Vol. 28 Núm. 96 (2023)
Investigación

EVALUAR EL PENSAMIENTO SOCIAL: Desarrollo de un instrumento de evaluación de desempeño en el aula

PDF XML
  • Nicole Abricot Marchant,
  • María Verónica Santelices,
  • Carmen Gloria Zúñiga,
  • Lucía Valencia Castañeda,
  • Paloma Miranda-Arredondo
Nicole Abricot Marchant
Pontificia Universidad Católica de Chile
María Verónica Santelices
Pontificia Universidad Católica de Chile
Carmen Gloria Zúñiga
Pontificia Universidad Católica de Chile
Lucía Valencia Castañeda
Universidad de Santiago de Chile
Paloma Miranda-Arredondo
Universidad de Santiago de Chile

Publicado 2024-12-14

Palabras clave

  • Aprendizaje social;, validez de pruebas; evaluación del aprendizaje; ciencias sociales; aprendizaje de la historia.

Resumen

 

 Para contribuir a la evaluación en ciencias sociales en el aula, este artículo presenta evidencias de validez sobre un instrumento diseñado siguiendo el método Bear Assessment System para retroalimentar el pensamiento social. Participaron 175 estu­diantes universitarios que escribieron un discurso sobre un problema social, el cual fue corregido con la rúbrica creada para ello. Como evidencia de su validez se reconocen la fiabilidad entre jueces y su consistencia interna, además de observarse cuatro di­mensiones en su estructura de acuerdo con la expectativa teórica. No se identificaron relaciones entre el puntaje y el género, y aunque se esperaba una relación positiva con el desempeño escolar, esta no fue apoyada por la evidencia. Las conclusiones destacan la viabilidad de medir el pensamiento social como un constructo multidimensional para retroalimentar el aprendizaje y presentan ideas para mejorar el instrumento.

PDF XML

Citas

  1. Adams, Raymond (2005). “Reliability as a measurement design effect”, Studies in Educational Evaluation, vol. 31, núms. 2-3, pp. 162-172.
  2. Alfageme-Gonzalez, Begoña; Monteagudo, José y Miralles, Pedro (2016). “Concepciones del profesorado de Geografía e Historia sobre la evaluación de los aprendizajes”, Actualidades Investigativas en Educación, vol. 16, núm. 2, pp. 1-22.
  3. American Educational Research Association, American Psychological Association y National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing, Washington D.C.: American Educational Research Association.
  4. Bartelds, Hanneke; Savenije, Geerty y van Boxtel, Carla (2020). “Students’ and teachers’ beliefs about historical empathy in secondary history education”, Theory and Research in Social Education, vol. 48 núm 4, pp. 529-551. https://doi.org/10.1080/0093310 4.2020.1808131
  5. Barton, Keith (2005). “Best not to forget them”: Secondary students’ judgments of historical significance in Northern Ireland”, Theory & Research in Social Education, vol. 33, núm. 1, pp. 9-44. https://doi.org/10.1080/00933104.2005.10473270
  6. Breakstone, Joel; Smith, Mark y Wineburg, Sam (2013). “Beyond the bubble in history/ social studies assessments”, Phi Delta Kappan, vol. 94, núm. 5, pp. 53-57. https://doi. org/10.1177/003172171309400512
  7. Cervini, Rubén Alberto; Dari, Nora y Quiroz, Silvia (2015). “Género y rendimiento escolar en América Latina. Los datos del SERCE en matemática y lectura”, Revista Iberoamericana de Educación, vol. 68, pp. 99-116. https://doi.org/10.35362/rie680206.
  8. College Board (2017). AP United States history: 2017 free-response questions, Nueva York: College Board.
  9. Contreras-Salinas, Sylvia; Olavarría Aranguren, José; Celedón Bulnes, Roberto y Molina Gutiérrez, Rodrigo (2020). “Factores asociados a la brecha de género en lectura entre estudiantes de establecimientos de enseñanza secundaria en Chile”, Perfiles Educativos, vol. 42, núm. 170, pp. 60-76. https://doi.org/10.22201/iisue.24486167e.2020.170.59013
  10. De La Paz, Susana; Ferretti, Ralph; Wissinger, Daniel; Yee, Laura y MacArthur, Charles (2012). “Adolescents’ disciplinary use of evidence, argumentative strategies, and organizational structure in writing about historical controversies”, Written Communication, vol. 29, núm. 4, pp. 412-454. https://doi.org/10.1177/0741088312461591
  11. De La Paz, Susana y Wissinger, Daniel (2015). “Effects of genre and content knowledge on historical thinking with academically diverse high school students”, Journal of Experimental Education, vol. 83, núm. 1, pp. 110-129. https://doi.org/10.1080/002 20973.2013.876228
  12. De La Paz, Susana; Monte-Sano, Chauncey; Felton, Mark; Croninger, Robert; Jackson, Cara y Piantedosi, Kelly Worland (2017). “A historical writing apprenticeship for adolescents: Integrating disciplinary learning with cognitive strategies”, Reading Research Quarterly, vol. 52, núm. 1, pp. 31-52. http://dx.doi.org/10.1002/rrq.147
  13. Embretson, Susan (ed.) (2010). Measuring psychological constructs: Advances in model-based approaches, Washington D.C.: American Psychological Association.
  14. Ercikan, Kadriye y Seixas, Peter (2015). New directions in assessing Historical Thinking, Nueva York: Routledge.
  15. Evans, Ronald W. y Saxe, David Warren (eds.) (1996). Handbook on teaching social issues, Washington D.C.: National Council for Social Studies.
  16. Fisher, William y Wilson, Mark (2019). “The BEAR Assessment System Software as a platform for developing and applying UN SDG metrics”, Journal of Physics: Conference Series, núm. 1379. https://doi.org/10.1088/1742-6596/1379/1/012041
  17. Gerwin, David (2003). “Responding to a social studies classic—”Decision making: The heart of social studies instruction”, The Social Studies, vol. 94, núm. 1, pp. 23-27. https://doi.org/10.1080/00220973.1945.11019962
  18. Grant, S. G. (2017). “The problem of knowing what students know: Classroom-based and large-scale assessment in social studies”, en M. McGlinn y C. Mason (eds.), The Wiley Handbook of Social Studies Research, Londres: John Wiley y Sons, pp. 461-476.
  19. Grant, S. G.; Gradwell, Jill y Cimbricz, Sandra (2004). “A question of authenticity: The document-based question as an assessment of students’ knowledge of history”, Journal of Curriculum and Supervision, núm. 19, pp. 309-337.
  20. Gutiérrez, Martha y Pagès, Joan (2018). Pensar para intervenir en la solución de las injusticias sociales, col. Trabajos de Investigación núm. 1, Pereira: Universidad Tecnológica de Pereira.
  21. Hahn, Carole (2020). “Educating citizens in an age of globalization, migration, and transnationalism: A study in four European democracies”, Theory and Research in Social Education, vol. 42, núm. 2, pp. 244-184. https://doi.org/10.1080/00933104 .2019.1707139
  22. Henríquez, Rodrigo; Carmona, Andrés; Quinteros, Alen y Garrido, Mabelin (2018). Leer y escribir para aprender Historia: Secuencias para la enseñanza y el aprendizaje del pensamiento histórico, col. Educación. núm. 1, Santiago: Ediciones UC.
  23. Hooper, Daire; Coughlan, Joseph y Mullen, Michael (2008). “Structural Equation Modelling: Guidelines for Determining Model Fit”, Electronic Journal of Business Research Methods, vol. 6, núm. 1, septiembre, pp. 53-60.
  24. Huijgen, Tim; Van Boxtel, Carla; Van de Grift, Wim y Holthuis, Paul (2017). “Toward historical perspective taking: students’ reasoning when contextualizing the actions of people in the past”, Theory y Research in Social Education, vol. 45, núm. 1, pp. 110- 144. https://doi.org/10.1080/00933104.2016.1208597
  25. Huijgen, Tim; Van de Grift, Wim; Van Boxtel, Carla y Holthuis, Paul (2018). “Promoting historical contextualization: The development and testing of a pedagogy”, Journal of Curriculum Studies, vol. 50, núm. 3, pp. 410-434. https://doi.org/10.1080/002202 72.2018.1435724
  26. Huijgen, Tim; Holthuis, Paul; Van Boxtel, Carla; Van De Grift, Wim: y Suhre, Cor (2019). “Students’ historical contextualization and the cold war”, British Journal of Educational Studies, vol. 67 núm 4, pp. 439-468. https://doi.org/10.1080/00071005.2018.1518512
  27. Kane, Michael (2020). “Validity studies commentary”, Educational Assessment, vol. 25, núm. 1, pp. 83-89. https://doi.org/10.1080/10627197.2019.1702465
  28. Kemp, Robin (2011). “Thematic or sequential analysis in causal explanations? Investigating the kinds of historical understanding that Year 8 and Year 10 demonstrate in their efforts to construct narratives”, Teaching History, vol 1, núm. 145, pp. 32-43.
  29. Larroucau, Tomas; Ríos, Ignacio y Mizala, Alejandra (2015). “Efecto de la incorporación del ranking de notas en el proceso de admisión a las universidades chilenas”, Pensamiento Educativo, vol. 52, núm. 1, pp. 95-118. https://doi.org/10.7764/PEL.52.1.2015.8
  30. Lee, Peter (2009). “Is any explanation better than none?”, Teaching History, vol. 1, núm. 137, pp. 42-49.
  31. Levstik, Linda y Tyson, Cynthia (eds.) (2008). Handbook of Research in Social Studies Education, Nueva York/Londres: Routledge.
  32. Levy, Brett (2018). “Youth developing political efficacy through social learning experiences: Becoming active participants in a supportive Model United Nations Club”, Theory and Research in Social Education, vol. 46, núm. 3, pp. 410-448. https://doi.org/10.1 080/00933104.2017.1377654
  33. McGlinn, Meghan y Mason, Cheryl (eds.) (2017). The Wiley Handbook of Social Studies Research, Londres: John Wiley y Sons, Inc.
  34. McGrew, Sarah; Breakstone, Joel; Ortega, Teresa; Smith, Mark y Wineburg, Sam (2018). “Can students evaluate online sources? Learning from assessments of civic online reasoning”, Theory and Research in Social Education, vol. 46, núm. 2, pp. 165-193. https://doi.org/10.1080/00933104.2017.1416320
  35. Miralles, Pedro; Gómez, Cosme y Monteagudo, José (2012). “La evaluación de la competencia social y ciudadana en ciencias sociales al finalizar las etapas de primaria y secundaria”, Investigación en la Escuela, núm. 78, pp. 19-30.
  36. Monte-Sano, Chauncey y De la Paz, Susan (2012). “Using writing tasks to elicit adolescents’ historical reasoning”, Journal of Literacy Research, vol. 44, núm. 3, pp. 273-299. https:// doi.org/10.1177/1086296X12450445
  37. Monte-Sano, Chauncey y Quince, Christine (2021). “Reflections on designing curriculum to interrogate social studies”, Journal of Adolescent and Adult Literacy, vol. 64, núm. 5, pp. 575-580. https://doi.org/10.1002/jaal.1137
  38. Murillo, Johanna y Martínez, Carlos (2014). “Habilidades de pensamiento social: describir, explicar, interpretar y argumentar en el aula”, Itinerario Educativo, vol. 28, núm. 64, pp. 103-125. https://doi.org/10.21500/01212753.1421
  39. National Council for the Social Studies (ed.) (2013). College, Career y Civic Life (C3) Framework for social studies state standards: Guidance for enhancing the rigor of K-12 Civics, Economics, Geography and History, Silver Spring: National Council for the Social Studies.
  40. Niepel, Christoph; Mustafić, Maida; Greiff, Samuel y Roberts, Richard D. (2015). “The dark side of creativity revisited: Is students’ creativity associated with subsequent decreases in their ethical decision making?”, Thinking Skills and Creativity, vol. 18, diciembre, pp. 43-52. https://doi.org/10.1016/j.tsc.2015.04.005
  41. Ortuño, Jorge; Ponce, Ana y Serrano, Francisca (2016). “La idea de causalidad en las explicaciones históricas del alumnado de educación primaria”, Revista de Educación, núm. 371, enero-marzo, pp. 9-34.
  42. Pagés, Joan (2002). “La formación del pensamiento social”, en Benejam, Pilar y Pagés, Joan (coords.), Enseñar y aprender ciencias sociales, geografía e historia en la educación secundaria, núm. 1, Barcelona: Horsi/Instituto de Ciencias de la Educación-Universidad de Barcelona, pp. 151-168.
  43. Pagés, Joan y Santisteban, Antoni (coords.) (2011). Les qüestions socialment vives i l’ensenyament de les ciències socials, Barcelona: Universidat Autònoma de Barcelona.
  44. Pearcy, Mark (ed.) (2017). Best practices in social studies assessment, Charlotte: Information Age Publishing.
  45. Pedrozo, Sueila (2011). “To be “cool” or not to be “cool”: Young people’s insights on consumption and social issues in Rio de Janeiro”, Journal of Youth Studies, vol. 14, núm. 1, pp. 109-123. https://doi.org/10.1080/13676261.2010.506525
  46. Pipkin, Diana y Sofía, Paula (2005). “La formación del pensamiento social en la escuela media: factores que facilitan y obstaculizan su enseñanza”, Clio & Asociados: la Historia Enseñada, núm. 8, pp. 85-94. https://doi.org/10.14409/cya.v1i8.1593
  47. Raykov, Tenko (1998). “Coefficient alpha and composite reliability with interrelated nonhomogeneous items”, Applied Psychological Measurement, vol. 22, núm. 4, pp. 375-385. https://doi.org/10.1177/014662169802200407
  48. Reagan, Rebecca (2008). “Direct instruction in skillful thinking in fifth-grade American History”, The Social Studies, vol. 99, núm. 5, pp. 217-222. https://doi.org/10.3200/ TSSS.99.5.217-222
  49. Reich, Gabriel (2011). “Testing collective memory: Representing the Soviet Union on multiple-choice questions”, Journal of Curriculum Studies, vol. 43, núm. 4, pp. 507- 532. https://doi.org/10.1080/00220272.2011.578665
  50. Reisman, Abby (2012). “The ‘Document-Based Lesson’: Bringing disciplinary inquiry into high school history classrooms with adolescent struggling readers”, Journal of Curriculum Studies, vol. 44, núm. 2, pp. 233–264. https://doi.org/10.1080/002202 72.2011.591436
  51. Reisman, Avishag, y Wineburg, Sam (2008). “Teaching the skill of contextualizing in History”, The Social Studies, vol. 99, núm. 5, pp. 202-207. https://doi.org/10.3200/ TSSS.99.5.202-207
  52. Reisman, Abby; Brimesk, Emily y Hollywood, Claire (2019). “Assessment of Historical Analysis and Argumentation (AHAA): A new measure of document-based historical thinking”, Cognition and Instruction, vol. 37, núm. 4, pp. 534-561. https://doi.org/ 10.1080/07370008.2019.1632861
  53. Ross, E. Wayne (2017). Rethinking of social studies: Critical pedagogy in pursuit of dangerous citizenship, Charlotte: Information Age Publishing.
  54. Ross, E. Wayne (2019). “The challenges of teaching social studies: What teachers? What citizenship? What future? A Tribute to Joan Pagès Blanch”, en M. Ballbé, N.
  55. González-Monfort y A. Santisteban, A. (eds.), Quin professorat, quina ciutadania, quin futur? Els reptes de l’ensenyament de les ciències socials, la geografía i la història, Barcelona: Universidat Autònoma de Barcelona-gredics/Ajuntament de Barcelona, pp. 39-52.
  56. Saye, John (2017). “Disciplined inquiry in social studies classrooms”, en M. McGlinn y C. Mason (eds.), The Wiley Handbook of Social Studies Research, Londres: John Wiley y Sons, pp. 336-359.
  57. Schreiber, James; Nora, Amaury; Stage, Frances K.; Barlow, Elizabeth A. y King, Jamie (2006). “Reporting structural equation modeling and confirmatory factor analysis results: A review”, The Journal of Educational Research, vol. 99, núm. 6, pp. 323-338. https://doi.org/10.3200/JOER.99.6.323-338
  58. Seixas, Peter (2017). “A model of historical thinking”, Educational Philosophy and Theory, vol. 49, núm. 6, pp. 593-605. https://doi.org/10.1080/00131857.2015.1101363
  59. Siegfried, John; Krueger, Alan; Collins, Susan; Frank, Robert; MacDonald, Richard; McGoldrick, Kim, Marie; Taylor, John y Vredeveld, George (2010). Voluntary National Content Standards in Economics, Nueva York: Council for Economic Education.
  60. Smith, Dan (2014). “Period, place and mental space: using historical scholarship to develop year 7 pupils’ sense of period”, Teaching History, vol. 1, núm. 154, marzo, pp. 8-16.
  61. Smith, Mark (2017). “Cognitive validity: Can multiple-choice items tap historical thinking processes?”, American Educational Research Journal, vol. 54, núm. 6, pp. 1256-1287. https://doi.org/10.3102/0002831217717949
  62. Smith, Mark (2018). “New multiple-choice measures of historical thinking: An investigation of cognitive validity”, Theory & Research in Social Education, vol. 46, núm. 1, pp. 1-34. https://doi.org/10.1080/00933104.2017.1351412
  63. Smith, Mark; Breakstone, Joel y Wineburg, Sam (2018). “History assessments of thinking: A validity study”, Cognition and Instruction, vol. 1, núm. 27, pp. 118-144. https://doi. org/10.1080/07370008.2018.1499646
  64. Stoel, Gerhard; Van Drie, Jannet y Van Boxtel, Carla (2015). “Teaching towards historical expertise. Developing a pedagogy for fostering causal reasoning in history”, Journal of Curriculum Studies, vol. 47, núm. 1, pp. 49-76. https://doi.org/10.1080/002202 72.2014.968212
  65. Supianto, Kumaidi y Suryono, Yoyon (2021). “Development of project-based historical knowledge assessment instruments”, Historical Encounters, vol. 8, núm. 1, pp. 16-29. https://doi.org/10.52289/hej8.102
  66. Torrez, Cheryl y Claunch-Lebsack, Elisabeth (2013). “Research on assessment in the social studies classroom”, en J. McMillan (ed.), Handbook Research on Classroom Assessment, Thousand Oaks: sage Publications, pp. 461-472. https://dx.doi. org/10.4135/9781452218649.n26
  67. Torrez, Cheryl y Claunch-Lebsack, Elisabeth (2014). “The present absence: Assessment in social studies classrooms”, Action in Teacher Education, vol. 36, núms. 5-6, pp. 559- 570. https://doi.org/10.1080/01626620.2014.977756
  68. Unesco (ed.) (2016). Challenging inequalies: Pathways to a just world, París: Unesco Publishing.
  69. Van Drie, Jannet y Van Boxtel, Carla (2008). “Historical reasoning: Towards a framework for analyzing students’ reasoning about the past”, Educational Psychology Review, vol. 20, núm. 2, pp. 87-110. https://doi.org/10.1007/s10648-007-9056-1
  70. VanSledrigfit, Bruce y Limón, Margarita (2006). “Learning and teaching social studies: A review of cognitive research in History and Geography”, en P. Alexander y P. Winne (eds.), Handbook of Educational Psychology, núm. 5, Nueva York/Londres: Routledge, pp. 545-570.
  71. Wainer, Howard (2011). Uneducated Guesses, Nueva Jersey: Princeton University Press.
  72. Wilson, Mark (2005). Constructing measuring: An item response modeling approach, Nueva Jersey: Lawrence Erlbaum Associates.