Algunas personas me señalaron un artículo reciente de Stephanie Lee sobre otro escándalo en Stanford.
En este caso, el problema fue una combinación inestable de promoción de políticas e investigación educativa. Hemos visto este tipo de cosas antes en la Universidad de Chicago.
El problema general
¿Por qué la investigación en educación es particularmente problemática? Tengo algunas especulaciones:
1. Todos tenemos mucha experiencia en educación y muchos recuerdos de que la educación no funcionó bien. Como estudiante, a menudo tenía claro que se enseñaban mal las cosas y, como profesor, a menudo me sentía incómodamente consciente de lo mal que estaba haciendo mi trabajo. Hay mucho margen de mejora, incluso si la manera de llegar allí no siempre es tan obvia. Por eso, cuando las autoridades hacen ruidosas afirmaciones de “una mejora del 50% en los puntajes de los exámenes”, esto no parece imposible, incluso si deberíamos saber que no debemos confiar en ellas.
2. Las intervenciones educativas son difíciles y costosas de evaluar formalmente, pero fáciles y baratas de evaluar informalmente. Un estudio formal requiere la colaboración de las escuelas y los profesores, y si la intervención se realiza a nivel de aula, requiere muchas clases y, por tanto, un gran número de estudiantes. Sin embargo, de manera informal podemos proponer muchas ideas y probarlas en nuestras clases. Si las juntamos obtendremos una larga acumulación de ideas esperando ser estudiadas formalmente.
3. Por mucho que sistematices la enseñanza (a través de pruebas estandarizadas, planes de lecciones preparados, mooks o lo que sea), el proceso de aprendiendo todavía ocurre a nivel individual, un estudiante a la vez. Esto sugiere que los efectos de cualquier intervención dependerán en gran medida del contexto, lo que a su vez implica que el efecto promedio del tratamiento, independientemente de cómo se defina, no será tan relevante para la implementación en el mundo real.
4. Siguiendo con ese último punto, el gran desafío de la educación es la motivación de los estudiantes. Los métodos para enseñar X generalmente se pueden enmarcar como una combinación de métodos para motivar a los estudiantes a querer aprender X y métodos para mantener a los estudiantes motivados para practicar X con conciencia. Estas cosas son posibles, pero suponen un desafío, en parte debido a la dificultad de precisar la «motivación».
5. La educación es un tema importante, se gasta mucho dinero en ella y está enredada en el proceso político.
Juntándolos, se obtiene un lío que no se soluciona bien con el modelo tradicional de las ciencias sociales cuantitativas de presionar un botón, tomar una pastilla y buscar significancia estadística. La investigación en educación está llena de personas convencidas de que sus ideas son buenas, con mucha experiencia personal que parece respaldar sus puntos de vista, pero con gran dificultad para obtener evidencia empírica sólida, por las razones explicadas en los puntos 2 y 3 anteriores. Así se puede ver cómo los defensores de las políticas pueden frustrarse y exagerar la evidencia a favor de sus posiciones.
El escándalo en Stanford
Como dijo Kinsley, el escándalo no es lo ilegal, el escándalo es lo legal. Es legal responder a las críticas con una mezcla de actitud defensiva y agresión que eluda la sustancia de la crítica. Pero para mí es escandaloso que tales prácticas sean tan comunes en la academia de élite. El reciente escándalo involucró al Marco de Matemáticas de California, un nuevo y controvertido plan curricular promovido por la profesora de Stanford Jo Boaler, quien, según supe en un hilo de comentarios, escribió un libro llamado Mathematical Mindset que contenía algunas cosas realmente malas. Como escribí en ese momento, fue un poco horrible que este libro de un profesor de educación de Stanford hiciera una afirmación falsa y la respaldara con un montón de ensalada de palabras de algún rando en Internet. Si ni siquiera puedes molestarte en leer literatura en tu propio campo, ¿qué estás haciendo en Stanford en primer lugar? ¿Por qué no simplemente saltar la bahía hasta Berkeley y escribir artículos de opinión desinformados y pasar el rato en NPR y Fox News? La promoción está bien, simplemente reconozca que lo está haciendo y no pretenda estar escribiendo sobre investigación.
Al señalar el artículo de Lee, Jonathan Falk escribe:
Muchas cosas aterradoras, pero las dos líneas que encontré más aterradoras fueron:
Boaler llegó a ver esta victoria como una lección sobre cómo lidiar con detractores de todo tipo: descartar y duplicar la apuesta.
Boaler dijo que no había examinado los números, pero «me cuestiono si las personas que están motivadas para mostrar que algo es inexacto son las personas adecuadas para mirar los datos».
I [Falk] Soy un poco sensible al respecto, ya que he pasado 40 años creyendo que las personas que están motivadas para mostrar que algo es inexacto son las personas perfectas para mirar los datos, pero estoy aún más perturbado por su asimetría aquí: Si tiene razón, entonces también debe ser cierto que las personas que están motivadas para mostrar que algo es exacto también son las personas equivocadas para mirar los datos. Y, por supuesto, las personas sin ninguna motivación probablemente nunca mirarán los datos.
Hemos discutido este tema general en muchos contextos diferentes. Hay muchos verdaderos creyentes por ahí. No sólo activistas políticos, también muchos investigadores puros que creen en sus ideas, y luego hay algunas personas como las discutidas anteriormente que son verdaderos creyentes tanto en el frente de la investigación como en el del activismo. Para estas personas, el problema no es que no miran los datos; más bien saben lo que buscan y por eso lo encuentran. Es el viejo problema de los “grados de libertad del investigador”. Y es natural que los investigadores con esta perspectiva piensen que todos opera de esta manera, por lo tanto, no confían en los externos porque piensan que los externos podrían llegar a conclusiones diferentes. Estoy de acuerdo con Falk en que esto es muy frustrante, un proceso de Gresham similar a la forma en que se utilizan los medios de propaganda no sólo para difundir mentiras y enterrar verdades sino también para degradar la confianza en los medios de comunicación legítimos.
Las afirmaciones de investigación específicas en disputa
El investigador en educación David Dockterman escribe:
Conozco a algunos de los jugadores. Sin duda, muchos educadores quieren creer, del mismo modo que muchos profesores de primaria quieren creer que no tienen que enseñar fonética.
La popularidad entre los clientes hace que sea difícil para las personas intermedias lanzar incluso desafíos amistosos. Necesitan los huevos. Las cosas se llevan al extremo.
También señala esta publicación de 2019 de dos investigadores en educación, que señalan un artículo de revista del que Boaler es coautor y escriben:
La columna vertebral de su pieza incluye tres puntos:
1. La ciencia tiene una nueva comprensión de la plasticidad cerebral (la capacidad del cerebro para cambiar en respuesta a la experiencia), y esta nueva comprensión muestra que los métodos de enseñanza actuales para los estudiantes con dificultades son malos. Estos métodos incluyen identificar discapacidades de aprendizaje, brindar adaptaciones y trabajar para aprovechar las fortalezas de los estudiantes.
2. Estos nuevos hallazgos implican que “las dificultades de aprendizaje ya no son una barrera para el logro matemático” porque ahora entendemos que el cerebro se puede cambiar si intervenimos de la manera correcta.
3. Los autores tienen evidencia de que los estudiantes que pensaban que “no eran gente de matemáticas” pueden tener buenos resultados en matemáticas, si se les da el entorno adecuado.
Hay una serie de problemas en esta pieza.
En primer lugar, no conocemos evidencia de que las concepciones de plasticidad cerebral o (en décadas anteriores) de falta de plasticidad hayan tenido mucha (si alguna) influencia en el pensamiento de los educadores sobre cómo ayudar a los estudiantes con dificultades. . . . En segundo lugar, Boaler y Lamar caracterizan erróneamente los enfoques “tradicionales” de la discapacidad de aprendizaje específica. Sí, la mayoría de los educadores abogan por adaptaciones adecuadas, pero eso no significa que no prueben métodos de práctica intensivos e inventivos para las habilidades que los estudiantes encuentran difíciles. . . .
En tercer lugar, Boaler y Lamar abogan por la diversidad de prácticas para los estudiantes con un desarrollo típico que creemos que no tendrían nada especial para la mayoría de los educadores de matemáticas: “hacer conjeturas, resolver problemas, comunicar, razonar, dibujar, modelar, hacer conexiones y usar representaciones múltiples”. . . .
En cuarto lugar, creemos que es inexacto sugerir que “Varios estudios diferentes han demostrado que cuando a los estudiantes se les da la libertad de pensar de maneras que tengan sentido para ellos, las discapacidades de aprendizaje ya no son una barrera para . Sin embargo, muchos docentes no han sido capacitados para enseñar de esta manera”. No deseamos defender las limitaciones de los estudiantes y estamos absolutamente de acuerdo con el llamado de Boaler y Lamar a que los educadores aplaudan los logros de los estudiantes, establezcan altas expectativas y expresen una confianza (realista) en que los estudiantes pueden alcanzarlas. Pero es inexacto sugerir que con una “enseñanza adecuada” las dificultades de aprendizaje en matemáticas disminuirían en gran medida o incluso desaparecerían. . . .
¿Algunos estudiantes tienen dificultades con las matemáticas debido a una mala enseñanza? Estamos seguros de que algunos lo hacen y no tenemos idea de con qué frecuencia esto ocurre. Sin embargo, sugerir que es la razón principal por la que los estudiantes tienen dificultades ignora una vasta literatura sobre la discapacidad del aprendizaje en matemáticas. Esta formulación hace que los docentes carguen con la culpa de la “mala enseñanza” cuando los estudiantes tienen dificultades.
Concluyen:
En cuanto al punto final: que Boaler y Lamar tienen evidencia de un campamento de matemáticas que demuestra que, con la instrucción adecuada, los estudiantes a quienes les resultan difíciles las matemáticas pueden obtener 2,7 años de rendimiento en el transcurso de un verano, ¡estamos entusiasmados! Esperamos ver el informe revisado por pares que detalla cómo funcionó.
En efecto. Aquí está el párrafo relevante de Boaler y Lamar:
Recientemente organizamos un campamento de verano de matemáticas para estudiantes de Stanford. Asistieron ochenta y cuatro estudiantes y todos compartieron con los entrevistadores que no creían que fueran una “persona matemática”. Trabajamos para cambiar esas ideas y enseñar matemáticas de una manera abierta que reconozca y valore todas las formas de ser matemático: incluyendo hacer conjeturas, resolver problemas, comunicar, razonar, dibujar, modelar, hacer conexiones y usar representaciones múltiples. Después de dieciocho lecciones, los estudiantes mejoraron sus resultados en las pruebas estandarizadas en el equivalente a 2,7 años. Cuando los líderes del distrito visitaron el campamento y vieron a los estudiantes identificados con discapacidades de aprendizaje resolver problemas complejos y compartir sus soluciones con toda la clase, se llenaron de lágrimas. Dijeron que era imposible saber quiénes estaban en educación especial y quiénes no en las clases.
¡Este tipo de anécdota digna de Ted puede parecer muy persuasiva! Yo también quiero que me convenzan, pero he visto demasiados ejemplos de estudios que no se replican. Hay muchísimas maneras en que las cosas salen mal.
PD Lee ha informado sobre otros problemas científicos en Stanford y ha afectado a los cómodos, lo suficiente como para ser criticada injustamente por ello.