Michaela Horger se sorprendió la semana pasada cuando vio los comentarios del revisor en respuesta a su solicitud para una beca de investigación de posgrado de la Fundación Nacional de Ciencias (NSF) de EE. UU. Como parte de los «impactos más amplios», donde los solicitantes describen cómo sus actividades beneficiarán a la sociedad, ella escribió sobre los desafíos que enfrentan los científicos discapacitados como ella y lo que quiere hacer al respecto. Un revisor señaló que la información en la sección pretendía abordar sus «méritos intelectuales», cuestionando si su discapacidad física requeriría adaptaciones especiales de laboratorio. “Pensé que eso era tremendamente inapropiado”, dice Horger, un Ph.D. en biología estructural. estudiante del Instituto de Investigación Scripps.
Horger recurrió a Twitter, donde ya se había estado formando un coro de voces. Algunos expresaron su indignación por los comentarios que habían recibido de los revisores. Otros pidieron cambios en la forma en que NSF administra las revisiones del programa, que se considera una de las principales becas de posgrado en los Estados Unidos, que brinda 3 años de apoyo financiero por un monto de $138,000 por beneficiario. (Divulgación completa: el autor de esta historia recibió una beca de investigación de posgrado de la NSF en 2006).
Muchos detalles del proceso de revisión son un secreto muy guardado y se pide a los revisores que no hablen sobre ellos. Pero en entrevistas con Ciencia Carreras, los revisores se hicieron eco de los llamados al cambio en función de sus experiencias detrás de escena. “Este es un proceso disfuncional que necesita ser revisado”, dice Simon Mitra*, un profesor de química que se ha desempeñado como revisor de vez en cuando durante los últimos 15 años. (*Mitra es un seudónimo de un crítico que habló con CienciaCarreras con la condición de que permanezca en el anonimato.)
En su opinión, las preocupaciones planteadas en Twitter solo rascan la superficie porque los solicitantes no están al tanto de la lista completa de comentarios que los revisores envían a la NSF. Cada solicitud suele ser revisada por tres revisores, todos los cuales asignan un puntaje general entre 0 y 50. Pero los solicitantes no ven esos puntajes; solo reciben sus revisiones cualitativas.
Los funcionarios de la NSF deciden en última instancia a quién se le otorgan las becas, pero los puntajes de los revisores ayudan a determinar quién se considera «meritorio» y pueden hacer o deshacer las solicitudes. Solo se otorgan 2000 becas cada año, de un grupo de aproximadamente 13,000 solicitudes, y la competencia es tan dura que los revisores a menudo se encuentran en una posición de «tratar de decidir entre esta persona ridículamente altamente calificada y esa persona ridículamente calificada», dice Nicole Campione-Barr, profesora de psicología en la Universidad de Missouri, quien ha revisado las solicitudes de NSF durante 5 años.
Revisores, que son seleccionados en función de su experiencia y el deseo de NSF de incluir diversas perspectivas— reciben capacitación sobre el sesgo implícito y se les pide que realicen sus evaluaciones utilizando un enfoque holístico que tenga en cuenta el conjunto único de logros, habilidades y experiencias de cada solicitante y que equilibre el mérito intelectual y los componentes de impacto más amplio de las solicitudes. “La idea siempre fue alejarse de los puntajes y las calificaciones y todo eso a una consideración más equilibrada de la persona”, dice Gisèle Muller-Parker, quien fue directora del programa de becas de investigación de posgrado en 2010, cuando NSF cambió a la revisión holística. ; Muller-Parker dejó NSF en 2018.
La agencia se negó a ofrecer un representante actual para comentar esta historia. Según una declaración de un portavoz de la NSF, «se pide a los revisores que evalúen a los solicitantes sobre su potencial para convertirse en científicos, ingenieros y matemáticos destacados en función de la totalidad de la información de la solicitud».
Pero según varios revisores, la NSF no brinda suficiente orientación concreta sobre cómo sopesar las diferentes partes de la solicitud, como el historial académico y de investigación de un estudiante, la calidad de su propuesta de investigación y su potencial para tener un impacto social. Por eso, las puntuaciones resultantes a veces son muy variables entre los revisores, dicen.
“Algunos revisores pueden mirar a un estudiante que proviene de una universidad de primer nivel y ha tenido un gran desempeño en sus clases y, ya sabes, tal vez recibió un poco de tutoría o algo así y dicen: ‘Está bien, verificaron los impactos más amplios. caja’”, dice Ryan Gutenkunst, profesor asociado de biología molecular y celular en la Universidad de Arizona, Tucson, quien se ha desempeñado como revisor durante 5 años. “Otro revisor podría decir, ‘Oh, casi no han hecho nada’” en impactos más amplios y dar al solicitante una puntuación mucho más baja. “Una rúbrica explícita sería realmente útil”.
“A todo el mundo se le dice que debería considerar todos estos factores, pero no está regulado”, dice Mitra. “Algunas personas lo revisan a su manera”. Durante los debates del panel, que tienen como objetivo debatir los méritos de las aplicaciones límite, se dio cuenta de cuánto varían los enfoques de los revisores. Por ejemplo, utiliza declaraciones de investigación para evaluar si el estudiante puede identificar un problema significativo, explicarlo y describir soluciones y experimentos plausibles. “Tengo entendido que la NSF finalmente financiaría al solicitante, no la investigación específicamente”, explica. Pero «algunos revisores todavía simplemente martillan la declaración de investigación como si fuera una propuesta de $ 10 millones».
Puede ser un desafío comparar a los solicitantes con diferentes antecedentes educativos, agrega Campione-Barr. Por ejemplo, muchos de los solicitantes que tienen publicaciones y presentaciones, que algunos revisores ven como indicadores de un fuerte potencial de investigación, provienen de instituciones con buenos recursos. “Es difícil decir que eso fue todo lo que hicieron, mira todas las cosas que hicieron, cuando probablemente tiene más que ver con lo que tenían disponible”, dice. “No sé si hay una forma de explicarlo”, reconoce, “porque quiero que los estudiantes puedan hablar sobre sus presentaciones y publicaciones y cosas así”. Pero tampoco quiere descartar a los solicitantes que no tuvieron acceso a laboratorios de investigación como estudiantes de pregrado.
Michelle Underhill*, profesora asistente en un campo biomédico que se ha desempeñado como revisora durante 3 años, cree que el proceso sería más sencillo si la NSF brindara más orientación sobre cómo juzgar a los solicitantes que no asistieron a instituciones de investigación intensiva, si un » estudiante cae en esta categoría, aquí hay algunas cosas a considerar.” Lo mismo ocurre con las calificaciones. «Para algunos estudiantes, si tienen vida exterior y aún obtienen Bs, tal vez eso sea realmente impresionante», dice, «en comparación con otro estudiante que tiene una situación diferente y [is] obtener As; todavía lo están haciendo muy bien, pero con menos desafíos”. (*Underhill es un seudónimo).
Mitra señala que el problema de las puntuaciones variables de los revisores no será fácil de solucionar, dado que la NSF se encarga de administrar decenas de miles de revisiones cada año. “Es simplemente una empresa enorme y colosal”. Pero le ha sugerido a la NSF que piense en obtener una cuarta revisión para cada aplicación y luego excluya los casos atípicos.
“Me gusta bastante ese plan”, dice Campione-Barr. “Una gran parte de eso sería que necesitan un grupo de revisores más profundo. El hecho de que me sigan preguntando todos los años, no creo que sea solo porque ‘Oye, has hecho esto y te pondremos’. Es literalmente un escenario de ‘nos estamos quedando sin gente y si conoces a alguien que pueda estar interesado, háznoslo saber'». (Las personas calificadas pueden ser voluntarias aquí.)
A Campione-Barr también le gustaría que NSF brindara más supervisión antes de enviar los comentarios de los revisores a los solicitantes, aunque reconoce que hacerlo requeriría mucho trabajo. “Algunas de las cosas realmente desalentadoras que he escuchado de los estudiantes… Espero que ningún ser humano haya visto eso y haya pensado que estaba bien salir de esa manera”.
“No son todos los revisores”, dice Underhill. “Algunos de nosotros realmente lo estamos intentando”. Pero ella está de acuerdo en que el proceso podría mejorarse. “Como revisor, es… desalentador ver los comentarios que reciben estos estudiantes”.