Al darle inicio a la actividad María José Lemaitre, directora ejecutiva de CINDA, destacó la importancia de desarrollar una mirada más amplia, compleja y renovadora de la evaluación de la investigación, tanto desde el punto de vista de su calidad como de su pertinencia. Además, destacó que la propuesta elaborada por DORA no solo permite evaluar la investigación, sino también promover su desarrollo y dar orientaciones para la toma de decisiones.
Ruth Schmidt comenzó su exposición relatando los orígenes y características de SPACE. Esta rúbrica fue producto de una colaboración entre DORA y el IIT Institute of Design, se desarrolló entre agosto de 2020 y junio de 2021 y contó con la participación de más de 70 colaboradores en 26 países y 6 continentes. Se trató de un proceso muy participativo, que significó un esfuerzo internacional de recolección de información de diferentes organizaciones y personas, con el propósito de crear una herramienta orientada a la reforma de la evaluación, y que pudiera adecuarse a una amplia variedad de instituciones y a sus diversas necesidades.
SPACE está enfocada en la construcción de capacidades institucionales para desarrollar procesos de reforma de la evaluación de la investigación, entendiendo a las instituciones como una unidad y mirando más allá de las intervenciones individuales. Otro principio guía de esta rúbrica requiere reconocer que no existe una solución única para todas las organizaciones. Cada institución tiene sus propios entornos y necesidades, y se encuentra en un grado de avance específico. Por ello, SPACE debe ser lo suficientemente flexible para ser aplicada en diversos contextos y resultar útil al mismo tiempo. Por otro lado, la importancia de medir, y aprender de lo que funciona y lo que no, constituye otro principio guía de esta herramienta de trabajo.
5 dimensiones de trabajo
La rúbrica SPACE se estructura en 5 dimensiones centrales para la investigación universitaria. La primera de ellas es el establecimiento de estándares de actividad académica. Estos estándares requieren una comprensión amplia de lo que es la calidad, y deben ajustarse a las características de cada institución. Una segunda dimensión corresponde a las políticas y mecanismos del proceso, e involucra las formas en que se incorporan las nuevas prácticas a los procesos y estructuras de revisión y a las políticas.
Otra dimensión es la responsabilidad, y responde a la pregunta de cómo se responsabilizan los individuos y las instituciones en la ejecución de nuevas prácticas de evaluación. Una cuarta dimensión es la cultura de la institución, y se orienta a la comprensión de la manera en que la cultura institucional se relaciona con las iniciativas de reforma podremos dirigir mejor nuestros esfuerzos. La retroalimentación evaluativa e iterativa, por último, consiste en la recolección de datos acerca de los resultados alcanzados por las diferentes intervenciones para alimentar futuras decisiones y procesos.
En el ámbito de la evaluación de la investigación puede ser muy útil determinar qué sesgos, valores y actividades dan soporte a las políticas, para saber qué es lo que necesitamos cambiar.
Ruth Schmidt – DORA
Por otro lado, las instituciones tienen diversos grados de preparación o disposición para emprender la reforma de la evaluación de la actividad investigativa, y por ello SPACE intenta pensar la mejora de las capacidades institucionales en términos de fases. Algunas instituciones están impulsando sus primeras iniciativas, y se encuentran en las bases del proceso:por ello deben concentrarse en establecer propósitos específicos y compartidos en torno a los que los actores institucionales se alinearán. Otras instituciones se encuentran en una fase de desarrollo, y requieren una mayor adhesión y expandir los esfuerzos que han sido productivos. Por último, las instituciones más avanzadas han alcanzado una fase de transformación, y necesitarán escalar sus esfuerzos a un nivel superior (a toda la institución, por ejemplo).
Enfrentados a las 15 combinaciones resultantes, Ruth Schmidt señala que resultará mucho más útil enfocarnos en un pequeño conjunto de ellas, seleccionando las que resulten más relevantes para nuestra institución en particular –en vez de intentar abordarlas todas– y desarrollar un trabajo a lo largo del tiempo a partir de esos aspectos relevantes, adecuándose a las características y necesidades de nuestra organización.
A continuación, los participantes del taller se reunieron en grupos para debatir a partir de lo expuesto y realizar un diagnóstico de la situación en sus instituciones, definir obstáculos y fortalezas y esbozar posibles acciones orientadas a la transformación de la evaluación de la investigación. Soledad Aravena, directora del Programa Política y Gestión Universitaria de CINDA, sintetizó algunas ideas centrales y coincidentes a partir del trabajo de grupos. En primer lugar, existe coincidencia en que nos encontramos en un momento de apertura a la implementación de nuevos modos de evaluar la investigación, y de buena disposición a una problematización que nos permita reflexionar y debatir en torno a qué transformaciones se deben impulsar. Se trata de una transformación cultural, que enfrentará resistencias pero que resulta necesaria, y en la que el intercambio y la colaboración resultarán muy relevantes.
Estamos en un momento en el que hay una apertura a evaluar la investigación de otra forma. Se trata de un cambio cultural, que va a enfrentar dificultades, pero que es necesario llevar adelante.
Soledad Aravena – CINDA
Por otro lado, este trabajo colaborativo debe reconocer nuestra diversidad: cada institución es diferente, tiene sus propias orientaciones y está situada en un contexto específico. Por ello, debemos considerar nuestras diversas realidades para producir cambios en nuestras universidades. Estas transformaciones requerirán otra comprensión de la actividad investigativa, que se mueva desde los aspectos cuantitativos a una mirada más integral e integrada con la docencia, que sea capaz de formar a los nuevos investigadores con una mirada más amplia. Este esfuerzo requiere también tener consideraciones éticas, enfrentar las transformaciones en nuestra relación con el conocimiento y vincularnos en red para encontrar formas de avanzar más decididamente.
Al finalizar el encuentro, Soledad Aravena agradeció al equipo de DORA la oportunidad de enriquecer una discusión que resulta de la mayor importancia para CINDA, y dio a conocer la publicación de una versión en español de la rúbrica SPACE de DORA, realizada por un equipo liderado por la Universitat Oberta de Catalunya, y que será un instrumento de gran utilidad en un próximo proyecto piloto con las universidades de la red, que tendrá el propósito de profundizar los aprendizajes en torno a las nuevas formas de evaluación de la investigación universitaria.