5 de Abril, 2022
El encuentro se inició con la presentación de un análisis de marcos normativos externos para la evaluación de la investigación universitaria realizada por Felipe Guevara, consultor externo de CINDA, doctor en Biotecnología y máster en Gestión de la Ciencia y la Innovación, quien analizó un conjunto de instrumentos relacionados con la evaluación de la investigación, con el objeto de describir y comparar marcos normativos, sistemas y experiencias de evaluación.
La investigación constituye una actividad fundamental de la misión universitaria, y su evaluación resulta crucial para promover el acceso al financiamiento, la acreditación de las instituciones, la carrera académica y la promoción de los investigadores. La revisión de marcos normativos y documentos realizada por Felipe Guevara llegó a una serie de conclusiones muy reveladoras de los modos en que se evalúa la investigación universitaria. En primer lugar, se detectó un claro predominio de las métricas tradicionales de medición de resultados, así como una falta de consenso en las métricas de medición de impacto y en la carencia de una definición transversal del impacto de la investigación en la sociedad.
Por otro lado, los rendimientos de las instituciones e investigadores son subestimados, debido principalmente al uso casi exclusivo de dos bases de datos de publicaciones comerciales (Scopus y World of Science). Y si bien un número significativo y creciente de revistas indexadas requieren de un pago por publicación, algunas iniciativas de bases de datos sin fines de lucro –como ERIH, Latindex, RedAlyc y Scielo– han comenzado a adquirir relevancia. Sin embargo, la inclusión de las modalidades de acceso abierto son aún muy incipientes en los sistemas nacionales de Ciencia y Tecnología. Por otro lado, se percibe un fuerte predominio del punto de vista productivo en la medición de la innovación, sustentada fundamentalmente en la solicitud de patentes, lo que hace necesario incorporar otros aspectos, como la transferencia, el licenciamiento, otros tipos de propiedad intelectual y la innovación social.
La investigación constituye una actividad fundamental de la misión universitaria, y su evaluación resulta crucial para promover el acceso al financiamiento, la acreditación de las instituciones, la carrera académica y la promoción de los investigadores.
Encuesta universidades CINDA
A continuación, Soledad Aravena y Verónica Polanco expusieron los resultados de la encuesta realizada entre las universidades CINDA acerca de «Políticas y evaluación de la investigación universitaria», que fue respondida por el 68% de las universidades de la red, ofreciendo resultados muy relevantes para el desarrollo de la propuesta de trabajo de la red sobre Evaluación de la investigación universitaria.
Prácticamente la totalidad de las universidades encuestadas han definido la investigación como una función institucional prioritaria, y en el ámbito del diseño y aprobación de políticas desarrollan procesos participativos, con la intervención de autoridades, gestores, unidades académicas y sedes, en tanto la aprobación de políticas se encuentra generalmente en manos de las autoridades de mayor jerarquía. Los aspectos más frecuentemente considerados en sus políticas de investigación por las universidades consultadas son su relación con otras actividades universitarias, la vinculación con la misión institucional y la organización e institucionalidad, en tanto el 85% de las universidades encuestadas declara contemplar en sus políticas mecanismos para promover la inclusión o algún tipo de discriminación positiva, principalmente en el ámbito del género y el inicio de carrera.
Desde el punto de vista de la implementación de la política, los mecanismos de promoción de la investigación predominantes resultaron ser los fondos para proyectos de investigación e innovación y el fomento de la investigación interdisciplinaria dentro y fuera de la universidad, en tanto los mecanismos de financiamiento de la investigación se concentran en los concursos públicos y privados, y en los fondos competitivos internos. La encuesta reveló que los criterios de evaluación al término de los proyectos de investigación se encuentran mayormente determinados por la publicación de investigaciones en medios de prestigio y por el impacto del proyecto en el entorno al que está dirigido. En cuanto a la evaluación de los investigadores, la productividad es un criterio muy relevante, en tanto el número de publicaciones en revistas de alto impacto resulta muy relevante en la evaluación del desarrollo institucional de la investigación.
A continuación, los participantes sostuvieron un interesante diálogo, que se concentró en algunos aspectos específicos, como los fondos competitivos, los factores de impacto de la investigación y los aspectos cualitativos y cuantitativos de la evaluación.
Plan de trabajo 2022: evaluación de la investigación
Para concluir el encuentro, se propuso a los participantes un plan de trabajo para el año, mediante un proyecto de la red que tiene como objetivo principal apoyar a las universidades en diversificar y enriquecer las políticas, instrumentos y acciones de evaluación de la investigación universitaria, considerando diversos propósitos, herramientas e indicadores. Para ello, CINDA ha establecido una alianza con la iniciativa DORA, que ofrecerá un taller de evaluación de la investigación, en el que los participantes podrán conocer la rúbrica SPACE, su modelo, su enfoque y los modos de uso que posibilita en diversos escenarios.Este taller se realizará el jueves 21 de abril de 11.00 a 13.00 hrs (hora de Santiago de Chile) y estará a cargo de Ruth Schmidt y Hayley Hazlett. La colaboración con DORA involucra también el desarrollo de un proyecto piloto de la aplicación de SPACE con la participación de algunas universidades de la red, así como el desarrollo de la primera traducción al español de ese instrumento de evaluación por parte de un equipo de la Universitat Oberta de Catalunya. El plan de trabajo contempla seguir avanzando en la reunión de la red VRII a realizarse en junio próximo en la Universidad de Panamá, en la que se acordarán los siguientes pasos del proyecto.
Se invitó a las universidades a retroalimentar la propuesta planteada mediante una encuesta de seguimiento, así como a sugerir otros ámbitos de trabajo. La propuesta quedó de esta manera sometida a la consideración de los miembros de la red, para ser complementada y concluida colaborativamente.
¿Qué es la rúbrica SPACE?
SPACE es una herramienta diseñada colaborativamente a través de una consulta a más de 75 informantes en 26 países y 6 continentes. El proceso de diseño de la rúbrica fue dirigido por Ruth Schmidt, profesora asociada en el Instituto de Diseño de Tecnología de Illinois.
SPACE es recomendada por DORA como un instrumento de implementación de prácticas justas y responsables de evaluación de la investigación.