Ciencia Abierta Lab Mx

Propuesta para incrementar la puntuación de Revista Cuicuilco al enil 3: Revista en competencia nacional

Problemática principal

La motivación principal del análisis son los resultados de la Ronda Anual de Evaluación de 2018 del Sistema de Clasificación de Revistas Mexicanas de Ciencia y Tecnología en donde el puntaje de la versión electrónica de la Revista Cuicuilco obtuvo una calificación de 27.06 de una puntuación máxima de 68.29 puntos. Este resultado tiene las siguientes implicaciones en el ámbito institucional, académico y social:

1. Revista Cuicuilco obtuvo un puntaje de 27.06 con respecto al enil más alto del rango de puntuación máxima de 49.90 pts. a 68.29 pts.
2. El puntaje de 27.06 ubica a la Revista Cuicuilco dentro del rango más bajo de 20.60 pts. a 34.24 pts. y con ello la califica como una “Revista en Desarrollo”.
3. El puntaje obtenido de 27.06 implica el riesgo de salir del Índice de Revistas Mexicanas de Ciencia y Tecnología, porque se encuentra a 6.46 puntos por encima del límite inferior del más bajo de la Evaluación.
4. La falta de marcación en el esquema XML-JATS limita la visibilidad de Cuicuilco en la Internet, y el acceso a los usuarios que deseen consultar las aportaciones académicas y sociales de la revista.

Objetivo

El análisis tiene el objetivo de identificar el resultado obtenido por la Revista Cuicuilco en la Ronda Anual de Evaluación de 2018 de las revistas científicas del Índice CONACyT, y compararlo con ocho revistas de antropología del Índice CONACyT 2018. A partir de este estudio se propone a las autoridades de la Escuela Nacional de Antropología e Historia (ENAH), y al Editor de Cuicuilco; un plan de colaboración con el Colectivo Ciencia Abierta Lab Mx para lograr en 2020 y 2021 el incremento de dos eniles en el Sistema CRMCYT de la Revista Cuicuilco para calificar como una revista en «Competencia Nacional«.

Nuestra propuesta de colaboración implica acompañar a la ENAH durante este proceso y recibir la asesoría del Consejo Nacional de Ciencia y Tecnología, de SciELO-UNAM y Redalyc-UAEM en sus observaciones; nuestra participación se centra en:

1. aplicar los estándares de marcación en el XML JATS en la versión electrónica de la Revista Cuicuilco,
2. producir los archivos digitales en formatos .ePUB, .HTML, y .XML JATS que se agregarán a la plataforma Open Journal System en la dirección publica la revista Cuicuilco en línea (https://revistas.inah.gob.mx/index.php/cuicuilco), ya que es en esta dirección en donde se aplican los criterios de la Ronda Anual de Evaluación en el mes de marzo.

Sistema de Clasificación de Revistas Mexicanas de Ciencia y Tecnología del CONACyT

El análisis se realizó con base en los resultados publicados en el 2018 y los criterios del Sistema de Clasificación de Revistas Mexicanas de Ciencia y Tecnología (SCRMCyT) por el instrumento de la política pública que lleva a cabo el registro y la evaluación anual de las revistas científicas editadas en formato digital o electrónico en México. El propósito de la evaluación es ayudar a las instituciones y editores a tener una ruta de acción que les ayude a incrementar la calidad de contenidos, la visibilidad e impacto de la revista y de la investigación científica en México.

La evaluación de cada revista es efectuada mediante pares evaluadores especialistas en edición científica, emplean el método de simple ciego. La metodología diseñada, objetiva la valoración de seis dimensiones que caracterizan a una revista científica. La valoración describe cuál es logro de cada uno de los criterios que componen las dimensiones. A continuación se citan del Manual de Clasificación algunas características y beneficios del Sistema CRMCYT (CONACyT 2018:3-5):

• Busca la mejora de las revistas científicas editadas en México.
• Evalúa la versión digital de las revistas, buscando de este modo, que éstas alcancen máxima visibilidad e impacto internacional.
• Para aquéllas que aún no están en bases de datos comprensivas se utiliza una misma metodología para clasificar a todas las que se postulan. Eso facilita que otros actores públicos valoren las revistas de acuerdo al nivel de clasificación que ellas alcanzan pues su valoración es pública.
• Las revistas que ya forman parte del Sistema CRMCYT son analizadas en la Ronda Anual de Evaluación de manera automática, es decir, el editor no tiene que solicitar la evaluación.
• El análisis anual contribuye a que los editores, autores e instituciones conozcan el nivel de madurez de una revista determinada y tomar decisiones más informadas.

Criterios e insumos para realizar el análisis

El Índice de Revistas Mexicanas de Ciencia y Tecnología concentra alrededor de 300 revistas arbitradas que cumplen con criterios nacionales e internacionales de calidad científica. De este universo se eligieron ocho revistas, incluyendo a Cuicuilco, con la finalidad de analizar y comparar los puntajes obtenidos a partir del Sistema de Evaluación.

Los dos criterios para la selección de la muestra son los siguientes:

1. Las revistas deben publicar artículos arbitrados en temáticas relacionadas con las Ciencias Antropológica, la Historia y la Sociología.
2. Las instituciones editoras son consideradas competencia académica para la ENAH

En el Sistema de Clasificación de Revistas Mexicanas de Ciencia y Tecnología (SCRMCyT) la Revista Cuicuilco se ubica en la categoría V. Ciencias Sociales debido a las temáticas que aborda según su política editorial, de la mencionada categoría se eligieron estas revistas:

Con el objetivo de extender el análisis se agregaron dos revistas del área IV. Humanidades y Ciencias de la Conducta; la Revista Liminar también abarca estudios sociales; mientras que la Revista Intervención es publicada por la Escuela Nacional de Restauración y Conservación del INAH, y ésta tiene condiciones institucionales similares a la Revista Cuicuilco.

Resultados del análisis

A partir del resultado de los puntos obtenidos de la Ronda de Evaluación 2018 se construyó la “Matriz comparativa de revistas electrónicas con temáticas en Ciencias Antropológicas con base en el reporte 2018 del Sistema de Clasificación de Revistas Mexicanas Ciencia y Tecnología del CONACyT” la cual sirvió para generar las gráficas del presente análisis y puede consultarse en esta entrada.

Comparación del puntaje global de las ochos revistas analizadas

Al comparar los resultados globales de las ocho revistas seleccionadas se detectó que aquellas editadas por el INAH se encuentran en el nivel “Revistas en desarrollo”. La Revista Cuicuilco obtuvo 27.06 puntos e Intervención 26.28 puntos, el puntaje de las ocho revistas se expresa en la Gráfica 1.

Matriz comparativa de revistas electrónicas con temáticas en Ciencias Antropológicas con base en el reporte 2018 del Sistema de Clasificación de Revistas Mexicanas Ciencia y Tecnología del CONACyT

Dimensión 1. Política y gestión editorial

Al contrastar el puntaje máximo que se puede obtener por cada variable de la dimensión con respecto a los puntos obtenidos por las ocho revistas, se detectó que en la Dimensión 1. “Política y gestión editorial”, la Revista Cuicuilco obtuvo el puntaje más bajo de las ocho revistas comparadas con un total de 7 puntos de un máximo de 27. La diferencia de 20 puntos corresponde a que en cinco de ocho variables obtuvo una calificación de cero puntos, en dos variables tiene un puntaje por debajo del esperado y en la variable 1.3 obtuvo la calificación máxima. En la Tabla 4 se expresan las cifras obtenidas. 

Dimensión 2. Calidad del contenido

En la Dimensión 2. “Calidad del contenido” la Revista Cuicuilco obtuvo el puntaje más bajo de las ocho revistas comparadas con  un total de 2 puntos de un máximo de 20. La diferencia de 18 puntos corresponde a que en una de las tres variables obtuvo una calificación de cero puntos, en las dos variables restantes logró un puntaje igual a uno. En la Tabla 5 se expresan las cifras obtenidas.

Dimensión 3. Nivel de citación

En la Dimensión 3. “Nivel de citación” las Revistas Cuicuilco y Desacatos obtuvieron el puntaje más bajo del conjunto de las revistas comparadas con un total de 2 puntos de un máximo de 14. La diferencia de 12 puntos corresponde a que la Revista Cuicuilco obtuvo una calificación decero puntos en tres de las cuatro variables, en la variable 3.1 logró dos puntos. Es importante mencionar que con respecto a la Matriz se identificó que en el criterio 3.4 las ocho revistas analizadas obtuvieron cero puntos, la causa más probable es que las revistas no tienen visibilidad en los sistemas de bibliografía de acceso cerrado y de pago por membresía Web of Science y Scopus. En la Tabla 6 se expresan las cifras obtenidas.

Dimensión 4. Cumplimento de la frecuencia de publicación

En la Dimensión 4. “Cumplimento de la frecuencia de publicación” la Revista Cuicuilco y Anales de Antropología obtuvieron el puntaje más alto de las revistas comparadas con un total de 8 puntos de un máximo de 8. En las tres variables tiene una calificación de 2 o 4 puntos. En la Tabla 7 se expresan las cifras obtenidas.

Dimensión 5. Accesibilidad

En la Dimensión 5. “Accesibilidad” la Revista Cuicuilco obtuvo un total de 5 puntos de un máximo de 13. La diferencia de 8 puntos corresponde a que en una de las cuatro variables tiene una calificación de cero puntos, en dos variables tiene un puntaje de uno y en otra de tres. En la Tabla 6 se expresan las cifras obtenidas.

Dimensión 6. Visibilidad internacional

En la Dimensión 6. “Visibilidad internacional” la Revista Cuicuilco obtuvo un total de 3.9 puntos de un máximo de 18. La diferencia de 14.1 puntos corresponde a que en una de las tres variables tiene una calificación de cero puntos, en la variable 6.3 obtuvo medio punto. Se detectó que en la variable 6.2 Cuicuilco está a cuatro décimas (0.4) del cumplir el criterio. En la Tabla 6 se expresan las cifras obtenidas.

Puntuación máxima por dimensión evaluada

Con el puntaje total máximo no ponderado que es posible obtener de la Ronda Anual de Evaluación con base en las seis dimensiones y criterios aplicados a las versiones electrónicas las revistas científicas, se calculó la diferencia aritmética entre ese máximo y el puntaje obtenido por la Revista Cuicuilco en 2018. Se detectó, como lo muestra la Gráfica 8, que cinco de seis dimensiones requieren una atención prioritaria para mejorar en la evaluación anual. La dimensión cuatro de la frecuencia de publicación ha obtenido el puntaje máximo posible.

Propuesta de colaboración de Ciencia Abierta Lab Mx con la ENAH

Con base en el análisis del presente estudio a partir de los resultados de Revista Cuicuilco en el Sistema CRMCYT, El Colectivo Ciencia Abierta Lab Mx se postula como socio técnico-académico para participar de manera conjunta con las autoridades de la ENAH en el desarrollo e implementación de un plan de trabajo que lleve al incremento del puntaje en la siguiente evaluación del periodo 2020 y 2021, en los siguientes rubros:

Incremento del puntaje en la Ronda de Evaluación 2020 en del SCRMCyT

1. Con el CONACyT, ofrecemos asistir en conjunto con el Editor de Revista Cuicuilco y el Subdirector de Extensión Académica (EANH) para recibir recomendaciones a partir de la Evaluación 2019, con ello elaborar de manera conjunta un plan de trabajo en la dimensión cinco “Accesibilidad”, así como de los criterios: 5.1 Contenido disponible on-line, y 5.4 Edición de artículos en formato XML. Se estima un incremento de 6 puntos en el resultado, pasando de 5 a 11 puntos con la marcación en el formato XML JATS.

2. Con base en el Programa de marcación SciELO México se prepararán las versiones electrónicas en formato .docx de los artículos, con esta acción en la dimensión seis “Visibilidad internacional” criterio 6.1 Indización en SciELO Citation Index, se estima un incremento de 10 puntos en el resultado, pasando de 0 a 10 puntos.

Con las acciones antes descritas y partiendo de la hipótesis que la Revista Cuicuilco mantenga una calificación similar al de 2019, se estima un incremento de 27.06 a 43.06 puntos, es decir escalar dos eniles hasta la categoría de Competencia Nacional, similar a las revistas de Anales de Antropología – IIA – UNAM (46.46pts) y por encima de Desacatos – CIESAS (40.06pts).

3. Acompañamiento por parte del Colectivo Ciencia Abierta Lab Mx para dar seguimiento al resultado de las Rondas de Evaluación 2020 y 2021.

Incremento de visibilidad en Redalyc y el Directory of Open Access Journal (DOAJ)

Además de la aportación en el puntaje, Ciencia Abierta Lab Mx ofrece apoyar en la marcación de los artículos arbitrados en conjunto con el Editor de la Revista Cuicuilco, ya que la preparación de los archivos con el estándar JATS-XML puede ayudar a incrementar la visibilidad científica en el ámbito nacional e internacional, a través de la participación en los repositorios Redalyc y el Directory of Open Access Journal (DOAJ).

3. De Redalyc, se obtendrá la preparación para emplear el sistema de marcación XML-JATS  desarrollado por ellos denominado Marcalyc 1.0, el cual permitirá incrementar la legibilidad de los artículos arbitrados.

4.  La marcación también ayudará a cumplir con algunos de los criterios de aceptación de la Revista Cuicuilco en el Directory of Open Access Journal (DOAJ).

Hemos identificado a través de una consulta en la dirección electrónica https://doaj.org/, con fecha 10 de febrero de 2020,  que la Revista Cuicuilco no se encuentra representada, ni es visible en el Directorio Internacional  como lo muestra y expresa la siguiente imagen:

No results found that match your search criteria. Try removing some of the filters you have set, or modifying the text in the search box.