¿Amigos para siempre?

Posted on

Es un tema recurrente en muchos de los análisis que se hacen de la producción de conocimiento en los diferentes dominios científicos el de la colaboración entre investigadores pertenecientes a ámbitos territoriales distintos. En realidad, el estudio de esas colaboraciones se ha focalizado, entre otros, en dos posibles objetivos: el efecto en términos de impacto científico de la colaboración y la dependencia científica de unos dominios respecto a otros asociada a esas mismas colaboraciones. Este tipo de análisis parecen particularmente oportunos (u oportunistas si se quiere) en aquellos casos en los que existen contenciosos políticos y/o sociales que a priori debieran afectar a la colaboración entre científicos. Me refiero a casos como el de la relación entre países o regiones en conflicto. Un ejemplo muy evidente en este sentido sería el de la colaboración entre científicos de Israel e Irán: ¿Afecta el conflicto entre ambos países a la colaboración científica? En un futuro post trataré específicamente ese tema. Hoy quiero hacer algunas consideraciones sobre un caso muy diferente pero sobre todo mucho más cercano: el de la colaboración entre investigadores de Cataluña y de Madrid. ¿Cuál es el nivel de esa colaboración? ¿En qué medida genera dependencia científica de una comunidad respecto de la otra?

Gráfico 1: Colaboración científica entre CCAA en el año 2019

El mapa del gráfico 1 pone de manifiesto que existe, como no podría ser de otra forma, una intensa colaboración científica entre los investigadores de las diferentes CCAA en España. Hay que recordar que las evidencias disponibles demuestran que la colaboración se desarrolla en primer lugar con los vecinos. Particularmente alta es la colaboración existente entre las dos CCAA que tienen más producción, Cataluña y Madrid. Hasta ahí nada extraordinario. Que las dos comunidades más productivas sean las que exhiben más colaboraciones entre sí parece lo previsible. La cuestión es, a partir de aquí, analizar qué representa para cada comunidad esa colaboración, cual ha sido su evolución a lo largo del tiempo y cómo se sitúa en un contexto global la colaboración entre Cataluña y Madrid.

La colaboración entre Madrid y Cataluña representa el 16% de la producción para Madrid y el 18% para Cataluña en el año 2019. Pero la evolución de este porcentaje ha sido creciente de forma constante en ambas regiones como demuestra el gráfico 2.

Gráfico 2: Evolución porcentual de la colaboración científica entre Cataluña y Madrid

Esta evolución pone de manifiesto que la colaboración ha ido representando para ambas CCAA un porcentaje mayor de sus respectivas producciones con el paso del tiempo. Pero, junto con esto, lo verdaderamente significativo es que la colaboración entre ambas regiones es mayor que la colaboración de éstas con cualquier otra región en el mundo, como se puede apreciar en la tabla que puede descargar final del post. En mi opinión, la situación descrita aquí debe ser complementada en el análisis con al menos dos temas que podré comentar en otro post en un futuro próximo: el liderazgo de las investigaciones en colaboración y el impacto científico de estas colaboraciones frente al de la producción sin colaboración o con otro tipo de colaboradores. De momento me limito a constatar el hecho de que la colaboración entre ambas Comunidades es parte importante en términos cuantitativos de su producción científica y lo está siendo cada vez más a medida que pasa el tiempo en los últimos años.

Para descargar la tabla completa: https://www.scimagoir.com/content/Primeras_colaboraciones_regionales_ordenadas.pdf

Félix de Moya Anegón
Founder of SCImago Research Group
https://orcid.org/0000-0002-0255-8628

Crecimiento del Acceso Abierto en el SJR 2002-2019

Posted on

La actual corriente de Open Science (OS, ciencia abierta) se basa en hacer buena ciencia replicable, de forma eficiente para evitar la duplicación de recursos utilizados en investigación y optimizar la reutilización de los datos. Se considera abierta en cuento mejora la accesibilidad de los datos y el conocimiento en todas las etapas del ciclo investigativo.  Las publicaciones en abierto son una parte de este movimiento que intenta facilitar el acceso, en este caso, a los resultados de investigación. En la actualidad tanto Scopus como WoS recogen revistas publicadas en acceso abierto, por tanto tienen Factor de Impacto y SJR. El hecho de que una revista sea Open Access (OA, acceso abierto) no implica que tenga menos calidad que las revistas de suscripción. Sin embargo, para este post hemos decidido analizar el incremento del número de revistas de OA en Scopus, haciendo un análisis por grandes regiones del mundo y estableciendo si es una práctica recogida de igual manera en dichas regiones.

La evolución del número de revistas en el SCImago Journal  & Country Rank (SJR) a lo largo del periodo 2002-2019 es desigual para cada una de las regiones presentes en la plataforma (http://www.scimagojr.com; la plataforma dispone de más agrupaciones de países que permiten establecer otros análisis y evaluaciones). Se han establecido periodos de tres años para estabilizar los datos de crecimiento. Como se puede apreciar en la Ilustración 1. Evolución del crecimiento en el número de publicaciones científicas por regiones. SCImago Journal  & Country Rank, la región con mayor número de publicaciones es Northern America y la que tiene menor número de publicaciones es África. Lo sorprendente es que mientras que África crece, los trabajos publicados en revistas de países del Norte de América tienden a tener menor presencia relativa en los dos últimos trienios. Las regiones de Asia, Europa del Este, Latinoamérica, Oriente Medio tienden a aumentar la presencia relativa de revistas, en cambio, Pacífico aumenta todos los trienios excepto el último analizado. El compartimiento más diferencial lo encontramos en el Oeste de Europa, que comienza en 2002-2004 siendo la región con mayor presencia porcentual para ir descendiendo hasta situarse por debajo del 40% en 2011-2013. Desde ese trienio, consigue aumentar su presencia relativa solo en 2017-2019. Las regiones de América del Norte y Oeste de Europa son las mayores publicadoras de revistas científicas, y a pesar de las oscilaciones en el incremento relativo de trabajos publicados en el periodo analizado, no pierden el predominio basado en grandes consorcios editoriales bien establecidos a lo largo del tiempo

Gráfico 1. Evolución del crecimiento en el número de publicaciones
científicas por regiones. SCImago Journal  & Country Rank
Nota: Datos extraídos de http//:www.scimagojr.com en septiembre de 2020

La evolución del porcentaje de revistas de Acceso Abierto difiere bastante de la evolución del porcentaje sobre el total de publicaciones. En la Ilustración 2. Evolución del crecimiento relativo en el número de publicaciones científicas en Acceso Abierto por regiones. SCImago Journal  & Country Rank se observa que las regiones con mayor presencia con respecto a la producción mundial, no son necesariamente las más productivas en OA. En rangos similares de porcentajes en Acceso Abierto encontramos a las regiones de Asia, Este de Europa (destaca ligeramente con respecto al resto del grupo), Latinoamérica y Norte América, que se sitúan entre el 1% al inicio del periodo y el 3 % en el último quinquenio de títulos en esta modalidad. Asia porcentualmente está muy por detrás en OA respecto de su producción total. Oriente Medio se encuentra por debajo de estos valores, pero con la misma tendencia a ir incorporando al sistema de editorial científica cada vez más revistas de Acceso Abierto. África y la región del Pacífico se sitúan entre por debajo del 1% en todos los trienios demostrando ambas regiones que aunque evolucionan positivamente en todos ellos, reflejan una importancia relativa similar a la de la producción total. Las regiones con larga tradición en editoriales  científicas (América del Norte y el Oeste de Europa) tienen comportamientos muy distintos con respecto al OA. Mientras que América del Norte no supera el 2% de revistas en acceso abierto con respecto al total del mundo con un crecimiento ascendente (al igual que el resto de regiones), el Oeste de Europa sí que ha apostado claramente por este modelo, siendo la región preponderante en el mundo en OA, y a que ha aumentado desde casi del 2% en 2002-2004 hasta 7% en el último trienio.

Gráfico 2. Evolución del crecimiento relativo en el número de publicaciones
científicas en Acceso Abierto por regiones. SCImago Journal  & Country Rank
Nota: Datos extraídos de http//:www.scimagojr.com en septiembre de 2020

En términos generales y aunque se observa un aumento sostenido del porcentaje de revistas de Acceso Abierto en el largo periodo analizado, todavía queda mucho camino que recorrer, ya que en ningún caso consiguen situarse los mejores datos por encima del 7% siendo el Oeste de Europa la región que mayores incrementos de OA incorpora al sistema de publicación.

El análisis de otros indicadores vinculados a la citación y/o el impacto dibujarán un mejor conocimiento de lo que está pasando con el movimiento de Acceso Abierto y si realmente la cantidad y la calidad están relacionadas.

Elena Corera
Scientific Senior Advisor
https://orcid.org/0000-0002-0822-2869

Inversión en I+D, producción científica y publicaciones indexadas

Posted on

Hay muchas referencias en la literatura reciente sobre la relación existente en el conjunto de los dominios científicos entre inversión en I+D y producción científica. Esta relación pone de manifiesto que con independencia del papel que puedan jugar otras variables, parece existir evidencia suficiente de que aquellos países que invierten más en ciencia tienden a tener una mayor producción científica (Gráfico 1). Aunque esta relación parece obvia, está siempre sometida a debate de forma implícita cuando se critica el grado de cobertura por países que tienen las bases de datos. Especialmente por lo que afecta a la cantidad de revistas indexadas procedentes de cada dominio científico.

Gráfico 1: Dispersión entre output científico e inversión bruta en I+D por países

Parece obvio, de acuerdo con lo que observamos en el gráfico 1, que cuando los diferentes países invierten más en I+D tienden a conseguir mayores niveles de producción científica. A partir de aquí, lo que quedaría por demostrar es si esa mayor producción científica es, entre otros, factor causal entre otros de un mayor nivel de desarrollo socioeconómico. Este tema quedará en todo caso para un comentario posterior. Hoy de lo que se trata es de comentar si este mismo nivel de correlación se da también entre inversión y número de publicaciones indexadas por país. A priori, parece lógico hipotizar que de la misma manera que la mayor inversión en ciencia produce mayor conocimiento y por tanto mayor output científico, también podría tener un efecto benéfico sobre la creación y desarrollo de proyectos editoriales en el mundo académico/científico. Si esto fuera así, también deberíamos encontrar altos grados de correlación entre inversión CyT y número de publicaciones indexadas.

Gráfico 2: Dispersión entre publicaciones indexadas e inversión CyT por país

En este caso, lo que parece obvio es que el efecto de la inversión es más directo sobre el output científico total que sobre el número de publicaciones indexadas en la base de datos Scopus. A partir de aquí, se abrirían dos posibles líneas de análisis: o existen otros factores, además de la inversión, que explican la indexación, o los criterios de selección de las publicaciones en las grandes bases de datos multidisciplinares tienen sesgos que favorecen a los países con mayor número de publicaciones. Mi conclusión es que ambas líneas de análisis deben ser recorridas si queremos encontrar una explicación comprensiva del fenómeno. Por ejemplo, en relación con lo primero, tiene mucho sentido pensar que existen razones históricas y culturales que explicarían por qué sólo 4 países acumulan en estas bases de datos más de dos tercios de las publicaciones científicas del mundo (USA, UK, NET y GER).

En resumen, existen factores diversos que concurren en la explicación de los procesos de indexación de las publicaciones en las bases de datos internacionales. El factor de la inversión CyT es uno de ellos, pero no el único. En cambio si parece haber una relación causal más directa entre este tipo de inversión por dominio y la producción bruta de conocimiento científico.

Félix de Moya Anegón
Founder of SCImago Research Group
https://orcid.org/0000-0002-0255-8628

La innovación y el impacto social desde la perspectiva de la medición cienciométrica

Posted on

La medición holística de las instituciones en el mundo es un deseo que se puede llegar a cruzar por la mente de las organizaciones que generan indicadores y rankings. Sin embargo, es importante mencionar que este deseo no pasa de ser eso, un deseo. Existen en las instituciones muchas variables que no se pueden medir extermante y, mucho menos, desde una política pública. Por tanto, sería sensato admitir que la visión y alcance de los rankings esté focalizada en un conjunto de variables que se puedan observar y analizar.

El SCImago Institutions Rankings en su metodología plantea tres conjuntos de variables, llamadas factores, que son Research, Innovation y Societal. Los tres factores tienen vínculos muy fuertes entre sí y, a su vez, permiten establecer el grado de articulación institucional entre la investigación y la innovación con su contexto, mediante el factor Societal.

Una sencilla comparación de los valores obtenidos por cada institución en el ranking 2020 puede brindar algunas luces sobre la relación entre los factores y los enfoques de las regiones. Las gráficas siguientes muestran los factores Innovation y Societal en los ejes, el factor Research como tamaño de cada circulo (que representa una institución) y el color de cada círculo como indicador del sector al que pertenece la institución (Government, Universities, Health, Private, Other) en las regiones Asia, Norteamérica, Europa Occidental, Europa Oriental, Latinoamérica y el Pacífico.

Distribución de valores de innovación e impacto social en el SCImago Institutions Rankings 2020. (El tamaño del circulo corresponde al valor de la investigación y el color al sector al que pertenece la institución. La escala se ha fijado en 5 puntos para mejor visualización)

A la vista de las gráficas anteriores, se pueden detectar algunos comportamientos:

  1. Hay una gran disparidad entre los valores promedio de cada factor, siendo el factor Societal el menos representativo en las instituciones.
  2. Las universidades tienden a tener mejor proporción entre los factores Innovation y Societal.
  3. Latinoamérica es la región que menos evidencia presenta en el factor Innovation.
  4. Las instituciones del sector Gobierno son el principal promotor de innovación en Europa y Asia, no así en Norteamérica y en el Pacífico, donde son las instituciones del sector Salud las que llevan la bandera de la innovación.
  5. Se destaca un número importante de instituciones en todas las regiones con altos valores en el factor Innovation y a su vez, muy poco valor en el factor Societal, lo cual da cuenta de la falta de vínculo entre la innovación realizada y el impacto social que obtiene la institución por su presencia web y en Redes Sociales.
  6. La región pacífica presenta indicadores muy similares a Norteamérica en los factores Research y Societal, y acercándose cada día más el factor Innovation, teniendo presente que el número de instituciones es menor.

Este sencillo análisis, pone de manifiesto que debe existir entre las instituciones y con una visión global de región, una apuesta sólida por la innovación, fruto de los resultados de investigación y del relacionamiento con el sector industrial y empresarial y, con la misma intensidad de su producción, sea difundida adecuadamente a la sociedad. Entendiéndose como adecuadamente, en los canales y los medios más pertinentes para que los diferentes actores de la sociedad identifiquen y reconozcan el aporte de las instituciones al desarrollo de ésta, ya sea en lo científico, lo económico, lo empresarial, lo social, etc.

Latinoamérica aún tiene un gran margen de desarrollo, ha demostrado un crecimiento en sus productos de investigación y destellos de innovación y presencia social, solo es necesario que los investigadores y los directivos reconozcan su propia capacidad y busquen aumentarla y consolidarla mediante la formación y la colaboración internacional, para sacar así, el mejor provecho a los grandes esfuerzos en investigación que se realizan.

Gerardo Tibaná Herrara
Senior Consultant
https://orcid.org/0000-0003-2056-7605

¿Cuánto está afectando la COVID-19 a la producción científica en el 2020?

Posted on

La COVID-19 ha supuesto un cambio de escenario para los investigadores: restricciones de desplazamiento; universidades y centros de investigación cerrados; limitaciones en el acceso a hospitales y laboratorios; así como dificultades para realizar trabajo de campo. Atendiendo a este contexto, sería razonable preguntarse si se espera que la producción científica del año 2020 se verá afectada o no. El Dr. Juan José Cabello, director del Departamento de Energía de la Universidad de la Costa en Colombia, señala a este respecto que no cree que se vaya a producir una bajada en la producción científica puesto que, los trabajos ya publicados en el 2020 o los que aún se encuentran en evaluación, se generaron principalmente con investigaciones realizadas durante el 2019. Los trabajos ya publicados fueron postulados a revistas de corriente principal desde el último bimestre del año 2019 y en el primer semestre del 2020 se postularon más trabajos que ya están siendo publicados. Por lo tanto, a juicio del Dr. Cabello, lo único que pudiera afectar a la producción del 2020 es que los investigadores no dispusieran del tiempo necesario para realizar el análisis, procesamiento de datos y la escritura de los artículos planeados para este año.

Según las características de los sistemas universitarios de los diferentes países, los profesores suelen tener un plan de trabajo inelástico, donde la carga de docencia y el tiempo de investigación se han visto poco alterados en el 2020. Sin embargo, en aquellos países donde los sistemas universitarios son principalmente privados, existe una alta dependencia de la matrícula de los alumnos por semestres, como es el caso de Colombia, quien ya registra dos semestres con crecimiento negativo de las matrículas. Esta situación ha generado una recarga docente en los profesores de planta, así como la finalización de contratos a profesores con menor tiempo de dedicación a la docencia e investigación. En cambio, este no es el caso de Rumania, donde el Gobierno ha reducido los requisitos de ingreso a la Universidad, eliminando las pruebas específicas de casi todas las especialidades, a excepción de medicina, derecho y arquitectura, lo que ha generado un ingreso masivo de estudiantes al primer curso. Como consecuencia, en el cuso 2020 los profesores universitarios han tenido que aumentar sus horas de docencia, reduciendo así las dedicadas a la investigación. A continuación, se muestra gráficamente los resultados obtenidos tras comparar las producciones científicas de los 44 países más productivos del mundo: con producciones científicas superiores a 14 mil artículos en 2019. Se han analizados varios escenarios para estimar si la producción científica de 2020 progresa a la par que la del año anterior en la misma fecha (lectura a 28 de agosto).


Diferencia porcentual entre producción esperada para el 2020 y producción observada a agosto del 2020.
Fuente de Datos: Scopus. Análisis: Scimago Research Group

En general, los países científicamente más productivos no parecen mostrar contracciones en su producción del 2020, sin embargo, Japón, siendo uno de estos países, sí que muestra una moderada contracción del -2,4%. Entre los países altamente productivos China (4%) e Irán (8,7%), se pueden ver indicios de que su producción 2020 será mayor que la del 2019. En cambios, otros países altamente productivos, como lo son Estados Unidos (-1,9%) y Alemania (-2,8%), muestran indicios de contracción moderada, y menos moderada como la Federación Rusa (-15,8%). En Europa del Este, el país que muestra una mayor contracción es Rumania (-16,6%), seguido de Ucrania (-13,5%), Republica Checa (-9,7%), Polonia (-3,3%), mostrando ser la región más afectada. Algunos países de Asia también se ven afectados: Indonesia (-3,9%), Japón (-2,4%) e India (-1,6%). En América Latina los países que registran contracciones son principalmente Colombia (-5,9%) y Brasil (-0,4%). La región del mundo que mejor está aprovechando esta oportunidad para crecer, son los países árabes: Arabia Saudí espera un crecimiento del 18,5% y Egipto del 13,3%. Los países de Europa Occidental crecen, con la excepción de la ya mencionada Alemania (-2,8%) y Francia que muestra una contracción marginal (-0,8%). Países muy afectados por el COVID-19, como Estados Unidos (-1,9%), Brasil (-0,4%), Italia (5,3%) o España (4,9%), no parece que su producción científica para el 2020 vaya a sufrir contracciones significativas.

A la luz de los datos, la producción científica de 2020 no será mucho menor que la de 2019: la disminución de las producciones esperadas no afectará de forma simétrica a todos los sistemas científicos. Los países de Europa del Este muestran un nivel de afectación más alto que otras regiones del mundo, todas ellas por encima del 10%. En el conjunto analizado, Colombia es el único país occidental con contracciones por encima del 5%.

Es interesante preguntarse cuál será la capacidad de los países de producir ciencia en el 2021. Seguramente los países que en el 2020 ya muestren una disminución de la producción científica, ésta se verá agravada en 2021.  Otros países que se mueven en una zona de indiferencia entre crecer y no crecer pueden caer en una contracción moderada. Probablemente, algunas regiones del mundo seguirán creciendo, como ya lo muestran los países árabes.

Atilio Bustos González
Senior Consultant
https://orcid.org/0000-0002-0822-2869

Modelos de distribución público/privada de la producción científica académica iberoamericana

Posted on

En la búsqueda del balance óptimo entre universidades públicas y privadas en los Sistemas de Educación Superior (HES) encontramos una de sus evidencias más notables en la desigual manera de distribuirse la producción y el impacto científico entre los diferentes tipos de instituciones académicas. Quizá pueda haber quien piense que existe una gran similitud en lo relativo a esta distribución de la producción por tipos de casas de estudio entre unos países y otros. La realidad es que los diferentes HES se han desarrollado en cuanto a este balance de diferentes maneras, aunque resulta fácil identificar algunos modelos dominantes.

En el caso de los HES iberoamericanos encontramos un modelo de presencia abrumadoramente público en algunos países, frente a otros en los que se da un balance más equilibrado. Ejemplos notorios de este modelo en la región son Brasil, México, Argentina y España:

Por otro lado, hay países en los que las aportaciones al output científico nacional han tendido a ser más equilibrada entre los diferentes tipos de universidades a lo largo de los últimos años. Quizá el caso más significativo de este progresivo equilibrio esté representado por el HES colombiano, en el que la producción científica de las universidades públicas se ha reducido porcentualmente mientras aumentaba el porcentaje de aportación privada. La pregunta a partir de aquí es si esta evolución responde o no a una política pública de educación superior que busca este balance en el HES nacional o es más bien el efecto de una política de CyT orientada a incorporar a los actores privados del HES a los procesos de generación de conocimiento científico.

Casos similares en los que se da una evolución reciente en la dirección del aumento de la aportación privada son Chile y Perú, aunque sin alcanzar el balance de Colombia. En este último caso se da la circunstancia de que la distribución de producción científica por tipos de universidad es muy similar a la distribución de los estudiantes en el sistema colombiano entre universidades públicas y privadas.

Por fin, un caso realmente singular desde esta perspectiva es el de Ecuador, donde se vienen dando oscilaciones muy importantes del balance público/privado en lo que afecta a la producción científica. Estas variaciones en la tendencia deben estar asociadas a los cambios producidos en algunas de las políticas públicas del país relacionadas con la Educación Superior y la CyT. Después del muy acelerado cambio de tendencia que se produjo entre 2013 y 2015 se observa una suave evolución hacia un mayor equilibrio entre las universidades públicas y privadas.

En resumen, hay diferencias muy significativas de unos países a otros en lo relativo al balance de los aportes científicos entre universidades públicas y privadas. Es evidente que estas diferencias tienen que ver con la propia estructura de los HES de cada país. En los extremos se encontrarían, por un lado, los países con HES básicamente públicos y frente a estos, aquellos otros países con HES en los que existe una fuerte presencia de las instituciones privadas de distinto tipo. Junto a estos elementos estructurales, que tienen que ver con el desarrollo histórico de los diferentes sistemas, también podemos apreciar influencias significativas de las políticas de Educación Superior y CyT recientes, así como cambios en los hábitos de los académicos en relación con los procesos de generación de conocimiento. Estos cambios de hábitos se han traducido en la incorporación al acervo curricular de los profesores de los resultados de investigación con visibilidad internacional. Algo que no era tan común en el pasado reciente de HES donde predominaban las llamadas “teaching universities”. Para completar este sucinto análisis sería necesario al menos indagar en la distribución de impactos científicos por tipos de universidades y completar las evidencias de producción e impacto con el detalle de la colaboración entre los diferentes tipos de universidades.

Félix de Moya Anegón
Founder of SCImago Research Group
https://orcid.org/0000-0002-0255-8628

Geocitación y referenciación de la investigación en Latinoamérica

Posted on

Una de las variables que debe encarar todo investigador a la hora de postular sus trabajos es la adecuada y correcta selección de la revista científica, que le brinde prestigio y presencia en la comunidad científica, además de la citación como evidencia del impacto otorgado por sus pares. Para facilitar esta actividad, el investigador tiene a su alcance herramientas para “encontrar” una revista que se adapte a sus necesidades, puede ver la oferta de las casas editoriales (Elsevier: Find Journal; Springer: Journal Suggester; Wiley: Journal Finder; y otros) o puede consultar los indicadores bibliométricos de las revistas en el SCImago Journal & Country Rank. Sin embargo, hay unas categorías de análisis que pueden brindarn datos adicionales para la toma de decisión: la geocitación y la referencias a nivel país.

La geocitación es la categorización geográfica de las citas recibidas a nivel país y las referencias se corresponden con el aparato bibliográfico de los trabajos científicos. Al identificar los datos de estas categorías en Latinoamérica, encontramos que en el periodo 2015-2019 los autores latinoamericanos han basado sus investigaciones en más de 27 millones de referencias y en el mismo periodo han recibido 5.876.192 citas (Fuente: Scopus). Al agrupar por regiones, vemos que hay 5 valores diferentes de relación entre las citas recibidas y las referencias, el más alto 1/3 (Europa oriental) y el más bajo 1/7 (Norteamérica), teniendo como promedio 1/5, lo que significa que, por cada 5 referencias publicadas desde la región, se recibe 1 cita (interna a la región o externa).

Estos datos generan más preguntas que respuestas, por ejemplo:

  1. Si la cita determina el grado de impacto y relevancia que le brinda un par investigador a un trabajo, ¿se podría decir con estos datos, que la ciencia Latinoamérica está mejor valorada por los países de Europa Oriental?
  2. Solo el 28% de las referencias son de la misma región, ¿cómo intervienen los conceptos de calidad científica e investigación de frontera en estos resultados?
  3. ¿Qué papel ocupan los índices y las bases de datos en la selección de posibles destinos de publicación por parte de los investigadores?

Sin duda, las herramientas tecnológicas actuales con sus sistemas de notificación, cumplen un papel muy importante al informar al autor de cuándo ha sido citando y quién lo ha hecho, lo que contribuye a aumentar el nivel de visibilidad de los autores y de las revistas.

Gerardo Tibaná Herrara
Senior Consultant
https://orcid.org/0000-0003-2056-7605

Frecuencia de publicación e impacto de la producción científica mundial

Posted on

English version here

Evolución de la distribución de items por cuartiles de las publicaciones en Scopus (arriba) y evolución del impacto normalizado por campos de los mismos ítems según cuartiles de las revistas (abajo)

Una característica significativa de la evolución de la producción científica consignada en Scopus es que hay cuatro veces más documentos en publicaciones de primer cuartil que en publicaciones de cuarto cuartil. Esta proporción se ha mantenido constante a lo largo de los últimos años y pone de manifiesto, con toda probabilidad, que, a pesar de las recomendaciones reiteradas últimamente (Declaración de San Francisco y Manifiesto de Leiden entre otros), existe una concentración de demanda de publicación por parte de los autores sobre las publicaciones del primer cuartil muy posiblemente motivada por las políticas públicas de Ciencia y Tecnología en todo el mundo. Esta sobredemanda produce en principio tres efectos muy visibles:

  1. El crecimiento del espacio para publicar trabajos en las publicaciones mejor situadas en los rankings internacionales (Q1). Este aumento de la oferta por parte de los editores tiene por objeto ajustar la oferta editorial a la demanda de los autores que parece concentrarse en primera instancia sobre las publicaciones Q1.
  2. Esta distribución desigual de los ítems entre los distintos niveles de publicaciones produce un segundo efecto sobre la distribución de impactos normalizados por campos de los diferentes trabajos según cuartiles de las revistas. Como el 44% de los trabajos se concentra en las revistas Q1, será más probable superar en promedio la media mundial de impacto para los trabajos publicados en revistas de este cuartil. Esto no hace imposible publicar trabajos con alto impacto en revistas Q2, Q3 o Q4, sólo lo hace, en términos estadísticos, menos probable (gráfica inferior).
  3. Un tercer efecto de este estado de cosas tiene que ver con la distribución de modelos de negocio de las revistas. En la medida en que las publicaciones son más demandadas por los  autores estas tienden a ser absorbidas de diferentes maneras por los grandes grupos editoriales por considerarlas cuanto menos sujetos de negocio sustentables. Esta circunstancia parece estar en el origen de que, desde la perspectiva de las grandes bases de datos, exista una mayor concentración de publicaciones Open Access no APC en los cuartiles más bajos. En cierto modo, en el sistema actual de publicaciones científicas existe una tendencia global a convertir las revistas más demandadas en productos administrados por los grandes grupos editoriales sin importar cual sea su origen y objetivos fundacionales. Esta tendencia es observable tanto si las publicaciones son promovidas por instituciones académicas o sociedades científicas.

En definitiva, la relación existente entre las métricas de uso de las publicaciones y la estructuración del mercado de las publicaciones científicas es muy evidente. Razón por la cual probablemente algunos de los grandes grupos editoriales (Clarivates, Elsevier, Springer, etc.) han entrado desde hace años en el territorio del creciente mercado de las métricas. Pero lo que resulta del todo imposible es que este mercado mundial de las publicaciones se pudiera estructurar de una u otra manera sin la existencia de cooperadores necesarios en el terreno de los reguladores de políticas públicas CyT. No ha sido el crecimiento de la oferta editorial lo que ha provocado la sobredemanda por parte de los autores. Ha sido la identificación de una parte de esa oferta editorial por parte de los reguladores públicos como confiable en los procesos de evaluación de la investigación, lo que ha producido la concentración de la demanda por parte de los investigadores.

Félix de Moya Anegón
Founder of SCImago Research Group
https://orcid.org/0000-0002-0255-8628

Distribution by country of the research institutions in the SIR 2012 among the first 100, 250, 500, 1000, 2000 and all (3290)

Posted on

Data source: Scimago Institutions Rankings

Country 100 250 500 1000 2000 Total
USA 41 80 138 218 361 521
CHN 14 29 54 99 218 332
FRA 5 12 24 59 143 204
JPN 5 12 20 59 127 185
GBR 6 16 30 60 119 165
ESP 1 4 14 32 73 153
DEU 4 16 38 57 93 129
IND 1 1 3 18 43 128
ITA 2 10 21 43 77 128
BRA 1 4 7 20 42 104
KOR 1 5 12 31 56 91
CAN 4 10 20 37 57 89
AUS 4 8 10 24 53 78
TWN 1 3 7 20 52 73
TUR     3 14 46 62
POL 1 1 2 14 33 49
IRN   1 4 8 23 45
NLD 2 7 13 16 22 35
RUS 1 2 2 5 15 34
CHE 1 3 5 14 21 33
MEX   1 4 7 15 32
GRC   1 4 7 14 31
PRT     2 7 10 29
CZE 1 2 2 4 14 28
SWE   3 10 13 18 26
ARG 1 1 2 4 10 22
BEL 1 2 6 11 16 22
ZAF     1 5 12 22
IRL     2 4 8 21
AUT     3 9 15 20
ISR   3 5 9 14 20
DNK   3 4 6 9 19
FIN   1 3 10 15 19
ROU       4 10 19
THA     1 3 11 18
MYS     2 5 8 17
NOR   1 4 5 10 17
PAK         7 16
CHL     1 3 5 15
EGY       3 9 15
NZL     2 5 9 15
SGP 2 3 3 3 5 12
HKG   3 5 6 8 10
HRV     1 1 6 10
NGA         3 9
HUN   1 1 6 7 8
SRB     1 1 5 8
UKR   1 1 1 3 8
COL       1 4 7
SAU       1 3 7
TUN         3 7
VEN         4 7
JOR         2 6
SVK     1 2 3 6
SVN     1 2 3 6
BGR     1 1 2 5
DZA         1 5
LTU         3 5
ARE         1 4
BGD           4
VNM           4
BLR       1 2 3
EST       1 2 3
IDN           3
ISL         1 3
MAR         1 3
PER           3
QAT           3
ARM           2
AZE         1 2
CUB         1 2
CYP         1 2
GEO           2
GHA           2
KEN         1 2
LBN         1 2
LKA           2
LVA         1 2
PHL           2
TZA           2
BIH           1
BWA           1
CIV           1
CMR         1 1
CRI           1
ETH         1 1
JAM           1
KWT         1 1
LUX           1
MAC         1 1
MDA           1
MKD           1
MLT           1
MNE           1
MWI           1
OMN         1 1
PAN           1
PRI       1 1 1
SDN           1
SEN           1
TTO           1
UGA         1 1
URY         1 1
UZB         1 1
ZMB           1
ZWE           1
Total 100 250 500 1000 2000 3290

Normalized Impact of Universities (I)

Posted on

We, at Scimago Lab, include the Normalized Impact indicator in every ranking SIR we build, both in world and iberoamerican series. This indicator can be seen as a substitute to the overused Impact Factor as it conveniently captures the scientific impact of institutions and corrects the biases generated when heterogeneous outputs –such as those coming from big universities– are analyzed. This post is the first of a series of two in which we describe its main features and computation methods.

When the scientific output of an university is analyzed to evaluate its impact and compare it to other universities’, we must have in mind that there exists many factors influencing the amount of citations achieved by the university such as the research thematic profile, the document types where its output is published, the “age” of the papers under analysis, etc. These biases make a direct comparison on the quantity of citations obtained by universities unfeasible, therefore rankings built over raw citation counts should be avoided. It should happen the same to journal rankings (as IF based journal rankings), but that matter will not be discussed here.

At the level of Universities and large Research Centres (national agencies, big companies, etc), the Normalized Impact indicator is more efficient to reveal the scientific impact (or visibility) of institutions outputs because it includes some tools to correct the topic-type-age biases. The Normalized Impact amends the citation value achieved by every paper by comparing it to an international standard, thus in this way it normalizes the disparity of citation scores obtained by papers in different domains, with different ages and of different types.

This citedeness bias is due to the different  citation dynamics:

Between Thematic Domains. There exists different citation behaviours in different areas of Science, so it cannot be directly compared the citedeness of papers in Medicine with works on Social Sciences, Engineering, Life Sciences nor Health Life. Every thematic domain has its own citation patterns.

The following bubble chart shows Germany’s 30 Top Subject Categories by number of documents published in the period 2009-2010. Bubble size represents Citations per Document in the area. The big light green bubble correspond to Cell Biology –located between 20,000 and 25,000 Cites in the vertical axis– (11.13 citations per document) while the wine-red little one down in the middle correspond to Electrical and Electronic Engineering (2.23 citations per document). So how would influence this parameter to a university output that had a strong Engineering focus? It seems clear that using Impact Factor (or any other non-standardized methodology) to build the rank would push it down, no matter how good it was in its research.

Germany’s 30 Top Subject Categories by number of documents published in the period 2009-2010
Source: SCImago Journal and Country Rankg. Period: 2009-2010. Link

Between different document types. There also exists different citation patterns among the various types of papers/articles/reviews/etc. traditionally included in scholarly journals. So reviews should not be directly compared with papers (original article), conference papers, letters, etc.

Among different papers’ “ages”. Usually, when a ranking is built, the output of universities to be compared includes sets of papers with different ages, that is, papers that have been published in several years. But a paper that has been published three years before another one has more chances to achieve citations because it has had more time to be known by the scientific community, so the ages of the papers in the set influence the number of expected citations.

The following chart shows year by year citedeness achieved by Canada’s output, both the total number of citations and self-citations (that is, canadian papers citing ohter canadian papers). It is clear how the line declines at the end, when it approximates to the current date. So should 2006 output be evenly compared to 2010’s when less citations are “being played”? It must be taken into account that when universities are compared to build rankings, papers from differente ages a measured with this evident age bias.

Annual Series of Citations achieved by Canada’s Output
Source: SCImago Journal and Country Rankg. Period: 2009-2010. Link

How international standards are built

What NI makes is to build citation standards that are used to normalize the citation achieved by an institution. The normalization is then carried out paper by paper o just in one time by summing up all the university citations (i.e. citations received by the whole output of and institution) and normalizing later.

The citation value of a “standard paper” is computed for every topic-type-age  relationship. For instance, to build a “standard 2008 review in Oncology” the citations to every Review in Oncolgy published in 2008 are counted and then divided by the number of reviews or to build a “standard 2009 original article in Applied Mathematics” the mean of citations achieved by all the Original Articles in Applied Mathematics published in 2009 is computed. This is done for each one of these triads so at the end of this process we have a bunch of standard paper values ready to be used to normalize the output of institutions.

How to interpret NI scores

NI scores are standardized to the world average which is asigned a value of 1, then a score of 0.8 means the institution is cited 20% below world average and 1.3 means the institution is cited 30% above world average.

The following chart shows the Top Ten universities by output in China and France ordering them by NI scores. As can be seen, just two Chinese universities equal or exceed the world average barrier, to the rest their scientific impact is lower than the international standard, in some a 40% lower (those that have 0.6 score) On the other hand, french largest universities present scientific outputs with significant impact, all of the over 40% of the world average (1.4 to 1.7)

Source: SCImago Insitutions Rankings. Period: 2006-2010

In the following post of this series we will talk about the two main methods to compute the Normalized Impact indicator: the so called CROWN indicator by the University of Leiden and the “Field Normalized Citation Score” set by the Karolinska Instituet. We will also compare NI with other indicators used in SIR Rankings and describe its features.

Borja González Pereira works at Scimago Lab as Content and Media Manager, he is also a researcher at SCImago Research Group where participates in the development of the SJR indicator and in renowned bibliometic projects including Scimago Journal & Country Rank, Scimago Institution Rankings and The Atlas of Science. His main interest included Bibliometrics and Scientometrics.

Contact

scimago lab

mail contact@scimago.es

twitter @scimago

twitter Our blog

Scimago Lab is a division of the SRG S.L. company. Copyright 2010-2020.