Métricas de uso e impacto de las publicaciones

El conocimiento adquiere valor cuando se publica y surge algún impacto. Este impacto se mide de diferentes maneras, cuantitativas y cualitativas.

Se conocen dos tipos de métricas que se utilizan para evaluar el impacto, la comunicación científica escrita – tradicionales (Bibliometrics) y alternativas (Altmetrics).

Las métricas tradicionales o la Bibliometría (Bibliometrics) tienen más de un siglo de historia. A. Pritchard (1969) utilizó este término como sustituto de “bibliografía estadística” y la definió como “la aplicación de las matemáticas y los métodos estadísticos para analizar el curso de la comunicación escrita y el curso de una disciplina.” (Spinak, 1996, p.34)

Los indicadores bibliométricos ofrecen un método estándar para medición del desarrollo científico, aunque algunos críticos insisten en las debilidades como herramientas de evaluación al medir únicamente la producción y el impacto, pero no realmente la calidad de los procesos de investigación. (Suárez Colorado, Y. & Pérez-Anaya, O., 2018, p.95)

Las métricas alternativas (Altmetrics) surgen con la creación de las Redes Sociales Académicas (RSA) y perfiles de investigadores en las dichas redes, mayormente a partir del 2006. A pesar que todavía se discute la definición y los indicadores a considerar, estas métricas ya están considerándose en el ámbito académico. Tal como indica J. L. Ortega Priego (2017) no hay una batería de indicadores definidas pero entre los indicadores más utilizados se pueden mencionar – vistas (views), lecturas (reads) y descargas (downloads).

Las métricas alternativas se utilizan cada vez más para evaluar el impacto de la investigación mediante la actividad web social. Esto incluye datos como tweets, descargas, recursos compartidos de Facebook, vistas o enlaces.

Algunas de las RSA emplean ambos tipos de métricas como por ejemplo ResearchGate: indicadores bibliométricos: RG Score, citas, publicaciones y altmetrics (lecturas, descargas de archivos, compartidos (shares), tweets, ets.).

Bibliometría	Métricas alternativas
Indicadores de producción científica	Métricas de uso (vistas, lecturas, descargas)
Indicadores de calidad	Métricas de conectividad (seguidores (followers) y siguiendo (followings)
Indicadores de colaboración
Indicadores de circulación y dispersión

Indicadores bibliométricos

Los indicadores bibliométricos se presentan o agrupan de diferente manera por los los diversos expertos en el tema. Si bien dichos indicadores están claramente definidos y ampliamente aceptados en el mundo de la ciencia, están muy criticados por las limitaciones que presentan en captar el verdadero impacto de una revista, publicación, o autor.

Los indicadores bibliométricos tradicionales se dividen en tres grupos según B. Maltrás Barba (2003):

Indicadores de producción científica

Número de documentos
Equivalentes a documentos completos
Solidez
Percentil productivo
Porcentajes por área
Especialización temática

Indicadores bibliométricos de calidad

Factor de impacto e indicadores derivados
Los indicadores P-1- y %SUP

Indicadores bibliométricos de colaboración

Autoría y co-autoría
Afiliación institucional de los autores

(Maltrás Barba, B., 2003)

Según J. Ardanuy (2012) “La bibliometría utiliza un conjunto de indicadores que permiten expresar cuantitativamente las características bibliográficas del conjunto de documentos estudiado así como las relaciones existentes entre estas características. Estos indicadores bibliométricos son datos numéricos calculados a partir de las características bibliográficas observadas en los documentos publicados en el mundo científico y académico, o los que utilizan los usuarios de tales documentos, y que permiten el análisis de rasgos diversos de la actividad científica, vinculados tanto a la producción como al consumo de información.” (p.16)

Los indicadores bibliométricos son:

Indicadores personales
Indicadores de producción
Indicadores de dispersión
Indicadores de visibilidad o impacto
Indicadores de colaboración
Indicadores de obsolescencia
Indicadores de forma y contenido

Según J. H. Ávila Toscano (2018) existen los siguientes grupos de indicadores bibliométricos (pp. 96- 118):

Indicadores de calidad científica o de percepción
Indicadores de producción o de actividad científica
Indicadores de Circulación y Dispersión

Indicadores bibliométricos

◘ https://obic.usal.es/bibliometria

Indicadores de producción

Estos indicadores se basan en el recuento de publicaciones científicas. Son los más fáciles de utilizar ya que nos proporcionan información sobre las características de las unidades analizadas. El número de publicaciones es una medida razonada de la actividad científica, pero no del progreso científico. Estos indicadores están condicionados por factores políticos y sociales.

Miden la productividad científica, que es la cantidad de publicaciones producida por un autor, país o institución durante un período determinado. La producción media se mantiene constante alrededor de 2 publicaciones por autor aproximadamente.

También miden el índice de producción, que es la cantidad de autores responsables del 50% de los trabajos publicados. Esto sirve para clasificar a los autores en tres niveles según su producción. También miden el índice de transitoriedad, que es la cantidad de autores responsables de un solo trabajo.

Indicadores de circulación

Miden la presencia de documentos en las bibliotecas y bases de datos bibliográficas. Están condicionados por la especialización y el idioma de las publicaciones. Estos indicadores se utilizan para ver la distribución de las revistas y su cobertura en las bases de datos. Los principales indicadores son:

Número de trabajos circulantes: cantidad de trabajos indizados en las bases de datos.

Índice de circulación: cociente del número de trabajos circulantes y la totalidad de los trabajos publicados por una revista en un período.

Índice de productividad circulante: logaritmo del número de trabajos circulantes.

Indicadores de dispersión

Es importante estudiar la dispersión de la información científica debido a la gran variabilidad de estas dispersiones, ya que, en ocasiones, los trabajos se concentran en un número muy reducido de revistas, mientras que, en otras, se dispersan en una cifra muy elevada. Algunas veces la zona de máxima densidad coincide con revistas especializadas, pero frecuentemente coinciden con revistas de carácter general.

Indicadores de uso de la literatura científica

El consumo de información se mide a través del cómputo de publicaciones y el análisis de referencias. La diferencia entre las referencias y las citas es que, en las primeras, se hace referencia a trabajos publicados con anterioridad y las citas se reciben de trabajos posteriores.

Indicadores de visibilidad o impacto

Se basan en los recuentos del número de citaciones que reciben los documentos durante un periodo determinado de tiempo o a partir de su publicación. La media es de 15 referencias por artículo. La recepción de citas es muy asimétrica.

Price dijo que el 50% de las referencias se distribuyen entre la totalidad de la literatura y el 50% restante se concentra en un número muy reducido de trabajos, que es lo que se denomina el frente de investigación.

Uno de los indicadores más usados e importantes es el factor de impacto (FI), que es una medida de la frecuencia con la que el artículo medio de una revista ha sido citado en un período. Básicamente mide la relación entre las citas recibidas y los artículos publicados en una revista. Podemos distinguir entre un factor de impacto esperado y un factor de impacto observado.

Indicadores de colaboración

Estos indicadores miden las relaciones que han existido entre los productores o agentes científicos y que han finalizado con la publicación conjunta de resultados científicos. Se basan en los datos de autoría.

Otros indicadores bibliométricos

Índice H (h-index) Elaborado por el profesor Jorge Hirsch y presentado en el año 2005 a la comunidad científica; consiste en tomar cada uno de los trabajos de un autor o revista y ordenarlos de mayor a menor en función de las citas que recibe cada artículo. El valor de ese orden se convierte en el índice H del investigador o de la publicación, solo cuando el número de citaciones recibidas es igual y no menor al número del orden.

Ávila Toscano, José Hernando. (2018) Recuperado de https://dialnet.unirioja.es/servlet/libro?codigo=722508 (p. 107)

G-index

The G-index was proposed by Leo Egghe in his paper «Theory and Practice of the G-Index» in 2006 as an improvement on the H-Index.

G-Index is calculated this way: «[Given a set of articles] ranked in decreasing order of the number of citations that they received, the G-Index is the (unique) largest number such that the top g articles received (together) at least g^2 citations.» (from Harzig’s Publish or Perish Manual).

◘ http://guides.library.cornell.edu/c.php?g=32272&p=203392

Existen métricas a nivel revista, artículo y autor. Los diferentes servicios de información tienen sus propias métricas (usualmente cuantitativas) que se refieren a uno de estos tres aspectos que son objeto de medición como por ejemplo:

Journal Impact Factor de Journal Citation Report de Web of Science (Clarivate Analytics)
SJR de SciMago
ICDS de MIAR
Google Scholar Metrics https://scholar.google.com/intl/en/scholar/metrics.html#metrics, etc.

SCImago Journal & Country Rank – is based on Scopus data from 1996 and covers some Arts and Humanities subjects, unlike JCR.

◘ http://www.lse.ac.uk/library/research-support/research-impact-and-bibliometrics

Publish or Perish retrieves and analyses academic citations to measure performance of individuals. It uses Google Scholar raw citations, then analyses and presents results according to indicators such as the h-index.

Google Scholar Citations allows authors to create public or private profiles, list publications and track citations via Google Scholar. Indexes recent materials not offered in ISI including both books and journal articles.

Publons (ResearcherID) in Web of Knowledge enables you to set up a free unique Researcher ID, selecting your publications and confirming your institutional affiliations.

◘ http://www.lse.ac.uk/library/assets/documents/Guidance-from-Library-on-citations.pdf