Inicio  / Indicadores seleccionados

Indicadores a valorar para la clasificación

Sirven para medir el grado de cumplimiento de cada universidad respecto al objetivo estratégico de difusión del software libre

The secret to successful classification is the ability to ascertain the key characteristics on which the classification is to be based

Bailey, 1994

Los criterios son la parte fundamental de este ranking pues son éstos los que determinan la información que se tendrá en cuenta de cada universidad a la hora de valorarla. Por ello se está siguiendo una metodología que permite identificar los aspectos más importantes respecto al objetivo del ranking y testearlos para verificar su efectividad.

Los puntos más importantes han sido contar con expertos en software libre y con expertos en desarrollo de rankings universitarios, las entrevistas con las universidades y el testing de los indicadores.

Pesos específicos de los criterios

				Producción-Uso OCW	2.17%
Producción-Participación CuSL	1.63%
Producción-Participación GsoC	1.63%
Producción-Programación de software libre	1.58%
Producción-SL en tesis y proyectos	1.25%
Producción-Participación en concursos	1.85%
Producción-Asociaciones de SL	2.01%
Producción-Uso OER	2.28%
Colaboración externa-Colaboraciones nacionales	2.28%
Colaboración externa-Colaboraciones internacionales	2.44%
Investigación-Proyectos dirigidos	2.5%
Investigación-Proyectos participados	2.17%
Investigación-Grupos de trabajo	2.12%
Investigación-Resultados libres	2.01%
Ayuda-Asesoría Admin. Públicas	2.55%
Ayuda-Asesoría empresas	2.34%
Docencia-Postgrados en SL	1.74%
Docencia-Apoyo técnico	2.17%
Docencia-Formación en SL para PAS y PDI	2.23%
Docencia-Cursos/talleres impartidos	2.5%
Docencia-Certificaciones	1.14%
Cultura en software libre-Oficina de software libre	2.44%
Cultura en software libre-Sección de software libre	2.17%
Cultura en software libre-Antigüedad OSL	1.22%
Cultura en software libre-Personal OSL	1.22%
Cultura en software libre-Actividad OSL	1.9%
Cultura en software libre-Seguimiento de buenas prácticas en SL	1.9%
Cultura en software libre-Normativa SO libre PAS	1.52%
Cultura en software libre-Normativa SO libre alumnos	1.85%
Cultura en software libre-Normativa uso SL PAS	1.68%
Cultura en software libre-Normativa uso SL alumnos	1.96%
Tecnológicos-Sistema operativo propio	0%
Tecnológicos-Campus virtual	1.22%
Tecnológicos-Software del campus virtual	1.99%
Tecnológicos-Licencia de contenidos web	1.77%
Tecnológicos-Servidor web	1.63%
Tecnológicos-Web institucional basada en SL	1.58%
Tecnológicos-Repositorio científico	0%
Divulgación-Eventos organizados	2.17%
Divulgación-Eventos coorganizados	2.06%
Divulgación-Eventos participados	1.74%
Divulgación-Congresos participados	1.74%
Divulgación-Premio local CuSL	0%
Webmetría-Web Impact Factor (WIF)	1.47%
Webmetría-Dispersión del impacto de las citaciones recientes	1.47%
Webmetría-Dispersión del impacto de las citaciones totales	0%
Webmetría-Citaciones recientes de su OSL	1.47%
Webmetría-Citaciones totales de su OSL	0%
Webmetría-Impacto	0.87%
Webmetría-Páginas indexadas	1.25%
Webmetría-Majestic Million	0.81%
Institución-Alumnos en la universidad	0%
Institución-Alumnos en titulaciones oficiales de informática	0%
Institución-SL en los estatutos	2.61%
Institución-Pública o privada	0%
Institución-Facultad de informática	1.25%
Institución-Multidisciplinar o politécnica	0%
Institución-Presencial o a distancia	0%
Institución-Estándares abiertos	2.44%
Institución-Plan institucional sobre SL	2.17%
Administración-Presupuesto específico para SL	1.14%
Administración-% presupuesto en licencias de software	2.5%
Administración-Presupuesto propio en TI	2.01%
Administración-Presupuesto en becas	2.17%			

¿Quieres este gráfico en tu página? Copia y pega el código:


Diseño de los criterios

Se trata de un estudio descriptivo mediante observación y análisis de documentos según la clasificación de Montero y León (2007) [PDF] y se han seguido los principios de Berlin.

En la elaboración del informe colaboran expertos en el análisis estadístico de datos y expertos en materia de software libre para maximizar la calidad, exactitud y utilidad de la información obtenida. Se han escogido criterios que tienen un impacto elevado en el impulso del software libre. Además son criterios numéricos fácilmente medibles, objetivos, y a la vez suficientemente discriminativos como para poder obtener valores muy diversos que permitan separar mejor las fortalezas y debilidades de cada institución.

Para definir la importancia de cada criterio se ha utilizado una escala de tipo Likert con un intervalo 1-5 donde una serie de expertos han determinado de forma colaborativa el peso de cada uno.

¿Qué tipo de información miden los indicadores escogidos?

Se usan indicadores cuantitavos (para medir el impacto de las acciones que realiza la universidad) y cualitativos (para tener en cuenta aspectos sobre la importancia de cada acción). Los indicadores se han agrupado en función del tipo de información que proporcionan para conocer también información sobre la difusión desde diferentes ámbitos de la universidad.

Los criterios miden los resultados de la actividad que la universidad realiza en el ámbito del software libre. Eso nos permite minimizar la dependiencia en factores subjetivos y enfocarnos en los aspectos que más importantes son para el software libre como son la investigación, colaboración y transferencia de conocimientos..

En todo momento se ha evitado el uso de criterios que requieran de valoraciones subjetivas porque, aunque puedan aportar información interesante, son inexactas y por tanto da lugar a errores. Por ejemplo, sería interesante medir no sólo el número de personas en las oficinas de software libre de las universidades, sino la implicación que cada una tiene. De forma parecida, los conocimientos de los profesores que imparten cursos sobre software libre también es un concepto útil. Pero como no existe ninguna metodología objetiva de medición, aunque sea información útil ha sido descartada.

Periodo de análisis

Toda la información se ha obtenido respecto a los últimos 12 meses desde que se inició el estudio, excepto en algunos criterios donde se detalla específicamente el rango de tiempo usado y el motivo. Aunque no se tenga en cuenta información pasada, este rango de tiempo garantiza información sobre el estado actual de cada universidad y permite que próximos estudios puedan comparar la evolución.

Listado (temporal) de criterios

Actualmente estamos en la fase de entrevistas con universidades (ver las fases de desarrollo) y por tanto la lista de criterios no es definitiva ni está completa. Se han descrito sólo algunos criterios con la finalidad de orientar al lector sobre el tipo de información con la que se trabaja.

Dimensión Criterio Indicador
Producción Uso OCW ¿Tienen sección de OpenCourseWare para ofrecer material docente?
Participación CuSL Número de alumnos inscritos en el VI Concurso Universitario de Software Libre (presente año académico)
Participación GsoC Número de alumnos inscritos en el Google Summer of Code de este año
Programación de software libre Número de programas libres creados/modificados por grupos de trabajo de la universidad
SL en tesis y proyectos Número de proyectos de fin de carrera/tesis cuyo fin era crear SL
Participación en concursos Número de alumnos inscritos en otros proyectos de desarrollo de software libre: Hackathons de software libre, Season of KDE...
Uso OER ¿Ofrecen material didáctico licencia bajo Open Educational Resources (OER)?
Asociaciones de SL Número de asociaciones de software libre asociadas a la universidad
Colaboración externa Colaboraciones nacionales Número de comunidades y/o proyectos de software libre del país con los que se ha mantenido una colaboración
Colaboraciones internacionales Número de comunidades y/o proyectos de software libre de fuera del país con los que se ha mantenido una colaboración
Investigación Proyectos dirigidos Número de proyectos de investigación sobre software libre
Proyectos participados Número de proyectos de investigación sobre software libre en los que ha participado junto con otras entidades
Grupos de trabajo Número de grupos que han investigado sobre software libre
Resultados libres Porcentajes de investigaciones cuyos resultados se han hecho públicos bajo una licencia libre
Ayuda Asesoría Admin. Públicas ¿Se realiza asesoría en migraciones, licenciamientos sobre software libre a administraciones públicas?
Asesoría empresas ¿Se realiza asesoría en migraciones, licenciamientos sobre software libre a empresas o asociaciones empresariales?
Docencia Apoyo técnico ¿Existe un equipo técnico que ayuda a usar/instalar Sos libres o herramientas de SL a la comunidad universitaria?
Formación en software libre para PAS y PDI Número de cursos de formación en herramientas de software libre para personal de la universidad durante los últimos 12 meses
Cursos/talleres impartidos Número de ponencias, charlas y talleres sobre software libre ofrecidos/participados por la universidad
Certificaciones Participa la universidad en algún programa de certificación sobre software o tecnologías libres
Postgrados en SL Número de programas de estudios de postgrado especializados en el software libre en el presente curso académico
Cultura en software libre ¿Existe Oficina de software libre (OSL)? ¿Existe una oficina de software libre o un organismo creado institucionalmente para la promoción de dicho tipo de software?
Sección de software libre ¿Existe alguna sección en la web para publicar eventos, charlas e información sobre software libre (que no sea una OSL)?
Antigüedad OSL Tiempo en años que lleva abierta la oficina de software libre
Personal OSL Número de personas que integran la OSL
Normativa SO libre PAS ¿Existe alguna normativa para que se use un sistema operativo libre en los puestos de trabajo del PAS?
Normativa SO libre alumnos ¿Existe alguna normativa para que se use un sistema operativo libre en los puestos de trabajo de los alumnos?
Normativa uso SL PAS ¿Existe alguna normativa para que se priorice el uso de software libre frente a privativo en los puestos de trabajo del PAS?
Normativa uso SL alumnos ¿Existe alguna normativa para que se priorice el uso de software libre frente a privativo en los puestos de trabajo de los alumnos?
Actividad OSL Número total de artículos publicados
Seguimiento de buenas prácticas en SL ¿La universidad sigue las buenas prácticas sobre software libre definidas en el informe Universitic?
Tecnológicos Sistema operativo propio ¿Mantienen una distribución propia de un sistema operativo libre?
Campus virtual ¿Disponen de un área de trabajo y comunicación entre estudiantes y profesores a través de Internet? (campus virtual, área virtual...)
Software del campus virtual ¿El campus virtual/área virtual se ha desarrollado con software libre?
Licencia de contenidos web ¿La web de la universidad utiliza alguna licencia de contenidos libre?
Servidor web ¿El servidor de la web principal de la universidad es libre? (Apache, Nginx...)
Web institucional basada en SL ¿Se usa un CMS libre para gestionar la web institucional de la universidad?
Repositorio científico ¿Se usa algún repositorio institucional, para la publicación científica de la universidad con alguna herramienta libre?
Divulgación Eventos organizados ¿La universidad ha organizado íntegramente algún evento sobre software libre (ponencias, charlas, talleres...) en los úlitmos 12 meses?
Eventos coorganizados Número de eventos sobre software libre organizados meses en colaboración con otras entidades
Eventos participados Número de eventos de SL en que han participado
Congresos participados Número de congresos sobre SL en que ha participado
Premio local CuSL Número de premios locales que la universidad ha organizado para el Concurso Universitario de Software Libre
Webmetría Web Impact Factor (WIF) Número total de enlaces externos * número total de dominios diferentes que contiene esos enlaces
Dispersión del impacto de las citaciones recientes Número de dominios diferentes tienen un enlace hacia la OSL
Dispersión del impacto de las citaciones totales Número de dominios diferentes con enlace hacia la OSL
Citaciones recientes de su OSL Número de enlaces hacia su OSL
Citaciones totales de su OSL Número de enlaces hacia su OSL
Impacto Nº enlaces externos / páginas totales
Páginas indexadas Número total de páginas indexadas de la OSL según MajesticSEO
Majestic Million Valoración del sitio web según MajesticSEO
Institución Alumnos en la universidad Número total de alumnos
Alumnos en la facultad de informática Número total de alumnos en Informática
Software libre en los estatutos ¿En los Estatutos de la universidad está contemplado el apoyo al software libre?
Facultad de informática ¿Existe facultad de informática en la universidad?
Estándares abiertos ¿Tienen normativa para el uso de estándares abiertos en la universidad?
Plan institucional sobre software libre ¿Existe un plan institucional para el desarrollo o promoción del software libre?
Pública o privada La filosofía de la universidad (misión y objetivos) suelen ser diferentes
Multidisciplinar o politécnica ¿Se dedica sólo a estudios técnicos o a múltiples ramas? Las politécnicas están más especializadas en temas de informática por lo que es más probable que cuenten con una OSL
Presencial o a distancia Las universidades a distancia tienen más necesidad de usar un canal telemático para comunicarse
Administración Presupuesto específico para SL ¿Existe un presupuesto del servicio de informática para desarrollar o apoyar SL?
% presupuesto en licencias de software Porcentaje que representa el presupuesto en licencias de software respecto al presupuesto en TI
% presupuesto en becas SL Porcentaje que representa el presupuesto en becas y ayudas para fomentar el desarrollo de SL respecto al total en becas
Presupuesto propio en TI ¿Existe un presupuesto propio para las TI?

Webmetría

Hoy en día no existe ninguna fuente única ni exacta para analizar los índices cibermétricos. Incluso hay índices importantes que no se han podido utilizar debido a que no se tiene información al respecto ni, en el caso de que se tuviera, existe una forma estandarizada de medirla. Por tanto, la información que se utiliza aquí es una aproximación de lo que realmente se debería medir.

Por ejemplo, los criterios 'visitas totales', 'usuarios únicos', 'lecturas de los artículos'... son índices complicados de medir porque no existe una definición clara y única de cada uno. Eso conlleva que diferentes herramientas definan de forma diferente cada uno de estos criterios y por tanto cada una proporcione información diferente sobre el mismo recurso.

Debido a que las herramientas usadas en webmetría utilizan metodologías diferentes para medir los datos, los resultados de cada sitio web variarán según la herramienta utilizada, y ésto beneficiaría a unos sitios frente a los demás. Para evitar este problema, este estudio ha probado los servicios de webmetría más conocidos y ha escogido las fuentes más fiables.

Existen decenas de servicios web para realizar los análisis de webmetría (número de enlaces externos, páginas indexadas...). Cada uno tiene sus propios motores de búsqueda, aplica su propia lógica a la hora de buscar enlaces y consiguen resultados diferentes; ya que ninguno tiene escrutado el 100% de Internet. Por tanto, los resultados según el servicio que se utilicen pueden variar. Para evitar que las condiciones de cada servicio afecten a este análisis, sólo se han utilizado los datos de un servicio web.

Se han considerado varias fuentes: Google.com, Bing.com, OpenSiteExplorer.org, MajesticSeo.com, SearchMetrics. Se han hecho pruebas con todas ellas buscando información sobre 5 universidades. MajesticSEO ha sido la que más información ha proporcionado por lo que se toma ésta como referencia. Además, la hemos escogido porque permite recoger diferente tipo de información: reciente e histórica. Lo cual nos permite medir el trabajo de cada OSL en función de al trabajo de las últimas semanas y en función de todo el trabajo que ha realizado desde que comenzó. Sólo en el caso de la procedencia geográfica de los enlaces se ha utilizado 'SearchMetrics' ya que es la única herramienta que proporciona esta información.

¿Quiere aportar su opinión?

Si tiene conocimientos sobre software libre y/o rankings universitarios y desea aportar su experiencia al equipo, estamos abiertos a contar con su opinión.

Contacte con nosotros