Inicio  / Metodología

Metodología de trabajo de RuSL

El Ranking Universitario del Software Libre (RuSL) está realizado en función de la experiencia de profesionales en software libre y en la elaboración de rankings universitarios y en el estudio de rankings a nivel mundial

RuSL se basa en medir una serie de criterios cualitativos y cuantitativos sobre la difusión del software libre en cada universidad que se sintetizan en un único valor llamado IDSL (Índice de Difusión del Software Libre) que facilita la comparación entre universidades. IDSL es una métrica estandarizada y única que valora la difusión del software libre de una organización

Fases de desarrollo

1Contacto con expertos en software libre y en desarrollo de rankings universitarios para aportar soporte técnico. Queda definido el equipo de trabajo.

2Análisis teórico de literatura, eventos, investigaciones y difusión del software libre para conocer cuales son las dimensiones clave para valorarlo. Las fuentes quedan citadas en la bibliografía.

3Diseño de los indicadores en función de las fases 2 y 3. A cada indicador se le asigna un peso en función de su importancia respecto al objetivo: difusión del software libre.

4Revisión por pares mediante un proceso de revisión por pares similar al que se realiza en las publicaciones científicas, el equipo de colaboradores expertos definidos en la fase 1 evalúan la calidad de la propuesta y sugieren mejoras.

5Testing de los indicadores para asegurarese de que miden los aspectos más importantes respecto al objetivo del ranking, que se basan en información objetiva y fiable; y que se dispone de suficientes datos recopilados como para usarlos. Se rediseñan los que no pasen el test.

6Análisis empírico con entrevistas con las propias universidades y recopilación de información pública sobre las mismas.

7Análisis estadístico aplicando una normalización a los datos para poder compararlos y obteniendo el valor clave: índice IDSL.

8Publicación de resultados Una tabla de clasificación de las universidades que resume su esfuerzo en difundir el software libre.

Definición de los indicadores a valorar

Los expertos han valorado los criterios y han determinado los pesos de cada uno de ellos. Estos indicadores se han agrupado en una serie de dimensiones que se detallan a continuación:

Basándonse en la información recopilada sobre las universidades, en las entrevistas con las universidades y en la opinión de varios expertos; se realiza una selección de criterios a valorar. A cada uno se le asigna un peso en función de su importancia y se agrupan para poder asignar un peso a cada grupo.

Ver los indicadores escogidos


Criterio para escoger las universidades analizadas

Se analizan todas las universidades de España y las 8 universidades de cada país de Hispanoamérica más destacadas según la web www.webometrics.info/es y el ranking QS, uno de los rankings de universidades más prestigiosos del mundo.

El motivo por el que se seleccionan sólo 8 en cada país es que uno de los puntos fuertes de este ranking es que el análisis de cada universidad se realiza manualmente para ofrecer la máxima fiabilidad, con personal dedicando exclusivamente a ello y eso hace inviable analizar las más de mil universidades de toda Latinoamérica. Con el objetivo de que todos, o la mayor parte, de países tengan representación y tener un criterio objetivo de selección de universidades, se decidió basarse en un ranking de universidades de prestigio: QS World University Ranking y se analizan las universidades de cada país con mayor puntuación en dicho ranking.

En las primeras ediciones del ranking sólo se analizaba España, y por tanto se analizaban todas las universidades del país. Nuestra intención es siempre mejorar y ampliar la información que ofrecemos, y por eso en España se continúan analizando todas las universidades.

Cómo interpretar los resultados

El resultado es una clasificación de las universidades a partir de su Índice de Difusión del Software Libre (IDSL). Este indicador es un valor entre 0 y 100 que sirve para ver el esfuerzo de las universidades por difundir el software libre, y compararlas entre sí. Permite comparar universidades, Comunidades Autónomas...

Por otro lado, el valor de los criterios aporta información sobre los aspectos concretos a mejorar y sobre los que realiza bien: indican cómo de mejor o peor está trabajando la universidad ese aspecto concreto respecto a todas las demas, donde '0' representa que lo hace igual que la media, cuanto más se acerque a -4 es que lo está haciendo peor, y cuanto más se acerque a +4 significa que mejor lo hace. Más información estadística en los análisis.

Métodos estadísticos usados

Normalización de los resultados

Los criterios medidos no son comparables entre sí directamente pues se trata de información muy heterogénea. Para poder compararla utilizamos la puntuación z que nos permite reducir todas las variables analizadas a una misma escala y poder compararlas o, en este caso, sumarlas. Se trata de un valor que ya se utiliza en otros rankings.

La puntuación z es un método estadístico que especifica cuánto se distancia un valor de la media. Es un número en el rango [-4, 4] que cuando es mayor que 0 indica que el valor está por encima de la media, y cuando es menor, indica que está por debajo. Se calcula restando al valor concreto la media de la población, y dividiéndolo entre la desviación estándar:

Cálculo de la puntuación Z

Importancia de los criterios

Cada criterio tiene una importancia diferente respecto al objetivo del estudio. Esta importancia es un valor subjetivo; un mismo criterio podría tener diferente importancia para cada persona, y aún así sería perfectamente válido y en función de la importancia de cada criterio, la clasificación final podría ser considerablemente distinta.

Se han tomado medidas para minimizar el error de tomar como referencia los valores subjetivos de uno o varios individuos. Se ha seguido un procedimiento estandarizado para que dicha asignación sea lo más objetiva posible:

  • Un grupo de expertos independientes ha opinado sobre la importancia de cada criterio
  • Las universidades, como parte implicada en el estudio, también está pudiendo dar su opinión.
  • El resultado es un peso para cada criterio consensuado entre los expertos y las propias universidades

Puntuación final: índice IDSL

La puntuación final es un índice llamado IDSL (Índice de Difusión del Software Libre). Es un valor que indica el esfuerzo que realiza una universidad por difundir el software libre, en relación a la que más lo difunde.

La primera clasificada tiene un IDSL de 100 (quien más lo difunde) y el resto un valor entre 0 y 100 en proporción a la promoción que realicen del software libre. De esta manera resulta sencillo:

  • Comparar cuál es el esfuerzo real de las universidades en esta materia: cuanto más se acerque su IDSL a 100, mejor.
  • Comparar a las universidades entre si: Al ser IDSL un valor porcentual es fácil medir la diferencia entre ellas.

¿Por qué no es tan importante la posición en la tabla? Porque la posición en el ranking no demuestra la distancia real que hay entre ellas respecto al objetivo de este estudio. Lo importante es el esfuerzo que realizan, y eso se mide comparando sus IDSLs. Es decir, puede que haya mucha diferencia entre la difusión que hacen del software libre las universidades que ocupan las posiciones de 1 a 5, y en cambio haya muy poca diferencia entre las universidades de la 10 a la 20. Por ello, el índice IDSL es útil: nos ayuda a medir la diferencia de difusión que hace dicha universidad respecto a la que maś lo difunde.

Existen otras metodologías que han sido consideradas y que explicamos.


Puntos a destacar


1

Basado en estudios y otros rankings reconocidos

Para el desarrollo de este proyecto se han revisado estudios sobre indicadores a medir, varios análisis matemáticos (como z-score) y otros rankings similares. La mayor parte de los trabajos considerados se han desarrollado en el ámbito de la bibliometría: criterios y análisis orientados a medir el desarrollo en investigación de las universidades. Otros rankings clasifican a las universidades en función de su investigación publicada en revistas internacionales, o su calidad como institución.

Si bien la misión de este ranking es muy diferente; la metodología es muy similar y el estudio de sus puntos fuertes y débiles ha sido muy útil a la hora de definir la metodología de este ranking.

Ver la bibliografía utilizada


2

Transparencia en los resultados

Uno de los pilares para potenciar el conocimiento en la sociedad es considerar la información como un bien público y ofrecerla de forma libre. Por eso pensamos que el trabajo no está terminado cuando se publican los resultados. Proporcionar acceso libre a los datos recopilados es una parte importante del trabajo ya que ayuda a fomentar el conocimiento en la sociedad porque permite reutilizarlos y extraer más información. Además, permite validar la metodología y resultados obtenidos. Esa es la finalidad de la iniciativa Open Science que seguimos a la hora de elaborar este informe.

Por eso, todos los resultados sobre las universidades se ofrece de forma libre para que otros estudios la puedan utilizar y extraer más información.

Ver y descargar los resultados


Otras metodologías

Clasificación

Existe otra forma de clasificación de universidades que también se ha planteado. Una metodología que critica a la clasificación de universidades otorgando un peso prefijado a cada criterio debido a que el peso de los criterios puede ser diferente según la misión/visión de la universidad, así como los objetivos de cada usuario del ranking. Por ello, los principios de Berlin recomiendan que no haya una clasificación prefijada y que el usuario sea quien pueda indicar el peso que tiene cada criterio y obtenga así una clasificación personalizada.

La mayoría de rankings universitarios optan por la clasificación que sigue RuSL, pero también existen rankings que siguen esta otra metodología. Más información sobre la metodología de cada ranking en la bibliografía.

El Ranking de universidades en software libre opta por la asignación de pesos a los criterios para definir una metodología estandarizada que las analice bajo los mismos parámetros. Esta definición está realizada a través de un proceso de revisión por pares realizado por un grupo de expertos en la materia. Así, es posible realizar otros análisis estadísticos como un análisis multivariante biplot.

Descarga y uso de software libre en la universidad

¿Por qué no se mide el uso de aplicaciones libres concretas?

No se mide porque aunque conocer el número de aplicaciones libres que se utiliza pueda resultar interesante, a la práctica es un valor tan complicado de obtener que resulta casi imposible medirlo con fiabilidad. Muchas personas han comentado que en su facultad o en una determinada asignatura se usa determinado software libre, que no se usen antivirus propietarios como Nod32, ni Windows Live Messenger, Word, Winrar... sino sus alternativas libres y que eso no se ha tenido en cuenta en este ranking.

El problema radica en que el hecho de que en un lugar concreto se utiliza software libre apenas influye en el cómputo global. La universidad es un lugar muy grande, con gran cantidad de facultades, asignaturas, profesores, programas... para que ese factor se tuviera en consideración se tendría que analizar todos los programas que se utilizan en todos los ordenadores de la universidad y esa es una información muy minuciosa y que en pocas ocasiones se puede conocer con exactitud. Por ese motivo, se consideró que ese criterio no era suficientemente fiable como para formar parte del ranking y por tanto se desestimó.