Rankings ¿Será que el no estar es el principio del no ser?

Un ranking es una fórmula polinómica en la que diferentes aspectos se ponderan para dar como resultado una clasificación que ordena del mejor al peor una lista de elementos. Los hay de jugadores de tenis i de universidades, y su valor, no por mediático, no es nada despreciable.

Con el título de ¿Cuáles son las mejores y las peores universidades de España? El Mundo publicaba hace unos días el U-Ranking (Indicadores Sintéticos del Sistema Universitario Español) 2016, elaborado por el Instituto Valenciano de Investigaciones Económicas (Ivie) y la Fundación BBVA. Para el caso que nos trae, la clasificación final no importa y sí bastante más los elementos elegidos para realizar la clasificación.

En la metodología del U-Ranking se eligen indicadores para evaluar la actividad docente, investigadora y de innovación y desarrollo tecnológico de las universidades (la combinación de los resultados de estos tres ámbitos es lo que da el resultado final). Para cada uno de estos tres ámbitos se consideran cuatro grupos de indicadores: Recursos, Producción obtenida, Calidad e Internacionalización de las actividades. Se usan 31 indicadores entre los cuales ninguno se refiere a la biblioteca.

Durante toda la 2ª mitad del S XX, cantidad fue sinónimo de calidad, por lo que a las bibliotecas se refiere. Y el tamaño (= calidad) de las bibliotecas era un elemento constante entre los elegidos para analizar y fijar la calidad de las universidades.  En 1990, la ALA publicó el libro de Nancy A. Van House, Beth T. Weil y Charles R. McClure 'Measuring academic lib performance: a practical approach', libro que proponía dejar de lado los tradicionales indicadores de recursos pasivos (inputs) para pasar a tener en cuenta los servicios prestados (outputs) y la satisfacción del Usuario. Hay un buen artículo en el que se pueden apreciar los vaivenes de la evaluación de la calidad en las bibliotecas universitarias en España entre 1994 y 2006.

Por muy de acuerdo que uno pueda estar en que cantidad no es calidad, lo cierto es que la evolución de los criterios de calidad, así como la enorme disrupción que ha supuesto la información electrónica, han dejado a las bibliotecas fuera de los rankings universitarios. Es significativo que la bibliografía profesional norte-americana haya dejado de hablar de ‘evaluación’ y –desde de la aparición del influyente libro de Megan Oakleaf- hable cada vez más de ‘valor’.

En lo que se refiere a bibliotecas universitarias, los estudios norte-americanos se están centrando en encontrar evidencias empíricas que muestren la contribución de la biblioteca para conseguir las metas de la universidad, el éxito académico de los estudiantes, o para aumentar los resultados de retención de matriculados. Paralelamente, las bibliotecas públicas han dedicado esfuerzos importantes en mostrar el valor económico de las bibliotecas.

Sea la que sea la evolución del concepto de calidad en bibliotecas, lo cierto es que, entre tanta incertidumbre y cambio, los principales rankings de universidades no usan ningún indicador de biblioteca o de servicios bibliotecarios. Dada la importancia creciente de los rankings para las universidades, uno se pregunta hasta qué punto es significativa esta desaparición de indicadores bibliotecarios en la medición de la calidad de las universidades. ¿Será que el no estar es el principio del no ser?

La inevitable inutilidad de lo invisible

La CRUE acaba de publicar “La Universidad Española en cifras

2013-2014”, informe que firman Juan Hernández Armenteros y José Antonio Pérez García. La publicación una síntesis ofrece de datos del sistema universitario español expresados en indicadores agrupados en los capítulos siguientes:

1.    Demanda de enseñanza universitaria

2.    Precios, becas y ayudas al estudio universitario

3.    Oferta de enseñanzas universitarias

4.    Recursos [financieros] del sistema universitario

5.    Resultados (docentes y en investigación)

Supongo que en una publicación de este tipi es inevitable que no esté todo lo que uno esperaría encontrar, pero no deja de sorprenderme la ausencia total de indicadores referentes a biblioteca.

Las bibliotecas están incrementando su invisibilidad de forma peligrosa. Los edificios son usados igual o más que nunca, pero ya no por los profesores y éstos usan la información que contratan y organizan las bibliotecas, pero les fluye de ‘internet’ sin que perciban que la biblioteca es el intermediario.

El informe da datos de producción, no de recursos, y esta es la tendencia. La fortaleza consolidada de las bibliotecas se basó en los pasivos (metros cuadrados y libros), y, en los últimos años, los intereses de los gestores de la enseñanza y de la sociedad se han desplazado hacia los beneficios producidos por estos recursos.

Nuestro colegas norte-americanos hace algunos años que están orientando los esfuerzos de su asociación profesional a mostrar el valor dela bibliotecas y la asociación europea LIBER acaba de decidir crear un grupo de trabajo dedicado a métricas.

A medida que el libro impreso deje de estar teñido del valor romántico que le conferimos en el pasado, la biblioteca decaerá también en valor a no ser que sepamos mostrar lo que esta aporta a la universidad.

No sé si es lamentable, pero sí que es inevitable que lo invisible acabe percibido como inútil.

Comparar pomes amb pomes o avaluar per millorar

En aquest bloc m’he ocupat abans de la feina excel·lent que fa la Diputació de Barcelona avaluant les seves biblioteques.

En un estudi recent (de 2011) avaluen l’ús i la satisfacció dels usuaris actius (persones amb carnet i que hi hagin anat 12 mesos abans de l’entrevista telefònica que se’ls va fer). Alguns resultats que extrec de l’informe, que, lamentablement, no troba a la xarxa, són:

• Perfil dels usuaris. Un 23% tenen entre 14 i 24 anys, un 21% entre 25 i 34 i un 27% entre 45 i 54. Un 21% són estudiants, un 11% aturats, un 9% jubilats, un 3% mestresses de casa i la resta treballadors d’algun tipus
• Ús de la biblioteca. Un 60% hi van al menys 1 vegada al mes. Un 30% de visites són de més de 3 hores, un 25% d’entre 2 i 3 h, i un 25% d’entre 1 i 2.
• Motius de la visita. Els tres usos més mencionats són fer préstec (40,5%), estudiar (22,5%) i llegir (13%).El motiu principal per anar-hi és per oci (55%), seguit de per estudiar (32%) i per motius professionals (11%). Un 40,6% dels entrevistats diu que va a la biblioteca a fer-hi alguna cosa i aprofita per endur-se documents en préstec.
• Valoració de la biblioteca. Els entrevistats donen a la biblioteca una nota que obté una mitjana de 8,1. Un 60% considera que l’horari és molt o bastant adequat i la resta que ho és poc o gens.
• El servi de préstec. És valorat amb un 8,4 (una mitjana superior a la de la biblioteca). Una mica més de la meitat dels enquestats usa el servei.
• La col·lecció. Un 70% la considera molt o bastant complerta, un 21% poc o gens. Un  82% considera fàcil o molt fàcil trobar els documents. Quasi la meitat dels entrevistats ha usat alguna vegada el catàleg i consideren que és fàcil o molt fàcil d’usar un 85% de persones.
• Ordinadors i xarxa. Més del 90% tenen ordinador a casa i el 78 entre a internet cada dia. Un 51% ha entrat a la web de la biblioteca alguna vegada, un 31% ha usat el catàleg des de fora la biblioteca alguna vegada i un 19% ha renovat préstecs o fet reserves des d’internet.

El servei de biblioteques de la Diba manté des de fa temps uns indicadors excel·lent que explota per a cada biblioteca mostrant-li les seves dades individuals i (i això és el millor) la posició de la biblioteca en cada indicador respecte a diverses biblioteques similars a l’analitzada. Així, la biblioteca de St. Joan Despí pot estar satisfeta per haver passat del 40,85% de població amb carnet el 2010 al 47,57% el 2012, però pot estar-ho més de tenir el percentatge més alt de les biblioteques del seu grup.

Les dades i indicadors s’agrupen en dos apartats: la biblioteca i el servei bibliotecari. Les dades i indicadors de la biblioteca inclouen espai, personal, col·lecció, punts de lectura, equipament, usuaris, serveis i pressupost. Les del servei bibliotecari municipal: territori i població, accessibilitat, orientació a l’usuari, ús, anàlisi de la col·lecció, anàlisi econòmica i recursos humans.

Una feina excel·lent que ho és perquè està ben executada, però –sobretot- perquè és continuada en el temps. L’avaluació té alguns escèptics i tinc algun bon company que veu en les estadístiques no gaire res més que propaganda i algun altre que les tem per simplificadores de la realitat. Les dades i els indicadors poden ser això, però no tenen aquesta intenció.

Saber què passa a la nostra biblioteca serveix per millorar, per retre comptes i pe posar en valor el que fem. Per millorar perquè només les dades són capaces de fer-nos veure les coses diferentment i allunyar-nos de les valoracions subjectives que inevitablement fem d’allò en el que estem implicats. Per retre comptes perquè és de rigor democràtic que expliquem quin ús tenen els recursos que gestionem als que paguen els impostos i taxes de les que les biblioteques treuen els recursos per funcionar. Per posar en valor el que fem (i aquesta és la funció actualment més ‘de moda) perquè en moments de crisi i retallades hem de mostrar on incideixen els serveis de la biblioteca.

L’avaluació és metodologia, però és continuïtat que ens mostri si fem més o menys (cosa que ens ha de permetre preguntar-nos perquè), és carinyo perquè ens estimem el que fem i volem millorar-ho i és voluntat de canvi perquè per no canviar no cal avaluar-se.

La feina de la xarxa de biblioteques de la Diputació de Barcelona és exemplar, com ja he dit, i útil, però li podem posar un ‘però’. Com és que les anàlisis d’ús i satisfacció no s’han estès a la resta de biblioteques municipals de Catalunya? Catalunya és un territori relativament homogeni, tenir dades de la biblioteca de Figueres al costat de la de Vic milloraria el coneixement que tenim del rendiment dels equipaments bibliotecaris. Tenir una enquesta d’ús i satisfacció a nivell de Catalunya (que pot donar les dades desagregades per províncies) hauria de ser una eina fonamental de la planificació bibliotecària. 

El 2009 a les biblioteques de la UAB

Que les institucions facin memòries anuals del què han fet és un exercici més útil que no pas practicat. Les memòries serveixen per retre comptes, és un exercici de transparència i d’autoanàlisi. És clar que perquè sigui així, les memòries han de tenir, a més d’una inevitable intenció apologètica, una certa honestedat. Apologia pura si només diem el què hem fet, honestedat si almenys donem dades comparatives de quina és la nostra evolució.

Això darrer fa la memòria de les biblioteques de la UAB, memòria que ara deu fer uns vint anys que vaig llegint. I ho faig no pas per obligació ni per amistat (que també) sinó perquè de la seva lectura (i gràcies a les dades comparatives d’anys anteriors) se’n desprenen tendències que es donen no només a les biblioteques de la UAB sinó a les biblioteques universitàries i no només en aquestes sinó en les biblioteques en general.

De la memòria del 2009 en trec les observacions següents:

• Els usos presencials disminueixen, però no tant dràsticament com podria semblar. Les biblioteques de la UAB perden un 10,09% de visitants respecte el 2000 i un 7,88% de préstecs respecte el mateix any.
• Guanys més que notables derivats del món digital, guanys que van des d’un increment respecte el 2000 del 47,2% de les revistes vives disponibles (derivat de les compres conjuntes) fins a un 41,33% d’increment respecte el 2004 dels articles de revistes descarregats.
• En canvi, no és veritat que a més informació, menys ús del préstec entre biblioteques. Almenys el 2009 les biblioteques de la UAB n’han demanat un 15,3% més que l’any anterior. El creixement i el decreixement d’usos té a veure també amb l’eficàcia mostrada en satisfer-los.
• Impacte gran però en l’ús de la biblioteca: disminució en un 62,99% dels documents consultats en sala respecte el 2000. La UAB es prepara per un entorn nou en les seves instal·lacions físiques. Si en metres quadrats han crescut un 46,69% des de 1994 i un 15,30% des de 2002, en places de lectura el creixement pels mateixos anys és del 34,39% i del 6,09%; és a dir, el creixement es fa en més qualitat. Alhora, les places de lectura en sales de formació, cabines o treball en grup són el 16,56% del total.
• Importants les transformacions en curs: el magatzem GEPA encabeix documents impresos de poc ús i serveix per alliberar espai que pot així reconvertir-se per a altres usos (cabines de treball en grup per exemple).
• Una certa coparticipació dels departaments i facultats en la despesa: el 80,76% de la despesa en adquisicions és del pressupost central de la universitat i la resta d’unitats descentralitzades.
• La despesa en adquisicions de documentació digital supera a la impresa: el 68% contra el 32% (aquest destinat a llibres en un 16,7%, revistes impreses en un 13,7% i a enquadernacions en un 1,50%).
• Impacte creixent dels repositoris dins la biblioteca digital, tant els propis (el DDD de la UAB) com els cooperatius ens els que participa (els del CBUC).
• Un model descentralitzat però coordinat per a la catalogació (qui no recorda aquells temps en que si la catalogació no era centralitzada no era catalogació): “el control de qualitat del catàleg es continua fent de manera centralitzada ... però també cada biblioteca fa les correccions pertinents al seu propi fons”.

De manera molt resumida: més digital, sí, però també més presencial si sabem i podem redissenyar els espais físics per a noves necessitats.

Democràcia,dades i biblioteques

Un comentarista de cinema, a propòsit de l’Alícia d’en Tim Burton (*), era preguntat sobre el futur del 3D i va contestar que l’evolució natural del cinema era les tres dimensions de la mateixa manera que del cinema mut s’havia passat al sonor i del blanc i negre al color.

Parlàvem de biblioteques tot dinant la Carme en Jordi i un servidor i de que l’evolució natural seria tenir més dades de les que en tenim. Més dades? No ben bé: dades més transparents. Portem un dèficit de democràcia que hem anat compensant com hem pogut. Al començament va ser fàcil: es tractava de fer. Ara cal (de)mostrar que el que s’ha fet s’usa, que és d’utilitat i que la seva gestió és eficaç.

Per fer-ho ens calen, ai las! (**), dades, però no només dades. Les són l’inici: mostren ús però no tendència ni eficàcia. Per saber si ho fem bé cal que posem les dades en relació amb altres dades i les convertim en indicadors per saber així si el préstec ens puja només perquè la població puja o perquè l’indicador document deixat per habitant puja també. Tampoc és tant difícil i és bastant divertit.

La literatura professional (internacional i nostrada) s’ha dedicat prou a aquest temes. Pels interessats pel tema es recomana l’article “Evaluación y calidad en las bibliotecas universitarias: experiencias españolas entre 1994-2006” que María Pinto, Nuria Balagué i Lluís Anglada van publicar en comandita a la Revista española de Documentación Científica, Vol 30, No 3 (2007).

En públiques, és exemplar (al meu entendre) la feina està fent la Xarxa de bp’s de la Diputació de Barcelona. Van començar fa molt de temps sota una iniciativa de la Fundació Bertelsmann que s’anomenava Programa de Análisis de Bibliotecas. Consultant RACO trobo un parell d’articles que expliquen resultats, els dos a BiD (i curiosament no a l’Item). Un del 2002, “Avaluació de la satisfacció dels usuaris de les biblioteques públiques" de Toni Feliu i Jordi Permanyer i un altre de 2005, “L’ús i la satisfacció dels usuaris de les biblioteques públiques en municipis de més de 30.000 habitants” de Ramon Arbós i Toni Feliu

La Xarxa té un Servei d’Avaluació i Qualitat que fa una magnífica feina. Em diuen que tenen feta una avaluació de la satisfacció dels usuaris amb les biblioteques de la xarxa que és del 2007 i que compara els resultats amb la que van fer el 2001. Les dades mostren un perfil de l’usuari de la bp (de la província de Barcelona) que val la pena conèixer amb més detall:

• És jove: un 28% entre 14 i 24 anys, un 30% entre 25 i 34 i un 20% entre 35 i 44
• Té el castellà com a llengua habitual (53,1%)
• Estudia en el 24,4% dels casos, està en edat laboral en el 68,6% i està jubilat en el 7%
• Te un nivell d’estudis alt en un 35,4%, mig en un 54,8 i baix en un 8,6

També donen dades les BB (Biblioteques de Bcn) que anualment reten comptes a la Comissió de lectura Pública de la ciutat de Barcelona. Enguany seria l’any de finalització del Pla de Biblioteques de la ciutat (1998-2010) i van anunciar la preparació d’un de nou per al període 2010-2020. Les BB donen dades de l’any i les donen (enhorabona!) en forma d’indicadors i mostrant l’evolució en els darrers anys. Remarco:

• M2 per 100 habitants: de 12,1 el 2000, a 18,5 el 2004 a 29,5 el 2009 (i això que no tenim encara la provincial!)
• M2 per biblioteca: de 692 el 1999 a 1006 el 2004 i 1382 el 2009
• Volums per habitant: 0,36 el 1999, 0,67 el 2004 i 1,12 el 2009
• Percentatge de població inscrita: un 13% el 2001, un 24% el 2004 i un 45,8% el 2009
• El 2009: una mica més de visitants, una mica menys de préstecs, més ús d’internet i una mica menys actes culturals.

Finalment, el Departament de Cultura de la GC va donar també dades d’ús i destacava que “les biblioteques públiques catalanes han rebut 23 milions de visites el 2009, un milió i mig més que l'any anterior”. La Generalitat dóna les dades desagregades per províncies (les 4 de tota la vida i les ‘comarques de les terres de l’Ebre’). M’ha costat una estona de baralles amb l’Excel, però em dóna que

• en visites, préstecs i m2 les biblioteques de Barcelona província són un 74% del total.
• I la resta, doncs es reparteix si fa no fa de la forma següent: 10% per les comarques gironines, 6% per les de Lleida, 7% dels de Tarragona i 3% dels de les terres de l’Ebre.

Diferents institucions i diferents maneres de donar les dades però bastanta unanimitat en l’absència de dades a les pàgines web respectives. Les institucions ens proporcionen dades, i això és un primer pas, però no ens faciliten digerir-les. La transparència en la gestió és un dels components de base de la democràcia i no hi ha transparència sense publicitat de dades completes, entenedores i que permetin la comparació. Altrament ens haurem de creure el que m’explicava un càrrec d’un servei de biblioteques autonòmic: que ens els darrers anys havíem estat inaugurant biblioteques al ritme d’una per setmana. Con en terra de meravelles, vaja, surrealista com l’Alícia de Carroll (que no la de Merimé).

(*) Decebedora pel·lícula, penso jo, malgrat saber que els admiradors d’en TB li perdonen (de moment) tots els pecats. Perdonem-els-hi també, però no em direu que no és tasca meritòria convertir l’Alícia de Carroll en una confrontació entre les forces del be (reina blanca) i les del mal (ídem vermella).

(**) Ho sento Robert.