La evaluación de la accesibilidad permite comprobar que no existan barreras en el acceso a los contenidos web que afecten a personas con diversos tipos de discapacidad durante el proceso de desarrollo de un sitio web y también permite determinar las barreras de accesibilidad en el diseño y los contenidos de sitios web ya existentes (Web Accessibility Initiative, 2023). Las metodologías de evaluación de la accesibilidad web son especialmente útiles porque proporcionan a los evaluadores una guía paso a paso para analizar los elementos de la accesibilidad y contribuyen a facilitar este trabajo, especialmente cuando los evaluadores no son expertos en el área. Además, como se muestra en los estudios realizados por Hambley et al. (2023) y Kous et al. (2020), los métodos de evaluación de la accesibilidad incluyen como fase previa, definir el alcance de la evaluación y seleccionar una muestra representativa, y realizar una revisión preliminar como primera aproximación de la accesibilidad web para identificar posibles barreras de accesibilidad explorando del sitio web I think this sentence comes from the previous review process. It should be removed. Además, otros autores como Batzio et al. (2022) muestran en sus estudios que los métodos de evaluación de la accesibilidad suelen incluir inspección manual y herramientas de evaluación automática. Otros estudios como los realizados por Acosta-Vargas et al. (2020) aplican la Metodología de Evaluación de la Conformidad de la Accesibilidad Web, conocida como WCAG-EM, un recurso de apoyo al estándar WCAG (Pautas de Accesibilidad al Contenido Web) desarrollado por el W3C (World Wide Web Consortium).

El origen de las pautas, métodos y técnicas de evaluación de la accesibilidad está íntimamente ligado a la creación del grupo denominado Web Accessibility Initiative en 1999 por el W3C (Web Accessibility Initiative, 2024a). Desde entonces, profesionales e investigadores tanto del área de la tecnología como de otras áreas del conocimiento han estado trabajando e investigando sobre este tema en muchos lugares del mundo. Y aunque existe una diversidad de trabajos publicados sobre pautas, métodos y herramientas automáticas para la evaluación de la accesibilidad, desde el punto de vista de la investigación, no se ha profundizado en estudios de análisis bibliométrico que puedan ofrecer una visión general de la evolución y proyección histórica sobre este tema. Por esta razón, este análisis permitirá comprender mejor la frontera del conocimiento sobre el tema y también ayudará a tener una mayor claridad sobre las perspectivas conceptuales y metodológicas ponderadas hasta la fecha. Este análisis también ayudará a comprender los criterios de los autores en la elección de métodos, técnicas y herramientas de evaluación de la accesibilidad, según el tipo de sitios web, servicios y aplicaciones a evaluar.

Los estudios bibliométricos aplican métodos estadísticos y matemáticos para describir los procesos de comunicación escrita, mediante el recuento y el análisis cruzado de los datos (Pritchard, 1969). El estudio presentado se enmarca dentro del campo de la bibliometría descriptiva, que permite estudiar el comportamiento de una disciplina científica a partir de las obras publicadas, las instituciones, los países, etc. Además, el estudio permitirá determinar qué técnicas, métodos o pautas de evaluación son los más utilizados dentro de la evaluación de la accesibilidad web.

Algunos autores como Salazar-Botello et al. (2023), Guallar et al. (2020), Hernández-González et al. (2016), Granda-Orive et al. (2013) y Delgado López-Cózar y Repiso (2013) muestran en sus estudios la utilidad de las bases de datos bibliográficas como fuentes principales en los estudios bibliométricos y la relevancia de utilizar el análisis bibliométrico para estudiar y analizar la actividad científica sobre un tema. Para este análisis se ha seleccionado Web of Science por ser una de las bases de datos más antiguas y con mayor impacto académico internacional, y también se ha seleccionado Scopus por ser la base de datos con el mayor catálogo de resúmenes y citas de literatura científica (Pérez-Escoda, 2017). Además, estas bases de datos ofrecen herramientas de análisis que permiten a los investigadores evaluar la calidad científica de las publicaciones.

El objetivo de este estudio es realizar un análisis bibliométrico sobre los métodos, técnicas y herramientas automáticas para evaluar la accesibilidad web en la producción científica indexada en Web of Science y Scopus. Además, el estudio pretende dar respuesta a las siguientes preguntas de investigación: 1) ¿Cuáles son las pautas, métodos y herramientas de evaluación automática de la accesibilidad web más utilizados? 2) ¿Cómo ha evolucionado la producción científica sobre este tema a lo largo del tiempo? 3) ¿Cuáles son los tipos de producción académica sobre el tema registrados actualmente en los sistemas de indexación científica analizados? 4) ¿Cuáles han sido los trabajos y autores más referenciados en la producción científica del tema en las bases de datos analizadas? 5) ¿Cuáles han sido las áreas geográficas de mayor influencia en el estudio del tema? 6) ¿Qué instituciones y editoriales han participado en la producción científica sobre el tema?

Los principales resultados de este análisis muestran que los métodos de evaluación de la accesibilidad web contemplan la necesidad de combinar la inspección manual y herramientas automáticas. Sin embargo, el método más utilizado ha sido el uso de herramientas automáticas. Además, las WCAG del W3C han sido las pautas más empleadas (Web Accessibility Initiative, 2024b). Desde su creación en 1999, las WCAG se han convertido en la referencia para la evaluación de la accesibilidad web, adquiriendo en 2012 el estatus de estándar ISO (ISO/IEC 40500) y constituyendo la base de la legislación sobre accesibilidad en la normativa de distintos países, como la norma EN 301549 de la Unión Europea.

Los resultados también muestran que el 60% de la producción científica sobre el tema fue difundida a través de eventos científicos, con un notable crecimiento en los últimos 8 años, con un incremento de casi el 100% (99%) respecto a los trabajos editados desde el año 2000, bajo la autoría y afiliación institucional principalmente de Estados Unidos, España y Reino Unido, y editores de Estados Unidos.

Para alcanzar el objetivo de este estudio hemos partido de una investigación cualitativa mediante el análisis de títulos, resúmenes, e información institucional y editorial de los autores en la colección principal de Web of Science y Scopus. Como se ha señalado en la introducción, la elección de estas dos bases de datos responde a su importancia como referencia en el mundo académico. Además, ambas poseen herramientas bibliométricas de gran utilidad para el propósito de la investigación. También se han analizado los principales indicadores bibliométricos de cada artículo identificado: número de publicaciones por autor, tipo de documento y tipo de publicación (indicadores de productividad), número de citas e impacto de las revistas (indicador de visibilidad e impacto), número medio de autores, afiliación institucional y editorial (indicadores de colaboración), entre otros.

En los criterios de búsqueda, se utilizó una combinación de términos relacionados con “metodología, métodos, técnicas, herramientas y evaluación de la accesibilidad” combinados mediante la expresión booleana OR. La ecuación resultante fue: “evaluación de accesibilidad web” OR “método de evaluación de accesibilidad” OR “herramientas de evaluación de accesibilidad” OR “pautas de accesibilidad web”. La utilización del operador OR responde a la decisión de recoger el mayor número de referencias relacionadas posible, aunque posteriormente se realizara una selección manual para eliminar las referencias no pertinentes. Por esa misma razón, la búsqueda se realizó sobre el campo Topic que incluye el título, el resumen y los índices.

La búsqueda se realizó sin restricción temporal, con el fin de hacer un análisis histórico sobre el tema hasta el año 2024. Durante el proceso de búsqueda y extracción, se identificó un total de 636 artículos científicos (232 artículos registrados en la colección principal de Web of Science y 404 artículos registrados en Scopus), de los cuales se analizaron 403 artículos, ya que se encontraron 187 artículos en ambas bases de datos (correspondientes al 29,4% del total de artículos identificados). Además, un total de 46 artículos fue excluidos porque no estaban relacionados con el tema analizado. Los criterios de selección aplicados fueron los siguientes:

1) Criterios de inclusión. Se han incluido todos los trabajos relacionados con la accesibilidad online: evaluación de la accesibilidad (web, móvil, plataformas digitales, medios digitales, interfaces, productos de software o sistemas interactivos), creación de contenidos accesibles, diseño de interfaces accesibles, desarrollo de herramientas de evaluación de la accesibilidad y todos los trabajos relacionados con pautas, métodos o herramientas de evaluación de la accesibilidad (estudios experimentales, estudios de caso, revisiones sistemáticas de la literatura, estudios con un enfoque práctico o descriptivo, etc.).

2) Criterios de exclusión. Se excluyeron los artículos relacionados con la accesibilidad en la arquitectura, el urbanismo y el diseño industrial (por ejemplo, la accesibilidad de los electrodomésticos), y cualquier artículo que no estuviera directamente relacionado con el tema analizado (por ejemplo, artículos que sensibilizaran sobre la accesibilidad online sin proporcionar directrices, o artículos que trataran la accesibilidad online como un tema marginal, sin que este fuera este tema su enfoque principal). También se excluyeron presentaciones, introducciones o resúmenes de actas, sesiones temáticas de conferencias y documentos similares.

Luego de la extracción, se aplicaron los criterios anteriores y, dado el número de registros, se revisaron manualmente los títulos, resúmenes y palabras clave de los autores de cada artículo. Además, se examinaron los métodos de evaluación de la accesibilidad y el alcance de los artículos. Posteriormente, también se analizaron los indicadores bibliométricos relacionados con el número de autores, la afiliación institucional, la editorial, el año de publicación, el tipo de documento, el tipo de publicación y el número de citas.

Para el análisis se utilizaron las siguientes herramientas: 1) ISI.exe y MS Excel (incluido en Office 365) para identificar las fuentes científicas, los trabajos y autores citados, la producción por instituciones y para el análisis sobre la evolución de la producción científica. 2) VOSviewer versión 1.6.20 se utilizó para construir y visualizar redes bibliométricas de co-ocurrencia de palabras clave de autores, títulos y resúmenes. 3) GPS Visualizer se utilizó para producir mapas de localización geográfica de las instituciones y editoriales de los autores.

Los principales resultados muestran que, de los 403 trabajos analizados, el 60% corresponde a publicaciones en eventos académicos y/o científicos, mientras que el 38% corresponde a artículos publicados en revistas científicas. El porcentaje restante se compone de trabajos publicados tanto en eventos como en revistas científicas (1,5%), y en libros o capítulos de libros de divulgación científica (0,4%). Cabe destacar que el mayor porcentaje de producción científica publicada en eventos científicos se concentró en los últimos ocho años, y que el primer trabajo se publicó en el año 2000. Estos resultados muestran que se trata de un tema de investigación relativamente reciente, con poco más de veinte años en el registro de la producción científica indexada en Web of Science y Scopus, remarcando su creciente interés en los últimos años, como se muestra a continuación en la Figura 1.

Además, es importante señalar que la media de autores fue de 3,2, con una importante participación de autores e instituciones mayoritariamente americanas y europeas. La Tabla 1 muestra los documentos por autor y afiliación.

La tabla muestra los autores e instituciones con más artículos publicados en Web of Scien ce y Scopus.

Estos resultados confirman la concentración del estudio y el nivel de conocimiento sobre el tema en un ámbito institucional y geográfico específico, como se muestra en la Figura 2.

La Figura 2 muestra que el 20,4% de la producción científica sobre el tema corresponde a autores pertenecientes a instituciones de Estados Unidos, seguido del 12% de autores de instituciones de España. El 10,4% de la producción científica corresponde a autores pertenecientes a instituciones de Reino Unido, seguido del 7,4% de autores pertenecientes a instituciones de Oriente Medio (destacando la participación de autores de Turquía). Los autores afiliados a instituciones de Brasil contribuyeron al 5%, y los autores afiliados a instituciones de Ecuador, 4% del total de la producción científica sobre el tema. Los autores afiliados a instituciones de Portugal tuvieron una participación del 3,4%, mientras que los autores afiliados a instituciones de India e Italia tuvieron una contribución correspondiente al 3% de la producción científica cada uno. Los autores afiliados a instituciones de Noruega y Alemania tuvieron una participación correspondiente al 2,2% respectivamente, seguidos del 2% de los autores afiliados a instituciones de China.

Aunque no se incluyen en la Figura 2 debido a su menor representación, los autores afiliados a instituciones de Australia, Japón, Malasia y Suiza contribuyeron con un 1,5% de la producción científica cada uno, frente a los autores afiliados a instituciones de Francia y Grecia que han contribuido con un 1,2%, respectivamente. Los autores con la contribución más baja fueron los afiliados a instituciones de Bélgica, Canadá, Colombia, Finlandia, África, México, Polonia, Rumanía, Eslovenia, Austria, Argentina, Chile, Cuba, República Checa y Perú, que tuvieron una contribución inferior al 1%. Por último, alrededor del 1,8% de los autores no facilitaron información sobre su afiliación.

Cabe destacar que un porcentaje importante de la producción científica sobre el tema fue publicado en eventos científicos y académicos, como se mencionó en secciones anteriores. Y los eventos relacionados con el tema con mayor número de publicaciones fueron organizados y publicados por la ACM (Association for Computing Machinery), como se muestra a continuación en la Tabla 2.

La tabla muestra los eventos científicos y académicos con mayor número de artículos publicados sobre el tema.

Además, es importante destacar la necesidad de considerar como una posible limitación en la producción científica sobre el tema que, en la mayoría de los casos, los autores, las instituciones y escenarios han sido abordados con un nivel de impacto medio-bajo, como se muestra en la Tabla 3.

La tabla muestra las revistas con mayor número de artículos publicados sobre el tema, impacto de la revista, editores y países editores.

La media de citas de los 403 artículos analizados fue de 11. Los artículos más citados están relacionados con las pautas de accesibilidad y métodos de evaluación (Power et al., 2012), con 216 citas; evaluación con herramientas automáticas (Vigo et al., 2013), con 131 citas; y desarrollo de herramientas de evaluación automática (Takagi et al., 2004), con 108 citas.

En cuanto al análisis de títulos, resúmenes y palabras clave, los resultados muestran que los artículos analizados se centraron principalmente en la evaluación de la accesibilidad de diferentes tipos de sitios web o aplicaciones (42,6%), en el análisis o desarrollo de herramientas de evaluación de la accesibilidad (22,6%), en la propuesta de directrices, marcos o modelos para el diseño y la evaluación de la accesibilidad (22,2%) y la presentación de nuevos métodos o metodologías de evaluación de la accesibilidad (10,2%). Además, una minoría de trabajos presentaba los resultados de estudios exploratorios sobre accesibilidad web y discapacidad (1,2%), incluía el diseño de prototipos o interfaces accesibles (0,6%), se dedicaba a la revisión bibliográfica sobre evaluación de la accesibilidad mediante el uso de análisis estadísticos (0,3%), o abordaba la legislación y normativa sobre accesibilidad web (0,3%).

En más del 60% de los trabajos enfocados en la evaluación de la accesibilidad online, se evaluó la accesibilidad de diversos tipos de sitios web (66,8%), destacándose la evaluación de sitios web gubernamentales, sitios web turísticos, sanitarios, universitarios, de comercio electrónico, de museos y para personas mayores. Otros trabajos se dedicaron a la evaluación de aplicaciones móviles (16,4%), aplicaciones AJAX (1,4%), aplicaciones RIA (1,4%), aplicaciones de realidad aumentada (0,6%), MOOCs (1,8%), CMS (1,4%), entornos virtuales (2%), plataformas de conferencias en línea (1,4%), editores web (0,4%), ventanas de diálogo de páginas web (0,4%), libros electrónicos o ePub (1,2%), televisión digital (0,4%), plataformas educativas virtuales (por ejemplo, Moodle, 0,4%), productos de software (2,4%), plataformas de vídeo (por ejemplo, YouTube, 1,2%) y aplicaciones de Inteligencia Artificial (por ejemplo, ChatGPT y DALL-E, 0,4%).

Las propuestas de marcos, modelos y directrices para el diseño y la evaluación de la accesibilidad estaban orientadas en su mayoría, a diversos tipos de sitios web, destacándose los sitios web gubernamentales, de salud, de turismo y aquellos enfocados en personas mayores.

En cuanto a los nuevos métodos o metodologías de evaluación de la accesibilidad, los artículos se centraron en la evaluación de sitios web (82,6%), basados en la metodología WCAG-EM, de la cual algunos autores proporcionan una guía de aplicación detallada y sencilla (Revilla Muñoz; Carreras Montoto, 2024), mientras que una minoría de artículos estaban basados en la metodología UWEM (Nietzio et al., 2008), entre otras. Algunos trabajos también presentaron nuevos métodos o metodologías de evaluación de la accesibilidad para aplicaciones móviles (4,6%), para CMS (4,2%), centrados en la evaluación de juegos (2,2%), centrados en la evaluación de ventanas de diálogo de páginas web (2%), para páginas web dinámicas (2%) y para la evaluación de la accesibilidad de libros electrónicos (2%) y bibliotecas digitales (0,4%).

Es importante señalar que los resultados muestran que las pautas de evaluación de la accesibilidad más utilizadas fueron las WCAG 1.0 y 2.0 (más del 60%).

Aunque el diseño de interfaces accesibles no ha tenido un porcentaje especialmente significativo, esta categoría ha consistido principalmente en el diseño de juegos accesibles, destacando el desarrollo de un juego inclusivo para niños de 7 a 11 años con discapacidad auditiva (Raia et al., 2023).

En la Figura 3 se muestra a continuación el mapa de palabras clave de autores utilizadas en la producción científica sobre el tema.

Los resultados también muestran que, en la mayoría de los artículos relacionados con la evaluación de la accesibilidad el método de evaluación más utilizado fue el uso de herramientas automáticas (36,6%), aunque algunos autores coinciden en la pertinencia de utilizar una combinación de técnicas manuales y herramientas automáticas (Acosta et al., 2018; Clegg-Vinell; Bailey; Gkatzidou, 2014; Hassanzadeh; Navidi, 2010), que fue el siguiente método más utilizado (16,6%), combinando en algunos casos la inspección por expertos, herramientas automáticas y pruebas de usuario. Una minoría de autores evaluó únicamente mediante pruebas de usuario (7%), mediante revisión manual o evaluación por expertos (5,3%), mediante encuestas (2,3%), utilizando recorridos de barrera o ey e-t racking (2,3%), o mediante entrevistas (1,6%), mientras que un número relativamente significativo de autores no indicó las herramientas o métodos de evaluación utilizados (28,3%).

Los resultados también muestran que las herramientas más utilizadas fueron AChecker, WAVE y TAW (36,6%), complementos para navegadores (11,4%) y JAWS (3,4%). Otras herramientas, como Hera, Cynthia Says, Access Monitor, AX y Bobby, se utilizaron en una minoría de trabajos (aproximadamente 1% cada una), mientras que otros trabajos indicaban haber utilizado varias herramientas sin especificar cuáles (15,4%), y un porcentaje relativamente significativo de autores no indicó las herramientas utilizadas (28,3%). En relación con lo anterior, es necesario señalar que algunos autores confirmaron la utilidad de evaluar la accesibilidad mediante herramientas automáticas, pero también afirmaron que, al evaluar sitios web con diferentes herramientas automáticas, los resultados fueron diferentes para los mismos sitios web. Por lo tanto, recomendaron incluir pruebas de usuario y evaluaciones de expertos con la evaluación automática para obtener resultados más precisos y coherentes (Sarita et al., 2021). Otros autores también consideraron que evaluar la accesibilidad web sólo con uno de estos métodos no es suficiente, destacando la necesidad de combinar herramientas automáticas con la evaluación manual realizada por expertos (Londoño-Rojas et al., 2023).

Una de las principales contribuciones de este análisis es ayudar a delimitar la frontera del conocimiento sobre el estudio de este tema. Es destacable que un alto porcentaje de la producción científica indexada en Web of Science y Scopus (seleccionadas por ser algunas de las bases de datos más antiguas, y uno de los principales sistemas de indexación académica y/o científica) se haya difundido a través de eventos científicos, con un notable crecimiento en los últimos ocho años, lo que demuestra que se trata de un tema de actualidad. Sin embargo, el número de artículos extraídos evidencia la escasa difusión de este tema en contextos científicos y académicos hasta el momento.

Los resultados obtenidos también muestran rasgos etnocéntricos y geográficos en torno a la producción científica sobre el tema, centrándose en un área geográfica concreta, con autores, instituciones y editores mayoritariamente europeos y americanos.

De los diferentes trabajos y estudios revisados, también resulta interesante que el método de evaluación de la accesibilidad más utilizado haya sido el uso de herramientas automáticas, aunque muchos autores contemplaban la necesidad de combinar la revisión manual y las herramientas automáticas, reconociendo que los métodos automáticos sólo podían proporcionar una impresión superficial del estado de la accesibilidad, y que únicamente los métodos de evaluación manual pueden facilitar una comprobación exhaustiva de la accesibilidad (Kollotzek et al., 2021).

Desde un punto de vista más personal, el trabajo realizado nos ha permitido llegar a dos conclusiones. Por una parte, el aumento del número de publicaciones científicas relacionadas con el área de conocimiento analizada nos confirma la pertinencia potenciar las investigaciones alrededor de la accesibilidad y, concretamente, sobre los métodos de evaluación. Por otra, nos ha ayudado para determinar qué métodos son los más utilizados con el fin de continuar la investigación sobre la accesibilidad web y el diseño de metodologías de evaluación de la accesibilidad.

Para futuros trabajos, sería interesante considerar un análisis bibliométrico que incluya otros sistemas de indexación científica y/o académica (por ejemplo, SciELO y/o Latindex). Esto permitiría analizar un mayor número de registros y también ayudaría a profundizar en los aspectos destacados en esta sección. Además, resultaría útil reconocer otros contextos geográficos y editoriales que también podrían estar mostrando un interés creciente en el estudio de este tema.

De hecho, es importante señalar la necesidad de continuar el seguimiento de la evolución del tema, no solo para identificar nuevas tendencias en la producción científica, sino también para contribuir al crecimiento de su difusión, ya que es un tema actual, de interés científico y académico, y por supuesto, de interés humano, debido a que no todas las personas tienen las mismas capacidades ni utilizan la tecnología de la misma manera.