64
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
AUDITORIA DE USABILIDAD DE HERRAMIENTAS IMPLEMENTADAS EN
PLATAFORMAS VIRTUALES PARA OFERTAR SERVICIOS CON
RESPONSABILIDAD SOCIAL
USABILITY AUDIT OF TOOLS IMPLEMENTED IN VIRTUAL PLATFORMS TO OFFER SERVICES
WITH SOCIAL RESPONSIBILITY
Olga Inés Ceballos
1
, Luz Amparo Mejía Castellanos
2
, Deicy Arango Medina
3
.
Cómo citar esté artículo: Ceballos, O., Mejía, L, Arango, D., (2019) Auditoría de usabilidad de
herramientas implementadas en plataformas virtuales para ofertar servicios con responsabilidad social.,
Revista INNOVA ITFIP. 5 (1). 64 – 77.
Recibido: Julio de 2019. Aprobado: Noviembre de 2019
_________________________________
Resumen
El desarrollo de actividades empresariales, a través del uso de plataformas virtuales cada día es
más frecuente; un número significativo de entidades del sector público y privado han
implementado en los últimos años esta metodología para optimizar operaciones administrativas y
facilitar el acceso a las transacciones que componen su quehacer productivo y operacional,
ofertando servicios de calidad más asequibles a clientes, empleados, proveedores, entre otros, que
por límites de tiempo y de desplazamiento no pueden trasladarse hasta la entidad a realizar
cualquier trámite; es por ello, que estas herramientas virtuales deben estimular la lealtad del
usuario; por lo tanto, es necesario evaluar el uso, importancia y efectividad, para el alcance de los
objetivos en cada proceso específico donde se adapten. En el presente artículo se exponen los
resultados y análisis de un estudio de caso de la medición y evaluación de la usabilidad de un OVA,
en una Institución de educación superior que oferta servicios online, aplicando diferentes métodos
que facilite verificar la correlación entre estos y su nivel de efectividad.
Palabras Clave: Usabilidad, evaluación de la usabilidad, Ambiente Virtual de Aprendizaje
(AVA), Objeto Virtual de Aprendizaje (OVA), Métricas de Calidad.
1
.Licenciada en Matemática y Computación, Especialista en Biomatemática de la Universidad del Quindío. Magister en Educación
Docencia de la Universidad de Manizales. Docente e Integrante del Grupo de Investigación de la Función Financiera de la
Universidad del Quindío. Categorizado por Colciencias en B investigadora Junior.
2
Magister en Ingeniería, Universidad EAFIT Medellín. Especialista en Auditoría de Sistemas, Universidad Antonio Nariño Bogotá.
Especialista en Pedagogía y Orientación de la Formación Profesional Integral,Sena Armenia. Ingeniera de Sistemas, Universidad
Antonio Nariño Armenia. Docente investigador del Grupo de Investigacion en Sistemas de Informacion, Auditoria y Calidad del
Software - GISICAS. Armenia- Colombia.
3
Doctorando en Administración de Negocios Universidad AIU – USA. Magister en Gerencia del Talento Humano, Universidad de
Manizales. Especialista en Revisoría Fiscal y Auditoria Externa, Universidad UNAB. Especialista en Pedagogía y Docencia
Universitaria Universidad la Gran Colombia, Contador Público Universidad del Quindío. Docente investigador grupo de
investigación la Función Financiera en las Organizaciones del Departamento del Qunidío- GIFIQ. Armenia- Colombia.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
65
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
Abstract
The development of business activities, through the use of virtual platforms every day is more
frequent; A significant number of commercial sector entities have implemented this methodology
in recent years to optimize administrative operations and facilitate access to the transactions that
make up their productive and operational tasks, offering more affordable quality services to
customers, employees, suppliers, among others, which due to time and travel limits cannot be
transferred to the entity to carry out any procedure; That is why these virtual tools should stimulate
user loyalty; therefore, it is necessary to evaluate the use, importance and effectiveness, for the
scope of the objectives in each specific process where they are adapted. This article presents the
results and analysis of the measurement and evaluation of the usability of an OVA, in an institution
such as the Universidad del Quindío that offers online services, applying different methods that
facilitate verifying the correlation between them and their level of effectiveness.
Keywords: Usability, usability evaluation, Virtual Learning Environment, Virtual Learning
Object, Quality Metrics.
1. Introducción
El uso de herramientas virtuales se ha
convertido en un elemento clave para el
desarrollo económico de los países y
específicamente del sector empresarial, su
implementación y uso incrementa la
competitividad y tiene efectos positivos en el
crecimiento económico, integración social y
sostenibilidad ambiental; además mejora las
acciones de RSE (Responsabilidad Social
Empresarial). Actualmente un número
considerable de organizaciones tanto del
sector público como privado se encuentran
promoviendo el diseño e implementación de
herramientas virtuales informáticas y de
objetos virtuales de aprendizaje. Entre las
instituciones que se acogen a estos cambios,
acordes a los avances tecnológicos que
exigen estar a la vanguardia en tecnología de
última generación, se encuentra la mesa TIC
del Quindío (UXARTE), la Universidad del
Quindío, el Sena Regional Quindío y la
mayoría de entidades financieras, de salud y
comerciales.
En el nivel nacional se ha reconocido
recientemente que en el Departamento del
Quindío, un conglomerado de empresas viene
trabajando bajo la perspectiva de la
usabilidad en el marco de la teoría de la triple
hélice: Universidad-Empresa-Estado;
oficialmente reconocido por el Consejo
Privado de Competitividad, como el Clúster
UXARTE. En su página oficial,
https://redclustercolombia.com/clusters-en-
colombia/mapa-de-clusters, esta iniciativa
clúster, es destacada así:
“Este trabajo ha permitido articular la oferta
educativa con los requerimientos de la
industria de software de la región permitiendo
fortalecer cada vez más el sector de software,
tan fructífero ha sido el trabajo que la visión
que nace del uXarteTIC (Mesa TIC Quindio)
ha sido reconocido y apoyado por el Gobierno
Nacional, por lograr tener un visión
compartida y consensuada de los diferentes
actores que gracias a la cohesión y confianza
de los diferentes actores se han logrado éxitos
en muy corto plazo y permite vislumbrar al
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
66
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
Clúster uXarteTIC (Mesa TIC Quindío) como
uno de los más importantes a nivel de
Latinoamérica, por la infraestructura y
conocimiento en Usabilidad, el cual quiere
que sea capitalizado por toda la industria de
software”.
Una de las empresas que implementó
servicios a través de herramientas virtuales es
la Universidad del Quindío, quien cuenta con
un capital humano capacitado en estas nuevas
tecnologías, un departamento de sistemas y
una unidad de virtualización especializados
en el diseño de objetos virtuales y de
aprendizaje. De acuerdo a la importancia
anterior, es necesario medir su operabilidad,
funcionalidad, disponibilidad, agilidad entre
otras características que debe poseer para que
cumpla con los estándares de calidad y la
prestación de servicios con responsabilidad
social. Para medir la pertinencia de esta oferta
académica se tuvo en cuenta la metodología
desarrollada por tres autores: Jakob Nielsen
(1994), Ben Shneiderman (2004) y Claros, I.,
Collazos, C. (2006).
El sector educativo es uno de los campos
donde se puede evaluar la usabilidad de los
objetos virtuales de aprendizaje (OVA) a
través de una propuesta metodológica de
medición externa desarrollada por diferentes
autores. En los últimos años en Colombia,
estas herramientas tecnológicas, en los
procesos de formación integral, se han
implementado con rigurosidad; su principal
promotor es el Ministerio de Educación
Nacional (MEN).
Debido a la importancia de estas herramientas
tecnológicas, para el desarrollo de diversas
actividades empresariales (comercial,
educativo, financiero, productivas etc.), se
hace necesario evaluar y cuestionar la calidad
de sus contenidos, recursos didácticos
utilizados y servicio que se oferta a través de
este sistema; es importante que el usuario
(clientes, estudiantes, proveedores, entre
otros), sienta que la herramienta en la que
trabaja es amigable, funcional, fácil de
entender, comprensible, atractiva, con
contenido apropiado para resolver las
necesidades requeridas y llegar al final de su
proceso con el cumplimiento de las metas
trazadas; a través, de pautas, tareas y
escenarios adecuados comprensibles, para
que los usuarios sean entes activos; quienes
son los que deben gestionar y acceder a dar
solución a sus requerimientos.
2. Materiales y Métodos
Para evaluar la usabilidad de un OVA y sus
características, se debe realizar un análisis
general de todas las actividades ofertadas a
través del sitio Web diseñado por la empresa;
para lo cual se tuvo en cuenta en cuenta tres
metodologías propuestas:
a) Evaluación a través de los 10 principios y
criterios propuesto por el autor Jakob Nielen
(1994; 152-158).
b) Evaluación a través de usuarios propuesta
por varios autores como Ben, Shneiderman.
(2004; 96).
c) Evaluación de usabilidad basado en
jerarquía de tres niveles (métricas, criterios y
atributos) Claros, I., Collazos, C (2005; 74)
Estas metodologías requieren de un
reconocimiento y familiarización previa del
sitio de medición; para lo cual es necesario
navegar libremente por el objeto virtual; en el
cual se debe explicar con claridad a los
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
67
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
usuarios (clientes, estudiantes, proveedores,
empresarios), la importancia del uso y
adecuado manejo del sitio web para
cualquieractividad a desarrollar. Lo anterior,
permite conocer de forma general si el
servicio a través de estas herramientas
virtuales cumplen con los estándares de
calidad en cuanto a anuncios, demo para el
manejo de la plataforma, bibliografías,
glosarios, enlaces web, contenidos de acuerdo
a la actividad de la organización, información
del contacto, documentos, materiales de
apoyo, trabajos propuestos, foros de
discusión (social, educativos, industriales,
temáticos etc.), medios de comunicación,
mensajerías, sesiones sincrónicas y no
sincrónicas, chat entre otras.
Metodología A. Evaluación a través de los
10 principios y criterios propuesto por el
autor Jakob Nielsen: La evaluación a través
de los criterios de Jakob Nielsen, se realiza
mediante un instrumento que involucran los
principios:
- Visibilidad del estado del sistema
- Relación entre el sistema y el mundo real
- Control y libertad del usuario
- Consistencia y estándares
- Prevención de errores
- Reconocimiento antes que recuerdo
- Flexibilidad y eficiencia de uso
- Estética y diseño minimalista
- Ayudar a los usuarios a reconocer
- Ayuda y documentación
Los principios expuestos se deben aplicar de
forma general al objeto de estudio, lo que
permite obtener hallazgos positivos o
negativos para determinar su usabilidad; los
datos obtenidos son procesados por cada
evaluador (usuario del OVA) en una matriz
que posteriormente se consolida y analiza,
para generar resultados y conclusiones que
permita determinar si el OVA es usable o no.
Metodología B. Evaluación a través de
usuarios propuesta por varios autores como
Ben Shneiderman: se realiza por medio de
un cuestionario que permite verificar si el
OVA es usable o no, para lo cual se tiene en
cuenta:
- Consistencia
- Atajos. Permite que los usuarios frecuentes
usen atajos
- Retroalimentación informativa
- Diálogo. Diseñar textos de diálogo para
cerrar procesos
- Manejo de errores. Ofrece una forma
sencilla de corregir errores
- Permite la facilidad de regresar sobre sus
propios pasos
- Fomenta la sensación de control
- Reduce la carga de memoria a corto plazo
Lo que permite cuantificar el alcance de los
objetivos del OVA, en cuanto a desarrollo
adecuado en el diseño de la interfaz,
funcionalidad y comprensión de los
contenidos ofertados en actividades
(empresariales, educativas, financieras,
industriales, de salud, entre otras), generando
conclusiones positivas donde se evidencie
que se minimiza la frustración en el manejo
para los usuarios.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
68
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
Una vez aplicada la evaluación de la
herramienta virtual a través de las dos
metodologías anteriores y con base en los
resultados obtenidos de los cuestionarios, se
concluye el porcentaje de efectividad en
cuanto a la usabilidad del sitio; para ello se
analizó si las respuestas favorables de los
instrumentos aplicados eran mayores del
90%. Si el porcentaje de cumplimento es
menor a este valor, se sugiere hacer una
evaluación minuciosa, para lo que se plantea
la tercera metodología (C).
Metodología C. Evaluación de la usabilidad
basado en jerarquía de tres niveles
propuesta por los autores Claros, I.,
Collazos, C. como se observa en el diagrama
1: Esta técnica de medición permite
identificar específicamente cuales son los
atributos y criterios que requieren inclusión
de oportunidades y a través de estas falencias
encontradas y teniendo en cuenta las
estrategias A y B de medición descritas
anteriormente, se propone planes de acción
para mejorar el sitio evaluado.
Esquema 1. Modelo de evaluación de
usabilidad basado en la jerarquía de tres
niveles
Fuente: Construcción propia con base al autor
Claros, I., Collazos, C. (2005; 74)
Para la implementación de esta metodología,
se requiere el diseño de métricas criterios y
atributos; los cuales están conformados por
indicadores como se sintetiza en el esquema
2, atributos que se determinan por medio de
preguntas de satisfacción, las cuales permiten
un análisis detallado a través de una medición
de la efectividad, pertinencia y eficiencia de
cada criterio; valoración que se obtienen a
través de la escala de Likert, en la que se
asigna una puntuación de 1 a 5 de acuerdo a
la importancia de cada atributo en el proceso
de la actividad a desarrollar, donde 1
representa completamente en desacuerdo y 5
completamente de acuerdo.
Esquema 2. Métricas y criterios
Fuente: Construcción propia según teoría de
autores y ISO/IEC 25010: 2011
Posteriormente, se analizan los resultados y la
asignación de puntajes para cada atributo,
este se pondera con la formula
donde x representa la cantidad de evaluadores
(clientes, estudiantes, proveedores, usuarios)
que registraron la misma calificación, n es el
total de evaluadores, indicando el porcentaje
de participación; seguidamente, para cada
atributo, se suman la frecuencia relativa de
las calificaciones con puntuación de 4 y 5;
partiendo de estos resultados se le asigna una
medición cuantitativa a cada atributo; con los
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
69
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
datos obtenidos en cada uno de los criterios se
calcula el promedio de las métricas, los
cálculos mayores o iguales a 90 indican que
el OVA cumple satisfactoriamente con
requisitos de usabilidad, los menores a este
valor indican que se requiere proponer
acciones de mejora sobre las métricas
evaluadas. El anterior proceso se ejemplifica
en el esquema 3 solo para una métrica.
Esquema 3. Ejemplificación de asignación
de ponderación para la evaluación de cada
métricas, criterios y atributos
Fuente: Elaboración propia
3. Resultados
Es de resaltar que lo más importante en el
presente estudio, es la aplicación de las
metodologías y dar a conocer que estas se
pueden implementar en cualquier sector
empresarial, educativo, financiero, que brinde
servicios a través de herramientas virtuales.
Con la medición obtenida en cada métrica, se
calcula el promedio de usabilidad general del
OVA, analizando la calificación de las
métricas de aprendizaje, contenido,
comunicación, método, operatividad,
atractivo y satisfacción como se muestra en el
esquema 2.
El propósito del estudio, fue evaluar la
usabilidad de uno de los OVA actuales que
posee la Universidad del Quindío para
orientar un espacio académico; para lo cual se
contó con un grupo inicial de 6 usuarios
(expertos); quienes diligenciaron los
instrumentos para verificar y evaluar su
funcionalidad a través de las metodologías A
y B, con los resultados obtenidos de los
cuestionarios, se concluyó que el porcentaje
de efectividad en cuanto a la usabilidad del
sito era menor del 90%. Teniendo en cuenta
los datos no satisfactorios, se aplicó la
metodología C, evaluación obtenida para
cada componente que se muestra en el gráfico
N°1, en el cual se puede observar que el
promedio de usabilidad general de acuerdo a
la métricas, criterios y atributos es menor de
52.82%, puntuación no adecuada para el
propósito de la herramienta.
Gráfico 1. Evaluación de Usabilidad del
OVA Actual de la Universidad del Quindío
Aplicando la Metodología C.
Fuente: Elaboración propia con base a los
resultados de los cuestionarios aplicados a los
usuarios
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
70
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
El promedio obtenido para la usabilidad en la
evaluación a través de las métricas y criterios,
permitió realizar acciones de mejora y
proponer cambios relevantes en el OVA
actual de la Universidad del Quindío. Su
evaluación a través de la aplicación de la
herramienta anterior, permitió exponer un
listado de posibles fallas halladas por los
evaluadores como se observa en el Cuadro
N°1.
Cuadro N°1. Listado de posibles fallas por
evaluador
Evaluadores
LISTA DE FALLAS
1
Carece de un buscador
alternativo
Colores inadecuados
Letra ilegible
Avisos invisibles
Poca comunicación al usuario
Desorganización del contenido
2
Errores de ortografía
Falta identificación de objetivos
Inseguridad al ingreso
Información irrelevante
Falta de ayudas al usuario
Perdida de la información
Carece de privacidad en la
información
3
Información poco confiable
Inseguridad en la información
Iconos diminutos
Colores inadecuados
Contenidos insatisfechos
Manipulación de la información
Falta de un mapa del sitio web
4
Deserción del usuario
Invisibilidad de las unidades
Contenidos escasos
Distribución inapropiada
Falta de un motor de búsqueda
Letra inadecuada
Enlaces que nos sacan del sitio
web
5
No visualización de contenidos
Colores inadecuados
Desorden de la información
Iconos repetitivos
Ausencia de motor de búsqueda
Escasez de contenido
6
Link de contenidos
deshabilitados
Información poco llamativa o
atractiva.
Falta de imágenes que faciliten
el aprendizaje de los usuarios.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
71
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
Deserción de los usuarios por
poco interés en el sitio
Fallas a la hora de ver los videos
o instructivo
Dificultad en el desarrollo del
curso por algunos procesos a
practicar como subir los
trabajos.
Falta de direccionamiento en los
procesos
Fuente: Elaboración propia con base a los
resultados de los cuestionarios aplicados a los
usuarios
Con los resultados del listado anterior, se
consolidan y agrupan en el cuadro N°2, las
principales fallas que presenta el OVA
evaluado.
Cuadro N°2. Listado fallas consolidadas
LISTA DE
FALLAS
MAS
COMUNES
Colores inadecuados
Avisos no legibles
Desorganización
Inseguridad
Información no confiable
Inconsistencia y errores
Fuente: construcción propia con base a los
resultados de los cuestionarios aplicados a los
usuarios.
Con la lista de fallas consolidadas en el
cuadro N°2, se realizó una matriz N°1 de
fallas encontradas por cada evaluador y una
para la vul nerabilidad de cada métrica matriz
N°3, lo que permitió identificar las
inconsistencias más relevantes de éstas en
orden de importancia y que afectarán la
usabilidad del software, las cuales se
desarrollaron de la siguiente forma:
La matriz N°1, permitió identificar cual es la
falla más relevante que puede afectar la
usabilidad óptima de la herramienta virtual;
cada evaluador diligencia una matriz. La
puntuación entre dos fallas (X vs Y) está
formada por dos celas (columna izquierda X)
que presenta la falla situada en la fila y
(columna derecha Y) representa la otra falla;
cada participante asigna un valor uno (1) a
cada inconveniente X o Y, que considere más
significativo y un cero (0) para lo contrario,
no puede asignar el mismo valor a ambas
fallas. Como se observa en el esquema 4. La
falla Y con valor uno (1) es considerada más
significativa que la X
Esquema 4. Ejemplo evaluación de falla
más significativa entre X vs Y
Fuente: construcción propia
Matriz de Clasificación de fallas
La matriz N°1, muestra los resultados
obtenidos de la puntuación asignada por uno
de los evaluadores, de igual forma se realizó
con cada participante, obteniendo al final 6
matrices individuales.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
72
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
Matriz N°1. Resultados de evaluación
individual de fallas
Fuente: Fuente: construcción propia con base
a los resultados de la matriz diligenciadas por
un evaluador
En la matriz N°1, la interpretación de los
valores obtenidos es:
- La celda con valor dos (2) ubicada en la
columna 4- última fila, es la suma total de las
puntuaciones en columna derecha de la falla
color inadecuado (Y); para cada falla se
realiza el mismo procedimiento en las
columnas derechas (Y) y se ubican los
cálculos en la última fila.
- La celda con valor dos (2) ubicada en la
columna 11- fila 4, corresponde a la suma
total de los valores de las celdas ubicada en
las columnas a la izquierda (X) de la fila 4,
falla inseguridad vs colores inadecuados con
puntuación cero (0) más el valor de la celda
de la columna a la izquierda (X) de las fallas
inseguridad vs avisos no legibles con
puntuación uno (1), más el valor de la celda
de la columna a la izquierda (X) de las fallas
inseguridad vs desorganización con
puntuación uno (1); luego 0 +1+1= 2 como se
aprecia en color morado, para cada fila se
realiza el mismo procedimiento entre las
celdas ubicadas en la columna a la izquierda
de cada falla.
- Los resultados ubicados en cada celda de la
primera columna se obtienen de la siguiente
manera: Para la primera falla (Y) se tienen en
cuenta la suma total de la columna a la
derecha de la falla colores inadecuados con
un valor final de (2); para la última falla
inconsistencias y errores, se tienen en cuenta
la suma total de las celdas ubicadas a la
izquierda (X) con un valor final de (6). Para
cada falla intermedia (avisos no legibles,
desorganización, inseguridad, falta de ayuda
e información no confiable) se tienen en
cuenta el valor calculado de la suma total de
cada falla ubicado en la (columna derecha Y-
última fila) y la suma total de cada falla
(columna izquierda X – fila de la falla).
Ejemplo, el valor 4 de la primera columna de
la falla falta de ayuda se obtuvo de la suma
total de la columna 12 -última fila con valor
cero (0) en la celda, más la suma total de las
celdas de las columnas a la izquierda de la fila
5, con valor (4) luego 0+4=4; de igual forma
el valor 2 de la primera columna de la falla
desorganización es la suma del total 0+2=2
ubicados en (valor total columna 8 más valor
total fila 3). Para las demás puntuaciones de
la primera columna se obtienen de la misma
forma. La suma total de la primera columna
equivale a 21 lo que indica la puntuación total
de la matriz de fallas, realizada por un
evaluador. También estos resultados
muestran que la falla más representativa o que
afecta la herramienta virtual según un
participante es inconsistencias y errores con
valor 6.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
73
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
Una vez diligenciada la matriz de forma
individual, por cada evaluador, se consolidan
las puntuaciones obtenidas para cada falla,
como se muestra en la matriz N°2; donde la
puntuación para las fallas X vs Y debe dar
siempre 6, equivalentes a las respuestas de los
evaluadores; posteriormente, se totaliza cada
una de las columnas y filas que comprenden
la evaluación de las fallas, la técnica es igual
a la que se describió para la matriz N°1.
Matriz N°2. Resultados Consolidada de
evaluación de Fallas
Fuente: construcción propia con base a los
resultados de las matrices individuales
diligenciadas por los evaluadores
En la matriz N° 2, de fallas consolidadas, se
puede observar que la falla con puntuación 24
en la primera columna indica que esta es la
que tiene mayor relevancia en los riesgos que
afecta el manejo óptimo de la herramienta
virtual, de igual forma se puede evidenciar
que la falla que menos afecta la usabilidad del
sitio evaluado es colores inadecuados con un
valor de 7.
Una vez diligenciada la matriz de forma
individual, se consolidan las puntuaciones
obtenidas para cada falla, como se muestra en
la matriz N°2. El sumatorio total de la matriz
de fallas consolidadas debe tener un valor de
(126) puntos equivalentes a la puntuación
total de la matriz individual con valor de 21
puntos multiplicado por los 6 evaluadores.
Matriz de componentes (métricas)
La matriz N°3, muestra los resultados
obtenidos de la puntuación asignada por uno
de los evaluadores con relación a la
vulnerabilidad y mayor riesgo entre métricas,
siguiendo la misma dinámica aplicada en la
matriz N°2, para obtener los resultados; de
igual forma se realizó con cada participante,
obteniendo al final 6 matrices.
Matriz N°3. Resultado de la evaluación
individual de métricas a fallar
Fuente: Fuente: construcción propia con base
a los resultados de la matriz diligenciadas por
un evaluador
En la matriz N° 3, se puede observar que la
métrica que obtuvo mayor puntuación en
cuanto a la vulnerabilidad y riego para que la
usabilidad del software sea óptima es
Aprendizaje, con valoración de 6 puntos
asignados por un evaluador.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
74
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
Una vez diligenciada la matriz de forma
individual, se consolidan las puntuaciones
obtenidas para cada métrica, como se muestra
en la matriz N°4; posteriormente, se totaliza
cada una de las columnas y filas que
comprenden las métricas a evaluar, lo que da
como resultado el total en la parte izquierda
de la primera columna de la matriz N°4; en
la cual, se evidencia de mayor a menor cual
es el componente con mayor vulnerabilidad
de acuerdo a la puntuación más alta y el
menos débil en cuanto a los riesgos para el
adecuado funcionamiento del Software.
Matriz N°4. Resultado Consolidado de
componentes (métricas) a fallar
Fuente: construcción propia con base a los
resultados de las matrices diligenciadas por
los evaluadores
En la matriz N° 4, se observa, que la métrica
Operabilidad, es la que presenta mayor
vulnerabilidad afectando la herramienta
virtual en un 16,67%, y que solo en un 5%
influye la Atractividad.
Con los resultados de las matrices N°2 y N°4,
se diseña la matriz N°5 de ponderación que
contienen la puntuación entre la
vulnerabilidad de las Métricas vs Fallas; la
cual permite identificar el nivel de incidencia
de cada falla sobre los componentes
(Métricas). Para el cálculo de estos resultados
cuantitativos, se usaron intervalos cuadro N°1
y asignar un color de acuerdo al orden de
importancia (semaforización); cada nivel
tiene una puntuación; teniendo en cuenta los
resultados obtenidos utilizando el método
Delphi, con el cual se realiza un proceso para
obtener un consenso frente a una temática
como se puede corroborar con el diseño de las
matrices.
Cuadro N°1. Escala de valoración
Indicador
Nivel De la Riesgo
Altos
Medios
Bajos
Fuente: Elaboración propia
Matriz cuantitativa Métricas vs Fallas
En la matriz N°5, en las filas se ubican los
valores totales de fallas teniendo en cuenta los
resultados de la Matriz N°2 en orden
descendente, de igual forma en la columna se
sitúan las componentes (métricas) con su
puntuación total según datos obtenidos en la
matriz N°4; El valor 24 en la fila de fallas
“Inseguridad” es la que más afecta la
funcionalidad de la herramienta virtual, el
valor 22 de la columna de las métricas que
corresponde a “Satisfacción” indica que ésta,
totales de las fallas y de la componentes, debe
ser igual a 126.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
75
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
es la más vulnerable para la usabilidad del
sitio evaluado; la suma de las puntuaciones
El total de las fallas ubicado en la última fila
de cada columna, se obtiene dividiendo el
valor de cada falla sobre126 y
multiplicándolo por 100 para dar su valor
porcentual; para ejemplificar el valor 19,05
ubicado en la falla Inseguridad se realizó el
proceso matemático:
, de igual
forma se obtienen los porcentajes de
representatividad de cada falla.
Los valores ubicados en la intersección fallas
vs componentes, se calculan multiplicando el
valor total de cada métrica con el valor
porcentual obtenido cada falla ubicado en la
última fila, resultado que se multiplica por
126 (realizando una regla de tres simple);
para ejemplificar el valor 3,33 de la
intersección Satisfacción vs Inseguridad, se
realizó el siguiente proceso matemático:
; de igual forma se obtienen las
puntuaciones para las demás intersecciones.
Matriz N°5. Ponderación cuantitativa
Métricas vs Fallas
Fuente: Elaboración propia con base a los
resultados de las matrices diligenciadas por
los evaluadores
Los resultados obtenidos en la matriz N°5 y
de acuerdo al cuadro N°1 escala de
valoración, se puede observar que existe un
nivel medio de riesgos entre la mayoría de las
intersecciones de las fallas vs métricas; a
partir de esta información, se realizó un plan
de mejora a la herramienta virtual objeto de
estudio; en el cual se implementaron
estrategias didácticas que potencializaran el
software, con la finalidad de que cumpliera
con las condiciones que debe tener para un
adecuado uso en relación con la metodología
C.
Finalmente, para verificar el cumplimiento o
no de las características de usabilidad de la
herramienta virtual con las modificaciones, se
evaluó nuevamente, con el apoyo de usuarios
que presentaran condiciones iguales a las que
tenían el primer grupo evaluador; los
resultados obtenidos en esta segunda
medición, se resumen el gráfico No 2, donde
se puede verificar y analizar el incremento en
la usabilidad para cada métrica.
Gráfico 2. Evaluación de Usabilidad del
OVA Mejorado de la Universidad del
Quindío Aplicando la Metodología C.
Fuente: Elaboración propia con base a los
resultados de los cuestionarios aplicados a los
usuarios
El gráfico N°2, muestra un incremento del
35,4% en cuanto a la usabilidad de la
herramienta virtual mejorada; en relación con
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
76
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
los resultados que se observan en el gráfico
N°1; el puntaje promedio de usabilidad de las
métricas fue aproximadamente del 90%, De
los datos obtenidos, se puede evidenciar que
la métrica atractivo obtuvo la menor
calificación 72,5% en su nivel de usabilidad,
la justificación de esta valoración se dio
debido a que el 12,5% de los usuarios
consideraron que las imágenes no son
agradables y solo el 50%, expresan que
permite personalizar su interfaz; además, en
el plan de mejoramiento esta métrica no se
modificó, debido a que en la matriz N°5,
presento fallas bajas (color verde).
4. Conclusiones
Mediante la evaluación de usabilidad a un
objeto virtual, se puede evidenciar la
importancia de la calidad que debe tener una
herramienta implementada en cualquier
actividad (empresarial, académica, financiera
entre otras), para la obtención de los objetivos
propuestos por la organización al ofertar
servicios, cumpliendo con los estándares de
responsabilidad social y con la normatividad
ISO, como la 9126 que habla del modelo de
calidad del producto software y la ISO 14598
que habla sobre la calidad de la evaluación del
producto de software.
En general la evaluación de una herramienta
virtual, permite analizar si cumple en un alto
porcentaje con las características de
satisfacción de uso como lo son (eficiencia,
eficacia, productividad, cualidad de ser
recordado, seguridad y satisfacción, etc.).
En cuanto a la facilidad en el manejo y uso
debe tener presente que un ambiente virtual
para ofertar servicios en línea, debe ser
sencillo, fácil y ágil tanto para los usuarios
que tienen experiencia como los que no la
tienen. Hay que prestar especial atención en
la satisfacción del cliente.
Las herramientas, actividades, enlaces,
videos y material de un sitio virtual, deben ser
visibles, amigables y comprensibles,
estimulando el uso más frecuente por parte de
los usuarios (proveedores, estudiantes,
clientes).
Es conveniente que las organizaciones que
implementan herramientas virtuales para
ofertar su servicio, incluyan una guía, ayuda
o manual para su manejo, que permita
interactuar con la misma de forma sencilla.
Las entidades deben centrar esfuerzo en
realizar monitoreo y evaluaciones periódicas
de usabilidad de su sitio virtual ofertado para
la prestación de sus servicios, controlando y
verificando que todos los recursos estén
funcionando de forma adecuada.
Es importante realizar actualizaciones
periódicas en el diseño de herramientas
virtuales, en relación a la parte visual,
servicios y contenidos; innovando en la
implementación de estrategias competitivas
en el producto ofertado, con la finalidad de
posicionarlo y permanecer en el mercado;
garantizando calidad y confianza en todos los
procesos.
Evaluar el estado actual de usabilidad de las
herramientas virtuales, permite que cumpla
con los requerimientos de los usuarios, que en
su mayoría son individuos con características
heterogéneo y con necesidades de servicios
diferentes, garantizado que éstas cumplan con
las expectativas tanto del cliente como de la
organización.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
77
ISSN Impreso: 2619-6328
ISSN En línea: 2619-3558
________________________________
5. Referencias Bibliografías
Alva, M. (2005): Metodología de Medición y
Evaluación de la Usabilidad en Sitios
Web Educativos, Tesis Doctoral,
Universidad de Oviedo, Pág. 2.
Baeza, R., Rivera C., Velasco, J. (2003):
Arquitectura de la Información y
Usabilidad en la Web, Pág. 3.
Bennett, J., (1979): The commercial impact
of usability in interactive systems,
Man-Computer Communication.
InfoTech State-of-the-Art, InfoTech
International, Pág. 4.
Brugos, J.; Fernandez de Arriba, M. (2002):
Development of adaptive Web sites
with usability and accessibility
features. AH2002: 501-504, Pág. 5.
Brugos, J., Fernandez, M. (2002): Usability
and accessibility in the specification
of Web sites, ICEIS, 871-876, Pág. 6.
Castillo, S. (2002): Compromisos de la
Evaluación Educativa, Madrid,
Person Educación S.A., ISBN: 84-
205-3562-1, Pág.7.
Colomba, N., Chanes, G. (2002): Evaluación,
nuevas concepciones, Pág.8.
Collazos, C., Ramírez, A., Vivas, N. (2005):
La Formación del Recurso Humano
en HCI, Una Experiencia
Colombiana, CLEI, Pág. 9.
Davis, F. D. (1993): User acceptance of
information technology, system
characteristics, user performance and
behavioral impacts, International
Journal of Man-Machine Studies, 10.
Dix, A., Finlay, J., Abowd, G., Beale, R.
(1998): Human-computer interaction,
Prentice Hall, Pág. 11.
Doll, W., Torkzadeh, G. (1988): The
measurement of end-user computing
satisfaction. MIS Quarterly, Pág 12.
Gobierno en Línea (2001): Políticas y
Estándares para Publicar Información
del Estado Colombiano en Internet,
Pág. 13.
Goto K., Cotler E. (2001): Web Redesign:
Workflow that Works, New Riders.
Pág. 14.
ISO: ISO/IEC 25010: 2011, Systems and
software engineering -- Systems and
software Quality Requirements and
Evaluation (SQuaRE) -- System and
software quality models
Kieras, D. (1996): Development and
exploratory applications of a GOMS
modeling tool for user interface
evaluation, University of Michigan,
Pág. 16.
REVISTA INNOVA ITFIP, 5 (1). 64-77 DIC. 2019
