How analytics dashboards contribute to assessing the behavior of virtual reality users from xAPI tracking logs

Abstract

[cat] La realitat virtual, una tecnologia a través de la qual les persones poden interactuar amb un món virtual en el qual se senten immerses, s’està convertint cada vegada més en part del nostre dia a dia, no només per la seva evident utilitat i aplicabilitat sinó perquè cada vegada és més assequible. Atès que les experiències de realitat virtual van en augment, val la pena investigar com es comporten els usuaris dins d’elles, per intentar millorar el seu contingut, anticipant així el que els usuaris podrien preferir. Per aquest motiu, es va desenvolupar un quadre de comandament, per a la qual cosa va ser necessari configurar prèviament un sistema de traces, basat en xAPI, capaç de rastrejar totes les accions que els usuaris duguin a terme. Encara que xAPI és un estàndard dissenyat originalment per al seguiment d’experiències d’aprenentatge, no hi va haver cap problema en utilitzar-lo per al seguiment de qualsevol tipus d’accions. Es tracta d’un sistema de traces obert, que comparteix un llenguatge comú amb el corresponent reproductor de realitat virtual (el generador de traces) i el quadre de comandament (el recopilador de traces), però totalment desacoblat d’ells. Gràcies a aquestes característiques, el nostre quadre de comandament pot analitzar dades de diferents tipus d’aplicacions de realitat virtual sense molt més esforç que d’un sol tipus d’aplicació. Un cop extretes les traces i transformades en informació de profit, el quadre de comandaments pot generar diversos gràfics i resultats estadístics sobre les variables en estudi, a partir dels quals poder detectar patrons i poder donar pautes per ajudar els productors de realitat virtual a millorar la seva feina. A més, els usuaris finals poden aprofitar el quadre de comandaments per revisar, avaluar i fins i tot ajustar com interaccionen, particularment quan l’experiència de realitat virtual conté components educatius. I amb més raó els professors, que també poden utilitzar el quadre de comandaments per avaluar els seus alumnes. Per arribar a aquestes conclusions, es va realitzar un estudi d’usuaris detallat sobre una experiència d’hipervídeo 360º, on es van il·lustrar la majoria de les possibilitats que ofereix el quadre de comandament, amb molt bons resultats. Per tant, estem en condicions de dir que els nostres objectius es van assolir. Hem de tenir clar que les conclusions que s’extreuen de les dades generades per una determinada experiència de realitat virtual són, en principi, exclusives d’aquesta experiència, per la seva pròpia idiosincràsia. En definitiva, cal destacar que l’eina obtinguda és capaç d’oferir resultats de comportament molt interessants a partir d’una gran varietat d’experiències dissenyades per a una gran varietat d’aplicacions de realitat virtual.

[spa] La realidad virtual, una tecnología a través de la cual las personas puede interactuar con un mundo virtual en el que se sienten inmersas, se está convirtiendo cada vez más en parte de nuestro día a día, no solo por su evidente utilidad y aplicabilidad sino porque cada vez es más asequible. Dado que las experiencias de realidad virtual van en aumento, merece la pena investigar cómo se comportan los usuarios dentro de ellas, para intentar mejorar su contenido, anticipando así lo que los usuarios podrían preferir. Por este motivo, se desarrolló un cuadro de mando, para lo cual fue necesario configurar previamente un sistema de trazas, basado en xAPI, capaz de rastrear todas las acciones que los usuarios lleven a cabo. Aunque xAPI es un estándar diseñado originalmente para el seguimiento de experiencias de aprendizaje, no hubo ningún problema en utilizarlo para el seguimiento de cualquier tipo de acciones. Se trata de un sistema de trazas abierto, que comparte un lenguaje común con el correspondiente reproductor de realidad virtual (el generador de trazas) y el cuadro de mando (el recopilador de trazas), pero totalmente desacoplado de ellos. Gracias a estas características, nuestro cuadro de mando puede analizar datos de diferentes tipos de aplicaciones de realidad virtual sin mucho más esfuerzo que de un solo tipo de aplicación. Una vez extraídas las trazas y transformadas en información 2 de provecho, el cuadro de mandos puede generar varios gráficos y resultados estadísticos sobre las variables en estudio, a partir de los cuales poder detectar patrones y poder dar pautas para ayudar a los productores de realidad virtual a mejorar su trabajo. Además, los usuarios finales pueden aprovechar el cuadro de mandos para revisar, evaluar e incluso ajustar cómo interaccionan, particularmente cuando la experiencia de realidad virtual contiene componentes educativos. Y con más razón los profesores, que también pueden utilizar el cuadro de mandos para evaluar a sus alumnos. Para llegar a estas conclusiones, se realizó un detallado estudio de usuarios sobre una experiencia de hipervídeo 360º, donde se ilustraron la mayoría de las posibilidades que ofrece el cuadro de mando, con muy buenos resultados. Por tanto, estamos en condiciones de decir que se alcanzaron nuestros objetivos. Debemos tener claro que las conclusiones que se extraen de los datos generados por una determinada experiencia de realidad virtual son, en principio, exclusivas de esta experiencia, por su propia idiosincrasia. En definitiva, cabe destacar que la herramienta obtenida es capaz de ofrecer resultados de comportamiento muy interesantes a partir de una gran variedad de producciones diseñadas para una gran variedad de experiencias de realidad virtual.

[eng] Virtual reality, a technology through which people can interact with a virtual world in which they feel immersed, it is increasingly becoming part of our daily life, not only for its evident usefulness and applicability but also because it is getting more affordable. As virtual reality experiences are on the rise, it is worth researching how users behave within them, to try improving their content, thus anticipating what users might prefer. For this reason, an analytics dashboard was developed, so it was necessary to previously set up a log system, based on xAPI, to track all the actions users may carry out. Although xAPI is a standard originally designed to track learning experiences, there was no problem in using it to track any actions we wanted. It was an open log system, sharing a common language with both the corresponding virtual reality player (the log generator) and the analytics dashboard (the log collector) but totally decoupled from them. Thanks to these characteristics, our dashboard is able to analyze data from different types of virtual reality applications without much more effort than from only one type of application. Once the logs have been extracted and transformed into profitable information, the analytics dashboard can produce several figures and statistical outcomes about the variables under study, out of which patterns can be detected and guidelines can be drawn to help virtual reality producers to enhance their work. Moreover, final users may take advantage of the dashboard to review, evaluate and even adjust their interactions, particularly when the virtual reality experience contains learning components. And more so for teachers, who may also use the dashboard to evaluate their students. To come to these conclusions, a detailed user study on a 360º hypervideo experience was conducted, where most of the possibilities offered by the analytics dashboard were illustrated, with very good effect. Therefore, we are in a position to say that our objectives were achieved. We must be clear that the conclusions extracted from the data generated by a particular virtual reality experience are, in principle, exclusive to this experience, because of its own features. In short, it should be highlighted that the obtained tool can offer very interesting behavioral results from a great variety of experiences designed for a great variety of virtual reality applications.