Validación de un instrumento orientado a la medición de la práctica basada en la evidencia de los profesionales de la salud

Abstract

[cat] Introducció: En els instruments de mesurament del constructe PBE existents fins avui existeixen deficiències relacionades amb la operacionalizació del constructe, definició teòrica i operacionalizació de les variables subjacents que estan mesurant i/o deficiències metodològiques. Objectiu: Avaluar les propietats psicomètriques del qüestionari Health Sciences-Evidence Based Practice (HS-EBP) creat exnovo per al mesurament del constructe PBE en professionals de Ciències de la Salut. Metodologia i Resultats: En la primera etapa es va dur a terme el procés de creació del qüestionari a partir del desenvolupament d'un marc conceptual. Es va establir una estructura dimensional latent de 5 factors: Creences i actituds (dimensió 1), Resultats provinents de la recerca científica (dimensió 2), Desenvolupament de la pràctica professional (dimensió 3), Avaluació de resultats (dimensió 4), i Barreres-Facilitadors (dimensió 5). A partir d'aquesta estructura es van diferenciar àrees d'interès i continguts nuclears, creant-se la versió inicial del qüestionari HS-EBP (76 ítems). En la segona etapa es va dur a terme el procés metodològic necessari per avaluar les propietats psicomètriques de l'instrument. En una primera fase, es van dur a terme dos estudis Delphi consecutius conduents a l'obtenció d'evidències de validesa de contingut i aparent, obtenint-se una nova versió del qüestionari (73 ítems). En la segona fase, es va desenvolupar un assaig pilot sobre una mostra de 211 professionals a Balears que va permetre refinar el qüestionari, especialment en la dimensió 3, obtenint-se una nova versió de 72 ítems. En la tercera fase, es va desenvolupar un assaig mostral de validació que va permetre refinar l'instrument fins a l'obtenció d'una versió reduïda de 60 ítems: D1: 12 ítems; D2: 14 ítems; D3: 10 ítems; D4: 12 ítems i D5: 12 ítems. Aquest assaig mostral es va dur a terme sobre 869 professionals a Espanya. Sobre la versió reduïda es va analitzar la fiabilitat mitjançant coeficient alfa de Cronbach, amb valors de .93, .96, .84, .94 i .91 per a cadascuna de les 5 dimensions i els coeficients de correlació intraclasse, obtenint-se un grau d'acord moderat en la D1, D4 i D5, acceptable en la D3 i considerable en la D2. Es va avaluar la validesa del model de mesura mitjançant anàlisis factorials confirmatoris (AFC), on el millor ajust va correspondre al model pentafactorial. Tots els seus índexs de bondat d'ajust són adequats i totes les seves saturacions factorials van ser estadísticament significatives obtenint-se valors superiors a .50 excepte en quatre ítems: l'ítem 14 de la D1 (.48), i els ítems 4 (.21), 5 (.41) i 6 (.38) de la D3. Es van trobar correlacions moderades entre els factors latents, amb valors més alts en les dimensions relacionades amb el “procés” de PBE. Es van avaluar evidències de validesa de criteri respecte a les variables “burnout”, “resistència disposicional al canvi”, i “qualitat de vida professional” i de validesa convergent respecte al qüestionari EBPQ-19; corroborant-se en general, les hipòtesis relacionals prèviament establertes. També es van obtenir evidències de validesa de decisió respecte a la variable “nivell de formació prèvia dels subjectes en PBE”, trobant-se diferències significatives entre el nivell de formació “avançat” i la resta de nivells formatius en la D2 i únicament entre el nivell “avançat” i el nivell “sense formació en PBE” en la D3 i D4. Finalment es van obtenir evidències en relació als efectes sostre-sòl, es va apreciar lleugera tendència a efecte sostre en la D1 i D4 i una mica més gran en la D3. Conclusions: El qüestionari HS-EBP presenta una estructura latent de 5 dimensions confirmada mitjançant AFC. Els procediments Delphi realitzats (versió inicial del qüestionari) van permetre l'obtenció d'adequades evidències de validesa de contingut i aparent. Finalment, en l'estudi de validació completa sobre la versió reduïda definitiva (60 ítems) es van obtenir evidències suficients de fiabilitat i validesa (criterial, de decisió i en relació als efectes sostre-sòl).

[spa] Introducción: En los instrumentos de medición del constructo PBE existentes hasta la fecha existen deficiencias relacionadas con la operacionalización del constructo, definición teórica y operacionalización de las variables subyacentes que están midiendo y/o deficiencias metodológicas. Objetivo: Evaluar las propiedades psicométricas del cuestionario Health Sciences-Evidence Based Practice (HS-EBP) creado exnovo para la medición del constructo PBE en profesionales de Ciencias de la Salud. Metodología y Resultados: En la primera etapa se llevó a cabo el proceso de creación del cuestionario a partir del desarrollo de un marco conceptual. Se estableció una estructura dimensional latente de 5 factores: Creencias y actitudes (dimensión 1), Resultados provenientes de la investigación científica (dimensión 2), Desarrollo de la práctica profesional (dimensión 3), Evaluación de resultados (dimensión 4), y Barreras-Facilitadores (dimensión 5). A partir de dicha estructura se diferenciaron áreas de interés y contenidos nucleares, creándose la versión inicial del cuestionario HS-EBP (76 ítems). En la segunda etapa se llevó a cabo el proceso metodológico necesario para evaluar las propiedades psicométricas del instrumento. En una primera fase, se llevaron a cabo dos estudios Delphi consecutivos conducentes a la obtención de evidencias de validez de contenido y aparente, obteniéndose una nueva versión del cuestionario (73 ítems). En la segunda fase, se desarrolló un ensayo piloto sobre una muestra de 211 profesionales en Baleares que permitió refinar el cuestionario, especialmente en la dimensión 3, obteniéndose una nueva versión de 72 ítems. En la tercera fase, se desarrolló un ensayo muestral de validación que permitió refinar el instrumento hasta la obtención de una versión reducida de 60 ítems: D1: 12 ítems; D2: 14 ítems; D3: 10 ítems; D4: 12 ítems y D5: 12 ítems. Este ensayo muestral se llevó a cabo sobre 869 profesionales en España. Sobre la versión reducida se analizó la fiabilidad mediante coeficiente alfa de Cronbach, con valores de .93, .96, .84, .94 y .91 para cada una de las 5 dimensiones y los coeficientes de correlación intraclase, obteniéndose un grado de acuerdo moderado en la D1, D4 y D5, aceptable en la D3 y considerable en la D2. Se evaluó la validez del modelo de medida mediante análisis factoriales confirmatorios (AFC), donde el mejor ajuste correspondió al modelo pentafactorial. Todos sus índices de bondad de ajuste son adecuados y todas sus saturaciones factoriales fueron estadísticamente significativas obteniéndose valores superiores a .50 excepto en cuatro ítems: el ítem 14 de la D1 (.48), y los ítems 4 (.21), 5 (.41) y 6 (.38) de la D3. Se encontraron correlaciones moderadas entre los factores latentes, con valores más altos en las dimensiones relacionadas con el “proceso” de PBE. Se evaluaron evidencias de validez de criterio respecto a las variables “burnout”, “resistencia disposicional al cambio”, y “calidad de vida profesional” y de validez convergente respecto al cuestionario EBPQ-19; corroborándose en general, las hipótesis relacionales previamente establecidas. También se obtuvieron evidencias de validez de decisión respecto a la variable “nivel de formación previa de los sujetos en PBE”, encontrándose diferencias significativas entre el nivel de formación “avanzado” y el resto de niveles formativos en la D2 y únicamente entre el nivel “avanzado” y el nivel “sin formación en PBE” en la D3 y D4. Finalmente se obtuvieron evidencias en relación a los efectos techo-suelo, se apreció ligera tendencia a efecto techo en la D1 y D4 y algo mayor en la D3. Conclusiones: El cuestionario HS-EBP presenta una estructura latente de 5 dimensiones confirmada mediante AFC. Los procedimientos Delphi realizados (versión inicial del cuestionario) permitieron la obtención de adecuadas evidencias de validez de contenido y aparente. Finalmente, en el estudio de validación completa sobre la versión reducida definitiva (60 ítems) se obtuvieron evidencias suficientes de fiabilidad y validez (criterial, de decisión y en relación a los efectos techo-suelo).

[eng] Introduction: In the different EBP construct measuring instruments there are shortcomings related to an inadequate operationalisation of the construct itself, deficiencies as regards the theoretical definition and operationalisation of the underlying variables being measured and/or methodological deficiencies. Aim: To assess the psychometric properties of the Health Science Evidence-Based Practice questionnaire (HS-EBP) created ex-novo to measure the EBP construct in professionals in the Health Sciences. Methodology and Results: In the first stage the creation process of the questionnaire itself was carried out from the development of a conceptual framework. A five-factor latent dimensional structure of the EBP construct was established: Beliefs and attitudes (Dimension 1), Results from scientific research (Dimension 2), Development of professional practice (Dimension 3), Assessment of results (Dimension 4), and Barriers/Facilitators (Dimension 5). Starting from this dimensional structure, a series of areas of interest and core contents were differentiated and the initial version of the HS-EBP questionnaire (76 items) was created. In the second stage, the necessary methodological process was carried out to assess the psychometric properties of the instrument. In the first phase, two consecutive Delphi studies were carried out which led to obtaining evidence of content and apparent validity and a new version of the questionnaire was obtained (73 items). In the second phase, a pilot study was conducted on a sample of 211 professionals in the Balearic Islands which made it possible to refine the questionnaire, especially in Dimension 3 and a new 72-item version was obtained. In the third phase, a sample validation test was performed which enabled the instrument to be refined until a reduced 60-item version was obtained: D1: 12 items; D2: 14 items; D3: 10 items; D4: 12 items and D5: 12 items. This sample test was conducted on 869 professionals in Spain. The reliability were analysed on the final reduced version through Cronbach’s alpha coefficient of internal consistency, where values of .93, .96, .84, .94 and .91 were obtained for each of the 5 dimensions and intraclass correlation coefficients, achieving a moderate degree of agreement in D1, D4 and D5, acceptable in D3 and considerable in D2. The validity of the measuring model was assessed using confirmatory factor analysis (CFA), where the best fit model corresponded to pentafactorial. All its goodness-of-fit indexes were adequate and all the factorial loadings were found to be statistically significant, in all cases obtaining values greater than .50 except in four items: item 14 in D1 (.48), and items 4 (.21), 5 (.41), and 6 (.38) in D3. Likewise, moderate correlations were also found between the latent factors, with higher values in terms of the dimensions related to the EBP “process”. An assessment was made of the criterion validity evidence with respect to the variables “burnout”, “dispositional resistance to change”, and “quality of professional life”; and of convergent validity with respect to the EBPQ-19 questionnaire. In all of these, the previously established relational hypotheses were, on the whole, corroborated. Evidence of decision validity with respect to the discrimination variable “prior level of training of subjects in EBP” was also obtained. Significant differences were found between the “advanced” level of training and the rest of the training levels in D2, but only between the “advanced” and “with no EBP training” levels in D3 and D4. Finally, evidence of validity was obtained with regard to floor and ceiling effects. There was a slight tendency to a ceiling effect in D1 and D4 and a slightly larger one in D3. Conclusions: The HS-EBP questionnaire has a latent structure of 5 dimensions that was confirmed through Confirmatory Factor Analysis (CFA). The Delphi procedures carried out on the initial version of the questionnaire enabled adequate evidence of content validity and apparent validity to be obtained. Finally, on the validation study over the reduced version (60 items) sufficient evidence of reliability and validity (criterial, decision and in relation to floor-ceiling effects were obtained.