Introducción y antecedentes

Los ensayos clínicos permiten conocer la efectividad de un tratamiento mediante su prueba en humanos. Estos estudios son la base para correcta toma de decisiones de tratamientos ya que según las prácticas de salud basadas en la evidencia científica, luego de consultar estos estudios el clínico debe ser capaz de aplicar loa hallazgos a su práctica clínica concreta. Sin embargo, existen estudios de este tipo y de otra índole que poseen fallas metodológicas que pueden hacer que los resultados obtenidos no sean replicables, o peor aún que estos no sean extrapolables a la realidad¹. En odontología las publicaciones no necesariamente tienen la relevancia clínica que la disciplina exige y en muchos casos presentan errores en su metodología². Por lo tanto, es fundamental conocer si los estudios han sido correctamente realizados, considerando las variables que pudieran alterar sus resultados e interpretación de los mismos¹.

Uno de los principales objetivos de los estudios en ortodoncia es evaluar las intervenciones y llegar a conclusiones válidas sobre las modalidades de tratamiento recomendadas³. Sin embargo, en la actualidad, los ensayos clínicos reportados en la literatura dedicada a la ortodoncia corresponden sólo en una modesta proporción a ensayos clínicos aleatorizados (ECA), mientras que el resto corresponden a ensayos clínicos no aleatorizados prospectivos o retrospectivos, siendo estos últimos de menor calidad metodológica, y en muchos casos, en los cuales los clínicos basan su toma de decisiones⁴. Los ensayos clínicos aleatorizados, proporcionan resultados válidos si están libres o tienen sesgo reducido. Se ha informado de que la falta de una serie de factores como el control, la asignación al azar, la ocultación de la asignación, el cegamiento, y la contabilidad de la pérdida de seguimiento en los ensayos, puede introducir sesgo y por lo tanto, resultados no válidos⁵. Por lo anteriormente señalado, resulta relevante realizar un análisis constante de la producción científica en el área de ortodoncia, como en otras disciplinas de las ciencias de la salud.

Los estudios bibliométricos son herramientas que permiten el análisis cuantitativo de la producción científica⁶⁾ y también reportan las tendencias actuales de publicación con el fin de ampliar, comparar y mejorar el conocimiento⁷. Por lo tanto, el análisis a través de indicadores bibliométricos permite obtener resultados objetivos respecto a lo que se está publicando y brindan la posibilidad de observar las tendencias que sigue cada revista. Los datos que obtienen y las conclusiones que se deducen pueden ayudar a los editores de la revista a mejorar la gestión de la misma, facilitando la toma de decisiones en aspectos relacionados, por ejemplo, con la selección de artículos. Existen instrumentos diseñados y validados para realizar análisis de la producción científica odontológica. Uno de ellos es la escala MinCir (EM) que evalúa la calidad metodológica (CM) de los artículos basándose en el estudio del diseño de investigación, tamaño de la muestra y metodología⁸ permitiendo someter a una evaluación objetiva la calidad de la metodología empleada al momento de publicar ensayos clínicos en el área.

Las maloclusiones, corresponden a la tercera alteración de mayor prevalencia, e impacto psicosocial⁹. Casi un tercio de la población evaluada, según Bilgic (2014) tienen una necesidad obligatoria de tratamiento ortodóncico¹⁰. Por otra parte, en un estudio realizado en Chile el 96,2% de los estudiantes examinados presentó algún tipo de maloclusión⁹. Dada la importancia de los temas de ortodoncia a nivel mundial es conveniente acercarse a la realidad de esta actividad científica y de divulgación del conocimiento por lo que este estudio plantea describir la CM de los estudios clínicos de ortodoncia de las seis revistas con mayor factor de impacto (FI) indexadas en el Institute for Scientific Information (ISI) entre enero del 2012 y diciembre del 2016.

Material y método

El presente estudio evaluó ensayos clínicos publicados entre enero de 2012 y diciembre de 2016, de las seis revistas con mayor factor de impacto especializadas en ortodoncia. Todas las revistas evaluadas se encuentran indexadas en ISI web of knowledge, en la categoría Dentistry, Oral Surgery and Medicine. Se seleccionó revistas con ensayos clínicos publicados en el periodo de tiempo a evaluar, escritas en idioma inglés y con las palabras: orthodontic, orthopedics como parte del título. Las revistas seleccionadas fueron: American Journal of Orthodontics and Dentofacial Orthopedics (AJODO) FI=2,201, Angle Orthodontics (AO) FI=1,717, Orthodontics Craniofacial Research (OCFR) FI=1,617, European Journal of Orthodontics (EJO) FI=1,627, Journal of Orofacial Orthopedics/Fortschritte der Kieferorthopädie (JOOF) FI=1,073 y Australian Orthodontic Journal (AOJ) FI=0,452.

Para la selección de los artículos de cada revista, se realizó una búsqueda avanzada en la base de datos Medline utilizando la herramienta NLM Catalog: Journals referenced in the NCBI Databases. Los filtros de búsqueda que se aplicaron fueron: 1) Journal, 2) Article types: Clinical Study, Clinical Trial, Clinical Trial, Phase I, Clinical Trial, Phase II, Clinical Trial, Phase III, Clinical Trial, Phase IV, Multicenter Study y 3) Publication dates: 2012/01/01 to 2016/12/31. Se analizó el resumen y la metodología de todos los estudios encontrados. Se clasificó como ensayo clínico aquellos que evaluaran la efectividad de un tratamiento, comparándolo con uno o más intervenciones y que utilizaron un grupo control. Se excluyeron todos los artículos que no cumplian con los requisitos antes expuesto, aun cuando hayan sido indexados de esta forma en la base de datos de NCBI.

Todos los estudios seleccionados fueron analizados mediante una adaptación de la herramienta EM² (Tabla 1), siguiendo las instrucciones publicadas por sus autores¹¹. De los 3 dominios que conforman la escala, sólo se consideraron dos para este trabajo: el primero, relacionado con el tipo de diseño del estudio y el tercero, el cual está compuesto por 4 ítems los cuales evalúan la metodología empleada en el estudio². Se eliminó el item Dominio 2 Población estudiada por factor de justificación. De esta forma la puntuación final varía entre 10 y 24 puntos, como mínimo y máximo respectivamente.

El análisis de calidad metodológica de cada artículo fue realizado por cada revisor de forma independiente. En el proceso de calibración se obtuvo un valor Kappa interexaminador de 91.90%. Para su cálculo se aplicó el instrumento de evaluación EM de forma independiente a 11 ensayos clínicos seleccionados de manera aleatoria de las mismas revistas seleccionadas para este trabajo. Estos artículos no fueron incluidos en este estudio. Los artículos analizados fueron clasificados en base al origen geográfico de procedencia (continente), área temática (Ortodoncia correctiva; Ortodoncia Interceptiva; Ortopedia; Ortodoncia preventiva; ortodóncico-quirúrgico y Otros) y revistas incluídas. Los datos se tabularon en un formulario electrónico Google Docs (Mountain View, CA, USA). El análisis estadístico se realizó con el programa R versión 3.3.4 el cual arrojó diferencias significativas en los puntajes según origen geográfico. Para determinar la homogeneidad de las varianzas de los puntajes, se utilizó el test de Levene y al ser el valor de p > 0.05 se asume que hay homogeneidad en las varianzas. Luego se probó la normalidad de los datos utilizando el test de Shapiro Wilk obteniéndose valores de p < 0.05, por lo cual se procedió a utilizar el test de Kruskal Wallis para muestras no paramétricas. Posteriormente se utilizó el test post hoc Pairwise comparison with pooled SD para analizar estas diferencias entre continentes.

Resultados

Selección de estudios. Se encontraron 271 artículos en total: 89 artículos que se definían como ensayos clínicos en la revista AJODO, 49 en la revista EJO, 70 en la revista AO, 38 en la revista JOOF, 10 en la revista AOJ, 16 de la revista OCFR y 50 artículos fueron descartados por no cumplir con los criterios de selección para ser clasificados como ensayo clínico. Todos fueron obtenidos en texto completo (Fig. 1).

Características de las revistas. La revista con mayor cantidad de ensayos clínicos publicados es la AJODO con 83 artículos indexados en esta categoría, mientras que la revista con menor cantidad de ensayos clínicos publicados es la AOJ con tan solo 7 artículos (Fig. 2).

Respecto al origen geográfico, el continente con mayor número de ensayos clínicos publicados fue Europa con 100 artículos (45.25%) y el continente con menor cantidad de artículos publicados fue África con 5 artículos (2.26%). La misma distribución se repite al evaluar la CM por continente. Europa el continente obtiene el promedio de CM más alta con 14.88 puntos en la EM, mientras que el continente que presentó la CM más baja fue África con 11.8 puntos promedio (p = 0.003) (Tabla 2) (Fig. 3).

Ningún artículo analizado obtuvo el puntaje máximo ni el puntaje mínimo de la EM. El mínimo registrado fue de 11 puntos, mientras que el puntaje más alto fue de 23 puntos, el cual fue un artículo de la revista EJO.

En relación con cada revista, EJO es la revista que mostró mayor puntaje promedio (15.6 ± 2.83), por otra parte, JOOF mostró el menor puntaje promedio (13.09 ± 1.72) (Tabla 3).

El primer dominio de la EM, analiza el tipo de ensayo clínico realizado, siendo el ensayo clínico sin enmascaramiento o simple, sin aleatorización el más utilizado en el área de ortodoncia con 189 artículos (85.52%). mientras que los ensayos clínicos multicéntricos mostraron ser los menos frecuentes con 15 artículos (6.79%) (Tabla 4).

En cuanto al análisis del diseño, el 61.54% de los estudios sólo mencionaba el diseño empleado, mientras que el 1.36% lo menciona y lo justifica. El porcentaje restante no lo menciona ni lo justifica.

En el ítem de criterios de selección un 52.38 % describe criterios de inclusión o exclusión y en un 12.86% no se describen, ni se mencionan (tabla 3).

Luego analizar los objetivos expuestos en los trabjo, mediante la escala MinCir, se establece que los objetivos fueron vagamente presentados en el 96.77% de los estudios clínico publicados en la revista AO. Al mismo tiempo que el 100% de los trabajos de igual tipo publicados en las revistas JOOF, AOJ y OCFR presentaron la calificación 2 en este item, es decir que sus objetivos fueron vagamente presentados (Tabla 5).

Por último, en la justificación del tamaño muestral, destaca la revista EJO con un 63.89% de manuscritos que justifican la muestra utilizada (Tabla 6).

Discusión

Se definió como área temática a aquella área del conocimiento relacionada con la ortodoncia a la que adscribió el manuscrito. Para ello, los artículos fueron agrupados de la siguiente forma: ortodoncia preventiva, correctiva, interceptiva, ortopedia, ortodoncia quirurgica y otros temas, sólo con el fin de ordenar la información.

El instrumento utilizado fue la EM, el que ha demostrado tener propiedades psicométricas adecuadas, por lo tanto, es una opción válida para la evaluación de CM en artículos de investigación de terapia dental ⁸. En este estudio utilizamos una adaptación de la EM, donde se evaluaron 2 de los 3 dominios que presenta, siendo el dominio 2 correspondiente al tamaño muestral el que no se consideró, ya que en este ítem se asigna un alto valor a aquellos estudios que presentan un mayor número de participantes y un bajo valor a aquellos que presentan un menor número de participantes, aun cuando no se ha demostrado que exista una relación de proporcionalidad entre la cantidad de sujetos incluidos en la muestra y la calidad del estudio. Es así que, según el dominio 2 de la EM, un ensayo clínico multicéntrico aleatorizado doble ciego que compara dos intervenciones puede requerir 100 pacientes (6 puntos) o menos para obtener resultados válidos, mientras que un estudio de series de casos puede incluir 500 pacientes (12 puntos) pero aún así producir una mala calidad de resultados. Cartes.et al, menciona como solución a esta cuestión asignar más importancia a la justificación del tamaño de la muestra que al propio número ¹³.

Un análisis geográfico de la producción científica ha demostrado que la investigación médica y odontológica está claramente posee mejores indicadores en Europa, América del Norte, Australia y Oceanía en comparación con Asia, África y América del Sur ¹². Sin embargo, según nuestros resultados, observamos que la investigación en ortodoncia se encuentra más desarrollada en Europa y Asia, ya que estos continentes destaca tanto en cantidad de estudios publicados como también en calidad.

De la adaptación de la EM se obtuvo un puntaje que va de los 10 a los 24 puntos, siendo el puntaje promedio de CM, para los ensayos clínicos de las 6 revistas analizadas de 14,33. Se utilizó los 14,4 puntos como punto de corte para definir la CM. Sobre los 14,4 puntos se considera una CM buena, por lo cual los continentes de Europa y Asia fueron los que más se destacaron presentando la mayor cantidad de estudios por sobre el puntaje de corte.

Destaca también que el FI para cada revista no está en directa relación con la CM promedio de sus ensayos clínicos, ya que la revista AJODO tiene el FI más alto con 2.201, sin embargo, no fue la que tuvo el puntaje más alto, registrando 14.67 puntos. Esto puede interpretarse de varias maneras, la primera es considerar que los autores que están citando los papers presentes en dicha revista desconocen que los diseños metodológicos con los cuales se llevaron a cabo los ensayos clínicos no son los óptimos y/o anteponen otros aspectos que ellos consideran son mas importantes al momento de citar los trabajos. Sin embargo se puedría concluir tambie, que los autores sí conocen la baja calidad metodológica de estos ensayos y los están citando para recalcar los errores presentes en estas publicaciones, o bien los autores conocen que la calidad metodológica de los ensayos clínicos es deficiente, sin embargo, se están citando otro tipos de estudios publicados en las revistas que sí poseen buena calidad en su metodología. Considerando lo anteriormente expuesto, sugerimos realizar revisiones sistemáticas de las diversas terápias vigentes en ortodoncia.

Otro hecho interesante en este análisis es que los objetivos en la EM, que se registraron en su mayoría fueron objetivos vagos (96,83%), esto lo atribuimos a la exigencia que se pide en la EM para considerar un objetivo como claro y concreto, ya que para que se clasifique de esta forma, deben reportar que es lo que será medido, con qué, por quién, dónde y cuándo se realizará la medición. O, si se tratare de un procedimiento terapéutico o intervención, el objetivo debe declarar cuál es, si tiene comparador, quién lo aplica a quién se aplica, cuándo y cómo se aplica ¹¹. Cabe recalcar, que si alguno de los requisitos mencionados anteriormente no se encuentra presente inmediatamente pasa a clasificarse como un objetivo vago. Dentro de estos parámetros, sólo existe un artículo que califica para todos estos ítems, el resto generalmente solo señala lo que será medido, cuando será medido, la intervención terapéutica, y la comparación.

Entre los diversos diseños de estudio se considera que el ECA es el diseño que tiene el potencial de proporcionar la evidencia de mayor calidad, sin embargo, existe evidencia sustancial en la literatura biomédica de que la calidad de los ECA publicados es subóptima ¹. En nuestro estudio se encontraron en su mayoría ECA 85,52% en los cuales en su diseño de estudio no estaba señalado explícitamente, generando que el lector infiera esta información pudiendo generar problemas de interpretación en lectores poco experimentados. Por otra parte, la menor cantidad de estudios fueron multicéntricos, esto puede explicarse por la complejidad de su ejecución, considerando todos los parámetros que hay que tener, en cuanto a estandarización de procedimientos, planificación, ejecución y financiamiento ².

El enmascaramiento se considera uno de los procedimientos más importantes para obtener resultados imparciales. Debe tenerse en cuenta que cegar a los participantes y/o los evaluadores no siempre es factible, con frecuencia es posible cegar a los evaluadores de resultados y analistas de datos ¹. Esto último señalado, es lo que ocurría en la mayoría de los casos.

Según los parámetros planteados por la odontología basada en la evidencia, la toma de decisiones clínicas debe basarse en la mejor y más actual evidencia disponible, sin embargo, existen pocos estudios dedicados a evaluar esta evidencia, dejando al lector poco experimentado frente al gran dilema de aceptar o no los datos publicados. Por lo tanto, recomendamos realizar futuros trabajos en los cuales se pueda evaluar otras áreas de las ciencias odontológicas, para así aportar con datos que permitan al lector orientar la toma de decisiones respecto a lo fidedignos y extrapolables que pueden ser los resultados observados al momento de enfrentarse a un paper científico.

Conclusiones

Implicancias para la práctica. Luego de analizar la calidad metodológica de los ensayos clínicos en ortodoncia, indexados en revistas ISI entre 2012 y 2016 y concluir que esta presenta algunas deficiencias al aplicarse la escala MinCir se sugiere incorporar esta información para analizar las implicancias para la práctica dentro de la ortodoncia.

Implicancias para la investigación. Sugerimos a los investigadores desarrollar ensayos controlados considerando resguardando la calidad metodológica de los mismos. Incluir por ejemplo examinadores enmascarados para disminuir los sesgos.

Fondos. Estudio financiado por la Escuela de Odontología, Facultad de Medicina, Universidad Austral de Chile.

Agradecimiento. A la Escuela de Odontología, Facultad de Medicina, Universidad Austral de Chile, por su colaboración económica para el desarrollo de esta investigación.