Optimización de la clasificación taxonómica de secuencias de amplicones de genes marcadores con el complemento de clasificador de características q2 de QIIME 2
Utilizamos crédito fiscal para optimizar y comparar clasificadores de taxonomía de secuencias de genes marcadores múltiples. Evaluamos dos clasificadores de uso común que están envueltos en QIIME 1 (clasificador RDP (versión 2.2) , BLAST heredado (versión 2.2).22) ), dos clasificadores de taxonomía de consenso basados en alineación QIIME 1 (el clasificador UCLUST predeterminado disponible en QIIME 1 (basado en la versión 1.2.22 q) y SortMeRNA (versión 2.0 29/11/2014)), dos clasificadores de taxonomía de consenso basados en alineación recientemente lanzados en q2-feature-classifier (basado en BLAST+ (versión 2.6.0) y VSEARCH (versión 2.0.3)), y una nueva máquina Bayes multinomial ingenua-clasificador de aprendizaje en el clasificador de características q2 (consulte la sección «Métodos» para obtener información sobre los métodos de clasificador de características q2 y la disponibilidad del código fuente). Realizamos barridos de parámetros para determinar configuraciones de parámetros óptimas para cada método.
Evaluaciones comunitarias simuladas
Primero comparamos el rendimiento del clasificador en comunidades simuladas, que son mezclas artificiales de células microbianas o ADN combinadas en proporciones conocidas . Utilizamos 15 comunidades simuladas de genes de ARNr de bacterias 16S y 4 comunidades simuladas de espaciadores transcritos internos de hongos (ITS) (Tabla 1) procedentes de mockrobiota , un repositorio público de datos de comunidades simuladas. Las comunidades simuladas son útiles para la evaluación comparativa de métodos porque (1) a diferencia de las comunidades simuladas, permiten evaluaciones cuantitativas del rendimiento de los métodos en condiciones operativas reales, es decir, incorporan errores de secuenciación reales que pueden ser difíciles de modelar con precisión; y (2) a diferencia de las muestras de comunidades naturales, la composición real de una comunidad simulada se conoce de antemano, lo que permite evaluaciones cuantitativas de la precisión de los perfiles de la comunidad.
Una prioridad adicional fue probar el efecto de establecer pesos de clase en la precisión de clasificación para el clasificador Bayes ingenuo implementado en el clasificador de características q2. En el aprendizaje automático, las ponderaciones de clase o probabilidades previas son vectores de ponderaciones que especifican la frecuencia a la que se espera que se observe cada clase (y deben distinguirse del uso de este término bajo inferencia bayesiana como una distribución de probabilidad de vectores de ponderaciones). Una alternativa a establecer ponderaciones de clase es asumir que cada secuencia de consulta es igualmente probable que pertenezca a cualquiera de los taxones que están presentes en la base de datos de secuencias de referencia. Esta suposición, conocida como antecedentes de clase uniforme en el contexto de un clasificador Bayes ingenuo, es hecha por el clasificador RDP, y su impacto en la precisión de la clasificación de genes marcadores aún no se ha validado. Asumir que las ponderaciones de clase son uniformes o se conocen en cierta medida afectará a los resultados y no se puede evitar. Las comunidades simuladas tienen abundancias taxonómicas que están lejos de ser uniformes sobre el conjunto de taxonomías de referencia, como debe ser cualquier conjunto de datos reales. Por lo tanto, podemos usarlos para evaluar el impacto de hacer suposiciones con respecto a las ponderaciones de clase. Donde hemos establecido los pesos de clase a la composición taxonómica conocida de una muestra, hemos etiquetado los resultados «a medida».
Evaluamos la precisión del rendimiento del clasificador en secuencias comunitarias simuladas clasificadas a niveles taxonómicos de clase a especie. Las secuencias simuladas de comunidad se clasificaron utilizando el gen de Greengenes 99% OTUs 16S rRNA o UNITE 99% OTUs SUS secuencias de referencia para comunidades simuladas de bacterias y hongos, respectivamente. Como era de esperar, la precisión de la clasificación disminuyó a medida que aumentaba la profundidad de la clasificación, y todos los métodos podían predecir la afiliación taxonómica de secuencias de comunidades simuladas hasta el nivel de género con medidas F medianas superiores a 0,8 en todos los conjuntos de parámetros (mínimo: UCLUST F = 0,81, máximo: Bayes ingenuos a medida F = 1,00) (Fig. 1a). Sin embargo, la filiación de especies se predijo con una precisión mucho menor y más variable entre las configuraciones de los métodos (mediana F-medida mínima: UCLUST F = 0,42, máxima: Bayes ingenuos a medida F = 0.95), destacando la importancia de la optimización de parámetros (que se analiza con más detalle a continuación). La Figura 1a ilustra los gráficos de línea de la medida F media en cada nivel taxonómico, promediados en todas las configuraciones de clasificadores; por lo tanto, el rendimiento del clasificador está subestimado para algunos clasificadores que están fuertemente afectados por configuraciones de parámetros o para los que se probó una gama más amplia de parámetros (por ejemplo, Bayes ingenuos). Comparar solo métodos optimizados (p. ej., las configuraciones de parámetros de mayor rendimiento para cada método), naive Bayes bespoke logró una medida F significativamente mayor (prueba t emparejada P < 0.05) (Fig. 1b), recuperación, tasa de detección de taxones, tasa de precisión de taxones (Fig. 1c), y menor disimilitud de Bray-Curtis que todos los otros métodos (Fig. 1d).
Rendimiento del clasificador en conjuntos de datos comunitarios simulados para secuencias de genes ARNr 16S (columna izquierda) y secuencias de hongos ITS (columna derecha). una medida F promedio para cada método de clasificación taxonómica (promediada en todas las configuraciones y en todos los conjuntos de datos simulados de la comunidad) desde la clase hasta el nivel de especie. Barras de error = intervalos de confianza del 95%. b Promedio F-medida para cada clasificador optimizado (promediada en todas las comunidades simuladas) a nivel de especie. c Tasa media de precisión de taxones para cada clasificador optimizado (promediada en todas las comunidades simuladas) a nivel de especie. d Distancia promedio de Bray-Curtis entre la composición esperada de la comunidad simulada y su composición según lo predicho por cada clasificador optimizado (promediada en todas las comunidades simuladas) a nivel de especie. Las gráficas de violín muestran la mediana (punto blanco), los cuartiles (barras negras) y la estimación de la densidad del núcleo (violín) para cada distribución de partitura. Los violines con letras minúsculas diferentes tienen medias significativamente diferentes (prueba t emparejada, corrección de la tasa de detección falsa, P < 0.05)
Las comunidades simuladas son necesariamente simplistas y no pueden evaluar el rendimiento de los métodos en una amplia gama de taxones. Aunque las secuencias sin procesar pueden contener errores de PCR y secuenciación (lo que nos permite evaluar el rendimiento del método en condiciones biológicas), las secuencias que coinciden con las secuencias de comunidad simuladas esperadas no se eliminan de la base de datos de referencia antes de la clasificación. Este enfoque replica las condiciones normales de funcionamiento y evalúa la recuperación de secuencias esperadas, pero puede sesgar implícitamente hacia métodos que encuentran una coincidencia exacta con las secuencias de consulta, y no se aproxima a algunas comunidades microbianas naturales en las que pocas o ninguna secuencia detectada coincide exactamente con las secuencias de referencia. Por lo tanto, realizamos clasificaciones de lectura de secuencia simulada (descritas a continuación) para probar aún más el rendimiento del clasificador.
Clasificación taxonómica validada cruzada
Las lecturas de secuencias simuladas, derivadas de bases de datos de referencia, nos permiten evaluar el rendimiento de los métodos en una mayor diversidad de secuencias que la que generalmente abarca una sola comunidad simulada. En primer lugar, evaluamos el rendimiento del clasificador mediante validación cruzada estratificada de k-fold de la clasificación taxonómica para lecturas simuladas. La estrategia de validación cruzada k-fold se modifica ligeramente para tener en cuenta la naturaleza jerárquica de las clasificaciones taxonómicas, que todos los clasificadores de este estudio (con la excepción de BLAST heredado) manejan asignando el nivel taxonómico más bajo (es decir, más específico) donde la clasificación supera algún umbral de «confianza» o «consenso» definido por el usuario (consulte materiales y métodos). La modificación consiste en truncar cualquier taxonomía esperada en cada conjunto de pruebas al nivel máximo en el que existe una instancia de esa taxonomía en el conjunto de entrenamiento.
Se generaron lecturas simuladas a partir del gen oTUS 16S rRNA de Greengenes al 99% o de UNIR al 99% SUS secuencias de referencia. Las lecturas simuladas del gen del ARNr de Greengenes 16S se generaron a partir de genes ARNr de longitud completa de 16S (cebadores 27F/1492R) y V4 (cebadores 515F/806R) y subdominios V1–3 (cebadores 27F/534R). Las lecturas simuladas actualmente disponibles en el crédito fiscal no incorporan errores artificiales de PCR o secuenciación por varias razones. Como nuestros análisis de comunidades simuladas ya evalúan el rendimiento del clasificador en condiciones experimentales verdaderamente ruidosas, el objetivo de los análisis de secuencias simuladas es evaluar el rendimiento teórico del clasificador (cuando no existen coincidencias de secuencia exactas en la base de datos de referencia). Además, las tuberías de análisis de secuencias de amplicones de genes marcadores suelen utilizar métodos de eliminación de ruido para modelar perfiles de error por ejecución, filtrar secuencias ruidosas y resolver variantes de secuencias reales. Por lo tanto, en nuestras evaluaciones, simulamos un escenario teórico idealizado (si es poco probable) en el que todos los errores de secuenciación se han eliminado para separar el rendimiento del clasificador del rendimiento del eliminador. En este conjunto de pruebas y a continuación para taxones nuevos, el clasificador «a medida» tenía probabilidades previas que se inferían del conjunto de entrenamiento cada vez que se entrenaba.
La clasificación de las lecturas validadas cruzadas se realizó mejor en niveles de clasificación más gruesos (Fig. 2a), similar a la tendencia observada en los simulacros de resultados comunitarios. Para las secuencias bacterianas, la precisión de clasificación promedio para todos los métodos disminuyó de puntuaciones casi perfectas a nivel de familia (mediana del dominio V4, medida F mínima: EXPLOSIÓN+ F = 0,92, máxima: explosión heredada F = 0,99), pero aún conservó puntuaciones precisas a nivel de especie (mediana mínima: EXPLOSIÓN+ F = 0,76, máxima: SortMeRNA F = 0,84), en relación con algunos conjuntos de datos de comunidades simuladas (Fig. 2a). Las secuencias fúngicas mostraron un rendimiento similar, con la excepción de que el rendimiento medio de BLAST+ y VSEARCH fue notablemente inferior en todos los niveles taxonómicos, lo que indica una alta sensibilidad a las configuraciones de parámetros, y las medidas F a nivel de especie fueron en general mucho más bajas (mediana mínima: BLAST+ F = 0,17, máxima: UCLUST F = 0,45) que las de las clasificaciones de secuencias bacterianas (Fig. 2a).
Rendimiento del clasificador en conjuntos de datos de secuencias validadas cruzadas. Precisión de clasificación del subdominio V4 del gen ARNr 16S (primera fila), subdominio V1-3 (segunda fila), gen ARNr 16S de longitud completa (tercer tow) y sus secuencias fúngicas (cuarta fila). una medida F promedio para cada método de clasificación taxonómica (promediada en todas las configuraciones y en todos los conjuntos de datos de secuencias validadas cruzadas) desde la clase hasta el nivel de especie. Barras de error = intervalos de confianza del 95%. b Medida F media para cada clasificador optimizado (promediada en todos los conjuntos de datos de secuencias validadas cruzadas) a nivel de especie. Los violines con letras minúsculas diferentes tienen medias significativamente diferentes(prueba t emparejada, corrección de la tasa de detección falsa, P < 0.05). c correlación entre el rendimiento de medición de F para cada método / clasificación de configuración del subdominio V4 (eje x), el subdominio V1–3 (eje y) y las secuencias génicas de ARNr 16S de longitud completa (eje z). El recuadro muestra el valor R2 de Pearson para cada correlación en pares; cada correlación es significativa (P < 0.001)
Las clasificaciones a nivel de especie de secuencias simuladas del gen ARNr 16S fueron mejores con configuraciones optimizadas de UCLUST y SortMeRNA para el dominio V4, y Bayes y RDP ingenuos para el dominio V1-3 y secuencias completas del gen ARNr 16S (Fig. 2b). UCLUST alcanzó la medida F más alta para su clasificación (F = 0,51). Sin embargo, todos los clasificadores optimizados lograron rangos de medida F similares, con la excepción de BLAST heredado para sus secuencias (Fig. 2b).
El rendimiento de clasificación a nivel de especie de las lecturas simuladas del gen 16S rRNA se correlacionó significativamente entre cada subdominio y las secuencias de genes de longitud completa (Fig. 2c). En nuestras pruebas, las secuencias de longitud completa exhibieron una precisión ligeramente menor que los subdominios V1–3 y V4. El rendimiento relativo de los genes rRNA de longitud completa de 16 S versus lecturas de subdominio hipervariables es variable en la literatura , y nuestros resultados agregan otro punto de datos a la discusión en curso de este tema. Sin embargo, las clasificaciones a nivel de especie arrojaron una fuerte correlación entre las configuraciones de los métodos (Fig. 2c) y rendimiento optimizado del método (Fig. 2b), lo que sugiere que la elección del imprimador afecta la precisión de la clasificación de manera uniforme en todos los métodos. Por lo tanto, nos centramos en las lecturas de subdominio V4 para los análisis posteriores.
Evaluación de clasificación de taxones novedosos
La clasificación de taxones novedosos ofrece una perspectiva única sobre el comportamiento de los clasificadores, evaluando cómo se desempeñan los clasificadores cuando se les desafía con un clado «novedoso» que no está representado en la base de datos de referencia . Un clasificador ideal debería identificar el linaje taxonómico más cercano al que pertenece este taxón, pero no más. En esta evaluación, una base de datos de referencia se submuestra k veces para generar conjuntos de secuencias de consulta y referencia, como para la clasificación validada cruzada, pero existen dos distinciones importantes: (1) la base de datos de referencia utilizada para la clasificación excluye cualquier secuencia que coincida con la afiliación taxonómica de las secuencias de consulta a nivel taxonómico L, el rango taxonómico en el que se intenta la clasificación; y (2) esto se realiza en cada nivel taxonómico, para evaluar el rendimiento de la clasificación cuando cada método encuentra una especie, género, familia, etc. «novedosos».
Debido a estas diferencias, la interpretación de los resultados de la clasificación de taxones nuevos es diferente de la de las clasificaciones simuladas de comunidad y validadas cruzadas. Para este último, la precisión de clasificación puede evaluarse en cada nivel taxonómico para cada resultado de clasificación: la precisión de clasificación media a nivel de familia y de especie evalúa los mismos resultados pero se centra en diferentes niveles taxonómicos de clasificación. Para taxones nuevos, sin embargo, se compilan diferentes secuencias de consulta y referencia para su clasificación en cada nivel taxonómico y se realizan clasificaciones separadas para cada uno. Por lo tanto, las clasificaciones a nivel de familia y especie son eventos independientes: uno evalúa la precisión con que se desempeña cada método cuando se encuentra con una familia «novedosa» que no está representada en la base de datos de referencia, el otro cuando se encuentra una especie «novedosa».
Las nuevas evaluaciones de taxones emplean un conjunto de métricas modificadas para proporcionar más información sobre los tipos de errores de clasificación que se producen. Cálculos de precisión, recuperación y medida F en cada nivel taxonómico L evalúan si se realizó una clasificación taxonómica precisa en el nivel L-1: por ejemplo, a una especie» nueva » se le debe asignar un género, porque la clase de especie correcta no está representada en la base de datos de referencia. Cualquier clasificación a nivel de especie en este escenario es una clasificación excesiva (que afecta tanto a la memoria como a la precisión) . La sobreclasificación es una de las métricas clave para la evaluación de taxones nuevos, lo que indica el grado en que las secuencias nuevas se malinterpretarán como organismos conocidos. Esta clasificación excesiva a menudo es altamente indeseable porque puede conducir, por ejemplo, a la clasificación incorrecta de secuencias ambientales desconocidas pero probablemente inocuas como patógenos conocidos. Las secuencias novedosas que se clasifican dentro del clado correcto, pero a un nivel menos específico que L, están subclasificadas (afectando la memoria pero no la precisión) . Las secuencias que se clasifican en un clado completamente diferente se clasifican erróneamente (lo que afecta tanto a la memoria como a la precisión) .
La precisión, el recuerdo y la medición de F aumentan gradualmente desde los puntajes promedio cercanos a 0.0 a nivel de clase, alcanzando puntuaciones máximas a nivel de género para bacterias y a nivel de especie para hongos (Fig. 3a a c). Estas tendencias se combinan con disminuciones graduales en las tasas de clasificación insuficiente y clasificación errónea para todos los métodos de clasificación, lo que indica que todos los clasificadores funcionan mal cuando encuentran secuencias sin coincidencia conocida en los niveles de clase, orden o familia (Fig. 3d, f). A nivel de especie, UCLUST, BLAST+ y VSEARCH lograron medidas F significativamente mejores que todos los demás métodos para las clasificaciones del gen ARNr 16S (P < 0,05) (Fig. 3g). UCLUST logró medidas F significativamente mejores que todos los demás métodos para sus clasificaciones (Fig. 3g). Las puntuaciones de clasificación excesiva, insuficiente y errónea son menos informativas para optimizar clasificadores para casos de uso reales, ya que la mayoría de los métodos podrían optimizarse para obtener puntuaciones cercanas a cero para cada una de estas métricas por separado, pero solo a través de configuraciones extremas, lo que llevaría a medidas F que serían inaceptables en cualquier escenario. Tenga en cuenta que todas las comparaciones se realizaron entre métodos optimizados para maximizar (o minimizar) una sola métrica y, por lo tanto, las configuraciones que maximizan la precisión con frecuencia son diferentes de las que maximizan el recuerdo u otras métricas. Esta compensación entre diferentes métricas se analiza con más detalle a continuación.
Rendimiento del clasificador en conjuntos de datos de secuencias simuladas de nuevos taxones para secuencias de genes ARNr 16S (columna izquierda) y secuencias de hongos ITS (columna derecha). a-f, Medida promedio de F (a), precisión (b), recuperación (c), sobreclasificación (d), subclasificación (e) y clasificación errónea (f) para cada método de clasificación taxonómica (promediado en todas las configuraciones y todos los conjuntos de datos de secuencias de taxones nuevos) desde el nivel de filo hasta el de especie. Barras de error = intervalos de confianza del 95%. b Medida media de F para cada clasificador optimizado (promediada en todos los conjuntos de datos de secuencias de taxones nuevos) a nivel de especie. Los violines con letras minúsculas diferentes tienen medias significativamente diferentes (prueba t emparejada, corrección de la tasa de detección falsa, P < 0.05)
La nueva evaluación de taxones proporciona una estimación del rendimiento del clasificador dada una base de datos de referencia específica, pero su generalización está limitada por la calidad de las bases de datos de referencia disponibles y por el enfoque basado en etiquetas utilizado para la partición y la evaluación. Los clados mal etiquetados y polifiléticos en la base de datos, por ejemplo, el grupo clostridium, aumentan la probabilidad de clasificación errónea. Un análisis complementario basado en la similitud de secuencias entre una consulta novedosa y la visita de referencia superior podría mitigar este problema. Sin embargo, elegimos aplicar un enfoque basado en etiquetas, ya que refleja mejor el problema biológico que los usuarios pueden esperar encontrar, es decir, utilizando una base de datos de secuencias de referencia en particular (que contendrá cierta cantidad de taxones polifiléticos y mal etiquetados inherentes a los recursos actualmente disponibles), ¿qué probabilidad tiene un clasificador de clasificar erróneamente una etiqueta taxonómica?
Optimización del método de evaluación múltiple
Las evaluaciones de clasificación de la comunidad simulada y la validación cruzada arrojaron tendencias similares en el rendimiento de la configuración, pero la optimización de las opciones de parámetros para los taxones nuevos generalmente condujo a opciones subóptimas para la comunidad simulada y las pruebas de validación cruzada (Fig. 4). Intentamos determinar la relación entre el rendimiento de la configuración de métodos para cada evaluación y utilizar esta información para seleccionar las configuraciones que mejor funcionan en todas las evaluaciones. Para la clasificación a nivel de especie de secuencia génica de ARNr 16S, las configuraciones de métodos que alcanzan medidas F máximas para secuencias simuladas y validadas cruzadas pueden tener un rendimiento deficiente para la clasificación de taxones nuevos (Fig. 4b). La optimización es más sencilla para la clasificación a nivel de género de secuencias de genes ARNr 16S (Fig. 4a) y para secuencias fúngicas (Fig. 4c, d), para el cual el rendimiento de la configuración (medido como medida F media) se maximiza mediante configuraciones similares entre las tres evaluaciones.
Classification accuracy comparison between mock community, cross-validated, and novel taxa evaluations. Las gráficas de dispersión muestran las puntuaciones medias de la medida F para cada configuración de método, promediadas en todas las muestras, para la clasificación de genes 16S rRNA a nivel de género (a) y a nivel de especie (b), y sus secuencias de hongos a nivel de género (c) y a nivel de especie (d)
Para identificar las configuraciones óptimas de los métodos, establecemos umbrales mínimos de puntuación de precisión para cada evaluación de los puntajes de calidad, seleccionando métodos y rangos de parámetros que cumplieran con estos criterios. La Tabla 2 enumera configuraciones de métodos que maximizan los puntajes de precisión de clasificación a nivel de especie para evaluaciones de taxones simuladas de comunidad, validadas cruzadas y nuevas bajo varias condiciones de operación comunes. Las configuraciones «equilibradas»se recomiendan para uso general y son métodos que maximizan las puntuaciones de la medida F. Las configuraciones de» precisión «y» recuperación » maximizan las puntuaciones de precisión y recuperación, respectivamente, para clasificaciones de taxones simulados, validados cruzados y nuevos (Tabla 2). Las configuraciones «novedosas» optimizan los puntajes de medida F para la clasificación de taxones novedosos y, en segundo lugar, para el rendimiento simulado y validado cruzado (Tabla 2). Estas configuraciones se recomiendan para usar con tipos de muestras que se espera que contengan grandes proporciones de especies no identificadas, para las cuales la sobreclasificación puede ser excesiva. Sin embargo, es posible que estas configuraciones no funcionen de manera óptima para la clasificación de especies conocidas (es decir, las tasas de subclasificación serán más altas). Para los hongos, las mismas configuraciones recomendadas para la «precisión» funcionan bien para la nueva clasificación de taxones (Tabla 2). Para las secuencias génicas de ARNr 16S, los clasificadores de consenso BLAST+, UCLUST y VSEARCH funcionan mejor para la clasificación de taxones novedosa (Tabla 2).
Tiempo de ejecución computacional
Las plataformas de secuenciación de alto rendimiento (y los experimentos) continúan produciendo recuentos de secuencias crecientes, que, incluso después de filtrado de calidad y desreplicación o taxonomía operativa pasos de agrupación de unidades comunes a la mayoría de las tuberías de análisis de microbiomas: pueden superar miles de secuencias únicas que necesitan clasificación. Un número creciente de secuencias de consulta y secuencias de referencias puede llevar a tiempos de ejecución inaceptables, y bajo algunas condiciones experimentales, el método de mejor rendimiento (basado en precisión, recuperación o alguna otra métrica) puede ser insuficiente para manejar un gran número de secuencias dentro de un marco de tiempo aceptable. Por ejemplo, los plazos de entrega rápidos pueden ser vitales en escenarios clínicos a medida que la evaluación del microbioma se traduce en la práctica clínica, o escenarios comerciales, cuando los grandes volúmenes de muestras y las expectativas de los clientes pueden limitar los tiempos de entrega y la selección de métodos.
Evaluamos el tiempo de ejecución computacional como una función lineal de (1) el número de secuencias de consulta y (2) el número de secuencias de referencia. La dependencia lineal es empíricamente evidente en la Fig. 5. Para ambas métricas, la pendiente es la medida más importante del rendimiento. La intercepción puede incluir la cantidad de tiempo necesario para entrenar al clasificador, preprocesar las secuencias de referencia, cargar datos preprocesados u otros pasos de «configuración» que disminuirán en importancia a medida que aumenten los recuentos de secuencias y, por lo tanto, son insignificantes.
Comparación de rendimiento en tiempo de ejecución de clasificadores de taxonomía. Tiempo de ejecución (s) para cada clasificador de taxonomía, ya sea variando el número de secuencias de consulta y manteniendo una constante de 10.000 secuencias de referencia (a) o variando el número de secuencias de referencia y manteniendo una constante de 1 secuencia de consulta (b)