Classifier performance on cross-validated sequence datasets. Precisão de classificação de subdomain do gene v4 do 16S rRNA (primeira fila), subdomain V1–3 (segunda fila), gene rRNA do 16S de comprimento total (terceiro cabo) e sequências de ITS fúngicas (quarta fila). uma medida F média para cada método de classificação da taxonomia (média em todas as configurações e todos os conjuntos de dados de sequência validados transversalmente), desde o nível da classe até ao nível da espécie. Barras de erro = intervalos de confiança de 95%. b média de F-medida para cada classificador optimizado (média de todos os conjuntos de dados de sequência validados transversalmente) a nível da espécie. Os violinos com letras minúsculas diferentes têm meios significativamente diferentes (emparelhado t-test falsa taxa de detecção corrigida P < 0, 05). c correlação entre o desempenho da medida F para cada classificação de método/configuração de subdomain V4 (eixo x), subdomain V1-3 (eixo y) e sequências genéticas rRNA de 16S de comprimento total (eixo z). Inset lista o valor de Pearson R2 para cada correlação emparelhada; cada correlação é significativa (P < 0.001)

classificação por espécies de 16S sequências simuladas do gene rRNA foram melhores com configurações optimizadas da UCLUST e do SortMeRNA para o domínio V4, e Bayes ingénuos e RDP para o domínio V1-3 e sequências de genes rRNA de 16S de comprimento total (Fig. 2b). UCLUST alcançou a maior medida de F para sua classificação (F = 0,51). No entanto, todos os classificadores otimizados alcançaram gamas de medida f similares, com exceção da explosão legacy para suas sequências(Fig. 2b).

O desempenho de classificação de nível de espécies de leituras simuladas do gene 16S rRNA foi significativamente correlacionado entre cada subdomínio e as sequências de genes de comprimento total(Fig. 2c). Nos nossos testes, sequências de comprimento total exibiram uma precisão ligeiramente menor do que sub–domínios V1-3 e V4. O desempenho relativo de genes rRNA de comprimento total 16S versus leitura subdomaineável hipervariável é variável na literatura , e nossos resultados adicionam outro ponto de dados para a discussão em curso deste tópico. No entanto, as classificações ao nível das espécies originaram uma forte correlação entre as configurações do método (Fig. 2c) e desempenho otimizado do método (Fig. 2b), sugerindo que a escolha de iniciador tem um impacto uniforme na precisão da classificação em todos os métodos. Por isso, concentrámo-nos na leitura de subdomínios V4 para análises a jusante.

avaliação de classificação de novos táxons

classificação de novos táxons oferece uma perspectiva única sobre o comportamento de classificadores, avaliando como os classificadores se apresentam quando desafiados com um clado “novo” que não é representado na base de dados de referência . Um classificador ideal deve identificar a linhagem taxonômica mais próxima a que este táxon pertence,mas não mais. Nesta avaliação, de um banco de dados de referência é subsampled k vezes para gerar consulta e referência sequência de conjuntos, como para o cruz-validado classificação, mas duas importantes distinções existem: (1) o banco de dados de referência utilizados para a classificação exclui qualquer sequência que corresponde a taxonomia de afiliação da consulta sequências de taxonômicos nível L, o nível taxonômico em que a classificação está sendo tentada; e (2) este é realizado a cada nível taxonômico, a fim de avaliar a classificação de desempenho quando cada método encontra um “romance” de espécie, gênero, família, etc.devido a estas diferenças, a interpretação dos novos resultados da Classificação dos táxons é diferente da das classificações mock community e cross-validated. Para estes últimos, a precisão da classificação pode ser avaliada a cada nível taxonómico para cada resultado da classificação: a precisão média da classificação a nível da família e a nível das espécies avaliam os mesmos resultados, mas centram-se em diferentes níveis taxonómicos de classificação. Para novos taxa, no entanto, diferentes consultas e sequências de referência são compiladas para classificação em cada nível taxonômico e classificações separadas são realizadas para cada um. Assim, as classificações a nível da família e das espécies são eventos independentes-um avalia a precisão com que cada método se apresenta quando encontra uma família ” nova “que não está representada no banco de dados de referência, o outro quando uma espécie” nova ” é encontrada.as novas avaliações dos táxons empregam um conjunto de métricas modificadas para fornecer mais informações sobre os tipos de erros de classificação que ocorrem. Os cálculos da precisão, da recolha e da medida F a cada nível taxonómico l avaliam se foi efectuada uma classificação taxonómica exacta ao nível L-1: por exemplo, uma espécie” nova ” deve ser atribuída a um gênero, porque a classe de espécie correta não está representada no banco de dados de referência. Qualquer classificação ao nível das espécies neste cenário é uma sobreclassificação (afectando tanto a recolha como a precisão) . A sobreclassificação é uma das principais métricas para a avaliação de novos taxa, indicando o grau em que novas sequências serão mal interpretadas como organismos conhecidos. Esta sobreclassificação é muitas vezes altamente indesejável porque pode levar, por exemplo, à classificação incorreta de sequências ambientais desconhecidas, mas provavelmente inócuas, como patógenos conhecidos. Sequências novas que são classificadas dentro do clado correto, mas a um nível menos específico do que L, São subclassificadas (afetando a recolha, mas não a precisão) . Sequências que são classificadas em um clado completamente diferente são mal classificadas (afetando tanto a recolha quanto a precisão) .

precisão, recolha e medição F aumentam gradualmente a partir de pontuações médias próximas de 0.0 a nível de classe, atingindo pontuações máximas a nível de género para bactérias e espécies para fungos(Fig. 3a-c). Estas tendências são associadas com diminuições graduais nas taxas de subclassificação e de misclassificação para todos os métodos de classificação, indicando que todos os classificadores têm um desempenho fraco quando encontram sequências sem correspondência conhecida nos níveis de classe, ordem ou família (Fig. 3d, f). Ao nível das espécies, a UCLUST, BLAST+ e VSEARCH obtiveram medidas f significativamente melhores do que todos os outros métodos para classificações de genes rRNA 16S (P < 0, 05) (Fig. 3g). UCLUST alcançou medidas f significativamente melhores do que todos os outros métodos para suas classificações (Fig. 3g). As pontuações de excesso, sub-e desclassificação são menos informativas para otimizar classificadores para casos de uso real, já que a maioria dos métodos poderiam ser otimizados para produzir pontuações próximas de zero para cada uma dessas métricas separadamente, mas apenas através de configurações extremas, levando a medidas F que seriam inaceitáveis em qualquer cenário. Note que todas as comparações foram feitas entre métodos otimizados para maximizar (ou minimizar) uma única métrica, e, portanto, as configurações que maximizam a precisão são frequentemente diferentes daqueles que maximizam a recall ou outras métricas. Esta troca entre métricas diferentes é discutida em mais detalhes abaixo.

classifier performance on novel-taxa simulated sequence datasets for 16S rRNA gene sequences (left column) and fungal ITS sequences (right column). a-f, média f-measure (a), precisão (B), recall (c), overclassification (d), underclassification (e), and misclassification (f) for each taxonomy classification method (averaged across all configurations and all novel taxa sequence datasets) from phylum to species level. Barras de erro = intervalos de confiança de 95%. b média de F-medida para cada classificador optimizado (média calculada em todos os novos conjuntos de dados de sequência de taxa) a nível da espécie. Os violinos com letras minúsculas diferentes têm meios significativamente diferentes (teste emparelhado t falso taxa de detecção corrigida P < 0.05)

O romance táxon de avaliação fornece uma estimativa de classificação de desempenho de um banco de dados de referência, mas a sua generalização é limitada pela qualidade das bases de dados referenciais disponíveis e pelo rótulo baseado no método utilizado para a partição e avaliação. Clados mal etiquetados e polifiléticos na base de dados, por exemplo, Grupo clostridium, aumentam a probabilidade de erro de classificação. Uma análise complementar baseada na similaridade de sequência entre uma consulta nova e um hit de referência de topo poderia mitigar esta questão. No entanto, escolhemos para aplicar um rótulo baseado em abordagem, pois reflete melhor o problema biológico que os usuários podem esperar encontrar, por exemplo, o uso de um determinado referência seqüência de banco de dados (que contêm alguma quantidade de objetáveis e polyphyletic taxa inerentes aos recursos disponíveis no momento), qual a probabilidade de um classificador para misclassify um taxonômica rótulo?

otimização de métodos de avaliação múltipla

a comunidade mock e as avaliações de classificação de validação cruzada renderam tendências semelhantes no desempenho da configuração, mas a otimização de opções de parâmetros para os novos taxa geralmente levou a escolhas subóptimas para os testes mock community e cross-validation (Fig. 4). Buscamos determinar a relação entre o desempenho de configuração do método para cada avaliação e usar esta informação para selecionar configurações que funcionam melhor em todas as avaliações. Para 16S classificação ao nível de espécies da sequência genética rRNA, configurações de métodos que atingem o máximo de medidas F para sequências mock e cross-validated podem ter um desempenho fraco para a classificação de novos táxons(Fig. 4b). Optimization is more straightforward for genus-level classification of 16S rRNA gene sequences(Fig. 4a) e para sequências de fungos(Fig. 4c, d), para a qual o desempenho de configuração (medido como medida F média) é maximizado por configurações semelhantes entre todas as três avaliações.

Classification accuracy comparison between mock community, cross-validated, and novel taxa evaluations. Gráficos de dispersão mostram médio F-medida pontuações para cada método de configuração, a média em todas as amostras, para a classificação de genes de rRNA 16S em nível de gênero (a) e espécies (nível b), fungos e SUAS sequências de gênero (nível c) e nível de espécie (d)

Para identificar o método ideal para configurações, vamos definir a precisão de pontuação limites mínimos para cada avaliação, identificando as quebras naturais na faixa de índices de qualidade, seleção de métodos e gamas de parâmetros que preenchiam estes critérios. A tabela 2 lista configurações de métodos que maximizam as pontuações de precisão de classificação ao nível de espécies para comunidades mock, validadas cruzadas e novas avaliações de táxons em várias condições operacionais comuns. Configurações “equilibradas” são recomendadas para uso geral e são métodos que maximizam as pontuações de medição F. As configurações de” Precision” e “recall” maximizam as pontuações de precisão e “recall”, respectivamente, para as classificações mock, cross-validated e novel-taxa (Tabela 2). Configurações de “Novel” otimizam as pontuações de medição de F para a classificação de novos táxons, e secundariamente para o desempenho mock e cross-validated (Tabela 2). Estas configurações são recomendadas para utilização com tipos de amostras que se espera que contenham grandes proporções de espécies não identificadas, para as quais a sobreclassificação pode ser excessiva. No entanto, estas configurações podem não ter um desempenho ideal para a classificação de espécies conhecidas (ou seja, as taxas de subclassificação serão mais elevadas). No caso dos fungos, as mesmas configurações recomendadas para “precisão” apresentam um bom desempenho para a classificação de novos táxons (Quadro 2). For 16S rRNA gene sequences, BLAST+, UCLUST, and VSEARCH consensus classificators performer best for novel taxon classification (Table 2).

Computacional de tempo de execução

de Alta taxa de transferência de sequenciamento de plataformas (e experiências) continuam a produzir aumento da sequência de contagem, que, mesmo depois de qualidade de filtragem e dereplication operacional ou unidade taxonómica de cluster de passos comuns à maioria dos microbiano pipelines de análise—pode exceder milhares de sequências que necessitam de classificação. O aumento do número de sequências de consulta e sequências de referências pode levar a períodos de execução inaceitáveis, e sob algumas condições experimentais, o método de alto desempenho (baseado em precisão, recall, ou alguma outra métrica) pode ser insuficiente para lidar com um grande número de sequências dentro de um prazo aceitável. Por exemplo, reviravoltas rápidas podem ser vitais sob cenários clínicos à medida que a avaliação microbioma se traduz para a prática clínica, ou cenários comerciais, quando grandes volumes de amostras e expectativas do cliente podem restringir os tempos de reviravoltas e a seleção de métodos.

avaliamos o tempo de execução computacional como uma função linear de (1) o número de sequências de consulta e (2) o número de sequências de referência. A dependência Linear é empiricamente evidente na Fig. 5. Para ambas as métricas, a inclinação é a medida mais importante de desempenho. A interceptação pode incluir a quantidade de tempo necessário para treinar o classificador, pré-processar as seqüências de referência, carregar dados pré-processados, ou outros passos de “configuração” que diminuirão em significância à medida que as contagens de seqüência crescem, e, portanto, é negligenciável.

Runtime performance comparison of taxonomy classifiers. Tempo de execução (s) para cada taxonomia classificador ou variando-se o número da consulta de sequências e manter uma constante de 10.000 referência sequências (um) ou variando-se o número de referência de sequências e manter uma constante 1 seqüência de consulta (b)