Prehospital triage of acute aortic syndrome using a machine learning algorithm

Br J Surg. 2020 Jul;107(8):995-1003. doi: 10.1002/bjs.11442. Epub 2020 Feb 11.

Abstract

Background: Acute aortic syndrome (AAS) comprises a complex and potentially fatal group of conditions requiring emergency specialist management. The aim of this study was to build a prediction algorithm to assist prehospital triage of AAS.

Methods: Details of consecutive patients enrolled in a regional specialist aortic network were collected prospectively. Two prediction algorithms for AAS based on logistic regression and an ensemble machine learning method called SuperLearner (SL) were developed. Undertriage was defined as the proportion of patients with AAS not transported to the specialist aortic centre, and overtriage as the proportion of patients with alternative diagnoses but transported to the specialist aortic centre.

Results: Data for 976 hospital admissions between February 2010 and June 2017 were included; 609 (62·4 per cent) had AAS. Overtriage and undertriage rates were 52·3 and 16·1 per cent respectively. The population was divided into a training cohort (743 patients) and a validation cohort (233). The area under the receiver operating characteristic (ROC) curve values for the logistic regression score and the SL were 0·68 (95 per cent c.i. 0·64 to 0·72) and 0·87 (0·84 to 0·89) respectively (P < 0·001) in the training cohort, and 0·67 (0·60 to 0·74) and 0·73 (0·66 to 0·79) in the validation cohort (P = 0·038). The logistic regression score was associated with undertriage and overtriage rates of 33·7 (bootstrapped 95 per cent c.i. 29·3 to 38·3) and 7·2 (4·8 to 9·8) per cent respectively, whereas the SL yielded undertriage and overtriage rates of 1·0 (0·3 to 2·0) and 30·2 (25·8 to 34·8) per cent respectively.

Conclusion: A machine learning prediction model performed well in discriminating AAS and could be clinically useful in prehospital triage of patients with suspected AAS.

Antecedentes: Los síndromes aórticos agudos (aortic acute syndromes, AAS) constituyen un grupo complejo y potencialmente letal de entidades que requieren un tratamiento especializado en emergencias. El objetivo de este estudio fue construir un algoritmo de predicción para ayudar a la selección prehospitalaria de los AAS. MÉTODOS: Se recogieron prospectivamente una serie de pacientes consecutivos inscritos en una red regional especializada en patología aórtica. Se desarrollaron dos algoritmos de predicción para AAS basados en una regresión logística y en un método de aprendizaje automático denominado Super Learner (SL). Undertriage (infra-selección) se definió como la proporción de pacientes con AAS no transportados al centro especializado en patología aórtica y el overtriage (sobre-selección) como la proporción de pacientes con diagnósticos alternativos al AAS pero transportados al centro especializado en patología aórtica.

Resultados: Se incluyeron los datos de 976 ingresos hospitalarios entre febrero de 2010 y junio de 2017, con 609 (62,4%) AAS. Las tasas de overtriage y undertriage fueron del 52,3% y del 16,1%, respectivamente. La población se dividió en una cohorte de entrenamiento (n = 743) y en una cohorte de validación (n = 233). El área bajo la curva ROC para la puntuación de regresión logística y el SL fueron de 0,68 (0,64, 0,72) y de 0,87 (0,84, 0,89), respectivamente (P < 0,001) en la cohorte de entrenamiento, y de 0,67 (0,60, 0,74) y de 0,73 (0,66, 0,79) en la cohorte de validación (P = 0,038). La puntuación de regresión logística se asoció con tasas de undertriage y overtriage de 33,7% (i.c. del 95% bootstrapped 29,3%, 38,3%) y de 7,2% (4,8%, 9,8%), respectivamente, mientras que el SL presentó tasas de undertriage y overtriage de 1,0% (0,3%, 2,0%) y de 30,2% (25,8%, 34,8%), respectivamente. CONCLUSIÓN: El modelo de predicción de aprendizaje automático funcionó bien para discriminar AAS y podría ser clínicamente útil en la selección prehospitalaria de pacientes con sospecha de síndrome aórtico agudo.

Publication types

  • Observational Study

MeSH terms

  • Acute Disease
  • Aged
  • Algorithms*
  • Aortic Diseases / diagnosis*
  • Aortic Diseases / mortality
  • Aortic Diseases / therapy
  • Clinical Decision Rules*
  • Emergency Medical Services / methods*
  • Female
  • Hospital Mortality
  • Humans
  • Logistic Models
  • Machine Learning*
  • Male
  • Middle Aged
  • Prognosis
  • Prospective Studies
  • Reproducibility of Results
  • Syndrome
  • Triage / methods*