Los modelos básicos preentrenados (PFM) se consideran la base para varias tareas posteriores con diferentes modalidades de datos. Un modelo base preentrenado como BERT, GPT-3, MAE, DALLE-E y ChatGPT se entrena con datos enriquecidos que proporcionan una inicialización de parámetros razonable para una variedad de aplicaciones posteriores. La idea de pre-entrenamiento detrás de los PFM juega un papel importante en la aplicación de modelos grandes. A diferencia de los métodos anteriores que usan módulos de convolución y recurrentes para la extracción de características, el método de preentrenamiento generativo (GPT) usa transformadores como extracción de características y se entrena en grandes conjuntos de datos usando un paradigma autorregresivo. De manera similar, los transformadores de manzanas BERT se utilizan para entrenar grandes conjuntos de datos como un modelo de lenguaje contextual. Recientemente, ChatGPT ha mostrado un éxito prometedor en modelos de lenguaje grandes que emplean un modelo de lenguaje autorregresivo con cero disparos o pocas indicaciones de visualización. Con el extraordinario éxito de los PFM, la IA ha hecho olas en una variedad de áreas en los últimos años. En la literatura se han propuesto numerosos métodos, conjuntos de datos y métricas de evaluación, y la necesidad de una encuesta actualizada es cada vez mayor. Este estudio proporciona una descripción general completa de los avances de la investigación actual, los desafíos actuales y futuros y las oportunidades para los PFM en texto, imágenes, gráficos y otras modalidades de datos.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Síganos en Twitter: https://twitter.com/InsideBigData1
Visítenos en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW