La arquitectura Nucleotide Transformer (NT) es una familia de modelos fundacionales de inteligencia artificial diseñada para aprender representaciones de secuencias de ADN mediante Transformers bidireccionales, tokenización de nucleótidos y aprendizaje autosupervisado a gran escala.
Su principal innovación consiste en aplicar el paradigma de los grandes modelos de lenguaje a datos genómicos, utilizando extensos conjuntos de secuencias procedentes de miles de genomas humanos y centenares de especies para aprender patrones biológicos reutilizables.
Nucleotide Transformer fue desarrollada por un equipo de investigadores encabezado por Hugo Dalla-Torre, Liam Gonzalez, Javier Mendoza-Revilla y Nicolas Lopez Carranza, con contribuciones de InstaDeep, NVIDIA y otras instituciones.
La investigación fue difundida inicialmente como prepublicación en 2023. Su artículo científico principal, Nucleotide Transformer: Building and Evaluating Robust Foundation Models for Human Genomics, se publicó en línea el 28 de noviembre de 2024 y apareció en el volumen 22 de la revista Nature Methods en febrero de 2025.
La familia de modelos estudiada en esa publicación incluye arquitecturas con tamaños comprendidos entre 50 millones y 2.500 millones de parámetros.
Entre sus principales características se encuentran el uso de tokenización mediante grupos de seis nucleótidos, mecanismos de autoatención bidireccional y preentrenamiento mediante Masked Language Modeling.
Los investigadores desarrollaron modelos entrenados sobre tres tipos importantes de datos: el genoma humano de referencia, una colección de 3.202 genomas humanos genéticamente diversos y un conjunto de 850 genomas de distintas especies.
Esta diversidad permite investigar si los modelos fundacionales pueden aprender representaciones genómicas que se transfieran a múltiples tareas biológicas.
La investigación también introdujo una segunda generación, denominada Nucleotide Transformer v2 (NT-v2), que incorpora representaciones posicionales rotatorias, transformaciones SwiGLU y ventanas de contexto mayores.
Los modelos NT se evaluaron en tareas de predicción de promotores, sitios de empalme, marcas epigenéticas, unión de factores de transcripción y otras propiedades genómicas.
Los resultados demostraron que las representaciones aprendidas mediante preentrenamiento pueden adaptarse a diferentes problemas utilizando cantidades relativamente limitadas de datos etiquetados.
En esta guía exploraremos qué es Nucleotide Transformer, cómo funciona su arquitectura, por qué utiliza k-mers no superpuestos, cómo se entrenan sus modelos y cuáles son las diferencias entre NT-v1, NT-v2, DNABERT-2 y HyenaDNA.
También incluiremos ejemplos prácticos en Python, extracción de embeddings, comparación de secuencias, estrategias de fine-tuning y metadatos SEO preparados para WordPress.
¿Qué es la arquitectura Nucleotide Transformer?
Nucleotide Transformer es una familia de modelos fundacionales especializados en secuencias genómicas.
Un modelo fundacional se entrena inicialmente sobre un gran conjunto de datos utilizando una tarea general de aprendizaje.
Posteriormente, sus representaciones pueden utilizarse o adaptarse a diferentes tareas específicas.
En procesamiento del lenguaje natural, modelos como BERT demostraron que el aprendizaje autosupervisado permite desarrollar representaciones contextualizadas de palabras y fragmentos de texto.
Nucleotide Transformer aplica una estrategia relacionada al ADN.
En lugar de procesar frases, recibe secuencias de nucleótidos.
Por ejemplo:
ATGCGTACCTGATCGATCGTAGCTAGCT
La secuencia se convierte en tokens que atraviesan capas Transformer.
El modelo aprende representaciones vectoriales que incorporan información sobre los patrones y el contexto de los nucleótidos.
Estas representaciones pueden utilizarse posteriormente para tareas como clasificación de regiones genómicas o predicción de determinadas propiedades moleculares.
Nucleotide Transformer no es un chatbot ni un modelo de lenguaje natural convencional.
Su objetivo consiste en modelar secuencias biológicas y producir características útiles para investigación genómica.
Origen y desarrollo de Nucleotide Transformer
La evolución de Nucleotide Transformer está relacionada con el desarrollo de modelos fundacionales en biología computacional.
En 2017, la arquitectura Transformer introdujo mecanismos de autoatención que permitieron mejorar el aprendizaje de dependencias entre elementos de una secuencia.
Posteriormente, BERT demostró que los modelos bidireccionales podían aprender representaciones transferibles mediante preentrenamiento autosupervisado.
Los investigadores comenzaron a aplicar estos principios a diferentes datos biológicos.
En proteínas aparecieron modelos capaces de aprender patrones a partir de secuencias de aminoácidos.
En genómica surgieron arquitecturas como DNABERT.
Sin embargo, uno de los desafíos principales consistía en disponer de modelos genómicos entrenados sobre datos suficientemente diversos.
Un único genoma humano de referencia no representa toda la variabilidad genética de la especie.
Además, muchas propiedades moleculares comparten regularidades entre organismos.
Los investigadores de Nucleotide Transformer propusieron estudiar sistemáticamente cómo influían el tamaño del modelo, la diversidad del entrenamiento y los mecanismos de representación en el rendimiento genómico.
El resultado fue una familia de Transformers con diferentes tamaños y conjuntos de datos.
Posteriormente, NT-v2 incorporó optimizaciones arquitectónicas que permitieron desarrollar modelos más pequeños y eficientes.
¿Por qué utilizar modelos fundacionales para ADN?
El ADN contiene información distribuida a lo largo de extensas secuencias.
Muchas tareas genómicas requieren identificar patrones relacionados con funciones biológicas.
Por ejemplo:
- Regiones promotoras.
- Sitios de empalme.
- Elementos reguladores.
- Sitios de unión de factores de transcripción.
- Marcas epigenéticas asociadas a regiones.
- Variantes que pueden modificar determinadas propiedades moleculares.
Los enfoques tradicionales de aprendizaje supervisado necesitan conjuntos de datos etiquetados para cada tarea.
Sin embargo, producir etiquetas biológicas puede requerir experimentos costosos.
Los modelos fundacionales ofrecen una estrategia diferente.
Primero, aprenden regularidades de grandes cantidades de secuencias sin etiquetas funcionales específicas.
Después, utilizan ese conocimiento estadístico como punto de partida para tareas posteriores.
Este procedimiento se denomina transfer learning.
Su ventaja potencial consiste en reducir la cantidad de datos etiquetados necesarios para obtener resultados útiles.
Sin embargo, la calidad de la transferencia depende del modelo, de los datos y de la tarea concreta.
¿Qué datos utiliza Nucleotide Transformer?
Una de las contribuciones más importantes de NT es la diversidad de sus conjuntos de preentrenamiento.
Los investigadores utilizaron tres fuentes principales.
1. Genoma humano de referencia
La primera fuente corresponde al genoma humano de referencia GRCh38/hg38.
Este conjunto proporciona una representación de referencia del ADN humano.
Sin embargo, no incluye toda la diversidad genética de la población.
2. Diversidad genética humana
La segunda fuente incorpora información de 3.202 genomas humanos procedentes de recursos relacionados con el proyecto 1000 Genomes.
Estos datos permiten introducir variaciones genéticas presentes entre diferentes individuos.
El modelo puede observar secuencias alternativas a las de la referencia.
Esto resulta importante porque determinadas propiedades genómicas dependen de variantes que no aparecen en una única secuencia de referencia.
3. Genomas de múltiples especies
La tercera fuente contiene 850 genomas procedentes de organismos diversos.
El conjunto incorpora especies de diferentes grupos biológicos, incluidos organismos modelo.
Esta diversidad permite estudiar patrones compartidos y diferencias evolutivas.
¿Por qué son importantes los tres conjuntos?
Porque permiten investigar tres preguntas diferentes.
¿Es suficiente entrenar sobre una referencia humana?
¿Mejora el modelo cuando observa diversidad genética humana?
¿Pueden aprenderse representaciones útiles a partir de organismos muy diferentes?
Las comparaciones experimentales ayudan a comprender cómo influyen los datos de preentrenamiento en la generalización.
Las principales versiones de Nucleotide Transformer
La investigación original desarrolló dos generaciones principales.
Primera generación: NT-v1
La primera generación incluye cuatro modelos principales.
| Modelo | Parámetros aproximados | Datos de preentrenamiento |
|---|---|---|
| Human ref 500M | 500 millones | Genoma humano de referencia |
| 1000G 500M | 500 millones | 3.202 genomas humanos |
| 1000G 2.5B | 2.500 millones | 3.202 genomas humanos |
| Multispecies 2.5B | 2.500 millones | 850 genomas de distintas especies |
Estos modelos permitieron estudiar el impacto de aumentar la escala y diversificar los datos.
Segunda generación: NT-v2
Los investigadores desarrollaron posteriormente cuatro modelos optimizados.
| Modelo | Parámetros aproximados | Datos |
|---|---|---|
| NT-v2 50M | 50 millones | Multiespecie |
| NT-v2 100M | 100 millones | Multiespecie |
| NT-v2 250M | 250 millones | Multiespecie |
| NT-v2 500M | 500 millones | Multiespecie |
NT-v2 utiliza modificaciones arquitectónicas para mejorar la eficiencia del aprendizaje y la inferencia.
La familia completa publicada en Nature Methods abarca desde 50 millones hasta 2.500 millones de parámetros.
¿Cómo funciona Nucleotide Transformer?
El funcionamiento puede dividirse en ocho etapas.
Paso 1. Recibir una secuencia de ADN
Por ejemplo:
ACGTGTACGTGCACGGACGACTAGTCAGCA
Paso 2. Tokenización
La secuencia se divide principalmente en fragmentos no superpuestos de seis nucleótidos.
Paso 3. Conversión en identificadores
Cada fragmento se transforma en un identificador numérico.
Paso 4. Embeddings de entrada
Los identificadores se convierten en representaciones vectoriales.
Paso 5. Información posicional
El modelo incorpora la posición de los tokens mediante el mecanismo correspondiente a su versión.
Paso 6. Encoder Transformer
Las representaciones atraviesan múltiples bloques de autoatención bidireccional y redes feed-forward.
Paso 7. Generación de embeddings contextualizados
El encoder produce representaciones que incorporan información del contexto disponible.
Paso 8. Predicción o clasificación
Durante el preentrenamiento, el modelo reconstruye tokens ocultos.
Durante tareas posteriores, sus representaciones pueden utilizarse para clasificación o predicción de propiedades genómicas.
¿Qué son los k-mers no superpuestos?
La tokenización es una de las características más importantes de Nucleotide Transformer.
El modelo utiliza principalmente 6-mers no superpuestos.
Un 6-mer es una secuencia formada por seis nucleótidos consecutivos.
Consideremos:
ACGTGTACGTGCACGGACGACTAG
Podemos dividirla en:
ACGTGT | ACGTGC | ACGGAC | GACTAG
Cada token contiene seis bases.
A diferencia de DNABERT original, que utiliza k-mers solapados, Nucleotide Transformer avanza seis posiciones para construir el siguiente fragmento completo.
¿Por qué es importante?
Porque reduce significativamente el número de tokens.
Si tenemos una secuencia de 6.000 nucleótidos sin símbolos ambiguos, podemos representarla mediante aproximadamente 1.000 tokens de seis bases.
En cambio, una tokenización con 6-mers superpuestos produciría:
[
6000-6+1=5995
]
tokens.
Esta diferencia puede tener un impacto considerable sobre el coste de atención.
¿Cuántos tokens produce Nucleotide Transformer?
Para una secuencia formada exclusivamente por A, C, G y T, y con longitud divisible entre seis, el número de tokens de contenido es:
[
N=\frac{L}{6}
]
Donde (L) es la longitud en nucleótidos.
Por ejemplo:
| Longitud de ADN | Tokens de contenido aproximados |
|---|---|
| 600 nucleótidos | 100 |
| 1.200 nucleótidos | 200 |
| 3.000 nucleótidos | 500 |
| 6.000 nucleótidos | 1.000 |
| 12.000 nucleótidos | 2.000 |
En una secuencia real, el número puede cambiar por bases desconocidas, fragmentos incompletos y tokens especiales.
El tokenizador oficial trata la letra N de manera particular.
No agrupa normalmente N dentro de los 6-mers.
También puede tokenizar individualmente nucleótidos que no formen un grupo completo de seis.
Por ello, no debe asumirse que cualquier secuencia de 6.000 bases produce exactamente 1.000 tokens.
¿Qué ocurre con las bases desconocidas?
En datos genómicos puede aparecer el símbolo N.
Este símbolo suele indicar una posición cuya base no se conoce o no ha sido determinada.
Por ejemplo:
ACGTGTACNTGCACGGANCG
El tokenizador debe gestionar estas posiciones sin tratarlas como si fueran necesariamente A, C, G o T.
La implementación oficial de Nucleotide Transformer separa los fragmentos válidos en 6-mers cuando resulta posible.
Las posiciones que contienen N y determinados fragmentos residuales se representan mediante tokens individuales.
Esta característica permite conservar información sobre regiones ambiguas.
Sin embargo, las secuencias con numerosas posiciones N pueden producir más tokens que otras secuencias de longitud equivalente.
Esto afecta a la capacidad real de contexto.
Tamaño del vocabulario
Con cuatro nucleótidos y grupos de seis bases, el número de combinaciones posibles es:
[
4^6=4096
]
El tokenizador incorpora además símbolos especiales y otros tokens necesarios para gestionar secuencias.
Los vocabularios y configuraciones publicados pueden diferir ligeramente en el recuento total de tokens reservados.
Por ello, para conocer el tamaño exacto de un checkpoint conviene consultar:
tokenizer.vocab_size
o la configuración oficial del modelo.
La diferencia entre el número de 6-mers posibles y el vocabulario total corresponde a los tokens adicionales.
¿Por qué utilizar seis nucleótidos por token?
Los investigadores eligieron seis bases como un compromiso entre longitud de secuencia y tamaño de vocabulario.
Si utilizamos tokens de un nucleótido, el vocabulario es pequeño.
Sin embargo, una secuencia larga produce muchos tokens.
Si utilizamos tokens de doce nucleótidos, el número de combinaciones posibles es:
[
4^{12}=16.777.216
]
Esto produciría un vocabulario potencialmente muy grande.
Utilizar seis nucleótidos proporciona un equilibrio.
La secuencia se reduce aproximadamente a una sexta parte de su longitud original en tokens, mientras que el vocabulario permanece relativamente manejable.
El artículo original también documenta comparaciones que respaldaron esta elección.
Sin embargo, no significa que los 6-mers sean óptimos para todos los modelos genómicos.
Arquitecturas como DNABERT-2 utilizan tokenización BPE, mientras que HyenaDNA utiliza un token por nucleótido.
Arquitectura interna de Nucleotide Transformer
Los modelos NT originales utilizan encoders Transformer.
Sus componentes principales son:
Embeddings de tokens
Transforman los 6-mers en vectores numéricos.
Representación posicional
Permite al modelo distinguir las posiciones de los tokens dentro de una secuencia.
Multi-Head Self-Attention
Calcula relaciones contextuales entre posiciones.
Redes feed-forward
Aplican transformaciones no lineales sobre las representaciones.
Layer Normalization
Contribuye a estabilizar el entrenamiento.
Residual Connections
Facilitan el flujo de información entre capas.
Cabeza de Masked Language Modeling
Permite reconstruir tokens ocultos durante el preentrenamiento.
El modelo produce representaciones contextualizadas que pueden reutilizarse posteriormente en diferentes tareas.
Autoatención bidireccional en Nucleotide Transformer
Nucleotide Transformer utiliza atención bidireccional.
Esto significa que cada token puede incorporar información procedente de posiciones anteriores y posteriores dentro de la ventana de entrada.
La atención escalada se expresa mediante:
\operatorname{softmax}
\left(
\frac{QK^T}{\sqrt{d_k}}
\right)V
]
Donde:
- (Q) representa consultas.
- (K) representa claves.
- (V) representa valores.
- (d_k) representa la dimensión de las claves.
La atención permite construir representaciones dependientes del contexto.
Por ejemplo, un mismo 6-mer puede adquirir representaciones diferentes según las secuencias que lo rodean.
Esta propiedad resulta útil porque la función de muchos patrones genómicos depende del contexto.
Sin embargo, la autoatención no identifica automáticamente relaciones causales.
Los pesos de atención son cantidades internas aprendidas y su interpretación biológica requiere métodos adicionales.
¿Qué es Masked Language Modeling en Nucleotide Transformer?
Masked Language Modeling es la tarea principal de preentrenamiento de la familia NT original.
El procedimiento consiste en ocultar determinadas posiciones y entrenar el modelo para reconstruirlas.
Por ejemplo:
ACGTGT ACGTGC ACGGAC GACTAG
Puede convertirse en:
ACGTGT [MASK] ACGGAC GACTAG
El modelo debe predecir el token oculto utilizando el contexto disponible.
La función de pérdida se expresa como:
-\sum_{i\in M}
\log P(x_i\mid x_{\setminus M})
]
Donde (M) representa las posiciones seleccionadas para predicción.
El entrenamiento permite aprender regularidades del ADN sin disponer de etiquetas funcionales para cada secuencia.
En la investigación original, se seleccionaba aproximadamente el 15 % de los tokens para la tarea de reconstrucción.
El procedimiento específico de sustitución variaba según el conjunto de entrenamiento.
Por ejemplo, el tratamiento de ruido aleatorio en el conjunto de genomas humanos diversos no era exactamente idéntico al utilizado en otros conjuntos.
¿Qué aprende el modelo durante el preentrenamiento?
Nucleotide Transformer aprende patrones estadísticos presentes en grandes cantidades de ADN.
Entre ellos pueden encontrarse:
- Motivos frecuentes.
- Combinaciones de nucleótidos.
- Dependencias contextuales.
- Patrones asociados con regiones funcionales.
- Regularidades compartidas entre especies.
- Características de variabilidad genética.
Estas representaciones pueden convertirse en características útiles para tareas posteriores.
Sin embargo, es importante distinguir entre aprender patrones y comprender causalmente los mecanismos biológicos.
El modelo no recibe automáticamente información sobre todas las proteínas, procesos celulares o interacciones tridimensionales del ADN.
Su conocimiento procede principalmente de las secuencias y de los objetivos de entrenamiento utilizados.
Primera generación: Nucleotide Transformer v1
Los modelos NT-v1 utilizan representaciones posicionales aprendidas y una arquitectura de encoder Transformer.
Sus ventanas originales se diseñaron para secuencias genómicas de aproximadamente 6 kilobases.
La longitud máxima habitual es cercana a 1.000 tokens de contenido, con tokens especiales adicionales según la implementación.
Los cuatro modelos principales permiten comparar diferentes combinaciones de escala y datos.
Human ref 500M
Utiliza el genoma humano de referencia.
Permite estudiar representaciones aprendidas a partir de una fuente genómica relativamente homogénea.
1000G 500M
Utiliza información de 3.202 genomas humanos.
Permite introducir diversidad genética en el preentrenamiento.
1000G 2.5B
Aumenta considerablemente el tamaño del modelo manteniendo datos humanos diversos.
Multispecies 2.5B
Utiliza genomas de 850 especies.
Permite estudiar transferencia y generalización en diferentes organismos.
Estos modelos constituyen la base de las comparaciones originales publicadas en Nature Methods.
Segunda generación: Nucleotide Transformer v2
NT-v2 introduce modificaciones arquitectónicas orientadas a mejorar la eficiencia.
Entre ellas se encuentran:
Rotary Positional Embeddings
Sustituyen los embeddings posicionales aprendidos de la primera generación.
SwiGLU
Introduce transformaciones feed-forward con compuertas y activaciones basadas en Swish.
Eliminación de determinados biases y dropout
Reduce algunos componentes y modifica la parametrización del modelo.
Ventana de contexto mayor
NT-v2 admite secuencias de hasta aproximadamente 12 kilobases bajo las condiciones documentadas.
Entrenamiento más extenso
Los modelos grandes de NT-v2 fueron entrenados durante más tokens que determinadas configuraciones originales.
Estas modificaciones permitieron alcanzar resultados competitivos utilizando modelos significativamente más pequeños.
¿Qué son Rotary Positional Embeddings?
Rotary Positional Embeddings (RoPE) es una técnica que incorpora información posicional mediante rotaciones de las representaciones de consultas y claves.
En lugar de sumar simplemente un vector de posición a los embeddings, RoPE aplica transformaciones que dependen de la posición.
Una propiedad importante es que los productos internos entre consultas y claves pueden incorporar información sobre distancias relativas.
De forma conceptual:
[
q_t’=R(t)q_t
]
[
k_j’=R(j)k_j
]
Donde (R(t)) representa una rotación determinada por la posición.
La atención se calcula utilizando las representaciones transformadas.
Esta estrategia puede resultar útil para modelar posiciones relativas dentro de una secuencia.
En NT-v2, RoPE forma parte de las optimizaciones introducidas respecto a NT-v1.
Sin embargo, no garantiza por sí solo que el modelo pueda extrapolar correctamente a cualquier longitud.
La calidad depende del entrenamiento y de las demás características arquitectónicas.
¿Qué es SwiGLU?
SwiGLU (Swish-Gated Linear Unit) es una función de activación con compuerta utilizada en redes feed-forward modernas.
Una representación general es:
\operatorname{Swish}(xW_1)
\odot
(xW_2)
]
Donde:
[
\operatorname{Swish}(z)=z\sigma(z)
]
La función introduce una compuerta multiplicativa que controla la contribución de las características.
NT-v2 utiliza este tipo de transformación como parte de su arquitectura optimizada.
La ventaja potencial es mejorar la expresividad de las redes feed-forward.
Sin embargo, su impacto depende de la configuración completa.
Longitud de contexto: NT-v1 frente a NT-v2
| Característica | NT-v1 | NT-v2 |
|---|---|---|
| Tokenización | 6-mers no superpuestos | 6-mers no superpuestos |
| Ventana nominal aproximada | 6 kilobases | 12 kilobases |
| Tokens máximos aproximados | 1.000 | 2.048 |
| Representación posicional | Aprendida | RoPE |
| Feed-forward | Diseño original | SwiGLU |
| Tamaños principales | 500M y 2.5B | 50M, 100M, 250M y 500M |
| Preentrenamiento | Datos humanos o multiespecie | Multiespecie |
Los límites exactos dependen del checkpoint y del tratamiento de tokens especiales.
Además, las bases N y los fragmentos que no pueden agruparse en 6-mers pueden modificar la relación entre longitud de ADN y número de tokens.
Por ello, conviene comprobar la longitud tokenizada antes de ejecutar el modelo.
Resultados experimentales de Nucleotide Transformer
La investigación publicada en Nature Methods evaluó la familia Nucleotide Transformer mediante múltiples tareas de predicción genómica.
Entre los resultados principales se encuentran los siguientes.
Evaluación en 18 tareas genómicas
Los investigadores utilizaron 18 tareas de predicción para estudiar la transferencia de representaciones.
Estas tareas incluían problemas relacionados con regiones reguladoras y características moleculares.
Comparación frente a modelos especializados
Se realizaron comparaciones con DNABERT-2, HyenaDNA, Enformer y otros modelos utilizados como referencia.
En la evaluación general original, el modelo Multispecies 2.5B obtuvo el mejor rendimiento agregado entre las alternativas comparadas.
Sin embargo, Enformer destacó en algunas tareas específicas, como determinadas predicciones relacionadas con enhancers y cromatina.
Predicción de sitios de empalme
Los modelos NT fueron evaluados sobre secuencias relacionadas con el empalme.
Los investigadores observaron resultados competitivos frente a sistemas especializados.
Marcas epigenéticas
El estudio incluyó tareas relacionadas con modificaciones de histonas y regiones de cromatina.
Variantes genéticas
Los investigadores también estudiaron puntuaciones obtenidas sin entrenamiento supervisado específico para priorizar determinadas variantes.
Eficiencia de NT-v2
Los modelos NT-v2 mostraron que era posible conseguir un rendimiento comparable al de modelos anteriores más grandes utilizando arquitecturas de menor tamaño.
El artículo destacó un modelo que alcanzó prestaciones similares a las de una referencia anterior con aproximadamente una décima parte de sus parámetros.
Estos resultados corresponden al protocolo original de evaluación y no implican superioridad universal frente a todos los modelos posteriores.
¿Qué significa Zero-Shot Variant Prioritization?
Zero-Shot Variant Prioritization es una estrategia para utilizar un modelo preentrenado en el análisis de variantes sin entrenar necesariamente un clasificador específico para cada tarea.
Por ejemplo, imaginemos dos secuencias.
La primera corresponde a una región de referencia.
La segunda contiene una sustitución de un nucleótido.
Podemos calcular una puntuación del modelo sobre ambas.
La diferencia puede utilizarse como una señal exploratoria.
Una formulación conceptual es:
s(x_{\text{referencia}})
]
Donde (s) representa una puntuación definida sobre la secuencia o los tokens afectados.
Sin embargo, una diferencia de puntuación no significa automáticamente que una variante sea patogénica.
Los modelos de secuencia aprenden regularidades estadísticas, no todas las relaciones clínicas.
La interpretación debe considerar otras evidencias genéticas, funcionales y clínicas.
Aplicaciones prácticas de Nucleotide Transformer
1. Clasificación de promotores
Los embeddings de NT pueden utilizarse para desarrollar clasificadores de regiones promotoras.
2. Predicción de sitios de empalme
Los modelos pueden adaptarse a tareas relacionadas con posiciones de empalme.
3. Identificación de regiones reguladoras
Las representaciones pueden contribuir al análisis de secuencias asociadas con regulación génica.
4. Predicción de marcas epigenéticas
Los modelos pueden utilizarse como base de clasificadores que predicen determinadas características epigenéticas a partir de ADN.
5. Análisis de factores de transcripción
Las representaciones pueden adaptarse a tareas relacionadas con posibles sitios de unión.
6. Priorización de variantes
Las puntuaciones del modelo pueden incorporarse como características dentro de sistemas especializados.
7. Transferencia entre especies
Los modelos multiespecie permiten investigar qué patrones se generalizan entre organismos.
8. Extracción de embeddings
NT puede utilizarse para obtener representaciones vectoriales de secuencias que posteriormente se analizan mediante algoritmos clásicos de aprendizaje automático.
Ejemplo práctico: tokenización mediante 6-mers con Python
Antes de ejecutar un modelo preentrenado, podemos implementar una tokenización educativa.
def tokenize_sixmers(sequence): sequence = sequence.upper().strip() tokens = [] i = 0 while i < len(sequence): if sequence[i] not in "ACGT": tokens.append(sequence[i]) i += 1 continue run_start = i while ( i < len(sequence) and sequence[i] in "ACGT" ): i += 1 run = sequence[run_start:i] for j in range(0, len(run), 6): fragment = run[j:j + 6] if len(fragment) == 6: tokens.append(fragment) else: tokens.extend(fragment) return tokensdna = "ACGTGTACGTGCACGGACGACTAGTCAGCA"tokens = tokenize_sixmers(dna)print("DNA:", dna)print("Tokens:", tokens)print("Number of tokens:", len(tokens))
El programa divide secuencias válidas en grupos de seis bases.
Las posiciones no válidas para formar un 6-mer completo se conservan individualmente.
Este ejemplo reproduce conceptualmente el procedimiento descrito por los investigadores.
Sin embargo, no sustituye al tokenizador oficial.
Los identificadores de vocabulario y los tokens especiales deben obtenerse del checkpoint utilizado.
Ejemplo: comparar k-mers superpuestos y no superpuestos
Podemos calcular la diferencia entre ambos enfoques.
def overlapping_kmers(sequence, k=6): return [ sequence[i:i + k] for i in range(len(sequence) - k + 1) ]dna = "ACGTAC" * 1000overlapping = overlapping_kmers(dna, 6)non_overlapping = tokenize_sixmers(dna)print("DNA length:", len(dna))print( "Overlapping tokens:", len(overlapping))print( "Non-overlapping tokens:", len(non_overlapping))print( "Reduction factor:", len(overlapping) / len(non_overlapping))
Para esta secuencia de 6.000 nucleótidos, la tokenización superpuesta produce 5.995 tokens.
La tokenización no superpuesta produce 1.000.
Esto ilustra la reducción de longitud.
No obstante, ambas estrategias proporcionan representaciones diferentes de una misma secuencia.
La eficiencia de tokenización no debe confundirse con la precisión biológica del modelo.
Ejemplo práctico: cargar Nucleotide Transformer v2 con Hugging Face
Una manera de empezar es utilizar el checkpoint:
InstaDeepAI/nucleotide-transformer-v2-50m-multi-species
Este modelo contiene aproximadamente 50 millones de parámetros.
Es una opción más accesible para experimentación que los modelos de 2.500 millones de parámetros.
Primero, instalamos las dependencias:
pip install torch transformers
Después, cargamos el modelo y el tokenizador.
import torchfrom transformers import ( AutoTokenizer, AutoModelForMaskedLM)model_name = ( "InstaDeepAI/" "nucleotide-transformer-v2-50m-multi-species")tokenizer = AutoTokenizer.from_pretrained( model_name, trust_remote_code=True)model = AutoModelForMaskedLM.from_pretrained( model_name, trust_remote_code=True)dna = "ACGTGTACGTGCACGGACGACTAGTCAGCA"inputs = tokenizer( dna, return_tensors="pt")model.eval()with torch.inference_mode(): outputs = model(**inputs)print("Input tokens:", inputs["input_ids"].shape)print("Prediction logits:", outputs.logits.shape)
El programa convierte la secuencia de ADN en tokens y ejecuta el modelo.
La salida contiene logits para la predicción de tokens.
No constituye directamente una predicción de promotores, sitios de empalme o patogenicidad.
Para estas tareas se necesita una cabeza de clasificación especializada o un procedimiento posterior de análisis.
Nota de compatibilidad y seguridad: algunos checkpoints NT utilizan código de modelado personalizado. trust_remote_code=True permite ejecutarlo y debe emplearse únicamente después de revisar el código y, preferiblemente, fijar una revisión confiable. La compatibilidad depende de las versiones de Transformers y PyTorch. Los checkpoints pueden tener condiciones de licencia no comercial que deben comprobarse antes de cualquier aplicación comercial.
Ejemplo: extraer embeddings genómicos
Podemos utilizar Nucleotide Transformer como extractor de representaciones.
El siguiente ejemplo obtiene las capas ocultas y calcula un embedding global de la secuencia.
import torchmodel.eval()with torch.inference_mode(): outputs = model( **inputs, output_hidden_states=True ) hidden = outputs.hidden_states[-1] mask = inputs["attention_mask"].unsqueeze(-1) sequence_embedding = ( (hidden * mask).sum(dim=1) / mask.sum(dim=1).clamp_min(1) )print("Token embeddings:", hidden.shape)print( "Sequence embedding:", sequence_embedding.shape)
El programa utiliza mean pooling para producir un vector por secuencia.
Esta representación puede utilizarse posteriormente para clustering, visualización o clasificación.
El código calcula una media sobre los tokens que no son padding.
Para experimentos más rigurosos también puede resultar conveniente excluir tokens especiales y comparar diferentes capas del modelo.
El mejor método de agregación depende de la tarea.
Ejemplo: comparar dos secuencias de ADN
Podemos utilizar embeddings para calcular una similitud coseno.
import torchimport torch.nn.functional as Fdef get_embedding(dna_sequence): encoded = tokenizer( dna_sequence, return_tensors="pt" ) with torch.inference_mode(): result = model( **encoded, output_hidden_states=True ) hidden = result.hidden_states[-1] mask = encoded["attention_mask"].unsqueeze(-1) embedding = ( (hidden * mask).sum(dim=1) / mask.sum(dim=1).clamp_min(1) ) return embeddingreference = "ACGTGTACGTGCACGGACGACTAGTCAGCA"variant = "ACGTGTACGTGCACGGACAACTAGTCAGCA"embedding_a = get_embedding(reference)embedding_b = get_embedding(variant)similarity = F.cosine_similarity( embedding_a, embedding_b)print("Similarity:", similarity.item())
El resultado representa una similitud matemática entre vectores.
No constituye una medida directa de función biológica.
Dos secuencias con embeddings similares pueden presentar diferencias funcionales importantes.
De la misma manera, una diferencia elevada entre representaciones no permite concluir que una variante sea patogénica.
Ejemplo: enmascarar un token y obtener predicciones
Nucleotide Transformer utiliza Masked Language Modeling.
Podemos demostrar esta tarea ocultando un token de una secuencia.
import torchdna = "ACGTAC" * 12encoded = tokenizer( dna, return_tensors="pt")input_ids = encoded["input_ids"].clone()# Elegir una posición interna de contenido.mask_position = 3input_ids[0, mask_position] = tokenizer.mask_token_idmodel.eval()with torch.inference_mode(): outputs = model( input_ids=input_ids, attention_mask=encoded["attention_mask"] )predicted_id = outputs.logits[ 0, mask_position].argmax().item()predicted_token = tokenizer.convert_ids_to_tokens( predicted_id)print("Predicted token:", predicted_token)
El modelo intenta reconstruir el token oculto utilizando el contexto disponible.
El resultado representa una predicción de un fragmento de secuencia.
No debe interpretarse como una recomendación de modificación genética ni como una evaluación funcional validada.
El ejercicio demuestra la tarea autosupervisada utilizada durante el preentrenamiento.
Ejemplo con la biblioteca oficial de JAX
Los investigadores publicaron una implementación oficial basada en JAX y Haiku.
El proyecto está disponible en:
El siguiente ejemplo sigue la estructura de la documentación oficial.
import haiku as hkimport jaximport jax.numpy as jnpfrom nucleotide_transformer.pretrained import ( get_pretrained_model)parameters, forward_fn, tokenizer, config = ( get_pretrained_model( model_name="250M_multi_species_v2", embeddings_layers_to_save=(20,), max_positions=32 ))forward_fn = hk.transform(forward_fn)sequences = [ "ATTCCGATTCCGATTCCG", "ATTTCTCTCTCTCTCTGAGATCGATCGATCGAT"]token_ids = [ item[1] for item in tokenizer.batch_tokenize(sequences)]tokens = jnp.asarray( token_ids, dtype=jnp.int32)random_key = jax.random.PRNGKey(0)outputs = forward_fn.apply( parameters, random_key, tokens)print( "Embeddings:", outputs["embeddings_20"].shape)
Este ejemplo requiere las dependencias y versiones compatibles documentadas en el repositorio oficial.
La biblioteca JAX permite ejecutar modelos en aceleradores compatibles, incluidos GPU y TPU, dependiendo del entorno.
En la documentación también se encuentran ejemplos de fine-tuning y extracción de embeddings de diferentes capas.
Fine-tuning de Nucleotide Transformer
El fine-tuning consiste en adaptar un modelo preentrenado a una tarea específica.
Por ejemplo, podemos crear un clasificador de regiones promotoras.
El procedimiento general incluye:
- Preparar secuencias etiquetadas.
- Separar entrenamiento, validación y prueba.
- Tokenizar mediante el tokenizador oficial.
- Cargar los pesos preentrenados.
- Incorporar una cabeza de clasificación.
- Entrenar utilizando la pérdida correspondiente.
- Evaluar mediante métricas apropiadas.
La publicación original también estudió técnicas de adaptación eficiente de parámetros.
Estas técnicas permiten actualizar solamente una parte reducida del modelo.
Su utilidad aumenta cuando el modelo contiene cientos o miles de millones de parámetros.
¿Qué es Parameter-Efficient Fine-Tuning?
Parameter-Efficient Fine-Tuning (PEFT) es una familia de técnicas que permiten adaptar modelos grandes sin modificar todos sus parámetros.
Una estrategia conocida es LoRA.
LoRA representa determinadas actualizaciones de pesos mediante matrices de bajo rango.
Conceptualmente:
[
W’=W+BA
]
Donde:
- (W) representa la matriz original.
- (A) y (B) representan matrices entrenables.
- (W’) representa la transformación adaptada.
Este enfoque puede reducir la cantidad de parámetros que deben entrenarse y almacenarse para cada tarea.
En modelos genómicos grandes, esta propiedad puede facilitar el desarrollo de clasificadores especializados.
Sin embargo, el uso de PEFT no garantiza mejores resultados que el fine-tuning completo.
La elección debe evaluarse según los recursos y la precisión requerida.
¿Cómo evaluar Nucleotide Transformer?
La evaluación depende del tipo de problema.
En clasificación binaria o multiclase pueden utilizarse:
- Accuracy.
- Precision.
- Recall.
- F1-score.
- AUROC.
- AUPRC.
- Matthews Correlation Coefficient (MCC).
En la investigación original, MCC fue una de las métricas importantes para comparar resultados.
MCC resulta útil porque considera verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos.
Para una clasificación binaria:
[
MCC=
\frac{TP\cdot TN-FP\cdot FN}
{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}
]
El valor oscila entre −1 y 1 cuando el denominador está definido.
Un resultado cercano a 1 representa una correspondencia fuerte entre predicciones y etiquetas.
Un valor cercano a 0 representa un rendimiento similar a una relación no informativa bajo determinadas condiciones.
Sin embargo, ninguna métrica por sí sola garantiza validez biológica.
También deben considerarse la separación de datos, la redundancia entre secuencias y la generalización a nuevos organismos.
Nucleotide Transformer frente a DNABERT original
| Característica | DNABERT original | Nucleotide Transformer |
|---|---|---|
| Arquitectura | BERT encoder | Transformer encoder |
| Tokenización | k-mers superpuestos | 6-mers no superpuestos |
| Preentrenamiento | MLM | MLM |
| Datos originales | Principalmente referencia humana | Referencia humana, diversidad humana y multiespecie |
| Escalas principales | Aproximadamente 117M | 50M a 2.5B |
| Contexto original | Aproximadamente 512 tokens | Alrededor de 1.000 tokens en NT-v1 |
| Versiones optimizadas | DNABERT-2 | NT-v2 |
| Aplicaciones | Clasificación genómica | Representación y clasificación genómica |
La diferencia más importante está en los datos de preentrenamiento, la escala y la tokenización.
Ambas familias utilizan Transformers bidireccionales.
Sin embargo, Nucleotide Transformer fue diseñada para investigar sistemáticamente las ventajas de aumentar los modelos y diversificar los genomas utilizados.
Nucleotide Transformer frente a DNABERT-2
DNABERT-2 utiliza tokenización Byte Pair Encoding.
Nucleotide Transformer utiliza principalmente 6-mers no superpuestos.
| Característica | DNABERT-2 | Nucleotide Transformer |
|---|---|---|
| Tokenización | BPE | 6-mers |
| Tokens de longitud variable | Sí | Parcialmente, por tratamiento de fragmentos |
| Arquitectura | Encoder optimizado | Encoder NT-v1 / NT-v2 |
| Posiciones | ALiBi | Aprendidas en v1; RoPE en v2 |
| Preentrenamiento | MLM | MLM |
| Datos multiespecie | Sí | Sí |
| Tamaños principales | 117M | 50M–2.5B |
| Benchmark destacado | GUE | 18 tareas genómicas del estudio |
Las dos arquitecturas representan estrategias diferentes.
DNABERT-2 utiliza un tokenizador adaptativo aprendido estadísticamente.
NT utiliza un agrupamiento fijo principalmente no superpuesto.
La elección entre ambos modelos debe realizarse mediante evaluaciones específicas.
Nucleotide Transformer frente a HyenaDNA
HyenaDNA utiliza una arquitectura basada en convoluciones largas.
Nucleotide Transformer utiliza atención bidireccional.
| Característica | Nucleotide Transformer | HyenaDNA |
|---|---|---|
| Arquitectura | Transformer encoder | Hyena |
| Mecanismo principal | Autoatención | Convoluciones largas |
| Tokenización | 6-mers | Una base por token |
| Objetivo original | MLM | Predicción autorregresiva |
| Contexto principal | 6–12 kb según versión | Hasta 1 millón de nucleótidos |
| Datos | Humanos diversos y multiespecie | Principalmente referencia humana |
| Escala | Hasta 2.5B parámetros en v1 | Checkpoints especializados |
| Fortaleza | Representaciones transferibles | Secuencias extremadamente largas |
La diferencia fundamental está en el alcance contextual y el mecanismo de procesamiento.
HyenaDNA destaca por su capacidad para trabajar con ventanas enormes a resolución de nucleótido.
Nucleotide Transformer destaca por la diversidad de sus datos y la evaluación de modelos de diferentes tamaños.
Nucleotide Transformer y el análisis de variantes genéticas
La familia NT puede utilizarse para estudiar cómo cambian las representaciones o puntuaciones de una secuencia cuando aparece una variante.
Consideremos una secuencia original y otra con una sustitución.
Podemos calcular embeddings para ambas.
Posteriormente, analizar la diferencia.
Sin embargo, el resultado depende del procedimiento utilizado.
Una comparación de embeddings no equivale necesariamente a una puntuación de efecto funcional.
Para analizar variantes es necesario definir cuidadosamente el objetivo y utilizar un método apropiado de puntuación.
Por ejemplo, pueden investigarse diferencias de probabilidades de tokens, embeddings o predicciones de clasificadores especializados.
El artículo original incluyó evaluaciones relacionadas con priorización de variantes.
No obstante, sus resultados no convierten a NT en un sistema clínico autónomo.
Limitaciones de Nucleotide Transformer
Nucleotide Transformer presenta varias limitaciones.
La primera está relacionada con la longitud del contexto.
Aunque NT-v2 amplía la ventana respecto a NT-v1, sus modelos originales no están diseñados para procesar directamente millones de nucleótidos dentro de una sola entrada.
Otra limitación es la tokenización mediante 6-mers.
Una mutación de una sola base afecta al token que contiene esa posición y puede modificar la representación contextual.
También existen retos relacionados con regiones de ADN ambiguas, donde aparecen numerosos símbolos N.
Además, la atención Transformer presenta un coste cuadrático respecto al número de tokens.
La reducción de longitud mediante 6-mers disminuye ese coste, pero no cambia su naturaleza asintótica.
Otra limitación es la dependencia de los datos de entrenamiento.
Incluso los modelos multiespecie pueden presentar diferencias de rendimiento entre organismos.
Finalmente, la secuencia de ADN no contiene toda la información necesaria para explicar procesos como expresión génica o regulación epigenética en distintos tipos celulares.
Las aplicaciones específicas pueden requerir modalidades adicionales.
Modelos más recientes: Nucleotide Transformer v3
La familia Nucleotide Transformer continuó evolucionando después de las versiones analizadas en Nature Methods.
En 2026, el proyecto incorporó documentación de Nucleotide Transformer v3 (NTv3).
Esta nueva línea utiliza una arquitectura de tipo U-Net con tokenización a nivel de nucleótido, reducción y reconstrucción de resolución, y un núcleo Transformer.
Su objetivo incluye procesamiento genómico de hasta un millón de posiciones y predicciones a resolución de base.
También investiga tareas de anotación funcional y generación controlable de secuencias.
Es importante distinguir esta evolución de la familia NT-v1 y NT-v2.
Los modelos estudiados principalmente en esta entrada utilizan 6-mers y encoders bidireccionales.
NTv3 incorpora cambios sustanciales de arquitectura y objetivos.
Por tanto, sus capacidades no deben atribuirse automáticamente a los checkpoints anteriores.
Importancia de Nucleotide Transformer en genómica
La principal contribución de Nucleotide Transformer consiste en demostrar que los modelos fundacionales de gran escala pueden aprender representaciones genómicas reutilizables a partir de conjuntos de ADN extensos y diversos.
La investigación permitió comparar el impacto del tamaño de los modelos y de diferentes conjuntos de entrenamiento.
También mostró que las representaciones podían adaptarse a múltiples tareas mediante fine-tuning.
La incorporación de 3.202 genomas humanos permitió estudiar la importancia de la variabilidad genética.
El preentrenamiento con 850 genomas multiespecie amplió el alcance de la investigación.
Posteriormente, NT-v2 demostró que las mejoras arquitectónicas podían reducir considerablemente el tamaño necesario para obtener resultados competitivos.
Esta evolución confirma que el rendimiento de los modelos fundacionales no depende exclusivamente del número de parámetros.
También importa cómo se tokenizan las secuencias, qué datos se utilizan y cómo se diseñan los procedimientos de evaluación.
Preguntas frecuentes sobre Nucleotide Transformer
¿Qué es Nucleotide Transformer?
Es una familia de modelos fundacionales basados en Transformers, preentrenados sobre secuencias de ADN para aprender representaciones útiles en tareas genómicas.
¿Quién desarrolló Nucleotide Transformer?
Fue desarrollado por un equipo de investigadores de InstaDeep, NVIDIA y otras instituciones, encabezado por autores como Hugo Dalla-Torre y Liam Gonzalez.
¿Cuándo se publicó Nucleotide Transformer?
Su investigación apareció inicialmente como prepublicación en 2023. El artículo principal se publicó en línea en noviembre de 2024 y en Nature Methods en febrero de 2025.
¿Qué tamaños tienen sus modelos?
La familia publicada incluye configuraciones de aproximadamente 50 millones a 2.500 millones de parámetros.
¿Nucleotide Transformer utiliza autoatención?
Sí. Las versiones NT-v1 y NT-v2 utilizan encoders Transformer bidireccionales.
¿Qué es un 6-mer?
Es una secuencia formada por seis nucleótidos consecutivos.
¿Utiliza k-mers superpuestos?
No como estrategia principal. Utiliza 6-mers no superpuestos, con tratamiento adicional para bases desconocidas y fragmentos residuales.
¿Qué es Masked Language Modeling?
Es una tarea autosupervisada donde el modelo aprende a reconstruir tokens ocultos utilizando el contexto disponible.
¿Qué diferencia existe entre NT-v1 y NT-v2?
NT-v2 incorpora RoPE, SwiGLU, otras optimizaciones y ventanas de contexto mayores.
¿Qué es NT-v3?
Es una evolución posterior con arquitectura tipo U-Net y procesamiento genómico de largo alcance a resolución de base. No debe confundirse con NT-v1 o NT-v2.
¿Cuántos genomas humanos utiliza NT?
Algunas configuraciones se entrenaron con información de 3.202 genomas humanos diversos.
¿Cuántas especies incluye el preentrenamiento multiespecie?
El conjunto original contiene 850 genomas de diferentes especies.
¿Puede analizar secuencias de un millón de nucleótidos?
Los modelos NT-v1 y NT-v2 originales no están diseñados para ese contexto dentro de una sola entrada. NTv3 investiga procesamiento de hasta un millón de bases.
¿Qué diferencia existe entre Nucleotide Transformer y DNABERT-2?
DNABERT-2 utiliza BPE y ALiBi. Los modelos NT originales utilizan 6-mers, y NT-v2 incorpora RoPE.
¿Qué diferencia existe entre Nucleotide Transformer y HyenaDNA?
Nucleotide Transformer utiliza autoatención bidireccional. HyenaDNA utiliza convoluciones largas y tokenización a nivel de nucleótido.
¿Puede identificar promotores?
Puede adaptarse mediante fine-tuning a tareas de clasificación de promotores.
¿Puede predecir efectos de variantes?
Puede proporcionar representaciones y puntuaciones útiles para sistemas especializados, pero la interpretación funcional necesita validación.
¿Puede diagnosticar enfermedades genéticas?
No por sí solo. Las aplicaciones clínicas requieren evidencia independiente y modelos validados para ese propósito.
¿Puede utilizarse con Python?
Sí. Existen implementaciones oficiales basadas en JAX y checkpoints compatibles con PyTorch y Hugging Face.
¿Qué es Zero-Shot Variant Prioritization?
Es una estrategia que utiliza puntuaciones de modelos preentrenados para priorizar variantes sin entrenar necesariamente un clasificador específico.
¿Por qué es importante estudiar Nucleotide Transformer?
Porque demuestra cómo los modelos fundacionales de gran escala pueden aprender representaciones genómicas transferibles utilizando diversidad genética humana y datos multiespecie.
Conclusión
La arquitectura Nucleotide Transformer representa una contribución importante al desarrollo de modelos fundacionales para genómica.
Su innovación principal consiste en utilizar Transformers bidireccionales preentrenados sobre grandes conjuntos de secuencias de ADN para aprender representaciones reutilizables.
Los investigadores desarrollaron modelos de diferentes tamaños, desde 50 millones hasta 2.500 millones de parámetros.
La familia incorpora datos procedentes del genoma humano de referencia, 3.202 genomas humanos diversos y 850 genomas de diferentes especies.
El uso de tokenización mediante 6-mers no superpuestos permite reducir la longitud de entrada respecto a determinadas estrategias anteriores basadas en k-mers solapados.
El preentrenamiento mediante Masked Language Modeling permite aprender regularidades genómicas sin etiquetas funcionales específicas.
Posteriormente, estas representaciones pueden adaptarse a tareas de clasificación, predicción de sitios de empalme y análisis de regiones reguladoras.
La evolución hacia NT-v2 demostró que era posible mejorar la eficiencia mediante RoPE, SwiGLU y ajustes arquitectónicos adicionales.
Sin embargo, los modelos NT originales mantienen limitaciones relacionadas con contexto, atención cuadrática y generalización biológica.
Para estudiantes, investigadores y desarrolladores de inteligencia artificial, Nucleotide Transformer ofrece una lección fundamental:
La utilidad de un modelo fundacional genómico depende de la combinación entre arquitectura, representación de las secuencias, diversidad de datos y capacidad para transferir lo aprendido a problemas biológicos específicos.
Comprender Nucleotide Transformer permite profundizar en los fundamentos de Transformers bidireccionales, aprendizaje autosupervisado, tokenización genómica, transferencia entre especies, embeddings de ADN y modelos fundacionales aplicados a bioinformática.
Referencias y fuentes oficiales
- Dalla-Torre, H. et al. (2025). Nucleotide Transformer: Building and Evaluating Robust Foundation Models for Human Genomics. Nature Methods, 22, 287–297. https://doi.org/10.1038/s41592-024-02523-z
- National Library of Medicine. Nucleotide Transformer — Publicación y resumen científico. https://pubmed.ncbi.nlm.nih.gov/39609566/
- PubMed Central. Nucleotide Transformer — Texto completo del artículo. https://pmc.ncbi.nlm.nih.gov/articles/PMC11810778/
- InstaDeepAI. Nucleotide Transformer — Repositorio oficial. https://github.com/instadeepai/nucleotide-transformer
- InstaDeepAI. Nucleotide Transformer — Documentación técnica. https://github.com/instadeepai/nucleotide-transformer/blob/main/docs/nucleotide_transformer.md
- Hugging Face. Colección oficial Nucleotide Transformer. https://huggingface.co/collections/InstaDeepAI/nucleotide-transformer-65099cdde13ff96230f2e592
- Hugging Face. Nucleotide Transformer v2 50M Multispecies. https://huggingface.co/InstaDeepAI/nucleotide-transformer-v2-50m-multi-species
- Hugging Face. Nucleotide Transformer v2 250M Multispecies. https://huggingface.co/InstaDeepAI/nucleotide-transformer-v2-250m-multi-species
- InstaDeepAI. Nucleotide Transformer — Benchmark. https://huggingface.co/spaces/InstaDeepAI/nucleotide_transformer_benchmark
- InstaDeepAI. Nucleotide Transformer v3 — Documentación. https://github.com/instadeepai/nucleotide-transformer/blob/main/docs/nucleotide_transformer_v3.md
- Ji, Y. et al. (2021). DNABERT: Pre-trained Bidirectional Encoder Representations from Transformers Model for DNA-Language in Genome. https://doi.org/10.1093/bioinformatics/btab083
- Zhou, Z. et al. (2024). DNABERT-2: Efficient Foundation Model and Benchmark for Multi-Species Genome. https://arxiv.org/abs/2306.15006
- Nguyen, E. et al. (2023). HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution. https://arxiv.org/abs/2306.15794
