¿Qué es MiniCPM-OCR?
MiniCPM-OCR es una familia de modelos para el análisis eficiente de documentos y reconocimiento de texto publicada en OpenBMB/MiniCPM-OCR. La versión MiniCPM-OCR 1.0 procesa documentos y PDFs en chino e inglés, equilibrando calidad y eficiencia en entradas complejas como escaneos, fotografías, páginas curvadas y documentos recapturados.
Por su parte, MiniCPM-OCR Jev evalúa los resultados de OCR a nivel de región, distinguiendo las zonas problemáticas de las fiables. Funciona con diversos modelos de análisis para ayudar a los usuarios a ubicar el contenido que necesita revisión.
¿Qué características ofrece MiniCPM-OCR 1.0?
MiniCPM-OCR 1.0, con 1.3B de parámetros, es el primer modelo específico de OCR en la familia MiniCPM-V/o. Se centra en la comprensión de documentos basada en texto, abarcando texto, tablas, fórmulas, gráficos, sellos y extracción de información estructurada.
Entre los modelos OCR de código abierto, MiniCPM-OCR 1.0 alcanza 1.2 páginas por segundo y el rendimiento general más alto en OmniDocBench v1.6, Real5-OmniDocBench, Wild-OmniDocBench y olmOCR-Bench. Con la aceleración de decodificación DSpark, mejora la eficiencia del procesamiento de extremo a extremo en un 55%.
¿Cómo funciona MiniCPM-OCR Jev?
MiniCPM-OCR Jev actúa como un modelo de decisión de precisión de OCR para texto, fórmulas y tablas. Dada una imagen y su resultado de OCR correspondiente, devuelve una puntuación de calidad de 0 a 1 para ayudar a seleccionar resultados fiables y localizar contenido que requiera revisión.
Con tan solo 2B de parámetros, MiniCPM-OCR Jev logra un AUROC de 93.6 en JevOCRBench, superando a modelos más grandes y manteniendo una generalización consistente a través de diferentes motores de análisis.
¿Cómo se instala y utiliza MiniCPM-OCR?
La integración de MiniCPM-OCR 1.0 y Jev se puede realizar de manera sencilla configurando el entorno local con diferentes backends de inferencia. Sigue estos pasos para poner en marcha el despliegue.
- Clona el repositorio oficial o utiliza las instrucciones de skill del agente de código.
- Selecciona un backend de inferencia compatible como vLLM, SGLang, llama.cpp u Ollama.
- Instala el SDK de Python para integrar las capacidades de análisis en tus aplicaciones.
- Utiliza la API gratuita o despliega los modelos de forma local para procesar documentos.