Dividir datos en grupos pequeños es una tarea frecuente en programación. Python ofrece itertools.batched() para crear esos grupos sin escribir lógica repetitiva. Además, el parámetro strict permite decidir si el último lote puede tener menos elementos o si todos deben conservar exactamente el mismo tamaño.
Qué es itertools.batched
La función recibe un iterable y un tamaño. Después produce tuplas de manera gradual. Esto significa que puede trabajar con listas, rangos, archivos y generadores sin cargar todos los valores en memoria.
from itertools import batched
for lote in batched(range(10), 3):
print(lote)El resultado contiene grupos de tres. El último grupo puede ser más pequeño. Ese comportamiento es útil cuando el objetivo consiste en procesar todos los elementos y el tamaño solamente representa un límite máximo.
Cómo funciona strict=True
Al usar strict=True, la función exige que cada lote tenga exactamente el tamaño indicado. Si el último grupo queda incompleto, Python genera ValueError.
for lote in batched(range(9), 3, strict=True):
print(lote)Este ejemplo funciona porque nueve puede dividirse en tres grupos completos. Si la fuente tuviera diez elementos, quedaría uno sin completar y aparecería el error. Así se detectan datos incompletos de forma clara.
Cuándo aceptar el último lote pequeño
El modo normal es mejor cuando un grupo final reducido continúa siendo válido. Un sistema puede enviar hasta cien identificadores por solicitud, procesar diez imágenes por ciclo o insertar quinientas filas por transacción. En todos esos casos, el último conjunto puede contener menos elementos sin representar un problema.
La palabra importante es “hasta”. El tamaño funciona como un máximo. No existe una regla que obligue a llenar cada lote. Usar el modo estricto en ese escenario provocaría errores innecesarios y complicaría el código.
Cuándo exigir grupos completos
El modo estricto resulta apropiado cuando cada grupo representa una estructura fija. Una secuencia de coordenadas tridimensionales necesita tres números por punto. Una imagen puede representar colores con tres canales. Un archivo puede almacenar registros formados por cuatro líneas. Un sistema puede interpretar elementos por pares.
Si falta un valor, continuar podría producir resultados equivocados. strict=True evita que el programa acepte silenciosamente una estructura incompleta.
valores = [10.2, -48.1, 800, 11.0, -47.9, 820]
puntos = list(batched(valores, 3, strict=True))Ventaja con generadores
Una lista permite consultar su longitud antes de empezar. Un generador normalmente no informa cuántos elementos producirá. batched() consume la fuente poco a poco, y el modo estricto comprueba la integridad cuando llega al final.
Debes recordar que un generador se consume una sola vez. No conviene recorrerlo para contar y después intentar usarlo nuevamente. La evaluación gradual evita ese problema y reduce el uso de memoria.
Procesamiento de archivos
Los archivos grandes pueden procesarse por grupos de líneas.
with open('datos.txt', encoding='utf-8') as archivo:
for lineas in batched(archivo, 1000):
limpias = [linea.strip() for linea in lineas]
enviar(limpias)El último lote puede tener menos de mil líneas y seguir siendo correcto. Sin embargo, si cada registro ocupa exactamente cuatro líneas, conviene activar el modo estricto. De esa forma, un archivo truncado será detectado antes de interpretar datos incompletos.
Uso con APIs
Muchas APIs limitan la cantidad de elementos permitidos por petición. La función ayuda a respetar esos límites.
for ids in batched(lista_de_ids, 50):
respuesta = cliente.buscar(ids=list(ids))
guardar(respuesta)La conversión a lista solo es necesaria cuando la biblioteca cliente espera ese formato. En la mayoría de las APIs, el último envío puede incluir menos elementos. Por eso el comportamiento normal suele ser la mejor opción.
Inserciones en bases de datos
Agrupar registros reduce viajes entre la aplicación y el servidor de base de datos.
for registros in batched(generar_registros(), 500):
cursor.executemany(sql, registros)
conexion.commit()El tamaño adecuado depende del entorno. Lotes muy pequeños generan demasiadas llamadas. Lotes enormes pueden consumir memoria, mantener bloqueos y aumentar el costo de repetir una transacción. Mide con datos reales. También puedes consultar Python y SQLite y Python con MySQL.
Diferencia frente al slicing
Una solución clásica divide una lista mediante índices.
lotes = [datos[i:i + 100] for i in range(0, len(datos), 100)]Esta técnica funciona bien cuando ya tienes una lista. Sin embargo, no es adecuada para cualquier iterable y puede requerir que todos los datos estén en memoria. batched() conserva el procesamiento gradual. El artículo de introducción a itertools presenta más herramientas relacionadas.
Qué ocurre cuando aparece ValueError
No conviene ignorar el error. Su función es informar que la fuente no respeta la estructura esperada. Puedes capturarlo para añadir una explicación más útil y luego volver a lanzarlo.
try:
grupos = list(batched(valores, 3, strict=True))
except ValueError as error:
raise ValueError('Se esperaban grupos completos de tres') from errorUna descripción vinculada al dominio facilita el diagnóstico. Para ampliar este tema, revisa el tratamiento de errores con Try Except.
Efectos parciales
El error del último lote aparece después de consumir los lotes anteriores. Si cada grupo se guarda inmediatamente, pueden existir cambios parciales cuando se detecta el problema. En operaciones importantes, usa transacciones, tablas temporales o archivos auxiliares.
Otra alternativa consiste en validar primero cuando la fuente tiene longitud conocida. Sin embargo, para generadores verdaderos, la validación durante el consumo suele ser la opción natural.
Compatibilidad de versiones
Comprueba la versión de Python en desarrollo, producción, contenedores y CI. Los entornos no siempre están sincronizados. Consulta la documentación oficial de itertools y las novedades de Python para verificar cuándo está disponible cada parámetro.
Pruebas importantes
Prueba una fuente vacía, una cantidad exacta, menos elementos que el tamaño, varios lotes completos y un final incompleto. También debes probar con un generador y no solamente con listas.
def test_lotes_completos():
resultado = list(batched(range(6), 3, strict=True))
assert resultado == [(0, 1, 2), (3, 4, 5)]El contenido sobre pruebas unitarias en Python ayuda a organizar casos normales y excepciones esperadas.
Rendimiento y tamaño ideal
No existe un tamaño universal. Para red, un lote mayor puede reducir llamadas. Para base de datos, puede disminuir la sobrecarga, pero también aumentar bloqueos. Para CPU, la cantidad ideal depende del trabajo realizado. Para disco, influye el patrón de lectura y escritura.
Mide rendimiento, latencia, memoria y tasa de fallos. Considera también cuánto cuesta repetir un lote cuando ocurre un problema. Un lote grande no siempre produce una aplicación más rápida.
Buenas prácticas
Usa nombres relacionados con el dominio. Documenta por qué elegiste el tamaño. Define una constante cuando forme parte de un contrato. Activa strict=True solamente cuando un grupo incompleto sea realmente inválido. Mantén el procesamiento gradual y evita convertir todos los lotes en una lista enorme.
Registra el número de lote, la cantidad de elementos y el origen de los datos. Si existen efectos secundarios, protege la operación con una estrategia de recuperación. Estas decisiones hacen que el código sea más fácil de mantener y observar.
Conclusión
itertools.batched() simplifica la creación de lotes y funciona con cualquier iterable. El modo normal acepta un último grupo más pequeño. El modo strict=True exige tamaños exactos y detecta fuentes incompletas. La elección depende de una pregunta: ¿un último lote reducido es válido o indica un error? Cuando el contrato está claro, la implementación se vuelve segura, eficiente y fácil de probar.
