“La empresa de almacenamiento de más rápido crecimiento en la historia”. Esa es la afirmación de Vast Data, que ha anunciado que ha pasado de una tasa de ejecución de $ 1 millón a $ 100 millones en tres años.
Mientras tanto, la compañía se ha embarcado en lo que el director regional para EMEA, Alex Raistrick, llama el “Acto 2” de su historia, en el que Vast planea continuar su crecimiento al ofrecer su propia capa de datos para proporcionar una fácil visibilidad de las aplicaciones, bases de datos y herramientas de análisis. (piense en Hadoop y Spark) y haga que los datos estén disponibles “a escala de exabytes”.
El “Acto 1” es donde Vast comenzó con la arquitectura de hardware que sustenta esto, basada en unidades flash de celda de nivel cuádruple (QLC) de alta densidad.
La tecnología flash ha evolucionado desde una celda NAND de nivel único y multinivel (SLC, MLC) a través de una celda de nivel triple (TLC), que indican la cantidad de cargas en una celda flash, hasta almacenamiento flash de celda de nivel cuádruple (QLC). QLC almacena cuatro bits por celda y proporciona 16 estados binarios posibles, que es la forma en que aumenta la capacidad con respecto a las generaciones anteriores.
Pero hay una trampa. Con todos esos niveles de voltaje empaquetados en volúmenes más pequeños de silicio, hay margen para un mayor desgaste y más cosas que pueden conducir a la corrupción de datos.
Para evitar esto, Vast suaviza y optimiza la entrada/salida (E/S) utilizando la memoria de clase de almacenamiento (SCM) de Intel o Kioxia. A esto lo llama “conformación de escritura”, en el que el SCM maneja lecturas y escrituras, y envía datos al almacenamiento masivo en franjas de 1 MB como es óptimo. De esta manera, garantiza una vida útil de 10 años para las unidades flash QLC.
Pero, dice Raistrick: “Somos una empresa de software que utiliza hardware básico. Agregamos valor con software y usamos software para reducir el precio del hardware. Nuestro objetivo es brindar a los clientes la capacidad de implementar 30 PB, por ejemplo, y poder obtener información de esos datos y consumirlos”.
Almacenes de datos de copia de seguridad
Esa información podría usarse en almacenes de datos de copia de seguridad a largo plazo, como depósito para inteligencia artificial/aprendizaje automático y análisis de big data, o para funciones de seguridad; en otras palabras, almacenes de datos secundarios, pero con requisitos para un acceso y/o rendimiento rápidos ocasionales. .
Las capacidades por gabinete pueden ser de 338 TB, 675 TB y hasta 1,3 PB con unidades QLC de hasta 15,36 TB.
“A menudo se trata menos de la latencia y más del ancho de banda”, dice Raistrick. “Un gran porcentaje de nuestros clientes ejecuta computación de GPU para HPC”. La venta promedio es de más de $ 1 millón y la implementación promedio es de más de 1 PB.
Datos para análisis
La idea central del “Acto 2” de Vast Data es que muchos, y significa muchos, hasta más de 100 PB, de datos variados almacenados en el almacenamiento de Vast Data pueden estar disponibles para aplicaciones y análisis.
Su Element Store es donde se guardan hasta 26 mil millones de archivos y objetos (el sistema es multiprotocolo) junto con sus metadatos.
Aquí está indexado por el “Vasto Catálogo” de la compañía en una amplia gama de atributos y está disponible para aplicaciones, bases de datos y motores de análisis a través de su Base de Datos Natural (NDB).
El beneficio clave aquí, dice Raistrick, es que NDB hace que los datos estén fácilmente disponibles y utilizables para todos los entornos de big data y evita la tendencia a vivir en silos.
“Los formatos de archivo abiertos vienen con ciertas compensaciones que pueden restringir la simplicidad”, dice Raistrick. Por ejemplo, Parquet puede afectar el rendimiento, el uso de la CPU y la eficiencia de compresión de los sistemas que lo utilizan.
“Además, Parquet no admite transacciones ACID, por lo que los usuarios suelen optar por otros formatos de archivo como Iceberg para superar sus limitaciones”, dice. “VAST ofrece millones de transacciones por segundo con soporte ACID, por lo que elimina la necesidad de que los usuarios tomen una decisión inicial sobre las particiones”.
¿Qué hay en el horizonte para Vast? Hay una historia de nubes que contar, dice Raistrick. Aunque no es adecuado para todos los clientes que realizan un trabajo intensivo con grandes cantidades de datos, existe una demanda de la capacidad de trabajar en las instalaciones y en la nube, y de colaboración entre ubicaciones. Lo que probablemente surja es la idea de “datos que existen en todas partes”.