En este podcast, analizamos el impacto del procesamiento de inteligencia artificial (IA) en el almacenamiento de datos con Shawn Rosemarin, vicepresidente de I+D en ingeniería de clientes de Pure Storage.
Hablamos de cómo la IA convierte los datos empresariales en una fuente vital de conocimiento para el negocio, pero también de los desafíos que enfrenta la complejidad de las operaciones de IA, la necesidad de portabilidad de los datos, el acceso rápido al almacenamiento y la capacidad de extender la capacidad a la nube.
Rosemarin también habla de las formas particulares de datos que se encuentran en la IA, como vectores y puntos de control, y de la necesidad de una infraestructura de almacenamiento de datos densa, rápida, sostenible y fácil de gestionar.
Antony Adshead: ¿Qué tienen de diferente las cargas de trabajo de IA?
Shawn Rosemarín: Creo que la parte más interesante de esto es, en primer lugar, alinear la IA con la próxima iteración de análisis.
Vimos inteligencia empresarial. Vimos análisis. Vimos lo que llamamos análisis moderno. Ahora estamos viendo IA.
Lo que es diferente es que, en última instancia, ahora estamos viendo un corpus de datos, no solo el corpus general como vemos en ChatGPT, sino los corpus de datos individuales dentro de cada empresa que en realidad ahora se están convirtiendo esencialmente en el oro que se recolecta en estos modelos; las bibliotecas que ahora entrenan todos estos modelos.
Entonces, cuando piensas en el volumen de datos que representa, ese es un elemento. La otra cosa es que ahora hay que pensar en el elemento de rendimiento que implica tomar todos estos volúmenes de datos y poder aprender de ellos.
Luego tienes otro elemento que dice: “Tengo que integrar todas esas fuentes de datos en todos los diferentes silos de mi organización, no solo los datos que están en las instalaciones, los datos que están en la nube, los datos que tengo”. Estoy comprando de fuentes de terceros, datos almacenados en SaaS [software as a service]’.
Y por último, diría que hay un enorme elemento humano en esto. Esta es una nueva tecnología. Es bastante complejo en este momento particular, aunque todos creemos que estará estandarizado y requerirá personal, requerirá conjuntos de habilidades que la mayoría de las organizaciones no tienen a su alcance.
¿Qué necesita el almacenamiento para hacer frente a las cargas de trabajo de IA?
Rosemarina: Al final del día, cuando pensamos en la evolución del almacenamiento, hemos visto un par de cosas.
En primer lugar, no hay duda, creo, en la mente de cualquiera en este momento, de que los discos duros están siguiendo el mismo camino que el dodo. Y estamos pasando a todo flash, por razones de confiabilidad, por razones de rendimiento y, en última instancia, por razones de economía ambiental.
Pero, cuando pensamos en el almacenamiento, el mayor obstáculo en la IA es en realidad mover el almacenamiento. Se trata de tomar bloques de almacenamiento y moverlos para satisfacer ciertas cargas de trabajo de alto rendimiento.
Lo que realmente queremos es una arquitectura de almacenamiento central que pueda usarse no sólo para la recopilación de información, sino también para la capacitación y la interpretación de esa capacitación en el mercado.
En última instancia, de lo que les estoy hablando es del rendimiento para alimentar a las GPU hambrientas. Estamos hablando de latencia, de modo que cuando ejecutamos modelos de inferencia, nuestros consumidores obtienen respuestas lo más rápido posible sin esperar. Estamos hablando de capacidad y escala. Estamos hablando de actualizaciones y expansiones no disruptivas.
A medida que nuestras necesidades cambian y estos servicios se vuelven más importantes para nuestros usuarios, no tenemos que derribar el entorno solo para poder agregar almacenamiento adicional.
Por último, pero no menos importante, estaría el elemento de consumo de la nube: la capacidad de extender fácilmente esos volúmenes a la nube. Si deseamos realizar esa capacitación o inferencia en la nube y luego, obviamente, consumirlos como un servicio, alejarnos de estas inyecciones masivas de CapEx desde el principio y, en cambio, buscar consumir el almacenamiento que necesitamos a medida que lo necesitamos y completamente al 100% a través de Acuerdos de nivel de servicio y como servicio.
¿Hay algo en las formas en que se guardan los datos para la IA, como el uso de vectores, puntos de control o los marcos utilizados en la IA como TensorFlow y PyTorch, que dicta cómo debemos almacenar los datos para la IA?
Rosemarina: Sí, absolutamente así, especialmente si lo comparamos con la forma en que se ha utilizado históricamente el almacenamiento en las bases de datos relacionales o en la protección de datos.
Cuando piensas en bases de datos vectoriales, cuando piensas en todos los marcos de IA y piensas en cómo estos conjuntos de datos se alimentan a las GPU, déjame darte una analogía.
En esencia, si piensas en las GPU, estas inversiones muy costosas que han realizado las empresas y las nubes, piensa en ellas como estudiantes de doctorado. Piense en ellos como personas muy caras, muy talentosas e inteligentes que trabajan en su entorno. Y lo que desea hacer es asegurarse de que siempre tengan algo que hacer y, lo que es más importante, que a medida que completen su trabajo, usted esté allí para recopilar ese trabajo y asegurarse de brindarles el siguiente volumen de trabajo.
Y así, en el mundo de la IA, escucharás este concepto de bases de datos vectoriales y puntos de control. Lo que eso esencialmente dice es: “Estoy pasando de una base de datos relacional a una base de datos vectorial”. Y esencialmente, a medida que se consulta mi información, se consulta a través de múltiples dinámicas.
A estos los llamamos parámetros, pero esencialmente analizamos los datos desde todos los ángulos. Y las GPU le dicen al almacenamiento lo que han mirado y dónde se encuentran en su carga de trabajo particular.
El impacto en el almacenamiento es que fuerza muchas más escrituras. Y cuando piensas en lecturas versus escrituras, son muy importantes desde un perfil de rendimiento. Cuando piensas en las escrituras en particular, estas son escrituras muy pequeñas. Estos son esencialmente marcadores de dónde se encuentran en su trabajo.
Y eso en realidad está forzando un perfil de desempeño muy diferente al que muchos están acostumbrados. Se trata de crear nuevos perfiles de rendimiento para lo que estamos considerando específicamente en la formación.
Ahora bien, la inferencia tiene que ver con la latencia y el entrenamiento. Se trata de PIO. Pero para responder a su pregunta de manera muy específica, esto obliga a una proporción de escritura mucho más alta de la que hemos considerado tradicionalmente. Y le sugeriría a su audiencia que mirar el 80% de lo escrito y el 20% de lo leído en un entorno de capacitación es mucho más apropiado que donde tradicionalmente hubiéramos mirado el 50/50.
¿Cómo cree que será el almacenamiento empresarial dentro de cinco años a medida que aumente el uso de la IA?
Rosemarina: Me gusta pensar que el almacenamiento es un poco como los neumáticos de tu coche.
En este momento, todo el mundo está muy centrado en el chasis de su coche. Están muy centrados en las GPU y el rendimiento, en lo rápido que pueden ir y en lo que pueden ofrecer.
Pero la realidad es que el valor real de todo esto son los datos que estás extrayendo; la calidad de esos datos, el uso de esos datos en estos modelos de capacitación para brindarle realmente una ventaja, ya sea personalización y marketing, ya sea operaciones de alta frecuencia si es un banco o conoce a su cliente, ya sea atención al paciente dentro un centro de salud.
Cuando miramos hacia el futuro del almacenamiento, creo que el almacenamiento será reconocido por ser absolutamente fundamental para impulsar el valor final de estos proyectos de IA.
Creo claramente que lo que estamos viendo son matrices de almacenamiento cada vez más densas. Aquí en Pure ya nos hemos comprometido a comercializar eso. Tendremos unidades de 300 TB para 2026. Creo que estamos viendo que la industria de unidades de estado sólido de productos básicos está significativamente detrás de eso. Creo que apuntan a unos 100 TB en el mismo período de tiempo, pero creo que seguiremos viendo unidades cada vez más densas.
Creo que también veremos, junto con esa densidad, un consumo de energía cada vez menor. No hay duda de que la energía y el acceso a la energía son el asesino silencioso en el desarrollo de la IA, por lo que será crucial llegar a un punto en el que podamos consumir menos energía para impulsar más computación.
Por último, llegaría a este punto del almacenamiento autónomo. Poner cada vez menos energía (energía humana, mano de obra humana) en las operaciones diarias, las actualizaciones, las ampliaciones y la adaptación del almacenamiento es realmente lo que las empresas están pidiendo para, en última instancia, permitirles centrar su energía humana en la construcción. los sistemas del mañana.
Entonces, cuando lo piensas, realmente: densidad, eficiencia energética y simplicidad.
Luego, creo que el costo por gigabyte por TB seguirá cayendo en el mercado, lo que permitirá una creciente consumerización del almacenamiento y permitirá a las organizaciones encender más y más datos por la misma cantidad de tiempo. inversión.