Cloud Native Live Bate-papo: Construindo agentes de IA em escala no Kubernetes

[0:00] Obrigado. Muito bem, sejam todos bem-vindos ao nosso primeiro bate-papo ao vivo sobre cloud native. Meu nome é John O'Bacon. Sou o fundador e CEO da State Shift. Estou muito animado por fazer isso hoje. Temos convidados incríveis nesta sessão. Certifiquem-se de responder no chat e interagir para tornar isso o mais divertido e interessante possível. Agora, hoje, vamos conversar com alguns amigos nossos da Intuit. Agora, se você não conhece a Intuit, a Intuit tem sido membro consistente de usuários finais da CNCF por um longo período de tempo. Provavelmente mais conhecida dentro da comunidade CNCF como a criadora do Argo, que doou o Argo para a CNCF, e tem estado muito envolvida nas comunidades de AIOps e MLOps por um bom tempo. O que é realmente interessante aqui é que a Intuit tem estado nessa jornada de mover todos os seus produtos, TurboTax, QuickBooks, etc., para se tornarem produtos nativos de IA. E o que vamos explorar hoje é como a Intuit construiu sua plataforma para construir agentes em escala, expandindo de cloud-native para AI-native. OK, temos dois convidados que vão falar com vocês hoje. Temos Mukulika Kapas, que é diretora de gestão de produtos na Intuit. Como vai, Mukulika? Indo bem?

[1:09] Excelente. Ótimo. Obrigado. É ótimo ter você. E também temos Marin Kurian, que é o engenheiro distinto da empresa também. Ótimo ver você, Marin. Como vai? Obrigado, senhor. Muito bem, então por que não vamos direto ao assunto? Vamos começar. Como estamos falando sobre agentes de IA, mas como você define um agente de IA? Qual tem sido a experiência da Intuit nesse espaço até agora? Sim, eu posso responder isso. Então, antes de entrarmos nos agentes, quero destacar rapidamente a diferença entre um fluxo de trabalho e um agente. Um fluxo de trabalho é quando você tem um conjunto predefinido de etapas. Essas etapas são executadas em sequência. Já os agentes de IA podem ser usados para resolver problemas abertos, onde é mais difícil ou até impossível prever a sequência de etapas ou até mesmo o número necessário de etapas. E você não pode codificar um caminho fixo.

[1:54] Então é aqui que vimos em exemplos na Intuit onde os agentes geralmente têm sucesso. Trata-se de trabalhar com dados não estruturados, como texto, imagens, documentos, fala. E voltando à forma como defino um agente, o agente tem componentes-chave. Principalmente, eles têm um modelo GNI. Pode ser uma coleção ou variedade de modelos, de grandes a pequenos. Eles têm ferramentas que são serviços ou APIs que fornecem a esses agentes tanto os dados para carregar no contexto quanto as APIs e serviços para executar ações. O componente-chave no agente é então um orquestrador que gerencia estados, aproveita a memória, interações passadas, e reenvia com as ferramentas disponíveis à disposição do agente e os próprios LLMs para desenvolver planos e executar para que possam alcançar os objetivos. E, finalmente, esses agentes de IA precisam ser implantados em um runtime seguro e protegido e são ativados por uma solicitação do usuário ou por algum outro gatilho no ambiente. Então, na Intuit, temos desenvolvido agentes nos últimos dois anos mais ou menos. Nossos agentes de primeira geração eram assistentes conversacionais, então eles fazem busca de dados, respondem a uma pergunta que você tenha.

[3:06] o que estamos chamando de experiências feitas para você, então esses agentes podem agir em seu nome, executar tarefas quando permitido. hum, o que é diferente, eu acho, na indústria é que capacitamos todos os nossos engenheiros a desenvolver agentes. então isso faz parte de uma transformação para nós. então, junto com o primeiro conjunto de agentes, também lançamos nossa primeira versão da plataforma, que chamamos de genos, abreviação de sistema operacional de IA generativa, para que as equipes possam se concentrar em resolver problemas dos clientes em vez de lidar com tarefas como responsabilidade, governança de dados, segurança, conformidade, privacidade e observabilidade. Todas essas são cuidadas pela plataforma. Agora, não começamos do zero. Muitos agradecimentos a Mukulika e equipe. Todos esses foram desenvolvidos sobre a plataforma central de desenvolvimento da Intuit, que nos forneceu os caminhos pavimentados e as garantias de runtime. E foi assim que conseguimos lançar isso para a velocidade que precisamos escalar.

[4:00] Incrível. Bem, obrigado. E falando em Mukulika, que é uma lenda nesse trabalho, eu gostaria de discutir um pouco sobre a jornada de desenvolvimento que vocês percorreram na Intuit. Mukulika, você poderia compartilhar um pouco sobre os tipos de tecnologias que usam, a escala? Tipo, por que vocês construíram isso? Claro. Então, para levá-los pela jornada cloud native da Intuit e depois pela jornada AI native, em 2011, a Intuit começou sua jornada de nuvem pública. Eles foram uma das primeiras empresas a migrar para a AWS, principalmente fazendo lift and shift do data center. Em 2018, lançamos uma plataforma de desenvolvimento cloud native para toda a Intuit para construir e executar microsserviços de backend e micro apps de frontend.

[4:47] Isso nos deu a infraestrutura base para construir e implantar aplicativos e serviços de maneira padronizada, repetível e segura usando contêineres, enquanto enviávamos todos os dados operacionais para um data lake operacional central. para micro front-end app. A plataforma se integra com soluções de fornecedores como, digamos, GitHub Artifactory, bem como serviços-chave da nuvem AWS. Como vocês sabem, nós open sourceamos o Argo como parte dessa jornada e, portanto, ganhamos o CNCF End User Award duas vezes por nosso uso e contribuição. Não é surpresa, assim como permitiu a implementação de padrões de excelência operacional e melhores práticas que Merin falou.

[5:56] levando a cinco noves de disponibilidade de serviço em toda a empresa. Internamente, chamamos essa plataforma de desenvolvimento de Modern SaaS Platform. Para aumentar ainda mais nossa produtividade de desenvolvimento e permitir agentes e IA em escala dentro de nossas experiências de produto, a partir de 2022, passamos de uma plataforma mais cloud-native para uma plataforma de desenvolvimento AI-native. Não apenas usamos IA para, digamos, assistente de código no loop interno, levando a, digamos, 40 por cento de codificação mais rápida em média, mas também usamos IA no loop externo, digamos, para auto scaling de nossos serviços e agentes. Usamos IA em operações como detecção de anomalias e observabilidade e agora agentes de SRE que falaremos em breve.

[6:56] API de serviço PaveRoad, bem como agora PaveRoad de desenvolvimento de agentes chamado GenOS, que fornece modelos de código padronizados, CICD, observabilidade pronta para uso, integração chave, etc., etc. Por exemplo, para agente, ele se integra com eval e LLMs. Para serviço regular, digamos que se integra apenas com banco de dados. Recentemente, open sourceamos outro novo projeto, NUMA Flow, para simplificar o desenvolvimento de agentes e serviços orientados a eventos ou assíncronos, que também é um projeto muito legal.

[7:28] Agora vamos falar sobre escala. Todos os microsserviços e apps de backend são construídos e executados em escala em mais de 350 clusters Kubernetes com mais de um milhão de núcleos de CPU. Hoje temos cerca de 3000 serviços, centenas de apps, dezenas e milhares de pipelines de dados e agora mais de 100 agentes em produção nessa plataforma comum. plataforma de processamento, plataforma de processamento em lote, e agora plataforma de desenvolvimento de agentes nessa plataforma de desenvolvimento comum. Para resumir, o valor que a plataforma fornece é impulsionar mais experiências de produto feitas para você usando IA, acelerar a velocidade de desenvolvimento e, finalmente, permitir excelência operacional em toda a empresa.

[8:22] Incrível. Incrível. O que eu amo nisso é que muitas pessoas estão falando sobre agentes e como construir agentes online, mas vocês estão fazendo isso como se estivessem vivendo, respirando, fazendo em escala. Maren, estou curioso na sua posição como engenheiro distinto, você sabe, como construir um agente é diferente de construir outro aplicativo ou serviço na sua plataforma de desenvolvimento? Sim, boa pergunta. Então, fundamentalmente, é um aplicativo ou um serviço. É o trabalho extra que precisamos fazer além de construir o serviço que torna o agente mais eficaz e melhor para a experiência do usuário. Então, o que é comum é todo o gerenciamento de identidade e acesso, infraestrutura de runtime, rastreamento ponta a ponta, observabilidade, integrações com experiência do usuário, análise, tudo isso.

[9:07] são necessários. Eles precisam ser seguros, compatíveis e confiáveis. Tudo isso permanece o mesmo. Então, o trabalho extra que mencionei é que os agentes precisam de grandes modelos de linguagem. Então agora estamos entrando no reino de trabalhar com IA, onde as coisas são principalmente não determinísticas. Então, dependendo do número de elementos com os quais você precisa trabalhar e do número de prompts, você está entrando em engenharia de prompt, otimização, avaliação. Agentes precisam de ferramentas não sobrepostas para poder tomar decisões efetivamente. Então essas são descrições em linguagem natural de serviços otimizadas para o contexto do agente. E você provavelmente ouvirá muito sobre engenharia de contexto hoje em dia. Então os agentes também precisam otimizar o contexto com o qual precisam trabalhar para não alucinarem, não saírem do turno, fora de sincronia. Então todos esses são fluxos de trabalho individuais por si só. Então isso é muito do trabalho extra feito além de desenvolver um serviço e aplicativo regular. Então isso é apenas a parte de codificação. Agora, o mais difícil e difícil no desenvolvimento de um agente é

[10:13] A etapa de avaliação. Então, como os agentes têm resultados não determinísticos e também você não escreveu todo o código. Certo. Ninguém realmente escreveu todo o código. Então é mais difícil depurar o teste. Até mesmo os critérios de teste de um agente são extremamente subjetivos, porque você está trabalhando com linguagem natural como o inglês no momento. Certo. Então, anteriormente você teria ouvido, oh, funciona na minha máquina. Agora estou ouvindo funciona com meus dados. Funciona com minhas perguntas. Então, criar critérios de teste objetivos e fazer avaliação sistemática e estruturada, esse é outro passo que você precisa fazer, além de, você sabe, fazer seus agentes funcionarem como um software regular. e também soluções de IA são sobre iterações contínuas para resolver o problema, então precisamos do pipeline de dados ponta a ponta, movendo dados de integrações de usuários, experiências, rastreamentos, logs de volta para esses melhorarem com o tempo. Então esse aspecto específico de avaliação e gerenciamento de dados é novo para muitos engenheiros de software. Então eu acho

[11:21] Esse é um salto enorme do que é um bom engenheiro de software para um bom engenheiro de IA. Certo. E isso é muito trabalho. E sabemos disso. Certo. É por isso que construímos o GenOS. Certo. Queremos simplificar e ajudar as pessoas. uh, avançar rapidamente por esse ciclo de vida ponta a ponta de desenvolver agentes, testá-los, implantá-los, monitorá-los continuamente e melhorá-los, com base em nosso próprio aprendizado nos primeiros dois anos. Nesta primavera, lançamos o Agent Starter Kit, que otimiza ainda mais em todo o CI/CD ou o ciclo de vida de gerenciamento do desenvolvimento de um agente. Então criamos o código inicial, o processo de CI/CD e todas as melhores práticas e capacidades embutidas.

[12:03] Então você não vai precisar ler centenas de documentos, falar com 10 equipes diferentes. Está tudo disponível para você de uma forma que você pode consultar e então construir seu próprio agente. E também estamos, novamente, dada a importância do espaço, também investindo em tutoriais, treinamentos e outros. fornecendo pipelines padrão. Então, novamente, nosso objetivo é ajudar as equipes a avançar mais rápido, pelo ciclo de vida, para que realmente cheguem à produção e não fiquem presas na fase de POC. Sim, eu amo isso. E a propósito, pessoal, só quero tirar um momento antes de continuarmos.

[12:36] Tem muita gente falando sobre como construir agentes no LinkedIn. Muitas pessoas, honestamente, não sabem do que estão falando. Já Mookalika e Merin estão fazendo isso, estão vivendo isso, estão respirando isso. Certo. Então mandem suas perguntas. Esta é uma ótima oportunidade de explorar o conhecimento de pessoas que realmente fazem isso em escala em uma empresa significativa. Então, se vocês têm perguntas, mandem. Não importa qual seja a sua pergunta. Pode ser uma pergunta muito simples. Pode ser uma pergunta muito complexa. Só mandem. Assim podemos aproveitar a experiência deles. Certo. Então você mencionou o Gen OS e mencionou o agent starter kit, mas como isso viabilizou tudo? Tipo, você sabe, quais você diria que são alguns dos resultados aí?

[13:13] Sim, posso começar e depois o Mugli pode acrescentar mais. Então lembrem, a Induit tem apenas cerca de 8000 engenheiros e mais de 1200 deles agora estão desenvolvendo agentes usando o genos com níveis variados de maturidade, e até agora conseguimos lançar 3 500 mais experimentos em produção, nossos clientes testaram e deram feedback, e recebemos em um dia típico 50 000 requisições no genos, e só em agosto os agentes no genos usaram 4 trilhões de tokens, então estamos nessa jornada, hum, como eu estava dizendo, lançamos o agent Naquela semana sozinha, tivemos 900 downloads.

[13:54] e mais de 100 equipes conseguiram fazer uma demo durante o demo day, em cinco dias. Então reduzimos significativamente a curva de aprendizado, a barreira de entrada, para que as pessoas possam realmente começar. E se você tem uma ideia, então você consegue seguir em frente. Então, impulsionado pelo agent starter kit, o QuickBooks lançou uma série de agentes de próxima geração feitos para experiências neste verão. Então temos um conjunto completo de agentes trabalhando para clientes em nossa plataforma QuickBooks. Eu só queria destacar dois deles. Então nosso agente de contabilidade economiza cerca de 12 horas por mês para pequenas empresas, ajudando-as a manter seus livros organizados.

[14:40] capturas de tela que você tirou, pega tudo isso e converte em estimativas, que as empresas podem então nos enviar como faturas, o que as ajudou a receber pagamentos cinco dias mais rápido, com 10% mais probabilidade de receber o pagamento integral. Só para acrescentar ao que Marin disse, a Intuit também está redefinindo o cenário de ERP de médio porte com o Intuit Enterprise Suite, uma solução de ERP moderna nativa de IA com automação integrada para, digamos, gestão multiempresa, insights instantâneos impulsionados por IA e uma equipe virtual de agentes de IA. O que já estamos ouvindo de nossos clientes, 78% dos clientes dizem que estão tendo mais tempo para crescer seus negócios. Eles podem se concentrar mais no negócio do que na gestão, têm uma visão melhor da sua saúde financeira. Então já estamos vendo valor e ROI desses agentes.

[15:39] Incrível. Falando como usuário do QuickBooks que quer receber mais rápido, sou totalmente a favor disso. Então, você sabe, vimos uma última pergunta antes de chegarmos a algumas das perguntas dos espectadores. Vimos o surgimento de agentes no espaço de infraestrutura com coisas como, você sabe, agentes de SRE. Mas como vocês estão pensando em incorporar agentes no lado de engenharia de plataforma? Então, como todo mundo, primeiro lançamos múltiplos assistentes de código com IA para geração de código, geração de testes no loop interno de desenvolvimento. Mas agora, o desenvolvimento agêntico está mudando todo o ciclo de vida de desenvolvimento de produto. Hoje, mais de 30% do tempo dos desenvolvedores é gasto no loop externo, solucionando problemas, gerenciando infraestrutura, gerenciando incidentes.

[16:31] Apesar do progresso, incidentes induzidos por mudanças ainda permanecem altos, mesmo dentro da Intuit, e os tempos de recuperação são inconsistentes. Então, nos últimos anos, focamos em observabilidade centrada no cliente usando sinais dourados, monitoramento de usuários reais e rastreamento distribuído em cima do nosso data lake operacional central. Porque você tem que lembrar, agentes primeiro precisam de dados limpos. para funcionar, assim como qualquer outra IA. Começamos implementando detecção de anomalias quase em tempo real em cima desses dados para observabilidade e entrega progressiva primeiro, antes de entrar no espaço agêntico.

[17:15] Agora que temos dados operacionais e pipelines de dados amadurecidos e observabilidade de ponta a ponta, primeiro lançamos o Incident Recovery Agent, que durante um incidente percorre as dependências dos nossos ativos, porque incidentes não são causados apenas por um único ativo de software. Pode ser causado por um ativo downstream impactando múltiplos ativos. são muito importantes para identificar qual é a causa raiz do incidente passo a passo com um loop de feedback do desenvolvedor para permitir uma recuperação mais rápida de incidentes. Hoje, o agente já consegue encontrar a causa raiz de mais de 50% dos nossos incidentes. Como Merin disse, fazemos constantemente a avaliação do agente com dados reais de incidentes. Outras áreas onde estamos experimentando agentes na plataforma são agentes realizando tarefas de forma assíncrona, tentando remediar quaisquer defeitos de segurança que nossa equipe de segurança abre em toda a empresa. Ou atualizar, digamos, uma data técnica, como atualizar a versão do Java. Agentes assíncronos vão ao seu repositório, encontram dependências e fazem a atualização. Estamos fazendo triagem de alertas de plantão. Engenheiros de plantão recebem muitos alertas, e precisam triar e descobrir em qual agir e em qual não agir.

[18:44] Falha de build e implantação. Nossa maior dúvida de desenvolvedores no suporte em slacks é por que meu build falhou e por que minha implantação está dando crash to back off. OK, gosto de triagem e insights e depois suporte ao desenvolvedor. Estamos tentando responder à maioria das perguntas dos nossos desenvolvedores com agentes conversacionais antes de enviá-los ao segundo nível de suporte. Sim. Incrível. Então temos uma pergunta aqui de alguém que era um mistério. Eles não adicionaram o nome. Então vou assumir que é obviamente Brad Pitt.

[19:18] que disse como posso adicionar agentes de IA em clusters Kubernetes para me ajudar a corrigir problemas Então temos engenheiros de plataforma que mantêm os clusters Kubernetes e, obviamente, depois os desenvolvedores de serviços que usam o cluster Kubernetes para construir seus próprios agentes ou seus próprios serviços. Então nossa equipe de engenharia de plataforma está experimentando agentes primeiro para triar problemas, porque precisamos ser 100 por cento precisos na triagem de problemas com humano no loop antes de fazer mudanças determinísticas em produção.

[19:54] nos clusters Kubernetes. Incrível. E então temos uma pergunta aqui do Larry. Adoro essa pergunta. Ele diz: Eu adoraria ouvir sobre a economia da plataforma. Um milhão ou mais de cores é enorme. literal e figurativamente, o ROI deve estar lá para tornar viável para empresas pensando em adotar agentes. Como vocês equilibram o investimento versus os resultados? Obrigado. Vou dar o primeiro palpite e depois Merin pode acrescentar. Então, só para esclarecer, um milhão ou mais de cores era a plataforma geral na qual executamos serviços, APIs, pipelines de dados, aplicativos web e agentes. Ainda não estamos executando um milhão ou mais de cores com agentes, porque para cada agente que estamos executando em produção. A primeira coisa que estamos medindo é a precisão das respostas que eles estão dando aos clientes.

[20:46] muito cuidadosos para executá-los em produção, especialmente dando respostas aos nossos clientes. ROI, já mencionamos como nossos clientes estão recebendo dinheiro de volta mais rápido, como estão dizendo que estão recuperando tempo para investir em seus negócios. Merin, você quer acrescentar algo? Sim, exatamente o que Mukulika disse, certo? Encorajamos muita experimentação. Isso não significa sempre priorizar implacavelmente o que deve receber o investimento, o que proporciona um benefício de impulso para nossos clientes.

[21:23] Adorei. Perfeição progressiva. Por exemplo, nosso agente de SRE, estamos rastreando que se leva 20 minutos para encontrar a causa raiz do problema para um humano, menos de cinco minutos para um agente. E até agora, em 50% dos casos, o agente está encontrando em menos de cinco minutos. Incrível. Incrível. E então acho que esta provavelmente será nossa pergunta final porque estamos ficando sem tempo aqui. Esta é do Jan Harvey. Espero estar pronunciando seu nome corretamente. Quais são os primeiros passos práticos para. um desenvolvedor individual pode tomar para começar a construir e implantar agentes de IA no Kubernetes, especialmente se for novo em ferramentas nativas de nuvem e orquestração.

[22:00] Mary, você quer responder? Sim, estou assumindo que isso não é sobre construir agentes de infraestrutura, mas agentes em geral, mas em cima do Kubernetes. É como você desenvolveria qualquer agente. Não se preocupe com infraestrutura e nuvem primeiro. Descubra como construir um agente efetivamente na sua máquina e depois construa lentamente em cima de qualquer infraestrutura que você tenha disponível na sua organização. Tchau. E acho que a diferença fundamental, como eu destaquei, é que esta é a primeira experiência de muitos engenheiros de software trabalhando com IA. Então esse é o lugar onde você precisa se aprimorar e investir mais. A infraestrutura virá. As ferramentas virão. Se os últimos dois anos forem um indicativo, as coisas vão melhorar. As ferramentas vão melhorar. Haverá muito mais simplificação. Mas a habilidade que você precisa investir em si mesmo é como aproveitar a IA efetivamente. Isso você tem que fazer por conta própria.

[22:55] Incrível. Bem, Mukulika, Mehran, muito obrigado por se juntarem a nós hoje. Este foi o inaugural Cloud Native Live Fireside Chat. Obrigado por se juntarem a nós hoje. Pessoal, vão conferir a página de código aberto da Intuit no LinkedIn. Vocês podem ver o link ali na tela, e esperamos ter algumas pessoas no fundo talvez colocando um link no chat. YouTube e fiquem ligados para sessões futuras também. Então obrigado a todos. Tenham uma ótima semana e nos vemos na próxima.