Ou por que nosso desafio de IA no agro é similar - em complexidade - ao da Tesla e Netflix?
Recentemente na Cromai, conversando com investidores e clientes, sentimos uma necessidade crescente de dar um pouco mais de clareza sobre o que hoje nos torna únicos. O desafio do diagnóstico agrícola por imagem hoje não está só na aquisição e processamento automatizado de uma quantidade enorme de hectares (e bytes), mas em fazer isso garantindo - em um ambiente com muita variabilidade - precisão e acurácia suficientes para um manejo realmente otimizado. E é aí que a Visão Computacional, sub-área da inteligência artificial com avanços recentes enormes, entra em cena. Porém, por mais que esse seja um tópico em rápida evolução no debate na universidade e nas agtechs, o nosso desafio está tão na fronteira do conhecimento que poucos entendem o nível tecnológico que esse tipo de solução exige, e as consequentes vantagens competitivas que quem consegue atingi-lo obtêm.
Tentando ser o mais objetivo possível para endereçar um assunto em um universo com tantas complexidades, escolhemos uma pergunta-chave, que respondida, traria mais clareza ao tamanho desse desafio:
Por que entregar IA em escala é um problema à parte? Ou por que nosso desafio de IA no agro é similar - em complexidade - ao da Tesla e Netflix?
E então escolhemos responder de duas maneiras, uma mais direta e resumida, e uma mais longa, trazendo um pouco mais de elementos e detalhes. Abaixo as respostas diretas:
Porque (a) ainda não existem tantas boas práticas como em desenvolvimento de software tradicional , (b) as técnicas acadêmicas para desenvolvimento de modelos de redes neurais não são suficientes para Inteligência Artificial aplicada a problemas reais mais complexos e (c) consequentemente não existem bibliotecas e ferramentas suficientes e nem capital humano totalmente preparados para esses desafios.
Porque nós tivemos que, durante os últimos 4 anos, criar do zero (e iterar) uma estratégia própria de IA envolvendo (a) uma estratégia de aquisição e validação de imagens, (b) combinação de múltiplos modelos e (c) o desenvolvimento de scripts proprietários, automações de processos e até mesmo ferramentas de software de uso interno.
Porque precisão e acurácia em escala exigem (a) um volume constante automatizado de dados (imagens no nosso caso), (b) um processo escalável de rotulação (classificação das plantas daninhas no nosso caso) e (c) um processo padrão de geração de modelos (desenvolvimento de arquiteturas que equilibrem um excelente resultado geral de identificação com exclusão de erros específicos, porém críticos no campo).
Também de forma resumida, Tesla e Netflix enfrentam essencialmente esses mesmos desafios ao aplicar IA em problemas reais e complexos. Agora, vamos pegar item a item e elaborar um pouco mais:
1. Estado da Técnica em IA
Desenvolver IA não é o mesmo que desenvolver um software comum. E não se trata só de juntar um dataset bem grande e aplicar as técnicas padrão que existem hoje na academia, como treinamento de modelos, data augmentation, splits e etc. Mesmo juntar um dataset grande não é uma tarefa fácil se você não trabalha com imagens triviais e já conhecidas dos bancos de dados atuais de IA.
Descobrimos na Cromai que para endereçar as necessidades de identificação, precisão e escalabilidade do Agro, nós precisaríamos pensar em uma arquitetura de solução mais customizada para nossas necessidades. Precisaríamos ir além de um único modelo de rede neural e definir uma arquitetura de modelos. E que precisaríamos ter uma gestão interna de datasets muito mais rigorosa e portanto suportada por sistemas internos nossos.
Por fim, nós precisamos criar nossas próprias bibliotecas, ferramentas e nosso próprio sistema de treinamento e desenvolvimento de capital humano. Formamos mais do que desenvolvedores em IA, formamos pensadores criativos que analisam combinações de modelos a partir de objetivos bem definidos de identificação e propõem experimentos de forma recorrente.
Ou seja, para fazer uma IA no agro é preciso um verdadeiro time de P&D em visão computacional, não apenas um time capacitado para programar uma rede neural.
2. Estratégia proprietária de IA
Existem 3 etapas fundamentais que organizam a nossa estratégia de IA: aquisição dos dados, arquitetura de modelos combinados e a validação do resultado.
A aquisição de dados, imagens no formato mosaico no nosso caso, é uma etapa importantíssima para o sucesso do desenvolvimento e consequente precisão dos resultados. A Cromai, ao longo desses 4 anos, criou uma expertise e definiu uma padrão de qualidade de imagem (e voos de Drone/VANT) que sustentam a qualidade de seu dataset. Você pode encontrar mais detalhes em nosso ebook sobre digitalização do manejo agrícola (www.cromai.com/ebook). Além disso, nós desenvolvemos um processo automatizado, batizado de "Esteira Cromai", no qual cada nova imagem recebida é tratada, rotulada por um time especializado e organizada em novos datasets para o time de IA.
Como falamos no item anterior, para endereçar o nível de identificação (tipos diferentes de daninhas) e a precisão que a prática do manejo necessita, nós precisamos sair da estratégia comum de um único modelo de redes neurais para um arquitetura que combina vários modelos. Cada um com um objetivo e uma tarefa e que, em conjunto, trabalham para atingir um objetivo final. Isso é fronteira do conhecimento. Tivemos que desenvolver uma expertise em realizar uma fila de experimentos para evolução da arquitetura. Nossa equipe hoje realiza testes e combinações de modelos, com objetivos diferentes diariamente. Fomos surpreendidos positivamente quando descobrimos que isso faz parte também do trabalho diário do time de IA da Tesla, do empreendedor Elon Musk. Nesse vídeo eles abrem parte da estratégia de IA deles, inclusive falando sobre a decisão de pivot que fizeram ao largar a fusão de sensores e utilizar somente visão computacional para o seu veículo autônomo (https://www.youtube.com/watch?v=hx7BXih7zx8).
Por fim, a etapa de validação de resultados que desenvolvemos na Cromai também se difere em complexidade e amplitude com o que vemos na academia hoje. No agro a validação de um resultado é muito mais complexo pois existem muitos elementos em uma única imagem. Para validar o resultado e ter uma evolução constante, ao invés de usar a estratégia comum de se ter um conjunto único de imagens de validação, a Cromai tem um fluxo constante de novas imagens que vem do campo e que servem como conjuntos novos de validação e evolução do modelo. O mais complicado hoje é encontrar um equilíbrio entre o resultado geral e o específico, visando o design de melhores modelos (e arquiteturas) que consigam entregar ambos em um nível de precisão e acurácia para qualquer situação do campo.
3. Automatizações e infraestrutura para desenvolvimento de IA
Para que se alcance um processo de IA em escala é preciso que exista, além de um processo de ponta a ponta padronizado, uma série de automações e sistemas internos para suportar o alto fluxo do processo. Na Cromai, desenvolvemos além da "Esteira", já mencionada, um processo de filas de treinamento automatizada e pequenos scripts de automação que suportam as atividades de trabalhos com os datasets de treinamento. Além disso, criamos um sistema interno, o DataShare, que permite que qualquer pessoa da Cromai possa ajudar a rotular novas imagens. Dentro da fronteira de pesquisa e desenvolvimento em IA, chamamos esse processo de "IA colaborativo".
Além da Tesla, que apresenta também processos automatizados de etiquetamento, evoluções de redes neurais e infraestrutura, nós recentemente tivemos a informação que o processo de Machine Learning da Netflix também estava desenvolvido sobre uma infraestrutura própria para fazer IA em escala.
Nesse vídeo (https://youtu.be/c_AUuTuPA5k?t=1275) a professora adjunta Chip Huyen apresenta na Universidade de Stanford que a Netflix consegue fazer deploy de 1000 modelos por dia. Ou seja, assim como a Cromai, eles provavelmente combinam modelos, tendo também arquiteturas para vários objetivos específicos, que são treinados de maneira automatizada. Eles, muito provavelmente, não gerariam 1000 modelos por dia se fosse um modelo único.
Trazemos com esse artigo mais luz para a tecnologia única e de altíssimo nível que desenvolvemos, e para que tipo de estratégia tecnológica é necessária para superar os desafios de aplicar IA em escala, que tanto vai beneficiar o nosso agro. No caso da solução que desenhamos, assim como as soluções da Tesla para veículos autônomos e da Netflix para recomendação de conteúdo, uma abordagem mais comum, simples e direta de IA (que já não é trivial) não gera resultados bons o suficientes para entregar valor real. Por maior que se torne o dataset e mais avançado que seja o modelo, o resultado almejado não virá, porque o caminho para endereçar esse tipo de problema é outro, mais estratégico. Temos isso em mente desde o nascimento da Cromai, e hoje contamos com uma equipe extremamente capacitada trabalhando diariamente em nossos processos, datasets, modelos e arquiteturas para endereçar as necessidades do campo. Tecnologia de ponta em nível mundial, brasileira e aplicada no agro nacional. Nos dá muito orgulho de realizar tudo isso e compartilhar com vocês.
Seguimos trabalhando para o futuro do agro.
Guilherme Castro (CEO), Diogo Cosin (Head de IA) e Diogo Dutra (Diretor Comercial).