Fontes: Projeto SGLang se transforma em RadixArk com avaliação de US$ 400 milhões conforme o mercado de inferência explode

Parte da equipe responsável pela manutenção do SGLang, uma widespread ferramenta de código aberto usada por empresas como xAI e Cursor para acelerar o treinamento de modelos de IA, fez a transição para sua startup comercial recentemente lançada. Essa empresa, chamada Radix Arkfoi anunciado em agosto passado.

RadixArk, que se originou como SGLang em 2023 dentro do laboratório da UC Berkeley do cofundador da Databricks, Ion Stoica, foi recentemente avaliado em cerca de US$ 400 milhões em uma rodada liderada pela Accel, de acordo com duas pessoas familiarizadas com o assunto. O TechCrunch não conseguiu confirmar o tamanho do financiamento.

A startup já levantou capital anjo de investidores, incluindo o CEO da Intel, Lip-Bu Tan, disseram as pessoas.

Ying Sheng, um contribuidor importante da SGLang e ex-engenheiro da xAI, deixou a startup de IA de Elon Musk para se tornar cofundador e CEO da RadixArk, de acordo com um Anúncio do LinkedIn ela fez no mês passado. Sheng foi anteriormente um cientista pesquisador na Databricks.

Ying Sheng, Accel e Lip-Bu Tan da RadixArk não responderam a um pedido de comentário.

Tanto o SGLang quanto o RadixArk se concentram na otimização do processamento de inferência – essencialmente permitindo que os modelos sejam executados de forma mais rápida e eficiente no mesmo {hardware}. Juntamente com o treinamento de modelos, a inferência representa uma grande parte dos custos de servidor associados aos serviços de IA. Como resultado, ferramentas que otimizam o processo podem gerar enormes economias quase imediatamente.

vLLM, um projeto mais maduro para otimizar inferência, também passou de um projeto de código aberto para uma startup. A empresa recém-formada conversou sobre como levantar mais de US$ 160 milhões em financiamento, com uma avaliação de cerca de US$ 1 bilhão, Forbes relatou mês passado.

Três pessoas familiarizadas com o acordo disseram ao TechCrunch que Andreessen Horowitz está liderando o investimento no vLLM, embora os números finais desse investimento ainda não sejam vistos. Andreessen Horowitz não quis comentar. O cofundador do vLLM, Simon Mo, caracterizou as informações sobre esta rodada como “factualmente imprecisas” em uma declaração ao TechCrunch, embora tenha se recusado a especificar quais detalhes estavam incorretos.

Assim como o SGLang, o vLLM foi incubado no laboratório de Ion Stoica na UC Berkeley. Stoica, professor da UC Berkeley, é o famoso cofundador da Databricks, bem como de várias outras startups.

Várias grandes empresas de tecnologia já executam suas cargas de trabalho de inferência usando vLLM, e o SGLang também ganhou popularidade significativa nos últimos seis meses, disse Brittany Walker, sócia geral da CRV, ao TechCrunch. Sua empresa não apoiou nenhuma das empresas.

A RadixArk continua a desenvolver o SGLang como um mecanismo de modelo de IA de código aberto. A startup também está construindo Miles, uma estrutura especializada projetada para aprendizado por reforço, que permite às empresas treinar modelos de IA para se tornarem mais inteligentes ao longo do tempo.

Embora a maioria de suas ferramentas permaneça gratuita, a RadixArk começou a cobrar taxas por serviços de hospedagem, disse uma pessoa familiarizada com a empresa ao TechCrunch.

As startups que fornecem infraestrutura de inferência para desenvolvedores tiveram um aumento no financiamento nos últimos meses, ressaltando a importância contínua da camada de inferência para IA. Baseten garantiu recentemente US$ 300 milhões em um Avaliação de US$ 5 bilhõesinformou o Wall Avenue Journal na terça-feira. Isso segue um movimento semelhante do rival Fireworks AI, que aumentou US$ 250 milhões em uma avaliação de US$ 4 bilhões em outubro passado.