新榜訊 近日,全球知名的開源解決方案提供商紅帽公司宣稱正式啟動新開源項目 llm-d。此項目旨在滿足生成式 AI 大規(guī)模推理需求,由紅帽公司與創(chuàng)始貢獻者 CoreWeave、Google Cloud、IBM Research 以及 NVIDIA 攜手打造。該項目能夠借助突破性的大規(guī)模生成式 AI 推理技術,使大語言模型(LLM)推理云達成最為嚴苛的生產服務級目標(SLO)。(新浪科技)
新榜訊 近日,全球知名的開源解決方案提供商紅帽公司宣稱正式啟動新開源項目 llm-d。此項目旨在滿足生成式 AI 大規(guī)模推理需求,由紅帽公司與創(chuàng)始貢獻者 CoreWeave、Google Cloud、IBM Research 以及 NVIDIA 攜手打造。該項目能夠借助突破性的大規(guī)模生成式 AI 推理技術,使大語言模型(LLM)推理云達成最為嚴苛的生產服務級目標(SLO)。(新浪科技)