97人人爽|97碰在线视频|三年片在线|中文字幕一区二区三区三区四区

?
當前位置：首頁 / 新聞資訊 / 行業資訊

月之暗面Kimi開放平臺將啟動Context Caching內測 提供預設內容QA Bot、固定文檔集合查詢

發布日期：2024-06-20     408 次

6 月 19 日消息，月之暗面官宣 Kimi 開放平臺 Context Caching 功能將啟動內測，屆時將支持長文本大模型，可實現上下文緩存功能。

據介紹，Context Caching（上下文緩存）是由 Kimi 開放平臺提供的一項高級功能，可通過緩存重復的 Tokens 內容，降低用戶在請求相同內容時的成本，原理如下：

0.png

官方表示，Context Caching 可提升 API 的接口響應速度（或首字返回速度）。在規模化、重復度高的 prompt 場景，Context Caching 功能帶來的收益越大。

Context Caching 適合于用頻繁請求，重復引用大量初始上下文的情況，通過重用已緩存的內容，可提高效率降低費用，適用業務場景如下：

提供大量預設內容的 QA Bot，例如 Kimi API 小助手。

針對固定的文檔集合的頻繁查詢，例如上市公司信息披露問答工具。

對靜態代碼庫或知識庫的周期性分析，例如各類 Copilot Agent。

瞬時流量巨大的爆款 AI 應用，例如哄哄模擬器，LLM Riddles。

交互規則復雜的 Agent 類應用，例如什么值得買 Kimi+ 等。

官方后續將發布 Context Caching 功能的場景最佳實踐 / 計費方案 / 技術文檔。


上一篇: 傳美擬將11家中國晶圓廠列入實體清單
下一篇: 美國汽車經銷軟件供應商CDK Global遭遇黑客攻擊,全美約 1.5 萬家汽車經銷商業務陷入停滯

為您精選

最新文章

尋找更多銷售、技術和解決方案的信息？

?
關于綠測

廣州綠測電子科技有限公司（簡稱：綠測科技）成立于2015年11月，是一家專注于耕耘測試與測量行業的技術開發公司。綠測科技以“工程師的測試管家”的理念向廣大客戶提供專業的管家服務。綠測科技的研發部及工廠設立于廣州番禺區，隨著公司業務的發展，先后在廣西南寧、深圳、廣州南沙、香港等地設立了機構。綠測科技經過深耕測試與測量領域多年，組建了一支經驗豐富的團隊，可為廣大客戶提供品質過硬的產品及測試技術服務等支持。

綠測工場服務號
綠測工場服務號
綠測科技訂閱號
綠測科技訂閱號
020-2204 2442
Copyright @ 2015-2024 廣州綠測電子科技有限公司 版權所有 E-mail：Sales@greentest.com.cn 粵ICP備18033302號