由想法流打造的“造夢次元”，是由多模態(tài)AI驅動的新一代內容平臺，得益于商湯大裝置AIGC解決方案從算力到模型的端到端支持，通過算力和模型、模型和應用之間的緊密協(xié)同，既創(chuàng)造了最佳的用戶體驗，又獲得了最大化的成本效益，如今已成為一款日均活躍互動時間超過100分鐘的現(xiàn)象級應用。
50%成本節(jié)省、3~5倍推理時延降低、100%的QPS（每秒請求數）提升！
想法流合伙人、Studio負責人張鴻表示：“商湯大裝置展現(xiàn)出三重核心優(yōu)勢：一是算力與模型的深度協(xié)同，實現(xiàn)最高效的資源利用；二是針對文本、語音、圖像等不同模態(tài)的協(xié)同，構建了流暢自然的交互體驗；三是支持開源模型的完善生態(tài)，提供了多樣化模型選擇。這種多維度協(xié)同優(yōu)勢助力我們完成了‘算力、模型、應用’三位一體的全鏈條優(yōu)化，推動技術效能向商業(yè)價值的高效轉化?！?span style="display:none">YPb即熱新聞——關注每天科技社會生活新變化gihot.com
日均6000萬次調用、千億token消耗，帶來三大「生存挑戰(zhàn)」
基于對用戶需求的洞察，想法流通過技術創(chuàng)新直擊AI互動應用普遍存在的“沉浸感不足”和“門檻過高”兩大核心問題。例如，通過提供文字、語音、文圖結合的多模態(tài)交互，讓用戶與 AI 的互動體驗趨近真實人際交流。此外，想法流還提供豐富的創(chuàng)作工具，用戶只需套用相關模板，就可快速搭建完整互動內容，有效降低了創(chuàng)作門檻。
造夢次元每日平均模型調用量高達6000多萬次，一天消耗的token達千億級別。在如此龐大的規(guī)模下，任何卡頓、宕機、出錯都會導致嚴重的用戶流失；任何因模型能力不足造成的體驗不佳，都會影響產品口碑；任何微小的資源閑置，都會累計成巨大的成本開銷。擺在想法流面前的“生存挑戰(zhàn)”，主要體現(xiàn)在三個層面：
2倍峰谷差的算力彈性戰(zhàn)：造夢次元的平臺流量有著鮮明的潮汐特征，周末和節(jié)假日高峰時段的流量可達低谷時期2倍，對基礎設施算力資源有很強的彈性伸縮需求。
推理時延的2秒生死線：虛擬角色互動場景對時延極為敏感，要保證基本流暢的交互體驗，模型推理時延需穩(wěn)定控制在2秒以內。
模型迭代的穩(wěn)定性挑戰(zhàn)：想法流采用了很多開源模型，需要跟隨社區(qū)節(jié)奏進行頻繁升級甚至替換。需求多、更新頻，如何保證業(yè)務穩(wěn)定運行也至關重要。
高峰秒級響應不卡頓、低谷資源釋放不浪費
商湯大裝置作為“最懂大模型的AI基礎設施”，為想法流提供了從算力到模型的全鏈路一體化AIGC整體解決方案，一站式支撐想法流的產品研發(fā)及運營需求，做到“高峰秒級響應不卡頓、低谷資源釋放不浪費”。
秒級彈性伸縮：成本暴降50%，流量潮汐從容應對
面對流量峰谷波動挑戰(zhàn)，商湯大裝置通過實時監(jiān)測、統(tǒng)一調度、智能擴縮容的組合策略，實現(xiàn)秒級彈性伸縮，為想法流的整體運營成本降低了50%。其中，智能化統(tǒng)一調度結合監(jiān)測系統(tǒng)實時抓取的業(yè)務指標，根據推理業(yè)務擴縮容規(guī)則自動分配資源，實現(xiàn)算力與流量的精準匹配；并結合定時擴縮容與按需擴縮容的雙重策略，進一步提升彈性伸縮的靈活性。
全鏈路優(yōu)化：5倍推理時延降低、100% QPS提升
想法流將“人均互動次數”作為判斷模型體驗的綜合指標，推理時延和QPS正是影響該指標的關鍵因素。商湯大裝置通過硬件資源、軟件框架、算法模型等多維度協(xié)同優(yōu)化，使推理時延降低3~5倍。
另外，在秒級彈性伸縮的基礎上，商湯大裝置還通過全鏈路量化加速、流量分級與降級等專項優(yōu)化，可在高峰期優(yōu)先保障高價值業(yè)務的響應速度，最終將QPS提升100%，以更快的響應速度提升用戶體驗。
商湯日日新多模型組合，“人均互動次數”翻倍提升
“人均互動次數”另一個影響因素在于模型能力，商湯以商量語言大模型、商量擬人對話模型、文生圖模型秒畫等多模型組合，為造夢次元用戶帶來“更懂人心”的交互體驗。
其中，商量語言大模型以精準的上下文語義分析、意圖推理及對人類情感的細致感知與回應，助力造夢次元以擬人化思維打造沉浸式交流體驗。同時，依托商量擬人對話模型領先的角色對話、人設、及劇情推動能力，幫助想法流用戶打造IP角色，為用戶提供高擬真對話體驗。此外，創(chuàng)作者可使用秒畫的普通生圖、CN生圖、換臉、擴圖等功能，進行各類虛擬角色設計。
基于基礎設施的系統(tǒng)優(yōu)化和雙方的模型共創(chuàng)，造夢次元的“人均互動次數”從初期 20 輪提升至 40~50 輪，用戶粘性實現(xiàn)跨越式增長。
可靠全面穩(wěn)定性保障：模型隨時升，業(yè)務不斷點
針對想法流高頻次的模型切換，以及開源模型頻繁的版本升級給業(yè)務運營帶來的穩(wěn)定性挑戰(zhàn)，商湯大裝置針對推理階段構建了涵蓋模型灰度發(fā)布、滾動升級與智能運維的全面穩(wěn)定性保障體系，不僅為模型快速迭代提供了有效支撐，也確保了在線業(yè)務的穩(wěn)定運行。
日均活躍超100分鐘，構建新型內容消費生態(tài)
短短兩年時間，“造夢次元”已發(fā)展成為擁有數百個萬粉級別IP角色，日均活躍互動時間超過100分鐘的應用平臺，是大量年輕用戶娛樂、情感表達和學習陪練的重要伙伴。未來，雙方還將聚焦多模態(tài)模型能力深化合作，給用戶帶來更新奇、更有趣的AI互動之旅。
商湯科技聯(lián)合創(chuàng)始人、大裝置事業(yè)群總裁楊帆認為：“商湯大裝置與想法流的合作，是對商湯科技‘大裝置-大模型-應用’三位一體戰(zhàn)略價值的最佳詮釋。基于應用場景特點開展模型能力共創(chuàng)，訓練高度貼合業(yè)務需求的垂類模型，并針對模型調用需求提供最優(yōu)的基礎設施支持，給予靈活的彈性伸縮、極低的推理時延和穩(wěn)定性保障，最終實現(xiàn)降本增效和用戶滿意度的提升。大模型算法與基礎設施的聯(lián)合優(yōu)化，不僅是驅動生成式AI發(fā)展的核心動力，也是實現(xiàn)最大化商業(yè)價值的最優(yōu)路徑?！?span style="display:none">YPb即熱新聞——關注每天科技社會生活新變化gihot.com
關于商湯
作為人工智能軟件公司，商湯科技以“堅持原創(chuàng)，讓AI引領人類進步”為使命，旨在持續(xù)引領人工智能前沿研究，持續(xù)打造更具拓展性更普惠的人工智能軟件平臺，推動經濟、社會和人類的發(fā)展，并持續(xù)吸引及培養(yǎng)頂尖人才，共同塑造未來。
商湯科技擁有深厚的學術積累，并長期投入于原創(chuàng)技術研究，不斷增強行業(yè)領先的多模態(tài)、多任務通用人工智能能力，涵蓋感知智能、自然語言處理、決策智能、智能內容生成等關鍵技術領域，同時包含AI芯片、AI傳感器及AI算力基礎設施在內的關鍵能力。此外，商湯前瞻性打造新型人工智能基礎設施——商湯AI大裝置SenseCore，打通算力、算法和平臺，并在此基礎上建立“商湯日日新SenseNova”大模型及研發(fā)體系，以低成本解鎖通用人工智能任務的能力，推動高效率、低成本、規(guī)模化的AI創(chuàng)新和落地，進而打通商業(yè)價值閉環(huán)，解決長尾應用問題，引領人工智能進入工業(yè)化發(fā)展階段。
商湯倡導“發(fā)展”的人工智能倫理觀，并積極參與有關數據安全、隱私保護、人工智能倫理道德和可持續(xù)人工智能的行業(yè)、國家及國際標準的制訂，與多個國內及多邊機構就人工智能的可持續(xù)及倫理發(fā)展開展了密切合作。商湯《AI可持續(xù)發(fā)展道德準則》被聯(lián)合國人工智能戰(zhàn)略資源指南選錄，并于2021年6月發(fā)表，是亞洲唯一獲此殊榮的人工智能公司。
目前，商湯科技已于香港交易所主板掛牌上市。商湯在香港、上海、北京、深圳、成都、杭州、西安、新加坡、曼谷、吉隆坡、利雅得、阿布扎比、迪拜、首爾等地設立辦公室。 另外，商湯科技在德國、泰國、印度尼西亞、菲律賓等國家均有業(yè)務。更多信息，請訪問商湯科技網站、微信、微博和領英。
本文鏈接：http://www.enbeike.cn/news-14-10454-0.html想法流x商湯科技大裝置：端到端全棧賦能，造就現(xiàn)象級應用
聲明：本網頁內容由互聯(lián)網博主自發(fā)貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯(lián)系，我們將在第一時間刪除處理。
點擊右上角
微信好友
朋友圈
點擊瀏覽器下方“
”分享微信好友Safari瀏覽器請點擊“
”按鈕
點擊右上角
QQ
點擊瀏覽器下方“”分享QQ好友Safari瀏覽器請點擊“”按鈕
