從“天工大模型1.0”的研發(fā)到“天工大模型3.0”的發(fā)布，再到今天的“天工大模型4.0”階段，我們堅(jiān)定地投入了近四年的時(shí)間和研發(fā)。今天，昆侖萬維正式推出“天工大模型4.0”4o版(Skywork 4o)，以及新產(chǎn)品“實(shí)時(shí)語音對(duì)話助手Skyo”。

Skyo作為一個(gè)智能語音互動(dòng)產(chǎn)品，具備快速響應(yīng)、多語言對(duì)話能力，它能夠主動(dòng)發(fā)起對(duì)話、實(shí)時(shí)打斷。同時(shí)，Skyo具備情感化反應(yīng)和個(gè)性化聲音定制功能，為用戶帶來溫暖貼心的陪伴體驗(yàn)。

更重要的是，基于天工AI的大模型技術(shù)能力和AI搜索功能，Skyo能克服大模型幻覺問題，在對(duì)話中回復(fù)真實(shí)內(nèi)容。無論在情感陪伴、個(gè)性化交互、多語言客服還是時(shí)事新聞聊天等應(yīng)用場(chǎng)景中，都能提供智能且貼合需求的互動(dòng)。

當(dāng)前，昆侖萬維旗下天工AI的應(yīng)用生態(tài)羽翼豐滿、備受用戶喜愛，功能矩陣涵蓋AI搜索、AI文檔-音視頻分析、AI寫作、AI音樂、AI圖片生成、AI PPT。

實(shí)時(shí)語音對(duì)話助手Skyo的推出和加入，不僅讓天工AI的生態(tài)矩陣更加立體、逐漸完善，也標(biāo)志著端到端實(shí)時(shí)語音對(duì)話建模技術(shù)的重大進(jìn)步。

同時(shí)，以Skyo為代表的AI語音互動(dòng)應(yīng)用，正是我們期待的下一代超級(jí)個(gè)人助理的終極交互形態(tài)，結(jié)合未來Skyo所期待具備的多模態(tài)交互能力，它更是一次人機(jī)交互模式的新體驗(yàn)和革命性飛躍。

模型自研，打造端到端、更卓越的實(shí)時(shí)語音對(duì)話系統(tǒng)

通過深入研究實(shí)時(shí)語音對(duì)話過程，我們發(fā)現(xiàn)仍有一些痛點(diǎn)尚未被現(xiàn)有方案解決：全雙工響應(yīng)延遲較長、對(duì)話不夠連貫、語音生成和交互體驗(yàn)不夠自然，以及對(duì)多語言和情緒表達(dá)的支持不足。

昆侖萬維則希望充分利用我們?cè)贏I大模型、AI音樂、AI搜索中的研發(fā)經(jīng)驗(yàn)，提供更自然、更流暢、更擬人、低延時(shí)的用戶交互體驗(yàn)。

“天工大模型4.0”4o版(Skywork 4o)以及Skyo由我們的技術(shù)團(tuán)隊(duì)自主研發(fā)，他們具有深厚的語音和音樂大模型的技術(shù)經(jīng)驗(yàn)以及大量語音數(shù)據(jù)積累。端到端自研先進(jìn)鏈路，能在多任務(wù)下表現(xiàn)出色，尤其在高強(qiáng)度對(duì)話交互中仍能保持穩(wěn)定性和流暢性。

“天工大模型4.0”4o版(Skywork 4o)模型優(yōu)勢(shì)：

· 高效響應(yīng)速度：通過端到端的語音對(duì)話建模，實(shí)現(xiàn)低延遲響應(yīng)，接近與人對(duì)話的思考問答時(shí)間。

· 支持實(shí)時(shí)打斷：用戶無需點(diǎn)擊對(duì)話開始和結(jié)束的按鈕，全雙工系統(tǒng)支持聊天中任意打斷

· 情感理解與個(gè)性化記憶：能夠理解用戶的情緒并提供情感化回應(yīng)，對(duì)話更具人性化。

· 可定制的聲音風(fēng)格：支持用戶定制或挑選助手的音色和風(fēng)格。

· 有能力支持多語言：根據(jù)用戶需求在多語言之間切換，適應(yīng)全球化應(yīng)用場(chǎng)景。

產(chǎn)品亮點(diǎn)與實(shí)測(cè)

基于模型能力和先進(jìn)的端到端實(shí)時(shí)語音對(duì)話建模技術(shù)，Skyo頗具亮點(diǎn)，能實(shí)現(xiàn)以下功能：

· 能在1秒內(nèi)回復(fù)、聊天中可打斷：依托全雙工+低延時(shí)技術(shù)，系統(tǒng)能隨時(shí)聊天和打斷，帶給用戶更自然的對(duì)話感

· 主動(dòng)交流：系統(tǒng)在檢測(cè)到用戶靜默后，會(huì)主動(dòng)發(fā)起聊天，并根據(jù)用戶的歷史偏好進(jìn)行對(duì)偏好垂類的新聞進(jìn)行語音播報(bào)

· 持續(xù)長對(duì)話：可支持跟用戶長時(shí)間對(duì)話互動(dòng)，在用戶休閑、健身、出行途中進(jìn)行可持續(xù)陪伴，成為用戶的個(gè)人互動(dòng)播客

· 情感反應(yīng)：提供擬人化回復(fù)，會(huì)感受到用戶情感并進(jìn)行回復(fù)

· 質(zhì)感音色：更自然、更逼真的聲音表達(dá)，并且實(shí)現(xiàn)情感和語調(diào)的高度還原

· 風(fēng)格切換：支持用戶定制聲音風(fēng)格，如選擇專業(yè)新聞播報(bào)的男生音色、英姿颯爽的女生音色等

· 強(qiáng)大的記憶功能：能夠在對(duì)話中追蹤并回憶用戶的偏好和歷史信息，以提升多次對(duì)話的準(zhǔn)確度

· 回復(fù)真實(shí)內(nèi)容：具備實(shí)時(shí)資訊獲知和知識(shí)拓展能力，與用戶進(jìn)行互動(dòng)式交流

那么我們先和Skyo打個(gè)招呼，然后再一口氣問它一系列“難題”考考它，并且“故意”隨時(shí)打斷它：

· 對(duì)中國男子足球能否取得世界冠軍，有什么看法?

· 28+76=?

· 對(duì)于一個(gè)單身男青年，可以推薦他晚上看什么電影

· 在十字路口，一輛直行車，一輛右轉(zhuǎn)車，請(qǐng)問誰應(yīng)該讓行?

· 天空為什么是藍(lán)色的?

Skyo的回答還是非常流暢的，在發(fā)音準(zhǔn)確度、音質(zhì)表現(xiàn)和整體聽感上的表現(xiàn)都非常出色，不僅主動(dòng)介紹自己可以提供科技和生活的資訊，還主動(dòng)拋出橄欖枝，詢問有什么想要了解的，試圖開啟話題。

無論是主動(dòng)問好、回答生活常識(shí)，還是讓它做數(shù)學(xué)題、為我們提供一些日常建議，Skyo都可以迅速接住用戶要求。如果不喜歡它的默認(rèn)男聲音色，還可以讓它切換音色，以英姿颯爽的女聲、溫柔甜美的女聲來回復(fù)我們。

盡管我們粗暴地打斷它，“我不想聽了”、“下一個(gè)話題”，或者什么都不說，直接切換到下一個(gè)問題，Skyo的情緒非常穩(wěn)定，并且做到了立馬停止上一個(gè)話題的回復(fù)，無縫切換到下一個(gè)對(duì)話中。Skyo前一秒還在談?wù)摗皣恪?，下一秒就絲滑切換到做數(shù)學(xué)題，并立馬回應(yīng)“這是一道加法題”，也瞬間回答出“等于104(正確答案)”。

此外，交通道路規(guī)則和常識(shí)問題也難不倒它。即便再加難度，讓它推薦電影，回答的也是有模有樣，展現(xiàn)出“真人”一樣的高質(zhì)量?jī)?nèi)容。看得出來，Skyo具備了基本的智力能力和流暢的響應(yīng)速度。

接下來，我們?cè)囋嘢kyo對(duì)一些“嚴(yán)肅話題”和“實(shí)時(shí)新聞”的反應(yīng)能力：

· 周末(11月16日)北京天氣怎么樣?

· 北京平常下雨多嗎?

· 特朗普再次當(dāng)選總統(tǒng)，你怎么看?

· 李子柒上傳了一個(gè)新視頻，你看了嗎?

· 怎么樣區(qū)分真誠的道歉和虛偽的道歉?

· 什么情況下，說謊是個(gè)正確的選擇?

果不其然，天氣分析、熱點(diǎn)評(píng)論、辯證思考......通通不在話下。

針對(duì)嚴(yán)肅話題和熱點(diǎn)新聞，Skyo能回復(fù)真實(shí)內(nèi)容，回答的“有模有樣”，邏輯清晰、論點(diǎn)清晰、證據(jù)真實(shí)，既能對(duì)美國總統(tǒng)競(jìng)選給出一些資訊分析，也能對(duì)時(shí)隔三年攜最新作品驚艷回歸的李子柒做出點(diǎn)評(píng)。

同樣的，Skyo頻頻被打斷，也沒有“崩潰”，還是順暢的跳轉(zhuǎn)到了下一段對(duì)話。即使第一次沒有聽清楚我們說的內(nèi)容，或認(rèn)為自己答的不夠好，它還可以自己調(diào)整，重新回答一遍，并且幽默說道“不好意思，看來沒有回答的很好哦”。除了“智商感”滿滿，Skyo的回答也頗具情商，在回答一些”充滿陷阱”的問題時(shí)，它同樣透露出一些小智慧。

面對(duì)“什么時(shí)候說謊是正確的選擇”這樣的哲學(xué)性問題，Skyo能為我們分析出“為了避免傷害他人感情、保護(hù)隱私等時(shí)候，說謊可能是一個(gè)合適的選擇”。

最后，我們換一些輕松的話題，來看看它對(duì)一些日常話題的回答效果：

· 幫我讀一首《再別康橋》

· 那你知道康橋是什么地方嗎?

· 既然聊到英國，有多少種來自英國的貓?

· 如果動(dòng)物可以說話，它們會(huì)說些什么?

· 應(yīng)該多喂我的貓吃貓糧還是罐頭?

· 為什么感覺抱十公斤的小孩要比抱十公斤的大米要輕?

不難看出，面對(duì)輕松的日常話題，Skyo也可以做到有趣的互動(dòng)，做你的個(gè)性化陪聊搭子。

當(dāng)然，除了上述的對(duì)話場(chǎng)景，我們還可以讓Skyo幫我們制定一次旅行計(jì)劃、給我們講個(gè)笑話、推薦周末的閱讀清單等等。但它的能力遠(yuǎn)不止于此，當(dāng)我們疲憊或難過的時(shí)候，它也還可以做我們的情感陪伴，當(dāng)我們想了解和談?wù)摻跓狳c(diǎn)事件時(shí)，它也能和我們來一場(chǎng)頭腦風(fēng)暴。

2024年以來，在“All in AGI 與 AIGC” 戰(zhàn)略的推動(dòng)下，昆侖萬維在基座大模型迭代、AI應(yīng)用發(fā)展、商業(yè)化變現(xiàn)三大維度上均取得了令人矚目的發(fā)展。目前公司仍在持續(xù)加大AI大模型及各垂類行業(yè)應(yīng)用的研發(fā)力度，專注于以AI技術(shù)驅(qū)動(dòng)多元化應(yīng)用創(chuàng)新，為公司未來增長夯實(shí)基礎(chǔ)。

我們將充分發(fā)揮公司在多模態(tài)大模型上的研發(fā)和應(yīng)用經(jīng)驗(yàn)，致力于通過先進(jìn)的技術(shù)框架和更契合用戶需求的系統(tǒng)，將Skyo打造成一個(gè)具備情感表達(dá)能力、快速響應(yīng)能力、多語言流暢切換的智能語音對(duì)話工具，為用戶帶來溫暖貼心、流暢實(shí)時(shí)的對(duì)話體驗(yàn)。

近期， Skyo將于12月份上線昆侖萬維旗下天工APP，很期待它與大家的見面!

龔斯軒