TW201421963A - 通信系統、方法、伺服裝置以及終端設備 - Google Patents

通信系統、方法、伺服裝置以及終端設備 Download PDF

Info

Publication number
TW201421963A
TW201421963A TW102130749A TW102130749A TW201421963A TW 201421963 A TW201421963 A TW 201421963A TW 102130749 A TW102130749 A TW 102130749A TW 102130749 A TW102130749 A TW 102130749A TW 201421963 A TW201421963 A TW 201421963A
Authority
TW
Taiwan
Prior art keywords
terminal device
codec
sound
terminal
signal
Prior art date
Application number
TW102130749A
Other languages
English (en)
Inventor
Kazunori Ozawa
Original Assignee
Nec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corp filed Critical Nec Corp
Publication of TW201421963A publication Critical patent/TW201421963A/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/173Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding

Abstract

可以消除網路之頻寬變動等造成的聲音之延遲,可以減輕例如在Thin Client終端設備與非Thin Client終端設備等聲音編解碼器不同的終端設備間進行聲音通話時的伺服裝置之負荷。伺服裝置(110),係推斷網路之頻寬,求出上述第1及/或第2終端設備之聲音編解碼器的位元速率,將求出的位元速率通知上述第1及/或第2終端設備,針對由第1終端設備(170)或第2終端設備(175)之聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係對第1終端設備或第2終端設備之聲音編解碼器所編碼的碼進行解碼,針對解碼之信號,係藉由第2終端設備或第1終端設備之聲音編解碼器所對應的編碼方式,以上述求出的位元速率實施編碼而進行轉碼,並將上述轉碼後的碼發送至上述第2終端設備或第1終端設備(170)。

Description

通信系統、方法、伺服裝置以及終端設備 〔關連申請之記載〕
本發明主張日本專利申請:特願2012-208663號(2012年9月21日申請)之優先權,說明書之內容亦引用該申請之全部記載內容。
本發明關於通信系統、方法、伺服裝置以及終端設備。
企業等為了確保高度的安全性,使得Thin Client(精簡型用戶端)方式開始普及。Thin Client方式之安裝有各種,而習知者有例如使用虛擬機器(virtual machine)的系統。於伺服裝置,例如於虛擬層(Virtual Layer)上包括虛擬機器(亦稱為「虛擬終端設備」或「虛擬Client(虛擬用戶端)」),而於虛擬機器上執行VOS(Virtual Operating System(虛擬作業系統))(亦稱為「GOS(Guest Operating System(客體作業系統))」或應用程式。終端設備(通信終端設備),則透過網路通信連接於伺服裝置,就像操作實體終端設備般,操作伺服裝置上的虛擬終端設備使應用程式動作,例如產生畫面資訊。虛擬終端設備上的應用程式,係將該畫面資訊發送至終端設備,使該畫面資訊顯示於終端設備之顯示裝置。此種系統的終端設備亦稱為Thin Client終端設備。依據來自終端設備之登 入ID(Login ID)、終端設備辨識資訊來進行和伺服裝置上的終端設備之虛擬終端設備之連接,由自宅或外出目的地亦可安全存取伺服裝置,連接於本身的虛擬終端設備來執行業務。
Thin Client方式的終端設備完全不保留任何資料,因此例如即使遺失終端設備時,秘密資訊或企業資訊等亦不會外洩。
另外,關於Thin Client系統,例如於專利文献1揭示,使用分別分配給複數使用者之各個的硬體資源,以電腦畫面作為影像信號予以傳送,來抑制處理負荷及通信負荷之增大,以使多數使用者可以利用Thin Client的資訊處理裝置、資訊處理系統及資訊處理裝置之控制方法。另外,專利文献2揭示,伺服裝置取得終端設備(Client終端設備)中之操作資訊,令在伺服裝置上動作的應用程式來執行該操作所要求的處理,產生畫面用來顯示該應用程式所執行的處理結果,並將該畫面發送至終端設備(Client終端設備)的Thin Client系統。
【先行技術文献】 【專利文献】
【專利文献1】特開2009-009330公報
【專利文献2】特開2012-014533號公報
以下提出關連技術之分析。
於Thin Client系統,透過伺服裝置經由VoIP(於 Voice Over IP:IP(Internet Protocol)網上進行聲音之處理)來進行聲音通話時,存在以下之問題。
行動網路(Mobile Network)或網際網路(Internet),該等網路之頻寬(Bandwidth)並不太大。另外,行動網路或網際網路,會因為資訊量之滯留(混亂)而造成該等網路頻寬之隨時間變動。網路之頻寬變窄時,聲音資料會滯留於網路。結果,導致聲音資料到達Client(用戶端)之延遲時間變長,難以順利進行通話。
另外,在Thin Client終端設備與非Thin Client終端設備間透過伺服裝置進行聲音通話時,搭載於Thin Client終端設備的聲音編解碼器(Audio Codec),與搭載於非Thin Client終端設備的聲音編解碼器互為不同(不同種類的編碼方式等)時,需要於伺服裝置進行聲音編解碼器之轉換(轉碼(Transcoding))。伺服裝置,係針對以Thin Client終端設備之聲音編解碼器實施編碼的聲音信號進行解碼,並藉由非Thin Client終端設備之聲音編解碼器對應的編碼方式進行編碼後發送至非Thin Client終端設備。另外,伺服裝置,係針對以非Thin Client終端設備之聲音編解碼器實施編碼的聲音信號進行解碼,並藉由Thin Client終端設備之聲音編解碼器對應的編碼方式進行編碼後發送至非Thin Client終端設備。因為轉碼之處理量多,造成伺服裝置之負荷變大。
本發明係為解決上述問題點,目的在於提供系統、裝置及方法,其可以消除網路之頻寬變動等造成的聲音延遲,例如在Thin Client終端設備與非Thin Client終端設備間 等聲音編解碼器不同的終端設備間之聲音通話時,可以減輕伺服裝置之負荷。
依據本發明之一側面提供的系統,包括:複數台終端設備;及伺服裝置,係透過網路連接於上述複數台終端設備;其特徵在於:上述複數台終端設備包含聲音編解碼器為不同的第1、第2終端設備;上述伺服裝置包括以下手段:推斷上述網路之頻寬,求出上述第1及/或第2終端設備之聲音編解碼器的位元速率,並將求出的位元速率通知上述第1及/或第2終端設備,接受由上述第1或第2終端設備之聲音編解碼器產生的碼,針對由上述碼之一部分求出的信號滿足預定條件的時間區間,係依據上述碼之接收側即上述第2或第1終端設備之聲音編解碼器所對應的編碼方式,以上述求出的位元速率,對解碼上述碼而成的信號實施編碼來進行轉碼處理,並將上述轉碼處理後的碼發送至上述第2或第1終端設備。
依據本發明之一側面提供的系統,係包括:終端設備;及伺服裝置,係透過網路連接於上述終端設備,藉由在上述終端設備之操作,而將以虛擬Client(虛擬用戶端)部執行應用程式之動作所獲得的畫面資訊傳送至上述終端設備,顯示於上述終端設備;上述伺服裝置係包括:控制部,其依據由上述終端設備接收的操作信號,來判斷上述操作是否為聲音通話;聲音轉換部,當上述控制部判斷為聲音通話時,係依據上 述控制部之指示,對上述終端設備所送出之儲存著聲音資料的封包進行轉碼,或不進行轉碼直接讓其通過而輸出至通話側;及頻寬推斷速率算出部,係依據上述終端設備對上述伺服裝置之特定封包之送出的響應信號,來推斷上述網路之頻寬,算出上述終端設備之聲音編解碼器的位元速率,並將上述位元速率通知上述終端設備;上述終端設備至少包含第1終端設備;上述第1終端設備,與包括和上述第1終端設備之聲音編解碼器為不同聲音編解碼器的第2終端設備透過上述伺服裝置進行聲音通話時,於上述伺服裝置,上述聲音轉換部係依據上述控制部之指示進行轉碼,此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將上述轉碼後的信號輸出至上述第1終端設備;針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將上述轉碼後的碼輸出至上述第2終端設備。
依據本發明之另一側面,係提供伺服裝置,其包括:收/發部,係透過網路連接於終端設備,接收來自上述終端設備之操作信號,而對上述終端設備及其他終端設備進行信 號之收/發;控制部,係依據由上述終端設備接收的操作信號,來判斷上述操作是否為聲音通話;聲音轉換部,當上述控制部判斷為聲音通話時,係依據上述控制部之指示,對上述終端設備所送出之儲存著聲音資料的封包進行轉碼,或不進行轉碼直接讓該封包通過,而輸出至通話側;及頻寬推斷速率算出部,係依據上述終端設備對上述特定封包之送出的響應信號,來推斷上述網路之頻寬,算出聲音編解碼器的位元速率,並將上述位元速率通知上述終端設備;上述終端設備至少包含第1終端設備;上述其他終端設備包含第2終端設備,該第2終端設備係包括和上述第1終端設備之聲音編解碼器不同的聲音編解碼器;上述第1終端設備與上述第2終端設備透過上述伺服裝置進行聲音通話時,上述聲音轉換部,係依據上述控制部之指示進行轉碼,此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將轉碼後的信號輸出至上述第1終端設備;針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編 解碼器,並將轉碼後的碼輸出至上述第2終端設備。
依據本發明之另一側面提供的方法,係透過伺服裝置進行聲音通話,第1終端設備與第2終端設備係分別透過網路連接於該伺服裝置;於上述伺服裝置,係依據上述第1、第2終端設備對上述伺服裝置送出之特定封包的響應信號,來推斷上述網路之頻寬,算出上述終端設備之聲音編解碼器的位元速率,並將上述位元速率通知上述第1、第2終端設備;上述伺服裝置,係判斷上述第1終端設備與上述第2終端設備之聲音編解碼器是否為同一,同一時,將上述第1、第2終端設備之聲音編解碼器產生的位元串流(bit stream)分別直接輸出至上述第2、第1終端設備;上述第1終端設備與上述第2終端設備之聲音編解碼器互相不同時,於伺服裝置進行轉碼;此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將轉碼後的信號輸出至上述第1終端設備,針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將轉碼後的碼輸出至上述第2終端設備。
依據本發明之再另一側面提供的終端設備,係透過網路連接於本發明的上述伺服裝置,藉由終端設備之操作, 上述伺服裝置係將虛擬Client部執行應用程式之動作所獲得的畫面資訊傳送至上述終端設備,藉由解碼器解碼由上述伺服裝置發送的畫面資訊並顯示於顯示部,透過上述伺服裝置進行和其他終端設備之聲音通話。
依據本發明之再另一側面提供的程式,係包括:收/發處理,係透過網路連接於終端設備,接收來自上述終端設備之操作信號,而對上述終端設備及其他終端設備進行信號之收/發;控制處理,係依據由上述終端設備接收的操作信號,來判斷上述操作是否為聲音通話;聲音轉換處理,當上述控制部判斷為聲音通話時,係依據上述控制部之指示,對上述終端設備所送出之儲存著聲音資料的封包進行轉碼,或不進行轉碼直接讓該封包通過;及頻寬推斷速率算出處理,係依據上述終端設備對上述特定封包之送出的響應信號,來推斷上述網路之頻寬,算出聲音編解碼器的位元速率,並將上述位元速率通知上述終端設備;上述終端設備至少包含第1終端設備;上述其他終端設備包含第2終端設備,該第2終端設備係包括和上述第1終端設備之聲音編解碼器不同的聲音編解碼器;係使構成伺服裝置的電腦執行:上述第1終端設備與上述第2終端設備透過上述伺服裝置進行聲音通話時,上述聲音轉換處理,係依據上述控制處理之指示進行轉碼,此時, 針對上述第2終端設備之聲音編解碼器產生的碼之一處理滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將轉碼後的信號輸出至上述第1終端設備;針對由上述第1終端設備之上述聲音編解碼器產生的碼之一處理所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將轉碼後的碼輸出至上述第2終端設備的,上述處理。
依據本發明,可以消除網路之頻寬變動等造成的聲音延遲,可以減輕例如在Thin Client終端設備與非Thin Client終端設備之間等,聲音編解碼器不同的終端設備之間進行聲音通話時對伺服裝置之負荷。
110‧‧‧伺服裝置
111‧‧‧電話簿
130‧‧‧雲端網
150‧‧‧行動網路
151‧‧‧固定網
170‧‧‧行動終端設備
171‧‧‧Client軟體
175‧‧‧終端設備
176‧‧‧第2封包發送部
177‧‧‧第3封包發送部
180‧‧‧畫面擷取部
183‧‧‧頻寬推斷‧速率算出部
185‧‧‧聲音轉換部
186‧‧‧封包收/發部
187‧‧‧第1封包收/發部
188‧‧‧畫像編碼器部
189‧‧‧音頻編碼器部
190‧‧‧SGSN/GGSN裝置
194‧‧‧基地局裝置
195‧‧‧RNC裝置
196‧‧‧MGM裝置
211‧‧‧虛擬Client部
212‧‧‧控制部
213‧‧‧畫面產生部
214‧‧‧聲音通話VoIP應用軟體
220_1、220_2‧‧‧轉碼/通過切換部
221‧‧‧G.711解碼器
222、223‧‧‧位準判斷部
224‧‧‧AMR編碼器
225‧‧‧AMR解碼器
228‧‧‧G.711編碼器
250‧‧‧第2封包接收部
251‧‧‧第3封包接收部
252‧‧‧畫像解碼器
255‧‧‧音頻解碼器
256‧‧‧畫面顯示部
257‧‧‧操作信號產生部
258‧‧‧封包發送部
260‧‧‧第1封包收/發部
261‧‧‧位元速率控制部
262‧‧‧AMR解碼器
263‧‧‧AMR編碼器
【圖1】本發明第1實施形態之構成例之圖。
【圖2】本發明第1實施形態之伺服裝置之構成圖。
【圖3】本發明第1實施形態之聲音轉換部之構成方塊圖。
【圖4】本發明第1實施形態之行動終端設備之構成圖。
依據本發明,係包括:伺服裝置(110),其透過網路連接於終端設備(圖1之170),藉由在上述終端設備(170)之操作,而將以虛擬Client部(圖2之211)執行應用程式(圖 2之214)之動作所獲得的畫面資訊傳送至上述終端設備(170),並顯示於上述終端設備;伺服裝置(110)包括:控制部(圖2之212),係由上述終端設備(170)接收儲存著操作信號的封包,並由上述操作信號來判斷聲音通話;聲音轉換部(圖2之185),當判斷為聲音通話時,係依據上述控制部(圖2之212)之指示,對由上述終端設備(170)送出之儲存著聲音資料的封包進行轉碼,或讓封包通過並發送至上述終端設備;頻寬推斷速率算出部(圖2之183),係依據上述終端設備對上述送出之響應信號,來推斷上述網路之頻寬,算出聲音編解碼器的位元速率,並將該位元速率通知終端設備(170,另一終端設備175)。當上述終端設備(第1終端設備:例如Thin Client終端設備)(170),與另一終端設備(第2終端設備:例如非Thin Client終端設備)(175),該另一終端設備所包括的聲音編解碼器係和上述終端設備(170)之聲音編解碼器為不同種類的編碼方式,透過上述伺服裝置(110)進行聲音通話時,上述聲音轉換部(圖2之185),係依據上述控制部(圖2之212)之指示進行轉碼,此時,僅針對上述另一終端設備(175))之聲音編解碼器(第1聲音編解碼器)產生的碼之一部分滿足預定條件的時間區間,進行轉碼而由上述另一終端設備(175)之聲音編解碼器轉換為上述終端設備(170)之聲音編解碼器(第2聲音編解碼器),並將轉碼後的信號輸出至上述終端設備(170),僅對由上述終端設備(170)之上述聲音編解碼器(第2聲音編解碼器)產生的碼之一部分所求出的信號滿足預定條件的時間區間,進行轉碼而由上述終端設備 (170)之聲音編解碼器(第2聲音編解碼器)轉換為上述另一終端設備(175)之聲音編解碼器(第1聲音編解碼器),並將轉碼後的碼輸出至上述另一終端設備(175)。可以減輕終端設備(Thin Client終端設備)與另一終端設備(非Thin Client終端設備)間之聲音通話時對伺服裝置之負荷,可以消除網路之頻寬變動等引起的聲音之延遲。
以下,參照圖面詳細說明本發明之實施形態。
<系統構成例>
圖1表示本發明第1實施形態之構成例。雖未特別限制,於圖1之例,網路係使用行動3G封包網路,封包傳送裝置則使用SGSN(Serving GPRS(General Packet Radio Service)Support Node)/GGSN(Gateway GPRS Support Node)裝置之構成。於圖1,SGSN/GGSN裝置190,係表示將SGSN裝置與GGSN裝置設為一體化之裝置。網路亦可使用其他網路,例如可使用行動LTE(Long Term Evolution(長期演進技術))網路、WiFi(Wireless Fidelity)網路、WiMax(Worldwide Interoperability for Microwave Access)網路、IP(Internet Protocol)網路、NGN(Next Generation Network)網路、網際網路等。
於圖1,行動終端設備170(行動電話終端設備、智慧手機、平板裝置等),係連接於設置於雲端網(Cloud Network)130的伺服裝置110,利用Thin Client方式來進行畫面資料之傳送。係表示由行動終端設備170使用伺服裝置110對終端設備175進行聲音通話之例。行動終端設備170為Thin Client終端設備,其搭載有能實現Thin Client方式的Client軟體。終端設備175為非Thin Client終端設備,未搭載Thin Client方式之Client軟體。另外,於本實施形態中,行動終端設備170連接於行動網路150,終端設備175則連接於固定網151。MGW裝置(媒體閘道器裝置)196,係終結固定網151,將聲音轉換為IP封包並發送至封包傳送裝置,或者將IP封包轉換為聲音透過固定網151並發送至終端設備175。
本實施形態中,於伺服裝置110事先準備著登錄有使用者名或電話號碼的電話簿111。亦即,伺服裝置110側保有欲由行動終端設備(Thin Client終端設備)170撥打電話所必要的電話簿(登錄有使用者名或電話號碼等)。因此,行動終端設備170無須保有任何電話簿。因此,即使行動終端設備170丟失時亦可確保電話號碼或使用者名等之安全性。
圖1表示,行動終端設備170連接於伺服裝置110,欲和終端設備175開始進行聲音通話,而將以伺服裝置110中的虛擬Client(未圖示)起動聲音通話VoIP應用程式所產生的畫面資料,由伺服裝置110傳送至行動終端設備170,藉由行動終端設備170之Client軟體,對上述畫面資料進行解碼、顯示,而於畫面上指定使用者名之狀態下,由行動終端設備170對終端設備175進行聲音通話。
於行動終端設備170搭載有Client軟體171,用來執行Thin Client終端設備之動作。Client軟體171如後述說明。
終端設備175為非Thin Client的非Thin Client終端設備。因此,未搭載Client軟體。因此,本實施形態中,行 動終端設備170之Client軟體所搭載的聲音編解碼器,和搭載於終端設備175的聲音編解碼器係設為不同(不同編碼方式等)者。本實施形態中,例如將行動終端設備170之Client軟體所搭載的聲音編解碼器,設為3GPP(Third Generation Partner Project)標準之AMR-NB(Adaptive Multi-Rate-Narrow Band),將終端設備175之聲音編解碼器,設為ITU-T(International Telecommunication Union Telecommunication Sector)標準之G.711者。AMR聲音編解碼器之詳細可參照例如3GPP TS26.090規格。G.711聲音編解碼器之詳細可參照例如ITU-T G.711規格。另外,該等聲音編解碼器亦可使用其他周知的聲音編解碼器。
行動終端設備170為了開始聲音通話,而於伺服裝置110之虛擬Client上(圖1中未圖示:圖2之211)起動操作聲音通話VoIP應用程式(圖1中未圖示:圖2之214)時,儲存著操作信號的封包將由行動終端設備170被發送至伺服裝置110,該操作信號為用來起動VoIP應用程式者。
伺服裝置110接收儲存著操作信號的封包後,伺服裝置110之控制部(圖1中未圖示:圖2之212)判斷為聲音通話,而於虛擬Client(圖1中未圖示:圖2之211)上起動聲音通話VoIP應用程式(圖2之214),產生畫面,藉由編碼器(圖1中未圖示:圖2之188)進行上述畫面資訊之編碼後,由伺服裝置110傳送至行動終端設備170,於行動終端設備170解碼上述畫面資訊並顯示於行動終端設備170之畫面。之後,由最終使用者進行,次一動作的通話對方使用者名或電 話號碼之選擇等之操作。
另外,在聲音通話VoIP應用程式作成的畫面亦附加有音頻(Audio)時,附加於畫面的音頻信號,係經由和聲音通話之路徑不同的路徑被處理。亦即,以畫面擷取部(圖1中未圖示:圖2之180)擷取後於音頻編碼器(圖1中未圖示:圖2之189)實施壓縮編碼而成為壓縮編碼串流,作為和聲音通話不同的封包而經由預定的協定(protocol)被發送至行動終端設備170。
之後,由行動終端設備170,送出儲存有依循周知的會話控制協定(Session Control Protocol)之會話控制信息的封包;及儲存有位元串流(碼)的封包,該位元串流係以行動終端設備170之Client軟體所搭載的AMR聲音編碼器來壓縮編碼聲音信號而獲得者。本實施形態中,會話控制協定係使用例如SIP(會話初始協定(Session Initiation Protocol)),但亦可使用其他周知的協定。
該等封包到達位於範圍內的行動網路150上之基地局裝置194,進一步經由RNC(Radio Network Controller)裝置195及SGSN/GGSN裝置190而到達雲端網130之伺服裝置110。
<伺服裝置>
圖2為伺服裝置110之構成說明圖。參照圖2,伺服裝置110包括:封包收/發部186;控制部212;頻寬推斷‧速率算出部183;聲音轉換部185;畫面產生部213;聲音通話VoIP應用軟體214;畫面擷取部180;畫像編碼器部188;第1封包 收/發部187;第2封包發送部176;第3封包發送部177;音頻編碼器部189;及虛擬Client部211。虛擬Client部211包含:控制部212;畫面產生部213;及聲音通話VoIP應用軟體214。該等各部,亦可藉由在伺服裝置110之電腦上執行的程式來執行該處理‧機能之至少1部分或全部。此時係提供記錄有該程式的電腦可讀取的記錄媒體(半導體記憶體,磁性/光碟等)。
於圖2雖未圖示,虛擬Client部211係於主機作業系統(HOS(Host OperatingSyste1n))之上的虛擬化環境中之GOS(客體作業系統)上動作。HOS或GOS可使用周知之OS。本實施形態中,例如HOS係使用Linux(登錄商標),GOS係對應於終端設備之OS,例如使用Android(登錄商標)。亦可使用其他OS之例如Windows(登錄商標)等。
虛擬Client部211係包括控制部212及畫面產生部213。開始聲音通話時,圖1所示的行動終端設備170,係將操作信號儲存於封包並發送至伺服裝置110,該操作信號為在虛擬Client211上起動聲音通話VoIP應用軟體者。
伺服裝置110之封包收/發部186接收上述操作信號封包,由封包取出操作信號,並輸出至控制部212。
控制部212則輸入上述操作信號,當判斷為聲音通話用的VoIP應用軟體之起動信號時,執行聲音通話VoIP應用軟體。
藉由聲音通話VoIP應用軟體之執行來產生畫面,並輸出至畫面擷取部180。
畫面擷取部180,係以預定的畫面解像度及預定的圖框速率(frame rate)來擷取上述產生的畫面,並輸出至畫像編碼器部188。
畫像編碼器部188,係使用預定的畫像編碼器依據預定的畫面解像度、位元速率、圖框速率,對輸入的畫面實施壓縮編碼而求出壓縮編碼串流,將上述壓縮編碼串流輸出至第2封包發送部176。其中,壓縮編碼之方式可使用H.264、MPEG(Moving Picture Experts Group)-4、JPEG(Joint Photographic Experts Group)2000等周知之壓縮編碼方式。
第2封包發送部176,係將畫像編碼器部188所輸入的壓縮編碼串流儲存於預定的封包,並輸出至圖1所示的SGSN/GGSN裝置190。於此,封包之協定可為RTP(Real-time Transport Protocol)/UDP(User Data Protocol)/IP(Internet Protocol)、UDP/IP或TCP(Transmission Control Protocol)/IP。本實施形態之例係使用UDP/IP。
行動終端設備170(圖1),係接收由伺服裝置110之第2封包發送部176送出的壓縮編碼串流,依據預定的畫面解像度及圖框速率進行解碼,並顯示於行動終端設備170之顯示部(未圖示)。
於圖2,控制部212係由圖1之電話簿111讀出通話對方使用者名(圖1為保有終端設備175的使用者)、通話對方之電話號碼(圖1為終端設備175之電話號碼),於畫面產生部213產生畫面,於畫像編碼器188對產生畫面實施壓縮編碼,並發送至行動終端設備170(圖1)。
行動終端設備170(圖1)之最終使用者,係觀看行動終端設備170之顯示部(未圖示)所顯示的畫面之同時,進行通話側之使用者或電話號碼之選擇。欲開始聲音通話時,行動終端設備170(圖1)係對伺服裝置110(圖1)送出儲存有聲音通話開始之SIP信息的封包。接著,行動終端設備170(圖1),係藉由行動終端設備170之Client軟體(圖1中未圖示:圖4之171)所搭載的AMR編碼器(圖4之263)對聲音信號實施壓縮編碼而產生位元串流,將儲存有該位元串流的封包發送至伺服裝置110。
伺服裝置110,係使用和附加於畫面的音頻不同的路徑來處理聲音通話相關的封包,因此可以縮短聲音通話之延遲。
封包收/發部186,係由行動終端設備170接收的封包之中,‧將儲存有SIP信息的封包輸出至控制部212,‧將儲存有對聲音之壓縮編碼串流的封包,輸出至聲音轉換部185,‧將響應封包輸出至頻寬推斷‧速率算出部183。
當控制部212由封包收/發部186接收上述操作信號時,係進行以下動作。
(1)解析上述操作信號,判斷為聲音通話之起動操作時,係將聲音通話VoIP應用軟體214予以起動。
(2)判斷為聲音通話時,係由封包收/發部186接收SIP信息。
(3)由聲音通話VoIP應用軟體214取得行動終端設備170(圖1)之最終使用者選擇的通話對方之電話號碼,參照電話簿111(圖1),由上述通話對方之電話號碼求出通話對方之IP位址。
(4)將上述接收的SIP信息之通話對方IP位址改寫至(3)所求出的IP位址,並將改寫後之SIP信息與通話對方IP位址輸出至第1封包收/發部187。
(5)指示頻寬推斷‧速率算出部183,分別使用來自封包收/發部186之響應封包及來自第1封包收/發部187之響應封包,對行動終端設備170(圖1)所連接的網路150(圖1)之上傳方向之頻寬及下傳方向之頻寬進行推斷。
另外,必要時,控制部212亦指示對終端設備175所連接的網路151(圖1)的上傳方向之頻寬及下傳方向之頻寬亦進行推斷。之後,對頻寬推斷‧速率算出部183下達指示,至少由推斷出的頻寬算出分別對於網路150(圖1)之上傳及下傳的位元速率,並通知聲音轉換部185。
(6)將來自行動終端設備170(圖1)之SDP(Session Description Protocol),輸入封包收/發部186,對行動終端設備170(圖1)之Client軟體所搭載的聲音編解碼器(第2聲音編解碼器)之能力資訊進行確認。本實施形態中,第2聲音編解碼器係使用AMR聲音編解碼器。另外,將來自終端設備175之SDP,輸入伺服裝置110之第1封包收/發部187,對終端設備175所搭載的聲音編解碼器(第1聲音編解碼器)之能力資訊進行確認。本實施形態中,第1聲音編解碼 器設為使用G.711聲音編解碼器者。
接著,控制部212對第1聲音編解碼器與第2聲音編解碼器是否一致進行確認,本實施形態中,判斷為第1聲音編解碼器與第2聲音編解碼器不一致,因此判斷為進行轉碼。
(7)對聲音轉換部185進行以下之指示。
(a)將第1聲音編解碼器之位元串流(碼)轉換為第2聲音編解碼器之位元串流(碼)。
(b)將第2聲音編解碼器之位元串流(碼)轉換為第1聲音編解碼器之位元串流(碼)。
頻寬推斷‧速率算出部183,係藉由被動或主動的手法,由封包收/發部186輸入包含於響應封包的資訊,而對行動終端設備170(圖1)所連接的行動網路150(圖1)之頻寬BW_1進行推斷。
同樣地,頻寬推斷‧速率算出部183,亦由第1封包收/發部187輸入包含於響應封包的資訊,對終端設備175(圖1)所連接的網路151(圖1)之頻寬BW_2進行推斷。
於此,該等響應封包設為至少包含以下3種類之資訊。
(A)於j時刻由伺服裝置110(圖1)送出的資料大小D(j),(B)行動終端設備170(圖1)接收到(A)之封包時的接收時刻R(j),(C)包含於由終端設備(圖1之170或175)發送至伺服裝置110(圖1)的響應信號封包的資料大小P(m)。
另外,使用主動手法時,頻寬推斷‧速率算出部183,係依每一預定時間,對行動網路150或/及網路151送出預定的偵測(Probe)封包,使用行動終端設備170或/及終端設備175對上述偵測封包之響應信號封包,來推斷行動網路150或/及網路151之頻寬。上述偵測封包係設為包含複數個預定大小之資料者。
頻寬推斷‧速率算出部183,係使用包含於響應信號封包的3種類之資訊來推斷網路之頻寬。
頻寬推斷‧速率算出部183,係使用式(1)及式(2)來推斷行動終端設備170(圖1)所連接的行動網路150之下傳方向之頻寬。
D(j)/W=R(j)-R(j-1)‧‧‧(1)
於式(1),W為頻寬推斷值,D(j),係由封包收/發部186或第1封包收/發部187,發送至行動終端設備170或終端設備175(圖1)的第j號封包的資料大小,R(j)、R(j-1),係行動終端設備170或終端設備175(圖1)分別接收到上述第j號、第j-1號時的接收時刻。
接著,頻寬推斷‧速率算出部183,使用式(2)對式(1)計算的頻寬推斷值W實施時間方向之平滑化處理。
BW(n)=(1-β)×BW(n-1)+β×W‧‧‧(2)
於此,BW(n)為第n時刻之平滑化處理後的頻寬推斷值, β為0<β<1之範圍內之常數。
接著,頻寬推斷‧速率算出部183如下求出上傳方向之頻寬推斷值。於上述響應信號封包,包含有行動終端設備170(圖1)或終端設備175(圖1)所送出的上傳方向之資料大小P(m),藉由式(3)而求出上傳方向之頻寬W’。
P(m)/W'=T(m)-T(m-1)‧‧‧(3)
於此,T(m)為伺服裝置110接收到響應信號封包的接收時刻。
頻寬推斷‧速率算出部183,係對W’實施時間方向之平滑化處理,以平滑化處理後的值BW’設為上傳方向之頻寬推斷值。
BW'(n)=(1-β)×BW'(n-1)+β×W'‧‧‧(4)
接著,頻寬推斷‧速率算出部183,係使用以式(2)實施平滑化處理的頻寬推斷值BW(n),依據式(5)、式(6),算出每一預定時刻的下傳方向之位元速率C(n)。
C(n)=(1-γ)×C(n-1)+γ×BW(n)‧‧‧(5)
C(n)≦BW(n)‧‧‧(6)
於此,C(n)為第n時刻之位元速率,γ為0<γ<1的範圍內之常數。
同樣,使用以式(4)實施平滑化處理的頻寬推斷值BW’(n),依據式(7)、式(8)算出上傳方向之位元速率C’(n)。
C'(n)=(1-γ)×C'(n-1)+γ×BW'(n)‧‧‧(7)
C'(n)≦BW'(n)‧‧‧(8)
接著,頻寬推斷‧速率算出部183,依據式(7)、式(8)來決定對行動終端設備170之Client軟體所搭載的第2聲音編解碼器(此處為AMR-NB聲音編解碼器)的上傳、下傳之位元速率。具體言之為,因為AMR-NB聲音編解碼器持有8種類之位元速率(模式(mode)),因此在不超出式(7)、式(8)之各別位元速率範圍內,由上述8種類之位元速率選擇最接近的位元速率。頻寬推斷‧速率算出部183,係將選擇的上傳、下傳之位元速率輸出至封包收/發部186。
封包收/發部186,係將選擇的上傳、下傳之位元速率予以輸入,將上傳、下傳之位元速率包含於AMR-NB之CMR(Codec Mode Request),將上述CMR記述於封包之Payload Header(資料檔頭)而後輸出至行動終端設備170。關於CMR之詳細可參照IETF(The Internet Engineering Task Force)RFC(Request for Comments)3267等。
另外,封包收/發部186,係將上述上傳、下傳之位元速率輸出至聲音轉換部185。
將對於終端設備175的下傳、上傳之位元速率輸出至第1封包收/發部187,使用SDP來通知終端設備175。
另外,下傳、上傳之位元速率對行動終端設備170所搭載的AMR-NB之通知,除了使用CMR以外,亦可使用SDP(Session Description Protocol)來通知,使用其他周知的手法亦可。
<聲音轉換部>
圖3為聲音轉換部185之構成說明圖。聲音轉換部185,係包括:轉碼/通過切換部220_1、220_2,位準判斷部222、223,G.711解碼器221,G.711編碼器228,AMR編碼器224,及AMR解碼器225。
轉碼/通過切換部220_1及220_2,係由控制部212輸入第1聲音編解碼器與第2聲音編解碼器之種類之通知,以及在第1聲音編解碼器與第2聲音編解碼器間進行轉碼的指示,而切換為轉碼處理,進行以下之處理。本實施形態中,第1聲音編解碼器、第2聲音編解碼器分別設為ITU-T G.711、3GPP AMR-NB。當第1聲音編解碼器與第2聲音編解碼器一致,控制部212之指示為不進行轉碼(以解碼器進行解碼,以編碼器進行再編碼),而讓封包通過時,轉碼/通過切換部220_1及220_2,係由轉碼切換為通過模式,讓封包通過(輸入至轉碼/通過切換部220_1的封包,係通過G.711解碼器221、AMR編碼器224(跳過解碼處理、編碼處理),而被傳送至轉碼/通過切換部220_2。另外,輸入至轉碼/通過切換部220_2的封包,係通過AMR解碼器225、G.711編碼器228(跳過解碼處理、編碼處理),而被傳送至轉碼/通過切換部220_1)。
說明由第1聲音編解碼器(G.711)至第2聲音編解碼器(AMR-NB)之轉碼。轉碼/通過切換部220_1,係由圖2之第1封包收/發部187輸入第1聲音編解碼器產生的位元串流(碼)。
位準判斷部222,係由第1聲音編解碼器(G.711)之位元串流(碼)抽出碼之一部分。具體言之為,除了MSB (Most Significant Bit)的碼位元以外自上位起抽出3位元並進行解碼。在預定時間區間(例如20ms)內對解碼之信號實施平滑化處理或平均化處理,求出處理結果G1。
判斷G1是否滿足預定條件。
本實施形態中,預定條件如以下之式所示,係設為和預定的臨限值Th1之比較判斷,但亦可使用其他條件。
G1≧Th1‧‧‧(9)
於此,Th1係和位準相關的事先設定的臨限值。
位準判斷部222,‧針對處理結果G1大於Th1的時間區間,係指示AMR編碼器224對G.711解碼器221之輸出信號進行編碼,‧針對處理結果G1小於Th1的時間區間,係指示AMR編碼器224不對G.711解碼器221之輸出信號進行編碼。
G.711解碼器221,係由轉碼/通過切換部220_1輸入第1聲音編解碼器(G.711)之位元串流進行解碼並輸出至AMR編碼器224。
AMR編碼器224,係保有AMR-NB編碼器,由位準判斷部222輸入應進行AMR編碼的指示,由頻寬推斷‧速率算出部183輸入下傳方向之位元速率,僅針對有編碼指示之時間區間,對由G.711解碼器221輸入的解碼信號(G.711解碼信號)實施AMR-NB編碼,並輸出至轉碼/通過切換部220_2。
於此,實施AMR-NB編碼時的位元速率,係依循由頻寬推斷‧位元速率算出部183輸入的位元速率。
AMR編碼器224,針對無編碼指示的時間區間, 係不進行AMR-NB編碼,亦不進行對轉碼/通過切換部220_2之輸出。
轉碼/通過切換部220_2,係將由AMR編碼器224輸入的第2聲音編解碼器之位元串流(碼),輸出至圖2之封包收/發部186。
接著,說明由第2聲音編解碼器(AMR-NB)至第1聲音編解碼器(G.711)之轉碼。
轉碼/通過切換部220_2,係由封包收/發部186輸入第2聲音編解碼器之位元串流(碼),並輸出至位準判斷部223及AMR解碼器225。
另外,位準判斷部223及AMR解碼器225,係由頻寬推斷‧速率算出部183輸入第2聲音編解碼器之上傳方向之位元速率。如3GPP TS26.090規格之記述,藉由AMR-NBCodec依每20ms實施壓縮編碼而成的位元串流中,因為AMR-NB之位元速率會使表示位準的增益位元數有所不同。因此,位準判斷部223,係輸入第2聲音編解碼器之位元串流(碼),並依據位元速率資訊將碼之一部分抽出。具體言之為,由碼之中抽出表示增益的部分,由抽出的碼進行增益之解碼,而獲得每一20ms時間區間的G2。依據以下之式對解碼獲得的增益G2實施時間方向之平滑化處理。
Gm=(1-δ)×Gm-1+δ×G2‧‧‧(10)
於此,Gm表示平滑化處理後的增益,δ表示平滑化次常數。設為0<δ<1。
Gm滿足預定條件時,進行由第2聲音編解碼器至第1聲音編解碼器之轉碼。本實施形態中,預定條件設為以下之式(11),但亦可使用其他條件。
Gm≧Th2‧‧‧(11)
滿足式(11)之條件時,位準判斷部223係指示G.711編碼器228,對AMR解碼器225之輸出信號(解碼信號)實施G.711編碼。另外,不滿足式(11)之條件時,不對G.711編碼器228下達進行G.711編碼之指示。
AMR解碼器225,係由頻寬推斷‧速率算出部183輸入第2聲音編解碼器之上傳之位元速率,依據該位元速率對第2聲音編解碼器之位元串流進行AMR解碼,並輸出至G.711編碼器228。
G.711編碼器228,係由位準判斷部223輸入編碼指示,僅對有編碼指示的時間區間,針對AMR解碼器225之輸出信號實施G.711編碼後,輸出至轉碼/通過切換部220_1。對無編碼指示的時間區間,G.711編碼器228並不指示進行G.711編碼,亦不對轉碼/通過切換部220_1輸出。
轉碼/通過切換部220_1,係將由G.711編碼器228輸入的第1聲音編解碼器之位元串流(碼),輸出至圖2之第1封包收/發部187。
圖2之第1封包收/發部187,係由控制部212輸入通話對方IP位址及SIP信息,由頻寬推斷‧速率算出部183輸入記述有上傳、下傳之位元速率的SDP,以該等作為SIP/SDP封包,而輸出至圖1之MGW裝置196。另外,圖2之第1封 包收/發部187,係由聲音轉換部185輸入第1聲音編解碼器產生的位元串流,依據預定的協定實施封包化,並輸出至圖1之MGW裝置196。本實施形態中,預定的協定係使用RTP/UDP/IP,但亦可使用其他周知的協定。
圖2之封包收/發部186,係由頻寬推斷‧速率算出部183輸入記述著對AMR-NB聲音編解碼器的上傳、下傳之位元速率的CMR或SDP,該AMR-NB聲音編解碼器係搭載於行動終端設備170之Client軟體者,由聲音轉換部185輸入第2聲音編解碼器之位元串流,而構成預定的封包並輸出至圖1之SGSN/GGSN裝置190。本實施形態中,預定的協定係使用RTP/UDP/IP,但亦可使用其他周知的協定。使用CMR作為對AMR-NB的上傳、下傳之位元速率之指定法時,係將CMR組入RTP封包之Payload Format(檔頭格式)。AMR-NB之RTPPayload Format以及CMR之詳細可以參照IETF RFC3267。另外,使用SDP時,可以包含對SIP/SDP信息、AMR-NB的上傳、下傳之位元速率。
<Thin Client終端設備>
圖4為Thin Client終端設備、亦即行動終端設備170(圖1)之構成說明圖。Client軟體171,係包括:第1封包收/發部260,第2、3封包接收部250、251,封包發送部258,畫像解碼器252,畫面顯示部256,音頻解碼器255,位元速率控制部261,AMR解碼器262,AMR編碼器263,及操作信號產生部257。該等各部可藉由在行動終端設備170之電腦上執行的程式來實現其之處理‧機能。圖4中,行動終端設備170係搭 載有Client軟體171,依此來執行Thin Client之Client之動作。如上述說明,本實施形態中,Thin Client軟體係設為搭載有第2聲音編解碼器的AMR-NB聲音編解碼器者。
於圖4,進行聲音通話時,使用者於行動終端設備之畫面上進行操作而起動畫面上的聲音VoIP應用軟體時,操作信號產生部257則產生起動用的操作信號,於封包發送部258將其封包化之後由行動終端設備170發送至行動網路150(圖1)。
第1封包收/發部260,係輸入由伺服裝置110(圖1)所送出的SIP/SDP信息及儲存有第2聲音編解碼器的封包。
主動方式的頻寬推斷時,第1封包收/發部260,係由圖2之頻寬推斷‧速率算出部183接收偵測封包。
第1封包收/發部260,係由SDP信息或由上述封包之RTPPayload Format之CMR,抽出AMR-NB之上傳、下傳之位元速率資訊,並輸出至位元速率控制部261。另外,由RTPPayload抽出第2聲音編解碼器之位元串流並輸出至AMR解碼器262。
另外,主動方式的頻寬推斷時,係對上述偵測封包作成包含必要資訊的響應信號封包,並由行動終端設備170將響應信號封包發送至行動網路150。必要資訊例如為,(1)偵測封包於行動終端設備170之到達時間開始延遲時的資料大小,(2)偵測封包之到達時刻,(3)由行動終端設備發送至伺服裝置的響應封包所包含 的資料大小,(4)送出響應封包時的送出時刻等。
被動方式的頻寬推斷時,係對伺服裝置110(圖1)所送出的封包作成響應信號封包,並由行動終端設備170發送至行動網路150(圖1)。
該響應信號封包包含有例如,(1)接收到的資料大小,(2)行動終端設備接收到送出封包時的接收時刻,(3)由行動終端設備170發送至伺服裝置110的響應信號封包所包含的資料大小等。
位元速率控制部261,係將下傳之位元速率輸出至AMR解碼器262,將上傳之位元速率輸出至AMR編碼器263。
AMR解碼器262,係由位元速率控制部261輸入下傳之位元速率,依據下傳之位元速率,由AMR-NB之8種類之模式選擇1種類,輸入第2聲音編解碼器之位元串流,並藉由所選擇的位元速率之AMR解碼器進行解碼。但是,針對上述位元串流無輸入的時間區間,則由CNG(Comfort Noise Generation)產生微小位準之雜訊信號(以模擬方式產生無聲音區間之背景雜音(白雜音等)),使其接續上述解碼信號而產生全體之聲音信號,並由行動終端設備170輸出。
AMR編碼器263,係依據由位元速率控制部261輸入的位元速率,由8種類模式中選擇1種類,使行動終端設備170之使用者所發出的聲音以指定的位元速率實施編碼,並將第2聲音編解碼器產生的位元串流發送至第1封包收/發部 260,第1封包收/發部260則將其由行動終端設備170發送至行動網路150。
第2封包接收部250,係輸入針對畫面信號實施壓縮編碼的位元串流,使用和伺服裝置110同一的畫像Codec對上述壓縮編碼的位元串流進行解碼而輸出至畫面顯示部256。
畫面顯示部256,則輸入上述解碼的畫面信號,構築畫面,並顯示於行動終端設備之顯示部(未圖示)之畫面。
於畫面附加有音頻信號時,第3封包接收部251係將儲存有位元串流的封包予以輸入,該位元串流為對音頻信號實施壓縮編碼而成者,並將對音頻信號實施壓縮編碼而成的位元串流予以抽出,而輸出至音頻解碼器255。
音頻解碼器255,則將對音頻信號實施壓縮編碼而成的位元串流予以輸入,進行解碼後由行動終端設備170之揚聲器(未圖示)輸出。
第一實施形態中說明使用行動3G網路作為網路150之例,但亦可使用行動LTE(Long Term Evolution(長期演進技術))網路。另外,亦可使用固定網網路、NGN(Next Generation Network)網路、W-LAN網路或網際路網等。另外,亦可取代行動終端設備改用固定終端設備。另外,伺服裝置110不配置於企業網,而配置於行動網路或固定網亦可。
另外,伺服裝置110亦可配置於行動網路內。或配置於固定網網路內亦可。另外,作為終端設備的行動終端設備170,可以使用智慧手機或平板裝置。第1聲音編解碼器、第2聲音編解碼器可以使用其他周知的聲音編解碼器。
轉碼時之預定條件,可使用和上述實施形態之條件不同的條件。
另外,本實施形態說明之例,在終端設備之聲音編解碼器不一致時,係於伺服裝置110之聲音轉換部185,進行聲音編解碼器之轉碼,但是亦可以構成為,在終端設備之聲音編解碼器一致時,於伺服裝置110,不進行轉碼(於聲音轉換部185讓封包通過,不經由聲音轉換部185),而於封包收/發部186與第1封包收/發部187之間讓封包通過。
依據上述實施形態,使用Thin Client進行VoIP的聲音通話時,可以對應於行動網路等之頻寬變動而於伺服器算出位元速率,依據該位元速率來切換Thin Client終端設備之聲音編解碼器的位元速率。因此,即使網路之頻寬變窄時,亦可以消除延遲時間變長、通話不順暢等上述問題點。
另外,於Thin Client終端設備切換聲音編解碼器的位元速率之同時,對應於網路之頻寬變動時,在Thin Client終端設備與非Thin Client終端設備之連接上即使終端設備間之聲音編解碼器不同時,於伺服裝置中亦可以較少負荷進行轉碼。
上述實施形態並未特別限定,例如可為以下之附記。
(附記1)
通信系統,其特徵在於包括:終端設備;及伺服裝置,係透過網路連接於上述終端設備,藉由在上述 終端設備之操作,而將以虛擬Client部執行應用程式之動作所獲得的畫面資訊傳送至上述終端設備,顯示於上述終端設備;上述伺服裝置包括:控制部,係依據由上述終端設備接收的操作信號,來判斷上述操作是否為聲音通話;聲音轉換部,當上述控制部判斷為聲音通話時,係依據上述控制部之指示,對上述終端設備所發送之儲存著聲音資料的封包進行轉碼,或不進行轉碼直接讓其通過,而輸出至通話側;及頻寬推斷速率算出部,係依據上述終端設備對上述伺服裝置之特定封包之送出的響應信號,來推斷上述網路之頻寬,算出上述終端設備之聲音編解碼器的位元速率,並將上述位元速率通知上述終端設備;上述終端設備至少包含第1終端設備;上述第1終端設備,與包括和上述第1終端設備之聲音編解碼器為不同聲音編解碼器的第2終端設備透過上述伺服裝置進行聲音通話時,於上述伺服裝置,上述聲音轉換部係依據上述控制部之指示進行轉碼,此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將上述轉碼後的信號輸出至上述第1終端設備;針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1 終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將上述轉碼後的碼輸出至上述第2終端設備。
(附記2)
於附記1之通信系統,其特徵在於:上述聲音轉換部係包括:第1解碼器,係對上述第2終端設備之聲音編解碼器產生的位元串流(bit stream)進行解碼;第2解碼器,係對上述第1終端設備之聲音編解碼器產生的位元串流進行解碼;第1編碼器;第2編碼器;第1判斷部,係抽出上述第2終端設備之聲音編解碼器產生的位元串流之一部分,並在預定的時間區間內對該抽出的信號實施平滑化或平均化處理,針對該處理結果滿足預定的臨限值以上之條件的上述時間區間,係指示上述第1編碼器對上述第1解碼器的輸出進行編碼;及第2判斷部,係由上述第1終端設備之聲音編解碼器產生的位元串流抽出表示增益的部分,由抽出的碼對增益進行解碼,對在每一預定的時間區間獲得的解碼後的增益實施時間方向之平滑化處理,當上述平滑化處理的增益滿足預定的臨限值以上之條件時,指示上述第2編碼器對上述第2解碼器的輸出進行編碼;上述第1編碼器,針對上述第1判斷部有編碼指示的時間區間,係藉由上述第1終端設備的聲音編解碼器之編碼方式, 對上述第1解碼器之解碼信號實施編碼,並輸出至上述第1終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;上述第2編碼器,針對上述第2判斷部有編碼指示的時間區間,係藉由上述第2終端設備的聲音編解碼器之編碼方式,對上述第2解碼器之解碼信號實施編碼,並輸出至上述第2終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;依據上述控制部之指示,當上述第1終端設備與上述第2終端設備之聲音編解碼器為同一時,係將上述第2終端設備之聲音編解碼器產生的位元串流直接輸出至上述第1終端設備,將上述第1終端設備之聲音編解碼器產生的位元串流直接輸出至上述第2終端設備。
(附記3)
於附記1或2之通信系統,其特徵在於:依據上述控制部之指示,當上述第1終端設備與上述第2終端設備之聲音編解碼器為同一時,接收到上述第1終端設備之聲音編解碼器產生的位元串流的收/發部,係將上述位元串流不經由聲音轉換部而直接傳送至第1收/發部,而由上述第1收/發部輸出至上述第2終端設備,接收到上述第2終端設備之聲音編解碼器產生的位元串流的上述第1收/發部,係將上述位元串流不經由聲音轉換部而直接傳送至上述收/發部,並由上述收/發部輸出至上述第1終端設備。
(附記4)
於附記2之通信系統,其特徵在於: 上述頻寬推斷速率算出部,係算出對上述第1終端設備及上述第2終端設備的聲音編解碼器之上傳與下傳之位元速率,分別通知上述第1終端設備及上述第2終端設備,並將上述上傳與下傳之位元速率輸出至上述聲音轉換部;於上述聲音轉換部,上述第1及第2編碼器的編碼之位元速率,係依循於由上述頻寬推斷速率算出部被輸出的位元速率。
(附記5)
於附記1~4中任一項之通信系統,其特徵在於:上述控制部,(A)係解析上述操作信號,判斷為聲音通話之起動操作時,起動聲音通話應用程式,(B)由聲音通話應用程式,取得上述第1終端設備之使用者所選擇的通話對方之電話號碼,由上述通話對方之電話號碼求出通話對方之地址,(C)將上述通話對方地址設定於由上述第1終端設備接收到的信息,(D)指示上述頻寬推斷速率算出部,以推斷對上述第1終端設備所連接的網路的上傳方向之頻寬及下傳方向之頻寬,(E)亦指示以推斷對上述第2終端設備所連接的網路的上傳方向之頻寬及下傳方向之頻寬,(F)對上述第2終端設備之聲音編解碼器即第1聲音編解碼器、上述第1終端設備之聲音編解碼器即第2聲音編解碼器相關的能力資訊進行確認,判斷該等是否一致, (G)指示上述聲音轉換部,進行由上述第1聲音編解碼器的位元串流轉換為上述第2聲音編解碼器的位元串流,及由上述第2聲音編解碼器的位元串流轉換為上述第1聲音編解碼器的位元串流。
(附記6)
於附記1或4之通信系統,其特徵在於:上述頻寬推斷速率算出部,係由上述第1、第2終端設備的各終端設備之響應信號所包含的資訊,將上述伺服裝置發送至上述各終端設備的第j號(j為特定的正整數)封包的資料大小D(j),除以上述各終端設備接收到上述第j號、第(j-1)號封包時的接收時刻R(j)、R(j-1)之差分R(j)-R(j-1),而求出上述各終端設備所連接的網路之下傳方向之頻寬W;對上述頻寬推斷值W依時間實施平滑化處理,求出平滑化處理後的第n時刻之頻寬推斷值BW(n);將上述各終端設備所送出的上傳方向之資料大小,包含於上述各終端設備之上述響應信號;將第m號(m為特定的正整數)之資料大小P(m),除以上述伺服裝置接收到第m號、第(m-1)號上述響應信號的接收時刻T(m)、T(m-1)之差分T(m)-T(m-1),而求出上述各終端設備所連接的網路之上傳方向之頻寬W’;對上述W’實施時間方向的平滑化處理,將平滑化處理後的第n時刻之頻寬推斷值BW’(n)設為上傳方向之頻寬推斷值, 依據以下之式求出下傳方向的第n時刻之位元速率C(n),C(n)=(1-γ)×C(n-1)+γ×BW(n)
C(n)≦BW(n)
(其中,γ為0<γ<1的範圍內之常數);依據以下之式求出上傳方向的第n時刻之位元速率C’(n),C’(n)=(1-γ)×C’(n-1)+γ×BW’(n)
C’(n)≦BW’(n)。
(附記7)
於附記1之通信系統,其特徵在於:上述第1及第2終端設備之至少1個之中,在輸入由上述伺服裝置送出的編碼位元串流並輸出聲音之解碼信號的解碼器中,針對上述位元串流無輸入的時間區間,係於CNG(Comfort Noise Generation)產生雜音信號,而接續於上述解碼信號。
(附記8)
伺服裝置,其特徵在於包括:收/發部,係透過網路連接於終端設備,接收來自上述終端設備之操作信號,於上述終端設備與其他終端設備進行信號之收/發;控制部,係依據由上述終端設備接收到的操作信號,來判斷上述操作是否為聲音通話;聲音轉換部,當上述控制部判斷為聲音通話時,係依據上述控制部之指示,對上述終端設備所送出之儲存著聲音資料的 封包進行轉碼,或不進行轉碼直接讓該封包通過,而輸出至通話側;及頻寬推斷速率算出部,係依據上述終端設備對上述特定封包之送出的響應信號,來推斷上述網路之頻寬,算出聲音編解碼器的位元速率,並將上述位元速率通知上述終端設備;上述終端設備包含第1終端設備;上述其他終端設備包含第2終端設備,該第2終端設備係包括和上述第1終端設備之聲音編解碼器不同的聲音編解碼器;上述第1終端設備與上述第2終端設備透過上述伺服裝置進行聲音通話時,上述聲音轉換部,係依據上述控制部之指示進行轉碼,此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將轉碼後的信號輸出至上述第1終端設備;針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將轉碼後的碼輸出至上述第2終端設備。
(附記9)
於附記8之伺服裝置,其特徵在於:上述伺服裝置,係透過網路連接於上述終端設備,藉由在上述終端設備之操作,將以虛擬Client部執行應用程式之動作 而獲得的畫面資訊傳送至上述終端設備,顯示於上述終端設備。
(附記10)
於附記8或9之伺服裝置,其特徵在於:上述聲音轉換部係包括:第1解碼器,係對上述第2終端設備之聲音編解碼器產生的位元串流(bit stream)進行解碼;第2解碼器,係對上述第1終端設備之聲音編解碼器產生的位元串流進行解碼;第1編碼器;第2編碼器;第1判斷部,係抽出上述第2終端設備之聲音編解碼器產生的位元串流之一部分,並在預定的時間區間內對該抽出的信號實施平滑化或平均化處理,針對該處理結果滿足預定的臨限值以上之條件的上述時間區間,係指示上述第1編碼器對上述第1解碼器的輸出進行編碼;及第2判斷部,係由上述第1終端設備之聲音編解碼器產生的位元串流抽出表示增益的部分,由抽出的碼對增益進行解碼,對在每一預定的時間區間獲得的解碼後的增益實施時間方向之平滑化處理,當上述平滑化處理的增益滿足預定的臨限值以上之條件時,指示上述第2編碼器對上述第2解碼器的輸出進行編碼;上述第1編碼器,針對上述第1判斷部有編碼指示的時間區間,係藉由上述第1終端設備的聲音編解碼器之編碼方式, 對上述第1解碼器之解碼信號實施編碼,並輸出至上述第1終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;上述第2編碼器,針對上述第2判斷部有編碼指示的時間區間,係藉由上述第2終端設備的聲音編解碼器之編碼方式,對上述第2解碼器之解碼信號實施編碼,並輸出至上述第2終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;依據上述控制部之指示,當上述第1終端設備與上述第2終端設備之聲音編解碼器為同一時,係將上述第2終端設備之聲音編解碼器產生的位元串流直接輸出至上述第1終端設備,將上述第1終端設備之聲音編解碼器產生的位元串流直接輸出至上述第2終端設備。
(附記11)
於附記1~10中任一項之通信系統,其特徵在於:依據上述控制部之指示,當上述第1終端設備與上述第2終端設備之聲音編解碼器為同一時,接收到上述第1終端設備之聲音編解碼器產生的位元串流的收/發部,係將上述位元串流不經由聲音轉換部而直接傳送至第1收/發部,而由上述第1收/發部輸出至上述第2終端設備,接收到上述第2終端設備之聲音編解碼器產生的位元串流的上述第1收/發部,係將上述位元串流不經由聲音轉換部而直接傳送至上述收/發部,並由上述收/發部輸出至上述第1終端設備。
(附記12)
於附記8之伺服裝置,其特徵在於: 上述頻寬推斷速率算出部,係算出對上述第1終端設備及上述第2終端設備的聲音編解碼器之上傳與下傳之位元速率,分別通知上述第1終端設備及上述第2終端設備,並將上述上傳與下傳之位元速率輸出至上述聲音轉換部;於上述聲音轉換部,上述第1及第2編碼器的編碼之位元速率,係依循於由上述頻寬推斷速率算出部被輸出的位元速率。
(附記13)
於附記8~12中任一項之伺服裝置,其特徵在於:上述控制部,(A)係解析上述操作信號,判斷為聲音通話之起動操作時,起動聲音通話應用程式,(B)由聲音通話應用程式,取得上述第1終端設備之使用者所選擇的通話對方之電話號碼,由上述通話對方之電話號碼求出通話對方之地址,(C)將上述通話對方地址設定於由上述第1終端設備接收到的信息,(D)指示上述頻寬推斷速率算出部,以推斷對上述第1終端設備所連接的網路的上傳方向之頻寬及下傳方向之頻寬,(E)亦指示以推斷對上述第2終端設備所連接的網路的上傳方向之頻寬及下傳方向之頻寬,(F)對上述第2終端設備之聲音編解碼器即第1聲音編解碼器、上述第1終端設備之聲音編解碼器即第2聲音編解碼器相關的能力資訊進行確認,判斷該等是否一致, (G)指示上述聲音轉換部,進行由上述第1聲音編解碼器的位元串流轉換為上述第2聲音編解碼器的位元串流,及由上述第2聲音編解碼器的位元串流轉換為上述第1聲音編解碼器的位元串流。
(附記14)
於附記8或12之伺服裝置,其特徵在於:上述頻寬推斷速率算出部,係由上述第1、第2終端設備的各終端設備之響應信號所包含的資訊,將上述伺服裝置發送至上述各終端設備的第j號(j為特定的正整數)封包的資料大小D(j),除以上述各終端設備接收到上述第j號、第(j-1)號封包時的接收時刻R(j)、R(j-1)之差分R(j)-R(j-1),而求出上述各終端設備所連接的網路之下傳方向之頻寬W;對上述頻寬推斷值W依時間實施平滑化處理,求出平滑化處理後的第n時刻之頻寬推斷值BW(n);將上述各終端設備所送出的上傳方向之資料大小,包含於上述各終端設備之上述響應信號;將第m號(m為特定的正整數)之資料大小P(m),除以上述伺服裝置接收到第m號、第(m-1)號上述響應信號的接收時刻T(m)、T(m-1)之差分T(m)-T(m-1),而求出上述各終端設備所連接的網路之上傳方向之頻寬W’;對上述W’實施時間方向的平滑化處理,將平滑化處理後的第n時刻之頻寬推斷值BW’(n)設為上傳方向之頻寬推斷值, 依據以下之式求出下傳方向的第n時刻之位元速率C(n),C(n)=(1-γ)×C(n-1)+γ×BW(n)
C(n)≦BW(n)
(其中,γ為0<γ<1的範圍內之常數);依據以下之式求出上傳方向的第n時刻之位元速率C’(n),C’(n)=(1-γ)×C’(n-1)+γ×BW’(n)
C’(n)≦BW’(n)。
(附記15)
通信方法,其特徵在於:透過伺服裝置進行聲音通話,第1終端設備與第2終端設備係分別透過網路連接於該伺服裝置;於上述伺服裝置,係依據上述第1、第2終端設備對上述伺服裝置送出之特定封包的響應信號,來推斷上述網路之頻寬,算出上述終端設備之聲音編解碼器的位元速率,並將上述位元速率通知上述第1、第2終端設備;上述伺服裝置,係判斷上述第1終端設備與上述第2終端設備之聲音編解碼器是否為同一,同一時,係將上述第1、第2終端設備之聲音編解碼器產生的位元串流分別直接輸出至上述第2、第1終端設備;上述第1終端設備與上述第2終端設備之聲音編解碼器互相不同時,係於伺服裝置進行轉碼;此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲 音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將轉碼後的信號輸出至上述第1終端設備,針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將轉碼後的碼輸出至上述第2終端設備。
(附記16)
於附記15之通信方法,其特徵在於:上述伺服裝置,係透過網路連接於上述終端設備,藉由在上述終端設備之操作,將以虛擬Client部執行應用程式之動作而獲得的畫面資訊傳送至上述終端設備,顯示於上述終端設備。
(附記17)
終端設備,其特徵在於:透過網路連接於伺服裝置,藉由在終端設備之操作,上述伺服裝置係將以虛擬Client部執行應用程式之動作而獲得的畫面資訊傳送至上述終端設備,藉由解碼器解碼上述伺服裝置送來的畫面資訊並顯示於顯示部,上述伺服裝置係由附記8乃至14之任一伺服裝置構成,係透過上述伺服裝置進行和其他終端設備之聲音通話。
(附記18)
於附記17之終端設備,其特徵在於:在輸入由上述伺服裝置送出的編碼位元串流並輸出聲音之解碼信號的解碼器中,針對無上述位元串流輸入的時間區間,係於CNG(Comfort Noise Generation)產生雜音信號,而 接續於上述解碼信號。
(附記19)
程式,係包括:收/發處理,係透過網路連接於終端設備,接收來自上述終端設備之操作信號,而對上述終端設備及其他終端設備進行信號之收/發;控制處理,係依據由上述終端設備接收到的操作信號,來判斷上述操作是否為聲音通話;聲音轉換處理,當上述控制部判斷為聲音通話時,係依據上述控制部之指示,對上述終端設備所送出之儲存著聲音資料的封包進行轉碼,或不進行轉碼直接讓該封包通過;及頻寬推斷速率算出處理,係依據上述終端設備對上述特定封包之送出的響應信號,來推斷上述網路之頻寬,算出聲音編解碼器的位元速率,並將上述位元速率通知上述終端設備;上述終端設備包含第1終端設備;上述其他終端設備包含第2終端設備,該第2終端設備包括和上述第1終端設備之聲音編解碼器不同的聲音編解碼器;係使構成伺服裝置的電腦執行:上述第1終端設備與上述第2終端設備透過上述伺服裝置進行聲音通話時,上述聲音轉換處理,係依據上述控制處理之指示進行轉碼,此時,針對上述第2終端設備之聲音編解碼器產生的碼之一處理滿足預定條件的時間區間,係由上述第2終端設備之聲音編解 碼器轉碼成為上述第1終端設備之聲音編解碼器,並將轉碼後的信號輸出至上述第1終端設備;針對由上述第1終端設備之上述聲音編解碼器產生的碼之一處理所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將轉碼後的碼輸出至上述第2終端設備,的上述處理。
(附記20)
於附記19之程式,其特徵在於:上述聲音轉換處理,係包含:第1解碼處理,係對上述第2終端設備之聲音編解碼器產生的位元串流進行解碼;第2解碼處理,係對上述第1終端設備之聲音編解碼器產生的位元串流進行解碼;第1編碼處理;第2編碼處理;第1判斷處理,係抽出上述第2終端設備之聲音編解碼器產生的位元串流之一部分,並在預定的時間區間內對該抽出的信號實施平滑化或平均化處理,針對該處理結果滿足預定的臨限值以上之條件的上述時間區間,係指示上述第1編碼處理對上述第1解碼處理的輸出進行編碼;及第2判斷處理,係由上述第1終端設備之聲音編解碼器產生的位元串流抽出表示增益的部分,由抽出的碼對增益進行解碼,對在每一預定的時間區間獲得的解碼增益實施時間方向之 平滑化處理,當平滑化處理的增益滿足預定的臨限值以上之條件時,係指示上述第2編碼處理對上述第2解碼處理的輸出進行編碼;於上述第1編碼處理,針對上述第1判斷部有編碼指示的時間區間,係藉由上述第1終端設備的聲音編解碼器之編碼方式,對上述第1解碼器解碼的信號實施編碼,並輸出至上述第1終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;於上述第2編碼處理,針對上述第2判斷部有編碼指示的時間區間,係藉由上述第2終端設備的聲音編解碼器之編碼方式,對上述第2解碼器解碼的信號實施編碼,並輸出至上述第2終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;依據上述控制部之指示,當上述第1終端設備與上述第2終端設備之聲音編解碼器為同一時,係將上述第2終端設備之聲音編解碼器產生的位元串流直接輸出至上述第1終端設備,將上述第1終端設備之聲音編解碼器產生的位元串流直接輸出至上述第2終端設備。
又,本說明書中引用上述專利文献之各揭示。在本發明之全體揭示(包含申請專利範圍)之範圍內,依據基本的技術思想可以進一步對實施形態乃至實施例進行變更‧調整。另外,可將本發明之申請專利範圍中揭示的各種要素(包含各附記之各要素、各實施例之各要素、及各圖面之各要素等)進行多樣組合乃至選擇。亦即,本發明當然包含業者依據包含 申請專利範圍的全體揭示、技術思想所獲得的各種變形、修正。特別是,本說明書中記載的數值範圍,在無特別明示之情況下,理應解釋為包含於該範圍內的任意數值乃至較小的範圍。
110‧‧‧伺服裝置
111‧‧‧電話簿
130‧‧‧雲端網
150‧‧‧行動網路
151‧‧‧固定網
170‧‧‧行動終端設備
175‧‧‧終端設備
190‧‧‧SGSN/GGSN裝置
194‧‧‧基地局裝置
195‧‧‧RNC裝置
196‧‧‧MGM裝置

Claims (10)

  1. 一種通信系統,包括:複數台終端設備;及伺服裝置,係透過網路連接於上述複數台終端設備;上述複數台終端設備,係包含聲音編解碼器為不同的第1、第2終端設備;其特徵在於:上述伺服裝置包括以下手段:推斷上述網路之頻寬,求出上述第1及/或第2終端設備之聲音編解碼器的位元速率,並將求出的位元速率通知上述第1及/或第2終端設備;接受由上述第1或第2終端設備之聲音編解碼器產生的碼,針對由上述碼之一部分求出的信號滿足預定條件的時間區間,係依據上述碼之接收側即上述第2或第1終端設備之聲音編解碼器對應的編碼方式,以上述求出的位元速率,對解碼上述碼而成的信號實施編碼而進行轉碼處理,並將上述轉碼處理後的碼發送至上述第2或第1終端設備。
  2. 如申請專利範圍第1項之通信系統,其中上述伺服裝置係透過上述網路連接於上述終端設備,藉由在上述終端設備之操作,而將以虛擬Client部執行應用程式之動作所獲得的畫面資訊傳送至上述終端設備,顯示於上述終端設備;包括:控制部,係依據由上述終端設備接收的操作信號,來判斷上述操作是否為聲音通話; 聲音轉換部,當上述控制部判斷為聲音通話時,係依據上述控制部之指示,對上述終端設備所發送之儲存著聲音資料的封包進行轉碼,或不進行轉碼直接讓其通過,而輸出至通話側;及頻寬推斷速率算出部,係依據上述終端設備對上述伺服裝置之特定封包之送出的響應信號,來推斷上述網路之頻寬,算出上述終端設備之聲音編解碼器的位元速率,並將上述位元速率通知上述終端設備;上述第1終端設備與上述第2終端設備透過上述伺服裝置進行聲音通話時,於上述伺服裝置,上述聲音轉換部係依據上述控制部之指示進行轉碼,此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將上述轉碼後的信號輸出至上述第1終端設備;針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將上述轉碼後的碼輸出至上述第2終端設備。
  3. 如申請專利範圍第2項之通信系統,其中於上述伺服裝置,上述聲音轉換部係包括:第1解碼器,係對上述第2終端設備之聲音編解碼器產生的位元串流(bit stream)進行解碼; 第2解碼器,係對上述第1終端設備之聲音編解碼器產生的位元串流進行解碼;第1編碼器;第2編碼器;第1判斷部,係抽出上述第2終端設備之聲音編解碼器產生的位元串流之一部分,並在預定的時間區間內對該抽出的信號實施平滑化或平均化處理,針對該處理結果滿足預定的臨限值以上之條件的上述時間區間,係指示上述第1編碼器對上述第1解碼器的輸出進行編碼;及第2判斷部,係由上述第1終端設備之聲音編解碼器產生的位元串流抽出表示增益的部分,由抽出的碼對增益進行解碼,對在每一預定的時間區間獲得的上述增益實施時間方向之平滑化處理,當上述平滑化處理的增益滿足預定的臨限值以上之條件時,指示上述第2編碼器對上述第2解碼器的輸出進行編碼;上述第1編碼器,針對上述第1判斷部有編碼指示的時間區間,係藉由上述第1終端設備的聲音編解碼器之編碼方式,對上述第1解碼器解碼的信號實施編碼之後輸出至上述第1終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;上述第2編碼器,針對上述第2判斷部有編碼指示的時間區間,係藉由上述第2終端設備的聲音編解碼器之編碼方式,對上述第2解碼器解碼的信號實施編碼之後輸出至上述第2終端設備,針對無編碼指示的時間區間則不進行編 碼亦不輸出;依據上述控制部之指示,當上述第1終端設備與上述第2終端設備之聲音編解碼器為同一時,係將上述第2終端設備之聲音編解碼器產生的位元串流直接輸出至上述第1終端設備,將上述第1終端設備之聲音編解碼器產生的位元串流直接輸出至上述第2終端設備;上述頻寬推斷速率算出部,係算出對上述第1終端設備的上述聲音編解碼器與上述第2終端設備的上述聲音編解碼器之上傳與下傳之位元速率,分別通知上述第1終端設備及上述第2終端設備,並將上述上傳與下傳之位元速率輸出至上述聲音轉換部;於上述聲音轉換部,上述第1及第2編碼器的編碼之位元速率,係依循於由上述頻寬推斷速率算出部所分別輸出的位元速率。
  4. 如申請專利範圍第2或3項之通信系統,其中上述控制部係,(A)係解析上述操作信號,判斷為聲音通話之起動操作時,則起動聲音通話應用程式;(B)由聲音通話應用程式,取得上述第1終端設備之使用者所選擇的通話對方之電話號碼,由上述通話對方之電話號碼求出通話對方之地址;(C)將上述通話對方地址設定於由上述第1終端設備接收到的信息(message);(D)指示上述頻寬推斷速率算出部,以推斷對上述第1終 端設備所連接的網路的上傳方向之頻寬及下傳方向之頻寬;(E)亦下達指示以推斷對上述第2終端設備所連接的網路的上傳方向之頻寬及下傳方向之頻寬;(F)確認和上述第2終端設備之聲音編解碼器即第1聲音編解碼器、以及上述第1終端設備之聲音編解碼器即第2聲音編解碼器相關的能力資訊,並判斷第1與第2聲音編解碼器為同一或不同者,(G)指示上述聲音轉換部,以使上述第1聲音編解碼器的位元串流轉換為上述第2聲音編解碼器的位元串流,及使上述第2聲音編解碼器的位元串流轉換為上述第1聲音編解碼器的位元串流。
  5. 如申請專利範圍第2或3項之通信系統,其中上述頻寬推斷速率算出部,係由上述第1、第2終端設備的各終端設備之響應信號所包含的資訊,將上述伺服裝置發送至上述各終端設備的第j號(j為特定的正整數)封包的資料大小D(j),除以上述各終端設備接收到上述第j號、第(j-1)號封包時的接收時刻R(j)、R(j-1)之差分R(j)-R(j-1),而求出上述各終端設備所連接的網路之下傳方向之頻寬W;對上述頻寬推斷值W依時間實施平滑化處理,求出平滑化處理後的第n時刻之頻寬推斷值BW(n);將上述各終端設備所送出的上傳方向之資料大小,包含於上述各終端設備之上述響應信號; 將第m號(m為特定的正整數)之資料大小P(m),除以上述伺服裝置接收到第m號、第(m-1)號上述響應信號的接收時刻T(m)、T(m-1)之差分T(m)-T(m-1),而求出上述各終端設備所連接的網路之上傳方向之頻寬W’;對上述W’實施時間方向的平滑化處理,將平滑化處理後的第n時刻之頻寬推斷值BW’(n)設為上傳方向之頻寬推斷值,依據以下之式求出下傳方向的第n時刻之位元速率C(n),C(n)=(1-γ)×C(n-1)+γ×BW(n) C(n)≦BW(n)(其中,γ為0<γ<1的範圍內之常數);依據以下之式求出上傳方向的第n時刻之位元速率C’(n),C’(n)=(1-γ)×C’(n-1)+γ×BW’(n) C’(n)≦BW’(n)。
  6. 一種伺服裝置,透過網路在聲音編解碼器互相不同的第1、第2終端設備進行連接,其特徵在於:包括以下的手段:推斷上述網路之頻寬,求出上述第1及/或第2終端設備之聲音編解碼器的位元速率,並將求出的位元速率通知上述第1及/或第2終端設備;接受上述第1或第2終端設備之聲音編解碼器產生的碼,針對由上述碼之一部分求出的信號滿足預定條件的時間區間,係藉由上述碼之接收側即上述第2或第1終端設備之 聲音編解碼器對應的編碼方式,以上述求出的位元速率,對解碼上述碼而成的信號實施編碼而進行轉碼處理,並將上述轉碼處理後的碼發送至上述第2或第1終端設備。
  7. 如申請專利範圍第6項之伺服裝置,其中包括:收/發部,係透過網路連接於終端設備,接收來自上述終端設備之操作信號,而對上述終端設備及其他終端設備進行信號之收/發;控制部,係依據由上述終端設備接收到的操作信號,來判斷上述操作是否為聲音通話;聲音轉換部,當上述控制部判斷為聲音通話時,係依據上述控制部之指示,對上述終端設備所送出之儲存著聲音資料的封包進行轉碼,或不進行轉碼直接讓該封包通過而輸出至通話側;及頻寬推斷速率算出部,係依據上述終端設備對上述特定封包之送出的響應信號,來推斷上述網路之頻寬,算出聲音編解碼器的位元速率,並將上述位元速率通知上述終端設備;其特徵在於:上述終端設備至少包含第1終端設備;上述其他終端設備係包含第2終端設備,該第2終端設備係包括和上述第1終端設備之聲音編解碼器不同的聲音編解碼器;上述第1終端設備與上述第2終端設備透過上述伺服裝置進行聲音通話時,上述聲音轉換部,係依據上述控制部之 指示進行轉碼,此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將轉碼後的信號輸出至上述第1終端設備;針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將轉碼後的碼輸出至上述第2終端設備。
  8. 如申請專利範圍第7項之伺服裝置,其中上述聲音轉換部係包括:第1解碼器,係對上述第2終端設備之聲音編解碼器產生的位元串流進行解碼;第2解碼器,係對上述第1終端設備之聲音編解碼器產生的位元串流進行解碼;第1編碼器;第2編碼器;第1判斷部,係抽出上述第2終端設備之聲音編解碼器產生的位元串流之一部分並在預定時間區間內對抽出的信號實施平滑化或平均化處理,針對該處理結果滿足預定的臨限值以上之條件的上述時間區間,係指示上述第1編碼器對上述第1解碼器的輸出進行編碼;及第2判斷部,係由上述第1終端設備之聲音編解碼器產生 的位元串流抽出表示增益的部分,由抽出的碼對增益進行解碼,針對每一預定的時間區間獲得的解碼增益依時間方向實施平滑化處理,在平滑化處理的增益滿足預定的臨限值以上之條件時,係指示上述第2編碼器對上述第2解碼器的輸出進行編碼;上述第1編碼器,針對上述第1判斷部有編碼指示的時間區間,係藉由上述第1終端設備之聲音編解碼器之編碼方式,對上述第1解碼器所解碼的信號實施編碼之後輸出至上述第1終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;上述第2編碼器,針對上述第2判斷部有編碼指示的時間區間,係藉由上述第2終端設備之聲音編解碼器之編碼方式,對上述第2解碼器所解碼的信號實施編碼之後輸出至上述第2終端設備,針對無編碼指示的時間區間則不進行編碼亦不輸出;依據上述控制部之指示,當上述第1終端設備與上述第2終端設備之聲音編解碼器為同一時,係將上述第2終端設備之聲音編解碼器產生的位元串流直接輸出至上述第1終端設備,將上述第1終端設備之聲音編解碼器產生的位元串流直接輸出至上述第2終端設備。
  9. 一種通信方法,其特徵在於:透過伺服裝置進行聲音通話,第1終端設備與第2終端設備係分別透過網路連接於該伺服裝置;於上述伺服裝置,係依據上述第1、第2終端設備對上述伺 服裝置送出之特定封包的響應信號,來推斷上述網路之頻寬,算出上述終端設備之聲音編解碼器的位元速率,並將上述位元速率通知上述第1、第2終端設備;上述伺服裝置,係判斷上述第1終端設備與上述第2終端設備之聲音編解碼器是否為同一,同一時,係將上述第1、第2終端設備之聲音編解碼器產生的位元串流分別直接輸出至上述第2、第1終端設備;上述第1終端設備與上述第2終端設備之聲音編解碼器互相不同時,係於伺服裝置進行轉碼;此時,針對上述第2終端設備之聲音編解碼器產生的碼之一部分滿足預定條件的時間區間,係由上述第2終端設備之聲音編解碼器轉碼成為上述第1終端設備之聲音編解碼器,並將轉碼後的信號輸出至上述第1終端設備,針對由上述第1終端設備之上述聲音編解碼器產生的碼之一部分所求出的信號滿足預定條件的時間區間,係由上述第1終端設備之聲音編解碼器轉碼成為上述第2終端設備之聲音編解碼器,並將轉碼後的碼輸出至上述第2終端設備。
  10. 一種終端設備,透過網路連接於申請專利範圍第6至8項中任一項之伺服裝置,包括聲音編解碼器,該聲音編解碼器可以透過上述伺服裝置進行和其他終端設備之聲音通話。
TW102130749A 2012-09-21 2013-08-28 通信系統、方法、伺服裝置以及終端設備 TW201421963A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012208663 2012-09-21

Publications (1)

Publication Number Publication Date
TW201421963A true TW201421963A (zh) 2014-06-01

Family

ID=50341540

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102130749A TW201421963A (zh) 2012-09-21 2013-08-28 通信系統、方法、伺服裝置以及終端設備

Country Status (2)

Country Link
TW (1) TW201421963A (zh)
WO (1) WO2014046239A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3612054B2 (ja) * 2001-11-21 2005-01-19 エヌ・ティ・ティ・コムウェア株式会社 シンクライアントサーバ、呼接続方法、そのプログラム及びそのプログラムが記録された記録媒体
JP4304018B2 (ja) * 2003-07-18 2009-07-29 モトローラ・インコーポレイテッド 通信制御方法及び通信制御装置
JP5327335B2 (ja) * 2009-11-04 2013-10-30 日本電気株式会社 ゲートウェイ装置、携帯端末、携帯通信方法及びプログラム

Also Published As

Publication number Publication date
WO2014046239A1 (ja) 2014-03-27

Similar Documents

Publication Publication Date Title
US10027818B2 (en) Seamless codec switching
JP5442771B2 (ja) 通信システムにおけるデータ送信方法
US9667801B2 (en) Codec selection based on offer
TW201741864A (zh) 增強編解碼引擎控制之方法
US20160165059A1 (en) Mobile device audio tuning
US9729601B2 (en) Decoupled audio and video codecs
US10506004B2 (en) Advanced comfort noise techniques
US9729287B2 (en) Codec with variable packet size
US9826072B1 (en) Network-terminal interoperation using compatible payloads
US9553815B2 (en) Remote communication system, server apparatus, remote communication method, and program
US20160165015A1 (en) Embedded rtcp packets
TW201419798A (zh) 通訊系統與方法以及程式
KR101709244B1 (ko) 통신 시스템과 방법과 프로그램
TWI519104B (zh) 聲音資訊傳送方法以及封包通信系統
US20210337071A1 (en) Method for establishing call connection, first terminal, server, and storage medium
TW201421963A (zh) 通信系統、方法、伺服裝置以及終端設備
KR101632012B1 (ko) 통신 시스템, 서버 장치, 서버 장치의 제어 방법 및 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체
KR100939128B1 (ko) 영상 통화를 위한 단말 및 방법
JP4861964B2 (ja) 通信端末装置及びコンピュータプログラム