JP4970710B2 - オーディオ信号処理装置、方法及びプログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents
オーディオ信号処理装置、方法及びプログラムを記録したコンピュータ読取可能な記録媒体 Download PDFInfo
- Publication number
- JP4970710B2 JP4970710B2 JP2004064664A JP2004064664A JP4970710B2 JP 4970710 B2 JP4970710 B2 JP 4970710B2 JP 2004064664 A JP2004064664 A JP 2004064664A JP 2004064664 A JP2004064664 A JP 2004064664A JP 4970710 B2 JP4970710 B2 JP 4970710B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- information
- terminal
- network
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明が解決しようとする第2技術的課題は、オーディオ信号を再生する端末及び/またはその端末に連結されたネットワークが置かれた物理的環境に適するようにオーディオ信号を処理してストリーミングできるオーディオ信号処理方法を提供することである。
本発明が解決しようとする第3技術的課題は、オーディオ信号を再生する端末及び/またはその端末に連結されたネットワークが置かれた物理的環境に適するようにオーディオ信号を処理してストリーミングできるオーディオ信号処理装置を制御するためのプログラムを記録したコンピュータ読取可能な記録媒体を提供することである。
図1は、本発明によるオーディオ信号処理装置のブロック図であって、入力部10、信号処理部12及び出力部14で構成される。
本発明の他の実施例によれば、図1に示すオーディオ信号処理装置は、端末に含まれることもある。
図1に示す入力部10は、オーディオ信号を入力して信号処理部12に出力する。
信号処理部12は、入力部10から出力されるオーディオ信号を入力し、入力端子IN1を通じてネットワーク情報及び端末情報のうち少なくとも一つを入力する。この時、信号処理部12は、入力したネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用してオーディオ信号を処理し、処理された結果を出力する。ここで、ネットワーク情報及び端末情報は、端末から提供される。また、信号処理部12は、信号情報を入力部10から入力することもあり、入力部10から入力したオーディオ信号から信号情報を生成することもある。
前述したネットワークの静的能力とは、秒当たりビット数(bits/sec)で表現されるネットワークの最大帯域幅を意味し、ネットワークの時変条件とは、相次ぐパケットの単方向パケット遅延差または特定チャンネルに対するパケット損失率を意味する。例えば、パケット損失率は‘0’から‘1’まで変化する。ここで、パケット損失率が‘0’ということは損失がないということを意味し、パケット損失率が‘1’ということは全てのパケットが損失されたということを意味する。
一方、前述した信号情報とは、オーディオ信号に関する情報であって、オーディオ信号のビット率またはオーディオ信号の種類に関する情報を含む。ここで、オーディオ信号のビット率が高いということは、ストリーミングするデータの量が多いということを意味する。オーディオ信号の種類とは、オーディオ信号の属性であって、例えばオーディオ信号がニュースか、ポップか、クラシック音楽か、モノラルか、ステレオか、多重チャンネルかを表す。
ここで、本発明によれば、前述した本発明によるオーディオ信号処理装置及びその装置の実施例各々は、入力部10及び信号処理部12だけで具現されることもある。例えば、図1に示すオーディオ信号処理装置が端末に含まれる場合、図1に示すオーディオ信号処理装置は、入力部10及び信号処理部12だけで具現される。
第1比較部40は、入力端子IN2を通じてネットワーク情報を入力し、入力端子IN3を通じて信号情報を入力し、入力したネットワーク情報と信号情報とを比較し、比較された結果を従処理部44に出力する。
第2比較部42は、入力端子IN3を通じて信号情報を入力し、入力端子IN4を通じて端末情報を入力し、入力した信号情報と端末情報とを比較し、比較された結果を従処理部44に出力する。
本発明の他の実施例によれば、図4に示す主処理部60は、入力端子IN5を通じてネットワーク情報及び端末情報のうち少なくとも一つを入力し、入力端子IN6を通じてオーディオ信号及び/または信号情報を入力する。この時、主処理部60は、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち動作決定部62で決定された動作でオーディオ信号を処理し、処理された結果を出力部14に出力端子OUT3を通じて出力する。
本発明の一実施例によれば、動作決定部62は、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち、端末でオーディオ信号を再生する時の音質を最大化させる動作を決定できる。
図5に示す動作種類選択部80は、入力端子IN8を通じてネットワーク情報及び端末情報のうち少なくとも一つを入力し、入力端子IN9を通じて外部で生成されたテーブルを入力する。
まず、本発明によれば、音質鮮明度、音相幅情報及び音質明瞭度は、主観的な評価法を利用して求められる。ここで、主観的な評価法とは、音楽の場合に、隠し参照及びアンカーを有するマルチ刺激テスト(MUSHRA:MULTI Stimulus test with Hidden Reference and Anchors)またはITU-R Recommendation BS.1116である。このような、主観的な評価法は、音質鮮明度、音相幅情報及び音質明瞭度を一つずつ細分化して求めず、音質を全体的に評価する。
図6は、図4に示す動作決定部62の本発明による他の実施例62Bのブロック図であって、テーブル生成部100、動作種類選択部102及び処理量決定部104で構成される。
図7は、本発明によるオーディオ信号処理方法を説明するためのフローチャートであって、入力されたオーディオ信号をネットワーク情報及び端末情報のうち少なくとも一つを利用して処理してストリーミングする段階(第500〜第504段階)よりなる。
図7に示すオーディオ信号処理方法は、サーバ側で行われるか、または端末で行われるか、あるいはサーバ側と端末ともで行われることもある。例えば、図7に示すオーディオ信号処理方法が端末で行われる場合、図7に示すオーディオ信号処理方法は、第500及び第502段階だけで具現される。
図8は、図7に示す第502段階に対する本発明による実施例502Aを説明するためのフローチャートであって、オーディオ信号のビット率と許容ビット率及び可用帯域幅を各々比較した結果を利用してオーディオ信号を処理する段階(第600〜第604段階)よりなる。
しかし、オーディオ信号のビット率が許容ビット率より小さくないと判断されるか、またはオーディオ信号のビット率が可用帯域幅より大きいと判断されれば、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち少なくとも一つを行ってオーディオ信号を処理する(第604段階)。
または、第700段階は第2比較部42で行われ、第702及び第706段階は第1比較部40で行われることもある。この場合、第704及び第706段階は、図3に示す従処理部44で行われる。
まず、ネットワーク情報及び端末情報のうち少なくとも一つとオーディオ信号とを利用して前述したようなテーブルを生成する(第800段階)。第800段階後に、テーブルを通じてチャンネル数動作、データ選択動作及び帯域除去動作のうち少なくとも一つに当る動作を決定する(第802段階)。第802段階後に、決定された動作でオーディオ信号を処理する(第804段階)。本発明によれば、図10に示す第502C段階は、第800段階を設けないこともある。この場合、事前に生成されたテーブルが与えられる。
この時、図10に示す第800段階は、図6に示すテーブル生成部100で行われ、第802段階は、図4に示す動作決定部62、図5または図6に示す動作種類選択部80または102で行われる。第804段階は、図4に示す主処理部60で行われる。
第802段階後に、信号情報からオーディオ信号の種類をチェックする(第900段階)。第900段階後に、チェックされた結果とテーブルとを利用して前述したように処理量を決定する(第902段階)。第902段階後に、決定された処理量でオーディオ信号を処理し、第504段階に進む(第904段階)。ここで、図11に示す第900及び第902段階は、図5または図6に示す処理量決定部82または104で行われ、第904段階は、図4に示す主処理部60で行われる。
ネットワークと連結された端末が再生するオーディオ信号を処理する前述したオーディオ信号処理装置を制御する少なくとも一つのプログラムを記録するコンピュータ読取可能な本発明による記録媒体は、オーディオ信号を入力させる段階及びネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用してオーディオ信号を処理させる段階を行うためのプログラムを記録する。この時、記録媒体に記録されるプログラムは、処理されたオーディオ信号をストリーミングさせる段階をさらに行える。
本発明の一実施例によれば、オーディオ信号を処理させる段階は、オーディオ信号のビット率が端末情報に当る端末の許容ビット率より小さいかを判断する段階と、オーディオ信号のビット率が許容ビット率より小さいと判断されれば、オーディオ信号のビット率がネットワークの可用帯域幅より大きいかを判断する段階及びオーディオ信号のビット率が許容ビット率より小さくないか、または可用帯域幅より大きいと判断されれば、動作のうち少なくとも一つを行わせる段階を行う。
一方、前述した本発明によるオーディオ信号処理装置と方法及びそのための記録媒体は、MPEG−21デジタルアイテム適応(DIA:Digital Item Adaptation)のために適用される。
図12〜図21で、本発明によるオーディオ信号処理装置及び方法によって導出された部分は、ボックス920,922,924及び926で表示した。例えば、5.1サラウンドモードでオーディオ信号が伝えられる時、チャンネルの数は、図17に示すように各チャンネルに割当てられる。しかし、本発明は、これに限定されず、5.1チャンネル以上の多重チャンネルモードに拡大適用される。この時、チャンネル数調整動作は、データ選択動作及び帯域除去動作の属性として具現されることもある。
もし、チャンネル数調整動作がデータ選択動作の属性として具現されれば、チャンネル数調整動作は、例えば、図22のように表現される。ここで、ネットワークの最初可用帯域幅は128kbpsであり、可用帯域幅が、例えば90kbpsに狭くなる時に信号処理部12でデータ選択動作が行われ、可用帯域幅が、例えば54kbpsに狭くなる時に信号処理部12でチャンネル数調整動作が行われると仮定する。
図23に示すように、MPEG−21 DIAのツールには3種類がある。ここで、本発明によるオーディオ信号処理装置及び方法は、図23に示す編成で端末及びネットワークサービス質(QoS:Quality of Service)1000に適用される。
もし、ネットワーク情報がkbpsの単位を有する可用帯域幅であり、端末情報がミリ秒の単位を有する端末のデータ処理能力であり、音質は平均意見点数(MOS:Mean Opinion Score)によって信号対雑音比で表現されるとする時、信号処理部12で行われるデータ選択動作は、図24に示すように表現されることもある。
図25は、非特許文献1及び非特許文献2に採択されたチャンネル数調整動作の内容を示す図面である。
例えば、帯域除去動作は、図26に示すように表現される。
図27に示すサーバ1100は、図1に示す装置を含むことができ、端末1114は、スイッチングハブ1112を通じてネットワーク1116と連結されている。この時、ネットワーク1116が図2に示すような可用帯域幅を有する場合、サーバ1100がダミーパケットを発生して端末1114に送り、ダミーパケットのビット率は4kbpsから86kbpsまで変わり、サーバ1100でデータ選択動作によって処理されるオーディオ信号はMPEG−4 BSACビットストリームであり、データ選択動作によって処理されていないオーディオ信号はAACビットストリームと仮定する。この時、オーディオ信号の種類は、ポップ、ニュース及びクラシック音楽と仮定する。ここで、BSACの最上位層は、CDMA2000 1xの可用帯域幅の最大値、例えば86kbpsを提供するために生成され、BSACの下位層はチャンネル当り1kbpsのステップサイズのFGS階層性を有し、AACは86kbpsに符号化されると仮定する。
図29は、DIを利用して表現された音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面であって、横軸はデータ選択動作によって除去される層数#を表し、縦軸はDIを各々表す。
図28及び図29に示すグラフは、一種のテーブルと見られる。例えば、図28または図29に示すグラフで表現されるテーブルは、ネットワーク情報及び端末情報のうち少なくとも一つ、ODG及び/またはDIとして表現される音質及び#を相互マッチングさせて記録する。図28または図29に示すグラフを通じて、図5または図6に示す処理量決定部82または104は、オーディオ信号を処理する処理量を決定できる。例えば、動作決定部62の動作種類選択部80または102で動作の種類がデータ選択動作で決定された場合、処理量決定部82または104は、IN8を通じてネットワーク情報及び端末情報のうち少なくとも一つを入力し、入力したネットワーク情報及び端末情報のうち少なくとも一つにマッチングする音質に当る図28または図29に各々示すODGまたはDI値をテーブルで探す。この時、処理量決定部82または104は、探されたODGまたはDI値とマッチングされる#を図28または図29で処理量として探す。
図31は、ODGを利用して表現されたポップ音楽に対する音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面であって、横軸はネットワークの可用帯域幅をkbpsで表し、縦軸はODGを各々表す。
図30及び図31各々で、信号処理部12でデータ選択動作だけを利用してオーディオ信号を処理する場合に予想される音質は■マークとして表記し、データ選択動作とチャンネル数調整動作ともを使用してオーディオ信号を処理する場合に予想されるオーディオ信号の音質は◆マークとして表記する。
12 信号処理部
14 出力部
20 主処理部
Claims (32)
- ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理装置において、
前記オーディオ信号を入力する入力部と、
ネットワーク情報及び端末情報のうち少なくとも一つと、音質及び付加情報のうち少なくとも一つと、チャンネル数調整動作、データ選択動作及び帯域除去動作を含む複数の動作のうち少なくとも一つとのマッピング関係を利用して、前記入力部から入力したオーディオ信号に対して少なくとも一つの動作を決定して処理する信号処理部と、を備え、
前記ネットワークの状態は、前記ネットワークの可用帯域幅、前記ネットワークの静的能力及び前記ネットワークの時変条件のうち少なくとも一つを含み、
前記端末情報は、前記端末の許容ビット率、前記端末のデータ処理能力、前記端末の電力に関する情報、前記端末の記録能力に関する情報及び前記端末の種類のうち少なくとも一つを含むことを特徴とするオーディオ信号処理装置。 - 前記オーディオ信号処理装置は、
前記処理されたオーディオ信号をストリーミングする出力部をさらに備えることを特徴とする請求項1に記載のオーディオ信号処理装置。 - 前記信号処理部は、
前記オーディオ信号のチャンネルの数を調整するチャンネル数調整動作、前記オーディオ信号に含まれたデータのうち一部だけを選択するデータ選択動作及び前記オーディオ信号の高周波成分を除去する帯域除去動作のうち少なくとも一つを前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応して前記オーディオ信号の処理として行う主処理部を備えることを特徴とする請求項1に記載のオーディオ信号処理装置。 - ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理装置において、
前記オーディオ信号を入力する入力部と、
ネットワーク情報及び端末情報のうち少なくとも一つと、音質及び付加情報のうち少なくとも一つと、チャンネル数調整動作、データ選択動作及び帯域除去動作を含む複数の動作のうち少なくとも一つとのマッピング関係と信号情報とを利用して、前記入力部から入力した前記オーディオ信号に対して少なくとも一つの動作を決定して処理する信号処理部と、を備え、
前記ネットワーク情報は前記ネットワークの状態を含み、前記端末情報は前記端末の能力、種類及び状態のうち少なくとも一つを含み、
前記ネットワークの状態は、前記ネットワークの可用帯域幅、前記ネットワークの静的能力及び前記ネットワークの時変条件のうち少なくとも一つを含み、
前記端末情報は、前記端末の許容ビット率、前記端末のデータ処理能力、前記端末の電力に関する情報、前記端末の記録能力に関する情報及び前記端末の種類のうち少なくとも一つを含むことを特徴とするオーディオ信号処理装置。 - 前記主処理部は、
前記入力部から圧縮されたオーディオ信号を入力して前記データ選択動作を行うことを特徴とする請求項3に記載のオーディオ信号処理装置。 - 前記圧縮されたオーディオ信号は、階層性を有するビットストリームを含むことを特徴とする請求項5に記載のオーディオ信号処理装置。
- 前記圧縮されたオーディオ信号は、BSACビットストリーム及びAACビットストリームのうち少なくとも一つを含むことを特徴とする請求項6に記載のオーディオ信号処理装置。
- 前記主処理部は、
前記信号情報と前記ネットワーク情報とを比較する第1比較部と、
前記信号情報と前記端末情報とを比較する第2比較部と、
前記入力部から入力した前記オーディオ信号を前記第1及び前記第2比較部で比較された結果に応答して処理する従処理部と、を備えることを特徴とする請求項3に記載のオーディオ信号処理装置。 - 前記信号処理部は、
前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応して、前記チャンネル数調整動作を行う時、前記オーディオ信号のチャンネルの数を減少させて調整することを特徴とする請求項3に記載のオーディオ信号処理装置。 - 前記信号処理部は、
前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応する動作を決定する動作決定部をさらに備え、
前記主処理部は、前記動作決定部で決定された動作で前記オーディオ信号を処理することを特徴とする請求項3に記載のオーディオ信号処理装置。 - 前記動作決定部は、
前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、音質及び前記入力部から入力されたオーディオ信号に含まれた付加情報のうち少なくとも一つを満足させる動作を決定することを特徴とする請求項10に記載のオーディオ信号処理装置。 - 前記付加情報は、ユーザの選好度及びメタデータのうち少なくとも一つに当ることを特徴とする請求項11に記載のオーディオ信号処理装置。
- 前記動作決定部は、
前記ネットワーク情報及び前記端末情報のうち少なくとも一つを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせるテーブルを利用して前記動作を選択する動作種類選択部を備えることを特徴とする請求項10に記載のオーディオ信号処理装置。 - 前記動作決定部は、
前記ネットワーク情報及び前記端末情報のうち少なくとも一つと前記音質及び前記付加情報のうち少なくとも一つとを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせるテーブルを利用して前記動作を選択する動作種類選択部を備えることを特徴とする請求項11に記載のオーディオ信号処理装置。 - 前記音質を含むテーブルは、客観的な差等級と歪曲インデックスのうち少なくとも一つを利用して決定されることを特徴とする請求項14に記載のオーディオ信号処理装置。
- 高い前記音質を含むテーブルは前記客観的な差等級を利用して決定され、高くない前記音質を含むテーブルは前記歪曲インデックスを利用して決定されることを特徴とする請求項15に記載のオーディオ信号処理装置。
- 前記音質を含むテーブルは、音質鮮明度、音相幅情報及び音質明瞭度のうち少なくとも一つを利用して決定され、
前記音質鮮明度は前記オーディオ信号の周波数と関連し、前記音相幅情報は音源位置による音質と関連し、前記音質明瞭度は前記歪曲雑音と関連することを特徴とする請求項14に記載のオーディオ信号処理装置。 - 前記動作決定部は、
前記チャンネル数調整動作で調整される前記チャンネルの数、前記データ選択動作で選択されるデータの量、前記帯域除去動作で除去される前記オーディオ信号の高周波成分の量のうち少なくとも一つである処理量を前記ネットワーク情報及び前記端末情報のうち少なくとも一つにマッピングさせる前記テーブルを利用して前記処理量を決定する処理量決定部をさらに備え、
前記主処理部は、前記処理量決定部で決定された前記処理量で前記オーディオ信号を処理することを特徴とする請求項13に記載のオーディオ信号処理装置。 - 前記動作決定部は、
前記チャンネル数調整動作で調整される前記チャンネルの数、前記データ選択動作で選択されるデータの量及び前記帯域除去動作で除去される前記オーディオ信号の高周波成分の量のうち少なくとも一つである処理量を前記ネットワーク情報及び前記端末情報のうち少なくとも一つにマッピングさせる前記テーブルを利用して前記処理量を決定する処理量決定部をさらに備え、
前記主処理部は、前記処理量決定部で決定された前記処理量で前記オーディオ信号を処理することを特徴とする請求項11に記載のオーディオ信号処理装置。 - 前記処理量決定部は、
前記オーディオ信号の種類を検査し、検査された結果と前記テーブルとを利用して前記処理量を決定することを特徴とする請求項19に記載のオーディオ信号処理装置。 - 前記動作決定部は、
前記ネットワーク情報と前記端末情報のうち少なくとも一つと前記入力部から入力されたオーディオ信号とを利用して前記テーブルを生成し、生成された前記テーブルを前記動作種類選択部に出力するテーブル生成部をさらに備えることを特徴とする請求項13、14、18または19に記載のオーディオ信号処理装置。 - 前記オーディオ信号処理装置は、MPEG−21に適用されることを特徴とする請求項1に記載のオーディオ信号処理装置。
- ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理方法において、
前記オーディオ信号を入力する段階と、
ネットワーク情報及び端末情報のうち少なくとも一つと、音質及び付加情報のうち少なくとも一つと、チャンネル数調整動作、データ選択動作及び帯域除去動作を含む複数の動作のうち少なくとも一つとのマッピング関係を利用して、前記オーディオ信号に対して少なくとも一つの動作を決定して処理する段階と、を備え、
前記ネットワークの状態は、前記ネットワークの可用帯域幅、前記ネットワークの静的能力及び前記ネットワークの時変条件のうち少なくとも一つを含み、
前記端末情報は、前記端末の許容ビット率、前記端末のデータ処理能力、前記端末の電力に関する情報、前記端末の記録能力に関する情報及び前記端末の種類のうち少なくとも一つを含むことを特徴とするオーディオ信号処理方法。 - 前記オーディオ信号処理方法は、
前記処理されたオーディオ信号をストリーミングする段階をさらに備えることを特徴とする請求項23に記載のオーディオ信号処理方法。 - 前記オーディオ信号を処理する段階は、
前記オーディオ信号のチャンネルの数を調整するチャンネル数調整動作、前記オーディオ信号に含まれたデータのうち一部だけを選択するデータ選択動作及び前記オーディオ信号の高周波成分を除去する帯域除去動作のうち少なくとも一つの動作を前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応して行う段階を備えることを特徴とする請求項23に記載のオーディオ信号処理方法。 - 前記オーディオ信号を処理する段階は、
前記信号情報に当る前記オーディオ信号のビット率が前記端末情報に当る前記端末の許容ビット率より低いかを判断する段階と、
前記オーディオ信号のビット率が前記許容ビット率より低いと判断されれば、前記オーディオ信号のビット率が前記ネットワーク情報に当る前記ネットワークの可用帯域幅より高いかを判断する段階と、
前記オーディオ信号のビット率が前記許容ビット率より低くないか、または前記可用帯域幅より高いと判断されれば、前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つを行う段階と、を備えることを特徴とする請求項25に記載のオーディオ信号処理方法。 - 前記オーディオ信号を処理する段階は、
前記信号情報に当る前記オーディオ信号のビット率が前記端末情報に当る前記端末の許容ビット率より低いかを判断する段階と、
前記オーディオ信号のビット率が前記許容ビット率より低いと判断されれば、前記オーディオ信号のビット率が前記ネットワーク情報に当る前記ネットワークの可用帯域幅より高いかを判断する段階と、
前記オーディオ信号のビット率が前記可用帯域幅より高いと判断されるか、またはオーディオ信号のビット率が許容ビット率より低くないと判断されれば、前記チャンネル数調整動作を行う段階と、
前記チャンネル数調整動作によって処理されたオーディオ信号のビット率が前記可用帯域幅より高いかを判断する段階と、
前記チャンネル数調整動作によって処理されたオーディオ信号のビット率が前記可用帯域幅より高いと判断されれば、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つを行う段階と、を備えることを特徴とする請求項25に記載のオーディオ信号処理方法。 - ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理装置を制御する少なくとも一つのプログラムを記録したコンピュータ読取可能な記録媒体において、
前記オーディオ信号を入力させる段階と、
ネットワーク情報及び端末情報のうち少なくとも一つと,音質及び付加情報のうち少なくとも一つと、チャンネル数調整動作、データ選択動作及び帯域除去動作を含む複数の動作のうち少なくとも一つとのマッピング関係を利用して、前記オーディオ信号に対して少なくとも一つの動作を決定して処理する段階と、を行うためのプログラムを記録し、
前記ネットワークの状態は、前記ネットワークの可用帯域幅、前記ネットワークの静的能力及び前記ネットワークの時変条件のうち少なくとも一つを含み、
前記端末情報は、前記端末の許容ビット率、前記端末のデータ処理能力、前記端末の電力に関する情報、前記端末の記録能力に関する情報及び前記端末の種類のうち少なくとも一つを含むことを特徴とするコンピュータで読取れる記録媒体。 - ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理装置において、
前記オーディオ信号を入力する入力部と、
ネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して、前記入力部から入力したオーディオ信号を処理する信号処理部と、を備え、
前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であり、
前記信号処理部は、前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作を含む複数の動作のうち少なくとも一つと、前記ネットワーク情報及び前記端末情報のうち少なくとも一つとのマッピング関係によって、前記オーディオ信号に対して処理する動作を決定する動作決定部と、を備え、
前記ネットワークの状態は、前記ネットワークの可用帯域幅、前記ネットワークの静的能力及び前記ネットワークの時変条件のうち少なくとも一つを含み、
前記端末情報は、前記端末の許容ビット率、前記端末のデータ処理能力、前記端末の電力に関する情報、前記端末の記録能力に関する情報及び前記端末の種類のうち少なくとも一つを含むことを特徴とするオーディオ信号処理装置。 - 前記動作決定部は、
前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、音質及び前記入力部から入力されたオーディオ信号に含まれた付加情報のうち少なくとも一つを満足させる動作を決定することを特徴とする請求項29に記載のオーディオ信号処理装置。 - ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理方法において、
前記オーディオ信号を入力する段階と、
ネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して前記オーディオ信号を処理する段階と、を備え、
前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であり、
前記オーディオ信号処理する段階は、前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作を含む複数の動作のうち少なくとも一つと、前記ネットワーク情報及び前記端末情報のうち少なくとも一つとのマッピング関係によって、前記オーディオ信号に対して処理する動作を決定する段階と、を備え、
前記ネットワークの状態は、前記ネットワークの可用帯域幅、前記ネットワークの静的能力及び前記ネットワークの時変条件のうち少なくとも一つを含み、
前記端末情報は、前記端末の許容ビット率、前記端末のデータ処理能力、前記端末の電力に関する情報、前記端末の記録能力に関する情報及び前記端末の種類のうち少なくとも一つを含むことを特徴とするオーディオ信号処理方法。 - 前記動作を決定する段階は、
前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、音質及び前記入力部から入力されたオーディオ信号に含まれた付加情報のうち少なくとも一つを満足させる動作を決定することを特徴とする請求項31に記載のオーディオ信号処理方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US45253403P | 2003-03-07 | 2003-03-07 | |
US60/452,534 | 2003-03-07 | ||
US48726403P | 2003-07-16 | 2003-07-16 | |
US60/487,264 | 2003-07-16 | ||
KR2004-013679 | 2004-02-27 | ||
KR1020040013679A KR100561867B1 (ko) | 2003-03-07 | 2004-02-27 | 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004272262A JP2004272262A (ja) | 2004-09-30 |
JP4970710B2 true JP4970710B2 (ja) | 2012-07-11 |
Family
ID=32830688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004064664A Expired - Fee Related JP4970710B2 (ja) | 2003-03-07 | 2004-03-08 | オーディオ信号処理装置、方法及びプログラムを記録したコンピュータ読取可能な記録媒体 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1455504B1 (ja) |
JP (1) | JP4970710B2 (ja) |
CN (1) | CN1551588B (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7068729B2 (en) | 2001-12-21 | 2006-06-27 | Digital Fountain, Inc. | Multi-stage code generator and decoder for communication systems |
US6307487B1 (en) | 1998-09-23 | 2001-10-23 | Digital Fountain, Inc. | Information additive code generator and decoder for communication systems |
US9240810B2 (en) | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
US6909383B2 (en) | 2002-10-05 | 2005-06-21 | Digital Fountain, Inc. | Systematic encoding and decoding of chain reaction codes |
EP2722995B1 (en) | 2003-10-06 | 2023-04-19 | QUALCOMM Incorporated | Soft-Decision Decoding of Multi-Stage Chain Reaction Codes |
KR101161193B1 (ko) | 2004-05-07 | 2012-07-02 | 디지털 파운튼, 인크. | 파일 다운로드 및 스트리밍 시스템 |
JP5550834B2 (ja) | 2006-02-13 | 2014-07-16 | デジタル ファウンテン, インコーポレイテッド | 可変fecオーバヘッド及び保護期間を利用したストリーミング及びバッファリング |
US9270414B2 (en) | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
US7971129B2 (en) | 2006-05-10 | 2011-06-28 | Digital Fountain, Inc. | Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems |
US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
US9178535B2 (en) | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
US9386064B2 (en) | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
MX2010002829A (es) | 2007-09-12 | 2010-04-01 | Digital Fountain Inc | Generacion y comunicacion de informacion para identificacion de fuentes para permitir comunicaciones seguras. |
RU2517393C2 (ru) * | 2008-06-11 | 2014-05-27 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ оценки качества аудиосигнала, устройство и считываемый компьютером записываемый носитель, записывающий программу |
US8473628B2 (en) * | 2008-08-29 | 2013-06-25 | Adobe Systems Incorporated | Dynamically altering playlists |
US9281847B2 (en) | 2009-02-27 | 2016-03-08 | Qualcomm Incorporated | Mobile reception of digital video broadcasting—terrestrial services |
JP2010232861A (ja) * | 2009-03-26 | 2010-10-14 | Sony Corp | 情報処理装置、音声信号処理方法、およびプログラム |
US9288010B2 (en) | 2009-08-19 | 2016-03-15 | Qualcomm Incorporated | Universal file delivery methods for providing unequal error protection and bundled file delivery services |
US20110096828A1 (en) * | 2009-09-22 | 2011-04-28 | Qualcomm Incorporated | Enhanced block-request streaming using scalable encoding |
US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
US20110280311A1 (en) | 2010-05-13 | 2011-11-17 | Qualcomm Incorporated | One-stream coding for asymmetric stereo video |
US8918533B2 (en) | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
US9185439B2 (en) | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
US8806050B2 (en) | 2010-08-10 | 2014-08-12 | Qualcomm Incorporated | Manifest file updates for network streaming of coded multimedia data |
US8958375B2 (en) | 2011-02-11 | 2015-02-17 | Qualcomm Incorporated | Framing for an improved radio link protocol including FEC |
US9270299B2 (en) | 2011-02-11 | 2016-02-23 | Qualcomm Incorporated | Encoding and decoding using elastic codes with flexible source block mapping |
KR101885377B1 (ko) | 2011-05-04 | 2018-08-29 | 엘지전자 주식회사 | 서비스 목록 표시 방법 및 그를 이용한 영상 표시 장치 |
US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
US9843844B2 (en) | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
US9294226B2 (en) | 2012-03-26 | 2016-03-22 | Qualcomm Incorporated | Universal object delivery and template-based file delivery |
JP6759545B2 (ja) * | 2015-09-15 | 2020-09-23 | ヤマハ株式会社 | 評価装置およびプログラム |
CN108806712B (zh) * | 2018-04-27 | 2020-08-18 | 深圳市沃特沃德股份有限公司 | 减少频域处理量的方法与装置 |
CN108717855B (zh) * | 2018-04-27 | 2020-07-28 | 深圳市沃特沃德股份有限公司 | 噪音处理方法与装置 |
CN110275138B (zh) * | 2019-07-16 | 2021-03-23 | 北京工业大学 | 一种利用优势声源成分移除的多声源定位方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5892754A (en) * | 1996-06-07 | 1999-04-06 | International Business Machines Corporation | User controlled adaptive flow control for packet networks |
KR100219610B1 (ko) * | 1996-09-20 | 1999-10-01 | 윤종용 | 디지탈 신호의 기록 및 재생장치 |
JP3622365B2 (ja) * | 1996-09-26 | 2005-02-23 | ヤマハ株式会社 | 音声符号化伝送方式 |
JPH1070467A (ja) * | 1997-04-30 | 1998-03-10 | Mitsubishi Electric Corp | オーディオ信号符号化・復号化装置及びオーディオ信号再生装置 |
JPH11341074A (ja) * | 1998-05-21 | 1999-12-10 | Canon Inc | 適応型情報通信システム及び適応型情報通信方法 |
JP2000324171A (ja) * | 1999-05-14 | 2000-11-24 | Namco Ltd | データ転送装置及びデータ転送方法、並びにデータ配布方法 |
JP4622121B2 (ja) * | 2000-03-13 | 2011-02-02 | ソニー株式会社 | データ変換装置および方法、並びに、符号化装置および方法 |
GB2367219A (en) * | 2000-09-20 | 2002-03-27 | Vintage Global | Streaming of media file data over a dynamically variable bandwidth channel |
JP2002135127A (ja) * | 2000-10-26 | 2002-05-10 | Canon Inc | 信号処理装置 |
JP2002152301A (ja) * | 2000-11-10 | 2002-05-24 | Sony Corp | データ通信システム、データ受信装置、データ通信方法、並びにプログラム記憶媒体 |
US6961754B2 (en) * | 2001-01-12 | 2005-11-01 | Telefonaktiebolaget Lm Ericsson | Interactive access, manipulation, sharing and exchange of multimedia data |
EP1248431B1 (en) * | 2001-03-27 | 2007-10-31 | Sony Deutschland GmbH | Method for achieving end-to-end quality of service negotiation for distributed multimedia applications |
JP2002297496A (ja) * | 2001-04-02 | 2002-10-11 | Hitachi Ltd | メディア配信システム及びマルチメディア変換サーバ |
JP2002344941A (ja) * | 2001-05-14 | 2002-11-29 | Sony Corp | コンテンツ品質制御システム |
US20020188745A1 (en) * | 2001-06-11 | 2002-12-12 | Hughes David A. | Stacked stream for providing content to multiple types of client devices |
JP2002374298A (ja) * | 2001-06-13 | 2002-12-26 | Oki Electric Ind Co Ltd | トランスコーダー装置 |
-
2004
- 2004-03-05 EP EP04251309.3A patent/EP1455504B1/en not_active Expired - Lifetime
- 2004-03-08 CN CN200410063134.4A patent/CN1551588B/zh not_active Expired - Fee Related
- 2004-03-08 JP JP2004064664A patent/JP4970710B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1551588A (zh) | 2004-12-01 |
EP1455504A2 (en) | 2004-09-08 |
EP1455504A3 (en) | 2005-09-28 |
JP2004272262A (ja) | 2004-09-30 |
EP1455504B1 (en) | 2014-11-12 |
CN1551588B (zh) | 2011-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4970710B2 (ja) | オーディオ信号処理装置、方法及びプログラムを記録したコンピュータ読取可能な記録媒体 | |
CN110945494B (zh) | 向客户端提供媒体内容的方法和系统 | |
JP4724452B2 (ja) | デジタルメディア汎用基本ストリーム | |
JP5174027B2 (ja) | ミックス信号処理装置及びミックス信号処理方法 | |
KR100561867B1 (ko) | 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 | |
JP4056407B2 (ja) | スケーラブル無損失オーディオ符号化/復号化装置及びその方法 | |
CN107534969A (zh) | 增强编解码引擎控制 | |
MXPA05005593A (es) | Sistema y metodo para optimizar compresion de multimedios utilizando codificadores plurales. | |
JP2010529500A (ja) | オーディオ信号処理方法及び装置 | |
JP2001209399A (ja) | 第1成分と第2成分を含む信号を処理する装置と方法 | |
JP2004514180A (ja) | 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法 | |
US7363230B2 (en) | Audio data processing apparatus and audio data distributing apparatus | |
CN101636990A (zh) | 在通信系统中传输数据的方法 | |
KR20070002065A (ko) | 스케일러블 무손실 음성 코덱 및 오서링 툴 | |
US7567897B2 (en) | Method for dynamic selection of optimized codec for streaming audio content | |
US20080232508A1 (en) | Method of transmitting data in a communication system | |
KR101038442B1 (ko) | 매립된 데이터의 시그널링 | |
JP2004120619A (ja) | オーディオ情報復号装置 | |
US20070198256A1 (en) | Method for middle/side stereo encoding and audio encoder using the same | |
JP2002149197A (ja) | デジタルオーディオ圧縮アプリケーションにおいてオーディオ材料を事前に分類する方法および装置 | |
JP2008197199A (ja) | オーディオ符号化装置及びオーディオ復号化装置 | |
KR100609173B1 (ko) | Aac복호화 방법 | |
JP4750759B2 (ja) | 映像音声再生装置 | |
JP3982373B2 (ja) | オーディオデータ配信装置 | |
JPH09172413A (ja) | 可変レート音声符号化方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061026 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100412 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100415 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100512 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100712 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110114 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110124 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20110401 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120405 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |