JP5273688B2 - 小型セル無線ネットワーク内のクライアントデバイスのための上流の信号処理 - Google Patents

Description

＜関連出願への相互参照＞
本願は、２００８年９月１９日に出願され、その全体が本願明細書において参照により援用されている米国特許仮出願第６１／０９８，５６６号に対する優先権を主張する。

＜発明の分野＞
本開示は、ストリーミングオーディオデータの信号処理、及びビデオデータの信号処理等の、メディアデータの信号処理に関する。

無線携帯デバイスの人気が高まるととともに機能性も高まり続けている。このように人気が高まっているデバイスとしては、アップルのｉＰｏｄ等のメディアプレーヤ、携帯電話、ヘリオ製のデバイス、リンクシス等の無線ＩＰベースの電話、マイクロソフト Ｚｕｎｅ、アップル ｉＰｈｏｎｅ、等の無線ネットワーク対応マルチメディアデバイス、ソニー ＰＳＰ、ノキア Ｎ Ｇａｇｅ等の携帯ゲーム機、ならびに通信及び／又はマルチメディアデータの送信、受信及び／又はレンダリングに用いられることができる他の多くのデバイスが挙げられる。このようなデバイスは通例、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）またはマイクロコントローラ、ならびにソフトウェア命令を含むメモリ等の、処理システムを含むものであればよい。このような携帯デバイスは処理能力及び機能性の向上ならびに／あるいは電池の長寿命化が続く一方、これらのデバイスは、コンピュータ、ネットワークアダプタ及びルータ、ならびに／あるいは固定コアネットワークデバイス等の非携帯型の処理システムに比べれば、依然として信号処理能力及び／又は他の資源が制限されている。通例、携帯デバイスは、なるべく小さく、なるべく安価であることが好ましいが、制限された処理能力、制限されたメモリ資源、及び／又は制限された電池電力しか持っていない。

無線パーソナルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＰＡＮ）及びピコセル携帯電話ネットワーク等の小型セル無線ネットワークは周知である。一般に、携帯電話ネットワークの場合は基地局、及び無線ネットワークの場合はアクセスポイントと呼ばれる、セル内で１つ以上のクライアントデバイスと通信する基地局を有する。これらは一般に、数メートル以下のオーダーの比較的小型のセルも有する。このようなシステムは、電池寿命が比較的長く、比較的安価な小型のクライアントデバイスを有することが重要である。

クライアントデバイスとは全く対照的に、無線クライアントデバイスが通信するサーバコンピュータシステム、ネットワークアダプタ、ネットワークルータ、無線基地局／アクセスポイント及び／又は何らかの固定コアネットワークデバイス等の固定処理システムは、クライアントデバイスよりも著しく大きな信号処理能力を有するとともに、電力を比較的制限なく利用できる。従って、固定システムは通例、比較的高速な処理能力、携帯デバイスよりもはるかに大きなメモリ能力、及び事実上、制限なく電力を利用できることを特徴としている。

本願明細書では、固定処理システムと比べて限られた資源しか持たない携帯デバイス等のデバイスを「制限された資源のデバイス」と呼ぶ。本願明細書において、基地局とは、メディアデータを資源制限デバイスに無線送信するアクセスポイント、セルラー基地局または同様の無線送受信機を指す。
米国特許第５８０２４６７号に音声およびデータ送受信のための無線通信、指令、制御および検知システムが記載されている。国際公開第０２／２７９８５号に、測定されたパラメータに基づいて無線（ｒａｄｉｏ）デバイスに対する音量制御を自動化するシステムが記載されている。

本発明の実施形態に係る無線資源制限デバイスを備える無線機構の一例の簡略ブロック図である。 本発明の実施形態に係る無線資源制限デバイスを備える無線機構の別の例の簡略ブロック図である。 メディアデータの上流の処理を含み、例えば、図１Ａ及び図１Ｂに示す実施形態を説明する装置実施形態の簡略ブロック図である。 本発明の実施形態の適用例に係る、通路が１本の旅客機内の数列の座席の簡略図である。 各座席が音声入力センサを備える６席の座席の１つのピコセル例であって、そのピコセルを利用して本発明の実施形態が動作することができる、ピコセル例を示す図である。 本発明の方法実施形態の簡略化されたフローチャートを示す図である。 ハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ、ＨＤＲ）ビデオディスプレイを備える携帯デバイスに、ビデオデータを信号処理装置を介して無線でストリーミングする本発明の簡略ブロック図の一実施形態である。 本発明の一実施形態に係る、クライアントデバイスから離れた所で生成されたメタデータ及び環境雑音情報を用いて、オーディオコンテントの上流雑音補償処理を行う装置の例の簡略ブロック図である。 フィードフォワード機構を用いて部分特定ラウドネス（干渉雑音の存在下における特定ラウドネス）を目標特定ラウドネスに近づけるようにオーディオ信号を変更して変更済みオーディオ信号を生成する品質向上信号処理の一実施形態を表す機能ブロック図である。 フィードフォワード機構を用いて部分特定ラウドネス（干渉雑音の存在下における特定ラウドネス）を目標特定ラウドネスに近づけるようにオーディオ信号を変更して変更済みオーディオ信号を生成する品質向上信号処理の一実施形態を表す機能ブロック図である。 フィードフォワード機構を用いて部分特定ラウドネス（干渉雑音の存在下における特定ラウドネス）を目標特定ラウドネスに近づけるようにオーディオ信号を変更して変更済みオーディオ信号を生成する品質向上信号処理の一実施形態を表す機能ブロック図である。 フィードフォワード機構を用いて部分特定ラウドネス（干渉雑音の存在下における特定ラウドネス）を目標特定ラウドネスに近づけるようにオーディオ信号を変更して変更済みオーディオ信号を生成する品質向上信号処理の実施形態を表す機能ブロック図である。 前処理において入力オーディオを周波数帯域群に分離する、雑音補償用のフィードフォワード機構の実施形態例を示す図である。

＜概説＞
本発明の実施形態には、方法、装置、及びこの方法を実行するべく１以上のコンピュータ可読有形媒体内にエンコードされたプログラム論理が含まれる。本発明の方法は、１つ以上の環境量を用いて、メディアデータに対して品質向上信号処理を行うためのものである。本発明において、環境量は、資源制約デバイスから離れているが、資源制約デバイスに十分近い場所に設けて、資源制約デバイスの近傍のセンサによる環境量が各環境量と同等の指標になる場所で収集する。本発明の信号処理は、メディアデータをレンダリングするために資源制約デバイスで用いられる処理された出力を生成するためのものである。

本発明の特定の実施形態には、品質向上のために処理ハードウェアを用いてメディアデータを処理する方法が含まれる。メディアデータは、資源制約無線デバイスによりレンダリングされる。この発明の方法には、１つ以上のセンサから求められる１つ以上の検知環境量を受け取るステップが含まれる。センサは、資源制約デバイスから離れているが、当該環境量が、資源制約デバイスの近傍のセンサと同じそれぞれの環境量の指標とするには十分、資源制約デバイスに近い場所にある。この発明の方法はさらに、資源制約デバイスから離れた場所において設置されるかまたはそこに結合されるネットワークノードにおいて、環境量を用いてメディアデータを処理し処理済みデータを生成するステップであって、センサがネットワークノード内にあるかまたはネットワークノードに接続されるステップと；処理済み出力をレンダリングのために資源制約デバイスに無線で送るステップと；を備え、これによって、処理済み出力がメディアデータをレンダリングするためにあるいは処理及びレンダリングするために資源制約デバイスによって利用可能となる。

この発明の方法の実施形態では、ネットワークノードには無線ネットワークの基地局が含まれる。

この発明の方法の実施形態では、処理済み出力には資源制約デバイスによるレンダリング用の処理済みメディアデータが含まれる。

さらに、この発明の方法の実施形態では、一部のメディアデータ処理は資源制約デバイスにおいて行われ、処理済み出力には、資源制約デバイスにおけるメディアデータ処理のために資源制約デバイスによって用いられるための補助データが含まれる。

「ストリーミング実施形態」と呼ばれるこの発明の方法の実施形態では、メディアデータには、１）資源制約デバイスにストリーミングされるメディアデータ、及び／又は２）無線ネットワークを介して、資源制約デバイスを含む双方向通信の一部としての資源制約デバイスにインタラクティブにストリーミングされるメディアデータ、のうちの１つ以上が含まれる。

ストリーミング実施形態では、メディアデータにはオーディオデータが含まれ、１つ以上の環境量には環境内の雑音の音響プロファイルを示す少なくとも１つの量が含まれ、品質向上処理には雑音補償が含まれる。変形例では、雑音補償には：１つ以上のラウドネスレベルパラメータ、及び音響雑音プロファイルの１つ以上のパラメータを用いてオーディオデータから変更パラメータを生成することが含まれる。変更パラメータは、知覚ラウドネス領域において情報に対して操作を実行することによって生成される。雑音補償にはさらに、変更パラメータに基づきオーディオデータを変更して処理済みオーディオデータを生成することが含まれる。１つ以上のラウドネスレベルパラメータには、オーディオ雑音補償のオンの有無、資源制約デバイスのための参照レベル、所望の再現レベル、及び／又は雑音補償の量のうちの１つ以上が含まれる。

雑音補償方法の実施形態では、メディアデータの品質向上処理には、オーディオデータに適用される自動ゲイン制御、ダイナミックレンジ圧縮及び／又はイコライゼーションのうちの１つ以上が含まれる。

ストリーミング実施形態では、メディアデータにはビデオデータが含まれ、１つ以上の環境量には、環境内の照明を示す少なくとも１つのパラメータが含まれ、品質向上処理には、パラメータのうちの１つ以上に従ってビデオデータのコントラスト及び／又は明るさを変更することが含まれる。

ストリーミング実施形態では、メディアデータにはビデオデータが含まれ、１つ以上の環境量には、環境内の照明の指標となる少なくとも１つのパラメータが含まれ、資源制約デバイスには、ビデオデータとともに資源制約デバイスに送られる画像依存調節データに従って各々調節される位置依存性バックライト素子を有するフラットパネルディスプレイデバイスが含まれる。品質向上処理には、ビデオデータのコントラスト及び／又は明るさを変更することが含まれる。ネットワークノードにおけるデータ処理には、１つ以上のパラメータのうちの少なくとも１つに従って画像依存調節データを生成することが含まれる。

特定の実施形態には、処理システムの少なくとも１つのプロセッサによって実行されると本概説セクションにおいて記載されている方法実施形態のうちのいずれか１つを実行させるプログラム論理が含まれる。このようなプログラム論理は、例えばコンピュータ可読記憶媒体内に備えられている。

特定の実施形態には、処理システムの少なくとも１つのプロセッサによって実行されると本概説セクションにおいて記載されている方法実施形態のうちのいずれか１つを実行させるプログラム論理を内蔵するコンピュータ可読媒体が含まれる。

特定の実施形態には、メディアデータの品質向上処理の少なくとも一部を実行する装置が含まれる。この装置は、資源制約デバイスに無線接続するように構成されるネットワークノード、ならびにネットワークノードに接続されるかまたはその中にある１つ以上のセンサを備える。このセンサは、資源制約デバイスから離れているが、資源制約デバイスに十分近い場所にあり、資源制約デバイスの近傍のセンサで検知した環境量が１以上の各環境量の指標になる。この装置はネットワークノードに接続されるかまたはその中にあり、１つ以上の環境量を受け取り、品質向上を達成するべく、受け取られる環境量の少なくとも一部を用いてメディアデータのデータ処理を実行し処理済み出力を生成するように構成された処理ハードウェアをさらに備える。さらに、ネットワークノードは処理済み出力を資源制約デバイスに無線で送るように構成され、それによって、処理済み出力がメディアデータをレンダリングするためにあるいは処理及びレンダリングするために資源制約デバイスによって利用可能となる。この発明の装置は、本概説セクションにおいて記載されている方法の実施形態のうちのいずれか１つを実行可能に構成される。

特定の実施形態には、メディアデータの品質向上処理の少なくとも一部を実行する装置が含まれる。この装置は、少なくとも１つのプロセッサを含む処理システムと、記憶デバイスとを備える。記憶デバイスにはプログラム論理が備えられ、このプログラム論理が実行されたとき、装置は方法の実施形態のうちのいずれか１つを実行する。

特定の実施形態がこれらの態様、特徴または利点の全てを提供する場合もあるし、一部を提供する場合もあるし、または全く提供しない場合もある。特定の実施形態が他の態様、特徴または利点を１つ以上提供する場合があり、そのうちの１つ以上は本願明細書における図、記載、及び請求項から当業者には容易に理解できるであろう。

＜実施形態例＞
＜実施形態の典型的なアーキテクチャ＞
図１Ａ及び図２Ｂは、本発明の実施形態に係る無線資源制限デバイスを含む無線機構の２つの異なる例の簡略ブロック図を示す。

図１Ｃは、本発明の実施形態を表す簡略ブロック図である。図１Ａ及び図１Ｂの各々に示される特定の実施形態はそれぞれ図１Ｃの機構によって説明できる。

図１Ａは、クライアントデバイスにおけるレンダリングのためにメディアデータがクライアントデバイスにストリーミングされる第１の機構例を示す。基地局１０３に結合されるネットワーク１０１も含まれる。本記載においては「基地局」の用語は同義的且つ交換可能に用いられることに留意されたい。「基地局」とはセルラー通信ネットワークを述べる際に一般に用いられる用語であり、一方、「アクセスポイント」とはインフラストラクチャ型の無線ローカルエリアネットワークを述べる際に一般に用いられる用語である。基地局１０３は、少なくとも１つのアンテナを含むアンテナサブシステム１０５に結合された無線送受信機１０７、ならびにプロセッサ１１１及び記憶サブシステム１１３を含む処理サブシステムを備える。記憶サブシステム１１３にはメモリ要素が１つ以上、及び場合により磁気ディスク等の他の記憶要素が１つ以上含まれる。本願では、サブシステム１１３を一括して記憶デバイスと呼ぶ。いくつかの実施形態では、記憶デバイスはプログラム論理を備え、例えば実行されたときに、基地局に本発明の実施形態に係る方法のステップを実行させる命令等のプログラム論理を備える。

基地局は資源制約クライアントデバイス１２１と無線通信するように構成される。基地局は、オーディオデータ、あるいはオーディオデータ及びビデオデータ等の、メディアデータを（資源制約）クライアントデバイス１２１におけるレンダリングのためにストリーミングするように設計される。資源制約クライアントデバイスは、無線送信を、基地局１０３などから受信するためのアンテナサブシステム１２３と、他のコンポーネントとともにオーディオをレンダリングするためのラウドスピーカ／イヤホン、及び／又は他のコンポーネントとともにビデオをレンダリングするための表示画面などの１つ以上のトランスデューサと、を備える。

本発明の１つの実施形態では、オーディオデータ、あるいはオーディオデータ及びビデオデータ等の、メディアデータをストリーミングする。

図１Ａに、メディアデータのソースを、ネットワーク１０１に結合される１つ以上のメディアサーバ（図面には１つのメディアサーバ例１３１を示す）の形で図示する。このようなサーバに共通しているように、サーバ１０１には、プロセッサ１３３を含む処理システムと、メモリ、ならびに場合により光学及び／又は磁気媒体システム等の１つ以上の他の記憶要素を含む記憶サブシステム１３５とが含まれる。コンピュータ可読記憶サブシステム１３５には、プロセッサ（単数または複数）１３３によって実行されたとき、サーバにネットワーク１０１を介してメディアデータを供給させる命令１３７が含まれる。

特定の例では、クライアントデバイス１２１はパーソナルオーディオ再生デバイスであり、出力トランスデューサには、ネットワーク１０１を介してストリーミングされるオーディオ番組を聴くための飛行機内のヘッドセットが含まれる。もう１つの特定の例として、クライアントデバイス１２１はパーソナルビデオ再生デバイスであり、出力トランスデューサには、ネットワーク１０１を介してストリーミングされるビデオデータを見るための、飛行機内の表示画面が含まれる。どちらの場合でも、メディアデータが資源制約クライアントデバイス１２１におけるレンダリングのためにストリーミングされ、資源制約クライアントデバイス１２１がメディアデータを、１つ以上の出力トランスデューサ１２５を介して聴く及び／又は見るためにレンダリングする。

本発明の１つの態様には、クライアントデバイス１２１によるレンダリング用のメディアデータを、クライアントデバイス１２１の環境を示す検知環境量を１つ以上用いる信号処理を実行することによって変更することが含まれる。１つ以上のセンサ１０９が１つ以上の環境量を検知するように構成される。環境量の例としては、オーディオの場合は雑音特性、及びビデオの場合は背景照明が挙げられる。ただし、それらに限定されるものではない。本発明の１つの態様は、１つ以上のセンサは、クライアントデバイス１２１から離れた場所にあるが、検知される環境量を資源制約デバイスの近傍の１つ以上の環境量と同等の指標とするには十分、資源制約デバイスに近い場所にあるというものである。図１Ａの実施形態では、センサ１０９は基地局１０３にある、すなわち、基地局１０３に直接結合されている。これは資源制限デバイスにおける電力の使用を抑え、資源制限クライアントデバイス１２１における信号処理量も抑える。

本発明の１つの態様は、基地局１０３を含む無線ネットワークに無線で結合される資源制約デバイス１２１によるレンダリング用のメディアデータを変更する方法である。処理システム、例えば、プロセッサ１１１を含む処理システムが、センサ１０９から１つ以上の検知環境量を受信する。処理システムは、受信された検知環境量を用いてメディアデータをデータ処理し、処理済み出力、例えば、処理済みメディアデータ、及び／又は携帯デバイスにおけるメディアデータの処理のために携帯デバイス内で用いられるべき補助データを生成するように構成される。１つの実施形態では、処理システムによるデータ処理には、受信された検知環境量を用いて変更パラメータを生成し、変更パラメータに基づいてメディアデータを処理し処理済みメディアデータを生成することが含まれる。処理済みメディアデータ及び／又は補助データは、出力トランスデューサを介したレンダリングのために、あるいは処理及びレンダリングのために資源制約デバイス１２１に無線で送られる。従って、レンダリングデバイス１２１の環境内の環境量を用いるが、レンダリングデバイス１２１内では制限されている資源を必要とする信号処理方法が、デバイス１２１のような資源制限がなく、デバイス１２１から離れたプロセッサによって実行される。

示されている機構を有利に用いることができるいくつかのこのような信号処理方法が本願明細書において後により詳細に記載される。

いくつかの実施形態では、メディアデータのソースは上流からクライアントデバイス１２１に送られるが、本発明の他の実施形態では、メディアデータのソースはネットワークの上流の別個のデバイスにあるのではなく、クライアントデバイス１２１内にある。このような実施形態では、メディアデータは、プロセッサ１１１を備える処理システムへと上流に送られる。この処理システムは、メディアデータと、１つ以上の検知環境量とを受信する。

図１Ｂは第２の例を表し、ネットワーク１０１に結合された基地局１０３を介した双方向会話に用いられる無線クライアントデバイス１２１、例えば携帯電話の例を表す。本願明細書においては、図１Ａにおけるものと同様の機能を有する参照要素に同じ参照符号が用いられることに留意されたい。たとえ同じ参照符号が用いられていても、任意の特定の要素の詳細は、機能を達成するべく要素によって用いられる手段を含め、実施形態ごとに異なる場合がある。図１Ｂの本例については、基地局１０３は、送受信機１０７を含め最小限のコンポーネントしか備えず、その機能性は、ネットワーク１０１に同様に結合されたコントローラ１４１により制御される、いわゆる「軽量」基地局であるという点で、図１Ａのものとは異なる動作をする。コントローラ１４１は、少なくとも１つのプロセッサ１４３を含む処理サブシステム、及び記憶サブシステム１４５を備える。記憶サブシステム１４５は、メモリ要素を１つ以上、及び場合により磁気ディスク等の他の記憶要素を１つ以上備える。本願明細書では、サブシステム１４５を一括して記憶デバイスと呼ぶ。制御データ及び命令が安全な制御プロトコルによってネットワークを介して通信され、それにより、基地局は、コントローラとの組み合わせにより、図１Ａに示されるものより機能豊富な基地局と同様の様式で動作する。本願明細書において記載されるように、ある実施形態では、記憶デバイスは、基地局１０３に本発明の方法の実施形態の各ステップを実行させる命令を、例えばコンピュータプログラム１４７として備えている。

基地局１０３は、例えば記憶サブシステム１４５内のプログラムによって、資源制約クライアントデバイス１２１と無線通信するように構成される。基地局はメディアデータを（資源制約）クライアントデバイス１２１でレンダリングするためのオーディオデータとして受信するように設計されるとともに、クライアントデバイス１２１内のマイクロホンなどのセンサによって集められるオーディオデータなどのメディアデータを受信するように設計される。資源制約デバイスは、例えば基地局１０３から無線送信を受信するためのアンテナサブシステム１２３、ならびに１つ以上の入力／出力トランスデューサ１２５、例えば、レンダリングのためのラウドスピーカ／イヤホン及びオーディオを受信するためのマイクロホンを備える。

本発明の１つの実施形態では、オーディオデータ等のメディアデータを、資源制約デバイス１２１を含む双方向通信の一部としての資源制約デバイス１２１に、基地局１０３及び資源を含む無線ネットワークを通じてインタラクティブにストリーミングするように設計する。このような用途の典型例は携帯電話である。

図１Ｂに示すように、コントローラ１３１に加えて、メディアソースとして、図１Ａのメディアサーバと同様のメディアサーバ１３１が備えられている。メディアサーバ１３１は、例えばエンタテインメントまたは他のメッセージ等のメディアデータを、資源制限デバイス１２１または何らかの他の資源制限デバイスにストリーミングすることができる。

本発明の１つの態様では、クライアントデバイス１２１によるレンダリング用のメディアデータを、クライアントデバイス１２１の環境を示す検知環境量を１つ以上用いる信号処理を実行することによって変更する。１つ以上のセンサ１０９が１つ以上の環境量を検知するように構成される。環境量の例としては、オーディオの場合は雑音特性、及び／又はビデオの場合は背景照明が挙げられる。ただし、それらに限定されるものではない。本発明の１つの態様では、１つ以上のセンサは、クライアントデバイス１２１から離れた場所にあるが、検知された環境量を資源制約デバイスの近傍の１つ以上の環境量と同等の指標とするためには十分資源制約デバイスに近い場所にある。図１Ｂの実施形態では、センサ１０９は基地局１０３にある、すなわち、基地局１０３に直接結合されている。これは資源制限デバイスにおける電力の使用を抑え、資源制限クライアントデバイス１２１における信号処理量も抑える。

処理システム、例えばコントローラ１４１におけるプロセッサ１４３を含む処理システムが、基地局１０３及びネットワーク１０１を介してセンサ１０９から１つ以上の検知環境量を受信する。処理システムは、受信された検知環境量を用いてメディアデータをデータ処理し、処理済み出力、例えばメディアデータ、及び／又は資源制約デバイス１２１においてメディアデータをさらに処理するために用いられるべき補助データを生成するように構成される。１つの実施形態では、処理システムによるこのようなデータ処理には、受信された検知環境量を用いて変更パラメータを生成し、変更パラメータに基づいてメディアデータを処理し処理済みメディアデータを生成することが含まれる。コントローラは、処理済みメディアデータ及び／又は補助データを、出力トランスデューサを介したレンダリングのために、または処理及びレンダリングに用いるために、資源制約デバイス１２１に無線で送られるように構成される。従って、レンダリングデバイス１２１の環境内の環境量を用いるものの、レンダリングデバイス１２１内では制約される資源を必要とする信号処理方法を、デバイス１２１のような資源の制約が無く、デバイス１２１から離れたプロセッサによって実行することができる。

いくつかの実施形態では、メディアデータのソースは上流からクライアントデバイス１２１に送られるが、本発明の他の実施形態では、メディアデータのソースは、ネットワークの上流の別個のデバイスにあるのではなく、クライアントデバイス１２１内にある。それ故、図１Ａ及び図１Ｂに示すように、クライアントデバイス１２１は、メディアデータを記憶可能な記憶領域を備える。このような実施形態では、メディアデータは、プロセッサ１１１を含む上流側の処理システムへ送られる。この処理システムは、メディアデータ及び１つ以上の検知環境量を受信する。

示されている機構を有利に用いることができるいくつかの品質向上信号処理方法が本願明細書において後により詳細に記載される。

＜適用例＞
図１Ａ及び図２Ｂの例では、センサとクライアントデバイス１２１との間の距離が比較的短い。１つの例がピコセルネットワークである。例えば、飛行機の座席を考える。クライアントデバイスは、基地局を介してピコセルのクライアントにストリーミングされる素材を聴くための１対の無線ヘッドホンであるとする。ピコセルには飛行機内の座席のセットのうちの座席のサブセットが含まれる。別の適用例では、例えば再び飛行機の座席を考え、クライアントデバイスは、基地局を介してピコセルのクライアントデバイスにストリーミングされる素材を聴くことも含め、双方向会話を行うための携帯電話であるとする。ピコセルには飛行機内の座席のセットのうちの座席のサブセットが含まれる。第２の例として、無線クライアントデバイス１２１が例えば航空機の座席の近傍のピコセルに無線接続されるように設計される音楽プレーヤであるとし、航空機は、無線クライアントデバイス１２１内に記憶される音楽データのための品質向上サービスを提供するものとする。

図２Ａに、本発明の実施形態の適用例における、通路が１本の旅客機内の数列の座席２０１の簡略図を示す。本例では、２列、２通路の座席がピコセル２０３を形成し、それ故、このようなピコセルが４つ示されており、各ピコセル２０３には基地局２０９及び最大６席までの座席が含まれる。

図２Ｂに、６席の座席の１つのピコセル２０３の例を示す。各座席２０５は音声入力センサ、例えば、任意の乗客の頭の近くにあり、座席の後部内のマイクロホン２０７を備える。一番前の一番左の座席は、そこにいる乗客とともに示されている。その乗客用のセルホン２１１が、単純化され拡大された形で示されている。各マイクロホン２０７は基地局に直接結合される。無線ヘッドホン２１３（同様に単純化され誇張、拡大された形で示されている）も各乗客用の代替のクライアントデバイスとして利用可能である。

多くの処理を必要としないようにするため、且つ、再充電及び／又は電池交換を頻繁に行わなくてすみ多くの電力を要しないようにするため、セルホン受話器２１１及びヘッドホンは極めて安価なものにすることが有利である。にもかかわらず、例えば乗客に送信されるオーディオなどの乗客のエクスペリエンスを、環境、例えば乗客の近傍の環境雑音、を考慮する信号処理を実行することによって向上させたいという要望が依然ある。

別のシナリオでは、自分たちのオーディオ再生デバイスを自分たちのピコセル無線ネットワークを介して接続する乗客のために、航空機が品質向上サービスを提供することが有利である。

クライアントデバイス２１１及び２１３の各々は図１Ａ及び図１Ｂに示す一般的構造を有する。基地局は、図１Ａに示す一般的アーキテクチャを有する完全な基地局、または図１Ｂのアーキテクチャを有する軽量基地局、すなわち何らかの他のアーキテクチャを用いた基地局であればよい。

適用例の別の変形例では、より少ないマイクロホン２０７がピコセル２０３の範囲内で用いられることに留意されたい。例えば、１つのマイクロホンを用いてピコセル領域２０３全体のための背景雑音量を得ることができる。

図２Ａ及び図２Ｂにオーディオに関連する適用例を示しているが、同様の適用例を、クライアントデバイスであって、制約された資源を有する携帯ビデオデバイス上でビデオまたは静止画像を見ることに適用することができる。

＜方法の実施形態＞
図３に、例えば、図１Ｃに示される装置、ならびに図１Ａ及び図１Ｂの各々に示される特定の実施形態例によって実施される通りの、本発明の方法実施形態の簡略化されたフローチャートを示す。メディアデータを変更する方法、例えば、無線ネットワークに無線で結合された資源制約デバイスによるレンダリングのための品質向上のために変更する方法３００を図示する。この方法には、ステップ３０１において１つ以上のセンサ１０９から１つ以上の検知環境量を受信することが含まれる。センサ１０９は、資源制約デバイス１２１から離れた場所にあるが、検知された環境量を資源制約デバイス１２１の近傍の１つ以上の環境量と同等の指標とするには十分、資源制約デバイス１２１に近い場所にある。

この方法にはさらに、ステップ３０３において、センサ１０９の場所、すなわち資源制約デバイス１２１から離れた場所にあるか、またはそこに結合されたネットワークノード１６１において、受信された検知環境量を用いてメディアデータをデータ処理し、例えば処理済みメディアデータ等の処理済み出力、または資源制約デバイスでの処理に用いるための補助データ、あるいは処理済みメディアデータ及び補助データの両方を生成することが含まれる。

この方法には、ステップ３０５において、資源制約デバイス１２１におけるレンダリングのために、あるいは処理及びレンダリングのために資源制約デバイス１２１に処理済み出力（処理済みメディアデータ及び／又は補助データ）を無線で送ることが含まれる。

ある実施形態では、メディアデータにはオーディオデータ、例えば、品質向上処理用オーディオデータが含まれる。他の実施形態では、メディアデータには、品質向上処理用のビデオデータが含まれる。ある実施形態では、メディアデータには、品質向上処理用のオーディオデータ、及び品質向上処理用のビデオデータの両方が含まれる。

ある実施形態では、ネットワークノード１６１には無線ネットワークの基地局が含まれる。「無線ネットワークの基地局」の用語には、処理を実行するための処理能力をそれ自身が有する基地局１３１、または処理を実行するための処理能力を有する要素にネットワークを介して結合された基地局１３１のいずれかが含まれる。それ故、「基地局」の用語は図１Ａ及び同様に図１Ｂのシナリオを範囲に含む。

ある実施形態では、メディアデータには、資源制約デバイスにストリーミングされるメディアデータが含まれる。ある実施形態では、メディアデータには、資源制約デバイスを含む双方向通信の一部としての資源制約デバイスに無線ネットワークを通じてインタラクティブにストリーミングされるメディアデータが含まれる。さらに他の実施形態では、メディアデータには、資源制約デバイスにストリーミングされるメディアデータ、ならびに資源制約デバイスを含む双方向通信の一部としての資源制約デバイスに無線ネットワークを通じてインタラクティブにストリーミングされるメディアデータの両方が含まれる。

ある実施形態では、メディアデータは無線クライアントにおいて作り出され、次に、処理の後、無線クライアントに送り返される。

＜検知環境量を用いる処理の形式＞
本発明は、検知環境量を用いる処理の形式に限定されるものではなく、本発明を有利に利用することができる多くのこのような形式の信号処理操作が知られている。移動デバイスの環境の近傍の音響雑音プロファイルの推定値を利用することができる、オーディオデータのための品質向上信号処理技法には、知覚ラウドネス領域、または単純にラウドネス領域とも呼ばれる、知覚領域において実行される処理が含まれる。１つの実施形態では、このような処理には雑音補償が含まれる。雑音補償の実施形態では、処理には自動ゲイン制御、ダイナミックレンジ圧縮及び／又はダイナミックイコライゼーションのうちの１つ以上がさらに含まれる。

無線デバイスから離れているがその近くで得られる環境照明の推定値を利用することができるビデオデータの品質向上信号処理技法には、彩度調節、明るさ調節、コントラスト調節等が含まれ、例えばいわゆるハイダイナミックレンジ（ＨＤＲ）ディスプレイ用のバックライティングＬＥＤ等の、個別に調節可能な多数の光素子を用いたフラットパネルディスプレイデバイス用のバックライト素子群を調節するための画像依存信号を生成することが含まれる。

＜ＨＤＲディスプレイ類のための例示的な実施形態＞
ＨＤＲディスプレイ類及びそれらの背景にある技術は、本発明の譲受人に関係するドルビーラボラトリーズ社によってドルビーコントラスト、ドルビーＨＤＲ及びドルビービジョンとして市販されている。現在構築されているＨＤＲディスプレイは、バックライトに調節発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＬＥＤ）等の調節光源を用いる。このようなバックライトはＩＭＬＥＤ（Ｉｎｄｉｖｉｄｕａｌｌｙ Ｍｏｄｕｌａｔｅｄ Ａｒｒａｙ ｏｆ ＬＥＤ、個別調節ＬＥＤアレイ）バックライトと呼ばれることがある。１つの変形例では、各ＬＥＤの明るさは８ビット信号によって制御され、従って、各ＬＥＤは２５６個の明るさ段階を有する。ＬＣＤ画面の背後に単一の光源を有するのではなく、複数の小領域が、示されているシーン内の局所的な明るさ及びコントラストに従って調節される様式でバックライトされる。

調節信号は、ビデオ信号に対する処理を実行することによって得られ、バックライティング用ＬＥＤをさらに調節する信号を生成する。さらなる詳細については、例えば、ヘルゲ・ゼーツェン（Ｈｅｌｇｅ Ｓｅｅｔｚｅｎ）、ヴォルフガング・ハイドリッヒ（Ｗｏｌｆｇａｎｇ Ｈｅｉｄｒｉｃｈ）、ヴォルフガング・シュチュアーズリンガー（Ｗｏｌｆｇａｎｇ Ｓｔｕｅｒｚｌｉｎｇｅｒ）、グレッグ・ウォード（Ｇｒｅｇ Ｗａｒｄ）、ローン ・ホワイトヘッド（Ｌｏｒｎｅ Ｗｈｉｔｅｈｅａｄ）、マシュー・トレンタコステ（Ｍａｔｔｈｅｗ Ｔｒｅｎｔａｃｏｓｔｅ）、アビジート・ゴーシュ（Ａｂｈｉｊｅｅｔ Ｇｈｏｓｈ）、アンドレイ・ヴォロズコフス（Ａｎｄｒｅｊｓ Ｖｏｒｏｚｃｏｖｓ）：『ハイダイナミックレンジディスプレイシステム』、ＡＣＭトランザクションズ・オン・グラフィックス（ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（ＴＯＧ））、第２３巻、第３号、特別号：２００４年ＳＩＧＧＲＡＰＨカンファレンス（２００４年８月）の議事録を参照されたい。米国特許出願第６，８９１，６７２号も参照されたい。

ビデオ信号から調節信号を求める信号処理はたやすくはない。従って、資源制約のある観視デバイスではこのような処理の能力がない場合がある。しかし、このような信号処理は、資源制約観視デバイスの環境の近くで提供される、求められる、または測定される１つ以上のパラメータに基づいて、上流において有利に実行されることができる。

それ故、コントラスト及び明るさを局所的な観視条件、例えば観視環境の明るさに従って変更することが知られている。１つの実施形態では、処理要素に接続されているが無線クライアントからは離れた環境センサが、観視環境に近い明るさの指標を求める。環境の明るさは上流のプロセスに提供される。１つの実施形態では、１つ以上の他のパラメータ、例えば、コントラスト強調の量を示すパラメータ、観視者によって望まれる明るさ設定を示すパラメータ等が送られる。上流のプロセッサは資源制限観視デバイスからこのようなパラメータを受信し、信号処理を実行してＬＥＤデバイスのバックライティングのためのレベルを求める。通例、バックライティングは単色であり、主ビデオよりもはるかに粗い解像度である。解像度がより低いバックライトデータがビデオ信号と一緒に資源制限デバイスに送られ、受信されたパラメータに従って調節され、資源制限観視デバイスによって組み合わせてレンダリングされる。

図４に、本発明の実施形態の簡略ブロック図を表す。この実施形態ではメディアデータが信号処理装置４０３を介して携帯デバイスにストリーミングされる。この実施形態の場合、携帯デバイスはＬＣＤパネル４１５と、環境に依存して調節されるバックライティングとなる多数の個別調節発光ダイオードデバイス４１７で構成されるＨＤＲビデオディスプレイ４１３とを備える、無線デバイス５１１である。当然であるが、図４ではディスプレイ４１３を最も単純化した２次元の形態で表している。信号処理装置４０３に結合されるデバイス４２１が、無線携帯デバイス４１１付近のアンビエント光の指示を測定するように構成される光センサ３２５を備える。図示の実施形態には、オーディオ雑音環境量を得るためのマイクロホン４２３も、メタデータを提供するためのユーザインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＵＩ）として含まれている。アンビエント光環境量は、ある頻度で、例えば１秒に１回の頻度で、オーディオ及び／又はビデオの品質向上処理に関するメタデータの１つ以上の他の項目、及び／又は他の環境量と一緒に、上流の信号処理装置４０３に提供される。上流の信号処理装置は、アンビエント光環境量及びビデオメディアデータを受け取るように構成されるとともに、ビデオデータを処理して、ＨＤＲディスプレイ４１３内の個別調節ＬＥＤデバイス４１７用の信号を生成するべく携帯デバイスによって利用可能な調節信号を生成するようにさらに構成された、ＨＤＲ信号プロセッサ４０５を備える。処理とは、ビデオ信号内の輝度に基づくだけでなく、さらに、携帯デバイス４０９においてビデオが観視されている場のアンビエント照明に基づいて、ビデオ内のコントラストを強調することである。処理装置４０３にはさらに、メタデータの他の項目による別のオーディオ及び／又はビデオ品質向上処理や、例えば背景雑音等の他の環境量による別のオーディオ及び／又はビデオ品質向上処理が含まれていてもよい。

ある実施形態では、信号処理ブロック４０３には、プロセッサと、本発明のいくつかの実施形態による方法ステップを実行する命令で構成されるプログラム論理を備える記憶デバイスとが含まれる。

＜雑音補償の実施形態例＞
図５に、メディアデータにオーディオデータが含まれ、無線携帯デバイス５１１付近にあるデバイス５２１の少なくとも１つのセンサ５２３によって測定される少なくとも１つの環境量を、無線デバイス５１１の環境付近の音響雑音プロファイルの指標として用いる装置の実施形態の簡略ブロック図を示す。品質向上処理は上流の処理ブロック５０３内で実行され、品質向上処理にはデバイス５２１によって生成されるメタデータ及び環境雑音量を用いた雑音補償が含まれる。この雑音補償の詳細は後述する。ある実施形態では、雑音補償に、１つ以上のラウドネスレベルパラメータ、及び音響雑音プロファイルの指標となる１つ以上の環境量を用いて、オーディオデータから変更パラメータを生成することが含まれる。変更パラメータは、「知覚領域」と呼ばれるものにおいて情報に対する操作を実行することによって生成される。雑音補償には、変更パラメータに基づいてオーディオデータを変更し、携帯デバイス５１１に無線で送られる処理済みオーディオデータを生成することが含まれる。例として、ラウドネスレベルパラメータには：オーディオ雑音補償スイッチがオンか否か、資源制約デバイスのための参照レベル、所望の再現レベル、及び／又は雑音補償の量のうちの１つ以上が含まれる。ある変更例では、オーディオデータの処理には、オーディオデータに適用されるＡＧＣ、ダイナミックレンジ圧縮及び／又はダイナミックイコライゼーションのうちの１つ以上がさらに含まれる。図５に、送られる可能性があるメタデータ及び環境量のいくつかの典型的な値を示す。環境量には雑音パワーの推定値が含まれ、例えばいくつかの帯域の組合せにおける雑音の大きさが環境量となる。これらの環境量は、含まれるマイクロホン５２３からの入力を受け取るデバイス５２１内に含まれるプロセッサによって決められる。１つの実施形態では、２０個の雑音スペクトル強度値を決め、使用する。別の実施形態では、４０個の雑音スペクトル強度値を使用する。均一化及び雑音補償の経験がある当業者は、２０個ないし４０個の周波数帯域内で均一化及び雑音補償を実行すれば、現在の処理能力に基づいた良好な結果が得られることを見いだしている。当然、技術が進歩するに従い、より多くのスペクトル帯域が用いられるようになる可能性があろうし、上流の処理までもいくらか制約される何らかの状況では、より少ない周波数帯域、及び従ってスペクトル雑音値が用いられるだけですむようになる可能性があろう。このメタデータ及び環境量は、オーディオ雑音補償を実施する容量及び能力を有する上流の信号処理システム５０３、例えば雑音補償処理ブロック５０５を備えるシステム５０３によって受け取られる。

通例、環境量はオーディオデータの周波数レンジよりもはるかに低い頻度で、例えば１秒ごとにおよそ１セットの頻度で測定され提供される。

ある実施形態では、信号処理ブロック５０３には、プロセッサと、本発明のいくつかの実施形態による方法ステップを実行する命令で構成されるプログラム論理を備える記憶デバイスとが含まれる。

１つの実施形態では、ラウドネスに基づく雑音補償では、雑音補償処理が含まれる上流での信号処理において、例えば携帯デバイス等のクライアントデバイスにストリーミングするオーディオデータを処理するために必要な情報が、以下のメタデータパラメータ及び環境情報により提供される。ある実施形態において用いられる単位、及びいくつかの典型的な値を例示する：
パラメータ１：雑音補償オン／オフ（０または１）
パラメータ２：携帯デバイス参照再現レベル（７５ｄＢ）
パラメータ３：目標再現レベル（−２０ｄＢ）
パラメータ４：雑音スペクトル推定値、例えば、１秒につきおよそ１回送られる２０ないし４０個の雑音スペクトル強度値。
パラメータ５：雑音補償の量（１〜１０）

図４及び図５は、図１Ｃの一般構造を有する種々の実施形態によって実行されることができる、ありうるオーディオデータ品質向上信号処理及び／又はビデオデータ品質向上信号処理のほんの数例を示しているだけであることは当業者には明らかであろう。

＜知覚領域における処理のさらなる詳細＞
本発明はオーディオメディアデータのいずれの特定の形式の品質向上処理にも限定されるものではない。しかし、本発明の実施形態の有利な利用をはっきり示すために、雑音補償−本願明細書において知覚領域と呼ばれる、同様に知覚ラウドネス領域または単純にラウドネス領域とも呼ばれるものにおいて行われるオーディオ品質向上信号処理方法の一例が本セクションにおいて記載される。品質向上信号処理において、知覚されるラウドネスの指標を知覚領域において求め用いることが知られている。例えば、オーディオ信号の、知覚されるラウドネスを算出し調節する方法、装置及びコンピュータプログラム（ＭＥＴＨＯＤ，ＡＰＰＡＲＡＴＵＳ，ＡＮＤ ＣＯＭＰＵＴＥＲ ＰＲＯＧＲＡＭ ＦＯＲ ＣＡＬＣＵＬＡＴＩＮＧ ＡＮＤ ＡＤＪＵＳＴＩＮＧ ＴＨＥ ＰＥＲＣＥＩＶＥＤ ＬＯＵＤＮＥＳＳ ＯＦ ＡＮ ＡＵＤＩＯ ＳＩＧＮＡＬ）と題され、国際公開第２００４１１１９９４号として公開されている国際特許出願ＰＣＴ／ＵＳ２００４／０１６９６４号、ならびにオーディオ信号の、知覚されるラウドネス及び／又は知覚されるスペクトルバランスの算出及び調節（ＣＡＬＣＵＬＡＴＩＮＧ ＡＮＤ ＡＤＪＵＳＴＩＮＧ ＴＨＥ ＰＥＲＣＥＩＶＥＤ ＬＯＵＤＮＥＳＳ ＡＮＤ／ＯＲ ＴＨＥ ＰＥＲＣＥＩＶＥＤ ＳＰＥＣＴＲＡＬ ＢＡＬＡＮＣＥ ＯＦ ＡＮ ＡＵＤＩＯ ＳＩＧＮＡＬ）と題され、国際公開第２００６０４７６００号として公開されている国際特許出願ＰＣＴ／ＵＳ２００５／０３８５７９号を参照されたい。オーディオ信号の、知覚されるラウドネス及び／又は知覚されるスペクトルバランスの算出及び調節（ＣＡＬＣＵＬＡＴＩＮＧ ＡＮＤ ＡＤＪＵＳＴＩＮＧ ＴＨＥ ＰＥＲＣＥＩＶＥＤ ＬＯＵＤＮＥＳＳ ＡＮＤ／ＯＲ ＴＨＥ ＰＥＲＣＥＩＶＥＤ ＳＰＥＣＴＲＡＬ ＢＡＬＡＮＣＥ ＯＦ ＡＮ ＡＵＤＩＯ ＳＩＧＮＡＬ）と題され、国際公開第２００７１２０４５３号として公開されている国際特許出願ＰＣＴ／ＵＳ２００７５／００７９４６号も参照されたい。これらの出願の各々はアメリカ合衆国を指定国とする。上記の公報、国際公開第２００４１１１９９４号、国際公開第２００６０４７６００号及び国際公開第２００７１２０４５３号の各々の内容は本願明細書において参照により援用されている。アラン・ゼーフェルト：『ラウドネス領域信号処理（Ｌｏｕｄｎｅｓｓ Ｄｏｍａｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）』、論文第７１８０号、議事録、オーディオ技術者協会（Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ）第１２３回大会、ニューヨーク、ニューヨーク州、アメリカ合衆国、２００７年、５−８も参照されたい。本願明細書において記載されているオーディオ品質向上信号処理方法のいくつかの詳細が上記の公開特許出願及び公開論文内にある。

品質向上信号処理方法には、知覚ラウドネス領域において実行された計算から変更パラメータを求め、変更パラメータに従ってオーディオメディアデータを変更することが含まれる。知覚ラウドネス領域において変更パラメータを求めれば、このような変更パラメータを電気信号領域で導出した場合よりも、知覚ラウドネス及び知覚されるスペクトルのバランスのよい制御を達成できる可能性がある。加えて、ラウドネス領域での計算を実施する際に、基底膜を模擬する音響心理学的フィルタバンクまたはその同等物を利用すると、電気信号領域において変更パラメータを導出する機構よりも、知覚されるスペクトルを詳細に制御することができる可能性がある。

オーディオメディアデータが、指定された参照レベルで再現されるように期待されていることがしばしばある。しかし、多くの場合、メディアデータは、低下されたレベルで再生される。再現レベルに応じてオーディオの知覚に変化があることが知られている。このような変化は心理音響学ならびに等ラウドネス曲線及び静音における最小可聴域値に関連する。再生レベルが変更されると、参照レベルで再生される同じメディアデータと比べたとき、オーディオの音色及び空間的知覚に劇的な違いをもたらすことができる。本発明のいくつかの実施形態の品質向上信号処理には、オーディオ信号の中の知覚されるラウドネスを、改良された方法で求めて調節することが含まれる。オーディオ信号のラウドネスの指標を知覚単位で算出するために、音響心理学的モデルを用いる。このような知覚領域ラウドネスの指標は特定ラウドネスと呼ばれ、周波数及び時間の関数としての知覚ラウドネスの指標である。１つの例として、知覚領域において求められるパラメータを用いた音量制御方法に、信号処理方法を用いて広帯域乗算ゲインを計算することが含まれ、広帯域乗算ゲインは、オーディオに適用されたとき、参照ラウドネスと実質的に同じになるゲイン変更されたオーディオのラウドネスを生じさせる。ゲインの調節方法には、再生レベルに応じてオーディオを分析して変更し、それを参照再生レベルで知覚されるような状態に復元する信号処理方法が含まれる。これは、画像化、明瞭度、及びオーディオメディアデータの可聴性の向上をもたらすことが見いだされている。さらなる詳細が後に提示される。

＜音量均一化（任意にダイナミックレンジ制御及び／又は自動ゲイン制御を用いる）としての雑音補償＞
雑音補償は雑音存在下での（及び雑音を考慮に入れた）音量均一化の一例である。音量均一化はラウドネス均一化及びラウドネス補償均一化とも呼ばれ、とりわけ、特定ラウドネスと目標特定ラウドネスとの間の差を縮小するためにオーディオ信号を変更することによって、オーディオ信号の特定ラウドネスの制御に利用できる情報を導出することも含まれる。実用的な実施では、変更済みオーディオ信号の特定ラウドネスは、目標特定ラウドネスを近似するように作られればよい。近似は、通常の信号処理の考慮だけでなく、変更において用いられる場合がある時間及び／又は周波数平滑化によって影響を受ける場合がある。方法には、オーディオ信号の特定ラウドネスの形でオーディオ信号の知覚ラウドネスを求め、オーディオ信号を変更するためにオーディオ信号の複数の帯域に適用すべきマルチバンドゲインを求めることが含まれる。ある実施形態では、オーディオメディアデータの知覚されるラウドネスの一貫性が保たれるように、信号の変更ではオーディオにマルチバンドゲインの変更を動的に適用する。こうしたものがオーディオシステムの音量制御と併せて用いられると、音量コントローラは変容され、増幅部に送られているオーディオ信号レベルを制御する電気抵抗器をエミュレートするものではもはやなくなる。その代わり、音量コントローラは均一化方法への入力を提供し、ユーザの所望の知覚されるラウドネス再現レベルを示すものとなる。

＜雑音補償−雑音干渉の存在下における均一化＞
多くのオーディオ再生環境では、聴取者が聴きたいオーディオに干渉する背景雑音が存在する。例えば、動いている自動車の車内にいる聴取者が、搭載されているステレオシステムを通じて音楽をかけている場合があり、エンジン及び道路からの雑音が音楽の知覚を著しく変化させる場合がある。特に、音楽のエネルギーに対して雑音のエネルギーが相当あるスペクトルの部分については、音楽の知覚されるラウドネスは減じられてしまう。雑音のレベルが十分大きければ、音楽は完全にマスキングされてしまう。本発明のいくつかの実施形態における品質向上信号処理には、オーディオ再生環境内で干渉する背景雑音を補償する方法が含まれる。オーディオの部分特定ラウドネスは、雑音等の二次的干渉音声信号の存在下におけるオーディオの知覚ラウドネスとして定義される。いくつかの実施形態における信号処理には、部分特定ラウドネスと目標特定ラウドネスとの間の差を縮小するためにオーディオ信号を変更することによって、オーディオ信号の部分特定ラウドネスの制御に利用できる情報を求めることが含まれる。そのようにすることで、知覚的に正確な様式で雑音の効果が軽減される。

＜自動ゲイン制御またはダイナミックレンジ圧縮を用いた雑音補償＞
雑音の存在下における均一化を用いて、再現されるオーディオの、知覚されるラウドネスをユーザの所望のラウドネスレベルに一致するように変更するために用いる変更情報を求めることができる。これを用いて自動ゲイン制御及び／又はダイナミックレンジ圧縮を達成することができる。自動ゲイン制御及びダイナミックレンジ圧縮を達成する均一化の詳細は後述する。

＜ダイナミックイコライゼーション（Ｄｙｎａｍｉｃ Ｅｑｕａｌｉｚａｔｉｏｎ、ＤＥＱ）＞
雑音の存在下における単純な均一化とは異なり、オーディオをユーザの所望の知覚ラウドネスレベルに一致するように変化させる代わりに、ダイナミックイコライゼーションはオーディオを、プリセットの又はユーザが定義するイコライゼーションまたはスペクトルバランスプロファイルに一致するように変化させる。特定ラウドネスは、周波数及び時間の関数としてのオーディオ信号の知覚ラウドネスの指標であるので、オーディオ信号の特定ラウドネスと目標特定ラウドネスとの間の差を縮小するために、変更はオーディオ信号を周波数の関数として変更すればよい。場合によっては、目標特定ラウドネスは時間的に不変である場合があり、オーディオ信号自体は定常状態の時間的に不変な信号である場合があるが、通例、変更はオーディオ信号を時間の関数として変更してもよい。時間且つ周波数変化するスケールファクタの場合、特定ラウドネスは、所望のスペクトル形状の指標の、オーディオ信号のスペクトル形状の指標に対する比によってスケーリングされればよい。このようなスケーリングを用いて、オーディオ信号の、知覚されるスペクトルを、時間変化する知覚されるスペクトルから、実質的に時間的に不変の知覚されるスペクトルに変換すればよい。特定ラウドネスが、所望のスペクトル形状の指標の、オーディオ信号のスペクトル形状の指標に対する比によってスケーリングされる場合、このようなスケーリングはダイナミックイコライザとして利用できる場合がある。

雑音補償等の、均一化を含む知覚領域処理の場合、受信される検知環境量には、資源制約デバイスの環境に近い環境の音響雑音プロファイルを示す１つ以上のパラメータが含まれる。メタデータには１つ以上のラウドネス均一化パラメータが含まれる。メディアデータの処理には、オーディオデータに適用されるダイナミックレンジ圧縮及び／又はイコライゼーションを場合により含む雑音補償が含まれる。雑音補償には、ラウドネスレベルパラメータのうちの１つ以上、及び音響雑音プロファイルの１つ以上のパラメータを用いてオーディオデータから変更パラメータを生成し、変更パラメータに基づきオーディオデータを変更し処理済みオーディオデータを生成することが含まれる。変更パラメータは、知覚ラウドネス領域において情報に対して操作を実行することによって生成される。１つ以上のラウドネスレベルパラメータには、参照再現レベル、所望の再現レベル及び／又は均一化の量のうちの１つ以上が含まれる。

特定の実施形態では、受信される検知環境量には、資源制約デバイスの環境内の音響雑音プロファイルを示す１つ以上のパラメータが含まれる。オーディオデータに適用される雑音補償は、（ａ）資源制約デバイスの環境内の音響雑音プロファイルを示すパラメータを少なくとも１つ含む、受信される検知環境量のうちの１つ以上、及び（ｂ）オーディオ雑音補償スイッチがオンか否か、などの１つ以上のパラメータ、資源制約デバイスのための参照レベル、ならびに／あるいは所望の再現レベル及び雑音補償の量などの１つ以上の処理パラメータ、に基づく。

＜知覚領域ベースの品質向上処理のさらに詳細な概説＞
以下の記載全体を通じ、「フィルタ」または「フィルタバンク」等の用語には、無限インパルス応答（ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ、ＩＩＲ）フィルタまたは変換、ならびに有限インパルス応答（ｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ、ＦＩＲ）フィルタ等の、本質的に任意の形の再帰型及び非再帰型フィルタリングが含まれる。「フィルタリングされた」情報とは、このようなフィルタまたはフィルタ群を適用することの結果を意味する。後述する実施形態は、変換によって実行されるフィルタバンクを用いるものである。

上述のように、本発明の実施形態に含むことができる知覚ラウドネス領域におけるオーディオ品質向上信号処理の操作には、雑音干渉の存在下における均一化などの雑音補償が含まれる。このような雑音補償はダイナミックレンジ制御または自動ゲイン制御、ならびに／あるいはダイナミックイコライゼーション（ＤＥＱ）と好都合に組み合わせられる可能性があろう。

このような実施形態には、オーディオ信号の特定ラウドネス、及び資源制約デバイスの場所に近い場所から送られる環境量に基づいた雑音の特定ラウドネスを求めることが含まれる。品質向上信号処理には、資源制限デバイスから離れて設置されているが、資源制限デバイスの環境内の雑音の指標とするためには十分近くにある１つ以上のセンサから雑音の指標を受信し、さらに、部分特定ラウドネスと目標特定ラウドネスとの間の差を縮小するべくオーディオ信号を変更することによって、オーディオ信号の部分特定ラウドネスを制御することが含まれる。品質向上信号処理には、１つ以上のプロセス及び１つ以上のプロセス制御パラメータに従ってオーディオ信号またはその指標を処理することによってオーディオ信号を処理し、目標特定ラウドネスを有する信号を作成することが含まれていてもよい。

目標特定ラウドネスはオーディオ信号の関数であるか、またはオーディオ信号の関数ではない場合がある。後者の場合、目標特定ラウドネスは、記憶された目標特定ラウドネス、またはパラメータとして受信される目標特定ラウドネスであるか、あるいは受信されたパラメータから求められればよい。このような場合、変更または導出は特定ラウドネスまたは部分特定ラウドネスを陽的または陰的に算出すればよい。陰的算出の例として、ルックアップテーブル、あるいは特定ラウドネス及び／又は部分特定ラウドネスが本質的に求められる数式の計算によることが挙げられる。

＜フィードフォワード機構＞
図６Ａ〜図６Ｄに、フィードフォワード機構を用いて部分特定ラウドネスを目標特定ラウドネスに近づけるべく、オーディオ信号を変更して変更済みオーディオを生成する品質向上信号処理のいくつかの実施形態を表す機能ブロック図を示す。特に、図６Ａは、オーディオ信号６１１が、２つの経路：１つ以上の変更パラメータ６１９に応答してオーディオ信号６１１を変更するように構成されるプロセスまたはデバイスを１つ以上有する信号変更経路６０１、並びに変更パラメータ６１９を生成するように構成されたパラメータ生成制御経路６０２を有するパラメータ生成制御経路、に印加されるフィードフォワードトポロジを示す。図６Ａのフィードフォワードトポロジの例における信号変更経路６０１は、オーディオ信号、例えばその振幅を、パラメータ生成制御経路６０２から受信される変更パラメータ６１９に従って周波数変化及び／又は時間変化するような態様で変更することができるデバイスまたはプロセスであればよい。１つの実施形態では、パラメータ生成制御経路６０２の少なくとも一部は、知覚ラウドネス領域において動作する。一方、信号変更経路６０１は電気信号領域において動作し、変更済みオーディオ信号６１５を作成する。

信号変更経路６０１及びパラメータ生成制御経路６０２は、特定ラウドネスと目標特定ラウドネス６２３との間の差を縮小するべくオーディオ信号を変更するように構成される。

１つの実施形態では、信号変更経路６０１及びパラメータ生成制御経路６０２の各々は、前処理操作またはデバイスによって予め処理された信号を処理する。このため、図６Ａでは、前処理済みオーディオ６１３を作成する前処理機能ブロック６０３を例示している。

図６Ａのフィードフォワードの例では、パラメータ生成制御経路６０２はいくつかのプロセス及び／又はデバイスを備えるものであればよい：図６Ａに示す例では、パラメータ生成制御経路６０２には、オーディオ信号６１１、またはオーディオ信号の指標に応答して、及び前処理済みオーディオ信号６１３に応答してオーディオ信号の特定ラウドネス６１７を算出するように構成された１つ以上のプロセス及び／又はデバイスを備え、特定ラウドネスを算出するブロック６０５が含まれる。パラメータ生成制御経路６０２には変更パラメータを算出するブロック６０７が含まれる。変更パラメータを算出するブロック６０７は、特定ラウドネスまたは励振６１７、目標特定ラウドネス６２３、雑音等の二次的干渉オーディオ信号６２１による励振や特定ラウドネスに応答して、変更パラメータを算出する。従って、変更パラメータを算出するブロック６０７は、入力としてこのような二次的干渉オーディオ信号の指標を受信するか、または二次的干渉信号そのものを入力の１つとして受信する。本願明細書において後に、ならびに国際公開第２００６０４７６００号及び国際公開第２００７１２０４５３号においてさらに詳細に記載されているように、二次的干渉信号の指標はその励振とすればよい。図６Ａに示す変更パラメータを算出するブロック６０７への干渉信号の指標または信号そのものの印加によって、適切に構成されたプロセスまたはデバイスにより、雑音補償を達成するべく干渉信号を考慮に入れた変更パラメータ６１９を算出することができる。

図６Ａのフィードフォワードの例では、部分特定ラウドネスが陽的に算出されない。図６Ａの、変更パラメータを算出するブロック６０７が、変更済みオーディオの部分特定ラウドネスに、目標特定ラウドネス６２３を近似させるのに適当な変更パラメータを算出する。フィードバック及びハイブリッド構成では、部分特定ラウドネスも算出される場合がある。

ある実施形態では、図６Ｂに示すように、制御経路６０２の変更パラメータを算出するブロック６０７の目標特定ラウドネスは、一般にはオーディオ信号またはその指標、ならびに図示の実施形態では前処理済みオーディオ信号６１３に応答して目標特定ラウドネス６２３を算出するように構成されるプロセスまたはデバイスを１つ以上備える目標特定ラウドネスブロック６３１によって求められる。この目標特定ラウドネスを算出するブロック６３１は、各々が関数パラメータを有する１つ以上の関数「Ｆ」を実施する。例えばブロック６３１はオーディオ信号の特定ラウドネスを算出し、次に、それに１つ以上の関数Ｆを適用して目標特定ラウドネス６２３を提供すればよい。このため図６Ａに、目標特定ラウドネスを算出するブロック６３１への「関数及び／又は関数パラメータ」入力６３３を概略的に図示している。

ある実施形態では、図６Ｃに示すように、目標特定ラウドネス６２３は模式的に示す記憶要素６３５から提供され、パラメータ生成制御経路６０２内に含まれるか、または関連付けられる。

さらに、図６Ｄに示すように、ある実施形態では、目標特定ラウドネス６２３はプロセスまたはデバイス全体の外部のソースによって提供される。

従って、変更パラメータ６１９は、少なくとも一部が知覚（音響心理学的）ラウドネス領域における算出に基づく。

図６Ａの例におけるプロセスまたはデバイス６０５及び６０７、ならびに図６Ｂにおける６３１によって実施される算出は、陽的及び／又は陰的に実施されればよい。陰的実施の例としては、（１）項目の全部または一部が特定ラウドネス及び／又は目標特定ラウドネス６２３ならびに／あるいは変更パラメータの算出に基づくルックアップテーブルと、（２）本質的に全てまたは一部が特定ラウドネス及び／又は目標特定ラウドネス６２３ならびに／あるいは変更パラメータに基づく閉じた数式とが挙げられる。

図６Ａ及び図６Ｂの例の算出ブロック６０５、６０７及び６３１は模式的に示されており、さらに別個のもののように記載されているが、これは単に説明の目的のためでしかない。これらのプロセスまたはデバイスのうちの或るものまたは全てが、単一のプロセスまたはデバイス内で組み合わせられるか、あるいは複数のプロセスまたはデバイス内で様々に組み合わせられてよいことは理解されよう。

目標特定ラウドネスはオーディオ信号の特定ラウドネス等のオーディオ信号の指標のスケーリングであればよい。例えば、国際公開第２００６０４７６００号及び国際公開第２００７１２０４５３号に詳細に記載されているように、スケーリングは特定ラウドネスの下記のスケーリングの１つまたはその組み合わせであればよい。ここでｂは周波数の指標、例えば前処理６０３が入力信号を複数の周波数帯域に分離する場合の帯域数を示し、ｔは時間の指標を示し、

は目標特定ラウドネス６２３を示し、Ｎ［ｂ，ｔ］はオーディオ信号６１１の特定ラウドネス６１７を示す。

（ａ）時間且つ周波数変化スケールファクタΞ［ｂ，ｔ］による、次の関係にあるような、特定ラウドネスのスケーリング：

（ｂ）時間変化、周波数不変スケールファクタΦ［ｔ］による、次の関係にあるような、特定ラウドネスのスケーリング：

（ｃ）時間不変、周波数変化スケールファクタΘ［ｂ］による、次の関係にあるような、特定ラウドネスのスケーリング：

（ｄ）時間不変、周波数不変のスケールファクタαによる、次の関係にあるような、オーディオ信号の特定ラウドネスのスケーリング：

と示される目標特定ラウドネス６２３は、ゆえにオーディオ信号またはオーディオ信号の指標の組み合わせでＦによって示される１つ以上の関数として表されればよく、特定ラウドネスＮ［ｂ，ｔ］をオーディオ信号の１つのありうる指標とすれば、次のようになる：

関数または関数群Ｆが可逆的であるならば、未変更オーディオ信号６１１の特定ラウドネスＮ［ｂ，ｔ］は目標特定ラウドネス６２３の逆関数または関数群Ｆ^−１（Ｎ［ｂ，ｔ］）として算出されてよい。

図６Ａにフィードフォワード機構を示しているが、逆関数または関数群Ｆ^−１（ ）が算出されるフィードバック及びハイブリッドフィードフォワード／フィードバック機構を用いることも知られている。例えば、国際公開第２００６０４７６００号及び国際公開第２００７１２０４５３号を参照されたい。しかし、解説を簡潔にするために、本願明細書においてはフィードフォワード構成のみを記載する。

ルックアップテーブル、閉じた数式、または何らかの他の技法のいずれを用いるにせよ、パラメータ生成制御経路６０２の操作は、たとえ特定ラウドネス及び目標特定ラウドネス６２３が陽的に算出されない場合があっても、算出は知覚（音響心理学的）ラウドネス領域を拠点とするものである。陽的な特定ラウドネスがあるか、又は概念的、陰的な特定ラウドネスがあるかのいずれかがある。同様に、陽的な目標特定ラウドネス６２３があるか、又は概念的、陰的な目標特定ラウドネス６２３があるかのいずれかがある。いずれの場合でも、変更パラメータの算出は、特定ラウドネスと目標特定ラウドネス６２３との間の差を縮小するべくオーディオ信号を変更する変更パラメータを生成することを追求するものである。

変更パラメータ６１９は、信号変更経路６０１によってオーディオ信号（または前処理済みオーディオ信号）に適用されると、結果として生じる変更済みオーディオの部分特定ラウドネスと目標特定ラウドネス６２３との間の差を縮小する。理想的には、変更済みオーディオ信号６１５の部分特定ラウドネスは目標特定ラウドネス６２３をよく近似するかまたはそれと同じになる。

ある実施形態では、前処理は、例えばフィルタバンクを用いて、オーディオ信号を複数の周波数帯域に分離する。このような実施形態では、変更パラメータ６１９は、後により詳細に記載される例におけるように、６０３内でフィルタバンクから導出される周波数帯域に適用される時間変化ゲインファクタの形をとればよい。代替の実施形態では、変更パラメータ６１９は時間変化フィルタの係数に適用される。それに応じて、図６Ａの例において、信号変更経路６０１は、例えば或る周波数帯域内で各々動作する複数の振幅スケーラ、または時間変化フィルタ、例えばマルチタップＦＩＲフィルタまたは多極ＩＩＲフィルタとして実装されればよい。

特定ラウドネスまたは部分特定ラウドネスを求める際に重要または不可欠というものではないが、ある実施形態では、特定ラウドネスを算出するブロック６０５において、上述の国際公開第２００４／１１１９６４号において説明されている技法であって、算出が、２つ以上の特定ラウドネスモデル関数のグループから、特定ラウドネスモデル関数のうちの１つまたはその２つ以上の組み合わせを選択し、その選択は入力オーディオ信号の特性の指標によって制御される、技法を用いるものがある。

本発明のさらなる態様によれば、未変更オーディオ信号６１１、ならびに（１）変更パラメータ６１９または（２）目標特定ラウドネス６２３もしくは目標特定ラウドネス６２３の表現、例えば、目標特定ラウドネス６２３を陽的または陰的に算出する際に利用可能なスケールファクタのうちのいずれかは、例えば時間的及び／又は空間的に分離したデバイスまたはプロセスにおける利用のために、記憶されるかまたは送信されればよい。変更パラメータ、目標特定ラウドネス６２３、または目標特定ラウドネス６２３の表現は任意の適切な方法で求められればよい。実際には、図６Ａの例におけるもの等のフィードフォワード機構が最も複雑さが低く且つ最も高速である。なぜなら、それは変更済みオーディオ信号６１５に基づいた算出を避けるからである。

図７に、前処理において入力オーディオを周波数帯域群に分離するフィードフォワード機構を備える本発明の態様の一実施形態例の詳細を示す。実際の実施形態では、オーディオの処理はデジタル領域において実行され、従って、アナログ信号のサンプリング及びデジタル化が実行される。このような詳細は本記載からは外されているが、当業者には明らかであろう。

オーディオ６１１はまず、オーディオ信号を複数の周波数帯域に分割する分析フィルタバンク関数またはデバイス７０３に通される。これは本実施形態例での前処理６０３である。図７における太線は複数の信号を示しており、従って各々は分析フィルタバンク７０３からの周波数帯域である複数の出力である。これらの周波数帯域の各々は、図示されている様々な処理ステップを受け、合成フィルタバンク７２３に至り、合成フィルタバンク７２３は帯域を結合広帯域信号に合計して変更済みオーディオ信号６１５を生成する。

分析フィルタバンク７０３内の各周波数帯域に関連付けられるフィルタの応答は、人間の内耳内の基底膜の特定の場所における応答を模擬するように設計される。ある実施形態では、分析フィルタバンク７０３には、等価矩形帯域幅（ｅｑｕｉｖａｌｅｎｔ ｒｅｃｔａｎｇｕｌａｒ ｂａｎｄｗｉｄｔｈ、ＥＲＢ）の周波数スケール上で帯域幅及び間隔が一定である線形フィルタのセットが含まれる。

分析フィルタバンク７０３は、短時間離散フーリエ変換（短時間ＤＦＴ、ＳＴＤＦＴ）または変形離散コサイン変換（変形ＤＣＴ、ＭＤＣＴ）を用いることによって効率的に実行されればよい。ＳＴＤＦＴまたはＭＤＣＴは合成フィルタバンク７２３の実行に同様に用いられればよい。

分析フィルタバンク７０３内の各フィルタの出力は次に、人間の外耳及び中耳を通じたオーディオの伝導のフィルタリング効果を模擬するように設計される伝導フィルタ関数またはデバイス７０５内に進む。

入力オーディオ信号のラウドネスを計算するために、分析フィルタバンク７０３の各フィルタ内の、伝導フィルタ７０５の適用後のオーディオ信号の短時間エネルギーの指標が得られる。この時間且つ周波数変化指標は励振と呼ばれ、Ｅ［ｂ，ｔ］と示される。ここで、ｂは周波数帯域を示し、ｔは時間を示す。励振を得るために、伝導フィルタ７０５の出力は次に励振関数またはデバイス７０７内に進む。励振関数またはデバイス７０７の出力は、人間の耳の基底膜に沿ったエネルギーの分布を模擬するように設計される。所望の効果に応じて、励振エネルギー値は、処理の所望の効果の要求に従って設定される時間定数を有するように設計される平滑化関数またはデバイス７０９によって、時間にわたって平滑化されればよい。励振関数７０７の出力は、ｂと示されるそれぞれのＥＲＢ帯域内の、ｔと示される時間当たりのＥと示されるエネルギーの周波数領域表現である。

特定ラウドネス関数またはデバイス７１１が、平滑化された励振信号を特定ラウドネス（ｓｐｅｃｉｆｉｃ ｌｏｕｄｎｅｓｓ、ＳＬ）に変換する。特定ラウドネスは、例えば、単位周波数当たりのソーン単位、例えば、ＥＲＢ当たりのソーン、で表現されればよい。特定ラウドネスから、全体または総合ラウドネスは、全帯域ｂにわたる特定ラウドネスの合計となることに留意されたい。特定ラウドネス関数７１１の設計には、楽音及び雑音についてのラウドネスの増大に関する実験データに一致するように選定される、狭帯域及び広帯域の推定値のためのゲインを求めることが含まれる。さらに、特定ラウドネス関数７１１は、励振が最小可聴域値にあるときは特定ラウドネスがゼロの代わりに或る小さな値となるように、及び励振がゼロまで減少するにつれて特定ラウドネスがゼロまで単調減少するように設計される。励振Ｅ［ｂ，ｔ］の、Ｎ［ｂ，ｔ］と示される特定ラウドネスへの変換は、本願明細書においてΨ｛・｝によって示される関数によるものであり、従って、特定ラウドネスはＮ［ｂ，ｔ］＝Ψ｛Ｅ［ｂ，ｔ］｝となる。

処理の特定の所望の効果または効果群に応じて、周波数帯域に関連付けられる特定ラウドネス成分は、目標特定ラウドネスを生成する特定ラウドネス変更関数、またはデバイス７１３に送られる。図６Ｂを参照して、上述のように、ある実施形態ではその目標特定ラウドネスは、処理の所望の効果に従う、入力オーディオの特定ラウドネスの関数である。目標特定ラウドネスは、例えば音量制御のスケールファクタを用いて算出することができる。自動ゲイン制御（ａｕｔｏｍａｔｉｃ ｇａｉｎ ｃｏｎｔｒｏｌ、ＡＧＣ）の場合、またはダイナミックレンジ制御（ｄｙｎａｍｉｃ ｒａｎｇｅ ｃｏｎｔｒｏｌ、ＤＲＣ）の場合については、所望の出力ラウドネスの、入力ラウドネスに対する比を用いて目標特定ラウドネスを算出すればよい。１つの実施形態でには、全ての帯域についてＤＲＣを実施する代わりに、１つの帯域から次の帯域へ適用されるＤＲＣの量が急激に変化しないように、Ｎ［ｂ，ｔ］で表される特定ラウドネスを帯域にわたって実施し平滑化する。

ダイナミックイコライゼーション（ＤＥＱ）の場合は、流れているオーディオのスペクトルを考慮した関係を用いて目標特定ラウドネスを算出する。具体的には、信号のスペクトルを測定し、次に信号を動的に変更して、測定されたスペクトルを、ＥＱ［ｂ］と呼ばれ、帯域ｂにわたって規定される基本的に静的な所望の形状に変換する。オーディオ信号のスペクトル形状はＬ［ｂ，ｔ］によって表され、１つの実施形態では、Ｎ［ｂ，ｔ］と示される特定ラウドネスの、時間にわたる平滑化として求められる。マルチバンドＤＲＣと同様に、ＤＥＱ変更が１つの帯域から次へ急激に変化してほしくない場合があるため、帯域平滑化されたスペクトルを生成するために帯域平滑化関数を適用する。オーディオの元のダイナミックレンジを保存するために、所望のスペクトルＥＱ［ｂ］は、Ｌ［ｂ，ｔ］によって与えられる測定スペクトル形状と同じ全体ラウドネスを有するように正規化されなければならない。１つの実施形態では、パラメータ、例えば値０がＤＥＱ無しを示すものとして、適用されるＤＥＱの量を表す０から１まで変化するパラメータが指定される。従って、ＳＬ変更７１３は各帯域とは独立に動作する場合もあるし、あるいは帯域同士の間または帯域群の中に相互依存性が存在する場合もある。

この実施形態には、ブロック７０３、７０５、７０７及び７０９の操作に対応する方法での、分析フィルタバンク７３３、伝導フィルタ７３５、励振７３７及び平滑化７３９による雑音励振の測定も含まれる。雑音励振は、平滑化７０９からのオーディオの励振及びＳＬ変更７１３からの目標特定ラウドネスとともに、ゲインソルバ６３１に送られる。

平滑器７０９からの平滑化された励振周波数帯域成分、平滑器７３９からの平滑化された励振周波数帯域成分、及びＳＬ変更７１３からの目標特定ラウドネス６２３をその入力として取り込むゲインソルバ関数またはデバイス７１５が、求められた部分特定ラウドネスを目標特定ラウドネス６２３に変換するために、各帯域に適用する必要があるゲインを求めるように構成される。求められるゲインは一般的に周波数且つ時間変化ゲインであり、そこれらのゲインがオーディオ入力及び雑音の元の励振に適用されると、理想的には所望の目標特定ラウドネスに等しい部分特定ラウドネスを生じさせ、実際には部分特定ラウドネスと目標特定ラウドネスとの間の差を縮小するためにオーディオ信号を変更する結果となる。ゲインソルバ５１５は様々な方法で実行されればよい。閉じた計算が可能な場合は、それが適用される。テーブル索引が可能な場合は、そのようなテーブル索引が用いられてもよい。１つの実施形態では、ゲインソルバは、反復ごとにゲインの現在の推定値を用いて部分特定ラウドネスが評価される反復プロセスを含むものであればよい。結果として生じる部分特定ラウドネスは所望の目標と比較され、ゲインは誤差に基づいて反復的に更新される。このような反復的方法は、国際公開第２００４１１１９６４号として公開されている上述の国際特許出願において開示されている。特定ラウドネス及び目標特定ラウドネスの陽的または陰的いずれかの計算を通じて変更パラメータを計算する他の方法が考案されてもよく、本発明はそのような方法を全て範囲に含むことを意図している。

ゲインソルバ７１５によって生成された帯域当たりのゲインは、知覚アーチファクトを最小限に抑えるために任意の平滑化関数またはデバイス７１９によって時間にわたってさらに平滑化される。代替的に、時間的平滑化がプロセスまたはデバイス全体内の他所で適用されることが有利である場合がある。

最後に、ゲインソルバ７１５によって求められたゲインは、各乗算結合関数または結合器７２１を通じてそれぞれの帯域に適用される。乗算結合関数または結合器７２１は、ゲインを分析フィルタバンクからの遅延された出力に適用する。分析フィルタバンクからの出力はゲイン計算に関連付けられる任意のレイテンシを補償するように構成されたデバイス７２５又は適切な遅延関数によって遅延されている。

変更済みオーディオ６１５は、合成フィルタバンク関数またはデバイス７２３内のゲイン変更された帯域から合成される。上述のように、分析フィルタバンク７０３は短時間ＤＦＴまたは変形ＤＣＴを利用することによって効率的に実行されればよく、ＳＴＤＦＴまたはＭＤＣＴは合成フィルタバンク７２３の実行に同様に用いられればよい。各帯域の合成フィルタは、分析フィルタバンク７０３内で用いられるフィルタ、及び遅延７２５の遅延から決定される。

あるいは、周波数帯域におけるゲイン変更を行うために利用するゲインを算出する代わりに、ゲインソルバ７１５はマルチタップＦＩＲフィルタまたは多極ＩＩＲフィルタ等の時間変化フィルタを制御するフィルタ係数を算出してもよいことに留意されたい。説明を簡潔にするために、本発明の態様では、主に周波数帯域に適用されるゲインファクタを用いる場合について説明しているが、実際の実施形態ではフィルタ係数及び時間変化フィルタが用いられてもよいことは理解されよう。

雑音補償のために、Ｇ［ｂ，ｔ］で表されるゲインソルバからのゲインは、干渉雑音の存在下における処理済みオーディオの特定ラウドネスが目標特定ラウドネスに等しいか、又はそれに近くなる。この効果を得るためには、部分ラウドネスのコンセプトを用いればよい。Ｅ_Ｎ［ｂ，ｔ］は雑音からの励振を表し、Ｅ_Ａ［ｂ，ｔ］は雑音のないオーディオからの励振を表す。オーディオ及び雑音の結合特定ラウドネスは次式によって与えられる。
Ｎ_Ｔｏｔ［ｂ，ｔ］＝Ψ｛Ｅ_Ａ［ｂ，ｔ］＋Ｅ_Ｎ［ｂ，ｔ］｝
ここで、再び、Ψ｛・｝は励振から特定ラウドネスへの変換を示す。聴取者の聴覚が、結合特定ラウドネスを、結合特定ラウドネスを保存する様式で、オーディオの部分特定ラウドネスと雑音の部分特定ラウドネスとの間で仕切ると仮定してよい。ここで、Ｎ_Ａ［ｂ，ｔ］と表されるオーディオの部分特定ラウドネスが、制御したい値であり、従ってこの値について解かなければならない。国際公開第２００６０４７６００号及び国際公開第２００７１２０４５３号が、Ｅ_Ｎ［ｂ，ｔ］、Ｎ_Ｔｏｔ［ｂ，ｔ］、雑音の存在下におけるマスキングされた閾値、及び静音における、帯域ｂにおける最小可聴域値から雑音の部分特定ラウドネスがどのように近似されればよいかを記載しており、オーディオの励振が雑音のマスク閾値に等しいとき、オーディオの部分特定ラウドネスは、静音における閾値にある信号のラウドネスに等しく、オーディオの励振が雑音のものよりもはるかに大きいとき、オーディオの特定ラウドネスは、雑音がないとした場合のものに大体等しいという特性を持つ、オーディオの部分特定ラウドネスＮ_Ａ［ｂ，ｔ］のための式に達することができる。換言すると、オーディオが雑音よりもはるかに大きくなると、雑音はオーディオによってマスキングされる。式には、雑音内の楽音のラウドネスに関するデータに信号対雑音比の関数としてぴったり合うように経験的に選定されることができる指数値が含まれる。雑音のマスキングされた閾値は、雑音励振自身の関数として近似されればよい。

雑音補償の場合、変更されたゲインソルバを用いて、雑音の存在下における処理済みオーディオの部分特定ラウドネスが目標特定ラウドネスに等しいかまたはそれに近くなるようにゲインＧ［ｂ，ｔ］を算出する。

最も基本的な動作モードでは、図７におけるＳＬ変更７１３は目標特定ラウドネスをオーディオＮ［ｂ，ｔ］の元の特定ラウドネスに単に等しく設定すればよい。換言すると、ＳＬの変更は、周波数不変のスケールファクタによるオーディオ信号の特定ラウドネスのスケーリングを提供する。図７の機構等を用いて、雑音の存在下における処理済みオーディオの知覚されるラウドネススペクトルが、雑音の不在下におけるオーディオのラウドネススペクトルに等しくなるようにしてゲインを算出する。さらに、音量制御、ＡＧＣ、ＤＲＣ及びＤＥＱを含む目標特定ラウドネスを元のものの関数として計算する上述の技法のうちの任意の１つまたはそれらの組み合わせを、雑音補償ラウドネス変更システムと併せて用いてもよい。

実際の実施形態では、雑音の測定は、オーディオが再生される場になる環境内またはその付近に設けられるマイクロホンから得られればよい。本発明の１つの態様では、雑音の測定は、再生用資源制約デバイスではなく、信号処理が行われるシステム内のネットワーク要素に結合されたセンサによって行われる。

図６Ａ〜４Ｂを図７と比較すると、前処理ブロック６０３は分析フィルタバンク７０３によって実行され、オーディオの変更は遅延７２５、ゲイン乗算７２１及び合成フィルタバンクの組み合わせによって実行される。特定ラウドネスを算出するブロック６０５は伝導フィルタ７０５、励振７０７、平滑化７０９及び特定ラウドネス関数７１１の組み合わせによって実行される。変更パラメータの算出はゲインＧ（ｂ，ｔ）を算出し、雑音補償がない場合はゲインソルバ７１５によって、任意に平滑化７１９と組み合わせて実行される、ならびに、ゲインソルバ７１５によって、分析フィルタバンク７３３、伝導フィルタ７３５、励振７３７、平滑化７３９及び特定ラウドネス関数６１１と組み合わせて、及び任意に平滑化７１９と組み合わせて実行される。種々の適用例において、図６Ｂに示す目標特定ラウドネスの算出６３１は、特定ラウドネス変更ブロック７１３によって実行される。

雑音補償が、場合により音量制御、ＡＧＣ、ダイナミックレンジ制御及び／又はダイナミックイコライゼーションのうちの１つ以上とともに、本願明細書においてある程度詳しく記載されているが、これは、本発明が限定される信号処理の形式を限定することを意味されるものでは決してない。本発明は、メディアデータをレンダリングするべくあるいは処理及びレンダリングするべく資源制約デバイスによって利用可能な処理済み出力を生成するために、資源制限デバイスの環境に関連するが資源制限デバイスからは離れて得られる情報を用いた処理に十分な資源が１つ以上利用可能なネットワーク要素において上流で有利に実行されることができる、メディアデータに対する信号処理操作に適用可能である。

上述の記載ならびに国際公開第２００４１１１９９４号及び国際公開第２００６０４７６００号は、特定ラウドネスを求めるいくつかの方法を記載しているが、特定ラウドネスを求めるための他の方法も知られていることに留意されたい。例えば、国際公開第２００７１２０４５３号を参照されたい。

１つの実施形態では、コンピュータ可読媒体が、プログラム論理、例えば、少なくとも１つのプロセッサによって実行されると本願明細書において記載されている方法の方法ステップのセットを実行させる命令のセット、を用いて構成される。

一般的な業界用語に従い、「基地局」、「アクセスポイント」及び「ＡＰ」の用語は、複数の他の電子デバイスと無線で且つ実質的に同時に通信することができる電子デバイスを表すために本願明細書において同義で用いられ、一方、「クライアント」、「移動デバイス」「携帯デバイス」及び「資源制約デバイス」の用語は、メディアデータをレンダリングする能力を有する複数の他の電子デバイスのいずれかを表すために同義で用いられる。ただし、本発明の範囲は、これらの用語で表されるデバイスに限定されるものではない。

本文書の文脈の中では、「無線」の用語及びその派生語は、非固体媒質を介する変調電磁放射線を利用してデータを通信すればよい回路、デバイス、システム、方法、技法、通信チャンネル等を記載するために用いられればよい。用語は、関連デバイスが線材を全く含まないことを含意するものではない。ただし、実施形態によっては全く含まない場合もある。

特に別に断らない限り、以下の説明から明らかなように、明細書全体を通じて「処理する」、「計算する」、「算出する」、「求める」または同様のもの等の用語を利用する説明が、コンピュータまたは計算システム、あるいは同様の電子計算デバイスの、電子量等の物理量として表現されるデータを、物理量として同様に表現される他のデータに加工及び／又は変換するアクション及び／又はプロセスを指すことは理解されよう。

同様に、「プロセッサ」の用語は、例えばレジスタ及び／又はメモリなどからの電子データを処理し、その電子データを例えばレジスタ及び／又はメモリなどの中に記憶されればよい他の電子データに変換する任意のデバイスまたはデバイスの部分を指すものであればよい。「コンピュータ」あるいは「計算機」または「計算プラットフォーム」とはプロセッサを少なくとも１つ含むものであればよい。

いくつかの要素、例えばいくつかのステップを含む方法が記載されるとき、特に断らない限り、このような要素の順序付け、例えばステップの順序付け、は含意されていないことに留意されたい。

本願明細書において記載されている手法は、１つの実施形態では、１つ以上のコンピュータ可読媒体上で具体化されるコンピュータ実行可能（機械実行可能とも呼ばれる）プログラム論理を受け取る１つ以上のプロセッサによって実施可能である。プログラム論理は、プロセッサのうちの１つ以上によって実行されると本願明細書において記載されている方法のうちの少なくとも１つを実行する命令のセットを含む。取るべきアクションを指定する命令のセット（順次または他の形式）を実行する能力がある任意のプロセッサが含まれる。従って、１つの例は、１つのプロセッサまたはそれを超えるプロセッサを含む典型的な処理システムである。各プロセッサはＣＰＵ、グラフィックス処理ユニット及びプログラム可能ＤＳＰユニットのうちの１つ以上を含むものであればよい。処理システムはメインＲＡＭ及び／又はスタティックＲＡＭ、ならびに／あるいはＲＯＭを含むメモリサブシステムを含む記憶サブシステムをさらに含んでよい。記憶サブシステムは他の記憶デバイスを１つ以上さらに含んでよい。コンポーネント同士の間の通信のためにバスサブシステムが含まれればよい。処理システムはさらに、ネットワークによって結合されるプロセッサを備える分散処理システムであってもよい。処理システムがディスプレイを必要とする場合は、そのようなディスプレイ、例えば、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）または陰極線管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ、ＣＲＴ）ディスプレイ、が含まれればよい。手作業のデータ入力が必要とされる場合は、処理システムはキーボード等の英数字入力ユニット、マウス等のポインティング制御デバイスなどのうちの１つ以上等の入力デバイスも含む。本願明細書において用いられるような記憶デバイス、記憶サブシステム等のユニットの用語は、文脈から明らかである場合、及び明示的に別に断らない限り、ディスクドライブユニット等の記憶デバイスも包含する。一部の構成における処理システムは音声出力デバイス及びネットワークインターフェースデバイスを含んでよい。従って、記憶サブシステムは、１つ以上のプロセッサによって実行されると本願明細書において記載されている方法のうちの１つ以上を実施させる命令のセットを含むプログラム論理（例えばソフトウェア）を保持するコンピュータ可読媒体を含む。プログラム論理はハードディスク内にあってもよいし、あるいは処理システムによるその実行中はＲＡＭ内に及び／又はプロセッサ内に、完全にまたは少なくとも部分的に、あってもよい。従って、メモリ及びプロセッサも、プログラム論理が例えば命令の形でエンコードされるコンピュータ可読媒体の構成要素となる。

さらに、コンピュータ可読媒体がコンピュータプログラム製品を形成するかまたはその中に含まれてもよい。

代替の実施形態では、１つ以上のプロセッサは単独のデバイスとして動作するか、あるいは、他のプロセッサ（単数または複数）に接続される、例えば、ネットワーク配置内でネットワーク接続されてもよく、１つ以上のプロセッサはサーバ−クライアントネットワーク環境内のサーバもしくはクライアント機械の容量内で、またはピアツーピアまたは分散ネットワーク環境内のピアマシンとして動作すればよい。１つ以上のプロセッサは、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、ＰＣ）、タブレットＰＣ、セットトップボックス（ｓｅｔ−ｔｏｐ ｂｏｘ、ＳＴＢ）、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ 、ＰＤＡ）、携帯電話、ウェブ機器、ネットワークルータ、スイッチまたはブリッジ、あるいは当該機械によって取られるべきアクションを指定する命令のセット（順次または他の形式）を実行する能力がある任意の機械を形成するものであればよい。

いくつかの図（単数または複数）は単一のプロセッサ、及び命令を含む論理を保持する単一のメモリしか示していないが、当業者は、上述のコンポーネントは多数含まれるが、本発明の態様をわかりにくくしないようにするために明示的には示されていないまたは記載されていないことを理解しようことに留意されたい。例えば、単一の機械しか図示されていないが、「機械」の用語は、本願明細書において説明される手法のうちの任意の１つ以上を実施する命令のセット（または複数のセット）を個別にまたは合同で実行する機械の任意の集合を含むものとも見なされなければならない。

従って、本願明細書において記載されている方法の各々の１つの実施形態は、信号処理装置の一部である１つ以上のプロセッサなどの１つ以上のプロセッサの上での実行のためのコンピュータプログラムなどの命令のセットで構成されるコンピュータ可読媒体の形態とされている。従って、当業者によって理解されるように、本発明の実施形態は、方法、専用装置等の装置、データ処理システム等の装置、またはコンピュータ可読媒体、例えばコンピュータプログラム製品、として具体化されればよい。コンピュータ可読媒体は、１つ以上のプロセッサ上で実行されると方法ステップを実行させる命令のセットを含む論理を保持する。よって、本発明の態様は、方法、完全にハードウェアの実施形態、完全にソフトウェアの実施形態あるいはソフトウェア及びハードウェアの態様を組み合わせる実施形態の形をとってよい。さらに、本発明は、コンピュータ可読記憶媒体上のコンピュータプログラムなど、コンピュータ可読媒体などにあるプログラム論理、またはコンピュータプログラム製品などのコンピュータ可読プログラムコードで構成されるコンピュータ可読媒体の形をとってもよい。

コンピュータ可読媒体は実施形態例において単一の媒体であるように示されているが、「媒体」の用語は、命令のセットを１つ以上記憶する単一の媒体または複数の媒体（例えば集中または分散データベースならびに／あるいは関連キャッシュ及びサーバ）を含むものと見なされなければならない。「コンピュータ可読媒体」の用語は、プロセッサのうちの１つ以上のものによる実行用のものであって、本発明の手法のうちの任意の１つ以上のものの実行をさせる命令のセットを記憶、エンコードする能力があるかまたはさもなければそれで構成される任意のコンピュータ可読媒体を含むものとも見なされなければならない。コンピュータ可読媒体とは、不揮発性媒体及び揮発性媒体を含む、ただしそれらに限定されるものではない、多くの形態をとってよいものである。不揮発性媒体としては、例えば、光学、磁気ディスク及び磁気光学ディスクが挙げられる。揮発性媒体としては、主メモリ等のダイナミックメモリが挙げられる。

説明されている方法のステップは、１つの実施形態では、記憶内に記憶されている命令を実行する処理システム（例えばコンピュータシステム）の適当なプロセッサ（またはプロセッサ群）によって実施されることは理解されよう。本発明の実施形態はいかなる特定の実装またはプログラミング技法にも限定されるものではないこと、ならびに、本発明は、本願明細書において記載されている機能性を実行するための任意の適当な技法を用いて実行されればよいことも理解されよう。さらに、実施形態はいかなる特定のプログラミング言語またはオペレーティングシステムにも限定されるものではない。

本明細書全体を通じ、「１つの実施形態」または「一実施形態」への言及は、実施形態に関連して記載される特定の特徴、構造または特性が本発明の少なくとも１つの実施形態内に含まれることを意味する。従って、本明細書全体を通じた様々な箇所における「１つの実施形態」または「一実施形態」の語句の出現は、そういう場合もあるが、必ずしも全てが同じ実施形態に言及しているわけではない。さらに、特定の特徴、構造または特性は、本開示から当業者には明らかであろうように、１つ以上の実施形態内で任意の適切な様式で組み合わせられてよい。

同様に、本発明の実施形態例の上述の記載では、開示を簡素化し、種々の本発明の態様のうちの１つ以上のものの理解を助ける目的のために、本発明の種々の特徴が、単一の実施形態、図、またはその説明内にまとめられていることがあることを理解されたい。しかし、この開示方法は、請求されている発明が、各請求項において明示的に記載されているよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、添付の請求項が反映している通り、発明の態様は、先に開示されている単一の実施形態の全ての特徴よりも少ない特徴内に存する。それ故、発明を実施するための形態に続く請求項は、本願明細書によって、この発明を実施するための形態に明示的に組み込まれ、各請求項はそれ自体で本発明の独立した実施形態として存在する。

さらに、本願明細書において記載されているいくつかの実施形態は、他の実施形態内に含まれる特徴を一部含むものの他の特徴は含まないというふうになっているが、当業者によって理解されよう通り、異なる実施形態の特徴の組み合わせが本発明の範囲内にあるように意図され、異なる実施形態を形成する。例えば、添付の請求項では、請求されている実施形態のうちの任意のものが任意の組み合わせで用いられることができる。

さらに、実施形態のうちのいくつかは、本願明細書において、コンピュータシステムのプロセッサによってまたはその機能を実行する他の手段によって実行されることができる方法、または方法の要素の組み合わせとして記載されている。従って、このような方法、または方法の要素を実行するために必要な命令を備えたプロセッサが、方法、または方法の要素を実行する手段を形成する。さらに、本願明細書において記載されている、装置実施形態の要素が、本発明を実行する目的のために要素によって実施される機能を実行する手段の例である。

本願明細書において提供されている記載では、数多くの具体的詳細が説明されている。しかし、これらの具体的詳細を用いずに本発明の実施形態が実施されてもよいことは理解されよう。他の例では、本記載の理解を曖昧にしないようにするために、周知の方法、構造及び技法が詳細に示されていない。

本願明細書において用いられるように、別に指定されない限り、共通の物を記述するための、順序を示す形容詞「第１の」、「第２の」、「第３の」等の使用は、同様の物の異なる例が言及されていることを単に示すだけのものであり、そのように記述されている物が、時間的に、空間的に、順位において、または任意の他の様式のいずれかによって、所与の順序になっていなければならないことを示唆するように意図されるものではない。

本明細書における、従来技術のいかなる説明も、このような従来技術が周知のものであること、公知のものであること、または本分野における一般知識の一部を形成することの承認とは決して見なされてはならない。

添付の請求項及び本願明細書における記載では、〜を備える（ｃｏｍｐｒｉｓｉｎｇ）、〜が備えられる（ｃｏｍｐｒｉｓｅｄ ｏｆ）または〜を備える〜（ｗｈｉｃｈ ｃｏｍｐｒｉｓｅｓ）という用語はいずれも、後に続く要素／特徴を少なくとも含むが、その他を除外するものではないことを意味する非限定語（ｏｐｅｎ ｔｅｒｍ）である。それ故、〜を備える（ｃｏｍｐｒｉｓｉｎｇ）の用語は、請求項において用いられる場合、その後に列挙される手段または要素あるいはステップに限定するものとして解釈されてはならない。例えば、Ａ及びＢを備えるデバイスという表現の範囲は、要素Ａ及びＢのみから成るデバイスに限定されてはならない。本願明細書において用いられているような、〜を含む（ｉｎｃｌｕｄｉｎｇ）あるいは〜を含む〜（ｗｈｉｃｈ ｉｎｃｌｕｄｅｓ）または〜を含む〜（ｔｈａｔ ｉｎｃｌｕｄｅｓ）という用語もいずれも、用語の後に続く要素／特徴を少なくとも含むが、その他を除外するものではないことを同様に意味する非限定語である。従って、〜を含む（ｉｎｃｌｕｄｉｎｇ）は〜を備える（ｃｏｍｐｒｉｓｉｎｇ）と同義でありそれを意味するものである。

同様に、結合される（ｃｏｕｐｌｅｄ）という用語は、請求項において用いられる場合、直接的な接続のみに限定するものとして解釈されてはならないことに注意されたい。「結合される（ｃｏｕｐｌｅｄ）」及び「接続される（ｃｏｎｎｅｃｔｅｄ）」という用語、ならびにそれらの派生語が用いられる場合がある。これらの用語は互いに対する同義語として意図されるものではないことを理解されたい。従って、デバイスＢに結合されるデバイスＡという表現の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されるデバイスまたはシステムに限定されてはならない。それは、Ａの出力とＢの入力との間に、他のデバイスまたは手段を含む経路であってもよい経路が存在することを意味するものである。「結合される（Ｃｏｕｐｌｅｄ）」は２つ以上の要素が直接的な物理的接触または電気的接触のいずれかの接触をしていること、あるいは２つ以上の要素は互いに直接接触してはいないが、それでもなお、互いに協働または相互作用することを意味するものであればよい。

従って、本発明の好ましい実施形態と考えられるものが記載されているが、当業者は、本発明の精神から逸脱することなく他の及びさらなる変更がそれになされてよいこと、ならびに、このような変化及び変更は全て本発明の範囲内に入るものとして請求することが意図されていることを理解しよう。例えば、上述の式はいずれも、用いられればよい手続きの代表にすぎない。ブロック図から機能性が追加または削除されてもよいし、機能ブロック群の中で操作が入れ替えられてもよい。記載されている方法に本発明の範囲内でステップが追加または削除されてもよい。

Claims (14)

1. オーディオデータおよび／またはビデオデータを含むメディアデータを、品質向上処理を行うために処理ハードウェア（１１１、１４３）により処理する方法であって、前記メディアデータは無線ネットワーク（１０３、１２１）内の電池駆動式および／または計算処理能力が制限された無線メディアレンダリングデバイス（１２１）によるによるレンダリング用のメディアデータであり、前記方法は：
   ネットワークノード（１０３）において前記メディアデータを受信するステップと；
   前記メディアレンダリングデバイス（１２１）が無線で結合された前記ネットワークノード（１０３）において、前記メディアレンダリングデバイス（１２１）の中でも上でもなく、前記メディアレンダリングデバイスの近傍に設置された１つ以上のセンサ（１０９）が検知した１つ以上の検知環境量を受け取るステップであって、前記検知環境量が前記メディアレンダリングデバイス（１２１）の環境に関するものであるステップと；
   前記ネットワークノード（１０３）において、前記環境量を用いて前記メディアデータをデータ処理し処理済みデータを生成するステップと；
   前記処理済みデータをレンダリングのために前記メディアレンダリングデバイス（１２１）へ無線で送るステップと；を備え、
   前記メディアデータに含まれる任意のオーディオデータについて、前記１つ以上の環境量に、前記環境内の雑音の音響プロファイルの指標となる少なくとも１つの量が含まれ、前記データ処理に雑音補償が含まれ、及び／又は
   前記メディアレンダリングデバイスにストリーミングされる前記メディアデータ内に含まれる任意のビデオデータについて、前記１つ以上の環境量に、前記環境内の照明の指標となる１つ以上のパラメータが含まれ、ここで、前記メディアレンダリングデバイスは、前記ビデオデータとともに前記メディアレンダリングデバイスに送られる画像依存調節データに従って各々調節される位置依存性バックライト素子を有するフラットパネルディスプレイデバイスを備え、
   前記品質向上処理には、前記ビデオデータのコントラスト及び／または明るさを変更するステップが含まれ、
   前記ネットワークノードにおける前記データ処理に、前記環境内の照明の指標となる１つ以上のパラメータのうちの少なくとも１つによって前記画像依存調節データを生成するステップが含まれることを特徴とする、
   方法。
2. 前記ネットワークノードに無線ネットワークの基地局が含まれることを特徴とする、
   請求項１に記載の方法。
3. 前記処理済み出力に、前記メディアレンダリングデバイスによるレンダリング用の処理済みメディアデータが含まれることを特徴とする、
   請求項１に記載の方法。
4. 一部のメディアデータ処理が前記メディアレンダリングデバイスにおいて行われ、前記処理済み出力に、前記メディアレンダリングデバイスでのメディアデータ処理の際に前記メディアレンダリングデバイスによって用いられる補助データが含まれることを特徴とする、
   請求項１に記載の方法。
5. 前記メディアデータに：
   前記メディアレンダリングデバイスにストリーミングされるメディアデータ、または
   前記無線ネットワークを介して、前記メディアレンダリングデバイスを含む相方向通信の一部としての前記メディアレンダリングデバイスにインタラクティブにストリーミングされるメディアデータ、
   のうちの１つ以上が含まれることを特徴とする、
   請求項１から４のいずれか１項に記載の方法。
6. 前記メディアデータにオーディオデータが含まれ、
   前記１つ以上の環境量に、環境内の雑音の音響プロファイルの指標となる少なくとも１つの量が含まれ、
   前記品質向上処理に雑音補償が含まれることを特徴とする、
   請求項５に記載の方法。
7. 前記メディアデータにオーディオデータが含まれ、
   前記１つ以上の環境量に、環境内の雑音の音響プロファイルであって、前記雑音のスペクトル推定値を含む音響プロファイルの指標となる少なくとも１つの量が含まれ、
   前記メディアデータの前記品質向上処理に雑音補償が含まれ、前記雑音補償は：
   １つ以上のラウドネスレベルパラメータと音響雑音プロファイルの１つ以上のパラメータとを用いて前記オーディオデータから変更パラメータを生成するステップであって、前記変更パラメータを、知覚ラウドネス領域における情報に対して操作を実行することによって生成するステップと、
   前記変更パラメータに基づいて前記オーディオデータを変更して処理済みオーディオデータを生成するステップと、
   を備え、
   前記１つ以上のラウドネスレベルパラメータに：オーディオ雑音補償スイッチがオンか否か、前記メディアレンダリングデバイスの参照レベル、所望の再現レベル、及び／または雑音補償の量のうちの１つ以上が含まれることを特徴とする、
   請求項５に記載の方法。
8. 前記メディアデータの前記品質向上処理に、前記オーディオデータに適用される自動ゲイン制御、ダイナミックレンジ圧縮及び／又はイコライゼーションのうちの１つ以上が含まれることを特徴とする、
   請求項７に記載の方法。
9. 前記メディアデータに、前記メディアレンダリングデバイスにストリーミングされるメディアデータが含まれ、
   前記メディアデータにビデオデータが含まれ、
   前記１つ以上の環境量に、環境内の照明の指標となる少なくとも１つのパラメータが含まれ、
   前記品質向上処理に、前記環境内の照明の指標となるパラメータのうちの１つ以上によって前記ビデオデータのコントラスト及び／または明るさを変更するステップが含まれることを特徴とする、
   請求項５に記載の方法。
10. 前記メディアデータに、前記メディアレンダリングデバイスにストリーミングされるメディアデータが含まれ、
    前記メディアデータにビデオデータが含まれ、
    前記１つ以上の環境量に、環境内の照明の指標となる少なくとも１つのパラメータが含まれ、
    前記メディアレンダリングデバイスは、前記ビデオデータとともに前記メディアレンダリングデバイスに送られる画像依存調節データに従って各々調節される位置依存性バックライト素子を有するフラットパネルディスプレイデバイスを備え、
    前記品質向上処理に、前記ビデオデータのコントラスト及び／または明るさを変更するステップが含まれ、
    前記ネットワークノードにおける前記データ処理に、前記環境内の照明の指標となる１つ以上のパラメータのうちの少なくとも１つによって前記画像依存調節データを生成するステップが含まれることを特徴とする、
    請求項５に記載の方法。
11. 処理システムの少なくとも１のプロセッサにより読み取り可能なプログラムであって、前記処理システムの少なくとも１のプロセッサによって実行されたとき、請求項１から１０のいずれか１項に記載の方法を実行させることを特徴とするプログラム。
12. 処理システムの少なくとも１のプロセッサにより読み取り可能なプログラムの記録媒体であって、前記処理システムの少なくとも１のプロセッサによって実行されたとき、請求項１から１０のいずれか１項に記載の方法を実行させるプログラムが記録されていることを特徴とする記録媒体。
13. オーディオデータ及びビデオデータの少なくとも１以上を含むメディアデータの品質向上処理の少なくとも一部を実行するシステムであって、前記システムは：
    無線ネットワーク（１０３、１２１）内の電池駆動式及び/又は計算処理能力が制限された無線メディアレンダリングデバイス（１２１）に無線接続するように構成されるネットワークノード（１０３）と、
    前記メディアレンダリングデバイス（１２１）の中でも上でもなく、前記メディアレンダリングデバイスの近傍に設置されるセンサであって、前記ネットワークノードに接続されるかまたはその中にあり、前記メディアレンダリングデバイス（１２１）の前記環境に関する１つ以上の環境量を検知する１つ以上のセンサ（１０９）と；
    前記ネットワークノードに接続されるかまたはその中にある処理ハードウェアであって、
    前記メディアデータを受信する操作の際に前記１つ以上の環境量を受け取り、受け取った環境量の少なくとも一部を用いて処理済み出力を生成することによりメディアデータのデータ処理を実行して品質向上を達成し、前記処理済み出力を前記メディアレンダリングデバイスによるレンダリングのために前記メディアレンダリングデバイスに無線で送る処理ハードウェア（１１１、１４３）と；
    を備え、
    前記メディアデータに含まれる任意のオーディオデータについて、前記１つ以上の環境量に、前記環境内の雑音の音響プロファイルの指標となる少なくとも１つの量が含まれ、前記データ処理に雑音補償が含まれ、及び／又は
    前記メディアレンダリングデバイスにストリーミングされる前記メディアデータに含まれる任意のビデオデータについて、前記１つ以上の環境量に、前記環境内の照明の指標となる１つ以上のパラメータが含まれ、前記メディアレンダリングデバイスは、前記ビデオデータとともに前記メディアレンダリングデバイスに送られる画像依存調節データに従って各々調節される位置依存性バックライト素子を有するフラットパネルディスプレイデバイスを備え、前記品質向上処理には前記ビデオデータの前記コントラストおよび／または明るさを変更することが含まれ、前記ネットワークノードにおける前記データ処理に、照明の指標となる１つ以上のパラメータのうちの少なくとも１つによって前記画像依存調節データを生成することが含まれることを特徴とする、
    システム。
14. 請求項１から１０のいずれか１項に記載の方法を実行するように構成されたことを特徴とする、
    請求項１３に記載のシステム。

Images