JP6636642B2 - カスタム化／個人化頭部関連伝達関数を生成する方法 - Google Patents

Description

本開示は、一般に、捕捉された画像に基づいてカスタム化／個人化頭部関連伝達関数（ＨＲＴＦ）を生成する方法に関する。

正確な対話型３Ｄ空間オーディオレンダリングは、個人化頭部関連伝達関数（ＨＲＴＦ）を必要とする。

伝統的には、このような個人化ＨＲＴＦを取得するために、ユーザは、オーディオ信号が無響室内の異なる場所から放出される状態で、無響室内で約半時間の間、動かずに座っている必要がある。ユーザによって聴覚的に知覚されるオーディオ信号を捕捉するために、ユーザの耳内にマイクロフォンが配置される。また、無響室、オーディオ信号源、およびマイクロフォン応答などの要因を考慮する必要がある。このような応答はスプリアス応答と考えられることができ、ＨＲＴＦにその後に変換されることができる頭部関連インパルス応答（ＨＲＩＲ）を取得するために、このようなスプリアス応答を取り除く必要性がある場合がある。

従来技術の技法は、上記の手法を簡略化するために出現してきた。具体的には、無響室の必要性を取り除き、上述のスプリアス応答などの問題に対処することが望ましい。

１つのこのような従来技術の技法は、「P-HRTF: Efficient Personalized HRTF Computation for High-Fidelity Spatial Sound, Meshram et al. Proc. of IMAR 2014 (http://gamma.cs.unc.edu/HRTF/)」である。この従来技術の技法は、複数の写真から詳細な耳モデルを再構成し、音響シミュレーションを行ってＨＲＴＦを得る。高密度に捕捉された写真のセット（ＳＬＲキヤノン６０Ｄ ８ＭＰを用いて、推奨される１５度間隔で２０数枚の写真）、およびかなりの計算能力が必要になる。

他のこのような従来技術の技法は、「Selection of Head-Related Transfer Function through Ear Contour Matching for Personalized Binaural Rendering. POLITECNICO DI MILANO. Master of Science in Computer Engineering. Dalena Marco. Academic Year 2012/2013」である。この従来技術の技法は、耳および音響効果を物理的にモデル化する代わりに、既存のデータベースを用いた画像ベースのマッチングを行うことが可能となることができることを企図する。既存のデータベースは、対応するＨＲＴＦに関連付けられた画像（例えば写真）の集合を含むことができる。画像を所与として、対応するＨＲＴＦを取得するように、所与の画像に対するベストマッチ（既存のデータベース内の画像の集合と比べた）を見出すために、一般化ハフ変換が用いられることができる。

しかし上記で論じられた手法／技法は、計算能力の点から多くのリソースが必要になるであろうことが理解できる。さらに、上記で論じられた手法／技法は、ユーザフレンドリおよび／または効率的なやり方での個人化ＨＲＴＦの作成を容易にすることができない。
従って、上記の問題に対処する解決策をもたらすことが望ましい。

本開示の態様によれば、個人化頭部関連伝達関数（ＨＲＴＦ）を生成する方法が提供される。この方法は、
（１）ポータブルデバイスを用いて耳の画像を捕捉するステップと、
（２）捕捉された画像を自動スケーリングして、耳の物理的幾何形状を決定するステップと、
（３）決定された耳の物理的幾何形状に基づいて、個人化ＨＲＴＦを取得するステップと
を含むことができる。
本開示の実施形態は、下記の図面を参照して本明細書の以下で述べられる。

本開示の実施形態による、カメラを有するスマートフォンなどのポータブルデバイスを用いて捕捉された画像から、個人化／カスタム化頭部関連伝達関数（ＨＲＴＦ）を作成／生成する方法を示す図である。 本開示の実施形態による、複数のサンプルを用いてトレーニングされることができる、複数の制御点を有するアクティブ形状モデルを示す図である。 本開示の実施形態により、図２ａの複数のサンプルは、第１のサンプルおよび第２のサンプルを含むことができることを示す図である。 本開示の実施形態により、ユーザの耳の形状に適合された図２ａの制御点を示す図である。

本開示は、カメラを有するスマートフォンなどのポータブルデバイスを用いて捕捉された画像から、個人化／カスタム化頭部関連伝達関数（ＨＲＴＦ）を作成／生成する方法１００（図１を参照してさらに詳しく示されるような）に関する。本開示は、ハフ変換に関した従来技術の技法は、複数の写真からの詳細な耳モデルの再構成に関する従来技術の技法、および無響室の使用が関わる従来の手法と比べて、最も簡単であることを企図する。本開示はさらに、ユーザフレンドリおよび／または効率的なやり方で、個人化ＨＲＴＦの作成／生成を少なくとも容易にするように、ハフ変換に関した従来技術の技法をさらに簡略化する必要性を企図する。

図１を参照すると、本開示の実施形態による、個人化／カスタム化ＨＲＴＦを作成／生成する方法１００が示される。具体的には、個人化／カスタム化ＨＲＴＦは、ポータブルデバイスを用いて捕捉された画像から作成／生成されることができる。

方法１００は、画像捕捉ステップ１０２、基準決定ステップ１０４、分析ステップ１０６、および個人化ステップ１０８を含むことができる。

画像捕捉ステップ１０２において、画像捕捉デバイスを有するポータブルデバイスを用いて、耳の少なくとも１つの画像が捕捉されることができる。例えばポータブルデバイスは、カメラを有するスマートフォンに対応しることができる。

基準決定ステップ１０４において、捕捉された画像に対するスケールファクタが決定されることができる。スケールファクタは、手動測定に依存する必要なしに決定されることが好ましい。スケールファクタは、以下でさらに詳しく論じられるように、自動スケーリングのための基礎として用いられることができる。

一実施形態において、スケールファクタは、目の間隔（すなわち瞳孔間距離）に基づいて決定されることができる。別の実施形態において、スケールファクタは、平均の耳珠長さに基づいて決定されることができる。さらに別の実施形態において、スケールファクタは、画像捕捉デバイスのフォーカスポイントに基づいて決定されることができる。さらなる実施形態においてスケールファクタは、基準被写体（例えば名刺または缶）、および／または既知の焦点長さを有する深度カメラに基づいて決定されることができる。

目の間隔に基づくスケールファクタの決定に関して、ユーザは２つの画像を捕捉することができる。１つの画像は、ユーザの目が検出されることができる、ユーザが彼自身／彼女自身を撮った写真（例えばおおよそ腕の長さの半分だけ離れてポータブルデバイスで撮った自分撮り）とすることができる。もう１つの画像は、例えば第１の画像が捕捉された後に、ユーザに彼／彼女の頭部を回転させることによって撮られた、ユーザの１つの耳の写真とすることができる。具体的には、ユーザが、ユーザの目が検出されることができる、彼自身／彼女自身の自分撮り（すなわち第１の画像）を撮った後、ユーザは彼／彼女の頭部を回転して彼／彼女の耳の画像（すなわち、画像捕捉ステップ１０２において捕捉される上述の耳の画像に対応することができる第２の画像）を捕捉することができ、ポータブルデバイスは両方の画像のための位置に保持される（すなわち自分撮りが撮られたときのポータブルデバイスの位置は、第２の画像を捕捉するために維持される）。あるいは、走査時にポータブルデバイスとユーザの頭部との間の距離を実質的に一定に保ちながら、ポータブルデバイスを円弧に走査して（すなわち目から耳へ、または耳から目へ）、目と耳の両方の画像を捕捉することも可能である。例えば、ユーザの目が検出されることができる彼自身／彼女自身の自分撮り（すなわち第１の画像）を撮る間、ポータブルデバイスはユーザによって腕の長さにおいて保持することができ、自分撮りが撮られた後、ユーザは彼／彼女の耳の画像（すなわち第２の画像）を捕捉するために、ポータブルデバイスを彼／彼女の頭部の側方に、同じ腕の長さに（第１の画像が捕捉されたときに従って）保ちながら走査することができる。物理的な目の間隔は、成人に対して通常おおよそ６．５ｃｍであることが企図される（子供に対する目の間隔は異なることができることが理解されることができる）。従って、スケールファクタが導出されることができる。例えば、第１の画像に対して、２つの目の間の間隔は、画像的に５０画素とすることができる。従って、画像的に５０画素は、物理的分離における６．５ｃｍに対応しることができる（すなわち、５０画素は、例えば物理的寸法／測定値の観点では６．５ｃｍに対応しることができる）。５０画素：６．５ｃｍの画像寸法と物理的寸法の比（すなわち第１の画像に基づく）を用いて、耳の画像（すなわち第２の画像）を物理的寸法に換算することが可能となることができる。

平均の耳珠長さに基づくスケールファクタの決定に関して、耳珠長さは、異なる耳にわたって比較的一定していることが企図される。従って、耳珠長さは、目の間隔に関する前の議論に従って類似のやり方で基準として用いられることができる（すなわち既知／標準の耳珠長さに基づく、耳の画像から物理的寸法への換算）。

画像捕捉デバイスのフォーカスポイントに基づくスケールファクタの決定に関して、画像捕捉デバイス（例えばカメラ）は、オートフォーカス機能を有することができることが企図される。従って、ユーザが画像捕捉デバイスを用いて彼／彼女の耳の画像を捕捉するとき、画像捕捉デバイスは、ユーザの耳にオートフォーカスすることができる。オートフォーカスは、レンズから被写体（すなわちユーザの耳）までの距離に基づく。本開示はスケールファクタを決定するためには、レンズから耳までの距離と、焦点長さ（すなわちレンズの視野）とを知れば十分であることを企図する。

分析ステップ１０６において、耳の造作および幾何学的特性は、耳の画像に基づいて、アクティブ形状モデル（ＡＳＭ）を用いて検出されることができる。ＡＳＭ（１９９５年にＴｉｍ ＣｏｏｔｅｓおよびＣｈｒｉｓ Ｔａｙｌｏｒによって開発された）は、新たな画像内の被写体の例（例えば捕捉されたユーザの耳の画像）にフィットするように反復して変形し、形状は点分布モデル（ＰＤＭ）によって制約される、被写体の形状（例えば耳の形状）の分布モデルに対応することが一般に知られている。この点に関して耳甲介の長さ、耳珠の長さ、耳の幅および／または高さなどの画像ベースの幾何学的特性（例えば画素の観点での）は、ＰＤＭに従って変形されることができる制御点から抽出／決定されることができる。従って、制御点は、画像捕捉ステップ１０２において捕捉された画像（すなわち耳の画像）に基づいて、耳の形状に適合することができる。制御点は、後に図２を参照してさらに詳しく論じられる。

個人化ステップ１０８において、個人化ＨＲＴＦは、分析ステップ１０６で決定されたユーザの耳の画像ベースの幾何学的特性（例えば画素の観点での）と、基準決定ステップ１０４で決定されたスケーリングファクタとに基づいて導出／決定されることができる。これは、例示的シナリオに関連して後にさらに詳しく論じられる。

本開示は、ユーザの耳の物理的寸法が画像ベースの幾何学的特性（例えば画素の観点での）と、スケーリングファクタとに基づいて導出されることができることを企図する。このような物理的寸法は、個人化ＨＲＴＦを導出／決定するための基礎とすることができる。

さらに、本開示は、ユーザの耳の物理的幾何形状が分析ステップ１０６または個人化ステップ１０８において決定されることができることを企図する。

図２ａは、図１を参照して先に論じられた、複数の制御点を有するアクティブ形状モデル２００を示す。例えば、アクティブ形状モデル２００は、第１の制御点２００ａ、第２の制御点２００ｂ、第３の制御点２００ｃ、第４の制御点２００ｄ、および第５の制御点２００ｅを含むことができる。示されるように、アクティブ形状モデル２００は、耳の形状に対応することができる。具体的には、複数の制御点は、耳の形状に対応するように配置されることができる。アクティブ形状モデル２００は、複数のサンプルを用いたトレーニングに基づいて導出されることができる。サンプルは、複数の耳画像（すなわち２つ以上の耳の画像）に対応することができる。サンプルは、異なる対象から（すなわち異なる人々から）取得されることが好ましい。例えば、アクティブ形状モデル２００は、２０個の異なる対象（すなわち２０個の異なる耳）からトレーニングされることができる。例示的シナリオにおいて、アクティブ形状モデル２００は、サンプルのそれぞれにおいて、一貫したやり方で制御点を位置決めすることによって導出されることができる。

具体的には、図２ｂを参照して、図２ａで述べられた複数のサンプルは、第１のサンプル２０１ａおよび第２のサンプル２０１ｂを含みることができる。制御点のそれぞれは、耳のそれぞれの異なる場所に一貫して位置決めされることができる。例えば、制御点の１つ（例えばラベル１６）は、サンプル２０１ａ／２０１ｂのそれぞれに示される耳の１つの場所（例えば耳たぶ）に、一貫して位置決めされることができる。各制御点に対してそのようにすることによって、サンプルにわたって耳の実質的に同一の場所（例えば耳たぶ）に位置決めされる同じ制御点（例えばラベル１６）に基づいて、平均が取得されることができることが理解されることができる。従って、複数のサンプルを用いたトレーニングから、耳の平均の形状が導出されることができる。この点に関して、アクティブ形状モデル２００は、平均の耳（すなわち複数のサンプルを用いたトレーニングに基づく）を表す汎用テンプレートと、それの基礎をなすＰＤＭとに類似するものとなることができる。このような汎用テンプレートは、新たな画像（すなわち画像捕捉ステップ１０２で捕捉された新たな耳の画像）に対する反復した変形の基本となりることができる。さらに、基礎をなすＰＤＭは、同時に、アクティブ形状モデル２００をトレーニングするときに導出される。具体的には、新たな画像（すなわち画像捕捉ステップ１０２の間に捕捉される新たな耳の画像）に基づく、制御点の分布の反復した変形（すなわちアクティブ形状モデル２００に従った制御点の位置の偏位）の制限は、図２ｃを参照してさらに詳しく論じられるように、複数のサンプルを用いてトレーニングされたＰＤＭによって制約されることができる。

本開示の実施形態によれば、ポータブルデバイスは画面（図示せず）を含むことができ、アクティブ形状モデル２００の制御点は、画面に表示されるグラフィックスユーザインターフェース（ＧＵＩ）を通じて提示されることができる。示されるように、アクティブ形状モデル２００は、複数の制御点２００ａ／２００ｂ／２００ｃ／２００ｄ／２００ｅを含むことができる。

図２ｃは本開示の実施形態による、ユーザの耳の形状（すなわち画像捕捉ステップ１０２の間に捕捉される上述の耳の画像）に適合された、図２ａのアクティブ形状モデル２００を示す。

制御点は、図２ａで先に論じられた上述の新たな画像に対応することができる。１つの例示的応用例において、導出されたアクティブ形状モデル２００（すなわち先に論じられた複数のサンプルを用いたトレーニングに基づく）は、ポータブルデバイスの画面に表示されることができ、ポータブルデバイスを用いるユーザが、彼／彼女の耳の画像（すなわち新たな画像）を捕捉するようにポータブルデバイスを位置決めするときに、画面の少なくとも一部分は、ユーザの耳のリアルタイム画像２０２を表示することができる。リアルタイム画像２０２は、どのようにユーザがポータブルデバイスを位置決めするかに従って変化することができることが理解されることができる。従って、アクティブ形状モデル２００は、それに従って反復して変形することができる。すなわち、制御点（例えば第１から第５の制御点２００ａ／２００ｂ／２００ｃ／２００ｄ／２００ｅ）は、画面に表示されるユーザの耳の画像にマッチするように、反復して変化することができる。従って、例えば、制御点は、制御点がユーザの耳の画像に実質的に重なり合うように、位置において偏位することが視覚的に知覚されることができる。具体的には、図２ｂに示されるように、アクティブ形状モデル２００は、ユーザの耳の画像に実質的に重なり合うようになる。より具体的には、図２ａに示されるように、アクティブ形状モデル２００の制御点は、ユーザの耳の形状に適合することができる。従って、アクティブ形状モデル２００の制御点２００ａ／２００ｂ／２００ｃ／２００ｄ／２００ｅの位置は、ユーザの耳の形状の輪郭を描くように反復して変化されることができる（すなわちユーザの耳のリアルタイム画像２０２によって示されるように）。

画面に現在表示されている画像が捕捉のために適切かどうかを示すために、安定のインジケーション（例えば「ビープ音」などのオーディオフィードバックの形での）が提供されることができるのが好ましい。例えば、アクティブ形状モデル２００の制御点が、位置における変化を止めた（すなわち動きを停止した）とき、安定のインジケーションが提供されることができる。すなわち、アクティブ形状モデル２００は、ユーザの耳の形状に実質的に適合したと考えられることができる（すなわちユーザの耳のリアルタイム画像２０２に従って）。このようにして、何らかの形の「適合度」の測度が提供されることができることが理解されることができる。さらに、このようにして、画像捕捉ステップ１０２での画像捕捉のための準備において、ユーザがポータブルデバイスを位置決めするのに従って、ユーザの耳のリアルタイム検出を行うことも可能である。

さらに、本開示は、ユーザの耳に似た画像（すなわち実際にはユーザの耳の画像ではない）が捕捉される、「スプリアス」画像捕捉を避けるように、耳検出性能を改善することが望ましいことを企図する。

従って、本開示の実施形態によれば、ポータブルデバイスが適切に位置決めされたかどうかを示すために、さらなるフィードバック信号（すなわち上述の安定のインジケーションに加えて）が提供されることができる。一例において、ポータブルデバイスが適切に位置決めされたかどうかを示すために、ポータブルデバイスによって運ばれるジャイロスコープ／加速度計および／または磁気センサなどの運動センサからのフィードバック信号が提供されることができる。

あるいは、ポータブルデバイスによって運ばれる画像捕捉デバイスに関連付けられたフォーカス距離は、耳検出性能の改善に関連したパラメータとして用いられることができる。具体的にはポータブルデバイスによって運ばれる画像捕捉デバイスに関連付けられたフォーカス距離は、対象の被写体の、捕捉デバイスまでの距離を決定するために用いられることができる。本開示は耳（すなわち対象の被写体）と捕捉デバイスとの間の距離は実際には非常に近く（例えば約１０ｃｍ離れる）、それによりフォーカス距離がおよそ１０ｃｍのときにのみ、捕捉された画像（例えばカメラビデオストリーム）内の耳の存在を考慮する必要がある（例えば２から２０ｃｍまでのフォーカス距離のみが考慮される必要がある）ことを企図する。従って、１つの場合において、画像捕捉デバイスの焦点が例えば１．２メートルであるとき、その場合の画像捕捉デバイスによって捕捉されたカメラビデオストリームにおいて、対象の被写体は適切な耳画像に対応しないことが問題なく想定されることができる。

上記は本明細書の以下で、本開示の実施形態による例示的シナリオに基づく関連において示される。

１つの例示的シナリオにおいて、スマートフォンなどのポータブルデバイスは、ユーザが彼／彼女の耳の画像を捕捉するために用いられることができるカメラと、耳に関連するＡＳＭを提示するＧＵＩを表示することができる画面とを有する。ユーザは、前の考察に従って、ポータブルデバイスを用いて、スケーリングファクタを取得するように自分撮りを捕捉することができる。スケーリングファクタは、捕捉された耳の画像を自動スケーリングするための基礎として用いられることができる。

本開示の実施形態によればポータブルデバイスは、画面上にＧＵＩを提示し、捕捉されることになるユーザの耳の画像に対してアクティブ形状モデル２００の制御点を適合させることができる、ソフトウェアを含むことができる。具体的には、ポータブルデバイスは、捕捉されることになるユーザの耳の画像に従って、制御点がユーザの耳の形状に適合するように、アクティブ形状モデル２００を変形するように構成されることができるプロセッサを含むことができる。安定のインジケーションを受け取るとすぐに、ユーザは彼／彼女の耳の画像の捕捉に進むことができるのが好ましい（すなわち画像捕捉ステップ１０２において）。あるいは、ユーザの耳の画像は、安定のインジケーションの受け取りの後すぐに自動的に捕捉されることができる（例えばクイックレスポンスコードスキャンまたはバーコードスキャナと動作的に同様に）。従って、ユーザの耳の画像（好ましくは図２ｂに示されるように、アクティブ形状モデル２００がユーザの耳の画像に重なり合った状態で）が捕捉されることができる。分析ステップ１０６において、捕捉されたユーザの耳の画像に基づいて、ユーザの耳の画像ベースの幾何学的特性および／または造作が抽出／決定されることができる（例えば画素の観点で）。さらに、基準決定ステップ１０４の間に決定されることができるスケーリングファクタに基づいて、ユーザの耳の物理的幾何形状および／または造作を決定するように、捕捉されたユーザの耳の画像の自動スケーリングが行われることができる（例えば画素の観点での幾何学的特性および／または造作は、センチメートルの観点での物理的寸法に変換／換算されることができる）。

ユーザの耳の決定された物理的幾何形状および／または造作に基づいて（これは例えば分析ステップ１０６において、例えばプロセッサによって行われることができる）、このような物理的幾何形状および／または造作にマッチする／最も密接にマッチするＨＲＴＦを見出すために、個人化ステップ１０８において行われることができる探索が、ＨＲＴＦデータベース（例えばＨＲＴＦの集合／ライブラリを有するオンラインデータベース）内で行われることができる。このようにして、個人化ＨＲＴＦが作成／生成されることができる。ユーザの各耳（例えばユーザの左および右耳の両方）に対するＨＲＴＦを見出すことが望ましい場合、先に論じられた図１の方法１００が、それに従って適用されることができることが理解されることができる。各耳に対して見出されたＨＲＴＦ（例えば先に論じられた、ＨＲＴＦデータベース内で行われる探索に基づいて）は、同じでありることができるか、または異なりることができることが企図される。

あるいは、個人化ＨＲＴＦは、既存のＨＲＴＦ（例えばＨＲＴＦデータベース内で利用可能なＨＲＴＦ）に摂動を加えることによって、個人化ステップ１０８において作成／生成されることができる。既存のＨＲＴＦの摂動は、２つ以上の頭部関連インパルス応答（ＨＲＩＲ）を補間するやり方によるものとすることができる。具体的には、ユーザの耳の決定された物理的幾何形状および／または造作に基づいて、そのような物理的幾何形状および／または造作に最も密接にマッチする２つ以上のＨＲＩＲ（すなわちＨＲＩＲ−ＡおよびＨＲＩＲ−Ｂ）を見出すように、データベース（例えばＨＲＩＲの集合／ライブラリを有するオンラインデータベース）内で探索が行われることができる。補間されたＨＲＩＲ（すなわち「ＨＲＩＲ−Ｉｎｔｅｒｐｏｌａｔｅｄ」）を生成するように、見出されたＨＲＩＲのクロスフェードの処理が行われることができる。さらなるフーリエ変換の処理が行われ、ＨＲＴＦを導出することができる。個人化ＨＲＴＦは、補間されたＨＲＩＲに基づいて作成／生成されることができることが理解されることができる。クロスフェードに関連して、見出されたＨＲＩＲの各々に対するフェーディング係数は、距離（例えばユークリッドまたはマハラノビス距離）に反比例するものとすることができる。例えば、
ＨＲＩＲ−Ａ＝［ａ１，ａ２，ａ３，．．．ａ２５］；
ＨＲＩＲ−Ｂ＝［ｂ１，ｂ２，ｂ３，．．．ｂ２５］；
ＨＲＩＲ−Ｉｎｔｅｒｐｏｌａｔｅｄ＝［ａ１＊ｃ＋ｂ１＊（１−ｃ），．．．］、ただし「ｃ」は上述の距離を表し、０から１の範囲である。

他の代替形態において、ユーザの耳の決定された物理的幾何形状および／または造作に基づいて、ユーザの耳の３次元（３Ｄ）モデルが構築されることができる。構築された３Ｄモデルに基づいた３Ｄ幾何形状を用いて、個人化ＨＲＴＦを作成／生成するために、波動伝搬シミュレーション方法（例えば「Efficient and Accurate Sound Propagation Using Adaptive Rectangular Decomposition」 by Raghuvanshi N., Narain R., and Lin M.C. - IEEE Transactions on Visualization and Computer Graphics 2009）が用いられることができる。

従って、これを前提として、単にユーザが例えばスマートフォンを用いて彼／彼女の耳の画像を捕捉するやり方によって、個人化／カスタム化ＨＲＴＦを取得することが可能である。本開示は、ユーザフレンドリおよび／または効率的なやり方で、個人化ＨＲＴＦの作成／生成を容易にすることが理解できる。さらに個人化／カスタム化ＨＲＴＦはまた、リアルタイムで作成／生成されることができる。

上記のようにして、上記の欠点の少なくとも１つに対処するための、本開示の様々な実施形態が述べられた。このような実施形態は、添付の「特許請求の範囲」によって包含され、述べられた部分の特定の形または配置に限定されないことが意図され、および当業者には本開示に鑑みて数多くの変形および／または変更がなされることができ、これらも添付の「特許請求の範囲」によって包含されるよう意図されることが明らかであろう。

例えば、ＨＲＩＲを補間すること以外に、本開示はまた３Ｄモーフィング方法（例えば「Cross-Parameterization and Compatible Remeshing of 3D Models」 by Kraevoy V., Sheffer A., ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2004）を用いて、耳モデルをユーザの耳の造作／幾何形状にマッチするように補間することが可能であること、および音響シミュレーションを行って新たなＨＲＩＲを導出することを企図する。新たなＨＲＩＲはフーリエ変換されて、ＨＲＴＦを導出することができる。

他の例において、本開示は、ＨＲＴＦの質をさらに改善するために、ユーザの頭部の寸法を捕捉する可能性を企図する。具体的には、本開示は、頭部の寸法（頭部幅および奥行き）がＨＲＴＦ計算のために重要となることができることを企図する。本開示の実施形態によれば、正面および側面画像（すなわち先に論じられた「自分撮り」に関連して）の両方により、頭部寸法の捕捉が可能となることができる。あるいは、頭部検出器（ＡＳＭに基づくが代わりに頭部モデルを用いるもの）が、頭部寸法を捕捉するために用いられることができる。

Claims (19)

1. カスタム化ＨＲＴＦを生成することによってオーディオレンダリングを強化する方法であって、
   画像捕捉デバイスを用いて個人の少なくとも１つの耳の捕捉された画像を取得するステップであって、前記画像捕捉デバイスは、前記捕捉された画像の予備的バージョンである予備的画像を処理するように構成されるものであり、該ステップは、制御点に基づいて変形させて対象物に適合可能な形状モデルを、前記個人の少なくとも１つの耳の前記予備的画像及び前記捕捉された画像に適用し、前記個人の少なくとも１つの耳の前記予備的画像及び前記捕捉された画像に適合された形状モデルを得ることを含むステップと、
   前記個人の少なくとも１つの耳の捕捉された画像に適合された形状モデルの制御点から、前記個人の少なくとも１つの耳の画像ベースの特性を抽出するステップと、
   複数の個人に対して決定された複数のＨＲＴＦデータセットからカスタム化ＨＲＴＦデータセットを耳の画像ベースの特性に基づいて選択するように構成された選択プロセッサに、前記個人の少なくとも１つの耳の画像ベースの特性を提供するステップと
   を含む、方法。
2. 前記個人の少なくとも１つの耳の前記捕捉された画像に対応する耳の画像ベースの特性をスケーリングするステップをさらに含み、前記画像捕捉デバイスは、前記捕捉された画像の少なくとも前記予備的バージョンをディスプレイ画面に表示するように構成される、請求項１に記載の方法。
3. 捕捉された画像を取得するステップは、前記予備的画像の前記個人の少なくとも１つの耳に適合された形状モデルが受け入れられる許容範囲内であるときにユーザにアラインメントされたことのインジケーションを生成するように構成された前記画像捕捉デバイスの前記ディスプレイ画面にリアルタイムで重ね合わされる視覚的ガイドである、制御点テンプレートを生成するステップをさらに含む、請求項２に記載の方法。
4. 前記スケーリングは、前記捕捉された画像から、従来の寸法の基準被写体の少なくとも１つ；入力画像の焦点合わせに関連付けられた焦点距離データおよび焦点長さ；または前記入力画像における前記耳に対する耳珠長さ、を用いて行われる、請求項２に記載の方法。
5. 捕捉された画像を取得するステップは、耳の存在の決定、および前記形状モデルの変形の両方を組み合わせる検出ステップを含む、請求項１に記載の方法。
6. 前記形状モデルはアクティブ形状モデルであり、前記アクティブ形状モデルは前に少なくとも複数の個人の耳画像に対してトレーニングされている、請求項１に記載の方法。
7. 前記予備的画像は、前記耳の前記予備的画像にマッチするように前記形状モデルを変形することによって反復して処理された、いくつかの予備的画像の１つである、請求項１に記載の方法。
8. 前記複数のＨＲＴＦデータセットからの前記カスタム化ＨＲＴＦデータセットは、抽出された前記画像ベースの特性の、前記複数のＨＲＴＦデータセット内の前記ＨＲＴＦデータセットのそれぞれに関連付けられた対応する画像ベースの特性に最も近くマッチングすることに基づいて選択される、請求項１に記載の方法。
9. いくつかのＨＲＴＦデータセットが、前記複数のＨＲＴＦデータセットから、画像ベースの特性の１つまたは複数を突き合わせることによって選択され、前記カスタム化ＨＲＴＦは、前記いくつかのＨＲＴＦデータセットの少なくとも１つに関する補間または摂動の１つによって生成され、ならびに前記画像ベースの特性は、制御点距離、制御点円弧、制御点角度、制御点幾何学的関係、耳甲介長さ、耳の幅、耳の高さ、前記耳の全体的な物理的寸法、および前記耳の３次元表示の１つまたは複数を含む、請求項１に記載の方法。
10. カスタム化ＨＲＴＦを処理するための処理デバイスであって、
    画像処理デバイスを備え、前記画像処理デバイスは、
    個人の少なくとも１つの耳の捕捉された画像を取得し、および前記捕捉された画像の予備的バージョンである少なくとも１つの予備的画像を処理し、
    制御点に基づいて変形させて対象物に適合可能な形状モデルを、前記個人の少なくとも１つの耳の前記予備的画像および前記捕捉された画像に適用することによって、前記個人の少なくとも１つの耳の前記予備的画像および前記捕捉された画像に適合された形状モデルを得て、
    前記個人の少なくとも１つの耳の捕捉された画像に適合された形状モデルの制御点から、前記個人の少なくとも１つの耳の画像ベースの特性を抽出し、および
    複数の個人に対して決定された複数のＨＲＴＦデータセットからカスタム化ＨＲＴＦデータセットを耳の画像ベースの特性に基づいて選択するように構成された選択プロセッサに、抽出された前記個人の少なくとも１つの耳の画像ベースの特性を提供する
    ように構成される、処理デバイス。
11. 前記画像処理デバイスは、前記個人の少なくとも１つの耳の前記捕捉された画像に対応する耳の画像ベースの特性をスケーリングするようにさらに構成され、およびユーザに前記予備的画像を表示するためのディスプレイ画面をさらに備え、前記捕捉された画像を取得することは、前記予備的画像の前記個人の少なくとも１つの耳に適合された形状モデルが受け入れられる許容範囲内であるときに前記ユーザにアラインメントされたことのインジケーションを生成するように構成された前記画像処理デバイスの前記ディスプレイ画面に、アラインメントを補助するためにリアルタイムで重ね合わされる視覚的ガイドである、制御点テンプレートを生成することをさらに含む、請求項１０に記載の処理デバイス。
12. 前記スケーリングは、前記捕捉された画像から、従来の寸法の基準被写体の少なくとも１つ；前記捕捉された画像の焦点合わせに関連付けられた焦点距離データ；または前記捕捉された画像における前記耳に対する耳珠長さ、を用いて行われる、請求項１１に記載の処理デバイス。
13. 前記複数のＨＲＴＦデータセットからの前記カスタム化ＨＲＴＦデータセットは、抽出された前記画像ベースの特性の、前記複数のＨＲＴＦデータセット内の前記ＨＲＴＦデータセットのそれぞれに関連付けられた前記画像ベースの特性に最も近くマッチングすることに基づいて選択される、請求項１１に記載の処理デバイス。
14. 前記形状モデルはアクティブ形状モデルであり、前記アクティブ形状モデルは前に少なくとも複数の個人の画像に対してトレーニングされている、請求項１１に記載の処理デバイス。
15. いくつかのＨＲＴＦデータセットが、前記複数のＨＲＴＦデータセットから、画像ベースの特性の１つまたは複数を突き合わせることによって選択され、前記カスタム化ＨＲＴＦは、前記いくつかのＨＲＴＦデータセットの少なくとも１つに関する補間または摂動の１つによって生成され、ならびに前記画像ベースの特性は、制御点距離、制御点円弧、制御点角度、制御点幾何学的関係、耳甲介長さ、耳の幅、耳の高さ、前記耳の全体的な物理的寸法、および前記耳の３次元表示の１つまたは複数を含む、請求項１１に記載の処理デバイス。
16. カスタム化ＨＲＴＦを生成するためのシステムであって、
    個人の少なくとも１つの耳の捕捉された画像を取得するように、および前記捕捉された画像の予備的バージョンである予備的画像を処理するように構成される画像処理デバイスと、
    デバイスプロセッサであって、
    前記予備的画像内の、制御点に基づいて変形させて対象物に適合可能な形状モデルを、前記個人の少なくとも１つの耳の前記予備的画像および前記捕捉された画像に適用することによって、前記個人の少なくとも１つの耳の前記予備的画像および前記捕捉された画像に適合された形状モデルを得ること、および前記個人の少なくとも１つの耳の捕捉された画像に適合された形状モデルの制御点から前記個人の少なくとも１つの耳の画像ベースの特性を抽出することを行うように構成された、デバイスプロセッサと、
    抽出された前記個人の少なくとも１つの耳の画像ベースの特性を受け取るための選択プロセッサであって、複数の個人に対して決定された複数のＨＲＴＦデータセットからカスタム化ＨＲＴＦデータセットを耳の画像ベースの特性に基づいて選択するように構成され、前記デバイスプロセッサおよび前記選択プロセッサは個別のユニットとすることができ、または１つのプロセッサに組み合わされることができる、選択プロセッサと、
    前記選択プロセッサによってアクセス可能であり、前記複数のＨＲＴＦデータセットを含んだメモリであって、前記複数のＨＲＴＦデータセットは、前記複数のＨＲＴＦデータセット内の各ＨＲＴＦデータセットによって表される耳に対応する画像ベースの特性によってインデックス付けされる、メモリと
    を備える、システム。
17. 前記個人の少なくとも１つの耳の捕捉された画像を取得することは、前記予備的画像の前記個人の少なくとも１つの耳に適合された形状モデルが受け入れられる許容範囲内であるときにユーザにアラインメントされたことのインジケーションを生成するように構成された前記画像処理デバイスのディスプレイ画面に、アラインメントを補助するためにリアルタイムで重ね合わされる視覚的ガイドである、制御点テンプレートを生成するステップをさらに含む、請求項１６に記載のシステム。
18. 前記複数のＨＲＴＦデータセットからの前記カスタム化ＨＲＴＦデータセットは、抽出された前記画像ベースの特性の、前記複数のＨＲＴＦデータセット内の前記ＨＲＴＦデータセットのそれぞれに関連付けられた対応する画像ベースの特性に最も近くマッチングすることに基づいて選択される、請求項１７に記載のシステム。
19. いくつかのＨＲＴＦデータセットが、前記複数のＨＲＴＦデータセットから、画像ベースの特性の１つまたは複数を突き合わせることによって選択され、前記カスタム化ＨＲＴＦは、前記いくつかのＨＲＴＦデータセットの少なくとも１つに関する補間または摂動の１つによって生成され、ならびに前記画像ベースの特性は、制御点距離、制御点円弧、制御点角度、制御点幾何学的関係、耳甲介長さ、耳の幅、耳の高さ、前記耳の全体的な物理的寸法、および前記耳の３次元表示の１つまたは複数を含む、請求項１６に記載のシステム。