JP6292040B2 - 音声処理装置、音源位置制御方法及び音源位置制御プログラム - Google Patents
音声処理装置、音源位置制御方法及び音源位置制御プログラム Download PDFInfo
- Publication number
- JP6292040B2 JP6292040B2 JP2014120015A JP2014120015A JP6292040B2 JP 6292040 B2 JP6292040 B2 JP 6292040B2 JP 2014120015 A JP2014120015 A JP 2014120015A JP 2014120015 A JP2014120015 A JP 2014120015A JP 6292040 B2 JP6292040 B2 JP 6292040B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- related transfer
- sound source
- transfer function
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Stereophonic System (AREA)
Description
本発明は、音声処理装置、音源位置制御方法及び音源位置制御プログラムに関する。
従来から、人物の頭部の動きを検出し、音源から耳に至るまでの音の伝達特性を示す頭部伝達関数（Head-Related Transfer Function, HRTF）を用いて、頭部の動きに連動して音像をリアルタイムに定位させる技術が開示されている。従来例では、ユーザの頭部に装着されるヘッドフォンに仮想音源の音声信号に応じた再生音を発生させるシステムを採用している。
しかし、従来例では、頭部の姿勢変位として、例えば顔の向きを変えることによる頭部の回転速度が速くなればなるほど、音像を所定の位置に定位させるための応答性が悪くなりやすくなる。そのため、従来例では、ユーザにとって聴覚に違和感を覚えやすくなるおそれが生じる。
そこで、本発明の１つの側面では、頭部の回転運動等の姿勢変位に応じて、聴覚の違和感を抑制する適切な音声信号を生成することを目的とする。
本発明の１つの側面によれば、人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の仮想音源の位置と顔の向きとに応じて、第１の頭部伝達関数を選択し、動きが生じたときに、動きに伴う仮想音源の変位を抑制する第２の頭部伝達関数を選択する。そして、第１の頭部伝達関数のデータと第２の頭部伝達関数のデータとを、角速度に応じて重み付けして合成し、合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、仮想音源の音声信号を生成する。
本発明の１つの側面によれば、頭部の回転運動等の姿勢変位に応じて、聴覚の違和感を抑制する適切な音声信号を生成できる。
以下、図面に基づいて、本件に開示する実施形態について詳細に説明する。先ず、一の実施形態における音声処理装置、音源位置制御方法及び音源位置制御プログラムの一例について説明する。この音声処理装置には、一の実施形態における音源位置制御プログラムが格納される。ここで、音源位置制御プログラムは、頭部の回転運動等の姿勢変位に応じて、聴覚の違和感を抑制する適切な音声信号を生成する。なお、以下の実施形態では、携帯端末とヘッドフォンとを備える音源位置制御システムの適用例について説明するが、本発明がこれにより限定されるものではない。
＜第１実施形態＞
［音源位置制御システムの構成］
図１は、第１実施形態における音源位置制御システムの構成の一例を示す説明図である。図１に示す音源位置制御システム１は、一例として、ヘッドフォン２と携帯端末３とを備える。携帯端末３は、音声処理装置の一例である。
ヘッドフォン２は、左右の耳に装着して音を聴くための装置である。ヘッドフォン２は、頭部角速度センサ２１と、出力装置２２と、地磁気センサ２３とを備える。この頭部角速度センサ２１は、例えば、ＸＹＺ軸（３軸）方向の角速度を検出するセンサである。頭部角速度センサ２１は、頭部の姿勢変位を検出するため、例えば、頭部の回転運動による角速度を検出し、その角速度のデータを携帯端末３に送信する。なお、角速度のデータは、姿勢データの一例である。出力装置２２は、例えば、アナログの音声信号を増幅するスピーカである。地磁気センサ２３は、例えば、電子コンパスであって、地磁気の向きを検出し、方位を算出した方位データを、携帯端末３に送信する。なお、方位データは、姿勢データの一例である。
［音源位置制御システムの構成］
図１は、第１実施形態における音源位置制御システムの構成の一例を示す説明図である。図１に示す音源位置制御システム１は、一例として、ヘッドフォン２と携帯端末３とを備える。携帯端末３は、音声処理装置の一例である。
ヘッドフォン２は、左右の耳に装着して音を聴くための装置である。ヘッドフォン２は、頭部角速度センサ２１と、出力装置２２と、地磁気センサ２３とを備える。この頭部角速度センサ２１は、例えば、ＸＹＺ軸（３軸）方向の角速度を検出するセンサである。頭部角速度センサ２１は、頭部の姿勢変位を検出するため、例えば、頭部の回転運動による角速度を検出し、その角速度のデータを携帯端末３に送信する。なお、角速度のデータは、姿勢データの一例である。出力装置２２は、例えば、アナログの音声信号を増幅するスピーカである。地磁気センサ２３は、例えば、電子コンパスであって、地磁気の向きを検出し、方位を算出した方位データを、携帯端末３に送信する。なお、方位データは、姿勢データの一例である。
携帯端末３は、記憶手段において、ＨＲＴＦテーブル３５及び音声ファイルテーブル３６を備える。ＨＲＴＦテーブル３５は、人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数のデータを複数有する。
図２は、第１実施形態で適用する頭部伝達関数の一例を示す説明図である。第１実施形態では、予め離散的に計測された頭部伝達関数のデータをデータベース化して利用する。図２では、説明の便宜上、一例として、東西南北の方位のうち、北の方位を基準として定位角（θ）を０度（[deg]）とする。この定位角は、実空間で仮想音源を仮想的に配置する方位を規定する。そして、第１実施形態では、人物Ｐの頭部を起点（一例として、図２に示す水平方向の円周Ｓの中点に相当）として円周Ｓ上に所定角度（Δθ）毎に計測された頭部伝達関数（例えばＨ１〜Ｈ８）を採用することで、各々の定位角の仮想音源による音像を定位することができる。なお、第１実施形態では、説明の便宜上、人物の頭部が時計回りに回転する方向を「正」の方向とし、反時計回りに回転する方向を「負」の方向とする。したがって、頭部角速度センサ２１は、例えば、初期状態を基準として、頭部の動きが生じたときに、時計回りの角速度を正の値として出力し、反時計回りの角速度を、負の値として出力し、角速度が発生していない時にゼロの値を出力する。
図３は、図１に示すＨＲＴＦテーブル３５のデータ構造の一例を示す説明図である。このＨＲＴＦテーブル３５は、左耳、右耳用の頭部伝達関数のデータを定位角毎に格納したテーブル形式のデータであって、一例として、「定位角（θ）」、「頭部伝達関数（左耳用）」及び「頭部伝達関数（右耳用）」の列を含んでいる。ここで、図２では、４５度毎の間隔で計測された頭部伝達関数について例示したが、ＨＲＴＦテーブル３５には、円周Ｓ上で例えば５度間隔で計測された７２箇所の頭部伝達関数のデータが格納されている。なお、仮想音源の定位角３６０度における頭部伝達関数のデータは、仮想音源の定位角０度における頭部伝達関数のデータと重複するので、省略している。
また、音声ファイルテーブル３６は、仮想音源として用いる音声データをファイル毎に管理するテーブルである。音声データは、モノラル音源のデータである。
図４は、図１に示す音声ファイルテーブル３６のデータ構造の一例を示す説明図である。この音声ファイルテーブル３６は、再生用の音声データを格納したテーブルであって、「ファイル名」の項目を含む。音声ファイルテーブル３６には、ファイル名（File_001, File_002, File_003,・・・等）の音声データが格納されている。なお、ＨＲＴＦテーブル３５及び音声ファイルテーブル３６の取り扱いについては、図８、図９等を用いて後述する。
図４は、図１に示す音声ファイルテーブル３６のデータ構造の一例を示す説明図である。この音声ファイルテーブル３６は、再生用の音声データを格納したテーブルであって、「ファイル名」の項目を含む。音声ファイルテーブル３６には、ファイル名（File_001, File_002, File_003,・・・等）の音声データが格納されている。なお、ＨＲＴＦテーブル３５及び音声ファイルテーブル３６の取り扱いについては、図８、図９等を用いて後述する。
図１の説明に戻り、携帯端末３は、音源位置制御プログラムが実行されることによって、音源位置制御における機能が実現される。具体的には、携帯端末３は、音源位置制御部３１、ＨＲＴＦ合成部３２、音声信号処理部３３及び音声出力処理部３４を備える。なお、音源位置制御部３１は、制御部の一例であり、ＨＲＴＦ合成部３２は、合成部の一例である。また、音声信号処理部３３は、信号処理部の一例である。
音源位置制御部３１は、姿勢データを取得し、ＨＲＴＦテーブル３５を参照し、聴取り対象の仮想音源の位置と顔の向きとに応じて、第１の頭部伝達関数を選択する。そして、音源位置制御部３１は、動きが生じたときに、角速度に応じて、動きに伴う仮想音源の変位を抑制する第２の頭部伝達関数を選択する。
ＨＲＴＦ合成部３２は、第１の頭部伝達関数のデータと第２の頭部伝達関数のデータとを、角速度に応じて重み付けして合成する。音声信号処理部３３は、ＨＲＴＦ合成部３２で合成された頭部伝達関数のデータと、音声ファイルテーブル３６に記憶されている所定の再生用の音声データとに基づいて、仮想音源の音声信号を生成する。音声出力処理部３４は、音声信号に基づいて、デジタル音声信号をアナログ音声信号に変換（Ｄ／Ａ変換：Digital to Analog converter）して仮想音源の音を出力する。これらの各部３１〜３４の処理の詳細については、図８、図９等を用いて後述する。
［音声処理装置のハードウェア構成］
次に、音声処理装置の主なハードウェア構成について説明する。本件開示の音声処理装置は、例えば、携帯端末３であって、コンピュータを用いて実現できる。
次に、音声処理装置の主なハードウェア構成について説明する。本件開示の音声処理装置は、例えば、携帯端末３であって、コンピュータを用いて実現できる。
図５は、図１に示す携帯端末３のハードウェア構成の一例を示すブロック図である。図５では、図１に示す音声処理装置１の携帯端末３として機能するコンピュータのハードウェア構成の一例を示す。コンピュータは、プロセッサ４、ストレージ５、メモリ６、駆動装置７、入力装置８、通信インターフェース９、表示装置１０、オーディオ・インターフェース１１及びバス１２を備える。プロセッサ４、ストレージ５、メモリ６、駆動装置７、入力装置８、通信インターフェース９、表示装置１０及びオーディオ・インターフェース１１は、バス１２を介して、互いに接続されている。
プロセッサ４は、携帯端末３の統括的な制御を実行するものである。具体的には、プロセッサ４は、制御ユニット、演算ユニット、実行ユニット及び命令デコーダ等を含み、実行ユニットが、命令デコーダで解読されたプログラムの命令に従い、制御ユニットより出力される制御信号に応じ、演算ユニットを用いて算術・論理演算を実行する。なお、プロセッサ４は、ＣＰＵ（Central Processing Unit）コアが複数設けられているコアプロセッサの構成であってもよい。
また、ストレージ５は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置であり、プログラムや各種データが格納される。また、ストレージ５には、ＨＲＴＦテーブル３５、音声ファイルテーブル３６が格納されている。
メモリ６は、例えば、ＲＡＭ（Random Access Memory）等の記憶装置であり、プロセッサ４で実行されるプログラムがロードされると共に、プロセッサ４の処理に用いるデータが格納されるメインメモリである。メモリ６には、プロセッサ４がプログラムを実行する際の作業メモリやバッファメモリ等を備える。
駆動装置７は、可搬型の記憶媒体１３に記憶されたデータやプログラムを読み出す装置である。記憶媒体１３は、例えば、ＵＳＢ（Universal Serial Bus）メモリ又は半導体メモリ（フラッシュメモリ等）を採用したメモリカード等の可搬型の記憶媒体である。
入力装置８は、例えば、タッチパネル方式の入力デバイスである。通信インターフェース９は、例えば、無線又は有線でのデータ通信を行うための通信インターフェースを具備する。一例として、通信インターフェース９は、携帯端末３から送信されてくる角速度のデータや方位データ等の姿勢データを受信して、メモリ６に一時的に格納する。これにより、音源位置制御部３１は、最新の姿勢データを取得することができる。表示装置１０は、例えば、液晶モニタであって、プロセッサ４の指示に応じて、操作用のメニュー画面や出力結果を表示する。
オーディオ・インターフェース１１は、音声信号の変換処理の機能を有し、例えば、音声出力処理部３４により出力されたデジタル音声信号をアナログ音声信号に変換（Ｄ／Ａ変換）し、そのアナログ音声信号をヘッドフォン２に出力する。バス１２は、例えば、データバス、アドレスバス及びコントロールバスの３系統のバスを含む。
なお、プロセッサ４が実行するプログラムや、アクセス対象となるデータは、携帯端末３と通信可能な他の装置に格納されていてもよい。また、携帯端末３の記憶手段とは、メモリ６、ストレージ５、記憶媒体１３又は携帯端末３との間で通信可能な他の装置の少なくとも何れかを示す。
また、図５に例示した携帯端末３は、プロセッサ４、ストレージ５、メモリ６等のハードウェアと、オペレーティング・システムやアプリケーション・プログラム等のプログラムとが協働することにより、各種機能を実現する。このアプリケーション・プログラムには、音源位置制御プログラムが含まれる。したがって、図１に示した音源位置制御部３１、ＨＲＴＦ合成部３２、音声信号処理部３３及び音声出力処理部３４は、プロセッサ４が音源位置制御プログラムを実行することにより機能を実現する。
［携帯端末及びヘッドフォンの外観構成］
次に、第１実施形態における携帯端末３及びヘッドフォン２の外観構成について、説明する。
図６は、図１に示す携帯端末３及びヘッドフォン２の外観構成の一例を示す図である。ヘッドフォン２は、左耳用のスピーカ２２Ｌ、右耳用のスピーカ２２Ｒ、人物がヘッドフォン２を装着するためのヘッドバンド２４及びセンサ格納部２５を備える。左耳用のスピーカ２２Ｌ及び右耳用のスピーカ２２Ｒは、通信ケーブル２６内の音声用の通信回線を介して、携帯端末３のオーディオ・インターフェース１１と電気的に接続される。なお、左耳用のスピーカ２２Ｌ及び右耳用のスピーカ２２Ｒは、オーディオ・インターフェース１１と、無線通信を介して電気的に接続してもよい。
次に、第１実施形態における携帯端末３及びヘッドフォン２の外観構成について、説明する。
図６は、図１に示す携帯端末３及びヘッドフォン２の外観構成の一例を示す図である。ヘッドフォン２は、左耳用のスピーカ２２Ｌ、右耳用のスピーカ２２Ｒ、人物がヘッドフォン２を装着するためのヘッドバンド２４及びセンサ格納部２５を備える。左耳用のスピーカ２２Ｌ及び右耳用のスピーカ２２Ｒは、通信ケーブル２６内の音声用の通信回線を介して、携帯端末３のオーディオ・インターフェース１１と電気的に接続される。なお、左耳用のスピーカ２２Ｌ及び右耳用のスピーカ２２Ｒは、オーディオ・インターフェース１１と、無線通信を介して電気的に接続してもよい。
また、センサ格納部２５は、ヘッドバンド２４上に設置され、図１に示す頭部角速度センサ２１及び地磁気センサ２３を格納している。頭部角速度センサ２１及び地磁気センサ２３は、通信ケーブル２６内のセンサ用の通信回線を介して、携帯端末３の通信インターフェース９と電気的に接続される。なお、これらのセンサと通信インターフェース９とは、無線通信を介して電気的に接続してもよい。また、センサ格納部２５は、ヘッドフォン２の内部に設けられてもよい。
携帯端末３は、例えば、可搬性のタブレット型のコンピュータ機器であって、音声や音楽等の音を再生する機能を有している。携帯端末３は、例えば、液晶画面の表示装置１０を備える。なお、携帯端末３は、タブレット型のコンピュータ機器に限られず、フラッシュメモリ等に音声を記録（録音）し、音声を再生する電子機器（digital voice recorder）であってもよい。また、携帯端末３は、通話の機能をさらに備えた携帯電話に適用してもよい。
［音源位置制御システムの処理の概要］
次に、第１実施形態における音源位置制御システム１の処理における概要について説明する。ここで、携帯端末３が音源位置制御プログラムの処理を実行することで、第１実施形態における音源位置制御方法が実現される。
次に、第１実施形態における音源位置制御システム１の処理における概要について説明する。ここで、携帯端末３が音源位置制御プログラムの処理を実行することで、第１実施形態における音源位置制御方法が実現される。
図７は、図１に示す音源位置制御システム１の処理の一例を示す説明図である。
ここで、説明をわかりやすくするため、図２に例示した頭部伝達関数を用いる。図７Ａは、初期状態を示している。図７Ａに示す通り、人物（聴取者）Ｐは、静止して、ヘッドフォン２を介して、例えば、図２に示す頭部伝達関数Ｈ１（定位角θ1＝０度）が畳み込まれた音声ファイルのデータを聴いていることとする。この際、人物Ｐは、定位角θ1＝０度の方位に仮想的に配置される仮想音源ＶＳ１から音が聴こえてくるように感じる。
ここで、説明をわかりやすくするため、図２に例示した頭部伝達関数を用いる。図７Ａは、初期状態を示している。図７Ａに示す通り、人物（聴取者）Ｐは、静止して、ヘッドフォン２を介して、例えば、図２に示す頭部伝達関数Ｈ１（定位角θ1＝０度）が畳み込まれた音声ファイルのデータを聴いていることとする。この際、人物Ｐは、定位角θ1＝０度の方位に仮想的に配置される仮想音源ＶＳ１から音が聴こえてくるように感じる。
図７Ｂは、第１実施形態の音源位置制御プログラムを適用しない場合における、人物Ｐの頭部の回転運動に伴う仮想音源ＶＳ１の変位の一例を示している。この場合、最初に選択した頭部伝達関数のみが用いられる。ここで、人物Ｐの頭部が反時計回りに向けていくに従って、図７Ｂに示す通り、例えば、頭部伝達関数の特性に応じて仮想音源ＶＳ１も変位する。すると、上述した通り、ユーザ（例えば人物Ｐ）は、頭部を回転させている最中に聴覚に違和感を覚えやすくなるおそれが生じる。そこで、第１実施形態の音源位置制御プログラムを適用することで、音源位置制御システム１では、図７Ｃに示すように、頭部の動きに起因する姿勢変位に応じて、聴覚の違和感を抑制する適切な音声信号を生成させる。
図７Ｃは、第１実施形態の音源位置制御プログラムを適用した場合における、人物Ｐの頭部の回転運動に伴う仮想音源ＶＳ１の変位の一例を示している。
図１に示す携帯端末３の音源位置制御部３１は、人物Ｐの現在の姿勢での頭部伝達関数Ｈ１に加えて、頭部の動きが生じたときに、角速度に応じて、その動きに伴う仮想音源の変位を抑制するフィードバック用の頭部伝達関数Ｈ２を選択する。
図１に示す携帯端末３の音源位置制御部３１は、人物Ｐの現在の姿勢での頭部伝達関数Ｈ１に加えて、頭部の動きが生じたときに、角速度に応じて、その動きに伴う仮想音源の変位を抑制するフィードバック用の頭部伝達関数Ｈ２を選択する。
そして、携帯端末３のＨＲＴＦ合成部３２は、頭部伝達関数Ｈ１のデータと頭部伝達関数Ｈ２のデータとを、角速度に応じて重み付けして合成する。ここで、ＨＲＴＦ合成部３２は、角速度に応じて算出される配分比に基づいて、頭部伝達関数Ｈ１のデータと頭部伝達関数Ｈ２のデータとを合成する。詳細については、図１０等を用いて後述する。音声信号処理部３３は、ＨＲＴＦ合成部３２で合成された頭部伝達関数のデータと、音声ファイルテーブル３６の再生対象の音声データとに基づいて、仮想音源ＶＳ１の音声信号を生成する。音声出力処理部３４は、音声信号に基づいて、Ｄ／Ａ変換された仮想音源の音を出力する。これにより、人物Ｐの頭部が回転運動中であっても、仮想音源ＶＳ１は、元の位置又はその近傍に定位し続けるので、音源位置制御システム１では、聴覚の違和感を抑制する適切な音声信号を生成できる。以下、具体的な処理について説明する。
［処理動作の説明］
次に、音源位置制御システム１における音源位置制御プログラムの動作の一例について説明する。音源位置制御プログラムは、例えば、音源位置制御処理、ＨＲＴＦ合成処理、音声信号処理及び音声出力処理をプロセッサ４に実行させる。
次に、音源位置制御システム１における音源位置制御プログラムの動作の一例について説明する。音源位置制御プログラムは、例えば、音源位置制御処理、ＨＲＴＦ合成処理、音声信号処理及び音声出力処理をプロセッサ４に実行させる。
ここで、図５に示すプロセッサ４は、一例として、入力装置８を介して、図７に示す人物Ｐから音源位置制御プログラムの実行を示すコマンド入力を受け付ける。すると、プロセッサ４は、例えば、地磁気センサ１２から方位データを取得する。そして、プロセッサ４は、人物Ｐが正面を向いている向きが、例えば北向きであるとき、角速度の単位時間当たりの回転を積分することにより得られる、頭部の方位を示す角度（以下、「頭部角度」という。）を、例えば０度とする。つまり、プロセッサ４は、頭部角度の初期状態の角度から、角速度のデータを積分することで、現在の頭部角度を算出し、一例として、図３に示すＨＲＴＦテーブル３５の頭部伝達関数の定位角と頭部角度（顔の向き）とを対応付ける。
続いて、図１に示す音源位置制御部３１は、聴取り対象の仮想音源の定位角を選択する。説明の便宜上、例えば、人物Ｐが、所定の仮想音源の音を聴きたい方向（図２と同様に北向き）に顔を向けていることとする。この場合、音源位置制御部３１は、定位角（θ1 ＝０度）を選択する。
そして、プロセッサ４は、図８に示すフローチャートに従って、音源位置制御プログラムの処理を開始する。
図８は、第１実施形態における音源位置制御プログラムの動作の一例を示すフローチャートである。図９は、第１実施形態における音源位置制御プログラムの処理ブロック図である。
図８は、第１実施形態における音源位置制御プログラムの動作の一例を示すフローチャートである。図９は、第１実施形態における音源位置制御プログラムの処理ブロック図である。
ステップＳ１０１：音源位置制御部３１は、先ず、頭部の角速度の取得処理を行う。この際、音源位置制御部３１は、携帯端末３から送信されてきた姿勢データのうち、メモリ６に格納されている最新の角速度を取得する。なお、姿勢データは、一例として、携帯端末３の電源（図示省略）がオフされるまでメモリ６に時系列に格納される。角速度は、図９に示す通り、ブロックＢ１の処理を行う際の入力パラメータになる。
ステップＳ１０２：頭部の角速度が検出された場合（ステップＳ１０２：Ｙｅｓ）、音源位置制御部３１は、次に、ステップＳ１０３の処理に移行する。一方、頭部の角速度が検出されない場合（ステップＳ１０２：Ｎｏ）、頭部が静止状態を維持しているので、音源位置制御部３１は、後述するステップＳ１１１の処理に移行する。
ステップＳ１０３：音源位置制御部３１は、続いて、第１の頭部伝達関数データと第２の頭部伝達関数をミキシングして合成する際の配分比の算出処理を行う。具体的には、音源位置制御部３１は、角速度に基づいて、配分比ｓを算出する。この配分比ｓは、図９に示す通り、ブロックＢ４、Ｂ５の処理の入力パラメータとなる。
図１０は、第１実施形態における角速度と配分比との関係の一例を示すグラフである。横軸は、角速度の絶対値を示し、縦軸は、配分比を示す。絶対値で示しているのは、角速度が正負の向きを持っているためである。音源位置制御部３１は、角速度が大きいほど、頭部の動きに対する応答性を向上させるため、第２の頭部伝達関数運の配分比が多くなるように決定する。ここで、配分のためのパラメータｓは、頭部の角速度に比例した値とするが、上限値ｓmaxを設ける。また、ωmax の値は、応答性を調整するためのパラメータである。図１０に示すグラフの傾きαは、応答性（追従性）に影響を与える因子である。例えば、ωmax の値がより低く設定されると、図１０のグラフの傾きαがその分大きくなるので応答性が良くなるが、傾きαが大きくなり過ぎると不安定になる。
一方、ωmax の値がより高く設定されると、安定性がより増す。しかし、図１０のグラフの傾きαがその分小さくなるので、応答性は悪くなる。第１実施形態では、応答性を良好に保ちつつ、不安定にならないようにωmax の値を予め設定する。
音源位置制御部３１は、配分比ｓが算出されると、現在位置での第１の頭部伝達関数と、第２の頭部伝達関数との配分を以下の式(１)で算出する。
（現在位置のゲイン）：（ｎ度のゲイン）＝（１−ｓ）：ｓ （式１）
ここで、ｎは、ＨＲＴＦテーブル３５における頭部伝達関数の定位角（θ）の間隔角度（所定角度）を示す。ゲインは、比例配分の倍率を示し、全体で１を超えないように調整される。例えば、現在位置のゲインを、定位角（θ1 ＝０度）における第１の頭部伝達関数のゲインとすると、間隔角度が５度である場合、ｎ度のゲインは、例えば、図７に示す人物Ｐの頭部が反時計回りに回転している場合、次の定位角（θ2 ＝５度）における第２の頭部伝達関数のゲインとなり、両者間でゲイン調整がなされる。例えば、図１０において、ｓ＝０.７の場合、現在位置のゲインが、０.３となり、５度のゲインが、０.７となる。
（現在位置のゲイン）：（ｎ度のゲイン）＝（１−ｓ）：ｓ （式１）
ここで、ｎは、ＨＲＴＦテーブル３５における頭部伝達関数の定位角（θ）の間隔角度（所定角度）を示す。ゲインは、比例配分の倍率を示し、全体で１を超えないように調整される。例えば、現在位置のゲインを、定位角（θ1 ＝０度）における第１の頭部伝達関数のゲインとすると、間隔角度が５度である場合、ｎ度のゲインは、例えば、図７に示す人物Ｐの頭部が反時計回りに回転している場合、次の定位角（θ2 ＝５度）における第２の頭部伝達関数のゲインとなり、両者間でゲイン調整がなされる。例えば、図１０において、ｓ＝０.７の場合、現在位置のゲインが、０.３となり、５度のゲインが、０.７となる。
ステップＳ１０４：音源位置制御部３１は、聴取り対象の仮想音源の変位を抑制する側の仮想音源の定位角の算出処理を行う（図９に示すブロックＢ１の処理）。具体的には、音源位置制御部３１は、角速度に基づいて、頭部が時計回りに回転している場合には式１を用い、頭部が反時計回りに回転している場合には式２を用いる。
ω≧０の場合（時計回り）、 θ2＝θ1−Δθ （式２）
ω＜０の場合（反時計回り）、θ2＝θ1＋Δθ （式３）
ここで、θ1は、第１の頭部伝達関数に対応する仮想音源の定位角であり、図９に示すブロックＢ１、Ｂ２の処理の入力パラメータとなる。θ2 は、第２の頭部伝達関数に対応する仮想音源の定位角であり、Δθは、ＨＲＴＦテーブル３５における各々の頭部伝達関数の間隔角度（例えば５度）である。
音源位置制御部３１は、一例として、例えば、図７Ｃに示す人物Ｐの頭部が反時計回りに回転している場合、定位角（θ1 ＝０度）であるので、Δθ＝５度として、式３に代入することにより、抑制する側の仮想音源の定位角（θ2 ＝５度）の値を算出する。
ω≧０の場合（時計回り）、 θ2＝θ1−Δθ （式２）
ω＜０の場合（反時計回り）、θ2＝θ1＋Δθ （式３）
ここで、θ1は、第１の頭部伝達関数に対応する仮想音源の定位角であり、図９に示すブロックＢ１、Ｂ２の処理の入力パラメータとなる。θ2 は、第２の頭部伝達関数に対応する仮想音源の定位角であり、Δθは、ＨＲＴＦテーブル３５における各々の頭部伝達関数の間隔角度（例えば５度）である。
音源位置制御部３１は、一例として、例えば、図７Ｃに示す人物Ｐの頭部が反時計回りに回転している場合、定位角（θ1 ＝０度）であるので、Δθ＝５度として、式３に代入することにより、抑制する側の仮想音源の定位角（θ2 ＝５度）の値を算出する。
ステップＳ１０５：音源位置制御部３１は、各々の定位角における頭部伝達関数の選択処理を行う。音源位置制御部３１は、ＨＲＴＦテーブル３５を参照して、第１の頭部伝達関数として、定位角（θ1 ＝０度）の頭部伝達関数（HRTF_L1, HRTF_R1）を選択し、メモリ６に読み出す（図９に示すブロックＢ２の処理）。また、音源位置制御部３１は、ＨＲＴＦテーブル３５を参照して、第２の頭部伝達関数として、定位角（θ1 ＝５度）の頭部伝達関数（HRTF_L2, HRTF_R2）を選択し、メモリ６に読み出す（図９に示すブロックＢ３の処理）。
ステップＳ１０６：ＨＲＴＦ合成部３２は、２つの頭部伝達関数のデータを混合・調整し、より効果的な１つの信号出力にするミキシング処理を実行する。具体的には、ＨＲＴＦ合成部３２は、以下に示す式４、５に基づいて、第１の頭部伝達関数のデータと第２の頭部伝達関数のデータとをミキシングして合成する処理を実行する（図９に示すブロックＢ４、Ｂ５の処理）。
ｈL＝（１−ｓ）ｈ1L ＋ s・ｈ2L （式４）
ｈR＝（１−ｓ）ｈ1R ＋ s・ｈ2R （式５）
ここで、ｈL は、ミキシング後の左耳用の頭部伝達関数であり、ｈR は、ミキシング後の右耳用の頭部伝達関数である。
また、ｓは、音源位置制御部３１が算出した配分比であり、ｈ1L は、左耳用の第１の頭部伝達関数であり、ｈ2L は、左耳用の第２の頭部伝達関数である。ｈ1R は、右耳用の第２の頭部伝達関数であり、ｈ2R は、右耳用の第２の頭部伝達関数である。
ｈL＝（１−ｓ）ｈ1L ＋ s・ｈ2L （式４）
ｈR＝（１−ｓ）ｈ1R ＋ s・ｈ2R （式５）
ここで、ｈL は、ミキシング後の左耳用の頭部伝達関数であり、ｈR は、ミキシング後の右耳用の頭部伝達関数である。
また、ｓは、音源位置制御部３１が算出した配分比であり、ｈ1L は、左耳用の第１の頭部伝達関数であり、ｈ2L は、左耳用の第２の頭部伝達関数である。ｈ1R は、右耳用の第２の頭部伝達関数であり、ｈ2R は、右耳用の第２の頭部伝達関数である。
ステップＳ１０７：音声信号処理部３３は、音声データの入力バッファへの書込み処理を行う。
図１１は、第１実施形態における音声信号処理部３３の処理の一例を示す説明図である。図１１では、音声信号処理部３３によるメモリ６の入力バッファ６１及び出力バッファ６２を用いた処理を模式的に示している。ここで、音声信号処理部３３は、音声ファイルテーブル３６を参照し、聴取り対象の仮想音源の音像の元になる音声データ（例えば、File_001）を入力バッファ６１に時系列に一時記録する。
図１１は、第１実施形態における音声信号処理部３３の処理の一例を示す説明図である。図１１では、音声信号処理部３３によるメモリ６の入力バッファ６１及び出力バッファ６２を用いた処理を模式的に示している。ここで、音声信号処理部３３は、音声ファイルテーブル３６を参照し、聴取り対象の仮想音源の音像の元になる音声データ（例えば、File_001）を入力バッファ６１に時系列に一時記録する。
なお、第１実施形態では、音声データの一例として、１フレームのサンプリングタイムが４６ミリ秒のオーディオデータを利用する。そのため、音声信号処理部３３は、図１１において、入力バッファ６１における６１(１)、６１(２)、６１(３)、６１(４)・・・のバッファ領域に１フレーム毎に一時記録していく処理を順次実行する。なお、オーディオデータは、音楽であってもよいし、ナレーションであってもよい。また、オーディオデータは、ナレーションにＢＧＭ（background music）が流れるようにしたデータであってもよい。
ステップＳ１０８：音声信号処理部３３は、フレーム単位のＦＩＲ（有限インパルス応答：Finite Impulse Response）フィルタ処理を施すフィルタリングの演算処理を実行する。具体的には、音声信号処理部３３は、ステップＳ１０６の処理によりＨＲＴＦ合成部３２で合成された頭部伝達関数のデータと、入力バッファ６１に書き込まれた所定の再生用の音声データとに基づいて、公知のＦＩＲフィルタの畳み込みによる演算処理を行う。この演算処理により、音声信号処理部３３は、仮想音源の音声信号（音像）を生成する（図９に示すブロックＢ６、Ｂ７の処理）。これにより、音像を所定の仮想音源の位置に定位することが可能となる。なお、図１１において、ＦＩＲの各ブロックは、ステップＳ１０８の処理の一例を示す。
また、このステップＳ１０８では、音声信号処理部３３は、公知のＦＩＲフィルタの畳み込みによる演算処理を行うことにしているが、この演算処理は、一例であって、これに限定されない。音声信号処理部３３は、例えば、公知のＦＦＴ（高速フーリエ変換：Fast Fourier Transform）を用いて畳み込み処理を行ってもよい。具体的には、音声信号処理部３３は、例えば、ＦＦＴを用いて音源データと選択した頭部伝達関数をそれぞれ周波数領域に変換し、それらを複素乗算したのち、逆ＦＦＴ処理を行うことで時間領域に再変換して出力する。
ステップＳ１０９：音声信号処理部３３は、出力バッファへの書出し処理及び出力処理を実行する。具体的には、音声信号処理部３３は、ステップＳ１０８の処理で生成した音声信号を、メモリ６の出力バッファ６２における６２(１)、６２(２)、６２(３)、・・・のバッファ領域に一時記録していく処理を順次実行する。この際、ＦＩＲフィルタの畳み込みによる演算処理等の時間に起因して、例えば３フレーム分の遅延時間が生じる。
また、音声出力処理部３４は、並列処理により、出力バッファに一時記録された音声信号に基づいて、所定のフレームレートで音像定位が施された仮想音源の音（Ｌ、Ｒ）をヘッドフォン２に出力する（図９に示すブロックＢ８、Ｂ９の処理）。
また、音声出力処理部３４は、並列処理により、出力バッファに一時記録された音声信号に基づいて、所定のフレームレートで音像定位が施された仮想音源の音（Ｌ、Ｒ）をヘッドフォン２に出力する（図９に示すブロックＢ８、Ｂ９の処理）。
ステップＳ１１０：音声出力処理部３４は、音声データの読出しが最後まで終了したか否かを判定する。音声データの読出しが最後まで終了していない場合（ステップＳ１１０：Ｎｏ）、ステップＳ１０１の処理に戻る。一方、音声データの読出しが最後まで終了した場合（ステップＳ１１０：Ｙｅｓ）、音源位置制御プログラムの処理を終了する。
一方、ステップＳ１０２の処理で、頭部の角速度が検出されない場合の処理について説明を続ける。この場合には、ステップＳ１１１の処理に移行する。
一方、ステップＳ１０２の処理で、頭部の角速度が検出されない場合の処理について説明を続ける。この場合には、ステップＳ１１１の処理に移行する。
ステップＳ１１１：音源位置制御部３１は、現在位置の定位角に基づいて、頭部伝達関数の選択処理を実行する。この場合には、頭部の角速度が検出されないため、ステップＳ１０３〜ステップＳ１０６の処理が不要となる。
そして、プロセッサ４は、その後、ステップＳ１０７〜ステップＳ１１０の処理を実行し、ステップＳ１１１の処理において、音声データの読み出しが最後まで終了していない場合（ステップＳ１１０：Ｎｏ）、ステップＳ１０１の処理に戻る。一方、音声データの読み出しが最後まで終了した場合（ステップＳ１１０：Ｙｅｓ）、音源位置制御プログラムの処理を終了する。
そして、プロセッサ４は、その後、ステップＳ１０７〜ステップＳ１１０の処理を実行し、ステップＳ１１１の処理において、音声データの読み出しが最後まで終了していない場合（ステップＳ１１０：Ｎｏ）、ステップＳ１０１の処理に戻る。一方、音声データの読み出しが最後まで終了した場合（ステップＳ１１０：Ｙｅｓ）、音源位置制御プログラムの処理を終了する。
このようにして、第１実施形態では、音源位置制御プログラムを実行することにより、頭部の回転運動等の姿勢変位に応じて、姿勢変位に伴う仮想音源の変位を抑制できるので、適切な拡張現実感を実現できる。
なお、第１実施形態では、聴取り対象の仮想音源が、ＨＲＴＦテーブル３５に記憶されている各々の頭部伝達関数の定位角が示す方位の何れかである場合について説明したが、必ずしもＨＲＴＦテーブル３５に記憶されている頭部伝達関数の定位角が示す方位でなくても適用できる。
図１２は、聴取り対象の仮想音源が、ＨＲＴＦテーブル３５に記憶されている頭部伝達関数の定位角の示す方位に存在しない場合の適用例についての説明図である。
図１２に示す通り、人物Ｐの顔の向きが定位角０度の方位（北向き）を向いているとする。ここで、図１２では、説明の便宜上、定位角の間隔角度が４５度であるので、ＨＲＴＦテーブル３５における頭部伝達関数は、４５度間隔のデータを抽出したＨＲＴＦテーブルとして用いることとする。
図１２に示す通り、人物Ｐの顔の向きが定位角０度の方位（北向き）を向いているとする。ここで、図１２では、説明の便宜上、定位角の間隔角度が４５度であるので、ＨＲＴＦテーブル３５における頭部伝達関数は、４５度間隔のデータを抽出したＨＲＴＦテーブルとして用いることとする。
そして、音源位置制御部３１は、図１２において、頭部を基点として聴取り対象の仮想音源ＶＳ２に最も近い方位の頭部伝達関数（例えば、定位角θ1＝０度）を、第１の頭部伝達関数として選択する。
一方、頭部の動きが生じた場合には、音源位置制御部３１は、角速度に基づいて、顔の向きの回転方向を予測し、第１の頭部伝達関数に対応する方位を基準として、回転方向と逆方向の方位の頭部伝達関数を、第２の頭部伝達関数として選択する。一例として、音源位置制御部３１は、ＨＲＴＦテーブル３５を参照し、顔の向きの変化に伴って仮想音源の変位を最も抑制する角度の頭部伝達関数（定位角θ2＝４５度）を、第２の頭部伝達関数として選択する。この第２の頭部伝達関数が、仮想音源の変位を最も抑制する角度の頭部伝達関数であるのは、定位角が４５度間隔の頭部伝達関数を採用している場合、第１の頭部伝達関数に最も近い位置関係にあるからである。
例えば、顔の向きが反時計回りに回転運動をした場合、音源位置制御部３１は、図８に示すステップＳ１０４の処理に従って、頭部伝達関数（定位角θ1＝０度）の次の角度の頭部伝達関数（定位角θ2＝４５度）を選択する。そして、プロセッサ４は、以下、図８に示すステップＳ１０５〜ステップＳ１１０の処理を実行する。なお、ステップＳ１０５の処理において、ＨＲＴＦ合成部３２は、角速度が大きくなるほど、第２の頭部伝達関数のデータの寄与が多くなるように合成することが好ましい。これにより、ＨＲＴＦ合成部３２は、姿勢変位に伴う仮想音源の変位をより抑制することができる。
以上より、第１実施形態では、聴取り対象の仮想音源がＨＲＴＦテーブル３５に記憶されている各々の頭部伝達関数の定位角が示す方位に存在しない場合であっても、姿勢変位に伴う仮想音源の変位を抑制できるので、聴覚の違和感を抑制する適切な音声信号を生成できる。その結果、ユーザは、この適切な音声信号に基づいて、ヘッドフォン２を介して、聴覚に自然な再生音を聞くことができる。
なお、図１２では、説明の便宜上、定位角が４５度間隔の頭部伝達関数を用いたが、これに限定されない。例えば、ＨＲＴＦテーブル３５に記憶されている各々の頭部伝達関数の定位角が５度間隔であれば、音源位置制御部３１は、仮想音源ＶＳ２により近い方位の頭部伝達関数を第１の頭部伝達関数として選択できるので、より適切な音声信号を生成できる。また、図１２では、ある大きさの仮想音源ＶＳ２を例示しているが、仮想音源は、必要に応じて、仮想的な点音源として捉えてもよい。
なお、図１２では、説明の便宜上、定位角が４５度間隔の頭部伝達関数を用いたが、これに限定されない。例えば、ＨＲＴＦテーブル３５に記憶されている各々の頭部伝達関数の定位角が５度間隔であれば、音源位置制御部３１は、仮想音源ＶＳ２により近い方位の頭部伝達関数を第１の頭部伝達関数として選択できるので、より適切な音声信号を生成できる。また、図１２では、ある大きさの仮想音源ＶＳ２を例示しているが、仮想音源は、必要に応じて、仮想的な点音源として捉えてもよい。
なお、第１実施形態では、頭部伝達関数の合成をした後、それぞれの頭部伝達関数に対してＦＩＲフィルタの畳み込みによる演算処理を実行した。しかし、第１実施形態では、これに限定されない。例えば、第１実施形態では、先に頭部伝達関数の合成をせず、それぞれの頭部伝達関数に対してＦＩＲフィルタの畳み込みによる演算処理を先に実行してもよい。そして、第１実施形態では、この演算処理を実行して生成した音に対して、それらの音同士を合成するようにしてもよい。このような第１実施形態でも、姿勢変位に伴う仮想音源の変位を抑制できるので、聴覚の違和感を抑制する適切な音声信号を生成できる。
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、聴取り対象の仮想音源がＨＲＴＦテーブル３５に記憶されている頭部伝達関数の定位角の示す方位に存在しない場合、音源位置制御部３１が２つの頭部伝達関数を加重平均することにより、音像定位の精度をさらに向上させる。第２実施形態でも、聴取り対象の仮想音源が、ＨＲＴＦテーブル３５に記憶されている各々の頭部伝達関数の定位角が示す方位に存在しない場合について、説明する。
なお、第２実施形態では、第１実施形態と、同じ構成要素については同じ符号を付して説明を省略し、相違点について詳述する。第２実施形態でも、図１に示す音源位置制御システム１を適用できる。ここで、第２実施形態では、図８に示すフローチャートにおいて、ステップＳ１０４、ステップＳ１０５の処理が、第１実施形態と異なる。
次に、第２実施形態について説明する。第２実施形態では、聴取り対象の仮想音源がＨＲＴＦテーブル３５に記憶されている頭部伝達関数の定位角の示す方位に存在しない場合、音源位置制御部３１が２つの頭部伝達関数を加重平均することにより、音像定位の精度をさらに向上させる。第２実施形態でも、聴取り対象の仮想音源が、ＨＲＴＦテーブル３５に記憶されている各々の頭部伝達関数の定位角が示す方位に存在しない場合について、説明する。
なお、第２実施形態では、第１実施形態と、同じ構成要素については同じ符号を付して説明を省略し、相違点について詳述する。第２実施形態でも、図１に示す音源位置制御システム１を適用できる。ここで、第２実施形態では、図８に示すフローチャートにおいて、ステップＳ１０４、ステップＳ１０５の処理が、第１実施形態と異なる。
図１３は、第２実施形態の一例を示す説明図である。第２実施形態でも、説明をわかりやすくするため、図１３に示す通り、人物Ｐの顔の向きが定位角０度の方位（北向き）を向いていることとする。ここで、図１３は、説明の便宜上、定位角の間隔角度が４５度とし、ＨＲＴＦテーブル３５における頭部伝達関数は、４５度間隔のデータを用いることとする。また、人物Ｐが顔の向きを例えば、反時計回りに回転することとする。
ここで、一例として、仮想音源ＶＳ３を図１３に示す方位に定位させる場合、音源位置制御部３１は、人物Ｐの頭部を基点（図１３の円周Ｓの中心）として、所定角度（Δθ1＋Δθ2）で聴取り対象の仮想音源ＶＳ３を挟む関係を有する２つの連続する頭部伝達関数（Ｈ１、Ｈ２）を、ＨＲＴＦテーブル３５から選択して、仮想音源ＶＳ３の位置に応じて、Δθ1,Δθ2を用いて加重平均する。これにより、音源位置制御部３１は、加重平均に応じて、第１の頭部伝達関数（Ｈ９）を生成する。つまり、音源位置制御部３１は、所定角度の範囲内で加重平均に応じて、Δθ1とΔθ2とで分割された方位の第１の頭部伝達関数（Ｈ９）を、生成することができる。なお、図１３から明らかなように、Δθ1とΔθ2とは、必ずしも等角度である必要はない。
さらに、音源位置制御部３１は、角速度に基づいて、顔の向きの回転方向を時計回りと反時計回りとの何れかを予測する。反時計回りであれば、音源位置制御部３１は、生成した第１の頭部伝達関数（Ｈ９）に対応する方位を基準として、回転方向と逆方向に連続する２つの頭部伝達関数（Ｈ２,Ｈ３）を選択し、上記と同様にして、所定角度（Δθ1＋Δθ2）を用いて加重平均を行うことにより、第２の頭部伝達関数（Ｈ１０）を生成する。
換言すると、音源位置制御部３１は、例えば、頭部伝達関数の分割ステップが一定の場合、頭部を基点として時計回りに所定角度（Δθ1＋Δθ2）分だけ回転する操作を行うことで、仮想音源の変位を最も抑制する関係を有する２つの頭部伝達関数（Ｈ２,Ｈ３）を、ＨＲＴＦテーブル３５から選択する。そして、音源位置制御部３１は、所定角度（Δθ1＋Δθ2）を用いて加重平均を行うことにより、第２の頭部伝達関数（Ｈ１０）を生成する。そして、音源位置制御部３１は、ＨＲＴＦテーブル３５に新たに２つの頭部伝達関数（Ｈ９,Ｈ１０）を追加する。
なお、人物Ｐの顔の向きが、例えば時計回りに回転した場合には、音源位置制御部３１は、生成した第１の頭部伝達関数（Ｈ９）に対応する方位を基準として、回転方向と逆方向に連続する２つの頭部伝達関数（Ｈ１,Ｈ８）を選択する。そして、音源位置制御部３１は、上記の加重平均を行うことにより、第２の頭部伝達関数（図示省略）を生成する。
そして、第２実施形態では、以下、図８に示すステップＳ１０６〜ステップＳ１１１の処理を実行する。なお、ステップＳ１０６の処理において、ＨＲＴＦ合成部３２は、角速度が大きくなるほど、第２の頭部伝達関数のデータの寄与が多くなるように合成することが好ましい。これにより、ＨＲＴＦ合成部３２は、姿勢変位に伴う仮想音源の変位をより抑制することができる。
以上より、第２実施形態では、頭部の回転運動等の姿勢変位に応じて、聴取り対象の仮想音源がＨＲＴＦテーブル３５に記憶されている頭部伝達関数の定位角の示す方位に存在しない場合、音源位置制御部３１が２つの連続する頭部伝達関数を加重平均することにより新たな頭部伝達関数を生成する。これにより、第２実施形態では、音像定位の精度をさらに向上させることができるので、より適切な音声信号を生成できる。なお、この精度の向上については、図１４〜図１６を用いて詳述する。
［数値実験による比較］
次に、従来例も含めて、第１、第２実施形態の数値実験による比較について説明する。数値実験は、頭部の姿勢変位に対する応答性（追従性）を比較する。なお、姿勢変位としては、図２に示す水平面（ＸＹ平面）の頭部の回転運動（頭部の角速度）を例示する。
次に、従来例も含めて、第１、第２実施形態の数値実験による比較について説明する。数値実験は、頭部の姿勢変位に対する応答性（追従性）を比較する。なお、姿勢変位としては、図２に示す水平面（ＸＹ平面）の頭部の回転運動（頭部の角速度）を例示する。
図１４は、頭部の角速度の経時変化の一例を示すグラフである。横軸は、時間［ms］を示し、縦軸は、頭部の角速度［deg/s］を示す。なお、横軸の時間は、一例として、仮想音源として用いる音声データの１サンプル時間（４６［ms］）を例示している。
図１５は、図１４で例示した角速度の変化に基づく、頭部の回転に対する応答性の一例を示すグラフである。図１６は、図１５Ａ〜図１５Ｄをまとめて例示したグラフである。図１５、図１６では、１サンプル時間における頭部角度の変化の一例を示しており、横軸は、音声データの１サンプル時間（４６［ms］）を示し、縦軸は、頭部角度を示す。数値実験の条件として、頭部角度（顔の向き）の初期値は、図２に示す北向き（０度）とする。頭部伝達関数の間隔角度は、１５度とする。ωmax の値は、１５０［deg/s］とする。バッファリングの遅延は、図１１に示す通り、例えば３フレームとする。図１５では、図１４の角速度の入力データに基づく頭部角度の推定値に対しての応答性（追従性）を比較している。なお、頭部角度の推定値は、例えば、頭部角速度センサ２１の角速度のデータから算出される。図１５Ａ〜Ｄにおいて、実線のグラフは、頭部角度の推定値を表し、このグラフに一致すればするほど応答性の精度がよいことを示している。
図１５Ａは、第１従来例との比較例を示す。第１従来例は、頭部角度（顔の向き）を検出して、顔の向きに最も近い頭部伝達関数を選択していく方式である。図１５Ｂは、第２従来例との比較を示す。第２従来例は、例えば特許文献１（特開２０１０−０４１４２５号公報）に基づく方式である。図１５Ｃは、第１実施形態との比較を示す。図１５Ｄは、第２実施形態との比較を示す。
図１５Ａ〜Ｄを比較すると、第１従来例は、頭部角度の推定値に対して偏差が大きく応答性が悪い（図１５Ａ参照）。第２従来例は、第１従来例に比較して、改善はされているものの、第２従来例のグラフが全体的に頭部角度の推定値に対してずれている（図１５Ｂ参照）。そのため、第２従来例は、第１実施形態と比較して、頭部角度の推定値に対する偏差が大きいので、その分、応答性が悪い。これに対し、第１実施形態と頭部角度の推定値との比較では、偏差が小さく応答性が改善できることがわかる（図１５Ｃ参照）。さらに、第２実施形態と頭部角度の推定値との比較では、第１実施形態よりもより精度が高い（図１５Ｄ参照）。つまり、第１実施形態は、従来例１及び従来例２よりも応答性の精度がよく、さらに、第２実施形態は、第１実施形態よりも応答性の精度が高いことが示唆される（図１６参照）。
＜第３実施形態＞
次に、第３実施形態について説明する。
図１７は、第３実施形態における頭部の回転の方向を例示する説明図である。図１７において、第３実施形態では、ＸＹＺ軸の直交座標系において、Ｘ軸（ロール軸）、Ｙ軸（ピッチ軸）、Ｚ軸（ヨー軸）として３軸を規定する。これにより、第３実施形態では、頭部の回転を、ロール角、ピッチ角、ヨー角（方位角）として、規定できる。ここで、第１実施形態では、Ｚ軸（ヨー軸）を基準として方位角を適用した頭部伝達関数を取り扱ったが、本件開示の技術は、これに限定されない。第３実施形態では、ロール角、ピッチ角を適用した頭部伝達関数を取り扱ってもよい。ここで、頭部角速度センサ２１は、例えば、角速度、姿勢角（ロール、ピッチ）及び方位角をリアルタイムに出力する機能を備えていることとする。
次に、第３実施形態について説明する。
図１７は、第３実施形態における頭部の回転の方向を例示する説明図である。図１７において、第３実施形態では、ＸＹＺ軸の直交座標系において、Ｘ軸（ロール軸）、Ｙ軸（ピッチ軸）、Ｚ軸（ヨー軸）として３軸を規定する。これにより、第３実施形態では、頭部の回転を、ロール角、ピッチ角、ヨー角（方位角）として、規定できる。ここで、第１実施形態では、Ｚ軸（ヨー軸）を基準として方位角を適用した頭部伝達関数を取り扱ったが、本件開示の技術は、これに限定されない。第３実施形態では、ロール角、ピッチ角を適用した頭部伝達関数を取り扱ってもよい。ここで、頭部角速度センサ２１は、例えば、角速度、姿勢角（ロール、ピッチ）及び方位角をリアルタイムに出力する機能を備えていることとする。
図１８は、第３実施形態におけるロール角を適用した頭部伝達関数の一例を示す説明図である。図１９は、第３実施形態におけるピッチ角を適用した頭部伝達関数の一例を示す説明図である。
第３実施形態では、第１実施形態同様、予め離散的に計測された頭部伝達関数のデータをデータベース化して利用する。図１８では、説明の便宜上、一例として、Ｚ軸の方位を基準として定位角（θ）を０度とする。そして、第３実施形態では、人物Ｐの頭部を起点として円周（Ｓ）上に所定角度（Δθ）毎に計測された頭部伝達関数（例えばＨ２１〜Ｈ２８）を採用することで、各々の定位角の仮想音源による音像を定位することができる。なお、図１８では、説明の便宜上、頭部のロール角方向の傾きにおいて、時計回りに回転する方向を「正」の方向とし、反時計回りに回転する方向を「負」の方向とする。
また、同様にして、図１９に示す通り、第３実施形態では、人物Ｐの頭部を起点として円周（Ｓ）上に所定角度（Δθ）毎に計測された頭部伝達関数（例えばＨ３１〜Ｈ３８）を採用することで、各々の定位角の仮想音源による音像を定位することができる。なお、図１９では、説明の便宜上、頭部のピッチ角方向の傾きにおいて、時計回りに回転する方向を「正」の方向とし、反時計回りに回転する方向を「負」の方向とする。
このようにして、第３実施形態では、頭部の回転を、ロール角、ピッチ角、ヨー角（方位角）毎に、分けて、第１実施形態、第２実施形態と同様の処理を実行することで、第１実施形態、第２実施形態と同様の効果を得ることができる。
なお、第３実施形態では、ロール角、ピッチ角、ヨー角（方位角）を組み合わせて、第１実施形態、第２実施形態と同様の処理を実行してもよい。
なお、第３実施形態では、ロール角、ピッチ角、ヨー角（方位角）を組み合わせて、第１実施形態、第２実施形態と同様の処理を実行してもよい。
以上、本件に開示する一実施形態について明細書及び図面等を用いて説明したが、本件開示の技術は、上記実施形態に限定されるものではない。つまり、本発明の技術的範囲内において、各種の改良又は変更も本件開示の技術に含まれるのは、特許請求の範囲の記載から明らかである。
また、特許請求の範囲、明細書及び図面中において示したプログラム、装置及び方法における動作等の各処理の実行順序は、前の処理の出力結果を後の処理で用いるのでない限り、任意の順序で実行してもよい場合がある点に留意すべきである。
さらに、明細書及び図面中のフローチャートに関して、「先ず」、「次に」、「続いて」等の用語を用いて説明したとしても、各種の改良又は変更に関し、この順で実施しなければならないことを必ずしも意味しないという点に留意すべきである。
さらに、明細書及び図面中のフローチャートに関して、「先ず」、「次に」、「続いて」等の用語を用いて説明したとしても、各種の改良又は変更に関し、この順で実施しなければならないことを必ずしも意味しないという点に留意すべきである。
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択する制御部と、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成する合成部と、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する信号処理部と、
を備える音声処理装置。
（付記２）
前記制御部は、前記頭部を基点として所定角度で前記聴取り対象の前記仮想音源を挟む関係を有する２つの連続する頭部伝達関数を、前記記憶部から選択して前記仮想音源の位置に応じて加重平均を行うことにより、前記第１の頭部伝達関数を生成すると共に、前記角速度に基づいて、前記顔の向きの回転方向を予測し、生成した前記第１の頭部伝達関数に対応する方位を基準として、前記回転方向と逆方向に連続する２つの頭部伝達関数を選択し、前記加重平均を行うことにより、前記第２の頭部伝達関数を生成する、付記１に記載の音声処理装置。
（付記３）
前記制御部は、前記頭部を基点として前記聴取り対象の前記仮想音源に最も近い方位の頭部伝達関数を、前記第１の頭部伝達関数として選択し、前記動きが生じたときに、前記角速度に基づいて、前記顔の向きの回転方向を予測し、前記第１の頭部伝達関数に対応する方位を基準として、前記回転方向と逆方向の方位の頭部伝達関数を、前記第２の頭部伝達関数として選択し、
前記合成部は、前記角速度が大きくなるほど、前記第２の頭部伝達関数のデータの寄与が多くなるように合成する、付記１に記載の音声処理装置。
（付記４）
前記記憶部は、前記頭部を起点として直交座標系の３軸方向のそれぞれについて離散的に計測された頭部伝達関数を記憶し、
前記制御部は、前記３軸方向のそれぞれの角速度を取得し、聴取り対象の前記仮想音源の位置と前記顔の向きとに応じて、前記第１の頭部伝達関数と前記第２の頭部伝達関数を選択する、付記１から付記３の何れかに記載の音声処理装置。
（付記５）
コンピュータが、
人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記姿勢データが示す現在の前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択し、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成し、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する
処理を実行する音源位置制御方法。
（付記６）
コンピュータに、
人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記姿勢データが示す現在の前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択し、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成し、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する
処理を実行させる音源位置制御プログラム。
（付記１）
人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択する制御部と、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成する合成部と、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する信号処理部と、
を備える音声処理装置。
（付記２）
前記制御部は、前記頭部を基点として所定角度で前記聴取り対象の前記仮想音源を挟む関係を有する２つの連続する頭部伝達関数を、前記記憶部から選択して前記仮想音源の位置に応じて加重平均を行うことにより、前記第１の頭部伝達関数を生成すると共に、前記角速度に基づいて、前記顔の向きの回転方向を予測し、生成した前記第１の頭部伝達関数に対応する方位を基準として、前記回転方向と逆方向に連続する２つの頭部伝達関数を選択し、前記加重平均を行うことにより、前記第２の頭部伝達関数を生成する、付記１に記載の音声処理装置。
（付記３）
前記制御部は、前記頭部を基点として前記聴取り対象の前記仮想音源に最も近い方位の頭部伝達関数を、前記第１の頭部伝達関数として選択し、前記動きが生じたときに、前記角速度に基づいて、前記顔の向きの回転方向を予測し、前記第１の頭部伝達関数に対応する方位を基準として、前記回転方向と逆方向の方位の頭部伝達関数を、前記第２の頭部伝達関数として選択し、
前記合成部は、前記角速度が大きくなるほど、前記第２の頭部伝達関数のデータの寄与が多くなるように合成する、付記１に記載の音声処理装置。
（付記４）
前記記憶部は、前記頭部を起点として直交座標系の３軸方向のそれぞれについて離散的に計測された頭部伝達関数を記憶し、
前記制御部は、前記３軸方向のそれぞれの角速度を取得し、聴取り対象の前記仮想音源の位置と前記顔の向きとに応じて、前記第１の頭部伝達関数と前記第２の頭部伝達関数を選択する、付記１から付記３の何れかに記載の音声処理装置。
（付記５）
コンピュータが、
人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記姿勢データが示す現在の前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択し、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成し、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する
処理を実行する音源位置制御方法。
（付記６）
コンピュータに、
人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記姿勢データが示す現在の前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択し、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成し、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する
処理を実行させる音源位置制御プログラム。
１…音源位置制御システム、２…ヘッドフォン、３…携帯端末、２１…頭部角速度センサ、２２…出力装置、２３…地磁気センサ、３１…音源位置制御部、３２…ＨＲＴＦ合成部、３３…音声信号処理部、３４…音声出力処理部、３５…ＨＲＴＦテーブル、３６…音声ファイルテーブル
Claims (5)
- 人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択する制御部と、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成する合成部と、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する信号処理部と、
を備える音声処理装置。 - 前記制御部は、前記頭部を基点として所定角度で前記聴取り対象の前記仮想音源を挟む関係を有する２つの連続する頭部伝達関数を選択し、前記仮想音源の位置に応じて加重平均を行うことにより、前記第１の頭部伝達関数を生成し、前記角速度に基づいて、前記顔の向きの回転方向を予測し、生成した前記第１の頭部伝達関数に対応する方位を基準として、前記回転方向と逆方向に連続する２つの頭部伝達関数を選択し、前記加重平均を行うことにより、前記第２の頭部伝達関数を生成する、請求項１に記載の音声処理装置。
- 前記制御部は、前記頭部を基点として前記聴取り対象の前記仮想音源に最も近い方位の頭部伝達関数を、前記第１の頭部伝達関数として選択し、前記動きが生じたときに、前記角速度に基づいて、前記顔の向きの回転方向を予測し、前記第１の頭部伝達関数に対応する方位を基準として、前記回転方向と逆方向の方位の頭部伝達関数を、前記第２の頭部伝達関数として選択し、
前記合成部は、前記角速度が大きくなるほど、前記第２の頭部伝達関数のデータの寄与が多くなるように合成する、請求項１に記載の音声処理装置。 - コンピュータが、
人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記姿勢データが示す現在の前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択し、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成し、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する
処理を実行する音源位置制御方法。 - コンピュータに、
人物の頭部の動きを示す角速度と顔の向きとを含む姿勢データを取得し、前記人物の周囲に仮想的に配置される仮想音源による音像を定位するための頭部伝達関数を複数記憶した記憶部を参照し、聴取り対象の前記仮想音源の位置と前記姿勢データが示す現在の前記顔の向きとに応じて、第１の頭部伝達関数を選択し、前記動きが生じたときに、前記動きに伴う前記仮想音源の変位を抑制する第２の頭部伝達関数を選択し、
前記第１の頭部伝達関数のデータと前記第２の頭部伝達関数のデータとを、前記角速度に応じて重み付けして合成し、
合成された頭部伝達関数のデータと、予め記憶された再生用の音声データとに基づいて、前記仮想音源の音声信号を生成する
処理を実行させる音源位置制御プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014120015A JP6292040B2 (ja) | 2014-06-10 | 2014-06-10 | 音声処理装置、音源位置制御方法及び音源位置制御プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014120015A JP6292040B2 (ja) | 2014-06-10 | 2014-06-10 | 音声処理装置、音源位置制御方法及び音源位置制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015233252A JP2015233252A (ja) | 2015-12-24 |
| JP6292040B2 true JP6292040B2 (ja) | 2018-03-14 |
Family
ID=54934468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014120015A Active JP6292040B2 (ja) | 2014-06-10 | 2014-06-10 | 音声処理装置、音源位置制御方法及び音源位置制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6292040B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6732464B2 (ja) * | 2016-02-12 | 2020-07-29 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
| CN106572425A (zh) * | 2016-05-05 | 2017-04-19 | 王杰 | 音频处理装置及方法 |
| GB2554447A (en) * | 2016-09-28 | 2018-04-04 | Nokia Technologies Oy | Gain control in spatial audio systems |
| CN110036655B (zh) * | 2016-12-12 | 2022-05-24 | 索尼公司 | Hrtf测量方法、hrtf测量装置和存储介质 |
| JP7212622B2 (ja) * | 2017-06-15 | 2023-01-25 | ドルビー・インターナショナル・アーベー | コンピュータ媒介式の現実アプリケーションにおける送信器と受信器との間の通信を最適化する方法、装置およびシステム |
| JP7252965B2 (ja) * | 2018-02-15 | 2023-04-05 | マジック リープ， インコーポレイテッド | 複合現実のための二重聴取者位置 |
| JP7342451B2 (ja) * | 2019-06-27 | 2023-09-12 | ヤマハ株式会社 | 音声処理装置および音声処理方法 |
| WO2024150544A1 (ja) * | 2023-01-12 | 2024-07-18 | ソニーグループ株式会社 | 音響装置、音響処理方法及び音響処理プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2751512B2 (ja) * | 1990-01-19 | 1998-05-18 | ソニー株式会社 | 音響信号再生装置 |
| JPH0444500A (ja) * | 1990-06-11 | 1992-02-14 | Yamaha Corp | ヘッドホンシステム |
| JPH0946797A (ja) * | 1995-07-28 | 1997-02-14 | Sanyo Electric Co Ltd | 音響信号再生装置 |
-
2014
- 2014-06-10 JP JP2014120015A patent/JP6292040B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015233252A (ja) | 2015-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6292040B2 (ja) | 音声処理装置、音源位置制御方法及び音源位置制御プログラム | |
| US10932075B2 (en) | Spatial audio processing apparatus | |
| US9820037B2 (en) | Audio capture apparatus | |
| US10397728B2 (en) | Differential headtracking apparatus | |
| US10080094B2 (en) | Audio processing apparatus | |
| EP3141002B1 (en) | Virtual sound systems and methods | |
| US8644531B2 (en) | Information processing system and information processing method | |
| US9357306B2 (en) | Multichannel audio calibration method and apparatus | |
| US10448192B2 (en) | Apparatus and method of audio stabilizing | |
| EP2719200B1 (en) | Reducing head-related transfer function data volume | |
| US10003905B1 (en) | Personalized end user head-related transfer function (HRTV) finite impulse response (FIR) filter | |
| US20160299738A1 (en) | Visual Audio Processing Apparatus | |
| EP3435690B1 (en) | Sound processing method and sound processing device | |
| US9769585B1 (en) | Positioning surround sound for virtual acoustic presence | |
| US9462406B2 (en) | Method and apparatus for facilitating spatial audio capture with multiple devices | |
| JP6596896B2 (ja) | 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 | |
| CN105263075A (zh) | 一种带方位传感器耳机及其3d声场还原方法 | |
| CN107105384B (zh) | 一种中垂面上近场虚拟声像的合成方法 | |
| EP3618459B1 (en) | Method and apparatus for playing audio data | |
| CN107707742B (zh) | 一种音频文件播放方法及移动终端 | |
| WO2023173285A1 (zh) | 音频处理方法、装置、电子设备及计算机可读存储介质 | |
| JP5380945B2 (ja) | 音響再生装置およびプログラム | |
| US11076257B1 (en) | Converting ambisonic audio to binaural audio | |
| WO2024037190A1 (zh) | 音频处理方法和装置 | |
| JP6651231B2 (ja) | 携帯情報端末、情報処理装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6292040 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |