JP6034715B2

JP6034715B2 - 動作検出装置およびプログラム

Info

Publication number: JP6034715B2
Application number: JP2013026913A
Authority: JP
Inventors: 堀内　俊治; 俊治堀内
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2013-02-14
Filing date: 2013-02-14
Publication date: 2016-11-30
Anticipated expiration: 2033-02-14
Also published as: JP2014157413A

Description

本発明は、ヘッドセットディスプレイを使用するユーザの動作を検出する動作検出装置およびプログラムに関する。

近年、パーソナルコンピュータ、携帯電話機およびスマートフォンなどに代表される情報機器では、記録装置の大容量化が進み、複数のビデオコンテンツやオーディオコンテンツを保存することができるようになった。その結果、記録装置に記録されている複数のコンテンツから所望のコンテンツを選択するためのユーザインタフェースにおいて、様々な提案が行なわれ、工夫が施されている。例えば、特許文献１記載の技術では、ビデオコンテンツやオーディオコンテンツを示すタイトル、動画、画像を、画面に横一列あるいは縦一列に表示し、入力操作に応じて、左右方向あるいは上下方向に切り替えることによって、ユーザは、次々に表示されるタイトル、動画、画像の中から所望のコンテンツを容易に選択することができる。このような表示装置では、ユーザインタフェースとして、特にタッチパネル入力が想定されており、指位置は、タッチパネルによって検出されている。タッチパネルを有しない表示装置においては、一般に、カーソルキー入力などが必要である。

一方、ヘッドマウントディスプレイに代表される表示装置では、上述したユーザインタフェースとは異なるインタフェースが提案されている。例えば、特許文献２記載の技術では、指位置の追跡にカメラを用いており、特許文献３記載の技術では、赤外線を放射する発光ダイオードを用いている。

特開２０１０−１４６１２６号公報特開２００６−２４４２７２号公報特開２００７−２２００８０号公報

しかしながら、特許文献１記載の技術では、タッチパネル入力が想定されており、指位置の追跡はタッチパネルの存在を前提としている。このため、タッチパネルが無くては表示装置を成立させることはできない。また、タッチパネルの存在を前提としていない表示装置であっても、カーソルキー入力などが必要であり、表示装置を見ながら、カーソルキー入力を行なうことは、必ずしもユーザビリティが高いとは言えなかった。

一方、特許文献２記載の技術のように、指位置の追跡にカメラを用いるものや、特許文献３記載の技術のように、赤外線を放射する発光ダイオードを用いるものは、装置規模が大きくなってしまうため、可搬性が高いとは言えず、必ずしも簡便に利用できるとは言えなかった。

本発明は、このような事情に鑑みてなされたものであり、可搬性が高く、簡便に利用することができ、ユーザビリティが高い動作検出装置およびプログラムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の動作検出装置は、ヘッドセットディスプレイを使用するユーザの動作を検出する動作検出装置であって、ユーザの指または手に装着され、音波を放射するスピーカと、ユーザの頭部に装着され、前記スピーカが放射した音波を受音する複数のマイクロフォンと、各離散時刻において前記各マイクロフォンで受音した各音波信号の時間差を検出する時間差検出部と、各離散時刻における前記各音波信号間の誤差を算出する誤差算出部と、各離散時刻における前記誤差を最小化することによって、前記スピーカが装着された指の方向を算出し、算出した方向をヘッドセットディスプレイに出力する方向算出部と、を備え、前記算出した指の方向に基づいて、前記ヘッドセットディスプレイに表示される画像が変化することを特徴とする。

このように、ユーザの指または手に装着されたスピーカから音波を放射し、ユーザの頭部に装着された複数のマイクロフォンでスピーカが放射した音波を受音し、各離散時刻において各マイクロフォンで受音した各音波信号の時間差を検出し、各離散時刻における各音波信号間の誤差を算出し、各離散時刻における誤差を最小化することによって、スピーカが装着された指の方向を算出し、算出した方向をヘッドセットディスプレイに出力し、算出した指の方向に基づいて、ヘッドセットディスプレイに表示される画像が変化するので、可搬性が高く、簡便に利用することができ、使いやすいヘッドセットディスプレイを実現することが可能となる。

（２）また、本発明の動作検出装置において、前記スピーカは、周波数が１６ｋＨｚ以上である音波を放射することを特徴とする。

このように、スピーカは、周波数が１６ｋＨｚ以上である音波を放射するので、ユーザの可聴音の範囲外となり、ユーザが聞いている音声、音楽または他の環境音の聴取に影響を与えることを回避することが可能となる。

（３）また、本発明の動作検出装置において、前記時間差検出部は、リサンプリングまたはオーバーサンプリングによる時間シフトまたは単位遅延の時間シフトによって前記受音した各音波信号間の時間差を検出することを特徴とする。

このように、時間差検出部は、リサンプリングまたはオーバーサンプリングによる時間シフトまたは単位遅延の時間シフトによって受音した各音波信号間の時間差を検出するので、簡易な方法で誤差を検出することが可能となる。その結果、装置の小型化を図り、可搬性を高めることが可能となる。

（４）また、本発明の動作検出装置において、前記誤差検出部は、誤差として前記各音波信号間の差の２乗を出力することを特徴とする。

このように、誤差検出部は、誤差として各音波信号間の差の２乗を出力するので、簡易な方法で誤差を算出することが可能となる。その結果、装置の小型化を図り、可搬性を高めることが可能となる。

（５）また、本発明の動作検出装置において、前記方向算出部は、最急降下法を用いて誤差を最小化することを特徴とする。

このように、方向算出部は、最急降下法を用いて誤差を最小化するので、簡易な方法で誤差を最小化することが可能となる。その結果、装置の小型化を図り、可搬性を高めることが可能となる。

（６）また、本発明のプログラムは、ヘッドセットディスプレイを使用するユーザの動作を検出する動作検出装置のプログラムであって、ユーザの指または手に装着されたスピーカから音波を放射するステップと、ユーザの頭部に装着された複数のマイクロフォンで前記スピーカが放射した音波を受音するステップと、時間差検出部が各離散時刻において前記各マイクロフォンで受音した各音波信号の時間差を検出するステップと、誤差算出部が各離散時刻における前記各音波信号間の誤差を算出するステップと、方向算出部が各離散時刻における前記誤差を最小化することによって、前記スピーカが装着された指の方向を算出し、算出した方向をヘッドセットディスプレイに出力するステップと、前記算出した指の方向に基づいて、前記ヘッドセットディスプレイに表示する画像を変化させるステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、可搬性が高く、簡便に利用することができ、使いやすいヘッドセットディスプレイを実現することが可能となる。

第１の実施形態に係るヘッドセットディスプレイシステムの概略構成を示す図である。第１の実施形態に係る動作検出装置の概略構成を示すブロック図である。第２の実施形態に係るヘッドセットディスプレイシステムの概略構成を示す図である。第２の実施形態に係る動作検出装置の概略構成を示すブロック図である。

（第１の実施形態）
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。図１は、第１の実施形態に係るヘッドセットディスプレイシステムの概略構成を示す図である。図１では、ユーザが使用しているヘッドセットディスプレイには、仮想ディスプレイ面１１が表示される。仮想ディスプレイ面１１には、例えば、選択可能な複数のコンテンツが表示され、ユーザがそれを仮想的に触れると、その指に対応するスピーカＳの位置が検出され、ユーザは仮想ディスプレイ面１１に表示された複数のコンテンツのうちのいずれか一つを選択することが可能となる。

また、ヘッドセットディスプレイに仮想ディスプレイ面１２を表示し、仮想ディスプレイ面１２にオブジェクト１３を表示しても良い。このオブジェクト１３は、例えば、仮想的な操作ボタンである。ユーザがオブジェクト１３の指で指し示す動作をすると、その指に対応するスピーカＳの位置が検出され、ユーザは仮想ディスプレイ面１２に表示されたオブジェクト１３を操作することが可能となる。以下、このようにユーザの動作を検出する動作検出装置について、具体的に説明する。

図１では、頭部Ａ周辺、具体的には、ユーザが着用するメガネや、耳などの顔周辺に一定の距離を隔てて３つのマイクロフォンＭ₁〜Ｍ₃が設けられている。図１では、一例として、ユーザの両耳付近にそれぞれ一つずつマイクロフォンＭ₁、Ｍ₂が設けられ、また、ユーザの頭頂部にマイクロフォンＭ₃が設けられている。なお、３つめのマイクロフォンＭ₃は、必ずしも頭頂部に設ける必要はなく、例えば、ペンダントを付けた時の位置や、眼鏡のレンズとレンズの間に設けることも可能である。また、ユーザの指などの手周辺に装着された音波を放射する１つのスピーカＳが設けられている。図１では、これらの位置関係を２次元座標上に模式的に表現している。

この座標系は、３つ以上のマイクロフォンの中心を原点とする相対座標系である。１つのスピーカは、検出すべき任意の指などの手周辺に固定し、３つ以上のマイクロフォンをメガネや各耳などの顔周辺に一定の距離を隔てて固定する。

ユーザの指などの手周辺に固定した１つのスピーカから指位置を検出するための音波を放射する。この音波の周波数は、マイクロフォンで受音できる周波数帯域の範囲内であれば任意であるが、音声や音楽の再生や他の環境音の聴取自体に影響を与えないように好ましくは１６ｋＨｚ以上の可聴困難な周波数を用いる。

メガネや各耳などの顔周辺に一定の距離を隔てて装着された３つ以上のマイクロフォンＭｉ（ｉ＝１，２，３）は座標系のｘ軸上に配置され、その座標ｐｉ（ｉ＝１，２，３）はあらかじめ与えられているものとする。指などの手周辺に装着された１つのスピーカＳから放射された音波が３つ以上のマイクロフォンＭｉ（ｉ＝１，２，３）に平面波で到来することを仮定すると、離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１，２，３）は、スピーカＳから座標系の原点までの距離に依存した遅延時間τと指の方向θに依存した時間差δｉ（θｘ，θｙ）（ｉ＝１，２，３）を有し、式（１）のように表すことができる。

ここで、ｃは音速で、ｎｉ（ｋ）（ｉ＝１，２，３）はその他の妨害音源である。各マイクロフォンで受音されるスピーカからの音圧レベルはその他の妨害音源の音圧レベルよりも大きいと仮定する。この時間差δｉ（θｘ，θｙ）を推定することにより、指の方向θｘ，θｙを得ることが可能である。

また、指などの手周辺に装着された１つのスピーカＳから放射された音波が３つ以上のマイクロフォンＭｉ（ｉ＝１，２，３）に球面波で到来した場合でも、時間差δｉ（θｘ，θｙ）を推定することにより、指の方向θｘ，θｙを得ることができる。

図２は、第１の実施形態に係る動作検出装置の概略構成を示すブロック図である。上述した指の方向θｘ，θｙまたは指の位置ｐに依存した時間差δｉ（θｘ，θｙ）を推定する演算処理方法は、多数存在するが、ここではそのうちの一例を示す。

時間差付与部２１（時間差検出部）は、離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１，２，３）と方向算出部２５から離散時刻ｋにおける指の方向θｘ，θｙ（ｋ）を入力とし、離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１，２，３）を出力する。誤差算出部２３は、離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１，２，３）を入力とし、離散時刻ｋにおける誤差ｅ（ｋ）を出力する。方向算出部２５は、誤差算出部２３から離散時刻ｋにおける誤差ｅ（ｋ）を入力とし、離散時刻ｋにおける指の方向θｘ，θｙ（ｋ）を出力する。

本実施形態では、指の方向θｘ，θｙが、離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１，２，３）から算出できればよいので、遅延時間τは考慮する必要がない。そこで、指の方向θｘ，θｙに依存した各マイクロフォンの受音信号間の時間差δｉ（θｘ，θｙ）を付与するには、例えば式（２）で示されるように、時間シフトを実現するシンク関数ｓｉｎｃ（ｘ）を利用して、時間差δｉ（θｘ，θｙ）を付与した出力信号系列ｙｉ（ｋ）（ｉ＝１，２，３）を得ることができる。Ｄは因果性を満たすための固定遅延、Ｎはシンク関数ｓｉｎｃ（ｘ）の長さ、Ｔはサンプリング間隔である。

ここで例示したシンク関数ｓｉｎｃ（ｘ）は、受音信号系列ｘｉ（ｋ）（ｉ＝１，２，３）から時間差δｉ（θｘ，θｙ）を付与した出力信号系列ｙｉ（ｋ）（ｉ＝１，２，３）を得るためのリサンプリングの補間カーネルとして用いている。これは単位遅延、すなわちサンプリング間隔Ｔの整数倍以外の時間シフトを実現するためであり、サンプリング間隔Ｔを小さくできるオーバーサンプリングを施す、あるいはサンプリング間隔Ｔの整数倍の時間シフトでも必要な精度を満足するサンプリングレートを採用すれば、単位遅延の時間シフトで実現しても良い。

誤差算出部２３では、式（３）で示されるように離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１，２，３）を用いて、各出力信号間の差の２乗和を求めることで時間差に依存した離散時刻ｋにおける誤差ｅ（ｋ）を算出する。この誤差ｅ（ｋ）は、各出力信号系列ｙｉ（ｋ）（ｉ＝１，２，３）の時間差が０の場合に最小化される誤差関数の１つであり、指の方向θｘ，θｙが算出された際に最小化される。

方向算出部２５では、離散時刻ｋにおける誤差算出部の出力信号である誤差ｅ（ｋ）を用い、誤差ｅ（ｋ）を最小化する指の方向θｘ，θｙを算出する。指の方向θｘ，θｙの算出に最急降下法を用いた場合、離散時刻ｋにおいて算出された指の方向θｘ，θｙを用いて、次の離散時刻ｋ＋１における指の方向θｘ，θｙを算出する。ここで、μはステップサイズパラメータである。

以上の手順を各離散時刻において、連続的かつ逐次的に算出することで、スピーカに追従することが可能になる。これにより、指などの手周辺に固定されたスピーカから音波を放射し、メガネや各耳などの顔周辺に一定の距離を隔てて装着された３つ以上のマイクロフォン、例えばマイクロフォン付きステレオイヤホンの３つ以上のマイクロフォンでその音波を受音するだけで、簡便に利用でき、可搬性に優れた動作検出装置を提供することが可能になる。

（第２の実施形態）
図３は、本発明の第２の実施形態に係るヘッドセットディスプレイシステムの概略構成を示す図である。第２の実施形態では、第１の実施形態を簡略化した構成を示す。図３において、２つのマイクロフォンがメガネ、ユーザの各耳などの顔周辺に一定の距離を隔てて装着される。図３では、一例として、ユーザの両耳付近にそれぞれ一つずつマイクロフォンＭ₁、Ｍ₂が設けられている。また、音波を放射する１つのスピーカが、ユーザの指などの手周辺に装着される。図３に示す座標系は、２つのマイクロフォンの中心を原点とする相対座標系である。１つのスピーカを検出すべき任意の指などの手周辺に固定し、２つ以上のマイクロフォンをメガネや各耳などの顔周辺に一定の距離を隔てて固定する。

次に、指などの手周辺に固定した１つのスピーカから指位置を検出するための音波を放射する。この音波の周波数は、マイクロフォンで受音できる周波数帯域の範囲内であれば任意であるが、音声や音楽の再生や他の環境音の聴取自体に影響を与えないように好ましくは１６ｋＨｚ以上の可聴困難な周波数を用いる。

メガネや各耳などの顔周辺に一定の距離を隔てて装着された２つ以上のマイクロフォンＭｉ（ｉ＝１，２）は座標系のｘ軸上に配置され、その座標ｐｉ（ｉ＝１，２）はあらかじめ与えられているものとする。指などの手周辺に装着された１つのスピーカＳから放射された音波が２つ以上のマイクロフォンＭｉ（ｉ＝１，２）に平面波で到来することを仮定すると、離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１，２）は、スピーカＳから座標系の原点までの距離に依存した遅延時間τと指の方向θに依存した時間差δｉ（θ）＝ｐｉ・ｓｉｎ（θ）／ｃ（ｉ＝１，２）を有し、式（５）のように表すことができる。

ここで、ｃは音速で、ｎｉ（ｋ）（ｉ＝１，２）はその他の妨害音源である。各マイクロフォンで受音されるスピーカからの音圧レベルはその他の妨害音源の音圧レベルよりも大きいと仮定する。この時間差δｉ（θ）を推定することにより、指の方向θを得ることが可能である。

また、指などの手周辺に装着された１つのスピーカＳから放射された音波が２つ以上のマイクロフォンＭｉ（ｉ＝１，２）に球面波で到来した場合でも、時間差δｉ（θ）を推定することにより、指の方向θを得ることができる。

図４は、第２の実施形態に係る動作検出装置の概略構成を示すブロック図である。上述した指の方向θまたは指の位置ｐに依存した時間差δｉ（θ）を推定する演算処理方法は多数存在するが、ここではその一例を示す。まず、時間差付与部４１（時間差検出部）は、離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１，２）と方向算出部４５から離散時刻ｋにおける指の方向θ（ｋ）を入力とし、離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１，２）を出力する。誤差算出部４３は、離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１，２）を入力とし、離散時刻ｋにおける誤差ｅ（ｋ）を出力する。方向算出部４５は、誤差算出部４３から離散時刻ｋにおける誤差ｅ（ｋ）を入力とし、離散時刻ｋにおける指の方向θ（ｋ）を出力する。

本実施形態では、指の方向θが、離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１，２）から算出できればよいので、遅延時間τは考慮する必要がない。そこで、指の方向θに依存した各マイクロフォンの受音信号間の時間差δｉ（θ）を補正するには、式（６）で示されるように時間シフトを実現するシンク関数ｓｉｎｃ（ｘ）を利用して、時間差δｉ（θ）を付与した出力信号系列ｙｉ（ｋ）（ｉ＝１，２）を得ることができる。Ｄは因果性を満たすための固定遅延、Ｎはシンク関数ｓｉｎｃ（ｘ）の長さ、Ｔはサンプリング間隔である。

ここで例示したシンク関数ｓｉｎｃ（ｘ）は、受音信号系列ｘｉ（ｋ）（ｉ＝１，２）から時間差δｉ（θ）を付与した出力信号系列ｙｉ（ｋ）（ｉ＝１，２）を得るためのリサンプリングの補間カーネルとして用いている。これは単位遅延すなわちサンプリング間隔Ｔの整数倍以外の時間シフトを実現するためであり、サンプリング間隔Ｔを小さくできるオーバーサンプリングを施す、あるいはサンプリング間隔Ｔの整数倍の時間シフトでも必要な精度を満足するサンプリングレートを採用すれば、単位遅延の時間シフトで実現しても良い。

誤差算出部２３では、式（７）で示されるように離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１，２）を用いて、各出力信号間の差の２乗和を求めることで時間差に依存した離散時刻ｋにおける誤差ｅ（ｋ）を算出する。この誤差ｅ（ｋ）は、各出力信号系列ｙｉ（ｋ）（ｉ＝１，２）の時間差が０の場合に最小化される誤差関数の１つであり、指の方向θが算出された際に最小化される。

方向算出部２５では、式（８）に基づいて、離散時刻ｋにおける誤差算出部の出力信号である誤差ｅ（ｋ）を用い、誤差ｅ（ｋ）を最小化する指の方向θを算出する。指の方向θの算出に最急降下法を用いた場合、離散時刻ｋにおいて算出された指の方向θを用いて、次の離散時刻ｋ＋１における指の方向θを算出する。ここで、μはステップサイズパラメータである。

以上の手順を各離散時刻において、連続的かつ逐次的に算出することで、スピーカに追従することが可能になるため、指などの手周辺に固定されたスピーカから音波を放射し、メガネや各耳などの顔周辺に一定の距離を隔てて装着された２つ以上のマイクロフォン、例えばマイクロフォン付きステレオイヤホンの２つ以上のマイクロフォンでその音波を受音するだけで、簡便に利用でき、可搬性に優れた指位置追跡装置および方法を提供することを可能になる。

１１仮想ディスプレイ面
１２仮想ディスプレイ面
１３オブジェクト
２１時間差付与部
２３誤差算出部
２５方向算出部
４１時間差付与部
４３誤差算出部
４５方向算出部
Ｍ₁−Ｍ₃ マイクロフォン

Claims

ヘッドセットディスプレイを使用するユーザの動作を検出する動作検出装置であって、
ユーザの指または手に装着され、音波を放射するスピーカと、
ユーザの頭部に装着され、前記スピーカが放射した音波を受音する同一直線上にない３以上のマイクロフォンと、
各離散時刻において前記各マイクロフォンで受音した各音波信号の時間差を検出し、検出した時間差を付与した出力信号系列を出力する時間差検出部と、
前記出力信号系列を用いて、各離散時刻における前記各音波信号間の誤差を算出する誤差算出部と、
各離散時刻における前記誤差を最小化することによって、前記スピーカが装着された指の方向を算出し、算出した方向をヘッドセットディスプレイに出力する方向算出部と、を備え、
前記算出した指の方向に基づいて、前記ヘッドセットディスプレイに表示される画像が変化することを特徴とする動作検出装置。
ヘッドセットディスプレイを使用するユーザの動作を検出する動作検出装置のプログラムであって、
ユーザの指または手に装着されたスピーカから音波を放射する処理と、
ユーザの頭部に装着された同一直線上にない３以上のマイクロフォンで前記スピーカが放射した音波を受音する処理と、
時間差検出部が各離散時刻において前記各マイクロフォンで受音した各音波信号の時間差を検出し、検出した時間差を付与した出力信号系列を出力する処理と、
前記出力信号系列を用いて、誤差算出部が各離散時刻における前記各音波信号間の誤差を算出する処理と、
方向算出部が各離散時刻における前記誤差を最小化することによって、前記スピーカが装着された指の方向を算出し、算出した方向をヘッドセットディスプレイに出力する処理と、をコンピュータに実行させ、
前記算出した指の方向に基づいて、前記ヘッドセットディスプレイに表示される画像が変化することを特徴とするプログラム。
ヘッドセットディスプレイを使用するユーザの動作を検出する動作検出方法であって、
ユーザの指または手に装着されたスピーカから音波を放射するステップと、
ユーザの頭部に装着された同一直線上にない３以上のマイクロフォンで前記スピーカが放射した音波を受音するステップと、
時間差検出部が各離散時刻において前記各マイクロフォンで受音した各音波信号の時間差を検出し、検出した時間差を付与した出力信号系列を出力するステップと、
前記出力信号系列を用いて、誤差算出部が各離散時刻における前記各音波信号間の誤差を算出するステップと、
方向算出部が各離散時刻における前記誤差を最小化することによって、前記スピーカが装着された指の方向を算出し、算出した方向をヘッドセットディスプレイに出力するステップと、を含み、
前記算出した指の方向に基づいて、前記ヘッドセットディスプレイに表示される画像が変化することを特徴とする動作検出方法。