JP7136199B2 - ジェスチャ認識方法及びジェスチャ認識装置 - Google Patents

ジェスチャ認識方法及びジェスチャ認識装置 Download PDF

Info

Publication number
JP7136199B2
JP7136199B2 JP2020514834A JP2020514834A JP7136199B2 JP 7136199 B2 JP7136199 B2 JP 7136199B2 JP 2020514834 A JP2020514834 A JP 2020514834A JP 2020514834 A JP2020514834 A JP 2020514834A JP 7136199 B2 JP7136199 B2 JP 7136199B2
Authority
JP
Japan
Prior art keywords
gesture
radio wave
sensor
area
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020514834A
Other languages
English (en)
Other versions
JPWO2019202670A1 (ja
Inventor
哲也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of JPWO2019202670A1 publication Critical patent/JPWO2019202670A1/ja
Application granted granted Critical
Publication of JP7136199B2 publication Critical patent/JP7136199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/20Monitoring; Testing of receivers
    • H04B17/27Monitoring; Testing of receivers for locating or positioning the transmitter

Description

本発明は、ジェスチャを認識するためのジェスチャ認識方法及びジェスチャ認識装置に関する。
電波信号を利用してジェスチャを認識するためのジェスチャ認識装置が知られている(例えば、特許文献1参照)。この種のジェスチャ認識装置は、動体に向けて電波信号を送信し且つ動体で反射した電波信号を受信する電波センサと、電波センサで受信した電波信号に基づいてジェスチャを認識する認識部とを備えている。
米国特許第9575560号明細書
しかしながら、上述した従来のジェスチャ認識装置では、予め定められた位置で行われたジェスチャしか認識することができないという課題がある。
本発明は、任意の位置で行われたジェスチャを認識することができるジェスチャ認識方法及びジェスチャ認識装置を提供する。
本発明の一態様に係るジェスチャ認識方法は、複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、前記ジェスチャ認識方法は、(a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち1つのセンサ領域を、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、(b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた1つの電波センサのみの受信結果に基づいて前記ジェスチャを認識するステップと、を含む。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本発明の一態様に係るジェスチャ認識方法等によれば、任意の位置で行われたジェスチャを認識することができる。
図1は、実施の形態1に係るジェスチャ認識装置の外観を示す斜視図である。 図2は、実施の形態1に係るジェスチャ認識装置を示す平面図である。 図3は、実施の形態1に係るセンサ領域を拡大して示す図である。 図4は、実施の形態1に係るジェスチャ認識装置の機能構成を示すブロック図である。 図5は、実施の形態1に係る電波センサの機能構成を示すブロック図である。 図6は、ジェスチャの機械学習の概念を示すブロック図である。 図7Aは、第1の領域におけるジェスチャの一例を示す図である。 図7Bは、第2の領域におけるジェスチャの一例を示す図である。 図7Cは、重なり合う2つの第2の領域におけるジェスチャの一例を示す図である。 図8は、1つの電波センサで電波信号を受信した場合における、実施の形態1に係るジェスチャ認識装置の動作の流れを示すフローチャートである。 図9は、2つの電波センサで電波信号を受信した場合における、実施の形態1に係るジェスチャ認識装置の動作の流れを示すフローチャートである。 図10は、実施の形態2に係るジェスチャ認識装置の外観を示す斜視図である。 図11は、実施の形態2に係るジェスチャ認識装置を示す平面図である。 図12は、実施の形態2に係るジェスチャ認識装置の機能構成を示すブロック図である。 図13は、3つの電波センサで電波信号を受信した場合における、実施の形態2に係るジェスチャ認識装置の動作の流れを示すフローチャートである。
本発明の一態様に係るジェスチャ認識方法は、複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、前記ジェスチャ認識方法は、(a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち1つのセンサ領域を、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、(b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた1つの電波センサのみの受信結果に基づいて前記ジェスチャを認識するステップと、を含む。
本態様によれば、複数の電波センサの受信結果に基づいて、複数のセンサ領域のうち1つのセンサ領域をジェスチャ発生領域として特定するので、複数のセンサ領域における任意の位置で行われたジェスチャを認識することができる。
例えば、前記複数のセンサ領域の各々は、当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、前記(a)において、前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち前記1つのセンサ領域に含まれる前記第1の領域及び前記第2の領域のいずれか一方から、1つのセンサ領域を前記ジェスチャ発生領域として特定するように構成してもよい。
本態様によれば、複数の電波センサの受信結果に基づいて、複数のセンサ領域のうち1つのセンサ領域に含まれる第1の領域及び第2の領域のいずれか一方をジェスチャ発生領域として特定するので、ジェスチャをより精度良く認識することができる。
例えば、前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生した場合には、前記2つのセンサ領域の2つの前記第1の領域のいずれか一方を前記ジェスチャ発生領域として特定するように構成してもよい。
本態様によれば、2つのセンサ領域のいずれか一方に対応付けられた1つの電波センサのみの受信結果に基づいてジェスチャを認識するので、ジェスチャをより精度良く認識することができる。
例えば、前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の一方の前記第1の領域と他方の前記第2の領域とが重なり合った領域で発生した場合には、当該第1の領域を前記ジェスチャ発生領域として特定するように構成してもよい。
本態様によれば、第1の領域を含むセンサ領域に対応付けられた1つの電波センサのみの受信結果に基づいてジェスチャを認識するので、ジェスチャをより精度良く認識することができる。
例えば、前記(b)において、前記複数の電波センサの各々に対して、当該電波センサに対応付けられた前記センサ領域に含まれる前記第1の領域及び前記第2の領域の各々におけるジェスチャを示す電波信号を入力することにより予め機械学習を行った認識エンジンを用いて、ジェスチャを認識するように構成してもよい。
本態様によれば、機械学習を行った認識エンジンを用いてジェスチャを認識するので、例えば電波センサにより受信した電波信号を解析することによりジェスチャを認識する場合と比べて、ジェスチャを容易に認識することができる。
例えば、前記複数の電波センサは、回転軸周りに回転可能な筐体の側面に、前記筐体の回転方向に沿って配置されており、前記ジェスチャ認識方法は、さらに、前記(a)において前記複数のセンサ領域のうち前記1つのセンサ領域に含まれる前記第2の領域を前記ジェスチャ発生領域として特定した場合に、当該1つのセンサ領域に含まれる前記第1の領域が前記ジェスチャ発生領域と重なるように前記筐体を回転させるステップを含むように構成してもよい。
本態様によれば、第1の領域では、第2の領域よりもジェスチャを高い精度で認識することができるので、第1の領域がジェスチャ発生領域と重なるように筐体を回転させることにより、ジェスチャをより精度良く認識することができる。
また、本発明の一態様に係るジェスチャ認識方法は、複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、前記ジェスチャ認識方法は、(a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち少なくとも2つのセンサ領域を、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、(b)前記複数の電波センサのうち、前記ジェスチャ発生領域に対応付けられた少なくとも2つの電波センサの受信結果に基づいて前記ジェスチャを認識するステップと、を含む。
本態様によれば、複数の電波センサの受信結果に基づいて、複数のセンサ領域のうち少なくとも2つのセンサ領域をジェスチャ発生領域として特定するので、複数のセンサ領域における任意の位置で行われたジェスチャを認識することができる。
例えば、前記複数のセンサ領域の各々は、当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、前記(a)において、前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち前記少なくとも2つのセンサ領域の各々に含まれる前記第1の領域及び前記第2の領域のいずれか一方を、前記ジェスチャ発生領域としてそれぞれ特定するように構成してもよい。
例えば、前記(b)において、前記複数の電波センサの各々に対して、当該電波センサに対応付けられた前記センサ領域に含まれる前記第1の領域及び前記第2の領域の各々におけるジェスチャを示す電波信号を入力することにより予め機械学習を行った認識エンジンを用いて、ジェスチャを認識するように構成してもよい。
また、本発明の一態様に係るジェスチャ認識装置は、ジェスチャを認識するためのジェスチャ認識装置であって、電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち1つのセンサ領域を、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた前記1つの電波センサのみの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備える。
本態様によれば、複数の電波センサの受信結果に基づいて、複数のセンサ領域のうち1つのセンサ領域をジェスチャ発生領域として特定するので、複数のセンサ領域における任意の位置で行われたジェスチャを認識することができる。
例えば、前記複数のセンサ領域の各々は、当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、前記制御部は、前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち前記1つのセンサ領域に含まれる前記第1の領域及び前記第2の領域のいずれか一方から、1つのセンサ領域を前記ジェスチャ発生領域として特定するように構成してもよい。
例えば、前記制御部は、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生した場合には、前記2つのセンサ領域の2つの前記第1の領域のいずれか一方を前記ジェスチャ発生領域として特定するように構成してもよい。
例えば、前記制御部は、前記ジェスチャが隣り合う2つのセンサ領域の一方の前記第1の領域と他方の前記第2の領域とが重なり合った領域で発生した場合には、当該第1の領域を前記ジェスチャ発生領域として特定するように構成してもよい。
例えば、前記認識エンジンは、前記複数の電波センサの各々に対して、当該電波センサに対応付けられた前記センサ領域に含まれる前記第1の領域及び前記第2の領域の各々におけるジェスチャを示す電波信号を入力することにより予め機械学習を行った学習結果に基づいて、ジェスチャを認識するように構成してもよい。
例えば、前記ジェスチャ認識装置は、さらに、回転軸周りに回転可能な筐体と、前記筐体を回転させるための駆動源と、を備え、前記複数の電波センサは、前記筐体の側面に前記筐体の回転方向に沿って配置されており、前記制御部は、前記複数のセンサ領域のうち前記1つのセンサ領域に含まれる前記第2の領域を前記ジェスチャ発生領域として特定した場合に、前記駆動源を制御することにより当該1つのセンサ領域に含まれる前記第1の領域が前記ジェスチャ発生領域と重なるように前記筐体を回転させるように構成してもよい。
また、本発明の一態様に係るジェスチャ認識装置は、ジェスチャを認識するためのジェスチャ認識装置であって、電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち少なくとも2つのセンサ領域を、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、前記複数の電波センサのうち、前記ジェスチャ発生領域に対応付けられた前記少なくとも2つの電波センサの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備える。
本態様によれば、複数の電波センサの受信結果に基づいて、複数のセンサ領域のうち少なくとも2つのセンサ領域をジェスチャ発生領域として特定するので、複数のセンサ領域における任意の位置で行われたジェスチャを認識することができる。
例えば、前記複数のセンサ領域の各々は、当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、前記制御部は、前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち前記少なくとも2つのセンサ領域の各々に含まれる前記第1の領域及び前記第2の領域のいずれか一方を、前記ジェスチャ発生領域としてそれぞれ特定するように構成してもよい。
例えば、前記認識エンジンは、前記複数の電波センサの各々に対して、当該電波センサに対応付けられた前記センサ領域に含まれる前記第1の領域及び前記第2の領域の各々におけるジェスチャを示す電波信号を入力することにより予め機械学習を行った学習結果に基づいて、ジェスチャを認識するように構成してもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
(実施の形態1)
[1-1.ジェスチャ認識装置の構造]
まず、図1~図3を参照しながら、実施の形態1に係るジェスチャ認識装置2の構造について説明する。図1は、実施の形態1に係るジェスチャ認識装置2の外観を示す斜視図である。図2は、実施の形態1に係るジェスチャ認識装置2を示す平面図である。図3は、実施の形態1に係るセンサ領域14a(14b~14f)を拡大して示す図である。
図1に示すように、ジェスチャ認識装置2は、例えばAI(Artificial Intelligence)スピーカ等に搭載された、指示者4(動体の一例)のジェスチャを認識するためのユーザインタフェースである。図2に示すように、指示者4は、複数のセンサ領域14a~14f(後述する)のうちいずれかのセンサ領域に位置した状態でジェスチャを行うことにより、ジェスチャに対応したAIスピーカの操作を指示することができる。例えば、指示者4が右腕を振り上げるジェスチャを行った際には、AIスピーカの音量を上げることができ、指示者4が右腕を振り下ろすジェスチャを行った際には、AIスピーカの音量を下げることができる。
図1に示すように、ジェスチャ認識装置2は、筐体6と、複数の電波センサ8a,8b,8c,8d,8e,8f(8a~8f)とを備えている。
図1に示すように、筐体6は、中空状の円柱形状に形成されている。筐体6は、軸方向に延びる回転軸10周りに回転可能に構成されている。筐体6の内部には、筐体6を回転させるためのモータ12(駆動源の一例)が配置されている。なお、図示しないが、筐体6の内部には、モータ12以外に、例えばスピーカ、マイクロホン及び回路基板等が配置されている。
図1及び図2に示すように、複数の電波センサ8a~8fは、筐体6の側面に、筐体6の周方向(回転方向)に沿って等間隔に配置されている。複数の電波センサ8a~8fの各々は、一体の動体(例えば指示者4)に向けて電波信号を送信し、且つ、一体の動体で反射した電波信号を受信する。電波信号は、例えば60GHz帯の周波数帯域のミリ波レーダーである。なお、複数の電波センサ8a~8fの動作タイミングについては、複数の電波センサ8a~8fを同時に動作させてもよいし、電波センサ同士の干渉を避けるために複数の電波センサ8a~8fを時分割で動作させてもよい。
図2に示すように、複数の電波センサ8a,8b,8c,8d,8e,8fにはそれぞれ、電波信号を送受信するための領域である複数のセンサ領域14a,14b,14c,14d,14e,14f(14a~14f)が対応付けられている。センサ領域14a(14b~14f)は、当該センサ領域14a(14b~14f)に対応付けられた電波センサ8a(8b~8f)の光軸16を中心に所定の角度θ(例えば約100°)で略円錐状に広がっている。図2に示すように、複数のセンサ領域14a~14fのうち隣り合う2つのセンサ領域の各々の一部は、平面視で重なり合っている。
なお、図2の破線で示す円よりも外側の領域では、動体は、複数のセンサ領域14a~14fのいずれかに位置するようになる。そのため、この場合には、動体で反射した電波信号を複数の電波センサ8a~8fのいずれかで受信することができる。
図3に示すように、複数のセンサ領域14a~14fの各々は、当該センサ領域14a(14b~14f)に対応付けられた電波センサ8a(8b~8f)の光軸16を中心に広がる第1の領域20(以下、「領域A」ともいう)と、第1の領域20を包囲するように光軸16を中心に広がる第2の領域22(以下、「領域B」ともいう)とを含む。すなわち、第2の領域22は、第1の領域20のよりも外側の領域である。なお、センサ領域14a(14b~14f)の第2の領域22よりも外側の領域は、電波センサ8a(8b~8f)が電波信号を送受信しない非センサ領域24(以下、「領域C」ともいう)である。
動体で反射した電波信号が例えばセンサ領域14aの第1の領域20を通過した場合には、電波センサ8aは当該電波信号を受信することができ、認識エンジン28(後述する)はジェスチャを高い精度で認識することができる。一方、動体で反射した電波信号が例えばセンサ領域14aの第2の領域22を通過した場合には、電波センサ8aは当該電波信号を受信することができるが、認識エンジン28によるジェスチャの認識の精度は第1の領域20の場合よりも低くなる。
[1-2.ジェスチャ認識装置の機能構成]
次に、図4~図7Cを参照しながら、実施の形態1に係るジェスチャ認識装置2の機能構成について説明する。図4は、実施の形態1に係るジェスチャ認識装置2の機能構成を示すブロック図である。図5は、実施の形態1に係る電波センサ8a(8b~8f)の機能構成を示すブロック図である。図6は、ジェスチャの機械学習の概念を示すブロック図である。図7Aは、第1の領域20におけるジェスチャの一例を示す図である。図7Bは、第2の領域22におけるジェスチャの一例を示す図である。図7Cは、重なり合う2つの第2の領域22におけるジェスチャの一例を示す図である。
図4に示すように、ジェスチャ認識装置2は、機能構成として、複数の電波センサ8a~8fと、制御部26と、認識エンジン28とを備えている。
図5に示すように、複数の電波センサ8a~8fの各々は、信号源30と、増幅器32と、送信アンテナ34と、受信アンテナ36,38と、増幅器40,42と、乗算器44,46と、信号処理部48,50と、A/Dコンバータ52,54とを有している。
信号源30は、電波信号を生成する。増幅器32は、信号源30からの電波信号を増幅させる。送信アンテナ34は、増幅器32からの電波信号を動体に向けて送信する。
受信アンテナ36,38は、動体で反射した電波信号を受信する。増幅器40,42はそれぞれ、受信アンテナ36,38からの電波信号を増幅させる。乗算器44は、信号源30からの電波信号と、増幅器40からの電波信号との周波数差、位相差等の解析情報を算出する。乗算器46は、信号源30からの電波信号と、増幅器42からの電波信号との周波数差、位相差等の解析情報を算出する。信号処理部48,50はそれぞれ、乗算器44,46からの電波信号に所定の処理を施す。A/Dコンバータ52,54はそれぞれ、信号処理部48,50からの電波信号をアナログ信号からデジタル信号に変換する。A/Dコンバータ52,54からの電波信号は、いわゆるIQ信号(I信号及びQ信号)として制御部26に出力される。
制御部26は、複数の電波センサ8a~8fの受信結果に基づいて、複数のセンサ領域14a~14fのうち1つ以上のセンサ領域を、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する。例えば、指示者4がセンサ領域14aの第1の領域20に位置した状態でジェスチャを行った場合には、制御部26は、電波センサ8aの受信結果に基づいて、センサ領域14aの第1の領域20をジェスチャ発生領域として特定する。この時、制御部26は、動体で反射した電波信号の電波センサ8aへの入射角度に基づいて、センサ領域14aの第1の領域20及び第2の領域22のいずれでジェスチャが発生したのかを判断する。
なお、ジェスチャ認識装置2が例えば室内に設置されている場合に、室外に存在する動体を複数の電波センサ8a~8fによる認識対象にしないようにするために、例えば次のように構成してもよい。すなわち、制御部26は、複数の電波センサ8a~8fの各々で受信した電波信号に基づいて、ジェスチャ認識装置2と動体との間の距離を測定し、測定した距離が閾値を超えた場合に、当該動体を認識対象から除外する。
さらに、制御部26は、特定したジェスチャ発生領域に基づいて、モータ12の駆動を制御する。具体的には、制御部26は、図7Bの(a)に示すように、例えばセンサ領域14aの第2の領域22をジェスチャ発生領域として特定した際に、モータ12を駆動することにより、図7Bの(b)に示すように、センサ領域14aの第1の領域20がジェスチャ発生領域と重なるように筐体6を回転させる。なお、図7Bの(b)において、ジェスチャ発生領域(すなわち、筐体6の回転前における第2の領域22に対応する領域)にハッチングを付してある。
なお、ジェスチャ認識装置2の周囲に複数の人が存在する場合には、制御部26は、複数の人のうち、最初に大きなジェスチャ(例えば、右腕で大きく円を描くジェスチャ等)をした人を指示者4として特定してもよい。この場合、ジェスチャ認識装置2が指示者4を特定したことを指示者4に知らせるために、筐体6に配置された発光素子(図示せず)を点灯させてもよい。その後、この指示者4は、その場でジェスチャを行うことにより、AIスピーカの操作を指示することができる。
認識エンジン28は、複数の電波センサ8a~8fのうち、ジェスチャ発生領域に対応付けられた1つ以上の電波センサの受信結果に基づいて、指示者4のジェスチャを認識する。具体的には、認識エンジン28は、複数の電波センサ8a~8fの各々に対して、当該電波センサ8a(8b~8f)に対応付けられたセンサ領域14a(14b~14f)に含まれる第1の領域20及び第2の領域22の各々におけるジェスチャを示す電波信号を入力することにより予め機械学習を行った学習結果に基づいて、ジェスチャを認識する。
認識エンジン28で得られた認識結果は、ジェスチャ認識装置2自身の操作コマンドに変換されて、ジェスチャ認識装置2の動作指示に使用される。あるいは、認識エンジン28で得られた認識結果は、ジェスチャ認識装置2に有線接続又は無線接続された機器の操作コマンドに変換されて、当該機器の動作指示に使用される。
認識エンジン28における機械学習は、ジェスチャ認識装置2の製造時において例えば次のようにして行われる。図6に示すように、第1の領域20又は第2の領域22におけるジェスチャを示す電波信号(IQ信号)は、訓練器56に入力される。訓練器56に入力された電波信号に対して、事前に人間により判断基準が示された教師データに基づいて訓練を行うことにより、電波信号に対して適正な出力を行うためのパラメータを生成する。生成されたパラメータは、予測器・分類器58に学習結果として蓄積される。この予測器・分類器58は、認識エンジン28に搭載される。認識エンジン28は、予測器・分類器58に蓄積されたパラメータに基づいて、ジェスチャを認識する。なお、電波信号は、1組又は複数組のI信号及びQ信号から、少なくとも1つの信号を選択したものであってもよい。すなわち、電波信号は、例えば1つのI信号のみでもよいし、2組のI信号及びQ信号等でもよい。
ここで、認識エンジン28における機械学習は、例えば次の3つのパターンで行われる。第1のパターンでは、図7Aに示すように、指示者4がセンサ領域14a(14b~14f)の第1の領域20に位置した状態でジェスチャを行い、第1の領域20におけるジェスチャを示す電波信号を訓練器56に入力することにより機械学習を行う。第2のパターンでは、図7Bの(a)に示すように、指示者4がセンサ領域14a(14b~14f)の第2の領域22に位置した状態でジェスチャを行い、第2の領域22におけるジェスチャを示す電波信号を訓練器56に入力することにより機械学習を行う。第3のパターンでは、図7Cに示すように、指示者4が、例えば隣り合う2つのセンサ領域14a,14bの各々の第2の領域22が重なり合った領域に位置した状態でジェスチャを行い、2つの第2の領域22の各々におけるジェスチャを示す電波信号を訓練器56に入力することにより機械学習を行う。
なお、例えば隣り合う2つのセンサ領域14a,14bの各々の第1の領域20が重なり合った領域に位置した状態でジェスチャを行い、2つの第1の領域20の各々におけるジェスチャを示す電波信号を訓練器56に入力することにより機械学習を行ってもよい。
[1-3.ジェスチャ認識装置の動作]
次に、実施の形態1に係るジェスチャ認識装置2の動作について説明する。以下、ジェスチャ認識装置2の動作について、1つの電波センサ8aで電波信号を受信した場合と、2つの電波センサ8a,8bで電波信号を受信した場合とに分けて説明する。
[1-3-1.1つの電波センサで電波信号を受信した場合の動作]
まず、図7A、図7B及び図8を参照しながら、複数の電波センサ8a~8fのうち1つの電波センサ(例えば、電波センサ8a)で電波信号を受信した場合におけるジェスチャ認識装置2の動作について説明する。図8は、1つの電波センサ8aで電波信号を受信した場合における、実施の形態1に係るジェスチャ認識装置2の動作の流れを示すフローチャートである。
図8に示すように、例えば1つの電波センサ8aが電波信号を受信した場合には(S101でYES)、制御部26は、1つの電波センサ8aの受信結果に基づいて、1つのジェスチャ発生領域を特定する(S102)。なお、1つの電波センサ8aが電波信号を受信しない場合、すなわち複数の電波センサ8a~8fのいずれも電波信号を受信しない場合には(S101でNO)、制御部26は処理を終了する。
図7Aに示すように、指示者4がセンサ領域14aの第1の領域20(領域A)に位置した状態でジェスチャを行っている場合には、特定されたジェスチャ発生領域はセンサ領域14aの第1の領域20となる(S103でYES)。この場合、認識エンジン28は、ジェスチャ発生領域に対応付けられた1つの電波センサ8aのみの受信結果に基づいて、指示者4のジェスチャを認識する(S104)。
ステップS103に戻り、図7Bの(a)に示すように、指示者4がセンサ領域14aの第2の領域22(領域B)に位置した状態でジェスチャを行っている場合には、特定されたジェスチャ発生領域はセンサ領域14aの第2の領域22となる(S103でNO)。この場合、制御部26は、モータ12を駆動することにより筐体6を回転させる(S105)。これにより、図7Bの(b)に示すように、センサ領域14aの第1の領域20がジェスチャ発生領域と重なるようになる。認識エンジン28は、ジェスチャ発生領域に対応付けられた1つの電波センサ8aのみの受信結果に基づいて、指示者4のジェスチャを認識する(S104)。これにより、電波センサ8aはセンサ領域14aの第1の領域20で電波信号を受信するので、認識エンジン28は、より高い精度で指示者4のジェスチャを認識することができる。
なお、本実施の形態では、ステップS105において、制御部26は筐体6を回転させたが、これに限定されず、筐体6を回転させないようにしてもよい。この場合、認識エンジン28は、電波センサ8aが第2の領域22で電波信号を受信した結果に基づいて、指示者4のジェスチャを認識する。これにより、認識エンジン28は、上述のように筐体6を回転させる場合よりも認識の精度は劣るものの、指示者4のジェスチャを認識することができる。
[1-3-2.2つの電波センサで電波信号を受信した場合の動作]
次に、図7C及び図9を参照しながら、複数の電波センサ8a~8fのうち2つの電波センサ(例えば、電波センサ8a,8b)で電波信号を受信した場合におけるジェスチャ認識装置2の動作について説明する。図9は、2つの電波センサ8a,8bで電波信号を受信した場合における、実施の形態1に係るジェスチャ認識装置2の動作の流れを示すフローチャートである。
図9に示すように、例えば2つの電波センサ8a,8bが電波信号を受信した場合には(S201でYES)、制御部26は、2つの電波センサ8a,8bの受信結果に基づいて、2つのジェスチャ発生領域を特定する(S202)。なお、2つの電波センサ8a,8bがいずれも電波信号を受信しない場合には(S201でNO)、制御部26は処理を終了する。また、2つの電波センサ8a,8bのうちいずれか1つの電波センサのみが電波信号を受信した場合には(S201でNO)、図8に示すフローチャートの処理が実行される。
指示者4が、センサ領域14aの第1の領域20(領域A)とセンサ領域14bの第1の領域20(領域A)とが重なり合った領域に位置した状態でジェスチャを行っている場合には、特定された2つのジェスチャ発生領域はそれぞれセンサ領域14aの第1の領域20及びセンサ領域14bの第1の領域20となる(S203でYES)。この場合、制御部26は、2つの電波センサ8a,8bのうちいずれか1つの電波センサを選択する(S204)。すなわち、制御部26は、センサ領域14aの第1の領域20及びセンサ領域14bの第1の領域20のいずれか一方をジェスチャ発生領域として特定する。この時、制御部26は、2つの電波センサ8a,8bのうち、予め決められた1つの電波センサを選択してもよいし、指示者4の位置が光軸16により近い方の1つの電波センサを選択してもよい。認識エンジン28は、選択された1つの電波センサ8aのみの受信結果に基づいて、指示者4のジェスチャを認識する(S205)。
なお、本実施の形態では、ステップS204において、制御部26は、2つの電波センサ8a,8bのうちいずれか1つの電波センサを選択したが、これに限定されず、2つの電波センサ8a,8bの両方を選択してもよい。この場合、認識エンジン28は、選択された2つの電波センサ8a,8bの受信結果に基づいて、指示者4のジェスチャを認識するようになる。
ステップS203に戻り、図7Cに示すように、指示者4が、センサ領域14aの第2の領域22(領域B)とセンサ領域14bの第2の領域22(領域B)とが重なり合った領域に位置した状態でジェスチャを行っている場合には、特定された2つのジェスチャ発生領域はそれぞれセンサ領域14aの第2の領域22及びセンサ領域14bの第2の領域22となる(S203でNO、S206でYES)。この場合、制御部26は、2つの電波センサ8a,8bの両方を選択する(S207)。認識エンジン28は、選択された2つの電波センサ8a,8bの受信結果に基づいて、指示者4のジェスチャを認識する(S205)。
なお、本実施の形態では、ステップS207において、制御部26は、2つの電波センサ8a,8bの両方を選択したが、これに限定されず、2つの電波センサ8a,8bのうちいずれか1つの電波センサを選択してもよい。この時、制御部26は、2つの電波センサ8a,8bのうち、予め決められた1つの電波センサを選択してもよいし、指示者4の位置が光軸16により近い方の1つの電波センサを選択してもよい。
ステップS203に戻り、指示者4が、センサ領域14aの第1の領域20(領域A)とセンサ領域14bの第2の領域22(領域B)とが重なり合った領域に位置した状態でジェスチャを行っている場合には、特定された2つのジェスチャ発生領域はそれぞれセンサ領域14aの第1の領域20及びセンサ領域14bの第2の領域22となる(S203でNO、S206でNO)。この場合、制御部26は、2つの電波センサ8a,8bのうち、第1の領域20で電波信号を受信した電波センサ8aを選択する(S208)。すなわち、制御部26は、センサ領域14aの第1の領域20及びセンサ領域14bの第2の領域22のうち、センサ領域14aの第1の領域20をジェスチャ発生領域として特定する。認識エンジン28は、選択された電波センサ8aの受信結果に基づいて、指示者4のジェスチャを認識する(S205)。
[1-4.効果]
図2に示すように、複数の電波センサ8a~8fにそれぞれ対応付けられた複数のセンサ領域14a~14fは、平面視で筐体6の全周囲の領域をカバーしている。制御部26は、複数の電波センサ8a~8fの受信結果に基づいて、複数のセンサ領域14a~14fのうち1つ以上のセンサ領域をジェスチャ発生領域として特定する。これにより、複数のセンサ領域14a~14fのうち、任意の位置で行われた指示者4のジェスチャを認識することができる。
(実施の形態2)
[2-1.ジェスチャ認識装置の構造]
次に、図10及び図11を参照しながら、実施の形態2に係るジェスチャ認識装置2Aの構造について説明する。図10は、実施の形態2に係るジェスチャ認識装置2Aの外観を示す斜視図である。図11は、実施の形態2に係るジェスチャ認識装置2Aを示す平面図である。なお、本実施の形態において、上記実施の形態1と同一の構成要素には同一の符号を付して、その説明を省略する。
図10及び図11に示すように、実施の形態2に係るジェスチャ認識装置2Aは、複数の電波センサ8a~8fに加えて、複数の電波センサ60a,60b,60c,60d,60e,60f(60a~60f)を備えている。なお、本実施の形態では、筐体6は回転しないように構成されており、筐体6の内部にはモータは配置されていない。
図10及び図11に示すように、複数の電波センサ60a~60fは、筐体6の側面に、筐体6の周方向に沿って等間隔に配置されている。複数の電波センサ60a~60fは、複数の電波センサ8a~8fの下側に、複数の電波センサ8a~8fに対して千鳥状に配置されている。この時、上側の複数の電波センサ8a~8fは、それぞれの光軸が仰角を持ち、水平面に対してやや上方を向いていてもよい。また、下側の複数の電波センサ60a~60fは、それぞれの光軸が俯角を持ち、水平面に対してやや下方を向いていてもよい。複数の電波センサ60a~60fの各々は、複数の電波センサ8a~8fと同様に、動体に向けて電波信号を送信し、且つ、動体で反射した電波信号を受信する。図11に示すように、複数の電波センサ60a,60b,60c,60d,60e,60fにはそれぞれ、電波信号を送受信するための領域である複数のセンサ領域62a,62b,62c,62d,62e,62f(62a~62f)が対応付けられている。
図11に示すように、複数のセンサ領域62a~62fのうち、横方向に隣り合う2つのセンサ領域(例えば、センサ領域62a,62b)の各々の一部は、互いに重なり合っている。さらに、複数のセンサ領域14a~14f(図2参照)及び複数のセンサ領域62a~62fのうち、上下方向に隣り合う3つのセンサ領域(例えば、センサ領域14a,60a,60b)の各々の一部は、互いに重なり合っている。
また、図11に示すように、複数のセンサ領域62a~62fの各々は、複数のセンサ領域14a~14fと同様に、当該センサ領域62a(62b~62f)に対応付けられた電波センサ60a(60b~60f)の光軸64を中心に広がる第1の領域66(以下、「領域A」ともいう)と、第1の領域66を包囲するように光軸64を中心に広がる第2の領域68(以下、「領域B」ともいう)とを含む。なお、説明の都合上、図11においては、複数の電波センサ8a~8fにそれぞれ対応付けられた複数のセンサ領域14a~14fの図示を省略してある。
[2-2.ジェスチャ認識装置の機能構成]
次に、図12を参照しながら、実施の形態2に係るジェスチャ認識装置2Aの機能構成について説明する。図12は、実施の形態2に係るジェスチャ認識装置2Aの機能構成を示すブロック図である。
図12に示すように、ジェスチャ認識装置2Aは、機能構成として、複数の電波センサ8a~8fと、複数の電波センサ60a~60fと、制御部26Aと、認識エンジン28とを備えている。
制御部26Aは、複数の電波センサ8a~8f,60a~60fの受信結果に基づいて、複数のセンサ領域14a~14f,62a~62fのうち1つ以上のセンサ領域を、ジェスチャが発生したジェスチャ発生領域として特定する。例えば、指示者4が、センサ領域14aの第1の領域20とセンサ領域62aの第1の領域66とセンサ領域62bの第1の領域66とが互いに重なり合った領域に位置した状態でジェスチャを行った場合には、制御部26は、電波センサ8a,60a,60bの受信結果に基づいて、センサ領域14aの第1の領域20、センサ領域62aの第1の領域66及びセンサ領域62bの第1の領域66をジェスチャ発生領域として特定する。
[2-3.ジェスチャ認識装置の動作]
次に、図13を参照しながら、複数の電波センサ8a~8f,60a~60fのうち3つの電波センサ(例えば、電波センサ8a,60a,60b)で電波信号を受信した場合におけるジェスチャ認識装置2Aの動作について説明する。図13は、3つの電波センサ8a,60a,60bで電波信号を受信した場合における、実施の形態2に係るジェスチャ認識装置2Aの動作の流れを示すフローチャートである。
図13に示すように、例えば3つの電波センサ8a,60a,60bが電波信号を受信した場合には(S301でYES)、制御部26Aは、3つの電波センサ8a,60a,60bの受信結果に基づいて、3つのジェスチャ発生領域を特定する(S302)。
なお、3つの電波センサ8a,60a,60bがいずれも電波信号を受信しない場合には(S301でNO)、制御部26Aは処理を終了する。また、3つの電波センサ8a,60a,60bのうちいずれか1つの電波センサのみが電波信号を受信した場合には(S301でNO)、図8に示すフローチャートの処理が実行される。さらに、3つの電波センサ8a,60a,60bのうちいずれか2つの電波センサのみが電波信号を受信した場合には(S301でNO)、図9に示すフローチャートの処理が実行される。
指示者4が、センサ領域14aの第1の領域20(領域A)とセンサ領域62aの第1の領域66(領域A)とセンサ領域62bの第1の領域66(領域A)とが重なり合った領域に位置した状態でジェスチャを行っている場合には、特定された3つのジェスチャ発生領域はそれぞれセンサ領域14aの第1の領域20、センサ領域62aの第1の領域66及びセンサ領域62bの第1の領域66となる(S303でYES)。この場合、制御部26Aは、3つの電波センサ8a,60a,60bのうちいずれか1つの電波センサ(例えば、電波センサ8a)を選択する(S304)。すなわち、制御部26Aは、センサ領域14aの第1の領域20、センサ領域62aの第1の領域66及びセンサ領域62bの第1の領域66のいずれか1つをジェスチャ発生領域として特定する。この時、制御部26Aは、3つの電波センサ8a,60a,60bのうち、予め決められた1つの電波センサを選択してもよいし、指示者4の位置が光軸16,64により近い1つの電波センサを選択してもよい。認識エンジン28は、選択された1つの電波センサ8aのみの受信結果に基づいて、指示者4のジェスチャを認識する(S305)。
なお、本実施の形態では、ステップS304において、制御部26Aは、3つの電波センサ8a,60a,60bのうちいずれか1つの電波センサを選択したが、これに限定されず、3つの電波センサ8a,60a,60bのうちいずれか2つの電波センサ(例えば、電波センサ8a,60a)を選択してもよい。この時、制御部26Aは、3つの電波センサ8a,60a,60bのうち、予め決められた2つの電波センサを選択してもよいし、指示者4の位置が光軸16,64により近い2つの電波センサを選択してもよい。この場合、認識エンジン28は、選択された2つの電波センサ8a,60aの受信結果に基づいて、指示者4のジェスチャを認識するようになる。
ステップS303に戻り、指示者4が、センサ領域14aの第2の領域22(領域B)とセンサ領域62aの第2の領域68(領域B)とセンサ領域62bの第2の領域68(領域B)とが重なり合った領域に位置した状態でジェスチャを行っている場合には、特定された3つのジェスチャ発生領域はそれぞれセンサ領域14aの第2の領域22、センサ領域62aの第2の領域68及びセンサ領域62bの第2の領域68となる(S303でNO、S306でYES)。この場合、制御部26Aは、3つの電波センサ8a,60a,60bの全てを選択する(S307)。認識エンジン28は、選択された3つの電波センサ8a,60a,60bの受信結果に基づいて、指示者4のジェスチャを認識する(S305)。
なお、本実施の形態では、ステップS307において、制御部26Aは、3つの電波センサ8a,60a,60bの全てを選択したが、これに限定されず、3つの電波センサ8a,60a,60bのうちいずれか2つ(又は1つ)の電波センサを選択してもよい。この時、制御部26Aは、3つの電波センサ8a,60a,60bのうち、予め決められた2つ(又は1つ)の電波センサを選択してもよいし、指示者4の位置が光軸16,64により近い2つ(又は1つ)の電波センサを選択してもよい。
ステップS303に戻り、指示者4が、センサ領域14aの第1の領域20(領域A)とセンサ領域62aの第1の領域66(領域A)とセンサ領域62bの第2の領域68(領域B)とが重なり合った領域に位置した状態でジェスチャを行っている場合には、特定された3つのジェスチャ発生領域はそれぞれセンサ領域14aの第1の領域20、センサ領域62aの第1の領域66及びセンサ領域62bの第2の領域68となる(S303でNO、S306でNO)。この場合、制御部26Aは、第1の領域20で電波信号を受信した電波センサ8a及び第1の領域66で電波信号を受信した電波センサ60aのうち、いずれか1つの電波センサ(例えば、電波センサ8a)を選択する(S308)。すなわち、制御部26Aは、センサ領域14aの第1の領域20及びセンサ領域62aの第1の領域66のいずれか1つをジェスチャ発生領域として特定する。この時、制御部26Aは、2つの電波センサ8a,60aのうち、予め決められた1つの電波センサを選択してもよいし、指示者4の位置が光軸16,64により近い1つの電波センサを選択してもよい。認識エンジン28は、選択された電波センサ8aの受信結果に基づいて、指示者4のジェスチャを認識する(S305)。
なお、本実施の形態では、ステップS308において、制御部26Aは、2つの電波センサ8a,60aのうちいずれか1つの電波センサ8aを選択したが、これに限定されず、2つの電波センサ8a,60aの両方を選択してもよい。この場合、認識エンジン28は、選択された2つの電波センサ8a,60aの受信結果に基づいて、指示者4のジェスチャを認識するようになる。
ステップS303に戻り、指示者4が、センサ領域14aの第1の領域20(領域A)とセンサ領域62aの第2の領域68(領域B)とセンサ領域62bの第2の領域68(領域B)とが重なり合った領域に位置した状態でジェスチャを行っている場合には、特定された3つのジェスチャ発生領域はそれぞれセンサ領域14aの第1の領域20、センサ領域62aの第2の領域68及びセンサ領域62bの第2の領域68となる(S303でNO、S306でNO)。この場合、制御部26Aは、第1の領域20で電波信号を受信した電波センサ8aを選択する(S308)。認識エンジン28は、選択された電波センサ8aの受信結果に基づいて、指示者4のジェスチャを認識する(S305)。
[2-4.効果]
上述したように、本実施の形態では、複数の電波センサ8a~8fと複数の電波センサ60a~60fとが筐体6に上下2段に配置されているので、上下方向の死角(領域B及び領域C)を減らすことができる。その結果、指示者4のジェスチャをより高い精度で認識することができる。
(変形例等)
以上、本発明の1つ又は複数の態様に係るジェスチャ認識方法及びジェスチャ認識装置について、上記各実施の形態に基づいて説明したが、本発明は、上記各実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の1つ又は複数の態様の範囲内に含まれてもよい。
例えば、上記各実施の形態では、ジェスチャ認識装置2(2A)をAIスピーカに搭載したが、これに限定されず、例えばテレビジョン受像機又はエアコン等の各種機器に搭載してもよい。
また、上記各実施の形態におけるジェスチャ認識装置2(2A)が備える構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。
システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。前記ROMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、上記各実施の形態おけるジェスチャ認識装置が備える構成要素は、通信ネットワークを介して接続された複数の装置に分散して備えられてもよい。
また、本発明の一態様は、このようなジェスチャ認識装置2(2A)だけではなく、ジェスチャ認識装置2(2A)に含まれる特徴的な構成要素をステップとするジェスチャ認識方法であってもよい。また、本発明の一態様は、ジェスチャ認識方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本発明に係るジェスチャ認識装置は、例えばAIスピーカ等に搭載されるユーザインタフェースとして適用することができる。
2,2A ジェスチャ認識装置
4 指示者
6 筐体
8a,8b,8c,8d,8e,8f,60a,60b,60c,60d,60e,60f 電波センサ
10 回転軸
12 モータ
14a,14b,14c,14d,14e,14f,62a,62b,62c,62d,62e,62f センサ領域
16,64 光軸
20,66 第1の領域
22,68 第2の領域
24 非センサ領域
26,26A 制御部
28 認識エンジン
30 信号源
32,40,42 増幅器
34 送信アンテナ
36,38 受信アンテナ
44,46 乗算器
48,50 信号処理部
52,54 A/Dコンバータ
56 訓練器
58 予測器・分類器

Claims (20)

  1. 複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、
    前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、
    前記ジェスチャ認識方法は、
    (a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも2つを、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、
    (b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識するステップと、を含み、
    前記(b)において、前記ジェスチャ発生領域に対応付けられた少なくとも2つの電波センサの受信結果に基づいて、前記ジェスチャの認識に用いる電波センサの数を決定する
    ジェスチャ認識方法。
  2. 前記複数の電波センサは、電波信号が互いに重なり合うように送信する少なくとも2つの電波センサを含む
    請求項1に記載のジェスチャ認識方法。
  3. 複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、
    前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    前記ジェスチャ認識方法は、
    (a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも2つを、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、
    (b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識するステップと、を含み、
    (1)前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記2つのセンサ領域のいずれか一方に対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の一方の前記第1の領域と他方の前記第2の領域とが重なり合った領域で発生したと判断される場合には、前記(b)において、当該第1の領域を含む前記センサ領域に対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (3)前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記2つのセンサ領域のそれぞれに対応する2つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ェスチャ認識方法。
  4. 複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、
    前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    前記ジェスチャ認識方法は、
    (a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも2つを、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、
    (b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識するステップと、を含み、
    (1)前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の一方の前記第1の領域と他方の前記第2の領域とが重なり合った領域で発生したと判断される場合には、前記(b)において、当該第1の領域を含む前記センサ領域に対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記2つのセンサ領域のそれぞれに対応する2つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識方法。
  5. 複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、
    前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    前記ジェスチャ認識方法は、
    (a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも2つを、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、
    (b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識するステップと、を含み、
    (1)前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記2つのセンサ領域のいずれか一方に対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記(a)において、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記2つのセンサ領域のそれぞれに対応する2つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識方法。
  6. 複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、
    前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    前記ジェスチャ認識方法は、
    (a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも3つを、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、
    (b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識するステップと、を含み、
    (1)前記(a)において、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記3つのセンサ領域のいずれか1つに対応する電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記(a)において、前記ジェスチャが互いに隣り合う3つのセンサ領域の少なくとも1つの前記第1の領域と残りの前記第2の領域とが重なり合った領域で発生したと判断される場合には、前記(b)において、当該第1の領域を含む前記センサ領域のいずれか1つに対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (3)前記(a)において、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記3つのセンサ領域のそれぞれに対応する3つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識方法。
  7. 複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、
    前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    前記ジェスチャ認識方法は、
    (a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも3つを、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、
    (b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識するステップと、を含み、
    (1)前記(a)において、前記ジェスチャが互いに隣り合う3つのセンサ領域の少なくとも1つの前記第1の領域と残りの前記第2の領域とが重なり合った領域で発生したと判断される場合には、前記(b)において、当該第1の領域を含む前記センサ領域のいずれか1つに対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記(a)において、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記3つのセンサ領域のそれぞれに対応する3つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識方法。
  8. 複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、
    前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    前記ジェスチャ認識方法は、
    (a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも3つを、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、
    (b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識するステップと、を含み、
    (1)前記(a)において、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記3つのセンサ領域のいずれか1つに対応する電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記(a)において、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記(b)において、前記3つのセンサ領域のそれぞれに対応する3つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識方法。
  9. 前記(b)において、前記複数の電波センサの各々に対して、当該電波センサに対応付けられた前記センサ領域に含まれる前記第1の領域及び前記第2の領域の各々におけるジェスチャを示す電波信号を入力することにより予め機械学習を行った認識エンジンを用いて、ジェスチャを認識する
    請求項のいずれか1項に記載のジェスチャ認識方法。
  10. 複数の電波センサを用いて動体によるジェスチャを認識するためのジェスチャ認識方法であって、
    前記複数の電波センサはそれぞれ、一体の動体に向けて電波信号を送信し且つ前記一体の動体で反射した電波信号を受信するための領域である複数のセンサ領域に対応付けられており、
    前記ジェスチャ認識方法は、
    (a)前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち1つのセンサ領域を、前記一体の動体によるジェスチャが発生したジェスチャ発生領域として特定するステップと、
    (b)前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた1つの電波センサのみの受信結果に基づいて前記ジェスチャを認識するステップと、を含み、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    前記(a)において、前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち前記1つのセンサ領域に含まれる前記第1の領域及び前記第2の領域のいずれか一方から、1つのセンサ領域を前記ジェスチャ発生領域として特定し、
    前記複数の電波センサは、回転軸周りに回転可能な筐体の側面に、前記筐体の回転方向に沿って配置されており、
    前記ジェスチャ認識方法は、さらに、前記(a)において前記複数のセンサ領域のうち前記1つのセンサ領域に含まれる前記第2の領域を前記ジェスチャ発生領域として特定した場合に、当該1つのセンサ領域に含まれる前記第1の領域が前記ジェスチャ発生領域と重なるように前記筐体を回転させるステップを含
    ェスチャ認識方法。
  11. ジェスチャを認識するためのジェスチャ認識装置であって、
    電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、
    前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも2つを、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、
    前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備え
    前記認識エンジンは、前記ジェスチャ発生領域に対応付けられた少なくとも2つの電波センサの受信結果に基づいて、前記ジェスチャの認識に用いる電波センサの数を決定する
    ジェスチャ認識装置。
  12. 前記複数の電波センサは、電波信号が互いに重なり合うように送信する少なくとも2つの電波センサを含む
    請求項11に記載のジェスチャ認識装置。
  13. ジェスチャを認識するためのジェスチャ認識装置であって、
    電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、
    前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも2つを、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、
    前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備え、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    (1)前記制御部が、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生したと判断した場合には、前記認識エンジンは、前記2つのセンサ領域のいずれか一方に対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記制御部が、前記ジェスチャが隣り合う2つのセンサ領域の一方の前記第1の領域と他方の前記第2の領域とが重なり合った領域で発生したと判断した場合には、前記認識エンジンは、当該第1の領域を含む前記センサ領域に対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (3)前記制御部が、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記認識エンジンは、前記2つのセンサ領域のそれぞれに対応する2つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ェスチャ認識装置。
  14. ジェスチャを認識するためのジェスチャ認識装置であって、
    電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、
    前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも2つを、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、
    前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備え、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    (1)前記制御部が、前記ジェスチャが隣り合う2つのセンサ領域の一方の前記第1の領域と他方の前記第2の領域とが重なり合った領域で発生したと判断した場合には、前記認識エンジンは、当該第1の領域を含む前記センサ領域に対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記制御部が、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記認識エンジンは、前記2つのセンサ領域のそれぞれに対応する2つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識装置。
  15. ジェスチャを認識するためのジェスチャ認識装置であって、
    電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、
    前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも2つを、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、
    前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備え、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    (1)前記制御部が、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生したと判断した場合には、前記認識エンジンは、前記2つのセンサ領域のいずれか一方に対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記制御部が、前記ジェスチャが隣り合う2つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断される場合には、前記認識エンジンは、前記2つのセンサ領域のそれぞれに対応する2つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識装置。
  16. ジェスチャを認識するためのジェスチャ認識装置であって、
    電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、
    前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも3つを、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、
    前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備え、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    (1)前記制御部が、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生したと判断した場合には、前記認識エンジンは、前記3つのセンサ領域のいずれか1つに対応する電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記制御部が、前記ジェスチャが互いに隣り合う3つのセンサ領域の少なくとも1つの前記第1の領域と残りの前記第2の領域とが重なり合った領域で発生したと判断した場合には、前記認識エンジンは、当該第1の領域を含む前記センサ領域のいずれか1つに対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (3)前記制御部が、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断した場合には、前記認識エンジンは、前記3つのセンサ領域のそれぞれに対応する3つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識装置。
  17. ジェスチャを認識するためのジェスチャ認識装置であって、
    電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、
    前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも3つを、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、
    前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備え、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    (1)前記制御部が、前記ジェスチャが互いに隣り合う3つのセンサ領域の少なくとも1つの前記第1の領域と残りの前記第2の領域とが重なり合った領域で発生したと判断した場合には、前記認識エンジンは、当該第1の領域を含む前記センサ領域のいずれか1つに対応する1つの電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記制御部が、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断した場合には、前記認識エンジンは、前記3つのセンサ領域のそれぞれに対応する3つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識装置。
  18. ジェスチャを認識するためのジェスチャ認識装置であって、
    電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、
    前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうちの少なくとも3つを、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、
    前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた少なくとも1つの電波センサの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備え、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    (1)前記制御部が、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第1の領域が重なり合った領域で発生したと判断した場合には、前記認識エンジンは、前記3つのセンサ領域のいずれか1つに対応する電波センサの受信結果に基づいて前記ジェスチャを認識し、
    (2)前記制御部が、前記ジェスチャが互いに隣り合う3つのセンサ領域の各々の前記第2の領域が重なり合った領域で発生したと判断した場合には、前記認識エンジンは、前記3つのセンサ領域のそれぞれに対応する3つの電波センサの受信結果に基づいて前記ジェスチャを認識する
    ジェスチャ認識装置。
  19. 前記認識エンジンは、前記複数の電波センサの各々に対して、当該電波センサに対応付けられた前記センサ領域に含まれる前記第1の領域及び前記第2の領域の各々におけるジェスチャを示す電波信号を入力することにより予め機械学習を行った学習結果に基づいて、ジェスチャを認識する
    請求項1318のいずれか1項に記載のジェスチャ認識装置。
  20. ジェスチャを認識するためのジェスチャ認識装置であって、
    電波信号を送受信するための複数の電波センサであって、動体に向けて電波信号を送信し且つ前記動体で反射した電波信号を受信するための領域である複数のセンサ領域にそれぞれ対応付けられた複数の電波センサと、
    前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち1つのセンサ領域を、一体の動体によるジェスチャが発生したジェスチャ発生領域として特定する制御部と、
    前記複数の電波センサの中では、前記ジェスチャ発生領域に対応付けられた前記1つの電波センサのみの受信結果に基づいて前記ジェスチャを認識する認識エンジンと、を備え、
    前記複数のセンサ領域の各々は、
    当該センサ領域に対応付けられた前記電波センサの光軸を中心に広がる第1の領域と、
    前記第1の領域を包囲するように前記光軸を中心に広がる第2の領域と、を含み、
    前記制御部は、前記複数の電波センサの受信結果に基づいて、前記複数のセンサ領域のうち前記1つのセンサ領域に含まれる前記第1の領域及び前記第2の領域のいずれか一方から、1つのセンサ領域を前記ジェスチャ発生領域として特定し、
    前記ジェスチャ認識装置は、さらに、
    回転軸周りに回転可能な筐体と、
    前記筐体を回転させるための駆動源と、を備え、
    前記複数の電波センサは、前記筐体の側面に前記筐体の回転方向に沿って配置されており、
    前記制御部は、前記複数のセンサ領域のうち前記1つのセンサ領域に含まれる前記第2の領域を前記ジェスチャ発生領域として特定した場合に、前記駆動源を制御することにより当該1つのセンサ領域に含まれる前記第1の領域が前記ジェスチャ発生領域と重なるように前記筐体を回転させ
    ェスチャ認識装置。
JP2020514834A 2018-04-17 2018-04-17 ジェスチャ認識方法及びジェスチャ認識装置 Active JP7136199B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/015906 WO2019202670A1 (ja) 2018-04-17 2018-04-17 ジェスチャ認識方法及びジェスチャ認識装置

Publications (2)

Publication Number Publication Date
JPWO2019202670A1 JPWO2019202670A1 (ja) 2021-04-22
JP7136199B2 true JP7136199B2 (ja) 2022-09-13

Family

ID=68240035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020514834A Active JP7136199B2 (ja) 2018-04-17 2018-04-17 ジェスチャ認識方法及びジェスチャ認識装置

Country Status (3)

Country Link
US (1) US11402920B2 (ja)
JP (1) JP7136199B2 (ja)
WO (1) WO2019202670A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063263A1 (ja) * 2021-10-14 2023-04-20 株式会社ソシオネクスト 信号処理方法、信号処理装置、ジェスチャ認識システム及び信号処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316510A (ja) 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
JP2016153250A (ja) 2015-02-20 2016-08-25 クラリオン株式会社 情報処理装置
JP2017067697A (ja) 2015-10-01 2017-04-06 Toto株式会社 トイレ装置
JP2017199278A (ja) 2016-04-28 2017-11-02 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921657B2 (en) * 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US9958529B2 (en) * 2014-04-10 2018-05-01 Massachusetts Institute Of Technology Radio frequency localization
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US10859675B2 (en) * 2015-04-20 2020-12-08 Resmed Sensor Technologies Limited Gesture recognition with sensors
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
CN107430443B (zh) 2015-04-30 2020-07-10 谷歌有限责任公司 基于宽场雷达的手势识别
DE102018202343A1 (de) * 2017-02-17 2018-08-23 Magna Closures Inc. Kraft-schwenktür mit virtual-handgriff -gestensteuerung
KR102350493B1 (ko) * 2017-05-19 2022-01-14 삼성전자주식회사 수면과 관련된 정보를 결정하기 위한 전자 장치 및 방법
US10747275B2 (en) * 2017-09-21 2020-08-18 Google Llc Access to high frame-rate radar data via a circular buffer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316510A (ja) 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
JP2016153250A (ja) 2015-02-20 2016-08-25 クラリオン株式会社 情報処理装置
JP2017067697A (ja) 2015-10-01 2017-04-06 Toto株式会社 トイレ装置
JP2017199278A (ja) 2016-04-28 2017-11-02 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出方法、およびプログラム

Also Published As

Publication number Publication date
WO2019202670A1 (ja) 2019-10-24
US11402920B2 (en) 2022-08-02
US20210026458A1 (en) 2021-01-28
JPWO2019202670A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
US7369461B2 (en) Acoustic transducer and underwater sounding apparatus
CN107004426B (zh) 录取录像对象的声音的方法和移动终端
US10986459B2 (en) Sound production device, display system, and sound production method
CN103189921B (zh) 用于定向敏感性记录控制的系统、方法、设备和计算机可读媒体
US9451379B2 (en) Sound field analysis system
EP2836852B1 (en) Systems and methods for mapping a source location
US8363851B2 (en) Speaker array apparatus for forming surround sound field based on detected listening position and stored installation position information
US10114116B2 (en) Common burst for pulse compression radar
KR20190107047A (ko) 터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템
US9560440B2 (en) Apparatus and method for detecting location of moving body, lighting apparatus, air conditioning apparatus, security apparatus, and parking lot management apparatus
EP2834995B1 (en) Flexible spatial audio capture apparatus
JP7136199B2 (ja) ジェスチャ認識方法及びジェスチャ認識装置
CN112995838B (zh) 拾音设备、拾音系统和音频处理方法
CN102012773B (zh) 利用气流对界面进行操作的方法及其设备
US10873807B2 (en) Processing echoes received at a directional microphone unit
CN113627283A (zh) 基于雷达回波信号的料面测量方法、终端设备及存储介质
CN108680902A (zh) 一种基于多麦克风阵列的声源定位系统
CN116719407A (zh) 一种基于数字发声芯片的手势识别方法及装置
JP2019029701A (ja) システム及び方法
US20230108217A1 (en) Hearing aid system integrable in an eyeglass frame
KR20200095990A (ko) 스마트 디바이스의 음성인식 제어방법
US20160073087A1 (en) Augmenting a digital image with distance data derived based on acoustic range information
CN110764612A (zh) 超声波处理方法、装置、电子设备及计算机可读介质
EP3840403A1 (en) Rotating camera and microphone configurations
Li Intelligent ultrasound hand gesture recognition system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7136199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150