JP7313271B2 - GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND PROGRAM - Google Patents

GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND PROGRAM Download PDF

Info

Publication number
JP7313271B2
JP7313271B2 JP2019233171A JP2019233171A JP7313271B2 JP 7313271 B2 JP7313271 B2 JP 7313271B2 JP 2019233171 A JP2019233171 A JP 2019233171A JP 2019233171 A JP2019233171 A JP 2019233171A JP 7313271 B2 JP7313271 B2 JP 7313271B2
Authority
JP
Japan
Prior art keywords
gesture
unit
transmittance
shielding
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019233171A
Other languages
Japanese (ja)
Other versions
JP2021101323A (en
Inventor
諒 竹林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019233171A priority Critical patent/JP7313271B2/en
Publication of JP2021101323A publication Critical patent/JP2021101323A/en
Application granted granted Critical
Publication of JP7313271B2 publication Critical patent/JP7313271B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明は、ジェスチャ検出装置、ジェスチャ検出方法、およびプログラムに関する。 The present invention relates to a gesture detection device, a gesture detection method, and a program.

車両内において、前方を注視しながらターンシグナル装置、ヘッドランプ装置、ワイパー装置等の車載機器を、手指のジェスチャを用いて操作することが提案されている(例えば特許文献1参照)。 In a vehicle, it has been proposed to operate in-vehicle devices such as a turn signal device, a headlamp device, and a wiper device using finger gestures while looking ahead (see Patent Document 1, for example).

特開2016-52861号公報JP 2016-52861 A

しかしながら、従来技術による指さしや手のジェスチャを用いた操作では、その指さしや手のジェスチャが国や地域によってはマナー違反であり、指をさされた人が不快に感じる場合がある。 However, in operations using finger pointing or hand gestures according to the conventional technology, the pointing or hand gestures are bad manners in some countries or regions, and the person to whom the finger is pointed may feel uncomfortable.

本発明は、このような事情を考慮してなされたものであり、筐体内でジェスチャを行う場合に、筐体外にいる人に対して不快な感じを与えないようにするジェスチャ検出装置、ジェスチャ検出方法、およびプログラムを提供することを目的の一つとする。 The present invention has been made in consideration of such circumstances, and one of its objects is to provide a gesture detection device, a gesture detection method, and a program that prevent a person outside the housing from feeling uncomfortable when making a gesture inside the housing.

この発明に係るジェスチャ検出装置、ジェスチャ検出方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係るジェスチャ検出装置は、筐体内の利用者のジェスチャを認識可能なジェスチャ認識部と、透過率を制御可能な遮蔽部と、前記ジェスチャ認識部が、前記ジェスチャの認識を行う状態にあるときに、前記遮蔽部の透過率を下げるように制御する制御部と、を備えるジェスチャ検出装置である。
A gesture detection device, a gesture detection method, and a program according to the present invention employ the following configurations.
(1): A gesture detection device according to an aspect of the present invention is a gesture detection device comprising: a gesture recognition unit capable of recognizing gestures of a user in a housing; a shielding unit capable of controlling transmittance;

(2):上記(1)の態様において、前記制御部は、前記筐体が所定の国や地域内で使用され、前記ジェスチャ認識部が前記ジェスチャの認識を行う状態にあるときに、前記遮蔽部の透過率を下げるように制御するものである。 (2): In the aspect of (1) above, the control unit controls to lower the transmittance of the shielding unit when the housing is used in a predetermined country or region and the gesture recognition unit is in a state of recognizing the gesture.

(3):上記(1)または(2)の態様において、前記制御部は、前記ジェスチャ認識部が、前記ジェスチャの認識を行わない状態から前記ジェスチャの認識を行う状態に遷移したことに基づいて、前記遮蔽部の透過率を下げるように制御するものである。 (3): In the aspect (1) or (2) above, the control unit controls the transmittance of the shielding unit to decrease based on the transition of the gesture recognition unit from a state in which the gesture is not recognized to a state in which the gesture is recognized.

(4):上記(1)から(3)のいずれか1つの態様において、前記制御部は、前記ジェスチャ認識部が、前記利用者の所定のジェスチャを認識したことに基づいて、前記遮蔽部の透過率を下げるように制御するものである。 (4): In any one of the aspects (1) to (3) above, the control unit controls the transmittance of the shielding unit to decrease based on the fact that the gesture recognition unit recognizes a predetermined gesture of the user.

(5):上記(4)の態様において、前記所定のジェスチャは、前記遮蔽部の透過率を下げる指示以外のジェスチャである。 (5): In the aspect of (4) above, the predetermined gesture is a gesture other than an instruction to reduce the transmittance of the shielding portion.

(6):上記(4)または(5)の態様において、前記所定のジェスチャは、前記筐体外の人にとって不快なジェスチャである。 (6): In the aspect (4) or (5) above, the predetermined gesture is an unpleasant gesture for a person outside the housing.

(7):上記(4)から(6)のいずれか1つの態様において、前記制御部は、前記所定のジェスチャが行われる前に、前記遮蔽部の透過率を下げるように制御するものである。 (7): In any one aspect of (4) to (6) above, the control unit controls the transmittance of the shielding unit to decrease before the predetermined gesture is performed.

(8):上記(1)から(7)のいずれか1つの態様において、前記筐体外の人を検出する人検出部、を備え、前記制御部は、前記人が検出された際、前記所定のジェスチャを前記筐体外から見えないように前記遮蔽部の前記透過率を制御するものである。 (8): In any one of the above aspects (1) to (7), a human detection unit that detects a person outside the housing is provided, and the control unit controls the transmittance of the shielding unit so that the predetermined gesture cannot be seen from outside the housing when the person is detected.

(9):上記(8)の態様において、前記ジェスチャ認識部は、前記所定のジェスチャが指し示す方向を推定し、前記制御部は、前記遮蔽部の推定された前記所定のジェスチャが指し示す方向の領域を少なくとも含む領域についての前記透過率を制御するものである。 (9): In the aspect of (8) above, the gesture recognition unit estimates the direction indicated by the predetermined gesture, and the control unit controls the transmittance of an area including at least an area in the direction indicated by the estimated predetermined gesture of the shielding unit.

(10):上記(4)から(7)のいずれか1つの態様において、前記所定のジェスチャは、国や地域毎に設定されているものである。 (10): In any one aspect of (4) to (7) above, the predetermined gesture is set for each country or region.

(11):上記(1)から(10)のいずれか1つの態様において、前記制御部は、前記遮蔽部の前記透過率を制御中であることを、前記筐体内に出力するものである。 (11): In any one aspect of (1) to (10) above, the control unit outputs to the housing that the transmittance of the shielding unit is being controlled.

(12):上記(1)から(11)のいずれか1つの態様において、前記筐体の移動速度を取得する取得部を備え、前記制御部は、取得された前記移動速度が閾値未満の場合に前記遮蔽部を遮蔽するように制御し、取得された前記移動速度が閾値以上の場合に前記遮蔽部を遮蔽しないように制御するものである。 (12): In any one of the above aspects (1) to (11), an acquiring unit that acquires the moving speed of the housing is provided, and the control unit controls the shielding unit to be shielded when the acquired moving speed is less than a threshold value, and controls the shielding unit not to be shielded when the acquired moving speed is equal to or higher than the threshold value.

(13):上記(4)から(7)のいずれか1つの態様において、前記筐体外の人を検出する人検出部と、報知部と、を備え、前記制御部は、前記人が検出されない場合、前記遮蔽部の前記透過率を前記人が検出された場合の前記遮蔽部の前記透過率よりも高くし、前記報知部から、前記所定のジェスチャに関する報知を行うものである。 (13): In any one of the above aspects (4) to (7), a human detection unit that detects a person outside the housing and a notification unit are provided, and when the person is not detected, the control unit makes the transmittance of the shielding unit higher than the transmittance of the shielding unit when the person is detected, and the notification unit notifies about the predetermined gesture.

(14):この発明の一態様に係るジェスチャ検出方法は、筐体内の利用者のジェスチャを認識し、前記ジェスチャの認識を行う状態にあるときに、透過率を制御可能な遮蔽部の透過率を下げるように制御する、ジェスチャ検出方法である。 (14): A gesture detection method according to an aspect of the present invention is a gesture detection method for recognizing a gesture of a user in a housing, and controlling the transmittance of a shielding section whose transmittance is controllable to decrease when the gesture is being recognized.

(15):この発明の一態様に係るプログラムは、透過率を制御可能な遮蔽部を備えるジェスチャ検出装置のコンピュータに、筐体内の利用者のジェスチャを認識させ、前記ジェスチャの認識を行う状態にあるときに、透過率を制御可能な遮蔽部の透過率を下げるように制御させる、プログラムである。 (15): A program according to an aspect of the present invention is a program that causes a computer of a gesture detection device including a transmittance-controllable shielding unit to recognize a gesture of a user in a housing, and controls the transmittance-controllable shielding unit to lower the transmittance when the computer is in a state of recognizing the gesture.

(1)~(15)によれば、筐体内でジェスチャを行った場合に、遮蔽部の透過率を下げてジェスチャを筐体外から見えないように制御することで、筐体外にいる人に対して不快な感じを与えないようにすることができる。
(2)によれば、少なくとも1つのジェスチャについてNGが付されている国や地域(文化圏)において、そのジェスチャが行われる際、筐体外にいる人に対して不快な感じを与えないようにすることができる。
(3)によれば、操作部に対する操作されたことやジェスチャ認識機能を起動させるウェイクアップワードが発話されたことなどにより遷移させることができる。
(4)によれば、利用者の所定のジェスチャに基づいて遮蔽率を下げるようにしたので、所定のジェスチャが行われる際、筐体外にいる人に対して不快な感じを与えないようにすることができる。
(5)によれば、他のジェスチャによって遮蔽率が変更されることを防止することができる。
(6)によれば、筐体外にいる人に対して不快な感じを与えないようにすることができる。
(7)によれば、ジェスチャが行われる前に透過率を下げるようにしたので、筐体外にいる人に対して、より不快な感じを与えないようにすることができる。
(8)によれば、筐体内でジェスチャを行いかつ筐体外に人が検出された場合に、蔽部の透過率を下げてジェスチャを筐体外から見えないように制御することで、筐体外にいる人に対して不快な感じを与えないようにすることができる。
(9)によれば、筐体内でジェスチャを行いかつ筐体外のジェスチャが指し示す方向に人が検出された場合に、蔽部の透過率を下げてジェスチャを筐体外から見えないように制御することで、筐体外にいる人に対して不快な感じを与えないようにすることができる。
(10)によれば、国や地域によってタブーとされているジェスチャに応じてジェスチャを筐体外から見えないように制御することができる。
(11)によれば、ジェスチャを筐体外から見えないように制御していることを筐体内に報知するようにしたので、人に遠慮せずにジェスチャを行うことができる。
(12)によれば、筐体が移動している場合、筐体の移動速度に応じて遮蔽するか否かを切り替えることができる。
(13)によれば、行われたジェスチャが、その国や地域でタブー等であることを報知することができる。
According to (1) to (15), when a gesture is made inside the housing, the transmittance of the shielding part is lowered to control the gesture so that it cannot be seen from outside the housing, thereby preventing a person outside the housing from feeling uncomfortable.
According to (2), in a country or region (cultural area) where at least one gesture is NG, when that gesture is performed, it is possible to prevent people outside the housing from feeling uncomfortable.
According to (3), the transition can be made by operating the operation unit or uttering a wake-up word for activating the gesture recognition function.
According to (4), since the shielding rate is lowered based on the predetermined gesture of the user, it is possible to prevent a person outside the housing from feeling uncomfortable when the predetermined gesture is performed.
According to (5), it is possible to prevent the shielding rate from being changed by other gestures.
According to (6), it is possible to prevent a person outside the housing from feeling uncomfortable.
According to (7), since the transmittance is lowered before the gesture is performed, it is possible to prevent a person outside the housing from feeling more uncomfortable.
According to (8), when a person makes a gesture inside the housing and a person is detected outside the housing, the transmittance of the covering part is lowered to control the gesture so that it cannot be seen from outside the housing, thereby preventing the person outside the housing from feeling uncomfortable.
According to (9), when a person makes a gesture inside the housing and a person is detected in the direction indicated by the gesture outside the housing, the transmittance of the covering part is lowered to control the gesture so that it cannot be seen from outside the housing, thereby preventing the person outside the housing from feeling uncomfortable.
According to (10), it is possible to control gestures that are taboo in some countries or regions so that they cannot be seen from outside the housing.
According to (11), the fact that the gesture is controlled so as not to be seen from the outside of the housing is notified within the housing, so that the user can make a gesture without being shy about other people.
According to (12), when the housing is moving, it is possible to switch whether or not to shield according to the moving speed of the housing.
According to (13), it is possible to notify that the performed gesture is taboo or the like in the country or region.

実施形態に係るジェスチャシステムの概要を示す図である。It is a figure which shows the outline|summary of the gesture system which concerns on embodiment. 実施形態に係るジェスチャ検出装置の構成例を示すブロック図である。1 is a block diagram showing a configuration example of a gesture detection device according to an embodiment; FIG. 実施形態に係るジェスチャモデル記憶部が記憶するモデルの例を示す図である。FIG. 5 is a diagram showing an example of a model stored in a gesture model storage unit according to the embodiment; 実施形態に係る遮蔽部の動作例を示す図である。It is a figure which shows the operation example of the shielding part which concerns on embodiment. 実施形態に係る遮蔽部の構成例を示す図である。It is a figure which shows the structural example of the shielding part which concerns on embodiment. 実施形態に係るジェスチャと遮蔽部の動作可否と遮蔽位置の関係例を示す図である。FIG. 10 is a diagram illustrating an example of a relationship between a gesture, whether a shielding unit can operate, and a shielding position according to the embodiment; 実施形態に係るジェスチャ検出装置の処理のフローチャートである。6 is a flowchart of processing of the gesture detection device according to the embodiment;

以下、図面を参照し、本発明のジェスチャ検出装置、ジェスチャ検出方法、およびプログラムの実施形態について説明する。 Embodiments of a gesture detection device, a gesture detection method, and a program according to the present invention will be described below with reference to the drawings.

[ジェスチャシステム1の概要]
まず、ジェスチャシステム1の概要を説明する。なお、以下の例では、ジェスチャ検出装置を車両で用いる例を説明するが、これに限らない、ジェスチャ検出装置が用いられる筐体は、車両に限らない。筐体は、例えば窓の外を人が通る部屋等であってもよい。
[Outline of gesture system 1]
First, an outline of the gesture system 1 will be described. In the following example, an example in which the gesture detection device is used in a vehicle will be described, but the housing in which the gesture detection device is used is not limited to the vehicle. The enclosure may be, for example, a room in which people pass outside the window.

図1は、本実施形態に係るジェスチャシステム1の概要を示す図である。図1に示すように、筐体12に、ジェスチャ検出装置11と遮蔽部13が取り付けられている。符号huiは乗員であり、符号huoは車外の人である。図1に示すように、車両内の乗員huiが、指さし確認やジェスチャによる車両内の機器の操作を行った場合、人huoは自分が指さされたように見え不快に感じる場合もある。また、国や地域、宗教等によっては、タブーとされているジェスチャ等もあり、そのようなジェスチャを行った場合は、人huoとのトラブルになる場合もあり得る。このため、本実施形態では、車両内でジェスチャが行われる際、このようなトラブルを防ぐために、ジェスチャ検出装置11が車両内でジェスチャが行われていることを人huoに見えないようにする。なお、ジェスチャ検出装置11は、車両内でジェスチャが行われていることを人huoに見えにくくするようにしてもよい。 FIG. 1 is a diagram showing an outline of a gesture system 1 according to this embodiment. As shown in FIG. 1 , a gesture detection device 11 and a shielding section 13 are attached to a housing 12 . Symbol hui is an occupant and symbol huo is a person outside the vehicle. As shown in FIG. 1, when an occupant hui in the vehicle operates equipment in the vehicle by pointing or gestures, the person huo may feel uncomfortable because he/she may feel as if he or she is being pointed to. Moreover, there are gestures that are taboo in some countries, regions, religions, etc., and if such gestures are performed, it may lead to trouble with people huo. Therefore, in this embodiment, in order to prevent such troubles when a gesture is performed in the vehicle, the gesture detection device 11 makes it invisible to the person huo that the gesture is performed in the vehicle. Note that the gesture detection device 11 may make it difficult for the person huo to see that the gesture is being performed in the vehicle.

ジェスチャ検出装置11は、車両内でジェスチャが行われることを認識し、所定のジェスチャが認識される際に人huoを検出する。なお、所定のジェスチャとは、例えば国や地域、宗教等によってタブーと見なされている動作や人を不快にさせる動作等である。ジェスチャ検出装置11は、車両外に人が検出された場合、車両内で行われるジェスチャを人huoから見えないように遮蔽する。また、ジェスチャ検出装置11は、車両外に人が検出された場合、ジェスチャを人huoに対して遮蔽していることを示す情報または車両外の人に不快に思われるジェスチャであることを示す情報を、車両内に表示させる。なお、ジェスチャ検出装置11は、車両内でジェスチャが行われることを認識して遮蔽率を下げることを意図したジェスチャを検出したことにより遮蔽率を下げるのではなく、タブーと見なされている動作や人を不快にさせる動作を検出した際に遮蔽率を下げる。すなわち、所定のジェスチャは、遮蔽率を下げる指示以外のジャスチャであり、車両外の人にとって不快なジャスチャである。 The gesture detection device 11 recognizes that a gesture is made in the vehicle, and detects a person huo when a predetermined gesture is recognized. Note that the predetermined gesture is, for example, an action that is considered taboo by a country, region, religion, or the like, or an action that makes people feel uncomfortable. When a person is detected outside the vehicle, the gesture detection device 11 shields gestures made inside the vehicle so that they cannot be seen by the person huo. Further, when a person is detected outside the vehicle, the gesture detection device 11 displays inside the vehicle information indicating that the gesture is shielded from the person huo or information indicating that the gesture is offensive to the person outside the vehicle. Note that the gesture detection device 11 does not lower the shielding rate by recognizing that the gesture is performed in the vehicle and detecting a gesture intended to lower the shielding rate, but lowers the shielding rate when it detects an action considered taboo or an action that makes people uncomfortable. That is, the predetermined gesture is a gesture other than an instruction to lower the shielding rate, and is a gesture uncomfortable for people outside the vehicle.

筐体12は、例えば車両である。筐体12は、ジェスチャ検出装置11と遮蔽部13に加え、不図示の車両制御部、駆動部、車輪、電源装置、音響機器、空調機器、通信機器、フロントガラス、サイドガラス、リアガラス等を備える。なお、筐体12内の機器(音響機器、空調機器、通信機器、ターンシグナル装置、ヘッドランプ装置、ワイパー装置等)は、ジェスチャによって操作されるようにしてもよい。このジェスチャによる筐体12内の機器の操作は、例えば車両制御部が行う。 The housing 12 is, for example, a vehicle. In addition to the gesture detection device 11 and the shielding unit 13, the housing 12 includes a vehicle control unit, driving unit, wheels, power supply unit, audio equipment, air conditioning equipment, communication equipment, windshield, side glass, rear glass, etc. (not shown). Devices (audio devices, air conditioners, communication devices, turn signal devices, headlamp devices, wiper devices, etc.) inside the housing 12 may be operated by gestures. The operation of the devices in the housing 12 by means of gestures is performed by, for example, the vehicle control unit.

遮蔽部13は、例えばフロントガラス21に取り付けられている液晶シャッター等である。遮蔽部13は、少なくとも車両外から車両内への透過率を制御可能であり、ジェスチャ検出装置11の制御に応じて少なくとも車両外からジェスチャを見えないように、または見え辛くするように遮蔽する。 The shielding part 13 is, for example, a liquid crystal shutter or the like attached to the windshield 21 . The shielding unit 13 can control at least the transmittance from the outside of the vehicle to the inside of the vehicle, and shields at least the gesture from outside the vehicle so as to be invisible or difficult to see according to the control of the gesture detection device 11 .

[ジェスチャ検出装置11の構成例]
ジェスチャ検出装置11の構成例を説明する。図2は、本実施形態に係るジェスチャ検出装置11の構成例を示すブロック図である。図2に示すように、ジェスチャ検出装置11は、ジェスチャ認識部111、人検出部112、記憶部113、制御部114、および取得部115を備える。記憶部113は、ジェスチャモデル記憶部1131、および人モデル記憶部1132を備える。ジェスチャ検出装置11は、遮蔽部13および表示部14に接続されている。なお、ジェスチャ検出装置11は、遮蔽部13および表示部14を備えていてもよい。また、ジェスチャ検出装置11には、操作部15が接続されていてもよい。
[Configuration example of gesture detection device 11]
A configuration example of the gesture detection device 11 will be described. FIG. 2 is a block diagram showing a configuration example of the gesture detection device 11 according to this embodiment. As shown in FIG. 2 , the gesture detection device 11 includes a gesture recognition section 111 , a person detection section 112 , a storage section 113 , a control section 114 and an acquisition section 115 . Storage unit 113 includes gesture model storage unit 1131 and human model storage unit 1132 . The gesture detection device 11 is connected to the shielding section 13 and the display section 14 . Note that the gesture detection device 11 may include the shielding unit 13 and the display unit 14 . Also, the operation unit 15 may be connected to the gesture detection device 11 .

[ジェスチャ検出装置11の機能]
ジェスチャ認識部111は、ジェスチャモデル記憶部1131を参照して乗員の所定のジェスチャを認識する。ジェスチャ認識部111は、例えば撮影部と画像取得部と画像処理部等を備える。なお、撮影部が備える撮影装置は1つであってもよく、複数であってもよい。ジェスチャ認識部111は、撮影された画像に対して所定の画像処理(例えば二値化処理、エッジ検出処理、特徴量抽出処理、クラスタリング処理等)を行う。ジェスチャ認識部111は、画像処理された画像とジェスチャモデル記憶部1131が記憶するモデル画像を比較して、例えばパターンマッチングの手法によって所定のジェスチャを認識する。ジェスチャ認識部111は、認識した認識結果を制御部114に出力する。また、ジェスチャ認識部111は、画像処理した結果に基づいて、ジェスチャが示す方向を推定し、推定した方向を示す情報を人検出部112に出力する。なお、ジェスチャが示す方向とは、例えば人差し指が指し示す方向である。なお、ジェスチャ認識部111は、例えば光を用いた検出器によって乗員の所定のジェスチャを認識するようにしてもよい。なお、乗員は、ジェスチャを行う前に、操作部15を操作して、ジェスチャを開始することを設定するようにしてもよい。この場合、ジェスチャ認識部111は、操作部15が出力する操作結果に基づいて、ジェスチャ入力を受け付ける設定にするようにしてもよい。また、操作部15は、音声を認識して操作を受け付けるようにしてもよい。操作部15は、例えばジェスチャ入力機能をオン状態にするためのウェイクアップワードが発話されることに基づいて、ジェスチャ入力を受け付けるようにしてもよい。この場合、制御部114は、ジェスチャ認識部111が、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態に遷移したことに基づいて、遮蔽部13の透過率を下げるように制御するようにしてもよい。また、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態への遷移は、操作部15に対する操作されたことやジェスチャ認識機能を起動させるウェイクアップワードが発話されたことなどにより遷移されるようにしてもよい。
[Functions of gesture detection device 11]
The gesture recognition unit 111 refers to the gesture model storage unit 1131 and recognizes a predetermined gesture of the passenger. The gesture recognition unit 111 includes, for example, a photographing unit, an image acquisition unit, an image processing unit, and the like. In addition, the number of imaging devices provided in the imaging unit may be one or plural. The gesture recognition unit 111 performs predetermined image processing (for example, binarization processing, edge detection processing, feature amount extraction processing, clustering processing, etc.) on the captured image. The gesture recognition unit 111 compares the image-processed image with the model image stored in the gesture model storage unit 1131, and recognizes a predetermined gesture by, for example, pattern matching. The gesture recognition unit 111 outputs the recognized recognition result to the control unit 114 . Also, the gesture recognition unit 111 estimates the direction indicated by the gesture based on the result of the image processing, and outputs information indicating the estimated direction to the person detection unit 112 . Note that the direction indicated by the gesture is, for example, the direction indicated by the index finger. Note that the gesture recognition unit 111 may recognize a predetermined gesture of the occupant by, for example, a detector using light. In addition, the passenger may operate the operation unit 15 to set to start the gesture before performing the gesture. In this case, the gesture recognition unit 111 may be set to accept gesture input based on the operation result output by the operation unit 15 . Further, the operation unit 15 may recognize voice and accept an operation. The operation unit 15 may accept gesture input based on, for example, utterance of a wake-up word for turning on the gesture input function. In this case, the control unit 114 may control the transmittance of the shielding unit 13 to decrease based on the transition of the gesture recognition unit 111 from the state of not recognizing gestures to the state of recognizing gestures. Further, the transition from the state in which gesture recognition is not performed to the state in which gesture recognition is performed may be made by operating the operation unit 15 or uttering a wakeup word for activating the gesture recognition function.

人検出部112は、人モデル記憶部1132を参照してジェスチャ認識部111が出力する方向に人が存在しているか否かを検出する。人検出部112は、例えばレーザー等を利用したLiDAR(Light Detection and Ranging)装置である。人検出部112は、検出した検出結果を制御部114に出力する。なお、人検出部112は、例えば撮影部と画像取得部と画像処理部等を備え、撮影された画像に基づいて人を検出するようにしてもよい。 The person detection unit 112 refers to the person model storage unit 1132 and detects whether or not a person exists in the direction output by the gesture recognition unit 111 . The human detection unit 112 is, for example, a LiDAR (Light Detection and Ranging) device using a laser or the like. The human detection unit 112 outputs the detected result to the control unit 114 . Note that the human detection unit 112 may include, for example, a photographing unit, an image acquisition unit, an image processing unit, and the like, and detect a person based on a photographed image.

記憶部113は、移動速度に対する閾値を記憶する。 Storage unit 113 stores a threshold value for the moving speed.

ジェスチャモデル記憶部1131は、ジェスチャを認識する際に用いられるモデルを記憶する。なお、モデルは、乗員がジェスチャを行った画像を元に生成してもよく、予め記憶していてもよい。なお、モデルは、例えば国や地域毎に記憶する。また、ジェスチャモデル記憶部1131は、ジェスチャ毎に、国(または地域)と、その国(または地域)の人が当該ジェスチャを不快に感じるか否かを関連付けて記憶する。 The gesture model storage unit 1131 stores models used when recognizing gestures. Note that the model may be generated based on an image in which the passenger makes a gesture, or may be stored in advance. Note that the model is stored for each country or region, for example. The gesture model storage unit 1131 also stores, for each gesture, a country (or region) and whether or not people in that country (or region) find the gesture uncomfortable.

人モデル記憶部1132は、車両外の人を検出する際に用いられるモデルを記憶する。人モデル記憶部1132は、例えば国や地域や宗教に特有の衣装やアクセサリーを検出できるモデルを記憶する。 Human model storage unit 1132 stores a model used when detecting a person outside the vehicle. The human model storage unit 1132 stores, for example, models that can detect clothes and accessories specific to a country, region, or religion.

制御部114は、所定のジェスチャが検出され、ジェスチャの示す方向に人が存在する場合に、ジェスチャが示す方向に対応する遮蔽部13を制御してジェスチャを人から見えないように制御する。また、制御部114は、ジェスチャを人から見えないように制御しているときに、表示部14に表示する画像情報に変換し、変換した画像情報を表示部14に出力することで車両内に表示させる。なお、画像情報には、ジェスチャを人から見えないように制御していることを示す情報が含まれている。なお、制御部114は、取得部115が取得した位置情報に基づいて、車両が走行している国や地域を取得するようにしてもよい。また、制御部114は、取得部115が取得した車両の移動速度が閾値以上の場合に報知情報を報知させ、車両の移動速度が閾値未満の場合に報知情報を報知させないようにしてもよい。すなわち、本実施形態によれば、移動速度に応じて遮蔽するか否かを切り替えることができる。なお、制御部114は、車両が停車している場合に遮蔽させ、車両が走行している場合に遮蔽させないようにしてもよい。なお、制御部114は、車両内でジェスチャが行われていることを人huoに見えにくくする(例えば半透明な状態)ように遮蔽部13を制御してもよい。すなわち、制御部114は、
遮蔽部13の透過率を下げるように制御することで、車両内で行われているジェスチャを車両外の人から見えないようにするか見えにくくする。
When a predetermined gesture is detected and a person is present in the direction indicated by the gesture, the control unit 114 controls the shielding unit 13 corresponding to the direction indicated by the gesture so that the gesture cannot be seen by the person. Further, the control part 114 converts the gesture into image information to be displayed on the display part 14 when the gesture is controlled so as not to be seen by people, and outputs the converted image information to the display part 14 to display it in the vehicle. Note that the image information includes information indicating that the gesture is controlled so as to be invisible to people. Note that the control unit 114 may acquire the country or region in which the vehicle is traveling based on the position information acquired by the acquisition unit 115 . Further, the control unit 114 may notify the notification information when the moving speed of the vehicle acquired by the acquiring unit 115 is equal to or higher than the threshold, and may not notify the notification information when the moving speed of the vehicle is less than the threshold. That is, according to this embodiment, it is possible to switch whether to shield or not according to the moving speed. Note that the control unit 114 may shield the vehicle when the vehicle is stopped and may not shield the vehicle when the vehicle is running. Note that the control unit 114 may control the shielding unit 13 so as to make it difficult for the person huo to see that the gesture is being performed inside the vehicle (for example, a translucent state). That is, the control unit 114
By controlling the transmittance of the shielding part 13 so as to decrease, gestures performed inside the vehicle are made invisible or difficult to be seen by people outside the vehicle.

取得部115は、筐体12が車両の場合、車両の移動速度を取得し、取得した移動速度を示す情報を制御部114に出力する。取得部115は、例えばGPS(Global Positioning System;全地球測位システム)の受信装置を備え、受信装置が受信した情報に基づいて車両が移動している位置(緯度経度)情報を取得し、取得した位置情報を制御部114に出力する。 If the housing 12 is a vehicle, the acquisition unit 115 acquires the moving speed of the vehicle and outputs information indicating the acquired moving speed to the control unit 114 . Acquisition unit 115 includes, for example, a GPS (Global Positioning System) receiver, acquires the position (latitude and longitude) information where the vehicle is moving based on the information received by the receiver, and outputs the acquired position information to control unit 114.

表示部14は、例えば液晶表示装置、または有機EL(Electro Luminescence)表示装置等である。表示部14は、制御部114が出力する画像情報を表示する。 The display unit 14 is, for example, a liquid crystal display device or an organic EL (Electro Luminescence) display device. The display unit 14 displays image information output by the control unit 114 .

操作部15は、例えば表示部14上に設けられているタッチパネルセンサである。操作部15は、利用者が操作した操作結果をジェスチャ認識部111に出力する。なお、操作部15は、音声入力部と音声認識部とによって構成されていてもよい。 The operation unit 15 is, for example, a touch panel sensor provided on the display unit 14 . The operation unit 15 outputs the operation result of the user's operation to the gesture recognition unit 111 . Note that the operation unit 15 may be configured by a voice input unit and a voice recognition unit.

なお、ジェスチャ検出装置11の構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。 Note that the constituent elements of the gesture detection device 11 are implemented by a hardware processor such as a CPU (Central Processing Unit) executing a program (software). Some or all of these components are hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), and GPU (Graphics Processing Unit). (including circuitry), or by cooperation of software and hardware. The program may be stored in advance in a storage device (a storage device having a non-transitory storage medium) such as a HDD (Hard Disk Drive) or flash memory, or may be stored in a removable storage medium (non-transitory storage medium) such as a DVD or CD-ROM, and may be installed by mounting the storage medium in the drive device.

[ジェスチャモデルの例]
次に、ジェスチャモデル記憶部1131が記憶するモデルの例を説明する。図3は、本実施形態に係るジェスチャモデル記憶部1131が記憶するモデルの例を示す図である。図3に示すように、ジェスチャモデル記憶部1131は、ジェスチャ毎に、国(または地域、文化圏)と、その国(または地域、文化圏)の人が当該ジェスチャを不快に感じるか否かを関連付けて記憶する。ジェスチャモデル記憶部1131は、例えば第1のジェスチャに、第1の国と第2の国において当該ジェスチャを不快に感じないことを示す情報(OK)と、第3の国において当該ジェスチャを不快に感じることを示す情報(NG)とを関連付けて記憶する。なお、所定の国や地域内とは、少なくとも1つのジェスチャについてNGが付されている国や地域(文化圏)である。このため、制御部114は、どのジェスチャに対してもNGがついていない(すべてOK)の国(文化圏)で使用されている場合、遮蔽制御を実行しなくてもよい。
[Gesture model example]
Next, examples of models stored in the gesture model storage unit 1131 will be described. FIG. 3 is a diagram showing an example of a model stored in the gesture model storage unit 1131 according to this embodiment. As shown in FIG. 3, the gesture model storage unit 1131 stores, for each gesture, a country (or region or cultural area) and whether or not people in that country (or region or cultural area) find the gesture offensive. The gesture model storage unit 1131 stores, for example, the first gesture in association with information indicating that the gesture is not uncomfortable in the first and second countries (OK) and information indicating that the gesture is uncomfortable in the third country (NG). Note that the predetermined country or region is a country or region (cultural area) in which at least one gesture is NG. Therefore, the control unit 114 does not need to execute shielding control when used in a country (cultural area) where no gesture is marked as NG (all OK).

[遮蔽部13の動作例]
次に、遮蔽部13の動作例を説明する。図4は、本実施形態に係る遮蔽部13の動作例を示す図である。図4において、符号g11は動作している遮蔽部を表し、符号g12はジェスチャの例として人差し指による指さしを表し、符号g13は表示部14に表示される画像情報を表している。また、符号g11に示す例は、ジェスチャが示す方向がフロントガラスの前方下部の例である。なお、図4に示す例は、乗員が行ったジェスチャが、その国では不快に思われる場合の動作例を示している。
[Operation example of the shielding part 13]
Next, an operation example of the shielding part 13 will be described. FIG. 4 is a diagram showing an operation example of the shielding unit 13 according to this embodiment. In FIG. 4, the symbol g11 represents the shielding unit in operation, the symbol g12 represents pointing with the index finger as an example of a gesture, and the symbol g13 represents image information displayed on the display unit 14. FIG. Also, in the example indicated by symbol g11, the direction indicated by the gesture is the front lower portion of the windshield. It should be noted that the example shown in FIG. 4 shows an operation example when the gesture made by the passenger is considered offensive in that country.

図4に示すように、ジェスチャ検出装置11は、乗員がジェスチャを行った際、且つそのジェスチャが示す方向(符号g14)に人huoが存在する場合、その人huoに対応する位置の遮蔽部13を制御して、ジェスチャを人から見えないように制御する。図5を用いて説明するように、遮蔽部13は、複数に分割されていて個別に制御可能である。すなわち、本実施形態では、ジェスチャが認識され、そのジェスチャが示す方向に人が検出された場合に、そのジェスチャが示す方向に対応する位置の遮蔽部13の一部の透過率を下げるように制御することで、車両外の人からジェスチャを見えないように(または見えにくくするように)制御する。 As shown in FIG. 4, when the occupant makes a gesture and the person huo is present in the direction indicated by the gesture (reference g14), the gesture detection device 11 controls the shielding part 13 at the position corresponding to the person huo to make the gesture invisible to the person. As will be described with reference to FIG. 5, the shielding section 13 is divided into a plurality of sections that can be individually controlled. That is, in the present embodiment, when a gesture is recognized and a person is detected in the direction indicated by the gesture, the transmittance of a part of the shielding portion 13 at a position corresponding to the direction indicated by the gesture is controlled to be lowered, thereby controlling the gesture so that it cannot be seen (or made difficult to be seen) by people outside the vehicle.

なお、図4に示した例では、フロントガラスに設けられた遮蔽部13を制御する例を示したが、これに限らない。ジェスチャが示す方向が、例えば右方向の場合、ジェスチャ検出装置11は、右方向のサイドガラスに設けられた遮蔽部13を制御する。また、ジェスチャ検出装置11は、遮蔽している際、行ったジェスチャが相手に不快感を与えるジェスチャであることを示す情報を符号g13のように車両内に表示させる。なお、ジェスチャ検出装置11は、遮蔽していることを示す情報を車両内に表示させるようにしてもよい。なお、車両内へは、表示に限らず、例えば音声による報知であってもよい。なお、ジェスチャ認識部111は、ジェスチャが示す方向を、撮影した画像を画像処理した結果に基づいて推定する。なお、報知情報は、周囲の明るさに応じて表示の輝度やコントラスト等の表示方法を変更するようにしてもよい。 In addition, although the example shown in FIG. 4 showed the example which controls the shielding part 13 provided in the windshield, it is not restricted to this. When the direction indicated by the gesture is, for example, the right direction, the gesture detection device 11 controls the shield 13 provided on the right side glass. In addition, the gesture detection device 11 causes the vehicle to display information, such as g13, indicating that the performed gesture is a gesture that gives discomfort to the other party when the vehicle is shielded. Note that the gesture detection device 11 may display information indicating that the vehicle is shielded. Note that the notification to the inside of the vehicle is not limited to the display, and may be, for example, an audio notification. Note that the gesture recognition unit 111 estimates the direction indicated by the gesture based on the result of image processing of the captured image. It should be noted that the display method of the notification information, such as the brightness and contrast of the display, may be changed according to the brightness of the surroundings.

[遮蔽部13の構成例]
次に、遮蔽部13の構成例を説明する。図5は、本実施形態に係る遮蔽部13の構成例を示す図である。図5は、遮蔽部13がフロントガラス21の内側に取り付けられている例である。なお、遮蔽部13は、ジェスチャを行う乗員と、人(huo)との間に設けられていればよいので、例えばフロントガラスに内蔵されていてもよく、フロントガラスの外側に設けられていてもよい。図5に示す例では、遮蔽部13は、遮蔽部13-1~13-4を備え、高さ方向に4分割されている。制御部114は、ジェスチャが指し示す方向に人が検出された場合、ジェスチャが指し示す方向に対応する遮蔽部13-1~13-4のうちの少なくとも1つを制御して、ジェスチャが人から見えないように制御する。なお、遮蔽部13は、横方向にも分割されていてもよい。
[Configuration example of shielding part 13]
Next, a configuration example of the shielding portion 13 will be described. FIG. 5 is a diagram showing a configuration example of the shielding section 13 according to this embodiment. FIG. 5 shows an example in which the shielding part 13 is attached inside the windshield 21 . The shielding part 13 may be provided between the occupant who makes the gesture and the person (huo), so it may be built in the windshield, for example, or may be provided outside the windshield. In the example shown in FIG. 5, the shielding portion 13 is provided with shielding portions 13-1 to 13-4 and divided into four in the height direction. When a person is detected in the direction indicated by the gesture, the control unit 114 controls at least one of the shielding units 13-1 to 13-4 corresponding to the direction indicated by the gesture so that the gesture cannot be seen by the person. Note that the shielding portion 13 may also be divided in the horizontal direction.

[ジェスチャと遮蔽部13の動作可否と遮蔽位置の関係例]
次に、ジェスチャと遮蔽部13の動作可否と遮蔽位置の関係例を説明する。図6は、本実施形態に係るジェスチャと遮蔽部13の動作可否と遮蔽位置の関係例を示す図である。符号g101が示す図は、例えば時刻t1において乗員が第1のジェスチャを行った際のジェスチャと遮蔽部13の動作可否と遮蔽位置の関係例を説明するための図である。符号g103が示す図は、例えば時刻t2において乗員が第2のジェスチャを行った際のジェスチャと遮蔽部13の動作可否と遮蔽位置の関係例を説明するための図である。
[Relationship example between gesture, operation availability of shielding unit 13, and shielding position]
Next, an example of a relationship between a gesture, whether the shielding unit 13 can be operated, and a shielding position will be described. FIG. 6 is a diagram showing an example of the relationship between a gesture, whether the shielding unit 13 can be operated, and a shielding position according to the present embodiment. A diagram indicated by reference numeral g101 is a diagram for explaining an example of the relationship between the gesture, the operability of the shielding unit 13, and the shielding position when the occupant performs the first gesture at time t1, for example. The diagram indicated by reference g103 is a diagram for explaining an example of the relationship between the gesture when the occupant performs the second gesture at time t2, whether the shielding unit 13 is operable, and the shielding position.

符号g101に示す例において、ジェスチャ検出装置11は、第1のジェスチャが相手に不快感を与えるジェスチャであると判断し、当該ジェスチャの示す方向に人huo1が存在していると判断する。このため、ジェスチャ検出装置11は、ジェスチャの示す方向に対応する位置の遮蔽部13(g11)を遮蔽させる。なお、ジェスチャ検出装置11は、ジェスチャの示す方向に人huo2が存在していない場合であっても遮蔽してもよく、遮蔽する場合、ジェスチャの示す方向に対応する位置の遮蔽部13(g21)を遮蔽させるようにしてもよい。 In the example indicated by reference g101, the gesture detection device 11 determines that the first gesture is a gesture that gives discomfort to the other party, and determines that the person huo1 is present in the direction indicated by the gesture. Therefore, the gesture detection device 11 shields the shielding portion 13 (g11) at the position corresponding to the direction indicated by the gesture. Note that the gesture detection device 11 may shield even when the person huo2 does not exist in the direction indicated by the gesture, and in the case of shielding, the shielding part 13 (g21) at the position corresponding to the direction indicated by the gesture may be shielded.

符号g103に示す例において、ジェスチャ検出装置11は、第2のジェスチャが相手に不快感を与えないジェスチャであると判断し、当該ジェスチャの示す方向に人huo2が存在していると判断する。このため、ジェスチャ検出装置11は、ジェスチャの示す方向に人huo2が存在していても、遮蔽しない。 In the example indicated by reference g103, the gesture detection device 11 determines that the second gesture is a gesture that does not cause discomfort to the other party, and determines that the person huo2 is present in the direction indicated by the gesture. Therefore, the gesture detection device 11 does not shield the person huo2 even if the person huo2 is present in the direction indicated by the gesture.

図6に示したように、本実施形態では、ジェスチャの示す方向に対応する位置の遮蔽部13を遮蔽させる。また、本実施形態では、ジェスチャと、ジェスチャが行われた国や地域に基づいて、遮蔽部13の遮蔽可否を判断する。なお、上述したように、ジェスチャ検出装置11が車両に搭載されている場合、車両の移動速度が閾値以上の場合、仮に車両外に人がいても、車両内で行われているジェスチャが車両外の人から見えないと判断して、ジェスチャの形や動作にかかわらず、そして車両外の人の有無にかかわらず遮蔽しないようにしてもよい。また、制御部114は、車両が所定の国や地域内で使用され、ジェスチャ認識部111がジェスチャの認識を行う状態にあるときに、遮蔽部13の透過率を下げるように制御するようにしてもよい。また、制御部114は、ジェスチャ認識部111が、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態に遷移したことに基づいて、遮蔽部13の透過率を下げるように制御するようにしてもよい。また、制御部114は、ジェスチャ認識部111が、利用者の所定のジェスチャを認識したことに基づいて、遮蔽部13の透過率を下げるように制御するようにしてもよい。 As shown in FIG. 6, in this embodiment, the shielding part 13 at the position corresponding to the direction indicated by the gesture is shielded. Further, in the present embodiment, whether or not the shielding unit 13 can shield is determined based on the gesture and the country or region where the gesture is performed. As described above, when the gesture detection device 11 is mounted on a vehicle, if the moving speed of the vehicle is equal to or higher than a threshold, even if there is a person outside the vehicle, it may be determined that the gesture made inside the vehicle is not visible to the person outside the vehicle, and the gesture may not be blocked regardless of the shape or movement of the gesture or whether there is a person outside the vehicle. Further, the control unit 114 may perform control to reduce the transmittance of the shielding unit 13 when the vehicle is used in a predetermined country or region and the gesture recognition unit 111 is in a state of recognizing gestures. Further, the control unit 114 may control the transmittance of the shielding unit 13 to decrease based on the gesture recognition unit 111 transitioning from a state in which gesture recognition is not performed to a state in which gesture recognition is performed. Further, the control unit 114 may control the transmittance of the shielding unit 13 to decrease based on the fact that the gesture recognition unit 111 recognizes a predetermined gesture of the user.

[ジェスチャ検出装置11の処理手順例]
次に、ジェスチャ検出装置11の処理手順例を説明する。図7は、本実施形態に係るジェスチャ検出装置11の処理のフローチャートである。
[Example of processing procedure of gesture detection device 11]
Next, a processing procedure example of the gesture detection device 11 will be described. FIG. 7 is a flowchart of processing of the gesture detection device 11 according to this embodiment.

取得部115は、車両の移動速度を取得する。取得部115は、GPSの受信装置が受信した情報に基づいて車両が移動している位置(緯度経度)情報を取得する(ステップS1)。 Acquisition unit 115 acquires the moving speed of the vehicle. The acquisition unit 115 acquires position (latitude and longitude) information where the vehicle is moving based on the information received by the GPS receiver (step S1).

ジェスチャ認識部111は、例えば所定の時間間隔毎に乗員を含む画像を撮影する。次に、ジェスチャ認識部111は、撮影された画像に対して画像処理を行い、画像処理された画像とジェスチャモデル記憶部1131を比較して乗員の所定のジェスチャを行っているか否かを判別する(ステップS2)。 The gesture recognition unit 111 captures an image including the passenger at predetermined time intervals, for example. Next, the gesture recognition unit 111 performs image processing on the captured image, compares the processed image with the gesture model storage unit 1131, and determines whether or not the occupant is making a predetermined gesture (step S2).

ジェスチャ認識部111は、乗員が所定のジェスチャを行っていると判別した場合(ステップS2;YES)、撮影された画像に対する画像処理の結果に基づいてジェスチャが示す方向を推定する(ステップS3)。ジェスチャ認識部111は、乗員が所定のジェスチャを行っていないと判別した場合(ステップS2;NO)、ステップS1の処理に戻す。 When the gesture recognition unit 111 determines that the occupant is making a predetermined gesture (step S2; YES), the gesture recognition unit 111 estimates the direction indicated by the gesture based on the image processing result of the captured image (step S3). When the gesture recognition unit 111 determines that the occupant has not made the predetermined gesture (step S2; NO), the process returns to step S1.

乗員が所定のジェスチャを行っている場合、人検出部112は、人モデル記憶部1132を参照してジェスチャ認識部111が出力する方向に人が存在しているか否かを判別する(ステップS4)。人検出部112は、ジェスチャ認識部111が出力する方向に人が存在していないと判別した場合(ステップS4;NO)、ステップS8の処理に進める。 When the occupant is making a predetermined gesture, the person detection unit 112 refers to the person model storage unit 1132 and determines whether or not a person exists in the direction output by the gesture recognition unit 111 (step S4). When the person detection unit 112 determines that there is no person in the output direction of the gesture recognition unit 111 (step S4; NO), the process proceeds to step S8.

ジェスチャ認識部111が出力する方向に人が存在していると判別された場合(ステップS4;YES)、制御部114は、取得部115が取得した移動速度が閾値以上であるか否かを判別する(ステップS5)。制御部114は、移動速度が閾値以上であると判別した場合(ステップS5;YES)、ステップS1の処理に戻す。 If it is determined that a person exists in the direction output by the gesture recognition unit 111 (step S4; YES), the control unit 114 determines whether the moving speed acquired by the acquisition unit 115 is equal to or greater than a threshold (step S5). When the control unit 114 determines that the movement speed is equal to or higher than the threshold (step S5; YES), the process returns to step S1.

制御部114は、移動速度が閾値未満であると判別した場合(ステップS5;NO)、検出された人の位置に対応する位置の遮蔽部13を制御してジェスチャが車両外の人から見えないように制御する(ステップS6)。 When the control unit 114 determines that the moving speed is less than the threshold (step S5; NO), the control unit 114 controls the shielding unit 13 at the position corresponding to the position of the detected person so that the gesture cannot be seen by people outside the vehicle (step S6).

制御部114は、遮蔽部13を制御してジェスチャを人から見えないように制御していることを示す画像情報を生成し、生成した画像情報を表示部14に出力する。次に、表示部14は、制御部114が出力する画像情報を表示する(ステップS7)。 The control unit 114 controls the shielding unit 13 to generate image information indicating that the gesture is controlled so as not to be seen by people, and outputs the generated image information to the display unit 14 . Next, the display unit 14 displays the image information output by the control unit 114 (step S7).

制御部114は、ジェスチャ認識部111が出力する方向に人が存在していないと判別した場合(ステップS4;NO)、すなわちジェスチャが検出されても、ジェスチャが示す方向に人がいない場合、遮蔽部13の透過率を人が検出された場合の遮蔽部13の透過率よりも高くする(ステップS8)。制御部114は、車両1内に、例えば「この地域では、そのジェスチャがタブーであること」を示す情報を表示部14に表示させて報知する。 When the control unit 114 determines that there is no person in the output direction of the gesture recognition unit 111 (step S4; NO), that is, when the gesture is detected but there is no person in the direction indicated by the gesture, the transmittance of the shield unit 13 is made higher than the transmittance of the shield unit 13 when a person is detected (step S8). The control unit 114 causes the display unit 14 to display information indicating, for example, "that gesture is taboo in this area" in the vehicle 1, and notifies it.

なお、図4において、制御部114は、車両外の人の有無や方向を検出せずに、ジェスチャが認識された際に遮蔽部13を制御してジェスチャを人から見えないように制御するようにしてもよい。なお、制御部114は、移動速度によらず遮蔽するように制御するようにしてもよい。また、制御部114は、図7のステップS4の処理において、ジェスチャ認識部111が出力する方向に人が存在していないと判別した場合に、遮蔽部13を制御せずステップS1の処理に戻してもよい。 In FIG. 4, the control unit 114 may control the shielding unit 13 when a gesture is recognized without detecting the presence or direction of a person outside the vehicle so that the gesture cannot be seen by the person. Note that the control unit 114 may perform control to shield regardless of the moving speed. 7, the control unit 114 may return to the processing of step S1 without controlling the shielding unit 13 when it is determined that there is no person in the output direction of the gesture recognition unit 111.

以上のように、本実施形態では、車両内で指さし等のジェスチャを行った場合に、ジェスチャを行っていることを人から見えないように制御するようにした。
この構成によって、本実施形態によれば、車両内で指さし等のジェスチャを行った場合に、車両外の人とのトラブルを防ぐことができる。
As described above, in the present embodiment, when a gesture such as pointing is performed in the vehicle, control is performed so that the gesture cannot be seen by a person.
With this configuration, according to the present embodiment, troubles with people outside the vehicle can be prevented when a gesture such as pointing is performed inside the vehicle.

また、本実施形態によれば、筐体内でジェスチャを行った場合かつ筐体外に人が検出された際に、ジェスチャを人に見えないように制御するので、筐体外にいる人に対して不快な感じを与えないようにすることができる。
また、本実施形態によれば、筐体内でジェスチャを行った場合かつジェスチャが指し示す方向に筐体外に人が検出された際に、ジェスチャを人に見えないように制御するので、筐体外にいる人に対して不快な感じを与えないようにすることができる。
Further, according to this embodiment, when a gesture is made inside the housing and when a person is detected outside the housing, the gesture is controlled so as not to be seen by the person, so that the person outside the housing can be prevented from feeling uncomfortable.
Further, according to this embodiment, when a gesture is made inside the housing and when a person is detected outside the housing in the direction indicated by the gesture, the gesture is controlled so as not to be seen by the person, so that the person outside the housing can be prevented from feeling uncomfortable.

また、本実施形態によれば、筐体内でジェスチャを行った場合かつジェスチャが指し示す方向に筐体外に人が検出された際に、ジェスチャが行われていることをジェスチャが指し示す方向の筐体外に出力するようにしたので、ジェスチャが指し示す方向の筐体外にいる人に対して不快な感じを与えないようにすることができる。
また、本実施形態によれば、国や地域や例えば宗教等によってタブーとされているジェスチャに応じて、ジェスチャを人に見えないように制御することができる。
また、本実施形態によれば、ジェスチャを人に見えないように制御していることを車両内に報知するようにしたので、乗員は、人に遠慮せずにジェスチャを行うことができる。
Further, according to this embodiment, when a gesture is made inside the housing and a person is detected outside the housing in the direction indicated by the gesture, the fact that the gesture is being performed is output outside the housing in the direction indicated by the gesture, so that it is possible to prevent the person outside the housing in the direction indicated by the gesture from feeling uncomfortable.
In addition, according to the present embodiment, it is possible to control gestures so that they are not visible to humans according to gestures that are taboo by country, region, religion, or the like.
In addition, according to the present embodiment, the fact that the gesture is controlled so as not to be seen by people is notified inside the vehicle, so that the occupant can make gestures without hesitation.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 As described above, the mode for carrying out the present invention has been described using the embodiments, but the present invention is not limited to such embodiments in any way, and various modifications and replacements can be made without departing from the gist of the present invention.

1…ジェスチャシステム、
12…筐体、
11…ジェスチャ検出装置、
13…遮蔽部、
111…ジェスチャ認識部、
112…人検出部、
113…記憶部、
114…制御部、
1131…ジェスチャモデル記憶部、
1132…人モデル記憶部
1... gesture system,
12... housing,
11... Gesture detection device,
13... Shielding part,
111... Gesture recognition unit,
112... human detection unit,
113 ... storage unit,
114 ... control unit,
1131 ... Gesture model storage unit,
1132 Human model storage unit

Claims (12)

筐体内の利用者のジェスチャを認識可能なジェスチャ認識部と、
透過率を制御することで前記ジェスチャ認識部によって認識可能な前記ジェスチャを前記筐体外から視認されにくくするように制御可能な遮蔽部と、
前記ジェスチャ認識部が、前記ジェスチャの認識を行う状態にあるときに、前記遮蔽部の透過率を下げるように制御する制御部と、
前記筐体外の人を検出する人検出部と、
報知部と、
を備え、
前記制御部は、
利用者によって前記ジェスチャが行われる前に、前記ジェスチャ認識部によって前記ジェスチャを認識可能に設定することで、前記ジェスチャが行われる前に、前記遮蔽部の透過率を下げるように制御前記ジェスチャ認識部が、前記利用者の所定のジェスチャを認識したことに基づいて、前記遮蔽部の透過率を下げるように制御し、前記人が検出されない場合、前記遮蔽部の前記透過率を前記人が検出された場合の前記遮蔽部の前記透過率よりも高くし、前記報知部から、前記所定のジェスチャに関する報知を行う、ジェスチャ検出装置。
a gesture recognition unit capable of recognizing gestures of a user in the housing;
a shielding unit that can be controlled to make the gesture recognizable by the gesture recognition unit less visible from outside the housing by controlling transmittance;
a control unit configured to reduce transmittance of the shielding unit when the gesture recognition unit is in a state of recognizing the gesture;
a human detection unit that detects a person outside the housing;
a reporting unit;
with
The control unit
By setting the gesture to be recognizable by the gesture recognition unit before the gesture is performed by the user , the transmittance of the shielding unit is controlled to decrease before the gesture is performed, the gesture recognition unit controls the transmittance of the shielding unit to decrease based on recognition of a predetermined gesture of the user, and when the person is not detected, the transmittance of the shielding unit is set to the transmittance of the shielding unit when the person is detected. A gesture detection device, wherein the transmittance is set higher than the transmittance, and the notifying unit notifies about the predetermined gesture.
前記制御部は、前記筐体が所定の国や地域内で使用され、前記ジェスチャ認識部が前記ジェスチャの認識を行う状態にあるときに、前記遮蔽部の透過率を下げるように制御する、
請求項1に記載のジェスチャ検出装置。
The control unit controls to reduce the transmittance of the shielding unit when the housing is used in a predetermined country or region and the gesture recognition unit is in a state of recognizing the gesture.
The gesture detection device according to claim 1.
前記制御部は、前記ジェスチャ認識部が、前記ジェスチャの認識を行わない状態から前記ジェスチャの認識を行う状態に遷移したことに基づいて、前記遮蔽部の透過率を下げるように制御する、
請求項1または請求項2に記載のジェスチャ検出装置。
The control unit controls to reduce the transmittance of the shielding unit based on the gesture recognition unit transitioning from a state in which the gesture is not recognized to a state in which the gesture is recognized.
A gesture detection device according to claim 1 or 2.
前記所定のジェスチャは、
前記遮蔽部の透過率を下げる指示以外のジェスチャである、
請求項に記載のジェスチャ検出装置。
The predetermined gesture is
A gesture other than an instruction to reduce the transmittance of the shielding part,
The gesture detection device according to claim 1 .
前記所定のジェスチャは、
前記筐体外の人にとって不快なジェスチャである、
請求項または請求項に記載のジェスチャ検出装置。
The predetermined gesture is
A gesture that is uncomfortable for a person outside the housing,
The gesture detection device according to claim 1 or 4 .
前記制御部は、
前記人が検出された際、前記遮蔽部の前記透過率を制御する、
請求項1から請求項のいずれか1項に記載のジェスチャ検出装置。
The control unit
controlling the transmittance of the shield when the person is detected;
A gesture detection device according to any one of claims 1 to 5 .
前記ジェスチャ認識部は、
所定のジェスチャが指し示す方向を推定し、
前記制御部は、
前記遮蔽部の推定された前記所定のジェスチャが指し示す方向の領域を少なくとも含む領域についての前記透過率を制御する、
請求項に記載のジェスチャ検出装置。
The gesture recognition unit
estimating the direction a given gesture is pointing,
The control unit
controlling the transmittance for an area including at least an area in the direction pointed by the predetermined gesture estimated by the shielding part;
The gesture detection device according to claim 6 .
前記所定のジェスチャは、
国や地域毎に設定されている、
請求項から請求項のいずれか1項に記載のジェスチャ検出装置。
The predetermined gesture is
set for each country or region,
A gesture detection device according to any one of claims 1 to 5 .
前記制御部は、
前記遮蔽部の前記透過率を制御中であることを、前記筐体内に出力する、
請求項1から請求項いずれか1項に記載のジェスチャ検出装置。
The control unit
Outputting in the housing that the transmittance of the shielding portion is being controlled;
A gesture detection device according to any one of claims 1 to 8 .
前記筐体の移動速度を取得する取得部を備え、
前記制御部は、
取得された前記移動速度が閾値未満の場合に前記遮蔽部を遮蔽するように制御し、取得された前記移動速度が閾値以上の場合に前記遮蔽部を遮蔽しないように制御する、
請求項1から請求項のいずれか1項に記載のジェスチャ検出装置。
An acquisition unit that acquires the moving speed of the housing,
The control unit
controlling to shield the shielding portion when the acquired moving speed is less than a threshold, and controlling not to shield the shielding portion when the acquired moving speed is equal to or greater than the threshold;
A gesture detection device according to any one of claims 1 to 9 .
筐体内の利用者のジェスチャを認識し、
前記ジェスチャの認識を行う状態にあるときに、透過率を制御することで前記ジェスチャを前記筐体外から視認されにくくするように制御可能な遮蔽部の透過率を下げるように制御し、
利用者によって前記ジェスチャが行われる前に、前記ジェスチャを認識可能に受け付けることを設定することで、前記ジェスチャが行われる前に、前記遮蔽部の透過率を下げるように制御
前記利用者の所定のジェスチャを認識したことに基づいて、前記遮蔽部の透過率を下げるように制御し、
前記筐体外の人を検出する人検出部によって前記人が検出されない場合、前記遮蔽部の前記透過率を前記人が検出された場合の前記遮蔽部の前記透過率よりも高くし、前記所定のジェスチャに関する報知を行う、
ジェスチャ検出方法。
Recognizing the user's gestures inside the housing,
controlling the transmittance of the controllable shielding part so as to make the gesture less visible from outside the housing by controlling the transmittance when the gesture is being recognized;
before the gesture is performed by the user , by setting the gesture to be recognizably accepted , before the gesture is performed, the transmittance of the shielding portion is controlled to be lowered;
Based on the recognition of the predetermined gesture of the user, control to reduce the transmittance of the shielding part,
When the person is not detected by the person detection unit that detects the person outside the housing, the transmittance of the shielding unit is set higher than the transmittance of the shielding unit when the person is detected, and the predetermined gesture is notified.
Gesture detection method.
透過率を制御可能な遮蔽部を備えるジェスチャ検出装置のコンピュータに、
筐体内の利用者のジェスチャを認識させ、
前記ジェスチャの認識を行う状態にあるときに、透過率を制御することで前記ジェスチャを前記筐体外から視認されにくくするように制御可能な遮蔽部の透過率を下げるように制御させ、
利用者によって前記ジェスチャが行われる前に、前記ジェスチャを認識可能に受け付けることを設定させることで、前記ジェスチャが行われる前に、前記遮蔽部の透過率を下げるように制御させ、
前記利用者の所定のジェスチャを認識したことに基づいて、前記遮蔽部の透過率を下げるように制御させ、
前記筐体外の人を検出する人検出部によって前記人が検出されない場合、前記遮蔽部の前記透過率を前記人が検出された場合の前記遮蔽部の前記透過率よりも高くし、前記所定のジェスチャに関する報知を行わせる、
プログラム。
In the computer of the gesture detection device equipped with a shield that can control the transmittance,
Recognize the user's gestures inside the housing,
controlling the transmittance of the controllable shielding part so as to make the gesture less visible from outside the housing by controlling the transmittance when the gesture is being recognized;
before the gesture is performed by the user , by setting to accept the gesture in a recognizable manner , before the gesture is performed, the transmittance of the shielding portion is controlled to be lowered;
Based on the recognition of the user's predetermined gesture, controlling the transmittance of the shielding part to decrease,
When the person is not detected by the person detection unit that detects the person outside the housing, the transmittance of the shielding unit is set higher than the transmittance of the shielding unit when the person is detected, and the predetermined gesture is notified.
program.
JP2019233171A 2019-12-24 2019-12-24 GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND PROGRAM Active JP7313271B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019233171A JP7313271B2 (en) 2019-12-24 2019-12-24 GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019233171A JP7313271B2 (en) 2019-12-24 2019-12-24 GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2021101323A JP2021101323A (en) 2021-07-08
JP7313271B2 true JP7313271B2 (en) 2023-07-24

Family

ID=76651368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019233171A Active JP7313271B2 (en) 2019-12-24 2019-12-24 GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7313271B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102674A (en) 2012-11-20 2014-06-05 Alpine Electronics Inc Gesture input device
JP2018130981A (en) 2017-02-13 2018-08-23 大日本印刷株式会社 Dimming system for vehicle, control method for dimming member, control program for dimming member, and vehicle
JP2018161986A (en) 2017-03-27 2018-10-18 大日本印刷株式会社 Light control system for vehicle, method for controlling light control member, program for controlling light control member and vehicle
JP2018169580A (en) 2017-03-30 2018-11-01 株式会社デンソーテン Display control device, display system, and display control method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102674A (en) 2012-11-20 2014-06-05 Alpine Electronics Inc Gesture input device
JP2018130981A (en) 2017-02-13 2018-08-23 大日本印刷株式会社 Dimming system for vehicle, control method for dimming member, control program for dimming member, and vehicle
JP2018161986A (en) 2017-03-27 2018-10-18 大日本印刷株式会社 Light control system for vehicle, method for controlling light control member, program for controlling light control member and vehicle
JP2018169580A (en) 2017-03-30 2018-11-01 株式会社デンソーテン Display control device, display system, and display control method

Also Published As

Publication number Publication date
JP2021101323A (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US8085243B2 (en) Input device and its method
KR101537936B1 (en) Vehicle and control method for the same
US9720498B2 (en) Controlling a vehicle
EP3046006A1 (en) Information processing device, gesture detection method, and gesture detection program
EP2969697B1 (en) System and method for identifying handwriting gestures in an in-vehicle infromation system
US9826166B2 (en) Vehicular surrounding-monitoring control apparatus
JP4885632B2 (en) Navigation device
US10755674B2 (en) Arrangement, means of locomotion and method for assisting a user in the operation of a touch-sensitive display device
US11507194B2 (en) Methods and devices for hand-on-wheel gesture interaction for controls
JP7412507B2 (en) Gesture detection device, gesture detection method, and program
US11332072B2 (en) Driving assistance apparatus, driving assistance method, and computer-readable recording medium
KR20210120398A (en) Electronic device displaying image by using camera monitoring system and the method for operation the same
JP7027552B2 (en) Gesture recognition using mobile devices
JP7313271B2 (en) GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND PROGRAM
JP6600342B2 (en) Gesture operation method based on depth value and gesture operation system based on depth value
JP2016170688A (en) Driving support device and driving support system
JP7312971B2 (en) vehicle display
JP5587068B2 (en) Driving support apparatus and method
JP5294756B2 (en) Vehicle surrounding image providing apparatus and vehicle surrounding image providing method
CN110850975B (en) Electronic system with palm recognition, vehicle and operation method thereof
KR102263153B1 (en) Motion recognition device and operating method thereof
KR101968620B1 (en) HMI System and Method for Vehicle
JP5617678B2 (en) Vehicle display device
JP2024009436A (en) display device
JP2023006970A (en) Driving support control device and driving support control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230711

R150 Certificate of patent or registration of utility model

Ref document number: 7313271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150