JP7267517B2 - ジェスチャ認識装置およびジェスチャ認識方法 - Google Patents
ジェスチャ認識装置およびジェスチャ認識方法 Download PDFInfo
- Publication number
- JP7267517B2 JP7267517B2 JP2022573870A JP2022573870A JP7267517B2 JP 7267517 B2 JP7267517 B2 JP 7267517B2 JP 2022573870 A JP2022573870 A JP 2022573870A JP 2022573870 A JP2022573870 A JP 2022573870A JP 7267517 B2 JP7267517 B2 JP 7267517B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- hand candidate
- candidate
- light source
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000001514 detection method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、実施の形態1におけるジェスチャ認識装置100の構成を示す機能ブロック図である。図1には、ジェスチャ認識装置100と関連して動作する装置として、撮像装置110が示されている。
実施の形態2におけるジェスチャ認識装置およびジェスチャ認識方法を説明する。実施の形態2は実施の形態1の下位概念である。実施の形態2において、実施の形態1と同様の構成要素には、同一の参照符号を付し、それらの詳細な説明は省略する。
車外風景識別部20は、手候補の形状に関する条件を、任意のタイミングで更新してもよい。手候補の形状に関する条件は、学習済みモデルであってもよい。例えば、車外風景識別部20は、新しい学習済みモデルを外部から取得し、手候補の形状に関する予め定められた条件として記憶する。言い換えると、手候補の形状に関する条件は、車外風景識別部20が上記の判定処理を行う際に、予め定められていればよい。
手候補が車両のいずれかの窓に対応する領域内に位置する場合、その手候補は、車両の外部の光源に起因する光源像である可能性が高い。よって、第1領域Aは、映像における車両の窓に対応する領域であってもよい。車両の窓に対応する領域は、例えば実施の形態2に示されたように後部窓3であるが、それ以外の窓であってもよい。手候補識別部10は、その車両の窓に対応する領域において、第1手候補11を識別する。
実施の形態3におけるジェスチャ認識装置およびジェスチャ認識方法を説明する。実施の形態3は実施の形態1の下位概念である。実施の形態3において、実施の形態1または2と同様の構成要素には、同一の参照符号を付し、それらの詳細な説明は省略する。
実施の形態4におけるジェスチャ認識装置およびジェスチャ認識方法を説明する。実施の形態4は実施の形態1の下位概念である。実施の形態4において、実施の形態1から3のいずれかと同様の構成要素には、同一の参照符号を付し、それらの詳細な説明は省略する。
実施の形態5におけるジェスチャ認識装置およびジェスチャ認識方法を説明する。実施の形態5は実施の形態1の下位概念である。実施の形態5において、実施の形態1から4のいずれかと同様の構成要素には、同一の参照符号を付し、それらの詳細な説明は省略する。
以上の各実施の形態に示されたジェスチャ認識装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、PND(Portable Navigation Device)などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。
Claims (11)
- 車両の室内の映像に基づいて、前記映像における前記車両の乗員の手の候補である少なくとも1つの手候補を識別する手候補識別部と、
手候補の形状に関する予め定められた条件に基づいて、前記少なくとも1つの手候補が前記車両の外部に存在する光源に起因する光源像に該当するか否かを判定する車外風景識別部と、
前記光源像に該当しないと判定された手候補を、前記乗員のジェスチャにおける前記手として識別する誤認識識別部と、を備え、
前記車外風景識別部は、前記手候補の前記形状に関する前記予め定められた条件を満たす前記手候補の周辺に、円弧パターン、リングパターンおよび多角形パターンのうち少なくとも1つのパターンが存在するか否かに基づいて、前記手候補が前記光源像に該当するか否かを判定する、ジェスチャ認識装置。 - 前記誤認識識別部は、前記光源像に該当すると判定された手候補を棄却する、請求項1に記載のジェスチャ認識装置。
- 車両の室内の映像に基づいて、前記映像における前記車両の乗員の手の候補である少なくとも1つの手候補を識別する手候補識別部と、
手候補の形状に関する予め定められた条件に基づいて、前記少なくとも1つの手候補が前記車両の外部に存在する光源に起因する光源像に該当するか否かを判定する車外風景識別部と、
前記光源像に該当しないと判定された手候補を、前記乗員のジェスチャにおける前記手として識別する誤認識識別部と、を備え、
前記誤認識識別部は、前記光源像に該当すると判定された手候補を棄却し、
前記手候補識別部は、前記少なくとも1つの手候補として、前記映像内の予め定められた第1領域における第1手候補と、前記映像内の予め定められた第2領域における第2手候補とを識別し、
前記車外風景識別部は、
前記手候補の前記形状に関する前記予め定められた条件に基づいて、前記第1手候補が前記光源像に該当するか否かを判定する形状判定部と、
前記第2手候補が前記予め定められた第2領域に検出されたか否かを判定する検出判定部と、を含み、
前記誤認識識別部は、
前記形状判定部の判定結果と前記検出判定部の判定結果とに基づいて、前記光源像に該当すると判定された前記第1手候補を棄却する、ジェスチャ認識装置。 - 前記手候補の前記形状に関する前記予め定められた条件は、前記手候補の前記形状が1つの丸いパターンを有するか否か、または、前記手候補の前記形状が1つの丸いパターンと前記丸いパターンの周囲に放射状のパターンとを有するか否かである、請求項1から請求項3のうちのいずれか1項に記載のジェスチャ認識装置。
- 前記予め定められた第1領域は、前記映像における前記車両の運転席と助手席との間の領域を含み、
前記予め定められた第2領域は、前記映像における前記車両のハンドルの少なくとも一部と、前記ハンドルから予め定められた距離以内の領域とを含む、請求項3に記載のジェスチャ認識装置。 - 前記予め定められた第1領域は、前記映像における前記車両の窓に対応する領域であり、
前記予め定められた第2領域は、前記映像における前記車両のハンドルの少なくとも一部と、前記ハンドルから予め定められた距離以内の領域とを含む、請求項3に記載のジェスチャ認識装置。 - 前記手候補識別部は、前記少なくとも1つの手候補として、第1手候補と第2手候補とを識別し、
前記車外風景識別部は、
前記手候補の前記形状に関する前記予め定められた条件に基づいて、前記第1手候補が前記光源像に該当するか否かを判定する形状判定部と、
前記第1手候補よりも前記車両のハンドルの近くに位置する前記第2手候補が検出されたか否かを判定する位置判定部と、を含み、
前記誤認識識別部は、
前記形状判定部の判定結果と前記位置判定部の判定結果とに基づいて、前記光源像に該当しないと判定された前記第1手候補を棄却する、請求項2に記載のジェスチャ認識装置。 - 前記手候補識別部は、前記映像のフレームごとに前記手候補を識別し、
前記誤認識識別部は、前記手候補が前記光源像に該当しないと判定された場合であっても、予め定められた2以上の整数であるNフレーム連続で同一の形状を有する前記手候補が識別されない場合には、前記光源像に該当しないと判定された前記手候補を棄却する、請求項2または請求項3に記載のジェスチャ認識装置。 - 前記車外風景識別部は、前記映像のフレームごとに前記手候補が前記光源像に該当するか否かを判定し、
前記誤認識識別部は、前記手候補が予め定められた2以上の整数であるMフレーム連続で前記光源像に該当すると判定された場合に、前記手候補を棄却する、請求項2または請求項3に記載のジェスチャ認識装置。 - 手候補識別部は、車両の室内の映像に基づいて、前記映像における前記車両の乗員の手の候補である少なくとも1つの手候補を識別し、
車外風景識別部は、手候補の形状に関する予め定められた条件に基づいて、前記少なくとも1つの手候補が前記車両の外部に存在する光源に起因する光源像に該当するか否かを判定し、かつ、前記手候補の前記形状に関する前記予め定められた条件を満たす前記手候補の周辺に、円弧パターン、リングパターンおよび多角形パターンのうち少なくとも1つのパターンが存在するか否かに基づいて、前記手候補が前記光源像に該当するか否かを判定し、
誤認識識別部は、前記光源像に該当しないと判定された手候補を、前記乗員のジェスチャにおける前記手として識別する、ジェスチャ認識方法。 - 手候補識別部は、車両の室内の映像に基づいて、前記映像における前記車両の乗員の手の候補である少なくとも1つの手候補として、前記映像内の予め定められた第1領域における第1手候補と、前記映像内の予め定められた第2領域における第2手候補とを識別し、
車外風景識別部は、手候補の形状に関する予め定められた条件に基づいて、前記少なくとも1つの手候補が前記車両の外部に存在する光源に起因する光源像に該当するか否かを判定することとして、前記第1手候補が前記光源像に該当するか否かを判定する第1判定と、前記第2手候補が前記予め定められた第2領域に検出されたか否かを判定する第2判定とを行い、
誤認識識別部は、前記第1判定の結果と、前記第2判定の結果とに基づいて、前記光源像に該当すると判定された前記第1手候補を棄却し、前記光源像に該当しないと判定された手候補を、前記乗員のジェスチャにおける前記手として識別する、ジェスチャ認識方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/000437 WO2022149251A1 (ja) | 2021-01-08 | 2021-01-08 | ジェスチャ認識装置およびジェスチャ認識方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022149251A1 JPWO2022149251A1 (ja) | 2022-07-14 |
JPWO2022149251A5 JPWO2022149251A5 (ja) | 2023-04-17 |
JP7267517B2 true JP7267517B2 (ja) | 2023-05-01 |
Family
ID=82357831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022573870A Active JP7267517B2 (ja) | 2021-01-08 | 2021-01-08 | ジェスチャ認識装置およびジェスチャ認識方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240013575A1 (ja) |
JP (1) | JP7267517B2 (ja) |
WO (1) | WO2022149251A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015037273A1 (ja) | 2013-09-12 | 2015-03-19 | 三菱電機株式会社 | 操作入力装置及び方法、並びにプログラム及び記録媒体 |
WO2016185916A1 (ja) | 2015-05-20 | 2016-11-24 | コニカミノルタ株式会社 | ウェアラブル電子機器、ウェアラブル電子機器のジェスチャー検知方法およびウェアラブル電子機器のジェスチャー検知プログラム |
-
2021
- 2021-01-08 US US18/035,858 patent/US20240013575A1/en active Pending
- 2021-01-08 WO PCT/JP2021/000437 patent/WO2022149251A1/ja active Application Filing
- 2021-01-08 JP JP2022573870A patent/JP7267517B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015037273A1 (ja) | 2013-09-12 | 2015-03-19 | 三菱電機株式会社 | 操作入力装置及び方法、並びにプログラム及び記録媒体 |
WO2016185916A1 (ja) | 2015-05-20 | 2016-11-24 | コニカミノルタ株式会社 | ウェアラブル電子機器、ウェアラブル電子機器のジェスチャー検知方法およびウェアラブル電子機器のジェスチャー検知プログラム |
Non-Patent Citations (1)
Title |
---|
中村 雄大,映像情報メディア学会 2013年年次大会講演予稿集 [CD-ROM] 映像情報メディア学会 2013,2015年07月15日 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022149251A1 (ja) | 2022-07-14 |
WO2022149251A1 (ja) | 2022-07-14 |
US20240013575A1 (en) | 2024-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11087138B2 (en) | Vehicle damage assessment method, apparatus, and device | |
US10943400B2 (en) | Multimodal user interface for a vehicle | |
JP6866440B2 (ja) | 物体識別方法、装置、機器、車両及び媒体 | |
US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
JP5228439B2 (ja) | 操作入力装置 | |
JP6175430B2 (ja) | 車両の周辺区域にある物体を認識する方法および装置 | |
JP5423631B2 (ja) | 画像認識装置 | |
WO2018025811A1 (ja) | 画像処理装置、外界認識装置 | |
JP5866545B1 (ja) | 表示制御装置および表示制御プログラム | |
JP2015180561A (ja) | 表示制御装置、表示装置および表示制御プログラム | |
US10635278B2 (en) | Apparatus and method for controlling display of vehicle, and vehicle system | |
US10812745B2 (en) | Bit depth reduction of image pixels | |
US20200192466A1 (en) | Virtual Human-Machine Interface System and Corresponding Virtual Human-Machine Interface Method for a Vehicle | |
WO2019016936A1 (ja) | 操作支援装置および操作支援方法 | |
US20200062173A1 (en) | Notification control apparatus and method for controlling notification | |
KR20210024854A (ko) | 영상을 증강하는 방법 및 장치 | |
WO2018061603A1 (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
US10824240B2 (en) | Gesture operation method based on depth values and system thereof | |
JP7267517B2 (ja) | ジェスチャ認識装置およびジェスチャ認識方法 | |
JP4151571B2 (ja) | 車載用障害物検出装置 | |
JP2020013348A (ja) | ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム | |
JP6413645B2 (ja) | 操作入力装置 | |
TW201800719A (zh) | 物體辨識系統及辨識物體的方法 | |
WO2021240668A1 (ja) | ジェスチャ検出装置およびジェスチャ検出方法 | |
US20230123623A1 (en) | Gesture detecting apparatus and gesture detecting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221213 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7267517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |