JP7289406B2 - ジェスチャ検出装置およびジェスチャ検出方法 - Google Patents
ジェスチャ検出装置およびジェスチャ検出方法 Download PDFInfo
- Publication number
- JP7289406B2 JP7289406B2 JP2022527342A JP2022527342A JP7289406B2 JP 7289406 B2 JP7289406 B2 JP 7289406B2 JP 2022527342 A JP2022527342 A JP 2022527342A JP 2022527342 A JP2022527342 A JP 2022527342A JP 7289406 B2 JP7289406 B2 JP 7289406B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- face
- hand
- occupant
- hand candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 200
- 230000001815 facial effect Effects 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 5
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、実施の形態1におけるジェスチャ検出装置100の構成を示す機能ブロック図である。また、図1には、ジェスチャ検出装置100と関連して動作する装置として、撮像装置110および顔検出部10が示されている。
実施の形態2におけるジェスチャ検出装置およびジェスチャ検出方法を説明する。実施の形態2は実施の形態1の下位概念であり、実施の形態2におけるジェスチャ検出装置は、実施の形態1におけるジェスチャ検出装置100の各構成を含む。なお、実施の形態1と同様の構成および動作については説明を省略する。
実施の形態3におけるジェスチャ検出装置およびジェスチャ検出方法を説明する。実施の形態3は実施の形態1の下位概念であり、実施の形態3におけるジェスチャ検出装置は、実施の形態2におけるジェスチャ検出装置101の各構成を含む。なお、実施の形態1または2と同様の構成および動作については説明を省略する。
以上の各実施の形態に示されたジェスチャ検出装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、PND(Portable Navigation Device)などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。
Claims (6)
- 車両に設けられた撮像装置によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される顔枠の情報を取得する顔枠情報取得部と、
前記映像に基づいて、前記乗員の手の候補である手候補を検出する手候補検出部と、
前記映像における前記顔枠と前記手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、前記手候補が検出対象である前記乗員のジェスチャにおける前記乗員の前記手として検出されないように、前記手候補の情報を棄却する判定部と、を備える、ジェスチャ検出装置。 - 前記映像のフレームごとに検出される前記顔に対して前記フレームごとに設定される前記顔枠の前記情報を記憶する記憶部をさらに備え、
前記映像の第1フレームにおける前記乗員の前記顔が検出され、かつ、前記第1フレームから予め定められたフレーム数以内の第2フレームであって前記第1フレームよりも後の前記第2フレームにおける前記乗員の前記顔が検出されなかった場合、
前記顔枠情報取得部は、前記第1フレームにおける前記顔枠の前記情報を前記記憶部から取得し、
前記手候補検出部は、前記第2フレームにおける前記手候補を検出し、
前記判定部は、前記予め定められた条件としての、前記第1フレームにおける前記顔枠と前記第2フレームにおける前記手候補枠との重なりに関する条件に基づいて、前記第2フレームにおける前記手候補の前記情報を棄却する、請求項1に記載のジェスチャ検出装置。 - 前記第1フレームは、前記第2フレームから遡って直近で前記乗員の前記顔が検出されたフレームである、請求項2に記載のジェスチャ検出装置。
- 前記顔枠情報取得部は、前記映像に基づいて検出される前記乗員の顔パーツの情報をさらに取得し、
前記判定部は、前記顔枠と前記手候補枠との重なりに関する前記予め定められた条件が満たされ、かつ、前記映像に基づいて検出された前記顔パーツが予め定められた顔パーツの全てを含む場合、前記手候補の前記情報を棄却する、請求項1に記載のジェスチャ検出装置。 - 前記予め定められた条件は、
前記顔枠の少なくとも一部が前記手候補枠と重なり、かつ、前記顔枠の中心が前記手候補枠内に含まれることである、請求項1に記載のジェスチャ検出装置。 - 顔枠情報取得部、手候補検出部および判定部を備えたジェスチャ検出装置によるジェスチャ検出方法であって、
前記顔枠情報取得部が車両に設けられた撮像装置によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される顔枠の情報を取得し、
前記手候補検出部が前記映像に基づいて、前記乗員の手の候補である手候補を検出し、
前記判定部が前記映像における前記顔枠と前記手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、前記手候補が検出対象である前記乗員のジェスチャにおける前記乗員の前記手として検出されないように、前記手候補の情報を棄却する、ジェスチャ検出方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/020839 WO2021240671A1 (ja) | 2020-05-27 | 2020-05-27 | ジェスチャ検出装置およびジェスチャ検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021240671A1 JPWO2021240671A1 (ja) | 2021-12-02 |
JP7289406B2 true JP7289406B2 (ja) | 2023-06-09 |
Family
ID=78723084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022527342A Active JP7289406B2 (ja) | 2020-05-27 | 2020-05-27 | ジェスチャ検出装置およびジェスチャ検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230154226A1 (ja) |
JP (1) | JP7289406B2 (ja) |
WO (1) | WO2021240671A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014197252A (ja) | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両 |
JP2019536673A (ja) | 2017-08-10 | 2019-12-19 | ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | 運転状態監視方法及び装置、運転者監視システム、並びに車両 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6011165B2 (ja) * | 2012-08-31 | 2016-10-19 | オムロン株式会社 | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム |
US10769459B2 (en) * | 2015-08-31 | 2020-09-08 | Sri International | Method and system for monitoring driving behaviors |
JP6177482B1 (ja) * | 2016-12-26 | 2017-08-09 | 三菱電機株式会社 | タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム |
JP7008814B2 (ja) * | 2018-05-31 | 2022-01-25 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
-
2020
- 2020-05-27 JP JP2022527342A patent/JP7289406B2/ja active Active
- 2020-05-27 US US17/917,668 patent/US20230154226A1/en active Pending
- 2020-05-27 WO PCT/JP2020/020839 patent/WO2021240671A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014197252A (ja) | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両 |
JP2019536673A (ja) | 2017-08-10 | 2019-12-19 | ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | 運転状態監視方法及び装置、運転者監視システム、並びに車両 |
Also Published As
Publication number | Publication date |
---|---|
US20230154226A1 (en) | 2023-05-18 |
WO2021240671A1 (ja) | 2021-12-02 |
JPWO2021240671A1 (ja) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110688951B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN105488511B (zh) | 图像的识别方法及装置 | |
EP2042976B1 (en) | Image processing method | |
US20170083741A1 (en) | Method and device for generating instruction | |
US20180039819A1 (en) | Method and device for identity verification | |
JP7419495B2 (ja) | 投影方法および投影システム | |
JP6589796B2 (ja) | ジェスチャ検出装置 | |
CN110458888A (zh) | 基于图像的测距方法、装置、存储介质和电子设备 | |
JP2012121386A (ja) | 車載装置 | |
US9560272B2 (en) | Electronic device and method for image data processing | |
EP4095744A1 (en) | Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device | |
CN105446619B (zh) | 用于识别物体的装置和方法 | |
JP2024518333A (ja) | マルチスクリーンインタラクション方法及び機器、端末装置、及び車両 | |
CN106940802B (zh) | 用于使用生物测量学信息的认证的方法和设备 | |
CN111862187A (zh) | 基于神经网络的杯盘比确定方法、装置、设备及存储介质 | |
US20230040665A1 (en) | Air-conditioning operation terminal, computer-readable medium and air-conditioning system | |
KR101892390B1 (ko) | 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법 | |
US20150278207A1 (en) | Electronic device and method for acquiring image data | |
JP7289406B2 (ja) | ジェスチャ検出装置およびジェスチャ検出方法 | |
CN110308821B (zh) | 触控响应方法及电子设备 | |
US11956530B2 (en) | Electronic device comprising multi-camera, and photographing method | |
KR20150027608A (ko) | 제스처 기반의 원격 조작 시스템 및 그 조작 방법 | |
WO2019201223A1 (zh) | 屏幕显示的切换方法以及装置及存储介质 | |
WO2021240668A1 (ja) | ジェスチャ検出装置およびジェスチャ検出方法 | |
JP7325625B2 (ja) | ジェスチャ検出装置およびジェスチャ検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7289406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |