JP5944287B2 - 動作予測装置及びそれを用いた入力装置 - Google Patents
動作予測装置及びそれを用いた入力装置 Download PDFInfo
- Publication number
- JP5944287B2 JP5944287B2 JP2012205495A JP2012205495A JP5944287B2 JP 5944287 B2 JP5944287 B2 JP 5944287B2 JP 2012205495 A JP2012205495 A JP 2012205495A JP 2012205495 A JP2012205495 A JP 2012205495A JP 5944287 B2 JP5944287 B2 JP 5944287B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- hand
- motion prediction
- operating body
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 221
- 238000001514 detection method Methods 0.000 claims description 73
- 230000005484 gravity Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 25
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 208000031872 Body Remains Diseases 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 101000585359 Homo sapiens Suppressor of tumorigenicity 20 protein Proteins 0.000 description 1
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/143—Touch sensitive instrument input devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/77—Instrument locations other than the dashboard
- B60K2360/774—Instrument locations other than the dashboard on or in the centre console
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
前記制御部では、前記画像情報により特定された動作検出領域内に進入した前記操作体の移動軌跡を追従し、前記移動軌跡に基づいて前記動作予測を行う動作予測装置であって、
前記動作検出領域内にて撮像された前記操作体のうち、手の部分を推定して、前記手の移動軌跡を追従するものであり、
前記手の推定は、前記操作体の輪郭を検出するステップ、前記輪郭から各箇所のサイズを求めて、決められた値以上の領域を有効領域とするステップ、前記有効領域内において前記輪郭が外接する領域を検出し、前記外接する領域の縦長さが閾値以下であるか否かを判定するステップを有して行われ、
前記外接する領域の縦長さが閾値以下であるとき、前記有効領域の中心を手の重心と規定すること、および/または、前記外接する領域の縦長さが閾値以上であるとき、前記外接する領域の縦長さを制限して手推定領域を規定した状態で再度、前記有効領域の判定を行うことを特徴とするものである。
前記動作予測装置及び前記操作パネルは車両内に設けられており、
少なくとも前記操作パネルの前方が撮像されるように前記撮像素子が配置されており、
前記制御部では、前記操作体の動作予測に基づいて、前記操作パネルに対する操作補助を行うことを特徴とするものである。
また左手と右手との判別、手の表裏の判別等を行えるようにしてもよい。
G 重心
L1〜L8 移動軌跡
R 撮像範囲
11 CCDカメラ
18 操作パネル
20 入力装置
21,29 制御部
22 画像情報検出部
23 領域規制部
24 算出部
25 動作予測部
26 操作補助機能部
28 動作予測装置
30 動作検出領域
31,32 区画
34 画像
41,60 手
42 輪郭
Claims (8)
- 画像情報を取得するための撮像素子と、前記画像情報に基づいて操作体の動作予測を行う制御部と、を有しており、
前記制御部では、前記画像情報により特定された動作検出領域内に進入した前記操作体の移動軌跡を追従し、前記移動軌跡に基づいて前記動作予測を行う動作予測装置であって、
前記動作検出領域内にて撮像された前記操作体のうち、手の部分を推定して、前記手の移動軌跡を追従するものであり、
前記手の推定は、前記操作体の輪郭を検出するステップ、前記輪郭から各箇所のサイズを求めて、決められた値以上の領域を有効領域とするステップ、前記有効領域内において前記輪郭が外接する領域を検出し、前記外接する領域の縦長さが閾値以下であるか否かを判定するステップを有して行われ、
前記外接する領域の縦長さが閾値以下であるとき、前記有効領域の中心を手の重心と規定することを特徴とする動作予測装置。 - 前記外接する領域の縦長さが閾値以上であるとき、前記外接する領域の縦長さを制限して手推定領域を規定した状態で再度、前記有効領域の判定を行う請求項1記載の動作予測装置。
- 画像情報を取得するための撮像素子と、前記画像情報に基づいて操作体の動作予測を行う制御部と、を有しており、
前記制御部では、前記画像情報により特定された動作検出領域内に進入した前記操作体の移動軌跡を追従し、前記移動軌跡に基づいて前記動作予測を行う動作予測装置であって、
前記動作検出領域内にて撮像された前記操作体のうち、手の部分を推定して、前記手の移動軌跡を追従するものであり、
前記手の推定は、前記操作体の輪郭を検出するステップ、前記輪郭から各箇所のサイズを求めて、決められた値以上の領域を有効領域とするステップ、前記有効領域内において前記輪郭が外接する領域を検出し、前記外接する領域の縦長さが閾値以下であるか否かを判定するステップを有して行われ、
前記外接する領域の縦長さが閾値以上であるとき、前記外接する領域の縦長さを制限して手推定領域を規定した状態で再度、前記有効領域の判定を行うことを特徴とする動作予測装置。 - 前記制御部では、前記操作体の重心を算出し、前記重心の移動ベクトルを前記操作体の移動軌跡として追従する請求項1ないし3のいずれか1項に記載の動作予測装置。
- 前記制御部では、前記操作体の移動軌跡を、前記動作検出領域内への進入位置から追従する請求項1ないし4のいずれか1項に記載の動作予測装置。
- 前記動作検出領域内は複数の区画に分割されており、前記制御部では、前記操作体の移動軌跡が、所定の前記区画内に進入したことに基づいて前記動作予測を実行する請求項1ないし5のいずれか1項に記載の動作予測装置。
- 請求項1ないし6のいずれか1項に記載された動作予測装置と、前記操作体により入力操作される操作パネルと、を有し、
前記動作予測装置及び前記操作パネルは車両内に設けられており、
少なくとも前記操作パネルの前方が撮像されるように前記撮像素子が配置されており、
前記制御部では、前記操作体の動作予測に基づいて、前記操作パネルに対する操作補助を行うことを特徴とする入力装置。 - 前記制御部では、前記操作体の前記動作検出領域内への進入位置に基づいて、前記操作パネルに対する操作者が、運転者か、前記運転者以外の乗員かを識別可能とされる請求項7記載の車両用の入力装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012205495A JP5944287B2 (ja) | 2012-09-19 | 2012-09-19 | 動作予測装置及びそれを用いた入力装置 |
US13/950,913 US20140079285A1 (en) | 2012-09-19 | 2013-07-25 | Movement prediction device and input apparatus using the same |
CN201310424909.5A CN103661165B (zh) | 2012-09-19 | 2013-09-17 | 动作预测装置及使用其的输入装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012205495A JP5944287B2 (ja) | 2012-09-19 | 2012-09-19 | 動作予測装置及びそれを用いた入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014058268A JP2014058268A (ja) | 2014-04-03 |
JP5944287B2 true JP5944287B2 (ja) | 2016-07-05 |
Family
ID=50274512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012205495A Active JP5944287B2 (ja) | 2012-09-19 | 2012-09-19 | 動作予測装置及びそれを用いた入力装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140079285A1 (ja) |
JP (1) | JP5944287B2 (ja) |
CN (1) | CN103661165B (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI471814B (zh) * | 2012-07-18 | 2015-02-01 | Pixart Imaging Inc | 降低背景干擾的手勢判斷方法及其裝置 |
DE102013010932B4 (de) * | 2013-06-29 | 2015-02-12 | Audi Ag | Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle |
KR101537936B1 (ko) * | 2013-11-08 | 2015-07-21 | 현대자동차주식회사 | 차량 및 그 제어방법 |
WO2016136838A1 (ja) * | 2015-02-25 | 2016-09-01 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
KR101654694B1 (ko) * | 2015-03-31 | 2016-09-06 | 주식회사 퓨전소프트 | 손 제스처를 이용한 차량용 전자기기 제어 방법 및 이를 구현하는 모션 감지 장치 |
DE102015205931A1 (de) * | 2015-04-01 | 2016-10-06 | Zf Friedrichshafen Ag | Bedienvorrichtung und Verfahren zum Bedienen zumindest einer Funktion eines Fahrzeugs |
CN105488794B (zh) * | 2015-11-26 | 2018-08-24 | 中山大学 | 一种基于空间定位和聚类的动作预测方法及系统 |
CN105302619B (zh) * | 2015-12-03 | 2019-06-14 | 腾讯科技(深圳)有限公司 | 一种信息处理方法及装置、电子设备 |
EP3415394B1 (en) * | 2016-02-12 | 2023-03-01 | LG Electronics Inc. | User interface apparatus for vehicle, and vehicle |
CN105809889A (zh) * | 2016-05-04 | 2016-07-27 | 南通洁泰环境科技服务有限公司 | 一种安全报警装置 |
CN106004700A (zh) * | 2016-06-29 | 2016-10-12 | 广西师范大学 | 一种稳定的全向摄影小车 |
WO2021044567A1 (ja) | 2019-09-05 | 2021-03-11 | 三菱電機株式会社 | 操作者判定装置および操作者判定方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09102046A (ja) * | 1995-08-01 | 1997-04-15 | Matsushita Electric Ind Co Ltd | 手形状認識方法および手形状認識装置 |
JPH11167455A (ja) * | 1997-12-05 | 1999-06-22 | Fujitsu Ltd | 手形状認識装置及び単色物体形状認識装置 |
JP2000331170A (ja) * | 1999-05-21 | 2000-11-30 | Atr Media Integration & Communications Res Lab | 手振り認識装置 |
US6788809B1 (en) * | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
JP2004067031A (ja) * | 2002-08-08 | 2004-03-04 | Nissan Motor Co Ltd | 操作者判別装置およびこれを用いた車載装置 |
JP3752246B2 (ja) * | 2003-08-11 | 2006-03-08 | 学校法人慶應義塾 | ハンドパターンスイッチ装置 |
JP2005242694A (ja) * | 2004-02-26 | 2005-09-08 | Mitsubishi Fuso Truck & Bus Corp | ハンドパターンスイッチ装置 |
DE102006037156A1 (de) * | 2006-03-22 | 2007-09-27 | Volkswagen Ag | Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung |
JP4670803B2 (ja) * | 2006-12-04 | 2011-04-13 | 株式会社デンソー | 操作推定装置およびプログラム |
JP2008250774A (ja) * | 2007-03-30 | 2008-10-16 | Denso Corp | 情報機器操作装置 |
DE102007034273A1 (de) * | 2007-07-19 | 2009-01-22 | Volkswagen Ag | Verfahren zur Bestimmung der Position eines Fingers eines Nutzers in einem Kraftfahrzeug und Positionsbestimmungsvorrichtung |
JP5029470B2 (ja) * | 2008-04-09 | 2012-09-19 | 株式会社デンソー | プロンプター式操作装置 |
JP4720874B2 (ja) * | 2008-08-14 | 2011-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
WO2010061448A1 (ja) * | 2008-11-27 | 2010-06-03 | パイオニア株式会社 | 操作入力装置、情報処理装置及び選択ボタン特定方法 |
US20100315413A1 (en) * | 2009-06-16 | 2010-12-16 | Microsoft Corporation | Surface Computer User Interaction |
JP5648207B2 (ja) * | 2009-09-04 | 2015-01-07 | 現代自動車株式会社 | 車両用操作装置 |
JP2011170834A (ja) * | 2010-01-19 | 2011-09-01 | Sony Corp | 情報処理装置、操作予測方法及び操作予測プログラム |
JP5051671B2 (ja) * | 2010-02-23 | 2012-10-17 | Necシステムテクノロジー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP5501992B2 (ja) * | 2010-05-28 | 2014-05-28 | パナソニック株式会社 | 情報端末、画面部品表示方法、プログラム、及び記録媒体 |
JP5732784B2 (ja) * | 2010-09-07 | 2015-06-10 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
US8897490B2 (en) * | 2011-03-23 | 2014-11-25 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Vision-based user interface and related method |
-
2012
- 2012-09-19 JP JP2012205495A patent/JP5944287B2/ja active Active
-
2013
- 2013-07-25 US US13/950,913 patent/US20140079285A1/en not_active Abandoned
- 2013-09-17 CN CN201310424909.5A patent/CN103661165B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN103661165B (zh) | 2016-09-07 |
US20140079285A1 (en) | 2014-03-20 |
JP2014058268A (ja) | 2014-04-03 |
CN103661165A (zh) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5944287B2 (ja) | 動作予測装置及びそれを用いた入力装置 | |
JP2014059803A (ja) | 入力装置 | |
JP6014162B2 (ja) | 入力装置 | |
JP4604703B2 (ja) | 駐車補助装置 | |
JP5313072B2 (ja) | 外界認識装置 | |
JP6515028B2 (ja) | 車両用操作装置 | |
US11023786B2 (en) | Device control apparatus | |
WO2015001606A1 (ja) | 撮像システム | |
JP2013193670A (ja) | 表示制御装置 | |
WO2018061603A1 (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
KR101542973B1 (ko) | 자동차의 디스플레이 제어장치 및 제어방법 | |
JP5067576B2 (ja) | 表示制御システム、表示制御方法、及び表示制御プログラム | |
WO2018061413A1 (ja) | ジェスチャ検出装置 | |
JP5382313B2 (ja) | 車両用操作入力装置 | |
CN105759955B (zh) | 输入装置 | |
JP5912177B2 (ja) | 操作入力装置、操作入力方法及び操作入力プログラム | |
KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
JP6819539B2 (ja) | ジェスチャ入力装置 | |
JP2016157457A (ja) | 操作入力装置、操作入力方法及び操作入力プログラム | |
US20200218347A1 (en) | Control system, vehicle and method for controlling multiple facilities | |
TWI815046B (zh) | 行車輔助方法及車載裝置 | |
US20230004230A1 (en) | Electronic device and method for displaying data on a display screen, related display system, vehicle and computer program | |
JP6919256B2 (ja) | 俯瞰画像生成装置、俯瞰画像表示システム、俯瞰画像生成方法及びプログラム | |
WO2021059479A1 (ja) | 操作対象物を操作可能範囲内に表示する表示制御装置 | |
JP2017224162A (ja) | ジェスチャ判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5944287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |