JP6188468B2 - 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム - Google Patents
画像認識装置、ジェスチャ入力装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6188468B2 JP6188468B2 JP2013152217A JP2013152217A JP6188468B2 JP 6188468 B2 JP6188468 B2 JP 6188468B2 JP 2013152217 A JP2013152217 A JP 2013152217A JP 2013152217 A JP2013152217 A JP 2013152217A JP 6188468 B2 JP6188468 B2 JP 6188468B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hand
- steering
- recognition
- steering rim
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000013459 approach Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 20
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Steering Controls (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
そこで、本発明は、カメラで撮影したステアリングホイール周辺の画像に含まれる、自動車のステアリングホイールを握った運転者の手の画像認識を、より効率的に精度良く行うことを課題とする。
また、これらの画像認識装置において、前記ステアリングリムセンサは、前記ステアリングリムに、当該ステアリングリムの周に沿って配置された、前記手の接近もしくは接触を検出する複数のセンサを含んで構成するようにしてもよい。
図1に、本実施形態に係る情報システムの構成を示す。
ここで、情報システムは、自動車に搭載されるシステムであり、当該情報システムは、たとえば、空調制御システムやAVシステムやナビゲーションシステムなどの各種用途の情報システムをであってよい。
図示するように、情報システムは、回転角度センサ1、ステアリングリムセンサ2、カメラ3、表示装置4、音声出力装置5、ジェスチャ認識装置6、制御装置7、1つまたは複数の周辺装置8を備えている。
ただし、このような情報システムは、CPUやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、ジェスチャ認識装置6や制御装置7は、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。
また、ステアリングリムセンサ2は、図2aに示すような自動車のステアリングホイールに設けられた、手が接触または接近したステアリングリム上の位置を検出するセンサであり、ステアリングリムセンサ2は、図2bに示すように、ステアリングリムの表面下に埋め込まれた形態で、当該ステアリングリムの周方向に沿って配置された、ユーザの手の接触や接近を検出する複数のセンサ21より構成される。ここで、複数のセンサ21としては、たとえば、静電容量式のタッチセンサを用いることができる。
また、カメラ3は、可視光を撮影するカメラまたは赤外カメラであり、図3aに示すように、自動車のメータクラスタ内に配置され、ステアリングホイールの裏側から、ステアリングホイール周辺を撮影した、図3bに示すような撮影画像を出力する。
以下、このような情報システムにおいて、ジェスチャ認識装置6が行うジェスチャ入力受付処理について説明する。
図4に、このジェスチャ入力受付処理の手順を示す。
図示するように、この処理では、ステアリングリムセンサ2による手が接近または接触した位置の検出を監視し(ステップ402)、ステアリングリムセンサ2による位置の検出が発生したならば(ステップ402)、回転角度センサ1が検出している自動車のステアリングホイールの回転角度を参照し、ステアリングリムセンサ2が接近または接触を検出したステアリングリム上の位置が現在カメラの撮影画像中に写り込む位置周辺に検出領域を設定する(ステップ404)。
また、検出領域は、たとえば、ステアリングリムセンサ2が接近または接触を検出したステアリングリム上の位置が現在カメラの撮影画像中に写り込む位置を基準位置として、基準位置を中心とする領域として設定する。また、検出領域のサイズは、たとえば、縦横のそれぞれについて、ステアリングを握った標準的な大きさ手がカメラ3の撮影画像に写り込む大きさのn倍(nはたとえば2)の大きさとする。
すなわち、図5bに示したように検出領域501が設定されている場合には、図5cに示すように得られるカメラ3の撮影画像の検出領域501の画像部分を、認識対象画像として図5dに示すように抽出し、抽出した図5dの認識対象画像に対して、手を画像認識する画像認識処理を行う。
ここで、ジェスチャ認識処理におけるジェスチャの認識は、たとえば、次のように行う。
すなわち、ジェスチャ認識装置6に、予め定めた入力として受け付けるジェスチャのジェスチャパターンとして、そのジェスチャ行っている手の形状の特徴や、手の形状の特徴の変化を予め登録しておく。そして、手特徴履歴データより求まる、最新の手の形状の特徴や、現在までの手の形状の特徴の変化などが、いずれかのジェスチャパターンとマッチしている場合に、マッチしたジェスチャパターンのジェスチャを認識する。
すなわち、ステップ406で認識した認識対象画像中の手の位置や当該位置の現在までの変化や、現在までの検出領域の位置の変化や、回転角センサが検出したステアリングホールの回転角の変化から、現在カメラが撮影している撮影画像中でユーザの手が写り込んでいる領域を推定し、推定した領域に検出領域を変更する。
ただし、ステップ420の検出領域の更新はこれを行なわずに、ステップ420に進む代わりにステップ406に戻るようにしてもよい。または、ステップ420を行わずに、ステップ420の検出領域の更新はこれを行なわずに、ステップ420に進む代わりにステップ404に戻って、その時点で、回転角度センサ1が検出している自動車のステアリングホイールの回転角度と、ステアリングリムセンサ2が検出している位置より検出領域を再設定することにより、検出領域の更新を行うようにしてもよい。
さて、図1に戻り、情報システムがAVシステムを構成するものであれば、周辺装置8は、放送受信機や、CD/DVDなどの記録ディスクを再生するディスクドライブや、スピーカを備えた音声出力装置5などである。そして、制御装置7は、表示装置4に適当なGUI画面を表示しつつ、上述のジェスチャ入力受付処理によってジェスチャ認識装置6からジェスチャの認識の結果として入力する入力コードをユーザ操作を表す値として受け付け、放送受信機やディスクドライブの動作を制御する処理や、放送受信機で受信した音声やディスクドライブ装着された記録ディスクに記録されている音声を音声出力装置5に出力する処理や、放送受信機で受信した映像や、ディスクドライブ装着された記録ディスクに記録されている映像を表示装置4に出力する処理などを行う。
また、情報システムが空調制御システムを構成するものであれば、周辺装置8は、エアコンディショナーである。そして、制御装置7は、表示装置4に適当なGUI画面を表示しつつ、上述のジェスチャ入力受付処理によってジェスチャ認識装置6からジェスチャの認識の結果として入力する入力コードをユーザ操作を表す値として受け付け、エアコンディショナーの温度や風量や吹き出し口を変更するなどの処理を行う。
以上のように、本実施形態によれば、ステアリングリムセンサ2で手の接近または接触を検出した位置が写り込む位置周辺の画像部分、すなわち、手の画像が写り込んでいることが強く見込まれる画像部分のみを対象として手の画像認識を行うことになるので、カメラ3が撮影した画像全体に対して手の画像の認識処理を行う場合に比べ、より低負荷に効率的な手の画像の認識を行うことができると共に、手の画像の誤認識も抑制することができる。
また、以上の実施形態におけるステアリングリムセンサ2の検出位置に基づいて設定した、カメラ3の撮影画像中の検出領域の画像部分を対象認識画像とする技術は、ユーザ識別などにも適用することができる。すなわち、この場合には、対象認識画像に対して、対象認識画像に含まれる手の画像の個人的な特徴を認識する画像認識処理を行って、画像認識処理で認識した特徴より、運転者であるユーザが誰であるのかを識別するようにすればよい。
Claims (7)
- 画像に写り込んだ手を認識する、自動車に搭載される画像認識装置であって、
前記自動車のステアリングホイール周辺のようすを撮影するカメラと、
前記ステアリングホイールのステアリングリム上の異なる複数の位置の各々について、当該位置への手の接近もしくは接触を検知することにより、手が接近もしくは接触した前記ステアリングリム上の位置を検出するステアリングリムセンサと、
前記ステアリングリムセンサが検出した前記ステアリングリム上の位置に応じて、認識対象画像に設定する前記カメラが撮影した画像中の画像部分を、当該カメラが撮影した画像中の前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分に限定する認識対象画像設定手段と、
前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段とを有することを特徴とする画像認識装置。 - 画像に写り込んだ手を認識する、自動車に搭載される画像認識装置であって、
前記自動車のステアリングホイール周辺のようすを撮影するカメラと、
手が接近もしくは接触した、前記ステアリングホイールのステアリングリム上の位置を検出するステアリングリムセンサと、
前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像に設定する認識対象画像設定手段と、
前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段と、
前記ステアリングホイールの回転角を検出する回転角センサとを有し、
前記認識対象画像設定手段は、前記回転角センサが検出した回転角と、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置とに基づいて、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置を算定することを特徴とする画像認識装置。 - 請求項1または2記載の画像認識装置であって、
前記ステアリングリムセンサは、前記ステアリングリムに、当該ステアリングリムの周に沿って配置された、前記手の接近もしくは接触を検出する複数のセンサを含んで構成されることを特徴とする画像認識装置。 - 請求項1、2または3記載の画像認識装置を備えた、手のジェスチャによるジェスチャ入力を受け付けるジェスチャ入力装置であって、
前記画像認識手段が画像認識した手の形状より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段とを有することを特徴とするジェスチャ入力装置。 - 請求項1、2または3記載の画像認識装置を備えた、手のジェスチャによるジェスチャ入力を受け付けるジェスチャ入力装置であって、
前記ステアリングリム上の位置を検出していない状態にあった前記ステアリングリムセンサが前記ステアリングリム上の位置を検出したときに、前記画像認識手段が認識した手を基準として、前記カメラが撮影した画像中の手をトラッキングして画像認識し、画像認識した手の形状もしくは認識した手の形状の推移より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段とを有することを特徴とするジェスチャ入力装置。 - 自動車のステアリングホイール周辺のようすを撮影するカメラと、前記ステアリングホイールのステアリングリム上の異なる複数の位置の各々について、当該位置への手の接近もしくは接触を検知することにより、手が接近もしくは接触した前記ステアリングリム上の位置を検出するステアリングリムセンサとを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
当該コンピュータを、
前記ステアリングリムセンサが検出した前記ステアリングリム上の位置に応じて、認識対象画像に設定する前記カメラが撮影した画像中の画像部分を、当該カメラが撮影した画像中の前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分に限定する認識対象画像設定手段と、
前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段として機能させることを特徴とするコンピュータプログラム。 - 自動車のステアリングホイール周辺のようすを撮影するカメラと、手が接近もしくは接触した、前記ステアリングホイールのステアリングリム上の位置を検出するステアリングリムセンサと、前記ステアリングホイールの回転角を検出する回転角センサとを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
当該コンピュータプログラムは、前記コンピュータを、
前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像に設定する認識対象画像設定手段と、
前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段として機能させるコンピュータプログラムであって、
前記認識対象画像設定手段は、前記回転角センサが検出した回転角と、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置とに基づいて、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置を算定することを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013152217A JP6188468B2 (ja) | 2013-07-23 | 2013-07-23 | 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013152217A JP6188468B2 (ja) | 2013-07-23 | 2013-07-23 | 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015020677A JP2015020677A (ja) | 2015-02-02 |
JP6188468B2 true JP6188468B2 (ja) | 2017-08-30 |
Family
ID=52485493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013152217A Expired - Fee Related JP6188468B2 (ja) | 2013-07-23 | 2013-07-23 | 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6188468B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135398A (zh) * | 2019-05-28 | 2019-08-16 | 厦门瑞为信息技术有限公司 | 基于计算机视觉的双手脱离方向盘检测方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110716648B (zh) * | 2019-10-22 | 2021-08-24 | 上海商汤智能科技有限公司 | 手势控制方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11134090A (ja) * | 1997-10-30 | 1999-05-21 | Tokai Rika Co Ltd | 操作信号出力装置 |
JP3941786B2 (ja) * | 2004-03-03 | 2007-07-04 | 日産自動車株式会社 | 車両用操作入力装置および方法 |
JP2006312346A (ja) * | 2005-05-06 | 2006-11-16 | Nissan Motor Co Ltd | コマンド入力装置 |
JP2006312347A (ja) * | 2005-05-06 | 2006-11-16 | Nissan Motor Co Ltd | コマンド入力装置 |
JP4900460B2 (ja) * | 2009-12-14 | 2012-03-21 | 株式会社デンソー | 操舵装置用車輪把持検出装置、プログラム |
-
2013
- 2013-07-23 JP JP2013152217A patent/JP6188468B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135398A (zh) * | 2019-05-28 | 2019-08-16 | 厦门瑞为信息技术有限公司 | 基于计算机视觉的双手脱离方向盘检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2015020677A (ja) | 2015-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9104243B2 (en) | Vehicle operation device | |
CN108349503B (zh) | 驾驶辅助装置 | |
CN108399044B (zh) | 用户界面、运输工具和用于区分用户的方法 | |
US9613459B2 (en) | System and method for in-vehicle interaction | |
JP6335556B2 (ja) | ポインティングによる情報クエリ | |
JP6851482B2 (ja) | 操作支援装置および操作支援方法 | |
US20150015521A1 (en) | Gesture input operation processing device | |
JP6386618B2 (ja) | ジェスチャ用のインテリジェントなチュートリアル | |
JP2007237919A (ja) | 車両用入力操作装置 | |
US11858424B2 (en) | Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof | |
US20200062173A1 (en) | Notification control apparatus and method for controlling notification | |
WO2018061603A1 (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
WO2018070022A1 (ja) | 自己位置推定方法及び自己位置推定装置 | |
JP6188468B2 (ja) | 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム | |
JP5076819B2 (ja) | 車両運転支援装置および車両運転支援方法 | |
US11113550B2 (en) | Method and device for reminding a driver to start at a light signal device with variable output function | |
JP2015132905A (ja) | 電子システム、検出範囲の制御方法、及び制御プログラム | |
JP2011175367A (ja) | 車両制御装置 | |
JP2008090683A (ja) | 車載用ナビゲーション装置 | |
JP4176558B2 (ja) | 車両周辺表示装置 | |
JP2018170011A (ja) | 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体 | |
JP5902514B2 (ja) | 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体 | |
JP5342588B2 (ja) | 自動車における車載機器の操作装置 | |
JP6409473B2 (ja) | 車両通知装置、車両制御装置、および車両通知プログラム | |
JP2014154125A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6188468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |