JP4206053B2 - ユーザインタフェース装置およびユーザインタフェースプログラム - Google Patents
ユーザインタフェース装置およびユーザインタフェースプログラム Download PDFInfo
- Publication number
- JP4206053B2 JP4206053B2 JP2004105250A JP2004105250A JP4206053B2 JP 4206053 B2 JP4206053 B2 JP 4206053B2 JP 2004105250 A JP2004105250 A JP 2004105250A JP 2004105250 A JP2004105250 A JP 2004105250A JP 4206053 B2 JP4206053 B2 JP 4206053B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- mouth
- state
- user interface
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
大野健彦、"視線を用いたインタフェース"、情報処理、2003年7月号、44巻7号、pp.726―732 川戸慎二郎、鉄谷信二、"リング周波数フィルタを利用した眉間の実時間検出"信学論(D−II),vol.J84−D−II,no12,pp.2577−2584,Dec.2001. 川戸慎二郎、鉄谷信二、"目のリアルタイム検出と追跡",信学技報,PRMU2000−63,pp.15−22、Sept.2000.
[ハードウェア構成]
以下、本発明の実施の形態にかかるユーザインタフェース装置について説明する。このユーザインタフェース装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像から、目および口の位置を検出し、さらに目や口の状態を判定して、それらの状態の組み合わせにより、コンピュータの入力装置としての機能を実現するためのものである。
次に、システム100のユーザインタフェース装置としての動作について説明する。
システム100は、顔のジェスチャーをスイッチとして、コンピュータのインタフェースとして利用するものである。
順次、「右を見てください」、「左を見てください」、「上をみてください」、「下をみてください」と指示して、見ている方向に対応する、目位置の基準目位置からのずれ量を検出し、ハードディスク54に記憶する(ステップS114)。
次に、口の位置の検出フローについて説明する。
次に、口の状態の検出フローについて説明する。
次に、目の状態の検出フローについて説明する。
まず、目の位置の検出の手続きの概略をまとめると、顔を連続撮影したビデオ画像を処理するにあたり、横が顔幅、縦がその半分程度の大きさの矩形フィルターで画面を走査する。矩形は、たとえば、3×2に6分割されていて、各分割領域の平均明るさが計算され、それらの相対的な明暗関係がある条件を満たすとき、その矩形の中心を眉間候補とする。
図10は、上述した3×2に6分割された矩形フィルタ(以下、「6分割矩形フィルタ」と呼ぶ)を示す図である。
以下では、上述した6分割矩形フィルタを用いて、眉間の候補点を抽出する処理を説明する。
以上のようにして抽出された眉間候補点には、真の眉間候補点以外に偽の眉間候補点も含まれる。そこで、以下に説明する手順で、真の眉間候補点を抽出する。
Claims (5)
- ユーザの顔領域を含む対象画像領域内の各画素の値のデジタルデータを獲得する撮影手段と、
前記対象となる画像領域内において、目の位置を抽出する目検出手段と、
前記検出された目の位置に基づき、予め記憶装置に登録された前記目を含む画像についての情報との比較に基づいて、目の開閉および視線方向を含む目の状態を判定する目状態判定手段と、
前記ユーザの口の位置を検出して、前記ユーザの口に対して、予め前記記憶装置に登録された前記口を含む画像についての情報との比較に基づいて、開状態および閉状態を含む口の状態を判定する口状態判定手段と、
検出された前記目の状態および前記口の状態の組み合わせに応じて、複数の所定の処理のうち、予め対応づけられた処理を選択して実行する処理手段とを備え、
前記処理手段は、前記口が前記開状態にあるときのみ、前記目の状態に応じた処理を実行し、
実行された前記処理に対応する結果を、出力する出力手段をさらに備える、ユーザインタフェース装置。 - 前記口状態判定手段が判定する前記口の状態は、舌が出ている状態をさらに含み、
前記処理手段は、前記舌が出ている場合にのみ、前記目の状態に応じた処理を実行する、請求項1に記載のユーザインタフェース装置。 - 前記予め記憶装置に登録された前記目を含む画像についての情報は、前記目の間隔で正規化された前記目を含む所定の範囲の画素の明度の平均値を含む、請求項1または2に記載のユーザインタフェース装置。
- 前記予め記憶装置に登録された前記口を含む画像についての情報は、前記目の間隔で正規化された前記口を含む所定の範囲の画素の明度の平均値を含む、請求項1または2に記載のユーザインタフェース装置。
- コンピュータにユーザインタフェース処理を実行させるためのユーザインタフェースプログラムであって、
ユーザの顔領域を含む対象画像領域内の各画素の値のデジタルデータを獲得するステップと、
前記対象となる画像領域内において、目の位置を抽出するステップと、
前記検出された目の位置に基づき、予め記憶装置に登録された前記目を含む画像についての情報との比較に基づいて、目の開閉および視線方向を含む目の状態を判定するステップと、
前記ユーザの口の位置を抽出するステップと、
前記ユーザの口に対して、予め前記記憶装置に登録された前記口を含む画像についての情報との比較に基づいて、開状態および閉状態を含む口の状態を判定するステップと、
検出された前記目の状態および前記口の状態の組み合わせに応じて、複数の所定の処理のうち、前記口が前記開状態にあるときのみ、前記目の状態に応じた処理を実行するように、予め対応づけられた処理を選択して実行するステップと、
実行された前記処理に対応する結果を、出力装置に出力するステップとをコンピュータに実行させる、ユーザインタフェースプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004105250A JP4206053B2 (ja) | 2004-03-31 | 2004-03-31 | ユーザインタフェース装置およびユーザインタフェースプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004105250A JP4206053B2 (ja) | 2004-03-31 | 2004-03-31 | ユーザインタフェース装置およびユーザインタフェースプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005293061A JP2005293061A (ja) | 2005-10-20 |
JP4206053B2 true JP4206053B2 (ja) | 2009-01-07 |
Family
ID=35325945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004105250A Expired - Fee Related JP4206053B2 (ja) | 2004-03-31 | 2004-03-31 | ユーザインタフェース装置およびユーザインタフェースプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4206053B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840912B2 (en) | 2006-01-30 | 2010-11-23 | Apple Inc. | Multi-touch gesture dictionary |
JP4984583B2 (ja) * | 2006-03-15 | 2012-07-25 | オムロン株式会社 | 表示装置、プロジェクタ、表示システム、表示方法、表示プログラム、および記録媒体 |
US9311528B2 (en) | 2007-01-03 | 2016-04-12 | Apple Inc. | Gesture learning |
JP5058681B2 (ja) | 2007-05-31 | 2012-10-24 | キヤノン株式会社 | 情報処理方法及び装置、プログラム、記憶媒体 |
US8413075B2 (en) | 2008-01-04 | 2013-04-02 | Apple Inc. | Gesture movies |
KR100947990B1 (ko) * | 2008-05-15 | 2010-03-18 | 성균관대학교산학협력단 | 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 |
JP2010134057A (ja) * | 2008-12-02 | 2010-06-17 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP5340088B2 (ja) | 2009-09-07 | 2013-11-13 | キヤノン株式会社 | 情報処理方法及び装置 |
US8432367B2 (en) | 2009-11-19 | 2013-04-30 | Google Inc. | Translating user interaction with a touch screen into input commands |
WO2011118224A1 (ja) * | 2010-03-26 | 2011-09-29 | 株式会社ディジタルメディアプロフェッショナル | ぼかし画像取得装置及び方法 |
KR101733246B1 (ko) | 2010-11-10 | 2017-05-08 | 삼성전자주식회사 | 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법 |
JP5783441B2 (ja) * | 2011-03-09 | 2015-09-24 | 日本電気株式会社 | 入力装置、入力方法 |
JP2015014938A (ja) * | 2013-07-05 | 2015-01-22 | 由田新技股▲分▼有限公司 | 車内アイコントロール方法、およびその方法を実現する電子デバイス |
JP2017068576A (ja) * | 2015-09-30 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 状態判定装置、閉眼判定装置、状態判定方法、状態判定プログラムおよび記録媒体 |
JP7277151B2 (ja) * | 2019-01-21 | 2023-05-18 | キヤノン株式会社 | 画像形成装置 |
CN115917406A (zh) * | 2020-06-24 | 2023-04-04 | 日本电信电话株式会社 | 信息输入设备 |
CN115720641A (zh) * | 2020-06-24 | 2023-02-28 | 日本电信电话株式会社 | 信息输入设备 |
WO2021260830A1 (ja) * | 2020-06-24 | 2021-12-30 | 日本電信電話株式会社 | 情報入力装置 |
WO2023181862A1 (ja) * | 2022-03-25 | 2023-09-28 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、記憶媒体 |
-
2004
- 2004-03-31 JP JP2004105250A patent/JP4206053B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005293061A (ja) | 2005-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4206053B2 (ja) | ユーザインタフェース装置およびユーザインタフェースプログラム | |
Miao et al. | A hierarchical multiscale and multiangle system for human face detection in a complex background using gravity-center template | |
KR100480781B1 (ko) | 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치 | |
Zhang et al. | Fast and robust occluded face detection in ATM surveillance | |
US6633655B1 (en) | Method of and apparatus for detecting a human face and observer tracking display | |
JP4824411B2 (ja) | 顔抽出装置、半導体集積回路 | |
EP3859717A1 (en) | Liveness detection | |
US9778748B2 (en) | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program | |
EP1271394A2 (en) | Method for automatically locating eyes in an image | |
CN110458063B (zh) | 防视频、照片欺骗的人脸活体检测方法 | |
KR101265466B1 (ko) | 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체 | |
JP2005056387A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP4166143B2 (ja) | 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置 | |
JP2011019192A (ja) | 画像表示装置 | |
EP4343689A1 (en) | Body part authentication system and authentication method | |
Paul et al. | Extraction of facial feature points using cumulative histogram | |
CN105912126A (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
JP7513451B2 (ja) | 生体認証装置および生体認証方法 | |
Alsufyani et al. | Biometric presentation attack detection using gaze alignment | |
Kumarage et al. | Real-time sign language gesture recognition using still-image comparison & motion recognition | |
JP2000331167A (ja) | 顔画像照合方法及び装置 | |
JP4708835B2 (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
EP3702958A1 (en) | Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image | |
JP2003178304A (ja) | 顔画像検索装置、顔画像検索方法、およびその方法をコンピュータに実行させるプログラム | |
Tian et al. | Automatic detecting neutral face for face authentication and facial expression analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081017 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131024 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |