JP3814322B2 - データ入力装置及びデータ入力方法 - Google Patents
データ入力装置及びデータ入力方法 Download PDFInfo
- Publication number
- JP3814322B2 JP3814322B2 JP01003896A JP1003896A JP3814322B2 JP 3814322 B2 JP3814322 B2 JP 3814322B2 JP 01003896 A JP01003896 A JP 01003896A JP 1003896 A JP1003896 A JP 1003896A JP 3814322 B2 JP3814322 B2 JP 3814322B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- data input
- display unit
- detected
- cursor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
【０００１】
本発明は、データ入力装置及びデータ入力方法、特に、表示装置上の位置を示すカーソル移動のためのデータ入力装置及びデータ入力方法に関する。
【０００２】
【従来の技術】
従来のポインティングデバイスは、例えば、マウスやタブレットのように、手でポインティングデバイスを掴み、移動させることによって、その移動方向や移動量のデータをコンピュータなどに送信し、コンピュータ側で、表示画面に対応するカーソルを表示させて移動させていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例では、手でポインティングデバイスを移動させて、カーソル位置の移動を行うコンピュータシステム構成であったため、カーソルを移動させる目的の位置を目で確認した後、目的位置と異なる位置にあるカーソルをその目的位置まで移動するようにポインティングデバイスを操作する必要があった。
【０００４】
本発明は上記従来例に鑑みてなされたもので、手を使わなくてもカーソル表示を高速かつ正確に移動設定できるデータ入力装置及びデータ入力方法を提供することを目的とする。
【０００５】
上記目的を達成するため、本発明のデータ入力装置及びデータ入力方法は以下の構成を備える。即ち、
本発明のデータ入力装置は、表示部の一部を見る瞳の位置を検出する検出手段と、前記検出された位置に対応する前記表示部での座標を計算する計算手段と、前記表示手段の前記座標位置にカーソルを表示する表示手段と、前記表示部の所定の領域内に前記瞳の位置があるか否かによって、前記検出手段と前記計算手段と前記表示手段とでの処理を活性化するか否かを切換える切換え手段とを備える。
【０００６】
また、本発明のデータ入力方法は、表示部の一部を見る瞳の位置を検出する検出工程と、前記検出された位置に対応する前記表示部での座標を計算する計算工程と、前記表示部の前記座標位置にカーソルを表示する表示工程と、前記表示部の所定の領域内に前記瞳の位置があるか否かによって、前記検出工程と前記計算工程と前記表示工程とでの処理を活性化するか否かを切換える切換え工程と
を備える
【０００９】
まず、本実施の形態のデータ入力方法とその装置の構成の一つのポイントを要約した後に、詳細な説明に入る。本実施の形態は、光を検知する媒体を用意し、その媒体に映された瞳の画像を検知する機能を持ち、検知した瞳からその座標を演算し、表示装置の演算された座標にカーソルを表示する。この構成において、表示装置を見る目の視線方向に追従してカーソルを自動的に移動・表示する。
【００１０】
また、別の実施の形態では、視線方向によって、ポインテイングデバイスのボタン動作を指示する処理構成を有する。
（第１の実施の形態）
図１は、本発明の特徴を最も良く表す図面である。
【００１１】
同図において、１０１はハーフミラー、１０２は視線検知用チャージ・カップルド・デバイス（以下ＣＣＤ）マトリクス、１０３は表示装置、１０４は目、１０５は表示装置上の位置を示すカーソル、１０６は表示装置１０３の原点座標、１０７は視線検知用ＣＣＤマトリクス１０２の原点座標である。
表示装置１０３の原点１０６から１０８の方向をＸ座標方向、１０９の方向をＹ座標方向とし、座標値が増加する。
【００１２】
視線検知用ＣＣＤマトリクスの原点１０７から１１０の方向をＸ座標方向、１１１の方向をＹ座標方向とし、座標値が増加する。
また、表示装置と視線検知用ＣＣＤマトリクスの座標は１対１に対応している。
視線検知用ＣＣＤマトリクス１０２は、光入力により電荷を発生するＣＣＤを２次元平面に敷き詰めた媒体であり、電荷の分布を検知することにより目の位置１１２を検知し、視線方向を検出する。
【００１３】
１０４の目から表示装置１０３上の画面を見る場合、ハーフミラー１０１から反射された光（目１０４の像を含む）が視線検知用ＣＣＤマトリクス１０２にぶつかる。そして、その光量の分布に対応して視線検知用ＣＣＤマトリクス１０２に目１０４の像に対応した電荷の分布を発生させる。その分布を解析することによって、ＣＣＤマトリクス１０２上での目１０４に対応する位置１１２が検知され、検知された視線位置に対応する表示装置１０３上での位置にカーソル１０５を表示する。
【００１４】
視線検知用ＣＣＤマトリクス１０２は、ＣＣＤデータ入力制御部によって制御され、ＣＣＤマトリクス１０２からのデータを入力し、ＣＰＵ１２２やＲＡＭ１２４に転送する。
表示ドライバ１２１は、表示装置１０３を駆動を行い、ＣＰＵ１２２やＲＡＭ１２４から転送される表示データを表示装置１０３に表示させる。
【００１５】
ＲＯＭには、後述する各種フローチャートの処理に対応するプログラムが格納されており、ＣＰＵ１２２によって、逐次読み出され実行される。
ＣＰＵ１２２は、上述の各部の処理全体を制御する。
図２は、ＣＣＤにより視線を検知する機構を示した図である。
図２を参照して、１０２は視線検知用ＣＣＤマトリクス、１１２は視線検知用ＣＣＤマトリクス上に投影された目の瞳孔の画像である。
【００１６】
また、２０１は瞳のＸ，Ｙ座標の最小座標（Ｘｍｉｎ，Ｙｍｉｎ）であり、２０２は瞳のＸ，Ｙ座標の最大座標（Ｘｍａｘ，Ｙｍａｘ）である。
瞳の最小座標２０１と最大座標２０２から、瞳の中心の座標：
（Ｘｍａｘ−Ｘｍｉｎ，Ｙｍａｘ−Ｙｍｉｎ）
を求める。求められた瞳の中心の座標に対応する表示装置１０３上の位置にカーソル１０５を移動／表示する。
【００１７】
図３は、本実施の形態のカーソル移動表示処理のアルゴリズムを示す。
まず、ステップＳ３０１で電源投入されると、ステップＳ３０２で、視線検知用ＣＣＤマトリクスに投影された瞳の最小座標及び最大座標を検知する。
ステップＳ３０３では、ステップＳ３０２で検知された座標より、瞳の中心座標を算出する。
【００１８】
ステップＳ３０４では、瞳の中心座標に対応する表示装置上の位置にカーソルを移動する。
ステップＳ３０５では、電源がオフにされたかどうかチェックし、オフでなければ、ステップＳ３０２に戻り、同様の処理を繰り返す。オフであれば、処理を終了する。
【００１９】
以上説明したように、本実施の形態によれば、従来の手動のポインテイングデバイスを用いることなく、所要の位置に視線を移動させるだけで、カーソルの位置を設定することができる。
（第２の実施の形態）
次に、第２の実施の形態のデータ入力方法とその装置は、特に、手が不自由等の身体障害者向きの装置であって、カーソルの移動設定を容易に行うことができる。
【００２０】
図４は、第２の実施の形態の特徴を最も良く表しており、４０１は第１の実施の形態（図１参照）と同じ構成の装置、４０２はスイッチ、４０３は防水カバーである。
第１の実施の形態の装置により移動したカーソル位置において、４０２のスイッチを押すことで、ポインテイングデバイスのボタンのエミュレーション、即ち、ボタンのオンオフに対応してカーソル移動処理を行うかどうかの指示を行う。
【００２１】
このスイッチには、防水カバー４０３または、スイッチに防水機構が装備されており、人間は口の中でそのスイッチのオンオフを容易に制御できる。
図５は、第２の実施の形態の処理アルゴリズムを示す。
まず、ステップＳ５０１で電源投入されると、ステップＳ５０２で、スイッチのオン・オフを検知する。そして、スイッチがオンの場合は、ステップＳ５０３へ進み、視線の移動に対応したカーソルの移動処理である、上述したステップＳ３０２からステップＳ３０４と同じ処理を行う。
【００２２】
ステップＳ５０４では、電源がオフにされたかどうかチェックし、オフでなければ、ステップＳ５０２に戻り、同様の処理を繰り返す。オフであれば、処理を終了する。
本実施の形態によれば、ポインテイングデバイスのクリックボタンに対応するスイッチを備え、視線の移動によるカーソルの移動の実行、非実行の指示を容易に行うことができる。また特に、そのスイッチは、人間は口の中でオンオフを容易に制御できるため、身体障害者等にとっても、容易にカーソルの移動を操作することができる。
（第３の実施の形態）
図６は、第３の実施の形態の特徴を最も良く表しており、６０１は第１の実施の形態のデータ入力装置であり、６０２は、視線の移動によりカーソルの移動処理を行うか否かを制御するスイッチである。
【００２３】
第３の実施の形態のデータ入力装置は、第２の実施の形態で説明したデータ処理を同じ処理を行う。
（第４の実施の形態）
第４の実施の形態は、第１の実施の形態のデータ入力装置を、撮像装置に適用した応用例である。
【００２４】
図７は、第４の実施の形態の特徴を最も良く表しており、７０１は、第１の実施の形態のデータ入力装置の機能を内蔵した撮像装置（以下スチルビデオカメラ）、７０２はポインテイングデバイスのクリックボタンに対応するスイッチ、７０３はそのデータ入力装置の機能とスチルビデオカメラの機能を切り替えるスイッチである。
【００２５】
本実施の形態での視点の移動に対するカーソルの移動設定処理結果に基づいて、スチルビデオカメラ７０１はフォーカシングの調整等を行ことができる。視線の移動だけで撮像対象にたいするフォーカシングが可能なため、ユーザの別の手段による調整を不要とすることができ便利である。
図８は第４の実施の形態の処理アルゴリズムを示しており、
ステップＳ８０１で電源投入されると、ステップＳ８０２で機能切り替えスイッチ７０３のオンオフの状態を検出する。
【００２６】
即ち、ユーザが、機能切り替えスイッチ７０３のオンオフを設定することにより、本発明に係る一実施の形態の視線移動によるカーソル移動処理モードを選択するか、または、設定されたカーソル一に基づきフォーカシングなどの処理を行って、通常の撮像処理を行うモードを選択する。
ステップＳ８０３で、この検出結果を判定し、オンであれば、ステップＳ８０５へ進み、オフであれば、ステップＳ８０４へ進む。
【００２７】
ステップＳ８０５では、視線によるカーソル移動処理、即ち、上述したステップＳ３０２からステップＳ３０４と同じ処理を行う。
ステップＳ８０６では、電源がオフにされたかどうかチェックし、オフでなければ、ステップＳ８０２に戻り、同様の処理を繰り返す。オフであれば、処理を終了する。
【００２８】
ステップＳ８０４では、ステップＳ８０５で設定されたカーソル位置に基づき、撮像対象に対するフォーカシングを行う。そして、実際の撮像に関する諸々の処理を行う。この処理は、通常のカメラでの処理と同様であるので説明を省略する。
以上説明したように、本実施の形態によれば、本発明に係る一実施の形態のデータ入力方法とその装置を撮像装置に適用することにより、人間の物理的操作が最小で、対象被写体の特定ができ、また、その結果を元に、フォーカシング等の処理を自動的に行うことができる。
（第５の実施の形態）
第５の実施の形態は、第４の実施の形態の撮像装置に対してさらに、内蔵する表示装置の一角に、第４の実施の形態で説明した視線によるカーソル移動処理かその他の撮像機能の処理を行うかの判定を、表示装置１０３の領域に”機能切り換え指定領域”を設け、ユーザの目がその領域を向くことにより、その領域のオンオフを検出することにより、さらにユーザの物理的操作を軽減した撮像方法とその装置に関する。
【００２９】
図９は、第５の実施の形態の特徴を最も良く表しており、９０１は基本的に第４の実施の形態に示した機能と同じ機能を有する撮像装置（スチルビデオカメラ）であり、９０２はカーソル移動処理を実行するか否かを指定するスイッチである。
また、表示装置１０３は、スチルビデオカメラ９０１に内蔵されている表示装置の様子を説明するために、外に引き出して拡大した様子を示す。
【００３０】
９０３は、上述した機能切り換え指示領域である。
また、１０５は、ユーザの視線が向いている位置を示すカーソルを意味する。
次に、図１０は、第５の実施の形態の処理アルゴリズムを示す。以下、図１０を参照して、本実施の形態の撮像装置の処理手順を説明する。
まず、ステップＳ１００１で電源投入されると、ステップＳ１００２は、機能切り換え指示領域９０３に視線があるかどうかを検出する。
【００３１】
ステップＳ１００３では、ステップＳ１００１での検出結果、機能切り換え指示領域９０３に視線があれば、ステップＳ１００４へ進む。逆に、なければステップＳ１００６へ進む。
ステップＳ１００４では、視線によるカーソル移動処理を行う。その詳細を図１１に示す。まず、ステップＳ１１０１では、スイッチ９０２がオンかどうかチェックし、オンであれば、ステップＳ１１０２へ進み、視線方向によるカーソル移動を行う。この処理は、上述したステップＳ３０２からステップＳ３０４と同じ処理であるので説明を割愛する。他方、スイッチ９０２がオフであれば、何の処理も行わず、ステップＳ８０５の処理を終了する。
【００３２】
ステップＳ１００５では、電源がオフにされたかどうかチェックし、オフでなければ、ステップＳ１００２に戻り、同様の処理を繰り返す。オフであれば、処理を終了する。
ステップＳ１００６では、ステップＳ１００４で設定されたカーソル位置に基づき、撮像対象に対するフォーカシングを行う。そして、実際の撮像に関する諸々の処理を行う。この処理は、通常のカメラでの処理と同様であるので説明を省略する。
【００３３】
以上説明したように、本実施の形態によれば、表示装置内に表示した機能切り替え指示領域をユーザの視線が向くかどうかを判定することにより、さらにユーザの物理的操作を軽減することができる。
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００３４】
以上説明したように、以上説明した各実施の形態によれば、視線を移動するだけでカーソルを移動させることができ、また、視線の方向が所定の領域上にあるかどうかを判定することにより、従来のポインテイングデバイスのクリックボタンからの入力と同等の入力情報が得られるため、
・手を使わなくてもカーソルが移動できる
・高速にカーソルが移動できる
・正確にカーソルが移動できる
・ポインテイングデバイスのクリックボタンのエミュレーションが可能
・処理の種類の選択等を物理的操作なしで実現できる
等の顕著な効果がある。
【００３５】
尚、上述した表示装置１０３の領域に”機能切り換え指定領域”を設け、ユーザの目がその領域を向くことにより、その領域のオンオフを検出することにより、さらにユーザの物理的操作を軽減した撮像方法とその装置では、カーソルの移動処理かその他の撮像処理を実行するかの選択スイッチとして用いることを説明したが、その領域のスイッチとしての用途は上述の用途に限られるものではなく、他の撮像処理のどの工程にでも適用できることは言うまでもない。
【００３６】
【発明の効果】
以上説明したように本発明によれば、手を使わなくてもカーソル表示を高速にかつ正確に移動設定できる。
【図面の簡単な説明】
【図１】本実施の形態のデータ入力装置の構成図である。
【図２】本実施の形態のデータ入力装置でのＣＣＤマトリクスで検出された瞳の電荷分布の様子を説明する図である。
【図３】本実施の形態のデータ入力装置のカーソル移動処理手順を示すフローチャートである。
【図４】口の中で操作可能なスイッチをさらに備えるデータ入力装置を説明する図である。
【図５】図４で示した実施の形態のデータ入力装置でのカーソル移動処理手順を示すフローチャートである。
【図６】本発明に係る他の実施の形態のデータ入力装置を説明する図である。
【図７】カーソル移動処理か撮像処理を選択するかを選択するスイッチを備えた本実施の形態の撮像装置を説明する図である。
【図８】図７で示した実施の形態のデータ入力装置での撮像処理手順を示すフローチャートである。
【図９】スイッチの機能を、表示装置の一部に所定の画像を表示して、視線がその領域上にあつことを検出することにより実現した撮像装置の構成を説明する図である。
【図１０】図９で示した実施の形態のデータ入力装置での撮像処理手順を示すフローチャートである。
【図１１】図１０で示した実施の形態のデータ入力装置での撮像処理手順を示すフローチャートである。
【符号の説明】
１０１ ハーフミラー
１０２ 視線検知用ＣＣＤマトリクス
１０３ 表示装置
１０４ 目
１０５ カーソル
４０２ スイッチ
４０３ 防水カバー
本発明は、データ入力装置及びデータ入力方法、特に、表示装置上の位置を示すカーソル移動のためのデータ入力装置及びデータ入力方法に関する。
【０００２】
【従来の技術】
従来のポインティングデバイスは、例えば、マウスやタブレットのように、手でポインティングデバイスを掴み、移動させることによって、その移動方向や移動量のデータをコンピュータなどに送信し、コンピュータ側で、表示画面に対応するカーソルを表示させて移動させていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例では、手でポインティングデバイスを移動させて、カーソル位置の移動を行うコンピュータシステム構成であったため、カーソルを移動させる目的の位置を目で確認した後、目的位置と異なる位置にあるカーソルをその目的位置まで移動するようにポインティングデバイスを操作する必要があった。
【０００４】
本発明は上記従来例に鑑みてなされたもので、手を使わなくてもカーソル表示を高速かつ正確に移動設定できるデータ入力装置及びデータ入力方法を提供することを目的とする。
【０００５】
上記目的を達成するため、本発明のデータ入力装置及びデータ入力方法は以下の構成を備える。即ち、
本発明のデータ入力装置は、表示部の一部を見る瞳の位置を検出する検出手段と、前記検出された位置に対応する前記表示部での座標を計算する計算手段と、前記表示手段の前記座標位置にカーソルを表示する表示手段と、前記表示部の所定の領域内に前記瞳の位置があるか否かによって、前記検出手段と前記計算手段と前記表示手段とでの処理を活性化するか否かを切換える切換え手段とを備える。
【０００６】
また、本発明のデータ入力方法は、表示部の一部を見る瞳の位置を検出する検出工程と、前記検出された位置に対応する前記表示部での座標を計算する計算工程と、前記表示部の前記座標位置にカーソルを表示する表示工程と、前記表示部の所定の領域内に前記瞳の位置があるか否かによって、前記検出工程と前記計算工程と前記表示工程とでの処理を活性化するか否かを切換える切換え工程と
を備える
【０００９】
まず、本実施の形態のデータ入力方法とその装置の構成の一つのポイントを要約した後に、詳細な説明に入る。本実施の形態は、光を検知する媒体を用意し、その媒体に映された瞳の画像を検知する機能を持ち、検知した瞳からその座標を演算し、表示装置の演算された座標にカーソルを表示する。この構成において、表示装置を見る目の視線方向に追従してカーソルを自動的に移動・表示する。
【００１０】
また、別の実施の形態では、視線方向によって、ポインテイングデバイスのボタン動作を指示する処理構成を有する。
（第１の実施の形態）
図１は、本発明の特徴を最も良く表す図面である。
【００１１】
同図において、１０１はハーフミラー、１０２は視線検知用チャージ・カップルド・デバイス（以下ＣＣＤ）マトリクス、１０３は表示装置、１０４は目、１０５は表示装置上の位置を示すカーソル、１０６は表示装置１０３の原点座標、１０７は視線検知用ＣＣＤマトリクス１０２の原点座標である。
表示装置１０３の原点１０６から１０８の方向をＸ座標方向、１０９の方向をＹ座標方向とし、座標値が増加する。
【００１２】
視線検知用ＣＣＤマトリクスの原点１０７から１１０の方向をＸ座標方向、１１１の方向をＹ座標方向とし、座標値が増加する。
また、表示装置と視線検知用ＣＣＤマトリクスの座標は１対１に対応している。
視線検知用ＣＣＤマトリクス１０２は、光入力により電荷を発生するＣＣＤを２次元平面に敷き詰めた媒体であり、電荷の分布を検知することにより目の位置１１２を検知し、視線方向を検出する。
【００１３】
１０４の目から表示装置１０３上の画面を見る場合、ハーフミラー１０１から反射された光（目１０４の像を含む）が視線検知用ＣＣＤマトリクス１０２にぶつかる。そして、その光量の分布に対応して視線検知用ＣＣＤマトリクス１０２に目１０４の像に対応した電荷の分布を発生させる。その分布を解析することによって、ＣＣＤマトリクス１０２上での目１０４に対応する位置１１２が検知され、検知された視線位置に対応する表示装置１０３上での位置にカーソル１０５を表示する。
【００１４】
視線検知用ＣＣＤマトリクス１０２は、ＣＣＤデータ入力制御部によって制御され、ＣＣＤマトリクス１０２からのデータを入力し、ＣＰＵ１２２やＲＡＭ１２４に転送する。
表示ドライバ１２１は、表示装置１０３を駆動を行い、ＣＰＵ１２２やＲＡＭ１２４から転送される表示データを表示装置１０３に表示させる。
【００１５】
ＲＯＭには、後述する各種フローチャートの処理に対応するプログラムが格納されており、ＣＰＵ１２２によって、逐次読み出され実行される。
ＣＰＵ１２２は、上述の各部の処理全体を制御する。
図２は、ＣＣＤにより視線を検知する機構を示した図である。
図２を参照して、１０２は視線検知用ＣＣＤマトリクス、１１２は視線検知用ＣＣＤマトリクス上に投影された目の瞳孔の画像である。
【００１６】
また、２０１は瞳のＸ，Ｙ座標の最小座標（Ｘｍｉｎ，Ｙｍｉｎ）であり、２０２は瞳のＸ，Ｙ座標の最大座標（Ｘｍａｘ，Ｙｍａｘ）である。
瞳の最小座標２０１と最大座標２０２から、瞳の中心の座標：
（Ｘｍａｘ−Ｘｍｉｎ，Ｙｍａｘ−Ｙｍｉｎ）
を求める。求められた瞳の中心の座標に対応する表示装置１０３上の位置にカーソル１０５を移動／表示する。
【００１７】
図３は、本実施の形態のカーソル移動表示処理のアルゴリズムを示す。
まず、ステップＳ３０１で電源投入されると、ステップＳ３０２で、視線検知用ＣＣＤマトリクスに投影された瞳の最小座標及び最大座標を検知する。
ステップＳ３０３では、ステップＳ３０２で検知された座標より、瞳の中心座標を算出する。
【００１８】
ステップＳ３０４では、瞳の中心座標に対応する表示装置上の位置にカーソルを移動する。
ステップＳ３０５では、電源がオフにされたかどうかチェックし、オフでなければ、ステップＳ３０２に戻り、同様の処理を繰り返す。オフであれば、処理を終了する。
【００１９】
以上説明したように、本実施の形態によれば、従来の手動のポインテイングデバイスを用いることなく、所要の位置に視線を移動させるだけで、カーソルの位置を設定することができる。
（第２の実施の形態）
次に、第２の実施の形態のデータ入力方法とその装置は、特に、手が不自由等の身体障害者向きの装置であって、カーソルの移動設定を容易に行うことができる。
【００２０】
図４は、第２の実施の形態の特徴を最も良く表しており、４０１は第１の実施の形態（図１参照）と同じ構成の装置、４０２はスイッチ、４０３は防水カバーである。
第１の実施の形態の装置により移動したカーソル位置において、４０２のスイッチを押すことで、ポインテイングデバイスのボタンのエミュレーション、即ち、ボタンのオンオフに対応してカーソル移動処理を行うかどうかの指示を行う。
【００２１】
このスイッチには、防水カバー４０３または、スイッチに防水機構が装備されており、人間は口の中でそのスイッチのオンオフを容易に制御できる。
図５は、第２の実施の形態の処理アルゴリズムを示す。
まず、ステップＳ５０１で電源投入されると、ステップＳ５０２で、スイッチのオン・オフを検知する。そして、スイッチがオンの場合は、ステップＳ５０３へ進み、視線の移動に対応したカーソルの移動処理である、上述したステップＳ３０２からステップＳ３０４と同じ処理を行う。
【００２２】
ステップＳ５０４では、電源がオフにされたかどうかチェックし、オフでなければ、ステップＳ５０２に戻り、同様の処理を繰り返す。オフであれば、処理を終了する。
本実施の形態によれば、ポインテイングデバイスのクリックボタンに対応するスイッチを備え、視線の移動によるカーソルの移動の実行、非実行の指示を容易に行うことができる。また特に、そのスイッチは、人間は口の中でオンオフを容易に制御できるため、身体障害者等にとっても、容易にカーソルの移動を操作することができる。
（第３の実施の形態）
図６は、第３の実施の形態の特徴を最も良く表しており、６０１は第１の実施の形態のデータ入力装置であり、６０２は、視線の移動によりカーソルの移動処理を行うか否かを制御するスイッチである。
【００２３】
第３の実施の形態のデータ入力装置は、第２の実施の形態で説明したデータ処理を同じ処理を行う。
（第４の実施の形態）
第４の実施の形態は、第１の実施の形態のデータ入力装置を、撮像装置に適用した応用例である。
【００２４】
図７は、第４の実施の形態の特徴を最も良く表しており、７０１は、第１の実施の形態のデータ入力装置の機能を内蔵した撮像装置（以下スチルビデオカメラ）、７０２はポインテイングデバイスのクリックボタンに対応するスイッチ、７０３はそのデータ入力装置の機能とスチルビデオカメラの機能を切り替えるスイッチである。
【００２５】
本実施の形態での視点の移動に対するカーソルの移動設定処理結果に基づいて、スチルビデオカメラ７０１はフォーカシングの調整等を行ことができる。視線の移動だけで撮像対象にたいするフォーカシングが可能なため、ユーザの別の手段による調整を不要とすることができ便利である。
図８は第４の実施の形態の処理アルゴリズムを示しており、
ステップＳ８０１で電源投入されると、ステップＳ８０２で機能切り替えスイッチ７０３のオンオフの状態を検出する。
【００２６】
即ち、ユーザが、機能切り替えスイッチ７０３のオンオフを設定することにより、本発明に係る一実施の形態の視線移動によるカーソル移動処理モードを選択するか、または、設定されたカーソル一に基づきフォーカシングなどの処理を行って、通常の撮像処理を行うモードを選択する。
ステップＳ８０３で、この検出結果を判定し、オンであれば、ステップＳ８０５へ進み、オフであれば、ステップＳ８０４へ進む。
【００２７】
ステップＳ８０５では、視線によるカーソル移動処理、即ち、上述したステップＳ３０２からステップＳ３０４と同じ処理を行う。
ステップＳ８０６では、電源がオフにされたかどうかチェックし、オフでなければ、ステップＳ８０２に戻り、同様の処理を繰り返す。オフであれば、処理を終了する。
【００２８】
ステップＳ８０４では、ステップＳ８０５で設定されたカーソル位置に基づき、撮像対象に対するフォーカシングを行う。そして、実際の撮像に関する諸々の処理を行う。この処理は、通常のカメラでの処理と同様であるので説明を省略する。
以上説明したように、本実施の形態によれば、本発明に係る一実施の形態のデータ入力方法とその装置を撮像装置に適用することにより、人間の物理的操作が最小で、対象被写体の特定ができ、また、その結果を元に、フォーカシング等の処理を自動的に行うことができる。
（第５の実施の形態）
第５の実施の形態は、第４の実施の形態の撮像装置に対してさらに、内蔵する表示装置の一角に、第４の実施の形態で説明した視線によるカーソル移動処理かその他の撮像機能の処理を行うかの判定を、表示装置１０３の領域に”機能切り換え指定領域”を設け、ユーザの目がその領域を向くことにより、その領域のオンオフを検出することにより、さらにユーザの物理的操作を軽減した撮像方法とその装置に関する。
【００２９】
図９は、第５の実施の形態の特徴を最も良く表しており、９０１は基本的に第４の実施の形態に示した機能と同じ機能を有する撮像装置（スチルビデオカメラ）であり、９０２はカーソル移動処理を実行するか否かを指定するスイッチである。
また、表示装置１０３は、スチルビデオカメラ９０１に内蔵されている表示装置の様子を説明するために、外に引き出して拡大した様子を示す。
【００３０】
９０３は、上述した機能切り換え指示領域である。
また、１０５は、ユーザの視線が向いている位置を示すカーソルを意味する。
次に、図１０は、第５の実施の形態の処理アルゴリズムを示す。以下、図１０を参照して、本実施の形態の撮像装置の処理手順を説明する。
まず、ステップＳ１００１で電源投入されると、ステップＳ１００２は、機能切り換え指示領域９０３に視線があるかどうかを検出する。
【００３１】
ステップＳ１００３では、ステップＳ１００１での検出結果、機能切り換え指示領域９０３に視線があれば、ステップＳ１００４へ進む。逆に、なければステップＳ１００６へ進む。
ステップＳ１００４では、視線によるカーソル移動処理を行う。その詳細を図１１に示す。まず、ステップＳ１１０１では、スイッチ９０２がオンかどうかチェックし、オンであれば、ステップＳ１１０２へ進み、視線方向によるカーソル移動を行う。この処理は、上述したステップＳ３０２からステップＳ３０４と同じ処理であるので説明を割愛する。他方、スイッチ９０２がオフであれば、何の処理も行わず、ステップＳ８０５の処理を終了する。
【００３２】
ステップＳ１００５では、電源がオフにされたかどうかチェックし、オフでなければ、ステップＳ１００２に戻り、同様の処理を繰り返す。オフであれば、処理を終了する。
ステップＳ１００６では、ステップＳ１００４で設定されたカーソル位置に基づき、撮像対象に対するフォーカシングを行う。そして、実際の撮像に関する諸々の処理を行う。この処理は、通常のカメラでの処理と同様であるので説明を省略する。
【００３３】
以上説明したように、本実施の形態によれば、表示装置内に表示した機能切り替え指示領域をユーザの視線が向くかどうかを判定することにより、さらにユーザの物理的操作を軽減することができる。
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００３４】
以上説明したように、以上説明した各実施の形態によれば、視線を移動するだけでカーソルを移動させることができ、また、視線の方向が所定の領域上にあるかどうかを判定することにより、従来のポインテイングデバイスのクリックボタンからの入力と同等の入力情報が得られるため、
・手を使わなくてもカーソルが移動できる
・高速にカーソルが移動できる
・正確にカーソルが移動できる
・ポインテイングデバイスのクリックボタンのエミュレーションが可能
・処理の種類の選択等を物理的操作なしで実現できる
等の顕著な効果がある。
【００３５】
尚、上述した表示装置１０３の領域に”機能切り換え指定領域”を設け、ユーザの目がその領域を向くことにより、その領域のオンオフを検出することにより、さらにユーザの物理的操作を軽減した撮像方法とその装置では、カーソルの移動処理かその他の撮像処理を実行するかの選択スイッチとして用いることを説明したが、その領域のスイッチとしての用途は上述の用途に限られるものではなく、他の撮像処理のどの工程にでも適用できることは言うまでもない。
【００３６】
【発明の効果】
以上説明したように本発明によれば、手を使わなくてもカーソル表示を高速にかつ正確に移動設定できる。
【図面の簡単な説明】
【図１】本実施の形態のデータ入力装置の構成図である。
【図２】本実施の形態のデータ入力装置でのＣＣＤマトリクスで検出された瞳の電荷分布の様子を説明する図である。
【図３】本実施の形態のデータ入力装置のカーソル移動処理手順を示すフローチャートである。
【図４】口の中で操作可能なスイッチをさらに備えるデータ入力装置を説明する図である。
【図５】図４で示した実施の形態のデータ入力装置でのカーソル移動処理手順を示すフローチャートである。
【図６】本発明に係る他の実施の形態のデータ入力装置を説明する図である。
【図７】カーソル移動処理か撮像処理を選択するかを選択するスイッチを備えた本実施の形態の撮像装置を説明する図である。
【図８】図７で示した実施の形態のデータ入力装置での撮像処理手順を示すフローチャートである。
【図９】スイッチの機能を、表示装置の一部に所定の画像を表示して、視線がその領域上にあつことを検出することにより実現した撮像装置の構成を説明する図である。
【図１０】図９で示した実施の形態のデータ入力装置での撮像処理手順を示すフローチャートである。
【図１１】図１０で示した実施の形態のデータ入力装置での撮像処理手順を示すフローチャートである。
【符号の説明】
１０１ ハーフミラー
１０２ 視線検知用ＣＣＤマトリクス
１０３ 表示装置
１０４ 目
１０５ カーソル
４０２ スイッチ
４０３ 防水カバー
Claims (10)
- 表示部を見る瞳の位置を検出する検出手段と、
検出された前記瞳の位置に対応する前記表示部での座標を計算する計算手段と、
前記表示部にカーソルを表示する表示手段と、
前記表示部の予め定めた領域内に前記瞳の位置があるか否かによって、カーソル移動処理とカメラ機能処理を切換える切換え手段と、
前記カーソル移動処理を実行するか否かを切り換える切り替えスイッチと、
を備えることを特徴とする撮像装置のデータ入力装置。 - 前記検出手段は、
前記瞳と前記表示部との間の予め定めた位置に配置されたハーフミラーと、
前記瞳からの光が前記ハーフミラーで反射された反射光を受ける予め定めた位置に配置されたＣＣＤマトリクスを含み、
前記瞳の像とその位置を、前記ＣＣＤマトリクスに前記反射光に反応して充電された電荷パタンと前記瞳を代表する電荷パタンとの一致に基づき、検出することを特徴とする請求項１に記載の撮像装置のデータ入力装置。 - 前記ＣＣＤマトリクスの各ＣＣＤは、入力する光エネルギーを電荷量に変換する素子であり、
前記ＣＣＤマトリクスは、前記素子をマトリクス状に配列させ、広い面積で入力する光を検出することを特徴とする請求項２に記載の撮像装置のデータ入力装置。 - 前記計算手段は、前記表示部と前記ハーフミラーと前記ＣＣＤマトリクスの各位置関係に基づいて、前記検出された位置に対応する前記表示部での座標を計算することを特徴とする請求項２に記載の撮像装置のデータ入力装置。
- 検出された前記瞳の位置の座標は、前記検出された瞳の像の最大座標と最小座標に基づき求められた前記瞳の像の中心座標であることを特徴とする請求項２に記載の撮像装置のデータ入力装置。
- 表示部を見る瞳の位置を検出する検出工程と、
検出された前記瞳の位置に対応する前記表示部での座標を計算する計算工程と、
前記表示部にカーソルを表示する表示工程と、
前記表示部の予め定めた領域内に前記瞳の位置があるか否かによって、カーソル移動処理とカメラ機能処理を切換える切換え工程と、
前記カーソル移動処理を実行するか否かを切り換える切替え工程と、
を備えることを特徴とする撮像装置のデータ入力方法。 - 前記検出工程は、
前記瞳と前記表示部との間の予め定めた位置に配置されたハーフミラーで反射された前記瞳からの光を入力する、予め定めた位置に配置されたＣＣＤマトリクスで生成される電荷パタンと、前記瞳を代表する電荷パタンとの一致に基づき、前記瞳の像とその位置を検出することを特徴とする請求項６に記載の撮像装置のデータ入力方法。 - 前記ＣＣＤマトリクスの各ＣＣＤは、入力する光エネルギーを電荷量に変換する素子であり、
前記ＣＣＤマトリクスは、前記素子をマトリクス状に配列させ、広い面積で入力する光を検出することを特徴とする請求項７に記載の撮像装置のデータ入力方法。 - 前記計算工程は、前記表示部と前記ハーフミラーと前記ＣＣＤマトリクスの各位置関係に基づいて、前記検出された位置に対応する前記表示部での座標を計算することを特徴とする請求項７に記載の撮像装置のデータ入力方法。
- 検出された前記瞳の座標は、検出された前記瞳の像の最大座標と最小座標に基づき求められた前記瞳の像の中心座標であることを特徴とする請求項６に記載の撮像装置のデータ入力方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01003896A JP3814322B2 (ja) | 1996-01-24 | 1996-01-24 | データ入力装置及びデータ入力方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01003896A JP3814322B2 (ja) | 1996-01-24 | 1996-01-24 | データ入力装置及びデータ入力方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09204260A JPH09204260A (ja) | 1997-08-05 |
| JP3814322B2 true JP3814322B2 (ja) | 2006-08-30 |
Family
ID=11739234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01003896A Expired - Fee Related JP3814322B2 (ja) | 1996-01-24 | 1996-01-24 | データ入力装置及びデータ入力方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3814322B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003196017A (ja) * | 2001-12-25 | 2003-07-11 | Gen Tec:Kk | データ入力方法及び同装置等 |
| KR100749033B1 (ko) * | 2004-03-03 | 2007-08-13 | 학교법인 한국정보통신학원 | 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치 |
| JP5387557B2 (ja) * | 2010-12-27 | 2014-01-15 | カシオ計算機株式会社 | 情報処理装置及び方法、並びにプログラム |
| JP6599176B2 (ja) * | 2015-08-28 | 2019-10-30 | 三菱重工サーマルシステムズ株式会社 | ターボ冷凍装置 |
-
1996
- 1996-01-24 JP JP01003896A patent/JP3814322B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09204260A (ja) | 1997-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3114813B2 (ja) | 情報入力方法 | |
| JP4032404B2 (ja) | 操作装置 | |
| CN107430278B (zh) | 基于用户的上下文敏感全息图反应 | |
| JPH0844490A (ja) | インターフェイス装置 | |
| EP1329838B1 (en) | Pointing device using the image of the hand | |
| JPH0749744A (ja) | 頭部搭載型表示入力装置 | |
| JP6601402B2 (ja) | 制御装置、制御方法およびプログラム | |
| JP2008129775A (ja) | 表示制御装置、表示装置、表示制御方法 | |
| JPH07135595A (ja) | 位置指示装置 | |
| US20040189804A1 (en) | Method of selecting targets and generating feedback in object tracking systems | |
| KR20200144057A (ko) | 전자기기, 그 제어 방법 및 기억매체 | |
| CN109992175B (zh) | 用于模拟盲人感受的物体显示方法、装置及存储介质 | |
| JPH07271546A (ja) | 画像表示制御方法 | |
| JP3814322B2 (ja) | データ入力装置及びデータ入力方法 | |
| EP0921678A1 (en) | Image generating device and image generating method | |
| JP3792907B2 (ja) | ハンドポインティング装置 | |
| KR20200125470A (ko) | 전자기기, 제어 방법, 및 컴퓨터 판독 가능한 매체 | |
| GB2345538A (en) | Optical tracker | |
| JP2000276577A (ja) | 画像感応型イベント発生装置 | |
| Ainasoja et al. | Smartphone teleoperation for self-balancing telepresence robots | |
| JPH07160412A (ja) | 指示位置検出方法 | |
| JP2001145094A (ja) | カメラ制御システムおよびその方法およびその動作処理プログラムを記憶した記憶媒体 | |
| JP2000101990A (ja) | 監視カメラ装置 | |
| JP5951966B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
| JP3165824B2 (ja) | 情報共有装置、その情報提示方法および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |