JP3548222B2 - 視線検出装置を備えたビデオカメラ - Google Patents
視線検出装置を備えたビデオカメラ Download PDFInfo
- Publication number
- JP3548222B2 JP3548222B2 JP07364294A JP7364294A JP3548222B2 JP 3548222 B2 JP3548222 B2 JP 3548222B2 JP 07364294 A JP07364294 A JP 07364294A JP 7364294 A JP7364294 A JP 7364294A JP 3548222 B2 JP3548222 B2 JP 3548222B2
- Authority
- JP
- Japan
- Prior art keywords
- sight
- gaze
- line
- video camera
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Viewfinders (AREA)
- Automatic Focus Adjustment (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は視線検出装置を備えたビデオカメラに係わる。
【０００２】
【従来の技術】
観察者の視軸と注視点の偏差を補正する手段を備えた視線検出手段が、例えば、特願平４−２６２７５０号明細書により既に提案されている。上記特願平４−２６２７５０号明細書には、観察者の視軸と注視点の偏差を補正する手段と、上記補正手段の情報（個人差データ）を求めてカメラに登録する手段（以後キャリブレーション）について記載されている。
【０００３】
特に、同一撮影者がいろいろな撮影条件のもとで同一のキャリブレーション登録ナンバーに再登録を繰り返すことにより、個人差データを蓄積更新することができる。したがって、蓄積更新されたデータを使って上記偏差を補正することにより、より視線検出精度が向上することが記載されている。
【０００４】
一方、本願の出願人は、以前にビデオカメラのファインダ画面に、例えばズーム、フェードなどの機能を意味する指標を表示し、それを視線で選択させる機能を既に提案している（特願平４−２０２号明細書）。上記提案では、視線が上記指標に略一致したと判断される範囲は最初の設定のまま変更されないようになっていた。
【０００５】
また、視線位置にフォーカスを自動的に合わせる手段や、視線位置により測光感度分布の中心点を変更する手段を持ったカメラが既に提案されている（特願平１−２４１５１１号明細書）。上記特願平１−２４１５１１号明細書においても、その設定された範囲は最初の設定から変更されることはない。
【０００６】
【発明が解決しようとする課題】
しかし、上記特願平４−２１３７９５号明細書に記載されているように、観察者が１度しかキャリブレーション動作をしていない場合においては、キャリブレーションを実行したときとは異なる明るさで視線検出を実行したときと、異なる明るさの下で複数回キャリブレーション動作を実行した後視線検出をしたときとでは、視線の精度が異なる。それにも関わらず、視線スイッチの作動する範囲が一定であると次のような問題が生ずる。
【０００７】
すなわち、第１に、観察者が１度しかキャリブレーション動作をしていないときにキャリブレーションを実行したときとは異なる明るさで視線検出を実行したときには、撮影者は指標を見ているつもりでもその指標が意味する機能がなかなか作動しない。
【０００８】
第２に、撮影者が異なる明るさの下で何度もキャリブレーションを実行して視線の精度が向上しているにもかかわらず、相対的に視線スイッチの作動する範囲が広いことになり、作動させるつもりはないのに不注意に視線スイッチが入ってしまう不都合が生じることがある。
【０００９】
第３に、視線ＡＦ／ＡＥの設定枠の大きさが当初の設定のまま大きいと、ファインダ光学系内の視線ＡＦ／ＡＥの設定枠内に大きな被写体とそれに比して小さな被写体が遠近競合していたときは、大きな被写体しかＡＦ／ＡＥの対象にすることができないので、使いこなすのにはある程度の熟練を必要とし、初心者には使いにくい問題があった。
【００１０】
本発明は上述の問題点にかんがみ、初心者でも簡単に使いこなすことができる視線スイッチおよび視線ＡＦ／ＡＥ機能を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の視線検出装置を備えたビデオカメラは、被写体を観察するためのファインダ光学系と、上記ファインダ光学系を観察する観察者の視線位置を検出する視線検出手段と、上記視線検出手段の検出出力に視軸方向と注視点方向の偏差に当たる補正を行って上記観察者の注視点方向の情報を出力する補正手段と、上記視線検出手段の出力に応じてビデオカメラの撮影条件を設定するための撮影条件設定手段とを具備し、上記補正手段の出力回数に応じて上記撮影条件設定手段の設定範囲を変更するようにしている。
また、本発明の他の特徴とするところは、上記補正手段の出力回数が多いほど上記撮影条件設定手段が設定範囲を狭くするようにしている。
【００１２】
また、本発明のその他の特徴とするところは、上記撮影条件手段は測距枠を設定する自動焦点調節装置であり、上記視線検出手段が検出した視線の位置に応じて上記測距枠が設定され、上記測距枠の範囲に含まれる被写体に対し自動焦点調節を行うようにしている。
【００１３】
また、本発明のその他の特徴とするところは、上記撮影条件手段は測光枠を設定する自動露出制御装置であり、上記視線検出手段が検出した視線の位置に応じて上記測光枠が設定され、上記測光枠の範囲に含まれる被写体を中心に重み付けをする自動露出制御を行うようにしている。
【００１４】
また、本発明のその他の特徴とするところは、被写体を観察するためのファインダ光学系と、上記ファインダ光学系を観察する観察者の視線位置を検出する視線検出手段と、上記視線検出手段による検出出力に視軸方向と注視点方向の偏差に当たる補正を行って観察者の注視点方向の情報を出力する補正手段と、上記ファインダ光学系のファインダ画面上に互いに異なる動作機能を意味する複数の指標を表示する表示手段と、上記複数の指標のうち１つの指標を含む所定の範囲の中に視線が駐留した場合に、その指標が意味する機能が作動する視線スイッチとを有し、上記視線が駐留したときに、上記視線スイッチが作動する所定の範囲を上記補正手段の出力回数に応じて変更するようにしている。
また、本発明のその他の特徴とするところは、上記補正手段の出力回数が多いほど上記視線スイッチが作動する所定の範囲を狭くするようにしている。
【００１５】
【作用】
本発明は上記技術手段を有するので、キャリブレーションが実行された回数が少なくて視線検出精度が低いうちは、視線スイッチの入力範囲および視線ＡＦ／ＡＥの設定枠を比較的広く設定し、キャリブレーションを数回実行し終えて視線検出精度が向上したら、視線スイッチの入力範囲および視線ＡＦ／ＡＥの設定枠を狭く設定するので、使いやすくなるとともに誤動作が生じる可能性が少なくなる。
【００１６】
【実施例】
以下、本発明の視線検出装置を備えたビデオカメラの一実施例を図面を参照して説明する。
図１は、本実施例の視線検出装置を備えたビデオカメラの概略構成を示すブロック図である。
【００１７】
図１に示したように、本実施例の視線検出装置を備えたビデオカメラは、ファインダ光学系３と、視線検出手段６と、表示回路７と、補正手段３０と、視線スイッチ３１と、撮影条件設定手段３２と、メモリ３３とを具備している。
【００１８】
上記ファインダ光学系３は、ビデオカメラで撮影する被写体を観察するために設けられているものであり、上記視線検出手段６は上記ファインダ光学系３を観察する観察者の視線位置を検出するためのものである。
【００１９】
また、補正手段３０は上記視線検出手段６から導出される検出出力Ｐ１に視軸方向と注視点方向の偏差に当たる補正を行って上記観察者眼の注視点方向の情報を出力するために設けられている。さらに、撮影条件設定手段３２は、ビデオカメラの撮影条件を種々に設定するためのものである。
【００２０】
上述のように構成された本実施例のビデオカメラは、上記視線検出手段６の検出出力Ｐ１に応じて上記撮影条件設定手段３２の方向を少なくとも一つは制御するようにしている。具体的には、上記補正手段３０の補正結果に応じて上記撮影条件設定手段３２の設定範囲を変更するようにしている。
【００２１】
以下、本実施例の視線検出装置を備えたビデオカメラの詳細を図面を参照して説明する。
本実施例のビデオカメラは、図４に示したように、レンズ撮像系１と、ファインダ画面２と、ファインダ光学系３と、接眼レンズ４と、視線検出手段６と、表示回路７と、システムコントロール手段８とを有している。
【００２２】
上記レンズ撮像系１は、被写体を撮像するために設けられているものであり、ズームレンズを備えている。また、ファインダ光学系３は、レンズ撮像系１により撮像される被写体を観察するために設けられているものであり、ファインダ画面２を備えている。
【００２３】
上記接眼レンズ４は、上記ファインダ光学系３の前に配置されていて、撮影者は上記接眼レンズ４を介して上記ファインダ画面２を見るようになされている。また、上記視線検出手段６は、撮影者の眼５の視線Ｅを検出するためのものである。
【００２４】
表示回路７は、フォーカスエリアの概略を表すＡＦ枠や、後述する視線スイッチの指標や、その他テープカウンターや撮影モードなど撮影者に必要な情報等をファインダ画面２へ表示する。また、システムコントロール手段８はこのカメラの各部を制御するために設けられているものである。
【００２５】
上記視線検出手段６は、撮影者の眼５に赤外光を照射する赤外発光ダイオード６０と、可視光を透過して赤外光を反射するダイクロイックミラー６１と、上記ダイクロイックミラー６１にて反射された赤外光を集光する集光レンズ６２と、上記集光レンズ６２により集光された赤外光を電気信号に変換する光電変換素子６３と、上記光電変換素子６３上の撮影者の眼５の像を基に、撮影者のファインダ画面２上の注視点を求める注視点検出回路６４とを具備している。
【００２６】
ダイクロイックミラー６１は、可視光を透過するため、撮影者は接眼レンズ４を通してファインダ画面２を観察することができる。
また、ダイクロイックミラー６１は、赤外光を反射するため、赤外発光ダイオード６０によって照射された眼５の反射像を反射させる。この反射像が集光レンズ６２で集光され、光電変換素子６３上に像を結ぶようになっている。
【００２７】
注視点検出回路６４は、光電変換素子６３上の撮影者の眼５の像を基に、例えば、特開平１−２４１５１１号公報、特開平２−３２３１２号公報等によって開示されたアルゴリズムに従い、撮影者がファインダ画面２上を注視している点を求めるようにしている。
【００２８】
ところで、一般的に、人間の眼球の視軸方向と注視点方向は一致していないことが多い。そこで、キャリブレーションを行って視軸方向と注視点方向の偏差を補正することが必要になる。キャリブレーションの手法は、例えば、特願平４−２６２７５０号明細書に記載してある方法による。
【００２９】
その動作について簡単に説明すると、観察者が不図示のモード切り替え手段によりキャリブレーションモードにすると、図５（ａ）に示すようなマークがファインダ画面２上の所定の位置に表示される。観察者はこのマークを見ながら所定のボタンを押すと、そのときの視線を所定の回数だけ検出し、注視点座標の平均（ｘ１，ｙ１）と瞳孔径の平均（ｒ１）を、図１に示したメモリ３３に記憶する。
【００３０】
なお、注視点座標と瞳孔径の有効なデータが所定の数以上とれなければ再び同じ位置に指標を表示し、その指標を見させる。次に、ファインダ画面２の表示は、図５（ｂ）に示す位置に変わる。観察者はマークを見て再び所定のボタンを押すと、指標［１］のときと同様にそのときの注視点座標の平均（ｘ２，ｙ２）と瞳孔径の平均（ｒ２）をメモリ３３に格納する。
【００３１】
補正手段３０は、以上の操作でメモリ３３に格納された２つの注視点座標と２つの瞳孔径より所定のキャリブレーション係数を求め、そのキャリブレーション係数とキャリブレーションを実行した回数をメモリ３３に格納する。補正手段はこのキャリブレーション係数で求めた視軸方向と注視点方向の偏差を視線検出手段の出力に加える。上記偏差は、同一観察者においても眼の瞳孔径により変わるため、異なる明るさの下数回キャリブレーション動作を行えば視線検出精度が向上する。
【００３２】
ここで、本実施例のビデオカメラのファインダ光学系３に搭載されている視線スイッチの機能について説明する。
上記ファインダ画面２の表示例の模式図を図６に示す。同図に示すように、アルファベット「Ｗ」、「Ｔ」、「Ｆ」で示す互いに異なる動作機能を意味する指標２１（２１ａ、２１ｂ、２１ｃ）からなるメニューがファインダ画面２上に表示されている。
【００３３】
それぞれの視線スイッチの指標を含む所定の範囲の座標は、それぞれ読み出し専用メモリ（図示せず）に記憶されている（例えばワイドは座標α、テレは座標β、フェードは座標γ）。観察者は、目的の指標を含む所定の範囲を注視すると上記指標に割り当てられた機能が働く。
【００３４】
図３は、本実施例におけるファインダ画面２上の上記視線スイッチ３１の入力範囲を示す図である。同図に示すように、視線スイッチ３１の指標を含む所定の範囲は可変であり、システムコントロール手段で制御される。
【００３５】
図２に上記システムコントロール手段の視線スイッチ３１の枠を設定する部分のフローチャートを示す。
図２に示したように、先ず、ビデオカメラの電源がステップＳ１でオンされると、メモリ３３に格納されたキャリブレーションデータとキャリブレーションが実行された回数とを読み込み、その回数に応じて分岐する（ステップＳ２〜ステップＳ４）。本実施例では、キャリブレーションの実行回数に応じて設定範囲は３通り変更される。
【００３６】
すなわち、キャリブレーション実行回数が０ないし１回では図３（ａ）に示す一番広く設定された範囲に設定し（ステップＳ４）、２〜４回では図３（ｂ）に示すようにそれよりひとまわり狭い範囲に設定する（ステップＳ７）。
【００３７】
また、キャリブレーション実行回数が５回以上では、図３（ｃ）に示すように、最も狭い範囲に設定する（ステップＳ６）。このようにして視線スイッチ３１の枠を設定した後でキャリブレーションモードに入らなければ、視線検出を繰り返す（ステップＳ８〜ステップＳ９）。
【００３８】
一方、キャリブレーションモードに移れば、キャリブレーションを実行した後（ステップＳ１０）、ステップＳ２に戻り、キャリブレーション回数に応じて視線スイッチ３１の入力枠を更新する。
【００３９】
以下、第２の実施例を図面を参照して詳述する。なお、ビデオカメラの構成と視線検出手段、ならびにキャリブレーションの方法は第１の実施例と同じであるので説明を省く。
【００４０】
ここで、本実施例のビデオカメラのファインダ光学系３に搭載されている視線ＡＦの機能について説明する。
このファインダ画面２の表示例の模式図を図７に示す。同図に示すように、オートフォーカスの測距枠がファインダ画面２上に示されている。上記測距枠の位置は視線により移動可能であり、視線位置を略中心とし、ファインダ画面２上に表示されている枠の範囲内にあって最も多く面積を占める被写体に自動的にフォーカスを合わす。
【００４１】
上記オートフォーカスの測距枠は可変であり、システムコントロール手段で制御される。図８に上記システムコントロール手段のＡＦ枠を設定する部分のフローチャートを示す。
先ず、ビデオカメラの電源がオンされるとメモリ３３に格納されているキャリブレーションデータとキャリブレーションが実行されている回数を読み込み、その回数に応じて分岐する。
【００４２】
本実施例ではキャリブレーションの実行回数に応じて測距枠の大きさは３通り変更される。キャリブレーション実行回数が１回以下では、図７（ａ）の一番広く設定されている測距枠に設定（ステップＳ５）、２〜４回では同図（ｂ）に示すそれより一回り狭い測距枠に設定（ステップＳ７）、５回以上では同図（ｃ）に示したように、最も狭い測距枠が設定される（ステップＳ６）。
【００４３】
このようにして測距枠を設定した後、キャリブレーションモードに入らなければ、視線検出を繰り返す（ステップＳ９）。また、キャリブレーションモードに移れば、キャリブレーションを実行した後（ステップＳ１０）、ステップＳ２に帰り、キャリブレーション回数に応じて測距枠を更新する。
【００４４】
以下、第３の実施例を図面を参照して詳述する。なお、この場合もビデオカメラの構成と視線検出手段、ならびにキャリブレーションの方法は第１の実施例と同じであるので説明を省く。
【００４５】
ここで、本実施例のビデオカメラのファインダ光学系３に搭載されている視線ＡＥの機能について説明する。
このファインダ画面でも図７に示したような枠が自動露出制御装置の重点測光枠として表示される。上記重点測光枠の位置は視線位置を略中心とする位置に移動可能であり、ファインダ画面全体と重点測光枠の範囲内を測光し、重点測光枠の平均値を中心とした測光感度分布を持つように測光手段の出力の重み付けを変更する。
【００４６】
上記自動露出制御手段の測光枠は可変であり、システムコントロール手段で制御される。図９に上記システムコントロール手段の重点測光枠を設定する部分のフローチャートを示す。
【００４７】
先ず、ビデオカメラの電源がオンされるとメモリ３３に格納されているキャリブレーションデータとキャリブレーションが実行されている回数を読み込む。本実施例では、キャリブレーションの実行回数に応じて測光枠の大きさは３通り変更される。すなわち、キャリブレーション実行回数が３回以下では一番広い測光枠が設定され、４〜６回ではそれより一回り狭い測光枠が設定され、７回以上では最も狭い測光枠が設定される。このようにして設定される測光枠は、キャリブレーションを実行するごとに、そのキャリブレーション実行回数に応じて更新される。
【００４８】
【発明の効果】
本発明は上述したように、補正手段の補正結果に応じて撮影条件設定手段の設定範囲を変更するようにしたので、キャリブレーションが実行された回数が少なくて視線検出精度が低いうちは、視線スイッチの入力範囲および視線ＡＦ／ＡＥの設定枠を比較的広く設定し、キャリブレーションを数回実行し終えて視線検出精度が向上したら、視線スイッチの入力範囲および視線ＡＦ／ＡＥの設定枠を狭く設定することができる。これにより、視線スイッチの入力範囲とＡＦ／ＡＥの設定範囲とが視線検出精度に応じて変化するようになるので、誤動作が少ない上に、初心者、習熟者を問わず使い易い視線スイッチおよび視線ＡＦ／ＡＥ機能を提供することができる。
【図面の簡単な説明】
【図１】本発明の視線検出装置を備えたビデオカメラの機能構成の概略を示すブロック図である。
【図２】本発明の第１の実施例のシステムコントロール手段の手順を示すフローチャートである。
【図３】視線スイッチが入力する範囲を示す図である。
【図４】本発明のビデオカメラの概略構成図を示すブロック図である。
【図５】キャリブレーションの指標を示す図である。
【図６】視線スイッチの指標を示す図である。
【図７】ＡＦの測距枠およびＡＥの重点測光枠を示す図である。
【図８】第２の実施例のシステムコントロール手段の処理手順を示すフローチャートである。
【図９】第３の実施例のシステムコントロール手段の処理手順を示すフローチャート図である。
【符号の説明】
１ レンズ撮像系
２ ファインダ画面
３ ファインダ光学系
４ 接眼レンズ
５ 撮影者の目
６ 視線検出手段
７ 表示回路
８ システムコントロール手段
２１ａ、２１ｂ、２１ｃ 視線スイッチの指標
３０ 補正手段
３１ 視線スイッチ
３２ 撮影条件設定手段
３３ メモリ
６０ 赤外発光ダイオード
６１ ダイクロイックミラー
６２ 集光レンズ
６３ 光電変換素子
６４ 注視点検出回路
【産業上の利用分野】
本発明は視線検出装置を備えたビデオカメラに係わる。
【０００２】
【従来の技術】
観察者の視軸と注視点の偏差を補正する手段を備えた視線検出手段が、例えば、特願平４−２６２７５０号明細書により既に提案されている。上記特願平４−２６２７５０号明細書には、観察者の視軸と注視点の偏差を補正する手段と、上記補正手段の情報（個人差データ）を求めてカメラに登録する手段（以後キャリブレーション）について記載されている。
【０００３】
特に、同一撮影者がいろいろな撮影条件のもとで同一のキャリブレーション登録ナンバーに再登録を繰り返すことにより、個人差データを蓄積更新することができる。したがって、蓄積更新されたデータを使って上記偏差を補正することにより、より視線検出精度が向上することが記載されている。
【０００４】
一方、本願の出願人は、以前にビデオカメラのファインダ画面に、例えばズーム、フェードなどの機能を意味する指標を表示し、それを視線で選択させる機能を既に提案している（特願平４−２０２号明細書）。上記提案では、視線が上記指標に略一致したと判断される範囲は最初の設定のまま変更されないようになっていた。
【０００５】
また、視線位置にフォーカスを自動的に合わせる手段や、視線位置により測光感度分布の中心点を変更する手段を持ったカメラが既に提案されている（特願平１−２４１５１１号明細書）。上記特願平１−２４１５１１号明細書においても、その設定された範囲は最初の設定から変更されることはない。
【０００６】
【発明が解決しようとする課題】
しかし、上記特願平４−２１３７９５号明細書に記載されているように、観察者が１度しかキャリブレーション動作をしていない場合においては、キャリブレーションを実行したときとは異なる明るさで視線検出を実行したときと、異なる明るさの下で複数回キャリブレーション動作を実行した後視線検出をしたときとでは、視線の精度が異なる。それにも関わらず、視線スイッチの作動する範囲が一定であると次のような問題が生ずる。
【０００７】
すなわち、第１に、観察者が１度しかキャリブレーション動作をしていないときにキャリブレーションを実行したときとは異なる明るさで視線検出を実行したときには、撮影者は指標を見ているつもりでもその指標が意味する機能がなかなか作動しない。
【０００８】
第２に、撮影者が異なる明るさの下で何度もキャリブレーションを実行して視線の精度が向上しているにもかかわらず、相対的に視線スイッチの作動する範囲が広いことになり、作動させるつもりはないのに不注意に視線スイッチが入ってしまう不都合が生じることがある。
【０００９】
第３に、視線ＡＦ／ＡＥの設定枠の大きさが当初の設定のまま大きいと、ファインダ光学系内の視線ＡＦ／ＡＥの設定枠内に大きな被写体とそれに比して小さな被写体が遠近競合していたときは、大きな被写体しかＡＦ／ＡＥの対象にすることができないので、使いこなすのにはある程度の熟練を必要とし、初心者には使いにくい問題があった。
【００１０】
本発明は上述の問題点にかんがみ、初心者でも簡単に使いこなすことができる視線スイッチおよび視線ＡＦ／ＡＥ機能を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の視線検出装置を備えたビデオカメラは、被写体を観察するためのファインダ光学系と、上記ファインダ光学系を観察する観察者の視線位置を検出する視線検出手段と、上記視線検出手段の検出出力に視軸方向と注視点方向の偏差に当たる補正を行って上記観察者の注視点方向の情報を出力する補正手段と、上記視線検出手段の出力に応じてビデオカメラの撮影条件を設定するための撮影条件設定手段とを具備し、上記補正手段の出力回数に応じて上記撮影条件設定手段の設定範囲を変更するようにしている。
また、本発明の他の特徴とするところは、上記補正手段の出力回数が多いほど上記撮影条件設定手段が設定範囲を狭くするようにしている。
【００１２】
また、本発明のその他の特徴とするところは、上記撮影条件手段は測距枠を設定する自動焦点調節装置であり、上記視線検出手段が検出した視線の位置に応じて上記測距枠が設定され、上記測距枠の範囲に含まれる被写体に対し自動焦点調節を行うようにしている。
【００１３】
また、本発明のその他の特徴とするところは、上記撮影条件手段は測光枠を設定する自動露出制御装置であり、上記視線検出手段が検出した視線の位置に応じて上記測光枠が設定され、上記測光枠の範囲に含まれる被写体を中心に重み付けをする自動露出制御を行うようにしている。
【００１４】
また、本発明のその他の特徴とするところは、被写体を観察するためのファインダ光学系と、上記ファインダ光学系を観察する観察者の視線位置を検出する視線検出手段と、上記視線検出手段による検出出力に視軸方向と注視点方向の偏差に当たる補正を行って観察者の注視点方向の情報を出力する補正手段と、上記ファインダ光学系のファインダ画面上に互いに異なる動作機能を意味する複数の指標を表示する表示手段と、上記複数の指標のうち１つの指標を含む所定の範囲の中に視線が駐留した場合に、その指標が意味する機能が作動する視線スイッチとを有し、上記視線が駐留したときに、上記視線スイッチが作動する所定の範囲を上記補正手段の出力回数に応じて変更するようにしている。
また、本発明のその他の特徴とするところは、上記補正手段の出力回数が多いほど上記視線スイッチが作動する所定の範囲を狭くするようにしている。
【００１５】
【作用】
本発明は上記技術手段を有するので、キャリブレーションが実行された回数が少なくて視線検出精度が低いうちは、視線スイッチの入力範囲および視線ＡＦ／ＡＥの設定枠を比較的広く設定し、キャリブレーションを数回実行し終えて視線検出精度が向上したら、視線スイッチの入力範囲および視線ＡＦ／ＡＥの設定枠を狭く設定するので、使いやすくなるとともに誤動作が生じる可能性が少なくなる。
【００１６】
【実施例】
以下、本発明の視線検出装置を備えたビデオカメラの一実施例を図面を参照して説明する。
図１は、本実施例の視線検出装置を備えたビデオカメラの概略構成を示すブロック図である。
【００１７】
図１に示したように、本実施例の視線検出装置を備えたビデオカメラは、ファインダ光学系３と、視線検出手段６と、表示回路７と、補正手段３０と、視線スイッチ３１と、撮影条件設定手段３２と、メモリ３３とを具備している。
【００１８】
上記ファインダ光学系３は、ビデオカメラで撮影する被写体を観察するために設けられているものであり、上記視線検出手段６は上記ファインダ光学系３を観察する観察者の視線位置を検出するためのものである。
【００１９】
また、補正手段３０は上記視線検出手段６から導出される検出出力Ｐ１に視軸方向と注視点方向の偏差に当たる補正を行って上記観察者眼の注視点方向の情報を出力するために設けられている。さらに、撮影条件設定手段３２は、ビデオカメラの撮影条件を種々に設定するためのものである。
【００２０】
上述のように構成された本実施例のビデオカメラは、上記視線検出手段６の検出出力Ｐ１に応じて上記撮影条件設定手段３２の方向を少なくとも一つは制御するようにしている。具体的には、上記補正手段３０の補正結果に応じて上記撮影条件設定手段３２の設定範囲を変更するようにしている。
【００２１】
以下、本実施例の視線検出装置を備えたビデオカメラの詳細を図面を参照して説明する。
本実施例のビデオカメラは、図４に示したように、レンズ撮像系１と、ファインダ画面２と、ファインダ光学系３と、接眼レンズ４と、視線検出手段６と、表示回路７と、システムコントロール手段８とを有している。
【００２２】
上記レンズ撮像系１は、被写体を撮像するために設けられているものであり、ズームレンズを備えている。また、ファインダ光学系３は、レンズ撮像系１により撮像される被写体を観察するために設けられているものであり、ファインダ画面２を備えている。
【００２３】
上記接眼レンズ４は、上記ファインダ光学系３の前に配置されていて、撮影者は上記接眼レンズ４を介して上記ファインダ画面２を見るようになされている。また、上記視線検出手段６は、撮影者の眼５の視線Ｅを検出するためのものである。
【００２４】
表示回路７は、フォーカスエリアの概略を表すＡＦ枠や、後述する視線スイッチの指標や、その他テープカウンターや撮影モードなど撮影者に必要な情報等をファインダ画面２へ表示する。また、システムコントロール手段８はこのカメラの各部を制御するために設けられているものである。
【００２５】
上記視線検出手段６は、撮影者の眼５に赤外光を照射する赤外発光ダイオード６０と、可視光を透過して赤外光を反射するダイクロイックミラー６１と、上記ダイクロイックミラー６１にて反射された赤外光を集光する集光レンズ６２と、上記集光レンズ６２により集光された赤外光を電気信号に変換する光電変換素子６３と、上記光電変換素子６３上の撮影者の眼５の像を基に、撮影者のファインダ画面２上の注視点を求める注視点検出回路６４とを具備している。
【００２６】
ダイクロイックミラー６１は、可視光を透過するため、撮影者は接眼レンズ４を通してファインダ画面２を観察することができる。
また、ダイクロイックミラー６１は、赤外光を反射するため、赤外発光ダイオード６０によって照射された眼５の反射像を反射させる。この反射像が集光レンズ６２で集光され、光電変換素子６３上に像を結ぶようになっている。
【００２７】
注視点検出回路６４は、光電変換素子６３上の撮影者の眼５の像を基に、例えば、特開平１−２４１５１１号公報、特開平２−３２３１２号公報等によって開示されたアルゴリズムに従い、撮影者がファインダ画面２上を注視している点を求めるようにしている。
【００２８】
ところで、一般的に、人間の眼球の視軸方向と注視点方向は一致していないことが多い。そこで、キャリブレーションを行って視軸方向と注視点方向の偏差を補正することが必要になる。キャリブレーションの手法は、例えば、特願平４−２６２７５０号明細書に記載してある方法による。
【００２９】
その動作について簡単に説明すると、観察者が不図示のモード切り替え手段によりキャリブレーションモードにすると、図５（ａ）に示すようなマークがファインダ画面２上の所定の位置に表示される。観察者はこのマークを見ながら所定のボタンを押すと、そのときの視線を所定の回数だけ検出し、注視点座標の平均（ｘ１，ｙ１）と瞳孔径の平均（ｒ１）を、図１に示したメモリ３３に記憶する。
【００３０】
なお、注視点座標と瞳孔径の有効なデータが所定の数以上とれなければ再び同じ位置に指標を表示し、その指標を見させる。次に、ファインダ画面２の表示は、図５（ｂ）に示す位置に変わる。観察者はマークを見て再び所定のボタンを押すと、指標［１］のときと同様にそのときの注視点座標の平均（ｘ２，ｙ２）と瞳孔径の平均（ｒ２）をメモリ３３に格納する。
【００３１】
補正手段３０は、以上の操作でメモリ３３に格納された２つの注視点座標と２つの瞳孔径より所定のキャリブレーション係数を求め、そのキャリブレーション係数とキャリブレーションを実行した回数をメモリ３３に格納する。補正手段はこのキャリブレーション係数で求めた視軸方向と注視点方向の偏差を視線検出手段の出力に加える。上記偏差は、同一観察者においても眼の瞳孔径により変わるため、異なる明るさの下数回キャリブレーション動作を行えば視線検出精度が向上する。
【００３２】
ここで、本実施例のビデオカメラのファインダ光学系３に搭載されている視線スイッチの機能について説明する。
上記ファインダ画面２の表示例の模式図を図６に示す。同図に示すように、アルファベット「Ｗ」、「Ｔ」、「Ｆ」で示す互いに異なる動作機能を意味する指標２１（２１ａ、２１ｂ、２１ｃ）からなるメニューがファインダ画面２上に表示されている。
【００３３】
それぞれの視線スイッチの指標を含む所定の範囲の座標は、それぞれ読み出し専用メモリ（図示せず）に記憶されている（例えばワイドは座標α、テレは座標β、フェードは座標γ）。観察者は、目的の指標を含む所定の範囲を注視すると上記指標に割り当てられた機能が働く。
【００３４】
図３は、本実施例におけるファインダ画面２上の上記視線スイッチ３１の入力範囲を示す図である。同図に示すように、視線スイッチ３１の指標を含む所定の範囲は可変であり、システムコントロール手段で制御される。
【００３５】
図２に上記システムコントロール手段の視線スイッチ３１の枠を設定する部分のフローチャートを示す。
図２に示したように、先ず、ビデオカメラの電源がステップＳ１でオンされると、メモリ３３に格納されたキャリブレーションデータとキャリブレーションが実行された回数とを読み込み、その回数に応じて分岐する（ステップＳ２〜ステップＳ４）。本実施例では、キャリブレーションの実行回数に応じて設定範囲は３通り変更される。
【００３６】
すなわち、キャリブレーション実行回数が０ないし１回では図３（ａ）に示す一番広く設定された範囲に設定し（ステップＳ４）、２〜４回では図３（ｂ）に示すようにそれよりひとまわり狭い範囲に設定する（ステップＳ７）。
【００３７】
また、キャリブレーション実行回数が５回以上では、図３（ｃ）に示すように、最も狭い範囲に設定する（ステップＳ６）。このようにして視線スイッチ３１の枠を設定した後でキャリブレーションモードに入らなければ、視線検出を繰り返す（ステップＳ８〜ステップＳ９）。
【００３８】
一方、キャリブレーションモードに移れば、キャリブレーションを実行した後（ステップＳ１０）、ステップＳ２に戻り、キャリブレーション回数に応じて視線スイッチ３１の入力枠を更新する。
【００３９】
以下、第２の実施例を図面を参照して詳述する。なお、ビデオカメラの構成と視線検出手段、ならびにキャリブレーションの方法は第１の実施例と同じであるので説明を省く。
【００４０】
ここで、本実施例のビデオカメラのファインダ光学系３に搭載されている視線ＡＦの機能について説明する。
このファインダ画面２の表示例の模式図を図７に示す。同図に示すように、オートフォーカスの測距枠がファインダ画面２上に示されている。上記測距枠の位置は視線により移動可能であり、視線位置を略中心とし、ファインダ画面２上に表示されている枠の範囲内にあって最も多く面積を占める被写体に自動的にフォーカスを合わす。
【００４１】
上記オートフォーカスの測距枠は可変であり、システムコントロール手段で制御される。図８に上記システムコントロール手段のＡＦ枠を設定する部分のフローチャートを示す。
先ず、ビデオカメラの電源がオンされるとメモリ３３に格納されているキャリブレーションデータとキャリブレーションが実行されている回数を読み込み、その回数に応じて分岐する。
【００４２】
本実施例ではキャリブレーションの実行回数に応じて測距枠の大きさは３通り変更される。キャリブレーション実行回数が１回以下では、図７（ａ）の一番広く設定されている測距枠に設定（ステップＳ５）、２〜４回では同図（ｂ）に示すそれより一回り狭い測距枠に設定（ステップＳ７）、５回以上では同図（ｃ）に示したように、最も狭い測距枠が設定される（ステップＳ６）。
【００４３】
このようにして測距枠を設定した後、キャリブレーションモードに入らなければ、視線検出を繰り返す（ステップＳ９）。また、キャリブレーションモードに移れば、キャリブレーションを実行した後（ステップＳ１０）、ステップＳ２に帰り、キャリブレーション回数に応じて測距枠を更新する。
【００４４】
以下、第３の実施例を図面を参照して詳述する。なお、この場合もビデオカメラの構成と視線検出手段、ならびにキャリブレーションの方法は第１の実施例と同じであるので説明を省く。
【００４５】
ここで、本実施例のビデオカメラのファインダ光学系３に搭載されている視線ＡＥの機能について説明する。
このファインダ画面でも図７に示したような枠が自動露出制御装置の重点測光枠として表示される。上記重点測光枠の位置は視線位置を略中心とする位置に移動可能であり、ファインダ画面全体と重点測光枠の範囲内を測光し、重点測光枠の平均値を中心とした測光感度分布を持つように測光手段の出力の重み付けを変更する。
【００４６】
上記自動露出制御手段の測光枠は可変であり、システムコントロール手段で制御される。図９に上記システムコントロール手段の重点測光枠を設定する部分のフローチャートを示す。
【００４７】
先ず、ビデオカメラの電源がオンされるとメモリ３３に格納されているキャリブレーションデータとキャリブレーションが実行されている回数を読み込む。本実施例では、キャリブレーションの実行回数に応じて測光枠の大きさは３通り変更される。すなわち、キャリブレーション実行回数が３回以下では一番広い測光枠が設定され、４〜６回ではそれより一回り狭い測光枠が設定され、７回以上では最も狭い測光枠が設定される。このようにして設定される測光枠は、キャリブレーションを実行するごとに、そのキャリブレーション実行回数に応じて更新される。
【００４８】
【発明の効果】
本発明は上述したように、補正手段の補正結果に応じて撮影条件設定手段の設定範囲を変更するようにしたので、キャリブレーションが実行された回数が少なくて視線検出精度が低いうちは、視線スイッチの入力範囲および視線ＡＦ／ＡＥの設定枠を比較的広く設定し、キャリブレーションを数回実行し終えて視線検出精度が向上したら、視線スイッチの入力範囲および視線ＡＦ／ＡＥの設定枠を狭く設定することができる。これにより、視線スイッチの入力範囲とＡＦ／ＡＥの設定範囲とが視線検出精度に応じて変化するようになるので、誤動作が少ない上に、初心者、習熟者を問わず使い易い視線スイッチおよび視線ＡＦ／ＡＥ機能を提供することができる。
【図面の簡単な説明】
【図１】本発明の視線検出装置を備えたビデオカメラの機能構成の概略を示すブロック図である。
【図２】本発明の第１の実施例のシステムコントロール手段の手順を示すフローチャートである。
【図３】視線スイッチが入力する範囲を示す図である。
【図４】本発明のビデオカメラの概略構成図を示すブロック図である。
【図５】キャリブレーションの指標を示す図である。
【図６】視線スイッチの指標を示す図である。
【図７】ＡＦの測距枠およびＡＥの重点測光枠を示す図である。
【図８】第２の実施例のシステムコントロール手段の処理手順を示すフローチャートである。
【図９】第３の実施例のシステムコントロール手段の処理手順を示すフローチャート図である。
【符号の説明】
１ レンズ撮像系
２ ファインダ画面
３ ファインダ光学系
４ 接眼レンズ
５ 撮影者の目
６ 視線検出手段
７ 表示回路
８ システムコントロール手段
２１ａ、２１ｂ、２１ｃ 視線スイッチの指標
３０ 補正手段
３１ 視線スイッチ
３２ 撮影条件設定手段
３３ メモリ
６０ 赤外発光ダイオード
６１ ダイクロイックミラー
６２ 集光レンズ
６３ 光電変換素子
６４ 注視点検出回路
Claims (6)
- 被写体を観察するためのファインダ光学系と、上記ファインダ光学系を観察する観察者の視線位置を検出する視線検出手段と、上記視線検出手段の検出出力に視軸方向と注視点方向の偏差に当たる補正を行って上記観察者の注視点方向の情報を出力する補正手段と、上記視線検出手段の出力に応じてビデオカメラの撮影条件を設定するための撮影条件設定手段とを具備し、
上記補正手段の出力回数に応じて上記撮影条件設定手段の設定範囲を変更することを特徴とする視線検出装置を備えたビデオカメラ。 - 上記補正手段の出力回数が多いほど上記撮影条件設定手段の設定範囲を狭くすることを特徴とする請求項１に記載の視線検出装置を備えたビデオカメラ。
- 上記撮影条件設定手段は測距枠を設定する自動焦点調節装置であり、上記視線検出手段が検出した視線の位置に応じて上記測距枠が設定され、上記測距枠の範囲に含まれる被写体に対し自動焦点調節を行うことを特徴とする請求項１又は２に記載の視線検出装置を備えたビデオカメラ。
- 上記撮影条件設定手段は測光枠を設定する自動露出制御装置であり、上記視線検出手段が検出した視線の位置に応じて上記測光枠が設定され、上記測光枠の範囲に含まれる被写体を中心に重み付けをする自動露出制御を行うことを特徴とする請求項１又は２に記載の視線検出装置を備えたビデオカメラ。
- 被写体を観察するためのファインダ光学系と、上記ファインダ光学系を観察する観察者の視線位置を検出する視線検出手段と、上記視線検出手段による検出出力に視軸方向と注視点方向の偏差に当たる補正を行って観察者の注視点方向の情報を出力する補正手段と、上記ファインダ光学系のファインダ画面上に互いに異なる動作機能を意味する複数の指標を表示する表示手段と、上記複数の指標のうち１つの指標を含む所定の範囲の中に視線が駐留した場合に、その指標が意味する機能が作動する視線スイッチとを有し、
上記視線が駐留したときに、上記視線スイッチが作動する所定の範囲を上記補正手段の出力回数に応じて変更することを特徴とする視線検出装置を備えたビデオカメラ。 - 上記補正手段の出力回数が多いほど上記所定の範囲を狭くすることを特徴とする請求項５に記載の視線検出装置を備えたビデオカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07364294A JP3548222B2 (ja) | 1994-04-12 | 1994-04-12 | 視線検出装置を備えたビデオカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07364294A JP3548222B2 (ja) | 1994-04-12 | 1994-04-12 | 視線検出装置を備えたビデオカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07283975A JPH07283975A (ja) | 1995-10-27 |
| JP3548222B2 true JP3548222B2 (ja) | 2004-07-28 |
Family
ID=13524157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07364294A Expired - Fee Related JP3548222B2 (ja) | 1994-04-12 | 1994-04-12 | 視線検出装置を備えたビデオカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3548222B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6123694B2 (ja) * | 2014-02-10 | 2017-05-10 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
1994
- 1994-04-12 JP JP07364294A patent/JP3548222B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07283975A (ja) | 1995-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH05232373A (ja) | カメラの視線方向検出装置 | |
| JP7358530B2 (ja) | 被写体認識装置及び被写体認識装置の制御方法 | |
| US6674964B2 (en) | Visual axis detecting apparatus | |
| JP3548222B2 (ja) | 視線検出装置を備えたビデオカメラ | |
| JP2004008323A (ja) | 視線機能付光学装置 | |
| JP3186212B2 (ja) | 視線入力可能なカメラ | |
| JP2002301030A (ja) | 視線検出機能付き機器 | |
| JP3530647B2 (ja) | 視線検出装置及び光学装置 | |
| JPH07283974A (ja) | 視線検出装置を備えたビデオカメラ | |
| JPH10148864A (ja) | カメラの測光装置 | |
| JP2003339642A (ja) | 視線検出装置及びそれを有した光学装置 | |
| JP3219491B2 (ja) | 視線検出装置 | |
| JP3184634B2 (ja) | 視線検出装置を有する光学装置 | |
| JPH03107934A (ja) | 光学機器 | |
| JP2004012503A (ja) | カメラ | |
| JPH06148505A (ja) | 視線検知装置付きカメラ | |
| JP3605080B2 (ja) | 視線検出装置 | |
| JP3211427B2 (ja) | 視線検出装置 | |
| JP2002341239A (ja) | 視線検出装置 | |
| JP3530648B2 (ja) | 視線検出装置及び光学装置 | |
| JPH07323008A (ja) | 視線検出装置、カメラ、及び、視線補正方法 | |
| JPH07275207A (ja) | 視線検出装置 | |
| JPH07311333A (ja) | 視線検出手段を備えたカメラ | |
| JPH08194154A (ja) | 視線検出機能付き観察装置 | |
| JPH07168256A (ja) | オートフォーカスカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040416 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |