JP3639671B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3639671B2 JP3639671B2 JP13833796A JP13833796A JP3639671B2 JP 3639671 B2 JP3639671 B2 JP 3639671B2 JP 13833796 A JP13833796 A JP 13833796A JP 13833796 A JP13833796 A JP 13833796A JP 3639671 B2 JP3639671 B2 JP 3639671B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- data
- switch
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は視線検出機能を備えたビデオカメラ／スチルカメラ等の撮像装置に関するものである。
【０００２】
【従来の技術】
本出願人は特願平４−２０２号により、ビデオカメラのファインダー画面に例えばズーム、フェード等の機能を意味する指標を表示し、それを視線で選択させるいわゆる視線入力機能を既に提案している。次に視線検出方法の原理を以下に説明する。
図３０（ａ）は視線検出方法の原理図（上面図及び特性図）、図３０（ｂ）は視線検出方法の原理図（側面図）である。
図において、９０６ａ、９０６ｂは観察者に対して不感の赤外光を放射する発光ダイオード（ＩＲＥＤ）等の光源であり、各光源は結像レンズ９１１の光軸に対してｘ方向（水平方向）に略対象に（図３０（ａ））、またｙ方向（垂直方向）にはやや下側に（図３０（ｂ））配置され、観察者の眼球９０８を発散照明している。眼球９０８で反射した照明光の一部は結像レンズ９１１によってイメージセンサー９１２に結像する。図３１（ａ）はイメージセンサー９１２に投影される眼球像の概略図、図３１（ｂ）はイメージセンサー９１２の出力強度図である。
【０００３】
以下各図を用いて視線の検出方法を説明する。
まず水平面で考えると、図３０（ａ）において光源９０６ｂより放射された赤外光は観察者の眼球９０８の角膜９１０を照明する。このとき角膜９１０の表面で反射した赤外光により形成される角膜反射像ｄ（虚像）は結像レンズ９１１により集光され、イメージセンサー９１２上の位置ｄ′に結像する。同様に光源９０６ａより放射された赤外光は眼球９０８の角膜９１０を照明する。このとき角膜９１０の表面で反射した赤外光により形成された角膜反射像ｅ（虚像）は、結像レンズ９１１により集光され、イメージセンサー９１２上の位置ｅ′に結像する。また虹彩９０４の端部ａ、ｂからの光束は結像レンズ９１１を介してイメージセンサー９１２上の位置ａ′、ｂ′に端部ａ、ｂの像を結像する。結像レンズ９１１の光軸に対する眼球９０８の光軸の回転角θが小さい場合、虹彩９０４の端部ａ、ｂのｘ座標をｘａ、ｘｂとすると、ｘａ、ｘｂはイメージセンサー９１２上で多数点求めることができる。（図３１（ａ）中の×印）。そこでまず円の最小自乗法にて瞳孔中心ｘｃを算出する。
【０００４】
一方、角膜９１０の曲率中心ｏのｘ座標をｘｏとすると、眼球９０８の光軸に対する回転角θｘは、
ｏｃ＊ｓｉｎθｘ＝ｘｃ−ｘｏ ………（１）
となる。また、角膜反射像ｄとｅの中点ｋに所定の補正値δｘを考慮してｘｏを求めると、
ｘｋ＝（ｘｄ＋ｘｅ）／２
ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ ………（２）
ここでδｘは装置の設置方法／眼球距離等から幾何学的に求められる数値であり、その算出方法は省略する。
【０００５】
よって、（１）を（２）へ代入しθｘを求めると、
θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋δｘ｝］／ｏｃ］………（３）
さらにイメージセンサー上に投影された各々の特徴点の座標を、′（ダッシュ）をつけて（４）式に書き換えると、
となる。ここでβは結像レンズ９１１に対する眼球の距離ｓｚｅにより決まる倍率で、実際は角膜反射像の間隔｜ｘｄ′−ｘｅ′｜の関数として求められる。
【０００６】
垂直面で考えると、図３０（ｂ）の様な構成となる。ここで２個のＩ光源９０６ａ、９０６ｂにより生じる角膜反射像は同位置に発生し、これをｉとする。眼球の回転角θｙの算出方法は水平面の時とほぼ同一であるが（２）式のみ異なり、角膜曲率中心ｏのｙ座標をｙｏとすると、
ｙｏ＝ｙｉ＋δｙ ………（５）
ここでδｙは装置の配置方法、眼球距離等から幾何学的に求められる数値であり、その算出方法は省略する。よって垂直方向の回転角θｙは、
θｙ＝ａｒｃｓｉｎ［［ｙｃ′−（ｙｉ′＋δｙ′）］／ｏｃ／β］………（６）
となる。
【０００７】
さらに、ビデオカメラのファインダー画面上の位置座標（ｘｎ，ｙｎ）はファインダー光学系で決まる定数ｍを用いると、水平面上、垂直面上それぞれ、
となる。
図３１（ａ）（ｂ）で明らかなように、瞳孔エッヂの検出はイメージセンサー出力波形の立ち上がり（ｘｂ′）、立ち下がり（ｘａ′）を利用する。また、角膜反射像の座標は鋭い立ち上がり部（ｘｅ′）及び（ｘｄ′）を利用する。
【０００８】
次に視線検出機能を持つビデオカメラについて説明する。
図３２は視線検出機能を持つビデオカメラの一例を示す概略構成図である。
図に示したビデオカメラは、ズームレンズを備え被写体を撮像するレンズ撮像系１００１と、レンズ撮像系１００１により撮像される被写体を観察するためのファインダとして用いられ、ＬＣＤ等を有する表示素子１００２と、この表示素子１００２の前に配置された第１の接眼レンズ１００３と、撮影者の眼の直前に配置された第２の接眼レンズ１０１０、撮影者の眼１００５の視線を検出する視線検出部１００６と、フォーカスエリアの概略を表すＡＦ枠、後述する視線スイッチの指標、その他テープカウンターや撮影モードなど撮影者に必要な情報等を表示素子１００２へ表示する表示回路１００７と、このカメラの各部を制御するシステムコントロール部１００８と、さまざまなデータを記憶するためのメモリ１００９と、ビデオカメラの機能を実行するための操作スイッチ検出部１００４とから概略構成されている。
【０００９】
上記視線検出部１００６は、撮影者の眼１００５に赤外光を照射する赤外発光ダイオード１０６０と、可視光を反射し赤外光を透過するダイクロイックミラー１０６１と、このダイクロイックミラー１０６１を透過した赤外光を集光する集光レンズ１０６２と、この集光レンズ１０６２により集光された赤外光を電気信号に変換する光電変換素子としてのイメージセンサー１０６３と、このイメージセンサー１０６３上の撮影者の眼１００５の像を基に撮影者の表示素子１００２上の注視点を求める注視点検出回路１０６４とを具備している。
【００１０】
ダイクロイックミラー１０６１は、可視光を反射するため撮影者が接眼レンズ１００３、１０１０を通して表示素子１００２の画面を観察できるようになっている。また、ダイクロイックミラー１０６１は、赤外光を透過するため、赤外発光ダイオード１０６０によって照射された眼１００５の反射像は、第２の接眼レンズ１０１０を通って集光レンズ１０６２で集光され、イメージセンサー１０６３上に像を結ぶようになっている。
【００１１】
注視点検出回路１０６４は、イメージセンサー１０６３上の撮影者の眼１００５の像を基に、前述した原理や、特開平１−２４１５１１、２−３２３１２号公報によって開示されたアルゴリズムに従い、撮影者の表示素子１００２画面上の注視点を求めるものである。
【００１２】
次に本従来例のビデオカメラのファインダーに搭載されている視線スイッチの機能について説明する。
上記表示素子１００２によるファインダーの表示例の模式図を図３３に示す。
同図に示すように、アルファベット「Ｗ」、「Ｔ」、「Ｆ」で示す互いに異なる動作機能を意味する指標１１０１（１１０１ａ、１１０１ｂ、１１０１ｃ）からなるメニューが表示されている。ここで例えば「Ｗ」はワイド側へのズーミング、「Ｔ」はテレ側へのズーミング、「Ｆ」はフェードの動作をそれぞれ示すものとする。また右下の数字１１０２は視線スイッチの機能ではなく例えば日付等である。
【００１３】
次にシステムコントロール部１００８の動作を説明する。注視点検出回路１０６４は、常に撮影者の視線座標を検出し、システムコントロール部１００８へ出力している。ここで撮影者が「Ｔ」表示を注視したとする。システムコントロール部１００８は、範囲βの中に所定時間注視点が入ったかを判断し、所定時間注視点が入った場合、範囲βから注視点がはずれるまで、テレ側へのズーミングを実行すべく、レンズ撮像系へ信号を送る。システムコントロール部１００８の動作は、「Ｗ」、「Ｆ」についても同様である。
【００１４】
次に、視線オートフォーカス（ＡＦ）について説明する。
表示素子１００２の表示例の模式図を図３４に示す。
同図において、１２０１はフォーカスエリアの概略を表す視線ＡＦ枠であり、注視点座標位置に表示され、このエリア内の被写体に合焦する。
【００１５】
次にシステムコントロール部１００８の動作を説明する。注視点検出回路１０６４は、常に撮影者の視線座標を検出し、システムコントロール部１００８へ出力している。ここで、撮影者が図１２における人物を注視したとする。システムコントロール部１００８は、上記注視座標に基づいてレンズ撮像系へ信号を送り、フォーカスエリアを指定すると共に、表示回路１００７へも注視座標信号を送り、表示素子１００２の画面内にＡＦ枠１２０１を表示させる。
【００１６】
次に個人差補正システムについて説明する。実際の観察者の眼は、前記（１）式におけるａｃ寸法にばらつきがあるとともに、眼球の光軸と視軸とにはズレがある。これらを考慮すると、より視線検出の精度を高めるためには、撮影者各々の特性データを測定し、撮影時にそれぞれのデータ設定をする必要がある。
まず、個人差補正システムの一例として、比例定数Ａ及びオフセット定数Ｂを撮影者各々の特性データとして用いる方法について説明する。前記（７）、（８）式で求められた視線座標に対して、水平方向、垂直方向それぞれ別々の比例定数Ａ及びオフセット定数Ｂを設定し、補正後の座標をＸｎｔ、Ｙｎｔとすると、
Ｘｎｔ＝Ａｘ＊Ｘｎ＋Ｂｘ ………（９）
Ｙｎｔ＝Ａｙ＊Ｙｎ＋Ｂｙ ………（１０）
となる。
【００１７】
次に、上記４つの定数を測定するシステムについて説明する。図３５は測定時に表示する個人差補正ファインダー画面１３０３、１３０４を示すものであり、１３０１、１３０２は注視用の指標である。図３６はその動作を示すフローチャートである。図３７は必要な操作スイッチであり、図３２の操作スイッチ検出部１００４によって、電圧変化等により各スイッチの入／切を検出して、その情報をシステムコントロール部１００８に入力する。１５０３はビデオカメラのモード設定ダイヤルであり、カメラモード、ＶＴＲモード、ＣＡＬモード（個人差補正登録モード）、電源ＯＦＦを設定するものである。１５０１は撮影者設定用スライドスイッチであり、３人のデータを１、２、３で示す位置で設定するものである。また、１５０２は注視スイッチであり、撮影者が注視できたと判断したときに押すプッシュキー、１５０４はＡＦ枠移動スイッチである。
【００１８】
次に図３６に従って動作を説明する。
動作が開始（Ｓ１４０１）されると、まずモード設定ダイヤル１５０３のポジションが、ＣＡＬ（個人差補正登録モード）になっているかどうかを判断し（Ｓ１４０２）、ＣＬＡになっていれば撮影者設定スライドスイッチ１５０１のポジションを検出し（Ｓ１４０３）、メモリーｈに書き込む。ＣＡＬになっていなければ、Ｓ１４０２の前に戻る。次にファインダー内の左上に指標１３０１を表示する（Ｓ１４０４）。ここで撮影者は上記指標１３０１を注視しながら注視スイッチ１５０２を押す。そこで注視スイッチ１５０２がＯＮになったかどうかを判断し（Ｓ１４０５）、前記（７）、（８）式により、第１の注視点座標（Ｘｎ１，Ｙｎ１）を求める（Ｓ１４０６）。次に同様にしてファインダー内の右下に指標１３０２を表示し（Ｓ１４０７）、第２の注視点座標（Ｘｎ２，Ｙｎ２）を求める（Ｓ１４０８、Ｓ１４０９）。
【００１９】
以上求めた４つのデータ（Ｘｎ１，Ｙｎ１）（Ｘｎ２，Ｙｎ２）を前記（９）、（１０）式に代入すると、４つの式が成立するので、これらの式からＡｘ、Ｂｘ、Ａｙ、Ｂｙを連立方程式により算出する（Ｓ１４１０）。このとき、Ｘｎｔ、Ｙｎｔに代入する座標値は、あらかじめ決めておいたファインダー画面上での２つの指標を表示する座標である。最後に、Ａｘ、Ｂｘ、Ａｙ、Ｂｙを、メモリ１００９のポジションｈ相当の割り当てエリアに格納する。
【００２０】
次に、手動によるオートフォーカス位置移動システムについて説明する。
図３７において、ＡＦ枠移動スイッチ１５０４は、４個のキーから成り、オートフォーカスを行うポイントを手動により移動するためのものであり、４個のキーを押している間、それぞれ上下左右にＡＦ枠１２０１が移動する。
ＡＦ動作時のファインダー画面を示す図３４において、フォーカスエリアの概略を示すＡＦ枠１２０１は、オートフォーカスを行うポイントに表示され、このエリア内の被写体に合焦する。
【００２１】
次にシステムコントロール部１００８の動作を説明する。操作スイッチ検出部１００４は、常にＡＦ枠移動スイッチ１５０４を検出し、システムコントロール部１００８へ出力している。
ここで、撮影者がＡＦ枠移動スイッチ１５０４を押したとする。システムコントロール部１００８は、押されたスイッチの種類に基いてレンズ撮像系へ信号を送り、フォーカスエリアを指定すると共に表示回路１００７へも注視点座標信号を送り、表示素子１００２の画面内にＡＦ枠１２０１を表示させる。
【００２２】
【発明が解決しようとする課題】
しかしながら、上記従来例では、視線機能を使用する際、あらかじめ使用者設定用スイッチを自分のＮＯ．に合わせねばならず、設定を忘れてしまうと他人の個人差補正データにて動作することになるため、視線検出精度が悪化すると言う問題があった。
また、使用者特有のカスタム機能設定、視度調節に関しても使用者が変わったときつい設定変更を忘れてしまうと言う問題があった。
【００２３】
また、上記従来例では、視線機能を使用する際、あらかじめ使用者が個人差補正の操作を行わねばならず、操作が繁雑になるという問題があった。
また、例え個人差補正の操作が行えたとしても、使用時の明るさなど周りの環境や個人の眼のコンディション等による個人差補正係数の変化には対応できないという問題があった。
【００２５】
本発明の目的は、上記補正データを得るためのみの操作を必要とせず、補正データが自動的に作成されるようにすることである。
【００２６】
【課題を解決するための手段】
本発明の撮像装置は、表示手段の表示画面上における使用者の視線を検出しその検出座標を示す視線データを得る視線検出手段と、複数の視線データから成る視線データ群の分布状態と上記表示画面の外形形状との比較に基づいて上記使用者の眼の個人差による視線データの誤差を補正する補正データを作成する補正データ作成手段とを設けたことを特徴とする。
【００２９】
【作用】
撮像装置の動作中に使用者が表示画面を見て視線を様々に動かしたときに得られる視線データ群の分布状態と上記表示画面の外形形状との比較から従来方法により補正データが自動的に作成される。
【００３２】
【発明の実施の形態】
本発明をビデオカメラに適用した場合の第１〜第１１の実施の形態について説明する。なお、各実施の形態において、個人差補正時のファインダー画面（図３５）、視線検出原理（図３０、図３１）については従来例と同一のため説明は省略する。
【００３３】
まず、第１の実施の形態について説明する。
図１は本実施の形態で使用するスイッチであり、１０１はビデオカメラのモード設定ダイヤルであり、カメラモード、ＶＴＲモード、ＣＡＬモード（個人差補正登録モード）、電源ＯＦＦを設定するものである。また、１０２は注視スイッチであり、撮影者が注視できたと判断したときに押すプッシュキーである。
【００３４】
図２は人の眼の虹彩部を説明するための図であり、１６０１は虹彩、１６０３は毛様体、１６０４は色素点である。ここで、毛様体１６０３、色素点１６０４は、虹彩１６０１内に存在する構成要素の一つであり、その形状は人によって異なるため、指の指紋のように個人を特定する手段としてしばしば利用されるものである。
【００３５】
図３は本実施の形態によるビデオカメラの構成を示すブロック図である。４００は虹彩特徴検出回路であり、イメージセンサー１０６３出力を画像処理し虹彩の特徴を検出することにより、前述したように個人を特定すべく、その情報をシステムコントロール部１００８へ入力している。その他の構成要素に関しては、図３２の従来例で説明したビデオカメラブロック図と同一なので説明は省略する。
【００３６】
図４は本実施の形態による設定動作システムの流れ図であり、以下説明する。Ｓ５０１で処理が始まると、まずモード設定ダイヤル１０１のポジションが、ＣＡＬ（個人差補正登録モード）になっているかどうかを判断し（Ｓ５０２）、ＣＡＬになっていればＳ５０３へ進む。ＣＡＬになっていなければＳ５０２の前に戻る。次にファインダー内の左上に図の指標１３０１を表示する（Ｓ５０３）。撮影者は上記指標１３０１を注視しながら注視スイッチ１０２を押す。そこで注視スイッチ１０２がＯＮになったかどうかを判断し（Ｓ５０４）、ＯＮになっていれば、従来例で説明した（７）、（８）式により、第１の注視点座標（Ｘｎ１，Ｔｎ１）を求める（Ｓ５０５）。同様にしてファインダー内の右下に指標１３０２を表示し（Ｓ５０６）、第２の注視点座標（Ｘｎ２，Ｔｎ２）を求める（Ｓ５０７、Ｓ５０８）。
【００３７】
以上求めた４つのデータ（Ｘｎ１，Ｙｎ１）（Ｘｎ２，Ｙｎ２）を、従来例で説明した（９）、（１０）式に代入すると、４つの式が成立するので、これらの式からＡｘ、Ｂｘ、Ａｙ、Ｂｙを連立方程式により算出する（Ｓ５０９）。このとき、Ｘｎｔ、Ｙｎｔに代入する座標値は、あらかじめ決めておいたファインダー画面上での２つの指標を表示する座標である。
【００３８】
次に、虹彩特徴検出回路４００で虹彩の特徴を検出し（Ｓ５１０）、過去に同一特徴の虹彩データがあったかどうかをメモリ１００９内をサーチして調べ（Ｓ５１１）、もし存在しない場合は新規メモリアドレスをｈに設定し（Ｓ５１３）、存在した場合はその同一メモリアドレスをｈに設定する（Ｓ５１２）。最後に、アドレスｈ相当のメモリへ虹彩特徴データ及びＡｘ、Ｂｘ、Ａｙ、Ｂｙを格納する（Ｓ５１４、Ｓ５１５）。
【００３９】
以上のような設定をあらかじめ行うことにより、ビデオカメラ使用時は、ファインダーを覗いたとき、上述した虹彩特徴データを検出することで撮影者の特定を行い、自動的に個人差補正データを選択することができる。
【００４０】
次に第２の実施の形態について説明する。なお、図３のビデオカメラの構成ブロック図、図２の虹彩部の図については第１の実施の形態と同一のため説明は省略する。
図５は本実施の形態で使用するスイッチであり、１０１は図１と同様のビデオカメラのモード設定ダイヤル、１０２は注視スイッチである。１０４はカーソル移動スイッチであり、設定画面上で設定する項目を選択すべく、カーソルを上下に移動するための２個対になっているキーである。１０３は設定スイッチであり、上記各項目の動作を設定するものである。
【００４１】
図６は、本実施の形態によるファインダー画面であり、１０６、１０７は個人差補正画面、１０８はカスタム設定画面である。１０９、１１０は個人差補正を行う際注視する指標、１１２はカスタム設定における設定項目であり、リモコンを受け付けるかどうかの選択、マイクの風きりカット機能のｏｎ／ｏｆｆ、記録中表示（タリー）のｏｎ／ｏｆｆ等のカメラ／レコーダ機能設定や、従来例で説明した視線スイッチ機能の内容変更（従来例のテレ、ワイド、フェードに相等する内容）、視線ＡＦ枠表示のｏｎ／ｏｆｆなど視線機能などが含まれる。これらは全て個人の好みにより設定するものである。また、１１３は上記設定項目の内容、１１１は設定する項目を選択するためのカーソルである。
【００４２】
図７は、設定動作システムの流れ図であり、以下に説明する。Ｓ８０１からＳ８１５までは、第１の実施の形態の図４におけるＳ５０１からＳ５１５と同一のため説明は省略する。
その後、カスタム設定画面１０８を表示し（Ｓ８１６）、モード設定ダイヤル１０１がＣＡＬになっているかを判断し（Ｓ８１７）、ＣＡＬになっていればカーソル移動スイッチ１０１がＯＮかどうかを判断し（Ｓ８１８）、ＣＡＬになっていなければ、表示画面の設定情報をポジションｈ相当のメモリへ格納して（Ｓ８２２）終了となる（Ｓ８２３）。上記カーソル移動スイッチ１０４がＯＮになっていれば、押されたスイッチに対応した方向にカーソル１１１を移動し（Ｓ８１９）、ＯＮになっていなければ、Ｓ８１９の先へ進む。次に、設定スイッチ１０３がＯＮになっていれば（Ｓ８２０）、設定内容を変更し（Ｓ８２１）、Ｓ８１７の前へ戻る。ＯＮになっていなければ、Ｓ８２１を飛ばしてＳ８１７の前へ戻る。
【００４３】
以上のような設定をあらかじめ行うことにより、ビデオカメラ使用時は、ファインダーを覗いたとき、上述した虹彩特徴データを検出することで撮影者の特定を行い、自動的に個人差補正データを選択するとともに、撮影者各個人に合わせてあらかじめ記憶させたカスタム機能を自動的に切り換えることができる。
【００４４】
次に第３の実施の形態について説明する。なお、個人差補正時の流れ図は図３６の従来例と同一、ビデオカメラ構成ブロック図は図３、虹彩部の図は図２と同一である。また、視線機能用個人差補正のシステムについては、基本的に第１の実施の形態と同一である。
図８は本実施の形態で使用するスイッチであり、１０１はビデオカメラのモード設定ダイヤル、１０３は設定スイッチ、１０４はカーソル移動スイッチである。図９はファインダー画面であり、図５のカスタム設定画面１０８と同様にカスタム設定における設定項目１１２、設定項目の内容１１３、設定する項目を選択するためのカーソル１１１がある。
【００４５】
図１０はシステムの流れ図であり、以下に説明する。
まずモード設定ダイヤル１０１のポジションが、カスタムになっているかどうかを判断し（Ｓ６０２）、カスタムになっていればＳ６０３へ進み、カスタムになっていなければ、Ｓ６０２の前に戻る。
次のＳ６０３からＳ６０７は虹彩の特徴を検出してメモリへ格納する動作を示しており、第１の実施の形態の図４におけるＳ５１０からＳ５１４の内容と同一である。
更に、Ｓ６０８からＳ６１５はカスタム設定を示す動作を示しており、第２の実施の形態の図７におけるＳ８１６からＳ８２３の内容と同一である。
【００４６】
以上のような設定をあらかじめ行うことにより、ビデオカメラ使用時は、ファインダーを覗いたとき、上述した虹彩特徴データを検出することで撮影者の特定を行い、自動的に個人差補正データを選択するとともに、撮影者個人に合わせてあらかじめ記憶させたカスタム機能を自動的に切り換えることができる。
【００４７】
次に第４の実施の形態について説明する。なお、個人差補正時のファインダー画面、個人差補正時の流れ図については従来例の図３５、図３６と同一、虹彩部の図については図２と同一のため説明は省略する。また、視線機能用個人差補正のシステムについては、基本的に第１の実施の形態と同一である。
図１１はビデオカメラ構成ブロック図であり、４０１はギヤ配列、ステッピングモーター等により表示素子１００２を矢印方向に移動させるための表示素子移動手段、４０４は上記ステッピングモーターを駆動するドライバ回路、４０２は表示素子１００２の移動量を検出するためのボリュームエンコーダ、４０３は上記ボリュームエンコーダ４０２の回転角から表示素子１００２の移動量を演算する位置検出部である。その他の構成は図３と同一である。また、上記表示素子移動手段４０１によって、表示素子１００２を上下方向（矢印方向）に移動させることにより、観察者の視度を補正することができる。
【００４８】
図１２は使用するスイッチであり、１０１はビデオカメラのモード設定ダイヤル、１０５は視度調整スイッチであり、上記表示素子移動手段４０１を動作させ、表示素子１００２を移動させるための２個対になっているキーである。ここで、遠視キーを押すと、表示素子１００２は、図１１において上に移動し、遠視の観察者を矯正する。近視キーを押すと、下に移動し近視の観察者を矯正する。
【００４９】
図１３は、ファインダー画面であり、３０４は視度調整画面、３０５は視度調整のメッセージであり、これにより観察者に視度調整スイッチ１０５を用いてファインダーが最もはっきり見えるように視度を調節してもらう。
【００５０】
図１４は、システムの流れ図であり、以下に説明する。
まずモード設定ダイヤル１０１のポジションが、視度になっているかどうかを判断し（Ｓ７０２）、視度になっていればＳ７０３へ進み、視度になっていなければ、Ｓ７０２の前に戻る。
次のＳ７０３からＳ７０７は虹彩の特徴を検出してメモリへ格納する動作を示しており、図４におけるＳ５１０からＳ５１４の内容と同一である。
更に、Ｓ７０８からＳ７１４はカスタム設定を示す動作を示しており、図７におけるＳ８１６からＳ８２３の内容と同一である。
【００５１】
以上のような設定をあらかじめ行うことにより、ビデオカメラ使用時は、ファインダーを覗いたとき、上述した虹彩特徴データを検出することで撮影者の特定を行い、自動的に撮影者個人に合わせてあらかじめ記憶させた視度調整を行うことができる。
【００５２】
次に第５の実施の形態について説明する。なお、ビデオカメラ構成ブロック図、ＡＦ動作時のファインダー画面については従来例の図３２、図３４と同一のため説明は省略する。
図１５は本実施の形態で使用するスイッチであり、１１４はビデオカメラのモード設定ダイヤルであり、カメラモード、ＶＴＲモード、電源ＯＦＦを設定するものである。１１５は撮影者設定用スライドスイッチであり、１、２、３で示す位置で３人のデータを設定するものである。１１６はＡＦ枠移動スイッチであり、４個のキーにより画面上のオートフォーカスを行うポイントを手動により移動するためのものである。ここで、４個のキーを押している間、それぞれ上下左右に図３４のＡＦ枠１２０１が移動する。
【００５３】
図１６は、個人差補正システムの流れ図であり、以下に説明する。
まず、撮影者設定スライドスイッチ１１５のポジションを検出し、アドレスメモリｈへ書き込む（Ｓ９０２）。次に枠移動スイッチ１１６がＯＮになっているかどうかを判断し（Ｓ９０３）、ＯＮでなければＳ９０３の前へ戻り、ＯＮになっていれば次へ進む。更に枠移動スイッチ１１５がＯＦＦになっているかどうかを判断し（Ｓ９０４）、ＯＦＦでなければＳ９０４の前へ戻り、ＯＦＦになっていれば次へ進む。この後、従来例で説明した（７）、（８）式により注視点座標（Ｘｎ１，Ｙｎ１）を検出すると共に、現状のＡＦ枠中心座標（Ｘｐ１，Ｘｐ１）を求めておく（Ｓ９０５）。Ｓ９０６からＳ９０８は、Ｓ９０３からＳ９０５の動作と同一であり、同様にして第２の注視点座標（Ｘｎ２，Ｙｎ２）を検出すると共に、第２のＡＦ枠中心座標（Ｘｐ２，Ｘｐ２）を求める（Ｓ９０８）。
【００５４】
次に、｜Ｘｎ１−Ｘｎ２｜＞Ｘｍ、｜Ｙｎ１−Ｙｎ２｜＞Ｙｍの両方が成立するかどうかを判断する（Ｓ９０９）。ここでＸｍ、Ｙｍは所定の数値であり、上記検出した２個の注視点座標（Ｘｎ１，Ｙｎ１）、（Ｘｎ２，Ｙｎ２）のＸ方向及びＹ方向距離のスレッシュに相当する。すなわち、上記２点のＸ方向及びＹ方向距離が所定距離以上かどうかを判断するものである。以上の判断により、距離が所定距離を超える時は次へ進み、距離が所定距離以下のときは、Ｓ９０８の前へ戻り、新しい第２の注視点座標（Ｘｎ２，Ｙｎ２）、第２のＡＦ枠中心座標（Ｘｐ２，Ｘｐ２）を求める（Ｓ９０８）。最後に（Ｘｎ１，Ｙｎ１）、（Ｘｎ２，Ｙｎ２）、（Ｘｐ１，Ｙｐ１）、（Ｘｐ２，Ｙｐ２）からＡｘ、Ｂｘ、Ａｙ、Ｂｙを、従来例と同様に連立方程式で求めポジションｈ相当のメモリへ格納する（Ｓ９１１）。
【００５５】
以上の構成及び動作により、視線が向きやすいＡＦ枠１２０１が止まった瞬間に視線検出を行い、距離の離れた２点の注視点を求めることで、個人差補正係数を特定することができる。
【００５６】
次に第６の実施の形態について説明する。なお、ビデオカメラ構成ブロック図については従来例の図と同一のため、説明は省略する。
図１７は本実施の形態で使用するスイッチである。１１５は撮影者設定スライドスイッチであり、３人のデータを設定するものである。１１７はビデオカメラのモード設定ダイヤルであり、カメラモード、ＶＴＲモード、電源ＯＦＦ、カスタムモードを設定するものである。１１８はカーソル移動スイッチであり、設定画面上で設定する項目を選択すべく、カーソルを上下左右に移動するための、４個対になっているキーである。１１９は設定スイッチであり、上記各項目の動作を設定するものである。
【００５７】
図１８は、ファインダー画面であり、２０５はカスタム設定画面である。２０７はカスタム設定における設定項目であり、リモコンを受け付けるかどうかの選択、マイクの風きりカット機能のｏｎ／ｏｆｆ、記録中表示（タリー）のｏｎ／ｏｆｆ等のカメラ／レコーダ機能設定や、従来例で説明した視線スイッチ機能の内容変更（従来例のテレ、ワイド、フェードに相等する内容）、視線ＡＦ枠表示のｏｎ／ｏｆｆなど視線機能などが含まれる。これらは、全て個人の好みにより設定するものである。また、２０８は前記設定項目の内容、２０６は、設定する項目を選択するためのカーソルであり、上記カーソル移動スイッチ１１８により、前後左右に移動する。
【００５８】
図１９は、カスタム設定機能の流れ図であり、以下に説明する。
まずモード設定ダイヤル１１７のポジションが、カスタムになっているかどうかを判断し（Ｓ４０２）、カスタムになっていれば撮影者設定スライドスイッチ１１５のポジションを検出し、メモリーｈに書き込み、カスタムになっていなければＳ４０２の前に戻る。ここで、メモリーｈとは、従来例で説明した撮影者固有の個人差補正データを格納した時と同一エリアである。次にカスタム設定画面２０５を表示し（Ｓ４０３）、モード設定ダイヤル１１７がカスタムになっているかを判断し（Ｓ４０４）、カスタムになっていればカーソル移動スイッチ１１８がＯＮかどうかを判断し（Ｓ４０４）、カスタムになっていなければ、表示画面の設定情報をポジションｈ相当のメモリへ格納して終了となる（Ｓ４０９）。上記カーソル移動スイッチ２０３がＯＮになっていれば、押されたスイッチに対応した方向にカーソル２０６を移動し（Ｓ４０６）、ＯＮになっていなければ、Ｓ４０７へ進む。次に、設定スイッチ２０２がＯＮになっていれば、設定内容を変更し（Ｓ４０８）、Ｓ４０４の前へ戻る。ＯＮになっていなければ、Ｓ４０８を飛ばしてＳ４０４の前へ戻る。
以上により、カスタム機能を設定することができる。
【００５９】
図２０は個人差補正機能の流れ図である。
Ｓ３０１〜Ｓ３１１による基本的な動作は全て図１６の第１の実施の形態と同一であり、異なる箇所は、枠移動スイッチがカーソル移動スイッチに、ＡＦ枠中心座標がカーソル座標になった点である。
【００６０】
以上の構成及び動作により、視線が向きやすいカーソルが止まった瞬間に視線検出を行い、距離の離れた２点の注視点を求めることで、個人差補正係数を特定することができる。
【００６１】
次に第７の実施の形態について説明する。なお、ビデオカメラ構成ブロック図（図３２）、個人差補正のファインダー画面（図３５）、個人差補正時の流れ図（図３６）、ＡＦ動作時のファインダー画面（図３４）については従来例と同一のため説明は省略する。
【００６２】
図２１は本実施の形態で使用するスイッチであり、１０１はビデオカメラのモード設定ダイヤル、１１５は撮影者設定用スライドスイッチ、１１６はＡＦ枠移動スイッチ、１１９は注視スイッチである。
【００６３】
図２２は個人差補正システムの流れ図であり、以下に説明する。
まず、従来例で示した２点注視方式の個人差補正を実行する（Ｓ２０２）。これは従来の個人差補正の流れ図（図３６）に沿って行われる。次に、Ｓ２０３からＳ２１２は、第１の実施の形態（図１６）のＳ９０２からＳ９１１と同一のため説明は省略する。なお、ここではＳ２１２の後はＳ２０３の前へ戻る。
【００６４】
以上の構成及び動作により、２点注視方式の個人差補正を行った後、ＡＦ枠の動きを利用した個人差補正を連続して繰り返し、補正係数を更新することができる。尚、ＡＦ枠の他にＡＥ枠を用いてもよい。
【００６５】
第８の実施の形態について説明する。なお、ビデオカメラ構成ブロック図（図３２）については従来例と同一のため説明は省略する。
図２３は本実施の形態で使用するスイッチであり、ビデオカメラのモード設定ダイヤル１１４、撮影者設定用スライドスイッチ１１５が設けられている。
【００６６】
図２４は個人差補正方式の概念図であり、２０３はファインダー画面の外形座標である。また、２０２は最外形の視線座標生データ群であり、従来例の（７）、（８）式により、一定時間内に求められた視線座標生データ群の内、最も外側のデータ群である。２０４は視線による画面近似外形座標であり、上記最外形の視線座標生データ群２０２を用いて最小自乗法等で求めた近似四角形である。
【００６７】
図２５は個人差補正システムの流れ図であり、以下に説明する。
まず、撮影者設定スライドスイッチ１１５のポジションを検出し、アドレスメモリｈへ書き込む（Ｓ１０２）。次に０を変数Ｎに書き込み（Ｓ１０３）、注視点座標を検出して配列Ａ（Ｎ）へ書き込み（Ｓ１０４）、Ｎと所定値Ｎｍａｘを比較する（Ｓ１０５）。ここでＮがＮｍａｘより小さければＳ１０４の前へ戻り、ＮがＮｍａｘより大きければ、データ群Ａ（Ｎ）の内、最外形に相当するデータ２０２のみ注出し、配列ＡＧ（Ｎ）へ書き込む（Ｓ１０６）。更にＡＧ（Ｎ）より最小自乗法により近似四角形２０４を求め（Ｓ１０７）、この近似四角形の２つの角の座標Ｓ２、Ｔ２を割り出す。最後にファインダー画面の外形座標２０３の左上、右下座標Ｓ１、Ｔ１と上記Ｓ２、Ｔ２から、従来例と同様にして連立方程式により、個人差補正係数Ａｘ、Ｂｘ、Ａｙ、Ｂｙをもとめ（Ｓ１０９）、これら４つの定数をアドレスｈ相当のメモリへ格納する（Ｓ１１０）。
【００６８】
以上の構成及び動作により、一定時間ビデオカメラを使用するだけで個人差補正動作が行われる。なお、本個人差補正動作が完了するまでは、視線動作を禁止してもデフォルテ個人差補正係数で代用してもよい。
【００６９】
次に第９の実施の形態について説明する。なお、操作スイッチ図（図２３）は第８の実施の形態と同一、ビデオカメラ構成ブロック図（図３２）は従来例と同一のため説明は省略する。
図２６は個人差補正方式の概念図であり、２０３はファインダー画面の外形座標である。２０２は最外形の視線座標生データ群であり、従来例の（７）、（８）式により、一定時間内に求められた視線座標生データ群の内、最も外側のデータ群である。２０４は視線による画面近似外形座標であり、上記最外形の視線座標生データ群２０２を用いて最小自乗法等で求めた近似四角形である。２０１はデータ削除エリアで、視線を向ける確率の極めて低い４隅近傍であり、信頼性が低いこのエリアの視線座標データは、後述する最小自乗法を行う際、削除するものである。
【００７０】
図２７は個人差補正システムの流れ図であり、以下に説明する。
Ｓ１１からＳ１６は第８の実施の形態（図２５）と同一であり説明は省略する。次にＡＧ（Ｎ）のデータから４隅のデータ削除エリア２０１内のデータを削除し、新たに配列ＡＧＳ（Ｎ）へ格納し（Ｓ１７）、ＡＧＳ（Ｎ）より、最小自乗法にて近似四角形２０４を求める（Ｓ１８）。Ｓ１９からＳ２２は第８の実施の形態（図２５）と同一であり説明は省略する。
【００７１】
以上の構成及び動作により、一定時間ビデオカメラを使用するだけで個人差補正動作が行われる。なお、本実施の形態によれば、信頼性の低い４隅のデータを削除するため、より精度の高い個人差補正が実現できる。また、本個人差補正動作が完了するまでは、視線動作を禁止してもデフォルテ個人差補正係数で代用してもよい。
【００７２】
次に第１０の実施の形態について説明する。なお、ビデオカメラ構成ブロック図（図３２）、個人差補正時のファインダー画面（図３５）、個人差補正時の流れ図（図３６）、操作スイッチ図（図３７）については従来例と同一、個人差補正概念図（図２４）については第１の実施の形態と同一のため説明は省略する。
【００７３】
図２８は個人差補正システムの流れ図である。
まず、従来例で示した２点注視方式の個人差補正を実行する（Ｓ３２）。これは、従来の個人差補正の流れ図（図３６）に沿って行われる。次に、６０３から６０８は、第９の実施の形態（図２５）のＳ１０２からＳ１０７と同一のため説明は省略する。
更に図２４における近似外形座標２０４と各々の最外形視線座標生データ２０２と差δを、データ数分求め、その平均値（誤差平均）を演算する（Ｓ３９）。そして前記誤差平均と所定値Ｗとを比較する。図２８のＳ４１からＳ４３までは、第８の実施の形態（図２５）のＳ１０８からＳ１１０と同一のため説明は省略する。
Ｓ４３の後はＳ３３の前へ戻り、これらの動作はビデオカメラを使用している間、繰り返される。
【００７４】
以上の構成及び動作により、従来例のような注視方式個人差補正の後も、ビデオカメラを使用している間は常に個人差補正動作が行われ、補正データが更新される。しかも更新されるデータは誤差平均の小さい、信頼性の高いもののみとなる。
【００７５】
次に第１１の実施の形態について説明する。ビデオカメラ構成ブロック図（図３２）、個人差補正時のファインダー画面（図３５）、個人差補正時の流れ図（図３６）、操作スイッチ図（図３７）については従来例と同一、個人差補正概念図（図２６）については第９の実施の形態と同一のため説明は省略する。
【００７６】
図２９は本実施の形態による個人差補正システムの流れ図である。
まず、従来例で示した２点注視方式の個人差補正を実行する（Ｓ５２）。これは、従来の個人差補正の流れ図（図３６）に沿って行われる。次に、Ｓ５９は、第９の実施の形態（図２７）のＳ１２からＳ１８と同一のため説明は省略する。
更に図２６における、近似外形座標２０４と各々の最外形視線座標生データ２０２と差δをデータ数分求め、その平均値（誤差平均）を演算する（Ｓ６０）。そして上記誤差平均と所定値Ｗとを比較し、誤差平均がＷより小さければＳ６２へ進み、大きければＳ５３の前へ戻る。
Ｓ６２からＳ６４までは、第９の実施の形態（図２７）のＳ１９からＳ２１と同一のため説明は省略する。
Ｓ６４の後はＳ５３の前へ戻り、これらの動作はビデオカメラを使用している間、繰り返される。
【００７７】
以上の構成及び動作により、従来例のような注視方式個人差補正の後も、ビデオカメラを使用している間は常に個人差補正動作が行われ、補正データが更新される。しかも更新されるデータは、誤差平均の小さい、信頼性の高いもののみとなる。
【００７８】
【発明の効果】
以上説明したように、視線検出手段を用いる際、使用者が視線データの補正データを得るための操作をしないでも、表示画面を見ながら撮影の準備等をしている間に自動的に補正データを作成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるスイッチを示す構成図である。
【図２】本発明の第１〜第４の実施の形態で用いられる眼の虹彩部を示す構成図である。
【図３】第１〜第３の実施の形態によるビデオカメラの構成図である。
【図４】第１の実施の形態による動作を示すフローチャートである。
【図５】第２の実施の形態によるスイッチの構成図である。
【図６】第２の実施の形態によるファインダ画面の表示例を示す構成図である。
【図７】第２の実施の形態による動作を示すフローチャートである。
【図８】第３の実施の形態によるスイッチの構成図である。
【図９】第３の実施の形態によるファインダ画面の表示例を示す構成図である。
【図１０】第３の実施の形態による動作を示すフローチャートである。
【図１１】第４の実施の形態によるビデオカメラの構成図である。
【図１２】第４の実施の形態によるスイッチの構成図である。
【図１３】第４の実施の形態によるファインダ画面の表示例を示す構成図である。
【図１４】第４の実施の形態による動作を示すフローチャートである。
【図１５】第５の実施の形態によるスイッチの構成図である。
【図１６】第５の実施の形態による動作を示すフローチャートである。
【図１７】第６の実施の形態によるスイッチの構成図である。
【図１８】第６の実施の形態によるファインダ画面の表示例を示す構成図である。
【図１９】第６の実施の形態による動作を示すフローチャートである。
【図２０】第６の実施の形態による動作を示すフローチャートである。
【図２１】第７の実施の形態によるスイッチの構成図である。
【図２２】第７の実施の形態による動作を示すフローチャートである。
【図２３】第８、第９の実施の形態によるスイッチの構成図である。
【図２４】第８の実施の形態による補正データ作成を説明するための構成図である。
【図２５】第８の実施の形態による動作を示すフローチャートである。
【図２６】第９の実施の形態による補正データ作成を説明するための構成図である。
【図２７】第９の実施の形態の動作を示すフローチャートである。
【図２８】第１０の実施の形態による動作を示すフローチャートである。
【図２９】第１１の実施の形態による動作を示すフローチャートである。
【図３０】視線検出の原理を示す構成図である。
【図３１】視線検出の原理を示す構成図及び特性図である。
【図３２】第５〜第１１の実施の形態及び従来例によるビデオカメラの構成図である。
【図３３】ビューファインダ画面の表示例を示す構成図である。
【図３４】ビューファインダ画面上のＡＦ枠を示す構成図である。
【図３５】第４、第７、第１０、第１１の実施の形態及び従来例による指標の表示例を示す構成図である。
【図３６】第３、第４、第７、第１０、第１１の実施の形態及び従来例による動作を示すフローチャートである。
【図３７】従来のビデオカメラのスイッチの構成図である。
【符号の説明】
１０１、１１４、１１７、１５０３ モード設定ダイヤル
１０２、１５０２ 注視スイッチ
１０３、１１９ 設定スイッチ
１０４ カーソル移動スイッチ
１０５ 視度調整スイッチ
１１５、１５０１ 撮影者設定用スライドスイッチ
１１６ ＡＦ枠移動スイッチ
１１８ カーソル移動スイッチ
２０１ データ削除エリア
２０２ 最外形視線座標生データ群
２０３ ファインダ画面外形座標
２０４ 画面近似外形座標
２０５ カスタム設定画面
２０６ カーソル
４００ 虹彩特徴検出回路
４０１ 表示素子特徴手段
４０２ ボリュームエンコーダ
４０３ 位置検出部
１００２ 表示素子
１００４ 操作スイッチ検出部
１００５ 観察者の眼
１００６ 視線検出部
１００７ 表示回路
１００８ システムコントロール部
１００９ メモリ
１０６０ 赤外発光ダイオード
１０６１ ダイクロイックミラー
１０６３ イメージセンサー
１０６４ 注視点検出回路
１２０１ 視線ＡＦ枠
１３０１ １３０２ 注視指標
１３０３、１３０４ 補正指標画面
【発明の属する技術分野】
本発明は視線検出機能を備えたビデオカメラ／スチルカメラ等の撮像装置に関するものである。
【０００２】
【従来の技術】
本出願人は特願平４−２０２号により、ビデオカメラのファインダー画面に例えばズーム、フェード等の機能を意味する指標を表示し、それを視線で選択させるいわゆる視線入力機能を既に提案している。次に視線検出方法の原理を以下に説明する。
図３０（ａ）は視線検出方法の原理図（上面図及び特性図）、図３０（ｂ）は視線検出方法の原理図（側面図）である。
図において、９０６ａ、９０６ｂは観察者に対して不感の赤外光を放射する発光ダイオード（ＩＲＥＤ）等の光源であり、各光源は結像レンズ９１１の光軸に対してｘ方向（水平方向）に略対象に（図３０（ａ））、またｙ方向（垂直方向）にはやや下側に（図３０（ｂ））配置され、観察者の眼球９０８を発散照明している。眼球９０８で反射した照明光の一部は結像レンズ９１１によってイメージセンサー９１２に結像する。図３１（ａ）はイメージセンサー９１２に投影される眼球像の概略図、図３１（ｂ）はイメージセンサー９１２の出力強度図である。
【０００３】
以下各図を用いて視線の検出方法を説明する。
まず水平面で考えると、図３０（ａ）において光源９０６ｂより放射された赤外光は観察者の眼球９０８の角膜９１０を照明する。このとき角膜９１０の表面で反射した赤外光により形成される角膜反射像ｄ（虚像）は結像レンズ９１１により集光され、イメージセンサー９１２上の位置ｄ′に結像する。同様に光源９０６ａより放射された赤外光は眼球９０８の角膜９１０を照明する。このとき角膜９１０の表面で反射した赤外光により形成された角膜反射像ｅ（虚像）は、結像レンズ９１１により集光され、イメージセンサー９１２上の位置ｅ′に結像する。また虹彩９０４の端部ａ、ｂからの光束は結像レンズ９１１を介してイメージセンサー９１２上の位置ａ′、ｂ′に端部ａ、ｂの像を結像する。結像レンズ９１１の光軸に対する眼球９０８の光軸の回転角θが小さい場合、虹彩９０４の端部ａ、ｂのｘ座標をｘａ、ｘｂとすると、ｘａ、ｘｂはイメージセンサー９１２上で多数点求めることができる。（図３１（ａ）中の×印）。そこでまず円の最小自乗法にて瞳孔中心ｘｃを算出する。
【０００４】
一方、角膜９１０の曲率中心ｏのｘ座標をｘｏとすると、眼球９０８の光軸に対する回転角θｘは、
ｏｃ＊ｓｉｎθｘ＝ｘｃ−ｘｏ ………（１）
となる。また、角膜反射像ｄとｅの中点ｋに所定の補正値δｘを考慮してｘｏを求めると、
ｘｋ＝（ｘｄ＋ｘｅ）／２
ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ ………（２）
ここでδｘは装置の設置方法／眼球距離等から幾何学的に求められる数値であり、その算出方法は省略する。
【０００５】
よって、（１）を（２）へ代入しθｘを求めると、
θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋δｘ｝］／ｏｃ］………（３）
さらにイメージセンサー上に投影された各々の特徴点の座標を、′（ダッシュ）をつけて（４）式に書き換えると、
【０００６】
垂直面で考えると、図３０（ｂ）の様な構成となる。ここで２個のＩ光源９０６ａ、９０６ｂにより生じる角膜反射像は同位置に発生し、これをｉとする。眼球の回転角θｙの算出方法は水平面の時とほぼ同一であるが（２）式のみ異なり、角膜曲率中心ｏのｙ座標をｙｏとすると、
ｙｏ＝ｙｉ＋δｙ ………（５）
ここでδｙは装置の配置方法、眼球距離等から幾何学的に求められる数値であり、その算出方法は省略する。よって垂直方向の回転角θｙは、
θｙ＝ａｒｃｓｉｎ［［ｙｃ′−（ｙｉ′＋δｙ′）］／ｏｃ／β］………（６）
となる。
【０００７】
さらに、ビデオカメラのファインダー画面上の位置座標（ｘｎ，ｙｎ）はファインダー光学系で決まる定数ｍを用いると、水平面上、垂直面上それぞれ、
図３１（ａ）（ｂ）で明らかなように、瞳孔エッヂの検出はイメージセンサー出力波形の立ち上がり（ｘｂ′）、立ち下がり（ｘａ′）を利用する。また、角膜反射像の座標は鋭い立ち上がり部（ｘｅ′）及び（ｘｄ′）を利用する。
【０００８】
次に視線検出機能を持つビデオカメラについて説明する。
図３２は視線検出機能を持つビデオカメラの一例を示す概略構成図である。
図に示したビデオカメラは、ズームレンズを備え被写体を撮像するレンズ撮像系１００１と、レンズ撮像系１００１により撮像される被写体を観察するためのファインダとして用いられ、ＬＣＤ等を有する表示素子１００２と、この表示素子１００２の前に配置された第１の接眼レンズ１００３と、撮影者の眼の直前に配置された第２の接眼レンズ１０１０、撮影者の眼１００５の視線を検出する視線検出部１００６と、フォーカスエリアの概略を表すＡＦ枠、後述する視線スイッチの指標、その他テープカウンターや撮影モードなど撮影者に必要な情報等を表示素子１００２へ表示する表示回路１００７と、このカメラの各部を制御するシステムコントロール部１００８と、さまざまなデータを記憶するためのメモリ１００９と、ビデオカメラの機能を実行するための操作スイッチ検出部１００４とから概略構成されている。
【０００９】
上記視線検出部１００６は、撮影者の眼１００５に赤外光を照射する赤外発光ダイオード１０６０と、可視光を反射し赤外光を透過するダイクロイックミラー１０６１と、このダイクロイックミラー１０６１を透過した赤外光を集光する集光レンズ１０６２と、この集光レンズ１０６２により集光された赤外光を電気信号に変換する光電変換素子としてのイメージセンサー１０６３と、このイメージセンサー１０６３上の撮影者の眼１００５の像を基に撮影者の表示素子１００２上の注視点を求める注視点検出回路１０６４とを具備している。
【００１０】
ダイクロイックミラー１０６１は、可視光を反射するため撮影者が接眼レンズ１００３、１０１０を通して表示素子１００２の画面を観察できるようになっている。また、ダイクロイックミラー１０６１は、赤外光を透過するため、赤外発光ダイオード１０６０によって照射された眼１００５の反射像は、第２の接眼レンズ１０１０を通って集光レンズ１０６２で集光され、イメージセンサー１０６３上に像を結ぶようになっている。
【００１１】
注視点検出回路１０６４は、イメージセンサー１０６３上の撮影者の眼１００５の像を基に、前述した原理や、特開平１−２４１５１１、２−３２３１２号公報によって開示されたアルゴリズムに従い、撮影者の表示素子１００２画面上の注視点を求めるものである。
【００１２】
次に本従来例のビデオカメラのファインダーに搭載されている視線スイッチの機能について説明する。
上記表示素子１００２によるファインダーの表示例の模式図を図３３に示す。
同図に示すように、アルファベット「Ｗ」、「Ｔ」、「Ｆ」で示す互いに異なる動作機能を意味する指標１１０１（１１０１ａ、１１０１ｂ、１１０１ｃ）からなるメニューが表示されている。ここで例えば「Ｗ」はワイド側へのズーミング、「Ｔ」はテレ側へのズーミング、「Ｆ」はフェードの動作をそれぞれ示すものとする。また右下の数字１１０２は視線スイッチの機能ではなく例えば日付等である。
【００１３】
次にシステムコントロール部１００８の動作を説明する。注視点検出回路１０６４は、常に撮影者の視線座標を検出し、システムコントロール部１００８へ出力している。ここで撮影者が「Ｔ」表示を注視したとする。システムコントロール部１００８は、範囲βの中に所定時間注視点が入ったかを判断し、所定時間注視点が入った場合、範囲βから注視点がはずれるまで、テレ側へのズーミングを実行すべく、レンズ撮像系へ信号を送る。システムコントロール部１００８の動作は、「Ｗ」、「Ｆ」についても同様である。
【００１４】
次に、視線オートフォーカス（ＡＦ）について説明する。
表示素子１００２の表示例の模式図を図３４に示す。
同図において、１２０１はフォーカスエリアの概略を表す視線ＡＦ枠であり、注視点座標位置に表示され、このエリア内の被写体に合焦する。
【００１５】
次にシステムコントロール部１００８の動作を説明する。注視点検出回路１０６４は、常に撮影者の視線座標を検出し、システムコントロール部１００８へ出力している。ここで、撮影者が図１２における人物を注視したとする。システムコントロール部１００８は、上記注視座標に基づいてレンズ撮像系へ信号を送り、フォーカスエリアを指定すると共に、表示回路１００７へも注視座標信号を送り、表示素子１００２の画面内にＡＦ枠１２０１を表示させる。
【００１６】
次に個人差補正システムについて説明する。実際の観察者の眼は、前記（１）式におけるａｃ寸法にばらつきがあるとともに、眼球の光軸と視軸とにはズレがある。これらを考慮すると、より視線検出の精度を高めるためには、撮影者各々の特性データを測定し、撮影時にそれぞれのデータ設定をする必要がある。
まず、個人差補正システムの一例として、比例定数Ａ及びオフセット定数Ｂを撮影者各々の特性データとして用いる方法について説明する。前記（７）、（８）式で求められた視線座標に対して、水平方向、垂直方向それぞれ別々の比例定数Ａ及びオフセット定数Ｂを設定し、補正後の座標をＸｎｔ、Ｙｎｔとすると、
Ｘｎｔ＝Ａｘ＊Ｘｎ＋Ｂｘ ………（９）
Ｙｎｔ＝Ａｙ＊Ｙｎ＋Ｂｙ ………（１０）
となる。
【００１７】
次に、上記４つの定数を測定するシステムについて説明する。図３５は測定時に表示する個人差補正ファインダー画面１３０３、１３０４を示すものであり、１３０１、１３０２は注視用の指標である。図３６はその動作を示すフローチャートである。図３７は必要な操作スイッチであり、図３２の操作スイッチ検出部１００４によって、電圧変化等により各スイッチの入／切を検出して、その情報をシステムコントロール部１００８に入力する。１５０３はビデオカメラのモード設定ダイヤルであり、カメラモード、ＶＴＲモード、ＣＡＬモード（個人差補正登録モード）、電源ＯＦＦを設定するものである。１５０１は撮影者設定用スライドスイッチであり、３人のデータを１、２、３で示す位置で設定するものである。また、１５０２は注視スイッチであり、撮影者が注視できたと判断したときに押すプッシュキー、１５０４はＡＦ枠移動スイッチである。
【００１８】
次に図３６に従って動作を説明する。
動作が開始（Ｓ１４０１）されると、まずモード設定ダイヤル１５０３のポジションが、ＣＡＬ（個人差補正登録モード）になっているかどうかを判断し（Ｓ１４０２）、ＣＬＡになっていれば撮影者設定スライドスイッチ１５０１のポジションを検出し（Ｓ１４０３）、メモリーｈに書き込む。ＣＡＬになっていなければ、Ｓ１４０２の前に戻る。次にファインダー内の左上に指標１３０１を表示する（Ｓ１４０４）。ここで撮影者は上記指標１３０１を注視しながら注視スイッチ１５０２を押す。そこで注視スイッチ１５０２がＯＮになったかどうかを判断し（Ｓ１４０５）、前記（７）、（８）式により、第１の注視点座標（Ｘｎ１，Ｙｎ１）を求める（Ｓ１４０６）。次に同様にしてファインダー内の右下に指標１３０２を表示し（Ｓ１４０７）、第２の注視点座標（Ｘｎ２，Ｙｎ２）を求める（Ｓ１４０８、Ｓ１４０９）。
【００１９】
以上求めた４つのデータ（Ｘｎ１，Ｙｎ１）（Ｘｎ２，Ｙｎ２）を前記（９）、（１０）式に代入すると、４つの式が成立するので、これらの式からＡｘ、Ｂｘ、Ａｙ、Ｂｙを連立方程式により算出する（Ｓ１４１０）。このとき、Ｘｎｔ、Ｙｎｔに代入する座標値は、あらかじめ決めておいたファインダー画面上での２つの指標を表示する座標である。最後に、Ａｘ、Ｂｘ、Ａｙ、Ｂｙを、メモリ１００９のポジションｈ相当の割り当てエリアに格納する。
【００２０】
次に、手動によるオートフォーカス位置移動システムについて説明する。
図３７において、ＡＦ枠移動スイッチ１５０４は、４個のキーから成り、オートフォーカスを行うポイントを手動により移動するためのものであり、４個のキーを押している間、それぞれ上下左右にＡＦ枠１２０１が移動する。
ＡＦ動作時のファインダー画面を示す図３４において、フォーカスエリアの概略を示すＡＦ枠１２０１は、オートフォーカスを行うポイントに表示され、このエリア内の被写体に合焦する。
【００２１】
次にシステムコントロール部１００８の動作を説明する。操作スイッチ検出部１００４は、常にＡＦ枠移動スイッチ１５０４を検出し、システムコントロール部１００８へ出力している。
ここで、撮影者がＡＦ枠移動スイッチ１５０４を押したとする。システムコントロール部１００８は、押されたスイッチの種類に基いてレンズ撮像系へ信号を送り、フォーカスエリアを指定すると共に表示回路１００７へも注視点座標信号を送り、表示素子１００２の画面内にＡＦ枠１２０１を表示させる。
【００２２】
【発明が解決しようとする課題】
しかしながら、上記従来例では、視線機能を使用する際、あらかじめ使用者設定用スイッチを自分のＮＯ．に合わせねばならず、設定を忘れてしまうと他人の個人差補正データにて動作することになるため、視線検出精度が悪化すると言う問題があった。
また、使用者特有のカスタム機能設定、視度調節に関しても使用者が変わったときつい設定変更を忘れてしまうと言う問題があった。
【００２３】
また、上記従来例では、視線機能を使用する際、あらかじめ使用者が個人差補正の操作を行わねばならず、操作が繁雑になるという問題があった。
また、例え個人差補正の操作が行えたとしても、使用時の明るさなど周りの環境や個人の眼のコンディション等による個人差補正係数の変化には対応できないという問題があった。
【００２５】
本発明の目的は、上記補正データを得るためのみの操作を必要とせず、補正データが自動的に作成されるようにすることである。
【００２６】
【課題を解決するための手段】
本発明の撮像装置は、表示手段の表示画面上における使用者の視線を検出しその検出座標を示す視線データを得る視線検出手段と、複数の視線データから成る視線データ群の分布状態と上記表示画面の外形形状との比較に基づいて上記使用者の眼の個人差による視線データの誤差を補正する補正データを作成する補正データ作成手段とを設けたことを特徴とする。
【００２９】
【作用】
撮像装置の動作中に使用者が表示画面を見て視線を様々に動かしたときに得られる視線データ群の分布状態と上記表示画面の外形形状との比較から従来方法により補正データが自動的に作成される。
【００３２】
【発明の実施の形態】
本発明をビデオカメラに適用した場合の第１〜第１１の実施の形態について説明する。なお、各実施の形態において、個人差補正時のファインダー画面（図３５）、視線検出原理（図３０、図３１）については従来例と同一のため説明は省略する。
【００３３】
まず、第１の実施の形態について説明する。
図１は本実施の形態で使用するスイッチであり、１０１はビデオカメラのモード設定ダイヤルであり、カメラモード、ＶＴＲモード、ＣＡＬモード（個人差補正登録モード）、電源ＯＦＦを設定するものである。また、１０２は注視スイッチであり、撮影者が注視できたと判断したときに押すプッシュキーである。
【００３４】
図２は人の眼の虹彩部を説明するための図であり、１６０１は虹彩、１６０３は毛様体、１６０４は色素点である。ここで、毛様体１６０３、色素点１６０４は、虹彩１６０１内に存在する構成要素の一つであり、その形状は人によって異なるため、指の指紋のように個人を特定する手段としてしばしば利用されるものである。
【００３５】
図３は本実施の形態によるビデオカメラの構成を示すブロック図である。４００は虹彩特徴検出回路であり、イメージセンサー１０６３出力を画像処理し虹彩の特徴を検出することにより、前述したように個人を特定すべく、その情報をシステムコントロール部１００８へ入力している。その他の構成要素に関しては、図３２の従来例で説明したビデオカメラブロック図と同一なので説明は省略する。
【００３６】
図４は本実施の形態による設定動作システムの流れ図であり、以下説明する。Ｓ５０１で処理が始まると、まずモード設定ダイヤル１０１のポジションが、ＣＡＬ（個人差補正登録モード）になっているかどうかを判断し（Ｓ５０２）、ＣＡＬになっていればＳ５０３へ進む。ＣＡＬになっていなければＳ５０２の前に戻る。次にファインダー内の左上に図の指標１３０１を表示する（Ｓ５０３）。撮影者は上記指標１３０１を注視しながら注視スイッチ１０２を押す。そこで注視スイッチ１０２がＯＮになったかどうかを判断し（Ｓ５０４）、ＯＮになっていれば、従来例で説明した（７）、（８）式により、第１の注視点座標（Ｘｎ１，Ｔｎ１）を求める（Ｓ５０５）。同様にしてファインダー内の右下に指標１３０２を表示し（Ｓ５０６）、第２の注視点座標（Ｘｎ２，Ｔｎ２）を求める（Ｓ５０７、Ｓ５０８）。
【００３７】
以上求めた４つのデータ（Ｘｎ１，Ｙｎ１）（Ｘｎ２，Ｙｎ２）を、従来例で説明した（９）、（１０）式に代入すると、４つの式が成立するので、これらの式からＡｘ、Ｂｘ、Ａｙ、Ｂｙを連立方程式により算出する（Ｓ５０９）。このとき、Ｘｎｔ、Ｙｎｔに代入する座標値は、あらかじめ決めておいたファインダー画面上での２つの指標を表示する座標である。
【００３８】
次に、虹彩特徴検出回路４００で虹彩の特徴を検出し（Ｓ５１０）、過去に同一特徴の虹彩データがあったかどうかをメモリ１００９内をサーチして調べ（Ｓ５１１）、もし存在しない場合は新規メモリアドレスをｈに設定し（Ｓ５１３）、存在した場合はその同一メモリアドレスをｈに設定する（Ｓ５１２）。最後に、アドレスｈ相当のメモリへ虹彩特徴データ及びＡｘ、Ｂｘ、Ａｙ、Ｂｙを格納する（Ｓ５１４、Ｓ５１５）。
【００３９】
以上のような設定をあらかじめ行うことにより、ビデオカメラ使用時は、ファインダーを覗いたとき、上述した虹彩特徴データを検出することで撮影者の特定を行い、自動的に個人差補正データを選択することができる。
【００４０】
次に第２の実施の形態について説明する。なお、図３のビデオカメラの構成ブロック図、図２の虹彩部の図については第１の実施の形態と同一のため説明は省略する。
図５は本実施の形態で使用するスイッチであり、１０１は図１と同様のビデオカメラのモード設定ダイヤル、１０２は注視スイッチである。１０４はカーソル移動スイッチであり、設定画面上で設定する項目を選択すべく、カーソルを上下に移動するための２個対になっているキーである。１０３は設定スイッチであり、上記各項目の動作を設定するものである。
【００４１】
図６は、本実施の形態によるファインダー画面であり、１０６、１０７は個人差補正画面、１０８はカスタム設定画面である。１０９、１１０は個人差補正を行う際注視する指標、１１２はカスタム設定における設定項目であり、リモコンを受け付けるかどうかの選択、マイクの風きりカット機能のｏｎ／ｏｆｆ、記録中表示（タリー）のｏｎ／ｏｆｆ等のカメラ／レコーダ機能設定や、従来例で説明した視線スイッチ機能の内容変更（従来例のテレ、ワイド、フェードに相等する内容）、視線ＡＦ枠表示のｏｎ／ｏｆｆなど視線機能などが含まれる。これらは全て個人の好みにより設定するものである。また、１１３は上記設定項目の内容、１１１は設定する項目を選択するためのカーソルである。
【００４２】
図７は、設定動作システムの流れ図であり、以下に説明する。Ｓ８０１からＳ８１５までは、第１の実施の形態の図４におけるＳ５０１からＳ５１５と同一のため説明は省略する。
その後、カスタム設定画面１０８を表示し（Ｓ８１６）、モード設定ダイヤル１０１がＣＡＬになっているかを判断し（Ｓ８１７）、ＣＡＬになっていればカーソル移動スイッチ１０１がＯＮかどうかを判断し（Ｓ８１８）、ＣＡＬになっていなければ、表示画面の設定情報をポジションｈ相当のメモリへ格納して（Ｓ８２２）終了となる（Ｓ８２３）。上記カーソル移動スイッチ１０４がＯＮになっていれば、押されたスイッチに対応した方向にカーソル１１１を移動し（Ｓ８１９）、ＯＮになっていなければ、Ｓ８１９の先へ進む。次に、設定スイッチ１０３がＯＮになっていれば（Ｓ８２０）、設定内容を変更し（Ｓ８２１）、Ｓ８１７の前へ戻る。ＯＮになっていなければ、Ｓ８２１を飛ばしてＳ８１７の前へ戻る。
【００４３】
以上のような設定をあらかじめ行うことにより、ビデオカメラ使用時は、ファインダーを覗いたとき、上述した虹彩特徴データを検出することで撮影者の特定を行い、自動的に個人差補正データを選択するとともに、撮影者各個人に合わせてあらかじめ記憶させたカスタム機能を自動的に切り換えることができる。
【００４４】
次に第３の実施の形態について説明する。なお、個人差補正時の流れ図は図３６の従来例と同一、ビデオカメラ構成ブロック図は図３、虹彩部の図は図２と同一である。また、視線機能用個人差補正のシステムについては、基本的に第１の実施の形態と同一である。
図８は本実施の形態で使用するスイッチであり、１０１はビデオカメラのモード設定ダイヤル、１０３は設定スイッチ、１０４はカーソル移動スイッチである。図９はファインダー画面であり、図５のカスタム設定画面１０８と同様にカスタム設定における設定項目１１２、設定項目の内容１１３、設定する項目を選択するためのカーソル１１１がある。
【００４５】
図１０はシステムの流れ図であり、以下に説明する。
まずモード設定ダイヤル１０１のポジションが、カスタムになっているかどうかを判断し（Ｓ６０２）、カスタムになっていればＳ６０３へ進み、カスタムになっていなければ、Ｓ６０２の前に戻る。
次のＳ６０３からＳ６０７は虹彩の特徴を検出してメモリへ格納する動作を示しており、第１の実施の形態の図４におけるＳ５１０からＳ５１４の内容と同一である。
更に、Ｓ６０８からＳ６１５はカスタム設定を示す動作を示しており、第２の実施の形態の図７におけるＳ８１６からＳ８２３の内容と同一である。
【００４６】
以上のような設定をあらかじめ行うことにより、ビデオカメラ使用時は、ファインダーを覗いたとき、上述した虹彩特徴データを検出することで撮影者の特定を行い、自動的に個人差補正データを選択するとともに、撮影者個人に合わせてあらかじめ記憶させたカスタム機能を自動的に切り換えることができる。
【００４７】
次に第４の実施の形態について説明する。なお、個人差補正時のファインダー画面、個人差補正時の流れ図については従来例の図３５、図３６と同一、虹彩部の図については図２と同一のため説明は省略する。また、視線機能用個人差補正のシステムについては、基本的に第１の実施の形態と同一である。
図１１はビデオカメラ構成ブロック図であり、４０１はギヤ配列、ステッピングモーター等により表示素子１００２を矢印方向に移動させるための表示素子移動手段、４０４は上記ステッピングモーターを駆動するドライバ回路、４０２は表示素子１００２の移動量を検出するためのボリュームエンコーダ、４０３は上記ボリュームエンコーダ４０２の回転角から表示素子１００２の移動量を演算する位置検出部である。その他の構成は図３と同一である。また、上記表示素子移動手段４０１によって、表示素子１００２を上下方向（矢印方向）に移動させることにより、観察者の視度を補正することができる。
【００４８】
図１２は使用するスイッチであり、１０１はビデオカメラのモード設定ダイヤル、１０５は視度調整スイッチであり、上記表示素子移動手段４０１を動作させ、表示素子１００２を移動させるための２個対になっているキーである。ここで、遠視キーを押すと、表示素子１００２は、図１１において上に移動し、遠視の観察者を矯正する。近視キーを押すと、下に移動し近視の観察者を矯正する。
【００４９】
図１３は、ファインダー画面であり、３０４は視度調整画面、３０５は視度調整のメッセージであり、これにより観察者に視度調整スイッチ１０５を用いてファインダーが最もはっきり見えるように視度を調節してもらう。
【００５０】
図１４は、システムの流れ図であり、以下に説明する。
まずモード設定ダイヤル１０１のポジションが、視度になっているかどうかを判断し（Ｓ７０２）、視度になっていればＳ７０３へ進み、視度になっていなければ、Ｓ７０２の前に戻る。
次のＳ７０３からＳ７０７は虹彩の特徴を検出してメモリへ格納する動作を示しており、図４におけるＳ５１０からＳ５１４の内容と同一である。
更に、Ｓ７０８からＳ７１４はカスタム設定を示す動作を示しており、図７におけるＳ８１６からＳ８２３の内容と同一である。
【００５１】
以上のような設定をあらかじめ行うことにより、ビデオカメラ使用時は、ファインダーを覗いたとき、上述した虹彩特徴データを検出することで撮影者の特定を行い、自動的に撮影者個人に合わせてあらかじめ記憶させた視度調整を行うことができる。
【００５２】
次に第５の実施の形態について説明する。なお、ビデオカメラ構成ブロック図、ＡＦ動作時のファインダー画面については従来例の図３２、図３４と同一のため説明は省略する。
図１５は本実施の形態で使用するスイッチであり、１１４はビデオカメラのモード設定ダイヤルであり、カメラモード、ＶＴＲモード、電源ＯＦＦを設定するものである。１１５は撮影者設定用スライドスイッチであり、１、２、３で示す位置で３人のデータを設定するものである。１１６はＡＦ枠移動スイッチであり、４個のキーにより画面上のオートフォーカスを行うポイントを手動により移動するためのものである。ここで、４個のキーを押している間、それぞれ上下左右に図３４のＡＦ枠１２０１が移動する。
【００５３】
図１６は、個人差補正システムの流れ図であり、以下に説明する。
まず、撮影者設定スライドスイッチ１１５のポジションを検出し、アドレスメモリｈへ書き込む（Ｓ９０２）。次に枠移動スイッチ１１６がＯＮになっているかどうかを判断し（Ｓ９０３）、ＯＮでなければＳ９０３の前へ戻り、ＯＮになっていれば次へ進む。更に枠移動スイッチ１１５がＯＦＦになっているかどうかを判断し（Ｓ９０４）、ＯＦＦでなければＳ９０４の前へ戻り、ＯＦＦになっていれば次へ進む。この後、従来例で説明した（７）、（８）式により注視点座標（Ｘｎ１，Ｙｎ１）を検出すると共に、現状のＡＦ枠中心座標（Ｘｐ１，Ｘｐ１）を求めておく（Ｓ９０５）。Ｓ９０６からＳ９０８は、Ｓ９０３からＳ９０５の動作と同一であり、同様にして第２の注視点座標（Ｘｎ２，Ｙｎ２）を検出すると共に、第２のＡＦ枠中心座標（Ｘｐ２，Ｘｐ２）を求める（Ｓ９０８）。
【００５４】
次に、｜Ｘｎ１−Ｘｎ２｜＞Ｘｍ、｜Ｙｎ１−Ｙｎ２｜＞Ｙｍの両方が成立するかどうかを判断する（Ｓ９０９）。ここでＸｍ、Ｙｍは所定の数値であり、上記検出した２個の注視点座標（Ｘｎ１，Ｙｎ１）、（Ｘｎ２，Ｙｎ２）のＸ方向及びＹ方向距離のスレッシュに相当する。すなわち、上記２点のＸ方向及びＹ方向距離が所定距離以上かどうかを判断するものである。以上の判断により、距離が所定距離を超える時は次へ進み、距離が所定距離以下のときは、Ｓ９０８の前へ戻り、新しい第２の注視点座標（Ｘｎ２，Ｙｎ２）、第２のＡＦ枠中心座標（Ｘｐ２，Ｘｐ２）を求める（Ｓ９０８）。最後に（Ｘｎ１，Ｙｎ１）、（Ｘｎ２，Ｙｎ２）、（Ｘｐ１，Ｙｐ１）、（Ｘｐ２，Ｙｐ２）からＡｘ、Ｂｘ、Ａｙ、Ｂｙを、従来例と同様に連立方程式で求めポジションｈ相当のメモリへ格納する（Ｓ９１１）。
【００５５】
以上の構成及び動作により、視線が向きやすいＡＦ枠１２０１が止まった瞬間に視線検出を行い、距離の離れた２点の注視点を求めることで、個人差補正係数を特定することができる。
【００５６】
次に第６の実施の形態について説明する。なお、ビデオカメラ構成ブロック図については従来例の図と同一のため、説明は省略する。
図１７は本実施の形態で使用するスイッチである。１１５は撮影者設定スライドスイッチであり、３人のデータを設定するものである。１１７はビデオカメラのモード設定ダイヤルであり、カメラモード、ＶＴＲモード、電源ＯＦＦ、カスタムモードを設定するものである。１１８はカーソル移動スイッチであり、設定画面上で設定する項目を選択すべく、カーソルを上下左右に移動するための、４個対になっているキーである。１１９は設定スイッチであり、上記各項目の動作を設定するものである。
【００５７】
図１８は、ファインダー画面であり、２０５はカスタム設定画面である。２０７はカスタム設定における設定項目であり、リモコンを受け付けるかどうかの選択、マイクの風きりカット機能のｏｎ／ｏｆｆ、記録中表示（タリー）のｏｎ／ｏｆｆ等のカメラ／レコーダ機能設定や、従来例で説明した視線スイッチ機能の内容変更（従来例のテレ、ワイド、フェードに相等する内容）、視線ＡＦ枠表示のｏｎ／ｏｆｆなど視線機能などが含まれる。これらは、全て個人の好みにより設定するものである。また、２０８は前記設定項目の内容、２０６は、設定する項目を選択するためのカーソルであり、上記カーソル移動スイッチ１１８により、前後左右に移動する。
【００５８】
図１９は、カスタム設定機能の流れ図であり、以下に説明する。
まずモード設定ダイヤル１１７のポジションが、カスタムになっているかどうかを判断し（Ｓ４０２）、カスタムになっていれば撮影者設定スライドスイッチ１１５のポジションを検出し、メモリーｈに書き込み、カスタムになっていなければＳ４０２の前に戻る。ここで、メモリーｈとは、従来例で説明した撮影者固有の個人差補正データを格納した時と同一エリアである。次にカスタム設定画面２０５を表示し（Ｓ４０３）、モード設定ダイヤル１１７がカスタムになっているかを判断し（Ｓ４０４）、カスタムになっていればカーソル移動スイッチ１１８がＯＮかどうかを判断し（Ｓ４０４）、カスタムになっていなければ、表示画面の設定情報をポジションｈ相当のメモリへ格納して終了となる（Ｓ４０９）。上記カーソル移動スイッチ２０３がＯＮになっていれば、押されたスイッチに対応した方向にカーソル２０６を移動し（Ｓ４０６）、ＯＮになっていなければ、Ｓ４０７へ進む。次に、設定スイッチ２０２がＯＮになっていれば、設定内容を変更し（Ｓ４０８）、Ｓ４０４の前へ戻る。ＯＮになっていなければ、Ｓ４０８を飛ばしてＳ４０４の前へ戻る。
以上により、カスタム機能を設定することができる。
【００５９】
図２０は個人差補正機能の流れ図である。
Ｓ３０１〜Ｓ３１１による基本的な動作は全て図１６の第１の実施の形態と同一であり、異なる箇所は、枠移動スイッチがカーソル移動スイッチに、ＡＦ枠中心座標がカーソル座標になった点である。
【００６０】
以上の構成及び動作により、視線が向きやすいカーソルが止まった瞬間に視線検出を行い、距離の離れた２点の注視点を求めることで、個人差補正係数を特定することができる。
【００６１】
次に第７の実施の形態について説明する。なお、ビデオカメラ構成ブロック図（図３２）、個人差補正のファインダー画面（図３５）、個人差補正時の流れ図（図３６）、ＡＦ動作時のファインダー画面（図３４）については従来例と同一のため説明は省略する。
【００６２】
図２１は本実施の形態で使用するスイッチであり、１０１はビデオカメラのモード設定ダイヤル、１１５は撮影者設定用スライドスイッチ、１１６はＡＦ枠移動スイッチ、１１９は注視スイッチである。
【００６３】
図２２は個人差補正システムの流れ図であり、以下に説明する。
まず、従来例で示した２点注視方式の個人差補正を実行する（Ｓ２０２）。これは従来の個人差補正の流れ図（図３６）に沿って行われる。次に、Ｓ２０３からＳ２１２は、第１の実施の形態（図１６）のＳ９０２からＳ９１１と同一のため説明は省略する。なお、ここではＳ２１２の後はＳ２０３の前へ戻る。
【００６４】
以上の構成及び動作により、２点注視方式の個人差補正を行った後、ＡＦ枠の動きを利用した個人差補正を連続して繰り返し、補正係数を更新することができる。尚、ＡＦ枠の他にＡＥ枠を用いてもよい。
【００６５】
第８の実施の形態について説明する。なお、ビデオカメラ構成ブロック図（図３２）については従来例と同一のため説明は省略する。
図２３は本実施の形態で使用するスイッチであり、ビデオカメラのモード設定ダイヤル１１４、撮影者設定用スライドスイッチ１１５が設けられている。
【００６６】
図２４は個人差補正方式の概念図であり、２０３はファインダー画面の外形座標である。また、２０２は最外形の視線座標生データ群であり、従来例の（７）、（８）式により、一定時間内に求められた視線座標生データ群の内、最も外側のデータ群である。２０４は視線による画面近似外形座標であり、上記最外形の視線座標生データ群２０２を用いて最小自乗法等で求めた近似四角形である。
【００６７】
図２５は個人差補正システムの流れ図であり、以下に説明する。
まず、撮影者設定スライドスイッチ１１５のポジションを検出し、アドレスメモリｈへ書き込む（Ｓ１０２）。次に０を変数Ｎに書き込み（Ｓ１０３）、注視点座標を検出して配列Ａ（Ｎ）へ書き込み（Ｓ１０４）、Ｎと所定値Ｎｍａｘを比較する（Ｓ１０５）。ここでＮがＮｍａｘより小さければＳ１０４の前へ戻り、ＮがＮｍａｘより大きければ、データ群Ａ（Ｎ）の内、最外形に相当するデータ２０２のみ注出し、配列ＡＧ（Ｎ）へ書き込む（Ｓ１０６）。更にＡＧ（Ｎ）より最小自乗法により近似四角形２０４を求め（Ｓ１０７）、この近似四角形の２つの角の座標Ｓ２、Ｔ２を割り出す。最後にファインダー画面の外形座標２０３の左上、右下座標Ｓ１、Ｔ１と上記Ｓ２、Ｔ２から、従来例と同様にして連立方程式により、個人差補正係数Ａｘ、Ｂｘ、Ａｙ、Ｂｙをもとめ（Ｓ１０９）、これら４つの定数をアドレスｈ相当のメモリへ格納する（Ｓ１１０）。
【００６８】
以上の構成及び動作により、一定時間ビデオカメラを使用するだけで個人差補正動作が行われる。なお、本個人差補正動作が完了するまでは、視線動作を禁止してもデフォルテ個人差補正係数で代用してもよい。
【００６９】
次に第９の実施の形態について説明する。なお、操作スイッチ図（図２３）は第８の実施の形態と同一、ビデオカメラ構成ブロック図（図３２）は従来例と同一のため説明は省略する。
図２６は個人差補正方式の概念図であり、２０３はファインダー画面の外形座標である。２０２は最外形の視線座標生データ群であり、従来例の（７）、（８）式により、一定時間内に求められた視線座標生データ群の内、最も外側のデータ群である。２０４は視線による画面近似外形座標であり、上記最外形の視線座標生データ群２０２を用いて最小自乗法等で求めた近似四角形である。２０１はデータ削除エリアで、視線を向ける確率の極めて低い４隅近傍であり、信頼性が低いこのエリアの視線座標データは、後述する最小自乗法を行う際、削除するものである。
【００７０】
図２７は個人差補正システムの流れ図であり、以下に説明する。
Ｓ１１からＳ１６は第８の実施の形態（図２５）と同一であり説明は省略する。次にＡＧ（Ｎ）のデータから４隅のデータ削除エリア２０１内のデータを削除し、新たに配列ＡＧＳ（Ｎ）へ格納し（Ｓ１７）、ＡＧＳ（Ｎ）より、最小自乗法にて近似四角形２０４を求める（Ｓ１８）。Ｓ１９からＳ２２は第８の実施の形態（図２５）と同一であり説明は省略する。
【００７１】
以上の構成及び動作により、一定時間ビデオカメラを使用するだけで個人差補正動作が行われる。なお、本実施の形態によれば、信頼性の低い４隅のデータを削除するため、より精度の高い個人差補正が実現できる。また、本個人差補正動作が完了するまでは、視線動作を禁止してもデフォルテ個人差補正係数で代用してもよい。
【００７２】
次に第１０の実施の形態について説明する。なお、ビデオカメラ構成ブロック図（図３２）、個人差補正時のファインダー画面（図３５）、個人差補正時の流れ図（図３６）、操作スイッチ図（図３７）については従来例と同一、個人差補正概念図（図２４）については第１の実施の形態と同一のため説明は省略する。
【００７３】
図２８は個人差補正システムの流れ図である。
まず、従来例で示した２点注視方式の個人差補正を実行する（Ｓ３２）。これは、従来の個人差補正の流れ図（図３６）に沿って行われる。次に、６０３から６０８は、第９の実施の形態（図２５）のＳ１０２からＳ１０７と同一のため説明は省略する。
更に図２４における近似外形座標２０４と各々の最外形視線座標生データ２０２と差δを、データ数分求め、その平均値（誤差平均）を演算する（Ｓ３９）。そして前記誤差平均と所定値Ｗとを比較する。図２８のＳ４１からＳ４３までは、第８の実施の形態（図２５）のＳ１０８からＳ１１０と同一のため説明は省略する。
Ｓ４３の後はＳ３３の前へ戻り、これらの動作はビデオカメラを使用している間、繰り返される。
【００７４】
以上の構成及び動作により、従来例のような注視方式個人差補正の後も、ビデオカメラを使用している間は常に個人差補正動作が行われ、補正データが更新される。しかも更新されるデータは誤差平均の小さい、信頼性の高いもののみとなる。
【００７５】
次に第１１の実施の形態について説明する。ビデオカメラ構成ブロック図（図３２）、個人差補正時のファインダー画面（図３５）、個人差補正時の流れ図（図３６）、操作スイッチ図（図３７）については従来例と同一、個人差補正概念図（図２６）については第９の実施の形態と同一のため説明は省略する。
【００７６】
図２９は本実施の形態による個人差補正システムの流れ図である。
まず、従来例で示した２点注視方式の個人差補正を実行する（Ｓ５２）。これは、従来の個人差補正の流れ図（図３６）に沿って行われる。次に、Ｓ５９は、第９の実施の形態（図２７）のＳ１２からＳ１８と同一のため説明は省略する。
更に図２６における、近似外形座標２０４と各々の最外形視線座標生データ２０２と差δをデータ数分求め、その平均値（誤差平均）を演算する（Ｓ６０）。そして上記誤差平均と所定値Ｗとを比較し、誤差平均がＷより小さければＳ６２へ進み、大きければＳ５３の前へ戻る。
Ｓ６２からＳ６４までは、第９の実施の形態（図２７）のＳ１９からＳ２１と同一のため説明は省略する。
Ｓ６４の後はＳ５３の前へ戻り、これらの動作はビデオカメラを使用している間、繰り返される。
【００７７】
以上の構成及び動作により、従来例のような注視方式個人差補正の後も、ビデオカメラを使用している間は常に個人差補正動作が行われ、補正データが更新される。しかも更新されるデータは、誤差平均の小さい、信頼性の高いもののみとなる。
【００７８】
【発明の効果】
以上説明したように、視線検出手段を用いる際、使用者が視線データの補正データを得るための操作をしないでも、表示画面を見ながら撮影の準備等をしている間に自動的に補正データを作成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるスイッチを示す構成図である。
【図２】本発明の第１〜第４の実施の形態で用いられる眼の虹彩部を示す構成図である。
【図３】第１〜第３の実施の形態によるビデオカメラの構成図である。
【図４】第１の実施の形態による動作を示すフローチャートである。
【図５】第２の実施の形態によるスイッチの構成図である。
【図６】第２の実施の形態によるファインダ画面の表示例を示す構成図である。
【図７】第２の実施の形態による動作を示すフローチャートである。
【図８】第３の実施の形態によるスイッチの構成図である。
【図９】第３の実施の形態によるファインダ画面の表示例を示す構成図である。
【図１０】第３の実施の形態による動作を示すフローチャートである。
【図１１】第４の実施の形態によるビデオカメラの構成図である。
【図１２】第４の実施の形態によるスイッチの構成図である。
【図１３】第４の実施の形態によるファインダ画面の表示例を示す構成図である。
【図１４】第４の実施の形態による動作を示すフローチャートである。
【図１５】第５の実施の形態によるスイッチの構成図である。
【図１６】第５の実施の形態による動作を示すフローチャートである。
【図１７】第６の実施の形態によるスイッチの構成図である。
【図１８】第６の実施の形態によるファインダ画面の表示例を示す構成図である。
【図１９】第６の実施の形態による動作を示すフローチャートである。
【図２０】第６の実施の形態による動作を示すフローチャートである。
【図２１】第７の実施の形態によるスイッチの構成図である。
【図２２】第７の実施の形態による動作を示すフローチャートである。
【図２３】第８、第９の実施の形態によるスイッチの構成図である。
【図２４】第８の実施の形態による補正データ作成を説明するための構成図である。
【図２５】第８の実施の形態による動作を示すフローチャートである。
【図２６】第９の実施の形態による補正データ作成を説明するための構成図である。
【図２７】第９の実施の形態の動作を示すフローチャートである。
【図２８】第１０の実施の形態による動作を示すフローチャートである。
【図２９】第１１の実施の形態による動作を示すフローチャートである。
【図３０】視線検出の原理を示す構成図である。
【図３１】視線検出の原理を示す構成図及び特性図である。
【図３２】第５〜第１１の実施の形態及び従来例によるビデオカメラの構成図である。
【図３３】ビューファインダ画面の表示例を示す構成図である。
【図３４】ビューファインダ画面上のＡＦ枠を示す構成図である。
【図３５】第４、第７、第１０、第１１の実施の形態及び従来例による指標の表示例を示す構成図である。
【図３６】第３、第４、第７、第１０、第１１の実施の形態及び従来例による動作を示すフローチャートである。
【図３７】従来のビデオカメラのスイッチの構成図である。
【符号の説明】
１０１、１１４、１１７、１５０３ モード設定ダイヤル
１０２、１５０２ 注視スイッチ
１０３、１１９ 設定スイッチ
１０４ カーソル移動スイッチ
１０５ 視度調整スイッチ
１１５、１５０１ 撮影者設定用スライドスイッチ
１１６ ＡＦ枠移動スイッチ
１１８ カーソル移動スイッチ
２０１ データ削除エリア
２０２ 最外形視線座標生データ群
２０３ ファインダ画面外形座標
２０４ 画面近似外形座標
２０５ カスタム設定画面
２０６ カーソル
４００ 虹彩特徴検出回路
４０１ 表示素子特徴手段
４０２ ボリュームエンコーダ
４０３ 位置検出部
１００２ 表示素子
１００４ 操作スイッチ検出部
１００５ 観察者の眼
１００６ 視線検出部
１００７ 表示回路
１００８ システムコントロール部
１００９ メモリ
１０６０ 赤外発光ダイオード
１０６１ ダイクロイックミラー
１０６３ イメージセンサー
１０６４ 注視点検出回路
１２０１ 視線ＡＦ枠
１３０１ １３０２ 注視指標
１３０３、１３０４ 補正指標画面
Claims (5)
- 表示手段の表示画面上における使用者の視線を検出しその検出座標を示す視線データを得る視線検出手段と、
複数の視線データから成る視線データ群の分布状態と上記表示画面の外形形状との比較に基づいて上記使用者の眼の個人差による視線データの誤差を補正する補正データを作成する補正データ作成手段とを設けたことを特徴とする撮像装置。 - 上記補正データを用いて上記視線データを補正する補正手段を設けたことを特徴とする請求項１記載の撮像装置。
- 上記補正された視線データを用いて各種機能を制御する制御手段を設けたことを特徴とする請求項２記載の撮像装置。
- 上記補正データ作成手段は、上記視線データ群の最も外側のデータ群に基づいて補正データを作成することを特徴とする請求項１記載の撮像装置。
- 上記補正データ作成手段は、常に新らしく得られる視線データ群を用いて補正データを作成することを特徴とする請求項１記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13833796A JP3639671B2 (ja) | 1996-05-31 | 1996-05-31 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13833796A JP3639671B2 (ja) | 1996-05-31 | 1996-05-31 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09313441A JPH09313441A (ja) | 1997-12-09 |
| JP3639671B2 true JP3639671B2 (ja) | 2005-04-20 |
Family
ID=15219560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13833796A Expired - Fee Related JP3639671B2 (ja) | 1996-05-31 | 1996-05-31 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3639671B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4845696B2 (ja) * | 2006-12-04 | 2011-12-28 | キヤノン株式会社 | 焦点調節装置、撮像装置、及びその制御方法 |
-
1996
- 1996-05-31 JP JP13833796A patent/JP3639671B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09313441A (ja) | 1997-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100228613B1 (ko) | 시선검출장치를 구비한 촬상장치 및 조정장치 | |
| CN102457664B (zh) | 摄像设备 | |
| US20060044399A1 (en) | Control system for an image capture device | |
| JPH05232373A (ja) | カメラの視線方向検出装置 | |
| JP7358530B2 (ja) | 被写体認識装置及び被写体認識装置の制御方法 | |
| US6191819B1 (en) | Picture-taking apparatus having viewpoint detecting means | |
| US20050099684A1 (en) | Telescope main body and spotting scope | |
| KR100224538B1 (ko) | 시선검출장치(viewpoint detecting device) | |
| US11803101B2 (en) | Method for setting the focus of a film camera | |
| JP3639671B2 (ja) | 撮像装置 | |
| JP7293039B2 (ja) | 撮像装置およびその制御方法 | |
| US5745174A (en) | Viewpoint detection apparatus with selected correction coefficent generation | |
| JP2872292B2 (ja) | 視線検出手段を有する機器 | |
| CN114342352A (zh) | 电子设备、电子设备控制方法、程序和存储介质 | |
| JPH08280628A (ja) | 視線検出機能を備えた電子機器 | |
| JP2870852B2 (ja) | 光学機器 | |
| JP2002301030A (ja) | 視線検出機能付き機器 | |
| JP2023003735A (ja) | 視線検出装置、撮像装置、視線検出方法、プログラム、および、記憶媒体 | |
| JPH1020183A (ja) | 視線検出機能を有する撮像装置及び電子機器 | |
| JPH07336585A (ja) | 観察装置及び該観察装置を有する撮影装置 | |
| JPH07283975A (ja) | 視線検出装置を備えたビデオカメラ | |
| JPH07283974A (ja) | 視線検出装置を備えたビデオカメラ | |
| JP2022029849A (ja) | 撮像装置 | |
| CN114947732A (zh) | 检测装置和用于控制检测装置的控制方法 | |
| CN114650350A (zh) | 注视检测设备、注视检测方法和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050117 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |