JPH08280628A - 視線検出機能を備えた電子機器 - Google Patents

Abstract

(57)【要約】 【目的】 視線スイッチ等により所定の機能を実行中
に、注視点と指標の中心座標から注視点検出誤差を検出
して補正可能とした視線検出機能を備えた電子機器を提
供することにある。 【構成】 画面内における操作者の注視点を検出する注
視点検出手段と、注視点検出手段によって指標を注視し
ていることが検出されたとき指標に対応する所定の機能
を実行する機能実行手段と、機能実行手段によって機能
が実行されているときに注視点検出手段によって検出さ
れた注視点位置情報と、指標の中心部位置とのずれ量を
検出して補正値を演算し、その補正値に基づいて前記注
視点検出手段の出力を補正する補正手段とを備えたビデ
オカメラ。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視線検出機能を備えた
ビデオカメラ等の映像機器に関するものである。

【０００２】

【従来の技術】近年、ビデオカメラ等の映像機器の多機
能化の一環として、画面上に表示されたマーク、指標等
を注視することにより、その指標に対応づけられた機能
を実行する所謂視線検出機能が取り入れられている。

【０００３】この視線検出機能によれば、操作者がファ
インダ−画面内の指標を見るだけでよいので、撮影動作
を中断したり、カメラから手を移動させる必要がないの
で、手ぶれ当の防止にもなる等、多くの効果を有してい
る。

【０００４】この種の技術に関して、例を上げると、例
えば本出願人による特願平４−２０２号公報により、ビ
デオカメラのファインダ−画面内にズーム、フェード等
に機能に対応づけられた指標を表示し、その指標を注視
することによって、その指標に対応づけられたズーム、
フェード等の機能を選択し、実行させるようにしたビデ
オカメラを提案している。

【０００５】

【発明の解決しようとする問題点】しかしながら、視線
を検出する際、眼球の光軸と視軸のずれ量や、眼球の大
きさは個人差があるので、撮影者が注視したファインダ
−上の指標の座標と、視線検出手段によって実際に検出
された注視点座標との間には、検出誤差によるずれが生
じ、指標を見ていないのに見ているように判断したり、
指標を見ているのに見ていないと判断してしまうという
問題点を有している。

【０００６】そこで視線検出機能を備えた装置では、装
置の視線検出機能実行前に、画面に特別なマークを表示
し、そのマークを注視したときの撮影者の注視点位置を
検出して上記のずれを検出し、これを補正する所謂キャ
リブレーション動作を行うようにした装置が提案されて
いるが、１回のキャリブレーション動作では、そのとき
の動作条件によって誤差を生じるため、必ずしも高精度
の補正動作を行うことができない上に、装置を動作状態
にした後は、キャリブレーション動作を行うことはでき
ず、視線検出動作に誤動作を生じてもこれを補償するこ
とができず、信頼性、操作性、視線の検出精度の点でい
まだ問題点を有しているものであった。

【０００７】そこで、本発明の課題は、通常の視線検出
機能で用いる指標を注視することによって、視線検出誤
差すなわち注視している座標と、実際に検出された注視
点座標との間のずれ量を補正し得るようにした視線検出
機能を備えた電子機器を提供することにある。

【０００８】またキャリブレーション動作時でなく、通
常の視線検出機能を実行しているときに前記ずれ量を検
出し、これを補正可能とした視線検出機能を備えた電子
機器を提供することにある。

【０００９】

【課題を解決するための手段】上述の課題を解決するた
めに、本願における請求項１に記載の発明によれば、画
面内に指標を表示する表示手段と、前記画面内における
操作者の注視点を検出する注視点検出手段と、前記注視
点検出手段によって前記指標を注視していることが検出
されたとき前記指標に対応する所定の機能を実行する機
能実行手段と、前記注視点検出手段によって検出された
前記注視点位置情報と、前記指標の中心部位置とのずれ
量を検出して補正値を演算し、該補正値に基づいて前記
注視点検出手段の出力を補正する補正手段とを備えた構
成とする。

【００１０】また本願における請求項２に記載の発明に
よれば、請求項１において、前記補正手段を、前記機能
実行手段によって前記機能が実行されるているときに前
記注視点検出手段によって検出された注視点位置情報に
基づいて前記補正値を演算するように構成する。

【００１１】また本願における請求項３に記載の発明に
よれば、請求項１において、前記補正手段を、前記指標
の近傍で検出された注視点の偏差が予め設定した値より
小さいときに前記補正値を演算し、前記補正を行うよう
に構成する。

【００１２】また本願における請求項４に記載の発明に
よれば、前記注視点検出手段によって前記注視点が所定
回数連続して前記指標上にあることが検出されたとき、
前記補正手段によって前記補正値が演算されるように構
成する。

【００１３】また本願における請求項５に記載の発明に
よれば、前記機能実行手段を、前記注視点検出手段によ
って前記注視点が所定回数前記指標上にあることが検出
されたとき、前記機能を実行するように構成する。

【００１４】また本願における請求項６に記載の発明に
よれば、画面内に指標を表示する表示手段と、前記画面
内における操作者の注視点を検出する注視点検出手段
と、前記注視点検出手段によって前記指標を注視してい
ることが検出されたとき前記指標に対応する所定の機能
を実行する機能実行手段と、前記注視点検出手段によっ
て前記指標を注視していることが検出されたときの前記
注視点情報と、前記指標の中心部位置とのずれ量を検出
して逐次記憶する記憶手段と、前記記憶手段に記憶され
た前記複数のずれ量から補正値を演算し、該補正値に基
づいて前記注視点検出手段の出力を補正する補正手段と
を備えた構成とする。

【００１５】また本願における請求項７に記載の発明に
よれば、請求項６において、前記補正手段を、前記機能
実行手段によって前記機能が実行されているときに前前
注視点検出手段によって検出された注視点位置情報に基
づいて前記補正値を演算するように構成する。

【００１６】また本願における請求項８に記載の発明に
よれば、請求項６において、前記補正手段を、前記指標
の近傍で検出された注視点の偏差が予め設定した値より
小さいときに前記補正値を演算し、前記補正を行うよう
に構成する。

【００１７】また本願における請求項９に記載の発明に
よれば、画面内に複数の指標を表示する表示手段と、前
記画面内における操作者の注視点を検出する注視点検出
手段と、前記注視点検出手段によって前記指標を注視し
ていることが検出されたとき前記指標に対応する所定の
機能を実行する機能実行手段と、前記注視点検出手段に
よって前記指標を注視していることが検出されたときの
前記注視点位置情報と、前記指標の中心部位置とのずれ
量を逐次検出して記憶する記憶手段と、前記記憶手段に
記憶された少なくとも２つの指標に対するずれ量から前
記２つの指標の前記画面内における間隔と、操作者が前
記２つの指標を注視したときの画面内の注視点座標の間
隔とのずれ量を演算して補正値を求め、該補正値に基づ
いて前記注視点検出手段によって検出された注視点情報
を補正する補正手段とを備えた構成とする。

【００１８】本願における請求項１０に記載の発明によ
れば、請求項９において、前記補正手段を、前記機能実
行手段によって前記機能が実行されているときに前記注
視点検出手段によって検出された注視点位置情報に基づ
いて前記補正値を演算するように構成する。

【００１９】本願における請求項１１に記載の発明によ
れば、請求項９において、前記補正手段を、前記指標の
近傍で検出された注視点の偏差を予め設定した値より小
さいときに前記補正値を演算し、前記補正を行うように
構成する。

【００２０】

【作用】本願における請求項１に記載の発明によれば、
画面内に表示された指標を注視しているときの、図面上
の注視点座標と、指標の中心座標とのずれ量が補正値と
して検出され、この補正値によって注視点検出手段によ
って検出される注視点座標が補正される。

【００２１】また本願における請求項２に記載の発明に
よれば、請求項１における注視点検出手段によって検出
される注視点座標の補正動作が、機能実行手段によって
指標に対応づけられた機能が実行されているときに並行
して行われる。

【００２２】また本願における請求項３に記載の発明に
よれば、請求項１における補正手段の補正動作が、指標
の近傍で検出された注視点の偏差が予め設定した値より
小さいときにのみ行われ、精度の向上が図られる。

【００２３】また本願における請求項４に記載の発明に
よれば、注視点が所定回数連続して指標上にあることが
検出されたとき、補正手段によって補正値が演算される
ことにより、視線のばらつきや誤差の影響を除去するこ
とができる。

【００２４】また本願における請求項５に記載の発明に
よれば、前記機能実行手段を、前記注視点検出手段によ
って前記注視点が所定回数前記指標上にあることが検出
されたとき、前記機能を実行するように構成する。

【００２５】また本願における請求項６に記載の発明に
よれば、画面内に表示された指標を注視しているとき
の、画面上の注視点座標と、指標の中心座標とのずれ量
が検出されて逐次記憶され、記憶された複数のずれ量か
ら補正値が演算され、注視点検出手段の出力が補正され
る。

【００２６】また本願における請求項７に記載の発明に
よれば、請求項６における注視点検出手段によって検出
される注視点座標の補正動作が、機能実行手段によって
指標に対応づけられた機能が実行されているときに並行
して行われる。

【００２７】また本願における請求項８に記載の発明に
よれば、請求項６における補正手段の補正動作が、指標
の近傍で検出された注視点の偏差が予め設定した値より
小さいときにのみ行われ、精度の向上が図られる。

【００２８】また本願における請求項９に記載の発明に
よれば、記憶手段に逐次記憶された２つの指標に対する
ずれ量からその２つの指標の図面内における間隔と、操
作者が２つの指標を注視したときの画面上の注視点座標
の間隔とのずれ量が補正値として演算され、注視点検出
手段の注視点情報が補正される。

【００２９】また本願における請求項１０に記載の発明
によれば、請求項９における注視点検出手段によって検
出される注視点座標の補正動作が、機能実行手段によっ
て指標に対応づけられた機能が実行されているときに並
行して行われる。

【００３０】また本願における請求項１１に記載の発明
によれば、請求項９における補正手段の補正動作が、指
標の近傍で検出された注視点の偏差が予め設定した値よ
り小さいときにのみ行われ、精度の向上が図られる。

【００３１】

【実施例】以下、本発明における視線検出機能を備えた
電子機器をビデオカメラに適用した場合を例にし、各図
を参照しながら詳細に説明する。

【００３２】まず、視線検出方法の原理について説明す
る。

【００３３】図９（ｂ）は視線検出方法の原理図（上面
図）、図９（ｃ）は視線検出方法の原理図（側面図）で
ある。

【００３４】図において９０６ａ、９０６ｂは観察者に
対して不感の赤外光を放射する発光ダイオード（ＩＲＥ
Ｄ）等の光源であり、各光源は結像レンズ９１１の光軸
に対してｘ方向（水平方向）に略対象に（図９
（ｂ））、またｙ方向（垂直方向）にはやや下側に（図
９（ｃ））配置され、観察者の眼球を発散照明してい
る。

【００３５】眼球で反射した照明光の一部は結像レンズ
９１１によってイメージセンサー９１２に結像する。
図９（ａ）はイメージセンサー９１２に投影される眼球
像の慨略図と、そのイメージセンサ−９１２の出力強度
図とをそれぞれ上下に対応させて示したものである。

【００３６】以下各図を用いて視線の検出方法を説明す
る。

【００３７】まず水平面で考えると、図９（ｂ）におい
て光源９０６ｂより放射された赤外光は観察者の眼球９
０８の角膜９１０を照明する。このとき角膜９１０の表
面で反射した赤外光により形成される角膜反射像ｄ（虚
像）は結像レンズ９１１により集光され、イメージセン
サー９１２上の位置ｄ′に結像する。

【００３８】同様に光源９０６ａより放出された赤外光
は眼球の角膜９１０を照明する。このとき角膜９１０の
表面で反射した赤外光により形成された角膜反射像ｅ
（虚像）は結像レンズ９１１により集光され、イメージ
センサー９１２上の位置ｅ′に結像する。また虹彩９０
４の端部ａ、ｂから光束は結像レンズ９１１を介してイ
メージセンサー９１２上の位置ａ′、ｂ′に該端部ａ、
ｂの像を結像する。結像レンズ９１１の光軸に対する眼
球９０８の光軸の回転角がθ小さい場合、虹彩９０４の
端部ａ、ｂのｘ座標をｘａ、ｘｂとすると、ｘａ、ｘｂ
はイメージセンサー上で多数点求めることが出来る（図
９ａ＿ａ中の×印）。そこでまず円の最小自乗法にて瞳
孔中心ｘｃを算出する。一方角膜９１０の曲率中心ｏの
ｘ座標をｘｏとすると、眼球９０８の光軸に対する回転
角θｘは、

【００３９】

【外１】 となる。また、角膜反射像ｄとｅの中点ｋに所定の補正
値δｘを考慮してｘｏを求めると、 ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ…（２） ここでδｘは装置の設置方法／眼球距離等から幾何学的
に求められる数値であり、その算出方法は省略する。よ
って、（１）を（２）へ代入しθｘを求めると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋δｘ｝］／ｏｃ］…（ ３） さらにイメージセンサ−上に投影された各々の特徴点の
座標を、′（ダッシュ）をつけて（４）式に書き換える
と、θｘ＝ａｒｃｓｉｎ［［ｘｃ′−｛（ｘｄ′＋ｘ
ｅ′）／２＋δｘ′｝］／ｏｃ／β］…（４）となる。
ここでβは結像レンズ９１１に対する眼球の距離ｓｚｅ
により決まる倍率で、実際は角膜反射像の間隔｜ｘｄ′
−ｘｅ′｜の関数として求められる。

【００４０】垂直面で考えると、図９ｃの様な構成とな
る。ここで２個のＩＲＥＤ９０６ａ、９０６ｂにより生
じる角膜反射像は同位置に発生し、これをｉとする。眼
球の回転角θｙの算出方法は水平面の時とほぼ同一であ
るが（２）式のみ異なり、角膜曲率中心ｏのｙ座標ｙｏ
とすると、 ｙｏ＝ｙｉ＋δｙ…（５） ここでδｙは装置の配置方法、眼球距離等から幾何学に
求められる数値であり、その算出方法は省略する。よっ
て垂直方法の回転角θｙは、 θｙ＝ａｒｃｓｉｎ［［ｙｃ′−（ｙｉ′＋δｙ′）］／ｏｃ／β］…（６） となる。

【００４１】さらに、ビデオカメラのファインダー画面
上の位置座標（ｘｙ、ｙｎ）はファインダー光学系で決
まる定数ｍを用いると、水平面上、垂直面上ぞれぞれ、

【００４２】

【外２】 となる。

【００４３】図９ａで明らかなように、瞳孔エッジの検
出はイメージセンサー出力波形の立上がり、（ｘ
ｂ′）、立ち下がり、（ｘａ′）を利用する。また、角
膜反射像の座標は鋭い立ち上がり部（ｘｅ′）及び（ｘ
ｄ′）を利用する。

【００４４】次に視線スイッチの具体例を説明する。

【００４５】図５は、本発明における視線検出機能を備
えた電子機器をビデオカメラに適用した場合を示すブロ
ック図である。

【００４６】同図において、ズームレンズ５０１を介し
て入射された被写体像は、撮像素子５０２にて光電変換
され、撮像信号として出力する。

【００４７】撮像素子５０２より出力された撮像信号
は、カメラ信号処理回路５０３において、所定の信号処
理を施されて規格化された映像信号に変換され、電子ビ
ューファインダ（ＥＶＦ）５０４へと供給され、その表
面画図５０４ａに表示されるとともに記録信号回路５０
５で例えば磁気テープ等の記録媒体に記録するのに適し
た信号形態に変換され、ビデオテープレコーダ（ＶＴ
Ｒ）５０６へと供給され、磁気テープ上に記録される。

【００４８】またズームレンズ５０１には、システムコ
ントロール回路５０７よりズーム制御情報が供給され、
これによってテレ側、ワイド側へと操作に応じたズーム
動作が行われる。

【００４９】また記録処理回路５０５及びＶＴＲ５０６
には、システムコントロール回路５０７より記録、再
生、高速送り、停止、ポーズ、特殊再生等の各種動作モ
ードを制御するためのＶＴＲ制御情報が供給され、これ
によって記録信号処理回路５０５、ＶＴＲ５０６が、所
望の動作モードへと切換制御される。

【００５０】またカメラ信号処理回路５０３には、シス
テムコントロール回路５０７よりフェード情報が供給さ
れており、これによって映像信号レベルを０から徐々に
上昇させるフェードイン、映像信号レベルを徐々に低下
させて０にするフェードアウト等の制御が行われる。

【００５１】一方、ＥＶＦ５０４の表示画面５０４ａ
と、撮影者の眼球５０５の間には、接眼レンズ５０４が
配されるとともに、撮影者のファインダ表示画面内にお
ける視線Ｅを検出するための視線検出ブロックが配され
ている。

【００５２】またＥＶＦ５０４の表示画面には、本発明
の表示手段としての表示回路５０８により、カメラ信号
処理回路５０３の映像出力信号とともに、図１、図１０
に示すような、ズーム機能を実行させるための指標
（Ｔ：テレ、Ｗ：ワイド）１０１、１０１ａ、１０１ｂ
と、フェード機能を実行させるための指標（Ｆ：フェー
ド）１０１ｃのキャラクタ、さらに不図示のフォーカス
エリアの概略を示すＡＦ粋、テープカウンタ、日付１０
１ｄ、撮像モード等の撮影者に必要な情報が表示されて
いる。

【００５３】また注視することによって所定に機能を実
行させるための視線スイッチとしての指標については、
その指標の表示されている所定のエリアが視線検出領域
として設定されている。

【００５４】そしてメモリ５０９には、そのファインダ
−表示画面各内における各指標に対応する視線検出領域
としての座標が記憶されており、システムコントロール
回路５０７にて後述の視線検出ブロック５１０によって
検出された注視点座標がその指標上にあるか否かの判別
が行われる。メモリ５０９内の記憶エリア５０９ａ〜５
０９ｃは、それぞれ指標１０１ａ〜１０１ｃに相当する
注視点検出エリアの座標群が格納されている。

【００５５】したがってこれらの指標を注視することに
より、その注視が後述の本発明の注視点検出手段として
の視線検出ブロック５１０によって検出されると、その
指標に対応づけられた機能を実行するように構成されて
いる。

【００５６】次にファインダ−表示画面内における撮影
者の注視点を検出する視線検出ブロックについて説明す
る。

【００５７】視線検出ブロック５１０は、実際は、電子
ビュファインダ５０４に組み込まれ、１ユニット化され
ており、撮影者の眼５１７に赤外光を照射する赤外発光
ダイオード５１１と、可視光を透過し赤外光を反射する
ダイクロイックミラー５１２と、このダイクロイックミ
ラー５１２にて反射された赤外光を集光する集光レンズ
５１３と、この集光レンズ５１３により集光された赤外
光を電気信号に変換する光電変換素子５１４と、この光
電変換素子５１４上の撮影者の眼５１８の像を基に、撮
影者のファインダ−画面５０４ａ上の注視点を求める注
視点検出回路５１５とを具備している。

【００５８】ダイクロイックミラー５１２は、可視光を
透過するため、撮影者が接眼レンズ５１９を通してファ
インダ−画面５０４ａを観察できるようになっている。
また、ダイクロイックミラー５１２は、赤外光を反射す
るため、赤外発光ダイオード５１１によって照射された
眼５１８の反射像を反射して、集光レンズ５１３で集光
されて光電変換素子５１４上に像を結ぶようになってい
る。

【００５９】注視点検出回路５１５は、光電変換素子５
１４上の撮影者の眼５１８の像を基に、前述した原理
や、特開平１−２４１５１１号公報、２−３２３１２号
公報等によって開示されたアルゴリズムに従い撮影者の
ファインダ−画面５０４ａ上の注視点を求めるものであ
る。

【００６０】ここでビデオカメラのファインダ−５０４
に搭載されているスイッチの機能について説明する。

【００６１】このファインダ−画面５０４ａの表示例の
模式図を図１０に示す。

【００６２】同図に示すように、アルファベット
「Ｗ」、「Ｔ」、「Ｆ」で示す互いに異なる動作機能を
意味する指標１０１（１０１ａ、１０１ｂ、１０１ｃ）
からなるメニューが表示されている。ここで例えば
「Ｗ」はワイド側へのズーミング、「Ｔ」はテレ側への
ズーミング、「Ｆ」はフェードの動作をそれぞれ示すも
のとする。また右下の数字１０１ｄは視線スイッチの機
能ではなく、例えば日付等である。

【００６３】次にシステムコントロール回路５０７の動
作の一例を図１１の流れ図に従って具体的に説明する。
尚、以下のシステムコントロール回路の処理は、本発明
の機能実行手段を構成する。

【００６４】それぞれの視線スイッチの指標を含む所定
の範囲の座標群はそれぞれメモリ５０９に記憶されてお
り、各座標群は各指標の図１０に示した範囲の座標を全
て含む。これらの座標群を例えばワイドはα、テレは
β、フェードはγとする。まず、ビデオカメラのパワー
がｏｎされる（１１０１）と変数ｌ、ｍ、ｎが０にリセ
ットされ（１２０２）、視線スイッチの準備ができる。
続いて撮影者の注視点を検出する（１１０３）。変数
ｌ、ｍ、ｎはそれぞれ撮影者の注視点が座標群αのいず
れかの座標、座標群βのいずれかの座標、座標群γのい
ずれかの座標と一致した回数をカウントする変数であ
る。

【００６５】システムコントロール手段は、撮影者がフ
ァインダ−を覗き視線検出が正常に行われている間、絶
えず撮影者のファインダ−上の注視点座標を視線検出手
段から受け取っている。いま、撮影者がワイドの指標
“Ｗ”を見た時を例に説明する。検出した注視点座標が
座標群α内のいずれかの座標に略一致すると（１１０
４）システムコントロール手段はワイド以外の機能が動
作していればそれを停止させ（１１０５）、変数ｍ、ｎ
を０にリセットし（１１０６）、ｌが所定の回数（この
例では５回）より多いかどうかを判断し（１１０７）、
少なければｌに１を加え（１１０８）再びｌが５より多
いかどうか判断し（１１０９）、少なければ（１１０
３）の戻り再び視線検出回路から注視点座標を受け取
る。判断（１１０９）で５以上であればズームレンズ群
を広角側に駆動させ、（１１０３）に戻り再び視線座標
を受け取る。（１１０７）でｌが５以上であれば（１１
１０）まで飛ぶ。座標群αの内のいずれかの座標と視線
座標が一致しても一致した回数が５回に満たないうちに
座標群αの内のいずれかの座標から１度でもはずれると
変数ｌは０にリセットされる（１１１３、１１２０、１
１２６）。

【００６６】ほかの指標“Ｔ”“Ｆ”を見たときも同様
である。

【００６７】尚、注視点座標が座標群β、γの内のいず
れかの座標に略一致する場合（１１１１、１１１８）に
は、それぞれ１１１１〜１１１７、１１１８〜１１２４
の処理を実行し、テレ側へのズームあるいはフェード動
作を行う。

【００６８】またいずれの座標群も注視していないよう
な場合には、各動作を停止し、変数ｌ、ｍ、ｎをリセッ
トし、視線検出状態へと戻る（１１０３）。

【００６９】ところで眼球の光軸と視軸のずれ量や眼球
の大きさには個人差があるので、撮影者が注視したファ
インダ−上の座標と前記従来例の視線検出手段によって
検出されたファインダ−上の座標に検出誤差によるずれ
が生じ、指標を見ていないのに見ていると判断したり、
指標を見ているのに見ていないと判断してしまうという
欠点が有ることは前述した。

【００７０】そこで上記の問題を解決し得る本発明の特
徴的な構成について、以下に説明する。

【００７１】まず図１のファインダ−画面の図で本発明
の動作の一例を説明する。

【００７２】図１は前述の図１０に示すファインダ−画
面の左上の指標１０１ａの部分を拡大したものに相当す
る。点線１０１ａは前述した所定の範囲１０１ａの部分
を拡大して表すもので、この範囲内に含まれる座標群の
中に連続して予め定めた回数以上注視点が検出されたと
きに、指標で表した機能が動作する。点線１０２は指標
となる文字や図形が表示される部分で、

【００７３】

【外３】 印１０３はこの指標の中心を示す。図１では一例として
ズームをワイド側へ動かす機能を意味する“Ｗ”の文字
が表示されている。

【００７４】このズームについては、図示しないが、光
学的なズームレンズでも電子的な画像処理による電子ズ
ームでも良い。

【００７５】今撮影者がこの指標“Ｗ”を見た時に検出
された注視点が図の×印で示したようにばらついたとす
る。×印一個は一回の注視点検出位置を示す。この場
合、特に何の対策も施されていなければ、図のように×
印で示した注視点が１回でも点線１０１ａで示した境界
から外に出た場合は、そこで“Ｗ”の指標を見ていない
と判断されてしまう。すると視線スイッチの動作が撮影
者の思った通りに働かない場合が生じ、非常に煩わし
い。

【００７６】ところで×印が分布している領域を実線１
０４で示すと、点線１０２で示した指標を表示する位置
に対して、図では右下の方にオフセットしている。この
ようなオフセットは撮影者の眼球の光軸と視軸のずれ
や、眼球の大きさといった個人差に起因する誤差によっ
て生じる事がある。

【００７７】つまりこの例の場合撮影者は指標“Ｗ”見
ていても、実際に検出される注視点は図の様に右下の方
に位置してしまう。

【００７８】そこで本発明では図２に示した様にまず検
出された注視点のファインダー上の座標を所定の数だけ
メモリに蓄え、水平方向、垂直方向の座標を平均化して
やる。平均化された水平方向、垂直方向の座標をそれぞ
れａ、ｂとする。

【００７９】また指標の中心の座標をｌ、ｍとする。次
にａ−ｌ、ｂ−ｍの値を前記オフセットの値として検出
された各注視点の水平方向、垂直方向の座標からそれぞ
れ差し引く事によって補正してやる。すると補正前に図
２の様に検出された各注視点を、図３の様に指標の中心
座標（ｌ、ｍ）の周りに分布する様に補正することが出
来る。

【００８０】そこで前記ａ−ｌ、ｂ−ｍを補正用の値と
して保持しておいて、以降の注視点検出においてこの補
正値を使って補正してやれば、前述した個人差による注
視点のオフセットを軽減する事が出来る。

【００８１】ところで前記注視点検出座標の平均値を求
めるために使用する注視点座標は、撮影者が指標を見て
いる時に検出されたものでなければならない。そこで撮
影者が指標を見ているという事の判断のために前述の補
正処理を視線スイッチの機能が働いている時に行う。

【００８２】つまり例えばファインダーに表示したズー
ムのワイドの機能を表す“Ｗ”の指標を撮影者が見て注
視点が図１に示した領域の点線１０１ａの中に所定の回
数以上入ればズームの機能が働きだす。

【００８３】ここでもしズームの動作が撮影者の意に反
して誤検出によるものであったのなら、撮影者は“Ｗ”
の指標を見ないように視線を変えるので、ズームの機能
はその時点でストップする。つまり前述補正前の状態で
ズームの機能が働いている状態が一定時間以上続けば、
撮影者が指標を見ていると判断するわけである。

【００８４】次に前述した処理の流れを図４に示す。
尚、図１２のフローチャートと同様の処理ブロックは同
様の動作である。電源ＯＮ（４０１）に応じて各変数
ｌ、ｍ、ｎをリセット（４０２）する。処理（４０３）
では図１２と同様の注視点の検出動作が行われる。処理
（４２７）でははすでに前述してような注視点座標を補
正する補正値が算出され格納されているかどうか判断
し、格納されていれば処理（４２８）によって前述した
様に注視点が補正される。以降それぞれの機能の実行処
理（４０４〜４１０）、（４１１〜４１７）、（４１８
〜４２４）の処理は、それぞれ図１２の（１１０４〜１
１１０）、（１１１１〜１１１７）、（１１１０〜１１
２４）の処理と同様であるため、詳細な説明は省略し、
それぞれ４１０、４１７、４２４以降の処理動作につい
て説明することにし、例えばズームのワイドの機能の場
合の以降の処理を説明する。

【００８５】ズームのワイドの機能を処理（４１０）で
行った後、処理（４２９）で補正値が算出され格納され
ているかどうか判断し、すでに格納されていれば次の視
線検出処理（４０３）にもどる。

【００８６】補正値が格納されていなければ処理（４０
３）で変数ｌをインクリメントする。

【００８７】次に処理（４３１）で変数ｌがこの例の場
合例えば８以上であるかどうか判断する（４３１）。こ
れは、ワイド側ズーム動作の実行が３回以上続けて行わ
れたかどうかを判断しているものである。すなわち（４
０７）あるいは（４０９）でｌが５以上となると（４１
０）のワイド側ズーム動作が実行され、続いて（４２
９）で補正値がなく、（４３０）でｌをインクリメント
すると、（４３１）でｌが８となるまでに（４１０）の
ワイド側ズーム動作の処理を３回続けて実行したことに
なる。ここでｌが８以上でなければ次の視線検出処理
（４０３）にもどる。ｌが８以上であれば処理（４３
２）で検出された注視点座標を格納する。処理（４３
３）では注視点座標が例えば３回分格納されたかどうか
を判断し、３回分の注視点座標が格納されていれば処理
（４３４）によって格納された３回分の注視点の座標の
平均の座標の値を計算し、その結果が以降の検出処理結
果を補正する補正値としてメモリ５１７に格納される。
すなわち前述のように、その指標１０１ａの中心座標と
の誤差を補正値としてメモリに格納する。

【００８８】前述した図４の処理はシステムコントロー
ル回路５０７で行われる。注視点検出回路５１０には補
正値を算出するために所定の個数の座標を格納するメモ
リ５１６とこれらの座標から算出した補正値を格納する
メモリ５１７が接続されておりシステムコントロール手
段５０７によって制御される。

【００８９】以上システムコントロール回路５０７によ
る処理と、メモリ５１６、５１７からなる構成は本発明
の補正手段に対応する。他の処理は前述の通りである。

【００９０】以上の様に構成することによって従来の個
人差修正モードとしてのキャリブレーション動作モード
でなくとも、通常の視線検出を用いた動作モードにおい
て、個人差による検出誤差を補正し、視線スイッチの動
作の不安定さを軽減できる。

【００９１】次に本発明の第２の実施例について説明す
る。

【００９２】前述の第１の実施例では検出誤差が注視点
のオフセットとなる場合について述べた。これはつまり
図６に示す様に撮影者がそれぞれの指標６０１や６０２
や６０３を見た時に、全てある一定方向にずれた位置６
０４や６０５や６０６に注視点を検出してしまうといっ
た場合である。しかし検出誤差の現れ方によっては図７
に示すように、例えば撮影者が指標“Ｗ”と指標“Ｔ”
を見た時に検出された注視点がそれぞれ７０１、７０２
の座標に検出される場合がある。これはまた別の見方を
すると撮影者が角度７０３の分だけ注視点を動かしたつ
もりが、角度７０４の範囲しか検出された注視点が動か
ないという事である。つまり、ファインダー上の検出分
解能を考慮すれば敏感度のずれとも考えられる事が出来
る。

【００９３】そこでこのばあいは例えば説明の便宜上、
横方向についてだけ考えると、前述の第１の実施例で述
べた補正値算出を指標“Ｗ”および指標“Ｔ”の２つに
対して行い、それぞれ図７に示した７０５、７０６の値
を算出する。ここで指標“Ｗ”および指標“Ｔ”の横方
向の座標が解っているので、指標“Ｗ”と指標“Ｔ”の
間隔ｓから７０５、７０６の値を差し引いたｔの値を使
ってｓ／ｔを補正値としてやればよい。構成ブロックは
第１の実施例と同様である。実際の値を使ってこの計算
の一例を示す。

【００９４】今簡単にするためファインダー上の横方向
の座標が図８に示すように中心を０、指標“Ｗ”側に１
〜４、指標“Ｔ”側に−１〜−４とする。撮影者が指標
“Ｗ”と指標“Ｔ”を見たときに検出された注視点がそ
れぞれ８０１、８０２であったとすると、図から補正値
ｓ／ｔ＝８／４＝２である。そこで注視点８０１及び８
０２にこの補正値“２”をかけてやれば、図中でそれぞ
れ左、右に２づつシフトするからそれぞれ指標“Ｗ”と
指標“Ｔ”の座標と一致する値となる。

【００９５】以上の様に構成することによって、検出誤
差が図７に示した様に異なる２つの指標を見た時の指標
の間隔と、検出された注視点の間隔との比となって現れ
る場合に於いてもそれを補正し、視線スイッチの誤動作
を軽減出来る。以上の第２実施例におけるシステムコン
トロール回路５０７の処理は本発明の請求項６〜８の補
正手段に対応する。

【００９６】次に本発明の第３の実施例について説明す
る。

【００９７】前述の実施例においては注視点が指標上で
所定回数検出されたとき撮影者が指標を見ていると判断
したが、検出された注視点の座標のばらつきが指標の近
くで一定時間以上、一定範囲内に収まっていた場合に、
撮影者が指標を見ていると判断して前述補正動作を行っ
てもよい。補正動作自体は前述のとおりである。

【００９８】また例えば第２の実施例で述べた敏感度の
補正を行い、且つ第１の実施例で述べたオフセットを並
行して補正する構成としても良い。

【００９９】また従来より個人差補正の為に行うキャリ
ブレーション動作があるが、本案と併用しても本発明と
は何等矛盾するものではなく、両方行えばさらに精度、
安定度が向上する事は言うまでもない。

【０１００】以上の第３実施例におけるシステムコント
ロール回路５０７の処理は、本発明の請求項９〜１１の
補正手段に対応する。

【０１０１】尚、上述の各実施例において、表示回路５
０８は本発明の表示手段に対応し、視線検出ブロック５
１０が本発明における注視点検出手段に対応し、注視点
検出手段により指標が注視されていることが検出された
ときにズーム、フェード等の機能を実行させるシステム
コントロール回路５０７は本発明における機能実行手段
に対応し、視線検ブロック５１０によって検出された注
視点座標をメモリ５１６に記憶するとともに、それらの
注視点座標に基づいて演算した補正値をメモリ５１７に
記憶し、以後検出された注視点座標を補正するシステム
コントロール回路５０７の処理が本発明における補正手
段に相当する。

【０１０２】

【発明の効果】以上説明したように、本願における請求
項１に記載の発明によれば、画面内に表示された指標を
注視しているときの、画面上の注視点座標と、指標の中
心座標とのずれ量が補正値として検出され、この補正値
によって注視点検出手段によって検出される注視点座標
が補正されるように構成したので、通常の視線スイッチ
として使用する指標を用いて注視点検出誤差を補正する
ことができ、通常の使用の中で注視点検出制度を向上す
ることができる。

【０１０３】また本願における請求項２に記載の発明に
よれば、注視点検出手段によって検出される注視点座標
の補正動作が、機能実行手段によって指標に対応づけら
れた機能が実行されているときに並行して行われるよう
にしたので、キャリブレーション動作を頻繁に行う必要
がなく、視線スイッチを使用しているときに、自動的に
注視点検出誤差を補正することができ、通常の使用の中
で注視点検出精度を向上することができるとともに、使
用のたびに制度を向上することができる。

【０１０４】また本願における請求項３に記載の発明に
よれば、請求項１における補正手段の補正動作が、指標
の近傍で検出された注視点の偏差が予め設定した値より
小さいときのみ行われるため、精度の向上が図られ、検
出誤差やノイズの影響を除去することができる。

【０１０５】また本願における請求項４に記載の発明に
よれば、注視点が所定回数連続して指標上にあることが
検出されたとき、補正手段によって補正値が演算される
ようにしたので、視線のばらつきや誤差の影響を除去す
ることができる。

【０１０６】また本願における請求項５に記載の発明に
よれば、前記機能実行手段を、前記注視点検出手段によ
って前記注視点が所定回数前記指標上にあることが検出
されたとき、前記機能を実行するようにしたので、視線
のばらつきや誤差の影響を除去することができる。

【０１０７】また本願における請求項６に記載の発明に
よれば、画面内に表示された指標を注視しているとき
の、画面上の注視点座標と、指標の中心座標とのずれ量
が検出されて逐次記憶され、記憶された複数のずれ量か
ら補正値が演算され、注視点検出手段の出力が補正され
るようにしたので、通常の視線スイッチとして使用する
指標を用いて注視点検出誤差を補正することができ、通
常の使用の中で注視点検出精度を向上するとができる。
また視線スイッチを使用するたびに精度を向上するよう
な学習機能を持たせることができ、高精度かつ安定な視
線検出を行うことができる。

【０１０８】また本願における請求項７に記載の発明に
よれば、請求項６における注視点検出手段によって検出
される注視点座標の補正動作が、機能実行手段によって
指標に対応づけられた機能が実行されているときに並行
して行われるようにしたので、キャリブレーション動作
を頻繁に行う必要がなく、視線スイッチを使用している
ときに、自動的に注視点検出誤差を補正することがで
き、通常の使用の中で注視点検出制度を向上することが
できるとともに、使用のたびに精度を向上することがで
きる。

【０１０９】また本願における請求項８に記載の発明に
よれば、請求項６における補正手段の補正動作が、指標
の近傍で検出された注視点の偏差が予め設定した値より
小さいときのみ行われ、精度の向上が図られ、検出誤差
やノイズの影響を除去することができる。

【０１１０】また本願における請求項９に記載の発明に
よれば、記憶手段に逐次記憶された２つの指標に対する
ずれ量からその２つの指標の画面内における間隔と、操
作者が２つの指標を注視したときの画面内の注視点座標
の間隔とのずれ量が補正値として演算され、注視点検出
手段の注視点情報が補正されるようにしたので、通常の
視線スイッチとして使用する指標を用いて注視点検出誤
差を補正することができ、通常の使用の中で注視点検出
精度を向上することができる。また複数の指標を注視し
たときの相対的な誤差を補正するようにしているので、
単に指標と注視点のずれだけでなく、視線検出用センサ
の分解能、眼球の回転方向における誤差の補正を行うこ
とができる。

【０１１１】また本願における請求項１０に記載の発明
によれば、請求項９における注視点検出手段によって検
出される注視点座標の補正動作が、機能実行手段によっ
て指標に対応づけられた機能が実行されているときに並
行して行われるようにしたので、キャリブレーション動
作を頻繁に行う必要がなく、視線スイッチを使用してい
るときに、自動的に注視点検出誤差を補正することがで
き、通常の使用の中で注視点検出制度を向上することが
できるとともに、使用のたびに精度を向上することがで
きる。

【０１１２】また本願における請求項１１に記載の発明
によれば、請求項９における補正手段の補正動作が、指
標の近傍で検出された注視点の偏差が予め設定した値よ
り小さいときのみ行われ、精度の向上が図られ、検出誤
差やノイズの影響を除去することができる。

【０１１３】また上記各請求項に記載の発明によれば、
キャリブレーション動作を必ずしも行わなくても、通常
の視線スイッチを動作させることによって注視点検出誤
差を補正できるため、使用するたびに自動的に性能向上
を図ることができ、キャリブレーション動作と併用すれ
ば、さらに精度向上を迅速に行うことができ、学習機能
を効果的に発揮させることができる。

【図面の簡単な説明】

【図１】本発明の動作を説明するファインダー画面を示
す図である。

【図２】本発明の動作を説明するファインダー画面を示
す図である。

【図３】本発明の動作を説明するファインダー画面を示
す図である。

【図４】本発明の動作を説明するためのフローチャート
である。

【図５】本発明の視線検出機能を備えた電子機器をビデ
オカメラに適用した場合を示す実施例の構成を示すブロ
ック図である。

【図６】本発明の補正動作を説明するためのファインダ
ー画面を示す図である。

【図７】本発明の補正動作を説明するためのファインダ
ー画面を示す図である。

【図８】本発明の補正動作を説明するためのファインダ
ー画面を示す図である。

【図９】注視点検出動作の原理図である。

【図１０】視線スイッチの基本動作を説明するためのフ
ァインダー画面を示す図である。

【図１１】図１０における視線スイッチの基本的動作を
説明するためのフローチャートである。

【符号の説明】

１０１ａ〜１０１ｃ 指標 １０３ 指標の中心座標 １０４ 注視点分布領域 ５０１ ズームレンズ ５０４ 電子ビューファインダ（ＥＶＦ） ５０７ システムコントロール回路 ５０８ 表示回路 ５０９ メモリ（指標の座標記憶用） ５１０ 視線検出ブロック ５１５ 注視点検出回路 ５１６ メモリ（注視点検出位置記憶用） ５１７ メモリ（補正値記憶用）

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画面内に指標を表示する表示手段と、 前記画面内における操作者の注視点を検出する注視点検
   出手段と、 前記注視点検出手段によって前記指標を注視しているこ
   とが検出されたとき前記指標に対応する所定の機能を実
   行する機能実行手段と、 前記注視点検出手段によって検出された前記注視点位置
   情報と、前記指標の中心部位置とのずれ量を検出して補
   正値を演算し、該補正値に基づいて前記注視点検出手段
   の出力を補正する補正手段と、を備えたことを特徴とす
   る視線検出機能を備えた電子機器。
2. 【請求項２】 請求項１において、 前記補正手段は、前記機能実行手段によって前記機能が
   実行されているときに前記注視点検出手段によって検出
   された注視点位置情報に基づいて前記補正値を演算する
   ように構成されていることを特徴とする視線検出機能を
   備えた電子機器。
3. 【請求項３】 請求項１において、 前記補正手段は、前記指標の近傍で検出された注視点の
   偏差を予め設定した値より小さいときに前記補正値を演
   算し、前記補正を行うように構成されていることを特徴
   とする視線検出機能を備えた電子機器。
4. 【請求項４】 請求項１において、 前記注視点検出手段によって前記注視点が所定回数連続
   して前記指標上にあることが検出されたとき、前記補正
   手段によって前記補正値が演算されるように構成されて
   ることを特徴とする視線検出機能を備えた電子機器。
5. 【請求項５】 請求項１において、 前記機能実行手段は、前記注視点検出手段によって前記
   注視点が所定回数前記指標上にあることが検出されたと
   き、前記機能を実行するように構成されていることを特
   徴とする視線検出機能を備えた電子機器。
6. 【請求項６】 画面内に指標を表示する表示手段と、 前記画面内における操作者の注視点を検出する注視点検
   出手段と、 前記注視点検出手段によって前記指標を注視しているこ
   とが検出されたとき前記指標に対応する所定の機能を実
   行する機能実行手段と、 前記注視点検出手段によって前記指標を注視しているこ
   とが検出されたときの前記注視点位置情報と、前記指標
   の中心部位置とのずれ量を検出して逐次記憶する記憶手
   段と、 前記記憶手段に記憶された前記複数のずれ量から補正値
   を演算し、該補正値に基づいて前記注視点検出手段の出
   力を補正する補正手段と、を備えたことを特徴とする視
   線検出機能を備えた電子機器。
7. 【請求項７】 請求項６において、 前記補正手段は、前記機能実行手段によって前記機能が
   実行されているときに前記注視点検出手段によって検出
   された注視点位置情報に基づいて前記補正値を演算する
   ように構成されていることを特徴とする視線検出機能を
   備えた電子機器。
8. 【請求項８】 請求項６において、 前記補正手段は、前記指標の近傍で検出された注視点の
   偏差が予め設定した値より小さいときに前記補正値を演
   算し、前記補正を行うように構成されていることを特徴
   とする視線検出機能を備えた電子機器。
9. 【請求項９】 画面内に複数の指標を表示する表示手段
   と、 前記画面内における操作者の注視点を検出する注視点検
   出手段と、 前記注視点検出手段によって前記指標を注視しているこ
   とが検出されたとき前記指標に対応する所定の機能を実
   行する機能実行手段と、 前記注視点検出手段によって前記指標を注視しているこ
   とが検出されたときの前記注視点位置情報と、前記指標
   の中心部位置とのずれ量を逐次検出して記憶する記憶手
   段と、 前記記憶手段に記憶された少なくとも２つの指標に対す
   るずれ量から前記２つの指標の前記画面内における間隔
   と、操作者が前記２つの指標を注視したときの画面内の
   注視点座標の間隔とのずれ量を演算して補正値を求め、
   該補正値に基づいて前記注視点検出手段によって検出さ
   れた注視点情報を補正する補正手段と、を備えたことを
   特徴とする視線検出機能を備えた電子機器。
10. 【請求項１０】 請求項９において、 前記補正手段は、前記機能実行手段によって前記機能が
    実行されているときに前記注視点検出手段によって検出
    された注視点位置情報に基づいて前記補正値を演算する
    ように構成されていることを特徴とする視線検出機能を
    備えた電子機器。
11. 【請求項１１】 請求項９において、 前記補正手段は、前記指標の近傍で検出された注視点の
    偏差が予め設定した値より小さいときに前記補正値を演
    算し、前記補正を行うように構成されていることを特徴
    とする視線検出機能を備えた電子機器。