JP5055166B2

JP5055166B2 - 眼の開閉度判定装置、方法及びプログラム、撮像装置

Info

Publication number: JP5055166B2
Application number: JP2008051121A
Authority: JP
Inventors: 雄司金田; 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-02-29
Filing date: 2008-02-29
Publication date: 2012-10-24
Anticipated expiration: 2028-02-29
Also published as: EP2096577A2; US8624994B2; EP2096577A3; CN101520842A; US20120148159A1; US20090219405A1; KR20090093902A; US8130281B2; CN101520842B; JP2009211180A; KR101051001B1

Description

本発明は、眼の開閉度判定装置、方法及びプログラム、撮像装置に関する。

従来、静止画、動画を含む画像から顔を検出する技術が知られており（非特許文献１）、その検出された顔における眼の開閉度を判定する技術が知られている。

この技術に関連して、特許文献１では、眉毛と瞳孔間の距離、若しくは眉毛と瞳孔の面積比を所定の基準と比較することでその変化量を算出し、眼の開閉度を判定する技術が提案されている。

また、特許文献２では、眼領域において、白色領域と黒色（瞳孔）領域を夫々グルーピングした後、黒色領域が変化した場合に瞬きが行なわれていると判定する技術が提案されている。

また、特許文献３では、眼を閉じる直前の眼の状態と頬笑み表情などの表情変化に伴う眼の状態とを区別するため、眼の開閉度を判定する処理を複数用意し、夫々の判定結果の論理積を使用した結果に基づき眼の開閉度を判定する技術が提案されている。
特開平０９−０４４６８５号公報特開平１１−２４２７４４号公報特開２００４−１９２５５１号公報御手洗祐輔, 森克彦, 真継優和, "選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな顔検出システム", FIT （情報科学技術フォーラム）, Ll-013, 2003

無表情状態で眼が完全に開いているときの眼の大きさ（上下瞼間の距離や瞳孔の見え方など）には個人差が存在する。例えば、図１９に示す人物Ａのように、眼を完全に開いている無表情状態（状態１）において瞳孔が完全に見えている人物もいれば、図１９に示す人物Ｂのように、眼を完全に開いている無表情状態（状態４）において瞳孔の一部が隠れている人物も存在する。

無表情状態での眼の大きさに個人差が存在する場合、１枚の画像のみで眼の開閉度状態を判定してしまうと、図１９に示す人物Ａの状態２と図１９に示す人物Ｂの状態４とを同じ眼の開閉度状態として判定してしまう。そのため、例えば、撮像装置による撮影に際して、図１９に示す人物Ａの状態２を失敗撮影とした場合、図１９に示す人物Ｂの状態４まで失敗撮影となってしまう。

また、複数枚の画像の変化量を使用して眼の開閉度状態を判定する場合、図１９に示す人物Ａの状態１から状態２への変化量と、図１９に示す人物Ｂの状態４から状態５への変化量とが同じ変化量となる。そのため、人物Ａの状態２と人物Ｂの状態５とを同じ状態として判定してしまう。したがって、例えば、撮像装置による撮影に際して、図１９に示す人物Ａの状態２を撮影成功とした場合、図１９に示す人物Ｂの状態５も撮影成功となってしまう。

このように撮像装置において撮影された画像が、失敗、成功のいずれであるかの判断は、撮像装置を使用するユーザによって異なってくるため、眼の大きさの個人差に依存せずに、眼の開閉度状態を高精度に検出する必要性がある。例えば、上述した特許文献３の技術では、複数の眼の開閉度判定結果の組み合わせを利用して眼の開閉度を判定しているが、夫々の眼の開閉度判定結果は眼を開いている、若しくは眼を閉じているという２値出力である。そのため、この技術によっても、眼の大きさの個人差に依存せずに、眼の開閉度状態を高精度に検出することはできない。

ここで、１枚の画像から眼の開閉度状態を判定する方法と、複数枚の画像の変化量から眼の開閉度状態を判定する方法とのそれぞれを用いて眼の開閉度を判定する場合について考えてみる。ここでは、例えば、図２０に示す状態１から状態２へ眼の開閉度が変化した場合と、図２０に示す状態４から状態５へ眼の開閉度が変化した場合とを判定する場合を例に挙げる。

図２０に示す状態１（黒眼面積１０）から状態２（黒眼面積５）に眼が変化した場合、その黒眼面積の変化量は５となり、また、状態２における黒眼面積の絶対量は５となる。そして、眼閉じと判定する絶対量の閾値を６（絶対量が６より小さい場合に眼閉じと判定）、眼閉じと判定する変化量の閾値を４（変化量が４より大きい場合に眼閉じと判定）とした場合、絶対量、変化量による判定結果はともに眼閉じとなる。また、図２０に示す状態４（黒眼面積５）から状態５（黒眼面積０）に眼が変化したときに、これと同様の判定を行なった場合にも全く同じ結果が得られ、絶対量、変化量による判定結果はともに眼閉じとなる。このように従来提案されている眼の開閉度判定方法では、図２０に示す状態２と状態５とを同じ眼の開閉度状態であると判定してしまう。

そこで、本発明は、上記課題に鑑みてなされたものであり、眼の大きさの個人差によらず、眼の開閉度を高精度に検出できるようにした眼の開閉度判定装置、方法及びプログラム、撮像装置を提供することを目的とする。

上記目的を達成するため、本発明の一態様による眼の開閉度判定装置は、画像を入力する入力手段と、前記入力手段により入力された画像から人物の顔を検出する顔検出手段と、前記顔検出手段により検出された顔から眼の開閉状態に係わる特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量と所定時間前に入力された画像から検出された顔より算出された特徴量との差を特徴変化量として算出する変化量算出手段と、前記特徴量算出手段により算出された特徴量と前記変化量算出手段により算出された特徴変化量とに重みを設定する重み付け手段と、前記重み付け手段により重みが設定された前記特徴量と前記特徴変化量とに基づいて前記顔検出手段により検出された顔における眼の開閉度合いを算出する開閉度算出手段とを具備することを特徴とする。

また、本発明の一態様は、情報処理装置の眼の開閉度判定方法であって、入力手段が、画像を入力する入力工程と、顔検出手段が、前記入力工程により入力された画像から人物の顔を検出する顔検出工程と、特徴量算出手段が、前記顔検出工程により検出された顔から眼の開閉状態に係わる特徴量を算出する特徴量算出工程と、変化量算出手段が、前記特徴量算出工程により算出された特徴量と所定時間前に入力された画像から検出された顔より算出された特徴量との差を特徴変化量として算出する変化量算出工程と、重み付け手段が、前記特徴量算出工程により算出された特徴量と前記変化量算出工程により算出された特徴変化量とに重みを設定する重み付け工程と、開閉度算出手段が、前記重み付け工程により重みが設定された前記特徴量と前記特徴変化量とに基づいて前記顔検出工程により検出された顔における眼の開閉度合いを算出する開閉度算出工程とを含むことを特徴とする。

また、本発明の一態様によるプログラムは、コンピュータを、画像を入力する入力手段、前記入力手段により入力された画像から人物の顔を検出する顔検出手段、前記顔検出手段により検出された顔から眼の開閉状態に係わる特徴量を算出する特徴量算出手段、前記特徴量算出手段により算出された特徴量と所定時間前に入力された画像から検出された顔より算出された特徴量との差を特徴変化量として算出する変化量算出手段、前記特徴量算出手段により算出された特徴量と前記変化量算出手段により算出された特徴変化量とに重みを設定する重み付け手段、前記重み付け手段により重みが設定された前記特徴量と前記特徴変化量とに基づいて前記顔検出手段により検出された顔における眼の開閉度合いを算出する開閉度算出手段として機能させる。

また、本発明の一態様による撮像装置は、画像を入力する入力手段と、前記入力手段により入力された画像から人物の顔を検出する顔検出手段と、前記顔検出手段により検出された顔から眼の開閉状態に係わる特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量と所定時間前に入力された画像から検出された顔より算出された特徴量との差を特徴変化量として算出する変化量算出手段と、前記特徴量算出手段により算出された特徴量と前記変化量算出手段により算出された特徴変化量とに重みを設定する重み付け手段と、前記重み付け手段により重みが設定された前記特徴量と前記特徴変化量とに基づいて前記顔検出手段により検出された顔における眼の開閉度合いを算出する開閉度算出手段と、前記開閉度算出手段により算出された眼の開閉度合いを閾値処理することにより眼の開閉判定を行う開閉判定手段と、前記開閉判定手段による眼の開閉度判定の結果に基づいて撮影する撮像手段とを具備することを特徴とする。

本発明によれば、眼の大きさの個人差によらず、眼の開閉度を高精度に検出できる。

以下、本発明に係わる眼の開閉度判定装置、方法及びプログラム、撮像装置の一実施の形態について添付図面を参照して詳細に説明する。

（実施形態１）
図１は、本発明の実施の一形態に係わる撮像装置１００の構成の一例を示す図である。なお、本実施形態においては、撮像装置１００が電子スチルカメラである場合を例に挙げて説明する。

１０１は、撮像レンズ群であり、１０２は、絞り装置及びシャッタ装置を備えた光量調節装置である。１０３は、撮像レンズ群を通過した被写体像としての光束を電気信号に変換するＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）等の撮像素子である。１０４は、撮像素子１０３のアナログ信号出力にクランプ処理、ゲイン処理等を行なうアナログ信号処理回路である。１０５は、アナログ信号処理回路１０４の出力をデジタル信号に変換するＡ／Ｄ変換器である。

１０７は、デジタル信号処理回路であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御回路１０６からのデータに対して所定の画素補間処理や色変換処理などを行なう。また、デジタル信号処理回路１０７は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行なう。更に、デジタル信号処理回路１０７は、その撮影した画像データに対して特定被写体の顔検出処理、眼の開閉度合い判定処理（以下、眼の開閉度判定処理と略す）を実行する。特定被写体の顔検出処理、眼の開閉度判定処理には、メモリ（後述するメモリ１０８）に格納されたデータが用いられる。

システム制御回路１１２は、上述した演算結果に基づき露出制御回路１１３、焦点制御回路１１４に対する制御を実行するＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行なう。

メモリ制御回路１０６は、アナログ信号処理回路１０４、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ１０８、デジタル／アナログ（以下、Ｄ／Ａとする）変換器１０９を制御する。これにより、Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータはデジタル信号処理回路１０７、メモリ制御回路１０６を介してメモリ１０８に書き込まれる。また、Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータは、直接メモリ制御回路１０６を介して、メモリ１０８に書き込まれる場合もある。

メモリ１０８は、例えば、表示装置１１０に表示するデータを記憶している。メモリ１０８に記録されているデータは、Ｄ／Ａ変換器１０９を介してＴＦＴ、ＬＣＤ等の表示装置１１０に出力されて表示される。また、メモリ１０８は、撮影した静止画や動画を含む画像を格納する。なお、メモリ１０８は、所定枚数の静止画や所定時間分の動画を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１０８に対して行なうことができる。また、メモリ１０８は、システム制御回路１１２の作業領域としても使用することが可能である。なお、撮影した静止画や動画はインターフェース１１１を使用してＣＤ−ＲＯＭ、フロッピーディスク（登録商標）、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等の記録媒体に書き込んでもよい。

表示装置１１０は、撮影した画像データを逐次表示することができ、この場合、電子ファインダとして機能する。表示装置１１０は、システム制御回路１１２の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合は、オンにした場合に比較して、この撮像装置１００の電力消費を大幅に低減できる。また、システム制御回路１１２でのプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を表示する。

１１１は、メモリカードやハードディスク等の記録媒体とのＩ／Ｆ（インターフェース）である。撮像装置１００は、このインターフェース１１１を用いて、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。このインターフェース１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものにより構成した場合、各種通信カードを接続すれば、インターフェース１１１は通信インターフェースとして機能する。各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等が挙げられる。

システム制御回路１１２は、撮像装置１００全体の動作を制御する。システム制御回路１１２内のメモリに、このシステム制御回路１１２の動作用、又は特定被写体の顔や眼の開閉度を認識する定数、変数、プログラム等を記憶している。なお、ＣＤ−ＲＯＭ、フロッピーディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を使用して、システム制御回路１１２内のメモリに記憶されているこれらの定数、変数、プログラム等を変更することができる。

露出制御回路１１３は、光量調節装置１０２の絞り装置、シャッタ装置を制御する。焦点制御回路１１４は撮像レンズ群１０１のフォーカシング、ズーミングを制御する。露出制御回路１１３、焦点制御回路１１４はＴＴＬ方式を用いて制御されており、撮影した画像データをデジタル信号処理回路１０７によって演算した演算結果に基づき、システム制御回路１１２が露出制御回路１１３、焦点制御回路１１４に対して制御を行なう。

ここで、図２を用いて、図１に示す撮像装置１００における処理の流れの一例について説明する。なお、この処理を実行するプログラムは、例えば、システム制御回路１１２内のメモリに記憶されており、システム制御回路１１２の制御の下、この処理は実行される。

この処理は、電源投入などにより開始される。この処理が開始されると、システム制御回路１１２は、内部のメモリの各種フラグや制御変数等を初期化する（ステップＳ１００）。続いて、システム制御回路１１２は、撮像装置１００のモード設定状態を検知する。モードとしては、例えば、眼瞑り防止撮影モード等がある。

ここで、撮影モード以外のモードが検知された場合（ステップＳ１０１でその他モード）、撮像装置１００は、選択されたモードに応じた処理を実施した後（ステップＳ１０２）、ステップＳ１０１の処理に戻る。また、眼瞑り防止撮影モードなどの撮影モードが検知された場合には（ステップＳ１０１で撮影モード）、システム制御回路１１２は、電源の残容量や動作状態に問題があるか否かを判断する。この結果、問題があれば（ステップＳ１０３でＮＯ）、システム制御回路１１２は、表示装置１１０を用いて画像や音声により所定の警告表示を行なった後（ステップＳ１０４）、ステップＳ１０１の処理に戻る。また、問題がなければ（ステップＳ１０３でＹＥＳ）、システム制御回路１１２は、記録媒体の動作状態が撮像装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する。

この結果、問題があれば（ステップＳ１０５でＮＯ）、システム制御回路１１２は、上記同様に、表示装置１１０を用いて画像や音声により所定の警告表示を行った後（ステップＳ１０４）、ステップＳ１０１の処理に戻る。また、記録媒体に問題がなければ（ステップＳ１０５でＹＥＳ）、システム制御回路１１２は、表示装置１１０を用いて画像や音声により撮像装置１００の各種設定状態のユーザーインターフェース（以下、ＵＩとする）表示を行なう（ステップＳ１０６）。なお、表示装置１１０の画像表示がオンであれば、表示装置１１０を用いて画像や音声により撮像装置１００の各種設定状態のＵＩ表示を行ってもよい。このようにしてユーザにより各種設定がなされる。

ここで、システム制御回路１１２は、表示装置１１０の画像表示をオン状態に設定する（ステップＳ１０７）。更に、システム制御回路１１２は、撮影した画像データを逐次表示するスルー表示状態の設定を行なう（ステップＳ１０８）。スルー表示状態では、メモリ１０８に書き込まれたデータを表示装置１１０に逐次表示することにより、電子ファインダ機能が実現される。

その後、撮像装置１００では、撮影者などのユーザによってシャッタースイッチが押下されたか否かが判定される。シャッタースイッチが押下されなければ（ステップＳ１０９でＮＯ）、ステップＳ１０１の処理に戻る。シャッタースイッチが押下されたならば（ステップＳ１０９でＹＥＳ）、システム制御回路１１２は、顔検出処理を実施する（ステップＳ１１０）。顔検出処理では、撮像素子１０３から入力された画像データを低解像度に圧縮し、その圧縮した画像データから人物の顔検出を行なう。具体的には、間引き処理などを行なうことによって画像データを低解像度に圧縮し、画像データを、例えば、６４０×４８０［ｐｉｘｅｌ］にした後、顔検出を行なう。顔検出の方法としては、例えば、エッジのような低次特徴から眼や口のような高次特徴を階層的に検出し、最終的に顔の重心位置を検出するコンボリューションニューラルネットワーク（ＣＮＮ）が知られている（非特許文献１）。ＣＮＮを用いることにより、眼や口の重心位置を求めることができる。

このようにして人物の顔が検出されると、システム制御回路１１２は、当該検出された人物の顔に対して所定のＡＥ・ＡＦ制御を実施するとともに（ステップＳ１１１）、撮影した画像をスルー表示する（ステップＳ１１２）。ここで、システム制御回路１１２は、ステップＳ１１０において検出された眼・顔の検出位置を使用して各人物の眼の開閉度を判定する（ステップＳ１１３）。眼の開閉度判定処理の詳細については後述する。

その後、システム制御回路１１２は、眼の開閉度判定処理の結果に基づいて撮像装置１００による撮影の実行有無を決める。具体的には、眼が閉じていると判定された場合には、撮像装置１００による撮影を行なわず（ステップＳ１１４でＮＯ）、強制終了するか否かの判断を行なう。強制終了するならば（ステップＳ１１９でＹＥＳ）、そのままこの処理を終了し、強制終了しないならば（ステップＳ１１９でＮＯ）、再度、顔検出処理を行なった後（ステップＳ１１８）、ステップＳ１１２の処理へ戻る。

また、眼が開いていると判定された場合には、撮像装置１００による撮影処理が実施される（ステップＳ１１４でＹＥＳの後、ステップＳ１１５）。撮影処理が実施された後、システム制御回路１１２は、その撮影画像をクイックレビュー表示した後（ステップＳ１１６）、当該撮影した高解像度画像をフラッシュメモリなどの記録媒体に符号化して記録させる（ステップＳ１１７）。つまり、顔検出処理には、間引き処理などによって圧縮された低解像度画像を使用するが、記録には、高解像度画像を使用する。

ここで、図３を用いて、図２に示すステップＳ１１３における眼の開閉度判定処理の詳細について説明する。

この処理が開始されると、システム制御回路１１２は、まず、ステップＳ１１０で検出された眼・顔の位置を使用して画像正規化処理を行なう（ステップＳ２００）。この正規化処理では、例えば、図４に示すように、低解像度に圧縮された入力画像３００の各顔の向きを正立にする。また、両眼幅が所定画素（例えば、５０画素）となり、更に、切り出した画像の幅と高さとが所定画素（例えば、１２０×１２０）となるようにアフィン変換と切り出しとを行なう。図４に示す一例では、入力画像３００が正規化された結果、顔画像３０１及び顔画像３０２が得られている。

続いて、システム制御回路１１２は、正規化された画像に対して図５に示すような眼領域を設定する（ステップＳ２０１）。図５に示す一例では、眼領域３０３は、左上の座標を（１、１０）とし、右下の座標を（１２０、６０）として設定されている。

眼領域の設定が済むと、システム制御回路１１２は、眼領域に対して画像補正処理（例えば、輝度補正処理）を行なう（ステップＳ２０２）。輝度補正処理では、眼領域の輝度ヒストグラムを作成した後、その輝度ヒストグラムを伸張させ、各画素の輝度値を変更する。

輝度補正処理が済むと、システム制御回路１１２は、輝度補正処理がなされた輝度補正画像の眼領域から瞳孔特徴を検出する（ステップＳ２０３）。瞳孔特徴の検出には、顔検出同様に予め瞳孔を検出するように学習した瞳孔検出用のＣＮＮを使用する。なお、瞳孔検出用のＣＮＮは、正解として瞳孔領域、不正解として瞳孔以外の領域を与え、瞳孔が存在する領域のみＣＮＮの各ニューロンが高い値を出力するように学習させておく。ステップＳ２０２で輝度補正された輝度補正画像を瞳孔検出用のＣＮＮに投入した場合、例えば、図６に示すような、ニューロン出力値が得られる。

続いて、システム制御回路１１２は、瞳孔特徴の検出結果を使用して瞳孔特徴量を算出する（ステップＳ２０４）。本実施形態における瞳孔特徴量は、式（１）に示すように、時刻ｔ［ｓ］に所定閾値Ｉ_ｔｈ以上となる出力値ｃｏｕｎｔｅｒ（ｔ）の数となる。なお、瞳孔特徴量以外に、上下瞼に相当するエッジ間の距離などを使用してもよい。ここで、式（２）に示すように、眼の開閉度の判定対象となる（１枚の）画像から抽出した瞳孔特徴量をＦｅａｔｕｒｅ１（ｔ）とする。

特徴量算出処理が済むと、システム制御回路１１２は、当該算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の特徴変化量Ｆｅａｔｕｒｅ２（ｔ）を算出する（ステップＳ２０５）。特徴変化量Ｆｅａｔｕｒｅ２（ｔ）は、式（３）に示すように、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）と、所定特徴量（ここでは、以前に算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ））との差を求めることで算出する。なお、以前に算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ））とは、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）を算出するよりも所定時間前（例えば、５００［ｍｓ］）に算出した瞳孔特徴量である。ここで、式（３）のｎには、人間が無意識に瞬きをした時の平均的な時間を設定する。例えば、人間が眼を開いている状態から眼を閉じる状態までの平均的な時間が５００［ｍｓ］であれば、ｎ＝５００［ｍｓ］に設定する。

特徴変化量算出処理が済むと、システム制御回路１１２は、このようにして求められた瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）、特徴変化量Ｆｅａｔｕｒｅ２（ｔ）、夫々についての眼の開閉度を算出する（ステップＳ２０６、ステップＳ２０７）。なお、本実施形態においては、眼を閉じている度合い（眼瞑り度）ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）により眼の開閉度を表す場合について説明するが、勿論、眼を開いている度合いにより目の開閉度を表してもよい。

ここで、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）に基づく眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）は、式（４）に示すように、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）を所定の関数ｆｕｎｃ_１に代入することで求められる。また、瞳孔特徴量Ｆｅａｔｕｒｅ２（ｔ）に基づく眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）は、式（５）に示すように、特徴変化量Ｆｅａｔｕｒｅ２（ｔ）を所定の関数ｆｕｎｃ_２に代入することで求められる。

ここで、システム制御回路１１２は、式（６）に示すように、夫々の眼の開閉度（ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）、ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ））に重み（ｗ_１，ｗ_２）付けを行なった後、それらを足し合わせる（ステップＳ２０８）。これにより、最終的な眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）が算出される（ステップＳ２０９）。なお、本実施形態における重み（ｗ_１，ｗ_２）は、（１，１）であるものとする。

図７は、所定の関数ｆｕｎｃ_１により算出される眼の開閉度の値の分布を示している。図７に示すように、眼の開閉度の判定対象となる（１枚の）画像から算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）が大きい程、眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）は小さくなる。つまり、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）が大きい程、眼を開いていると判定される可能性が高くなる。

図８は、所定の関数ｆｕｎｃ_２により算出される眼の開閉度の値の分布を示している。図８に示すように、特徴変化量Ｆｅａｔｕｒｅ２（ｔ）が大きい程、眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）も大きくなる。つまり、特徴変化量Ｆｅａｔｕｒｅ２（ｔ）が大きい程、眼を閉じている、或いは、眼の開閉途中であると判定される可能性が高くなる。

図３に戻り、最終的な眼の開閉度算出処理が実施されると、システム制御回路１１２は、眼を閉じているか、眼を開いているかの２値判定を行なう。この判定は、眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）を閾値処理することにより行なわれる（ステップＳ２１０）。そして、ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）と閾値との関係（閾値以上或いは以下）に基づき「眼開き」、或いは「眼閉じ」を返して（ステップＳ２１１）、この処理を終了する。

図９、図１０は、眼の開閉状態の判定に際して、眼の開閉度の判定対象となる画像から算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）と、その特徴変化量Ｆｅａｔｕｒｅ２（ｔ）とを使用することにより得られる効果を説明する図である。

図９は、眼の開閉幅の大きい人物Ａ、眼の開閉幅の小さい人物Ｂの各状態における眼の開閉度の算出結果を示す図である。なお、上述した通り、ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）は、眼の開閉度の判定対象となる画像の瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）に基づき算出した眼の開閉度である。ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）は、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）と以前に算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ）との差を示す特徴変化量Ｆｅａｔｕｒｅ２（ｔ）に基づき算出された眼の開閉度である。ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）は、最終的な眼の開閉度を示し、重みが付与されたＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）及びＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）を足し合わせたものである。

まず、人物Ａの眼が状態１（眼開き状態）から状態１’（眼開き状態）に変化した場合について考えてみる。この場合、状態１’（眼開き状態）で瞳孔がはっきり表れているため、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）は大きい値となる。したがって、眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）は小さい値となる。また、状態１（眼開き状態）から状態１’（眼開き状態）へは、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）に変化が少ない。そのため、以前に算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ）との特徴変化量Ｆｅａｔｕｒｅ２（ｔ）に基づき算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）も小さい値となる。よって、重み（１，１）付けされた後、最終的に算出される眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）は、「０．０」となる。

また、人物Ａの眼が状態１（眼開き状態）から状態２（半眼状態）に変化した場合について考えてみる。この場合、状態２（半眼状態）で瞳孔領域の一部だけが表れているため、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）は中程度（例えば、０から１の中間くらいの値）の値となる。したがって、眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）も中程度の値となる。また、状態１（眼開き状態）から状態２（半眼状態）へは、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）が多少変化する。そのため、以前に算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ）との特徴変化量Ｆｅａｔｕｒｅ２（ｔ）に基づき算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）も中程度の値となる。よって、重み（１，１）付けされた後、最終的に算出される眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）は、「１．０」となる。

同様に、人物Ａの眼が状態１（眼開き状態）から状態３（眼閉じ状態）に変化した場合について考えてみる。この場合、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）に基づき算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）は大きい値となる。また、特徴変化量Ｆｅａｔｕｒｅ２（ｔ）に基づき算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）も大きい値となる。よって、重み（１，１）付けされた後、最終的に算出される眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）は、「２．０」となる。

これに対して、人物Ｂの眼が状態４（眼開き状態）から状態４’（眼開き状態）に変化した場合について考えてみる。この場合、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）から算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）は中程度の値となる。また、特徴変化量Ｆｅａｔｕｒｅ２（ｔ）に基づき算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）は小さい値となる。よって、重み（１，１）付けされた後、最終的に算出される眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）は、「０．５」となる。

また、人物Ｂの眼の状態が状態４（眼開き状態）から状態５（眼閉じ状態）に変化した場合について考えてみる。この場合、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）に基づき算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ）は大きい値となる。また、特徴変化量Ｆｅａｔｕｒｅ２（ｔ）に基づき算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ）は中程度の値となる。よって、重み（１，１）付けされた後、最終的に算出される眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）は、「１．５」となる。

このようにして算出された眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ）の分布を図１０に示す。図１０に示すように、人物Ａ及び人物Ｂの各状態における眼の開閉度は、夫々異なる値が算出されている。すなわち、眼の大きさの個人差によらず、眼の開閉度状態を高精度に検出できている。

以上のように実施形態１によれば、判定対象となる画像から得られた瞳孔特徴量と、その瞳孔特徴量と以前に算出した瞳孔特徴量との差を示す特徴変化量と、に基づき算出した眼の開閉度を重み付けし、それを足し合わせて最終的な眼の開閉度を算出する。これにより、眼の大きさの個人差によらず、眼の開閉状態を高精度に検出することができる。

なお、上述した実施形態１においては、重み付けを行なった後、最終的な眼の開閉度を算出していたが、必ずしも重み付けを行なう必要はなく、場合によっては重み付け処理を行なわずに、最終的な眼の開閉度を算出するようにしてもよい。

（実施形態２）
次に、実施形態２について説明する。なお、実施形態２における装置の構成や全体動作の流れは、実施形態１で説明した図１及び図２と同様となるため、その説明については省略し、ここでは、相違点についてのみ説明する。相違点としては、実施形態１の図３で説明した眼の開閉度判定処理にある。

図１１を用いて、実施形態２に係わる眼の開閉度判定処理の流れについて説明する。なお、説明の重複を防ぐため、実施形態２では、実施形態１で説明した詳細な処理（例えば、瞳孔特徴量の検出方法や算出の仕方）についての説明は省略し、相違点を示す大きな流れについてのみ説明する。

この処理が開始されると、システム制御回路１１２は、まず、（図２の）ステップＳ１１０で検出された顔における眼が開かれた状態を推定する。より詳細には、眼の開かれた状態を推定し、その眼の状態が所定の眼の状態（本実施形態においては、眼が細い）に該当するか調べる。眼が細い人物の眼は、例えば、普通に眼を開いている状態であっても、瞳孔領域の多くの部分が隠れている。

ここで、開眼状態時における眼の状態を推定するため、システム制御回路１１２は、実施形態１と同様の方法により、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）を算出する（ステップＳ３００）。瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の算出は、所定時間経過するまで繰り返し行なわれる（ステップＳ３０１でＮＯ）。すなわち、所定時間内に次々入力されてくるフレーム画像各々から瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）を算出する。なお、所定時間とは、人間が瞬きをする平均的な時間である。つまり、所定時間（例えば、５秒）内に瞬きが必ず行なわれればよい。

所定時間が経過すれば（ステップＳ３０１でＹＥＳ）、システム制御回路１１２は、ステップＳ３００で複数のフレーム画像から算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）に基づいて眼の状態を推定する（ステップＳ３０２）。すなわち、ステップＳ３００において、所定時間（時刻ｔ＝ｔ_１［ｓ］から時刻ｔ＝ｔ_ｎ１［ｓ］）内に算出した瞳孔特徴量（Ｆｅａｔｕｒｅ１（ｔ_１）・・・Ｆｅａｔｕｒｅ１（ｔ_ｎ１））を参照することにより開かれた状態における眼を推定する。

図１２は、ｔ＝ｔ_１［ｓ］から時刻ｔ＝ｔ_ｎ１［ｓ］までに算出された瞳孔特徴量（Ｆｅａｔｕｒｅ１（ｔ_１）・・・Ｆｅａｔｕｒｅ１（ｔ_ｎ１））を示している。

所定の眼の状態（眼が細い）に該当するか否かは、ｔ＝ｔ_１［ｓ］から時刻ｔ＝ｔ_ｎ１［ｓ］までに算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の幅（Ｌ＝Ｆｅａｔｕｒｅ１Ｍａｘ−Ｆｅａｔｕｒｅ１Ｍｉｎ）に基づき判定される。具体的には、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の幅（Ｌ）が所定閾値Ｌ_ｔｈよりも大きければ、開眼時に瞳孔領域の多くの部分が隠れていないと判定する。一方、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の幅（Ｌ）が所定閾値Ｌ_ｔｈ以下となれば、開眼時に瞳孔領域の多くの部分が隠れている（眼の細い人物）と判定する。

所定の眼の状態でなければ（ステップＳ３０３でＮＯ）、システム制御回路１１２は、時刻ｔ＝ｔ_ｎ１［ｓ］で（１枚の）画像から算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ１）だけを用いてＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ１）を算出する（ステップＳ３０４）。なお、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ１）だけを使用して眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ１）を算出することは、重みｗ_２を０に設定することと同等の処理となる。

また、所定の眼の状態、すなわち、眼が細いと判定した場合（ステップＳ３０３でＹＥＳ）、システム制御回路１１２は、実施形態１同様の方法により瞳孔特徴量と特徴変化量との両方を用いて眼の開閉度を算出する（ステップＳ３０５）。具体的には、時刻ｔ＝ｔ_ｎ１［ｓ］で（１枚の）画像から算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ１）と、特徴変化量Ｆｅａｔｕｒｅ２（ｔ_ｎ１）とを使用して眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ１）を算出する。なお、特徴変化量Ｆｅａｔｕｒｅ２（ｔ_ｎ１）は、瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_ｎ１）と、以前に入力された画像から算出した瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ_{ｎ１−ｎ１’}）（１≦ｎ_１’＜ｎ_１）との差である。この場合における重み（ｗ_１，ｗ_２）は（１，１）に設定する。

その後、システム制御回路１１２では、当該算出された眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ１）を閾値処理することで眼の開閉状態を判定し、その結果（眼閉じ、眼開き）を返す（ステップＳ３０６）。そして、この処理は終了する。

以上のように実施形態２によれば、図１３に示す人物Ａのように所定の眼の状態でない、つまり眼の細い人物でなければ、（１枚の）画像から得られた特徴量だけを使用して眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ１）を算出する。一方、図１３に示す人物Ｂのように、所定の眼の状態、つまり眼の細い人物であるならば、（１枚の）画像から得られた特徴量とその特徴変化量とを使用して眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ１）を算出する。このように眼の状態に基づいて眼の開閉度の算出方法を切り替えることで、眼の大きさの個人差によらず高精度な眼の開閉度状態を判定することができる。これにより、高精度な眼の開閉状態の検出を最小限の処理コストで実現させることができる。

（実施形態３）
次に、実施形態３について説明する。なお、実施形態３における装置の構成は、実施形態１で説明した図１と同様となるため、その説明については省略し、ここでは、相違点についてのみ説明する。

図１４は、実施形態３に係わる撮像装置１００における処理の流れの一例について説明する。なお、ステップＳ４００からステップＳ４０８までの処理は、実施形態１の図２におけるステップＳ１００からステップＳ１０８までの処理と同様となるため、その説明については省略する。

ステップＳ４０９において、ユーザにより第１のスイッチ（ピント合わせスイッチ）が押下されると（ステップＳ４０９でＹＥＳ）、実施形態１同様に、顔検出処理、ＡＥ・ＡＦ制御処理、スルー表示処理が実施される（ステップＳ４１０〜Ｓ４１２）。スルー表示後、所定時間の間、瞳孔特徴量の算出が行なわれる（ステップＳ４１３）。すなわち、実施形態２同様の方法により、所定時間内（時刻ｔ＝ｔ_２［ｓ］から時刻ｔ＝ｔ_ｎ２［ｓ］）に次々入力されてくるフレーム画像各々から瞳孔特徴量を算出する。

ここで、ユーザにより第２のスイッチ（撮影スイッチ）が押下されると（ステップＳ４１４でＹＥＳ）、撮影が行なわれる（ステップＳ４１５）。この場合、眼の開閉状態に関わらず撮影が行なわれる。このとき、撮影された撮影画像は、図１に示すメモリ１０８に一時的に記憶される。なお、メモリ１０８には、撮影された高解像度画像とは別に眼の開閉判定用に使用する圧縮された低解像度も記憶される。

また、ステップＳ４１４において、第２のスイッチが押下されなかった場合には（ステップＳ４１４でＮＯ）、再度、顔検出処理（ステップＳ４２０）、スルー表示処理（ステップＳ４２１）が行なわれた後、ステップＳ４１３の処理に戻る。

ステップＳ４１５において、撮影が行なわれると、システム制御回路１１２は、低解像度に圧縮された画像を使用して眼の開閉判定処理を行なう（ステップＳ４１６）。この眼の開閉度判定処理の詳細については後述する。

ここで、システム制御回路１１２は、撮像装置１００にクイックレビューを表示させる（ステップＳ４１７）。このとき、眼の開閉度判定処理により眼が閉じていると判定された場合には、例えば、”再度撮影しますか？”など再撮影を促すメッセージ表示を行なう。なお、再撮影を促すような表示を行なわないで強制的に再撮影を行なわせるようにしてもよい。

ユーザーが再撮影を行なうことを所望しなかった場合には（ステップＳ４１８でＮＯ）、システム制御回路１１２は、メモリ１０８に記憶されている高解像度の撮影画像をフラッシュメモリ等に記録させる（ステップＳ４１９）。そして、この処理は終了する。また、ユーザーが再撮影を行なうことを所望した場合には（ステップＳ４１８でＹＥＳ）、システム制御回路１１２は、次のフレーム画像に対して顔検出を行なうとともに（ステップＳ４２０）、スルー表示を行なう（ステップＳ４２１）。その後、ステップＳ４１３の処理に戻る。

ここで、図１５を用いて、図１４に示すステップＳ４１６における眼の開閉度判定処理の詳細について説明する。なお、説明の重複を防ぐため、実施形態３では、実施形態１及び実施形態２で説明した詳細な処理（例えば、瞳孔特徴量の検出方法や算出の仕方）についての説明は省略し、相違点を示す大きな流れについてのみ説明する。

この処理が開始されると、システム制御回路１１２は、まず、（図１４の）ステップＳ４１３で算出された時刻ｔ＝ｔ_２［ｓ］から時刻ｔ＝ｔ_ｎ２［ｓ］までの瞳孔特徴量（Ｆｅａｔｕｒｅ１（ｔ_２）・・・Ｆｅａｔｕｒｅ１（ｔ_ｎ２））を参照する。そして、（図１４の）ステップＳ４１０又は（図１４の）ステップＳ４２０で検出された顔における眼が開かれた状態を推定する（ステップＳ５００）。なお、所定の眼の状態か否かの判定は、実施形態２同様に、所定時間内の瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の最大値と最小値の幅（Ｌ）を所定閾値Ｌ_ｔｈと比較することによって行なわれる。なお、時刻ｔ＝ｔ_２［ｓ］から時刻ｔ＝ｔ_ｎ２［ｓ］までの瞳孔特徴量（Ｆｅａｔｕｒｅ１（ｔ_２）・・・Ｆｅａｔｕｒｅ１（ｔ_ｎ２））は前述したように図１のメモリ１０８に記憶されている。

判定の結果、所定の眼の状態、すなわち、眼が細いと判定された場合（ステップＳ５０１でＹＥＳ）、重み決定処理が実施される（ステップＳ５０２）。重み決定処理の詳細については後述する。この重み決定処理後、システム制御回路１１２は、実施形態１同様に、重み付け等の処理を行なった後、最終的な眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ２）を算出する（ステップＳ５０３）。すなわち、瞳孔特徴量と特徴変化量との両方を用いて眼の開閉度を算出する。

また、所定の眼の状態でない、つまり眼が細くなければ（ステップＳ５０１でＮＯ）、システム制御回路１１２は、実施形態１同様に、重み付け等の処理を行なった後、最終的な眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ２）を算出する（ステップＳ５０３）。この場合も、瞳孔特徴量と特徴変化量との両方を用いて眼の開閉度を算出することになる。

その後、システム制御回路１１２では、当該算出された眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ（ｔ_ｎ２）を閾値処理することで眼の開閉状態を判定し、その結果（眼閉じ、眼開き）を返す（ステップＳ５０４）。そして、この処理は終了する。

ここで、図１６を用いて、図１５に示すステップＳ５０２における重み決定処理の詳細について説明する。ここでは、重み決定に際して、Ｌ_ｔｈ１＞Ｌ_ｔｈ２の関係を有する閾値を用いる場合について説明する。なお、重みは、例えば、予め用意されたテーブルを使用することにより決定する。

この処理が開始されると、システム制御回路１１２は、まず、（図１４の）ステップＳ４１３で算出された所定時間内における瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の幅（Ｌ）がＬ＞Ｌ_ｔｈ１の関係を有するか否かの判定を行なう。Ｌ＞Ｌ_ｔｈ１となれば（ステップＳ６００でＹＥＳ）、重み（ｗ_１，ｗ_２）は、（１，１）に決定され（ステップＳ６０１）、この処理は終了する。

Ｌ＞Ｌ_ｔｈ１でなければ（ステップＳ６００でＮＯ）、Ｌ_ｔｈ１≧Ｌ＞Ｌ_ｔｈ２の関係を有するか否かの判定が行なわれる。Ｌ_ｔｈ１≧Ｌ＞Ｌ_ｔｈ２となれば（ステップＳ６０２でＹＥＳ）、重み（ｗ_１，ｗ_２）は、（１，２）に決定され（ステップＳ６０３）、この処理は終了する。一方、Ｌ≦Ｌ_ｔｈ２となれば（ステップＳ６０２でＮＯ）、重み（ｗ_１，ｗ_２）は、（１，５）に決定され（ステップＳ６０４）、この処理は終了する。つまり、所定時間内における瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の最大値と最小値の幅（Ｌ）が小さくなる程、眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ_ｎ２）の重みｗ_２を大きくする。

なお、図１５、図１６で説明した処理では、所定の眼の状態（眼の細い）に該当する場合にのみ、設定する重みを変更していたが、これに限られない。例えば、所定の眼の状態でない場合、例えば、眼の大きい人物である場合に、重みｗ_１を重みｗ_２よりも大きくしてもよい。

図１７、図１８は、所定の眼の状態を検出した場合に、特徴変化量Ｆｅａｔｕｒｅ２（ｔ_ｎ２）に基づき算出された眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ_ｎ２）の重みｗ_２を大きくすることにより得られる効果を説明する図である。

所定の眼の状態ではない、つまり眼が細くない図１７に示す人物Ａに対しては、ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ_ｎ２）の重みｗ_１と眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ_ｎ２）の重みｗ_２を１：１にする。

これに対して、所定の眼の状態である、つまり、図１７に示す人物Ｂのような眼の細い人物に対しては、ＢｌｉｎｋＤｅｇｒｅｅ１（ｔ_ｎ２）の重みｗ_１と眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ_ｎ２）の重みｗ_２を１：２とする。すなわち、重みｗ_２を大きくしてやる。これにより、人物Ａの状態２と、人物Ｂの状態４‘とを区別できる。更に、眼が細くない人物Ａの状態３と、眼が細い人物Ｂの状態５とを同じ眼の開閉度として判定することもできる。

また、図１８に示す人物Ｂのように、眼が非常に細い人物に対しては、特徴変化量Ｆｅａｔｕｒｅ２（ｔ_ｎ２）に基づき算出した眼の開閉度ＢｌｉｎｋＤｅｇｒｅｅ２（ｔ_ｎ２）の重みｗ_２を更に大きくする。これにより、眼の大きさの個人差によらない眼の開閉度判定を行なうことができる。

以上のように実施形態３によれば、所定時間内における瞳孔特徴量の変化により眼の開閉状態の判定対象となる人物の眼の大きさが所定の眼の状態（眼が細い）であるか否かを判定し、その結果に基づいて重み付けを変更し、眼の開閉度を判定する。これにより、眼の大きさによらず、より高精度な眼の状態を検出することができる。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、上述した実施形態２及び３においては、所定の眼の状態として、眼が細い状態を判定する場合について説明したが、これに限られず、所定の眼の状態として眼の大きな状態を判定するようにしてもよい。この場合にも、上記同様の処理が行なえることは言うまでもない。

また、上述した実施形態２及び３においては、所定の眼の状態を推定する際に、所定時間内における瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の最大値と最小値の幅（Ｌ）を所定閾値Ｌ_ｔｈと比較することにより行なっていたが、これに限られない。例えば、所定時間内における瞳孔特徴量Ｆｅａｔｕｒｅ１（ｔ）の平均値と所定閾値とを比較することにより所定の眼の状態を推定してもよい。

また、上述した実施形態１〜３で説明した処理は、その一部、若しくは全てを組み合わせて実施してもよい。例えば、実施形態２で説明した眼の開閉度の判定を方法を切り替える処理と、実施形態３で説明した重み決定処理とを組み合わせて実施してもよい。

なお、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置に内蔵されたコンピュータが該供給されたプログラムコードを読み出して実行することにより実施形態の機能が達成される場合をも含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

したがって、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳ（Operating System）に供給するスクリプトデータ等の形態であってもよい。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記録媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部又は全部を行ない、その処理によって前述した実施形態の機能が実現される。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ（Central Processing Unit）などが実際の処理の一部又は全部を行なう。

本発明の実施の一形態に係わる撮像装置１００の構成の一例を示す図である。図１に示す撮像装置１００における処理の流れの一例を示すフローチャートである。図２に示すステップＳ１１３における眼の開閉度判定処理の流れの一例を示すフローチャートである。画像正規化処理の概要の一例を示す図である。瞳孔特徴の検出対象となる領域を設定する際の処理の概要の一例を示す図である。瞳孔特徴検出結果の一例を示す図である。所定の関数ｆｕｎｃ_１により算出される眼の開閉度の値の分布の一例を示す図である。所定の関数ｆｕｎｃ_２により算出される眼の開閉度の値の分布の一例を示す図である。実施形態１に係わる効果の一例を説明するための第１の図である。実施形態１に係わる効果の一例を説明するための第２の図である。実施形態２に係わる眼の開閉度判定処理の流れの一例を示すフローチャートである。所定時間内における瞳孔特徴量の変化の一例を示す図である。実施形態２に係わる効果の一例を説明するための第１の図である。実施形態３に係わる撮像装置１００における処理の流れの一例を示すフローチャートである。図１４に示すステップＳ４１６における眼の開閉度判定処理の流れの一例を示すフローチャートである。図１５に示すステップＳ５０２における重み決定処理の流れの一例を示すフローチャートである。実施形態３に係わる効果の一例を説明するための第１の図である。実施形態３に係わる効果の一例を説明するための第２の図である。従来の課題を説明するための第１の図である。従来の課題を説明するための第２の図である。

符号の説明

１００撮像装置
１０１レンズ群
１０２光量調節装置
１０３撮像素子
１０４アナログ信号処理回路
１０５Ａ／Ｄ変換器
１０６メモリ制御回路
１０７デジタル信号処理回路
１０８メモリ
１０９Ｄ／Ａ変換器
１１０表示装置
１１１Ｉ／Ｆ
１１２システム制御回路
１１３露出制御回路
１１４焦点制御回路

Claims

画像を入力する入力手段と、
前記入力手段により入力された画像から人物の顔を検出する顔検出手段と、
前記顔検出手段により検出された顔から眼の開閉状態に係わる特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量と所定時間前に入力された画像から検出された顔より算出された特徴量との差を特徴変化量として算出する変化量算出手段と、
前記特徴量算出手段により算出された特徴量と前記変化量算出手段により算出された特徴変化量とに重みを設定する重み付け手段と、
前記重み付け手段により重みが設定された前記特徴量と前記特徴変化量とに基づいて前記顔検出手段により検出された顔における眼の開閉度合いを算出する開閉度算出手段と
を具備することを特徴とする眼の開閉度判定装置。
前記特徴量算出手段は、
前記入力手段により所定時間内に入力された複数の画像各々から検出された人物の顔より当該人物の眼の開閉状態に係わる特徴量を算出し、
前記開閉度算出手段は、
前記特徴量算出手段により前記複数の画像各々から算出された複数の特徴量における最大値と最小値との差が、予め設けられた閾値と所定の関係である場合には、前記重み付けされた特徴量だけに基づいて前記顔検出手段により検出された顔における眼の開閉度合いを算出する
ことを特徴とする請求項１記載の眼の開閉判定装置。
前記特徴量算出手段は、
前記入力手段により所定時間内に入力された複数の画像各々から検出された人物の顔より当該人物の眼の開閉状態に係わる特徴量を算出し、
前記重み付け手段は、
前記特徴量算出手段により前記複数の画像各々から算出された複数の特徴量に基づいて前記特徴量と前記特徴変化量とに対して設定する重みを変更する
ことを特徴とする請求項１又は２記載の眼の開閉度判定装置。
前記特徴量算出手段は、眼の開閉状態に係わる特徴量として瞳孔の特徴量を算出し、
前記重み付け手段は、
前記特徴量算出手段により前記複数の画像各々から算出された複数の特徴量における最大値と最小値との差が所定閾値より小さい場合には、前記特徴量よりも前記特徴変化量に設定する重みを大きくする
ことを特徴とする請求項３記載の眼の開閉度判定装置。
前記特徴量算出手段は、眼の開閉状態に係わる特徴量として瞳孔の特徴量を算出し、
前記重み付け手段は、
前記特徴量算出手段により前記複数の画像各々から算出された複数の特徴量における最大値と最小値との差が所定閾値より大きい場合には、前記特徴変化量よりも前記特徴量に設定する重みを大きくする
ことを特徴とする請求項３記載の眼の開閉度判定装置。
前記開閉度算出手段により算出された眼の開閉度合いを閾値処理することにより眼の開閉判定を行う開閉判定手段
を更に具備することを特徴とする請求項１又は２記載の眼の開閉度判定装置。
情報処理装置の眼の開閉度判定方法であって、
入力手段が、画像を入力する入力工程と、
顔検出手段が、前記入力工程により入力された画像から人物の顔を検出する顔検出工程と、
特徴量算出手段が、前記顔検出工程により検出された顔から眼の開閉状態に係わる特徴量を算出する特徴量算出工程と、
変化量算出手段が、前記特徴量算出工程により算出された特徴量と所定時間前に入力された画像から検出された顔より算出された特徴量との差を特徴変化量として算出する変化量算出工程と、
重み付け手段が、前記特徴量算出工程により算出された特徴量と前記変化量算出工程により算出された特徴変化量とに重みを設定する重み付け工程と、
開閉度算出手段が、前記重み付け工程により重みが設定された前記特徴量と前記特徴変化量とに基づいて前記顔検出工程により検出された顔における眼の開閉度合いを算出する開閉度算出工程と
を含むことを特徴とする眼の開閉度判定方法。
コンピュータを、
画像を入力する入力手段、
前記入力手段により入力された画像から人物の顔を検出する顔検出手段、
前記顔検出手段により検出された顔から眼の開閉状態に係わる特徴量を算出する特徴量算出手段、
前記特徴量算出手段により算出された特徴量と所定時間前に入力された画像から検出された顔より算出された特徴量との差を特徴変化量として算出する変化量算出手段、
前記特徴量算出手段により算出された特徴量と前記変化量算出手段により算出された特徴変化量とに重みを設定する重み付け手段、
前記重み付け手段により重みが設定された前記特徴量と前記特徴変化量とに基づいて前記顔検出手段により検出された顔における眼の開閉度合いを算出する開閉度算出手段
として機能させるためのプログラム。
画像を入力する入力手段と、
前記入力手段により入力された画像から人物の顔を検出する顔検出手段と、
前記顔検出手段により検出された顔から眼の開閉状態に係わる特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量と所定時間前に入力された画像から検出された顔より算出された特徴量との差を特徴変化量として算出する変化量算出手段と、
前記特徴量算出手段により算出された特徴量と前記変化量算出手段により算出された特徴変化量とに重みを設定する重み付け手段と、
前記重み付け手段により重みが設定された前記特徴量と前記特徴変化量とに基づいて前記顔検出手段により検出された顔における眼の開閉度合いを算出する開閉度算出手段と、
前記開閉度算出手段により算出された眼の開閉度合いを閾値処理することにより眼の開閉判定を行う開閉判定手段と、
前記開閉判定手段による眼の開閉度判定の結果に基づいて撮影する撮像手段と
を具備することを特徴とする撮像装置。