JP5051091B2 - 撮像装置、画像信号処理装置、撮像方法、および画像信号処理方法 - Google Patents

Description

本発明は、人物像を含む動画像や静止画像を撮像または処理する撮像装置、画像信号処理装置、撮像方法、および画像信号処理方法に関する。

デジタルカメラやビデオカメラ等の撮像装置では、主たる被写体に焦点を合わせるオートフォーカス（ＡＦ）機能や、シャッタ速度、絞りの大きさにより露光を調整するオートエキスポージャ（ＡＥ）機能が搭載され、撮像環境の違いをこのような撮像制御（焦点調整、露光調整等）を用いて補正し、被写体をきれいに撮像することができる。このうち露光調整は、露出計により計測された露出値を用いて、撮像時におけるＣＣＤ（Charge Coupled Devices）等の撮像素子への光の受光時間、所謂、露光時間を変更することで為される。

また、被写体の露光が少なく露光時間が長く設定される場合に、手ぶれによって撮像素子に当たる光が変動すると画像のぶれが生じてしまう。ここでは、手ぶれによるぶれ量を検出し、そのぶれ量を相殺する方向に撮像素子を駆動することで、ぶれの無い画像を生成することができる。

しかし、上述した技術では被写体すべてに対する手ぶれは除去できるものの、露光時間内における被写体の移動による背景に対するぶれは回避できない。そこで、露光時間を分割して、分割した露光時間に基づく複数回の撮像を行い、撮像された複数の画像のずれを考慮しつつ合成する技術が知られている（例えば、特許文献１）。
２００６−５４５１８号公報

上述した技術を用いて、例えば、露出計により適正な露光時間が１／８秒間とされたとき、その露光時間を１／３２秒間の４つのフレームに時分割して連続撮像を行うことを想定する。このとき、被写体が背景に対して変動したとしても、被写体の動きベクトルと背景の動きベクトルとを個別に検出し、それぞれの動きベクトルを相殺するようにずらしながら合成する。かかる技術では、適切な露光を維持しつつ、被写体の背景に対するぶれを削除することができる。

ところで、このような撮像時において、被写体である人物は無意識に瞬きをしてしまうことがある。このような瞬きにおいて目を閉じている時間は約０．２秒間と言われているので、上述した時分割撮像を行うと、１／３２秒間の４つのピクチャのうち１または複数が目を閉じた状態で撮像される可能性がある。このような状況下においても上述した時分割撮像の技術を一様に用いてしまうと、人物全体は鮮明であるが、目の部分だけがぼけた画像しか得られず、却って違和感を覚える結果を招いていた。

本発明は、このような課題に鑑み、露光時間中に被写体である人物が瞬きを行った場合においても、目の領域が鮮明な画像を得ることが可能な撮像装置、画像信号処理装置、撮像方法、および画像信号処理方法を提供することを目的としている。

上記課題を解決するために、本発明の撮像装置の代表的な構成は、露出値から露光時間を導出する駆動制御部と、導出された露光時間を複数に時分割した分割露光時間で撮像部に時分割画像を撮像させる時分割撮像部と、露光時間に撮像された複数の時分割画像それぞれから人物の目を示す領域を検出する目検出部と、検出された領域の面積を複数の時分割画像間で比較し、それら複数の時分割画像中に、他の時分割画像よりも面積が所定の割合以下のものが存在する場合には、その時分割画像における目を示す領域を合成しない領域と判定する判定部（開閉判定部）と、判定部により合成しない領域であると判定された目を示す領域を除いて複数の時分割画像を合成する画像合成部と、を備えることを特徴とする。

本発明によれば、露光時間を時分割した分割露光時間で時分割画像を連続的に取得し、それらを合成することで、適切な露光を維持しつつ、ノイズ低減、撮像者による手ぶれ、被写体の背景に対するぶれを回避することができる。また、複数の時分割画像から目が閉状態にある時分割画像を除くことで、目が開状態にある時分割画像のみを合成することが可能となり、目の領域が鮮明な合成画像を得ることができる。

判定部（開閉判定部）は、少なくとも人物の目を示す領域における虹彩色部分の面積の比較に基づいて判定を行うとしてもよい。

かかる構成により、画像合成部は、虹彩色の画素数、即ち虹彩の面積を通じて目の開閉状態を確実に認識することが可能となり、目が開状態にある適切な時分割画像を合成することができる。

本発明の撮像方法の代表的な構成は、露出値から露光時間を導出し、導出された露光時間を複数に時分割した分割露光時間で時分割画像を撮像させ、露光時間に撮像された複数の時分割画像それぞれから人物の目を示す領域を検出し、検出された領域の面積を複数の時分割画像間で比較し、それら複数の時分割画像中に、他の時分割画像よりも面積が所定の割合以下のものが存在する場合には、その時分割画像における目を示す領域を合成しない領域と判定し、合成しない領域であると判定された目を示す領域を除いて複数の時分割画像を合成することを特徴とする。

上述した撮像装置における技術的思想に対応する構成要素やその説明は、当該撮像方法にも適用可能である。

本発明の画像信号処理装置の代表的な構成は、動画像データから、時間的に連続する複数のピクチャを抽出するピクチャ抽出部と、ピクチャ抽出部が抽出した複数のピクチャそれぞれから人物の目を示す領域を検出する目検出部と、検出された領域の面積を複数のピクチャ間で比較し、それら複数のピクチャ中に、他のピクチャよりも面積が所定の割合以下のものが存在する場合には、そのピクチャにおける目を示す領域を合成しない領域と判定する判定部と、判定部により合成しない領域であると判定された目を示す領域を除いて複数のピクチャを合成する画像合成部と、を備えることを特徴とする。

本発明によれば、動画像データ中の複数のピクチャを連続的に取得し、それらを合成することで、ノイズ低減、撮像者による手ぶれ、被写体の背景に対するぶれを回避することができる。また、複数のピクチャから目が閉状態にあるピクチャを除くことで、目が開状態にあるピクチャのみを合成することが可能となり、目の領域が鮮明な合成画像を得ることができる。

判定部は、少なくとも人物の目を示す領域における虹彩色部分の面積の比較に基づいて判定を行うとしてもよい。

かかる構成により、画像合成部は、虹彩色の画素数、即ち虹彩の面積を通じて目の開閉状態を確実に認識することが可能となり、目が開状態にある適切なピクチャを合成することができる。

本発明の画像信号処理方法の代表的な構成は、動画像データから、時間的に連続する複数のピクチャを抽出し、抽出された複数のピクチャそれぞれから人物の目を示す領域を検出し、検出された領域の面積を複数のピクチャ間で比較し、それら複数のピクチャ中に、他のピクチャよりも面積が所定の割合以下のものが存在する場合には、そのピクチャにおける目を示す領域を合成しない領域と判定し、合成しない領域であると判定された目を示す領域を除いて複数のピクチャを合成することを特徴とする。

上述した画像信号処理装置における技術的思想に対応する構成要素やその説明は、当該画像信号処理方法にも適用可能である。

本発明では、露光時間中に被写体である人物が瞬きを行った場合においても、目の領域が鮮明な画像を得ることが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

被写体を撮像する時間は、非常に短時間であるが、その短時間の間に被写体としての人物が無意識に瞬きをしてしまうことがある。露出計を通じて導出された露光時間すべてを使って行う単純な撮像では、その間に瞬きをしてしまうと目を閉じた画像が生成されてしまう。

そこで、露光時間を時分割して、時分割した露光時間に基づく複数回の撮像を行い、撮像された複数の画像のずれを考慮しつつ合成する技術を採用すれば、複数の画像によって被写体のノイズを低減できる。しかし、目の開閉といった差が明確な画像を単純にフィルタリングすると、人物全体は鮮明であるが、目の部分だけがぼけた画像しか得られず、却って違和感を覚える結果を招くこととなる。

以下の実施形態では、露光時間中に被写体である人物が瞬きを行った場合においても、目の領域が鮮明な画像を得ることを目的としている。以下、第１の実施形態として、撮像装置の構成とその撮像装置を用いた撮像方法を述べ、その後、第２の実施形態として、画像信号処理装置の構成とその画像信号処理装置を用いた画像信号処理方法を述べる。

（第１の実施形態：撮像装置１００）
図１は、撮像装置１００の一例を示した外観図である。図１（ａ）は所謂デジタルカメラを、図１（ｂ）はビデオカメラを示している。撮像装置１００は、携帯性を有し、本体１０２と、撮像レンズ１０４と、操作部１０６と、ビューファインダ１０８とを含んで構成される。

本体１０２は、撮像レンズ１０４を通じて撮像された画像信号を再視聴可能に記憶すると共に、操作部１０６へのユーザ入力に応じてその記憶タイミングや画角を調整する。また、ユーザからの野外、屋内、夜景等の撮像モードの切り換え入力を受付けてそれに対応した処理を実行する。ユーザは、撮像時において、ビューファインダ１０８に表示された画像を参照し、実録される画像信号を視認することができ、被写体を所望する位置および占有面積で捉えることが可能となる。かかるビューファインダ１０８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成される。

図２は、撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、操作部１０６と、画像処理部１２６と、記憶Ｉ／Ｆ部１２８と、画像出力部１３０と、撮像制御部１３２と、メイン記憶部１３４とを含んで構成される。なお、画像記憶部１２４、操作部１０６、画像処理部１２６、記憶Ｉ／Ｆ部１２８、画像出力部１３０、撮像制御部１３２、およびメイン記憶部１３４は、システムバス１３６を介して接続されている。

撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像信号を生成する。撮像部１２０は、具体的に、近赤外光を遮るＩＲカットフィルタ１４０、焦点調整に用いられるフォーカスレンズ１４２、露光調整に用いられる絞り１４４、複数のシャッタ羽根１５８の開閉により露光時間（光量）を調整可能なシャッタ１４６、撮像レンズ１０４を通じて入射する被写体像等の光を光電変換し画像信号を生成するＣＣＤ等で構成される撮像素子（撮像回路）１４８、撮像素子１４８からの画像信号を増幅する増幅器１５０、増幅された画像信号をデジタルの画像信号に変換するＡ／Ｄ変換器１５２、ならびに、フォーカスレンズ１４２、絞り１４４、シャッタ１４６の駆動を制御する駆動制御部１５４およびその駆動回路１５６、を含んで構成される。

ここで、駆動制御部１５４は、操作部１０６に含まれるレリーズスイッチを通じたユーザ入力に応じて、即ち、レリーズスイッチの半押しを検知したとき、信号処理部１２２で処理される画像信号に基づいて被写体の焦点調節や輝度測定（測光）を行い、この測光結果である露出値に基づいてシャッタ１４６の開閉時間、即ち露光時間を導出している。そして、ユーザがレリーズスイッチを押し進めると、駆動制御部１５４は、画像記憶のための露光動作、即ちシャッタ羽根１５８の開口を開始し、導出された露光時間が経過した後、シャッタ羽根１５８を閉じる。

信号処理部１２２は、入力された信号に対して輝度信号や色信号を形成し、さらなる信号処理を行ってカラー映像信号を形成し、画像記憶部１２４に格納する。また、画面の平均輝度を求める等して、その制御信号を駆動制御部１５４へ出力する。

画像記憶部１２４は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され、画像データを一時的に記憶し、画像処理部１２６等にその画像信号を参照させることができる。

操作部１０６は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等のスイッチから構成され、ユーザの操作入力を受け付ける。

画像処理部１２６は、画像記憶部１２４からの画像信号をＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ等の形式で符号化および圧縮して記憶用の画像データを生成する。また、画像処理部１２６は、撮像制御部１３２の指示により画像データを縮小してビューファインダ１０８に表示するためのビュー画像を生成する。一方、記憶用のデータを再生する際、画像処理部１２６は、圧縮された画像データを伸長および復号する処理を実行する。

記憶Ｉ／Ｆ部１２８は、画像処理部１２６を通じて符号化された記憶信号（データストリーム）を任意の記憶媒体１６０に記憶する。任意の記憶媒体１６０としては、ＤＶＤやＢＤといった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の媒体を適用することができる。

画像出力部１３０は、Ｄ／Ａ変換器を含んで構成され、画像記憶部１２４から取得したデジタルの画像信号を視聴可能な画像信号に加工して、ビューファインダ１０８に出力する。撮像者（ユーザ）は、かかるビューファインダ１０８の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の出力先をビューファインダ１０８としたが、画像出力部１３０は、外部に画像出力を行うための映像端子を有しているため、別体のモニタ等様々な画像表示装置に接続することも可能である。

撮像制御部１３２は、半導体集積回路により撮像装置１００全体を管理および制御し、撮像等に必要となる各種演算を実行する。メイン記憶部１３４は、撮像制御部１３２で処理されるプログラム等を記憶する。

また、撮像制御部１３２は、時分割撮像部１７０、動きベクトル導出部１７２、顔検出部１７４、目検出部１７６、開閉判定部１７８、画像合成部１８０、画像変換部１８２としても機能する。

時分割撮像部１７０は、駆動制御部１５４において導出された露光時間を複数に時分割した分割露光時間で、撮像部１２０に時分割画像を撮像させる。露出値を用いて得られた露光時間が所定の閾値よりも長い場合には、手ぶれによる画質の劣化が問題となる。本実施形態では、導出された露光時間、例えば１／８秒間を複数に時分割し、時分割された短い露光時間、例えば１／３２秒間で複数回（例えば４回）連続して撮像を実行し、その複数の画像（時分割画像）を合成することで、ノイズの影響を低減し画質の改善を図る。

図３は、時分割撮像部１７０の指示に応じて撮像された時分割画像２００の例を示した説明図である。ここでは、例えば１／３２秒間の露光時間で４枚の時分割画像２００が撮像されている。撮像された各時分割画像２００の画素数が異なる場合、画素の補間等を行って画素数を等しくする。図３を参照すると、被写体としての３人の人物のうち、右に位置する子供は、図３（ｃ）および図３（ｄ）で目が閉じられた状態で撮像されている。これは撮像中に子供が瞬きをしたものと考えられる。

かかる４枚の時分割画像２００は、総和時間としても約１／８秒間といった短時間の画像なので、時分割画像２００中のそれぞれの位置の大きな移動はなく、かかる４つの時分割画像２００を合成すると、適切な露光を維持しつつ、ノイズの低減を図ることができる。しかし、４つの時分割画像２００を単純なフィルタリング、例えば、加算平均すると開いた状態と閉じた状態が平均化される子供の目の部分だけがぼけた画像となり、違和感を覚えることとなる。そこで本実施形態では以下の構成を用いてかかる問題を回避する。

動きベクトル導出部１７２は、時分割撮像部１７０によって撮像された複数の時分割画像２００間の動きベクトルを導出する。この動きベクトルの導出は、例えば図３において、任意の時分割画像２００、例えば１枚目の時分割画像２００を中心に、１枚目と２枚目、１枚目と３枚目、１枚目と４枚目といった３つの時分割画像２００間のブロックマッチングによって為される。ブロックマッチングは、所定の大きさの矩形領域のブロックについて、参照画像と元の画像との相関を算出する方法である。

図４は、ブロックマッチングを説明するための説明図である。例えば、図４（ａ）、（ｂ）といった撮像時刻が異なる２つの時分割画像２００があり、時分割画像２００中で被写体が移動したとする。ブロックマッチングでは、まず、元の時分割画像（図４（ａ））の任意の位置で、水平方向の複数画素および垂直方向の複数ラインからなる所定の大きさの矩形領域からなるターゲットブロック２０２が設定される。

これに対して、参照時分割画像（図４（ｂ））では、元の時分割画像のターゲットブロック２０２の位置と同じ位置に、ターゲットブロック２０２を射影した射影イメージブロック２０４を想定し、このターゲットブロック２０２の射影イメージブロック２０４を中心としたサーチ範囲２０６を設定する。

そして、ターゲットブロック２０２と同じ大きさの参照ブロック２０８を仮定し、参照ブロック２０８の位置をサーチ範囲２０６内において移動させ、各位置において参照ブロック２０８に含まれる画像内容と、ターゲットブロック２０２の画像内容との相関を求め、最も相関が強いとして検出された参照ブロック２０８の位置を、元の時分割画像のターゲットブロック２０２が、参照時分割画像において移動した位置と特定する。

そして、その検出した参照ブロック２０８の位置と、ターゲットブロック２０２の位置との変位量を、方向成分を含む移動量としての動きベクトルとする。

ここで、ターゲットブロック２０２と、サーチ範囲２０６内を移動する各参照ブロック２０８との相関は、ターゲットブロック２０２内の各画素の輝度値と、参照ブロック２０８内の対応する各画素の輝度値との差分の絶対値の、ブロック内の全画素における総和（この差分の絶対値の総和を差分絶対値和と呼び、以下、この差分絶対値和を単にＳＡＤ（Sum of Absolute Difference）値という。）を求めることにより検出する。即ち、ＳＡＤ値が最小となる位置の参照ブロック２０８が最も相関が強い参照ブロックとして検出される。

このようなブロックマッチングによって動きベクトルが求まると、その動きベクトルを相殺するように画像を加工することで、撮像者の手ぶれによる画像のぶれを回避することができる。しかし、被写体の移動によるぶれ、即ち同一画像内の例えば背景に対する相対的な移動は単純な手ぶれ補正では回避することができない。そこで、移動している物体と静止している背景とを分離して、それぞれ個別に動きベクトルを推定することで被写体の背景に対するぶれをも回避することができる。

図５は、時分割画像２００の各ブロックの動きベクトルを示した説明図である。図５における矩形は水平方向の複数画素および垂直方向の複数ラインからなるブロック２１０を表し、矢印は各ブロック２１０の動きベクトル２１２を表す。

ここでは、各ブロック２１０の動きベクトル２１２を、周辺のブロック２１０の動きベクトル２１２と比較する。任意のブロック２１０と、動きベクトル２１２の向きおよび大きさが類似する、隣接するブロック２１０については、その任意のブロック２１０を一つのグループとして扱うことができる。こうして、変位量が等しい移動体毎の複数のグループを生成することができる。

例えば、図５の例では、動きベクトルが右斜め上に向いているａ行３列〜４列、ｂ行２列〜５列、ｃ行３列〜５列、ｄ行３列〜６列、ｅ行１列〜６列の破線で囲まれたブロック２１０群を一つのグループとし、他と区別して考えることができる。

ここで、任意のブロック２１０の周辺のブロック２１０同士は動きベクトルの向きおよび大きさが類似しているのに、そのうちの少数のブロック２１４の動きベクトルだけが類似していない場合、そのブロック２１４の動きベクトルを周辺のブロック２１０の動きベクトルに置き換えることができる。

例えば、図５の例では、ｂ行３列のブロック２１４については、上下左右のブロック２１０の動きベクトル２１２が類似している中で、類似していない動きベクトル２１２となっている。そこで、ｂ行３列のブロック２１４の動きベクトル２１２を上下左右のブロック２１０の動きベクトル２１２のいずれか、あるいはそれらの平均と置き換える。ｄ行４列のブロック２１４についても同様に動きベクトル２１２の置き換えを実行する。このような処理を行うことで、移動体を確実に一つのグループとして扱うことができ、動きベクトルの誤検出を防止することができる。

ただし、動きベクトルを置き換えたブロック２１４に対応する参照ブロック２０８とのＳＡＤ値が設定した閾値よりも大きい場合には、そのブロック２１４の動きベクトルは無効とする。

例えば図５の例では、ｃ行２列やｄ行２列のブロック２１０の動きベクトル２１２については、それぞれ上下左右のブロック２１０の動きベクトル２１２と類似していない。また、上下左右のブロック２１０の動きベクトルいずれか、あるいはそれらの平均と置き換えて、参照ブロック２０８とのＳＡＤ値を算出すると、そのＳＡＤ値が閾値よりも大きくなり得る。この場合、動きベクトルを置き換えず、動きベクトル２１２を無効にする。無効な動きベクトル２１２のブロック２１０については、後述する画像合成部１８０での加算平均処理の対象から除外することとなる。このような処理を行うことで、１枚目の時分割画像２００には存在しない物体が２枚目の時分割画像２００に唐突に出現した場合に、誤って加算平均してしまう事態を回避することができる。

動きベクトル導出部１７２は、このようにして１枚目の時分割画像２００と２枚目の時分割画像２００間の動きベクトル２１２を導出すると、導出されたブロック２１０毎の動きベクトル２１２の情報を、一旦メイン記憶部１３４に格納する。そして、同様に、１枚目と３枚目、または１枚目と４枚目の時分割画像２００間の動きベクトル２１２も導出する。

顔検出部１７４は、画像記憶部１２４に記憶された１枚目の時分割画像２００から顔領域を検出する。このように顔領域が検出されると、顔検出部１７４は、顔領域の位置情報と、顔領域の大きさ情報とを目検出部１７６に伝達する。

かかる領域の検出は、例えば、テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示される、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法や、電子情報通信学会誌Ｖｏｌ．７４−Ｄ−II、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）の「静止濃淡情景画像からの顔領域の抽出」に示される、髪や目や口等正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法等、既存の様々な技術を単独または組み合わせて用いることができる。

目検出部１７６は、複数の時分割画像２００それぞれから人物の目を検出する。目検出部１７６は、まず、顔検出部１７４から伝達された１枚目の時分割画像２００における顔領域中の目の検出を行う。目の検出は、例えば、特開平９−２５１３４２号公報等に記載されている技術等、既存の様々な技術を利用することができる。

続いて、目検出部１７６は、目領域のうち虹彩（黒目）部分の面積を測定する。これは、検出された目領域内の画素を輝度の値で２値化し、２値化の結果から目の領域内の虹彩色（黒）の画素数を数えることで為される。

図６は、虹彩部分の画素数計算の一例を示したイメージ図である。例えば、図６中「×」で示した部分が各画素の中心点とする。すると、図６の目領域２５０中の虹彩部分２５２は、１０の画素を占有しているので、画素数は「１０」となる。

次に、目検出部１７６は、検出した目に対して、時分割画像２００内の位置に対応するインデックスを付す。

図７は、目検出部１７６によって付されるインデックスを示したイメージ図である。例えば、図７のように時分割画像２００をさらに小さな領域２７０に領域分割し、その領域分割した領域の左上から右下に向かって識別番号を付す。従って、最上部の行には１からｎの識別番号が付され、次の行には、ｎ＋１から２・ｎの識別番号が付される。その下の行も同様に識別番号が付されるので、最下部の行は（ｍ−１）・ｎ＋１からｍ・ｎとなる（ｎ、ｍは整数）。

この領域分割した領域２７０のうち、最も小さい番号が付された領域２７０内で検出された目に「Ａ」のインデックスを、次に小さい番号がふられた領域内で検出された目に「Ｂ」のインデックスをつける。以下、同様にして、Ｃ、Ｄ、Ｅ、Ｆ、…と、検出された目にアルファベットのインデックスをつける。図７の例では、３人の人物による６つの目に対して、ＡからＦのインデックスがつけられている。そして、先程計算されたそれぞれ目に対する虹彩部分２５２の画素数（面積）は、インデックスおよび目の位置情報と共にメイン記憶部１３４に一時的に記憶される。

１枚目の時分割画像２００に関するインデックス処理までを終えた目検出部１７６は、次に２枚目の時分割画像２００について、動きベクトル導出部１７２が導出したブロック２１０毎の動きベクトルの情報と、１枚目の時分割画像２００内で検出された目の位置情報とに基づいて、１枚目の時分割画像２００内のそれぞれの目に対応する２枚目の時分割画像２００内の目の位置を算出する。また、目検出部１７６は、２枚目の画像について、動きベクトル導出部１７２が検出したブロック２１０毎の動きベクトルの情報と、１枚目の画像内で検出された顔の位置情報とから、１枚目の画像内のそれぞれの顔に対応する顔の位置を算出し、その後で、その顔領域内における目の検出を行うこともできる。いずれの場合においても、１枚目の時分割画像２００でインデックスがつけられた目それぞれに対応する２枚目の時分割画像２００における目を検出する。

続いて、目検出部１７６は、２枚目の時分割画像２００における上記検出された目に関して、虹彩部分２５２の画素数を導出する。測定した虹彩部分２５２それぞれの画素数は、１枚目の時分割画像２００同様、インデックス情報および目の位置情報と共にメイン記憶部１３４に一時的に記憶される。

こうして１枚目の時分割画像２００と、１枚目の時分割画像２００から２枚目の時分割画像２００への動きベクトルとによって２枚目の時分割画像２００の目に関する情報を生成すると、目検出部１７６は、同様の処理によって３枚目および４枚目の時分割画像２００の目に関する情報を生成する。

開閉判定部１７８は、目検出部１７６によって検出された目の開閉状態を時分割画像２００毎に判定する。詳細に、開閉判定部１７８は、複数の時分割画像２００それぞれの虹彩部分２５２の面積、即ち虹彩部分２５２の画素数を比較して目の開閉を判定する。本実施形態では目の開閉判定に虹彩部分２５２の面積を用いているが、かかる場合に限られず、虹彩部分２５２に網膜部分（白目部分）を合わせた目全体の面積によって開閉判定を行ってもよい。

開閉判定部１７８は、「Ａ」のインデックスが付された目についての開閉判定を試み、「Ａ」のインデックスが付された虹彩部分２５２の画素数を１〜４枚目の時分割画像２００で比較する。比較した結果、１〜４枚目の時分割画像２００で画素数がほぼ等しければ、例えば、±１０％の範囲内であれば、インデックス「Ａ」の目に関しては４枚すべて開状態“１”と判定し、画素数比較情報として４ビットのフラグ“１１１１”を生成し、メイン記憶部１３４に一時的に記憶する。かかるフラグはそれぞれ各時分割画像２００の目の開状態を示し、例えば、最上位ビットは１枚目の時分割画像２００の開状態を示す。かかる開状態“１“は、後述する画像合成部１８０における加算平均時に利用できることを表す。

一方、時分割画像２００を比較した結果、任意の時分割画像２００の虹彩部分２５２の画素数だけが他の時分割画像２００の虹彩部分２５２の画素数より１０％以上小さい場合、そのインデックスの画素数比較情報の画素数の少ない時分割画像２００に対応するビットが“０”となる。従って、例えば、インデックス「Ｅ」の３枚目および４枚目の時分割画像２００の虹彩部分２５２の画素数が少ない場合、画素数比較情報は“１１００”となって、後半２つの時分割画像２００に関する目領域２５０の画像は、瞬きしたときの目を閉じた画像であると見なされ、画像合成部１８０では利用されないこととなる。

このような開閉判定部１７８による判定を例えば図３および図７の時分割画像２００に適用すると、インデックス「Ａ」の画素数比較情報は“１１１１”となり、同様に、インデックス「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」の画素数比較情報は“１１１１”、“１１１１”、“１１１１”、“１１００”、“１１００”となる。

画像合成部１８０は、動きベクトル導出部１７２が導出した動きベクトル２１２に基づいて、開閉判定部１７８によって目が閉状態にあると判定された時分割画像２００の目の部分を除いて、複数の時分割画像２００を合成する。詳細に、開閉判定部１７８が虹彩部分２５２の画素数比較処理を終了した後、画像合成部１８０は、画像記憶部１２４から合成対象となる４枚の時分割画像２００を読み出すと共に、メイン記憶部１３４から動きベクトル導出部１７２で導出された動きベクトル情報を読み出す。画像合成部１８０は、さらに、メイン記憶部１３４から、合成対象となる４枚の時分割画像２００の目のインデックス、目の位置情報、虹彩部分２５２の画素数、画素数比較情報を読み出す。

以後の合成処理では、動きベクトル２１２が類似するブロック２１０を合わせたグループ毎に合成が行われるが、ここでは理解を容易にするため単なるブロック２１０毎の合成のみを説明する。

画像合成部１８０は、１枚目の時分割画像２００に対して、２枚目の時分割画像２００の各ブロックを、その動きベクトルに基づいて重畳する。同様に、３枚目および４枚目の時分割画像２００のブロックもそれぞれの動きベクトルに基づいて重畳する。ここで、１枚目の時分割画像２００の任意の画素Ｙ１に、２〜４枚目の時分割画像２００の対応した画素Ｙ２、Ｙ３、Ｙ４を重畳する場合、重畳後の画素の値は、Ｙ１、Ｙ２、Ｙ３、Ｙ４の加算平均（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）／４となる。

また、上記と同様の状況下で、画素数比較情報が“１１００”であった場合、加算平均の対象は１枚目と２枚目のみとなり、重畳後の画素の値は、２枚分のみの加算平均（Ｙ１＋Ｙ２）／２となる。ここでは、加算される画素が２枚分と少なくなるが、除数もそれに合わせて「２」となるので、重畳後の画素の値は４枚の場合とほぼ等しいレベルになる。例えば、画素数比較情報が“１００１”であった場合にも、重畳後の画素の値は、（Ｙ１＋Ｙ４）／２となり、やはり４枚の場合とほぼ等しいレベルの画素の値を得ることができる。

ここで、すべての時分割画像２００の目が閉じられていた場合、目が閉じられた状態の画素数で各時分割画像２００が等しくなるので画素数比較情報は“１１１１”となり、目が閉じられた鮮明な画像を得ることができる。これは、目が開いた時分割画像２００が１つでもあれば目が開いた鮮明な画像を得ることができ、目を閉じたまま撮像するとそのままの画像になることを示している。画像合成部１８０は、こうして重畳された画像を画像変換部１８２に伝達する。

画像変換部１８２は、画像合成部１８０からの画像にガンマ補正等の画像補整を施し、さらに符号化および圧縮処理を実行する。こうして生成された画像データは、記憶Ｉ／Ｆ部１２８を通じて記憶媒体１６０に記憶される。

以上、説明した撮像装置１００によって、露光時間中に被写体である人物が瞬きを行った場合においても、目の領域が鮮明な画像を得ることが可能となる。以下、撮像装置１００を用いた具体的な処理動作を説明する。

（撮像方法）
図８は、撮像方法の処理の流れを説明したフローチャートである。撮像装置１００は、ユーザによる撮像入力（レリーズスイッチの押下）を受け付けると（Ｓ３００のＹＥＳ）、撮像装置１００の駆動制御部１５４は、信号処理部１２２で処理される画像信号に基づいて被写体の輝度測定（測光）を行い、この測光結果である露出値に基づいてシャッタ１４６の開閉時間、即ち露光時間を導出する（Ｓ３０２）。そして、時分割撮像部１７０は、導出された露光時間を複数に時分割した分割露光時間で撮像部１２０に時分割画像２００を撮像させ、その時分割画像２００を画像記憶部１２４に記憶させる（Ｓ３０４）。

そして、顔検出部１７４は、複数の時分割画像２００のうち１枚目を抽出し（Ｓ３０６）、顔領域の位置情報、顔領域の大きさ情報を生成する（Ｓ３０８）。目検出部１７６は、顔検出部１７４から伝達された１枚目の時分割画像２００における顔領域中の目の検出を行い（Ｓ３１０）、検出された目それぞれの虹彩部分２５２の画素数を計算し、インデックス情報、目の位置情報と共に記憶する（Ｓ３１２）。

かかる１枚目の時分割画像２００の目に関する情報の生成と並行して、動きベクトル導出部１７２は、ブロックマッチングを用いて複数の時分割画像２００間の動きベクトルを導出する（Ｓ３１４）。動きベクトル導出部１７２は、さらに、各ブロック２１０の周囲ブロックの動きベクトルと比較してブロック２１０をグループ化する（Ｓ３１６）。目検出部１７６は、１枚目の時分割画像２００の目に関する情報と、このようにして導き出された動きベクトルに基づいて、複数の時分割画像２００のうち２枚目以降の目に関する情報を生成する（Ｓ３１８）。

続いて、開閉判定部１７８は、検出された複数の時分割画像２００における目の開閉状態を判定し（Ｓ３２０）、画像合成部１８０は、動きベクトル導出部１７２が導出した動きベクトルに基づいて、複数の時分割画像２００を合成する（Ｓ３２２）。このとき画像合成部１８０は、開閉判定部１７８が生成した画素数比較情報を参照し、目領域２５０に関して、目が閉状態にある時分割画像２００を除き、目が開状態にある時分割画像２００のみの加算平均をとる。

かかる撮像方法を用いると、４つの時分割画像２００を撮像した際、例えば、図３（ａ）、（ｂ）、（ｃ）、（ｄ）のように、１または複数、目を閉じた画像が存在したとしても、最終的な合成画像は、図３（ａ）の如く目が開いた状態のみの画像となる。また、同一の撮像において、複数の人物が被写体となる場合、それぞれが異なるタイミングで瞬きすることも考えられるが、本実施形態では、目１つ１つについて個々に開閉判定され、開状態の目が参照されるため、目の開閉タイミングの相異に拘わらず、目の領域が鮮明な画像を得ることが可能である。

（第２の実施形態：画像信号処理装置４００）
第１の実施形態では、撮像者が所望する被写体を所望するタイミングで撮像可能な撮像装置１００を通じて目の領域が鮮明な画像を得る技術を説明した。第２の実施形態では、予め動画として撮像された連続する複数のピクチャから目の領域が鮮明な１つの画像を得る技術を説明する。かかる第２の実施形態による画像信号処理装置４００では、動画像データから静止画像データを生成することが可能となる。

図９は、画像信号処理装置４００の構成を示すブロック図である。画像信号処理装置４００は、読出Ｉ／Ｆ部４１０と、画像記憶部１２４と、操作部１０６と、画像処理部１２６と、画像出力部１３０と、再生制御部４１２と、メイン記憶部１３４とを含んで構成される。なお、画像記憶部１２４、操作部１０６、画像処理部１２６、画像出力部１３０、再生制御部４１２、およびメイン記憶部１３４はシステムバス１３６を介して接続されている。

第１の実施形態における構成要素として既に述べた、画像記憶部１２４、操作部１０６、画像処理部１２６と、画像出力部１３０と、メイン記憶部１３４とは、合成対象がピクチャであることを除き実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する読出Ｉ／Ｆ部４１０と、再生制御部４１２とを主に説明する。

読出Ｉ／Ｆ部４１０は、任意の記憶媒体１６０から符号化された記憶信号（データストリーム）を読み出し、画像記憶部１２４に記憶する。画像記憶部１２４に記憶された画像データは、画像処理部１２６によって伸張、復号され、画像出力部１３０を通じてモニタ４５０等に出力される。

再生制御部４１２は、半導体集積回路により画像信号処理装置４００全体を管理および制御し、画像信号を再生または処理するときに必要となる各種演算を実行する。また、再生制御部４１２は、ピクチャ抽出部４１４、動きベクトル導出部１７２、顔検出部１７４、目検出部１７６、開閉判定部１７８、画像合成部１８０、画像変換部１８２としても機能する。ここでも、動きベクトル導出部１７２、顔検出部１７４、目検出部１７６、開閉判定部１７８、画像合成部１８０、画像変換部１８２は第1の実施形態で既に説明しているので、構成が相異するピクチャ抽出部４１４のみ説明する。

ピクチャ抽出部４１４は、ユーザの静止画像の生成を所望する旨の入力に応じて、画像記憶部１２４に記憶されている画像データ、特に動画像データから生成を所望する画像をユーザに選択させ、選択決定されたピクチャの前後の所定数のピクチャを抽出する。こうして抽出された複数のピクチャは、第１の実施形態同様、動きベクトル導出部１７２、顔検出部１７４、目検出部１７６、開閉判定部１７８、画像合成部１８０を通じて１の合成画像を取得する。

このような画像信号処理装置４００においても、撮像装置１００同様、動画像データの一部（複数のピクチャ）を切り出し、合成することで、ノイズ低減、撮像者による手ぶれ、被写体の背景に対するぶれを回避することができ、さらに、その複数のピクチャ中に被写体である人物が瞬きを行った場合においても、目の領域が鮮明な画像を得ることが可能となる。

（画像信号処理方法）
図１０は、画像信号処理方法の処理の流れを説明したフローチャートである。第１の実施形態において図８を用いて既に説明した処理に関しては、処理対象が時分割画像２００ではなくピクチャであることを除いて実質的に処理が等しいので、同一の符号を付しその説明を省略する。

画像信号処理装置４００では、ユーザの静止画像の生成を所望する旨の入力を受け付けると、画像記憶部１２４に記憶されている動画像データから、生成を所望する画像をユーザに選択させ（Ｓ５００）、選択決定入力があると（Ｓ５００のＹＥＳ）、選択決定されたピクチャの前後の所定数のピクチャを抽出する（Ｓ５０２）。

そして、第１の実施形態同様、動きベクトル導出部１７２、顔検出部１７４、目検出部１７６、開閉判定部１７８、画像合成部１８０を通じて複数のピクチャを合成する（Ｓ３０８〜Ｓ３２２）。

かかる画像信号処理方法を用いると、ユーザにより選択決定された画像の前後複数のピクチャに目を閉じた画像が存在したとしても、最終的な合成画像は、目が開いた状態のみの画像となる。また、第１の実施形態同様、複数の連続したピクチャにおいて、複数の人物それぞれが異なるタイミングで瞬きすることも考えられるが、目１つ１つについて個々に開閉判定され、開状態の目が参照されるため、目の開閉タイミングの相異に拘わらず、目の領域が鮮明な画像を得ることが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の撮像方法や画像信号処理方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、人物像を含む動画像や静止画像を撮像または処理する撮像装置、画像信号処理装置、撮像方法、および画像信号処理方法に利用することができる。

第１の実施形態における撮像装置の一例を示した外観図である。 第１の実施形態における撮像装置の構成を示すブロック図である。 第１の実施形態における時分割撮像部の指示に応じて撮像された時分割画像の例を示した説明図である。 第１の実施形態におけるブロックマッチングを説明するための説明図である。 第１の実施形態における時分割画像の各ブロックの動きベクトルを示した説明図である。 第１の実施形態における虹彩部分の画素数計算の一例を示したイメージ図である。 第１の実施形態における目検出部によって付されるインデックスを示したイメージ図である。 第１の実施形態における撮像方法の処理の流れを説明したフローチャートである。 第２の実施形態における画像信号処理装置の構成を示すブロック図である。 第２の実施形態における画像信号処理方法の処理の流れを説明したフローチャートである。

符号の説明

１００ …撮像装置
１２０ …撮像部
１５４ …駆動制御部
１７０ …時分割撮像部
１７２ …動きベクトル導出部
１７４ …顔検出部
１７６ …目検出部
１７８ …開閉判定部
１８０ …画像合成部
２００ …時分割画像
４００ …画像信号処理装置
４１４ …ピクチャ抽出部

Claims (6)

1. 露出値から露光時間を導出する駆動制御部と、
   前記導出された露光時間を複数に時分割した分割露光時間で撮像部に時分割画像を撮像させる時分割撮像部と、
   前記露光時間に撮像された複数の時分割画像それぞれから人物の目を示す領域を検出する目検出部と、
   前記検出された領域の面積を前記複数の時分割画像間で比較し、それら複数の時分割画像中に、他の時分割画像よりも前記面積が所定の割合以下のものが存在する場合には、その時分割画像における目を示す領域を合成しない領域と判定する判定部と、
   前記判定部により合成しない領域であると判定された目を示す領域を除いて前記複数の時分割画像を合成する画像合成部と、
   を備えることを特徴とする撮像装置。
2. 前記判定部は、少なくとも前記人物の目を示す領域における虹彩色部分の面積の比較に基づいて前記判定を行うことを特徴とする請求項１に記載の撮像装置。
3. 露出値から露光時間を導出し、
   前記導出された露光時間を複数に時分割した分割露光時間で時分割画像を撮像させ、
   前記露光時間に撮像された複数の時分割画像それぞれから人物の目を示す領域を検出し、
   前記検出された領域の面積を前記複数の時分割画像間で比較し、それら複数の時分割画像中に、他の時分割画像よりも前記面積が所定の割合以下のものが存在する場合には、その時分割画像における目を示す領域を合成しない領域と判定し、
   前記合成しない領域であると判定された目を示す領域を除いて前記複数の時分割画像を合成することを特徴とする撮像方法。
4. 動画像データから、時間的に連続する複数のピクチャを抽出するピクチャ抽出部と、
   前記ピクチャ抽出部が抽出した複数のピクチャそれぞれから人物の目を示す領域を検出する目検出部と、
   前記検出された領域の面積を前記複数のピクチャ間で比較し、それら複数のピクチャ中に、他のピクチャよりも前記面積が所定の割合以下のものが存在する場合には、そのピクチャにおける目を示す領域を合成しない領域と判定する判定部と、
   前記判定部により合成しない領域であると判定された目を示す領域を除いて前記複数のピクチャを合成する画像合成部と、
   を備えることを特徴とする画像信号処理装置。
5. 前記判定部は、少なくとも前記人物の目を示す領域における虹彩色部分の面積の比較に基づいて前記判定を行うことを特徴とする請求項４に記載の画像信号処理装置。
6. 動画像データから、時間的に連続する複数のピクチャを抽出し、
   前記抽出された複数のピクチャそれぞれから人物の目を示す領域を検出し、
   前記検出された領域の面積を前記複数のピクチャ間で比較し、それら複数のピクチャ中に、他のピクチャよりも前記面積が所定の割合以下のものが存在する場合には、そのピクチャにおける目を示す領域を合成しない領域と判定し、
   前記合成しない領域であると判定された目を示す領域を除いて前記複数のピクチャを合成することを特徴とする画像信号処理方法。

Images