JP5393877B2 - 撮像装置および集積回路 - Google Patents

Description

本発明は、撮像装置の動き等に起因する画像の動き等の構図の変化を補正する画像動き補正装置に関する。

近年、民生用のデジタルスチルカメラやビデオカメラ（以下、「ビデオムービー」と称す）において、撮影時の手振れ等によって画面が不安定となりぶれ等を生じる問題があった。この問題を解決するため、画像動き補正装置を搭載するデジタルスチルカメラやビデオムービーが開発されたり、商品化されたりしている。

例えば、撮像装置の光学系に可変頂角プリズムを備え、加速度センサにより撮像装置自体の動きを検出し、この動きの検出結果に応じて可変頂角プリズムを駆動制御することで画像の動きを補正する方法がある（例えば、特許文献１参照）。

また別の例としては、例えば、変倍光学群または焦点調節群を有する結像光学系と、この結像光学系の光軸を偏心または傾動させる補正光学機構に関する提案がなされている（例えば、特許文献２、特許文献３参照）。

また、例えば、撮像素子（ＣＣＤ）を光軸に直交する方向に移動させることにより、画像の動きを補正する方法も知られている（例えば、特許文献４参照）。

上記のような画像動き補正装置において、動きの検出には撮像装置自体の振れを検出する角速度センサ（ジャイロセンサ）が主に用いられている。具体的には、撮像装置自体の動きの角速度を角速度センサで検出し、検出したデータに積分演算を施すことで撮像装置の振れ角を求め、この振れ角に応じて上述の可変頂角プリズム等を駆動制御している。そして、光学的に被写体の光学像を移動させることで画像の動きを補正する。

これらとは別に、電子処理によって画像の動きを補正する方法も知られている。
例えば、撮影した画像を一旦メモリに記憶し、同時に代表点マッチング法により連続する画像フレーム間の画像全体の動きベクトルを検出し、この動きベクトルに応じて上記メモリに記録した画像からその一部のみを読み出すことで、画像の動きを補正するものが知られている（例えば、特許文献５参照）。

他には、例えば、画像全体の動きベクトルではなく、画像中の人物被写体の顔の動きを検出して、被写体がぶれて写ることが無いように工夫された技術も存在する（例えば、特許文献６参照）。本技術においては被写体（顔）の動きに応じてぶれ抑制部を制御することで特許文献６の図４に示すように被写体像の画枠内での相対位置を固定することができる。つまり被写体像の動きを抑制する、もしくは被写体像を追尾して撮影することが可能である。

特開昭６２−１５３８１６号公報 特開平５−６６４５０号公報 特開平７−１２８６１９号公報 特開平９−２６１５２４号公報 特開平１−１２５０６４号公報 特開２００７−７４６２０号公報

以上のように画像動き補正装置に関しては複数種類の方法の提案および実用化が図られていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。

その１つとして、例えば、撮像装置自体の振れを角速度センサ（例えばジャイロセンサ）によって検出する場合、角速度センサの出力に含まれる極低周波のドリフト成分を除去するためのハイパスフィルタ（ＨＰＦ）が必要となる。このＨＰＦは角速度センサのドリフト成分除去には有効であるが、副作用として撮像装置自体のゆっくりとした動き信号までも除去又は低減してしまう。そのため角速度センサを用いた場合、撮像装置自体のゆっくりとした動きを正確に検出することが困難である。このため、カメラを手で保持して長時間撮影を続けていると、手又は体のゆっくりとした動きに応じた撮影画像の移動を補正できず、撮影開始時に撮影していた被写体像を長時間に亘って画枠内に捉え続けることは困難である。そのため撮影者は撮影中にカメラの表示装置（液晶画面又は電子ファインダー）を介して撮影画像を確認しながら撮影方向の微修正をこまめに行う必要があった。

同様の現象は、撮影画像から動きベクトルを検出する場合にも発生する。連続する画像フレーム間の動きベクトル検出の際、ゆっくりとした動きは動きベクトルとしては値が小さく誤差に埋もれやすくなり、結果的に上述と同じように被写体像を長時間に亘って画枠内に捉え続けることが難しい。

このような課題に対し、特許文献６のように、顔などの特定の被写体像を認識して、その被写体像が画枠内で一定位置に固定されるように光学素子を制御する方法は、追尾撮影とも言われ、有効な解決方法のひとつである。

しかし特許文献６に挙げた例においては、例えば複数の人物を撮影した場合には、画枠内の一定位置に固定し続けたい顔を、他の顔と区別して認識する必要があるが、顔の検出に比べて特定の顔の識別は非常に難しく、更に長時間撮影中には顔の向き、角度、表情などが変化するのが普通であるので、更に識別は困難である。

本発明は、上記課題を解決するためになされたもので、長時間に亘って複数の人物などの対象物を撮影した場合でも、画像のぶれを抑制し、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができる撮像装置を提供することを目的とする。また、当該撮像装置を実現するための集積回路を提供することを目的とする。

上述したような課題を解決するために、本発明に係る撮像装置は、
被写体の光学像を結像する撮像光学系と、
前記結像された前記光学像を画像信号に変換する撮像素子と、
前記撮像素子で得られた前記画像信号に基づき、当該画像信号が表す画像に含まれる複数の特徴を検出する特徴検出部と、
前記複数の特徴の位置関係を検出する位置関係検出部と、
前記複数の特徴の移動量を検出する移動量検出部と、
前記位置関係検出部の検出結果および前記移動量検出部の検出結果に基づいて、前記画像の構図の変化を補正する構図変化補正部と、
を備え、
前記移動量検出部は、同一画像に含まれる前記複数の特徴間の相対的な位置関係の変化を検出する。

これにより、長時間に亘って複数の人物などの対象物を撮影した場合でも、画像のぶれが抑制でき、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができる撮像装置を提供することができる。

本発明によれば、長時間に亘って複数の人物を撮影した場合でも、画像のぶれが抑制され、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができる。

本発明の第１の実施の形態における撮像装置のブロック図 （ａ）〜（ｃ）はそれぞれ本発明の第１の実施の形態における被写体像の例を示す説明図 本発明の第１の実施の形態における一連の処理内容を示すフローチャート （ａ）〜（ｃ）はそれぞれ本発明の第１の実施の形態における顔の位置を格納するテーブルを示す図 本発明の第１の実施の形態における被写体どうしの相対位置を説明するための図 （ａ）、（ｂ）はそれぞれ本発明の第１の実施の形態における補正効果を説明するための図 本発明の第２の実施の形態における撮像装置のブロック図 本発明の第３の実施の形態における撮像装置のブロック図

以下、本発明の実施の形態について図面を参照しながら説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態における撮像装置のブロック図を示すものである。撮像装置は、撮像レンズ１と、撮像素子２と、アナログ信号処理部３と、Ａ／Ｄ変換部４と、カメラ信号処理部５と、メモリ６と、ズーム部７と、顔検出部８と、移動量検出部９と、メモリ制御部１０とを備える。

撮像レンズ１は、被写体の光学像を撮像素子２の撮像面上に結像させる撮像光学系の一例である。撮像素子２は、撮像面を有し、撮像レンズによって撮像面に結像した被写体の光学像を電気信号（以下、「画像信号」ともいう）に変換する光電変換デバイスである。撮像素子２は、例えば、ＣＣＤやＭＯＳセンサである。本実施の形態の撮像素子２が画像信号を撮像できる周期は、一例として、１秒間に６０フレームである。

アナログ信号処理部３は、撮像素子２により得られた画像信号に対し、ノイズ低減等のアナログ信号処理を施す。Ａ／Ｄ変換部４はアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部４によりデジタル信号に変換された画像信号は、カメラ信号処理部５により、輝度信号と色差信号への分離、ガンマ補正、先鋭度改善処理等の信号処理が施される。

メモリ６は、各撮像周期毎にカメラ信号処理部による処理後の画像信号を一旦記憶する。メモリ６は、後述のメモリ制御部１０の制御のもと、任意のアドレスから記憶した画像信号を読み出し出力可能である。ズーム部７は、メモリ６から出力される画像信号に対して、低画素画像を高画素画像に変換する画素数変換等を行う。画素数変換は、例えば、バイキュービック法などの補間処理によって行われる。

顔検出部８は、カメラ信号処理部５によって得られた画像信号が表す画像に含まれる対象物としての人物像の、特徴としての顔領域を検出する。具体的には、画像信号に含まれる輝度信号から、各撮像周期毎に、画像中における人物の顔が写っている領域を検出する。本実施の形態では、当該領域を矩形の領域（以下、矩形領域ともいう）として認識する。顔検出部８は、検出した矩形領域の画枠内での位置の情報（例えば矩形領域の重心点の座標値）を後述の移動量検出部９に供給する。本実施の形態においては、顔検出部８は、１つの画像から同時に複数の顔を検出可能である。顔の検出方法はあらかじめ設定した顔の形状・輪郭に対応したテンプレートを用いて、これとのマッチングによって顔を検出するなど様々な方法が適用可能である。本実施の形態においては顔の検出方法は特定の方法に限定するものではなく、既知の方法を含め、いずれの方法を採用してもよい。

移動量検出部９は、複数の対象物の位置関係を検出する位置関係検出部の機能をも有し、顔検出部８によって検出された複数の顔の位置、および、複数の顔どうしの位置関係を記憶している。そして、他の撮像周期に得られた画像、例えば、１撮像周期（「１フレーム」ともいう）前の画像における複数の顔の位置と現在のフレームにおける複数の顔の位置との差をベクトルとして算出する。そして、移動量検出部９は、当該ベクトルに基づき、現在のフレームにおける複数の顔の位置が他のフレームにおける複数の顔の位置と概ね一致するように、現在のフレームの画像の修正を指示する。例えば、移動量検出部９は、現在のフレームの画像において、複数の顔の位置の差を打ち消す方向にメモリ６からの画像読み出しアドレスを変更制御するようメモリ制御部１０に指示を送る。具体的には、前のフレームでの画像読み出し位置よりも、ベクトル分ずらした位置を読み出すよう、画像読み出し位置を制御する。

またこの際、移動量検出部９は、異なるフレーム間、例えば、連続するフレーム間で、検出された複数の顔の相対位置の変化量も算出する。そして、前フレームにおける複数の顔どうしの相対位置関係と現フレームにおける複数の顔どうしの相対位置関係とに一定以上の変化が発生したとき、メモリ６からの画像読み出しアドレスの変更制御自体を停止する。被写体中の複数の人物が個別に大きく移動したときは、動き補正による構図の変化の補正を行うことが好ましくないからである。

メモリ制御部１０は、移動量検出部９において検出された顔領域の移動量に基づき、画像の動きを補正して構図の変化を補正する構図変化補正部（動き補正部）の一例である。メモリ制御部１０は、移動量検出部９の指示に基づき、メモリ６からの画像読み出しアドレスを制御し、メモリ６から任意の位置の画像を出力させる。これによって、メモリ６から出力される画像信号は、連続するフレーム間で画枠に対する複数の顔の位置が略等しくなった画像として出力される。このとき、メモリ６から出力される画像は、メモリ６に入力された画像の一部を切り出したものとなるため、そのデータ量（画素数）が減少する。これを補い、元と同じ画素数、もしくは任意の画素数の画像に変換する部が前述のズーム部７である。

以上のように構成された本実施の形態の撮像装置に関し、以下その動作を図２（ａ）〜（ｃ）と図３のフローチャートを用いて説明する。図２は説明のための被写体像の例である。図２（ａ）は３名の人物が並んでいる被写体像であり、撮影者はこの被写体像を撮影しているものとする。このとき、図２（ａ）に示すような画像に関する画像信号が、撮像素子２から、アナログ信号処理部３と、Ａ／Ｄ変換部４と、カメラ信号処理部５とを介して、メモリ６と、顔検出手段８とに送られる。

そして図２（ｂ）に示す点線で囲まれた矩形の部分が、被写体像の顔領域として検出される。また検出した顔領域から求められる位置情報（移動量検出部９に供給する位置情報）は図２（ｃ）に示すように３つの矩形の重心位置に相当する座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）である。このように撮影した画像から顔の領域とその位置座標を検出する部が顔検出部８であり、図３のフローチャートのステップ１０１にあたる。

このとき、移動量検出部９は、３つの顔の位置を例えば図４（ａ）〜（ｃ）に示すようなテーブルで保持しておく（図３のステップ１０２）。また顔毎の座標値をテーブルに格納する順番は例えば画面の左端の顔から、といったルールに則るものとする。そして撮像周期毎に得られる複数の顔の位置情報から個別の顔の位置座標値の差（差ベクトル）を求める（同ステップ１０３）。なおステップ１０７又はステップ１０８からステップ１０１に巡回する１周期が撮像周期と同期されているものとする。例えば第Ｎフレームにて得られた座標値テーブルが、図４（ｂ）、次の第Ｎ＋１フレームでの座標値テーブルを図４（ｃ）とすると、個別の顔の位置座標値の差は例えば人物１に対しては、X方向はx1(n+1)−x1(n)、Y方向はy1(n+1)−y1(n)で算出する。人物２、３も同様に算出可能である。

そして次に、移動量検出部９は、個別の顔毎に求まる差ベクトルからその平均、もしくは中央値（メディアン）等の代表値を求めて、被写体中の顔全ての移動量を代表する動き（代表ベクトル）を求める（同ステップ１０４）。第Ｎフレーム（Ｎ）と第Ｎ＋１フレーム（Ｎ＋１）とから求めた代表ベクトルを代表ベクトル（Ｎ＋１）と表記する。

次に、移動量検出部９は、１フレームの画像に含まれる複数の顔どうしの相対的な位置関係を求め、これを連続するフレーム間で比較し、相対位置の変化量を求める（同ステップ１０５）。なお変化量の求め方としては、各顔の座標間の距離の絶対値もしくは二乗値の差などを用いればよいが特にこれに限るものではない。画像中の複数の顔の相対位置がフレーム間で大きくずれるようなことがあれば、被写体中で人物が大きく移動したことを意味し（図５）、画枠に対してどの顔の位置をどこに固定すべきであるかの判断が困難となる。そして仮にそのような状況においても上記で求めた代表ベクトルを用いてメモリ６からの画像読み出しアドレス制御を行った場合、撮影者にとって違和感のある出力画像となる恐れがある。そこで相対位置の変化量を検出し、変化量が一定値以上の場合は、メモリ制御部１０は、メモリ６からの画像読み出しアドレス制御を停止し、一定位置を、例えば前フレームでの読み出しアドレスをそのまま保持する（同ステップ１０６、ステップ１０８）。

逆に変化量が一定値以下の場合、移動量検出部９は、メモリ６からの画像読み出し位置を代表ベクトルで示される位置に移動させるようメモリ制御部１０に指示する（同ステップ１０６、同ステップ１０７）。そして、メモリ制御部１０は、代表ベクトル（Ｎ＋１）に基づき、フレーム（Ｎ＋１）の画像読み出しアドレス制御を行う。図６（ａ）〜（ｃ）は、この動作を模式的に示したものである。図６（ａ）は上記のような処理（ステップ１０１−１０７）を行わずに、メモリ６からの画像読み出し位置を固定とした場合の動作を示す模式図である。図６（ａ）左側の第Ｎフレームと右側の第Ｎ＋１フレームにおいて、メモリ６からの画像読み出し位置を固定として場合、メモリ６から出力される画像の画枠内において被写体像は位置が移動して見える。メモリ６からの画像読み出し位置によって、画像のうちのどの領域を出力するかが決まるためである。しかし図６（ｂ）のように第Ｎフレームにおける画像読み出し位置を基準に、第Ｎ＋１フレームにおいては、複数の顔位置から検出した代表ベクトル分ずらした位置をメモリ６からの読み出し位置とすることで、メモリ６から出力される画像は、その画枠内で顔が概ね止まって見える。

以上のようなステップ１０１からステップ１０８までの動作を撮像周期毎に実施することで、長時間に亘って複数の人物を撮影した場合でも、画像のぶれがなく、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができて構図が変化することを防止できる。

なお、カメラ信号処理部５、顔検出部８、移動量検出部９、または、メモリ制御部１０は、例えばマイクロコンピュータによって実現される。マイクロコンピュータは、集積回路で実現され、画像信号の入力を受ける画像信号入力部と、ＣＰＵと、記憶部とを有する。記憶部には、カメラ信号処理部５、顔検出部８、移動量検出部９、または、メモリ制御部１０の機能を実現するためのプログラムが格納されており、当該プログラムに基づいて、カメラ信号処理部５、顔検出部８、移動量検出部９、または、メモリ制御部１０の機能を実行する。

（第２の実施の形態）
本発明の第２の実施の形態における撮像装置について図７を参照して説明する。本実施の形態は、被写体像の動きを補正する動き補正部として、結像光学系の光軸を偏心または傾動させる補正光学機構を用いた構成として説明する。なお第１の実施の形態の図１と同様の部分については、図７において同じ番号で示し説明は省略する。

図７は、本発明の第２の実施の形態における撮像装置のブロック図を示すものである。撮像光学系２０は、４つのレンズ群Ｌ１、Ｌ２、Ｌ３、Ｌ４からなる。レンズ群Ｌ２が光軸方向に移動することでズーミングを行ない、レンズ群Ｌ４が光軸方向に移動することで合焦を行なう。またレンズ群Ｌ３はレンズ群Ｌ２よりも像面側に配置された２つのレンズ群Ｌ３１、Ｌ３２からなり、レンズ群Ｌ３の一部であるレンズ群Ｌ３２が光軸に直交する方向に移動することで、光軸を偏心し、撮像素子に結像される被写体の光学像を移動する。画像の動きに応じて光学像を移動することで、画像の動きを補正する。このときレンズ群Ｌ３２の光軸中心からの変位量（移動距離）と光軸が偏心する角度とは比例関係にある。したがって、光軸を所望の角度だけ偏心するには、そのために必要な量だけレンズ群Ｌ３２を光軸中心から移動させればよい。レンズ群Ｌ３２の駆動制御部２１は、振れ補正用レンズであるレンズ群Ｌ３２を駆動および制御するための部であり、撮像光学系２０の光軸に直交する平面内でレンズ群Ｌ３２を上下左右に移動させる。

以上のように構成された本実施の形態の撮像装置においては、移動量検出部９によって検出された代表ベクトルで表される撮影画像の動きをキャンセルする方向にレンズ群Ｌ３２を、レンズ群Ｌ３２駆動制御部２１を介して制御し、光軸を偏心することで画像の動きを補正する。その結果、第１の実施の形態と同様に複数の人物を撮影した場合でも、画像のぶれがなく、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができて構図が変化することを防止できる。

なお、カメラ信号処理部５、顔検出部８、移動量検出部９は、例えば、マイクロコンピュータによって実現される。マイクロコンピュータは、集積回路で実現され、画像信号の入力を受ける画像信号入力部と、ＣＰＵと、記憶部と、移動量を出力する出力部を有する。記憶部には、カメラ信号処理部５、顔検出部８、移動量検出部９、または、メモリ制御部１０の機能を実現するためのプログラムが格納されており、当該プログラムに基づいて、カメラ信号処理部５、顔検出部８、移動量検出部９の機能を実行する。

（第３の実施の形態）
本発明の第３の実施の形態における撮像装置について図８を参照して説明する。本実施の形態は、被写体像の動きを補正する部として結像光学系の光軸を偏心または傾動させる補正光学機構とメモリ６からの画像読み出し制御とを併用した構成として説明する。なお第１の実施の形態の図１、図７と同様の部分については、図８において同じ番号で示し説明は省略する。

図８は、本発明の第３の実施の形態における撮像装置のブロック図を示すものである。本実施の形態においては、先に述べた２つの実施の形態における画像の動きを補正する部（メモリ６からの画像読み出し制御と補正光学機構）を併用することで、更に被写体像の動き補正効果を高めることが出来る。

具体的には、補正光学機構は一般にある範囲の動作帯域を有しているため、この動作帯域を越える被写体像の速い動きには追従できない場合がある。また機構による構成では各機構部品の製作精度や組立誤差による動作精度のばらつきが不可避であり、これが動きの補正性能に影響を及ぼす場合がある。その点、メモリ６からの画像読み出し制御は電子的な処理であるためバラツキや誤差の影響を受けることはない。しかし別の観点から見ると、補正光学機構による補正においては撮像光学系２０の焦点距離によらず一定の補正角度を確保できるが、メモリ６からの画像読み出し制御の場合、焦点距離が長くなると比例して被写体像の動きも大きくなるため、十分は動き補正範囲を確保するためにはメモリ６から読み出す画像サイズ（画素数）を小さくする必要があり、最終的な出力画像の画質が低下する、という課題がある。

よってメモリ６からの画像読み出し制御と補正光学機構を併用すれば、それぞれを個別に利用する場合に比べて高い補正性能が確保できる。

具体的には、まずは移動量検出部９によって検出された代表ベクトルで表される撮影画像の動きをキャンセルする方向にレンズ群Ｌ３２を、レンズ群Ｌ３２駆動制御部２１を介して制御し、光軸を偏心することで画像の動きを補正する。そして撮影した画像から移動量検出部９により撮影画像に残る被写体像の移動量（代表ベクトル）を検出し、これを元にメモリ６からの画像の読み出しを制御する。その結果、第１の実施の形態及び第２の実施の形態と同様に複数の人物を撮影した場合でも、画像のぶれがなく、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができて構図が変化することを防止できる。

（他の実施の形態）
上述の実施の形態においては、被写体中の人物が個別に移動することを前提にステップ１０６及びステップ１０８からなる処理を導入した例を示したがこれに限るものではない。例えば被写体が整列してその位置をほとんど変えることがない場合（例えば合唱や合奏）においては、ステップ１０６及びステップ１０８を省略した構成でも主要な効果を奏することができるため、このような構成を採ってもよい。

動き補正部は、例えば、２枚のガラス板を蛇腹で繋ぎ、その中を高屈折率の液体で満たし、ガラス板の角度を変えることで光軸偏心が可能な可変頂角プリズム（ＶＡＰ）を用いた光学系を用いてもよい。

また、本発明の第２の実施の形態において、動き補正部としては、レンズ群Ｌ３２を移動する場合を説明したが、これに限定されるものではなく、撮像光学系１０および撮像素子２等を撮像装置の筐体に対して回転自在に支持および駆動することで動きを補正する構成でもよい。

また、本発明の全ての実施の形態において、顔の検出など一連の処理は撮像周期毎に実施するものとして説明したがこれに限るものではなく、被写体の動きが小さい場合などは複数フレームに１回の処理に間引くなどの措置を講じることで、例えば機器の消費電力低減などの効果を実現することも可能である。

また、本発明の全ての実施の形態において、画像の動き補正に関して既知の防振技術、画像の動き補正技術（例えば、前述の背景技術欄にて挙げた公知技術）を併用することが可能であることはいうまでもなく、そのような構成においては更に高い手振れ補正効果が実現できる。

また、本発明の全ての実施の形態において、人物像の検出はその顔を検出する構成を持っているとして説明したがこれに限るものではなく、例えば人体の形状や衣服の色、模様などを判断材料として人物を検出する方法を採ってもよく、その場合でも本願発明が目的とする効果が得られることは明らかである。

また、本発明の全ての実施の形態においては、複数の顔の相対位置が変動した場合に、Ｘ方向およびＹ方向に位置を調整して補正する場合を述べたが、これに限るものではない。例えば、複数の顔の相対位置の変動により顔と顔との間隔が大きくなった場合に、前記複数の顔が画像の中に入るように、広角側にズームさせて焦点距離を短くしてもよい。また、複数の顔の相対位置の変動により顔と顔との間隔が小さくなった場合に、前記複数の顔が近づき過ぎないように、望遠側にズームさせたりて焦点距離が長くなるようにしたりしてもよい。これによっても、被写体との距離の変化による構図の変化が生じないように防止できる。なお、この場合にも、相対位置の変動量が所定値より大きい場合には、補正処理を中止してもよい。

さらに、本発明の全ての実施の形態において、補正する対象物が人物像である場合を述べたが、これに限るものではなく、被写体として、車や自転車、または、建造物や看板などの物を補正する対象物として、構図が変化しないよう構成してもよい。

（実施の形態の特徴）
上記実施の形態において特徴的な部分を以下に列記する。なお、上記実施の形態に含まれる発明は、以下に限定されるものではない。なお、各構成の後ろに括弧で記載したものは、特徴の理解を助けるために記載した、各構成の具体例である。各構成はこれらの具体例に限定されるものではない。また、各特徴について記載された効果を得るためは、記載された特徴以外の構成は変形または削除されてもよい。

［Ｆ１］
撮像装置は、被写体の光学像を結像する撮像光学系（１，１０）と、
前記結像された前記光学像を画像信号に変換する撮像素子（２）と、
前記撮像素子で得られた前記画像信号に基づき、当該画像信号が表す画像に含まれる複数の人物像などの対象物の顔領域などの特徴を検出する顔検出部（８）などの特徴検出部と、
前記複数の人物像の顔領域などの複数の対象物の特徴の位置関係を検出する位置関係検出部（９）と、
前記複数の人物像の顔領域などの複数の対象物の特徴の移動量を検出する移動量検出部（９）と、
前記位置関係検出部の検出結果および前記移動量検出部の検出結果に基づいて、前記画像の構図の変化を補正する構図変化補正部（１０，１１、Ｌ３２）と、を備える。

これにより、長時間に亘って複数の人物などの対象物を撮影した場合でも、画像のぶれが抑制でき、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができて構図の変化を防止できる。

［Ｆ２］
Ｆ１の撮像装置であって、
前記複数の対象物のうちの特定の対象物の特徴を検出する特定物検出手段（８）をさらに備え、
前記位置関係検出部（９）は、前記特定物検出手段（８）で検出された特定の対象物の特徴とその他の少なくともいずれかの対象物の特徴との位置関係を検出する。

［Ｆ３］
Ｆ１の撮像装置であって、
前記移動量検出部は、更に、同一画像に含まれる複数の人物像などの対象物間の相対的な位置関係を検出し、複数の対象物の特徴の前記位置関係の変化を検出し、
前記構図変化補正部は、前記位置関係の変化量が一定量以下の場合に、前記対象物の移動量に基づき前記画像の動きを補正する。

これにより、更に、被写体中の人物像などの対象物が個別に移動した場合でも違和感のない画像が撮影できる。

［Ｆ４］
Ｆ１に記載の撮像装置であって、
前記構図変化補正部は、前記画像信号を記憶するメモリ（６）と、前記メモリに記憶された画像信号からその一部を読み出すメモリ制御部（１０）と、を有する。

［Ｆ５］
Ｆ１に記載の撮像装置であって、
前記構図変化補正部は、前記撮像光学系に対し相対的に駆動され、撮像光学系の光軸を偏心させて撮像面において前記光学像を移動する補正光学素子を有する。

［Ｆ６］
Ｆ１に記載の撮像装置であって、
前記構図変化補正部は、前記撮像素子を光軸に直交する方向に変位させる駆動部を有する。

［Ｆ７］
集積回路であって、
画像信号の入力を受ける画像信号入力部と、
前記画像信号に基づき、当該画像信号が表す画像に含まれる複数の人物像などの対象物の顔領域などの特徴を検出する特徴検出部と、
前記複数の対象物の特徴の位置関係を検出する位置関係検出部と、
前記複数の対象物の特徴の移動量を検出する移動量検出部と、
前記移動量検出部の検出結果および前記移動量検出部の検出結果に基づいて、前記画像の構図の変化を補正する構図変化補正部と、を備える。

これにより、長時間に亘って複数の人物を撮影した場合でも、画像のぶれが抑制でき、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができて構図の変化を防止できる撮像装置を実現できる集積回路を提供できる。

［Ｆ８］
Ｆ７に記載の集積回路であって、
前記移動量検出部は、更に、同一画像に含まれる複数の人物像などの対象物間の相対的な位置関係を検出し、複数の対象物の特徴の前記位置関係の変化を検出し、
前記構図変化補正部は、前記位置関係の変化量が一定量以下の場合に、前記対象物の移動量に基づき前記画像の構図の変化を補正する。

これにより、更に、被写体中の人物像などの対象物が個別に移動した場合でも違和感のない画像が撮影できる撮像装置を実現できる集積回路を提供することができる。

［Ｆ９］
集積回路であって、
画像信号の入力を受ける画像信号入力部と、
前記画像信号に基づき、当該画像信号が表す画像に含まれる複数の人物像などの対象物の顔領域などの特徴を検出する特徴検出部と、
前記複数の対象物の特徴の位置関係を検出する位置関係検出部と、
前記複数の対象物の特徴の移動量を検出する移動量検出部と、
前記移動量を出力する出力部と、を備える。

これにより、長時間に亘って複数の人物などの対象物を撮影した場合でも、画像のぶれが抑制でき、撮影開始時に撮影していた被写体像を画枠内に捉え続けることができる撮像装置を実現できる集積回路を提供することができる。

［Ｆ１０］
Ｆ９に記載の集積回路であって、
前記移動量検出部は、更に、同一画像に含まれる複数の人物像などの対象物間の相対的な位置関係を検出し、複数の対象物の特徴の前記位置関係の変化を検出し、
前記出力部は、前記位置関係の変化量が一定量以下の場合に、前記移動量を出力する。
これにより、更に、被写体中の人物像などの対象物が個別に移動した場合でも違和感のない画像が撮影できる撮像装置を実現できる集積回路を提供することができる。

本発明は、例えば、手振れ補正機能を有するデジタルカメラやビデオムービー等の撮像装置に利用することが可能である。

１ 撮像レンズ
２ 撮像素子
３ アナログ信号処理部
４ Ａ／Ｄ変換部
５ カメラ信号処理部
６ メモリ
７ ズーム部
８ 顔検出部
９ 移動量検出部
１０ メモリ制御部
２０ 撮像光学系
Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ３１、Ｌ３２ レンズ群

Claims (13)

1. 被写体の光学像を結像する撮像光学系と、
   前記結像された前記光学像を画像信号に変換する撮像素子と、
   前記撮像素子で得られた前記画像信号に基づき、当該画像信号が表す画像に含まれる複数の特徴を検出する特徴検出部と、
   前記複数の特徴の位置関係を検出する位置関係検出部と、
   前記複数の特徴の移動量を検出する移動量検出部と、
   前記位置関係検出部の検出結果および前記移動量検出部の検出結果に基づいて、前記画像の構図の変化を補正する構図変化補正部と、
   を備え、
   前記移動量検出部は、同一画像に含まれる前記複数の特徴間の相対的な位置関係の変化を検出する、
   撮像装置。
2. 前記複数の特徴のうちの特定の特徴を検出する特定物検出手段をさらに備え、
   前記位置関係検出部は、前記特定物検出手段で検出された特定の特徴とその他の少なくともいずれかの特徴との位置関係を検出する、
   請求項１に記載の撮像装置。
3. 前記構図変化補正部は、前記位置関係の変化量が一定量以下の場合に、前記特徴の移動量に基づき前記画像の構図の変化を補正する、請求項１に記載の撮像装置。
4. 前記構図の変化は、画像の縦横方向の動きまたは被写体との距離の変化によるものである、
   請求項１に記載の撮像装置。
5. 前記複数の特徴が人物像の顔領域の特徴である、
   請求項１に記載の撮像装置。
6. 前記構図変化補正部は、前記画像信号を記憶するメモリと、前記メモリに記憶された画像信号からその一部を読み出すメモリ制御部と、を有する、
   請求項１に記載の撮像装置。
7. 前記構図変化補正部は、前記撮像光学系に対し相対的に駆動され、撮像光学系の光軸を偏心させて撮像面において前記光学像を移動する補正光学素子を有する、
   請求項１に記載の撮像装置。
8. 前記構図変化補正部は、前記撮像素子を光軸に直交する方向に変位させる駆動部を有する、請求項１に記載の撮像装置。
9. 画像信号の入力を受ける画像信号入力部と、
   前記画像信号に基づき、当該画像信号が表す画像に含まれる複数の特徴を検出する特徴検出部と、
   前記複数の特徴の位置関係を検出する位置関係検出部と、
   前記複数の特徴の移動量を検出する移動量検出部と、
   前記位置関係検出部の検出結果および前記移動量検出部の検出結果に基づいて、前記画像の構図の変化を補正する構図変化補正部と、
   を備え、
   前記移動量検出部は、同一画像に含まれる前記複数の特徴間の相対的な位置関係の変化を検出する、
   集積回路。
10. 前記構図変化補正部は、前記位置関係の変化量が一定量以下の場合に、前記特徴の移動量に基づき前記画像の構図の変化を補正する、
    請求項９に記載の集積回路。
11. 前記構図の変化は、画像の縦横方向の動きまたは被写体との距離の変化によるものである、
    請求項９に記載の集積回路。
12. 前記複数の特徴が人物像の顔領域の特徴である、
    請求項９に記載の集積回路。
13. 画像信号の入力を受ける画像信号入力部と、
    前記画像信号に基づき、当該画像信号が表す画像に含まれる複数の特徴を検出する特徴検出部と、
    前記複数の特徴の位置関係を検出する位置関係検出部と、
    前記複数の特徴の移動量を検出する移動量検出部と、
    前記移動量を出力する出力部と、
    を備え、
    前記移動量検出部は、同一画像に含まれる前記複数の特徴間の相対的な位置関係の変化を検出し、
    前記出力部は、前記位置関係の変化量が一定量以下の場合に、前記移動量を出力する、集積回路。

Images