JP5159189B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像から検出した被写体の位置を示す表示を、その画像に重畳して表示する画像処理に関するものである。

近年、ディジタルカメラにおいては、画像中の人間の顔など特定の被写体の位置や大きさを画像認識アルゴリズムにより検出するものがある。そして、この特定の被写体がいる領域から得られる評価値の重み付けを大きくして、オートフォーカス制御や露出制御を行う技術が実用化されている（例えば、特許文献１を参照）。

この際、ディジタルカメラの背面に設けられたＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示部の表示画像に、特定の被写体の位置を示す情報（例えば、人の顔を囲む枠）が重畳して表示される。この特定の被写体の位置を示す情報は、表示部に表示される画像信号に与えられるものであって、記録メディアへ記録される静止画用の画像信号に対しては重畳されていない。
特開２００６−１４５６２９ 特開２００２−１４８６７０

撮影中に発生する手振れ成分を、加速度センサーの出力、あるいは、画像処理にて得られた動きベクトル成分により検知し、この手振れ成分を相殺した補正処理を施す電子防振機能を備えたビデオカメラがある。具体的には、撮像素子から出力された画像を一旦フレームメモリに記録し、手振れ成分を補正するよう切り出し位置を設定し、この切り出し位置に沿って画像を切り出している（例えば、特許文献２を参照）。

このような電子防振装置が搭載されていないカメラでは、任意の切り出し位置が指定されなければ、表示部における表示画像の画角の中心位置は、大抵の場合は撮像素子の出力画像の画角の中心位置と一致する。しかしながら、電子防振機能を備えたビデオカメラでは、電子防振機能を作用させることによって、表示部における表示画像の画角の中心位置は、撮像素子の出力画像の画角の中心位置と殆どの場合で異なる。

ここで、画像認識アルゴリズムにより画像中の人間の顔など特定の被写体の位置や大きさを検出する技術を、このような電子防振機能を備えたビデオカメラに適用する際には、この切り出し位置を考慮する必要がある。

特定の被写体が静止物ではなく、人物や動物等の動体である場合、特定の被写体の位置の検出に時間をかけてしまうと、検出された位置と実際の位置の間にずれが生じてしまう。そこで、被写体の位置の検出結果が得られるまでの時間を少しでも短縮することが望ましく、画像信号を取得したら、なるべく早い段階で被写体の検出処理を開始すべきである。そのためには、電子防振処理が施された後の画像よりも、施される前の画像から特定の被写体の位置を検出することが望ましい。

しかしながら、画角の中央に特定の被写体が存在しているが、電子防振処理で画像が切り出されることによって、この被写体の位置が画角のやや右側にずれるようなことが考えられる。このような状況で、電子防振処理が施される前の画像から特定の被写体の位置を検出すると、検出された特定の被写体の位置と、電子防振処理が施された表示画像における特定の被写体の位置が一致しない。

つまり、電子防振処理を動作させた結果、被写体の検出位置を示す表示と、電子防振処理が施された表示画像における被写体の位置とがずれて表示されるという可能性が生じてしまう。

上記課題を解決するため、本願に係る撮像装置は、撮像素子と、振れを検出する振れ検出手段と、前記振れ検出手段の検出結果に応じて前記撮像素子で生成された画像信号から切り出しを行い、該切り出した画像信号のリサイズを行う切り出し手段と、前記切り出し手段にて切り出しが行われる前の画像信号から、予め設定された条件を満たす被写体が存在する領域を検出し、該領域の位置の情報を生成する検出手段と、前記切り出し手段の切り出し位置と前記リサイズの倍率に応じて前記位置の情報を調整し、調整した後の前記位置の情報に基づいて、前記被写体の位置を示す表示を前記切り出し手段にて切り出された画像信号に合成することで表示用の画像信号を生成する合成手段を有することを特徴とするものである。

同様に、上記課題を解決するため、本願に係る撮像装置の制御方法は、撮像素子にて画像信号を生成する生成工程と、撮像装置の振れを検出する振れ検出工程と、前記振れ検出工程の検出結果に応じて前記撮像素子で生成された画像信号から切り出しを行う切り出し工程と、前記切り出し工程にて切り出した画像信号のリサイズを行うリサイズ工程と、前記切り出し工程にて切り出しが行われる前の画像信号から、予め設定された条件を満たす被写体が存在する領域を検出し、該領域の位置の情報を生成する検出工程と、前記切り出し工程における切り出し位置と前記リサイズ工程における前記リサイズの倍率に応じて前記位置の情報を調整する調整工程と、前記調整工程において調整した後の前記位置の情報に基づいて、前記被写体の位置を示す表示を前記切り出し手段にて切り出された画像信号に合成することで表示用の画像信号を生成する合成工程を含むことを特徴とするものである。

本発明によれば、画像の切り出すことで手振れを補正する電子防振機能を施した画像に対しても、被写体の検出位置を示す表示を適正に行うことが可能となる。

以下、図面を参照しながら本発明の好適な実施形態について説明する。

（第１の実施形態）
本発明の第１の実施形態に係る撮像装置のブロック図を図１に示す。

ここでは撮像装置として、電子防振機能を備えたビデオカメラを例にあげて説明を行うが、ビデオカメラではなく、動画を撮影する機能と電子防振機能を備えたディジタルカメラにも本発明を適用することができる。

図１において、１０１はフォーカスレンズを含む結像光学系であり、１０２は結像光学系１０１を通過してきた光束を電気信号からなる画像信号に変換するイメージセンサーである。１０３はアナログフロントエンド回路（以下、ＡＦＥという）であり、１０４はＡＦＥの出力信号に対してバースト変調を施すバースト変調回路である。

１０５はバースト変調回路１０４から出力されるバースト変調回路の書き込みリクエスト信号であり、１０６はバースト変調画像信号であり、ともに後述するＤＲＡＭインターフェース回路１３５に出力される。

１０７は同期信号生成回路（以下、ＳＳＧという）であり、本実施形態における撮像装置全体の動作タイミングを統制する。具体的には、ＳＳＧ１０７で生成された同期信号１４０はイメージセンサー１０２、ＡＦＥ１０３、バースト変調回路１０４、ＡＦ評価枠生成回路１１０、カメラ信号処理回路１２０、および、リサイズ処理回路１２５に入力される。さらに、ＳＳＧ１０７で生成された同期信号１４０は記録画像処理回路１３０、画像重畳回路１３３、バースト復調回路１３４、および、表示部１４２に入力される。これらはＳＳＧ１０７で生成された同期信号１４０を参照して動作タイミングを決定する。

１０８はバースト変調画像信号１０６から人物の顔が存在する領域を検出する顔画像検出回路である。１０９は顔画像検出回路１０８にて検出された顔の位置およびサイズを示す顔データである。１１０は顔データ１０９を基にＡＦ評価値を求める領域を設定するＡＦ評価枠生成回路である。１１１はバースト変調画像信号１０６中の、ＡＦ評価枠生成回路で設定された領域に対して、ＡＦ評価値を得るためのＡＦ制御回路である。

１１２は撮像装置の角速度を検出するためのジャイロセンサーであり、１１３はジャイロセンサー１１２の出力を基に、画像の切り出し位置を演算する電子防振制御回路である。１１４は画像信号の切り出し位置を示すアドレスが記載されたアドレス制御信号であり、電子防振制御回路１１３から出力されてＤＲＡＭインターフェース回路１３５に入力される。１１５は画像信号の切り出し範囲を示す電子防振切り出し位置データである。この電子防振切り出し位置データは、アドレス制御信号１１４と同様に画像の切り出し位置を示す情報である。

１１６はリサイズ倍率設定回路であり、１１７はリサイズ倍率設定回路１１６から出力されるリサイズ倍率データである。このリサイズ倍率データ１１７は、記録メディア１４１における画像記録フォーマットに応じて、リサイズの際の画像の縮小率を設定するためのデータである。

１１８は顔データ１０９、電子防振切り出し位置データ１１５、および、リサイズ倍率データ１１７を入力として、顔検出枠を表示する位置、および、大きさを演算する顔検出枠表示制御回路である。１１９は顔検出枠表示制御回路１１８にて演算された顔検出枠を表示する位置、および、大きさを示す顔検出枠データである。

１２０はカメラ信号処理回路であり、ＤＲＡＭインターフェース回路１３５からカメラ信号処理入力画像信号１２１を受け取る。また、カメラ信号処理入力リクエスト信号１２２、カメラ信号処理出力リクエスト信号１２３、および、カメラ信号処理出力画像信号１２４をＤＲＡＭインターフェース回路１３５に出力する。

１２５はリサイズ処理回路であり、ＤＲＡＭインターフェース回路１３５からリサイズ処理入力画像信号１２６を受け取る。また、リサイズ処理入力リクエスト信号１２７、リサイズ処理出力リクエスト信号１２８、および、リサイズ処理出力画像信号１２９をＤＲＡＭインターフェース回路１３５に出力する。

１３０は、記録画像処理回路であり、後述する表示記録用画像信号１３１に周知の記録用の符号圧縮処理等を行って記録画像信号を生成する。１３３は画像重畳回路であり、表示記録用画像信号１３１に、顔検出枠データ１１９に基づいて生成した顔検出枠を合成する。

１３５はＤＲＡＭインターフェース回路であり、本実施形態における撮像装置の画像処理全体を統制する。ＤＲＡＭインターフェース回路１３５は、バースト変調回路１０４、カメラ信号処理回路１２０、リサイズ処理回路１２５、記録画像処理回路１３０のそれぞれからリクエスト信号を受け取る。そして、ＤＲＡＭ１３９内に構成された図６のメモリマップと、このリクエスト信号に従って、ＤＲＡＭアドレスバス１３６、ＤＲＡＭ書き込みデータバス１３７、ＤＲＡＭ読み出しデータバス１３８の制御を調停する。この調停動作については、図２および、図３（ａ）、図３（ｂ）にて説明する。

１３９はＤＲＡＭ、１４１は撮影された画像を記録するための磁気テープ、磁気ディスク、ＤＶＤ、ハードディスク、あるいは、半導体メモリ等で構成された記録メディアである。１４２は撮影された画像を表示するための有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）やＬＣＤで構成された表示部である。

図２は、本実施形態におけるバースト変調回路１０４の動作のタイミングチャートである。図３は、本実施形態におけるＤＲＡＭ１３９へのアクセスの調停方法を説明するための図である。図３（ａ）は水平同期タイミング、図３（ｂ）は垂直同期タイミングに沿ったタイミングチャートを示す。図４は、本実施形態におけるバースト復調回路１３４の動作のタイミングチャートである。図５は、本実施形態における画像信号の大きさを説明するための図である。図６は、本実施形態におけるＤＲＡＭ１３９のメモリマップを説明するための図である。図７は、本実施形態における顔の位置、および、大きさと、電子防振処理による切り出し範囲を説明するための図である。

まず、図２を用いてバースト変調回路１０４の動作について説明を行う。図２において、ＣＬＫ１はイメージセンサー１０２とＡＦＥ１０３の動作クロックであり、ＣＬＫ２はバースト変調回路１０４の内部クロックである。

動作クロックＣＬＫ１に同期した画像信号は、バースト変調回路１０４において内部クロックＣＬＫ２に同期化される。ここで、前記内部クロックＣＬＫ２の周波数は、イメージセンサー１０２とＡＦＥ１０３の動作クロックＣＬＫ１の周波数に対して、数倍から十数倍（図２では４倍）に設定されている。バースト変調回路１０４は、１水平同期期間における画像信号を数個のバースト状画像信号に変調する。これにより、ＤＲＡＭ書き込みデータバス１３７とＤＲＡＭ読み出しデータバス１３８を時分割で調停することが可能となる。

図３（ａ）において、１水平同期期間Ｔｈにおいて、バースト変調回路１０４の出力であるバースト変調画像信号１０６が、ＤＲＡＭアドレスバス１３６とＤＲＡＭ書き込みデータバス１３７を占有する期間をＴ１とする。カメラ信号処理回路１２０の入出力であるカメラ信号処理入力画像信号１２１とカメラ信号処理出力画像信号１２４が、ＤＲＡＭアドレスバス１３６、ＤＲＡＭ書き込みデータバス１３７、および、ＤＲＡＭ読み出しデータバス１３８を占有する期間をＴ２とする。リサイズ処理回路１２５の入出力であるリサイズ処理入力画像信号１２６とリサイズ処理出力画像信号１２９が、ＤＲＡＭアドレスバス１３６、ＤＲＡＭ書き込みデータバス１３７、および、ＤＲＡＭ読み出しデータバス１３８を占有する期間をＴ３とする。更に、記録画像処理回路１３０の入力である表示記録用画像信号１３１がＤＲＡＭアドレスバス１３６とＤＲＡＭ読み出しデータバス１３８を占有する期間をＴ４とする。

図３（ａ）に示す如く、１水平同期期間Ｔｈにおいて、Ｔ１、Ｔ２、Ｔ３、および、Ｔ４の順で３回に分けて時分割でＤＲＡＭバスアクセスの割り当てを行いながら、ビデオカメラ装置全体の１水平同期期間の画像信号処理が実行される。

図３（ｂ）に示すように、１垂直同期期間Ｔｖに対しては、１フィールドまたは１フレームずつ遅延する形で、信号の書込みと読み出しが実行される。具体的には、バースト変調画像信号１０６、カメラ信号処理出力画像信号１２４、および、リサイズ処理出力画像信号１２９の書き込みと、表示記録用画像信号１３１の読み出しが順に１フィールドまたは１フレームずつ遅延して実行されることとなる。

次に、図１を用いて、本実施形態の各部の動作を順に説明する。

フォーカスレンズを含む結像光学系１０１を透過した被写体像が、イメージセンサー１０２に到達し、光電変換されて画像信号を得る。イメージセンサー１０２にて得られた画像信号は、図５（ａ）に示すように水平方向にＨ１個、垂直方向にＶ１個の画素を有しており、ＡＦＥ１０３によりディジタル画像信号に変換される。

バースト変調回路１０４がバースト変調画像信号１０６と書き込みリクエスト信号１０５を出力し、ＤＲＡＭインターフェース回路１３５に入力される。ＤＲＡＭインターフェース回路１３５はＤＲＡＭアドレスバス１３６とＤＲＡＭ書き込みデータバス１３７を制御し、バースト変調画像信号１０６を、図６に示すＤＲＡＭ１３９の第１のメモリエリアＭＡＰ−ａに書き込む。ここで、バースト変調画像信号１０６の画素数は、図５（ａ）に示すイメージセンサー１０２にて得られた画像信号と同一である。

ジャイロセンサー１１２が、撮像装置本体に物理的に加えられる加速度を示す加速度情報を検知し、電子防振制御回路１１３に加速度情報を供給する。電子防振制御回路１１３が、この加速度情報に基づいて、手振れを相殺するように画像信号の切り出し位置を設定し、切り出しアドレス制御信号１１４と電子防振切り出し位置データ１１５として出力する。

カメラ信号処理回路１２０が同期信号１４０に基づいて、カメラ信号処理入力リクエスト信号１２２をＤＲＡＭインターフェース回路１３５に出力する。ＤＲＡＭインターフェース回路１３５が切り出しアドレス制御信号１１４に基づいてＤＲＡＭアドレスバス１３６を出力し、ＤＲＡＭの第１のメモリエリアＭＡＰ−ａからＤＲＡＭ読み出しデータバス１３８として読み出す。そしてこれをカメラ信号処理入力画像信号１２１として出力する。

このとき、図６に示す第１のメモリエリアＭＡＰ−ａから全ての画素を読み出すのではなく、図５（ｂ）に示すように、水平方向にＨ２個、垂直方向にＶ２個の画素となる領域だけ、第１のメモリエリアＭＡＰ−ａ内から切り出して読み出す。Ｈ２、Ｖ１はそれぞれＨ１、Ｖ１よりも小さい値であり、カメラ信号処理入力画像信号１２１の画像は、イメージセンサー１０２にて得られた画像よりも、画角が狭いものとなる。

これにより、カメラ信号処理入力画像信号１２１は、電子防振制御回路１１３により決定された切り出し範囲の画像信号となる。

カメラ信号処理回路１２０は、カメラ信号処理入力画像信号１２１を入力信号として、色分離やガンマ補正、ホワイトバランス処理、および、輪郭補正処理などの画像処理を行い、カメラ信号処理出力画像信号１２４をＤＲＡＭインターフェース回路１３５に出力する。そしてこれと共に、カメラ信号処理出力リクエスト信号１２３をＤＲＡＭインターフェース回路１３５に出力する。

ＤＲＡＭインターフェース回路は１３５、ＤＲＡＭアドレスバス１３６とＤＲＡＭ書き込みデータバス１３７を制御し、カメラ信号処理出力画像信号１２４を、図６に示すＤＲＡＭ１３９の第２のメモリエリアＭＡＰ−ｂに書き込む。カメラ信号処理出力画像信号１２４の画像は、図５（ｂ）に示したカメラ信号処理入力画像信号１２１の画像と同一の画角となる。

リサイズ処理回路１２５は同期信号１４０に基づいて、リサイズ処理入力リクエスト信号１２７をＤＲＡＭインターフェース回路１３５に出力する。ＤＲＡＭインターフェース回路１３５は、ＤＲＡＭアドレスバス１３６を制御し、図６に示すＤＲＡＭ１３９の第２のメモリエリアＭＡＰ−ｂからＤＲＡＭ読み出しデータバス１３８として読み出して、リサイズ処理入力画像信号１２６として出力する。リサイズ処理入力画像信号１２６は、図５（ｂ）に示したカメラ信号処理出力画像信号１２４と同様に、水平方向にＨ２個、垂直方向にＶ２個の画素からなる画像である。

リサイズ処理回路１２５はリサイズ倍率設定回路１１６から出力されたリサイズ倍率データ１１７に基づき、入力されたリサイズ処理入力画像信号１２６を、周知のアルゴリズムにてリサイズ処理する。リサイズ処理後のリサイズ処理出力画像信号１２９は、図５（ｃ）に示すように、水平方向にＨ３個、垂直方向にＶ３個の画素から構成される。Ｈ３、Ｖ３はそれぞれＨ２、Ｖ２よりも小さい値である。これは記録メディア１４１の画像記録フォーマットに対応させるための処理であり、リサイズ処理出力画像信号１２９とリサイズ処理入力画像信号１２６の画素数は異なるが、画角は同じである。

リサイズ処理回路１２５は、リサイズ処理出力画像信号１２９と共にリサイズ処理出力リクエスト信号１２８をＤＲＡＭインターフェース回路１３５に出力する。このリサイズ処理出力画像信号１２９を基に記録用、および、表示用の画像信号が生成される。本実施形態では、電子防振制御回路１１３、リサイズ倍率設定回路１１６、カメラ信号処理回路１２０、リサイズ処理回路１２５、ＤＲＡＭインターフェース回路１３５、および、ＤＲＡＭ１３９を用いて、表示用の画像を生成していると言える。

ＤＲＡＭインターフェース回路１３５は、ＤＲＡＭアドレスバス１３６とＤＲＡＭ書き込みデータバス１３７を制御し、リサイズ処理出力画像信号１２９を、図６に示すＤＲＡＭ１３９の第３のメモリエリアＭＡＰ−ｃに書き込む。

記録画像処理回路１３０は同期信号１４０に基づいて、表示記録画像リクエスト信号１３２をＤＲＡＭインターフェース回路１３５に出力する。ＤＲＡＭインターフェース回路１３５は、ＤＲＡＭアドレスバス１３６を制御し、図６に示すＤＲＡＭの第３のメモリエリアＭＡＰ−ｃからＤＲＡＭ読み出しデータバス１３８として読み出し、表示記録用画像信号１３１として出力する。リサイズ処理出力画像信号１２９と表示記録用画像信号１３１は、画素数、画角が共に等しい。この表示記録用画像信号１３１は、記録用の画像、および、表示用の画像として、記録画像処理回路１３０と画像重畳回路１３３に出力される。記録画像処理回路１３０は、表示記録用画像信号１３１に周知の記録用符号圧縮処理等を行って記録画像信号を生成し、この記録画像信号を記録メディア１４１に記録する。

顔画像検出回路１０８は、不図示のメモリに予め記憶した顔画像のテンプレートデータと、バースト変調画像信号１０６を比較し、マッチング等の周知の方法にて、画像内に存在する顔を検出する。本実施形態では顔画像検出回路１０８を例にあげて説明をしているが、これに限られるものではない。画像中の任意の座標に位置する一定の条件を満たす被写体を検出する機能を有する構成であれば、検出対象は必ずしも顔でなくとも、特定の個人や、犬や猫などの動物であっても構わない。

この顔画像検出回路１０８では、バースト変調画像信号１０６における、顔の位置、および、大きさを示す顔データ１０９が生成され、出力される。

ＡＦ評価枠生成回路１１０では同期信号１４０と顔データ１０９に基づき、ＡＦ評価枠信号を生成し、ＡＦ制御回路１１１に供給する。ＡＦ制御回路１１１は入力されたバースト変調画像信号１０６から、所定の空間周波数成分の画像を抽出する。さらにＡＦ評価枠生成回路１１０で生成されたＡＦ評価枠信号を参照して、バースト変調画像信号１０６の顔が存在する領域に対応する空間周波数成分の画像を抽出し、ＡＦ制御用評価値を生成する。このＡＦ制御用評価値を参照して、周知の方法により結像光学系１０１のフォーカスレンズ位置を調整することにより、ピントの自動調整を行う。これにより、被写体の顔に着目したＡＦ制御が実現される。

顔検出枠表示制御回路１１８では、顔データ１０９、電子防振切り出し位置データ１１５、および、リサイズ倍率データ１１７を用いて、下記式を用いて表示記録用画像信号１３１に合わせ込んだ顔の位置と大きさを算出し、顔検出枠データ１１９として出力する。
Ｈｐ’＝（Ｈｐ−Ｈｃ）＊Ｈ３／Ｈ２ （１）
Ｖｐ’＝（Ｖｐ−Ｖｃ）＊Ｖ３／Ｖ２ （２）
Ｈｗ’＝Ｈｗ＊Ｈ３／Ｈ２ （３）
Ｖｗ’＝Ｖｗ＊Ｖ３／Ｖ２ （４）
ここで、Ｈｃは電子防振切り出し位置データ１１５から得られる水平方向における切り出し位置であり、Ｖｃは電子防振切り出し位置データ１１５から得られる垂直方向における切り出し位置である。Ｈｐは顔データ１０９から得られる水平方向における顔の位置であり、Ｖｐは顔データ１０９から得られる垂直方向における顔の位置である。Ｈｗは顔データ１０９から得られる水平方向における顔のサイズであり、Ｖｗは顔データ１０９から得られる垂直方向における顔のサイズである。Ｈｐ’は顔検出枠データ１１９から得られる水平方向における顔検出枠の位置であり、Ｖｐ’は顔検出枠データ１１９から得られる垂直方向における顔検出枠の位置である。Ｈｗ’’は顔検出枠データ１１９から得られる水平方向における顔検出枠のサイズであり、Ｖｗ’は顔検出枠データ１１９から得られる垂直方向における顔検出枠のサイズである。

上記式（１）から式（４）に示すように、顔データ１０９に含まれる顔の位置およびサイズに関する情報は、顔検出枠表示制御回路１１８にて、まず電子防振切り出し位置データ１１５によって切り出した後の画像の画角に対する位置が調整される。具体的には、顔データ１０９による顔の位置を、電子切り出し位置データ１１５による切り出し位置の分だけシフトさせる。それから、リサイズ倍率データ１１７から求められる画像サイズの変化（Ｈ３／Ｈ２、Ｖ３／Ｖ２）に対する換算が行われる。そのため、顔検出枠表示制御回路１１８から出力される顔検出枠データ１１９は、電子防振による画像切り出しによって生じる画角の変化と、リサイズ処理による顔の領域の大きさの変化が反映されたものとなる。

顔検出枠表示制御回路１１８から出力された顔検出枠データ１１９は、画像重畳回路１３３に供給される。画像重畳回路１３３は、図７に示すように、表示用の画像として入力された表示記録用画像信号１３１に、顔検出枠データ１１９に基づいて生成した顔検出枠を合成する。そして、バースト復調回路１３４が、図４に示すように、内部クロックＣＬＫ２からビデオ信号仕様に合致したクロックＣＬＫ３に同期した表示用の画像信号に変換する。そして、表示部１４２が変換後の表示用の画像信号を用いて、顔検出枠が重畳された撮影画像の表示を行う。

これにより、顔画像検出回路１０８において検出された顔の位置に対して、顔検出枠が重畳された画像を撮像装置の使用者が視認できると同時に、顔画像検出回路１０８において検出された顔が存在する領域に対してＡＦ制御を行うことが可能となる。

以上、説明したように、本実施形態によれば、撮像装置が備える電子防振機能によって撮像素子から出力される画像の画角と、表示部に表示する画像の画角に差異が生じたとしても、被写体の検出位置を示す枠表示を、被写体に重畳して表示することが可能になる。さらに、電子防振処理が施される前の画像から被写体の検出が行われるため、被写体を検出する際に生じるタイムラグを抑制することも可能となり、被写体の追尾特性に優れた撮像装置を提供できる。

（第２の実施形態）
続いて、本発明の第２の実施形態に係る撮像装置のブロック図を図８に示す。

本実施形態は、動きベクトル情報に基づいて電子防振処理のための切り出し位置を求める点が、第１の実施形態と大きく異なる。図８において、図１に記載されたものと動作の異なる構成要素に対しては、図１と異なる符合をつけ、動作が一致するものに対しては同一の符号をつけてある。ここでは、主に第１の実施形態と異なる動作を行うものを中心に説明を行う。

図８において、８０１は光学絞りを含む結像光学系であり、８０８は後述するカメラ信号処理回路８２０の出力信号であるカメラ信号処理出力画像信号８２４から、人物の顔が存在する領域を検出する顔画像検出回路である。８１０は顔画像検出回路８０８にて検出された顔の位置およびサイズを示す顔データ１０９を基に、ＡＥ評価値を求める領域を設定するＡＥ評価枠生成回路である。８１１はカメラ信号処理出力画像信号８２４中の、ＡＥ評価枠生成回路で設定された領域に対して、ＡＥ評価値を得るためのＡＥ制御回路である。

８１２はバースト変調回路１０４から出力されたバースト変調画像信号１０６と、後述するカメラ信号処理回路８２０の出力信号であるカメラ信号処理出力画像信号８２４を比較することで、画角の動きを検知する動きベクトル検出回路である。８１３は動きベクトル検出回路８１２の出力を基に、画像の切り出し位置を演算する電子防振制御回路である。

８２０はカメラ信号処理回路であり、ＤＲＡＭインターフェース回路８３５からカメラ信号処理入力画像信号８２１を受け取る。また、カメラ信号処理入力リクエスト信号１２２、カメラ信号処理出力リクエスト信号１２３、および、カメラ信号処理出力画像信号８２４をＤＲＡＭインターフェース回路１３５に出力する。カメラ信号処理出力画像信号８２４は、カメラ信号処理入力画像信号８２１を入力信号として、色分離やガンマ補正、ホワイトバランス処理、および、輪郭補正処理などの画像処理を行って生成されたものである。

８２５はリサイズ処理回路であり、ＤＲＡＭインターフェース回路８３５からリサイズ処理入力画像信号８２６を受け取る。また、リサイズ処理入力リクエスト信号１２７、リサイズ処理出力リクエスト信号１２８、および、リサイズ処理出力画像信号１２９をＤＲＡＭインターフェース回路１３５に出力する。

８３５はＤＲＡＭインターフェース回路であり、本実施形態における撮像装置の画像処理全体を統制する。

本実施形態においても、図３（ｂ）に示すように、１垂直同期期間Ｔｖに対しては、１フィールドまたは１フレームずつ遅延する形で、信号の書込みと読み出しが実行される。具体的には、バースト変調画像信号１０６、カメラ信号処理出力画像信号８２４、および、リサイズ処理出力画像信号８２９の書き込みと、表示記録用画像信号１３１の読み出しが順に１フィールドまたは１フレームずつ遅延して実行される。

次に、図８を用いて、本実施形態の各部の動作を第１の実施形態と異なる点を中心として、順に説明する。

第１の実施形態では、ＤＲＡＭインターフェース回路１３５がジャイロセンサー１１２にて得られた加速度情報から生成した切り出しアドレス制御信号１１４に基づいて、ＤＲＡＭアドレスバス１３６を出力する。そして、ＤＲＡＭの第１のメモリエリアＭＡＰ−ａからＤＲＡＭ読み出しデータバス１３８として読み出して、これをカメラ信号処理入力画像信号１２１としてカメラ信号処理回路１２０に入力していた。つまり、カメラ信号処理回路１２０に入力されるカメラ信号処理入力画像信号１２１は、電子防振処理のための切り出し処理が行なわれた画像信号であって、イメージセンサー１０２にて得られた画像信号よりも画角が狭いものとなっている。

これに対し、本実施形態では、ＤＲＡＭの第１のメモリエリアＭＡＰ−ａから読み出され、カメラ信号処理回路８２０に入力されるカメラ信号処理入力画像信号８２１は、電子防振処理のための切り出し処理が行なわれていない点で異なる。動きベクトル検出回路８１２は、このカメラ信号処理入力画像信号８２１とバースト変調画像信号１０６を用いて、画角の動きを検知する。バースト変調画像信号１０６とカメラ信号処理入力画像信号８２１は画像サイズが同一のままであるが、上述したように１垂直同期期間の遅延差がある。よって、これらを比較することで、周知の方法によって画角の動きベクトルを算出することができる。こうして算出された前記動きベクトル情報は電子防振制御回路８１３に供給される。電子防振制御回路８１３がこの動きベクトル情報に基づいて、手振れを相殺するように切り出し位置を設定し、切り出しアドレス制御信号１１４と電子防振切り出し位置データ１１５として出力する。このように、第１の実施形態では、カメラ信号処理回路１２０には電子防振処理のために切り出された画像信号が入力されたが、本実施形態ではカメラ信号処理回路８２０には電子防振処理のための切り出しがまだ行なわれていない画像信号が入力される。

ＤＲＡＭインターフェース回路１３５は、図６に示す第２のメモリエリアＭＡＰ−ｂに書き込まれたカメラ信号処理出力画像信号８２４から、切り出しアドレス制御信号１１４に応じて、水平方向にＨ２個、垂直方向にＶ２個の画素からなる画像信号を切り出す。この切り出した画像信号がリサイズ処理入力画像信号８２６として、リサイズ処理回路８２５に入力される。

電子防振制御回路８１３にて設定された切り出し範囲は、動きベクトル検出回路８１２により算出された手振れを相殺するものであるので、リサイズ処理入力画像信号８２６は撮像装置に生じた手振れの影響を相殺した画像信号となる。リサイズ処理回路８２５はリサイズ倍率設定回路１１６から出力されたリサイズ倍率データ１１７に基づき、入力されたリサイズ処理入力画像信号８２６を、周知のアルゴリズムにてリサイズ処理する。そして、リサイズ処理出力画像信号１２９を出力し、第１の実施形態と同様に処理が進められる。

顔画像検出回路８０８は、不図示のメモリに予め記憶した顔画像のテンプレートデータと、カメラ信号処理出力画像信号８２４を比較し、マッチング等の周知の方法にて、画像内に存在する顔を検出する。この顔画像検出回路８０８では、カメラ信号処理出力画像信号８２４における、顔の位置およびサイズを示す顔データ１０９が生成され、出力される。

ＡＥ評価枠生成回路８１０では同期信号１４０と顔データ１０９に基づき、ＡＥ評価枠信号を生成し、ＡＥ制御回路８１１に供給する。ＡＥ制御回路８１１はＡＥ評価枠信号を参照して、入力されたカメラ信号処理出力画像信号８２４の顔が存在する領域に対応する輝度を抽出し、ＡＥ制御用評価値を生成する。このＡＥ制御用評価値を参照して、周知の方法により結像光学系８０１の絞り状態を調整ことにより、露出の自動調整を行う。これにより、被写体の顔に着目したＡＥ制御が実現される。本実施形態と第１の実施形態にて、オートフォーカス制御と露出制御の少なくとも一方の撮像制御を行う構成を例にあげたが、両方行う構成であっても無論構わない。

顔検出枠表示制御回路１１８は、第１の実施形態と同様に、顔データ１０９、電子防振切り出し位置データ１１５、および、リサイズ倍率データ１１７を用いて、上記式（１）から式（４）を用いて顔検出枠データ１１９を算出する。

第１の実施形態と同様に、顔データ１０９に含まれる顔の位置およびサイズに関する情報は、顔検出枠表示制御回路１１８にて、まず電子防振切り出し位置データ１１５によって切り出した後の画像の画角に対する位置が調整される。具体的には、顔データ１０９による顔の位置を、電子切り出し位置データ１１５による切り出し位置の分だけシフトさせる。それから、リサイズ倍率データ１１７から求められる画像サイズの変化（Ｈ３／Ｈ２、Ｖ３／Ｖ２）に対する換算が行われる。

そのため、顔検出枠表示制御回路１１８から出力される顔検出枠データ１１９は、電子防振による画像切り出しによって生じる画角の変化と、リサイズ処理による顔の領域の大きさの変化が反映されたものとなる。

そして、第１の実施形態と同様に、表示部１４２が変換後の画像信号を用いて顔検出枠が重畳された画像の表示を行う。

以上、説明したように、本実施形態においても、撮像装置が備える電子防振機能によって撮像素子から出力される画像の画角と、表示部に表示する画像の画角に差異が生じたとしても、被写体の検出位置を示す枠表示を、被写体に重畳して表示することが可能になる。さらに、電子防振処理が施される前の画像から被写体の検出が行われるため、被写体を検出する際に生じるタイムラグを抑制することも可能となり、被写体の追尾特性に優れた撮像装置を提供できる。

以上、本発明の実施形態を詳述したが、本発明は例えば、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成しても良いし、また、一つの機器にて構成しても良い。複数の機器から構成される例としては、画像入力装置と画像処理装置が複合または接続されたものが考えられる。画像入力装置としては例えば、ビデオカメラ以外にも、デジタルカメラ、監視カメラなど各種ＣＣＤやＣＭＯＳセンサー等の撮像素子を利用したカメラが挙げられる。画像処理装置としては例えば、パーソナルコンピューターが挙げられる。このようなシステムにおいて、該システムを構成する全てまたはいずれかの機器に備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。

尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、装置に直接あるいは遠隔から供給し、その装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

本発明の第１の実施形態に係る撮像装置の全体構成を説明するための図である。 本発明の第１および第２の実施形態に係る画像信号のバースト変調を説明するための図である。 本発明の第１および第２の実施形態に係るＤＲＡＭへのアクセスの調停方法を説明するための図である。 本発明の第１および第２の実施形態に係る画像信号のバースト復調を説明するための図である。 本発明の第１および第２の実施形態に係る画像信号の大きさを説明するための図である。 本発明の第１および第２の実施形態に係るＤＲＡＭのメモリマップを説明するための図である。 本発明の第１および第２実施形態に係る顔の位置および大きさと、電子防振処理による切り出し範囲を説明するための図である。 本発明の第２の実施形態に係る撮像装置の全体構成を説明するための図である。

符号の説明

１０１、８０１ 結像光学系
１０２ イメージセンサー
１０３ アナログフロントエンド
１０４ バースト変調回路
１０５ バースト変調回路の書き込みリクエスト信号
１０６ バースト変調画像信号
１０７ 同期信号生成回路
１０８、８０８ 顔画像検出回路
１０９ 顔の位置およびサイズデータ
１１０ ＡＦ評価枠生成回路
１１１ ＡＦ制御回路
１１２ ジャイロセンサー
１１３、８１３ 電子防振制御回路
１１４ 切り出しアドレス制御信号
１１５ 電子防振切り出し位置データ
１１６ リサイズ倍率設定回路
１１７ リサイズ倍率データ
１１８ 顔検出枠表示制御回路
１１９ 顔検出枠データ
１２０、８２０ カメラ信号処理回路
１２１、８２１ カメラ信号処理入力画像信号
１２２ カメラ信号処理入力リクエスト信号
１２３ カメラ信号処理出力リクエスト信号
１２４、８２４ カメラ信号処理出力画像信号
１２５、８２５ リサイズ処理回路
１２６、８２６ リサイズ処理入力画像信号
１２７ リサイズ処理入力リクエスト信号
１２８ リサイズ処理出力リクエスト信号
１２９ リサイズ処理出力画像信号
１３０ 記録画像処理回路
１３１ 表示記録用画像信号
１３２ 表示記録画像リクエスト信号
１３３ 画像重畳回路
１３４ バースト復調回路
１３５、８３５ ＤＲＡＭインターフェース回路
１３６ ＤＲＡＭアドレスバス
１３７ ＤＲＡＭ書き込みデータバス
１３８ ＤＲＡＭ読み出しデータバス
１３９ ＤＲＡＭ
１４０ 同期信号
１４１ 記録メディア
１４２ 表示部
８１０ ＡＥ評価枠生成回路
８１１ ＡＥ制御回路
８１２ 動きベクトル検出回路

Claims (7)

1. 撮像素子と、
   振れを検出する振れ検出手段と、
   前記振れ検出手段の検出結果に応じて前記撮像素子で生成された画像信号から切り出しを行い、該切り出した画像信号のリサイズを行う切り出し手段と、
   前記切り出し手段にて切り出しが行われる前の画像信号から、予め設定された条件を満たす被写体が存在する領域を検出し、該領域の位置の情報を生成する検出手段と、
   前記切り出し手段の切り出し位置と前記リサイズの倍率に応じて前記位置の情報を調整し、調整した後の前記位置の情報に基づいて、前記被写体の位置を示す表示を前記切り出し手段にて切り出された画像信号に合成することで表示用の画像信号を生成する合成手段を有することを特徴とする撮像装置。
2. 前記検出手段にて検出された位置の情報を用いて、オートフォーカス制御および露出制御の少なくとも一方を行う撮像制御手段を有することを特徴とする請求項１に記載の撮像装置。
3. 記合成手段にて生成された前記表示用の画像信号を用いて、画像の表示を行う表示手段を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記振れ検出手段は、前記撮像素子から得られた画像信号から動きベクトルを検出することで、前記振れを検出することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 前記振れ検出手段は、前記撮像装置の動きの角速度を検出するジャイロを備えることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
6. 撮像素子にて画像信号を生成する生成工程と、
   撮像装置の振れを検出する振れ検出工程と、
   前記振れ検出工程の検出結果に応じて前記撮像素子で生成された画像信号から切り出しを行う切り出し工程と、
   前記切り出し工程にて切り出した画像信号のリサイズを行うリサイズ工程と、
   前記切り出し工程にて切り出しが行われる前の画像信号から、予め設定された条件を満たす被写体が存在する領域を検出し、該領域の位置の情報を生成する検出工程と、
   前記切り出し工程における切り出し位置と前記リサイズ工程における前記リサイズの倍率に応じて前記位置の情報を調整する調整工程と、
   前記調整工程において調整した後の前記位置の情報に基づいて、前記被写体の位置を示す表示を前記切り出し手段にて切り出された画像信号に合成することで表示用の画像信号を生成する合成工程を含むことを特徴とする撮像装置の制御方法。
7. コンピュータに請求項６に記載の撮像装置の制御方法を実行させるためのプログラム。

Images