JP6261430B2 - 撮像装置及び画像処理システム - Google Patents

Description

本発明は、撮像装置及び画像処理システムに関する。

撮像装置での撮像において、画像信号の中から、特定の条件を満たす部分領域や特定の被写体を検出し、その検出結果に基づいて画像信号に対する画像処理を制御する技術が知られている。特許文献１では、画像信号の中から、人物の顔とその向いている方向を検出する方法に関して、顔検出用の顔検出テンプレートを用いて顔の向きを粗く分類した後に、主成分分析を用いた固有ベクトルの算出に基づいて詳細に顔の向きを計算する技術が開示されている。また、特許文献２では、二色性反射モデルに基づいて画像信号の中から鏡面反射成分を抽出し、撮影環境における光源の色温度推定を行う方法に関して、画素値の差分を用いて鏡面反射成分を抽出する技術が開示されている。

特開２００３−１４１５５１号公報 特開２００７−１３４１５号公報

上述の特許文献１の技術によれば、計算量が少なく精度の低い検出と、計算量が多く精度が高い検出方法を組み合わせることにより、高い精度で画像中の顔に関する情報を取得する事ができる。しかしながら、顔の検出結果に基づいて、画像信号の色や輝度の補正処理など画像処理を行う場合、従来の技術では、顔の検出処理が完了するまで画像処理の開始を待つ必要があり、処理のタイムラグが生じる。特に、上述の特許文献１のような２段階での検出方法を用いる場合、処理時間が長くなるという課題がある。

上述の特許文献２の場合も同様であり、画像信号に対するホワイトバランス補正を行うためには、画像信号の中から鏡面反射成分を抽出する処理が完了するのを待つ必要があり、処理のタイムラグが生じる場合がある。更に、顔の検出処理の場合と同様、鏡面反射成分の抽出を粗く高速な処理と高精度で処理量の大きい処理とを組み合わせて行う場合では、処理のタイムラグが大きくなる場合がある。

本発明の目的は、第１の画像処理の結果を基に画像信号を処理する際に、第１の画像処理の結果の待ち時間を短縮することができる撮像装置及び画像処理システムを提供することである。

本発明の撮像装置は、イメージセンサーと、制御部と、第１の画像処理部と、出力部とを有する撮像チップと、第２の画像処理部を有する画像処理チップとを備え、前記イメージセンサーは、複数の画素を有し、前記複数の画素の各々は、光を電荷に変換する光電変換部を有し、前記制御部は、第１の制御線により前記光電変換部の電荷に基づく信号を第１の信号線に出力させ、第２の制御線により前記光電変換部の電荷に基づく信号を第２の信号線に出力させ、前記第１の画像処理部は、前記第２の信号線に出力された信号に対して第１の画像処理を行い、かつ処理結果を前記出力部経由で前記撮像チップから出力し、前記第２の画像処理部は、前記撮像チップから出力された前記第１の画像処理の前記処理結果を基に、前記第１の信号線に出力された信号であって、前記出力部経由で前記撮像チップから出力された信号に対して第２の画像処理を行うことを特徴とする。

第２の画像処理部が第１の信号線の信号を入力する処理と、第１の画像処理部が第１の画像処理を行う処理とを並行させることができるので、全体の処理時間を短縮することができる。

第１の実施形態に係る撮像装置の構成を示すブロック図である。 第１の実施形態に係る積層センサーの構成を示すブロック図である。 第１の実施形態に係る積層センサーの画素部の構成を示す図である。 第１の実施形態に係る画像処理の流れを示す図である。 第１の実施形態に係る鏡面反射成分の抽出方法を説明する図である。 第２の実施形態に係る撮像装置の構成を示すブロック図である。 第２の実施形態に係る画像処理の流れを示す図である。 第２の実施形態に係る画像処理の流れを示す図である。

（第１の実施形態）
以下、図１〜図５を参照して、本発明の第１の実施形態に係る撮像装置について説明する。第１の実施形態として、画像信号の中から鏡面反射成分を抽出した結果に基づいて光源推定を行い、ホワイトバランス補正を実行する撮像装置を例に取って説明する。

図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置１００は、撮像光学系１０１、積層センサー１１０、画像処理ロジック部１２０、表示部１３２、操作部１３３及び外部メモリ１３４を有する。１１０は、光学像を画像信号に変換するイメージセンサー１１１と後述する画像処理部とを同一パッケージ内に構成した積層センサーである。１２０は、積層センサー１１０から出力される画像信号に対する画像処理を行う画像処理ロジック部である。１３１は画像データを記録する記録媒体、１３２はユーザに画像を呈示する表示部、１３３はユーザからの操作を受け付ける操作部、１３４は外部メモリである。Ｓ１０１は撮像画像信号、Ｓ１０２は鏡面反射候補領域情報、Ｓ１０３はカメラ信号処理設定データ、Ｓ１０４は記録画像信号、Ｓ１０５は表示画像信号、Ｓ１０６はユーザ指示入力信号、Ｓ１０７は外部メモリＲ／Ｗ情報である。

積層センサー１１０は、下記の構成要素を有する。１１１は光学像を画像信号に変換するイメージセンサー、１１２は撮像画像出力部である。１１３は、画像信号の中から鏡面反射成分が含まれている可能性のある領域を抽出する鏡面反射候補領域抽出部（第１の画像処理部）である。１１４は鏡面反射候補領域情報出力部、１１５は制御信号入力部である。Ｓ１１１はセンサー読み出し信号ａ、Ｓ１１２はセンサー読み出し信号ｂ、Ｓ１１３は鏡面反射候補領域情報、Ｓ１１４はセンサー駆動設定信号、Ｓ１１５は鏡面反射抽出設定信号である。

画像処理ロジック部１２０は、下記の構成要素を有する。１２１は撮像画像入力部、１２２は現像処理部（第２の画像処理部）、１２３は鏡面反射候補領域情報入力部、１２４は鏡面反射抽出部、１２５は制御信号出力部、１２６はシステム制御部である。Ｓ１２１は現像処理入力画像信号、Ｓ１２２は鏡面反射候補領域情報、Ｓ１２３はカメラ信号処理設定情報、Ｓ１２４はホワイトバランスゲイン情報である。

図２は、積層センサー１１０の構成例を示すブロック図である。２０２ａ及び２０２ｂは、それぞれ、撮像画像出力部１１２及び鏡面反射候補領域抽出部１１３へ出力する画像信号を選択するための行走査回路（制御部）ａ及び行走査回路（制御部）ｂである。２０３ａ及び２０３ｂは、アナログ信号をデジタル信号に変換するカラムＡＤＣ（アナログデジタル変換器）である。２０４は各列の走査を行う列操作回路である。

イメージセンサー１１１は、２次元行列状に配置されている複数の画素２１１を有する。２１２ａは転送信号線ａであり、２１３ａはリセット信号線ａである。２１４ａは行選択信号線ａであり、行走査回路２０２ａによる制御に従って、画素２１１からの画像信号の読み出しを行う。読み出した画像信号は、後述するように列信号線２１５ａへ出力される。２１２ｂは転送信号線ｂであり、２１３ｂはリセット信号線ｂである。２１４ｂは行選択信号線ｂであり、行走査回路２０２ｂによる制御に従って、画素２１１からの画像信号の読み出しを行う。読み出した画像信号は、後述するように列信号線２１５ｂへ出力される。

２１５ａは列信号線ａであり、カラムＡＤＣ２０３ａを介して撮像画像出力部１１２へセンサー読み出し信号Ｓ１１１を出力する。２１５ｂは列信号線ｂであり、カラムＡＤＣ２０３ｂを介して、鏡面反射候補領域抽出部１１３へセンサー読み出し信号Ｓ１１２を出力する。図示の通り、転送信号線２１２ａ、リセット信号線２１３ａ、行選択信号線２１４ａ、列信号線２１５ａは、全ての画素２１１へ接続されている。一方、転送信号線２１２ｂ、リセット信号線２１３ｂ、行選択信号線２１４ｂ、列信号線２１５ｂは、一部の画素２１１のみに接続されている。即ち、撮像画像出力部１１２へ出力されるセンサー読み出し信号Ｓ１１１に対して、鏡面反射候補領域抽出部１１３へ出力されるセンサー読み出し信号Ｓ１１２は間引かれた状態である。例えば、センサー読み出し信号Ｓ１１１は、水平４０９６画素、垂直２１６０画素である。センサー読み出し信号ｂ（Ｓ１１２）は、水平４００画素、垂直２１６画素に間引かれたものである。

行走査回路２０２ａ，２０２ｂとイメージセンサー１１１とカラムＡＤＣ２０３ａ，２０３ｂと鏡面反射候補領域抽出部１１３と列操作回路２０４と鏡面反射候補領域情報出力部１１４と撮像画像出力部１１２は、同一の半導体チップ内に形成される。イメージセンサー１１１と鏡面反射候補領域抽出部１１３は、相互に、積層して配置されている。即ち、イメージセンサー１１１が光入射側に、鏡面反射候補領域抽出部１１３がその裏側に配置され、相互に電気的に接続されている。これにより、イメージセンサー１１１が鏡面反射候補領域抽出部１１３に画像信号を出力する速度は、イメージセンサー１１１が現像処理部１２２に画像信号を出力速度より高速にすることができる。

図３は、画素２１１の構成例を示す回路図である。３０１はフォトダイオードである。３０２は転送トランジスタである。３０３はＦＤ（フローティングディフュージョン）である。３０４はリセットトランジスタである。３０５は増幅トランジスタである。３０６ａ及び３０６ｂは選択トランジスタである。フォトダイオード３０１は、アノードが接地され、カソードが転送トランジスタ３０２のソースに接続され、光を電荷に変換する光電変換部である。転送トランジスタのゲートには転送信号線２１２ａ及び２１２ｂが接続されている。従って、転送信号線２１２ａ又は２１２ｂによって、転送トランジスタ３０２がオンにされると、フォトダイオード３０１に蓄積された電荷は、ＦＤ３０３に転送され、ＦＤ３０３に蓄積される。増幅トランジスタ３０５は、ドレインが電源電圧Ｖｄｄが印加され、ゲートがＦＤ３０３に接続されている。増幅トランジスタ３０５は、ＦＤ３０３に蓄積された電荷を増幅して電圧信号に変換する。

選択トランジスタ３０６ａは、増幅トランジスタ３０５のソースと列信号線２１５ａの間に配置されており、そのゲートは行選択信号線２１４ａに接続されている。従って、行選択信号線２１４ａによって転送トランジスタ３０６ａがオンにされると、ＦＤ３０３の電圧に対応する電圧信号が列信号線２１５ａに出力される。

一方、選択トランジスタ３０６ｂは、増幅トランジスタ３０５のソースと列信号線２１５ｂの間に配置されており、そのゲートは行選択信号線２１４ｂに接続されている。従って、行選択信号線２１４ｂによって転送トランジスタ３０６ｂがオンにされると、ＦＤ３０３の電圧に対応する電圧信号が列信号線２１５ｂに出力される。

リセットトランジスタ３０４は、ゲートがリセット信号線２１４ａ及び２１４ｂに接続され、ドレインが電源電圧Ｖｄｄのノードに接続され、ソースがＦＤ３０３に接続されている。従って、リセット信号線２１４ａ又は２１４ｂによりリセットトランジスタ３０４がオンにされると、ＦＤ３０３の電圧が電源電圧Ｖｄｄにリセットされる。行走査回路２０２ａによる走査制御によってセンサー読み出し信号Ｓ１１１が読み出され、行走査回路２０２ｂによる走査制御によってセンサー読み出し信号Ｓ１１２が読み出される。

次に、図４を参照して、撮像装置１００での画像信号の読み出しと、読み出した画像信号に対する画像処理の流れを説明する。図４は、１／３０秒の駆動周期で動画像信号を読み出し、画像処理を実施する場合の撮像装置１００の動作タイミングを説明する図である。

イメージセンサー１１１にて読み出されたセンサー読み出し信号ａ（Ｓ１１１）は、撮像画像出力部１１２により、積層センサー１１０の外部に撮像画像信号Ｓ１０１として出力される。撮像画像信号Ｓ１０１は、撮像画像入力部１２１により取り込まれ、現像処理入力画像信号Ｓ１２１として現像処理部１２２へ供給される。

図４に示すように、センサー読み出し信号ａ（Ｓ１１１）の最初のフレーム画像信号（フレーム１）の読み出しは、時刻ｔ１０において開始され、時刻ｔ２０において終了する。その後、時刻ｔ２０からｔ３０において、次のフレーム画像信号（フレーム２）が読み出され、以降、周期的に読み出される。

現像処理部１２２は、第２の画像処理部であり、現像処理入力画像信号Ｓ１２１に対して、ガンマ補正や色補正など各種の補正処理（第２の画像処理）を実行する。また、現像処理部１２２は、後述の方法により算出したホワイトバランスゲインに従って、ホワイトバランス補正（第２の画像処理）を行う。現像処理部１２２での画像処理は、外部メモリＲ／Ｗ情報Ｓ１０７を経由して外部メモリ１３４を用いてなされ、図４の時刻ｔ３０〜ｔ３１の期間で行われる。

即ち、時刻ｔ１０〜ｔ２０の期間に読み出された動画像の１フレーム目に対応する画像信号は、２フレーム分遅れた時刻ｔ３１に現像処理部１２２より出力され、記録媒体１３１での画像データの記録や表示部１３２での画像の表示に用いられる。

一方、センサー読み出し信号ｂ（Ｓ１１２）は、時刻ｔ１０〜ｔ１１において、鏡面反射候補領域抽出部１１３へ出力される。図示した通り、センサー読み出し信号ｂ（Ｓ１１２）の読み出しは、センサー読み出し信号ａ（Ｓ１１１）の読み出しより短時間で完了する。これは、センサー読み出し信号ｂ（Ｓ１１２）は画素数が間引かれており、また、イメージセンサー１１１と鏡面反射候補領域抽出部１１３が積層構造によって接続されているためである。

次に、鏡面反射候補領域抽出部１１３は、第１の画像処理部であり、センサー読み出し信号ｂ（Ｓ１１２）から、被写体表面での鏡面反射が生じている可能性のある鏡面反射候補領域を抽出する第１の画像処理を行う。具体的な方法について、図５（ａ）〜（ｃ）を参照して説明する。図５（ａ）及び（ｂ）は、画像信号を適当な大きさのブロックに分割した状態を表す図である。図５（ａ）及び（ｂ）では、８×８＝６４個のブロックに分割している。また、被写体表面の網掛けされている領域が、鏡面反射が生じている領域を表しているものとする。鏡面反射候補領域抽出部１１３は、分割したブロックのうち、鏡面反射が生じている領域を含む可能性のあるブロックを抽出し、その位置情報を鏡面反射候補領域情報Ｓ１１３として出力する。鏡面反射が生じている領域は、周囲の拡散反射のみが生じている領域に比べて、画像信号の輝度が高くなると考えられる。このため、鏡面反射候補領域抽出部１１３は、各ブロックに対してブロック内の平均輝度を算出し、その平均輝度が周囲のブロックより高い値を持つブロックを探索して抽出する。この条件によって鏡面反射が生じている可能性が高いと判断されるブロックは、複数存在する可能性もあり、その場合は鏡面反射候補領域情報Ｓ１１３として出力される情報も複数となる。図５（ｂ）では、抽出されたブロックを斜線で表している。上記の鏡面反射候補領域の抽出処理は、時刻ｔ１１〜ｔ１２の期間で実行される。

鏡面反射候補領域情報Ｓ１１３は、鏡面反射候補領域情報出力部１１４によって、画像処理ブロック部１２０の鏡面反射候補領域情報入力部１２３へ出力される。

次に、鏡面反射抽出部１２４の処理について説明する。鏡面反射抽出部１２４は、撮像画像入力部１２１を介して入力された現像処理入力画像信号Ｓ１２１から、鏡面反射に対応した反射成分のみを抽出することにより、光源色の推定を行う。ただし、現像処理入力画像信号Ｓ１２１の中で、鏡面反射候補領域情報Ｓ１２２に対応した領域のみを用いる事により、処理時間を短縮する。

図５（ｂ）及び（ｃ）を参照して、その処理内容を説明する。鏡面反射抽出部１２４は、鏡面反射候補領域抽出部１１３と同様、画像信号を複数のブロックに分割する。ここでの分割数や分割位置は鏡面反射候補領域抽出部１１３と同じ設定にする事とし、本実施形態では、８×８個のブロックに分割するものとする。鏡面反射抽出部１２４は、鏡面反射候補領域情報Ｓ１２２に含まれるブロックの中の画素に対して、輝度ヒストグラムを生成し、鏡面反射成分の抽出を行う。図５（ｃ）に、鏡面反射抽出部１２４が生成する輝度ヒストグラムの例を示す。図５（ｃ）の縦軸は各画素の輝度信号Ｙ、図５（ｃ）の横軸は各輝度信号Ｙの区間に含まれる画素数を表す頻度である。上述のように、鏡面反射が生じている領域は、生じていない領域に比べて高い輝度を持つと考えられるので、図５（ｃ）の輝度ヒストグラムにおいて、輝度信号Ｙの高い区間に含まれる画素は鏡面反射成分を多く含んでいると考えられる。従って、輝度ヒストグラムにおいて、高い輝度信号に対応する区間に含まれる画素と、それより低い輝度信号に対応する区間に含まれる画素との間で、画素値の差分を算出することで鏡面反射信号を抽出する事ができる。ここで抽出した鏡面反射成分は、撮影環境における光源の色を表しているため、鏡面反射抽出部１２４は、抽出した鏡面反射成分を基に、撮影環境に適したホワイトバランスゲインを算出する事ができる。鏡面反射抽出部１２４は、算出したホワイトバランスゲインを、現像処理部１２２へ出力する。上述の処理は、図４のシーケンスにおいて、時刻ｔ２０〜ｔ２１の期間で実行される。時刻ｔ２１〜ｔ２２において、現像処理部１２２に対するホワイトバランスゲイン情報Ｓ１２４の更新が、システム制御部１２６により実行される。上述したように、図４の時刻ｔ３０〜ｔ３１において、現像処理部１２２は、ホワイトバランス補正を含めた画像処理が可能となる。

以上、本実施形態の撮像装置１００は、イメージセンサー１１１と画像処理部を一体型とした積層センサー１１０を備える。積層センサー１１０の内部の鏡面反射候補領域抽出部（画像処理部）１１３において鏡面反射が生じている可能性の高い領域を抽出し、その後、積層センサー１１０の外部の鏡面反射抽出部（画像処理部）１２４において、更に高精度に鏡面反射成分を抽出する。

本実施形態によれば、図４のセンサー読み出し信号ｂの読み出し開始から完了と、続く、ブロック毎の輝度信号に基づく鏡面反射が生じている可能性の高い領域の抽出処理までが、センサー読み出し信号ａの読み出し開始から完了までの間に完了している。本実施形態によらない場合、まず、センサー読み出し信号ｂに相当する間引き画像の生成を、センサー読み出し信号ａを基に行わなければならず、さらに、その後にブロック毎の輝度値を用いた抽出処理を行わなければならないため、大幅に処理時間がかかる。これに対し、本実施形態によれば、上記の時間を短縮する事が可能である。

なお、本実施形態では、ブロック単位の輝度情報を用いて、鏡面反射成分を含む可能性の高い領域を検出し、画素単位の輝度ヒストグラムを用いて鏡面反射成分の抽出を行ったが、鏡面反射の検出、抽出処理の方法はこれに限定するものではない。例えば、読み出した画像信号の中から、その輝度値が周囲の領域の輝度値よりも高い部分領域を、鏡面反射成分を含む可能性の高い領域として検出しても良い。また、画素単位で画素値の差分を算出し、算出した差分値の中から予め記憶した代表的な光源色に対応した差分値のみを抽出することによって、鏡面反射成分の抽出を行っても良い。つまり、画像信号に基づいて、鏡面反射を含む可能性の高い領域を検出する処理と、鏡面反射成分を抽出する処理で有れば、どのような方法を用いても構わない。

また、本実施形態では、鏡面反射成分を含む可能性の高い領域の位置情報を積層センサー１１０から出力する場合を説明したが、積層センサー１１０からの出力内容はこれに限定するものではない。例えば、鏡面反射成分を含む可能性の高い領域が存在するか否かを表す情報を出力しても良い。この場合、鏡面反射成分を含む可能性の高い領域が存在する場合は、現像処理部１２２は、鏡面反射の検出に基づいたホワイトバランス処理を行う。領域が存在しない場合は、現像処理部１２２は、画像信号の無彩色領域の検出に基づいたホワイトバランス処理を行う。これにより、鏡面反射の検出に基づくホワイトバランス処理では適切なホワイトバランス補正が行えない場合に、無駄な処理を行う事が無くなり、全体の処理時間を短縮する事が可能となる。

また、積層センサー１１０からの出力結果として、鏡面反射成分を含む可能性の高い領域の画像信号を出力するようにしても良い。この場合、鏡面反射抽出部１２４は、出力された部分領域の画像信号に対して輝度ヒストグラムを生成し、鏡面反射成分の抽出を行えば良い。これにより、現像処理部１２２への高解像度な画像信号の読み出しの完了を待つことなく、鏡面反射抽出部１２４は、ホワイトバランスゲインの算出を行う事が可能となり、全体の処理時間を短縮する事が可能となる。

つまり、積層センサー１１０からの出力内容は、鏡面反射成分を含む可能性の高い領域を検出した結果を表す情報であれば、どのような形式であっても構わない。また、本実施形態では、イメージセンサー１１１と鏡面反射候補領域抽出部（画像処理部）１１３とが積層構造によって接続された積層センサー１１０を用いる場合を説明したが、センサーの構成を積層センサー１１０に限定するものではない。即ち、画素２１１と、行走査回路２０２ａ，２０２ｂと、鏡面反射候補領域抽出部１１３とが一体型のパッケージとして構成されたセンサーで有れば、どのような構成のセンサーを用いても構わない。

また、本実施形態では、積層センサー１１０と画像処理ロジック部１２０とを備えた撮像装置１００の場合を説明したが、撮像装置に限定されるものではない。例えば、積層センサー１１０、鏡面反射候補領域抽出部１１３及び記録部を備えた撮像装置と、記録された信号の読み出し部と画像処理ロジック部１２０とを備えた画像処理装置から成る画像処理システムを用いても構わない。この場合、撮像装置の記録部は、イメージセンサー１１１から出力される画像信号と、鏡面反射成分が含まれる可能性の高い画像領域に関する情報を記録するようにすれば良い。このようにする事で、画像処理ロジック部１２０は、画像処理を撮像装置の外部で行う場合においても、全体の処理時間を短縮する事が可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態として、画像信号の中から顔を検出し、検出結果に基づいて画像処理を制御する撮像装置を例に取って説明する。図６は、本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した第１の実施形態の場合と同様の構成については、同じ符号を付け、説明は省略する。以下、本実施形態が第１の実施形態と異なる点を説明する。

Ｓ６０１は顔候補座標情報である。Ｓ６０２は顔候補画像情報である。６１０は顔候補検出部、６１１は顔候補正規化部、６１２は顔候補画像メモリ、６１３は顔候補画像出力部、６１４は顔候補座標メモリ、６１５は顔候補座標出力部、６１６は顔テンプレート画像メモリである。Ｓ６１０は個別顔候補画像情報、Ｓ６１１は正規化顔候補画像情報、Ｓ６１２は顔候補画像情報、Ｓ６１３は顔テンプレート画像情報、Ｓ６１４は顔テンプレート設定情報、Ｓ６１５は個別顔候補座標情報、Ｓ６１６は顔候補座標情報である。

画像処理ロジック部１２０は、下記の構成要素を有する。６２１は顔候補画像入力部、６２２は顔判定部、６２３は顔候補座標入力部、６２４は固有ベクトルメモリである。Ｓ６２１は顔候補画像情報、Ｓ６２２は顔候補座標情報、Ｓ６２３は固有ベクトル情報、Ｓ６２４は顔判定結果情報である。

イメージセンサー１１１については、第１の実施形態において説明した構成であるため、詳細説明は割愛する。なお、第１の実施形態の場合と同様、センサー読み出し信号ａ（Ｓ１１１）は、イメージセンサー１１１の全画素の画像信号である。センサー読み出し信号ｂ（Ｓ１１２）は、イメージセンサー１１１の全画素に対して、間引かれた画像信号である。例えば、センサー読み出し信号ａ（Ｓ１１１）は、水平４０９６画素、垂直２１６０画素である。センサー読み出し信号ｂ（Ｓ１１２）は、水平４００画素、垂直２１６画素に間引かれたものである。

次に、図７及び図８を用いて、本発明の第２の実施形態に係る撮像装置の動作タイミングを説明する。なお、図７は１／３０秒周期での動画撮影動作時、図８は１／６０秒周期での動画撮影動作時の動作タイミングを示す図である。

センサー読み出し信号ａ（Ｓ１１１）は、撮像画像出力回路１１２により、積層センサー１１０の外部に、撮像画像信号Ｓ１０１として出力される。撮像画像信号Ｓ１０１は、撮像画像入力回路１２１により画像処理ロジック部１２０に取り込まれ、現像処理入力画像信号Ｓ１２１として、現像処理部１２２に供給される。センサー読み出し信号ａ（Ｓ１１１）は、図７に示すように、時刻ｔ７０において読み出しが開始され、時刻ｔ８０において読み出しが終了し、その後、時刻ｔ９０及びｔ１００で、周期的に動画像が出力される。

現像処理部１２２は、顔判定結果情報Ｓ６２４に基づき、被写体の顔領域に対する肌色補正処理や、被写体の顔領域に特化したノイズ抑圧処理等の、顔領域画像処理を含めた画像処理を実行する。画像処理の実行は、外部メモリＲ／Ｗ情報Ｓ１０７を経由して外部メモリ１３４を用いてなされる。現像処理部１２２の出力として表示画像信号Ｓ１０５と記録画像信号Ｓ１０４が出力されるのは、図７の時刻ｔ９０〜ｔ９１である。即ち、時刻ｔ７０〜ｔ８０において読み出されたセンサー読み出し信号ａ（Ｓ１１１）の１フレーム目の画像に対する現像処理部１２２の出力は、２フレーム分遅れて時刻ｔ９０〜ｔ９１となる。表示画像信号Ｓ１０５に対しては、被写体の顔領域を示すポインタ情報が重畳され、表示部１３２に表示される。また、記録画像信号Ｓ１０４は、記録媒体１３１に記録される。

一方、センサー読み出し信号ｂ（Ｓ１１２）は、顔候補検出部６１０に入力される。センサー読み出し信号ｂ（Ｓ１１２）は、水平４００画素、垂直２１６画素に間引かれるため、図７の時刻ｔ７０〜ｔ７１において読み出しが完了する。

顔テンプレート画像メモリ６１６には、顔のテンプレート画像が予め複数の顔サイズで記録されている。被写体としての顔は、その大きさが撮影時の状況により種々変わるので、顔のテンプレート画像も複数サイズで記録しておくのが望ましい。例えば、水平及び垂直画素が各々１６０画素、８０画素、４０画素、２０画素の４種類を記録しており、顔テンプレート設定情報Ｓ６１４により、いずれかの顔サイズの顔のテンプレート画像を、顔テンプレート画像情報Ｓ６１３として読み出すかを指定可能である。

顔候補検出部６１０は、指定された顔サイズの顔のテンプレート画像情報Ｓ６１３を用いて、センサー読み出し信号ｂ（Ｓ１１２）の全画角に対して、指定された顔サイズの顔のテンプレート画像情報Ｓ６１３と相関の高い部分領域を探索する。即ち、顔候補検出部６１０は、指定された顔サイズの顔のテンプレート画像情報Ｓ６１３と同一サイズの部分領域画像を、センサー読み出し信号ｂ（Ｓ１１２）から、部分領域をずらしながら抽出する。そして、顔候補検出部６１０は、部分領域と指定された顔サイズの顔のテンプレート画像情報Ｓ６１３との相関係数又は差分の比較により、部分領域に、顔が存在する可能性が高いか否か、粗く相関評価する。前述したように、被写体としての顔は、その大きさが撮影時の状況により種々変わるので、予め記録しておいた複数サイズの顔のテンプレート画像全てに対して、探索処理を行う事が望ましい。

そのため、図７に示すように、時刻ｔ７１〜ｔ７２において、顔候補検出部６１０は、水平及び垂直画素が各々１６０画素の顔テンプレート画像情報Ｓ６１３に対する探索処理を行う。時刻ｔ７２〜ｔ７３において、顔候補検出部６１０は、水平及び垂直画素が各々８０画素の顔テンプレート画像情報Ｓ６１３に対する探索処理を行う。時刻ｔ７３〜ｔ７４において、顔候補検出部６１０は、水平及び垂直画素が各々４０画素の顔テンプレート画像情報Ｓ６１３に対する探索処理を行う。時刻ｔ７４〜ｔ７５において、顔候補検出部６１０は、水平及び垂直画素が各々２０画素の顔テンプレート画像情報Ｓ６１３に対する探索処理を行う。

上記の探索処理により、顔が存在する可能性が高いと判断されたならば、顔候補検出部６１０は、指定された顔サイズの顔のテンプレート画像情報Ｓ６１３と比較した部分領域の情報から、顔の位置とサイズ情報からなる個別顔候補座標情報Ｓ６１５を生成する。そて、顔候補検出部６１０は、個別顔候補座標情報Ｓ６１５を顔候補座標メモリ６１４に格納する。顔が存在する可能性が高いと判断される部分領域は、複数存在する可能性があるため、個別顔候補座標情報Ｓ６１５も複数になりえる。

さらに、顔候補検出部６１０は、指定された顔サイズの顔のテンプレート画像情報Ｓ６１３と比較した部分領域画像を切り出し、個別顔候補画像情報Ｓ６１０を生成し、顔候補正規化部６１１に出力する。個別顔候補画像情報Ｓ６１０は、指定された顔サイズの顔のテンプレート画像情報Ｓ６１３に連動して、複数の画像サイズとなるため、顔候補正規化部６１１は、共通の画像サイズに統一する正規化処理を行う。例えば、顔候補正規化部６１１は、水平及び垂直画素が各々２０画素のサイズになるように縮小処理を行う。こうして、正規化顔候補画像情報Ｓ６１１が生成され、顔候補画像メモリ６１２に、水平及び垂直画素が各々２０画素のサイズに統一された顔候補画像として格納される。

顔候補正規化部６１１の正規化処理は、図７の時刻ｔ７１〜ｔ７２、ｔ７２〜ｔ７３ 、ｔ７３〜ｔ７４、 ｔ７４〜ｔ７５に含まれる。図７に示す通り、センサー読み出し信号ｂ（Ｓ１１２）の読み出し開始から完了と、続く、４種類の顔サイズの顔のテンプレート画像によるテンプレートマッチング処理までが、センサー読み出し信号ａ（Ｓ１１１）の読み出し開始から完了までの間に完了する。

次に、顔候補座標メモリ６１４及び顔候補画像メモリ６１２は、記録された顔候補座標情報Ｓ６１６及び正規化顔候補画像情報Ｓ６１２を出力する。顔候補座標情報Ｓ６１６及び正規化顔候補画像情報Ｓ６１２は、図７の時刻ｔ８０において、顔候補座標出力部６１５及び顔候補画像出力部６１３から、積層センサー１１０の外部に、顔候補座標情報Ｓ６０２及び顔候補画像情報Ｓ６０１として出力される。顔候補座標情報Ｓ６０２及び顔候補画像情報Ｓ６０１は、それぞれ、顔候補座標入力部６２３及び顔候補画像入力部６２１により、画像処理ロジック部１２０に入力される。

顔候補座標入力部６２３は、顔候補座標情報Ｓ６０２を顔候補座標情報Ｓ６２２として顔判定部６２２に出力する。また、顔候補画像入力部６２１は、顔候補画像情報Ｓ６０１を顔候補画像情報Ｓ６２１として顔判定部６２２に出力する。顔候補画像情報Ｓ６２１は、前述したように、顔のテンプレート画像情報Ｓ６１３と同一サイズの部分領域画像の相関係数又は差分により、顔である可能性が高いものと、粗く評価されただけであるため、正解率はさほど高いものではない。

固有ベクトルメモリ６２４は、さらに正解率を上げるために、予め顔の画像の特徴量を精度よく表すデータとして、主成分分析により抽出しておいた顔の固有ベクトル情報Ｓ６２３を記録しておく。顔判定部６２２は、顔候補画像情報Ｓ６２１に対して、顔の固有ベクトル情報Ｓ６２３と照合することにより、最終的に顔であるか否かの顔判定を行う。顔の固有ベクトル情報Ｓ６２３は、固有ベクトルメモリ６２４に予め記録されており、固有ベクトル情報Ｓ６２３として読み出され、顔判定部６２２に入力される。上述のようにして、顔判定部６２２は、主成分分析による顔判定処理を行い、最終的に顔であるか否かの顔判定を行い、顔判定の結果として顔判定結果情報Ｓ６２４を現像処理部１２２へ出力する。

図７の時刻ｔ８０〜ｔ８１において、顔判定部６２２は、顔候補画像情報Ｓ６２１に対する最終的な顔判定処理を実施する。図７の時刻ｔ８１〜ｔ８２において、現像処理部１２２での顔判定結果情報Ｓ６２４に基づいて制御される各種補正処理に関する設定パラメータの更新が実行される。以上により、現像処理部１２２での設定パラメータの更新により、図７の時刻ｔ９０〜時刻ｔ９１において、現像処理部１２２は、被写体の顔領域に対する肌色補正処理や、被写体の顔領域に特化したノイズ抑圧処理等の、顔領域画像処理を含めた画像処理を行う。

本実施形態では、センサー読み出し信号ｂ（Ｓ１１２）の読み出し開始から完了と、続く、４種類の顔サイズの顔のテンプレート画像によるテンプレートマッチング処理までが、センサー読み出し信号ａ（Ｓ１１１）の読み出し開始から完了までの間に完了している。

本実施形態によらない場合、まず、センサー読み出し信号ｂ（Ｓ１１２）に相当する間引き画像の生成を、センサー読み出し信号ａ（Ｓ１１１）を基に行わなければならない。さらに、その後に、４種類の顔サイズの顔のテンプレート画像によるテンプレートマッチング処理を行わなければならないため、大幅に処理時間がかかる。従って、本実施形態によれば、上記の時間が大幅に短縮されるものとなっている。

次に、ユーザにより、本実施形態の撮像装置１００に対する制御パラメータが変更された場合について、説明する。ここで、ユーザが、操作部１３３を介して、動画撮影時のフレームレートを１／３０秒周期（図７）から、１／６０秒周期（図８）の倍速のフレームレートに設定する指示を入力したものとする。

システム制御部１２６は、カメラ信号処理設定情報Ｓ１２３に対して、１／６０秒周期設定を与え、制御信号出力部１２５を通じて、画像処理ロジック部１２０の外部にカメラ信号処理設定情報Ｓ１０３として出力する。積層センサー１１０の制御信号入力部１１５は、カメラ信号処理設定情報Ｓ１０３を入力し、顔候補検出部６１０に対する顔テンプレート設定信号Ｓ６１７と、イメージセンサー１１１に対するセンサー駆動設定信号Ｓ１１４を出力する。センサー駆動設定信号Ｓ１１４は、イメージセンサー１１１において生成されるセンサー読み出し信号ｂ（Ｓ１１２）の間引き設定を変更する設定信号である。また、顔テンプレート設定信号Ｓ６１７は、前述した、４種類の顔サイズの顔のテンプレート画像のうち、いずれの顔サイズを下限としてテンプレートマッチング処理を行うかを変更する設定信号である。

本実施形態では、フレームレートの設定が１／６０秒周期と倍速化された場合であっても、センサー読み出し信号ｂ（Ｓ１１２）の読み出し開始から完了と、続く、４種類の顔サイズの顔のテンプレート画像によるテンプレートマッチング処理までの期間を短くする。その期間は、センサー読み出し信号ａ（Ｓ１１１）の読み出し開始から完了までの間に完了させるために以下の変更を行う。

即ち、まず、センサー駆動設定信号Ｓ１１４により、センサー読み出し信号ｂ（Ｓ１１２）の間引き設定を、水平４００画素、垂直２１６画素であった所を、水平３２０画素、垂直１８０画素と、さらに間引いた設定とする。これにより、センサー読み出し信号ｂ（Ｓ１１２）の読み出し開始から終了までの時間である図８の時刻ｔ１２０から時刻ｔ１２１までの時間が、さらに短縮化される。

さらに、顔テンプレート設定信号Ｓ６１７の設定により、テンプレートマッチング処理に使用する顔テンプレートの画像サイズを、水平及び垂直画素が各々１６０画素の顔テンプレート画像と、水平及び垂直画素が各々８０画素の顔テンプレート画像のみと制限する。図８の時刻ｔ１２１〜ｔ１２２において、顔候補検出部６１０は、水平及び垂直画素が各々１６０画素の顔テンプレート画像に対する探索処理を行う。時刻ｔ１２２〜ｔ１２３において、顔候補検出部６１０は、水平及び垂直が各々８０画素の顔テンプレート画像に対する探索処理を行い、テンプレートマッチング処理を終了する。

これにより、顔候補検出部６１０のテンプレートマッチング処理時間を１／２に短縮化する。さらに、センサー読み出し信号ｂ（Ｓ１１２）の読み出し開始から終了までの時間の図８の時刻ｔ１２０〜ｔ１２１が短縮されている。センサー読み出し信号ａ（Ｓ１１１）の読み出し開始から完了が１／６０秒に倍速化されている。その場合でも、センサー読み出し信号ｂ（Ｓ１１２）の読み出し開始から完了と、続く、テンプレートマッチング処理を、センサー読み出し信号ａ（Ｓ１１１）の読み出し開始から完了までに完了させる事ができる。

以上説明したように、本実施形態によれば、イメージセンサー１１１の全画素の領域に対して、所定の条件の顔テンプレートと相関の高い部分領域の探索処理を、イメージセンサー１１１の全画素の読み出し期間中に、並行して完了させる事ができる。さらに、それに続いて、画像処理ロジック部１２０における詳細な判別処理である顔判定処理をすぐに行う事ができるため、被写体中の顔検出処理をより効率的に実行する事ができる。

また、本実施形態によれば、イメージセンサー１１１の全画素の読み出し時間が変化しても、顔テンプレートと相関の高い部分領域の探索処理をイメージセンサー１１１の全画素の読み出し時間内に完了するための制御を、容易に実施することが可能である。

第１及び第２の実施形態では、行走査回路（制御部）２０２ａは、転送信号線（第１の制御線）２１２ａによりフォトダイオード３０１の電荷に基づく信号を列信号線（第１の信号線）２１５ａに出力させる。行走査回路（制御部）２０２ｂは、また、転送信号線（第２の制御線）２１２ｂによりフォトダイオード３０１の電荷に基づく信号を列信号線（第２の信号線）２１５ｂに出力させる。鏡面反射候補領域抽出部１１３並びに顔候補検出部６１０（及び顔候補正規化部６１１）は、第１の画像処理部であり、列信号線２１５ｂに出力された信号に対して第１の画像処理を行う。現像処理部１２２は、第２の画像処理部であり、鏡面反射候補領域抽出部１１３又は顔候補検出部６１０（及び顔候補正規化部６１１）の第１の画像処理の結果を基に、列信号線２１５ａに出力された信号に対して第２の画像処理を行う。

行走査回路２０２ａは、転送信号線２１２ａにより複数の画素２１１のすべての画素２１１のフォトダイオード３０１の電荷に基づく信号を現像処理部１２２に出力させる。行走査回路２０２ｂは、転送信号線２１２ｂにより複数の画素２１１のうちの一部の画素２１１のフォトダイオード３０１の電荷に基づく信号を鏡面反射候補領域抽出部１１３又は顔候補検出部６１０に出力させる。鏡面反射候補領域抽出部１１３又は顔候補検出部６１０（及び顔候補正規化部６１１）は、一部の画素２１１のフォトダイオード３０１の電荷に基づく信号に対して第１の画像処理を行う。現像処理部１２２は、すべての画素２１１のフォトダイオード３０１の電荷に基づく信号に対して第２の画像処理を行う。行走査回路２０２ｂが転送信号線２１２ｂにより列信号線２１５ｂに出力される画素２１１の数は、行走査回路２０２ａが転送信号線２１２ａにより列信号線２１５ａに出力される画素２１１の数より少ない。

鏡面反射候補領域抽出部１１３又は顔候補検出部６１０（及び顔候補正規化部６１１）は、現像処理部１２２が列信号線２１５ａに出力される画素２１１のすべての信号を入力するまでに、第１の画像処理を完了させる。

鏡面反射候補領域抽出部１１３又は顔候補検出部６１０（及び顔候補正規化部６１１）等の第１の画像処理部は、所定の画像領域を検出する。具体的には、第１の画像処理部は、被写体表面における鏡面反射成分を含む画像領域、被写体人物の顔を含む画像領域、又は特定の被写体を含む画像領域を検出する。第１の画像処理部は、所定の画像領域の有無、所定の画像領域個数、及び所定の画像領域の位置情報を出力、又は所定の画像領域の画像信号を出力する。現像処理部１２２は、第１の画像処理部により検出された画像領域に対して第２の画像処理を行う。

また、画像処理システムは、撮像装置と、画像処理装置とを有する。撮像装置は、イメージセンサー１１１と、行走査回路２０２ａ，２０２ｂと、第１の画像処理部と、記録部とを有する。第１の画像処理部は、鏡面反射候補領域抽出部１１３又は顔候補検出部６１０（及び顔候補正規化部６１１）である。画像処理装置は、現像処理部１２２を有する。記録部は、列信号線２１５ａの信号及び第１の画像処理部の第１の画像処理の結果を記録する。現像処理部１２２は、記録部に記録された第１の画像処理部の第１の画像処理の結果を基に、記録部に記録された列信号線２１５ａの信号に対して第２の画像処理を行う。

第１及び第２の実施形態によれば、現像処理部１２２は、第１の画像処理部の第１の画像処理の結果に基づいて列信号線２１５ａの信号に対して第２の画像処理を行う。特に、鏡面反射候補領域抽出部１１３又は顔候補検出部６１０の粗く高速な検出処理と、鏡面反射抽出部１２４又は顔判定部６２２の高精度で処理量の大きい検出処理との２段階で検出処理を行う。現像処理部１２２は、検出処理の完了を待つ事によって生ずるタイムラグを短縮し、全体の処理時間を短縮する事ができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１１０ 積層センサー、１１１ イメージセンサー、１１３ 鏡面反射候補領域抽出部、１２０ 画像処理ロジック部、１２２ 現像処理部

Claims (9)

1. イメージセンサーと、制御部と、第１の画像処理部と、出力部とを有する撮像チップと、
   第２の画像処理部を有する画像処理チップとを備え、
   前記イメージセンサーは、複数の画素を有し、
   前記複数の画素の各々は、光を電荷に変換する光電変換部を有し、
   前記制御部は、第１の制御線により前記光電変換部の電荷に基づく信号を第１の信号線に出力させ、第２の制御線により前記光電変換部の電荷に基づく信号を第２の信号線に出力させ、
   前記第１の画像処理部は、前記第２の信号線に出力された信号に対して第１の画像処理を行い、かつ処理結果を前記出力部経由で前記撮像チップから出力し、
   前記第２の画像処理部は、前記撮像チップから出力された前記第１の画像処理の前記処理結果を基に、前記第１の信号線に出力された信号であって、前記出力部経由で前記撮像チップから出力された信号に対して第２の画像処理を行うことを特徴とする撮像装置。
2. 前記出力部は、前記第１の信号線に出力された信号を出力するための第１の出力部と、前記第１の出力部とは異なり前記第１の画像処理の前記処理結果を出力するための第２の出力部とを備えることを特徴とする請求項１記載の撮像装置。
3. 前記イメージセンサー及び前記第１の画像処理部は、相互に、積層して配置され、電気的に接続されていることを特徴とする請求項２記載の撮像装置。
4. 前記第２の制御線により前記第２の信号線に出力される前記画素の数は、前記第１の制御線により前記第１の信号線に出力される前記画素の数より少ないことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記制御部は、前記第１の制御線により前記複数の画素のすべての画素の前記光電変換部の電荷に基づく信号を前記第２の画像処理部に出力させ、前記第２の制御線により前記複数の画素のうちの一部の画素の前記光電変換部の電荷に基づく信号を前記第１の画像処理部に出力させ、
   前記第１の画像処理部は、前記一部の画素の前記光電変換部の電荷に基づく信号に対して前記第１の画像処理を行い、
   前記第２の画像処理部は、前記すべての画素の前記光電変換部の電荷に基づく信号に対して前記第２の画像処理を行うことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記第１の画像処理部は、前記第２の画像処理部が前記第１の信号線に出力される画素のすべての信号を入力するまでに、前記第１の画像処理を完了させることを特徴とする請求項４又は５記載の撮像装置。
7. 前記第１の画像処理部は、所定の画像領域を検出し、
   前記第２の画像処理部は、前記第１の画像処理部により検出された画像領域に対して前記第２の画像処理を行うことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記第１の画像処理部は、被写体表面における鏡面反射成分を含む画像領域、被写体人物の顔を含む画像領域、又は特定の被写体を含む画像領域を検出することを特徴とする請求項７記載の撮像装置。
9. 光電変換を行う複数の画素を有するイメージセンサーと、第１の画像処理部とが一体型のパッケージとして構成された積層型撮像素子と、第２の画像処理部を有する画像処理チップから成る画像処理システムであって、
   前記積層型撮像素子は前記光電変換に基づく信号を出力するための第１の出力部と、前記光電変換に基づく信号を前記第１の画像処理部によって処理した処理結果を出力する第２の出力部とを有し、
   前記画像処理チップが有する前記第２の画像処理部は、前記第２の出力部から出力された前記処理結果に基づいて、前記第１の出力部から出力される前記光電変換に基づく信号に対して画像処理を行うことを特徴とする画像処理システム。

Images