JP5213542B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は撮像装置、撮像方法、プログラム及び記録媒体に関し、特に、シェーディング補正を行うために用いて好適な技術に関する。

一般に、光学系（レンズ）を通過して撮影した画像では、光軸中心から周辺部に離れるに従い光量が低下する現象が起こる。このような周辺部における光量落ちはＦ値が小さいほど大きく、また、広角側ほど大きく現れる。ＣＣＤやＣＭＯＳ等の固体撮像素子を用いた撮像装置においては、周辺部の各画素の光量落ちを電気的に補正演算するシェーディング補正を行うことが可能である。具体的には、例えば、ある撮影条件のシェーディング情報の逆数を撮影画像に乗算することによりシェーディング補正を行うことができる。

ところが、シェーディング補正を常時行うと、画像の周辺部においてノイズの増加を招いてしまう。そこで、輝度情報及び色情報を参照し、例えば、空のようにシェーディングが目立つシーンであるか否かを判別し、シーンに応じてシェーディング補正量を変更する撮像装置が開示されている（例えば、特許文献１参照）。

特開２００７−２７９４３号公報

ところが、前記特許文献１に記載の技術では、空のようにシェーディングが目立つ均一な画面の場合、もしくは周辺部に高周波の被写体がある場合にシェーディング補正量を大きくしている。そのため、例えば、集合写真のように画像の周辺部に周辺光量の低下を嫌う顔などの被写体がある場合には、シェーディング補正を十分に行うことができない。

また、周辺部における光量の低下が大きくなることにより、画像の周辺部が暗くなったり、コントラストが低くなったりする。したがって、集合写真のように画像の周辺部に顔が存在する画像において顔検出を行う場合に、この影響により輪郭信号や色差信号等の顔を検出するための信号レベルを確保できない場合がある。

本発明は前述の問題点に鑑み、画像の周辺部において顔が存在する場合に適切な画像を得ることができるようにすることを目的としている。

本発明の撮像装置は、被写体を撮像して画像信号を生成する撮像手段と、前記撮像手段によって生成された画像信号に対して顔検出を行う顔検出手段と、前記撮像手段によって生成された画像信号に対してシェーディング補正を行う補正手段と、前記撮像手段によって生成される画像信号を記録媒体に記録するための指示を出す指示手段とを有し、前記補正手段は、前記顔検出手段が画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示手段によって指示された画像信号に対しては、画面の端部に顔が検出された場合に前記補正量を維持し、検出されなかった場合に前記補正量を小さくすることを特徴とする。

本発明の撮像方法は、被写体を撮像して画像信号を生成する撮像工程と、前記撮像工程において生成された画像信号に対して顔検出を行う顔検出工程と、前記撮像工程において生成された画像信号に対してシェーディング補正を行う補正工程と、前記撮像工程において生成される画像信号を記録媒体に記録するための指示を出す指示工程とを有し、前記補正工程においては、前記顔検出工程において画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示工程において指示された画像信号に対しては、画面の端部に顔が検出された場合に前記補正量を維持し、検出されなかった場合に前記補正量を小さくすることを特徴とする。

本発明のプログラムは、被写体を撮像して画像信号を生成する撮像工程と、前記撮像工程において生成された画像信号に対して顔検出を行う顔検出工程と、前記撮像工程において生成された画像信号に対してシェーディング補正を行う補正工程と、前記撮像工程において生成される画像信号を記録媒体に記録するための指示を出す指示工程とをコンピュータに実行させ、前記補正工程においては、前記顔検出工程において画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示工程において指示された画像信号に対しては、画面の端部に顔が検出された場合に前記補正量を維持し、検出されなかった場合に前記補正量を小さくするようにコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記に記載のプログラムを記録したことを特徴とする。

本発明によれば、顔を検出するための信号レベルを確保することができる。これにより、画面の端部に周辺光量の低下を嫌う顔などの被写体がある場合にも、シェーディング補正を強めることができるため、適切な画像を得ることができる。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。まず、本実施形態に係る撮像装置の構成例について、図１及び図２を参照しながら説明する。
図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。
図１において、撮像装置１００は、入射した光を固体撮像素子１０３上に結像させる光学系１０１と、光学系１０１の露出やズーム、フォーカス等を制御するための光学系制御部１０２とを備えている。

また、結像させた光学像を電気信号に変換する固体撮像素子１０３と、固体撮像素子１０３を駆動するための撮像系制御部１０４と、固体撮像素子１０３から出力される電気信号にクランプ、ゲイン等の処理を行うアナログ信号処理部１０５とを備えている。さらに、アナログ信号をデジタル信号にＡ／Ｄ変換するアナログ／デジタル（Ａ／Ｄ）変換部１０６と、Ａ／Ｄ変換されたデジタル信号から画像データを生成するデジタル信号処理部１０７とを備えている。

また、デジタル信号処理部１０７にて画像データを生成する際に、一時的に画像データを格納する内部記憶部１０８と、生成した画像データを最終的に保存するための外部記憶装置１１２に出力するインターフェース（Ｉ／Ｆ）部１０９とを備えている。さらに、生成された画像データに基づく画像を表示する電子ファインダとして機能する画像表示部１１０と、撮像装置１００の各部を制御する制御部１１１とを備えている。

次に、デジタル信号に対してシェーディング補正等の処理を行う一般的な構成について、図３を参照しながら説明する。
Ａ／Ｄ変換されたデジタル信号がＲＧＢ信号としてシェーディング補正部３０１に入力される。シェーディング補正部３０１は、固体撮像素子から読み出したＲＧＢ信号に対して、別途設定したシェーディング補正量を用いてシェーディング補正を行う。

輝度処理部３０３は、シェーディング補正部３０１から出力された輝度信号に対して輪郭強調やノイズリダクション、ガンマ処理等の輝度処理を実施する。一方、色処理部３０４は、シェーディング補正部３０１から出力された色信号に対して色変換、ホワイトバランスや高輝度、低輝度の色の濃さを薄くする色消し処理、ガンマ処理等の色処理を実施する。そして、輝度処理部３０３及び色処理部３０４から出力された信号を加算器３０５において合成し、ＹＣｒＣｂ信号として出力する。

図４は、像高に対する輝度の変化を示す図である。
図４において、横軸は像高を示しており、光学系（レンズ）を通過して撮影した画像は、軸上（画像中心）から像高１０割（画像四隅）にいくに従い輝度が低下している。シェーディング補正においては、シェーディング補正係数を画素ごとに乗算することにより端部の輝度を画像中心の輝度まで上げることができる。シェーディング補正前の輝度をＹとし、シェーディング補正係数をαとした場合、シェーディング補正後の輝度Ｙ′は、以下のようになる。
各画素のシェーディング補正後の輝度Ｙ′＝Ｙ＊α

なお、画像中心の輝度レベルまで補正することも可能であるが、途中までで補正を止めることも可能である。本実施形態では、画質よりも、画面のどの位置にある顔であっても漏れなく検出することを優先させるため、ＥＶＦ画像に対しては、シェーディング補正量を大きくする。一方、本撮影を行う場合は、ノイズの増加を考慮して、画面の端部に顔が検出されなかった場合には、途中までで補正を止める。

次に、図１におけるデジタル信号処理部１０７の構成うち、画像データを生成する構成について図２を参照しながら説明する。図２は、本実施形態に係るデジタル信号処理部１０７の構成例を示すブロック図である。
図２に示すデジタル信号処理部１０７において、Ａ／Ｄ変換されたデジタル信号がＲＧＢ信号としてシェーディング補正部２０１に入力される。シェーディング補正部２０１は、固体撮像素子１０３から読み出したＲＧＢ信号に対して、別途設定したシェーディング補正量を用いてシェーディング補正を行う。

顔検出部２０２は、入力された信号に対して顔の有無及び顔がある場合には顔の座標を検出し、その情報をシェーディング補正部２０１に出力する。輝度処理部２０３は、シェーディング補正部２０１から出力された輝度信号に対して輪郭強調やノイズリダクション、ガンマ処理等の輝度処理を実施する。一方、色処理部２０４は、シェーディング補正部２０１から出力された色信号に対して色変換、ホワイトバランスや高輝度、低輝度の色の濃さを薄くする色消し処理、ガンマ処理等の色処理を実施する。そして、輝度処理部２０３及び色処理部２０４から出力された信号を加算器２０５において合成し、ＹＣｒＣｂ信号として出力する。

ここで、顔検出部２０２による顔検出について説明する。顔検出は、輝度信号から検出する方法と、色信号から検出する方法とがある。輝度信号から検出する方法では、垂直方向に複数の列を走査し、被写体の輪郭を検出する。そして、検出した輪郭が顔の輪郭であると判断した場合は、顔があるものとして検出する。また、色信号から検出する方法では、撮影画面を複数領域に分割し、色差信号から肌色領域を検出する。そして、肌色領域を検出することにより顔であると判断した場合は、顔があるものとして検出する。本実施形態では、どちらの方法を用いてもよい。

図５は、本実施形態における撮像処理手順の一例を示すフローチャートである。なお、図５に示す各処理は制御部１１１の制御により行われる。
まず、撮像装置１００の電源が投入されることによりＥＶＦ画像を画像表示部１１０に表示させるための処理を開始する。

そして、ステップＳ５０１において、撮像系制御部１０４は、固体撮像素子１０３をＥＶＦ用の駆動条件で動作させる。次に、ステップＳ５０２において、顔検出部２０２にて顔検出しやすいようにシェーディング補正部２０１は、画像端部の光量落ちを改善するためにシェーディング補正量を強める。そして、ステップＳ５０３において、固体撮像素子１０３から出力された画像信号に対してシェーディング補正を実施する。なお、ステップＳ５０２において、シェーディング補正を強める際には、画面のどの位置にある顔であっても漏れなく検出できる程度にシェーディング補正量を大きくする。

次に、ステップＳ５０４において、顔検出部２０２は、シェーディング補正を実施した画像信号に対して顔検出を行う。そして、ステップＳ５０５において、デジタル信号処理部１０７は表示制御手段として機能し、顔検出結果が反映されたＥＶＦ画像を生成して、画像表示部１１０にＥＶＦ画像を表示する。

次に、ステップＳ５０６において、撮影者により不図示のシャッタースイッチが操作され、本撮影（記録処理）のトリガ信号（以下、ＳＷ２）を検出したか否かを判断する。この判断の結果、ＳＷ２を検出しなかった場合は、ステップＳ５１３に進む。そして、ステップＳ５１３において、ＥＶＦ画像の表示を終了する指示があったか否かを判断する。この判断の結果、終了する指示があった場合は、処理を終了する。

一方、ステップＳ５１３の判断の結果、終了する指示がなかった場合は、ステップＳ５０３に戻る。そして、ステップＳ５０３におけるシェーディング補正からステップＳ５０５におけるＥＶＦ表示までのシーケンスを、ＳＷ２を検出するまで繰り返す。

一方、ステップＳ５０６の判断の結果、ＳＷ２を検出した場合は、ステップＳ５０７に進み、制御部１１１は指示手段として機能し、本撮影のシーケンスに移る。そして、ステップＳ５０７において、撮像系制御部１０４は、固体撮像素子１０３を本撮影用の駆動条件で動作させる。次に、ステップＳ５０８において、シェーディング補正部２０１は、顔検出部２０２による顔検出結果をもとに、撮影画像（ＥＶＦ画像）の端部に顔が存在するか否かを判定する。このとき、参照する顔検出結果として、本撮影の直前に取得した数フレームの画像のものを用いて顔が存在するか否かを判定する。

なお、端部とする基準については、撮影者により設定を変更できるようにしてもよい。図４に示したように、軸上（画像中心）から像高１０割（画像四隅）にいくに従い輝度が低下している。通常時は、例えば、像高８割を超える範囲を端部と定義し、撮影者により、その端部と定義する範囲を変更可能にしてもよい。

この判定の結果、撮影画像の端部に顔が存在した場合は、周辺が光量落ちする影響により顔が暗くなるのを避けるために、ステップＳ５０９において、シェーディング補正部２０１は、シェーディング補正量が大きな状態に保持する。一方、ステップＳ５０８の判定の結果、撮影画像の端部に顔が存在しない場合は、画像端部のノイズ増加を避けるために、ステップＳ５１０において、シェーディング補正部２０１は、シェーディング補正量を小さくする。そして、シェーディング補正量を決定したら、ステップＳ５１１において、本撮影において生成された画像信号に対してシェーディング補正を実施する。

次に、ステップＳ５１２において、デジタル信号処理部１０７は、ステップＳ５１１でシェーディング補正を実施した画像信号から本撮影の画像データを生成し、Ｉ／Ｆ部１０９を介して外部記憶装置１１２に記録する。そして、記録後は再びステップＳ５０１に戻る。

なお、本実施形態においては、画像の端部で顔が検出されたら、シェーディング補正を強めたままにし、画像の端部で顔が検出されなかったら、シェーディング補正を弱めるようにした。一方、本撮影時においてシェーディング補正の強度を、顔が端部にあるほど強度を大きくするようにしてもよい。この場合、端部に顔が存在するか否かの判断は行わず、シェーディング補正部２０１は、顔検出結果として最も端部にある顔の座標についての情報に基づいて、その座標に応じたシェーディング補正量に調整する。また、端部に顔が存在するか否かの判断し、端部に顔が存在する場合に、最も端部にある顔の座標についての情報に基づいて、その座標に応じたシェーディング補正量に調整するようにしてもよい。

以上のように本実施形態によれば、画面の端部で顔を検出するために必要な補正量でシェーディング補正を行うようにしたので、顔を検出するための信号レベルを確保することができる。これにより、画面の端部に周辺光量の低下を嫌う顔などの被写体がある場合にも、シェーディング補正を強めることができるため、適切な画像を得ることができる。また、画面の端部に顔が検出されなかった場合は、シェーディング補正量を小さくするようにしたので、画像の端部におけるノイズの増加を防ぐことができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の実施形態に係るデジタル信号処理部の構成例を示すブロック図である。 従来のデジタル信号処理部の構成例を示すブロック図である。 像高に対する輝度の変化を示す図である。 本発明の実施形態における撮像処理手順の一例を示すフローチャートである。

符号の説明

１００ 撮像装置
１０１ 光学系
１０２ 光学系制御部
１０３ 固体撮像素子
１０４ 撮像系制御部
１０５ アナログ信号処理部
１０６ Ａ／Ｄ変換部
１０７ デジタル信号処理部
１０８ 内部記憶部
１０９ Ｉ／Ｆ部
１１０ 画像表示部
１１１ 制御部
１１２ 外部記憶装置
２０１ シェーディング補正部
２０２ 顔検出部
２０３ 輝度処理部
２０４ 色処理部
２０５ 加算器

Claims (11)

1. 被写体を撮像して画像信号を生成する撮像手段と、
   前記撮像手段によって生成された画像信号に対して顔検出を行う顔検出手段と、
   前記撮像手段によって生成された画像信号に対してシェーディング補正を行う補正手段と、
   前記撮像手段によって生成される画像信号を記録媒体に記録するための指示を出す指示手段とを有し、
   前記補正手段は、前記顔検出手段が画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示手段によって指示された画像信号に対しては、画面の端部に顔が検出された場合に前記補正量を維持し、検出されなかった場合に前記補正量を小さくすることを特徴とする撮像装置。
2. 前記補正手段は、前記指示手段によって指示された画像信号に対しては、前記顔検出手段による、前記指示手段によって指示される直前に生成された画像信号に対する検出結果に応じて、前記補正量を維持する又は小さくすることを特徴とする請求項１に記載の撮像装置。
3. 被写体を撮像して画像信号を生成する撮像手段と、
   前記撮像手段によって生成された画像信号に対して顔検出を行う顔検出手段と、
   前記撮像手段によって生成された画像信号に対してシェーディング補正を行う補正手段と、
   前記撮像手段によって生成される画像信号を記録媒体に記録するための指示を出す指示手段とを有し、
   前記補正手段は、前記顔検出手段が画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示手段によって指示された画像信号に対しては、前記顔検出手段による検出結果に応じて前記補正量を変更し、
   前記補正手段は、前記指示手段によって指示された画像信号に対しては、前記顔検出手段によって検出された顔の位置が画面の端部であるほど、前記補正量を大きくすることを特徴とする撮像装置。
4. 前記補正手段によってシェーディング補正された画像信号に基づく画像を表示部に表示する表示制御手段をさらに有することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 被写体を撮像して画像信号を生成する撮像工程と、
   前記撮像工程において生成された画像信号に対して顔検出を行う顔検出工程と、
   前記撮像工程において生成された画像信号に対してシェーディング補正を行う補正工程と、
   前記撮像工程において生成される画像信号を記録媒体に記録するための指示を出す指示工程とを有し、
   前記補正工程においては、前記顔検出工程において画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示工程において指示された画像信号に対しては、画面の端部に顔が検出された場合に前記補正量を維持し、検出されなかった場合に前記補正量を小さくすることを特徴とする撮像方法。
6. 前記補正工程においては、前記指示工程において指示された画像信号に対しては、前記顔検出工程における、前記指示工程において指示される直前に生成された画像信号に対する検出結果に応じて、前記補正量を維持する又は小さくすることを特徴とする請求項５に記載の撮像方法。
7. 被写体を撮像して画像信号を生成する撮像工程と、
   前記撮像工程において生成された画像信号に対して顔検出を行う顔検出工程と、
   前記撮像工程において生成された画像信号に対してシェーディング補正を行う補正工程と、
   前記撮像工程において生成される画像信号を記録媒体に記録するための指示を出す指示工程とを有し、
   前記補正工程においては、前記顔検出工程において画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示工程において指示された画像信号に対しては、前記顔検出工程における検出結果に応じて前記補正量を変更し、
   前記補正工程においては、前記指示工程において指示された画像信号に対しては、前記顔検出工程において検出された顔の位置が画面の端部であるほど、前記補正量を大きくすることを特徴とする撮像方法。
8. 前記補正工程においてシェーディング補正された画像信号に基づく画像を表示部に表示する表示制御工程をさらに有することを特徴とする請求項５〜７の何れか１項に記載の撮像方法。
9. 被写体を撮像して画像信号を生成する撮像工程と、
   前記撮像工程において生成された画像信号に対して顔検出を行う顔検出工程と、
   前記撮像工程において生成された画像信号に対してシェーディング補正を行う補正工程と、
   前記撮像工程において生成される画像信号を記録媒体に記録するための指示を出す指示工程とをコンピュータに実行させ、
   前記補正工程においては、前記顔検出工程において画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示工程において指示された画像信号に対しては、画面の端部に顔が検出された場合に前記補正量を維持し、検出されなかった場合に前記補正量を小さくするようにコンピュータに実行させることを特徴とするプログラム。
10. 被写体を撮像して画像信号を生成する撮像工程と、
    前記撮像工程において生成された画像信号に対して顔検出を行う顔検出工程と、
    前記撮像工程において生成された画像信号に対してシェーディング補正を行う補正工程と、
    前記撮像工程において生成される画像信号を記録媒体に記録するための指示を出す指示工程とをコンピュータに実行させ、
    前記補正工程においては、前記顔検出工程において画面の端部で顔を検出するために必要な補正量でシェーディング補正を行い、前記指示工程において指示された画像信号に対しては、前記顔検出工程における検出結果に応じて前記補正量を変更し、
    前記補正工程においては、前記指示工程において指示された画像信号に対しては、前記顔検出工程において検出された顔の位置が画面の端部であるほど、前記補正量を大きくするようにコンピュータに実行させることを特徴とするプログラム。
11. 請求項９又は１０に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images