JP5606300B2

JP5606300B2 - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP5606300B2
Application number: JP2010273901A
Authority: JP
Inventors: 明人新
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-12-08
Filing date: 2010-12-08
Publication date: 2014-10-15
Anticipated expiration: 2030-12-08
Also published as: JP2012124715A

Description

本発明は肌色領域に適応的に画像処理を行う撮像装置に関するものである。

従来、ディジタルビデオカメラなどの撮像装置において、画像に人物が含まれている場合、人間は画像中の人物の肌の領域に注目する傾向があるため、人肌の画質が重視されている。そのため撮像装置は、画像上の人肌の肌色領域を特定し、肌色領域を適切に補正する機能を備えている。肌色の領域の特定方法としては、Ｌ＊ａ＊ｂ＊空間において色度ａ＊ｂ＊が所定の範囲を肌色領域とする、というように、色空間における肌色の範囲をあらかじめ設定しておき、入力映像の色のうちその条件を満たした部分を肌色と特定する方法がある。

また、他の肌色領域の特定方法として、顔検出によって検出された領域の色情報を抽出し、抽出した色情報から肌色検出の閾値を設定して肌色領域を検出する方法がある（特許文献１）。

特開２０１０−１６６２６３号公報

色空間における肌色の範囲の条件をあらかじめ設定しておく特定方法では、色を極端に変更するような処理が入ったとき、人肌の肌色があらかじめ設定しておいた色空間内の範囲の条件から外れたものになってしまうことがある。このとき、その色空間内の範囲条件で肌補正処理を行ってしまうと意図と違った部分へ肌補正処理を行ってしまい画質が劣化してしまうという問題点があった。一方、特許文献１の方法をどんな撮影モードにも常に用いるのは、肌補正処理が顔検出の精度に依存してしまうため好ましくない。

本発明は、上記のような問題を解決するためになされたもので、通常時の肌補正処理を適切に行うとともに、撮像装置内で色を極端に変更するような処理が入ったときでも肌補正処理を行えるようにし、肌の画質の劣化を防ぐことを目的とする。

上記目的を達成するため、本発明の撮像装置は、請求項１に記載のとおり、撮像された画像の色を変換する撮影モードを有する撮像装置であって、被写体像を撮像する撮像手段と、前記撮像手段によって得られた画像中の被写体を検出する検出手段と、前記撮像手段によって得られた画像中の指定色の領域を補正する補正手段と、色空間上の所定の領域に含まれる色を第１の特定色として予め記憶しておく記憶手段と、前記記憶手段に記憶された第１の特定色を指定色として指定する第１の指定手段と、前記検出手段によって検出された被写体領域から第２の特定色を抽出し、当該抽出した特定色を指定色として指定する第２の指定手段と、第１の撮影モードであるときには前記第１の指定手段によって指定された色を指定色として、前記第１の撮影モードよりも色変換における色の変化量が大きい第２の撮影モードであるときには前記第２の指定手段によって指定された色を指定色として、それぞれ前記補正手段に補正を行わせる制御手段と、を有することを特徴とする。

また、本発明の撮像装置の制御方法は、請求項５に記載のとおり、被写体像を撮像する撮像手段と、前記撮像手段によって得られた画像中の被写体を検出する検出手段と、色空間上の所定の領域に含まれる色を第１の特定色として予め記憶しておく記憶手段と、を有する撮像装置の制御方法であって、前記撮像手段によって得られた画像中の指定色の領域を補正する補正ステップと、前記記憶手段に記憶された第１の特定色を指定色として指定する第１の指定ステップと、前記検出手段によって検出された被写体領域から第２の特定色を抽出し、当該抽出した特定色を指定色として指定する第２の指定ステップと、第１の撮影モードであるときには前記第１の指定ステップによって指定された色を指定色として、前記第１の撮影モードよりも色変換における色の変化量が大きい第２の撮影モードであるときには前記第２の指定ステップにて指定された色を指定色として、前記補正ステップで補正を行わせる制御ステップと、を有することを特徴とする。

本発明によれば、通常時に顔検出されない場合でも肌補正処理を適切に行うことが出来、なおかつ、色を変更するような処理を行う場合であっても肌補正処理を適切に行うことが出来る。

本発明に係る第１の実施形態の撮像装置の全体構成を示すブロック図である。本発明に係る第１の実施形態の肌用ノイズリダクション処理を示すフローチャートである。本発明に係る第２の実施形態の撮像装置の全体構成を示すブロック図である。本発明に係る第２の実施形態の肌用輪郭強調処理を示すフローチャートである。

＜第１の実施形態＞
以下、本発明の実施の形態を示す図面を参照して具体的に説明する。

図１は第１の実施形態に係わる撮像装置の構成を示すブロック図である。

図中１０１はレンズ群である。図１では１枚のレンズにより表現しているが、通常複数のレンズの組み合わせにより構成されている。レンズ群１０１を通過した光は、イメージセンサ１０２の結像面上に被写体像を結像する。

イメージセンサ１０２において、結像された被写体の光学像は、画像信号に変換されて出力される。イメージセンサ１０２から出力された画像信号は、信号処理部１０３に送られる。

画像信号は信号処理部１０３において画像処理パラメータを元にホワイトバランス処理、現像処理、カラーバランス補正を含む所定の処理を施され、顔検出部１０４へ送られる。

顔検出部１０４（検出手段）では、信号処理部１０３から送られてきた画像信号から画像中の顔領域の検出を行い、信号処理部１０３から送られてきた画像信号を肌色抽出部１０５に出力する。

顔検出回路１２０が用いる顔検出方法に特に制限はなく、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

顔検出部１０４で顔が検出された場合は検出された顔のサイズや位置情報も一緒に肌色抽出部１０５に出力する。

肌色抽出部１０５（第２の指定手段）では、顔検出部１０４から顔のサイズや位置情報が出力された場合は画像信号の中から検出した顔の部分の色情報を元にして、色空間における肌色の範囲（第２の特定色）を決定する（指定色とする）。具体的には、顔検出領域３０２に含まれるＣｂ値のヒストグラムの中で最も多くの画素数を占めるＣｂ値（ピーク値）をＣｂｔｏｐとして、Ｃｂｔｏｐから所定範囲にある色を肌色の範囲とする。肌色抽出部１０５からは画像信号と顔検出から得られた色空間上の肌色の範囲をノイズリダクション処理部１０６（補正手段）へ出力する。なお、顔領域からの肌色の検出方法としては上記の方法に限らない。

ノイズリダクション処理部１０６では、肌色抽出部１０５から送られてきた画像信号に対してノイズリダクション処理を行う。このノイズリダクション処理部１０６では、画像全体に行う通常のノイズリダクション処理とは別に肌色抽出部１０５にて抽出された肌色領域に対して肌用ノイズリダクション処理も行う。本実施形態では、ノイズリダクション処理としてローパスフィルタを用いた平滑化処理を用いており、肌色領域には、画像全体に比べてより強いローパスフィルタがかかる。ノイズリダクション処理部１０６でノイズリダクション処理を行われた画像信号は出力処理部１０７へ出力される。

出力処理部１０７では、出力先に適した形式に画像信号を処理し、画像信号をディスプレイ１０８へ出力するか、あるいは、メモリーカード、ＤＶＤディスクなどの記録媒体１０９に記録する。

操作部１１０では、使用者がカメラ操作の入力を行う部位であり、カメラの撮影モードを変更したり、フォーカスを動かしたり、ズームを動かしたりといったカメラ操作の入力を受け付け、そのカメラ操作の入力情報をカメラマイコン１１１へ送る。

カメラマイコン１１１は、センサ駆動部１１２を通じて、イメージセンサ１０２における電荷蓄積、読み出しなどの駆動制御を行う。また、レンズ制御部１１３を通じて、レンズ群１０１のフォーカス、ズームなどの制御を行う。また、レンズ制御部１１３を通じてレンズ群１０１を駆動するか、あるいは、信号処理部１０３を制御することにより、使用者の撮影時の手ぶれを補正することもできる。

また、カメラマイコン１１１は、操作部１１０から送られてきた使用者の希望するカメラ操作の入力情報をもとにカメラの制御を行う。フォーカス、ズームなどの操作入力情報が送られてきた場合は、レンズ制御部１１３を通じて希望する入力情報に添ってレンズ群１０１のフォーカス、ズーム制御を行う。

また、カメラマイコン１１１は、撮影モードによってレンズ群１０１、イメージセンサ１０２、信号処理部１０３の制御を変更し、ノイズリダクション処理部１０６へ現在の撮影モードの情報を送る。信号処理部１０３の制御変更には色に関わるパラメータの変更を含む場合がある。

次に上述した本発明の実施の形態における肌用ノイズリダクション処理について図２のフローを参照して説明する。

本実施形態では、撮影モードとして、通常の撮影モードに加えて、意図的に色を変更させる撮影モードを有する場合に、適切な肌色補正を行う。意図的に色を変更させる撮影モードとは、通常の色処理に加えて、例えば、全体的に彩度を上げる「ポップ」や、寒色系を強調する「クール」などの処理を加えて印象を変える撮影モードである。これらの色を変換する撮影モードにおいてその色相、彩度が大きく変わる変換を行う場合、通常の撮影モード用に色空間上で肌色領域として指定した領域の色が変換され、正しい肌色指定ができなくなる。そこで、本実施形態では、色の変化量が所定値を超えるような色変換を行う撮影モードのときには、撮影された画像で人物検出を行い、検出された人物の肌色領域を肌色として抽出することで、正確な肌色補正処理を行えるようにする。具体的には、色相が所定の色相角の幅を超える、あるいは彩度が所定の彩度の幅を超える撮影モードであるか否かを判別する。また、色の変化量の判定としてはこれに限らず、例えば色の変化量として色空間上の距離を見るなどしてもよい。

ノイズリダクション処理部１０６で肌用ノイズリダクション処理が行われるとき、カメラマイコン１１１から送られてきた撮影モードの情報をもとに現在の撮影モードを調べる（ステップＳ１）。

現在の撮影モードが、色相が所定の色相角の幅を超える、あるいは彩度が所定の彩度の幅を超えるような色変換を行う撮影モード（第２の撮影モード）かどうか判別する（ステップＳ２）。判別方法としては、ユーザによって、あるいはシーン判別等で自動で決定した撮影モードの設定をカメラマイコン１１１が確認することで行う。また、これに限らず設定されている撮影モードにおける色変換に関する撮影パラメータ等から判別してもよい。

現在の撮影モードが、所定の色相角、彩度の幅を超えるような色変換を行う撮影モード（第２の撮影モード）である場合は、肌色抽出部１０５から顔検出から得られた色空間における肌色の範囲が送られてきたかどうかを判別する（ステップＳ３）。

肌色抽出部１０５から顔検出から得られた色空間における肌色の範囲が送られてきた場合は、顔検出から得られた色空間における肌色の範囲を検出肌色領域とする（ステップＳ４）。

ステップＳ３で肌色抽出部１０５から顔検出から得られた色空間における肌色の範囲が送られてこなかった場合は、前回同じ撮影モードのときに送られてきた顔検出から得られた色空間における肌色の範囲を検出肌色領域とする（ステップＳ５）。

次に、肌色抽出部１０５から送られてきた画像信号に対し、検出肌色領域に含まれる色をもつ画素があった場合、その画素に肌に適したノイズリダクション処理である肌ノイズリダクション処理をする（ステップＳ６）。

また、ステップＳ２において、現在の撮影モードが色の変化量が所定値を超えない撮影モード（第１の撮影モード）である場合は、ステップＳ７へ進む。ステップＳ７では、カメラマイコン１１１が、あらかじめ不図示のメモリに記憶してある色空間における肌色の範囲（第１の特定色）を肌色領域としてノイズリダクション処理部１０６に指定する（第１の指定ステップ）。ノイズリダクション処理部１０６は、指定された肌色領域に含まれる画素に肌ノイズリダクション処理をする。

肌ノイズリダクション処理とは、肌とされる領域に例えば他の部分にかけるノイズリダクション処理よりも強いノイズリダクション処理をすることによって、しわや隈なども消してしまいツルっとした肌にする処理といったように、肌の部分を高画質にする処理である。
ただし、本発明は、上述した効果に限定されるような肌ノイズリダクション処理でなくてもよい。

以上のように、本実施形態では、色を大きく変化させる撮影モードとそうでない撮影モードに応じて肌色の抽出方法を変更する。例えば、色を変更しない撮影モードでは色空間上の肌の色を示す所定領域の色に対してノイズリダクション処理を行うとともに、色を変更する撮影モードでは顔検出領域を用いて肌色を抽出し、抽出された色に対してノイズリダクションを行う。これにより、画質を劣化させることなく肌の部分へ肌用ノイズリダクション処理を行うことで肌の画質を高画質にすることが出来る。

＜第２の実施形態＞
第２の実施形態は、肌補正処理が輪郭強調処理の場合である。

図３は第２の実施形態に係わる撮像装置の構成を示すブロック図である。なお、本実施形態において上述した第１の実施形態と同一部分については、図面に同一符号を付して説明する。

本実施例において上述した第１の実施形態と異なる点はノイズリダクション処理部１０６に代えて輪郭強調処理部１１４を設けた点であり、その他の構成は上述した第１の実施形態と同一である。

図３において図１と異なる点のみを説明する。肌色抽出部１０５からは画像信号と顔検出から得られた色空間における肌色の範囲を輪郭強調処理部１１４へ出力する。

輪郭強調処理部１１４では、肌色抽出部１０５から送られてきた画像信号に対して輪郭強調処理を行う。この輪郭強調処理部１１４では、通常の輪郭強調処理とは別に肌用輪郭強調処理も行う。この肌用輪郭強調処理の詳細は後述する。輪郭強調処理部１１４で輪郭強調処理を行われた画像信号は出力処理部１０７へ出力される。

カメラマイコン１１１は、輪郭強調処理部１１４へ現在の撮影モードの情報を送る。

次に上述した本発明の実施の形態における肌用輪郭強調処理について図４のフローを参照して説明する。

輪郭強調処理部１１４で肌用輪郭強調処理が行われるとき、カメラマイコン１１１から送られてきた撮影モードの情報をもとに現在の撮影モードを調べる（ステップＳ１）。

現在の撮影モードが色の変化量が所定値を超えるような色変換を行う撮影モードかどうか判別する（ステップＳ２）。

現在の撮影モードが色の変化量が所定値を超えるような色変換を行う撮影モードである場合は、肌色抽出部１０５から顔検出から得られた色空間における肌色の範囲が送られてきたかどうかを判別する（ステップＳ３）。

ステップＳ３で肌色抽出部１０５から顔検出から得られた色空間における肌色の範囲が送られてこなかった場合は、前回検出された顔領域から得られた色空間上の肌色の範囲を検出肌色領域とする（ステップＳ５）。

次に、肌色抽出部１０５から送られてきた画像信号に対し、検出肌色領域に含まれる色をもつ画素があった場合、その画素に肌に適した輪郭強調処理である肌輪郭強調処理をする（ステップＳ８）。

また、ステップＳ２において、現在の撮影モードでカメラマイコン１１１が信号処理部１０３の色に関するパラメータを変更させる制御をしない場合は、ステップＳ９に進む。ステップＳ９では、ステップＳ７では、カメラマイコン１１１が、あらかじめ不図示のメモリに記憶してある色空間における肌色の範囲（第１の特定色）を肌色領域として輪郭強調処理部１１４に指定する（第１の指定ステップ）。輪郭強調処理部１１４は、指定された肌色領域に含まれる画素に肌輪郭強調処理をする。

肌輪郭強調処理とは、肌に例えば他の部分にかける処理よりも強い輪郭強調処理をすることによって、目元などをくっきり見せるようにする処理で、肌の部分を高画質にする処理である。本実施形態では、輪郭強調処理としてラプラシアンフィルタに基づいて生成される鮮鋭化フィルタを用いており、肌色領域には他の領域よりも強めに掛けられている。なお、本発明は上述した効果に限定されるような肌輪郭強調処理でなくてもよい。

以上のように、本実施形態では、色を大きく変化させる撮影モードとそうでない撮影モードに応じて肌色の抽出方法を変更する。例えば、色を変更しない撮影モードでは色空間上の肌の色を示す所定領域の色に対して肌輪郭強調処理を行うとともに、色を変更する撮影モードでは顔検出領域を用いて肌色を抽出し、抽出された色に対して輪郭強調処理を行う。これにより、画質を劣化させることなく肌の部分へ肌輪郭強調処理を行うことで肌の画質を高画質にすることが出来る。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０１レンズ群
１０２イメージセンサ
１０３信号処理部
１０４顔検出部
１０５肌色抽出部
１０６ノイズリダクション処理部
１０７出力処理部
１０８ディスプレイ
１０９記録媒体
１１０操作部
１１１カメラマイコン
１１２センサ駆動部
１１３レンズ制御部
１１４輪郭強調処理部

Claims

撮像された画像の色を変換する撮影モードを有する撮像装置であって、
被写体像を撮像する撮像手段と、
前記撮像手段によって得られた画像中の被写体を検出する検出手段と、
前記撮像手段によって得られた画像中の指定色の領域を補正する補正手段と、
色空間上の所定の領域に含まれる色を第１の特定色として予め記憶しておく記憶手段と、
前記記憶手段に記憶された第１の特定色を指定色として指定する第１の指定手段と、
前記検出手段によって検出された領域から第２の特定色を抽出し、当該抽出した特定色を指定色として指定する第２の指定手段と、
第１の撮影モードであるときには前記第１の指定手段によって指定された色を指定色として、前記第１の撮影モードよりも色を変換する変化量が大きい第２の撮影モードであるときには前記第２の指定手段によって指定された色を指定色として、それぞれ前記補正手段に補正を行わせる制御手段と、
を有することを特徴とする撮像装置。
前記制御手段は、前記第２の撮影モードであるときに、前記検出手段で被写体が検出されない場合には、前記検出手段によって前回検出がなされたときの前記第２の指定手段による指定色を
用いて前記補正手段に補正を行わせることを特徴とする請求項１に記載の撮像装置。
前記補正手段で行う補正処理はノイズリダクション処理であることを特徴とする請求項１または２に記載の撮像装置。
前記補正手段で行う補正処理は輪郭強調処理であることを特徴とする請求項１または請求項２に記載の撮像装置。
被写体像を撮像する撮像手段と、前記撮像手段によって得られた画像中の被写体を検出する検出手段と、色空間上の所定の領域に含まれる色を第１の特定色として予め記憶しておく記憶手段と、を有する撮像装置の制御方法であって、
前記撮像手段によって得られた画像中の指定色の領域を補正する補正ステップと、
前記記憶手段に記憶された第１の特定色を指定色として指定する第１の指定ステップと、
前記検出手段によって検出された領域から第２の特定色を抽出し、当該抽出した特定色を指定色として指定する第２の指定ステップと、
第１の撮影モードであるときには前記第１の指定ステップによって指定された色を指定色として、前記第１の撮影モードよりも色を変換する変化量が大きい第２の撮影モードであるときには前記第２の指定ステップにて指定された色を指定色として、前記補正ステップで補正を行わせる制御ステップと、
を有することを特徴とする撮像装置の制御方法。
請求項５に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
請求項５に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。