JP4356982B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は画像処理装置及び方法に関し、特に撮影者により設定される撮影モードに応じて画像処理方法を変更する画像処理装置及び方法に関するものである。

図７は、従来の技術を用いた画像符号化装置を表すブロック図である。図７において、５０１はレンズや撮像素子を含み、被写体を撮影する撮像部、５０２はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、５０３は一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出するための肌色検出処理部、５０４はブロック・インターリーブされた入力画像を符号化して、符号量を圧縮する画像符号化処理部、５０５は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、５０６は撮影者により操作され、撮影モードを設定するための撮影モード選択部である。

画像符号化処理部５０４から出力される符号化データは、一般的に静止画撮影時と動画撮影時とでは符号化方式が異なる。静止画撮影時には、ＣＤ−ＲＯＭやハードディスク等の蓄積媒体に静止画像を保存・表示するための符号化方式としてＩＳＯ（国際標準化機構）により標準化されたＪＰＥＧ方式が広く用いられている。また、動画撮影時には、同様な蓄積媒体に保存・表示したり、通信路を介して放送、または双方向通信したりするための符号化方式としてＩＳＯにより標準化されたＭＰＥＧ方式が広く用いられている。

撮影モード選択部５０６によって選択設定できる撮影モードとしては、例えば、高速で移動する被写体を撮影する場合に適したスポーツモード、暗い室内などで強い光が当てられた被写体を撮影する場合に適したスポットライトモード、日差しの強い明るい屋外などでの撮影に適したサーフ＆スノーモード、人物の特に顔を撮影する場合に適したポートレートモードなどがある。

スポーツモードは、走っている人物など動きの速いスポーツシーンなどで、シャッタ速度を速くすることで、動きの速い被写体をブレなくシャープに撮影することを可能とする撮影モードである。スポットライトモードは、ステージや結婚式場などスポットライトで照明されたシーンを撮影するときに、被写体が白とびすることなく適正露出で撮影することを可能とする撮影モードである。サーフ＆スノーモードは、海辺やゲレンデなど背景が明るい場所でも、被写体が暗く写るのを防ぎ、適性露出で撮影することを可能とする撮影モードである。ポートレートモードは、人物だけが浮き立つように被写体深度を浅くし、背景をぼかして撮影することを可能とする撮影モードである。

これらの撮影モードを撮影者が撮影モード選択部５０６で選択設定することによって、撮影の意図を画像信号処理部５０２から出力される画像データに反映させることが可能となる（例えば、特許文献１参照）。

特開平０５−１３７１４７号公報

しかしながら、従来の画像符号化装置においては、撮影モードを選択設定することによって撮影者の意図が画像信号処理部５０２から出力される画像データに反映されるが、肌色検出処理部５０３での肌色検出処理には反映されず、撮影モードにかかわらず静止画・動画入力データは同じ条件で肌色検出処理されていた。

例えば、撮影モードがスポットライトモードに設定された場合、画像信号処理部５０２は暗い室内において被写体にスポットライトが照射された場合においても、被写体が白とびしないように適正に露出しようとする。しかしながら、被写体、スポットライト、カメラの三者の位置関係や、スポットライトの照射量や、背景の暗さなどの様々な要因の組み合わせによって発生する撮影状況すべてにおいて適正な露出を実現することは困難であり、結果的に被写体が通常よりも白っぽく撮影された場合、肌色検出処理部１０３は精度の良い肌色検出処理が行えなくなる。

図８（ａ）は、暗い室内でスポットライトが当てられた人物をスポットライトモードで撮影した画像の一例を示す。図８（ｂ）は、図８（ａ）の画像に対して肌色検出処理部５０３が行った肌色検出処理の結果の一例を示す模式図であり、図８（ａ）の人物の顔面部の一部のみが肌色として認識されており（黒色で示された部分）、精度の悪い肌色検出結果となっている。これは、暗い室内でスポットライトが人物の顔面部に直接照射されたためにその部分が白くとんでしまったことが原因と考えられる。

また、撮影モードがサーフ＆スノーモードに設定された場合、画像信号処理５０２は背景が極端に明るい屋外などで撮影する場合においても、被写体が暗く写らないように適正に露出しようとする。しかしながら、被写体、太陽、カメラの三者の位置関係や、背景の明るさなどの様々な要因の組み合わせによって発生する撮影状況すべてにおいて適正な露出を実現することは困難であり、結果的に被写体が通常よりも黒っぽく撮影された場合、肌色検出処理部１０３は精度の良い肌色検出処理が行えなくなる。

図９（ａ）は、日差しの強い明るい屋外で人物を撮影した画像の一例を示す。図９（ｂ）は、図９（ａ）の画像に対して肌色検出処理部５０３が行った肌色検出処理の結果の一例を示す模式図であり、図９（ａ）の人物の顔面部はまったく肌色として認識されておらず、極端に精度の悪い肌色検出結果となっている。これは、図９（ａ）では周囲と被写体である人物とのコントラストが強いために人物の特に顔面部が通常よりも黒っぽく撮影されていることが原因と考えられる。

本発明は上記問題点を鑑みてなされたものであり、撮影モードに応じて適切に所定色の検出を行えるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、画像データを入力する入力手段と、複数の撮影モードを切り替える撮影モード選択手段と、予め設定された色情報に基づいて、前記画像データから所定色を表す画像データを検出する色検出手段と、前記撮影モード選択手段により選択された撮影モードに応じて、前記色情報を変更するように前記色検出手段を制御する制御手段とを有し、前記複数の撮影モードは、暗い環境下で強い光が当てられた被写体を撮影するための撮影モードを含み、該第１の撮影モードが選択された場合に、前記所定色を検出するために予め設定された基準色情報が表す色または色範囲よりも、白色に近い色情報を含むように前記色情報を変更する。

また、本発明の画像処理方法は、画像データを入力する入力工程と、複数の撮影モードを切り替える撮影モード選択工程と、前記撮影モード選択工程で選択された撮影モードに応じて、所定色を検出するための色情報を変更する変更工程と、予め設定された色情報または前記変更工程で変更された色情報に基づいて、前記画像データから前記所定色を表す画像データを検出する色検出工程とを有し、前記複数の撮影モードは、暗い環境下で強い光が当てられた被写体を撮影するための撮影モードを含み、該撮影モードが選択された場合に、前記所定色を検出するために予め設定された基準色情報が表す色または色範囲よりも、白色に近い色情報を含むように前記色情報を変更する。

上記構成によれば、撮影モードに応じて適切に所定色を検出することが可能になる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における画像処理装置の一例として、画像符号化装置の構成を示すブロック図である。図１において、１０１はレンズや撮像素子を含み映像を撮影する撮像部、１０２はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、１０３は一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する目的で行われる肌色検出処理部、１０４は予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する動き補償予測部、１０５は離散コサイン変換などの直交変換を行う直交変換部、１０６は直交変換係数を量子化行列などで除算し、情報量を削減する量子化部、１０７はハフマン符号などで可変長符号化することにより更に情報量を削減するエントロピー符号化部、１０８は変動する単位時間あたりに発生する符号量を時間軸上で平滑化するバッファ部、１０９は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、１１０は参照画像を再構成するために、量子化部１０６により量子化された直交変換係数を逆量子化する逆量子化部、１１１は逆量子化部１１０により生成された逆量子化後の直交変換係数を逆直交変換する逆直交変換部、１１２はバッファ部１０８の占有率を監視し、符号化データがあふれたり空になったりしないように制御する符号量制御部、１１３は撮影者により操作され撮影モードを設定するための撮影モード選択部、１１４は撮影モード選択部１１３で選択された撮影モードに応じて肌色検出処理部１０３を制御する制御部、１１５は撮影者により操作され、静止画または動画を選択する符号化モード選択部である。

まず始めに、上記構成を有する画像符号化装置において、符号化モード選択部１１５で動画符号化モードが選択された場合に撮影された画像データが符号化データとして記録されるまでの流れについて、図１を参照して簡単に説明する。

撮像部１０１より入力された画像データは、撮影モード選択部１１２から設定された撮影モードに応じて、画像信号処理部１０２においてガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理が施される。そして一連の画像処理が施された画像に対して、肌色検出処理部１０３は撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する目的で肌色検出処理を行い、符号量制御部１１２はその結果を利用して適応的に符号量制御を行うことができる。

このように、一般的に撮影対象としての重要度が高い人物の特に顔面部が肌色検出処理により認識できると、符号量制御部１１２は顔面部に該当する画像ブロックの量子化に際して量子化ステップ値を小さくし情報量を増加させることが可能となり、視覚心理モデルにおいて良好な結果が得られる符号化処理を行うことができるようになる。

さらに動き補償予測部１０４は予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する。その後、直交変換部１０５、量子化部１０６、エントロピー符号化部１０７により一連の符号化処理を施された後、符号化データはバッファ部１０８に一時蓄えられ、最終的に記憶部１０９により磁気テープやメモリカードなどの記録媒体へ記録される。磁気テープへの書き込みは一定のデータレートで行われる一方、エントロピー符号化部１０７から出力される符号化データのレートは一定ではないので、符号量制御部１１２は量子化部１０６を制御することにより符号化データがバッファ部１０８からあふれたり、逆に空になったりしないようにしている。

一方、動き補償予測部１０４で用いられる再構成画像を生成するために、量子化部１０６により量子化された直交変換係数は逆量子化部１１０で逆量子化され、さらに逆直交変換部１１１により逆直交変換される。

次に、上記構成を有する画像符号化装置の本第１の実施形態における肌色検出処理について、図２のフローチャートに沿って説明する。

撮影者により撮影開始が指示されると（ステップＳ１０１）、制御部１１４は符号化モード選択部１１５に設定されている符号化モードを調べる（ステップＳ１０２）。符号化モードが動画符号化モードであった場合はステップＳ１０３に進んで撮影モード選択部１１３に設定されている撮影モードを調べ、動画符号化モードで無い場合は処理を終了する。

ステップＳ１０３において、撮影モードがスポットライトモードで無い場合は（ステップＳ１０３でＮＯ）、ステップＳ１０４に進み、通常の肌色検出処理を行う。

図３は、ステップＳ１０４で、通常の撮影環境において肌色検出処理部１０３が行う肌色検出処理を表わす模式図である。

図３（ａ）は、通常の撮影環境下において人物を撮影した動画シーケンスから抜き出した１枚の画像である。図３（ｂ）は、図３（ａ）の画像に対して肌色検出処理部１０３が行った肌色検出処理の結果の一例を示しており、肌色と認識された領域を黒領域で示している。図３（ａ）の人物の顔面部が肌色として認識されており、精度の良い肌色検出結果となっている。

一方、ステップＳ１０３で撮影モードがスポットライトモードであった場合は（ステップＳ１０３でＹＥＳ）、ステップＳ１０５に進み、肌色検出処理部１０３に対して、通常の撮影状態において肌色と認識される色空間上の領域よりも白色に近い領域に肌色の検出領域をシフトし、通常撮影時よりも白に近い色を肌色として抽出するように変更する。ステップＳ１０６において、シフトした検出領域を用いて肌色検出処理を行う。

図４（ａ）は、図８（ａ）と同一な、暗い室内でスポットライトが当てられた被写体を撮影した動画シーケンスから抜き出した１枚の画像である。図４（ｂ）は、図４（ａ）の画像に対して肌色検出処理部１０３が行った本第１の実施形態による肌色検出処理の結果の一例を示す模式図であり、肌色と認識された領域を黒領域で示している。肌色の検出領域を白色に近い領域にシフトすることにより、図４（ａ）の人物の顔面部のほぼ全域が肌色として認識されており、図３（ｂ）の通常環境下での撮影と同様に精度の良い肌色検出結果となっている。

このように、本第１の実施形態によれば、撮影モードに応じて肌色の検出領域をシフトしてから肌色検出を行うことで、より精度の良い肌色検出を行うことが可能になる。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。なお、本第２の実施形態における画像符号化装置の構成は、上記第１の実施形態で図１を参照して説明したものと同様であるため、説明を省略する。

上記構成を有する画像符号化装置の本第２の実施形態における肌色検出処理について、図５のフローチャートに沿って説明する。

撮影者により撮影開始が指示されると（ステップＳ２０１）、制御部１１４は符号化モード選択部１１５に設定されている符号化モードを調べる（ステップＳ２０２）。符号化モードが動画符号化モードであった場合はステップＳ２０３に進んで撮影モード選択部１１３に設定されている撮影モードを調べ、動画符号化モードで無い場合は処理を終了する。

ステップＳ２０３において、撮影モードがサーフ＆スノーモードで無い場合は（ステップＳ２０３でＮＯ）、ステップＳ２０４に進み、通常の肌色検出処理を行う。ステップＳ２０４で行われる肌色検出処理は、図２のステップＳ１０４で行われる処理と同様である。

一方、ステップＳ２０３で撮影モードがサーフ＆スノーモードであった場合は（ステップＳ２０３でＹＥＳ）、ステップＳ２０５に進み、肌色検出処理部１０３に対して、通常の撮影状態において肌色と認識される色空間上の領域よりも黒色に近い領域に肌色の検出領域をシフトし、通常撮影時よりも黒に近い色を肌色として抽出するように変更する。そして、ステップＳ２０６において、シフトした検出領域を用いて肌色検出を行う。

図６（ａ）は、図９（ａ）と同一な、日差しの強い明るい屋外で人物を撮影した動画シーケンスから抜き出した１枚の画像である。図６（ｂ）は、図６（ａ）の画像に対して肌色検出処理部１０３が行った本第２の実施形態による肌色検出処理の結果の一例を示す模式図であり、肌色と認識された領域を黒領域で示している。図６（ａ）の人物の顔面部のほぼ全域が肌色として認識されており、図３（ｂ）の通常環境下での撮影と同様に精度の良い肌色検出結果となっている。

このように、本第２の実施形態によれば、撮影モードに応じて肌色の検出領域をシフトしてから肌色検出を行うことで、より精度の良い肌色検出を行うことが可能になる。

なお、上記第１及び第２の実施形態では、ステップＳ１０５及びステップＳ２０５において色空間における肌色の検出領域をシフトする場合について説明したが、本発明はシフトに限るものではなく、検出領域を適宜広げたり、領域のシフトと組み合わせるなどして、適切な検出領域となるように変更するようにすればよい。

また、本発明は肌色の検出に限るものではなく、所望の色を検出する場合にも適用することが可能である。

また、上記第１及び第２の実施形態は、組み合わせて実施することが可能であることは言うまでもない。

また、上記第１及び第２の実施形態では、動画符号化モードの時にのみ、肌色検出領域を変更する処理を実行するが、本発明はこれに限るものではなく、静止画符号化モード時に実行するようにしても構わない。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２及び／または図５に示すフローチャートに対応するプログラムコードが格納されることになる。

本発明の実施の形態における画像符号化装置の構成を示すブロック図である。 本発明の第１の実施形態における肌色検出処理のフローチャートである。 通常の撮影環境における肌色検出処理例を説明する図である。 本発明の第１の実施形態におけるスポットライトモードでの肌色検出処理例を説明する図である。 本発明の第２の実施形態における肌色検出処理のフローチャートである。 本発明の第２の実施形態におけるサーフ＆スノーモードでの肌色検出処理例を説明する図である。 従来の技術を用いた画像符号化装置の構成を示すブロック図である。 暗い室内などで強い光が当てられた被写体を撮影する場合における従来の肌色検出処理例を説明する図である。 日差しの強い明るい屋外などで撮影する場合における従来の肌色検出処理例を説明する図である。

符号の説明

１０１ 撮像部
１０２ 画像信号処理部
１０３ 肌色検出処理部
１０４ 動き補償予測部
１０５ 直交変換部
１０６ 量子化部
１０７ エントロピー符号化部
１０８ バッファ部
１０９ 記録部
１１０ 逆量子化部
１１１ 逆直交変換部
１１２ 符号量制御部
１１３ 撮影モード選択部
１１４ 制御部
１１５ 符号化モード選択部

Claims (10)

1. 画像データを入力する入力手段と、
   複数の撮影モードを切り替える撮影モード選択手段と、
   予め設定された色情報に基づいて、前記画像データから所定色を表す画像データを検出する色検出手段と、
   前記撮影モード選択手段により選択された撮影モードに応じて、前記色情報を変更するように前記色検出手段を制御する制御手段とを有し、
   前記複数の撮影モードは、暗い環境下で強い光が当てられた被写体を撮影するための第１の撮影モードを含み、前記第１の撮影モードが選択された場合に、前記所定色を検出するために予め設定された基準色情報が表す色または色範囲よりも、白色に近い色情報を含むように前記色情報を変更することを特徴とする画像処理装置。
2. 前記複数の撮影モードは、所定の明るさよりも明るい環境下で撮影するための第２の撮影モードを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の撮影モードが選択された場合に、前記所定色を検出するために予め設定された基準色情報が表す色または色範囲よりも、黒色に近い色情報を含むように前記色情報を変更することを特徴とする請求項２に記載の画像処理装置。
4. 画像を符号化するための複数の符号化モードを切り替える符号化モード選択手段を更に有し、
   前記制御手段は、更に、前記符号化モード選択手段により選択された符号化モードに応じて前記色情報を変更するように前記色検出手段を制御することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数の符号化モードは、静止画符号化モードと動画符号化モードとを含み、
   前記制御手段は、前記静止画符号化モードが選択された場合に前記色情報を変更せず、前記動画符号化モードが選択された場合に前記色情報を変更するように前記色検出手段を制御することを特徴とする請求項４に記載の画像処理装置。
6. 前記色情報は肌色を示す色情報であって、前記色検出手段は肌色を検出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記色検出手段により検出された所定色を表す画像データを第１の符号化率で符号化し、それ以外の画像データを前記第１の符号化率よりも高い第２の符号化率で符号化する符号化手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像データを入力する入力工程と、
   複数の撮影モードを切り替える撮影モード選択工程と、
   前記撮影モード選択工程で選択された撮影モードに応じて、所定色を検出するための色情報を変更する変更工程と、
   予め設定された色情報または前記変更工程で変更された色情報に基づいて、前記画像データから前記所定色を表す画像データを検出する色検出工程とを有し、
   前記複数の撮影モードは、暗い環境下で強い光が当てられた被写体を撮影するための撮影モードを含み、該撮影モードが選択された場合に、前記所定色を検出するために予め設定された基準色情報が表す色または色範囲よりも、白色に近い色情報を含むように前記色情報を変更することを特徴とする画像処理方法。
9. コンピュータに請求項８に記載の画像処理方法の各工程を実行させるためのプログラム。
10. 請求項９に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images