JP3890235B2

JP3890235B2 - 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

Info

Publication number: JP3890235B2
Application number: JP2002017903A
Authority: JP
Inventors: 良弘石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-01-28
Filing date: 2002-01-28
Publication date: 2007-03-07
Anticipated expiration: 2022-01-28
Also published as: JP2003216936A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、撮影画像中に存在する被写体の輪郭を抽出するための技術に関し、特にデジタルカメラによるデジタル画像の高画質化や最適処理に好適な、画像処理装置、画像処理方法、及びそれを実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体とその処理ステップを記述したコンピュータプログラムに関する。
【０００２】
【従来の技術】
処理対象とする画像の示すシーンにかかわらず、即ち、画像の特徴にかかわらず、画像全体に一定の処理を施すのに比し、画像内の特性の異なる領域を検出して、これらそれぞれの特性に応じて、適応的な処理を施したほうがより好適な処理が可能であることが知られている。
【０００３】
例えば、特開２０００−１２３１６５号公報（以下、文献（１）と言う）によれば、室内で窓際にいる人物を撮影した写真画像において、一般に、窓の外の風景は明るく、主被写体である人物の部分は黒くつぶれてしまうことが多いことを例にあげて、適応的な処理の効用を紹介している。即ち、このような画像を、従来の画像処理装置により補正を施しても、窓の外の風景が非常に明るいために、画像全体としては露出オーバーと判定されてしまうため、黒くつぶれてしまっている人物の部分については、ほとんど補正されないか、または、さらに暗くなるように補正されてしまい、主被写体であるはずの人物画像に対して、適正な画像を補正できないことを述べている。これに対し文献（１）では、画像を複数のブロックに分割し、該ブロック毎の属性をブロック毎の輝度ヒストグラムをもとに判別することが提案されている。即ち、ブロック単位での適応処理（ホワイトバランスの調整による補正処理）が提案されている。
【０００４】
また、特開２０００−１２３１６４号公報（以下、文献（２）と言う）においても、同様に画像を複数のブロックに分割し、該ブロック毎に画像データを解析して、該ブロック毎の属性を判別することによって、ブロック毎に適応的に彩度変換することが提案されている。
【０００５】
一方、近年、人物認証やアミューズメントのための顔合成画像生成を目的として人物の顔領域の検出や目、鼻、口等の顔部品を検出する技術が提案されている。例えば、特開平０９−２５１５３４号公報（以下、文献（３）と言う）には、予め登録された標準顔画像（テンプレート）を用いて顔領域を抽出し、抽出された顔領域の中から眼球（黒目）や鼻穴などの特徴点の候補を抽出して、これらから配置や予め登録されている目、鼻、口領域などのテンプレートとの類似度から目、鼻、口等の顔部品を検出する技術が開示されている。また、特開２０００−３２２５８８（以下、文献（４）と言う）には、入力された画像から顔領域を判定し、判定された顔領域から目、鼻、口といった顔部品を検出して目のひとみの位置の中心座標や鼻孔の位置の中心座標を出力したり、口やその他の顔部品の位置を検出して、その位置を出力すること等が述べられている。
【０００６】
ビデオカメラによって被写体を撮影して得られた撮影画像中から被写体の輪郭を抽出することを目的とした公知の手法として、Ｍ．Ｋａｓｓｅｔａ１．，”ＳＮＡＫＥＳ：Ａｃｔｉｖｅｃｏｎｔｏｕｒｍｏｄｅｌｓ”，ＰｒｏｃｏｆｌｓｔＩＣＣＶ，ｐｐ．２５９−２６８，１９８７（以下、文献（５）と言う）等に記載された手法（以下、手法（１）と言う）がある。
【０００７】
手法（１）では、撮影画像（動画等）中に存在する被写体に対して初期輪郭を設定し、その初期輪郭から、被写体領域の複数の特徴量を引数とする評価関数が極値をとるような被写体輪郭を求め、これにより確定した被写体輪郭を、次の時点（次のシーン）での被写体に対する初期輪郭とする。この繰り返しによって、動画中の被写体の検出及び追尾を連続して行なうことができる。
【０００８】
図２（ａ）及び（ｂ）は、手法（１）の概念図を示す。例えば、図２（ａ）に示すように、ある動画の撮影シーンにおいて、被写体１１（家）や被写体１２（人物）等の複数の被写体が存在しており、検出対象被写体として被写体１２（人物）を選択する場合、先ず、被写体１２に対して初期輪郭１３を設定する。次に、輪郭線の滑らかさ、輝度勾配、輪郭モデルに外部から加える力等を考慮した評価関数を作成し、この評価関数を最適化するような輪郭線を、初期輪郭１３から求める。この結果得られた輪郭線（被写体輪郭）を、図２（ｂ）の”１４”に示す。この一旦求めた被写体輪郭１４を、次のフレームでの初期輪郭として利用する。このような処理の繰り返しによって、連続する画像（動画）中の被写体１２を追尾することができる。
【０００９】
一方、手法（１）を改良した方法として、”移動被写体の輪郭を自動抽出する追尾ソフトの開発”（荒木ほか）：映像情報９７年１１月号、Ｐ．３９−４４（以下、文献（６）と言う）等に記載された手法（以下、手法（２）と言う）がある。この手法（２）では、被写体輪郭が自動的に分裂し統合する輪郭モデルを導入することにより、画像中に複数の被写体が存在する場合、初期輪郭を被写体に対して個別に与えることなく、複数の移動被写体の検出及び追尾が行なえる。
【００１０】
【発明が解決しようとする課題】
しかし、上述したように、画像内の特性の異なる領域を検出して、これらそれぞれの特性に応じて、適応的な処理を施したほうがより好適な処理が可能であることが知られているものの、文献（１）や文献（２）のようにブロック毎に領域を判別するのでは、必ずしも主被写体とそれ以外の部分との領域境界を詳細に検出するものではなかった。
【００１１】
従来の手法（１）では、被写体輪郭の検出の際に、当該被写体に対して大まかな初期輪郭（図２（ａ）に示す初期輪郭１２参照）を与える必要があった。さらに、最初に設定する初期輪郭によっては、被写体領域を正確に検出できない場合があった。
【００１２】
一方、従来の方法（２）では、被写体に対して初期輪郭を与える必要がないことを特徴としているが、画像の外枠を初期輪郭として設定して動作するものであり、主被写体を定めるには冗長な範囲の探索を必要とし、且つ又、様々な条件下における有効性が検証されているわけではない。すなわち、方法（１）を利用もしくは拡張して、被写体の検出及び追尾を行なう手法においても、安定して被写体領域の検出を行うことは実現されていなかった。
【００１３】
以上のように、デジタル写真のごときデジタル静止画像において、人物を主被写体とする場合の人物とそれ以外の領域の境界をより詳細に切り出し、人物とそれ以外の部分に適応的な処理を可能とすることは、困難であった。
【００１４】
そこで、本発明は、上記の欠点を除去するために、画像中の被写体としての人物領域とそれ以外の領域の境界をより正確に且つ簡便に抽出し、これらの領域を画像内の特性の異なる領域として処理を施すことにより、従来に比しより好適な適応処理を可能とする画像処理装置、画像処理方法、及びそれを実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体とその処理ステップを記述したコンピュータプログラムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段から入力された画像中から人物の、両眼及び口を含む顔部品を検出する顔部品検出手段と、前記顔部品検出手段にて検出した前記両眼の中心間の距離Ｌと、前記顔部品検出手段にて検出した前記口の中心と前記両眼間の中心位置との距離Ｈとを求め、前記両眼の中心を結ぶ直線に対して前記距離Ｈの第１の定数倍だけ垂直上方及び第２の定数倍だけ垂直下方の位置にそれぞれ上下の辺を持ち、前記口の中心と前記両眼間の中心位置とを結ぶ直線から左右それぞれに前記距離Ｌの第３の定数倍の位置に左右の辺を持つ矩形領域を、前記画像中の人物全身の領域とそれ以外の領域の境界を求めるための初期境界情報として設定する初期境界情報設定手段と、前記初期境界情報設定手段により設定された初期境界情報に基づいて、当該人物全身の領域とそれ以外の領域との境界情報を抽出する境界情報抽出手段と、前記境界情報抽出手段により抽出された人物全身の領域とそれ以外の領域との境界情報に基づき領域毎に適応的な処理を行う適応処理手段とを備えることを特徴とする。
本発明に係る画像処理方法は、画像を入力する画像入力工程と、前記画像入力工程で入力された画像中から人物の、両眼及び口を含む顔部品を検出する顔部品検出工程と、前記顔部品検出工程にて検出した前記両眼の中心間の距離Ｌと、前記顔部品検出工程にて検出した前記口の中心と前記両眼間の中心位置との距離Ｈとを求め、前記両眼の中心を結ぶ直線に対して前記距離Ｈの第１の定数倍だけ垂直上方及び第２の定数倍だけ垂直下方の位置にそれぞれ上下の辺を持ち、前記口の中心と前記両眼間の中心位置とを結ぶ直線から左右それぞれに前記距離Ｌの第３の定数倍の位置に左右の辺を持つ矩形領域を、前記画像中の人物全身の領域とそれ以外の領域の境界を求めるための初期境界情報として設定する初期境界情報設定工程と、前記初期境界情報設定工程において設定された初期境界情報に基づいて、当該人物全身の領域とそれ以外の領域との境界情報を抽出する境界情報抽出工程と、前記境界情報抽出工程により抽出された人物全身の領域とそれ以外の領域との境界情報に基づき領域毎に適応的な処理を行う適応処理工程とを有することを特徴とする。
本発明に係るプログラムは、コンピュータ装置を上記画像処理装置として機能させることを特徴とする。
本発明に係るプログラムは、上記画像処理方法を実現するためのプログラムコードを有することを特徴とする。
本発明に係る記憶媒体には、上記プログラムのプログラムコードが格納される。
【００１８】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１９】
（第１実施例）
図１は、本発明を実施する画像処理装置の機能ブロック図を示す。同図において、撮像部１０１は、被写体２０を含む撮影シーンを撮影して当該撮影シーンの画像信号（撮影画像信号）を取得する。フレームメモリ１０２は、撮像部１０１より得られた撮影シーンのデジタル画像や被写体２０の輪郭情報等を記憶する。顔部品検出部１０３は、撮像部１０１により得られた撮影シーンのデジタル画像から、被写体２０が人物であるとき、この人物の顔部品とそれらの配置を検出する。初期境界情報設定部１０４は、顔部品検出部１０３にて検出された人物の顔部品の配置から、該デジタル画像中における人物領域とその他の領域との領域境界を求める初期境界情報を設定する。
【００２０】
境界情報抽出部１０５は、初期境界情報設定部１０４にて設定された初期境界情報と前記デジタル画像から、該デジタル画像中における人物領域とその他の領域との領域境界情報を抽出する。適応処理部１０６は、境界情報抽出部１０５にて抽出された人物領域とその他の領域との領域境界情報と、撮像部１０１より得られた撮影シーンのデジタル画像に適応的な処理を施したデジタル画像を生成する。
【００２１】
記録出力部１０８は、撮像部１０１より得られた撮影シーンのデジタル画像や、適応処理部１０６で生成されたデジタル画像の記録媒体への記録処理や表示装置等への出力を行なう。また、全体制御部１０７は、画像処理装置全体の動作制御を司る。
【００２２】
図３は、上記に説明した機能ブロックを実現する機器構成例を示す。同図において、３０１は図１の撮像部１０１を構成する撮像手段である。図３のフレームメモリ１０２は図１のフレームメモリそのものであり、同一の番号を付与してある。３０８は図１の記録・出力部を構成する記録・出力手段である。３０７１はＣＰＵで、３０７２はＲＡＭ、３０７３はＲＯＭ、３０７４と３０７５はそれぞれ撮像手段とのＩ／Ｏと記録・出力手段とのＩ／Ｏである。３０７１〜３０７５は一連のコンピュータシステムを構成しており、図１における顔部品検出部１０３、初期境界情報設定部１０４、境界情報抽出部１０５、適応処理部１０６、全体制御部１０７の機能ブロックを実現する構成例となっている。
【００２３】
以下、図４以降に示すフローチャートに沿って、本実施例の動作を説明する。
【００２４】
先ず、使用者によって電源投入がなされると、制御部１０７は画像処理装置全体の所要の初期化を行う。即ち、電源投入によって、図４のフローチャートに沿った処理が開始され、先ず、ステップＳ１００において、ＲＯＭ３０７３に予め格納されている処理手順に従って、Ｉ／Ｏ３０７４，３０７５やＲＡＭ３０７２の初期設定や、フレームメモリ１０２の初期化、また、Ｉ／Ｏ３０７４を介して撮像手段３０１の初期化やＩ／Ｏ３０７５を介して記録・出力手段３０８の初期化等を行う。これにより、画像処理装置全体が処理系として動作可能の状態となる。次にステップＳ１１０に進む。
【００２５】
ステップＳ１１０では、使用者により、例えばシャッターボタン等の図示しない操作部を介して画像入力指示があったか否かを判定し、画像入力指示があった場合にはステップＳ１２０に進み、そうではない場合にはステップＳ１９０に進む。
【００２６】
ステップＳ１２０では、Ｉ／Ｏ３０７４を介して撮像手段３０１に対して画像入力指示を出す。撮像手段は被写体２０を含む撮影シーンを撮影して、当該撮影シーンの画像信号（撮影画像信号）を取得し、デジタル画像としてフレームメモリ１０２に書き込む。ステップＳ１２０の処理を終えるとステップＳ１３０に進む。
【００２７】
ステップＳ１３０では、例えば選択スイッチ等で構成される図示しない操作部により適応処理の指示があったか否かを判定し、適応処理の指示があった場合にはステップＳ１４０に進み、そうでない場合にはステップＳ１８０に進む。
【００２８】
ステップＳ１４０では、ステップＳ１２０において撮像手段３０１から入力され、フレームメモリ１０２に保持されているデジタル画像中から人物の顔部品を検出する顔部品検出処理を行う。この顔部品検出処理は、文献（３）（特開平０９−２５１５３４号公報）に開示される方法が適用可能である。即ち、入力画像から顔領域を抽出し、抽出された顔領域の中から瞳、鼻、口等の特徴点を抽出する。この方法は基本的に、位置精度の高い形状情報により特徴点の候補を求め、それをパターン照合で検証するものである。
【００２９】
この他にも、エッジ情報に基づく方法（例えば、Ａ．Ｌ．Ｙｕｉｌｌｅ，"Ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｆｒｏｍｆａｃｅｓｕｓｉｎｇｄｅｆｏｒｍａｂｌｅｔｅｍｐｌａｔｅｓ"，ＩＪＣＶ，ｖｏｌ．８：２，ｐｐ．９９-１１１，１９９２．、坂本静生，宮尾陽子，田島譲二，“顔画像からの目の特徴点抽出”，信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ７−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１７９６-１８０４，Ａｕｇｕｓｔ，１９９３）、固有空間法を適用したＥｉｇｅｎｆｅａｔｕｒｅ法（例えば、ＡｌｅｘＰｅｎｔｌａｎｄ，ＢａｂａｃｋＭｏｇｈａｄｄａｍ，ＴｈａｄＳｔａｒｎｅｒ，"Ｖｉｅｗ−ｂａｓｅｄａｎｄｍｏｄｕｌａｒｅｉｇｅｎｓｐａｃｅｓｆｏｒｆａｃｅｒｅｃｏｇｎｉｔｉｏｎ"，ＣＶＰＲ '９４，ｐｐ．８４−９１，１９９４．）、カラー情報に基づく方法（例えば、佐々木努、赤松茂、末永康仁，“顔画像認識のための色情報を用いた顔の位置合わせ方”，ＩＥ９１−２，ｐｐ．９−１５，１９９１）が適用可能である。
【００３０】
ステップＳ１４０では、瞳、鼻、口等の各特徴点の画像中における位置（ｘ，ｙ）を予め定めたＲＡＭ３０７２内の図示しない特定領域に格納してステップＳ１５０に進む。
【００３１】
ステップＳ１５０では、ステップＳ１４０で抽出された、瞳、鼻、口等の各特徴点の画像中における位置（公知の座標（ｘ，ｙ）であらわすものとする）をもとに、境界情報抽出部１０５（ステップＳ１６０）で用いる初期境界情報を設定する。この様子を図５の（ａ）、（ｂ）、（ｃ）に示す。図５（ａ）は、入力された画像の例である。図５（ｂ）は、入力画像中の人物の顔部品（ここでは、両眼と口）を検出した様子を表している。図５（ｃ）は、検出された両眼と口の位置（配置）をもとに、人物領域の付近に初期境界情報２３を設定した様子を表している。
【００３２】
ステップＳ１５０の一連の処理を終えると、ステップＳ１６０に進む。ステップＳ１５０での初期境界情報の設定方法は、後でより詳細に説明する。
【００３３】
ステップＳ１６０では、ステップＳ１５０で設定された初期境界情報から人物領域とそれ以外の領域の境界情報（以降、「人物領域輪郭」とも言う）を抽出する。この人物領域とそれ以外の領域の境界情報の抽出処理には、先述した手法（１）や手法（２）が適用可能である。具体的には、例えば、初期境界情報で包囲された領域に関して特徴量の抽出処理を行い、これにより得られた特徴量を引数とする評価関数を作成し、その評価関数が極値をとるような人物領域境界を求める。ここでの特徴量としては、境界情報としての輪郭線の滑らかさ、輝度勾配、輪郭の囲む閉領域の面積等が挙げられる。
【００３４】
ステップＳ１６０での人物領域とそれ以外の領域の境界情報抽出を終えると、その境界情報をフレームメモリ群１０２上の予め定めたフレームメモリに書き込む。図５（ｃ）、（ｄ）に一例を示す。図５（ｃ）の初期境界情報２３で包囲された領域に関して、ステップＳ１６０の処理を施した例が図５（ｄ）である。図５（ｄ）の２４が、抽出された人物境界輪郭の様子を表している。ステップＳ１６０の一連の処理を終えるとステップＳ１７０に進む。
【００３５】
ステップＳ１７０では、フレームメモリ群１０２の予め定められたフレームメモリ上のステップＳ１６０で得られた人物領域境界情報をもとに、同じくフレームメモリ群１０２のこれとは異なるフレームメモリ上にある入力画像に対して、人物領域内とそれ以外の領域とで、先に述べた文献（１）にあるようなホワイトバランスの調整処理や文献（２）にあるような彩度変換等の処理を適応的に処理する。処理結果の画像は、フレームメモリ群１０２上の他のフレームメモリ上に書き込まれる。このステップＳ１７０においての適応処理によれば、入力画像が、同じく先に述べたような室内で窓際にいるような人物を撮影した写真画像であったとしても、主被写体である人物に対して適正な露出や色合いに補正がされ、かつ、その他の領域も従来より自然に仕上がったデジタル画像として生成される。ステップＳ１７０の一連の処理を終えると、ステップＳ１８０に進む。
【００３６】
ステップＳ１８０では、これまでに得られているデジタル画像を記録・出力部１０８より画像記録媒体に記録したり、表示装置等への画像信号を出力する。ステップＳ１８０の処理を終えるとステップＳ１９０に進む。
【００３７】
ステップＳ１９０では、使用者により、図示しない操作部により、画像処理装置の動作を終了する指示があったか否かを判定し、動作終了の指示があった場合には装置の主電源をオフにして一連の動作を終了する。動作終了の指示が無かった場合には、ステップＳ１１０に戻る。
【００３８】
次に、ステップＳ１５０における初期境界情報の設定方法を詳細に説明する。図６は、検出された顔部品の例を示す。同図において、３０は右眼、３１は左眼、３２は口を示しており、３３、３４、３５はそれぞれ３０，３１，３２の中心位置を示している。また、３６は右眼と左眼の中心の位置（画像内の画素位置を座標（ｌ_０，ｈ_０）とする）を示している。３３と３４、即ち、右眼の中心と左眼の中心との間の距離をＬ_１とし、３５と３６、即ち口の中心と両眼間の中心位置との距離をＨ_１とする。これらは、先に述べた公知の方法により求めることが可能である。
【００３９】
また、かくして求められたＬ_１（右眼の中心と左眼の中心との間の距離）とＨ１（口の中心と両眼間の中心位置との距離）とから初期境界情報を定めた例を図７に示す。同図において、図５、図６と共通のものは同番号を付してある。図７において、両眼のそれぞれの中心を結ぶ直線をｌとしたとき、ｌより垂直上方（頭頂方向）にＨ_１の３倍、垂直下方（足部方向）にＨ_１の２０倍の長さをもち、口の中心と両眼間の中心位置を結ぶ直線ｍを中心にその左右にＬ_１の５倍ずつの幅を持った矩形領域を初期境界情報２３として設定した例を示す。この矩形のサイズは、必ずしも上記のごとくに幅１０Ｌ_１、高さ２３Ｈ_１でなければならないものではなく、実験に基づいて求めたより詳細な数字に適宜設定することも可能である。
【００４０】
（第２実施例）
第１実施例においては、初期輪郭領域を矩形領域として設定したが、本発明はかならずしもこれに限るものではなく、たとえば、楕円（例えば、第１実施例で述べた矩形を外接矩形とする楕円）として設定してもよい。
【００４１】
（第３実施例）
第１及び第２実施例において、初期輪郭を定めるのは、顔部品として、両眼と口を用いる例で説明したが、本発明はこれに限るものではなく、眼や口のみならず、鼻穴や耳等の位置やこれらの配置をもとに設定しても良い。これらの場合、配置に対する初期輪郭の設定の仕方は、さまざまな入力画像を実験的に撮像して、これらに基づき人物領域を取り囲む妥当な（例えば、人物領域になるべく近似された輪郭となる場合が多いような）条件になるように設定すれば良い。
【００４２】
（第４実施例）
第１及び第２実施例において、初期輪郭を定めるのは、右眼の中心と左眼の中心との間の距離Ｌ_１と口の中心と両眼間の中心位置との距離Ｈ_１とで定める例を示したが、本発明は、これに限らない。即ち、例えば右眼の中心と左眼の中心との間の距離、右眼の中心位置と口の中心位置との距離、左眼の中心位置と口の中心位置との距離等から定めるようにしてももちろん良い、この場合も、配置に対する初期輪郭の設定の仕方は、さまざまな入力画像を実験的に撮像して、これらに基づき人物領域を取り囲む妥当な（例えば、人物領域になるべく近似された輪郭となる場合が多いような）条件になるように設定すれば良い。
【００４３】
尚、本発明の目的は、上述した第１〜第４の各実施例のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が上記各実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００４４】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００４５】
また、コンピュータが読みだしたプログラムコードを実行することにより、上記各実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって上記各実施の形態の機能が実現される場合も含まれることは、言うまでもない。
【００４６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上記各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、画像中の被写体輪郭を抽出するための初期輪郭の設定を常に正確に行なえるため、当該主被写体領域としての人物全身の領域を従来に比し正確に且つ安定して抽出することができるため、適応処理により、該入力画像が、同じく先に述べたような室内で窓際にいるような人物を撮影した写真画像であったとしても、主被写体である人物全身に対して適正な露出や色合いに補正がされ、かつ、その他の領域も従来より自然に仕上がったデジタル画像として生成される等、従来に比し高画質な出力画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を構成する機能ブロック図である。
【図２】公知の手法を説明する概念図である。
【図３】本発明を実施する装置構成の一例を示す図である。
【図４】本発明を実施する装置の動作を説明するフローチャートである。
【図５】初期境界情報の設定例と、これから抽出された人物領域境界情報の例を示す図である。
【図６】検出された顔部品の例を示す図である。
【図７】検出された顔部品から初期境界情報を定めた例を示す図である。
【符号の説明】
２０：被写体
３３：右眼の中心
３４：左眼の中心
３５：口の中心
１０１：撮像部
１０２：フレームメモリ群
１０３：顔部品検出部
１０４：初期境界情報設定部
１０５：境界情報抽出部
１０６：適応処理部
１０７：全体処理部
１０８：記録・出力部
３０１：撮像手段
３０８：記録・出力手段
３０７１：ＣＰＵ
３０７２：ＲＡＭ
３０７３：ＲＯＭ
３０７４：Ｉ／Ｏ
３０７５：Ｉ／Ｏ

Claims

画像を入力する画像入力手段と、
前記画像入力手段から入力された画像中から人物の、両眼及び口を含む顔部品を検出する顔部品検出手段と、
前記顔部品検出手段にて検出した前記両眼の中心間の距離Ｌと、前記顔部品検出手段にて検出した前記口の中心と前記両眼間の中心位置との距離Ｈとを求め、前記両眼の中心を結ぶ直線に対して前記距離Ｈの第１の定数倍だけ垂直上方及び第２の定数倍だけ垂直下方の位置にそれぞれ上下の辺を持ち、前記口の中心と前記両眼間の中心位置とを結ぶ直線から左右それぞれに前記距離Ｌの第３の定数倍の位置に左右の辺を持つ矩形領域を、前記画像中の人物全身の領域とそれ以外の領域の境界を求めるための初期境界情報として設定する初期境界情報設定手段と、
前記初期境界情報設定手段により設定された初期境界情報に基づいて、当該人物全身の領域とそれ以外の領域との境界情報を抽出する境界情報抽出手段と、
前記境界情報抽出手段により抽出された人物全身の領域とそれ以外の領域との境界情報に基づき領域毎に適応的な処理を行う適応処理手段
とを備えることを特徴とする画像処理装置。
前記境界情報抽出手段により抽出された人物全身の領域とそれ以外の領域との境界情報に基づき適応処理手段において領域毎に行われる適応的な処理は、ホワイトバランスの調整処理、または、彩度補正であることを特徴とする請求項１に記載の画像処理装置。
画像を入力する画像入力工程と、
前記画像入力工程で入力された画像中から人物の、両眼及び口を含む顔部品を検出する顔部品検出工程と、
前記顔部品検出工程にて検出した前記両眼の中心間の距離Ｌと、前記顔部品検出工程にて検出した前記口の中心と前記両眼間の中心位置との距離Ｈとを求め、前記両眼の中心を結ぶ直線に対して前記距離Ｈの第１の定数倍だけ垂直上方及び第２の定数倍だけ垂直下方の位置にそれぞれ上下の辺を持ち、前記口の中心と前記両眼間の中心位置とを結ぶ直線から左右それぞれに前記距離Ｌの第３の定数倍の位置に左右の辺を持つ矩形領域を、前記画像中の人物全身の領域とそれ以外の領域の境界を求めるための初期境界情報として設定する初期境界情報設定工程と、
前記初期境界情報設定工程において設定された初期境界情報に基づいて、当該人物全身の領域とそれ以外の領域との境界情報を抽出する境界情報抽出工程と、
前記境界情報抽出工程により抽出された人物全身の領域とそれ以外の領域との境界情報に基づき領域毎に適応的な処理を行う適応処理工程
とを有することを特徴とする画像処理方法。
前記境界情報抽出工程により抽出された人物全身の領域とそれ以外の領域との境界情報に基づき適応処理工程において領域毎に行われる適応的な処理は、ホワイトバランスの調整処理、または、彩度補正であることを特徴とする請求項３に記載の画像処理方法。
コンピュータ装置が実行可能なプログラムであって、前記プログラムを実行するコンピュータ装置を、前記請求項１または２に記載の画像処理装置として機能させることを特徴とするプログラム。
前記請求項３または４に記載の画像処理方法を実現するためのプログラムコードを有するプログラム。
前記請求項５または６に記載のプログラムのプログラムコードを保持する記憶媒体。