JP3997090B2

JP3997090B2 - 画像処理装置、プログラム及び方法

Info

Publication number: JP3997090B2
Application number: JP2002017904A
Authority: JP
Inventors: 良弘石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-01-28
Filing date: 2002-01-28
Publication date: 2007-10-24
Anticipated expiration: 2022-01-28
Also published as: JP2003216946A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置等の画像入力機器で読み取られた画像を対象とする画像処理装置、プログラム及び方法に関し、特に撮像されるシーンの状況に応じて適応的な画像処理をする画像処理装置、プログラム及び方法に関する。
【０００２】
【従来の技術】
撮像装置、とりわけ、昨今、特に普及の進んでいるデジタルスチルカメラは、ＣＣＤやＣ−ＭＯＳ等のイメージエリアセンサで構成される撮像デバイスで撮像される画像信号をもとに、被写体の輝度域を撮像デバイスのダイナミックレンジに当てはめるためのＡＧＣ（ＡｕｔｏＧａｉｎＣｏｎｔｒｏｌ）と呼ばれる露光量の調整機構や、被写体の色味を適切な色合いに補正するためのＡＷＢ（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ）と呼ばれる色味調整機構、階調変化の具合やコントラストを調整するためのガンマ変換機構、ノイズ除去や輪郭強調の機能等の各種の画像処理機能を有している。最近では、例えば、特開２０００−１２３１６４公報及び特開２０００−１２３１６５公報等に見られるように、このような撮像画像信号に対する処理のインテリジェント化が志向されてきている。
【０００３】
特開２０００−１２３１６４公報には、画像特徴を考慮することなく一定の処理をするよりも画像内の特徴の応じて処理や変換の度合いを変更することが望ましいことが記載され、また、特開２０００−１２３１６５公報には、画像内の主オブジェクトに重きをおいた補正、即ち、主オブジェクトを対象としての適切な画像補正が記載されている。
【０００４】
しかしながら、特開２０００−１２３１６４公報及び特開２０００−１２３１６５公報に記載の構成では、画像を複数のブロック領域に分割して、このブロック毎に属性を判定している。このため、必ずしも、オブジェクトの形状を反映した属性判定とは言い難く、あくまでもそのブロックの荒さに依存した適応処理とならざるを得なかった。
【０００５】
一方、撮像された画像から任意形状の被写体を抽出する方法に関しては、特開２０００−３３９４５２公報及び特開２００１−０４３３７６公報等に各種の方法が開示されている。また、特開２００１−１１６９８５公報には、被写体の認識範囲を限定することにより被写体認識を高速化することが開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、撮像された画像から任意形状の被写体を抽出することは、撮影状態や被写体の周囲の環境等、種々の条件下で正確に抽出することは、きわめて難しく、被写体の形状やその輪郭は、一般的には、多少の抜けや欠けが伴う場合が多い。
【０００７】
また、被写体の形状や輪郭が正確に抽出できたとしても、被写体とそれ以外の領域で、先に述べた色補正やガンマ変換等の処理の程度をそれぞれの領域で別々に最適化したものをそのまま合成すると、その領域境界部分で、それぞれに施した処理の程度の違いが視覚的に強調されて見えて、違和感を与える場合もあった。
【０００８】
本発明は、上述した従来例の欠点に鑑みなされたものであり、その目的とするところは、撮像された画像から抽出した被写体の形状やその輪郭が不完全だったとしても、出力画像における視覚的な違和感の発生を防ぎ、且つ又、領域境界部分において視覚的な違和感が発生を防ぐことである。
さらには、本発明は、領域境界部分において視覚的な違和感がでないようにするために、被写体領域内処理手段の処理結果と、被写体領域外処理手段の処理結果とを重み付け合成するための係数を簡単に求めることができるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、入力画像を示す入力画像データを入力する画像入力手段と、前記入力画像データに対して被写体領域内用の処理を行う被写体領域内処理手段と、前記入力画像データに対して被写体領域外用の処理を行う被写体領域外処理手段と、前記入力画像データに基づき、前記入力画像における被写体領域を抽出する被写体抽出手段と、前記被写体抽出手段により抽出された被写体領域の内部に第１の値を設定し、前記被写体領域の外部に対して第２の値を設定することにより制御画像データを生成する生成手段と、前記制御画像データに対して空間フィルタを用いて平滑化処理を行う平滑化処理手段と、前記平滑化処理手段によって平滑化処理された制御画像データを重み係数として用いて、前記被写体領域内処理手段の処理結果と、前記被写体領域外処理手段の処理結果とを重み付け合成する処理手段とを有することを特徴とする。
本発明に係る画像処理プログラムは、入力画像を示す入力画像データに対して被写体領域内用の処理をコンピュータに行わせる被写体領域内処理機能と、前記入力画像データに対して被写体領域外用の処理を前記コンピュータに行わせる被写体領域外処理機能と、前記入力画像データに基づき、前記入力画像における被写体領域を前記コンピュータに抽出させる被写体抽出機能と、前記被写体抽出機能により抽出された被写体領域の内部に第１の値を設定し、前記被写体領域の外部に対して第２の値を設定することにより制御画像データを前記コンピュータに生成させる生成機能と、前記制御画像データに対して空間フィルタを用いて平滑化処理を前記コンピュータに行わせる平滑化処理機能と、前記平滑化処理機能によって平滑化処理された制御画像データを重み係数として用いて、前記コンピュータに、前記被写体領域内処理機能の処理結果と、前記被写体領域外処理機能の処理結果とを重み付け合成させる処理機能とを有することを特徴とする。
本発明に係る画像処理方法は、入力画像を示す入力画像データ入力する画像入力ステップと、前記入力画像データに対して被写体領域内用の処理を行う被写体領域内処理ステップと、前記入力画像データに対して被写体領域外用の処理を行う被写体領域外処理ステップと、前記入力画像データに基づき、前記入力画像における被写体領域を抽出する被写体抽出ステップと、前記被写体抽出ステップで抽出された被写体領域の内部に第１の値を設定し、前記被写体領域の外部に対して第２の値を設定することにより制御画像データを生成する生成ステップと、前記制御画像データに対して空間フィルタを用いて平滑化処理を行う平滑化処理ステップと、前記平滑化処理ステップによって平滑化処理された制御画像データを重み係数として用いて、前記被写体領域内処理ステップの処理結果と、前記被写体領域外処理ステップの処理結果とを重み付け合成する処理ステップとを有することを特徴とする。
【００１１】
【実施例】
以下、図面を参照して本発明の好適な実施例を詳細に説明する。
【００１２】
＜第１実施例＞
図１は本発明を実施する画像処理装置の機能ブロック図を示す。画像入力手段２０は、公知のデジタルカメラ撮像部等で構成され、被写体１０を含む撮影シーンを撮影して当該撮影シーンの画像データを取得する。画像入力手段２０により取得された画像データは、デジタル画像データとして被写体（オブジェクト）抽出手段３０に出力される。被写体（オブジェクト）抽出手段３０は、画像入力手段２０により取得された画像データ中に含まれる人物を検出し、該画像データ中における人物領域とその他の領域との領域境界情報を抽出する。被写体（オブジェクト）抽出手段３０で抽出された領域境界情報は、遷移領域設定手段４０に出力される。
【００１３】
遷移領域設定手段４０は、被写体（オブジェクト）抽出手段３０で抽出された領域境界情報から該画像データ中における人物領域とその他の領域との遷移領域を設定し、遷移領域情報を適応処理手段５０と中間処理手段６０に出力する。適応処理手段５０は、被写体内処理手段５１と被写体領域外処理手段５２より構成されており、画像入力手段２０で取得されたデジタル画像データと、遷移領域設定手段４０で設定された遷移領域情報を入力して、被写体領域内（人物領域内）用の処理を被写体内処理手段５１にて行い、被写体領域外（人物領域以外の領域）用の処理を被写体領域外処理手段５２にて行う。適応処理手段５０は、被写体領域内（人物領域内）用の処理結果と被写体領域外（人物領域以外の領域）用の処理結果とを合成／出力手段７０に出力する。
【００１４】
中間処理手段６０は、画像入力手段２０で取得されたデジタル画像データと、遷移領域設定手段４０で設定された遷移領域情報を入力して、被写体領域（人物領域）と被写体領域外（人物領域以外の領域）との遷移領域用の処理を行い、その処理結果を合成／出力手段７０に出力する。
【００１５】
合成／出力手段７０は、適応処理手段５０からの被写体領域内（人物領域内）用の処理結果と被写体領域外（人物領域以外の領域）用の処理結果、ならびに、中間処理手段６０からの被写体領域（人物領域）と被写体領域外（人物領域以外の領域）との遷移領域用の処理結果とから、撮像されたシーンの状況に応じて、入力画像に適応的な画像処理を施した画像を出力する。
【００１６】
図３は、上記に説明した機能ブロックからなる画像処理装置を実現する機器構成例を示す。同図において、２１は図１の画像入力手段２０を構成する撮像手段である。１０４は、複数のフレームメモリよりなるフレームメモリ群である。１０１はＣＰＵで、１０２はＲＡＭ、１０３はＲＯＭ、１０５と１０６はそれぞれ撮像手段２１とのＩ／Ｏと合成／出力手段７０とのＩ／Ｏである。１０１〜１０６は一連のコンピュータシステムを構成しており、図１における被写体（オブジェクト）抽出手段３０、遷移領域設定手段４０、適応処理手段５０、（遷移領域内）中間処理手段６０の機能ブロックを実現する構成例となっている。
【００１７】
以下、図４以降に示すフローチャートを参照して、本実施例の動作を説明する。
【００１８】
先ず、使用者によって電源投入がなされると、図示しない制御部により画像処理装置全体の所要の初期化を行う。即ち、電源投入によって、図４のフローチャートに沿った処理が開始され、先ず、ステップＳ１００において、ＲＯＭ１０３に予め格納されている処理手順に従って、Ｉ／Ｏ１０５，１０６やＲＡＭ１０２の初期設定や、フレームメモリ群１０４の初期化、また、Ｉ／Ｏ１０５を介して撮像手段２１の初期化やＩ／Ｏ１０６を介して合成／出力手段７０の初期化等を行う。これにより、画像処理装置全体が処理系として動作可能の状態となる。次にステップＳ１１０に進む。
【００１９】
ステップＳ１１０では、使用者により、例えばシャッタボタン等の図示しない操作部を介して画像入力指示があったか否かを判定し、画像入力指示があった場合にはステップＳ１２０に進み、そうではない場合にはステップＳ２００に進む。
【００２０】
ステップＳ１２０では、Ｉ／Ｏ１０５を介して撮像手段２１に対して画像入力指示を出す。撮像手段は被写体１０を含む撮影シーンを撮影して、当該撮影シーンの画像信号（撮影画像信号）を取得しデジタル画像として、フレームメモリ１０４に書き込む。ステップＳ１２０の処理を終えるとステップＳ１３０に進む。
【００２１】
ステップＳ１３０では、例えば選択スイッチ等で構成される図示しない操作部により適応処理の指示があったか否かを判定し、適応処理の指示があった場合にはステップＳ１４０に進み、そうでない場合にはステップＳ２１０に進む。
【００２２】
ステップＳ１４０では、ステップＳ１２０において撮像手段２１から入力され、フレームメモリ群１０４のひとつのフレームメモリに保持されているデジタル画像中から人物領域の検出を行い、人物領域とそれ以外の領域との境界情報を抽出する人物領域境界情報抽出処理を行う。
【００２３】
この、人物領域境界情報抽出処理は、例えば、以下の方法からなる。即ち、撮像部等の画像入力手段から入力された画像中から人物の顔部品を検出する。検出した顔部品の配置から、該画像中の人物領域とそれ以外の領域の境界を求めるための初期輪郭（初期境界情報）を設定し、設定された初期輪郭（初期境界情報）に基づいて、当該人物領域とそれ以外の領域を境界情報（人物の輪郭）を抽出する。この他にも、特開２００１−１１１８８２に開示される方法等、公知の方法が適用可能である。
【００２４】
ステップＳ１４０で抽出された人物領域境界情報は、フレームメモリ群１０４内の他のフレームメモリ、もしくは、ＲＡＭ１０２上の予め定める領域に保持される。図２にこの様子を図示した。図２（ａ）が被写体１０を含むシーンを撮影して得られたデジタル入力画像を示しているとしたとき、図２（ｂ）はステップＳ１４０で抽出される、人物領域とそれ以外の領域の境界情報（人物の輪郭）１１を示す。図２（ｂ）は、フレームメモリもしくはＲＡＭ上でデジタル画像データとして保持される。ステップＳ１４０の処理を終えると、ステップＳ１５０に進む。
【００２５】
ステップＳ１５０では、ステップＳ１４０で得られた人物領域とそれ以外の領域の境界情報（人物の輪郭）をもとに、遷移領域を設定する。例として図２（ｄ）に、図２（ｂ）に示す人物領域境界情報１１から設定された遷移領域１４を示した。
【００２６】
以下、図２（ｂ）に示す人物領域境界情報１１から図２（ｄ）に示す遷移領域１４を設定する方法を説明する。先ず、公知の閉領域内塗りつぶし方法により、図２（ｃ）に示すような境界情報（人物の輪郭）１１の内部領域１２内の各画素の画素値が全て２５５で、境界の外部領域１３内の各画素の画素値を全て０のデジタル画像データを生成し、フレームメモリ群１０４内の他のフレームメモリ又はＲＡＭ１０２上の予め定める領域に保持する。
【００２７】
次に、図２（ｃ）に示したデジタル画像に、図５（ａ）に示すような重み係数をもつ空間フィルタで公知の平滑化処理を施すことによって、図２（ｄ）に示すような、境界情報（人物の輪郭）１１を中心とした遷移領域１４を生成することができる。このように生成した遷移領域１４内の各画素値は、０より大きくかつ２５５より小さな値をもつ。また、図２（ｃ）の１３に示された画素値０をもつ、境界の外部領域は、境界付近の一部の領域が遷移領域となり、図２（ｄ）の１３’に示すようにややその領域サイズが狭まる。同様に、図２（ｃ）の１２に示された画素値２５５をもつ、境界の内部領域も、境界付近の一部の領域が遷移領域となり、図２（ｄ）の１２’に示すようにややその領域サイズが狭まることになる。尚、上述の空間フィルタは上記に限らず、他の平滑化フィルタ、例えば、図５（ｂ）に示すような重み係数からなる空間フィルタを用いるようにしても良い。図５（ｂ）に示すような重み係数からなる空間フィルタを用いる場合には、演算量は増えるものの、より自然な遷移領域の生成が可能となる。ステップＳ１５０の処理を終えると、ステップＳ１６０に進む。
【００２８】
ステップＳ１６０〜ステップＳ１８０では、ステップＳ１５０で生成した図２（ｄ）に示される遷移領域の情報を用いて、適応的な画像補正処理を行う。本実施例では、特開２０００−１２３１６４公報及び特開２０００−１２３１６５公報に記載のホワイトバランス調整や彩度補正の処理をその適応的な画像補正処理の内容として説明する。これらは、画素毎に補正が可能であり、特開２０００−１２３１６４公報や特開２０００−１２３１６５公報に記載されるように、入力される画素値に対して補正処理の結果として出力するべき画素値を、予め計算してＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）として、作成しておくことができる。そこで、本実施例では、予め、人物領域用の画像補正処理の入力画素値と出力画素値の対応を定めたＬＵＴと、人物領域以外の領域用の画像補正処理の入力画素値と出力画素値の対応を定めたＬＵＴをそれぞれ用意し、ＲＯＭ１０３上に保持しておくものとする。
【００２９】
ステップＳ１６０では、図２（ｄ）に示されるデジタル画像（以降、「領域情報画像」と称する）と図２（ａ）に示される入力画像を走査し、領域情報画像の画素値が０の画素に対応する入力画像中の画素のみに、人物領域以外の領域用の画像補正処理ＬＵＴによる画素値を、フレームメモリ群１０４内の他のフレームメモリ又はＲＡＭ１０２上の予め定める出力画像用領域に出力し、領域情報画像の画素値が０でない画素に対応する入力画像中の画素には、処理結果を出力しない。領域情報画像の全画素の走査を終えると、ステップＳ１７０に進む。
【００３０】
ステップＳ１７０では、ステップＳ１６０と同様に領域情報画像と図２（ａ）に示される入力画像を走査し、領域情報画像の画素値が２５５の画素に対応する入力画像中の画素のみに、人物領域用の画像補正処理ＬＵＴによる画素値を、フレームメモリ群１０４内の他のフレームメモリ又はＲＡＭ１０２上の予め定める出力画像用領域に出力し、領域情報画像の画素値が２５５でない画素に対応する入力画像中の画素には、処理結果を出力しない。領域情報画像の全画素の走査を終えると、ステップＳ１８０に進む。
【００３１】
ステップＳ１８０では、ステップＳ１６０やステップＳ１７０と同様に領域情報画像と図２（ａ）に示される入力画像を走査し、領域情報画像の画素値が０でも２５５でもない（０より大きく２５５より小さい値となっている）画素に対応する入力画像中の画素のみに、領域情報画像の画素値ｋ（但し、０＜ｋ＜２５５）に応じた重みと人物領域用の画像補正処理ＬＵＴによる画素値Ｐ１と、人物領域以外の領域用の画像補正処理ＬＵＴによる画素値Ｐ２とから定まる値Ｐを出力画素値として、フレームメモリ群１０４内の他のフレームメモリ又はＲＡＭ１０２上の予め定める出力画像用領域に出力する。ここで、
Ｐ＝｛Ｐ１×ｋ＋Ｐ２×（２５５−ｋ）｝／２５５（１）
とする。領域情報画像の画素値が０または２５５の画素に対応する入力画像中の画素には、処理結果を出力しない。領域情報画像の全画素の走査を終えると、ステップＳ１９０に進む。
【００３２】
以上、ステップＳ１６０〜ステップＳ１８０で、人物領域、遷移領域、及び、人物領域以外の領域の全ての領域に対する画像補正処理が行われ、入力画像の全ての画素に対しての適応的な画像補正処理が完了した出力画像が生成される。また、上記において、Ｐ，Ｐ１，Ｐ２等の画素値は、カラー画像の各画素の持つ各色成分値Ｒ，Ｇ，Ｂのそれぞれに対して、象徴的に表したものであり、Ｒの値としても、Ｇの値としても、Ｂの値としても、それぞれ独立に上記（１）式が適用されるもとする。
【００３３】
ステップＳ１９０では、これまでに得られている出力画像を合成／出力手段７０より画像記録媒体に記録したり、表示装置やプリンタ装置等へ画像出力する。ステップＳ１９０の処理を終えるとステップＳ２００に進む。
【００３４】
ステップＳ２００では、使用者により、図示しない操作部により、画像処理装置の動作を終了する指示があったか否かを判定し、動作終了の指示があった場合には装置の主電源をオフにして一連の動作を終了する。動作終了の指示が無かった場合には、ステップＳ１１０に戻る。
【００３５】
ステップＳ２１０では、入力画像の全画素に対して、人物領域以外の領域用の画像補正処理ＬＵＴによる画素値をフレームメモリ群１０４内の他のフレームメモリ、もしくは、ＲＡＭ１０２上の予め定める出力画像用領域に出力する。ステップＳ２１０の処理を終えると、ステップＳ１９０に進む。
【００３６】
＜第２実施例＞
第１実施例では、ステップＳ１６０〜ステップＳ１８０として、人物領域、遷移領域、及び、人物領域以外の領域のそれぞれの領域に対する画像補正処理を、別々のステップとして説明したが、これらのステップは、領域情報画像と図２（ａ）に示される入力画像を走査し、対応する入力画像中の画素のそれぞれに、領域情報画像の画素値ｋを０≦ｋ≦２５５とするに応じた重みとすることによって、人物領域用の画像補正処理ＬＵＴによる画素値Ｐ１と、人物領域以外の領域用の画像補正処理ＬＵＴによる画素値Ｐ２とから定まる値Ｐとから、
Ｐ＝｛Ｐ１×ｋ＋Ｐ２×（２５５−ｋ）｝／２５５（１）
により、一貫した処理として出力画素値を求めることができる。
【００３７】
したがって、図４におけるステップＳ１６０〜ステップＳ１８０は、図６に示すフローチャートのステップＳ２２０の適応処理のステップのように、ひとつの処理ステップとして構成することも可能である。即ち、ステップＳ２２０では、上述のように領域情報画像と図２（ａ）に示される入力画像の全領域を走査し、対応する入力画像中の画素のそれぞれに、領域情報画像の画素値ｋ（但し、０≦ｋ≦２５５）を重みとして、人物領域用の画像補正処理ＬＵＴによる画素値Ｐ１と、人物領域以外の領域用の画像補正処理ＬＵＴによる画素値Ｐ２とから、前記の式（１）をもって定まる値Ｐを出力画素値として求めて、フレームメモリ群１０４内の他のフレームメモリ又はＲＡＭ１０２上の予め定める出力画像用領域に出力することで、入力画像の全ての画素に対しての適応的な画像補正処理が完了した出力画像を生成する。尚、図６のフローチャートの他のステップは、図４のフローチャートの他のステップと全く同様であるので、説明を省略する。
【００３８】
＜第３実施例＞
第１及び第２実施例では、特開２０００−１２３１６４公報及び特開２０００−１２３１６５公報に記載のホワイトバランス調整や、彩度補正の処理をその適応的な画像補正処理の内容として説明した。これらは、画素毎に補正が可能であり、特開２０００−１２３１６４公報及び特開２０００−１２３１６５公報に記載されるように、入力される画素値に対して補正処理の結果として出力するべき画素値を、予め計算してＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）として、作成しておくことができる。しかし、本発明は、これに限るものではない。
【００３９】
即ち、色変換やγ変換といった、予め、入力画素値と出力画素値の対応を定めることができるような公知の画像（補正）処理であれば、本発明の適用が可能である。即ち、図７（ａ）に示すように入力画素値（Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎ）と出力画素値（Ｒ_ｏｕｔ，Ｇ_ｏｕｔ，Ｂ_ｏｕｔ）の対応（画素値変換ｆ_１）や、図７（ｂ）に示すように入力画素値（Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎ）と出力画素値（Ｃ_ｏｕｔ，Ｍ_ｏｕｔ，Ｙ_ｏｕｔ，Ｋ_ｏｕｔ）の対応（減法混色用の補色への画素値変換ｆ_２）等であれば、第１及び第２実施例と同様に、人物領域用の画像補正（画素値変換）処理の入力画素値と出力画素値の対応を定めたＬＵＴと、人物領域以外の領域用の画像補正（画素値変換）処理の入力画素値と出力画素値の対応を定めたＬＵＴをそれぞれ用意し、ＲＯＭ１０３上に保持しておくことで構成可能である。
【００４０】
この様子を図８に示した。尚、同図における８１は、上述の式（１）に基く遷移領域用の演算を行う機能ブロックである。
【００４１】
＜第４実施例＞
第１乃至第３実施例においては、遷移領域での中間処理を入力画像中の画素のそれぞれに、領域情報画像の画素値ｋをもちいて、人物領域用の画像補正処理ＬＵＴによる画素値Ｐ１と、人物領域以外の領域用の画像補正処理ＬＵＴによる画素値Ｐ２とから前記の式（１）
Ｐ＝｛Ｐ１×ｋ＋Ｐ２×（２５５−ｋ）｝／２５５（１）
で定まる値Ｐとして出力画素値を求めるものとしたが、本発明は、これに限らない。
【００４２】
即ち、ｋで定まるある重み係数α＝α（ｋ）とβ＝β（ｋ）（但し、α＋β＝１とする）を用いて、
Ｐ＝Ｐ１×α＋Ｐ２×β （２）
で定まる値Ｐとして出力画素値を求めるように構成してももちろん良い。
【００４３】
尚、本発明の目的は、上述した第１〜第４の各例のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が上記各実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００４４】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００４５】
また、コンピュータが読みだしたプログラムコードを実行することにより、上記各実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって上記各実施例の機能が実現される場合も含まれることは言うまでもない。
【００４６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上記各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、撮像された画像から抽出した被写体の形状やその輪郭が不完全だったとしても、出力画像における視覚的な違和感の発生を防ぎ、且つ又、領域境界部分において視覚的な違和感が発生を防ぐことができる。また、領域境界部分において視覚的な違和感がでないようにするために、被写体領域内処理手段の処理結果と、被写体領域外処理手段の処理結果とを重み付け合成するための係数を簡単に求めることができる。
【図面の簡単な説明】
【図１】本発明の機能手段の概略構成ブロック図である。
【図２】本発明の実施した際の画像データ、中間データの一例を示す図である。
【図３】本発明を実施する装置の構成の一例を示す図である。
【図４】本発明を実施する装置の動作手順を示すフローチャートである。
【図５】空間フィルタの係数群の例を示す図である。
【図６】第２実施例における動作手順を示すフローチャートである。
【図７】画素値変換における入力画素値と出力画素値の対応例を示す図である。
【図８】遷移領域を含む適応的画素値変換における入力画素値と出力画素値の対応例を示す図である。
【符号の説明】
１０：被写体。
２０：画像入力手段
３０：被写体（オブジェクト）抽出手段
４０：遷移領域設定手段
５０：適応処理手段
１１：人物領域境界
１２：人物領域
１３：非人物領域
１４：遷移領域
１０１：ＣＰＵ
１０２：ＲＡＭ
１０３：ＲＯＭ
１０４：フレームメモリ群
１０５：Ｉ／Ｏ
１０６：Ｉ／Ｏ

Claims

入力画像を示す入力画像データを入力する画像入力手段と、
前記入力画像データに対して被写体領域内用の処理を行う被写体領域内処理手段と、
前記入力画像データに対して被写体領域外用の処理を行う被写体領域外処理手段と、
前記入力画像データに基づき、前記入力画像における被写体領域を抽出する被写体抽出手段と、
前記被写体抽出手段により抽出された被写体領域の内部に第１の値を設定し、前記被写体領域の外部に対して第２の値を設定することにより制御画像データを生成する生成手段と、
前記制御画像データに対して空間フィルタを用いて平滑化処理を行う平滑化処理手段と、
前記平滑化処理手段によって平滑化処理された制御画像データを重み係数として用いて、前記被写体領域内処理手段の処理結果と、前記被写体領域外処理手段の処理結果とを重み付け合成する処理手段
とを有することを特徴とする画像処理装置。
前記被写体抽出手段は、人物領域を被写体領域として抽出することを特徴とする請求項１に記載の画像処理装置。
入力画像を示す入力画像データに対して被写体領域内用の処理をコンピュータに行わせる被写体領域内処理機能と、
前記入力画像データに対して被写体領域外用の処理を前記コンピュータに行わせる被写体領域外処理機能と、
前記入力画像データに基づき、前記入力画像における被写体領域を前記コンピュータに抽出させる被写体抽出機能と、
前記被写体抽出機能により抽出された被写体領域の内部に第１の値を設定し、前記被写体領域の外部に対して第２の値を設定することにより制御画像データを前記コンピュータに生成させる生成機能と、
前記制御画像データに対して空間フィルタを用いて平滑化処理を前記コンピュータに行わせる平滑化処理機能と、
前記平滑化処理機能によって平滑化処理された制御画像データを重み係数として用いて、前記コンピュータに、前記被写体領域内処理機能の処理結果と、前記被写体領域外処理機能の処理結果とを重み付け合成させる処理機能
とを有することを特徴とする画像処理プログラム。
入力画像を示す入力画像データ入力する画像入力ステップと、
前記入力画像データに対して被写体領域内用の処理を行う被写体領域内処理ステップと、
前記入力画像データに対して被写体領域外用の処理を行う被写体領域外処理ステップと、
前記入力画像データに基づき、前記入力画像における被写体領域を抽出する被写体抽出ステップと、
前記被写体抽出ステップで抽出された被写体領域の内部に第１の値を設定し、前記被写体領域の外部に対して第２の値を設定することにより制御画像データを生成する生成ステップと、
前記制御画像データに対して空間フィルタを用いて平滑化処理を行う平滑化処理ステップと、
前記平滑化処理ステップによって平滑化処理された制御画像データを重み係数として用いて、前記被写体領域内処理ステップの処理結果と、前記被写体領域外処理ステップの処理結果とを重み付け合成する処理ステップ
とを有することを特徴とする画像処理方法。