JP3926685B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、具体的にはテンプレート画像データが合成されている可能性のある画像データに対して画質補正を行う画像処理装置に関するものである。
【０００２】
【従来の技術】
デジタルカメラにおいて、撮像により取得した画像を、デジタル画像データとしてデジタルカメラ内部に設けられた内部メモリやＩＣカードなどの記録媒体に記録し、記録されたデジタル画像データに基づいて、プリンタやモニタに撮像により取得した画像を表示することができる。このように、デジタルカメラにより取得した画像をプリントする場合においては、ネガフイルムからプリントされた写真と同様の高品位な画質を有するものとすることが期待されている。
【０００３】
そのため、デジタルカメラにより取得した画像データに対してプリントする場合に、画像処理装置（画像処理機能付属のプリンタを含む）によって画像データに対して自動ホワイトバランス補正や、自動濃度補正などの画質補正を行うことが通常に行われている。
【０００４】
また、デジタルカメラにより取得した画像データに限らず、ネガフィルムをスキャンして得たデジタル画像データに対しても同様な画質補正処理が行われている。
【０００５】
一方、近年、デジタルカメラの機能の多様化、ユーザによる画像合成などの処理の簡単化が進み、テンプレート画像合成機能が内蔵されたデジタルカメラを用いて撮像して得た画像データに、同じデジタルカメラでテンプレート画像を合成したり、パーソナルコンピュータ（以下略してパソコンという）に画像データを取り入れ、ユーザ自身の作成したテンプレート画像データや、インターネットなどのネットワークからダウンロードしたテンプレート画像データを合成したりすることも日常的に行われるようになっている。
【０００６】
【発明が解決しようとする課題】
しかし、画質補正処理を行う画像処理装置においては、処理対象となる画像データを解析して画質補正を行っているので、テンプレート画像データが合成された画像データの場合、テンプレート画像の部分の影響で、画質補正が適切に行われず、画質を悪くしてしまう、いわば逆補正になってしまうという問題が起きる可能性がある。
【０００７】
例えば、日陰で撮像した写真画像は、少し青っぽくなっているため、それに対して行う自動ホワイトバランス補正は、その青っぽさを軽減することが望ましいのに対して、この画像に赤いフレームとなるテンプレート画像が合成されていれば、画像処理装置側において自動ホワイトバランス補正を行う際に、赤いフレーム部分の影響で、画像を青っぽくなる方向に補正してしまい、写真画像部分がますます青くなるという問題がある。
【０００８】
本発明は上記事情に鑑みなされたものであり、テンプレート画像データが合成されている可能性のある画像データに対して画質補正を行う際に、テンプレート画像部分の影響を軽減し、良質の目的画像を得ることができる画像処理装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明の第１の画像処理装置は、テンプレート画像データが合成されている可能性のある画像データに対して画質補正を行う画像処理装置であって、
前記画像データを用いて、前記画像データに対して行う前記画質補正の補正値を算出する補正値算出手段と、
前記画像データに前記テンプレート画像データが含まれる確率を算出する確率算出手段と、
前記確率が大きいほど、前記補正値算出手段により得られた前記補正値を、前記画質補正を弱める方向に修正する補正値修正手段と、
前記補正値修正手段により修正された前記補正値を用いて前記画像データに対して前記画質補正を施す画質補正手段とからなるものであることを特徴とするものである。
【００１０】
ここで、「テンプレート画像データ」とは、写真画像などの画像データに合成するための定型画像データを意味し、代表的には、コンピュータグラフィック（ＣＧ）画像データを挙げることができるが、ＣＧ画像データに限られたものではない。
【００１１】
本発明の画像処理装置における前記確率算出手段は、前記画像データに前記テンプレート画像データが含まれる確率を算出するものであり、例えば、テンプレート画像データのほとんどがＣＧ画像データであることを利用して、前記画像データに含まれるＣＧ画像データが含まれる確率をテンプレート画像データが含まれる確率として算出するようにするものとすることができる。具体的には例えば、前記確率算出手段は、前記画像データにより表される画像において、連続して存在し、かつ略同じ明るさを有する画素によって構成された部位の面積を算出し、算出された各々の前記面積のうちの最大値を求める最大面積算出手段と、前記最大面積と前記画像データにより表される画像の総面積との比を求める面積比算出手段とを備え、前記面積比が大きいほど、前記確率が大きくなるように前記確率を求めるものとすることができる。
【００１２】
本発明の第２の画像処理装置は、テンプレート画像データが合成されている可能性のある画像データに対して画質補正を行う画像処理装置であって、
前記画像データにより表される画像の中央部分の画像データを抽出する中央部画像データ抽出手段と、
前記中央部画像データ抽出手段により抽出された前記中央部画像データを用いて、画質補正の補正値を求める補正値算出手段と、
前記補正値算出手段により得られた前記補正値を用いて前記画像データに対して画質補正を施す画質補正手段とからなるものであることを特徴とするものである。
【００１３】
すなわち、本発明の第２の画像処理装置は、写真画像などに合成されるテンプレート画像の部分は、殆どの場合、合成後の画像の中央部分の位置よりも、合成後の画像の周縁部分に位置することを利用し、画質補正の対象となる画像データにより表される画像の中央部分の画像データを抽出して、この中央部分の画像データから画質補正値を求めて画質補正を行うことによって、テンプレート画像の部分による画質補正への悪影響の軽減を図るものである。
【００１４】
また、本発明の第２の画像処理装置における前記中央部画像データ抽出手段により抽出する前記中央部分の大きさは、前記画像データにより表される画像の大きさの２０％以上８０％以下であることが望ましい。
【００１５】
本発明の画像処理装置により行われる画質補正処理は、自動ホワイトバランス補正および／または自動濃度補正とすることができる。
【００１６】
【発明の効果】
本発明の第１の画像処理装置によれば、画像データから画像データに対する画質補正値を求めると共に、画像データに含まれるテンプレート画像データの確率を算出し、この確率が大きいほど、画質補正値を、画質補正を弱める方向に修正して画質補正を行うようにしているので、テンプレート画像データによる影響を軽減することができ、良質な補正済み画像データを得ることができる。
【００１７】
本発明の第２の画像処理装置によれば、テンプレート画像データが合成された画像データにおいて、テンプレート画像の部分が殆ど画像の周縁部分に位置することを利用し、画質補正値を求める際に、画像データの中央部分のデータだけを用いるようにしているので、第１の画像処理装置と同様に、テンプレート画像データによる影響を軽減することができ、良質な補正画像データを得ることができる。
【００１８】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００１９】
図１は、本発明の第１の実施形態となる画像処理装置Ａの構成を示すブロック図である。なお、本実施形態の画像処理装置Ａは、デジタルカメラにより撮像して得た、ＪＰＥＧ圧縮された画像データＰ１に対して画質補正を行うものである。図示のように、本実施形態の画像処理装置Ａは、ＪＰＥＧ圧縮された画像データを解凍してＲＧＢ画像データＤ１（Ｒ１、Ｇ１、Ｂ１）を得る画像データ解凍部１０と、画像データＤ１のＲＧＢ値を輝度値Ｙに変換する輝度変換部１５と、画像データＤ１のＲＧＢ値および輝度値Ｙからホワイトバランス補正値と濃度補正値を求める補正値算出部１８と、画像データＤ１にコンピュータグラフィック（以下ＣＧという）画像データが含まれる確率を求めるＣＧ含有確率算出部２０と、ＣＧ含有確率算出部２０により算出したＣＧ含有確率に基づいて、この確率が大きいほど、画質補正を弱める方向に、補正値算出部１５により算出した画質補正値を修正する補正値修正部２５と、補正値修正部２５により修正された補正値を用いて、画像データＤ１に対してホワイトバランス補正および濃度補正を行って、補正済み画像データＤ２（Ｒ２、Ｇ２、Ｂ２）を得る補正処理部３０と、画像データＤ２に対してＪＰＥＧ圧縮を施して画像データＰ２を得る圧縮部３５と、画像データＰ２を記憶保存する記憶部４０とを備えてなるものである。
【００２０】
本実施形態の画像処理装置Ａは、画像データに対して自動ホワイトバランス補正および自動濃度補正を行うものであり、補正値算出部１８は画像データＤ１の画素毎のＲＧＢ値および輝度値Ｙから、下記の式（１）と式（２）に従って、夫々ホワイトバランス補正値ΔＲ、ΔＢと濃度補正値ΔＤを算出する。
【００２１】
【数１】

【数２】

なお、式（２）におけるＹｍｉｄは、画像データのビット数と関連した定数であり、８ビットの画像データの場合、１２８とすることができる。
【００２２】
図２は、画像処理装置ＡにおけるＣＧ含有確率算出部２０の構成を示すブロック図である。ＣＧ含有確率算出部２０は、輝度変換部１５により得た画像データＤ１の各々の画素の輝度値Ｙを用いてＣＧ画像データが含まれる確率（確率αとする）を算出するものであり、図示のように、画像データＤ１の各々の画素の輝度値Ｙを用いて各画素におけるコントラストＣを算出するコントラスト算出部２１と、画像データＤ１において、略同じ明るさを有する連続領域のうち、最大面積を有する領域の面積Ｓｍａｘを求める最大面積算出部２２と、この最大面積Ｓｍａｘと画像データＤ１により表される画像の面積Ｓとの比を求め、この比に基づいてＣＧ含有確率、すなわち確率αを決定する確率決定部２３とからなるものである。
【００２３】
ＣＧ含有確率算出部２０のコントラスト算出部２１は、下記のように各画素におけるコントラストＣを算出する。
【００２４】
コントラスト算出部２１は、まず、式（３）に従って、輝度変換部１５により得た画像データＤ１の各々の画素Ｍ（ｉ，ｊ）（ｉ，ｊ：画素の座標位置）の輝度値Ｙ（ｉ，ｊ）に対してアンシャープマスキング処理を行って得た画素Ｍ（ｉ，ｊ）のアンシャープマスキング輝度値Ｙｕｓ（ｉ，ｊ）を得る。次に、コントラスト算出部２１は、式（４）に従って、画素毎のアンシャープマスキング輝度値Ｙｕｓ（ｉ，ｊ）と輝度値Ｙ（ｉ，ｊ）の差の絶対値を求め、この絶対値を、画素Ｍ（ｉ，ｊ）のコントラストＣ（ｉ，ｊ）とする。
【００２５】
【数３】

【数４】

最大面積算出部２２は、下記の手順で略同じ明るさを有する連続領域のうち、最大面積を有する領域の面積Ｓｍａｘを求める。まず、最大面積算出部２２は、式（５）に従って、各画素Ｍ（ｉ，ｊ）のコントラストＣ（ｉ，ｊ）に対して二値化処理を行って二値化コントラストＣ’（ｉ，ｊ）を得る。
【００２６】
【数５】

次に、最大面積算出部２２は、二値化コントラストＣ’＝１、かつ連続して存在する画素により構成された各領域の画素数を求め、画素数が最も多い領域を最大面積領域とし、この最大面積領域の画素総数を最大面積Ｓｍａｘとする。
【００２７】
ＣＧ含有確率算出部２０の確率決定部２３は、下記の式（６）に従って、最大面積算出部２２により算出された最大面積Ｓｍａｘと画像データＤ１の総面積：Ｗ×Ｈ（すなわち、画像データＤ１の総画素数）との比Ｔを求め、この比Ｔに基づいて画像データＤ１におけるＣＧ含有確率αを決定する。
【００２８】
【数６】

なお、式（６）における関数ｆ（ｋＴ）は、図３に示している。図から分かるように、略同じ明るさを有し、かつ連続して存在する画素により構成された領域の面積の最大値Ｓｍａｘと画像データＤ１の総面積との比Ｔが大きいほど、大きいＣＧ含有確率αが算出される。
【００２９】
画像処理装置Ａの補正値修正部２５は、画像データＤ１のＣＧ含有確率αに基づいて、補正値算出部１８により算出したホワイトバランス補正値ΔＲ、ΔＢおよび濃度補正値ΔＤに対して修正を行うものであり、具体的には、下記の式（７）に従って各々の補正値を修正して修正済み補正値ΔＲ’、ΔＢ’、ΔＤ’を得る。
【００３０】
【数７】

画像処理装置Ａの補正処理部３０は、補正値修正部２５により得られた修正済み補正値を用いて、下記の式（８）に従って画質補正を行って、補正済み画像データＤ２を構成するＲＧＢ値（Ｒ２、Ｇ２、Ｂ２）を得る。
【００３１】
【数８】

式（７）と式（８）から分かるように、ＣＧ含有確率αが１であるとき、すなわち、画像データＤ１にＣＧ画像データが１００％合成されているとき、修正済み補正値ΔＲ’、ΔＢ’、ΔＤ’は１となり、画像データＤ１に対して画質補正が行われないが、ＣＧ含有確率αが０であるとき、すなわち、画像データＤ１にＣＧ画像データが合成されていないとき、補正値が修正されず、補正処理部３０は、補正値算出部１８により得られた補正値ΔＲ、ΔＧ、ΔＢを用いて画質補正を行うこととなる。また、ＣＧ含有確率αが０以外であるときは、補正を弱める方向に補正値が修正されるので、補正処理部３０による画質補正が、補正値算出部１８により算出された補正値を用いて行う画質補正より弱められる。
【００３２】
画像処理装置Ａの圧縮部３５は、補正処理部３０により画質補正を施されて得た補正済み画像データＤ２に対してＪＰＥＧ圧縮を行って圧縮画像データＰ２を得、この圧縮画像データが、記憶部４０により記憶保存される。
【００３３】
図４は、図１に示す画像処理装置Ａの動作を示すフローチャートである。図示のように、画像処理装置Ａは、ＪＰＥＧ圧縮された画像データＰ１に対して画質補正を施すに当たって、まず、画像データ解凍部１０により画像データＰ１を解凍してＲＧＢ画像データＤ１を得る（Ｓ１０）。輝度変換部１５は、画像データＤ１の画素毎のＲＧＢ値を輝度Ｙに変換して補正値算出部１８およびＣＧ含有確率算出部２０に出力する（Ｓ１５）。補正値算出部１８は、画像データＤ１のＲＧＢ値と輝度値Ｙを用いてホワイトバランス補正値と濃度補正値を算出する（Ｓ２０）ことと併行して、ＣＧ含有確率算出部２０は、画像データＤ１の画素毎の輝度値Ｙを用いて、画像データＤ１にＣＧ画像データが含まれる確率αを算出する（Ｓ２５）。補正値修正部２５は、ＣＧ含有確率算出部２０により算出された確率αに基づいて、確率αが大きいほど、補正値算出部１８により算出した補正値を、補正を弱める方向に修正する（Ｓ３０）。補正処理部３０は、補正値修正部２５により修正された補正値を用いて、画像データＤ１に対してホワイトバラン補正および濃度補正を施して補正済み画像データＤ２を得る（Ｓ３５）。圧縮部３５は、補正済み画像データＤ２に対してＪＰＥＧ圧縮を行って圧縮画像データＰ２を得（Ｓ４５）、この圧縮画像データＰ２を記憶部４０に記憶保存させる（Ｓ４５）。
【００３４】
このように、本実施形態の画像処理装置Ａは、テンプレート画像データの多くがＣＧ画像、すなわち写真画像データなどの自然画像データと比較して、略同じ明るさを有する画素が連続して存在する領域の面積が大きい傾向にあることを利用し、画像データＤ１全体のデータを用いて補正値を求めると共に、画像データＤ１にＣＧ画像データが含まれる確率αを算出し、確率αが大きいほど、求められた補正値を、補正を弱める方向に修正するようにし、修正された補正値を用いて画質補正を行うようにしているので、テンプレート画像データが合成された画像データであっても、テンプレート画像データによる画質補正への影響を軽減し、良質な補正済み画像データを得ることができる。
【００３５】
図５は、本発明の第２の実施形態となる画像処理装置Ｂの構成を示すブロック図である。なお、本実施形態の画像処理装置Ｂは、デジタルカメラにより撮像して得た、ＪＰＥＧ圧縮された画像データＰ１に対して画質補正を行うものである。図示のように、本実施形態の画像処理装置Ｂは、ＪＰＥＧ圧縮された画像データを解凍してＲＧＢ画像データＤ１（Ｒ１、Ｇ１、Ｂ１）を得る画像データ解凍部５０と、画像データＤ１の中央に位置し、画像データＤ１により表される画像の６０％の大きさを有する矩形部分を抽出して、この部分の画像データＤ１’（中央部画像データ）を得る中央抽出部５５と、中央部画像データＤ１’のＲＧＢ値を輝度値Ｙに変換すると共に、上述の式（１）、式（２）に従って中央部画像データＤ１’のＲＧＢ値および輝度値Ｙから夫々ホワイトバランス補正値ΔＲ、ΔＢと濃度補正値ΔＤを求める補正値算出部６０と、補正値算出部６０により算出した補正値を用いて、下記の式（９）に従って、画像データＤ１に対してホワイトバランス補正および濃度補正を行って、補正済み画像データＤ２（Ｒ２、Ｇ２、Ｂ２）の各画素Ｍ（ｉ，ｊ）（ｉ，ｊ：画像の座標位置）のＲＧＢ値を得る補正処理部７０と、補正処理部７０により得られた補正済み画像データＤ２に対してＪＰＥＧ圧縮を施して画像データＰ２を得る圧縮部７５と、画像データＰ２を記憶保存する記憶部８０とを備えてなるものである。
【００３６】
【数９】

すなわち、本実施形態の画像処理装置Ｂは、テンプレート画像データが合成された画像データにおいて、テンプレート画像データの画素が、画像データの中央部分よりも縁部分に位置することが多いことを利用し、画像データの中央部分のデータを用いて画質補正の補正値を求めて画質補正を行うことによって、第１の画像処理装置Ａと同様に、テンプレート画像データが合成された画像データであっても、テンプレート画像データによる画質補正への影響を軽減し、良質な補正済み画像データを得ることができると共に、ＣＧ画像データが含まれる確率を算出する必要がないので、高速な処理を図ることができる。
【００３７】
上記において説明した画像処理装置Ａおよび画像処理装置Ｂは、本発明の画像処理装置の望ましい実施形態であるが、本発明の画像処理装置は、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、様々な変更を加えることができる。
【００３８】
例えば、上述した実施形態の画像処理装置Ａおよび画像処理装置Ｂは、デジタルカメラにより取得した画像データを対象としているが、本発明の画像処理装置は、いかなるデバイスにより取得された画像データの画質補正にも適用することができる。
【００３９】
また、上述した実施形態の画像処理装置Ａにおいて、画像データから補正値とＣＧ画像データが含まれる確率αを算出し、確率αに応じて補正値を修正するようにしているが、まず、確率αを算出して、確率αに応じて補正値を求めるようにしてもよい。すなわち、補正値の計算および修正を同時に行うようにしてもよい。
【００４０】
また、画像処理装置Ａおよび画像処理装置Ｂは、画質補正済みの画像データを記憶部に保存するようにしているが、本発明の画像処理装置は、画質補正済みの画像データをプリンタなどの然るべき出力装置に出力したり、圧縮してインターネットや、携帯電話網などのネットワークを介して、コンピュータや、携帯端末などの受信装置に送信したりするなどのシステムにも適用することができる。
【００４１】
また、上述した実施形態の画像処理装置Ａおよび画像処理装置Ｂは、例としてデジタルカメラにより取得したＪＰＥＧ画像データを処理対象としているが、本発明の画像処理装置の処理対象となる画像データは、ＪＰＥＧ画像データに限られることはなく、他の圧縮方式で圧縮された画像データは勿論、圧縮されていない画像データにも適用することができる。
【００４２】
また、上述した実施形態の画像処理装置Ａおよび画像処理装置Ｂは、画質補正としてホワイトバランス補正および濃度補正を施すものであるが、本発明の画像処理装置は、画像データに対して階調補正や、シャープネス処理を行う画質補正装置にも適用することができる。
【００４３】
また、画像処理装置Ｂにおいて、例として画質補正値を算出するために画像データの中央部分の６０％の部分のデータを用いたが、２０％より小さければ、適切な補正値を求めることができないことと、８０％より大きければ、テンプレート画像データが混在する可能性が高いことを考慮し、２０％以上８０％以下の任意の中央部分のデータを用いるようにしてもよい。
【００４４】
また、画像処理装置Ａにおいて、算出上の便宜のため、画素数を面積の代わりにしているが、画像データＤ１を所定の解像度で表示し、最大面積および画像データＤ１の総面積として幾何面積を求めてるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の画像処理装置Ａの構成を示すブロック図
【図２】図１に示す画像処理装置ＡにおけるＣＧ含有確率算出部２０の構成を示すブロック図
【図３】図２に示すＣＧ含有確率算出部２０の動作を説明するための図
【図４】図１に示す画像処理装置Ａの動作を示すフローチャート
【図５】本発明の第２の実施形態の画像処理装置Ｂの構成を示すブロック図
【符号の説明】
１０ 画像データ解凍部
１５ 輝度変換部
１８ 補正値算出部
２０ ＣＧ含有確率算出部
２１ コントラスト算出部
２２ 最大面積算出部
２３ 確率決定部
２５ 補正値修正部
３０ 補正処理部
３５ 圧縮部
４０ 記憶部
５０ 画像データ解凍部
５５ 中央抽出部
６０ 補正値算出部
７０ 補正処理部
７５ 圧縮部
８０ 記憶部
Ｄ１，Ｄ２ 画像データ
Ｄ１’ 中央部画像データ
Ｐ１，Ｐ２ ＪＰＥＧ画像データ
ΔＲ，ΔＢ ホワイトバランス補正値
ΔＤ 濃度補正値
Ｙ 輝度値

Claims (3)

1. テンプレート画像データが合成されている可能性のある画像データに対して画質補正を行う画像処理装置であって、
   前記画像データを用いて、前記画像データに対して行う前記画質補正の補正値を算出する補正値算出手段と、
   前記画像データに前記テンプレート画像データが含まれる確率を算出する確率算出手段と、
   前記確率が大きいほど、前記補正値算出手段により得られた前記補正値を、前記画質補正を弱める方向に修正する補正値修正手段と、
   前記補正値修正手段により修正された前記補正値を用いて前記画像データに対して前記画質補正を施す画質補正手段とからなるものであることを特徴とする画像処理装置。
2. 前記確率算出手段が、前記画像データにより表される画像において、連続して存在し、かつ略同じ明るさを有する画素によって構成された部位の面積を算出し、算出された各々の前記面積のうちの最大値を求める最大面積算出手段と、
   前記最大面積と前記画像データにより表される画像の総面積との比を求める面積比算出手段とを備え、
   前記面積比が大きいほど、前記確率が大きくなるように前記確率を求めるものであることを特徴とする請求項１記載の画像処理装置。
3. 前記画質補正が、自動ホワイトバランス補正および／または自動濃度補正であることを特徴とする請求項１または２記載の画像処理装置。

Images