JP4783830B2 - 画像補正プログラム、画像補正方法、画像補正装置 - Google Patents

Description

この発明は、画像補正プログラム、画像補正方法、画像補正装置に関する。

従来より、ＴＶやデジタルカメラなどの画像において、画像補正（画質調節）を目的として、様々な工夫がなされている。画像のなかでも記憶色（例えば、肌色など）は注目度が高く、具体的には、人物が主要な被写体として写っている画像において、画像中から肌色（記憶色）の領域を検出し、好ましい階調や色合いに補正することが行われている。

例えば、特許文献１（特開２００５−２７６１８２号公報）では、画像の顔において、鼻の両脇の輪郭を跨ぐ特定部分を参照して肌色に該当する色情報を取得し、取得した色情報と共通する領域を全画像中から肌領域として検出する方法が提案されている。

このようにして検出された領域に、画像補正を行うことによって、画像補正を行った領域と隣接領域との境界が目立ち、不自然な画像が生じる場合がある。このため、例えば、特許文献２（特開２０００−２２４４１０号公報）では、補正をした該当領域に平滑化処理を行い、該当領域と非該当領域との境界部を滑らかにすることによって、画像補正によって不自然な画質が生じないようにする装置も提案されている。

なお、上記したような技術の他に、補正を行う局所内の画素レベルの差分値に注目して、差分値が大きい場合（エッジ部など）には彩度を下げる画像補正を行うことによって、倍率色収差（レンズによる色にじみ）を探索して除去する装置も提案されている（特許文献３）。

特開２００５−２７６１８２号公報（第１、１０−１１頁、第６図） 特開２０００−２２４４１０号公報（第８頁、第２１図） 特開２００５−２５４４８号公報（第８頁、第２図）

ところで、上記した従来の技術は、記憶色（特定色）として検出された領域（特定色領域）と使用者が主観的に認識する記憶色領域とが異なる場合があり、画像補正によって境界が目立った不自然な画像が生じるという課題がある。

ここで、この課題について、図１３を用いて具体的に説明する。図１３は、従来技術に係る画像処理装置の課題を説明するための図である。画像中において、被写体の人物部分（肌色部分）とそれ以外の領域の色（例えば、背景部分の色など）とが近似している場合には、検出された領域（特定色領域）と使用者によって主観的に肌色領域であると認識される領域とが異なることがある。例えば、背景にある看板についてのベージュ領域５に被写体物の顔についての肌色領域２が重なって配置されている画像（図１３の（Ａ）参照）などでは、肌色領域（特定色領域）として、被写体の人物についての肌色領域である肌色領域１、肌色領域２、肌色領域４だけでなく、背景にある看板において肌色に近いベージュ色部分である肌色領域３も併せて検出されてしまう（図１３の（Ｂ）参照）。そして、このまま検出された肌色領域を中心にして補正をおこなうことにより、背景にある看板において、肌色に近いベージュ色部分である肌色領域３とそれ以外の背景の看板についてのベージュ領域５との境界が目立った不自然な画像が生じるという課題がある（図１３の（Ｃ）参照）。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、特定色領域を補正する際に、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止する画像補正プログラム、画像補正方法、画像補正装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、特定色を有する画像領域である特定色領域を補正対象として画像から検出して補正する画像補正方法をコンピュータに実行させる画像補正プログラムであって、色変動量が少ない部分である平坦画像部分を前記特定色領域における画像から検出する平坦画像部分検出手順と、前記平坦画像部分検出手順によって検出された平坦画像部分のサイズを測定する平坦画像部分サイズ測定手順と、前記平坦画像部分サイズ測定手順によって測定された平坦画像部分のサイズが所定の値より大きい場合には、前記平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で当該平坦画像部分の画像を補正し、前記平坦画像部分サイズ測定手順によって測定された平坦画像部分のサイズが所定の値より小さい場合には、前記平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で当該平坦画像部分の画像を補正する補正量制御手順と、をコンピュータに実行させることを特徴とする。

また、本発明は、上記の発明において、前記平坦画像部分サイズ測定手順は、前記平坦画像部分のサイズとして、画像全体における各平坦画像部分が占める面積比率を測定することを特徴とする。

また、本発明は、上記の発明において、前記補正量制御手順は、前記平坦画像部分サイズ測定手順によって測定された平坦画像部分のサイズが所定の値より大きい場合には、当該平坦画像部分の画像を補正しないことを特徴とする。

また、本発明は、上記の発明において、前記平坦画像部分検出手順によって検出された平坦画像部分と当該平坦画像部分に隣接する隣接部分とで色変動量を比較し、当該隣接部分において色変動量の差分が所定の量に収まる領域まで当該平坦画像部分を拡張する平坦画像部分拡張手順をさらにコンピュータに実行させ、前記平坦画像部分サイズ測定手順は、前記平坦画像部分拡張手順によって拡張された平坦画像部分のサイズを測定することを特徴とする。

また、本発明は、特定色を有する画像領域である特定色領域を補正対象として画像から検出して補正する画像補正方法であって、色変動量が少ない部分である平坦画像部分を前記特定色領域における画像から検出する平坦画像部分検出工程と、前記平坦画像部分検出工程によって検出された平坦画像部分のサイズを測定する平坦画像部分サイズ測定工程と、前記平坦画像部分サイズ測定工程によって測定された平坦画像部分のサイズが所定の値より大きい場合には、前記平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で当該平坦画像部分の画像を補正し、前記平坦画像部分サイズ測定工程によって測定された平坦画像部分のサイズが所定の値より小さい場合には、前記平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で当該平坦画像部分の画像を補正する補正量制御工程と、を含んだことを特徴とする。

また、本発明は、特定色を有する画像領域である特定色領域を補正対象として画像から検出して補正する画像補正装置であって、色変動量が少ない部分である平坦画像部分を前記特定色領域における画像から検出する平坦画像部分検出手段と、前記平坦画像部分検出手段によって検出された平坦画像部分のサイズを測定する平坦画像部分サイズ測定手段と、前記平坦画像部分サイズ測定手段によって測定された平坦画像部分のサイズが所定の値より大きい場合には、前記平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で当該平坦画像部分の画像を補正し、前記平坦画像部分サイズ測定手段によって測定された平坦画像部分のサイズが所定の値より小さい場合には、前記平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で当該平坦画像部分の画像を補正する補正量制御手段と、を備えたことを特徴とする。

本発明によれば、色変動量が少ない部分である平坦画像部分を特定色領域における画像から検出してサイズを測定し、測定された平坦画像部分のサイズが所定の値より大きい場合には、平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で平坦画像部分の画像を補正し、測定された平坦画像部分のサイズが所定の値より小さい場合には、平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で平坦画像部分の画像を補正するので、特定色領域を補正する際に、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。

また、本発明によれば、平坦画像部分のサイズとして、画像全体における各平坦画像部分が占める面積比率を測定するので、特定色領域を補正する際に、画像サイズが異なる場合であっても、平坦画像部分のサイズを正確に把握することができ、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。

また、本発明によれば、測定された平坦画像部分のサイズが所定の値より大きい場合には、平坦画像部分の画像を補正しないので、特定色領域を補正する際に、より単純化した補正処理を実現しつつ、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。

また、本発明によれば、検出された平坦画像部分と平坦画像部分に隣接する隣接部分とで色変動量を比較し、隣接部分において色変動量の差分が所定の量に収まる領域まで平坦画像部分を拡張し、拡張された平坦画像部分のサイズを測定するので、特定色領域を補正する際に、より広い範囲を補正対象としながら、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。つまり、例えば、補正により境目が目立つ領域において、隣接領域をも併せて補正することにより、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。

図１は、実施例１に係る画像補正装置の概要および特徴を説明するための図である。 図２は、実施例１における画像補正装置の構成を示すブロック図である。 図３は、実施例１における特定色領域を検出する処理の一例を説明するための図である。 図４は、実施例１における色変動量を測定する処理の一例を説明するための図である。 図５は、実施例１における平坦画素を検出する処理の一例を説明するための図である。 図６は、実施例１における平坦画像部分マップ画像を作成する処理の一例を説明するための図である。 図７は、実施例１における平坦画像部分を検出する処理の一例を説明するための図である。 図８は、実施例１における特定色領域について補正量を設定する処理の一例を説明するための図である。 図９は、実施例１における画像補正処理を示すフローチャートである。 図１０は、実施例２に係る画像補正装置の特徴を説明するための図である。 図１１は、実施例３に係る画像補正装置の概要および特徴を説明するための図である。 図１２は、実施例１における画像処理装置のプログラムを示す図である。 図１３は、従来技術に係る画像処理装置の課題を説明するための図である。

符号の説明

１０ 入力部
２０ 出力部
３０ 記憶部
４０ 制御部
４１ 特定色領域検出部
４２ 平坦画像部分検出部
４３ 画像補正部
４４ 画像表示制御部

以下に添付図面を参照して、この発明に係る画像補正プログラム、画像補正方法、画像補正装置の実施例を詳細に説明する。なお、本発明に係る画像処理装置等は、ＴＶやデジタルカメラ、既知のパーソナルコンピュータ、ワークステーション、携帯電話、ＰＨＳ端末、移動体通信端末またはＰＤＡなどの画像を表示するあらゆる装置に適用することが可能である。

［用語の説明］
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「色変動」とは、隣接する領域にある画像との色の違いのことであり、具体的には、隣接する領域にある画像について、それぞれの画像を構成する画素の画素平均値を比較して得られる差分値のことである。例えば、色変動量が大きい隣接する二つの領域にある画像を見比べた場合には、色変動が小さい隣接する二つの領域にある画像を見比べた場合よりも主観的に似ていない色と認識され、色変動量が小さい隣接する二つの領域にある画像を見比べた場合には、色変動が大きい隣接する二つの領域にある画像を見比べた場合よりも主観的に似ている色と認識される。

［画像補正装置の概要および特徴］
続いて、図１を用いて、実施例１に係る画像補正装置の概要および特徴を説明する。図１は、実施例１に係る画像補正装置の概要および特徴を説明するための図である。

実施例１に係る画像補正装置は、特定色を有する画像領域である特定色領域を補正対象として画像から検出して補正する画像補正装置であり、以下で説明するように、特定色領域を補正する際に、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することができる点に主たる特徴がある。

すなわち、図１に示すように、実施例１に係る画像補正装置は、画像が入力されると、特定色領域を補正対象として画像から検出する。例えば、背景にある看板においてベージュ色であるベージュ領域５と被写体の人物についての肌色領域２とが重なって配置されている画像が入力されると（図１の（Ａ）参照）、図１の（Ｂ）に示すように、肌色（特定色）を有する画像領域として、被写体の人物についての肌色領域である肌色領域１、肌色領域２、肌色領域４を検出し、また、ベージュ色の看板であるベージュ領域５において肌色に近いベージュ色部分である肌色領域３も検出する。

そして、実施例１に係る画像補正装置は、色変動量が少ない部分である平坦画像部分を特定色領域における画像から検出する。具体的には、検出した特定色領域（画像）を構成する画素ごとに色変動量を求め、色変動量が所定の値よりも小さいかどうかを各画素について判定し、色変動量が所定の値よりも小さい画素である場合には、平坦画素であると判定し、色変動量が所定の値よりも大きい画素である場合には、平坦画素でないと判定する。そして、実施例１に係る画像補正装置は、平坦画素であると判定された画素によって構成される領域（画像）を平坦画像部分として、それぞれ独立した領域として検出する。

例えば、図１の（Ｃ）に示すように、実施例１に係る画像補正装置は、検出した肌色領域（特定色領域）である肌色領域１と肌色領域２と肌色領域３と肌色領域４とから、平坦画像部分として、肌色領域２の一部である平坦画像部分６を検出し、また、背景にある看板から検出した肌色領域である肌色領域３の一部である平坦画像部分７を検出する。

そして、実施例１に係る画像補正装置は、検出された平坦画像部分のサイズを測定し、測定された平坦画像部分のサイズが所定の値より大きい場合には、平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で平坦画像部分の画像を補正し、測定された平坦画像部分のサイズが所定の値より小さい場合には、平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で平坦画像部分の画像を補正する。例えば、図１の（Ｄ）に示すように、平坦画像部分として検出した平坦画像部分６および平坦画像部分７のサイズを測定し、平坦画像部分６は所定のサイズより小さいと判定し、大きな補正量で補正し、平坦画像部分７は所定のサイズより大きいと判定し、小さい補正量で補正する。

このようなことから、実施例１に係る画像処理装置は、平坦画像部分のサイズに応じて補正量を設定して補正するので、上記した主たる特徴の如く、特定色領域を補正する際に、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。つまり、例えば、ベージュ色の背景に人物が配置されている画像などにおいて、特定色領域として被写体の人物部分だけでなく背景の一部分も併せて検出されて補正が行われるような場合でも、補正後の画像において、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。

［画像補正装置の構成］
次に、図２を用いて、実施例１に係る画像補正装置の構成を説明する。図２は、実施例１における画像補正装置の構成を示すブロック図である。同図に示すように、この画像補正装置は、入力部１０と、出力部２０と、記憶部３０と、制御部４０とを備えている。

入力部１０は、画像の入力などを受付ける。例えば、特定色領域の基礎情報（別途用意された顔探索プログラムなどによって、顔・肌部分（特定色領域）の候補領域が示されたものであり、短形で囲まれた領域（左上座標：（Ｘ１，Ｙ１）、右下座標：（Ｘ２，Ｙ２））として通知されるデータ）や画像データをデータ入力装置（例えば、ＦＤ、ＭＯなどのデータ入力装置など）から入力する。出力部２０は、後述する制御部４０によって画像補正を行なわれた画像を出力する。例えば、文字や図形などをディスプレイ（例えば、液晶ディスプレイ、有機ＥＬディスプレイなど）に表示する。

記憶部３０は、各種処理に必要なデータおよびプログラムを格納する。そして、本発明に密接に関連するものとしては、図２に示すように、画像記憶部３１と、補正画像記憶部３２とを備える。画像記憶部３１は、入力部１０によって入力された画像を（入力画像）記憶し、メモリなどによって構成される。補正画像記憶部３２は、後述する制御部４０によって画像補正が行われた画像を記憶し、メモリなどによって構成される。

制御部４０は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。そして、本発明に密接に関連するものとしては、図２に示すように、特定色領域検出部４１と、平坦画像部分検出部４２と、画像補正部４３と、画像表示制御部４４とを備える。なお、平坦画像部分検出部４２は、特許請求の範囲に記載の「平坦画像部分検出手順」に対応し、画像補正部４３は、特許請求の範囲に記載の「補正量制御手順」に対応する。

特定色領域検出部４１は、特定色を有する画像領域である特定色領域を補正対象として画像から検出する。具体的には、入力部１０によって入力された画像（入力画像）があると、特定色（例えば、肌色）を有する特定色領域を検出する。

一例をあげて説明すると、特定色領域検出部４１は、入力部１０から画像が入力されると、入力された画像（入力画像）から、特定色（例えば、肌色）領域の基礎情報によって示された領域内に相当する画像を構成する画素を検出する。そして、検出した画素について平均値ａｖｅ（例えば、Ｒ−ａｖｅ，Ｇ−ａｖｅ，Ｂ−ａｖｅ）と、画素平均値についての標準偏差である標準偏差ｄｅｖ（例えば、Ｒ−ｄｅｖ，Ｇ−ｄｅｖ，Ｂ−ｄｅｖ）を算出する。そして、平均値ａｖｅと標準偏差ｄｅｖを用いて、特定色（例えば、肌色）が分布する範囲である特定色範囲（例えば、Ｒ−ｓｋｉｎｒａｎｇｅ，Ｇ−ｓｋｉｎｒａｎｇｅ，Ｂ−ｓｋｉｎｒａｎｇｅ）を決定する。以下に特定色範囲を決定するための式を示す一例を記載した。なお、以下に記載した式において、αは特定色範囲を調節決定するためのパラメータであり、経験的に予め決めておく。

（Ｒ−ａｖｅ）−α×（Ｒ−ｄｅｖ）≦（Ｒ−ｓｋｉｎｒａｎｇｅ）≦（Ｒ−ａｖｅ）＋α×（Ｒ−ｄｅｖ）
（Ｇ−ａｖｅ）−α×（Ｇ−ｄｅｖ）≦（Ｇ−ｓｋｉｎＧａｎｇｅ）≦（Ｇ−ａｖｅ）＋α×（Ｇ−ｄｅｖ）
（Ｂ−ａｖｅ）−α×（Ｂ−ｄｅｖ）≦（Ｂ−ｓｋｉｎＢａｎｇｅ）≦（Ｂ−ａｖｅ）＋α×（Ｂ−ｄｅｖ）

そして、特定色領域検出部４１は、入力部１０によって入力された画像（入力画像）を構成する画素それぞれについて、特定色範囲に該当する画素か否かを示すマスクマップ画像を作成する。具体的には、図３に示すように、入力画像を構成する画素それぞれについて特定色範囲に該当する画素かどうかを判定し、特定色範囲に該当する画素である場合には、特定色と判定してマスクマップ画像における同一の座標に「１」を入力し、特定色範囲に該当する画素でない場合には、特定色と判定せずマスクマップ画像における同一の座標に「０」を入力する。なお、図３は、実施例１における特定色領域を検出する処理の一例を説明するための図である。

平坦画像部分検出部４２は、色変動量が少ない部分である平坦画像部分を特定色領域における画像から検出する。具体的には、検出した特定色領域（画像）を構成する画素ごとに色変動量を求め、その後、特定色領域内で画素をひとつ選択し、色変動量が所定の値よりも小さいかどうかをこの画素について判定し、色変動量が所定の値よりも小さい画素である場合には、平坦画素であると判定し、色変動量が所定の値よりも大きい画素である場合には、平坦画素でないと判定する。このようにして、すべての特定色領域の全画素について、同様の判定を行う。そして、平坦画像部分検出部４２は、平坦画素であると判定された画素によって構成される領域（画像）を平坦画像部分として、それぞれ独立した領域として検出する。

例えば、図４に示すように、平坦画像部分検出部４２は、入力画像から、マスクマップ画像において「１」と入力された座標（特定色であると判定された画素についての座標）と同一の座標における画素である画素Ｐｉｘを検出する。そして、入力画像から、画素Ｐｉｘの周囲に分布する画素を予め設定した範囲で抽出し、抽出したそれぞれの画素について算出したグレースケール値であるグレースケール値Ｙを算出する。以下にグレースケール値を算出するための一般的な式を示す一例を記載した。その後、グレースケール値Ｙについての標準偏差である標準偏差ｄｅｖＹを算出する。なお、図４は、実施例１における色変動量を測定する処理の一例を説明するための図である。

Ｙ（グレースケール値）＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ

そして、平坦画像部分検出部４２は、標準偏差ｄｅｖＹと予め設定した閾値である閾値Ｔｈ１とを比較して、平坦画像部分マップ画像を作成する。具体的には、図５に示すように、特定色領域内で画素をひとつ選択し、この画素についての標準偏差ｄｅｖＹと閾値Ｔｈ１とを比較して、標準偏差ｄｅｖＹが閾値Ｔｈ１より小さい場合には、抽出した画素は平坦な領域であると判定して平坦画像部分マップ画像の同一の座標に「１」を入力し、標準偏差ｄｅｖＹが閾値Ｔｈ１より大きい場合には、抽出した画素は平坦な領域でないと判定して、平坦画像部分マップ画像における同一の座標に「０」を入力する（図５参照）。続いて、図６に示すように、平坦画像部分マップ画像において「１」と入力された座標に、同一の座標における上記画素Ｐｉｘを入力する。なお、図５は、実施例１における平坦画素を検出する処理の一例を説明するための図であり、図６は、実施例１における平坦画像部分マップ画像を作成する処理の一例を説明するための図である。

画像補正部４３は、検出された平坦画像部分ごとにそれぞれサイズを測定して補正する。具体的には、平坦画像部分のサイズとして、画像全体における各平坦画像部分が占める面積比率を測定する。そして、測定された平坦画像部分のサイズが所定の値より大きい場合には、平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で平坦画像部分の画像を補正し、測定された平坦画像部分のサイズが所定の値より小さい場合には、平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で平坦画像部分の画像を補正する。

具体的には、図７に示すように、画像補正部４３は、検出した平坦画像部分ごとにそれぞれサイズを測定する。そして、例えば、図８に示す例では、平坦画像部分を一つ選択し、この平坦画像部分のサイズが所定の値より大きい場合には、平坦画像部分のサイズが小さい場合に設定する補正量よりも小さな補正量を設定し（例えば、図８の領域７参照）、この平坦画像部分のサイズが所定の値より小さい場合には、平坦画像部分のサイズが大きい場合に設定する補正量よりも大きな補正量を設定する（例えば、図８の領域６参照）。続いて、すべての平坦画像部分について判定を行い、補正量を設定する。また、平坦画像部分以外の領域について通常の補正量（例えば、平坦画像部分のサイズが所定の値より小さい場合に設定する補正量）を設定する（例えば、図８の領域１、領域２、領域４参照）。そして、画素ごとに設定した補正量を用いて、平坦画像部分について画像補正をする。例えば、平坦画像部分６は大きな補正量で補正し、平坦画像部分７は小さい補正量で補正する（図１の（Ｄ）参照）。また、平坦画像部分以外の肌色領域である肌色領域１、肌色領域２、肌色領域４は通常の補正量で（大きな補正量で）補正する。そして、補正した画像である補正画像を補正画像記憶部３２に記憶させる。なお、図７は、実施例１における平坦画像部分を検出する処理の一例を説明するための図であり、図８は、実施例１における特定色領域について補正量を設定する処理の一例を説明するための図である。

一例をあげて説明すると、画像補正部４３は、マスクマップ画像に平滑化処理を行う。さらに詳細には、単純平滑化フィルタなどを用いて、フィルタサイズ５×５などを採用し、マスクマップ画像の画素値が連続した値をとり、平滑となるようにする。そして、平坦画像部分マップ画像内の「０」と入力されていない画素であって「０」と入力された画素で囲まれている画像部分である平坦画像部分を、それぞれ独立した平坦画像部分とみなし、平坦画像部分それぞれについて、画素の数をカウントして求めた数であるカウント数を算出する。そして、予め設定しておいた閾値Ｔｈ２よりカウント数が大きい平坦画像部分の場合には、色補正量の量を平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量に低減する制御を行って補正し、予め設定しておいた閾値Ｔｈ２よりカウント数が小さい場合には、色補正量の量を加減する制御を行わずに補正する。

具体的には、画像補正部４３は、画像補正において、入力画像を明るく変換するガンマカーブ処理を行う場合には（明るく変換する場合にはガンマ値を「０．５」とする場合）、カウント数が閾値Ｔｈ２より大きい場合には（平坦画像部分が大きい場合には）、ガンマ値「０．５」より補正量が弱くなるように設定して画像補正は行い、カウント数が閾値Ｔｈ２より小さい場合には（平坦画像部分が小さい場合には）、ガンマを「０．５」と設定して画像補正を行い、補正入力画像を得る。

続いて、画像補正部４３は、入力画像とマスクマップ画像を用いて、出力する画像である補正画像を作成する。具体的には、入力画像と補正入力画像を重畳して補正画像を作成する。ここで、この重畳処理においては、上記平滑化処理において得られる連続値を用いて、重み付けをおこなう。例えば、以下のように重み付けを行い、重み値を設定する。ここで、重み値が大きい場合には、重み値が小さい場合よりも補正入力画像を多く採用して入力画像を少なく採用し、重み値が小さい場合には、重み値が大きい場合よりも補正入力画像を少なく採用して入力画像を多く採用する。

（マスクマップ画像の画素値＝０） ： （重み値＝０．０）
（マスクマップ画像の画素値＝０．５） ： （重み値＝０．５）
（マスクマップ画像の画素値＝１） ： （重み値＝１．０）

さらに詳細には、画像補正部４３は、以下に記載した式によって補正画像を作成する。ここで、Ｒａｔｉｏとは上記重み値であり、ｆとは色補正の処理を表す関数(例えば、上記ガンマカーブ処理など)である。

（補正画像）＝Ｒａｔｉｏ×ｆ（入力画像）＋（１−Ｒａｔｉｏ）×（入力画像）

そして、画像表示制御部４４は、画像補正部４３によって画像補正されて補正画像記憶部３２に格納された補正画像を、出力部２０から出力する。

［画像補正装置の処理］
次に、図９を用いて、実施例１における画像処理装置の処理手順を説明する。図９は、実施例１における画像補正処理を示すフローチャートである。

図９に示すように、特定色領域検出部４１は、入力部１０によって入力された画像（入力画像）があると（ステップＳ１０１肯定）、特定色領域（たとえば、肌色領域）を抽出する（ステップＳ１０２）。

そして、平坦画像部分検出部４２は、特定色領域内において色変動量を画素ごとに測定する（ステップＳ１０３）。その後、特定色領域内で画素をひとつ選択する（ステップＳ１０４）。続いて、この画素の色変動が所定の値より小さいかどうかを判定する（ステップＳ１０５）。その後、色変動量が所定の値よりも小さい画素である場合には（ステップＳ１０５肯定）、平坦画素であると判定し（ステップＳ１０６）、色変動量が所定の値よりも大きい画素である場合には（ステップＳ１０５否定）、平坦画素でないと判定する（ステップＳ１０７）。ここで、すべての特定色領域の全画素について、判定を行っていれば（ステップＳ１０８肯定）、平坦画像部分を抽出する（ステップＳ１０９）。つまり、平坦画素であると判定された画素によって構成される領域（画像）を平坦画像部分として、それぞれ独立した領域として検出する。

また、平坦画像部分検出部４２は、すべての特定色領域の全画素について、判定を行っていなければ（ステップＳ１０８否定）、上記したステップＳ１０４に戻り、再度画素を一つ選択して判定を行い、全画素について同様の判定を行う（ステップＳ１０４〜Ｓ１０８）。

そして、画像補正部４３は、平坦画像部分が検出された後（ステップＳ１０９）、平坦画像部分として検出された領域（検出された平坦画像部分）ごとにサイズを測定する（ステップＳ１１０）。その後、平坦画像部分を一つ選択し（ステップＳ１１１）、この平坦画像部分のサイズが所定のサイズより大きいかを判定する（ステップＳ１１２）。ここで、この平坦画像部分のサイズが所定のサイズより小さい場合には（ステップＳ１１２否定）、補正量を大きく設定し（ステップＳ１１３）、この平坦画像部分のサイズが所定のサイズより大きい場合には（ステップＳ１１２肯定）、補正量を小さく設定する（ステップＳ１１４）。その後、すべての平坦画像部分について判定を行っていれば、（ステップＳ１１５肯定）、平坦画像部分以外の領域について通常の補正量を設定する。（ステップＳ１１６）。

また、画像補正部４３は、すべての平坦画像部分について判定を行っていなければ、（ステップＳ１１５否定）、再度平坦画像部分を一つ選択して判定を行い、全平坦画像部分について同様の判定を行う（ステップＳ１１１〜Ｓ１１５）。

そして、画像補正部４３は、画素ごとに設定した補正量を用いて、平坦画像部分について画像補正をする（ステップＳ１１７）。つまり、平坦画像部分６は、所定のサイズより小さいと判定された平坦画像部分については、大きな補正量で補正し、所定のサイズより大きいと判定された平坦画像部分については、小さな補正量で補正し、平坦画像部分以外の肌色領域については、通常の補正量で補正する。

[実施例１による効果]
上述してきたように、実施例１によれば、画像補正装置は、色変動量が少ない部分である平坦画像部分を特定色領域における画像から検出してサイズを測定し、測定された平坦画像部分のサイズが所定の値より大きい場合には、平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で平坦画像部分の画像を補正し、測定された平坦画像部分のサイズが所定の値より小さい場合には、平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で平坦画像部分の画像を補正するので、特定色領域を補正する際に、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。

また、実施例１によれば、画像補正装置は、平坦画像部分のサイズとして、画像全体における各平坦画像部分が占める面積比率を測定するので、特定色領域を補正する際に、画像サイズが異なる場合であっても、平坦画像部分のサイズを正確に把握することができ、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することができる。

さて、これまで、実施例１として、平坦画像部分のサイズが所定の値よりも大きいときに、小さい補正量で補正する場合について説明したが、本発明はこれに限定されるものではなく、平坦画像部分のサイズが大きいときには、補正しなくてもよい。

そこで、以下では、実施例２として、平坦画像部分のサイズが所定の値よりも大きいときには補正しない場合について説明する。なお、以下では、実施例１に係る画像補正装置と同様の点については、簡単に説明することにする。

図１０を用いて、実施例２に係る画像補正装置を説明する。図１０は、実施例２に係る画像補正装置の特徴を説明するための図である。すなわち、図１０に示すように、実施例２に係る画像補正装置は、画像が入力されると（図１０の（Ａ）参照）、平坦画像部分（例えば、図１０における平坦画像部分６および平坦画像部分７）を特定色領域における画像から検出し、検出した平坦画像部分のサイズを測定する（図１０の（Ｂ）参照）。

そして、実施例２に係る画像補正装置は、所定の値よりサイズが大きい平坦画像部分には、画像補正をしない。例えば、平坦画像部分のサイズが所定のサイズより大きければ、補正量を「０」と設定し、補正量を「０」と設定された領域については、補正は行わない。すなわち、補正対象から除外する（図１０の（Ｃ）参照）。例えば、図１０に示すように、平坦画像部分として検出した平坦画像部分６と平坦画像部分７のサイズを測定し、平坦画像部分６は所定のサイズより小さいと判定し、大きな補正量で補正し、平坦画像部分７は所定のサイズより大きいと判定し、補正しない（図１０の（Ｄ）参照）。

上記したように、実施例２によれば、画像補正装置は、測定された平坦画像部分のサイズが所定の値より大きい場合には、平坦画像部分の画像を補正しないので、特定色領域を補正する際に、より単純化した補正処理を実現しつつ、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。

さて、これまで、実施例１および２として、検出した平坦画像部分に隣接する画像に関係なく画像補正を行う場合について説明したが、本発明はこれに限定されるものではなく、隣接する画像に平坦画像部分を拡張して、拡張した平坦画像部分を一体として補正してもよい。

そこで、以下では、実施例３として、隣接する画像に平坦画像部分を拡張して、拡張した平坦画像部分を一体として補正する場合について説明する。なお、以下では、実施例１および２に係る画像補正装置と同様の点については、簡単に説明することにする。

図１１を用いて、実施例３に係る画像補正装置を説明する。図１１は、実施例３に係る画像補正装置の概要および特徴を説明するための図である。すなわち、図１１に示すように、実施例３に係る画像補正装置は、画像が入力されると（図１１の（Ａ）参照）、平坦画像部分を特定色領域における画像から検出する（図１１の（Ｂ）参照）。

そして、実施例３に係る画像補正装置は、検出された平坦画像部分と平坦画像部分に隣接する隣接部分とで色変動量を比較し、隣接部分において色変動量の差分が所定の量に収まる領域まで平坦画像部分を拡張する。具体的には、平坦画像部分を構成する画素の色変動量と隣接する画像領域を構成する画素の色変動量とを比較して差分値を算出し、差分値が所定の値より小さい場合には、平坦画像領域に統合し（平坦画像部分を拡張し）、差分値が所定の値より大きい場合には、平坦画像領域に統合しない（平坦画像部分を拡張しない）。例えば、図１１に示すように、平坦画像部分７と隣接する画像領域である背景の看板についてのベージュ領域５との色変動量の差分値が所定の量よりも小さい場合に、背景の看板についてのベージュ領域５の境界まで平坦画像部分７を拡張する（図１１の（Ｃ）参照）。

そして、実施例３に係る画像補正装置は、拡張された平坦画像部分のサイズを測定する。具体的には、拡張された平坦画像部分を一体としてサイズを測定する。例えば、平坦画像部分７の境界はベージュ領域５の境界であるとして、拡張した平坦画像部分８のサイズを測定して補正する。（図１１の（Ｄ））。

上記したように、実施例３によれば、画像補正装置は、検出された平坦画像部分と平坦画像部分に隣接する隣接部分とで色変動量を比較し、隣接部分において色変動量の差分が所定の量に収まる領域まで平坦画像部分を拡張し、拡張された平坦画像部分のサイズを測定するので、特定色領域を補正する際に、より広い範囲を補正対象としながら、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。つまり、例えば、補正により境目が目立つ領域において、隣接領域をも併せて補正することにより、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することが可能である。

ところで、これまで実施例１〜３に係る画像処理装置について説明してきたが、この発明は上記した実施例以外にも種々の異なる形態にて実施されてよいものである。そこで、以下では、実施例４に係る画像処理装置として、異なる実施例を説明する。

（１）白黒画像について
上記の実施例では、カラー画像（Ｒ，Ｇ，Ｂ）を画像補正する場合について説明したが、本発明はこれに限定されるものではなく、白黒画像を画像補正してもよい。

具体的には、画像処理装置は、特定色領域として、特定のグレースケール領域（例えば、被写体の人物部分（肌色部分）を示すグレースケールを有する画像領域）を検出し、平坦画像部分としてグレースケールの変化量が少ない部分を検出し、画像補正を行うことができる。

（２）システム
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる（例えば、平坦画像部分のサイズを手動で測定し、補正量を手動で補正するなど）。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図１、３，４，５，６）については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる（例えば、図２に示した平坦画像部分検出部と画像補正部を統合し、また、特定色領域検出部を分離するなど）。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（３）画像補正処理プログラム
ところで、上記実施例１では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、予め用意されたプログラムをコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図１２を用いて、上記の実施例１に示した画像補正装置と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１２は、実施例１における画像処理装置のプログラムを示す図である。

同図に示すように、画像処理装置は、操作キー１２０１、カメラ１２０２、スピーカ１２０３、ディスプレイ１２０４、ＲＡＭ１２０７、ＨＤＤ１２０８、ＣＰＵ１２０９、ＲＯＭ１２１０をバス１２０６などで接続して構成されている。ＲＯＭ１２１０には、上記の実施例１で示した特定色領域検出部４１および平坦画像部分検出部４２および画像補正部４３および画像表示制御部４４（例えば、図２参照）と同様の機能を発揮する特定色領域検出プログラムおよび平坦画像部分検出プログラムおよび画像補正プログラムおよび画像表示制御プログラム、つまり、図１２に示すように、特定色領域検出プログラム１２１０ａおよび平坦画像部分検出プログラム１２１０ｂおよび画像補正プログラム１２１０ｃおよび画像表示制御プログラム１２１０ｄとが予め保持されている。なお、これらプログラム１２１０ａ〜１２１０ｄについては、図２に示した画像補正装置と同様、適宜統合または分離してもよい。

そして、ＣＰＵ１２０９が、これらのプログラム１２１０ａ〜１２１０ｄをＲＯＭ１２１０から読み出して実行することにより、図１２に示すように、各プログラム１２１０ａ〜１２１０ｄは、特定色領域検出プロセス１２０９ａおよび平坦画像部分検出プロセス１２０９ｂおよび画像補正プロセス１２０９ｃおよび画像表示制御プロセス１２０９ｄとして機能するようになる。なお、各プロセス１２０９ａ〜１２０９ｄは、図２に示した、特定色領域検出部４１および平坦画像部分検出部４２および画像補正部４３および画像表示制御部４４とにそれぞれ対応する。

なお、本実施例で説明した各プログラム１２１０ａ〜１２１０ｄについては、必ずしも最初からＲＯＭに保持させておく必要はなく、例えば画像処理装置に挿入されるフレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、画像補正装置の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介して車載装置１００また管理センタ装置３００に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを保持させておき、画像補正装置がこれらから各プログラムを読みだして実行するようにしてもよい。

なお、本実施例で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明に係る画像補正プログラム、画像補正方法、画像補正装置は、特定色を有する画像領域である特定色領域を補正対象として画像から検出して補正する場合に有用であり、特に、特定色領域を補正する際に、補正された背景の一部分の境界が目立った不自然な画像が生じることを防止することに適する。

Claims (6)

1. 特定色を有する画像領域である特定色領域を補正対象として画像から検出して補正する画像補正方法をコンピュータに実行させる画像補正プログラムであって、
   特定色を有する特定色領域を入力画像から検出し、検出した特定色領域から色変動量が所定値よりも小さい部分を平坦画像部分として検出する平坦画像部分検出手順と、
   前記平坦画像部分検出手順によって検出された平坦画像部分のサイズを測定する平坦画像部分サイズ測定手順と、
   前記平坦画像部分サイズ測定手順によって測定された平坦画像部分のサイズが所定の値より大きい場合には、前記平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で当該平坦画像部分の画像を補正し、前記平坦画像部分サイズ測定手順によって測定された平坦画像部分のサイズが所定の値より小さい場合には、前記平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で当該平坦画像部分の画像を補正する補正量制御手順と、
   をコンピュータに実行させることを特徴とする画像補正プログラム。
2. 前記平坦画像部分サイズ測定手順は、前記平坦画像部分のサイズとして、画像全体における各平坦画像部分が占める面積比率を測定することを特徴とする請求項１に記載の画像補正プログラム。
3. 前記補正量制御手順は、前記平坦画像部分サイズ測定手順によって測定された平坦画像部分のサイズが所定の値より大きい場合には、当該平坦画像部分の画像を補正しないことを特徴とする請求項１または２に記載の画像補正プログラム。
4. 前記平坦画像部分検出手順によって検出された平坦画像部分と当該平坦画像部分に隣接する隣接部分とで色変動量を比較し、当該隣接部分において色変動量の差分が所定の量に収まる領域まで当該平坦画像部分を拡張する平坦画像部分拡張手順をさらにコンピュータに実行させ、
   前記平坦画像部分サイズ測定手順は、前記平坦画像部分拡張手順によって拡張された平坦画像部分のサイズを測定することを特徴とする請求項１または２に記載の画像補正プログラム。
5. 特定色を有する画像領域である特定色領域を補正対象として画像から検出して補正する画像補正方法であって、
   特定色を有する特定色領域を入力画像から検出し、検出した特定色領域から色変動量が所定値よりも小さい部分を平坦画像部分として検出する平坦画像部分検出工程と、
   前記平坦画像部分検出工程によって検出された平坦画像部分のサイズを測定する平坦画像部分サイズ測定工程と、
   前記平坦画像部分サイズ測定工程によって測定された平坦画像部分のサイズが所定の値より大きい場合には、前記平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で当該平坦画像部分の画像を補正し、前記平坦画像部分サイズ測定工程によって測定された平坦画像部分のサイズが所定の値より小さい場合には、前記平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で当該平坦画像部分の画像を補正する補正量制御工程と、
   を含んだことを特徴とする画像補正方法。
6. 特定色を有する画像領域である特定色領域を補正対象として画像から検出して補正する画像補正装置であって、
   特定色を有する特定色領域を入力画像から検出し、検出した特定色領域から色変動量が所定値よりも小さい部分を平坦画像部分として検出する平坦画像部分検出手段と、
   前記平坦画像部分検出手段によって検出された平坦画像部分のサイズを測定する平坦画像部分サイズ測定手段と、
   前記平坦画像部分サイズ測定手段によって測定された平坦画像部分のサイズが所定の値より大きい場合には、前記平坦画像部分のサイズが小さい場合に行う補正よりも小さな補正量で当該平坦画像部分の画像を補正し、前記平坦画像部分サイズ測定手段によって測定された平坦画像部分のサイズが所定の値より小さい場合には、前記平坦画像部分のサイズが大きい場合に行う補正よりも大きな補正量で当該平坦画像部分の画像を補正する補正量制御手段と、
   を備えたことを特徴とする画像補正装置。

Images