JP4560845B2

JP4560845B2 - 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体

Info

Publication number: JP4560845B2
Application number: JP2008300472A
Authority: JP
Inventors: 直樹鍬田; 至宏中見
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1999-09-27
Filing date: 2008-11-26
Publication date: 2010-10-13
Anticipated expiration: 2020-09-14
Also published as: JP2009095037A

Description

本発明は、デジタル写真画像のような実写画像データに対して最適な画像処理を自動的に実行する画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体に関する。

従来より、ディジタル画像データに対して各種の画像処理が行われているが、従来の画像処理の場合には適切な明度補正がなされていなかった。

例えば、撮像対象となる画像の明度の平均値を求める際、主要な部分の明度に対しては大きな重み付けを行い、不要な背景部分に対しては小さな重み付けをすることが好ましい。

従来の画像処理の場合、主要部分は他の部分と比較して画像がシャープであるという経験的事実に基づいて、画像がシャープである画素を主要部の画素と判断している。画素データがドットマトリックス状の画素から構成されている場合、画像のエッジ部分では隣接する画素間での画素データの差分が大きくなる。そこで、輝度勾配に相当する当該差分をエッジ度と称して、エッジ度が所定値よりも大きい画素を、画像がシャープである主要部の画素と判定している。

しかしながら、人物の顔など主要部でありながらエッジ度の小さい画素、人物の着用している服の模様（チェック柄）や模様のある壁など主要部でないにも拘わらずエッジ度の大きな画素を含む画像が存在する。このような画像の場合には、適切な明度補正がなされていなかった。

本発明は、上記問題点を解決するためになされたもので、適切な明度補正が可能な画像処理装置、方法及び画像処理制御プログラムを記録した記録媒体を提供することを課題とする。

上記課題に鑑み、請求項１に記載の発明は、対象画像に対して所定の画像処理を行う画像処理装置であって、対象画像を複数の領域に分割して、各領域毎の輝度平均値を求める輝度平均値計算手段と、対象画像の主要部分の占める領域の中から輝度平均値の最も低い領域を基準領域として選定する基準領域選定手段と、当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値との差、及び各領域の位置に基づき、サンプリングを行い、明度補正を行う明度補正手段と、を備えて構成される。

以上のように構成された対象画像に対して所定の画像処理を行う画像処理装置によれば、まず、輝度平均値計算手段によって、対象画像が複数の領域に分割され、各領域毎の輝度平均値が求められる。そして、基準領域選定手段によって、対象画像の主要部分の占める領域の中から輝度平均値の最も低い領域が基準領域として選定され、明度補正手段によって、選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値との差、及び各領域の位置に基づき、サンプリングが行なわれ、明度補正が行なわれる。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記対象画像の形状に基づき、前記対象画像の主要部分の占める領域を設定するように構成される。

さらに、請求項３に記載の発明は、請求項１に記載の画像処理装置であって、前記対象画像が縦長ならば前記対象画像の主要部分の占める領域を縦長に設定し、前記対象画像が横長ならば前記対象画像の主要部分の占める領域を横長に設定するように構成される。

また、請求項４に記載の発明は、請求項１乃至３のいづれか一項に記載の画像処理装置であって、前記分割された複数の領域を内周領域と外周領域とに分割して、内周領域の中から基準領域が選定されるように構成される。

さらに、請求項５に記載の発明は、請求項４に記載の画像処理装置であって、前記内周領域の領域分割数を、前記外周領域の領域分割数よりも多くするように構成される。

また、請求項６に記載の発明は、請求項１乃至５のいづれか一項に記載の画像処理装置であって、前記輝度基準値と各領域の輝度平均値との差、及び各領域の位置に基づき、対象画像の輝度平均値を計算して、当該対象画像の輝度平均値が明度補正基準値以上の場合には対象画像を暗くするように明度補正し、当該対象画像の輝度平均値が明度補正基準値未満の場合には対象画像を明るくするように明度補正するように構成される。

さらに、請求項７に記載の発明は、請求項６に記載の画像処理装置であって、前記輝度基準値と各領域の輝度平均値との差が所定値以上の場合に、該当する領域を対象画像の輝度平均値の算定基準から除外するように構成される。

また、請求項８に記載の発明は、請求項７に記載の画像処理装置であって、前記所定値を内周領域と外周領域とで異なる値として、内周領域における所定値を、外周領域における所定値よりも大きな値とするように構成される。

上記課題に鑑み、請求項９に記載の発明は、対象画像に対して所定の画像処理を行う画像処理方法であって、対象画像を複数の領域に分割して、各領域毎の輝度平均値を求める輝度平均値計算工程と、対象画像の主要部分の占める領域の中から輝度平均値の最も低い領域を基準領域として選定する基準領域選定工程と、当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値との差、及び各領域の位置に基づき、サンプリングを行い、明度補正を行う明度補正工程と、を備えて構成される。

以上のように構成された対象画像に対して所定の画像処理を行う画像処理方法によれば、まず、輝度平均値計算工程によって、対象画像が複数の領域に分割され、各領域毎の輝度平均値が求められる。そして、基準領域選定工程によって、対象画像の主要部分の占める領域の中から輝度平均値の最も低い領域が基準領域として選定され、明度補正工程によって、当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値との差、及び各領域の位置に基づき、サンプリングが行なわれ、明度補正が行なわれる。

上記課題に鑑み、請求項１０に記載の発明は、対象画像に対して所定の画像処理を行う画像処理処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、対象画像を複数の領域に分割して、各領域毎の輝度平均値を求める輝度平均値計算処理と、対象画像の主要部分の占める領域の中から輝度平均値の最も低い領域を基準領域として選定する基準領域選定処理と、当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値との差、及び各領域の位置に基づき、サンプリングを行い、明度補正を行う明度補正処理と、をコンピュータに実行させるためのプログラムを記録してコンピュータによって読取可能に構成される。

以上のように構成されたコンピュータによって読取可能な記録媒体には、対象画像に対して所定の画像処理を行う画像処理処理をコンピュータに実行させるためのプログラムが記録されている。そして、輝度平均値計算処理によって、対象画像が複数の領域に分割され、各領域毎の輝度平均値が求められ、基準領域選定処理によって、対象画像の主要部分の占める領域の中から輝度平均値の最も低い領域が基準領域として選定される。さらに、明度補正処理によって、当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値との差、及び各領域の位置に基づき、サンプリングが行われ、明度補正が行なわれる。

図１は、本発明の一実施形態にかかる画像処理装置を適用した画像処理システムをブロック図により示しており、図２は、具体的ハードウエア構成例を概略ブロック図により示している。

図１において、画像入力装置１０は、写真などのドットマトリックス状の画素として表した実写画像データ（元画像データ）を画像処理装置２０に出力する。当該画像処理装置２０は、所定の処理を経て画像処理の内容及び程度を決定してから画像処理を実行した後、画像処理された画像データ（処理後画像データ）を画像出力装置３０に出力する。当該画像出力装置３０は、画像処理された画像をドットマトリックス状の画素で出力する。

ここで、画像処理装置２０が出力する画像データは、所定の条件下で輝度の基準値を決定して、当該輝度基準値に基づき輝度の重み付けを行なって明度補正を行って画像処理されたものである。画像処理装置２０は、輝度平均値計算部２０ａと、基準エリア選定部２０ｂと、不要エリア除去部２０ｃと、重み付け輝度平均値計算部２０ｄと、明度補正部２０ｅと、を備えて構成される。各構成部分のデータ処理の詳細に関しては、後述する。

画像入力装置１０の具体例は、図２におけるデジタルスチルカメラ１２またはビデオカメラ１４などが該当する。また、画像処理装置２０の具体例は、コンピュータ２１、ハードディスク２２、キーボード２３、ＣＤ−ＲＯＭドライブ２４、フロッピーディスクドライブ２５、及びモデム２６などを備えて構成されるコンピュータシステムが該当する。そして、画像出力装置３０の具体例は、プリンタ３１、ディスプレイ３２などが該当する。なお、モデム２６は公衆電話回線に接続され、外部のネットワークに同公衆通信回線を介して接続され、ソフトウエアやデータをダウンロードすることができる。

本発明による画像処理制御プログラムは、通常、コンピュータ２１が読取可能な形態でフロッピーディスク、ＣＤ−ＲＯＭなどの記録媒体に記録されて流通する。当該プログラムは、メディア読取装置（ＣＤ−ＲＯＭドライブ２４、フロッピーディスクドライブ２５など）によって読み取られてハードディスク２２にインストールされる。そして、ＣＰＵが所望のプログラムを適宜ハードディスク２２から読み出して所望の処理を実行するように構成されている。

当該実施の形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は、階調データとしてのＣＭＹ（シアン、マゼンタ、イエロー）またはこれに黒を加えたＣＭＹＫの二値データを入力として必要とする。また、ディスプレイ３２は、ＲＧＢの階調データを入力として必要とする。一方、コンピュータ２１内では、オペレーティングシステム２１ａ、プリンタ３１及びディスプレイ３２に対応するプリンタドライバ２１ｂ及びディスプレイドライバ２１ｃを備えている。また、画像処理アプリケーション２１ｄは、オペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連帯して所定の画像処理を実行する。したがって、画像処理装置２０としての当該コンピュータ２１の具体的役割は、ＲＧＢの階調データを入力して最適な画像処理を施したＲＧＢの階調データを作成して、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（またはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させる。

このように、当該実施の形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしも当該コンピュータシステムを必要とするわけではなく、画像データに対して所望の画像処理を施すシステムであれば良い。例えば、図３に示すように、デジタルスチルカメラ１２ａ内に所望の画像処理を施す画像処理装置を組み込み、当該デジタルスチルカメラ内部で色変換を行い、当該変換された画像データをメモリに格納したり、
変換された画像データを用いてディスプレイ３２ａに表示させたり、プリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく、画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂ、デジタルスチルカメラ１２ｂ、またはモデム２６ｂ等を介して入力される画像データから自動的に所望の画像処理を行うように構成することもできる。

以下、図５を参照して、図１に示す画像処理装置２０による所望の画像処理に関して説明する。当該所望の画像処理は、具体的には上記コンピュータ２１内において図５に示すフローチャートに対応した画像処理プログラムで行っており、メインの被写体が中央付近に配置されること、及び画像全体の輝度分布から著しく外れたエリアは補正に不要な情報を保有しているとの前提に基づいている。

まず、画像処理装置２０内の輝度平均値計算部２０ａは、所望の画像処理を施す対象画像を図６に示すように１４エリア（ａ０〜ａ１３）に分割して、各エリア毎に輝度分布（ヒストグラム情報）を作成して、各エリア毎の輝度平均値Ｙaveを求める（ステップ４０）。

図６において、分割された１４のエリアは、画像全体ａ０と、９個の内周エリアａ１〜ａ９と、４個の外周エリアａ１０〜ａ１３とからなる。当該実施の形態では、９個の内周エリアａ１〜ａ９の形状が同一であり、図６に示すように縦横３列に配置され、画像全体に対して上下にそれぞれＨ／５づつ、左右にＷ／５づつの外周エリアが形成されるようにする。なお、Ｈは対象画像の高さを示し、Ｗは対象画像の幅を示している。当該実施の形態では、上記のように対象画像を分割しているが、内周エリア及び外周エリアにおけるエリア分割数、分割方法は任意である。

次に、画像処理装置２０内の基準エリア選定部２０ｂは、注目エリアを決定して（ステップ４２）、基準エリアを選定する（ステップ４４）。

具体的には、対象画像が縦長の場合（Ｈ≧Ｗ）にはａ２，ａ５，ａ７を注目エリアとして選定して、対象画像が横長の場合（Ｈ＜Ｗ）にはａ４，ａ５，ａ６を注目エリアとして選定する。これは、写真の向きに対する主要被写体の配置される場所の確率に基づいている。すなわち、縦長の建物などを横構図ではあまり撮像しないとの経験的事実に基づいている。

次に、注目エリアの中から輝度平均値が最も低いエリアを基準エリアに選定して、当該基準エリアの輝度平均値を露出基準値Ｙstdとする。このように基準エリアを選定するのは、暗い画像と比較して明るい画像の方が画像処理に対する許容範囲が広いと考えられ、また逆光写真の場合に露出基準値を低い値にすることで明るい背景を容易に除去することができるからである。なお、注目エリアのうち、輝度中央値をとる領域を基準領域とすることもできる。

次に、画像処理装置２０内の不要エリア除外部２０ｃは、対象画像の露出基準値Ｙstdと各エリアの輝度平均値との差の絶対値が所定の閾値以上の場合には、不要な情報と判定して以下の処理から除外する（ステップ４６〜５２）。

このように、判定閾値は、内周エリアと外周エリアとで異なる値（Th1＞Th2）に設定する。内周エリアは、中央付近にありメインの被写体が存在する可能性が高いので、閾値Th1の値を比較的大きく設定する。一方、外周エリアは、背景の可能性が高いと思われるため、閾値Th2の値を比較的小さく設定して相対的に除外され易くしている。なお、エリアａ８及びａ９は、ａ１及びａ３と同様に中央付近に位置しているが、多くの場合、上半部に背景（例えば、空）が入る可能性が高いため、扱いは外周エリアに含めることもできる。

次に、画像処理装置２０内の重み付け輝度平均値計算部２０ｄは、不要エリア除外部２０ｃによって除去されなかったエリアに関して、各エリアの位置に応じて、各エリアの輝度平均値を重み付けして加算する（ステップ５４）。

当該実施の形態では、基準エリア、基準エリア以外の内周エリア、外周エリアの重み付け係数を３：２；１とする。他の重み付け係数を用いることもできる。すなわち、平均値の重み付け総和ΣＹaveは、ステップ４６、５０で、除外されるエリアがない場合、基準エリアが中心のａ５であるとすると、

によって求まる。そして、対象画像の輝度平均値

は、重み付け有効エリア数をａ_numとすると、

によって求まる（ステップ５６）。ここで、ａ_num＝[基準エリア数]×３＋[基準エリアを除く、有効内周エリア数]×２＋[有効外周エリア数]×１である。除外エリアがある場合は、式（１）および式（２）に関して、当該エリアは計算から除外される。

次に、画像処理装置２０内の明度補正部２０ｅは、対象画像の輝度平均値

に基づき、明度（輝度値）を補正する（ステップ５８）。具体的には、

によって画像全体の明るさを自動補正する。

ここで、Ｙidealは明暗の基準値（明度補正基準値）であり、対象画像の輝度平均値

が明暗の基準値Ｙidealより小さい場合には明度が大きくなるように、大きい場合には小さくなるようにガンマγの値が計算される。当該ガンマγの値を用いて
Ｙ’＝２５５×（Ｙ／２５５）^γ
によりプリンタドライバ２１ｂまたはディスプレイドライバ２１ｃのルックアップテーブルを作成する。ここで、Ｙは元画像の輝度値であり、Ｙ’は明度補正後の輝度値である。

なお、このように明度補正する代わりにトーンカーブを用いて明度補正することも可能である。すなわち、明暗の基準値（明度補正基準値）と対象画像の輝度平均値との差分

に基づきトーンカーブを制御して明度補正ＬＵＴ（色変換テーブル）を生成する。

図７に、明度補正を行うためのトーンカーブの一例を示す。図７に示すように、明度補正ＬＵＴのトーンカーブは、階調「０」、階調「２５５」および制御ポイント（当該実施形態では、階調「６４」とする。）の３点を通るスプライン曲線で滑らかに補間することで得られる。

図８に、対象画像の各エリアの輝度平均値の一例を示す。当該一例に関して、図５のフローチャートに従う所望の画像処理を以下のように説明する。

この例では、輝度平均値計算部２０ａ（ステップ４０）により、図８に示すような各エリア毎の輝度平均値Ｙaveが求められたものとする。

対象画像を縦構図であると仮定すると、注目エリアは、ａ２，ａ５，ａ７となり（ステップ４２）、基準エリア選定部２１ｂは、注目エリアの中で最も低い輝度平均値Ｙave[２]（＝１２）を有するエリアａ２を基準エリアとして選定する（ステップ４４）。従って、露出基準値Ｙstdは、注目エリアの中で最も低い輝度平均値Ｙave[２]（＝１２）となる。

次に、不要エリア除外部２０ｃは、輝度平均値と露出基準値との差の絶対値ｄｉｆを求める。各エリア毎の輝度平均値、及び当該輝度平均値と露出基準値との差の絶対値ｄｉｆは以下のとおりである。

さらに、不要エリア除外部２０ｃは、内周エリア（ａ１〜ａ９）に対するエリア判定閾値Ｔｈ１を１００、外周エリア（ａ１０〜ａ１３）に対するエリア判定閾値Ｔｈ２を５０として、不要なエリアを除外する（ステップ４６〜５２）。

図８に示す例では、４つのエリア（ａ８，ａ９，ａ１２，ａ１３）が不要エリアと判定されて除外される。よって、主要領域を重点的にサンプリングすることができる。

次に、重み付け輝度平均値計算部２０ｄは、必要エリアに関して、各エリアが内周エリアに属するか外周エリアに属するかに応じて、輝度平均値を重み付けして加算し、以下のようにΣＹaveを求める（ステップ５２）。
ΣＹave＝ａ２×３＋（ａ１＋ａ３＋ａ４＋ａ５＋ａ６＋ａ７）×２＋（ａ１０＋ａ１１）＝３６＋５１６＋７４＝６２６
対象画像の輝度平均値は

となる。ここで、有効エリア数ａ_numは、
ａ_num＝[基準エリア数]×３＋[基準エリアを除く、有効内周エリア数]×２＋[有効外周エリア数]×１＝１×３＋６×２＋２×１＝１７
によって計算される。

なお、同一の対象画像に関して、従来のオブジェクトサンプリングを行った場合の輝度平均値が７８となることから、多分割サンプリングによって、対象画像をより暗い画像と認識して、より精度の高い補正が行われることが確認される。

当該実施の形態によれば、外周エリアと内周エリアとに対して２段階のエリア判定閾値を設定して、不要エリアの除去を行うとともに、主要な領域に大きな係数をかけて重み付けを行なって、対象画像の輝度平均値を計算して輝度値を補正して明度補正を行う。このため、重要な情報をより正確にサンプリングでき、適切な明度補正が可能となる。従来のオブジェクトサンプリングの場合と異なり、エッジを抽出する必要がないため、サンプリングレートの相違による影響はかなり小さくなる。

請求項１に記載の画像処理装置、請求項７に記載の画像処理方法、または請求項８に記載の記録媒体に記録されているプログラムの処理の実行によれば、対象画像の主要部分の占める領域の中から輝度平均値の最も低い領域を基準領域として選定して、当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値との差、及び各領域の位置に基づき、サンプリングを行い、明度補正を行なっているので、重要でありながら明度の低い主要部分をより正確にサンプリングでき、適切な明度補正が可能となる。

本発明の一実施形態にかかる画像処理装置を適用した画像処理システムを示すブロック図である。

具体的ハードウエア構成例を示す概略ブロック図である。

本発明による画像処理装置の他の適用例を示す概略ブロック図である。

本発明による画像処理装置のさらに他の適用例を示す概略ブロック図である。

本発明による画像処理装置の所望の画像処理を説明するためのフローチャートである。

所望の画像処理を施す対象画像を示す図である。

トーンカーブを用いる明度補正を説明するための図である。

対象画像の各エリアの輝度平均値の一例を示す図である。

符号の説明

１１スキャナ、１２デジタルスチルカメラ、１４ビデオカメラ
２１コンピュータ、２３キーボード、２４ＣＤ−ＲＯＭドライブ
２５フロッピーディスクドライブ、２６モデム
３１プリンタ、３２ディスプレイ

Claims

対象画像に対して所定の画像処理を行う画像処理装置であって、
前記対象画像を複数の領域に分割して、各領域の輝度平均値を求める輝度平均値計算手段と、
前記各領域の輝度平均値に基づいて、前記対象画像の主要部分の占める領域の中から基準領域を選定する基準領域選定手段と、
当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値とのそれぞれの差が、前記各領域の位置に応じた各所定値以上の領域を判別する領域判別手段と、
前記領域判別手段により判別された領域以外の領域の輝度平均値に基づく前記対象画像の輝度平均値に基づき、前記対象画像に対して明度補正を行う明度補正手段と、
を備えている画像処理装置。
対象画像に対して所定の画像処理を行う画像処理方法であって、
前記対象画像を複数の領域に分割して、各領域の輝度平均値を求める輝度平均値計算工程と、
前記各領域の輝度平均値に基づいて、前記対象画像の主要部分の占める領域の中から基準領域を選定する基準領域選定工程と、
当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値とのそれぞれの差が、前記各領域の位置に応じた各所定値以上の領域を判別する領域判別工程と、
前記領域判別工程により判別された領域以外の領域の輝度平均値に基づく前記対象画像の輝度平均値に基づき、前記対象画像に対して明度補正を行う明度補正工程と、
を備えている画像処理方法。
対象画像に対して所定の画像処理を行う画像処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、
前記対象画像を複数の領域に分割して、各領域の輝度平均値を求める輝度平均値計算処理と、
前記各領域の輝度平均値に基づいて、前記対象画像の主要部分の占める領域の中から基準領域を選定する基準領域選定処理と、
当該選定された基準領域の輝度平均値を輝度基準値として、当該輝度基準値と各領域の輝度平均値とのそれぞれの差が、前記各領域の位置に応じた各所定値以上の領域を判別する領域判別処理と、
前記領域判別処理により判別された領域以外の領域の輝度平均値に基づく前記対象画像の輝度平均値に基づき、前記対象画像に対して明度補正を行う明度補正処理と、
をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体。