JP5943112B1 - 画像処理装置、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】被処理画像を見本画像に合わせ画像処理した後に、画像全体の印象を見本画像と一致させつつ、暗部領域に対しても自然な処理結果となる画像処理装置等を提供する。【解決手段】画像の印象を見本画像に合わせる画像処理を行なう被処理画像および見本画像について色度成分および輝度成分を取得する色変換部１１と、被処理画像および見本画像について色度成分および輝度成分の特徴量を抽出する特徴量抽出部１２と、色度成分の特徴量を使用し被処理画像の色度成分を見本画像の色度成分に合わせ調整する色度成分調整部１３と、輝度成分の特徴量を使用し暗部領域以外の非暗部領域では、被処理画像の輝度成分を見本画像の輝度成分に合わせ調整し、暗部領域では、調整の際の調整量を非暗部領域に対して行う調整を適用したときの調整量より小さくする輝度成分調整部１４と、を備えることを特徴とする画像処理装置１。【選択図】図２

Description

本発明は、画像処理装置、画像処理システム、プログラムに関する。

近年、デジタルカメラ等の普及によりデジタル画像を撮影・閲覧するユーザーが増加している。また、スマートフォンやタブレットの普及によって、所望の画像を得るためにこれまでＰＣ（Personal Computer）の画像編集ソフトウェアを利用して行っていた画質調整を、より直感的な操作で行いたい、というニーズが高まっている。
デジタル画像の画質調整には、例えば、ＲＧＢ、ＣＩＥＬ^＊ａ^＊ｂ^＊、ＨＳＶなどの色空間上で色度や輝度、色相、彩度の成分値やそれらのコントラストの調整を行うものがある。その中でユーザが見本となる見本画像を指定し、被処理画像の画質をこの見本画像の画質に合わせる画像処理を行う場合がある。

特許文献１には、処理対象となる処理対象画像、及び補正処理の参照とする参照画像を入力する画像入力部と、画像入力部にて入力された処理対象画像、及び参照画像から、色空間変換のペアとなる処理対象領域、及びそれに対応する参照領域を抽出する色空間分割部と、色空間分割部にて抽出された処理対象領域、及び参照領域を利用して、参照画像を基に処理対象画像の色彩を変換する色空間変換部と、色空間変換部における処理結果に基づき、前記画像入力部にて入力された処理対象画像に対して、所定のフォーマットで処理結果画像を出力する画像出力部とを備える画像補正システムが開示されている。

特開２００７−２８１６６６号公報

しかしながら従来の方法では、見本画像の特徴が被処理画像の特徴に対して大きく異なる場合において、シャドーの浮きや色の不一致などが生じ、不自然な画像処理結果となってしまうことがある。とりわけ、従来の方法では画像の暗部領域について不自然な処理結果となりやすい。つまり被処理画像を見本画像に合わせ画像処理した後に、画像全体の印象を見本画像と一致させつつ、暗部領域に関して自然な状態を保つのは困難であった。
本発明では、被処理画像を見本画像に合わせ画像処理した後に、画像全体の印象を見本画像と一致させつつ、暗部領域に対しても自然な処理結果となる画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、被処理画像および見本画像の各々について、色度成分および輝度成分の特徴量を抽出する特徴量抽出部と、前記被処理画像の色度成分を前記見本画像の色度成分に合わせ調整する色度成分調整部と、非暗部領域では、前記被処理画像の輝度成分を前記見本画像の輝度成分に合わせ調整し、暗部領域では調整の際の調整量を当該非暗部領域のときの調整量よりも小さくする輝度成分調整部と、を備え、前記輝度成分調整部は、前記被処理画像の画素の輝度と前記見本画像の画素の輝度を比較することで暗部領域を決定する画像処理装置である。
請求項２に記載の発明は、前記特徴量抽出部は、前記被処理画像および前記見本画像を構成する各画素が有する画素値の平均および散布度を特徴量として算出することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記特徴量抽出部は、前記見本画像について、前記非暗部領域から特徴量を抽出し、前記暗部領域からは特徴量を抽出しないことを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、被処理画像および見本画像の各々について、色度成分および輝度成分の特徴量を抽出する特徴量抽出部と、前記被処理画像の色度成分を前記見本画像の色度成分に合わせ調整する色度成分調整部と、非暗部領域では前記被処理画像の輝度成分を前記見本画像の輝度成分に合わせ調整し、暗部領域では調整の際の調整量を当該非暗部領域のときの調整量よりも小さくする輝度成分調整部と、を備え、前記輝度成分調整部は、前記被処理画像の画素の輝度と前記見本画像の画素の輝度を比較することで暗部領域を決定する画像処理システムである。
請求項５に記載の発明は、コンピュータに、被処理画像および見本画像の各々について、色度成分および輝度成分の特徴量を抽出する特徴量抽出機能と、前記被処理画像の色度成分を前記見本画像の色度成分に合わせ調整する色度成分調整機能と、非暗部領域では前記被処理画像の輝度成分を前記見本画像の輝度成分に合わせ調整し、暗部領域では調整の際の調整量を当該非暗部領域のときの調整量よりも小さくする輝度成分調整機能と、を実現させ、前記輝度成分調整機能は、前記被処理画像の画素の輝度と前記見本画像の画素の輝度を比較することで暗部領域を決定するプログラムである。

請求項１の発明によれば、被処理画像を見本画像に合わせ画像処理した後に、画像全体の印象を見本画像と一致させつつ、暗部領域に対しても自然な処理結果となる画像処理装置を提供することができる。さらに被処理画像と見本画像の組み合わせに応じた暗部領域を設定することができ、画像処理後の処理結果がより自然となる。
請求項２の発明によれば、特徴量の抽出がより容易になる。
請求項３の発明によれば、見本画像の特徴量を抽出する際に、よりユーザの印象を反映した特徴量が抽出できる。
請求項４の発明によれば、ユーザが所望する画像処理をより簡易に行うことができる画像処理システムを提供することができる。
請求項５の発明によれば、処理画像を見本画像に合わせ画像処理した後に、画像全体の印象を見本画像と一致させつつ、暗部領域に対しても自然な処理結果となる機能をコンピュータにより実現できる。さらに被処理画像と見本画像の組み合わせに応じた暗部領域を設定することができ、画像処理後の処理結果がより自然となる機能をコンピュータにより実現できる。

（ａ）〜（ｃ）は、被処理画像の画質を見本画像の画質に合わせる画像処理について示した図である。 本実施の形態の画像処理装置の機能構成例を示したブロック図である。 （ａ）は、画像処理前における被処理画像および見本画像のヒストグラムを概念的に示した図である。（ｂ）は、色度成分調整部で色度成分を調整した後における被処理画像のヒストグラムを概念的に示した図である。 輝度成分調整部が行う輝度調整を調整トーンカーブとして表した図である。 第２の実施形態の暗部領域の決定方法について説明した図である。 第３の実施形態の暗部領域の決定方法について説明した図である。 輝度ヒストグラムを混合ガウス分布で近似した例を示した図である。

＜画像処理の説明＞
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１（ａ）〜（ｃ）は、被処理画像の画質を見本画像の画質に合わせる画像処理について示した図である。
このうち図１（ａ）は、見本画像と画像処理前の被処理画像を示している。
ここでは図中左側に見本画像Ｍを図示し、図中右側に被処理画像Ｈを図示している。なお本実施の形態で、被処理画像とは、画像処理の対象となる画像であり、見本画像とは、ユーザが所望する印象の画像を有し、被処理画像の画像処理を行うための見本となる画像である。

実際には、見本画像Ｍおよび被処理画像Ｈは、液晶パネルや液晶ディスプレイ等の表示装置に表示される。そしてタブレット、スマートフォン、ＰＣ等で動作する画像編集ソフトウェアにより画像情報を処理することで画像処理が行われる。ユーザは、画像編集ソフトウェアの動作により、見本画像Ｍや被処理画像Ｈとともに表示装置に表示されるメニュー等を操作することで画像処理の操作を行う。この操作は、タブレットやスマートフォンの場合は、ユーザの指やタッチペンでタッチパネルである液晶パネルをタッチ等することで行う。またＰＣの場合は、ＰＣに接続されたキーボードやマウス等を使用して行う。なおこの場合、タブレットやスマートフォンの画像処理を行う機能部、およびＰＣは、本実施の形態では、表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置の一例として捉えることができる。また画像処理装置および表示装置は、画像処理システムの一例として捉えることができる。

図示する見本画像Ｍおよび被処理画像Ｈは、地上の画像である前景Ｆと空の画像である後景Ｂとからなる。また双方とも前景Ｆは、明度が低い暗部領域であり、後景Ｂは、明度が高い非暗部領域である。

そしてユーザは、被処理画像Ｈの画像処理を行い、被処理画像Ｈを見本画像Ｍの後景Ｂと同様の印象を有する画像にしたいものとする。これは例えば、見本画像Ｍの後景Ｂが赤色の空の画像であり、被処理画像Ｈの後景Ｂが青色の空の画像であったときに、被処理画像Ｈの後景Ｂを赤色の空の画像にするような場合である。

図１（ｂ）は、従来の方法による画像処理後の被処理画像Ｈの画像を示している。
この場合、画像処理後の被処理画像Ｈの画像は、被処理画像Ｈ全体が画像処理の対象となり、空の画像である後景Ｂの部分のみならず、地上の画像である前景Ｆにまで画像処理がなされる。その結果、暗部領域である前景Ｆの輝度が高くなりすぎ、不自然な画像となりやすい。これは従来の画像編集ソフトウェアでは、一般的な仕様であり、例えば、Adobe Systems Incorporated製のAdobe Photoshop等でもこのような画像処理が行われる。

そこで本実施の形態では、暗部領域については、画素値の変化を抑制する画像処理を行い、画像処理後の暗部領域の画像が自然となるようにする。
図１（ｃ）は、暗部領域について画素値の変化を抑制する画像処理を行った場合の画像処理後の被処理画像Ｈを示している。
この場合も被処理画像Ｈ全体が画像処理の対象となるのは、図１（ｂ）の場合と同様である。しかし暗部領域では、画素値の変化を抑制する画像処理が行われるので、地上の画像Ｆの明度はより低く抑えられる。一方、非暗部領域では、図１（ｂ）と同様の画像処理が行われる。これにより、図１（ｃ）の画像は、図１（ｂ）の画像に比較して、より自然な画像となる。
以下、これを実現するための画像処理装置等の説明を行う。

＜画像処理装置の構成の説明＞
［第１の実施形態］
まず第１の実施形態について説明を行なう。
図２は、本実施の形態の画像処理装置１の機能構成例を示したブロック図である。
図示するように画像処理装置１は、被処理画像および見本画像の画像情報（入力画像データ）を取得し色変換を行い色度成分と輝度成分とする色変換部１１と、変換後の画像情報から特徴量を抽出する特徴量抽出部１２と、色度成分について被処理画像の特徴量を見本画像の特徴量に合わせる処理を行う色度成分調整部１３と、色度成分について被処理画像の特徴量を見本画像の特徴量に合わせる処理を行う輝度成分調整部１４とを備える。

色変換部１１は、表示装置で被処理画像および見本画像を表示するための入力画像データに対し、色変換を行う。入力画像データは、この場合、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。そしてＲＧＢデータを例えば、ＩＰＴデータに変換する。即ち、ＲＧＢ色空間の色度をＩＰＴ色空間の色度に変換する。ＩＰＴ色空間は、明度（Ｉ）、赤−緑方向の色度（Ｐ）、黄−青方向の色度（Ｔ）、の３成分からなる直交座標色空間である。このうち本実施の形態では、赤−緑方向の色度（Ｐ）および黄−青方向の色度（Ｔ）を色度成分とし、明度（Ｉ）を輝度成分とする。色変換部１１は、被処理画像および見本画像について、色度成分（Ｐ、Ｔ）および輝度成分（Ｉ）を取得する成分取得部の一例として捉えることができる。

特徴量抽出部１２は、被処理画像および見本画像について、色度成分およびの輝度成分の特徴量を抽出する。特徴量は、ユーザが画像を見たときに、画像の印象を決定づける指標である。本実施の形態では、被処理画像および見本画像を構成する各画素が有する画素値の平均および散布度を特徴量とする。画素値は、色度成分（Ｐ、Ｔ）および輝度成分（Ｉ）からなる。よって特徴量は、色度成分（Ｐ、Ｔ）および輝度成分（Ｉ）のそれぞれについて抽出される。なお本実施の形態では、平均として相加平均を使用し、散布度として標準偏差を使用する。

より具体的には、特徴量抽出部１２は、被処理画像および見本画像のそれぞれについて、これらの画像を構成する各画素が有する色度成分（Ｐ、Ｔ）および輝度成分（Ｉ）の相加平均を求める。さらに特徴量抽出部１２は、被処理画像および見本画像のそれぞれについて、これらの画像を構成する各画素が有する色度成分（Ｐ、Ｔ）および輝度成分（Ｉ）の標準偏差を求める。

相加平均は、被処理画像および見本画像のそれぞれについて、色度成分および輝度成分であるＰ、Ｔ、Ｉ毎に求められるため、合計６つとなる。これは、以下の数１式により算出する。

数１式において、Ｐ_ｉ，ｊは、被処理画像や見本画像の画像を構成する各画素の位置（ｉ、ｊ）におけるＰ値である。そしてＴ_ｉ，ｊは、被処理画像や見本画像の画像を構成する各画素の位置（ｉ、ｊ）におけるＴ値である。さらにＩ_ｉ，ｊは、被処理画像や見本画像の画像を構成する各画素の位置（ｉ、ｊ）におけるＩ値である。

そしてμ_Ｐｔは、被処理画像のＰ値の相加平均である。またμ_Ｔｔは、被処理画像のＴ値の相加平均である。さらにμ_Ｉｔは、被処理画像のＩ値の相加平均である。
さらにμ_Ｐｒは、見本画像のＰ値の相加平均である。またμ_Ｔｒは、見本画像のＴ値の相加平均である。さらにμ_Ｉｒは、見本画像のＩ値の相加平均である。

さらに標準偏差についても、被処理画像および見本画像のそれぞれについて、色度成分および輝度成分であるＰ、Ｔ、Ｉ毎に求められるため、合計６つとなる。これは、以下の数２式により算出する。

数２式において、Ｐ_ｉ，ｊ、Ｔ_ｉ，ｊ、Ｉ_ｉ，ｊは、数１式と同様である。
そしてσ_Ｐｔは、被処理画像のＰ値の標準偏差である。またσ_Ｔｔは、被処理画像のＴ値の標準偏差である。さらにσ_Ｉｔは、被処理画像のＩ値の標準偏差である。
さらにσ_Ｐｒは、見本画像のＰ値の標準偏差である。またσ_Ｔｒは、見本画像のＴ値の標準偏差である。さらにσ_Ｉｒは、見本画像のＩ値の標準偏差である。

色度成分調整部１３は、色度成分の特徴量を使用し、被処理画像の色度成分を見本画像の色度成分に合わせ調整する。
ここでは、色度成分調整部１３は、被処理画像および見本画像の色度成分についての相加平均および標準偏差を使用して、被処理画像の各画素の相加平均および標準偏差を見本画像の相加平均および標準偏差に近づける処理を行う。

この処理は、例えば、以下の数３式および数４式により行う。このうち数３式は、Ｐ値についての算術式である。ここでＰ_i,jは、調整前の被処理画像の画像を構成する位置（ｉ、ｊ）のＰ値である。またＰ’_i,jは、調整後の被処理画像の画像を構成する位置（ｉ、ｊ）のＰ値である。
また数４式は、Ｔ値についての算術式である。ここでＴ_i,jは、調整前の被処理画像の画像を構成する位置（ｉ、ｊ）のＴ値である。またＴ’_i,jは、調整後の被処理画像の画像を構成する位置（ｉ、ｊ）のＴ値である。
これにより被処理画像の画像を構成する位置（ｉ、ｊ）の画素について、見本画像に合わせた色度成分（Ｐ、Ｔ）の調整が行われる。

図３（ａ）は、画像処理前における被処理画像および見本画像のヒストグラムを概念的に示した図である。
図３（ａ）で横軸は、色度成分を表し、Ｐ値またはＴ値である。そして縦軸は、頻度（画素数）を表す。ここで実線は、被処理画像のヒストグラムであり、点線は、見本画像のヒストグラムである。この場合、画像処理前であるため、被処理画像の相加平均μ_Ｐｔ（またはμ_Ｔｔ）と見本画像の相加平均μ_Ｐｒ（またはμ_Ｔｒ）とは異なる。また被処理画像の標準偏差σ_Ｐｔ（またはσ_Ｔｔ）と見本画像の標準偏差σ_Ｐｒ（またはσ_Ｔｒ）とは異なる。

図３（ｂ）は、色度成分調整部１３で色度成分を調整した後における被処理画像のヒストグラムを概念的に示した図である。
図３（ｂ）で横軸は、色度成分を表し、Ｐ値またはＴ値である。そして縦軸は、頻度（画素数）を表す。この場合、色度成分調整部１３で色度成分を調整した後では、被処理画像の相加平均と見本画像の相加平均とは一致する。また被処理画像の標準偏差と見本画像の標準偏差とは一致する。

輝度成分調整部１４は、輝度成分の特徴量を使用し、被処理画像の輝度成分を見本画像の輝度成分に合わせ調整する。
この処理は、例えば、以下の数５式により行う。ここでＩ_i,jは、調整前の被処理画像の画像を構成する位置（ｉ、ｊ）のＩ値である。またＩ’_i,jは、調整後の被処理画像の画像を構成する位置（ｉ、ｊ）のＩ値である。

ただし本実施の形態では、輝度成分調整部１４は、暗部領域では、調整の際の調整量を暗部領域以外の領域（非暗部領域）に対して行う調整を適用したときの調整量より小さくする。なお暗部領域は、例えば、ＩＰＴ色空間の全輝度レンジ（０〜１）の１０％（０≦Ｉ_i,j≦０．１）となるまでの範囲とする。
この処理は、例えば、以下の数６式により行う。ここでは、暗部領域の調整について単調増加する二次関数を使用している。またｘは、暗部領域と非暗部領域との境界となる閾値であり、上述した例では、０．１となる。

図４は、輝度成分調整部１４が行う輝度調整を調整トーンカーブとして表した図である。
ここで横軸は、調整前のＩ値（Ｉ_i,j）を表し、縦軸は、調整後のＩ値（Ｉ’_i,j）を表わす。
ここでは、Ｉ_i,jがｘより大きいときには、数５式により輝度成分の調整を行い、またＩ_i,jがｘ以下のときには、数６式により輝度成分の調整を行う場合を示している。Ｉ_i,jがｘより大きいときは、調整トーンカーブは、Ｌ１で示す直線状となる。対してＩ_i,jがｘ以下のときは、Ｌ１’で示した数５式による調整トーンカーブではなく、Ｌ２で示した数６式による調整トーンカーブとなる。このとき調整量は、実線で示した調整トーンカーブと一点鎖線との図中上下方向の差となる。そして暗部領域において、Ｌ１’とＬ２とを比較すると、Ｌ１’よりもＬ２の方が、一点鎖線に接近しており、調整の際の調整量が小さくなることがわかる。つまり図示する調整トーンカーブは、暗部領域における調整量は、非暗部領域に対して行う調整を適用したときの調整量より小さくなることがわかる。

以上説明したＰ’_i,j、Ｔ’_i,j、Ｉ’_i,jが画像処理後の被処理画像の画像データとなる。この画像データは、非暗部領域では、画像の印象が見本画像に一致するものとなる。また暗部領域については、画素値の変化を抑制する画像処理を行い、暗部領域の画像が自然となる。

なお実際には、画像処理後の画像データであるＰ’_i,j、Ｔ’_i,j、Ｉ’_i,jを色変換部１１で取得した入力画像データの形式に再変換して表示装置に出力する。即ち、ＩＰＴデータをＲＧＢデータに戻す。そして表示装置では、画像処理後の被処理画像が表示装置に表示される。

［第２の実施形態］
次に第２の実施形態について説明を行なう。
第１の実施形態では、閾値ｘを予め定められた固定値とし、暗部領域として扱うＩ値の範囲を予め定められた範囲としていたが、これに限られるものではない。本実施の形態では、被処理画像に基づき閾値ｘの値を可変とする。

本実施の形態の画像処理装置１の機能構成例については、図２と同様である。そして色変換部１１、特徴量抽出部１２、および色度成分調整部１３の機能は、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、輝度成分調整部１４について説明を行う。

本実施の形態の輝度成分調整部１４は、輝度成分を基に被処理画像の画素について輝度が小さい順で並べたときに、輝度が小さい方から予め定められた比率に入る画素を暗部領域とする。この比率は、例えば、１０％である。

図５は、第２の実施形態の暗部領域の決定方法について説明した図である。
図５は、被処理画像の輝度ヒストグラムであり、横軸は、輝度成分を表し、縦軸は、頻度（画素数）を表す。
そして輝度が小さい（暗い）方から比率が全体に対して１０％に入る画素について暗部領域とする。この場合、閾値ｘは、例えば、０．２となる。
この後、輝度成分調整部１４は、上述したように数５式、数６式を使用して被処理画像の輝度調整を行う。

［第３の実施形態］
次に第３の実施形態について説明を行なう。
本実施の形態でも画像処理装置１の各部の機能は、輝度成分調整部１４を除き、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、輝度成分調整部１４について説明を行う。

本実施の形態の輝度成分調整部１４は、被処理画像の画素の輝度と見本画像の画素の輝度を比較することで暗部領域を決定する。

図６は、第３の実施形態の暗部領域の決定方法について説明した図である。
図６は、被処理画像の輝度ヒストグラムと見本画像の輝度ヒストグラムの双方を重ねた図である。ここで横軸は、輝度成分を表し、縦軸は、頻度（画素数）を表す。
本実施の形態では、見本画像の輝度ヒストグラムにおいてその輝度の相加平均μ_Ｉｒから見本画像の輝度ヒストグラムの半値幅を引いた値を閾値ｘとする。この場合、相加平均μ_Ｉｒが、例えば、０．５であり、半値幅が０．３だったとすると、ｘ＝０．５−０．３＝０．２となる。被処理画像のＩ値（Ｉ_i,j）が０．２以下の画素を暗部領域とする。

上述した例では、被処理画像と見本画像の輝度ヒストグラムを直接比較することで被処理画像の暗部領域を決定したが、これに限られるものではない。
例えば、被処理画像と見本画像の輝度ヒストグラムを混合ガウス分布のような統計的確率密度関数で近似し、得られたガウス分布の集合を比較してもよい。被処理画像と見本画像の輝度ヒストグラムを混合ガウス分布に近似するには、例えばＥＭアルゴリズムを使用する。

図７は、輝度ヒストグラムを混合ガウス分布で近似した例を示した図である。図７では、混合ガウス分布を実線で図示している。ここでは、輝度ヒストグラムは、６つのガウス分布の集合として近似している。

被処理画像と見本画像の輝度ヒストグラムを混合ガウス分布で近似した後は、例えば、見本画像の方の混合ガウス分布の中で、最低明度値を含むガウス分布を見つける。これは、図７では、図中最も左側のガウス分布が該当する。そしてこのガウス分布でピークとなる輝度以下の輝度でピークとなるガウス分布を被処理画像の混合ガウス分布の中から見つける。そしてこのガウス分布の部分を暗部領域とする。

［第４の実施形態］
次に第４の実施形態について説明を行なう。
本実施の形態では、第１の実施形態〜第３の実施形態に加えて、特徴量抽出部１２の機能が第１の実施形態と異なる。
第１の実施形態では、特徴量抽出部１２は、見本画像を構成する全画素を対象として、特徴量を抽出したが、第４の実施形態では、特徴量抽出部１２は、暗部領域については、特徴量を抽出する対象とはせず、非暗部領域について対象として特徴量を抽出する。そのため特徴量抽出部１２は、非暗部領域から特徴量を抽出し、前記暗部領域からは特徴量を抽出しない処理を行う。

以上説明した第１の実施形態では、被処理画像を画像処理した後に、画像全体の印象が見本画像と一致する。また画像処理した後の暗部領域の輝度があまり変化しない。よって輝度が大きく変化しやすく、その結果、画質が劣化しやすい従来の方法に比較して、暗部領域に対してもより自然な処理結果となる。
また第２の実施形態では、被処理画像に応じた暗部領域を設定する。その結果、画像処理後の処理結果がより自然となる。
さらに第３の実施形態では、被処理画像と見本画像の組み合わせに応じた暗部領域を設定する。その結果、画像処理後の処理結果がより自然となる。
またユーザは、暗部領域より非暗部領域からより強い印象を受ける。よって第４の実施形態では、見本画像の特徴量を抽出する際に、非暗部領域から特徴量を抽出し、暗部領域からは特徴量を抽出しないようにすることで、見本画像について、よりユーザの印象を反映した特徴量が抽出される。

＜プログラムの説明＞
なお本実施の形態における画像処理装置１が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、画像処理装置１の内部に設けられた図示しないＣＰＵが、画像処理装置１の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よって画像処理装置１が行なう処理は、コンピュータに、画像の印象を見本画像に合わせる画像処理を行なう被処理画像および見本画像について、色度成分および輝度成分を取得する成分取得機能と、被処理画像および見本画像について、色度成分および輝度成分の特徴量を抽出する特徴量抽出機能と、色度成分の特徴量を使用し、被処理画像の色度成分を見本画像の色度成分に合わせ調整する色度成分調整機能と、輝度成分の特徴量を使用し、暗部領域以外の非暗部領域では、被処理画像の輝度成分を見本画像の輝度成分に合わせ調整し、暗部領域では、調整の際の調整量を非暗部領域に対して行う調整を適用したときの調整量より小さくする輝度成分調整機能と、を実現させるプログラムとして捉えることもできる。

また上述した例では、平均として相加平均を使用したが、これに限られるものではなく、相乗平均等であってもよい。また上述した例では、散布度として標準偏差を使用したが、これに限られるものではなく、二乗平均平方根、分散など種々の指標を用いてもよい。

さらに上述した例では、色変換部１１で、ＲＧＢデータをＩＰＴデータに変換したが、色度成分と輝度成分に分離できる色空間での色度データであれば、これに限られるものではない。例えば、ＩＰＴデータの代わりにＣＩＥＬ^＊ａ^＊ｂ^＊データ、Ｌαβデータ、ＣＡＭＯ２データ、ＨＳＶデータ等に変換してもよい。ただしＣＩＥＬ^＊ａ^＊ｂ^＊色空間などのユーザの知覚量と均等な色空間を利用したり、ユーザの心理物理的な見えを考慮したＣＩＥＣＡＭ２やｉＣＡＭによる色変換を利用することで、より適切な特徴量が取得でき、画像処理後の印象がより自然となりやすい。

そして暗部領域と非暗部領域を分けるのに、色空間中のノルムの比較、グラフカットなどの画像領域を分類する手法を用いてもよい。またこの際に、被処理画像および見本画像についてダイナミックレンジ調整を行なってもよい。これにより被処理画像の輝度ヒストグラムと見本画像の輝度ヒストグラムが大きく異なっていても画像処理後の印象がより自然となりやすい。
また暗部領域とされた画素の周囲に画素について、隣接する特定画素数以内の画素についても暗部領域とする処理を行ってもよい。

さらに上述した例では、暗部領域の調整について単調増加する二次関数を使用していたが、単調増加する関数であれば特に限られるものではない。例えば、一次関数、対数関数を用いてもよい。また色差均等色空間であるＣＩＥＬ^＊ａ^＊ｂ^＊色空間とＩＰＴ色空間との色空間同士の非線形性を考慮した曲線を使用してもよい。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理装置、１１…色変換部、１２…特徴量抽出部、１３…色度成分調整部、１４…輝度成分調整部、Ｈ…被処理画像、Ｍ…見本画像

Claims (5)

1. 被処理画像および見本画像の各々について、色度成分および輝度成分の特徴量を抽出する特徴量抽出部と、
   前記被処理画像の色度成分を前記見本画像の色度成分に合わせ調整する色度成分調整部と、
   非暗部領域では、前記被処理画像の輝度成分を前記見本画像の輝度成分に合わせ調整し、暗部領域では調整の際の調整量を当該非暗部領域のときの調整量よりも小さくする輝度成分調整部と、
   を備え、
   前記輝度成分調整部は、前記被処理画像の画素の輝度と前記見本画像の画素の輝度を比較することで暗部領域を決定する画像処理装置。
2. 前記特徴量抽出部は、前記被処理画像および前記見本画像を構成する各画素が有する画素値の平均および散布度を特徴量として算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量抽出部は、前記見本画像について、前記非暗部領域から特徴量を抽出し、前記暗部領域からは特徴量を抽出しないことを特徴とする請求項１または２に記載の画像処理装置。
4. 画像を表示する表示装置と、
   前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、
   を備え、
   前記画像処理装置は、
   被処理画像および見本画像の各々について、色度成分および輝度成分の特徴量を抽出する特徴量抽出部と、
   前記被処理画像の色度成分を前記見本画像の色度成分に合わせ調整する色度成分調整部と、
   非暗部領域では前記被処理画像の輝度成分を前記見本画像の輝度成分に合わせ調整し、暗部領域では調整の際の調整量を当該非暗部領域のときの調整量よりも小さくする輝度成分調整部と、
   を備え、
   前記輝度成分調整部は、前記被処理画像の画素の輝度と前記見本画像の画素の輝度を比較することで暗部領域を決定する画像処理システム。
5. コンピュータに、
   被処理画像および見本画像の各々について、色度成分および輝度成分の特徴量を抽出する特徴量抽出機能と、
   前記被処理画像の色度成分を前記見本画像の色度成分に合わせ調整する色度成分調整機能と、
   非暗部領域では前記被処理画像の輝度成分を前記見本画像の輝度成分に合わせ調整し、暗部領域では調整の際の調整量を当該非暗部領域のときの調整量よりも小さくする輝度成分調整機能と、
   を実現させ、
   前記輝度成分調整機能は、前記被処理画像の画素の輝度と前記見本画像の画素の輝度を比較することで暗部領域を決定するプログラム。

Images