JP6002469B2 - 画像処理方法、画像処理システム - Google Patents

Description

本発明は、画像処理方法及び画像処理システムに関する。

テレビ受像機などの大型表示装置から携帯電話などの小型表示装置に至るまで様々な表示装置が市場に普及している。付加価値がより高い製品が求められており、開発が進められている。近年では、より臨場感のある画像を再現するため、立体表示が可能な表示装置の開発が進められている。

人間が物体を立体として認識する生理的要因としては、両眼視差、輻輳、ピント調節、運動視差、像の大きさ、空間配置、明暗の差、陰影等が挙げられる。

表示装置では、立体表示方法として、両眼視差を利用した方式が多く用いられている。両眼視差を利用した方式としては、例えば、左目に視認される画像と右目に視認される画像を分離するための専用の眼鏡を用いる方式が挙げられる。また、専用の眼鏡を用いない方式としては、左目に視認される画像と右目に視認される画像を分離するための構成（視差バリア、レンチキュラーレンズ、マイクロレンズアレイなど）を表示部に追加し、裸眼での立体表示を可能にする方式がある（特許文献１等）。

特開２００５−２５８０１３号公報

上記に挙げた表示方式では、表示部への構成（視差バリアなど）の追加、又は専用の眼鏡が必要であるため、表示装置の作製コストや消費電力の増加に繋がる。

そこで、本発明の一態様では、フルカラーの２次元画像の立体感又は奥行き感を高める簡便な画像処理方法を提供することを目的の一とする。または、特別な構成を持たずに、フルカラーの２次元画像の立体感又は奥行き感を高める画像処理システムを提供することを目的の一とする。

人間は、画像に含まれる対象物と背景との色相の差が小さいときに、その画像を平面的に感じる。また、逆に人間は、画像に含まれる対象物と背景との色相の差が大きいときに、その画像に立体感又は奥行き感を得る。

なお、本明細書では、画像において、強調したい像又は鮮明にしたい像を「対象物」と呼び、該画像に含まれる対象物以外の像を「背景」と呼ぶ。

そこで、立体感又は奥行き感を得にくい画像を、立体感又は奥行き感を得やすい画像に変換する方法として、色相環上において対象物の平均色と反対側の位置（十分に離れた位置）にある色（反転色、反対色、又は補色）を用いて背景を表示する方法に思い至った。なお、本明細書中において、対象物の平均色（対象物領域の平均色とも記す）とは、対象物領域を構成する全ての画素の平均の色である。

なお、本明細書では、対象画像において、対象物を構成する複数の画素（画素群）を「対象物領域」、背景を構成する複数の画素（画素群）を「背景領域」と呼ぶ。

すなわち、本発明の一態様は、対象画像を構成する全ての画素を対象物領域と背景領域とに区分する第１のステップと、該対象物領域の平均色を求め、該平均色から反転色を求める第２のステップと、該背景領域を構成する全ての画素に、該反転色を一定の割合でそれぞれ付与する第３のステップと、を有する画像処理方法である。

また、本発明の一態様は、ＲＧＢカラーモデルを用いて表すと、（Ｎ＋１）階調で表される対象画像を構成する全ての画素を対象物領域と背景領域とに区分する第１のステップと、該対象物領域に含まれる画素の色全てから、平均色（Ｒ_１，Ｇ_１，Ｂ_１）を算出し、該平均色（Ｒ_１，Ｇ_１，Ｂ_１）から、（Ｎ−Ｒ_１，Ｎ−Ｇ_１，Ｎ−Ｂ_１）で表される反転色（Ｒ_２，Ｇ_２，Ｂ_２）を算出する第２のステップと、該背景領域に含まれる画素（ｘ，ｙ）の色（Ｒ_ｘｙ，Ｇ_ｘｙ，Ｂ_ｘｙ）に該反転色（Ｒ_２，Ｇ_２，Ｂ_２）を一定の割合でそれぞれ付与し、処理画像における背景領域の画素（ｘ，ｙ）の色（Ｒ’_ｘｙ，Ｇ’_ｘｙ，Ｂ’_ｘｙ）を算出する、数式（１）で表される第３のステップと、を有する画像処理方法である。

なお、本明細書では、対象画像に本発明の一態様の画像処理を施すことで得た画像を処理画像と記載する。

上記画像処理方法において、数式（１）におけるｋが０．２以上０．８以下であると、該画像処理の効果が高いため、好ましい。

上記画像処理方法において、該第３のステップの後に、第４のステップとして、ガンマ補正処理、コントラスト強調処理、鮮鋭化処理、又は輪郭強調処理を行うことが好ましい。

第４のステップを行うことで、処理画像における対象物を、さらに鮮明にする、又は強調することができる。

また、本発明の一態様は、上記画像処理方法を用いて処理画像を作成する処理部を備える画像処理システムである。また、該画像処理システムは、該処理画像を表示する表示部を備える構成としても良い。また、該画像処理システムは、該処理画像を保存する記憶部を備える構成としても良い。

本発明の一態様では、フルカラーの２次元画像の立体感又は奥行き感を高める簡便な画像処理方法を提供することができる。または、特別な構成を持たずに、フルカラーの２次元画像の立体感又は奥行き感を高める画像処理システムを提供することができる。

本発明の一態様の画像処理システムを示す図。 本発明の一態様の画像処理方法を示す図。 本発明の一態様の画像処理方法を示す図。 本発明の一態様の画像処理方法に係る画像の図。 本発明の一態様の画像処理方法を示す図。 本発明の一態様の画像処理方法を示す図。 実施例１に係る図。 実施例１に係る図。

実施の形態及び実施例について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態及び実施例の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。

（実施の形態１）
本実施の形態では、本発明の一態様の画像処理方法及び画像処理システムについて図１乃至図４、図６（Ａ）を用いて説明する。

本発明の一態様の画像処理システムは、本発明の一態様の画像処理方法を利用して、処理画像を作成することができる処理部を備える。本発明の一態様の画像処理システムとしては、例えば、該処理部と、該処理部から出力された画像データを表示する表示部とを有する表示装置や、該処理部と、該処理部から出力された画像データを記憶する記憶部とを有する記憶装置などが挙げられる。本実施の形態では、本発明の一態様の画像処理システムとして、図１に示す表示装置１００を例に挙げ、説明する。

≪表示装置１００≫
図１に示す表示装置１００は、表示部１０１及び処理部１０２を有する。

＜表示部１０１＞
表示部１０１は、処理部１０２から出力された画像データを表示する機能を備える。表示部１０１は、２次元画像を表示する。表示部１０１は、静止画像、又は複数の画像で構成される動画像を表示する。

表示部１０１としては、例えば、液晶表示装置、エレクトロルミネセンス表示装置、プラズマディスプレイなどを用いることができる。表示部１０１は、複数の画素１２０を有する画素部１２１、走査線駆動回路１２２、信号線駆動回路１２３などから構成される。

画素部１２１には、マトリクス状に画素１２０が配置されている。各画素１２０は、走査線１２５及び信号線１２６と電気的に接続している。このことにより、各画素１２０は、走査線駆動回路１２２及び信号線駆動回路１２３と電気的に接続している。

処理部１０２から入力される画像データにより、各画素１２０の色が決定される。表示を行う画素１２０を選択するための信号が、走査線駆動回路１２２により走査線１２５に入力され、画像データが、信号線駆動回路１２３により信号線１２６に入力される。選択された画素１２０は表示を行う。

＜処理部１０２＞
処理部１０２は、読み込んだ対象画像から対象物を抽出して、対象物を構成する画素群でなる対象物領域と、それ以外の画素群でなる背景領域とに区分する機能を備える。また、背景領域に含まれる画素に画像処理を行い、処理画像を作成する機能を備える。

処理部１０２は、演算処理部１１１、データ記憶部１１２、制御部１１３、入力側インターフェイス部１１４、出力側インターフェイス部１１５などから構成される。

演算処理部１１１では、画像データの演算処理等の各種演算処理を行う。例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理用演算回路等を含む。

データ記憶部１１２は、処理部１０２で画像処理を行うためのデータを記憶する各種の記憶回路を有する。例えば、演算処理部１１１が演算処理を実行するコンピュータプログラム、画像処理用フィルタのデータ及びルックアップテーブルなどを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算処理部１１１が算出した演算結果を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、処理部１０２に入力された画像データを記憶するメモリ回路等が、データ記憶部１１２に含まれる。

制御部１１３は、処理部１０２の回路を制御するための回路を含む。例えば、データ記憶部１１２のデータの書き込みを制御する書き込み制御回路、該データの読み出しを制御する読み出し制御回路等が、制御部１１３に含まれる。

入力側インターフェイス部１１４では、処理部１０２に接続される外部機器から画像データ等のデータ１０を処理部１０２に取り込むために、該外部機器と信号のやりとりを行う。該外部機器は、画像データを出力する機器であればよく、例えば、カメラなどの撮影装置、ハードディスクやＤＶＤなどの記憶媒体に記録されている画像データを再生する画像再生装置等が挙げられる。

処理部１０２で画像データを処理するためには、該画像データがデジタルデータであることが必要である。例えば、処理部１０２において、アナログデータである画像データを処理したい場合は、入力側インターフェイス部１１４にＡ／Ｄ変換回路（アナログ−デジタル変換回路）を設ければ良い。

出力側インターフェイス部１１５では、表示部１０１へ画像データ１１を出力するために、表示部１０１と信号のやりとりを行う。

例えば、表示部１０１にアナログ画像信号を出力するためには、出力側インターフェイス部１１５にＤ／Ａ変換回路（デジタル−アナログ変換回路）を設ければ良い。

≪画像処理方法≫
本発明の一態様の画像処理方法について説明する。図２、３、図６（Ａ）に、図１に示した処理部１０２で実行される画像処理方法のフローチャートを示す。

本実施の形態の画像処理方法では、対象画像を構成する全ての画素を対象物領域と背景領域とに区分する第１のステップ（図２（Ａ）に示すステップＡ１）と、該対象物領域の平均色を求め、該平均色から反転色を求める第２のステップ（図２（Ａ）に示すステップＡ２）と、該背景領域を構成する全ての画素に、該反転色を一定の割合でそれぞれ付与する第３のステップ（図２（Ａ）に示すステップＡ３）と、を有する。

本発明の一態様の画像処理を施した処理画像は、色相環上における対象物の色と背景の色とが、対象画像に比べて離れた位置にあるため、視認者が該処理画像を見たときに、対象物と背景とに奥行き感（前後感）を得ることができる。つまり、該処理画像は、対象画像に比べて立体感又は奥行き感が高い。

＜第１のステップＡ１：対象物領域と背景領域とに区分＞
まず、対象画像の画素を対象物領域と背景領域とに区分する。対象画像の画素を対象物領域と背景領域とに区分する方法は特に限定されない。

本発明の一態様では、対象物と背景とからなる、フルカラーの２次元画像である対象画像と、該背景の一部を含む画像（比較画像と記す）の差分をとり、その差分が閾値以上（または閾値より大きい）である領域を対象物領域、閾値未満（または閾値以下）である領域を背景領域に区分する。該閾値は、対象物領域と背景領域とが区分できる値であれば良い。画像処理を行う者が、対象物領域と背景領域とを区分するのに適していると判断した値を閾値として用いれば良い。

具体的には、対象画像は、写真などの静止画像でも良いし、動画像を構成する複数のフレーム画像から選択しても良い。

また、比較画像には、対象画像と同一又は概略同一の焦点条件で撮影し、かつ対象画像とは異なる画像を用いることができる。比較画像を複数用いる場合には、対象画像に含まれる対象物が比較画像に含まれていても良い。したがって、比較画像は、写真などの静止画像の他、動画像を構成する複数のフレーム画像の一を対象画像とする場合は、その前後の画像から選択しても良い。

次に、対象画像と比較画像の差分の算出方法について具体的に説明する。

本実施の形態の第１のステップＡ１の詳細（ステップＢ１乃至ステップＢ６）を図３に示す。

［ステップＢ１：対象画像及び比較画像の読み込み］
ステップＢ１では、処理部１０２に対象画像及び比較画像を読み込む。読み込んだ対象画像及び比較画像のデータは、データ記憶部１１２に書き込まれる。対象画像及び比較画像はそれぞれ、外部機器から処理部１０２に入力することができる。また、データ記憶部１１２にあらかじめ記憶されている画像を比較画像として用いても良い。

本実施の形態では、対象画像及び比較画像にそれぞれ静止画像を用いる場合について説明する。本実施の形態における対象画像（図４（Ａ））は、対象物と背景とからなる画像であり、比較画像（図４（Ｂ））は、該背景のみからなる画像（対象画像と同じ焦点条件で撮影した背景のみの画像、つまり対象物が含まれていない画像）である。

なお、対象画像及び比較画像を、動画像を構成する複数のフレーム画像から選択する例は、実施の形態２にて詳述する。

［ステップＢ２：合計値及び処理カウンタ値のリセット］
後のステップにて、対象画像における、対象物領域の全ての画素のＲＧＢそれぞれの階調値の和を合計値Ｓｕｍ（Ｒ）、Ｓｕｍ（Ｇ）、Ｓｕｍ（Ｂ）として求める。また、対象物領域の画素の総数を、処理カウンタ値ｃｏｕｎｔｅｒとして求める。ここでは、合計値Ｓｕｍ（Ｒ）、Ｓｕｍ（Ｇ）、Ｓｕｍ（Ｂ）及び処理カウンタ値ｃｏｕｎｔｅｒが、０以外の値である場合は、それぞれ０にする。既に０であった場合は、このステップを省略することができる。なお、ステップＢ１の前に、ステップＢ２を行っても良い。

［ステップＢ３：画素（ｘ，ｙ）は、対象物領域の画素であるか？］
ステップＢ３では、比較画像の画素（ｘ，ｙ）と対象画像の画素（ｘ，ｙ）のそれぞれの色要素について、階調値の差分の絶対値が閾値以上であるか否かを判定する。ステップＢ３の詳細（ステップＢ３−１乃至ステップＢ３−３）を図６（Ａ）に示す。

画素（ｘ，ｙ）のデータは、ある一色を特定するためのデータを含む。表示部１０１の構成が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の色要素で１つの色を表現する構成の場合、画像データの最小単位である画素（ｘ，ｙ）のデータは、Ｒ、Ｇ、Ｂそれぞれの階調値を有する。なお、色要素は、ＲＧＢ以外の色を用いてもよい。例えば、イエロー、シアン、マゼンタで構成されてもよい。

本実施の形態では、画素（ｘ，ｙ）のデータは、Ｒ、Ｇ、Ｂの３色（３つの色要素）の階調値で構成されているものとする。

なお、対象画像から、対象物領域をより正確に抽出にするため、対象画像又は／及び比較画像に画像処理を行ってから、マスク画像を作成してもよい。このような画像処理には、平均化処理、水平方向の線形１次微分フィルタを用いたフィルタ処理、エッジ検出処理、及びメディアンフィルタ等を用いたノイズ除去処理などがある。

｛ステップＢ３−１：ΔＲ（ｘ，ｙ）、ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）の算出｝
ステップＢ３では、まず、３つの差分値ΔＲ（ｘ，ｙ）、ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）が算出される。ここで、差分値ΔＲ（ｘ，ｙ）は、比較画像の画素（ｘ，ｙ）のＲの階調値と対象画像の画素（ｘ，ｙ）のＲの階調値の差分の絶対値であり、差分値ΔＧ（ｘ，ｙ）は、比較画像の画素（ｘ，ｙ）のＧの階調値と対象画像の画素（ｘ，ｙ）のＧの階調値の差分の絶対値であり、差分値ΔＢ（ｘ，ｙ）は、比較画像の画素（ｘ，ｙ）のＢの階調値と対象画像の画素（ｘ，ｙ）のＢの階調値の差分の絶対値である。

｛ステップＢ３−２：α_Ｒ（ｘ，ｙ）、α_Ｇ（ｘ，ｙ）、α_Ｂ（ｘ，ｙ）の決定｝
次に、差分値ΔＲ（ｘ，ｙ）、ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）それぞれについて、その値が、閾値（Ｒ_ｔｈ、Ｇ_ｔｈ、Ｂ_ｔｈ）以上であるか否かを判定する。

差分値が閾値以上であれば、階調判定値を１に設定し、差分値が閾値未満であれば、階調判定値を０に設定する。つまり、ΔＲ（ｘ，ｙ）≧Ｒ_ｔｈの場合、赤色の階調判定値α_Ｒ（ｘ，ｙ）＝１となり、ΔＲ（ｘ，ｙ）＜Ｒ_ｔｈの場合、赤色の階調判定値α_Ｒ（ｘ，ｙ）＝０となる。緑色、青色についても同様であり、差分値ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）が閾値Ｇ_ｔｈ、Ｂ_ｔｈ以上であるか、未満であるかによって、その階調判定値α_Ｇ（ｘ，ｙ）、α_Ｂ（ｘ，ｙ）が”１”か”０”に決定される。

ここでは、画素（ｘ，ｙ）が対象物領域の画素であるかの判別に、２つの画像（対象画像及び比較画像）間の各色要素の階調値の変化量を用いている。閾値（Ｒ_ｔｈ、Ｇ_ｔｈ、Ｂ_ｔｈ）は、画素（ｘ，ｙ）が対象物領域に含まれるか背景領域に含まれるかを区別するための階調値の変化量の閾値である。閾値Ｒ_ｔｈ、Ｇ_ｔｈ、Ｂ_ｔｈは、それぞれ独立に定めることができる。

｛ステップＢ３−３：差分判定値Ｄ（ｘ，ｙ）の決定｝
次に、ＲＧＢの階調判定値の和が２以上であるか否かを判定する。α_Ｒ（ｘ，ｙ）＋α_Ｇ（ｘ，ｙ）＋α_Ｂ（ｘ，ｙ）≧２であれば、画素（ｘ，ｙ）の差分判定値Ｄ（ｘ，ｙ）を１に設定し、α_Ｒ（ｘ，ｙ）＋α_Ｇ（ｘ，ｙ）＋α_Ｂ（ｘ，ｙ）＜２であれば、差分判定値Ｄ（ｘ，ｙ）を０に設定する。

ここでは、差分判定値Ｄ（ｘ，ｙ）の値を決定する条件をＲＧＢの階調判定値の和が２以上としたが、その和が１以上であるという条件でもよいし、その和が３に等しいという条件でもよい。

［ステップＢ４−１：対象画像の画素（ｘ，ｙ）を対象物領域の画素と判断する場合］
ステップＢ３にて、差分判定値Ｄ（ｘ，ｙ）＝１となった場合、該対象画像の画素（ｘ，ｙ）は、対象物領域の画素と判断される。また、マスク画像の画素（ｘ，ｙ）は、白を表示する（ステップＢ４−１ａ）。

さらに、ステップＢ３にて、差分判定値Ｄ（ｘ，ｙ）＝１となった場合は、対象画像の画素（ｘ，ｙ）のＲＧＢの階調値をそれぞれ合計値Ｓｕｍ（Ｒ）、Ｓｕｍ（Ｇ）、Ｓｕｍ（Ｂ）に加え、かつ、処理カウンタ値ｃｏｕｎｔｅｒに１を加える（ステップＢ４−１ｂ）。ステップＢ４−１ｂを行うことで、後のステップＢ６にて、対象物領域の反転色を算出することができる。

［ステップＢ４−２：対象画像の画素（ｘ，ｙ）を背景領域の画素と判断する場合］
ステップＢ３にて、差分判定値Ｄ（ｘ，ｙ）＝０となった場合、該対象画像の画素（ｘ，ｙ）は、背景領域の画素と判断される。また、マスク画像の画素（ｘ，ｙ）は、黒を表示する。

［ステップＢ５：全ての画素の階調値の差分を判定したか？］
対象画像の画素全てについて、比較画像の画素との各色要素の階調値の差分の絶対値を算出し、該差分の絶対値が閾値以上か否かの判定を行うまで、ステップＢ３乃至Ｂ５が繰り返し実行される。

［ステップＢ６：マスク画像の作成］
全画素について、マスク画像の色（黒又は白）を決定することで、図４（Ｃ）に示すマスク画像が作成される。図４（Ｃ）に示すマスク画像は、対象物領域（白表示領域）と背景領域（黒表示領域）とでなる２値の画像である。図４（Ｃ）に示すマスク画像を作成することで、対象画像が対象物領域と背景領域とに区分される。なお、ステップＢ６の前に、後述するステップＡ２を行っても良い。

以上のステップＢ１乃至ステップＢ６により、第１のステップＡ１が完了する。

＜第２のステップＡ２：対象物領域の平均色及び反転色の算出＞
次に、対象物領域の平均色及び反転色の算出を行う。

第２のステップＡ２では、第１のステップＡ１で対象物領域に区分された全ての画素の色の平均を求めることで、対象物領域の平均色を算出し、該平均色から反転色を算出する。

（平均色）
ステップＢ４−１ｂの処理によって、対象画像における、対象物領域の全ての画素のＲＧＢそれぞれの階調値の和が合計値Ｓｕｍ（Ｒ）、Ｓｕｍ（Ｇ）、Ｓｕｍ（Ｂ）として求められる。また、対象物領域の画素の総数が、処理カウンタ値ｃｏｕｎｔｅｒとして求められる。ステップＡ２では、合計値Ｓｕｍ（Ｒ）、Ｓｕｍ（Ｇ）、Ｓｕｍ（Ｂ）をそれぞれ処理カウンタ値ｃｏｕｎｔｅｒで割ることで、対象画像の対象物領域を構成する全ての画素の平均の色である対象物領域の平均色を算出する。ここでは、対象物領域の画素の、（Ｎ＋１）階調におけるＲ、Ｇ、Ｂの階調値の平均値を、それぞれＲ_１、Ｇ_１、Ｂ_１と表し、平均色を（Ｒ_１，Ｇ_１，Ｂ_１）と表す。

なお、平均色は、対象画像の対象物領域の全ての画素におけるＲＧＢそれぞれの階調値の中央値であっても良い。該中央値の算出方法を以下に示す。

まず、ステップＢ４−１ｂで、対象物領域の全ての画素のＲＧＢの階調値をそれぞれ記録し、対象物領域の画素の総数を処理カウンタ値ｃｏｕｎｔｅｒとして求める。そして、ステップＡ２で、処理カウンタ値ｃｏｕｎｔｅｒの１／２の値Ｍを求める。また、ＲＧＢの階調値を昇順又は降順に並び替え、第Ｍ番目の値をそれぞれＲ_１，Ｇ_１，Ｂ_１とする。なお、処理カウンタ値ｃｏｕｎｔｅｒが奇数のときは、第（Ｍ＋０．５）番目の値又は第（Ｍ−０．５）番目の値を、対象物領域の平均色とすることができる。または、第（Ｍ＋０．５）番目の値及び第（Ｍ−０．５）番目の値の平均値を、対象物領域の平均色とすることができる。

（反転色）
さらに、対象物領域の平均色から、対象物領域の平均色の反転色を算出する。平均色（Ｒ_１，Ｇ_１，Ｂ_１）の反転色は、（Ｎ−Ｒ_１，Ｎ−Ｇ_１，Ｎ−Ｂ_１）で表すことができ、これを反転色（Ｒ_２，Ｇ_２，Ｂ_２）とする。

なお、実施例１にて後述するように、（Ｎ＋１）階調で表される対象画像において、対象物領域を構成する全ての画素の平均の色である対象物の平均色（Ｒ_１，Ｇ_１，Ｂ_１）と、該対象物の平均色の反転色（Ｒ_２，Ｇ_２，Ｂ_２）とが、数式（２）（３）を満たすと、本発明の一態様の画像処理方法によって、立体感又は奥行き感が特に高い処理画像を得ることができる。

＜第３のステップＡ３：背景領域に反転色の付与＞
次に、背景領域を構成する全ての画素に対し、第２のステップＡ２で算出した反転色を一定の割合でそれぞれ付与する。

具体的には、第１のステップＡ１で得られたマスク画像を用い、背景領域の画素であると判定された画素（ｘ，ｙ）に対して、第２のステップＡ２で得られた反転色を一定の割合で付与する。なお、対象物領域の画素であると判定された画素（ｘ，ｙ）には、該反転色は付与しない。

第３のステップＡ３の詳細（ステップＢ７乃至ステップＢ１０）を図２（Ｂ）に示す。

［ステップＢ７：マスク画像の画素（ｘ，ｙ）は黒表示か？］
ステップＢ７では、マスク画像の画素（ｘ，ｙ）が黒表示であるか白表示であるかを判定する。黒表示である場合は、ステップＢ８−１の処理に進み、白表示である場合は、ステップＢ８−２の処理に進む。

［ステップＢ８−１：マスク画像の画素（ｘ，ｙ）が黒表示である場合］
マスク画像の画素（ｘ，ｙ）が黒表示である場合（画素（ｘ，ｙ）が背景領域の画素である場合）、処理画像の画素（ｘ，ｙ）の色は、対象画像の画素（ｘ，ｙ）の色と、反転色とから決定される。具体的に、処理画像の背景領域の画素（ｘ，ｙ）の色（Ｒ’_ｘｙ，Ｇ’_ｘｙ，Ｂ’_ｘｙ）は、対象画像の画素（ｘ，ｙ）の色（Ｒ_ｘｙ，Ｇ_ｘｙ，Ｂ_ｘｙ）及び反転色（Ｒ_２，Ｇ_２，Ｂ_２）を用いて、数式（１）で表すことができる。

特に、数式（１）におけるｋが０．２以上０．８以下であると、画像処理の効果が高いため好ましい。

［ステップＢ８−２：マスク画像の画素（ｘ，ｙ）が白表示である場合］
マスク画像の画素（ｘ，ｙ）が白表示である場合（画素（ｘ，ｙ）が対象物領域の画素である場合）、処理画像の画素（ｘ，ｙ）の色は、対象画像の画素（ｘ，ｙ）の色とする。

［ステップＢ９：全画素の色が決定したか？］
処理画像の画素全ての色が決定するまで、ステップＢ７乃至Ｂ９が繰り返し実行される。

［ステップＢ１０：処理画像の出力］
全画素について、処理画像の色を決定することで、図４（Ｄ）に示す処理画像が作成される。以上に示したように、本発明の一態様の画像処理を対象画像に施すことで、処理画像を得ることができる。

本発明の一態様の画像処理方法で得られた処理画像に対して、さらに画像処理を行っても良い。具体的には、図２（Ｂ）におけるステップＢ１０の後に該画像処理を行っても良い。

このような画像処理としては、アンシャープマスキング処理等の鮮鋭化処理、コントラストを強調するコントラスト変換処理（コントラスト強調処理）、ガンマ補正処理、輪郭強調処理などが挙げられる。これら画像処理は、対象物を鮮明にする、強調する等の効果を持つ。

例えば、ガンマ補正処理は、画像を出力する機器のガンマ値（画像の階調の応答特性を示す数値）に応じて、画像の階調を補正する処理である。これにより、表示部では、処理部から出力される処理画像の情報に忠実な画像を表示することができる。

また、コントラスト強調処理は、色の明暗の差異を変化させる処理である。処理前の画素の階調値に対する処理後の画素の階調値のグラフの傾きを変化させることで、色の明暗の差異を変化させることができる。コントラストを強調するためには、該グラフの傾きを１より大きくすれば良い。例えば、処理前の画素の階調値ｘが０〜５０である場合、処理後の画素の階調値ｙが０〜１００（ｙ＝２ｘ、グラフの傾き２）である処理１や、処理後の画素の階調値ｙが０〜１５０（ｙ＝３ｘ、グラフの傾き３）である処理２を施すことで、色の明暗の差を大きくさせることができる。特に、グラフの傾きが大きいほど、明暗の差は大きくなる（処理１より処理２の方が色の明暗の差はより大きくなる）。

以上に示した、本発明の一態様の画像処理方法を用いて取得した処理画像では、対象画像に比べて、色相環上における対象物の色が、背景の色と離れた位置にあるため、視認者が該処理画像を見たときに、対象物と背景とに奥行き感（前後感）を得ることができる。よって、本発明の一態様では、対象画像から、該対象画像に比べて立体感又は奥行き感が高い処理画像を取得することができる。

（実施の形態２）
本実施の形態では、実施の形態１と異なり、動画像を構成する複数のフレーム画像から対象画像及び比較画像を選択し、対象画像を構成する全ての画素を対象物領域と背景領域とに区分する第１のステップと、該対象物領域の平均色を求め、該平均色から反転色を求める第２のステップと、該背景領域を構成する全ての画素に、該反転色を一定の割合でそれぞれ付与する第３のステップと、を有する画像処理方法について、図５及び図６（Ｂ）を用いて説明する。

動画像を構成する複数のフレーム画像では、連続する２枚のフレーム画像において、画像に変化がある部分がある。本実施の形態では、フレーム画像において、動きの変化がある閾値以上である（又はある閾値よりも大きい）像を「対象物」、その他の部分を「背景」とする。

対象画像が、動画像を構成する複数のフレーム画像の一つである場合、例えば、該対象画像と連続するフレーム画像を比較画像とすることができる。具体的には、対象画像ｆ_ａと時間的に連続するフレーム画像ｆ_ａ−１やフレーム画像ｆ_ａ＋１を比較画像とすることができる。また、比較画像は、該対象画像と連続するフレーム画像に限定されない。よって、対象画像ｆ_ａの比較画像として、フレーム画像ｆ_ａ−ｊやフレーム画像ｆ_ａ＋ｊ（ｊは自然数）を用いても良い。

本実施の形態では、対象画像及び比較画像として動画像を構成する複数のフレーム画像から選択して用いることで、実施の形態１と処理が異なるステップについて、詳述する。具体的には、図２（Ａ）に示す第１のステップＡ１について説明する。

本実施の形態の第１のステップＡ１の詳細（ステップＣ１乃至Ｃ６）を図５に示す。なお、第２のステップＡ２及び第３のステップＡ３は実施の形態１を参照することができる。

［ステップＣ１：対象画像及び比較画像の読み込み］
ステップＣ１では、処理部１０２に対象画像及び比較画像を読み込む。読み込んだ対象画像及び比較画像のデータは、データ記憶部１１２に書き込まれる。本実施の形態では、３枚のフレーム画像ｆ_ａ−１、ｆ_ａ、ｆ_ａ＋１を読み込む（比較画像ｆ_ａ−１及び比較画像ｆ_ａ＋１並びに対象画像ｆ_ａを読み込む）。

［ステップＣ２：合計値及び処理カウンタ値のリセット］
ここで、合計値Ｓｕｍ（Ｒ）、Ｓｕｍ（Ｇ）、Ｓｕｍ（Ｂ）及び処理カウンタ値ｃｏｕｎｔｅｒが、０以外の値である場合は、それぞれ０にする。既に０であった場合は、このステップを省略することができる。なお、ステップＣ１の前に、ステップＣ２を行っても良い。

［ステップＣ３：画素（ｘ，ｙ）は、対象物領域の画素であるか？］
ステップＣ３では、比較画像ｆ_ａ−１の画素（ｘ，ｙ）と対象画像ｆ_ａの画素（ｘ，ｙ）のそれぞれの色要素について、階調値の差分の絶対値が閾値以上であるか否かを判定する。かつ、比較画像ｆ_ａ＋１の画素（ｘ，ｙ）と対象画像ｆ_ａの画素（ｘ，ｙ）のＲＧＢそれぞれの階調値の差分の絶対値が閾値以上であるか否かを判定する。ステップＣ３の詳細を図６（Ｂ）に示す。

本実施の形態では、画素（ｘ，ｙ）のデータは、Ｒ、Ｇ、Ｂの３色の階調値で構成されているものとする。

｛ステップＣ３−１ａ：ΔＲ_１（ｘ，ｙ）、ΔＧ_１（ｘ，ｙ）、ΔＢ_１（ｘ，ｙ）の算出｝
比較画像ｆ_ａ−１と対象画像ｆ_ａから、３つの差分値ΔＲ_１（ｘ，ｙ）、ΔＧ_１（ｘ，ｙ）、ΔＢ_１（ｘ，ｙ）が算出される。ここで、差分値ΔＲ_１（ｘ，ｙ）は、比較画像ｆ_ａ−１の画素（ｘ，ｙ）のＲの階調値と対象画像ｆ_ａの画素（ｘ，ｙ）のＲの階調値の差分の絶対値であり、差分値ΔＧ_１（ｘ，ｙ）は、比較画像ｆ_ａ−１の画素（ｘ，ｙ）のＧの階調値と対象画像ｆ_ａの画素（ｘ，ｙ）のＧの階調値の差分の絶対値であり、差分値ΔＢ_１（ｘ，ｙ）は、比較画像ｆ_ａ−１の画素（ｘ，ｙ）のＢの階調値と対象画像ｆ_ａの画素（ｘ，ｙ）のＢの階調値の差分の絶対値である。

｛ステップＣ３−２ａ：α_Ｒ１（ｘ，ｙ）、α_Ｇ１（ｘ，ｙ）、α_Ｂ１（ｘ，ｙ）の決定｝
次に、差分値ΔＲ_１（ｘ，ｙ）、ΔＧ_１（ｘ，ｙ）、ΔＢ_１（ｘ，ｙ）それぞれについて、その値が、閾値（Ｒ_ｔｈ、Ｇ_ｔｈ、Ｂ_ｔｈ）以上であるか否かを判定する。

差分値が閾値以上であれば、階調判定値を１に設定し、差分値が閾値未満であれば、階調判定値を０に設定する。つまり、ΔＲ_１（ｘ，ｙ）≧Ｒ_ｔｈの場合、赤色の階調判定値α_Ｒ１（ｘ，ｙ）＝１となり、ΔＲ_１（ｘ，ｙ）＜Ｒ_ｔｈの場合、赤色の階調判定値α_Ｒ１（ｘ，ｙ）＝０となる。緑色、青色についても同様であり、差分値ΔＧ_１（ｘ，ｙ）、ΔＢ_１（ｘ，ｙ）が閾値Ｇ_ｔｈ、Ｂ_ｔｈ以上であるか、未満であるかによって、その階調判定値α_Ｇ１（ｘ，ｙ）、α_Ｂ１（ｘ，ｙ）が”１”か”０”に決定される。

｛ステップＣ３−３ａ：差分判定値Ｄ_１（ｘ，ｙ）の決定｝
次に、ＲＧＢの階調判定値の和が２以上であるか否かを判定する。α_Ｒ１（ｘ，ｙ）＋α_Ｇ１（ｘ，ｙ）＋α_Ｂ１（ｘ，ｙ）≧２であれば、画素（ｘ，ｙ）の差分判定値Ｄ_１（ｘ，ｙ）を１に設定し、α_Ｒ１（ｘ，ｙ）＋α_Ｇ１（ｘ，ｙ）＋α_Ｂ１（ｘ，ｙ）＜２であれば、差分判定値Ｄ_１（ｘ，ｙ）を０に設定する。

また、ここでは、差分判定値Ｄ_１（ｘ，ｙ）の値を決定する条件をＲＧＢの階調判定値の和が２以上としたが、その和が１以上であるという条件でもよいし、その和が３に等しいという条件でもよい。

｛ステップＣ３−１ｂ：ΔＲ_２（ｘ，ｙ）、ΔＧ_２（ｘ，ｙ）、ΔＢ_２（ｘ，ｙ）の算出｝
同様に、比較画像ｆ_ａ＋１と対象画像ｆ_ａから、３つの差分値ΔＲ_２（ｘ，ｙ）、ΔＧ_２（ｘ，ｙ）、ΔＢ_２（ｘ，ｙ）が算出される。ここで、差分値ΔＲ_２（ｘ，ｙ）は、比較画像ｆ_ａ＋１の画素（ｘ，ｙ）のＲの階調値と対象画像ｆ_ａの画素（ｘ，ｙ）のＲの階調値の差分の絶対値であり、差分値ΔＧ_２（ｘ，ｙ）は、比較画像ｆ_ａ＋１の画素（ｘ，ｙ）のＧの階調値と対象画像ｆ_ａの画素（ｘ，ｙ）のＧの階調値の差分の絶対値であり、差分値ΔＢ_２（ｘ，ｙ）は、比較画像ｆ_ａ＋１の画素（ｘ，ｙ）のＢの階調値と対象画像ｆ_ａの画素（ｘ，ｙ）のＢの階調値の差分の絶対値である。

｛ステップＣ３−２ｂ：α_Ｒ２（ｘ，ｙ）、α_Ｇ２（ｘ，ｙ）、α_Ｂ２（ｘ，ｙ）の決定｝
次に、差分値ΔＲ_２（ｘ，ｙ）、ΔＧ_２（ｘ，ｙ）、ΔＢ_２（ｘ，ｙ）それぞれについて、その値が、閾値（Ｒ_ｔｈ、Ｇ_ｔｈ、Ｂ_ｔｈ）以上であるか否かを判定し、階調判定値α_Ｒ２（ｘ，ｙ）、階調判定値α_Ｇ２（ｘ，ｙ）及び階調判定値α_Ｂ２（ｘ，ｙ）が”１”か”０”に決定される。

｛ステップＣ３−３ｂ：差分判定値Ｄ_２（ｘ，ｙ）の決定｝
次に、ＲＧＢの階調判定値の和が２以上であるか否かを判定する。α_Ｒ２（ｘ，ｙ）＋α_Ｇ２（ｘ，ｙ）＋α_Ｂ２（ｘ，ｙ）≧２であれば、画素（ｘ，ｙ）の差分判定値Ｄ_２（ｘ，ｙ）を１に設定し、α_Ｒ２（ｘ，ｙ）＋α_Ｇ２（ｘ，ｙ）＋α_Ｂ２（ｘ，ｙ）＜２であれば、差分判定値Ｄ_２（ｘ，ｙ）を０に設定する。

｛ステップＣ３−４：差分判定値Ｄ_１（ｘ，ｙ）の決定｝
そして、差分判定値Ｄ_１（ｘ，ｙ）及びＤ_２（ｘ，ｙ）が両方とも”１”であるか否かを判定する。差分判定値Ｄ_１（ｘ，ｙ）及びＤ_２（ｘ，ｙ）が両方とも”１”である場合には、ステップＣ４−１（Ｃ４−１ａ）に進む。差分判定値Ｄ_１（ｘ，ｙ）及びＤ_２（ｘ，ｙ）の少なくとも一方が”１”でない場合には、ステップＣ４−２に進む。

［ステップＣ４−１：対象画像の画素（ｘ，ｙ）が対象物領域の画素である場合］
ステップＣ３−４にて、差分判定値Ｄ_１（ｘ，ｙ）及びＤ_２（ｘ，ｙ）が両方とも”１”であると判定された場合（差分判定値Ｄ_１（ｘ，ｙ）＝１かつＤ_２（ｘ，ｙ）＝１）、マスク画像の画素（ｘ，ｙ）は、白を表示する（ステップＣ４−１ａ）。なお、該対象画像の画素（ｘ，ｙ）は、対象物領域の画素であると言える。

さらに、ステップＣ３−４にて、差分判定値Ｄ_１（ｘ，ｙ）及びＤ_２（ｘ，ｙ）が両方とも”１”であると判定された場合は、対象画像の画素（ｘ，ｙ）のＲＧＢの階調値をそれぞれ合計値Ｓｕｍ（Ｒ）、Ｓｕｍ（Ｇ）、Ｓｕｍ（Ｂ）に加え、かつ、処理カウンタ値ｃｏｕｎｔｅｒに１を加える（ステップＣ４−１ｂ）。ステップＣ４−１ｂを行うことで、後のステップＣ６にて、対象物領域の平均色及び反転色を算出することができる。

［ステップＣ４−２：対象画像の画素（ｘ，ｙ）が背景領域の画素である場合］
ステップＣ３−４にて、差分判定値Ｄ_１（ｘ，ｙ）及びＤ_２（ｘ，ｙ）の少なくとも一方が”１”でないと判定された場合（差分判定値Ｄ_１（ｘ，ｙ）＝０又は／及びＤ_２（ｘ，ｙ）＝０）、マスク画像の画素（ｘ，ｙ）は、黒を表示する。なお、該対象画像の画素（ｘ，ｙ）は、背景領域の画素であると言える。

［ステップＣ５：全ての画素の階調値の差分を判定したか？］
対象画像の画素全てについて、比較画像の画素との各色要素の階調値の差分の絶対値を算出し、該差分の絶対値が閾値以上か否かの判定を行うまで、ステップＣ３乃至Ｃ５が繰り返し実行される。

［ステップＣ６：マスク画像の作成］
全画素について、マスク画像の色（黒又は白）を決定することで、マスク画像が作成される。マスク画像は、対象物領域（白表示領域）と背景領域（黒表示領域）とでなる２値の画像である。マスク画像を作成することで、対象画像が対象物領域と背景領域とに区分される。なお、ステップＣ６の前に、第２のステップＡ２を行っても良い。

以上のステップＣ１乃至ステップＣ６により、本実施の形態の第１のステップＡ１が完了する。

その後、実施の形態１にて説明した第２のステップＡ２以降の処理を行えば良い。

以上、本実施の形態に示すように、本発明の一態様の画像処理方法では、対象画像及び比較画像を、動画像を構成する複数のフレーム画像から選択することができる。

本実施例では、本発明の一態様の画像処理方法を用いて作成した処理画像について図７、８を用いて説明する。

構成例１乃至４の本発明の一態様の画像処理前の画像における対象物領域の平均色（Ｒ_１，Ｇ_１，Ｂ_１）、反転色（Ｒ_２，Ｇ_２，Ｂ_２）及びΔ_１−２を表１に示す。

本実施例において、該平均色は対象物領域に含まれる全ての画素の２５６階調におけるＲＧＢのそれぞれの階調値の平均値である。

なお、Δ_１−２は、数式（２）を満たす。

（構成例１）
図７（Ａ−１）に本発明の一態様の画像処理前の画像（対象画像）を示し、図７（Ａ−２）に本発明の一態様の画像処理後の画像（処理画像）を示す。

また、図８（Ａ）に示すマスク画像は、構成例１の対象画像における対象物領域を白で示し、背景領域を黒で示した２値の画像である。

（構成例２）
図７（Ｂ−１）に本発明の一態様の画像処理前の画像（対象画像）を示し、図７（Ｂ−２）に本発明の一態様の画像処理後の画像（処理画像）を示す。

また、図８（Ａ）に示すマスク画像は、構成例２の対象画像における対象物領域を白で示し、背景領域を黒で示した２値の画像である。

（構成例３）
図７（Ｃ−１）に本発明の一態様の画像処理前の画像（対象画像）を示し、図７（Ｃ−２）に本発明の一態様の画像処理後の画像（処理画像）を示す。

また、図８（Ｂ）に示すマスク画像は、構成例３の対象画像における対象物領域を白で示し、背景領域を黒で示した２値の画像である。

（構成例４）
図７（Ｄ−１）に本発明の一態様の画像処理前の画像（対象画像）を示し、図７（Ｄ−２）に本発明の一態様の画像処理後の画像（処理画像）を示す。

また、図８（Ｃ）に示すマスク画像は、構成例４の対象画像における対象物領域を白で示し、背景領域を黒で示した２値の画像である。

構成例１乃至４における処理画像では、背景領域における画素（ｘ，ｙ）の色（Ｒ’_ｘｙ，Ｇ’_ｘｙ，Ｂ’_ｘｙ）は、対象画像の画素（ｘ，ｙ）の色（Ｒ_ｘｙ，Ｇ_ｘｙ，Ｂ_ｘｙ）及び反転色（Ｒ_２，Ｇ_２，Ｂ_２）を用いて、数式（４）で表すことができる。本実施例では、数式（４）に示すように、数式（１）におけるｋの値を０．５とした。対象画像の背景領域における画素の色と反転色の割合が１：１に近いほど、対象画像の背景の情報が失われず、かつ画像処理の効果が高い処理画像を得ることができる。

本実施例から、本発明の一態様の画像処理を対象画像に施すことで、該対象画像に比べて立体感又は奥行き感が高い処理画像を得られることが示された。

特に、構成例１乃至３は、本発明の一態様の画像処理方法の効果が高いことがわかった。構成例１乃至３は、いずれも数式（３）を満たすことを見出した。よって、本発明の一態様の画像処理方法の効果が高い（Ｎ＋１）階調で表される対象画像は、数式（３）を満たすことが示唆された。例えば、２５６階調で表される対象画像の場合、Δ_１−２が０より大きく、６１２以下であると、本発明の一態様の画像処理方法の効果が高いと示唆された。

１０ データ
１１ 画像データ
１００ 表示装置
１０１ 表示部
１０２ 処理部
１１１ 演算処理部
１１２ データ記憶部
１１３ 制御部
１１４ 入力側インターフェイス部
１１５ 出力側インターフェイス部
１２０ 画素
１２１ 画素部
１２２ 走査線駆動回路
１２３ 信号線駆動回路
１２５ 走査線
１２６ 信号線

Claims (10)

1. 対象画像に含まれる全ての画素を対象物領域と背景領域とに区分する第１のステップと、
   前記対象物領域に含まれる画素の色全てから、平均色（Ｒ _１ ，Ｇ _１ ，Ｂ _１ ）を算出し、前記平均色（Ｒ _１ ，Ｇ _１ ，Ｂ _１ ）から、（Ｎ−Ｒ _１ ，Ｎ−Ｇ _１ ，Ｎ−Ｂ _１ ）で表される反転色（Ｒ _２ ，Ｇ _２ ，Ｂ _２ ）を算出する、数式（１）で表される第２のステップと、
   前記背景領域に含まれる全ての画素に、前記反転色を一定の割合でそれぞれ付与することで処理画像を得る第３のステップと、を有する画像処理方法。
   
2. （Ｎ＋１）階調で表される対象画像に含まれる全ての画素を対象物領域と背景領域とに区分する第１のステップと、
   前記対象物領域に含まれる画素の色全てから、平均色（Ｒ_１，Ｇ_１，Ｂ_１）を算出し、前記平均色（Ｒ_１，Ｇ_１，Ｂ_１）から、（Ｎ−Ｒ_１，Ｎ−Ｇ_１，Ｎ−Ｂ_１）で表される反転色（Ｒ_２，Ｇ_２，Ｂ_２）を算出する、数式（１）で表される第２のステップと、
   前記背景領域に含まれる画素（ｘ，ｙ）の色（Ｒ_ｘｙ，Ｇ_ｘｙ，Ｂ_ｘｙ）に前記反転色（Ｒ_２，Ｇ_２，Ｂ_２）を一定の割合でそれぞれ付与し、処理画像における背景領域の画素（ｘ，ｙ）の色（Ｒ’_ｘｙ，Ｇ’_ｘｙ，Ｂ’_ｘｙ）を算出する、数式（２）で表される第３のステップと、を有する画像処理方法。
   
   
3. 請求項２において、
   前記数式（２）におけるｋの値が、０．２以上０．８以下である画像処理方法。
4. 請求項１乃至請求項３のいずれか一項において、
   前記第１のステップが、比較画像の画素と対象画像の画素のそれぞれの色について、階調値の差分の絶対値が閾値以上であるか否かを判定する工程を有する画像処理方法。
5. 請求項１乃至請求項４のいずれか一項において、
   前記平均色は、前記対象物領域に含まれる画素のそれぞれの色が有する階調値の中央値である画像処理方法。
6. 請求項１乃至請求項５のいずれか一項において、
   前記第１のステップが、区分された前記対象物領域に含まれる画素を白にし、区分された前記背景領域に含まれる画素を黒にすることでマスク画像を形成する工程を有し、
   前記第３のステップにおいて、前記マスク画像の表示が黒である画素が、前記背景領域に含まれる画素であるとする画像処理方法。
7. 請求項１乃至請求項６のいずれか一項において、
   前記第３のステップの後に、第４のステップとして、ガンマ補正処理、コントラスト強調処理、鮮鋭化処理、又は輪郭強調処理を行う画像処理方法。
8. 請求項１乃至請求項７のいずれか一項の画像処理方法を用いて前記処理画像を作成する処理部を備える画像処理システム。
9. 前記処理画像を表示する表示部を備える請求項８に記載の画像処理システム。
10. 前記処理画像を保存する記憶部を備える請求項７又は請求項８に記載の画像処理システム。