JP5903315B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。

従来、画像から所定の色を有する画像領域を抽出する様々な技術が開発されている。

例えば、画像の小領域ごとに算出される輝度や色差信号の平均値などの統計量に基づいて、一の小領域を種ブロックとして均等色領域抽出を行った後、種ブロックを他の小領域に変えて均等色領域抽出を再度行い、それぞれ抽出された均等色領域の重なり具合に応じて、抽出した領域が均等色領域かテクスチャ領域かを判定する技術がある（特許文献１など参照）。

特開２００１−６７４７５号公報

ところで、被写体の形状や光の具合により、たとえ単色の被写体であっても色が微妙に変化するが、人間は単色の被写体と認識することができる。しかしながら、従来技術では、均等色領域の重なり具合に基づいて判定することから、上記のような単色の被写体が、１つの画像領域としてではなく、複数の均等色領域やテクスチャ領域の画像領域に分割され、人間の色認識と異なる場合がある。

上記従来技術が有する問題に鑑み、本発明の目的は、人間の色認識に近い画像の領域分割が行える技術を提供することにある。

上記課題を解決するために、本発明を例示する画像処理装置の一態様は、画像を複数の画像領域に分割する画像分割部と、画像領域が有する色の色空間上の座標を求め、座標に対応する色調および色名を取得する演算部と、色調および色名に基づいて、画像領域と隣接する画像領域とを結合する領域結合部と、を備える。

また、領域結合部は、色調および色名とともに座標に基づいて、画像領域と隣接する画像領域とを結合してもよい。

また、領域結合部は、画像領域と隣接する画像領域とにおける色が無彩色で、色調が一致する場合、画像領域と隣接する画像領域とを結合してもよい。

また、領域結合部は、画像領域と隣接する画像領域とにおける色が有彩色で、色名が一致し且つ座標の明度および彩度それぞれの差異が所定の範囲内の場合、画像領域と隣接する画像領域とを結合してもよい。

また、領域結合部は、画像領域と隣接する画像領域とにおける色が有彩色で、色調が一致し且つ座標の色相の差異が所定の範囲内の場合、画像領域と隣接する画像領域とを結合してもよい。

本発明を例示する画像処理プログラムの一態様は、画像を読み込む入力手順、画像を複数の画像領域に分割する画像分割手順、画像領域が有する色の色空間上の座標を求め、座標に対応する色調および色名を取得する演算手順、色調および色名に基づいて、画像領域と隣接する画像領域とを結合する領域結合手順、をコンピュータに実行させる。

本発明によれば、人間の色認識に近い画像の領域分割が行える。

本発明の一の実施形態に係るコンピュータの構成を示すブロック図 一の実施形態に係るコンピュータによる画像処理を示すフローチャート 処理対象の画像の一例を示す図 画像分割および領域結合の一例を示す図 画像抽出の一例を示す図

図１は、本発明の一の実施形態に係る画像処理装置として動作するコンピュータ１００の構成を示す。

本実施形態のコンピュータ１００は、図１（ａ）に示すように、ＣＰＵ１０、記憶部２０、入出力インタフェース（入出力Ｉ／Ｆ）３０、バス４０から構成され、ＣＰＵ１０、記憶部２０、入出力Ｉ／Ｆ３０は、バス４０を介して情報伝達可能に接続される。また、コンピュータ１００には、入出力Ｉ／Ｆ３０を介して、画像処理の途中経過や処理結果を表示する出力装置５０、ユーザからの入力を受け付ける入力装置６０がそれぞれ接続される。出力装置５０には、一般的な液晶モニタやプリンタなどを、入力装置６０には、キーボードやマウスなどをそれぞれ適宜選択して使用することができる。

ＣＰＵ１０は、記憶部２０に記憶されている制御プログラムを実行し、コンピュータ１００の各部を制御するマイクロプロセッサである。また、ＣＰＵ１０は、入力装置６０を介して受け付けたユーザからの指示に基づいて、記憶部２０に記憶されている画像処理プログラムを実行することにより、図１（ｂ）に示すように、画像分割部１１、演算部１２、領域結合部１３として動作する。ＣＰＵ１０は、画像の処理結果を出力装置５０に表示する。なお、画像分割部１１、演算部１２、領域結合部１３の動作については後ほど説明する。

記憶部２０は、制御プログラムおよび画像処理プログラムとともに、処理対象の画像および後述する日本工業規格（ＪＩＳ）の色に関するデータなどを記憶する。記憶部２０に記憶されるプログラムや各種データは、バス４０を介して、ＣＰＵ１０から適宜参照することができる。記憶部２０には、一般的なハードディスク装置、光磁気ディスク装置などの記憶装置を選択して用いることができる。

次に、コンピュータ１００による画像処理について、図２のフローチャートを参照しつつ説明する。なお、コンピュータ１００が処理する画像は、図３に示すような人物８０が撮像された画像７０であるとし、記憶部２０に予め記憶されているとする。また、画像７０は、静止画像であっても動画像のフレームであってもよい。

ユーザが、入力装置６０を用いて、画像処理プログラムのコマンドを入力、またはそのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ１０は、その命令を入出力Ｉ／Ｆ３０を通じて受け付け、記憶部２０に記憶されている画像処理プログラムを実行する。ＣＰＵ１０は、ステップＳ１０１からの処理を開始する。

ステップＳ１０１：ＣＰＵ１０は、記憶部２０に記憶されている画像７０を読み込む。

ステップＳ１０２：ＣＰＵ１０の画像分割部１１は、読み込んだ画像７０を公知の手法を用いて複数の画像領域に分割する。本実施形態では、公知の手法として、分割・統合（Split & Marge）法およびウォーターシェッド法を組み合わせて用いる。また、本実施形態の画像分割部１１は、画像のエッジや彩度などの特徴量に基づいて画像７０を分割するものとする。ＣＰＵ１０は、画像分割部１１による分割結果を出力装置５０に出力し表示させる。図４（ａ）は、画像分割部１１による画像７０の分割結果のうち、人物８０の唇周辺の部分画像７５における分割結果の一例を示す。図４（ａ）に示すように、画像分割部１１は、顔および唇の形状および光の具合により、同じ肌色や赤色であっても異なる色と判定し、点線で示すように複数の画像領域に分割してしまう。

ステップＳ１０３：ＣＰＵ１０の演算部１２は、画像分割部１１により分割された画像領域ごとに、マンセル表色系の座標である色彩値を求める。そのために、演算部１２は、各画像領域における画素値の平均値をＲＧＢの色成分ごとに求め取得する。演算部１２は、例えば、次式（１）を用いて、上記ＲＧＢの平均値からＸＹＺ表色系の三刺激値に変換する。

そして、演算部１２は、それらのＸＹＺ表色系の三刺激値をさらに次式（２）に適用してｘｙＹ表色系に変換し、記憶部２０に記憶されたＪＩＳＺ ８７２１「色の表示方法―三属性による表示」の付表１、２のデータに基づいて、各画像領域におけるマンセル表色系の色彩値（色相Ｈ、明度Ｃ、彩度Ｖ）を取得する。
ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ） ・・・（２）
ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）
ステップＳ１０４：演算部１２は、上記マンセル表色系の色彩値と記憶部２０に記憶されたＪＩＳＺ ８１０２「物体色の色名」の付図１〜２５のデータとに基づいて、各画像領域の系統色名を取得する。

ステップＳ１０５：ＣＰＵ１０の領域結合部１３は、画像分割部１１により分割された画像領域を、色彩値および系統色名に基づいて画像領域を結合する。ここで、領域結合部１３が、色彩値および系統色名に基づいて、どのように画像領域を結合するかについて簡単に説明する。系統色名は、色相Ｈ、明度Ｃ、彩度Ｖを形容する修飾語（以下、色調（トーン）と称す）と基本色名とからなる。例えば、色が海老茶（マンセル値は８Ｒ３／４．５）の場合、系統色名はｄｋ−ｙＲ（暗い黄みの赤）と表され、ｄｋが色調でｙＲが基本色名である。

そこで、本実施形態の領域結合部１３は、色彩値、色調および基本色名に基づいて、隣接する画像領域間における色の類似の度合いを示す結合度を判定する。すなわち、隣接する画像領域ｉと画像領域ｊとの色調Ｔおよび基本色名Ｎが、Ｔｉ＝Ｔｊ且つＮｉ＝Ｎｊ（ただし、無彩色の場合はＴｉ＝Ｔｊのみ）の場合、領域結合部１３は、画像領域ｉと画像領域ｊとの系統色名が同じであることから、「強い結合度」を有すると判定する。なお、Ｔｉ、ＮｉおよびＴｊ、Ｎｊは、画像領域ｉおよび画像領域ｊの色調および基本色名を示す。

一方、領域結合部１３は、画像領域ｉと画像領域ｊとにおける系統色名が有彩色で、Ｎｉ＝Ｎｊ且つ色彩値が次式（３）の条件を満たす場合、画像領域ｉと画像領域ｊとは「中位の結合度」を有すると判定する。
Ｖｉ−ｄＶ＜Ｖｊ＜Ｖｉ＋ｄＶ 且つ Ｃｉ−ｄＣ＜Ｃｊ＜Ｃｉ＋ｄＣ ・・・（３）
あるいは、領域結合部１３は、画像領域ｉと画像領域ｊとにおける系統色名が有彩色で、Ｔｉ＝Ｔｊ且つ色彩値が次式（４）の条件を満たす場合、画像領域ｉと画像領域ｊとは「中位の結合度」を有すると判定する。
Ｈｉ−ｄＨ＜Ｈｊ＜Ｈｉ−ｄＨ ・・・（４）
なお、ｄＶ、ｄＣ、ｄＨそれぞれは、本実施形態において、例えば、０．５，０．５，５．０にそれぞれ設定されるが、被写体の色分布などに応じて適宜設定されるのが好ましい。

そして、画像領域ｉと画像領域ｊとが「強い結合度」または「中位の結合度」のいずれにも該当しない場合、領域結合部１３は、画像領域ｉと画像領域ｊとの色は異なるとして「弱い結合度」と判定する。

本実施形態の領域結合部１３は、全ての画像領域について隣接する画像領域と「強い結合度」、「中位の結合度」または「弱い結合度」のいずれかを判定する。本実施形態の領域結合部１３は、「強い結合度」または「中位の結合度」と判定された画像領域同士を結合する。これにより、同系色の画像領域をまとめることができる。図４（ｂ）は、領域結合部１３による結合結果の一例を示す。図４（ｂ）に示すように、顔や唇部分は画像分割部１１により複数の画像領域に分割されたが、それぞれ１つの画像領域として結合される。

その後、ＣＰＵ１０は、例えば、入力装置６０を介して、ユーザより所定の色や人物８０の部分に関するキーワードを受け付けた場合、そのキーワードに応じた画像領域を画像７０から抽出する。すなわち、ＣＰＵ１０は、ユーザより「赤色」というキーワードを受け付けた場合、「赤色」に対応する画像領域を抽出する。図５は、「赤色」というキーワードに対応する画像領域として、人物８０の唇部分を抽出した画像９０を示す。ＣＰＵ１０は、その画像９０を出力装置５０に出力し表示するとともに、記憶部２０に記録する。そして、ＣＰＵ１０は、一連の画像処理を終了する。

なお、ユーザより、例えば、「唇」などのキーワードを受け付けた場合、ＣＰＵ１０が、そのキーワードに対応する赤色などの色情報に変換することが好ましく、キーワードと色情報との対応関係を一覧にしたテーブルなどが予め記憶部２０に記憶されていることが好ましい。

このように、本実施形態では、たとえ被写体の形状や光の具合によって生じる色の変化により、人間の色認識では同じ色と感じる被写体が複数の画像領域に分割されたとしても、各画像領域の色彩値および系統色名に基づいて、画像領域を再結合することにより、人間の色認識に近い画像の領域分割を行うことが可能となる。
《実施形態の補足事項》
・上記実施形態では、処理対象の画像７０が記憶部２０に予め記憶されたが、本発明はこれに限定されず、例えば、入出力Ｉ／Ｆ３０を介して、コンピュータ１００とデジタルカメラやデジタルビデオカメラなどとをＵＳＢ（Universal Serial Bus）ケーブルなどで接続して、静止画像や動画像を直接読み込んでもよい。

・上記実施形態では、画像分割部１１は、分割・統合法およびウォーターシェッド法を組み合わせて画像７０の画像分割を行ったが、本発明はこれに限定されず、他の手法を用いて画像７０を画像分割してもよい。

・上記実施形態では、演算部１２は、各画像領域の色彩値および系統色名を求めるにあたり、ＪＩＳ規格のデータを用いたが、本発明はこれに限定されず、他のデータを用いてもよい。

・上記実施形態では、隣接する画像領域間の結合の度合いを、「強い結合度」、「中位の結合度」、「弱い結合度」の３つに判定したが、本発明はこれに限定されない。例えば、「強い結合度」は、「中位の結合度」の条件である式（３）および式（４）において、ｄＶ、ｄＣ、ｄＨの値が０の場合に相当することから、例えば、「強い結合度」と「中位の結合度」とは１つの結合度として扱ってもよい。

・上記実施形態では、領域結合の結果、ＣＰＵ１０は、ユーザからのキーワードに基づいて、対応する画像領域を抽出する例を示したが、本発明はこれに限定されない。例えば、領域結合の結果を画像評価、画像分類、画像検索など様々な分野に適用することができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１０…ＣＰＵ、２０…記憶部、３０…入出力Ｉ／Ｆ、４０…バス、５０…出力装置、６０…入力装置、１００…コンピュータ

Claims (6)

1. 画像を複数の画像領域に分割する画像分割部と、
   前記画像領域が有する色の色空間上の座標を求め、前記座標に対応する色調および色名を取得する演算部と、
   前記色調および色名に基づいて、前記画像領域と隣接する画像領域とを結合する領域結合部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記領域結合部は、前記色調および色名とともに前記座標に基づいて、前記画像領域と隣接する画像領域とを結合することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記領域結合部は、前記画像領域と隣接する画像領域とにおける前記色が無彩色で、前記色調が一致する場合、前記画像領域と隣接する画像領域とを結合することを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記領域結合部は、前記画像領域と隣接する画像領域とにおける前記色が有彩色で、前記色名が一致し且つ前記座標の明度および彩度それぞれの差異が所定の範囲内の場合、前記画像領域と隣接する画像領域とを結合することを特徴とする画像処理装置。
5. 請求項２に記載の画像処理装置において、
   前記領域結合部は、前記画像領域と隣接する画像領域とにおける前記色が有彩色で、前記色調が一致し且つ前記座標の色相の差異が所定の範囲内の場合、前記画像領域と隣接する画像領域とを結合することを特徴とする画像処理装置。
6. 画像を読み込む入力手順、
   前記画像を複数の画像領域に分割する画像分割手順、
   前記画像領域が有する色の色空間上の座標を求め、前記座標に対応する色調および色名を取得する演算手順、
   前記色調および色名に基づいて、前記画像領域と隣接する画像領域とを結合する領域結合手順、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images