JP6277768B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びそのプログラムの技術に関する。

近年、編集や加工の容易性、通信技術との親和性、又は、信号劣化に対する耐性の観点から、画像の記録再生やテレビ放送などの各分野において急速にデジタル化が進み、撮像装置から表示装置に至るまで、業務用機器だけでなく、民生機器についても、種々のデジタル技術が用いられている。

また、最近では、テレビ放送関連、又は、単なる画像の記録再生若しくはその編集だけでなく、仮想現実、拡張現実、又は、複合現実を構築するために、インターネット、ゲーム、又は、広告その他のあらゆる分野において、リアルタイムに撮像された画像に対する画像処理を行うことが要求されている。特に、撮像した動画像内の一部の領域を指定して当該指定した領域に対する色の変更その他の画像処理を実現する技術についても研究が進み、実施され始めている。

しかしながら、ＣＣＤやＣＭＯＳなどによって撮像した画像、又は、コンピュータグラフィックスによって作成された画像内から一部の領域（例えば、特定の色によって形成された領域）を指定する際には、画像のコントラストやＳＮ比などによってノイズが発生するため、的確にかつ安定的に指定された領域を検出すること、具体的には、動画像データにおいて当該指定された領域を的確に検出し続けることが難しい。

そこで、最近では、的確にかつ安定的に指定した領域を検出するために、画像自体に発生しているノイズを除去する技術が知られている。例えば、このようなノイズ除去装置としては、画素毎に周囲の画素との色特徴量における差分値を検出し、検出された差分値に基づいてノイズを除去するものが知られている（例えば、特許文献１）。

特開２０１３−７７２４２

しかしながら、特許文献１などに記載されたノイズ除去装置にあっては、計算コストが膨大になるため、リアルタイムに撮像された動画像などの高速な応答が要求されるもの対しては正確にノイズを除去することができない場合も多く、正確に特定の領域を指定することが難しい場合がある。

本発明は、上記課題を解決するためになされたものであり、その目的は、静止画像のみならず、動画像などの高速な応答が要求される場合であっても、特定の色によって指定された画素又は領域を的確にかつ安定的に検出することが可能な画像処理装置等を提供することにある。

上記課題を解決するため、本発明の画像処理装置等は、予め定められた指示に基づいて、画像データによって形成される画像を構成する画素を指定画素として指定する指定手段と、前記画像内における指定画素に近傍する画素を示す複数の近傍画素を特定しつつ、当該近傍画素の色特徴量を特定する特定手段と、前記特定された近傍画素の色特徴量のうち最大の色特徴量に基づいて、所定の処理の対象となる対象画素の色特徴量の範囲を算出する算出手段と、所与の画像データによって形成される画像を構成する画素の中から、前記算出された色範囲に属する色特徴量を有する画素を前記対象画素として検出する検出手段と、を備える構成を有している。

一般的に、画像化された任意のオブジェクトの色変化については、拡散反射成分が影響を与えるものの、当該拡散反射成分の割合が大きい領域であっても、当該領域と拡散反射成分の割合が小さい領域との色の差異は、きわめて小さいと想定される。このため、動画像や静止画像などの画像内に構成される単一のオブジェクト、すなわち、同一の色成分を有するオブジェクトにおいて生ずる画像としての色成分の差はノイズが原因であると想定することができる。

また、画像にノイズが発生している場合に、特定の画素と当該特定の画素の近傍の複数の画素（すなわち、近傍画素）との色成分の差をそれぞれ考える必要はなく、当該色成分の差が最大の近傍画素を用いれば、他の近傍画素とのノイズによる関係性も包含することができる。

したがって、本発明の画像処理装置等は、上記構成により、例えば、対象画素となる指定画素と色特徴量が最大となる近傍画素との色特徴量の差分値又は近傍の色特徴量の最大値そのもの用いることによって、ノイズを有する画素の範囲を包含する色特徴量の範囲を算出し、当該範囲に属する色特徴量を有する画素を色変換対象画素として直接抽出することができるので、色変換対象画素であるか否かの判定処理を単純化しつつ、的確に色変換の対象となる画素を抽出することができる。

この結果、本発明の画像処理装置等は、静止画像のみならず、動画像などの高速な応答が要求される場合であっても、特定の色によって指定された画素又は当該指定された複数の画素から構成される領域を的確にかつ安定的に検出することができる。

本発明の画像処理装置等は、静止画像のみならず、動画像などの高速な応答が要求される場合であっても、特定の色によって指定された画素又は当該指定された複数の画素から構成される領域を的確にかつ安定的に検出することができる。

本発明に係る画像処理装置の一実施形態の構成を示す構成図である。 一実施形態の画像処理装置において実行される第１色範囲算出処理に基づく指定領域検出処理を含む特定画像処理の動作を示すフローチャートである。 一実施形態の画像処理装置において実行される第２色範囲算出処理に基づく指定領域検出処理を含む特定画像処理の動作を示すフローチャートである。 従来の手法と本実施形態の指定領域検出処理を含む特定画像処理を実行した場合を比較した図である。

以下、本発明に係る実施形態について、図面を参照しながら説明する。

なお、以下の実施形態は、動画像データについて所定の画像処理を実行する画像処理装置に対して、本発明の画像処理装置及びそのプログラムを適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。

また、以下の実施形態においては、ＲＧＢなどの色成分（以下、「色特徴量」）を用いて複数の画素から構成されるオブジェクトが指定され、当該オブジェクトと同一のオブジェクトが検出される画像処理装置を用いて説明する。特に、以下の実施形態においては、ＲＧＢの各階調値を色特徴量として用いるが、ＨＳＶその他の色を特定するための色特徴量であればよい。

［１］画像処理装置の概要
まず、図１を用いて本実施形態の画像処理装置１０における本願発明の原理について説明する。なお、図１は、本実施形態の画像処理装置１０の構成を示すブロック図である。

本実施形態の画像処理装置１０は、動画像データによって形成される動画像おいて、所定の色を有するオブジェクトなど、ユーザ又は画像処理の結果によって指定された色成分（色特徴量）の画素群から構成される領域（以下、「指定領域」という。）を検出する装置（具体的には、フレーム毎に当該指定領域を検出し続ける装置）であり、動画像内に形成される特定のオブジェクト（物体）の色変換処理、又は、当該特定のオブジェクトのオブジェクト認識処理などの各種の画像処理を実行することが可能な装置である。

特に、本実施形態の画像処理装置１０は、例えば、既に構築された仮想現実、拡張現実、若しくは、バーチャルフィッティングなどの複合現実内において任意のオブジェクトの色変換を行うために、対象となる動画像内に形成されたオブジェクトの認識を行うために、撮像カメラから出力されている動画像データ、ストリーミング再生中の動画像データ、又は、コンピュータグラフィックスによって作成中若しくは作成された動画像データなどの各種の動画像データにおいて、ユーザその他によって指定されたオブジェクト（指定領域）を検出する処理（以下、「指定領域検出処理」という。）を実行するための構成を有している。

例えば、本実施形態の画像処理装置１０は、動画像データの先頭フレームの画像データ（以下、「先頭フレームデータ」という。）、任意のフレームの画像データ（以下、「第１フレームデータ」という。）、又は、サンプル画像データなどの基準画像データによって形成される画像（以下、「基準画像」という。）において、２以上の連続して連結された画素（以下、「指定画素」という。）から構成される指定領域を指定すると、当該指定領域に属する指定画素の色特徴量に基づいて、先頭フレームデータ以降のフレームデータなど基準画像を形成する画像データ以外の画像データ（以下、「対象画像データ」という。）によって形成される画像（以下、「対象画像」という。）を構成する領域の中から、指定領域と同一の色特徴量を有する領域、すなわち、色成分が同一のオブジェクトと想定される領域を検出することができる構成を有している。

一般的に、同一色（ほぼ同一色も含む）で形成される画像化された任意のオブジェクトなどの画像領域においては、光源の位置や太陽光によって色の変化が生ずる場合が多い。このような場合においては、拡散反射成分が画像化されたオブジェクトの領域に対して影響を与えているものの、たとえ当該拡散反射成分の割合が大きい領域であっても、当該領域と拡散反射成分の割合が小さい領域との色成分の差異は、きわめて小さいと想定される。

このため、動画像や静止画像などの画像内に形成される同一の色成分を有するオブジェクト領域において生ずる画像としての色特徴量（色成分）の差は、ノイズが原因であると想定することができる。

一方、ノイズが発生している画像内から特定の色特徴量を有するオブジェクトを検出するために、当該色特徴量をピンポイントで特定したとしても的確に当該オブジェクトを検出することができない。

そこで、本実施形態の画像処理装置１０は、基準画像において、指定領域に属する各指定画素の隣接画素などの近傍画素の色特徴量に基づいて、ノイズを包含する色特徴量の範囲を算出するとともに、当該算出した色特徴量の範囲（以下、「色範囲」という。）を対象画像に適用し、対象画像内に形成された同一のオブジェクト領域を検出するようになっている。

すなわち、本実施形態の画像処理装置１０は、対象画像において、オブジェクトの色変換処理や認識処理などの所定の処理の対象となる画素（以下、「対象画素」ともいう。）を、色範囲に属するか否かの判定のみによって直接抽出することができるようになっている。

そして、本実施形態の画像処理装置１０は、指定画素に対する色変換処理を実行する際には、対象画像データにおいて算出された色範囲に含まれる画素を、同一のオブジェクトに含まれる色変換の対象画素として、検出することができるとともに、指定画素を含む同一オブジェクトの認識処理を実行する際には、対象画像データにおいて算出された色範囲に含まれる画素の塊（例えば、連続に連結した画素群）を認識すべきオブジェクトとして検出することができるようになっている。

したがって、本実施形態の画像処理装置１０は、対象画素であるか否かの判定処理を単純化しつつ、的確に所定の画像処理の対象となる画素を抽出することができるので、静止画像だけでなく、動画像などの高速な応答が要求される場合であっても、特定の色によって指定された画素又は当該指定された複数の画素から構成される領域を的確にかつ安定的に検出することができるようになっている。

具体的には、本実施形態の画像処理装置１０は、図１に示すように、図示しない他の通信端末装置と通信を行う通信制御部１１０と、アプリケーションデータなどの各種の情報が記憶されるデータ記憶部１００と、動画像データが記憶されるデータベース１２０と、変換対象画素検出処理を含む色変換処理などの各種の処理を実行する画像処理部１３０と、所定の画像を表示する表示部１４０と、表示部１４０を制御する表示制御部１５０と、ユーザの操作入力を検出する操作部１６０と、各部を制御するサーバ管理制御部１９０と、を有し、上記の各処理を実行するようになっている。

なお、上述の各部は、バスＢによって相互に接続され、各構成要素間におけるデータの転送が実行される。

また、本実施形態の画像処理装置１０は、このような構成を有することによって、上述の指定領域検出処理を実行することができるようになっており、当該指定領域検出処理としては、
（１）所定の画像処理の結果、又は、ユーザの指示などの予め定められた指示に基づいて、取得した基準画像データによって形成される基準画像において、２以上の画素を指定画素として指定することによって、当該基準画像内の領域を指定領域として指定し、
（２）指定画素の色特徴量を特定するとともに、基準画像内における各指定画素に近傍する画素（以下、「近傍画素」といい、本実施形態においては、指定画素に隣接する隣接画素を示す。）を特定しつつ、当該特定した各近傍画素の色特徴量を特定し、
（３）複数の近傍画素の色特徴量のうち最大の色特徴量、又は、当該近傍画素の最大の色特徴量及び指定画素の色特徴量に基づいて、所定の画像処理の対象となる対象画素の色特徴量の範囲（すなわち、色範囲）を算出し、
（４）対象画像データを取得すると、対象画像に形成されるオブジェクトを検出するために、当該対象画像データによって形成される対象画像を構成する画素の中から、算出した色範囲に属する色特徴量を有する画素を対象画素として検出する、
各種の処理を実行するようになっている。

なお、本実施形態の画像処理装置１０は、色範囲算出処理においては、近傍画素と指定画素の色特徴量の差分値を後述の（式１）及び（式２）に従って算出することによって色範囲を算出する算出処理（以下、「第１色範囲算出処理」という。）と、各指定画素における複数の近傍画素の色特徴量を比較して後述する（式３）に示す最大値及び最小値を用いて色範囲を算出する算出処理（以下、「第２色範囲算出処理」という。）とのいずれかの処理を実行するようになっている。

［２］画像処理装置の詳細
次に、本実施形態における画像処理装置１０の各部の詳細について説明する。

通信制御部１１０は、所定のネットワークインターフェースであり、図示しないネットワークを介して、図示しない他の通信端末装置と通信チャネルを構築し、当該他の通信端末装置から送信された画像データその他データを受信してデータ記憶部１００に出力する。

データ記憶部（メモリ）１００は、通信制御部１１０及び画像処理部１３０などのワーク領域となるものであり、その機能はＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのハードウェアにより構成されている。

具体的には、本実施形態のデータ記憶部１００は、指定領域検出処理を実行するアプリケーションプログラムを含む各種の制御プログラムその他のプログラムが記憶されるアプリケーション記憶部１０１と、操作入力その他の指定領域検出処理又は所定の画像処理を実行する際にワークエリアとなる第１バッファ１０２と、指定領域検出処理などの各種の処理に用いる動画像データその他の基準画像データ及び対象画像データが記憶される第２バッファ１０３と、を有している。

第１バッファ１０２には、ユーザによって指定された指定領域に含まれる指定画素及び各指定画素に隣接する複数の隣接画素の色特徴量及び対象画像の座標位置などの指定領域検出処理が実行される上で必要な各種のデータが記憶される。

第２バッファ１０３には、指定領域検出処理中に、通信制御部１１０によって取得された又はデータベース１２０から読み出された動画像データであって、指定領域検出処理に用いられる基準画像データ及び対象画像データとなる動画像データが一時的に記憶される。

データベース１２０は、ＨＤＤ又はＳＤＤにより構成され、所定のＩＤに対応付けられた動画像データが記録される記録領域を有している。

画像処理部１３０は、独立的に設けられた中央演算処理装置（ＣＰＵ）によって又は管理制御部１９０とともに共通の中央演算処理装置（ＣＰＵ）によって構成される。

特に、画像処理部１３０は、管理制御部１９０による制御の下、所定のアプリケーションを実行することによって、
（１）基準画像データ及び対象画像データの取得制御
（２）基準画像データの基準画像内において、連続して連結している画素群から構成される指定領域を指定する領域指定処理、
（３）複数の近傍画素を特定し、指定画素の色特徴量及び複数の近傍画素を特定する色特徴量特定処理と、
（４）複数の近傍画素の色特徴量の最大値と指定画素の色特徴量との差分値を算出して色範囲を算出する第１色範囲算出処理、又は、複数の近傍画素の色特徴量及び指定画素の色特徴量の中から最大の色特徴量と最小の色特徴量を算出して色範囲を算出する第２色範囲算出処理と、
（５）入力された対象画像データによって形成される対象画像内を構成する画素の中から、算出した色範囲に属する色特徴量を有する画素を対象画素として検出する対象オブジェクト検出処理と、
（６）検出した対象画素を用いた色変換処理又はオブジェクト認識などの特定の画像処理を行う特定画像処理と、
を実行する。

具体的には、画像処理部１３０は、アプリケーションを実行することによって、各種の画像データの取得制御を行うデータ取得制御部１３１、領域指定処理を実行する領域指定処理部１３２、色特徴量特定処理を実行する色特徴量特定処理部１３３、第１色範囲算出処理及び第２色範囲算出処理を実行する色範囲算出処理部１３４、対象オブジェクト検出処理を実行する対象オブジェクト検出処理部（以下、「対象ＯＢ検出処理部」ともいう。）１３５及び特定画像処理を実行する特定画像処理実行部１３６を実現する。

例えば、本実施形態のデータ取得制御部１３１は、本発明の取得手段を構成し、領域指定処理部１３２は、本発明の指定手段を構成する。また、例えば、本実施形態の色特徴量特定処理部１３３は、本発明の特定手段を構成し、色範囲算出処理部１３４は、本発明の算出手段を構成する。さらに、例えば、本実施形態の対象オブジェクト検出処理部１３５は、本発明の検出手段を構成し、特定画像処理実行部１３６は、本発明の画像処理手段を構成する。

なお、本実施形態の画像処理部１３０の詳細及びその動作の詳細については、後述する。

表示部１４０は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイによって構成されており、主に画像処理を実行する際の操作に用いられ、操作部１６０と連動して指定画素又は指定領域を指定する際に種々の画像を表示するとともに、当該実行された画像処理の結果を表示する。

表示制御部１５０は、画像処理部１３０及び管理制御部１９０の制御下、表示部１４０に表示する画像データを生成するようになっており、特に、表示制御部１５０は、操作部１６０と表示部１４０を連動させるため、指定画素又は指定領域の指定など操作指示に関する所定の画像データを生成し、生成された画像データを所定のタイミングにて表示部１４０に出力する。

操作部１６０は、各種確認ボタン、選択ボタン及び数字キー等の多数のキーを含むキーボードおよび入力ポインティングデバイスの一つであるマウス等により構成されており、特に、表示部１４０と連動して画像処理に関する各種の操作指示を行う際に用いられる。

管理制御部１９０は、主に、中央演算処理装置（以下、ＣＰＵという。）から構成され、通信ポート、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、各種処理を行うための全般的な機能を総括的に制御するようになっている。

［３］画像処理部
次に、本実施形態における画像処理装置１０の各部の詳細について説明する。

データ取得制御部１３１は、操作部１６０を介して入力されたユーザの指示の下、通信制御部１１０を介して、又は、データベース１２０から読み出して基準画像データ及び対象画像データを取得するとともに、表示制御部１５０と連動して、取得した基準画像データ及び対象画像データを表示部１４０に表示する。

領域指定処理部１３２は、表示制御部１５０及び操作部１６０と連動し、操作部１６０を介して入力されたユーザの指示に基づいて、データ取得制御部１３１によって取得された基準画像データによって形成される基準画像内の任意の領域を指定領域として指定する。そして、領域指定処理部１３２は、指定した指定領域に属する各画素（すなわち、指定画素）の基準画像内における座標位置を特定して第１バッファ１０２に記憶する。

色特徴量特定処理部１３３は、指定領域が指定されると、第１バッファ１０２に記憶された指定領域に属する指定画素を読み出すとともに、基準画像データに基づいて、各指定画素の色特徴量を特定し、特定した各指定画素の色特徴量を第１バッファ１０２に記憶する。

また、色特徴量特定処理部１３３は、読み出した各指定画素に隣接する隣接画素をそれぞれ特定するとともに、基準画像データに基づいて、各隣接画素の基準画像内の座標位置の特定、及び、各隣接画素の色特徴量の特定を実行し、特定した各隣接画素の座標位置及び色特徴量を、該当する指定画素に対応付けてそれぞれ第１バッファ１０２に記憶する。

例えば、本実施形態においては、色特徴量特定処理部１３３は、隣接画素として、指定画素の基準画像内における上下左右に隣接する４つの画素（以下、「４近傍の画素」ともいう。）を隣接画像として指定画素毎に特定する。

なお、４近傍の画素において、「上」又は「下」に隣接する画素とは、基準画像において、指定画素が配設される行の１つ前又は１つ後の行であって同一の列に配設された画素をいい、「左」又は「右」に隣接する画素とは、基準画像において、指定画素が配設される列の１つ前又は１つ後の列であって同一の行に配設された画素をいう。

色範囲算出処理部１３４は、指定領域が指定され、指定画素及び隣接画素の色特徴量が算出されると、近傍画素と指定画素の色特徴量の差分値を用いて色範囲を算出する第１色範囲算出処理、又は、各指定画素における複数の近傍画素の色特徴量を比較して最大値及び最小値となる色特徴量を用いて色範囲を算出する第２色範囲算出処理を実行する

第１色範囲算出処理としては、色範囲算出処理部１３４は、指定画素毎に、該当する指定画素に対応する複数の近傍画素の特徴量のうち最大の色特徴量と、対象の指定画素の色特徴量と、の差分値を最大差分値として算出し、当該算出した最大差分値と、指定画素の色特徴量と、に基づいて対象画素の色範囲を算出する。

特に、色範囲算出処理部１３４は、指定画素毎に、算出した最大差分値を、対象の指定画素の色特徴量に加算して最大色特徴量を算出するとともに、当該最大差分値を、前記指定画素の色特徴量に減算して最小色特徴量を算出し、当該最大色特徴量と当該最小色特徴量によって定まる色範囲を算出する。

例えば、色範囲算出処理部１３４は、指定画素毎に、以下の（式１）によって色範囲を算出する。ただし、「Ｐｎ・ｍａｘ」は、以下の（式２）を満たし、「Ｐｎ」は、対象となる指定画素「Ｓ」における隣接画素「ｎ」の色特徴量（一例としてＲＧＢの各階調値）であり、「Ｐｓ」は、対象となる指定画素「Ｓ」の色特徴量（同様に一例としてＲＧＢの各階調値）である。また、（式１）において、「Ｉ」は単位ベクトル（色特徴量がＲＧＢの場合には、３行３列の単位行列）を示し、「Ｐ」は対象画素の色特徴量を示す。さらに、（式２）における「Ｎ」は、隣接画素の数を示す。

なお、色範囲算出処理部１３４は、算出した各色範囲を包含する色範囲、例えば、当該色範囲の集合において最大差分値を指定画素の色特徴量に加減算値が、最大及び最小となる範囲を色範囲として算出し、算出した色範囲を色範囲データとして第１バッファ１０２に記憶してもよい。

また、本実施形態の第１色範囲算出処理としては、色範囲算出処理部１３４は、指定画素毎に、複数の近傍画素の特徴量のそれぞれと、対象の指定画素の色特徴量と、の差分値をそれぞれ算出し、当該算出した差分値の中から最大となる差分値を最大差分値として用いてもよく、この場合であっても同様の結果を得ることができるようになっている。

そして、色範囲算出処理部１３４は、全ての指定画素における当該色範囲のデータ（以下、「色範囲データ」という。）を、具体的には、色範囲の集合を、対象オブジェクト算出処理で用いる色範囲データとして第１バッファ１０２に記憶する。

すなわち、色範囲算出処理部１３４は、複数の指定画素によって構成される指定領域において、個々の指定画素毎に色範囲をそれぞれ算出するので、本実施形態においては、複数の色範囲が算出されることになる。そこで、色範囲算出処理部１３４は、当該複数の色範囲の集合を色範囲データとして第１バッファ１０２に記憶している。

一方、第２色範囲算出処理としては、色範囲算出処理部１３４は、指定画素毎に、対象の指定画素に対応する隣接画素の色特徴量のうち最大の色特徴量と最小の色特徴量に基づいて、対象画素の色特徴量の範囲を示す色範囲を算出する。

特に、色範囲算出処理部１３４は、指定画素毎に、該当する指定画素に対応する隣接画素の色特徴量のうち最大の色特徴量と当該指定画素の色特徴量とを比較して大きい色特徴量と、当該隣接画素の色特徴量のうち最小の色特徴量と当該指定画素の色特徴量とを比較して小さい色特徴量と、によって定まる範囲を、色範囲として算出する。

また、色範囲算出処理部１３４は、指定画素毎に、該当する指定画素の色特徴量と当該指定画素に対応する隣接画素の色特徴量のうち最大の色特徴量と、該当する指定画素の色特徴量と最小の色特徴量と、によって定まる範囲を色範囲として算出する。

例えば、色範囲算出処理部１３４は、指定画素毎に、以下の（式３）によって色範囲を算出する。ただし、（式１）及び（式２）と同様に、「Ｐｎ」は、対象となる指定画素「Ｓ」における隣接画素「ｎ」の色特徴量（一例としてＲＧＢの各階調値）であり、「Ｐｓ」は、対象となる指定画素「Ｓ」の色特徴量（同様に一例としてＲＧＢの各階調値）である。

なお、色範囲算出処理部１３４は、算出した各色範囲を包含する色範囲、例えば、当該色範囲の集合において最大及び最小の色特徴量によって定める範囲を色範囲として算出し、算出した色範囲を色範囲データとして第１バッファ１０２に記憶してもよい。

そして、色範囲算出処理部１３４は、第１色範囲算出処理と同様に、全ての指定画素における当該色範囲のデータ（以下、「色範囲データ」という。）を、具体的には、色範囲の集合を、対象オブジェクト算出処理で用いる色範囲データとして第１バッファ１０２に記憶する。

すなわち、色範囲算出処理部１３４は、複数の指定画素によって構成される指定領域において、個々の指定画素毎に色範囲をそれぞれ算出するので、本実施形態においては、複数の色範囲が算出されることになる。そこで、色範囲算出処理部１３４は、当該複数の色範囲の集合を色範囲データとして第１バッファ１０２に記憶することになる。

対象オブジェクト検出処理部１３５は、操作部１６０及び表示制御部１５０と連動し、操作部１６０を介して検出したユーザ操作に基づいて、第２バッファ１０３を介してデータ取得制御部１３１が動画像データとしての対象画像データを取得すると、第１バッファ１０２から記憶されている色範囲データを読み出す。

そして、対象オブジェクト検出処理部１３５は、取得された対象画像データをフレーム毎に表示部１４０に表示しつつ、当該取得されたフレーム毎の対象画像データによって形成されるそれぞれの対象画像を構成する各画素の中から、読み出した色範囲データによって示される複数の色範囲の少なくともいずれかに属する色特徴量を有する画素を、対象画素として、検出する。

具体的には、対象オブジェクト検出処理部１３５は、各フレームの対象画像毎に、対象画像の左上の画素から右下の画素まで走査を実行し、複数の色範囲のそれぞれに各画素の色特徴量が属するか否かを判定し、少なくともいずれか１の色範囲に属する色特徴量を有する画素を対象画素として検出する。

また、対象オブジェクト検出処理部１３５は、検出した各対象画素の対象画像内の座標位置（以下、「対象画素座標」という。）を特定しつつ、特定した対象画素座標の座標位置をデータとしてフレームＩＤやフレームナンバーに対応付けて第１バッファ１０２に記憶する。

特定画像処理実行部１３６は、ユーザの色変換処理の指示、及び、オブジェクト認識処理の指示に基づいて、第１バッファ１０２に記憶された各フレームの対象画素座標の座標位置データを読み出しつつ、対象オブジェクト検出処理と同時に、又は、すべてのフレームにおける対象画像データについて当該対象オブジェクト検出処理の終了後に、色変換処理又はオブジェクト認識処理を実行する。

具体的には、特定画像処理実行部１３６は、色変換処理としては、表示制御部１５０と連動し、各フレームの対象画像データ毎に、該当する対象画素座標の座標位置データに基づいて、色変換対象の画素を特定しつつ、特定した画素の色（すなわち、色特徴量であってＲＧＢの各階調値）をユーザによって指示された色（すなわち、色特徴量であってＲＧＢの各階調値）に変換し、変換後の各フレームの対象画像を連続的に表示部１４０に表示する。

また、特定画像処理実行部１３６は、オブジェクト認識処理としては、表示制御部１５０と連動し、各フレームの対象画像データ毎に、該当する対象画素座標の座標位置データに基づいて、認識対象の画素を特定しつつ、特定した画素の塊（画素群）をオブジェクトと認識し、その結果（例えば、対象画像とともに認識したオブジェクトをマークするなど）を表示部１４０に表示し、又は、認識結果（認識したオブジェクトの対象画像内の位置）を出力する。

［４］特定画像処理（色変換処理）
［４．１］第１色範囲算出処理に基づく指定領域検出処理を含む特定画像処理
次に、図２を用いて本実施形態の画像処理部１３０において実行される第１色範囲算出処理に基づく指定領域検出処理を含む特定画像処理の動作について説明する。なお、図２は、本実施形態の画像処理部１３０において実行される第１色範囲算出処理に基づく指定領域検出処理を含む特定画像処理の動作を示すフローチャートである。

本動作においては、データベース１２０に予め記憶されている基準画像データを先頭にした動画像データがフレーム毎に記憶されているものとし、特定画像処理として色変換処理の場合について説明する。

また、本動作においては、先頭の基準画像データ（第１フレームの画像データ）によって形成される基準画像において色変換を希望する領域を指定領域としてユーザが指定する場合について説明する。

さらに、本動作は、ユーザによって指定領域が指定されると、第２フレームの画像データから最後のフレームの画像データまで入力されるとともに、その出力については、色変換が実行された各フレームデータが動画像データとして出力されることになる。

まず、管理制御部１９０は、操作部１６０を介してユーザによって第１色範囲算出処理に基づく指定領域検出処理を含む特定画像処理の実行指示及びデータベース１２０に記憶された対象となる動画像データの選択指示を検出すると（ステップＳ１０１）、データ取得制御部１３１は、画像アプリケーション記憶部１０１から第２バッファ１０３を介して基準画像データ（第１フレームデータ）を取得し（ステップＳ１０２）、表示制御部１５０と連動して表示部１４０に基準画像データによって形成される基準画像（第１フレーム）を表示する（ステップＳ１０３）。

なお、データ取得制御部１３１は、ステップＳ１０３の処理においては、基準画像を表示部１４０に表示すると、ユーザ操作に基づく領域指定及びユーザが希望する色（すなわち、色変換後の色特徴量）の指定の入力を待機する。

次いで、領域指定処理部１３２は、操作部１６０を介してユーザの希望する色特徴量の指定を含むユーザ操作を検出すると（ステップＳ１０４）、希望する色特徴量を第１バッファ１０２に記憶するとともに、当該検出したユーザ操作に基づいて指定された基準画像内の指定領域を指定し、指定された指定領域内の各画素を指定画素として特定する（ステップＳ１０５）。

次いで、色特徴量特定処理部１３３は、基準画像データに基づいて、指定された指定領域内の各指定画素における色特徴量を特定して第１バッファ１０２に記憶するとともに、検出された指定領域に含まれる各指定画素の座標位置に基づいて、各指定画像に隣接する複数の隣接画素をそれぞれ特定し、基準画像データに基づいて、当該各隣接画像の色特徴量を特定して第１バッファ１０２に記憶する（ステップＳ１０６）。

具体的には、色特徴量特定処理部１３３は、検出した指定領域における各指定画素の情報（画像内における座標値及び色特徴量）と、該当する指定画素に対応付けて複数の隣接画素の情報（画像内における座標値及び色特徴量）のそれぞれを第１バッファ１０２に記憶する。

次いで、色範囲算出処理部１３４は、指定画素毎に、該当する隣接画素の色特徴量のうち最大の色特徴量と指定画素の色特徴量との差分値を算出し最大差分値を特定する（ステップＳ１０８）。

次いで、色範囲算出処理部１３４は、指定画素毎に、指定画素の色特徴量に該当する差分値を加算した個別最大値と、該差分値を減算した個別最小値と、をそれぞれ算出し、算出した個別最小値から個別最大値までの色特徴量の範囲を色範囲として算出する（ステップＳ１０９）。

次いで、色範囲算出処理部１３４は、算出した各色範囲の集合を色範囲データとして第１バッファ１０２に記憶する（ステップＳ１１０）。

次いで、対象オブジェクト検出処理部１３５は、対象画像データ（第２フレーム以降のフレームデータ）を取得すると（ステップＳ１１２）、第１バッファ１０２に記憶された色範囲データを読み出し、対象画像データによって形成される画像内（対象画像内）の各画素について、それぞれ、当該読み出した色範囲に属するか否かを判定し、オブジェクトを構成する対象画素を検出する（ステップＳ１１３）。

次いで、対象オブジェクト検出処理部１３５は、対象画像の各画素において、読み出した色範囲に属すると判定した画素の座標位置を対象画素データから取得し、座標位置データとして、第１バッファ１０２に記憶する（ステップＳ１１４）。

最後に、色変換処理部は、表示制御部１５０と連動し、第１バッファ１０２に記憶された対象画像を構成する対象画素をユーザによって指定された色に変換しつつ、色特徴量が変換された画素を含む変換画像を表示部１４０に表示して（ステップＳ１１５）本動作を終了させる。

［４．２］第２色範囲算出処理に基づく指定領域検出処理を含む特定画像処理
次に、図３を用いて本実施形態の画像処理部１３０において実行される第２色範囲算出処理に基づく指定領域検出処理を含む特定画像処理の動作について説明する。なお、図３は、本実施形態において実行される第２色範囲算出処理に基づく指定領域検出処理を含む特定画像処理の動作を示すフローチャートである。

本動作においては、第１色変換処理と同様に、データベース１２０に予め記憶されている基準画像データを先頭にした動画像データがフレーム毎に記憶されているものとし、特定画像処理として色変換処理の場合について説明する。

また、本動作においては、先頭の基準画像データ（第１フレームの画像データ）によって形成される基準画像において色変換を希望する領域を指定領域としてユーザが指定する場合について説明する。

さらに、本動作は、ユーザによって指定領域が指定されると、第２フレームの画像データから最後のフレームの画像データまで入力されるとともに、その出力については、色変換が実行された各フレームデータが動画像データとして出力されることになる。

なお、本動作においては、第１色変換処理と同一の処理については同一の符号を用いてその説明を省略する。

まず、管理制御部１９０は、操作部１６０を介してユーザによって第１色範囲算出処理に基づく指定領域検出処理を含む特定画像処理の実行指示及びデータベース１２０に記憶された対象となる動画像データの選択指示を検出すると（ステップＳ１０１）、データ取得制御部１３１は、データベース１２０から第２バッファ１０３を介して基準画像データ（第１フレームデータ）を取得し（ステップＳ１０２）、表示制御部１５０と連動して表示部１４０に基準画像データによって形成される基準画像（第１フレーム）を表示する（ステップＳ１０３）。

なお、データ取得制御部１３１は、ステップＳ１０３の処理においては、基準画像を表示部１４０に表示すると、ユーザ操作に基づく領域指定及びユーザが希望する色（すなわち、色変換後の色特徴量）の指定の入力を待機する。

次いで、領域指定処理部１３２は、操作部１６０を介してユーザの希望する色特徴量の指定を含むユーザ操作を検出すると（ステップＳ１０４）、希望する色特徴量を第１バッファ１０２に記憶するとともに、当該検出したユーザ操作に基づいて指定された基準画像内の指定領域を指定し、指定された指定領域内の各画素を指定画素として特定する（ステップＳ１０５）。

次いで、色特徴量特定処理部１３３は、基準画像データに基づいて、指定された指定領域内の各指定画素における色特徴量を特定して第１バッファ１０２に記憶するとともに、検出された指定領域に含まれる各指定画素の座標位置に基づいて、各指定画像に隣接する複数の隣接画素をそれぞれ特定し、基準画像データに基づいて、当該各隣接画像の色特徴量を特定して第１バッファ１０２に記憶する（ステップＳ１０６）。

具体的には、色特徴量特定処理部１３３は、検出した指定領域における各指定画素の情報（画像内における座標値及び色特徴量）と、該当する指定画素に対応付けて複数の隣接画素の情報（画像内における座標値及び色特徴量）のそれぞれを第１バッファ１０２に記憶する。

次いで、色範囲算出処理部１３４は、指定画素毎に、該当する隣接画素の中から最大の色特徴量を特定するとともに、該当する指定画素の色特徴量と特定した隣接画素における最大の色特徴量との中から最大値を算出する（ステップＳ２０８）。

次いで、色範囲算出処理部１３４は、指定画素毎に、該当する隣接画素の中から最小の色特徴量を特定するとともに、該当する指定画素の色特徴量と特定した隣接画素における最小の色特徴量との中から最小値を算出する（ステップＳ２０９）。

次いで、色範囲算出処理部１３４は、指定画素毎に、算出した最大値と最小値の範囲を対象画素の色範囲としてそれぞれ算出する（ステップＳ２１０）。

次いで、色範囲算出処理部１３４は、算出した各色範囲の集合を色範囲データとして第１バッファ１０２に記憶する（ステップＳ２１１）。

次いで、色変換処理部は、変換対象画像データ（第２フレーム以降のフレームデータ）を取得すると（ステップＳ１１２）、第２バッファ１０３に記憶された色変換対象画素の指定画素毎の色範囲を読み出し、変換対象画像データによって形成される画像内（変換対象画像内）の各画素について、それぞれ、当該読み出したいずれかの色範囲に属するか否かを判定する（ステップＳ１１３）。

次いで、色変換処理部は、変換対象画像において読み出した色範囲に属すると判定した画素については、第１バッファ１０２に記憶された色特徴量に変換する（ステップＳ１１４）。

最後に、色変換処理部は、表示制御部１５０と連動し、色特徴量が変換された画素を含む変換画像を表示部１４０に表示して（ステップＳ１１５）本動作を終了させる。

［５］シミュレーション結果
次に、図４を用いて本実施形態の画像処理部１３０において実行される指定領域検出処理を含む特定画像処理のシミュレーション結果について説明する。なお、図４は、従来の手法と本実施形態の指定領域検出処理を含む特定画像処理を実行した場合を比較した図である。

例えば、図４（Ａ）に示す黒の金具を有する木材によって形成される脚部を有し、座面部、背もたれ部分を示す背面部及び肘掛け部分を示す側面部を有する部分（以下、「椅子部」という。）が青色の椅子の動画像において、青色の椅子部（指定領域（オブジェクト））を指定した場合であって、当該椅子部を緑色に色変換処理を行った場合について説明する。

このような場合において、図４（Ａ）における椅子部を指定すると、従来の手法においては、特定の色（青色）を特定するための単一の色特徴量が特定されるので、図４（Ｂ）に示すように、対象画像（基準画像より１２０フレーム以降のフレーム画像）においては、拡散反射成分の影響などノイズを有することによって指定画素と異なる色特徴量を有する画素を対象画素として検出することができず、椅子部における色変換ができない部分が発生してしまう。

一方、本実施形態の画像処理部１３０は、図４（Ｃ）に示すように、対象画像（基準画像より１２０フレーム以降のフレーム画像）においては、椅子部の領域に含まれる画素を対象画素として検出し、当該検出した対象画素を緑の色特徴量に色変換することができるようになる。

以上、本実施形態の画像処理装置１０は、対象画素であるか否かの判定処理を単純化しつつ、的確に所定の画像処理の対象となる画素を抽出することができるので、静止画像だけでなく、動画像などの高速な応答が要求される場合であっても、特定の色によって指定された画素又は当該指定された複数の画素から構成される領域を的確にかつ安定的に検出することができる。

また、本実施形態の画像処理装置１０は、差分値又は最大値などの隣接画素を用いることによって、ノイズが発生している他の近傍画素に基づく色範囲の変動をも含んでノイズを包含する色特徴量の範囲を算出することができるので、ノイズが生じた画素の色特徴量の色範囲を簡易に算出することができるとともに、特定の色によって指定された画素又は当該指定された複数の画素から構成される領域を迅速に検出することができる。

［６］変形例
［６．１］変形例１
本実施形態においては、隣接画素として、指定画素の基準画像内における上下及び左右に隣接する４近傍の画素を用いているが、指定画素の基準画像内における上下及び左右に加えて左右上下斜めの８つの画素（以下、「８近傍の画素」ともいう。）、すなわち、基準画像上において指定画素を取り囲む隣接画像を用いてもよい。

また、本実施形態においては、指定画素に連続に連結されている画素を示す隣接画素を用いているが、指定画素に連続して連結されていない近傍画素、具体的には、指定画素の上下左右に隣接する隣接画素にさらに指定画素が並設されている方向と逆方向に隣接している画素を用いてもよい。

なお、本実施形態においては、本実施形態のように、より少ない隣接画素を用いた場合には、ノイズが発生していなければ同一の色特徴量となるので、検出する対象画素の検出精度を高くすることができる。

その一方、本変形例のように、より多くの隣接画素を用いた場合には大きなノイズが発生するときに、また、隣接画素でない近傍画素を用いた場合にはノイズが発生している領域が広いときに、発生したノイズを吸収すること、すなわち、そのようなノイズが発生していたとても、対象画素を的確に検出することができる。

［６．２］変形例２
本実施形態においては、ユーザの指示に基づいて基準画像内の単一の色成分から構成されるオブジェクト（すなわち、指定領域）を指定するようになっているが、これに限らず、オブジェクト認識その他の画像処理において指定された指定領域に対する指定領域検出処理を実行してもよい。

また、ユーザ指示においては、印刷その他において用いられるカラーコード（色番号）を用いて指定領域を指定もよい。

［６．３］変形例３
本実施形態においては、動画像データに対して適用しているが、静止画像データに提供することも可能である。すなわち、サンプル画像などの基準画像に基づいて指定領域を特定すれば、他の対象画像となる静止画像から指定領域（オブジェクト）を検出することもできる。

［６．４］変形例４
本実施形態においては、複数の画素から構成さる指定領域を指定し、かつ、該当する領域を検出するようになっているが、一の画素を指定して一の色範囲を算出し、対象画像から当該算出した一の色範囲に属する色特徴量を有する画素を対象画素として検出することもできる。

［６．５］変形例５
本実施形態の各種の処理は、単一の画像処理装置１０によって実行されているが、ネットワークその他の通信回線を用いることによって上記の各種の処理を異なる装置によって実行してもよい。

［６．６］変形例６
本実施形態の各種の処理は、基準画像データと対象画像データを用いて説明したが、一の画像データを用いて指定領域又は指定画素を指定して色範囲を算出し、同一の画像データに対して対象画素を検出するようにしてもよい。

１０ … 画像処理装置
１００ … データ記憶部
１０１ … アプリケーション記憶部
１０２ … 第１バッファ
１０３ … 第２バッファ
１１０ … 通信制御部
１２０ … データベース
１３０ … 画像処理部
１３１ … データ取得制御部
１３２ … 領域指定処理部
１３３ … 色特徴量特定処理部
１３４ … 色範囲算出処理部
１３５ … 対象オブジェクト検出処理部
１３６ … 特定画像処理実行部
１４０ … 表示部
１５０ … 表示制御部
１６０ … 操作部
１９０ … 管理制御部

Claims (12)

1. 予め定められた指示に基づいて、画像データによって形成される画像を構成する画素を指定画素として指定する指定手段と、
   前記画像内における指定画素に近傍する画素を示す複数の近傍画素を特定しつつ、当該近傍画素の色特徴量を特定する特定手段と、
   前記特定された近傍画素の色特徴量のうち最大の色特徴量に基づいて、所定の処理の対象となる対象画素の色特徴量の範囲を算出する算出手段と、
   所与の画像データによって形成される画像を構成する画素の中から、前記算出された色範囲に属する色特徴量を有する画素を前記対象画素として検出する検出手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記指定手段によって、複数の前記指定画素で構成される領域が指定領域として指定されており、
   前記特定手段が、前記指定画素毎に、前記複数の近傍画素の特定及び当該特定した各近傍画素の色特徴量の特定を実行し、
   前記算出手段が、前記指定画素毎に前記色特徴量の範囲をそれぞれ算出し、
   前記検出手段が、前記指定画素毎に算出された各色特徴量の範囲に基づいて、前記対象画素を検出する、画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記所与の画像データが、前記指定画素を指定する際に用いられた画像データと異なる画像データある、画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置において、
   前記特定手段が、前記近傍画素とともに前記指定画素の色特徴量を特定し
   前記算出手段が、前記特定された近傍画素の色特徴量のうち最大の色特徴量と、前記特定された指定画素の色特徴量と、の差分値を算出し、当該算出した差分値に基づいて、前記所定の処理の対象となる対象画素の色特徴量の範囲を算出する、画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記算出手段が、前記算出した差分値を前記指定画素の色特徴量に加算して最大色特徴量を算出するとともに、当該差分値を前記指定画素の色特徴量から減算して最小色特徴量を算出し、当該最大色特徴量と当該最小色特徴量によって定まる範囲を、前記所定の処理の対象となる対象画素の色特徴量の範囲として算出する、画像処理装置。
6. 請求項１〜３のいずれか１項に記載の画像処理装置において、
   前記算出手段が、前記特定された近傍画素の色特徴量のうち最大の色特徴量とともに最小の色特徴量に基づいて、前記所定の処理の対象となる対象画素の色特徴量の範囲を算出する、画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記特定手段が、前記指定画素の色特徴量を特定し
   前記算出手段が、前記特定された近傍画素の色特徴量のうち最大の色特徴量と前記特定された指定画素の色特徴量とを比較して大きい色特徴量と、前記特定された近傍画素の色特徴量のうち最小の色特徴量と前記指定画素の色特徴量とを比較して小さい色特徴量と、によって定まる範囲を、前記所定の処理の対象となる対象画素の色特徴量の範囲として算出する、画像処理装置。
8. 請求項１〜７のいずれか１項に記載の画像処理装置において、
   前記近傍画素が、前記指定画素に隣接する隣接画素である、画像処理装置。
9. 請求項１〜８のいずれか１項に記載の画像処理装置において、
   前記検出された対象画素を用いて所定の画像処理を実行する画像処理手段を更に備える、画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記所定の画像処理が、前記指定画素の色特徴量と異なる色特徴量に変換する色変換処理である、画像処理装置。
11. 請求項９に記載の画像処理装置において、
    前記所定の画像処理が、前記対象画素に基づいて前記対象画像の中から所与のオブジェクトを認識する処理である、画像処理装置。
12. コンピュータを、
    予め定められた指示に基づいて、画像データによって形成される画像を構成する画素を指定画素として指定する指定手段、
    前記画像内における指定画素に近傍する画素を示す複数の近傍画素を特定しつつ、当該近傍画素の色特徴量を特定する特定手段、
    前記特定された近傍画素の色特徴量のうち最大の色特徴量に基づいて、所定の処理の対象となる対象画素の色特徴量の範囲を算出する算出手段、及び、
    所与の画像データによって形成される画像を構成する画素の中から、前記算出された色範囲に属する色特徴量を有する画素を前記対象画素として検出する検出手段、
    として機能させることを特徴とするプログラム。