JP7204397B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、具体例としては画像から被写体を抽出する技術に関する。

従来、画像上の前景と背景とを分離する技術が知られている。例えば、画像中の前景領域を抽出すると、抽出結果を用いて様々な処理を行うことができる。応用例の一つとして、現実空間に仮想空間の情報をリアルタイムに重ね合わせて利用者に提示する複合現実分野がある。この分野において臨場感豊かな体験を実現するためには、体験者がＣＧで描画される仮想物体に触り及び操作するというインタラクションを実現することが求められる。このためには、現実空間のカメラ画像の上に単にＣＧを重畳して表示するだけではなく、仮想物体を操作する被写体（画像中の体験者の手など）を、仮想物体よりも手前（前景）に表示できることが求められる。このような構成によれば、仮想物体との距離感及び現実感を保ち、臨場感を高めることができる。一方で、このようなインタラクションを実現するためには、カメラ画像中の被写体領域を判定する必要がある。

この課題を解決するために、特許文献１は、事前に登録された被写体の色情報を用いて、カメラ画像中の被写体領域を判定する技術を提案している。また、特許文献２は、被写体の色情報の登録及び削除を容易にするユーザインタフェースを開示している。さらに、特許文献３も、被写体の色情報の登録を容易にするユーザインタフェースを開示するとともに、さらに登録された背景の色情報を有する画素を被写体領域が除外するように、カメラ画像中の被写体領域を判定する技術を提案している。

特開２００５－１０７９６７号公報 特開２００５－２２８１４０号公報 特開２０１５－２３０６９５号公報

しかしながら、特許文献１～３の手法を用いた場合であっても、特に被写体の色と背景の色とが類似している場合に、抽出ノイズが生じやすい傾向があった。例えば、被写体の部分が被写体領域として抽出されない（未検出）、又は被写体ではない部分が被写体領域として抽出される（過検出）ことがあった。また、背景の白い領域及び黒い領域（無彩色に近い領域）においても、抽出ノイズが生じやすい傾向があった。この場合、さらなる色情報の登録により抽出ノイズを減らすことが望まれるが、良好な被写体抽出結果を得るためにユーザによる色情報の登録を繰り返すには時間を要していた。

本発明は、画像からの被写体抽出精度を向上させることを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
画像から被写体領域を抽出する画像処理装置であって、
画像を取得する画像取得手段と、
前記画像上の被写体領域に属する１以上の抽出色の指定及び前記画像上の被写体領域に属さない１以上の非抽出色の指定を取得する指定取得手段と、
前記抽出色及び前記非抽出色に基づいて、色変換パラメータを導出する導出手段と、
前記色変換パラメータに基づいて前記画像の色を変換する変換手段と、
前記変換後の前記画像及び前記抽出色に基づいて、前記画像から被写体領域を抽出する抽出手段と、
を備えることを特徴とする。

画像からの被写体抽出精度を向上させることができる。

一実施形態に係る画像処理装置の機能構成例を示すブロック図。 一実施形態に係る変換算出部１０５０の機能構成例を示すブロック図。 抽出色テーブル及び非抽出色テーブルを説明する図。 変換抽出色テーブル及び変換非抽出色テーブルを説明する図。 被写体抽出処理を説明する図。 色空間変換を行った後の抽出色領域及び非抽出色領域を示す模式図。 一実施形態に係る画像処理装置が行う処理のフローチャート。 一実施形態に係る色変換算出処理の詳細を示すフローチャート。 一実施形態で用いられるコンピュータの構成例を示すブロック図。

以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。

［被写体抽出処理の概要］
まず、被写体抽出処理の概要について、図５を参照して説明する。以下では、説明の簡略化のため、静止画から被写体を抽出する場合を例にとって説明する。本明細書において、被写体とは画像から抽出すべきオブジェクトのことを指し、背景とは被写体以外の部分を指す。図５（Ａ）は、処理の対象となるカメラ画像５００を示す。入力されたカメラ画像５００には、被写体である手５１０、及び手の色に近い黄色の箱５２０が写っている。

ユーザは、ユーザインタフェースに提示されたカメラ画像５００を見ながら、抽出すべき被写体の色である抽出色を指定する。例えばユーザは、入力装置（例えばマウス）を用いて、マウスカーソルを位置５３０から位置５４０に動かすことにより、手５１０の領域の一部である領域５５０を指定する。この場合、領域５５０に含まれる画素の色情報が、抽出色として登録される。

抽出色の情報は、図５（Ｃ）の抽出色領域５６０に示されるように、ＹＣｂＣｒ空間にマッピングできる。また、輝度変化の影響（例えば、照明条件の相違等による、画像内における明るさの変動及びフレーム画像間における明るさの変動）を低減するために、抽出色領域５６０をＣｂＣｒ平面に投影してもよい。この場合、ＣｂＣｒ平面上の抽出色領域５７０に含まれる色を有する画素を、被写体領域としてカメラ画像から抽出することができる。図５（Ｃ）に示される抽出色領域５７０に従って、カメラ画像から抽出した被写体領域を図５（Ｂ）に示す。図５（Ｂ）には、手の内部だが抽出されなかった領域５５２（未検出領域）と、背景領域だが誤って抽出された領域５５５，５５７（過検出領域）が示されている。

ユーザは、さらに非抽出色を設定することができる。例えばユーザは、図５（Ｄ）に示すように、過検出領域５５７が抽出されないようにするため、カメラ画像５００上でマウスカーソルを位置５３０から位置５４０にドラッグすることにより、領域５５０を指定することができる。この場合、領域５５０に含まれる画素の色情報が、非抽出色として登録される。非抽出色の情報も、図５（Ｅ）の非抽出色領域５６５及び非抽出色領域５７５に示されるように、ＹＣｂＣｒ空間及びＣｂＣｒ平面にマッピングできる。ここで、抽出色領域と非抽出色領域とが重複する場合、新しく指定された領域を優先することができる。例えば、以前に設定された抽出色領域５７０と重複する領域については、非抽出色領域５７５を優先することができる。

図５（Ｆ）は、図５（Ｅ）に示されるように非抽出色領域を設定した場合に、カメラ画像から抽出される被写体領域を示す。ここでは、過検出領域５５７がなくなったものの、抽出色領域５７０が狭くなったため、未検出領域５５２は図５（Ｄ）よりも拡大している。ユーザは、図５（Ｆ）に示すように、過検出領域５５５が抽出されないようにするため、さらに領域５５０を指定することができる。領域５５０に含まれる画素の色情報も、図５（Ｇ）の非抽出色領域５６７及び非抽出色領域５７７に示されるように、非抽出色として登録される。図５（Ｈ）は、図５（Ｇ）に示されるように非抽出色領域を設定した場合に、カメラ画像から抽出される被写体領域を示す。ここでは、過検出領域５５５がなくなったものの、抽出色領域５７０がさらに狭くなったため、手５１０の明るい部分にさらなる未検出領域５５３が生じている。

ユーザは、さらに抽出色を設定することができる。例えばユーザは、図５（Ｈ）に示すように、未検出領域５５２，５５３を抽出できるように、領域５５０を指定することができる。この場合、領域５５０に含まれる画素の色情報が、抽出色として登録される。登録後の抽出色領域５６０及び抽出色領域５７０を図５（Ｉ）に示す。ここで、以前に設定された非抽出色領域５７５と重複する領域については、ここで追加された抽出色領域５７０が優先されている。図５（Ｊ）は、図５（Ｉ）に示されるように非抽出色領域を設定した場合に、カメラ画像から抽出される被写体領域を示す。図５（Ｊ）では、未検出領域５５２，５５３はなくなったものの、非抽出色領域５７５が狭くなったため、過検出領域５５５，５５７が再び現れている。

以上のように、抽出色と非抽出色を繰り返し設定することにより、過検出領域及び未検出領域が小さくなるように手動で調整を行うことができるが、この調整は多くの時間を要する。また、動画像を処理する場合には、動画のそれぞれのフレームを用いて過検出領域及び未検出領域が小さくなるように調整することが求められ、この場合にはさらなる時間が必要となる。

本実施形態に係る画像処理装置によれば、過検出領域及び未検出領域が小さくなるように画像に対して色変換を行ってから、被写体抽出が行われる。このため、画像からの被写体抽出精度が向上するため、繰り返し設定の回数が少なくなり、調整時間が短くなることが期待される。また、このような色変換を自動的に求めることによっても、調整時間が短くなることが期待される。さらに、以下に説明する実施形態によれば、ユーザインタフェース上で確認しながら過検出領域及び未検出領域をユーザが指定することができるため、調整時間が短くなることが期待される。

［装置構成］
図１は、本実施形態に係る画像処理装置である、被写体抽出処理装置の機能構成を示すブロック図である。処理装置１０００は、画像から被写体領域を抽出する。処理装置１０００には、撮像装置１００、表示装置２００、外部記憶装置３００、及び入力装置１５０を接続することができる。

撮像装置１００は被写体を含む画像を撮像することができ、例えばカラー画像を撮像するカメラである。表示装置２００は画像等の情報を表示することができる。処理装置１０００は、接続された撮像装置１００を制御可能であってもよい。

表示装置２００を用いて、被写体抽出結果を示す情報と実写映像との合成結果を、ユーザにフィードバックすることができる。表示装置２００は、ディスプレイであってもよく、例えば頭部装着型のヘッドマウントディスプレイ又は据え置き型の大型のモニターである。

入力装置１５０は処理装置１０００への指示入力のために用いられるデバイスである。ユーザは、入力装置１５０を操作することにより、被写体抽出処理を制御することができる。本実施形態において入力装置１５０はマウスである。ユーザは、表示装置２００に表示された結果を見ながら、被写体と判定されなかった被写体上の領域や、被写体と判定された被写体外の領域のような、ノイズ領域を入力装置１５０で指定することにより、被写体領域の調整を行うことができる。

外部記憶装置３００は、データやプログラムを格納することができる。例えば、外部記憶装置３００は、処理装置１０００により決定されたカメラ画像上の被写体領域を示す情報を保存することができる。外部記憶装置３００は、例えばメモリやハードディスクなどであってもよく、このような情報を別のプログラムに伝達するための一時記憶媒体として用いることができる。

処理装置１０００が備える画像取得部１０１０は、画像を取得する。画像取得部１０１０は、撮像装置１００からカメラ画像を取得して、データ記憶部１０２０に記憶することができる。

処理装置１０００が備えるデータ記憶部１０２０は、画像取得部１０１０から入力されたカメラ画像を保持することができる。また、データ記憶部１０２０は、被写体抽出に用いる色情報及び色変換パラメータを保持することができる。色情報の例（例えば後述する変換抽出色テーブル及び変換非抽出色テーブル）及び色変換パラメータの例については後述する。データ記憶部１０２０が保持するデータの種類はこれらに限定されず、データ記憶部１０２０は色空間変換のために用いることができる任意の種類の情報を保持することができる。

処理装置１０００が備える抽出色取得部１０３０及び非抽出色取得部１０４０は、画像上の被写体領域に属する１以上の抽出色の指定及び画像上の被写体領域に属さない１以上の非抽出色の指定を取得する（指定取得）。以下では、これらの構成についてより詳しく説明する。

抽出色取得部１０３０は、抽出すべき被写体の色である抽出色の指定を取得する。例えば抽出色取得部１０３０は、カメラ画像上でユーザが指定した被写体上の領域（第１の領域）に含まれる各画素についての色情報を、指定された抽出色として取得するモジュールであってもよい。例えばユーザは、入力装置１５０であるマウスをドラッグ操作することにより、被写体上の領域を指定することができる。この場合、抽出色取得部１０３０は、指定された領域の色情報をカメラ画像を参照して取得することができる。本実施形態においては、色情報としてはＹＣｂＣｒ色空間における値（Ｙ・Ｃｂ・Ｃｒの３値）が用いられる。もっとも、本発明においてＹＣｂＣｒ空間での色の表現を用いることは必須ではない。一実施形態においては、輝度情報と色情報を分離可能な色空間における、明るさを表す第１の色値（例えばＹ値）及び色彩を表す第２の色値（例えばＣｂ及びＣｒ値）を含む３次元以上の色情報が用いられる。抽出色取得部１０３０は、抽出色の指定として、こうして得られた色情報を取得することができる。

抽出色配置部１０３５は、抽出色取得部１０３０から入力された色情報を抽出色テーブルに配置する。抽出色配置部１０３５は、同じ色情報が入力された回数をカウントすることができる。例えば、抽出色配置部１０３５は、入力された色情報が、すでに登録されている色情報と重複している場合は、色情報に対応するカウント値を増加させることができる。このテーブルの一例を図３（Ａ）に示す。図３（Ａ）には、抽出色として登録された色情報と、そのカウント値と、が登録されている。このカウント値は、関連付けられた色情報が抽出色としてユーザに指定された回数である。これは、関連付けられた色情報を有する画素が抽出色の画素としてユーザに指定された回数であってもよい。ユーザは、抽出色の画素として同じ画素を２回以上指定してもよい。抽出色配置部１０３５は、こうして生成したテーブルを変換算出部１０５０に出力する。

処理装置１０００が備える非抽出色取得部１０４０は、抽出しない色（被写体外の色）である非抽出色の指定を取得する。例えば非抽出色取得部１０４０は、カメラ画像上でユーザが指定した被写体以外の領域（第２の領域）に含まれる各画素の色情報を、指定された非抽出色として取得するモジュールであってもよい。抽出色取得部１０３０と同様に、ユーザは、入力装置１５０であるマウスをドラッグ操作することにより、被写体以外の領域を指定することができる。こうしてユーザは、過検出領域（ノイズ）を指定することができる。

処理装置１０００が備える非抽出色配置部１０４５は、非抽出色取得部１０４０から入力された色情報を非抽出色テーブルに配置する。非抽出色配置部１０４５は、抽出色配置部１０３５と同様に、同じ色情報が入力された回数をカウントすることができる。このテーブルの一例を図３（Ｂ）に示す。図３（Ｂ）にも、非抽出色として登録された色情報と、そのカウント値と、が登録されている。抽出色配置部１０３５は、こうして生成したテーブルを変換算出部１０５０に出力することができる。

なお、抽出色及び非抽出色の記録方法は、テーブルを用いる方法には限定されない。例えば、抽出色又は非抽出色として登録される色空間上の色領域を示す情報を記録することもできる。複数の色についての色情報から、色領域を示す情報を生成する方法としては、例えば特許文献１に記載の凸閉方処理が挙げられる。

処理装置１０００が備える変換算出部１０５０は、抽出色及び非抽出色に基づいて、色変換パラメータ（以下、変換情報とも呼ぶ）を導出する。例えば変換算出部１０５０は、抽出色テーブルと非抽出色テーブルを用いて、色空間変換を導出するためのモジュールであってもよい。変換算出部１０５０は、被写体抽出を行った際に、過検出領域と未検出領域が最小になるように、色空間の変換情報を算出することができる。そして、変換算出部１０５０は、得られた色空間変換情報と、それぞれ抽出色テーブル及び非抽出色テーブルの色情報を色空間変換して得られた変換抽出色テーブル及び変換非抽出色テーブルを、データ記憶部１０２０に記録する。

本実施形態においては、多次元色空間上で表される画像の色情報をより低次元の色空間に射影する色変換を行うことができる。すなわち、色変換パラメータに基づく変換後の色は、多次元色空間上で表される画像の色情報をより低次元の色空間に射影することにより得られる色情報であってもよい。画像の色が３次元色空間上の色情報により表される一例において、変換後の色は、画像の色を色変換パラメータに基づいて色空間変換し、色空間変換後の色情報を座標平面に射影して得られる色情報によって表すことができる。

例えば、色空間の変換情報としては、色空間を回転させる３軸の回転値（θｘ，θｙ，θｚ）を用いることができる。本実施形態においては、一例として、ＹＣｂＣｒ色空間を３軸の回転値に従ってＹ’Ｃｂ’Ｃｒ’色空間へと回転させることにより、Ｙ・Ｃｂ・Ｃｒ値がＹ’・Ｃｂ’・Ｃｒ’値に変換される。このように、色空間の変換情報を用いて、色空間変換後の色情報をＣｂ’Ｃｒ’座標平面に射影して得られる色情報Ｃｂ’・Ｃｒ’値を得ることができる。後述するように、被写体抽出部１０６０による被写体領域の抽出は、このように算出されたＣｂ’・Ｃｒ’値を用いて行われる。なお、Ｃｂ’・Ｃｒ’値は、ＹＣｂＣｒ色空間における任意の平面にＹ・Ｃｂ・Ｃｒ値を射影して得られる値に相当する。

もっとも、色空間変換は３軸の回転には限定されず、非線形変換を含む任意の変換を採用することができる。例えば、色空間変換は１軸又は２軸の回転であってもよい。また、色空間変換は、所定の領域のみのスケールを拡大・縮小することにより、着目色領域の分解能を部分的に向上させる変換であってもよい。変換算出部１０５０のより詳細な構成については後述する。

変換部１０５５は、データ記憶部１０２０に記憶されている色空間の変換情報に基づいて、カメラ画像の色情報に対する色空間変換処理を行う。例えば、変換部１０５５は、変換情報に含まれる３軸の回転値に基づく色空間変換を行うことにより、カメラ画像の全画素について、Ｙ・Ｃｂ・Ｃｒ値を、色空間変換後のＹ’・Ｃｂ’・Ｃｒ’値に変換することができる。変換部１０５５は、色空間変換後のカメラ画像を、被写体抽出部１０６０に出力する。

被写体抽出部１０６０は、色変換後の画像及び抽出色に基づいて、画像から被写体領域を抽出する。例えば被写体抽出部１０６０は、変換部１０５５から出力された色変換後のカメラ画像から被写体領域を抽出することができる。なお、被写体抽出部１０６０は、後述するように、さらに非抽出色に基づいて被写体領域を抽出することもできる。被写体抽出部１０６０は、抽出した被写体領域を、外部記憶装置３００又は画像生成部１１００に出力することができる。

画像生成部１１００は、被写体抽出部１０６０によって抽出された被写体領域を示す情報を生成する。画像生成部１１００は、抽出された被写体領域を示す情報をカメラ画像に重畳することができる。例えば、画像生成部１１００は、データ記憶部１０２０に保存されたカメラ画像のうち、被写体抽出部１０６０が抽出した被写体領域に、色を付けることにより表示画像を生成することができる。画像生成部１１００は、こうして生成された表示画像を表示装置２００に表示する表示制御を行うことができる。このような表示画像に基づいて、ユーザは、被写体抽出において発生した過検出領域又は未検出領域を確認することができる。図５（Ｂ）は、このような表示画像の例を示す。本実施形態のように色変換を行う場合にも、図５（Ｂ）と同様のユーザインタフェースを採用することができる。

図２は、変換算出部１０５０の詳細な構成を示すブロック図である。投影部２０１０は、データ記憶部１０２０から取得した色空間の変換情報に基づいて、抽出色配置部１０３５から取得した抽出色テーブルに配置されている色情報に対する投影変換を行う。また、投影部２０１０は、同様に非抽出色配置部１０４５から取得した非抽出色テーブルに配置されている色情報に対する投影変換を行う。本実施形態に係る投影変換では、テーブルに配置されたＹＣｂＣｒ空間における色値（３次元データ）に対して、３軸の回転値（θｘ，θｙ，θｚ）に基づく回転変換が行われ、変換後の色値がＣｂ’・Ｃｒ’平面に投影される。図３（Ａ）及び（Ｂ）に示される抽出色テーブル及び非抽出色テーブルに対して、投影変換を行うことにより得られた、変換抽出色テーブル及び変換非抽出色テーブルの例を、図４（Ａ）及び（Ｂ）に示す。

未検出判定部２０２０は、検出すべき被写体領域のうち、被写体抽出部１０６０により抽出されない被写体上の未検出領域を判定する。未検出判定部２０２０は、変換抽出色テーブル及び変換非抽出色テーブルに基づいて、未検出領域を判定することができる。本実施形態では、抽出色を指定するためにユーザが指定した画素（例えば図５（Ａ）の領域５５０内の画素）のうち、被写体として抽出されない画素数（例えば図５（Ｈ）の未検出領域５５２，５５３の画素数）を、未検出判定部２０２０は算出する。詳細な算出方法については後述する。

過検出判定部２０３０は、検出すべきではない被写体以外の領域のうち、被写体抽出部１０６０により抽出される被写体上の過検出領域を判定する。未検出判定部２０２０は、変換抽出色テーブル及び変換非抽出色テーブルに基づいて、未検出領域を判定することができる。本実施形態では、非抽出色を指定するためにユーザが指定した画素（例えば図５（Ｄ）（Ｆ）の領域５５０内の画素）のうち、被写体として抽出される画素数（例えば図５（Ｊ）の過検出領域５５５，５５７の画素数）を、未検出判定部２０２０は算出する。詳細な算出方法については後述する。

変換計算部２０４０は、未検出判定部２０２０及び過検出判定部２０３０による未検出領域及び過検出領域の判定結果に基づいて、色変換パラメータを導出する。変換計算部２０４０は、未検出領域及び過検出領域が小さくなるように、色空間の変換情報を算出することができる。変換計算部２０４０は、得られた変換情報をデータ記憶部１０２０に記録する。

上述した、例えば図１及び図２に示される各処理部は、専用のハードウェアによって実現されてもよい。一方で、処理装置１０００が有する一部又は全部の処理部が、コンピュータにより実現されてもよい。図９は、使用可能なコンピュータ９００の基本構成の一例を示す図である。図９においてプロセッサー９１０は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ９２０は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体９３０は、例えばハードディスク又はＣＤ－ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体９３０が格納している、各部の機能を実現するプログラムが、メモリ９２０へと読み出される。そして、プロセッサー９１０が、メモリ９２０上のプログラムに従って動作することにより、各部の機能が実現される。図９において、入力インタフェース９４０は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース９５０は外部の装置へと情報を出力するためのインタフェースである。バス９６０は、上述の各部を接続し、データのやりとりを可能とする。

＜処理手順＞
図７は、本実施形態に係る処理装置１０００が行う処理の一例を示すフロー図である。図７に示す処理は、撮像装置１００からのカメラ画像が更新されるたびに繰り返し実行されてもよい。例えば、撮像装置１００が動画像を生成する場合、処理装置１０００は動画像を構成するそれぞれのフレーム画像に対して以下の処理を行うことができる。

ステップＳ３０１０で画像取得部１０１０は、撮像装置１００からカメラ画像を取得し、データ記憶部１０２０に保存する。

ステップＳ３０２０で抽出色取得部１０３０及び非抽出色取得部１０４０は、入力装置１５０から入力があるか否かを判定する。入力があった場合、処理はステップＳ３０６０に移行する。入力がなかった場合、処理はステップＳ３０３０に移行する。

ステップＳ３０３０で変換部１０５５は、データ記憶部１０２０に記憶されている色空間の変換情報に基づいて、カメラ画像の各画素について色情報に対する色空間変換を行う。一実施形態において、色空間変換は以下の計算式（１）を用いて行うことができる。式８１）において、Ｙ，Ｃｂ，Ｃｒは元のカメラ画像の色値であり、Ｒは３軸の回転値（θｘ，θｙ，θｚ）に従う３×３の回転行列であり、Ｙ’，Ｃｂ’，Ｃｒ’は変換後の色値である。

ステップＳ３０４０で被写体抽出部１０６０は、ステップＳ３０３０で得られた変換後の色値に基づいて、各画素が被写体領域に含まれるか否かを判定する。ここで被写体抽出部１０６０は、色変換パラメータに基づく変換後の画像の着目画素の色が変換後の抽出色であるか否かに基づいて、着目画素を被写体領域の画素か否か判定することができる。もっとも、着目画素の色が抽出色と完全に一致する必要はなく、例えば着目画素の色と抽出色との差異が所定の閾値以内である場合に、着目画素の色は変換後の抽出色であると判定してもよい。同様に、後述するように、抽出色と非抽出色とが同一であるか否かを判定する場合、及び２以上の抽出色又は非抽出色が同一であるか否かを判定する場合も、色が完全に一致する必要はない。

例えば、被写体抽出部１０６０は、データ記憶部１０２０に格納されている変換抽出色テーブルに基づいてこの判定を行うことができる。本実施形態において、被写体抽出部１０６０は、ステップＳ３０３０で得られた着目画素のＣｂ’・Ｃｒ’値が、変換抽出色テーブルのＣｂ’・Ｃｒ’値に該当する場合に、着目画素を被写体領域の画素として登録することができる。被写体抽出部１０６０は、注目画素のＣｂ’・Ｃｒ’値が、変換抽出色テーブルのＣｂ’・Ｃｒ’値に該当しない場合は、着目画素を被写体領域の画素として登録しない。本実施形態において被写体抽出部１０６０は、カメラ画像のすべての画素に対して、被写体か否かの判定を行う。そして、被写体抽出部１０６０は、被写体領域の画素の座標を、外部記憶装置３００又は画像生成部１１００に出力する。

ステップＳ３０５０で画像生成部１１００は、データ記憶部１０２０に格納されているカメラ画像に対し、ステップＳ３０４０で抽出した被写体領域を示す情報を合成する合成処理を行う。例えば画像生成部１１００は、カメラ画像の被写体領域に着色することができる。こうして得られた合成画像を表示装置２００上で表示することにより、ユーザは、被写体である手５１０の領域と、抽出された被写体領域と、の一致度（未検出領域及び過検出領域の大きさ）を知ることができる。画像生成部１１００は、カメラ画像上の手５１０の輪郭と被写体領域の輪郭との比較が容易となるように、被写体領域を示す半透明の図形をカメラ画像に合成することができる。

ステップＳ３０６０で抽出色取得部１０３０及び非抽出色取得部１０４０は、入力装置１５０からの入力が、抽出色の入力であったか、非抽出色の入力であったかを判定する。
非抽出色の入力があった場合、処理はステップＳ３０９０に移る。また、抽出色の入力があった場合、処理はステップＳ３０７０に移る。なお、複数の入力があった場合には、それぞれの入力についてステップＳ３０６０～Ｓ３１００の処理を行うことができる。

ステップＳ３０７０で抽出色取得部１０３０は、入力装置１５０を用いて指定された領域におけるカメラ画像の色情報を取得し、抽出色配置部１０３５に出力する。例えば、入力装置１５０を用いたマウスドラッグ操作により、開始座標及び終了座標を頂点とする矩形領域を指定することができる。図５（Ａ）の例においては領域５５０が指定されており、この場合抽出色取得部１０３０は領域５５０に含まれる各画素についての色情報を取得する。同じ色情報を有する画素が存在する場合、抽出色取得部１０３０はこの色情報を有する画素の数をカウントして出力する。

ステップＳ３０８０において抽出色配置部１０３５は、ステップＳ３０７０で取得された色情報を用いて抽出色テーブルを更新する。図５（Ａ）の例において、抽出色配置部１０３５は、領域５５０に含まれる画素についての色情報を抽出色テーブルに追加する。このとき抽出色配置部１０３５は、同じ色情報を有する画素の数も、色情報に対応付けて保存する。図５（Ｃ）は、図５（Ａ）の例において登録された抽出色を３次元の抽出色領域５６０として示す。

ステップＳ３０９０において非抽出色取得部１０４０は、入力装置１５０を用いて指定された領域におけるカメラ画像の色情報、及び同じ色情報を有する画素数を取得し、非抽出色配置部１０４５に出力する。具体的な手法はステップＳ３０７０と同様である。図５（Ｄ）の例においては領域５５０が指定されており、この場合抽出色取得部１０３０は領域５５０に含まれる各画素についての色情報を取得する。

ステップＳ３１００において非抽出色配置部１０４５は、ステップＳ３０９０で取得された色情報を用いて非抽出色テーブルを更新する。具体的な手法はステップＳ３０９０と同様である。図５（Ｅ）は、図５（Ｄ）の例において登録された非抽出色を３次元の非抽出色領域５６５として示す。

ステップＳ３１２０において変換算出部１０５０は、抽出色テーブル及び非抽出色テーブルに基づいて色空間の変換情報を算出する。変換算出部１０５０は、被写体抽出時に過検出領域及び未検出領域がより小さくなるように、変換情報を算出することができる。また、変換算出部１０５０は、抽出色テーブル及び非抽出色テーブルに含まれる色情報を、変換情報に従って色変換することにより、変換抽出色テーブル及び変換非抽出色テーブルを作成する。変換算出部１０５０は、こうして得られた変換情報、変換抽出色テーブル、及び変換非抽出色テーブルを、データ記憶部１０２０に記録する。その後、処理はＳ３０３０に移る。変換算出部１０５０による具体的な処理については後述する。

図５（Ｇ）に示す例では、抽出色領域５６０及び非抽出色領域５６５，５６７がＹ・Ｃｂ・Ｃｒ色空間に登録されている。そして、ＣｂＣｒ平面に投影された際に、抽出色領域５６０と非抽出色領域５６５，５６７とは一部が重複している。ＣｂＣｒ平面に投影するとこのような重複部分に含まれる色情報を有する画素は、未検出領域又は過検出領域を構成する。本実施形態においては、図６に示されるように色情報に対して回転変換を行うことにより、過検出領域及び未検出領域が少なくなるように色空間が変換される。図６の例では、抽出色領域５６０及び非抽出色領域５６５，５６７に対して回転変換が行われた結果、Ｃｂ’・Ｃｒ’平面に投影された抽出色領域５７０は、非抽出色領域５７５，５７７と重複していない。このため、未検出領域及び過検出領域の発生が抑えられ、被写体をより少ないノイズで抽出することが可能となる。

ステップＳ３０５０の後で、ステップＳ３０２０～Ｓ３０５０の処理が繰り返されてもよい。例えば、ステップＳ３０４０が被写体抽出部１０６０が被写体領域を抽出した後に、処理がステップＳ３０２０に戻り、抽出色取得部１０３０及び非抽出色取得部１０４０が抽出色又は非抽出色の指定を追加取得してもよい。この場合、ステップＳ３１２０において変換算出部１０５０は、追加取得した抽出色又は非抽出色の指定に基づいて色変換パラメータを更新することができる。また、ステップＳ３０４０において被写体抽出部１０６０は、更新後の色変換パラメータに基づいて被写体領域を抽出することができる。このような構成によれば、ユーザは、表示画像中の抽出結果を見ながら抽出色又は非抽出色の指定を繰り返すことができるため、調整に要する時間が短くなることが期待される。

図８は、ステップＳ３１２０における色空間変換の算出処理の一例を詳細に示すフロー図である。ステップＳ４０１０において投影部２０１０は、データ記憶部１０２０から取得した色空間の変換情報を用いて、抽出色テーブル（図３（Ａ））及び非抽出色テーブル（図３（Ｂ））に含まれる色情報を変換する。なお、初期状態（例えばプログラム起動直後）においては、変換情報として任意の初期値が用いられる。一例として、初期状態においては、変換情報である３軸の回転値の初期値は（０，０，０）であってもよい。また、同じカメラ画像に対してステップＳ３１２０の処理を繰り返す場合、投影部２０１０は、直前のステップＳ３１２０で算出された変換情報をデータ記憶部１０２０から取得することができる。さらに、１つのカメラ画像に対して１回目のステップＳ３１２０の処理を行う場合、投影部２０１０は、以前に処理されたカメラ画像に対して算出された変換情報をデータ記憶部１０２０から取得することができる。

本実施形態において投影部２０１０は、色空間の変換情報から、色空間を変換するための３×３の回転行列Ｒを算出する。そして投影部２０１０は、式（１）を用いて、抽出色配置部１０３５が更新した抽出色テーブルに登録されているＹ・Ｃｂ・Ｃｒ値をＹ’・Ｃｂ’・Ｃｒ’値に変換する。ここで、変換後のＹ’・Ｃｂ’・Ｃｒ’値にも、元のＹ・Ｃｂ・Ｃｒ値に対応するカウント値が対応付けられる。さらに、投影部２０１０は、Ｙ’・Ｃｂ’・Ｃｒ’値をＣｂ’・Ｃｒ’平面に縮退させて得られるＣｂ’・Ｃｒ’値が登録された変換抽出色テーブルを作成する。変換抽出色テーブルにおいて、Ｃｂ’・Ｃｒ’値には、Ｃｂ’・Ｃｒ’値が同一であり、様々なＹ’値を有する色情報についてのカウント値の合計が対応付けられる。すなわち、変換抽出色テーブルを用いて、Ｃｂ’・Ｃｒ’平面上における抽出色の出現頻度を参照することができる。例えば、図４（Ａ）に示す変換抽出色テーブルには、抽出色として登録された変換後の色情報と、そのカウント値と、が登録されている。このように、投影部２０１０は、色変換パラメータに基づく変換後の１以上の抽出色のそれぞれについて、抽出色を指定するためにユーザが指定した画素（第１の領域に含まれる画素）のうち抽出色を有している画素の数（第１の数）をカウントできる。

投影部２０１０は、同様に、抽出色配置部１０３５が更新した非抽出色テーブルから、変換非抽出色テーブルを生成する。変換非抽出色テーブルには、非抽出色のＣｂ’・Ｃｒ’値と、その出現頻度と、が登録される。例えば、図４（Ｂ）に示す変換抽出色テーブルには、非抽出色として登録された変換後の色情報と、そのカウント値と、が登録されている。このように、投影部２０１０は、色変換パラメータに基づく変換後の１以上の非抽出色のそれぞれについて、非抽出色を指定するためにユーザが指定した画素（第２の領域に含まれる画素）のうち抽出色を有している画素の数（第２の数）をカウントできる。

ステップＳ４０２０で未検出判定部２０２０は、変換抽出色テーブル及び変換非抽出色テーブルに基づいて、未検出領域の存在を判定する。本実施形態において未検出判定部２０２０は、同一の色（Ｃｂ’・Ｃｒ’）についての変換抽出色テーブル及び変換非抽出色テーブルのカウント値を比較する。そして、未検出判定部２０２０は、変換抽出色テーブルのカウント値が変換非抽出色テーブルのカウント値よりも少ない場合に、この色（Ｃｂ’・Ｃｒ’）を有する未検出領域が存在すると判断する。この場合、この色を有する画素のうち、ユーザが登録したいと考えて指定した画素の数よりも、非登録にしたいと考えて指定した画素数の方が多い。本実施形態においては、このような色を有する画素は統計的に被写体領域外にある可能性が高いため、被写体領域として抽出されない。しかしながらこの場合、ユーザが被写体として指定した画素については、被写体領域内の未検出画素となる。例えば、図５（Ｇ）に示すように、抽出色領域５７０に対し、非抽出色領域５７５が重複するときに、未検出領域が生じうる。

本実施形態において未検出判定部２０２０は、変換抽出色テーブルにおいて、図４（Ａ）に示すように、このような色情報に関連付けられた「状態」フィールドに「未検出」であることを示す情報を登録する。一方、未検出判定部２０２０は、それ以外の色情報に関連付けられた「状態フィールド」には、被写体抽出のために使用可能であることを示すために、「登録」されていることを示す情報を登録する。

ステップＳ４０３０で過検出判定部２０３０は、変換抽出色テーブルと変換非抽出色テーブルの結果に基づいて、過検出領域の存在を判定する。過検出判定部２０３０は未検出判定部２０２０と同様の比較を行い、変換抽出色テーブルのカウント値が変換非抽出色テーブルのカウント値よりも多い場合に、色（Ｃｂ’・Ｃｒ’）を有する過検出領域が存在すると判断する。本実施形態においては、このような色を有する画素は統計的に被写体領域内にある可能性が高いため、被写体領域として抽出される。しかしながらこの場合、ユーザが被写体ではないと指定した画素については、被写体領域外の過検出画素となる。例えば、図５（Ｇ）に示すように、非抽出色領域５７７に対し、抽出色領域５７０が重複するときに、過検出領域が生じうる。本実施形態において過検出判定部２０３０は、変換非抽出色テーブルにおいて、図４（Ｂ）に示すように、このような色情報に関連付けられた「状態」フィールドに「過検出」であることを示す情報を登録する。一方、過検出判定部２０３０は、それ以外の色情報に関連付けられた「状態フィールド」には、被写体抽出のために使用しないことを示すために、「非登録」であることを示す情報を登録する。なお、カウント値が一致する場合は、未検出領域が存在すると判断されてもよいし、過検出領域が存在すると判断されてもよい。

ステップＳ４０４０で変換計算部２０４０は、ステップＳ４０２０で判定された未検出領域とステップＳ４０３０で判定された過検出領域とが、カメラ画像上で小さくなるような色空間の変換情報を算出する。

下式（２）において、Ｒｅｃａｌｌは未検出領域が無い場合に１となるように定義されるパラメータである。式（２）において、ＴＰは、変換抽出色テーブルに含まれる各色情報のカウント値の合計値である。また、ＦＮは、変換抽出色テーブルにおいて状態が「未検出」となっている各色情報のカウント値の合計値である。
Ｒｅｃａｌｌ ＝ ＴＰ／（ＴＰ＋ＦＮ） ……式（２）

また、下式（３）において、Ｐｒｅｃｉｓｉｏｎは過検出領域が無い場合に１となるように定義されるパラメータである。式（３）において、ＦＰは、変換非抽出色テーブルにおいて状態が「過検出」となっている各色情報のカウント値の合計値である。
Ｐｒｅｃｉｓｉｏｎ ＝ ＴＰ／（ＴＰ＋ＦＰ） ……式（３）

変換計算部２０４０は、式（２）と式（３）を組み合わせて得られる、未検出領域及び過検出領域がない場合に１となるように定義される、下式（４）のパラメータＦに基づいて、色空間の変換情報を算出する。
Ｆ ＝ （２・Ｒｅｃａｌｌ・Ｐｒｅｃｉｓｉｏｎ）／（Ｒｅｃａｌｌ＋Ｐｒｅｃｉｓｉｏｎ） ……式（４）

変換計算部２０４０は、まず、ステップＳ４０１０で取得した変換情報であるパラメータ（θｘ，θｙ，θｚ）を用いて式（４）に従ってＦ値を得る。そして、変換計算部２０４０は、Ｆ値がより大きくなるように、パラメータ（θｘ，θｙ，θｚ）を変化させる。例えば、変換計算部２０４０は、最小二乗法を用いてＦ値が最大となる３軸の回転値（θｘ，θｙ，θｚ）を求める最適化計算を行うことができる。

このように、変換計算部２０４０は、抽出色を有するが被写体領域として抽出されない画素（未検出領域）、及び非抽出色を有するが被写体領域として抽出される画素（過検出領域）と、の判定結果に基づいて色変換パラメータを導出する。より具体的には、変換計算部２０４０は、未検出領域及び非検出領域がより少なくなるように、色変換パラメータを導出している。別の観点において変換計算部２０４０は、変換抽出色テーブルに示される色変換パラメータに基づく変換後の抽出色と、変換非抽出色テーブルに示される色変換パラメータに基づく変換後の非抽出色と、の重複度の判定結果に基づいて色変換パラメータを導出する。より具体的には、変換計算部２０４０は、変換後の抽出色と非抽出色との重複度がより少なくなるように、色変換パラメータを導出している。

ステップＳ４０５０で変換計算部２０４０は、最適化計算を繰り返すか否かを判定する。例えば変換計算部２０４０は、前回のループで算出されたＦ値と、今回のループで算出されたＦ値との差分が、閾値以上である場合、３軸の回転値（θｘ，θｙ，θｚ）を新しい値に更新することができる。その後、処理はステップＳ４０１０に戻る。差分が閾値未満であった場合、変換計算部２０４０は、最適化計算を終了することができる。この場合、変換計算部２０４０は、得られた３軸の回転値を、色空間の変換情報としてデータ記憶部１０２０に記録する。こうして記録された変換情報を用いて、被写体の抽出が行われる。このように、変換算出部１０５０は、色変換パラメータを繰り返し更新することにより、色変換パラメータを導出することができる。

図６は、こうして得られた変換情報に従う、図５（Ｇ）の色空間の変換結果を示す。図６のＣｂ’・Ｃｒ’平面において、抽出色領域５７０と非抽出色領域５７５，５７７とは重複していないため、被写体と背景とをより少ないノイズで分離することが可能となる。このように、色空間の変換を行うことにより、抽出色領域と非抽出色領域が重複しないように分離されるため、未検出領域及び過検出領域を減らすことができる。図６の例においては、図５（ｊ）ではノイズとして残っていた過検出領域５５５，５５７が消え、被写体（手５１０）の領域のみを抽出することが可能となる。

一方、色空間変換を行っても、抽出色領域５７０と非抽出色領域５７５，５７７とが分離できず、重複する場合もある。本実施形態において被写体抽出部１０６０は、色変換パラメータに基づく変換後の画像の着目画素の色が変換後の非抽出色であるか否かにさらに基づいて、着目画素を被写体領域の画素か否か判定することができる。一例において被写体抽出部１０６０は、色変換パラメータに基づく変換後の画像の着目画素の色が、変換後の抽出色と変換後の非抽出色との双方に含まれる場合、着目画素は被写体領域の画素ではないと判定してもよい。

一方、本実施形態において被写体抽出部１０６０は、色変換パラメータに基づく変換後の画像の着目画素の色が、変換後の抽出色と変換後の非抽出色との双方に含まれる場合、さらに変換抽出色テーブルに登録された抽出色の「状態」を参照する。上述のとおり、変換後において着目画素の色を有している、抽出色を指定するためにユーザが指定した画素の数（第１の数）が、非抽出色を指定するためにユーザが指定した画素の数（第２の数）より少ない場合、変換後の抽出色は「未検出」状態と判定される。被写体抽出部１０６０は、変換抽出色テーブルにおいて「未検出」状態であることが登録されている色を有する画素については、被写体領域外と判定することができる。なお、一実施形態において、被写体抽出部１０６０は、変換非抽出色テーブルにおいて「過検出」状態であることが登録されている色を有する画素については、被写体領域内と判定してもよい。上述のとおり、第１の数が第２の数より多い場合に、変換後の非抽出色は「過検出」状態と判定される。このように、被写体抽出部１０６０は、このような第１の数及び第２の数に基づいて、着目画素は被写体領域に含まれる又は含まれないと判定することができる。この場合であっても、色空間変換により抽出色領域と非抽出色領域との分離が向上するため、未検出領域及び過検出領域が少なくなり、被写体抽出精度が向上する。

本実施形態の処理によれば、被写体抽出処理において過検出領域と未検出領域が少なくなるように色空間変換を行うため、被写体抽出精度が向上する。また、被写体領域及び被写体外の領域を指定する構成、とりわけ過検出領域及び未検出領域が発生した箇所を指定する構成を用いることにより、抽出精度を向上させる色空間変換が自動的に求められる。このため、従来よりも短時間で過検出領域及び未検出領域を減少させることができる。

［変形例１］
ステップＳ４０４０における初期パラメータは特に限定されない。また、局所解が得られることを避け、より被写体抽出に適した変換情報を得るために、複数セットの初期パラメータを用いることもできる。例えば、３軸の回転値の初期値として（０，０，０）のみを用いる代わりに、（０.５，０，０）、（１，０，０）、（０，０．５，０）、（０，１，０）、（０，０，０．５）、及び（０，０，１）などの候補から、複数の初期値を選択することができる。この場合、それぞれの初期値を用いて最適化計算を行い、Ｆ値が最高になるパラメータを選択することができる。また、既に変換情報が得られている場合には、以前に得られた３軸の回転値（θｘ，θｙ，θｚ）の他に、初期値として（θｘ＋０.５，θｙ，θｚ）、（θｘ＋１，θｙ，θｚ）、（θｘ，θｙ＋０.５，θｚ）、（θｘ，θｙ＋１，θｚ）、（θｘ，θｙ，θｚ＋０.５）、及び（θｘ，θｙ，θｚ＋１）などを用いることができる。このような構成によれば、最適化における繰り返し回数を減らし、より少ない処理負荷で最適解を得ることができる。

［変形例２］
変換計算部２０４０による色空間の変換情報の算出方法は、上述の方法に限定されない。すなわち、投影後の抽出色領域５７０と、非抽出色領域５７５，５７７と、の分離を向上させる他の方法を用いて、色変換パラメータに基づく変換後の抽出色と、色変換パラメータに基づく変換後の非抽出色と、の重複度を少なくすることができる。例えば、変換計算部２０４０は、色変換パラメータに基づく変換後の色空間上の抽出色領域と、色変換パラメータに基づく変換後の色空間上の非抽出色領域と、の距離を判定することができる。そして、変換計算部２０４０は、この距離がより短くなるように、色変換パラメータを繰り返し更新することにより、色変換パラメータを導出することができる。

具体例として、投影面であるＣｂ’・Ｃｒ’平面上で、抽出色領域５７０の輪郭線と、非抽出色領域５７５，５７７の輪郭線と、の距離がより大きくなるように、変換情報を求めてもよい。例えば、Ｃｂ’・Ｃｒ’平面上での、抽出色領域の輪郭線点列の各点における、非抽出色領域の輪郭線点との最短距離を求めることができる。そして、抽出色領域の輪郭線点列の各点について求められる最短距離の平均値が最大となるように、色空間の変換情報を最適化することができる。このような方法によっても、抽出色領域５７０と、非抽出色領域５７５，５７７と、の分離を向上させ、被写体抽出精度を向上させる変換情報を得ることができる。特に、このような方法によれば、別のカメラ画像に基づいて抽出色が追加登録された場合であっても、少ない繰り返し計算量で最適解を得ることができる。

［変形例３］
上記の全ての構成を備えることは、本発明において必須ではない。例えば、一実施形態に係る画像処理装置は、抽出色及び非抽出色に基づいて色変換パラメータを導出する変換算出部１０５０を有している。また、この画像処理装置は、色変換パラメータによる変換後の画像及び抽出色に基づいて、画像から被写体領域を抽出する被写体抽出部１０６０を有している。このような構成を有することにより、被写体の色である抽出色を被写体以外の色である非抽出色から区別できるように色変換を行うことが可能となるため、被写体の抽出精度を向上させることができる。

また、一実施形態に係る画像処理装置は、明るさを表す第１の色値（例えばＹ値）及び色彩を表す第２の色値（例えばＣｂ及びＣｒ値）を含む３次元以上の色情報によって各画素が表現されている画像を取得する画像取得部１０１０を有している。また、この画像処理装置は、第１の色値と第２の色値との双方を用いて変換後の色情報を導出するように、画像の色情報の次元を下げる（例えばＹ値が射影結果に寄与するようにＣｂＣｒ平面以外の投影面へと色値を射影する）変換部１０５５を有している。このような構成を有することにより、明るさを表す色値を被写体抽出において考慮する一方で、輝度変化の影響が小さくなるように明るさを表す色値の寄与を小さくすることが可能となるため、被写体の抽出精度を向上させることができる。

また、一実施形態に係る画像処理装置は、画像上の被写体領域に属する１以上の抽出色の指定及び画像上の被写体領域に属さない１以上の非抽出色の指定を取得する抽出色取得部１０３０及び非抽出色取得部１０４０を有している。この画像処理装置はまた、抽出される被写体領域のうち非抽出色を有さない領域が、非抽出色の指定に応じて変化するように、画像から被写体領域を抽出する被写体抽出部１０６０を有している。例えば、非抽出色の指定により明示的に被写体領域から除外される、非抽出色を有する画素領域以外においても、非抽出色の指定に応じて被写体領域は変化する。このように、非抽出色を考慮して抽出される色の範囲を変化させる（例えば上述のように非抽出色を考慮して色空間を回転させる）構成により、被写体の抽出精度を向上させることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１０：画像取得部、１０３０：抽出色取得部、１０４０：非抽出色取得部、１０５０：変換算出部、１０５５：変換部、１０６０：被写体抽出部

Claims (15)

1. 画像から被写体領域を抽出する画像処理装置であって、
   画像を取得する画像取得手段と、
   前記画像上の被写体領域に属する１以上の抽出色の指定及び前記画像上の被写体領域に属さない１以上の非抽出色の指定を取得する指定取得手段と、
   前記抽出色及び前記非抽出色に基づいて、色変換パラメータを導出する導出手段と、
   前記色変換パラメータに基づいて前記画像の色を変換する変換手段と、
   前記変換後の前記画像及び前記抽出色に基づいて、前記画像から被写体領域を抽出する抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記色変換パラメータに基づく変換後の色は、多次元色空間上で表される前記画像の色情報をより低次元の色空間に射影することにより得られる色情報によって表されることを特徴とする、請求項１に記載の画像処理装置。
3. 前記画像の色は３次元色空間上の色情報により表され、
   前記変換手段による変換後の色は、前記画像の色を前記色変換パラメータに基づいて色空間変換し、色空間変換後の色情報を座標平面に射影して得られる色情報によって表されることを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記導出手段は、前記抽出手段により前記被写体領域として抽出される被写体外の過検出領域と、前記抽出手段により前記被写体領域として抽出されない被写体上の未検出領域と、を判定し、前記判定の結果に基づいて前記色変換パラメータを導出することを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記導出手段は、前記抽出色を有するが前記被写体領域として抽出されない画素、及び前記非抽出色を有するが前記被写体領域として抽出される画素がより少なくなるように、前記色変換パラメータを繰り返し更新することにより、前記色変換パラメータを導出することを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記導出手段は、前記色変換パラメータに基づく変換後の抽出色と、前記色変換パラメータに基づく変換後の非抽出色と、の重複度を判定し、前記判定の結果に基づいて前記色変換パラメータを導出することを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
7. 前記導出手段は、前記色変換パラメータに基づく変換後の色空間上の抽出色領域と、前記色変換パラメータに基づく変換後の色空間上の非抽出色領域と、の距離を判定し、前記距離がより短くなるように、前記色変換パラメータを繰り返し更新することにより、前記色変換パラメータを導出することを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
8. 前記抽出手段は、前記色変換パラメータに基づく変換後の前記画像の着目画素の色が前記変換後の抽出色であるか否かに基づいて、前記着目画素を被写体領域の画素か否か判定することを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記抽出手段は、前記色変換パラメータに基づく変換後の前記画像の着目画素の色が前記変換後の非抽出色であるか否かにさらに基づいて、前記着目画素を被写体領域の画素か否か判定することを特徴とする、請求項８に記載の画像処理装置。
10. 前記指定取得手段は、前記画像上で指定された第１の領域に含まれる画素の色を、指定された前記抽出色として取得し、前記画像上で指定された第２の領域に含まれる画素の色を、指定された前記非抽出色として取得することを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記抽出手段は、前記色変換パラメータに基づく変換後の１以上の抽出色のそれぞれについて、前記抽出色を有している前記第１の領域に含まれる画素の第１の数をカウントし、及び、前記色変換パラメータに基づく変換後の１以上の非抽出色のそれぞれについて、前記非抽出色を有している前記第２の領域に含まれる画素の第２の数をカウントし、
    前記色変換パラメータに基づく変換後の前記画像の着目画素の色が、前記変換後の抽出色と前記変換後の非抽出色との双方に含まれる場合、前記着目画素の色を有する画素の前記第１の数と前記第２の数とに基づいて、前記着目画素は前記被写体領域に含まれる又は含まれないと判定されることを特徴とする、請求項１０に記載の画像処理装置。
12. 前記抽出手段による前記被写体領域の抽出の後に、
    前記指定取得手段は、前記抽出色又は前記非抽出色の指定を追加取得し、
    前記導出手段は、前記追加取得した抽出色又は非抽出色の指定に基づいて前記色変換パラメータを更新し、
    前記抽出手段は、前記更新後の色変換パラメータに基づいて前記被写体領域を抽出する
    ことを特徴とする、請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記抽出された被写体領域を示す情報を前記画像に重畳する表示制御手段をさらに備えることを特徴とする、請求項１から１２のいずれか１項に記載の画像処理装置。
14. 画像処理装置が行う、画像から被写体領域を抽出する画像処理方法であって、
    画像を取得する画像取得工程と、
    前記画像上の被写体領域に属する１以上の抽出色の指定及び前記画像上の被写体領域に属さない１以上の非抽出色の指定を取得する指定取得工程と、
    前記抽出色及び前記非抽出色に基づいて、色変換パラメータを導出する導出工程と、
    前記色変換パラメータに基づいて前記画像の色を変換する変換工程と、
    前記変換後の前記画像及び前記抽出色に基づいて、前記画像から被写体領域を抽出する抽出工程と、
    を備えることを特徴とする画像処理方法。
15. コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images