JP6650738B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、所定の被写体に関する色情報の色テーブルを生成する技術に関する。

近年、現実空間に仮想空間の情報をリアルタイムに重ね合せて利用者に提示する複合現実感に関する研究が行われている。複合現実感では、ビデオカメラなどの撮像装置によって撮像された現実の映像の全域または一部に、撮像装置の位置姿勢に応じた仮想空間の画像であるコンピュータグラフィックス（ＣＧ）を重畳した合成画像を表示する。

このとき、現実空間の映像から利用者の手領域を抽出することで、現実空間の手とＣＧ間の干渉判定や、手とＣＧとの前後判定を行うことができる。しかしながら、手の形状は複雑で変化も大きいため、映像から手領域を高速かつ正しく検出することは困難である。

現在、手領域を検出する手法として、グラブカットのような領域分割手法、ｓｎａｋｅｓやＬｅｖｅｌＳｅｔ法のような動的輪郭抽出を用いた手法、モデルフィッティングや特徴抽出などの学習ベースによる抽出手法などがある。何れの手法においても、肌色の抽出によって初期の手領域を決定することが多く、適切な肌色のデータベース（色テーブル）を登録することが精度上で重要となっている。

肌色を用いた手の抽出方法に関しては、様々な提案がなされている。例えば、手領域を撮像した撮像画像を用い、この撮像画像上で被写体領域と非被写体領域をマウス操作などのＵＩを通して指定し、肌色モデルを生成する方法が提案されている（特許文献１）。この方法によれば、複数枚の撮像画像を用いて繰り返し操作することで、予め多くの人物から肌色モデルを生成することなく、現在の環境（被写体や環境）に好適な肌色モデルを簡単に生成することができる。

特開２００５−２２８１４０号公報

しかしながら、特許文献１に記載の方法では、十分な精度の肌色モデルを得るためには、複数回に渡り画像の撮影とＵＩ操作を繰り返す必要があり、非常に煩雑なユーザ操作が要求される。特に、レンズや撮像センサによって発生する周辺減光の影響で、撮像画像内の被写体の位置によって被写体の色が異なる場合、それらを内包するモデルを生成しようとすると、撮像画像内の被写体の位置を変えながら、何度もユーザ操作を繰り返す必要があった。そこで、本発明は、撮像装置によって発生し得る周辺減光を考慮した肌色モデルの生成を容易に行えるようにすることを目的とする。

上記課題を解決するために、本発明は、所定の露光条件により所定の被写体が撮像された第１の画像と前記所定の露光条件とは異なる複数の露光条件により前記所定の被写体が撮像された複数の第２の画像とを取得する取得手段と、前記第１の画像および前記複数の第２の画像に基づき、前記所定の被写体に関する色情報を抽出する抽出手段と、前記抽出した色情報に基づいて色テーブルを生成する生成手段と、前記第１の画像および前記複数の第２の画像を撮像する撮像手段の周辺減光に関する情報を記憶する記憶手段と、を有し、前記取得手段は、前記記憶された周辺減光に関する情報に基づいて前記複数の第２の画像を取得することを特徴とする。

以上の構成によれば、本発明では、周辺減光を考慮した肌色モデルの生成を容易に行うことが可能となる。

各実施形態に関わる情報処理システムの構成を説明する図。 第１の実施形態における色登録処理を示すフローチャート。 各実施形態において撮像部の周辺減光を模式的に示す図。 第２の実施形態における色登録処理を示すフローチャート。

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。

＜装置構成＞
図１は、本実施形態に係る情報処理システムの構成を説明する図であり、図１（ａ）には本実施形態の情報処理システムの模式図を示す。本実施形態の情報処理システムは、撮像装置の位置姿勢に応じて、コンピュータグラフィックス（ＣＧ）を重畳した合成画像を表示することにより、複合現実感をユーザに提供するものである。本実施形態の情報処理システムでは、情報処理装置１０００に撮像部１００、入力部１１０、表示部１２０が接続された構成をとっている。撮像部１００は、例えばビデオシースルー型ＨＭＤやネットワークカメラ、入力部１１０はマウスやキーボード、表示部１２０はＨＭＤやＰＣモニタなどのディスプレイにより構成される。また、情報処理装置１０００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等の格納手段、撮像部１００から得られた画像を取得するためのビデオキャプチャーカード等により構成される。そして、ＣＰＵがＲＯＭ、ＲＡＭ、ＨＤＤ等の格納手段に格納されている制御プログラムを実行することにより、以下に説明する各機能が実現される。

図１（ｂ）は、本実施形態に係る情報処理装置１０００のソフト構成に係る概略ブロック図である。同図に示すように、情報処理装置１０００は、画像取得部１０１０、データ記憶部１０２０、色領域設定部１０３０、指定色抽出部１０４０、色登録部１０６０、画像処理部１０７０、画像出力部１０８０を含んで構成される。画像取得部１０１０は、撮像部１００に対して、シャッター速度やゲイン値、絞り値などの露光量に関わるカメラ制御値を設定する。また、画像取得部１０１０は、前記カメラ制御値で撮像した撮像画像を撮像部１００から取得し、取得した撮像画像をデータ記憶部１０２０に記憶する。

データ記憶部１０２０は、仮想物体のデータ、画像取得部１０１０から入力される撮像画像、および色登録部１０６０から入力される肌色モデルとなる色テーブルを記憶する。色領域設定部１０３０は、入力部１１０から入力された領域を肌色の存在する色領域として設定する。指定色抽出部１０４０は、画素の色情報を取得する。ここで、色情報とはＣｂＣｒやａ＊ｂ＊など輝度や明度といった明るさの成分を含まない情報であるが、これに限らず、明るさの成分が独立した色空間であればよい。

色登録部１０６０は、色領域設定部１０３０で設定された肌色の存在する色領域と、指定色抽出部１０４０で取得した画素の色情報に基づいて、色テーブルのデータ（色情報）を生成する手段として機能する。また、生成した色テーブルをデータ記憶部１０２０に保存する。画像処理部１０７０は、撮像画像に対して色登録部１０６０で登録された結果から肌色抽出を行い、抽出結果が分かるような合成画像を生成する。画像出力部１０８０は、画像処理部１０７０で生成した合成画像を出力する。

＜色登録処理の詳細＞
図２は、本実施形態に係る情報処理装置１０００における色登録処理を示すフローチャートである。まず、ステップＳ２０１０において、画像取得部１０１０は、撮像部１００に適正露光（所定の露光条件）となるカメラ制御値を設定する。適正露光とは、被写体が自然な明るさや色彩で再現される露光であり、本実施形態の情報処理装置１０００においては、自動露光によって適正な露光となるようにシャッター速度やゲイン値、絞り値が自動で制御される。なお、マニュアル露光である場合には、予めユーザの指示によって決定したシャッター速度やゲイン値、絞り値などのカメラ制御値が設定される。また、本実施形態では、撮像画像の中央付近にユーザの肌色の被写体が写るよう誘導するための誘導手段を備えている。その具体的な構成としては、例えば、表示部１２０に、撮像画像の中央付近に、被写体（例えば手）の輪郭線や形状を模式的に現したガイドなどを表示するものである。

ステップＳ２０２０において、画像取得部１０１０は、前記ステップＳ２０１０または、後述のステップＳ２０５０によって設定されたカメラ制御値を用いて撮像部１００が撮像している画像を取得し、データ記憶部１０２０に記憶する。

ステップＳ２０３０では、制御部（ＣＰＵ）が適正露光に対して露光アンダーとするための露光のアンダー量を決定する。本実施形態では、前記アンダー量の変化量は一定とし、例えばステップＳ２０３０実行毎に適正露光から露光量が１０％ずつ減少するよう制御され、−１０％、−２０％、−３０％と段階的に減少するように露光のアンダー量を決定する。なお、露光のアンダー量は非線形に減少するよう制御されていてもよい。

ステップＳ２０４０では、制御部（ＣＰＵ）が、前記露光のアンダー量が撮像部１００の持つ周辺減光の範囲内であるかを判定する。周辺減光は一般的に、撮像画像中央が最も少なく、撮像画像中央から周辺に向かってほぼ同心円状に減光する。図３（ａ）は、本実施形態に係る撮像部１００において撮像される撮像画像、および周辺減光の量を模式的に示した図である。同図において、３００は撮像画像である。また、エリア３０１が１００％の露光量としたとき、撮像部１００は、エリア３０２がエリア３０１に対して−１０％の減光、エリア３０３が−２０％の減光、エリア３０４が−３０％の減光、エリア３０５が−４０％の減光という特性を持つことを示している。つまり、本実施形態の場合、撮像部１００は、図３に示すような分布で、中央比最大で露光量が−４０％となる周辺減光特性を持つものである。

このような周辺減光の特性は、プロファイルとして情報処理装置１０００のデータ記憶部１０２０が保持している。例えば、ステップＳ２０３０において露光のアンダー量を−１０％と決定したとき、アンダー量は撮像部１００が持つ最大の減光−４０％よりも小さい。そのため、ステップＳ２０４０で、制御部（ＣＰＵ）は、前記露光のアンダー量が撮像部１００の持つ周辺減光の範囲内であると判定する。そして、処理はステップＳ２０５０へと進む。また、ステップＳ２０３０においてアンダー量を−４０％よりも大きな値として決定した場合には、ステップＳ２０４０で、制御部（ＣＰＵ）は、前記露光のアンダー量が撮像部１００の持つ周辺減光の範囲内ではないと判定する。そして、処理はステップＳ２０６０に進む。ここでは、説明を容易にするために撮像部が持つ周辺減光の特性を１０％間隔で説明したが、実際にはエリア間で連続的に減光することは言うまでもない。また、撮像部１００で周辺減光を補正するためのシェーディング補正など、何らかの補正処理が行われる場合、前記周辺減光の特性は、それら補正処理がなされた後の撮像画像における周辺減光の特性となることは言うまでもない。

ステップＳ２０５０では、画像取得部１０１０は、ステップＳ２０３０で決定した露光のアンダー量に応じて、露光アンダーとなるようカメラ制御値を撮像部１００に設定する。そして、処理はステップＳ２０２０へと戻り、画像取得部１０１０は、露光アンダーの撮像画像を取得する。露光の制御に関し、撮像部１００が自動露光で制御される場合には、自動露光のレベルをアンダー量だけシフトして制御できる。このとき、ステップＳ２０２０からステップＳ２０５０の処理はすばやく行われる必要があるため、自動露光の収束時間は通常よりも高速に設定されることが望ましい。また、マニュアル露光である場合には、例えば、シャッター速度を減光量分だけ速くすることで露光を制御することができる。なお、自動露光で制御されている場合でも、ステップＳ２０１０において自動露光をロックしておき、そのときのカメラ制御値を基準にして、例えばシャッター速度を速くするなどすれば、特定の制御値のみで制御できる。

ステップＳ２０６０において、色領域設定部１０３０は、画像取得部１０１０が取得した適正露光の撮像画像で色領域を指定する。色領域設定部１０３０は、ユーザが入力部１１０を用いたＧＵＩ操作によって特定した肌色の領域を、色領域として指定する。例えば、図３（ａ）のように、撮像画像３００に対して色領域３０６が指定される。なお、肌色の領域の指定は、撮像画像の色情報に基づいて自動で行われるようにしてもよい。

ステップＳ２０７０において、色登録部１０６０は、色領域設定部１０３０により指定された領域の内側にある画素に対して指定色抽出部１０４０が抽出した色情報に基づき、色テーブルを生成する。そして、生成した色テーブルのデータをデータ記憶部１０２０に登録する。

ステップＳ２０８０において、データ記憶部１０２０に登録された色テーブルの抽出結果をユーザに提示して、肌色登録を終了するか確認する。そして、終了と確認されれば処理はステップＳ２０９０に進み、終了でなければ処理はステップＳ２０６０に戻る。なお、肌色の抽出結果は、適正露光の撮像画像内の抽出領域を強調することで提示する。例えば、強調する画素に赤色をアルファブレンディングして重ね合せても良いし、黒色で塗りつぶしても良い。抽出結果の表示が可能な手段であれば他の方法であってもよい。そのため、本ステップＳ２０８０では、画像出力部１０８０は、画像処理部１０７０で生成した合成画像を表示部１２０に出力する。

ステップＳ２０９０において、色登録部１０６０は、ステップＳ２０６０で設定された適正露光の撮像画像での色領域と、画像取得部１０１０で取得した露光アンダーの撮像画像とを用いて、データ記憶部１０２０に登録された色テーブルを更新する。色テーブルの更新は、露光アンダーの撮像画像の前記色領域の内側にある画素から指定色抽出部１０４０が抽出した色情報を、データ記憶部１０２０に登録された色テーブルへ追加することで行う。

ステップＳ２１００では、制御部（ＣＰＵ）が、ステップＳ２０９０において、適正露光ではない、複数の異なる露光条件全てについて、その撮像画像を用いた色テーブルの更新が行われたかを判定する。そして、全ての撮像画像で色テーブルが更新されていれば処理を終了する。

なお、本実施形態において、色テーブルを生成、および更新する際、ユーザの指定によって色領域が指定され、色領域内にある画素の色情報から色テーブルを生成するとした。しかし、本実施形態の構成は、これに限るものではなく、例えば、色領域内と色領域外の色情報を用いて、それらの分布から誤検出や過検出の少ない有効な色領域を求めるなどしてもよい。

以上、本実施形態によれば、適正露光の撮像画像および、周辺減光を考慮した露光条件の撮像画像を用いて、一度の色領域の指定で色テーブルを生成することができる。これにより、ユーザは簡単な操作で、撮像装置が持つ周辺減光を考慮した肌色モデルの生成を行うことができるようになる。

［第２の実施形態］
第１の実施形態では、ユーザの肌色の被写体を含む撮像画像を取得する際、ユーザの肌色が周辺減光の最も少ない撮像画像の中央付近にあるように誘導し、撮像画像中央付近に色領域が設定されるようにしていた。これに対して、撮像画像を取得する際、ユーザの肌色の被写体の位置を特に誘導しないようにする場合、被写体が中央付近から離れて、撮像画像中央付近で得られるはずの明るい肌色の色情報を得ることができないことがある。そこで、第２の実施形態では、予め露光オーバーの撮像画像も取得し、設定された色領域の減光量に応じて、色テーブルの更新に使用する撮像画像を変更する。これにより、ユーザの肌色の被写体の位置を特に誘導しない場合であっても適切に色テーブルを生成できるようにするものである。以下、本発明の第２の実施形態の詳細について図面を参照しつつ説明する。なお、第１の実施形態において既に説明した構成については同一の符号を付し、その説明を省略する。

＜装置構成＞
図１（ｃ）は、本実施形態の情報処理装置１０００のソフト構成に係る概略ブロック図である。同図に示すように、本実施形態の情報処理装置１０００は、第１の実施形態で説明した各構成に加え、領域減光量算出部１０９０を有する。領域減光量算出部１０９０は、色領域設定部１０３０から色領域を取得し、色領域の撮像画像に対する位置から撮像画像内における減光量を算出する。

＜色登録処理の詳細＞
図４は、本実施形態に係る情報処理装置１０００における色登録処理を示すフローチャートである。本実施形態の色登録処理では、第１の実施形態の色登録処理のステップＳ２０３０、Ｓ２０４０に代えてステップＳ４００、Ｓ４０１の処理を実行する。また、ステップＳ２０８０とＳ２０９０との間に、ステップＳ４０２，Ｓ４０３の処理を実行する。

まず、ステップＳ７００では、制御部（ＣＰＵ）が、適正露光に対して露光アンダーおよび露光オーバーとするための露光のシフト量を決定する。本実施形態では、シフト量の変化量は一定とし、例えばステップＳ７００実行毎に適正露光から露光量が１０％ずつ減少および増加するよう交互に制御する。具体的には、適正露光に対して、−１０％、＋１０％、−２０％、＋２０％、…のように段階的に減少もしく増加するようにする。なお、本実施形態においても、露光のシフト量は非線形に制御されてもよい。

ステップＳ４０１では、制御部（ＣＰＵ）が、ステップＳ４０１で決定した露光のシフト量が撮像部１００の持つ周辺減光の範囲内であるかを判定する。本実施形態では、シフト量の判定は、シフト量と撮像部１００の持つ最大の減光の絶対値を比較することにより行う。ここで、図３（ｂ）は、本実施形態に係る撮像部１００において撮像される撮像画像３００、および周辺減光の量を模式的に示した図である。同図に示すように、本実施形態の撮像部１００の持つ周辺減光の特性は、前述の第１の実施形態と同様であり、撮像部１００は、中央比最大で露光量が−４０％となる特性を持っている。そこで、例えば、ステップＳ４００において露光のシフト量が−１０％および＋１０％であるとき、シフト量の絶対値は撮像部１００の持つ最大の減光の絶対値４０％よりも小さいため、処理はステップＳ２０５０へ進む。また、ステップＳ２０３０においてシフト量の絶対値が４０％よりも大きい場合、処理はステップＳ２０６０に進む。

次に、ステップＳ４０２、Ｓ４０３の処理について説明する。ステップＳ４０２では、領域減光量算出部１０９０が、色領域設定部１０３０により設定された色領域の撮像画像内における位置を算出し、色領域の減光量を求める。本実施形態では、領域減光量算出部１０９０が設定された色領域の重心座標を算出し、その重心座標から撮像部１００の持つ周辺減光の特性を参照することによって色領域の減光量を求める。例えば、図３（ｂ）の例では、３０６が指定された色領域であり、色領域３０６の重心座標は３０７であり、重心座標３０７はエリア３０３にあるため、重心座標３０７の減光量は−２０％となる。

ステップＳ４０３では、色登録部１０６０が、ステップＳ４０２で求めた色領域の減光量から、ステップＳ２０９０の色テーブルの更新の処理で用いる露光オーバーおよび露光アンダーの撮像画像の範囲を決定する。例えば、色領域３０６の重心座標３０７が図３（ｂ）に示す位置にある場合、色領域の減光量は−２０％であり、適正露光の撮像画像においても、色領域内の大部分の画素は露光量が−２０％の肌色である。よって、露光オーバーの撮像画像は、肌色がエリア３０１つまり周辺減光が無い領域で撮像されたものと同様の露光量となるよう、＋２０％のシフト量で撮像された撮像画像までを用いるよう決定される。また、露光アンダーの撮像画像は、適正露光の撮像画像においても色領域内の画素は露光量が−２０％であり、撮像部１００の持つ周辺減光が中央比最大で−４０％であるから、−２０％のシフト量で撮像された撮像画像までを用いるよう決定される。以上のようにして決定された露光条件の撮像画像を用いて、ステップＳ２０９０、Ｓ２１００では、第１の実施形態と同様にして色テーブルの更新が行われる。

以上、本実施形態によれば、撮像画像内の色領域の位置、つまり周辺減光の影響による減光量に応じて、色テーブルを生成するために用いる露光オーバーおよびアンダーの撮像画像が適応的に変更される。これによって、撮像画像内のいずれの位置で色領域が指定された場合においても、ユーザは簡単な操作で、撮像装置の持つ周辺減光を考慮した肌色モデルの生成を行うことができる。

［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 撮像部
１１０ 入力部
１２０ 表示部
１０００ 情報処理装置
１０１０ 画像取得部
１０２０データ記憶部
１０３０ 色領域設定部
１０４０ 指定色抽出部
１０６０ 色登録部
１０７０ 画像処理部
１０８０ 画像出力部

Claims (11)

1. 所定の露光条件により所定の被写体が撮像された第１の画像と前記所定の露光条件とは異なる複数の露光条件により前記所定の被写体が撮像された複数の第２の画像とを取得する取得手段と、
   前記第１の画像および前記複数の第２の画像に基づき、前記所定の被写体に関する色情報を抽出する抽出手段と、
   前記抽出した色情報に基づいて色テーブルを生成する生成手段と、
   前記第１の画像および前記複数の第２の画像を撮像する撮像手段の周辺減光に関する情報を記憶する記憶手段と、を有し、
   前記取得手段は、前記記憶された周辺減光に関する情報に基づいて前記複数の第２の画像を取得することを特徴とする情報処理装置。
2. 前記生成手段は、前記第１の画像から抽出された前記色情報に基づいて色テーブルを生成し、当該生成された色テーブルを前記複数の第２の画像から抽出された前記色情報に基づいて更新することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の画像および前記複数の第２の画像に対して前記所定の被写体が中央に位置するように誘導する誘導手段を更に有することを特徴とする請求項１または２に記載の情報処理装置。
4. 撮像する前記第１の画像および前記複数の第２の画像を表示する表示手段が前記情報処理装置に接続されており、
   前記誘導手段は、前記第１の画像および前記複数の第２の画像に対して前記所定の被写体が中央に位置するように、前記表示手段にガイドを表示させることを特徴とする請求項３に記載の情報処理装置。
5. 前記記憶された周辺減光に関する情報と前記第１の画像および前記複数の第２の画像に対する前記所定の被写体の位置とに基づいて、前記生成手段が用いる前記複数の第２の画像の前記複数の露光条件の範囲を決定する決定手段を更に有することを特徴とする請求項１に記載の情報処理装置。
6. 前記抽出手段は、前記第１の画像および前記複数の第２の画像に対してユーザにより指定された領域の色情報を抽出することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記所定の被写体は、ユーザの手であることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記複数の露光条件は、露光量を線形に変化させた複数の露光条件であることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 画像を撮像する撮像手段と、
   前記撮像手段を用いて所定の露光条件により所定の被写体が撮像された第１の画像と前記所定の露光条件とは異なる複数の露光条件により前記所定の被写体が撮像された複数の第２の画像とを取得する取得手段と、
   前記第１の画像および前記複数の第２の画像に基づき、前記所定の被写体に関する色情報を抽出する抽出手段と、
   前記抽出した色情報に基づいて色テーブルを生成する生成手段と、
   前記第１の画像および前記複数の第２の画像を撮像する撮像手段の周辺減光に関する情報を記憶する記憶手段と、を有し、
   前記取得手段は、前記記憶された周辺減光に関する情報に基づいて前記複数の第２の画像を取得することを特徴とする情報処理システム。
10. 所定の露光条件により所定の被写体が撮像された第１の画像と前記所定の露光条件とは異なる複数の露光条件により前記所定の被写体が撮像された複数の第２の画像とを取得する取得ステップと、
    前記第１の画像および前記複数の第２の画像に基づき、前記所定の被写体に関する色情報を抽出する抽出ステップと、
    前記抽出した色情報に基づいて色テーブルを生成する生成ステップと、
    前記第１の画像および前記複数の第２の画像を撮像する撮像手段の周辺減光に関する情報を記憶する記憶するステップと、を有し、
    前記取得ステップでは、前記記憶された周辺減光に関する情報に基づいて前記複数の第２の画像を取得することを特徴とする情報処理方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images