JP5971108B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本実施例に開示する技術は、画像から対象物を抽出する技術に関する。

近年、コンピュータ等に対して、データを入力する入力デバイスとして、マウスや、ペンタブレット、およびタッチパッドの他、ユーザの動作や姿勢を用いてデータを入力するデータ入力技術が研究されている。

例えば、画像からユーザの手の形状を抽出し、形状に対応したコマンドを入力するヒューマンインターフェース技術が知られている。例えば、５本の指のうちどの指が立っているかを認識して、コンピュータ等に各種指示を入力する入力システムがある（例えば、特許文献１）。

当該入力システムは、入力画像をＨＳＶ表色系に変換し、肌色成分を抽出する。そして、肌色成分とその他の成分とに２値化し、２値画像において面積が最大である領域を抽出する。さらに、平滑化処理等が行われることで、画像における手領域が決定される。そして、入力システムは、手領域の形状を認識し、各種指示を入力する。

特開２００３−３４６１６２号公報

入力システムは、画像から肌色成分を抽出することが可能であるが、画像に、手の肌色と手以外の肌色が存在する場合に、画像から手領域を特定することはできない。例えば、背景に肌色が含まれる場合や、顔などが画像中に存在する場合である。

つまり、画像内に、抽出したい対象物とそれ以外の物体とが撮影されている場合であって、それ以外の物体の全部または一部の色が、対象物の色と類似する場合、当該入力システムの技術では、画像から対象物の領域だけを抽出することができない。

そこで、本実施例に開示の技術は、対象物と対象物に類似する色を有する物体とを含む画像から、対象物の領域を抽出することを目的とする。

上記課題を解決する為に、本実施例に開示の画像処理装置は、対象物を含まない第一の画像から色に関する条件に基づき抽出された参照領域の情報を記憶する記憶部と、前記第一の画像とは異なる時点で撮像された第二の画像における対象領域の情報を、前記条件に基づき生成する生成部と、前記対象領域と前記参照領域とに基づき、前記参照領域と前記対象物との重なりの有無を判定する判定部と、前記重なりがない場合は、前記参照領域と前記対象領域との差分領域に基づき、前記第二の画像から前記対象物を抽出し、前記重なりがある場合は、該第二の画像における前記参照領域相当の画素の色情報に基づき、前記重なりの領域を特定するとともに、前記差分領域と前記重なりの領域とに基づき、該第二の画像から前記対象物を抽出する抽出部とを有する。

本発明の一観点によれば、対象物と対象物に類似する色を有する物体とを含む画像から、対象物の領域を抽出することが可能になる。

図１は、本実施例にかかる画像処理装置を備える情報処理装置の利用形態の一例を示す図である。 図２Ａ乃至図２Ｄは、手領域を抽出する際の問題を説明するための図である。 図３は、画像処理装置の機能ブロック図である。 図４は、参照領域の情報を生成する処理のフローチャートである。 図５Ａおよび図５Ｂは、参照画像および参照領域を説明するための図である。 図６は、画像処理方法のフローチャートである。 図７Ａ乃至図７Ｃは、差分画像および差分領域を説明するための図である。 図８Ａおよび図８Ｂは、エッジを連結する処理を説明するための図である。 図９は、マスク画像を説明するための図である。 図１０は、処理領域を説明するための図である。 図１１は、第三の実施例における画像処理装置の機能ブロック図である。 図１２は、手領域を抽出するための条件を説明するための図である。 図１３は、第三の実施例における画像処理方法のフローチャートである。 図１４は画像処理装置１または画像処理装置１００のハードウェア構成の一例を示す図である。

以下詳細な本発明の実施例に関して説明する。なお、以下の各実施例は、処理の内容を矛盾させない範囲で適宜組み合わせることが可能である。以下、図面に基づいて各実施例について説明する。

まず、実施例における情報処理装置の利用形態について説明する。図１は、本実施例にかかる画像処理装置を備える情報処理装置の利用形態の一例を示す図である。また、本実施例においては、画像処理装置は、対象物として手指を抽出する。

情報処理装置１０は、例えば、デスクトップＰＣ、スレートＰＣ、タブレット型ＰＣ、スマートフォン、スキャナ、ゲーム機器、家電機器などである。なお、図１では、情報処理装置１０は、カメラ２０を備えるタブレット型コンピュータである。

カメラ２０は、所定のフレーム間隔で、複数の画像を撮影する。なお、ユーザは、カメラ２０が撮影できる範囲内に手３０を置き、動作を行う。本実施例においては、複数の画像には、同じ背景が撮影されるとする。さらに、複数の画像のうちの一部には、背景とともにユーザの手が撮像される。

情報処理装置１０は、入力装置を有する。さらに、入力装置は、画像処理装置を有する。画像処理装置は、カメラ２０が撮影した画像からユーザの手指の領域を抽出する。なお、以下、画像におけるユーザの手指の領域を、手領域と称する。

入力装置は、画像処理装置が抽出した手領域に基づき、情報処理装置１０に対して情報を入力する。例えば、特定のコマンドや文字情報が入力される。本実施例においては、入力装置は、抽出された手領域に基づき、ユーザの手指の形状を認識するとともに、形状に応じた特定のコマンドを、情報処理装置１０に対して入力する。情報処理装置１０は、入力されたコマンド等に応じた処理を実行する。例えば、ユーザは、入力したいコマンドに対応した手指の形状を示す為の動作を行うことで、情報処理装置１０は、所定のコマンドを実行する。

なお、ソフトウェアキーボードのように、入力装置が、抽出された手領域を利用して、指による押下操作がなされたときの指の位置に基づき、情報処理装置１０に特定のデータが入力されるとしてもよい。

図１の例では、画像処理装置が処理対象とする画像は、情報処理装置１０が備えるカメラ２０により撮像される。これに限らず、画像処理装置は、ネットワークを経由して画像を取得したり、情報処理装置１０に接続されたカメラから画像を取得してもよい。また、カメラ２０は、図１に示された位置に限らず、他の位置に設置されていても良い。

ここで、図１の例では、カメラ２０の撮像範囲内に、ユーザの手３０とともに紙４０が存在する。そして、紙４０には、第一の色を示す領域５０と、第二の色を示す領域６０とが印刷されているとする。

図２Ａ乃至図２Ｄを用いて、手領域を抽出する際の問題を説明する。図２Ａ乃至図２Ｄは、手領域を抽出する際の問題を説明するための図である。

従来の入力システムのように、色に関する条件を利用して、画像から肌色成分を抽出する方法は、手領域を抽出するために有効である。例えば、画像における肌色成分を有する画素に「１（黒）」を、その他の成分を示す画素に「０（白）」を付与した二値画像には、肌色成分を有する領域が示される。

ここで、肌色成分を抽出する際には、例えば、画像内の各画素の色情報が用いられる。例えば、色情報としてＨＳＶ表色系で表される値が採用される場合には、肌色成分として、次の式１および式２で表される条件に当てはまる画素が抽出される。

０．１１＜Ｈ＜０．２２ （式１）
０．２＜Ｓ＜０．５ （式２）
手領域を抽出する方法には、予め手指のパターンを用意し、用意されたパターンを用いて画像における手指を探索する手法も存在する。肌色成分を抽出することで手領域を抽出する手法は、パターンを利用する手法と比べて、手の大きさや形状が異なる膨大なパターンを準備する必要がないという点で有効である。しかし、従来の入力システムの場合には、次のような問題がある。

図２Ａは、ある時点でのカメラ２０の撮像画像を表す図である。図２Ａの画像中には、手領域３１、紙領域４１、第一の色を示す領域５１、第二の色を示す領域６１が存在する。ここで、第一の色は、肌色であって、第一の色を示す領域５１を構成する各画素の色情報は、手領域３１と同様に上記条件に合致するとする。

図２Ｂは、図２Ａを二値化した二値画像を示す図である。この二値化には、例えば上記式１および式２で表される条件が利用される。図２Ｂの二値画像では、手領域３１に相当する領域３２と第一の色を示す領域５１に相当する領域５２との画素が、画素値「１（黒）」を示す。つまり、この二値画像を利用すると、肌色成分である領域３２と領域５２とを抽出することは可能であるが、手領域３１に対応する領域３２だけを画像から抽出することはできない。

また、図２Ｃは、図２Ａの時点と異なる時点でのカメラ２０の撮像画像を表す図である。図２Ｃの画像では、手領域３３が、画像上、第一の色を示す領域５３に重なっている。なお、図２Ａと同様、第一の色は、肌色である。

図２Ｄは、図２Ｃを二値化した二値画像を示す図である。この二値化には、図２Ｂでの二値化と同様に、例えば上記条件が利用される。図２Ｄの二値画像では、手領域３３に相当する領域と第一の色を示す領域５３に相当する領域とを含む領域３４の画素が、画素値「１（黒）」を示す。つまり、図２Ａおよび図２Ｂと同様、従来の入力システムは、手領域３３に対応する領域のみを、画像から抽出することができない。

つまり、対象物の色成分に基づき設定された条件を利用して、条件に合致する色成分を有する領域を、対象物の領域として画像から抽出する場合には、対象物と類似する色の領域も抽出されてしまう。本実施例に開示の技術は、色成分に基づく対象物の抽出方法において、対象物に類似する色の領域と対象物の領域とが混在する画像からでも、対象物を抽出するものである。

（第一の実施例）まず、第一の実施例について説明する。

図３は、画像処理装置の機能ブロック図である。本実施例においては、画像処理装置１は、入力装置２に含まれる。入力装置２は、画像処理装置１のほかに、撮像装置３、および認識装置４を有する。また、入力装置２は、図１の情報処理装置１０に含まれる。

画像処理装置１は、画像から対象物の領域を抽出するコンピュータである。撮像装置３は、所定のフレーム間隔で複数の画像を撮影する装置である。例えば、撮像装置３は、カメラ２０である。認識装置４は、画像処理装置１からの出力に基づき、対象物の形状を認識する装置である。例えば、認識装置４は、手の形状を認識するとともに、形状に応じたコマンドを情報処理装置１０に命令する。

画像処理装置１は、取得部１１、生成部１２、判定部１３、抽出部１４、出力部１５、記憶部１６を有する。取得部１１は、撮像装置３から画像を取得する。なお、実際には、取得部１１は画像の画像情報を取得する。画像情報は、各画素の色情報を含む。なお、色情報は、例えば、ＨＳＶ表色系以外のＲＧＢ表色系で表される情報であっても良い。

生成部１２は、色情報および色に関する条件に基づき、対象領域の情報を生成する。対象領域は、色情報が色に関する条件に合致する画素を含む領域である。例えば、対象領域は、画像における肌色を示す画素を含む領域である。また、肌色を示す画素とは、条件に合致する画素である。

例えば、生成部１２は、色情報の色空間を、ＨＳＶ表色系に変換する。なお、ＨＳＶ表色系以外であっても、対象物の色を認識可能な色空間であれば良い。変換された色情報および式１および式２に示される色に関する条件を用いて、生成部１２は、肌色を示す画素に「１」を、肌色以外の色を示す画素に「０」を付与した二値画像を生成する。なお、式１および式２で表される色に関する条件の値範囲は、適宜変更してもよい。また、以下、式１および式２で表される色に関する条件を、単に条件を称する場合もある。本実施例においては、対象領域は、二値画像において画素値「１」を示す領域である。対象画像の情報は、処理対象の画像の二値画像の情報である。

また、生成部１２は、取得した画像が対象物を含まない参照画像である場合には、参照画像から参照領域の情報を生成する。参照領域は、参照画像において、色に関する条件に合致する色情報を有する画素により構成される領域である。例えば、参照領域は、参照画像における肌色を示す画素を含む領域である。また、参照領域は、参照画像の二値画像において、画素値「１」を示す画素の領域である。

参照領域の情報は、参照画像の二値画像の情報を含む。さらに、参照領域の情報は、参照画像における参照領域に対応する各画素の色情報を含む。なお、１つの参照画像内に参照領域が複数存在する場合には、各々の参照領域に、各参照領域を互いに識別する識別情報が付与されるとしてもよい。

取得した画像を参照画像とするかの判定は、ユーザによる指示に基づき行われる。例えば、ユーザは、対象物（手）をカメラ前に挿入する前に、情報処理装置１０に対して参照画像の登録指示を行う。そして、撮像装置３は、登録指示に基づき、画像を撮影する。生成部１２は、登録指示に基づき撮影された画像を、参照画像であると判定する。登録指示に基づき撮影された参照画像には、対象物は含まれない。言い換えると、参照画像に存在する物体は背景として参照領域の情報を生成するために用いられる。

また、取得した画像を参照画像とするかの判定は登録指示を利用する形態だけに限られない。例えば、生成部１２は、撮像装置３が撮影した複数の画像を解析する。そして、複数の画像間で変化がみられない場合に、生成部１２は、取得した画像を参照画像であると判定しても良い。

判定部１３は、対象領域の情報と参照領域の情報とに基づき、参照領域と対象物とが重なっているかを判定する。つまり、判定部１３は、背景の肌色領域と手領域との重なりの有無を判定する。

例えば、判定部１３は、対象領域を示す二値画像と参照領域を示す二値画像との差分画像を生成する。差分画像においては、対象領域から参照領域が除かれた差分領域の画素が、画素値「１」を有する。

判定部１３は、差分領域の画素のうち、参照領域に接する画素が所定個数以上存在する場合に、参照領域と対象物との重なりがあると判定する。また、差分領域と参照領域とが実際に接していない場合でも、判定部１３は、参照領域が差分領域から所定の範囲内に存在する場合を、差分領域と参照領域とが接していると判断しても良い。

抽出部１４は、判定部１３の判定結果に応じて、画像から対象物を抽出する。抽出部１４は、判定部１３が参照領域と対象物とが重なっていないと判定した場合は、処理対象の画像から、差分領域に対応する領域を対象物の領域として抽出する。

一方、判定部１３が参照領域と対象物とが重なっていると判定した場合は、抽出部１４は、参照領域と対象物の重なり領域を特定する。そして、抽出部１４は、処理対象の画像から、差分領域および重なり領域に対応する領域を対象物の領域として抽出する。

例えば、判定部１３が参照領域と対象物とが重なっていると判定した場合は、抽出部１４は、エッジ検出を実行する。そして、抽出部１４は、検出されたエッジに基づき、重なり領域の輪郭を決定する。抽出部１４は、画像における当該輪郭の内側部分を、重なり領域として特定する。

エッジは、参照画像における参照領域の各画素の色情報と、処理対象の画像における参照領域相当の各画素の色情報との差分に基づき検出される。例えば、抽出部１４は、Ｈ、Ｓ、Ｖ各々の差分を各画素について求める。そして、抽出部１４は、各画素の差分の値の変化に基づき、エッジを検出する。なお、エッジ検出については、Ｃａｎｎｙのエッジ検出なども用いることができる。

出力部１５は、抽出結果を認識装置４へ出力する。例えば、出力部１５は、処理対象の画像における対象物の領域以外の領域がマスクされたマスク画像を、認識装置４へ出力する。本実施例においては、マスク画像は、抽出部１４により生成されるが、出力部１５が生成しても良い。

記憶部１６は、各種情報を記憶する。例えば、参照領域の情報を記憶する。さらに、記憶部１６は、一時的に、処理対象の画像や、対象領域の情報を記憶してもよい。

図４は、参照領域の情報を生成する処理のフローチャートである。生成部１２は、取得部１１を経由して、参照画像を取得する（Ｏｐ．１０）。なお、生成部１２は、取得した画像が参照画像であるかを先に述べた方法で判断する。

生成部１２は、参照画像の色情報の色空間をＨＳＶ表色系へ変換する（Ｏｐ．１１）。生成部１２は、変換された色情報に基づき、二値画像を生成する（Ｏｐ．１２）。例えば、二値画像は、参照領域の情報である。また、例えば、二値画像は、上述のように画素値が０または１である。そして生成部１２は、生成した二値画像とともに、参照領域の色情報を記憶部１６へ記憶する（Ｏｐ．１３）。なお、参照領域の色情報以外にも、参照画像全体の色情報を含んでもよい。

図５Ａおよび図５Ｂは、参照画像および参照領域を説明するための図である。図５Ａは、参照画像を示す図である。図５Ａの参照画像には、図１における紙４０に対応する領域４５、第一の色を示す領域５０に対応する領域５５と、第二の色を示す領域６０に対応する領域６５が含まれる。

図５Ｂは、参照画像の二値画像を示す図である。参照画像における色情報に基づき、色に関する条件に合致する参照領域５６が二値画像に含まれる。つまり、参照画像における領域４５、領域６５は、二値画像には含まれない。

なお、対象物を左右いずれかの手とした場合、他方の手を、対象物と類似する色の領域として取り扱うこともできる。一方の手のみで入力のための動作を行う場合であって、他方の手は動かない場合に、画像処理装置１は、対象物である一方の手を抽出する。この場合、ユーザが他方の手を撮像装置３の撮像領域に配置した時点の画像を参照画像とする。そして、他方の手を含む参照画像に基づき、図４の処理フローが実行される。

次に、本実施例にかかる画像処理方法について説明する。図６は、画像処理方法のフローチャートである。

取得部１２は、画像を取得する（Ｏｐ．２０）。なお、参照画像以外の画像を処理対象の画像として、以下の画像処理方法が実行される。次に、生成部１２は、画像の色情報の色空間を、ＨＳＶ表色系へ変換する（Ｏｐ．２１）。生成部１２は、色に関する条件を用いて、二値画像を生成する。なお、二値画像は、対象領域を示す。

判定部１３は、記憶部１６から取得した参照領域を示す二値画像と、生成された二値画像とを用いて、差分画像を生成する（Ｏｐ．２３）。差分画像には、差分領域が表される。

図７Ａ乃至図７Ｃは、差分画像および差分領域を説明するための図である。図７Ａは、参照領域７１を示す二値画像である。図７Ｂは、対象領域７２を示す二値画像である。図７Ｃは、差分領域７３を示す二値画像である。差分領域を示す二値画像は、差分画像である。

参照領域を示す二値画像の各画素の画素値を、対象領域を示す二値画像の各画素の値から減算することで、差分領域を形成する画素に画素値「１」が付与された差分画像が生成される。つまり、図７Ｃのように、対象領域から参照領域が除かれた部分が差分領域として、描かれる。なお、図７Ｃにおける破線７４は参照領域を示すものであるが、実際の差分画像においては、破線は現れない。

なお、図７Ａ乃至図７Ｃは、処理対象の画像において、手領域と背景の肌色領域とが重なった場合を例に説明したが、図２Ａのように手領域３１と背景の第一の色（肌色）を示す領域５１とが重ならない場合は、図２Ｂにおける領域３２のみが、差分領域として残る。

次に、判定部１３は、参照領域と対象物の領域との重なりの有無を判定する（Ｏｐ．２４）。判定部１３は、差分画像における差分領域と参照領域との位置関係から、参照領域と対象物との重なりの有無を判定する。例えば、差分領域の画素のうち、参照領域に接する画素が所定個数以上存在する場合に、参照領域と対象物の領域との重なりがあると判定する。

重なりがない場合は（Ｏｐ．２４Ｎｏ）、抽出部１４は、差分領域に基づき、処理対象の画像から対象物を抽出する（Ｏｐ．３０）。つまり、抽出部１４は、処理対象の画像から、差分画像における差分領域に対応する領域を抽出する。例えば、差分領域に相当する領域以外の領域をマスクしたマスク画像を生成する。

一方、重なりがある場合は（Ｏｐ．２４Ｙｅｓ）、抽出部１４は、差分領域内の画素であって参照領域に接する画素のうち、２つの画素の位置、Ｐ１およびＰ２を決定する（Ｏｐ．２５）。Ｐ１およびＰ２は、例えば、差分領域内の画素であって参照領域に接する画素のうち、差分領域の輪郭を形成する画素の位置である。

次に、抽出部１４は、記憶部１６から取得した参照領域の各画素の色情報と、処理対象の画像における参照領域相当の各画素の色情報との差分に基づき、処理対象の画像における参照領域相当の領域部分についてエッジを検出する（Ｏｐ．２６）。次に、抽出部１４は、Ｐ１およびＰ２を用いて、検出したエッジを連結する（Ｏｐ．２７）。

図８Ａおよび図８Ｂは、エッジを連結する処理を説明するための図である。図８Ａは、差分領域８１と、参照領域８２との境界に設定された位置Ｐ１および位置Ｐ２を示す画像である。図８Ｂは、参照領域相当の領域内に検出されたエッジと、エッジ画像における位置Ｐ１および位置Ｐ２を示す図である。

エッジを連結する処理においては、抽出部１４は、エッジ画像における位置Ｐ１からもっとも近くに存在するエッジ８３を特定する。なお、位置Ｐ１の画素がエッジの一部である場合は、参照領域８２の内部に向かう方向にエッジをたどり、そのエッジの端部の画素からもっとも近くに存在する他のエッジを特定すればよい。そして、抽出部１４は、エッジ８３をたどり、エッジ８３が終了した画素からもっとも近くに存在するエッジ８５を、エッジ８３に連結する。この際、エッジ８５は、エッジ８３に近い端部の画素がエッジ８３と連結される。なお、位置Ｐ２からもエッジ連結処理を実行する。つまり、位置Ｐ２からもっとも近くに存在するエッジ８４を特定し、その後、エッジ８４についても他のエッジを連結する。抽出部１４は、このようなエッジ間の連結処理を繰り返す。

このように、位置Ｐ１およびＰ２各々から処理対象の画像において参照領域８２相当の領域内に存在するエッジを連結することで、参照領域８２と対象物との重なり部分の輪郭を表すエッジが特定される。本処理によって、エッジ検出において、対象物の輪郭がひとつのエッジとして検出できない場合であっても、複数のエッジを連結することで、対象物の輪郭を検出することができる。つまり、重なり部分の輪郭が検出される。

次に、抽出部１４は、エッジの連結結果である重なり部分の輪郭に基づき、重なり領域を特定する（Ｏｐ．２８）。抽出部１４は、輪郭の内側部分を、重なり領域として特定する。なお、内側部分は、エッジの曲率などに基づき判断される。

そして、抽出部１４は、重なり領域と差分領域とに基づき、処理対象の画像から対象物を抽出する（Ｏｐ．２９）。つまり、処理対象の画像において、重なり領域および差分領域に相当する領域を対象物の領域として抽出する。

例えば、抽出部１４は、重なり領域と差分領域とに基づき、対象物の領域の範囲および位置を特定する。そして、抽出部１４は、処理対象の画像から、対象物の領域の範囲および位置以外の領域の情報を削除することで、対象物の領域を抽出する。本実施例においては、抽出結果は、対象物の領域以外がマスクされたマスク画像となる。

出力部１５は、認識装置４へ抽出結果を出力する（Ｏｐ．３１）。なお、新たな画像を取得するたびに、画像処理装置１は、図６のフローに示される画像処理方法を実行する。また、所定の時間間隔で、画像処理方法が実行されるとしてもよい。画像処理装置１の出力部１５から抽出結果を受け付けた認識装置４は、従来の手法に基づき、手領域の形状を認識する。そして、認識装置４は、形状に応じたコマンド等を、情報処理装置１０に入力する。

図９は、マスク画像を説明するための図である。マスク画像９は、処理対象の画像において、手領域９０以外の領域をマスクした画像である。なお、図９における領域９１は、差分領域に対応する手領域部分である。領域９２は、重なり領域に対応する手領域部分である。領域９１と領域９２とが、手領域９０を形成する。なお、マスク画像においては、領域９１と領域９２とは区別されない。

以上のように、本発明の一観点によれば、対象物と対象物に類似する色を有する領域とを含む画像から、対象物の領域を抽出することが可能になる。さらに、本実施例においては、対象物と、対象物に類似する色を有する領域とが、画像において重なる場合であっても、対象物の領域を抽出することができる。

つまり、背景の肌色領域と、対象物である手とが重なるような場合でも、手領域を検出することができる。画像処理装置１は、重なりを検知した場合に重なり領域を特定するとともに、特定した重なり領域を利用して手領域を抽出することができる。

さらに、重なり領域を特定する際には、参照領域相当の領域内に限って、エッジ検出が実行される。よって、画像処理装置１は、画像全体に対してエッジ検出を実行する場合と比較して、エッジ検出のための処理量を低減することができる。また、検出されるエッジが参照領域相当の領域内に限定され、それによって不要な領域に存在するエッジとの連結処理を行わないため、画像処理装置１は、エッジ連結処理をより精度よく行うことができる。つまり、画像処理装置１は、重なり領域をより精度よく特定することができる。

また、本実施例においては、画像処理装置１は、重なりを検出しない場合には、差分領域に基づき手領域を検出する。つまり、画像処理装置１は、重なりを検出しない限り、エッジ検出などを行わない。よって、画像処理装置１は、重なりの有無に応じて、２つの処理を適切に切り替えて実行することができる。

（第二の実施例）次に、エッジを検出する範囲を、さらに限定することで、よりいっそう処理量を低減する第二の実施例について、説明する。

画像処理装置１の機能的構成は、第一の実施例と同様である。ただし、入力装置２は、撮像装置３として２つの撮像装置を備える。２つの撮像装置を備えることによって、画像処理装置１は、撮像装置３と対象物との距離ｚを測定可能となる。距離ｚは、２つの撮像装置の設置位置間の中間地点と、対象物の１点との距離である。

まず、事前準備として、取得部１１は、対象物である手のみの画像を取得する。そして、生成部１２は、画像から手全体の高さＨ、幅Ｗを取得する。そして、記憶部１６は、手全体の高さＨ、幅Ｗの情報を記憶する。

つぎに、処理対象の画像から手領域を抽出する画像処理方法において、判定部１３が重なりがあると判定した場合に、抽出部１４は、以下の式３を利用して、距離ｚを求める。ｆは、撮像装置の焦点距離である。Ｔは、撮像装置間の距離である。ｘ１およびｘ２は、各撮像装置が撮像した画像における対象物の位置である。
ｚ＝ｆ・Ｔ／（ｘ１−ｘ２） （式３）
例えば、抽出部１４が、距離ｚを算出する際には、例えば、差分領域を対象物と仮定する。例えば、各撮像装置で撮像された２つの画像各々において、差分領域の重心を求める。そして、２つの重心の位置をｘ１およびｘ２とする。なお、過去に取得した画像に基づき抽出された対象領域の情報を利用しても良い。

次に、抽出部１４は、式４を利用して、候補領域を決定する。そして、抽出部１４は、候補領域と参照領域とが重なっている範囲を処理領域として、エッジ検出を行う。

Ｒは、候補領域の半径である。さらに、ｆ（ｚ）は、距離ｚに応じた係数である。ｆ（ｚ）は、撮像装置のパラメータに依存してあらかじめ設定される。式４は、あらかじめ登録された手の大きさに応じて、処理対象の画像において、手が存在しうる最大の範囲を演算するための式である。

図１０は、処理領域を説明するための図である。抽出部１４は、Ｒを半径とし、Ｐ１（またはＰ２）を中心とする候補領域１０１を、処理対象の画像に対して設定する。そして、抽出部１４は、候補領域１０１と参照領域１０２とが重なっている範囲を、処理領域１０３とする。その後、抽出部１４は、実施例１と同様に、エッジ検出処理を実行する。

実施例２によれば、画像処理装置１は、実施例１と比較して、エッジ検出の処理量を低減することができる。さらに、画像処理装置１は、処理領域内のエッジのみを検出する。よって、後段のエッジ連結処理において、誤ったエッジが連結される可能性を低減することができる。つまり、実施例２における画像処理装置１は、実施例１と比較して、より精度よく手領域を検出することができる。

（第三の実施例）次に、肌色成分を抽出するための条件を、ユーザに応じて適切に調節することで、手領域を抽出する第三の実施例について説明する。

図１１は、第三の実施例における画像処理装置の機能ブロック図である。入力装置２００は、実施例１と同様の処理を行う撮像装置３と認識装置４とを有する。また、入力装置２００は、画像処理装置１００を有する。画像処理装置１００は、取得部１１、出力部１５、記憶部１６を有する。また、画像処理装置１００は、演算部１７と抽出部１８とを有する。

取得部１１および出力部１５は、実施例１における取得部１１および出力部１５と同様の処理を行う。演算部１７は、対象物を含まない画像における特定の色成分を示す領域を抽出するとともに、抽出した領域のヒストグラムを生成する。また、演算部１７は、対象物を含み、かつ対象物の色に類似する色の領域を含まない画像における、特定の色成分を示す領域を抽出するとともに、抽出した領域のヒストグラムを生成する。

例えば、演算部１７は、背景画像から肌色成分を有する領域を抽出し、背景画像における肌色成分を有する領域のヒストグラムを生成する。また、演算部１７は、ユーザの手の画像から、手の画像における肌色成分を有する領域を抽出し、手の画像における肌色成分を有する領域のヒストグラムを生成する。

ヒストグラムは、表色系に合わせ、複数種類のヒストグラムが生成される。例えば、ＨＳＶ表色系の色情報を利用して、手領域を抽出する場合には、ＨとＳとＶの各々について、ヒストグラムが生成される。

演算部１７は、対象物を含まない画像におけるヒストグラムと、対象物を含みかつ対象物の色に類似する色の領域を含まない画像のヒストグラムとに基づき、処理対象の画像から手領域を抽出するための条件を演算する。なお、演算された条件は、記憶部１６に記憶される。

図１２は、手領域を抽出するための条件を説明するための図である。なお、図１２に示すヒストグラムは、Ｈ成分の各値ごとの頻度を示す。破線１２１は、ユーザの手を含まない画像における肌色成分を示す領域のヒストグラムである。また、実線１２２は、ユーザの手の画像における肌色成分を示す領域のヒストグラムである。なお、各画像から肌色成分を有する領域を抽出するためには、例えば、仮条件として数１および数２が利用される。

図１１に戻り、演算部１７は、２つのヒストグラムに基づき、ヒストグラム１２２の頻度が、ヒストグラム１２１の頻度よりも大きくなるときの、Ｈの値を求める。図１２においては、範囲１２３が、ヒストグラム１２２の頻度がヒストグラム１２１の頻度よりも高いＨの値の範囲である。演算部１７は、範囲１２３を示す情報を、後の手領域抽出処理に利用する条件として記憶部１６へ記憶する。演算部１７が算出した条件は、後述の手領域抽出処理により抽出される手領域を最大にし、かつ手領域以外の誤検出領域を最小にする条件となる。

抽出部１８は、演算部が算出した条件に基づき、処理対象の画像から手領域を抽出する。例えば、抽出部１８は、処理対象の画像の色情報をＨＳＶ表色系へ変換する。そして、変換された色情報と条件とを比較することで、二値画像を生成する。二値画像に基づき、手領域が特定される。そして抽出部１８は、処理対象の画像に対して手領域以外の領域をマスクすることで、マスク画像を生成する。

さらに、抽出部１８は、条件に基づき抽出された領域を仮手領域として、平準化処理等を行うことで、仮手領域内の手領域を特定してもよい。抽出部１８は、平準化処理によって、条件に合致するが手以外の領域である領域や、本来手領域であるが条件に合致しなかった領域を補正する。

平準化処理は、例えば、「長谷川純一他、画像処理の基本技術−技術入門編−、技術評論社、１９８６年」に記載された拡散・収縮処理が適用される。平準化処理が実行されることで、条件に合致するが手領域以外の領域を形成する雑音部分が除去される。

図１３は、第三の実施例における画像処理方法のフローチャートである。なお、本処理に先駆けて、演算部１７は、対象物と、仮条件の下では対象物に類似する色を有する領域とを、区別するための条件を、先の方法で演算する。

取得部１１は、画像を取得する（Ｏｐ．４０）。なお、ここで取得された画像を処理対象として、以下の処理が実行される。抽出部１８は、画像の色情報の色空間を、ＨＳＶ表色系へ変換する（Ｏｐ．４１）。画像の取得がＨＳＶ表色系でなされるものであれば、この変換は不要である。

次に、条件を記憶部１６から読み出し、当該条件および変換された色情報に基づき、二値画像を生成する。二値画像においては、条件に合致する画素に「１」、条件に合致しない画素に「０」が付与される。なお、二値画像における画素値「１」を有する画素の領域は、仮手領域を示す。

次に、抽出部１８は、二値画像を平準化する（Ｏｐ．４３）。先に述べたとおり、平準化により、二値画像における仮手領域から、手領域が特定される。次に、抽出部１８は、処理対象の画像から、二値画像における手領域に相当する部分を抽出する（Ｏｐ．４４）。つまり、対象物の画像から、対象物が抽出される。例えば、抽出部１８は、処理対処の画像において、手領域以外の領域をマスクすることで、対象物が抽出されたマスク画像を生成する。最後に、出力部１５は、抽出結果を認識装置４へ出力する（Ｏｐ．４５）。

以上のように、対象物と、あらかじめ設定された仮条件においては対象物と類似する色領域とを、区別するための条件を用いて、対象物を抽出することができる。つまり、本実施例の画像処理装置は、色ヒストグラムに基づき、対象物を抽出するために適切な条件を生成することができる。条件は、手領域抽出処理により抽出される手領域を最大にし、かつ手領域以外の誤検出領域を最小にする条件である。

仮条件を適用した場合に、対象物と類似する色の領域とを区別することはできないが、ユーザの手の色ヒストグラムを加味した新たな条件を利用することで、本実施例の画像処理装置１００は、対象物を抽出する。

上記各実施例は、次の様に変形することも可能である。

図１４は画像処理装置１または画像処理装置１００のハードウェア構成の一例を示す図である。コンピュータ１０００は、上述した各実施例の画像処理方法を実行し、画像処理装置１または画像処理装置１００として機能する。なお、コンピュータ１０００は、情報処理装置１０や、入力装置２として機能する場合もある。

コンピュータ１０００はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３，ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１００５、表示装置１００７、媒体読取装置１００９を有している。さらに、コンピュータ１０００は、通信装置１００４、キーボード１００６、撮像装置１０１０を有しても良い。各部はバス１００８を介して相互に接続されている。そして、各部は、ＣＰＵ１００１による管理下で相互にデータの送受を行うことができる。

図６および図１３のフローチャートに示した画像処理方法が記述された画像処理プログラムは、コンピュータが読み取り可能な記録媒体に記録される。コンピュータが読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。

光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ − ＯＰｔｉｃａｌ ｄｉｓｋ）などがある。このプログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売されることが考えられる。

そして、画像処理プログラムを実行するコンピュータ１０００は、例えば媒体読取装置１００９が、画像処理プログラムを記録した記録媒体から、該プログラムを読み出す。なお、図６に示す処理が記述されたプログラムを読み出すとともに、実行することで、コンピュータ１０００は、画像処理装置１として機能する。一方、図１３に示す処理が記述されたプログラムを読み出すとともに、実行することで、コンピュータ１０００は、画像処理装置１００として機能する。

ＣＰＵ１００１は、読み出されたプログラムをＨＤＤ１００５若しくはＲＯＭ１００２、ＲＡＭ１００３に格納する。ＣＰＵ１００１は、画像処理装置全体の動作制御を司る中央処理装置である。ＨＤＤ１００５は、ＣＰＵ１００１により格納された図６または図１３の処理が記述されたプログラムを記憶する。

そして、ＣＰＵ１００１が、図６の処理が記述された画像処理プログラムをＨＤＤ１００５から読み出して実行することで、図３に示す取得部１１、生成部１２、判定部１３、抽出部１４、出力部１５として機能するようになる。なお、画像処理プログラムには、さらに、図４の処理が記述されていても良い。また、画像処理プログラムはＣＰＵ１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されていても良い。

一方、ＣＰＵ１００１が、図１３の処理および条件演算処理が記述されたプログラムをＨＤＤ１００５から読み出して実行することで、図１１に示す取得部１１、出力部１５、演算部１７、抽出部１８として機能する。

ＨＤＤ１００５は、ＣＰＵ１００１の管理下で図２または図１１に示す記憶部として機能する。各実施例における画像処理に必要な情報は、プログラム同様、ＣＰＵ１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されても良い。つまり、記憶部のデータは、ＨＤＤ１００５や、ＲＯＭ１００２またはＲＡＭ１００３などの記憶装置に格納される。また、ＲＡＭ１００３は、処理の過程で一時的に生成された情報も記憶する。

表示装置１００７は、画面を表示する。また、通信装置１００４はネットワークを介して他の装置からの信号を受信し、その信号の内容をＣＰＵ１００１に渡す。さらに通信装置１００４はＣＰＵ１００１からの指示に応じてネットワークを介して他の装置に信号を送信する。

キーボード１００６は、ユーザからの情報の入力を受け付ける。なお、コンピュータ１０００は、キーボードの代わりに、タッチパネルやタッチペンなどを入力のためのデバイスとして備えても良い。撮像装置１０１０は、所定のフレーム間隔で画像を撮影する。撮像装置１０１０は、撮像した画像をディジタル化してＣＰＵ１００１に対して出力する。撮像装置１０１０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを有し、例えば、対象物であるユーザの手を含む画像を撮像し、アナログの画像情報をディジタル画像情報に変換して出力する。

１、１００ 画像処理装置
２、２００ 入力装置
３ 撮像装置
４ 認識装置
１０ 情報処理装置
１１ 取得部
１２ 生成部
１３ 判定部
１４、１８ 抽出部
１５ 出力部
１６ 記憶部
１７ 演算部
１０００ コンピュータ
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ 通信装置
１００５ ＨＤＤ
１００６ キーボード
１００７ 表示装置
１００８ バス
１００９ 媒体読取装置
１０１０ 撮像装置

Claims (7)

1. 対象物を含まない第一の画像から色に関する条件に基づき抽出された参照領域の情報を記憶する記憶部と、
   前記第一の画像とは異なる時点で撮像された第二の画像における対象領域の情報を、前記条件に基づき生成する生成部と、
   前記対象領域と前記参照領域とに基づき、前記参照領域と前記対象物との重なりの有無を判定する判定部と、
   前記重なりがない場合は、前記参照領域と前記対象領域との差分領域に基づき、前記第二の画像から前記対象物を抽出し、前記重なりがある場合は、該第二の画像における前記参照領域相当の画素の色情報に基づき、前記重なりの領域を特定するとともに、前記差分領域と前記重なりの領域とに基づき、該第二の画像から前記対象物を抽出する抽出部とを有することを特徴とする画像処理装置。
2. 前記抽出部は、前記重なりがある場合に、前記色情報と、前記第一の画像における前記参照領域の画素の他の色情報との差分に基づき、前記重なりの領域を特定することを特徴とする請求項１記載の画像処理装置。
3. 前記抽出部は、前記差分に基づき、エッジを検出するとともに、該エッジに基づき、前記重なりの輪郭を特定し、該輪郭に基づき、前記重なりの領域を特定することを特徴とする請求項２記載の画像処理装置。
4. 前記抽出部は、前記差分領域と前記参照領域との境界を形成する画素のうち、第一の画素および第二の画素を設定し、複数検出された前記エッジを該第一の画素または該第二の画素から近いものから連結するとともに、該第一の画素からの連結結果と該第二の画素からの連結結果とに基づき、前記輪郭を特定することを特徴とする請求項３記載の画像処理装置。
5. 前記判定部は、前記差分領域を生成し、前記差分領域と前記参照領域が接する場合に、前記重なりがあると判定することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
6. コンピュータが、
   第一の画像における対象領域の情報を、色に関する条件に基づき生成し、
   前記第一の画像とは異なる時点で撮像された対象物を含まない第二の画像から、前記条件に基づき抽出された参照領域の情報を参照し、前記対象領域と該参照領域とに基づき、該参照領域と前記対象物との重なりの有無を判定し、
   前記重なりがない場合は、前記参照領域と前記対象領域との差分領域に基づき、前記第一の画像から前記対象物を抽出し、
   前記重なりがある場合は、該第一の画像における前記参照領域相当の画素の色情報に基づき、前記重なりの領域を特定するとともに、前記差分領域と前記重なりの領域とに基づき、該第一の画像から前記対象物を抽出する処理を実行することを特徴とする画像処理方法。
7. コンピュータに、
   第一の画像における対象領域の情報を、色に関する条件に基づき生成し、
   前記第一の画像とは異なる時点で撮像された対象物を含まない第二の画像から、前記条件に基づき抽出された参照領域の情報を参照し、前記対象領域と該参照領域とに基づき、該参照領域と前記対象物との重なりの有無を判定し、
   前記重なりがない場合は、前記参照領域と前記対象領域との差分領域に基づき、前記第一の画像から前記対象物を抽出し、
   前記重なりがある場合は、該第一の画像における前記参照領域相当の画素の色情報に基づき、前記重なりの領域を特定するとともに、前記差分領域と前記重なりの領域とに基づき、該第一の画像から前記対象物を抽出する処理を実行させることを特徴とする画像処理プログラム。