JP3774495B2 - 画像情報抽出装置および方法 - Google Patents
画像情報抽出装置および方法 Download PDFInfo
- Publication number
- JP3774495B2 JP3774495B2 JP28536295A JP28536295A JP3774495B2 JP 3774495 B2 JP3774495 B2 JP 3774495B2 JP 28536295 A JP28536295 A JP 28536295A JP 28536295 A JP28536295 A JP 28536295A JP 3774495 B2 JP3774495 B2 JP 3774495B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- standard
- subject
- standard image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は画像情報抽出装置および方法に係わり、特に、撮像時の情報を用いて画像の検索処理、および切り出し処理を高速に行うようにした映像データベースシステムに関する。
【０００２】
【従来の技術】
従来、画像中から特定の物体の有無を判定したり、あるいは特定の物体が存在する画像をデータベースから検索して抽出したりするための技術として、パターン認識の技術が用いられてきた。上記パターン認識を行う際に行われるパターン認識技術の適用の仕方としては、以下の方法が挙げられる。
【０００３】
すなわち、第１の方法は、画像をあらかじめ複数の領域に分割して、認識すべき特定領域のみが存在するように切り出し処理を行い、しかる後、標準パターンとの類似度を種々の方法を用いて算出する方法である。
【０００４】
また、第２の方法は、あらかじめ用意したテンプレートをスキャンし、各位置でのマッチング度（相関係数）を算出し、上記算出した値が所定閾値以上となる位置を探索する方法（特開平6-168331）である。
【０００５】
さらに、第３の方法は、画像データベース作成時に画像中の構成要素の領域と構成要素名を入力しておくことにより、所定の特徴を有する画像の検索を高速に行わせる方法（特開平5-242160）である。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術の第１および第２の方法に対しては、あらかじめ特定被写体が画像中に存在する位置やそのサイズ、あるいは照明条件を反映した色相等が一般的に分かっていないために、以下のような問題点があった。
【０００７】
すなわち、第１の問題点として、一つの対象画像について各条件を反映した複数個の標準パターン（サイズ、位置、色相等が異なる同一対象を表す画像）を用いて類似度の演算をする必要があるので、演算量および演算時間が膨大となることである。
【０００８】
また、第２の問題点としては、標準パターンに近い特徴を有する特定領域の探索および切り出しは、上述した第１の問題点の理由から一般的に困難であった。
【０００９】
さらに、第３の問題点としては、テンプレートのサイズを事前に設定できるのは画像生成条件が極めて限られた場合であり、画像生成時の条件が分からない場合には上記第１の問題点と同様の問題が生じていた。したがって、特定被写体の有無判定、特定被写体の存在する画像の検索等の処理に膨大な計算時間が必要であった。
【００１０】
また、上記従来技術の第３の方法に対しては、画像中の構成要素の領域およびその名を入力するにはキーボード、マウス等の入力インターフェイスが必要であり、撮像手段により得られる実写画像のデータベースを作成する場合には、撮像終了後にこのような検索用データを作成する手間が必要であった。
【００１１】
さらに、撮像手段を用いて撮像した画像のデータベースから、撮影中心を意図した被写体が存在する画像をデータベースから検索する用途においては、従来の撮像時の情報を使わない画像処理では、一般的に対応することができないという問題点があった。
【００１２】
本発明は上述の問題点にかんがみ、被写体を撮像した時の撮像モードに関する情報を用いて特定被写体の探索処理を高速に行う装置および方法を提供することを第１の目的とする。
【００１３】
本発明の第２の目的は、限定された撮像モードパラメータを用いて既知の被写体の画像中の有無判定を高速に行うことができるようにすることである。
【００１４】
本発明の第３の目的は、被写体の有無判定に要する演算時間の削減できるようにすることである。
【００１５】
本発明の第４の目的は、演算時間の更なる削減を行うことができるようにすることである。
【００１６】
本発明の第５の目的は、輪郭線データによる被写体の有無判定処理を高速に行うこと、および被写体切り出し処理を同時に行うことができるようにすることである。
【００１９】
本発明の第６の目的は、撮像情報を活用した信頼性の高い被写体抽出を高速に行うことができるようにすることである。
【００２０】
本発明の第７の目的は、撮像モードパラメータを活用して輪郭線内の画像切り出しにより、被写体を背景から分離する処理を高速に行うことができるようにすることである。
【００２１】
【課題を解決するための手段】
本発明の画像情報抽出装置は、被写体を撮像して画像を生成する撮像手段と、上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、上記撮像手段が被写体を撮像するときの撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段から出力された画像とを比較する画像比較手段とを具備することを特徴とする。
【００２２】
本発明の画像情報抽出装置の他の特徴とするところは、被写体を撮像して画像を生成する撮像手段と、上記撮像手段が被写体を撮像するときの撮像モードを抽出する撮像モード抽出手段と、上記撮像モード抽出手段によって抽出された撮像モードを記憶するための撮像モード記憶手段と、上記撮像手段から出力される画像を記憶するための画像記憶手段と、上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、上記撮像モード抽出手段で抽出された撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段から出力された画像とを比較する画像比較手段とを具備することを特徴とする。
【００２３】
また、本発明の画像情報抽出装置のその他の特徴とするところは、被写体を撮像して画像を生成する撮像手段と、上記撮像手段が被写体を撮像するときの撮像モードを抽出する撮像モード抽出手段と、上記撮像モード抽出手段によって抽出された撮像モードを記憶するための撮像モード記憶手段と、上記撮像手段から出力される画像を記憶するための画像記憶手段と、上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、上記撮像モード抽出手段で抽出された撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段により出力された画像とを比較する画像比較手段と、上記画像比較手段の出力に基づいて画像を切り出す画像切り出し手段とを具備することを特徴とする。
【００２４】
また、本発明のその他の特徴とするところは、上記撮像モード抽出手段は、撮像時の合焦信号、上記撮像手段の焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出することを特徴としている。
【００２５】
また、本発明の画像情報抽出装置のその他の特徴とするところは、上記標準画像変更手段は、撮像時の被写体距離または上記撮像手段の焦点距離パラメータに基づいて上記標準画像の被写体領域のサイズを設定することを特徴とする。
【００２６】
また、本発明の画像情報抽出装置のその他の特徴とするところは、上記撮像モード抽出手段は視線方向データ抽出手段を有し、上記標準画像変更手段は撮像時の視線方向に基づいて上記撮像手段で生成される画像上の中心位置に対応して上記標準画像の被写体領域の中心位置を設定することを特徴とする。
【００２９】
また、本発明のその他の特徴とするところは、上記画像比較手段は、上記標準画像の輪郭モデルとして動的輪郭を用い、輪郭画上の各節点の位置を上記撮像手段で生成される画像の輪郭線上の点に収束したときに最小値をとる所定の評価関数に基づいて可変するように制御した後、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズを正規化して収束した後の輪郭内画像と標準画像との類似度を算出することを特徴としている。
【００３０】
また、本発明のその他の特徴とするところは、上記画像比較手段は、上記標準画像と上記撮像手段で生成される画像との類似値が所定の閾値より大きいときに画像データを出力することを特徴としている。
【００３１】
また、本発明のその他の特徴とするところは、上記画像比較手段は、上記動的輪郭が収束された後の輪郭線内の原画像データを出力することを特徴としている。
【００３２】
本発明の画像情報抽出方法は、被写体を撮像して画像を生成する画像生成処理と、上記画像生成処理を行って画像を生成するときの撮像状態を抽出する抽出処理と、上記画像生成処理によって生成された画像と比較するための標準画像を記憶手段から読みだす標準画像読みだし処理と、上記標準画像読みだし処理によって記憶手段から読みだされた標準画像を上記抽出処理により抽出された撮像状態に基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更処理と、上記標準画像変更処理によって変更された変更標準画像と、上記画像生成処理によって生成された画像とを比較する画像比較処理とを行って特定被写体を探索するようにしたことを特徴とする。
【００３３】
【作用】
本発明は上記技術手段よりなるので、第１の発明、第２の発明および第１０の発明によれば、撮像手段が被写体を撮像したときの撮像モード情報に基づいて変更された標準画像との比較により特定被写体の検出が行われるので、上記特定被写体を高速に検出することが可能となり、画像の高速検索や特定被写体を中心とした自動撮影が可能となる。
【００３４】
第３の発明によれば、画像比較手段の出力に基づいて画像切り出し手段による画像の切り出しが行われるようになるので、従来より放送の分野で用いられている、ある画像の所望の色の部分を他の画像と入れ換えるようにする、所謂クロマキーの手法を用いることなく特定被写体の高速切り出しが可能となる。
【００３５】
第４の発明によれば、撮像時の合焦信号、上記撮像手段の焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つが抽出されるので、上記抽出された情報に基づく被写体の有無判定が可能となり、既知の被写体が画像中に有るか否かの有無判定を高速に行うことが可能となる。
【００３６】
第５の発明によれば、撮像時の被写体距離または上記撮像手段の焦点距離パラメータに基づいて上記標準画像の被写体領域のサイズが設定されるので、画像中に存在しうる被写体領域のサイズが適切に設定されるようになり、被写体の有無判定に要する演算時間の削減が可能となる。
【００３７】
第６の発明によれば、撮像時の視線方向に基づいて上記撮像手段で生成される画像上の中心位置に対応して上記標準画像の被写体領域の中心位置を設定するので、画像データベースでの検索処理範囲を撮像時の被写体位置付近に限定した被写体の有無判定処理を行うことができるようになり、被写体の有無判定に要する演算時間の更なる削減が可能となる。
【００４０】
第９の発明によれば、標準画像の輪郭モデルとして動的輪郭が用いられ、かつ所定の評価関数に基づいて可変となるように制御されるとともに、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズが正規化された収束後の輪郭内画像と標準画像との類似度が算出されるようになるので、上記標準画像と実写画像とのサイズ、形状が異なる場合でも特定被写体の検出を安定して行うことが可能となる。
【００４１】
第１０の発明によれば、上記標準画像と上記撮像手段で生成される実写画像との類似値が所定の閾値より大きいときに画像データが出力されるので、輪郭線内の画像切り出しにより、被写体画像を背景から分離抽出することを高速に、かつ自動的に行うことが可能となる。
【００４２】
第１１の発明によれば、動的輪郭が収束された後の輪郭線内の原画像データが画像比較手段により出力されるので、撮像情報を活用した高速かつ信頼性の高い被写体抽出を行うことが可能となる。
【００４３】
【発明の実施の形態】
以下、本発明の画像情報抽出装置および方法の一実施形態を図面を参照して説明する。
図１は、本発明の画像情報抽出装置の要部構成を示す機能構成図である。図１において、Ａは撮像手段、Ｂは撮像状態を検出する撮像モード抽出手段、Ｃは撮像モード記憶手段、Ｄは画像記憶手段、Ｅは標準画像記憶手段、Ｆは標準画像初期化手段、Ｇは画像比較手段、Ｈは画像切り出し手段、Ｉは画像出力手段である。
【００４４】
上記撮像手段Ａは、被写体を撮像して実写画像を生成するためのものであり、上記撮像モード抽出手段Ｂは、上記撮像手段Ａが被写体を撮像するときの撮像モードを抽出するためのものである。なお、本実施形態においては、上記撮像モード抽出手段Ｂは、撮像時の合焦信号、上記撮像手段Ａの焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出するようにしている。また、上記撮像モード抽出手段Ｂは視線方向データ抽出手段を有している。
【００４５】
上記撮像モード記憶手段Ｃは、上記撮像モード抽出手段Ｂで抽出された撮像モードを記憶するためのものである。
上記画像記憶手段Ｄは、上記撮像手段Ａから出力される実写画像を記憶するためのものである。
【００４６】
上記標準画像記憶手段Ｅは、上記撮像手段Ａから出力される実写画像と比較するための標準画像を記憶するためのものであり、ここに複数の特定被写体の輪郭線データが記憶されている。
【００４７】
上記標準画像初期化手段Ｆは、上記撮像モード抽出手段Ｂで抽出された撮像モードに基づいて上記標準画像を初期化する。また、上記標準画像初期化手段Ｆは、撮像時の被写体距離または上記撮像手段Ａの焦点距離パラメータに基づいて上記標準画像の初期サイズを設定するようにしている。
【００４８】
さらに、上記標準画像初期化手段Ｆは、上記標準画像の輪郭線データを初期輪郭として設定するとともに、上記初期輪郭の中心位置を上記視線方向に設定するようにしている。また、撮像時の視線方向に基づいて上記撮像手段Ａで生成される実写画像上の中心位置に対応して上記標準画像の中心位置を初期化する。
【００４９】
上記画像比較手段Ｇは、上記標準画像初期化手段Ｆによって初期化された初期化標準画像と、上記撮像手段Ａにより出力された実写画像とを比較するためのものである。上記画像比較手段Ｇは、上記標準画像の輪郭モデルとして動的輪郭を用い、輪郭画上の各節点の位置を上記撮像手段Ａで生成される実写画像の輪郭線上の点に収束したときに最小値をとる所定の評価関数に基づいて可変するように制御した後、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズを正規化して収束した後の輪郭内画像と標準画像との類似度を算出するようにしている。
【００５０】
また、上記画像比較手段Ｇは、上記標準画像と上記撮像手段Ａで生成される実写画像との類似値が所定の閾値より大きいときに画像データを出力するようにしている。さらに、上記画像比較手段Ｇは、上記動的輪郭が収束された後の輪郭線内の原画像データを出力するようにしている。
上記画像切り出し手段Ｈは、上記画像比較手段Ｇの出力に基づいて画像を切り出すためのものである。
【００５１】
このように構成された画像情報抽出装置によれば、上記撮像手段Ａが被写体を撮像したときの撮像モード情報に基づいて初期化した標準画像との比較により特定被写体の検出を行うので、上記特定被写体を高速に検出することができる。したがって、画像を高速に検索することができるようになるとともに、特定被写体を中心とした自動撮影を行うようにすることが可能となる。
【００５２】
また、上記画像比較手段Ｇの出力に基づいて画像切り出し手段Ｈによる画像の切り出しを行うので、特定被写体を高速に切り出すことができる。さらに、上記撮像モード抽出手段Ｂが撮像時の合焦信号、上記撮像手段Ａの焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出するので、上記抽出した情報に基づく被写体の有無判定を行うようにすることができる。
【００５３】
これにより、既知の被写体が画像中に有るか否かの有無判定を高速に行うことができ、画像中に存在しうる被写体領域のサイズを適切に設定したり、被写体の有無判定に要する演算時間を大幅に削減することができる。
【００５４】
また、上記標準画像初期化手段Ｆが撮像時の被写体距離、または撮像手段Ａの焦点距離パラメータに基づいて上記標準画像の初期サイズを設定する。したがって、画像中に存在しうる被写体領域のサイズを適切に設定することができ、被写体の有無判定に要する演算時間を削減することができる。これにより、撮像時の被写体位置付近に限定して同被写体の有無判定処理を行うことができ、演算時間を更に削減することができる。
【００５５】
また、上記撮像モード抽出手段Ｂが視線方向データ抽出手段Ｉを有しているので、撮像時の視線方向に基づいて標準画像の中心位置を初期化することができ、画像データベースでの検索処理範囲を撮像時の被写体位置付近に限定して被写体の有無判定処理を行うことができる。したがって、被写体の有無判定に要する演算時間を大幅に削減することができる。
【００５６】
さらに、上記標準画像記憶手段Ｅに複数の特定被写体の輪郭線データを記憶したので、輪郭線データによる被写体の有無判定を高速に行うことができ、被写体の有無判定に要する演算時間を削減することができる。
【００５７】
また、上記標準画像初期化手段Ｆが、標準画像の輪郭線データを初期輪郭として設定するとともに、上記初期輪郭の中心位置を視線方向に設定するので、輪郭線データによる被写体の有無判定を行うための演算時間を大幅に削減することができる。
【００５８】
また、上記標準画像と実写画像とのサイズ、形状が異なる場合でも特定被写体の検出を安定して行うことが可能となる。さらに、輪郭線内の画像切り出しにより、被写体画像を背景から分離抽出することを高速に、かつ自動的に行うことができ、信頼性の高い被写体抽出を高速に行うことができる。
【００５９】
次に、本発明の画像情報抽出装置および方法を、実施形態に基づいてより具体的に説明する。
図２は、第１の実施形態のシステム構成を示すブロック図である。図２中、１は撮像手段、２はズームレンズを含む結像光学系、３はレンズモータ駆動制御装置、４はセンサ、５は撮像モード抽出手段、６は画像記憶手段、７はモニタとしてのファインダ、８はファインダ画面内における操作者の視線を検出する視線方向検出手段、９は標準画像データベース、１０は標準画像初期化手段、１１は画像比較手段、１２は端末、１３は画像切り出し手段、１４は画像出力手段を表している。
【００６０】
なお、上記撮像手段１はビデオカメラによって構成されている。また、画像記憶手段６、比較手段１１、画像切り出し手段１３、画像出力手段１４、標準画像初期化手段１０は、例えば、マイクロコンピュータによって構成され、データベース９はマイクロコンピュータに接続されたメモリであり、その種類は半導体メモリ、ハードディスク等、どのようなものでもよい。
【００６１】
上記撮像モード抽出手段５は、上記モータ駆動制御装置３、センサ４、および視線方向検出手段８からの入力を受け、それぞれから画像データに基づく合焦判定信号、焦点距離情報、撮像時の視線方向パラメータを抽出する。
【００６２】
以下、本実施形態の画像情報抽出装置を人物像の有無判定に適用した場合について詳述する。
上記撮像手段１は、画像を撮像する際にレンズモータ駆動部３からのズームレンズ等のレンズ駆動量（ズーミングパラメータの一つ）を得て、あらかじめ撮像モード抽出手段５中に設けられている記憶手段（ＲＯＭ等）に記憶されているレンズ駆動量と焦点距離との変換テーブルを参照して撮影時の焦点距離の推定値を得ている。
【００６３】
また、シャッタを押す前の数十から数百ミリ秒の間に、上記視線方向検出手段８から出力されるデータ平均値から画像フレーム上の対応する位置を算出する。そして、上記算出した位置を視線方向中心位置として不図示のメモリに記憶しておくようにしている。
【００６４】
一方、上記センサ４によって光電変換されて出力される画像信号は、画像記憶手段６に記録される。そして、上記画像記憶手段６に記録される際に、所定のフォーマットで量子化され、かつ上述した撮像モードパラメータがヘッダ部に記録される。なお、ヘッダ部は各フレームの先頭に設けてもよいし、あるいは一括してフレーム番号（またはアドレス）とともにヘッダ領域に全フレームの撮像モードパラメータを記録してもよい。
【００６５】
図３は、画像記録時のヘッダフォーマットの一例を示す図である。図３から明らかなように、ヘッダ部には撮像モードパラメータとして焦点距離、図示しない焦点検出回路の合焦度を表す焦点信号のレベル、すなわち合焦信号レベル、視線方向中心位置、ストロボＯＮ／ＯＦＦ情報等が固定ビット長（図中のビット数は一例にすぎない）で記録される。
【００６６】
ただし、撮像モードパラメータの種類および記録順序はあらかじめユーザ側で設定できるように端末１２から不図示のインターフェイスを介して上記撮像モード抽出手段５に撮像パラメータの記録フォーマットに関する情報を送ることができるようになされている。
【００６７】
なお、画像データは記憶情報量削減のため、必要に応じて圧縮処理が施されてもよい。
また、上記画像記憶手段６は、上記撮像手段１に内蔵してもよいが、撮像手段１との接続・分離が可能なインターフェイス手段（図示せず）を設け、持ち運び可能なように構成してもよい。
【００６８】
図４に、本実施形態の画像情報抽出装置の主要な動作の処理フローを示す。
図４に示したように、まず、最初のステップＳ１においては、端末１２から特定被写体カテゴリ（以下、正面を向いた人物像を中心として撮像された画像とする）の存在する画像を検索することの要求が入力される。
【００６９】
次に、ステップＳ２に進み、画像初期化用データがヘッダ部に記録されている画像データが格納されている標準画像データベースから、上記画像の検索要求に対応する標準画像（背景無地または背景無しの正面人物像）を抽出する。
【００７０】
次に、ステップＳ３に進み、標準画像初期化手段１０により撮像モードパラメータの入力を行う。本実施形態では、上記標準画像初期化手段１０は撮像モード情報入力を撮像モード抽出手段５からの直接入力、または画像記憶手段６中の画像ヘッダ部に記録された撮像モード情報の読みだしにより撮像モードパラメータの入力を行うようにしている。
【００７１】
次に、ステップＳ４に進み、標準画像パラメータを設定する。上記標準画像パラメータの設定は、上記撮像モードパラメータと端末１２等から指定される被写体分類カテゴリとに基づいて行うものであり、標準画像データベース中から選択された特定被写体モデル画像が上記画像記憶手段６に記憶されている画像上に存在しうるサイズおよび中心位置の範囲を設定するものである。
【００７２】
すなわち、焦点距離情報からピントの合う被写体距離範囲を推定し、画像上で存在しうる被写体領域サイズの設定を、あらかじめ用意した被写体距離と被写体サイズに関する知識データに基づいて行う。また、視線方向データから被写体の実写画像上で存在しうる中心位置の推定を行うものである。
【００７３】
なお、上述のような知識データ（換算表または換算式）は、標準画像のヘッダ部に記録されているものとする。本実施形態では、人物の頭部サイズが個体によって著しく変わらないことを利用し、標準画像のヘッダ部に記録された換算式（係数）または換算表を用い、被写体距離の推定値（合焦信号レベル）と倍率データ（焦点距離）とに基づいて行うものとする。なお、撮像モードを撮像手段１から直接入力することは、撮像と並行して行う特定被写体の有無検出や追跡等の用途に好適である。
【００７４】
次に、画像比較手段１１で行われるステップＳ５およびステップＳ６の処理について詳細に説明する。上記画像比較手段１１は、中心位置とサイズの設定された初期化標準画像と実写画像上の対応する領域との類似度を推定する。
【００７５】
なお、類似度を推定するための計算は、例えば相関値、対応する領域間の差分絶対値（あるいは画素ごとの差分二乗和）、あるいはその他の評価関数を用いることができる。
【００７６】
次に、ステップＳ７に進み、上記ステップＳ６の処理の結果として得られる類似度値と所定閾値とを比較して、被写体の有無を判定する。上記被写体の有無判定は、所定条件（相関法なら閾値以上、差分方式なら閾値以下）を満たすときに、指定された被写体が実写画像中に存在すると判定する。
【００７７】
特に、本実施形態の画像情報抽出装置の場合は、頭部領域の中心位置を被写体画像領域の代表中心位置とすることにより、検出誤差の抑制と演算時間の短縮化を達成することができる。ここでは、初期化された背景無しの標準画像とそれに対応する実写画像領域との類似度を以下のようにして求めるようにしている。
【００７８】
すなわち、上記ステップＳ５において、実写画像から標準画像に対応する領域に属する画素を抽出して切り出す処理を行う。これは、標準画像の中心位置に設定された外輪郭線で囲まれた領域の抽出として容易に行うことができる。
【００７９】
次に、ステップＳ６において、切り出された領域内画像と標準画像との差分値の二乗和を求める。一般的には、被写体の中心位置と輪郭形状とは両方共に誤差を含むので、中心位置に関してはある範囲内で設定し、類似度が最も高い位置を探索する必要がある。
【００８０】
同様に、標準画像と実写画像の輪郭形状の差異については標準画像の最適サイズをある範囲内で探索することによって対応する。すなわち、形状そのものの差異（相似度）については無視し、例えば頭部のサイズが最も実画像に近くなるようにサイズパラメータの最適値を求めるものである。
【００８１】
この場合、標準画像初期化手段１０は撮像パラメータに基づいてサイズ、中心位置パラメータの最適値探索の初期値を設定したことになる。最終的に最大の類似度を与える標準画像サイズ、中心位置における類似度の値が所定閾値より小（差分法に基づく類似度の場合）または大（相関法の場合）ならば、実写画像中に指定されたカテゴリの被写体が存在すると判定する。
【００８２】
また、所望の被写体の切り出し手段１３は以上の処理の結果、最適な中心位置とサイズを有する標準画像によって与えられる外形輪郭線内の実写画像中の領域抽出として実現する。なお、類似度算出の際に用いる画像データは輝度レベルに限らず色相データを併用することにより信頼度を増すことができる。
【００８３】
次に、本発明の画像情報抽出装置の第２の実施形態を説明する。この第２の実施形態では、標準画像データとして被写体カテゴリを表す外形輪郭線データのみを用い、画像比較手段１１での処理に動的輪郭の手法（M.Kass,A.Witkin,and D.Terzopoulos,"Snakes:Active Countour Models,"International Journal of Computer Vision,pp.321-331,1987）を適用した。動的輪郭は、輪郭線に沿った距離s を用いてu(s)=(x(s),y(s))で表される輪郭線に対し、評価関数は
【００８４】
【数１】
【００８５】
を最小にする輪郭線u(s)を求める手法である。α(s),β(s),w0はユーザが適宜定める。なお、本実施形態では輪郭線に関して定めた、ある評価関数の最小化により対象の輪郭線を求める手法を動的輪郭法と呼ぶようにしている。
【００８６】
標準画像のサイズおよび中心位置最適値の設定は、第１の実施形態と同様に撮像時の撮像モード情報に基づいて行う。本実施形態の場合は、特に、初期輪郭のサイズを実際の輪郭サイズより小さくならないように設定することが望ましい。
【００８７】
そのために、被写体サイズの平均値にその分散値β倍（β＞１；ユーザ側で任意に設定）を加えて画像サイズの初期値としてもよい。被写体有無の判定は、最終的に収束した輪郭線の形状と標準輪郭線モデルとの類似度に基づいて行う。
【００８８】
類似度の例としては、人物画像の場合、最適中心位置、最適サイズを与える標準輪郭線内の領域を第１の画素値とする。同様に、実写画像中の対応領域内の第１の画素値とし、結果として得られる両シルエット画像間でのＡＮＤ処理、すなわち重複部算出処理を行い、その面積（第１の画素値の画素数）から判定するようにすればよい。
【００８９】
なお、他の類似度の例として相似度を求めてもよい。この場合、中心位置を最適に設定した後、中心位置に極座表（γ，θ；γ：原点からの距離、θ：角度）を設定し、輪郭線上各点の（γ、θ）座標を求める。
【００９０】
次に、原点からの最大距離で各点のγ値を正規化する。このようにして得られる正規化後の両波形データ（γ，θ）間の類似度（例えば相関値）は、一般的に、輪郭形状の相似度の目安となる。以上の処理フローを図５に示す。
【００９１】
図５に示したように、最初のステップＳ１０１において、端末または所定の入力装置において被写体カテゴリを指定して入力、または選択して入力する。次に、ステップＳ１０２に進み、標準画像データベースから該当カテゴリの標準輪郭線像を抽出する。
【００９２】
次に、ステップＳ１０３に進み、標準画像初期化手段１０により撮像モードパラメータ（焦点距離、合焦信号レベル、視線方向等）を入力する。
【００９３】
次のステップＳ１０４では、撮像パラメータに基づく該当カテゴリの標準輪郭線画像のサイズ設定、および中心位置設定を行う。
次に、ステップＳ１０５に進み、前のステップＳ１０４の結果に基づいて、実写画像上に初期化標準輪郭線を設定する。
【００９４】
次に、ステップＳ１０６に進み、動的輪郭のアルゴリズムに基づいて初期輪郭の変形・移動処理（Ｓｎａｋｅｓアルゴリズム）を行う。
次に、ステップＳ１０７において、収束後の輪郭線像と初期化された標準輪郭線画像との類似度評価を行う。
【００９５】
次に、ステップＳ１０８に進み、上記ステップＳ１０７により行われた類似度評価と所定のしきい値との比較を行い、被写体の有無を判定を行う。ステップＳ１０８の判断の結果、被写体が無い場合にはステップＳ１０４に戻る。
【００９６】
また、被写体がある場合にあステップＳ１０９に進み、被写体の切り出し処理を行い、次に、ステップＳ１１０に進んで画像出力の処理を行う。
【００９７】
次に、本発明の画像情報抽出装置および方法の第３の実施形態について説明する。
本実施形態では、撮像時にストロボ使用の有無に応じた特定被写体の代表色に関する物体色予測を行い、これに基づいて存在しうる色パラメータ範囲内の色情報を有する画像中の領域抽出を行うようにしている。
【００９８】
さらに、撮像時の被写体距離情報に基づく標準画像の初期化データ（サイズ、色成分）設定を行う。ここに、色成分の初期設定とは被写体標準画像中の代表色領域の色成分を、照明光条件から予測される代表色成分を有するように変換することを意味する。
【００９９】
なお、対象のＲＧＢ色成分は、波長λを関数とする平均分光反射率Ｑ（λ）、ストロボ等の光源の分光分布Ｓ（λ）、および等色関数ｒ（λ）、ｇ（λ）、ｂ（λ）を用いて、
【０１００】
【数２】
【０１０１】
で与えられる。対象の分光反射率は、一般的に固体によって異なるが、ＲＧＢ空間での被写体色成分の存在範囲は統計的に推定することができる。簡単のため、その範囲を正規分布の仮定のもとで、平均分光反射率Ｑ（λ）、およびあらかじめ分かっている各分散値σR 、σG 、σB を用いて（Ｒ，Ｇ，Ｂ）を中心として各成分の範囲が（Ｒ−ασR ，Ｒ＋ασR ）、（Ｇ−ασG ，Ｇ＋ασG ）、（Ｂ−ασB ，Ｂ＋ασB ）となるように規定する。
【０１０２】
上記αは任意の定数である。なお、予測される色成分範囲の規定の仕方は本実施形態の主眼ではないので、上記以外の方法（例えば、色相空間での設定）でもよい。
【０１０３】
図６に、本実施形態において被写体検索（または抽出）時に行われる特徴的な処理フローを示す。
まず、最初のステップＳ２０１において、端末または所定の入力装置を介して被写体カテゴリを指定または選択して入力する。次に、ステップＳ２０２において、標準画像の抽出を行う。
【０１０４】
次に、ステップＳ２０３に進み、撮像モードパラメータを入力する。この場合、少なくとも光源色と焦点距離または被写体距離を入力する。
次に、ステップＳ２０４に進み、標準画像初期化手段１０により、撮像パラメータに基づく該当カテゴリの標準画像中の代表色領域の色成分推定および画像サイズ設定を行う。ただし、代表色領域はあらかじめ各被写体カテゴリごとに決められているものとする。
【０１０５】
次に、ステップＳ２０５に進み、実写画像から代表色推定範囲内にある色成分を有する連結領域、またはその連結領域の外輪郭線内画像領域を抽出する。
【０１０６】
次に、ステップＳ２０６に進み、各抽出領域の重心位置、面積（または包接する矩形領域サイズ）を算出する。
次に、ステップＳ２０７に進み、面積またはサイズ条件と被写体の推定サイズとの一致度を評価し、許容範囲内の領域のみを残す処理を行う（高速化または被写体が重なり合って撮像された場合に対応するためにこの処理ステップは除外してもよい）。
【０１０７】
次に、ステップＳ２０８に進み、各領域の重心位置を中心とする初期化標準画像との類似度評価を行う。
【０１０８】
その後、ステップＳ２０９に進んで、被写体の有無判定を行う。上記被写体の有無判定は、類似度の評価値と所定のしきい値とを比較して行う。上記被写体の有無判定の結果、被写体が存在しない場合にはステップＳ２０４に戻り、また、被写体が存在する場合にはステップＳ２１０に進み、被写体の切り出しを行う。
【０１０９】
その後、ステップＳ２１１に進み、画像を出力する。例えば、与えられたカラー画像中に人物が存在するか否かを判定する場合には、照明光条件に応じた肌色を代表色とする色予測に基づく処理を行えばよい。本実施形態では、視線方向データに基づく被写体中心位置の推定を併用してもよいが、被写体中心位置が事前に分からなくても予測された色ベクトル（または色相ベクトル）範囲内にある領域が多数ない限り、処理の高速化を充分に達成できるものである。
【０１１０】
また、同一色成分範囲の領域が多数ある場合には、撮像時の倍率、被写体距離情報を用いて画像内サイズを推定することにより、同一色成分範囲を有する連結領域サイズとその推定値との差異が所定閾値より大きくなる領域を除去してもよい。このようにして、被写体の存在範囲を限定することにより、被写体の有無判定を高速に行うことや、あるいは被写体を抽出することが可能となる。
【０１１１】
なお、本実施形態では実写画像および標準画像をブロック分割して各ブロックごとに代表輝度、代表色成分を算出してモザイク調の画像を得てから一連の処理を行ってもよい。この場合は、処理時間の更なる短縮が可能である。
【０１１２】
次に、本発明の画像情報抽出装置の第４の実施形態を説明する。
図７は、本実施形態のおもな処理フローを示す。まず、ステップＳ３０１では、被写体カテゴリを入力する。
【０１１３】
次に、ステップＳ３０２では、標準輪郭線を抽出する。
次に、ステップＳ３０３では、視線方向、商店距離、または被写体距離等の撮像モードパラメータを入力する。
【０１１４】
次に、ステップＳ３０４では、標準輪郭線画像パラメータ（サイズ、中心位置）を設定する。
次に、ステップＳ３０５では、実写画像上の処理領域を設定する。
次に、ステップＳ３０６では、類似度を評価するための前処理を行う。上記前処理は、特徴要素（交差パターン、ラインセグメント、曲線要素）、特徴要素間対応付け、初期輪郭線設定等である。
【０１１５】
次のステップＳ３０７では動的輪郭処理を行い、ステップＳ３０８では収束後輪郭線像と標準輪郭線像との類似度評価を行う。
次に、ステップＳ３０９に進み、被写体の有無を判定する。上記判定の結果、被写体がない場合にはステップＳ３０４に戻り、上述した動作を繰り返し行う。
【０１１６】
また、ステップＳ３０９の判定の結果、被写体が有る場合には、ステップＳ３１０に進んで被写体の切り出しを行い。その後、ステップＳ３１１に進んで画像を出力する処理を行って一連の処理を終了する。
【０１１７】
上述したように、本実施形態では撮像モードパラメータに基づいて処理領域を限定する（限定の仕方は、上述した実施形態のいずれでもよい）。そして、上記限定した領域中の特徴要素としてＬ，Ｔ，Ｘ型等の交差、またはラインセグメント、曲線要素を検出する。
【０１１８】
これらの特徴要素のうち、Ｌ、Ｔ、Ｘ型等の交差パターンは、図８のパターン説明図に示すようなパターンであり、交差パターンの抽出法はDeriche,R. and Giraudon,G.(International Journal of Computer Vision,vol.10,pp.101-124,1993) 、Rohr,K. and Schnoerr,C.(Image and Vision Computing, vol.11,pp.273-277,1993) 、磯、志沢（電子情報通信学会技術報告、vol.IE92-125,PP.33-40,1993) 等に詳しく説明されている。
【０１１９】
また、曲線要素の抽出法としては、Koenderink,J. and Richards,W.(Jorunal of Optical Society of America vol.A-5,PP.1136-1141,1988)、Li,S.Z.(International Journal of Computer Vision,vol.5,pp.161-194,1990) 等に詳しく説明されている。
【０１２０】
次に、これらの特徴要素を第２の実施形態で扱った動的輪郭の制御点（固定点領域) とする。その際、初期輪郭のサイズは同様に撮像モードパラメータに基づいて設定すればよいが、位置については標準画像上の特徴要素と画像記憶手段から供給される画像の特徴要素とが一定許容範囲内でマッチングする（例えば、対応する特徴要素の種別が一致し、かつ要素間の距離が一定値以下である）ように位置合わせする。本実施形態は、被写体形状が鋭い角を有する場合、動的輪郭法を用いて正確かつ高速な切り出しを行うのに特に有効である。
【０１２１】
【発明の効果】
本発明は上述したように、本出願に係わる第１の発明、第２の発明の発明によれば、撮像手段が被写体を撮像したときの撮像モード情報に基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更された変更標準画像と、上記撮像手段から出力された画像との比較により、特定被写体の検出を行うので、上記特定被写体を高速に検出することができる。したがって、画像を高速に検索することができるようになるとともに、特定被写体を中心とした自動撮影を行うようにすることが可能となる。
【０１２２】
本出願に係わる第３の発明によれば、画像比較手段の出力に基づいて画像切り出し手段による画像の切り出しを行うようにしたので、特定被写体を高速に切り出すことができる。
【０１２３】
本出願に係わる第４の発明によれば、撮像時の合焦信号、上記撮像手段の焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出するようにしたので、上記抽出した情報に基づく被写体の有無判定を行うようにすることができ、既知の被写体が画像中に有るか否かの有無判定を高速に行うことができる。これにより、画像中に存在しうる被写体領域のサイズを適切に設定したり、被写体の有無判定に要する演算時間を大幅に削減することができる。
【０１２４】
本出願に係わる第５の発明によれば、撮像時の被写体距離または撮像手段の焦点距離パラメータに基づいて上記標準画像の被写体領域のサイズを設定するので、画像中に存在しうる被写体領域のサイズを適切に設定することができ、被写体の有無判定に要する演算時間を削減することができる。これにより、撮像時の被写体位置付近に限定して同被写体の有無判定処理を行うことができ、演算時間を更に削減することができる。
【０１２５】
本出願に係わる第６の発明によれば、撮像時の視線方向に基づいて上記撮像手段で生成される画像上の中心位置に対応して上記標準画像の被写体領域の中心位置を設定するようにしたので、画像データベースでの検索処理範囲を撮像時の被写体位置付近に限定して被写体の有無判定処理を行うことができ、被写体の有無判定に要する演算時間を大幅に削減することができる。
【０１２８】
本出願に係わる第９の発明によれば、標準画像の輪郭モデルとして動的輪郭を用い、かつ所定の評価関数に基づいて可変となるように制御するとともに、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズを正規化し、収束後の輪郭内画像と標準画像との類似度を算出するようにしたので、上記標準画像と実写画像とのサイズ、形状が異なる場合でも特定被写体の検出を安定して行うことが可能となる。
【０１２９】
本出願に係わる第１０の発明によれば、標準画像と撮像手段で生成される実写画像との類似値が所定の閾値より大きいときに画像データを出力するので、輪郭線内の画像切り出しにより、被写体画像を背景から分離抽出することを高速に、かつ自動的に行うことができ、信頼性の高い被写体抽出を高速に行うことができる。
【０１３０】
本出願に係わる第１１の発明によれば、動的輪郭が収束された後の輪郭線内の原画像データを出力するので、撮像情報を活用した信頼性の高い被写体抽出を高速に行うことができる。
【図面の簡単な説明】
【図１】本発明の画像情報抽出装置の要部構成を示す機能構成図である。
【図２】本発明の一実施形態を示すシステム構成図である。
【図３】画像データヘッダ部のフォーマット一例を示す図である。
【図４】第１の実施形態の処理を説明するためのフローチャートである。
【図５】第２の実施形態の処理を説明するためのフローチャートである。
【図６】第３の実施形態の処理を説明するためのフローチャートである。
【図７】第４の実施形態の処理を説明するためのフローチャートである。
【図８】第４の実施形態で抽出する特徴要素（交差パターン）の一例を示す図である。
【符号の説明】
１ 撮像手段
２ 結像光学系
３ センサ
４ レンズモータ駆動制御部
５ 撮像モード抽出手段
６ 画像記憶手段
７ ファインダ
８ 視線方向検出手段
９ 標準画像データベース
１０ 標準画像初期化手段
１１ 画像比較手段
１２ 端末
１３ 被写体画像領域切り出し手段
１４ 画像出力手段
Ａ 撮像手段
Ｂ 撮像モード抽出手段
Ｃ 撮像モード記憶手段
Ｄ 画像記憶手段
Ｅ 標準画像記憶手段
Ｆ 標準画像初期化手段
Ｇ 画像比較手段
Ｈ 画像切り出し手段
Ｉ 画像出力手段
【発明の属する技術分野】
本発明は画像情報抽出装置および方法に係わり、特に、撮像時の情報を用いて画像の検索処理、および切り出し処理を高速に行うようにした映像データベースシステムに関する。
【０００２】
【従来の技術】
従来、画像中から特定の物体の有無を判定したり、あるいは特定の物体が存在する画像をデータベースから検索して抽出したりするための技術として、パターン認識の技術が用いられてきた。上記パターン認識を行う際に行われるパターン認識技術の適用の仕方としては、以下の方法が挙げられる。
【０００３】
すなわち、第１の方法は、画像をあらかじめ複数の領域に分割して、認識すべき特定領域のみが存在するように切り出し処理を行い、しかる後、標準パターンとの類似度を種々の方法を用いて算出する方法である。
【０００４】
また、第２の方法は、あらかじめ用意したテンプレートをスキャンし、各位置でのマッチング度（相関係数）を算出し、上記算出した値が所定閾値以上となる位置を探索する方法（特開平6-168331）である。
【０００５】
さらに、第３の方法は、画像データベース作成時に画像中の構成要素の領域と構成要素名を入力しておくことにより、所定の特徴を有する画像の検索を高速に行わせる方法（特開平5-242160）である。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術の第１および第２の方法に対しては、あらかじめ特定被写体が画像中に存在する位置やそのサイズ、あるいは照明条件を反映した色相等が一般的に分かっていないために、以下のような問題点があった。
【０００７】
すなわち、第１の問題点として、一つの対象画像について各条件を反映した複数個の標準パターン（サイズ、位置、色相等が異なる同一対象を表す画像）を用いて類似度の演算をする必要があるので、演算量および演算時間が膨大となることである。
【０００８】
また、第２の問題点としては、標準パターンに近い特徴を有する特定領域の探索および切り出しは、上述した第１の問題点の理由から一般的に困難であった。
【０００９】
さらに、第３の問題点としては、テンプレートのサイズを事前に設定できるのは画像生成条件が極めて限られた場合であり、画像生成時の条件が分からない場合には上記第１の問題点と同様の問題が生じていた。したがって、特定被写体の有無判定、特定被写体の存在する画像の検索等の処理に膨大な計算時間が必要であった。
【００１０】
また、上記従来技術の第３の方法に対しては、画像中の構成要素の領域およびその名を入力するにはキーボード、マウス等の入力インターフェイスが必要であり、撮像手段により得られる実写画像のデータベースを作成する場合には、撮像終了後にこのような検索用データを作成する手間が必要であった。
【００１１】
さらに、撮像手段を用いて撮像した画像のデータベースから、撮影中心を意図した被写体が存在する画像をデータベースから検索する用途においては、従来の撮像時の情報を使わない画像処理では、一般的に対応することができないという問題点があった。
【００１２】
本発明は上述の問題点にかんがみ、被写体を撮像した時の撮像モードに関する情報を用いて特定被写体の探索処理を高速に行う装置および方法を提供することを第１の目的とする。
【００１３】
本発明の第２の目的は、限定された撮像モードパラメータを用いて既知の被写体の画像中の有無判定を高速に行うことができるようにすることである。
【００１４】
本発明の第３の目的は、被写体の有無判定に要する演算時間の削減できるようにすることである。
【００１５】
本発明の第４の目的は、演算時間の更なる削減を行うことができるようにすることである。
【００１６】
本発明の第５の目的は、輪郭線データによる被写体の有無判定処理を高速に行うこと、および被写体切り出し処理を同時に行うことができるようにすることである。
【００１９】
本発明の第６の目的は、撮像情報を活用した信頼性の高い被写体抽出を高速に行うことができるようにすることである。
【００２０】
本発明の第７の目的は、撮像モードパラメータを活用して輪郭線内の画像切り出しにより、被写体を背景から分離する処理を高速に行うことができるようにすることである。
【００２１】
【課題を解決するための手段】
本発明の画像情報抽出装置は、被写体を撮像して画像を生成する撮像手段と、上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、上記撮像手段が被写体を撮像するときの撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段から出力された画像とを比較する画像比較手段とを具備することを特徴とする。
【００２２】
本発明の画像情報抽出装置の他の特徴とするところは、被写体を撮像して画像を生成する撮像手段と、上記撮像手段が被写体を撮像するときの撮像モードを抽出する撮像モード抽出手段と、上記撮像モード抽出手段によって抽出された撮像モードを記憶するための撮像モード記憶手段と、上記撮像手段から出力される画像を記憶するための画像記憶手段と、上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、上記撮像モード抽出手段で抽出された撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段から出力された画像とを比較する画像比較手段とを具備することを特徴とする。
【００２３】
また、本発明の画像情報抽出装置のその他の特徴とするところは、被写体を撮像して画像を生成する撮像手段と、上記撮像手段が被写体を撮像するときの撮像モードを抽出する撮像モード抽出手段と、上記撮像モード抽出手段によって抽出された撮像モードを記憶するための撮像モード記憶手段と、上記撮像手段から出力される画像を記憶するための画像記憶手段と、上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、上記撮像モード抽出手段で抽出された撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段により出力された画像とを比較する画像比較手段と、上記画像比較手段の出力に基づいて画像を切り出す画像切り出し手段とを具備することを特徴とする。
【００２４】
また、本発明のその他の特徴とするところは、上記撮像モード抽出手段は、撮像時の合焦信号、上記撮像手段の焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出することを特徴としている。
【００２５】
また、本発明の画像情報抽出装置のその他の特徴とするところは、上記標準画像変更手段は、撮像時の被写体距離または上記撮像手段の焦点距離パラメータに基づいて上記標準画像の被写体領域のサイズを設定することを特徴とする。
【００２６】
また、本発明の画像情報抽出装置のその他の特徴とするところは、上記撮像モード抽出手段は視線方向データ抽出手段を有し、上記標準画像変更手段は撮像時の視線方向に基づいて上記撮像手段で生成される画像上の中心位置に対応して上記標準画像の被写体領域の中心位置を設定することを特徴とする。
【００２９】
また、本発明のその他の特徴とするところは、上記画像比較手段は、上記標準画像の輪郭モデルとして動的輪郭を用い、輪郭画上の各節点の位置を上記撮像手段で生成される画像の輪郭線上の点に収束したときに最小値をとる所定の評価関数に基づいて可変するように制御した後、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズを正規化して収束した後の輪郭内画像と標準画像との類似度を算出することを特徴としている。
【００３０】
また、本発明のその他の特徴とするところは、上記画像比較手段は、上記標準画像と上記撮像手段で生成される画像との類似値が所定の閾値より大きいときに画像データを出力することを特徴としている。
【００３１】
また、本発明のその他の特徴とするところは、上記画像比較手段は、上記動的輪郭が収束された後の輪郭線内の原画像データを出力することを特徴としている。
【００３２】
本発明の画像情報抽出方法は、被写体を撮像して画像を生成する画像生成処理と、上記画像生成処理を行って画像を生成するときの撮像状態を抽出する抽出処理と、上記画像生成処理によって生成された画像と比較するための標準画像を記憶手段から読みだす標準画像読みだし処理と、上記標準画像読みだし処理によって記憶手段から読みだされた標準画像を上記抽出処理により抽出された撮像状態に基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更処理と、上記標準画像変更処理によって変更された変更標準画像と、上記画像生成処理によって生成された画像とを比較する画像比較処理とを行って特定被写体を探索するようにしたことを特徴とする。
【００３３】
【作用】
本発明は上記技術手段よりなるので、第１の発明、第２の発明および第１０の発明によれば、撮像手段が被写体を撮像したときの撮像モード情報に基づいて変更された標準画像との比較により特定被写体の検出が行われるので、上記特定被写体を高速に検出することが可能となり、画像の高速検索や特定被写体を中心とした自動撮影が可能となる。
【００３４】
第３の発明によれば、画像比較手段の出力に基づいて画像切り出し手段による画像の切り出しが行われるようになるので、従来より放送の分野で用いられている、ある画像の所望の色の部分を他の画像と入れ換えるようにする、所謂クロマキーの手法を用いることなく特定被写体の高速切り出しが可能となる。
【００３５】
第４の発明によれば、撮像時の合焦信号、上記撮像手段の焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つが抽出されるので、上記抽出された情報に基づく被写体の有無判定が可能となり、既知の被写体が画像中に有るか否かの有無判定を高速に行うことが可能となる。
【００３６】
第５の発明によれば、撮像時の被写体距離または上記撮像手段の焦点距離パラメータに基づいて上記標準画像の被写体領域のサイズが設定されるので、画像中に存在しうる被写体領域のサイズが適切に設定されるようになり、被写体の有無判定に要する演算時間の削減が可能となる。
【００３７】
第６の発明によれば、撮像時の視線方向に基づいて上記撮像手段で生成される画像上の中心位置に対応して上記標準画像の被写体領域の中心位置を設定するので、画像データベースでの検索処理範囲を撮像時の被写体位置付近に限定した被写体の有無判定処理を行うことができるようになり、被写体の有無判定に要する演算時間の更なる削減が可能となる。
【００４０】
第９の発明によれば、標準画像の輪郭モデルとして動的輪郭が用いられ、かつ所定の評価関数に基づいて可変となるように制御されるとともに、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズが正規化された収束後の輪郭内画像と標準画像との類似度が算出されるようになるので、上記標準画像と実写画像とのサイズ、形状が異なる場合でも特定被写体の検出を安定して行うことが可能となる。
【００４１】
第１０の発明によれば、上記標準画像と上記撮像手段で生成される実写画像との類似値が所定の閾値より大きいときに画像データが出力されるので、輪郭線内の画像切り出しにより、被写体画像を背景から分離抽出することを高速に、かつ自動的に行うことが可能となる。
【００４２】
第１１の発明によれば、動的輪郭が収束された後の輪郭線内の原画像データが画像比較手段により出力されるので、撮像情報を活用した高速かつ信頼性の高い被写体抽出を行うことが可能となる。
【００４３】
【発明の実施の形態】
以下、本発明の画像情報抽出装置および方法の一実施形態を図面を参照して説明する。
図１は、本発明の画像情報抽出装置の要部構成を示す機能構成図である。図１において、Ａは撮像手段、Ｂは撮像状態を検出する撮像モード抽出手段、Ｃは撮像モード記憶手段、Ｄは画像記憶手段、Ｅは標準画像記憶手段、Ｆは標準画像初期化手段、Ｇは画像比較手段、Ｈは画像切り出し手段、Ｉは画像出力手段である。
【００４４】
上記撮像手段Ａは、被写体を撮像して実写画像を生成するためのものであり、上記撮像モード抽出手段Ｂは、上記撮像手段Ａが被写体を撮像するときの撮像モードを抽出するためのものである。なお、本実施形態においては、上記撮像モード抽出手段Ｂは、撮像時の合焦信号、上記撮像手段Ａの焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出するようにしている。また、上記撮像モード抽出手段Ｂは視線方向データ抽出手段を有している。
【００４５】
上記撮像モード記憶手段Ｃは、上記撮像モード抽出手段Ｂで抽出された撮像モードを記憶するためのものである。
上記画像記憶手段Ｄは、上記撮像手段Ａから出力される実写画像を記憶するためのものである。
【００４６】
上記標準画像記憶手段Ｅは、上記撮像手段Ａから出力される実写画像と比較するための標準画像を記憶するためのものであり、ここに複数の特定被写体の輪郭線データが記憶されている。
【００４７】
上記標準画像初期化手段Ｆは、上記撮像モード抽出手段Ｂで抽出された撮像モードに基づいて上記標準画像を初期化する。また、上記標準画像初期化手段Ｆは、撮像時の被写体距離または上記撮像手段Ａの焦点距離パラメータに基づいて上記標準画像の初期サイズを設定するようにしている。
【００４８】
さらに、上記標準画像初期化手段Ｆは、上記標準画像の輪郭線データを初期輪郭として設定するとともに、上記初期輪郭の中心位置を上記視線方向に設定するようにしている。また、撮像時の視線方向に基づいて上記撮像手段Ａで生成される実写画像上の中心位置に対応して上記標準画像の中心位置を初期化する。
【００４９】
上記画像比較手段Ｇは、上記標準画像初期化手段Ｆによって初期化された初期化標準画像と、上記撮像手段Ａにより出力された実写画像とを比較するためのものである。上記画像比較手段Ｇは、上記標準画像の輪郭モデルとして動的輪郭を用い、輪郭画上の各節点の位置を上記撮像手段Ａで生成される実写画像の輪郭線上の点に収束したときに最小値をとる所定の評価関数に基づいて可変するように制御した後、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズを正規化して収束した後の輪郭内画像と標準画像との類似度を算出するようにしている。
【００５０】
また、上記画像比較手段Ｇは、上記標準画像と上記撮像手段Ａで生成される実写画像との類似値が所定の閾値より大きいときに画像データを出力するようにしている。さらに、上記画像比較手段Ｇは、上記動的輪郭が収束された後の輪郭線内の原画像データを出力するようにしている。
上記画像切り出し手段Ｈは、上記画像比較手段Ｇの出力に基づいて画像を切り出すためのものである。
【００５１】
このように構成された画像情報抽出装置によれば、上記撮像手段Ａが被写体を撮像したときの撮像モード情報に基づいて初期化した標準画像との比較により特定被写体の検出を行うので、上記特定被写体を高速に検出することができる。したがって、画像を高速に検索することができるようになるとともに、特定被写体を中心とした自動撮影を行うようにすることが可能となる。
【００５２】
また、上記画像比較手段Ｇの出力に基づいて画像切り出し手段Ｈによる画像の切り出しを行うので、特定被写体を高速に切り出すことができる。さらに、上記撮像モード抽出手段Ｂが撮像時の合焦信号、上記撮像手段Ａの焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出するので、上記抽出した情報に基づく被写体の有無判定を行うようにすることができる。
【００５３】
これにより、既知の被写体が画像中に有るか否かの有無判定を高速に行うことができ、画像中に存在しうる被写体領域のサイズを適切に設定したり、被写体の有無判定に要する演算時間を大幅に削減することができる。
【００５４】
また、上記標準画像初期化手段Ｆが撮像時の被写体距離、または撮像手段Ａの焦点距離パラメータに基づいて上記標準画像の初期サイズを設定する。したがって、画像中に存在しうる被写体領域のサイズを適切に設定することができ、被写体の有無判定に要する演算時間を削減することができる。これにより、撮像時の被写体位置付近に限定して同被写体の有無判定処理を行うことができ、演算時間を更に削減することができる。
【００５５】
また、上記撮像モード抽出手段Ｂが視線方向データ抽出手段Ｉを有しているので、撮像時の視線方向に基づいて標準画像の中心位置を初期化することができ、画像データベースでの検索処理範囲を撮像時の被写体位置付近に限定して被写体の有無判定処理を行うことができる。したがって、被写体の有無判定に要する演算時間を大幅に削減することができる。
【００５６】
さらに、上記標準画像記憶手段Ｅに複数の特定被写体の輪郭線データを記憶したので、輪郭線データによる被写体の有無判定を高速に行うことができ、被写体の有無判定に要する演算時間を削減することができる。
【００５７】
また、上記標準画像初期化手段Ｆが、標準画像の輪郭線データを初期輪郭として設定するとともに、上記初期輪郭の中心位置を視線方向に設定するので、輪郭線データによる被写体の有無判定を行うための演算時間を大幅に削減することができる。
【００５８】
また、上記標準画像と実写画像とのサイズ、形状が異なる場合でも特定被写体の検出を安定して行うことが可能となる。さらに、輪郭線内の画像切り出しにより、被写体画像を背景から分離抽出することを高速に、かつ自動的に行うことができ、信頼性の高い被写体抽出を高速に行うことができる。
【００５９】
次に、本発明の画像情報抽出装置および方法を、実施形態に基づいてより具体的に説明する。
図２は、第１の実施形態のシステム構成を示すブロック図である。図２中、１は撮像手段、２はズームレンズを含む結像光学系、３はレンズモータ駆動制御装置、４はセンサ、５は撮像モード抽出手段、６は画像記憶手段、７はモニタとしてのファインダ、８はファインダ画面内における操作者の視線を検出する視線方向検出手段、９は標準画像データベース、１０は標準画像初期化手段、１１は画像比較手段、１２は端末、１３は画像切り出し手段、１４は画像出力手段を表している。
【００６０】
なお、上記撮像手段１はビデオカメラによって構成されている。また、画像記憶手段６、比較手段１１、画像切り出し手段１３、画像出力手段１４、標準画像初期化手段１０は、例えば、マイクロコンピュータによって構成され、データベース９はマイクロコンピュータに接続されたメモリであり、その種類は半導体メモリ、ハードディスク等、どのようなものでもよい。
【００６１】
上記撮像モード抽出手段５は、上記モータ駆動制御装置３、センサ４、および視線方向検出手段８からの入力を受け、それぞれから画像データに基づく合焦判定信号、焦点距離情報、撮像時の視線方向パラメータを抽出する。
【００６２】
以下、本実施形態の画像情報抽出装置を人物像の有無判定に適用した場合について詳述する。
上記撮像手段１は、画像を撮像する際にレンズモータ駆動部３からのズームレンズ等のレンズ駆動量（ズーミングパラメータの一つ）を得て、あらかじめ撮像モード抽出手段５中に設けられている記憶手段（ＲＯＭ等）に記憶されているレンズ駆動量と焦点距離との変換テーブルを参照して撮影時の焦点距離の推定値を得ている。
【００６３】
また、シャッタを押す前の数十から数百ミリ秒の間に、上記視線方向検出手段８から出力されるデータ平均値から画像フレーム上の対応する位置を算出する。そして、上記算出した位置を視線方向中心位置として不図示のメモリに記憶しておくようにしている。
【００６４】
一方、上記センサ４によって光電変換されて出力される画像信号は、画像記憶手段６に記録される。そして、上記画像記憶手段６に記録される際に、所定のフォーマットで量子化され、かつ上述した撮像モードパラメータがヘッダ部に記録される。なお、ヘッダ部は各フレームの先頭に設けてもよいし、あるいは一括してフレーム番号（またはアドレス）とともにヘッダ領域に全フレームの撮像モードパラメータを記録してもよい。
【００６５】
図３は、画像記録時のヘッダフォーマットの一例を示す図である。図３から明らかなように、ヘッダ部には撮像モードパラメータとして焦点距離、図示しない焦点検出回路の合焦度を表す焦点信号のレベル、すなわち合焦信号レベル、視線方向中心位置、ストロボＯＮ／ＯＦＦ情報等が固定ビット長（図中のビット数は一例にすぎない）で記録される。
【００６６】
ただし、撮像モードパラメータの種類および記録順序はあらかじめユーザ側で設定できるように端末１２から不図示のインターフェイスを介して上記撮像モード抽出手段５に撮像パラメータの記録フォーマットに関する情報を送ることができるようになされている。
【００６７】
なお、画像データは記憶情報量削減のため、必要に応じて圧縮処理が施されてもよい。
また、上記画像記憶手段６は、上記撮像手段１に内蔵してもよいが、撮像手段１との接続・分離が可能なインターフェイス手段（図示せず）を設け、持ち運び可能なように構成してもよい。
【００６８】
図４に、本実施形態の画像情報抽出装置の主要な動作の処理フローを示す。
図４に示したように、まず、最初のステップＳ１においては、端末１２から特定被写体カテゴリ（以下、正面を向いた人物像を中心として撮像された画像とする）の存在する画像を検索することの要求が入力される。
【００６９】
次に、ステップＳ２に進み、画像初期化用データがヘッダ部に記録されている画像データが格納されている標準画像データベースから、上記画像の検索要求に対応する標準画像（背景無地または背景無しの正面人物像）を抽出する。
【００７０】
次に、ステップＳ３に進み、標準画像初期化手段１０により撮像モードパラメータの入力を行う。本実施形態では、上記標準画像初期化手段１０は撮像モード情報入力を撮像モード抽出手段５からの直接入力、または画像記憶手段６中の画像ヘッダ部に記録された撮像モード情報の読みだしにより撮像モードパラメータの入力を行うようにしている。
【００７１】
次に、ステップＳ４に進み、標準画像パラメータを設定する。上記標準画像パラメータの設定は、上記撮像モードパラメータと端末１２等から指定される被写体分類カテゴリとに基づいて行うものであり、標準画像データベース中から選択された特定被写体モデル画像が上記画像記憶手段６に記憶されている画像上に存在しうるサイズおよび中心位置の範囲を設定するものである。
【００７２】
すなわち、焦点距離情報からピントの合う被写体距離範囲を推定し、画像上で存在しうる被写体領域サイズの設定を、あらかじめ用意した被写体距離と被写体サイズに関する知識データに基づいて行う。また、視線方向データから被写体の実写画像上で存在しうる中心位置の推定を行うものである。
【００７３】
なお、上述のような知識データ（換算表または換算式）は、標準画像のヘッダ部に記録されているものとする。本実施形態では、人物の頭部サイズが個体によって著しく変わらないことを利用し、標準画像のヘッダ部に記録された換算式（係数）または換算表を用い、被写体距離の推定値（合焦信号レベル）と倍率データ（焦点距離）とに基づいて行うものとする。なお、撮像モードを撮像手段１から直接入力することは、撮像と並行して行う特定被写体の有無検出や追跡等の用途に好適である。
【００７４】
次に、画像比較手段１１で行われるステップＳ５およびステップＳ６の処理について詳細に説明する。上記画像比較手段１１は、中心位置とサイズの設定された初期化標準画像と実写画像上の対応する領域との類似度を推定する。
【００７５】
なお、類似度を推定するための計算は、例えば相関値、対応する領域間の差分絶対値（あるいは画素ごとの差分二乗和）、あるいはその他の評価関数を用いることができる。
【００７６】
次に、ステップＳ７に進み、上記ステップＳ６の処理の結果として得られる類似度値と所定閾値とを比較して、被写体の有無を判定する。上記被写体の有無判定は、所定条件（相関法なら閾値以上、差分方式なら閾値以下）を満たすときに、指定された被写体が実写画像中に存在すると判定する。
【００７７】
特に、本実施形態の画像情報抽出装置の場合は、頭部領域の中心位置を被写体画像領域の代表中心位置とすることにより、検出誤差の抑制と演算時間の短縮化を達成することができる。ここでは、初期化された背景無しの標準画像とそれに対応する実写画像領域との類似度を以下のようにして求めるようにしている。
【００７８】
すなわち、上記ステップＳ５において、実写画像から標準画像に対応する領域に属する画素を抽出して切り出す処理を行う。これは、標準画像の中心位置に設定された外輪郭線で囲まれた領域の抽出として容易に行うことができる。
【００７９】
次に、ステップＳ６において、切り出された領域内画像と標準画像との差分値の二乗和を求める。一般的には、被写体の中心位置と輪郭形状とは両方共に誤差を含むので、中心位置に関してはある範囲内で設定し、類似度が最も高い位置を探索する必要がある。
【００８０】
同様に、標準画像と実写画像の輪郭形状の差異については標準画像の最適サイズをある範囲内で探索することによって対応する。すなわち、形状そのものの差異（相似度）については無視し、例えば頭部のサイズが最も実画像に近くなるようにサイズパラメータの最適値を求めるものである。
【００８１】
この場合、標準画像初期化手段１０は撮像パラメータに基づいてサイズ、中心位置パラメータの最適値探索の初期値を設定したことになる。最終的に最大の類似度を与える標準画像サイズ、中心位置における類似度の値が所定閾値より小（差分法に基づく類似度の場合）または大（相関法の場合）ならば、実写画像中に指定されたカテゴリの被写体が存在すると判定する。
【００８２】
また、所望の被写体の切り出し手段１３は以上の処理の結果、最適な中心位置とサイズを有する標準画像によって与えられる外形輪郭線内の実写画像中の領域抽出として実現する。なお、類似度算出の際に用いる画像データは輝度レベルに限らず色相データを併用することにより信頼度を増すことができる。
【００８３】
次に、本発明の画像情報抽出装置の第２の実施形態を説明する。この第２の実施形態では、標準画像データとして被写体カテゴリを表す外形輪郭線データのみを用い、画像比較手段１１での処理に動的輪郭の手法（M.Kass,A.Witkin,and D.Terzopoulos,"Snakes:Active Countour Models,"International Journal of Computer Vision,pp.321-331,1987）を適用した。動的輪郭は、輪郭線に沿った距離s を用いてu(s)=(x(s),y(s))で表される輪郭線に対し、評価関数は
【００８４】
【数１】
を最小にする輪郭線u(s)を求める手法である。α(s),β(s),w0はユーザが適宜定める。なお、本実施形態では輪郭線に関して定めた、ある評価関数の最小化により対象の輪郭線を求める手法を動的輪郭法と呼ぶようにしている。
【００８６】
標準画像のサイズおよび中心位置最適値の設定は、第１の実施形態と同様に撮像時の撮像モード情報に基づいて行う。本実施形態の場合は、特に、初期輪郭のサイズを実際の輪郭サイズより小さくならないように設定することが望ましい。
【００８７】
そのために、被写体サイズの平均値にその分散値β倍（β＞１；ユーザ側で任意に設定）を加えて画像サイズの初期値としてもよい。被写体有無の判定は、最終的に収束した輪郭線の形状と標準輪郭線モデルとの類似度に基づいて行う。
【００８８】
類似度の例としては、人物画像の場合、最適中心位置、最適サイズを与える標準輪郭線内の領域を第１の画素値とする。同様に、実写画像中の対応領域内の第１の画素値とし、結果として得られる両シルエット画像間でのＡＮＤ処理、すなわち重複部算出処理を行い、その面積（第１の画素値の画素数）から判定するようにすればよい。
【００８９】
なお、他の類似度の例として相似度を求めてもよい。この場合、中心位置を最適に設定した後、中心位置に極座表（γ，θ；γ：原点からの距離、θ：角度）を設定し、輪郭線上各点の（γ、θ）座標を求める。
【００９０】
次に、原点からの最大距離で各点のγ値を正規化する。このようにして得られる正規化後の両波形データ（γ，θ）間の類似度（例えば相関値）は、一般的に、輪郭形状の相似度の目安となる。以上の処理フローを図５に示す。
【００９１】
図５に示したように、最初のステップＳ１０１において、端末または所定の入力装置において被写体カテゴリを指定して入力、または選択して入力する。次に、ステップＳ１０２に進み、標準画像データベースから該当カテゴリの標準輪郭線像を抽出する。
【００９２】
次に、ステップＳ１０３に進み、標準画像初期化手段１０により撮像モードパラメータ（焦点距離、合焦信号レベル、視線方向等）を入力する。
【００９３】
次のステップＳ１０４では、撮像パラメータに基づく該当カテゴリの標準輪郭線画像のサイズ設定、および中心位置設定を行う。
次に、ステップＳ１０５に進み、前のステップＳ１０４の結果に基づいて、実写画像上に初期化標準輪郭線を設定する。
【００９４】
次に、ステップＳ１０６に進み、動的輪郭のアルゴリズムに基づいて初期輪郭の変形・移動処理（Ｓｎａｋｅｓアルゴリズム）を行う。
次に、ステップＳ１０７において、収束後の輪郭線像と初期化された標準輪郭線画像との類似度評価を行う。
【００９５】
次に、ステップＳ１０８に進み、上記ステップＳ１０７により行われた類似度評価と所定のしきい値との比較を行い、被写体の有無を判定を行う。ステップＳ１０８の判断の結果、被写体が無い場合にはステップＳ１０４に戻る。
【００９６】
また、被写体がある場合にあステップＳ１０９に進み、被写体の切り出し処理を行い、次に、ステップＳ１１０に進んで画像出力の処理を行う。
【００９７】
次に、本発明の画像情報抽出装置および方法の第３の実施形態について説明する。
本実施形態では、撮像時にストロボ使用の有無に応じた特定被写体の代表色に関する物体色予測を行い、これに基づいて存在しうる色パラメータ範囲内の色情報を有する画像中の領域抽出を行うようにしている。
【００９８】
さらに、撮像時の被写体距離情報に基づく標準画像の初期化データ（サイズ、色成分）設定を行う。ここに、色成分の初期設定とは被写体標準画像中の代表色領域の色成分を、照明光条件から予測される代表色成分を有するように変換することを意味する。
【００９９】
なお、対象のＲＧＢ色成分は、波長λを関数とする平均分光反射率Ｑ（λ）、ストロボ等の光源の分光分布Ｓ（λ）、および等色関数ｒ（λ）、ｇ（λ）、ｂ（λ）を用いて、
【０１００】
【数２】
で与えられる。対象の分光反射率は、一般的に固体によって異なるが、ＲＧＢ空間での被写体色成分の存在範囲は統計的に推定することができる。簡単のため、その範囲を正規分布の仮定のもとで、平均分光反射率Ｑ（λ）、およびあらかじめ分かっている各分散値σR 、σG 、σB を用いて（Ｒ，Ｇ，Ｂ）を中心として各成分の範囲が（Ｒ−ασR ，Ｒ＋ασR ）、（Ｇ−ασG ，Ｇ＋ασG ）、（Ｂ−ασB ，Ｂ＋ασB ）となるように規定する。
【０１０２】
上記αは任意の定数である。なお、予測される色成分範囲の規定の仕方は本実施形態の主眼ではないので、上記以外の方法（例えば、色相空間での設定）でもよい。
【０１０３】
図６に、本実施形態において被写体検索（または抽出）時に行われる特徴的な処理フローを示す。
まず、最初のステップＳ２０１において、端末または所定の入力装置を介して被写体カテゴリを指定または選択して入力する。次に、ステップＳ２０２において、標準画像の抽出を行う。
【０１０４】
次に、ステップＳ２０３に進み、撮像モードパラメータを入力する。この場合、少なくとも光源色と焦点距離または被写体距離を入力する。
次に、ステップＳ２０４に進み、標準画像初期化手段１０により、撮像パラメータに基づく該当カテゴリの標準画像中の代表色領域の色成分推定および画像サイズ設定を行う。ただし、代表色領域はあらかじめ各被写体カテゴリごとに決められているものとする。
【０１０５】
次に、ステップＳ２０５に進み、実写画像から代表色推定範囲内にある色成分を有する連結領域、またはその連結領域の外輪郭線内画像領域を抽出する。
【０１０６】
次に、ステップＳ２０６に進み、各抽出領域の重心位置、面積（または包接する矩形領域サイズ）を算出する。
次に、ステップＳ２０７に進み、面積またはサイズ条件と被写体の推定サイズとの一致度を評価し、許容範囲内の領域のみを残す処理を行う（高速化または被写体が重なり合って撮像された場合に対応するためにこの処理ステップは除外してもよい）。
【０１０７】
次に、ステップＳ２０８に進み、各領域の重心位置を中心とする初期化標準画像との類似度評価を行う。
【０１０８】
その後、ステップＳ２０９に進んで、被写体の有無判定を行う。上記被写体の有無判定は、類似度の評価値と所定のしきい値とを比較して行う。上記被写体の有無判定の結果、被写体が存在しない場合にはステップＳ２０４に戻り、また、被写体が存在する場合にはステップＳ２１０に進み、被写体の切り出しを行う。
【０１０９】
その後、ステップＳ２１１に進み、画像を出力する。例えば、与えられたカラー画像中に人物が存在するか否かを判定する場合には、照明光条件に応じた肌色を代表色とする色予測に基づく処理を行えばよい。本実施形態では、視線方向データに基づく被写体中心位置の推定を併用してもよいが、被写体中心位置が事前に分からなくても予測された色ベクトル（または色相ベクトル）範囲内にある領域が多数ない限り、処理の高速化を充分に達成できるものである。
【０１１０】
また、同一色成分範囲の領域が多数ある場合には、撮像時の倍率、被写体距離情報を用いて画像内サイズを推定することにより、同一色成分範囲を有する連結領域サイズとその推定値との差異が所定閾値より大きくなる領域を除去してもよい。このようにして、被写体の存在範囲を限定することにより、被写体の有無判定を高速に行うことや、あるいは被写体を抽出することが可能となる。
【０１１１】
なお、本実施形態では実写画像および標準画像をブロック分割して各ブロックごとに代表輝度、代表色成分を算出してモザイク調の画像を得てから一連の処理を行ってもよい。この場合は、処理時間の更なる短縮が可能である。
【０１１２】
次に、本発明の画像情報抽出装置の第４の実施形態を説明する。
図７は、本実施形態のおもな処理フローを示す。まず、ステップＳ３０１では、被写体カテゴリを入力する。
【０１１３】
次に、ステップＳ３０２では、標準輪郭線を抽出する。
次に、ステップＳ３０３では、視線方向、商店距離、または被写体距離等の撮像モードパラメータを入力する。
【０１１４】
次に、ステップＳ３０４では、標準輪郭線画像パラメータ（サイズ、中心位置）を設定する。
次に、ステップＳ３０５では、実写画像上の処理領域を設定する。
次に、ステップＳ３０６では、類似度を評価するための前処理を行う。上記前処理は、特徴要素（交差パターン、ラインセグメント、曲線要素）、特徴要素間対応付け、初期輪郭線設定等である。
【０１１５】
次のステップＳ３０７では動的輪郭処理を行い、ステップＳ３０８では収束後輪郭線像と標準輪郭線像との類似度評価を行う。
次に、ステップＳ３０９に進み、被写体の有無を判定する。上記判定の結果、被写体がない場合にはステップＳ３０４に戻り、上述した動作を繰り返し行う。
【０１１６】
また、ステップＳ３０９の判定の結果、被写体が有る場合には、ステップＳ３１０に進んで被写体の切り出しを行い。その後、ステップＳ３１１に進んで画像を出力する処理を行って一連の処理を終了する。
【０１１７】
上述したように、本実施形態では撮像モードパラメータに基づいて処理領域を限定する（限定の仕方は、上述した実施形態のいずれでもよい）。そして、上記限定した領域中の特徴要素としてＬ，Ｔ，Ｘ型等の交差、またはラインセグメント、曲線要素を検出する。
【０１１８】
これらの特徴要素のうち、Ｌ、Ｔ、Ｘ型等の交差パターンは、図８のパターン説明図に示すようなパターンであり、交差パターンの抽出法はDeriche,R. and Giraudon,G.(International Journal of Computer Vision,vol.10,pp.101-124,1993) 、Rohr,K. and Schnoerr,C.(Image and Vision Computing, vol.11,pp.273-277,1993) 、磯、志沢（電子情報通信学会技術報告、vol.IE92-125,PP.33-40,1993) 等に詳しく説明されている。
【０１１９】
また、曲線要素の抽出法としては、Koenderink,J. and Richards,W.(Jorunal of Optical Society of America vol.A-5,PP.1136-1141,1988)、Li,S.Z.(International Journal of Computer Vision,vol.5,pp.161-194,1990) 等に詳しく説明されている。
【０１２０】
次に、これらの特徴要素を第２の実施形態で扱った動的輪郭の制御点（固定点領域) とする。その際、初期輪郭のサイズは同様に撮像モードパラメータに基づいて設定すればよいが、位置については標準画像上の特徴要素と画像記憶手段から供給される画像の特徴要素とが一定許容範囲内でマッチングする（例えば、対応する特徴要素の種別が一致し、かつ要素間の距離が一定値以下である）ように位置合わせする。本実施形態は、被写体形状が鋭い角を有する場合、動的輪郭法を用いて正確かつ高速な切り出しを行うのに特に有効である。
【０１２１】
【発明の効果】
本発明は上述したように、本出願に係わる第１の発明、第２の発明の発明によれば、撮像手段が被写体を撮像したときの撮像モード情報に基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更された変更標準画像と、上記撮像手段から出力された画像との比較により、特定被写体の検出を行うので、上記特定被写体を高速に検出することができる。したがって、画像を高速に検索することができるようになるとともに、特定被写体を中心とした自動撮影を行うようにすることが可能となる。
【０１２２】
本出願に係わる第３の発明によれば、画像比較手段の出力に基づいて画像切り出し手段による画像の切り出しを行うようにしたので、特定被写体を高速に切り出すことができる。
【０１２３】
本出願に係わる第４の発明によれば、撮像時の合焦信号、上記撮像手段の焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出するようにしたので、上記抽出した情報に基づく被写体の有無判定を行うようにすることができ、既知の被写体が画像中に有るか否かの有無判定を高速に行うことができる。これにより、画像中に存在しうる被写体領域のサイズを適切に設定したり、被写体の有無判定に要する演算時間を大幅に削減することができる。
【０１２４】
本出願に係わる第５の発明によれば、撮像時の被写体距離または撮像手段の焦点距離パラメータに基づいて上記標準画像の被写体領域のサイズを設定するので、画像中に存在しうる被写体領域のサイズを適切に設定することができ、被写体の有無判定に要する演算時間を削減することができる。これにより、撮像時の被写体位置付近に限定して同被写体の有無判定処理を行うことができ、演算時間を更に削減することができる。
【０１２５】
本出願に係わる第６の発明によれば、撮像時の視線方向に基づいて上記撮像手段で生成される画像上の中心位置に対応して上記標準画像の被写体領域の中心位置を設定するようにしたので、画像データベースでの検索処理範囲を撮像時の被写体位置付近に限定して被写体の有無判定処理を行うことができ、被写体の有無判定に要する演算時間を大幅に削減することができる。
【０１２８】
本出願に係わる第９の発明によれば、標準画像の輪郭モデルとして動的輪郭を用い、かつ所定の評価関数に基づいて可変となるように制御するとともに、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズを正規化し、収束後の輪郭内画像と標準画像との類似度を算出するようにしたので、上記標準画像と実写画像とのサイズ、形状が異なる場合でも特定被写体の検出を安定して行うことが可能となる。
【０１２９】
本出願に係わる第１０の発明によれば、標準画像と撮像手段で生成される実写画像との類似値が所定の閾値より大きいときに画像データを出力するので、輪郭線内の画像切り出しにより、被写体画像を背景から分離抽出することを高速に、かつ自動的に行うことができ、信頼性の高い被写体抽出を高速に行うことができる。
【０１３０】
本出願に係わる第１１の発明によれば、動的輪郭が収束された後の輪郭線内の原画像データを出力するので、撮像情報を活用した信頼性の高い被写体抽出を高速に行うことができる。
【図面の簡単な説明】
【図１】本発明の画像情報抽出装置の要部構成を示す機能構成図である。
【図２】本発明の一実施形態を示すシステム構成図である。
【図３】画像データヘッダ部のフォーマット一例を示す図である。
【図４】第１の実施形態の処理を説明するためのフローチャートである。
【図５】第２の実施形態の処理を説明するためのフローチャートである。
【図６】第３の実施形態の処理を説明するためのフローチャートである。
【図７】第４の実施形態の処理を説明するためのフローチャートである。
【図８】第４の実施形態で抽出する特徴要素（交差パターン）の一例を示す図である。
【符号の説明】
１ 撮像手段
２ 結像光学系
３ センサ
４ レンズモータ駆動制御部
５ 撮像モード抽出手段
６ 画像記憶手段
７ ファインダ
８ 視線方向検出手段
９ 標準画像データベース
１０ 標準画像初期化手段
１１ 画像比較手段
１２ 端末
１３ 被写体画像領域切り出し手段
１４ 画像出力手段
Ａ 撮像手段
Ｂ 撮像モード抽出手段
Ｃ 撮像モード記憶手段
Ｄ 画像記憶手段
Ｅ 標準画像記憶手段
Ｆ 標準画像初期化手段
Ｇ 画像比較手段
Ｈ 画像切り出し手段
Ｉ 画像出力手段
Claims (10)
- 被写体を撮像して画像を生成する撮像手段と、
上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、
上記撮像手段が被写体を撮像するときの撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、
上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段から出力された画像とを比較する画像比較手段とを具備することを特徴とする画像情報抽出装置。 - 被写体を撮像して画像を生成する撮像手段と、
上記撮像手段が被写体を撮像するときの撮像モードを抽出する撮像モード抽出手段と、
上記撮像モード抽出手段によって抽出された撮像モードを記憶するための撮像モード記憶手段と、
上記撮像手段から出力される画像を記憶するための画像記憶手段と、
上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、
上記撮像モード抽出手段で抽出された撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、
上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段から出力された画像とを比較する画像比較手段とを具備することを特徴とする画像情報抽出装置。 - 被写体を撮像して画像を生成する撮像手段と、
上記撮像手段が被写体を撮像するときの撮像モードを抽出する撮像モード抽出手段と、
上記撮像モード抽出手段によって抽出された撮像モードを記憶するための撮像モード記憶手段と、
上記撮像手段から出力される画像を記憶するための画像記憶手段と、
上記撮像手段から出力される画像と比較する標準画像を記憶するための標準画像記憶手段と、
上記撮像モード抽出手段で抽出された撮像モードに基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更手段と、
上記標準画像変更手段によって変更された変更標準画像と、上記撮像手段により出力された画像とを比較する画像比較手段と、
上記画像比較手段の出力に基づいて画像を切り出す画像切り出し手段とを具備することを特徴とする画像情報抽出装置。 - 上記撮像モード抽出手段は、撮像時の合焦信号、上記撮像手段の焦点距離データ、撮像時の視線方向データおよび照明光条件のうち、少なくとも一つを抽出することを特徴とする請求項１〜３のいずれか１項に記載の画像情報抽出装置。
- 上記標準画像変更手段は、撮像時の被写体距離または上記撮像手段の焦点距離パラメータに基づいて上記標準画像の被写体領域のサイズを設定することを特徴とする請求項１〜３のいずれか１項に記載の画像情報抽出装置。
- 上記撮像モード抽出手段は視線方向データ抽出手段を有し、
上記標準画像変更手段は撮像時の視線方向に基づいて上記撮像手段で生成される画像上の中心位置に対応して上記標準画像の被写体領域の中心位置を設定することを特徴とする請求項１〜３のいずれか１項に記載の画像情報抽出装置。 - 上記画像比較手段は、上記標準画像の輪郭モデルとして動的輪郭を用い、輪郭画上の各節点の位置を上記撮像手段で生成される画像の輪郭線上の点に収束したときに最小値をとる所定の評価関数に基づいて可変するように制御した後、収束後の輪郭形状と標準画像の輪郭形状との相似度または輪郭サイズが標準画像と略等しくなるように画像サイズを正規化して収束した後の輪郭内画像と標準画像との類似度を算出すること特徴とする請求項１〜３のいずれか１項に記載の画像情報抽出装置。
- 上記画像比較手段は、上記標準画像と上記撮像手段で生成される画像との類似値が所定の閾値より大きいときに画像データを出力することを特徴とする請求項１〜３のいずれか１項に記載の画像情報抽出装置。
- 上記画像比較手段は、上記動的輪郭が収束された後の輪郭線内の原画像データを出力することを特徴とする請求項７に記載の画像情報抽出装置。
- 被写体を撮像して画像を生成する画像生成処理と、
上記画像生成処理を行って画像を生成するときの撮像状態を抽出する抽出処理と、
上記画像生成処理によって生成された画像と比較するための標準画像を記憶手段から読みだす標準画像読みだし処理と、
上記標準画像読みだし処理によって記憶手段から読みだされた標準画像を上記抽出処理により抽出された撮像状態に基づいて、上記標準画像に関する情報として設定されている被写体領域のサイズ、中心位置、輪郭線データ、色成分のいずれかに関する情報のうち、少なくとも一部の情報の設定を変更して上記標準画像を変更する標準画像変更処理と、
上記標準画像変更処理によって変更された変更標準画像と、上記画像生成処理によって生成された画像とを比較する画像比較処理とを行って特定被写体を探索するようにしたことを特徴とする画像情報抽出方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28536295A JP3774495B2 (ja) | 1995-11-01 | 1995-11-01 | 画像情報抽出装置および方法 |
| DE69635101T DE69635101T2 (de) | 1995-11-01 | 1996-10-31 | Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät |
| US08/742,206 US6636635B2 (en) | 1995-11-01 | 1996-10-31 | Object extraction method, and image sensing apparatus using the method |
| EP96117530A EP0774730B1 (en) | 1995-11-01 | 1996-10-31 | Object extraction method, and image sensing apparatus using the method |
| US10/678,255 US6993184B2 (en) | 1995-11-01 | 2003-10-06 | Object extraction method, and image sensing apparatus using the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28536295A JP3774495B2 (ja) | 1995-11-01 | 1995-11-01 | 画像情報抽出装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09130714A JPH09130714A (ja) | 1997-05-16 |
| JP3774495B2 true JP3774495B2 (ja) | 2006-05-17 |
Family
ID=17690584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28536295A Expired - Fee Related JP3774495B2 (ja) | 1995-11-01 | 1995-11-01 | 画像情報抽出装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3774495B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4406978B2 (ja) * | 1999-11-10 | 2010-02-03 | 株式会社安川電機 | テンプレートマッチング方法 |
| US7945938B2 (en) | 2005-05-11 | 2011-05-17 | Canon Kabushiki Kaisha | Network camera system and control method therefore |
| DE602006009191D1 (de) | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
| JP4764273B2 (ja) | 2006-06-30 | 2011-08-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
| JP2008028886A (ja) * | 2006-07-25 | 2008-02-07 | Seiko Epson Corp | 画像処理装置およびぼやけ検出方法 |
| JP2009141475A (ja) | 2007-12-04 | 2009-06-25 | Nikon Corp | カメラ |
| JP4900401B2 (ja) | 2008-05-16 | 2012-03-21 | カシオ計算機株式会社 | 撮影装置およびプログラム |
| JP5746937B2 (ja) * | 2011-09-01 | 2015-07-08 | ルネサスエレクトロニクス株式会社 | オブジェクト追跡装置 |
| JP6375920B2 (ja) * | 2014-12-11 | 2018-08-22 | 富士通株式会社 | ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム |
| CN116087217B (zh) * | 2023-04-10 | 2023-06-30 | 湖北工业大学 | 基于机器视觉的工业流水线动态质量检测模块及方法 |
-
1995
- 1995-11-01 JP JP28536295A patent/JP3774495B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09130714A (ja) | 1997-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6636635B2 (en) | Object extraction method, and image sensing apparatus using the method | |
| EP0932114B1 (en) | A method of and apparatus for detecting a face-like region | |
| US6658136B1 (en) | System and process for locating and tracking a person or object in a scene using a series of range images | |
| US9092662B2 (en) | Pattern recognition method and pattern recognition apparatus | |
| JP3151284B2 (ja) | 標識認識のための突極部輪郭等級付け抽出装置並びに方法 | |
| US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
| US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| US20110025834A1 (en) | Method and apparatus of identifying human body posture | |
| GB2343945A (en) | Photographing or recognising a face | |
| JP2000132688A (ja) | 顔パーツ検出方法及びその装置 | |
| KR20100124738A (ko) | 입력 화상을 처리하는 기계 구현 방법, 입력 화상을 처리하는 장치 및 컴퓨터 판독가능 매체 | |
| JP3774495B2 (ja) | 画像情報抽出装置および方法 | |
| JP2007067559A (ja) | 画像処理方法、画像処理装置、及び撮像装置の制御方法 | |
| Loutas et al. | Probabilistic multiple face detection and tracking using entropy measures | |
| JP2002366963A (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
| JPH1021408A (ja) | 画像抽出装置および方法 | |
| JPH11306348A (ja) | 対象物検出装置及び対象物検出方法 | |
| JP2002342758A (ja) | 視覚認識システム | |
| Marqués et al. | A morphological approach for segmentation and tracking of human faces | |
| JPH08329110A (ja) | 画像処理方法 | |
| JP2001119622A (ja) | 撮像装置及びその制御方法 | |
| JP4789526B2 (ja) | 画像処理装置、画像処理方法 | |
| JPH05297152A (ja) | 物体認識装置 | |
| JPH09327037A (ja) | 輪郭抽出方法及び画像抽出方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140224 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |