JP4054158B2 - 動き物体オブジェクトの形状抽出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、任意形状を有するオブジェクト毎に画像処理を行う装置に係り、特に、動画像から動き物体オブジェクトの形状を抽出する装置に関する。
【０００２】
【従来の技術】
従来、任意形状を有するオブジェクト毎に画像処理を行って動き物体オブジェクトの形状を抽出する装置は、抽出対象（オブジェクト）や入力動画像の条件を非常に狭い範囲に制限していた。
【０００３】
【発明が解決しようとする課題】
一例として、走行中の車のナンバープレートを抽出し、更にそのナンバープレート上の文字を抽出する装置は、抽出対象が車のナンバープレートとその文字に限定している。また、抽出装置を構成するカメラやセンサーは、道路上に固定して設置されており、そのため車の進行方向（すなわち、ナンバープレートの位置や移動方向）も必然的に制限される。さらに、ナンバープレートの大きさ、形状、色は統一されているため、カメラで撮影された画像の条件は、極めて制限されることになる。
【０００４】
別の例として、固定の監視カメラから入力とする画像データを取り込み、動き物体を抽出する装置は、背景の静止した状態の映像と異なる部分を動いている部分として認識していた。この装置も入力画像が極めて制限されている。
さらに、別の例としてクロマキー装置では、背景色を青一色とし、青色でない部分を前景の物体として抽出している。この場合も、抽出する物体は青色でないというように、入力画像の条件を単一に制限している。
【０００５】
本発明の目的は、従来のオブジェクト抽出装置が、抽出対象を狭い条件で入力画像制限していたため、それらの条件からはずれた画像からはオブジェクトの形状を抽出できなかったのに対し、これらの問題点を解決し、汎用性の高い動画像オブジェクトの形状抽出装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明動き物体オブジェクトの形状抽出装置は、動画像から動き物体オブジェクトの形状を抽出する装置において、入力動画像から特徴量を抽出する特徴量抽出部と、前記入力動画像と前記特徴量とが供給され、これらに対してあらかじめ登録されている複数のオブジェクト抽出アルゴリズムを使用して動き物体オブジェクトの形状を抽出するオブジェクト形状抽出部と、学習動作において、前記オブジェクト形状抽出部で抽出した動き物体オブジェクトの形状と既知のオブジェクトの形状とを比較して、使用したオブジェクト抽出アルゴリズム毎に評価値を出力する評価部と、前記特徴量、前記使用したオブジェクト抽出アルゴリズムおよび前記評価値間の相互関係をルールベース化したデータとして出力し、実行動作において、入力動画像の特徴量に対応させて選択したオブジェクト抽出アルゴリズムが取り出されるようにするとともに、学習、実行両動作において、オブジェクト抽出アルゴリズムを前記オブジェクト形状抽出部に供給する推論部と、前記特徴量、前記使用したオブジェクト抽出アルゴリズムおよび前記評価値の複数の組をデータベース化したデータと、それら各組毎に前記ルールベース化したデータとが登録され、学習動作および実行動作において前記推論部によって選択的に読み出されるように構成されている知識ベースとを少なくとも具えてなることを特徴とするものである。
【０００８】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明は、上述したように、動画像から動き物体オブジェクトの形状を抽出する方法と装置に関するものであるが、なかでもその方法は、入力動画像の特徴量を既に学習済みの知識ベースの特徴量に適合させることにより、あらかじめ登録されている複数のオブジェクト抽出アルゴリズムの中から上記入力動画像から動き物体オブジェクトの形状を抽出するのに最も適した１つのオブジェクト抽出アルゴリズムを選択し、その選択した１つのオブジェクト抽出アルゴリズムを用いて動き物体オブジェクトの形状を正確に抽出し得るようにしたものである。
【０００９】
すなわち、本発明においては、動き物体オブジェクトの形状を抽出しようとする動画像からそのオブジェクトの形状を抽出するのに先立って、まず、動画像中に含まれる動き物体オブジェクトの形状が既知であるテスト画像を入力して充分に学習させ（以下、学習動作という）、任意の動き物体オブジェクトの形状抽出に際してその形状抽出に最も適したオブジェクト抽出アルゴリズムが選択されるようにしたうえで、目的とする動き物体オブジェクトの形状抽出を行う（以下、実行動作という）ようにする。
【００１０】
図１は、本発明による動き物体オブジェクトの形状抽出装置の一実施形態をブロック図にて示している。
図１において、１は特徴抽出部、２は推論部、３はオブジェクト形状抽出部、４は評価部および５は知識ベースである。
【００１１】
まず、図１に示す本発明装置をして、上述した学習動作を行わせる場合について説明する。
この場合、テスト画像（入力動画像の動き物体オブジェクトの形状が既知である画像）を用いて、装置にあらかじめ登録されている複数のオブジェクト抽出アルゴリズムを用いて順次抽出した複数の動き物体オブジェクトの形状と上記既知のオブジェクトの形状との比較結果である評価値との関係について学習する。
【００１２】
図１に示す装置の各部動作を詳細に説明する。
なお、ここでの説明は、いずれも学習動作時における動作に関してのみとする（実行動作時における動作は後述する）。
特徴量抽出部１においては、テスト画像と、そのテスト画像に連動したメタデータと明示データとを入力データとする。ここで、テスト画像は必ず入力データとして必要であるが、メタデータや明示データは必ずしも必要ない。特徴量抽出部１では、メタデータや明示データがある場合にはそれらメタデータや明示データを参照してテスト画像の特徴量を抽出し、メタデータや明示データがない場合にはテスト画像のみから同画像の特徴量を抽出する。
ここに、画像の特徴量とは、上記特徴量抽出部１での処理をフローチャートにて示す図２によって示されるように、動きベクトル、同ベクトルの分布、同ベクトルの軌跡、奥行き情報、カメラ動作データ、エッジ（画像の）、空間周波数、色分布、動き領域およびオブジェクト抽出領域などである。
【００１３】
上記においてメタデータとは、一般に物理量として測定可能なデータで、例えば、カメラの操作データに関しては、パンニング角度の時間変化量、チルト角度の時間変化量、ズーム角度（焦点距離）の時間変化量、アイリス値の時間変化量、トラック方向の移動距離の時間変化量、ドリー方向の移動距離の時間変化量、およびリフト方向の移動距離の時間変化量があり、距離データに関しては画素毎の被写体までの距離の時間変化量があり、また、照明データに関しては照明輝度の時間変化量がある。
【００１４】
また、上記において明示データとは、幾つかある抽出アルゴリズムのうち、特定の抽出アルゴリズムが選択されるようなデータや、抽出精度を上げるために、人が意図的に、おおよその抽出領域を指定するデータで、例えば、抽出対象のオブジェクトの形状情報に関しては抽出対象が商標やロゴマーク等であり、あらかじめ、形状情報が既知である場合である。また、シーンの先頭あるいは末尾の画像における抽出対象のオブジェクトの形状情報に関しては、シーンのある１枚の画像に対して、手動あるいは自動で抽出対象の形状を指定し、時間的に連続する画像に対して、自動で抽出対象の移動、変形に対応して抽出する場合である。指定した形状が曖昧な場合は、抽出対象の形状にマッチするように、指定した曖昧な形状を修正する機能を含んでいる。さらに、抽出対象、被抽出対象の指定情報に関しては、抽出対象（人、顔、車）を指定する場合、抽出対象が特化している抽出アルゴリズムが、優先的に選択されるように、抽出対象の情報を指定し、抽出して欲しくない対象を指定する場合、海、川の水面、人、車などの抽出して欲しくない対象を指定するなどである。
【００１５】
図３は、図２において、特徴量の１つである動きベクトルを抽出するためのアルゴリズムの一例を示している。同図に示すように、動きベクトルは、
（ａ）ブロックマッチング法により画面全体の動きベクトルを求め、
（ｂ）画面の周辺部と中央部の動きベクトルのヒストグラムを求め、
（ｃ）周辺部のグローバル・ベクトルと中央部のグローバル・ベクトルが、それぞれの領域でより支配的になるように周辺部と中央部の境界を変形し、そして
（ｄ）周辺部のグローバル・ベクトルと中央部のグローバル・ベクトルを求めるの手順を踏んで抽出される。
なお、図３において、Ｓ−１からＳ−４までの各ステップはそれぞれ上記（ａ）から（ｄ）までの各処理を示している。
【００１６】
次に、オブジェクト形状抽出部３においては、図１に示す知識ベース５（後述する）に登録されている複数のオブジェクト抽出アルゴリズムを用いて、入力動画像（テスト画像）と上述の特徴抽出部１で抽出された特徴量とからテスト画像の動き物体オブジェクトの形状を抽出する。オブジェクト形状抽出部３が同時に複数のオブジェクト抽出アルゴリズムを用いてオブジェクトの形状を抽出できるものでない場合には、ある１つのオブジェクト抽出アルゴリズムを用いてテスト画像のオブジェクトの形状を抽出したのち、次のオブジェクト抽出アルゴリズムを用いて同じテスト画像のオブジェクトの形状を抽出するというように、順次オブジェクトの形状抽出を繰り返し、最終的に、すべてのオブジェクト抽出アルゴリズムを使用して、それらそれぞれについてのオブジェクトの形状が抽出されるようにする。
【００１７】
オブジェクト形状抽出部３におけるオブジェクトの形状抽出は、いま、推論部２（図１参照）から供給されたオブジェクト抽出アルゴリズム、例えば、フレーム間差分を用いた前景抽出アルゴリズムを使用した場合を例として説明すると、これは、図４に示すように、ステップＳ−１で連続するフレーム間の輝度信号、色信号の差分を計算し、ステップＳ−２で差分が０のところを背景領域、差分が０でないところを前景領域とし、ステップＳ−３で領域拡大、縮小、及びエッジ情報をもとに前景領域、背景領域の整形を行い、ステップＳ−４で前景オブジェクト、背景オブジェクトを出力するというアルゴリズムに従って行われる。
【００１８】
以上により得られたテスト画像の動き物体オブジェクトの形状は、使用されたオブジェクト抽出アルゴリズムに対応させて評価部４に供給される。
評価部４においては、各オブジェクト抽出アルゴリズムを用いて抽出されたテスト画像の動き物体オブジェクトの形状と既知の形状とを比較して、形状の正確さを評価する。換言すれば、各オブジェクト抽出アルゴリズ毎に抽出したオブジェクトの形状と既知のオブジェクトの形状との一致度を評価する。
【００１９】
図５および図６は、評価部４での処理のフローチャートおよび評価アルゴリズムの一例をそれぞれ示している。
図５において、評価部４での処理は、まず、ステップＳ−１およびＳ−１′にて各オブジェクト抽出アルゴリズムで抽出されたオブジェクトの形状および既知のオブジェクトの形状をそれぞれ取得し、ステップＳ−２でそれら取得したオブジェクトの形状間の一致度を求め、ステップＳ−３で使用した各オブジェクト抽出アルゴリズム毎に抽出したオブジェクトの形状と既知のオブジェクトの形状との一致の程度を評価するという処理の流れで行われる。
【００２０】
また、図６において、評価部４の評価アルゴリズムの一例は、ステップＳ−１、Ｓ−１′にて、それぞれｎ番目のオブジェクト抽出アルゴリズムで抽出されたオブジェクトの形状をＢｎ、既知のオブジェクトの形状をＡとし、ステップＳ−２で差の絶対値Ｓｎ＝｜Ａ−Ｂｎ｜を求め、ステップＳ−３で全てのｎに対してＳｎを求めるというものである。
【００２１】
評価部４による評価結果（評価値）は推論部２と知識ベース５（いずれも、図１参照）に供給される。
知識ベース５においては、特徴量とオブジェクト抽出アルゴリズムとそのオブジェクト抽出アルゴリズムを用いて抽出した動き物体オブジェクトの形状の評価値とを対応づけてデータベース（事象事実としての知識）化して登録する。
【００２２】
一方、推論部２においては、特徴量抽出部１から供給される特徴量、および知識ベース５から供給されるオブジェクト抽出アルゴリズムと同じく知識ベース５から供給される使用したオブジェクト抽出アルゴリズムによる抽出結果の評価値を入力として、それら相互間の関係をルールベース（ルールとしての知識）化し、知識ベース５に登録する。
【００２３】
このように、推論部２は各入力相互間の関係をルールベース化する機能を有するが、以下に具体例をあげて説明する。
推論部２がどのような推論を行うかは、どのような知識表現を用いるかによって決まり、また、知識表現は、事象事実（データベース）をどのように扱うかによって決まる。本発明においては、事象事実はテスト画像を用いたときの学習した画像の特徴量と、各抽出アルゴリズム毎の評価値である。事象事実の蓄積に関して、蓄積された事象事実をどのような知識表現で表すかについて、以下に簡単な例を２つあげて説明する。
【００２４】
例１．
特徴量を１つと仮定する場合、ある抽出アルゴリズムｎで学習すると図７（ａ），（ｂ）に示すような評価値Ｅｎと画像の特徴量ｘの空間が得られる。（事象事実の蓄積、すなわち学習）。重回帰分析等の手法により、例えば、知識表現で１次元モデルの
Ｅｎ＝Ａｎｘ＋Ｂｎ
を仮定すると、学習により、Ｅｎを最大にするＡｎ，Ｂｎを求めることができる。
同様に、別の抽出アルゴリズムｍにおいても
Ｅｍ＝Ａｍｘ＋Ｂｍ
のように表されるＡｍ，Ｂｍが得られる。これらの式から求められたＡ，Ｂがルールベースとなる。ここで、モデルとＡ，Ｂを求める過程がルールの学習となる。
この場合の実行動作の推論は、新たに入力された画像の特徴量ｘ′と学習済みのＡｎ，Ｂｎ，Ａｍ，Ｂｍとを上記の式に代入して評価値Ｅｎ′，Ｅｍ′を求め、その大小関係を調べ、評価値が大きい方の抽出アルゴリズムを選択する（評価値が大きい方の抽出アルゴリズムを用いると良好な結果が得られるという意味）。
【００２５】
しかし、実際には、特徴量が複数あるためモデルは複雑になるが、推論のアルゴリズムは同じである。ここでは特徴量が２つの場合について説明する。
例２．
本例は、特徴量が２つ、かつ抽出アルゴリズムが２つの場合である。
いま、画像の特徴量をｘ，ｙ、抽出アルゴリズムをｎ，ｍで表す。また、入力画像の特徴量が（ｘ，ｙ）であるとき、各抽出アルゴリズムの抽出結果の評価値が、Ｅｎ（ｘ，ｙ）とＥｍ（ｘ，ｙ）であるとする。評価値Ｅｎ（ｘ，ｙ）と評価値Ｅｍ（ｘ，ｙ）の大小関係を調べ、大きい方を選ぶ。ｘとｙの特徴量空間に、抽出アルゴリズムｎの評価値Ｅｎ（ｘ，ｙ）が他の抽出アルゴリズムｍの評価値Ｅｍ（ｘ，ｙ）より大きい点には●をプロットする。逆に、評価値Ｅｍ（ｘ，ｙ）が評価値Ｅｎ（ｘ，ｙ）より大きい点には□をプロットすると、図８に示すような特徴量空間が得られる（事象事実の蓄積、学習）。
【００２６】
次に、ｘ，ｙ空間を２つの抽出アルゴリズムに対応する領域（対応する領域では、その抽出アルゴリズムを用いると良好な結果が得られるという意味）に分割する関数を求める。
分割する関数（識別関数）が知識表現となる。幾つかの例をあげると、最大慣性主軸、ｎ次曲線、複数の直線による分割、各サンプル群の重心からの等距離分割など種々考えられるが、いづれを選択するかは、学習結果（事象事実の蓄積）による。この場合、識別関数を求める過程がルールの学習となる。
【００２７】
この場合の推論は、新たに入力された画像の特徴量ｘ′，ｙ′がｘ，ｙ特徴量空間において、ｎ，ｍのいずれの領域に属するかを識別関数にｘ′，ｙ′の値を代入して判定するのみである。そして、ｘ′，ｙ′が含まれた方の抽出アルゴリズムを選択するだけである。
実際には、特徴量は複数ある（多次元となる）ので、識別関数は超平面や確率密度関数となる。
【００２８】
図９および図１０は、推論部２（図１参照）での処理のフローチャートおよび動作アルゴリズムの一例をそれぞれ示している。なお、図示の処理のフローチャートおよび動作アルゴリズムは、上述した例１．や例２によって説明された各ケースにあてはめると理解し易い。
図９において、推論部２での処理は、まず、ステップＳ−１で特徴量抽出部１（図１参照）から特徴量を取得し、ステップＳ−２でその取得した特徴量の特徴量空間での位置を求め、ステップＳ−３で、知識ベース５（図１参照）に登録されている上述のデータベースとの間でデータの授受を行いながら、ステップＳ−３で求めた位置がどのオブジェクト抽出アルゴリズムの特徴量空間に属するかを推論する。
【００２９】
これは、上記において求めた特徴量の特徴量空間位置を、各オブジェクト抽出アルゴリズムを識別する識別関数に代入して出力することで行われる（ステップＳ−４）。ステップＳ−５は、推論結果としてのオブジェクト抽出アルゴリズムを知識ベース５（図１参照）に出力してルールベース化するという処理の流れで行われる。
【００３０】
また、図１０において、推論部４（図１参照）の推論のアルゴリズムは、ステップＳ−１で抽出された特徴量空間での位置を求め、ステップＳ−２でその求めた空間での位置を各オブジェクト抽出アルゴリズムを識別する識別関数に代入し、ステップＳ−３で、識別関数の出力の形態で該当するオブジェクト抽出アルゴリズムを識別ベース５（図１参照）に出力するというものである。
【００３１】
また、図１において推論部２は、オブジェクト形状抽出部３が動作するための動き物体抽出アルゴリズムを、知識ベース５から順次に取り出して当該抽出部３に供給する役目も有している。
【００３２】
以上説明した学習動作を整理すると、以下のようになる。
すなわち、まず、テスト画像からその特徴量の抽出を行い、装置に登録されているすべてのオブジェクト抽出アルゴリズムを用いて、動き物体オブジェクトを抽出する。そして、抽出された動き物体オブジェクトの形状と既知の動き物体オブジェクトの形状とを比較し、抽出した動き物体オブジェクトの形状の正確さを評価し、オブジェクト抽出アルゴリズム毎の抽出結果の評価値を得る。
【００３３】
次に、抽出された特徴量とオブジェクト抽出アルゴリズムと、抽出した動き物体オブジェクトの形状と既知の動き物体オブジェクトの形状との比較で得られた評価値との組み合わせをデータベース化（事象事実としての知識）し、また、特徴量とオブジェクト抽出アルゴリズムとそのオブジェクト抽出アルゴリズムによる抽出結果の評価値との関係（ルールとしての知識）をルールベース化とする。例えば、それらの関係として、特徴量を入力とし、評価値を出力とする関係式や、特徴量空間内のサンプル点を、評価値が最大となるオブジェクト抽出アルゴリズム毎にラベリングを行い、特徴量空間をオブジェクト抽出アルゴリズム毎に分割し、オブジェクト抽出アルゴリズム毎の領域、あるいは領域を区別する識別関数（ルールとしての知識）を求める。
表１に、上記求められたルールベースの一例を示している。
【００３４】
【表１】

【００３５】
以上の学習動作が終了した後に、実際に任意の動画像を入力して、動画像に含まれる動き物体オブジェクトの形状抽出（実行動作）が可能となる。これにつき説明する。
実行動作では、まず、特徴量抽出部１で入力画像の特徴量を求め、次に、その求めた特徴量を学習済みのルールベースに適合させ、ルールベースのルールに従って、入力動画像に最も適するオブジェクト抽出アルゴリズム（最も正確に動き物体の形状を抽出すると推測されるオブジェクト抽出アルゴリズム）を推測し、その最も適すると推測されたオブジェクト抽出アルゴリズムを用いて、オブジェクト形状抽出部３において動き物体オブジェクトの形状を抽出する。
【００３６】
【発明の効果】
本発明によれば、入力される動画像の条件が制限されないため、汎用的なオブジェクトベース符号化装置（例えば、ＭＰＥＧ−４対応符号化装置）を実現することができる。
また、本発明によれば、ＭＰＥＧ−２対応の符号化装置と比較してオブジェクト（例えば動き物体）毎に符号化を行うことができるため、オブジェクトの形状の輪郭付近で、符号化対象領域に異なる動きやエッジがなくなり、画質劣化（モスキートノイズ）が生じなくなる。その結果、復号画像の画質を向上させ、かつ符号化効率を向上させることができる。
さらに、本発明によれば、動画像データベースへの入力データに対して、自動インデキシングが可能となり、従って、画像認識装置においてオブジェクトの形状が分かるため、認識率を改善することができる。
【図面の簡単な説明】
【図１】 本発明による動き物体オブジェクトの形状抽出装置の一実施形態をブロック図にて示している。
【図２】 特徴量抽出部での処理をフローチャートにて示している。
【図３】 動きベクトルを抽出するためのアルゴリズムの一例を示している。
【図４】 オブジェクトの形状抽出のためのアルゴリズムを示している。
【図５】 評価部での処理をフローチャートにて示している。
【図６】 評価部の評価アルゴリズムの一例を示している。
【図７】 事象事実の蓄積（学習）に関して、蓄積された事象事実をどのような知識表現で表すかについての一例（例１．）を示している。
【図８】 事象事実の蓄積（学習）に関して、蓄積された事象事実をどのような知識表現で表すかについての他の例（例２．）を示している。
【図９】 推論部での処理をフローチャートにて示している。
【図１０】 推論部の動作アルゴリズムの一例を示している。
【符号の説明】
１ 特徴量抽出部
２ 推論部
３ オブジェクト形状抽出部
４ 評価部
５ 知識ベース

Claims (1)

1. 動画像から動き物体オブジェクトの形状を抽出する装置において、
   入力動画像から特徴量を抽出する特徴量抽出部と、
   前記入力動画像と前記特徴量とが供給され、これらに対してあらかじめ登録されている複数のオブジェクト抽出アルゴリズムを使用して動き物体オブジェクトの形状を抽出するオブジェクト形状抽出部と、
   学習動作において、前記オブジェクト形状抽出部で抽出した動き物体オブジェクトの形状と既知のオブジェクトの形状とを比較して、使用したオブジェクト抽出アルゴリズム毎に評価値を出力する評価部と、
   前記特徴量、前記使用したオブジェクト抽出アルゴリズムおよび前記評価値間の相互関係をルールベース化したデータとして出力し、実行動作において、入力動画像の特徴量に対応させて選択したオブジェクト抽出アルゴリズムが取り出されるようにするとともに、学習、実行両動作において、オブジェクト抽出アルゴリズムを前記オブジェクト形状抽出部に供給する推論部と、
   前記特徴量、前記使用したオブジェクト抽出アルゴリズムおよび前記評価値の複数の組をデータベース化したデータと、それら各組毎に前記ルールベース化したデータとが登録され、学習動作および実行動作において前記推論部によって選択的に読み出されるように構成されている知識ベースと
   を少なくとも具えてなることを特徴とする動き物体オブジェクトの形状抽出装置。

Images