JP4187904B2 - 動き物体の形状抽出方法と装置 - Google Patents
動き物体の形状抽出方法と装置 Download PDFInfo
- Publication number
- JP4187904B2 JP4187904B2 JP2000137303A JP2000137303A JP4187904B2 JP 4187904 B2 JP4187904 B2 JP 4187904B2 JP 2000137303 A JP2000137303 A JP 2000137303A JP 2000137303 A JP2000137303 A JP 2000137303A JP 4187904 B2 JP4187904 B2 JP 4187904B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image
- feature amount
- shape
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、任意形状を有するオブジェクト毎に画像処理を行う装置に係り、特に、動画像から動き物体の形状を抽出する方法と装置に関する。
【０００２】
【従来の技術】
従来、任意形状を有するオブジェクト毎に画像処理を行って動き物体オブジェクトの形状を抽出する装置は、抽出対象（オブジェクト）や入力動画像の条件を非常に狭い範囲に制限していた。
【０００３】
【発明が解決しようとする課題】
一例として、走行中の車のナンバープレートを抽出し、更にそのナンバープレート上の文字を抽出する装置は、抽出対象が車のナンバープレートとその文字に限定している。また、抽出装置を構成するカメラやセンサーは、道路上に固定して設置されており、そのため車の進行方向（すなわち、ナンバープレートの位置や移動方向）も必然的に制限される。さらに、ナンバープレートの大きさ、形状、色は統一されているため、カメラで撮影された画像の条件は、極めて制限されることになる。
【０００４】
別の例として、固定の監視カメラから入力とする画像データを取り込み、動き物体を抽出する装置は、背景の静止した状態の映像と異なる部分を動いている部分として認識していた。この装置も入力画像が極めて制限されている。
さらに、別の例としてクロマキー装置では、背景色を青一色とし、青色でない部分を前景の物体として抽出している。この場合も、抽出する物体は青色でないというように、入力画像の条件を単一に制限している。
【０００５】
本発明の目的は、従来のオブジェクト抽出装置が、抽出対象を狭い条件で入力画像制限していたため、それらの条件からはずれた画像からはオブジェクトの形状を抽出できなかったのに対し、これらの問題点を解決し、汎用性の高い動画像オブジェクトの形状抽出方法と装置を提供することにある。
【０００７】
【課題を解決するための手段】
また、本発明動き物体の形状抽出装置は、動画像から動き物体の形状を抽出する装置において、入力動画像から特徴量を抽出する特徴量抽出部と、前記入力動画像の特徴量を、動画モデルの特徴量を記述したデータベースの特徴量に適合させ、特徴量から動画モデルを類推するルールが記述された知識ベースに従って前記入力動画像の動画モデルを推論する推論部と、前記入力動画像から、該入力動画像の動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを使用して動き物体の形状を抽出する動き物体抽出部と、入力画像の動画モデルが既知の動き画像から抽出した画像の特徴量と既知の動画モデルの特徴量との一致度を評価し、そして入力画像の動き物体の形状が既知の動画像から前記オブジェクト抽出アルゴリズムにより抽出した動き物体の形状と、入力画像の動き物体の形状が既知の動画像が有する既知の形状との一致度を評価し、評価値を出力する評価部と、入力画像の動画モデルが既知の動画像から抽出した画像の特徴量と既知の動画モデルの特徴量との一致度に基づく学習によって内容が変更される知識ベースとを具え、前記評価部は、当該一致度の評価に際し、入力される学習用画像の動画モデルが曖昧なため特定できない場合で、かつ、学習用画像のオブジェクト形状が既知の場合には、各オブジェクト抽出アルゴリズムで抽出した形状と学習用画像の既知の形状との一致度を比較して、最も一致するオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その求めた動画モデルの特徴量空間に学習用入力画像の特徴量が入るように、前記知識ベース内の該当する特徴量空間を変更するとともに、当該一致度の評価に際し、入力される学習用画像の動画モデルが曖昧で特定できない場合で、かつ、学習用画像のオブジェクト形状が不明である場合には、各オブジェクト抽出アルゴリズムで抽出した形状を用いてオブジェクトベース符号化を行い、その符号化効率を比較して、最も符号化効率の良い形状を抽出したオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その動画モデルの特徴量空間に学習用画像の特徴量が入るように、前記知識ベース内の該当する特徴量空間を変更することを特徴とするものである。
【０００８】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明は、上述したように、動画像から動き物体の形状を抽出する方法と装置に関するものであるが、なかでもその方法は、入力動画像の特徴量を既に学習済みのデータベースの特徴量に適合させることにより、特徴量から動画モデルを類推するルールが記述された学習済みの知識ベースに従って、データベースとしてあらかじめ登録されている複数の動画モデルの中から入力画像に最も合致した動画モデルを選択し、該選択した動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを使用して動き物体の形状を正確に抽出し得るようにしたものである。
【０００９】
すなわち、本発明においては、動き物体の形状を抽出しようとする動画像からその動き物体の形状を抽出するのに先立って、まず、入力された動画像の動画モデルが既知である学習用画像を入力して画像の特徴量と動画モデルとの関係について充分に学習させ（以下、学習動作という）、任意の動き物体の形状抽出に際してその形状抽出に最も適したオブジェクト抽出アルゴリズムが選択されるようにしたうえで、目的とする動き物体の形状抽出を行う（以下、実行動作という）ようにする。
【００１０】
図１は、本発明による動き物体の形状抽出装置の一実施形態をブロック図にて示している。
図１において、１は特徴抽出部、２は推論部、３は動き物体抽出部、４は評価部、および５は知識ベースである。
【００１１】
まず、図１に示す本発明装置によって、上述した学習動作を行わせる場合について説明する。
この場合、学習用画像を用いて、装置にあらかじめ登録されている複数のオブジェクト抽出アルゴリズムを用いて順次抽出した複数の動き物体の形状と上記既知の物体の形状との比較結果である評価値との関係について学習する。
【００１２】
図１に示す装置の各部動作を詳細に説明する。
なお、ここでの説明は、いずれも学習動作時における動作に関してのみとする（実行動作時における動作は後述する）。
特徴量抽出部１においては、学習用画像と、その学習用画像に連動したメタデータと明示データとを入力データとする。ここで、学習用画像は必ず入力データとして必要であるが、メタデータと明示データは必ずしも必要ない。特徴量抽出部１では、メタデータと明示データがある場合にはそれらメタデータや明示データを参照して学習用画像の特徴量と統計量と統計的性質（以下では、まとめて特徴量と表現する）を抽出し、メタデータと明示データがない場合には学習用画像のみから同画像の特徴量を抽出し、抽出した特徴量を学習用画像の動画モデルと対応づけてデータベースに格納する。
ここに、画像の特徴量とは、特徴量抽出部１での処理をフローチャートにて示す図２によって示されるように、動きベクトル、同ベクトルの分布、同ベクトルの軌跡、奥行き情報、カメラ動作データ、エッジ（画像の）、空間周波数、色分布、動き領域、およびオブジェクト抽出領域などである。
【００１３】
また、特徴量抽出部１では、学習用画像の特徴量をデータベースに事象事実として、学習用画像の特徴量と学習用画像の動画モデルとを対応づけて保存するものとする。
【００１４】
上記においてメタデータとは、一般に物理量として測定可能なデータで、例えば、カメラの操作データに関しては、パンニング角度の時間変化量、チルト角度の時間変化量、ズーム角度（焦点距離）の時間変化量、アイリス値の時間変化量、トラック方向の移動距離の時間変化量、ドリー方向の移動距離の時間変化量、およびリフト方向の移動距離の時間変化量があり、距離データに関しては画素毎の被写体までの距離の時間変化量があり、また、照明データに関しては照明輝度の時間変化量がある。
【００１５】
また、上記において明示データとは、幾つかある抽出アルゴリズムのうち、特定の抽出アルゴリズムが選択されるようなデータや、抽出精度を上げるために、人が意図的に、おおよその抽出領域を指定するデータで、例えば、抽出対象の動き物体の形状情報に関しては抽出対象が商標やロゴマーク等であり、あらかじめ、形状情報が既知である場合である。また、シーンの先頭あるいは末尾の１枚の画像に対して、手動あるいは自動で抽出対象の形状を指定し、時間的に連続する画像に対して、自動で抽出対象の移動、変形に対応して抽出する場合である。指定した形状が曖昧な場合は、抽出対象の形状にマッチするように、指定した曖昧な形状を修正する機能を含んでいる。さらに、抽出対象、被抽出対象の指定情報に関しては、抽出対象（人、顔、車）を指定する場合、抽出対象が特化している抽出アルゴリズムが、優先的に選択されるように、抽出対象の情報を指定し、抽出して欲しくない対象を指定する場合、海、川の水面、人、車などの抽出して欲しくない対象を指定するなどである。
【００１６】
図３は、図２において、特徴量の１つである動きベクトルを抽出するためのアルゴリズムの一例を示している。同図に示すように、動きベクトルを抽出するには、まず、ブロックマッチング法により画面全体の動きベクトルを求め（ステップＳ−１）、以下順次に、画面の周辺部と中央部の動きベクトルのヒストグラムを求め（ステップＳ−２）、周辺部のグローバル・ベクトルと中央部のグローバル・ベクトルが、それぞれの領域でより支配的になるように周辺部と中央部の境界を変形し（ステップＳ−３）、そして最後に、周辺部のグローバル・ベクトルと中央部のグローバル・ベクトルを求める（ステップＳ−４）の手順を経て抽出される。
【００１７】
次に、推論部２においては、特徴量抽出部１から特徴量が入力され、評価部４から評価値が入力され、そして以下に説明するように、学習用画像の特徴量をデータベースの特徴量に適合させることにより、特徴量から動画モデルを類推するルールが記述された知識ベースに従って学習用画像の動画モデルを推論する。
【００１８】
以下に、具体的に説明する。
特徴量抽出部１で抽出した学習用画像の特徴量と本発明装置にデータベースとして登録されている各動画モデルの特徴量とを比較し、各動画モデル毎の両者の一致度を比較する。この一致度の比較としては、例えば、各動画モデルの特徴量空間の重心位置から学習用画像の特徴量の位置する空間位置までの距離を用いることができる。また、別の方法として、例えば、各動画モデルの特徴量空間を識別する識別関数の出力値を用いることもできる。さらに、別の方法として、例えば、各動画モデルの特徴量空間を形成する超平面と学習用画像の特徴量の空間位置との従属状態を調べることによリー致度を求めることもできる。
【００１９】
ある学習用画像の特徴量と学習用画像に対応する動画モデルの特徴量との一致度が、他の動画モデルの特徴量との一致度より大きい場合には、該当する動画モデルの特徴量空間を必要に応じて変化させる。例えば、学習用画像の特徴量の空間位置が、該当する動画モデルの特徴量空間として設定されていない場合は、該当する空間位置をその該当する動画モデルの特徴量空間とするように、該当する特徴量空間を変形する。例えば、学習用画像の特徴量の空間位置が、いずれの動画モデルの特徴量空間に含まれない場合は、該当する動画モデルの特徴量空間に入るように超平面を歪曲する。また、別の方法として、学習用画像の特徴量の空間位置が、該当する動画モデルの特徴量空間に入るように識別関数を変更する。さらに、別の方法として、例えば、学習用画像の特徴量の追加により、該当する特徴量空間の重心位置を計算し直すなどの方法がある。
【００２０】
また、反対に、ある学習用画像の特徴量と学習用画像に対応する動画モデルの特徴量との一致度が、他の動画モデルの特徴量との一致度よりも小さいか、あるいは同じ場合には、該当する動画モデルの特徴量との一致度が最も大きくなるように特徴量空間を変更する。これには、例えば、学習用画像の特徴量の空間位置が、該当する動画モデルの特徴量空間に入るように超平面を歪曲する。また、別の方法として、例えば、学習用画像の特徴量の空間位置が、該当する動画モデルの特徴量空間に入るように識別関数を変更する。さらに、別の方法として、例えば、学習用画像の特徴量の空間位置と該当動画モデルの特徴量空間の重心位置とが、最短になるように重心位置を変更するなどの方法がある。
【００２１】
特徴量空間の変更が行われた場合には、特徴量から動画モデルを推定する知識ベースを変更する。例えば、各動画モデルの特徴量空間が互いに重なりを許している場合などで、ファジーを用いて入力画像の特徴量から入力画像の動画モデルを判定しているときには、そのファジー・ルールを変更するものとする。
【００２２】
図４および図５は、上述した推論部２での処理のフローチャートおよび動作アルゴリズムの一例をそれぞれ示している。
図４において、推論部２での処理は、まず、ステップＳ−１で特徴量抽出部１（図１参照）から特徴量を取得し、ステップＳ−２でその取得した特徴量の特徴量空間での位置を求め、ステップＳ−３で知識ベース５（図１参照）に登録されている上述のデータベースとの間でデータの授受を行いながら、ステップＳ−２で求めた位置がどの動画モデル特徴量空間に属するかを推論する。
【００２３】
この推論は、上記において求めた特徴量の特徴量空間位置を、各動画モデル毎の特徴量空間の特徴量、識別関数、オブジェクト抽出アルゴリズム（ステップＳ−４）に適用し、さらに、各動画モデル毎のオブジェクト抽出アルゴリズムを参照（ステップＳ−５）することによって行われる。最後に、推論結果としてのオブジェクト抽出アルゴリズムを知識ベース５（図１参照）に出力してルールベース化する（ステップＳ−６）という処理の流れで行われる。
【００２４】
また、図５において、推論部４（図１参照）の推論のアルゴリズムは、ステップＳ−１で画像の周辺部のグローバル・ベクトルがゼロである（ステップＳ−１）か、ステップＳ−２で画像の中心部のグローバル・ベクトルがゼロでない（ステップＳ−２）か、カメラ操作がなく、背景が静止して、前景が動いている動画モデルである（ステップＳ−３）かをそれぞれ判定し、これらの条件を満たす場合には、フレーム差分による前景抽出アルゴリズムを識別ベース５（図１参照）に出力する（ステップＳ−４）。条件を満たさない場合には、他の動画モデル判定ルーチンへ分岐する。
【００２５】
また、推論部２では、図５に示すように、学習用画像の特徴量をデータベースに適合させ、知識ベースに従って、入力画像の動画モデルを推論した結果、動画モデルの特定が困難であった場合で、かつ、入力画像のオブジェクト形状が既知の場合は、各オブジェクト抽出アルゴリズムで抽出した形状と学習用画像の既知の形状との一致度を評価部４において比較して、最も一致したオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その求めた動画モデルの特徴量空間に学習用画像の特徴量が入るように、該当する特徴量空間を変更する。
【００２６】
また、推論部２は、動き物体抽出部３が動作するためのオブジェクト抽出アルゴリズムを、知識ベース５から順次に取り出して当該抽出部３に供給する役目も有している。
【００２７】
次に、動き物体抽出部３においては、図１に示す知識ベース５（後述する）に登録されている複数のオブジェクト抽出アルゴリズムを用いて、入力動画像（学習用画像）と上述の特徴抽出部１で抽出された特徴量とから学習用画像の動き物体の形状を抽出する。動き物体抽出部３が同時に複数のオブジェクト抽出アルゴリズムを用いて動き物体の形状を抽出できるものでない場合には、ある１つのオブジェクト抽出アルゴリズムを用いて学習用画像の動き物体の形状を抽出したのち、次のオブジェクト抽出アルゴリズムを用いて学習用画像の動き物体の形状を抽出するというように、順次動き物体の形状抽出を繰り返し、最終的に、すべてのオブジェクト抽出アルゴリズムを使用して、それらそれぞれについての動き物体の形状が抽出されるようにする。
【００２８】
動き物体抽出部３における動き物体の形状抽出は、いま、推論部２（図１参照）から供給されたオブジェクト抽出アルゴリズム、例えば、フレーム間差分を用いた前景抽出アルゴリズムを使用した場合を例として説明すると、これは、図６に示すように、ステップＳ−１で連続するフレーム間の輝度信号、色信号の差分を計算し、ステップＳ−２で差分が０のところを背景領域、差分が０でないところを前景領域とし、ステップＳ−３で領域拡大、縮小、及びエッジ情報をもとに前景領域、背景領域の整形を行い、ステップＳ−４で前景オブジェクト、背景オブジェクトを出力するというアルゴリズムに従って行われる。
【００２９】
以上により抽出された学習用画像の動き物体の形状は、使用されたオブジェクト抽出アルゴリズムに対応させて評価部４に供給される。評価部４においては、各オブジェクト抽出アルゴリズムを用いて抽出された学習用画像の動き物体の形状と既知の動き物体の形状とを比較して、形状の正確さを評価する。換言すれば、各オブジェクト抽出アルゴリズム毎に抽出した動き物体の形状と既知の動き物体の形状との一致度を評価する。
【００３０】
本発明においては、学習用画像の動画モデルが曖昧なため特定できない場合で、かつ、学習用画像のオブジェクト形状が既知の場合には、各オブジェクト抽出アルゴリズムで抽出した形状と学習用画像の既知の形状との一致度を比較して、最も一致する抽出アルゴリズムに該当する動画モデルを求め、その求めた動画モデルの特徴量空間に学習用入力画像の特徴量が入るように、該当する特徴量空間を変更するようにする。
【００３１】
また、本発明においては、学習用画像の動画モデルが曖昧で特定できない場合で、かつ、学習用画像のオブジェクト形状が不明である場合には、各オブジェクト抽出アルゴリズムで抽出した形状を用いてオブジェクトベース符号化を行い、その符号化効率を比較して、最も符号化効率の良い形状を抽出したオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その動画モデルの特徴量空間に学習用画像の特徴量が入るように、該当特徴量空間を変更するようにする。
【００３２】
図７および図８は、評価部４での処理のフローチャートおよび評価アルゴリズムの一例をそれぞれ示している。
図７において、評価部４での処理は、まず、ステップＳ−１およびＳ−１′にて各オブジェクト抽出アルゴリズムで抽出されたオブジェクトの形状および付与された既知のオブジェクトの形状をそれぞれ取得し、ステップＳ−２でそれら取得したオブジェクトの形状間の一致度を求め、ステップＳ−３でどのオブジェクト抽出アルゴリズムで抽出した形状が既知の形状と最も一致するかを調べ、そして、ステップＳ−４で該当するオブジェクト抽出アルゴリズムに対応する動画モデルを出力するという処理の流れで行われる。
【００３３】
また、評価部４では、その一例の評価アルゴリズムとして図８に示すように、学習用画像が有する既知の動き物体の形状と抽出アルゴリズムが抽出した動き物体の形状とを比較して、比較の結果得られた一致度を推論部２に出力するようにする。あるいは、各オブジェクト抽出アルゴリズムで抽出した形状を用いて、オブジェクトベース符号化を行い、その符号化効率を推論部２に出力するようにする。
【００３４】
図８に示す一例の評価アルゴリズムにおいては、ステップＳ−１，Ｓ−１′で、それぞれｎ番目のオブジェクト抽出アルゴリズムで抽出されたオブジェクトの形状をＢｎ、既知のオブジェクトの形状をＡとし、ステップＳ−２で差の絶対値Ｓｎ＝｜Ａ−Ｂｎ｜を求め、ステップＳ−３で全てのｎに対してＳｎが最小となるオブジェクト抽出アルゴリズム（ａｒｇ ｍｉｎ（Ｓｎ），ｎ＝１，２・・・）を出力し、そしてステップＳ−４で該当するオブジェクト抽出アルゴリズムに対応する動画モデルを出力している。
【００３５】
評価部４による評価結果（評価値）は推論部２と知識ベース５（図１参照）に供給される。
知識ベース５においては、動画モデル毎に該当する特徴量空間の特徴量を事象事実としてデータベース化して登録する。
このデータベース化された動画モデル、特徴量空間の特徴量、およびオブジェクト抽出アルゴリズムの関係を表１に示す。
【００３６】
【表１】
【００３７】
以上の学習動作が終了した後に、実際に任意の動画像を入力して、動画像に含まれる動き物体の形状抽出（実行動作）を行うことが可能となる。これにつき説明する。
実行動作では、特徴量抽出部１で任意の入力動画像の特徴量を抽出し、その抽出した特徴量を学習済みのデータベースに適合させ、特徴量から動画モデルを類推するルールが記述された学習済みの知識ベースに従って入力動画像の動画モデルを推論し、その推論した動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを用いて、動き物体の形状を抽出する。
【００３８】
具体的に説明する。
まず、特徴量抽出部１では、動画像と、その動画像に連動したメタデータと明示データを入力信号データとする。前述したように、動画像は必ず入力データとして必要であるが、メタデータと明示データは必ずしも必要でない。特徴抽出部１において、メタデータと明示データがある場合にはメタデータと明示データを参照して動画像から特徴量を抽出し、メタデータと明示データがない場合には動画像のみから特徴量を抽出し、抽出した特徴量を推論部２および動き物体抽出部３に出力する。
【００３９】
推論部２では、特徴量抽出部１から入力された動画像の特徴量を知識ベース５に登録されている学習済みのデータベースの特徴量に適合させ、特徴量から動画モデルを類推するルールが記述された知識ベースに従って入力画像に最も合致した動画モデル（すなわち、最も正確に入力画像の動画モデルを表現する）を推論する。
【００４０】
動き物体抽出部３では、推論部２で得られた動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを用いて、動画像の動物体の形状を抽出する。
【００４１】
【発明の効果】
本発明によれば、入力される動画像の条件が制限されないため、汎用的なオブジェクトベース符号化装置（例えば、ＭＰＥＧ−４対応符号化装置）を実現することができる。
【００４２】
また、本発明によれば、ＭＰＥＧ−２対応の符号化装置と比較してオブジェクト（例えば、動き物体）毎に符号化を行うことができるため、動き物体の形状の輪郭付近で、符号化対象領域に異なる動きやエッジがなくなり、画質劣化（モスキートノイズ）が生じなくなる。その結果、復号画像の画質を向上させ、かつ符号化効率を向上させることができる。
【００４３】
さらに、本発明によれば、動画像データベースへの入力データに対して、自動インデキシングが可能となり、従って、画像認識装置において動き物体の形状が分かるため、認識率を改善することができる。
【図面の簡単な説明】
【図１】 本発明による動き物体の形状抽出装置の一実施形態をブロック図にて示している。
【図２】 特徴量抽出部での処理をフローチャートにて示している。
【図３】 動きベクトルを抽出するためのアルゴリズムの一例を示している。
【図４】 推論部での処理をフローチャートにて示している。
【図５】 推論部の動作アルゴリズムの一例を示している。
【図６】 オブジェクト抽出のアルゴリズムを示している。
【図７】 評価部での処理をフローチャートにて示している。
【図８】 評価部の評価アルゴリズムの一例を示している。
【符号の説明】
１ 特徴量抽出部
２ 推論部
３ 動き物体抽出部
４ 評価部
５ 知識ベース
【発明の属する技術分野】
本発明は、任意形状を有するオブジェクト毎に画像処理を行う装置に係り、特に、動画像から動き物体の形状を抽出する方法と装置に関する。
【０００２】
【従来の技術】
従来、任意形状を有するオブジェクト毎に画像処理を行って動き物体オブジェクトの形状を抽出する装置は、抽出対象（オブジェクト）や入力動画像の条件を非常に狭い範囲に制限していた。
【０００３】
【発明が解決しようとする課題】
一例として、走行中の車のナンバープレートを抽出し、更にそのナンバープレート上の文字を抽出する装置は、抽出対象が車のナンバープレートとその文字に限定している。また、抽出装置を構成するカメラやセンサーは、道路上に固定して設置されており、そのため車の進行方向（すなわち、ナンバープレートの位置や移動方向）も必然的に制限される。さらに、ナンバープレートの大きさ、形状、色は統一されているため、カメラで撮影された画像の条件は、極めて制限されることになる。
【０００４】
別の例として、固定の監視カメラから入力とする画像データを取り込み、動き物体を抽出する装置は、背景の静止した状態の映像と異なる部分を動いている部分として認識していた。この装置も入力画像が極めて制限されている。
さらに、別の例としてクロマキー装置では、背景色を青一色とし、青色でない部分を前景の物体として抽出している。この場合も、抽出する物体は青色でないというように、入力画像の条件を単一に制限している。
【０００５】
本発明の目的は、従来のオブジェクト抽出装置が、抽出対象を狭い条件で入力画像制限していたため、それらの条件からはずれた画像からはオブジェクトの形状を抽出できなかったのに対し、これらの問題点を解決し、汎用性の高い動画像オブジェクトの形状抽出方法と装置を提供することにある。
【０００７】
【課題を解決するための手段】
また、本発明動き物体の形状抽出装置は、動画像から動き物体の形状を抽出する装置において、入力動画像から特徴量を抽出する特徴量抽出部と、前記入力動画像の特徴量を、動画モデルの特徴量を記述したデータベースの特徴量に適合させ、特徴量から動画モデルを類推するルールが記述された知識ベースに従って前記入力動画像の動画モデルを推論する推論部と、前記入力動画像から、該入力動画像の動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを使用して動き物体の形状を抽出する動き物体抽出部と、入力画像の動画モデルが既知の動き画像から抽出した画像の特徴量と既知の動画モデルの特徴量との一致度を評価し、そして入力画像の動き物体の形状が既知の動画像から前記オブジェクト抽出アルゴリズムにより抽出した動き物体の形状と、入力画像の動き物体の形状が既知の動画像が有する既知の形状との一致度を評価し、評価値を出力する評価部と、入力画像の動画モデルが既知の動画像から抽出した画像の特徴量と既知の動画モデルの特徴量との一致度に基づく学習によって内容が変更される知識ベースとを具え、前記評価部は、当該一致度の評価に際し、入力される学習用画像の動画モデルが曖昧なため特定できない場合で、かつ、学習用画像のオブジェクト形状が既知の場合には、各オブジェクト抽出アルゴリズムで抽出した形状と学習用画像の既知の形状との一致度を比較して、最も一致するオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その求めた動画モデルの特徴量空間に学習用入力画像の特徴量が入るように、前記知識ベース内の該当する特徴量空間を変更するとともに、当該一致度の評価に際し、入力される学習用画像の動画モデルが曖昧で特定できない場合で、かつ、学習用画像のオブジェクト形状が不明である場合には、各オブジェクト抽出アルゴリズムで抽出した形状を用いてオブジェクトベース符号化を行い、その符号化効率を比較して、最も符号化効率の良い形状を抽出したオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その動画モデルの特徴量空間に学習用画像の特徴量が入るように、前記知識ベース内の該当する特徴量空間を変更することを特徴とするものである。
【０００８】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明は、上述したように、動画像から動き物体の形状を抽出する方法と装置に関するものであるが、なかでもその方法は、入力動画像の特徴量を既に学習済みのデータベースの特徴量に適合させることにより、特徴量から動画モデルを類推するルールが記述された学習済みの知識ベースに従って、データベースとしてあらかじめ登録されている複数の動画モデルの中から入力画像に最も合致した動画モデルを選択し、該選択した動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを使用して動き物体の形状を正確に抽出し得るようにしたものである。
【０００９】
すなわち、本発明においては、動き物体の形状を抽出しようとする動画像からその動き物体の形状を抽出するのに先立って、まず、入力された動画像の動画モデルが既知である学習用画像を入力して画像の特徴量と動画モデルとの関係について充分に学習させ（以下、学習動作という）、任意の動き物体の形状抽出に際してその形状抽出に最も適したオブジェクト抽出アルゴリズムが選択されるようにしたうえで、目的とする動き物体の形状抽出を行う（以下、実行動作という）ようにする。
【００１０】
図１は、本発明による動き物体の形状抽出装置の一実施形態をブロック図にて示している。
図１において、１は特徴抽出部、２は推論部、３は動き物体抽出部、４は評価部、および５は知識ベースである。
【００１１】
まず、図１に示す本発明装置によって、上述した学習動作を行わせる場合について説明する。
この場合、学習用画像を用いて、装置にあらかじめ登録されている複数のオブジェクト抽出アルゴリズムを用いて順次抽出した複数の動き物体の形状と上記既知の物体の形状との比較結果である評価値との関係について学習する。
【００１２】
図１に示す装置の各部動作を詳細に説明する。
なお、ここでの説明は、いずれも学習動作時における動作に関してのみとする（実行動作時における動作は後述する）。
特徴量抽出部１においては、学習用画像と、その学習用画像に連動したメタデータと明示データとを入力データとする。ここで、学習用画像は必ず入力データとして必要であるが、メタデータと明示データは必ずしも必要ない。特徴量抽出部１では、メタデータと明示データがある場合にはそれらメタデータや明示データを参照して学習用画像の特徴量と統計量と統計的性質（以下では、まとめて特徴量と表現する）を抽出し、メタデータと明示データがない場合には学習用画像のみから同画像の特徴量を抽出し、抽出した特徴量を学習用画像の動画モデルと対応づけてデータベースに格納する。
ここに、画像の特徴量とは、特徴量抽出部１での処理をフローチャートにて示す図２によって示されるように、動きベクトル、同ベクトルの分布、同ベクトルの軌跡、奥行き情報、カメラ動作データ、エッジ（画像の）、空間周波数、色分布、動き領域、およびオブジェクト抽出領域などである。
【００１３】
また、特徴量抽出部１では、学習用画像の特徴量をデータベースに事象事実として、学習用画像の特徴量と学習用画像の動画モデルとを対応づけて保存するものとする。
【００１４】
上記においてメタデータとは、一般に物理量として測定可能なデータで、例えば、カメラの操作データに関しては、パンニング角度の時間変化量、チルト角度の時間変化量、ズーム角度（焦点距離）の時間変化量、アイリス値の時間変化量、トラック方向の移動距離の時間変化量、ドリー方向の移動距離の時間変化量、およびリフト方向の移動距離の時間変化量があり、距離データに関しては画素毎の被写体までの距離の時間変化量があり、また、照明データに関しては照明輝度の時間変化量がある。
【００１５】
また、上記において明示データとは、幾つかある抽出アルゴリズムのうち、特定の抽出アルゴリズムが選択されるようなデータや、抽出精度を上げるために、人が意図的に、おおよその抽出領域を指定するデータで、例えば、抽出対象の動き物体の形状情報に関しては抽出対象が商標やロゴマーク等であり、あらかじめ、形状情報が既知である場合である。また、シーンの先頭あるいは末尾の１枚の画像に対して、手動あるいは自動で抽出対象の形状を指定し、時間的に連続する画像に対して、自動で抽出対象の移動、変形に対応して抽出する場合である。指定した形状が曖昧な場合は、抽出対象の形状にマッチするように、指定した曖昧な形状を修正する機能を含んでいる。さらに、抽出対象、被抽出対象の指定情報に関しては、抽出対象（人、顔、車）を指定する場合、抽出対象が特化している抽出アルゴリズムが、優先的に選択されるように、抽出対象の情報を指定し、抽出して欲しくない対象を指定する場合、海、川の水面、人、車などの抽出して欲しくない対象を指定するなどである。
【００１６】
図３は、図２において、特徴量の１つである動きベクトルを抽出するためのアルゴリズムの一例を示している。同図に示すように、動きベクトルを抽出するには、まず、ブロックマッチング法により画面全体の動きベクトルを求め（ステップＳ−１）、以下順次に、画面の周辺部と中央部の動きベクトルのヒストグラムを求め（ステップＳ−２）、周辺部のグローバル・ベクトルと中央部のグローバル・ベクトルが、それぞれの領域でより支配的になるように周辺部と中央部の境界を変形し（ステップＳ−３）、そして最後に、周辺部のグローバル・ベクトルと中央部のグローバル・ベクトルを求める（ステップＳ−４）の手順を経て抽出される。
【００１７】
次に、推論部２においては、特徴量抽出部１から特徴量が入力され、評価部４から評価値が入力され、そして以下に説明するように、学習用画像の特徴量をデータベースの特徴量に適合させることにより、特徴量から動画モデルを類推するルールが記述された知識ベースに従って学習用画像の動画モデルを推論する。
【００１８】
以下に、具体的に説明する。
特徴量抽出部１で抽出した学習用画像の特徴量と本発明装置にデータベースとして登録されている各動画モデルの特徴量とを比較し、各動画モデル毎の両者の一致度を比較する。この一致度の比較としては、例えば、各動画モデルの特徴量空間の重心位置から学習用画像の特徴量の位置する空間位置までの距離を用いることができる。また、別の方法として、例えば、各動画モデルの特徴量空間を識別する識別関数の出力値を用いることもできる。さらに、別の方法として、例えば、各動画モデルの特徴量空間を形成する超平面と学習用画像の特徴量の空間位置との従属状態を調べることによリー致度を求めることもできる。
【００１９】
ある学習用画像の特徴量と学習用画像に対応する動画モデルの特徴量との一致度が、他の動画モデルの特徴量との一致度より大きい場合には、該当する動画モデルの特徴量空間を必要に応じて変化させる。例えば、学習用画像の特徴量の空間位置が、該当する動画モデルの特徴量空間として設定されていない場合は、該当する空間位置をその該当する動画モデルの特徴量空間とするように、該当する特徴量空間を変形する。例えば、学習用画像の特徴量の空間位置が、いずれの動画モデルの特徴量空間に含まれない場合は、該当する動画モデルの特徴量空間に入るように超平面を歪曲する。また、別の方法として、学習用画像の特徴量の空間位置が、該当する動画モデルの特徴量空間に入るように識別関数を変更する。さらに、別の方法として、例えば、学習用画像の特徴量の追加により、該当する特徴量空間の重心位置を計算し直すなどの方法がある。
【００２０】
また、反対に、ある学習用画像の特徴量と学習用画像に対応する動画モデルの特徴量との一致度が、他の動画モデルの特徴量との一致度よりも小さいか、あるいは同じ場合には、該当する動画モデルの特徴量との一致度が最も大きくなるように特徴量空間を変更する。これには、例えば、学習用画像の特徴量の空間位置が、該当する動画モデルの特徴量空間に入るように超平面を歪曲する。また、別の方法として、例えば、学習用画像の特徴量の空間位置が、該当する動画モデルの特徴量空間に入るように識別関数を変更する。さらに、別の方法として、例えば、学習用画像の特徴量の空間位置と該当動画モデルの特徴量空間の重心位置とが、最短になるように重心位置を変更するなどの方法がある。
【００２１】
特徴量空間の変更が行われた場合には、特徴量から動画モデルを推定する知識ベースを変更する。例えば、各動画モデルの特徴量空間が互いに重なりを許している場合などで、ファジーを用いて入力画像の特徴量から入力画像の動画モデルを判定しているときには、そのファジー・ルールを変更するものとする。
【００２２】
図４および図５は、上述した推論部２での処理のフローチャートおよび動作アルゴリズムの一例をそれぞれ示している。
図４において、推論部２での処理は、まず、ステップＳ−１で特徴量抽出部１（図１参照）から特徴量を取得し、ステップＳ−２でその取得した特徴量の特徴量空間での位置を求め、ステップＳ−３で知識ベース５（図１参照）に登録されている上述のデータベースとの間でデータの授受を行いながら、ステップＳ−２で求めた位置がどの動画モデル特徴量空間に属するかを推論する。
【００２３】
この推論は、上記において求めた特徴量の特徴量空間位置を、各動画モデル毎の特徴量空間の特徴量、識別関数、オブジェクト抽出アルゴリズム（ステップＳ−４）に適用し、さらに、各動画モデル毎のオブジェクト抽出アルゴリズムを参照（ステップＳ−５）することによって行われる。最後に、推論結果としてのオブジェクト抽出アルゴリズムを知識ベース５（図１参照）に出力してルールベース化する（ステップＳ−６）という処理の流れで行われる。
【００２４】
また、図５において、推論部４（図１参照）の推論のアルゴリズムは、ステップＳ−１で画像の周辺部のグローバル・ベクトルがゼロである（ステップＳ−１）か、ステップＳ−２で画像の中心部のグローバル・ベクトルがゼロでない（ステップＳ−２）か、カメラ操作がなく、背景が静止して、前景が動いている動画モデルである（ステップＳ−３）かをそれぞれ判定し、これらの条件を満たす場合には、フレーム差分による前景抽出アルゴリズムを識別ベース５（図１参照）に出力する（ステップＳ−４）。条件を満たさない場合には、他の動画モデル判定ルーチンへ分岐する。
【００２５】
また、推論部２では、図５に示すように、学習用画像の特徴量をデータベースに適合させ、知識ベースに従って、入力画像の動画モデルを推論した結果、動画モデルの特定が困難であった場合で、かつ、入力画像のオブジェクト形状が既知の場合は、各オブジェクト抽出アルゴリズムで抽出した形状と学習用画像の既知の形状との一致度を評価部４において比較して、最も一致したオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その求めた動画モデルの特徴量空間に学習用画像の特徴量が入るように、該当する特徴量空間を変更する。
【００２６】
また、推論部２は、動き物体抽出部３が動作するためのオブジェクト抽出アルゴリズムを、知識ベース５から順次に取り出して当該抽出部３に供給する役目も有している。
【００２７】
次に、動き物体抽出部３においては、図１に示す知識ベース５（後述する）に登録されている複数のオブジェクト抽出アルゴリズムを用いて、入力動画像（学習用画像）と上述の特徴抽出部１で抽出された特徴量とから学習用画像の動き物体の形状を抽出する。動き物体抽出部３が同時に複数のオブジェクト抽出アルゴリズムを用いて動き物体の形状を抽出できるものでない場合には、ある１つのオブジェクト抽出アルゴリズムを用いて学習用画像の動き物体の形状を抽出したのち、次のオブジェクト抽出アルゴリズムを用いて学習用画像の動き物体の形状を抽出するというように、順次動き物体の形状抽出を繰り返し、最終的に、すべてのオブジェクト抽出アルゴリズムを使用して、それらそれぞれについての動き物体の形状が抽出されるようにする。
【００２８】
動き物体抽出部３における動き物体の形状抽出は、いま、推論部２（図１参照）から供給されたオブジェクト抽出アルゴリズム、例えば、フレーム間差分を用いた前景抽出アルゴリズムを使用した場合を例として説明すると、これは、図６に示すように、ステップＳ−１で連続するフレーム間の輝度信号、色信号の差分を計算し、ステップＳ−２で差分が０のところを背景領域、差分が０でないところを前景領域とし、ステップＳ−３で領域拡大、縮小、及びエッジ情報をもとに前景領域、背景領域の整形を行い、ステップＳ−４で前景オブジェクト、背景オブジェクトを出力するというアルゴリズムに従って行われる。
【００２９】
以上により抽出された学習用画像の動き物体の形状は、使用されたオブジェクト抽出アルゴリズムに対応させて評価部４に供給される。評価部４においては、各オブジェクト抽出アルゴリズムを用いて抽出された学習用画像の動き物体の形状と既知の動き物体の形状とを比較して、形状の正確さを評価する。換言すれば、各オブジェクト抽出アルゴリズム毎に抽出した動き物体の形状と既知の動き物体の形状との一致度を評価する。
【００３０】
本発明においては、学習用画像の動画モデルが曖昧なため特定できない場合で、かつ、学習用画像のオブジェクト形状が既知の場合には、各オブジェクト抽出アルゴリズムで抽出した形状と学習用画像の既知の形状との一致度を比較して、最も一致する抽出アルゴリズムに該当する動画モデルを求め、その求めた動画モデルの特徴量空間に学習用入力画像の特徴量が入るように、該当する特徴量空間を変更するようにする。
【００３１】
また、本発明においては、学習用画像の動画モデルが曖昧で特定できない場合で、かつ、学習用画像のオブジェクト形状が不明である場合には、各オブジェクト抽出アルゴリズムで抽出した形状を用いてオブジェクトベース符号化を行い、その符号化効率を比較して、最も符号化効率の良い形状を抽出したオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その動画モデルの特徴量空間に学習用画像の特徴量が入るように、該当特徴量空間を変更するようにする。
【００３２】
図７および図８は、評価部４での処理のフローチャートおよび評価アルゴリズムの一例をそれぞれ示している。
図７において、評価部４での処理は、まず、ステップＳ−１およびＳ−１′にて各オブジェクト抽出アルゴリズムで抽出されたオブジェクトの形状および付与された既知のオブジェクトの形状をそれぞれ取得し、ステップＳ−２でそれら取得したオブジェクトの形状間の一致度を求め、ステップＳ−３でどのオブジェクト抽出アルゴリズムで抽出した形状が既知の形状と最も一致するかを調べ、そして、ステップＳ−４で該当するオブジェクト抽出アルゴリズムに対応する動画モデルを出力するという処理の流れで行われる。
【００３３】
また、評価部４では、その一例の評価アルゴリズムとして図８に示すように、学習用画像が有する既知の動き物体の形状と抽出アルゴリズムが抽出した動き物体の形状とを比較して、比較の結果得られた一致度を推論部２に出力するようにする。あるいは、各オブジェクト抽出アルゴリズムで抽出した形状を用いて、オブジェクトベース符号化を行い、その符号化効率を推論部２に出力するようにする。
【００３４】
図８に示す一例の評価アルゴリズムにおいては、ステップＳ−１，Ｓ−１′で、それぞれｎ番目のオブジェクト抽出アルゴリズムで抽出されたオブジェクトの形状をＢｎ、既知のオブジェクトの形状をＡとし、ステップＳ−２で差の絶対値Ｓｎ＝｜Ａ−Ｂｎ｜を求め、ステップＳ−３で全てのｎに対してＳｎが最小となるオブジェクト抽出アルゴリズム（ａｒｇ ｍｉｎ（Ｓｎ），ｎ＝１，２・・・）を出力し、そしてステップＳ−４で該当するオブジェクト抽出アルゴリズムに対応する動画モデルを出力している。
【００３５】
評価部４による評価結果（評価値）は推論部２と知識ベース５（図１参照）に供給される。
知識ベース５においては、動画モデル毎に該当する特徴量空間の特徴量を事象事実としてデータベース化して登録する。
このデータベース化された動画モデル、特徴量空間の特徴量、およびオブジェクト抽出アルゴリズムの関係を表１に示す。
【００３６】
【表１】
以上の学習動作が終了した後に、実際に任意の動画像を入力して、動画像に含まれる動き物体の形状抽出（実行動作）を行うことが可能となる。これにつき説明する。
実行動作では、特徴量抽出部１で任意の入力動画像の特徴量を抽出し、その抽出した特徴量を学習済みのデータベースに適合させ、特徴量から動画モデルを類推するルールが記述された学習済みの知識ベースに従って入力動画像の動画モデルを推論し、その推論した動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを用いて、動き物体の形状を抽出する。
【００３８】
具体的に説明する。
まず、特徴量抽出部１では、動画像と、その動画像に連動したメタデータと明示データを入力信号データとする。前述したように、動画像は必ず入力データとして必要であるが、メタデータと明示データは必ずしも必要でない。特徴抽出部１において、メタデータと明示データがある場合にはメタデータと明示データを参照して動画像から特徴量を抽出し、メタデータと明示データがない場合には動画像のみから特徴量を抽出し、抽出した特徴量を推論部２および動き物体抽出部３に出力する。
【００３９】
推論部２では、特徴量抽出部１から入力された動画像の特徴量を知識ベース５に登録されている学習済みのデータベースの特徴量に適合させ、特徴量から動画モデルを類推するルールが記述された知識ベースに従って入力画像に最も合致した動画モデル（すなわち、最も正確に入力画像の動画モデルを表現する）を推論する。
【００４０】
動き物体抽出部３では、推論部２で得られた動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを用いて、動画像の動物体の形状を抽出する。
【００４１】
【発明の効果】
本発明によれば、入力される動画像の条件が制限されないため、汎用的なオブジェクトベース符号化装置（例えば、ＭＰＥＧ−４対応符号化装置）を実現することができる。
【００４２】
また、本発明によれば、ＭＰＥＧ−２対応の符号化装置と比較してオブジェクト（例えば、動き物体）毎に符号化を行うことができるため、動き物体の形状の輪郭付近で、符号化対象領域に異なる動きやエッジがなくなり、画質劣化（モスキートノイズ）が生じなくなる。その結果、復号画像の画質を向上させ、かつ符号化効率を向上させることができる。
【００４３】
さらに、本発明によれば、動画像データベースへの入力データに対して、自動インデキシングが可能となり、従って、画像認識装置において動き物体の形状が分かるため、認識率を改善することができる。
【図面の簡単な説明】
【図１】 本発明による動き物体の形状抽出装置の一実施形態をブロック図にて示している。
【図２】 特徴量抽出部での処理をフローチャートにて示している。
【図３】 動きベクトルを抽出するためのアルゴリズムの一例を示している。
【図４】 推論部での処理をフローチャートにて示している。
【図５】 推論部の動作アルゴリズムの一例を示している。
【図６】 オブジェクト抽出のアルゴリズムを示している。
【図７】 評価部での処理をフローチャートにて示している。
【図８】 評価部の評価アルゴリズムの一例を示している。
【符号の説明】
１ 特徴量抽出部
２ 推論部
３ 動き物体抽出部
４ 評価部
５ 知識ベース
Claims (1)
- 動画像から動き物体の形状を抽出する装置において、
入力動画像から特徴量を抽出する特徴量抽出部と、
前記入力動画像の特徴量を、動画モデルの特徴量を記述したデータベースの特徴量に適合させ、特徴量から動画モデルを類推するルールが記述された知識ベースに従って前記入力動画像の動画モデルを推論する推論部と、
前記入力動画像から、該入力動画像の動画モデルを抽出対象とするオブジェクト抽出アルゴリズムを使用して動き物体の形状を抽出する動き物体抽出部と、
入力画像の動画モデルが既知の動き画像から抽出した画像の特徴量と既知の動画モデルの特徴量との一致度を評価し、そして入力画像の動き物体の形状が既知の動画像から前記オブジェクト抽出アルゴリズムにより抽出した動き物体の形状と、
入力画像の動き物体の形状が既知の動画像が有する既知の形状との一致度を評価し、評価値を出力する評価部と、
入力画像の動画モデルが既知の動画像から抽出した画像の特徴量と既知の動画モデルの特徴量との一致度に基づく学習によって内容が変更される知識ベースとを具え、
前記評価部は、当該一致度の評価に際し、入力される学習用画像の動画モデルが曖昧なため特定できない場合で、かつ、学習用画像のオブジェクト形状が既知の場合には、各オブジェクト抽出アルゴリズムで抽出した形状と学習用画像の既知の形状との一致度を比較して、最も一致するオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その求めた動画モデルの特徴量空間に学習用入力画像の特徴量が入るように、前記知識ベース内の該当する特徴量空間を変更するとともに、当該一致度の評価に際し、入力される学習用画像の動画モデルが曖昧で特定できない場合で、かつ、学習用画像のオブジェクト形状が不明である場合には、各オブジェクト抽出アルゴリズムで抽出した形状を用いてオブジェクトベース符号化を行い、その符号化効率を比較して、最も符号化効率の良い形状を抽出したオブジェクト抽出アルゴリズムに該当する動画モデルを求め、その動画モデルの特徴量空間に学習用画像の特徴量が入るように、前記知識ベース内の該当する特徴量空間を変更することを特徴とする動き物体の形状抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000137303A JP4187904B2 (ja) | 2000-05-10 | 2000-05-10 | 動き物体の形状抽出方法と装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000137303A JP4187904B2 (ja) | 2000-05-10 | 2000-05-10 | 動き物体の形状抽出方法と装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001319236A JP2001319236A (ja) | 2001-11-16 |
| JP4187904B2 true JP4187904B2 (ja) | 2008-11-26 |
Family
ID=18645095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000137303A Expired - Fee Related JP4187904B2 (ja) | 2000-05-10 | 2000-05-10 | 動き物体の形状抽出方法と装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4187904B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4306397B2 (ja) * | 2003-10-08 | 2009-07-29 | 株式会社日立製作所 | 認識処理システム |
| JP2012084056A (ja) * | 2010-10-14 | 2012-04-26 | Foundation For The Promotion Of Industrial Science | 物体検出装置 |
| JP7347539B2 (ja) * | 2019-12-16 | 2023-09-20 | 日本電気株式会社 | 前景抽出装置、前景抽出方法、及び、プログラム |
-
2000
- 2000-05-10 JP JP2000137303A patent/JP4187904B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001319236A (ja) | 2001-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4251719B2 (ja) | 複数人物が存在する場合の人間の顔のロバスト追跡システム | |
| Elhabian et al. | Moving object detection in spatial domain using background removal techniques-state-of-art | |
| US8948450B2 (en) | Method and system for automatic object detection and subsequent object tracking in accordance with the object shape | |
| US8126268B2 (en) | Edge-guided morphological closing in segmentation of video sequences | |
| US20090016603A1 (en) | Contour Finding in Segmentation of Video Sequences | |
| Spors et al. | A real-time face tracker for color video | |
| EP1969560A1 (en) | Edge comparison in segmentation of video sequences | |
| JP2009508450A (ja) | 物体のトラッキングおよび活動分析のためのシステムおよび方法 | |
| CN111160295B (zh) | 基于区域引导和时空注意力的视频行人重识别方法 | |
| EP2335405A2 (en) | Pixel-level based micro-feature extraction | |
| US9418426B1 (en) | Model-less background estimation for foreground detection in video sequences | |
| US10417772B2 (en) | Process to isolate object of interest in image | |
| JP4156084B2 (ja) | 移動物体追跡装置 | |
| JP4658532B2 (ja) | 顔を検出する処理方法及び画像中の顔の検出装置 | |
| KR20170015299A (ko) | 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치 | |
| CN110991398A (zh) | 一种基于改进步态能量图的步态识别方法及系统 | |
| JP4187904B2 (ja) | 動き物体の形状抽出方法と装置 | |
| KR100453222B1 (ko) | 카메라 움직임 판별 장치 및 방법 | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| JP4054158B2 (ja) | 動き物体オブジェクトの形状抽出装置 | |
| KR100853267B1 (ko) | 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템 | |
| Su et al. | Gpr-net: Multi-view layout estimation via a geometry-aware panorama registration network | |
| JP2721107B2 (ja) | 映像特徴処理方法 | |
| JP2003271929A (ja) | ロボットの物体認識方法 | |
| CN111444359B (zh) | 一种关于图像差分识别放入行为的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080910 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140919 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |