JP5143244B2 - ターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体 - Google Patents

ターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体 Download PDF

Info

Publication number
JP5143244B2
JP5143244B2 JP2011017224A JP2011017224A JP5143244B2 JP 5143244 B2 JP5143244 B2 JP 5143244B2 JP 2011017224 A JP2011017224 A JP 2011017224A JP 2011017224 A JP2011017224 A JP 2011017224A JP 5143244 B2 JP5143244 B2 JP 5143244B2
Authority
JP
Japan
Prior art keywords
target
background
area
region
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011017224A
Other languages
English (en)
Other versions
JP2012033143A (ja
Inventor
セ ギョン パク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LIG Nex1 Co Ltd
Original Assignee
LIG Nex1 Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LIG Nex1 Co Ltd filed Critical LIG Nex1 Co Ltd
Publication of JP2012033143A publication Critical patent/JP2012033143A/ja
Application granted granted Critical
Publication of JP5143244B2 publication Critical patent/JP5143244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、ターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体に関する。より詳しくは、重心点追跡方法に要求されるターゲット抽出方式中、ターゲットと背景の統計的な特性を利用して各々を分離するアルゴリズムと関連したターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体に関する。
従来には、ターゲットを抽出する時にターゲットが含まれているinner領域(ターゲット領域)とターゲットが含まれていないouter領域(背景領域)を利用し、ターゲット領域と背景領域の統計的な特性を利用してターゲットを抽出した。
しかし、このようなターゲット抽出方法において、性能に最も大きく影響を与える部分は、「ターゲットが含まれないように背景領域をどのように設定するのか?」という部分である。しかしながら、従来には、背景領域をどのように設定するかに対する基準がなかったため、実際に実現する時に信頼性のある統計情報を獲得することができず、追跡の信頼性も低下した。これは、背景領域の設定方式にターゲット抽出の性能が大きく左右されるという点を見過ごしたためである。
本発明は、前記問題点を解決するために導き出されたものであり、連続的な映像が入ってくる状況で抽出されたターゲット領域を基準に背景の距離と大きさを調節するターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体を提供することを目的とする。
また、本発明は、加重関数を利用してターゲットに対する画素数を増加させるターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体を提供することを目的とする。
本発明は、前記目的を達成するために導き出されたものであり、入力映像からターゲット領域を抽出するターゲット領域抽出ステップ;前記ターゲット領域の大きさを考慮して、前記入力映像から背景領域を抽出する背景領域抽出ステップ;および前記ターゲット領域と前記背景領域を基礎に前記入力映像からターゲットを抽出するターゲット抽出ステップを含むことを特徴とするターゲット抽出方法を提供する。
好ましくは、前記背景領域抽出ステップは、前記ターゲット領域の大きさに比例するように前記背景領域の大きさを調節して前記背景領域を抽出する。より好ましくは、前記背景領域抽出ステップは、前記ターゲット領域の大きさと予め定められた第1利得値の積を利用して前記背景領域の大きさを計算し、前記計算された背景領域の大きさに応じて前記背景領域を抽出する。
好ましくは、前記背景領域抽出ステップは、前記背景領域を抽出する時に前記ターゲット領域からの距離をさらに考慮する。より好ましくは、前記背景領域抽出ステップは、前記ターゲット領域からの距離に反比例するように前記背景領域の大きさを調節して前記背景領域を抽出する。さらに好ましくは、前記背景領域抽出ステップは、予め定められた第2利得値を前記ターゲット領域の大きさで分けた値を利用して前記ターゲット領域からの距離を計算し、前記計算されたターゲット領域からの距離に応じて前記背景領域を抽出する。
好ましくは、前記ターゲット抽出ステップは、前記ターゲット領域に対するターゲットヒストグラムを生成し、前記背景領域に対する背景ヒストグラムを生成するヒストグラム生成ステップ;前記ターゲットヒストグラムと前記背景ヒストグラムを利用してルックアップテーブルを生成するルックアップテーブル生成ステップ;前記ルックアップテーブルを利用して尤度マップ(likelihood map)を生成する尤度マップ生成ステップ;前記尤度マップから前記ターゲットを抽出するための閾値を計算する閾値計算ステップ;および前記閾値を利用して前記入力映像から前記ターゲットを抽出する閾値利用ターゲット抽出ステップを含む。より好ましくは、前記ヒストグラム生成ステップは、前記ターゲット領域を構成する画素ごとに前記ターゲット領域における中心点からの距離に応じた加重値を考慮して前記ターゲットヒストグラムを生成する。
好ましくは、前記背景領域抽出ステップは、前記背景領域で前記ターゲット領域を囲む領域を抽出する。
好ましくは、前記ターゲット領域抽出ステップは、予め定められた追跡アルゴリズムにより、前記入力映像から推定された前記ターゲットの位置を基礎に前記ターゲット領域を抽出する。
好ましくは、前記ターゲット抽出ステップで抽出されたターゲットは、前記入力映像以後に入力される映像におけるターゲットを追跡するのに用いられる。
また、本発明は、入力映像からターゲット領域を抽出するターゲット領域抽出部;前記ターゲット領域の大きさを考慮して、前記入力映像から背景領域を抽出する背景領域抽出部;および前記ターゲット領域と前記背景領域を基礎に前記入力映像からターゲットを抽出するターゲット抽出部を含むことを特徴とするターゲット抽出装置を提供する。
好ましくは、前記背景領域抽出部は、前記ターゲット領域の大きさに比例するように前記背景領域の大きさを調節して前記背景領域を抽出する。
好ましくは、前記背景領域抽出部は、前記ターゲット領域の大きさと予め定められた第1利得値の積を利用して前記背景領域の大きさを計算する背景領域大きさ計算モジュール;および前記計算された背景領域の大きさに応じて前記背景領域を抽出する背景領域抽出モジュールを含む。
好ましくは、前記背景領域抽出部は、前記背景領域を抽出する時に前記ターゲット領域からの距離をさらに考慮する。より好ましくは、前記背景領域抽出部は、前記ターゲット領域からの距離に反比例するように前記背景領域の大きさを調節して前記背景領域を抽出する。
好ましくは、前記背景領域抽出部は、予め定められた第2利得値を前記ターゲット領域の大きさで分けた値を利用して前記ターゲット領域からの距離を計算する距離計算モジュール;および前記計算されたターゲット領域からの距離に応じて前記背景領域を抽出する背景領域抽出モジュールを含む。
好ましくは、前記ターゲット抽出部は、前記ターゲット領域に対するターゲットヒストグラムを生成し、前記背景領域に対する背景ヒストグラムを生成するヒストグラム生成モジュール;前記ターゲットヒストグラムと前記背景ヒストグラムを利用してルックアップテーブルを生成するルックアップテーブル生成モジュール;前記ルックアップテーブルを利用して尤度マップ(likelihood map)を生成する尤度マップ生成モジュール;前記尤度マップから前記ターゲットを抽出するための閾値を計算する閾値計算モジュール;および前記閾値を利用して前記入力映像から前記ターゲットを抽出する閾値利用ターゲット抽出モジュールを含む。より好ましくは、前記ヒストグラム生成モジュールは、前記ターゲット領域を構成する画素ごとに前記ターゲット領域における中心点からの距離に応じた加重値を考慮して前記ターゲットヒストグラムを生成する。
好ましくは、前記背景領域抽出部は、前記背景領域で前記ターゲット領域を囲む領域を抽出する。
好ましくは、前記ターゲット領域抽出部は、予め定められた追跡アルゴリズムにより、前記入力映像から推定された前記ターゲットの位置を基礎に前記ターゲット領域を抽出する。
好ましくは、前記ターゲット抽出部によって抽出されたターゲットは、前記入力映像以後に入力される映像におけるターゲットを追跡するのに用いられる。
本発明は、前記目的を達成することによって次のような効果を得ることができる。第1に、連続的な映像が入ってくる状況で抽出されたターゲット領域を基準に背景の距離と大きさを調節することにより、ターゲット領域と背景領域の効果的な分離が可能となる。また、複雑な背景からターゲットを効果的に抽出することができ、ターゲット領域に対する画素数に合わせて背景領域の画素数を十分に確保することにより、各々の統計的な特徴を信頼性があるように獲得することができる。
第2に、加重関数を利用してターゲットに対する画素数を増加させることにより、ターゲット抽出性能の信頼性を向上させることができる。また、重心点追跡において問題となる追跡中心点の揺れを緩和することができ、映像の雑音や背景領域のターゲット成分含みなどといった外部雑音に強くなる。
本発明の好ましい実施形態によるターゲット抽出装置を概略的に示すブロック図である。 ターゲット領域と背景領域が表示された映像であって、(a)はターゲットが大きく抽出された場合であり、(b)はターゲットが小さく抽出された場合である。 ターゲット画素数増加のための加重関数(数字は任意に変更することができる)に対する図である。 本発明の好ましい実施形態によるターゲット追跡方法を概略的に示すフローチャートである。 本発明の好ましい実施形態によるターゲット追跡方法を詳細に示すフローチャートである。
以下、本発明の好ましい実施形態について添付した図面を参照してより詳細に説明する。先ず、各図面の構成要素に参照符号を付する際、同一の構成要素に対しては他の図面上に表示する場合にも可能な限り同一の符号を付するようにしていることに留意しなければならない。また、本発明を説明するにおいて、関連した公知構成または機能に対する具体的な説明が本発明の要旨を濁す恐れがあると判断される場合にはその詳細な説明は省略する。また、以下では本発明の好ましい実施形態を説明するが、本発明の技術的思想はこれに限定もしくは制限されず、当業者によって変形されて様々に実施できることは勿論である。
図1は、本発明の好ましい実施形態によるターゲット抽出装置を概略的に示すブロック図である。図1によれば、ターゲット抽出装置100は、ターゲット領域抽出部110、背景領域抽出部120、ターゲット抽出部130、電源部140、および主制御部150を含む。
本実施形態において、ターゲット抽出装置100は、映像からターゲットを分離するアルゴリズムを実現する。詳しくは、ターゲット抽出装置100は、重心点追跡方法に要求されるターゲット抽出方式中、ターゲットと背景の統計的な特性を利用して各々を分離するアルゴリズムにおいて、既存の場合に比べて効果的にターゲットを抽出するためのアルゴリズムを実現する。
ターゲット領域抽出部110は、入力映像からターゲット領域を抽出する機能をする。ここで、映像とはカメラ(赤外線カメラ、可視光線カメラなど)から獲得されたものをいい、ターゲットは獲得された映像において意味のある情報を含んでいる部分をいう。例えば、誘導ミサイルにおいては誘導ミサイルが追跡しようとするターゲット(タンク、ヘリコプターなど)がターゲットとなり、監視カメラにおいては監視対象(侵入者など)がターゲットとなる。映像からターゲットを分離する理由は、分離されたターゲットが追跡アルゴリズムの入力として使われるためである。ここで、追跡アルゴリズムは、ターゲットを映像フレームにかけて追跡するアルゴリズムをいう。
ターゲット領域抽出部110は、予め定められた追跡アルゴリズムにより、入力映像から推定されたターゲットの位置を基礎にターゲット領域を抽出する。先ず、カメラから映像が獲得されれば、追跡アルゴリズムから推定されたターゲットの位置を基準にターゲットの位置を推定する。これにより、図2の赤色領域210のようにターゲット領域を設定することができる
背景領域抽出部120は、ターゲット領域の大きさを考慮して、入力映像から背景領域を抽出する機能をする。背景領域抽出部120は、設定されたターゲット領域を基準に背景領域を設定する。設定した背景領域は、図2の緑色領域220のようにターゲット領域から一定間隔が離れた領域である。
背景領域抽出部120は、ターゲット領域の大きさに比例するように背景領域の大きさを調節して背景領域を抽出する。この点を考慮する時、背景領域抽出部120は、背景領域大きさ計算モジュールと背景領域抽出モジュールを備えることができる。背景領域大きさ計算モジュールは、ターゲット領域の大きさと予め定められた第1利得値の積を利用して背景領域の大きさを計算する機能をする。背景領域抽出モジュールは、計算された背景領域の大きさに応じて背景領域を抽出する機能をする。
ターゲット抽出方法は、背景領域設定方法によって結果が大きく変わる。これは、この方式が「背景領域に含まれていない部分がターゲット領域にあれば、これをターゲットと見なす。」という仮定を基本にするためである。
本実施形態において、背景領域抽出部120は、ターゲット領域と背景領域の効果的な分離のための背景領域を設定する。このために、背景領域抽出部120は、連続的な映像が入ってくる状況で抽出されたターゲット領域を基準に背景の距離と大きさを調節する。
本実施形態においては、背景領域の大きさを調節するために次の数式を利用する。
背景領域の大きさ=ターゲット領域の大きさ×B_gain
前記において、B_gainは利得値を意味する。B_gainは、ターゲット領域の大きさに応じて背景領域の大きさが設定されるようにするための比例定数である。B_gainは、実験的に各状況に合わせて設定して、背景領域の大きさが適切に設定されるようにする役割をする。
図2の(a)と(b)において、赤色ボックス部分210が現在ターゲットとして抽出された領域であるとする時(ターゲット領域)、背景領域は緑色ボックス部分220のようにターゲット領域の大きさに比例して大きくなるようにする。これは、ターゲット領域に対する画素数に合わせて背景領域の画素数を十分に確保することにより、各々の統計的な特徴が信頼性のあるように獲得されるようにするためである。
背景領域抽出部120は、背景領域を抽出する時、ターゲット領域からの距離をさらに考慮することができる。この時、背景領域抽出部120は、ターゲット領域からの距離に反比例するように背景領域の大きさを調節して背景領域を抽出する。このような背景領域抽出部120は、距離計算モジュールと背景領域抽出モジュールを備えることができる。距離計算モジュールは、予め定められた第2利得値をターゲット領域の大きさで分けた値を利用して、ターゲット領域からの距離を計算する機能をする。背景領域抽出モジュールは、計算されたターゲット領域からの距離に応じて背景領域を抽出する機能をする。
背景領域抽出モジュールは、背景領域の大きさやターゲット領域からの距離に応じて背景領域を抽出する。しかし、本実施形態において、背景領域の大きさに応じて背景領域を抽出することを第1背景領域抽出モジュールとして、ターゲット領域からの距離に応じて背景領域を抽出することを第2背景領域抽出モジュールとして各々定義することも可能である。
ターゲット領域と背景領域との間の距離は次の数式を利用する。
2つの領域の間の距離=D_gain÷ターゲット領域大きさ
前記において、2つの領域とはターゲット領域と背景領域をいい、D_gainは利得値を意味する。D_gainは、横方向と縦方向に対し、ターゲット領域と背景領域の距離(間隔)を設定するのに用いる。このパラメータもB_gainと同様に実験的に各状況に合わせて設定して、背景領域とターゲット領域の間隔が適切に設定されるように定める。
ターゲット領域と背景領域との間の距離は、図2の(a)と(b)のようにターゲット領域の大きさに反比例するようにする。これは、ターゲット領域が大きい場合(図2の(a)参照)は、ターゲットの大部分を抽出した場合とみることができるため、背景領域を隣接するように設定しても背景領域にターゲットの成分が含まれる確率が少ない。その逆に、ターゲット領域が小さい場合(図2の(b)参照)は、ターゲットの一部だけが抽出された場合とみることができるため、背景領域をターゲット領域から遠く離れるようにすることにより、ターゲットの情報が背景領域に含まれないようにすることができる。
一方、背景領域抽出部120は、背景領域でターゲット領域を囲む領域を抽出する。
ターゲット抽出部130は、ターゲット領域と背景領域を基礎に入力映像からターゲットを抽出する機能をする。
ターゲット抽出部130は、ヒストグラム生成モジュール、ルックアップテーブル生成モジュール、尤度マップ生成モジュール、閾値計算モジュール、および閾値利用ターゲット抽出モジュールを備えることができる。
ヒストグラム生成モジュールは、ターゲット領域に対するターゲットヒストグラムと背景領域に対する背景ヒストグラムを生成する機能をする。ヒストグラム生成モジュールは、定義されたターゲット領域と背景領域に対するヒストグラムを得る。ヒストグラムは、一定領域内の映像の画素値の個数を数えて作る。ヒストグラム生成モジュールは、ターゲット領域を構成する画素ごとにターゲット領域における中心点からの距離に応じた加重値を考慮してターゲットヒストグラムを生成する。
ルックアップテーブル生成モジュールは、ターゲットヒストグラムと背景ヒストグラムを利用して、ルックアップテーブル(lookup table)を生成する機能をする。ルックアップテーブル生成モジュールは、ターゲット領域と背景領域のヒストグラムを合わせてルックアップテーブルを作る。
尤度マップ生成モジュールは、ルックアップテーブルを利用して尤度マップ(likelihood map)を生成する機能をする。尤度マップ生成モジュールは、ルックアップテーブルを利用して尤度マップを作る。数式は次の通りである。

閾値計算モジュールは、尤度マップからターゲットを抽出するための閾値を計算する機能をする。閾値計算モジュールは、尤度マップが閾値以上となる2地点を利用してターゲット抽出のための臨界値を作る。
閾値利用ターゲット抽出モジュールは、閾値を利用して、入力映像からターゲットを抽出する機能をする。
ターゲット抽出部130は、ターゲット抽出性能の信頼性を高めるためのターゲット画素数の増加技法を利用する。
抽出されたターゲットの中心は一般的にターゲットである可能性が高い。したがって、該当領域に対し、図3のような加重関数を利用し、現在画素数にかけてヒストグラム(histogram)を作ることにより、ターゲットに対する画素数を増加させることができる。すなわち、ヒストグラムは該当領域内の等しい明るさを有した画素の個数で作った統計的な資料であるため、中心点に対する加重値を付与することにより(中心領域に対してマスクに該当する加重値をかけることにより)、図3に例示したマスクを使えば、中心点は1個から33個に、周辺8隣接画素は1個から9個に、周辺4隣接画素は1個から5個になる効果を有する。
映像からヒストグラムを生成する時は次のような演算を行う。
(1)(X、Y)位置の画素の値を読む:[A=Image(X、Y)]
(2)読んだ画素値Aに対するヒストグラムの値を増加させる:[Hist(A)=Hist(A)+1]
(初期Hist値は全て0に設定する)
(3)全体映像に対して(X、Y)位置を移動させながら、(1)、(2)過程を繰り返し行ってヒストグラムを完成する。
ここで、(2)の過程を変形してみれば、すなわち、中心点にマスクをかぶせると(係数32)、
Hist(A)=Hist(A)+1+32
となり、実際画素数である1個より32個が多い画素があるような効果を有する。中心点の上・下・左・右に対しては、
Hist(A)=Hist(A)+1+8
となり、対角線の場合は、
Hist(A)=Hist(A)+1+4
となる。すなわち、追跡中心点はターゲットである確率が高いため、他の画素に比べて加重値を高く設定する。
以上の方式を利用する場合、ターゲット抽出の信頼性が高まり、重心点追跡において問題となる追跡中心点の揺れを緩和することができる。それと同時に、映像の雑音や背景領域のターゲット成分含みなどといった外部雑音に強くなる。
ターゲット抽出部130によって抽出されたターゲットは、入力映像以後に入力される映像におけるターゲットを追跡するのに用いられる。
電源部140は、ターゲット抽出装置100を構成する各部に電源を供給する機能をする。
主制御部150は、ターゲット抽出装置100を構成する各部の全体作動を制御する機能をする。
以上で説明したように、ターゲット追跡装置100は、ターゲット追跡に最も重要な影響を及ぼす部分である「背景領域設定」に対する新しい方法を提示して複雑な背景からターゲットを効果的に抽出することができ、さらにターゲット画素数増加技法を利用してターゲット抽出の信頼性を増加させ、追跡中心点の揺れを緩和し、外部雑音に強くなるようにする。
次に、ターゲット追跡装置100のターゲット追跡方法について説明する。図4は、本発明の好ましい実施形態によるターゲット追跡方法を概略的に示すフローチャートである。また、図5は、本発明の好ましい実施形態によるターゲット追跡方法を詳細に示すフローチャートである。以下、説明は図4と図5を参照する。
先ず、ターゲット領域抽出部110は、入力映像からターゲット領域を抽出する(S400)。その次、背景領域抽出部120は、ターゲット領域の大きさを考慮して、入力映像から背景領域を抽出する(S410)。その次、ターゲット抽出部130は、ターゲット領域と背景領域を基礎に入力映像からターゲットを抽出する(S420)。
ターゲット領域抽出部110は、予め定められた追跡アルゴリズムにより、入力映像から推定されたターゲットの位置を基礎にターゲット領域を抽出する(S500)。
背景領域抽出部120は、ターゲット領域の大きさに比例するように背景領域の大きさを調節して背景領域を抽出する。詳しくは、背景領域抽出部120は、ターゲット領域の大きさと予め定められた第1利得値の積を利用して背景領域の大きさを計算し、計算された背景領域の大きさに応じて背景領域を抽出する(S510)。
背景領域抽出部120は、背景領域を抽出する時にターゲット領域からの距離をさらに考慮する。詳しくは、背景領域抽出部120は、ターゲット領域からの距離に反比例するように背景領域の大きさを調節して背景領域を抽出する。より詳しくは、背景領域抽出部120は、予め定められた第2利得値をターゲット領域の大きさで分けた値を利用してターゲット領域からの距離を計算し、計算されたターゲット領域からの距離に応じて背景領域を抽出する(S520)。
背景領域抽出部120は、背景領域でターゲット領域を囲む領域を抽出する。
ターゲット抽出部130は、次の過程を経て入力映像からターゲットを抽出する。先ず、ヒストグラム生成部は、ターゲット領域に対するターゲットヒストグラムを生成し(S530a)、背景領域に対する背景ヒストグラムを生成する(S530b)。好ましくは、ヒストグラム生成部は、ターゲットヒストグラムを生成する時、ターゲット領域を構成する画素ごとにターゲット領域における中心点からの距離に応じた加重値を考慮する(A)。その次、ルックアップテーブル生成部は、ターゲットヒストグラムと背景ヒストグラムを利用してルックアップテーブルを生成する(S540)。その次、尤度マップ生成部は、ルックアップテーブルを利用して尤度マップ(likelihood map)を生成する(S550)。その次、閾値計算部は、尤度マップからターゲットを抽出するための閾値を計算する(S560)。その次、閾値利用ターゲット抽出部は、閾値を利用して入力映像からターゲットを抽出する(S570)。抽出されたターゲットは、入力映像以後に入力される映像におけるターゲットを追跡するのに用いられる。
一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読み取りできる記録媒体を利用して前記プログラムを動作させる汎用デジタルコンピュータにおいて実現されることができる。前記コンピュータで読み取りできる記録媒体は、マグネチック格納媒体(例えば、ROM、フロッピーディスク、ハードディスク、磁気テープなど)、光学的判読媒体(例えば、CD−ROM、DVD、光データ格納装置など)、およびキャリアウェーブ(例えば、インターネットを介した転送)のような格納媒体を含む。
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有した者であれば、本発明の本質的な特性から逸脱しない範囲内で様々な修正、変更、および置き換えが可能である。したがって、本発明に開示された実施形態および添付した図面は本発明の技術思想を限定するためのものではなく説明するためのものであり、このような実施形態および添付した図面によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は以下の請求範囲によって解釈するべきであり、それと同等な範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈しなければならない。
本発明は、誘導ミサイルが追跡しようとするターゲット(タンク、ヘリコプターなど)をターゲットとして追跡するための追跡アルゴリズムに適用することができる。
100 ターゲット抽出装置
110 ターゲット領域抽出部
120 背景領域抽出部
130 ターゲット抽出部
140 電源部
150 主制御部

Claims (11)

  1. 入力映像からターゲット領域を抽出するターゲット領域抽出ステップと、
    前記ターゲット領域の大きさを考慮して、前記入力映像から背景領域を抽出する背景領域抽出ステップと、
    前記ターゲット領域と前記背景領域を基礎に前記入力映像からターゲットを抽出するターゲット抽出ステップと、
    を含み、
    前記背景領域抽出ステップは、前記ターゲット領域の大きさと予め定められた第1利得値の積を利用して前記背景領域の大きさを計算し、前記計算された背景領域の大きさに応じて前記背景領域を抽出することを特徴とするターゲット抽出方法。
  2. 前記背景領域抽出ステップは、前記ターゲット領域からの距離に反比例するように前記背景領域の大きさを調節して前記背景領域を抽出することを特徴とする、請求項に記載のターゲット抽出方法。
  3. 前記背景領域抽出ステップは、予め定められた第2利得値を前記ターゲット領域の大きさで分けた値を利用して前記ターゲット領域からの距離を計算し、前記計算されたターゲット領域からの距離に応じて前記背景領域を抽出することを特徴とする、請求項に記載のターゲット抽出方法。
  4. 前記ターゲット抽出ステップは、
    前記ターゲット領域に対するターゲットヒストグラムを生成し、前記背景領域に対する背景ヒストグラムを生成するヒストグラム生成ステップと、
    前記ターゲットヒストグラムと前記背景ヒストグラムを利用してルックアップテーブルを生成するルックアップテーブル生成ステップと、
    前記ルックアップテーブルを利用して尤度マップ(likelihood map)を生成する尤度マップ生成ステップと、
    前記尤度マップから前記ターゲットを抽出するための閾値を計算する閾値計算ステップと、
    前記閾値を利用して前記入力映像から前記ターゲットを抽出する閾値利用ターゲット抽出ステップと、
    を含むことを特徴とする、請求項1に記載のターゲット抽出方法。
  5. 前記ヒストグラム生成ステップは、前記ターゲット領域を構成する画素ごとに前記ターゲット領域における中心点からの距離に応じた加重値を考慮して、前記ターゲットヒストグラムを生成することを特徴とする、請求項に記載のターゲット抽出方法。
  6. 前記背景領域抽出ステップは、前記背景領域で前記ターゲット領域を囲む領域を抽出することを特徴とする、請求項1に記載のターゲット抽出方法。
  7. 前記ターゲット領域抽出ステップは、予め定められた追跡アルゴリズムにより、前記入力映像から推定された前記ターゲットの位置を基礎に前記ターゲット領域を抽出することを特徴とする、請求項1に記載のターゲット抽出方法。
  8. 前記ターゲット抽出ステップで抽出されたターゲットは、前記入力映像以後に入力される映像におけるターゲットを追跡するのに用いることを特徴とする、請求項1に記載のターゲット抽出方法。
  9. コンピュータで読み取り可能な記録媒体であって、請求項1〜のうちのいずれか一項による方法を実現するプログラムが記録された記録媒体。
  10. 入力映像からターゲット領域を抽出するターゲット領域抽出部と、
    前記ターゲット領域の大きさを考慮して、前記入力映像から背景領域を抽出する背景領域抽出部と、
    前記ターゲット領域と前記背景領域を基礎に前記入力映像からターゲットを抽出するターゲット抽出部と、
    を含み、
    前記背景領域抽出部は、
    前記ターゲット領域の大きさと予め定められた第1利得値の積を利用して前記背景領域の大きさを計算する背景領域大きさ計算モジュールと、
    予め定められた第2利得値を前記ターゲット領域の大きさで分けた値を利用して前記ターゲット領域からの距離を計算する距離計算モジュールと、
    前記計算された背景領域の大きさと前記計算されたターゲット領域からの距離に応じて前記背景領域を抽出する背景領域抽出モジュールと、
    を含むことを特徴とするターゲット抽出装置。
  11. 前記ターゲット抽出部は、
    前記ターゲット領域を構成する画素ごとに前記ターゲット領域における中心点からの距離に応じた加重値を考慮して前記ターゲット領域に対するターゲットヒストグラムを生成し、前記背景領域に対する背景ヒストグラムを生成するヒストグラム生成モジュールと、
    前記ターゲットヒストグラムと前記背景ヒストグラムを利用してルックアップテーブルを生成するルックアップテーブル生成モジュールと、
    前記ルックアップテーブルを利用して尤度マップ(likelihood map)を生成する尤度マップ生成モジュールと、
    前記尤度マップから前記ターゲットを抽出するための閾値を計算する閾値計算モジュールと、
    前記閾値を利用して前記入力映像から前記ターゲットを抽出する閾値利用ターゲット抽出モジュールと、
    を含むことを特徴とする、請求項10に記載のターゲット抽出装置。
JP2011017224A 2010-07-29 2011-01-28 ターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体 Active JP5143244B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0073362 2010-07-29
KR1020100073362A KR101026410B1 (ko) 2010-07-29 2010-07-29 표적 추출 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Publications (2)

Publication Number Publication Date
JP2012033143A JP2012033143A (ja) 2012-02-16
JP5143244B2 true JP5143244B2 (ja) 2013-02-13

Family

ID=42757283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011017224A Active JP5143244B2 (ja) 2010-07-29 2011-01-28 ターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体

Country Status (4)

Country Link
US (1) US8447108B2 (ja)
JP (1) JP5143244B2 (ja)
KR (1) KR101026410B1 (ja)
CN (1) CN102346852B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101040305B1 (ko) * 2010-11-26 2011-06-10 삼성탈레스 주식회사 영상 탐색 장치 및 이를 이용한 표적 결정 방법
KR20120069331A (ko) 2010-12-20 2012-06-28 삼성전자주식회사 영상의 전경과 배경을 분리하는 방법
US9129185B1 (en) * 2012-05-21 2015-09-08 The Boeing Company System and method for reducing image clutter
KR101172283B1 (ko) 2012-05-31 2012-08-09 국방과학연구소 해상 표적 검출 방법
JP6672085B2 (ja) 2016-06-17 2020-03-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3803394A (en) 1973-02-14 1974-04-09 Us Air Force Centroid tracker
US5878163A (en) * 1995-10-11 1999-03-02 Raytheon Company Likelihood-based threshold selection for imaging target trackers
US6625316B1 (en) * 1998-06-01 2003-09-23 Canon Kabushiki Kaisha Image processing apparatus and method, and image processing system
JP4156084B2 (ja) 1998-07-31 2008-09-24 松下電器産業株式会社 移動物体追跡装置
JP2000253402A (ja) * 1999-03-03 2000-09-14 Nec Corp 映像データ送信装置及びその映像信号符号化方法並びに映像信号符号化プログラムを格納した記憶媒体
KR100319280B1 (ko) * 1999-07-05 2002-01-09 박태진 전자광학추적장치에서 이동물체가 포함된 동영상신호의 표적/배경 분할방법
US6798424B2 (en) * 2000-07-06 2004-09-28 Fujitsu Limited Image processing method and apparatus and storage medium
JP2003006654A (ja) 2001-06-20 2003-01-10 Nippon Telegr & Teleph Corp <Ntt> 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体
WO2003097850A1 (en) * 2002-01-18 2003-11-27 The Government Of The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services National Institutes Of Health Simulating microarrays using a parameterized model
US7116820B2 (en) * 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
KR100739173B1 (ko) * 2005-03-16 2007-07-13 엘지전자 주식회사 영상통화 중 영상 생성 방법 및 그 장치
WO2007077283A1 (en) * 2005-12-30 2007-07-12 Nokia Corporation Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
CN101685538B (zh) * 2008-09-26 2014-10-22 索尼株式会社 对象跟踪方法和装置
WO2010083235A1 (en) * 2009-01-13 2010-07-22 Futurewei Technologies, Inc. Image processing system and method for object tracking

Also Published As

Publication number Publication date
KR101026410B1 (ko) 2011-04-07
US20120027296A1 (en) 2012-02-02
CN102346852B (zh) 2014-09-03
US8447108B2 (en) 2013-05-21
KR20100092413A (ko) 2010-08-20
CN102346852A (zh) 2012-02-08
JP2012033143A (ja) 2012-02-16

Similar Documents

Publication Publication Date Title
JP6889417B2 (ja) 一連の画像の画像内のオブジェクト境界安定化のための画像処理装置及び方法
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
JP5143244B2 (ja) ターゲット抽出装置とその方法および前記方法を実現するプログラムが記録された記録媒体
US8923612B2 (en) Image processing apparatus and method, and program
KR101655102B1 (ko) 이벤트 검출을 위해 시각 정보를 프로세싱하기 위한 시스템 및 방법
US20200258196A1 (en) Image processing apparatus, image processing method, and storage medium
CN105229697A (zh) 多模态前景背景分割
US10706512B2 (en) Preserving color in image brightness adjustment for exposure fusion
US20120293537A1 (en) Data-generating device, data-generating method, data-generating program and recording medium
US10991393B2 (en) Electronic device and method of managing a playback rate of a plurality of images
JP7152705B2 (ja) 地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復
CN103597516A (zh) 控制虚拟环境中的对象
JP2008259161A (ja) 目標追尾装置
JP2015138399A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US11263759B2 (en) Image processing apparatus, image processing method, and storage medium
US9083913B2 (en) Image processing method, image processing device, and program
CN112598691A (zh) 图像处理装置、图像处理方法和存储介质
KR101781942B1 (ko) 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
US20230115371A1 (en) Efficient vision perception
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
JP6160425B2 (ja) 画像処理装置及びプログラム
KR102516172B1 (ko) 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR101537788B1 (ko) 평균이동 기반의 영상분할 방식을 이용한 저조도 영상 대비증가 방법
JP6273750B2 (ja) 画像処理装置及びプログラム
EP2614489B1 (en) Method and system for obtaining a control information related to a digital image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5143244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250