JP3946927B2 - 目標判定システム及び判定方法 - Google Patents

目標判定システム及び判定方法 Download PDF

Info

Publication number
JP3946927B2
JP3946927B2 JP2000065142A JP2000065142A JP3946927B2 JP 3946927 B2 JP3946927 B2 JP 3946927B2 JP 2000065142 A JP2000065142 A JP 2000065142A JP 2000065142 A JP2000065142 A JP 2000065142A JP 3946927 B2 JP3946927 B2 JP 3946927B2
Authority
JP
Japan
Prior art keywords
image processing
segment
processing
evaluation value
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000065142A
Other languages
English (en)
Other versions
JP2001256500A (ja
Inventor
稔 菊池
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to JP2000065142A priority Critical patent/JP3946927B2/ja
Publication of JP2001256500A publication Critical patent/JP2001256500A/ja
Application granted granted Critical
Publication of JP3946927B2 publication Critical patent/JP3946927B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、特に画像処理システムを利用して、目標対象物の監視や追従処理に必要な目標対象を判定するための目標判定システム及び判定方法に関する。
【0002】
【従来の技術】
従来、例えばミサイルの目標判定システムや監視システムでは、目標対象物の追従や監視処理を行なうために、当該目標対象物を特定するための目標判定システムが設けられている。
【0003】
目標判定システムは、例えばカメラなどの撮像装置から得られた入力画像データを入力し、当該画像データから対象物候補を抽出し、最終的に目標対象物を特定する処理プロセスを実行する。当該システムは、画像処理システムを利用して、静止画像処理方式による輝度やコントラスト検出に基づいた対象物候補の抽出処理や、動画像処理(動ベクトル処理)方式による移動領域の検出に基づいた対象物候補の抽出処理を実行する。要するに、目標判定システムは、各画像処理方式により、対象物候補の特徴量を抽出して、この特徴量に基づいて最終的な目標対象物の判定処理を実行している。
【0004】
【発明が解決しようとする課題】
従来の画像処理システムを利用した目標判定システムは、対象物の特徴が一元的でかつ計測値の大小比較で判定可能な場合には、比較的容易に対象候補から目標対象物を判定することができる。
【0005】
しかしながら、特に目標対象物が野外に存在する場合には、多数の類似物体(対象物候補)が存在する可能性が高い。このため、各対象物候補毎に画像処理を行なうことは、処理量が増大化し、結果として判定処理の遅延化を招く。また、画像処理の種類を単純に増加させた場合も、処理量が増大化し、同様に処理の遅延化を招く。また、必ずしも処理精度が向上するとは限らない。
【0006】
一方、野外では環境変化が激しい場合が多く、一元的な画像処理を適用した場合には、画像状況の変化、ノイズの増大などにより、一時的に対象候補を検出できない事態となる可能性が高い。この結果として、連続的な判定処理では、処理が停止状態になったり、対象候補に対する十分な特徴量を抽出できない事態が発生する可能性が高い。
【0007】
そこで、本発明の目的は、多数の類似物体(対象物候補)が存在し、かつ環境変化が激しい場合でも、処理の高速化及び処理精度の向上を図ることにより、高性能の目標判定システム及び判定方法を提供することにある。
【0008】
【課題を解決するための手段】
本発明の観点に従った目標判定システムは、画像処理システムを利用して目標対象物を判定する目標判定システムであって、撮像装置により入力された入力画像に対して静止画像処理及び動画像処理の各画像処理を同時、並列に実行させて、当該各画像処理により検出された領域である各セグメント毎に、複数のフレームからなる画像処理データをそれぞれ出力する画像入力手段と、前記各画像処理データに含まれる前記各セグメントの各特徴量を抽出し、位置情報に基づいて前記各セグメントが同一対象物であるか否かを判定するための照合処理手段と、前記照合処理手段により同一対象物であると照合された各セグメントの識別関数値である評価値を、前記照合処理手段により与えられた前記各特徴量及び前記目標対象物に基づいて設定された特徴量重み係数を利用して算出する識別関数計算手段と、前記識別関数計算手段により算出された前記各評価値に基づいて、時系列要素を考慮した複数フレームの評価値を割引ながら積算する傾斜相関処理により前記各セグメントの総合的評価値を求めて比較し、相対的に最大値を示す総合的評価値に対応するセグメントを最終的な目標対象物であると判定する判定処理手段とを備えた構成である。
【0009】
このような構成であれば、例えば静止画像処理方式及び動画像処理(動ベクトル処理)方式のような複数種の処理方式を同時、並列に実行して、各処理方式により対象物候補の特徴量を得ることができる。従って、対象物候補に対する特徴を多角的に捉えることが可能となり、環境変化などにより一部の処理結果が無効になるような事態でも、十分な特徴量を確保することができる。また、複数種の処理方式を同時、並列に実行すれば、多数の対象物候補が存在する場合でも、結果として判定処理速度の低下を招くことはない。さらに、各処理方式により得られた対象物候補の特徴量を、いわば統合的に処理して対象物候補の総合的評価値を得ることにより、最終的に目標対象物の判定精度を向上させることができる。
【0010】
【発明の実施の形態】
以下図面を参照して、本発明の実施の形態を説明する。
【0011】
(目標判定システムの構成)
図1は、ディジタル画像処理システムを利用した目標判定システム1の構成を示すブロック図である。当該システム1は大別して、画像入力系20と、対象物判定処理システム10と、総合判定部30とから構成されている。
【0012】
画像入力系20は、複数種の画像処理方式による例えば静止画像処理部200及び動画像処理部(動ベクトル処理部)201を有する。画像入力系20は、入力画像に対して、異なる各画像処理を同時、並列に実行して、それぞれの画像処理データ(SD),(MD)を生成する。ここで、入力画像は、目標対象物を含む範囲をカメラなどの撮像装置(図示せず)により撮像された画像データである。
【0013】
静止画像処理部200は、例えば2次元CFAR(two dimensional Constant False Alarm Rate)処理方式などを利用した処理部であり、入力画像から輝度、コントラストの強い領域を検出して、画像処理データ(SD)として出力する。また、動画像処理部201は、入力画像から移動ベクトル処理を実行して、移動領域を検出して、画像処理データ(MD)として出力する。
【0014】
ここで、各画像処理により検出された領域は、セグメントとして定義する。各セグメントは、目標対象物、類似した対象物候補、及びそれらの背景のいずれかに属するものである。各画像処理データ(SD),(MD)には、後述するセグメントの特徴量(Ua),(Ub)が含まれている。
【0015】
対象物判定処理システム10は、セグメント照合処理部100と、識別関数値計算部101と、傾斜相関処理部102とを有する。セグメント照合処理部100は、画像入力系20から出力された画像処理データ(SD),(MD)を入力して、各画像処理方式毎に特徴量(Ua),(Ub)を抽出して出力する。さらに、セグメント照合処理部100は、位置情報などに基づいてセグメント照合処理を実行し、各セグメントが同一対象物であるか否かを判定する機能を有する。
【0016】
識別関数値計算部101は、セグメント照合処理部100により与えられる特徴量(Ua),(Ub)及び所定の特徴量重み係数(ωa,ωb)を使用して、複数の対象物候補(セグメント)の識別関数値(評価値(V))を計算する。ここで、特徴量重み係数(ωa,ωb)は、目標対象物を最も的確に算出可能であるような予め設定された設定値である。傾斜相関処理部102は、傾斜相関処理により複数フレームの評価値を割引ながら積算する処理であり、時系列要素を考慮した複数の対象物候補の総合評価値(CV)を求める機能を有する。
【0017】
総合判定部30は、複数の対象物候補の総合評価値(CV)を比較処理し、例えば相対的に最大値を示す総合評価値(CV)のセグメントを最終的に目標対象物であると判定する機能を有する。
【0018】
(目標判定処理の手順)
以下図1と共に、図2から図5、及び図6のフローチャートを参照して、同実施形態のシステムの処理手順を説明する。
【0019】
まず、カメラなどの撮像装置により、例えば図2(A)に示すような入力画像が画像入力系20に入力されて処理される。画像入力系20は、前述したように、入力画像に対して異なる各画像処理を同時、並列に実行して、それぞれの画像処理データ(SD),(MD)を生成する(ステップS1)。ここで、入力画像としては、対象物候補(T1),(T2)及び背景(A,B)が含まれていると想定する。
【0020】
セグメント照合処理部100は、画像入力系20から出力された画像処理データ(SD),(MD)から、各画像処理方式毎に特徴量(Ua),(Ub)を抽出して出力する(ステップS2)。具体的には、図2(B)に示すように、同図(A)に示す画像に対して、静止画像処理部200からの画像処理データ(SD)から、対象物候補(T1),(T2)及び背景(A,B)に対応する特徴量(Ua)を抽出する。また、図3(B)に示すように、同図(A)に示す画像に対して、動画像処理部201からの画像処理データ(MD)から、対象物候補(T1),(T2)及び背景(A,B)に対応する特徴量(Ub)を抽出する。
【0021】
さらに、セグメント照合処理部100は、位置情報などに基づいてセグメント照合処理を実行し、各セグメントが同一対象物であるか否かを判定する(ステップS3)。ここでは、当該判定処理により、対象物候補(T1),(T2)及び背景(A,B)である各セグメントは、同一対象物ではないと判定される。
【0022】
識別関数値計算部101は、図4に示すように、セグメント照合処理部100により与えられる特徴量(Ua),(Ub)及び所定の特徴量重み係数(ωa,ωb)を使用して、複数の対象物候補(T1,T2)の評価値(V1,V2)を計算する(ステップS4)。ここで、背景(A,B)である各セグメントは、当該計算部101による評価値に基づいて、目標対象物から除外される。さらに、傾斜相関処理部102は、複数の対象物候補(T1,T2)の評価値(V1,V2)から、時系列要素を考慮した総合評価値(CV1,CV2)を求める(ステップS5)。
【0023】
そして、総合判定部30は、複数の対象物候補の総合評価値(CV1,CV2)を比較処理し、相対的に最大値を示す総合評価値のセグメントを最終的に目標対象物であると判定する(ステップS6)。ここでは、図5に示すように、相対的に大きい総合評価値(CV1)を示す対象物候補(T1)を、最終的に目標対象物(50)として判定する。
【0024】
以上のように同実施形態によれば、入力画像に対して異なる複数種の画像処理方式を同時、並列に実行して、各処理方式により対象物候補の複数の特徴量を得ることができる。従って、同一の対象物候補の場合でも特徴を多角的に捉えることが可能となる。これにより、環境変化などにより一部の処理結果が無効になるような事態でも、十分な特徴量を確保することができる。また、複数種の処理方式を同時、並列に実行することにより、多数の対象物候補が存在する場合でも、処理速度の高速化を図ることができる。従って、結果として目標対象物の判定処理速度の低下を招くことはない。さらに、各処理方式により得られた対象物候補の特徴量を、いわば統合的に処理して総合的評価値に基づいて目標対象物を判定するため、判定精度を向上させることができる。
【0025】
【発明の効果】
以上詳述したように本発明によれば、多数の類似物体(対象物候補)が存在し、かつ環境変化が激しい場合でも、処理の高速化及び処理精度の向上を図ることにより、高性能の目標判定システムを提供することにある。従って、本発明のシステムを、例えば野外に存在する目標対象物を追従するミサイルシステムや、環境変化の激しい野外に存在する対象物を監視する監視システムに適用すれば、確実に目標対象物を特定できるため、極めて有用である。
【図面の簡単な説明】
【図1】本発明の実施形態に関係する目標判定システムの要部を示すブロック図。
【図2】同実施形態に関係するセグメント照合処理部の処理を説明するための図。
【図3】同実施形態に関係するセグメント照合処理部の処理を説明するための図。
【図4】同実施形態に関係する識別関数値計算部の処理を説明するための図。
【図5】同実施形態に関係する総合判定部の処理を説明するための図。
【図6】同実施形態の判定処理の手順を説明するためのフローチャート。
【符号の説明】
1…目標判定システム
10…対象物判定処理システム
20…画像入力系
30…総合判定部
100…セグメント照合処理部
101…識別関数値計算部
102…傾斜相関処理部
200…静止画像処理部
201…動画像処理部(動ベクトル処理部)

Claims (2)

  1. 画像処理システムを利用して目標対象物を判定する目標判定システムであって、
    撮像装置により入力された入力画像に対して静止画像処理及び動画像処理の各画像処理を同時、並列に実行させて、当該各画像処理により検出された領域である各セグメント毎に、複数のフレームからなる画像処理データをそれぞれ出力する画像入力手段と、
    前記各画像処理データに含まれる前記各セグメントの各特徴量を抽出し、位置情報に基づいて前記各セグメントが同一対象物であるか否かを判定するための照合処理手段と、
    前記照合処理手段により同一対象物であると照合された各セグメントの識別関数値である評価値を、前記照合処理手段により与えられた前記各特徴量及び前記目標対象物に基づいて設定された特徴量重み係数を利用して算出する識別関数計算手段と、
    前記識別関数計算手段により算出された前記各評価値に基づいて、時系列要素を考慮した複数フレームの評価値を割引ながら積算する傾斜相関処理により前記各セグメントの総合的評価値を求めて比較し、相対的に最大値を示す総合的評価値に対応するセグメントを最終的な目標対象物であると判定する判定処理手段と
    を具備したことを特徴とする目標判定システム。
  2. 画像処理システムを利用して目標対象物を判定する目標判定システムに適用する判定方法であって、
    撮像装置により入力された入力画像に対して静止画像処理及び動画像処理の各画像処理を同時、並列に実行させて、当該各画像処理により検出された領域である各セグメント毎に、複数のフレームからなる画像処理データをそれぞれ出力するステップと、
    前記各画像処理データに含まれる前記各セグメントの各特徴量を抽出し、位置情報に基づいて前記各セグメントが同一対象物であるか否かを判定するステップと、
    前記照合処理ステップにより同一対象物であると照合された各セグメントの識別関数値である評価値を、前記抽出された各特徴量及び前記目標対象物に基づいて設定された特徴量重み係数を利用して算出するステップと、
    前記算出された各評価値に基づいて、時系列要素を考慮した複数フレームの評価値を割引ながら積算する傾斜相関処理により、各セグメントの総合的評価値を算出するステップと、
    前記各総合的評価値を比較し、相対的に最大値を示す総合的評価値に対応するセグメントを最終的な目標対象物であると判定するステップと
    を有する手順を実行することを特徴とする判定方法。
JP2000065142A 2000-03-09 2000-03-09 目標判定システム及び判定方法 Expired - Fee Related JP3946927B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000065142A JP3946927B2 (ja) 2000-03-09 2000-03-09 目標判定システム及び判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000065142A JP3946927B2 (ja) 2000-03-09 2000-03-09 目標判定システム及び判定方法

Publications (2)

Publication Number Publication Date
JP2001256500A JP2001256500A (ja) 2001-09-21
JP3946927B2 true JP3946927B2 (ja) 2007-07-18

Family

ID=18584722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000065142A Expired - Fee Related JP3946927B2 (ja) 2000-03-09 2000-03-09 目標判定システム及び判定方法

Country Status (1)

Country Link
JP (1) JP3946927B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process

Also Published As

Publication number Publication date
JP2001256500A (ja) 2001-09-21

Similar Documents

Publication Publication Date Title
Liao et al. Modeling pixel process with scale invariant local patterns for background subtraction in complex scenes
KR100474848B1 (ko) 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
Han et al. Density-based multifeature background subtraction with support vector machine
US7916944B2 (en) System and method for feature level foreground segmentation
Javed et al. Tracking and object classification for automated surveillance
CN102722891B (zh) 一种图像显著度检测的方法
US7729512B2 (en) Stereo image processing to detect moving objects
Seow et al. Neural network based skin color model for face detection
US20030179911A1 (en) Face detection in digital images
KR101507662B1 (ko) 비디오 내 객체들의 시맨틱 파싱
JP2007323572A (ja) 物体検出装置、物体検出方法および物体検出プログラム
WO2009095168A1 (en) Detecting facial expressions in digital images
EP2467828B1 (de) Verfahren und system zur automatischen objekterkennung und anschliessenden objektverfolgung nach massgabe der objektform
CN1523533A (zh) 人的检测方法和设备
KR20010054674A (ko) 화자 위치 검출 장치 및 그 방법
JP2001216515A (ja) 人物の顔の検出方法およびその装置
Han et al. Employing a RGB-D sensor for real-time tracking of humans across multiple re-entries in a smart environment
US8588466B2 (en) Object area detection system, device, method, and program for detecting an object
JP2001175876A (ja) 移動物体検出方法及び移動物体検出装置
JP2006146626A (ja) パターン認識方法および装置
EP2028619A1 (en) Video image special effect detecting device, special effect detecting method, special effect detecting program and video image reproducing device
Hinz Fast and subpixel precise blob detection and attribution
JP4997178B2 (ja) 物体検出装置
US20110176000A1 (en) System and Method for Counting People
KR100860988B1 (ko) 시퀀스들에서의 객체 탐지를 위한 방법 및 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040907

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041020

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050202

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050218

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070412

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees