JPH07140222A - 目標捕捉方式 - Google Patents

Abstract

(57)【要約】 【目的】 複数の波長を持つ映像センサにより、認識す
るための映像と目標捕捉するための映像を連動させトラ
ッキングを容易に実施すること。 【構成】 可視映像センサ１とＩＲ映像センサ２の異な
る波長を持つ映像センサを、駆動安定機構７に取り付
け、可視映像センサ１で取得された映像は認識用の映像
として選択されて、映像処理部３を経由してモニタ５に
映し出される。この映像中に目標物を認識した場合、操
作者は、目標指定部６により、目標を指定する範囲を設
定する。映像処理部３は、目標を捕捉するための目標捕
捉範囲を前述の目標を指定する範囲から算出し、トラッ
キング部４に対して捕捉するＩＲ映像上での範囲を指定
する。トラッキング処理部４は、この範囲に基づいて、
ＩＲ映像センサ２からの映像を用いて目標捕捉を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、モニタ上で認識する映
像と目標物のトラッキングを行う映像とを異なる映像セ
ンサで取得して、これらの映像を連動させて目標指定を
行う目標捕捉方式に係り、特に、２４時間監視システ
ム、遭難者捜索、災害救助等のシステムに使用して好適
な、昼夜、気象の変化等に影響されることなく目標物を
認識することのできる目標捕捉方式に関する。

【０００２】

【従来の技術】目標物の画像による目標捕捉方式に関す
る従来技術として、例えば、「コンピュータ画像処理入
門」日本工業技術センタ編、総研出版（株）（第１４８
頁〜第１５３頁）等に記載された技術が知られている。

【０００３】この従来技術は、テンプレート・パターン
マッチング方式と呼ばれるものであり、トラッキングし
ようとする対象目標物の形状を初期段階で、パターンと
して登録し、この登録パターンとそれ以降の取得映像と
をマッチングさせることにより、対象目標物の移動方
向、位置等を検出し目標物を捕捉していくというもので
ある。

【０００４】また、工業用機械等で用いられている簡便
な目標捕捉方式に関する従来技術として、例えば、「工
業用画像処理」江尻 正員著、昭晃堂（株）（第９３頁
〜第９４頁）等記載された技術が知られている。

【０００５】この従来技術は、ビデオ・トラッキング方
式と呼ばれるものであり、多値画像を一定のしきい値で
２値画像に変換した後、モーメント特徴値等を計算し、
図形の重心の移動方向、位置等を検出して目標物を捕捉
していくというものである。

【０００６】前記従来技術は、どちらの方法も、１つの
決められたセンサからの取得映像に対してのみ処理を施
すものであり、映像を取得するセンサの感知波長がトラ
ッキングの良否に影響をおよぼすものである。

【０００７】

【発明が解決しようとする課題】前記従来技術は、可視
光線の波長のセンサを使用する場合、光源の状態、雲・
霧等の大気の状態によって、取得映像の目標物の形状が
変化し、目標物が遮蔽されることによる形状の変化を生
じ、トラッキングができなくなり目標の捕捉を行うこと
ができなくなるという問題点を有している。

【０００８】また、前記従来技術は、ＩＲ(Infrared)セ
ンサを使用する場合、熱源を感知するため、光源、大気
等の影響を受けにくく、指定した対象目標のトラッキン
グが可能であるという利点を得ることができる。しか
し、ＩＲセンサの取得映像は、熱源レベルを輝度レベル
に変換した濃淡映像であるため、ＩＲセンサを使用する
従来技術は、実際に人間が対象目標物を認識する場合に
有効な色情報、テクスチャ情報を得ることができないと
いう問題点を有している。

【０００９】さらに、他の波長のセンサであるレーダ、
紫外線等を使用する従来技術は、対象目標の特徴に応じ
て目標物検出に有効なセンサを選択して構成されるが、
上記ＩＲセンサを使用した場合と同様に人間が認識する
場合には認識がしにくいという問題点を有している。

【００１０】本発明の目的は、前記従来技術の問題点を
解決し、目標物検知及びトラッキングのために対象物の
特徴を生かした映像センサを採用し、認識及び目標物指
定のために人間が認識し易い可視光センサを採用し、各
センサ間において、目標指定範囲を連動させるようにす
ることにより、認識し易い全天候で昼夜にかかわらず目
標物を捕捉することができる目標捕捉方式を提供するこ
とにある。

【００１１】

【課題を解決するための手段】本発明によれば前記目的
は、異なる波長により映像を取得する２台以上の映像セ
ンサ（カメラ）を同一視軸となるように配置し、目標物
のトラッキングが容易となるように、予め選択した波長
の目標物検知及びトラッキングのためのセンサの目標捕
捉範囲を、人間が認識するための映像を取得している映
像モニタ上での目標指定範囲から変換して取得するよう
にすることにより達成される。

【００１２】また、前記目的は、認識用のモニタ上にお
ける映像と同様の映像を目標捕捉用の映像センサで取得
できるように、映像モニタ上の指定範囲に基づいて目標
捕捉用映像センサのレンズ倍率を制御するようにするこ
とにより達成される。

【００１３】また、前記目的は、予め同一のレンズ倍率
を有する複数波長のセンサを備え、同一の取得映像によ
り目標捕捉及び認識の目標指定を行うようにすることに
より達成される。

【００１４】

【作用】異なる波長を有する複数の映像センサは、同一
の取付台、または、それぞれ同一の方向を指向するよう
に制御される取付台群に取り付けられ、指示された方向
に映像センサ群が向くように制御されて映像を取得す
る。取得した映像の目標物の認識に適した映像は、モニ
タ上に映し出され、捕捉する目標範囲がモニタ上の水平
・垂直方向の範囲で指定される。

【００１５】目標の捕捉は、このモニタ上の目標指定範
囲に対して、レンズ倍率、画面画素サイズ等に基づいた
演算処理を行い、目標捕捉に適した波長のセンサの取得
画像上での捕捉範囲を算出し、目標捕捉用センサの映像
上での新たな目標捕捉範囲を設定してテンプレート・マ
ッチング、ビデオ・トラッキング等のトラッキング手段
を用いて行われる。

【００１６】本発明は、前述により、人間が認識するた
めの映像と目標を捕捉するための映像とを連動させるこ
とができるので、目標のトラッキングを容易に実施する
ことができる。

【００１７】また、本発明は、ハードウェア的に目標捕
捉用センサの映像取得範囲を、モニタ上の目標指定範囲
に合わせるようにズームレンズの倍率を制御した後に、
目標捕捉用センサの映像上での新たな目標捕捉範囲内
で、パターンマッチング、ビデオトラッキング等のトラ
ッキング手段を用いて目標の捕捉を行うようにすること
ができ、これにより、認識するための映像と目標を捕捉
するための映像とを連動させて、目標のトラッキングを
容易に実施することができる。

【００１８】また、本発明は、複数の波長の映像センサ
のそれぞれに、予め同一の映像範囲を取得できるような
レンズ倍率のレンズを備えておくようにすることがで
き、これにより、目標捕捉用センサの画像取得範囲をモ
ニタ上の目標指定範囲に合わせることができる。そし
て、本発明は、モニタ上で指定した目標範囲に基づい
て、この目標範囲を捕捉用映像センサの捕捉範囲に変換
した後、目標捕捉用センサの映像上の新たな目標捕捉範
囲内でパターンマッチング、ビデオトラッキング等のト
ラッキング手段を用いて目標捕捉を行うようにすること
ができ、これにより、認識するための映像と目標捕捉す
るための映像とを連動させて、目標のトラッキングを容
易に実施することができる。

【００１９】

【実施例】以下、本発明による目標捕捉方式の一実施例
を図面により詳細に説明する。

【００２０】図１は本発明を適用した監視システムの一
実施例の構成の概要を示すブロック図、図２は認識用の
可視映像と目標捕捉用のＩＲ映像との関連を説明する
図、図３は画像処理部における目標捕捉範囲の算出を説
明するフローチャート、図４はトラッキング手段の構成
例を示すブロック図である。図１、図２、図４におい
て、１は可視映像センサ、２はＩＲ映像センサ、３は映
像処理部、４はトラッキング処理部、５はモニタ、６は
目標指定部、７は駆動安定機構、１１は可視映像、１２
はズームアップした可視映像、１５は目標指定範囲、２
１はＩＲ映像、２５は目標捕捉範囲、２６は可視画面を
ズームアップした時の目標捕捉範囲、３１は映像切換処
理部、３２は目標捕捉範囲変換部、４１は比較部、４２
は積算部、４３はタイミング検出部、４４は垂直ウィン
ドウ指定部、４５は水平ウィンドウ指定部、４６は輝度
中心検出部、４７は比較レベル指定部である。

【００２１】本発明を適用した監視システムは、図１に
示すように、可視映像センサ１とＩＲ映像センサ２の異
なる波長を持つ映像センサが、駆動安定機構７に取り付
けられて、駆動安定機構７の指向方向に常に２つの映像
センサ１、２が指向するように構成されいる。そして、
可視映像センサ１で取得された映像は、認識用の映像と
して選択され、映像処理部３を経由してモニタ５に映し
出される。

【００２２】モニタ５に映しだされた映像の中に目標物
を認識した場合、操作者は、目標指定部６により、目標
の指定範囲を設定する。これにより、システムは、目標
の捕捉を開始する。目標指定範囲が設定されると、映像
処理部３は、目標を捕捉するための目標捕捉範囲を算出
し、トラッキング部４に対して捕捉するＩＲ映像上での
範囲を指定する。トラッキング処理部４は、この範囲に
基づいてＩＲ映像センサ２からの映像を用いて目標捕捉
を行う。

【００２３】図１に示すシステムは、前述のようにして
認識が容易な可視映像上で目標指定を行うことにより、
可視映像上での目標指定をトラッキングに好適なＩＲ映
像上の目標捕捉範囲に変換することができるため、目標
捕捉を確実に行うことができると共に、目標の認識も容
易に行うことができる。

【００２４】次に、図２を参照して、前述における認識
用の可視映像と目標捕捉用のＩＲ映像との関連を説明す
る。

【００２５】可視映像１１は、可視映像センサ１により
取得され、モニタ５に映し出された映像である。モニタ
５上の映像で目標を認識した場合、その目標の指定を目
標指定部６により行うと目標指定範囲１５がモニタ上に
表示され、目標を捕捉する指示が画像処理部３に通知さ
れる。画像処理部３は、後述する図３の処理フローに従
って目標指定範囲１５から目標捕捉範囲２５を算出し、
ＩＲ映像センサ２で取得したＩＲ映像２１の目標捕捉範
囲２５内でのトラッキングが実行される。

【００２６】目標捕捉中に、より詳細な情報を取得する
ために、可視映像センサ１のレンズ倍率を大きくして望
遠とした場合、モニタ５は、可視映像１２のような映像
を映し出す。この場合、モニタ５上における目標指定範
囲１５の座標範囲に変化がなく、モニタ映像の範囲が変
化するが、ＩＲ映像２１の目標捕捉範囲２６は、目標指
定範囲１５のモニタ映像に基づいて自動的に変更され、
トラッキングが継続される。

【００２７】次に、図３に示すフローを参照して、画像
処理部３における目標捕捉範囲の算出処理について説明
する。

【００２８】図示処理の例は、モニタ５上で目標指定範
囲１５が設定されると、画像処理部３が、可視映像セン
サ１及びＩＲ映像センサ２のレンズ倍率、画面の画素数
等に基づいて、目標の捕捉範囲を計算し、トラッキング
部４に対してＩＲ映像センサ２の垂直方向／水平方向ウ
ィンドウの指定を行うものである。

【００２９】（１）モニタ５上に目標指定範囲１５が設
定されると、画像処理部３は、まず、モニタ５より目標
指定範囲１５を読み込む（ステップ１００）。

【００３０】（２）次に、画像処理部３は、可視映像セ
ンサ１及びＩＲ映像センサ２からの映像の状態、すなわ
ち、これらのセンサのレンズ倍率、画面の画素数等を読
み込む（ステップ１１０）。

【００３１】（３）画像処理部３は、読み込んだ目標指
定範囲１５から、２つのセンサのレンズ倍率、画面の画
素数等に基づいて捕捉範囲を演算し、目標指定範囲１５
を目標捕捉範囲に変換する（ステップ１２０）。

【００３２】（４）その後、画像処理部３は、ステップ
１２０で得た目標捕捉範囲に対応するＩＲ映像センサ２
の垂直方向／水平方向ウィンドウを決定してトラッキン
グ部４に通知する（ステップ１３０）。

【００３３】次に、図４を参照して、本発明の一実施例
によるトラッキング手段の構成例を説明する。

【００３４】図４に示すトラッキング手段は、トラッキ
ング処理部４内の比較部４１、積算部４２、タイミング
検出部４３、垂直ウィンドウ指定部４４、水平ウィンド
ウ指定部４５、輝度中心検出部４６、比較レベル指定部
４７により構成される。

【００３５】このトラッキング手段において、モニタ５
上の目標指定範囲に基づいて目標捕捉範囲を算出する画
像処理部３の目標捕捉範囲変換部３２で決定された垂直
方向／水平方向ウィンドウの値は、垂直ウィンドウ指定
部４４および水平ウィンドウ指定部４５に設定される。

【００３６】また、ＩＲ映像センサ２からの映像の各ラ
イン毎の輝度レベルは、比較レベル指定部４７からの自
動及び手動で指定できるようになっている比較レベルと
比較器４１で比較され、その結果に対して積算部４２で
先に設定された垂直方向／水平方向ウィンドウの範囲の
積算が実施される。その後、輝度中心検出部４６は、こ
の積算結果を使用して捕捉目標の範囲内で中心位置を求
める。

【００３７】トラッキング処理部４は、この中心一が画
面の中心に来るように駆動安定機構７を制御し、映像セ
ンサ１、２をの方向を制御してトラッキングを行う。

【００３８】前述した本発明の一実施例によれば、予め
選択した波長の目標物検知及びトラッキングのためのセ
ンサの目標捕捉範囲を、人間が認識するための映像を取
得している映像モニタ上での目標指定範囲から変換して
取得するようにしているので、人間による目標の認識が
容易となり、かつ、目標の捕捉を確実に行うことができ
る。

【００３９】図５は本発明を適用した監視システムの他
の実施例の構成の概要を示すブロック図である。図５に
おいて、８はレンズ制御部であり、他の符号は図１の場
合と同一である。

【００４０】図示監視システムの他の実施例は、モニタ
５上の目標指定に基づいて、ＩＲ映像センサ２のレンズ
倍率を制御することにより、目標捕捉範囲を指定する例
であり、ＩＲ映像センサ２にトラッキング処理部４によ
り制御されるレンズ制御部８が設けられている点で、図
１により説明した実施例と相違し、その他の点では図１
と同一である。

【００４１】この実施例は、映像処理部３が目標指定範
囲からズーム倍率を算出してトラッキング処理部４に与
え、トラッキング処理部４がレンズ制御部８へ制御情報
を伝送し、ＩＲ映像センサのレンズ部を制御しＩＲ映像
上での範囲を指定するというものである。トラッキング
処理部４は、この範囲に基づいてＩＲ映像センサ２から
の映像を用いて目標捕捉を行う。

【００４２】このような実施例によっても、図１〜図４
により説明した実施例と同様な効果を得ることがでる。

【００４３】前述した本発明の実施例は、可視映像セン
サとＩＲ映像センサとを組合せて使用するとして説明し
たが、本発明は、他の波長を持つレーダ、紫外線映像セ
ンサ等と可視映像センサとを組合せて使用する場合に
も、前述と同様の方法で、認識が容易な可視映像上で目
標指定範囲を設定することにより、この目標指定範囲を
トラッキングに好適な波長の映像上の目標捕捉範囲に変
換することができるため、人間による目標の認識が容易
であり、目標の捕捉を確実に行うことができる。

【００４４】

【発明の効果】以上説明したように本発明によれば、目
標指定範囲を目標捕捉範囲に変換する処理を持たせるこ
とにより、目標の認識のために人間が認識し易い可視映
像を用い、目標捕捉のためにトラッキングに好適な波長
を持つ映像を用い、これらを連動させることができるの
で、人間による目標の認識を容易に行わせることがで
き、かつ、目標の捕捉を確実に行うことができる。

【図面の簡単な説明】

【図１】本発明を適用した監視システムの一実施例の構
成の概要を示すブロック図である。

【図２】認識用の可視映像と目標捕捉用のＩＲ映像との
関連を説明する図である。

【図３】画像処理部における目標捕捉範囲の算出を説明
するフローチャートである。

【図４】トラッキング手段の構成例を示すブロック図で
ある。

【図５】本発明を適用した監視システムの他の実施例の
構成の概要を示すブロック図である。

【符号の説明】

１ 可視映像センサ ２ ＩＲ映像センサ ３ 映像処理部 ４ トラッキング処理部 ５ モニタ ６ 目標指定部 ７ 駆動安定機構 ８ レンズ制御部 １１ 可視映像 １２ ズームアップした可視映像 １５ 目標指定範囲 ２１ ＩＲ映像 ２５、２６ 目標捕捉範囲 ３１ 映像切換処理部 ３２ 目標捕捉範囲変換部 ４１ 比較部 ４２ 積算部 ４３ タイミング検出部 ４４ 垂直ウィンドウ指定部 ４５ 水平ウィンドウ指定部 ４６ 輝度中心検出部 ４７ 比較レベル指定部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 映像センサを使用する目標捕捉方式にお
   いて、可視映像センサと、該可視映像センサとは異なる
   波長を持つトラッキング用の映像センサと、これらの映
   像センサを同一視軸となるように制御する駆動安定機構
   と、取得した映像を認識するためのモニタ装置と、目標
   指定範囲を設定する指定部と、前記映像センサからの入
   力信号により目標物をトラッキングする処理部とを備
   え、可視映像センサからの映像に基づいて指定された目
   標指定範囲を、トラッキング用の映像センサより得られ
   る映像上の目標捕捉範囲に変換し、この目標捕捉範囲
   と、トラッキング用の映像センサより得られる映像とに
   より、目標の捕捉を行うことを特徴とする目標捕捉方
   式。
2. 【請求項２】 前記可視映像センサと、トラッキング用
   の映像センサとに同一倍率のレンズを備えることを特徴
   とする請求項１記載の目標捕捉方式。
3. 【請求項３】 前記モニタ装置上に取得されている可視
   映像上で目標を指定することにより、トラッキングを行
   う映像を取得している映像センサのレンズ倍率を制御
   し、トラッキングを行う映像をモニタ装置上の可視映像
   と同一の倍率に変換することを特徴とする請求項１記載
   の目標捕捉方式。
4. 【請求項４】 前記トラッキング用の映像センサが、Ｉ
   Ｒ映像センサ、レーダ、または、紫外線映像センサであ
   ることを特徴とする請求項１、２または３記載の目標捕
   捉方式。