JP3668092B2 - 画像処理装置及びこれを用いた目標検出追随装置 - Google Patents
画像処理装置及びこれを用いた目標検出追随装置 Download PDFInfo
- Publication number
- JP3668092B2 JP3668092B2 JP2000080409A JP2000080409A JP3668092B2 JP 3668092 B2 JP3668092 B2 JP 3668092B2 JP 2000080409 A JP2000080409 A JP 2000080409A JP 2000080409 A JP2000080409 A JP 2000080409A JP 3668092 B2 JP3668092 B2 JP 3668092B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- label
- feature
- frame
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置であり、テレビカメラや赤外線撮像装置等の撮像装置から供給される映像信号から領域毎に抽出した特徴情報に基づいて目標を検出し、撮像装置の向きを制御することで視野内の目標を追随させることができる目標検出追随装置に関する。
【０００２】
【従来の技術】
最近、誘導弾の誘導精度において高い水準が求められてきており、そのための撮像装置の目標検出追随装置においても高い信頼性が望まれている。目標検出追随装置とは、目標物を含んだ映像信号を解析し抽出した目標情報に基づいて、対象物を捉える撮像装置の方向を制御させる装置である。
【０００３】
つまり目標検出追随装置においては、テレビカメラや赤外線撮像装置から供給される映像信号をデジタル信号化し領域分割して、画像信号内に目標候補となるべき画像が検出されれば、画像毎にラベルを与えラベルテーブルを作成する。そして、ラベル毎に画像信号から、特徴信号、例えば領域毎の濃度最大値、最小値、それらの座標、大きさ、総和等の特徴を抽出する。そしてこの特徴情報に基づいて目標を抽出し撮像装置の方向を制御しており、これにより撮像装置は目標の追随を可能とする。
【０００４】
【発明が解決しようとする課題】
しかしながらこのような目標検出追随装置において、ラベリング処理により作成されるラベルテーブルは、フレーム毎に独立して扱われているため、同一の目標物の画像に各フレーム間で必ずしも同一のラベルが与えられてはいない。従って例えば、あるフレームでは３番目のラベルが与えられている目標物は、次のフレームでは２番目のラベルが与えられることになる。従ってラベル毎に特徴情報を編集しても、この目標物がどのように移動しているか等の情報としては用いることができない。従って、ラベルテーブルに基づく特徴情報は、各フレームごとに独立した瞬間的なデータとしてしか利用できず、各ラベルに対応した目標物の時間的に連続した運動を示すデータとしては制御に利用することができないという問題がある。
【０００５】
本発明は、目標物に与えられるラベルを１フレームごとの指標として扱うのではなく、複数のフレーム間で同一の目標物に同一ラベルが与えられるようにラベルテーブルを修正しラベル毎の特徴情報を連続した目標物の運動情報として利用することにより、更に信頼性が向上した目標検出追随装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、撮像装置で得られた映像信号を、フレーム毎のデジタル信号の画像信号に変換する変換部と、前記変換部が変換した画像信号について仮ラベルを付け、仮ラベル付けされた画像について特徴情報を取得する特徴抽出部と、前記特徴抽出部が抽出した特徴情報と、供給されるフレーム連結情報とに基づき、目標物の特徴情報を抽出する目標抽出と、前記目標抽出部が抽出した目標物の特徴情報に基づいて、当該撮像装置の方向を制御するサーボ回路部と、前記特徴抽出部による前記仮ラベルを、一塊りの画素に対してラベルが必ず一つとなるように１フレームの画像信号の処理の後に正式ラベルとするリラベリング処理を行い、前記正式ラベルを、複数のフレーム間で同一の目的物の候補画像について同一のラベルが割り当てられるように修正することで前記フレーム連結情報を取得し、これを前記目標抽出部に供給するリラベリング・フレーム連結修正部とを有することを特徴とする目標検出追随装置である。
【０００７】
本発明の目標検出追随装置は上述したように、目標物の候補画像を検出してラベル付けを行った後に、フレーム連結調査回路８によって複数のフレーム間でこのラベル付けが同一の目標の候補画像について行われているかを調査しこれを共通なものに更新するものである。これにより、ラベル毎に抽出された画像特徴情報は、１フレームだけの瞬間的に有効な情報ではなく複数フレームに渡って有効となるので、例えば目標物がある速度である方向に移動していくという連続的な情報を得ることができこれにより従来以上に信頼性の向上した撮像装置の目標検出追随装置を提供することが可能となる。
【００１４】
【発明の実施の形態】
以下、この発明の実施形態を図面を用いて詳細に説明する。
【００１５】
本発明の第１の実施形態は、従来装置では１フレームごとに他のフレームとは無関係に求められていた目標物の候補画像に対応されるラベル付けによるラベルテーブルを、複数のフレームに渡って共通のものとして修正し、これによりラベル毎の画像特徴情報を活用して高い信頼性をもつ目標検出追随装置を提供するものである。
【００１６】
図１は、本発明の第１の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラムであり、図３は、この目標検出追随装置の動作の一例を示すタイミングチャートである。図１において、本発明に係る目標検出追随装置の一例であるこの装置は、目標物を捉えようとする撮像装置１と、ここから与えられる映像信号を受けてデジタル信号とするためのＡ／Ｄ変換回路２と、ここからのデジタル信号化された映像信号を受け必要な前処理を行う前処理回路３とを有している。更にこの前処理回路３に接続される画像特徴部分を強調処理するための特徴強調回路４と、ここからの画像信号を所定の領域に分割する領域分割回路５と、更に画素の連結状態を調査してラベル付けが必要と判断した画像に対してラベル付けを行う連結踏査回路６とを有している。
【００１７】
更に目標検出追随装置は、連結調査回路６からラベル情報が供給されるラベルテーブルＴ１と、この仮ラベルデータを格納するための画像メモリＭ１と、このラベルテーブルＴ１に必要な修正を加えるテーブル修正制御回路９と、更に再びラベリングを行うリラベリング回路１２と、このリラベリングしたラベルテーブルを格納する画像メモリＭ２と、前処理回路３からの画像情報を受ける画像メモリ特徴強調Ｍ３と、このラベルテーブルに基づいてラベル毎の画像の特徴演算を行う特徴演算部７と、ここで求められたラベル毎の特徴演算による特徴テーブルを格納するための特徴テーブルＴ２と、同様にこのラベルテーブルに基づいて複数のフレーム間の連結調査とを行い、複数のフレーム間に渡り共通したラベルが与えられるべくラベルテーブルを変更するフレーム連結調査回路８と、変更したラベルテーブルが格納されるためのフレーム連結テーブルＴ３と、特徴テーブルＴ２とフレーム連結テーブルＴ３とに基づいて目標物の特徴情報を抽出する目標抽出処理回路１３とを有しており、更にこの目標抽出処理回路１３から制御信号を受け撮像装置の方向を制御するサーボ回路１４とを更に有している。
【００１８】
このような構成において、図３のタイミングチャートを用いならが動作の概要を説明すると、撮像装置１で得られた映像信号は、Ａ／Ｄ変換回路２によりデジタル信号化され、前処理回路３にて必要な前処理が行われ、特徴強調回路４により画像特徴部分を強調処理され、更に領域分割回路５により画像信号を所定の領域に分割され、最後に、連結踏査回路６によって画素の連結状態を調査してラベル付けが必要と判断した画像に対してラベル付けが行われる。この動作がタイミングチャートの（１）〜（６）の部分で示されている。次に与えられたラベルテーブルは、テーブル修正制御回路９により必要なテーブル修正を受け、その後、この仮ラベルはリラベリング回路１２によって、正式なラベルへと置き換えられる。そしてラベル信号が本来の物となると、このラベルテーブルに基づいてラベル毎の濃度最大値、最小値、それらの座標、大きさ、総和等の特徴演算の処理が行われその結果が特徴テーブルＴ２として格納される。この処理と並行して、各フレームの間で同一の目的物の候補画像について同一のラベルが割り当てられいるかの調査処理がフレーム連結調査回路８により行われ、必要なラベルテーブルの修正が行われてその結果はフレーム連結テーブルＴ３へと格納される。
【００１９】
このフレーム連結調査回路８の処理により、従来は１フレームごとに独立して時間的に分断されていたラベルテーブル情報も、時間的に連続して一貫したラベルとして整理されることによって、一つの目標物の移動速度や移動方向、その移動の軌跡等の特徴テーブルＴ２を目標抽出処理回路１３によって利用することが可能となる。そして、最後にこの目標抽出処理回路１３により抽出された目標物の特徴情報によって、撮像装置１の方向がサーボ回路１４により制御することができる。サーボ回路１４は常時所定の目標のデータが得られるように与えられる誤差信号に基づいて撮像装置１の向きを制御するもので、これによって撮像装置１の撮像方向は所定の目標を追随するようになる。
【００２０】
このように、本発明の第１の実施形態に係る目標検出追随装置によれば、複数のフレーム間に渡ってフレーム連結調査回路８の処理によりラベルテーブルを統一することによって、特徴テーブルの情報が連続した目標物の移動速度や移動方向、その移動の軌跡等として扱うことができるため、高い信頼性をもつ目標検出追随装置を提供することができる。
【００２１】
更に本発明の第２実施形態について、図面を用いて詳細に説明する。第２実施形態は上述した第１実施形態のフレーム連結調査処理、つまり、複数のフレーム間で同一の目標候補画像に同一のラベルを与えることで目標候補画像の特徴情報を複数フレームに渡るものとして利用することを可能とする処理を行うものであり、更に処理速度の向上を意図するものである。
【００２２】
つまり、目標候補画像のラベリング処理にとって比較的時間を要している工程として、一塊りの画素に対してラベルが必ず一つとなるように１フレームの画像信号を全て処理した後に行うリラベリング処理があるが、第１実施形態では、この処理が完了した後に上述した特徴演算部７による特徴演算処理やフレーム連結調査回路８によるフレーム連結調査処理がなされている。しかしながら第２の実施形態では、この時間を要するリラベリング処理を待つことなく、連結調査回路６にて目標候補画像に仮ラベルを付与した時点で特徴演算処理やフレーム連結処理を行い、その後、ラベルテーブルで必要なラベルの訂正をするという方法を実施するものである。こうすることにより、比較的時間のかかるリラベリング処理の完了を待たずに特徴演算処理を終えサーボ回路を制御することができるため、全体の処理時間を短縮することが可能となるものである。
【００２３】
図２は、本発明の第２の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム、図４は、その動作の一例を示すタイミングチャートである。但し、図２において図１と同一部分には同一符号を付して示し、ここでは異なる部分についてのみ述べる。
【００２４】
第２実施形態においては、リラベリング処理の完了を待たずに、連結調査回路６にて目標候補画像に仮ラベルを付与した時点で特徴演算処理やフレーム連結処理を行うものであり、前処理回路３の出力から与えられる画像情報は、画像メモリ特徴強調Ｍ３を介さずに直接に特徴演算部７へと供給される。更に、連結調査回路６に特徴演算回路７とフレーム連結調査回路８とが接続されており、連結調査回路６により仮ラベルが付与された直後に、この仮ラベル毎に特徴演算回路７により特徴演算処理がなされ、これと並行してフレーム連結調査回路８によりフレーム連結調査処理がなされる。その後、テーブル修正制御回路９により必要なテーブルの修正が行われると、この修正と同様の修正が、特徴テーブル修正制御回路１０により特徴テーブルＴ２へ、更にフレーム連結修正回路１１によりフレーム連結テーブルＴ３へと与えられる。
【００２５】
そして、それぞれ修正が加えられた特徴テーブルＴ２とフレーム連結テーブルＴ３とに基づいて、目標抽出処理回路１３により目標部の画像が抽出される。そして、この抽出結果がサーボ回路１４により撮像装置１の方向の制御を行う。一方、リラベリング処理がリラベリング回路１２により行われ、この結果が画像メモリＭ２を介してフレーム連結調査回路８に与えられるが、この結果は、次のフレームの仮ラベルが与えられる以前までに与えられてフレーム連結処理が行われれるのであれば、第１実施形態と同等の処理結果を得ることができることとなる。
【００２６】
従って第２実施形態の処理は、図４のタイミングチャートが示すように非常に時間がかかるリベラリング処理（１２）を後回しにして、先にテーブル修正の処理（９）やこれと同等のテーブル修正（１０）、フレーム連結修正（１１）を先に行うことで、目標抽出処理（１３）やサーボ回路１４による制御（１４）が処理時間ｔ２によって行うことができる。これは、第１実施形態の処理時間ｔ１の場合と比較するとき、処理時間が非常に短縮されたことが判る。
【００２７】
従って第２実施形態に係る目標検出追随装置は、仮ラベル画像からフレーム連結調査を行うことにより、実時間での目標検出が可能となり、これによって所定の対象物を良好に追随することが可能になる。
【００２８】
なお、これらの実施形態の記載は、本発明の製造・使用をこの技術分野の当業者に容易にするものであり、これらの様々な変形例が、発明的な飛躍なしに当業者により可能である。
【００２９】
例えば上記実施形態では、ハードウェアで構成した場合について説明したが、この発明はこれに限らずソフトウェアで実現する場合にも実施可能であることは言うまでもない。このように本発明は、記載された実施形態に限定されるものではなく、この原理と新規な特徴に対応した広い範囲での形態に応じるものであることは言うまでもない。
【００３０】
【発明の効果】
以上詳述したように本発明によれば、第１実施形態において、複数のフレーム間に渡ってフレーム連結調査回路の処理によりラベルテーブルを統一することによって、特徴テーブルの情報が連続した目標物の移動速度や移動方向、その移動の軌跡等として扱うことができるため、高い信頼性をもつ目標検出追随装置を提供することができる。
【００３１】
又更に第２実施形態においては、仮ラベルが与えられた段階でフレーム連結調査や特徴抽出を行い時間のかかるリラベリング処理を後に行うことにより全体の処理時間を短縮化することができ、これにより実時間での目標検出を可能とする高い信頼性をもつ目標検出追随装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム。
【図２】本発明の第２の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム。
【図３】本発明の第１の実施形態に係る目標検出追随装置の動作の一例を示すタイミングチャート。
【図４】本発明の第２の実施形態に係る目標検出追随装置の動作の一例を示すタイミングチャート。
【符号の説明】
１ … 撮像装置
２ … Ａ／Ｄ変換回路
３ … 前処理回路
４ … 特徴強調回路
５ … 領域分割回路
６ … 連結調査回路
７ … 特徴演算部
８ … フレーム連結調査回路
９ … テーブル修正制御回路
１０ … 特徴テーブル修正制御回路
１１ … フレーム連結修正回路
１２ … リラベリング回路
１３ … 目標抽出回路
１４ … サーボ回路
Ｔ１ … 目標抽出回路
Ｔ２ … 特徴テーブル
Ｔ３ … フレーム連結テーブル
Ｍ１ … 画像メモリ（仮ラベル）
Ｍ２ … 画像メモリ
Ｍ３ … 画像メモリ特徴強調
【発明の属する技術分野】
この発明は、画像処理装置であり、テレビカメラや赤外線撮像装置等の撮像装置から供給される映像信号から領域毎に抽出した特徴情報に基づいて目標を検出し、撮像装置の向きを制御することで視野内の目標を追随させることができる目標検出追随装置に関する。
【０００２】
【従来の技術】
最近、誘導弾の誘導精度において高い水準が求められてきており、そのための撮像装置の目標検出追随装置においても高い信頼性が望まれている。目標検出追随装置とは、目標物を含んだ映像信号を解析し抽出した目標情報に基づいて、対象物を捉える撮像装置の方向を制御させる装置である。
【０００３】
つまり目標検出追随装置においては、テレビカメラや赤外線撮像装置から供給される映像信号をデジタル信号化し領域分割して、画像信号内に目標候補となるべき画像が検出されれば、画像毎にラベルを与えラベルテーブルを作成する。そして、ラベル毎に画像信号から、特徴信号、例えば領域毎の濃度最大値、最小値、それらの座標、大きさ、総和等の特徴を抽出する。そしてこの特徴情報に基づいて目標を抽出し撮像装置の方向を制御しており、これにより撮像装置は目標の追随を可能とする。
【０００４】
【発明が解決しようとする課題】
しかしながらこのような目標検出追随装置において、ラベリング処理により作成されるラベルテーブルは、フレーム毎に独立して扱われているため、同一の目標物の画像に各フレーム間で必ずしも同一のラベルが与えられてはいない。従って例えば、あるフレームでは３番目のラベルが与えられている目標物は、次のフレームでは２番目のラベルが与えられることになる。従ってラベル毎に特徴情報を編集しても、この目標物がどのように移動しているか等の情報としては用いることができない。従って、ラベルテーブルに基づく特徴情報は、各フレームごとに独立した瞬間的なデータとしてしか利用できず、各ラベルに対応した目標物の時間的に連続した運動を示すデータとしては制御に利用することができないという問題がある。
【０００５】
本発明は、目標物に与えられるラベルを１フレームごとの指標として扱うのではなく、複数のフレーム間で同一の目標物に同一ラベルが与えられるようにラベルテーブルを修正しラベル毎の特徴情報を連続した目標物の運動情報として利用することにより、更に信頼性が向上した目標検出追随装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、撮像装置で得られた映像信号を、フレーム毎のデジタル信号の画像信号に変換する変換部と、前記変換部が変換した画像信号について仮ラベルを付け、仮ラベル付けされた画像について特徴情報を取得する特徴抽出部と、前記特徴抽出部が抽出した特徴情報と、供給されるフレーム連結情報とに基づき、目標物の特徴情報を抽出する目標抽出と、前記目標抽出部が抽出した目標物の特徴情報に基づいて、当該撮像装置の方向を制御するサーボ回路部と、前記特徴抽出部による前記仮ラベルを、一塊りの画素に対してラベルが必ず一つとなるように１フレームの画像信号の処理の後に正式ラベルとするリラベリング処理を行い、前記正式ラベルを、複数のフレーム間で同一の目的物の候補画像について同一のラベルが割り当てられるように修正することで前記フレーム連結情報を取得し、これを前記目標抽出部に供給するリラベリング・フレーム連結修正部とを有することを特徴とする目標検出追随装置である。
【０００７】
本発明の目標検出追随装置は上述したように、目標物の候補画像を検出してラベル付けを行った後に、フレーム連結調査回路８によって複数のフレーム間でこのラベル付けが同一の目標の候補画像について行われているかを調査しこれを共通なものに更新するものである。これにより、ラベル毎に抽出された画像特徴情報は、１フレームだけの瞬間的に有効な情報ではなく複数フレームに渡って有効となるので、例えば目標物がある速度である方向に移動していくという連続的な情報を得ることができこれにより従来以上に信頼性の向上した撮像装置の目標検出追随装置を提供することが可能となる。
【００１４】
【発明の実施の形態】
以下、この発明の実施形態を図面を用いて詳細に説明する。
【００１５】
本発明の第１の実施形態は、従来装置では１フレームごとに他のフレームとは無関係に求められていた目標物の候補画像に対応されるラベル付けによるラベルテーブルを、複数のフレームに渡って共通のものとして修正し、これによりラベル毎の画像特徴情報を活用して高い信頼性をもつ目標検出追随装置を提供するものである。
【００１６】
図１は、本発明の第１の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラムであり、図３は、この目標検出追随装置の動作の一例を示すタイミングチャートである。図１において、本発明に係る目標検出追随装置の一例であるこの装置は、目標物を捉えようとする撮像装置１と、ここから与えられる映像信号を受けてデジタル信号とするためのＡ／Ｄ変換回路２と、ここからのデジタル信号化された映像信号を受け必要な前処理を行う前処理回路３とを有している。更にこの前処理回路３に接続される画像特徴部分を強調処理するための特徴強調回路４と、ここからの画像信号を所定の領域に分割する領域分割回路５と、更に画素の連結状態を調査してラベル付けが必要と判断した画像に対してラベル付けを行う連結踏査回路６とを有している。
【００１７】
更に目標検出追随装置は、連結調査回路６からラベル情報が供給されるラベルテーブルＴ１と、この仮ラベルデータを格納するための画像メモリＭ１と、このラベルテーブルＴ１に必要な修正を加えるテーブル修正制御回路９と、更に再びラベリングを行うリラベリング回路１２と、このリラベリングしたラベルテーブルを格納する画像メモリＭ２と、前処理回路３からの画像情報を受ける画像メモリ特徴強調Ｍ３と、このラベルテーブルに基づいてラベル毎の画像の特徴演算を行う特徴演算部７と、ここで求められたラベル毎の特徴演算による特徴テーブルを格納するための特徴テーブルＴ２と、同様にこのラベルテーブルに基づいて複数のフレーム間の連結調査とを行い、複数のフレーム間に渡り共通したラベルが与えられるべくラベルテーブルを変更するフレーム連結調査回路８と、変更したラベルテーブルが格納されるためのフレーム連結テーブルＴ３と、特徴テーブルＴ２とフレーム連結テーブルＴ３とに基づいて目標物の特徴情報を抽出する目標抽出処理回路１３とを有しており、更にこの目標抽出処理回路１３から制御信号を受け撮像装置の方向を制御するサーボ回路１４とを更に有している。
【００１８】
このような構成において、図３のタイミングチャートを用いならが動作の概要を説明すると、撮像装置１で得られた映像信号は、Ａ／Ｄ変換回路２によりデジタル信号化され、前処理回路３にて必要な前処理が行われ、特徴強調回路４により画像特徴部分を強調処理され、更に領域分割回路５により画像信号を所定の領域に分割され、最後に、連結踏査回路６によって画素の連結状態を調査してラベル付けが必要と判断した画像に対してラベル付けが行われる。この動作がタイミングチャートの（１）〜（６）の部分で示されている。次に与えられたラベルテーブルは、テーブル修正制御回路９により必要なテーブル修正を受け、その後、この仮ラベルはリラベリング回路１２によって、正式なラベルへと置き換えられる。そしてラベル信号が本来の物となると、このラベルテーブルに基づいてラベル毎の濃度最大値、最小値、それらの座標、大きさ、総和等の特徴演算の処理が行われその結果が特徴テーブルＴ２として格納される。この処理と並行して、各フレームの間で同一の目的物の候補画像について同一のラベルが割り当てられいるかの調査処理がフレーム連結調査回路８により行われ、必要なラベルテーブルの修正が行われてその結果はフレーム連結テーブルＴ３へと格納される。
【００１９】
このフレーム連結調査回路８の処理により、従来は１フレームごとに独立して時間的に分断されていたラベルテーブル情報も、時間的に連続して一貫したラベルとして整理されることによって、一つの目標物の移動速度や移動方向、その移動の軌跡等の特徴テーブルＴ２を目標抽出処理回路１３によって利用することが可能となる。そして、最後にこの目標抽出処理回路１３により抽出された目標物の特徴情報によって、撮像装置１の方向がサーボ回路１４により制御することができる。サーボ回路１４は常時所定の目標のデータが得られるように与えられる誤差信号に基づいて撮像装置１の向きを制御するもので、これによって撮像装置１の撮像方向は所定の目標を追随するようになる。
【００２０】
このように、本発明の第１の実施形態に係る目標検出追随装置によれば、複数のフレーム間に渡ってフレーム連結調査回路８の処理によりラベルテーブルを統一することによって、特徴テーブルの情報が連続した目標物の移動速度や移動方向、その移動の軌跡等として扱うことができるため、高い信頼性をもつ目標検出追随装置を提供することができる。
【００２１】
更に本発明の第２実施形態について、図面を用いて詳細に説明する。第２実施形態は上述した第１実施形態のフレーム連結調査処理、つまり、複数のフレーム間で同一の目標候補画像に同一のラベルを与えることで目標候補画像の特徴情報を複数フレームに渡るものとして利用することを可能とする処理を行うものであり、更に処理速度の向上を意図するものである。
【００２２】
つまり、目標候補画像のラベリング処理にとって比較的時間を要している工程として、一塊りの画素に対してラベルが必ず一つとなるように１フレームの画像信号を全て処理した後に行うリラベリング処理があるが、第１実施形態では、この処理が完了した後に上述した特徴演算部７による特徴演算処理やフレーム連結調査回路８によるフレーム連結調査処理がなされている。しかしながら第２の実施形態では、この時間を要するリラベリング処理を待つことなく、連結調査回路６にて目標候補画像に仮ラベルを付与した時点で特徴演算処理やフレーム連結処理を行い、その後、ラベルテーブルで必要なラベルの訂正をするという方法を実施するものである。こうすることにより、比較的時間のかかるリラベリング処理の完了を待たずに特徴演算処理を終えサーボ回路を制御することができるため、全体の処理時間を短縮することが可能となるものである。
【００２３】
図２は、本発明の第２の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム、図４は、その動作の一例を示すタイミングチャートである。但し、図２において図１と同一部分には同一符号を付して示し、ここでは異なる部分についてのみ述べる。
【００２４】
第２実施形態においては、リラベリング処理の完了を待たずに、連結調査回路６にて目標候補画像に仮ラベルを付与した時点で特徴演算処理やフレーム連結処理を行うものであり、前処理回路３の出力から与えられる画像情報は、画像メモリ特徴強調Ｍ３を介さずに直接に特徴演算部７へと供給される。更に、連結調査回路６に特徴演算回路７とフレーム連結調査回路８とが接続されており、連結調査回路６により仮ラベルが付与された直後に、この仮ラベル毎に特徴演算回路７により特徴演算処理がなされ、これと並行してフレーム連結調査回路８によりフレーム連結調査処理がなされる。その後、テーブル修正制御回路９により必要なテーブルの修正が行われると、この修正と同様の修正が、特徴テーブル修正制御回路１０により特徴テーブルＴ２へ、更にフレーム連結修正回路１１によりフレーム連結テーブルＴ３へと与えられる。
【００２５】
そして、それぞれ修正が加えられた特徴テーブルＴ２とフレーム連結テーブルＴ３とに基づいて、目標抽出処理回路１３により目標部の画像が抽出される。そして、この抽出結果がサーボ回路１４により撮像装置１の方向の制御を行う。一方、リラベリング処理がリラベリング回路１２により行われ、この結果が画像メモリＭ２を介してフレーム連結調査回路８に与えられるが、この結果は、次のフレームの仮ラベルが与えられる以前までに与えられてフレーム連結処理が行われれるのであれば、第１実施形態と同等の処理結果を得ることができることとなる。
【００２６】
従って第２実施形態の処理は、図４のタイミングチャートが示すように非常に時間がかかるリベラリング処理（１２）を後回しにして、先にテーブル修正の処理（９）やこれと同等のテーブル修正（１０）、フレーム連結修正（１１）を先に行うことで、目標抽出処理（１３）やサーボ回路１４による制御（１４）が処理時間ｔ２によって行うことができる。これは、第１実施形態の処理時間ｔ１の場合と比較するとき、処理時間が非常に短縮されたことが判る。
【００２７】
従って第２実施形態に係る目標検出追随装置は、仮ラベル画像からフレーム連結調査を行うことにより、実時間での目標検出が可能となり、これによって所定の対象物を良好に追随することが可能になる。
【００２８】
なお、これらの実施形態の記載は、本発明の製造・使用をこの技術分野の当業者に容易にするものであり、これらの様々な変形例が、発明的な飛躍なしに当業者により可能である。
【００２９】
例えば上記実施形態では、ハードウェアで構成した場合について説明したが、この発明はこれに限らずソフトウェアで実現する場合にも実施可能であることは言うまでもない。このように本発明は、記載された実施形態に限定されるものではなく、この原理と新規な特徴に対応した広い範囲での形態に応じるものであることは言うまでもない。
【００３０】
【発明の効果】
以上詳述したように本発明によれば、第１実施形態において、複数のフレーム間に渡ってフレーム連結調査回路の処理によりラベルテーブルを統一することによって、特徴テーブルの情報が連続した目標物の移動速度や移動方向、その移動の軌跡等として扱うことができるため、高い信頼性をもつ目標検出追随装置を提供することができる。
【００３１】
又更に第２実施形態においては、仮ラベルが与えられた段階でフレーム連結調査や特徴抽出を行い時間のかかるリラベリング処理を後に行うことにより全体の処理時間を短縮化することができ、これにより実時間での目標検出を可能とする高い信頼性をもつ目標検出追随装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム。
【図２】本発明の第２の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム。
【図３】本発明の第１の実施形態に係る目標検出追随装置の動作の一例を示すタイミングチャート。
【図４】本発明の第２の実施形態に係る目標検出追随装置の動作の一例を示すタイミングチャート。
【符号の説明】
１ … 撮像装置
２ … Ａ／Ｄ変換回路
３ … 前処理回路
４ … 特徴強調回路
５ … 領域分割回路
６ … 連結調査回路
７ … 特徴演算部
８ … フレーム連結調査回路
９ … テーブル修正制御回路
１０ … 特徴テーブル修正制御回路
１１ … フレーム連結修正回路
１２ … リラベリング回路
１３ … 目標抽出回路
１４ … サーボ回路
Ｔ１ … 目標抽出回路
Ｔ２ … 特徴テーブル
Ｔ３ … フレーム連結テーブル
Ｍ１ … 画像メモリ（仮ラベル）
Ｍ２ … 画像メモリ
Ｍ３ … 画像メモリ特徴強調
Claims (2)
- 撮像装置で得られた映像信号を、フレーム毎のデジタル信号の画像信号に変換する変換部と、
前記変換部が変換した画像信号について仮ラベルを付け、仮ラベル付けされた画像について特徴情報を取得する特徴抽出部と、
前記特徴抽出部が抽出した特徴情報と、供給されるフレーム連結情報とに基づき、目標物の特徴情報を抽出する目標抽出部と、
前記目標抽出部が抽出した目標物の特徴情報に基づいて、当該撮像装置の方向を制御するサーボ回路部と、
前記特徴抽出部による前記仮ラベルを、一塊りの画素に対してラベルが必ず一つとなるように１フレームの画像信号の処理の後に正式ラベルとするリラベリング処理を行い、前記正式ラベルを、複数のフレーム間で同一の目的物の候補画像について同一のラベルが割り当てられるように修正することで前記フレーム連結情報を取得し、これを前記目標抽出部に供給するリラベリング・フレーム連結修正部と、
を有することを特徴とする目標検出追随装置。 - 前記特徴抽出部は、前記仮ラベルのラベルテーブル、前記特徴情報である特徴テーブル、前記フレーム連結情報であるフレーム連結テーブルをそれぞれ生成し、これらを用いることを特徴とする請求項１記載の目標検出追随装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000080409A JP3668092B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置及びこれを用いた目標検出追随装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000080409A JP3668092B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置及びこれを用いた目標検出追随装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001266157A JP2001266157A (ja) | 2001-09-28 |
| JP3668092B2 true JP3668092B2 (ja) | 2005-07-06 |
Family
ID=18597514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000080409A Expired - Lifetime JP3668092B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置及びこれを用いた目標検出追随装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3668092B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008042808A (ja) * | 2006-08-10 | 2008-02-21 | Toshiba Corp | 目標検出追随装置 |
-
2000
- 2000-03-22 JP JP2000080409A patent/JP3668092B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008042808A (ja) * | 2006-08-10 | 2008-02-21 | Toshiba Corp | 目標検出追随装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001266157A (ja) | 2001-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7024020B2 (en) | Apparatus and method for generating object-labeled image in video sequence | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| US11715280B2 (en) | Object detection device and control method | |
| WO2005055008A3 (en) | Automated segmentation, visualization and analysis of medical images | |
| CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
| JP2000295532A (ja) | 画像処理装置及び画像処理方法及び記録媒体及び画像処理システム | |
| JPH09102910A (ja) | 動画像処理装置および方法 | |
| KR20200096426A (ko) | 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램 | |
| JP3668092B2 (ja) | 画像処理装置及びこれを用いた目標検出追随装置 | |
| CN111160340A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| JP3845561B2 (ja) | 画像処理装置、及びこれを用いた目標検出追随装置 | |
| CN113688680B (zh) | 一种智能识别与追踪系统 | |
| WO1998012869A1 (fr) | Appareil de mesure de mouvement | |
| JP6350331B2 (ja) | 追尾装置、追尾方法及び追尾プログラム | |
| JPH0664614B2 (ja) | 階層化構造的テンプレ−ト・マツチング方法 | |
| CN111242087B (zh) | 物体识别方法及装置 | |
| CN106934363A (zh) | 应用于视频品牌识别系统的实时跟踪模块 | |
| JP2006187386A (ja) | 内視鏡装置、動体検出方法、及びそのプログラム | |
| JP4537645B2 (ja) | 物体追跡装置および物体追跡装置制御方法 | |
| JPH10336506A (ja) | 画像処理システム、追尾システム，追尾方法，記憶媒体 | |
| JP2004110542A (ja) | 目標検出装置および目標検出方法 | |
| US20220019851A1 (en) | Information processing apparatus and method, image capturing apparatus, and image capturing system | |
| JP3836666B2 (ja) | 移動目標検出装置及び移動目標検出方法 | |
| JPS61145689A (ja) | 領域ラベリング回路 | |
| JPS61224672A (ja) | 特徴抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050407 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3668092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |