JP4786153B2 - 記録映像の編集及び表示方法 - Google Patents

Description

本発明は、複数の撮像装置により得られた映像を記録し、記録された映像の編集及び表示方法に関する。

従来の映像の記録、編集及び表示方法について、図２と図６を用いて説明する。図２と図６は、所定の視野範囲内を複数の撮像装置により撮像し、得られた映像を記録及び表示するシステムを説明するための図である。

図２は、所定の視野範囲を撮像するために設置した撮像装置の位置と所定の視野範囲内を移動する追跡対象の移動体との関係を示す平面図で、201 〜 206 は、所定の視野範囲内の、所定の各部分視野範囲の映像を得るため設置された撮像装置、207 は追跡対象の移動体、207-0 は移動体 207 が時刻 t0 のときに存在していた位置、207-1 は移動体 207 が時刻 t1 のときにいた位置、207-2 は移動体 207 時刻 t2 のときに存在していた位置、207-3 は移動体 207 が時刻 t3 のときに存在していた位置、207-4 は移動体 207 が時刻 t4 のときに存在していた位置、20-1 は移動体 207 が時刻 t0 から時刻 t1 の間に移動した経路を示す矢印、20-2 は移動体 207 が時刻 t1 から時刻 t2 の間に移動した経路を示す矢印、20-3 は移動体 207 が時刻 t2 から時刻 t3 の間に移動した経路を示す矢印、20-4 は移動体 207 が時刻 t3 から時刻 t4 の間に移動した経路を示す矢印、21-1 〜 21-9 は壁や塀で封鎖され移動体が移動できない空間（移動禁止領域）、22-1 〜 22-6 ，23-1 〜 23-6 は通路（移動可能領域）である。

撮像装置 201 〜 206 は、例えば、テレビジョンカメラである。撮像装置１台ずつには、それぞれ１つのカメラ番号が関連付けされており、例えば、撮像装置 201 には カメラ番号 1（ CH1 ）が付加され、以下、撮像装置 202 〜 206 にそれぞれカメラ番号 2（ CH2 ）〜 6（ CH6 ）が付加されている。
カメラ番号の情報は、例えば、撮影された映像に付加されている。

図２によって、所定の視野範囲内を移動する移動体を対象として追跡するシステムを説明する。
撮像装置 201 〜 206 が撮像した映像は、図２には図示していないが、有線方式または無線方式またはそれらの組合せからなる伝送方式によって、撮影場所（視野範囲）と離れた場所、例えば、モニタや記録装置を備える監視室と結合されている。監視室にいる監視者は、過去あるいは現在の視野範囲内の映像を見ることができる。

図６は、記録された映像の従来の表示の様子を模式的に示した図である。それぞれの撮像装置からの映像は、例えば、200 msec 毎にそれぞれの撮像装置の映像としてタイムスタンプとカメラ番号を付加されて記録装置に記録される。図６の横軸は時間、各行は、それぞれの撮像装置（ CH1 ，CH2 ，CH3 ，‥‥‥）毎に記録された映像を時間順に並べてモニタに表示した一例である。101 は CH1 の撮像装置 201 が取得した映像列、102 は CH2 の撮像装置 202 が取得した映像列、103 は CH3 の撮像装置 203 が取得した映像列である。101-1 〜 101-12 は映像列 101 の時刻順に記録された映像、102-1 〜 102-12 は映像列 102 の時刻順に記録された映像、103-1 〜 103-12 は映像列 103 の時刻順に記録された映像である。

図６において、映像 101-1 〜 101-4 を見ると、撮像装置 201 が撮像した移動体 207 が徐々に撮像装置 201 に近づいていることが分かる。そして、映像 102-4 〜 102-8 を見ると、撮像装置 202 が 移動体 207 を撮像しており、やはり徐々に撮像装置 202 に近づいていることが分かる。同様に、映像 103-7 〜 103-11 を見ると、撮像装置 203 が 移動体 207 を撮像しており、こんどは徐々に撮像装置 203 から遠ざかっていることが分かる。

このことは、図２と比べながら図６を見るとよく分かる。即ち、移動体 207 が、撮像装置 201 が撮像している通路 22-1 を左から右に移動してきて、撮像装置 201 の視野範囲を外れていき、次に撮像装置 202 の視野範囲である通路 22-2 に入り、やはり左から右に移動していき、次に撮像装置 202 の視野範囲を外れ撮像装置 203 の視野範囲の通路 23-5 に入り、通路 23-5 を上から下に徐々に移動して、通路 22-5 に曲がり、映像 103-12 で撮像装置 203 の視野から外れてしまうことが分かる。この次の時点では、移動体 207 が通路 22-5 に曲がったのか、通路 22-6 に曲がったのは分からないが、撮像装置 204 の撮像した映像列に移動体 207 が映っているか否かで判断できる。尚、図２での上下左右の方向は、図２の紙面上の方向によって説明できる方向とした。
また、撮像装置は、移動体 207 の進む方向にだけ設置しているが、説明上必要な撮像装置だけ、図に表示しているだけで、実用上は他の場所にも設置している。

図６に示すように、記録装置に記録された映像は、各撮像装置毎に時系列順に並べて表示され、システム管理者またはユーザが確認をできる。
従来は、各撮像装置ごとに記録映像の表示、確認を行なうため、映像列 101 を表示した後、目的（追跡対象）とする物体（移動体 207 ）を確認した後、映像列 102 や映像列 103 においても同様の時間帯を表示して確認していた。

防犯などを目的とした監視カメラなどは、人通りや交通量の多い箇所に設置され、常時監視はしていない。その代わりビデオテープレコーダやデジタルレコーダなどの記録装置に一定の間隔で常時記録しておき、事故や事件等が発生した場合に検証するようになっている。
事故・事件が発生した日付や時刻がおおよそ分かっていても、複数台ある監視カメラ映像から目的とする映像を見つけ出すのは容易ではなく、また、それぞれのカメラ映像は記録装置の別々のチャネルに入力されるため、連続的に映像を確認することができなかった。
即ち、上述の従来技術では、追跡対象とする物体（移動体）を記録された映像列から選択したときに、関連する他の撮像装置の記録映像から目的とする物体の映像を表示して確認する必要があった。
本発明の目的は、上記のような欠点を除去し、１つの撮像装置が撮像した映像から、監視者（または操作者）が目的とする物体を選択した時に、他の撮像装置が撮像した映像から関連する映像を時系列的に確認表示できるように映像を編集することを可能にする記録映像の編集方法及び表示方法を提供することにある。

上記の目的を達成するために本発明の記録映像の編集方法及び表示方法は、複数の撮像装置が撮像した映像を記録し、記録された映像から特定の対象物を検索（例えば、色検索）して、特定の対象物を追跡した映像を時系列的に並べた映像（追跡映像）を作成し、表示するものである。
このため、本発明は、監視カメラの設置位置などを想定した撮像装置毎の映像列の時系列的な関連付け情報を予め登録しておく。そして、記録映像中に目的とする物体の特徴色を入力し、色追跡検索を行なう。検索結果から目的とする物体を選択する。選択した物体の特徴を時系列関連情報から検索して、目的とする物体が映っているチャネルの映像を追跡映像チャネルにまとめ、通常の記録映像と同様に扱えるように編集し、表示するとともに、追跡経路情報を出力するものである。

即ち、本発明の記録映像の編集及び表示方法は、所定の視野範囲内の映像を撮像する複数の撮像装置と、撮像装置によって撮像された映像を記録する記録装置と、記録装置に記録された映像を表示する表示装置とを備えた監視システムであって、記録装置に記録された映像の検索を行い、目的とする物体の基準映像が存在する映像を検出し、検出された映像について、予め登録してある関連付け情報に基づいて、時系列関連情報を作成するものである。
また、本発明の記録映像の編集及び表示方法は、好ましくは、関連情報に基づいて、基準映像が存在する映像を表示するものである。

本発明を実施することによって、システム管理者またはユーザは、複数チャネルに渡る記録映像から、特定の目的の映像を捜索し、捜索した映像の内容を確認する作業を軽減することができる。また、複数の撮像装置の映像をまとめるために映像を複写する必要がなくなる。
例えば、事故や事件などが発生した場合に、記録された映像の中から容疑者や被害者などを迅速に検索でき、容疑者や被害者などを追跡するときに便利であり、追跡データを出力できる。また、この追跡データを蓄積することにより、経路情報を蓄えられる。

本発明の記録映像の編集方法及び表示方法は、例えば、以下のステップ１〜３のようにして実施する。
ステップ１「関連付け情報の登録」：システム管理者またはユーザは、撮像装置の設置位置（設置位置間の距離）や階段等の高さの違い、通路の幅、交通量などを勘案して、撮像装置間（映像チャネル間）の時系列的な関連付け情報（時系列関連情報）を予め記録装置等に登録しておく。
ステップ２「検索」：基準となる映像の情報（記録された映像の１つ、または外部から入力する映像の情報）をシステム管理者またはユーザが予めまたはその都度指定する。指定された映像の情報は、例えば、予め記録装置等に入力され、システム管理者またはユーザにより選択される。記録装置は、記録された映像を検索し、選択された基準映像の情報が存在する映像を目的とする物体が存在している映像として選択する。
検索方法としては、例えば、検索を目的とする物体の特徴色を入力し、色追跡検索を行なう方法がある。このような検索方法は、例えば、特開平６−２２３１７９号公報、特開２０００−２５３３０９号公報等に記載がある。
ステップ３「追跡経路の決定」：選択した物体の時系列関連情報から、目的とする物体が映っているチャネルの映像を追跡映像チャネルにまとめ、通常の記録映像と同様に扱えるように関連付けする。また、追跡経路情報を出力する。

上記のステップ１〜ステップ３の動作例を、更に、図１〜図５を用いて説明する。
図２は、従来技術の説明にも使用した、所定の視野範囲内を複数の撮像装置により撮像し、得られた映像を表示または記録するシステムの構成例を説明するための図である。図３は、図２の撮像装置 201 〜 206 が撮像した映像を、例えば、モニタや記録装置を備える監視室で、監視者が視野範囲内の映像を見る場合の最も単純なシステム構成の一例を示す図である。201 〜 206 は撮像装置、301 は複数チャネルの撮像装置 201 〜 206 の映像を記録するための記録装置、302は映像表示を行なうモニタである。
撮像装置 201 〜 206 と記録装置 301 、及び記録装置 301 とモニタ 302 とは伝送ケーブルで結合されている。

図３において、記録装置 301 は、操作機能、フレームスイッチ機能、分割表示機能、記録映像検索機能、映像出力機能等の機能を備えている。
また、それらの各機能を別々の機器で実現し、それら別々の機器の集合体が記録装置と相互に情報を交換しながら、またはアクセスし合いながら本発明の機能を実現しても良い。また、記録装置は、複数台あっても良い。また、記録装置 301 は、映像を記録しながら、同時にモニタに出力することもできる。
また、撮像装置 201 〜 206 と記録装置 301 とは伝送ケーブルで結合されているが、ネットワークを介して結合されていても良いし、有線である必要もない。

図４は、本発明の映像編集方法及び映像表示方法において、チャネル毎（または、撮像装置毎）の情報の関連付け、即ち、時系列関連情報（相関関係情報）を作成する方法を説明するための図である。401-1 はカメラ番号（チャネル番号）CH1 の撮像装置 201 が撮像した映像列、401-2 はカメラ番号 CH2 の撮像装置 202 が撮像した映像列、401-3 はカメラ番号 CH3 の撮像装置 203 が撮像した映像列、401-4 はカメラ番号 CH4 の撮像装置 204 が撮像した映像列、401-5 はカメラ番号 CH5 の撮像装置 205 が撮像した映像列、401-6 はカメラ番号 CH6 の撮像装置 206 が撮像した映像列、402 はそれぞれの映像列 401-1 〜 401-6 の間に相関関係がある場合に相関関係があることを示す矢印である。

図４において、矢印 402 の矢の方向は、目的とする物体が時系列的に、矢の方向の映像列に動くことを示している。例えば、通常移動する流れが決まっている場合、矢印方向を片方向にしておけば、異常な方向に移動した情報として参照することができる。

また、相関関係に時間の重み付けを行うこともできる。例えば、映像列 401-2 と映像列 401-3 は場所（または移動する距離）が離れているため移動に時間が掛かり、映像列 401-3 と映像列 401-4 は場所が近い（または移動する距離が短い）ので移動に時間がかからないという場合は重み付け（優先順位付け）を行なう。

例えば、追跡対象の移動体がある時刻 t に映像列 401-3 にあり、次の時刻 t＋1 に、映像列 401-2 と映像列 401-4 にあると検索された場合に、映像列 401-4 を映像列 401-2 より優先するというように、距離が近い方を優先したり、距離ばかりではなく、勾配、階段、エスカレータ、エレベータ、横断歩道（交通信号器なし）、横断歩道（交通信号器有）、等で優先順位をつける。

図５は、本発明の映像編集方法及び映像表示方法において、チャネル毎（または、撮像装置毎）に情報の関連付けされた場合でのフレーム選定状況を説明するための図である。501 は記録装置 302 に記録された撮像装置 201 が撮像した映像を時刻順に並べて模式的に示した映像列、502 は記録装置 302 に記録された撮像装置 202 が撮像した映像を時刻順に並べて模式的に示した映像列、503 は記録装置 302 に記録された撮像装置 203 が撮像した映像を時刻順に並べて模式的に示した映像列である（他の撮像装置 204 〜 206 の映像列は省力する。）。504 は、検索結果を並べた映像を模式的に示した映像列である。
枠で囲った数字は、ハイフンの前の数字が撮像した撮像装置のカメラ番号、ハイフンの後の数字が撮影した時刻順に付された続き番号を示す。例えば、1-1 はカメラ番号 1 の撮像装置 201 が最初に撮像した映像であることを示し、2-5 はカメラ番号 2 の撮像装置 202 が 5 番目に撮像した映像であることを示し、3-11 はカメラ番号 3 の撮像装置 203 が 11 番目に撮像した映像であることを示す。

図５は、時系列的に色検索を実行した一例の様子を示している。
今、映像列 501 〜 503 の中の映像 1-1 〜 1-11 ，2-1 〜 2-11 ，3-1 〜 3-11 に対して追跡対象の移動体の色検索を時系列的に実行する。これによって、映像列 501 〜 503 の中の映像 1-1 〜 1-11 ，2-1 〜 2-11 ，3-1 〜 3-11 中の二重枠で示した映像部分（ 1-1 ，1-2 ，1-3 ，1-4 ，1-8 ，1-10 ，2-2 ，2-4 ，2-5 ，2-6 ，2-7 ，2-8 ，3-5 ，3-8 ，3-9 ，3-10 ，3-11 ）に追跡対象の移動体と推測できる映像部分（フレーム）が、追跡候補とされる。

次に図４の相関関係情報（時系列関連情報）から、同じ時刻で重複候補がある場合、追跡対象の映像部分を選定していく。
例えば、映像部分 2-1 と映像部分 2-2 では、映像部分 2-2 が追跡候補から除外される。また、例えば、映像部分 1-4 と映像部分 2-4 では、映像部分 2-4 が追跡候補から除外され、映像部分 2-5 と映像部分 3-5 では、映像部分 3-5 が追跡候補から除外される。同様に、例えば、映像部分 1-8 、映像部分 2-8 、映像部分 3-8 では、映像部分 1-8 と映像部分 3-8 とが追跡候補から除外され、映像部分 1-10 と映像部分 3-10 では、映像部分 1-10 が追跡候補から除外される。

上記実施例では、相関関係情報として、同一映像列（カメラ番号（ CH ））が優先されて、他のチャネルが追跡候補から除外される。また、映像部分 1-10 と映像部分 3-10 では、映像部分 1-10 図４の相関関係情報により、映像部分 1-10 の映像列 501 は、映像列 503 から外れているために、映像部分 1-10 が追跡候補から除外される。

この選定を行なった結果、図５の映像列 504 に示すように、映像フレームが出来上がり、これを表示することによって、システム管理者またはユーザが、確認することができる。
同じ時刻で、重複候補がある場合は、相関関係から大幅に外れていない限り関連情報として残す。この重複候補は、任意に削除あるいは入替えが可能とする。入れ替えとは、検索実行により自動的に選定された映像部分を関連映像部分として残しておいたものと入替えることである。例えば図５において、映像部分 2-7 から映像部分 2-8 、映像部分 2-8 から映像部分 3-9 として導き出されたものを、映像部分 2-8 と映像部分 3-8 を入替え、映像部分 2-7 から映像部分 3-8 、映像部分 3-8 から映像部分 3-9 として入れ替える。

また、映像部分 3-9 と映像部分 3-11 の間が時間的に離れている場合は映像部分 1-10 は追跡候補として残される。例えば、映像列 502（ CH2 ）で追跡候補が見つけられなかった場合である。
また、検索結果として同時刻の映像部分に候補がなかった場合は、その直前に候補がある映像列の映像部分を映像フレームを埋めたり、ブラック表示、ブルー表示等を行い、追跡候補がその時刻に無いことを明確にする。

図１は、図５と同様に、時系列的に色検索を実行した一例を示している。図１の映像列 101 〜 103 は、図６での映像列 101 〜 103 と同じ映像である。また、104 は、検索結果（時系列関連情報）から導き出した映像列である。
図１に示すように、映像列 104 を時系列順に表示することによって、追跡対象とした物体が移動して行く様子がわかる。この移動した情報は、別の外部機器に出力することができる。外部機器とは、例えば、外部記録装置、印刷器、電話回線と結合されたファクシミリ、パーソナルコンピュータ、ネットワーク機器と結合された映像配信装置、サーバ、等である。
尚、上記実施例では、映像列を 3 つとしたが、設置された撮像装置の数等、必要によりいくつでも良い。

尚、追跡候補を検索する色検索においては、指定色毎に色範囲を予め決めておく必要がある。指定色は複数色を指定することができ、且つ参照フレームから選定することもできる。
例えば、黄色い通学帽子を被った赤いランドセルの小学生などを追跡候補とする場合、黄色と赤を指定色とし、実際の映像フレームから帽子を範囲指定すると、その範囲に含まれる色成分の幅が自動的に記録される。この色成分の幅（例えば、画素数）は、ある程度の大きさを持つものを自動的に認識して候補とする。つまり１画素のみが候補となる色成分であっても反応しない。
これらの機能は、図３の記録装置 301 に組み込むか、あるいは、記録装置 301 と別の装置（検索器）として分離して構成しても良い。

本発明の一実施例の映像記録結果を示す図。 従来の所定の視野範囲を撮像するために設置した撮像装置の位置と所定の視野範囲内を移動する追跡対象の移動体との関係を示す平面図。 本発明の一実施例のシステム構成を示す図。 本発明の一実施例の相関関係情報を説明するための図。 本発明の情報の関連付けされた場合のフレーム選定状況の一実施例を説明するための図。 記録された映像の従来の表示の様子を模式的に示した図。

符号の説明

20-1〜20-4：移動した経路を示す矢印、 21-1〜21-9：空間、 22-1〜22-6，23-1〜23-6：通路、 101〜104：映像列、 201〜206：撮像装置、 207：移動体、 207-0〜207-4：移動体の位置、 301：記録装置、 302：モニタ、 401-1〜401-6：映像列、 402：相関関係があることを示す矢印、 501〜504：映像列。

Claims (2)

1. 所定の視野範囲内の映像を撮像する複数の撮像装置と、該撮像装置によって撮像された映像を上記撮像装置毎に記録する記録装置と、該記録装置に記録された映像を表示する表示装置とを備えた監視システムにおける記録映像の編集及び表示方法であって、
   予め撮像装置間の時系列的な関連付け情報を時系列関連情報として上記記録装置に登録しておき、
   ユーザが基準となる映像の情報を指定すると、上記記録装置に記録された上記撮像装置毎の映像を検索し、上記指定された基準映像の情報が存在する映像を目的とする物体が存在している追跡候補の映像として選択し、
   予め登録してある上記時系列関連情報の相関関係に基づいて、当該選択された追跡候補の映像について、同じ時刻で重複候補がある場合は同一映像列を優先して他の追跡候補を除外して、時刻順に並べて追跡映像としてまとめ、一つの映像列から成る追跡経路情報として上記表示装置または外部機器に出力することを特徴とする記録映像の編集及び表示方法。
2. 請求項１記載の記録映像の編集及び表示方法において、
   上記時系列関連情報に基づいて、上記追跡候補の映像について、上記時系列関連情報から外れている映像を追跡候補から除外し、時刻順に並べて追跡映像としてまとめ、一つの映像列から成る追跡経路情報として上記表示装置または外部機器に出力することを特徴とする記録映像の編集及び表示方法。