JP4115121B2

JP4115121B2 - 撮影画像処理システム及び画像管理システム

Info

Publication number: JP4115121B2
Application number: JP2001354966A
Authority: JP
Inventors: 秀明黒須
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2001-11-20
Filing date: 2001-11-20
Publication date: 2008-07-09
Anticipated expiration: 2021-11-20
Also published as: JP2003157428A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影画像処理システム及び画像管理システムに関し、特に、道路、河川等を移動しながら撮影した映像から所定の被写体を選定処理できる撮影画像処理システムと、該被写体を指定して撮影された映像を検索することができる画像管理システムとに関する。
【０００２】
【従来の技術】
従来においては、例えば、道路を管理しようとする場合、道路そのものの他に、道路標識、電光表示盤、歩道橋、トンネル、注意看板等の施設情報を取得して、道路周辺の設置状況を把握し、それらの施設状態を調査していた。それらの状況把握には、その施設毎に写真等の被写体として撮影していた。
【０００３】
しかし、近年においては、ビデオ撮影機によって、道路を車で走行しながら、車窓から前方を撮影し、その撮影した映像に基づいて道路に係わる施設情報を取得するようにしている。そして、施設情報については、距離を検索の基準として、取得した映像と、該映像に映し出されている特定の被写体に係る属性データ情報とを管理するようにしている。この管理手法では、表示される映像に対応して映し出されている特定の被写体に係る属性データ情報が、映像の１フレームに対応して１つ割り当てられられるものであり、或いは、そのフレームに係る被写体の位置について、ある地点に対して距離で検索した最寄の属性データとするものであった。
【０００４】
【発明が解決しようとする課題】
この管理手法では、同一の対象施設である被写体は、連続した複数のフレームにわたって撮影されることになるので、この対象施設を複数フレームにわたって管理しようとすると、そのフレーム毎に属性情報を入力しなければならない。そして複数フレームに対する属性情報の入力は手作業で行われていたため、その入力作業には膨大な時間を要するものであった。
【０００５】
また、１フレームに１属性情報を割り当てる関係から、１フレームに複数の施設が映し出されていても、それぞれの施設に関する属性情報を表示することはできなかった。例えば、近くにある施設と遠くにある別の施設とが１フレームに映し出されている場合、そのフレームに割り当てられた属性情報が近くの施設のそれであれば、遠くの施設の属性情報は、例えフレームに映し出されていても表示できないものであった。
【０００６】
映し出されている全ての施設の属性情報を１フレームに対応付けるとすれば、属性情報入力を施設毎に行い、さらに、施設の映し出されている全てのフレームに亘って行わなければならない。また、例え入力したとしても、表示される属性情報がフレーム内のどの施設に関するものかは判らないという問題が残るものである。
【０００７】
そこで、本発明は、道路、河川等の何らかの経路を移動しながら撮影した映像に映し出された施設等の被写体画像自体によって施設等の属性情報を管理できるように、被写体画像に係るポリゴン情報に対して、被写体の属性情報に係る属性管理情報と、各ポリゴンに対応する画像情報に係る画像管理情報とをそれぞれ関連付けできる撮影画像処理システムを提供し、さらに、該関連付け結果に基づいた対応テーブルを用いて、被写体に係る属性情報と、被写体画像と、被写体が映し出されている画像との相互検索を行なうことができる画像管理システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
以上の課題を解決するため、本発明では、撮影画像の処理システムにおいて、経路に設置された被写体を、該経路の一方向に沿って移動するビデオカメラで撮影された連続する複数の画像情報を格納する記憶手段と、該記憶手段から読み出された前記画像情報に映し出された被写体画像を指定して該画像情報を基準画像に選定する基準選定手段と、該基準画像を基準として、前記複数の画像情報のうち、前記被写体に係る画像領域の面積が最大となる画像情報を特定する画像情報特定手段と、該特定された画像情報について、前記被写体に係る画像領域情報と、前記被写体の属性情報に係る属性管理情報と、該画像情報に係る画像管理情報とを関連付けて、前記記憶手段に格納する関連付け手段と、前記特定された画像情報より前の画像情報を前記記憶手段から順次読み出し、該読み出された画像情報に映し出された被写体の画像領域と、直前の画像情報に映し出された被写体の画像領域とがマッチング処理によって同定される場合に、連続して読み出された画像情報に映し出された前記被写体に係る画像領域を選定し、該画像領域情報を前記記憶手段に格納する画像領域選定手段と、を備え、前記関連付け手段は、前記選定された被写体に係る画像領域を含む画像情報の各々について、前記特定された画像情報に係る前記画像管理情報に関連付けた画像管理情報を前記記憶手段に格納することとした。
【０００９】
そして、前記画像領域選定手段は、前記連続して読み出された画像情報における前記被写体に係る画像領域の面積が、前記特定された画像情報における前記被写体に係る画像領域の面積の１０分の一以下になったときに、画像領域の選定処理を終了することした。
【００１０】
また、本発明では、撮影画像処理システムにおいて、前記画像領域情報、前記属性情報、前記画像情報のいずれか一つ以上が指定されることにより、前記記憶手段に格納された前記画像領域情報、前記属性情報、前記画像管理情報を検索する検索手段と、前記検索手段によって検索された前記画像領域情報、前記属性情報、前記画像管理情報を再生表示する表示手段とを備えた。
【００１１】
そして、前記表示手段は、前記検索された前記画像領域情報、前記属性情報、前記画像管理情報を再生表示するとき、スキップ再生と連続再生とを選択する選択手段を有することとし、或いは、前記検索された前記画像領域情報、前記属性情報、前記画像管理情報を再生表示するとき、順送り方向又は逆送り方向で再生表示することとした。
【００１２】
【発明の実施の形態】
次に、本発明の撮影画像処理システム及び画像管理システムの実施形態について、図を参照しながら説明する。
【００１３】
従来の手法における画像処理においては、撮影された映像に映し出された特定の被写体情報と各フレームの画像との関連付けを手作業で行なっていた。
【００１４】
そこで、本実施形態において、道路、河川等の所定経路に沿って移動しながら撮影された連続する映像を用いることは、従来の手法と変わりがないが、連続する映像の途中の１フレームに映し出された施設等の被写体を選定し、当該フレームに連続する各フレームに映し出されている当該被写体の画像とを相次いでマッチングすることにより、同一の被写体の画像領域を同定することとした。また同定された、各フレームにおける画像領域について、この領域境界にポリゴンを作成し、この作成したポリゴンに対して、当該被写体の属性情報に係る属性管理情報としての属性データＩＤと、当該被写体の画像が含まれるフレームに関わる画像管理情報としてのフレームＩＤとを関連付けるようにした。そして、この関連付けた結果は、ポリゴンの属性情報として格納するか、または、ポリゴン管理情報としてのポリゴンＩＤと、対応する属性データＩＤとフレ―ムＩＤとを記録した対応テーブルとして格納しておくこととした。
【００１５】
被写体画像の領域に対してポリゴンを設定することによって、１フレーム中の複数の被写体に対してもそれぞれの属性情報を付加でき、また、連続する各フレームの被写体画像をマッチングによって同定することにより、フレーム毎に被写体の属性情報を入力することなく、最初の１フレームにおいて所望の被写体を選定するだけで、コンピュータによる処理によって続くフレームについても、同一被写体に関する属性情報とフレームとを関連付けできる。このように、ポリゴンを仲介としたフレームの映像情報と被写体の属性情報との関連付けを、ポリゴン情報にか、または対応テーブルの形式で記録しておくことで、当該被写体を指定した映像検索表示や、属性情報検索表示を簡単に行なうことができる。
【００１６】
ここで、図１を参照し、道路を管理する場合を例にして、本実施形態による画像処理について説明する。
【００１７】
図１（ａ）には、例えば、車に搭載されたビデオカメラを用いて、該車で道路を走行しながら、所定の経路に沿って撮影された映像の連続フレーム画像を示している。図において、連続フレーム画像を符号Ｘ_n、Ｘ_n+1、Ｘ_n+2、…で示したが、フレーム画像Ｘ_nは、走行途中の１フレーム画像に対応しており、フレーム画像Ｘ_n+1以前は、続いて撮影されたフレーム画像である。
【００１８】
そして、これらのフレーム画像は、ビデオカメラの撮影ピッチのフレーム画像でも、或いは、撮影ピッチのフレーム画像から所定間隔、例えば、道路の所定距離に対応する間隔で間引かれた複数のフレーム画像でも、さらには、所定間隔で連続してコマ撮りされた複数のフレーム画像でもよい。
【００１９】
この様にして取得されたフレーム画像Ｘ_n中には、走行途中における車の前方又は側方の景観が映し出されている。図１（ａ）では、説明を簡単化するため、道路の他に、道路に設置された標識を管理することを目的として標識Ａ及びＢを代表的に示しているが、実際には、これらの他に、道路の両側にある建物・看板、道路上の車、遠景等が映し出されている。
【００２０】
先ず、連続する複数のフレーム画像から、管理しようとする被写体である標識Ａの画像領域が最大に映し出されているフレーム画像を選択する。ここでの例では、車で道路を走行しながら撮影しているので、標識Ａの画像領域が最大になるのは、標識Ａがフレーム画像中から消える前に撮影されたフレーム画像Ｘ_nとなる。
【００２１】
そこで、標識Ａの管理対象部分を選択指定する。図１（ｂ）のフレーム画像Ｘ_n1のように、標識Ａに係るポリゴンＰＡ_nを作成し、ポリゴンＩＤＡ_nを付す。図中においてポリゴンＰＡ_nを太い実線で示した。このポリゴンＰＡ_nに関する図形データ及びポリゴンＩＤＡ_n、さらに、ポリゴンＰＡ_nに係るフレームＩＤＡ_nを記憶する。そして、このポリゴンＰＡ_nについて、フレームＩＤＡ_nと、標識Ａの属性情報と属性データＩＤＡとが関連付けられる。
【００２２】
次いで、標識Ａが続いて映し出されているフレーム画像は、フレーム画像Ｘ_ｎにおいて最大に映し出されているとすれば、図１（ａ）に図示されたフレーム画像Ｘ_n+1、Ｘ_n+2、…となる。これらのフレーム画像に映し出されている標識Ａの形状は、道路を走行しながら連続して撮影しているため、各フレーム画像中の標識画像領域はどれも、フレーム画像Ｘ_nにおける標識画像領域と相似になっている。
【００２３】
ここで、フレーム画像Ｘ_n+1について、フレーム画像Ｘ_ｎの当該標識画像領域に関するマッチングを行ない、フレーム画像Ｘ_n+1における標識Ａに係わる標識画像領域を特定する。そして、特定された画像領域についてポリゴンＰＡ_n+1を作成する。このポリゴンが作成できたならば、このポリゴンＰＡ_n+1に関する図形データ及びポリゴンＩＤＡ_n+1、さらに、ポリゴンＰＡ_n+1に係るフレームＩＤＡ_n+1を記憶する。そして、ポリゴンＰＡ_n+1について、フレームＩＤＡ_n+1と、標識Ａの属性データＩＤＡとが関連付けられる。
【００２４】
この様にして、順次、撮影された前のフレーム画像に映し出されている標識Ａについて、マッチングを行ないながら、各フレーム画像でのポリゴンＰＡを作成し、それらのポリゴンＰＡに関する図形データ及びポリゴンＩＤＡ、さらに、各ポリゴンＰＡに係るフレームＩＤＡ、標識Ａの属性情報と属性データＩＤＡを記憶する。或いは、これらのポリゴンＩＤＡ、フレームＩＤＡ、属性データＩＤＡを関連付けたテーブルとして記憶する。
【００２５】
ここで、連続するフレーム画像に基づいて、選定した被写体に関する各情報を関連付ける際に、当該被写体の画像領域の大きさは、マッチングを行なえる程度の大きさまで作成することができるが、道路管理上、映し出されている画像領域が当該被写体であると視認できる程度の大きさであればよいので、当該被写体の画像領域が、最大の状態で映し出されている画像領域に比較して、例えば、その１０分の１の大きさとなるフレーム画像まで画像処理を行なう。
【００２６】
また、図１（ａ）に示されるように、連続して撮影された映像の中に、同時に複数の標識が含まれていることがあり得る。図中では、標識Ａの他に、標識Ｂが映しだされていることを示している。この標識Ｂに対しても、標識Ａについて画像処理したのと同様の手順に従って、標識Ａとは別に、ポリゴンＰＢ、フレームＩＤＢ、属性データＩＤＢを関連付けておく。ここで、フレーム中には標識ＡとＢが写っているのであるから、フレームＩＤＢはフレームＩＤＡと同じ値が設定される。さらに、標識以外に映し出されている道路管理上に必要な建物等の施設があれば、その施設についても、同様に、ポリゴンＰ、フレームＩＤ、属性データＩＤを関連付けておくことができる。或いは、これらのポリゴンＩＤ、フレームＩＤ、属性データＩＤを関連付けた対応テーブルを作成する。
【００２７】
この様なポリゴンを仲介したフレームＩＤと属性データＴＤの関連付けが作成されていると、例えば、道路管理を行なうとき、撮影された道路の映像を表示しながら、その映像に映し出された標識を検索する場合、表示されたフレーム画像Ｘ_nにおいて、図１（ｃ）に示されるように、ポリゴンＰＡ_nを標識Ａの画像領域に重ねて表示することができる。標識Ａを指定したとき、このポリゴンＰＡ_nが表示されるということは、標識Ａに関する属性情報が格納されていることを示している。
【００２８】
なお、図１（ｃ）に示したポリゴンＰＡ_nは、単に太い実線の枠で示されているが、この線を他のポリゴンと異なる色で表示するようにすると、このポリゴンＰＡ_nに係る標識が、注意を要するものであることの強調表示にもなり、或いは、標識の種別毎の識別表示とすることもできる。
【００２９】
次いで、図２（ａ）に示されるように、例えば、標識Ｂに重ね合わせて表示されたポリゴンをマウス等による矢印で示したカーソルで指定すると、カーソルで指定された画像位置に基づいて、フレーム中でポリゴンＰＢが指定されたことを判断し、このポリゴンＰＢに対応付けられた属性データＩＤＢを取得できる。そして、属性データＩＤＢに基づいて、図２（ｂ）に示すように、指定した標識Ｂに関する属性情報が、表示画面に表示されたフレーム画像Ｘ_n3中に重ね合わされるか、又は、画面中に小ウインドウが開かれてそこに表示される。図２（ｂ）では、標識管理上必要な属性情報として、標識Ｂについての設置場所、設置年月日、点検年月日、その他として、当該標識に係る特別情報等が含まれていることを示している。
【００３０】
ところで、フレーム画像Ｘ_nに映し出されている標識Ｂは、続くフレーム画像Ｘ_n+1、Ｘ_n+2、…にも映し出されている可能性が大きい。そのため、道路管理を行なっている最中に、必要な標識ＢをフレームＸ_nで指定しても、続くフレーム画像Ｘ_n+1、Ｘ_n+2、…に標識Ｂに係る画像領域があれば、同一の標識の画像領域に設定されたポリゴンには、同一の属性情報が関連づけられているので、各フレーム画像が表示されている間には、標識Ｂに関する属性情報を画面上に表示しておくこともできる。
【００３１】
この様子を、図２（ｃ）に示した。図２（ａ）においてフレーム画像Ｘ_nで指定した標識Ｂの属性情報がフレーム画像Ｘ_n3のように表示されるが、一度属性情報表示を指定されれば、図２（ｃ）に示されるように、さらに走行して取得したフレーム画像Ｘ_(n-1)3が表示されたときにも、標識Ｂに関する属性情報が継続して表示される。
【００３２】
以上の様に、本実施形態における撮影画像処理システムによって、各フレーム画像における被写体毎に、その被写体に関するポリゴンと、フレームＩＤ、属性データＩＤを関連付けることができ、同一被写体には同一の属性情報を関連付けできる。そして、関連付けの結果を利用した画像管理システムとすることにより、当該被写体を指定した属性情報検索表示や、属性情報に基づいた映像検索表示を行なうことができる。
【００３３】
次に、本実施形態による画像処理システム及び画像管理システムを実現するためのブロック構成を図３に示した。
【００３４】
画像処理システム及び画像管理システムは、機能ブロックとして、処理部１、記憶部２、操作部３、映像取得部４、属性情報取得部５、そして出力部６からなっている。さらに、処理部１は、システムの処理・制御を行なうＣＰＵで構成され、画像処理部１１、対応テーブル生成部１２、画像検索表示部１３、属性情報検索表示部１４の各処理機能を備えている。そして、記憶部２は、画像情報記憶部２１、ポリゴン情報記憶部２２、対応テーブル記憶部２３、属性情報記憶部２４を含んでいる。また、操作部３は、キーボードやマウスによるデータ入力部３１と表示モード指定部３２を有し、出力部６は、ＬＣＤ等の表示部６１と、プリンタによるハードコピーを出力する印刷部６２とを備えている。
【００３５】
この様なシステム構成による撮影画像処理システムにおいて、撮影された映像と、映像に映しだされている被写体と、被写体に係る属性との対応付けについて、図４に示したフローチャートを参照しながら説明する。
【００３６】
ここで、取扱うデータについてであるが、映像データは、例えば、経路に沿って道路を進行しながら、車載ビデオカメラで車の前方や側方が撮影された映像である。この映像データは、ビデオカメラ以外にも、デジタルカメラ等のように、所定経路の特定区間毎に連続して撮影され、電子データとして取得された画像であればよい。映像を構成する連続したフレーム画像は、撮影ピッチのままでも良いし、あるいは、経路上の施設管理に適した所定間隔で、例えば、距離に対応したピッチで間引くことによる距離ピッチフレーム画像としたものでも良い。
【００３７】
この映像データを、映像取得部４を通して画像情報記憶部２１に格納しておく。また、経路上の施設の属性データが予めデータ化されていれば、属性情報取得部５を通して属性情報記憶部２４に格納しておく。
【００３８】
先ず、処理部１は、オペレータのデータ入力部３１からの入力指示に従って、画像情報記憶部２１から、連続して複数格納されているピッチフレーム画像のうちの指示された１フレーム画像を読み出し、当該画像を表示部６１に表示する。そして、オペレータは、表示されたピッチ画像から、被写体として映し出されている対象施設の画像領域を選定する。この画像領域の選定は、例えば、図１（ａ）に示されるように、フレーム画像Ｘ_nに映し出されている標識Ａの輪郭をデータ入力部３１のマウス等で入力することによって行われ、選定する施設は、オペレータが表示部６１の画面上で視認できる大きさで映し出されているものについて対象とする。そして、選定した対象施設に関する属性情報を、当該属性情報に係る属性データＩＤとともに属性情報記憶部２４に格納し、属性データＩＤはシステムに一時的に記憶させておく。属性情報が予め属性情報記憶部２４に準備されている場合には、その属性情報を呼出して該当する施設情報の属性データＩＤを取得し、記憶させておく（ステップＳ１）。
【００３９】
次に、フレーム画像において選定された対象施設に係る画像領域について、画像上の位置情報及びカラー情報を、基準画像として一時的にシステムに記憶させる（ステップＳ２）。
【００４０】
そして、対象施設の映し出されている一連のフレーム画像の後端を定めるため、基準画像を選定したフレーム画像から順送り再生し、順に再生されたフレーム画像に従って、該フレーム画像中に映し出される画像と、選定した基準画像とのパターンマッチングを実施し（ステップＳ３）、順次再生されるフレーム画像について、パターンマッチングが不可能であるかが判断される（ステップＳ４）。
【００４１】
当該フレーム画像について基準画像とのパターンマッチングを実施できる場合には（Ｎ）、当該フレームのマッチングした画像領域情報で基準画像を更新してステップＳ３に戻り、次に順送り再生されたフレーム画像について、パターンマッチングを実施する。
【００４２】
順次再生されるフレーム画像について、基準画像とのパターンマッチングが不可能となった場合（Ｙ）、これまで順送り再生されたフレーム画像において、対象施設に係る画像領域が最大に映し出されているものを基準画像として基準画像情報を更新すると共に、当該フレーム画像の対象施設に係る画像領域についてポリゴンを作成し、該ポリゴンの図形データと共に、ポリゴンＩＤ及び当該フレームのフレームＩＤ、一時記憶しておいた属性データＩＤをポリゴン情報記憶部２２に記録する。あるいは、ポリゴンＩＤ、フレームＩＤ、属性データＩＤを対応テーブルの形式で、対応テーブル記憶部２３に記録する（ステップＳ５）。これで、画像情報記憶部２１に格納されている複数のフレーム画像のうちで、対象施設に係る画像領域が最大に映し出された後端のフレーム画像を特定し、また対象施設が最大に映し出されているフレームについての、撮影映像のフレームと、フレーム画像に映し出されている施設と、施設に係る属性と、の対応付けをすることができる。
【００４３】
次いで、この特定されたフレーム画像における対象施設の基準画像に基づいて、特定フレーム画像より前のフレーム画像について、パターンマッチングで比較することにより、前のフレーム画像中の同一対象施設の画像領域を選定する（ステップＳ６）。
【００４４】
この様にして、当該フレーム画像の前のフレーム画像について順次パターンマッチング比較し、同一対象施設を選定していく。対象施設の映し出されている一連のフレーム画像の前端を定めるため、選定された同一対象施設に係る画像領域の面積が、更新された基準画像の面積の１０分の１以下になったかどうかが判断される（ステップＳ７）。
【００４５】
該当画像領域の面積が、更新された基準画像の面積の１０分の１以下でない場合には（Ｎ）、該当画像領域についてポリゴンを作成し、該ポリゴンの図形データとともに、ポリゴンＩＤ、フレームＩＤ及び一時記憶しておいた属性データＩＤをポリゴン情報記憶部２２に記録する。或いは、ポリゴンＩＤ、フレームＩＤ、属性データＩＤを対応テーブルの形式で、対応テーブル記憶部２３に記憶する（ステップ８）。
【００４６】
一方、該当画像領域の面積が、更新された基準画像の面積の１０分の１以下となった場合には（Ｙ）、これ以降のフレーム画像についてパターンマッチングを終了する（ステップＳ９）。
【００４７】
これで、所定経路に沿って道路を走行しながら撮影された一連の映像について、映像を構成するフレーム画像と、その映像に含まれる複数のフレーム画像に映し出されている特定の対象施設の画像領域（但し、ポリゴン情報として）と、その施設に係る属性情報とに関する対応付けが完了する（ステップＳ１０）。ここで、この映像に他の対象施設が映し出されており、かつ、他の対象施設について対応テーブルを作成する必要がある場合には、他の対象施設に対するステップＳ１からステップＳ１０の工程による画像処理を実施する。
【００４８】
以上の様にして、対応付けられた情報を使用して画像管理システムを構築すると、施設の種類を適当に選択することによって、道路に係る標識管理だけでなく、他にも様々な用途にも適用することができる。
【００４９】
その一例として、属性情報に、スーパーマーケットの安売り情報、ラーメン屋の宣伝情報等を記憶し、それらの施設に係るポリゴン情報を管理することで、町内ガイド情報を容易に作成することができる。撮影した経路が観光地であれば、簡単に観光案内を作成できる。
【００５０】
他の例として、自動車運転教習へ適用することができる。本実施形態による画像処理システムでは、撮影した映像に対して、映し出されている被写体について自在にポリゴンを設定できるので、自動車教習所又は所外での検定試験における注意箇所、注意項目を各施設に関連付けて纏めることができる。
【００５１】
また、教習車に搭載したカメラを用いて撮影された映像に基づいて、教習運転中における不具合があった場所を簡単に編集することができるので、言葉による説明だけでなく、撮影画像を参照しながら、その場所の状況と注意事項等を取り纏めることができる。そのため、画像を見ながら、講習者が容易に復習することができる。
【００５２】
画像管理システムに表示モードを指定できるようにすると、例えば、経路上に設置されている標識のみを選択して連続的に表示させることもできる。これにより、路線単位での標識確認、目的地までの標識の整合・確認等が容易に行なえるようになる。
【００５３】
これらの用途に対応できる画像管理システムにおける映像検索表示機能について、図５のフローチャートを参照して説明する。この映像検索表示機能を実現するシステムブロック構成は、図３に示されるものである。
【００５４】
ここで、画像管理システムでは、例えば画像を表示しておいて、映し出されている施設に係る属性情報を検索し表示する、または、逆に属性を検索してから施設を特定し、それに係る画像を表示する、といった処理を行う。この目的のためには、撮影画像処理システムで実現した、撮影映像、映像中の被写体、被写体に係る属性、これら相互の対応関係があればよく、フレーム画像中の被写体画像領域に作成したポリゴンデータそのものは、直接的には要しない。このため、ポリゴンＩＤ、フレームＩＤ、属性データＩＤを記録した対応テーブルを使用する方が効果的である。ポリゴンデータは、ポリゴンＩＤから必要に応じてポリゴン情報記憶部２２から呼び出せれば良い。
【００５５】
撮影画像処理システムにおいて、撮影映像−映像中の被写体−被写体に係る属性の対応をポリゴン情報に記録した場合でも、ここから対応テーブルは作成可能であり、以下の説明においては、対応テーブルが参照されるものとして説明する。
【００５６】
先ず、オペレータは操作都３のデータ入力部３１を用いて、再生する画像を決定する際の検索条件情報を入力する（ステップＳ２１）。例えば、ある経路について再生を行う経路別再生のための路線名称、経路内の区間について再生する区間別再生のための距離標（自至）、特定の施設のみについて再生する施設個所再生のための施設名称、標識なら標識についてだけを再生する施設種類別再生のための施設種類名称、または施設が座標でわかっている場合の施設位置座標等である。
【００５７】
次に、表示モード指定部３２によって、表示部５１に画像を順送りで再生する（順再生）、または逆送りで再生する（逆再生）か、および施設の写っている画像のみを表示する（スキップ再生）、または、再生を開始するフレームから、施設の写っているいないに関わらず順次画像を連続して再生する（連続再生）か、の表示モードの指定を行う（ステップＳ２２）。
【００５８】
そして、画像管理システムは操作部３から入力されたデータに基づいて、まず記憶部２に保存されている画像情報や、属性情報、対応テーブルから条件に合致する画像のフレームＩＤを検索する。次に表示モードに従って、再生するフレームＩＤを決定する（ステップＳ２３）。
【００５９】
例えば、経路別再生であれば、撮影経路を特定する路線名称は画像情報の属性として保存されているので、これを検索し、表示モードが順再生・連続再生であれば、経路基点のフレームＩＤを再生開始のフレームＩＤとし、ここから順次再生するものとする。また、施設種類別再生であれば、施設種類が保存されている属性情報を検索して対象種類の施設の属性データＩＤを取得する。ついで対応テーブルを検索し、属性データＩＤに対応づけられているフレームＩＤを取得する。表示モードが、逆再生・スキップ再生であれば、得られたフレームＩＤから最大のもの（フレームＩＤを撮影順に付しておけば良い）を再生開始とし、得られたフレームＩＤの逆順に再生するものとする。この時のフレームＩＤは対応テーブルから取得したものであるから、対象種類の施設の写っているもののみに制限されている。従って、得られたフレームＩＤについて順次再生するだけで、スキップ再生が実現できる。これらの検索条件は当然組み合わせ可能である。
【００６０】
これで、再生開始フレームＩＤ、再生対象フレームＩＤ、および再生順序が決定できたので、後は順次、記憶部２の画像情報からフレーム画像を検索して表示部６１に表示する一方、表示フレームＩＤに対応づけられているポリゴンＩＤから、記憶部２のポリゴン情報よりポリゴンデータを検索し、フレーム画像にポリゴンデータを重ね合せて表示する（ステップＳ２４）。
【００６１】
表示しているフレーム画像中の施設部分には、常にポリゴンが重ね合わされて表示されるが、この様にすることによって、オペレータは、フレーム画像中の該施設部分には属性が対応付けられていることを視覚的に判別することができる。なお、必要に応じて表示された画像情報を印刷部６２で印刷することができる。
【００６２】
次に、前述した用途に対応できる画像管理システムにおける属性情報検索表示機能について、図６のフローチャートを参照して説明する。この属性情報検索表示機能を実現するシステムブロック構成は、図３に示されるものである。
【００６３】
表示部６１の画面に表示されているフレーム画像について、そこに施設が映し出されていればその施設部分にポリゴンが重ね合わされて表示されているので、先ず、オペレータは、操作部３のデータ入力部３１によって、表示部６１の画面に表示されているフレーム画像に映し出されている施設をポリゴンによって指定する（ステップＳ３１）。図２（ａ）に示されるように、所望する施設の画像領域に重ね合せ表示されているポリゴン内部を、データ入力部３１によるカーソルで指定する。当該ポリゴンが指定されると、該ポリゴンに係るポリゴンＩＤを特定できる。
【００６４】
属性情報検索表示部１４は、対応テーブルを参照して、特定されたポリゴンＩＤから対応する属性データＩＤを検索し、この属性データＩＤに基づいて、記憶部２に記憶された属性情報を読み取る（ステップＳ３２）。
【００６５】
次いで、読み出された属性情報を、図２（ｂ）に示されるように、表示部６１の画面に表示する。さらには、必要に応じて印刷出力することもできる（ステップＳ３３）。なお、図２（ｂ）に示した例では、属性情報をフレーム画像に重ね合わせて表示したが、表示部６１の画面に属性情報のみを表示することもできる。
【００６６】
【発明の効果】
以上の様に、本発明によれば、道路、河川等において、その経路に沿って撮影した映像に基づいて、その映像に映し出された施設等の被写体に関するポリゴン、フレーム画像及び被写体に係る属性データ相互の対応付けを自動的に作成することができる撮影画像処理システムとし、さらに、前記対応を、対応テーブルの形式に記録し、該対応テーブルに基づいた画像や施設等の属性を検索できる画像管理システムとしたので、任意の映像に映し出されている道路等に係わる施設を指定することにより、直接に当該施設の属性情報を参照でき、しかも、同一画像に映し出されている複数の施設に対して、それらの属性情報を参照することができる。そして、操作性が簡便になり、施設情報の参照が容易となった。
【００６７】
さらに、道路、河川等に係る種々の施設について、施設種別毎に、関連画像の再生機能を備えているので、指定した施設別に連続再生することができる。
【００６８】
また、複数フレームに渡って映し出されている同一施設に関する対応付けは自動的に行われるので、属性情報の入力、画像編集作業が容易となり、作業の手間を大幅に軽減できた。データの修正・変更を実施するときには、映像を参照することができるので、入力間違いを少なくすることができ、作業効率、データの信頼性を向上することができる。
【００６９】
道路、河川等に係わる施設管理を行なう上で、点検後の施設状態に応じてポリゴンを色等で強調表示することにより、注意箇所を容易に確認することができる。
【図面の簡単な説明】
【図１】本発明の撮影画像処理システムによって得られた画像情報に基づいた画像の検索表示について、道路標識を例として説明する図である。
【図２】図１に示した道路標識の例において、検索された画像の属性情報を検索表示する例を説明する図である。
【図３】本発明による撮影画像処理システム及び画像管理システムにおける概略機能ブロック図である。
【図４】本発明の撮影画像処理システムにおける画像情報対応テーブルを作成するフローチャートを示す図である。
【図５】本発明の画像管理システムにおける画像指定による画像検索表示のためのフローチャートを示す図である。
【図６】本発明の画像管理システムにおける画像属性情報指定による属性情報検索表示のためのフローチャートを示す図である。
【符号の説明】
１…処理部
１１…画像処理部
１２…対応テーブル生成部
１３…画像検索表示部
１４…属性情報検索表示部
２…記憶部
２１…画像情報記憶部
２２…ポリゴン情報記憶部
２３…対応テーブル記憶部
２４…属性情報記憶部
３…操作部
３１…データ入力部
３２…表示モード指定部
４…映像取得部
５…属性情報取得部
６…出力部
６１…表示部
６２…印刷部

Claims

経路に設置された被写体を、該経路の一方向に沿って移動するビデオカメラで撮影された連続する複数の画像情報を格納する記憶手段と、
前記記憶手段から読み出された前記画像情報に映し出された被写体画像を指定して該画像情報を基準画像に選定する基準選定手段と、
前記基準画像を基準として、前記複数の画像情報のうち、前記被写体に係る画像領域の面積が最大となる画像情報を特定する画像情報特定手段と、
前記特定された画像情報について、前記被写体に係る画像領域情報と、前記被写体の属性情報に係る属性管理情報と、該画像情報に係る画像管理情報とを関連付けて、前記記憶手段に格納する関連付け手段と、
前記特定された画像情報より前に撮影された画像情報を前記記憶手段から順次読み出し、該読み出された画像情報に映し出された被写体の画像領域と、直前の画像情報に映し出された被写体の画像領域とがマッチング処理によって同定される場合に、連続して読み出された画像情報に映し出された前記被写体に係る画像領域を選定し、該画像領域情報を前記記憶手段に格納する画像領域選定手段と、を備え、
前記関連付け手段は、前記選定された被写体に係る画像領域を含む画像情報の各々について、前記特定された画像情報に係る前記画像管理情報に関連付けた画像管理情報を前記記憶手段に格納することを特徴とする撮影画像処理システム。
前記画像領域選定手段は、前記連続して読み出された画像情報における前記被写体に係る画像領域の面積が、前記特定された画像情報における前記被写体に係る画像領域の面積の１０分の一以下になったときに、画像領域の選定処理を終了することを特徴とする請求項１に記載の撮影画像処理システム。
前記画像領域情報、前記属性情報、前記画像情報のいずれか一つ以上が指定されることにより、前記記憶手段に格納された前記画像領域情報、前記属性情報、前記画像管理情報を検索する検索手段と、
前記検索手段によって検索された前記画像領域情報、前記属性情報、前記画像管理情報を再生表示する表示手段と、
を備えたことを特徴とする請求項１又は２に記載の撮影画像管理システム。
前記表示手段は、前記検索された前記画像領域情報、前記属性情報、前記画像管理情報を再生表示するとき、スキップ再生と連続再生とを選択する選択手段を有することを特徴とする請求項３に記載の撮影画像管理システム。
前記表示手段は、検索された前記画像領域情報、前記属性情報、前記画像管理情報を再生表示するとき、順送り方向又は逆送り方向で再生表示することを特徴とする請求項３又は４に記載の撮影画像管理システム。