JP3279960B2 - 経路画像情報記録再生装置及び経路画像情報記録方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、道路や水路などの
経路の状況を連続的に撮影した画像に経路上の位置情報
を付加して記録し、指定された位置情報に対応する画像
を再生する経路画像情報記録再生装置とその記録方法に
関し、特に、画像に対する位置情報の付加を機械的に行
なえるようにしたものである。

【０００２】

【従来の技術】高速道路の脇に設置されている標識や分
離帯などの破損箇所を調査する場合、現在は、パトロー
ル車で高速道路を走りながら、破損箇所を人の目で探
し、破損を発見すると車を止めて写真を撮り、これを持
ち帰って補修について検討するという手順が採られてい
る。しかし、この方法は、高速道路で車を止める必要が
あるため危険を伴い、また、調査に時間が掛かる。

【０００３】そこで、こうした場合に、高速道路を車で
走りながらビデオカメラを回し続けて道路脇の状況を動
画として撮影し、撮影後、この画像を再生しながら、破
損した箇所を検出するという方法が考えられている。

【０００４】このとき、各々の画像が高速道路上のどの
地点を映したものであるかが分からなければ、破損箇所
を特定することができない。そこで、この方法では、作
業者が撮影後に画像を再生しながら、画像が映された位
置を画像と関連づけて記録する作業を行ない、こうして
記録された画像情報（経路画像情報）を用いて破損箇所
の検出が行なわれる。

【０００５】この経路画像情報を記録再生する経路画像
情報記録再生装置は、機能ブロックとして図２１に示す
ように、画像を入力するビデオカメラなどの画像入力手
段211と、画像情報を記録するビデオデッキなどの画像
情報記録手段212と、この画像を表示する画像表示手段2
13と、画像を撮影した位置を入力する位置入力手段214
と、位置入力手段214から入力された位置を画像に添付
する位置添付手段215と、位置が添付された画像を記録
する位置及び画像記録手段216と、検索しようとする地
図上の位置を指定する第２の位置入力手段218と、位置
及び画像記録手段216に記録された画像から、第２の位
置入力手段218により指定された位置情報に応じて画像
を選択する画像選択手段217と、選択された画像を表示
する第２の画像表示手段219とを備えている。

【０００６】この装置では、ビデオカメラなどの画像入
力手段211から入力された動画情報が、ビデオデッキな
どの画像記録手段212に記録される。この画像情報は、
画像表示手段213に表示される。そこで、ユーザはこの
画像を見ながら画像の位置を画像入力手段214によって
入力していく。この位置情報は、位置添付手段215によ
り画像情報記録手段212の画像に添付され、画像毎に位
置の添付された情報が、位置及び画像記録手段216に記
録される。

【０００７】第２の位置入力手段218からは、検索しよ
うとする地図上の位置などが入力される。この位置情報
は、画像選択手段217に入力され、位置及び画像記録手
段216に記録された画像のうち、その位置に最も近い画
像が選択され、画像表示手段219に表示される。

【０００８】

【発明が解決しようとする課題】しかし、この従来の経
路画像情報記録再生装置では、入力された画像に対する
位置付けを位置入力手段214によってその都度行なわな
くてはならず、大変な手間が掛かる。

【０００９】また、画像を見ながら、それが映された位
置を人の目で判断することは、作業者に多くの負担を強
いるだけでなく、判断ミスにより、画像に対して誤った
位置が付される場合がある。

【００１０】本発明は、こうした従来の問題点を解決す
るものであり、画像情報に対する位置づけを自動的に行
なうことができる経路画像情報記録再生装置と、経路画
像情報を記録する方法とを提供することを目的としてい
る。

【００１１】

【課題を解決するための手段】そこで、本発明の経路画
像情報記録再生装置では、経路上の画像を撮影する画像
入力手段と、画像入力手段を搭載した移動体の位置を測
定する測定手段と、同期信号を発生する同期信号発生手
段とを設け、画像入力手段から入力する画像と同期信号
とを合わせて記録し、また、測定手段によって測定され
た測定位置と同期信号とを合わせて記録し、これらのデ
ータを、同期信号を基にマッチングさせて、測定位置と
画像情報とを関連づけたデータを生成する。次いで、測
定位置に対応する経路上の位置を求め、画像情報と経路
上の位置情報とを結び付けた構造化データを生成して記
憶手段に格納する。また、再生すべき画像の経路上の位
置情報が指定されたとき、記憶手段に記憶された構造化
データの中から指定された経路上の位置に最も近い画像
を選択する画像選択手段を設け、この画像選択手段によ
り選択された画像を画像表示手段に表示している。

【００１２】そのため、経路を連続撮影した画像の各フ
レームに、起点からの距離などの経路上の位置情報が機
械的に付与される。従って、経路上の位置情報を指定し
て、該当する経路位置の画像を表示させることが可能に
なる。

【００１３】また、本発明の経路画像情報記録方法で
は、移動体で経路を移動しながら画像を連続的に撮影
し、その画像情報を同期信号とともに記録し、同時に移
動体の位置を測定して、その位置情報を同期信号ととも
に記録する。次に同期信号を仲介にして、各フレームの
画像情報と位置情報とを結び付け、さらに位置情報が示
す位置に最も近い経路上の位置を算出して、各フレーム
の画像情報を経路上の位置に結び付けて記録する。

【００１４】そのため、車を走らせながらビデオカメラ
などで連続的に撮影した路面や路側の画像の各フレーム
に経路上の位置情報が機械的に付与され、経路画像情報
として記録される。

【００１５】

【発明の実施の形態】本発明の請求項１に記載の発明
は、経路に沿って撮影した画像と経路上の位置情報とを
対応付けて記録し、指定された経路上の位置情報に対応
する画像を再生する経路画像情報記録再生装置におい
て、経路上の画像を撮影する画像入力手段と、画像入力
手段を搭載した移動体の位置を測定する位置測定手段
と、同期信号を発生する同期信号発生手段と、画像入力
手段から入力する画像と同期信号とを合わせて記録する
画像情報記録手段と、位置測定手段によって測定された
測定位置と同期信号とを合わせて記録する位置情報記録
手段と、画像情報記録手段に記録された画像と位置情報
記録手段に記録された測定位置とを同期信号に基づいて
マッチングさせる第１のマッチング手段と、第１のマッ
チング手段によってマッチングされた測定位置及び画像
情報を記憶する位置及び画像記憶手段と、経路上の位置
情報を記憶する経路情報記憶手段と、位置及び画像記憶
手段に記憶された測定位置と経路情報記憶手段に記憶さ
れた経路上の位置情報とをマッチングさせて画像情報と
経路上の位置情報とを結び付ける第２のマッチング手段
と、第２のマッチング手段によって結び付けられた画像
情報と経路上の位置情報とから成る構造化データを記憶
する構造化データ記憶手段と、再生すべき画像の経路上
の位置情報を指定する位置入力手段と、構造化データ記
憶手段に記憶された構造化データの中から位置入力手段
によって指定された経路上の位置に最も近い画像を選択
する第１の画像選択手段と、選択された画像を表示する
画像表示手段とを設けたものであり、路面や路側などを
ビデオカメラで撮影すると、各フレームの画像に、その
画像に対応する経路上の位置が機械的に結び付けられて
記録される。従って、経路上の位置を指定することによ
り、その位置に対応する画像を表示させることができ
る。

【００１６】請求項２に記載の発明は、経路に沿って撮
影した画像と経路上の位置情報とを対応付けて記録し、
指定された経路上の位置情報に対応する画像を再生する
経路画像情報記録再生装置において、経路上の画像を撮
影する画像入力手段と、画像入力手段を搭載した移動体
の速度を測定する動き測定手段と、同期信号を発生する
同期信号発生手段と、画像入力手段から入力する画像と
同期信号とを合わせて記録する画像情報記録手段と、動
き測定手段によって測定された速度と同期信号とを合わ
せて記録する動き情報記録手段と、画像情報記録手段に
記録された画像と動き情報記録手段に記録された速度と
を同期信号に基づいてマッチングさせる第１のマッチン
グ手段と、この速度から距離を計算する距離計算手段
と、画像情報と距離情報とを結び付けて記憶する距離及
び画像記憶手段と、距離及び画像記憶手段に記憶された
距離情報に基づいて画像情報を間引く間引き手段と、経
路上の位置情報を記憶する経路情報記憶手段と、距離及
び画像記憶手段に記憶された距離情報と経路情報記憶手
段に記憶された経路上の位置情報とをマッチングさせて
画像情報と経路上の位置情報とを結び付ける第２のマッ
チング手段と、第２のマッチング手段によって結び付け
られた画像情報と経路上の位置情報とから成る構造化デ
ータを記憶する構造化データ記憶手段と、再生すべき画
像の経路上の位置情報を指定する位置入力手段と、構造
化データ記憶手段に記憶された構造化データの中から位
置入力手段によって指定された経路上の位置に最も近い
画像を選択する第１の画像選択手段と、選択された画像
を表示する画像表示手段とを設けたものであり、道路の
渋滞などで画像フレーム間隔に粗密が生じた場合でも、
画像情報を経路上に等距離間隔で位置付けることができ
る。

【００１７】請求項３に記載の発明は、過去の構造化デ
ータを記憶する第２の構造化データ記憶手段と、第２の
構造化データ記憶手段に記憶される構造化データを更新
する構造化データ更新手段と、第２の構造化データ記憶
手段に記憶された過去の構造化データの中から位置入力
手段によって指定された経路上の位置に最も近い画像を
選択する第２の画像選択手段と、第２の画像選択手段に
よって選択された画像を表示する第２の画像表示手段と
を設けたものであり、経路上の位置を指定すると、２つ
の画像表示手段のそれぞれに、その位置に対応する最新
画像と過去の画像とが表示される。そのため、それらを
見比べることによって、経路上の変形箇所や破損箇所を
容易に発見することができる。

【００１８】請求項４に記載の発明は、過去の構造化デ
ータを記憶する第２の構造化データ記憶手段と、第２の
構造化データ記憶手段に記憶される構造化データを更新
する構造化データ更新手段と、第２の構造化データ記憶
手段に記憶された過去の構造化データの中から位置入力
手段によって指定された経路上の位置に最も近い画像を
選択する第２の画像選択手段と、第１の画像選択手段に
よって選択された画像と第２の画像選択手段によって選
択された画像とを比較する画像比較手段とを設け、画像
表示手段が、画像比較手段の比較結果に基づいて選択さ
れた画像を表示するようにしたものであり、過去の画像
と比べて差異が大きい画像だけが自動的に選択されて画
像表示手段に表示されるため、経路上の変形箇所や破損
箇所を僅かな労力で発見することができる。

【００１９】請求項５に記載の発明は、構造化データ記
憶手段に記憶された構造化データの画像情報に含まれる
文字情報を認識する文字情報認識手段と、文字情報認識
手段によって認識された文字情報を構造化データに結び
付けて記憶する第２の構造化データ記憶手段とを設け、
位置入力手段から経路上の位置情報として文字が入力さ
れたとき、第１の画像選択手段が、第２の構造化データ
記憶手段に記憶された構造化データの中から、入力され
た文字に結び付いた画像を選択するようにしたものであ
り、例えば、文字を指定して、その文字が表示されてい
る標識の画像を表示させることができる。

【００２０】請求項６に記載の発明は、経路に沿って撮
影した画像と経路上の位置情報とを対応付けて記録する
経路画像情報記録方法において、経路を移動体で移動し
ながら画像を連続的に撮影し、その画像情報を同期信号
とともに記録し、同時に移動体の位置を測定して、その
位置情報を同期信号とともに記録し、次に同期信号を仲
介にして、各フレームの画像情報と位置情報とを結び付
け、さらに位置情報が示す位置に最も近い経路上の位置
を算出して、各フレームの画像情報を経路上の位置に結
び付けて記録するようにしたものであり、ビデオカメラ
などで連続的に撮影した画像の各フレームに、経路上の
位置情報を機械的に付して記録することができる。

【００２１】請求項７に記載の発明は、経路に沿って撮
影した画像と経路上の位置情報とを対応付けて記録する
経路画像情報記録方法において、経路を移動体で移動し
ながら画像を連続的に撮影し、その画像情報を同期信号
とともに記録し、同時に移動体の速度を測定して、その
速度情報を同期信号とともに記録し、次に同期信号を仲
介にして、各フレームの画像情報と速度情報とを結び付
け、次にこの速度情報を移動体の移動距離に換算して、
画像情報と距離情報とを結び付け、この距離情報を基
に、画像間の距離がほぼ等しくなるように画像を間引
き、残った画像情報の距離情報と経路上の位置情報とを
対応させて、各画像情報を経路上の位置に結び付けて記
録するようにしたものであり、道路の渋滞などで画像フ
レーム間の距離に粗密が生じた場合でも、画像情報を経
路上に等距離間隔で位置付けることができる。

【００２２】請求項８に記載の発明は、画像情報から文
字情報を認識し、認識した文字情報を、経路上の位置と
ともに、各画像情報に結び付けて記録するようにしたも
のであり、文字を指定して対応する画像を再生すること
ができる。

【００２３】以下、本発明の実施の形態について、図面
を用いて説明する。

【００２４】（第１の実施の形態）第１の実施形態の経
路画像情報記録再生装置は、図１に示すように、車など
に搭載されて道路脇の状況などを動画像として撮影する
ビデオカメラなどから成る画像入力手段１と、現在の時
刻が何時何分何秒であるといった時間の経過に依存した
信号を発生する同期信号発生手段５と、画像入力手段１
から入力する画像情報と同期信号発生手段５から入力す
る同期信号とを同時に記録するビデオデッキなどから成
る画像情報記録手段２と、車の走行に応じて車の位置な
どを測定するカーナビやＧＰＳなどから成る位置測定手
段３と、位置測定手段３から入力する位置情報と同期信
号発生手段５から入力する同期信号とを同時に記録する
位置情報記録手段４と、画像情報記録手段２に記録され
た画像情報と位置情報記録手段４に記録された位置情報
とを同期信号に基づいてマッチングし、画像情報記録手
段２に記録された動画像の１フレーム毎に位置情報を添
付する第１のマッチング手段６と、第１のマッチング手
段６によってマッチングされた画像及び位置の情報を記
憶する位置及び画像記憶手段７と、道路などの路線情報
を記録する路線情報記録手段９と、位置及び画像記録手
段７に記録された画像及び位置の情報と路線情報記録手
段９に記録された路線情報とをマッチングする第２のマ
ッチング手段８と、第２のマッチング手段８によって対
応づけられた画像とその画像の路線に対する位置情報と
を記録する構造化データ記録手段10と、検索しようとす
る路線上の位置を入力する位置入力手段12と、構造化デ
ータ記録手段10に記録された画像の中から位置入力手段
12より入力された位置情報に最も近い画像を選択する画
像選択手段11と、画像選択手段11によって選択された画
像を表示する画像表示手段13とを備えている。

【００２５】路線情報記録手段９には、例えば道路の路
線形状、及びキロポスト（各々の位置が路線の起点から
何ｋｍの場所であるかを示す情報）やピア番号（橋脚番
号）などの高速道路の管理情報が路線情報として記録さ
れる。

【００２６】この装置では、車を走行させながら道路面
や道路脇を撮影し、その画像情報を同期信号とともに記
録する。また、同時に車の位置を測定して、その位置情
報を同期信号とともに記録する。そして、同期信号を仲
介にして、各フレームの画像情報と位置情報とを結び付
ける。次いで、位置情報が示す位置に最も近い路線上の
位置を調べ、各フレームの画像情報を路線上の位置に結
び付ける。こうした方法で経路画像情報が記録される。

【００２７】次に、この装置の動作についてさらに詳し
く説明する。図２は、画像情報記録手段２、位置情報記
録手段４及び位置及び画像記録手段７の動作を説明した
ものである。図２において、画像情報記録手段２は、動
画像である画像情報21及び同期信号22を記録している。
また、位置情報記録手段４は、緯度・経度などの位置情
報24及び同期信号23を記録している。

【００２８】第１のマッチング手段６は、画像情報記録
手段２に記録された同期信号22と、位置情報記録手段４
に記録された同期信号24とを比較する。これらの同期信
号は、同期信号発生手段５によって発生されたものであ
り、同じ時刻のものが存在する。そこで、同じ時刻同士
の位置情報24と画像情報21とを対にして、位置及び画像
記録手段７に記録していく。

【００２９】図３は第２のマッチング手段８の動作を示
している。図３において、画像31及び画像の位置32は、
位置及び画像記録手段７に記録された画像及び位置の一
つを示している。位置測定手段３によって測定された位
置（緯度・経度）は、最大２００ｍ程度の誤差を含んで
おり、第２のマッチング手段８は、この位置を路線情報
に基づいて、路線上の位置に修正する動作を行なう。

【００３０】図３の路線情報35は、路線情報記録手段９
に記録されたものであり、この路線情報は例えばｘ軸ｙ
軸の座標によって構成されている。

【００３１】マッチング手段８は、画像の位置32が与え
られたとき、この位置をｘ軸ｙ軸で表現される位置33に
プロットする。そして、位置33に最も近い路線情報35の
位置を探す。

【００３２】これは、記録された画像の位置33から円36
を描き、円36の半径を次第に大きくしていって、最初に
交差する路線上の位置を見つければよい。

【００３３】こうして、発見された位置34が、その画像
の路線上の位置であり、画像31に対して位置34が付され
る。

【００３４】図４は、第２のマッチング手段８によっ
て、画像の位置が移動される様子を模式的に示してい
る。画像情報記録手段２に記録された画像情報41は、路
線情報記録手段９に記録された路線情報42に対して、43
のように配置される。

【００３５】図５は、構造化データ記録手段10に記録さ
れた路線情報51及び画像情報52を示している。各フレー
ムの画像情報に対して、路線上の位置51が対応づけられ
ている。

【００３６】図６は、画像選択手段11の動作を示してい
る。位置入力手段12によって指示された路線上の指示位
置63に対応した画像を構造化データ記録手段10から探し
出して、画像表示手段13に表示する。

【００３７】図７は、第１の実施形態のハード構成を具
体的に示したものである。位置測定手段３としてカーナ
ビまたは車速計71を備え、画像入力手段１としてビデオ
カメラ72を備えている。また、構造化データ記録手段10
として画像データベース73を備え、路線情報記録手段９
として路線情報データベース74を備えている。また、位
置入力手段12及び画像表示手段13として位置の入力及び
フレーム表示手段75を備え、その他の機能はパソコン76
に内装されている。

【００３８】この装置では、１台のパソコンを使って、
各フレームの画像情報と経路位置とを対応づけた経路画
像情報を記録し、また、この経路画像情報から所望位置
の画像を検索・表示することができる。

【００３９】図８は、パトロールカーで経路画像を撮影
し、この経路画像に対して、管理事務所に設置した装置
で経路位置を付与する場合のハード構成を示している。
高速道路を走行するパトロールカーにはビデオカメラ82
とパソコン81とが搭載され、ビデオカメラ82から同期信
号としての時間情報が発せられ、ビデオカメラ82に内蔵
されたＤＶＣカセット83に画像情報と時間情報とが記録
される。また、パソコン81には、パトロールカーに付帯
するカーナビや車速計から、測定された位置情報が入力
し、また、ビデオカメラ82から時間情報が入力し、パソ
コン81は、これらの情報をフロッピー84に記録する。

【００４０】位置情報と時間情報との対が記録されたフ
ロッピー84は、管理事務所に持参され、他のパソコン86
に、この位置情報と時間情報との対が入力される。一
方、画像と時間情報との対が記録されたＤＶＣカセット
83は、管理事務所のビデオデッキ85に掛けられて再生さ
れ、画像と時間情報との対が他のパソコン86に入力され
る。

【００４１】また、図７と同様に、構造化データ記録手
段10としての画像データベース、路線情報記録手段９と
しての路線情報データベース、位置入力手段12及び画像
表示手段13としての位置の入力及びフレーム表示手段を
備え、その他の機能はパソコン76に内装される。

【００４２】このように、この経路画像情報記録再生装
置では、経路の画像情報と経路位置情報との対応を機械
的に取ることができるため、作業者の負担が軽減され、
また、画像情報に対して正確に位置情報を対応づけるこ
とができる。

【００４３】（第２の実施の形態）第２の実施形態の経
路画像情報記録再生装置では、道路上の同一箇所におけ
る現在の画像と過去の画像とを見比べることができる。

【００４４】この装置は、図９に示すように、過去の構
造化データを記録する記録手段92と、過去の構造化デー
タ記録手段92に記録された画像の中から位置入力手段12
より入力された位置情報に最も近い画像を選択する第２
の画像選択手段93と、第２の画像選択手段93によって選
択された画像を表示する第２の画像表示手段94と、過去
の構造化データ記録手段92のデータを更新する構造化デ
ータ更新手段91とを備えている。その他の構成は第１の
実施形態（図１）と変わりがない。

【００４５】構造化データ更新手段91は、構造化データ
記録手段10に新たな画像データが記録されるとき、この
内容を過去の構造化データ記録手段92にコピーする。そ
の結果、構造化データ記録手段92には、これまでのすべ
ての構造化データ（あるいは最新データとその前の時点
のデータ）が保持される。

【００４６】位置入力手段12から検索しようとする路線
の位置が入力されると、第２の画像選択手段93は、過去
の構造化データ記録手段92に記録されている過去の構造
化データの中から、入力された位置に最も近い画像を選
択する。この選択された画像は、第２の画像表示手段94
に表示される。

【００４７】画像表示手段13には同じく、構造化データ
記録手段10に記録された画像データの中から、入力され
た位置に一番近いものが表示される。その結果、過去の
画像と現在の画像とを比較することが可能になる。

【００４８】図１０は、この様子を示したものであり、
位置指示画面61から指示された位置63の現在の画像が画
像表示手段62に表示され、第２の画像表示手段101に、
その位置の過去の画像が表示される。

【００４９】このように、この装置では、過去の状態と
現在の状態とを見比べることができるため、破損箇所や
変形箇所の発見が容易になる。

【００５０】（第３の実施の形態）第３の実施形態の経
路画像情報記録再生装置では、過去の画像との違いが大
きい現在の画像だけが表示される。

【００５１】この装置は、図１１に示すように、画像選
択手段11及び第２の画像選択手段93によって選択された
画像を比較する画像比較手段111と、画像比較手段111に
より過去の画像と比べて大きく異なるとされた現在の画
像を表示する１つの画像表示手段13と、経路上の位置を
指定するとともにその指定位置を順次更新する位置入力
及び更新手段112とを備えている。その他の構成は第２
の実施形態（図９）と変わりがない。

【００５２】画像比較手段111は、図１２に示すよう
に、画像から必要部分を切り出す画像処理手段123、124
と、切り出された画像部分のパタンを比較するパタン比
較手段127とを具備している。

【００５３】この装置では、位置入力及び更新手段112
から路線上の位置が指定されると、画像選択手段11及び
第２の画像選択手段93によって画像が選択される。この
画像をそれぞれ、図１２の122及び121で表している。こ
の画像は、画像処理手段123及び画像処理手段124によっ
て処理され、例えば標識の領域のみが切り出される。こ
れを示したのが126及び125である。

【００５４】パターン比較手段127は、これらの画像の
パターンを比較する。比較の方式としては、単純に画像
同士の相関を取る相関法などがある。この結果、相関の
値が一定の値より小さい、即ち、画像同士の異なり具合
いが大きいときは、現在の画像122が画像表示手段13に
表示される。

【００５５】このように、この経路画像情報記録再生装
置では、位置入力及び更新手段112により路線上の位置
が順次指定され、表示手段には、過去の画像と大きく異
なる最新画像だけが表示される。そのため、標識などの
破損箇所や不良箇所を、多くの画像を見ることなく、簡
単に発見することができる。

【００５６】（第４の実施の形態）第４の実施形態の経
路画像情報記録再生装置は、文字を入力して、その文字
を含む標識の画像を表示させることができる。

【００５７】この装置は、図１３に示すように、画像内
の文字情報を認識する文字情報認識手段131と、文字情
報が付加された構造化データを記憶する第２の構造化デ
ータ記録手段132と、位置や文字を指定して画像の表示
を指令する位置または文字入力手段133とを備えてい
る。その他の構成は第１の実施形態（図１）と変わりが
ない。

【００５８】この装置では、路線上の位置と結び付けた
各フレームの画像情報に対して、その画像に写る文字を
認識し、認識した文字をさらに結び付けた経路画像情報
を記録する。

【００５９】文字情報認識手段131は、図１４に示すよ
うに、構造化データ記録手段10から入力する入力画像14
1の標識の部分を抽出する画像処理手段124と、抽出され
た処理結果画像142の文字を認識する文字認識手段143と
を具備し、文字データとして例えば、「代官町」、「戸
田南」、「北池袋」といった文字情報144が認識され
る。

【００６０】また、第２の構造化データ記録手段132に
は、図１５に示すように、画像情報52と路線情報51とが
リンクされた構造化データに、さらに、文字情報認識手
段131によって認識された文字情報151が付加されて記憶
される。なお、文字情報を保持する領域は各画像毎に存
在するが、文字情報自体は、文字が認識された画像に対
してのみ付加される。

【００６１】この結果、位置または文字入力手段133か
ら標識内の文字が入力されると、その文字を含む画像が
画像選択手段11によって選択され、画像表示手段13に表
示される。

【００６２】このように、この経路画像情報記録再生装
置では、経路画像情報に標識の文字をリンクさせること
ができる。従って、ユーザは文字によって特定できる標
識を、画像情報の中から簡単に見つけ出すことができ
る。

【００６３】（第５の実施の形態）第５の実施形態の経
路画像情報記録再生装置は、画像情報を路線上に等間隔
に位置づけることができる。

【００６４】この装置は、図１６に示すように、画像入
力手段１を搭載した車の速度を測定する動き測定手段16
1と、その測定結果を同期信号とともに記録する動き情
報記録手段162と、速度から走行距離を計算する距離計
算手段163と、画像情報記録手段２に記録された画像情
報と動き情報記録手段162に記録された動き情報とを同
期信号に基づいて結び付けるとともに、その動き情報を
距離計算手段163が算出した距離情報に変えて動画像の
１フレーム毎に添付する第１のマッチング手段６と、第
１のマッチング手段６によってマッチングされた画像及
び距離の情報を記憶する距離及び画像記録手段164と、
画像間の距離が一定になるように画像を間引く間引き手
段165と、距離及び画像記録手段164に記録された画像及
び距離の情報と路線情報記録手段９に記録された路線情
報とをマッチングする第３のマッチング手段８とを備え
ている。その他の構成は第１の実施形態（図１）と変わ
りがない。

【００６５】この装置では、車を走行させながら道路面
や道路脇を撮影して、その画像情報を同期信号とともに
記録する。それと同時に、車の速度を測定して、その速
度情報を同期信号とともに記録する。そして、同期信号
を仲介にして、各フレームの画像情報と速度情報とを結
び付け、次いで、速度を車の走行距離に換算して、画像
情報と距離情報とを結び付ける。次に、距離情報を基
に、画像間の距離がほぼ等しくなるように画像を間引
き、残った画像情報を路線上の位置に結び付ける。こう
した方法で経路画像情報が記録される。

【００６６】動き測定手段161は、図１７に示すよう
に、車のタイヤ171の回転数を計測する回転センサー172
を具備し、タイヤの回転数から車の速度を算出する。

【００６７】また、図１８は、画像情報記録手段２、動
き情報記録手段162、第１のマッチング手段６、距離計
算手段163、距離及び画像記録手段164の関係を示したも
のである。画像情報記録手段２に記録された画像と、動
き情報記録手段162に記録された動き情報とは、同期信
号22及び23によって対応づけられる。これは第１の実施
形態と同じである。

【００６８】さらに、この第５の実施形態では、距離計
算手段163が、動き情報から、撮影開始点からの移動距
離あるいは画像間の移動距離など、距離情報を計算す
る。これは次のように行なう。

【００６９】動き情報181は、タイヤの回転センサー172
で計測されたものである。タイヤの半径を５０ｃｍとす
れば、円周ｌは公式 ｌ＝２πｒ により ｌ＝２π×５０ｃｍ≒３１４ｃｍ となる。

【００７０】一方、車が時速１００ｋｍで走行するとす
れば、 １００ｋｍ＝１０００００ｍ １時間 ＝３６００秒 であり、 １０００００÷３６００＝２７．８ｍ／ｓ １秒間に２７．８ｍ走行する。

【００７１】一方、ビデオカメラは３０フレーム／ｓで
撮影できるので、 ２７．８ｍ／ｓ ÷ ３０フレーム／ｓ ＝ ０．９２
ｍ／フレーム となり、９２ｃｍ毎に１フレーム撮影できる。

【００７２】この結果、タイヤ１回転あたり、同期信号
を１０回程度発生させるか、１秒間に３０回以上、回転
センサーによりタイヤの回転状態を取得すれば、動画１
フレーム毎の車の動きを測定することが可能である。

【００７３】このようにして計算された距離情報は、画
像情報とともに距離及び画像記録手段164に記録され、
また、距離情報は間引き手段165にも渡される。

【００７４】図１９は、画像情報31と距離情報182との
対を路線上に配置している様子を示している。路線情報
35の起点191から画像の撮影が開始されたとすると、距
離情報182にＬと書かれている画像は、起点からの距離1
92がＬの場所34に配置されることになる。

【００７５】図２０は、間引き手段164の動作を示して
いる。間引き前の画像は、201のように、路面などを動
画で撮影した際の車の速度などに依存して、粗密の状態
であるが、間引き手段164は、距離及び画像記録手段164
の距離情報182に基づき、等間隔になるように画像を間
引き、202の様にすることができる。

【００７６】この結果、この装置では、渋滞中に撮影し
た同じような画像を間引くことが可能になる。また、こ
の装置では、距離及び画像記録手段164に画像と距離と
の関係が記録されているため、道路情報のキロポストな
どとの対応が取り易く、第３のマッチング手段８の動作
が簡単になる。

【００７７】なお、各実施形態では、道路の経路画像情
報を記録する場合について説明したが、本発明は、水路
や鉄道など、他の経路の画像情報の記録にも適用するこ
とができる。

【００７８】また、本発明の装置または方法で記録した
経路画像情報は、経路の補修や修理のためだけでなく、
経路の観光案内や道案内のようなサービス提供などにも
広く利用することができる。

【００７９】

【発明の効果】以上の説明から明らかなように、本発明
の経路画像情報記録再生装置は、ビデオカメラなどで撮
影した経路の画像の各フレームに、経路上の位置情報を
機械的に付与することができ、経路画像情報の生成に携
わる作業者の負担を軽くし、また、画像情報に対して正
確な位置情報の付与が可能となる。

【００８０】また、同一地点の過去の画像と最新の画像
とを表示する装置では、それらを見比べることによっ
て、経路上の変形箇所や破損箇所を容易に発見すること
ができる。

【００８１】また、同一箇所の過去の画像と比べて差異
が大きい最新画像だけを選択して表示する装置では、作
業者が経路上の変形箇所や破損箇所を僅かな労力で発見
することができる。

【００８２】また、画像情報に含まれる文字情報を文字
認識して画像情報と結び付ける装置では、表示文字によ
って特定できる標識などを、簡単に指定して、その画像
を表示させることができる。

【００８３】また、画像情報と距離情報とを結び付けた
データから、距離情報を基に画像を間引く手段を設けた
装置では、経路上を連続して撮影するときに、道路の渋
滞などで画像フレーム間の距離に粗密が生じた場合で
も、画像情報を経路上に等しい間隔で位置付けることが
できる。

【００８４】また、本発明の経路画像情報記録方法で
は、ビデオカメラなどで連続的に撮影した画像の各フレ
ームに、経路上の位置情報を機械的に付して記録するこ
とができる。

【００８５】また、画像情報と距離情報とを結び付け、
この距離情報を基に、画像間の距離がほぼ等しくなるよ
うに画像を間引く方法では、画像情報を経路上に等距離
間隔で位置付けることができ、高品質の経路画像情報を
生成することができる。

【００８６】また、画像情報から抽出した文字情報を画
像情報に結び付けて記録する方法では、文字を検索ツー
ルとして持つ、検索が容易な経路画像情報を生成するこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における経路画像情報
記録再生装置の構成を示すブロック図、

【図２】第１の実施形態における第１のマッチング手段
の動作を示す説明図、

【図３】第１の実施形態における第２のマッチング手段
の動作を示す説明図、

【図４】前記第２のマッチング手段により処理されたデ
ータを示す説明図、

【図５】第１の実施形態における構造化データ記憶手段
に記憶されるデータの構成を示す図、

【図６】第１の実施形態における画像表示手段の表示例
を示す図、

【図７】第１の実施形態における装置のハード構成を示
す図、

【図８】第１の実施形態における装置の他のハード構成
を示す図、

【図９】本発明の第２の実施形態における経路画像情報
記録再生装置の構成を示すブロック図、

【図１０】第２の実施形態における画像表示手段の表示
例を示す図、

【図１１】本発明の第３の実施形態における経路画像情
報記録再生装置の構成を示すブロック図、

【図１２】第３の実施形態における画像比較手段の構成
及び動作を示す説明図、

【図１３】本発明の第４の実施形態における経路画像情
報記録再生装置の構成を示すブロック図、

【図１４】第４の実施形態における文字情報認識手段の
構成及び動作を示す説明図、

【図１５】第４の実施形態における第２の構造化データ
記憶手段に記憶されるデータの構成を示す図、

【図１６】本発明の第５の実施形態における経路画像情
報記録再生装置の構成を示すブロック図、

【図１７】第５の実施形態における動き測定手段の構成
を示す説明図、

【図１８】第５の実施形態における第１のマッチング手
段の動作を示す説明図、

【図１９】第５の実施形態における第３のマッチング手
段の動作を示す説明図、

【図２０】第５の実施形態における間引き手段の動作を
示す説明図、

【図２１】従来の経路画像情報記録再生装置の構成を示
すブロック図、

【図２２】従来の経路画像情報記録再生装置の画像表示
手段における表示例である。

【符号の説明】

１、211 画像入力手段 ２、212 画像情報記録手段 ３ 位置測定手段 ４ 位置情報記録手段 ５ 同期信号発生手段 ６ 第１のマッチング手段 ７、216 位置及び画像記録手段 ８ 第２のマッチング手段 ９ 路線情報記録手段 10 構造化データ記録手段 11、217 画像選択手段 12、218、214 位置入力手段 13、62、213、219、222 画像表示手段 21 動画情報 22、23 同期信号 24、25 位置情報 26、41、52 画像情報 31 画像 32 画像の位置 33 記録された画像の位置 34 移動後の画像の位置 35、42、51 路線情報 36 円 43 配置後の画像 61、221 位置指示画面 63 指示位置 71 カーナビ／車速計 72、82 ビデオカメラ 73 画像データベース 74 路線情報データベース 75 位置の入力及びフレーム表示 76、81、86 パソコン 83 ＤＶＣカセット 84 フロッピー 85 ビデオデッキ 91 構造化データ更新手段 92 過去の構造化データ記憶手段 93 第２の画像選択手段 94、101 第２の画像表示手段 111 画像比較手段 112 位置入力及び更新手段 121 第２の画像選択手段が選択した画像 122 画像選択手段が選択した画像 123、124 画像処理手段 125、126 切り出された標識の領域 127 パターン比較手段 131 文字情報認識手段 132 第２の構造化データ記憶手段 133 位置または文字入力手段 141 入力画像 142 処理結果画像 143 文字認識手段 144 認識された文字 151 文字情報 161 動き測定手段 162 動き情報記録手段 163 距離計算手段 164 距離及び画像記録手段 165 間引き手段 171 タイヤ 172 回転センサー 181 動き情報 182 距離情報 191 起点 192 距離 201 間引き前の画像配列 202 間引き後の画像配列 215 位置添付手段

フロントページの続き (56)参考文献 特開 平８−242442（ＪＰ，Ａ) 特開 平７−37065（ＪＰ，Ａ) 特開 平６−215102（ＪＰ，Ａ) 実開 平７−6896（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18 G06T 1/00 H04N 5/225

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 経路に沿って撮影した画像と経路上の位
   置情報とを対応付けて記録し、指定された経路上の位置
   情報に対応する画像を再生する経路画像情報記録再生装
   置において、 経路上の画像を撮影する画像入力手段と、 前記画像入力手段を搭載した移動体の位置を測定する位
   置測定手段と、 同期信号を発生する同期信号発生手段と、 前記画像入力手段から入力する画像と前記同期信号とを
   合わせて記録する画像情報記録手段と、 前記位置測定手段によって測定された測定位置と前記同
   期信号とを合わせて記録する位置情報記録手段と、 前記画像情報記録手段に記録された画像と前記位置情報
   記録手段に記録された測定位置とを前記同期信号に基づ
   いてマッチングさせる第１のマッチング手段と、 前記第１のマッチング手段によってマッチングされた測
   定位置及び画像情報を記憶する位置及び画像記憶手段
   と、 経路上の位置情報を記憶する経路情報記憶手段と、 前記位置及び画像記憶手段に記憶された測定位置と前記
   経路情報記憶手段に記憶された経路上の位置情報とをマ
   ッチングさせて前記画像情報と経路上の位置情報とを結
   び付ける第２のマッチング手段と、 前記第２のマッチング手段によって結び付けられた画像
   情報と経路上の位置情報とから成る構造化データを記憶
   する構造化データ記憶手段と、 再生すべき画像の経路上の位置情報を指定する位置入力
   手段と、 前記構造化データ記憶手段に記憶された構造化データの
   中から前記位置入力手段によって指定された経路上の位
   置に最も近い画像を選択する第１の画像選択手段と、 選択された画像を表示する画像表示手段とを備えること
   を特徴とする経路画像情報記録再生装置。
2. 【請求項２】 経路に沿って撮影した画像と経路上の位
   置情報とを対応付けて記録し、指定された経路上の位置
   情報に対応する画像を再生する経路画像情報記録再生装
   置において、 経路上の画像を撮影する画像入力手段と、 前記画像入力手段を搭載した移動体の速度を測定する動
   き測定手段と、 同期信号を発生する同期信号発生手段と、 前記画像入力手段から入力する画像と前記同期信号とを
   合わせて記録する画像情報記録手段と、 前記動き測定手段によって測定された速度と前記同期信
   号とを合わせて記録する動き情報記録手段と、 前記画像情報記録手段に記録された画像と前記動き情報
   記録手段に記録された速度とを前記同期信号に基づいて
   マッチングさせる第１のマッチング手段と、 前記速度から距離を計算する距離計算手段と、 前記画像情報と距離情報とを結び付けて記憶する距離及
   び画像記憶手段と、 前記距離及び画像記憶手段に記憶された距離情報に基づ
   いて画像情報を間引く間引き手段と、 経路上の位置情報を記憶する経路情報記憶手段と、 前記距離及び画像記憶手段に記憶された距離情報と前記
   経路情報記憶手段に記憶された経路上の位置情報とをマ
   ッチングさせて前記画像情報と経路上の位置情報とを結
   び付ける第２のマッチング手段と、 前記第２のマッチング手段によって結び付けられた画像
   情報と経路上の位置情報とから成る構造化データを記憶
   する構造化データ記憶手段と、 再生すべき画像の経路上の位置情報を指定する位置入力
   手段と、 前記構造化データ記憶手段に記憶された構造化データの
   中から前記位置入力手段によって指定された経路上の位
   置に最も近い画像を選択する第１の画像選択手段と、 選択された画像を表示する画像表示手段とを備えること
   を特徴とする経路画像情報記録再生装置。
3. 【請求項３】 過去の前記構造化データを記憶する第２
   の構造化データ記憶手段と、前記第２の構造化データ記
   憶手段に記憶される構造化データを更新する構造化デー
   タ更新手段と、前記第２の構造化データ記憶手段に記憶
   された過去の構造化データの中から前記位置入力手段に
   よって指定された経路上の位置に最も近い画像を選択す
   る第２の画像選択手段と、前記第２の画像選択手段によ
   って選択された画像を表示する第２の画像表示手段とを
   具備することを特徴とする請求項１または２に記載の経
   路画像情報記録再生装置。
4. 【請求項４】 過去の前記構造化データを記憶する第２
   の構造化データ記憶手段と、前記第２の構造化データ記
   憶手段に記憶される構造化データを更新する構造化デー
   タ更新手段と、前記第２の構造化データ記憶手段に記憶
   された過去の構造化データの中から前記位置入力手段に
   よって指定された経路上の位置に最も近い画像を選択す
   る第２の画像選択手段と、前記第１の画像選択手段によ
   って選択された画像と前記第２の画像選択手段によって
   選択された画像とを比較する画像比較手段とを具備し、
   前記画像表示手段が、前記画像比較手段の比較結果に基
   づいて選択された画像を表示することを特徴とする請求
   項１または２に記載の経路画像情報記録再生装置。
5. 【請求項５】 前記構造化データ記憶手段に記憶された
   構造化データの画像情報に含まれる文字情報を認識する
   文字情報認識手段と、前記文字情報認識手段によって認
   識された文字情報を前記構造化データに結び付けて記憶
   する第２の構造化データ記憶手段とを具備し、前記位置
   入力手段から経路上の位置情報として文字が入力された
   とき、前記第１の画像選択手段が、第２の構造化データ
   記憶手段に記憶された構造化データの中から、入力され
   た文字に結び付いた画像を選択することを特徴とする請
   求項１または２に記載の経路画像情報記録再生装置。
6. 【請求項６】 経路に沿って撮影した画像と経路上の位
   置情報とを対応付けて記録する経路画像情報記録方法に
   おいて、 経路を移動体で移動しながら画像を連続的に撮影し、そ
   の画像情報を同期信号とともに記録し、同時に移動体の
   位置を測定して、その位置情報を同期信号とともに記録
   し、次に同期信号を仲介にして、各フレームの画像情報
   と前記位置情報とを結び付け、さらに前記位置情報が示
   す位置に最も近い経路上の位置を算出して、各フレーム
   の画像情報を経路上の位置に結び付けて記録することを
   特徴とする経路画像情報記録方法。
7. 【請求項７】 経路に沿って撮影した画像と経路上の位
   置情報とを対応付けて記録する経路画像情報記録方法に
   おいて、 経路を移動体で移動しながら画像を連続的に撮影し、そ
   の画像情報を同期信号とともに記録し、同時に移動体の
   速度を測定して、その速度情報を同期信号とともに記録
   し、次に同期信号を仲介にして、各フレームの画像情報
   と前記速度情報とを結び付け、次に前記速度情報を前記
   移動体の移動距離に換算して、画像情報と前記距離情報
   とを結び付け、前記距離情報を基に、画像間の距離がほ
   ぼ等しくなるように前記画像を間引き、残った画像情報
   の距離情報と経路上の位置情報とを対応させて、前記画
   像情報を経路上の位置に結び付けて記録することを特徴
   とする経路画像情報記録方法。
8. 【請求項８】 前記画像情報から文字情報を認識し、認
   識した文字情報を、前記経路上の位置とともに、前記画
   像情報に結び付けて記録することを特徴とする請求項６
   または７に記載の経路画像情報記録方法。