JPH09200666A - 記録位置付き画像生成表示方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像等の再生や電子化地図への記録位置登録
を容易にし、実際の風景の撮影画像による道案内等がで
きる画像生成表示方法および装置を提供する。 【解決手段】 画像撮影部１１から１枚または１コマの
画像を獲得し、同時にカメラ方向検出部１４からカメラ
方向を検出し、カメラ位置検出部１３からカメラ位置を
検出する。制御部１６は、これらの画像、カメラ位置、
カメラ方向を、その時点の日時とともに１つのデータと
して関連づけて、データ保存部１５へ保存する。この動
作を繰り返してデータを蓄えていく。次に、ナビゲーシ
ョンを行う際には、あらかじめ上記で得られた記録位置
付き画像データをデータ保存部１５に入手・保存してお
き、カメラ位置検出部１３とカメラ方向検出部１４から
得られたカメラ位置と方向と、データ保存部１５に保存
する画像の中から記録位置、方向が最も近い画像を制御
部１６により検索し、画像表示部１２に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像や映像や音声
を収集する技術に関連する分野において、記録した画像
や映像や音声の情報にカメラの位置やカメラの方向等の
情報を付与した情報を生成し表示する方法および装置に
関するものである。また、道案内やナビゲーションや観
光案内等を実現する技術に関連する分野において、撮影
時点のカメラの位置や方向が付与された画像や関連する
音声情報を出力する方法および装置に関するものであ
る。

【０００２】

【従来の技術】設備・交差点・観光名所等を撮影した画
像・音声を電子化された地図上に整理する際に、従来技
術では画像を見てその場所と地図を人手で結び付ける
か、地図上に画像記録位置を人手で記入していた。

【０００３】また、従来のナビゲーションシステムで
は、特別な電子化地図を用意してその地図と現在の位置
を表示しながらナビゲーションを行っていた。

【０００４】

【発明が解決しようとする課題】しかしながら、画像を
見ながら、設備・交差点・観光名所等を撮影した場所と
電子化された地図とを人手で結び付けたり、その地図上
に画像の記録位置を人手で記入したりする従来の方法で
は、地図の地形を読み取って記録した画像と対応付ける
のが非常に難しく、正確な位置の情報を付与するのが困
難で、特に動画画像・音声の登録作業に膨大なコストが
かかるという問題があった。

【０００５】また、特別な電子化地図を用意してその地
図と現在の位置を表示しながら行っていた従来のナビゲ
ーションシステムでは、地図が実際の世界を記号化した
ものであって実際の風景とは一致せず、人間が自分の進
むべき道を判断する手段として利用する際に迷いが生じ
る問題があった。さらに、ナビゲーションで必要な自分
の位置を測位する従来技術として、通常は例えばＧＰＳ
（グローバル ポジショニング システム）や自立走行
システムやマップマッチングなどを使用しているが、そ
のどれもが誤差を排除することが不可能で、地図の上に
表示した場合、間違った場所を走行しているように表示
される場合がある。その場合、特に人間が進むべき道を
間違えやすいという問題があった。

【０００６】本発明は、上記問題点を解決するためにな
されたものであり、画像・音声の再生や地図への登録が
容易になるようにし、また、実際の風景を撮影した画像
を利用した道案内・観光案内等を可能にする画像生成表
示方法および装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
め、本発明は、撮影時の位置、方向、時刻のうち位置を
含む１以上の情報を検出しながら画像を撮影する段階
と、前記撮影された画像に撮影時における位置、方向、
時刻のうち位置を含む１以上の情報を付与して記録保存
する段階と、現在の位置または現在の位置および方向を
検出する段階と、前記検出された現在の位置または現在
の位置および方向に対して、撮影の位置または撮影の位
置および方向が最も近い画像を前記記録保存された画像
から検索する段階と、前記検索された画像を表示する段
階と、を有することを特徴とする記録位置付き画像生成
表示方法を手段とする。

【０００８】上記の記録位置付き画像生成表示方法にお
ける、記録保存する段階では、撮影時における位置、方
向、時刻のうち位置を含む１以上の情報に加えて音声情
報を画像に付与し、画像を表示する段階では、表示する
画像に付与された音声情報を再生するのが、画像情報に
音声情報を結び付けて記録することが可能となり、音声
を含めた道案内や観光案内が可能になる点で好適であ
る。

【０００９】また、本発明は、画像を撮影する機能を持
つ画像撮影手段と、位置、方位、時刻のうち位置を含む
１以上の情報を検出する検出手段と、前記撮影された画
像に該撮影時に前記検出手段で検出された情報を付与し
て記録保存する記録保存手段と、再生時に前記検出手段
で検出された現在の位置または現在の位置および方向に
対して、撮影時の位置または撮影時の位置および方向が
最も近い画像を前記記録保存手段から検索する検索手段
と、前記検索された画像を表示する表示手段と、を具備
することを特徴とする記録位置付き画像生成表示装置
を、上記目的の達成手段とする。

【００１０】さらに、本発明は、現在の位置または現在
の位置および方向を検出する検出手段と、撮影の位置、
方向、時刻のうち位置を含む１以上の情報を付与した記
録位置付き画像をあらかじめ保存しておく記録保存手段
と、前記検出された現在の位置または現在の位置および
方向に対して、撮影の位置または撮影の位置および方向
が最も近い画像を前記記録保存手段から検索する検索手
段と、前記検索した画像を表示して道案内を行う表示手
段と、を具備することを特徴とする記録位置付き画像生
成表示装置を、上記目的の達成手段とする。

【００１１】以上の記録位置付き画像生成表示装置にお
いて、検索手段は、記録保存手段に保存された記録位置
付き画像の撮影の位置または撮影の位置および方向の軌
跡データを取り出し、表示手段は、検出手段から得られ
た現在の位置または現在の位置および方向と、前記取り
出された軌跡データを表示する構成とするのが、全体の
経路と自分の位置と方向を確認しながら、確実にナビゲ
ーションできる点で好適である。

【００１２】この記録位置付き画像生成表示装置におけ
る、検索手段は、軌跡データに加えて、各軌跡点の撮影
の時刻データを取り出して現在時間を基準とする時刻デ
ータに変換し、表示手段は、前記取り出された軌跡デー
タに加え、前記変換された各軌跡点の時刻データもしく
は出発点からの所要時間を表示する構成とするのが、利
用者の利便性を向上させる点で好適である。

【００１３】以上の記録位置付き画像生成表示装置で
は、記録位置付き画像に関連させて音声情報を記録保存
する音声記録保存手段と、検索手段が検索した画像に関
連する音声情報を再生する音声出力手段と、を具備する
のが、画像情報に音声情報を結び付けて記録することが
可能となり、音声を含めた道案内や観光案内が可能にな
る点で好適である。

【００１４】さらに、前記の記録位置付き画像生成表示
装置を２台使用することなどによって、画像撮影手段を
２個備えて各撮影方向を１８０度相違させ（例えば車の
進行方向に１台と逆方向に１台据え付ける）、記録保存
手段は、前記画像撮影手段で撮影した各画像を別個に記
録する構成とするのが、画像を収集したい経路を１回通
過するだけで、往復の画像が入手できる点で好適であ
る。

【００１５】本発明では、画像撮影手段等により１枚の
画像（ビデオカメラのような動画は１コマ単位にする）
を獲得する。同時に、ＧＰＳ等の位置検出手段等を用い
ることにより、画像の撮影の位置を獲得する。ここで、
必要に応じて、同時に本体に固定した地磁気センサ等を
用いた方向検出手段により、当該画像の撮影の方向を獲
得し、あるいは時刻情報を獲得する。以上の１枚（１コ
マ）の画像データと撮影の位置、および必要により撮影
の方向、時刻等の情報を結びつけることによって、記録
保存手段に記憶する。この動作を繰り返して記録保存手
段に保存された、画像データと撮影の位置、方向、時刻
等の情報が結び付いたデータを取り出し、その位置情報
に基づいて電子化地図の位置を探索することにより、画
像の記録位置と電子化された地図データとを自動的に結
び付けることを可能にする。

【００１６】また、上記で得られる記録位置付き画像デ
ータを用いてナビゲーションを行う際には、あらかじめ
その記録位置付き画像データを記録保存手段に入手・保
存しておいて、利用者の現在の位置、あるいは必要に応
じて現在の方向を、各検出手段等（上記撮影時の検出手
段を兼用してもよい）により検出して、検索手段を用い
て、上記利用者の現在の位置、あるいは位置および方向
と、記録保存手段の画像の中から記録位置、あるいは記
録位置と方向が最も近い画像を検索し、画像表示手段に
該当する画像を表示することにより、実際の風景の撮影
画像を利用した道案内や観光案内等を可能にする。

【００１７】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。

【００１８】図１は本発明の記録位置付き画像生成表示
装置の一実施の形態例を示す原理構成図である。

【００１９】本実施の形態例による記録位置付き画像生
成表示装置は、画像を収集する機能を持つ画像撮影部１
１と、撮影した画像を表示するためのディスプレイ等の
画像表示部１２と、カメラの位置（緯度経度）を自動的
に検出する機能を持つカメラ位置検出部１３と、カメラ
のレンズが向いている方向を自動的に検出する機能を持
つカメラ方向検出部１４と、日時データ、位置データ、
カメラ方向データ、画像データ等のデータを結び付けて
記録するためのデータ保存部１５と、すべての部位を制
御するための制御部１６と、を具備する。

【００２０】さらに、図２に示すように、マイク部１７
とスピーカー等の音声出力部１８とを具備すれば、音声
機能も付加することができ、画像データに音声と位置の
情報を結び付けて記録することが可能となり、音声を含
めた道案内や観光案内等が可能になる。

【００２１】画像撮影部１１は、画像を撮影し収集する
機能を持ち、写真機、デジタル写真機、ビデオカメラ等
の構成品を用いて、画像データを獲得する。

【００２２】カメラ位置検出部１３は、ＧＰＳ（グロー
バル ポジショニング システム：複数の人工衛星から
の電波を受信することで位置（緯度経度）を計測するシ
ステム）などを用いることで実現できる。ＧＰＳを用い
た場合は、正確な時間も獲得できる。なお、日時データ
は、制御部１６に内蔵したハードウェア時計やソフトウ
ェア時計から獲得することができる。

【００２３】カメラ方向検出部１４は、カメラ本体に固
定し、磁気センサーなどを用いて実現する。

【００２４】データ保存部１５は、ビデオテープドライ
ブ、ハードディスク、光磁気ディスク、ＤＡＴ、ＲＡＭ
等の外部記憶装置で実現する。

【００２５】画像、カメラ位置、カメラ方向、日時のデ
ータは、制御部１６が、一括して１つのデータファイル
にしてまとめたり、あるいは、データベースマネージメ
ントソフトを利用して１レコードにまとめたりして、デ
ータ保存部１５へ保存する。制御部１６とデータ保存部
１５とで１コマの画像データとカメラ位置、カメラ方
向、時刻等の情報を結びつけて記憶することが可能とな
る。また、データ保存部１５に保存された、画像データ
とカメラ位置、カメラ方向、時刻等の情報が結び付いた
データを取り出せば、カメラ位置情報に基づいて自動的
に電子化された地図データと結び付けることができる。

【００２６】図３は記録時の動作フローを示す図であ
る。以下、記録時の動作について順を追って説明する。

【００２７】まず、画像撮影部１１から１枚または１コ
マ（ビデオカメラのような動画は１コマ単位にする）の
画像を獲得し、同時にカメラ方向検出部１４からカメラ
方向を検出し、同時にカメラ位置検出部１３からカメラ
位置を検出し、制御部１６がその時点の日時とともに、
１つのデータとして関連付けて、データ保存部１５へ保
存する。前述の動作を繰り返してデータを蓄えていく。

【００２８】更に、音声機能が備わっていれば、画像を
収録した地点の案内等を音声で登録する音声データも、
制御部１６を介しカメラ位置カメラ向き情報等と結び付
けてデータ保存部１５に保存しておく。ただし、音声は
画像のようにコマ切れにできないので、「ここで右に曲
がります」とか「これが有名な東京タワーです」のよう
に、意味ある単位で人間が区切って録音する必要があ
る。

【００２９】カメラ方向検出部１４によって画像の撮影
方向が保存できるので、記録位置付き画像生成表示装置
を２台互いに１８０度反対方向に向けて（例えば車の進
行方向に１台と逆方向に１台）据え付ければ、画像を収
集したい経路を１回通過するだけで、往復の画像が入手
できる。なお、原理的には、撮影方向を１８０度反対方
向に向けた２つの画像撮影部が存在し、それらの各撮影
画像を順方向画像と逆方向画像として別個に記録可能な
制御部とデータ保存部と、各検出部等と、が共通に存在
してもよい。

【００３０】データ保存部１５に保存された画像を再生
表示する場合は、普通のビデオカメラと同様に記憶した
時間順に表示していく。もちろん、一時停止、早送り、
巻き戻し等の動作も可能である。ただし、カメラの進行
方向と逆向きにカメラを設置して記録していったデータ
に対しては、時間の逆順を順送りの方向とすることで、
復路の画像データとすることができる。その場合、逆向
き撮影画像であることを表示するのが、利用者に混乱を
与えないようにする上で、好適である。

【００３１】図４はナビゲーション用の動作フローを示
す図である。以下、ナビゲーションとしての表示動作に
ついて順を追って説明する。

【００３２】例えば、イベントの主催者が最寄り駅から
イベント会場までを、この記録位置付き画像生成表示装
置を利用して画像を記録していく。そのデータを招待者
に流布する。

【００３３】利用者は目的地へと誘導する画像データを
入手して、自分の記録位置付き画像生成表示装置のデー
タ保存部１５にセットしておく。なお、ナビゲーション
用としては、画像撮影部１１やマイク部１７の無い、再
生専用の装置を用いることができる。

【００３４】利用者がナビゲーションモードに設定した
記録位置付き画像生成表示装置を持って移動すると、ま
ず、カメラ方向検出部１４からカメラ方向を検出し、同
時にカメラ位置検出部１３からカメラ位置を検出する。
制御部１６は、得られたカメラ方向とカメラ位置のデー
タにある範囲以内で距離と方向が一致する記録位置付き
画像のうちから最も近いものを、あらかじめ用意してお
いたデータ保存部１５のデータから検索して、画像表示
部１２に出力する。音声データも近くに存在するなら
ば、音声出力部１８に出力する。該当する画像データが
存在しない場合は、案内経路から遠く離れていることお
よび目的とする方向を利用者に知らせる。この動作を繰
り返すことで、実際の風景画像を利用して、少しずつ目
的地に近づきつつある人間をナビゲートして道案内や観
光案内等をすることが可能になる。

【００３５】また、図５の表示例に示すように、カメラ
位置検出部１３とカメラ方向検出部１４から得られたカ
メラ位置と方向と、あらかじめデータ保存部１５に保存
しておいた画像の記録位置と方向の軌跡データを制御部
１６を介して読み出し、画像出力部１５に表示すること
によって、全体の経路と自分の位置と方向を確認しなが
ら、目的地に向かうことが可能となる。なお、制御部１
６により、現在時刻を基準にして各記録位置の時刻デー
タを変換したり、各記録位置の時刻データに基づいて出
発地から各記録位置までの所要時間を算出したりして、
軌跡データに加えて表示すれば、より一層、利用者の利
便性を向上させることができる。

【００３６】以上に述べた実施の形態例においては、カ
メラ位置、カメラ方向、時刻の情報と結び付けて撮影画
像を記録保存する例を示したが、本発明は、少なくとも
カメラ位置情報と結び付けて撮影画像を記録し、カメラ
方向、時刻の情報は省略したり、一方を必要に応じて付
加したりしてもよい。なお、カメラ方向を省略する場合
は、できるだけ広角に撮影するのが好適である。

【００３７】

【発明の効果】本発明によれば、人間は画像撮影手段を
持って風景等を撮影するだけで、画像と撮影の位置、あ
るいは撮影の位置に加えて撮影の方向と日時の一方また
は双方の情報が結び付いたデータを収集することが可能
になり、そのデータを用いれば画像を電子地図等に登録
する人手の作業を削減できるという顕著な効果を奏する
ものである。

【００３８】また、本発明によるナビゲーション機能を
利用すると、現在の位置または位置と方向を検出して、
あらかじめ入手しておいた出発地から目的地までのデー
タの中から記録された撮影の位置または位置と方向が最
も近い画像を検索して表示することができるので、現実
の風景と出力された画像の両者を見比べて確認しなが
ら、迷うことなく確実に目的地まで到達できるという効
果がある。

【００３９】そして、検出した現在の位置および方向
と、あらかじめ保存しておいた画像の撮影の位置と方向
の軌跡データとを、表示することによって、全体の経路
と自分の位置と方向を確認しながら、目的地に向かうこ
とが可能となる。なお、ＧＰＳ等の位置検出手段の測位
誤差によって、出力された軌跡データと自分の位置が違
う位置でも、軌跡に結び付いた最寄りの画像が出力され
るので、実際の風景と見比べて経路と合っているかどう
かを確認しながら目的地へ向かうことができ、従来より
も間違いなく目的地に到着できるという効果もある。

【００４０】また、音声記録機能と音声再生機能を具備
し、音声と位置や画像情報を結び付けて記録するように
した場合には、音声による道案内や観光案内が可能にな
り、一層分かりやすいナビゲーションが実現できるとい
う効果がある。

【００４１】さらに、２つの画像撮影手段（例えば本発
明による画像生成表示装置を２台）を互いに１８０度反
対方向に向けて（例えば車の進行方向に１台と逆方向に
１台）据え付けて、進行方向画像と逆方向画像を記録保
存するようにした場合には、画像を収集したい経路を１
回通過するだけで、往復の画像が入手できるという効果
がある。

【図面の簡単な説明】

【図１】本発明の一実施の形態例を示す構成図である。

【図２】上記実施の形態例の変形例を示す構成図であ
る。

【図３】上記実施の形態例におけるデータ記録時の動作
を説明するためのフロー図である。

【図４】上記実施の形態例におけるナビゲーション用の
データ再生時の動作を説明するためのフロー図である。

【図５】上記実施の形態例における案内用カメラの位
置、方向の軌跡データと、使用者カメラの位置、方向の
表示のイメージ図である。

【符号の説明】

１１…画像撮影部 １２…画像表示部 １３…カメラ位置検出部 １４…カメラ方向検出部 １５…データ保存部 １６…制御部 １７…マイク部 １８…音声出力部

Claims (8)

【特許請求の範囲】
1. 【請求項１】 撮影時の位置、方向、時刻のうち位置を
   含む１以上の情報を検出しながら画像を撮影する段階
   と、 前記撮影された画像に撮影時における位置、方向、時刻
   のうち位置を含む１以上の情報を付与して記録保存する
   段階と、 現在の位置または現在の位置および方向を検出する段階
   と、 前記検出された現在の位置または現在の位置および方向
   に対して、撮影の位置または撮影の位置および方向が最
   も近い画像を前記記録保存された画像から検索する段階
   と、 前記検索された画像を表示する段階と、 を有することを特徴とする記録位置付き画像生成表示方
   法。
2. 【請求項２】 記録保存する段階では、撮影時における
   位置、方向、時刻のうち位置を含む１以上の情報に加え
   て音声情報を画像に付与し、 画像を表示する段階では、表示する画像に付与された音
   声情報を再生することを特徴とする請求項１記載の記録
   位置付き画像生成表示方法。
3. 【請求項３】 画像を撮影する機能を持つ画像撮影手段
   と、 位置、方位、時刻のうち位置を含む１以上の情報を検出
   する検出手段と、 前記撮影された画像に該撮影時に前記検出手段で検出さ
   れた情報を付与して記録保存する記録保存手段と、 再生時に前記検出手段で検出された現在の位置または現
   在の位置および方向に対して、撮影時の位置または撮影
   時の位置および方向が最も近い画像を前記記録保存手段
   から検索する検索手段と、 前記検索された画像を表示する表示手段と、 を具備することを特徴とする記録位置付き画像生成表示
   装置。
4. 【請求項４】 現在の位置または現在の位置および方向
   を検出する検出手段と、 撮影の位置、方向、時刻のうち位置を含む１以上の情報
   を付与した記録位置付き画像をあらかじめ保存しておく
   記録保存手段と、 前記検出された現在の位置または現在の位置および方向
   に対して、撮影の位置または撮影の位置および方向が最
   も近い画像を前記記録保存手段から検索する検索手段
   と、 前記検索した画像を表示して道案内を行う表示手段と、 を具備することを特徴とする記録位置付き画像生成表示
   装置。
5. 【請求項５】 検索手段は、記録保存手段に保存された
   記録位置付き画像の撮影の位置または撮影の位置および
   方向の軌跡データを取り出し、 表示手段は、検出手段から得られた現在の位置または現
   在の位置および方向と、前記取り出された軌跡データを
   表示することを特徴とする請求項３または請求項４記載
   の記録位置付き画像生成表示装置。
6. 【請求項６】 検索手段は、軌跡データに加えて、各軌
   跡点の撮影の時刻データを取り出して現在時間を基準と
   する時刻データに変換し、 表示手段は、前記取り出された軌跡データに加え、前記
   変換された各軌跡点の時刻データもしくは出発点からの
   所要時間を表示することを特徴とする請求項５記載の記
   録位置付き画像生成表示装置。
7. 【請求項７】 記録位置付き画像に関連させて音声情報
   を記録保存する音声記録保存手段と、 検索手段が検索した画像に関連する音声情報を再生する
   音声出力手段と、 を具備することを特徴とする請求項３または請求項４記
   載の記録位置付き画像生成表示装置。
8. 【請求項８】 画像撮影手段を２個備えて各撮影方向を
   １８０度相違させ、 記録保存手段は、前記画像撮影手段で撮影した各画像を
   別個に記録することを特徴とする請求項３記載の記録位
   置付き画像生成表示装置。