JPWO2008044309A1 - ナビゲーションシステム、携帯端末装置および経路案内方法 - Google Patents

Abstract

ナビゲーションシステム（１０）は経路探索サーバ（３０）と携帯端末装置（２０）とから構成される。携帯端末装置（２０）は、撮像手段（２２）が周辺画像を撮像した際の携帯端末装置（２０）の姿勢を検出する姿勢検出手段（２３）と、姿勢検出手段（２３）が検出した携帯端末装置（２０）の姿勢に基づいて、案内経路または進行方向案内画像の表示位置を決定する画像レイアウト手段（２４）と、を備えている。携帯端末装置（２０）は、経路路探索サーバ（３０）から配信された案内経路を記憶し、画像レイアウト手段（２４）が表示手段（２８）に表示される周辺画像に案内経路が含まれないことを判別した場合に、描画制御手段（２５）は、撮像手段（２２）で撮像すべき向きを案内する撮像方向案内画像を周辺画像上に表示する。

Description

本発明は、出発地から目的地までの案内経路を探索し、該案内経路を表示手段に表示された画像情報を用いて案内する通信型の歩行者ナビゲーションシステムに関するものであり、特に交差点などにおける周辺の風景を撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像を表示するに際して、経路画像が周辺画像上に表示できない場合に経路画像を表示できる撮像方向を案内するようにした歩行者ナビゲーションシステムに関するものである。

従来、見知らぬ土地において目的地となる場所を訪れる場合、地図帳等を頼りに当該地図に描かれた交通機関、道路やランドマーク及び住所を確認しながら到達していた。また、カーナビゲーションシステム（以後単にカーナビと言う）を搭載した自動車においては、該カーナビを起動して目的地を入力することによりナビゲーションシステムからモニタ画面に表示される案内や音声出力される案内（ナビゲーション情報）を得ながら目的地に到達していた。

上記カーナビは、ＧＰＳ（Global Positioning System：全地球測位システム）を利用したものであり、地球上を周回している複数のＧＰＳ衛星から送信されるＧＰＳ信号をＧＰＳアンテナで受信し、該ＧＰＳ信号に含まれる衛星位置や時計情報等を解析して位置の特定を行うものである。該複数のＧＰＳ衛星の個数は少なくとも４個以上必要である。ＧＰＳの単独測位精度は一般的に１０ｍ強であるが、ＤＧＰＳ（Differential GPS：ディファレンシャルＧＰＳ）を採用することにより５ｍ以下に向上する。特に、現在は一部の携帯電話にしか搭載されていないＧＰＳ受信機が、第三世代と称される携帯電話では全ての機種に搭載されるようになってきている。

このような測位機能を有する携帯端末の利用技術としては、種々の分野の技術が提案されており、例えば、自動車用のナビゲーション装置（カーナビ）を発展させ、携帯電話を端末として地図・経路情報を情報配信サーバ（経路探索サーバ）から配信する歩行者用の通信型ナビゲーションシステムが提案されている。

近年、携帯電話、ＰＨＳ等の携帯通信端末機器の性能は飛躍的に向上し、また、多機能化が進んでいる。特に通話機能の他にデータ通信機能が強化され、ユーザに対してインターネットを介した種々のデータ通信サービスが提供されている。ナビゲーションサービスもその１つであり、自動車の運転者のみならず携帯電話ユーザに対して現在位置から目的地までの経路案内を提供する通信ナビゲーションシステムが実用化されている。

一般的なナビゲーション装置、通信ナビゲーションシステムに使用される経路探索装置、経路探索方法は、例えば、下記の特許文献１（特開２００１−１６５６８１号公報）に開示されている。このナビゲーションシステムは、携帯ナビゲーション端末から出発地と目的地の情報を情報配信サーバに送り、情報配信サーバで道路網や交通網のデータから探索条件に合致した経路を探索して案内するように構成されている。探索条件としては、出発地から目的地までの移動手段、例えば、徒歩、自動車、鉄道と徒歩の併用などがあり、これを探索条件の１つとして経路探索する。

情報配信サーバは、地図データの道路（経路）をその結節点、屈曲点の位置をノードとし、各ノードを結ぶ経路をリンクとし、全てのリンクのコスト情報（距離や所要時間）をデータベースとして備えている。そして、情報配信サーバは、データベースを参照して、出発地のノードから目的地のノードに至るリンクを順次探索し、リンクのコスト情報が最小となるノード、リンクをたどって案内経路とすることによって最短の経路を携帯ナビゲーション端末に案内することができる。このような経路探索の手法としてはラベル確定法あるいはダイクストラ法と言われる手法が用いられる。上記特許文献１には、このダイクストラ法を用いた経路探索方法も開示されている。

一般的に通信型のナビゲーションシステムにおいて、端末装置が表示する地図情報や案内経路情報は、ネットワークを介して接続される経路探索サーバなどのサーバ装置からダウンロードする。経路探索サーバなどの情報配信サーバから地図情報や案内経路の配信を受けた端末装置は液晶表示装置などの表示手段を備えており、表示手段に地図および案内経路を表示するとともに歩行者や自動車の現在位置（端末装置の現在位置）を案内経路上に表示して歩行者や自動車を目的地まで案内する。

一般的に表示手段に表示する地図は平面図、すなわち、２次元図形の表示であるが、表示画像に遠近感をもたせた平面鳥瞰図やランドマークや建物の様子を視認し易くするため建物を擬似的に３次元的表現した鳥瞰図を表示する方法や、道路や建物をＺバッファ法により３次元ポリゴン画像として表示する方法も提案されている。

例えば、下記の特許文献２（特開２００１−２７５３５号公報）には、建物や道路を立体的に表示するようにした地図表示装置が開示されている。この特許文献２に開示された地図表示装置においては、３次元地図表示を行う際に、道路に経路案内線に影をつけて立体的に表示するように構成している。また、経路案内線が建物に隠れる位置関係となる場合、その経路案内線の重複部分について重複しない部分と色を変えて表示する。特に、ＶＲＡＭ（ビデオＲＡＭ）上で経路案内線の表示色と建物の表示色とを画素単位に互い違いに設定する半透過の手法で描画し、経路案内線と建物との相対的な位置関係を明確にして経路案内線の視認性を向上するようにしている。

上記のような表示を行うため、特許文献２に開示された地図表示装置においては、地図データには、建物の形状データと高さ情報が記憶され、また、立体交差などの道路の形状データが記憶されている。この地図データに基づいて、建物や道路の立体交差部を描画部に３次元的に描画し、車両が進行し経路案内すべき位置に来ると描画部に所望の画像を描画し、音声出力部に所定の音声を発声させて、使用者を目的地へ案内するように構成している。

一般に、ポリゴンデータを用いた地図の３次元的な表示は次のように行われる。すなわち地図に表示するそれぞれの建物を構成する各面をポリゴンデータで準備しておき、地図データとともに建物のポリゴンデータを地図表示装置に送る。地図表示装置は地図を表示するとともにその地図上に位置する各建物を、ポリゴンデータを使用して３次元的に表示するものである。この時、建物をよりリアルに表示するため、建物の各面に更にテクスチャーを張り付けて表示する。テクスチャーは建物の面の模様を示すデータであり、建物の窓の形状や、壁面の模様などである。

例えば、下記の特許文献３（特開２０００−２５９８６１号公報）には、ポリゴンデータにテクスチャーを貼り付けて描画するようにしたテクスチャーマッピング装置の発明が開示されている。この特許文献３に開示された発明は、ポリゴンにテクスチャーを正確かつ効率良く貼り付け、その後の編集を容易にするものである。このテクスチャーマッピング装置は、ワイヤフレーム上のＭ行Ｎ列に配列された四角形のポリゴンＰ１〜Ｐ４とそれに貼り付けるテクスチャーを指定する。指定された複数のポリゴンＰ１〜Ｐ４の辺の長さＬｐ１〜Ｌｐ１２の比に応じて、貼り付け対象のテクスチャーを分割する。分割されたテクスチャーを、対応するポリゴンに、ポリゴンの向きを考慮して貼り付けるように構成したものである。

このようにポリゴンのデータとテクスチャーのデータを用いて建物を３次元表示する場合、建物の各面を示すポリゴンデータと、この面に張り付けるべきテクスチャーデータは１対１に対応するデータであり、ポリゴンデータとともにテクスチャーデータも予めサーバのデータベースに蓄積され、所定の範囲の地図データとともに、その地図上に表示すべき建物のポリゴンデータ、テクスチャーデータが地図表示装置に送信される。

このように地図を立体的に表示する方法によれば、端末装置の利用者は移動中に、実際に観察している風景に近い表示画像を見ることができるので、右折や左折場所、その進行方向を容易に把握できるという利点がある。しかしながらそのためには、地図を立体的に表示するため、平面的な地図データとは別に３次元表示のための地図データが必要になる。３次元地図データは平面地図データに比べデータ量も多く、地図データを記憶する記憶装置として大容量の記憶装置が必要になる。また、通信型のナビゲーションシステムにおいては、端末装置と経路探索サーバとの間の通信負荷が大きくなり、通信時間も長くなる。このため、多数の端末装置にサービスを提供する経路探索サーバには十分に高い処理能力が要求されるなど種々の問題点が生じる。

このような問題点を解消するため、車載用ナビゲーション装置において進行方向の風景をＣＣＤカメラなどの撮像手段を用いて撮影し、撮影したこの周辺画像を表示画面に表示し、この周辺画像に右折や左折の進行方向案内画像を重ねて表示したり、案内経路を表示したりするように構成したナビゲーション装置が下記の特許文献４（特開２００４−２５７９７９号公報）や特許文献５（特開２００６−１６２４４２公報）に開示されている。

すなわち、特許文献４に開示されたナビゲーション装置は、進行方向の風景を撮像する撮像手段と、該撮像手段によって撮像された画像を表示する表示手段を備え経路検出手段が検出した経路上の分岐点と現在位置検出手段が検出した現在位置とが所定距離以下になると、撮像手段が撮像した画像に分岐点での進むべき方向を案内する画像を重畳して表示手段に表示するように構成されたものである。

また、特許文献５に開示されたナビゲーション装置は、案内情報特定部は、案内情報を提示する地図上の位置と、提示する案内情報の種類を特定する案内情報特定部と、画像認識などにより、自車の周辺にある障害物（歩行者や車両等）の位置と種類とを検知する障害物検知部と、案内情報の表示位置として検知した障害物と重ならない位置を求める表示位置決定部と、車両のフロントガラス内の決定された位置に、あるいは、前方画像を表示するディスプレイ内の決定された位置に、案内情報を出力する画像出力部と、を備え、車両から見える実風景に経路進行方向を重ね合わせて表示するものである。

また、歩行を対象としたナビゲーションシステムにおいても、下記の特許文献６（特開２００５−２４１３８５号公報）に、カメラによって撮影した実際の周辺画像に経路方向を重ね合わせて表示する携帯端末装置ナビゲーション装置が開示されている。この携帯端末装置は、利用者（目的地案内装置）の現在位置を基準としてデジタルカメラのスクリーンを画定し、このスクリーンに対して目的地に対応する目的地方向座標を定め、所定の基準点（スクリーン下辺中心）を基準として、スクリーン上でカメラの撮影画像に重ねて目的地方向座標に対する指示表示を行うように構成されたものである。

特開２００１−１６５６８１号公報（図１、図２） 特開２００１−２７５３５号公報（図１、図４、段落［００５４］） 特開２０００−２５９８６１号公報（図２、図８） 特開２００４−２５７９７９号公報（図４） 特開２００６−１６２４４２号公報（図４、図５） 特開２００５−２４１３８５号公報（図９）

ところで、カメラなどの撮像手段で撮像した周辺画像を表示し、この周辺画像に進行方向や案内経路を表示する技術を車載用のナビゲーション装置に用いる場合には、自動車による移動の特徴として、実風景を撮影するカメラの向きは車両の進行方向（前方）に固定されるので、経路に沿って運転していれば、経路は常に前方に引かれることになるという特質がある。また、道を間違えて案内経路から逸脱しても、経路探索におけるリルート機能（再探索機能）により車両の進行方向に再度、案内経路が設定されるため、常に案内経路は車両の正面、すなわち撮像のためのカメラの正面に現れる。

これに対して、歩行者用のナビゲーション装置が車載用のナビゲーション装置と異なる点は、ナビゲーション装置が車載用のように進行方向に固定されることが無く、利用者の向きや持ち方により任意の方向を向く可能性があるという点である。例えば、ナビゲーションのため、地図画像や案内経路の表示をするときの端末装置の向きは、全く任意であって、そのときの表示画面に案内経路が含まれる保障はない。カメラの水平画角は３６０度に比べて十分小さいので、画面表示に案内経路が含まれる確率はむしろ小さい。このため、上記特許文献４や特許文献５に開示された車載用ナビゲーション装置の技術をそのまま適用することはできない。

従って、歩行者用のナビゲーションシステムにおいては、カメラなどの撮像手段によって撮像した周辺画像に案内経路が含まれていない場合に利用者に対して何らかの配慮をすることが必要になる。上記特許文献６には歩行者用の携帯端末において、デジタルカメラで進行方向の風景を撮像し、スクリーン上でカメラの撮影画像に重ねて目的地方向に対する指示表示を行うようにされてはいるが、この携帯端末装置は、基本的に車載用ナビゲーション装置と同様に、カメラが案内経路の方向を向いていること前提としたものである。

すなわち、この携帯端末は、進行方向の風景をカメラで撮像し、その画像上に案内経路（進行方向）を表示するように構成され、カメラが進行方向を向いていない場合の配慮がなされていないという問題点があった。このような携帯端末では、利用者が交差点などで案内経路に対して正しく進行方向に向いている場合に、カメラで撮像した画像が表示された画面に案内経路や右折、左折の案内表示をすることができるが、カメラの向きすなわち、携帯端末の向きが進行方向を向いていない場合には、カメラで撮像した画像が表示された画面に案内経路が入らずに利用者にカメラで撮影した画像上で案内経路や進行方向を指示できないという問題点が生じる。

本願の発明者は上記の問題点を種々検討した結果、通信型の歩行者用ナビゲーションシステムにおける携帯端末装置に、ＣＣＤカメラなどの撮像手段と、磁気方位センサや傾斜センサなどから構成される姿勢検出手段とを設け、姿勢検出手段により該携帯端末装置が向いている方向や水平に対する角度を検出して撮像手段が撮像した周辺画像に案内経路が含まれていない場合には、撮像手段すなわち携帯端末装置の向きをどちらに修正すればよいかを表示するようになせば上記問題点を解消し得ることに想到して本発明を完成するに至ったものである。

すなわち、本発明は上記の問題点を解消することを課題とし、撮像手段で撮像した周辺画像上に経路案内画像を表示するに際して、経路画像が周辺画像上に表示できない場合に経路画像を表示できる撮像方向を案内するようにした歩行者ナビゲーションシステムを提供することを目的とするものである。

前記課題を解決するために、本願の第１発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像または進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムにおいて、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする。

前記第１発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。

また、前記第１発明において、前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決定するように構成することが好ましい。

また、前記第１発明において、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するように構成することが好ましい。

更に、前記第１発明において、前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画像とは異なる画像を用いて表示するように構成することが好ましい。

本願の第２発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像または進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置において、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする。

前記第２発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。

前記第２発明において、前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決定するように構成することが好ましい。

また、前記第２発明において、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するように構成することが好ましい。

更に、前記第２発明において、前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画像とは異なる画像を用いて表示するように構成することが好ましい。

更にまた、本願の第３発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像または進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置の案内表示方法おいて、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれるか否かを判別するステップと、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示するステップと、を有することを特徴とする。

前記第３発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成され
前記方位検出手段と傾斜角検出手段の検出出力に基づいて、画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれるか否かを判別するステップと、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示するステップと、を有することが好ましい。

また、前記第３発明において、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれるか否かを判別するステップにおいて、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれると判別した場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決定するステップを更に有するように構成することが好ましい。

更に、前記第３発明において、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれるか否かを判別するステップにおいて、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するステップを更に有するように構成することが好ましい。

更にまた、前記第３発明において、前記撮像方向案内画像を前記周辺画像上に表示するステップは、前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画像とは異なる画像を用いて表示する処理を含むように構成することが好ましい。

本願の第１発明においては、携帯端末装置は、撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する画像レイアウト手段と、を備え、画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、描画制御手段は、撮像手段が撮像すべき向きを案内する撮像方向案内画像を周辺画像上に表示する。

このような構成によれば、撮像手段であるカメラの向きすなわち、携帯端末装置の向きが案内経路の方向、すなわち、進行方向を向いていない場合であっても、撮像手段が撮像すべき向きを案内する撮像方向案内画像を周辺画像上に表示するから、利用者が撮像方向案内画像にそって撮像方向を変えることにより、周辺画像に案内経路または進行方向が表示されるように携帯端末装置の向きを修正することができるようになる。

前記第１発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。このように構成すれば、撮像手段が撮像している光軸の向き（方位）と、傾斜角が算出できるから、周辺画像に対して、表示する案内経路や進行方向案内画像を表示する表示位置を決定することができるようになる。

また、前記第１発明において、前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決定するように構成することが好ましい。このように構成すれば、携帯端末装置の姿勢に応じて、周辺画像に対して、表示する案内経路や進行方向案内画像を表示する表示位置を決定することができるようになる。

また、前記第１発明において、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するように構成することが好ましい。このように構成すれば、表示手段に表示される周辺画像に案内経路が含まれない場合に、撮像手段が撮像すべき向きとして案内経路の存在する方向を示す撮像方向案内画像を表示するから、利用者が撮像方向案内画像にそって撮像方向を変えることにより、周辺画像に案内経路または進行方向が表示されるように携帯端末装置の向きを容易に修正することができるようになる。

更にまた、前記第１発明において、前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画像とは異なる画像を用いて表示するように構成することが好ましい。このように構成すれば、利用者は進行方向案内画像と撮像方向案内画像を容易に区別することができるようになる。

本願の第２発明によれば、前記第１発明における携帯端末装置を提供することができるようになり、また、本願の第２発明によれば、前記第２発明における携帯端末装置を実現するための経路案内表示方法を提供することができるようになる。

本発明の実施例にかかるナビゲーションシステムの構成を示すブロック図である。 携帯端末装置の姿勢と撮像手段の光軸および撮像角度を示す模式図である。 画像案内モードにおいて撮像手段により撮像した周辺画像を表示手段に表示した場合の表示画像の一例を示す図である。 撮像手段の光軸と案内経路の進行方向が同じであり、表示手段に表示した周辺画像の範囲内に案内経路が存在する場合の表示画像の例を示す図である。 図５は、表示された周辺画像に案内経路が含まれる場合と含まれない場合の案内画像表示を説明する表示画像の例を示す図であり、図５Ｂは案内経路が表示された周辺画像に含まれる場合の表示例を示す図、図５Ａは、案内経路が表示された周辺画像に含まれず、画面に向かって右側に案内経路が存在する場合の表示例を示す図、図５Ｃは、案内経路が表示された周辺画像に含まれず、画面に向かって左側に案内経路が存在する場合の表示例を示す図である。 撮像手段の光軸と案内経路の幾何学的な関係の一例を示す平面図である。 本発明の実施例にかかるナビゲーションシステムにおける動作手順を示すフローチャートである。 経路探索のための道路ネットワークデータの概念を説明するための模式図である。 交通機関を利用した経路探索のための交通ネットワークデータの概念を説明するための模式図である。 地図データの構成を示す図である。

符号の説明

１０・・・・ナビゲーションシステム
１２・・・・ネットワーク
２０・・・・携帯端末装置
２０１・・・制御手段
２１・・・・ＧＰＳ受信手段
２２・・・・撮像手段
２３・・・・姿勢検出手段
２４・・・・画像レイアウト手段
２５・・・・描画制御手段
２６・・・・通信手段
２７・・・・案内情報記憶手段
２８・・・・表示手段
２９・・・・操作入力手段
３０・・・・経路探索サーバ
３０１・・・制御手段
３１・・・・通信手段
３２・・・・案内情報編集手段
３３・・・・経路探索手段
３４・・・・地図データベース
３５・・・・経路探索用ネットワークデータベース

以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。但し、以下に示す実施例は、本発明の技術思想を具体化するためのナビゲーションシステムを例示するものであって、本発明をこのナビゲーションシステムに特定することを意図するものではなく、特許請求の範囲に含まれるその他の実施形態のナビゲーションシステムにも等しく適用し得るものである。

図１は、本発明の実施例にかかるナビゲーションシステムの構成を示すブロック図である。ナビゲーションシステム１０は、図１に示すようにインターネットなどのネットワーク１２を介して接続される携帯端末装置２０と経路探索サーバ３０を備えて構成されている。経路探索サーバ３０は、経路探索手段３３、地図データを蓄積した地図データベース３４、経路探索用の道路ネットワークデータや公共交通機関のネットワークデータである交通ネットワークデータを蓄積した経路探索用ネットワークデータベース３５を備えている。

経路探索サーバ３０はまた、制御手段３０１、通信手段３１、案内情報編集手段３２を備えている。制御手段３０１は、図示してはいないがＲＡＭ、ＲＯＭ、プロセッサを有するマイクロプロセッサであり、ＲＯＭに格納された制御プログラムにより各部の動作を制御する。通信手段３１は、ネットワーク１２を介して携帯端末装置２０と通信するためのインターフェースである。

経路探索サーバ３０は、携帯端末装置２０から現在位置、目的地、移動手段（自動車、徒歩、交通機関あるいは徒歩と交通機関併用など）などの経路探索条件を含む経路探索要求があると、経路探索用ネットワークデータベース３５を参照して経路探索条件に合致した案内経路を探索する。経路探索の結果得られた案内経路のデータは、地図データベース３４から選択した携帯端末装置２０の現在位置を含む所定範囲の単位地図データ（緯度・経度で所定の大きさのエリアに区分された地図データ）とともに案内情報編集手段３２で携帯端末装置２０に送信するための案内情報（データ）に編集される。編集された案内情報は携帯端末装置２０に配信される。

一方、携帯端末装置２０は、制御手段２０１、ＧＰＳ受信手段２１、撮像手段２２、姿勢検出手段２３、画像レイアウト手段２４、描画制御手段２５、通信手段２６、案内情報記憶手段２７、表示手段２８、操作入力手段２９などを備えて構成されている。制御手段２０１は、図示してはいないがＲＡＭ、ＲＯＭ、プロセッサを有するマイクロプロセッサであり、ＲＯＭに格納された制御プログラムにより各部の動作を制御する。通信手段２６は、ネットワーク１２を介して経路探索サーバ３０と通信するためのインターフェースである。

操作入力手段２９は、数字キーやアルファベットキー、その他の機能キー、選択キー、スクロールキーなどからなる操作・入力手段ためのものであり、出力手段である表示手段２８に表示されるメニュー画面から所望のメニューを選択し、あるいは、キーを操作して種々の入力操作を行うものである。従って、表示手段２８は操作入力手段２９の一部としても機能する。

利用者が経路探索サーバ３０に経路探索を依頼しようとする場合、携帯端末装置２０において操作入力手段２９を操作し、表示手段２８に表示されるサービスメニューから経路探索を選択し、現在位置、目的地、移動手段（自動車、徒歩、交通機関あるいは徒歩と交通機関併用など）などの経路探索条件を入力する。入力された経路探索条件は経路探索サーバ３０への配信要求に編集され、通信手段２６を介して経路探索サーバ３０に経路探索要求として送信される。

携帯端末装置２０は経路探索サーバ３０から経路探索の結果である案内情報を受信すると、この案内情報を案内情報記憶手段２７に一時記憶する。通常、この案内情報に基づいて、携帯端末装置２０の現在位置を中心として地図画像、案内経路の画像が表示手段２８に表示される。この際、現在位置マークが地図画像上の該当位置に表示される。現在位置が案内経路上の交差点ノードなどに接近すると、当該交差点ノードおける右折、左折、直進などの進行方向を指示する進行方向案内画像が表示される。また、携帯端末装置２０がスピーカなどの出力手段を備える場合、交差点ノードまでの距離や進行方向を音声により案内する音声案内を提供するように構成できる。

上記のような地図表示は通常の案内モードの場合である。本実施例においては撮像手段２２により周辺画像を撮像し、その周辺画像を表示手段２８に表示するとともに案内経路画像や進行方向案内画像を表示して案内する画像案内モードを備えている。以下この画像案内モードを実写モードということとする。実写モードへの切替えは後述するように姿勢検出手段２３が携帯端末装置２０の姿勢を検出し、所定の状態の場合に自動的に切替えられるようにすることが好ましい。もちろん操作入力手段２９によって利用者が切替えることができるようにしてもよい。

携帯端末装置２０の撮影手段２２（例えばＣＣＤカメラ）の焦点距離（ＺＯＯＭ）、表示手段２８の画面サイズは所定の設定値に固定される。ＧＰＳ受信手段２１は所定の時間間隔で携帯端末装置２０の現在位置を測位するから、撮像手段２２が操作され、周辺画像を撮像した位置を特定することができる。ＧＰＳ受信手段２２による測位間隔は、携帯電話を携帯端末装置２０とする場合、例えば１秒おき〜５秒おきである。

利用者が携帯端末装置２０を前方にかざすと、撮像手段２２の光軸が水平から所定の角度以内になったときに、姿勢検出手段２３がこれを検出して自動的に撮像手段２２のシャッターが作動して光軸方向の周辺画像（静止画像）が撮影される。姿勢検出手段２３は方位センサ、傾斜センサで構成されるから、光軸の向き（方位）は方位センサ出力から得ることができ、光軸と水平方向のなす角度は傾斜センサ出力により得ることができる。光軸の向きと、傾斜角は、撮像手段２２により撮像した周辺画像と共に記憶される。一般的に撮像手段２２の撮影角度はある程度の角度を持っており、撮像された周辺動画像は表示範囲の外になる部分も十分広範囲に撮影される。

このようにして撮像した周辺画像をそのまま表示手段２８に表示してもよいが、本実施例では以下の補正を加える。（１）光軸周りの回転の補正。すなわち、画像上方向が垂直となるように補正する。（２）光軸の垂直方向の傾き補正。光軸が水平と成す角度に相当する分だけ、画像をシフトして、画像中心が水平方向となるようにする。また、光軸の地表からの高さ（距離）は一般的な身長の人の目の高さとする。

図２は、撮像手段２２の姿勢と光軸および撮像角度を示す模式図である。利用者Ｕがある地点Ｐにおいて周辺画像の撮像のため携帯端末装置２０を前方にかざすと、姿勢検出手段２３が撮像手段２２の光軸ＡＸと水平方向のなす角度を検出し、所定の角度範囲内にあると自動的にシャッターが作動して前方の画像が撮像される。この時の光軸ＡＸに対する垂直方向の撮像角度はαである。

撮像手段２２は所定の焦点距離で周辺画像を撮像するから、撮像地点Ｐから前方の各地点Ｐ１、Ｐ２、Ｐ３はそれぞれ光軸ＡＸとなす角度Θ１、Θ２、Θ３から算出でき、表示画像のどの位置が撮像位置から何ｍ先の地点にあたるかは、上記の角度から幾何学的に計算することができる。すなわち、図２において地点Ｐ１は撮像地点Ｐから３m前方であり、光軸とのなす角度Θ１である。地点Ｐ２は撮像地点Ｐから１０m前方であり、光軸とのなす角度Θ２である。また地点Ｐ３（図示せず）は撮像地点Ｐから３０m前方であり、光軸とのなす角度Θ３である。

図３は、このようにして撮像手段２２により撮像した周辺画像を表示手段２８に表示した場合の表示画像の一例を示す図である。表示画面の中心（図３の線Ｘ、Ｙの交点）が光軸ＡＸと一致しかつ水平方向になるように周辺画像が表示される。図２で説明したように撮像地点Ｐから前方の地点Ｐ１（３ｍ先）の画像は光軸とのなす角度Θ１であり表示画像の最下部にあたる。地点Ｐ２は（１０ｍ先）の画像は光軸とのなす角度Θ２であり表示画像に示す線Ｌ１の位置にあたる。同様に２０ｍ先の地点は線Ｌ２の位置、３０m先の地点は線Ｌ３の位置にあたる。

このようにすれば、案内経路が撮像地点から前方何ｍ先にあるかによって表示画像のどの位置に案内経路画像を表示するか、その表示位置を決定することができ、常に安定した画像で経路を案内することができ、表示位置決定の演算処理も簡便になる。すなわち、周辺画像の撮像すなわち、静止画取得時の位置情報（撮像時の現在位置）に基づいて案内経路の位置、方向を求め、光軸ＡＸの方向に対して案内経路を表示画像上の所定の位置に描画する。図４は、光軸ＡＸと案内経路の進行方向が同じであり、画面に表示された周辺画像の範囲内に案内経路が存在し、撮像地点から３０ｍ先で右折する案内経路画像ＧＲＩを周辺画像に重ね合わせて描画した表示画像例を示す図である。画像レイアウト手段２４は姿勢検出手段２３の検出出力に基づいて以上の演算を行って案内経路画像ＧＲＩの表示位置を決定する。

ところで、経路進行方向が画面に入らない方向を向いた場合の表示については、前述したように従来十分な考慮が払われていない。歩行者は交差点などで必ずしも案内経路の進行方向を向いているとは限らない。このため撮像手段２２で撮像した周辺画像を表示画面に表示した時、図４のように案内経路画像ＧＲＩが表示領域に含まれて周辺画像とともに表示されるとは限らない。

図５は、表示された周辺画像に案内経路が含まれる場合と含まれない場合の案内画像表示を説明する表示画像の例を示す図であり、図５Ｂは案内経路が表示された周辺画像に含まれる場合（図４）の表示例を示す図、図５Ａは、案内経路が表示された周辺画像に含まれず、画面に向かって右側に案内経路が存在する場合の表示例を示す図、図５Ｃは、案内経路が表示された周辺画像に含まれず、画面に向かって左側に案内経路が存在する場合の表示例を示す図である。

歩行者が案内経路の方向、案内経路の進行方向を向いておらず、撮像手段２２で撮像した周辺画像を表示手段２８の画面に表示した時、表示された周辺画像に案内経路が含まれない場合、従来のように案内経路画像ＧＲＩや右折や左折を示す矢印形状の進行方向案内画像５１（図５Ｂ参照）を表示しようとしても、表示範囲内に案内経路が存在しないので表示することができない。図５Ａは、案内経路に対して左側に向いている場合の表示画像を示しており、案内経路は全く含まれない。従って、従来は表示がなくなり、利用者は戸惑ってしまう。

本発明では、撮像手段２２が周辺画像を撮像した位置および光軸の角度と、案内経路である経路のノードの位置やリンクの角度とから表示画面に表示されている周辺画像のどちら側に案内経路とその進行方向が存在するかを幾何学的な演算により判別する。これにより案内経路やその進行方向が表示できる撮像方向を案内するための撮像方向案内画像（例えば三角マーク）を表示し、利用者が撮像方向を変更するように促す。利用者が撮像方向案内画像に従って撮像方向を変更すれば、表示手段２８の表示画面に表示される周辺画像に案内経路画像や進行方向案内画像を表示することができるようになる。

例えば、表示画面に表示された周辺画像の右側に案内経路が存在する場合には、図５Ａに示すように右向きに撮像方向を変えるように案内する撮像方向案内画像５２を表示する。また、表示画面に表示された周辺画像の左側に案内経路が存在する場合には、図５Ｃに示すように左向きに撮像方向を変えるように案内する撮像方向案内画像５３を表示する。すなわち、図５Ｃは、案内経路ＧＲＩに対して右側に向いている場合で、遠方に案内経路が見えているが、現在地Ｐからの案内経路の進行方向は左側に存在するので、左側を向いて撮像するように指示する撮像方向案内画像（三角マーク）５３を表示している。

表示された撮像方向案内画像（三角マーク）５２または５３に従って、利用者が撮像方向を変えると、図５Ｂに示すように、表示画面に表示される周辺画像に案内経路が含まれるようになり、案内経路画像ＧＲＩや進行方向案内画像５１を表示することができるようになる。なお、この撮像方向案内画像（三角マーク）は、交差点などのガイダンスポイントでの右左折方向を示す進行方向案内画像（図５Ｂの矢印マーク）とは異なる画像（マーク）にして、意味の違いがすぐにわかるようにするとよい。

図６は、光軸の方向と案内経路の位置関係から撮像方向を算出する概念を説明する模式図であり、撮像手段２２の光軸ＡＸ（撮像方向）と案内経路ＧＲの幾何学的な関係を平面図として示している。撮像手段２２が地点Ｐにおいて光軸ＡＸの方向を向いて周辺画像を撮像した場合、表示手段２８の表示画面に表示される周辺画像は光軸ＡＸを中心に角度Θ（画角ということとする）の範囲の画像である。

現在位置すなわち撮像位置Ｐからの案内経路ＧＲの進行方向が、画角Θの範囲内にあるときは、案内経路画像ＧＲＩを表示する（図５Ｂ）。撮像位置Ｐが交差点などのガイダンスポイントである場合には、進行方向案内画像５１を表示する。

撮像位置Ｐからの案内経路ＧＲの進行方向が、画角Θに含まれず、光軸ＡＸから見て左側にある場合は、撮像方向を左側に向けて変更する指示（図５Ｃの撮像方向案内画像５３）を表示する。すなわち、図５Ｃは、携帯端末装置２０（撮像手段２２）が案内経路ＧＲ１に対して右側を向いている場合で、遠方に経路が見えているが、現在地からの案内経路の進行方向は左側に存在するので、左側を向くようにという旨の撮像方向指示画像を表示している。この点が、目的地方向を表示画面に示す表示方法と異なる点であり、本発明の特徴的な点である。

撮像位置Ｐからの案内経路ＧＲの進行方向が、画角Θに含まれず、光軸ＡＸから見て右側にある場合は撮像方向を右側に向けて変更する指示（図５Ａの撮像方向案内画像５２）を表示する。すなわち、図５Ａは、携帯端末装置２０（撮像手段２２）が案内経路ＧＲ１に対して左を向いている場合で、現在地からの案内経路の進行方向は右側に存在するので、右側を向くようにという旨の撮像方向指示画像を表示している。画像レイアウト手段２４は姿勢検出手段２３の検出出力に基づいて以上の演算を行って表示手段２８の表示画面に表示された周辺画像に案内経路ＧＲが含まれるかを判別する。

図７は、以上説明した本発明の実施例にかかるナビゲーションシステムにおける経路案内の動作手順を示すフローチャートである。携帯端末装置２０は経路探索サーバ３０に経路探索要求を行い、経路探索サーバ３０から案内経路データやガイダンスポイントなどのデータを含む案内情報を受信して一時記憶してあるものとする。この状態で表示手段２８に表示される地図画像は平面地図画像を用いた一般的な表示モードである。

先ず、ステップＳ１０１の処理において姿勢検出手段２３が検出した傾斜角に基づいて携帯端末２０（撮像手段２２の光軸）が水平方向に対して所定の角度範囲にあるかを検出する。所定の角度範囲は、一般的な人が撮像のためにカメラを構える時の平均的な角度を設定しておけばよい。

携帯端末装置２０の傾斜角が水平に対して所定の角度範囲内にない（ＮＯ）場合は、ステップＳ１０９の処理に進み、通常モードすなわち平面地図を用いた表示を行い、ステップＳ１０１の処理にリターンする。傾斜角が水平に対して所定の角度範囲内にある（ＹＥＳ）場合、ステップＳ１０２の処理において撮像手段２２のシャッターが自動的に作動して光軸方向の周辺画像を撮像する。次いで、ステップＳ１０３の処理において描画制御手段２５は実写モードの表示制御に切替える。

ステップＳ１０２の処理において撮像手段２２で撮像された画像データは、ステップＳ１０４の処理において、撮像時の現在位置、姿勢検出手段２３が検出した傾斜角度、光軸が向いている方位（携帯端末装置２０の向き）などのデータとともに適宜のメモリ手段に一時記憶される。次いでステップＳ１０５の処理に進み、画像レイアウト手段２４は、図６を参照して説明したように、光軸に対する画角Θに基づいて案内情報記憶手段２７に記憶された案内経路データを参照し、撮像地点（現在位置）における案内経路の進行方向を判別する。

ステップＳ１０５の判別処理において、現在位置すなわち撮像位置から見て案内経路の進行方向が、画角Θの範囲内にあるときは、ステップＳ１０６の処理に進み、画像レイアウト手段２４が図２、図３を参照して説明したように案内経路画像、進行方向案内画像の表示位置を算出し、描画制御手段２５がその算出結果に基づいて、撮像手段２２で撮像した周辺画像の所定の表示位置に案内経路画像、進行方向案内画像を、表示する（図５Ｂ参照）。

ステップＳ１０５の判別処理において、撮像位置から見た案内経路の進行方向が、画角Θに含まれず、光軸ＡＸから見て左側にある場合は、ステップＳ１０８の処理に進み、描画制御手段２５は撮像方向を左側に向けて変更する指示（図５Ｃの撮像方向案内画像５３）を表示する。撮像位置Ｐからの案内経路の進行方向が、画角Θに含まれず、光軸ＡＸから見て右側にある場合は、ステップＳ１０７の処理に進み、描画制御手段２５は撮像方向を右側に向けて変更する指示（図５Ａの撮像方向案内画像５２）を表示する。ステップＳ１０６〜ステップＳ１０８の表示処理の後、処理をリターンしてステップＳ１０１の傾斜角判別処理に戻る。

次に、経路探索サーバ３０における経路探索について説明する。経路探索用ネットワークデータベース３５は、道路ネットワークデータと交通ネットワークデータを備えている。これらのネットワークデータは以下のように構成されている。例えば、道路が図８に示すように道路Ａ、Ｂ、Ｃからなる場合、道路Ａ、Ｂ、Ｃの端点、交差点、屈曲点などをノードとし、各ノード間を結ぶ道路を有向性のリンクで表し、ノードデータ（ノードの緯度・経度）、リンクデータ（リンク番号）と各リンクのリンクコスト（リンクの距離またはリンクを走行するのに必要な所要時間）をデータとしたリンクコストデータとで構成される。

すなわち、図８において、Ｎｎ（○印）、Ｎｍ（◎印）がノードを示し、Ｎｍ（◎印）は道路の交差点を示している。各ノード間を結ぶ有向性のリンクを矢印線（実線、点線、２点鎖線）で示している。リンクは、道路の上り、下りそれぞれの方向を向いたリンクが存在するが、図８では図示を簡略化するため矢印の向きのリンクのみを図示している。

このような道路ネットワークのデータを経路探索用のデータベースとして経路探索を行う場合、出発地のノードから目的地のノードまで連結されたリンクをたどりそのリンクコストを累積し、累積リンクコストの最少になる経路を探索して案内する。すなわち、図８において出発地をノードＡＸ、目的地をノードＣＹとして経路探索を行う場合、ノードＡＸから道路Ａを走行して２つ目の交差点で右折して道路Ｃに入りノードＣＹにいたるリンクを順次たどりリンクコストを累積し、リンクコストの累積値が最少になる経路を探索して案内する。

図８ではノードＡＸからノードＣＹに至る他の経路は図示されていないが、実際にはそのような経路が他にも存在するため、ノードＡＸからノードＣＹに至ることが可能な複数の経路を同様にして探索し、それらの経路のうちリンクコストが最少になる経路を最適経路として決定するものである。この手法は、例えば、ダイクストラ法と呼ばれる周知の手法によって行われる。

これに対して、交通機関の経路探索のための交通ネットワークデータは以下のように構成されている。例えば、図９に示すように交通路線Ａ、Ｂ、Ｃからなる場合、各交通路線Ａ、Ｂ、Ｃに設けられた各駅（航空機の路線においては各空港）をノードとし、各ノード間を結ぶ区間を有向性のリンクで表し、ノードデータ（緯度・経度）、リンクデータ（リンク番号）をネットワークデータとしている。図９において、Ｎｎ（○印）、Ｎｍ（◎印）がノードを示し、Ｎｍ（◎印）は交通路線の乗り継ぎ点（乗換え駅など）を示し、各ノード間を結ぶ有向性のリンクを矢印線（実線、点線、２点鎖線）で示している。リンクは、交通路線の上り、下りそれぞれの方向を向いたリンクが存在するが、図９では図示を簡略化するため矢印の向きのリンクのみを図示している。

しかしながら、交通ネットワークは道路ネットワークと比べリンクコストが基本的に異なる。すなわち、道路ネットワークではリンクコストは固定的、静的なものであったが、交通ネットワークでは、図９に示すように交通路線を運行する列車や航空機（以下個々の列車や航空機などの各経路を交通手段と称する）が複数ある。各交通手段毎にあるノードを出発する時刻と次のノードに到着する時刻とが定まっており（時刻表データ、運行データで規定される）、かつ、個々の経路が必ずしも隣接するノードにリンクしない場合がある。例えば、急行と各駅停車の列車のような場合である。このような場合には同じ交通路線上に異なる複数のリンクが存在することになり、またノード間の所要時間が交通手段により異なる場合もある。

図９に例示する交通ネットワークにおいては、交通路線Ａの同じリンクに複数の交通手段（経路）Ａａ〜Ａｃ・・・、交通路線Ｃに複数の交通手段（経路）Ｃａ〜Ｃｃ・・・が存在することになる。従って、交通機関の運行ネットワークは、単純な道路ネットワークと異なり、ノード、リンク、リンクコストの各データは交通手段（個々の航空機や列車などの経路）の総数に比例したデータ量になる。このため交通ネットワークのデータは道路ネットワークのデータ量に比べて膨大なデータ量になる。従って、それに応じて、経路探索に要する時間も多くの時間が必要になる。

このような交通ネットワークデータを用いて、ある出発地からある目的地までの経路を探索するためには、出発地から目的地まで到達する際に使用（乗車）できる全ての交通手段を探索して探索条件に合致する交通手段を特定する必要がある。

例えば、図９において、出発地を交通路線ＡのノードＡＸとしてある特定の出発時刻を指定して、交通路線ＣのノードＣＹを目的地とする経路探索を行う場合、交通路線Ａ上を運行する交通手段Ａａ〜Ａｃ・・・のうち出発時刻以降の全ての交通手段を順次出発時の経路として選択する。そして交通路線Ｃへの乗り継ぎノードへの到着時刻に基づいて、交通路線Ｃ上を運行する各交通手段Ｃａ〜Ｃｃ・・・のうち、乗り継ぎノードにおいて乗車可能な時刻以降の交通手段の全ての組み合わせを探索して各経路の所要時間や乗り換え回数などを累計して案内することになる。

このようなネットワークデータを参照して探索された案内経路はベクトル地図データとともに携帯端末装置２０に配信される。地図データベース３４に蓄積される地図データは図１０に示すように所定の緯度・経度範囲で区分された単位地図データから構成されている。地図データは図１０に示すように所定の緯度、経度単位で地図エリアが分けられ、メッシュ状の単位地図データＭ１１〜Ｍ３３のように構成されている。携帯端末装置２０に配信される場合は、携帯端末装置２０の現在位置ＰＰを含む単位地図データＭ２２を中心にして、その上下方向、左右方向、斜め方向に隣接する単位地図データＭ２１、Ｍ２３、Ｍ１２、Ｍ３２、Ｍ１１、Ｍ１３、Ｍ３１、Ｍ３３の合計９つの単位地図が配信される。

携帯端末装置２０が移動して地図データが不足する場合は、携帯端末装置２０の移動方向を判別して経路探索サーバ３０は不足分の単位地図データを配信する。携帯端末装置２０が特定の地点やＰＯＩ（興味対象場所：Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）の位置を指定して地図データの配信要求をした場合も同様である。案内経路のデータはこのベクトル地図データとともに携帯端末装置２０に配信される。携帯端末装置２０は、経路探索サーバ３０からこのようにして地図データおよび案内経路のデータを受信して、地図および案内経路を表示手段２８に表示する。

なお、本発明は、歩行者が経路からわずかに逸脱して、表示画面から案内経路が消失した場合にも、案内経路が見える方向を指示する方法として利用することができる。
また、本実施例においては撮像手段２２で撮像する周辺画像は静止画である場合を説明したが、携帯端末装置２０の画像処理能力が十分に高ければ、動画を用いるようにしてもよい。

また、本実施例においては、撮像手段２２の光軸が水平から所定の角度以内になったときに、姿勢検出手段２３がこれを検出して自動的に撮像手段２２のシャッターが作動するように構成しているので、実写モードへの切替えが自動的に行われ、この条件を満たさない場合には通常の地図表示モードに戻る。従って歩行中に撮像手段２２が撮像した周辺画像表示による実写モードになることはなく、歩行の安全性が保たれる。

【書類名】 明細書
【発明の名称】 ナビゲーションシステム、携帯端末装置および経路案内方法
【技術分野】
【０００１】
本発明は、出発地から目的地までの案内経路を探索し、該案内経路を表示手段に表示された画像情報を用いて案内する通信型の歩行者ナビゲーションシステムに関するものであり、特に交差点などにおける周辺の風景を撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像を表示するに際して、経路画像が周辺画像上に表示できない場合に経路画像を表示できる撮像方向を案内するようにした歩行者ナビゲーションシステムに関するものである。
【背景技術】
【０００２】
従来、見知らぬ土地において目的地となる場所を訪れる場合、地図帳等を頼りに当該地図に描かれた交通機関、道路やランドマーク及び住所を確認しながら到達していた。また、カーナビゲーションシステム（以後単にカーナビと言う）を搭載した自動車においては、該カーナビを起動して目的地を入力することによりナビゲーションシステムからモニタ画面に表示される案内や音声出力される案内（ナビゲーション情報）を得ながら目的地に到達していた。
【０００３】
上記カーナビは、ＧＰＳ（Global Positioning System：全地球測位システム）を利用したものであり、地球上を周回している複数のＧＰＳ衛星から送信されるＧＰＳ信号をＧＰＳアンテナで受信し、該ＧＰＳ信号に含まれる衛星位置や時計情報等を解析して位置の特定を行うものである。該複数のＧＰＳ衛星の個数は少なくとも４個以上必要である。ＧＰＳの単独測位精度は一般的に１０ｍ強であるが、ＤＧＰＳ（Differential GPS：ディファレンシャルＧＰＳ）を採用することにより５ｍ以下に向上する。特に、現在は一部の携帯電話にしか搭載されていないＧＰＳ受信機が、第三世代と称される携帯電話では全ての機種に搭載されるようになってきている。
【０００４】
このような測位機能を有する携帯端末の利用技術としては、種々の分野の技術が提案されており、例えば、自動車用のナビゲーション装置（カーナビ）を発展させ、携帯電話を端末として地図・経路情報を情報配信サーバ（経路探索サーバ）から配信する歩行者用の通信型ナビゲーションシステムが提案されている。
【０００５】
近年、携帯電話、ＰＨＳ等の携帯通信端末機器の性能は飛躍的に向上し、また、多機能化が進んでいる。特に通話機能の他にデータ通信機能が強化され、ユーザに対してインターネットを介した種々のデータ通信サービスが提供されている。ナビゲーションサービスもその１つであり、自動車の運転者のみならず携帯電話ユーザに対して現在位置から目的地までの経路案内を提供する通信ナビゲーションシステムが実用化されている。
【０００６】
一般的なナビゲーション装置、通信ナビゲーションシステムに使用される経路探索装置、経路探索方法は、例えば、下記の特許文献１（特開２００１−１６５６８１号公報）に開示されている。このナビゲーションシステムは、携帯ナビゲーション端末から出発地と目的地の情報を情報配信サーバに送り、情報配信サーバで道路網や交通網のデータから探索条件に合致した経路を探索して案内するように構成されている。探索条件としては、出発地から目的地までの移動手段、例えば、徒歩、自動車、鉄道と徒歩の併用などがあり、これを探索条件の１つとして経路探索する。
【０００７】
情報配信サーバは、地図データの道路（経路）をその結節点、屈曲点の位置をノードとし、各ノードを結ぶ経路をリンクとし、全てのリンクのコスト情報（距離や所要時間）をデータベースとして備えている。そして、情報配信サーバは、データベースを参照して、出発地のノードから目的地のノードに至るリンクを順次探索し、リンクのコスト情報が最小となるノード、リンクをたどって案内経路とすることによって最短の経路を携帯ナビゲーション端末に案内することができる。このような経路探索の手法としてはラベル確定法あるいはダイクストラ法と言われる手法が用いられる。上記特許文献１には、このダイクストラ法を用いた経路探索方法も開示されている。
【０００８】
一般的に通信型のナビゲーションシステムにおいて、端末装置が表示する地図情報や案内経路情報は、ネットワークを介して接続される経路探索サーバなどのサーバ装置からダウンロードする。経路探索サーバなどの情報配信サーバから地図情報や案内経路の配信を受けた端末装置は液晶表示装置などの表示手段を備えており、表示手段に地図および案内経路を表示するとともに歩行者や自動車の現在位置（端末装置の現在位置）を案内経路上に表示して歩行者や自動車を目的地まで案内する。
【０００９】
一般的に表示手段に表示する地図は平面図、すなわち、２次元図形の表示であるが、表示画像に遠近感をもたせた平面鳥瞰図やランドマークや建物の様子を視認し易くするため建物を擬似的に３次元的表現した鳥瞰図を表示する方法や、道路や建物をＺバッファ法により３次元ポリゴン画像として表示する方法も提案されている。
【００１０】
例えば、下記の特許文献２（特開２００１−２７５３５号公報）には、建物や道路を立体的に表示するようにした地図表示装置が開示されている。この特許文献２に開示された地図表示装置においては、３次元地図表示を行う際に、道路に経路案内線に影をつけて立体的に表示するように構成している。また、経路案内線が建物に隠れる位置関係となる場合、その経路案内線の重複部分について重複しない部分と色を変えて表示する。特に、ＶＲＡＭ（ビデオＲＡＭ）上で経路案内線の表示色と建物の表示色とを画素単位に互い違いに設定する半透過の手法で描画し、経路案内線と建物との相対的な位置関係を明確にして経路案内線の視認性を向上するようにしている。
【００１１】
上記のような表示を行うため、特許文献２に開示された地図表示装置においては、地図データには、建物の形状データと高さ情報が記憶され、また、立体交差などの道路の形状データが記憶されている。この地図データに基づいて、建物や道路の立体交差部を描画部に３次元的に描画し、車両が進行し経路案内すべき位置に来ると描画部に所望の画像を描画し、音声出力部に所定の音声を発声させて、使用者を目的地へ案内するように構成している。
【００１２】
一般に、ポリゴンデータを用いた地図の３次元的な表示は次のように行われる。すなわち地図に表示するそれぞれの建物を構成する各面をポリゴンデータで準備しておき、地図データとともに建物のポリゴンデータを地図表示装置に送る。地図表示装置は地図を表示するとともにその地図上に位置する各建物を、ポリゴンデータを使用して３次元的に表示するものである。この時、建物をよりリアルに表示するため、建物の各面に更にテクスチャーを張り付けて表示する。テクスチャーは建物の面の模様を示すデータであり、建物の窓の形状や、壁面の模様などである。
【００１３】
例えば、下記の特許文献３（特開２０００−２５９８６１号公報）には、ポリゴンデータにテクスチャーを貼り付けて描画するようにしたテクスチャーマッピング装置の発明が開示されている。この特許文献３に開示された発明は、ポリゴンにテクスチャーを正確かつ効率良く貼り付け、その後の編集を容易にするものである。このテクスチャーマッピング装置は、ワイヤフレーム上のＭ行Ｎ列に配列された四角形のポリゴンＰ１〜Ｐ４とそれに貼り付けるテクスチャーを指定する。指定された複数のポリゴンＰ１〜Ｐ４の辺の長さＬｐ１〜Ｌｐ１２の比に応じて、貼り付け対象のテクスチャーを分割する。分割されたテクスチャーを、対応するポリゴンに、ポリゴンの向きを考慮して貼り付けるように構成したものである。
【００１４】
このようにポリゴンのデータとテクスチャーのデータを用いて建物を３次元表示する場合、建物の各面を示すポリゴンデータと、この面に張り付けるべきテクスチャーデータは１対１に対応するデータであり、ポリゴンデータとともにテクスチャーデータも予めサーバのデータベースに蓄積され、所定の範囲の地図データとともに、その地図上に表示すべき建物のポリゴンデータ、テクスチャーデータが地図表示装置に送信される。
【００１５】
このように地図を立体的に表示する方法によれば、端末装置の利用者は移動中に、実際に観察している風景に近い表示画像を見ることができるので、右折や左折場所、その進行方向を容易に把握できるという利点がある。しかしながらそのためには、地図を立体的に表示するため、平面的な地図データとは別に３次元表示のための地図データが必要になる。３次元地図データは平面地図データに比べデータ量も多く、地図データを記憶する記憶装置として大容量の記憶装置が必要になる。また、通信型のナビゲーションシステムにおいては、端末装置と経路探索サーバとの間の通信負荷が大きくなり、通信時間も長くなる。このため、多数の端末装置にサービスを提供する経路探索サーバには十分に高い処理能力が要求されるなど種々の問題点が生じる。
【００１６】
このような問題点を解消するため、車載用ナビゲーション装置において進行方向の風景をＣＣＤカメラなどの撮像手段を用いて撮影し、撮影したこの周辺画像を表示画面に表示し、この周辺画像に右折や左折の進行方向案内画像を重ねて表示したり、案内経路を表示したりするように構成したナビゲーション装置が下記の特許文献４（特開２００４−２５７９７９号公報）や特許文献５（特開２００６−１６２４４２公報）に開示されている。
【００１７】
すなわち、特許文献４に開示されたナビゲーション装置は、進行方向の風景を撮像する撮像手段と、該撮像手段によって撮像された画像を表示する表示手段を備え経路検出手段が検出した経路上の分岐点と現在位置検出手段が検出した現在位置とが所定距離以下になると、撮像手段が撮像した画像に分岐点での進むべき方向を案内する画像を重畳して表示手段に表示するように構成されたものである。
【００１８】
また、特許文献５に開示されたナビゲーション装置は、案内情報特定部は、案内情報を提示する地図上の位置と、提示する案内情報の種類を特定する案内情報特定部と、画像認識などにより、自車の周辺にある障害物（歩行者や車両等）の位置と種類とを検知する障害物検知部と、案内情報の表示位置として検知した障害物と重ならない位置を求める表示位置決定部と、車両のフロントガラス内の決定された位置に、あるいは、前方画像を表示するディスプレイ内の決定された位置に、案内情報を出力する画像出力部と、を備え、車両から見える実風景に経路進行方向を重ね合わせて表示するものである。
【００１９】
また、歩行を対象としたナビゲーションシステムにおいても、下記の特許文献６（特開２００５−２４１３８５号公報）に、カメラによって撮影した実際の周辺画像に経路方向を重ね合わせて表示する携帯端末装置ナビゲーション装置が開示されている。この携帯端末装置は、利用者（目的地案内装置）の現在位置を基準としてデジタルカメラのスクリーンを画定し、このスクリーンに対して目的地に対応する目的地方向座標を定め、所定の基準点（スクリーン下辺中心）を基準として、スクリーン上でカメラの撮影画像に重ねて目的地方向座標に対する指示表示を行うように構成されたものである。
【００２０】
【特許文献１】
特開２００１−１６５６８１号公報（図１、図２）
【特許文献２】
特開２００１−２７５３５号公報（図１、図４、段落［００５４］）
【特許文献３】
特開２０００−２５９８６１号公報（図２、図８）
【特許文献４】
特開２００４−２５７９７９号公報（図４）
【特許文献５】
特開２００６−１６２４４２号公報（図４、図５）
【特許文献６】
特開２００５−２４１３８５号公報（図９）
【発明の開示】
【発明が解決しようとする課題】
【００２１】
ところで、カメラなどの撮像手段で撮像した周辺画像を表示し、この周辺画像に進行方向や案内経路を表示する技術を車載用のナビゲーション装置に用いる場合には、自動車による移動の特徴として、実風景を撮影するカメラの向きは車両の進行方向（前方）に固定されるので、経路に沿って運転していれば、経路は常に前方に引かれることになるという特質がある。また、道を間違えて案内経路から逸脱しても、経路探索におけるリルート機能（再探索機能）により車両の進行方向に再度、案内経路が設定されるため、常に案内経路は車両の正面、すなわち撮像のためのカメラの正面に現れる。
【００２２】
これに対して、歩行者用のナビゲーション装置が車載用のナビゲーション装置と異なる点は、ナビゲーション装置が車載用のように進行方向に固定されることが無く、利用者の向きや持ち方により任意の方向を向く可能性があるという点である。例えば、ナビゲーションのため、地図画像や案内経路の表示をするときの端末装置の向きは、全く任意であって、そのときの表示画面に案内経路が含まれる保障はない。カメラの水平画角は３６０度に比べて十分小さいので、画面表示に案内経路が含まれる確率はむしろ小さい。このため、上記特許文献４や特許文献５に開示された車載用ナビゲーション装置の技術をそのまま適用することはできない。
【００２３】
従って、歩行者用のナビゲーションシステムにおいては、カメラなどの撮像手段によって撮像した周辺画像に案内経路が含まれていない場合に利用者に対して何らかの配慮をすることが必要になる。上記特許文献６には歩行者用の携帯端末において、デジタルカメラで進行方向の風景を撮像し、スクリーン上でカメラの撮影画像に重ねて目的地方向に対する指示表示を行うようにされてはいるが、この携帯端末装置は、基本的に車載用ナビゲーション装置と同様に、カメラが案内経路の方向を向いていること前提としたものである。
【００２４】
すなわち、この携帯端末は、進行方向の風景をカメラで撮像し、その画像上に案内経路（進行方向）を表示するように構成され、カメラが進行方向を向いていない場合の配慮がなされていないという問題点があった。このような携帯端末では、利用者が交差点などで案内経路に対して正しく進行方向に向いている場合に、カメラで撮像した画像が表示された画面に案内経路や右折、左折の案内表示をすることができるが、カメラの向きすなわち、携帯端末の向きが進行方向を向いていない場合には、カメラで撮像した画像が表示された画面に案内経路が入らずに利用者にカメラで撮影した画像上で案内経路や進行方向を指示できないという問題点が生じる。
【００２５】
本願の発明者は上記の問題点を種々検討した結果、通信型の歩行者用ナビゲーションシステムにおける携帯端末装置に、ＣＣＤカメラなどの撮像手段と、磁気方位センサや傾斜センサなどから構成される姿勢検出手段とを設け、姿勢検出手段により該携帯端末装置が向いている方向や水平に対する角度を検出して撮像手段が撮像した周辺画像に案内経路が含まれていない場合には、撮像手段すなわち携帯端末装置の向きをどちらに修正すればよいかを表示するようになせば上記問題点を解消し得ることに想到して本発明を完成するに至ったものである。
【００２６】
すなわち、本発明は上記の問題点を解消することを課題とし、撮像手段で撮像した周辺画像上に経路案内画像を表示するに際して、経路画像が周辺画像上に表示できない場合に経路画像を表示できる撮像方向を案内するようにした歩行者ナビゲーションシステムを提供することを目的とするものである。
【課題を解決するための手段】
【００２７】
前記課題を解決するために、本願の第１発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像を表示する描画制御手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムにおいて、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像の表示位置を決定する画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記携帯端末装置の姿勢と現在位置からの前記案内経路の向きとに基づいて前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする。
【００２８】
前記第１発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。
【００２９】
また、前記第１発明において、前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像の表示位置を、前記撮像手段の光軸の角度に基づいて周辺画像の上方向が垂直となるように補正し、光軸が水平と成す角度に相当する分だけ前記周辺画像をシフトして、該周辺画像中心が水平方向となるように補正して決定するように構成することが好ましい。
【００３０】
また、前記第１発明において、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に現在位置からの案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きとして現在位置からの案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するように構成することが好ましい。
【００３１】
更に、前記第１発明において、前記描画制御手段が表示する前記撮像方向案内画像は、現在位置からの案内経路の進行方向を案内する前記進行方向案内画像とは異なる画像を用いて表示するように構成することが好ましい。
【００３２】
本願の第２発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像を表示する描画制御手段と、を備えた携帯端末装置において、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像の表示位置を決定する画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記携帯端末装置の姿勢と現在位置からの前記案内経路の向きとに基づいて前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする。
【００３３】
前記第２発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。
【００３４】
前記第２発明において、前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像の表示位置を、前記撮像手段の光軸の角度に基づいて周辺画像の上方向が垂直となるように補正し、光軸が水平と成す角度に相当する分だけ前記周辺画像をシフトして、該周辺画像中心が水平方向となるように補正して決定するように構成することが好ましい。
【００３５】
また、前記第２発明において、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に現在位置からの案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きとして現在位置からの案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するように構成することが好ましい。
【００３６】
更に、前記第２発明において、前記描画制御手段が表示する前記撮像方向案内画像は、現在位置からの案内経路の進行方向を案内する前記進行方向案内画像とは異なる画像を用いて表示するように構成することが好ましい。
【００３７】
更にまた、本願の第３発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像を表示する描画制御手段と、を備えた携帯端末装置の案内表示方法おいて、
前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像の表示位置を決定する画像レイアウト手段と、を備え、
前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれるか否かを判別するステップと、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記携帯端末装置の姿勢と現在位置からの前記案内経路の向きとに基づいて前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示するステップと、を有することを特徴とする。
【００３８】
前記第３発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成され
前記方位検出手段と傾斜角検出手段の検出出力に基づいて、画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれるか否かを判別するステップと、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記携帯端末装置の姿勢と現在位置からの前記案内経路の向きとに基づいて前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示するステップと、を有することが好ましい。
【００３９】
また、前記第３発明において、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれるか否かを判別するステップにおいて、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれると判別した場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を、前記撮像手段の光軸の角度に基づいて周辺画像の上方向が垂直となるように補正し、光軸が水平と成す角度に相当する分だけ前記周辺画像をシフトして、該周辺画像中心が水平方向となるように補正して決定するステップを更に有するように構成することが好ましい。
【００４０】
更に、前記第３発明において、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に現在位置からの案内経路が含まれるか否かを判別するステップにおいて、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に現在位置からの案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が撮像すべき向きとして現在位置からの案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するステップを更に有するように構成することが好ましい。
【００４１】
更にまた、前記第３発明において、前記撮像方向案内画像を前記周辺画像上に表示するステップは、前記描画制御手段が表示する前記撮像方向案内画像は、現在位置からの案内経路の進行方向を案内する進行方向案内画像とは異なる画像を用いて表示する処理を含むように構成することが好ましい。
【発明の効果】
【００４２】
本願の第１発明においては、携帯端末装置は、撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像の表示位置を決定する画像レイアウト手段と、を備え、画像レイアウト手段が前記表示手段に表示される前記周辺画像に前記案内経路が含まれないことを判別した場合に、描画制御手段は、前記携帯端末装置の姿勢と現在位置からの前記案内経路の向きとに基づいて撮像手段が撮像すべき向きを案内する撮像方向案内画像を周辺画像上に表示する。
【００４３】
このような構成によれば、撮像手段であるカメラの向きすなわち、携帯端末装置の向きが案内経路の方向、すなわち、進行方向を向いていない場合であっても、撮像手段が撮像すべき向きを案内する撮像方向案内画像を周辺画像上に表示するから、利用者が撮像方向案内画像にそって撮像方向を変えることにより、周辺画像に案内経路または進行方向が表示されるように携帯端末装置の向きを修正することができるようになる。
【００４４】
前記第１発明において、前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成されることが好ましい。このように構成すれば、撮像手段が撮像している光軸の向き（方位）と、傾斜角が算出できるから、周辺画像に対して、表示する案内経路や進行方向案内画像を表示する表示位置を決定することができるようになる。
【００４５】
また、前記第１発明において、前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像の表示位置を、前記撮像手段の光軸の角度に基づいて周辺画像の上方向が垂直となるように補正し、光軸が水平と成す角度に相当する分だけ前記周辺画像をシフトして、該周辺画像中心が水平方向となるように補正して決定するように構成することが好ましい。このように構成すれば、携帯端末装置の姿勢に応じて、周辺画像に対して、表示する案内経路や進行方向案内画像を表示する表示位置を決定することができるようになる。
【００４６】
また、前記第１発明において、前記画像レイアウト手段が前記表示手段に表示される前記周辺画像に現在位置からの案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きとして現在位置からの案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するように構成することが好ましい。このように構成すれば、表示手段に表示される周辺画像に案内経路が含まれない場合に、撮像手段が撮像すべき向きとして案内経路の存在する方向を示す撮像方向案内画像を表示するから、利用者が撮像方向案内画像にそって撮像方向を変えることにより、周辺画像に案内経路または進行方向が表示されるように携帯端末装置の向きを容易に修正することができるようになる。
【００４７】
更にまた、前記第１発明において、前記描画制御手段が表示する前記撮像方向案内画像は、現在位置からの案内経路の進行方向を案内する進行方向案内画像とは異なる画像を用いて表示するように構成することが好ましい。このように構成すれば、利用者は進行方向案内画像と撮像方向案内画像を容易に区別することができるようになる。
【００４８】
本願の第２発明によれば、前記第１発明における携帯端末装置を提供することができるようになり、また、本願の第２発明によれば、前記第２発明における携帯端末装置を実現するための経路案内表示方法を提供することができるようになる。
【発明を実施するための最良の形態】
【００５１】
以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。但し、以下に示す実施例は、本発明の技術思想を具体化するためのナビゲーションシステムを例示するものであって、本発明をこのナビゲーションシステムに特定することを意図するものではなく、特許請求の範囲に含まれるその他の実施形態のナビゲーションシステムにも等しく適用し得るものである。
【実施例】
【００５２】
図１は、本発明の実施例にかかるナビゲーションシステムの構成を示すブロック図である。ナビゲーションシステム１０は、図１に示すようにインターネットなどのネットワーク１２を介して接続される携帯端末装置２０と経路探索サーバ３０を備えて構成されている。経路探索サーバ３０は、経路探索手段３３、地図データを蓄積した地図データベース３４、経路探索用の道路ネットワークデータや公共交通機関のネットワークデータである交通ネットワークデータを蓄積した経路探索用ネットワークデータベース３５を備えている。
【００５３】
経路探索サーバ３０はまた、制御手段３０１、通信手段３１、案内情報編集手段３２を備えている。制御手段３０１は、図示してはいないがＲＡＭ、ＲＯＭ、プロセッサを有するマイクロプロセッサであり、ＲＯＭに格納された制御プログラムにより各部の動作を制御する。通信手段３１は、ネットワーク１２を介して携帯端末装置２０と通信するためのインターフェースである。
【００５４】
経路探索サーバ３０は、携帯端末装置２０から現在位置、目的地、移動手段（自動車、徒歩、交通機関あるいは徒歩と交通機関併用など）などの経路探索条件を含む経路探索要求があると、経路探索用ネットワークデータベース３５を参照して経路探索条件に合致した案内経路を探索する。経路探索の結果得られた案内経路のデータは、地図データベース３４から選択した携帯端末装置２０の現在位置を含む所定範囲の単位地図データ（緯度・経度で所定の大きさのエリアに区分された地図データ）とともに案内情報編集手段３２で携帯端末装置２０に送信するための案内情報（データ）に編集される。編集された案内情報は携帯端末装置２０に配信される。
【００５５】
一方、携帯端末装置２０は、制御手段２０１、ＧＰＳ受信手段２１、撮像手段２２、姿勢検出手段２３、画像レイアウト手段２４、描画制御手段２５、通信手段２６、案内情報記憶手段２７、表示手段２８、操作入力手段２９などを備えて構成されている。制御手段２０１は、図示してはいないがＲＡＭ、ＲＯＭ、プロセッサを有するマイクロプロセッサであり、ＲＯＭに格納された制御プログラムにより各部の動作を制御する。通信手段２６は、ネットワーク１２を介して経路探索サーバ３０と通信するためのインターフェースである。
【００５６】
操作入力手段２９は、数字キーやアルファベットキー、その他の機能キー、選択キー、スクロールキーなどからなる操作・入力手段ためのものであり、出力手段である表示手段２８に表示されるメニュー画面から所望のメニューを選択し、あるいは、キーを操作して種々の入力操作を行うものである。従って、表示手段２８は操作入力手段２９の一部としても機能する。
【００５７】
利用者が経路探索サーバ３０に経路探索を依頼しようとする場合、携帯端末装置２０において操作入力手段２９を操作し、表示手段２８に表示されるサービスメニューから経路探索を選択し、現在位置、目的地、移動手段（自動車、徒歩、交通機関あるいは徒歩と交通機関併用など）などの経路探索条件を入力する。入力された経路探索条件は経路探索サーバ３０への配信要求に編集され、通信手段２６を介して経路探索サーバ３０に経路探索要求として送信される。
【００５８】
携帯端末装置２０は経路探索サーバ３０から経路探索の結果である案内情報を受信すると、この案内情報を案内情報記憶手段２７に一時記憶する。通常、この案内情報に基づいて、携帯端末装置２０の現在位置を中心として地図画像、案内経路の画像が表示手段２８に表示される。この際、現在位置マークが地図画像上の該当位置に表示される。現在位置が案内経路上の交差点ノードなどに接近すると、当該交差点ノードおける右折、左折、直進などの進行方向を指示する進行方向案内画像が表示される。また、携帯端末装置２０がスピーカなどの出力手段を備える場合、交差点ノードまでの距離や進行方向を音声により案内する音声案内を提供するように構成できる。
【００５９】
上記のような地図表示は通常の案内モードの場合である。本実施例においては撮像手段２２により周辺画像を撮像し、その周辺画像を表示手段２８に表示するとともに案内経路画像や進行方向案内画像を表示して案内する画像案内モードを備えている。以下この画像案内モードを実写モードということとする。実写モードへの切替えは後述するように姿勢検出手段２３が携帯端末装置２０の姿勢を検出し、所定の状態の場合に自動的に切替えられるようにすることが好ましい。もちろん操作入力手段２９によって利用者が切替えることができるようにしてもよい。
【００６０】
携帯端末装置２０の撮影手段２２（例えばＣＣＤカメラ）の焦点距離（ＺＯＯＭ）、表示手段２８の画面サイズは所定の設定値に固定される。ＧＰＳ受信手段２１は所定の時間間隔で携帯端末装置２０の現在位置を測位するから、撮像手段２２が操作され、周辺画像を撮像した位置を特定することができる。ＧＰＳ受信手段２２による測位間隔は、携帯電話を携帯端末装置２０とする場合、例えば１秒おき〜５秒おきである。
【００６１】
利用者が携帯端末装置２０を前方にかざすと、撮像手段２２の光軸が水平から所定の角度以内になったときに、姿勢検出手段２３がこれを検出してつい段な自動的に撮像手段２２のシャッターが作動して光軸方向の周辺画像（静止画像）が撮影される。姿勢検出手段２３は方位センサ、傾斜センサで構成されるから、光軸の向き（方位）は方位センサ出力から得ることができ、光軸と水平方向のなす角度は傾斜センサ出力により得ることができる。光軸の向きと、傾斜角は、撮像手段２２により撮像した周辺画像と共に記憶される。一般的に撮像手段２２の撮影角度はある程度の角度を持っており、撮像された周辺動画像は表示範囲の外になる部分も十分広範囲に撮影される。
【００６２】
このようにして撮像した周辺画像をそのまま表示手段２８に表示してもよいが、本実施例では以下の補正を加える。（１）光軸周りの回転の補正。すなわち、画像上方向が垂直となるように補正する。（２）光軸の垂直方向の傾き補正。光軸が水平と成す角度に相当する分だけ、画像をシフトして、画像中心が水平方向となるようにする。また、光軸の地表からの高さ（距離）は一般的な身長の人の目の高さとする。
【００６３】
図２は、撮像手段２２の姿勢と光軸および撮像角度を示す模式図である。利用者Ｕがある地点Ｐにおいて周辺画像の撮像のため携帯端末装置２０を前方にかざすと、姿勢検出手段２３が撮像手段２２の光軸ＡＸと水平方向のなす角度を検出し、所定の角度範囲内にあると自動的にシャッターが作動して前方の画像が撮像される。この時の光軸ＡＸに対する垂直方向の撮像角度はαである。
【００６４】
撮像手段２２は所定の焦点距離で周辺画像を撮像するから、撮像地点Ｐから前方の各地点Ｐ１、Ｐ２、Ｐ３はそれぞれ光軸ＡＸとなす角度Θ１、Θ２、Θ３から算出でき、表示画像のどの位置が撮像位置から何ｍ先の地点にあたるかは、上記の角度から幾何学的に計算することができる。すなわち、図２において地点Ｐ１は撮像地点Ｐから３m前方であり、光軸とのなす角度Θ１である。地点Ｐ２は撮像地点Ｐから１０m前方であり、光軸とのなす角度Θ２である。また地点Ｐ３（図示せず）は撮像地点Ｐから３０m前方であり、光軸とのなす角度Θ３である。
【００６５】
図３は、このようにして撮像手段２２により撮像した周辺画像を表示手段２８に表示した場合の表示画像の一例を示す図である。表示画面の中心（図３の線Ｘ、Ｙの交点）が光軸ＡＸと一致しかつ水平方向になるように周辺画像が表示される。図２で説明したように撮像地点Ｐから前方の地点Ｐ１（３ｍ先）の画像は光軸とのなす角度Θ１であり表示画像の最下部にあたる。地点Ｐ２は（１０ｍ先）の画像は光軸とのなす角度Θ２であり表示画像に示す線Ｌ１の位置にあたる。同様に２０ｍ先の地点は線Ｌ２の位置、３０m先の地点は線Ｌ３の位置にあたる。
【００６６】
このようにすれば、案内経路が撮像地点から前方何ｍ先にあるかによって表示画像のどの位置に案内経路画像を表示するか、その表示位置を決定することができ、常に安定した画像で経路を案内することができ、表示位置決定の演算処理も簡便になる。すなわち、周辺画像の撮像すなわち、静止画取得時の位置情報（撮像時の現在位置）に基づいて案内経路の位置、方向を求め、光軸ＡＸの方向に対して案内経路を表示画像上の所定の位置に描画する。図４は、光軸ＡＸと案内経路の進行方向が同じであり、画面に表示された周辺画像の範囲内に案内経路が存在し、撮像地点から３０ｍ先で右折する案内経路画像ＧＲＩを周辺画像に重ね合わせて描画した表示画像例を示す図である。画像レイアウト手段２４は姿勢検出手段２３の検出出力に基づいて以上の演算を行って案内経路画像ＧＲＩの表示位置を決定する。
【００６７】
ところで、経路進行方向が画面に入らない方向を向いた場合の表示については、前述したように従来十分な考慮が払われていない。歩行者は交差点などで必ずしも案内経路の進行方向を向いているとは限らない。このため撮像手段２２で撮像した周辺画像を表示画面に表示した時、図４のように案内経路画像ＧＲＩが表示領域に含まれて周辺画像とともに表示されるとは限らない。
【００６８】
図５は、表示された周辺画像に案内経路が含まれる場合と含まれない場合の案内画像表示を説明する表示画像の例を示す図であり、図５Ｂは案内経路が表示された周辺画像に含まれる場合（図４）の表示例を示す図、図５Ａは、案内経路が表示された周辺画像に含まれず、画面に向かって右側に案内経路が存在する場合の表示例を示す図、図５Ｃは、案内経路が表示された周辺画像に含まれず、画面に向かって左側に案内経路が存在する場合の表示例を示す図である。
【００６９】
歩行者が案内経路の方向、案内経路の進行方向を向いておらず、撮像手段２２で撮像した周辺画像を表示手段２８の画面に表示した時、表示された周辺画像に案内経路が含まれない場合、従来のように案内経路画像ＧＲＩや右折や左折を示す矢印形状の進行方向案内画像５１（図５Ｂ参照）を表示しようとしても、表示範囲内に案内経路が存在しないので表示することができない。図５Ａは、案内経路に対して左側に向いている場合の表示画像を示しており、案内経路は全く含まれない。従って、従来は表示がなくなり、利用者は戸惑ってしまう。
【００７０】
本発明では、撮像手段２２が周辺画像を撮像した位置および光軸の角度と、案内経路である経路のノードの位置やリンクの角度とから表示画面に表示されている周辺画像のどちら側に案内経路とその進行方向が存在するかを幾何学的な演算により判別する。これにより案内経路やその進行方向が表示できる撮像方向を案内するための撮像方向案内画像（例えば三角マーク）を表示し、利用者が撮像方向を変更するように促す。利用者が撮像方向案内画像に従って撮像方向を変更すれば、表示手段２８の表示画面に表示される周辺画像に案内経路画像や進行方向案内画像を表示することができるようになる。
【００７１】
例えば、表示画面に表示された周辺画像の右側に案内経路が存在する場合には、図５Ａに示すように右向きに撮像方向を変えるように案内する撮像方向案内画像５２を表示する。また、表示画面に表示された周辺画像の左側に案内経路が存在する場合には、図５Ｃに示すように左向きに撮像方向を変えるように案内する撮像方向案内画像５３を表示する。すなわち、図５Ｃは、案内経路ＧＲＩに対して右側に向いている場合で、遠方に案内経路が見えているが、現在地Ｐからの案内経路の進行方向は左側に存在するので、左側を向いて撮像するように指示する撮像方向案内画像（三角マーク）５３を表示している。
【００７２】
表示された撮像方向案内画像（三角マーク）５２または５３に従って、利用者が撮像方向を変えると、図５Ｂに示すように、表示画面に表示される周辺画像に案内経路が含まれるようになり、案内経路画像ＧＲＩや進行方向案内画像５１を表示することができるようになる。なお、この撮像方向案内画像（三角マーク）は、交差点などのガイダンスポイントでの右左折方向を示す進行方向案内画像（図５Ｂの矢印マーク）とは異なる画像（マーク）にして、意味の違いがすぐにわかるようにするとよい。
【００７３】
図６は、光軸の方向と案内経路の位置関係から撮像方向を算出する概念を説明する模式図であり、撮像手段２２の光軸ＡＸ（撮像方向）と案内経路ＧＲの幾何学的な関係を平面図として示している。撮像手段２２が地点Ｐにおいて光軸ＡＸの方向を向いて周辺画像を撮像した場合、表示手段２８の表示画面に表示される周辺画像は光軸ＡＸを中心に角度Θ（画角ということとする）の範囲の画像である。
【００７４】
現在位置すなわち撮像位置Ｐからの案内経路ＧＲの進行方向が、画角Θの範囲内にあるときは、案内経路画像ＧＲＩを表示する（図５Ｂ）。撮像位置Ｐが交差点などのガイダンスポイントである場合には、進行方向案内画像５１を表示する。
【００７５】
撮像位置Ｐからの案内経路ＧＲの進行方向が、画角Θに含まれず、光軸ＡＸから見て左側にある場合は、撮像方向を左側に向けて変更する指示（図５Ｃの撮像方向案内画像５３）を表示する。すなわち、図５Ｃは、携帯端末装置２０（撮像手段２２）が案内経路ＧＲ１に対して右側を向いている場合で、遠方に経路が見えているが、現在地からの案内経路の進行方向は左側に存在するので、左側を向くようにという旨の撮像方向指示画像を表示している。この点が、目的地方向を表示画面に示す表示方法と異なる点であり、本発明の特徴的な点である。
【００００】
撮像位置Ｐからの案内経路ＧＲの進行方向が、画角Θに含まれず、光軸ＡＸから見て右側にある場合は撮像方向を右側に向けて変更する指示（図５Ａの撮像方向案内画像５２）を表示する。すなわち、図５Ａは、携帯端末装置２０（撮像手段２２）が案内経路ＧＲ１に対して左向いている場合で、現在地からの案内経路の進行方向は右側に存在するので、右側を向くようにという旨の撮像方向指示画像を表示している。画像レイアウト手段２４は姿勢検出手段２３の検出出力に基づいて以上の演算を行って表示手段２８の表示画面に表示された周辺画像に案内経路ＧＲが含まれるかを判別する。
【００７６】
図７は、以上説明した本発明の実施例にかかるナビゲーションシステムにおける経路案内の動作手順を示すフローチャートである。携帯端末装置２０は経路探索サーバ３０に経路探索要求を行い、経路探索サーバ３０から案内経路データやガイダンスポイントなどのデータを含む案内情報を受信して一時記憶してあるものとする。この状態で表示手段２８に表示される地図画像は平面地図画像を用いた一般的な表示モードである。
【００７７】
先ず、ステップＳ１０１の処理において姿勢検出手段２３が検出した傾斜角に基づいて携帯端末２０（撮像手段２２の光軸）が水平方向に対して所定の角度範囲にあるかを検出する。所定の角度範囲は、一般的な人が撮像のためにカメラを構える時の平均的な角度を設定しておけばよい。
【００７８】
携帯端末装置２０の傾斜角が水平に対して所定の角度範囲内にない（ＮＯ）場合は、ステップＳ１０９の処理に進み、通常モードすなわち平面地図を用いた表示を行い、ステップＳ１０１の処理にリターンする。傾斜角が水平に対して所定の角度範囲内にある（ＹＥＳ）場合、ステップＳ１０２の処理において撮像手段２２のシャッターが自動的に作動して光軸方向の周辺画像を撮像する。次いで、ステップＳ１０３の処理において描画制御手段２５は実写モードの表示制御に切替える。
【００７９】
ステップＳ１０２の処理において撮像手段２２で撮像された画像データは、ステップＳ１０４の処理において、撮像時の現在位置、姿勢検出手段２３が検出した傾斜角度、光軸が向いている方位（携帯端末装置２０の向き）などのデータとともに適宜のメモリ手段に一時記憶される。次いでステップＳ１０５の処理に進み、画像レイアウト手段２４は、図６を参照して説明したように、光軸に対する画角Θに基づいて案内情報記憶手段２７に記憶された案内経路データを参照し、撮像地点（現在位置）における案内経路の進行方向を判別する。
【００８０】
ステップＳ１０５の判別処理において、現在位置すなわち撮像位置から見て案内経路の進行方向が、画角Θの範囲内にあるときは、ステップＳ１０６の処理に進み、画像レイアウト手段２４が図２、図３を参照して説明したように案内経路画像、進行方向案内画像の表示位置を算出し、描画制御手段２５がその算出結果に基づいて、撮像手段２２で撮像した周辺画像の所定の表示位置に案内経路画像、進行方向案内画像を、表示する（図５Ｂ参照）。
【００８１】
ステップＳ１０５の判別処理において、撮像位置から見た案内経路の進行方向が、画角Θに含まれず、光軸ＡＸから見て左側にある場合は、ステップＳ１０８の処理に進み、描画制御手段２５は撮像方向を左側に向けて変更する指示（図５Ｃの撮像方向案内画像５３）を表示する。撮像位置Ｐからの案内経路の進行方向が、画角Θに含まれず、光軸ＡＸから見て右側にある場合は、ステップＳ１０７の処理に進み、描画制御手段２５は撮像方向を右側に向けて変更する指示（図５Ａの撮像方向案内画像５２）を表示する。ステップＳ１０６〜ステップＳ１０８の表示処理の後、処理をリターンしてステップＳ１０１の傾斜角判別処理に戻る。
【００８２】
次に、経路探索サーバ３０における経路探索について説明する。経路探索用ネットワークデータベース３５は、道路ネットワークデータと交通ネットワークデータを備えている。これらのネットワークデータは以下のように構成されている。例えば、道路が図８に示すように道路Ａ、Ｂ、Ｃからなる場合、道路Ａ、Ｂ、Ｃの端点、交差点、屈曲点などをノードとし、各ノード間を結ぶ道路を有向性のリンクで表し、ノードデータ（ノードの緯度・経度）、リンクデータ（リンク番号）と各リンクのリンクコスト（リンクの距離またはリンクを走行するのに必要な所要時間）をデータとしたリンクコストデータとで構成される。
【００８３】
すなわち、図８において、Ｎｎ（○印）、Ｎｍ（◎印）がノードを示し、Ｎｍ（◎印）は道路の交差点を示している。各ノード間を結ぶ有向性のリンクを矢印線（実線、点線、２点鎖線）で示している。リンクは、道路の上り、下りそれぞれの方向を向いたリンクが存在するが、図８では図示を簡略化するため矢印の向きのリンクのみを図示している。
【００８４】
このような道路ネットワークのデータを経路探索用のデータベースとして経路探索を行う場合、出発地のノードから目的地のノードまで連結されたリンクをたどりそのリンクコストを累積し、累積リンクコストの最少になる経路を探索して案内する。すなわち、図８において出発地をノードＡＸ、目的地をノードＣＹとして経路探索を行う場合、ノードＡＸから道路Ａを走行して２つ目の交差点で右折して道路Ｃに入りノードＣＹにいたるリンクを順次たどりリンクコストを累積し、リンクコストの累積値が最少になる経路を探索して案内する。
【００８５】
図８ではノードＡＸからノードＣＹに至る他の経路は図示されていないが、実際にはそのような経路が他にも存在するため、ノードＡＸからノードＣＹに至ることが可能な複数の経路を同様にして探索し、それらの経路のうちリンクコストが最少になる経路を最適経路として決定するものである。この手法は、例えば、ダイクストラ法と呼ばれる周知の手法によって行われる。
【００８６】
これに対して、交通機関の経路探索のための交通ネットワークデータは以下のように構成されている。例えば、図９に示すように交通路線Ａ、Ｂ、Ｃからなる場合、各交通路線Ａ、Ｂ、Ｃに設けられた各駅（航空機の路線においては各空港）をノードとし、各ノード間を結ぶ区間を有向性のリンクで表し、ノードデータ（緯度・経度）、リンクデータ（リンク番号）をネットワークデータとしている。図９において、Ｎｎ（○印）、Ｎｍ（◎印）がノードを示し、Ｎｍ（◎印）は交通路線の乗り継ぎ点（乗換え駅など）を示し、各ノード間を結ぶ有向性のリンクを矢印線（実線、点線、２点鎖線）で示している。リンクは、交通路線の上り、下りそれぞれの方向を向いたリンクが存在するが、図９では図示を簡略化するため矢印の向きのリンクのみを図示している。
【００８７】
しかしながら、交通ネットワークは道路ネットワークと比べリンクコストが基本的に異なる。すなわち、道路ネットワークではリンクコストは固定的、静的なものであったが、交通ネットワークでは、図９に示すように交通路線を運行する列車や航空機（以下個々の列車や航空機などの各経路を交通手段と称する）が複数ある。各交通手段毎にあるノードを出発する時刻と次のノードに到着する時刻とが定まっており（時刻表データ、運行データで規定される）、かつ、個々の経路が必ずしも隣接するノードにリンクしない場合がある。例えば、急行と各駅停車の列車のような場合である。このような場合には同じ交通路線上に異なる複数のリンクが存在することになり、またノード間の所要時間が交通手段により異なる場合もある。
【００８８】
図９に例示する交通ネットワークにおいては、交通路線Ａの同じリンクに複数の交通手段（経路）Ａａ〜Ａｃ・・・、交通路線Ｃに複数の交通手段（経路）Ｃａ〜Ｃｃ・・・が存在することになる。従って、交通機関の運行ネットワークは、単純な道路ネットワークと異なり、ノード、リンク、リンクコストの各データは交通手段（個々の航空機や列車などの経路）の総数に比例したデータ量になる。このため交通ネットワークのデータは道路ネットワークのデータ量に比べて膨大なデータ量になる。従って、それに応じて、経路探索に要する時間も多くの時間が必要になる。
【００８９】
このような交通ネットワークデータを用いて、ある出発地からある目的地までの経路を探索するためには、出発地から目的地まで到達する際に使用（乗車）できる全ての交通手段を探索して探索条件に合致する交通手段を特定する必要がある。
【００９０】
例えば、図９において、出発地を交通路線ＡのノードＡＸとしてある特定の出発時刻を指定して、交通路線ＣのノードＣＹを目的地とする経路探索を行う場合、交通路線Ａ上を運行する交通手段Ａａ〜Ａｃ・・・のうち出発時刻以降の全ての交通手段を順次出発時の経路として選択する。そして交通路線Ｃへの乗り継ぎノードへの到着時刻に基づいて、交通路線Ｃ上を運行する各交通手段Ｃａ〜Ｃｃ・・・のうち、乗り継ぎノードにおいて乗車可能な時刻以降の交通手段の全ての組み合わせを探索して各経路の所要時間や乗り換え回数などを累計して案内することになる。
【００９１】
このようなネットワークデータを参照して探索された案内経路はベクトル地図データとともに携帯端末装置２０に配信される。地図データベース３４に蓄積される地図データは図１０に示すように所定の緯度・経度範囲で区分された単位地図データから構成されている。地図データは図１０に示すように所定の緯度、経度単位で地図エリアが分けられ、メッシュ状の単位地図データＭ１１〜Ｍ３３のように構成されている。携帯端末装置２０に配信される場合は、携帯端末装置２０の現在位置ＰＰを含む単位地図データＭ２２を中心にして、その上下方向、左右方向、斜め方向に隣接する単位地図データＭ２１、Ｍ２３、Ｍ１２、Ｍ３２、Ｍ１１、Ｍ１３、Ｍ３１、Ｍ３３の合計９つの単位地図が配信される。
【００９２】
携帯端末装置２０が移動して地図データが不足する場合は、携帯端末装置２０の移動方向を判別して経路探索サーバ３０は不足分の単位地図データを配信する。携帯端末装置２０が特定の地点やＰＯＩ（興味対象場所：Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）の位置を指定して地図データの配信要求をした場合も同様である。案内経路のデータはこのベクトル地図データとともに携帯端末装置２０に配信される。携帯端末装置２０は、経路探索サーバ３０からこのようにして地図データおよび案内経路のデータを受信して、地図および案内経路を表示手段２８に表示する。
【００９３】
なお、本発明は、歩行者が経路からわずかに逸脱して、表示画面から案内経路が消失した場合にも、案内経路が見える方向を指示する方法として利用することができる。
また、本実施例においては撮像手段２２で撮像する周辺画像は静止画である場合を説明したが、携帯端末装置２０の画像処理能力が十分に高ければ、動画を用いるようにしてもよい。
【００９４】
また、本実施例においては、撮像手段２２の光軸が水平から所定の角度以内になったときに、姿勢検出手段２３がこれを検出してつい段な自動的に撮像手段２２のシャッターが作動するように構成しているので、実写モードへの切替えが自動的に行われ、この条件を満たさない場合には通常の地図表示モードに戻る。従って歩行中に撮像手段２２が撮像した周辺画像表示による実写モードになることはなく、歩行の安全性が保たれる。

【図面の簡単な説明】
【００４９】
【図１】 本発明の実施例にかかるナビゲーションシステムの構成を示すブロック図である。
【図２】 携帯端末装置の姿勢と撮像手段の光軸および撮像角度を示す模式図である。
【図３】 画像案内モードにおいて撮像手段により撮像した周辺画像を表示手段に表示した場合の表示画像の一例を示す図である。
【図４】 撮像手段の光軸と案内経路の進行方向が同じであり、表示手段に表示した周辺画像の範囲内に案内経路が存在する場合の表示画像の例を示す図である。
【図５】 図５は、表示された周辺画像に案内経路が含まれる場合と含まれない場合の案内画像表示を説明する表示画像の例を示す図であり、図５Ｂは案内経路が表示された周辺画像に含まれる場合の表示例を示す図、図５Ａは、案内経路が表示された周辺画像に含まれず、画面に向かって右側に案内経路が存在する場合の表示例を示す図、図５Ｃは、案内経路が表示された周辺画像に含まれず、画面に向かって左側に案内経路が存在する場合の表示例を示す図である。
【図６】 撮像手段の光軸と案内経路の幾何学的な関係の一例を示す平面図である。
【図７】 本発明の実施例にかかるナビゲーションシステムにおける動作手順を示すフローチャートである。
【図８】 経路探索のための道路ネットワークデータの概念を説明するための模式図である。
【図９】 交通機関を利用した経路探索のための交通ネットワークデータの概念を説明するための模式図である。
【図１０】 地図データの構成を示す図である。
【符号の説明】
【００５０】
１０・・・・ナビゲーションシステム
１２・・・・ネットワーク
２０・・・・携帯端末装置
２０１・・・制御手段
２１・・・・ＧＰＳ受信手段
２２・・・・撮像手段
２３・・・・姿勢検出手段
２４・・・・画像レイアウト手段
２５・・・・描画制御手段
２６・・・・通信手段
２７・・・・案内情報記憶手段
２８・・・・表示手段
２９・・・・操作入力手段
３０・・・・経路探索サーバ
３０１・・・制御手段
３１・・・・通信手段
３２・・・・案内情報編集手段
３３・・・・経路探索手段
３４・・・・地図データベース
３５・・・・経路探索用ネットワークデータベース

Claims (15)

1. 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像または進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムにおいて、
   前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する画像レイアウト手段と、を備え、
   前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とするナビゲーションシステム。
2. 前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成されたことを特徴とする請求項１に記載のナビゲーションシステム。
3. 前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決定することを特徴とする請求項１または請求項２に記載のナビゲーションシステム。
4. 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする請求項１に記載のナビゲーションシステム。
5. 前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画像とは異なる画像を用いて表示することを特徴とする請求項１に記載のナビゲーションシステム。
6. 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像または進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置において、
   前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する画像レイアウト手段と、を備え、
   前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする携帯端末装置。
7. 前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成されたことを特徴とする請求項６に記載の携帯端末装置。
8. 前記画像レイアウト手段は、表示手段に表示される前記周辺画像に案内経路が含まれる場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決定することを特徴とする請求項６または請求項７に記載の携帯端末装置。
9. 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段は、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示することを特徴とする請求項６に記載の携帯端末装置。
10. 前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画像とは異なる画像を用いて表示することを特徴とする請求項６に記載の携帯端末装置。
11. 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバにネットワークを介して接続される携帯端末装置であって、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像を表示する表示手段と、表示手段に表示された周辺画像に案内経路画像または進行方向案内画像を表示する描画制御手段と、を備えた携帯端末装置の案内表示方法おいて、
    前記携帯端末装置は更に、前記撮像手段が周辺画像を撮像した際の携帯端末装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、案内経路画像または進行方向案内画像の表示位置を決定する画像レイアウト手段と、を備え、
    前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれるか否かを判別するステップと、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示するステップと、を有することを特徴とする経路案内表示方法。
12. 前記姿勢検出手段は、前記撮像手段が周辺画像を撮像した際の該撮像手段の向きを検出する方位検出手段と、前記撮像手段の水平方向に対する傾斜角を検出する傾斜角検出手段とを含んで構成され
    前記方位検出手段と傾斜角検出手段の検出出力に基づいて、画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれるか否かを判別するステップと、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が撮像すべき向きを案内する撮像方向案内画像を前記周辺画像上に表示するステップと、を有することを特徴とする請求項１１に記載の経路案内表示方法。
13. 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれるか否かを判別するステップにおいて、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれると判別した場合に、前記姿勢検出手段が検出した携帯端末装置の姿勢に基づいて、前記周辺画像上に表示する案内経路画像または進行方向案内画像の表示位置を決定するステップを更に有することを特徴とする請求項１１または請求項１２に記載の経路案内表示方法。
14. 前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれるか否かを判別するステップにおいて、前記画像レイアウト手段が前記表示手段に表示される該周辺画像に案内経路が含まれないことを判別した場合に、前記描画制御手段が、前記撮像手段が撮像すべき向きとして案内経路の存在する方向を案内する撮像方向案内画像を前記周辺画像上に表示するステップを更に有することを特徴とする請求項１１に記載の経路案内表示方法。
15. 前記撮像方向案内画像を前記周辺画像上に表示するステップは、前記描画制御手段が表示する前記撮像方向案内画像は、前記進行方向案内画像とは異なる画像を用いて表示する処理を含むことを特徴とする請求項１１に記載の経路案内表示方法。