JPWO2008068849A1 - ナビゲーションシステム、携帯端末装置および周辺画像表示方法 - Google Patents

Abstract

出発地から目的地までの案内経路を探索する経路探索手段（３３）を備えた経路探索サーバ（３０）と、現在位置を測位するＧＰＳ受信手段（２１）と、撮像手段（２２）と、撮像手段（２２）が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段（２８）と、を備えた携帯端末装置（２０）とから構成されるナビゲーションシステム（１０）において、携帯端末装置（２０）は更に、表示手段（２８）に表示された周辺画像の表示を制御する表示制御手段（２５）を備え、表示制御手段（２５）は、撮像手段（２２）の光軸中心が表示画面の中心より下方に位置するように前記撮像手段（２２）が撮像した周辺画像の表示位置を制御し、記撮像手段（２２）の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにした。

Description

本発明は、出発地から目的地までの案内経路を探索し、該案内経路を携帯端末装置の表示手段に表示された画像情報を用いて案内する通信型の歩行者ナビゲーションシステムに関するものであり、特に交差点などにおける周辺の風景を携帯端末装置の撮像手段により撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像や進行方向案内画像などを表示するに際して、ユーザが携帯端末装置の表示画面を観察するのに適した姿勢で保持した場合に、撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにした歩行者用のナビゲーションシステムに関するものである。

従来、見知らぬ土地において目的地となる場所を訪れる場合、地図帳等を頼りに当該地図に描かれた交通機関、道路やランドマーク及び住所を確認しながら到達していた。また、カーナビゲーションシステム（以後単にカーナビと言う）を搭載した自動車においては、該カーナビを起動して目的地を入力することによりナビゲーションシステムからモニタ画面に表示される案内や音声出力される案内（ナビゲーション情報）を得ながら目的地に到達していた。

上記カーナビは、ＧＰＳ（Global Positioning System：全地球測位システム）を利用したものであり、地球上を周回している複数のＧＰＳ衛星から送信されるＧＰＳ信号をＧＰＳアンテナで受信し、該ＧＰＳ信号に含まれる衛星位置や時計情報等を解析して位置の特定を行うものである。該複数のＧＰＳ衛星の個数は少なくとも４個以上必要である。ＧＰＳの単独測位精度は一般的に１０ｍ強であるが、ＤＧＰＳ（Differential GPS：ディファレンシャルＧＰＳ）を採用することにより５ｍ以下に向上する。特に、現在は一部の携帯電話にしか搭載されていないＧＰＳ受信機が、第三世代と称される携帯電話では全ての機種に搭載されるようになってきている。

このような測位機能を有する携帯端末の利用技術としては、種々の分野の技術が提案されており、例えば、自動車用のナビゲーション装置（カーナビ）を発展させ、携帯電話を端末として地図・経路情報を情報配信サーバ（経路探索サーバ）から配信する歩行者用の通信型ナビゲーションシステムが提案されている。

近年、携帯電話、ＰＨＳ等の携帯通信端末機器の性能は飛躍的に向上し、また、多機能化が進んでいる。特に通話機能の他にデータ通信機能が強化され、ユーザに対してインターネットを介した種々のデータ通信サービスが提供されている。ナビゲーションサービスもその１つであり、自動車の運転者のみならず携帯電話ユーザに対して現在位置から目的地までの経路案内を提供する通信ナビゲーションシステムが実用化されている。

一般的なナビゲーション装置、通信ナビゲーションシステムに使用される経路探索装置、経路探索方法は、例えば、下記の特許文献１（特開２００１−１６５６８１号公報）に開示されている。このナビゲーションシステムは、携帯ナビゲーション端末から出発地と目的地の情報を情報配信サーバに送り、情報配信サーバで道路網や交通網のデータから探索条件に合致した経路を探索して案内するように構成されている。探索条件としては、出発地から目的地までの移動手段、例えば、徒歩、自動車、鉄道と徒歩の併用などがあり、これを探索条件の１つとして経路探索する。

情報配信サーバは、地図データの道路（経路）をその結節点、屈曲点の位置をノードとし、各ノードを結ぶ経路をリンクとし、全てのリンクのコスト情報（距離や所要時間）をデータベースとして備えている。そして、情報配信サーバは、データベースを参照して、出発地のノードから目的地のノードに至るリンクを順次探索し、リンクのコスト情報が最小となるノード、リンクをたどって案内経路とすることによって最短の経路を携帯ナビゲーション端末に案内することができる。このような経路探索の手法としてはラベル確定法あるいはダイクストラ法と言われる手法が用いられる。上記特許文献１には、このダイクストラ法を用いた経路探索方法も開示されている。

一般的に通信型のナビゲーションシステムにおいて、端末装置が表示する地図情報や案内経路情報は、ネットワークを介して接続される経路探索サーバなどのサーバ装置からダウンロードする。経路探索サーバなどの情報配信サーバから地図情報や案内経路の配信を受けた端末装置は液晶表示装置などの表示手段を備えており、表示手段に地図および案内経路を表示するとともに歩行者や自動車の現在位置（端末装置の現在位置）を案内経路上に表示して歩行者や自動車を目的地まで案内する。

一般的に表示手段に表示する地図は平面図、すなわち、２次元図形の表示であるが、表示画像に遠近感をもたせた平面鳥瞰図やランドマークや建物の様子を視認し易くするため建物を擬似的に３次元的表現した鳥瞰図を表示する方法や、道路や建物をＺバッファ法により３次元ポリゴン画像として表示する方法も提案されている。

例えば、下記の特許文献２（特開２００１−２７５３５号公報）には、建物や道路を立体的に表示するようにした地図表示装置が開示されている。この特許文献２に開示された地図表示装置においては、３次元地図表示を行う際に、道路の画像に経路案内線の画像を影をつけて立体的に表示するように構成している。また、経路案内線が建物に隠れる位置関係となる場合、その経路案内線の重複部分について重複しない部分と色を変えて表示する。特に、ＶＲＡＭ（ビデオＲＡＭ）上で経路案内線の表示色と建物の表示色とを画素単位に互い違いに設定する半透過の手法で描画し、経路案内線と建物との相対的な位置関係を明確にして経路案内線の視認性を向上するようにしている。

上記のような表示を行うため、特許文献２に開示された地図表示装置においては、地図データには、建物の形状データと高さ情報が記憶され、また、立体交差などの道路の形状データが記憶されている。この地図データに基づいて、建物や道路の立体交差部を描画部に３次元的に描画し、車両が進行し経路案内すべき位置に来ると描画部に所望の画像を描画し、音声出力部に所定の音声を発声させて、使用者を目的地へ案内するように構成している。

一般に、ポリゴンデータを用いた地図の３次元的な表示は次のように行われる。すなわち地図に表示するそれぞれの建物を構成する各面をポリゴンデータで準備しておき、地図データとともに建物のポリゴンデータを地図表示装置に送る。地図表示装置は地図を表示するとともにその地図上に位置する各建物を、ポリゴンデータを使用して３次元的に表示するものである。この時、建物をよりリアルに表示するため、建物の各面に更にテクスチャーを張り付けて表示する。テクスチャーは建物の面の模様を示すデータであり、建物の窓の形状や、壁面の模様などである。

例えば、下記の特許文献３（特開２０００−２５９８６１号公報）には、ポリゴンデータにテクスチャーを貼り付けて描画するようにしたテクスチャーマッピング装置の発明が開示されている。この特許文献３に開示された発明は、ポリゴンにテクスチャーを正確かつ効率良く貼り付け、その後の編集を容易にするものである。このテクスチャーマッピング装置は、ワイヤフレーム上のＭ行Ｎ列に配列された四角形のポリゴンＰ１〜Ｐ４とそれに貼り付けるテクスチャーを指定する。指定された複数のポリゴンＰ１〜Ｐ４の辺の長さＬｐ１〜Ｌｐ１２の比に応じて、貼り付け対象のテクスチャーを分割する。分割されたテクスチャーを、対応するポリゴンに、ポリゴンの向きを考慮して貼り付けるように構成したものである。

このようにポリゴンのデータとテクスチャーのデータを用いて建物を３次元表示する場合、建物の各面を示すポリゴンデータと、この面に張り付けるべきテクスチャーデータは１対１に対応するデータであり、ポリゴンデータとともにテクスチャーデータも予めサーバのデータベースに蓄積され、所定の範囲の地図データとともに、その地図上に表示すべき建物のポリゴンデータ、テクスチャーデータが地図表示装置に送信される。

このように地図を立体的に表示する方法によれば、端末装置の利用者は移動中に、実際に観察している風景に近い表示画像を見ることができるので、右折や左折場所、その進行方向を容易に把握できるという利点がある。しかしながらそのためには、地図を立体的に表示するため、平面的な地図データとは別に３次元表示のための地図データが必要になる。３次元地図データは平面地図データに比べデータ量も多く、地図データを記憶する記憶装置として大容量の記憶装置が必要になる。また、通信型のナビゲーションシステムにおいては、端末装置と経路探索サーバとの間の通信負荷が大きくなり、通信時間も長くなる。このため、多数の端末装置にサービスを提供する経路探索サーバには十分に高い処理能力が要求されるなど種々の問題点が生じる。

このような問題点を解消するため、車載用ナビゲーション装置において進行方向の風景をＣＣＤカメラなどの撮像手段を用いて撮影し、撮影したこの周辺画像を表示画面に表示し、この周辺画像に右折や左折の進行方向案内画像を重ねて表示したり、案内経路を表示したりするように構成したナビゲーション装置が下記の特許文献４（特開２００４−２５７９７９号公報）や特許文献５（特開２００６−１６２４４２公報）に開示されている。

すなわち、特許文献４に開示されたナビゲーション装置は、進行方向の風景を撮像する撮像手段と、該撮像手段によって撮像された画像を表示する表示手段と、を備え、経路検出手段が検出した経路上の分岐点と現在位置検出手段が検出した現在位置とが所定距離以下になると、撮像手段が撮像した画像に分岐点での進むべき方向を案内する画像を重畳して表示手段に表示するように構成されたものである。

また、特許文献５に開示されたナビゲーション装置は、案内情報特定部は、案内情報を提示する地図上の位置と、提示する案内情報の種類を特定する案内情報特定部と、画像認識などにより、自車の周辺にある障害物（歩行者や車両等）の位置と種類とを検知する障害物検知部と、案内情報の表示位置として検知した障害物と重ならない位置を求める表示位置決定部と、車両のフロントガラス内の決定された位置に、あるいは、前方画像を表示するディスプレイ内の決定された位置に、案内情報を出力する画像出力部と、を備え、車両から見える実風景に経路進行方向を重ね合わせて表示するものである。

また、歩行を対象としたナビゲーションシステムにおいても、下記の特許文献６（特開２００５−２４１３８５号公報）に、カメラによって撮影した実際の周辺画像に経路方向を重ね合わせて表示する携帯端末装置およびナビゲーション装置が開示されている。この携帯端末装置は、利用者（目的地案内装置）の現在位置を基準としてデジタルカメラのスクリーンを画定し、このスクリーンに対して目的地に対応する目的地方向座標を定め、所定の基準点（スクリーン下辺中心）を基準として、スクリーン上でカメラの撮影画像に重ねて目的地方向座標に対する指示表示を行うように構成されたものである。

携帯端末に設けたＣＣＤカメラなど撮像手段により周辺の風景を撮像し、携帯端末の表示画面にこの周辺画像を表示する際、撮像手段の光軸が水平方向と並行になり、且つ表示画面が水平方向に垂直な方向になるように携帯端末の姿勢を調整して撮像することが必要になる。このような電子光学式視覚システムにおける姿勢調整の方法が、例えば、下記の特許文献７（特許第３７０００２１号公報）に開示されている。

この特許文献７に開示された電子光学式視覚システムは、コンピュータシステムに予め用意された地図画像などのイメージと、実際の景色のイメージを撮影し、実際の景色のイメージから不所望の対照物を取り除き、コンピュータシステムに用意されたイメージと置き換えるようにしたものである。このシステムは、実際の背景のイメージとコンピュータにより生成されたイメージとからの増補イメージを生成するため、増補イメージの上下左右の方向が、景色の上下左右に直接対応し、かつ前記イメージの平面に垂直な方向が利用者から前記実際の景色への方向を向くように、撮像手段の姿勢を調整するものである。

特開２００１−１６５６８１号公報（図１、図２） 特開２００１−２７５３５号公報（図１、図４、段落［００５４］） 特開２０００−２５９８６１号公報（図２、図８） 特開２００４−２５７９７９号公報（図４） 特開２００６−１６２４４２号公報（図４、図５） 特開２００５−２４１３８５号公報（図９） 特許第３７０００２１号公報（図３、請求項１）

ところで、カメラを搭載した携帯電話などをナビゲーションシステムの端末装置として使用して、表示手段にカメラで撮像した周辺画像を表示し、その周辺画像上に経路や進行方向を表示する場合、携帯電話の表示画面が小さいために撮像方向がずれると案内すべき経路が画面内に表示されないこともある。このような問題を解消するため、本願の発明者は、国際特許出願ＰＣＴ／ＪＰ２００６／３２０４６１号（以下、先願１という）に「ナビゲーションシステム、携帯端末装置および経路案内方法」の発明を出願している。

すなわち、この先願１の発明は、出発地から目的地までの案内経路を探索し、該案内経路を表示手段に表示された画像情報を用いて案内する通信型の歩行者ナビゲーションシステムに関するものであり、特に交差点などにおける周辺の風景を撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像や進行方向案内画像を表示するに際して、経路画像が周辺画像上に表示できない場合に経路画像を表示できる撮像方向を案内するようにした歩行者ナビゲーションシステムである。

先願１の歩行者用ナビゲーションシステムにおいては、撮像手段を備えた携帯電話を端末装置とするものであり、利用者が交差点などで周辺の風景を撮像する場合、上記特許文献７に開示された電子光学式視覚システムと同様に、カメラの光軸を水平方向に合わせて撮像するようにされる。

ところで、携帯電話などの端末装置において、カメラなどの撮像手段の光軸を水平方向に合わせてシャッター操作する場合、カメラの光軸と表示画面の垂直方向の軸は並行になる位置関係にあるのが一般的であることから、携帯電話の表示手段は撮像手段の光軸である水平方向と直角な方向、すなわち、垂直方向を向く。この姿勢は、通常、携帯電話の表示画面を観察する方向（表示画面を垂直に立てず、垂直方向から３０°〜６０°傾けて観察する）ではなく、利用者にとって携帯電話を不自然な姿勢にして撮像しなければならないという問題点があった。

これを回避するために、携帯端末装置の表示画面を立てることなく、水平方向に傾けて携帯端末装置を保持すると、撮像手段の光軸が水平方向から下向きになり、撮像した周辺画像の水平方向が表示画面の垂直方向に向かず、不自然な画像表示になってしまうという問題点が生じる。

本願の発明者は、上記の問題点を解消すべく種々検討を重ねた結果、撮像手段の光軸方向と表示手段の表示面鉛直方向が概ね平行である撮像画像表示光学系を有し、実写映像（撮像手段で撮像した周辺画像）を用いるナビゲーション装置において、表示手段に表示する実写映像は、撮像画像の光軸中心が表示画面の中心より下方に位置するように表示制御し、撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようになせば上記の問題点を解消し得ることを想到して本発明を完成するに至ったものである。

すなわち、本発明は、交差点などにおける周辺の風景を携帯端末装置の撮像手段により撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像を表示するに際して、ユーザが携帯端末装置の表示画面を観察するのに適した姿勢で保持した場合に、撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにした歩行者用のナビゲーションシステムを提供することを目的とするものである。

前記課題を解決するために、本願の第１発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムにおいて、
前記携帯端末装置は更に、表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにしたこと特徴とする。

本願の第１発明において、前記周辺画像を表示する場合、前記表示制御手段は、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するように構成することが好ましい。

また、本願の第１発明において、前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトするように構成することが好ましい。

また、本願の第２発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバとネットワークを介して接続される携帯端末装置において、
前記携帯端末装置は、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、前記表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、
該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにしたこと特徴とする携帯端末装置。

本願の第２発明において、前記周辺画像を表示する場合、前記表示制御手段は、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するように構成することが好ましい。

また、本願の第２発明において、前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトするように構成することが好ましい。

また、本願の第３発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムを用いた周辺画像表示方法において、
前記携帯端末装置は更に、表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示する表示ステップを有すること特徴とする。

本願の第３発明において、前記表示ステップは、前記周辺画像を表示する場合、前記表示制御手段が、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示する処理を含むように構成することが好ましい。

また、本願の第３発明において、前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトするシフトステップを更に有するように構成することが好ましい。

本願の第１発明によれば、交差点などにおける周辺の風景を携帯端末装置の撮像手段により撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像や進行方向案内画像または興味対象場所を示すアイコン画像などを表示するに際して、ユーザが携帯端末装置の表示画面を観察するのに適した姿勢で保持した場合に、撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示することができるようになる。

また、本願の第２発明によれば、本願の第１発明にかかるナビゲーションシステムを構成する携帯端末装置を提供することができるようになる。また、本願の第３発明によれば、本願の第１発明にかかるナビゲーションシステムを用いた周辺画像表示方法を提供することができるようになる。

本発明の実施例にかかるナビゲーションシステムの構成を示すブロック図である。 携帯端末装置の姿勢と撮像手段の光軸および撮像角度を示す模式図である。 画像案内モードにおいて撮像手段により撮像した周辺画像を表示手段に表示した場合の表示画像の一例を示す図である。 撮像手段の光軸が水平方向を向くように携帯端末装置を保持した状態で、表示手段に表示した周辺画像の範囲内に案内経路が存在する場合の表示画像の例を示す図である。 携帯端末装置の姿勢と表示装置の表示画面および撮像手段の光軸の関係を示す模式図である。 図５の位置関係で周辺画像を撮像した場合に表示画面に表示される周辺画像の位置を示す表示画像の図である。 携帯端末装置の表示画面を観察する場合の自然な保持姿勢、視線方向を示す模式図である。 撮像手段の撮像可能な画角と、撮像手段によって撮像された周辺画像が表示手段の表示画面に表示される位置との関係を示す模式図である。 本発明にかかる携帯端末装置の実施例において撮像手段の光軸を水平方向から下方向に傾けた場合の撮像手段の画角と撮像された周辺画像の表示領域の関係を示す模式図である。 図９における周辺画像の表示領域以外の領域を示す表示領域の模式図である。 撮像手段の防振機構を利用した表示画像シフトの概念を説明するための模式図である。 経路探索のための道路ネットワークデータの概念を説明するための模式図である。 交通機関を利用した経路探索のための交通ネットワークデータの概念を説明するための模式図である。 地図データの構成を示す図である。

符号の説明

１０・・・・ナビゲーションシステム
１２・・・・ネットワーク
２０・・・・携帯端末装置
２０１・・・制御手段
２１・・・・ＧＰＳ受信手段
２２・・・・撮像手段
２３・・・・姿勢検出手段
２４・・・・画像レイアウト手段
２５・・・・表示制御手段
２６・・・・通信手段
２７・・・・案内情報記憶手段
２８・・・・表示手段
２９・・・・操作入力手段
３０・・・・経路探索サーバ
３０１・・・制御手段
３１・・・・通信手段
３２・・・・案内情報編集手段
３３・・・・経路探索手段
３４・・・・地図データベース
３５・・・・経路探索用ネットワークデータベース

以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。但し、以下に示す実施例は、本発明の技術思想を具体化するためのナビゲーションシステムを例示するものであって、本発明をこのナビゲーションシステムに特定することを意図するものではなく、特許請求の範囲に含まれるその他の実施形態のナビゲーションシステムにも等しく適用し得るものである。

図１は、本発明の実施例にかかるナビゲーションシステムの構成を示すブロック図である。ナビゲーションシステム１０は、図１に示すようにインターネットなどのネットワーク１２を介して接続される携帯端末装置２０と経路探索サーバ３０を備えて構成されている。経路探索サーバ３０は、経路探索手段３３、地図データを蓄積した地図データベース３４、経路探索用の道路ネットワークデータや公共交通機関のネットワークデータである交通ネットワークデータを蓄積した経路探索用ネットワークデータベース３５を備えている。

経路探索サーバ３０はまた、制御手段３０１、通信手段３１、案内情報編集手段３２を備えている。制御手段３０１は、図示してはいないがＲＡＭ、ＲＯＭ、プロセッサを有するマイクロプロセッサであり、ＲＯＭに格納された制御プログラムにより各部の動作を制御する。通信手段３１は、ネットワーク１２を介して携帯端末装置２０と通信するためのインターフェースである。

経路探索サーバ３０は、携帯端末装置２０から現在位置、目的地、移動手段（自動車、徒歩、交通機関あるいは徒歩と交通機関併用など）などの経路探索条件を含む経路探索要求があると、経路探索用ネットワークデータベース３５を参照して経路探索条件に合致した案内経路を探索する。経路探索の結果得られた案内経路のデータは、地図データベース３４から選択した携帯端末装置２０の現在位置を含む所定範囲の単位地図データ（緯度・経度で所定の大きさのエリアに区分された地図データ）とともに案内情報編集手段３２で携帯端末装置２０に送信するための案内情報（データ）に編集される。編集された案内情報は携帯端末装置２０に配信される。

一方、携帯端末装置２０は、制御手段２０１、ＧＰＳ受信手段２１、撮像手段２２、姿勢検出手段２３、画像レイアウト手段２４、表示制御手段２５、通信手段２６、案内情報記憶手段２７、表示手段２８、操作入力手段２９などを備えて構成されている。制御手段２０１は、図示してはいないがＲＡＭ、ＲＯＭ、プロセッサを有するマイクロプロセッサであり、ＲＯＭに格納された制御プログラムにより各部の動作を制御する。通信手段２６は、ネットワーク１２を介して経路探索サーバ３０と通信するためのインターフェースである。

操作入力手段２９は、数字キーやアルファベットキー、その他の機能キー、選択キー、スクロールキーなどからなる操作・入力手段ための手段であり、出力手段である表示手段２８に表示されるメニュー画面から所望のメニューを選択し、あるいは、キーを操作して種々の入力操作を行うものである。従って、表示手段２８は操作入力手段２９の一部としても機能する。

利用者が経路探索サーバ３０に経路探索を依頼しようとする場合、携帯端末装置２０において操作入力手段２９を操作し、表示手段２８に表示されるサービスメニューから経路探索を選択し、現在位置、目的地、移動手段（自動車、徒歩、交通機関あるいは徒歩と交通機関併用など）などの経路探索条件を入力する。入力された経路探索条件は経路探索サーバ３０への配信要求に編集され、通信手段２６を介して経路探索サーバ３０に経路探索要求として送信される。

携帯端末装置２０は経路探索サーバ３０から経路探索の結果である案内情報を受信すると、この案内情報を案内情報記憶手段２７に一時記憶する。通常、この案内情報に基づいて、携帯端末装置２０の現在位置を中心として地図画像、案内経路の画像や興味対象場所を示すアイコン画像などが表示手段２８に表示される。この際、現在位置マークが地図画像上の該当位置に表示される。現在位置が案内経路上の交差点ノードなどに接近すると、当該交差点ノードおける右折、左折、直進などの進行方向を指示する進行方向案内画像が表示される。また、携帯端末装置２０がスピーカなどの出力手段を備える場合、交差点ノードまでの距離や進行方向を音声により案内する音声案内を提供するように構成できる。

上記のような地図表示は通常の案内モードの場合である。本ナビゲーションシステム１０は更に、撮像手段２２により周辺画像を撮像し、その周辺画像を表示手段２８に表示するとともに案内経路画像や進行方向案内画像を表示して案内する画像案内モードを備えている。以下この画像案内モードを実写モードということとする。実写モードへの切替えは後述するように姿勢検出手段２３が携帯端末装置２０の姿勢を検出し、所定の状態の場合に自動的に切替えられるようにすることが好ましい。もちろん操作入力手段２９によって利用者が切替えることができるようにしてもよい。

携帯端末装置２０において、撮像手段２２（例えばＣＣＤカメラ）の焦点距離（ＺＯＯＭ）、表示手段２８の画面サイズは所定の設定値に固定される。ＧＰＳ受信手段２１は所定の時間間隔で携帯端末装置２０の現在位置を測位するから、撮像手段２２が操作され、周辺画像を撮像した位置を特定することができる。ＧＰＳ受信手段２２による測位間隔は、携帯電話を携帯端末装置２０とする場合、例えば１秒おき〜５秒おきである。

利用者が携帯端末装置２０を前方にかざすと、撮像手段２２の光軸が水平から所定の角度以内になったときに、姿勢検出手段２３がこれを検出して自動的に撮像手段２２のシャッターが作動して光軸方向の周辺画像（静止画像）が撮影される。姿勢検出手段２３は方位センサ、傾斜センサで構成されるから、光軸の向き（方位）は方位センサ出力から得ることができ、光軸と水平方向のなす角度は傾斜センサ出力により得ることができる。光軸の向きと、傾斜角は、撮像手段２２により撮像した周辺画像と共に記憶される。一般的に撮像手段２２の撮影角度はある程度の角度を持っており、撮像された周辺動画像は表示範囲の外になる部分も十分広範囲に撮影される。

図２は、撮像手段２２の姿勢と光軸および撮像角度を示す模式図である。利用者Ｕがある地点Ｐにおいて周辺画像の撮像のため携帯端末装置２０を前方にかざすと、姿勢検出手段２３が撮像手段２２の光軸ＡＸと水平方向のなす角度を検出し、所定の角度範囲内にあると自動的にシャッターが作動して前方の画像が撮像される。この時の光軸ＡＸに対する垂直方向の撮像角度はαである。
撮像手段２２は所定の焦点距離で周辺画像を撮像するから、撮像地点Ｐから前方の各地点Ｐ１、Ｐ２、Ｐ３はそれぞれ光軸ＡＸとなす角度Θ１、Θ２、Θ３から算出でき、表示画像のどの位置が撮像位置から何ｍ先の地点にあたるかは、上記の角度から幾何学的に計算することができる。すなわち、図２において地点Ｐ１は撮像地点Ｐから３m前方であり、光軸とのなす角度Θ１である。地点Ｐ２は撮像地点Ｐから１０m前方であり、光軸とのなす角度Θ２である。また地点Ｐ３（図示せず）は撮像地点Ｐから３０m前方であり、光軸とのなす角度Θ３である。

図３は、このようにして撮像手段２２により撮像した周辺画像を表示手段２８に表示した場合の表示画像の一例を示す図である。表示画面の中心（図３の線Ｘ、Ｙの交点）が光軸ＡＸと一致しかつ水平方向になるように周辺画像が表示される。図２で説明したように撮像地点Ｐから前方の地点Ｐ１（３ｍ先）の画像は光軸とのなす角度Θ１であり表示画像の最下部にあたる。地点Ｐ２は（１０ｍ先）の画像は光軸とのなす角度Θ２であり表示画像に示す線Ｌ１の位置にあたる。同様に２０ｍ先の地点は線Ｌ２の位置、３０m先の地点は線Ｌ３の位置にあたる。

このようにすれば、案内経路が撮像地点から前方何ｍ先にあるかによって表示画像のどの位置に案内経路画像を表示するか、その表示位置を決定することができ、常に安定した画像で経路を案内することができ、表示位置決定の演算処理も簡便になる。すなわち、周辺画像の撮像すなわち、静止画取得時の位置情報（撮像時の現在位置）に基づいて案内経路の位置、方向を求め、光軸ＡＸの方向に対して案内経路を表示画像上の所定の位置に描画する。図４は、光軸ＡＸと案内経路の進行方向が同じであり、画面に表示された周辺画像の範囲内に案内経路が存在し、撮像地点から３０ｍ先で右折する案内経路画像ＧＲＩを周辺画像に重ね合わせて描画した表示画像例を示す図である。画像レイアウト手段２４は姿勢検出手段２３の検出出力に基づいて以上の演算を行って案内経路画像ＧＲＩの表示位置を決定する。

ところで、この場合、携帯端末装置２０は光軸を水平にして保持した状態で撮像手段２２により進行方向の周辺画像を撮像した場合である。すなわち、図５の模式図に示すように、携帯端末装置２０の表示手段２８の表示画面の垂直線（矢印Ｆ）が、撮像手段２２の光軸方向（矢印Ｅ）および利用者の視線方向（矢印Ｇ）と一致するように携帯端末装置２０を保持して撮像するものである。つまり、携帯端末装置２０の表示画面が垂直になるような姿勢（光軸が水平になるような姿勢）で利用者の目の位置に撮像手段２２が来るようにして周辺画像を撮像する。

このようにすれば、表示手段２８の表示画面に表示される周辺画像はその水平方向が視線の方向と一致し、図６に示すように表示画面３００の中央に実際に観察している周辺画像３０１が表示され、案内経路の方向を撮像していれば、案内経路ＲＴが周辺画像３０１の上に重ね合わせて表示される。この画像の重ね合わせは、画像レイアウト手段２４により算出された周辺画像位置と案内経路位置によって制御される。

しかしながら、このような姿勢で携帯端末装置２０を保持するのは利用者にとって不自然である。通常、利用者が携帯端末装置２０の画面を観察する場合、図７に示すように携帯端末装置２０を、視線方向を（矢印Ｇ）を水平方向から下向きに３０°〜６０°傾けて表示手段２８の画面を観察するような姿勢で携帯端末装置２０保持するのが自然な状態である。例えば、ナビゲーションの案内を受ける際に携帯端末装置２０を垂直に保持することはない。携帯端末装置２０を垂直に構えると、手も疲れ、また目の前に携帯端末装置２０があると、いくら画面に周辺の風景が映っている（表示されている）と言っても実際の視野をさえぎっているので、歩行し難いという問題を生じる。

ところで、図７に示すような姿勢で携帯端末装置２０を保持すると、撮像手段２２の光軸（図７、矢印Ｇ）が水平方向（矢印Ｈ）にならないため、表示手段２８の表示画面に表示される周辺画像が水平にならず不自然な画像として表示されることになる。撮像手段２２は、本来はカメラであるから、撮像レンズの光軸と、表示画面鉛直方向はほぼ平行でないと撮像し難い。従って、周辺画像の撮像にカメラを流用する以上、従来は、上記特許文献７に示すシステムのように、レンズ光軸と表示画面鉛直方向は暗黙のうちに平行とするのが一般的である。以下この姿勢を従来の実写ナビといい、本発明における携帯端末装置の姿勢（携帯端末装置２０を傾けて保持した状態）で保持した場合を本発明の実写ナビということとする。

本発明においては、表示制御手段２５が撮像手段２２で撮像した周辺画像の表示画面上の表示位置を、撮像した画像の光軸中心が表示画面の中心より下方に位置するように制御し、撮像手段の光軸方向が水平より下向きであっても表示手段２８の表示画面には周辺画像の水平方向を表示することができるようにしたものである。

図８は、撮像手段２２の撮像可能な画角と、撮像手段２２によって撮像された周辺画像が表示手段２８の表示画面に表示される位置との関係を示す模式図である。例えば、携帯端末装置２０が携帯電話であり、撮像手段２２が携帯電話に内蔵されたカメラ部として、光軸と表示画像の関係を説明すると、携帯端末装置２０にはＣＣＤカメラなどの撮像手段２２があって、その画素サイズで表示画面の最大有効画素サイズが決まっている。（例えば、１６００ドットＸ１２００ドットなど）。通常は撮影レンズのイメージサークルはそれ以上に大きいので、有効画素のどの部分でも映像データは得られる。また一般的には、撮像レンズの光軸は、最大有効画素サイズの中心に位置する。

図８には、まず撮像手段の最大有効画素サイズをすべて使ったときの最大画角ΘＭＡＸが示されている。携帯電話のカメラもズーム機能を有するので、この最大有効画素サイズをすべて使ったときがズームでは広角端である。従来の実写ナビの場合には、広角端では広すぎる（遠方の画像が小さすぎる）ので、若干画素を絞り込んだ従来ナビ画面２８１の領域を用いている。当然、撮像手段２２で撮像する画角もΘＡで示されるように、その分だけ狭くなって、標準的な従来のナビゲーションにおける画角に制御される。

それに対して本発明の実写ナビでは、従来の実写ナビ画面２８１の表示領域を被写体側で上側にシフトした画素領域２８２、すなわち、本発明の実写ナビ画角をΘＢに設定すると、画像は表示画面の下側にシフトして表示される。（図８に示す撮像手段では、像の天地が逆転しているので、図８では下寄りの領域２８２が本発明の実写ナビ画面となる）この時、撮像手段２２の光軸は水平よりも下向きに傾斜した方向になっている。

すなわち、本発明の実写ナビ画面の領域２８２を画面に表示すれば、図９のような幾何的構成が成立する。図９において、画角ΘＢが本発明によりシフトされた画角であり、表示制御手段２５は、この画角ΘＢにより撮像された周辺画像を表示領域２８２の表示位置に表示すれば、撮像手段２２の光軸を水平方向に対して下方向、すなわち、図７に示すように水平方向（矢印Ｈ方向）を見る場合に、携帯端末装置２０を画面がシフトした分だけ傾けて持つことができて、従来の実写ナビよりも傾けて低い位置に携帯端末装置２０を構えて、視線（図７、矢印Ｇ）を下ろすことができるようになる。

このような表示制御は、表示制御手段２５によって図８、図９を参照して説明したように行われる。例えば、前記周辺画像を表示する場合、表示制御手段２５が、前記撮像手段を構成する撮像素子の画素領域を、表示手段２８に地図画像を表示する通常の画素領域２８１に比較して、異なる画素領域、すなわち、表示画面の下方にシフトした画素領域２８２を設定することにより、前記撮像手段２２の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段２２の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示することができる。

上記のように表示制御すれば、上記特許文献７のシステムのように、表示画面の垂線を被写体の方向に向けず、表示画面を垂直方向に対して傾けて携帯端末装置を保持しても、前方の被写体を撮像して表示することができるようになる。もしも、十分な傾きを確保するためにシフト量を大きくとった場合に、有効画素の領域２８０に不足が生ずれば、図１０のように画素が無い斜線部２８３をナビゲーションのための様々なマークや選択ボタン画像の表示に用いる領域とすることができる。

なお、本発明においては、撮像レンズの物理的な光軸を中心とせず、周辺に向けて偏った撮像画像を用いるので、撮像した周辺画像は厳密には歪んだ画像となるが、その歪も画角を傾ける量があらかじめわかっているので、表示制御手段２５により周辺画像（実写画像）にその方向にある案内対象物の情報（案内経路情報）を重ね合わせて表示することができる。

なお、上記実施例においては、周辺画像を撮像して案内経路とともに表示する実写ナビモードの場合、表示制御手段２５が、表示領域をシフトして、通常のナビゲーションにおける表示領域と異なる表示領域に周辺画像を表示することにより携帯端末装置２０を傾けて、視線方向を下向きにしても、前方の画像を撮像できるようにした例を説明した。

ところで、カメラによっては撮像時の端末装置の揺れ（手振れ）を防止するために防振光学系を備えるものもあって、この場合には防振光学系（主に撮像レンズに防振機構が設けられる）を用いて、本発明の実写ナビにおいて強制的にカメラ位置を上方向にβだけシフトして撮像画像をシフトするようにしてもよい。すなわち、図１１に示すように撮像レンズ１１１を上方にシフト（ライズ）すれば、撮像素子上で下方の領域２８５のように撮像画像をシフトしたのと同じ効果がある。

但し、防振光学系のシフト量βは一般的には小さいので、この方法単独で効果を出すのは難しく、前述の先に説明した実施例の撮像素子上の領域シフト（図８参照）と組み合わせてさらに効果をあげることができる。また、防振光学系の動きに限らず、ティルト機構を備えた光学系があればそれを用いても良い。

次に、経路探索サーバ３０における経路探索について説明する。経路探索用ネットワークデータベース３５は、道路ネットワークデータと交通ネットワークデータを備えている。これらのネットワークデータは以下のように構成されている。例えば、道路が図１２に示すように道路Ａ、Ｂ、Ｃからなる場合、道路Ａ、Ｂ、Ｃの端点、交差点、屈曲点などをノードとし、各ノード間を結ぶ道路を有向性のリンクで表し、ノードデータ（ノードの緯度・経度）、リンクデータ（リンク番号）と各リンクのリンクコスト（リンクの距離またはリンクを走行するのに必要な所要時間）をデータとしたリンクコストデータとで構成される。

すなわち、図１２において、Ｎｎ、Ｎｍがノードを示し、Ｎｍは道路の交差点を示している。各ノード間を結ぶ有向性のリンクを矢印線（実線、点線、２点鎖線）で示している。リンクは、道路の上り、下りそれぞれの方向を向いたリンクが存在するが、図１２では図示を簡略化するため矢印の向きのリンクのみを図示している。

このような道路ネットワークのデータを経路探索用のデータベースとして経路探索を行う場合、出発地のノードから目的地のノードまで連結されたリンクをたどりそのリンクコストを累積し、累積リンクコストの最少になる経路を探索して案内する。すなわち、図１２において出発地をノードＡＸ、目的地をノードＣＹとして経路探索を行う場合、ノードＡＸから道路Ａを走行して２つ目の交差点で右折して道路Ｃに入りノードＣＹにいたるリンクを順次たどりリンクコストを累積し、リンクコストの累積値が最少になる経路を探索して案内する。

図１２ではノードＡＸからノードＣＹに至る他の経路は図示されていないが、実際にはそのような経路が他にも存在するため、ノードＡＸからノードＣＹに至ることが可能な複数の経路を同様にして探索し、それらの経路のうちリンクコストが最少になる経路を最適経路として決定するものである。この手法は、例えば、ダイクストラ法と呼ばれる周知の手法によって行われる。

これに対して、交通機関の経路探索のための交通ネットワークデータは以下のように構成されている。例えば、図１３に示すように交通路線Ａ、Ｂ、Ｃからなる場合、各交通路線Ａ、Ｂ、Ｃに設けられた各駅（航空機の路線においては各空港）をノードとし、各ノード間を結ぶ区間を有向性のリンクで表し、ノードデータ（緯度・経度）、リンクデータ（リンク番号）をネットワークデータとしている。図１３において、Ｎｎ、Ｎｍがノードを示し、Ｎｍは交通路線の乗り継ぎ点（乗換え駅など）を示し、各ノード間を結ぶ有向性のリンクを矢印線（実線、点線、２点鎖線）で示している。リンクは、交通路線の上り、下りそれぞれの方向を向いたリンクが存在するが、図１３では図示を簡略化するため矢印の向きのリンクのみを図示している。

しかしながら、交通ネットワークは道路ネットワークと比べリンクコストが基本的に異なる。すなわち、道路ネットワークではリンクコストは固定的、静的なものであったが、交通ネットワークでは、図１３に示すように交通路線を運行する列車や航空機（以下個々の列車や航空機などの各経路を交通手段と称する）が複数ある。このような交通ネットワークでは、各交通手段毎にあるノードを出発する時刻と次のノードに到着する時刻とが定まっており（時刻表データ、運行データで規定される）、かつ、個々の経路が必ずしも隣接するノードにリンクしない場合がある。例えば、急行と各駅停車の列車のような場合である。このような場合には同じ交通路線上に異なる複数のリンクが存在することになり、またノード間の所要時間が交通手段により異なる場合もある。

図１３に例示する交通ネットワークにおいては、交通路線Ａの同じリンクに複数の交通手段（経路）Ａａ〜Ａｃ・・・、交通路線Ｃに複数の交通手段（経路）Ｃａ〜Ｃｃ・・・が存在することになる。従って、交通機関の運行ネットワークは、単純な道路ネットワークと異なり、ノード、リンク、リンクコストの各データは交通手段（個々の航空機や列車などの経路）の総数に比例したデータ量になる。このため交通ネットワークのデータは道路ネットワークのデータ量に比べて膨大なデータ量になる。従って、それに応じて、経路探索に要する時間も多くの時間が必要になる。

このような交通ネットワークデータを用いて、ある出発地からある目的地までの経路を探索するためには、出発地から目的地まで到達する際に使用（乗車）できる全ての交通手段を探索して探索条件に合致する交通手段を特定する必要がある。

例えば、図１３において、出発地を交通路線ＡのノードＡＸとしてある特定の出発時刻を指定して、交通路線ＣのノードＣＹを目的地とする経路探索を行う場合、交通路線Ａ上を運行する交通手段Ａａ〜Ａｃ・・・のうち出発時刻以降の全ての交通手段を順次出発時の経路として選択する。そして交通路線Ｃへの乗り継ぎノードへの到着時刻に基づいて、交通路線Ｃ上を運行する各交通手段Ｃａ〜Ｃｃ・・・のうち、乗り継ぎノードにおいて乗車可能な時刻以降の交通手段の全ての組み合わせを探索して各経路の所要時間や乗り換え回数などを累計して案内することになる。

このようなネットワークデータを参照して探索された案内経路はベクトル地図データとともに携帯端末装置２０に配信される。地図データベース３４に蓄積される地図データは図１４に示すように所定の緯度・経度範囲で区分された単位地図データから構成されている。地図データは図１４に示すように所定の緯度、経度単位で地図エリアが分けられ、メッシュ状の単位地図データＭ１１〜Ｍ３３のように構成されている。携帯端末装置２０に配信される場合は、携帯端末装置２０の現在位置ＰＰを含む単位地図データＭ２２を中心にして、その上下方向、左右方向、斜め方向に隣接する単位地図データＭ２１、Ｍ２３、Ｍ１２、Ｍ３２、Ｍ１１、Ｍ１３、Ｍ３１、Ｍ３３の合計９つの単位地図が配信される。

携帯端末装置２０が移動して地図データが不足する場合は、携帯端末装置２０の移動方向を判別して経路探索サーバ３０は不足分の単位地図データを配信する。携帯端末装置２０が特定の地点やＰＯＩ（興味対象場所：Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）の位置を指定して地図データの配信要求をした場合も同様である。案内経路のデータはこのベクトル地図データとともに携帯端末装置２０に配信される。携帯端末装置２０は、経路探索サーバ３０からこのようにして地図データおよび案内経路のデータを受信して、地図および案内経路を表示手段２８に表示する。

以上、詳細に説明したように、本発明によれば、交差点などにおける周辺の風景を携帯端末装置の撮像手段により撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像や進行方向案内画像または興味対象場所を示すアイコン画像などを表示するに際して、ユーザが携帯端末装置の表示画面を観察するのに適した姿勢で保持した場合に、撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにした歩行者用のナビゲーションシステムを提供することができる。

本発明に用いる携帯端末装置は、携帯電話に限らず、例えば、デジタルカメラの撮影レンズと表示画面に適用することもできる。デジタルカメラには大容量のメモリカードが搭載されるので、この部分に地図を保存しておき、ＧＰＳユニットを組み合わせればナビゲーション用の携帯端末装置にもなりうる。旅行時にはこのような端末装置が好適合である。その場合にも、携帯端末装置を顔の前に構えることなく、やや下向きに構えて表示画面も見やすく、ナビゲーションシステムにおける経路案内を受けることができる。

本発明は、出発地から目的地までの案内経路を探索し、該案内経路を携帯端末装置の表示手段に表示された画像情報を用いて案内する通信型の歩行者ナビゲーションシステムに関するものであり、特に交差点などにおける周辺の風景を携帯端末装置の撮像手段により撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像や進行方向案内画像などを表示するに際して、ユーザが携帯端末装置の表示画面を観察するのに適した姿勢で保持した場合に、撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示するようにした歩行者用のナビゲーションシステムに関するものである。

従来、見知らぬ土地において目的地となる場所を訪れる場合、地図帳等を頼りに当該地図に描かれた交通機関、道路やランドマーク及び住所を確認しながら到達していた。また、カーナビゲーションシステム（以後単にカーナビと言う）を搭載した自動車においては、該カーナビを起動して目的地を入力することによりナビゲーションシステムからモニタ画面に表示される案内や音声出力される案内（ナビゲーション情報）を得ながら目的地に到達していた。

上記カーナビは、ＧＰＳ（Global Positioning System：全地球測位システム）を利用したものであり、地球上を周回している複数のＧＰＳ衛星から送信されるＧＰＳ信号をＧＰＳアンテナで受信し、該ＧＰＳ信号に含まれる衛星位置や時計情報等を解析して位置の特定を行うものである。該複数のＧＰＳ衛星の個数は少なくとも４個以上必要である。ＧＰＳの単独測位精度は一般的に１０ｍ強であるが、ＤＧＰＳ（Differential GPS：ディファレンシャルＧＰＳ）を採用することにより５ｍ以下に向上する。特に、現在は一部の携帯電話にしか搭載されていないＧＰＳ受信機が、第三世代と称される携帯電話では全ての機種に搭載されるようになってきている。

このような測位機能を有する携帯端末の利用技術としては、種々の分野の技術が提案されており、例えば、自動車用のナビゲーション装置（カーナビ）を発展させ、携帯電話を端末として地図・経路情報を情報配信サーバ（経路探索サーバ）から配信する歩行者用の通信型ナビゲーションシステムが提案されている。

近年、携帯電話、ＰＨＳ等の携帯通信端末機器の性能は飛躍的に向上し、また、多機能化が進んでいる。特に通話機能の他にデータ通信機能が強化され、ユーザに対してインターネットを介した種々のデータ通信サービスが提供されている。ナビゲーションサービスもその１つであり、自動車の運転者のみならず携帯電話ユーザに対して現在位置から目的地までの経路案内を提供する通信ナビゲーションシステムが実用化されている。

一般的なナビゲーション装置、通信ナビゲーションシステムに使用される経路探索装置、経路探索方法は、例えば、下記の特許文献１（特開２００１−１６５６８１号公報）に開示されている。このナビゲーションシステムは、携帯ナビゲーション端末から出発地と目的地の情報を情報配信サーバに送り、情報配信サーバで道路網や交通網のデータから探索条件に合致した経路を探索して案内するように構成されている。探索条件としては、出発地から目的地までの移動手段、例えば、徒歩、自動車、鉄道と徒歩の併用などがあり、これを探索条件の１つとして経路探索する。

情報配信サーバは、地図データの道路（経路）をその結節点、屈曲点の位置をノードとし、各ノードを結ぶ経路をリンクとし、全てのリンクのコスト情報（距離や所要時間）をデータベースとして備えている。そして、情報配信サーバは、データベースを参照して、出発地のノードから目的地のノードに至るリンクを順次探索し、リンクのコスト情報が最小となるノード、リンクをたどって案内経路とすることによって最短の経路を携帯ナビゲーション端末に案内することができる。このような経路探索の手法としてはラベル確定法あるいはダイクストラ法と言われる手法が用いられる。上記特許文献１には、このダイクストラ法を用いた経路探索方法も開示されている。

一般的に通信型のナビゲーションシステムにおいて、端末装置が表示する地図情報や案内経路情報は、ネットワークを介して接続される経路探索サーバなどのサーバ装置からダウンロードする。経路探索サーバなどの情報配信サーバから地図情報や案内経路の配信を受けた端末装置は液晶表示装置などの表示手段を備えており、表示手段に地図および案内経路を表示するとともに歩行者や自動車の現在位置（端末装置の現在位置）を案内経路上に表示して歩行者や自動車を目的地まで案内する。

一般的に表示手段に表示する地図は平面図、すなわち、２次元図形の表示であるが、表示画像に遠近感をもたせた平面鳥瞰図やランドマークや建物の様子を視認し易くするため建物を擬似的に３次元的表現した鳥瞰図を表示する方法や、道路や建物をＺバッファ法により３次元ポリゴン画像として表示する方法も提案されている。

例えば、下記の特許文献２（特開２００１−２７５３５号公報）には、建物や道路を立体的に表示するようにした地図表示装置が開示されている。この特許文献２に開示された地図表示装置においては、３次元地図表示を行う際に、道路の画像に経路案内線の画像を影をつけて立体的に表示するように構成している。また、経路案内線が建物に隠れる位置関係となる場合、その経路案内線の重複部分について重複しない部分と色を変えて表示する。特に、ＶＲＡＭ（ビデオＲＡＭ）上で経路案内線の表示色と建物の表示色とを画素単位に互い違いに設定する半透過の手法で描画し、経路案内線と建物との相対的な位置関係を明確にして経路案内線の視認性を向上するようにしている。

上記のような表示を行うため、特許文献２に開示された地図表示装置においては、地図データには、建物の形状データと高さ情報が記憶され、また、立体交差などの道路の形状データが記憶されている。この地図データに基づいて、建物や道路の立体交差部を描画部に３次元的に描画し、車両が進行し経路案内すべき位置に来ると描画部に所望の画像を描画し、音声出力部に所定の音声を発声させて、使用者を目的地へ案内するように構成している。

一般に、ポリゴンデータを用いた地図の３次元的な表示は次のように行われる。すなわち地図に表示するそれぞれの建物を構成する各面をポリゴンデータで準備しておき、地図データとともに建物のポリゴンデータを地図表示装置に送る。地図表示装置は地図を表示するとともにその地図上に位置する各建物を、ポリゴンデータを使用して３次元的に表示するものである。この時、建物をよりリアルに表示するため、建物の各面に更にテクスチャーを張り付けて表示する。テクスチャーは建物の面の模様を示すデータであり、建物の窓の形状や、壁面の模様などである。

例えば、下記の特許文献３（特開２０００−２５９８６１号公報）には、ポリゴンデータにテクスチャーを貼り付けて描画するようにしたテクスチャーマッピング装置の発明が開示されている。この特許文献３に開示された発明は、ポリゴンにテクスチャーを正確かつ効率良く貼り付け、その後の編集を容易にするものである。このテクスチャーマッピング装置は、ワイヤフレーム上のＭ行Ｎ列に配列された四角形のポリゴンＰ１〜Ｐ４とそれに貼り付けるテクスチャーを指定する。指定された複数のポリゴンＰ１〜Ｐ４の辺の長さＬｐ１〜Ｌｐ１２の比に応じて、貼り付け対象のテクスチャーを分割する。分割されたテクスチャーを、対応するポリゴンに、ポリゴンの向きを考慮して貼り付けるように構成したものである。

このようにポリゴンのデータとテクスチャーのデータを用いて建物を３次元表示する場合、建物の各面を示すポリゴンデータと、この面に張り付けるべきテクスチャーデータは１対１に対応するデータであり、ポリゴンデータとともにテクスチャーデータも予めサーバのデータベースに蓄積され、所定の範囲の地図データとともに、その地図上に表示すべき建物のポリゴンデータ、テクスチャーデータが地図表示装置に送信される。

このように地図を立体的に表示する方法によれば、端末装置の利用者は移動中に、実際に観察している風景に近い表示画像を見ることができるので、右折や左折場所、その進行方向を容易に把握できるという利点がある。しかしながらそのためには、地図を立体的に表示するため、平面的な地図データとは別に３次元表示のための地図データが必要になる。３次元地図データは平面地図データに比べデータ量も多く、地図データを記憶する記憶装置として大容量の記憶装置が必要になる。また、通信型のナビゲーションシステムにおいては、端末装置と経路探索サーバとの間の通信負荷が大きくなり、通信時間も長くなる。このため、多数の端末装置にサービスを提供する経路探索サーバには十分に高い処理能力が要求されるなど種々の問題点が生じる。

このような問題点を解消するため、車載用ナビゲーション装置において進行方向の風景をＣＣＤカメラなどの撮像手段を用いて撮影し、撮影したこの周辺画像を表示画面に表示し、この周辺画像に右折や左折の進行方向案内画像を重ねて表示したり、案内経路を表示したりするように構成したナビゲーション装置が下記の特許文献４（特開２００４−２５７９７９号公報）や特許文献５（特開２００６−１６２４４２公報）に開示されている。

すなわち、特許文献４に開示されたナビゲーション装置は、進行方向の風景を撮像する撮像手段と、該撮像手段によって撮像された画像を表示する表示手段と、を備え、経路検出手段が検出した経路上の分岐点と現在位置検出手段が検出した現在位置とが所定距離以下になると、撮像手段が撮像した画像に分岐点での進むべき方向を案内する画像を重畳して表示手段に表示するように構成されたものである。

また、特許文献５に開示されたナビゲーション装置は、案内情報特定部は、案内情報を提示する地図上の位置と、提示する案内情報の種類を特定する案内情報特定部と、画像認識などにより、自車の周辺にある障害物（歩行者や車両等）の位置と種類とを検知する障害物検知部と、案内情報の表示位置として検知した障害物と重ならない位置を求める表示位置決定部と、車両のフロントガラス内の決定された位置に、あるいは、前方画像を表示するディスプレイ内の決定された位置に、案内情報を出力する画像出力部と、を備え、車両から見える実風景に経路進行方向を重ね合わせて表示するものである。

また、歩行を対象としたナビゲーションシステムにおいても、下記の特許文献６（特開２００５−２４１３８５号公報）に、カメラによって撮影した実際の周辺画像に経路方向を重ね合わせて表示する携帯端末装置およびナビゲーション装置が開示されている。この携帯端末装置は、利用者（目的地案内装置）の現在位置を基準としてデジタルカメラのスクリーンを画定し、このスクリーンに対して目的地に対応する目的地方向座標を定め、所定の基準点（スクリーン下辺中心）を基準として、スクリーン上でカメラの撮影画像に重ねて目的地方向座標に対する指示表示を行うように構成されたものである。

携帯端末に設けたＣＣＤカメラなど撮像手段により周辺の風景を撮像し、携帯端末の表示画面にこの周辺画像を表示する際、撮像手段の光軸が水平方向と並行になり、且つ表示画面が水平方向に垂直な方向になるように携帯端末の姿勢を調整して撮像することが必要になる。このような電子光学式視覚システムにおける姿勢調整の方法が、例えば、下記の特許文献７（特許第３７０００２１号公報）に開示されている。

この特許文献７に開示された電子光学式視覚システムは、コンピュータシステムに予め用意された地図画像などのイメージと、実際の景色のイメージを撮影し、実際の景色のイメージから不所望の対照物を取り除き、コンピュータシステムに用意されたイメージと置き換えるようにしたものである。このシステムは、実際の背景のイメージとコンピュータにより生成されたイメージとからの増補イメージを生成するため、増補イメージの上下左右の方向が、景色の上下左右に直接対応し、かつ前記イメージの平面に垂直な方向が利用者から前記実際の景色への方向を向くように、撮像手段の姿勢を調整するものである。

特開２００１−１６５６８１号公報（図１、図２） 特開２００１−２７５３５号公報（図１、図４、段落［００５４］） 特開２０００−２５９８６１号公報（図２、図８） 特開２００４−２５７９７９号公報（図４） 特開２００６−１６２４４２号公報（図４、図５） 特開２００５−２４１３８５号公報（図９） 特許第３７０００２１号公報（図３、請求項１）

ところで、カメラを搭載した携帯電話などをナビゲーションシステムの端末装置として使用して、表示手段にカメラで撮像した周辺画像を表示し、その周辺画像上に経路や進行方向を表示する場合、携帯電話の表示画面が小さいために撮像方向がずれると案内すべき経路が画面内に表示されないこともある。このような問題を解消するため、本願の発明者は、国際特許出願ＰＣＴ／ＪＰ２００６／３２０４６１号（以下、先願１という）に「ナビゲーションシステム、携帯端末装置および経路案内方法」の発明を出願している。

すなわち、この先願１の発明は、出発地から目的地までの案内経路を探索し、該案内経路を表示手段に表示された画像情報を用いて案内する通信型の歩行者ナビゲーションシステムに関するものであり、特に交差点などにおける周辺の風景を撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像や進行方向案内画像を表示するに際して、経路画像が周辺画像上に表示できない場合に経路画像を表示できる撮像方向を案内するようにした歩行者ナビゲーションシステムである。

先願１の歩行者用ナビゲーションシステムにおいては、撮像手段を備えた携帯電話を端末装置とするものであり、利用者が交差点などで周辺の風景を撮像する場合、上記特許文献７に開示された電子光学式視覚システムと同様に、カメラの光軸を水平方向に合わせて撮像するようにされる。

ところで、携帯電話などの端末装置において、カメラなどの撮像手段の光軸を水平方向に合わせてシャッター操作する場合、カメラの光軸と表示画面の垂直方向の軸は並行になる位置関係にあるのが一般的であることから、携帯電話の表示手段は撮像手段の光軸である水平方向と直角な方向、すなわち、垂直方向を向く。この姿勢は、通常、携帯電話の表示画面を観察する方向（表示画面を垂直に立てず、垂直方向から３０°〜６０°傾けて観察する）ではなく、利用者にとって携帯電話を不自然な姿勢にして撮像しなければならないという問題点があった。

これを回避するために、携帯端末装置の表示画面を立てることなく、水平方向に傾けて携帯端末装置を保持すると、撮像手段の光軸が水平方向から下向きになり、撮像した周辺画像の水平方向が表示画面の垂直方向に向かず、不自然な画像表示になってしまうという問題点が生じる。

本願の発明者は、上記の問題点を解消すべく種々検討を重ねた結果、撮像手段の光軸方向と表示手段の表示面鉛直方向が概ね平行である撮像画像表示光学系を有し、実写映像（撮像手段で撮像した周辺画像）を用いるナビゲーション装置において、表示手段に表示する実写映像は、撮像画像の光軸中心が表示画面の中心より下方に位置するように表示制御し、撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示するようになせば上記の問題点を解消し得ることを想到して本発明を完成するに至ったものである。

すなわち、本発明は、交差点などにおける周辺の風景を携帯端末装置の撮像手段により撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像を表示するに際して、ユーザが携帯端末装置の表示画面を観察するのに適した姿勢で保持した場合に、撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示するようにした歩行者用のナビゲーションシステムを提供することを目的とするものである。

前記課題を解決するために、本願の第１発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムにおいて、
前記携帯端末装置は更に、表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示するようにしたこと特徴とする。

本願の第１発明において、前記周辺画像を表示する場合、前記表示制御手段は、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示するように構成することが好ましい。

また、本願の第１発明において、前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトするように構成することが好ましい。

また、本願の第２発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバとネットワークを介して接続される携帯端末装置において、
前記携帯端末装置は、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、前記表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、
該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示するようにしたこと特徴とする携帯端末装置。

本願の第２発明において、前記周辺画像を表示する場合、前記表示制御手段は、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示するように構成することが好ましい。

また、本願の第２発明において、前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトするように構成することが好ましい。

また、本願の第３発明は、
経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムを用いた周辺画像表示方法において、
前記携帯端末装置は更に、表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示する表示ステップを有すること特徴とする。

本願の第３発明において、前記表示ステップは、前記周辺画像を表示する場合、前記表示制御手段が、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示する処理を含むように構成することが好ましい。

また、本願の第３発明において、前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトするシフトステップを更に有するように構成することが好ましい。

本願の第１発明によれば、交差点などにおける周辺の風景を携帯端末装置の撮像手段により撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像や進行方向案内画像または興味対象場所を示すアイコン画像などを表示するに際して、ユーザが携帯端末装置の表示画面を観察するのに適した姿勢で保持した場合に、撮像手段の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示することができるようになる。

また、本願の第２発明によれば、本願の第１発明にかかるナビゲーションシステムを構成する携帯端末装置を提供することができるようになる。また、本願の第３発明によれば、本願の第１発明にかかるナビゲーションシステムを用いた周辺画像表示方法を提供することができるようになる。

本発明の実施例にかかるナビゲーションシステムの構成を示すブロック図である。 携帯端末装置の姿勢と撮像手段の光軸および撮像角度を示す模式図である。 画像案内モードにおいて撮像手段により撮像した周辺画像を表示手段に表示した場合の表示画像の一例を示す図である。 撮像手段の光軸が水平方向を向くように携帯端末装置を保持した状態で、表示手段に表示した周辺画像の範囲内に案内経路が存在する場合の表示画像の例を示す図である。 携帯端末装置の姿勢と表示装置の表示画面および撮像手段の光軸の関係を示す模式図である。 図５の位置関係で周辺画像を撮像した場合に表示画面に表示される周辺画像の位置を示す表示画像の図である。 携帯端末装置の表示画面を観察する場合の自然な保持姿勢、視線方向を示す模式図である。 撮像手段の撮像可能な画角と、撮像手段によって撮像された周辺画像が表示手段の表示画面に表示される位置との関係を示す模式図である。 本発明にかかる携帯端末装置の実施例において撮像手段の光軸を水平方向から下方向に傾けた場合の撮像手段の画角と撮像された周辺画像の表示領域の関係を示す模式図である。 図９における周辺画像の表示領域以外の領域を示す表示領域の模式図である。 撮像手段の防振機構を利用した表示画像シフトの概念を説明するための模式図である。 経路探索のための道路ネットワークデータの概念を説明するための模式図である。 交通機関を利用した経路探索のための交通ネットワークデータの概念を説明するための模式図である。 地図データの構成を示す図である。

符号の説明

１０・・・・ナビゲーションシステム
１２・・・・ネットワーク
２０・・・・携帯端末装置
２０１・・・制御手段
２１・・・・ＧＰＳ受信手段
２２・・・・撮像手段
２３・・・・姿勢検出手段
２４・・・・画像レイアウト手段
２５・・・・表示制御手段
２６・・・・通信手段
２７・・・・案内情報記憶手段
２８・・・・表示手段
２９・・・・操作入力手段
３０・・・・経路探索サーバ
３０１・・・制御手段
３１・・・・通信手段
３２・・・・案内情報編集手段
３３・・・・経路探索手段
３４・・・・地図データベース
３５・・・・経路探索用ネットワークデータベース

以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。但し、以下に示す実施例は、本発明の技術思想を具体化するためのナビゲーションシステムを例示するものであって、本発明をこのナビゲーションシステムに特定することを意図するものではなく、特許請求の範囲に含まれるその他の実施形態のナビゲーションシステムにも等しく適用し得るものである。

図１は、本発明の実施例にかかるナビゲーションシステムの構成を示すブロック図である。ナビゲーションシステム１０は、図１に示すようにインターネットなどのネットワーク１２を介して接続される携帯端末装置２０と経路探索サーバ３０を備えて構成されている。経路探索サーバ３０は、経路探索手段３３、地図データを蓄積した地図データベース３４、経路探索用の道路ネットワークデータや公共交通機関のネットワークデータである交通ネットワークデータを蓄積した経路探索用ネットワークデータベース３５を備えている。

経路探索サーバ３０はまた、制御手段３０１、通信手段３１、案内情報編集手段３２を備えている。制御手段３０１は、図示してはいないがＲＡＭ、ＲＯＭ、プロセッサを有するマイクロプロセッサであり、ＲＯＭに格納された制御プログラムにより各部の動作を制御する。通信手段３１は、ネットワーク１２を介して携帯端末装置２０と通信するためのインターフェースである。

経路探索サーバ３０は、携帯端末装置２０から現在位置、目的地、移動手段（自動車、徒歩、交通機関あるいは徒歩と交通機関併用など）などの経路探索条件を含む経路探索要求があると、経路探索用ネットワークデータベース３５を参照して経路探索条件に合致した案内経路を探索する。経路探索の結果得られた案内経路のデータは、地図データベース３４から選択した携帯端末装置２０の現在位置を含む所定範囲の単位地図データ（緯度・経度で所定の大きさのエリアに区分された地図データ）とともに案内情報編集手段３２で携帯端末装置２０に送信するための案内情報（データ）に編集される。編集された案内情報は携帯端末装置２０に配信される。

一方、携帯端末装置２０は、制御手段２０１、ＧＰＳ受信手段２１、撮像手段２２、姿勢検出手段２３、画像レイアウト手段２４、表示制御手段２５、通信手段２６、案内情報記憶手段２７、表示手段２８、操作入力手段２９などを備えて構成されている。制御手段２０１は、図示してはいないがＲＡＭ、ＲＯＭ、プロセッサを有するマイクロプロセッサであり、ＲＯＭに格納された制御プログラムにより各部の動作を制御する。通信手段２６は、ネットワーク１２を介して経路探索サーバ３０と通信するためのインターフェースである。

操作入力手段２９は、数字キーやアルファベットキー、その他の機能キー、選択キー、スクロールキーなどからなる操作・入力手段ための手段であり、出力手段である表示手段２８に表示されるメニュー画面から所望のメニューを選択し、あるいは、キーを操作して種々の入力操作を行うものである。従って、表示手段２８は操作入力手段２９の一部としても機能する。

利用者が経路探索サーバ３０に経路探索を依頼しようとする場合、携帯端末装置２０において操作入力手段２９を操作し、表示手段２８に表示されるサービスメニューから経路探索を選択し、現在位置、目的地、移動手段（自動車、徒歩、交通機関あるいは徒歩と交通機関併用など）などの経路探索条件を入力する。入力された経路探索条件は経路探索サーバ３０への配信要求に編集され、通信手段２６を介して経路探索サーバ３０に経路探索要求として送信される。

携帯端末装置２０は経路探索サーバ３０から経路探索の結果である案内情報を受信すると、この案内情報を案内情報記憶手段２７に一時記憶する。通常、この案内情報に基づいて、携帯端末装置２０の現在位置を中心として地図画像、案内経路の画像や興味対象場所を示すアイコン画像などが表示手段２８に表示される。この際、現在位置マークが地図画像上の該当位置に表示される。現在位置が案内経路上の交差点ノードなどに接近すると、当該交差点ノードおける右折、左折、直進などの進行方向を指示する進行方向案内画像が表示される。また、携帯端末装置２０がスピーカなどの出力手段を備える場合、交差点ノードまでの距離や進行方向を音声により案内する音声案内を提供するように構成できる。

上記のような地図表示は通常の案内モードの場合である。本ナビゲーションシステム１０は更に、撮像手段２２により周辺画像を撮像し、その周辺画像を表示手段２８に表示するとともに案内経路画像や進行方向案内画像を表示して案内する画像案内モードを備えている。以下この画像案内モードを実写モードということとする。実写モードへの切替えは後述するように姿勢検出手段２３が携帯端末装置２０の姿勢を検出し、所定の状態の場合に自動的に切替えられるようにすることが好ましい。もちろん操作入力手段２９によって利用者が切替えることができるようにしてもよい。

携帯端末装置２０において、撮像手段２２（例えばＣＣＤカメラ）の焦点距離（ＺＯＯＭ）、表示手段２８の画面サイズは所定の設定値に固定される。ＧＰＳ受信手段２１は所定の時間間隔で携帯端末装置２０の現在位置を測位するから、撮像手段２２が操作され、周辺画像を撮像した位置を特定することができる。ＧＰＳ受信手段２２による測位間隔は、携帯電話を携帯端末装置２０とする場合、例えば１秒おき〜５秒おきである。

利用者が携帯端末装置２０を前方にかざすと、撮像手段２２の光軸が水平から所定の角度以内になったときに、姿勢検出手段２３がこれを検出して自動的に撮像手段２２のシャッターが作動して光軸方向の周辺画像（静止画像）が撮影される。姿勢検出手段２３は方位センサ、傾斜センサで構成されるから、光軸の向き（方位）は方位センサ出力から得ることができ、光軸と水平方向のなす角度は傾斜センサ出力により得ることができる。光軸の向きと、傾斜角は、撮像手段２２により撮像した周辺画像と共に記憶される。一般的に撮像手段２２の撮影角度はある程度の角度を持っており、撮像された周辺動画像は表示範囲の外になる部分も十分広範囲に撮影される。

図２は、撮像手段２２の姿勢と光軸および撮像角度を示す模式図である。利用者Ｕがある地点Ｐにおいて周辺画像の撮像のため携帯端末装置２０を前方にかざすと、姿勢検出手段２３が撮像手段２２の光軸ＡＸと水平方向のなす角度を検出し、所定の角度範囲内にあると自動的にシャッターが作動して前方の画像が撮像される。この時の光軸ＡＸに対する垂直方向の撮像角度はαである。
撮像手段２２は所定の焦点距離で周辺画像を撮像するから、撮像地点Ｐから前方の各地点Ｐ１、Ｐ２、Ｐ３はそれぞれ光軸ＡＸとなす角度Θ１、Θ２、Θ３から算出でき、表示画像のどの位置が撮像位置から何ｍ先の地点にあたるかは、上記の角度から幾何学的に計算することができる。すなわち、図２において地点Ｐ１は撮像地点Ｐから３m前方であり、光軸とのなす角度Θ１である。地点Ｐ２は撮像地点Ｐから１０m前方であり、光軸とのなす角度Θ２である。また地点Ｐ３（図示せず）は撮像地点Ｐから３０m前方であり、光軸とのなす角度Θ３である。

図３は、このようにして撮像手段２２により撮像した周辺画像を表示手段２８に表示した場合の表示画像の一例を示す図である。表示画面の中心（図３の線Ｘ、Ｙの交点）が光軸ＡＸと一致しかつ水平方向になるように周辺画像が表示される。図２で説明したように撮像地点Ｐから前方の地点Ｐ１（３ｍ先）の画像は光軸とのなす角度Θ１であり表示画像の最下部にあたる。地点Ｐ２は（１０ｍ先）の画像は光軸とのなす角度Θ２であり表示画像に示す線Ｌ１の位置にあたる。同様に２０ｍ先の地点は線Ｌ２の位置、３０m先の地点は線Ｌ３の位置にあたる。

このようにすれば、案内経路が撮像地点から前方何ｍ先にあるかによって表示画像のどの位置に案内経路画像を表示するか、その表示位置を決定することができ、常に安定した画像で経路を案内することができ、表示位置決定の演算処理も簡便になる。すなわち、周辺画像の撮像すなわち、静止画取得時の位置情報（撮像時の現在位置）に基づいて案内経路の位置、方向を求め、光軸ＡＸの方向に対して案内経路を表示画像上の所定の位置に描画する。図４は、光軸ＡＸと案内経路の進行方向が同じであり、画面に表示された周辺画像の範囲内に案内経路が存在し、撮像地点から３０ｍ先で右折する案内経路画像ＧＲＩを周辺画像に重ね合わせて描画した表示画像例を示す図である。画像レイアウト手段２４は姿勢検出手段２３の検出出力に基づいて以上の演算を行って案内経路画像ＧＲＩの表示位置を決定する。

ところで、この場合、携帯端末装置２０は光軸を水平にして保持した状態で撮像手段２２により進行方向の周辺画像を撮像した場合である。すなわち、図５の模式図に示すように、携帯端末装置２０の表示手段２８の表示画面の垂直線（矢印Ｆ）が、撮像手段２２の光軸方向（矢印Ｅ）および利用者の視線方向（矢印Ｇ）と一致するように携帯端末装置２０を保持して撮像するものである。つまり、携帯端末装置２０の表示画面が垂直になるような姿勢（光軸が水平になるような姿勢）で利用者の目の位置に撮像手段２２が来るようにして周辺画像を撮像する。

このようにすれば、表示手段２８の表示画面に表示される周辺画像はその水平方向が視線の方向と一致し、図６に示すように表示画面３００の中央に実際に観察している周辺画像３０１が表示され、案内経路の方向を撮像していれば、案内経路ＲＴが周辺画像３０１の上に重ね合わせて表示される。この画像の重ね合わせは、画像レイアウト手段２４により算出された周辺画像位置と案内経路位置によって制御される。

しかしながら、このような姿勢で携帯端末装置２０を保持するのは利用者にとって不自然である。通常、利用者が携帯端末装置２０の画面を観察する場合、図７に示すように携帯端末装置２０を、視線方向を（矢印Ｇ）を水平方向から下向きに３０°〜６０°傾けて表示手段２８の画面を観察するような姿勢で携帯端末装置２０保持するのが自然な状態である。例えば、ナビゲーションの案内を受ける際に携帯端末装置２０を垂直に保持することはない。携帯端末装置２０を垂直に構えると、手も疲れ、また目の前に携帯端末装置２０があると、いくら画面に周辺の風景が映っている（表示されている）と言っても実際の視野をさえぎっているので、歩行し難いという問題を生じる。

ところで、図７に示すような姿勢で携帯端末装置２０を保持すると、撮像手段２２の光軸（図７、矢印Ｇ）が水平方向（矢印Ｈ）にならないため、表示手段２８の表示画面に表示される周辺画像が水平にならず不自然な画像として表示されることになる。撮像手段２２は、本来はカメラであるから、撮像レンズの光軸と、表示画面鉛直方向はほぼ平行でないと撮像し難い。従って、周辺画像の撮像にカメラを流用する以上、従来は、上記特許文献７に示すシステムのように、レンズ光軸と表示画面鉛直方向は暗黙のうちに平行とするのが一般的である。以下この姿勢を従来の実写ナビといい、本発明における携帯端末装置の姿勢（携帯端末装置２０を傾けて保持した状態）で保持した場合を本発明の実写ナビということとする。

本発明においては、表示制御手段２５が撮像手段２２で撮像した周辺画像の表示画面上の表示位置を、撮像した画像の光軸中心が表示画面の中心より下方に位置するように制御し、撮像手段の光軸方向が水平より下向きであっても表示手段２８の表示画面には水平方向の周辺画像を表示することができるようにしたものである。

図８は、撮像手段２２の撮像可能な画角と、撮像手段２２によって撮像された周辺画像が表示手段２８の表示画面に表示される位置との関係を示す模式図である。例えば、携帯端末装置２０が携帯電話であり、撮像手段２２が携帯電話に内蔵されたカメラ部として、光軸と表示画像の関係を説明すると、携帯端末装置２０にはＣＣＤカメラなどの撮像手段２２があって、その画素サイズで表示画面の最大有効画素サイズが決まっている。（例えば、１６００ドットＸ１２００ドットなど）。通常は撮影レンズのイメージサークルはそれ以上に大きいので、有効画素のどの部分でも映像データは得られる。また一般的には、撮像レンズの光軸は、最大有効画素サイズの中心に位置する。

図８には、まず撮像手段の最大有効画素サイズをすべて使ったときの最大画角ΘＭＡＸが示されている。携帯電話のカメラもズーム機能を有するので、この最大有効画素サイズをすべて使ったときがズームでは広角端である。従来の実写ナビの場合には、広角端では広すぎる（遠方の画像が小さすぎる）ので、若干画素を絞り込んだ従来ナビ画面２８１の領域を用いている。当然、撮像手段２２で撮像する画角もΘＡで示されるように、その分だけ狭くなって、標準的な従来のナビゲーションにおける画角に制御される。

それに対して本発明の実写ナビでは、従来の実写ナビ画面２８１の表示領域を被写体側で上側にシフトした画素領域２８２、すなわち、本発明の実写ナビ画角をΘＢに設定すると、画像は表示画面の下側にシフトして表示される。（図８に示す撮像手段では、像の天地が逆転しているので、図８では下寄りの領域２８２が本発明の実写ナビ画面となる）この時、撮像手段２２の光軸は水平よりも下向きに傾斜した方向になっている。

すなわち、本発明の実写ナビ画面の領域２８２を画面に表示すれば、図９のような幾何的構成が成立する。図９において、画角ΘＢが本発明によりシフトされた画角であり、表示制御手段２５は、この画角ΘＢにより撮像された周辺画像を表示領域２８２の表示位置に表示すれば、撮像手段２２の光軸を水平方向に対して下方向、すなわち、図７に示すように水平方向（矢印Ｈ方向）を見る場合に、携帯端末装置２０を画面がシフトした分だけ傾けて持つことができて、従来の実写ナビよりも傾けて低い位置に携帯端末装置２０を構えて、視線（図７、矢印Ｇ）を下ろすことができるようになる。

このような表示制御は、表示制御手段２５によって図８、図９を参照して説明したように行われる。例えば、前記周辺画像を表示する場合、表示制御手段２５が、前記撮像手段を構成する撮像素子の画素領域を、表示手段２８に地図画像を表示する通常の画素領域２８１に比較して、異なる画素領域、すなわち、表示画面の下方にシフトした画素領域２８２を設定することにより、前記撮像手段２２の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段２２の光軸方向が水平より下向きであっても表示画面には水平方向の周辺画像を表示することができる。

上記のように表示制御すれば、上記特許文献７のシステムのように、表示画面の垂線を被写体の方向に向けず、表示画面を垂直方向に対して傾けて携帯端末装置を保持しても、前方の被写体を撮像して表示することができるようになる。もしも、十分な傾きを確保するためにシフト量を大きくとった場合に、有効画素の領域２８０に不足が生ずれば、図１０のように画素が無い斜線部２８３をナビゲーションのための様々なマークや選択ボタン画像の表示に用いる領域とすることができる。

なお、本発明においては、撮像レンズの物理的な光軸を中心とせず、周辺に向けて偏った撮像画像を用いるので、撮像した周辺画像は厳密には歪んだ画像となるが、その歪も画角を傾ける量があらかじめわかっているので、表示制御手段２５により周辺画像（実写画像）にその方向にある案内対象物の情報（案内経路情報）を重ね合わせて表示することができる。

なお、上記実施例においては、周辺画像を撮像して案内経路とともに表示する実写ナビモードの場合、表示制御手段２５が、表示領域をシフトして、通常のナビゲーションにおける表示領域と異なる表示領域に周辺画像を表示することにより携帯端末装置２０を傾けて、視線方向を下向きにしても、前方の画像を撮像できるようにした例を説明した。

ところで、カメラによっては撮像時の端末装置の揺れ（手振れ）を防止するために防振光学系を備えるものもあって、この場合には防振光学系（主に撮像レンズに防振機構が設けられる）を用いて、本発明の実写ナビにおいて強制的にカメラ位置を上方向にβだけシフトして撮像画像をシフトするようにしてもよい。すなわち、図１１に示すように撮像レンズ１１１を上方にシフト（ライズ）すれば、撮像素子上で下方の領域２８５のように撮像画像をシフトしたのと同じ効果がある。

但し、防振光学系のシフト量βは一般的には小さいので、この方法単独で効果を出すのは難しく、前述の先に説明した実施例の撮像素子上の領域シフト（図８参照）と組み合わせてさらに効果をあげることができる。また、防振光学系の動きに限らず、ティルト機構を備えた光学系があればそれを用いても良い。

次に、経路探索サーバ３０における経路探索について説明する。経路探索用ネットワークデータベース３５は、道路ネットワークデータと交通ネットワークデータを備えている。これらのネットワークデータは以下のように構成されている。例えば、道路が図１２に示すように道路Ａ、Ｂ、Ｃからなる場合、道路Ａ、Ｂ、Ｃの端点、交差点、屈曲点などをノードとし、各ノード間を結ぶ道路を有向性のリンクで表し、ノードデータ（ノードの緯度・経度）、リンクデータ（リンク番号）と各リンクのリンクコスト（リンクの距離またはリンクを走行するのに必要な所要時間）をデータとしたリンクコストデータとで構成される。

すなわち、図１２において、Ｎｎ、Ｎｍがノードを示し、Ｎｍは道路の交差点を示している。各ノード間を結ぶ有向性のリンクを矢印線（実線、点線、２点鎖線）で示している。リンクは、道路の上り、下りそれぞれの方向を向いたリンクが存在するが、図１２では図示を簡略化するため矢印の向きのリンクのみを図示している。

このような道路ネットワークのデータを経路探索用のデータベースとして経路探索を行う場合、出発地のノードから目的地のノードまで連結されたリンクをたどりそのリンクコストを累積し、累積リンクコストの最少になる経路を探索して案内する。すなわち、図１２において出発地をノードＡＸ、目的地をノードＣＹとして経路探索を行う場合、ノードＡＸから道路Ａを走行して２つ目の交差点で右折して道路Ｃに入りノードＣＹにいたるリンクを順次たどりリンクコストを累積し、リンクコストの累積値が最少になる経路を探索して案内する。

図１２ではノードＡＸからノードＣＹに至る他の経路は図示されていないが、実際にはそのような経路が他にも存在するため、ノードＡＸからノードＣＹに至ることが可能な複数の経路を同様にして探索し、それらの経路のうちリンクコストが最少になる経路を最適経路として決定するものである。この手法は、例えば、ダイクストラ法と呼ばれる周知の手法によって行われる。

これに対して、交通機関の経路探索のための交通ネットワークデータは以下のように構成されている。例えば、図１３に示すように交通路線Ａ、Ｂ、Ｃからなる場合、各交通路線Ａ、Ｂ、Ｃに設けられた各駅（航空機の路線においては各空港）をノードとし、各ノード間を結ぶ区間を有向性のリンクで表し、ノードデータ（緯度・経度）、リンクデータ（リンク番号）をネットワークデータとしている。図１３において、Ｎｎ、Ｎｍがノードを示し、Ｎｍは交通路線の乗り継ぎ点（乗換え駅など）を示し、各ノード間を結ぶ有向性のリンクを矢印線（実線、点線、２点鎖線）で示している。リンクは、交通路線の上り、下りそれぞれの方向を向いたリンクが存在するが、図１３では図示を簡略化するため矢印の向きのリンクのみを図示している。

しかしながら、交通ネットワークは道路ネットワークと比べリンクコストが基本的に異なる。すなわち、道路ネットワークではリンクコストは固定的、静的なものであったが、交通ネットワークでは、図１３に示すように交通路線を運行する列車や航空機（以下個々の列車や航空機などの各経路を交通手段と称する）が複数ある。このような交通ネットワークでは、各交通手段毎にあるノードを出発する時刻と次のノードに到着する時刻とが定まっており（時刻表データ、運行データで規定される）、かつ、個々の経路が必ずしも隣接するノードにリンクしない場合がある。例えば、急行と各駅停車の列車のような場合である。このような場合には同じ交通路線上に異なる複数のリンクが存在することになり、またノード間の所要時間が交通手段により異なる場合もある。

図１３に例示する交通ネットワークにおいては、交通路線Ａの同じリンクに複数の交通手段（経路）Ａａ〜Ａｃ・・・、交通路線Ｃに複数の交通手段（経路）Ｃａ〜Ｃｃ・・・が存在することになる。従って、交通機関の運行ネットワークは、単純な道路ネットワークと異なり、ノード、リンク、リンクコストの各データは交通手段（個々の航空機や列車などの経路）の総数に比例したデータ量になる。このため交通ネットワークのデータは道路ネットワークのデータ量に比べて膨大なデータ量になる。従って、それに応じて、経路探索に要する時間も多くの時間が必要になる。

このような交通ネットワークデータを用いて、ある出発地からある目的地までの経路を探索するためには、出発地から目的地まで到達する際に使用（乗車）できる全ての交通手段を探索して探索条件に合致する交通手段を特定する必要がある。

例えば、図１３において、出発地を交通路線ＡのノードＡＸとしてある特定の出発時刻を指定して、交通路線ＣのノードＣＹを目的地とする経路探索を行う場合、交通路線Ａ上を運行する交通手段Ａａ〜Ａｃ・・・のうち出発時刻以降の全ての交通手段を順次出発時の経路として選択する。そして交通路線Ｃへの乗り継ぎノードへの到着時刻に基づいて、交通路線Ｃ上を運行する各交通手段Ｃａ〜Ｃｃ・・・のうち、乗り継ぎノードにおいて乗車可能な時刻以降の交通手段の全ての組み合わせを探索して各経路の所要時間や乗り換え回数などを累計して案内することになる。

このようなネットワークデータを参照して探索された案内経路はベクトル地図データとともに携帯端末装置２０に配信される。地図データベース３４に蓄積される地図データは図１４に示すように所定の緯度・経度範囲で区分された単位地図データから構成されている。地図データは図１４に示すように所定の緯度、経度単位で地図エリアが分けられ、メッシュ状の単位地図データＭ１１〜Ｍ３３のように構成されている。携帯端末装置２０に配信される場合は、携帯端末装置２０の現在位置ＰＰを含む単位地図データＭ２２を中心にして、その上下方向、左右方向、斜め方向に隣接する単位地図データＭ２１、Ｍ２３、Ｍ１２、Ｍ３２、Ｍ１１、Ｍ１３、Ｍ３１、Ｍ３３の合計９つの単位地図が配信される。

携帯端末装置２０が移動して地図データが不足する場合は、携帯端末装置２０の移動方向を判別して経路探索サーバ３０は不足分の単位地図データを配信する。携帯端末装置２０が特定の地点やＰＯＩ（興味対象場所：Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）の位置を指定して地図データの配信要求をした場合も同様である。案内経路のデータはこのベクトル地図データとともに携帯端末装置２０に配信される。携帯端末装置２０は、経路探索サーバ３０からこのようにして地図データおよび案内経路のデータを受信して、地図および案内経路を表示手段２８に表示する。

以上、詳細に説明したように、本発明によれば、交差点などにおける周辺の風景を携帯端末装置の撮像手段により撮像して周辺画像として表示手段に表示し、表示された周辺画像上に経路案内画像や進行方向案内画像または興味対象場所を示すアイコン画像などを表示するに際して、ユーザが携帯端末装置の表示画面を観察するのに適した姿勢で保持した場合に、撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにした歩行者用のナビゲーションシステムを提供することができる。

本発明に用いる携帯端末装置は、携帯電話に限らず、例えば、デジタルカメラの撮影レンズと表示画面に適用することもできる。デジタルカメラには大容量のメモリカードが搭載されるので、この部分に地図を保存しておき、ＧＰＳユニットを組み合わせればナビゲーション用の携帯端末装置にもなりうる。旅行時にはこのような端末装置が好適合である。その場合にも、携帯端末装置を顔の前に構えることなく、やや下向きに構えて表示画面も見やすく、ナビゲーションシステムにおける経路案内を受けることができる。

Claims (9)

1. 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムにおいて、
   前記携帯端末装置は更に、表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにしたこと特徴とするナビゲーションシステム。
2. 前記周辺画像を表示する場合、前記表示制御手段は、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示することを特徴とする請求の範囲第１項に記載のナビゲーションシステム。
3. 前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトすることを特徴とする請求の範囲第１項または請求の範囲第２項に記載のナビゲーションシステム。
4. 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバとネットワークを介して接続される携帯端末装置において、
   前記携帯端末装置は、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、前記表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、
   該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示するようにしたこと特徴とする携帯端末装置。
5. 前記周辺画像を表示する場合、前記表示制御手段は、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示することを特徴とする請求の範囲第４項に記載の携帯端末装置。
6. 前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトすることを特徴とする請求の範囲第４項または請求の範囲第５項に記載の携帯端末装置。
7. 経路探索用のネットワークデータを参照して出発地から目的地までの案内経路を探索する経路探索手段を備えた経路探索サーバと、案内経路データを含む案内情報を記憶する案内情報記憶手段と、現在位置を測位するＧＰＳ受信手段と、撮像手段と、撮像手段が撮像した周辺画像とともに案内経路あるいは進行方向案内画像または興味対象場所を示す画像を表示する表示手段と、を備えた携帯端末装置とから構成されるナビゲーションシステムを用いた周辺画像表示方法において、
   前記携帯端末装置は更に、表示手段に表示された周辺画像の表示を制御する表示制御手段を備え、該表示制御手段は、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示する表示ステップを有すること特徴とする周辺画像表示方法。
8. 前記表示ステップは、前記周辺画像を表示する場合、前記表示制御手段が、前記撮像手段を構成する撮像素子の画素領域を前記表示手段に地図画像を表示する通常の画素領域に比較して、異なる画素領域を設定することにより、前記撮像手段の光軸中心が表示画面の中心より下方に位置するように前記撮像手段が撮像した周辺画像の表示位置を制御し、前記撮像手段の光軸方向が水平より下向きであっても表示画面には周辺画像の水平方向を表示する処理を含むことを特徴とする請求の範囲第７項に記載の周辺画像表示方法。
9. 前記撮像手段は更に、撮像手段シフト機構を備え、前記周辺画像を表示する場合、前記撮像手段シフト機構を用いて撮像手段を上方にシフトするシフトステップを更に有することを特徴とする請求の範囲第７項または請求の範囲第８項に記載の周辺画像表示方法。