JPWO2012066668A1 - 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム - Google Patents

Abstract

移動体に取り付けられる端末装置は、撮影手段と、撮影手段の撮影方向と移動体の進行方向との関係に基づいて、撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、判定手段による判定に基づいて、実写案内画像及び地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段と、を備える。これにより、実写案内画像及び地図案内画像のいずれを優先して表示させるかを適切に切り替えることができる。

Description

本発明は、経路案内機能を有する端末装置に関する。

この種の技術が、例えば特許文献１及び２に記載されている。特許文献１には、ナビゲーション機能付き携帯端末装置において、車内に装備されているハンズフリー機器に携帯端末装置が接続された際に、ナビゲーション機能を選択的に起動させる技術が記載されている。特許文献２には、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替える技術が記載されている。車両外部の状況としては、前方障害物（車両等）による遮蔽度や、外部の明るさや、雨や、霧や、先行車両までの距離や、道路の属性や、目印（信号、コンビニ等）の有無などが挙げられている。

特開２００７−１６３３８６号公報 ＷＯ２００７−１２９３８２号公報

近年、「スマートフォン」と呼ばれる高機能携帯電話などの携帯型端末装置を、「クレードル」と呼ばれる保持装置を介して車両に設置し、利用する技術が提案されている。また、スマートフォンのカメラによる実写画像を用いた「ＡＲナビ（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）」などと呼ばれるナビゲーションが提案されている。ＡＲナビは、カメラによる実写画像の上に、目的地までの方向や距離などの経路案内のための画像を重ねて表示するものである。そのため、ＡＲナビを利用する場合には、カメラの撮影方向が車両の進行方向に一致していることが望ましいと言える。つまり、カメラの撮影方向が車両の進行方向からずれている場合には、ＡＲナビを適切に行うことが困難になるものと考えられる。

このようなことから、上記した特許文献１及び２に記載された技術を、スマートフォン及びクレードルを有するシステムに好適に適用することは困難であると考えられる。具体的には、特許文献１に記載された技術を適用した場合には、スマートフォンがクレードルに接続された際にＡＲナビが起動されることとなるが、この際にカメラの撮影方向が進行方向からずれている場合には、ＡＲナビを適切に実行することができないと言える。また、特許文献２に記載された技術を適用した場合には、車両外部の状況に基づいてＡＲナビを優先して表示するか否かの判断が行われることとなるが、カメラの撮影方向が車両の進行方向とずれるような状況については考慮されていないため、ＡＲナビを適切に実行することができない場合があると言える。

本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、カメラの撮影方向と車両の進行方向との関係に基づいて、実写案内画像及び地図案内画像のいずれを優先して表示させるかを適切に切り替えることが可能な端末装置、端末装置によって実行される画像表示方法及び画像表示プログラムを提供することを目的とする。

請求項１に記載の発明は、移動体に取り付けられる端末装置であって、撮影手段と、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段と、を備える。

請求項８に記載の発明は、移動体に取り付けられ、撮影手段を有する端末装置によって実行される画像表示方法であって、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定工程と、前記判定工程での前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御工程と、を備える。

請求項９に記載の発明は、移動体に取り付けられ、撮影手段を有すると共にコンピュータを有する端末装置によって実行される画像表示プログラムであって、前記コンピュータを、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段、として機能させる。

請求項１０に記載の発明は、端末装置であって、撮影手段と、前記端末装置の傾きを検出する検出手段と、前記撮影手段の撮影方向と前記端末装置の傾きとの関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を優先して表示させる制御を行う表示制御手段と、を備える。

端末保持装置に保持された状態にある端末装置を示す。 端末ホルダを回転させた状態の例を示す。 端末装置の概略構成を示す。 車室内に設置された状態にある端末保持装置及び端末装置の一例を示す。 撮影方向と進行方向とのずれを判断する方法の具体例を説明するための図を示す。 ナビゲーションのアプリケーションを起動する場合に実行される処理フローを示す。 ＡＲナビの実行中に行われる処理フローを示す。 撮影方向と進行方向とのずれを判断する方法の一例を説明するための図を示す。 変形例５を説明するための図を示す。

本発明の１つの観点では、移動体に取り付けられる端末装置は、撮影手段と、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段と、を備える。

上記の端末装置は、移動体に取り付けられ、カメラなどの撮影手段によって移動体の前方を撮影する。また、端末装置は、現在地から目的地までの経路案内（ナビゲーション）を行う機能を有する。判定手段は、撮影手段の撮影方向と移動体の進行方向との関係に基づいて、撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う。具体的には、判定手段は、撮影方向と進行方向とのずれを判断することによって、このような判定を行う。そして、表示制御手段は、判定手段による判定結果に基づいて、実写案内画像及び地図案内画像のうちの一方の画像を表示させる制御を行う。上記の端末装置によれば、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。

上記の端末装置の一態様では、前記判定手段は、前記撮影方向と前記進行方向とのずれが所定範囲内である場合には前記実写案内画像を優先して表示させると判定し、前記ずれが前記所定範囲外である場合には前記地図案内画像を優先して表示させると判定する。

この態様によれば、撮影方向が進行方向からずれているような状況において、不適切な実写案内画像が表示されてしまうことを抑制することができる。つまり、適切な実写案内画像を表示できるような状況においてのみ、実写案内画像を優先的に切り替えて表示させることができる。

好適には、前記判定手段は、前記撮影画像に含まれる白線の画像に基づいて、前記撮影方向と前記進行方向とのずれを判断することができる。

また、好適には、前記判定手段は、前記端末装置及び／又は前記端末装置を保持可能に構成された保持装置に設けられたセンサの出力を取得し、当該センサの出力に基づいて、前記撮影方向と前記進行方向とのずれを判断することができる。

更に、好適には、判定手段は、上記のようなセンサの出力と、撮影画像に含まれる白線の画像の両方を考慮して、撮影方向と進行方向とのずれを判断することもできる。これにより、撮影方向と進行方向とのずれを精度良く判断することが可能となる。

上記の端末装置の他の一態様では、前記表示制御手段は、経路案内のための目的地が設定されていない場合には、前記地図案内画像を表示させる。これにより、ユーザは、地図案内画像を用いて目的地を設定することができる。

上記の端末装置の他の一態様では、前記表示制御手段は、前記判定手段が前記判定を行っている最中は、前記地図案内画像を表示させる。この態様では、適切な実写案内画像を表示できるか否かの判断が不確定である状況においては、ユーザの便宜の観点から、実写案内画像を表示させずに、地図案内画像を表示させることができる。

上記の端末装置の他の一態様では、前記表示制御手段は、前記実写案内画像を表示している際に前記端末装置に対する操作が行われた場合、前記実写案内画像から前記地図案内画像へ切り替える。この態様では、端末装置に対する操作が行われた場合には撮影方向が変わる傾向にあり、適切な実写案内画像を表示できない可能性があるため、表示画像を地図案内画像に切り替えることができる。

本発明の他の観点では、移動体に取り付けられ、撮影手段を有する端末装置によって実行される画像表示方法は、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定工程と、前記判定工程での前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御工程と、を備える。

また、本発明の他の観点では、移動体に取り付けられ、撮影手段を有すると共にコンピュータを有する端末装置によって実行される画像表示プログラムは、前記コンピュータを、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段、として機能させる。

上記の画像表示方法及び画像表示プログラムによっても、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。

本発明の更に他の観点では、端末装置は、撮影手段と、前記端末装置の傾きを検出する検出手段と、前記撮影手段の撮影方向と前記端末装置の傾きとの関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を優先して表示させる制御を行う表示制御手段と、を備える。

上記の端末装置によれば、ユーザが端末装置を携帯して利用する場合（例えば歩行者が端末装置を用いて経路案内を利用する場合）に、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。

上記の端末装置の一態様では、前記検出手段は、水平面に対する前記撮影手段の撮影方向の傾きを検出し、前記判定手段は、前記撮影方向の傾きが水平面に対して所定の範囲内である場合に、前記実写案内画像を優先して表示させ、前記撮影方向の傾きが水平面に対して所定の範囲外である場合に、前記地図案内画像を優先して表示させると判定する。

以下、図面を参照して本発明の好適な実施例について説明する。

［装置構成］
まず、本実施例に係る端末装置の構成について説明する。

図１は、端末保持装置１に保持された状態にある端末装置２を示している。図１（ａ）は正面図を示しており、図１（ｂ）は側面図を示しており、図１（ｃ）は背面図を示している。

端末保持装置１は、主に、ベース１１と、ヒンジ１２と、アーム１３と、基板ホルダ１５と、端末ホルダ１６とを備える。端末保持装置１は、いわゆるクレードルとして機能し、スマートフォンなどの端末装置２が取り付けられる。

ベース１１は、端末保持装置１を車両などの移動体に取り付ける際の土台として機能する。例えば、ベース１１の下面には粘着テープや吸盤などが設けられ、ベース１１はその粘着テープ等により車両のダッシュボードなどの設置面５に固定される。

アーム１３は、ヒンジ１２に固定されるとともに、ベース１１に対して回転可能に取り付けられている。ヒンジ１２の回転により、アーム１３は端末装置２の前後方向、つまり図１（ｂ）の矢印４１及び４２の方向に回動する。つまり、車両の設置面５に固定されたベース１１に対してヒンジ１２を介してアーム１３を回転させることにより、設置面５に対する基板ホルダ１５及び端末ホルダ１６の設置角度が調整可能となっている。

基板ホルダ１５は、カバー１５ａと、ボールリンク１５ｂと、センサ基板１５ｃと、センサ１５ｄとを備える。ボールリンク１５ｂは、アーム１３の上端に取り付けられており、アーム１３に対して基板ホルダ１５を任意の角度で保持する。カバー１５ａは、基板ホルダ１５の下端に設けられており、アーム１３に対する基板ホルダ１５の回転を規制する役割を有する。基板ホルダ１５の内部にはセンサ基板１５ｃが設けられており、センサ基板１５ｃにはセンサ１５ｄが設けられている。センサ１５ｄの好適な一例は、移動体の水平回りの角速度又は加速度の少なくとも一方を検出するジャイロセンサである。

端末ホルダ１６は、端末装置２を保持するホルダである。端末ホルダ１６は、コネクタ１６ａ及び配線１６ｂを有する。コネクタ１６ａは、端末ホルダ１６の前面、即ち端末装置２が設置される面の底部に設けられ、端末装置２を端末ホルダ１６に設置する際に、端末装置２のコネクタと接続される。コネクタ１６ａは、配線１６ｂによりセンサ基板１５ｃと電気的に接続されている。よって、センサ１５ｄによる検出信号は、センサ基板１５ｃ、配線１６ｂ及びコネクタ１６ａを通じて端末装置２へ供給される。

端末装置２は、端末装置２本体の前面側であり液晶表示パネルなどの表示部２５を有する前面２ａと、端末装置２本体の背面側の背面２ｂとを備える。通常、端末装置２は矩形の平板形状に構成されており、前面２ａと背面２ｂとが略平行に構成されている。

端末ホルダ１６は前面側に接触面１６ｃを有する。端末装置２を端末ホルダ１６に取り付けた際、接触面１６ｃは、端末装置２の背面２ｂに当接し、端末装置２の背面２ｂを支持する。なお、図１に示す例では、端末ホルダ１６の接触面１６ｃは、その全面が端末装置２の背面２ｂと接触するように構成されている。この代わりに、接触面１６ｃのうちの１カ所又は数カ所を部分的に突出させ、その突出した部分のみが端末装置２の背面２ｂに当接する構造としても構わない。

端末装置２の背面２ｂには、カメラ２９が設けられている。また、端末保持装置１の端末ホルダ１６には、端末装置２が端末保持装置１に保持された状態においてカメラ２９の対向する位置に、孔部１７が形成されている。孔部１７は、カメラ２９のレンズの径よりも大きな径に構成されている。これにより、端末装置２が端末保持装置１に保持された状態において、カメラ２９は、端末ホルダ１６の外壁に阻害されることなく、端末ホルダ１６の後ろ側を撮影することができる。具体的には、カメラ２９は車両の外部などを撮影する。

なお、図１に示す例では、端末ホルダ１６は、端末装置２の背面２ｂの略全面を覆うように構成され、端末装置２のカメラ２９の対向する位置に孔部１７が形成されている。この代わりに、端末装置２が端末保持装置１に保持された状態にて、端末装置２においてカメラ２９が設けられた位置よりも下方の面のみを覆うように、端末ホルダ１６を構成することができる。１つの例では、端末ホルダ１６の接触面１６ｃを、端末装置２のカメラ２９が設けられた位置よりも下方の位置まで延在するような形状（言い換えると、端末装置２のカメラ２９が設けられた位置よりも上方に接触面１６ｃが存在しないような形状）に構成することができる。このような他の例では、端末保持装置１に孔部１７を形成する必要はない。

また、図１に示す例では、端末装置２の背面２ｂの左右方向における略中心線上にカメラ２９が設けられているが、このような位置にカメラ２９を設けることに限定はされない。例えば、背面２ｂの左右方向における中心線からある程度離れた位置にカメラ２９を設けても良い。この場合には、端末ホルダ１６に孔部１７を形成する代わりに、端末装置２が端末保持装置１に保持された状態にて、端末装置２においてカメラ２９が設けられた位置を含む部分に切り欠き部を形成することとしても良い。

次に、基板ホルダ１５に対する端末ホルダ１６の回転機能について説明する。端末装置２を保持する端末ホルダ１６は、基板ホルダ１５に対して、９０度単位で回転可能である。即ち、図１（ａ）の状態を回転角０度とした場合、端末ホルダ１６は、時計回り又は反時計回りに０度、９０度、１８０度、２７０度の４つの角度に回転した状態で固定することが可能である。なお、回転角９０度毎に固定可能とした理由は、通常、端末装置２を見る際に、ユーザは表示部２５を縦長又は横長に配置した状態で使用するためである。なお、前述のように、端末装置２は通常、矩形の平板形状を有しており、「縦長に配置」とは、表示部２５の長手方向が縦となるような配置であり、「横長に配置」とは、表示部２５の長手方向が横となるような配置である。

図２に端末ホルダ１６を回転させた状態の例を示す。端末保持装置１を正面側から見た場合、図２（ａ）の状態から矢印の方向に端末ホルダ１６を９０度回転させると、図２（ｂ）に示す状態となる。また、端末保持装置１を背面側から見た場合、図２（ｃ）の状態から矢印の方向に端末ホルダを９０度回転させると、図２（ｄ）に示す状態となる。

構造的には、例えば基板ホルダ１５の略中央に回転軸（図示せず）を設け、この回転軸に対して端末ホルダ１６を固定することにより、基板ホルダ１５に対して端末ホルダ１６を回転可能とすることができる。また、基板ホルダ１５と端末ホルダ１６が相互に当接する面において、回転角９０度毎に相互にはまり合う凹凸又は溝と突起などを設けることにより、９０度毎の回転角位置において端末ホルダ１６を固定することができる。なお、このような構造は単なる一例であり、センサ基板１５ｃに対して端末ホルダ１６を回転角９０度毎に固定できれば、他の構造を採用しても構わない。

次に、図３は、端末装置２の構成を概略的に示している。図３に示すように、端末装置２は、主に、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、通信部２４と、表示部２５と、スピーカ２６と、マイク２７と、操作部２８と、カメラ２９とを有する。端末装置２は、スマートフォンなどの通話機能を有する携帯型端末装置である。例えば、端末装置２は、端末保持装置１に保持された状態で、車両の運転者が表示部２５を視認できるようなダッシュボード上の位置に設置される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１は、端末装置２全体についての制御を行う。例えば、ＣＰＵ２１は、地図情報などを取得して、目的地までの経路案内（ナビゲーション）を行うための処理を実行する。この場合、ＣＰＵ２１は、経路案内を行うための案内画像を表示部２５に表示させる。当該案内画像は、後述する実写案内画像又は地図案内画像が挙げられる。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２は、端末装置２を制御するための制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３は、操作部２６を介してユーザにより設定されたデータを読み出し可能に格納したり、ＣＰＵ２１に対してワーキングエリアを提供したりする。なお、端末装置２内にＲＯＭ２２やＲＡＭ２３以外の記憶部を設けて、当該記憶部に、地図情報や施設データなどの経路案内処理に用いられる各種データを記憶させておくこととしても良い。

通信部２４は、通信網を介して他の端末装置２と無線通信を行うことが可能に構成されている。また、通信部２４は、例えばＶＩＣＳセンタなどのサーバと無線通信を行うことが可能に構成されている。通信部２４は、このようなサーバから、例えば地図情報や渋滞情報などのデータを受信することができる。

表示部２５は、例えば液晶ディスプレイなどにより構成され、ユーザに対して文字、画像などを表示する。スピーカ２６は、ユーザに対する音声出力を行う。マイク２７は、ユーザによって発せられた音声などを集音する。

操作部２８は、端末装置２の筐体に設けられた操作ボタンやタッチパネル式入力装置などにより構成することができ、ユーザによる各種の選択、指示が入力される。なお、表示部２５がタッチパネル方式である場合には、表示部２５の表示画面上に設けられたタッチパネルも操作部２８として機能する。

カメラ２９は、例えばＣＣＤカメラにより構成され、図１に示したように端末装置２の背面２ｂに設けられている。基本的には、カメラ２９の光軸（レンズの中心から垂直方向に伸びる軸）の方向は、端末装置２の背面２ｂの垂直方向（言い換えると法線方向）に一致する。なお、カメラ２９を、端末装置２の背面２ｂだけでなく、端末装置２の前面２ａにも設けても良い。

なお、カメラ２９は本発明における撮影手段の一例に相当し、ＣＰＵ２１は本発明における判定手段及び表示制御手段の一例に相当する（詳細は後述する）。

次に、図４は、車両３の車室内に設置された状態にある端末保持装置１及び端末装置２の一例を示している。図４に示すように、端末保持装置１は車両３のダッシュボードなどの設置面５に固定され、このように固定された状態にある端末保持装置１によって端末装置２が保持される。また、図４中の破線で示すように、端末装置２は、カメラ２９によって、車両３の進行方向を撮影する。

本明細書では、カメラ２９の「撮影方向」は、カメラ２９が向いている方向を意味し、より詳しくはカメラ２９のレンズにおける光軸の方向に相当する。また、本明細書では、車両３の「進行方向」とは、車両３の前後方向（具体的には前方方向）を意味するものとする。この「進行方向」は、車両３が実際に進行している方向だけでなく、車両３が進行するであろう方向（車両３が進行すると予想される方向）も含むものとする。つまり、「進行方向」を定義する上で、車両３は必ずしも走行している必要はなく、車両３は停止していても良い。

［表示制御方法］
次に、本実施例に係る表示制御方法について説明する。本実施例では、端末装置２内のＣＰＵ２１は、目的地への経路案内を行う場合において、カメラ２９による撮影画像（実写画像）を用いた実写案内画像と、地図情報を用いた地図案内画像（以下、「通常地図画像」とも呼ぶ。）との間で、表示画像を切り替える処理を行う。言い換えると、ＣＰＵ２１は、経路案内を行う場合に、カメラ２９による撮影画像を用いたＡＲナビと、地図情報などを用いた通常のナビゲーション（以下、単に「通常ナビ」とも呼ぶ。）との間で、実行するナビゲーションの種類を切り替える。この場合、ＣＰＵ２１は、カメラ２９の撮影方向と車両３の進行方向との関係に基づいて、このような切り替えを行う。

なお、「地図案内画像（通常地図画像）」は、地図情報に基づいて生成される、車両３の位置周辺の地図画像に相当する。また、「地図案内画像（通常地図画像）」は、経路案内のための画像（例えば探索された道路が目立つように示された画像など）が当該地図画像上に表示された画像、及び、このような経路案内のための画像が表示されていない、単に当該地図画像が表示された画像の両方を含むものとする。

ここで、上記のような切り替えを行う理由について簡単に説明する。前述したように、端末保持装置１を介して端末装置２を車両３に設置した状態で、端末装置２のカメラ２９によって撮影された車両前方の画像を用いて経路案内を行う「ＡＲナビ」が知られている。ＡＲナビは、カメラ２９による撮影画像の上に、目的地までの方向や距離などの経路案内のための画像を重ねて表示させるものである（このような表示画像が、上記した「実写案内画像」に相当する）。そのため、ＡＲナビを適切に行うためには、カメラ２９の撮影方向が車両３の進行方向に一致していることが望ましいと言える。つまり、カメラ２９の撮影方向が車両３の進行方向からずれている場合には、ＡＲナビを適切に行うことが困難になるものと考えられる。

本実施例では、以上説明した内容を勘案して、ＡＲナビを適切に行えないような状況において、具体的にはカメラ２９の撮影方向が車両３の進行方向からずれていると判断できるような状況において、ＡＲナビが実行されないようにする、つまり実写案内画像が表示されないようにする。これを実現すべく、端末装置２内のＣＰＵ２１は、カメラ２９の撮影方向と車両３の進行方向とのずれに基づいて、実写案内画像と地図案内画像とのいずれを優先して表示させるかを判定する、言い換えるとＡＲナビと通常ナビとのいずれを優先して実行すべきかを判定する。具体的には、ＣＰＵ２１は、撮影方向と進行方向とのずれが所定範囲内と判断される場合には、実写案内画像を優先して表示させると決定し、撮影方向と進行方向とのずれが所定範囲外と判断される場合には、地図案内画像を優先して表示させると決定する。なお、当該判断に用いられる「所定範囲」は、例えば、ＡＲナビを適切に行えるか否かの観点に基づいて予め設定される。

次に、カメラ２９の撮影方向と車両３の進行方向とのずれを判断する方法の具体例について説明する。

端末装置２内のＣＰＵ２１は、カメラ２９による撮影画像に対して画像処理を行うことで、撮影画像内における道路上の白線の画像を認識し、当該白線の画像に基づいて、カメラ２９の撮影方向と車両３の進行方向とのずれを判断する。１つの例では、ＣＰＵ２１は、車両３が走行開始してからある程度の距離を走行した後に得られた複数の撮影画像を用い、複数の撮影画像内の白線の画像の変化に基づいて、撮影方向と進行方向とのずれについての判断を行う。この例では、ＣＰＵ２１は、複数の撮影画像において白線の画像がほとんど変化していない場合（例えば白線の位置や角度などの変化量が所定値未満である場合）には、撮影方向が進行方向からほとんどずれていないと判断する。この場合には、ＣＰＵ２１は、撮影方向と進行方向とのずれが所定範囲内と判断し、実写案内画像を優先して表示させると決定する。

これに対して、ＣＰＵ２１は、複数の撮影画像において白線の画像が変化している場合（例えば白線の位置や角度などの変化量が所定値以上である場合）には、撮影方向が進行方向からずれていると判断する。また、ＣＰＵ２１は、複数の撮影画像内に白線の画像が含まれていない場合には、撮影方向が進行方向からずれていると判断する。このような場合には、ＣＰＵ２１は、撮影方向と進行方向とのずれが所定範囲外と判断し、地図案内画像を優先して表示させると決定する。

次に、図５を参照して、上記した撮影方向と進行方向とのずれを判断する方法の適用例について説明する。図５（ａ）及び図５（ｂ）は、カメラ２９による撮影画像の一例を示す図である。具体的には、図５（ａ）は、カメラ２９の撮影方向が車両３の進行方向からほとんどずれていない場合（つまりカメラ２９の撮影方向が車両３の進行方向に概ね一致している場合）に撮影された撮影画像の一例を示しており、図５（ｂ）は、カメラ２９の撮影方向が車両３の進行方向からずれている場合に撮影された撮影画像の一例を示している。

図５（ａ）に示すような撮影画像が得られた場合には、撮影画像内の白線の画像５０がほとんど変化しないため、ＣＰＵ２１は、撮影方向と進行方向とのずれが所定範囲内と判断する。これに対して、図５（ｂ）に示すような撮影画像が得られた場合には、撮影画像内に白線の画像が含まれていないため、ＣＰＵ２１は、撮影方向と進行方向とのずれが所定範囲外と判断する。なお、図５（ａ）及び図５（ｂ）に示したような撮影画像は、撮影方向と進行方向とのずれを判断するために用いられ、基本的には、当該判断が行われている最中には表示部２５に表示されない。

以上説明したように、本実施例によれば、カメラ２９の撮影方向と車両３の進行方向とのずれを適切に判断することによって、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。これにより、カメラ２９の撮影方向が車両３の進行方向からずれているような状況において、不適切な実写案内画像が表示されてしまうことを抑制することができる。つまり、本実施例によれば、適切な実写案内画像を表示できるような状況においてのみ、実写案内画像を優先的に切り替えて表示させることができる。

なお、上記のように、複数の撮影画像内の白線の変化に基づいて、撮影方向と進行方向とのずれを判断することに限定はされない。他の例では、撮影画像内の白線の位置や角度に基づいて、撮影方向と進行方向とのずれについての判断を行うことができる。この例では、ＣＰＵ２１は、白線が撮影画像の所定範囲内に位置する場合や、白線の傾きが所定範囲内の角度である場合には、撮影方向と進行方向とのずれが所定範囲内と判断する。これに対して、ＣＰＵ２１は、白線が撮影画像の所定範囲内に位置しない場合や、白線の傾きが所定範囲内の角度でない場合には、撮影方向と進行方向とのずれが所定範囲外と判断する。

なお、上記のようにして、撮影方向と進行方向とのずれに基づいて優先的に表示させる決定がされた場合であっても、ユーザによる設定などによっては、優先的に表示させる決定がされた案内画像が表示されない場合もある。例えば、ＣＰＵ２１は、撮影方向と進行方向とのずれが所定範囲内であるため実写案内画像を優先して表示させると決定した場合であっても、自動的にＡＲナビに切り替える設定がオフにされている場合には、実写案内画像を表示させずに、地図案内画像を表示させる。

［処理フロー］
次に、図６及び図７を参照して、本実施例においてＣＰＵ２１によって実行される処理フローについて説明する。

図６は、本実施例において、ナビゲーション（ＡＲナビ又は通常ナビ）のアプリケーションを起動する場合に実行される処理フローを示す。なお、当該処理フローは、端末装置２内のＣＰＵ２１がＲＯＭ２２などに記憶されたプログラムを実行することにより実現される。

まず、ステップＳ１０１では、ＣＰＵ２１は、通常地図画像を表示部２５に表示させる。具体的には、ＣＰＵ２１は、通信部２４を介してサーバから取得された地図情報や、記憶部に記憶された地図情報などに基づいて、通常地図画像を生成して表示部２５に表示させる。このように処理フローの開始時に実写案内画像でなく通常地図画像を表示させるのは、例えば目的地の設定などの操作を通常地図画像上で行わせるためである。また、処理フローの開始時においては、実写案内画像を表示させる必要性は特にないと考えられるからである。ステップＳ１０１の後、処理はステップＳ１０２に進む。

ステップＳ１０２では、ＣＰＵ２１は、端末装置２が端末保持装置１に取り付けられたか否かを判定する。例えば、端末装置２の取り付け及び取り外しを検出するセンサを端末保持装置１などに設けておき、ＣＰＵ２１は、当該センサからの出力信号を取得して、ステップＳ１０２の判定を行うことができる。端末装置２が端末保持装置１に取り付けられた場合（ステップＳ１０２；Ｙｅｓ）、処理はステップＳ１０３に進み、端末装置２が端末保持装置１に取り付けられていない場合（ステップＳ１０２；Ｎｏ）、処理はステップＳ１０２に戻る。

ステップＳ１０３では、ＣＰＵ２１は、目的地の設定が行われたか否かを判定する。具体的には、ＣＰＵ２１は、ユーザが操作部２８などを操作することで目的地の入力を行ったか否かを判定する。このような判定を行うのは、目的地の設定は、経路案内を開始するための条件の１つとなっているからである。目的地が設定されている場合（ステップＳ１０３；Ｙｅｓ）、処理はステップＳ１０６に進み、目的地が設定されていない場合（ステップＳ１０３；Ｎｏ）、処理はステップＳ１０３に戻る。

なお、ステップＳ１０２の判定とステップＳ１０３の判定とを、実行する順序を逆にしても良い。つまり、目的地の設定が行われたか否かを判定した後に（具体的には目的地が設定されていると判定された場合に）、端末装置２が端末保持装置１に取り付けられたか否かを判定することとしても良い。

ステップＳ１０６では、ＣＰＵ２１は、ＡＲナビ自動切り替え設定がオンとなっているか否かを判定する。つまり、ＣＰＵ２１は、ユーザによって、自動的にＡＲナビに切り替える設定がなされているか否かを判定する。ＡＲナビ自動切り替え設定がオンである場合（ステップＳ１０６；Ｙｅｓ）、処理はステップＳ１０７に進む。

ステップＳ１０７では、ＣＰＵ２１は、カメラ２９を制御することで撮影を行わせる。そして、ＣＰＵ２１は、カメラ２９によって撮影された撮影画像を取得する。この後、処理はステップＳ１０８に進む。なお、ＣＰＵ２１は、ＡＲナビを起動するまでは、撮影画像を表示部２５に表示させずに、内部で撮影画像に対する画像処理を行う。つまり、撮影画像は、後述するカメラ２９の撮影方向と車両３の進行方向とのずれを判断する処理を行う際に用いられるが、ＣＰＵ２１は、このような処理を行っている最中には撮影画像を表示させない。この最中には、ＣＰＵ２１は、通常地図画像を表示させる。

ステップＳ１０８では、ＣＰＵ２１は、通常ナビで経路案内を開始する。具体的には、ＣＰＵ２１は、地図情報などに基づいて現在地から目的地までの経路探索を行い、探索された経路に基づいた地図案内画像（通常地図画像）を表示部２５に表示させる。このように、ＡＲナビ自動切り替え設定がオンであるにも関わらず、通常ナビで経路案内を開始しているのは、現段階ではＡＲナビを適切に行えるか否かの判断が不確定であるからである。つまり、ＡＲナビを適切に行えるかの判断が不確定である状況においては、ユーザの便宜を考えると、実写案内画像を表示させるよりも、通常の地図案内画像を表示させたほうが望ましいと考えられるからである。ステップＳ１０８の後、処理はステップＳ１０９に進む。

なお、ステップＳ１０７の処理とステップＳ１０８の処理とを、実行する順序を逆にしても良いし、ステップＳ１０７の処理とステップＳ１０８の処理とを同時に行っても良い。つまり、通常ナビで経路案内を開始した後にカメラ２９で撮影することとしても良いし、通常ナビで経路案内を開始すると同時にカメラ２９で撮影することとしても良い。

ステップＳ１０９では、ＣＰＵ２１は、カメラ２９の撮影方向が車両３の進行方向に概ね一致しているか否かを判定する。言い換えると、ＣＰＵ２１は、カメラ２９の撮影方向と車両３の進行方向とのずれが所定範囲内であるか否かを判定する。例えば、ＣＰＵ２１は、上記したように、撮影画像に対して画像処理を行うことで撮影画像内の道路上に存在する白線の画像を認識し、当該白線の画像に基づいて撮影方向と進行方向とのずれについての判定を行う。この例では、ＣＰＵ２１は、車両３がある程度の距離を走行した際に得られた複数の撮影画像を用い、複数の撮影画像内の白線の変化に基づいて、撮影方向と進行方向とのずれについての判定を行う。ＣＰＵ２１は、複数の撮影画像において白線の画像がほとんど変化していない場合には、撮影方向が進行方向に概ね一致していると判定する（ステップＳ１０９；Ｙｅｓ）、言い換えると撮影方向と進行方向とのずれが所定範囲内と判断する。この場合には、ＣＰＵ２１は、ＡＲナビを適切に行える状況であると判断し、ＡＲナビを起動する（ステップＳ１１１）。具体的には、ＣＰＵ２１は、カメラ２９による撮影画像の上に、経路案内するための画像を重ねて示した実写案内画像を表示部２５に表示させる。そして、処理は終了する。

これに対して、ＣＰＵ２１は、複数の撮影画像において白線の画像が変化している場合には、撮影方向が進行方向からずれていると判定する（ステップＳ１０９；Ｎｏ）、言い換えると撮影方向と進行方向とのずれが所定範囲外と判断する。この場合には、ＣＰＵ２１は、通常ナビによる経路案内を継続する（ステップＳ１１０）。言い換えると、ＣＰＵ２１は、通常地図画像を継続して表示させる。そして、処理はステップＳ１０９に戻る。つまり、撮影方向が進行方向に概ね一致するまで、具体的にはユーザによる撮影方向の調整によって撮影方向が進行方向に概ね一致するまで、ステップＳ１０９及びＳ１１０の処理が繰り返し実行される。ユーザは、ＡＲナビ自動切り替え設定をオンに設定したにも関わらず、通常地図画像が継続されて表示されている場合には、撮影方向が進行方向に概ね一致していないと判断して、撮影方向の調整を行うことができる。つまり、ユーザは、表示されている案内画面の種類を確認しながら、撮影方向の調整を行うことができる。

一方で、ＡＲナビ自動切り替え設定がオンでない場合（ステップＳ１０６；Ｎｏ）、処理はステップＳ１１２に進む。ステップＳ１１２では、ＣＰＵ２１は、上記のステップＳ１０８と同様の手順で、通常ナビで経路案内を開始する。そして、処理は終了する。なお、このような通常ナビは、車両３が目的地に到着するまで実行される。

次に、図７を参照して、ＡＲナビの実行中に行われる処理フローについて説明する。具体的には、当該処理フローは、上記したステップＳ１１１の後に実行される。なお、当該処理フローも、端末装置２内のＣＰＵ２１がＲＯＭ２２などに記憶されたプログラムを実行することにより実現される。

まず、ステップＳ２０１では、ＣＰＵ２１は、ユーザによって、端末装置２に対する操作が行われたか否かを判定する。つまり、ＣＰＵ２１は、ＡＲナビの実行中に、ユーザによって操作部２８などに対する操作が行われたか否かを判定する。例えば、実写案内画像から通常地図画像へ切り替えるための切り替えボタンを押し下げる操作や、目的地を再設定するためのボタンを押し下げる操作などが行われたか否かを判定する。端末装置２に対する操作が行われた場合（ステップＳ２０１；Ｙｅｓ）、処理はステップＳ２０２に進む。

ステップＳ２０２では、ＣＰＵ２１は、ＡＲナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える。こうする理由は以下の通りである。まず、実写案内画像から通常地図画像へ切り替えるための切り替えボタンが押し下げられた場合には、速やかに実写案内画像から通常地図画像へ切り替えるべきと考えられるからである。また、当該切り替えボタンの代わりに、目的地を再設定するためのボタンが押し下げられた場合には、目的地の再設定などの操作を通常地図画像上で行わせることが望ましいと考えられるからである。更に、端末装置２における全てのボタンが操作された場合に言えることとして、端末装置２に対する操作が行われると、カメラ２９の撮影方向が変わることで、撮影方向が進行方向からずれる傾向にあるからである。つまり、適切な実写案内画像を表示できない可能性があるからである。

ステップＳ２０２の後、処理は図６に示したステップＳ１０３に進む。この場合には、図６に示した手順と同様の手順で、ステップＳ１０３以降の処理が行われる。こうしているのは、上記したような端末装置２に対する操作が行われた場合には、目的地の設定が行われたか否かの判定（ステップＳ１０３）や、カメラ２９の撮影方向が車両３の進行方向に概ね一致しているか否かの判定（ステップＳ１０９）などを、再度行うことが望ましいからである。つまり、上記したような端末装置２に対する操作が行われた場合には、目的地の設定や、端末保持装置１の傾きの調整や、カメラ２９の撮影方向の調整などを、ユーザに再度行わせることが望ましいからである。

一方、端末装置２に対する操作が行われていない場合（ステップＳ２０１；Ｎｏ）、処理はステップＳ２０３に進む。ステップＳ２０３では、ＣＰＵ２１は、端末装置２が端末保持装置１から取り外されたか否かを判定する。例えば、端末装置２の取り付け及び取り外しを検出するセンサを端末保持装置１などに設けておき、ＣＰＵ２１は、当該センサからの出力信号を取得して、ステップＳ２０３の判定を行うことができる。端末装置２が端末保持装置１から取り外された場合（ステップＳ２０３；Ｙｅｓ）、処理はステップＳ２０４に進む。

ステップＳ２０４では、ＣＰＵ２１は、ＡＲナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える。こうするのは、端末装置２が端末保持装置１から取り外された場合には、ユーザが実写案内画像を参照して経路案内を利用することは考え難いからである、つまり実写案内画像を表示させる必要性は特にないと考えられるからである。

ステップＳ２０４の後、処理は図６に示したステップＳ１０２に進む。つまり、端末装置２が端末保持装置１に取り付けられたか否かの判定（ステップＳ１０２）が再度行われる。そして、端末装置２が端末保持装置１に取り付けられた場合（ステップＳ１０２；Ｙｅｓ）、図６に示した手順と同様の手順で、ステップＳ１０３以降の処理が行われる。こうしているのは、端末装置２が端末保持装置１から取り外された後に端末保持装置１に取り付けられた場合には、目的地の設定が行われたか否かの判定（ステップＳ１０３）や、端末保持装置１が地面に対して略水平又は略垂直であるか否かの判定（ステップＳ１０４）や、カメラ２９の撮影方向が車両３の進行方向に概ね一致しているか否かの判定（ステップＳ１０９）などを、再度行うことが望ましいからである。つまり、端末装置２が端末保持装置１から取り外された後に端末保持装置１に取り付けられた場合には、端末保持装置１の傾きの調整や、カメラ２９の撮影方向の調整などを、ユーザに再度行わせることが望ましいからである。

一方、端末装置２が端末保持装置１から取り外されていない場合（ステップＳ２０３；Ｎｏ）、処理はステップＳ２０５に進む。ステップＳ２０５では、ＣＰＵ２１は、車両３が目的地に到着したか否かを判定する。目的地に到着した場合（ステップＳ２０５；Ｙｅｓ）、ＣＰＵ２１は、ＡＲナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える（ステップＳ２０６）。この後、処理は終了する。これに対して、目的地に到着していない場合（ステップＳ２０５；Ｎｏ）、処理はステップＳ２０１に戻る。

以上説明した処理フローによれば、実写案内画像及び地図案内画像（通常地図画像）のうちで表示させる案内画像を適切に切り替えることができる。具体的には、ユーザが切り替え操作することなく、状況に応じた適切な案内画面を優先的に自動的に切り換えて表示させることができる。

［変形例］
以下では、上記した実施例の変形例について説明する。

（変形例１）
上記では、撮影画像内における道路上の白線の画像に基づいて撮影方向と進行方向とのずれを判断する例を示した。変形例１では、撮影画像内の白線を用いる代わりに、撮影画像内で道路の画像が占める割合に基づいて、撮影方向と進行方向とのずれを判断する。具体的には、変形例１では、ＣＰＵ２１は、撮影画像を画像分析することで撮影画像内で道路の画像が占める割合を求め、求められた割合と所定値とを比較することで、撮影方向と進行方向とのずれを判断する。ＣＰＵ２１は、求められた割合が所定値以上であれば、撮影方向と進行方向とのずれが所定範囲内と判断して、実写案内画像を優先して表示させると決定する。これに対して、ＣＰＵ２１は、求められた割合が所定値未満であれば、撮影方向と進行方向とのずれが所定範囲外と判断して、地図案内画像を優先して表示させると決定する。

（変形例２）
変形例２では、撮影画像内の白線や、撮影画像内で道路が占める割合を用いる代わりに、撮影画像内での道路の画像の位置に基づいて、撮影方向と進行方向とのずれを判断する。具体的には、変形例２では、ＣＰＵ２１は、撮影画像を画像分析することで撮影画像内における道路の画像を認識し、当該道路の画像が撮影画像の所定範囲内に位置するか否かによって、撮影方向と進行方向とのずれを判断する。ＣＰＵ２１は、道路の画像が撮影画像の所定範囲内に位置する場合、例えば道路の画像が撮影画像の概ね中央の領域に位置する場合、撮影方向と進行方向とのずれが所定範囲内と判断して、実写案内画像を優先して表示させると決定する。これに対して、ＣＰＵ２１は、道路の画像が撮影画像の所定範囲内に位置しない場合、例えば道路の画像が撮影画像の端の領域に位置する場合、撮影方向と進行方向とのずれが所定範囲外と判断して、地図案内画像を優先して表示させると決定する。

（変形例３）
変形例３では、上記した実施例及び変形例１、２のように撮影画像を画像分析することで撮影方向と進行方向とのずれを判断する代わりに、端末装置２及び／又は端末保持装置１に設けられたセンサの出力に基づいて、撮影方向と進行方向とのずれを判断する。具体的には、変形例３では、ＣＰＵ２１は、車両３の走行状態（速度、加速度、位置など）を検出するセンサの出力に基づいて、撮影方向と進行方向とのずれを判断する。１つの例では、ＣＰＵ２１は、端末保持装置１に設けられ、少なくとも２次元方向の速度を検出可能なセンサ（直接的に速度を検出するセンサに限られず、間接的に速度を検出可能なセンサも含む）の出力に基づいて進行方向を求めることで、撮影方向と進行方向とのずれを判断する。

ここで、図８を参照して、撮影方向と進行方向とのずれを判断する方法の一例について説明する。

図８（ａ）は、端末保持装置１に保持された状態にある端末装置２を上方から観察した図を示している。なお、図８（ａ）では、説明の便宜上、端末保持装置１及び端末装置２を簡略化して図示している。図８（ａ）に示すように、端末保持装置１の基板ホルダ１５内にはセンサ１５ｄが設けられている。センサ１５ｄは、２次元方向の加速度を検出可能に構成された加速度センサ（言い換えるとＧセンサ）である。以下では、「センサ１５ｄ」を「加速度センサ１５ｄ」と表記する。前述したように、端末装置２が端末保持装置１に保持された状態（詳しくは端末装置２のコネクタと端末ホルダ１６内のコネクタ１６ａとが接続された状態）において、加速度センサ１５ｄの出力信号は、基板ホルダ１５内のセンサ基板１５ｃ、端末ホルダ１６内の配線１６ｂ及びコネクタ１６ａを通じて端末装置２へ供給される。この場合、端末装置２内のＣＰＵ２１が、加速度センサ１５ｄの出力信号を取得する。

具体的には、加速度センサ１５ｄは、図８（ａ）に示すようなＸ方向の加速度及びＹ方向の加速度を検出する。加速度センサ１５ｄは、端末保持装置１に固定され、端末保持装置１に取り付けられる端末装置２のカメラ２９との位置関係は一定であるので、加速度センサ１５ｄが加速度を検出するＸ方向及びＹ方向とカメラ２９の撮影方向とは一定の関係にある。なお、図８（ａ）に示すように、Ｘ方向と撮影方向とが一致するように構成されているものとする。

図８（ｂ）は、図８（ａ）と同様に、端末保持装置１に保持された状態にある端末装置２を示しているが、ここでは、端末装置２が車両３の進行方向を向いていない状態、つまりカメラ２９の撮影方向が車両３の進行方向に一致していない状態の図を示している。端末保持装置１に端末装置２が保持された状態においては、端末保持装置１の向きは端末装置２の向きに一致する。そのため、端末保持装置１内の加速度センサ１５ｄによって、端末装置２の向き（具体的には端末装置２内のカメラ２９の撮影方向）を適切に検出することができると言える。

図８（ｃ）は、図８（ｂ）中の加速度センサ１５ｄのみを図示したものである。加速度センサ１５ｄは、図８（ｃ）に示すようなＸ方向及びＹ方向についての２次元方向の加速度を検出する。Ｘ方向は、カメラ２９の撮影方向に対応する。車両３の進行方向に対してカメラ２９の撮影方向がずれていると、加速度センサ１５ｄによって検出されるＸ方向の加速度とＹ方向の加速度との比から、車両３の進行方向に対するカメラ２９の撮影方向（Ｘ方向）のずれ角θを算出することができる。ずれ角θは、以下の式（１）より算出することができる。
ずれ角θ＝ａｒｃｔａｎ（Ｙ方向の加速度／Ｘ方向の加速度） 式（１）
具体的には、ずれ角θは、端末装置２内のＣＰＵ２１によって算出される。この場合、ＣＰＵ２１は、加速度センサ１５ｄによって検出されたＸ方向の加速度及びＹ方向の加速度に対応する出力信号を取得し、当該出力信号に基づいてずれ角θを算出する。

そして、ＣＰＵ２１は、ずれ角θが所定角度未満である場合には、カメラ２９の撮影方向と車両３の進行方向とのずれが所定範囲内であると判定し、ずれ角θが当該所定角度以上である場合には、カメラ２９の撮影方向と車両３の進行方向とのずれが所定範囲外であると判定する。

なお、上記のように加速度センサ１５ｄなどのセンサの出力のみに基づいて撮影方向と進行方向とのずれを判断することに限定はされず、センサの出力だけでなく、実施例及び変形例１、２のように撮影画像を画像分析した結果に基づいて、撮影方向と進行方向とのずれを判断しても良い。つまり、センサの出力と、実施例及び変形例１、２のいずれか１以上の手法によって撮影画像を画像分析した結果とを組み合わせて用いて、撮影方向と進行方向とのずれを判断しても良い。こうすることで、撮影方向は進行方向に概ね一致しているが、カメラ２９の前に障害物がある場合などにおいて、誤って実写案内画像から地図案内画像へ切り替えられてしまうことを防止することが可能となる。

（変形例４）
変形例４では、ＣＰＵ２１は、ＡＲナビの実行中に、定期的に（つまり所定周期で繰り返し）、撮影方向と進行方向とのずれに対する判定を行うことで、実写案内画像と地図案内画像とを切り替える表示制御を行う。これにより、撮影方向と進行方向とのずれが生じた際に、速やかに実写案内画像から地図案内画像へ切り替えることができる。

（変形例５）
上記した実施例は、本発明を、端末保持装置１に搭載された状態にある端末装置２（つまり、端末保持装置１を介して移動体に搭載された状態にある端末装置２）に対して適用したものであった。これに対して、変形例５は、ユーザが単に携帯する端末装置２に対して適用されるものである。例えば、変形例５は、歩行者が端末装置２を用いて経路案内を利用する場合に適用される。

図９を参照して、変形例５について具体的に説明する。図９（ａ）に示すように、ユーザが歩行中などに実写案内画像によるＡＲナビを利用する場合には、カメラ２９の撮影方向が略水平であることが望ましいので、ユーザは端末装置２を縦にする傾向にある。つまり、ユーザは、端末装置２の傾きを地面に対して略垂直にした状態で、端末装置２を利用する傾向にある。これに対して、図９（ｂ）に示すように、ユーザが歩行中などに地図案内画像による通常ナビを利用する場合には、地図案内画像を見やすくするために（その他の理由としては、図９（ａ）のように縦にした状態で保持すると疲れるといった理由が挙げられる）、ユーザは端末装置２を寝かせる傾向にある。つまり、ユーザは、端末装置２の傾きを地面に対して水平に近付けた状態で、端末装置２を利用する傾向にある。

以上のことから、変形例５では、端末装置２のＣＰＵ２１は、カメラ２９の撮影方向と端末装置２の傾きとの関係に基づいて、実写案内画像と地図案内画像とのいずれを優先して表示させるかを判定する、言い換えるとＡＲナビと通常ナビとのいずれを優先して実行すべきかを判定する。具体的には、ＣＰＵ２１は、カメラ２９の撮影方向の傾きが水平面に対して所定の範囲内である場合には、実写案内画像を優先して表示させると決定し、カメラ２９の撮影方向の傾きが水平面に対して所定の範囲外である場合には、地図案内画像を優先して表示させると決定する。

なお、このような判定に用いられる「所定の範囲」は、実際の歩行者によるＡＲナビ及び通常ナビの利用時における端末装置２の傾きを勘案して予め設定される。また、ＣＰＵ２１は、移動体の水平回りの角速度又は加速度の少なくとも一方を検出するセンサ１５ｄ（ジャイロセンサ）の出力に基づいて、カメラ２９の撮影方向の傾きを求める。

（変形例６）
上記では本発明を車両に適用する例を示したが、本発明の適用はこれに限定されない。本発明は、車両の他に、船や、ヘリコプターや、飛行機などの種々の移動体に適用することができる。

以上に述べたように、実施例は、上述した実施例に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能である。

本発明は、通話機能を有する携帯電話や、経路案内を行うナビゲーション装置に利用することができる。

１ 端末保持装置
２ 端末装置
３ 車両
１５ 基板ホルダ
１６ 端末ホルダ
２１ ＣＰＵ
２５ 表示部
２８ 操作部
２９ カメラ

Claims (11)

1. 移動体に取り付けられる端末装置であって、
   撮影手段と、
   前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、
   前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段と、を備えることを特徴とする端末装置。
2. 前記判定手段は、前記撮影方向と前記進行方向とのずれが所定範囲内である場合には前記実写案内画像を優先して表示させると判定し、前記ずれが前記所定範囲外である場合には前記地図案内画像を優先して表示させると判定することを特徴とする請求項１に記載の端末装置。
3. 前記判定手段は、前記撮影画像に含まれる白線の画像に基づいて、前記撮影方向と前記進行方向とのずれを判断することを特徴とする請求項２に記載の端末装置。
4. 前記判定手段は、前記端末装置及び／又は前記端末装置を保持可能に構成された保持装置に設けられたセンサの出力を取得し、当該センサの出力に基づいて、前記撮影方向と前記進行方向とのずれを判断することを特徴とする請求項２又は３に記載の端末装置。
5. 前記表示制御手段は、経路案内のための目的地が設定されていない場合には、前記地図案内画像を表示させることを特徴とする請求項１乃至４のいずれか一項に記載の端末装置。
6. 前記表示制御手段は、前記判定手段が前記判定を行っている最中は、前記地図案内画像を表示させることを特徴とする請求項１乃至５のいずれか一項に記載の端末装置。
7. 前記表示制御手段は、前記実写案内画像を表示している際に前記端末装置に対する操作が行われた場合、前記実写案内画像から前記地図案内画像へ切り替えることを特徴とする請求項１乃至６のいずれか一項に記載の端末装置。
8. 移動体に取り付けられ、撮影手段を有する端末装置によって実行される画像表示方法であって、
   前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定工程と、
   前記判定工程での前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御工程と、を備えることを特徴とする画像表示方法。
9. 移動体に取り付けられ、撮影手段を有すると共にコンピュータを有する端末装置によって実行される画像表示プログラムであって、
   前記コンピュータを、
   前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段、
   前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段、として機能させることを特徴とする画像表示プログラム。
10. 端末装置であって、
    撮影手段と、
    前記端末装置の傾きを検出する検出手段と、
    前記撮影手段の撮影方向と前記端末装置の傾きとの関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、
    前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を優先して表示させる制御を行う表示制御手段と、を備えることを特徴とする端末装置。
11. 前記検出手段は、水平面に対する前記撮影手段の撮影方向の傾きを検出し、
    前記判定手段は、前記撮影方向の傾きが水平面に対して所定の範囲内である場合に、前記実写案内画像を優先して表示させ、前記撮影方向の傾きが水平面に対して所定の範囲外である場合に、前記地図案内画像を優先して表示させると判定することを特徴とする請求項１０に記載の端末装置。

Images