JP5036895B2 - Terminal, an image display method and image display program executed by a terminal device - Google Patents

Terminal, an image display method and image display program executed by a terminal device

Info

Publication number
JP5036895B2
JP5036895B2 JP2011170118A JP2011170118A JP5036895B2 JP 5036895 B2 JP5036895 B2 JP 5036895B2 JP 2011170118 A JP2011170118 A JP 2011170118A JP 2011170118 A JP2011170118 A JP 2011170118A JP 5036895 B2 JP5036895 B2 JP 5036895B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011170118A
Other languages
Japanese (ja)
Other versions
JP2012108097A (en )
Inventor
秀昌 ▲高▼橋
聡 伊藤
竜 横山
雅也 橋田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Description

本発明は、経路案内機能を有する端末装置に関する。 The present invention relates to a terminal device having a route guidance function.

この種の技術が、例えば特許文献1及び2に記載されている。 This type of technology is, for example, described in Patent Documents 1 and 2. 特許文献1には、ナビゲーション機能付き携帯端末装置において、車内に装備されているハンズフリー機器に携帯端末装置が接続された際に、ナビゲーション機能を選択的に起動させる技術が記載されている。 Patent Document 1 discloses a portable terminal device with a navigation function, when the portable terminal device to the hands-free device is equipped in the vehicle is connected, a technique for starting the navigation function selectively are described. 特許文献2には、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替える技術が記載されている。 Patent Document 2, in accordance with the states outside the vehicle, is described automatically switches technique or to view in favor of one of the photographed image showing the map image or outside the vehicle state using the map information . 車両外部の状況としては、前方障害物(車両等)による遮蔽度や、外部の明るさや、雨や、霧や、先行車両までの距離や、道路の属性や、目印(信号、コンビニ等)の有無などが挙げられている。 The state outside the vehicle, the front obstacle or degree of blocking caused by an (vehicle or the like), the brightness and external, or rain, or fog, and the distance to the preceding vehicle, and the road attributes, landmarks (signal, convenience stores) the presence or absence and the like have been cited.

特開2007−163386号公報 JP 2007-163386 JP WO2007−129382号公報 WO2007-129382 JP

近年、「スマートフォン」と呼ばれる高機能携帯電話などの携帯型端末装置を、「クレードル」と呼ばれる保持装置を介して車両に設置し、利用する技術が提案されている。 Recently, a portable terminal device such as a high-function mobile phones called "smartphones", installed in the vehicle via the holding device called a "cradle", is utilized a technique has been proposed. また、スマートフォンのカメラによる実写画像を用いた「ARナビ(AR:Augmented Reality)」などと呼ばれるナビゲーションが提案されている。 In addition, using the photographed image by the smartphone camera "AR Navigation (AR: Augmented Reality)" navigation called such as has been proposed. ARナビは、カメラによる実写画像の上に、目的地までの方向や距離などの経路案内のための画像を重ねて表示するものである。 AR Navi, on top of the photographed image by the camera, is intended to display superimposed the image for the route guidance, such as the direction and distance to the destination. そのため、ARナビを利用する場合には、カメラの撮影方向が車両の進行方向に一致していることが望ましいと言える。 Therefore, when using an AR Navi photographing direction of the camera it can be said to be desirable to match the traveling direction of the vehicle. つまり、カメラの撮影方向が車両の進行方向からずれている場合には、ARナビを適切に行うことが困難になるものと考えられる。 That is, when the shooting direction of the camera is shifted from the traveling direction of the vehicle is considered to be difficult to perform AR navigation properly.

このようなことから、上記した特許文献1及び2に記載された技術を、スマートフォン及びクレードルを有するシステムに好適に適用することは困難であると考えられる。 For this reason, the techniques described in Patent Documents 1 and 2 described above, it is considered to be difficult to suitably applied to a system having a smart phone and the cradle. 具体的には、特許文献1に記載された技術を適用した場合には、スマートフォンがクレードルに接続された際にARナビが起動されることとなるが、この際にカメラの撮影方向が進行方向からずれている場合には、ARナビを適切に実行することができないと言える。 Specifically, when applying the technique described in Patent Document 1, a smart phone but is the AR navigation when connected to the cradle is activated, the photographing direction is the traveling direction of the camera when this If you have deviated from, it can be said that it is not possible to properly execute the AR navigation. また、特許文献2に記載された技術を適用した場合には、車両外部の状況に基づいてARナビを優先して表示するか否かの判断が行われることとなるが、カメラの撮影方向が車両の進行方向とずれるような状況については考慮されていないため、ARナビを適切に実行することができない場合があると言える。 Further, in the case of applying the technique described in Patent Document 2, although a possible determine whether to preferentially displayed AR navigation is performed based on the state outside the vehicle, the shooting direction of the camera since no consideration is given to situations deviate the traveling direction of the vehicle, it can be said that it may not be possible to properly execute the AR navigation.

本発明が解決しようとする課題としては、上記のものが一例として挙げられる。 The object of the present invention is to solve include those described above as an example. 本発明は、カメラの撮影方向と車両の進行方向との関係に基づいて、実写案内画像及び地図案内画像のいずれを優先して表示させるかを適切に切り替えることが可能な端末装置、端末装置によって実行される画像表示方法及び画像表示プログラムを提供することを目的とする。 The present invention is based on the relationship between the traveling direction of the photographing direction and the vehicle camera, the photographed guide image and priority to appropriately switched is capable terminal device whether to display one of the map guide image, by the terminal device and an object thereof is to provide an image display method and image display program is executed.

請求項1に記載の発明は、 移動体に取り付け可能であり、目的地への経路案内を行う端末装置であって、撮影手段と、前記目的地を設定するために操作される操作部と、前記撮影手段によって撮影された撮影画像を用いて経路案内を行うための実写案内画像、又は地図画像を用いて経路案内を行うための地図案内画像の各々を切替えて表示手段に表示させる表示制御手段と、を有し、前記表示制御手段は、前記実写案内画像の表示中に前記操作部の操作がなされた場合には、前記地図画像の表示に切替える。 The invention of claim 1 is attachable to the moving body, and a terminal device that performs route guidance to the destination, the operation portion is operated to set the photographing means, said destination, photographed guide image, or display control means for displaying on the display means switches the respective map guide image for performing the route guidance using the map image for route guidance using a photographed image photographed by said photographing means If has, the display control unit, when the operating portion of the operation during the display of the photographed guide image is made, switches the display of the map image.

請求項に記載の発明は、 移動体に取り付け可能であり、目的地への経路案内を行い、撮影手段と前記目的地を設定するために操作される操作部とを有する端末装置によって実行される画像表示方法であって、前記撮影手段によって撮影された撮影画像を用いて経路案内を行うための実写案内画像、又は地図画像を用いて経路案内を行うための地図案内画像の各々を切替えて表示手段に表示させる表示制御工程を有し、前記表示制御工程は、前記実写案内画像の表示中に前記操作部の操作がなされた場合には、前記地図画像の表示に切替える。 The invention of claim 4 is attachable to the moving body, being executed by a terminal device having an operation unit performs the route guidance to the destination, is operated to set the destination and the photographing means that an image display method, by switching each of the map guide image for performing route guidance using a photographed guide image, or map image for route guidance using a photographed image photographed by said photographing means a display control step of displaying on the display means, said display control step, when the operation portion of the operation during the display of the photographed guide image is made, switches the display of the map image.

請求項に記載の発明は、 移動体に取り付け可能であり、目的地への経路案内を行い、撮影手段と前記目的地を設定するために操作される操作部とコンピュータとを有する端末装置によって実行される画像表示プログラムであって、前記撮影手段によって撮影された撮影画像を用いて経路案内を行うための実写案内画像、又は地図画像を用いて経路案内を行うための地図案内画像の各々を切替えて表示手段に表示させる表示制御手段として前記コンピュータを機能させ、前記表示制御手段は、前記実写案内画像の表示中に前記操作部の操作がなされた場合には、前記地図画像の表示に切替える。 The invention of claim 5 is attachable to the mobile, the terminal device having an operation unit and a computer operated to perform route guidance to the destination, sets the destination and the photographing means an image display program executed, the photographed guide image for performing route guidance using a photographed image photographed by said photographing means, or each of the map guide image for performing the route guidance using the map image switching by the computer to function as a display control means for displaying on the display means, said display control means, when the operation portion of the operation during the display of the photographed guide image is made, switches the display of the map image .

端末保持装置に保持された状態にある端末装置を示す。 It shows a terminal device in a state of being held in the terminal holding apparatus. 端末ホルダを回転させた状態の例を示す。 An example of a state of rotating the terminal holder. 端末装置の概略構成を示す。 It shows a schematic configuration of a terminal device. 車室内に設置された状態にある端末保持装置及び端末装置の一例を示す。 It shows an example of the terminal retainer and a terminal device in a state of being installed in the vehicle interior. 撮影方向と進行方向とのずれを判断する方法の具体例を説明するための図を示す。 It shows a diagram for explaining an example of a method for determining a deviation of the shooting direction and the traveling direction. ナビゲーションのアプリケーションを起動する場合に実行される処理フローを示す。 It shows a processing flow executed when starting the navigation application. ARナビの実行中に行われる処理フローを示す。 It shows a process flow to be performed during the execution of the AR navigation. 撮影方向と進行方向とのずれを判断する方法の一例を説明するための図を示す。 It shows a diagram for explaining an example of a method of determining a deviation of the shooting direction and the traveling direction. 変形例5を説明するための図を示す。 It shows a diagram for explaining a fifth modification.

本発明の1つの観点では、移動体に取り付けられる端末装置は、撮影手段と、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段と、を備える。 In one aspect of the present invention, the terminal is attached to the mobile device, capturing means and, based on the relationship between the traveling direction of the photographing direction and the moving body of the imaging unit, photographed image photographed by said photographing means a photographed guide image using the determining means for performing one of the determination is displayed by priority either an map guide image using the map information, based on the determination by said determining means, said photographed guide image and the comprising a display control means for performing control to display one of the images of the map guide image.

上記の端末装置は、移動体に取り付けられ、カメラなどの撮影手段によって移動体の前方を撮影する。 The above terminal apparatus is attached to the moving body to photograph the front of the moving body by the photographing means such as a camera. また、端末装置は、現在地から目的地までの経路案内(ナビゲーション)を行う機能を有する。 In addition, the terminal device has a function to perform route guidance from the current location to the destination the (navigation). 判定手段は、撮影手段の撮影方向と移動体の進行方向との関係に基づいて、撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う。 Determination means, based on the relationship between the moving direction of the moving body and photographing direction of the photographing means, a photographed guide image using the image captured by the imaging means, either an map guide image using the map information priority to perform one of the judgment to be displayed. 具体的には、判定手段は、撮影方向と進行方向とのずれを判断することによって、このような判定を行う。 Specifically, the determination means, by determining a deviation of the shooting direction to the traveling direction, performing such judgment. そして、表示制御手段は、判定手段による判定結果に基づいて、実写案内画像及び地図案内画像のうちの一方の画像を表示させる制御を行う。 Then, the display control unit based on the determination result by the determination unit performs control to display one of the images of the photographed guide image and the map guide image. 上記の端末装置によれば、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。 According to the terminal device, the guide image to be displayed among the photographed guide image and the map guide image can be appropriately switched.

上記の端末装置の一態様では、前記判定手段は、前記撮影方向と前記進行方向とのずれが所定範囲内である場合には前記実写案内画像を優先して表示させると判定し、前記ずれが前記所定範囲外である場合には前記地図案内画像を優先して表示させると判定する。 In one embodiment of the above terminal device, the determining means, the deviation of the shooting direction and the traveling direction is determined in a case is within the predetermined range to be displayed by priority the photographed guide image, the deviation is when the a predetermined range is determined to be displayed by priority the map guide image.

この態様によれば、撮影方向が進行方向からずれているような状況において、不適切な実写案内画像が表示されてしまうことを抑制することができる。 According to this aspect, it is possible to prevent the imaging direction in a situation such as that deviates from the traveling direction, thus inappropriate photographed guide image is displayed. つまり、適切な実写案内画像を表示できるような状況においてのみ、実写案内画像を優先的に切り替えて表示させることができる。 In other words, only in situations show an appropriate photographed guide image can be displayed by switching the photographed guide image preferentially.

好適には、前記判定手段は、前記撮影画像に含まれる白線の画像に基づいて、前記撮影方向と前記進行方向とのずれを判断することができる。 Preferably, the determining means, based on the image of the white line included in the captured image, it is possible to determine the deviation between the traveling direction and the shooting direction.

また、好適には、前記判定手段は、前記端末装置及び/又は前記端末装置を保持可能に構成された保持装置に設けられたセンサの出力を取得し、当該センサの出力に基づいて、前記撮影方向と前記進行方向とのずれを判断することができる。 Also, preferably, the determination unit acquires the output of the sensor provided to the terminal device and / or the holding-configured retention device said terminal device, based on an output of the sensor, the photographing it is possible to determine the deviation between the traveling direction to the direction.

更に、好適には、判定手段は、上記のようなセンサの出力と、撮影画像に含まれる白線の画像の両方を考慮して、撮影方向と進行方向とのずれを判断することもできる。 Further, preferably, determination means, an output of the sensor as described above, in consideration of both the white line of the image included in the captured image, it is also possible to determine a deviation of the shooting direction and the traveling direction. これにより、撮影方向と進行方向とのずれを精度良く判断することが可能となる。 Thereby, it becomes possible to shift accurately determine the shooting direction and the traveling direction.

上記の端末装置の他の一態様では、前記表示制御手段は、経路案内のための目的地が設定されていない場合には、前記地図案内画像を表示させる。 In another mode of the terminal device, wherein the display control unit, when a destination for route guidance is not set to display the map guide image. これにより、ユーザは、地図案内画像を用いて目的地を設定することができる。 Thus, the user can set a destination using the map guide image.

上記の端末装置の他の一態様では、前記表示制御手段は、前記判定手段が前記判定を行っている最中は、前記地図案内画像を表示させる。 In another mode of the terminal device, wherein the display control unit, while the determining unit is performing said determining, displays the map guide image. この態様では、適切な実写案内画像を表示できるか否かの判断が不確定である状況においては、ユーザの便宜の観点から、実写案内画像を表示させずに、地図案内画像を表示させることができる。 In this embodiment, in the determination of whether it is possible to display appropriate photographed guide image it is uncertain conditions, from the point of view of the user convenience, without displaying the photographed guide image, is possible to display the map guide image it can.

上記の端末装置の他の一態様では、前記表示制御手段は、前記実写案内画像を表示している際に前記端末装置に対する操作が行われた場合、前記実写案内画像から前記地図案内画像へ切り替える。 In another mode of the terminal device, wherein the display control unit, when an operation to said terminal device when displaying the photographed guide image is performed, switching from the photographed guide image to the map guide image . この態様では、端末装置に対する操作が行われた場合には撮影方向が変わる傾向にあり、適切な実写案内画像を表示できない可能性があるため、表示画像を地図案内画像に切り替えることができる。 In this manner, when performed the operation to the terminal device tends to change the shooting direction, because it may not be able to display an appropriate photographed guide image, it is possible to switch the display image in the map guide image.

本発明の他の観点では、移動体に取り付けられ、撮影手段を有する端末装置によって実行される画像表示方法は、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定工程と、前記判定工程での前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御工程と、を備える。 In another aspect of the present invention, mounted on a moving object, an image display method performed by a terminal device having a photographing means on the basis of the relationship between the traveling direction of the photographing direction and the moving body of the photographing means, wherein a photographed guide image using the image captured by the imaging unit, a determination step of performing one of the determination is displayed by priority either an map guide image using the map information, the determination in the determining step based on, and a display control step of performing control to display one of the images of the photographed guide image and the map guide image.

また、本発明の他の観点では、移動体に取り付けられ、撮影手段を有すると共にコンピュータを有する端末装置によって実行される画像表示プログラムは、前記コンピュータを、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段、として機能させる。 Further, in another aspect of the present invention, mounted on a moving object, the image display program executed by a terminal device having a computer which has a photographing unit, the computer, the photographing direction of the photographing means of the movable body based on the relationship between the traveling direction, the a photographed guide image using the image captured by the imaging means, determining means for performing one of the determination is displayed by priority either an map guide image using the map information , on the basis of the said determination by determining means, display control means for performing control to display one of the images of the photographed guide image and the map guide image, to function as a.

上記の画像表示方法及び画像表示プログラムによっても、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。 By the image display method and image display program, a guide image to be displayed among the photographed guide image and the map guide image can be appropriately switched.

本発明の更に他の観点では、端末装置は、撮影手段と、前記端末装置の傾きを検出する検出手段と、前記撮影手段の撮影方向と前記端末装置の傾きとの関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を優先して表示させる制御を行う表示制御手段と、を備える。 In yet another aspect of the present invention, the terminal apparatus includes a photographing unit, a detecting means for detecting an inclination of the terminal device, based on a relationship between the inclination of the terminal device and the photographing direction of the photographing means, the photographing a photographed guide image using the image captured by the means, and judging means for performing one of the determination is displayed by priority either an map guide image using the map information, based on the determination by the determining means , and a display control means for performing control to display preferentially the one image of said photographed guide image and the map guide image.

上記の端末装置によれば、ユーザが端末装置を携帯して利用する場合(例えば歩行者が端末装置を用いて経路案内を利用する場合)に、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。 According to the terminal device, when a user uses to portable terminal device (for example, when a pedestrian uses route guidance by using the terminal device) to display within the photographed guide image and the map guide image guide image can be appropriately switched to.

上記の端末装置の一態様では、前記検出手段は、水平面に対する前記撮影手段の撮影方向の傾きを検出し、前記判定手段は、前記撮影方向の傾きが水平面に対して所定の範囲内である場合に、前記実写案内画像を優先して表示させ、前記撮影方向の傾きが水平面に対して所定の範囲外である場合に、前記地図案内画像を優先して表示させると判定する。 If in one embodiment of the above terminal device, the detecting means detects a tilt of the photographing direction of the photographing means with respect to a horizontal plane, said determining means, tilt of the photographing direction is within a predetermined range with respect to the horizontal plane to determine the said to display the photographed guide image by giving priority to the inclination of the shooting direction when it is out of the predetermined range with respect to a horizontal plane, it is preferentially displayed the map guide image.

以下、図面を参照して本発明の好適な実施例について説明する。 Hereinafter, a description will be given of a preferred embodiment of the present invention with reference to the drawings.

[装置構成] [Device configuration]
まず、本実施例に係る端末装置の構成について説明する。 First, a configuration of a terminal device according to the present embodiment.

図1は、端末保持装置1に保持された状態にある端末装置2を示している。 Figure 1 shows a terminal device 2 in the state of being held in the terminal holding apparatus 1. 図1(a)は正面図を示しており、図1(b)は側面図を示しており、図1(c)は背面図を示している。 FIGS. 1 (a) is a front view, FIG. 1 (b) shows a side view, FIG. 1 (c) is a rear view.

端末保持装置1は、主に、ベース11と、ヒンジ12と、アーム13と、基板ホルダ15と、端末ホルダ16とを備える。 Terminal holding apparatus 1 mainly includes a base 11, a hinge 12, the arm 13, a substrate holder 15, and a terminal holder 16. 端末保持装置1は、いわゆるクレードルとして機能し、スマートフォンなどの端末装置2が取り付けられる。 Terminal holding apparatus 1 functions as a so-called cradle is mounted terminal device 2 such as a smart phone.

ベース11は、端末保持装置1を車両などの移動体に取り付ける際の土台として機能する。 Base 11 functions as a base for mounting the terminal holding device 1 in a mobile object such as a vehicle. 例えば、ベース11の下面には粘着テープや吸盤などが設けられ、ベース11はその粘着テープ等により車両のダッシュボードなどの設置面5に固定される。 For example, the lower surface of the base 11 is provided such as an adhesive tape or suction cup, the base 11 is fixed to the installation surface 5 such as a vehicle dashboard by the adhesive tape or the like.

アーム13は、ヒンジ12に固定されるとともに、ベース11に対して回転可能に取り付けられている。 Arm 13 is fixed to the hinge 12, rotatably mounted relative to the base 11. ヒンジ12の回転により、アーム13は端末装置2の前後方向、つまり図1(b)の矢印41及び42の方向に回動する。 Rotation of the hinge 12, the arm 13 is the longitudinal direction of the terminal device 2 rotates i.e. in the direction of the arrows 41 and 42 in FIG. 1 (b). つまり、車両の設置面5に固定されたベース11に対してヒンジ12を介してアーム13を回転させることにより、設置面5に対する基板ホルダ15及び端末ホルダ16の設置角度が調整可能となっている。 In other words, by rotating the arm 13 via a hinge 12 to the base 11 fixed to the installation surface 5 of the vehicle, the installation angle of the substrate holder 15 and the terminal holder 16 with respect to the installation surface 5 is adjustable .

基板ホルダ15は、カバー15aと、ボールリンク15bと、センサ基板15cと、センサ15dとを備える。 Substrate holder 15 includes a cover 15a, a ball link 15b, and the sensor substrate 15c, a sensor 15d. ボールリンク15bは、アーム13の上端に取り付けられており、アーム13に対して基板ホルダ15を任意の角度で保持する。 Ball link 15b is attached to the upper end of the arm 13, to hold the substrate holder 15 at any angle relative to the arm 13. カバー15aは、基板ホルダ15の下端に設けられており、アーム13に対する基板ホルダ15の回転を規制する役割を有する。 Cover 15a is provided at the lower end of the substrate holder 15 has a role for regulating the rotation of the substrate holder 15 relative to the arm 13. 基板ホルダ15の内部にはセンサ基板15cが設けられており、センサ基板15cにはセンサ15dが設けられている。 Inside the substrate holder 15 and the sensor substrate 15c is provided, the sensor 15d is provided in the sensor substrate 15c. センサ15dの好適な一例は、移動体の水平回りの角速度又は加速度の少なくとも一方を検出するジャイロセンサである。 Preferred example of the sensor 15d is a gyro sensor for detecting at least one of a horizontal angular velocity about or acceleration of the moving object.

端末ホルダ16は、端末装置2を保持するホルダである。 Terminal holder 16 is a holder for holding the terminal apparatus 2. 端末ホルダ16は、コネクタ16a及び配線16bを有する。 Terminal holder 16 has a connector 16a and the wiring 16b. コネクタ16aは、端末ホルダ16の前面、即ち端末装置2が設置される面の底部に設けられ、端末装置2を端末ホルダ16に設置する際に、端末装置2のコネクタと接続される。 Connector 16a is the front surface of the terminal holder 16, i.e., provided at the bottom of the surface on which the terminal device 2 is installed, when installing the terminal device 2 to the terminal holder 16, is connected to the connector of the terminal device 2. コネクタ16aは、配線16bによりセンサ基板15cと電気的に接続されている。 Connector 16a is electrically connected to the sensor board 15c by the wiring 16b. よって、センサ15dによる検出信号は、センサ基板15c、配線16b及びコネクタ16aを通じて端末装置2へ供給される。 Therefore, the detection signal of the sensor 15d, the sensor substrate 15c, are supplied to the terminal device 2 through the wiring 16b and the connector 16a.

端末装置2は、端末装置2本体の前面側であり液晶表示パネルなどの表示部25を有する前面2aと、端末装置2本体の背面側の背面2bとを備える。 The terminal device 2 includes a front surface 2a having a display unit 25, such as is the liquid crystal display panel at the front side of the terminal apparatus 2 main body, and a back 2b of the rear side of the terminal device 2 itself. 通常、端末装置2は矩形の平板形状に構成されており、前面2aと背面2bとが略平行に構成されている。 Usually, the terminal device 2 is configured in a rectangular plate shape, the front surface 2a and the back 2b are substantially parallel to configuration.

端末ホルダ16は前面側に接触面16cを有する。 Terminal holder 16 has a contact surface 16c on the front side. 端末装置2を端末ホルダ16に取り付けた際、接触面16cは、端末装置2の背面2bに当接し、端末装置2の背面2bを支持する。 Whereby upon mounting the terminal device 2 to the terminal holder 16, the contact surface 16c is in contact with the rear surface 2b of the terminal device 2, for supporting the back 2b of the terminal device 2. なお、図1に示す例では、端末ホルダ16の接触面16cは、その全面が端末装置2の背面2bと接触するように構成されている。 In the example shown in FIG. 1, the contact surface 16c of the terminal holder 16, the entire surface is configured to contact the rear surface 2b of the terminal device 2. この代わりに、接触面16cのうちの1カ所又は数カ所を部分的に突出させ、その突出した部分のみが端末装置2の背面2bに当接する構造としても構わない。 Alternatively, the one place or several places of the contact surface 16c partially protrude, only the projecting portion of the may be in contact with the structure on the back 2b of the terminal device 2.

端末装置2の背面2bには、カメラ29が設けられている。 On the back 2b of the terminal device 2, a camera 29 is provided. また、端末保持装置1の端末ホルダ16には、端末装置2が端末保持装置1に保持された状態においてカメラ29の対向する位置に、孔部17が形成されている。 Further, the terminal holder 16 of the terminal holding apparatus 1, in a position facing the camera 29 in the state in which the terminal device 2 is held in the terminal holding apparatus 1, opening 17 is formed. 孔部17は、カメラ29のレンズの径よりも大きな径に構成されている。 Opening 17 is configured to a larger diameter than the diameter of the lens of the camera 29. これにより、端末装置2が端末保持装置1に保持された状態において、カメラ29は、端末ホルダ16の外壁に阻害されることなく、端末ホルダ16の後ろ側を撮影することができる。 Thus, in a state where the terminal device 2 is held in the terminal holding apparatus 1, the camera 29, without being obstructed by the outer wall of the terminal holder 16, it is possible to shoot the rear of the terminal holder 16. 具体的には、カメラ29は車両の外部などを撮影する。 Specifically, the camera 29 photographs the like outside the vehicle.

なお、図1に示す例では、端末ホルダ16は、端末装置2の背面2bの略全面を覆うように構成され、端末装置2のカメラ29の対向する位置に孔部17が形成されている。 In the example shown in FIG. 1, the terminal holder 16 is configured to cover substantially the whole surface of the back 2b of the terminal device 2, opening 17 is formed at a position facing the camera 29 of the terminal device 2. この代わりに、端末装置2が端末保持装置1に保持された状態にて、端末装置2においてカメラ29が設けられた位置よりも下方の面のみを覆うように、端末ホルダ16を構成することができる。 Alternatively, in a state where the terminal device 2 is held in the terminal holding apparatus 1, only so as to cover the lower surface than the position where the camera 29 is provided in the terminal device 2, is possible to configure the terminal holder 16 it can. 1つの例では、端末ホルダ16の接触面16cを、端末装置2のカメラ29が設けられた位置よりも下方の位置まで延在するような形状(言い換えると、端末装置2のカメラ29が設けられた位置よりも上方に接触面16cが存在しないような形状)に構成することができる。 In one example, the contact surface 16c of the terminal holder 16, the shape (in other words so as to extend to a position below the position where the camera 29 of the terminal device 2 is provided, the camera 29 of the terminal device 2 is provided was able to contact surface 16c upward to configure the shape) that does not exist than the position. このような他の例では、端末保持装置1に孔部17を形成する必要はない。 In such other embodiment, there is no need to form a hole 17 in the terminal holding apparatus 1.

また、図1に示す例では、端末装置2の背面2bの左右方向における略中心線上にカメラ29が設けられているが、このような位置にカメラ29を設けることに限定はされない。 Further, in the example shown in FIG. 1, although the camera 29 is provided substantially on the centerline in the lateral direction of the back 2b of the terminal device 2, limited to the provision of the camera 29 in such positions that are not. 例えば、背面2bの左右方向における中心線からある程度離れた位置にカメラ29を設けても良い。 For example, it may be a camera 29 is provided at a certain distance from the center line in the lateral direction of the back 2b. この場合には、端末ホルダ16に孔部17を形成する代わりに、端末装置2が端末保持装置1に保持された状態にて、端末装置2においてカメラ29が設けられた位置を含む部分に切り欠き部を形成することとしても良い。 In this case, instead of forming the holes 17 in the terminal holder 16, in a state where the terminal device 2 is held in the terminal holding apparatus 1, cut into portions including the position where the camera 29 is provided in the terminal apparatus 2 it is also possible to form the out portion.

次に、基板ホルダ15に対する端末ホルダ16の回転機能について説明する。 Next, a description will be given rotation function of the terminal holder 16 with respect to the substrate holder 15. 端末装置2を保持する端末ホルダ16は、基板ホルダ15に対して、90度単位で回転可能である。 Terminal holder 16 for holding the terminal device 2, the substrate holder 15 is rotatable 90 degrees. 即ち、図1(a)の状態を回転角0度とした場合、端末ホルダ16は、時計回り又は反時計回りに0度、90度、180度、270度の4つの角度に回転した状態で固定することが可能である。 That is, when the rotation angle of 0 degrees to the state of FIG. 1 (a), the terminal holder 16 is 0 degrees clockwise or counter-clockwise, 90 degrees, 180 degrees, in a state of being rotated in the four angles of 270 degrees it is possible to fix. なお、回転角90度毎に固定可能とした理由は、通常、端末装置2を見る際に、ユーザは表示部25を縦長又は横長に配置した状態で使用するためである。 The reason was fixable in each rotational angle of 90 degrees, usually, when viewing the terminal device 2, the user is to use in the state in which the display unit 25 in the portrait or landscape. なお、前述のように、端末装置2は通常、矩形の平板形状を有しており、「縦長に配置」とは、表示部25の長手方向が縦となるような配置であり、「横長に配置」とは、表示部25の長手方向が横となるような配置である。 As described previously, the terminal device 2 normally has a rectangular plate shape, as a "vertical placement" is arranged as a longitudinal direction of the display portion 25 becomes vertical, "the Horizontal arrangement "refers to the longitudinal direction of the display unit 25 is arranged such that the side.

図2に端末ホルダ16を回転させた状態の例を示す。 Figure 2 shows an example of a state of rotating the terminal holder 16. 端末保持装置1を正面側から見た場合、図2(a)の状態から矢印の方向に端末ホルダ16を90度回転させると、図2(b)に示す状態となる。 When viewed terminal holding apparatus 1 from the front side, when the terminal holder 16 in the direction of the arrow from the state shown in FIG. 2 (a) is rotated 90 degrees, the state shown in FIG. 2 (b). また、端末保持装置1を背面側から見た場合、図2(c)の状態から矢印の方向に端末ホルダを90度回転させると、図2(d)に示す状態となる。 Also, when viewed terminal holding apparatus 1 from the rear side, rotating the terminal holder 90 degrees from the state in the direction of the arrow of FIG. 2 (c), the state shown in Figure 2 (d).

構造的には、例えば基板ホルダ15の略中央に回転軸(図示せず)を設け、この回転軸に対して端末ホルダ16を固定することにより、基板ホルダ15に対して端末ホルダ16を回転可能とすることができる。 Structurally, for example, a rotary shaft substantially at the center of the substrate holder 15 (not shown) provided, by fixing the terminal holder 16 with respect to the rotary shaft, the terminal holder 16 can rotate with respect to the substrate holder 15 it can be. また、基板ホルダ15と端末ホルダ16が相互に当接する面において、回転角90度毎に相互にはまり合う凹凸又は溝と突起などを設けることにより、90度毎の回転角位置において端末ホルダ16を固定することができる。 Further, in the surface the substrate holder 15 and the terminal holder 16 abuts to each other, by providing such protrusions and irregularities or grooves fitted to each other at every rotation angle of 90 degrees, the terminal holder 16 in the rotation angle position every 90 degrees it can be fixed. なお、このような構造は単なる一例であり、センサ基板15cに対して端末ホルダ16を回転角90度毎に固定できれば、他の構造を採用しても構わない。 Incidentally, this structure is merely an example, if the fixed terminal holder 16 at every rotation angle of 90 degrees with respect to the sensor substrate 15c, may be adopted another structure.

次に、図3は、端末装置2の構成を概略的に示している。 Next, FIG. 3 schematically shows the configuration of the terminal device 2. 図3に示すように、端末装置2は、主に、CPU21と、ROM22と、RAM23と、通信部24と、表示部25と、スピーカ26と、マイク27と、操作部28と、カメラ29とを有する。 3, the terminal device 2, mainly, CPU 21, a ROM 22, a RAM 23, a communication unit 24, a display unit 25, a speaker 26, a microphone 27, an operation unit 28, a camera 29 having. 端末装置2は、スマートフォンなどの通話機能を有する携帯型端末装置である。 Terminal device 2 is a portable terminal device having a communication function such as smartphones. 例えば、端末装置2は、端末保持装置1に保持された状態で、車両の運転者が表示部25を視認できるようなダッシュボード上の位置に設置される。 For example, the terminal device 2, while being held in the terminal holding device 1 is installed in a position on the dashboard, as the driver of the vehicle can view the display unit 25.

CPU(Central Processing Unit)21は、端末装置2全体についての制御を行う。 CPU (Central Processing Unit) 21 performs control on the entire terminal device 2. 例えば、CPU21は、地図情報などを取得して、目的地までの経路案内(ナビゲーション)を行うための処理を実行する。 For example, CPU 21 obtains such map information, executes the processing for performing route guidance to the destination (the navigation). この場合、CPU21は、経路案内を行うための案内画像を表示部25に表示させる。 In this case, CPU 21 displays a guidance image for performing route guidance on the display unit 25. 当該案内画像は、後述する実写案内画像又は地図案内画像が挙げられる。 The guide image include the photographed guide image and the map guide image will be described later.

ROM(Read Only Memory)22は、端末装置2を制御するための制御プログラム等が格納された図示しない不揮発性メモリ等を有する。 ROM (Read Only Memory) 22 is a nonvolatile memory or the like (not shown) control program for controlling the terminal device 2 is stored. RAM(Random Access Memory)23は、操作部26を介してユーザにより設定されたデータを読み出し可能に格納したり、CPU21に対してワーキングエリアを提供したりする。 RAM (Random Access Memory) 23 readably stores the data set by the user via the operation unit 26, and supplies a working area to the CPU 21. なお、端末装置2内にROM22やRAM23以外の記憶部を設けて、当該記憶部に、地図情報や施設データなどの経路案内処理に用いられる各種データを記憶させておくこととしても良い。 Incidentally, a storage unit other than the ROM22 and RAM23 provided in the terminal device 2, in the storage unit, it is also possible stores various data used for the route guidance processing, such as map information and facility data.

通信部24は、通信網を介して他の端末装置2と無線通信を行うことが可能に構成されている。 The communication unit 24 is configured to be able to perform another terminal apparatus 2 and the wireless communication via the communication network. また、通信部24は、例えばVICSセンタなどのサーバと無線通信を行うことが可能に構成されている。 The communication unit 24 is configured to be able to perform for example a server and a wireless communication such as VICS center. 通信部24は、このようなサーバから、例えば地図情報や渋滞情報などのデータを受信することができる。 The communication unit 24 from such a server, for example, can receive data such as map information and traffic congestion information.

表示部25は、例えば液晶ディスプレイなどにより構成され、ユーザに対して文字、画像などを表示する。 Display unit 25 is configured of, for example, a liquid crystal display, for displaying text, images, etc. to the user. スピーカ26は、ユーザに対する音声出力を行う。 Speaker 26 performs a voice output to the user. マイク27は、ユーザによって発せられた音声などを集音する。 Microphone 27 collects voice emitted by the user.

操作部28は、端末装置2の筐体に設けられた操作ボタンやタッチパネル式入力装置などにより構成することができ、ユーザによる各種の選択、指示が入力される。 Operation unit 28, it can be configured by operation buttons, a touch panel type input device provided in the housing of the terminal device 2, different selections by the user instruction is input. なお、表示部25がタッチパネル方式である場合には、表示部25の表示画面上に設けられたタッチパネルも操作部28として機能する。 Note that when the display unit 25 is a touch panel system, also functions as the operation unit 28 touch panel provided on the display screen of the display unit 25.

カメラ29は、例えばCCDカメラにより構成され、図1に示したように端末装置2の背面2bに設けられている。 The camera 29 is constituted by, for example, a CCD camera, is provided on the rear surface 2b of the terminal device 2 as shown in FIG. 基本的には、カメラ29の光軸(レンズの中心から垂直方向に伸びる軸)の方向は、端末装置2の背面2bの垂直方向(言い換えると法線方向)に一致する。 Basically, the direction of the optical axis of the camera 29 (axis extending from the center of the lens in the vertical direction) coincides with the vertical direction of the back 2b of the terminal device 2 (in other words the normal direction). なお、カメラ29を、端末装置2の背面2bだけでなく、端末装置2の前面2aにも設けても良い。 Incidentally, the camera 29, not only the back surface 2b of the terminal device 2 may be also provided on the front surface 2a of the terminal device 2.

なお、カメラ29は本発明における撮影手段の一例に相当し、CPU21は本発明における判定手段及び表示制御手段の一例に相当する(詳細は後述する)。 The camera 29 corresponds to an example of the imaging means in the present invention, CPU 21 is equivalent to (the details will be described later) as an example of the determination means and display control means in the present invention.

次に、図4は、車両3の車室内に設置された状態にある端末保持装置1及び端末装置2の一例を示している。 Next, FIG. 4 shows an example of the terminal holding apparatus 1 and the terminal device 2 in the state installed in the passenger compartment of the vehicle 3. 図4に示すように、端末保持装置1は車両3のダッシュボードなどの設置面5に固定され、このように固定された状態にある端末保持装置1によって端末装置2が保持される。 As shown in FIG. 4, the terminal holding apparatus 1 is fixed to the installation surface 5, such as the dashboard of the vehicle 3, the terminal device 2 is held by the terminal holding device 1 in a fixed state in this way. また、図4中の破線で示すように、端末装置2は、カメラ29によって、車両3の進行方向を撮影する。 Further, as shown by the broken line in FIG. 4, the terminal device 2, the camera 29 photographs the traveling direction of the vehicle 3.

本明細書では、カメラ29の「撮影方向」は、カメラ29が向いている方向を意味し、より詳しくはカメラ29のレンズにおける光軸の方向に相当する。 As used herein, "capturing direction" of the camera 29, it refers to the direction in which the camera 29 is facing, and more specifically corresponds to the direction of the optical axis in the lens of the camera 29. また、本明細書では、車両3の「進行方向」とは、車両3の前後方向(具体的には前方方向)を意味するものとする。 Further, in the present specification, "traveling direction" of the vehicle 3, (specifically a forward direction) longitudinal direction of the vehicle 3 is intended to mean a. この「進行方向」は、車両3が実際に進行している方向だけでなく、車両3が進行するであろう方向(車両3が進行すると予想される方向)も含むものとする。 The "travel direction" includes not only the direction in which the vehicle 3 is actually traveling, the direction will the vehicle 3 travels (direction in which the vehicle 3 is expected to proceed) also included. つまり、「進行方向」を定義する上で、車両3は必ずしも走行している必要はなく、車両3は停止していても良い。 That is, in defining the "traveling direction", the vehicle 3 does not have to necessarily travel, the vehicle 3 may be stopped.

[表示制御方法] [Display Control Method
次に、本実施例に係る表示制御方法について説明する。 Next, a description will be given of a display control method according to the present embodiment. 本実施例では、端末装置2内のCPU21は、目的地への経路案内を行う場合において、カメラ29による撮影画像(実写画像)を用いた実写案内画像と、地図情報を用いた地図案内画像(以下、「通常地図画像」とも呼ぶ。)との間で、表示画像を切り替える処理を行う。 In this embodiment, the CPU21 of the terminal device 2, when performing route guidance to the destination, and the photographed guide image using the captured image (real image) by the camera 29, the map guide image using map information ( hereinafter, between the also referred to as "normal map image".), it performs the processing for switching a display image. 言い換えると、CPU21は、経路案内を行う場合に、カメラ29による撮影画像を用いたARナビと、地図情報などを用いた通常のナビゲーション(以下、単に「通常ナビ」とも呼ぶ。)との間で、実行するナビゲーションの種類を切り替える。 In other words, CPU 21, when performing the route guidance, and AR navigation using a photographed image by the camera 29, conventional navigation using a map information (hereinafter, simply referred to as "normal navigation.") Between at , switch the type of navigation to be executed. この場合、CPU21は、カメラ29の撮影方向と車両3の進行方向との関係に基づいて、このような切り替えを行う。 In this case, CPU 21, based on the relationship between the traveling direction of the photographing direction and the vehicle 3 of the camera 29, performs such switching.

なお、「地図案内画像(通常地図画像)」は、地図情報に基づいて生成される、車両3の位置周辺の地図画像に相当する。 Incidentally, "the map guide image (Normal map image)" is generated based on the map information, corresponding to the map image around the position of the vehicle 3. また、「地図案内画像(通常地図画像)」は、経路案内のための画像(例えば探索された道路が目立つように示された画像など)が当該地図画像上に表示された画像、及び、このような経路案内のための画像が表示されていない、単に当該地図画像が表示された画像の両方を含むものとする。 Further, "the map guide image (Normal map image)" is the image image for route guidance (eg searched road is shown as conspicuous image) is displayed on the map image, and this image for route guidance is not displayed as merely intended to include both images where the map image is displayed.

ここで、上記のような切り替えを行う理由について簡単に説明する。 Here, briefly explained the reasons for switching as described above. 前述したように、端末保持装置1を介して端末装置2を車両3に設置した状態で、端末装置2のカメラ29によって撮影された車両前方の画像を用いて経路案内を行う「ARナビ」が知られている。 As described above, through the terminal holding device 1 in a state of being installed terminal apparatus 2 on the vehicle 3 to perform route guidance by using a vehicle front image taken by the camera 29 of the terminal device 2 "AR navigation" is Are known. ARナビは、カメラ29による撮影画像の上に、目的地までの方向や距離などの経路案内のための画像を重ねて表示させるものである(このような表示画像が、上記した「実写案内画像」に相当する)。 AR Navi, on the image photographed by the camera 29 is intended to be displayed over the image for route guidance, such as the direction and distance to the destination (such display images, and the "photographed guide image equivalent to "). そのため、ARナビを適切に行うためには、カメラ29の撮影方向が車両3の進行方向に一致していることが望ましいと言える。 Therefore, in order to perform an AR navigation properly, it may be desirable to photographing direction of the camera 29 is coincident with the traveling direction of the vehicle 3. つまり、カメラ29の撮影方向が車両3の進行方向からずれている場合には、ARナビを適切に行うことが困難になるものと考えられる。 That is, when the shooting direction of the camera 29 is shifted from the traveling direction of the vehicle 3 is considered to be difficult to perform AR navigation properly.

本実施例では、以上説明した内容を勘案して、ARナビを適切に行えないような状況において、具体的にはカメラ29の撮影方向が車両3の進行方向からずれていると判断できるような状況において、ARナビが実行されないようにする、つまり実写案内画像が表示されないようにする。 In this embodiment, above-described, taking into account the contents, such as in a situation that does not properly performed AR navigation, it can be determined that the specific photographing direction of the camera 29 is shifted from the traveling direction of the vehicle 3 in the context, so that AR navigation is not executed, that is photographed guide image from being displayed. これを実現すべく、端末装置2内のCPU21は、カメラ29の撮影方向と車両3の進行方向とのずれに基づいて、実写案内画像と地図案内画像とのいずれを優先して表示させるかを判定する、言い換えるとARナビと通常ナビとのいずれを優先して実行すべきかを判定する。 In order to achieve this, CPU 21 in the terminal apparatus 2, based on the deviation between the traveling direction of the photographing direction and the vehicle 3 of the camera 29, whether to preferentially display either an photographed guide image and the map guide image determining determines whether to execute with priority either an other words AR navigation and normal navigation. 具体的には、CPU21は、撮影方向と進行方向とのずれが所定範囲内と判断される場合には、実写案内画像を優先して表示させると決定し、撮影方向と進行方向とのずれが所定範囲外と判断される場合には、地図案内画像を優先して表示させると決定する。 Specifically, CPU 21, when the displacement of the photographing direction and the traveling direction is determined to within a predetermined range, the photographed guide image is determined to be displayed by priority, the deviation of the shooting direction to the traveling direction If it is determined that the predetermined range is determined to be displayed by priority the map guide image. なお、当該判断に用いられる「所定範囲」は、例えば、ARナビを適切に行えるか否かの観点に基づいて予め設定される。 Incidentally, the "predetermined range" used in the determination, for example, is set in advance based on whether the viewpoint appropriately perform the AR navigation.

次に、カメラ29の撮影方向と車両3の進行方向とのずれを判断する方法の具体例について説明する。 Next, a specific example of a method for determining the deviation between the traveling direction of the photographing direction and the vehicle 3 of the camera 29 will be described.

端末装置2内のCPU21は、カメラ29による撮影画像に対して画像処理を行うことで、撮影画像内における道路上の白線の画像を認識し、当該白線の画像に基づいて、カメラ29の撮影方向と車両3の進行方向とのずれを判断する。 The CPU21 of the terminal device 2, by performing image processing on an image captured by the camera 29, recognizes the white line images on the road in the photographed image, based on the image of the white line, the shooting direction of the camera 29 and determining the deviation between the traveling direction of the vehicle 3. 1つの例では、CPU21は、車両3が走行開始してからある程度の距離を走行した後に得られた複数の撮影画像を用い、複数の撮影画像内の白線の画像の変化に基づいて、撮影方向と進行方向とのずれについての判断を行う。 In one example, CPU 21 uses a plurality of photographed images obtained from the vehicle 3 has started traveling after traveling a certain distance, based on a change of the white line in the image in the plurality of captured images, the photographing direction a determination is made deviation between the traveling direction. この例では、CPU21は、複数の撮影画像において白線の画像がほとんど変化していない場合(例えば白線の位置や角度などの変化量が所定値未満である場合)には、撮影方向が進行方向からほとんどずれていないと判断する。 In this example, CPU 21 is in when the white line of the image in a plurality of photographed images are not substantially changed (for example, when the amount of change in position and angle of the white line is less than the predetermined value), the photographing direction is the traveling direction it is determined that the little deviation. この場合には、CPU21は、撮影方向と進行方向とのずれが所定範囲内と判断し、実写案内画像を優先して表示させると決定する。 In this case, CPU 21 may shift the shooting direction and the traveling direction is determined to within a predetermined range, it determines that is displayed by priority the photographed guide image.

これに対して、CPU21は、複数の撮影画像において白線の画像が変化している場合(例えば白線の位置や角度などの変化量が所定値以上である場合)には、撮影方向が進行方向からずれていると判断する。 In contrast, CPU 21 is in when the white line of the image in a plurality of photographed images is changing (for example, when the amount of change in position and angle of the white line is equal to or greater than a predetermined value), the photographing direction is the traveling direction deviation is determined that. また、CPU21は、複数の撮影画像内に白線の画像が含まれていない場合には、撮影方向が進行方向からずれていると判断する。 Further, CPU 21, if not contain images of the white line in the plurality of captured images, it is determined that the shooting direction is shifted from the direction of travel. このような場合には、CPU21は、撮影方向と進行方向とのずれが所定範囲外と判断し、地図案内画像を優先して表示させると決定する。 In such a case, CPU 21 may shift the shooting direction and the traveling direction is determined as falling outside the given range, it determines that is preferentially displayed map guide image.

次に、図5を参照して、上記した撮影方向と進行方向とのずれを判断する方法の適用例について説明する。 Next, referring to FIG. 5, a description will be given of application examples of a method for determining a deviation between the traveling direction and the imaging direction as described above. 図5(a)及び図5(b)は、カメラ29による撮影画像の一例を示す図である。 5 (a) and 5 (b) is a diagram showing an example of an image captured by the camera 29. 具体的には、図5(a)は、カメラ29の撮影方向が車両3の進行方向からほとんどずれていない場合(つまりカメラ29の撮影方向が車両3の進行方向に概ね一致している場合)に撮影された撮影画像の一例を示しており、図5(b)は、カメラ29の撮影方向が車両3の進行方向からずれている場合に撮影された撮影画像の一例を示している。 (If the imaging direction of the words camera 29 is generally correspond to the traveling direction of the vehicle 3) More specifically, FIG. 5 (a), if the photographing direction of the camera 29 is hardly deviated from the traveling direction of the vehicle 3 shows an example of images picked up, and FIG. 5 (b), the shooting direction of the camera 29 shows an example of images picked up when deviates from the traveling direction of the vehicle 3.

図5(a)に示すような撮影画像が得られた場合には、撮影画像内の白線の画像50がほとんど変化しないため、CPU21は、撮影方向と進行方向とのずれが所定範囲内と判断する。 If the captured image shown in was obtained 5 (a) is, because the white line image 50 in the captured image hardly changes, CPU 21 may determine the deviation of the shooting direction and the traveling direction within a predetermined range to. これに対して、図5(b)に示すような撮影画像が得られた場合には、撮影画像内に白線の画像が含まれていないため、CPU21は、撮影方向と進行方向とのずれが所定範囲外と判断する。 On the contrary, if the captured image shown in was obtained Fig. 5 (b), since in the photographed image does not include image of the white line, CPU 21, the deviation of the shooting direction to the traveling direction It is determined as falling outside the given range. なお、図5(a)及び図5(b)に示したような撮影画像は、撮影方向と進行方向とのずれを判断するために用いられ、基本的には、当該判断が行われている最中には表示部25に表示されない。 Incidentally, FIGS. 5 (a) and 5 (b) to indicate the kind of the photographed image is used to determine the deviation of the shooting direction to the traveling direction, basically, the determination is performed not displayed on the display unit 25 in the middle.

以上説明したように、本実施例によれば、カメラ29の撮影方向と車両3の進行方向とのずれを適切に判断することによって、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。 As described above, according to this embodiment, by appropriately determining the deviation between the traveling direction of the photographing direction and the vehicle 3 of the camera 29, the guide image to be displayed among the photographed guide image and the map guide image it can be properly switched. これにより、カメラ29の撮影方向が車両3の進行方向からずれているような状況において、不適切な実写案内画像が表示されてしまうことを抑制することができる。 Thus, in a situation such as capturing direction of the camera 29 is shifted from the traveling direction of the vehicle 3, inappropriate photographed guide image can be prevented that would be displayed. つまり、本実施例によれば、適切な実写案内画像を表示できるような状況においてのみ、実写案内画像を優先的に切り替えて表示させることができる。 In other words, according to the present embodiment, only in situations show an appropriate photographed guide image can be displayed by switching the photographed guide image preferentially.

なお、上記のように、複数の撮影画像内の白線の変化に基づいて、撮影方向と進行方向とのずれを判断することに限定はされない。 Incidentally, as described above, based on the change of the white line in the plurality of captured images, not limited to determining the deviation of the shooting direction and the traveling direction. 他の例では、撮影画像内の白線の位置や角度に基づいて、撮影方向と進行方向とのずれについての判断を行うことができる。 In another example, based on the position and angle of the white line in the photographed image, a determination may be made for the deviation of the shooting direction and the traveling direction. この例では、CPU21は、白線が撮影画像の所定範囲内に位置する場合や、白線の傾きが所定範囲内の角度である場合には、撮影方向と進行方向とのずれが所定範囲内と判断する。 In this example, CPU 21 may determine and if the white line is located within a predetermined range of the shot image, when the inclination of the white line is an angle within the predetermined range, the deviation of the shooting direction and the traveling direction within a predetermined range to. これに対して、CPU21は、白線が撮影画像の所定範囲内に位置しない場合や、白線の傾きが所定範囲内の角度でない場合には、撮影方向と進行方向とのずれが所定範囲外と判断する。 In contrast, CPU 21 may determine and if the white line is not located within the predetermined range of the shot image, when the inclination of the white line is not an angle within the predetermined range, the deviation of the shooting direction and the traveling direction to a predetermined range to.

なお、上記のようにして、撮影方向と進行方向とのずれに基づいて優先的に表示させる決定がされた場合であっても、ユーザによる設定などによっては、優先的に表示させる決定がされた案内画像が表示されない場合もある。 Incidentally, as described above, even when the decision to preferentially displayed based on the deviation of the shooting direction and the traveling direction is, by such setting by the user, has been determined to be preferentially displayed there is also a case where the guide image is not displayed. 例えば、CPU21は、撮影方向と進行方向とのずれが所定範囲内であるため実写案内画像を優先して表示させると決定した場合であっても、自動的にARナビに切り替える設定がオフにされている場合には、実写案内画像を表示させずに、地図案内画像を表示させる。 For example, CPU 21, even when a deviation of the shooting direction and the traveling direction is determined to be displayed by priority the photographed guide image for is within a predetermined range automatically switches to the AR navigation setting is turned off in the case in which, without displaying the photographed guide image, to display a map guide image.

[処理フロー] [Process Flow]
次に、図6及び図7を参照して、本実施例においてCPU21によって実行される処理フローについて説明する。 Next, with reference to FIGS. 6 and 7, it describes the processing flow executed by the CPU21 in the present embodiment.

図6は、本実施例において、ナビゲーション(ARナビ又は通常ナビ)のアプリケーションを起動する場合に実行される処理フローを示す。 6, in this embodiment, showing a processing flow executed when starting the application of navigation (AR navigation or normal navigation). なお、当該処理フローは、端末装置2内のCPU21がROM22などに記憶されたプログラムを実行することにより実現される。 Note that the process flow, CPU 21 in the terminal device 2 are realized by executing a program stored like ROM 22.

まず、ステップS101では、CPU21は、通常地図画像を表示部25に表示させる。 First, in step S101, CPU 21 displays the normal map image on the display unit 25. 具体的には、CPU21は、通信部24を介してサーバから取得された地図情報や、記憶部に記憶された地図情報などに基づいて、通常地図画像を生成して表示部25に表示させる。 Specifically, CPU 21 may and map information acquired from the server via the communication unit 24, based on such map information stored in the storage unit, typically on the display unit 25 generates a map image. このように処理フローの開始時に実写案内画像でなく通常地図画像を表示させるのは、例えば目的地の設定などの操作を通常地図画像上で行わせるためである。 The reason why the display the normal map image not photographed guide image at the beginning of the process flow, for example in order to perform operations such as destination setting on the normal map image. また、処理フローの開始時においては、実写案内画像を表示させる必要性は特にないと考えられるからである。 Also, at the start of the process flow, the need to display the photographed guide image is considered to no particular. ステップS101の後、処理はステップS102に進む。 After step S101, the process proceeds to step S102.

ステップS102では、CPU21は、端末装置2が端末保持装置1に取り付けられたか否かを判定する。 In step S102, CPU 21 determines whether the terminal device 2 is attached to the terminal holder 1. 例えば、端末装置2の取り付け及び取り外しを検出するセンサを端末保持装置1などに設けておき、CPU21は、当該センサからの出力信号を取得して、ステップS102の判定を行うことができる。 For example, a sensor for detecting the attachment and removal of the terminal device 2 may be provided on such terminal holding apparatus 1, CPU 21 obtains the output signal from the sensor, it is possible to perform the determination of step S102. 端末装置2が端末保持装置1に取り付けられた場合(ステップS102;Yes)、処理はステップS103に進み、端末装置2が端末保持装置1に取り付けられていない場合(ステップS102;No)、処理はステップS102に戻る。 If the terminal apparatus 2 is attached to the terminal holder 1 (step S102; Yes), the process proceeds to step S103, if the terminal device 2 is not attached to the terminal holder 1 (step S102; No), the process It returns to step S102.

ステップS103では、CPU21は、目的地の設定が行われたか否かを判定する。 In step S103, CPU 21 determines whether the destination setting is carried out. 具体的には、CPU21は、ユーザが操作部28などを操作することで目的地の入力を行ったか否かを判定する。 Specifically, CPU 21 determines whether or not subjected to input destinations by the user operating the operation unit 28. このような判定を行うのは、目的地の設定は、経路案内を開始するための条件の1つとなっているからである。 Effect such determination, set the destination, because that is one of the conditions for starting the route guidance. 目的地が設定されている場合(ステップS103;Yes)、処理はステップS106に進み、目的地が設定されていない場合(ステップS103;No)、処理はステップS103に戻る。 If the destination is set (step S103; Yes), the process proceeds to step S106, if the destination has not been set (step S103; No), the processing returns to step S103.

なお、ステップS102の判定とステップS103の判定とを、実行する順序を逆にしても良い。 Incidentally, the determination of the determination and step S103 in step S102, may be the order of executing the reverse. つまり、目的地の設定が行われたか否かを判定した後に(具体的には目的地が設定されていると判定された場合に)、端末装置2が端末保持装置1に取り付けられたか否かを判定することとしても良い。 That is, (when in particular is determined to be set is the destination) after determining whether the destination setting is performed, whether the terminal apparatus 2 is attached to the terminal holder 1 it is also possible to determine.

ステップS106では、CPU21は、ARナビ自動切り替え設定がオンとなっているか否かを判定する。 In step S106, CPU 21 determines whether the AR navigation automatic switching setting is ON. つまり、CPU21は、ユーザによって、自動的にARナビに切り替える設定がなされているか否かを判定する。 That, CPU 21 determines whether or not the user by, have been set to automatically switch to the AR navigation. ARナビ自動切り替え設定がオンである場合(ステップS106;Yes)、処理はステップS107に進む。 If AR navigation automatic switching setting is ON (step S106; Yes), the process proceeds to step S107.

ステップS107では、CPU21は、カメラ29を制御することで撮影を行わせる。 In step S107, CPU 21 is to perform imaging by controlling the camera 29. そして、CPU21は、カメラ29によって撮影された撮影画像を取得する。 Then, CPU 21 obtains an image captured by the camera 29. この後、処理はステップS108に進む。 Then, the process proceeds to step S108. なお、CPU21は、ARナビを起動するまでは、撮影画像を表示部25に表示させずに、内部で撮影画像に対する画像処理を行う。 Incidentally, CPU 21 is until activates the AR navigation, without displaying the captured image on the display unit 25, performs image processing on the inside in the captured image. つまり、撮影画像は、後述するカメラ29の撮影方向と車両3の進行方向とのずれを判断する処理を行う際に用いられるが、CPU21は、このような処理を行っている最中には撮影画像を表示させない。 That is, the captured image is used to perform the process of determining the deviation between the traveling direction of the photographing direction and the vehicle 3 of the camera 29 to be described later, CPU 21 is captured in the middle of performing such processing not to display the image. この最中には、CPU21は、通常地図画像を表示させる。 This is while, CPU21 displays a normal map image.

ステップS108では、CPU21は、通常ナビで経路案内を開始する。 In step S108, CPU 21 starts the route guidance in the normal navigation. 具体的には、CPU21は、地図情報などに基づいて現在地から目的地までの経路探索を行い、探索された経路に基づいた地図案内画像(通常地図画像)を表示部25に表示させる。 Specifically, CPU 21 performs a route search from the current position to the destination on the basis of such a map information to be displayed on the display unit 25 the map guide image based on the searched route (Normal map image). このように、ARナビ自動切り替え設定がオンであるにも関わらず、通常ナビで経路案内を開始しているのは、現段階ではARナビを適切に行えるか否かの判断が不確定であるからである。 Thus, in spite of the ON AR navigation automatic switching setting, what started route guidance in the normal navigation, is uncertain properly perform determination of whether the AR navigation at this stage it is from. つまり、ARナビを適切に行えるかの判断が不確定である状況においては、ユーザの便宜を考えると、実写案内画像を表示させるよりも、通常の地図案内画像を表示させたほうが望ましいと考えられるからである。 That is, in the context of determining whether properly perform the AR navigation is uncertain, given the convenience of the user, than to display the photographed guide image, is considered desirable better to display the normal map guide image it is from. ステップS108の後、処理はステップS109に進む。 After step S108, the process proceeds to step S109.

なお、ステップS107の処理とステップS108の処理とを、実行する順序を逆にしても良いし、ステップS107の処理とステップS108の処理とを同時に行っても良い。 Incidentally, a processing performed in steps S108 to step S107, may be the order of executing the contrary, may be performed and processing performed in steps S108 to step S107 at the same time. つまり、通常ナビで経路案内を開始した後にカメラ29で撮影することとしても良いし、通常ナビで経路案内を開始すると同時にカメラ29で撮影することとしても良い。 In other words, usually it may be as be captured by the camera 29 after starting the route guidance in the navigation, it is also possible to shoot at the same time the camera 29 When you start a route guidance in the normal navigation.

ステップS109では、CPU21は、カメラ29の撮影方向が車両3の進行方向に概ね一致しているか否かを判定する。 In step S109, CPU 21 determines whether or not the photographing direction of the camera 29 is generally correspond to the traveling direction of the vehicle 3. 言い換えると、CPU21は、カメラ29の撮影方向と車両3の進行方向とのずれが所定範囲内であるか否かを判定する。 In other words, CPU 21 determines the deviation of the traveling direction of the photographing direction and the vehicle 3 of the camera 29 whether it is within the predetermined range. 例えば、CPU21は、上記したように、撮影画像に対して画像処理を行うことで撮影画像内の道路上に存在する白線の画像を認識し、当該白線の画像に基づいて撮影方向と進行方向とのずれについての判定を行う。 For example, CPU 21, as described above, to recognize the image of the white line present on a road in the photographed image by performing image processing on the captured image, and the photographing direction based on the image of the white line and the traveling direction a determination is made about the shift. この例では、CPU21は、車両3がある程度の距離を走行した際に得られた複数の撮影画像を用い、複数の撮影画像内の白線の変化に基づいて、撮影方向と進行方向とのずれについての判定を行う。 In this example, CPU 21 uses a plurality of captured images obtained when the vehicle 3 has traveled a certain distance, based on a change of the white line in the plurality of captured images, the deviation between the photographing direction to the traveling direction a determination is made of. CPU21は、複数の撮影画像において白線の画像がほとんど変化していない場合には、撮影方向が進行方向に概ね一致していると判定する(ステップS109;Yes)、言い換えると撮影方向と進行方向とのずれが所定範囲内と判断する。 CPU21, when the image of the white line is not almost changed in a plurality of captured images, it is determined that the shooting direction is substantially coincide with the direction of travel (step S109; Yes), in other words the imaging direction and the traveling direction deviation of is determined to within a predetermined range. この場合には、CPU21は、ARナビを適切に行える状況であると判断し、ARナビを起動する(ステップS111)。 In this case, CPU 21 determines that the situation that allows the AR navigation properly, starts the AR Navigation (step S111). 具体的には、CPU21は、カメラ29による撮影画像の上に、経路案内するための画像を重ねて示した実写案内画像を表示部25に表示させる。 Specifically, CPU 21 has, on the image photographed by the camera 29 to display the photographed guide image shown superimposed images for route guidance on the display unit 25. そして、処理は終了する。 Then, the process is terminated.

これに対して、CPU21は、複数の撮影画像において白線の画像が変化している場合には、撮影方向が進行方向からずれていると判定する(ステップS109;No)、言い換えると撮影方向と進行方向とのずれが所定範囲外と判断する。 In contrast, CPU 21, when the image of the white line is changing in a plurality of captured images, it is determined that the shooting direction is shifted from the traveling direction (Step S109; No), in other words a photographing direction and progress deviation of the direction is determined as falling outside the given range. この場合には、CPU21は、通常ナビによる経路案内を継続する(ステップS110)。 In this case, CPU 21 continues the route guidance by normal navigation (step S110). 言い換えると、CPU21は、通常地図画像を継続して表示させる。 In other words, CPU 21 causes the normal display continuously a map image. そして、処理はステップS109に戻る。 Then, the process returns to step S109. つまり、撮影方向が進行方向に概ね一致するまで、具体的にはユーザによる撮影方向の調整によって撮影方向が進行方向に概ね一致するまで、ステップS109及びS110の処理が繰り返し実行される。 That is, the photographing direction until substantially coincides with the direction of travel, in particular until the imaging direction by the adjustment of the photographing direction by the user roughly coincides with the traveling direction, the process of step S109 and S110 are repeatedly executed. ユーザは、ARナビ自動切り替え設定をオンに設定したにも関わらず、通常地図画像が継続されて表示されている場合には、撮影方向が進行方向に概ね一致していないと判断して、撮影方向の調整を行うことができる。 The user, in spite of the set to turn on the AR navigation automatic switch setting, when the normal map image is displayed is continued, it is determined that the shooting direction is not generally correspond to the direction of travel, photography it can be carried out in the direction of adjustment. つまり、ユーザは、表示されている案内画面の種類を確認しながら、撮影方向の調整を行うことができる。 That is, the user while checking the type of guidance screen displayed, it is possible to adjust the shooting direction.

一方で、ARナビ自動切り替え設定がオンでない場合(ステップS106;No)、処理はステップS112に進む。 On the other hand, if the AR navigation automatic switching setting is not on (step S106; No), the process proceeds to step S112. ステップS112では、CPU21は、上記のステップS108と同様の手順で、通常ナビで経路案内を開始する。 In step S112, CPU 21 is in the same procedure as in step S108 described above, to start the route guidance in the normal navigation. そして、処理は終了する。 Then, the process is terminated. なお、このような通常ナビは、車両3が目的地に到着するまで実行される。 It should be noted, such a normal navigation of the vehicle 3 is executed until it arrives at the destination.

次に、図7を参照して、ARナビの実行中に行われる処理フローについて説明する。 Next, with reference to FIG. 7, a description will be given of a process flow performed during the execution of the AR navigation. 具体的には、当該処理フローは、上記したステップS111の後に実行される。 Specifically, the processing flow is executed after step S111 described above. なお、当該処理フローも、端末装置2内のCPU21がROM22などに記憶されたプログラムを実行することにより実現される。 Incidentally, the processing flow also, CPU 21 in the terminal device 2 are realized by executing a program stored like ROM 22.

まず、ステップS201では、CPU21は、ユーザによって、端末装置2に対する操作が行われたか否かを判定する。 First, in step S201, CPU 21 has the user determines whether the operation on the terminal device 2 is performed. つまり、CPU21は、ARナビの実行中に、ユーザによって操作部28などに対する操作が行われたか否かを判定する。 That, CPU 21 during the execution of the AR navigation determines whether an operation for an operation unit 28 by the user is performed. 例えば、実写案内画像から通常地図画像へ切り替えるための切り替えボタンを押し下げる操作や、目的地を再設定するためのボタンを押し下げる操作などが行われたか否かを判定する。 For example, it determines the operation and depressing the switch button for switching from the photographed guide image to the normal map image, whether is performed an operation depressing the button for resetting the destination. 端末装置2に対する操作が行われた場合(ステップS201;Yes)、処理はステップS202に進む。 When operation at the terminal device 2 is performed (step S201; Yes), the process proceeds to step S202.

ステップS202では、CPU21は、ARナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える。 In step S202, CPU 21 terminates the AR navigation switches the display image from the photographed guide image to the normal map image. こうする理由は以下の通りである。 The reason for this is as follows. まず、実写案内画像から通常地図画像へ切り替えるための切り替えボタンが押し下げられた場合には、速やかに実写案内画像から通常地図画像へ切り替えるべきと考えられるからである。 First, when the switching button for switching from the photographed guide image to the normal map image is depressed is because rapidly from the photographed guide image is considered normal to be switched to the map image. また、当該切り替えボタンの代わりに、目的地を再設定するためのボタンが押し下げられた場合には、目的地の再設定などの操作を通常地図画像上で行わせることが望ましいと考えられるからである。 In addition, instead of the switching button, when the button for resetting the destination depressed, since it may be desirable to perform operations such as destination resetting on normal map image is there. 更に、端末装置2における全てのボタンが操作された場合に言えることとして、端末装置2に対する操作が行われると、カメラ29の撮影方向が変わることで、撮影方向が進行方向からずれる傾向にあるからである。 Furthermore, as can be said in the case where all of the buttons in the terminal device 2 is operated, the operation for the terminal device 2 is performed, since the shooting direction of the camera 29 is changed, because there is a tendency that the shooting direction is shifted from the direction of travel it is. つまり、適切な実写案内画像を表示できない可能性があるからである。 That is because there may not be displayed the correct photographed guide image.

ステップS202の後、処理は図6に示したステップS103に進む。 After step S202, the process proceeds to step S103 shown in FIG. この場合には、図6に示した手順と同様の手順で、ステップS103以降の処理が行われる。 In this case, in the procedure similar to that shown in FIG. 6, the processes after step S103 are performed. こうしているのは、上記したような端末装置2に対する操作が行われた場合には、目的地の設定が行われたか否かの判定(ステップS103)や、カメラ29の撮影方向が車両3の進行方向に概ね一致しているか否かの判定(ステップS109)などを、再度行うことが望ましいからである。 Are you do this, when an operation on the terminal device 2 as described above is performed, the progress of the determination (step S103) and whether or not the destination setting is performed, the photographing direction of the camera 29 of the vehicle 3 and of whether or not generally coincide with the direction determination (step S109), because it is desirable to perform again. つまり、上記したような端末装置2に対する操作が行われた場合には、目的地の設定や、端末保持装置1の傾きの調整や、カメラ29の撮影方向の調整などを、ユーザに再度行わせることが望ましいからである。 That is, when the operation on the terminal device 2 as described above is performed, setting of a destination, the inclination adjustment of the terminal holding apparatus 1, adjusting the shooting direction of the camera 29, thereby again made to the user it is because it is desirable.

一方、端末装置2に対する操作が行われていない場合(ステップS201;No)、処理はステップS203に進む。 On the other hand, if the operation on the terminal device 2 is not performed (step S201; No), the process proceeds to step S203. ステップS203では、CPU21は、端末装置2が端末保持装置1から取り外されたか否かを判定する。 In step S203, CPU 21 determines whether the terminal device 2 is detached from the terminal holding apparatus 1. 例えば、端末装置2の取り付け及び取り外しを検出するセンサを端末保持装置1などに設けておき、CPU21は、当該センサからの出力信号を取得して、ステップS203の判定を行うことができる。 For example, a sensor for detecting the attachment and removal of the terminal device 2 may be provided on such terminal holding apparatus 1, CPU 21 obtains the output signal from the sensor, it is possible to perform the determination of step S203. 端末装置2が端末保持装置1から取り外された場合(ステップS203;Yes)、処理はステップS204に進む。 If the terminal apparatus 2 is detached from the terminal holding apparatus 1 (step S203; Yes), the process proceeds to step S204.

ステップS204では、CPU21は、ARナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える。 In step S204, CPU21 terminates the AR navigation, switch the display image from the photographed guide image to the normal map image. こうするのは、端末装置2が端末保持装置1から取り外された場合には、ユーザが実写案内画像を参照して経路案内を利用することは考え難いからである、つまり実写案内画像を表示させる必要性は特にないと考えられるからである。 To do this, when the terminal device 2 is detached from the terminal holding apparatus 1, the user to use the route guidance with reference to the photographed guide image is because unlikely, that is to display the photographed guide image This is because the need is considered to be not particularly.

ステップS204の後、処理は図6に示したステップS102に進む。 After step S204, the process proceeds to step S102 shown in FIG. つまり、端末装置2が端末保持装置1に取り付けられたか否かの判定(ステップS102)が再度行われる。 That is, the determination terminal device 2 whether or not attached to the terminal holder 1 (step S102) is performed again. そして、端末装置2が端末保持装置1に取り付けられた場合(ステップS102;Yes)、図6に示した手順と同様の手順で、ステップS103以降の処理が行われる。 Then, when the terminal device 2 is attached to the terminal holder 1 (step S102; Yes), in procedure similar to that shown in FIG. 6, the processes after step S103 are performed. こうしているのは、端末装置2が端末保持装置1から取り外された後に端末保持装置1に取り付けられた場合には、目的地の設定が行われたか否かの判定(ステップS103)や、端末保持装置1が地面に対して略水平又は略垂直であるか否かの判定(ステップS104)や、カメラ29の撮影方向が車両3の進行方向に概ね一致しているか否かの判定(ステップS109)などを、再度行うことが望ましいからである。 Are you do this, when the terminal device 2 is attached to the terminal holder 1 after being detached from the terminal holding apparatus 1, the determination (step S103) and whether or not the destination setting is performed, the terminal holding apparatus 1 determines whether a vertical substantially horizontal or substantially is relative to the ground (step S104) and, photographing direction of the camera 29 is whether or not generally coincide with the traveling direction of the vehicle 3 determined (step S109) etc., because it is desirable to perform again. つまり、端末装置2が端末保持装置1から取り外された後に端末保持装置1に取り付けられた場合には、端末保持装置1の傾きの調整や、カメラ29の撮影方向の調整などを、ユーザに再度行わせることが望ましいからである。 That is, when the terminal device 2 is attached to the terminal holder 1 after being detached from the terminal holding device 1, the tilt adjustment of the terminal holding apparatus 1, the adjusting the shooting direction of the camera 29, again to the user because done so it is desirable.

一方、端末装置2が端末保持装置1から取り外されていない場合(ステップS203;No)、処理はステップS205に進む。 On the other hand, when the terminal device 2 is not detached from the terminal holding apparatus 1 (step S203; No), the process proceeds to step S205. ステップS205では、CPU21は、車両3が目的地に到着したか否かを判定する。 In step S205, CPU 21 of the vehicle 3 determines whether the destination has been reached. 目的地に到着した場合(ステップS205;Yes)、CPU21は、ARナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える(ステップS206)。 When you arrive at the destination (step S205; Yes), CPU 21 ends the AR navigation switches the display image from the photographed guide image to the normal map image (step S206). この後、処理は終了する。 After this, the process ends. これに対して、目的地に到着していない場合(ステップS205;No)、処理はステップS201に戻る。 In contrast, if not reached the destination (step S205; No), the process returns to step S201.

以上説明した処理フローによれば、実写案内画像及び地図案内画像(通常地図画像)のうちで表示させる案内画像を適切に切り替えることができる。 According to the process flow described above, the guide image to be displayed among the photographed guide image and the map guide image (Normal map image) can be appropriately switched. 具体的には、ユーザが切り替え操作することなく、状況に応じた適切な案内画面を優先的に自動的に切り換えて表示させることができる。 Specifically, without the user switching to operate, an appropriate guidance screen according to the situation can be displayed preferentially automatically switched.

[変形例] [Modification]
以下では、上記した実施例の変形例について説明する。 In the following, a description will be given of modifications of the embodiments described above.

(変形例1) (Modification 1)
上記では、撮影画像内における道路上の白線の画像に基づいて撮影方向と進行方向とのずれを判断する例を示した。 In the above, an example for determining a deviation of the shooting direction to the traveling direction based on the white line of the image on the road in the photographed image. 変形例1では、撮影画像内の白線を用いる代わりに、撮影画像内で道路の画像が占める割合に基づいて、撮影方向と進行方向とのずれを判断する。 In Modification 1, instead of using the white line in the photographed image, based on the ratio of the image of the road in the photographed image, it determines a deviation of the shooting direction and the traveling direction. 具体的には、変形例1では、CPU21は、撮影画像を画像分析することで撮影画像内で道路の画像が占める割合を求め、求められた割合と所定値とを比較することで、撮影方向と進行方向とのずれを判断する。 Specifically, in Modification 1, CPU 21 obtains a ratio of the image of the road in the photographed image by the image analysis of the captured image, by comparing the ratio obtained with a predetermined value, photographing direction determining the deviation between the traveling direction. CPU21は、求められた割合が所定値以上であれば、撮影方向と進行方向とのずれが所定範囲内と判断して、実写案内画像を優先して表示させると決定する。 CPU21, the proportion obtained is equal to or greater than a predetermined value, the deviation of the shooting direction and the traveling direction is determined to within a predetermined range, it determines that is displayed by priority the photographed guide image. これに対して、CPU21は、求められた割合が所定値未満であれば、撮影方向と進行方向とのずれが所定範囲外と判断して、地図案内画像を優先して表示させると決定する。 In contrast, CPU 21, the proportion determined is less than the predetermined value, the deviation of the shooting direction and the traveling direction is determined as falling outside the given range, it determines that is preferentially displayed map guide image.

(変形例2) (Modification 2)
変形例2では、撮影画像内の白線や、撮影画像内で道路が占める割合を用いる代わりに、撮影画像内での道路の画像の位置に基づいて、撮影方向と進行方向とのずれを判断する。 In Modification 2, and the white line in the photographed image, instead of using the ratio of the road in the photographed image, based on the position of the road image in the captured image, it determines a deviation of the shooting direction to the traveling direction . 具体的には、変形例2では、CPU21は、撮影画像を画像分析することで撮影画像内における道路の画像を認識し、当該道路の画像が撮影画像の所定範囲内に位置するか否かによって、撮影方向と進行方向とのずれを判断する。 Specifically, in Modification 2, CPU 21 recognizes the image of the road in the photographed image by the image analysis of the captured image, according to whether the image of the road is located within a predetermined range of the shot image to determine a deviation of the shooting direction and the traveling direction. CPU21は、道路の画像が撮影画像の所定範囲内に位置する場合、例えば道路の画像が撮影画像の概ね中央の領域に位置する場合、撮影方向と進行方向とのずれが所定範囲内と判断して、実写案内画像を優先して表示させると決定する。 CPU21, when the road image is located within a predetermined range of the shot image, for example, when a road image is positioned in a generally central region of the captured image, the deviation of the shooting direction and the traveling direction is determined to within a predetermined range Te, is determined to be displayed in favor of the photographed guide image. これに対して、CPU21は、道路の画像が撮影画像の所定範囲内に位置しない場合、例えば道路の画像が撮影画像の端の領域に位置する場合、撮影方向と進行方向とのずれが所定範囲外と判断して、地図案内画像を優先して表示させると決定する。 In contrast, CPU 21, when the road image is not located within the predetermined range of the captured image, for example, when a road image is located in the region of the end of the captured image, shift a predetermined range of the photographing direction to the traveling direction outside it is determined that, to determine the display with priority map guide image.

(変形例3) (Modification 3)
変形例3では、上記した実施例及び変形例1、2のように撮影画像を画像分析することで撮影方向と進行方向とのずれを判断する代わりに、端末装置2及び/又は端末保持装置1に設けられたセンサの出力に基づいて、撮影方向と進行方向とのずれを判断する。 In Modification 3, instead of determining the deviation of the shooting direction to the traveling direction by the captured image to the image analysis as in Examples and Modifications 1 and 2 described above, the terminal device 2 and / or terminal holding apparatus 1 based on the output of the sensor provided on, to determine the deviation of the shooting direction and the traveling direction. 具体的には、変形例3では、CPU21は、車両3の走行状態(速度、加速度、位置など)を検出するセンサの出力に基づいて、撮影方向と進行方向とのずれを判断する。 Specifically, in Modification 3, CPU 21 is running state of the vehicle 3 (speed, acceleration, position, etc.) based on the output of a sensor for detecting a, it determines the deviation of the shooting direction and the traveling direction. 1つの例では、CPU21は、端末保持装置1に設けられ、少なくとも2次元方向の速度を検出可能なセンサ(直接的に速度を検出するセンサに限られず、間接的に速度を検出可能なセンサも含む)の出力に基づいて進行方向を求めることで、撮影方向と進行方向とのずれを判断する。 In one example, CPU 21 is provided in the terminal holding apparatus 1 is not limited to a sensor for detecting a velocity sensor capable of detecting the speed of at least two dimensions (directly, indirectly also detectable sensor rate by obtaining the traveling direction based on the output of the included), to determine a deviation of the shooting direction and the traveling direction.

ここで、図8を参照して、撮影方向と進行方向とのずれを判断する方法の一例について説明する。 Referring now to FIG. 8, illustrating an exemplary method of determining a deviation of the shooting direction and the traveling direction.

図8(a)は、端末保持装置1に保持された状態にある端末装置2を上方から観察した図を示している。 FIG. 8 (a) shows a view of observation of the terminal device 2 in the state of being held in the terminal holding apparatus 1 from above. なお、図8(a)では、説明の便宜上、端末保持装置1及び端末装置2を簡略化して図示している。 In FIG. 8 (a), the convenience of description, illustrates a terminal retaining device 1 and the terminal device 2 is simplified. 図8(a)に示すように、端末保持装置1の基板ホルダ15内にはセンサ15dが設けられている。 As shown in FIG. 8 (a), the sensor 15d is provided in the substrate holder 15 of the terminal holder 1. センサ15dは、2次元方向の加速度を検出可能に構成された加速度センサ(言い換えるとGセンサ)である。 Sensor 15d is a two-dimensional direction acceleration sensor that is detectably constituting acceleration (G sensor in other words). 以下では、「センサ15d」を「加速度センサ15d」と表記する。 In the following, it referred to the "sensor 15d" and "acceleration sensor 15d". 前述したように、端末装置2が端末保持装置1に保持された状態(詳しくは端末装置2のコネクタと端末ホルダ16内のコネクタ16aとが接続された状態)において、加速度センサ15dの出力信号は、基板ホルダ15内のセンサ基板15c、端末ホルダ16内の配線16b及びコネクタ16aを通じて端末装置2へ供給される。 As described above, in a state where the terminal device 2 is held in the terminal holding apparatus 1 (specifically, a state where the connector 16a of the terminal device 2 of the connector and the terminal holder 16 is connected), the output signal of the acceleration sensor 15d is the sensor substrate 15c in the substrate holder 15, is supplied to the terminal device 2 through the wiring 16b and the connector 16a of the terminal holder 16. この場合、端末装置2内のCPU21が、加速度センサ15dの出力信号を取得する。 In this case, CPU 21 in the terminal device 2 acquires the output signal of the acceleration sensor 15d.

具体的には、加速度センサ15dは、図8(a)に示すようなX方向の加速度及びY方向の加速度を検出する。 Specifically, the acceleration sensor 15d detects the X-direction acceleration of the acceleration and the Y-direction as shown in FIG. 8 (a). 加速度センサ15dは、端末保持装置1に固定され、端末保持装置1に取り付けられる端末装置2のカメラ29との位置関係は一定であるので、加速度センサ15dが加速度を検出するX方向及びY方向とカメラ29の撮影方向とは一定の関係にある。 Acceleration sensor 15d is fixed to the terminal holding apparatus 1, the positional relationship between the camera 29 of the terminal device 2 which is attached to the terminal holder 1 is constant, the X and Y directions by the acceleration sensor 15d detects the acceleration the shooting direction of the camera 29 is in a fixed relationship. なお、図8(a)に示すように、X方向と撮影方向とが一致するように構成されているものとする。 Incidentally, as shown in FIG. 8 (a), assumed to be configured such that the X direction and the photographing direction matches.

図8(b)は、図8(a)と同様に、端末保持装置1に保持された状態にある端末装置2を示しているが、ここでは、端末装置2が車両3の進行方向を向いていない状態、つまりカメラ29の撮影方向が車両3の進行方向に一致していない状態の図を示している。 FIG. 8 (b), similarly to FIG. 8 (a), the is shown a terminal device 2 in the state of being held in the terminal holding device 1, wherein the terminal device 2 facing the traveling direction of the vehicle 3 not state, that the shooting direction of the camera 29 shows a diagram of a state that does not match the travel direction of the vehicle 3. 端末保持装置1に端末装置2が保持された状態においては、端末保持装置1の向きは端末装置2の向きに一致する。 In a state in which the terminal apparatus 2 to the terminal holding apparatus 1 is held, the orientation of the terminal holding apparatus 1 corresponds to the orientation of the terminal device 2. そのため、端末保持装置1内の加速度センサ15dによって、端末装置2の向き(具体的には端末装置2内のカメラ29の撮影方向)を適切に検出することができると言える。 Therefore, the acceleration sensor 15d in the terminal holding apparatus 1, it can be said that (specifically shooting direction of the camera 29 in the terminal apparatus 2) the orientation of the terminal device 2 can be properly detected.

図8(c)は、図8(b)中の加速度センサ15dのみを図示したものである。 8 (c) is an illustration of only the acceleration sensor 15d in FIG. 8 (b). 加速度センサ15dは、図8(c)に示すようなX方向及びY方向についての2次元方向の加速度を検出する。 Acceleration sensor 15d detects the accelerations in two-dimensional directions of the X and Y directions as shown in Figure 8 (c). X方向は、カメラ29の撮影方向に対応する。 X direction corresponds to the shooting direction of the camera 29. 車両3の進行方向に対してカメラ29の撮影方向がずれていると、加速度センサ15dによって検出されるX方向の加速度とY方向の加速度との比から、車両3の進行方向に対するカメラ29の撮影方向(X方向)のずれ角θを算出することができる。 When the photographing direction of the camera 29 is shifted to the traveling direction of the vehicle 3, from the ratio of the acceleration of the acceleration and the Y-direction in the X direction detected by the acceleration sensor 15d, photographing of the camera 29 with respect to the traveling direction of the vehicle 3 it can be calculated deviation angle θ in the direction (X direction). ずれ角θは、以下の式(1)より算出することができる。 Deviation angle θ can be calculated from the following equation (1).
ずれ角θ=arctan(Y方向の加速度/X方向の加速度) 式(1) Deviation angle theta = arctan (Y direction of the acceleration / X-direction acceleration) formula (1)
具体的には、ずれ角θは、端末装置2内のCPU21によって算出される。 Specifically, the deviation angle theta, is calculated by the CPU21 in the terminal apparatus 2. この場合、CPU21は、加速度センサ15dによって検出されたX方向の加速度及びY方向の加速度に対応する出力信号を取得し、当該出力信号に基づいてずれ角θを算出する。 In this case, CPU 21 obtains an output signal corresponding to the acceleration of the acceleration and the Y-direction of the detected X-direction by the acceleration sensor 15d, calculates the deviation angle θ based on the output signal.

そして、CPU21は、ずれ角θが所定角度未満である場合には、カメラ29の撮影方向と車両3の進行方向とのずれが所定範囲内であると判定し、ずれ角θが当該所定角度以上である場合には、カメラ29の撮影方向と車両3の進行方向とのずれが所定範囲外であると判定する。 Then, CPU 21, when the deviation angle θ is less than the predetermined angle, the deviation of the traveling direction of the photographing direction and the vehicle 3 of the camera 29 is judged to be within the predetermined range, the deviation angle θ is the predetermined angle or more If it determines the deviation of the traveling direction of the photographing direction and the vehicle 3 of the camera 29 is to be outside the predetermined range.

なお、上記のように加速度センサ15dなどのセンサの出力のみに基づいて撮影方向と進行方向とのずれを判断することに限定はされず、センサの出力だけでなく、実施例及び変形例1、2のように撮影画像を画像分析した結果に基づいて、撮影方向と進行方向とのずれを判断しても良い。 Incidentally, limited to determining the deviation of the traveling direction and the imaging direction based on only the output of the sensor such as an acceleration sensor 15d as described above is not the sole, not only the output of the sensor, embodiments and modifications 1, the captured image as 2 based on the result of image analysis, may be determined a deviation of the shooting direction and the traveling direction. つまり、センサの出力と、実施例及び変形例1、2のいずれか1以上の手法によって撮影画像を画像分析した結果とを組み合わせて用いて、撮影方向と進行方向とのずれを判断しても良い。 That is, the output of the sensor, used in combination with results of the image analysis of the captured image by any one or more of the techniques of embodiments and modifications 1 and 2, also determine a deviation of the shooting direction to the traveling direction good. こうすることで、撮影方向は進行方向に概ね一致しているが、カメラ29の前に障害物がある場合などにおいて、誤って実写案内画像から地図案内画像へ切り替えられてしまうことを防止することが可能となる。 In this way, although the photographing direction which generally correspond to the direction of travel, be prevented in a case where there is an obstacle in front of the camera 29, that from accidentally photographed guide image will be switched to the map guide image it is possible.

(変形例4) (Modification 4)
変形例4では、CPU21は、ARナビの実行中に、定期的に(つまり所定周期で繰り返し)、撮影方向と進行方向とのずれに対する判定を行うことで、実写案内画像と地図案内画像とを切り替える表示制御を行う。 In Modification 4, CPU 21 during the execution of the AR navigation, (repeated in other words a predetermined cycle) regularly, by performing the determination for the deviation between the imaging direction and the traveling direction, and a photographed guide image and the map guide image It performs display control to switch. これにより、撮影方向と進行方向とのずれが生じた際に、速やかに実写案内画像から地図案内画像へ切り替えることができる。 Thus, when the displacement of the photographing direction and the traveling direction is generated, it is possible to switch rapidly from the photographed guide image to the map guide image.

(変形例5) (Modification 5)
上記した実施例は、本発明を、端末保持装置1に搭載された状態にある端末装置2(つまり、端末保持装置1を介して移動体に搭載された状態にある端末装置2)に対して適用したものであった。 Embodiment described above, the present invention, the terminal device 2 is in a state mounted in the terminal holder 1 (i.e., the terminal device 2 in the state of being mounted on a mobile object via a terminal holder 1) were those the applied. これに対して、変形例5は、ユーザが単に携帯する端末装置2に対して適用されるものである。 In contrast, modification 5 is what the user is simply applied to the terminal device 2 to carry. 例えば、変形例5は、歩行者が端末装置2を用いて経路案内を利用する場合に適用される。 For example, the fifth modification, the pedestrian is applied to the case of using the route guidance using the terminal device 2.

図9を参照して、変形例5について具体的に説明する。 Referring to FIG. 9, a modification 5 will be specifically described. 図9(a)に示すように、ユーザが歩行中などに実写案内画像によるARナビを利用する場合には、カメラ29の撮影方向が略水平であることが望ましいので、ユーザは端末装置2を縦にする傾向にある。 As shown in FIG. 9 (a), since if the user uses the AR navigation by the photographed guide image, such as during walking, it is desirable that the shooting direction of the camera 29 is substantially horizontal, the user terminal device 2 there is a tendency to vertical. つまり、ユーザは、端末装置2の傾きを地面に対して略垂直にした状態で、端末装置2を利用する傾向にある。 That is, the user of the inclination of the terminal device 2 in a state of being substantially perpendicular to the ground, they tend to use the terminal apparatus 2. これに対して、図9(b)に示すように、ユーザが歩行中などに地図案内画像による通常ナビを利用する場合には、地図案内画像を見やすくするために(その他の理由としては、図9(a)のように縦にした状態で保持すると疲れるといった理由が挙げられる)、ユーザは端末装置2を寝かせる傾向にある。 In contrast, as shown in FIG. 9 (b), when the user uses the normal navigation by the map guide image, such as during walking, as (other reasons in order to easily view the map guide image, FIG. 9 reasons such tiring to hold in a state of being vertically and the like as (a)), the user tends to lay down the terminal device 2. つまり、ユーザは、端末装置2の傾きを地面に対して水平に近付けた状態で、端末装置2を利用する傾向にある。 That is, the user of the inclination of the terminal device 2 in a state of close horizontally with respect to the ground, they tend to use the terminal apparatus 2.

以上のことから、変形例5では、端末装置2のCPU21は、カメラ29の撮影方向と端末装置2の傾きとの関係に基づいて、実写案内画像と地図案内画像とのいずれを優先して表示させるかを判定する、言い換えるとARナビと通常ナビとのいずれを優先して実行すべきかを判定する。 Display From the above, in the modified example 5, CPU 21 of the terminal device 2, based on the relationship between the tilt of the photographing direction and the terminal device 2 of the camera 29, giving priority to one of the photographed guide image and the map guide image determining whether to determine whether to execute with priority either an other words AR navigation and normal navigation. 具体的には、CPU21は、カメラ29の撮影方向の傾きが水平面に対して所定の範囲内である場合には、実写案内画像を優先して表示させると決定し、カメラ29の撮影方向の傾きが水平面に対して所定の範囲外である場合には、地図案内画像を優先して表示させると決定する。 Specifically, CPU 21, when the photographing direction of the tilt of the camera 29 is within a predetermined range with respect to the horizontal plane, determines that is displayed by priority the photographed guide image, the tilt of the photographing direction of the camera 29 There If it is outside a predetermined range with respect to the horizontal plane, determines that is displayed by priority the map guide image.

なお、このような判定に用いられる「所定の範囲」は、実際の歩行者によるARナビ及び通常ナビの利用時における端末装置2の傾きを勘案して予め設定される。 Incidentally, the "predetermined range" used in this determination is set in advance in consideration of the inclination of the terminal device 2 at the time of use of AR navigation and normal navigation according to the actual pedestrian. また、CPU21は、移動体の水平回りの角速度又は加速度の少なくとも一方を検出するセンサ15d(ジャイロセンサ)の出力に基づいて、カメラ29の撮影方向の傾きを求める。 Further, CPU 21 based on the output of the sensor 15d for detecting at least one of a horizontal angular velocity about or acceleration of the moving body (gyro sensor), obtains the photographing direction of the tilt of the camera 29.

(変形例6) (Modification 6)
上記では本発明を車両に適用する例を示したが、本発明の適用はこれに限定されない。 In the above an example of applying the present invention to a vehicle, but the application of the present invention is not limited thereto. 本発明は、車両の他に、船や、ヘリコプターや、飛行機などの種々の移動体に適用することができる。 The present invention, in addition to vehicles, boats and helicopters and can be applied to various mobile bodies such as airplanes.

以上に述べたように、実施例は、上述した実施例に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能である。 As described above, examples are not limited to the embodiments described above can be appropriately changed without departing from the essence or spirit of the invention which can be read from the entire claims and specification.

本発明は、通話機能を有する携帯電話や、経路案内を行うナビゲーション装置に利用することができる。 The present invention can be used a mobile phone and having a call function, a navigation device for performing route guidance.

1 端末保持装置 2 端末装置 3 車両 15 基板ホルダ 16 端末ホルダ 21 CPU 1 terminal holding apparatus 2 terminal 3 vehicle 15 substrate holder 16 terminal holder 21 CPU
25 表示部 28 操作部 29 カメラ 25 display unit 28 operation unit 29 camera

Claims (5)

  1. 移動体に取り付け可能であり、目的地への経路案内を行う端末装置であって、 It is attachable to the moving body, a terminal device that performs route guidance to the destination,
    撮影手段と、 An imaging means,
    前記目的地を設定するために操作される操作部と、 An operation unit is operated to set the destination,
    前記撮影手段によって撮影された撮影画像を用いて経路案内を行うための実写案内画像、又は地図画像を用いて経路案内を行うための地図案内画像の各々を切替えて表示手段に表示させる表示制御手段と、を有し、 Photographed guide image, or display control means for displaying on the display means switches the respective map guide image for performing the route guidance using the map image for route guidance using a photographed image photographed by said photographing means and, have,
    前記表示制御手段は、前記実写案内画像の表示中に前記操作部の操作がなされた場合には、前記地図画像の表示に切替えることを特徴とする端末装置。 Wherein the display control unit, when the operating portion of the operation during the display of the photographed guide image is made, the terminal device and switches the display of the map image.
  2. 前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記実写案内画像と前記地図案内画像のいずれを表示させるかの判定を行う判定手段を有し、 On the basis of the relationship between the photographing direction of the photographing means and the traveling direction of the moving body has a judging means for judging whether to display the one of the map guide image and the photographed guide image,
    前記表示制御手段は、前記操作部による前記目的地の設定がされた後に、前記判定手段による前記判定に基づいて、前記実写案内画像または前記地図案内画像のいずれか一方の画像を表示させる制御を行うことを特徴とする請求項1に記載の端末装置。 Wherein the display control unit, after the destination setting by the operation section is, on the basis of the determination by said determining means, control to display either the image of the photographed guide image and the map guide image terminal device according to claim 1, characterized in that.
  3. 前記地図画像を用いて前記目的地を設定させることを特徴とする請求項1又は2に記載の端末装置。 Terminal device according to claim 1 or 2, characterized in that to set the destination using the map image.
  4. 移動体に取り付け可能であり、目的地への経路案内を行い、撮影手段と前記目的地を設定するために操作される操作部とを有する端末装置によって実行される画像表示方法であって、 Is attachable to the mobile performs a route guidance to a destination, an image display method performed by a terminal device having an operation unit is operated to set the destination and the imaging means,
    前記撮影手段によって撮影された撮影画像を用いて経路案内を行うための実写案内画像、又は地図画像を用いて経路案内を行うための地図案内画像の各々を切替えて表示手段に表示させる表示制御工程を有し、 The photographed guide image for performing route guidance using a photographed image photographed by the photographing means, or a display control step of displaying on the display means switches the respective map guide image for performing the route guidance using the map image have,
    前記表示制御工程は、前記実写案内画像の表示中に前記操作部の操作がなされた場合には、前記地図画像の表示に切替えることを特徴とする画像表示方法。 Wherein the display control step, when the operation portion of the operation during the display of the photographed guide image is performed, an image display method and switches the display of the map image.
  5. 移動体に取り付け可能であり、目的地への経路案内を行い、撮影手段と前記目的地を設定するために操作される操作部とコンピュータとを有する端末装置によって実行される画像表示プログラムであって、 Is attachable to the mobile performs a route guidance to a destination, an image display program executed by a terminal apparatus and an operation is the operation unit and the computer to set the destination and the photographing means ,
    前記撮影手段によって撮影された撮影画像を用いて経路案内を行うための実写案内画像、又は地図画像を用いて経路案内を行うための地図案内画像の各々を切替えて表示手段に表示させる表示制御手段として前記コンピュータを機能させ、 Photographed guide image, or display control means for displaying on the display means switches the respective map guide image for performing the route guidance using the map image for route guidance using a photographed image photographed by said photographing means It makes the computer function as,
    前記表示制御手段は、前記実写案内画像の表示中に前記操作部の操作がなされた場合には、前記地図画像の表示に切替えることを特徴とする画像表示プログラム。 Wherein the display control unit, when the operating portion of the operation during the display of the photographed guide image is performed, an image display program and switches to the display of the map image.
JP2011170118A 2011-08-03 2011-08-03 Terminal, an image display method and image display program executed by a terminal device Active JP5036895B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011170118A JP5036895B2 (en) 2011-08-03 2011-08-03 Terminal, an image display method and image display program executed by a terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011170118A JP5036895B2 (en) 2011-08-03 2011-08-03 Terminal, an image display method and image display program executed by a terminal device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011520262 Division 2010-11-18

Publications (2)

Publication Number Publication Date
JP2012108097A true JP2012108097A (en) 2012-06-07
JP5036895B2 true JP5036895B2 (en) 2012-09-26

Family

ID=46493861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011170118A Active JP5036895B2 (en) 2011-08-03 2011-08-03 Terminal, an image display method and image display program executed by a terminal device

Country Status (1)

Country Link
JP (1) JP5036895B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6261188B2 (en) * 2013-05-24 2018-01-17 株式会社デンソーテン Route display device, and, the route display method
KR20150077091A (en) 2013-12-27 2015-07-07 삼성전자주식회사 Photographing apparatus and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933271A (en) * 1995-07-21 1997-02-07 Canon Inc Navigation apparatus and image pickup device
JP4632793B2 (en) * 2005-01-12 2011-02-23 京セラ株式会社 Navigation function with a portable terminal
JP4068661B1 (en) * 2006-10-13 2008-03-26 株式会社ナビタイムジャパン Navigation system, the mobile terminal device and route guidance method
JP4787196B2 (en) * 2007-03-26 2011-10-05 アルパイン株式会社 Vehicle navigation system

Also Published As

Publication number Publication date Type
JP2012108097A (en) 2012-06-07 application

Similar Documents

Publication Publication Date Title
US20120026088A1 (en) Handheld device with projected user interface and interactive image
US20110187547A1 (en) Information display apparatus and method thereof
US20100305844A1 (en) Mobile vehicle navigation method and apparatus thereof
US20080007428A1 (en) Driving support apparatus
US8180567B2 (en) Navigation device with camera-info
JPH10232135A (en) Image-data collecting method, image-data providing method, map forming method, position-data providing method, navigation device and vehicle
US20140002357A1 (en) Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
US20060072019A1 (en) System and method for detecting image capture device movement with two dual axis linear accelerometers
JPH11312300A (en) On-vehicle camera
US20120099012A1 (en) Image capturing apparatus of mobile terminal and method thereof
JP2010063052A (en) Image capturing apparatus and method, and program
US8036823B2 (en) Navigation system
JP2006194665A (en) Portable terminal with navigation function
US20110071758A1 (en) Navigation method of mobile terminal and apparatus thereof
JPH10176928A (en) Viewpoint position measuring method and device, head-up display, and mirror adjustment device
US20140229847A1 (en) Input interface controlling apparatus and method thereof
US20100057344A1 (en) Navigation device, display method of navigation device, program of display method of nagivation device and recording medium recording program of display method of navigation device
JP2005318519A (en) Imaging apparatus for vehicles
JP4827994B1 (en) Terminal, an image display method and image display program executed by a terminal device
JP2006224778A (en) Parking support apparatus
US6611664B2 (en) Stereo image photographing system
JP2004064409A (en) Information recording device, information recording method, and information recording program
JP2010163114A (en) Portable navigation device with camera
US20080151048A1 (en) Driving supporting apparatus
JP2005241385A (en) Destination guiding system and portable terminal system

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Effective date: 20120703

Free format text: JAPANESE INTERMEDIATE CODE: A61

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3