JP4433385B2 - Destination guide device and the mobile terminal device - Google Patents

Destination guide device and the mobile terminal device Download PDF

Info

Publication number
JP4433385B2
JP4433385B2 JP2004050401A JP2004050401A JP4433385B2 JP 4433385 B2 JP4433385 B2 JP 4433385B2 JP 2004050401 A JP2004050401 A JP 2004050401A JP 2004050401 A JP2004050401 A JP 2004050401A JP 4433385 B2 JP4433385 B2 JP 4433385B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
destination
direction
screen
camera
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004050401A
Other languages
Japanese (ja)
Other versions
JP2005241385A (en )
Inventor
岳 干台
Original Assignee
ソニー・エリクソン・モバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、携帯電話機のような携帯端末装置の表示画面で利用者に目的地への案内(ナビゲーション)を行う目的地案内装置および携帯端末装置に関し、特にカメラ撮影映像を用いた目的地案内装置および携帯端末装置に関するものである。 The present invention relates to a destination guidance device and a portable terminal apparatus that performs guidance to the destination (the navigation) to the user on the display screen of the portable terminal device such as a cellular phone, a destination guide device using a particular camera shooting video and to a mobile terminal device.

車両や歩行者の道案内を行うナビゲーション装置として、従来、デジタルカメラで撮影された画像(映像)を利用するものが提案されている。 As a navigation apparatus for performing route guidance for vehicles and pedestrians, conventionally utilizes has been proposed an image photographed by a digital camera (image).

例えば、特許文献1に記載の装置は、車両が走行する空間をモデル化したデータや実画像を予め記憶しておき、このような推定画像と実際に撮影された画像(情景画像)とを照合(パターンマッチング)して、情景画像に指示情報(進行方向を示す矢印)を埋め込むものである。 For example, according to Patent Document 1, the vehicle is stored in advance modeled data and actual image space traveling, collated with such estimation image actually captured image (scene image) (pattern matching) that is intended to embed instruction information (arrow indicating the direction of travel) on the scenery image.

特許文献2に記載の装置は、携帯電話機の使用者が目的地へ移動する際に使用者を基準とした目的地への進行方向を携帯電話機の画面上に矢印等で表示するものである。 Apparatus according to Patent Document 2, in which the user of the cellular phone displays an arrow or the like the traveling direction of the reference and destination the user in moving to the destination on the screen of the mobile phone.
特開2003−14477号公報 JP 2003-14477 JP 特開2003−83762号公報 JP 2003-83762 JP

しかしながら、特許文献1に記載の装置は、予め道案内の対象となる場所についてモデル化したデータを作成し、または実画像を記憶しておく必要があり、主要な自動車道路についてのみであってもそのようなデータや実画像を用意しておくことはコスト的にも作業的にも負担が大きい。 However, the device described in Patent Document 1, it is necessary to store the created modeled data or real images, the location to be pre-directions, be only the major highways such data and that you have a real image has a large burden to work specifically in terms of cost. また、携帯端末で歩行者に対する道案内を行う場合には、人の歩行する道が問題となり、かつ、携帯端末による撮影画像は車両の走行時の撮影画像と異なりその向きや高さがまちまちであり、撮影画像と対照する画像のモデル化やマッチング処理が困難となると考えられる。 In addition, in the case of carrying out the directions to the pedestrian in the mobile terminal, the road becomes a problem to walk people, and, an image captured by the mobile terminal is a mixed traveling photographic image unlike its orientation and height of the vehicle at the time of There is believed to modeling and matching of image contrast and the photographed image becomes difficult.

他方、特許文献2に記載の装置は撮影画像を用いないのでそのような問題はないが、表示画面上に目的地の方向を示す矢印を表示するのみでは実際の目前の風景との関係が分かりづらいという問題があった。 On the other hand, although such a problem is not so device does not use the captured image as described in Patent Document 2, the only displays an arrow indicating the direction of the destination on the display screen to understand the relationship between the actual number The current landscape there is a problem that difficult.

本発明はこのような背景においてなされたものであり、その目的は、撮影画像と照合すべき画像を予め用意することなく比較的簡単な構成で撮影画像に指示表示を重ねることができる目的地案内装置および携帯端末装置を提供することにある。 The present invention has been made in this background, and its object is the destination guidance can be superimposed instructions displayed on the captured image with a relatively simple configuration without preparing an image to be collated with the captured image in advance to provide an apparatus and a portable terminal device.

本発明による目的地案内装置は、デジタルカメラと、このデジタルカメラが撮影した画像を表示する表示部と、目的地を入力する操作部と、現在位置を検出する現在位置検出手段と、前記現在位置を基準として前記デジタルカメラのスクリーンを画定するスクリーン画定手段と、前記目的地に対応する目的地方向座標を定め、前記表示部の表示画面上で前記デジタルカメラの撮影画像に重ねて前記目的地方向座標に対する指示表示を行う制御手段とを備えたことを特徴とする。 Destination guide apparatus according to the present invention, a digital camera, a display unit the digital camera displays an image taken, an operation unit for inputting a destination, a current position detection means for detecting the current position, the current position a screen defining unit for defining the screen of the digital camera as a reference, the determined destination direction coordinates corresponding to the destination, the destination direction superimposed on the photographed image of the digital camera on the display screen of the display unit characterized by comprising a control means for instructing the display with respect to the coordinate.

この構成では、現在位置検出手段が現在位置を検出し、スクリーン画定手段がこの現在位置を基準として前記デジタルカメラのスクリーンを画定する。 In this configuration, the current position detecting means detects the current position, the screen defining unit for defining a screen of the digital camera as a reference to this current position. 制御手段は、現在位置と目的地に基づいて、目的地に対応する目的地方向座標を定め、前記表示部の表示画面上で前記デジタルカメラの撮影画像に重ねて前記目的地方向座標に対する指示表示を行う。 Control means, based on the current position and the destination, determines the destination direction coordinates corresponding to the destination, the instruction display for the destination direction coordinates superimposed on the captured image of the digital camera on the display screen of the display unit I do.

前記撮影画像は、好ましくは、前記デジタルカメラのスルー画像である。 The captured image is preferably a through image of the digital camera. これにより、撮影画像は利用者の移動に応じてほぼリアルタイムに風景の変化に追従することができる。 Thus, the captured image can follow the change of the landscape in near real time according to the movement of the user.

前記スクリーン画定手段は、目的地案内装置の向いている方位を検出する方位検出手段と、前記デジタルカメラのレンズが向いている垂直面内での方向を検出するカメラ方向検出手段と、前記デジタルカメラの撮像倍率を設定する手段とを有し、両検出手段の出力および前記撮像倍率に基づいて前記スクリーンを画定することができる。 It said screen defining means includes direction detecting means for detecting the orientation facing the destination guide device, and the camera direction detection means for detecting the direction in the vertical plane said that digital camera lens facing, the digital camera and means for setting the imaging magnification can define the screen on the basis of the output and the imaging magnification of both detection means.

より具体的には、前記スクリーンは前記現在位置を中心とした水平方向および垂直方向の画角の範囲で画定され、前記目的地方向座標は、前記現在位置から前記目的地へ伸びる方向ベクトルの前記画角の範囲内での相対的な角度の比と前記スクリーンのサイズとにより定まる。 More specifically, the screen is defined in a range of horizontal and vertical angle of view around the current position, the destination direction coordinates, the direction vector extending from the current position to the destination determined by the relative angle ratio within the range of the angle of view of the size of the screen.

前記カメラ方向検出手段は、目的地案内装置の向いている現在の方位を検出する手段と、目的地案内装置の傾き角度を検出する手段とにより構成することができる。 The camera direction detecting means can be configured with means for detecting a current orientation facing the destination guide device, by means for detecting the inclination angle of the destination guidance system. この場合、目的地案内装置本体に対してカメラ部が回転する構成である場合、その回転角を加味して前記レンズが向いている垂直面内での方向を検出することができる。 In this case, when the camera unit with respect to the destination guide device body is configured to rotate, it is possible to detect the direction in the vertical plane thereof by adding the rotation angle the lens is facing.

前記制御手段は、現在位置から目的地への方向ベクトルおよび現在位置のいずれにおいても変化量が所定の閾値より小さい場合、少なくとも前記指示表示の更新を抑止するようにしてもよい。 Wherein if also the variation in either direction vector and the current position from the current position to the destination is less than a predetermined threshold value may be suppressed at least the instruction display update. これにより、目的地案内の機能を大きく損なうことなく、装置の処理負荷が軽減される。 Thus, without significantly impairing the function of the destination guidance, the processing load of the apparatus can be reduced.

本発明は、デジタルカメラを搭載した携帯端末装置としても把握することができる。 The present invention can also be understood as a mobile terminal apparatus equipped with a digital camera.

本発明は、さらに、上記目的地案内装置の動作を端末装置において実現するために端末装置にインストールされるコンピュータプログラムまたはこのコンピュータプログラムを読み取り可能に記録した記録媒体として把握することも可能である。 The present invention further, it is possible to grasp the operation of the destination guidance device as a recording medium recording the readable computer program or a computer program is installed in the terminal device in order to realize the terminal device.

本発明によれば、撮影画像と照合すべき画像を予め用意することなく比較的簡単な構成で撮影画像に指示表示を重ねることができる目的地案内装置を提供することができる。 According to the present invention, it is possible to provide a destination guiding device can be superimposed instructions displayed on the captured image with a relatively simple configuration without preparing an image to be collated with the captured image in advance. 本発明は、特に、カメラ付き携帯電話機のような携帯型の端末装置に適用して歩行者に対する道案内を行うのに好適である。 The present invention is particularly suitable for performing route guidance for pedestrians and applied to a portable terminal device such as a camera-equipped mobile phone.

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。 Hereinafter, it will be explained in detail with reference to the accompanying drawings preferred embodiments of the present invention. 本実施の形態では、携帯電話機のような携帯端末を目的地案内装置として利用する例を説明する。 In this embodiment, an example of using a mobile terminal such as a cellular phone as a destination guide device.

図1は、携帯端末401の外観を示す正面図(a)および背面図(b)を示している。 Figure 1 shows a front view of the mobile terminal 401 (a) and rear view (b). 正面図から分かるように、この携帯端末は、正面側にディスプレイ(表示部)201、およびキー操作部202を有し、背面側にスピーカ302を有する。 As can be seen from the front view, the mobile terminal includes a display (display unit) 201 and a key operation unit 202, the front side, a speaker 302 on the back side. また、携帯端末上部にカメラ(デジタルカメラ)200を有する。 Also, having a camera (digital camera) 200 to the mobile terminal top. カメラのレンズ301は背面側に向けられているが、回転式の場合には携帯端末本体に水平な方向に対して軸を持つことにより、携帯端末本体の傾きに因らず撮影方向を設定できる。 Lens 301 of the camera is directed to the rear side, in the case of a rotary is by having a shaft with respect to the horizontal direction to the portable terminal body can be set photographing direction regardless of the inclination of the portable terminal body . また、ここではいわゆるスティック型の携帯端末を例として示したが、二つ折り型の携帯端末であってもよい。 Also, here is shown a portable terminal of a so-called stick-type as an example, it may be a clamshell-type mobile terminal.

図2は、携帯端末401の概略構成を示すブロック図である。 Figure 2 is a block diagram illustrating a schematic configuration of a mobile terminal 401. この携帯端末は、加速度センサ100、地磁気センサ101、カメラ102、GPS受信機103、携帯端末自体の機能処理を行う中央処理装置104、、メモリ106、マイク・スピーカ107、通信部108、ディスプレイ201、キー操作部202等を備えている。 The mobile terminal, the acceleration sensor 100, a geomagnetic sensor 101, camera 102, GPS receiver 103, a central processing unit 104 ,, memory 106 for the functions of the mobile terminal itself, the microphone speaker 107, a communication unit 108, a display 201, and a key operation unit 202 or the like. カメラ102が回動型の場合にはその回転角度を検出する手段(図示せず)も設ける。 If the camera 102 is rotated type (not shown) for detecting the rotational angles are provided. この手段としては任意の公知のものを用いることができる。 It can be used any of known as this means.

加速度センサ100からは、携帯端末401の加速度が検出され、現在の速度や携帯端末自体の角度404(図3)が検出される。 From the acceleration sensor 100, the acceleration detected by the mobile terminal 401, the current speed and the mobile terminal itself angle 404 (FIG. 3) is detected. 角度404は、端末401の背面に垂直な方向と鉛直線とがなす端末傾き角である。 Angle 404 is a terminal inclination angle formed by the perpendicular direction and a vertical line on the back of the device 401. 地磁気センサ101は、地磁気の方位を検出し、その検出方位の変化に基づいて携帯端末(ひいてはその利用者)が向いている方位が認識される。 The geomagnetic sensor 101 detects the azimuth of the geomagnetic azimuth the mobile terminal based on the change in the detection direction (hence its user) is facing is recognized. カメラ102は、利用者進行方向の映像を撮影するために利用される。 The camera 102 is used to shoot the user traveling direction of the video. GPS受信機103は、携帯端末の現在位置(緯度および経度)を検出する。 GPS receiver 103 detects the current position of the mobile terminal (latitude and longitude). これらセンサの情報は、中央処理装置104により処理されディスプレイ201に表示、メモリ106に蓄積、またはスピーカによって音声として利用者に伝えられる。 Information of these sensors are displayed on the display 201 is processed by the central processing unit 104 is transmitted to the user as a voice by the accumulation or speakers, in the memory 106. 通信部108は、アンテナを介して基地局(図示せず)との間で無線による音声およびデータの通信を行う部位である。 The communication unit 108 is a portion for communicating voice and data wireless to and from the base station via an antenna (not shown). 後述するように通信ネットワーク上でナビゲーション情報(地図情報等)を提供するサーバへのアクセスは通信部108により行われる。 Access on a communication network as described later to a server that provides navigation information (map information, etc.) is performed by the communication unit 108.

図4に、利用者の位置を中心とした各種の位置や角度の関係を示す。 Figure 4 shows the various positions and angular relationships around the position of the user. ここでは、現在位置座標としての利用者座標α(αx、αy、αz)を基準位置とし、カメラのレンズの向いた方向を中心方向ベクトル711とする。 Here, user coordinates α as the current position coordinates (αx, αy, αz) and the reference position, the direction toward the camera lens to the center direction vector 711. ここに、αx、αy、αzはそれぞれ経度、緯度、高度である。 Here, .alpha.x, .alpha.y, .alpha.z are each longitude, latitude, altitude. 但し高度は分かれば利用することができるが、利用しなくてもその誤差は所定の範囲内に収まると考えられるので高度は必ずしも利用する必要はない。 However although altitude may be utilized Knowing, the error may not utilize advanced is not always necessary to use since it is considered that within a predetermined range. また、この中心方向ベクトル711を中心としてカメラの画角を定める。 Moreover, determining the angle of the camera around the center direction vector 711. ここで、画角は、利用者座標αの位置から撮像される仮想的なスクリーン(表示画面に対応)702の水平方向の開き角度θおよび垂直方向の開き角度φにより定まる。 Here, the angle of view is determined by the user coordinate opening angle in the horizontal direction of the opening angle θ and the vertical direction of the virtual screen (corresponding to the display screen) 702 to be imaged from the position of alpha phi. スクリーン702は利用者座標αを原点とした球面の一部となり、実質的にディスプレイの表示画面に対応する。 Screen 702 becomes part of the spherical surface as an origin user coordinates alpha, substantially corresponding to the display screen of the display. 中心方向ベクトル711を、利用者座標αを含む水平面に投影したものが進行方向ベクトル713となる。 The center direction vector 711, which is projected to the horizontal plane including the user coordinate α is the traveling direction vector 713. 基準方位(例えば東)から進行方向ベクトル713までの角度を角度εとする。 The the angle ε angle from the reference direction (e.g. east) to the traveling direction vector 713. また、進行方向ベクトル713から中心方向ベクトル711までの角度を角度δとする。 Further, the angle of the traveling direction vector 713 to the center direction vector 711 and the angle [delta]. 目的地方向ベクトル712がスクリーン702と交わる点を交点707としている。 Destinations direction vector 712 is the intersection 707 of the point of intersection between the screen 702.

次に、図5のフローチャートを参照しながら、本実施の形態の動作について説明する。 Next, with reference to the flowchart of FIG. 5, the operation of the present embodiment. この処理は、中央処理装置104が所定のプログラムを実行することにより実現される。 This process includes a central processing unit 104 is realized by executing a predetermined program.

まず、利用者の操作に従って、目的地を設定する(S11)。 First, in accordance with the user's operation, to set the destination (S11). 具体的には、この目的地の設定は、利用者が予め設定されている建物や場所等を選択したり、住所(地名および番地等)を入力したりすることにより行う。 More specifically, the destination of the setting is carried out by or select a building or location, such as the user is set in advance, or enter the address (place name and address, etc.).

次に、利用者(携帯端末)の現在位置を測定する(S12)。 Next, to measure the current position of the user (mobile terminal) (S12). 具体的には、GPS受信機103を用いて利用者座標α(αx,αy,αz)を測定する。 Specifically, the user coordinate α using a GPS receiver 103 (αx, αy, αz) is measured. さらに、携帯端末本体の現在の方位を測定する(S13)。 Further, to measure the current orientation of the portable terminal body (S13). この方位を利用者の進行方向とみなす。 This orientation is regarded as the traveling direction of the user. 例えば、地磁気センサ101により水平方向に関して基準方位(例えば東)710から進行方向ベクトル713までの角度εを測定する。 For example, to measure the angle ε from the reference azimuth (e.g., E) 710 in the horizontal direction to the traveling direction vector 713 by the geomagnetic sensor 101. ついで、加速度センサ100により端末傾き角404を測定する(S14)。 Then, to measure the terminal tilt angle 404 by the acceleration sensor 100 (S14).

そこで、カメラが回転式か否かをチェックする(S15)。 Therefore, the camera checks whether the rotating (S15). 固定式であれば、端末傾き角404からスクリーン角度δを求める(S17)。 If fixed, determine the screen angle δ from the terminal slope angle 404 (S17). 回転式であればカメラ回転角を確認し(S16)、これで端末傾き角404を補正してスクリーン角度δを求める(S17)。 If rotary sure camera rotation angle (S16), which in to correct the terminal inclination angle 404 obtains the screen angle [delta] (S17). 角度εと角度δにより中心方向ベクトル711が定まる。 Center direction vector 711 is determined by the angle ε and the angle [delta]. ついで、現在設定されている光学倍率およびデジタルズームによる拡大率から画角(θ,φ)を計算する(S18)。 Then, angle from magnification by the optical magnification and digital zoom is currently set (theta, phi) to calculate the (S18).

次に、目的地座標β(βx,βy,βz)と利用者座標α(αx,αy,αz)より目的地方向ベクトル712を求める(S19)。 Next, the destination coordinates β (βx, βy, βz) and the user coordinates α (αx, αy, αz) obtains the destination direction vector 712 from (S19). 目的地座標β(βx,βy,βz)は、ステップS11で利用者の入力した目的地に基づいて、サーバで認識し、サーバから受信することができる。 Destination coordinate β (βx, βy, βz), based on the destination input by the user at step S11, the recognition by the server may be received from the server. この目的地方向ベクトル712がスクリーン702内に入るか否かをチェックする(S20)。 The destination direction vector 712 checks whether or not to enter into the screen 702 (S20). これは目的地方向ベクトル712の水平および垂直の角度とスクリーン702の角度範囲を比較することにより行える。 This can be done by comparing the horizontal and angular range of the vertical angle and the screen 702 of the destination direction vector 712. スクリーン702内に入るならば、そのスクリーン内相対位置情報を計算する(S21)。 If falling within the screen 702, calculates its screen the relative position information (S21). 上記交点707の座標は絶対座標ではなく、このスクリーン上での相対位置として求められる(利用者座標からスクリーン位置までの距離は任意のため)。 Coordinates of the intersection point 707 is not the absolute coordinate, (because the distance to the screen position of the arbitrarily user coordinates) sought as a relative position on the screen.

図6(a)に進行方向ベクトル713を含む水平面における各ベクトルの関係を示す。 Shows the relationship of each vector in the horizontal plane including the traveling direction vector 713 in Figure 6 (a). 進行方向ベクトル713を中心として画角θが定まる。 Angle θ is determined around the traveling direction vector 713. この画角θ内の目的地方向ベクトル712の位置により係数aが定まる。 Coefficient a is determined by the position of the destination direction vector 712 of the field angle in theta. 図6(b)は進行方向ベクトル713を含む垂直面における各ベクトルの関係を示す。 FIG 6 (b) shows a relationship between each vector in the vertical plane including the traveling direction vector 713. 進行方向ベクトル713と垂直面上で角度δをなすベクトルが中心方向ベクトル711であり、この中心方向ベクトル711を中心として画角φが定まる。 Traveling direction vector 713 and vector forming an angle δ on the vertical plane is the center direction vector 711, angle φ is determined as the center of this central direction vector 711. この画角φ内の目的地方向ベクトル712の位置により係数bが定まる。 Coefficient b is determined by the position of the destination direction vector 712 in the angle phi. これらの係数a,bが実質的に相対位置として機能する。 These coefficients a, b are substantially function as relative position.

そこで、図7に示すように、カメラスルー画像を表示するスクリーン上での上記相対位置を目的地方向座標1001に変換する(S22)。 Therefore, as shown in FIG. 7, it converts the relative position on the screen to display the camera-through image in the destination direction coordinates 1001 (S22). これは、水平方向および垂直方向の各々の画角をそれぞれスクリーンの水平方向および垂直方向のサイズに割り当てたとき、目的地方向ベクトル712の水平および垂直方向の角度の各画角に対する割合a,bで両サイズを比例配分することにより求めることができる。 This is when assigning the angle of view of each of the horizontal and vertical directions in the horizontal and vertical size of each screen, the ratio a for each angle of the horizontal and vertical angles of the destination direction vector 712, b in both size can be determined by proportional distribution.

カメラスルーとは、カメラのシャッタを押す前に被写体を選択するために撮像素子で得られた画像をリアルタイムに連続的に表示する動作をいう。 The camera-through refers to the continuous operation of displaying in real time an image obtained by the image pickup element in order to select an object before pressing the shutter of the camera. この座標1001を指し示す矢印をカメラスルー画像に重ねて表示することにより、案内表示を更新する(S23)。 By displaying superimposed arrow pointing to the coordinates 1001 to the camera through image, and updates the guidance display (S23). これにより、利用者は歩行に伴って変化していくカメラスルー画像上で、更新されていく目的地方向を示す指示表示を見ることができる。 Accordingly, the user on the camera through image will change along with the walking, you can see the indication display indicating the destination direction going updated.

ステップS12〜S23の処理は目的地に到着するまで(S24)、繰り返して実行される。 Processing in steps S12~S23 until reaching the destination (S24), is repeatedly executed. 目的地に到着したときには、利用者に対してその旨のスクリーン上への表示、音声や音による通知を行うようにしてもよい。 When you arrive at the destination, it displays on the screen to that effect to the user, may be to perform the notification by voice or sound.

ステップS23における案内表示には次のようなものが考えられる。 The guidance display in the step S23 is conceivable as follows.

(1)スクリーン下辺に矢印の基準位置を持つ方法 例えば、図8に示すように、指示表示の一形態として、スクリーン下辺中心1002から目的地方向座標1001に伸びる矢印1004を表示する。 (1) method with a reference position of the arrow on the screen lower side for example, as shown in FIG. 8, as a form of instruction display, and displays an arrow 1004 extending from the screen lower center 1002 destination direction coordinates 1001. 図9は実際のカメラスルー画像に矢印1004を重ねて表示した例を示している。 Figure 9 shows an example of displaying superimposed arrow 1004 to the actual camera through image. これらの表示方法によれば、スクリーン上において目的地を示す矢印1004がそのまま利用者の進むべき方向となるため、利用者にとって理解しやすい利点がある。 According to these display methods, for arrow 1004 indicating the destination on the screen is the direction in which it proceeds with the user, there is understandable advantages for the user. 図10に示すように、矢印1004とともに、目的地までの距離も表示するようにしてもよい。 As shown in FIG. 10, the arrow 1004, it may be also displayed distance to the destination. ここでの距離は、座標間の直線距離を想定しているが、ナビゲーションシステムから利用出来る場合には経路に沿った距離表示1003を付加するようにしてもよい。 Distance Here, it is assumed that the linear distance between the coordinates, may be added to the distance display 1003 along the path when the available from the navigation system. 現在位置から目的地までの距離は、端末において直線距離を算出してもよいし、通信ネットワークを経由して所定のサーバに目的地および現在位置の位置情報を送ってサーバで最短経路に沿った距離を求めてその結果を受信するようにしてもよい。 Distance from the current position to the destination may calculate the linear distance in the terminal, along the shortest path in the server via the communication network sending the location information of the destination and the current position in the predetermined server distance may receive the results for.

目的地方向座標Bがスクリーン702外の場合、矢印1004がスクリーン702から消えることにより、利用者は目的地方向がスクリーン範囲外となっていることが分かる。 If the destination direction coordinates B of the outer screen 702, by the arrow 1004 disappears from the screen 702, the user can see that the destination direction is outside the screen area.

なお、目的地方向座標Bがスクリーン702外の場合、利用者座標αを中心とした球面上の一部がスクリーン702であるので、目的地方向座標がスクリーン外であっても、スクリーン上の座標系の目的方向座標を求めることができる。 Note that when the destination direction coordinates B of the outer screen 702, since a part of the sphere around the user coordinate α is a screen 702, also the destination direction coordinates be outside the screen, the coordinates on the screen it is possible to find the destination direction coordinates of the system. そこで、矢印を消去する代わりに図11に示すように、スクリーン下辺中心1002から目的地方向座標1005に対して線を引き、その線上に矢印1006を描くことにより利用者は進むべき方向を認識することができる。 Therefore, as shown in FIG. 11, instead of erasing the arrow, draw a line with respect to the destination direction coordinates 1005 from the screen lower center 1002, the user recognizes the direction to go by drawing the arrow 1006 to the line be able to.

本実施の形態における矢印による表示は、現在位置から目的地の方向を示すものであり、必ずしも途中の経路(道)を案内するものではないが、実際の撮影画面上での目的地の方向が分かるので有用である。 Display by arrows in this embodiment, which shows the direction of the destination from the current position, but not to guide always the middle of the route (road), the direction of the destination of the actual shooting screen They are useful because they can be seen. また、経路案内は従来の地図表示による案内画面に切り換えて表示するか、または画面を分割して両表示を分割領域に併せて表示するようにしてもよい。 The route guidance may be displayed to display is switched to the guidance screen according to the conventional map display, or both display and the screen is divided along the dividing regions.

(2)スクリーン中心に矢印の基準位置を持つ方法 スクリーン下辺ではなくスクリーン中心を矢印の基準位置としてもよい。 (2) the center of the screen rather than the way the screen lower side with a reference position of the arrow on the screen center may be used as the reference position of the arrow. 例えば、図12に示すように、目的地方向座標A1202がスクリーン702内にある場合、スクリーン中心1201を基準に、そこから求められたスクリーン内の目的方向座標A1202に対する方向を指し示す矢印A1204を表示する。 For example, as shown in FIG. 12, if the destination direction coordinates A1202 in the screen 702, based on the screen center 1201, displays an arrow A1204 pointing direction with respect to the destination direction coordinates A1202 in the screen obtained therefrom to. また、目的地方向座標Bがスクリーン702外の場合、図11の場合と同様、目的地方向座標がスクリーン外であっても、スクリーン上の座標系の目的方向座標B1203に対してスクリーン中心1201から線を引き、その線上に矢印B1205を描くことにより利用者は進むべき方向を認識することができる。 Also, if the destination direction coordinates B of the outer screen 702, similarly to the case of FIG. 11, also the destination direction coordinates be outside the screen, the screen center 1201 with respect to the destination direction coordinates B1203 coordinate system on the screen draw a line from, the user can recognize the direction to go by drawing the arrow B1205 to that line.

(3)変形例 上記(1)(2)のいずれにおいても、目的地方向座標がスクリーン内にない場合には、方向指示を行う矢印等を、スクリーン上に目的地方向がある場合と異なった表示形態(形状・色、点滅など)で表示することによって、目的地方向座標が画面外にあることを利用者に認識させるようにしてもよい。 In any of (3) Modification (1) (2), if the destination direction coordinates are not in the screen, the arrow or the like for direction indication, different from the case where there is a destination direction on the screen display form (shape, color, blinking, etc.) by displaying in, may be caused to recognize that the destination direction coordinates is outside the screen to the user.

なお、目的地方向が進行方向から大きく外れている場合に利用者座標αが少々変化した場合でも方向指示の矢印は激しく動く。 In addition, the direction of the arrow indication, even if the destination direction is user coordinate α a little change if you are greatly deviated from the traveling direction moves violently. この場合等には矢印の激しい動きを表示せずに、図13に示すように、矢印ではなく進む方向が大きくずれていることをテキスト表示1300で指示するようにしてもよい。 In this case without displaying the violent movement of the arrow in the like, as shown in FIG. 13, it may be indicated by the text display 1300 that the directions deviated to proceed rather than arrows.

図14は、本発明の第2の実施の形態における動作を説明するためのフローチャートである。 Figure 14 is a flowchart for explaining the operation in the second embodiment of the present invention. 装置構成は第1の実施の形態と同じである。 Device structure is the same as the first embodiment. 図14において図5と同じ処理ステップには同じ参照番号を付して、その詳細な説明を省略する。 14 are denoted by the same reference numerals to the same processing steps as Fig. 5, a detailed description thereof is omitted. 図5の処理と異なる点は、ステップS19とS20の間に新たなステップS19aを追加している点である。 Process differs from the FIG. 5 is that it adds a new step S19a between step S19 and S20. このステップS19aは、目的地への方向ベクトル712および現在位置のいずれにおいても変化量が小さい(それぞれの所定の閾値より小さい)場合、スクリーン内判別(S20)、相対位置の計算(S21)、座標変換(S22)および案内表示の更新(S23)を省略してステップS24へ移行する。 This step S19a is smaller even variation in either direction vector 712 and the current position to the destination (less than respective predetermined threshold), a screen in determination (S20), the calculation of the relative positions (S21), the coordinates omitted converts (S22) and guidance display update (S23) the process proceeds to step S24. これによって、必要以上に高頻度に案内表示を更新することを抑止し、携帯端末の処理負荷を軽減し、消費電流量を低くすることができる。 This can suppress updating the guidance display frequently than necessary, to reduce the processing load of the portable terminal, to reduce the current consumption. また、カメラスルー画像の更新自体も同様に抑止するようにしてもよい。 It is also possible to suppress similarly updated own camera-through image is also.

以上、本発明の好適な実施の形態について詳細に説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。 Having described in detail preferred embodiments of the present invention, various modifications other than those mentioned above, it is possible to make changes. 例えば、目的地までの距離について、その距離表示などの文字判読の必要のある情報表示ではなく、目的地までの距離に従って方向指示のための矢印等の大きさ、色を変化させるようにしてもよい。 For example, the distance to the destination, rather than the information displayed in need of characters read such that distance display size such as an arrow for the direction indicator according to the distance to the destination, be caused to change color good.

本発明の実施の形態における携帯端末の外観を示す正面図(a)および背面図(b)である。 It is a front view showing an appearance of a mobile terminal in the embodiment of the present invention (a) and rear view (b). 図1に示した携帯端末の概略構成を示すブロック図である。 Is a block diagram showing the schematic configuration of the portable terminal shown in FIG. 利用者と携帯端末の関係を示す図である。 It is a diagram in which the user shows a relationship between the mobile terminal. 利用者の位置を中心とした各種の位置や角度の関係を示す図である。 Is a diagram showing the various positions and angular relationships around the position of the user. 本実施の形態の動作について説明するためのフローチャートである。 Is a flow chart for explaining the operation of this embodiment. 進行方向ベクトルを含む水平面および垂直面における各ベクトルの関係を示す図である。 It is a diagram showing a relationship of each vector in the horizontal plane and a vertical plane including the traveling direction vector. 本発明の実施の形態においてスクリーン上での目的地方向座標の求め方の説明図である。 In the embodiment of the present invention is an explanatory view of obtaining the destination direction coordinates on the screen. 本発明の実施の形態におけるスクリーン下辺中心を基準とした指示表示の一形態を示す図である。 Screen lower center in the embodiment of the present invention is a diagram showing one form of the instruction display on the basis. 実際のカメラスルー画像に矢印を重ねて表示した例を示す図である。 Is a diagram illustrating an example of displaying a real camera through image superimposed arrows. 図9に示した矢印とともに、目的地までの距離も表示した例を示す図である。 With arrows shown in FIG. 9 is a diagram showing an example of displaying also the distance to the destination. 本発明の実施の形態において目的地方向座標がスクリーン外にある場合の矢印の表示例を示す図である。 Destinations direction coordinates in the embodiment of the present invention is a diagram showing a display example of arrow when it is in off-screen. 本発明の実施の形態におけるスクリーン中心を基準とした指示表示の他の形態を示す図である。 It is a view showing another form of the instruction display relative to the screen center in the embodiment of the present invention. 本発明の実施の形態において矢印の代わりのテキスト表示を示す図である。 In the embodiment of the present invention is a diagram showing a text displayed instead of the arrow. 本発明の第2の実施の形態における動作を説明するためのフローチャートである。 It is a flowchart for explaining the operation in the second embodiment of the present invention.

符号の説明 DESCRIPTION OF SYMBOLS

100…加速度センサ、101…磁気センサ、102…カメラ、103…GPS受信機、104…中央処理装置、106…メモリ、107…マイク・スピーカ、108…通信部、201…ディスプレイ、202…キー操作部、301…レンズ、302…スピーカ、401…携帯端末、404…端末傾き角、702…スクリーン、707…交点、711…中心方向ベクトル、712…目的地方向ベクトル、713…進行方向ベクトル、1001…目的地方向座標、1002…スクリーン下辺中心、1004…矢印、1005…目的地方向座標、1006…矢印、1201…スクリーン中心、1300…テキスト表示、α…利用者座標、β…目的地座標 100 ... acceleration sensor, 101 ... magnetic sensor, 102 ... camera, 103 ... GPS receiver, 104 ... CPU, 106 ... memory, 107 ... microphone speaker, 108 ... communication unit, 201 ... display, 202 ... key operation unit , 301 ... lens, 302 ... speaker, 401 ... mobile terminal, 404 ... terminal inclination angle, 702 ... screen, 707 ... intersection, 711 ... center direction vector, 712 ... destination direction vector, 713 ... traveling direction vector, 1001 ... object earth direction coordinate, 1002 ... screen bottom side center, 1004 ... the arrow, 1005 ... destination direction coordinates, 1006 ... the arrow, 1201 ... the center of the screen, 1300 ... text display, α ... user coordinates, β ... destination coordinates

Claims (6)

  1. 表示画面で利用者に目的地への案内を行う目的地案内装置であって、 A destination guide apparatus for performing a guide to the destination to the user on the display screen,
    デジタルカメラと、 And a digital camera,
    このデジタルカメラが撮影した画像を表示する表示部と、 A display unit the digital camera displays an image captured,
    目的地を入力する操作部と、 And an operation unit for inputting a destination,
    現在位置を検出する現在位置検出手段と、 Current position detecting means for detecting a current position,
    目的地案内装置の向いている方位を検出する方位検出手段と、前記デジタルカメラのレンズが向いている垂直面内での方向を検出するカメラ方向検出手段と、前記デジタルカメラの撮像倍率を設定する手段とを有し、両検出手段の出力および前記撮像倍率に基づいて前記現在位置を中心とした水平方向および垂直方向の画角の範囲で前記デジタルカメラのスクリーンを画定するスクリーン画定手段と、 To set the azimuth detecting means for detecting the orientation facing the destination guide device, and the camera direction detection means for detecting the direction in the vertical plane said that digital camera lens facing the imaging magnification of the digital camera and means, a screen defining unit for defining the screen of the digital camera in a range of horizontal and vertical angle around the current position based on the output and the imaging magnification of the both detection means,
    前記現在位置から前記目的地へ伸びる方向ベクトルの前記画角の範囲内での相対的な角度の比と前記スクリーンのサイズとにより前記目的地に対応する目的地方向座標を定め、前記表示部の表示画面上で前記デジタルカメラの撮影画像に重ねて前記目的地方向座標に対する指示表示を行う制御手段とを備え Defining a destination direction coordinates corresponding to the destination by the size of the relative angle ratio and the screen within the range of the field angle of the direction vector extending to the destination from the current position, the display unit superimposed on the captured image of the digital camera on the display screen and a control means for instructing the display for the destination direction coordinates,
    前記制御手段は、前記指示表示として、スクリーン内の現在位置に対応する基準位置と前記目的地方向座標とを結ぶ線上に矢印を表示する Wherein, as said indicator display, which displays an arrow on a line connecting a reference position corresponding to the current position in the screen and the destination direction coordinates
    ことを特徴とする目的地案内装置。 Destination guide device, characterized in that.
  2. 前記撮影画像は、前記デジタルカメラのスルー画像であることを特徴とする請求項1記載の目的地案内装置。 The captured image, a destination guiding system according to claim 1, wherein the a digital camera through image.
  3. 前記カメラ方向検出手段は、目的地案内装置の向いている現在の方位を検出する手段と、目的地案内装置の傾き角度を検出する手段とを備えたことを特徴とする請求項記載の目的地案内装置。 The camera direction detecting means, the purpose of claim 1, wherein further comprising means for detecting a current orientation facing the destination guidance device, and means for detecting the inclination angle of the destination guide device earth guide device.
  4. 前記カメラ方向検出手段は、目的地案内装置本体に対してカメラ部が回転する構成である場合、その回転角を加味して前記レンズが向いている垂直面内での方向を検出することを特徴とする請求項記載の目的地案内装置。 The camera direction detecting means, when the camera unit with respect to the destination guide device body is configured to rotate, characterized in that to detect the direction in the vertical plane thereof by adding the rotation angle the lens is oriented destination guide apparatus according to claim 3,.
  5. 前記制御手段は、現在位置から目的地への方向ベクトルおよび現在位置のいずれにおいても変化量が所定の閾値より小さい場合、少なくとも前記指示表示の更新を抑止することを特徴とする請求項1記載の目的地案内装置。 The control means, the current position Again the variation in either direction vector and the current location to the destination is less than a predetermined threshold value, according to claim 1, wherein the suppressing at least said indicator display update destination guide device.
  6. 表示画面で利用者に目的地への案内を行う携帯端末装置であって、 A mobile terminal device that performs a guide to the destination to the user on the display screen,
    デジタルカメラと、 And a digital camera,
    このデジタルカメラが撮影した画像を表示する表示部と、 A display unit the digital camera displays an image captured,
    目的地を入力する操作部と、 And an operation unit for inputting a destination,
    現在位置を検出する現在位置検出手段と、 Current position detecting means for detecting a current position,
    目的地案内装置の向いている方位を検出する方位検出手段と、前記デジタルカメラのレンズが向いている垂直面内での方向を検出するカメラ方向検出手段と、前記デジタルカメラの撮像倍率を設定する手段とを有し、両検出手段の出力および前記撮像倍率に基づいて前記現在位置を中心とした水平方向および垂直方向の画角の範囲で前記デジタルカメラのスクリーンを画定するスクリーン画定手段と、 To set the azimuth detecting means for detecting the orientation facing the destination guide device, and the camera direction detection means for detecting the direction in the vertical plane said that digital camera lens facing the imaging magnification of the digital camera and means, a screen defining unit for defining the screen of the digital camera in a range of horizontal and vertical angle around the current position based on the output and the imaging magnification of the both detection means,
    少なくともデータの通信を行う通信手段と、 Communication means for performing at least data communications,
    前記現在位置から前記目的地へ伸びる方向ベクトルの前記画角の範囲内での相対的な角度の比と前記スクリーンのサイズとにより前記目的地に対応する目的地方向座標を定め、前記表示部の表示画面上で前記デジタルカメラの撮影画像に重ねて前記目的地方向座標に対する指示表示を行う制御手段とを備え Defining a destination direction coordinates corresponding to the destination by the size of the relative angle ratio and the screen within the range of the field angle of the direction vector extending to the destination from the current position, the display unit superimposed on the captured image of the digital camera on the display screen and a control means for instructing the display for the destination direction coordinates,
    前記制御手段は、前記指示表示として、スクリーン内の現在位置に対応する基準位置と前記目的地方向座標とを結ぶ線上に矢印を表示する Wherein, as said indicator display, which displays an arrow on a line connecting a reference position corresponding to the current position in the screen and the destination direction coordinates
    ことを特徴とする携帯端末装置。 Mobile terminal and wherein the.
JP2004050401A 2004-02-25 2004-02-25 Destination guide device and the mobile terminal device Active JP4433385B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004050401A JP4433385B2 (en) 2004-02-25 2004-02-25 Destination guide device and the mobile terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004050401A JP4433385B2 (en) 2004-02-25 2004-02-25 Destination guide device and the mobile terminal device

Publications (2)

Publication Number Publication Date
JP2005241385A true JP2005241385A (en) 2005-09-08
JP4433385B2 true JP4433385B2 (en) 2010-03-17

Family

ID=35023272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004050401A Active JP4433385B2 (en) 2004-02-25 2004-02-25 Destination guide device and the mobile terminal device

Country Status (1)

Country Link
JP (1) JP4433385B2 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5231595B2 (en) * 2006-03-30 2013-07-10 株式会社デンソー Navigation device
JP2007292713A (en) * 2006-03-30 2007-11-08 Denso Corp Navigation device
JP4068661B1 (en) 2006-10-13 2008-03-26 株式会社ナビタイムジャパン Navigation system, the mobile terminal device and route guidance method
KR101039186B1 (en) 2006-12-05 2011-06-03 가부시키가이샤 나비타이무쟈판 Navigation system, portable terminal device, and peripheral-image display method
JP2009036726A (en) * 2007-08-03 2009-02-19 Yahoo Japan Corp Method and system for displaying search path
JP5088108B2 (en) * 2007-11-22 2012-12-05 株式会社ニコン camera
JP5388551B2 (en) * 2008-11-21 2014-01-15 アルパイン株式会社 Vehicle display system and a display method
JP5472994B2 (en) * 2010-03-10 2014-04-16 Necカシオモバイルコミュニケーションズ株式会社 The imaging device and program
KR20120040573A (en) * 2010-10-19 2012-04-27 주식회사 팬택 Apparatus and method for providing augmented reality information using mobile tag
JP2012089066A (en) * 2010-10-22 2012-05-10 Toyota Motor Corp Image display system
US8818714B2 (en) 2010-12-10 2014-08-26 Sony Corporation Portable navigation device and method with active elements
JP5789868B2 (en) * 2011-04-18 2015-10-07 株式会社トプコン Horizontal position guide machine
JP5602120B2 (en) * 2011-11-01 2014-10-08 株式会社博報堂 The information terminal, the content providing system, and programs.
EP2888634A4 (en) * 2012-08-27 2016-04-06 Empire Technology Dev Llc Indicating the geographic origin of a digitally-mediated communication
KR20160079788A (en) * 2013-11-05 2016-07-06 소니 주식회사 Information processing device, method of processing information, and program
JP2017036920A (en) * 2013-12-27 2017-02-16 株式会社テイエルブイ Process-system-component position display device, process-system-component position display program, and process-system-component position display method

Also Published As

Publication number Publication date Type
JP2005241385A (en) 2005-09-08 application

Similar Documents

Publication Publication Date Title
US6282490B1 (en) Map display device and a recording medium
US6907345B2 (en) Multi-scale view navigation system, method and medium embodying the same
US7088389B2 (en) System for displaying information in specific region
US20090293012A1 (en) Handheld synthetic vision device
EP1024347A1 (en) Method and device for navigation
US20070050129A1 (en) Location signposting and orientation
US20090240426A1 (en) Navigation device and navigation method
US20110313653A1 (en) Method, Device and System for Presenting Navigational Information
US8538688B2 (en) User generated pedestrian and indoor shortcut routes for navigation systems
US7457705B2 (en) Navigation apparatus for displaying three-d stored terrain information based on position and attitude
US20110199479A1 (en) Augmented reality maps
US20060241854A1 (en) Route determination method and apparatus for navigation system
US20080249703A1 (en) Map display controller and computer readable medium including instructions for displaying map image
EP0841537A2 (en) Method and apparatus for displaying a navigation map
US20030151664A1 (en) Image navigation device
US20100161208A1 (en) Navigation apparatus
US20100070173A1 (en) Navigation system, portable terminal device, and peripheral-image display method
US20090125234A1 (en) Navigation Device with Camera-Info
US20100268452A1 (en) Navigation device, navigation method, and navigation program
US20090278948A1 (en) Information presentation apparatus, information presentation method, imaging apparatus, and computer program
WO2006008790A1 (en) Mobile terminal device
JP2005214857A (en) Navigation system, and guide image preparation method
JP2003111128A (en) Method of specifying present location, method of providing information on present location, method of guiding moving route, position information management system, and information communication terminal
JP2000097637A (en) Attitude position detecting device
JP2006162442A (en) Navigation system and navigation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250