JP6976186B2 - Terminal devices and programs - Google Patents

Terminal devices and programs Download PDF

Info

Publication number
JP6976186B2
JP6976186B2 JP2018016270A JP2018016270A JP6976186B2 JP 6976186 B2 JP6976186 B2 JP 6976186B2 JP 2018016270 A JP2018016270 A JP 2018016270A JP 2018016270 A JP2018016270 A JP 2018016270A JP 6976186 B2 JP6976186 B2 JP 6976186B2
Authority
JP
Japan
Prior art keywords
information
terminal device
image pickup
virtual object
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018016270A
Other languages
Japanese (ja)
Other versions
JP2019133489A (en
Inventor
健治 横田
義浩 伊藤
祥一 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018016270A priority Critical patent/JP6976186B2/en
Publication of JP2019133489A publication Critical patent/JP2019133489A/en
Application granted granted Critical
Publication of JP6976186B2 publication Critical patent/JP6976186B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、携帯型の端末装置を使用した所定エリアの案内技術に関する。 The present invention relates to a guide technique for a predetermined area using a portable terminal device.

特許文献１は、音声ガイド装置を開示している。これら、音声ガイド装置は、例えば、美術館といった所定エリアにおける展示物を音声で説明するために利用者に貸し出されたりしている。しかしながら、総ての展示物に対して音声ガイドが用意されている訳ではなく、音声ガイド装置を使用している来訪者は展示物の近傍に表示されている番号等を見て初めて音声ガイドが用意されている展示物を認識できる。 Patent Document 1 discloses a voice guide device. These audio guide devices are rented out to users for explaining exhibits in a predetermined area such as a museum by voice. However, not all exhibits are provided with audio guides, and visitors using audio guide devices can only use audio guides by looking at the numbers displayed in the vicinity of the exhibits. You can recognize the prepared exhibits.

一方、非特許文献１は、場所記述情報の生成について開示している。具体的には、端末装置は、撮像部により画像を撮像しながら、その位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の位置を原点とし、端末装置が取得する加速度情報及び角速度情報に基づき端末装置の位置や撮像方向の向きを判定し続ける。また、端末装置は、撮像している画像（以下、撮像画像と呼ぶ。）内の特徴点を求める。このとき、端末装置は、３次元空間における端末装置の位置や撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各位置及び各撮像方向において、撮像画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。 On the other hand, Non-Patent Document 1 discloses the generation of place description information. Specifically, the terminal device changes the position and the image pickup direction while capturing an image by the image pickup unit. During the acquisition of the location description information, the terminal device keeps determining the position of the terminal device and the direction of the imaging direction based on the acceleration information and the angular velocity information acquired by the terminal device, with the position at the start as the origin. Further, the terminal device obtains feature points in the image being captured (hereinafter referred to as an captured image). At this time, the terminal device determines the position and imaging direction of the terminal device in the three-dimensional space and the position of the same feature point in the image, that is, the screen coordinates of the feature point. As a result, the terminal device generates location description information indicating at which position in the captured image each feature point is visible at each position in the three-dimensional space and each imaging direction.

端末装置は、既に生成した場所記述情報と、撮像画像の特徴点とを比較することで、そのときの端末装置の３次元空間位置と撮像方向を判定することができる。なお、３次元空間位置の原点は、場所記述情報を開始したときの位置である。また、端末装置は、既に保存している場所記述情報と、撮像画像の特徴点との比較により端末装置の３次元空間位置及び撮像方向を判定すると同時に、撮像画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。 The terminal device can determine the three-dimensional spatial position and the imaging direction of the terminal device at that time by comparing the already generated location description information with the feature points of the captured image. The origin of the three-dimensional space position is the position when the place description information is started. Further, the terminal device determines the three-dimensional spatial position and the imaging direction of the terminal device by comparing the location description information already stored with the feature points of the captured image, and at the same time, the terminal device is already stored based on the feature points of the captured image. It also updates the location description information.

特開平８−２６３００６号公報Japanese Unexamined Patent Publication No. 8-263006

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞Tango, [online], [Searched on January 10, 2017], Internet, <URL: https: // get. Google. com / tango />

非特許文献１に記載の場所記述情報により、撮像画像と仮想物体を示す画像（案内画像）を重畳させて端末装置のディスプレイに表示することができる。なお、案内画像を配置する３次元空間位置は、端末装置の３次元空間位置に基づき決定することができる。そして、例えば、所定の展示物と案内画像を配置する３次元空間位置との距離が所定値未満となると、案内画像が当該所定の展示物のガイドを行っている様に表示し、かつ、当該所定の展示物を説明する音声を端末装置から出力させることができる。このとき、案内画像を配置する３次元空間位置に物体があり、当該３次元空間位置に案内画像を表示することが適切ではない場合がある。このため、例えば、深さセンサを有する端末装置では、深さセンサにより物体を認識し、物体がある位置には案内画像を表示しない様に制御することが考えられる。しかしながら、この方法は、深さセンサが設けられていない端末装置には適用できない。また、深さセンサの検出範囲には限界があり、この検出範囲外に案内画像を配置する場合には、物体がある位置に案内画像が表示され得る。 According to the location description information described in Non-Patent Document 1, the captured image and the image (guide image) showing the virtual object can be superimposed and displayed on the display of the terminal device. The three-dimensional space position where the guide image is arranged can be determined based on the three-dimensional space position of the terminal device. Then, for example, when the distance between the predetermined exhibit and the three-dimensional space position where the guide image is arranged is less than the predetermined value, the guide image is displayed as if the predetermined exhibit is being guided, and the guide image is displayed. A voice explaining a predetermined exhibit can be output from the terminal device. At this time, there is an object at the three-dimensional space position where the guide image is arranged, and it may not be appropriate to display the guide image at the three-dimensional space position. Therefore, for example, in a terminal device having a depth sensor, it is conceivable to recognize an object by the depth sensor and control the object so that the guide image is not displayed at a certain position. However, this method cannot be applied to a terminal device that is not provided with a depth sensor. Further, the detection range of the depth sensor is limited, and when the guide image is arranged outside the detection range, the guide image may be displayed at a position where the object is located.

本発明は、深さセンサによらず仮想物体を適切に表示できる端末装置及びプログラムを提供するものである。 The present invention provides a terminal device and a program capable of appropriately displaying a virtual object regardless of a depth sensor.

本発明の一態様によると、端末装置は、ディスプレイと、撮像手段と、所定エリアの３次元地図情報と、仮想物体を示す仮想物体情報と、前記所定エリア内の所定領域を示す領域情報と、を保持する保持手段と、前記３次元地図情報と前記撮像手段が撮像した撮像画像とに基づき前記撮像手段の位置及び方向を判定し、前記撮像手段の位置及び方向に基づき第１位置を決定する第１決定手段と、前記第１位置と前記撮像手段との間に前記所定領域があるか否かを判定する判定する判定手段と、前記第１位置と前記撮像手段との間に前記所定領域がないと前記第１位置を配置位置とし、前記第１位置と前記撮像手段との間に前記所定領域があると前記第１位置と、前記所定領域と、前記撮像手段の位置と、に基づき配置位置を決定する第２決定手段と、前記配置位置に前記仮想物体がある様に、前記撮像画像と前記仮想物体とを重畳させて前記ディスプレイに表示する処理を行う処理手段と、を備えていることを特徴とする。 According to one aspect of the present invention, the terminal device includes a display, an image pickup means, three-dimensional map information of a predetermined area, virtual object information indicating a virtual object, and area information indicating a predetermined area in the predetermined area. The position and direction of the image pickup means are determined based on the holding means for holding the image, the three-dimensional map information, and the image captured by the image pickup means, and the first position is determined based on the position and direction of the image pickup means. The first determination means, the determination means for determining whether or not there is the predetermined region between the first position and the image pickup means, and the predetermined region between the first position and the image pickup means. If there is no such position, the first position is set as the arrangement position, and if there is the predetermined area between the first position and the image pickup means, the first position, the predetermined area, and the position of the image pickup means are used. A second determining means for determining an arrangement position and a processing means for superimposing the captured image and the virtual object and displaying the virtual object on the display so that the virtual object is located at the arrangement position are provided. It is characterized by being.

本発明によると、深さセンサによらず仮想物体を適切に表示することができる。 According to the present invention, a virtual object can be appropriately displayed regardless of the depth sensor.

一実施形態による端末装置の構成図。The block diagram of the terminal apparatus by one Embodiment. 一実施形態による制御部の機能ブロック図。The functional block diagram of the control part by one Embodiment. 一実施形態による所定エリアを示す図。The figure which shows the predetermined area by one Embodiment. 一実施形態による表示処理部の処理の説明図。An explanatory diagram of processing of a display processing unit according to an embodiment. 一実施形態による表示処理部の処理の説明図。An explanatory diagram of processing of a display processing unit according to an embodiment. 一実施形態による表示処理部の処理の説明図。An explanatory diagram of processing of a display processing unit according to an embodiment.

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. The following embodiments are examples, and the present invention is not limited to the contents of the embodiments. Further, in each of the following figures, components not necessary for the description of the embodiment will be omitted from the drawings.

図１は、本実施形態による端末装置の概略的な構成図である。端末装置は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。 FIG. 1 is a schematic configuration diagram of a terminal device according to the present embodiment. The terminal device is a portable communication device such as a smartphone. The speaker 101 converts the voice signal output from the control unit 100 into voice. The microphone 102 converts voice into a voice signal and outputs it to the control unit 100. The image pickup unit 103 has a lens and a CCD sensor, acquires image information, and outputs the image information to the control unit 100. The GPS processing unit 104 receives a signal from a GPS satellite, and outputs position information including latitude, longitude, and altitude to the control unit 100 based on the received signal. It should be noted that the configuration may be such that the position information is output based on the signal from the satellite of another positioning system such as the quasi-zenith satellite instead of the GPS satellite. In the present embodiment, the display 105 is a touch-sensitive display, and in addition to presenting information to the user, the display 105 also functions as an input unit for user operation. If the display is not a touch-sensitive display, a separate input unit is provided. The depth sensor 106 measures the distance (depth) to the object and outputs the measurement result as depth information to the control unit 100. The communication unit 107 performs communication processing via a mobile communication network, a wireless LAN, or the like. The geomagnetic sensor 108 detects the geomagnetism and outputs directional information indicating the current azimuth of the reference direction of the terminal to the control unit 100. The acceleration sensor 109 detects the acceleration and outputs the acceleration information to the control unit 100. The gyro sensor 110 detects the angular velocity and outputs the angular velocity information to the control unit 100.

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。 The control unit 100 is a control unit for the entire terminal device, and includes one or more processors and a memory unit. The memory unit has a RAM used by the processor for temporarily storing data, an operating system and application executed by the processor, and a flash memory for storing data to be retained even when the power is turned off. ..

図２は、本実施形態を説明するための制御部１００の機能ブロック図である。場所記述情報生成部１００１は、例えば、非特許文献１に記載された技術に基づき場所記述情報を生成する。具体的には、場所記述情報生成部１００１は、場所記述情報の取得の間、加速度センサ１０９及びジャイロセンサ１１０からの加速度情報及び角速度情報に基づき端末装置の位置や撮像方向を判定し続ける。同時に、撮像部１０３からの撮像画像を示す撮像画像情報に基づき撮像画像内の特徴点を求める。そして、端末装置の位置や撮像方向と、撮像画像内の特徴点とに基づき場所記述情報の生成及び更新を行う。 FIG. 2 is a functional block diagram of the control unit 100 for explaining the present embodiment. The place description information generation unit 1001 generates place description information based on, for example, the technique described in Non-Patent Document 1. Specifically, the location description information generation unit 1001 continues to determine the position and imaging direction of the terminal device based on the acceleration information and the angular velocity information from the acceleration sensor 109 and the gyro sensor 110 while the location description information is acquired. At the same time, feature points in the captured image are obtained based on the captured image information indicating the captured image from the imaging unit 103. Then, the location description information is generated and updated based on the position and imaging direction of the terminal device and the feature points in the captured image.

一方、情報取得部１００３は、通信部１０７を介して、図示しないサーバ装置から所定エリアについての３次元地図情報と、案内情報と、表示不可領域情報と、を取得し保存する。これら情報は、この所定エリアの管理者側において、予め作成してサーバ装置に保存しておく。ここで、所定エリアとは、博物館、美術館等、本発明の端末装置によりガイドを行うエリアである。３次元地図情報は、当該所定エリアについて、場所記述情報生成部１００１が生成するのと同様の場所記述情報である。なお、３次元地図情報の原点は任意の位置であって良い。 On the other hand, the information acquisition unit 1003 acquires and stores three-dimensional map information, guidance information, and non-displayable area information for a predetermined area from a server device (not shown) via the communication unit 107. These information are created in advance by the administrator of this predetermined area and stored in the server device. Here, the predetermined area is an area such as a museum, an art museum, etc. where guidance is performed by the terminal device of the present invention. The three-dimensional map information is the same place description information generated by the place description information generation unit 1001 for the predetermined area. The origin of the three-dimensional map information may be any position.

案内情報は、案内画像を示す案内画像情報と、案内場所を示す案内場所情報と、案内場所における案内内容を示すガイド情報と、を有する。案内場所は、３次元地図情報で特定できる３次元空間における座標により示される。図３は、ある所定エリアの平面図であり、図中の点線の円の中心位置が、案内場所である。案内場所にはガイドの対象である展示物が設置されている。図３の点線の円内の番号は、案内場所を特定するための識別子である。なお、総ての展示物を案内対象とする必要はない。本実施形態においては、図３の網掛けの円の中心位置にも展示物が設置されているが、これらは端末装置によるガイドの対象ではないものとする。 The guidance information includes guidance image information indicating a guidance image, guidance location information indicating a guidance location, and guide information indicating guidance content at the guidance location. The guide location is indicated by the coordinates in the three-dimensional space that can be specified by the three-dimensional map information. FIG. 3 is a plan view of a predetermined area, and the center position of the dotted circle in the figure is the guide location. Exhibits that are the subject of the guide are installed at the guide location. The number in the dotted circle in FIG. 3 is an identifier for specifying the guide location. It is not necessary to target all exhibits. In the present embodiment, the exhibits are also installed at the center positions of the shaded circles in FIG. 3, but these are not the targets of the guide by the terminal device.

案内画像情報は、撮像画像に重畳させてディスプレイ１０５に表示する仮想物体である案内画像の情報を示している。案内画像には任意の画像を用いることができる。例えば、案内画像として、人間や動物といった動物体や、それらをモデル化した、所謂、キャラクタ画像を使用することができる。案内画像は、３次元モデルデータと、歩いている様にキャラクタを動かしたり、展示物のガイドを行っている様にキャラクタを動かしたりするモーションデータと、を含むものとすることができる。以下では、案内画像が人間をモデルにしたキャラクタ画像であるのとし、案内画像が示す仮想物体を案内キャラクタと呼ぶものとする。 The guide image information indicates information on a guide image, which is a virtual object superimposed on the captured image and displayed on the display 105. Any image can be used as the guide image. For example, as a guide image, an animal body such as a human or an animal, or a so-called character image that models them can be used. The guide image can include three-dimensional model data and motion data such as moving the character as if walking or moving the character as if guiding an exhibit. In the following, it is assumed that the guide image is a character image modeled on a human being, and the virtual object indicated by the guide image is referred to as a guide character.

表示処理部１００２は、まず、情報取得部１００３が取得した３次元地図情報と、撮像画像の特徴点に基づき、３次元空間における端末装置の位置及び方向を判定する。なお、ここでは、撮像部１０３の位置及び撮像方向を、端末装置の位置及び方向とする。また、場所記述情報生成部１００１は、情報取得部１００３が取得した３次元地図情報（場所記述情報）を撮像画像に基づき更新する。以下では、情報取得部１００３が取得した３次元地図情報と、当該３次元地図情報の場所記述情報生成部１００１による更新後の３次元地図情報を、単に、場所記述情報と表記する。 First, the display processing unit 1002 determines the position and direction of the terminal device in the three-dimensional space based on the three-dimensional map information acquired by the information acquisition unit 1003 and the feature points of the captured image. Here, the position and the imaging direction of the imaging unit 103 are the positions and directions of the terminal device. Further, the place description information generation unit 1001 updates the three-dimensional map information (place description information) acquired by the information acquisition unit 1003 based on the captured image. In the following, the three-dimensional map information acquired by the information acquisition unit 1003 and the three-dimensional map information updated by the location description information generation unit 1001 of the three-dimensional map information are simply referred to as location description information.

表示処理部１００２は、撮像部１０３の撮像方向側であって、撮像部１０３による撮像範囲内の所定位置に案内キャラクタがいる様に、案内キャラクタを撮像画像に重畳させてディスプレイ１０５に表示する。また、ユーザが、例えば、端末装置によりその進行方向を撮像しながら歩くと、表示処理部１００２は、案内キャラクタも、同じ方向に歩いているようにディスプレイ１０５に表示させる。なお、端末装置と案内キャラクタとの相対的な位置関係はあらかじめ決まっている。また、上述した様に、端末装置は、場所記述情報と撮像画像の特徴点に基づき端末装置の位置及び方向を判定できる。したがって、端末装置は、案内キャラクタを立たす位置を判定することができる。 The display processing unit 1002 superimposes the guide character on the captured image and displays it on the display 105 so that the guide character is located at a predetermined position within the image pickup range of the image pickup unit 103 on the image pickup direction side of the image pickup unit 103. Further, when the user walks while capturing the traveling direction by, for example, the terminal device, the display processing unit 1002 causes the display 105 to display the guide character as if walking in the same direction. The relative positional relationship between the terminal device and the guide character is predetermined. Further, as described above, the terminal device can determine the position and direction of the terminal device based on the location description information and the feature points of the captured image. Therefore, the terminal device can determine the position where the guide character stands.

また、表示処理部１００２は、案内キャラクタと案内場所との距離が閾値以内になると、案内キャラクタが当該案内場所の案内をしているようにディスプレイ１０５に表示する。さらに、当該案内場所に対応するガイド情報に従い、当該案内場所の展示物についての情報をユーザに提示する。例えば、ガイド情報は、テキスト情報であり、ディスプレイ１０５に、案内キャラクタがしゃべっている様な吹き出しを追加して、吹き出し内に展示物についての情報を表示することができる。また、例えば、ガイド情報は、音声情報であり、表示処理部１００２は、スピーカ１０１により展示物についての情報を音声で出力する構成とすることができる。 Further, when the distance between the guide character and the guide place is within the threshold value, the display processing unit 1002 displays on the display 105 as if the guide character is guiding the guide place. Further, according to the guide information corresponding to the guide place, information about the exhibits at the guide place is presented to the user. For example, the guide information is text information, and it is possible to add a balloon as if the guide character is speaking to the display 105 and display information about the exhibit in the balloon. Further, for example, the guide information is voice information, and the display processing unit 1002 can be configured to output information about the exhibit by voice by the speaker 101.

以上の構成により、例えば、端末装置は、撮像画像に重畳させて案内キャラクタをディスプレイ１０５に表示する。この案内キャラクタは、ユーザが歩くと、それに合わせて歩くようにディスプレイ１０５に表示され、ユーザが止まると、それに合わせて止まる様にディスプレイ１０５に表示される。しかしながら、例えば、展示物がある位置や、壁の位置が案内キャラクタの表示位置になると、ディスプレイ１０５に案内キャラクタを自然な形で表示できなくなる。また、案内キャラクタの表示位置が、ユーザから見て壁の向こう側になるとディスプレイ１０５に案内キャラクタを自然な形で表示できなくなる。 With the above configuration, for example, the terminal device superimposes the image on the captured image and displays the guide character on the display 105. When the user walks, the guide character is displayed on the display 105 so as to walk accordingly, and when the user stops, the guide character is displayed on the display 105 so as to stop accordingly. However, for example, when the position where the exhibit is located or the position of the wall becomes the display position of the guide character, the guide character cannot be displayed on the display 105 in a natural manner. Further, when the display position of the guide character is on the other side of the wall when viewed from the user, the guide character cannot be displayed on the display 105 in a natural manner.

このため、本実施形態では、表示不可領域情報を使用する。表示不可領域情報は、案内キャラクタの表示ができない表示不可領域を示す情報である。図３において、網掛けの円及び点線の円内には展示物が存在する。よって、表示不可領域情報は、網掛けの円及び点線の円内の領域を表示不可領域として示している。さらに、図３において、網掛けの円とは異なる網掛領域は壁であり、よって、表示不可領域情報は、これら領域も表示不可領域情報と示している。 Therefore, in this embodiment, the non-displayable area information is used. The non-displayable area information is information indicating a non-displayable area in which the guide character cannot be displayed. In FIG. 3, there are exhibits in the shaded circle and the dotted circle. Therefore, in the non-displayable area information, the area inside the shaded circle and the dotted line circle is shown as the non-displayable area. Further, in FIG. 3, the shaded area different from the shaded circle is a wall, and therefore, the non-displayable area information indicates that these areas are also non-displayable area information.

図４から図６は、本実施形態による、表示処理部１００２における案内キャラクタの表示処理の説明図である。図４から６において、×は、端末装置の移動後の位置を示している。また、黒丸は、端末装置が×で示す位置及び方向であるときに案内キャラクタを配置すべき位置を示している。なお、案内キャラクタを配置すべき位置は、端末装置の位置及び方向を基準とした相対位置で示され、この相対位置は、案内情報に含まれている。また、白丸は、端末装置が×で示す位置及び方向となる前の状態において、案内キャラクタを配置すべき位置を示している。さらに、網掛領域は表示不可領域を示している。仮に、網掛領域、つまり、表示不可領域がないと、表示処理部１００２は、白丸から黒丸に案内キャラクタが歩き、黒丸の位置で止まる様にディスプレイ１０５に表示する。しかしながら、黒丸の位置は、ユーザ（端末装置）から見ると、壁又は展示物の後ろ側となり、案内キャラクタを、撮像画像に重ねて表示すると不自然になる。したがって、この場合、表示処理部１００２は、案内キャラクタを配置すべき位置（図の黒丸の位置）と端末装置とを結ぶ線上において、表示不可領域の最も端末装置側の位置と端末装置との間を表示可能区間とし、表示可能区間に案内キャラクタが立っているように案内キャラクタをディスプレイ１０５に表示する。なお、このとき、表示処理部１００２は、図４の黒塗りの四角で示す様に、表示可能区間のうちの端末装置から最も遠い位置に案内キャラクタを表示する構成とすることができる。そして、表示処理部１００２は、白丸から黒塗の四角に案内キャラクタが歩き、黒塗の四角の位置で止まる様に案内キャラクタをディスプレイ１０５に表示する。 4 to 6 are explanatory views of the guide character display processing in the display processing unit 1002 according to the present embodiment. In FIGS. 4 to 6, x indicates the position of the terminal device after movement. Further, the black circle indicates the position where the guide character should be arranged when the terminal device is in the position and direction indicated by x. The position where the guide character should be placed is indicated by a relative position with respect to the position and direction of the terminal device, and this relative position is included in the guide information. Further, the white circles indicate the positions where the guide characters should be arranged in the state before the terminal device is in the position and direction indicated by x. Further, the shaded area indicates a non-displayable area. If there is no shaded area, that is, a non-displayable area, the display processing unit 1002 displays the guide character on the display 105 so that the guide character walks from the white circle to the black circle and stops at the position of the black circle. However, the position of the black circle is on the back side of the wall or the exhibit when viewed from the user (terminal device), and it becomes unnatural when the guide character is superimposed on the captured image. Therefore, in this case, the display processing unit 1002 is between the position on the terminal device side of the non-displayable area and the terminal device on the line connecting the position where the guide character should be placed (the position of the black circle in the figure) and the terminal device. Is a displayable section, and the guide character is displayed on the display 105 so that the guide character stands in the displayable section. At this time, the display processing unit 1002 can be configured to display the guide character at the position farthest from the terminal device in the displayable section, as shown by the black square in FIG. Then, the display processing unit 1002 displays the guide character on the display 105 so that the guide character walks from the white circle to the black-painted square and stops at the position of the black-painted square.

図５は、案内キャラクタを配置すべき位置（図の黒丸の位置）と端末装置との間に複数の表示不可領域がある場合を示している。この場合も、案内キャラクタを配置すべき位置（図の黒丸の位置）と端末装置とを結ぶ線上において、端末装置と、端末装置側から見て最初の表示不可領域の境界との間の区間を表示可能区間とする。図６は、白丸から黒塗の四角への案内キャラクタが歩く経路上に表示不可領域が存在する場合を示している。本実施形態では、表示処理の簡略化のため、案内キャラクタの始点（白丸の位置）と終点（黒塗り四角の位置）との間に表示不可領域が存在しても、点線の矢印で示す様に、案内キャラクタが表示不可領域を通過する様に表示処理部１００２は表示する。しかしながら、実線の矢印で示す様に、表示処理部１００２は、表示不可領域の端末側の境界に沿って迂回する様に表示することもできる。 FIG. 5 shows a case where there are a plurality of non-displayable areas between the position where the guide character should be arranged (the position of the black circle in the figure) and the terminal device. Also in this case, on the line connecting the position where the guide character should be placed (the position of the black circle in the figure) and the terminal device, the section between the terminal device and the boundary of the first non-displayable area when viewed from the terminal device side is defined. It is a displayable section. FIG. 6 shows a case where a non-displayable area exists on the path on which the guide character from the white circle to the black-painted square walks. In the present embodiment, in order to simplify the display process, even if there is an undisplayable area between the start point (the position of the white circle) and the end point (the position of the black-painted square) of the guide character, it is indicated by a dotted arrow. The display processing unit 1002 displays so that the guide character passes through the non-displayable area. However, as shown by the solid line arrow, the display processing unit 1002 can also display so as to detour along the boundary on the terminal side of the non-displayable area.

なお、上記説明において、案内キャラクタを表示する位置は、端末装置の位置及び方向に対して相対的に決められ、端末装置の位置及び方向を変化させることに応じて、案内キャラクタが移動する様に表示するものとしていた。しかしながら、案内情報として、ユーザが進むべき経路を示す経路情報を案内情報に含め、この経路情報に基づき案内キャラクタを表示する位置を決定する構成とすることもできる。この場合、案内キャラクタの配置位置は、端末装置の位置に対して経路の下流側（進む方向側）であり、端末装置と所定距離の位置となる。なお、撮像画像が、案内キャラクタの配置位置を含まない場合、表示処理部１００２は、案内キャラクタのディスプレイ１０５への表示は行わない。一方、撮像画像が、案内キャラクタの配置位置を含む場合、表示処理部１００２は、当該配置位置に案内キャラクタが立っている様にディスプレイ１０５に表示する。また、このとき、表示処理部１００２は、例えば、案内キャラクタが経路に沿った進行方向を向くように、案内キャラクタを表示する。この構成により、端末装置のユーザは、経路を容易に認識することができる。そして、ユーザが経路の進行方向に沿って移動すると、案内キャラクタがユーザを先導して歩いている様にディスプレイ１０５に表示する。なお、この場合においても、表示不可領域に対する表示制御は同様である。 In the above description, the position for displaying the guide character is determined relative to the position and direction of the terminal device, and the guide character moves according to the change in the position and direction of the terminal device. It was supposed to be displayed. However, as the guidance information, the route information indicating the route to be taken by the user may be included in the guidance information, and the position where the guidance character is displayed may be determined based on the route information. In this case, the placement position of the guide character is on the downstream side (traveling direction side) of the route with respect to the position of the terminal device, and is a position at a predetermined distance from the terminal device. If the captured image does not include the placement position of the guide character, the display processing unit 1002 does not display the guide character on the display 105. On the other hand, when the captured image includes the arrangement position of the guide character, the display processing unit 1002 displays on the display 105 as if the guide character stands at the arrangement position. Further, at this time, the display processing unit 1002 displays, for example, the guide character so that the guide character faces the traveling direction along the route. With this configuration, the user of the terminal device can easily recognize the route. Then, when the user moves along the traveling direction of the route, the display 105 is displayed as if the guide character is leading the user and walking. Even in this case, the display control for the non-displayable area is the same.

また、配置位置と端末装置の位置との間の距離（以下、表示距離）については、固定的とするのではなく可変とすることができる。例えば、ユーザが、所定エリアを回り終える目標時刻を端末装置に入力する。端末装置は、この目標時刻を経路情報が示す経路の終わりの位置に対応づける。そして、表示処理部１００２は、現在の時刻から目標時刻までの時間に応じて表示距離を決定することができる。例えば、表示処理部１００２は、現在時刻から目標時刻までの時間を求め、この時間が小さくなる程、表示距離を大きくすることができる。また、表示処理部１００２は、経路情報が示す経路の終了位置へ目標時刻に到達するためのユーザの移動速度を判定し、移動速度に基づき表示距離を決定することができる。この場合、移動速度が速くなる程、表示距離を大きくする構成とすることができる。 Further, the distance between the arrangement position and the position of the terminal device (hereinafter referred to as the display distance) can be made variable rather than fixed. For example, the user inputs to the terminal device a target time at which the predetermined area is completed. The terminal device associates this target time with the position at the end of the route indicated by the route information. Then, the display processing unit 1002 can determine the display distance according to the time from the current time to the target time. For example, the display processing unit 1002 obtains the time from the current time to the target time, and the smaller the time, the larger the display distance can be. Further, the display processing unit 1002 can determine the movement speed of the user for reaching the target time to the end position of the route indicated by the route information, and can determine the display distance based on the movement speed. In this case, the display distance can be increased as the moving speed becomes faster.

以上、ユーザを早く誘導させる様に案内キャラクタを表示することで、ユーザを目標時刻までに経路の終わりまで誘導することができる。 As described above, by displaying the guide character so as to guide the user quickly, the user can be guided to the end of the route by the target time.

なお、本発明による端末装置は、コンピュータを上記端末装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。 The terminal device according to the present invention can be realized by a program for operating a computer as the terminal device. These computer programs are stored in a computer-readable storage medium or can be distributed over a network.

１００１：場所記述情報生成部、１００２：表示処理部、１００３：情報取得部 1001: Location description information generation unit, 1002: Display processing unit, 1003: Information acquisition unit

Claims (13)

ディスプレイと、
撮像手段と、
所定エリアの３次元地図情報と、仮想物体を示す仮想物体情報と、前記所定エリア内の所定領域を示す領域情報と、を保持する保持手段と、
前記３次元地図情報と前記撮像手段が撮像した撮像画像とに基づき前記撮像手段の位置及び方向を判定し、前記撮像手段の位置及び方向に基づき第１位置を決定する第１決定手段と、
前記第１位置と前記撮像手段との間に前記所定領域があるか否かを判定する判定する判定手段と、
前記第１位置と前記撮像手段との間に前記所定領域がないと前記第１位置を配置位置とし、前記第１位置と前記撮像手段との間に前記所定領域があると前記第１位置と、前記所定領域と、前記撮像手段の位置と、に基づき配置位置を決定する第２決定手段と、
前記配置位置に前記仮想物体がある様に、前記撮像画像と前記仮想物体とを重畳させて前記ディスプレイに表示する処理を行う処理手段と、
を備えていることを特徴とする端末装置。 With the display
Imaging means and
A holding means for holding three-dimensional map information of a predetermined area, virtual object information indicating a virtual object, and area information indicating a predetermined area in the predetermined area.
A first determination means that determines the position and direction of the image pickup means based on the three-dimensional map information and the image captured by the image pickup means, and determines the first position based on the position and direction of the image pickup means.
A determination means for determining whether or not there is the predetermined region between the first position and the image pickup means, and a determination means.
If there is no predetermined region between the first position and the imaging means, the first position is set as the arrangement position, and if there is the predetermined region between the first position and the imaging means, the first position is used. , A second determining means for determining the arrangement position based on the predetermined area and the position of the imaging means.
A processing means for superimposing the captured image and the virtual object and displaying the virtual object on the display so that the virtual object is located at the arrangement position.
A terminal device characterized by being equipped with. 前記第１位置は、前記撮像手段の位置及び方向に対して所定の関係となる位置であることを特徴とする請求項１に記載の端末装置。 The terminal device according to claim 1, wherein the first position is a position having a predetermined relationship with the position and direction of the image pickup means. 前記３次元地図情報と、前記仮想物体情報と、前記領域情報をサーバ装置から取得して前記保持手段に保持させる取得手段をさらに備えていることを特徴とする請求項１又は２に記載の端末装置。 The terminal according to claim 1 or 2, further comprising an acquisition means for acquiring the three-dimensional map information, the virtual object information, and the area information from the server device and holding the area information in the holding means. Device. ディスプレイと、
撮像手段と、
所定エリアの３次元地図情報と、仮想物体を示す仮想物体情報と、前記所定エリア内の所定領域を示す領域情報と、前記所定エリアの経路情報と、を保持する保持手段と、
前記３次元地図情報と前記撮像手段が撮像した撮像画像とに基づき前記撮像手段の位置及び方向を判定し、前記撮像手段の位置及び前記経路情報に基づき第１位置を決定する第１決定手段と、
前記第１位置と前記撮像手段との間に前記所定領域があるか否かを判定する判定する判定手段と、
前記第１位置と前記撮像手段との間に前記所定領域がないと前記第１位置を配置位置とし、前記第１位置と前記撮像手段との間に前記所定領域があると前記第１位置と、前記所定領域と、前記撮像手段の位置と、に基づき配置位置を決定する第２決定手段と、
前記撮像画像に前記配置位置が含まれる場合、前記配置位置に前記仮想物体がある様に、前記撮像画像と前記仮想物体とを重畳させて前記ディスプレイに表示する処理を行う処理手段と、
を備えていることを特徴とする端末装置。 With the display
Imaging means and
A holding means for holding three-dimensional map information of a predetermined area, virtual object information indicating a virtual object, area information indicating a predetermined area in the predetermined area, and route information of the predetermined area.
As a first determination means that determines the position and direction of the image pickup means based on the three-dimensional map information and the image captured by the image pickup means, and determines the first position based on the position of the image pickup means and the route information. ,
A determination means for determining whether or not there is the predetermined region between the first position and the image pickup means, and a determination means.
If there is no predetermined region between the first position and the imaging means, the first position is set as the arrangement position, and if there is the predetermined region between the first position and the imaging means, the first position is used. , A second determining means for determining the arrangement position based on the predetermined area and the position of the imaging means.
When the captured image includes the arrangement position, a processing means for superimposing the captured image and the virtual object and displaying the virtual object on the display so that the virtual object is located at the arrangement position.
A terminal device characterized by being equipped with. 前記第１決定手段は、前記経路情報が示す経路において前記撮像手段の位置より下流側の位置を前記第１位置として決定することを特徴とする請求項４に記載の端末装置。 The terminal device according to claim 4, wherein the first determination means determines a position downstream of the position of the image pickup means as the first position in the route indicated by the route information. ユーザに時刻を入力させる入力手段をさらに備えており、
前記第１決定手段は、現在の時刻から前記ユーザが入力した時刻までの時間に基づき表示距離を決定し、前記経路情報が示す経路において前記撮像手段の位置より前記表示距離だけ下流側の位置を前記第１位置として決定することを特徴とする請求項４に記載の端末装置。 It also has an input method that allows the user to enter the time.
The first determination means determines a display distance based on the time from the current time to the time input by the user, and determines a position downstream of the position of the image pickup means by the display distance in the route indicated by the route information. The terminal device according to claim 4, wherein the position is determined as the first position. 前記表示距離は、現在の時刻から前記ユーザが入力した時刻までの時間が小さくなる程、大きくなることを特徴とする請求項６に記載の端末装置。 The terminal device according to claim 6, wherein the display distance increases as the time from the current time to the time input by the user becomes smaller. 前記第１決定手段は、前記ユーザが入力した時刻において前記経路情報が示す経路の終了位置に到達するための前記ユーザの移動速度を判定し、前記移動速度に基づき前記表示距離を決定することを特徴とする請求項６に記載の端末装置。 The first determining means determines the moving speed of the user to reach the end position of the route indicated by the route information at the time input by the user, and determines the display distance based on the moving speed. The terminal device according to claim 6. 前記表示距離は、前記移動速度が速くなる程、大きくなることを特徴とする請求項８に記載の端末装置。 The terminal device according to claim 8, wherein the display distance increases as the moving speed increases. 前記３次元地図情報と、前記仮想物体情報と、前記領域情報と、前記経路情報と、をサーバ装置から取得して前記保持手段に保持させる取得手段をさらに備えていることを特徴とする請求項４から９のいずれか１項に記載の端末装置。 The claim is characterized in that the acquisition means for acquiring the three-dimensional map information, the virtual object information, the area information, and the route information from the server device and holding the information in the holding means is further provided. The terminal device according to any one of 4 to 9. 前記第２決定手段は、前記第１位置と前記撮像手段との間に前記所定領域があると前記撮像手段から前記第１位置の方向であって、前記撮像手段から前記所定領域までの間の位置を前記配置位置に決定することを特徴とする請求項１から１０のいずれか１項に記載の端末装置。 When the predetermined region is between the first position and the image pickup means, the second determination means is in the direction of the first position from the image pickup means, and is between the image pickup means and the predetermined region. The terminal device according to any one of claims 1 to 10, wherein the position is determined to be the arrangement position. 前記保持手段は、前記所定領域内の位置に対応付けられた案内情報をさらに保持しており、
前記所定領域内の前記位置と前記配置位置との距離が所定値以内になり、かつ、前記配置位置が前記撮像画像に含まれていると、前記所定領域内の前記位置に対応付けられた案内情報のユーザへの提示を行うことを特徴とする請求項１から１１のいずれか１項に記載の端末装置。 The holding means further holds the guidance information associated with the position in the predetermined area.
When the distance between the position in the predetermined area and the arrangement position is within a predetermined value and the arrangement position is included in the captured image, the guidance associated with the position in the predetermined area is provided. The terminal device according to any one of claims 1 to 11, wherein the information is presented to the user. 請求項１から１２のいずれか１項に記載の端末装置としてコンピュータを機能させることを特徴とするプログラム。 A program according to any one of claims 1 to 12, wherein the computer functions as the terminal device.
JP2018016270A 2018-02-01 2018-02-01 Terminal devices and programs Active JP6976186B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018016270A JP6976186B2 (en) 2018-02-01 2018-02-01 Terminal devices and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018016270A JP6976186B2 (en) 2018-02-01 2018-02-01 Terminal devices and programs

Publications (2)

Publication Number Publication Date
JP2019133489A JP2019133489A (en) 2019-08-08
JP6976186B2 true JP6976186B2 (en) 2021-12-08

Family

ID=67546302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018016270A Active JP6976186B2 (en) 2018-02-01 2018-02-01 Terminal devices and programs

Country Status (1)

Country Link
JP (1) JP6976186B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107683497B (en) * 2015-06-15 2022-04-08 索尼公司 Information processing apparatus, information processing method, and program
WO2017203774A1 (en) * 2016-05-26 2017-11-30 ソニー株式会社 Information processing device, information processing method, and storage medium
JP2018005005A (en) * 2016-07-04 2018-01-11 ソニー株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP2019133489A (en) 2019-08-08

Similar Documents

Publication Publication Date Title
JP6025433B2 (en) Portable navigation device
EP3188132B1 (en) Display control device, display control method, and program
JP6123120B2 (en) Method and terminal for discovering augmented reality objects
JP6635037B2 (en) Information processing apparatus, information processing method, and program
EP4401044A2 (en) Display of a live scene and auxiliary object
CN110716646A (en) Augmented reality data presentation method, device, equipment and storage medium
US20120026088A1 (en) Handheld device with projected user interface and interactive image
US20220076469A1 (en) Information display device and information display program
KR101413605B1 (en) System and method for Navigation
JPWO2018034053A1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING METHOD
KR20150088662A (en) Method and apparatus for providing mobile navigation service used augmented reality singularity
CN113454979A (en) Photography assistance for mobile devices
CN113063421A (en) Navigation method and related device, mobile terminal and computer readable storage medium
JP2015049039A (en) Navigation apparatus and navigation program
JP6828934B1 (en) Navigation devices, navigation systems, navigation methods, navigation programs
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
JP6976186B2 (en) Terminal devices and programs
JP2016133701A (en) Information providing system and information providing method
JP6393000B2 (en) Hypothetical line mapping and validation for 3D maps
JP6523353B2 (en) Terminal device and program
KR20160065721A (en) Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium
JP2019184439A (en) Route guidance program, route guidance method and information processing device
JP6719435B2 (en) Terminal device and program
KR20130053333A (en) Adventure edu-game apparatus and method of smartphone using location based service
JP6523362B2 (en) Server device, terminal device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200302

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211109

R150 Certificate of patent or registration of utility model

Ref document number: 6976186

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150