JP6935992B2 - 画像生成装置、画像生成システム及びその方法 - Google Patents

画像生成装置、画像生成システム及びその方法 Download PDF

Info

Publication number
JP6935992B2
JP6935992B2 JP2016152766A JP2016152766A JP6935992B2 JP 6935992 B2 JP6935992 B2 JP 6935992B2 JP 2016152766 A JP2016152766 A JP 2016152766A JP 2016152766 A JP2016152766 A JP 2016152766A JP 6935992 B2 JP6935992 B2 JP 6935992B2
Authority
JP
Japan
Prior art keywords
arrival
image data
unit
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016152766A
Other languages
English (en)
Other versions
JP2018021815A (ja
Inventor
祐輔 川上
祐輔 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2016152766A priority Critical patent/JP6935992B2/ja
Publication of JP2018021815A publication Critical patent/JP2018021815A/ja
Application granted granted Critical
Publication of JP6935992B2 publication Critical patent/JP6935992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、画像生成装置、画像生成システム及びその方法に関する。
撮像した画像を加工して遠隔地に配置される表示装置に送信する画像生成装置が知られている。例えば、特許文献1には、風景を撮像する撮像手段と、端末装置から受信した操作情報に応じて、撮像された画像データの一部を抽出する画像抽出手段と、抽出された画像データを端末装置へ送信する通信手段とを備えるライブカメラが記載されている。特許文献1に記載されるライブカメラでは、カメラの操作とは独立した画像データの電気的な画像処理によって、ユーザはあたかも実際にカメラを操作しているような感覚を味わうことができる。
特開2003−125389号公報
また、複数のユーザが異なる車両を運転して目的地に集合するときに、目的地に先に到着した先着ユーザは、目的地の位置座標等の目的地の位置情報を、目的地に向かっている後着ユーザに通知することがある。後着ユーザは、通知された情報に基づいて、先着ユーザの位置を確認することができる。
しかしながら、後着ユーザは、先着ユーザから目的地の位置情報は取得可能であるが、目的地に到着するときに後着ユーザが見る風景に対応する画像を取得することは容易ではない。また、先着ユーザは、後着ユーザが何れの方向から目的地に向かっているかを知らないため、後着ユーザが目的地に到着するときに見る風景に対応する画像を撮像することは容易ではない。例えば、先着ユーザ及び後着ユーザは、後着ユーザが目的地に到着するときに見る風景に対応する画像を撮像するために、電話等の通信を利用して、後着ユーザが目的地に到着するときの方向等の情報を取得する必要がある。
本発明は、先着ユーザと後着ユーザとの最小限の通信で、後着ユーザが目的地に到着するときに見る風景に対応する画像を後着ユーザに提供可能な画像生成装置を提供することを目的とする。
上記目的を実現するため、本発明に係る画像生成装置は、第1地点に位置する第1装置と通信可能な画像生成装置であって、第1装置から送信された第1地点の周囲の画像を示す周囲画像データを取得する周囲画像データ取得部と、第1地点と第1地点と異なる第2地点との間の経路を検索し、検索された経路を示す経路情報を生成する経路検索部と、経路検索部によって生成された経路情報に基づいて、画像生成装置が第2地点から第1地点に到着するときの到着方向を推定する到着方向推定部と、推定された到着方向から見た到着画像を示す到着画像データを、周囲画像データから生成する到着画像データ生成部と、到着画像データを出力する到着画像データ出力部とを有することを特徴とする。
また、本発明に係る画像生成装置は、画像生成装置の位置が、経路検索部によって検索された経路上に位置するか否かを判定する経路判定部を更に有し、経路検索部は、画像生成装置の位置が経路検索部によって検索された経路上に位置しないと判定されたときに、第1地点と画像生成装置の位置との間の経路情報を生成し、到着方向推定部は、経路検索部によって生成された経路情報に基づいて、画像生成装置が第1地点に到着するときの到着方向を推定することが好ましい。
また、本発明に係る画像生成装置では、周囲画像データに対応する画像は、第1装置が第1地点に到着した後に撮像された画像であることが好ましい。
また、本発明に係る画像生成装置は、第1地点と、画像生成装置が向かっている地点が一致しているか否かを判定する目的地判定部と、一致していないと判定されたときに、警報信号を出力する警報信号出力部と、を更に有することが好ましい。
さらに、本発明に係る画像生成装置は、第1地点に位置する第1装置及び画像取得装置と通信可能な画像生成装置であって、第1装置から送信された第1地点の周囲の画像を示す周囲画像データを取得する周囲画像データ取得部と、第1地点と第1地点と異なる第2地点との間の経路を示す経路情報に基づいて推定された画像取得装置が第2地点から第1地点に到着するときの到着方向を取得する到着方向取得部と、推定された到着方向から見た到着画像を示す到着画像データを、周囲画像データから生成する到着画像データ生成部と、到着画像データを画像取得装置に送信する到着画像データ送信部と、を有することを特徴とする。
さらに、本発明に係る画像生成装置は、第1地点に位置し且つ第2装置と通信可能な画像生成装置であって、第1地点の周囲の画像を示す周囲画像データを生成する周囲画像データ生成部と、第1地点と第1地点と異なる第2地点との間の経路を示す経路情報に基づいて推定された第2装置が第2地点から第1地点に到着するときの到着方向を取得する到着方向取得部と、推定された到着方向から見た到着画像を示す到着画像データを、周囲画像データから生成する到着画像データ生成部と、到着画像データを第2装置に送信する到着画像データ送信部とを有することを特徴とする。
さらに、本発明に係る画像生成システムは、第1地点に位置する第1装置と、画像取得装置と、第1装置及び画像取得装置と通信可能なサーバとを有する画像生成システムであって、第1地点の周囲の画像を示す周囲画像データを生成する周囲画像データ生成部と、第1地点と第1地点と異なる第2地点との間の経路を検索し、検索された経路を示す経路情報を生成する経路検索部と、経路検索部によって生成された経路情報に基づいて、画像取得装置が第2地点から第1地点に到着するときの到着方向を推定する到着方向推定部と、推定された到着方向から見た到着画像を示す到着画像データを、周囲画像データから生成する到着画像データ生成部と、到着画像データを出力する到着画像データ出力部とを有することを特徴とする。
また、本発明に係る画像生成システムでは、周囲画像データ生成部は、第1装置に搭載され、経路検索部及び到着方向推定部は、第1装置に搭載され、到着画像データ生成部及び到着画像データ出力部は、サーバに搭載されることが好ましい。
さらに、本発明に係る画像生成方法は、画像生成装置が第1地点の周囲の画像を示す周囲画像データを取得し、第1地点と、第1地点と異なる第2地点との間の経路を検索し、検索された経路を示す経路情報を生成し、生成された経路情報に基づいて、画像生成装置が第2地点から第1地点に到着するときの到着方向を推定し、推定された到着方向から見た到着画像を示す到着画像データを、周囲画像データから生成し、到着画像データを出力する、ことを含むことを特徴とする。
本発明によれば、先着ユーザと後着ユーザとの最小限の通信で、後着ユーザが目的地に到着するときに見る風景に対応する画像を後着ユーザに提供することが可能になった。
実施形態に係る画像生成システムの動作を説明するための図である。 第1実施形態に係る画像生成システムの構成である。 図2に示す先着車両に搭載される車載システムの構成図である。 図2に示す先着車両の平面図である。 (a)は到着確認状態を示す図であり、(b)は後着ユーザ選択状態を示す図である。 (a)は図2に示す先着携帯端末の内部ブロック図であり、図6(b)は図2に示す後着携帯端末の内部ブロック図である。 図2に示す後着車両に搭載される車載システムの構成図である。 図2に示す画像生成システムの動作を示すシーケンスである。 図8に示すS109の処理のより詳細な処理を示すフローチャートである。 第2実施形態に係る画像生成システムの構成である。 図10に示す先着車両に搭載される車載システムの構成図である。 図10に示す後着車両に搭載される車載システムの構成図である。 図10に示すサーバの内部ブロック図である。 図10に示す画像生成システムの動作を示すシーケンスである。 図14に示すS309の処理のより詳細な処理を示すフローチャートである。 図14に示すS317の処理のより詳細な処理を示すフローチャートである。 第3実施形態に係る画像生成システムの構成である。 図17に示す先着車両に搭載される車載システムの構成図である。 図17に示す後着車両に搭載される車載システムの構成図である。 図17に示す画像生成システムの動作を示すシーケンスである。 図20に示すS609の処理のより詳細な処理を示すフローチャートである。 図20に示すS614の処理のより詳細な処理を示すフローチャートである。 第4実施形態に係る画像生成システムの構成である。 図23に示す後着車両に搭載される車載システムの構成図である。 図23に示す画像生成システムの動作を示すシーケンスである。 図25に示すS909の処理のより詳細な処理を示すフローチャートである。
以下の図面を参照して、本発明に係る画像生成装置、画像生成システム及びその方法について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明との均等物に及ぶ点に留意されたい。
(実施形態に係る画像生成システムの概要)
図1は、実施形態に係る画像生成システムの動作を説明するための図である。図1において矢印Aは、目的地に向かっている後着車両が目的地に到着するときの方向を示す。
実施形態に係る画像生成システムでは、先に目的地に到着した先着車両101に搭載されたカメラは、矢印Bで示される楕円のように360度に亘って目的地の周囲の画像を撮像する。先着車両101に搭載される先着車載装置10は、撮像された周囲の画像を示す周辺画像データを記憶する。周辺画像データに対応する画像には、先着車両101から見て、後着車両102が目的地に到着するときの方向と反対の方向に位置する家屋900、第1樹木901及び第2樹木902が撮像される。先着車載装置10は、周辺画像データを、先着車両101を運転する不図示の先着ユーザが所有する先着携帯端末20に近距離無線通信を介して送信する。先着携帯端末20は、周辺画像データを、移動体通信網800を介して不図示の後着ユーザが所有する後着携帯端末30に送信する。後着携帯端末30は、周辺画像データを、近距離無線通信を介して後着ユーザが運転する後着車両102の後着車載装置40に送信する。
後着車載装置40は、後着車両102の現在位置及び目的地の位置のそれぞれを示す位置情報から検索される経路を示す経路情報に基づいて、後着車両102が目的地に到着するときの方向を推定する。また、後着車載装置40は、推定された方向から見た到着画像103を示す到着画像データを、周囲画像データから生成し、生成した到着画像データを出力する。到着画像データに対応する到着画像103は、後着車両102の表示装置又は後着携帯端末30の表示部に表示される。到着画像103には、後着車両102が目的地に到着するときの方向と反対の方向に位置する家屋900、第1樹木901及び902が撮像される。後着車両102を運転する後着ユーザは、表示された到着画像103を視認することにより、目的地に到着するときに見る風景を確認することができる。
(第1実施形態に係る画像生成システム)
図2は、第1実施形態に係る画像生成システムの構成である。
画像生成システム1は、先着車載装置10と、先着携帯端末20と、後着携帯端末30と、後着車載装置40とを有する。先着車載装置10は先着車両101に搭載され、先着携帯端末20は先着車両101を運転する不図示の先着ユーザによって所有される。先着車載装置10と先着携帯端末20との間は近距離無線通信を介して接続される。先着携帯端末20と後着携帯端末30との間は移動体通信網800並びに基地局801及び802を介して接続される。後着車載装置40は後着車両102に搭載され、後着携帯端末30は後着車両102を運転する不図示の後着ユーザによって所有される。後着携帯端末30と後着車載装置40との間は近距離無線通信を介して接続される。
図3は、先着車両101に搭載される車載システムの構成図である。
先着車両101には、先着車載装置10と、フロントカメラ11と、左サイドカメラ12と、右サイドカメラ13と、バックカメラ14とが搭載される。先着車載装置10、フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14は、CAN(Controller Area Network)15を介して相互通信可能に接続されている。
フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14は、CCD又はCMOS等の複数の撮像素子と、魚眼レンズ等の広角レンズとを備え、視野角内の風景を、広角レンズを介して電子的に画像を取得する単眼カメラである。フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14は、広角レンズを有するので、視野角αは180度以上になる。フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14は、取得した画像を示す画像データを先着車載装置10にCAN15を介して送信する。
図4は、先着車両101の平面図である。図4において、方向及び向きを示す3次元の直交座標が示される。図4に示す直交座標の座標軸は、先着車両101に対して固定される。X軸方向は先着車両101の直進方向に直交し且つ水平方向に平行な左右方向に沿って延伸する方向であり、Y軸方向は先着車両101の直進方向に沿って延伸する方向であり、Z軸方向は鉛直方向に沿って延伸する方向である。図4において、+X方向は先着車両101の正面方向を向いたときの右方向であり、+Y方向は先着車両101の後方向であり、+Z方向は先着車両101の上方向である。
フロントカメラ11は、先着車両101の前端にあるナンバープレートの取付位置の近傍に配置される。フロントカメラ11の光軸11aは、先着車両101の直進方向すなわち−Y方向に延伸する。左サイドカメラ12は、左ドアミラー16に配置され、一例では、左ドアミラー16の下端に配置される。左サイドカメラ12の光軸12aは先着車両101の左方向すなわち−X軸方向に延伸する。右サイドカメラ13は、右ドアミラー17に配置され、一例では、右ドアミラー17の下端に配置される。右サイドカメラ13の光軸13aは先着車両101の右方向すなわち+X軸方向に延伸する。バックカメラ14は、先着車両101の後端リアスポイラ18の中央部分に配置される。バックカメラ14の光軸14aは先着車両101の直進方向の反対方向すなわち+Y方向に延伸する。
フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14の視野角αは何れも180度以上なので、フロントカメラ11〜バックカメラ14の2つのカメラを利用して先着車両101の全周囲360度の撮像が可能である。
先着車載装置10は、タッチパネル111と、GPS部114と、車速取得部115と、スピーカ116と、記憶部117と、近距離通信部118と、通信部119と、車載処理部120とを有する車載用のナビゲーション装置である。
タッチパネル111は、操作部112と表示部113とを有する入出力デバイスである。操作部112は、先着ユーザの指先により押下された位置に応じた先着ユーザの指示を示す指示信号を車載処理部120に出力する。例えば、操作部112は、先着ユーザの到着確認ボタンの押下に応じて、目的地への到着を確認したことを示す到着確認信号を車載処理部120に出力する。また、操作部112は、先着ユーザの後着ユーザ選択ボタンの押下に応じて、目的地の周囲の周囲画像を送信する後着ユーザの名称を示す後着ユーザ信号を車載処理部120に出力する。表示部113は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機EL(Electro−Luminescence)ディスプレイ等である。表示部113は、車載処理部120から入力される信号に対応する画像を表示する。
図5(a)は、目的地への到着を確認したことを示す到着確認信号を受け付けるときのタッチパネル111の表示状態である到着確認状態を示す図である。図5(b)は、目的地の周囲の周囲画像を送信する後着ユーザを示す後着ユーザ信号を受け付けるときのタッチパネル111の表示状態である後着ユーザ選択状態を示す図である。
図5(a)に示す到着確認状態では、タッチパネル111には、先着車両101の出発地から目的地に至る経路202が示される地図200と共に、押下に応じて到着確認信号を操作部112が出力する到着ボタン210が表示される。到着確認状態では、スピーカ116は、目的地に着いたか否かを確認する音声を出力する。
図5(b)に示す後着ユーザ選択状態では、タッチパネル111には、押下に応じて後着ユーザ信号を操作部112が出力する複数の後着ユーザ選択ボタン221〜22nが表示される。後着ユーザ選択状態では、スピーカ116は、周囲画像を送信する後着ユーザの選択を促す音声を出力する。
GPS部114は、不図示のGPSアンテナとGPSレシーバとコンパスとを備える。GPSアンテナは、衛星からのGPS信号を受信し、GPSレシーバへGPS信号を送信する。GPSレシーバは、GPSアンテナから受信したGPS信号の復調を行って生成したGPS情報を車載処理部120に出力する。また、コンパスは、先着車両101の進行方向を示す進行方向信号を車載処理部120に出力する。
車速取得部115は、不図示の車速センサを備えており、先着車両101の車速を取得し、取得した車速の情報を車載処理部120に出力する。
スピーカ116は、車載処理部120から入力される信号に対応する音声を出力する音声出力装置である。例えば、スピーカ116は、車載処理部120から入力される信号に応じて、現在位置から目的地に至る経路の案内を示す音声を出力する。
記憶部117は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置の内の少なくとも一つを有する。記憶部117は、車載処理部120による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、車載処理部120は、ドライバプログラムとして、タッチパネル111を制御するデバイスドライバプログラム等を記憶する。コンピュータプログラムは、例えばCD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部117にインストールされてもよい。
また、記憶部117は、地図情報171と、音響情報172とを記憶する。地図情報171は、現在位置から目的地に至る経路を示す経路情報の生成用データ、例えば、道路データ、施設データ、及び表示アイコンの画像データ等を含む。音響情報172は、経路案内に使用される音声データ、アプリケーションに使用される効果音データ、BGMデータ等を含む。
また、記憶部117は、データとして、先着ユーザ及び後着ユーザのユーザ識別情報であるユーザID、先着車載装置10及び後着車載装置40の識別情報であるシリアルIDを記憶する。また、記憶部117は、先着携帯端末20、後着携帯端末30及び不図示のサーバ等へアクセスするためのアドレス等を記憶する。さらに、記憶部117は、所定の処理に係る一時的なデータを一時的に記憶してもよい。
近距離通信部118は、Bluetooth(登録商標)の通信方式に従った近距離無線通信を行うためのインタフェース回路を有し、先着携帯端末20等との間で近距離無線通信を行う。そして、近距離通信部118は、先着携帯端末20等から受信したデータを車載処理部120に供給する。また、近距離通信部118は、車載処理部120から供給されたデータを先着携帯端末20等に送信する。なお、近距離通信部118は、RFID(Radio Frequency IDentification)、ZigBee等の他の通信方式に従った近距離無線通信を行うためのインタフェース回路を有してもよい。また、近距離通信部118の代わりにUSB通信等の有線通信が可能な有線通信部が配置されてもよい。
通信部119は、フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14とCAN19を介して接続される。通信部119は、フロントカメラ11及びバックカメラ14のそれぞれが撮像した画像を示すフロント画像データ及びバック画像データを、フロントカメラ11及びバックカメラ14のそれぞれから受信する。また、通信部119は、左サイドカメラ12及び右サイドカメラ13のそれぞれが撮像した画像を示す左側画像データ及び右側画像データを、左サイドカメラ12及び右サイドカメラ13のそれぞれから受信する。
車載処理部120は、一又は複数個のプロセッサ及びその周辺回路を備える。車載処理部120は、先着車載装置10の全体的な動作を統括的に制御するものであり、例えば、CPUである。車載処理部120は、先着車載装置10の各種処理が記憶部117に記憶されているプログラム等に基づいて適切な手順で実行されるように、タッチパネル111等の動作を制御する。車載処理部120は、記憶部117に記憶されているオペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等のプログラムに基づいて処理を実行する。また、車載処理部120は、アプリケーションプログラム等の複数のプログラムを並列に実行することができる。
車載処理部120は、指示受付部121と、ナビ制御部122と、画像データ取得部123と、目的地位置情報取得部124と、周囲画像データ生成部125と、周囲画像データ送信部126とを有する。ナビ制御部122は、目的地設定部1221と、位置情報取得部1222と、経路検索部1223と、経路判定部1224とを有する。車載処理部120が有するこれらの各部は、車載処理部120が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、車載処理部120が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして先着車載装置10に実装されてもよい。
指示受付部121は、先着ユーザによる操作部112の押下等された位置に応じた先着ユーザの指示を受け付ける。例えば、指示受付部121は、タッチパネル111の表示状態が到着確認状態であるときに、先着ユーザの到着ボタン210の押下に応じて操作部112から入力される到着確認信号に対応する目的地への到着確認を受け付ける。また、指示受付部121は、タッチパネル111の表示状態が後着ユーザ選択状態であるときに、先着ユーザの後着ユーザ選択ボタン221〜22nの何れかの押下に応じて操作部112から入力される後着ユーザ信号に対応する後着ユーザの名称を受け付ける。
ナビ制御部122は、現在位置から目的地に至る経路を検索し、検索した経路202を示す経路情報を生成し、記憶部117に記憶する。より詳細には、目的地設定部1221は、先着ユーザの操作に応じて取得された目的地設定情報に含まれる場所の位置を目的地位置として設定して、記憶部117に記憶する。位置情報取得部1222は、GPS部114を介して現在の位置を示す現在位置を取得し、取得した現在位置を示す現在位置情報を記憶部117に記憶する。次いで、経路検索部1223は、目的地設定部1221により設定された目的地位置と位置情報取得部1222により取得された現在位置との間の経路を検索し、検索された経路を示す経路情報を生成し、生成した経路情報を記憶部117に記憶する。
経路判定部1224は、位置情報取得部1222によって取得された現在位置情報に対応する現在位置が、経路検索部1223によって検索された経路上に位置するか否かを判定する。経路検索部1223は、現在位置が経路検索部1223によって検索された経路上に位置しないと判定されたときに、現在位置と目的地位置との間の経路を再計算する。
画像データ取得部123は、指示受付部121による目的地への到着確認の受け付けに応じて、フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14が撮像した画像を示す画像データを取得する。周囲画像データ生成部125は、画像データ取得部123により取得された画像データを組み合わせて先着車両101の周囲の画像を示す周囲画像データを生成する。
目的地位置情報取得部124は、目的地設定部1221によって設定された目的地位置を示す目的地位置情報を取得し、取得した目的地位置情報を記憶部117に記憶する。
周囲画像データ生成部125は、生成した周囲画像データを、GPS部114から入力される進行方向信号に関連付けて記憶部117に記憶する。周囲画像データが進行方向信号と関連付けられることにより、周囲画像データに対応する先着車両101の周囲の画像の方角が規定される。
周囲画像データ送信部126は、周囲画像データ、周囲画像データに関連付けられた進行方向信号、及び目的地位置情報取得部124によって取得された目的地位置情報を近距離通信部118を介して先着携帯端末20に送信する。
図6(a)は先着携帯端末20の内部ブロック図であり、図6(b)は後着携帯端末30の内部ブロック図である。
先着携帯端末20は、端末通信部21と、端末近距離通信部22と、端末操作部23と、端末タッチパネル24と、端末記憶部25と、端末処理部26とを有する。後着携帯端末30は、端末通信部31と、端末近距離通信部32と、端末操作部33と、端末タッチパネル34と、端末記憶部35と、端末処理部36とを有する。先着携帯端末20及び後着携帯端末30のそれぞれは、端末の一例であり、例えば多機能携帯電話(いわゆる「スマートフォン」)であり、無線通信ネットワークへの接続、近距離無線通信、所定のアプリケーションプログラムの実行等を可能とする。なお、先着携帯端末20及び後着携帯端末30のそれぞれは、通信機能を有する通信装置であればよく、例えば携帯端末(Personal Digital Assistant, PDA)、携帯ゲーム機、携帯音楽プレーヤ、タブレットPC等でもよい。
端末通信部21は、主に2.1GHz帯を感受帯域とするアンテナを含む、通信インタフェース回路を有し、先着携帯端末20を移動体通信網800に接続する。端末通信部21は、基地局801により割り当てられるチャネルを介して、基地局801との間でCDMA方式等による無線信号回線を確立し、基地局801との間で無線通信を行う。そして、端末通信部21は、基地局801から受信したデータを端末処理部26に供給する。また、端末通信部21は、端末処理部26から供給されたデータを基地局801に送信する。
端末近距離通信部22は、Bluetooth(登録商標)等の通信方式に従った近距離無線通信を行うためのインタフェース回路を有し、先着車載装置10等との間で近距離無線通信を行う。そして、端末近距離通信部22は、先着車載装置10等から受信したデータを端末処理部26に供給する。また、端末近距離通信部22は、端末処理部26から供給されたデータを先着車載装置10等に送信する。なお、端末近距離通信部22は、RFID、ZigBee等の他の通信方式に従った近距離無線通信を行うためのインタフェース回路を有してもよい。
端末操作部23は、先着携帯端末20の操作が可能であればどのようなデバイスでもよく、例えば、キーパッド等である。先着ユーザは、このデバイスを用いて、文字、数字等を入力することができる。端末操作部23は、先着ユーザの指示を受け付け、受け付けた指示に対応する信号を発生し、端末処理部26に出力する。
端末タッチパネル24は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置である。端末タッチパネル24は、端末処理部26から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。端末タッチパネル24は、タップ、ドラッグ、フリック等の接触により、先着ユーザの指示を受け付け、受け付けた指示に対応する信号を発生し、端末処理部26に出力する。
端末記憶部25は、例えば、半導体メモリを有する。端末記憶部25は、端末処理部26での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、端末記憶部25は、ドライバプログラムとして、端末通信部21を制御する携帯電話通信デバイスドライバプログラム、端末近距離通信部22を制御する近距離無線通信デバイスドライバプログラム等を記憶する。また、端末記憶部25は、アプリケーションプログラムとして、ウェブページの取得及び表示を行うウェブブラウザプログラムを含む種々のプログラムを記憶する。コンピュータプログラムは、例えばフラッシュメモリを含む半導体メモリ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて端末記憶部25にインストールされてもよい。
また、端末記憶部25は、データとして、先着ユーザ及び後着ユーザのユーザ識別情報であるユーザID、先着車載装置10及び後着車載装置40の識別情報であるシリアルID、及び不図示のサーバへアクセスするためのアドレス等を記憶する。さらに、端末記憶部25は、所定の処理に係る一時的なデータを一時的に記憶してもよい。
端末処理部26は、一又は複数個のプロセッサ及びその周辺回路を有する。端末処理部26は、先着携帯端末20の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。端末処理部26は、先着携帯端末20の各種処理が端末記憶部25に記憶されているプログラム、端末操作部23の操作等に応じて適切な手順で実行されるように、端末通信部21等の動作を制御する。端末処理部26は、端末記憶部25に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、端末処理部26は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
端末処理部26は、画像受信部261と、画像送信部262と、到着方向受信部263と、到着方向送信部264とを有する。端末処理部26が有するこれらの各部は、端末処理部26が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、端末処理部26が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして先着携帯端末20に実装されてもよい。
画像受信部261は、先着車載装置10から送信された周囲画像データを端末近距離通信部22を介して受信し、受信した周囲画像データを端末記憶部25に記憶する。画像送信部262は、端末記憶部25に記憶された周囲画像データを端末通信部21を介して後着携帯端末30に送信する。到着方向受信部263は、後着車両102が目的地に到着するときの到着方向を示す到着方向信号が後着携帯端末30から送信されたとき、到着方向信号を端末通信部21を介して受信し、受信した到着方向を端末記憶部25に記憶する。到着方向送信部264は、端末記憶部25に記憶された到着方向信号を端末近距離通信部22を介して先着車載装置10に送信する。
端末通信部31、端末近距離通信部32、端末操作部33、端末タッチパネル34及び端末記憶部35のそれぞれは、端末通信部21、端末近距離通信部22、端末操作部23、端末タッチパネル24及び端末記憶部25のそれぞれと同様な構成及び機能を有する。
端末処理部36は、一又は複数個のプロセッサ及びその周辺回路を有する。端末処理部36は、後着携帯端末30の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。端末処理部36は、後着携帯端末30の各種処理が端末記憶部35に記憶されているプログラム、端末操作部33の操作等に応じて適切な手順で実行されるように、端末通信部31等の動作を制御する。端末処理部36は、端末記憶部35に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、端末処理部36は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
端末処理部36は、画像受信部361と、画像送信部362と、到着方向受信部363と、到着方向送信部364とを有する。端末処理部36が有するこれらの各部は、端末処理部36が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、端末処理部36が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして後着携帯端末30に実装されてもよい。
画像受信部361は、先着携帯端末20から送信された周囲画像データを端末通信部31を介して受信し、受信した周囲画像データを端末記憶部35に記憶する。画像送信部362は、端末記憶部35に記憶された周囲画像データを端末近距離通信部22を介して後着車載装置40に送信する。到着方向受信部363は、到着方向信号が後着車載装置40から送信されたとき、到着方向信号を端末通信部31を介して受信し、受信した到着方向を端末記憶部35に記憶する。到着方向送信部364は、端末記憶部35に記憶された到着方向信号を端末通信部31を介して送信する。
図7は、画像生成システム1において、後着車両102に搭載される車載システムの構成図である。
後着車両102には、後着車載装置40が搭載される。後着車載装置40は、タッチパネル411と、GPS部414と、車速取得部415と、スピーカ416と、記憶部417と、近距離通信部418と、車載処理部420とを有する車載用のナビゲーション装置である。ナビ制御部422は、目的地設定部4221と、位置情報取得部4222と、経路検索部4223と、経路判定部4224とを有する。タッチパネル411〜近距離通信部418のそれぞれは、先着車載装置10のタッチパネル111〜近距離通信部118と同様な構成を有するので、ここでは詳細な説明は省略する。
車載処理部420は、一又は複数個のプロセッサ及びその周辺回路を備える。車載処理部420は、後着車載装置40の全体的な動作を統括的に制御するものであり、例えば、CPUである。車載処理部420は、後着車載装置40の各種処理が記憶部417に記憶されているプログラム等に基づいて適切な手順で実行されるように、タッチパネル411等の動作を制御する。車載処理部420は、記憶部417に記憶されているオペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等のプログラムに基づいて処理を実行する。また、車載処理部420は、アプリケーションプログラム等の複数のプログラムを並列に実行することができる。
車載処理部420は、指示受付部421と、ナビ制御部422と、周囲画像データ取得部423と、到着方向推定部424と、到着画像データ生成部425と、到着画像データ出力部426とを有する。車載処理部420が有するこれらの各部は、車載処理部420が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、車載処理部420が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして後着車載装置40に実装されてもよい。
指示受付部421は、後着ユーザによる操作部412の押下等された位置に応じた後着ユーザの指示を受け付ける。
ナビ制御部422は、現在位置から目的地に至る経路を検索し、検索した経路を示す経路情報を生成し、記憶部417に記憶する。より詳細には、目的地設定部4221は、後着ユーザの操作に応じて取得された目的地設定情報に含まれる場所の位置を目的地位置として設定して、記憶部417に記憶する。位置情報取得部4222は、GPS部414を介して現在の位置を示す現在位置を取得し、取得した現在位置を示す現在位置情報を記憶部417に記憶する。次いで、経路検索部4223は、目的地設定部4221により設定された目的地位置と位置情報取得部4222により取得された現在位置との間の経路を検索し、検索された経路を示す経路情報を生成し、生成した経路情報を記憶部417に記憶する。経路検索部4223は、一例ではダイクストラ法である公知の検索方法を使用して目的地設定部4221により設定された目的地位置と位置情報取得部4222により取得された現在位置との間の経路を検索する。
経路判定部4224は、位置情報取得部4222によって取得された現在位置情報に対応する現在位置が、経路検索部4223によって検索された経路上に位置するか否かを判定する。経路検索部4223は、現在位置が経路検索部4223によって検索された経路上に位置しないと判定されたときに、現在位置と目的地位置との間の経路を再計算する。
周囲画像データ取得部423は、後着携帯端末30から送信された周囲画像データ、進行方向信号及び目的地位置情報を近距離通信部418を介して取得する。
到着方向推定部424は、周囲画像データ取得部423によって取得された目的地位置情報に対応する目的地位置、及び経路検索部4223によって検索された経路における目的地への進入方向から、後着車両102が目的地に到着するときの到着方向を推定する。具体的には、到着方向推定部424は、周囲画像データ取得部423によって取得された目的地位置情報に対応する目的地位置に至る経路を示す経路情報をナビ制御部422に生成させる。到着方向推定部424は、ナビ制御部422によって生成された経路情報に基づいて、後着車両102が目的地に到着するときの到着方向を推定する。
到着画像データ生成部425は、到着方向推定部424によって推定された到着方向から見た到着画像を示す到着画像データを、周囲画像データ取得部423によって取得された周囲画像データから生成する。一例では、到着画像データ生成部425は、周囲画像データ取得部423によって取得された周囲画像データに対応する画像の一部を切り取って到着画像データを生成する。到着画像データ生成部425は、到着方向推定部424によって推定された到着方向を法線方向とする画像を生成する。到着画像データ生成部425によって生成される画像は、一例では横方向に25度〜50℃の角度を有し、縦方向は下端に地表が位置し且つ上端の一部に空が入るように切り取られてもよい。また、他の例では、到着画像データ生成部425は、周囲画像データ取得部423によって取得された周囲画像データを公知の視覚変換処理によって加工して、到着方向推定部424によって推定された到着方向から見た到着画像を示す到着画像データを生成する。例えば、到着画像データ生成部425は、周囲画像データに対応する画像を、先着車両101が停車する位置に後着車両102が停車したときの後着ユーザが見る画像に視覚変換処理によって加工してもよい。また、到着画像データ生成部425は、周囲画像データに対応する画像を、後着車両102が目的地に到着する100m手前の位置を走行するときに後着ユーザが見る画像に視覚変換処理によって加工してもよい。また、到着画像データ生成部425は、周囲画像データに対応する画像を、後着車両102が目的地に到着する手前の交差点を曲がった直後に後着ユーザが見る画像に視覚変換処理によって加工してもよい。
到着画像データ出力部426は、到着画像データ生成部425によって生成された到着画像データを表示部413に出力する。表示部413は、入力された到着画像データに対応する到着画像103を表示する。
図8は、画像生成システム1の動作を示すシーケンスである。
まず、先着車載装置10において、指示受付部121は、先着ユーザの到着ボタン210の押下に応じて操作部112から入力される到着確認信号に対応する目的地への到着確認を受け付ける(S101)。次いで、画像データ取得部123は、フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14が撮像した画像を示す画像データを取得する(S102)。次いで、周囲画像データ生成部125は、画像データ取得部123により取得された画像データを組み合わせて先着車両101の周囲の画像を示す周囲画像データを生成する(S103)。次いで、周囲画像データ送信部126は、周囲画像データ、周囲画像データに関連付けられた進行方向信号、及び目的地位置情報取得部124によって取得された目的地位置情報を近距離通信部118を介して先着携帯端末20に送信する(S104)。周囲画像データ及び進行方向信号は、先着携帯端末20及び図5(b)に示す後着ユーザ選択状態で選択された後着ユーザが所有する後着携帯端末30を介して後着車載装置40に送信される。
次いで、先着携帯端末20は、先着車載装置10から送信された周囲画像データ等を受信し(S105)、受信した周囲画像データ等を後着携帯端末30に送信する(S106)。次いで、後着携帯端末30は、先着携帯端末20から送信された周囲画像データ等を受信し(S107)、受信した周囲画像データ等を後着車載装置40に送信する(S108)。
次いで、後着車載装置40は、後着携帯端末30から送信された周囲画像データ等に基づいて、後着車両102の到着方向から見た到着画像を示す到着画像データを生成し、生成した到着画像データを出力する(S109)。
図9は、図8に示すS109の処理のより詳細な処理を示すフローチャートである。
まず、到着方向推定部424は、周囲画像データ取得部423が取得した目的地位置、及び経路検索部4223によって検索された経路における目的地への進入方向から、後着車両102が目的地に到着するときの到着方向を推定する(S201)。次いで、周囲画像データ取得部423は、後着携帯端末30から送信された周囲画像データを取得する(S202)。次いで、到着画像データ生成部425は、S201の処理で推定された到着方向から見た到着画像を示す到着画像データを、S202の処理で取得された周囲画像データから生成する(S203)。次いで、到着画像データ出力部426は、S203の処理で生成された到着画像データを表示部413に出力する(S204)。
次いで、経路判定部4224は、位置情報取得部4222によって取得された現在位置情報に対応する現在位置が、経路検索部4223によって検索された経路上に位置するか否かを判定する(S205)。経路判定部4224は、現在位置が経路検索部4223によって検索された経路上に位置しないと判定する(S205−NO)まで、S205の処理を繰り返す。
経路判定部4224によって現在位置が経路検索部4223によって検索された経路上に位置しないと判定される(S205−NO)と、経路検索部4223は、現在位置と目的地位置との間の経路を再計算する(S206)。次いで、到着方向推定部424は、後着車両102が目的地に到着するときの到着方向を推定する(S201)。以降、S201において再推定された到着方向に基づいて、S202〜S204の処理が実行されて、再計算された経路に基づいて生成された到着画像データは、表示部413に出力される(S204)。
(第2実施形態に係る画像生成システム)
図10は、第2実施形態に係る画像生成システムの構成である。
画像生成システム2は、先着車載装置50及び後着車載装置55が先着車載装置10及び後着車載装置40の代わりに配置されることが画像生成システム1と相違する。また、画像生成システム2は、サーバ60を有することが画像生成システム1と更に有する。サーバ60は、移動体通信網800、基地局801及び802、ゲートウェイ805並びにインタネット804を介して先着携帯端末20及び後着携帯端末30と相互に接続される。画像生成システム2では、サーバ60が到着画像データを生成する画像生成装置として機能する。
図11は、画像生成システム2において、先着車両101に搭載される車載システムの構成図である。
先着車載装置50は、車載処理部520が車載処理部120の代わりに配置されることが先着車載装置10と相違する。車載処理部520は、ユーザ情報取得部521及び到着方向推定指示部522が配置されることが車載処理部120と相違する。また、車載処理部520は、周囲画像データ送信部523が周囲画像データ送信部126の代わりに配置されることが車載処理部120と相違する。ユーザ情報取得部521、到着方向推定指示部522及び周囲画像データ送信部523以外の先着車載装置50の構成要素の構成及び機能は、同一符号が付された先着車載装置10の構成要素の構成及び機能と同様なので、ここでは詳細な説明は省略する。
ユーザ情報取得部521は、先着ユーザ及び後着ユーザのユーザID、先着車載装置50及び後着車載装置55のシリアルID並びに後着携帯端末30及びサーバ60のアドレスを含むユーザ情報を取得する。
到着方向推定指示部522は、到着方向の推定を指示することを示す到着方向推定指示信号、及び目的地位置情報取得部124によって取得された目的地位置情報を、先着携帯端末20を介して後着車載装置55に送信する。
周囲画像データ送信部523は、周囲画像データ、周囲画像データに関連付けられた進行方向信号、及び目的地位置情報取得部124によって取得された目的地位置情報を先着携帯端末20を介してサーバ60に送信する。
図12は、画像生成システム2において、後着車両102に搭載される車載システムの構成図である。
後着車両102には、後着車載装置55が搭載される。後着車載装置55は、車載処理部550が車載処理部420の代わりに配置されることが後着車載装置40と相違する。車載処理部550は、到着方向推定部551、到着方向信号送信部552、到着画像データ取得部553及び到着画像データ出力部554が到着方向推定部424〜到着画像データ出力部426の代わりに配置されることが車載処理部420と相違する。到着方向推定部551〜到着画像データ出力部554以外の後着車載装置55の構成要素の構成及び機能は、同一符号が付された後着車載装置40の構成要素の構成及び機能と同様なので、ここでは詳細な説明は省略する。
到着方向推定部551は、後着車両102が目的地に到着するときの到着方向を推定する。具体的には、到着方向推定部551は到着方向推定指示信号と共に受信した目的地位置情報に対応する目的地位置に至る経路を示す経路情報をナビ制御部422に生成させる。到着方向推定部551は、ナビ制御部422によって生成された経路情報に基づいて、後着車両102が目的地に到着するときの到着方向を推定する。
到着方向信号送信部552は、到着方向推定部551によって推定された到着方向を示す到着方向信号をサーバ60に送信するために、近距離通信部418を介して後着携帯端末30に送信する。
到着画像データ取得部553は、サーバ60によって生成され且つ後着携帯端末30及び近距離通信部418を介して送信された到着画像データを取得する。
到着画像データ出力部554は、到着画像データ取得部553によって取得された到着画像データを表示部413に出力する。表示部413は、入力された到着画像データに対応する到着画像103を表示する。
図13は、サーバ60の内部ブロック図である。
サーバ60は、サーバ通信部61と、サーバ記憶部62と、サーバ処理部63とを有する。
サーバ通信部61は、サーバ60をインタネット804に接続するための通信インタフェース回路を有する。サーバ通信部61は、先着車載装置50及び後着車載装置55から先着携帯端末20及び後着携帯端末30を介して受信したデータ及び信号をサーバ処理部63に供給する。また、サーバ通信部61は、サーバ処理部63から供給されたデータを先着携帯端末20及び後着携帯端末30を介して先着車載装置50及び後着車載装置55に送信する。
サーバ記憶部62は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置の内の少なくとも一つを有する。サーバ記憶部62は、サーバ処理部63による処理に使用されるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部62は、ドライバプログラムとして、サーバ通信部61を制御する通信デバイスドライバプログラム等を記憶する。コンピュータプログラムは、例えばCD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部62にインストールされてもよい。
サーバ処理部63は、一又は複数個のプロセッサ及びその周辺回路を備える。サーバ処理部63は、サーバ60の全体的な動作を統括的に制御するものであり、例えば、CPUである。サーバ処理部63は、サーバ60の各種処理がサーバ記憶部62に記憶されているプログラム等に基づいて適切な手順で実行されるように、サーバ通信部61等の動作を制御する。サーバ処理部63は、サーバ記憶部62に記憶されているオペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等のプログラムに基づいて処理を実行する。また、サーバ処理部63は、アプリケーションプログラム等の複数のプログラムを並列に実行することができる。
サーバ処理部63は、到着方向取得部631と、周囲画像データ取得部632と、到着画像データ生成部633と、到着画像データ送信部634とを有する。サーバ処理部63が有するこれらの各部は、サーバ処理部63が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部63が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてサーバ60に実装されてもよい。
到着方向取得部631は、後着車載装置45から後着携帯端末30を介して送信された到着方向信号に対応する到着方向を取得する。周囲画像データ取得部632は、先着車載装置10から先着携帯端末20を介して送信された周囲画像データ、進行方向信号及び目的地位置情報を取得する。
到着画像データ生成部633は、到着方向取得部631によって取得された到着方向から見た到着画像を示す到着画像データを、周囲画像データ取得部632によって取得された周囲画像データから生成する。一例では、到着画像データ生成部633は、周囲画像データ取得部423によって取得された周囲画像データに対応する画像の一部を切り取って到着画像データを生成する。また、他の例では、周囲画像データ取得部633によって取得された周囲画像データを公知の視覚変換処理によって加工して、到着方向推定部424によって推定された到着方向から見た到着画像を示す到着画像データを生成する。
到着画像データ送信部634は、到着画像データ生成部633によって生成された到着画像データを、後着携帯端末30を介して後着車載装置55に送信する。
図14は、画像生成システム2の動作を示すシーケンスである。
まず、先着車載装置50において、指示受付部121は、先着ユーザの到着ボタン210の押下に応じて操作部112から入力される到着確認信号に対応する目的地への到着確認を受け付ける(S301)。次いで、画像データ取得部123は、フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14が撮像した画像を示す画像データを取得する(S302)。次いで、周囲画像データ生成部125は、画像データ取得部123により取得された画像データを組み合わせて先着車両101の周囲の画像を示す周囲画像データを生成する(S303)。
次いで、到着方向推定指示部522は、到着方向推定指示信号を後着車載装置55に送信するために、近距離通信部118を介して先着携帯端末20に送信する(S304)。到着方向推定指示信号は、先着携帯端末20及び図5(b)に示す後着ユーザ選択状態で選択された後着ユーザが所有する後着携帯端末30を介して後着車載装置55に送信される。先着携帯端末20は、到着方向推定指示部522から送信された到着方向推定指示信号を受信し(S305)、受信した到着方向推定指示信号を後着携帯端末30に送信する(S306)。次いで、後着携帯端末30は、先着携帯端末20から送信された到着方向推定指示信号を受信し(S307)、受信した到着方向推定指示信号を後着車載装置55に送信する(S308)。
次いで、後着車載装置55は、推定された到着方向を示す到着方向信号を後着携帯端末30に送信する(S309)。次いで、後着携帯端末30は、後着車載装置55から送信された到着方向信号を受信し(S310)、受信した到着方向信号をサーバ60に送信し(S311)、サーバ60は、後着携帯端末30から送信された到着方向信号を受信する(S312)。
一方、周囲画像データ送信部523は、周囲画像データ、周囲画像データに関連付けられた進行方向信号、及び目的地位置情報取得部124によって取得された目的地位置情報を近距離通信部118を介して先着携帯端末20に送信する(S313)。周囲画像データ等は、先着携帯端末20を介してサーバ60に送信される。次いで、先着携帯端末20は、周囲画像データ送信部523から送信された周囲画像データ等を受信し(S314)、受信した周囲画像データ等をサーバ60に送信する(S315)。サーバ60は、先着携帯端末20から送信された周囲画像データ等を受信する(S316)。
サーバ60は、先着車載装置50から送信された周囲画像データ及び後着車載装置55から送信された到着方向信号に基づいて、後着車両102の到着方向から見た到着画像を示す到着画像データを生成し、生成した到着画像データを送信する(S317)。次いで、後着携帯端末30は、サーバ60から送信された到着画像データを受信し(S318)、受信した到着画像データを後着車載装置55に送信し(S319)。次いで、到着画像データ取得部553は、サーバ60によって生成され且つ後着携帯端末30及び近距離通信部418を介して送信された到着画像データを取得する(S320)。そして、到着画像データ出力部554は、到着画像データ取得部553によって取得された到着画像データを表示部413に出力する(S321)。
図15は、図14に示すS309の処理のより詳細な処理を示すフローチャートである。
まず、到着方向推定部551は、後着車両102が目的地に到着するときの到着方向を推定する(S401)。次いで、到着方向信号送信部552は、到着方向推定部551によって推定された到着方向を示す到着方向信号を後着携帯端末30に送信する(S402)。
次いで、経路判定部4224は、位置情報取得部4222によって取得された現在位置情報に対応する現在位置が、経路検索部4223によって検索された経路上に位置するか否かを判定する(S403)。経路判定部4224は、現在位置が経路検索部4223によって検索された経路上に位置しないと判定する(S403−NO)まで、S403の処理を繰り返す。
経路判定部4224によって現在位置が経路検索部4223によって検索された経路上に位置しないと判定される(S403−NO)と、経路検索部4223は、現在位置と目的地位置との間の経路を再計算する(S404)。次いで、到着方向推定部424は、後着車両102が目的地に到着するときの到着方向を推定する(S401)。
図15は、図14に示すS317の処理のより詳細な処理を示すフローチャートである。
まず、到着方向取得部631は、後着車載装置55から後着携帯端末30を介して送信された到着方向信号に対応する到着方向を取得する(S501)。次いで、周囲画像データ取得部632は、先着車載装置10から先着携帯端末20を介して送信された周囲画像データ等を取得する(S502)。次いで、到着画像データ生成部425は、S501の処理で取得された到着方向信号に対応する到着方向から見た到着画像を示す到着画像データを、S502の処理で取得された周囲画像データから生成する(S503)。次いで、到着画像データ送信部634は、S504において生成された到着画像データを、後着携帯端末30を介して後着車載装置55に送信する(S504)。
次いで、到着方向取得部631は、到着方向信号が後着車載装置55から送信されたか否かを判定する(S505)。到着方向取得部631は、到着方向信号が後着車載装置55から送信されたと判定する(S505−YES)まで、S505の処理を繰り返す。
到着方向取得部631は、到着方向信号が後着車載装置55から送信されたと判定する(S505−YES)と、送信された到着方向信号に対応する到着方向を取得する(S501)。
(第3実施形態に係る画像生成システム)
図17は、第3実施形態に係る画像生成システムの構成である。
画像生成システム3は、先着車載装置70及び後着車載装置75が先着車載装置10及び後着車載装置40の代わりに配置されることが画像生成システム1と相違する。画像生成システム3では、先着車載装置70が到着画像データを生成する画像生成装置として機能する。
図18は、画像生成システム3において、先着車両101に搭載される車載システムの構成図である。
画像生成システム3は、先着車載装置70が先着車載装置10の代わりに先着車両101に搭載されることが画像生成システム1と相違する。先着車載装置70は、到着方向推定指示部721、到着方向取得部722、到着画像データ生成部723及び到着画像データ送信部724が周囲画像データ送信部126の代わりに配置されることが先着車載装置10と相違する。到着方向推定指示部721〜到着画像データ送信部724以外の先着車載装置70の構成要素の構成及び機能は、同一符号が付された先着車載装置10の構成要素の構成及び機能と同様なので、ここでは詳細な説明は省略する。
到着方向推定指示部721は、到着方向の推定を指示することを示す到着方向推定指示信号、及び目的地位置情報取得部124によって取得された目的地位置情報を、先着携帯端末20を介して後着車載装置75に送信する。
到着方向取得部722は、後着車載装置45から後着携帯端末30を介して送信された到着方向信号に対応する到着方向を取得する。
到着画像データ生成部723は、到着方向取得部722によって取得された到着方向から見た到着画像を示す到着画像データを、周囲画像データ生成部125によって生成された周囲画像データから生成する。一例では、到着画像データ生成部723は、周囲画像データ取得部423によって取得された周囲画像データに対応する画像の一部を切り取って到着画像データを生成する。また、他の例では、周囲画像データ取得部723によって取得された周囲画像データを公知の視覚変換処理によって加工して、到着方向推定部424によって推定された到着方向から見た到着画像を示す到着画像データを生成する。
到着画像データ送信部724は、到着画像データ生成部723によって生成された到着画像データを、先着携帯端末20を介して後着車載装置55に送信する。
図19は、画像生成システム3において、後着車両102に搭載される車載システムの構成図である。
後着車両102には、後着車載装置75が搭載される。後着車載装置75は、車載処理部650が車載処理部420の代わりに配置されることが後着車載装置40と相違する。車載処理部750は、到着方向推定部751、到着方向信号送信部752、到着画像データ取得部753及び到着画像データ出力部754が到着方向推定部424〜到着画像データ出力部426の代わりに配置されることが車載処理部420と相違する。到着方向推定部751〜到着画像データ出力部754以外の後着車載装置55の構成要素の構成及び機能は、同一符号が付された後着車載装置40の構成要素の構成及び機能と同様なので、ここでは詳細な説明は省略する。
到着方向推定部751は、到着方向推定指示信号の受信に応じて、ナビ制御部422により検索された経路における目的地への進入方向から、後着車両102が目的地に到着するときの到着方向を推定する。具体的には、到着方向推定部751は到着方向推定指示信号と共に受信した目的地位置情報に対応する目的地位置に至る経路を示す経路情報をナビ制御部422に生成させる。到着方向推定部751は、ナビ制御部422によって生成された経路情報に基づいて、後着車両102が目的地に到着するときの到着方向を推定する。
到着方向信号送信部752は、到着方向推定部751によって推定された到着方向を示す到着方向信号を先着車載装置70に送信するために、近距離通信部418を介して後着携帯端末30に送信する。
到着画像データ取得部753は、先着車載装置70によって生成され且つ先着携帯端末20、後着携帯端末30及び近距離通信部418を介して送信された到着画像データを取得する。
到着画像データ出力部754は、到着画像データ取得部553によって取得された到着画像データを表示部413に出力する。表示部413は、入力された到着画像データに対応する画像を表示する。
図20は、画像生成システム3の動作を示すシーケンスである。
まず、先着車載装置70において、指示受付部121は、先着ユーザの到着ボタン210の押下に応じて操作部112から入力される到着確認信号に対応する目的地への到着確認を受け付ける(S601)。次いで、画像データ取得部123は、フロントカメラ11、左サイドカメラ12、右サイドカメラ13及びバックカメラ14が撮像した画像を示す画像データを取得する(S602)。次いで、周囲画像データ生成部125は、画像データ取得部123により取得された画像データを組み合わせて先着車両101の周囲の画像を示す周囲画像データを生成する(S603)。
次いで、到着方向推定指示部522は、到着方向推定指示信号を後着車載装置75に送信するために、近距離通信部118を介して先着携帯端末20に送信する(S604)。到着方向推定指示信号は、先着携帯端末20及び図5(b)に示す後着ユーザ選択状態で選択された後着ユーザが所有する後着携帯端末30を介して後着車載装置75に送信される。先着携帯端末20は、到着方向推定指示部721から送信された到着方向推定指示信号を受信し(S605)、受信した到着方向推定指示信号を後着携帯端末30に送信する(S606)。次いで、後着携帯端末30は、先着携帯端末20から送信された到着方向推定指示信号を受信し(S607)、受信した到着方向推定指示信号を後着車載装置75に送信する(S608)。
次いで、後着車載装置75は、推定された到着方向を示す到着方向信号を後着携帯端末30に送信する(S609)。次いで、後着携帯端末30は、後着車載装置75から送信された到着方向信号を受信し(S610)、受信した到着方向信号を先着携帯端末20に送信する(S611)。次いで、先着携帯端末20は、後着携帯端末30から送信された到着方向信号を受信し(S612)、受信した到着方向信号を先着車載装置70に送信する(S613)。
先着車載装置70は、S603の処理で生成された周囲画像データ及び後着車載装置75から送信された到着方向信号に基づいて、後着車両102の到着方向から見た到着画像を示す到着画像データを生成し、生成した到着画像データを送信する(S614)。次いで、先着携帯端末20は、到着画像データから送信された到着画像データを受信し(S615)、受信した到着画像データを後着携帯端末30に送信する(S616)。次いで、後着携帯端末30は、先着携帯端末20から送信された到着画像データを受信し(S617)、受信した到着画像データを後着車載装置75に送信する(S618)。次いで、到着画像データ取得部753は、先着車載装置70によって生成され且つ先着携帯端末20及び後着携帯端末30を介して送信された到着画像データを取得する(S619)。そして、到着画像データ出力部754は、到着画像データ取得部753によって取得された到着画像データを表示部413に出力する(S620)。
図21は、図20に示すS609の処理のより詳細な処理を示すフローチャートである。図21に示すS701〜S704の処理は、到着方向信号がサーバ60ではなく先着車載装置70に送信されること以外は図15に示すS401〜S404の処理と同様なので、ここでは詳細な説明は省略する。
図22は、図20に示すS614の処理のより詳細な処理を示すフローチャートである。図22に示すS801〜S805の処理は、サーバ60ではなく先着車載装置70が処理を実行する以外は図16に示すS501〜S505の処理と同様なので、ここでは詳細な説明は省略する。
(第4実施形態に係る画像生成システム)
図23は、第4実施形態に係る画像生成システムの構成である。
画像生成システム4は、後着車載装置45が後着車載装置40の代わりに配置されることが画像生成システム1と相違する。画像生成システム4では、後着車載装置45が到着画像データを生成する画像生成装置として機能する。
図24は、画像生成システム4において、後着車両102に搭載される車載システムの構成図である。
後着車両102には、後着車載装置45が搭載される。後着車載装置45は、車載処理部450が車載処理部420の代わりに配置されることが後着車載装置40と相違する。車載処理部450は、目的地判定部451及び警報信号出力452が配置されることが車載処理部420と相違する。目的地判定部451及び警報信号出力452以外の後着車載装置45の構成要素の構成及び機能は、同一符号が付された後着車載装置40の構成要素の構成及び機能と同様なので、ここでは詳細な説明は省略する。
目的地判定部451は、先着車両101が到着した目的地の位置と、後着車両102が向かっている目的地の位置が一致しているか否かを判定する。具体的には、目的地判定部451は、先着車載装置10から周囲画像データと共に送信される目的地位置情報に対応する目的地位置と、後着車載装置45の目的地設定部4221によって設定された目的地の位置が一致するか否かを判定する。
警報信号出力452は、目的地判定部451によって先着車両101が到着した目的地の位置と、後着車両102が向かっている目的地の位置が一致していないと判定されたときに、警報信号を出力する。
図25は、画像生成システム4の動作を示すシーケンスである。図25に示すS901〜S908の処理は、図8に示すS101〜S108の処理と同様なので、ここでは詳細な説明は省略する。
図26は、図25に示すS909の処理のより詳細な処理を示すフローチャートである。
まず、目的地判定部451は、先着車載装置10から周囲画像データと共に送信される目的地位置情報に対応する目的地位置と、後着車載装置45の目的地設定部4221によって設定された目的地の位置が一致するか否かを判定する(S1001)。
目的地判定部451によって先着車両101が到着した目的地の位置と、後着車両102が向かっている目的地の位置が一致していないと判定される(S1001−NO)、警報信号出力452は、警報信号を出力する(S1002)。
目的地判定部451によって先着車両101が到着した目的地の位置と、後着車両102が向かっている目的地の位置が一致していると判定される(S1001−YES)と、到着方向推定部424は、後着車両102の到着方向を推定する(S1003)。S1003〜S1008の処理は、図9に示すS201〜S206の処理と同様なので、ここでは詳細な説明は省略する。
(実施形態に係る画像生成装置の作用効果)
実施形態に係る画像生成装置は、後着車両が到着する方向から見た到着画像を示す到着画像データを後着車両を運転する後着ユーザに提供することで、後着ユーザは、目的地に到着するときに見る風景に対応する画像を視認することができる。
また、実施形態に係る画像生成装置では、検索された経路から後着車両102が外れたときに、後着車両の到着方向は、再検索された経路に基づいて再度推定されるので、後着車両の進路に応じて順次更新することができる。
また、実施形態に係る画像生成装置では、周囲画像データに対応する画像は、先着車両101が目的地に到着した後に撮像された画像であるので、目的地の天候及び目的地に近接する樹木の育成状況等の目的地の風景の変化を反映した最新の風景を提供できる。
また、第2実施形態に係る画像生成装置は、車載装置ではなくサーバに搭載されるので、到着画像データを高速で生成することができる。
また、第4実施形態に係る画像生成装置は、先着車両が到着した目的地の位置と後着車載装置に設定された目的地の位置との不一致に応じて警報信号を出力するので、後着ユーザは、先着車両と後着車両との間の目的地の不一致を認識できる。
(実施形態に係る画像生成システムの変形例)
第1〜第4実施形態に係る画像生成システムでは、先着車両101の周囲の画像は、車載カメラによって撮像されるが、実施形態に係る画像生成システムでは、先着車両101の周囲の画像は、先着携帯端末20等の他の装置によって撮像されてもよい。
また、第1〜第4実施形態に係る画像生成システムでは、到着画像データは後着車載装置の表示部413で表示されるが、実施形態に係る画像生成システムでは、後着携帯端末30の端末タッチパネル34等の他の表示装置で表示されてもよい。
また、第1〜第4実施形態に係る画像生成システムでは、先着車載装置及び先着携帯端末は、別個の装置であるが、実施形態に係る画像生成システムでは、先着携帯端末の一部又は全ての機能は、先着車載装置に含まれていてもよい。特に全ての機能が先着車載装置に含まれている場合、先着ユーザは、携帯端末を所持している必要はなく、携帯端末を所有していないユーザや、携帯端末を家に置き忘れたユーザであっても、実施形態に係る画像生成システムを利用可能となる。また、実施形態に係る画像生成システムでは、先着車載装置先の一部又は全ての機能は、先着携帯端末に含まれていてもよい。特に、全ての機能が先着携帯端末に含まれている場合、先着ユーザは、先着携帯端末に内蔵されているカメラを用いて、周囲画像を取得することになる。具体的には、先着ユーザは先着携帯端末に内蔵されているカメラを用いて、自身の周囲の略360°の画像を取得する。詳細には、たとえば先着ユーザは略90°毎に向きを変えながら4枚の画像を取得する。先着携帯端末には方位センサ(例えば磁気コンパスやジャイロコンパス)が内蔵されており、4枚の画像とそれらの画像を取得したときの方位センサの値(方位/方角)が対応付けられて記憶される。これらの画像と方位/方角が対応付けられて記憶された情報から、到着画像が生成されるが、具体的な生成方法は、第1〜第4実施形態で説明したものと同様の方法が使用できるため、説明は割愛する。そして、この場合、先着ユーザは、後着携帯端末を所持していれば、先着車両によらず、徒歩及び自転車等の自動車以外の移動手段によって、第1地点に移動してもよい。
また、第1〜第4実施形態に係る画像生成システムでは、後着車載装置及び後着携帯端末は、別個の装置であるが、実施形態に係る画像生成システムでは、後着携帯端末の一部又は全ての機能は、後着車載装置に含まれていてもよい。特に全ての機能が後着車載装置に含まれている場合、後着ユーザは、携帯端末を所持している必要はなく、携帯端末を所有していないユーザや、携帯端末を家に置き忘れたユーザであっても、実施形態に係る画像生成システムを利用可能となることは、先着ユーザの場合と同様である。また、実施形態に係る画像生成システムでは、後着車載装置先の一部又は全ての機能は、後着携帯端末に含まれていてもよい。後着車載装置先の一部又は全ての機能が後着携帯端末に含まれているとき、後着ユーザは、後着携帯端末を所持していれば、後着車両によらず、徒歩及び自転車等の自動車以外の移動手段によって、第1地点に移動してもよいことは先着ユーザの場合と同様である。
1〜4 画像生成システム
10 先着車載装置(第1車載装置)
11 フロントカメラ
12 左サイドカメラ
13 右サイドカメラ
14 バックカメラ
20 先着携帯端末
30 後着携帯端末
40 後着車載装置(画像生成装置、画像取得装置)
4223 経路検索部
423 周囲画像データ取得部
424 到着方向推定部
425 到着画像データ生成部
426 到着画像データ出力部

Claims (9)

  1. 第1地点に位置する第1車両に搭載された第1装置と通信可能な画像生成装置であって、
    前記第1車両に搭載された複数のカメラによって取得され、前記第1装置から送信された、前記第1地点の周囲の画像の組である周囲画像データを取得する周囲画像データ取得部と、
    前記第1地点と前記第1地点と異なる第2地点との間の経路を検索し、検索された経路を示す経路情報を生成する経路検索部と、
    前記経路検索部によって生成された経路情報に基づいて、前記画像生成装置が前記第2地点から前記第1地点に到着するときの到着方向を推定する到着方向推定部と、
    前記周囲画像データの一部を切り出すことにより、または、前記周囲画像データに対して所定の視覚変換処理を行うことにより、前記推定された到着方向から見た到着画像を示す到着画像データを、前記周囲画像データから生成する到着画像データ生成部と、
    前記到着画像データを出力する到着画像データ出力部と、
    を有することを特徴とする画像生成装置。
  2. 前記画像生成装置の位置が、前記経路検索部によって検索された経路上に位置するか否かを判定する経路判定部を更に有し、
    前記経路検索部は、前記画像生成装置の位置が前記経路検索部によって検索された経路上に位置しないと判定されたときに、前記第1地点と前記画像生成装置の位置との間の前記経路情報を生成し、
    前記到着方向推定部は、前記経路検索部によって生成された前記経路情報に基づいて、前記画像生成装置が前記第1地点に到着するときの到着方向を推定する、請求項1に記載の画像生成装置。
  3. 前記周囲画像データに対応する画像は、前記第1装置が前記第1地点に到着した後に撮像された画像である、請求項1又は2に記載の画像生成装置。
  4. 前記第1地点と、前記画像生成装置に対してなされた操作に応じて取得された地点が一致しているか否かを判定する目的地判定部と、
    一致していないと判定されたときに、警報信号を出力する警報信号出力部と、
    を更に有する、前記請求項1〜3の何れか一項に記載の画像生成装置。
  5. 第1地点に位置する第1車両に搭載された第1装置及び画像取得装置と通信可能な画像生成装置であって、
    前記第1車両に搭載された複数のカメラによって取得され、前記第1装置から送信された、前記第1地点の周囲の画像の組である周囲画像データを取得する周囲画像データ取得部と、
    前記第1地点と前記第1地点と異なる第2地点との間の経路を示す経路情報に基づいて推定された前記画像取得装置が前記第2地点から前記第1地点に到着するときの到着方向を取得する到着方向取得部と、
    前記周囲画像データの一部を切り出すことにより、または、前記周囲画像データに対して所定の視覚変換処理を行うことにより、前記推定された到着方向から見た到着画像を示す到着画像データを、前記周囲画像データから生成する到着画像データ生成部と、
    前記到着画像データを前記画像取得装置に送信する到着画像データ送信部と、
    を有することを特徴とする画像生成装置。
  6. 第1地点に位置し且つ第2装置と通信可能な画像生成装置であって、
    前記第1地点に位置する第1車両に搭載された複数のカメラによって取得され、前記第1地点の周囲の画像の組である周囲画像データを生成する周囲画像データ生成部と、
    前記第1地点と前記第1地点と異なる第2地点との間の経路を示す経路情報に基づいて推定された前記第2装置が前記第2地点から前記第1地点に到着するときの到着方向を取得する到着方向取得部と、
    前記周囲画像データの一部を切り出すことにより、または、前記周囲画像データに対して所定の視覚変換処理を行うことにより、前記推定された到着方向から見た到着画像を示す到着画像データを、前記周囲画像データから生成する到着画像データ生成部と、
    前記到着画像データを前記第2装置に送信する到着画像データ送信部と、
    を有することを特徴とする画像生成装置。
  7. 第1地点に位置する第1車両に搭載された第1装置と、画像取得装置と、前記第1装置及び前記画像取得装置と通信可能なサーバとを有する画像生成システムであって、
    前記第1車両に搭載された複数のカメラによって取得され、前記第1地点の周囲の画像の組である周囲画像データを生成する周囲画像データ生成部と、
    前記第1地点と前記第1地点と異なる第2地点との間の経路を検索し、検索された経路を示す経路情報を生成する経路検索部と、
    前記経路検索部によって生成された経路情報に基づいて、前記画像取得装置が前記第2地点から前記第1地点に到着するときの到着方向を推定する到着方向推定部と、
    前記周囲画像データの一部を切り出すことにより、または、前記周囲画像データに対して所定の視覚変換処理を行うことにより、前記推定された到着方向から見た到着画像を示す到着画像データを、前記周囲画像データから生成する到着画像データ生成部と、
    前記到着画像データを出力する到着画像データ出力部と、
    を有することを特徴とする画像生成システム。
  8. 前記周囲画像データ生成部は、前記第1装置に搭載され、
    前記経路検索部、前記到着方向推定部及び前記到着画像データ出力部は、前記画像取得装置に搭載され、
    前記到着画像データ生成部は、前記サーバに搭載される、請求項7に記載の画像生成システム。
  9. 画像生成装置が
    第1地点に位置する第1車両に搭載された複数のカメラによって取得され、前記第1地点の周囲の画像の組である周囲画像データを取得し、
    前記第1地点と、前記第1地点と異なる第2地点との間の経路を検索し、検索された経路を示す経路情報を生成し、
    前記生成された経路情報に基づいて、前記画像生成装置が前記第2地点から前記第1地点に到着するときの到着方向を推定し、
    前記周囲画像データの一部を切り出すことにより、または、前記周囲画像データに対して所定の視覚変換処理を行うことにより、前記推定された到着方向から見た到着画像を示す到着画像データを、前記周囲画像データから生成し、
    前記到着画像データを出力する、ことを含むことを特徴とする画像生成方法。
JP2016152766A 2016-08-03 2016-08-03 画像生成装置、画像生成システム及びその方法 Active JP6935992B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016152766A JP6935992B2 (ja) 2016-08-03 2016-08-03 画像生成装置、画像生成システム及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016152766A JP6935992B2 (ja) 2016-08-03 2016-08-03 画像生成装置、画像生成システム及びその方法

Publications (2)

Publication Number Publication Date
JP2018021815A JP2018021815A (ja) 2018-02-08
JP6935992B2 true JP6935992B2 (ja) 2021-09-15

Family

ID=61165552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016152766A Active JP6935992B2 (ja) 2016-08-03 2016-08-03 画像生成装置、画像生成システム及びその方法

Country Status (1)

Country Link
JP (1) JP6935992B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221285A (ja) * 2004-02-04 2005-08-18 Yamaha Corp 目的地画像表示システム及びカーナビゲーション装置
JP2013032949A (ja) * 2011-08-01 2013-02-14 Aisin Aw Co Ltd 車両用表示処理システムおよび車両用表示処理方法並びにプログラム
JP2013152250A (ja) * 2013-04-26 2013-08-08 Panasonic Corp 移動端末および情報センター
JP2015161592A (ja) * 2014-02-27 2015-09-07 パイオニア株式会社 ナビゲーション装置、通信装置、サーバ装置、制御方法、プログラム及び記憶媒体
JP6374772B2 (ja) * 2014-11-20 2018-08-15 株式会社ゼンリンデータコム 経路探索システム、経路探索方法、コンピュータプログラム
JP2017067527A (ja) * 2015-09-29 2017-04-06 アイシン・エィ・ダブリュ株式会社 経路案内システム、経路案内方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2018021815A (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
CN107782314B (zh) 一种基于扫码的增强现实技术室内定位导航方法
CN101578501B (zh) 导航装置及方法
EP2672232B1 (en) Method for Providing Navigation Information and Server
EP2241857B1 (en) Method and apparatus for displaying image of mobile communication terminal
JP6674914B2 (ja) ナビゲーションシステム、ナビゲーションプログラム、車載装置
US9733896B2 (en) System, apparatus, and method for displaying virtual objects based on data received from another apparatus
TW200811422A (en) Route planning systems and trigger methods thereof
CN105043397B (zh) 电子装置
JP2014020863A (ja) 携帯ナビゲーション装置
JP2005037181A (ja) ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
CN113532444B (zh) 导航路径处理方法、装置、电子设备及存储介质
CN105917329B (zh) 信息显示装置和信息显示程序
JP6057587B2 (ja) 電子装置、通信システム、携帯通信端末、通信方法及びプログラム
JP6360405B2 (ja) 情報処理システム、及び、情報処理方法
JP2015059769A (ja) 端末及び制御プログラム
WO2019138466A1 (ja) 無人航空機制御システム、無人航空機制御方法、及びプログラム
JP5680481B2 (ja) 車載システム
JP6935992B2 (ja) 画像生成装置、画像生成システム及びその方法
JP4059154B2 (ja) 情報送受信装置、情報送受信用プログラム
WO2020245991A1 (ja) 道案内システム及びそれに用いる携帯情報端末
KR20130052316A (ko) 실사 이미지 출력이 가능한 내비게이션 장치 및 실사 이미지 출력 방법
JP2016138852A (ja) ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
JP5388551B2 (ja) 車載用表示システムおよび表示方法
WO2020121558A1 (ja) ナビゲーション制御装置、ナビゲーション方法およびプログラム
JP6523353B2 (ja) 端末装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210826

R150 Certificate of patent or registration of utility model

Ref document number: 6935992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250