JP7164987B2 - 映像通話を利用した道案内方法およびシステム - Google Patents

映像通話を利用した道案内方法およびシステム Download PDF

Info

Publication number
JP7164987B2
JP7164987B2 JP2018144838A JP2018144838A JP7164987B2 JP 7164987 B2 JP7164987 B2 JP 7164987B2 JP 2018144838 A JP2018144838 A JP 2018144838A JP 2018144838 A JP2018144838 A JP 2018144838A JP 7164987 B2 JP7164987 B2 JP 7164987B2
Authority
JP
Japan
Prior art keywords
terminal
information
route
video data
route guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018144838A
Other languages
English (en)
Other versions
JP2019036953A (ja
Inventor
ドンウォン イ
ジョンジュン パク
ジョンジン チョウ
インウォン チョウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Corp
Original Assignee
Line Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp filed Critical Line Corp
Publication of JP2019036953A publication Critical patent/JP2019036953A/ja
Application granted granted Critical
Publication of JP7164987B2 publication Critical patent/JP7164987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/362Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3614Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Telephone Function (AREA)
  • Traffic Control Systems (AREA)
  • Telephonic Communication Services (AREA)

Description

以下の説明は、映像通話中に道案内情報をガイドする方法およびシステムに関する。
通信技術の発達に伴い、携帯電話などのような携帯通信機器はもちろん、TVのような大型電子機器でも映像通話サービスが提供されるようになった。映像通話サービスでは、発信端末から映像通話が試行されると、基地局/基地局制御機を経て交換器に映像通話の試行メッセージが送信され、交換器はホーム位置登録機によって着信端末へのルーティング情報を取得し、着信側交換器によって着信端末とのセッション設定が実行される。このような過程を経ることで、発信端末と着信端末は、オーディオおよび映像を送受信しながら、互いの顔を見て映像通話を実行することができる。
しかし、映像通話では、相手が視聴している映像を見ることができず、相手から送信される映像も確認することができない。これにより、映像通話の最中に経路を尋ねて道案内をしてもらう場合には、音声だけで経路の説明を受けるしかないという不便さがあった。
韓国公開特許10-2016-0086560号公報 韓国公開特許10-2012-0008400号公報
端末間の映像通話中に拡張現実基盤の道案内情報を提供する方法およびシステムを提供する。
端末間の映像通話中に端末の位置情報に基づいて生成された道案内情報をガイドする方法およびシステムを提供する。
コンピュータで実現される道案内方法は、映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階、前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階、および前記道案内情報を前記端末の位置情報に従ってガイドする段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記指示情報を前記端末の映像データにマッピングすることによって生成された拡張現実基盤の道案内情報を、前記端末の位置情報に従ってガイドする段階を含んでよい。
前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階は、前記指示情報を含むレイヤを前記指示情報が入力された位置に対応させて前記映像データにマッピングし、道案内情報を生成する段階を含んでよい。
前記映像データが映像通話画面に表示された相手端末から前記映像データに基づく道案内のための指示情報を受信する段階は、前記相手端末に、指示情報を入力するためのユーザインタフェースが提供されることにより、前記ユーザインタフェースに入力された指示情報を前記相手端末から受信する段階を含んでよい。
前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階は、前記相手端末から前記映像データに対して入力された特定のイベントに関連する指示情報を受信する段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末の位置情報に従って前記道案内情報に関連するガイド情報を提供する段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末の位置情報が変更されることにより、前記端末の変更された位置情報に基づいて道案内情報が継続的にアップデートされる段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末の目的地経路を含むコンテンツが前記相手端末によってアップロードされることにより、前記コンテンツを前記道案内情報として前記端末の位置情報に従って再生する段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記道案内情報に基づいて前記端末の逸脱の発生を感知すると、前記逸脱に関連する警報を発生させる段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末と前記相手端末との間でメッセージを送受信する段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末の位置情報に従って移動する移動経路を表示する段階を含んでよい。
前記映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階は、前記端末のカメラモードに応じて、前記映像通話画面に入力される現在位置基盤の映像データを相手端末に送信する段階を含んでよい。
道案内方法を実行させるためにコンピュータ読取可能な記録媒体に格納されるコンピュータプログラムは、映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階、前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階、および前記道案内情報を前記端末の位置情報に従ってガイドする段階を実行させてよい。
道案内サーバは、映像通話中に端末の現在位置情報を判断する位置情報判断部、前記端末の映像データが相手端末の映像通話画面に表示されることにより、前記相手端末から前記映像データに基づいて入力された道案内のための指示情報に関連する付加情報を取得する付加情報取得部、および前記指示情報と関連する付加情報を、前記端末の映像データにマッピングするために前記端末に提供する付加情報提供部を備えてよい。
前記付加情報提供部は、前記端末で前記指示情報と関連する付加情報が前記映像データにマッピングされることにより、拡張現実基盤の道案内情報が生成されるようにしてよい。
前記道案内サーバは、前記端末の現在位置情報を含む地図情報を前記相手端末の映像通話画面に伝達する地図情報伝達部を更に備えてよい。
前記付加情報取得部は、前記端末の現在位置情報および前記指示情報に基づいてガイド情報を生成してよい。
前記付加情報取得部は、前記端末の逸脱を感知するための逸脱範囲を設定し、前記逸脱範囲を基準として前記端末の逸脱を判断して警報メッセージを生成してよい。
前記付加情報提供部は、前記指示情報に関連する付加情報を含むレイヤを生成して前記端末に送信してよい。
前記地図情報伝達部は、前記端末の映像通話画面に表示される道案内情報に基づいて、前記端末の位置情報による移動経路を前記相手端末の映像通話画面に提供してよい。
端末間の映像通話中に端末の映像通話画面に道案内情報を表示することにより、移動経路を簡単に把握することができる。
端末間の映像通話中に端末の映像通話画面に端末の位置情報による道案内情報がガイドされることにより、簡単かつ正確に目的地に到着することができる。
一実施形態における、ネットワーク環境の例を示した図である。 一実施形態における、端末およびサーバの内部構成を説明するためのブロック図である。 一実施形態における、端末のプロセッサが含むことができる構成要素の例を示したブロック図である。 一実施形態における、端末の道案内方法の例を示したフローチャートである。 一実施形態における、サーバのプロセッサが含むことができる構成要素の例を示したブロック図である。 一実施形態における、端末の映像通話画面に映像データが入力される例を説明するための図である。 一実施形態における、端末で指示情報が入力される例を説明するための図である。 一実施形態における、端末で指示情報が入力される例を説明するための図である。 一実施形態における、端末で道案内情報が提供される例を説明するための図である。 一実施形態における、端末で道案内情報が提供される例を説明するための図である。 一実施形態における、端末で道案内情報が提供される例を説明するための図である。 一実施形態における、端末で道案内情報が提供される例を説明するための図である。 一実施形態における、道案内情報を提供する方法を示したフローチャートである。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
図1は、一実施形態における、ネットワーク環境の例を示した図である。
図1のネットワーク環境は、端末110、サーバ100、およびネットワーク120を含む例を示している。このような図1は、本発明の説明のための一例に過ぎず、端末の数やサーバの数が図1のように限定されることはない。
端末110は、コンピュータ装置によって実現される固定端末や移動端末であってよい。端末110の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型パンコン、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレット、ウェアラブル機器、HMD(Head mounted Display)などがある。端末110は、無線または有線通信方式を利用し、ネットワーク120を介して他の端末および/またはサーバ100と通信してよい。
通信方式が限定されることはなく、ネットワーク120が含むことができる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク120は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク120は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的(hierarchical)ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
サーバ100は、端末110とネットワーク120を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置によって実現されてよい。一例として、サーバ100は、ネットワーク120を介して接続した端末110にアプリケーションのインストールのためのファイルを提供してよい。この場合、端末110は、サーバ100から提供されたファイルを利用してアプリケーションをインストールしてよい。また、端末110は、該端末110に含まれるオペレーティングシステム(Operating System:OS)や少なくとも1つのプログラム(一例として、ブラウザや上記のインストールされたアプリケーション)の制御に従ってサーバ100に接続し、サーバ100が提供するサービスやコンテンツの提供を受けてもよい。例えば、端末110がアプリケーションの制御に従ってネットワーク120を介してサービス要請メッセージをサーバ100に送信すると、サーバ100は、サービス要請メッセージに対応するコードを端末110に送信することができ、端末110は、アプリケーションの制御に従ってコードに基づき画面を構成して表示することにより、ユーザにコンテンツを提供することができる。
以下では、少なくとも1つ以上の端末110が映像通話を実行している最中に道案内情報を提供する技術について具体的に説明する。
図2aは、一実施形態における、端末およびサーバの内部構成を説明するためのブロック図である。
図2aでは、1つの端末および1つのサーバの内部構成を説明しているが、図1を参照しながら説明したネットワーク環境に含まれ得る更なる他の端末や更なる他のサーバにも、同一または類似の内部構成要素が適用されてよい。
端末110は、例えば、プロセッサ200、少なくとも1つのアプリケーション201、メモリ202、通信モジュール203、入力/出力インタフェース204、およびカメラ206を含んでよい。
サーバ100は、プロセッサ211、メモリ212、および通信モジュール213を含んでよい。メモリ202、212は、コンピュータ読取可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永久大容量記憶装置(permanent mass storage device)を含んでよい。また、メモリ202、212には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、端末110にインストールされて駆動されるブラウザや上述したアプリケーションなどのためのコード)が格納されてよい。このようなソフトウェア構成要素は、メモリ202、212とは別のコンピュータ読取可能な記録媒体からロードされてよい。このような別のコンピュータ読取可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読取可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読取可能な記録媒体ではない通信モジュール203、213を通じてメモリ202、212にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ100)がネットワーク120を介して提供するファイルによってインストールされるプログラム(一例として、上述したアプリケーション)に基づいて、メモリ202、212にロードされてよい。
プロセッサ200、211は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ202、212または通信モジュール203、213によって、プロセッサ200、211に提供されてよい。例えば、プロセッサ200、211は、メモリ202、212のような記録装置に格納されたプログラムコードに従って、受信される命令を実行するように構成されてよい。
通信モジュール203、213は、ネットワーク120を介して端末110と道案内サーバ100とが互いに通信するための機能を提供することができ、他の端末または他のサーバと通信するための機能を提供してもよい。一例として、端末110のプロセッサ200がメモリ202のような記録装置に格納されたプログラムコードに従って生成した要求が、通信モジュール203の制御に従ってネットワーク120を介して道案内サーバ100に伝達されてよい。これとは反対に、サーバ100のプロセッサ211の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール213およびネットワーク120を経て端末110の通信モジュール203を通じて端末110で受信されてもよい。例えば、通信モジュール203を通じて受信された道案内サーバ100の制御信号や命令などは、プロセッサ200やメモリ202に伝達されてよく、コンテンツやファイルなどは、端末110が更に含むことができる格納媒体に格納されてよい。
入力/出力インタフェース204は、入力/出力装置とのインタフェースのための手段であり得る。例えば、入力装置は、キーボードまたはマウスなどの装置を含んでよく、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでよい。他の例として、入力/出力インタフェース204は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。より具体的な例として、端末110のプロセッサ200が、メモリ202にロードされたコンピュータプログラムの命令を処理する際に、道案内サーバ100や他の端末が提供するデータを利用して構成されるサービス画面やコンテンツが、入力/出力インタフェース204を通じてディスプレイ205に表示されてよい。
また、他の実施形態において、端末110およびサーバ100は、図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、端末110は、入力/出力装置のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ206、各種センサ、データベースなどのような他の構成要素を更に含んでもよい。より具体的な例として、端末110がスマートフォンである場合、スマートフォンに一般的に含まれる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が端末110に更に含まれるように実現されてよい。
図2bは、一実施形態における、端末のプロセッサが含むことができる構成要素の例を示したブロック図であり、図3は、一実施形態における、端末の道案内方法の例を示したフローチャートである。
端末110のプロセッサ200は、位置基盤映像データ送信部210、道案内指示情報受信部220、案内生成部230、および経路案内部240を備えてよい。このようなプロセッサ200の構成要素は、端末110に格納されたプログラムコードが提供する制御命令に従ってプロセッサ200によって実行される互いに異なる機能(different functions)の表現であってよい。プロセッサ200およびプロセッサ200の構成要素は、図3の道案内方法に含まれる段階310~段階340を実行するように端末110を制御してよい。このとき、プロセッサ200およびプロセッサ200の構成要素は、メモリに含まれるオペレーティングシステムのコードと、少なくとも1つのプログラムのコードによる命令(instruction)を実行するように実現されてよい。
プロセッサ200は、道案内方法のためのプログラムのファイルに格納されたプログラムコードをメモリにロードしてよい。例えば、端末110でプログラムが実行されると、プロセッサは、オペレーティングシステムの制御に従ってプログラムのファイルからプログラムコードをメモリにロードするように端末を制御してよい。このとき、プロセッサ200およびプロセッサ200が備える位置基盤映像データ送信部210、道案内指示情報受信部220、案内生成部230、および経路案内部240のそれぞれは、メモリにロードされたプログラムコードのうちの対応する部分の命令を実行して以後の段階310~段階340を実行するためのプロセッサ200の互いに異なる機能的表現であってよい。
段階310において、位置基盤映像データ送信部210は、映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを相手端末に送信することができる。
段階320において、道案内指示情報受信部220は、映像データが映像通話画面に表示された相手端末から、映像データに基づく道案内のための指示情報を受信することができる。例えば、相手端末には、指示情報を入力するユーザインタフェースが提供されてよく、道案内指示情報受信部220は、相手端末がユーザインタフェースに入力した指示情報を受信してよい。あるいは、相手端末の映像通話画面に表示された映像データに対して入力されたイベントに従った指示情報を、相手端末から受信してもよい。
段階330において、案内生成部230は、指示情報を端末の映像データにマッピングして道案内情報を生成することができる。案内生成部230は、指示情報を含むレイヤを、指示情報が入力された位置に対応させて映像データにマッピングし、道案内情報を生成することができる。このとき、指示情報を含むレイヤは、映像データで入力された指示情報の位置情報を含んでよい。案内生成部230は、指示情報を含むレイヤを端末の映像データにマッピングすることで、拡張現実基盤の道案内情報を生成してよい。また、案内生成部230は、サーバから指示情報に関連する付加情報が伝達された場合、付加情報を含むレイヤを、端末に表示されている映像データにマッピングして道案内情報を生成してもよい。
段階340において、経路案内部240は、道案内情報を端末の位置情報に従ってガイドすることができる。このとき、経路案内部240は、端末の位置情報の変更に応じて、変更された端末の位置情報に基づいて道案内情報をアップデートすることができ、アップデートされた道案内情報を提供することができる。経路案内部240は、端末の位置情報による道案内情報に関連するガイド情報を提供することができる。例えば、経路案内部240は、端末の現在位置に対する道案内情報において、どちらの方向に移動すべきかを通知してよい。経路案内部240は、ガイド情報を端末の映像通話画面にテキストデータで表示すると同時に、音声データでも提供することができる。また、経路案内部240は、端末の映像通話画面に、端末の位置情報に従って移動している移動経路を共に表示してよい。
図4は、一実施形態における、サーバのプロセッサが含むことができる構成要素の例を示したブロック図である。
道案内サーバ100のプロセッサ211は、位置情報判断部410、付加情報取得部420、付加情報提供部430、および地図情報伝達部440を備えてよい。このようなプロセッサ211の構成要素は、道案内サーバ100に格納されたプログラムコードが提供する制御命令に従ってプロセッサ211によって実行される互いに異なる機能の表現であってよい。プロセッサ211およびプロセッサ211の構成要素は、メモリに含まれるオペレーティングシステムのコードと、少なくとも1つのプログラムのコードによる命令を実行するように実現されてよい。
プロセッサ211は、道案内方法のためのプログラムのファイルに格納されたプログラムコードをメモリにロードすることができる。例えば、端末110でプログラムが実行されると、プロセッサは、オペレーティングシステムの制御に従ってプログラムのファイルからプログラムコードをメモリにロードするように端末を制御してよい。このとき、プロセッサ211およびプロセッサ211が備える位置情報判断部410、付加情報取得部420、付加情報提供部430、および地図情報伝達部440のそれぞれは、メモリにロードされたプログラムコードのうちの対応する部分の命令を実行するプロセッサ211の互いに異なる機能的表現であってよい。
位置情報判断部410は、映像通話中の端末の現在位置情報を決定することができる。一例として、位置情報判断部410は、端末の映像通話画面に入力される映像データに基づいて端末の現在位置情報を決定してよい。より具体的に、位置情報判断部410は、端末のカメラから取得される映像データに含まれるメタデータに基づいて、端末の位置情報を決定してよい。映像データには、映像のサイズ情報、映像が撮影された日付情報、映像が撮影された位置情報などのメタデータが含まれ得る。他の例として、位置情報判断部410は、端末のカメラから入力された映像データの建物情報および道路情報などに基づいて、端末が屋内であるか屋外であるかを判断してよい。位置情報判断部410は、映像データに含まれる建物情報(例えば、商号名、電話番号など)および道路情報(例えば、道路名の住所)に含まれるテキスト情報またはイメージ情報から、端末の現在位置情報を推定してよい。更に他の例として、位置情報判断部410は、端末のGPS情報を利用して端末の現在位置情報を推定してよい。
付加情報取得部420は、端末の映像データが相手端末の映像通話画面に表示されることにより、相手端末から、映像データに基づいて入力された道案内のための指示情報に関連する付加情報を取得することができる。ここで、付加情報とは、指示情報に関連して追加で提供され得る情報であり得る。一例として、付加情報取得部420は、端末の現在位置情報と指示情報に基づいてガイド情報を生成してよい。付加情報取得部420は、端末の現在位置情報に基づいて道案内情報をガイドするためのガイド情報を生成してよい。ここで、ガイド情報とは、ナビゲーションのように端末の現在位置情報に基づいて案内メッセージを提供することを意味してよい。また、付加情報取得部420は、端末でガイドされる道案内情報に基づいて端末の逸脱を感知するための逸脱範囲を設定し、設定された逸脱範囲を基準として端末の逸脱の有無を判断し、警報メッセージを生成することができる。例えば、付加情報取得部420は、端末でガイドされる道案内情報に基づいて端末が経路を移動している最中に5m以上を逸脱した場合、端末が経路から逸脱したと判断して警報メッセージを生成してよい。
付加情報提供部430は、指示情報に関連する付加情報を、映像データにマッピングするために端末に提供することができる。付加情報提供部430は、指示情報に関連する付加情報を、端末に現在表示されている映像データにマッピングするために端末に提供することができる。例えば、付加情報提供部430は、指示情報に関連する付加情報を含むレイヤを生成し、端末に送信してよい。付加情報提供部430から端末に提供された付加情報を含むレイヤが、端末に現在表示されている映像データにマッピングされ、道案内情報が生成されてよい。このとき、道案内情報として、拡張現実基盤の道案内情報が生成され得る。
地図情報伝達部440は、端末の現在位置情報を含む地図情報を、相手端末の映像通話画面に伝達することができる。例えば、地図情報伝達部440は、地図サーバからの端末の現在位置情報を含む地図情報を、相手端末の映像通話画面に伝達してよく、地図APIを利用して相手端末の映像通話画面に地図情報を提供してよい。地図情報伝達部440は、端末の映像通話画面に表示される道案内情報に基づき、端末の位置情報による移動経路(例えば、端末が移動している経路)を相手端末の映像通話画面にも提供することができる。これにより、相手端末は、映像通話画面に表示された端末の移動経路を確認することができるようになる。
図5は、一実施形態における、端末の映像通話画面に映像データが入力される例を説明するための図である。
少なくとも1つ以上の端末と少なくとも1つ以上の相手端末との間で映像通話が実行されている最中であるとする。このとき、映像通話は、1つの端末と他の1つの端末との間で実行されるのが一般的ではあるが、複数の端末間で映像通話が実行されることも可能である。一例として、メッセンジャーアプリケーションを利用して映像通話が実行される場合、メッセンジャーアプリケーションのチャットルームに存在する複数の端末間に映像通話が支援される。このとき、映像通話のために、それぞれの端末のインカメラが作動してよい。これにより、それぞれの端末にユーザの顔が表示されるようになり、互いに顔を見ながら映像通話を実行することができる。
端末110は、相手端末との映像通話の最中に相手端末に経路を尋ねてよい。端末110は、相手端末が既に認知している位置を尋ねることがある。例えば、端末110は、相手端末が位置する場所に向かって移動していたり、相手端末が行ったことのある場所に移動していたりすることがある。このとき、端末110で作動していたインカメラを実行するインカメラモードが、アウトカメラ510を実行するアウトカメラモードに転換され、端末110でアウトカメラ510が作動されてよい。
端末110でアウトカメラ510が作動することにより、端末110が現在位置している現在位置基盤の映像データが撮影されてよい。端末110は、映像通話の最中に、端末110の映像通話画面に入力される現在位置基盤の映像データを取得してよい。例えば、端末110のアウトカメラ510を通して入力される映像データは、端末110周辺に存在する道路や、建物を含む周辺の様子を含んでよい。端末110の映像通話画面に入力される現在位置基盤の映像データが相手端末に送信されてよい。
端末110は、他の端末に経路を尋ねる端末と、尋ねられた経路に対する道案内を提供する端末の双方を含んでよい。このとき、それぞれの端末は、状況に応じて経路を尋ねてもよいし、道案内を提供してもよい。以下、尋ねられた経路に対する道案内を提供する端末を110a、他の端末に経路を尋ねた端末を110bとして説明する。
図6および図7は、一実施形態における、端末で指示情報が入力される例を説明するための図である。
図6および図7は、映像データが映像通話画面600に表示された相手端末110aにおいて指示情報を入力する方法について説明する。
端末110bの映像通話画面に入力される現在位置基盤の映像データを、相手端末110aに送信することができる。相手端末110aの映像通話画面600に、この映像データが表示されてよい。相手端末110aの映像通話画面600には映像データおよび地図情報が表示されてよい。このとき、サーバ100から、端末110bの現在位置情報640を含む地図情報610が提供されてよい。
相手端末110aのユーザ630は、相手端末110aの映像通話画面600に表示された映像データに対して指示情報を入力することができる。このとき、相手端末110aの画面は、タッチ入力が可能なタッチスクリーンで構成されてよい。相手端末110aは、ユーザ630から入力される指示情報を認識することができる。
図6を参照すると、相手端末110aのユーザ630は、相手端末110aの映像通話画面600に表示された映像データに基づいて、特定のイベント(例えば、タッチ&ドラッグ)によって指示情報を入力することができる。このとき、特定のイベントは、ユーザから入力される命令を指示情報として識別するために設定されたものであり、例えばタッチ&ドラッグがこれに該当してよい。また、ユーザの設定に従って、指示情報として識別するための特定のイベントが変更されてもよい。例えば、ユーザは、タッチ&ドラッグによって方向情報を含む指示情報を入力してよい。
一例として、相手端末110aのユーザ630は、相手端末110aの映像通話画面600に表示された端末110bの現在位置情報640を含む地図情報610に基づいて、映像データに対して指示情報を入力することができる。ユーザ630は、相手端末110aの映像通話画面600に指示情報を入力するためにタッチ入力を行うことができ、タッチ入力を開始した開始点620からタッチ入力を終了した終了点622までドラッグ621することによって指示情報を入力することができる。
他の例として、図7を参照すると、相手端末110aの映像通話画面600に、指示情報を入力するユーザインタフェース710~713を提供することもできる。相手端末110aのユーザは、相手端末110aの映像通話画面600に表示された端末110bの位置情報を含む地図情報に基づき、相手端末110aの映像通話画面600の映像データに対してユーザインタフェース710~713を選択することができる。このとき、ユーザインタフェースには、上/下/左/右に関する方向情報が含まれてよい。相手端末110aの映像通話画面600に表示される映像データには、ユーザによって選択されたユーザインタフェース720が表示されてよい。ユーザは、相手端末110aの映像通話画面600の映像データに表示されたユーザインタフェースを修正することも可能である。
このように、端末110bは、相手端末110aから、該相手端末110aのユーザにより相手端末110aの映像通話画面600に入力された指示情報を受信することにより、端末110bの現在位置情報に基づいて道案内情報を生成することができる。言い換えれば、ユーザが、相手端末110aの映像通話画面600上の地図情報610に表示される現在位置情報640を正確に選択することは不可能であるため、端末110bは、相手端末110aの映像通話画面に表示された映像データに対して入力された指示情報により、端末110bの現在位置情報640に基づいて道案内情報を生成することができるようになる。
図8~図11は、一実施形態における、端末で道案内情報が提供される例を説明するための図である。
端末110bは、相手端末110aから入力された指示情報を、端末110bの映像データにマッピングして道案内情報を生成することができる。端末110bは、指示情報を含むレイヤを、指示情報が入力された位置に対応させて映像データにマッピングすることにより、道案内情報810を生成することができる。加えて、サーバ100で相手端末110aから入力された指示情報と端末110bの位置情報とに基づいてガイド情報を生成することもできる。端末110bは、ガイド情報をサーバ100から受信することにより、ガイド情報を映像データにマッピングして道案内情報810を生成してよい。
端末110bは、道案内情報810を端末110bの位置情報に従ってガイドすることができる。このとき、端末110bは、道案内情報810を拡張現実基盤の道案内情報としてガイドしてよく、端末110bの位置情報に従って仮想現実基盤の道案内情報としてガイドしてもよい。
端末110bの映像通話画面600には、道案内情報810およびガイド情報820を提供することができる。端末110bは、端末110bが道案内情報に従って移動しているとき、端末110bの位置情報に基づいてガイド情報820を提供することができる。例えば、端末110bが道案内情報810に従って移動している最中に、端末110bが現在存在している現在位置情報に基づいて、「20m先で右折してください」のようなガイド情報820を提供してよい。このとき、ガイド情報820は、端末110bの映像通話画面600にメッセージで表示されてよく、音声メッセージでも出力されてよい。
一実施形態に係る端末は、道案内情報を利用して経路を案内するだけでなく、ガイド情報820を共に提供することで、ユーザが簡単に経路を探索することを可能にすることができる。
一方、端末110bと相手端末110aは映像通話の実行中であるため、端末110bが移動している移動経路を含む映像データを、相手端末110aの映像通話画面にも表示してよい。相手端末110aは、映像通話画面に表示された映像データおよび移動経路に対し、映像通話によって命令を入力してよい。例えば、相手端末で端末110bが移動している移動経路に対して「右折して直ぐだよ」のようなメッセージを入力すると、入力されたメッセージが端末110bに伝達されてよい。
図9を参照すると、端末110bの目的地経路を含むコンテンツがアップロードされることによって端末110bで再生され、道案内情報として提供されてよい。一例として、端末110bは、アプリ900に登録された、取得された経路情報に基づいて道案内情報を生成することができる。例えば、ユーザが訪れたことのない目的地に旅行する場合、目的地にたどり着くのに困難が生じたりする。これを解決するために、アプリ900を起動させることにより、目的地にたどり着くことのできる道案内情報が提供されてよい。より詳細には、訪れたことのない旅行地に行ったことのある他のユーザから経路情報が入力されることにより、道案内サーバ100はこの経路情報を収集し、道案内情報を含むコンテンツを生成することができる。端末110bは、端末110bの位置情報に従ってコンテンツ910を再生させることにより、道案内情報をガイドしてよい。例えば、端末110bで、端末110bの位置情報に基づく拡張現実基盤の道案内情報を含むコンテンツ910が再生されたとする。このとき、ユーザの位置情報に対応するコンテンツが再生されることにより、ユーザが簡単に目的地まで到達することができるようになる。
または、端末110bが訪れたことのない旅行地に関し、訪問したことのある他のユーザまたは該当の旅行地に住んでいるユーザからの経路情報が含まれるコンテンツ910が、端末110bに提供されてよく、端末110bの位置情報に従ってコンテンツ910を再生させることにより、道案内情報をガイドしてもよい。
図10を参照すると、端末110bの映像通話画面600には、端末110bの現在位置情報1020が表示され得る。端末110bは、道案内情報1010に対して設定された逸脱範囲1000を基準に、端末110bが経路を逸脱したかどうかを判断することができる。端末110bは、端末110bが逸脱範囲1000から外れた場合、道案内サーバ100から警報メッセージを受信し得る。端末110bの映像通話画面600に警報メッセージ1030を表示することができ、端末110bに警報(例えば、振動)を発生させることができる。例えば、道案内サーバ100は、相手端末110aから入力された指示情報に基づき、端末110bの逸脱を感知するための逸脱範囲1000を設定してよい。道案内サーバ100は、設定された逸脱範囲1000を基準として端末110bの逸脱の有無を判断し、警報メッセージを生成してよい。道案内サーバ100は、警報メッセージを端末110bに伝達してよい。他の例として、端末110bと相手端末110aに端末110bの現在位置情報1020を提供することにより、端末110bの道案内情報に基づく移動経路が端末110bと相手端末110aの映像通話画面に表示されてよい。道案内サーバは、端末110bが逸脱範囲1000から外れた場合、警報メッセージを相手端末110aに伝達してよい。相手端末110aの映像通話画面に表示される端末110bの現在位置情報1020に基づき、相手端末110aから端末110bに警報を発生させてよい。
図11を参照すると、道案内サーバ100は、端末110bの映像通話画面600で道案内情報をガイドすると同時に、メッセージング環境1100を提供することができる。端末110bおよび相手端末110aで映像通話が実行されることにより、端末110bの映像通話画面600には、端末110bの位置情報に従った道案内情報がガイドされ得る。このとき、端末110bおよび相手端末110aの映像通話画面600には、メッセージ1110を入力することができるユーザインタフェースが提供されてよい。例えば、相手端末110aの映像通話画面から「いつごろ着きそう?」というメッセージ1110が入力されることにより、端末110bの映像通話画面および相手端末110aの映像通話画面には、相手端末110aから入力されたメッセージ1110が表示されてよい。端末110bのユーザは、端末110bの映像通話画面において、相手端末110aから入力されたメッセージ1110に対する返答メッセージを入力してよい。端末110bの映像通話画面に入力された返答メッセージは、端末110bおよび相手端末110aの映像通話画面に表示されてよい。このように、端末の映像通話画面で道案内情報を提供すると同時に、メッセージ1110を送受信することもできる。
図12は、一実施形態における、道案内情報を提供する方法を示したフローチャートである。
第1端末1210、第2端末1230、およびサーバ100の動作に基づいて道案内情報をガイドする方法について説明する。
第1端末1210は、第2端末1230に映像通話を要請してよい。第2端末1230は、第1端末1210から要請された映像通話要請に対する応答として映像通話を受諾してよい。これにより、第1端末1210と第2端末1230との間で映像通話が連結されるようになり、映像通話が実行されてよい。
第1端末1210と第2端末1230との間の映像通話中1211に、第1端末1210の映像通話画面は、第1端末1210のアウトカメラを通して入力された映像データを取得することができる。ここでは、第1端末1210で作動する少なくとも1つのカメラモード(例えば、インカメラを実行するインカメラモードまたはアウトカメラを実行するアウトカメラモード)のうちのアウトカメラモードを例示して説明したが、アウトカメラモードに限定されることはなく、第1端末1210で映像通話中1211に取得される映像データであれば制限はない。このとき、映像データは、端末の現在位置基盤の映像データとすることができる。第1端末1210は、第1端末の映像通話画面に入力された映像データを第2端末1230に送信することができる(1212)。図12では、第1端末1210が経路を尋ねたものとして説明するが、第1端末1210に限定されることはない。
第2端末1230は、第1端末1210の映像通話画面に入力された映像データを受信してよい。このとき、例えば、サーバ100は、第1端末1210の映像通話画面に入力される映像データを受信することによって、第1端末1210の位置情報を決定することができる(1213)。他の例として、サーバ100は、第1端末1210のGPS情報を参照することによって第1端末1210の位置情報を判断してもよい。更に他の例として、サーバ100は、第1端末1210のGPS情報と第1端末1210の映像通話画面に入力される映像データを受信することによって、第1端末1210の位置情報を判断してもよい。サーバ100は、第1端末1210の現在位置情報を含む地図情報を第2端末1230に伝達することができる(1214)。これにより、第2端末1230の映像通話画面には、第1端末1210から送信された映像データおよび地図情報が表示されてよい(1215)。
第2端末1230のユーザは、映像データに基づいて、道案内のための指示情報を入力することができる(1216)。第2端末1230は、映像データに対して入力された指示情報を、第1端末1210に伝達することができる(1217)。第1端末1210は、第2端末1230によって入力された指示情報を受信してよい。このとき、サーバ100は、第2端末1230によって入力された指示情報に基づいて付加情報を取得することができる(1218)。例えば、サーバ100は、指示情報に基づいて別のサーバから付加情報を取得してよい。また、サーバ100は、指示情報に基づいてデータベースに格納された情報を抽出することにより、付加情報を生成してもよい。サーバ100は、取得した付加情報を第1端末1210に伝達することができる(1219)。
第1端末1210は、第2端末1230から受信した指示情報とサーバ100から受信した付加情報を、第1端末1210に現在表示されている映像データにマッピングして道案内情報を生成することができる(1220)。例えば、第1端末1210は、指示情報を含むレイヤと付加情報を含むレイヤを、指示情報が入力された位置および第1端末1210の位置情報に基づいて、映像データにそれぞれ重ねてマッピングしてよい。このとき、拡張現実基盤の道案内情報が生成されてよい。
第1端末1210は、該第1端末1210の位置情報に従って道案内情報をガイドすることができる(1221)。例えば、第1端末1210のユーザが移動することにより、第1端末1210の位置情報に基づいた道案内情報をガイドすることができるようになる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに作動するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読取可能な記録媒体に格納されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読取可能な媒体に記録されてよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROM、DVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の作動を実行するために1つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同じである。
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
100:道案内サーバ
110:端末
120:ネットワーク

Claims (20)

  1. コンピュータで実現される道案内方法であって、
    映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、
    前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階であって、前記指示情報は、前記映像データにおける2地点間の経路指示を含む、段階
    前記指示情報を前記端末の映像データにマッピングして、前記経路指示に基づく経路を表示する道案内情報を生成する段階、および
    前記経路を含むレイヤを前記映像データに重ねて、前記端末の位置情報に従って前記道案内情報を提供する段階
    を含む、道案内方法。
  2. 前記道案内情報を提供する段階は、
    前記指示情報を前記端末の映像データにマッピングすることによって生成された拡張現実基盤の道案内情報を提供する段階
    を含む、請求項1に記載の道案内方法。
  3. 前記指示情報を前記端末の映像データにマッピングして、前記道案内情報を生成する段階は、
    前記経路を含むレイヤを前記指示情報が入力された位置に対応させて前記映像データにマッピングして、前記道案内情報を生成する段階
    を含む、請求項1又は2に記載の道案内方法。
  4. 前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階は、
    前記相手端末に、指示情報を入力するためのユーザインタフェースが提供されることにより、前記ユーザインタフェースに入力された指示情報を前記相手端末から受信する段階
    を含む、請求項1乃至3のいずれか一項に記載の道案内方法。
  5. 前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階は、
    前記相手端末から、前記映像データに対して入力された特定のイベントに関連する指示情報を受信する段階
    を含む、請求項1乃至3のいずれか一項に記載の道案内方法。
  6. 前記道案内情報を提供する段階は、
    前記端末の位置情報に従って前記道案内情報に関連するガイド情報を提供する段階
    を含む、請求項1乃至5のいずれか一項に記載の道案内方法。
  7. 前記道案内情報を提供する段階は、
    前記端末の位置情報が変更されることにより、前記端末の変更された位置情報に基づいて道案内情報を継続的にアップデートする段階
    を含む、請求項1乃至6のいずれか一項に記載の道案内方法。
  8. 前記道案内情報を提供する段階は、
    前記端末の目的地経路を含むコンテンツが前記相手端末によってアップロードされることにより、前記コンテンツを前記道案内情報として前記端末の位置情報に従って再生する段階
    を含む、請求項1乃至7のいずれか一項に記載の道案内方法。
  9. 前記道案内情報を提供する段階は、
    前記道案内情報に基づいて前記端末の逸脱の発生を感知すると、前記逸脱に関連する警報を発生させる段階
    を含む、請求項1乃至8のいずれか一項に記載の道案内方法。
  10. 前記道案内情報を提供する段階は、
    前記端末および前記相手端末との間でメッセージを送受信する段階
    を含む、請求項1乃至9のいずれか一項に記載の道案内方法。
  11. 前記道案内情報を提供する段階は、
    前記端末の位置情報に従って移動する移動経路を表示する段階
    を含む、請求項1乃至10のいずれか一項に記載の道案内方法。
  12. 前記映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階は、
    前記映像通話中に前記端末で作動しているカメラモードに応じて、前記映像通話画面に入力される現在位置基盤の映像データを相手端末に送信する段階
    を含む、請求項1乃至11のいずれか一項に記載の道案内方法。
  13. 道案内方法を実行させるためのコンピュータプログラムであって、前記道案内方法は、
    映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、
    前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階であって、前記指示情報は、前記映像データにおける2地点間の経路指示を含む、段階
    前記指示情報を前記端末の映像データにマッピングして、前記経路指示に基づく経路を表示する道案内情報を生成する段階、および
    前記経路を含むレイヤを前記映像データに重ねて、前記端末の位置情報に従って前記道案内情報を提供する段階
    を含む、コンピュータプログラム。
  14. 道案内サーバであって、
    映像通話中に端末の現在位置情報を判断する位置情報判断部、
    前記端末の映像データが相手端末の映像通話画面に表示されることにより、前記相手端末から前記映像データに基づいて入力された道案内のための指示情報に関連する付加情報を取得する付加情報取得部であって、前記指示情報は、前記映像データにおける2地点間の経路指示を含む、付加情報取得部、および
    前記指示情報に関連する付加情報を、前記2地点間の経路指示に基づく経路として前記付加情報を含むレイヤとして前記端末の映像データにマッピングするために前記端末に提供する付加情報提供部
    を備える、道案内サーバ。
  15. 前記付加情報提供部は、
    前記端末で前記指示情報に関連する付加情報が前記映像データにマッピングされることにより、拡張現実基盤の道案内情報が生成されるようにする、
    請求項14に記載の道案内サーバ。
  16. 前記端末の現在位置情報を含む地図情報を、前記相手端末の映像通話画面に伝達する地図情報伝達部
    を更に備える、請求項14又は15に記載の道案内サーバ。
  17. 前記付加情報取得部は、
    前記端末の現在位置情報および前記指示情報に基づいてガイド情報を生成する、
    請求項14乃至16のいずれか一項に記載の道案内サーバ。
  18. 前記付加情報取得部は、
    前記端末の逸脱を感知するための逸脱範囲を設定し、前記逸脱範囲を基準として前記端末の逸脱の有無を判断して警報メッセージを生成する、
    請求項14乃至17のいずれか一項に記載の道案内サーバ。
  19. 前記付加情報提供部は、
    前記指示情報に関連する付加情報を含むレイヤを生成して前記端末に送信する、
    請求項14乃至18のいずれか一項に記載の道案内サーバ。
  20. 前記地図情報伝達部は、
    前記端末の映像通話画面に表示される道案内情報に基づいて、前記端末の位置情報による移動経路を前記相手端末の映像通話画面に提供する、
    請求項16に記載の道案内サーバ。
JP2018144838A 2017-08-14 2018-08-01 映像通話を利用した道案内方法およびシステム Active JP7164987B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0102953 2017-08-14
KR1020170102953A KR20190018243A (ko) 2017-08-14 2017-08-14 영상 통화를 이용한 길안내 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2019036953A JP2019036953A (ja) 2019-03-07
JP7164987B2 true JP7164987B2 (ja) 2022-11-02

Family

ID=65274110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018144838A Active JP7164987B2 (ja) 2017-08-14 2018-08-01 映像通話を利用した道案内方法およびシステム

Country Status (4)

Country Link
US (1) US11268822B2 (ja)
JP (1) JP7164987B2 (ja)
KR (1) KR20190018243A (ja)
CN (1) CN109387217B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177241B (zh) * 2019-04-08 2021-06-01 广东小天才科技有限公司 一种可穿戴设备的姿态调整方法及可穿戴设备
CN114125353B (zh) * 2020-08-31 2023-03-28 华为技术有限公司 视频电话的呼叫方法、终端设备以及存储介质
KR102372811B1 (ko) * 2021-02-18 2022-03-11 포티투닷 주식회사 내비게이션 장치, 내비게이션 서비스 제공 방법 및 내비게이션 서비스 제공 서버
US20230358555A1 (en) * 2020-09-08 2023-11-09 42Dot Inc. Navigation device, navigation service providing method, and navigation service providing server
US20220229535A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Company, Ltd. Systems and Methods for Manipulating Views and Shared Objects in XR Space
KR20220162956A (ko) * 2021-06-02 2022-12-09 삼성전자주식회사 영상 통화 중 다양한 커뮤니케이션을 지원하는 전자 장치 및 그의 동작 방법
JP2024003484A (ja) * 2022-06-27 2024-01-15 株式会社カーメイト リアルタイム映像配信システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274034A (ja) 2006-03-30 2007-10-18 Kyocera Corp テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
JP2011179943A (ja) 2010-03-01 2011-09-15 Nec Corp ナビゲーションシステム、携帯端末装置、ナビゲーション方法及びナビゲーションプログラム
US20110300876A1 (en) 2010-06-08 2011-12-08 Taesung Lee Method for guiding route using augmented reality and mobile terminal using the same
JP2013164384A (ja) 2012-02-13 2013-08-22 Denso Corp 移動支援システム
JP2016205865A (ja) 2015-04-16 2016-12-08 株式会社パンタグラフ 誘導システム、携帯端末、およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756635B2 (en) * 2003-04-09 2010-07-13 Primordial, Inc. Method and system for generating and presenting off-road travel routes
US20050131638A1 (en) * 2003-12-11 2005-06-16 Sencaj Randall W. Route sequence viewing in navigation system
EP1757904B1 (en) * 2004-06-18 2012-11-28 Navitime Japan Co., Ltd. Communicative navigation system and information distribution server, and mobile navigation terminal
JP4464780B2 (ja) 2004-09-28 2010-05-19 株式会社日立製作所 案内情報表示装置
CN102798397B (zh) * 2005-06-06 2017-05-03 通腾科技股份有限公司 带有相机信息的导航装置
KR20110044012A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 화상통화 단말기를 이용한 길 안내 장치 및 방법
KR101118010B1 (ko) 2010-07-16 2012-06-12 텔코웨어 주식회사 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체
US9002957B2 (en) * 2011-04-27 2015-04-07 Verizon Patent And Licensing Inc. Profile message communications
US8706397B2 (en) * 2011-07-11 2014-04-22 Harman International Industries, Incorporated System and method for determining an optimal route using aggregated route information
KR101838119B1 (ko) * 2011-12-15 2018-03-14 삼성전자 주식회사 휴대단말기의 위치 표시 장치 및 방법
KR102021050B1 (ko) * 2012-06-06 2019-09-11 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
US9990836B2 (en) * 2013-07-16 2018-06-05 Rockwilli RMR LLC Systems and methods for automated personal emergency responses
CN105300392B (zh) * 2014-05-27 2018-07-27 中国电信股份有限公司 用于在街景地图中显示规划路径的方法、装置和系统
KR101602268B1 (ko) * 2014-10-23 2016-03-10 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102055198B1 (ko) 2015-01-12 2019-12-12 에스케이텔레콤 주식회사 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 이를 위한 장치
US10391361B2 (en) * 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
KR101821456B1 (ko) * 2015-09-09 2018-01-23 라인 가부시키가이샤 위치 이탈에 따른 알림을 제공하는 시스템 및 방법
KR102482595B1 (ko) 2015-12-17 2022-12-30 삼성전자주식회사 지도 정보 제공 방법 및 이를 지원하는 전자 장치
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
US20180232112A1 (en) * 2017-02-13 2018-08-16 Sheng-Chun Lin Messaging system with location tracking
US10347046B2 (en) * 2017-06-16 2019-07-09 Daqri, Llc Augmented reality transportation notification system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274034A (ja) 2006-03-30 2007-10-18 Kyocera Corp テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
JP2011179943A (ja) 2010-03-01 2011-09-15 Nec Corp ナビゲーションシステム、携帯端末装置、ナビゲーション方法及びナビゲーションプログラム
US20110300876A1 (en) 2010-06-08 2011-12-08 Taesung Lee Method for guiding route using augmented reality and mobile terminal using the same
JP2013164384A (ja) 2012-02-13 2013-08-22 Denso Corp 移動支援システム
JP2016205865A (ja) 2015-04-16 2016-12-08 株式会社パンタグラフ 誘導システム、携帯端末、およびプログラム

Also Published As

Publication number Publication date
CN109387217B (zh) 2024-01-16
US11268822B2 (en) 2022-03-08
CN109387217A (zh) 2019-02-26
KR20190018243A (ko) 2019-02-22
JP2019036953A (ja) 2019-03-07
US20190049265A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
JP7164987B2 (ja) 映像通話を利用した道案内方法およびシステム
KR102132675B1 (ko) 항공뷰를 통한 이동 기능을 제공하는 방법 및 시스템
JP7235815B2 (ja) 位置離脱による通知を提供する装置およびプログラム
US10924519B2 (en) Method, apparatus, system, and non-transitory computer readable medium for interworking between applications of devices
JP7323286B2 (ja) 明確なピックアップ場所を提供するための電子機器およびコンピュータプログラム
US10979374B2 (en) Method, system, and non-transitory computer readable record medium for sharing information in chatroom using application added to platform in messenger
KR102225175B1 (ko) 영상 통화를 이용한 길안내 방법 및 시스템
KR20140024005A (ko) 단거리에서 다중 회전을 수행하기 위한 지원을 갖는 네비게이션 시스템
JP2019048043A (ja) 映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム
US20220300144A1 (en) Method, system, and non-transitory computer readable record medium for providing chatroom in 3d form
KR102136855B1 (ko) 거리뷰 제공 방법, 장치 및 컴퓨터 프로그램
US9538319B1 (en) Synchronization for mapping applications
CN112422614A (zh) 用于设备交互的方法、装置和介质
KR102520142B1 (ko) 가상공간 구성 방법 및 시스템
KR102558397B1 (ko) Cctv 정보의 제공을 위한 시스템 및 방법
KR101729012B1 (ko) 증강 현실 기반의 가상 게시판 운용 시스템 및 운용 방법
US11032408B2 (en) Method and system for automatically connecting calls of voice over internet protocol (VOIP) service
KR20190125263A (ko) 명확한 픽업 장소를 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR20210029635A (ko) 영상 통화를 하면서 사용하는 360도 파노라마 배경 제공 방법 및 장치
JP2020106533A (ja) ナビゲーションシステム及びコンピュータプログラム
CN113192329A (zh) 一种路况画面获取方法、装置、存储介质及电子设备
KR20160038906A (ko) 이미지의 특정 영역을 선택하여 정보를 공유하는 방법 및 시스템

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210414

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221021

R150 Certificate of patent or registration of utility model

Ref document number: 7164987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350