JP7267499B2 - 合流支援システムおよび合流支援方法 - Google Patents

合流支援システムおよび合流支援方法 Download PDF

Info

Publication number
JP7267499B2
JP7267499B2 JP2022502708A JP2022502708A JP7267499B2 JP 7267499 B2 JP7267499 B2 JP 7267499B2 JP 2022502708 A JP2022502708 A JP 2022502708A JP 2022502708 A JP2022502708 A JP 2022502708A JP 7267499 B2 JP7267499 B2 JP 7267499B2
Authority
JP
Japan
Prior art keywords
vehicle
gesture
user
message
dispatched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022502708A
Other languages
English (en)
Other versions
JPWO2021171475A1 (ja
JPWO2021171475A5 (ja
Inventor
直志 宮原
光生 下谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021171475A1 publication Critical patent/JPWO2021171475A1/ja
Publication of JPWO2021171475A5 publication Critical patent/JPWO2021171475A5/ja
Application granted granted Critical
Publication of JP7267499B2 publication Critical patent/JP7267499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/222Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3438Rendez-vous, i.e. searching a destination where several users can meet, and the routes to this destination for these users; Ride sharing, i.e. searching a route such that at least two users can share a vehicle for at least part of the route
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本明細書で開示される技術は、配車車両と利用者の円滑な合流を目的とする。
近年の自動車業界では、車両の共有をキーワードとした種々のサービスの実用化、または技術開発が行われている。例えば、ライドヘイリングまたはライドシェアリングは、利用者が所有しない車両を利用する配車サービスである。
また、自動運転技術の進展によって、無人の車両が自動運転によって利用者を迎えに行くサービスが想定される。
これらのサービスでは、利用者と車両がスムーズに合流することが求められる。この点、特許文献1は、地図上に合流場所を表示することで合流を支援する技術が開示されている。
特開2019-053547号公報
特許文献1の技術によれば、車両側は合流地点を地図上で認識することができる。しかし、合流地点に複数の人がいる場合、車両側はその場にいるどの人が利用者であるかを識別できないため、車両と利用者が円滑に合流できないという問題があった。
本開示は上記の問題に鑑み、合流地点に多数の人がいる場合であっても、車両と利用者が円滑に合流することを目的とする。
本開示の合流支援システムは、配車車両との合流を希望する利用者の携帯する携帯端末と、携帯端末と通信を行い配車車両と利用者の合流地点での合流を支援する合流支援装置と、を備える合流支援システムである。合流支援装置は、利用者にジェスチャの実行を要求するメッセージを作成するメッセージ作成部と、配車車両が合流地点または合流地点の周辺にいるタイミングをメッセージの送信タイミングと決定する車両制御部と、車両制御部が決定したタイミングでメッセージを携帯端末に送信する車両通信部と、を備える。携帯端末は、メッセージを合流支援装置から受信する携帯通信部と、メッセージに基づき利用者にジェスチャの実行を要求する通知を行う通知部と、を備え、メッセージは、ジェスチャの種類を含み、ジェスチャの種類は、ジェスチャを行う身体の部位を表す部位属性と、部位属性で表された身体の部位をどのように動作させるのかを表す動作属性とを含み、車両制御部は、配車車両の運転者により指定されたジェスチャの種類をメッセージに含めるジェスチャの種類として定める。
本開示の技術によれば、配車車両が合流地点または合流地点の周辺にいるタイミングで、携帯端末が利用者にジェスチャの実行を要求する通知を行うため、この通知に応答して利用者がジェスチャを行うことによって、合流地点に複数の人がいる場合でも車両側が利用者を特定することができ、車両と利用者が円滑に合流することができる。
実施の形態1の合流支援システムの構成を示すブロック図である。 実施の形態1の合流支援システムの動作を示すフローチャートである。 実施の形態2の合流支援システムの構成を示すブロック図である。 実施の形態2の合流支援装置の動作を示すフローチャートである。 実施の形態2の位置関係表示画面を示す図である。 実施の形態2の位置関係表示画面を示す図である。 実施の形態2の位置関係表示画面を示す図である。 実施の形態2の位置関係表示画面を示す図である。 ジェスチャ情報を示す図である。 ジェスチャ選択画面を示す図である。 実施の形態2の携帯端末の動作を示すフローチャートである。 合流地点に複数の人がおり運転者が利用者を識別できない様子を示す図である。 合流支援装置からメッセージを受信した携帯端末の通知例を示す図である。 利用者がジェスチャを行うことで運転者が利用者を識別する様子を示す図である。 実施の形態2の変形例1の合流支援装置の動作を示すフローチャートである。 実施の形態2の変形例1の位置関係表示画面を示す図である。 実施の形態2の変形例1の位置関係表示画面を示す図である。 実施の形態2の変形例1の位置関係表示画面を示す図である。 実施の形態2の変形例1の位置関係表示画面を示す図である。 音声コマンドによるジェスチャの選択例を示す図である。 利用者がジェスチャを拒否する代わりに特定情報を携帯端末に入力する様子を示す図である。 特定情報により運転者が利用者を識別する様子を示す図である。 実施の形態2の変形例6の合流支援システムの構成を示すブロック図である。 実施の形態2の変形例6の携帯端末の動作を示すフローチャートである。 携帯端末による車両接近通知を示す図である。 携帯端末が車両の接近方向を地図上に表示する様子を示す図である。 携帯端末のカメラ撮影画像に車両の接近方向を示すアイコンが重畳表示される様子を示す図である。 車両の進行方向と接近方向の関係を示す図である。 車両の接近方向に利用者の視線を誘導する効果を示す図である。 利用者を建物の外の合流地点へ誘導する概念図である。 実施の形態3の合流支援システムの構成を示すブロック図である。 実施の形態3の合流支援装置の動作を示すフローチャートである。 ジェスチャ認識による利用者の特定結果の表示例を示す図である。 ジェスチャ認識による利用者の特定結果の表示例を示す図である。 ジェスチャ認識による利用者の特定結果の表示例を示す図である。 実施の形態4の合流支援システムの構成を示すブロック図である。 実施の形態4の合流支援装置の動作を示すフローチャートである。 車外報知装置による報知例を示す図である。 車外報知装置による報知例を示す図である。 実施の形態5の合流支援システムの構成を示すブロック図である。 実施の形態5の配車サーバの動作を示すフローチャートである。 合流支援装置および通信端末のハードウェア構成を示す図である。 合流支援装置および通信端末のハードウェア構成を示す図である。
<A.実施の形態1>
<A-1.構成>
図1は、実施の形態1の合流支援システム301の構成を示すブロック図である。合流支援システム301は、配車車両Xと、配車車両Xとの合流を希望する利用者との円滑な合流を支援する。合流支援システム301は、配車車両Xに搭載された合流支援装置101と、利用者の携帯端末201とを備えて構成される。なお、合流支援装置101は、配車車両Xに定常的に搭載された装置の他、必要に応じて配車車両Xに持ち込まれて利用される携帯端末であっても良い。
合流支援装置101は、車両制御部11、メッセージ作成部12、測位部13および車両通信部14を備えている。合流支援装置101は、配車車両Xに搭載されたGNSS(Global Navigation Satellite System)受信機31および通信装置32と接続され、これらを利用可能に構成されている。
車両制御部11は合流支援装置101の全体を制御する。メッセージ作成部12は、利用者にジェスチャの実行を要求するメッセージ(以下、単に「メッセージ」と称する)を作成する。GNSS受信機31はGNSS信号を受信する。測位部13は、GNSS受信機31が受信したGNSS信号を取得し、GNSS信号に基づき配車車両Xの位置を測定する。なお、測位部13は、他の方法によって配車車両Xの位置を測定しても良い。測位部13は、GNSS信号による配車車両Xの測位結果を、図示しないジャイロセンサおよび加速度センサの測定信号によって補正しても良いし、さらにマップマッチングによって補正しても良い。
通信装置32は、車両通信部14が携帯端末201と通信を行うための通信インタフェースである。通信装置32は、携帯端末201の携帯通信部22と通信ネットワークを構成している。車両通信部14は、メッセージ作成部12が作成したメッセージを、配車車両Xが合流地点または合流地点の周辺にいる時に、通信装置32を用いて携帯端末201に送信する。このメッセージは、利用者にジェスチャを実行させ、そのジェスチャを配車車両X側で確認することにより、利用者の正確な位置を把握することを目的とする。従って、上記の「配車車両Xが合流地点の周辺にいる」とは、配車車両Xまたは運転者が合流地点にいる利用者のジェスチャを確認できる程度に、合流地点に近づいているという意味である。例えば、合流地点の周辺とは、合流地点から半径30m以内などである。なお、合流地点の情報は、事前に配車車両Xと利用者との間で共有されている。
携帯端末201は、利用者が携帯する端末であり、例えばPDAまたはスマートフォン等である。携帯端末201は、携帯制御部21、携帯通信部22および通知部23を備えている。携帯制御部21は、携帯端末201の全体を制御する。携帯通信部22は、合流支援装置101からメッセージを受信する。通知部23は、携帯通信部22が受信したメッセージに基づき、利用者にジェスチャの実行を要求する通知(以下、「ジェスチャ要求通知」と称する)を行う。ジェスチャ要求通知は、携帯端末201に備わる出力手段に応じて、例えば表示、音声、および振動の少なくとも1つの態様により行われる。
<A-2.動作>
図2は、合流支援システム301の動作を示すフローチャートである。このフローが始まる前に、配車車両Xと利用者との間で例えば配車契約が締結されること等によって、合流支援装置101と携帯端末201との間で合流地点の情報が共有されているものとする。
まず、合流支援装置101において、測位部13はGNSS受信機31からGNSS信号を取得し、配車車両Xの位置を測定する(ステップS101)。車両制御部11は、測位部13から配車車両Xの位置を取得し、配車車両Xが合流地点またはその周辺にあるか否かを判断する(ステップS102)。ステップS102がYesになるまで、車両制御部11はステップS102を繰り返す。
ステップS102において、配車車両Xが合流地点またはその周辺にあれば、メッセージ作成部12は利用者にジェスチャの実行を要求するメッセージを作成する(ステップS103)。そして、車両通信部14は、メッセージ作成部12が作成したメッセージを、通信装置32によって携帯端末201に送信し、メッセージが携帯端末201に受信される(ステップS104)。
次に、携帯端末201では、携帯通信部22が受信したメッセージを通知部23が利用者に通知する(ステップS105)。この通知を受けて、利用者はジェスチャを実行すると、配車車両X側でそのジェスチャが確認され、利用者の位置を正確に把握することができる。特に、合流地点に多数の人がいる場合でも、配車車両X側はジェスチャを行った人を利用者と識別することができる。これにより、配車車両Xと利用者との円滑な合流が可能となる。
<A-3.効果>
実施の形態1の合流支援システム301は、配車車両Xとの合流を希望する利用者の携帯する携帯端末201と、携帯端末201と通信を行い配車車両Xと利用者の合流地点での合流を支援する合流支援装置101と、を備える。合流支援装置101は、利用者にジェスチャの実行を要求するメッセージを作成するメッセージ作成部12と、配車車両Xが合流地点または合流地点の周辺にいるタイミングをメッセージの送信タイミングと決定する車両制御部11と、送信タイミングでメッセージを携帯端末に送信する車両通信部14と、を備える。携帯端末201は、メッセージを合流支援装置101から受信する携帯通信部22と、メッセージに基づき利用者にジェスチャの実行を要求する通知を行う通知部23と、を備える。配車車両Xが合流地点または合流地点の周辺にいるときに、携帯端末201が利用者にジェスチャの実行を要求する通知を行うため、利用者がこの通知に応答してジェスチャを実行することにより、配車車両X側は合流地点に複数の人がいる場合であっても利用者を特定することができ、利用者と円滑に合流することができる。
<B.実施の形態2>
<B-1.構成>
図3は、実施の形態2の合流支援システム302Aの構成を示すブロック図である。合流支援システム302Aは、配車車両Xに搭載された合流支援装置102と携帯端末202Aとを備えて構成される。合流支援装置102は、配車車両Xに搭載されたGNSS受信機31、通信装置32、表示装置33、音声出力装置34、および操作装置35と接続され、これらを利用可能に構成される。
合流支援装置102は、実施の形態1の合流支援装置101の構成に加えて、記憶部15を備える。記憶部15には、合流地点の位置情報が格納されている。この他、記憶部15には利用者の識別情報が格納されていても良い。また、合流支援装置102の車両制御部11は、表示装置33、音声出力装置34、および操作装置35と接続される。
表示装置33と音声出力装置34は、配車車両Xの運転者に対する出力インタフェースである。表示装置33は、例えば液晶表示装置、有機ELディスプレイまたはHUD等で構成される。音声出力装置34は、スピーカにより構成される。操作装置35は、配車車両Xの運転者に対する入力インタフェースであり、例えばタッチパネル、機械的なスイッチ類、または音声入力装置などにより構成される。
携帯端末202Aは、実施の形態1の携帯端末201の構成に加えて、測位部24、操作部25および記憶部30を備えている。記憶部30には、合流地点の位置情報が格納されている。この他、記憶部30には配車車両Xの車種、色、または登録番号といった識別情報が格納されていても良い。また、携帯端末202Aは、表示部26および音声出力部27を通知部として備える。
測位部24は、合流支援装置102の測位部13と同様の方法で、携帯端末202Aの位置を測定する。操作部25は、携帯端末202Aの入力インタフェースであり、例えばタッチパネル、機械的なスイッチ類、または音声入力装置などにより構成される。表示部26は、液晶ディスプレイまたは有機ELディスプレイ等で構成される。音声出力部27は、スピーカにより構成される。
<B-2.動作>
図4は、合流支援装置102の動作を示すフローチャートである。このフローが始まる前に、配車車両Xと利用者との間で例えば配車契約が締結されること等によって、合流支援装置101と携帯端末201との間で合流地点の情報が共有されている。従って、合流支援装置102の記憶部15と携帯端末202Aの記憶部30には、合流地点の位置情報が格納されている。以下、図4のフローに沿って合流支援装置102の動作を説明する。
配車車両Xが合流地点への走行を開始すると、測位部13がGNSS受信機31からGNSS信号を取得し、配車車両Xの位置を測定する(ステップS201)。そして、車両制御部11は、記憶部15から合流地点の位置情報を取得し、測位部13から配車車両Xの位置情報を取得し、これらの情報に基づき、配車車両Xと合流地点との位置関係を表示装置33に表示させる(ステップS202)。
図5から図8は、表示装置33において配車車両Xと合流地点との位置関係を表示する位置関係表示画面の例を示している。図5の例では、オブジェクト50により合流地点の位置が示され、オブジェクト51により配車車両Xの位置が示される。オブジェクト50,51の位置関係が、合流地点と配車車両Xとの距離および方向を示している。オブジェクト50を中心とした複数の同心円が、合流地点からの距離を示している。図5の例では、合流地点から20m、50m、100mの距離を表す同心円が表示されている。また、オブジェクト51には配車車両Xの合流地点からの距離が付記されている。図5の例では、配車車両Xは合流地点から1km離れているため、オブジェクト51は最も大きい同心円の外に表示されている。
図4のフローに戻り、車両制御部11は利用者の位置を確認するか否かを判断する(ステップS203)。図5に示すように、位置関係表示画面には利用者の位置を表示するアイコン56が表示されている。運転者は、利用者の位置を確認したいときにアイコン56を押す。なお、図5の状態では車両が合流地点から遠く離れており、利用者の位置を確認する必要性は小さい。運転者が一定期間アイコン56を押さなければ、車両制御部11は利用者の位置を確認しないと判断し、合流支援装置102の動作はステップS201に戻り、その後のステップS202で位置関係表示画面が更新される。
図6は、配車車両Xが合流地点から30mに近づいたときの位置関係表示画面を示している。図6において、オブジェクト51は、合流地点から50mの距離を表す同心円の中に表示される。合流地点から20mの距離を表す最も小さい同心円の内部は、他と異なる色で表示されており、配車車両Xが合流地点に近づいたことが表現されている。
図7は、図6の位置関係表示画面で運転者がアイコン56を押さず、配車車両Xが合流地点に到達したときの位置関係表示画面を示している。図7において、オブジェクト51は同心円の中心に表示され、オブジェクト50は表示されない。配車車両Xが合流地点に到着すると、運転者は利用者も合流地点に到着しているかを確認する必要がある。
運転者がアイコン56を押すと、アイコン56の操作情報が操作装置35から車両制御部11に入力され、車両制御部11は利用者の位置を確認すると判断する(ステップS203でYes)。そして、車両通信部14は携帯端末202Aに位置情報の送信要求を行い、携帯端末202Aから携帯端末202Aの位置情報を利用者の位置情報として受信する(ステップS204)。次に、車両制御部11は、配車車両X、合流地点および利用者の位置関係を表示装置33に表示させる(ステップS205)。なお、ここで利用者の位置は携帯端末202Aの位置と同義である。このように、車両制御部11は、配車車両Xの運転者の操作情報を取得し、運転者の操作情報に基づくタイミングで、配車車両X、合流地点および利用者の位置関係を表示装置33に表示させる。
図8は、ステップS205における表示装置33の位置関係表示画面の例を示している。図8では、図7の表示に加えて、利用者の位置がオブジェクト52によって示されている。また、オブジェクト52には利用者と合流地点との距離「35m」が付記されている。この表示により、運転者は利用者が配車車両Xの右斜め前方、35mの位置にいることを把握する。
次に、車両制御部11は、利用者にジェスチャを要求するか否かを判断する(ステップS206)。図8の位置関係表示画面には、利用者にジェスチャを要求するアイコン54が表示されている。運転者は、位置関係表示画面を見て利用者の位置を把握し、利用者が配車車両Xから見える位置にいると判断したときに、アイコン54を押す。運転者が一定期間アイコン54を押さなければ、車両制御部11は利用者にジェスチャを要求しないと判断し、合流支援装置102の動作はステップS204に戻り、その後のステップS205で位置関係表示画面が更新される。
運転者がアイコン54を押すと、アイコン54の操作情報が操作装置35から車両制御部11に入力され、車両制御部11は利用者にジェスチャを要求すると判断する(ステップS206でYes)。そして、メッセージ作成部12は予め用意された複数のジェスチャから一つのジェスチャを選択し、選択したジェスチャの実行を促すメッセージを作成する(ステップS207)。このように、運転者の操作によってメッセージの作成タイミングが定められる。そして、後述するようにメッセージが作成されると、続いてメッセージが携帯端末202Aに送信される。従って、言い換えれば、運転者の操作情報に基づくタイミングで、メッセージを送信するタイミングが決定される。
図9は、記憶部15に格納されたジェスチャ情報を示している。ジェスチャ情報は、利用者に実行を要求するジェスチャの候補の情報であり、ジェスチャの識別番号、部位属性、および動作属性を含んでいる。部位属性は、ジェスチャを行う身体の部位を表す情報であり、動作属性は、部位属性で表された身体の部位をどのように動かすかを表す情報である。車両制御部11は、ジェスチャ情報を基に、運転者にジェスチャを選択させるジェスチャ選択画面を表示装置33に表示させる。図10はジェスチャ選択画面の一例である。このジェスチャ選択画面では、識別番号G1-G8のジェスチャ(以下、「ジェスチャG1-G8」等と称する)を視覚的に表したアイコンが表示されており、運転者はアイコンを選択することによって、利用者に実行を要求するジェスチャの種類を選択する。例えば、運転者がジェスチャG1を選択すると、メッセージ作成部12は、「片手を挙げてください」というメッセージを作成する。このメッセージは、「片手を挙げてください」というテキストの他、ジェスチャを視覚的に表すアイコンを含んでいても良い。
なお、ここでは予め用意された複数の候補から運転者がジェスチャを選択することについて説明したが、メッセージの作成方法はこれに限らない。例えば、運転者が部位属性と動作属性を指定することによって、新規のジェスチャを設定しても良い。あるいは、配車契約の締結時に、合流支援装置102と携帯端末202Aとの間で、合流時に要求するジェスチャが定められていても良い。
メッセージ作成部12がメッセージを作成すると、車両通信部14が携帯端末202Aにメッセージを送信する(ステップS208)。こうして、合流支援装置102の動作は終了する。
次に、携帯端末202Aの動作を図11のフローチャートに沿って説明する。まず、測位部24が携帯端末202Aの位置を測定する(ステップS301)。次に、携帯制御部21は記憶部30から合流地点の位置情報を取得し、測位部24から携帯端末202Aの位置情報を取得する。そして、携帯制御部21はこれらの情報に基づき携帯端末202Aと合流地点の位置関係を表示部26に表示させる(ステップS302)。ここで表示部26に表示される位置関係表示画面は、例えば図5から図7に示した配車車両Xと合流地点の位置関係の表示において、配車車両Xを携帯端末202Aに置き換えたようなものである。
次に、携帯制御部21は、配車車両Xから位置情報の送信要求があるか否かを判断する(ステップS303)。この送信要求は、図4のステップS204で合流支援装置102が携帯端末202Aに行うものである。配車車両Xから位置情報の送信要求を受けると、携帯通信部22は携帯端末202Aの位置情報を配車車両Xに送信する(ステップS304)。この位置情報は、通信装置32を介して合流支援装置102の車両通信部14に受信される。
ステップS304において配車車両Xから位置情報の送信要求がなければ、またはステップS304の後、携帯制御部21は携帯通信部22が配車車両Xからメッセージを受信したか否かを判断する(ステップS305)。ステップS305において携帯通信部22が配車車両Xからメッセージを受信していなければ、携帯端末202Aの処理はステップS301に戻る。ステップS305において携帯通信部22が配車車両Xからメッセージを受信していれば、表示部26および音声出力部27がメッセージを利用者に通知する(ステップS306)。以上で、携帯端末202Aの動作が終了する。
配車車両Xが合流地点に到着してから、利用者がジェスチャを行うまでの流れを図12から図14に沿って説明する。図12および図14において、利用者を符号Zで示している。また、ジェスチャの種類は「片手を挙げる」ジェスチャであるとする。
図12は、配車車両Xが合流地点に到着したものの、合流地点に多数の人がおり運転者Yが利用者Zを特定できない状況を示している。ここで、合流支援装置102が携帯端末202Aにメッセージを送信することで、携帯端末202Aによりジェスチャの実行を要求するメッセージが利用者に通知される。図13の例では、携帯端末202Aのディスプレイ70に「片手を挙げる」ジェスチャのアイコンが表示され、携帯端末202Aのスピーカ71から「片手を挙げて下さい」という音声が出力される。ここでは、メッセージの通知が表示と音声の両方によって行われているが、いずれか一方だけでも良いし、振動が付随しても良い。この通知を受けて、利用者Zが「片手を挙げる」ジェスチャを実行することにより、図14に示すように、運転者Yは多数の人の中から利用者Zを特定することができる。そして、運転者Yは利用者Zの目の前まで配車車両Xを移動させ、利用者Zとスムーズに合流することができる。
<B-3.変形例1>
図4のフローでは、合流支援装置102は、ステップS203において利用者の位置を確認するタイミングを運転者に決定させていた。しかし、合流支援装置102は、最初から利用者の位置を表示装置33に表示させても良い。図15はそのような変形例における合流支援装置102のフローチャートである。このフローでは、測位部13が配車車両Xの位置を測定した後(ステップS401)、車両通信部14が携帯端末202Aから利用者の位置を取得する(ステップS402)。そして、車両制御部11は、配車車両X、合流地点、利用者の位置関係を表示装置33に表示させる(ステップS403)。その後のステップS404からステップS406は、図4のステップS206からステップS208と同様である。
この変形例による表示装置33における位置関係表示例を図16から図19に示す。図16において、配車車両Xは合流地点から1km離れており、利用者は合流地点から200m離れているが、この時点で利用者の位置を表すオブジェクト52も表示される。図17において、配車車両Xは合流地点から500m離れており、利用者は合流地点から70m離れている。図18は、配車車両Xが合流地点から60m離れており、利用者が合流地点に到着した時点の位置関係表示例を示している。図18において、オブジェクト52は同心円の中心に表示され、合流地点の位置を表すオブジェクト50は表示されない。図19は、配車車両Xが合流地点に到着した時点の位置関係表示画面を示しており、この位置関係表示画面には利用者にジェスチャの実行を要求するアイコン54が表示されている。
図15から図19で説明した変形例によれば、合流支援装置102と携帯端末202Aとの間で利用者の位置情報の通信量が増加するものの、運転者にとって利用者の位置を確認するタイミングを決定する操作の手間が不要となる。
<B-4.変形例2>
図5のステップS302において、携帯端末202Aは、合流地点と携帯端末202Aの位置関係を表示部26に表示した。しかし、携帯端末202Aは合流支援装置102から配車車両Xの位置情報を取得し、合流地点、携帯端末202A、および配車車両Xの位置関係を表示部26に表示しても良い。この表示は、例えば図8に示した位置関係表示において、配車車両Xの位置を表すオブジェクト51と利用者の位置を表すオブジェクト52とを入れ替えたような表示となる。また、配車車両Xの位置を表示するタイミングは、最初から表示しても良いし、利用者の操作によって決定しても良い。
<B-5.変形例3>
図10では、メッセージ作成部12が、運転者がジェスチャ選択画面から指定したジェスチャを選択してメッセージを作成することについて説明した。しかし、運転者は他の方法でジェスチャを指定することも可能である。例えば、図20に示すように、運転者は音声コマンドによってジェスチャを指定しても良い。図20において、運転者が「片手を挙げてください」と発話すると、音声入力装置としての操作装置35が発話音声から「片手」、「挙げて」等のキーワードを認識し、車両制御部11に通知する。車両制御部11は、音声入力装置による発話音声の認識結果から、運転者が指定するジェスチャをジェスチャG1と特定する。そして、メッセージ作成部12は、ジェスチャG1「片手を挙げる」の実行を要求するメッセージを作成する。
また、運転者がジェスチャを行うことにより、運転者のジェスチャと同じジェスチャを利用者に実行させるようにしても良い。この場合、操作装置35は配車車両Xの中の人物のジェスチャを認識する車内ジェスチャ認識装置を含む。車両制御部11は、車内ジェスチャ認識装置による運転者のジェスチャの認識結果を取得し、運転者のジェスチャと同じ種類のジェスチャをメッセージに含めるジェスチャの種類として定める。そして、メッセージ作成部12は、運転者のジェスチャと同じ種類のジェスチャの実行を要求するメッセージを作成する。この構成によれば、運転者はより直感的にジェスチャを指定することができる。また、利用者に実行させるジェスチャが運転者の音声またはジェスチャによって定められる場合、メッセージ作成部12は、予め定められたジェスチャの中から一つのジェスチャを必ずしも選択しなくても良い。例えば、メッセージ作成部12は、運転者の「手を挙げてください」という音声、あるいは運転者のジェスチャを撮影した映像を、そのままメッセージとして作成しても良い。
<B-6.変形例4>
図4のフローでは、運転者が車両、合流地点、および利用者の位置関係表示を見ながら、ステップS206においてメッセージの作成タイミング、すなわちメッセージの送信タイミングを決定していた。しかし、この送信タイミングの決定を合流支援装置102が行っても良い。メッセージは、配車車両Xから利用者のジェスチャの実行が視認できるタイミングで送信される必要がある。従って、合流支援装置102は、車両と利用者との位置関係に基づき、メッセージの送信タイミングを決定する。例えば、合流支援装置102は、車両と利用者との距離が20m以内であることなど、両者の距離を基にメッセージの送信タイミングを決定しても良い。
さらに、車両制御部11は、合流地点の3D地図を参照して、利用者が配車車両Xから見える位置にいることを確認したことを、メッセージの送信条件としても良い。これにより、配車車両Xと利用者との距離が近いが、利用者が建物などの影に隠れて配車車両Xから見えない場合に、合流支援装置102から携帯端末202Aにメッセージが送信されることを防ぐことができる。また、利用者が合流地点またはその周辺にいるものの、建物などの影に隠れて配車車両Xから視認可能でない場合には、車両制御部11は配車車両Xから視認可能な合流地点における位置を特定し、当該位置を携帯端末202Aに送信することによって、利用者を配車車両Xから視認可能な位置に誘導しても良い。
また、車両制御部11は、配車車両Xの速度に基づきメッセージの送信タイミングを決定しても良い。具体的には、配車車両Xの速度が閾値以下であること、典型的には配車車両Xが停止していることを、メッセージの送信条件としても良い。これにより、配車車両Xの走行中に運転者が利用者のジェスチャを見逃してしまうことを防ぐことができる。
<B-7.変形例5>
これまでの説明では、メッセージの通知を受けた利用者がジェスチャを実行することを前提としていた。しかし、利用者は両手が塞がっている等の何らかの理由で、ジェスチャを行えない、または行いたくない場合がある。このような場合に、本変形例では、ジェスチャの代わりに利用者の特定に用いられる情報(以下、「特定情報」)が携帯端末202Aから合流支援装置102に提供されることで、利用者がジェスチャを行わなくても運転者が多数の人の中から利用者を特定することを可能とする。
図21は、合流支援装置102からメッセージを受信した携帯端末202Aがメッセージを利用者に通知している様子を示している。携帯端末202Aのスピーカ71から、「車両が到着します。右手を挙げてください」との音声が出力されている。このとき、利用者は両手が塞がっていて右手を挙げることができないと仮定する。利用者は、「両手が塞がっていて無理です。抱いている赤ちゃんが目印です。」と発話する。ここで、「抱いている赤ちゃん」が特定情報となる。携帯端末202Aにはマイクが搭載されており、利用者の発話音声を取得すると共に、携帯通信部22によって合流支援装置102へ送信する。合流支援装置102では、車両通信部14が携帯端末202Aから取得した特定情報を含む利用者の発話音声を、車両制御部11が図22に示すようにそのまま、あるいは「赤ちゃんを抱いている方です。」等と簡潔に言い換えて、音声出力装置34に出力させる。これにより、運転者Yは赤ちゃんを抱いている利用者Zを特定することができる。
<B-8.変形例6>
利用者が配車車両Xの接近方向を向いてジェスチャを行えば、利用者のジェスチャが運転者に視認されやすい。そこで、本変形例では、合流地点に到着した利用者に対して、配車車両Xの接近方向を通知し、接近方向を向くように誘導する。図23は、利用者を誘導する変形例の合流支援システム302Bの構成を示すブロック図である。合流支援システム302Bは、合流支援装置102と携帯端末202Bとを備えて構成される。携帯端末202Bは、図3に示した実施の形態2の携帯端末202Aの構成に加えて、アウトカメラ28およびインカメラ29を備えている。アウトカメラ28は、携帯端末202Bのディスプレイと反対側を撮影するカメラである。インカメラ29は、携帯端末202Bのディスプレイ側を撮影するカメラである。利用者が携帯端末202Bのディスプレイを見ている状態で、アウトカメラ28は利用者と反対側を、インカメラ29は利用者を撮影することが可能である。
図24は、合流支援システム302Bにおける携帯端末202Bの動作を示すフローチャートである。以下、図24のフローに沿って携帯端末202Bの動作を説明する。ステップS301からステップS304は、図11に示す携帯端末202Aの動作と同様である。ステップS303で配車車両Xから位置情報の送信要求がないか、またはステップS304の後、携帯端末202Bの携帯通信部22は合流支援装置103から配車車両Xの位置情報を取得する(ステップS304A)。そして、携帯制御部21は、測位部24から携帯端末202Bの位置情報を取得し、携帯端末202Bと配車車両Xの距離が予め定められた閾値未満であるか否かを判断する(ステップS304B)。
ステップS304Bにおいて、携帯制御部21は、携帯端末202Bと配車車両Xの距離が閾値未満となるまで待機する。携帯端末202Bと配車車両Xの距離が閾値未満になれば、携帯端末202Bは車両接近通知を行う(ステップS304C)。図25は、音声出力部27が音を鳴らすことによって車両接近通知を行う様子を示している。あるいは、携帯端末202Bは音と共に、または音に代えて振動によって車両接近通知を行っても良い。これにより、利用者は携帯端末202Bを例えばポケットに入れていても、配車車両Xが接近していることに気づき、携帯端末202Bを手に取って合流の準備をすることができる。合流の準備とは、携帯端末202Bにおいて合流支援のアプリケーションを起動することである。
次に、携帯制御部21は、配車車両Xの位置情報と合流地点の位置情報を基に、配車車両Xの合流地点までの経路を推定し、配車車両Xの合流地点への接近方向を推定する。そして、携帯制御部21は、推定した配車車両Xの接近方向を表示部26に表示する(ステップS304D)。図26は、携帯端末202Bのディスプレイ70に、配車車両Xの接近方向が表示されている様子を示している。上記の車両接近通知を受けて利用者が合流支援のアプリケーションを起動すると、ディスプレイ70には合流地点の地図が表示される。ここで、地図は、ディスプレイ70における地図の方角が実際の携帯端末202Bの方角と一致するように表示される。従って、ディスプレイ70に表示された配車車両Xの接近方向を示す矢印は、実際の配車車両Xの接近方向と一致しており、利用者はディスプレイ70に表示された配車車両Xの接近方向を見ることで、車両の接近方向を把握することができる。図26では表示による接近方向の通知について説明したが、接近方向の通知は音声によって行われても良い。
また、図27に示すように、携帯端末202Bのアウトカメラ28を起動し、利用者がアウトカメラ28で車両の接近方向を撮影したときに、携帯制御部21は、アウトカメラ28の撮影画像中の車両の接近方向に対応する位置に、仮想的な配車車両Xのアイコン55を重畳して表示部26に表示しても良い。これにより、利用者は車両の接近方向をより直感的に把握することができる。
なお、表示部26で図26の表示が行われたときに、携帯端末203は利用者が配車車両Xの接近方向を見ているかを判定しても良い。具体的には、インカメラ29が利用者の顔を撮影する。携帯制御部21は、インカメラ29の撮影画像から利用者の顔の向きまたは視線の向きを、ディスプレイ70に表示された配車車両Xの接近方向と比較し、利用者が配車車両Xの接近方向を見ているかを判定する。そして、利用者が配車車両Xの接近方向を見ていなければ、配車車両Xの接近方向を見るように促す通知を表示部26または音声出力部27が行っても良い。
上記では、携帯制御部21は顔の向きまたは視線の向きから利用者が配車車両Xの接近方向を見ているかを判定した。しかし、携帯端末202Bにおける配車車両Xの接近方向の表示画面上に、確認アイコンを表示し、利用者が確認アイコンを押す操作により、携帯制御部21は利用者が配車車両Xの接近方向を見たと判定しても良い。
図28は、配車車両Xの走行方向と接近方向との関係を示している。配車車両Xが合流地点に到達する前に、カーブ等で配車車両Xの進路が変更する場合、配車車両Xの現在の走行方向57は、配車車両Xの合流地点への接近方向58に一致しない。この場合、図28の接近方向58が、図26および図27で説明した配車車両Xの接近方向となる。
利用者の視線を配車車両Xの接近方向に誘導することは、合流地点がGNSS信号を受信しにくいビルの狭間の交差点等にある場合に有効である。図29は、建物59-62に囲まれた交差点に合流地点がある場合を示している。このような合流地点では、利用者Zは合流地点に立っていても自分がどちらの方角を向いているか分かりにくく、どちらの方向から配車車両Xが来るかも分かりにくいからである。
上記では、合流地点にいる利用者に対して、視線を配車車両Xの接近方向に誘導することについて説明した。これに加えて、携帯端末202Bは、利用者を合流地点へ誘導する処理を行っても良い。図30に示すように、利用者Zが建物64の中におり建物64の前の道路が合流地点である場合、利用者Zはどの出口から出ればよいかが分からないことがある。このような場合に、利用者Zは携帯端末202Bのアプリケーションを起動して、アウトカメラ28で撮影を行う。携帯制御部21は、アウトカメラ28の撮影画像から適切な出口までの建物64内の経路を推定し、出口までの経路を示す矢印65をアウトカメラ28の撮影画像に重畳して表示部26に表示し、利用者Zを出口までガイドする。
<B-9.変形例7>
図15のフローは、運転者が利用者のジェスチャを視認した後の合流支援装置102の処理に言及していない。しかし、運転者が利用者のジェスチャを視認すると、合流支援装置102は携帯端末202Aにその旨を通知しても良い。例えば、車両制御部11は、図8に示した位置関係表示画面に、運転者が利用者のジェスチャを視認した後に操作するアイコンを表示し、当該アイコンが操作されたことをもって運転者が利用者のジェスチャを視認したと判定しても良い。また、音声認識装置である操作装置35が「ジェスチャを視認しました」等の運転者の発話を音声認識することによって、車両制御部11は運転者が利用者のジェスチャを視認したと判定しても良い。また、運転者自身のジェスチャを認識するジェスチャ認識装置である操作装置35が、所定の運転者のジェスチャを認識したことにより、運転者が利用者のジェスチャを視認したと判定しても良い。運転者が利用者のジェスチャを視認したことが、携帯端末202Aにおいて表示または音声によって利用者に通知されることによって、利用者はジェスチャをやめることができ、不必要に長時間ジェスチャを続けなくてよい。
<B-10.変形例8>
図21および図22では、利用者がジェスチャを行わない場合について説明した。反対に、利用者がジェスチャを行う場合に、その旨を携帯端末202Aから合流支援装置102に通知しても良い。例えば、携帯端末202Aの携帯制御部21は、表示部26に表示するメッセージの通知画面に、「ジェスチャを実行しますか?」というテキストと、「はい」と「いいえ」のボタンを表示させる。そして、利用者が「はい」を選択すると、携帯通信部22は合流支援装置102に利用者がジェスチャを実行中またはこれから実行する旨を送信する。また、利用者が「いいえ」を選択すると、携帯制御部21はジェスチャの代わりの特定情報を入力するように求める表示または音声を表示部26または音声出力部27に出力させる。このように、携帯通信部22は、操作部25が利用者のジェスチャの実行意思に関する操作情報を取得すると、利用者のジェスチャの実行意思を表す情報を合流支援装置102の車両通信部14に送信する。そして、車両制御部11は、利用者のジェスチャの実行意思を配車車両の運転者に、表示装置33または音声出力装置34を用いて通知する。このような構成によれば、運転者は利用者によるジェスチャの実行意思を確認することができる。
<B-11.変形例9>
本実施の形態の合流支援装置102を搭載した配車車両Xが複数存在し、各配車車両Xが同一または近接した合流地点でそれぞれの利用者と合流しようとする場合を想定する。ここで、「近接した合流地点」とは、それぞれの合流地点で行われる人物のジェスチャが互いに視認できる程度に近接していることを意味する。この場合、複数の配車車両X間で利用者に要求するジェスチャが重なると、ジェスチャを行った人物を複数の配車車両Xが自車の利用者であると認識してしまい、円滑な合流ができなくなる。従って、配車車両X間で利用者に要求するジェスチャが重ならないよう調整することが望ましい。
そのため、各配車車両Xに搭載された合流支援装置102は、他の合流支援装置102が利用者に要求したジェスチャの種類を共有する。例えば、同一合流地点に車両A,B,Cがいるとする。初めに車両Aの合流支援装置102において、車両通信部14がジェスチャG1を自身の利用者の携帯端末202Aに送信すると、それと共にジェスチャG1が使用済みジェスチャとして他の車両B,Cの合流支援装置102にも送信される。こうして、ジェスチャG1が使用済みジェスチャであることが車両A-Cで共有される。その後にジェスチャを要求する車両B,Cは、ジェスチャG1以外のジェスチャを自身の利用者に要求する。このとき、例えば、車両B,Cの合流支援装置102の表示装置33に表示されるジェスチャ選択画面では、ジェスチャG1がグレー表示となり選択できないようになる。次に、車両Bの合流支援装置102において、車両通信部14がジェスチャG2を自身の利用者の携帯端末202Aに送信すると、同様にジェスチャG2が使用済みジェスチャとして他の車両A,Cの合流支援装置102にも送信される。以下同様に、車両CではジェスチャG1,G2が選択できないようになる。このように蓄積された使用済みジェスチャの履歴は、一定期間、例えば15分が経過するとリセットされる。
<B-12.変形例10>
合流支援装置102は、<B-11>で説明したジェスチャの調停を行わず、利用者に要求したジェスチャを合流地点で複数の人が行っている場合、携帯端末202Aに別の種類のジェスチャの実行を要求するメッセージを再び送信しても良い。このとき、新たに要求するジェスチャは、ジェスチャ選択画面から運転者に選択させても良い。
<B-13.変形例11>
図12等では、運転者が配車車両Xに搭乗していることを前提として説明をおこなった。しかし、運転者は遠隔で配車車両Xの運転操作を行う遠隔運転オペレータであっても良い。この場合、上記で説明した合流支援装置102の各種の入出力インタフェースは、配車車両Xではなく遠隔運転オペレータの存在する場所に設置される。
<C.実施の形態3>
<C-1.構成>
図31は、実施の形態3の合流支援システム303の構成を示すブロック図である。合流支援システム303は、合流支援装置103と携帯端末203とを備えて構成される。合流支援装置103は、車外ジェスチャ認識装置36と接続され、これを利用可能に構成される点で実施の形態2の合流支援装置102と異なっている。車外ジェスチャ認識装置36は、配車車両Xに搭載され、配車車両Xの外の人物のジェスチャを認識する装置である。例えば、車外ジェスチャ認識装置36は、配車車両Xの周囲を撮影するカメラと、カメラの撮影映像を解析してジェスチャを認識する処理部とで構成される。車両制御部11は、車外ジェスチャ認識装置36のジェスチャ認識結果に基づき、合流支援装置103が要求したジェスチャを実行している配車車両Xの外の人物を利用者と特定し、特定した利用者を表示装置33または音声出力装置34によって運転者に通知する。
<C-2.動作>
図32は、合流支援装置103の動作を示すフローチャートである。以下、図32のフローに沿って合流支援装置103の動作を説明する。ステップS201からステップS208までは、図4に示した合流支援装置102の処理フローと同様である。車両通信部14がステップS208においてメッセージを携帯端末203に送信した後、車両制御部11は、合流支援装置103が利用者に要求したジェスチャ(以下、「要求ジェスチャ」と称する)を車外の人が行ったか否かを判断する(ステップS209)。車外ジェスチャ認識装置36は、要求ジェスチャを車外の人が行うと、これを検知し、車両制御部11に通知する。車両制御部11は、車外ジェスチャ認識装置36からの通知に応じてステップS209の判断を行う。車両制御部11は、要求ジェスチャを車外の人が行うまでステップS209を繰り返す。車両制御部11は、ステップS209において車外の人が要求ジェスチャを行ったと判断すると、要求ジェスチャを行った人を利用者と特定し、利用者の特定結果を表示装置33または音声出力装置34を用いて運転者へ通知する(ステップS210)。以上で、合流支援装置103の動作が終了する。
図33から図35は、ステップS210において表示装置33により運転者への通知を行う場合の、表示例を示している。図33では、配車車両Xの位置を表すオブジェクト66、利用者の位置を表すオブジェクト67、および配車車両Xから見た利用者の方向を表すオブジェクト68が表示される。図33の表示は、一見すると実施の形態2で説明した図8の表示に類似している。しかし、図8で表示される利用者の位置はGNSS信号などで測定されたものであるのに対し、図33で表示される利用者の位置はジェスチャ認識によって特定されたものであるため、高精度に利用者の位置がオブジェクト67により表示される。これにより、運転者は正確に利用者の位置を把握することができる。
図33において、利用者の位置は携帯端末を模したオブジェクト67により表されたが、図34に示すように、利用者が実行したジェスチャを模したオブジェクト69により表されても良い。
また、車両制御部11は、合流地点の映像に利用者を区別する枠73を重畳し、図35に示すように表示装置33に表示しても良い。ここで、合流地点の映像は、車外ジェスチャ認識装置36が撮影した映像でも良いし、配車車両Xの電子ミラーなどの車外撮影装置が撮影した映像を用いても良い。また、車両制御部11は、HUDなどの透過表示装置である表示装置33に、実景上の利用者を囲む虚像オブジェクトを表示しても良い。また、車両制御部11は運転者の視線方向を検出し、利用者の方に視線を誘導する表示を行ってもよい。
また、車両制御部11は利用者がジェスチャを実施している最中の映像を一定時間ポーズして表示装置33に表示しても良いし、利用者を大きく拡大して表示装置33に表示しても良い。
以上では、ジェスチャの認識結果が表示装置33における表示により運転者に通知されることについて説明した。この他、ジェスチャの認識結果は音声出力装置34によって音声により運転者に通知されても良い。例えば、車両制御部11は、ジェスチャ認識によって特定された利用者の位置情報を用いて、配車車両Xから見た利用者の方向を、例えば「右10度の方向を見てください」等のアナウンスを音声出力装置34に出力させても良い。
これらの構成によれば、ジェスチャ認識により特定された利用者の位置に関する情報が表示または音声によって運転者に通知されるため、運転者はジェスチャを行っている人物を視認するために周囲を見回す必要がない。
また、車両制御部11は、利用者の方向の他、ジェスチャ認識結果によって特定された利用者の服装、風体に関するアナウンスを音声出力装置34に出力させても良い。さらに、車両制御部11は、ジェスチャを認識した旨のみを、表示装置33または音声出力装置34により通知しても良い。この場合、運転者は利用者がジェスチャを行っているという確信をもって利用者を探すことができる。
<C-3.運転者が利用者を認識したことを携帯端末に通知する変形例>
実施の形態2の<B-9>の変形例と同様、図32のステップS210の後に、合流支援装置103は運転者自身が利用者を視認した旨を携帯端末203に通知しても良い。ここでの「利用者を視認」には、図35のような表示装置33の表示画面上で運転者が利用者を視認する場合を含む。
<D.実施の形態4>
<D-1.構成>
図36は、実施の形態4の合流支援システム304の構成を示すブロック図である。合流支援システム304は、合流支援装置104と携帯端末204とを備えて構成される。合流支援装置104が搭載される配車車両Xは、自動運転制御装置37を備えた完全自動運転車両である。自動運転制御装置37は、配車車両Xの自動運転を制御する。従って、配車車両Xには運転者が存在しない。そのため、合流支援装置104は、運転者との入出力インタフェースとなる表示装置33、音声出力装置34、および操作装置35とは接続されず、代わりに自動運転制御装置37、および車外報知装置38と接続され、これらを利用可能に構成される点で、実施の形態3の合流支援装置103と異なる。車外報知装置38は、配車車両Xに搭載された報知装置であり、例えばクラクション、ウィンカ、照明装置、または車外用表示装置等である。車外報知装置38は、車両制御部11が車外ジェスチャ認識装置36の認識結果に基づき特定した利用者に対する報知を行うことにより、利用者に配車車両Xを気づかせる。
<D-2.動作>
図37は、合流支援装置104の動作を示すフローチャートである。以下、図37のフローに沿って合流支援装置104の動作を説明する。
自動運転制御装置37が配車車両Xを合流地点に向けて自動運転で走行させると、測位部13がGNSS受信機31からGNSS信号を取得し、配車車両Xの位置を測定する(ステップS401)。そして、車両通信部14は携帯端末204に位置情報の送信要求を行い、携帯端末204から携帯端末204の位置情報を利用者の位置情報として受信する(ステップS402)。
次に、車両制御部11はジェスチャ要求条件が満たされるか否かを判断する(ステップS403)。ジェスチャ要求条件は、例えば、配車車両Xと合流地点との距離が予め定められた距離、例えば50m以内であり、かつ、利用者が合流地点から10m以内である等、配車車両X、合流地点、利用者の位置関係に関する条件である。ステップS403においてジェスチャ要求条件が満たされない場合、合流支援装置104の処理はステップS401に戻る。
ステップS403においてジェスチャ要求条件が満たされる場合、メッセージ作成部12は、予め用意されたジェスチャの候補から自動的にジェスチャを1つ選択し、選択したジェスチャの実行を要求するメッセージを作成する(ステップS404)。ここで、例えばメッセージ作成部12は、実行負荷が小さい順、または自動認識しやすい順などでジェスチャの候補に優先順位を付しておき、優先順位の最も高いジェスチャを選択しても良い。また、車両制御部11は車外ジェスチャ認識装置36から現在の車外の人が行っているジェスチャを取得し、メッセージ作成部12は、車外の人が行っているジェスチャを選択から除外しても良い。次に、車両通信部14が携帯端末204にメッセージを送信する(ステップS405)。
その後、車両制御部11は、要求ジェスチャを車外の人が行ったか否かを判断する(ステップS406)。車外ジェスチャ認識装置36は、要求ジェスチャを車外の人が行うと、これを検知し、車両制御部11に通知する。車両制御部11は、車外ジェスチャ認識装置36からの通知に応じてステップS406の判断を行う。車両制御部11は、要求ジェスチャを車外の人が行うまでステップS406を繰り返す。車両制御部11は、ステップS406において車外の人が要求ジェスチャを行ったと判断すると、要求ジェスチャを行った人を利用者と特定する。そして、車両制御部11は、車外報知装置38を用いて、利用者に対し配車車両Xが配車車両である旨を報知する(ステップS407)。以上で、合流支援装置104の動作が終了する。
次に、車外報知装置38による報知例を説明する。図38は、配車車両Xのフロントグリルに設けられた車外表示装置72が車外報知装置38となる例を示している。車外表示装置72に「Hi,Msen!」と表示される。ここで、Msenは利用者に固有の識別情報であり、利用者と配車車両Xとの配車契約締結時に、携帯端末204から合流支援装置104に提供され、記憶部15に格納されているものとする。
図39は、配車車両Xのヘッドライトが車外報知装置38となる例を示している。ヘッドライトが利用者の足元に光を照射することによって、利用者への報知を行っている。合流支援装置104では、ジェスチャ認識によって利用者を特定することから、利用者の位置を高精度に特定することができる。従って、高精度に特定した利用者の位置情報を用いて、図39のような報知を行うことが可能である。
また、車外報知装置38による報知は、利用者がジェスチャを行っている間のみ、行われても良い。
<E.実施の形態5>
<E-1.構成>
図40は、実施の形態5の合流支援システム305の構成を示すブロック図である。合流支援システム305は、合流支援装置105、携帯端末205、配車サーバ401を備えて構成される。合流支援装置105および携帯端末205の構成は、実施の形態2の合流支援装置102および携帯端末202Aの構成と同様である。
配車サーバ401は通信装置32および携帯通信部22と共に通信ネットワークを構成する。実施の形態1-4では、合流支援装置と携帯端末との間で配車契約が締結されていることを前提として説明を行っていた。合流支援システム305では、配車契約の締結処理を配車サーバ401が行う。配車契約の締結処理以外の合流支援システム305の動作は、実施の形態2の合流支援システム302Aと同様であるため、以下では配車契約の締結処理について説明する。
<E-2.動作>
図41は、配車サーバ401の動作を示すフローチャートである。以下、図41のフローに沿って配車サーバ401の動作を説明する。まず、配車サーバ401は、携帯端末205から配車要求を受信する(ステップS501)。配車要求は、合流地点の情報を含んでおり、さらに、希望車種など利用者が配車車両に求める条件を含んでいても良い。
次に、配車サーバ401は、配車要求の条件を満たす少なくとも1台の配車車両Xの合流支援装置105に配車可否を打診する(ステップS502)。なお、配車要求に条件が無ければ、配車サーバ401は合流地点に近い少なくとも1台の配車車両Xの合流支援装置105に配車可否を打診しても良い。ここで、配車サーバ401は、自動運転車両の合流支援装置105に対して優先的に配車可否を打診しても良い。
次に、配車サーバ401は、配車可否を打診した配車車両Xの合流支援装置105から配車可否の応答を受信する(ステップS503)。そして、配車サーバ401は、配車可能との応答を受信した配車車両Xの情報を携帯端末205に送信する(ステップS504)。その後、配車サーバ401は、携帯端末205から、利用者のプロファイルと、利用者が配車車両として選択した配車車両Xの情報(選択車両情報)を受信する(ステップS505)。
そして、配車サーバ401は、利用者が配車車両として選択した配車車両Xの合流支援装置105に利用者のプロファイルを送信し、配車車両Xと携帯端末205の合流支援装置105の双方に契約締結を通知する(ステップS506)。ここで、利用者のプロファイルは、例えば利用者の支払い情報、または連絡先の情報、さらには<B-7>で言及した特定情報等を含む。
上記では、配車サーバ401が配車契約締結処理を行うことについて説明したが、合流支援装置105と携帯端末205とが直接、配車契約締結処理を行っても良い。
<F.ハードウェア構成>
上記した合流支援装置101-105における、車両制御部11、メッセージ作成部12、測位部13、車両通信部14、および記憶部15は、図42に示す処理回路81により実現される。すなわち、合流支援装置101-105を構成する処理回路81は、車両制御部11、メッセージ作成部12、測位部13、車両通信部14、および記憶部15(以下、「車両制御部11等」と称する)を備える。また、上記した携帯端末201,202A,202B,203-205における、携帯制御部21、携帯通信部22、および測位部24も、図42に示す処理回路81により実現される。すなわち、携帯端末201,202A,202B,203-205を構成する処理回路81は、携帯制御部21、携帯通信部22、および測位部24(以下、「携帯制御部21等」と称する)を備える。処理回路81には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。
処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。車両制御部11等または携帯制御部21等の各部の機能それぞれは、複数の処理回路81で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
処理回路81がプロセッサである場合、車両制御部11等または携帯制御部21等の機能は、ソフトウェア等(ソフトウェア、ファームウェアまたはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図43に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、合流支援装置101-105は、処理回路81により実行されるときに、利用者にジェスチャの実行を要求するメッセージを作成するステップと、配車車両が合流地点またはその周辺にいる時にメッセージを携帯端末201,202A,202B,203-205に送信するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、車両制御部11等の手順または方法をコンピュータに実行させるものであるともいえる。また、携帯端末201,202A,202B,203-205は、処理回路81により実行されるときに、メッセージを合流支援装置101-105から受信するステップと、メッセージに基づき利用者にジェスチャの実行を要求する通知を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、携帯制御部21等の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
以上、車両制御部11等および携帯制御部21等の各機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、合流支援装置101-105において車両制御部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。また、携帯端末201,202A,202B,203-205において携帯制御部21等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。
以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上記の各機能を実現することができる。なお、記憶部15はメモリ83から構成されるが、それらは単一のメモリ83から構成されてもよいし、それぞれが個別のメモリから構成されてもよい。記憶部30についても同様である。
また、上記では合流支援装置101-105を車載装置として説明したが、PND(Portable Navigation Device)、通信端末(例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末)、およびこれらにインストールされるアプリケーションの機能、並びにサーバ(配車サーバ401またはその他のサーバを含む)などを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明した合流支援装置101-105の各機能または各構成要素は、システムを構築する各機器に分散して設置されてもよいし、いずれかの機器に集中して設置されてもよい。
なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。上記の説明は、すべての態様において、例示である。例示されていない無数の変形例が想定され得るものと解される。
11 車両制御部、12 メッセージ作成部、13 測位部、14 車両通信部、15 記憶部、21 携帯制御部、22 携帯通信部、23 通知部、24 測位部、25 操作部、26 表示部、27 音声出力部、28 アウトカメラ、29 インカメラ、30 記憶部、31 GNSS受信機、32 通信装置、33 表示装置、34 音声出力装置、35 操作装置、36 車外ジェスチャ認識装置、37 自動運転制御装置、38 車外報知装置、50-52,66-69 オブジェクト、54-56 アイコン、70 ディスプレイ、71 スピーカ、72 車外表示装置、81 処理回路、82 プロセッサ、83 メモリ、101-105 合流支援装置、201,202A,202B,203-205 携帯端末、301,302A,302B,303-305 合流支援システム、401 配車サーバ。

Claims (17)

  1. 配車車両との合流を希望する利用者の携帯する携帯端末と、
    前記携帯端末と通信を行い前記配車車両と前記利用者の合流地点での合流を支援する合流支援装置と、を備える合流支援システムであって、
    前記合流支援装置は、
    前記利用者にジェスチャの実行を要求するメッセージを作成するメッセージ作成部と、
    前記配車車両が前記合流地点または前記合流地点の周辺にいるタイミングを前記メッセージの送信タイミングと決定する車両制御部と、
    前記送信タイミングで前記メッセージを前記携帯端末に送信する車両通信部と、を備え、
    前記携帯端末は、
    前記メッセージを前記合流支援装置から受信する携帯通信部と、
    前記メッセージに基づき前記利用者に前記ジェスチャの実行を要求する通知を行う通知部と、を備え、
    前記メッセージは、前記ジェスチャの種類を含み、前記ジェスチャの種類は、前記ジェスチャを行う身体の部位を表す部位属性と、前記部位属性で表された身体の部位をどのように動作させるのかを表す動作属性とを含み、
    前記車両制御部は、前記配車車両の運転者により指定された前記ジェスチャの種類を前記メッセージに含める前記ジェスチャの種類として定める、
    合流支援システム。
  2. 前記車両制御部は、前記配車車両、前記合流地点および前記携帯端末の位置関係を、前記配車車両に搭載された表示装置に表示させる、
    請求項1に記載の合流支援システム。
  3. 前記車両制御部は、前記配車車両の運転者の操作情報を取得し、前記運転者の操作情報に基づくタイミングで、前記配車車両、前記合流地点および前記携帯端末の位置関係を前記表示装置に表示させる、
    請求項2に記載の合流支援システム。
  4. 前記車両制御部は、前記配車車両の運転者の操作情報を取得し、前記運転者の操作情報に基づくタイミングで、前記メッセージを送信するタイミングを決定する、
    請求項2または請求項3に記載の合流支援システム。
  5. 前記車両制御部は、前記配車車両に搭載された表示装置に前記ジェスチャの種類を選択するためのジェスチャ選択画面を表示させ、前記ジェスチャ選択画面における前記配車車両の運転者の選択結果に従い、前記メッセージに含める前記ジェスチャの種類を定める、
    請求項1から請求項4のいずれか1項に記載の合流支援システム。
  6. 前記車両制御部は、前記配車車両の運転者の発話音声の認識結果から、前記メッセージに含める前記ジェスチャの種類を定める、
    請求項1から請求項4のいずれか1項に記載の合流支援システム。
  7. 前記車両制御部は、前記配車車両に搭載され前記配車車両の中の人物のジェスチャを認識する車内ジェスチャ認識装置から、前記配車車両の運転者のジェスチャの認識結果を取得し、前記運転者のジェスチャの認識結果から前記メッセージに含める前記ジェスチャの種類を定める、
    請求項1から請求項4のいずれか1項に記載の合流支援システム。
  8. 前記携帯端末は、前記利用者の操作情報を取得する操作部をさらに備え、
    前記携帯通信部は、前記操作部が前記利用者の前記ジェスチャの実行意思に関する操作情報を取得すると、前記利用者の前記ジェスチャの実行意思を表す情報を前記合流支援装置の前記車両通信部に送信し、
    前記車両制御部は、前記利用者の前記ジェスチャの実行意思を前記配車車両の運転者に通知する、
    請求項1から請求項7のいずれか1項に記載の合流支援システム。
  9. 前記操作部は、前記利用者が前記ジェスチャを行わない場合に、前記利用者から前記利用者を特定するための特定情報の操作入力を取得し、
    前記携帯通信部は、前記特定情報を前記合流支援装置の前記車両通信部に送信し、
    前記車両制御部は、前記特定情報を前記配車車両の運転者に通知する、
    請求項8に記載の合流支援システム。
  10. 前記携帯通信部は、前記合流支援装置から前記配車車両の位置を取得し、
    前記通知部は、前記配車車両と前記携帯端末との距離が閾値未満になった場合に、その旨を前記利用者に通知する、
    請求項1から請求項9のいずれか1項に記載の合流支援システム。
  11. 前記携帯通信部は、前記合流支援装置から前記配車車両の位置を取得し、
    前記通知部は、前記配車車両の前記合流地点に対する接近方向を、前記利用者に通知する、
    請求項1から請求項10のいずれか1項に記載の合流支援システム。
  12. 前記車両制御部は、前記配車車両に搭載され前記配車車両の外の人物のジェスチャを認識する車外ジェスチャ認識装置からジェスチャの認識結果を取得する、
    請求項1から請求項11のいずれか1項に記載の合流支援システム。
  13. 前記車両制御部は、前記車外ジェスチャ認識装置によるジェスチャの認識結果に基づき、前記メッセージで実行を要求した前記ジェスチャを実行する前記配車車両の外の人物を前記利用者と特定し、特定した前記利用者を前記配車車両の運転者に通知する、
    請求項12に記載の合流支援システム。
  14. 配車車両との合流を希望する利用者の携帯する携帯端末と、
    前記携帯端末と通信を行い前記配車車両と前記利用者の合流地点での合流を支援する合流支援装置と、を備える合流支援システムであって、
    前記合流支援装置は、
    前記利用者にジェスチャの実行を要求するメッセージを作成するメッセージ作成部と、
    前記配車車両が前記合流地点または前記合流地点の周辺にいるタイミングを前記メッセージの送信タイミングと決定する車両制御部と、
    前記送信タイミングで前記メッセージを前記携帯端末に送信する車両通信部と、を備え、
    前記携帯端末は、
    前記メッセージを前記合流支援装置から受信する携帯通信部と、
    前記メッセージに基づき前記利用者に前記ジェスチャの実行を要求する通知を行う通知部と、を備え、
    前記配車車両は完全自動運転車両であり、
    前記車両制御部は、前記配車車両に搭載され前記配車車両の外の人物のジェスチャを認識する車外ジェスチャ認識装置からジェスチャの認識結果を取得し、
    前記車両制御部は、前記車外ジェスチャ認識装置による前記ジェスチャの認識結果に基づき、前記メッセージで実行を要求した前記ジェスチャを実行する前記配車車両の外の人物を前記利用者と特定し、前記配車車両に搭載された車外報知装置により前記利用者に対する報知を行う、
    合流支援システム。
  15. 前記車外報知装置は、前記配車車両の外面に設けられた車外表示装置であって、
    前記車両制御部は、前記車外表示装置に前記利用者の識別情報を表示することによって、前記利用者に対する報知を行う、
    請求項14に記載の合流支援システム。
  16. 前記車外報知装置は、前記配車車両のヘッドライトであって、
    前記車両制御部は、前記ヘッドライトに前記利用者を照射させることによって、前記利用者に対する報知を行う、
    請求項15に記載の合流支援システム。
  17. メッセージ作成部、車両制御部および車両通信部を備える合流支援装置による合流支援方法であって、
    前記メッセージ作成部が配車車両との合流を希望する利用者にジェスチャの実行を要求するメッセージを作成し、
    前記車両制御部が前記配車車両が前記利用者との合流地点または前記合流地点の周辺にいるタイミングを前記メッセージの送信タイミングと決定し、
    前記車両通信部が前記送信タイミングで前記メッセージを前記利用者の携帯端末に送信し、
    前記メッセージは、前記ジェスチャの種類を含み、前記ジェスチャの種類は、前記ジェスチャを行う身体の部位を表す部位属性と、前記部位属性で表された身体の部位をどのように動作させるのかを表す動作属性とを含み、
    前記メッセージに含められる前記ジェスチャの種類は、前記配車車両の運転者により指定され、
    前記メッセージを受信した前記携帯端末において、前記利用者に前記ジェスチャの実行を要求する通知が行われる、
    合流支援方法。
JP2022502708A 2020-02-27 2020-02-27 合流支援システムおよび合流支援方法 Active JP7267499B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008012 WO2021171475A1 (ja) 2020-02-27 2020-02-27 合流支援システム、合流支援装置および合流支援方法

Publications (3)

Publication Number Publication Date
JPWO2021171475A1 JPWO2021171475A1 (ja) 2021-09-02
JPWO2021171475A5 JPWO2021171475A5 (ja) 2022-05-06
JP7267499B2 true JP7267499B2 (ja) 2023-05-01

Family

ID=77490026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502708A Active JP7267499B2 (ja) 2020-02-27 2020-02-27 合流支援システムおよび合流支援方法

Country Status (4)

Country Link
US (1) US20230003535A1 (ja)
JP (1) JP7267499B2 (ja)
CN (1) CN115136217B (ja)
WO (1) WO2021171475A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022160958A (ja) * 2021-04-07 2022-10-20 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び端末装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342427A (ja) 2001-05-21 2002-11-29 Mazda Motor Corp 配車システム、配車方法、当該方法を実行するコンピュータプログラム、並びに当該コンピュータプログラムを格納した記憶媒体
JP2014041604A (ja) 2012-07-23 2014-03-06 Storadia Ltd 情報処理システム
JP2016201008A (ja) 2015-04-13 2016-12-01 パナソニック株式会社 車載端末装置及びこれを備えた歩車間通信システム及び車両待ち合わせ方法
JP2019067012A (ja) 2017-09-29 2019-04-25 日本電気株式会社 車両制御装置、車両、及び自動配車方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046309A (ja) * 2002-07-09 2004-02-12 Takashi Wada タクシー配車システム
US10042603B2 (en) * 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
EP4131912A1 (en) * 2016-09-09 2023-02-08 Honor Device Co., Ltd. Method and apparatus for pushing notification, mobile terminal, and graphical user interface
JP7062997B2 (ja) * 2018-02-15 2022-05-09 トヨタ自動車株式会社 車両制御システム及び車両制御方法
US10876853B2 (en) * 2018-07-06 2020-12-29 Honda Motor Co., Ltd. Information presentation device, information presentation method, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342427A (ja) 2001-05-21 2002-11-29 Mazda Motor Corp 配車システム、配車方法、当該方法を実行するコンピュータプログラム、並びに当該コンピュータプログラムを格納した記憶媒体
JP2014041604A (ja) 2012-07-23 2014-03-06 Storadia Ltd 情報処理システム
JP2016201008A (ja) 2015-04-13 2016-12-01 パナソニック株式会社 車載端末装置及びこれを備えた歩車間通信システム及び車両待ち合わせ方法
JP2019067012A (ja) 2017-09-29 2019-04-25 日本電気株式会社 車両制御装置、車両、及び自動配車方法

Also Published As

Publication number Publication date
CN115136217A (zh) 2022-09-30
US20230003535A1 (en) 2023-01-05
WO2021171475A1 (ja) 2021-09-02
JPWO2021171475A1 (ja) 2021-09-02
CN115136217B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
US20220017046A1 (en) Vehicle dispatch management system and vehicle dispatch management server
KR102010298B1 (ko) 영상표시장치 및 영상표시장치의 동작방법
US20170083106A1 (en) System and method for gesture-based point of interest search
WO2017186012A1 (zh) 电子地图图层显示方法、装置、终端设备和用户界面系统
KR20200023702A (ko) 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
JP6615380B2 (ja) 自動駐車制御装置および自動駐車制御方法
JP7419495B2 (ja) 投影方法および投影システム
WO2017181868A1 (zh) 应用处理方法、设备、界面系统、控制设备及操作系统
CN110751854B (zh) 汽车的停车指引方法、装置及存储介质
CN104613959A (zh) 用于可穿戴设备的导航方法及装置、电子设备
KR20160053596A (ko) 디바이스가 다른 디바이스를 제어하는 방법 및 그 디바이스
US10063769B2 (en) Electronic apparatus
WO2017219884A1 (zh) 服务图层生成方法、装置、终端设备和用户界面系统
US20200062173A1 (en) Notification control apparatus and method for controlling notification
CN105241463A (zh) 基于导航信息的业务处理方法及装置、电子设备
TW201741628A (zh) 電子地圖索引方法、裝置、終端設備和用戶介面系統
CN115134519B (zh) 远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质
JP7267499B2 (ja) 合流支援システムおよび合流支援方法
US10019853B2 (en) Support server, mobile terminal, and support system
US10429852B2 (en) Methods and devices for controlling self-balancing vehicle to park
US11822314B2 (en) Conveyance control system, conveyance control program, and conveyance control method
EP3842321A1 (en) In-vehicle processing apparatus and in-vehicle processing system
CN109883331A (zh) 车辆标定系统及方法
CN110874947B (zh) 交通控制方法、装置及系统
US20140181651A1 (en) User specific help

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230419

R150 Certificate of patent or registration of utility model

Ref document number: 7267499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150