JP7020550B2 - 配車システムのためのコミュニケーション方法、配車システム及びコミュニケーション装置 - Google Patents

配車システムのためのコミュニケーション方法、配車システム及びコミュニケーション装置 Download PDF

Info

Publication number
JP7020550B2
JP7020550B2 JP2020524698A JP2020524698A JP7020550B2 JP 7020550 B2 JP7020550 B2 JP 7020550B2 JP 2020524698 A JP2020524698 A JP 2020524698A JP 2020524698 A JP2020524698 A JP 2020524698A JP 7020550 B2 JP7020550 B2 JP 7020550B2
Authority
JP
Japan
Prior art keywords
target vehicle
information
user
vehicle information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020524698A
Other languages
English (en)
Other versions
JPWO2019243860A1 (ja
Inventor
政康 鈴木
誠秀 中村
真樹 渡邉
大介 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2019243860A1 publication Critical patent/JPWO2019243860A1/ja
Application granted granted Critical
Publication of JP7020550B2 publication Critical patent/JP7020550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、配車システムにおけるコミュニケーション方法、配車システム及びコミュニケーション装置に関する。
プライバシーを守りつつユーザに配車された車両を特定するために、自動運転車両のドア外側に電子ディスプレイを設け、ユーザ端末に表示するシグナルと同一のシグナルを表示して合図(signaling)する方法が知られている(特許文献1)。
米国特許第9494938号明細書
車両の外側に別の電子ディスプレイを実装する必要があるため、コストアップを招くという問題がある。
本発明が解決しようとする課題は、車両の外側に電子ディスプレイを設けることなく、
ユーザが自分のために配車された車両を特定することができるコミュニケーション方法、配車システム及びコミュニケーション装置を提供する。
本発明は、ユーザの乗車地点の位置を基準として定義された所定エリアに対象車両の現在位置が属すると判断されたタイミングにおいて、車載カメラによって撮像された撮像画像を用いて作成した対象車両情報をユーザ端末装置へ送信し、ディスプレイに対象車両情報を表示することにより、上記課題を解決する。
本発明によれば、ユーザは、ユーザ自身の位置とそのユーザが予約した対象車両との位置関係を認知することができ、ユーザが乗車可能な対象車両を特定できる。
本実施形態に係るコミュニケーション装置を用いた配車システムのブロック構成図である。 乗車地点の周囲の状況の一例を示す図である。 対象車両情報の一例を示す図である。 撮像領域の第1の例を示す図である。 撮像領域の第2の例を示す図である。 撮像領域の第3の例を示す図である。 撮像領域の第4の例を示す図である。 撮像領域の第5の例を示す図である。 撮像領域の第6の例を示す図である。 俯瞰画像を説明するための第1図である。 俯瞰画像を説明するための第2図である。 パノラマ画像を説明するための第1図である。 パノラマ画像を説明するための第2図である。 パノラマ画像を説明するための第3図である。 立体投影画像を説明するための第1図である。 立体投影画像を説明するための第2図である。 対象車両とユーザ端末装置との情報の授受の制御手順の一例を示す図である。
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係るコミュニケーション方法/装置を、配車システムに適用した場合を例にして説明する。本実施形態におけるコミュニケーションの制御処理は、情報の授受に関する制御である。コミュニケーションの制御処理は、通信制御処理、送受信タイミングの制御処理、送受信情報の特定処理の何れか一つ以上を含む。
図1は、配車システム1のブロック構成を示す図である。本実施形態の配車システム1は、車両に搭載され、コミュニケーション装置100と、車両制御装置200と、ユーザ端末装置300とを備える。配車システム1において、車両制御装置200は第1装置であり、ユーザ端末装置300は第2装置である。各装置は、演算処理を実行するプロセッサ(コンピュータ)と通信装置とを備える。
この配車システム1において、第1装置(車両制御装置200)とユーザが携帯する第2装置(ユーザ端末装置300)とは、情報の授受によるコミュニケーションを行う。コミュニケーション装置100は、第1装置(車両制御装置200)と第2装置(ユーザ端末装置300)とのコミュニケーション(情報の交換)を制御する。
本発明にかかるコミュニケーション方法は、コミュニケーション装置100により実施される。図1において、コミュニケーション装置100は、車両制御装置200及びユーザ端末装置300とは別体として、独立に構築された装置として説明する。コミュニケーション装置100は、車両制御装置200及びユーザ端末装置300と、通信可能なネットワーク上に構築される。
コミュニケーション装置100の態様は限定されない。コミュニケーション装置100は、車両制御装置200に組み込むことができる。コミュニケーション装置100は、ユーザ端末装置300に組み込むことができる。
コミュニケーション装置100は、車両制御装置200と、ユーザ端末装置300と通信を行う通信機能を備え、有線通信又は無線通信により互いに情報を授受する。第1装置としての車両制御装置200は、少なくともカメラ51を備える。カメラ51は、電子的指令を受け付け、電子的指令に基づいてカメラ51を動作させる制御デバイスを備える。カメラ51は、電子的指令に従い撮像動作を実行する。電子的指令は、コミュニケーション装置100により生成され、車両制御装置200の通信装置40を介してカメラ51に入力される。電子的指令は、複数のカメラ51の識別情報を含む。電子的指令により、複数のカメラ51のうち特定の一又は複数のカメラ51の撮像動作を実行させることができる。カメラ51は広角レンズを備えてもよい。検出装置50は、カメラ51の撮像画像から所定の撮像方向を含む所定領域の撮像画像を切り出すことができる。カメラ51は、その撮像方向を変化させる駆動装置を備えてもよい。カメラ51の撮像方向を所定の方向とし、所定の方向の撮像画像を得ることができる。
第2装置としてのユーザ端末装置300は少なくともディスプレイ331を備える。ディスプレイ331は、電子的指令を受け付け、電子的指令に基づいてディスプレイ331を動作させる制御デバイスを備える。ディスプレイ331は出力(表示)機能と入力受付機能を兼ねるタッチパネル式のディスプレイである。ディスプレイ331は、電子的指令に従い、後述する対象車両情報を提示する動作を実行する。電子的指令は、コミュニケーション装置100により生成され、ユーザ端末装置300の通信装置320を介してディスプレイ331に入力される。
本実施形態の車両制御装置200は、車両に自律走行を実行させる。特に限定されないが、車両制御装置200は、対象車両が走行している車線を認識し、車線のレーンマーカの位置と対象車両の位置とが所定の関係を維持するように対象車両V1の動きを制御する。車両制御装置200は、車両が走行するレーンのレーンマーカから対象車両V1までの路幅方向に沿う距離(横位置)が所定値域となるように、対象車両V1の動きを制御する。レーンマーカは、レーンを規定する機能を有するものであれば限定されず、路面に描かれた線図、道路に埋め込まれた発光体、レーンの間に存在する植栽、レーンの路肩側に存在するガードレール、縁石、歩道、二輪車専用道路などの道路構造物であってもよい。また、レーンマーカは、レーンの路肩側に存在する看板、標識、店舗、街路樹などの不動の物体であってもよい。
図1に示すように、本実施形態の車両制御装置200は、通信装置40と、検出装置50と、センサ60と、車両コントローラ70と、駆動装置80と、操舵装置90と、出力装置110と、ナビゲーション装置120とを備える。車両制御装置200を構成する各装置は、相互に情報の授受を行うためにCAN(Controller Area Network)その他の車載LANによって接続されている。
検出装置50は、対象車両V1の周囲の状況を検出する。検出装置50は、対象車両V1の周囲に存在する対象物の存在及びその存在位置を検出する。特に限定されないが、本実施形態の検出装置50はカメラ51を含む。カメラ51は、赤外線カメラ、ステレオカメラでもよい。本実施形態のカメラ51は、例えばCCD、CMOS等の撮像素子を備える撮像装置である。カメラ51は対象車両V1の所定の位置に設置され、対象車両V1の周囲の対象物を撮像する。撮像対象となる対象車両の周囲は、対象車両V1の前方、後方、前方側方、後方側方を含む。カメラ51は、撮像方向を変更させる駆動装置を備えてもよい。駆動装置は、カメラ51の撮像方向を制御する。駆動装置が設けられたカメラ51の撮像画像には、撮像方向の情報が付される。カメラ51により撮像される対象物は、標識などの静止物体、歩行者・他車両などの移動物体を含む。標識は、路面に表示された二次元の標識と、看板などの立体的な標識を含む。
複数のカメラ51が配置される場合には、各カメラ51に識別情報が付される。識別情報には、カメラ51の配置位置及び撮像領域が含まれる。各カメラ51は、撮像した撮像画像に自己の識別情報を付して送出する。
検出装置50は、画像データを解析し、その解析結果に基づいて対象物の種別を識別してもよい。検出装置50は、パターンマッチング技術などを用いて、画像データに含まれる対象物が、車両であるか、歩行者(人間)であるか、標識であるか否かを識別する。また、検出装置50は、画像データから対象物の像を抽出し、その像の大きさや形状から対象物の具体的な種別(四輪車、二輪車、バス、トラック、工事車両など)や、車種(小型車、大型車)や、特殊車両(緊急自動車など)を識別できる。検出装置50は、レーンマーカの形状から、対象車両V1の走行レーンが直進レーン、右左折レーン、合流レーンなどのレーンの属性を識別できる。検出装置50は、標識の表示から停車可能位置、退避レーンであることを判断し、対象車両V1の停止位置の状態を認識できる。
検出装置50は、コミュニケーション装置100から取得したユーザの顔の画像上の特徴(外観上の特徴)を予め記憶し、パターンマッチング技術を用いて、歩行者(人間)として検出された対象物の画像上の特徴との一致度を判断し、一致度が所定値以上である場合には、検出された対象物が歩行者であり、かつ対象車両V1の利用を予約したユーザであると判断する。画像データから対象物を抽出する手法、対象物の顔画像の特徴を抽出する手法は、特に限定されず、出願時に知られた手法を適宜に利用できる。
検出装置50は、取得した画像データを処理し、対象車両V1の周囲に存在する対象物の位置に基づいて、対象車両V1から対象物までの距離及び又は対象車両V1に対する対象物の存在する方向を取得する。画像データに基づく走行場面情報の導出処理については、本願出願時に知られている手法を適宜に用いることができる。
なお、本実施形態の検出装置50はレーダー装置52を用いてもよい。レーダー装置52としては、ミリ波レーダー、レーザーレーダー、超音波レーダーなどの出願時に知られた方式のものを用いることができる。検出装置50は、取得した計測データを処理し、対象車両V1の周囲に存在する対象物の位置に基づいて、対象車両V1から対象物までの距離及び又は対象車両V1に対する対象物の存在する方向を取得する。計測データに基づく走行場面情報の導出処理については、本願出願時に知られている手法を適宜に用いることができる。
本実施形態のセンサ60は、操舵角センサ61、車速センサ62を備える。操舵角センサ61は、対象車両V1の操舵量、操舵速度、操舵加速度などの操舵に関する操舵情報に基づく進行方向を検出し、車両コントローラ70、通信装置40を介してコミュニケーション装置100へ送出する。車速センサ62は、対象車両V1の進行方向、対象車両V1の車速・加速度などに基づく走行速度(停止を含む)を検出し、車両コントローラ70、通信装置40を介してコミュニケーション装置100へ送出する。
本実施形態の車両コントローラ70は、エンジンコントロールユニット(Engine Control Unit,ECU)などの車載コンピュータであり、車両の運転状態を電子的に制御する。本実施形態の車両としては、電動モータを走行駆動源として備える電気自動車、内燃機関を走行駆動源として備えるエンジン自動車、電動モータ及び内燃機関の両方を走行駆動源として備えるハイブリッド自動車を例示できる。なお、電動モータを走行駆動源とする電気自動車やハイブリッド自動車には、二次電池を電動モータの電源とするタイプや燃料電池を電動モータの電源とするタイプのものも含まれる。
本実施形態の駆動装置80は、対象車両V1の駆動機構を備える。駆動機構には、上述した走行駆動源である電動モータ及び/又は内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、及び車輪を制動する制動装置81などが含まれる。駆動装置80は、アクセル操作及びブレーキ操作による入力信号、車両コントローラ70又はコミュニケーション装置100から取得した制御信号に基づいてこれら駆動機構の各制御信号を生成し、車両の加減速を含む走行制御を実行する。駆動装置80に制御情報を送出することにより、車両の加減速を含む走行制御を自動的に行うことができる。なお、ハイブリッド自動車の場合には、車両の走行状態に応じた電動モータと内燃機関とのそれぞれに出力するトルク配分も駆動装置80に送出される。
本実施形態の操舵装置90は、ステアリングアクチュエータを備える。ステアリングアクチュエータは、ステアリングのコラムシャフトに取り付けられるモータ等を含む。操舵装置90は、車両コントローラ70から取得した制御信号、又はステアリング操作により入力信号に基づいて車両の進行方向の変更制御を実行する。車両コントローラ70は、操舵量を含む制御情報を操舵装置90に送出することにより、進行方向の変更制御を実行する。車両コントローラ70は、自動運転(自律走行)の処理を実行する一又は複数のプロセッサ71を備える。
本実施形態のナビゲーション装置120は、対象車両V1の現在位置から目的地までの経路を設定し、後述する出力装置110を介して車両コントローラ70に経路情報を出力する。ナビゲーション装置120は、位置検出装置121と、道路種別、道路幅、道路形状その他の道路情報122と、道路情報122が各地点に対応づけられた地図情報123とを有する。地図情報123は、道路情報122に対応づけられた施設情報124を含む。施設情報124は、施設の属性、施設の位置を含む。施設情報124は、いわゆるPOI:Point of Interestの情報を含む。本実施形態の位置検出装置121は、グローバル・ポジショニング・システム(Global Positioning System,GPS)を備え、走行中の車両の走行位置(緯度・経度)を検出する。ナビゲーション装置120は、位置検出装置121により検出された対象車両V1の現在位置に基づいて、対象車両V1が走行する経路及び道路リンクを特定する。本実施形態の道路情報122は、各道路リンクの識別情報ごとに、交差点の位置、交差点の進行方向、交差点の種別その他の交差点に関する情報を対応づけて記憶する。ナビゲーション装置120は、位置検出装置121により検出された対象車両V1の現在位置を所定周期で継続的にコミュニケーション装置100に送信する。
本実施形態の出力装置110は、運転行動に基づく走行制御に関する情報を出力する。目標経路上を対象車両V1に走行させる制御情報に応じた情報として、操舵操作や加減速が実行されることをディスプレイ111、スピーカ112のほか車室外ランプ、車室内ランプを介して、対象車両V1の乗員又は他車両の乗員に予め知らせる。また、本実施形態の出力装置110は、通信装置40を介して、高度道路交通システム(Intelligent Transport Systems:ITS)などの外部装置に走行支援に関する各種の情報を出力してもよい。高度道路交通システムなどの外部装置は、車両の速度、操舵情報、走行経路などを含む走行支援に関する情報を、複数の車両の交通管理に用いる。出力情報を認識した、対象車両V1の乗員及び/他車両の乗員は、走行制御される対象車両V1の挙動に応じた対応ができる。
ユーザ端末装置300について説明する。ユーザ端末装置300は、対象車両の利用を予約したユーザが携帯する。ユーザ端末装置300は、ユーザが携帯可能なPDA(Personal Digital Assistant)、スマートフォンなどの小型コンピュータである。
図1に示すように、ユーザ端末装置300は、プロセッサ310と、通信装置320と、入出力装置330とを備える。ユーザ端末装置300は、通信装置320を介して車両制御装置200及び/又はコミュニケーション装置100と情報の授受を行う。ユーザ端末装置300は、コミュニケーション装置100と一体に形成されてもよい。
入出力装置330は、ディスプレイ331、スピーカ332、を含む。第2装置(ユーザ端末装置300)のプロセッサ310は、車両制御装置200から送出され、受信した対象車両情報をディスプレイ331に表示する。ディスプレイ331は、タッチパネル式のディスプレイである。ディスプレイ331は、ユーザの登録情報、ユーザの予約情報などの入力を受け付ける。登録情報は、ユーザの氏名、ユーザの顔写真などの個人情報を含む。予約情報は、ユーザの識別情報、予約日時、予約した対象車両の識別情報、対象車両の利用を開始する乗車地点の情報、利用時間などを含む。予約情報は、コミュニケーション装置100へ送出される。本例では、入出力装置330が第2装置に設けられた例を示すが、入出力装置330は、第2装置とは別のハードウェアとして構成してもよい。第2装置(ユーザ端末装置300)のプロセッサ310は、車両制御装置200から送出され、受信した対象車両情報を表示させる命令を、通信を介してディスプレイ331に送信し、ディスプレイ331に表示処理を実行させる。
以下、本実施形態のコミュニケーション装置100について説明する。
図1に示すように、本実施形態のコミュニケーション装置100は、プロセッサ10と、通信装置20と、出力装置30とを備える。通信装置20は、車両制御装置200及び/又はユーザ端末装置300との情報の授受を行う。出力装置30は、先述した車両制御装置200の出力装置110と同様の機能を有する。出力装置30として、車両制御装置200の出力装置110を用いてもよい。
コミュニケーション装置100のプロセッサ10は、対象車両V1の走行制御を実行させるプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、コミュニケーション装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えるコンピュータである。
本実施形態に係るコミュニケーション装置100のプロセッサ10は、情報取得機能と、情報の生成機能と、出力機能とを有する。本実施形態のプロセッサ10は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
コミュニケーション装置100は、ユーザの乗車地点の位置を取得する乗車地点取得部と、ユーザに配車される対象車両の現在位置と、対象車両が備える一又は二以上のカメラによって撮像された撮像画像を取得する車両情報取得部と、乗車地点の位置を基準として定義された所定エリアに対象車両の現在位置が属すると判断された識別タイミングにおいて、撮像画像を用いて対象車両情報を生成する対象車両情報生成部と、対象車両情報をユーザ端末へ送信するよう制御する通信制御部とを備える。
プロセッサ10が備える乗車地点取得部、車両情報取得部は、情報取得機能を実現する。プロセッサ10が備える対象車両情報生成部は、情報の生成機能を実現する。プロセッサ10が備える通信制御部は、出力を制御する出力機能を実現する。
以下、本実施形態に係るコミュニケーション装置100の各機能について説明する。
プロセッサ10は、通信装置320を介して対象車両V1の周囲の状況を構成する情報を取得する。プロセッサ10は、検出装置50から撮像画像及び/又は検出情報を取得する。プロセッサ10は、ナビゲーション装置120の検出した位置情報を取得する。
プロセッサ10は、ユーザが予約した対象車両に乗車する乗車地点の位置を取得する。プロセッサ10は、ユーザが乗車する予定である(予約した)対象車両の現在位置を含む情報を取得する。対象車両の位置は、ナビゲーション装置120の位置検出装置121により検出される。対象車両の情報は、対象車両の車速、加速度を含む。プロセッサ10は、対象車両の速度を車速センサ62から取得する。対象車両の速度は、対象車両の位置の経時的な変化に基づいて算出できる。対象車両の加速度は、対象車両の速度から算出できる。対象車両の情報は、対象車両V1の現在位置と車速から求められた、将来の時刻における対象車両の位置を含む。対象車両の現在位置と速度等から、目的地である乗車地点に到着するタイミングを予測できる。将来の時刻における対象車両の位置に基づいて、将来の時刻における対象車両とユーザや施設との位置関係を求めることができる。
図2は、対象車両V1が乗車地点PPへ向かう場面の一例を示す。図2に示す場面では、対象車両V1が、交差点CPへ向かい、交差点CPを左折し、退避エリアに設定された乗車地点PPへ向かう。乗車地点PPの前方には、駅STが存在する。乗車地点PPの前方左側には、ストアSPが存在する。ユーザUMは、ストアSPを背に、乗車地点PPに向かって移動している。
プロセッサ10は、ユーザUMが入力した予約情報に含まれる乗車地点PPを取得する。プロセッサ10は、ユーザUMが指定した乗車地点PPの位置を基準として所定エリアR1を設定する。プロセッサ10は、この所定エリアR1に対象車両V1の現在位置が属すると判断されたタイミングを識別タイミングとする。対象車両V1の現在位置が所定エリアR1に属するか否かは、対象車両V1の所定位置が所定エリアR1に属するか否かに基づいて判断してもよいし、対象車両V1の一部又は全部が所定エリアR1に属するか否かに基づいて判断してもよい。プロセッサ10は、識別タイミングにおいて、対象車両情報を生成する。プロセッサ10は、対象車両V1が備える一又は二以上のカメラ51によって撮像された撮像画像GFを用いて生成する。識別タイミングは、ユーザUMの乗車地点PPを基準とする所定エリアR1に対象車両V1(予約した車両)が属したタイミングであるので、対象車両V1を利用しようとするユーザUMが対象車両V1の存在位置を意識するタイミングである。プロセッサ10は、このタイミングにおいて、対象車両V1の周囲の状況を示す撮像画像GFを用いて対象車両情報を生成する。プロセッサ10は、識別タイミングにおいて生成した対象車両情報を第2装置であるユーザ端末装置300へ送信する。ユーザ端末装置300は、対象車両情報をディスプレイ331に表示するので、ユーザUMは、対象車両V1の存在位置を確認したいタイミングで、そのタイミングにおける対象車両V1の周囲の状況を示す撮像画像GFを含む対象車両情報を認識ができる。
プロセッサ10は、乗車地点PPから所定距離D1の範囲である所定エリアR1に対象車両V1の現在位置が属すると判断された識別タイミングにおいて、対象車両情報を生成する。識別タイミングを乗車地点PPから所定距離D1の範囲に対象車両V1が進入したタイミングとするので、ユーザUMは、対象車両V1が乗車地点PPに近づき、予約時刻が迫り、存在位置を確認したいタイミングで、そのタイミングにおける周囲の状況を示す撮像画像GFを含む対象車両情報GMを確認できる。
プロセッサ10は、乗車地点PPに最も近い交差点CPの通過地点APが属する範囲である所定エリアR2に対象車両V1の現在位置が属すると判断された識別タイミングにおいて、対象車両情報を生成する。対象車両V1の経路はナビゲーション装置120により計算される。ナビゲーション装置120は、地図情報123及び道路情報122を参照し、経路上を走行する対象車両V1が乗車地点PPに至るまでに最後に通過する交差点CP(乗車地点PPに最も近い交差点CP)を抽出できる。交差点CPの情報は、コミュニケーション装置100へ送信される。乗車地点PPに最も近い交差点CPを通過したタイミングで対象車両情報を生成し、送信するので、ユーザUMは、対象車両V1の存在位置を確認したいタイミングで、そのタイミングにおける周囲の状況を示す撮像画像GFを含む対象車両情報GMを確認できる。
プロセッサ10は、ユーザUMから対象車両情報GMの要求を受信した識別タイミングにおいて、対象車両情報GMを生成する。対象車両情報GMの要求をしたタイミングは、ユーザUMが積極的に対象車両V1の所在・状況を確認したいタイミングである。ユーザUMが乗車地点PP近傍に接近したときに対象車両V1の所在・状況が確認できない場合や、ユーザUMが乗車地点PPへの到着が遅れそうなときに、ユーザUMは対象車両V1の所在・状況を確認できる。プロセッサ10は、ユーザUMからの要求に呼応して、対象車両情報GMを生成し、ユーザUMに提示する。ユーザUMは、対象車両V1の存在位置を確認したいタイミングで、そのタイミングにおける周囲の状況を示す撮像画像GFを含む対象車両情報GMを確認できる。
図3には、対象車両V1の前方の撮像画像GFを用いて生成された対象車両情報GMの一例を示す。対象車両情報GMは、さらに対象車両V1の進行方向を示す進行方向情報DFを含む。進行方向情報DFは、矢印や三角形などの方向を示す図形で表現してもよい。
図4Aに示すように、プロセッサ10は、対象車両V1の進行方向の撮像画像GFを含む対象車両情報GMを生成する。撮像領域Q1の撮像方向は進行方向と共通する。プロセッサ10は、進行方向の撮像画像GFの取得及び送信の指令を車両制御装置200へ送出してもよい。図4Bに示すように、乗車地点PPに至るまでに最後に通過する交差点CP(乗車地点PPに最も近い交差点CP)を通過した地点において、対象車両V1の進行方向の撮像画像GFを含む対象車両情報GMを生成する。撮像領域Q1の撮像方向は進行方向と共通する。
図4Bに示す対象車両V1の進行方向には、駅STが存在する。対象車両V1の進行方向の撮像画像GFには駅STの画像が含まれる(図3参照)。このタイミングで生成される対象車両情報GMは、駅STの撮像画像GFを含む。乗車地点PPを指定したユーザUMは、乗車地点PPの周囲の状況をすでに認知している可能性がある。対象車両情報GMを見たユーザUMは、対象車両V1の進行方向を推測できる。対象車両V1の進行方向に基づいて対象車両V1がどの方向から乗車地点PPに接近するかを判断できる。これにより、ユーザUMは、自分が乗車できる対象車両V1を特定できる。
プロセッサ10は、図4Cに示すように、対象車両V1に対して乗車地点PPが所在する方向を撮像した撮像画像GFを用いて対象車両情報GMを生成する。この場合は、対象車両V1の進行方向と撮像方向は異なる。撮像方向は乗車地点PPへ至る方向である。撮像領域Q3に乗車地点PPを含ませてもよい。移動中の対象車両V1は、乗車地点PPに接近する。乗車地点PPはユーザUMが指定した地点であり、また、ユーザUMも乗車地点PPに向かって移動している。乗車地点PPに向かう方向の撮像画像GFを見たユーザUMは、対象車両V1がどの方向から乗車地点PPに接近するかを判断できる。これにより、ユーザUMは、自分が乗車できる対象車両V1を特定できる。
プロセッサ10は、乗車地点PPの周囲の施設を撮像させる命令を車両制御装置200へ送出してもよい。プロセッサ10は、地図情報123に含まれる施設情報124を参照し、乗車地点PPの近傍に存在する施設を検索し、対象車両V1に対して施設が所在する方向の撮像画像GFを用いて対象車両情報GMを作成する。プロセッサ10は、乗車地点PPの周囲の施設の特定情報を含む命令を車両制御装置200へ送出してもよいし、地図情報123及び施設情報124を参照して、対象車両V1に対して施設が存在する方向である撮像方向を含む命令を車両制御装置200へ送出してもよい。例えば、図4Dに示すように、左前方の店舗SPの像を含む撮像画像GFを撮像させる命令を車両制御装置200へ送出してもよい。撮像領域Q4の撮像方向は対象車両V1から店舗SPの存在する方向である。撮像領域Q4は、店舗SPを含む。店舗SPの位置は、ナビゲーション装置120が有する施設情報124を参照して判断できる。乗車地点PPを指定したユーザUMは、乗車地点PPの周囲の施設をすでに知っている可能性がある。対象車両情報GMに含まれる施設を確認すれば、ユーザUMは対象車両V1の進行方向を推測できる。対象車両V1の進行方向に基づいて対象車両V1がどの方向から乗車地点PPに接近するのかを予測できる。これにより、ユーザUMは、自分が予約した対象車両V1を特定できる。
プロセッサ10は、対象車両V1が走行中である場合には、対象車両V1の進行方向の撮像画像GFを含む対象車両情報GMを生成し、対象車両V1が乗車地点PPの近傍で停止した場合には、ユーザUMが乗降する左右何れかの方向の撮像画像GFを含む対象車両情報GMを生成するようにしてもよい。乗車地点PPに所在する対象車両V1の左側又は右側の撮像画像GFは、対象車両V1に近づくユーザUMの背後の映像である。ユーザUMは背後の状況と対象車両情報GMとを比較することにより、対象車両V1を特定できる。
プロセッサ10は、物体の画像が含まれる撮像画像GFを用いて対象車両情報GMを生成する。乗車地点PPに接近する対象車両V1がすれ違う他車両、歩行者、自転車などの物体の像が撮像画像GFに含まれる場合には、その物体との位置関係に基づいて対象車両V1を特定できる。特に、物体が移動体である場合には、移動体(物体)と対象車両V1との位置関係はタイミングが限定されるので、移動体(物体)の撮像画像GFに基づいて対象車両V1を特定できる。
プロセッサ10は、図4Eに示すように、対象車両V1に対してユーザUMが所在する方向を撮像した撮像画像GFを用いて対象車両情報GMを生成する。撮像領域Q5の撮像方向はユーザUMが存在する方向である。撮像領域Q5には、ユーザUMが含まれる。プロセッサ10は、ユーザ端末装置300が備える位置検出装置が検出した位置情報をユーザUMの位置として取得する。ユーザUMが所在する方向の撮像画像GFにはユーザUMの像が含まれている可能性が高い。ユーザUMは自分の像が含まれる撮像画像GFにより、対象車両V1の進行方向を判断し、対象車両V1を特定できる。
プロセッサ10は、ユーザUMの顔画像を取得し、ユーザUMの顔画像と所定の一致度を有する画像が含まれる撮像画像GFを用いて対象車両情報GMを生成する。図4Eに示すように、撮像領域Q5の撮像方向はユーザUMの顔が存在する方向である。撮像領域Q5には、ユーザUMの顔が含まれる。プロセッサ10は、予めユーザ登録された顔情報の特徴と、撮像画像GFに含まれる人間の顔の特徴とをマッチングし、ユーザUMの存在位置を判断する。ユーザUMの顔の像が含まれる撮像画像GFを用いて対象車両情報GMを生成する。ユーザUMの顔が含まれる撮像画像GFにより、対象車両V1の進行方向を判断し、対象車両V1を特定できる。
プロセッサ10は、撮像方向を含む対象車両情報GMを生成する。対象車両情報GMは、撮像方向を示す撮像方向情報DSを含む。撮像方向情報DSの表示態様は、図3に示す進行方向情報DFと同様であり、矢印や三角形などの方向を示す図形で表現してもよい。図3に示す例では、進行方向と撮像方向が共通するが、撮像方向を進行方向と異なる方向としてもよい。撮像方向を施設が存在する方向やユーザUMが存在する方向としてもよい。対象車両V1を基準として撮像方向を示す撮像方向情報DSが対象車両情報GMに含まれるので、ユーザUMは車載されたカメラ51の撮像方向を判断して、撮像画像GFを用いた対象車両情報GMを参照して対象車両V1を特定できる。
プロセッサ10は、対象車両V1が乗車地点PPの近傍で停止した場合には、ユーザUMが乗降する左右何れかの方向の撮像画像GFを含む対象車両情報GMを生成する。図4Fに示す例では、左側の方向を撮像方向とし、撮像領域Q6の撮像画像GFを取得する。対象車両V1が乗車地点PPに到着したと判断した場合に、対象車両V1は乗車地点PPの近傍で停止する。プロセッサ10は、このタイミングを識別タイミングとする。ユーザUMが乗降する方向は、路肩側の方向である。プロセッサ10は、道路情報122及び地図情報123を参照し、対象車両V1が走行するレーンの右側又は左側のいずれの側が路肩側であるかを判断する。路肩側とは、同じ方向のレーンが隣接しない側である。左右何れかの方向の撮像画像GFは、車両に対するカメラ51の配置は予めプロセッサ10又は車両コントローラ70が記憶する。右側の方向の撮像画像GFを取得する場合には、プロセッサ10は対象車両V1の右側のカメラ51に撮像命令を実行させる。左側の方向の撮像画像GFを取得する場合には、プロセッサ10は対象車両V1の左側のカメラ51に撮像命令を実行させる。
本実施形態の対象車両情報GMの態様は限定されない。
プロセッサ10は、対象車両V1が備える複数のカメラ51の撮像画像GFを合成した俯瞰画像を含む対象車両情報GMを生成する。俯瞰画像は、車両の前後及び左右の各位置に配置された複数のカメラ51の撮像画像GFをつなぎ合わせ、上空の仮想視点から対象車両V1のルーフを見下ろす画像である。俯瞰画像には、対象車両V1の全周囲の領域の映像が含まれる。ユーザUMは、俯瞰画像を含む対象車両情報GMにより、対象車両V1の周囲の状況を認識することができる。
例えば、図5Aに示すように、フロントグリル部分などの対象車両V1の前方の所定位置に設置されたカメラ51aは、前方のエリアSP1内及びその前方の空間を撮影する。エリアSP1を含む空間の撮像画像GF(フロントビュー)を得る。また、左サイドミラー部分などの対象車両V1の左側方の所定位置に設置されたカメラ51bは、左側方のエリアSP2内及びその周囲の空間を撮影する。エリアSP2を含む空間の撮像画像GF(左サイドビュー)を得る。また、リアフィニッシャー部分やルーフスポイラー部分などの対象車両V1の後方部分の所定位置に設置されたカメラ51cは、対象車両V1の後方のエリアSP3内及びその後方の空間を撮影する。エリアSP3を含む空間の撮像画像GF(リアビュー)を得る。また、右サイドミラー部分などの対象車両V1の右側方の所定位置に設置されたカメラ51dは、対象車両V1右側方のエリアSP4内及びその周囲の空間を撮影する。エリアSP4を含む空間の撮像画像GF(右サイドビュー)を得る。図5Bは、各カメラ51a~51dの配置及びエリアSP1~SP4を上空に設定された仮想視点OPから対象車両V1の上面(ルーフ)を見た図である。図5Bに示すように、フロントビュー、左サイドビュー、リアビュー、右サイドビューは共通の平面座標(X-Y座標)に変換され、重複部分を合成し、重複部分の画像の歪みを訂正し、一の周囲監視画像を作成する。
プロセッサ10は、対象車両V1が備える複数のカメラ51の撮像画像GFを合成したパノラマ画像を含む対象車両情報GMを生成する。パノラマ画像は、車両の前後及び左右の各位置に配置された複数のカメラ51の撮像画像GFをつなぎ合わせ、車両の周囲を取り囲むように設定された座標に投影した画像である。パノラマ画像には、対象車両V1の全周囲の領域の映像が含まれる。ユーザUMは、パノラマ画像を含む対象車両情報GMにより、対象車両V1の周囲の状況を認識することができる。
パノラマ画像は、投影モデルに撮像画像GFを投影して得る。投影モデルは予め定義できる。本例では、図6Aに示すように、車両の接地面(走行面)を底面とする柱体の投影モデルMを採用する。柱体の投影モデルMの側面に設定された投影面に、取得された撮像画像GFを投影させるためのマッピング情報は予め準備される。マッピング情報は、撮像画像GFの座標と、モデルMの座標とを対応づける情報である。図6Bは、図6Aに示す投影モデルMのxy面に沿う断面模式図である。
図6A及び6Bに示す投影モデルMは、底面が正八角形で、鉛直方向(図中z軸方向)に沿って高さを有する正八角柱体である。なお、投影モデルMの形状は限定されず、円柱体、若しくは三角柱体、四角柱体、六角柱体などの角柱体、又は底面が多角形で側面が三角形の三角柱体とすることもできる。
投影モデルMの側面の内側面には、投影モデルMの底面に接地する対象車両V1の周囲の映像を映し出す投影面Sa,Sb,Sc,Sd(以下、投影面Sと総称する。)が設定されている。カメラ51aの撮像方向に位置する投影面Saに対象車両V1の前方の撮像画像GFを投影し、カメラ51bの撮像方向に位置する投影面Sbに対象車両V1の右側方の撮像画像GFを投影し、カメラ51cの撮像方向に位置する投影面Scに対象車両V1の後方の撮像画像GFを投影し、カメラ51dの撮像方向に位置する投影面Sdに対象車両V1の左側方の撮像画像GFを投影することができる。投影モデルMに投影された撮像画像GFは、あたかも乗用車Vの周囲を見回したときに見える映像となる。図6Cにユーザ端末装置300に表示される対象車両情報GMの一例を示す。ユーザ端末装置300のタッチパネル式のディスプレイ331を操作して、仮想視点を指定し、他の投影面Sを表示させることができる。
プロセッサ10は、対象車両V1が備える複数のカメラ51の撮像画像GFを立体座標に投影した立体投影画像を含む対象車両情報GMを生成する。立体投影画像は、車両の前後及び左右の各位置に配置された複数のカメラ51の撮像画像GFをつなぎ合わせ、車両の周囲を取り囲むように設定された立体座標に投影した画像である。立体投影画像には、対象車両V1の全周囲の領域の映像が含まれる。ユーザUMは、立体投影画像を含む対象車両情報GMにより、対象車両V1の周囲の状況を認識することができる。
立体座標系の形状は限定されない。図7Aに、円筒形状の立体座標系M一例を示す。円筒内に設定された平面G0上に対象車両V1が位置するように、立体座標系Mを設定する。図7Bに、球形状の立体座標系Mの一例を示す。球内に設定された平面G0上に対象車両V1が位置するように、立体座標系Mを設定する。投影モデルとなる立体座標系Mの形状は、日本国特許庁が公開した特開2012-138660号公報に開示された、お椀(ボウル:Bowl)形状であってもよい。立体座標系Mの投影面に、取得された撮像画像GFを投影させるためのマッピング情報は予め準備される。マッピング情報は、撮像画像GFの座標と、立体座標系Mの座標とを対応づける情報である。
本実施形態のコミュニケーション装置100の制御手順を、図8のフローチャートに基づいて説明する。なお、各ステップでの処理の内容は、上述したとおりであるため、ここでは処理の流れを中心に説明する。
ステップS101において、プロセッサ10は、対象車両V1の現在位置を取得する。ステップS102において、プロセッサ10は、カメラ51の撮像画像GFを取得する。カメラ51が複数ある場合には、カメラ51の配置情報(設けられた位置の情報)を含む識別情報を撮像画像GFとともに取得する。ステップS103において、プロセッサ10は、対象車両の進行方向、速度などの車両情報を取得する。
ステップS104において、プロセッサ10は、識別タイミングであるか否かを判断する。識別タイミングは、乗車地点PPの位置を基準として定義された所定エリアR1に対象車両V1の現在位置が属すると判断されたタイミングである。識別タイミングは、乗車地点PPから所定距離D1の範囲である所定エリアR1に対象車両V1の現在位置が属すると判断されたタイミングとしてもよい。識別タイミングは、乗車地点PPに最も近い交差点CPの通過地点が属する範囲である所定エリアR2に対象車両V1の現在位置が属すると判断されたタイミングとしてもよい。識別タイミングは、ユーザUMから対象車両情報GMの要求を受信したタイミングとしてもよい。
ステップS105において、プロセッサ10は、対象車両V1が乗車地点PPに到着したか否かを判断する。対象車両V1の現在位置とユーザUMの予約で指定された乗車地点PPとを比較し、差分が所定値未満である場合には、対象車両V1が乗車地点PPに到着したと判断する。対象車両V1が乗車地点PPに到着したと判断されなかった場合には、ステップS106に進む。
ステップS106において、プロセッサ10は、対象車両V1の進行方向の撮像画像GFを含む対象車両情報GMを生成し、ユーザ端末装置300に送信する。対象車両V1が向かう乗車地点PPの所在方向を撮像方向としてもよい。ステップS107において、プロセッサ10は、対象車両V1の周囲に特徴的な対象(施設、物体、ユーザ)が存在するか否かを判断する。特徴的な対象が存在する場合には、ステップS108に進み、対象の画像を含む撮像画像GFを用いた対象車両情報GMを生成し、ユーザ端末装置300に送信する。店舗SP、駅STなどの施設の画像、他車両、歩行者、自転車などの物体の画像、又は対象車両V1の予約をしたユーザUMの画像を含む対象車両情報GMがユーザUMに提示される。ユーザUMは、対象車両情報GMにより対象車両V1の進行方向を知ることができ、乗車地点PPに向かう車両のうち、ユーザUMが予約した対象車両を特定することができる。
ステップS105に戻り、対象車両V1が乗車地点PPに到着した場合には、ステップS110に進む。ステップS110において、プロセッサ10は、ユーザUMが乗車する左右何れかの方向の撮像画像GFを含む対象車両情報GMを生成する。ユーザUMが乗車する方向(車幅方向の右側又は左側)は、対象車両V1が走行するレーンの路肩側である。この情報は、ナビゲーション装置120の道路情報122に基づいて判断できる。道路情報122は、レーンの進行方向に対して左右いずれの方向に路肩があるか、左右何れの方向に隣接する車線があるかという情報を有する。プロセッサ10は、道路情報122に基づいて、レーンの左右いずれの方向からユーザUMが対象車両V1に乗車できるかを判断できる。プロセッサ10は、ユーザUMが乗車する方向を撮像方向とする撮像命令をカメラ51に送信する。プロセッサ10は、取得した対象車両情報GMをユーザ端末装置300へ送信する。その後、ステップS109へ進み、ユーザ端末装置300のプロセッサ310は、ディスプレイ331に対象車両情報GMを表示する。
本発明の実施形態のコミュニケーション装置100は、以上のように構成され動作するので、以下の効果を奏する。
[1]本実施形態のコミュニケーション方法によれば、プロセッサ10は、ユーザUMの乗車地点PPと配車予定の対象車両V1の現在位置を取得し、乗車地点PPの位置を基準として定義された所定エリアR1に対象車両V1の現在位置が属すると判断された識別タイミングにおいて、対象車両V1が備える一又は二以上のカメラ51によって撮像された撮像画像GFを用いて対象車両情報GMを生成する。プロセッサ10は、生成された対象車両情報GMをユーザ端末装置300(第2装置)へ送信する。ユーザ端末装置300は、受信した対象車両情報GMをディスプレイ331に表示する。
識別タイミングは、ユーザの乗車地点を基準とする所定エリアに対象車両(予約車両)が属したタイミングであり、対象車両を利用しようとするユーザが対象車両の存在位置を意識するタイミングである。プロセッサ10は、このタイミングにおいて、対象車両の周囲の状況を示す撮像画像GFを用いて対象車両情報GMを生成し、ユーザ端末装置300へ送信する。ユーザ端末装置300は、対象車両情報GMをディスプレイ331に表示する。ユーザは、対象車両の存在位置を確認したいタイミングで、そのタイミングにおける周囲の状況を示す撮像画像GFを含む対象車両情報GMの認識ができる。このように、プロセッサ10は、検出装置50を備える車両制御装置200(第1装置)とユーザ端末装置300(第2装置)とが適時に適切な情報を交換させることができる。
[2]本実施形態のコミュニケーション方法によれば、乗車地点PPから所定距離D1の範囲である所定エリアに対象車両V1の現在位置が属すると判断された識別タイミングにおいて、対象車両情報GMを生成する。識別タイミングを乗車地点PPから所定距離D1の範囲に対象車両V1が進入したタイミングとするので、ユーザUMは、対象車両V1が乗車地点PPに接近した(予約時刻に近づいた)対象車両V1の存在位置を確認したいタイミングで、そのタイミングにおける周囲の状況を示す撮像画像GFを含む対象車両情報GMを確認できる。
[3]本実施形態のコミュニケーション方法によれば、プロセッサ10は、乗車地点PPに最も近い交差点CPの通過地点APが属する範囲である所定エリアR2に対象車両V1の現在位置が属すると判断された識別タイミングにおいて、対象車両情報GMを生成する。対象車両V1の経路はナビゲーション装置120により計算される。乗車地点PPに最も近い交差点CPを通過したタイミングで生成された対象車両情報GMをユーザUMに提示する。ユーザUMは、対象車両V1の存在位置を確認したいタイミングで、そのタイミングにおける周囲の状況を示す撮像画像GFを含む対象車両情報GMを確認できる。
[4]本実施形態のコミュニケーション方法によれば、プロセッサ10は、ユーザUMから対象車両情報GMの要求を受信した識別タイミングにおいて、対象車両情報GMを生成する。ユーザUMが対象車両情報GMの要求をしたタイミングは、ユーザUMが積極的に対象車両V1の所在・状況を確認したいタイミングである。プロセッサ10は、ユーザUMからの要求に呼応して、対象車両情報GMを生成し、ユーザUMに提示させる。ユーザUMは、対象車両V1の存在位置を確認したいタイミングで、そのタイミングにおける周囲の状況を示す撮像画像GFを含む対象車両情報GMを確認できる。
[5]本実施形態のコミュニケーション方法によれば、プロセッサ10は、対象車両V1の進行方向の撮像画像GFを含む対象車両情報GMを生成する。乗車地点PPを指定したユーザUMは、乗車地点PPの周囲の状況をすでに認知している可能性がある。対象車両情報GMを見たユーザUMは、対象車両V1の進行方向を推測できる。対象車両V1の進行方向から対象車両V1がどの方向から乗車地点PPに接近してくるかを判断できる。これにより、ユーザUMは、自分が乗車できる対象車両V1を特定できる。
[6]本実施形態のコミュニケーション方法によれば、プロセッサ10は、対象車両V1に対して乗車地点PPが所在する方向を撮像した撮像画像GFを用いて対象車両情報GMを生成する。対象車両V1が接近する乗車地点PPは、ユーザUMが指定した地点である。ユーザUMも乗車地点PPに向かって移動している。乗車地点PPに向かう方向の撮像画像GFを見たユーザUMは、対象車両V1がどの方向から乗車地点PPに接近するかを判断できる。これにより、ユーザUMは、自分が乗車できる対象車両V1を特定できる。
[7]本実施形態のコミュニケーション方法によれば、プロセッサ10は、対象車両V1が乗車地点PPの近傍で停止した場合には、ユーザUMが乗降する左右何れかの方向の撮像画像GFを含む対象車両情報GMを生成する。乗車地点PPに所在する対象車両V1の左側又は右側の撮像画像GFは、対象車両V1に近づくユーザUMの背後の映像である。ユーザUMは背後の状況と対象車両情報GMとを比較することにより、対象車両V1を特定できる。
[8]本実施形態のコミュニケーション方法によれば、プロセッサ10は、地図情報123に含まれる施設情報124を参照し、乗車地点PPの近傍に存在する施設を検索し、対象車両V1に対して施設が所在する方向の撮像画像GFを用いて対象車両情報GMを生成する。
乗車地点PPを指定したユーザUMは、乗車地点PPの周囲の施設をすでに知っている可能性がある。対象車両情報GMに含まれる施設を確認すれば、ユーザUMは対象車両V1の進行方向を推測できる。対象車両V1の進行方向に基づいて対象車両V1がどの方向から乗車地点PPに接近するのかを予測できる。これにより、ユーザUMは、自分が予約した対象車両V1を特定できる。
[9]本実施形態のコミュニケーション方法によれば、プロセッサ10は、物体の画像が含まれる撮像画像GFを用いて対象車両情報GMを生成する。乗車地点PPに接近する対象車両V1がすれ違う他車両、歩行者、自転車などの物体の像が撮像画像GFに含まれる場合には、その物体との位置関係に基づいて対象車両V1を特定できる。特に、物体が移動体である場合には、移動体(物体)と対象車両V1との位置関係はタイミングが限定されるので、移動体(物体)の撮像画像GFに基づいて対象車両V1を特定できる。
[10]本実施形態のコミュニケーション方法によれば、プロセッサ10は、対象車両V1に対してユーザUMが所在する方向を撮像した撮像画像GFを用いて対象車両情報GMを生成する。プロセッサ10は、ユーザ端末装置300が備える位置検出装置が検出した位置情報をユーザUMの位置として取得する。ユーザUMが所在する方向の撮像画像GFにはユーザUMの像が含まれている可能性が高い。ユーザUMは自分の像が含まれる撮像画像GFにより、対象車両V1の進行方向を判断し、対象車両V1を特定できる。
[11]本実施形態のコミュニケーション方法によれば、プロセッサ10は、ユーザUMの顔画像を取得し、ユーザUMの顔画像と所定の一致度を有する画像が含まれる撮像画像GFを用いて対象車両情報GMを生成する。プロセッサ10は、予めユーザ登録された顔情報の特徴と、撮像画像GFに含まれる人間の顔の特徴とをマッチングし、ユーザUMの存在位置を判断する。ユーザUMの顔の像が含まれる撮像画像GFを用いて対象車両情報GMを生成する。ユーザUMの顔が含まれる撮像画像GFにより、対象車両V1の進行方向を判断し、対象車両V1を特定できる。
[12]本実施形態のコミュニケーション方法によれば、プロセッサ10は、撮像方向を含む対象車両情報GMを生成する。対象車両情報GMは、撮像方向を示す撮像方向情報DSを含む。対象車両V1を基準として撮像方向を示す撮像方向情報DSが対象車両情報GMに含まれるので、ユーザUMは対象車両V1の進行方向を判断して、対象車両V1を特定できる。
[13]本実施形態のコミュニケーション方法によれば、プロセッサ10は、対象車両V1が備える複数のカメラ51の撮像画像GFを合成した俯瞰画像を含む対象車両情報GMを生成する。俯瞰画像は、車両の前後及び左右の各位置に配置された複数のカメラ51の撮像画像GFをつなぎ合わせ、上空の仮想視点から対象車両V1のルーフを見下ろす画像である。俯瞰画像には、対象車両V1の全周囲の領域の映像が含まれる。ユーザUMは、俯瞰画像を含む対象車両情報GMにより、対象車両V1の周囲の状況を認識することができる。
[14]本実施形態のコミュニケーション方法によれば、プロセッサ10は、対象車両V1が備える複数のカメラ51の撮像画像GFを合成したパノラマ画像を含む対象車両情報GMを生成する。パノラマ画像は、車両の前後及び左右の各位置に配置された複数のカメラ51の撮像画像GFをつなぎ合わせ、車両の周囲を取り囲むように設定された座標に投影した画像である。パノラマ画像には、対象車両V1の全周囲の領域の映像が含まれる。ユーザUMは、パノラマ画像を含む対象車両情報GMにより、対象車両V1の周囲の状況を認識することができる。
[15]本実施形態のコミュニケーション方法によれば、プロセッサ10は、対象車両V1が備える複数のカメラ51の撮像画像GFを立体座標に投影した立体投影画像を含む対象車両情報GMを生成する。立体投影画像は、車両の前後及び左右の各位置に配置された複数のカメラ51の撮像画像GFをつなぎ合わせ、車両の周囲を取り囲むように設定された立体座標に投影した画像である。立体投影画像には、対象車両V1の全周囲の領域の映像が含まれる。ユーザUMは、立体投影画像を含む対象車両情報GMにより、対象車両V1の周囲の状況を認識することができる。
[16]本実施形態の配車システム1は、上述したコミュニケーション方法と同様の作用及び効果を奏する。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
1…配車システム
100…コミュニケーション装置
10…プロセッサ
11…CPU
12…ROM
13…RAM
20…通信装置
30…出力装置
31…ディスプレイ
32…スピーカ
200…車両制御装置
40…通信装置
50…検出装置
51…カメラ
52…レーダー装置
53…マイク
60…センサ
61…操舵角センサ
62…車速センサ
70…車両コントローラ
71…プロセッサ
80…駆動装置
81制動装置
90…操舵装置
110…出力装置
111…ディスプレイ
112…スピーカ
120…ナビゲーション装置
121…位置検出装置
122…道路情報
123…地図情報
124…施設情報
300…ユーザ端末装置
310…プロセッサ
311…CPU
312…ROM
313…RAM
320…通信装置
330…入出力装置
331…タッチパネル式のディスプレイ
332…スピーカ

Claims (18)

  1. 互いに情報授受が可能な車両制御装置ユーザ端末装置とのコミュニケーションを制御するコミュニケーション装置を備える配車システムのためのコミュニケーション方法であって、
    前記コミュニケーション装置のプロセッサは、
    ユーザの乗車地点の位置と前記ユーザに配車される対象車両の現在位置を取得し、
    前記乗車地点の位置を基準として定義された所定エリアに前記対象車両の前記現在位置が属すると判断された識別タイミングにおいて、前記対象車両が備える一又は二以上のカメラによって撮像された撮像画像を用いて対象車両情報を生成し、
    前記対象車両情報を前記ユーザ端末装置へ送信し、
    前記ユーザ端末装置は、受信した前記対象車両情報をディスプレイに表示させるコミュニケーション方法。
  2. 前記プロセッサは、前記乗車地点から所定距離の範囲である前記所定エリアに前記対象車両の前記現在位置が属すると判断された前記識別タイミングにおいて、前記対象車両情報を生成する請求項1に記載のコミュニケーション方法。
  3. 前記プロセッサは、前記乗車地点に最も近い交差点の通過地点が属する範囲である前記所定エリアに前記対象車両の前記現在位置が属すると判断された前記識別タイミングにおいて、前記対象車両情報を生成する請求項1又は2に記載のコミュニケーション方法。
  4. 前記プロセッサは、前記ユーザから前記対象車両情報の要求を受信した前記識別タイミングにおいて、前記対象車両情報を生成する請求項1~3の何れか一項に記載のコミュニケーション方法。
  5. 前記プロセッサは、前記対象車両の進行方向の前記撮像画像を含む前記対象車両情報を生成する請求項1~4の何れか一項に記載のコミュニケーション方法。
  6. 前記プロセッサは、前記対象車両に対して前記乗車地点が所在する方向を撮像した前記撮像画像を用いて前記対象車両情報を生成する請求項1~5の何れか一項に記載のコミュニケーション方法。
  7. 前記プロセッサは、前記対象車両が前記乗車地点の近傍で停止した場合には、前記ユーザが乗降する左右何れかの方向の前記撮像画像を含む前記対象車両情報を生成する請求項1~6の何れか一項に記載のコミュニケーション方法。
  8. 前記プロセッサは、
    地図情報に含まれる施設情報を参照し、前記乗車地点の近傍に存在する施設を検索し、
    前記対象車両に対して前記施設が所在する方向の前記撮像画像を用いて前記対象車両情報を生成する請求項1~7の何れか一項に記載のコミュニケーション方法。
  9. 前記プロセッサは、物体の画像が含まれる前記撮像画像を用いて前記対象車両情報を生成する請求項1~8の何れか一項に記載のコミュニケーション方法。
  10. 前記プロセッサは、前記対象車両に対して前記ユーザが所在する方向を撮像した前記撮像画像を用いて前記対象車両情報を生成する請求項1~9の何れか一項に記載のコミュニケーション方法。
  11. 前記プロセッサは、
    前記ユーザの顔画像を取得し、
    前記顔画像と所定の一致度を有する画像が含まれる前記撮像画像を用いて前記対象車両情報を生成する請求項1~10の何れか一項に記載のコミュニケーション方法。
  12. 前記プロセッサは、撮像方向を含む前記対象車両情報を生成する請求項1~11の何れか一項に記載のコミュニケーション方法。
  13. 前記プロセッサは、前記対象車両が備える複数の前記カメラの前記撮像画像を合成した俯瞰画像を含む前記対象車両情報を生成する請求項1~12の何れか一項に記載のコミュニケーション方法。
  14. 前記プロセッサは、前記対象車両が備える複数の前記カメラの前記撮像画像を合成したパノラマ画像を含む前記対象車両情報を生成する請求項1~13の何れか一項に記載のコミュニケーション方法。
  15. 前記プロセッサは、前記対象車両が備える複数の前記カメラの前記撮像画像を立体座標系に投影した画像を含む前記対象車両情報を生成する請求項1~14の何れか一項に記載のコミュニケーション方法。
  16. 前記プロセッサは、
    前記識別タイミングにおいて、前記カメラによって前記乗車地点の所在方向を撮像方向として撮像された撮像画像及び前記対象車両の周囲に存在する特徴的な対象の画像を含む撮像画像を用いて前記対象車両情報を生成する、請求項1~15の何れか一項に記載のコミュニケーション方法。
  17. 互いに情報授受が可能な車両制御装置及びユーザが携帯するユーザ端末装置と、
    前記車両制御装置と前記ユーザ端末装置のコミュニケーションを制御するコミュニケーション装置とを備え、
    前記コミュニケーション装置のプロセッサは、
    前記ユーザの乗車地点の位置と前記ユーザに配車される対象車両の現在位置を取得し、
    前記乗車地点の位置を基準として定義された所定エリアに前記対象車両の前記現在位置が属すると判断された識別タイミングにおいて、前記対象車両が備える一又は二以上のカメラによって撮像された撮像画像を用いて対象車両情報を生成し、
    前記対象車両情報を前記ユーザ端末装置へ送信し、
    前記ユーザ端末装置は、受信した前記対象車両情報をディスプレイに表示させる、配車システム。
  18. ユーザの乗車地点の位置を取得する乗車地点取得部と、
    前記ユーザに配車される対象車両の現在位置と、前記対象車両が備える一又は二以上のカメラによって撮像された撮像画像を取得する車両情報取得部と、
    前記乗車地点の位置を基準として定義された所定エリアに前記対象車両の前記現在位置が属すると判断された識別タイミングにおいて、前記撮像画像を用いて対象車両情報を生成する対象車両情報生成部と、
    前記対象車両情報をユーザ端末へ送信するよう制御する通信制御部と、を有するコミュニケーション装置。
JP2020524698A 2018-06-20 2018-06-20 配車システムのためのコミュニケーション方法、配車システム及びコミュニケーション装置 Active JP7020550B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2018/000945 WO2019243860A1 (ja) 2018-06-20 2018-06-20 配車システムのためのコミュニケーション方法、配車システム及びコミュ二ケーシヨン装置

Publications (2)

Publication Number Publication Date
JPWO2019243860A1 JPWO2019243860A1 (ja) 2021-07-26
JP7020550B2 true JP7020550B2 (ja) 2022-02-18

Family

ID=68983468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020524698A Active JP7020550B2 (ja) 2018-06-20 2018-06-20 配車システムのためのコミュニケーション方法、配車システム及びコミュニケーション装置

Country Status (4)

Country Link
US (1) US12002359B2 (ja)
JP (1) JP7020550B2 (ja)
CN (1) CN112602124A (ja)
WO (1) WO2019243860A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
JP2020135113A (ja) * 2019-02-14 2020-08-31 トヨタ自動車株式会社 走行制御装置および走行制御方法
US20240169836A1 (en) * 2021-03-22 2024-05-23 Nec Corporation Boarding support system, boarding support method and program recording medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067890A (ja) 2001-08-22 2003-03-07 Fujitsu Ten Ltd 配車システムおよび配車依頼プログラム並びに情報端末
JP2012088925A (ja) 2010-10-19 2012-05-10 Mm Incubation Partners Co Ltd エコタクシー配車支援システム
JP2015230690A (ja) 2014-06-06 2015-12-21 パナソニックIpマネジメント株式会社 車両確認システム、車載装置、端末装置、サーバ、及び、車両確認制御方法
WO2018037954A1 (ja) 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205782A (ja) * 1998-01-07 1999-07-30 Toyota Motor Corp 車両用前方画像処理装置及び車両用前方画像処理システム
JP2002334395A (ja) * 2001-05-08 2002-11-22 Yazaki Corp タクシー顧客ガイドシステム
JP2002367088A (ja) 2001-06-12 2002-12-20 Fujitsu Ltd 車輌情報提供方法および車輌情報提供プログラム
JP2003256988A (ja) * 2002-02-20 2003-09-12 E-Lead Electronic Co Ltd 車両派遣システム及び方法
JP2004046404A (ja) 2002-07-10 2004-02-12 Fuji Photo Film Co Ltd 車両位置通知装置
GB2424730A (en) * 2005-03-29 2006-10-04 Matthew Emmerson Allen Storage of road side images and retrieval through a map interface
JP2007243389A (ja) * 2006-03-07 2007-09-20 Clarion Co Ltd 車載用放送受信システム、放送受信制御装置、放送受信制御方法および制御プログラム
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
JP5716389B2 (ja) 2010-12-24 2015-05-13 日産自動車株式会社 車両用表示装置
CN202929851U (zh) * 2012-11-22 2013-05-08 杨光 公交信息实时查询系统
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
US9494938B1 (en) 2014-04-03 2016-11-15 Google Inc. Unique signaling for autonomous vehicles to preserve user privacy
CN105404929B (zh) * 2014-09-16 2019-11-08 口碑控股有限公司 打车过程中目标定位辨识的方法、设备和系统
WO2016075810A1 (ja) 2014-11-14 2016-05-19 日産自動車株式会社 表示装置及び表示方法
CN107437183B (zh) * 2016-05-25 2021-06-04 北京嘀嘀无限科技发展有限公司 一种上车乘客身份的确认方法及系统
JP2017228115A (ja) * 2016-06-23 2017-12-28 ルネサスエレクトロニクス株式会社 情報を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および情報を提供するための装置
CN106534132B (zh) * 2016-11-17 2021-05-18 京东方科技集团股份有限公司 基于打车订单的视频处理方法、装置、服务器和系统
KR101859106B1 (ko) * 2017-01-31 2018-05-17 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10527428B1 (en) * 2017-07-19 2020-01-07 Uatc, Llc Capacity based vehicle operation
JP6900854B2 (ja) * 2017-09-12 2021-07-07 トヨタ自動車株式会社 配車システム及び配車管理サーバ
JP6870561B2 (ja) * 2017-10-10 2021-05-12 トヨタ自動車株式会社 配車装置及び配車方法
JP6904211B2 (ja) * 2017-10-25 2021-07-14 トヨタ自動車株式会社 配車システムおよびそれに用いられる配車装置ならびに配車方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067890A (ja) 2001-08-22 2003-03-07 Fujitsu Ten Ltd 配車システムおよび配車依頼プログラム並びに情報端末
JP2012088925A (ja) 2010-10-19 2012-05-10 Mm Incubation Partners Co Ltd エコタクシー配車支援システム
JP2015230690A (ja) 2014-06-06 2015-12-21 パナソニックIpマネジメント株式会社 車両確認システム、車載装置、端末装置、サーバ、及び、車両確認制御方法
WO2018037954A1 (ja) 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体

Also Published As

Publication number Publication date
US20210264783A1 (en) 2021-08-26
CN112602124A (zh) 2021-04-02
WO2019243860A1 (ja) 2019-12-26
US12002359B2 (en) 2024-06-04
JPWO2019243860A1 (ja) 2021-07-26

Similar Documents

Publication Publication Date Title
US10726360B2 (en) Vehicle control system, vehicle control method, and vehicle control program
US20200262453A1 (en) Pick-up management device, pick-up control method, and storage medium
JP6414221B2 (ja) 車両の走行制御装置及び方法
WO2018083778A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2018116461A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP7020550B2 (ja) 配車システムのためのコミュニケーション方法、配車システム及びコミュニケーション装置
JP6973643B2 (ja) 配車システムのための情報提供方法、配車システム及び情報提供装置
JPWO2018142560A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP7032294B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20230055708A1 (en) Route provision apparatus and route provision method therefor
WO2018142562A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN112650212A (zh) 远程自动驾驶车辆及车辆远程指示系统
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
CN114329237A (zh) 接载位置的语义识别
JP6916852B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP7079744B2 (ja) 車両制御システムおよび車両制御方法
JP6627128B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US20220364874A1 (en) Method of providing image by vehicle navigation device
JP2018081623A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN111857132A (zh) 一种中央控制式自动驾驶方法、系统以及中央控制系统
JP7141477B2 (ja) 地図生成装置
JP7141480B2 (ja) 地図生成装置
JP6989418B2 (ja) 車載システム
WO2024024470A1 (ja) 空調制御装置、空調制御方法、及び、プログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201203

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20201203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R151 Written notification of patent or utility model registration

Ref document number: 7020550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151