JP7151662B2 - 車両用操作システム - Google Patents

車両用操作システム Download PDF

Info

Publication number
JP7151662B2
JP7151662B2 JP2019147843A JP2019147843A JP7151662B2 JP 7151662 B2 JP7151662 B2 JP 7151662B2 JP 2019147843 A JP2019147843 A JP 2019147843A JP 2019147843 A JP2019147843 A JP 2019147843A JP 7151662 B2 JP7151662 B2 JP 7151662B2
Authority
JP
Japan
Prior art keywords
vehicle
image
unit
video
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019147843A
Other languages
English (en)
Other versions
JP2021028789A (ja
Inventor
京子 林田
敏成 小河
公介 藤本
英男 長谷川
慎太郎 松谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019147843A priority Critical patent/JP7151662B2/ja
Priority to US16/917,092 priority patent/US20210042534A1/en
Priority to CN202010772680.4A priority patent/CN112351241A/zh
Publication of JP2021028789A publication Critical patent/JP2021028789A/ja
Application granted granted Critical
Publication of JP7151662B2 publication Critical patent/JP7151662B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両用操作システムに関する。
下記特許文献1には、自動操縦手段を備える車両に関する発明が開示されている。この自動操縦手段を備える車両は、出庫の際に車両の周囲の障害物の状況を把握して乗員が乗降するのに十分なスペースが確保できる場所まで自動的に移動する。
特開2013-252854号広報
ところで、車両の自動運転を行うためには、高度な制御技術が必要となるため、比較的簡易な構成にて乗員の車両操作を不要とすることができる遠隔操作技術が近年開発されている。この遠隔操作技術の一例として、車両が取得した車両周辺の映像データを遠隔地にある表示装置が受信して、当該映像データを見ながらオペレータが遠隔操作により配車を待つ人の所へ車両を移動させる遠隔操作システム等がある。しかしながら、オペレータが見る映像データのデータ量やネットワーク等の負荷によっては、映像処理や送受信に時間が掛かり、実際の車両の走行状態と映像データとの間にずれが発生する可能性がある。これを避けるためにデータ量を小さくすると、オペレータへ提示される映像品質が低下して遠隔操作時の操作性が低下する可能性がある。したがって、上記先行技術はこれらの点で改良の余地がある。
本発明は上記事実を考慮し、車両の遠隔操作を円滑に行うことができる車両用操作システムを得ることを目的とする。
請求項1に記載の発明に係る車両用操作システムは、車両の周囲の状況を撮影する周囲情報取得部と、オペレータの遠隔操作により前記車両を走行させる遠隔操作制御部と、前記周囲情報取得部が撮影した撮影映像を取得して当該撮影映像に映像処理を施して処理映像を生成する中間処理部と、前記中間処理部から前記処理映像を取得して前記処理映像を前記オペレータへ向けて提示する表示部と、前記撮影映像と前記処理映像とのそれぞれの映像品質を状況に応じて変化させる映像補正部と、を有している。
請求項1に記載の発明によれば、車両用操作システムは、周囲情報取得部と、遠隔操作制御部と、中間処理部と、表示部と、映像補正部とを有している。周囲情報取得部は、車両の周囲の状況を撮影する。遠隔操作制御部は、オペレータの遠隔操作により車両を走行させる。中間処理部は、周囲情報取得部が撮影した撮影映像を取得して当該撮影映像に映像処理を施して処理映像を生成する。表示部は、中間処理部から取得した処理映像をオペレータへ向けて提示する。映像補正部は、撮像映像と処理映像とのそれぞれの映像品質を状況に応じて変化させる。したがって、通信状態及び映像処理の状態に応じて映像品質を変化させることで、映像を表示させる際の遅延を抑制して遠隔操作時の操作性の低下を抑制することができる。
ここで、「映像品質」とは、映像における解像度、フレームレート及びビットレートの少なくとも一つをいう。
請求項2に記載の発明に係る車両用操作システムは、請求項1又は請求項2記載の発明において、前記映像補正部は、前記撮影映像の映像品質を通常時の映像品質より低く設定する。
請求項2に記載の発明によれば、中間処理部の処理負荷が高くなった場合や周囲情報取得部から中間処理部へ撮像映像の送信時におけるネットワークの負荷が高くなった場合でも、映像品質が通常時より低くなることで撮像映像のデータ量が少なくなることから、処理の遅延を抑制することができる。
請求項3に記載の発明に係る車両用操作システムは、請求項1記載の発明において、前記映像補正部は、前記処理映像の映像品質を通常時の映像品質より低く設定する。
請求項3に記載の発明によれば、映像補正部は、処理映像の映像品質を通常時の映像品質より低く設定することから、中間処理部から表示部へ処理映像の送信時におけるネットワークの負荷が高くなった場合でも、映像品質が通常時より低くなることで処理映像のデータ量が少なくなることから、オペレータへ処理映像を提示する際の遅延を抑制することができる。
請求項4に記載の発明に係る車両用操作システムは、請求項3記載の発明において、前記中間処理部は、前記撮影映像内の注意対象物を強調する強調表示を付与して前記処理映像を生成する。
請求項4に記載の発明によれば、中間処理部は、撮像映像内の注意対象物を強調する強調表示を付与して処理映像を生成することから、処理映像の映像品質が通常時の映像品質より低くされた状態においても、オペレータは注意対象物を把握し易くなる。
請求項1記載の本発明に係る車両用操作システムは、車両の遠隔操作を円滑に行うことができるという優れた効果を有する。
請求項2記載の本発明に係る車両用操作システムは、車両からサーバまでの通信ネットワークが高負荷である場合やサーバ自体の処理が高負荷である場合に車両の遠隔操作を円滑に行うことができるという優れた効果を有する。
請求項3記載の本発明に係る車両用操作システムは、サーバからオペレータまでの通信ネットワークが高負荷である場合に車両の遠隔操作を円滑に行うことができるという優れた効果を有する。
請求項4記載の本発明に係る車両用操作システムは、処理映像の映像品質が低い場合でも安全かつ円滑に車両の遠隔操作を行うことができるという優れた効果を有する。
一実施形態に係る車両用操作システムの概略を示す概略図である。 一実施形態に係る車両用操作システムの遠隔操作時の状態を概略的に示す概略図である。 一実施形態に係る車両用操作システムの車両のハードウェア構成を示すブロック図である。 一実施形態に係る車両用操作システムのコントロールセンタにおけるハードウェア構成を示すブロック図である。 一実施形態に係る車両用操作システムのサーバにおけるハードウェア構成を示すブロック図である。 一実施形態に係る車両用操作システムのユーザ端末機におけるハードウェア構成を示すブロック図である。 一実施形態に係る車両用操作システムの機能構成を示すブロック図である。 一実施形態に係る車両用操作システムの動作の流れを示すフローチャートである。
以下、図1~図8を用いて、本発明に係る車両用操作システム10の一実施形態について説明する。
(全体構成)
図1は、本実施形態に係る車両用操作システム10の概略構成を示す図である。
図1に示されるように、車両用操作システム10は、車両12に搭載された車載器14と、ユーザ端末機20と、コントロールセンタ22と、サーバ23とを含んで構成されている。これらの車載器14と、コントロールセンタ22と、ユーザ端末機20と、サーバ23とは、ネットワークN(図7参照)を介して通信可能に接続されている。ネットワークNには、例えば、インターネット又はWAN(Wide Area Network)等が適用される。
車両12は、一例として、一般的な乗用車とされており、車内の操作インタフェイス28(図3参照)による手動運転及び、撮影装置26(図3参照)の映像を利用したコントロールセンタ22からの遠隔操作が可能とされている。また、車載器14は、車両12の使用状況及び車両状態を車外に設けられているサーバ23へ送信可能とされている。車載器14の具体的な構成及び作用については、後述する。
コントロールセンタ22には、車両12を遠隔操作するための操作インタフェイス24と、遠隔操作端末情報取得装置32と、表示装置34と(図4参照)、サーバ23とが設けられている(図1では主要な構成を分かり易くするためサーバ23とコントロールセンタ22とを分けて図示している)。サーバ23は、車載器14、及び遠隔操作端末情報取得装置32から各種情報を収集し、収集した情報をデータベースとして管理すると共に、各種情報の送信を行う。操作インタフェイス24、遠隔操作端末情報取得装置32、表示装置34及びサーバ23の具体的な構成及び作用については、後述する。
ユーザ端末機20は、例えばスマートフォン、携帯電話機、タブレット端末、パーソナルコンピュータ及びゲーム端末機等であり、ユーザ16が所持している。ユーザ端末機20の具体的な構成及び作用については、後述する。
(ハードウェア構成)
図3に示されるように、車両12は、操作インタフェイス28と、撮影装置26と、車載器14と、車両駆動装置36とを有している。各構成は、バス38を介して相互に通信可能に接続されている。
操作インタフェイス28は、車両12の車室における車両前方側に配置されており、ステアリングホイールと、アクセルペダルと、ブレーキペダルと、ギヤシフトレバー(いずれも不図示)を含んで構成されている。これらの操作インタフェイス28は、車載器14における後述する乗員操作情報取得部40(図7参照)に接続されている。
撮影装置26は、一例として、車両12の車室内に設けられており、車両12の前方側を中心として車両外部の様子を撮影する。この撮像された撮影映像は、車載器14へ送られる。
車載器14は、CPU(Central Processing Unit)42、ROM(Read Only Memory)44、RAM(Random Access Memory)46、ストレージ48及び通信インタフェイス50を含んで構成されている。各構成は、バス39を介して相互に通信可能に接続されている。
CPU42は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU42は、ROM44又はストレージ48からプログラムを読み出し、RAM46を作業領域としてプログラムを実行する。CPU42は、ROM44又はストレージ48に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM44又はストレージ48には、車両用操作プログラムが格納されている。
ROM44は、各種プログラム及び各種データを格納する。RAM46は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ48は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
通信インタフェイス50は、車載器14がサーバ23と通信するためのインタフェイスであり、例えば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
車両駆動装置36は、車載器14の制御に基づいて車両12の車輪12A(図1参照)を駆動させる図示しない原動機を作動させる。
図4に示されるように、コントロールセンタ22における操作インタフェイス24と表示装置34と遠隔操作端末情報取得装置32とは、バス38を介して相互に通信可能に接続されている。操作インタフェイス24は、一例として、リモコンステアリングホイール24A(図2参照)、リモコンアクセルペダル、リモコンブレーキペダル、リモコンギヤシフトレバー(いずれも不図示)から構成されており、コントロールセンタ22内のオペレータOP(図2参照)が車両12の遠隔操作を行うために設けられている。この操作インタフェイス24は、一例として、コントロールセンタ22内にて待機しているオペレータOPにそれぞれ割り当てられている。なお、操作インタフェイス24は、キーボード、マウス、ジョイスティック(いずれも不図示)を含んで構成されてもよい。
遠隔操作端末情報取得装置32は、CPU42、ROM44、RAM46、ストレージ48及び通信インタフェイス50を含んで構成されている。各構成は、バス39を介して相互に通信可能に接続されている。遠隔操作端末情報取得装置32は、操作インタフェイス24に入力された車両12の遠隔操作のための操作情報をサーバ23へ送信する。
表示装置34は、サーバ23から受信された情報を表示するディスプレイ(図2参照)とされている。具体的には、車両12が取得したそれぞれの周辺の映像や、ユーザ16の現在地までの走行ルートを含む情報が表示可能とされている。この表示装置34は、コントロールセンタ22内のオペレータOPに割り当てられている。
図6に示されるように、ユーザ端末機20は、CPU42、ROM44、RAM46、ストレージ48、通信インタフェイス50及びユーザインタフェース54を含んで構成されている。各構成は、バス39を介して相互に通信可能に接続されている。ユーザインタフェース54は、各種情報の表示及びユーザ16が入力等の操作を行う際のインタフェイスであり、具体的にはユーザによるタッチ操作を可能とするタッチパネルを備えた液晶ディスプレイとされている。
図5に示されるように、サーバ23は、CPU42、ROM44、RAM46、ストレージ48及び通信インタフェイス50を含んで構成されている。各構成は、バス39を介して相互に通信可能に接続されている。
(機能構成)
上記の車両用操作プログラムを実行する際に、車両用操作システム10は、上記のハードウェア資源を用いて、各種の機能を実現する。車両用操作システム10が実現する機能構成について説明する。
図7は、車両用操作システム10の機能構成の例を示すブロック図である。
(車両の機能構成)
図7に示されるように、車両用操作システム10は、車両12のそれぞれにおける機能構成として、乗員操作情報取得部40と、遠隔操作情報取得部60と、周囲情報取得部62と、車両制御部64と、運転モード切替判定部67と、通信部68とを有している。各機能構成は、車載器14のCPU42がROM44又はストレージ48に記憶された車両用操作プログラムを読み出し、実行することにより実現される。
乗員操作情報取得部40は、車両12に乗車した乗員による操作インタフェイス28(図3参照)へ入力された操作情報を取得する。
遠隔操作情報取得部60は、サーバ23から送信された操作情報を取得するように通信部68を制御する。サーバ23から送信された操作情報は、コントロールセンタ22のオペレータOPによって操作インタフェイス24(図4参照)へ入力された操作情報である。
車両制御部64は、乗員操作情報取得部40又は遠隔操作情報取得部60によって取得された操作情報に基づいて、車両駆動装置36(図2参照)の駆動及び操舵を制御する。
周囲情報取得部62は、車両12に設けられた撮影装置26(図3参照)が撮影した映像と、図示しない各種センサから現在地情報、車種情報、日時を含めた走行履歴、総走行距離、燃料残量、各種オイルの量、タイヤの空気圧等の各種情報を取得すると共に、当該各種情報をサーバ23へ送信するように、通信部68を制御する。
運転モード切替判定部67は、車両12の運転モードの状態を取得する。図示しない運転モード切替機構が遠隔操作へ切り替える状態になっている場合は、遠隔操作要求情報をサーバ23へ送信するように通信部68を制御する。なお、運転モード切替機構は、車両12に乗車した乗員による操作のみならず、ユーザ端末機20及びコントロールセンタ22から遠隔による操作を行うことが可能とされている。したがって、車外にいるユーザ端末機20を持ったユーザ16(図1参照)が車両12の運転モードを遠隔操作へ切り替えることが可能とされている。
通信部68は、他の装置との間で情報を送受信する。
(コントロールセンタの機能構成)
車両用操作システム10は、コントロールセンタ22における機能構成として、遠隔操作端末情報取得部80と、通信部82と、表示部74とを有している。各機能構成は、遠隔操作端末情報取得装置32のCPU42がROM44又はストレージ48に記憶された車両用操作プログラムを読み出し、実行することにより実現される。
遠隔操作端末情報取得部80は、遠隔操作を行うオペレータOP(図2参照)が操作する操作インタフェイス24(図4参照)から操作情報を取得し、当該操作情報をサーバ23へ送信するように、通信部82を制御する。
表示部74は、サーバ23から受信した車両12の周囲情報取得部62により撮影された映像を含む各種情報をオペレータOPへ向けて提示するように表示装置34(図4参照)を制御する。
通信部82は、他の装置との間で情報を送受信する。
(ユーザ端末機の機能構成)
車両用操作システム10は、ユーザ端末機20における機能構成として、入力部66と、表示部74と、通信部78とを有している。各機能構成は、ユーザ端末機20のCPU42がROM44又はストレージ48に記憶された車両用操作プログラムを読み出し、実行することにより実現される。
入力部66は、ユーザインタフェース54(図6参照)からユーザ16の入力情報を取得し、当該入力情報をサーバ23へ送信するように、通信部78を制御する。本実施形態では、一例として、車両12の配車をして欲しい位置及び日時が入力可能とされている。
表示部74は、サーバ23から受信した車両12の周囲情報取得部62による各種情報をユーザへ向けて表示するようにユーザインタフェース54(図6参照)を制御する。本実施形態では、一例として、配車中の車両12の現在地情報を地図上に表示可能とされている。
通信部78は、他の装置との間で情報を送受信する。
(サーバの機能構成)
車両用操作システム10は、サーバ23における機能構成として、サーバ制御部86と、中間処理部76と、映像補正部79と、遠隔操作制御部90と、現在地特定部72と、通信部92とを備える。各機能構成は、サーバ23のCPU42がROM44又はストレージ48に記憶された車両用操作プログラムを読み出し、実行することにより実現される。
現在地特定部72は、車両12の周囲情報取得部62から取得した現在地情報から、車両12の現在地を特定する。
中間処理部76は、車両12の周囲情報取得部62から取得した撮影映像にコントロールセンタ22の表示装置34(図4参照)に適合するように映像処理を施した処理映像を生成すると共に、当該処理映像をサーバ23へ送信するように、通信部92を制御する。
映像補正部79は、サーバ23内における処理状況のモニタリング情報及びネットワークNにおける通信状態のモニタリング情報を取得すると共に、これらの各種情報を基に撮像映像及び処理映像の映像品質を変化させる。具体的には、サーバ23の中間処理部76から表示装置34までにおけるネットワークNの通信負荷が高いと判定した場合には、処理映像の映像品質を通常時より低くするように中間処理部76へ指令を送信する。また、車両12からサーバ23の中間処理部76までにおけるネットワークNの通信負荷が高いと判定した場合や、中間処理部76自体の処理負荷が高いと判定した際には、撮影映像の映像品質を通常時より低くするように通信部92を介して周囲情報取得部62へ指令を送信する。なお、中間処理部76や周囲情報取得部62にて映像品質を通常より低くする場合は、一例として、映像に可逆圧縮処理を施す。これにより、映像自体のデータ量を少なくすることができる。
ここで、中間処理部76は、処理映像の映像品質を通常時の映像品質より低くするように映像補正部79より指令を受信した際は、映像処理時に画像解析を行い、この解析の結果撮像映像内に注意対象物がある場合は、注意対象物を囲む強調表示としての注意枠100(図2参照)を上述の映像処理時に付与する。この注意対象物には、道路上を横断する歩行者や自転車、路上に駐停車している他の車両及び車両12の配車を依頼したユーザ16(図1参照)、路上のゴミや障害物等が含まれている。本実施形態では、車両12の配車を依頼したユーザ16を注意対象物として注意枠100を付与して処理映像として表示装置34に表示している(図2参照)。なお、中間処理部76は、ユーザ16に注意枠100を付与する際は、一例としてユーザ端末機20から取得したユーザ16の位置情報や予め登録されたユーザ16の特徴等から画像解析を行って撮像映像内におけるユーザ16を特定する。
遠隔操作制御部90は、オペレータOPからの操作情報を取得する。そして、遠隔操作制御部90は、車両12の運転モード切替判定部67から遠隔操作要求情報を受信すると、取得した操作情報を車両12へ送信するようにサーバ制御部86を制御する。
サーバ制御部86は、サーバ23を制御する。例えば、サーバ制御部86は、車両12から送信された各種情報を取得し、当該情報をコントロールセンタ22へ送信するように通信部92を制御すると共に、コントロールセンタ22からの各種情報を車両12へ送信するように通信部92を制御する。
通信部92は、他の装置との間で情報を送受信する。
(処理フロー)
次に、車両用操作システム10の作用について説明する。図8は、車両用操作システム10による動作の流れを示すフローチャートである。車載器14、ユーザ端末機20、遠隔操作端末情報取得装置32及びサーバ23のそれぞれのCPU42がROM44又はストレージ48から車両用操作プログラムを読み出して、RAM46に展開して実行することにより、処理が行われる。
CPU42は、車両12が遠隔操作を行う運転モードになっているか否かを判定する(ステップS100)。遠隔操作を行う運転モードではない(手動運転を行う運転モードである)場合(ステップS100:NO)、CPU42は、後述するステップS114の処理へ移行する。一方、遠隔操作を行う運転モードである場合(ステップS100:YES)、CPU42は、車両12からサーバ23の中間処理部76までにおけるネットワークNの通信負荷が高いか中間処理部76自体の処理負荷が高い(以下、単に「車両12からサーバ23までの負荷が高い」と称する。)か否かを判定する(ステップS102)。車両12からサーバ23までの負荷が高くない場合(ステップS102:NO)、CPU42は、後述するステップS106の処理へ移行する。一方、車両12からサーバ23までの負荷が高い場合(ステップS102:YES)、CPU42は、撮影映像の映像品質を通常時より低くする(ステップS104)。
CPU42は、サーバ23の中間処理部76から表示装置34までにおけるネットワークNの通信負荷が高い(以下、単に「サーバ23から表示装置34までの負荷が高い」と称する。)か否かを判定する(ステップS106)。サーバ23から表示装置34までの負荷が高くない場合(ステップS106:NO)、CPU42は、後述するステップS110の処理へ移行する。一方、サーバ23から表示装置34までの負荷が高い場合(ステップS106:YES)、CPU42は、処理映像の映像品質を通常時より低くする(ステップS108)。
CPU42は、撮像映像内に注意対象物があるか否かを判定する(ステップS110)。撮像映像内に注意対象物がない場合(ステップS110:NO)、CPU42は、後述するステップS114の処理へ移行する。一方、撮像映像内に注意対象物がある場合(ステップS110:YES)、CPU42は、注意対象物を囲む注意枠100(図2参照)を映像処理時に付与して処理映像を生成する(ステップS112)。
CPU42は、目的地への到着や車両12のパワーユニットスイッチがオフとされた事等により車両12の走行が終了されたか否かを判定する(ステップS114)。車両12の走行が終了されていない場合(ステップS114:NO)、CPU42は、ステップS100の処理へ戻る。一方、車両12の走行が終了された場合(ステップS114:YES)、CPU42は、車両用操作プログラムに戻づく処理を終了する。
(作用・効果)
次に、本実施形態の作用並びに効果を説明する。
本実施形態では、図7に示されるように、車両用操作システム10は、周囲情報取得部62と、遠隔操作制御部90と、中間処理部76と、表示部74と、映像補正部79とを有している。周囲情報取得部62は、車両12の周囲の状況を撮影する。遠隔操作制御部90は、オペレータOPの遠隔操作により車両12を走行させる。中間処理部76は、周囲情報取得部62が撮影した撮影映像を取得して当該撮影映像に映像処理を施して処理映像を生成する。表示部74は、中間処理部76から取得した処理映像をオペレータOPへ向けて提示する。映像補正部79は、撮像映像と処理映像とのそれぞれの映像品質を状況に応じて変化させる。したがって、通信状態及び映像処理の状態に応じて映像品質を変化させることで、映像を表示させる際の遅延を抑制して遠隔操作時の操作性の低下を抑制することができる。これにより、車両12の遠隔操作を円滑に行うことができる。
また、中間処理部76の処理負荷が高くなった場合や周囲情報取得部62から中間処理部76へ撮像映像の送信時におけるネットワークNの負荷が高くなった場合でも、映像品質が通常時より低くなることで撮像映像のデータ量が少なくなることから、処理の遅延を抑制することができる。これにより、車両12からサーバ23までにおけるネットワークNが高負荷である場合やサーバ23自体の処理が高負荷である場合に車両12の遠隔操作を円滑に行うことができる。
さらに、映像補正部79は、処理映像の映像品質を通常時の映像品質より低く設定することから、中間処理部76から表示部74へ処理映像の送信時におけるネットワークNの負荷が高くなった場合でも、映像品質が通常時より低くなることで処理映像のデータ量が少なくなることから、オペレータOPへ処理映像を提示する際の遅延を抑制することができる。これにより、サーバからオペレータまでの通信ネットワークが高負荷である場合に車両の遠隔操作を円滑に行うことができる。
さらにまた、中間処理部76は、撮像映像内のユーザ16を強調する注意枠100を付与して処理映像を生成することから、処理映像の映像品質が通常時の映像品質より低くされた状態においても、オペレータOPはユーザ16を把握し易くなる。これにより、処理映像の映像品質が低い場合でも安全かつ円滑に車両12の遠隔操作を行うことができる。
なお、本実施形態では、注意枠100は、ユーザ16等の注意対象物を囲む枠状の表示とされているが、これに限らず、注意対象物98を指し示す矢印表示や、その他の表示とされてもよい。
また、注意枠100は、車両12の配車を依頼したユーザ16を囲むように表示されているが、これに限らず、ユーザ16が見つからない場合等は中間処理部76等が適切な駐停車位置を決定して注意枠100にてオペレータOPに提示する構成としてもよい。
さらに、配車時に、依頼したユーザ16と異なるユーザが車両12に乗車するのを防ぐように、ユーザ端末機20にワンタイムキーを割り当てて、このワンタイムキーと一致した場合にのみ車両12のドアロックを解除するように車両制御部64を設定してもよい。
以上、本発明の実施形態について説明したが、本発明は、上記に限定されるものでなく、その主旨を逸脱しない範囲内において上記以外にも種々変形して実施することが可能であることは勿論である。
10 車両用操作システム
12 車両
16 ユーザ(注意対象物)
62 周囲情報取得部
74 表示部
76 中間処理部
79 映像補正部
90 遠隔操作制御部
100 注意枠(強調表示)
OP オペレータ

Claims (4)

  1. 車両の周囲の状況を撮影する周囲情報取得部と、
    オペレータの遠隔操作により前記車両を走行させる遠隔操作制御部と、
    前記周囲情報取得部が撮影した撮影映像を取得して当該撮影映像に映像処理を施して処理映像を生成する中間処理部と、
    前記中間処理部から前記処理映像を取得して前記処理映像を前記オペレータへ向けて提示する表示部と、
    前記撮影映像と前記処理映像とのそれぞれの映像品質を状況に応じて変化させる映像補正部と、
    を有する車両用操作システム。
  2. 前記映像補正部は、前記撮影映像の映像品質を通常時の映像品質より低く設定する、
    請求項1記載の車両用操作システム。
  3. 前記映像補正部は、前記処理映像の映像品質を通常時の映像品質より低く設定する、
    請求項1又は請求項2記載の車両用操作システム。
  4. 前記中間処理部は、前記撮影映像内の注意対象物を強調する強調表示を付与して前記処理映像を生成する、
    請求項3記載の車両用操作システム。
JP2019147843A 2019-08-09 2019-08-09 車両用操作システム Active JP7151662B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019147843A JP7151662B2 (ja) 2019-08-09 2019-08-09 車両用操作システム
US16/917,092 US20210042534A1 (en) 2019-08-09 2020-06-30 Vehicle operation system
CN202010772680.4A CN112351241A (zh) 2019-08-09 2020-08-04 车辆用操作系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019147843A JP7151662B2 (ja) 2019-08-09 2019-08-09 車両用操作システム

Publications (2)

Publication Number Publication Date
JP2021028789A JP2021028789A (ja) 2021-02-25
JP7151662B2 true JP7151662B2 (ja) 2022-10-12

Family

ID=74357585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019147843A Active JP7151662B2 (ja) 2019-08-09 2019-08-09 車両用操作システム

Country Status (3)

Country Link
US (1) US20210042534A1 (ja)
JP (1) JP7151662B2 (ja)
CN (1) CN112351241A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694379B1 (en) * 2020-03-26 2023-07-04 Apple Inc. Animation modification for optical see-through displays
KR20220124313A (ko) * 2021-03-02 2022-09-14 삼성전자주식회사 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법
US20230012090A1 (en) * 2021-07-09 2023-01-12 Kawasaki Motors, Ltd. Periphery recognition support system and method for personal watercraft

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115803A (ja) 2011-12-01 2013-06-10 Mitsubishi Heavy Ind Ltd 遠隔操縦車両システム
JP2017188739A (ja) 2016-04-04 2017-10-12 株式会社Ihiエアロスペース 画像取得圧縮送信方法、移動体の遠隔操縦方法、画像取得圧縮送信装置、及び移動体の遠隔操縦システム
WO2018155159A1 (ja) 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
JP2019134383A (ja) 2018-02-02 2019-08-08 トヨタ自動車株式会社 遠隔操作システム、及びその通信方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007752A (zh) * 2018-01-04 2019-07-12 优特诺股份有限公司 增强现实车辆界面连接

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115803A (ja) 2011-12-01 2013-06-10 Mitsubishi Heavy Ind Ltd 遠隔操縦車両システム
JP2017188739A (ja) 2016-04-04 2017-10-12 株式会社Ihiエアロスペース 画像取得圧縮送信方法、移動体の遠隔操縦方法、画像取得圧縮送信装置、及び移動体の遠隔操縦システム
WO2018155159A1 (ja) 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
JP2019134383A (ja) 2018-02-02 2019-08-08 トヨタ自動車株式会社 遠隔操作システム、及びその通信方法

Also Published As

Publication number Publication date
US20210042534A1 (en) 2021-02-11
CN112351241A (zh) 2021-02-09
JP2021028789A (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
JP7151662B2 (ja) 車両用操作システム
JP7158381B2 (ja) 車両サービスシステム
US11269325B2 (en) System and methods to enable user control of an autonomous vehicle
CN106997203B (zh) 车辆自动化及操作者参与等级预测
US11167772B2 (en) Disabling onboard input devices in an autonomous vehicle
DE102015118489B4 (de) Fernbedienung eines autonomen Fahrzeugs in einer unerwarteten Umgebung
DE102015211491B4 (de) Endgerät, fahrzeug, welches dasselbe besitzt, und verfahren zum steuern desselben
US10996668B2 (en) Systems and methods for on-site recovery of autonomous vehicles
DE102017102133A1 (de) Längsparkhilfe
CN110696614B (zh) 经由驾驶员hud和乘客hud控制车辆功能的系统和方法
KR20190041328A (ko) 자율주행 차량에서 수동주행 모드로의 전환 조건
JP7272172B2 (ja) 車両用操作システム
CN104350361A (zh) 位置信息发送装置、位置信息发送系统以及车辆
JP7207218B2 (ja) 車両用表示装置
CN107134191A (zh) 交通工具操作者培训系统
CN112311845B (zh) 车辆用操作系统
JP5504968B2 (ja) 駐車支援システム
US20220317683A1 (en) Remote operator recommendation system and remote operator recommendation method
DE102018129840A1 (de) Automotive steuerung
JP7192699B2 (ja) 車両用操作システム
CN110962851A (zh) 车辆远程停车辅助系统和方法
JP7476854B2 (ja) 情報処理装置、プログラム及び情報処理方法
US20230356754A1 (en) Control Mode Selection And Transitions
US11640165B2 (en) Remote driving service processing device
WO2022251020A1 (en) Device management and configuration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151