JP7635668B2 - 自律走行車両、情報処理方法、及びプログラム - Google Patents

自律走行車両、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7635668B2
JP7635668B2 JP2021126916A JP2021126916A JP7635668B2 JP 7635668 B2 JP7635668 B2 JP 7635668B2 JP 2021126916 A JP2021126916 A JP 2021126916A JP 2021126916 A JP2021126916 A JP 2021126916A JP 7635668 B2 JP7635668 B2 JP 7635668B2
Authority
JP
Japan
Prior art keywords
image data
internal
external
imaging mode
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021126916A
Other languages
English (en)
Other versions
JP2023021817A (ja
Inventor
祐 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021126916A priority Critical patent/JP7635668B2/ja
Priority to US17/858,502 priority patent/US12407842B2/en
Priority to CN202210913469.9A priority patent/CN115701617A/zh
Publication of JP2023021817A publication Critical patent/JP2023021817A/ja
Application granted granted Critical
Publication of JP7635668B2 publication Critical patent/JP7635668B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、情報処理装置、情報処理方法、及び、プログラムに関する。
監視者の監視対象である車両から車両情報を取得し、車両情報に基づいて車両についての監視優先度を決定し、決定された監視優先度に基づいて車両の監視のための提示情報を決定する技術が知られている(例えば、特許文献1参照。)。
特開2020-061120号公報
本開示の目的は、自律走行車両を監視するために好適な画像データを送信することにある。
本開示の態様の一つは、
自律走行車両の外部を撮像した第一の画像データ、または、前記自律走行車両の内部を撮像した第二の画像データの少なくとも一方の画像データを送信するときに、送信する画像データに応じて、送信する画像データの容量を変えること、
を実行する制御部を有する情報処理装置である。
本開示の態様の一つは、
コンピュータが、
自律走行車両の外部を撮像した第一の画像データ、または、前記自律走行車両の内部を撮像した第二の画像データの少なくとも一方の画像データを送信するときに、送信する画像データに応じて、送信する画像データの容量を変えること、
を実行する情報処理方法である。
本開示の態様の一つは、
コンピュータに、
自律走行車両の外部を撮像した第一の画像データ、または、前記自律走行車両の内部を撮像した第二の画像データの少なくとも一方の画像データを送信するときに、送信する画像データに応じて、送信する画像データの容量を変えること、
を実行させるためのプログラムである。
また、本開示の他の態様は、上記のプログラムを非一時的に記憶した記憶媒体である。
本開示によれば、自律走行車両を監視するために好適な画像データを送信することができる。
実施形態に係るシステムの概略構成を示す図である。 実施形態に係るシステムを構成する車両、及び、センタサーバのそれぞれの構成の一例を概略的に示すブロック図である。 車両の機能構成を示した図である。 センタサーバの機能構成を例示した図である。 実施形態に係る画像データ送信処理のフローチャートである。 外内部画像データ送信処理のフローチャートを示した図である。 外部画像データ送信処理のフローチャートを示した図である。 内部画像データ送信処理のフローチャートを示した図である。
本開示の態様の一つである情報処理装置は、制御部を有する。制御部は、自律走行車両の外部を撮像した第一の画像データ、または、前記自律走行車両の内部を撮像した第二の画像データの少なくとも一方の画像データを送信するときに、送信する画像データに応じて、送信する画像データの容量を変えること、を実行する。
第一の画像データ及び第二の画像データは、例えば、自律走行車両(以下、単に車両ともいう。)の外部および内部を車両の管理者が監視可能なように撮像された画像のデータである。画像は、動画及び静止画の何れであってもよい。画像の容量は、画像サイズ、画像の解像度、画像のフレームレート、または、画像データのファイルサイズに相関する。例えば、画像の容量が大きいほど、画像はより鮮明になる。第一の画像データは、例えば、車両を走行させるときに安全確認が必要な範囲を撮像した画像データであり、例えば、車両周辺の他車両、歩行者、または、障害物などが判別可能な範囲を撮像した画像データである。また、第二の画像データは、乗客を監視するために必要な範囲を撮像した画像データである。
ここで、画像データを外部に送信する場合、画像データの容量によって通信にかかる時間が異なる。例えば、画像データの容量が大きくなるほど、通信時間が長くなる。そして、画像データ送信時の通信時間が長くなると、実際の状況と、撮像されたときの状況とに時間的な遅れ(以下、時間遅れともいう。)が生じる。車両を遠隔監視する場合には、時間遅れが小さいほうが望ましいが、一方で、多少の時間遅れが許容される場合もある。
例えば、車両が右左折するとき又は道路の合流地点を通過するときに管理者が車両を監視する場合には、時間遅れが短いほうが望ましい。この場合、鮮明な画像を得るよりも、時間遅れを短くすることが求められる。一方、車内を監視する場合には、時間遅れを短くするよりも、鮮明な画像を得ることが重視される場合がある。例えば、乗客の様子、ふるまい、または、顔の状態などに基づいて、乗客が車内で立っていないか、または、乗客が倒れていないか、乗客が意識を失っていないかなどを判断する場合には、多少の時間遅れがあっても問題にならず、鮮明な画像が求められる。
そこで制御部は、送信する画像データに応じて、送信する画像データの容量を変える。これにより、送信する画像データに求められる容量に応じて、画像データを送信することができる。
たとえば、前記制御部は、前記第一の画像データのみを送信するときの前記第一の画像データの容量を、前記第二の画像データのみを送信するときの前記第二の画像データの容量よりも小さくしてもよい。第一の画像データの容量を比較的小さくすることで、第一の画像データ送信時の時間遅れを短くすることができる。そのため、車両の外部をリアルタイムで監視することができる。このときの第一の画像データの容量は、例えば、他車両、歩行者、または、障害物などが判別可能な程度の容量であればよい。
一方、第二の画像データの容量を比較的大きくすることで、画像データの解像度を高く
することができる。そのため、車両の内部の乗客の様子をより確実に把握することができる。このときの第二の画像データの容量は、例えば、乗客の顔の表情が分かる程度の容量であればよい。
また、前記制御部は、前記第一の画像データ及び前記第二の画像データの両方を送信するときの前記第二の画像データの容量を、前記第二の画像データのみを送信するときの前記第二の画像データの容量よりも小さくしてもよい。例えば、車両が停留所から出発した直後では、他の車両が近づいていないかなどを監視するために第一の画像データに基づいた監視を行い、且つ、新たに乗車した乗客の様子などを監視するために第二の画像データに基づいた監視を行う場合が考えられる。このときには、第一の画像データ及び第二の画像データが必要になる。このように、車両の外部と内部とを同時に監視する場合には、第一の画像データと第二の画像データとを両方取得する必要が生じる。しかし、第一の画像データ及び第二の画像データを送信する場合には、両データを合わせた容量が大きくなり得るため、時間遅れが長くなる虞がある。そこで、両画像データを送信するときには、第二の画像データのみを送信するときよりも、第二の画像データの容量を小さくすることにより、両画像データを送信するときの容量を低下させる。これにより、両画像データを送信するときの時間遅れを短くすることができる。なお、両画像データを送信するときには、第二の画像データ容量が小さくなってしまうが、車両の外部と内部とを同時に監視することが優先される。第一の画像データと第二の画像データの両方を送信する場合には、第一の画像データと第二の画像データとの容量が同じであってもよく、異なっていてもよい。
また、前記制御部は、前記第一の画像データまたは前記第二の画像データの少なくとも一方を、前記自律走行車両を監視するサーバからの要求に応じて前記サーバへ送信してもよい。例えば、管理者からの入力に基づいてサーバから車両へ、第一の画像データまたは第二の画像データを送信する。車両から要求された画像データだけを送信すればよいため、不必要な画像データを送信する必要がない。
また、前記制御部は、前記第一の画像データ及び前記第二の画像データを所定の圧縮率で圧縮してもよい。このように、両画像データを圧縮することで通信時間を短くすることができるので、時間遅れを低減できる。なお、車両は、圧縮フォーマットをアップデート可能であってもよい。圧縮フォーマットのアップデートを行うことで、圧縮率が高くなると、より鮮明な画像データを送信することが可能になったり、より時間遅れの短い送信が可能になったりする。
また、前記第一の画像データ、または、前記第二の画像データには、複数の画像データが含まれていてもよい。例えば、車両の外部を撮像する複数のカメラ、または、車両の内部を撮像する複数のカメラを備えていてもよい。このように複数の画像データに基づいて監視することにより、死角を小さくすることができる。
以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。また、以下の実施形態は可能な限り組み合わせることができる。
<第1実施形態>
図1は、本実施形態に係るシステム1の概略構成を示す図である。システム1は、与えられた運行指令に基づいて自律走行を行う自律走行車両10(以下、単に車両10ともいう。)と、当該運行指令を発行し車両10を監視するセンタサーバ30とを含んでいる。なお、図1に示すシステム1には、例示的に1台の車両10を含んでいるが、車両10は複数存在し得る。車両10は、例えば、客を乗せて所定の経路を移動する車両である。所
定の経路は、バスなどのように予め決まった経路であってもよく、タクシーなどのように乗客の要望に基づいて決めた経路であってもよい。
車両10、及び、センタサーバ30は、ネットワークN1によって相互に接続されている。ネットワークN1は、例えば、インターネット等の世界規模の公衆通信網でありWAN(Wide Area Network)やその他の通信網が採用されてもよい。また、ネットワークN1は、携帯電話等の電話通信網、または、Wi-Fi(登録商標)等の無線通信網を含んでもよい。
車両10には、車両10の外部を撮像する外部カメラ18、及び、車両10の内部を撮像する内部カメラ19が取り付けてある。外部カメラ18は、例えば、車両10を走行させるときに安全確認が必要な範囲を撮像するカメラである。また、内部カメラ19は、例えば、乗客を監視するために必要な範囲を撮像するカメラであり、乗客が立ち入ることのできる場所を撮像するカメラである。なお、外部カメラ18及び内部カメラ19は、夫々複数存在し得る。外部カメラ18及び内部カメラ19で撮像された画像データは、所定の圧縮率で圧縮して、センタサーバ30へ送られる。
センタサーバ30では、管理者が画像データに基づいた車両10の外部及び内部の監視を行う。例えば、外部カメラ18で撮像された画像データ(以下、外部画像データともいう。)を管理者が見て、外部の障害物に車両10が接触しないか監視する。また、例えば、内部カメラ19で撮像された画像データ(以下、内部画像データともいう。)を管理者が見て、車両10内で乗客が歩いていないか、乗客が立っていないか、乗客が倒れていないか、または、乗客に異常がないかなどを監視する。なお、外部画像データは、第一の画像データの一例であり、内部画像データは、第二の画像データの一例である。
管理者は、車両10の外部または内部で異常が発生したり、異常が発生する虞があったりする場合に、遠隔操作で車両10を操作したり、救急車の出動を要請したりする。
図2に基づいて、車両10、及び、センタサーバ30のハードウェア構成及び機能構成について説明する。図2は、本実施形態に係るシステム1を構成する車両10、及び、センタサーバ30のそれぞれの構成の一例を概略的に示すブロック図である。
センタサーバ30は、コンピュータの構成を有している。センタサーバ30は、プロセッサ31、主記憶部32、補助記憶部33、入力部34、ディスプレイ35、及び、通信部36を有する。これらは、バスにより相互に接続される。
プロセッサ31は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)等である。プロセッサ31は、センタサーバ30を制御し、様々な情報処理の
演算を行う。主記憶部32は、RAM(Random Access Memory)、ROM(Read Only Memory)等である。補助記憶部33は、EPROM(Erasable Programmable ROM)、ハー
ドディスクドライブ(HDD、Hard Disk Drive)、リムーバブルメディア等である。補
助記憶部33には、オペレーティングシステム(Operating System :OS)、各種プログラム、各種テーブル等が格納される。補助記憶部33に格納されたプログラムをプロセッサ31が主記憶部32の作業領域にロードして実行し、このプログラムの実行を通じて各構成部等が制御される。これにより、所定の目的に合致した機能をセンタサーバ30が実現する。主記憶部32および補助記憶部33は、コンピュータで読み取り可能な記録媒体である。なお、センタサーバ30は、単一のコンピュータであってもよいし、複数台のコンピュータが連携したものであってもよい。また、補助記憶部33に格納される情報は、主記憶部32に格納されてもよい。また、主記憶部32に格納される情報は、補助記憶部33に格納されてもよい。
入力部34は、管理者が行った入力操作を受け付ける手段であり、例えば、タッチパネル、マウス、キーボード、または、マイク等である。ディスプレイ35は、管理者に対して情報を提示する手段であり、例えば、LCD(Liquid Crystal Display)、または、EL(Electroluminescence)パネル等である。なお、入力部34及びディスプレイ35は
、1つのタッチパネルディスプレイとして構成してもよい。
通信部36は、ネットワークN1経由で、車両10と通信を行う手段である。通信部36は、例えば、LAN(Local Area Network)インターフェースボード、無線通信のための無線通信回路である。LANインターフェースボードや無線通信回路は、ネットワークN1に接続される。
次に、車両10は、例えば自律的に走行可能な移動体であり、コンピュータを有している。車両10は、プロセッサ11、主記憶部12、補助記憶部13、通信部14、位置情報センサ15、環境情報センサ16、駆動部17、外部カメラ18、及び、内部カメラ
19を有する。これらは、バスにより相互に接続される。プロセッサ11、主記憶部12、及び、補助記憶部13は、センタサーバ30のプロセッサ31、主記憶部32、及び、補助記憶部33と同様であるため、説明を省略する。なお、プロセッサ11は、制御部の一例である。また、主記憶部32または補助記憶部33は、記憶部の一例である。
通信部14は、車両10をネットワークN1に接続するための通信手段である。通信部14は、例えば、移動体通信サービス(例えば、5G(5th Generation)、4G(4th Generation)、3G(3rd Generation)、LTE(Long Term Evolution)等の電話通信網
)、Wi-Fi(登録商標)、または、Bluetooth(登録商標)等の無線通信を利用して、ネットワークN1経由で他の装置(例えばセンタサーバ30等)と通信を行うための回路である。
位置情報センサ15は、所定の周期で、車両10の位置情報(例えば緯度、経度)を取得する。位置情報センサ15は、例えば、GPS(Global Positioning System)受信部
、無線通信部等である。位置情報センサ15で取得された情報は、例えば、補助記憶部13等に記録され、センタサーバ30に送信される。
環境情報センサ16は、車両10の状態をセンシングしたり、または、車両10の周辺をセンシングしたりする手段である。車両10の状態をセンシングするためのセンサとして、ジャイロセンサ、加速度センサ、または、方位角センサが挙げられる。車両10の周辺をセンシングするためのセンサとして、ステレオカメラ、レーザスキャナ、LIDAR、または、レーダなどが挙げられる。なお、後述の外部カメラ18を環境情報センサ16としてもよい。
駆動部17は、プロセッサ11が生成した制御指令に基づいて、車両10を走行させるための装置である。駆動部17は、例えば、車両10を駆動するための複数のモータ等を含んで構成され、制御指令に従って複数のモータ等が駆動されることで、車両10の自律走行が実現される。
外部カメラ18は、車両10の外部に向かって設置されるカメラであり、車両10の外部(図1の破線参照)を撮像するカメラである。外部カメラ18は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を用いて撮像を行うカメラである。外部カメラ18が撮像する画像は、静止画または動画の何れであってもよいが、本実施形態では外部カメラ18が動画を撮像するものとする。
内部カメラ19は、車両10の内部に向かって設置されるカメラであり、車両10の内部(図1の一点鎖線参照)を撮像するカメラである。内部カメラ19は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を用いて撮像を行うカメラである。内部カメラ19が撮像する画像は、静止画または動画の何れであってもよいが、本実施形態では内部カメラ19が動画を撮像するものとする。なお、外部カメラ18と内部カメラ19とは同仕様のカメラとする。同仕様のカメラとすることで、例えばカメラの購入費用を低減することができる。
次に、車両10の機能について説明する。図3は、車両10の機能構成を示した図である。車両10は、機能構成要素として、走行部101、及び、撮像部102を有する。車両10のプロセッサ11は、主記憶部12上のコンピュータプログラムにより、走行部101、及び、撮像部102の処理を実行する。ただし、各機能構成素のいずれか、またはその処理の一部がハードウェア回路により実行されてもよい。なお、車両10の各機能構成要素のいずれか、またはその処理の一部は、ネットワークN1に接続される他のコンピュータにより実行されてもよい。
走行部101は、車両10の自律走行時に車両10の走行を制御する。走行部101は、環境情報センサ16によって検出したデータを用いて、駆動部17を制御するための制御指令を生成する。走行部101は、例えば、複数のモータを制御して複数のロータの回転速度に差を発生させることにより、車両10の速度、及び、舵角などを制御する。
走行部101は、例えば、環境情報センサ16によって検出したデータに基づいて車両10の走行軌跡を生成し、当該走行軌跡に沿って走行するように、駆動部17を制御する。なお、車両10を自律走行させる方法については、公知の方法を採用することができる。走行部101は、自律走行時に、環境情報センサ16の検出値に基づいたフィードバック制御を実施してもよい。走行部101は、予め定められたルートを巡るように自律走行する。このルートは、センタサーバ30から送信される運行指令に含まれる。
また、走行部101は、車両10の遠隔操作時に車両10の走行を制御する。走行部101は、センタサーバ30から受信した指令に基づいて、駆動部17を制御するための制御指令を生成する。なお、車両10を遠隔操作する方法については、公知の方法を採用することができる。
撮像部102は、外部カメラ18及び内部カメラ19によって車両10の外部及び内部の撮像を行う。そして、撮像部102は、外部カメラ18及び内部カメラ19が撮像した画像データの解像度を調整した後、所定の動画圧縮フォーマットにより圧縮(エンコード)してセンタサーバ30へ送信する。動画圧縮フォーマットには、例えば、「H.264/MPEG-4 AVC」または「H.265/MPEG-H HEVC」を採用することができる。したがって、撮像部102は、エンコーダの機能を有する。撮像部102は、圧縮した外部画像データまたは内部画像データをセンタサーバ30へ送信する。
撮像部102は、センタサーバ30から受信する撮影モード切替指令に基づいて、撮像モードを切り替える。撮影モード切替指令は、センタサーバ30で生成される指令であって、例えば管理者による入力に応じた撮影モードに切り替えるための指令である。撮像モードには、外部撮像モード、内部撮像モード、及び、外内部撮像モードを含む。
外部撮像モードは、外部カメラ18のみで撮像を行い、外部画像データのみをセンタサーバ30に送信する撮像モードである。また、内部撮像モードは、内部カメラ19のみで
撮像を行い、内部画像データのみをセンタサーバ30に送信する撮像モードである。また、外内部撮像モードは、外部カメラ18及び内部カメラ19の両方で撮像を行い、外部画像データ及び内部画像データの両方をセンタサーバ30に送信する撮像モードである。
そして、撮像部102は、外部撮像モードで撮像したときの外部画像データの容量よりも、内部撮像モードで撮像したときの内部画像データの容量が大きくなるように、両画像データを生成する。比較するのは、圧縮前の外部画像データと圧縮前の内部画像データとであってもよく、圧縮後の外部画像データと圧縮後の内部画像データとであってもよい。例えば、外部カメラ18からは低解像度の画像データを出力させ、内部カメラ19からは高解像度の画像データを出力させるようにしてもよい。例えば、外部撮像モードのときにセンタサーバ30へ送信する外部画像データの解像度を720×1280ピクセルに設定し、内部撮像モードのときにセンタサーバ30へ送信する内部画像データの解像度を1080×1920ピクセルに設定する。
また、撮像部102は、外内部撮像モードで撮像したときの内部画像データの容量を、内部撮像モードで撮像したときの内部画像データの容量よりも小さくする。例えば、外内部撮像モードで撮像したときの内部画像データの容量を、外部撮像モードで撮像したときの外部画像データの容量と同じにしてもよい。例えば、外内部撮像モードのときにセンタサーバ30へ送信する内部画像データの解像度を720×1280ピクセルに設定し、内部撮像モードのときにセンタサーバ30へ送信する内部画像データの解像度を1080×1920ピクセルに設定する。
次に、センタサーバ30の機能について説明する。図4は、センタサーバ30の機能構成を例示した図である。センタサーバ30は、機能構成要素として、制御部301を備える。センタサーバ30のプロセッサ31は、主記憶部32上のコンピュータプログラムにより、制御部301の処理を実行する。ただし、各機能構成素のいずれか、またはその処理の一部がハードウェア回路により実行されてもよい。
制御部301は、車両10を運行させるための指令である運行指令を生成する。運行指令には、例えば、車両10のルートが含まれる。制御部301は、例えば、車両10が、現在地(例えば、基地)から出発して、各停留所を経由して、基地まで戻るように運行指令を生成する。各停留所では、客を乗車若しくは降車させるためにドアを開閉する指令などが含まれる。車両10のルートを生成するために、補助記憶部33に地図情報が記憶されていてもよい。
また、制御部301は、管理者が入力部34を介して入力した情報にしたがって、撮像モード切替指令を生成する。例えば、制御部301は、ディスプレイ35に撮像モードを選択するためのGUIを出力し、管理者が入力部34を介して選択した撮像モードを取得する。そして、車両10がその撮像モードに切り替えるように撮像モード切替指令を生成して、車両10へ送信する。
また、制御部301は、車両10から受信した外部画像データまたは内部画像データをディスプレイ35に出力する。そのため、制御部301は、受信した外部画像データ及び内部画像データをデコードする。したがって、制御部301は、デコーダの機能を有する。制御部301は、補助記憶部33に記憶されている画像データをデコードするためのプログラムを実行することで、外部画像データ及び内部画像データをデコードする。
例えば、センタサーバ30が、外部撮像モードで撮像された外部画像データを受信した場合には、制御部301は、外部画像データをディスプレイ35に出力する。車両10に複数の外部カメラ18が備わる場合には、外部画像データも複数存在する。その複数の外
部画像データが全てディスプレイ35に表示されるように、制御部301が複数の外部画像データを出力してもよい。例えば、車両10が4つの外部カメラ18を備える場合には、ディスプレイ35を四分割して4つの外部画像データを夫々出力してもよい。また、制御部301は、複数の外部画像データのうち、管理者が入力部34を介して選択した外部画像データをディスプレイ35に拡大表示してもよい。また、ディスプレイ35を複数有する場合に、各ディスプレイ35に異なる外部画像データを表示させてもよい。
また、例えば、センタサーバ30が、内部撮像モードで撮像された内部画像データを受信した場合には、制御部301は、内部画像データをディスプレイ35に出力する。車両10に複数の内部カメラ19が備わる場合には、内部画像データも複数存在する。その複数の内部画像データが全てディスプレイ35に表示されるように、制御部301が複数の内部画像データを出力してもよい。例えば、車両10が4つの内部カメラ19を備える場合には、ディスプレイ35を四分割して4つの内部画像データを夫々出力してもよい。また、制御部301は、複数の内部画像データのうち、管理者が入力部34を介して選択した内部画像データをディスプレイ35に拡大表示してもよい。また、ディスプレイ35を複数有する場合に、各ディスプレイ35に異なる内部画像データを表示させてもよい。
また、例えば、センタサーバ30が、外内部撮像モードで撮像された外部画像データ及び内部画像データを受信した場合には、制御部301は、外部画像データ及び内部画像データをディスプレイ35に出力する。車両10に複数の外部カメラ18及び複数の内部カメラ19が備わる場合には、外部画像データ及び内部画像データも複数存在する。その複数の外部画像データ及び内部画像データが全てディスプレイ35に表示されるように、制御部301が複数の外部画像データ及び内部画像データを出力してもよい。例えば、車両10が4つの外部カメラ18及び4つの内部カメラ19を備える場合には、ディスプレイ35を八分割して4つの外部画像データ及び4つの内部画像データを夫々出力してもよい。また、制御部301は、複数の外部画像データ及び複数の内部画像データのうち、管理者が入力部34を介して選択した画像データをディスプレイ35に拡大表示してもよい。また、ディスプレイ35を複数有する場合に、各ディスプレイ35に異なる画像データを表示させてもよい。
上記のように、管理者は、複数のアングルから撮像された画像を同時に見ることができる。そして、制御部301は、管理者が入力部34を介して入力した情報に応じて車両10を遠隔操作するための運行指令を生成する。例えば、管理者が車両10を停止させるための入力を行った場合には、車両10が直ちに停止するように運行指令を生成して車両10へ送信する。また、管理者が車両10の進路を変更する入力を行った場合には、車両10の進路が変更されるように運行指令を生成して車両10へ送信する。また、制御部301は、管理者が入力部34に入力した情報に応じて、例えば、救急車の出動を要請する情報を生成して、救急車を手配する救急センターに送信してもよい。
次に、車両10における画像データ送信処理について説明する。図5は、本実施形態に係る画像データ送信処理のフローチャートである。図5に示した画像データ送信処理は、車両10において、所定の時間毎に実行される。
ステップS101では、撮像部102が、センタサーバ30から撮像モード切替指令を受信したか否か判定する。ステップS101で肯定判定された場合にはステップS102へ進み、否定判定された場合には本ルーチンを終了させる。ステップS102では、撮像部102が、受信した撮像モード切替指令が外内部撮像モードに切り替える指令であるか否か判定する。ステップS102で肯定判定された場合にはステップS103へ進み、否定判定された場合にはステップS104へ進む。
ステップS103では、撮像部102が、外内部画像データ送信処理を実行する。図6は、外内部画像データ送信処理のフローチャートを示した図である。ステップS201において撮像部102は、外部画像データを取得する。外部カメラ18が複数備わる場合には、全ての外部カメラ18に対応する外部画像データを夫々取得する。撮像部102は、前回のルーチンから今回ルーチンまでの時間に取得された外部画像データを取得する。
ステップS202において撮像部102は、外部画像データの解像度を調整する。ここでは、後述するステップS205で調整される内部画像データの解像度よりも低くなるように、外部画像データの解像度を調整する。外内部画像データ送信処理に対応する外部画像データの解像度は、予め定められていてもよい。ステップS203では、撮像部102は、解像度を調整した外部画像データをエンコードする。
ステップS204において撮像部102は、内部画像データを取得する。内部カメラ19が複数備わる場合には、全ての内部カメラ19に対応する内部画像データを夫々取得する。撮像部102は、前回のルーチンから今回ルーチンまでの時間に取得された内部画像データを取得する。ステップS205において撮像部102は、内部画像データの解像度を調整する。ここでは、前述のステップS202で調整される外部画像データの解像度よりも高くなるように、且つ、後述のステップS402で調整される内部画像データの解像度よりも低くなるように、内部画像データの解像度を調整する。外内部画像データ送信処理に対応する内部画像データの解像度は、予め定められていてもよい。ステップS206では、撮像部102は、解像度を調整した内部画像データをエンコードする。
そして、ステップS207において撮像部102は、エンコード後の外部画像データ及び内部画像データをセンタサーバ30へ送信する。
図5に戻り、ステップS104では、受信した撮像モード切替指令が外部撮像モードに切り替える指令であるか否か判定する。ステップS104で肯定判定された場合にはステップS105へ進み、否定判定された場合にはステップS106へ進む。
ステップS105では、撮像部102が、外部画像データ送信処理を実行する。図7は、外部画像データ送信処理のフローチャートを示した図である。ステップS301において撮像部102は、外部画像データを取得する。外部カメラ18が複数備わる場合には、全ての外部カメラ18に対応する外部画像データを夫々取得する。撮像部102は、前回のルーチンから今回ルーチンまでの時間に取得された外部画像データを取得する。
ステップS302において撮像部102は、外部画像データの解像度を調整する。ここでは、後述するステップS402で調整される内部画像データの解像度よりも低くなるように、外部画像データの解像度を調整する。外部画像データ送信処理に対応する外部画像データの解像度は、予め定められていてもよい。ステップS203では、撮像部102は、解像度を調整した外部画像データをエンコードする。ステップS304において撮像部102は、エンコード後の外部画像データをセンタサーバ30へ送信する。
図5に戻り、ステップS106では、撮像部102が、内部画像データ送信処理を実行する。図8は、内部画像データ送信処理のフローチャートを示した図である。ステップS401において撮像部102は、内部画像データを取得する。内部カメラ19が複数備わる場合には、全ての内部カメラ19に対応する内部画像データを夫々取得する。撮像部102は、前回のルーチンから今回ルーチンまでの時間に取得された内部画像データを取得する。
ステップS402において撮像部102は、内部画像データの解像度を調整する。ここ
では、前述のステップS205で調整される内部画像データの解像度よりも高くなるように、且つ、前述のステップS302で調整される外部画像データの解像度よりも高くなるように、内部画像データの解像度を調整する。内部画像データ送信処理に対応する内部画像データの解像度は、予め定められていてもよい。ステップS403では、撮像部102は、解像度を調整した内部画像データをエンコードする。ステップS404において撮像部102は、エンコード後の内部画像データをセンタサーバ30へ送信する。
以上説明したように本実施形態によれば、外部撮像モードのときは内部撮像モードのときよりも画像データの容量が小さくされるので、車両10の外部の画像データをセンタサーバ30が取得するときの時間遅れを短くできる。したがって、外部画像データに基づいた遠隔操作がしやすくなる。一方、車両10の内部の画像データは容量が大きいために、解像度の高い画像を得ることができる。したがって、乗客の様子をより詳しく知ることができる。また、外内部撮像モードのときは内部撮像モードのときよりも、内部画像データの容量が小さくされるので、外内部撮像モードのときに外部画像データ及び内部画像データをセンタサーバ30が受信するときの時間遅れが長くなることを抑制できる。
なお、上記説明では、3つの撮像モードを有することを前提として説明したが、別法として、外部撮像モードと内部撮像モードとの2つの撮像モードだけを有していてもよい。この場合、外部撮像モードにおいてセンタサーバ30へ送信される外部画像データの容量が、内部撮像モードにおいてセンタサーバ30へ送信される内部画像データの容量よりも小さければよい。
また、上記説明では、センタサーバ30から撮像モード切替指令を受信した場合に、撮像部102が撮像モードを切り替えているが、別法として、車両10の位置情報に基づいて、撮像部102が撮像モードを切り替えることもできる。例えば、停留所を含む所定の領域では、撮像部102が外内部撮像モードに切り替えてもよい。また、道路の合流地点など、車両10の外部を監視する必要のある場所では、撮像部102が外部撮像モードに切り替えてもよい。
<その他の実施形態>
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施し得る。
本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、1つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、1つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成(サーバ構成)によって実現するかは柔軟に変更可能である。
本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する1つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクドライブ(HDD)等)、光ディスク(CD-ROM、DVDディスク、ブルーレイディスク等)など任意のタイプのディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気
カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
1 システム
10 自律走行車両
11 プロセッサ
12 主記憶部
13 補助記憶部
18 外部カメラ
19 内部カメラ
30 センタサーバ

Claims (9)

  1. プロセッサ、外部カメラ及び内部カメラを備える自律走行車両であって、
    前記プロセッサは、
    撮像モードが外部撮像モードである場合、前記外部カメラにより前記自律走行車両の外部を撮像することで得られた外部画像データをサーバに送信すること、
    前記撮像モードが内部撮像モードである場合、前記内部カメラにより前記自律走行車両の内部を撮像することで得られた内部画像データを前記サーバに送信すること、並びに
    前記撮像モードが外内部撮像モードである場合、前記外部画像データ及び前記内部画像データを前記サーバに送信すること、
    を実行するように構成され、
    前記外部撮像モードで前記外部画像データを撮像する時の解像度は、前記内部撮像モードで前記内部画像データを撮像する時の解像度よりも予め低く設定されており、かつ
    前記外内部撮像モードで前記内部画像データを撮像する時の解像度は、前記内部撮像モードで前記内部画像データを撮像する時の解像度よりも予め低く設定されている、
    自律走行車両。
  2. 前記プロセッサ、前外部画像データ及び前記内部画像データを所定の圧縮率で圧縮する、
    求項に記載の自律走行車両
  3. 前記外部画像データ又は前記内部画像データには、複数の画像データが含まれる、
    求項1又は2に記載の自律走行車両
  4. 自律走行車両のプロセッサにより実行される情報処理方法であって、
    前記自律走行車両は、外部カメラ及び内部カメラを備え、
    前記情報処理方法は、
    撮像モードが外部撮像モードである場合、前記外部カメラにより前記自律走行車両の外部を撮像することで得られた外部画像データをサーバに送信すること、
    前記撮像モードが内部撮像モードである場合、前記内部カメラにより前記自律走行車両の内部を撮像することで得られた内部画像データを前記サーバに送信すること、並びに
    前記撮像モードが外内部撮像モードである場合、前記外部画像データ及び前記内部画
    像データを前記サーバに送信すること、
    を含み、
    前記外部撮像モードで前記外部画像データを撮像する時の解像度は、前記内部撮像モードで前記内部画像データを撮像する時の解像度よりも予め低く設定されており、かつ
    前記外内部撮像モードで前記内部画像データを撮像する時の解像度は、前記内部撮像モードで前記内部画像データを撮像する時の解像度よりも予め低く設定されている、
    情報処理方法。
  5. 前記プロセッサ、前外部画像データ及び前記内部画像データを所定の圧縮率で圧縮する、
    求項に記載の情報処理方法。
  6. 前記外部画像データ又は前記内部画像データには、複数の画像データが含まれる、
    求項4又は5に記載の情報処理方法。
  7. 自律走行車両のプロセッサに情報処理方法を実行させるためのプログラムであって、
    前記自律走行車両は、外部カメラ及び内部カメラを備え、
    前記情報処理方法は、
    撮像モードが外部撮像モードである場合、前記外部カメラにより前記自律走行車両の外部を撮像することで得られた外部画像データをサーバに送信すること、
    前記撮像モードが内部撮像モードである場合、前記内部カメラにより前記自律走行車両の内部を撮像することで得られた内部画像データを前記サーバに送信すること、並びに
    前記撮像モードが外内部撮像モードである場合、前記外部画像データ及び前記内部画像データを前記サーバに送信すること、
    を含み、
    前記外部撮像モードで前記外部画像データを撮像する時の解像度は、前記内部撮像モードで前記内部画像データを撮像する時の解像度よりも予め低く設定されており、かつ
    前記外内部撮像モードで前記内部画像データを撮像する時の解像度は、前記内部撮像モードで前記内部画像データを撮像する時の解像度よりも予め低く設定されている、
    プログラム。
  8. 前記プロセッサ、前外部画像データ及び前記内部画像データを所定の圧縮率で圧縮させる、
    求項に記載のプログラム。
  9. 前記外部画像データ又は前記内部画像データには、複数の画像データが含まれる、
    求項7又は8に記載のプログラム。
JP2021126916A 2021-08-02 2021-08-02 自律走行車両、情報処理方法、及びプログラム Active JP7635668B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021126916A JP7635668B2 (ja) 2021-08-02 2021-08-02 自律走行車両、情報処理方法、及びプログラム
US17/858,502 US12407842B2 (en) 2021-08-02 2022-07-06 Autonomous traveling vehicle information processing method, and non-transitory storage medium
CN202210913469.9A CN115701617A (zh) 2021-08-02 2022-08-01 信息处理装置、信息处理方法以及存储有程序的非临时性的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021126916A JP7635668B2 (ja) 2021-08-02 2021-08-02 自律走行車両、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2023021817A JP2023021817A (ja) 2023-02-14
JP7635668B2 true JP7635668B2 (ja) 2025-02-26

Family

ID=85037950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021126916A Active JP7635668B2 (ja) 2021-08-02 2021-08-02 自律走行車両、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US12407842B2 (ja)
JP (1) JP7635668B2 (ja)
CN (1) CN115701617A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230084387A (ko) * 2021-12-03 2023-06-13 현대자동차주식회사 차량 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN210573960U (zh) 2019-09-05 2020-05-19 成都亿盟恒信科技有限公司 一种基于行车记录和安全预警的车载终端
JP2020174295A (ja) 2019-04-11 2020-10-22 株式会社デンソー 車載装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3991314B2 (ja) * 2002-07-19 2007-10-17 富士フイルム株式会社 画像送信装置
JP2005212709A (ja) * 2004-02-02 2005-08-11 Yoichi Takebayashi 車両運転支援システム
JP2005222307A (ja) * 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像表示システム及び画像表示方法
JP2009175848A (ja) * 2008-01-22 2009-08-06 Nec Corp ドライブレコーダ装置、ドライブレコード方法、プログラム、及び記録媒体
KR20150011889A (ko) * 2013-07-24 2015-02-03 주식회사 만도 차량용 영상 저장 장치 및 그 영상 저장 방법
JP2018055445A (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
JP6635075B2 (ja) * 2017-03-09 2020-01-22 トヨタ自動車株式会社 画像記録システム、画像記録方法、画像記録プログラム
CN109934952B (zh) * 2017-12-18 2021-05-11 华创车电技术中心股份有限公司 车载行车影像图像数据建立系统
DE102018214874B3 (de) * 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
JP7249879B2 (ja) 2018-10-05 2023-03-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
CN113039778B (zh) 2018-10-31 2024-01-02 索尼集团公司 图像捕获装置、图像处理方法和记录介质
EP3876515B1 (en) 2018-10-31 2025-02-12 Sony Group Corporation Imaging device, control method, and program
JP7180535B2 (ja) * 2019-05-23 2022-11-30 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム
JP2021022033A (ja) * 2019-07-25 2021-02-18 トヨタ自動車株式会社 車両遠隔指示システム
JP2021026687A (ja) 2019-08-08 2021-02-22 パナソニックi−PROセンシングソリューションズ株式会社 不適切行動検知システムおよび不適切行動検知方法
JP7094929B2 (ja) * 2019-09-20 2022-07-04 本田技研工業株式会社 車両点検装置、及び車両点検システム
US12335610B2 (en) * 2020-11-04 2025-06-17 Sumitomo Electric Industries, Ltd. Image data transmission apparatus, image data transmission method, and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020174295A (ja) 2019-04-11 2020-10-22 株式会社デンソー 車載装置
CN210573960U (zh) 2019-09-05 2020-05-19 成都亿盟恒信科技有限公司 一种基于行车记录和安全预警的车载终端

Also Published As

Publication number Publication date
US20230031034A1 (en) 2023-02-02
JP2023021817A (ja) 2023-02-14
US12407842B2 (en) 2025-09-02
CN115701617A (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
US10717448B1 (en) Automated transfer of vehicle control for autonomous driving
CN110419211B (zh) 信息处理装置、信息处理方法和计算机可读的存储介质
JP4716815B2 (ja) 車々間通信装置、車々間通信システムおよび動画情報のアプリケーション適用可否判断方法
CN107305740B (zh) 路况预警方法、设备、服务器、控制设备及操作系统
JP2018142921A (ja) 自動運転制御装置、自動運転制御方法、自動運転制御プログラム、自動運転車両、遠隔制御装置、遠隔制御方法、及び遠隔制御プログラム
US11546503B1 (en) Dynamic image compression for multiple cameras of autonomous vehicles
JP2020149323A (ja) 情報処理装置及び情報処理装置を備える自動走行制御システム
KR20210057886A (ko) 차량 충돌 방지 장치 및 그 방법
WO2020154959A1 (zh) 多负载图传方法、控制系统、控制终端、无人机和服务器
JP2023057120A (ja) 飛行体の制御に関する情報表示方法
CN113965726A (zh) 处理交通视频的方法、装置以及系统
JP7635668B2 (ja) 自律走行車両、情報処理方法、及びプログラム
US20240210939A1 (en) Camera image compression for autonomous driving vehicles
JP2019047401A (ja) 画像処理装置
US11671700B2 (en) Operation control device, imaging device, and operation control method
US12401765B2 (en) Predictive adjustment of multi-camera surveillance video data capture using graph maps
WO2022091167A1 (ja) 情報提供サーバ、情報提供方法及びプログラム記録媒体
US11070714B2 (en) Information processing apparatus and information processing method
US20250166390A1 (en) Control apparatus, monitoring system, control method, and non-transitory computer-readable medium
CN115214720A (zh) 应用于自动驾驶的模型确定方法、装置、设备及存储介质
US12462567B2 (en) Predictive adjustment of distributed surveillance video data capture using networks of graph maps
US11303815B2 (en) Imaging apparatus and imaging method
CN114860359B (zh) 图像处理方法、系统和存储介质
US20230356754A1 (en) Control Mode Selection And Transitions
US20240353850A1 (en) Control device and remote support system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250127

R150 Certificate of patent or registration of utility model

Ref document number: 7635668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150