WO2021210134A1 - 映像配信装置、映像配信方法及びプログラム - Google Patents

映像配信装置、映像配信方法及びプログラム Download PDF

Info

Publication number
WO2021210134A1
WO2021210134A1 PCT/JP2020/016732 JP2020016732W WO2021210134A1 WO 2021210134 A1 WO2021210134 A1 WO 2021210134A1 JP 2020016732 W JP2020016732 W JP 2020016732W WO 2021210134 A1 WO2021210134 A1 WO 2021210134A1
Authority
WO
WIPO (PCT)
Prior art keywords
probability
video
collision
video distribution
image
Prior art date
Application number
PCT/JP2020/016732
Other languages
English (en)
French (fr)
Inventor
拓磨 鍔木
亮太 石橋
悠希 中原
孝太郎 小野
健 桑原
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022514954A priority Critical patent/JP7416219B2/ja
Priority to US17/919,116 priority patent/US20230169862A1/en
Priority to PCT/JP2020/016732 priority patent/WO2021210134A1/ja
Publication of WO2021210134A1 publication Critical patent/WO2021210134A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle

Abstract

一実施形態に係る映像配信装置(10)は、自動運転を行う複数の車両(30)にそれぞれ搭載された複数のカメラ(31)の映像を端末(20)に配信する映像配信装置(10)であって、所定の時刻までに前記車両(30)が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部(104)と、前記複数のカメラ(31)の映像うち、前記衝突確率が最も高い車両(30)に搭載されたカメラ(31)の映像を選択する選択部と、前記選択されたカメラ(31)の映像の映像品質を高くする制御部と、を有することを特徴とする。

Description

映像配信装置、映像配信方法及びプログラム
 本発明は、映像配信装置、映像配信方法及びプログラムに関する。
 近年、トラクタ等の農機を対象として、自動運転レベル3(条件付き運転自動運転)の実用化が進められている。農機の自動運転レベル3の安全確保のためには、緊急停止や緊急操作等を行うための遠隔監視が義務付けられている。このため、遠隔監視時の問題点等に関して様々な検討が行われている(例えば、非特許文献1)。
 自動運転レベル3では、監視者の利用するインタフェースを工夫したり、監視者を育成したりすることで、1人の監視者が2~3台の車両を監視することが予定されている(例えば、非特許文献2)。また、複数台の車両を監視している監視者が1台の車両に対して遠隔操作を行った場合には、当該監視者は他の車両の監視や操作が困難になるため、自動的に他の車両を安全に停止させ、遠隔操作が完了した後で他の車両を再発進させる機能が知られている(例えば、非特許文献3~5)。
「第3回 自動運転の段階的実現に向けた調査検討委員会 議事概要」,インターネット<URL:https://www.npa.go.jp/koutsuu/kikaku/jidounten/kentoiinkai/03/gijigaiyou.pdf> 「無人運転車に安心して乗車するために、遠隔から監視、操作するセンター開設 - MONOist(モノイスト)」,インターネット<URL:https://monoist.atmarkit.co.jp/mn/articles/1809/28/news063.html> 「1人で複数台の自動運転車を遠隔監視、福井県永平寺町で「世界初」の公道実証 - MONOist(モノイスト)」,インターネット<URL:https://monoist.atmarkit.co.jp/mn/articles/1811/16/news030.html> 「ラストマイル自動走行に関する新たな遠隔型実証実験を開始します ~遠隔ドライバー1 名が2 台の車両を運用する遠隔型自動運転の世界初の公道実証~」,インターネット<URL:https://wwwtb.mlit.go.jp/chubu/press/pdf/gian20181114.pdf> 「遠隔型自動運転システムの公道実証実験に係る道路使用許可の申請に対する取扱いの基準」,インターネット<URL:https://www.npa.go.jp/laws/notification/koutuu/kouki/290601koukih92.pdf>
 しかしながら、従来技術又は手法では、1人の監視者が監視できる車両台数のスケール性に限界がある。すなわち、例えば、インタフェースの工夫や監視者の育成等では2~3台程度しか監視できないと考えられる。
 一方で、例えば、圃場等で作業する複数台の農機を監視する場合、全ての農機を平等に監視する必要は必ずしもないと考えられる。例えば、何等かの物体(人、動物、他の農機等も含む)に衝突する可能性がある農機は特に注意して監視する必要がある一方で、そうでない農機は比較的監視を緩めても(又は監視しなくても)良いと考えられる。このため、監視対象の農機に軽重を付けたり、実際に監視する農機を選択したりすることで、農機台数のスケール性を向上させることができると考えられる。
 本発明の一実施形態は、上記の点に鑑みてなされたもので、自動運転における監視対象車両の高いスケール性を実現することを目的とする。
 上記目的を達成するため、一実施形態に係る映像配信装置は、自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置であって、所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部と、前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択部と、前記選択されたカメラの映像の映像品質を高くする制御部と、を有することを特徴とする。
 自動運転における監視対象車両の高いスケール性を実現することができる。
第一の実施形態に係る映像配信システムの全体構成の一例を示す図である。 第一の実施形態に係る映像配信サーバのハードウェア構成の一例を示す図である。 第一の実施形態に係る映像配信サーバの機能構成の一例を示す図である。 ラベルDBの一例を示す図である。 第一の実施形態に係る映像配信処理の一例を示すフローチャートである。 存在確率の一例を説明するための図である。 相対速度の計算方法の一例を説明するための図である。 第二の実施形態に係る映像配信処理の一例を示すフローチャートである。
 以下、本発明の一実施形態について説明する。以降では、圃場等で自動運転する農機を監視対象車両として、これらの農機が搭載するカメラの映像を遠隔監視先に配信する際に、農機の衝突確率に応じて映像品質(解像度・フレームレート)を制御する映像配信システム1について説明する。より具体的には、何等かの物体(人、動物、他の農機等も含む)に衝突する確率が高い農機の映像は高い映像品質で配信し、何等かの物体に衝突する可能性が低い農機の映像は低い映像品質で配信する映像配信システム1について説明する。これにより、衝突確率が高い農機は鮮明な映像で監視され、そうでない農機は比較的鮮明でない映像で監視されることになり、監視者は、自身が監視する農機に軽重を付けることが可能となる。このため、監視者は多くの農機を監視することが可能となり、自動運転における監視対象車両である農機の台数に関して高いスケール性を実現することができるようになる。
 [第一の実施形態]
 まず、第一の実施形態について説明する。
 <全体構成>
 本実施形態に係る映像配信システム1の全体構成について、図1を参照しながら説明する。図1は、第一の実施形態に係る映像配信システム1の全体構成の一例を示す図である。
 図1に示すように、本実施形態に係る映像配信システム1には、映像配信サーバ10と、監視者端末20と、1以上の農機30と、1以上のカメラ40とが含まれる。
 映像配信サーバ10はエッジ又はクラウド上のシステム環境に設置されているサーバであり、農機30に搭載されたカメラの映像を監視者端末20に配信する。このとき、映像配信サーバ10は、各農機30の衝突確率に応じて各映像の映像品質を制御する。なお、エッジ又はクラウド上のシステム環境に対して、圃場及びその周囲のシステム環境をローカルと称する。
 監視者端末20はローカルに対して遠隔地のシステム環境に設置された端末であり、自動運転する各農機30に搭載されたカメラの映像を監視する監視者が利用する。監視者は、監視者端末20に配信された映像を監視し、例えば、農機30が何等かの物体に衝突しそうな場合等に、緊急停止や緊急操作等の操作を行うオペレータ等である。
 農機30は、例えば、予め設定された行動計画に従って自動運転する車両である。ここで、農機30には、農機30の前方(及びその周囲)を撮影するカメラ31と、農機30の現在位置を測位するためのGPS(Global Positioning System)受信機32とが搭載されている。農機30は、カメラ31により撮影された映像と、GPS受信機32により測位された現在位置を示す位置情報とを映像配信サーバ10に送信する。以降では、複数台の農機30の各々を区別する場合は「農機30」、「農機30」、「農機30」等と表す。また、農機30に搭載されているカメラ31及びGPS受信機32をそれぞれ「カメラ31」及び「GPS受信機32」、農機30に搭載されているカメラ31及びGPS受信機32をそれぞれ「カメラ31」及び「GPS受信機32」、農機30に搭載されているカメラ31及びGPS受信機32をそれぞれ「カメラ31」及び「GPS受信機32」等と表す。
 なお、本実施形態では、農機30とは、車輪又はクローラ等の走行装置を備えた農業機械のことを意味するものとする。農機30の具体例としては、トラクタやコンバイン等が挙げられる。ただし、これらは一例であって、農機30には自動運転(自動走行又は自動航行)可能な任意の農業機械が含まれていてもよい。具体的には、農機30は、例えば、農業用のドローンや農業用の船舶等であってもよい。
 カメラ40は、圃場内又はその周囲に設置された撮影装置である。カメラ40は、圃場やその周囲を撮影した映像を映像配信サーバ10に送信する。これにより、この映像から圃場及びその周囲に存在する物体(動物、人等)の位置情報を映像配信サーバ10で管理することが可能となる。以降では、カメラ31で撮影された映像とカメラ40で撮影された映像とを区別するため、カメラ31で撮影された映像を「監視用映像」、カメラ40で撮影された映像を「位置特定用映像」とも表す。
 なお、図1に示す映像配信システム1の全体構成は一例であって、他の構成であってもよい。例えば、映像配信システム1には、複数の監視者端末20が含まれていてもよいし、複数のカメラ40が含まれていてもよい。映像配信システム1には、圃場及びその周囲を歩行する人が所持する歩行者端末50が含まれていてもよい。
 映像配信システム1に歩行者端末50が含まれる場合、この歩行者端末50にGPS受信機が搭載されており、歩行者の現在位置を示す位置情報が映像配信サーバ10に送信されてもよい。これにより、各時刻における歩行者の位置情報を映像配信サーバ10で管理することができる。なお、歩行者端末50としては、例えば、スマートフォンやウェアラブルデバイス等を用いることが可能である。以降では、複数の人の各々を区別する場合は「人1」、「人2」、「人3」等と表す。
 <ハードウェア構成>
 次に、本実施形態に係る映像配信サーバ10のハードウェア構成について、図2を参照しながら説明する。図2は、第一の実施形態に係る映像配信サーバ10のハードウェア構成の一例を示す図である。
 図2に示すように、本実施形態に係る映像配信サーバ10は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置11と、表示装置12と、外部I/F13と、通信I/F14と、プロセッサ15と、メモリ装置16とを有する。これらの各ハードウェアは、それぞれがバス17を介して通信可能に接続されている。
 入力装置11は、例えば、キーボードやマウス、タッチパネル等である。表示装置12は、例えば、ディスプレイ等である。なお、映像配信サーバ10は、入力装置11及び表示装置12のうちの少なくとも一方を有していなくてもよい。
 外部I/F13は、記録媒体13a等の各種外部装置とのインタフェースである。映像配信サーバ10は、外部I/F13を介して、例えば、記録媒体13aの読み取りや書き込み等を行うことができる。なお、記録媒体13aには、例えば、CD(Compact Disc)、DVD(Digital Versatile Disk)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
 通信I/F14は、映像配信サーバ10を通信ネットワークに接続するためのインタフェースである。プロセッサ15は、例えば、CPU(Central Processing Unit)等の各種演算装置である。メモリ装置16は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等の各種記憶装置である。
 本実施形態に係る映像配信サーバ10は、図2に示すハードウェア構成を有することにより、後述する映像配信処理を実現することができる。なお、図2に示すハードウェア構成は一例であって、映像配信サーバ10は、他のハードウェア構成を有していてもよい。例えば、映像配信サーバ10は、複数のプロセッサ15を有していてもよいし、複数のメモリ装置16を有していてもよい。
 <機能構成>
 次に、本実施形態に係る映像配信サーバ10の機能構成について、図3を参照しながら説明する。図3は、第一の実施形態に係る映像配信サーバ10の機能構成の一例を示す図である。
 図3に示すように、本実施形態に係る映像配信サーバ10は、位置情報管理部101と、相対速度計算部102と、存在確率計算部103と、衝突確率計算部104と、ネットワーク情報受信部105と、映像中継部106とを有する。これら各部は、例えば、映像配信サーバ10にインストールされた1以上のプログラムがプロセッサ15に実行させる処理により実現される。
 また、本実施形態に係る映像配信サーバ10は、ラベルDB107を有する。当該DBは、例えば、メモリ装置16により実現される。
 位置情報管理部101は、各農機30及び各歩行者端末50から位置情報を受信すると共に、カメラ50から位置特定用映像を受信する。また、位置情報管理部101は、位置特定用映像から各物体(例えば、動物、人等)の位置を特定し、特定した位置を示す位置情報を生成する。各農機30及び各歩行者端末50から受信した位置情報と、位置特定用映像から特定した位置情報とは、例えば、時刻毎かつ物体(動物、人等)又は農機30毎にメモリ装置16等に保存される。このとき、歩行者端末50から受信した位置情報と、位置特定用映像から特定した位置情報とが同一の人の位置情報を表す場合には、これらの位置情報が同一人の位置情報としてメモリ装置16等に保存されることが好ましいが、異なる人の位置情報としてメモリ装置16等に保存されてもよい。なお、位置情報管理部101は、既知の物体認識技術等により位置特定用映像から各物体の位置を特定すればよい。また、位置情報は統一されていれば、例えば、緯度及び軽度等で表現される絶対位置座標であってもよいし、何等かの基準(例えば、或る特定の農機30や圃場内に設定された基準点等)から相対位置座標であってもよい。
 相対速度計算部102は、各物体の位置情報とラベルDB107に格納されているラベル及び速度とを用いて、各物体(例えば、動物、人)と各農機30との相対速度を計算する。なお、ラベルとは物体の分類のことであり、後述するように、物体の速度(正確には速さ)はラベル毎に予め決められている。
 存在確率計算部103は、各物体の位置情報とラベルDB107に格納されているラベル及び速度とを用いて、所定の時刻(例えば、農作業終了時刻等)までの所定の領域(例えば、圃場内等)における各物体(例えば、動物、人)の存在確率を計算する。なお、存在確率計算部103は、例えば、参考文献1「杉村 大輔,小林 貴訓,佐藤 洋一,杉本 晃宏,"行動履歴に基づく人物存在確率の利用による人物三次元追跡の安定化",情報処理学会論文誌 コンピュータビジョンとイメージメディア Vol. 1 No. 2 100-110(July 2008)」や参考文献2「田中 博己,高須 淳宏,山名 早人,"MAP推定を用いた歩行者の位置情報予測-POI推薦を目的として-",DENIM Forum 2018 H5-4」等に記載されている手法により、所定の時刻までの所定の領域における各物体の存在確率を計算すればよい。
 衝突確率計算部104は、各物体の存在確率と、各物体のラベル毎に決められた係数とを用いて、所定の時刻までに各農機30がいずれかの物体と衝突する確率(衝突確率)を計算する。
 ネットワーク情報受信部105は、映像配信サーバ10と各農機30との間の通信ネットワークの通信品質(例えば、通信帯域等)を受信する。なお、ネットワーク情報受信部105は、例えば、映像配信サーバ10と各農機30との間の通信ネットワークの通信品質を測定又は予測する外部の装置又は機器から通信品質を受信すればよい。ただし、例えば、ネットワーク情報受信部105が当該通信品質を測定又は予測してもよい。
 映像中継部106は、各農機30の衝突確率に応じて、これら各農機30に搭載されているカメラ31の映像品質(解像度・フレームレート)を制御する。すなわち、映像中継部106は、衝突確率が高い農機30に搭載されているカメラ31を制御して、当該カメラ31の映像品質を高くする。一方で、映像中継部106は、映像配信サーバ10と監視者端末20との間の通信ネットワークの通信品質(例えば、通信帯域等)に応じて、他の農機30にそれぞれ搭載されているカメラ31を制御して、これらのカメラ31の映像品質を低くする。そして、映像中継部106は、各農機30から受信した監視用映像を監視者端末20に配信する。
 ラベルDB107は、各農機30と各物体との相対速度の計算、各物体の存在確率の計算、各農機30の衝突確率の計算等に用いられる情報(ラベル、係数、速度)を格納する。ここで、ラベルDB107に格納されている情報の一例について、図4を参照しながら説明する。図4は、ラベルDB107の一例を示す図である。
 図4に示すように、ラベルDB107には、ラベルと、係数aと、速度vとが対応付けて格納されている。また、ラベルには、大分類と小分類とが含まれる。ここで、係数aは農機30と衝突しても問題ないか否かを表し、a=1の場合は衝突してはいけないことを表し、a=0の場合は衝突しても問題ないことを表す。
 例えば、大分類「人」及び小分類「子供」のラベルには、係数a=1と、速度v=3.6とが対応付けられている。同様に、大分類「人」及び小分類「大人」のラベルには、係数a=1と、速度v=4.5とが対応付けられている。同様に、大分類「動物」及び小分類「害獣」のラベルには、係数a=0と、速度v=8.0とが対応付けられている。大分類「動物」及び小分類「その他」のラベルには、係数a=1と、速度v=8.0とが対応付けられている。
 このように、ラベルDB107には、物体の種類を表すラベル毎に、衝突可否を表す係数aと、予め決められた速度v(正確には速さ)とが対応付けて格納されている。
 <映像配信処理>
 次に、本実施形態に係る映像配信サーバ10が監視用映像を監視者端末20に配信するための映像配信処理について、図5を参照しながら説明する。図5は、第一の実施形態に係る映像配信処理の一例を示すフローチャートである。
 まず、位置情報管理部101は、各農機30及び各物体(動物、人等)の現在時刻までの位置情報を取得する(ステップS101)。なお、位置情報管理部101は、例えば、メモリ装置16等から各農機30及び各物体の現在時刻までの位置情報を取得すればよい。
 次に、位置情報管理部101は、各物体にそれぞれ対応するラベル、係数a及び速度vをラベルDB107から取得する(ステップS102)。すなわち、例えば、圃場及びその周囲に動物1~動物2及び人1~人3の物体が存在する場合、動物1のラベル「動物、害獣」、係数a=0及び速度v=8.0と、動物2のラベル「動物、害獣」、係数a=0及び速度v=8.0と、人1のラベル「人、大人」、係数a=1及び速度v=4.5と、人2のラベル「人、大人」、係数a=1及び速度v=4.5と、人3のラベル「人、大人」、係数a=1及び速度v=4.5とが取得される。
 次に、存在確率計算部103は、各物体の位置情報とラベル及び速度とを用いて、所定の時刻までの所定の領域における各物体の存在確率を計算する(ステップS103)。上述したように、例えば、所定の時刻としては農作業終了時刻、所定の領域としては圃場内とすればよい。この場合、存在確率計算部103は、農作業終了時刻までの圃場内における各物体の存在確率を計算する。以降では、物体の総数をNとして、或る領域kにおけるj(j=1,・・・,N)番目の物体(以下、「物体j」という。)の存在確率をpkjと表す。なお、上述したように、存在確率の計算には既知の手法が用いられる。
 ここで、或る物体jの存在確率pkjの計算結果の一例を図6に示す。図6に示す例では、物体jの周囲の領域1における存在確率はp1j=0.9、領域2における存在確率はp2j=0.1、領域1及び領域2以外の領域3(つまり、圃場内で、かつ、領域1及び領域2以外の領域)における存在確率はp3j=0となっている。これは、当該物体jが農作業終了時刻までに領域1にいる確率がp1j=0.9、農作業終了時刻までに領域2にいる確率がp3j=0.1、それ以外の領域3にいる確率はp3j=0であることを表している。
 なお、図6に示す例では、領域1は物体jの周囲の円又は楕円状の領域、領域2はその外側の円環又は楕円環状の領域としたが、これに限られず、任意の形状の領域における存在確率が計算されてもよい。例えば、メッシュ等の矩形状の領域における存在確率が計算されてもよい。また、図6に示す例では、領域1と領域2と領域3の3つの領域における存在確率を計算したが、1つ以上の領域であれば任意の数の領域における存在確率が計算されてもよい。
 以降のステップS104~ステップS112の処理は、監視用映像の配信が終了するまで(例えば、農作業終了時刻となるまで等)、所定の時間毎(例えば、1秒~数秒毎等)に繰り返し実行される。
 相対速度計算部102は、各物体の位置情報とラベル及び速度(速さ)とを用いて、各物体と各農機30との相対速度を計算する(ステップS104)。例えば、図7に示すように、農機30の速度ベクトルをV、物体jの速度ベクトルをv、農機30に対する物体jの方向を表す角度をθij、速度ベクトルVのθij方向の成分をVij (つまり、Vij =Vcosθij)とすれば、農機30と物体jとの相対速度Vijは、Vij=v+Vij により計算される。ここで、速度ベクトルvは、物体jのラベルに対応する速度(速さ)で、かつ、物体jから農機30への方向のベクトルである。
 このように、相対速度計算部102は、各物体が、当該物体のラベルに対応する速さで、最短距離で各農機30に向かうものとして相対速度を計算する。これは、後述するように、衝突確率を計算する際に、相対速度が速いほど、衝突確率の計算に用いる存在確率の数が多くなるためである。つまり、各物体は、各農機30との衝突確率が最も高くなる方向に移動するものとしている。
 次に、衝突確率計算部104は、各物体の存在確率と、各物体のラベル毎に決められた係数とを用いて、所定の時刻(つまり、本実施形態では、農作業終了時刻)までに各農機30がいずれかの物体と衝突する確率(衝突確率)を計算する(ステップS105)。農機30の総数をM、物体jのラベルに対応する係数をa、物体jに対する農機30の周囲の所定の領域をDij、領域Dijにおける物体jの存在確率をqとして、農作業終了時刻までに農機30(i=1,・・・,M)がいずれかの物体と衝突する衝突確率Pは、
Figure JPOXMLDOC01-appb-M000001
により計算される。上記の存在確率qは、領域Dijにおける物体jの存在確率pkjである。なお、物体jが領域Dij内で異なる複数の存在確率を取る場合、これらの複数の存在確率のうちで最も高い存在確率をqとしてもよいし、これら複数の存在確率の平均をqとしてもよい。
 ここで、上記の領域Dijは、農機30と物体jとの相対速度Vijに応じて決定される。例えば、領域Dijは、農機30を中心として、dij=d'ij+d'を半径とする円形領域とすればよい。d'[m]は監視者が監視用映像から物体を確認するために必要な距離であり、予め決められた値(例えば、5[m]等)とする。一方で、d'ij[m]は農機30を停止させるために必要な距離であり、d'ij=t×Vij×(1000/3600)+(V /(256×μ))により算出される。なお、tは反応時間(つまり、農機30の停止の必要性を監視者が認識してから停止操作を行い当該農機30が制御されるまでに要する時間[s])、μは摩擦係数である。
 なお、本実施形態では、各農機30は予め決定された行動計画に従って移動しているため、農機30同士が衝突することはないものとしたが、農機30同士の衝突も考慮して衝突確率が計算されてもよい。この場合、上記のステップS103で各農機30の存在確率を計算した上で、これらの存在確率も用いて各農機30の衝突確率を計算すればよい。
 次に、映像中継部106は、各農機30の衝突確率Pと、ネットワーク情報受信部105が受信した通信品質とを用いて、高い映像品質で配信する監視用映像を選択すると共に、当該選択した監視用映像を送信する農機30の通信帯域を決定する(ステップS106)。すなわち、映像中継部106は、衝突確率Pが最も高い農機30の監視用映像を高い映像品質で配信する監視用映像に選択し、この監視用映像を農機30が送信する際の通信帯域を、予め決められたより高い通信帯域に決定する。なお、映像中継部106は、例えば、高い映像品質で配信する監視用映像を選択する選択部と、より高い通信帯域に決定する制御部又は決定部とに分けることができてもよい。
 このとき、必要に応じて、当該監視用映像以外の他の監視用映像の映像品質を下げると共に、当該他の監視用映像を農機30が送信する際の通信帯域を、予め決められたより低い通信帯域に決定してもよい。例えば、ネットワーク情報受信部105が受信した通信品質を用いて当該他の監視用映像の映像品質を下げる必要があるか否かを判定し、この判定結果に応じて当該他の監視用映像の映像品質を下げると決定すると共に、当該他の監視用映像を農機30が送信する際の通信帯域をより低い通信帯域に決定してもよい。
 なお、衝突確率Pが最も高い農機30が複数台存在する場合、映像中継部106は、これら複数台の農機30の監視用映像を高い映像品質で配信すると選択し、その通信帯域をより高い通信帯域に決定してもよい。一方で、P=・・・=P=0である場合は、本ステップの処理は行われない。
 次に、映像中継部106は、Pmax=0であるか否かを判定する(ステップS107)。ここで、Pmaxは、{P,・・・,P}の最大値である。
 上記のステップS107でPmax=0であると判定されなかった場合、映像中継部106は、上記のステップS106で決定した通信帯域に応じて、各農機30のカメラ31の映像品質(解像度・フレームレート)を変更する(ステップS108)。例えば、上記のステップS106において、或る農機30が監視用映像を送信する際の通信帯域が800Mbpsと決定された場合、映像中継部106は、800Mbpsで遅延なく監視用映像が受信可能で、かつ、最も高い映像品質となるように、当該農機30のカメラ31の映像品質を変更する。これにより、上記のステップS106でより高い通信帯域に決定された農機30のカメラ31はより高い映像品質に変更され、上記のステップS106でより低い通信帯域に決定された農機30のカメラ31はより低い映像品質に変更される。このように、何等かの物体と衝突する確率が高い農機30の映像品質を高くすることで、例えば、衝突対象の物体の大きさや色等の関係により通常の映像品質では監視用映像上で確認が困難な場合であっても、高い映像品質の監視用映像により監視者が容易に衝突対象を確認することができるようになる。
 次に、映像中継部106は、衝突確率Pが最も高い農機30の監視用映像を監視者端末20に配信する(ステップS109)。これにより、農作業終了時刻までに何等かの物体(より正確には、係数aが0でない物体j)と衝突する確率の最も高い農機30の監視用映像が監視者端末20に配信される。
 ただし、映像中継部106は、衝突確率Pが最も高い農機30の監視用映像だけでなく、他の農機30の監視用映像も監視者端末20に配信してもよい。このとき、例えば、監視者端末20側では、衝突確率が最も高い農機30の監視用映像のみを表示してもよいし、衝突確率が高い順に上位L(Lは予め決められた2以上の整数)個の監視用映像のみを表示してもよいし、複数の監視用映像を表示すると共に衝突確率が最も高い農機30の監視用映像のみを異なる態様(例えば、注意喚起を促すような態様)で表示してもよい。
 一方で、上記のステップS107でPmax=0であると判定された場合、映像中継部106は、各農機30(つまり、農機30,・・・,農機30)のカメラ31の映像品質(解像度・フレームレート)を同一に変更する(ステップS110)。この場合、全ての農機30は物体(係数aが0でない物体j)と衝突しないためである。
 次に、映像中継部106は、各農機30(つまり、農機30,・・・,農機30)の監視用映像の中から1つの監視用映像をランダムに選択し、選択した監視用映像を監視者端末20に配信する(ステップS111)。これにより、ランダムに選択された1つの監視用映像のみが監視者端末20に配信される。なお、このとき、複数個の監視用映像がランダムに選択されてもよい。
 ステップS109又はステップS111に続いて、映像中継部106は、監視用映像の配信を終了するか否かを判定する(ステップS112)。なお、映像中継部106は、例えば、農作業終了時刻になった場合や予め決められた配信終了時刻になった場合等に、監視用映像の配信を終了すると判定すればよい。これにより、監視用映像の配信を終了するまで、上記のステップS104~ステップS111が所定の時間毎に繰り返し実行される。
 [第二の実施形態]
 次に、第二の実施形態について説明する。なお、第二の実施形態では、映像配信処理の流れのみが第一の実施形態と異なる。
 <映像配信処理>
 本実施形態に係る映像配信サーバ10が監視用映像を監視者端末20に配信するための映像配信処理について、図8を参照しながら説明する。図8は、第二の実施形態に係る映像配信処理の一例を示すフローチャートである。
 図8に示す映像配信処理では、所定の時間毎(例えば、1秒~数秒毎等)に、ステップS201~ステップS212の処理が繰り返し実行される。なお、ステップS201~ステップS212の処理内容は、図3のステップS101~ステップS112の処理内容とそれぞれ同様である。
 このように、第二の実施形態では、位置情報の取得(ステップS201)と存在確率の計算(ステップS202)も所定の時間毎に繰り返し実行される。これにより、映像配信サーバ10の計算量は多くなるものの、衝突確率を計算する際に存在確率が都度計算されるため、第一の実施形態よりも高い精度で衝突確率を計算することが可能となる。
 <まとめ>
 以上のように、第一及び第二の実施形態に係る映像配信システム1は、農機30が何からの物体(係数aが0でない物体j)と衝突する確率(衝突確率)を計算した上で、この衝突確率が高い農機30の映像を選択する。これにより、この選択された映像の映像品質を高くしたり、選択された映像のみを監視者端末20に配信したりすることが可能となり、選択された映像のみを異なる表示態様で監視者端末20に表示させたりすることが可能となる。このため、農機30を監視する際の監視者の監視負担が削減又は軽減され、1人の監視者でより多くの農機30を監視することが可能なる。すなわち、自動運転における監視対象車両の台数に関して高いスケール性を実現することが可能となる。
 本発明は、具体的に開示された上記の各実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
 1    映像配信システム
 10   映像配信サーバ
 11   入力装置
 12   表示装置
 13   外部I/F
 13a  記録媒体
 14   通信I/F
 15   プロセッサ
 16   メモリ装置
 17   バス
 20   監視者端末
 30   農機
 31   カメラ
 32   GPS受信機
 40   カメラ
 50   歩行者端末
 101  位置情報管理部
 102  相対速度計算部
 103  存在確率計算部
 104  衝突確率計算部
 105  ネットワーク情報受信部
 106  映像中継部
 107  ラベルDB

Claims (8)

  1.  自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置であって、
     所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算部と、
     前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択部と、
     前記選択されたカメラの映像の映像品質を高くする制御部と、
     を有することを特徴とする映像配信装置。
  2.  前記制御部は、
     前記複数のカメラの映像のうち、前記選択されたカメラの映像を前記端末に配信するように制御する、請求項1に記載の映像配信装置。
  3.  前記制御部は、
     前記車両との間の通信ネットワークの通信品質に応じて、前記選択されたカメラの映像以外の映像の映像品質を低くする、ことを特徴とする請求項1又は2に記載の映像配信装置。
  4.  前記所定の時刻までに所定の領域に前記物体が存在する確率を示す存在確率を計算する存在確率計算部を有し、
     前記衝突確率計算部は、
     前記物体の種類毎に予め決められた衝突可否を用いて、前記車両毎に、前記衝突確率を計算する、ことを特徴とする請求項1乃至3の何れか一項に記載の映像配信装置。
  5.  前記衝突確率計算部は、
     前記物体の衝突可否が衝突可である場合は、前記物体の存在確率を考慮せずに前記衝突確率を計算し、
     前記物体の衝突可否が衝突不可である場合は、前記物体の存在確率を考慮した前記衝突確率を計算する、ことを特徴とする請求項4に記載の映像配信装置。
  6.  前記映像配信装置は、
     前記衝突確率計算部によって前記衝突確率を計算する都度、前記存在確率計算部によって前記存在確率を計算する、ことを特徴とする請求項4又は5に記載の映像配信装置。
  7.  自動運転を行う複数の車両にそれぞれ搭載された複数のカメラの映像を端末に配信する映像配信装置が、
     所定の時刻までに前記車両が物体と衝突する確率を示す衝突確率を計算する衝突確率計算手順と、
     前記複数のカメラの映像うち、前記衝突確率が最も高い車両に搭載されたカメラの映像を選択する選択手順と、
     前記選択されたカメラの映像の映像品質を高くする制御手順と、
     を実行することを特徴とする映像配信方法。
  8.  コンピュータを、請求項1乃至6の何れか一項に記載の映像配信装置として機能させるプログラム。
PCT/JP2020/016732 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム WO2021210134A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022514954A JP7416219B2 (ja) 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム
US17/919,116 US20230169862A1 (en) 2020-04-16 2020-04-16 Video distribution apparatus, video distribution method and program
PCT/JP2020/016732 WO2021210134A1 (ja) 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/016732 WO2021210134A1 (ja) 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021210134A1 true WO2021210134A1 (ja) 2021-10-21

Family

ID=78084158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016732 WO2021210134A1 (ja) 2020-04-16 2020-04-16 映像配信装置、映像配信方法及びプログラム

Country Status (3)

Country Link
US (1) US20230169862A1 (ja)
JP (1) JP7416219B2 (ja)
WO (1) WO2021210134A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170768A1 (ja) * 2022-03-08 2023-09-14 日本電気株式会社 制御装置、監視システム、制御方法及び非一時的なコンピュータ可読媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094885A (ja) * 2007-10-10 2009-04-30 Victor Co Of Japan Ltd 無線装置および接続方法
JP2009239673A (ja) * 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両用モニタリング装置
WO2013118191A1 (ja) * 2012-02-10 2013-08-15 三菱電機株式会社 運転支援装置及び運転支援方法
JP2018074286A (ja) * 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置
WO2018167891A1 (ja) * 2017-03-15 2018-09-20 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2019008796A (ja) * 2017-06-23 2019-01-17 ウーバー テクノロジーズ,インコーポレイテッド 自律可能車両用衝突回避システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094885A (ja) * 2007-10-10 2009-04-30 Victor Co Of Japan Ltd 無線装置および接続方法
JP2009239673A (ja) * 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両用モニタリング装置
WO2013118191A1 (ja) * 2012-02-10 2013-08-15 三菱電機株式会社 運転支援装置及び運転支援方法
JP2018074286A (ja) * 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置
WO2018167891A1 (ja) * 2017-03-15 2018-09-20 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2019008796A (ja) * 2017-06-23 2019-01-17 ウーバー テクノロジーズ,インコーポレイテッド 自律可能車両用衝突回避システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170768A1 (ja) * 2022-03-08 2023-09-14 日本電気株式会社 制御装置、監視システム、制御方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
JP7416219B2 (ja) 2024-01-17
US20230169862A1 (en) 2023-06-01
JPWO2021210134A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US20200369271A1 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
US11449073B2 (en) Shared vehicle obstacle data
CN113366497B (zh) 自主载具的智能体优先级划分
EP3602220B1 (en) Dynamic sensor selection for self-driving vehicles
EP3460406B1 (en) Information processing apparatus, vehicle, information processing method, running control method, and map updating method
EP2444919B1 (en) Method and apparatus for generating alerts
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
US9916703B2 (en) Calibration for autonomous vehicle operation
US8818043B2 (en) Traffic signal mapping and detection
JP7355877B2 (ja) 車路協同自動運転の制御方法、装置、電子機器及び車両
US10849543B2 (en) Focus-based tagging of sensor data
DE102019122400A1 (de) Prognostizieren einer bewegungsabsicht von objekten
US11269327B2 (en) Picking up and dropping off passengers at an airport using an autonomous vehicle
CN110959143A (zh) 信息处理装置、信息处理方法、程序和移动体
US20230045416A1 (en) Information processing device, information processing method, and information processing program
WO2021210134A1 (ja) 映像配信装置、映像配信方法及びプログラム
US11977440B2 (en) On-board feedback system for autonomous vehicles
SE1650608A1 (en) Method and control unit for a vehicle
EP3690845A1 (en) Method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion and server using the same
KR20220009379A (ko) 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램
US11926332B1 (en) Assessing surprise for autonomous vehicles
US20220377283A1 (en) Image data collecting apparatus, method, and program
US20230373503A1 (en) Vehicle controller, method and computer program for vehicle control, priority setting device, and vehicle control system
US20230322252A1 (en) True vision autonomous mobile system
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20931421

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022514954

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20931421

Country of ref document: EP

Kind code of ref document: A1