JP7485012B2 - 遠隔監視システム、配信制御装置、及び方法 - Google Patents

遠隔監視システム、配信制御装置、及び方法 Download PDF

Info

Publication number
JP7485012B2
JP7485012B2 JP2022511412A JP2022511412A JP7485012B2 JP 7485012 B2 JP7485012 B2 JP 7485012B2 JP 2022511412 A JP2022511412 A JP 2022511412A JP 2022511412 A JP2022511412 A JP 2022511412A JP 7485012 B2 JP7485012 B2 JP 7485012B2
Authority
JP
Japan
Prior art keywords
quality
accident
internal
moving body
risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022511412A
Other languages
English (en)
Other versions
JPWO2021199349A1 (ja
JPWO2021199349A5 (ja
Inventor
浩一 二瓶
孝法 岩井
航生 小林
悠介 篠原
正行 坂田
隆志 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021199349A1 publication Critical patent/JPWO2021199349A1/ja
Publication of JPWO2021199349A5 publication Critical patent/JPWO2021199349A5/ja
Application granted granted Critical
Publication of JP7485012B2 publication Critical patent/JP7485012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、遠隔監視システム、配信制御装置、及び方法に関する。
近年、自動運転車に関する技術が注目されている。自動運転は、車両が運転支援を行うレベル1から、車両が完全に自律走行するレベル5まで、複数のレベルにレベル分けされる。自動運転車レベル4以上では、車両に運転者が乗車する必要はない。しかしながら、車両に運転者が乗車していない場合、何らかの異常が発生した場合、異常に対して対処できなくなる可能性がある。特に、バスなどの乗客を乗せて運行する自動車に運転者が乗車しない場合でも、乗客の安全をいかに確保するかが大切である。
関連技術として、特許文献1は、車載用動画像データ記録装置を開示する。特許文献1において、車両に搭載されるカメラは、走行中の車両の周辺状況を撮影する。データ記録装置は、通常画質で動画像データを圧縮し、圧縮した動画像データを通常画質データ記憶部に保存する。また、データ記録装置は、通常画質より高い画質で動画像データを圧縮する。データ記録装置は、車両接近、人体接近、急ブレーキ実施、又は衝撃といった異常状況を示すトリガが発生したかを判断する。データ記録装置は、異常が発生したと判断した場合、異常発生より一定時間前にさかのぼって、高画質で圧縮された動画像データを高画質データ記憶部に保存する。
別の関連技術として、特許文献2は、エレベータの内部やバスの車室などの特定のエリアを監視する監視装置を開示する。特許文献2において、監視カメラは、特定のエリアを撮影する。映像送信装置は、監視カメラの映像を外部に送信する。監視装置は、監視カメラの映像に基づいて、特定エリア内に存在する人の数、及び人の位置の偏り度を算出する。監視装置は、算出した人数及び偏り度に基づいて、映像の記録密度、及び映像送信装置の通信頻度を調整する。
さらに別の関連技術として、特許文献3は、車両の周囲を撮影した画像と、車内を撮影した画像とを、車両の運転手に提示する運転支援装置を開示する。特許文献3に記載の運転支援装置は、車外画像から車両の外に安全運転を阻害する要因が有るか否かを判定する。また、運転支援装置は、車内画像から車両内で安全運転を阻害する要因が有るか否かを判定する。運転支援装置は、安全運転を阻害する要因が検出された場合、その要因が検出された画像が見易くなるように、車外画像と車内画像とを合成し、合成画像を表示する。
さらなる関連技術として、特許文献4は、周辺監視カメラの映像と車内カメラの映像とを管制センタに送信する車両用通信装置を開示する。特許文献4に記載の車両用通信装置は、車速、操舵角、及びシフト位置などに基づいて、車両状況を特定する。特定される車両状況は、「直進」、「右折」、「左折」、「後退」、「乗降停車」、及び「乗員異常」を含む。車両用通信装置は、特定した車両状況に応じてどの映像を優先するかを決定する。車両用通信装置は、優先度が高い映像は高解像度かつ高フレームレートで管制センタに送信し、優先度が低い映像は低解像度及び低フレームレートで管制センタに送信する。
特開2013-080518号公報 国際公開第2017/212568号 特開2014-199546号公報 特開2020-3934号公報
特許文献1では、異常発生をトリガに、記録方式を変更している。しかしながら、特許文献1では、異常発生後に、時間をさかのぼって高画質の動画像データが記録される。このため、特許文献1に記載のデータ記録装置は、映像をライブ配信して監視するような場合に、異常発生前の状況をリアルタイムに把握することができない。また、データ記録装置が記録する映像をモバイル網などを通じて遠隔で監視する場合、遠隔監視に必要となる最低限の通信帯域が得られない場合がある。その場合、遠隔監視側の装置において、遠隔監視又は遠隔制御を行うために十分な情報が得られない可能性がある。
特許文献2では、特定のエリア内の人の分布などに応じて、外部に送信される特定エリアの映像の画質が制御される。しかしながら、特許文献2では、画質の制御に、特定のエリアの内部状況しか考慮されない。特許文献2では、遠隔監視又は遠隔制御のために必要な、外的要因に起因する撮影対象への影響を考慮して、画質を制御することができない。
特許文献3では、車内と車外のどちらに安全運転を阻害する要因があるかに応じて、合成画像において、車内画像と車外画像のどちらを見やすくするかが決定される。しかしながら、特許文献3において、車内における安全運転を阻害する要因と、車外における安全運転を阻害する要因とが、別々に判定される。特許文献3では、安全運転を阻害する要因がある方の画像が見やすくなるように車内画像と車外画像とが合成されており、車両の動作に応じた車内の危険性は考慮されない。
特許文献4では、特定された車両状況が「乗員異常」の場合、車内カメラの映像の優先度が高く設定される。しかしながら、特許文献4では、「乗員異常」以外の車両状況では、車内カメラの映像が車外カメラの映像より優先されることはない。このため、特許文献4においても、車両の動作に応じた車内の状況を知ることはできない。
本開示は、上記事情に鑑み、車両の動作に応じて、車両内部の状況を精度よく把握する映像を取得できる遠隔監視システム、配信制御装置、及び方法を提供することを目的とする。
上記目的を達成するため、本開示は、ネットワークを介して、移動体の内部を撮影した内部映像を受信する映像受信手段と、前記内部映像と前記移動体の状況を示す状況情報に基づいて、前記移動体の内部で事故が発生するリスクを予測する事故リスク予測手段と、前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定する品質決定手段と、前記内部映像品質情報に基づいて、前記内部映像の品質を調整する品質調整手段と、を備える遠隔監視システムを提供する。
本開示は、内部を撮影した内部映像をネットワークを介して送信し、かつ該送信する内部映像の品質が調整可能に構成された移動体の状況を示す状況情報と前記内部映像とに基づいて、前記移動体の内部で事故が発生するリスクを予測する事故リスク予測手段と、前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定する品質決定手段と、前記決定された内部映像品質情報に基づいて、前記内部映像の品質を制御する品質制御手段とを備える配信制御装置を提供する。
本開示は、ネットワークを介して、移動体の内部を撮影した内部映像を受信し、前記内部映像と前記移動体の状況を示す状況情報に基づいて、前記移動体の内部で事故が発生するリスクを予測し、前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定し、前記内部映像品質情報に基づいて、前記内部映像の品質を調整する、遠隔監視方法を提供する。
本開示は、内部を撮影した内部映像をネットワークを介して送信し、かつ該送信する内部映像の品質が調整可能に構成された移動体の状況を示す状況情報と前記内部映像とに基づいて、前記移動体の内部で事故が発生するリスクを予測し、前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定し、前記決定された内部映像品質情報に基づいて、前記内部映像の品質を制御する配信制御方法を提供する。
本開示に係る遠隔監視システム、配信制御装置、及び方法は、車両の動作に応じて、車両内部の状況を精度よく把握する映像を取得することができる。
本開示に係る遠隔監視システムを概略的に示すブロック図。 本開示に係る遠隔監視システムにおける動作手順を概略的に示すフローチャート。 本開示の第1実施形態に係る遠隔監視システムを示すブロック図。 移動体の構成例を示すブロック図。 遠隔監視装置の構成例を示すブロック図。 経路情報の具体例を示す図。 遠隔監視システムにおける動作手順を示すフローチャート。 監視画面表示部が表示する監視画面の一例を示す図。 監視画面表示部が表示する監視画面の別例を示す図。 一部の領域が高画質化された内部映像の例を示す図。 コンピュータ装置の構成例を示すブロック図。
本開示の実施の形態の説明に先立って、本開示の概要を説明する。図1は、本開示に係る遠隔監視システムを概略的に示す。遠隔監視システム10は、映像受信手段11、監視画面表示手段12、事故リスク予測手段13、品質決定手段14、及び品質調整手段16を有する。遠隔監視システム10において、事故リスク予測手段13、及び品質決定手段14は、例えば配信制御装置20に配置される。品質調整手段16は、移動体30に配置される。配信制御装置20は、移動体30に配置されていてもよい。
映像受信手段11は、移動体30の内部を撮影した内部映像をネットワークを介して受信する。事故リスク予測手段13は、内部映像と、移動体30の状況を示す状況情報に基づいて、移動体30の内部で事故が発生するリスクを予測する。品質決定手段14は、内部事故のリスクの予測結果に基づいて、移動体30が送信する内部映像の品質を示す内部映像品質情報を決定する。
移動体30において、品質調整手段16は、内部映像品質情報に基づいて、内部品質の品質を調整する。
図2は、遠隔監視システム10における動作手順を概略的に示す。映像受信手段11は、ネットワークを介して、移動体30の内部を撮影した内部映像を受信する(ステップA1)。事故リスク予測手段13は、移動体30の内部映像と移動体30の状況を示す状況情報とに基づいて、移動体30の内部で事故が発生するリスクを予測する(ステップA2)。品質決定手段14は、リスクの予測結果に基づいて、内部映像の品質を示す内部映像品質情報を決定する(ステップA3)。品質調整手段16は、内部映像品質情報に基づいて、内部映像の品質を調整する(ステップA4)。
本開示において、事故リスク予測手段13は、内部映像と移動体の状況情報に基づいて、移動体30の内部における事故のリスクを予測する。品質決定手段14は、内部事故のリスクの予測結果に基づいて、内部映像品質情報を決定する。品質決定手段14は、例えば予測結果が事故のリスクがあることを示す場合、内部映像の品質を高品質に決定する。品質調整手段16は、品質決定手段14が決定した内部映像品質情報に基づいて、内部映像の画質を調整する。このようにすることで、映像受信手段11は、移動体の動作に応じて、内部において事故のリスクがある場合に、移動体の内部の状況を精度よく把握可能な映像を取得することができる。監視者は、そのような映像を用いて移動体30の遠隔監視を行うことで、乗客に危険が生じていないかを確認できる。
以下、本開示の実施の形態を詳細に説明する。図3は、本開示の第1実施形態に係る遠隔監視システムを示す。遠隔監視システム100は、遠隔監視装置101を含む。遠隔監視装置101は、移動体200とネットワーク102を介して接続される。ネットワーク102は、例えば、LTE(Long Term Evolution)等の通信回線規格を用いたネットワークであってもよいし、WiFi(登録商標)又は第5世代移動通信システムなどの無線通信網を含んでいてもよい。遠隔監視システム100は、図1に示される遠隔監視システム10に対応する。
移動体200は、例えばバス、タクシー、又は列車などの乗客を乗せて走行する車両として構成される。移動体200は、移動体に搭載されるセンサの情報に基づいて自動運転(自律運転)が可能に構成されていてもよい。なお、図3には、種類が異なる3つの移動体200が図示されているが、移動体200の数、及び種類は特に限定されない。以下の説明では、主に移動体200がバスなどの道路上を走行する車両であるものとする。移動体200は、図1に示される移動体30に対応する。
図4は、移動体200の構成例を示す。移動体200は、周辺監視センサ201、車内カメラ202、車体情報取得部204、信号情報取得部205、位置情報取得部206、他車情報取得部207、品質調整部208、及び通信装置210を有する。移動体200において、これら構成要素は車内LAN(Local Area Network)やCAN(Controller Area Network)などを介して相互に通信可能に構成される。
周辺監視センサ201は、移動体200の周辺状況を監視するセンサである。周辺監視センサ201は、例えばカメラ、レーダ、及びLiDAR(Light Detection and Ranging)などを含む。周辺監視センサ201は、例えば車両の前方、後方、右側方、及び左側方を撮影する複数のカメラを含んでいてもよい。車内カメラ202は、移動体200の内部を撮影するカメラである。車内カメラ202は、特に乗客が乗車するエリアを撮影する。移動体200は、複数の車内カメラ202を有していてもよい。
車体情報取得部204は、移動体200の各種情報を取得する。車体情報取得部204は、例えば移動体200の車両センサから、車速、操舵角、アクセルペダルの開度、及びブレーキペダルの踏み込み量などの情報を取得する。また、車体情報取得部204は、方向指示器の作動状態、及びドアの開閉状態などの情報を取得する。
信号情報取得部205は、移動体200の進行方向に存在する信号機の灯火状態を取得する。信号情報取得部205は、例えば路車間通信を用いて、信号機などの路上設備から信号機の灯火状態を取得してもよい。あるいは、信号情報取得部205は、車両前方を撮影するカメラの映像を解析し、信号機の灯火状態を取得してもよい。
位置情報取得部206は、移動体200の位置情報を取得する。位置情報取得部206は、例えば全球測位衛星システム(GNSS(Global Navigation Satellite System))を用いて、移動体の位置情報を取得してもよい。あるいは、位置情報取得部206は、移動体200に搭載される、図4には図示されないナビゲーション装置から位置情報を取得してもよい。
他車情報取得部207は、移動体200の周囲に存在する他の移動体の情報を取得する。他車情報取得部207は、例えば移動体200の前方を走行する他の車両との間の距離を取得する。移動体200と、前方を走行する車両との間の距離は、例えば周辺監視センサ201が出力するセンサ情報を用いて取得できる。
通信装置210は、移動体200とネットワーク102(図3を参照)との間で無線通信を行う装置として構成される。通信装置210は、無線通信用アンテナ、送信機、及び受信機を含む。また、通信装置210は、プロセッサ、メモリ、I/O、及びこれらを接続するバスを有する。通信装置210は、論理的な構成要素として、映像送信部211、及び情報送信部212を有する。映像送信部211、及び情報送信部212の機能は、例えば、メモリに記憶された制御プログラムをマイクロコンピュータで実行することにより実現される。
映像送信部211は、移動体200に搭載されたカメラの映像を、ネットワーク102を介して遠隔監視装置101に送信する。映像送信部211は、車内カメラ202を用いて撮影された移動体200の内部の映像(内部映像)を遠隔監視装置101に送信する。また、映像送信部211は、周辺監視センサ201に含まれるカメラを用いて撮影された移動体200の周囲の映像(外部映像)を遠隔監視装置101に送信する。
情報送信部212は、移動体200の各種情報を、ネットワーク102を介して遠隔監視装置101に送信する。情報送信部212は、例えば車体情報取得部204が取得した車速、方向指示器の作動状態、及びドアの開閉状態を遠隔監視装置101に送信する。また、情報送信部212は、信号情報取得部205が取得した信号機の灯火状態を遠隔監視装置101に送信する。情報送信部212は、位置情報取得部206が取得した移動体200の位置情報を遠隔監視装置101に送信する。情報送信部212は、他車情報取得部207が取得した他の車両との距離を遠隔監視装置101に送信する。
品質調整部208は、映像送信部211が遠隔監視装置101に送信する映像の品質を調整する。ここで、映像の品質を調整とは、例えば各カメラの映像の圧縮率、解像度、及びフレームレートの少なくとも一部などを調整することで、ネットワーク102を介して遠隔監視装置101に送信される映像のデータ量を調整することである。例えば、品質調整部208は、品質調整として、重要領域の品質を良くすることや重要領域以外の品質を落とすことが考えられる。例えば、品質を良くするとは、映像の解像度を上げる(鮮明化する)、フレーム数を上げる等の動作である。品質調整部208は、特に、車内カメラ202を用いて撮影された内部映像の品質を調整する。品質調整部208は、図1に示される品質調整手段16に対応する。
また、例えば、内部映像は、スケーラブル映像符号化(SVC:Scalable Video Coding)を用いて符号化される。スケーラブル映像符号化は、映像を複数の階層に分けて符号化する技術である。スケーラブル映像符号化では、選択する階層を変更することで、ビットレートと画質とを変動させることができる。スケーラブル映像符号化を用いて符号化された映像データは、例えば、基本階層データと、第1拡張階層データと、第2拡張階層データとを含む。品質調整部208は、内部映像を高画質に調整する場合、例えば基本階層データと第1拡張階層データ及び第2の拡張階層データとを、映像送信部211から遠隔監視装置101に送信させる。品質調整部208は、内部映像を低画質に調整する場合、例えば基本階層データを映像送信部211から遠隔監視装置101に送信させる。
図5は、遠隔監視装置101の構成例を示す。遠隔監視装置101は、映像受信部111、情報受信部112、監視画面表示部113、経路情報DB(database)114、及び配信制御部120を有する。映像受信部111は、移動体200の映像送信部211から送信された映像を、ネットワークを介して受信する。映像受信部111が受信する映像は、車内カメラ202を用いて撮影された内部映像を含む。映像受信部111は、図1に示される映像受信手段11に対応する。
情報受信部112は、移動体200の情報送信部212から送信された各種情報を、ネットワークを介して受信する。情報受信部112は、例えば、移動体の車速、方向指示器の作動状態、ドアの開閉状態、信号機の灯火状態、位置情報、及び他の車両との距離などの情報を受信する。監視画面表示部113は、映像受信部111が受信した映像を表示画面上に表示する。監視画面表示部113は、情報受信部112が受信した各種情報の少なくとも一部を表示画面上に表示してもよい。監視者は、表示画面を見ることで、移動体200の運行を監視する。
経路情報DB114は、移動体200の運行経路に関する情報を保持する。経路情報DB114は、例えばある停留所から次の停留所までに、どの交差点を経由して移動体200が走行するかを示す情報を、経路情報として保持する。なお、経路情報DB114は、遠隔監視装置101からアクセス可能であればよく、必ずしも遠隔監視装置101の一部を構成する必要はない。例えば、遠隔監視装置101は、経路情報DB114とインターネットなどのネットワークを介して接続されていてもよく、遠隔監視装置101は、ネットワークを介して経路情報DB114にアクセスしてもよい。
配信制御部120は、移動体200から遠隔監視装置101に送信される内部映像の品質を制御する。配信制御部120は、事故リスク予測部121、品質決定部122、及び品質情報送信部123を有する。配信制御部120は、図1に示される配信制御装置20に対応する。
事故リスク予測部121は、移動体200の状況情報に基づいて、移動体200の内部で事故(内部事故)が発生するリスクを予測する。移動体200の状況情報は、移動体200の状況を示す情報のことであり、情報受信部112が受信した情報、又は受信した情報に基づいて取得できる情報を含む。状況情報は、例えば、周辺監視センサ201が取得した情報、及び車体情報取得部204が取得した情報の少なくとも一部を含む。また、状況情報は、移動体の位置情報、及び信号機の灯火状態の情報を含み得る。これら情報は、位置情報取得部206、信号情報取得部205、或いは外部装置から取得できる。状況情報は、映像受信部111が受信した移動体200の周囲の映像に基づいて取得されてもよい。状況情報は、例えば、周辺監視センサ201に基づいて判定された、移動体200の周辺に存在する物体(歩行者、他の車両、又はバイクなどの物体)の情報、信号の灯火情報、周辺の物体との距離を示す情報であってもよい。事故リスク予測部121は、例えば内部事故のリスクがあると予測した場合、危険度を「高」と判定する。事故リスク予測部121は、例えば内部事故のリスクがない(リスクが低い)と予測した場合、危険度を「低」と判定する。
事故リスク予測部121は、例えば、移動体200の状況情報に応じて今後生じる移動体の加速度を予測してもよい。事故リスク予測部121は、例えば移動体200の状況情報に応じて移動体200の動作を予測し、その動作によって生じる加速度の絶対値を予測する。加速度の絶対値は、例えば移動体の動作と、その動作に関連した加速度の絶対値、又は加速度の絶対値の計算式とを対応付けたテーブルを用いて予測できる。事故リスク予測部121は、予測した加速度の絶対値と所定の規定値(しきい値)とを比較し、予測した加速度の絶対値が規定値以上の場合、危険度を「高」と判定する。事故リスク予測部121は、危険度を「高」と判定した後、加速度が規定値未満の状態が一定時間継続した場合、危険度を「低」と判定する。事故リスク予測部121は、図1に示される事故リスク予測手段13に対応する。
例えば、事故リスク予測部121は、情報受信部112が移動体200から受信した位置情報を、地図情報と比較し、移動体200がバス停に接近していることを検出する。その場合、事故リスク予測部121は、移動体200がバス停に停車する状態であると予測する。この状態において、移動体200は、バス停から所定距離手前の位置で減速を開始すると予測される。事故リスク予測部121は、移動体200が減速する場合の加速度の予測値を取得する。事故リスク予測部121は、バスが減速する際に、立っている高齢者が転倒する、或いはベビーカーが前方に移動するなどの内部事故のリスクを予測する。バス停への停車(減速)に関連した加速度の予測値の絶対値は、規定値以上であるとする。この場合、事故リスク予測部121は、危険度を「高」と判定する。
事故リスク予測部121は、移動体200の位置がバス停の位置と一致する場合、移動体200がバス停から発進する状態であると予測する。この状態において、移動体200は、バス停から発進して加速すると予測される。事故リスク予測部121は、移動体200が発進加速する場合の加速度の予測値を取得する。事故リスク予測部121は、例えば情報受信部112がバスのドアが閉まったことを示す情報を受信した場合、移動体200が発進すると予測する。事故リスク予測部121は、現在時刻がバス停の発車時刻になった場合、移動体200が発進すると予測してもよい。発進加速に関連した加速度の予測値の絶対値は、規定値以上であるとする。その場合、事故リスク予測部121は、移動体200が発進する場合に、危険度を「高」と判定する。
事故リスク予測部121は、情報受信部112が移動体200から受信した位置情報と、経路情報DB113に保持される経路情報とに基づいて、移動体200の走行状態を予測してもよい。事故リスク予測部121は、例えば、移動体200から経路情報を受信し、移動体200から取得した経路情報を使用して移動体200が交差点を右折又は左折する状態を予測してもよい。あるいは、事故リスク予測部121は、外部の装置から移動体の経路情報を取得し、移動体200から取得した経路情報を使用して移動体200が交差点を右折又は左折する状態を予測してもよい。あるいは、移動体200から取得した位置情報と、経路情報とを使用して、移動体200が湾曲又は迂曲した道に侵入して蛇行運転する状態を予測してもよい。
図6は、経路情報の具体例を示す。経路情報は、経路情報を識別する番号と、経路、及び経路が適用される系統を含む。図6において、No.1の経路は、A停留所(バス停)を出発した移動体が、a交差点を直進し、B停留所に停車することを示す。No.2の経路は、A停留所を出発した移動体が、a交差点を左折し、C停留所に停車することを示す。No.3の経路は、B停留所を出発した移動体が、b交差点を左折し、次いでd交差点を右折し、D停留所に停車することを示す。No.1の経路は1系統の移動体に適用され、No.2の経路は2系統の移動体に適用され、No.3の経路は1系統及び3系統の移動体に適用される。
事故リスク予測部121は、経路情報を用いることで、移動体200の系統と位置情報とから、例えばa交差点を直進するのか、或いは左折するのかを判別可能である。事故リスク予測部121は、例えば系統1で運行される移動体200がa交差点に接近した場合、移動体200がa交差点を左折すると予測する。事故リスク予測部121は、移動体200が交差点を左折する場合の加速度の予測値を取得する。左折又は右折に関連した加速度の予測値の絶対値は、規定値以上であるとする。その場合、事故リスク予測部121は、危険度を「高」と判定する。
事故リスク予測部121は、情報受信部112が移動体200から受信した信号機の灯火状態に基づいて、移動体200が信号機で停車する状態、及び移動体200が加速する状態の少なくとも一方を予測してもよい。移動体200から信号機の灯火状態を取得するのに代えて、遠隔監視装置101が、信号機の管制を行う外部装置から信号機の灯火状態を取得してもよい。事故リスク予測部121は、加速度の予測値の絶対値を取得する。信号停車に伴う加速度の予測値は、例えば、移動体の車速と信号機までの距離とに基づいて算出できる。事故リスク予測部121は、移動体200が信号機で停車する状態、又は加速する状態を予測した場合で、かつ、減速又は加速に伴う加速度の予測値の絶対値がしきい値以上の場合、危険度を「高」と判定する。
事故リスク予測部121は、情報受信部112が受信した、移動体200の周囲に存在する他の移動体との距離に基づいて、移動体200が他の移動体と接触する可能性が高い状態を予測してもよい。例えば、事故リスク予測部121は、前方の移動体との距離が急速に縮まっている場合に、接触する可能性が高い状態と予測してもよい。この状態において、移動体200は、接触を避ける動作を行うと予測される。事故リスク予測部121は、接触を避ける動作に起因する加速度の予測値の絶対値を取得する。加速度の予測値の絶対値は、移動体200と他の移動体との間の速度差、及び他の移動体との間の距離に基づいて算出できる。事故リスク予測部121は、移動体200が他の移動体と接触する可能性がある状態を予測した場合で、かつ接触を避ける動作に起因する加速度の予測値の絶対値が規定値以上の場合、危険度を「高」と判定する。
品質決定部122は、事故リスク予測部121の予測結果に基づいて、移動体200から送信される内部映像の品質を決定する。品質決定部122は、事故リスク予測部121が危険度「高」と判定した場合、内部映像の品質を、事故リスク予測部121が危険度「低」と判定した場合に比べて高い品質に決定する。例えば、品質決定部122は、事故リスク予測部121が危険度「低」と判定した場合、内部映像の品質を低品質(第1の品質)に決定する。品質決定部122は、事故リスク予測部121が危険度「高」と判定した場合、内部映像の品質を高品質(第2の品質)に決定する。品質決定部122は、図1に示される品質決定手段14に対応する。
品質情報送信部(品質制御手段)123は、品質決定部122が決定した内部映像の品質を特定する情報(内部映像品質情報)を、移動体200にネットワーク102を介して送信する。移動体200において、品質調整部208(図4を参照)は、品質情報送信部123が送信した内部映像品質情報を受信する。品質調整部208は、受信した内部映像品質情報に基づいて、映像送信部211が遠隔監視装置101に送信する内部映像の品質を調整する。遠隔監視装置101において、映像受信部111は、品質が調整された内部映像を受信する。
続いて、動作手順を説明する。図7は、遠隔監視システム100における動作手順(遠隔監視方法)を示す。遠隔監視方法は、配信制御方法を含む。移動体200において、映像送信部211は、車内カメラ202を用いて撮影された内部映像を含む映像をネットワーク102を介して遠隔監視装置101に送信する。また、情報送信部212は、車体情報取得部204などで取得された各種情報をネットワーク102を介して遠隔監視装置101に送信する。
遠隔監視装置101において、映像受信部111は、移動体200から送信された映像を受信する(ステップB1)。また、情報受信部112は、移動体200から送信された各種情報を受信する(ステップB2)。監視画面表示部113は、移動体から受信した映像を監視画面に表示する(ステップB3)。監視画面表示部113は、ステップB3では、ステップB2で移動体200から受信された各種情報の少なくとも一部を監視画面に表示してもよい。
事故リスク予測部121は、移動体200の状況情報に基づいて、移動体200の車内における内部事故のリスクを予測する(ステップB4)。品質決定部122は、内部事故の予測結果に基づいて、内部映像の品質を決定する(ステップB5)。品質決定部122は、例えば内部事故のリスクが高い場合に、内部映像の品質を高品質に決定する。品質情報送信部123は、内部映像品質情報をネットワーク102を介して移動体200に送信する(ステップB6)。
移動体200において、品質調整部208は、内部映像品質情報を受信する。品質調整部208は、内部映像品質情報に基づいて、映像送信部211から遠隔監視装置101に送信される内部映像の品質を調整する(ステップB7)。品質調整部208は、例えば内部映像品質情報が高品質を示す場合、遠隔監視装置101に送信される内部映像を高品質(例えば、高解像度、高ビットレート、及び高フレームレートに設定する(一部のみでもよい))に調整する。品質調整部208は、内部映像品質情報が低品質を示す場合、遠隔監視装置101に送信される内部映像を低品質(例えば、低解像度、低ビットレート、低フレームレートに設定する(一部のみでもよい))に調整する。
品質の調整後、処理はステップB1に戻り、映像受信部111は、品質が調整された内部映像を受信する。品質が調整された内部映像は、ステップB3において監視画面に表示される。監視者は、内部事故のリスクがある場合、監視画面において、高品質の内部映像を用いて、移動体の内部を監視することができる。
図8は、監視画面表示部113が表示する監視画面の一例を示す。図8に示される監視画面300おいて、矩形で表される各領域は、移動体200から受信した映像が表示される領域を表す。各領域には、1つの映像が表示されてもよいし、同じ移動体から受信した複数の映像が表示されてもよい。監視者は、各領域に表示される映像を見て、移動体200を遠隔で監視する。
監視画面表示部113は、事故リスク予測部121において危険度が「高」と判定された移動体がある場合、その移動体から受信する内部映像を表示する領域を、他の移動体から受信する内部映像を表示する領域と区別可能な態様で表示してもよい。監視画面表示部113は、例えば図8に示されるように、危険度が「高」と判定された移動体の内部映像が表示される領域を、赤色などの枠301及び302で囲んでもよい。その場合、監視者は、枠301及び302で囲まれた内部映像を注視して、より注意深く内部映像を監視することができる。
図9は、監視画面表示部113が表示する監視画面の別例を示す。監視画面表示部113は、事故リスク予測部121において危険度が「高」と判定された移動体がある場合、監視画面300において、図9に示されるように、その移動体から受信する内部映像を表示する領域を拡大してもよい。また、監視画面表示部113は、危険度が「高」と判定された移動体の内部映像が表示される領域を、赤色などの枠303で囲んでもよい。この場合、監視者は、拡大表示された内部映像を見て、移動体200の内部を詳細に監視することができる。
本実施形態では、配信制御部120の事故リスク予測部121は、移動体の状況情報に基づいて、移動体200の内部における事故のリスクを予測する。品質決定部122は、内部事故のリスクの予測結果に基づいて、内部映像の品質を決定する。品質情報送信部123は、内部映像品質情報を移動体200に送信することで、移動体200から遠隔監視装置101に送信される内部映像の品質を制御する。このようにすることで、配信制御部120は、遠隔側で予測された内部事故のリスクに応じて、内部映像の品質(ビットレート)を調整することができる。
品質決定部122は、例えば内部事故のリスクの予測結果が内部事故のリスクが高いことを示す場合、内部映像の品質を高品質に決定する。品質調整部208は、品質決定部122が決定した品質に基づいて、内部映像の品質を調整する。このようにすることで、映像受信部111は、移動体200の内部において事故のリスクがある場合に、移動体の内部の状況を精度よく把握可能な映像を取得することができる。監視者は、そのような映像を用いて移動体200の遠隔監視を行うことで、移動体内の乗客に危険が生じていないかを確認できる。
一方、品質決定部122は、内部事故のリスクの予測結果が内部事故のリスクが低いことを示す場合、内部映像の品質を低品質に決定する。映像受信部111は、移動体200から低品質の内部映像を受信する。この場合、移動体200において内部事故が発生するリスクは低いため、監視者が見る内部映像の品質が低下しても、特に問題はないと考えられる。移動体200が低品質の内部映像を送信する場合、ネットワーク102における通信データ量を削減することができ、通信帯域の圧迫を抑制できる効果がある。
続いて、本開示の第2実施形態を説明する。本実施形態に係る遠隔監視システムの構成は、図3に示される第1実施形態に係る遠隔監視システムの構成と同様でよい。また、移動体200の構成は、図4に示される第1実施形態における移動体200の構成と同様でよく、遠隔監視装置101の構成は、図5に示される第1実施形態における遠隔監視装置101に構成と同様でよい。
本実施形態において、品質決定部122は、事故リスク予測部121の予測結果に加えて、移動体200の内部情報に基づいて内部映像の品質を決定する。品質決定部122は、例えば映像受信部111が受信した内部映像に基づいて、移動体200の内部情報を取得する。例えば、品質決定部122は、内部映像を解析し、座席に座っていない乗客が存在するか否かを判断する。品質決定部122は、座席に座っていない乗客、つまり立っている乗客が存在しない場合、事故リスク予測部121が危険度「高」と判定した場合でも、内部映像の品質を低品質に決定する。
移動体200の乗客が全て座席に座っている場合、乗客が転倒する危険性は低い。本実施形態では、そのような場合に内部映像の品質を低品質とすることで、ネットワーク102における通信データ量を効果的に削減できる。他の効果は、第1実施形態における効果と同様である。
本開示の第3実施形態を説明する。本実施形態に係る遠隔監視システムの構成は、図3に示される第1実施形態に係る遠隔監視システムの構成と同様でよい。また、移動体200の構成は、図4に示される第1実施形態における移動体200の構成と同様でよく、遠隔監視装置101の構成は、図5に示される第1実施形態における遠隔監視装置101に構成と同様でよい。本実施形態において、品質決定部122は、第2実施形態と同様に、事故リスク予測部121の予測結果に加えて、移動体200の内部情報に基づいて内部映像の品質を決定してもよい。
本実施形態において、品質決定部122は、内部映像に基づいて内部映像における重要領域を決定する。重要領域とは、例えば、内部映像において、内部事故に関連する物体が映っている領域である。品質決定部122は、内部映像において複数の重要領域を決定してもよい。品質決定部122は、例えば内部映像を解析し、内部映像のうち乗客が映っている領域を特定する。品質決定部122は、乗客の映った領域(乗客の領域)を、重要領域として決定しても良い。品質決定部122は、例えば内部映像を解析し、座席に座っていない乗客の領域を特定する。品質決定部122は、座席に座っていない乗客、つまり立っている乗客の領域を、重要領域として決定してもよい。品質決定部122は、例えば、転倒などのリスクが高い乗客の領域、例えば子供やお年寄りなどの領域を重要領域として決定してもよい。
遠隔監視装置101の情報受信部112は、例えば、乗客の乗車時に、こども運賃、シルバーパス、又は障碍者割引などの料金種別を移動体200から取得する。品質決定部122は、内部映像において乗客を検出し、取得された料金種別に基づいて、各乗客に対して子供又はお年寄りなどの属性を与える。品質決定部122は、内部映像を解析して、各乗客の年齢などを推定し、その推定結果に基づいて、各乗客に対して子供又はお年寄りなどの属性を与えてもよい。品質決定部122は、子供又はお年寄りの属性が与えられた乗客をトラッキングすることで、各乗客が移動体200の車内のどこに移動したかを追跡する。品質決定部122は、子供又はお年寄りの属性が与えられた乗客の領域を重要領域として決定する。
本実施形態において、品質決定部122は、内部映像における重要領域の品質が他の領域の品質よりも高くなるように内部映像の品質を決定する。品質決定部122は、例えば内部映像のうち、重要領域のみ品質を高品質に決定し、それ以外の領域を低品質に決定する。品質決定部122は、複数の重要領域を決定した場合、特定の重要領域品質を、他の重要領域の品質より更に高品質に決定してもよい。内部映像の一部の領域を高品質に調整する方法としては、スケーラブル符号化において、内部映像の全体を基本階層に対応させ、重要領域を第1拡張階層又は第2拡張階層に対応させる方法が考えられる。その場合、重要領域を高ビットレートにしつつ、他の領域のビットレートを低くし、全体を高品質とする場合に比べてデータ量を削減できる。
図10は、一部の領域が高画質化された内部映像の例を示す。この例では、内部映像400の内部に、2つの重要領域401及び402が決定されている。重要領域401は、手すり付近に立っている大人などの乗客に対応した領域であるとする。重要領域402は、子供の乗客に対応した領域であるとする。品質決定部122は、重要領域401及び402以外の領域の品質を、低品質と決定したとする。また、品質決定部122は、重要領域401及び402の品質を低品質より品質が高い高品質と決定したとする。
移動体200において、品質調整部208は、内部映像のうち、重要領域401と重要領域402の品質を高品質に調整する。例えば、品質調整部208は、内部映像の全体について、スケーラブル符号化で符号化された基本階層のデータを、映像送信部211から遠隔監視装置101に送信させる。品質調整部208は、重要領域401及び402については、基本階層のデータに加えて、第1拡張階層及び第2拡張階層のデータを映像送信部211から遠隔監視装置101に送信させる。このようにすることで、遠隔監視装置101の監視画面表示部113は、全体的に低品質の内部映像の中で、重要領域401及び402の部分を高い映像品質で表示することができる。この場合、重要領域402及び403における映像品質を高く保ちつつ、他の領域におけるデータ圧縮率を上げることができ、全体を高品質とする場合に比べて、ネットワーク102における通信データ量を削減することができる。
本実施形態では、内部映像のうち、重要領域の部分が高品質に調整される。このようにすることで、監視者は、特に重要な領域について、高品質の映像を用いて、移動体200の内部を監視できる。本実施形態では、内部映像の一部の領域が高品質化されるため、内部映像の全体が高品質化される場合に比べて、ネットワーク102における通信データ量を削減できる。他の効果は、第1実施形態又は第2実施形態における効果と同様でよい。
なお、第1実施形態では、事故リスク予測部121が、主に減速や加速などの移動体200の前後方向の加速度が変化する場合に、内部事故のリスクが高いと予測される例を説明したが、本開示はこれには限定されない。事故リスク予測部121は、例えば移動体200の縦方向(上下方向)の加速度が変化する場合に、内部事故のリスクが高いと予測してもよい。
上記各実施形態では、人が映像を見て内部事故を監視する例を説明したが、本開示において、内部事故を判定する主体は人には限定されない。例えば、人の動きや態勢に応じて転倒したことを検出する機能を遠隔監視装置に搭載し、そのような機能を用いて内部事故の発生を判定してもよい。あるいは、遠隔監視装置において、多数の事故の映像を学習させたAI(Artificial Intelligence)に内部映像を監視させ、AIが内部事故の発生を判定してもよい。遠隔監視装置は、AIなどが内部事故が発生したと判定した場合、その旨を監視者に通知してもよい。
例えば、事故リスク予測部121は、映像受信部111が受信した移動体200の前方を撮影した映像を用いて、段差を検出してもよい。事故リスク予測部121は、映像から段差を検出することに加えて、前方の車の上下方向の動きに基づいて、段差を検出してもよい。あるいは、事故リスク予測部121は、地図情報などから段差の情報を取得してもよい。事故リスク予測部121は、段差の大きさ、及び車速に基づいて、移動体200が段差を通過する場合の加速度を予測する。事故リスク予測部121は、加速度の予測値の絶対値が上下方向の加速度の基準値以上の場合、内部事故のリスクがあると予測する。品質決定部122は、内部事故のリスクがあると予測された場合、内部映像の品質を高品質に決定してもよい。この場合、監視者は、高品質の内部映像を用いて、移動体200が段差を通過して車体がはねた場合に、乗客が転倒していないかを監視できる。
本開示において、遠隔監視装置101は、コンピュータ装置(サーバ装置)として構成され得る。図11は、遠隔監視装置101として用いられ得るコンピュータ装置の構成例を示す。コンピュータ装置500は、制御部(CPU:Central Processing Unit)510、記憶部520、ROM(Read Only Memory)530、RAM(Random Access Memory)540、通信インタフェース(IF:Interface)550、及びユーザインタフェース560を有する。
通信インタフェース550は、有線通信手段又は無線通信手段などを介して、コンピュータ装置500と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース560は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース560は、キーボード、マウス、及びタッチパネルなどの入力部を含む。
記憶部520は、各種のデータを保持できる補助記憶装置である。記憶部520は、必ずしもコンピュータ装置500の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置500に接続されたクラウドストレージであってもよい。
ROM530は、不揮発性の記憶装置である。ROM530には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。CPU510が実行するプログラムは、記憶部520又はROM530に格納され得る。記憶部520又はROM530は、例えば遠隔監視装置101内の各部の機能を実現するための各種プログラムを記憶する。
上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータ装置500に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、CD(compact disc)、又はDVD(digital versatile disk)などの光ディスク媒体、及び、マスクROM、PROM(programmable ROM)、EPROM(erasable PROM)、フラッシュROM、又はRAMなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
RAM540は、揮発性の記憶装置である。RAM540には、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)などの各種半導体メモリデバイスが用いられる。RAM540は、データなどを一時的に格納する内部バッファとして用いられ得る。CPU510は、記憶部520又はROM530に格納されたプログラムをRAM540に展開し、実行する。CPU510がプログラムを実行することで、遠隔監視装置101内の各部の機能が実現され得る。CPU510は、データなどを一時的に格納できる内部バッファを有してもよい。
以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
ネットワークを介して、移動体の内部を撮影した内部映像を受信する映像受信手段と、
前記内部映像と前記移動体の状況を示す状況情報に基づいて、前記移動体の内部で事故が発生するリスクを予測する事故リスク予測手段と、
前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定する品質決定手段と、
前記内部映像品質情報に基づいて、前記内部映像の品質を調整する品質調整手段と、
を備える遠隔監視システム。
[付記2]
前記事故リスク予測手段は、前記移動体の状況情報に応じて前記移動体の加速度を予測し、該加速度の予測結果に基づいて前記リスクを予測する付記1に記載の遠隔監視システム。
[付記3]
前記事故リスク予測手段は、前記予測された加速度の絶対値としきい値とを比較し、前記予測された加速度の絶対値が前記しきい値以上の場合、前記事故のリスクがあると予測する付記2に記載の遠隔監視システム。
[付記4]
前記品質決定手段は、前記リスクの予測結果が前記事故のリスクがあることを示す場合、前記内部映像の品質を、前記リスクの予測結果が前記事故のリスクがないことを示す場合に比べて高い品質に決定する付記1から3何れか1つに記載の遠隔監視システム。
[付記5]
前記品質決定手段は、前記リスクの予測結果が前記事故のリスクがないことを示す場合、前記内部映像の品質を第1の品質に決定し、前記リスクの予測結果が前記事故のリスクがあることを示す場合、前記内部映像の品質を前記第1の品質より高い第2の品質に決定する付記1から4何れか1つに記載の遠隔監視システム。
[付記6]
前記品質決定手段は、更に、前記移動体の内部情報に基づいて、前記内部映像の品質を決定する付記1から5何れか1つに記載の遠隔監視システム。
[付記7]
前記品質決定手段は、更に前記内部映像に基づいて前記内部映像における重要領域を決定し、前記内部映像における前記重要領域の品質が他の領域の品質よりも高くなるように前記内部映像の品質を決定する付記1から6何れか1つに記載の遠隔監視システム。
[付記8]
前記品質決定手段は、前記内部映像において、人物が含まれる領域を前記重要領域と決定する、付記7に記載の遠隔監視システム。
[付記9]
前記状況情報は、前記移動体の位置情報を含み、
前記事故リスク予測手段は、前記移動体の位置情報に基づいて、前記移動体が停留所に停車する状況、及び前記移動体が停留所から発進する状況の少なくとも1つを予測し、前記移動体が、停留所に停車する状況、又は停留所から発進する状況を予測した場合、前記事故が発生するリスクがあると予測する付記1から8何れか1つに記載の遠隔監視システム。
[付記10]
前記状況情報は、前記移動体の位置情報と前記移動体の経路情報とを含み、
前記事故リスク予測手段は、前記移動体の位置情報と前記移動体の経路情報とに基づいて、前記移動体が交差点を右折又は左折する状況を予測し、前記移動体が、交差点を右折又は左折する状況を予測した場合、前記事故が発生するリスクがあると予測する付記1から8何れか1つに記載の遠隔監視システム。
[付記11]
前記状況情報は、前記移動体の進行方向の信号機の灯火状況を示す情報を含み、
前記事故リスク予測手段は、前記信号機の灯火状況を示す情報に基づいて、前記移動体が前記信号機で停車する状況、及び移動体が加速する状況の少なくとも一方を予測し、前記移動体が、前記信号機で停車する状況、又は加速する状況を予測した場合で、かつ、減速又は加速に伴う加速度の予測値の絶対値がしきい値以上の場合、前記事故が発生するリスクがあると予測する付記1から10何れか1つに記載の遠隔監視システム。
[付記12]
前記状況情報は、前記移動体の周囲に存在する他の移動体との距離を含み、
前記事故リスク予測手段は、前記他の移動体との距離に基づいて、前記移動体が前記他の移動体と接触する可能性が高い状況を予測し、前記移動体が前記他の移動体と接触する可能性がある状況を予測した場合で、かつ前記接触を避ける動作に起因する加速度の予測値の絶対値がしきい値以上の場合、前記事故が発生するリスクがあると予測する付記1から11何れか1つに記載の遠隔監視システム。
[付記13]
内部を撮影した内部映像をネットワークを介して送信し、かつ該送信する内部映像の品質が調整可能に構成された移動体の状況を示す状況情報と前記内部映像とに基づいて、前記移動体の内部で事故が発生するリスクを予測する事故リスク予測手段と、
前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定する品質決定手段と、
前記決定された内部映像品質情報に基づいて、前記内部映像の品質を制御する品質制御手段とを備える配信制御装置。
[付記14]
前記事故リスク予測手段は、前記移動体の状況情報に応じて前記移動体の加速度を予測し、該加速度の予測結果に基づいて前記リスクを予測する付記13に記載の配信制御装置。
[付記15]
前記事故リスク予測手段は、前記予測された加速度の絶対値としきい値とを比較し、前記予測された加速度の絶対値が前記しきい値以上の場合、前記事故のリスクがあると予測する付記14に記載の配信制御装置。
[付記16]
前記品質決定手段は、前記リスクの予測結果が前記事故のリスクがあることを示す場合、前記内部映像の品質を、前記リスクの予測結果が前記事故のリスクがないことを示す場合に比べて高い品質に決定する付記13から15何れか1つに記載の配信制御装置。
[付記17]
前記品質決定手段は、前記リスクの予測結果が前記事故のリスクがないことを示す場合、前記内部映像の品質を第1の品質に決定し、前記リスクの予測結果が前記事故のリスクがあることを示す場合、前記内部映像の品質を前記第1の品質より高い第2の品質に決定する付記13から16何れか1つに記載の配信制御装置。
[付記18]
前記品質決定手段は、更に、前記移動体の内部情報に基づいて、前記内部映像の品質を決定する付記13から17何れか1つに記載の配信制御装置。
[付記19]
前記品質決定手段は、更に、前記内部映像に基づいて前記内部映像における重要領域を決定し、前記内部映像における前記重要領域の品質が他の領域の品質よりも高くなるように前記内部映像の品質を決定する付記13から18何れか1つに記載の配信制御装置。
[付記20]
前記品質決定手段は、前記内部映像において、人物が含まれる領域を前記重要領域と決定する付記19に記載の配信制御装置。
[付記21]
ネットワークを介して、移動体の内部を撮影した内部映像を受信し、
前記内部映像と前記移動体の状況を示す状況情報に基づいて、前記移動体の内部で事故が発生するリスクを予測し、
前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定し、
前記内部映像品質情報に基づいて、前記内部映像の品質を調整する、
遠隔監視方法。
[付記22]
前記事故が発生するリスクの予測では、前記移動体の状況情報に応じて前記移動体の加速度を予測し、該加速度の予測結果に基づいて前記リスクを予測する付記21に記載の遠隔監視方法。
[付記23]
前記事故が発生するリスクの予測では、前記予測された加速度の絶対値としきい値とを比較し、前記予測された加速度の絶対値が前記しきい値以上の場合、前記事故のリスクがあると予測する付記22に記載の遠隔監視方法。
[付記24]
前記内部映像品質情報の決定では、前記リスクの予測結果が前記事故のリスクがあることを示す場合、前記内部映像の品質を、前記リスクの予測結果が前記事故のリスクがないことを示す場合に比べて高い品質に決定する付記21から23何れか1つに記載の遠隔監視方法。
[付記25]
前記内部映像品質情報の決定では、更に、前記移動体の内部情報に基づいて、前記内部映像の品質を決定する付記21から24何れか1つに記載の遠隔監視方法。
[付記26]
前記内部映像品質情報の決定では、更に前記内部映像に基づいて前記内部映像における重要領域を決定し、前記内部映像における前記重要領域の品質が他の領域の品質よりも高くなるように前記内部映像の品質を決定する付記21から25何れか1つに記載の遠隔監視方法。
[付記27]
前記内部映像品質情報の決定では、前記内部映像において、人物が含まれる領域を前記重要領域と決定する付記26に記載の遠隔監視方法。
[付記28]
内部を撮影した内部映像をネットワークを介して送信し、かつ該送信する内部映像の品質が調整可能に構成された移動体の状況を示す状況情報と前記内部映像とに基づいて、前記移動体の内部で事故が発生するリスクを予測し、
前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定し、
前記決定された内部映像品質情報に基づいて、前記内部映像の品質を制御する配信制御方法。
[付記29]
内部を撮影した内部映像をネットワークを介して送信し、かつ該送信する内部映像の品質が調整可能に構成された移動体の状況を示す状況情報と前記内部映像とに基づいて、前記移動体の内部で事故が発生するリスクを予測し、
前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定し、
前記決定された内部映像品質情報に基づいて、前記内部映像の品質を制御する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
10:遠隔監視システム
11:映像受信手段
13:事故リスク予測手段
14:品質決定手段
16:品質調整手段
20:配信制御装置
30:移動体
100:遠隔監視システム
101:遠隔監視装置
102:ネットワーク
111:映像受信部
112:情報受信部
113:監視画面表示部
120:配信制御部
121:事故リスク予測部
122:品質決定部
123:品質情報送信部
200:移動体
201:周辺監視センサ
202:車内カメラ
204:車体情報取得部
205:信号情報取得部
206:位置情報取得部
207:他車情報取得部
208:品質調整部
210:通信装置
211:映像送信部
212:情報送信部

Claims (20)

  1. ネットワークを介して、内部に乗客が乗車する車両である移動体の内部を撮影した内部映像を受信する映像受信手段と、
    前記内部映像と前記移動体の状況を示す状況情報に基づいて、前記移動体の内部で事故が発生するリスクを予測する事故リスク予測手段と、
    前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定する品質決定手段と、
    前記内部映像品質情報に基づいて、前記内部映像の品質を調整する品質調整手段と、
    を備える遠隔監視システム。
  2. 前記事故リスク予測手段は、前記移動体の状況情報に応じて前記移動体の加速度を予測し、該加速度の予測結果に基づいて前記リスクを予測する請求項1に記載の遠隔監視システム。
  3. 前記事故リスク予測手段は、前記予測された加速度の絶対値としきい値とを比較し、前記予測された加速度の絶対値が前記しきい値以上の場合、前記事故のリスクがあると予測する請求項2に記載の遠隔監視システム。
  4. 前記品質決定手段は、前記リスクの予測結果が前記事故のリスクがあることを示す場合、前記内部映像の品質を、前記リスクの予測結果が前記事故のリスクがないことを示す場合に比べて高い品質に決定する請求項1から3何れか1項に記載の遠隔監視システム。
  5. 前記品質決定手段は、更に、前記移動体の内部情報に基づいて、前記内部映像の品質を決定する請求項1から4何れか1項に記載の遠隔監視システム。
  6. 前記品質決定手段は、更に前記内部映像に基づいて前記内部映像における重要領域を決定し、前記内部映像における前記重要領域の品質が他の領域の品質よりも高くなるように前記内部映像の品質を決定する請求項1から5何れか1項に記載の遠隔監視システム。
  7. 前記品質決定手段は、前記内部映像において、人物が含まれる領域を前記重要領域と決定する、請求項6に記載の遠隔監視システム。
  8. 前記状況情報は、前記移動体の位置情報を含み、
    前記事故リスク予測手段は、前記移動体の位置情報に基づいて、前記移動体が停留所に停車する状況、及び前記移動体が停留所から発進する状況の少なくとも1つを予測し、前記移動体が、停留所に停車する状況、又は停留所から発進する状況を予測した場合、前記事故が発生するリスクがあると予測する請求項1から7何れか1項に記載の遠隔監視システム。
  9. 前記状況情報は、前記移動体の位置情報と前記移動体の経路情報とを含み、
    前記事故リスク予測手段は、前記移動体の位置情報と前記移動体の経路情報とに基づいて、前記移動体が交差点を右折又は左折する状況を予測し、前記移動体が、交差点を右折又は左折する状況を予測した場合、前記事故が発生するリスクがあると予測する請求項1から7何れか1項に記載の遠隔監視システム。
  10. 前記状況情報は、前記移動体の進行方向の信号機の灯火状況を示す情報を含み、
    前記事故リスク予測手段は、前記信号機の灯火状況を示す情報に基づいて、前記移動体が前記信号機で停車する状況、及び移動体が加速する状況の少なくとも一方を予測し、前記移動体が、前記信号機で停車する状況、又は加速する状況を予測した場合で、かつ、減速又は加速に伴う加速度の予測値の絶対値がしきい値以上の場合、前記事故が発生するリスクがあると予測する請求項1から9何れか1項に記載の遠隔監視システム。
  11. 前記状況情報は、前記移動体の周囲に存在する他の移動体との距離を含み、
    前記事故リスク予測手段は、前記他の移動体との距離に基づいて、前記移動体が前記他の移動体と接触する可能性が高い状況を予測し、前記移動体が前記他の移動体と接触する可能性がある状況を予測した場合で、かつ前記接触を避ける動作に起因する加速度の予測値の絶対値がしきい値以上の場合、前記事故が発生するリスクがあると予測する請求項1から10何れか1項に記載の遠隔監視システム。
  12. 内部を撮影した内部映像をネットワークを介して送信し、かつ該送信する内部映像の品質が調整可能に構成される、内部に乗客が乗車する車両である移動体の状況を示す状況情報と前記内部映像とに基づいて、前記移動体の内部で事故が発生するリスクを予測する事故リスク予測手段と、
    前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定する品質決定手段と、
    前記決定された内部映像品質情報に基づいて、前記内部映像の品質を制御する品質制御手段とを備える配信制御装置。
  13. 前記事故リスク予測手段は、前記移動体の状況情報に応じて前記移動体の加速度を予測し、該加速度の予測結果に基づいて前記リスクを予測する請求項12に記載の配信制御装置。
  14. 前記事故リスク予測手段は、前記予測された加速度の絶対値としきい値とを比較し、前記予測された加速度の絶対値が前記しきい値以上の場合、前記事故のリスクがあると予測する請求項13に記載の配信制御装置。
  15. 前記品質決定手段は、前記リスクの予測結果が前記事故のリスクがあることを示す場合、前記内部映像の品質を、前記リスクの予測結果が前記事故のリスクがないことを示す場合に比べて高い品質に決定する請求項12から14何れか1項に記載の配信制御装置。
  16. 前記品質決定手段は、更に、前記移動体の内部情報に基づいて、前記内部映像の品質を決定する請求項12から15何れか1項に記載の配信制御装置。
  17. 前記品質決定手段は、更に、前記内部映像に基づいて前記内部映像における重要領域を決定し、前記内部映像における前記重要領域の品質が他の領域の品質よりも高くなるように前記内部映像の品質を決定する請求項12から16何れか1項に記載の配信制御装置。
  18. 前記品質決定手段は、前記内部映像において、人物が含まれる領域を前記重要領域と決定する、請求項17に記載の配信制御装置。
  19. コンピュータが、ネットワークを介して、内部に乗客が乗車する車両である移動体の内部を撮影した内部映像を受信し、
    前記コンピュータが、前記内部映像と前記移動体の状況を示す状況情報に基づいて、前記移動体の内部で事故が発生するリスクを予測し、
    前記コンピュータが、前記リスクの予測結果に基づいて、前記内部映像の品質を示す内部映像品質情報を決定し、
    前記コンピュータが、前記内部映像品質情報に基づいて、前記内部映像の品質を調整する、
    遠隔監視方法。
  20. 前記事故が発生するリスクの予測では、前記コンピュータは、前記移動体の状況情報に応じて前記移動体の加速度を予測し、該加速度の予測結果に基づいて前記リスクを予測する請求項19に記載の遠隔監視方法。
JP2022511412A 2020-03-31 2020-03-31 遠隔監視システム、配信制御装置、及び方法 Active JP7485012B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014944 WO2021199349A1 (ja) 2020-03-31 2020-03-31 遠隔監視システム、配信制御装置、及び方法

Publications (3)

Publication Number Publication Date
JPWO2021199349A1 JPWO2021199349A1 (ja) 2021-10-07
JPWO2021199349A5 JPWO2021199349A5 (ja) 2022-11-09
JP7485012B2 true JP7485012B2 (ja) 2024-05-16

Family

ID=77928624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022511412A Active JP7485012B2 (ja) 2020-03-31 2020-03-31 遠隔監視システム、配信制御装置、及び方法

Country Status (3)

Country Link
US (1) US20230120683A1 (ja)
JP (1) JP7485012B2 (ja)
WO (1) WO2021199349A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312238A (ja) 2000-01-21 2001-11-09 Ag:Kk 列車における画像表示システム
JP2012217088A (ja) 2011-04-01 2012-11-08 Hitachi Kokusai Electric Inc 撮像装置、管理装置、および、映像監視システム
WO2014109039A1 (ja) 2013-01-10 2014-07-17 三菱電機株式会社 車両内監視システムおよび車両内監視方法
JP2013065185A5 (ja) 2011-09-16 2014-10-30
JP2016107817A (ja) 2014-12-05 2016-06-20 ダイムラー・アクチェンゲゼルシャフトDaimler AG 車内事故防止システム
JP2018205845A (ja) 2017-05-30 2018-12-27 矢崎エナジーシステム株式会社 車載画像記録装置
JP2019205078A (ja) 2018-05-24 2019-11-28 株式会社ユピテル システム及びプログラム等
JP2020003934A (ja) 2018-06-26 2020-01-09 株式会社デンソー 車両用通信装置、車両用通信方法、及び制御プログラム
JP2020013586A (ja) 2019-08-13 2020-01-23 株式会社ニコン 撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5898439B2 (ja) 2011-09-16 2016-04-06 株式会社日立国際電気 統括指示装置および通報処置システム並びに統括指示方法
KR102117588B1 (ko) * 2018-04-18 2020-06-02 엔쓰리엔 주식회사 차량 관련 데이터 수집 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312238A (ja) 2000-01-21 2001-11-09 Ag:Kk 列車における画像表示システム
JP2012217088A (ja) 2011-04-01 2012-11-08 Hitachi Kokusai Electric Inc 撮像装置、管理装置、および、映像監視システム
JP2013065185A5 (ja) 2011-09-16 2014-10-30
WO2014109039A1 (ja) 2013-01-10 2014-07-17 三菱電機株式会社 車両内監視システムおよび車両内監視方法
JP2016107817A (ja) 2014-12-05 2016-06-20 ダイムラー・アクチェンゲゼルシャフトDaimler AG 車内事故防止システム
JP2018205845A (ja) 2017-05-30 2018-12-27 矢崎エナジーシステム株式会社 車載画像記録装置
JP2019205078A (ja) 2018-05-24 2019-11-28 株式会社ユピテル システム及びプログラム等
JP2020003934A (ja) 2018-06-26 2020-01-09 株式会社デンソー 車両用通信装置、車両用通信方法、及び制御プログラム
JP2020013586A (ja) 2019-08-13 2020-01-23 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
JPWO2021199349A1 (ja) 2021-10-07
WO2021199349A1 (ja) 2021-10-07
US20230120683A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
US11861458B2 (en) Systems and methods for detecting and recording anomalous vehicle events
JP6944308B2 (ja) 制御装置、制御システム、および制御方法
US11713060B2 (en) Systems and methods for remote monitoring of a vehicle, robot or drone
US10059261B2 (en) Collision warning system
US10343601B2 (en) Collision warning system
KR20210134634A (ko) 자율 주행 차량 시스템
US11361574B2 (en) System and method for monitoring for driver presence and position using a driver facing camera
AU2015217518A1 (en) Imaging system and method
US11393238B1 (en) Safety control system for vehicles with child car seats
US11651630B2 (en) Vehicle control device and passenger transportation system
US11873007B2 (en) Information processing apparatus, information processing method, and program
WO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
US20210089788A1 (en) Predicting rider entry time for pick-up and drop-off locations
WO2021199351A1 (ja) 遠隔監視システム、遠隔監視装置、及び方法
JP7485012B2 (ja) 遠隔監視システム、配信制御装置、及び方法
JP7459932B2 (ja) 遠隔監視システム、装置、方法、及びプログラム
JPWO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US11294381B2 (en) Vehicle motion adaptation systems and methods
CN116128053A (zh) 用于自主运载工具的方法和系统以及计算机可读介质
US12027050B2 (en) Hazard notification method and system for implementing
US20230316919A1 (en) Hazard notification method and system for implementing
JP7392859B2 (ja) 遠隔監視システム、走行速度制御装置、及び走行速度制御方法
JP7444272B2 (ja) 画像処理システム、通信装置、方法、及びプログラム
WO2023170768A1 (ja) 制御装置、監視システム、制御方法及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7485012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150