JP7448012B2 - 通信制御方法、通信システム、及び送信装置 - Google Patents

通信制御方法、通信システム、及び送信装置 Download PDF

Info

Publication number
JP7448012B2
JP7448012B2 JP2022539877A JP2022539877A JP7448012B2 JP 7448012 B2 JP7448012 B2 JP 7448012B2 JP 2022539877 A JP2022539877 A JP 2022539877A JP 2022539877 A JP2022539877 A JP 2022539877A JP 7448012 B2 JP7448012 B2 JP 7448012B2
Authority
JP
Japan
Prior art keywords
communication
video
imaging devices
camera
transmitting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022539877A
Other languages
English (en)
Other versions
JPWO2022024268A5 (ja
JPWO2022024268A1 (ja
Inventor
浩一 二瓶
孝法 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022024268A1 publication Critical patent/JPWO2022024268A1/ja
Publication of JPWO2022024268A5 publication Critical patent/JPWO2022024268A5/ja
Application granted granted Critical
Publication of JP7448012B2 publication Critical patent/JP7448012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、通信制御方法、通信システム、及び送信装置に関する。
近年、自動運転車の技術開発が進み、公道における自動運転車の走行実験が進められている。自動運転車には通常、歩行者の有無、もしくは他車両の有無等の周辺状態を認識するための各種センサが搭載されている。各種センサは、例えば、カメラもしくはレーダ、ＬｉＤＡＲ（Light Detection and Ranging）等である。各種センサにおいて検出された情報は、運転制御や遠隔監視に利用される。
特許文献１には、通信装置が、車両に搭載されているそれぞれのカメラの優先度を決定し、優先度に応じてそれぞれのカメラに対して、映像をサーバ装置へ送信する際の帯域を割り当てることが記載されている。
国際公開第２０２０／０９０２８５号
しかし、特許文献１に開示されている通信装置のように、複数のカメラのそれぞれの優先度に応じて帯域を割り当てた場合、優先度の高いカメラに過剰に帯域が割り当てられる可能性が高くなるという問題がある。
本開示の目的は、特定の装置に過剰に帯域が割り当てられることを防止することができる通信制御方法、通信システム、及び送信装置を提供することにある。
本開示の第１の態様にかかる通信制御方法は、複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する。
本開示の第２の態様にかかる通信システムは、複数の撮像装置において撮像された映像の映像データをネットワークを介して送信する送信装置と、前記映像をネットワークを介して受信した前記映像を表示する監視装置と、を備え、前記送信装置は、前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する。
本開示の第３の態様にかかる送信装置は、複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定する推定部と、推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する制御部と、を備える。
本開示により、特定の装置に過剰に帯域が割り当てられることを防止することができる通信制御方法、通信システム、及び送信装置を提供することができる。
実施の形態１にかかる通信システムの構成図である。 実施の形態１にかかる通信制御処理の流れを示す図である。 実施の形態２にかかる送信装置の構成図である。 実施の形態２にかかる車両の制御イメージを示す図である。 実施の形態２にかかる体感品質の推移を示す図である。 実施の形態２にかかる監視装置の図である。 実施の形態２にかかる通信制御処理の流れを示す図である。 実施の形態２にかかる帯域割り当て処理の流れを示す図である。 実施の形態３にかかる帯域割り当て処理の流れを示す図である。 それぞれの実施の形態にかかる送信装置及び監視装置の構成図である。
（実施の形態１）
以下、図面を参照して本開示の実施の形態について説明する。図１を用いて実施の形態１にかかる通信システムの構成例について説明する。図１の通信システムは、送信装置１０、撮像装置２０、及び監視装置３０を有している。送信装置１０は、ネットワーク４０を介して監視装置３０と通信する。
送信装置１０、撮像装置２０、及び監視装置３０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。ネットワーク４０は、例えば、IPネットワークであってもよい。もしくは、ネットワーク４０は、通信事業者が管理する通信ネットワークであってもよい。通信事業者が管理する通信ネットワークは、モバイルネットワークと称されてもよい。送信装置１０は、ネットワーク４０と無線通信回線を介して接続してもよい。送信装置１０がネットワーク４０に接続するとは、送信装置１０が、ネットワーク４０と通信を行うことができる状態を示す。
続いて、送信装置１０の構成例について説明する。送信装置１０は、推定部１１及び通信制御部１２を有している。推定部１１及び通信制御部１２等の送信装置１０の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、送信装置１０の構成要素は、回路もしくはチップ等のハードウェアであってもよい。
推定部１１は、複数の撮像装置２０において撮像された映像の映像データをネットワーク４０を介して受信した監視装置３０に表示される映像を監視する監視者が、映像を視認した際に感じる体感品質を推定する。
撮像装置２０は、例えば、カメラ装置であってもよい。また、図１においては、送信装置１０と撮像装置２０とが異なる装置として示されているが、撮像装置２０は、送信装置１０に搭載されてもよい。つまり、送信装置１０と撮像装置２０とは、一体の装置であってもよい。また、図１においては、複数の撮像装置２０が、一つの通信回線を介して送信装置１０と接続している構成を示しているが、それぞれの撮像装置２０毎に通信回線が設定されてもよい。
映像は、例えば、動画であってもよく、静止画であってもよい。監視装置３０は、受信した映像データを用いて映像を再生する。映像データは、映像ファイル、映像フレーム等と称されてもよい。
監視装置３０は、例えば、複数の撮像装置２０のそれぞれから映像データを受信した場合、撮像装置２０毎に撮影された映像をディスプレイ等の表示部に表示してもよい。つまり、監視装置３０は、ディスプレイの表示領域を分割して、それぞれの撮像装置２０において撮像された映像を同時に表示してもよい。もしくは、監視装置３０は、複数の撮像装置２０のそれぞれから映像データを合成して、一つの映像として表示してもよい。このとき、すべての映像データの表示サイズを同一にしてもよく、映像データごとに異なるサイズにしてもよい。また、監視装置３０は、表示部に映像の一部領域を削除して表示してもよい。
体感品質は、監視装置３０が表示する映像の品質を示す指標の一つであり、監視者による主観的な評価を示す指標である。
通信制御部１２は、推定された体感品質に基づいて、それぞれの撮像装置２０において撮像された映像をネットワーク４０を介して監視装置３０へ送信するための通信を制御する。
通信を制御するとは、例えば、監視装置３０へ送信する映像データの符号化パラメータを決定することであってもよい。符号化パラメータは、例えば、映像データの送信に割り当てられる帯域であってもよい。例えば、通信制御部１２は、監視者の体感品質を高めるように符号化パラメータを決定してもよい。
通信制御部１２は、推定部１１において推定されたそれぞれの撮像装置２０において撮像された映像に関する体感品質に基づいて、通信を制御してもよい。もしくは、通信制御部１２は、推定部１１において、それぞれの撮像装置２０において撮像された映像を総合的に考慮して推定された体感品質に基づいて、通信を制御してもよい。
それぞれの撮像装置２０において撮像された映像を総合的に考慮して体感品質を推定するとは、監視者が複数の撮像装置２０において撮像された映像を同時に視認した際に感じる体感品質を推定することであってもよい。一般的に、監視者が複数の映像を同時に視認する場合、一つの撮像装置２０において撮像された映像の品質のみが高くても、他の撮像装置２０において撮像された映像の品質が低い場合、監視者の体感品質は高くならないことがある。このような場合、監視者の体感品質を高めるには、複数の撮像装置２０において撮像された映像の総合的な品質を向上させる必要がある。
例えば、監視者が複数の撮像装置２０において撮像された映像を同時に視認した際に感じる体感品質は、監視者がそれぞれの映像を視認した際に感じる体感品質の総和であってもよい。この場合、それぞれの映像を視認した際に感じる体感品質を足し合わせる際に、それぞれの映像の体感品質に重みづけを行ってもよい。重みづけの値は、例えば、それぞれの映像の優先情報に従って定められてもよい。
続いて、図２を用いて実施の形態１にかかる送信装置１０における通信制御処理の流れについて説明する。はじめに、推定部１１は、複数の撮像装置２０において撮像された映像の映像データをネットワーク４０を介して受信した監視装置３０に表示される映像を監視する監視者が、映像を視認した際に感じる体感品質を推定する（Ｓ１１）。
次に、通信制御部１２は、推定された体感品質に基づいて、それぞれの撮像装置２０において撮像された映像をネットワーク４０を介して監視装置３０へ送信するための通信を制御する（Ｓ１２）。
以上説明したように、実施の形態１にかかる送信装置１０は、ネットワーク４０を介して接続されている監視装置３０に表示される映像を監視する監視者が映像を視認した際に感じる体感品質に基づいて、映像データを送信するための通信を制御する。また、監視者の体感品質は、複数の撮像装置２０において撮像された映像を視認した際に感じる品質である。そのため、通信制御部１２は、特定の撮像装置２０の映像データのみが高品質となるように符号化パラメータを決定するのではなく、それぞれの撮像装置２０において撮像された複数の映像データ全体の品質を向上させるように符号化パラメータを決定する。その結果、通信制御部１２は、特定の撮像装置２０の映像データを送信するために過剰に帯域を割り当てることを回避することができ、複数の映像データ全体の品質を向上させるように帯域を割り当てることができる。
（実施の形態２）
続いて、図３を用いて実施の形態２にかかる送信装置５０の構成例について説明する。送信装置５０は、図１の送信装置１０に相当する。送信装置５０は、通信部５１、通信品質取得部５２、再生環境取得部５３、符号化制御部５４、優先度決定部５５、体感品質算出部５６、符号化部５７～６０、及び、カメラ６１～６４を有している。
送信装置５０は、移動体に搭載されてもよい。移動体は、例えば、車両であってもよい。車両は、例えば、運転者による操作が行われることなく、自律的に運転が実行される自動運転車であってもよく、遠隔監視もしくは運転支援が行われる車両であってもよい。例えば、図４に示すように、車両は、インターネットを介して、自動運転が行われてもよく、遠隔監視が行われてもよい。さらに、図４に示すように、車両に搭載された撮像装置（カメラ）において撮影された映像を、インターネットを介して受信した監視装置に表示される映像として監視する監視者の体感品質が推定される。図４においては、車両とは異なる装置において体感品質が推定されることが示されているが、以下において説明するように、体感品質の推定は、車両に搭載される送信装置５０において行われてもよい。カメラ６１～６４は、車両の周囲を撮影してもよい。具体的には、カメラ６１～６４は、車両の前後左右の方向を撮影することができる位置に取り付けられてもよい。図３は、カメラ６１～６４が、送信装置５０と一体として用いられる構成を示している。
符号化制御部５４は、図１の通信制御部１２に相当する。体感品質算出部５６は、図１の推定部１１に相当する。図３においては、図１の送信装置１０と異なる機能もしくは動作について主に説明し、図１の送信装置１０と同様の機能もしくは動作に関する詳細な説明を省略する。
通信部５１は、ネットワーク４０を介して監視装置３０と通信する。また、通信部５１は、無線通信回線を介して、ネットワーク４０と通信する。つまり、通信部５１は、無線フレームをネットワーク４０へ送信し、ネットワーク４０から無線フレームを受信する。例えば、通信部５１は、3GPP（3rd Generation Partnership Project）において規定されているLTE（Long Term Evolution）もしくは5G（5 Generation）等の無線通信規格を用いて、無線通信を行ってもよい。
通信品質取得部５２は、通信部５１を介して監視装置３０から、送信装置５０と監視装置３０との間の通信経路の品質に関する情報を取得する。例えば、送信装置５０が映像データを送信してから、監視装置３０が映像データを受信するまでの伝送時間に関する情報を取得してもよい。
通信品質取得部５２は、監視装置３０へ送信した映像データのデータサイズと、その映像データに関する伝送時間とを用いて、送信装置５０が転送可能なビットレートを算出する。ビットレートは、単位時間あたりに転送可能なデータ量を示す。ビットレートは、伝送路容量、帯域幅、もしくは単に帯域と言い換えられてもよい。また、通信品質取得部５２が算出したビットレートは、可用帯域と称されてもよい。通信品質取得部５２は、算出したビットレートに関する情報を符号化制御部５４へ出力する。このビットレートの算出は、監視装置３０において実施されてもよく、この場合、送信装置５０は、その結果を通信部５１を介して通信品質取得部５２で取得してもよい。
再生環境取得部５３は、通信部５１を介して、監視装置３０における再生環境に関する情報を、監視装置３０から取得する。例えば、再生環境に関する情報は、監視装置３０における画面表示に関する情報、監視者の視線、及び再生遅延等であってもよい。画面表示に関する情報は、例えば、カメラ６１～６４において撮影されたカメラ映像の表示有無、画面上におけるカメラ映像の表示サイズ、それぞれのカメラ映像の表示サイズの違い、画面から監視者までの距離、等に関する情報であってもよい。監視者の視線に関する情報は、例えば、監視者が画面を凝視しているか否かに関する情報であってもよい。監視者が画面を凝視しているか否かは、例えば、視線を追跡するセンサ等によって検出されてもよい。
再生環境取得部５３は、再生環境に関する情報を符号化制御部５４へ出力する。
優先度決定部５５は、複数のカメラの優先情報を定める。例えば、優先度決定部５５は、カメラ６１～６４の優先度を決定する。各カメラの優先度は、車両の進行方向に基づいて決定されてもよい。車両の進行方向は、例えば、車両のシフトレーバー情報に基づいて決定されてもよい。さらに、車両のハンドル情報もしくはウインカー情報等を用いることによって、車両が右折するか左折するかを決定することができる。もしくは、優先度決定部５５は、カーナビゲーションのような運転を支援するソフトウェアから、車両の進行方向に関する情報を取得してもよい。
例えば、車両の進行方向を撮影しているカメラの優先度が、他のカメラよりも高く設定されてもよい。具体的には、車両が前進している場合、車両の前方を撮影するカメラの優先度が、他のカメラよりも高く設定されてもよい。また、車両が右折する場合、車両の右側を撮影するカメラの優先度が、他のカメラよりも高く設定されてもよい。
また、各カメラの優先度は、各カメラが撮影した映像に映っている対象物に応じて決定されてもよい。例えば、撮影した映像に、他の車両、歩行者、障害物、交通信号、もしくは交通標識が映っている場合には、それらの映像を撮影したカメラの優先度が、他のカメラよりも高く設定されてもよい。もしくは、優先度決定部５５は、カメラに用いられているレンズの種類に応じて、優先度を決定してもよい。例えば、優先度決定部５５は、車両が停車している場合もしくは発車する場合などには、広範囲を確認できる魚眼レンズを用いたカメラの優先度を高くしてもよい。
優先度決定部５５は、例えば、カメラ６１～６４のうち、最も優先されるカメラの優先度を４とし、次に優先されるカメラの優先度を３とし、さらに、次に優先されるカメラの優先度を２としてもよい。優先度決定部５５は、最も優先されないカメラの優先度を１としてもよい。優先度決定部５５が決定する優先度の値１～４は、一例であり、他の数値が設定されてもよい。さらに、優先度決定部５５は、決定した優先度の値ｐと、任意の単調増加関数ｍ（ｘ）とを用いて、Ｐ＝ｍ（ｐ）のようにして、新たな優先度Ｐを算出してもよい。つまり、優先度決定部５５は、優先度ｐを、任意の単調増加関数ｍ（ｘ）を用いて新たな優先度Ｐに変換してもよい。これにより、例えば、最も優先されるカメラの優先度と、他のカメラの優先度とに設定される数値の差を大きくする、もしくは、小さくすることができる。優先度決定部５５は、決定した優先度ｐもしくはＰを符号化制御部５４へ出力する。
符号化制御部５４は、通信品質取得部５２及び再生環境取得部５３から取得した情報を体感品質算出部５６へ出力する。さらに、符号化制御部５４は、カメラ６１～６４に割り当てるビットレート、フレームレート、解像度、コーデック種別を体感品質算出部５６へ出力してもよい。解像度は、送信装置５０が監視装置３０へ送信する際に適用する映像データの解像度であってもよい。例えば、符号化制御部５４は、カメラに割り当てるビットレートを下げた場合、体感品質を高めるために、そのカメラにおいて撮影された映像の映像データを監視装置３０へ送信する際に、フレームレート及び解像度の少なくとも一方を、下げてもよい。さらに、符号化制御部５４は、カメラ６１～６４の設置場所、カメラ６１～６４の向き、カメラの種類、車両の速度、車両の操作情報等を体感品質算出部５６へ出力してもよい。
体感品質算出部５６は、符号化制御部５４から取得した情報をパラメータとして、体感品質ｑを算出する。例えば、体感品質ｑは、ある関数ｆ（ｘ１、ｘ２、・・・ｘＮ）（Ｎは１以上の整数）を用いて、ｑ＝ｆ（ｘ１、ｘ２、・・・ｘＮ）と定義されてもよい。この場合、体感品質ｑは、ｆ（ｘ１、ｘ２、・・・ｘＮ）のパラメータとして、符号化制御部５４から取得した情報を設定することによって、算出されてもよい。
体感品質ｑを算出するｑ＝ｆ（ｘ１、ｘ２、・・・ｘＮ）の式は、例えば、ITU-T G.1070において定義された式を用いてもよい。ITU-T G.1070において定義された式は、既知の式であるため詳細な説明を省略する。
もしくは、予め監視者が、体感品質算出部５６において取得されるパラメータが変更された映像を視認して映像の品質を評価する主観評価実験を行い、実験結果を用いて、パラメータと体感品質ｑとの関係をモデル化してもよい。このモデル化には、深層学習などの機械学習を用いてもよい。体感品質算出部５６は、符号化制御部５４から情報を取得すると、予め生成されたモデルを用いて、体感品質ｑを決定してもよい。
体感品質算出部５６は、算出した体感品質ｑを符号化制御部５４へ出力する。
符号化制御部５４は、体感品質算出部５６から取得した体感品質ｑ及び優先度決定部５５から取得した優先度ｐを用いて、符号化パラメータを決定する。
例えば、符号化制御部５４は、目的関数Ａ１を、次の式（１）のように定義する。ｐｉは、カメラｉの優先度を示し、ｑｉは、カメラｉの体感品質を示す。カメラｉの体感品質とは、カメラｉにおいて撮影された映像を視認した監視者が評価する体感品質である。ｎ（ｎは１以上の整数）は、カメラの台数を示す。
Figure 0007448012000001
さらに、符号化制御部５４は、制約条件Ｂを次の式（２）ように定義する。ｒｉは、カメラｉのビットレートを示し、Ｃは、可用帯域を示す。
Figure 0007448012000002
符号化制御部５４は、制約条件Ｂのもとで、Ａ１が最大となるように、符号化パラメータを決定してもよい。
例えば、各カメラに割り当てられるビットレート（帯域）と、監視者が各カメラを視認した際の体感品質とは、図５に示されるように変化することを前提としてもよい。図５の横軸は、単位をbps（bit per second）とする各カメラに割り当てられるビットレートを示している。縦軸は、監視者が映像を視認した際の体感品質をMOS（Mean Opinion Score）値を用いて示している。カメラにビットレートを割り当てるとは、カメラにおいて撮影された映像の映像データを監視装置３０へ送信する際に適用するビットレートを定める、と言い換えられてもよい。
図５は、低ビットレート領域では、体感品質の変動（傾き）が大きい一方、高ビットレート領域では、体感品質の変動（傾き）が小さいことを示している。つまり、図５は、ビットレートの増加と、体感品質の増加とは比例しないことを示している。また、ビットレートと体感品質との関係は、図５のグラフに限定されず、ビットレートの増加と体感品質の増加とが比例しない関係を示す他のグラフによって定められてもよい。
図３に戻り、符号化制御部５４は、符号化パラメータとして、各カメラに割り当てるビットレートを変化させることによって体感品質ｑの値を変化させ、式（１）のＡ１の値が最大となるように、各カメラに割り当てるビットレートを決定してもよい。各カメラに割り当てられるビットレートの合計は、式（２）の制約条件Ｂに従う。さらに、符号化制御部５４は、決定されたビットレートに応じて、各カメラにおいて撮影された映像の映像データに適用するフレームレート及び解像度の少なくとも一方を決定してもよい。符号化制御部５４が制御する符号化パラメータは、ビットレートを含み、さらに、フレームレート及び解像度を含んでもよい。
符号化制御部５４は、決定したカメラ６１の符号化パラメータを符号化部５７へ出力する。さらに、符号化制御部５４は、決定したカメラ６２の符号化パラメータを符号化部５８へ出力し、決定したカメラ６３の符号化パラメータを符号化部５９へ出力し、決定したカメラ６４の符号化パラメータを符号化部６０へ出力する。
カメラ６１～６４のそれぞれは、符号化部５７～６０のそれぞれに、撮影した映像の映像データを出力する。符号化部５７は、例えば、符号化制御部５４から取得した符号化パラメータとして、ビットレート、フレームレート、及び解像度を適用した映像データを、通信部５１へ出力する。同様に、符号化部５８～６０は、符号化制御部５４から取得した符号化パラメータを適用した映像データを通信部５１へ出力する。通信部５１は、符号化部５７～６０から取得した映像データを、ネットワーク４０を介して監視装置３０へ送信する。
続いて、図６を用いて監視装置３０の構成例について説明する。監視装置３０は、再生部３１及び通信部３２を有している。再生部３１及び通信部３２等の監視装置３０の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、監視装置３０の構成要素は、回路もしくはチップ等のハードウェアであってもよい。
通信部３２は、送信装置５０から受信した映像データを再生部３１へ出力する。再生部３１は、取得した映像データを再生し、監視装置３０に内蔵されるもしくは監視装置３０と一体として用いられるディスプレイ等に映像を表示する。監視者は、ディスプレイに表示された映像を視認する。また、再生部３１は、画面表示に関する情報を、通信部３２を介して送信装置５０へ送信する。
続いて、図７を用いて実施の形態２にかかる送信装置５０における通信制御処理の流れについて説明する。はじめに、通信品質取得部５２は、送信装置５０と監視装置３０との間の通信経路の品質に関する情報を取得する（Ｓ２１）。例えば、通信品質取得部５２は、送信装置５０が映像データを送信してから、監視装置３０が映像データを受信するまでの伝送時間に関する情報を取得する。さらに、通信品質取得部５２は、通信経路の品質に関する情報として、伝送時間に関する情報を取得した後に、通信経路の可用帯域を算出する。可用帯域の算出は、例えば送信した映像データのサイズと伝送時間の除算によって算出してもよい。
次に、再生環境取得部５３は、通信部５１を介して、監視装置３０における再生環境に関する情報を、監視装置３０から取得する（Ｓ２２）。例えば、再生環境取得部５３は、監視装置３０における画面表示に関する情報、監視者の視線、及び再生遅延等であってもよい。
次に、優先度決定部５５は、カメラ６１～６４の優先度を決定する（Ｓ２３）。例えば、優先度決定部５５は、車両の進行方向に基づいて、カメラ６１の優先度を４、カメラ６２の優先度を３、カメラ６３の優先度を２、カメラ６４の優先度を１のように決定してもよい。ここでは、優先度の数値が大きいほど、重要なカメラであることを示している。重要なカメラとは、そのカメラが撮影する映像が他のカメラにおいて撮影された映像よりも重要であることを示している。
次に、体感品質算出部５６は、符号化制御部５４から取得した情報をパラメータとして、各カメラにおいて撮影された映像を監視者が視認した際の監視者の体感品質ｑを算出する。符号化制御部５４は、通信品質取得部５２及び再生環境取得部５３から取得した情報を体感品質算出部５６へ出力する。さらに、符号化制御部５４は、カメラ６１～６４に割り当てるビットレート、フレームレート、カメラ６１～６４が撮影した映像の解像度、コーデック種別を体感品質算出部５６へ出力してもよい。さらに、符号化制御部５４は、カメラ６１～６４の設置場所、カメラ６１～６４の向き、カメラの種類、車両の速度、車両の操作情報等を体感品質算出部５６へ出力してもよい。
次に、符号化制御部５４は、体感品質算出部５６から取得した体感品質ｑ及び優先度決定部５５から取得した優先度ｐを用いて、符号化パラメータを決定する。
続いて、図８を用いて、実施の形態２にかかる符号化パラメータの決定処理の流れについて説明する。図８においては、各カメラに割り当てる帯域を決定する処理の流れについて説明する。図８は、図７のステップＳ２４及びＳ２５に関する詳細な処理を示す。
はじめに、符号化制御部５４は、カメラ６１～６４に割り当てる帯域を所定量増加させた場合の目的関数の値を算出する（Ｓ３１）。例えば、式（１）におけるｐ１をカメラ６１の優先度とし、ｑ１をカメラ６１の体感品質とする。さらに、ｐ２をカメラ６２の優先度とし、ｑ２をカメラ６２の体感品質とし、ｐ３をカメラ６３の優先度とし、ｑ３をカメラ６３の体感品質とし、ｐ４をカメラ６４の優先度とし、ｑ４をカメラ６４の体感品質とする。
例えば、符号化制御部５４は、カメラ６１に１００ｋｂｐｓを割り当てた場合のカメラ６１の体感品質を算出し、算出した体感品質と優先度とを用いて目的関数の値を算出する。同様に、カメラ６２に１００ｋｂｐｓを割り当てた場合の目的関数の値と、カメラ６３に１００ｋｂｐｓを割り当てた場合の目的関数の値と、カメラ６４に１００ｋｂｐｓを割り当てた場合の目的関数の値とを算出する。優先度ｐｉは、図７のステップＳ２３において決定された値である。体感品質ｑｉは、例えば、図５に示す体感品質と帯域との関係を示すグラフを用いて、帯域（ビットレート）が決定された場合に、一意に定まる。ビットレートが同一であっても、フレームレート、解像度などによって体感品質が変動する場合には、符号化制御部５４は、当該ビットレートにおいて体感品質が最大になるようにフレームレートや解像度などを調整してもよい。
符号化制御部５４は、それぞれの目的関数の値を比較し、帯域を割り当てるカメラを決定する（Ｓ３２）。例えば、カメラ６１に１００ｋｂｐｓを割り当てた場合の目的関数が、他のカメラに１００ｋｂｐｓを割り当てた場合の目的関数よりも大きい場合、符号化制御部５４は、カメラ６１に１００ｋｂｐｓを割り当てることを決定する。
次に、符号化制御部５４は、各カメラの合計帯域が、可用帯域を下回っているか否かを判定する（Ｓ３３）。可用帯域は、図７のステップＳ２１において通信品質取得部５２において算出された値を用いる。具体的に、ステップＳ３２において、カメラ６１に１００ｋｂｐｓを割り当てると決定した場合について説明する。この場合、各カメラの合計帯域は、カメラ６１に１００ｋｂｐｓが割り当てられており、その他のカメラには帯域が割り当てられていないため、合計帯域は１００ｋｂｐｓである。符号化制御部５４は、各カメラの合計帯域が可用帯域を下回っていると判定した場合、ステップＳ３１以降の処理を繰り返す。また、可用帯域と、各カメラの合計帯域との差が所定増加量である１００ｋｂｐｓを下回る場合、ステップＳ３１以降において、符号化制御部５４は、可用帯域と各カメラの合計帯域との差を、所定増加量としてもよい。
具体的には、はじめのステップＳ３２において、符号化制御部５４が、カメラ６１に１００ｋｐｓ割り当てることを決定しているとする。この場合、ステップＳ３３の次に繰り返して実施されるステップＳ３１において、符号化制御部５４は、カメラ６２～６４に帯域が割り当てられていない状態において、カメラ６１に２００ｋｂｐｓを割り当てた際の体感品質を算出し、目的関数の値を算出する。さらに、符号化制御部５４は、カメラ６１に１００ｋｂｐｓ割り当てられている状態において、それぞれのカメラ６２～６４に１００ｋｂｐｓを割り当てた際のそれぞれの目的関数の値を算出する。
符号化制御部５４は、ステップＳ３２において、各カメラの合計帯域が可用帯域に達したと判定した場合、符号化パラメータの決定処理を終了する。
以上説明したように、実施の形態２にかかる送信装置５０は、複数のカメラにおいて撮影された映像の映像データに適用する帯域を、優先度と体感品質とを考慮して決定することができる。つまり、送信装置５０は、体感品質を考慮することによって、優先度の高いカメラにおいて撮影された映像の映像データに対して過度に帯域が割り当てられることを防止することができる。
また、符号化制御部５４は、目的関数Ａ１の代わりに、次のように定義された式（３）における目的関数Ａ２を用いてもよい。符号化制御部５４は、制約条件Ｂのもとで、Ａ２が最大となるように、符号化パラメータを決定してもよい。
Figure 0007448012000003
目的関数Ａ２は、１ビットあたりの目的関数Ａ１の値が最大となるように、各カメラに割り当てる帯域を決定するために用いられる。
また、各カメラに割り当てる帯域に上限を、式（４）のように定めてもよい。ｑＵＢは、体感品質の上限の値を定めている。
Figure 0007448012000004
割り当てる帯域を増加していった場合に、体感品質がｑＵＢに達した場合に、そのカメラに対する帯域の割り当てを停止してもよい。
また、通信品質取得部５２は、算出した可用帯域から、カメラ６１～６４において撮影された映像の映像データを監視装置３０へ送信する通信以外の通信に割り当てる帯域を減算してもよい。映像データを送信する通信以外の通信とは、例えば、送信装置５０に搭載された他のセンサが検知したセンサデータを送信するための通信であってもよい。もしくは、映像データを送信する通信以外の通信とは、車両に乗車中のユーザが使用するアプリケーションに関する通信であってもよい。
通信品質取得部５２は、算出した可用帯域から、映像データを送信する通信以外の通信に割り当てる帯域を減算した値を、符号化制御部５４へ出力してもよい。符号化制御部５４は、図８のステップＳ３３において、符号化制御部５４は、各カメラの合計帯域が、可用帯域から、映像データを送信する通信以外の通信に割り当てる帯域を減算した値を上回っているか否かを判定してもよい。
これにより、送信装置５０は、映像データ及びその他のデータを、監視装置３０の監視者等が要望する品質に合わせて送信することができる。
また、図８における符号化パラメータの決定処理は、カメラに加えて、センサ等のカメラ以外の装置において生成されたデータを送信する際に割り当てる帯域を決定するために用いられてもよい。さらに、映像データを送信する通信が、センサにおいて検出されたデータを送信する通信よりも優先度が高い場合、カメラに優先的に帯域を割り当て、その後、センサに帯域を割り当ててもよい。
さらに、送信装置５０は、図７における通信制御処理、及び図８における符号化パラメータの決定処理を、定期的に実行してもよく、可用帯域が大きく変動した際に実行してもよい。定期的とは、例えば、数百ミリ秒から、数秒（典型的には１秒）周期であってもよい。これにより、送信装置５０は、無線品質の変化等に応じて、カメラ６１～６４が撮影した映像の映像データに適用する符号化パラメータを変更することができる。もしくは、送信装置５０は、図７における通信制御処理、及び図８における符号化パラメータの決定処理を、車の動作に応じて実行してもよい。例えば、送信装置５０は、右折もしくは左折すると判明したタイミングにおいて、図７及び図８における処理を実行してもよい。車両が自動運転車である場合、自動運転車両の動作もしくは走行予定経路から右折もしくは左折することが判明し、遠隔監視もしくは運転支援が行われる車両である場合、ウインカーを出したタイミングに、右折もしくは左折することが判明してもよい。
（実施の形態３）
続いて、図９を用いて実施の形態３にかかる符号化パラメータの決定処理の流れについて説明する。図９においては、各カメラに割り当てる帯域を決定する処理の流れについて説明する。図９は、図７のステップＳ２４及びＳ２５に関する詳細な処理を示す。図９において、符号化制御部５４は、カメラ６１～６４の優先情報として、優先順位を用いる。ここでは、カメラ６１の優先順位を１位とし、カメラ６２の優先順位を２位とし、カメラ６３の優先順位を３位とし、カメラ６４の優先順位を４位とすることを前提とする。各カメラの優先順位は、図７のステップＳ２３において、優先度決定部５５において決定されるとする。
はじめに、符号化制御部５４は、カメラ６１の体感品質がｑとなるように帯域ｂ１を割り当てる（Ｓ４１）。ここでは、カメラの映像ごとに、帯域ｂと体感品質ｑとの関係を示すグラフが定められてもよい。帯域ｂと体感品質ｑとの関係を示すグラフは、図５に類似するグラフであってもよい。この場合、カメラ６１の映像を視認した際の体感品質がｑとなるように割り当てる帯域ｂ１は、カメラ６１に関する帯域ｂと体感品質ｑとの関係を示すグラフに従うとする。次に、符号化制御部５４は、図７のステップＳ２１において算出された可用帯域から、帯域ｂ１を減算した値が、帯域ｂ２を上回っているか否かを判定する（Ｓ４２）。帯域ｂ２は、カメラ６２の映像を視認した際の体感品質がｑとなるように割り当てる帯域である。
ステップＳ４２において、符号化制御部５４は、可用帯域から、帯域ｂ１を減算した値が、帯域ｂ２を上回っていると判定した場合、カメラ６２の体感品質がｑとなるように帯域ｂ２を割り当てる（Ｓ４３）。
次に、符号化制御部５４は、図７のステップＳ２１において算出された可用帯域から、帯域ｂ１及びｂ２を減算した値が、帯域ｂ３を上回っているか否かを判定する（Ｓ４４）。帯域ｂ３は、カメラ６３の映像を視認した際の体感品質がｑとなるように割り当てる帯域である。
ステップＳ４４において、符号化制御部５４は、可用帯域から、帯域ｂ１及びｂ２を減算した値が、帯域ｂ３を上回っていると判定した場合、カメラ６３の体感品質がｑとなるように帯域ｂ３を割り当てる（Ｓ４５）。
次に、符号化制御部５４は、図７のステップＳ２１において算出された可用帯域から、帯域ｂ１、ｂ２及びｂ３を減算した値が、帯域ｂ４を上回っているか否かを判定する（Ｓ４６）。帯域ｂ４は、カメラ６４の映像を視認した際の体感品質がｑとなるように割り当てる帯域である。
ステップＳ４６において、符号化制御部５４は、可用帯域から、帯域ｂ１、ｂ２、及びｂ３を減算した値が、帯域ｂ４を上回っていると判定した場合、カメラ６４の体感品質がｑとなるように帯域ｂ４を割り当てる（Ｓ４７）。
ステップＳ４２において、符号化制御部５４は、可用帯域から、帯域ｂ１を減算した値が、帯域ｂ２を上回っていないと判定した場合、カメラ６２に割り当て可能な全ての帯域を割り当てる（Ｓ４８）。可用帯域から帯域ｂ１を減算した値が、帯域ｂ２を上回っていないとは、可用帯域から帯域ｂ１を減算した値が、帯域ｂ２を下回っていることを示す。
ステップＳ４４において、符号化制御部５４は、可用帯域から、帯域ｂ１及びｂ２を減算した値が、帯域ｂ３を上回っていないと判定した場合、カメラ６３に割り当て可能な全ての帯域を割り当てる（Ｓ４９）。
ステップＳ４６において、符号化制御部５４は、可用帯域から、帯域ｂ１、ｂ２及びｂ３を減算した値が、帯域ｂ４を上回っていないと判定した場合、カメラ６４に割り当て可能な全ての帯域を割り当てる（Ｓ５０）。
図９においては、カメラ６１～６４のそれぞれが異なる優先順位である場合について説明したが、例えば、カメラ６２及び６３が同じ優先順位となる場合もある。このような場合、例えば、図９のステップＳ４２において、符号化制御部５４は、可用帯域から帯域ｂ１を減算した値が、帯域ｂ２の２倍を上回っているか否かを判定してもよい。符号化制御部５４は、可用帯域から帯域ｂ１を減算した値が、帯域ｂ２×２を上回っていると判定した場合、同じ優先順位であるカメラ６２及び６３に、帯域ｂ２を割り当てる。符号化制御部５４は、可用帯域から帯域ｂ１を減算した値が、帯域ｂ２×２を上回っていないと判定した場合、残りの帯域の半分の帯域を、カメラ６２及びカメラ６３にそれぞれ割り当てる。
もしくは、ステップＳ４２、Ｓ４４、Ｓ４６において、符号化制御部５４は、それぞれ残りの帯域が帯域ｂ２、ｂ３、もしくはｂ４を上回っていないと判定した場合、残りの帯域を割り当てず、処理を終了してもよい。
また、図９においては、優先順位の異なるカメラ６１～６４に対して、同じ体感品質ｑとなるように帯域を割り当てる場合について説明したが、優先順位に応じて異なる体感品質となるように帯域を割り当ててもよい。例えば、符号化制御部５４は、最も優先順位が高いカメラ６１に、体感品質が最も高くなるような帯域を割り当て、最も優先順位が低いカメラ６４に、体感品質が最も低くなるような帯域を割り当ててもよい。
以上説明したように、実施の形態３にかかる送信装置５０は、複数のカメラにおいて撮影された映像の映像データに適用する帯域を、優先順位と体感品質とを考慮して決定することができる。つまり、送信装置５０は、体感品質を考慮することによって、優先順位の高いカメラにおいて撮影された映像の映像データに対して過度に帯域が割り当てられることを防止することができる。
また、優先順位の高いカメラに多くの帯域を割り当てて、優先順位の高いカメラに関する体感品質を高めたとしても、他のカメラの映像に関する体感品質を高めることができなければ、全てのカメラの映像を合わせた総合的な体感品質を高めることができない。そのため、送信装置５０は、優先順位の高いカメラから順番に、所定の体感品質を満たすように帯域を割り当てることによって、複数のカメラの映像を合わせた総合的な体感品質を高めるように、映像データを監視装置３０へ送信することができる。
さらに、優先順位に応じて、満たすべき体感品質を変更することによって、全てのカメラの映像を合わせた総合的な体感品質をさらに高めることができる。例えば、優先度の高いカメラの映像は、他のカメラの映像よりも、監視者によってより注視される映像といえる。このような場合、優先度の高いカメラの映像に関する体感品質を、他のカメラの映像に関する体感品質よりも高くするように帯域を割り当てることによって、全てのカメラの体感品質が同じとなるように制御するよりも、総合的な体感品質を高めることができる。
また、符号化制御部５４は、ステップＳ４１を実行する前に、カメラ６１～６４に、最低限の帯域を割り当て、その後、ステップＳ４１以降の処理を実行してもよい。これにより、符号化制御部５４は、それぞれのカメラに、映像データを監視装置３０へ送信するために最低限の帯域を割り当てることができる。
また、実施の形態３にかかる送信装置５０は、実施の形態２と同様に、通信品質取得部５２が、算出した可用帯域から、カメラ６１～６４において撮影された映像の映像データを監視装置３０へ送信する通信以外の通信に割り当てる帯域を減算してもよい。例えば、図９のステップＳ４２、Ｓ４４、及びＳ４６において、符号化制御部５４は、可用帯域から、それぞれのカメラに割り当てられる帯域ｂ及び映像データの通信以外の通信に割り当てる帯域を減算してもよい。
さらに、送信装置５０は、図９における符号化パラメータの決定処理を、定期的に実行してもよく、可用帯域が大きく変動した際に実行してもよい。これにより、送信装置５０は、無線品質の変化等に応じて、カメラ６１～６４が撮影した映像の映像データに適用する符号化パラメータを変更することができる。
図１０は、送信装置１０、監視装置３０、及び送信装置５０（以下、送信装置１０等と称する）の構成例を示すブロック図である。図１０を参照すると、送信装置１０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、ネットワークノード（e.g., eNB、MME、P-GW、）と通信するために使用される。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。ここで、eNBはevolved Node B、MMEはMobility Management Entity、P-GWはPacket Data Network Gatewayを表す。IEEEは、Institute of Electrical and Electronics Engineersを表す。
プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された映像送信端末１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。
図１０の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された送信装置１０等の処理を行うことができる。
図１０を用いて説明したように、上述の実施形態における送信装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、
推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する、送信装置における通信制御方法。
（付記２）
前記撮像装置及び前記送信装置は、移動体に搭載され、
前記体感品質は、
前記移動体の状態に基づいて決定される、付記１に記載の通信制御方法。
（付記３）
前記通信を制御する際に、
それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、付記１又は２に記載の通信制御方法。
（付記４）
前記符号化パラメータは、
前記映像のビットレートを含む、付記３に記載の通信制御方法。
（付記５）
前記通信を制御する際に、
それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、付記１乃至４のいずれか１項に記載の通信制御方法。
（付記６）
前記優先情報は、
それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、付記５に記載の通信制御方法。
（付記７）
複数の撮像装置において撮像された映像の映像データをネットワークを介して送信する送信装置と、
前記映像をネットワークを介して受信した前記映像を表示する監視装置と、を備え、
前記送信装置は、
前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、
推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する、通信システム。
（付記８）
前記撮像装置及び前記送信装置は、移動体に搭載され、
前記体感品質は、
前記移動体の状態に基づいて決定される、付記７に記載の通信システム。
（付記９）
前記送信装置は、
それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、付記７又は８に記載の通信システム。
（付記１０）
前記符号化パラメータは、
前記映像のビットレートを含む、付記９に記載の通信システム。
（付記１１）
前記送信装置は、
それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、付記７乃至１０のいずれか１項に記載の通信システム。
（付記１２）
前記優先情報は、
それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、付記１１に記載の通信システム。
（付記１３）
複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定する推定部と、
推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する通信制御部と、を備える送信装置。
（付記１４）
前記撮像装置及び前記送信装置は、移動体に搭載され、
前記体感品質は、
前記移動体の状態に基づいて決定される、付記１３に記載の送信装置。
（付記１５）
前記通信制御部は、
それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、付記１３又は１４に記載の送信装置。
（付記１６）
前記符号化パラメータは、
前記映像のビットレートを含む、付記１５に記載の送信装置。
（付記１７）
前記通信制御部は、
それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、付記１３乃至１６のいずれか１項に記載の送信装置。
（付記１８）
前記優先情報は、
それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、付記１７に記載の送信装置。
１０ 送信装置
１１ 推定部
１２ 通信制御部
２０ 撮像装置
３０ 監視装置
３１ 再生部
３２ 通信部
４０ ネットワーク
５０ 送信装置
５１ 通信部
５２ 通信品質取得部
５３ 再生環境取得部
５４ 符号化制御部
５５ 優先度決定部
５６ 体感品質算出部
５７ 符号化部
５８ 符号化部
５９ 符号化部
６０ 符号化部
６１ カメラ
６２ カメラ
６３ カメラ
６４ カメラ

Claims (10)

  1. 複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を前記複数の撮像装置が搭載された移動体の状態を示すパラメータを用いてモデル化された学習モデルを用いて決定し、
    決定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する、送信装置における通信制御方法。
  2. 前記撮像装置及び前記送信装置は、移動体に搭載され、
    前記体感品質は、
    前記移動体の状態に基づいて決定される、請求項１に記載の通信制御方法。
  3. 前記通信を制御する際に、
    それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、請求項１又は２に記載の通信制御方法。
  4. 前記符号化パラメータは、
    前記映像のビットレートを含む、請求項３に記載の通信制御方法。
  5. 前記通信を制御する際に、
    それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、請求項１乃至４のいずれか１項に記載の通信制御方法。
  6. 前記優先情報は、
    それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、請求項５に記載の通信制御方法。
  7. 複数の撮像装置において撮像された映像の映像データをネットワークを介して送信する送信装置と、
    前記映像をネットワークを介して受信した前記映像を表示する監視装置と、を備え、
    前記送信装置は、
    前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を前記複数の撮像装置が搭載された移動体の状態を示すパラメータを用いてモデル化された学習モデルを用いて決定し、
    決定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する、通信システム。
  8. 複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を前記複数の撮像装置が搭載された移動体の状態を示すパラメータを用いてモデル化された学習モデルを用いて決定する推定部と、
    決定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する通信制御部と、を備える送信装置。
  9. 前記撮像装置及び前記送信装置は、移動体に搭載され、
    前記体感品質は、
    前記移動体の状態に基づいて決定される、請求項８に記載の送信装置。
  10. 前記通信制御部は、
    それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、請求項８又は９に記載の送信装置。
JP2022539877A 2020-07-29 2020-07-29 通信制御方法、通信システム、及び送信装置 Active JP7448012B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029091 WO2022024268A1 (ja) 2020-07-29 2020-07-29 通信制御方法、通信システム、及び送信装置

Publications (3)

Publication Number Publication Date
JPWO2022024268A1 JPWO2022024268A1 (ja) 2022-02-03
JPWO2022024268A5 JPWO2022024268A5 (ja) 2023-04-03
JP7448012B2 true JP7448012B2 (ja) 2024-03-12

Family

ID=80037762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539877A Active JP7448012B2 (ja) 2020-07-29 2020-07-29 通信制御方法、通信システム、及び送信装置

Country Status (3)

Country Link
US (1) US20230283818A1 (ja)
JP (1) JP7448012B2 (ja)
WO (1) WO2022024268A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051517A (ja) 2003-07-29 2005-02-24 Hitachi Kokusai Electric Inc 映像配信システム本発明は、映像配信システムに関し、複数の撮像装置からの映像信号に対してクライアントから要求があった映像信号をエンコーダを用いて符号化し、通信ネットワークを介して接続されるクライアントに対して配信を行う映像配信システムに関する。
WO2013099488A1 (ja) 2011-12-28 2013-07-04 日産自動車株式会社 監視システム
JP2014071778A (ja) 2012-09-28 2014-04-21 Equos Research Co Ltd 車両
JP2016134816A (ja) 2015-01-21 2016-07-25 株式会社日立製作所 画像調整方法、サーバ及び動画撮影システム
US20180334099A1 (en) 2017-05-16 2018-11-22 GM Global Technology Operations LLC Vehicle environment imaging systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051517A (ja) 2003-07-29 2005-02-24 Hitachi Kokusai Electric Inc 映像配信システム本発明は、映像配信システムに関し、複数の撮像装置からの映像信号に対してクライアントから要求があった映像信号をエンコーダを用いて符号化し、通信ネットワークを介して接続されるクライアントに対して配信を行う映像配信システムに関する。
WO2013099488A1 (ja) 2011-12-28 2013-07-04 日産自動車株式会社 監視システム
JP2014071778A (ja) 2012-09-28 2014-04-21 Equos Research Co Ltd 車両
JP2016134816A (ja) 2015-01-21 2016-07-25 株式会社日立製作所 画像調整方法、サーバ及び動画撮影システム
US20180334099A1 (en) 2017-05-16 2018-11-22 GM Global Technology Operations LLC Vehicle environment imaging systems and methods

Also Published As

Publication number Publication date
WO2022024268A1 (ja) 2022-02-03
US20230283818A1 (en) 2023-09-07
JPWO2022024268A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
US20200327350A1 (en) System and method for pre-processing images captured by a vehicle
JP7505500B2 (ja) 送信方法、送信システム及びシステム制御装置
JP4987573B2 (ja) 車外監視装置
JP7095788B2 (ja) 通信方法、及び通信装置
JPWO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
KR20210056336A (ko) 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램
KR20200050959A (ko) 화상 처리 디바이스, 화상 처리 방법, 및 프로그램
JP7452620B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7147867B2 (ja) 通信装置、通信制御方法、及びプログラム
JP2001216519A (ja) 交通監視装置
WO2021070215A1 (ja) 映像分析方法、映像分析システム及び情報処理装置
US20140270719A1 (en) Image encoding device, photographing system, photographing recording system, image encoding method, and non-transitory computer readable medium storing image encoding control program
JP2016197795A (ja) 撮像装置
TW201929210A (zh) 半導體裝置、攝影系統及程式
JP7448012B2 (ja) 通信制御方法、通信システム、及び送信装置
KR102672095B1 (ko) 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
WO2022074701A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP7318809B2 (ja) 映像分析装置、映像分析システム及び映像分析方法
JP7123215B2 (ja) 統計ベースの電子画像安定化
JP7415327B2 (ja) 携帯端末制御方法、携帯端末制御装置、プログラム
Sakaushi et al. Edge-centric video surveillance system based on event-driven rate adaptation for 24-hour monitoring
JP5838775B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
WO2019026985A1 (ja) 分析装置、分析システム、分析方法およびプログラム記憶媒体
JP2019041195A (ja) 撮像装置
WO2022209347A1 (ja) 情報処理装置、情報処理方法、コンピュータ可読媒体、及び情報処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R151 Written notification of patent or utility model registration

Ref document number: 7448012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151