JP7215406B2 - 画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法 - Google Patents

画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法 Download PDF

Info

Publication number
JP7215406B2
JP7215406B2 JP2019224817A JP2019224817A JP7215406B2 JP 7215406 B2 JP7215406 B2 JP 7215406B2 JP 2019224817 A JP2019224817 A JP 2019224817A JP 2019224817 A JP2019224817 A JP 2019224817A JP 7215406 B2 JP7215406 B2 JP 7215406B2
Authority
JP
Japan
Prior art keywords
image information
transmission rate
variation
actual
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019224817A
Other languages
English (en)
Other versions
JP2021093691A (ja
Inventor
修 吉住
泰伸 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019224817A priority Critical patent/JP7215406B2/ja
Priority to PCT/JP2020/036204 priority patent/WO2021117315A1/ja
Publication of JP2021093691A publication Critical patent/JP2021093691A/ja
Priority to US17/806,028 priority patent/US20220303547A1/en
Application granted granted Critical
Publication of JP7215406B2 publication Critical patent/JP7215406B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/38—Flow control; Congestion control by adapting coding or compression rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、通信ネットワークを介して画像情報を送受信する装置に関し、具体的には車両等からセンターに向けて送信する画像情報を、通信帯域に応じた送信レートで送信・受信するための画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法に関する。
近年、車両の加速、操舵および制動を自動的に行うことによって自律走行が可能な自動運転車両に対する技術開発が活発になっている。また、ドライバを必要としない無人の自動運転車両の開発も期待されている。このような自動運転車両では、オペレータや遠隔監視システムが、必要に応じて車両の状態を視覚的に遠隔監視するとともに車両の走行を支援できることが望ましい。
このような場合、車両に搭載された撮像装置が動画像を撮影することにより画像情報を取得・生成し、この画像情報を遠隔監視が行われるセンターに無線通信ネットワークを介して送信する必要がある。しかし、無線を利用した画像情報の転送品質は、通信帯域の変動に大きく依存するので、通信帯域以上の転送レートで送信した場合、映像の遅延や欠損を生じる可能性がある。それゆえ、通信帯域に応じた画像情報の送信レート制御を行う必要がある。
特許文献１には、テストデータを送信することにより伝送時間を計測し、計測した伝送時間から帯域を計算し、計算した帯域が閾値より小さい場合に送信対象となるデータの種類と送信形式を決定して伝送することが記載されている。
特開２０１３－２０１６２３号公報
しかし、特許文献１によると本来不要なテストデータの送受信が発生するため、特に帯域に限りがある無線通信ネットワークに適用した場合には画像情報の伝送に影響を生じる。
また、テストデータ送信後に無線通信ネットワークの環境が変化した場合に対応することができない。
さらに、帯域に余裕がある場合に、画像情報の送信レートをどこまで上げてよいかを判断することは記載されていない。
本発明者らは、以上の課題を見出した。
なお、上述の背景技術は、本発明が適用される分野を限定するものではなく、本発明が適用される分野の一例に過ぎない。
本発明の目的は、通信ネットワークの帯域を有効に活用できるとともに、通信ネットワークの環境変化にも対応することができる画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法を提供することにある。
さらに、現在の帯域に余裕がある場合に、画像情報の送信レートを上げることができる画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法を提供することにある。
本開示の一態様である画像情報受信装置（１００）は、画像情報送信装置（２００）から通信ネットワークを通じて画像情報を受信する受信部（１０１）と、前記画像情報に含まれるパケットの受信間隔のばらつきである受信実ばらつきを求めるパケット解析部（１０３）と、前記受信実ばらつきが所定値よりも大きい場合、前記画像情報送信装置の目標送信レートを上げる処理を行う送信レート変更処理部（１０４、１０５）と、を有する。
なお、特許請求の範囲、及び本項に記載した発明の構成要件に付した括弧内の番号は、本発明と後述の実施形態との対応関係を示すものであり、本発明を限定する趣旨ではない。
上述の構成により、本開示の一態様である画像情報受信装置及び画像情報送信装置は、テストデータを用いないので、通信ネットワークの帯域を有効に活用することができ、また画像情報の受信状態を示す情報としてパケットの受信間隔のばらつきである受信実ばらつきを用いるので、通信ネットワークの環境変化にも対応することができる。また、受信実ばらつきがある場合、現在の帯域に余裕があると評価できるので、画像情報の送信レートを上げることができる。
本開示の各実施形態に共通の通信システムを示す構成図 本開示の各実施形態に共通する受信実ばらつきのメカニズムを説明する説明図 本開示の各実施形態に共通する、通信帯域とパケット受信間隔との関係を示す説明図 本開示の第１～４の実施形態における画像情報受信装置の構成図 本開示の第１の実施形態における画像情報送信装置の構成図 本開示の第１の実施形態における画像情報受信装置の動作を示す説明図 本開示の第１の実施形態における画像情報送信装置の動作を示す説明図 本開示の第２の実施形態における画像情報送信装置の構成図 本開示の第２の実施形態における画像情報受信装置の動作を示す説明図 本開示の第２の実施形態における画像情報送信装置の動作を示す説明図 本開示の第３の実施形態における画像情報受信装置の動作を示す説明図 本開示の第４の実施形態における画像情報送信装置の構成図 本開示の第４の実施形態における画像情報受信装置の動作を示す説明図 本開示の第４の実施形態における画像情報送信装置の動作を示す説明図
以下、本開示の画像情報受信装置及び画像情報送信装置の構成、機能及び動作について、図面を参照して説明する。
なお、本発明とは、特許請求の範囲又は課題を解決するための手段の項に記載された発明を意味するものであり、以下の実施形態に限定されるものではない。また、少なくともかぎ括弧内の語句は、特許請求の範囲又は課題を解決するための手段の項に記載された語句を意味し、同じく以下の実施形態に限定されるものではない。
特許請求の範囲の従属項に記載の構成及び方法は、特許請求の範囲の独立項に記載の発明において任意の構成及び方法である。従属項に記載の構成及び方法に対応する実施形態の構成及び方法、並びに特許請求の範囲に記載がなく実施形態のみに記載の構成及び方法は、本発明において任意の構成及び方法である。特許請求の範囲の記載が実施形態の記載よりも広い場合における実施形態に記載の構成及び方法も、本発明の構成及び方法の例示であるという意味で、本発明において任意の構成及び方法である。いずれの場合も、特許請求の範囲の独立項に記載することで、本発明の必須の構成及び方法となる。
実施形態に記載した効果は、本発明の例示としての実施形態の構成を有する場合の効果であり、必ずしも本発明が有する効果ではない。
複数の実施形態がある場合、各実施形態に開示の構成は各実施形態のみで閉じるものではなく、実施形態をまたいで組み合わせることが可能である。例えば一の実施形態に開示の構成を、他の実施形態に組み合わせても良い。また、複数の実施形態それぞれに開示の構成を集めて組み合わせても良い。
発明が解決しようとする課題に記載した課題は公知の課題ではなく、本発明者が独自に知見したものであり、本発明の構成及び方法と共に発明の進歩性を肯定する事実である。
１．各実施形態に共通の構成
（通信システムの構成）
図１に示すように通信システム１は、車両（「移動体」に相当）に「搭載されている」画像情報送信装置２００、画像情報受信装置１００、並びに画像情報送信装置２００及び画像情報受信装置１００との間の通信に用いる通信ネットワーク２からなる。
ここで「移動体」とは、移動可能な物体をいい、移動速度は任意である。また移動体が停止している場合も当然含む。例えば、自動車、自動二輪車、自転車、歩行者、船舶、航空機、及びこれらに搭載される物を含み、またこれらに限らない。
また、「搭載されている」とは、移動体に直接固定されている場合の他、移動体に固定されていないが移動体と共に移動する場合も含む。例えば、移動体に乗った人が所持している場合、移動体に載置された積荷に搭載されている場合、が挙げられる。
画像情報送信装置２００（「画像情報送信装置」に相当）は、図示しない「撮像装置」で撮像した画像を符号化して画像情報を生成し、この画像情報を通信ネットワーク２の上り回線を通じて画像情報受信装置１００（「画像情報受信装置」に相当）へ送信する。画像情報受信装置１００は、送信された画像情報を受信する。
また、画像情報受信装置１００は、受信した画像情報に基づいて必要なデータや指示を生成し、通信ネットワーク２の下り回線を通じて画像情報送信装置２００に送信する。画像情報送信装置２００は、送信されたデータや指示を受信する。画像情報受信装置１００の応用例として、例えば車両監視装置、自動運転支援サービス装置などが挙げられる。
ここで、「画像情報送信装置」とは、画像情報を送信する装置であれば足り、当該装置で画像情報を生成して送信する場合、当該装置で画像情報を取得して送信する場合のいずれも含む。例えば一般的に送信装置、送信端末装置と呼ばれるものが相当し、具体的には電子制御装置（ＥＣＵ）、半導体回路素子、ＰＣ（パーソナルコンピュータ）、スマートフォン、携帯電話、ビデオカメラ、スチルカメラ等が含まれる。
「画像情報受信装置」とは、画像情報を受信する装置であれば足りる。例えば一般的にサーバ装置、受信装置、受信端末装置と呼ばれるものが相当し、具体的には各種サーバ装置、ワークステーション、ＰＣ（パーソナルコンピュータ）、が挙げられるが、電子制御装置（ＥＣＵ）、半導体回路素子、スマートフォン、携帯電話等であってもよい。
「撮像装置」は、当該画像情報送信装置の外にある場合の他、当該画像情報送信装置に含まれて当該画像情報送信装置と一体となっている場合も含む。
通信ネットワーク２（「通信ネットワーク」に相当）は、画像情報送信装置２００と基地局装置との間で無線通信方式が用いられる。無線通信方式としては、例えば、ＩＥＥＥ８０２．１１（ＷｉＦｉ（登録商標））やＩＥＥＥ８０２．１６（ＷｉＭＡＸ（登録商標））、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＨＳＰＡ（High Speed Packet Access）、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（Long Term Evolution Advanced）、４Ｇ、５Ｇ等を用いることができる。また、基地局装置と画像情報受信装置１００との間は、電話回線やインターネット等の有線通信方式が用いられる。
このように各実施形態に共通の通信ネットワーク２は、複数のネットワークを組み合わせているが、単一の通信ネットワークを用いる場合を排除するものではない。
ここで、「通信ネットワーク」とは、無線通信ネットワークの他、有線通信ネットワークであってもよい。また、これらを組み合わせてもよい。
通信システム１の例として、画像情報送信装置２００は車両に搭載されるとともに、画像情報受信装置１００は移動しないサーバを想定したが、これに限られるものではない。例えば、画像情報送信装置２００及び画像情報受信装置１００の両方が、それぞれ異なる車両に搭載されてもよい。あるいは、画像情報送信装置２００がサーバ、画像情報受信装置１００が車両に搭載されてもよい。あるいは、画像情報送信装置２００及び画像情報受信装置１００の両方が移動しないサーバや移動しないコンピュータであってもよい。また、画像情報送信装置２００は、コンピュータである必要はなく、例えばインフラに取り付けられている監視用のカメラであってもよい。
２．各実施形態に共通の本発明のメカニズム
本発明者らは、以下のメカニズムを見出した。
撮像装置で撮像した画像は、通常ＭＰＥＧ（Moving Picture Experts Group）と呼ばれる、Ｈ２６４やＨ２６５等の圧縮・符号化技術を用いて画像情報に変換される。これらの圧縮・符号化技術には、フレーム間予測と呼ばれる技術が用いられている。
フレーム間予測とは、動画像において前のフレームと次のフレームが良く似ているという性質を用いて、前のフレームから現在のフレームを予測する技術である。フレーム間予測を用いた圧縮では、入力画像と予測画像の差分だけを符号化すればよいので、非常に高い圧縮率を達成できる。フレーム間予測を用いずに符号化されるフレームはＩフレーム、フレーム間予測を用いて符号化されるフレームはＰフレーム、あるいはＢフレームと呼ばれている。そして、一般的には、Ｉフレームの情報量（すなわちサイズ）の方が、Ｐフレーム又はＢフレームの情報量（すなわちサイズ）よりも格段に多い。そのため、Ｉフレームを送信するためのパケット数は、Ｐフレーム又はＢフレームを送信するためのパケット数に比べて多いといえる。
図２において、（ａ）は画像を圧縮・符号化して得られたフレームの様子を示している。なお、説明を簡略化するためにＢフレームは説明に用いていない。画像を圧縮・符号化すると、例えば３０フレーム／秒でフレームが出力される場合、各フレーム間の長さは３０分の１秒となる。ここでは、これらのフレームを送るのに要するパケット数を、Ｉフレームの場合は５つ、Ｐフレームの場合は２つとする。
画像情報のパケットの送信は、画像情報受信装置１００からの受信応答を待って順次行うため、通信帯域が狭い程、１つのパケットの送信に時間がかかる。
通信帯域に余裕がある場合は、リアルタイムに撮像された画像の画像情報を送信する際、図２（ｂ）のように、Ｉフレームのパケットを送り終えてからＰフレームのパケットを送り始めるまでに空白の時間が生じる。Ｐフレームのパケットを送り終えてから次のＰフレームのパケットを送り始めるまでも同様である。このように、通信帯域に余裕がある場合は、パケットの送信間隔にばらつきが生じる。
これに対して通信帯域に余裕がない場合は、図２（ｃ）のように、Ｉフレームのパケットを送り終えてからすぐにＰフレームのパケットを送り始める。また、Ｐフレームのパケットを送り終えてから次のＰフレームのパケットを送り始めるまでも同様である。このように、通信帯域に余裕がない場合は、パケットの送信間隔は一定となり、通信帯域に余裕がない程パケットの送信間隔は長くなる。これに伴いリアルタイムに画像情報を送信することが難しくなる。
図３は、通信ネットワーク２の通信帯域を変化させた場合におけるパケット受信間隔の変化を示している。画像情報送信装置２００からは、目標送信レートを８Ｍｂｐｓ（Mega bit per second）として画像情報を送信し、通信ネットワーク２の通信帯域は２０Ｍｂｐｓから２Ｍｂｐｓに２Ｍｂｐｓ毎に段階的に劣化させている。
通信帯域が２０Ｍｂｐｓから１０Ｍｂｐｓまでの間は、０．００１ｓを中心にパケットの受信間隔にばらつきが生じている。この間は、目標送信レートより通信帯域の方が広いことから、通信帯域に余裕がある場合は受信間隔にばらつきが生じていることが分かる。この場合は、通信帯域に余裕があるので、目標送信レートを上げることができる。
通信帯域が８Ｍｂｐｓの場合は、０．００１ｓを中心にパケットの受信間隔にほとんどばらつきが見られない。この間は、目標送信レートと通信帯域とが同じであることから、通信帯域の限界付近までが通信に使われている場合は、受信間隔にばらつきは生じない。
通信帯域が４Ｍｂｐｓから２Ｍｂｐｓまでの間は、パケットの受信間隔が段階的に増加している。この間は、目標送信レートをカバーできるだけの通信帯域がないことから、通信帯域に余裕がない場合はパケットの送信に時間がかかり、パケットの受信間隔が広がっていることが分かる。この場合は、通信帯域に余裕がないので、目標送信レートを下げる必要がある。
以上の性質を利用すれば、パケットの受信間隔のばらつきを求めることで、通信帯域に余裕があるかどうかを検出することができる。そして、パケットの受信間隔にばらつきがある場合は、通信帯域に余裕があるといえるので、目標送信レートを上げることができる。また、パケットの受信間隔にばらつきがない場合は、通信帯域に余裕がないといえるので、目標送信レートを下げる必要がある。
なお、フレーム間予測を用いない圧縮・符号化技術を用いる場合も各フレームのデータ量に幅があるため、パケットの送信間隔にばらつきが生じる。よって、フレーム間予測を用いない圧縮・符号化技術を用いる場合においても、本発明のメカニズムが該当する。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ(Joint Photographic Experts Group)を用いてもよい。
３．第１の実施形態
（１）画像情報受信装置１００の構成
図４に示す通り、画像情報受信装置１００は、受信部１０１、復号部１０２、パケット解析部１０３、送信レート変更処理部１０４、及び送信部１０５、を有する。
受信部１０１は、画像情報送信装置２００から通信ネットワーク２を通じて「画像」情報を受信する。画像情報は、画像情報送信装置２００や画像情報送信装置２００に接続された装置において、フレーム間予測を用いて「画像」が符号化されたものであることが望ましいが、フレーム間予測を用いない方法で「画像」が符号化されていてもよい。例えば、画像情報は、Ｍｏｔｉｏｎ ＪＰＥＧを用いて「画像」が符号化されていてもよい。
ここで、「画像」とは、動画、静止画のいずれも含む。また、動画、静止画の両方が含まれていてもよい。
復号部１０２は、受信部１０１で受信した画像情報を復号し、復号した画像情報を表示装置に出力する。
パケット解析部１０３は、受信部１０１で受信した画像情報に含まれるパケットの受信間隔を検出し、パケットの受信間隔の「ばらつき」である受信実ばらつきを求める。
受信実ばらつきは、分散を求めることで数値化できる。分散は、標本分散が望ましいが、これに限らない。この他、受信実ばらつきとして、一定時間毎のパケットの受信間隔の最大値と最小値を用いてもよい。
ここで、「ばらつき」とは、受信間隔が離散的である状態又は程度をいい、例えば分散、最大値／最小値、振幅、標準偏差等の指標で表すことができる。
送信レート変更処理部１０４は、パケット解析部１０３で求めた受信実ばらつきと「所定値」とを比較し、受信実ばらつきが所定値「よりも」大きい場合、画像情報送信装置２００から画像情報を送信する「送信レート」である目標送信レートを「上げる」処理を行う。目標送信レートとは、画像情報送信装置２００が画像情報を送信する速度の目標値をいう。目標送信レートは、ターゲットビットレートともいう。
一例として、後述の送信部１０５から、画像情報送信装置２００に対し、目標送信レートを上げる命令を送信することが挙げられる。画像情報送信装置２００と画像情報受信装置１００との間で送信レートのステップを定義しておけば、目標送信レートを上げる命令を送信した場合、現在の目標送信レートから、定義したステップ分だけ目標送信レートを上げることになる。例えば、ステップが１Ｍｂｐｓであり、現在の目標送信レートが２Ｍｂｐｓである場合を想定する。画像情報受信装置１００から目標送信レートを上げる命令を画像情報送信装置２００に送信すれば、この命令を受信した画像情報送信装置２００は、２Ｍｂｐｓの目標送信レートを３Ｍｂｐｓに上げる。
他の例として、目標送信レートの値を示すデータを送信することが挙げられる。例えば、目標送信レートを４Ｍｂｐｓに上げる場合、画像情報受信装置１００から画像情報送信装置２００に、３Ｍｂｐｓの値を示すデータを送信する。
この他、フレーム数（ｆｐｓ（frames per second）や、解像度を送信するようにしてもよい。これらの値を受信した画像情報送信装置２００は、これらの値に対応する目標送信レートを設定する。
所定値は、例えば分散値を０．０１の固定値に設定する。あるいは、画像情報送信装置２００が搭載される車の車速が早いほど通信環境の変動が大きくなるので、例えば車速に応じて設定する分散値を大きくするようにしてもよい。この場合、画像情報送信装置２００は、画像情報とともに車速を画像情報受信装置１００に送信する。その他、道路情報を用いて、都心部と郊外とで分散値を切り替えるようにしてもよい。
目標送信レートの上限値は、送信する画像情報の種類によって切り替えてもよい。例えば、ｆｕｌｌ－ＨＤ映像を送信している場合には、８Ｍｂｐｓを上限値とし、４Ｋ映像を送信している場合には、４０Ｍｂｐｓを上限値とする。
ここで、「所定値」とは、一定値の他、条件により変動する変動値も含む。また数値だけでなく、量子化することにより複数の集合で表される場合も含む。
「よりも」とは、所定値を含まない場合の他、所定値を含む場合も含む。
「送信レート」とは、単位時間当たりの送信情報量をいう。
「送信レートを上げる」とは、単位時間当たりの送信情報量を直接上げる場合の他、圧縮率を高めたり、多値変調を用いたりすることにより、間接的に送信情報量を上げる場合も含む。
送信部１０５は、送信レート変更処理部１０４で生成した命令や、目標送信レートの値を示すデータを、画像情報送信装置２００へ送信する。
画像情報受信装置１００は、想定される形態としては、サーバ、ワークステーション、ＰＣ（パーソナルコンピュータ）が挙げられる。この場合、画像情報受信装置１００は、図４で示した構成に加えて表示装置を含めてもよい。また、物理的に複数台のサーバ等で実現されてもよい。その場合は、複数台のサーバをまとめて画像情報受信装置１００となる。
画像情報受信装置１００は、想定される別の形態として、完成品としてのスマートフォンや携帯電話、半完成品としての電子制御装置（ＥＣＵ（Electric Control Unit））、部品としての半導体回路素子であってもよい。この場合、画像情報受信装置１００は、画像情報送信装置２００が搭載されている車両（「第１の移動体」に相当）とは異なる車両（「第２の移動体」に相当）に搭載されてもよい。つまり、本通信システム２は、車車間通信に用いることもできる。
特に画像情報通信装置１００が半導体回路素子で実現される場合、図４において破線で示す通り、パケット解析部１０３、及び送信レート変更処理部１０４があれば足りる。この場合、パケット解析部１０３の入力部分が受信部を構成する。また、送信レート変更処理部１０４の出力部分が送信部を構成する。
（２）画像情報送信装置２００の構成
図５に示す通り、画像情報送信装置２００は、符号化部２０１、受信部２０２、目標送信レート保存部２０３、及び送信部２０４、を有する。また、受信部２０２及び送信部２０４は、通信ネットワーク２が無線通信方式の場合アンテナＡに接続され、アンテナＡを介して画像情報や命令、データ等を送受信する。
符号化部２０１は、ビデオカメラ等（「撮像装置」に相当）で撮像した画像を符号化して画像情報を生成する。符号化は、通常ＭＰＥＧ（Moving Picture Experts Group）と呼ばれる、Ｈ２６４やＨ２６５等の、フレーム間予測を含む圧縮・符号化技術を用いることが望ましい。もっとも、画像情報通信装置１００において受信間隔にばらつきが生じるような圧縮方式であれば足り、必ずしもフレーム間予測を含む必要はない。例えばＭｏｔｉｏｎ－ＪＰＥＧ（Joint Photographic Experts Group）であってもよい。
受信部２０２は、画像情報受信装置１００の送信部１０５から送信された目標送信レートを上げる命令や目標送信レートの値を示すデータを、アンテナＡを介して受信する。
目標送信レート保存部２０３は、受信部２０２で受信したデータに示された目標送信レートの値を保存する。なお、受信部２０２で目標送信レートを上げる命令を受信した場合は、命令に従って画像情報送信装置２００側で具体的な目標送信レートを生成して保存すればよい。
送信部２０４は、目標送信レート保存部２０３から目標送信レートを読出し、目標送信レートでもって符号化部２０１から出力された画像情報を、アンテナＡを介して画像情報受信装置１００へ送信する。
なお、送信部２０４の前段にバッファ部を設け、符号化部２０１で生成した画像情報を一時的に保存してもよい。この場合、送信部２０４は、バッファ部に保存された画像情報を読出して画像情報受信装置１００へ送信する。
（３）画像情報受信装置１００及び画像情報送信装置２００の動作
図６のフローチャートを用いて、画像情報受信装置１００の動作について説明する。
ステップＳ１０１において、受信部２０１は、画像情報送信装置２００から通信ネットワーク２を通じて画像情報を受信する。
ステップＳ１０２において、パケット解析部１０３は、受信部１０１で受信した画像情報に含まれるパケットの受信間隔を検出し、受信実ばらつきを求める。
ステップＳ１０３において、送信レート変更処理部１０４は、パケット解析部１０３で求めた受信実ばらつきと所定値とを比較する。受信実ばらつきが所定値よりも大きければ、ステップＳ１０４を実行する。受信実ばらつきが所定値以下であれば、処理を終了する。
ステップＳ１０４において、送信部１０５は、送信レート変更処理部１０４で生成した目標送信レートの値を示すデータ又は目標送信レートを上げる命令を、画像情報送信装置２００へ送信し、処理を終了する。
図７のフローチャートを用いて、画像情報送信装置２００の動作について説明する。
ステップＳ２０１において、符号化部２０１は、ビデオカメラ等で撮像した画像を符号化して画像情報を生成する。
ステップＳ２０２において、受信部２０２は、画像情報受信装置１００の送信部１０５から送信された目標送信レートの値を示すデータや目標送信レートを上げる命令を、アンテナＡを介して受信する。
ステップＳ２０３において、目標送信レート保存部２０３は、受信部２０２で受信したデータに示された目標送信レートの値を保存する。目標送信レートを上げる命令を受信した場合は、目標送信レートを更新して保存する。
ステップＳ２０４において、送信部２０４は、目標送信レート保存部２０３から目標送信レートを読出し、目標送信レートで符号化部２０１から出力された画像情報を、アンテナＡを介して送信する。
以上の動作は、画像情報受信装置１００における画像情報受信方法を示すだけでなく、画像情報受信装置１００で実行される画像情報受信プログラムの処理手順を示すものでもある。また、画像情報送信装置２００における画像情報送信方法を示すだけでなく、画像情報送信装置２００で実行される画像情報送信プログラムの処理手順を示すものでもある。
そして、これらの処理は、図６、図７で示した順序には限定されない。すなわち、あるステップでその前段のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えても良い。
以上の点は、第２の実施形態以下のフローチャートについても同様である。
（４）効果
以上、第１の実施形態によれば、受信実ばらつきから通信帯域を推定することにより、通信帯域を有効に活用できる目標送信レートを設定することができる。
４．第２の実施形態
第１の実施形態では、受信実ばらつきを用いて通信ネットワークの通信帯域を推定した。しかし、受信間隔がばらつくことは、通信ネットワークが不安定であることに起因する可能性もある。
そこで、本実施形態では、第１の実施形態に、通信ネットワークが不安定であることに起因する場合を排除する構成を追加している。
（１）画像情報受信装置１２０の構成
本実施形態の画像情報受信装置１２０の構成は、図４に示す第１の実施形態の画像情報受信装置１００の構成と同じであるので、図４を引用して説明する。
本実施形態の画像受信装置１２０は、送信レート変更処理部１０４の処理内容が異なる他は、第１の実施形態と同じである。第１の実施形態と同様の構成については、第１の実施形態の説明を引用し、説明は省略する。
送信レート変更処理部１０４は、第１の実施形態で説明した処理の前に、パケット解析部１０３で求めた受信実ばらつきが、フレーム間予測で求められたＩフレームとＰフレーム又はＢフレームとのデータ量の違いに起因するか否かの判断を行う。そして、データの量の違いに起因すると判断した場合は、実施形態１で説明した送信レート変更処理部１０４の処理を続けて行うことにより、目標送信レートを上げる処理を行うかどうかを判断する。これに対し、データ量の違いに起因しないと判断した場合は、受信間隔がばらつく原因は通信ネットワークの不安定に起因するとして、目標送信レートを上げる処理を行わない。
送信レート変更処理部１０４の具体的な判断方法の一の例を挙げる。
画像情報が標準目標送信レートにより送信される場合において、標準画像を符号化することにより求めたＩフレームとＰフレーム又はＢフレームとのデータ量の違いから求めた標準ばらつきを予め求めておく。標準ばらつきは、画像情報が標準目標送信レートで送信された場合の、パケットの送信間隔のばらつきをいう。そして、標準ばらつきと、実際にパケット解析部１０３で求めた受信実ばらつきを比較し、標準ばらつきの波形や分散と近似するか否かにより、受信実ばらつきがＩフレームとＰフレーム又はＢフレームとのデータ量の違いに起因するか否かを判断する。
ここで、標準目標送信レートは、デフォルトで設定される目標送信レートを用いてもよい。また、いくつかの目標送信レートを用いてそれぞれ標準ばらつきを求めておき、実際に画像情報送信装置に設定されている目標送信レートに対応する標準ばらつきを用いるようにしてもよい。
標準画像は、例えば、市街地を走行しながら前方を撮影した動画をサンプルとして用いることができる。この他、郊外、高速道路などの周辺環境が異なるいくつかの場所で撮影した動画を用いてそれぞれ標準ばらつきを準備しておき、地図情報及び位置情報に照らして現在走行している場所の周辺環境を推定し、推定した周辺環境で撮影された動画に基づく標準ばらつきを用いるようにしてもよい。あるいは、朝、昼、夕方、夜などの時間を変えて撮影した動画を用いてそれぞれ標準ばらつきを準備しておき、現在時間に最も近い時間に撮影された動画に基づく標準ばらつきを用いるようにしてもよい。あるいは、晴天時、曇天時、雨天時など異なる天候時に撮影した動画を用いてそれぞれ標準ばらつきを準備しておき、現在の天候に最も近い天候で撮影された動画に基づく標準ばらつきを用いるようにしてもよい。現在の天候は、雨滴センサや日照計を用いることにより推定できる。なお、これらのうち複数を組み合わせた標準画像を用いてもよい。
送信レート変更処理部１０４の具体的な判断方法の他の例を挙げる。
後述する画像情報送信装置２２０で生成した画像情報のＩフレームとＰフレーム又はＢフレームとのデータ量の違いに基づき、当該画像情報送信装置２２０で送信実ばらつきを求める。送信実ばらつきは、画像情報送信装置２２０から送信される画像情報を目標送信レートで送信された場合の、パケットの送信間隔のばらつきをいう。そして、画像情報送信装置２２０から送信実ばらつきを送信し、画像情報受信装置１００の受信部１０１で受信する。そして、送信レート変更処理部１０４は、受信した送信実ばらつきと、実際にパケット解析部１０３で求めた受信実ばらつきを比較し、送信実ばらつきの波形や分散と近似するか否かにより、受信実ばらつきがＩフレームとＰフレーム又はＢフレームとのデータ量の違いに起因するか否かを判断する。
（２）画像情報送信装置２２０の構成
図８に示す通り、画像情報送信装置２２０は、第１の実施形態の画像情報送信装置２００の構成に加えて、パケット解析部２２１を有する。画像情報送信装置２２０は、送信レート変更処理部１０４の具体的な判断方法の他の例で挙げた動作を行う画像情報受信装置１２０に対応する装置である。それ以外の画像情報受信装置１２０に対応する装置は、第１の実施形態の画像情報送信装置２００と同じであるので説明を省略する。
パケット解析部２２１は、目標送信レート保存部２０３に保存されている目標送信レートに基づいて、符号化部２０１で生成した画像情報に含まれるＩフレームとＰフレーム又はＢフレームとのデータ量の違いから送信実ばらつきを求める。送信実ばらつきも、分散を求めることで数値化できる。分散は、標本分散が望ましいが、これに限らない。この他、送信実ばらつきとして、一定時間毎のパケットの送信間隔の最大値と最小値を用いてもよい。パケット解析部２２１で求めた送信実ばらつきは、送信部２０４から画像情報受信装置１００に送信される。
（３）画像情報受信装置１２０及び画像情報送信装置２２０の動作
図９のフローチャートを用いて、画像情報受信装置１２０の動作について説明する。図９のフローチャートは、第１の実施形態の画像情報受信装置１００の動作を示した図６のフローチャートに、ステップＳ１２２を追加している。また、ステップＳ１０１に代えてステップＳ１２１を有している。図６と共通するステップは図６の説明を引用し、説明を省略する。
ステップＳ１２１において、受信部１０１は、画像情報送信装置２２０から通信ネットワーク２を通じて画像情報を受信する。さらに、受信部１０１は、画像情報送信装置２２０で生成した画像情報のＩフレームとＰフレーム又はＢフレームとのデータ量の違いから求めた送信実ばらつきを受信する。
ステップＳ１２２において、送信レート変更処理部１０４は、受信部１０１で受信した送信実ばらつきと、実際にパケット解析部１０３で求めた受信実ばらつきを比較し、送信実ばらつきの波形や分散と近似するか否かにより、受信実ばらつきがＩフレームとＰフレーム又はＢフレームとのデータ量の違いに起因するか否かを判断する。受信実ばらつきがデータ量の違いに起因すると判断した場合は、ステップＳ１０３に処理を移す。受信実ばらつきがデータ量の違いに起因しないと判断した場合は、処理を終了する。
なお、これらの処理は、図９で示した順序には限定されない。すなわち、あるステップでその前段のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えても良い。例えば、ステップＳ１２２とステップＳ１０３は、順序を入れ替えてもよい。
図１０のフローチャートを用いて、画像情報送信装置２２０の動作について説明する。図１０のフローチャートは、第１の実施形態の画像情報送信装置２００の動作を示した図７のフローチャートに、ステップＳ２２１を追加している。また、ステップＳ２０４に代えてステップＳ２２２を有している。図７と共通するステップは図７の説明を引用し、説明を省略する。
ステップＳ２２１において、パケット解析部２２１は、目標送信レート保存部２０３に保存されている目標送信レートに基づいて、符号化部２０１で生成した画像情報に含まれるＩフレームとＰフレーム又はＢフレームとのデータ量の違いから送信実ばらつきを求める。
ステップＳ２２２において、送信部２０４は、目標送信レート保存部２０３から目標送信レートを読出し、符号化部２０１から出力された画像情報及び送信実ばらつきを、アンテナＡを介して目標送信レートで送信する。
（４）効果
以上、第２の実施形態によれば、受信実ばらつきの原因を特定することにより、通信ネットワークの不安定を原因とする受信実ばらつきを判断対象から外すことができるので、より精度の高い通信帯域の推定を行うことができる。
５．第３の実施形態
第１の実施形態では、受信実ばらつきを用いて通信ネットワークの通信帯域を推定し、画像情報送信装置２００の目標送信レートを上げる処理を行なった。本実施形態では、これに加えて、画像情報送信装置２００の目標送信レートを下げる処理を行う場合の構成を追加している。
（１）画像情報受信装置１４０の構成
本実施形態の画像情報受信装置１４０の構成は、図４に示す第１の実施形態の画像情報受信装置１００の構成と同じであるので、図４を引用して説明する。
本実施形態の画像情報受信装置１４０は、送信レート変更処理部１０４の処理内容が異なる他は、第１の実施形態と同じである。第１の実施形態と同様の構成については、第１の実施形態の説明を引用し、説明は省略する。
本発明のメカニズムの項で説明した通り、パケットの受信間隔に受信実ばらつきがなく、パケットの受信間隔が広がっている場合には、通信帯域に余裕がないと言える。そこで、目標送信レートを基準に、パケットの受信間隔を評価することにより、目標送信レートを下げる処理を行う。
送信レート変更処理部１０４は、過去に生成した、目標送信レートを上げる命令又は目標送信レートの値を示すデータを参照して、パケット解析部１０３で検出したパケットの受信間隔と目標送信レートから求まるパケットの受信間隔とを比較する。パケット解析部１０３で検出したパケットの受信間隔が目標送信レートから求まるパケットの受信間隔よりも大きい場合、目標「送信レートを下げる」処理を行う。目標送信レートを下げる処理は、第１の実施形態で説明した目標送信レートを上げる処理の例と同じ方法を用いることができる。
ここで、「送信レートを下げる」とは、単位時間当たりの送信情報量を直接下げる場合の他、圧縮率を低めたり、多値変調を用いたりすることにより、間接的に送信情報量を下げる場合も含む。
例えば、目標送信レートが１Ｍｂｐｓ、パケットサイズが１０００Ｂｙｔｅｓ（８０００ｂｉｔｓ）の場合、目標送信レートから求まるパケットの受信間隔は８０００ｂｉｔｓ／１Ｍｂｐｓ＝８ｍｓとなる。これに対して、パケット検出部１０３で検出したパケットの受信間隔が１０ｍｓである場合、パケット解析部１０３で検出したパケットの受信間隔が目標送信レートから求まるパケットの受信間隔よりも大きいと評価して、目標送信レートを下げる命令、又は具体的な目標送信レートの値を示すデータを画像情報送信装置２００に送信する。
画像情報受信装置１４０に対応する装置は、第１の実施形態の画像情報送信装置２００と同じであるので説明を省略する。
（２）画像情報受信装置１４０の動作
図１１のフローチャートを用いて、画像情報受信装置１４０の動作について説明する。図１１のフローチャートは、第１の実施形態の画像情報受信装置１００の動作を示した図６のフローチャートに、ステップＳ１４１及びステップＳ１４２を追加している。図６と共通するステップは図６の説明を引用し、説明を省略する。
ステップＳ１４１において、送信レート変更処理部１０４は、過去に生成した、目標送信レートを上げる命令又は目標送信レートの値を示すデータを参照して、パケット解析部１０３で検出したパケットの受信間隔と目標送信レートから求まるパケットの受信間隔とを比較する。
パケット解析部１０３で検出したパケットの受信間隔が目標送信レートから求まるパケットの受信間隔よりも大きい場合、ステップＳ１４２において、目標送信レートを下げる処理を行う。パケット解析部１０３で検出したパケットの受信間隔が目標送信レートから求まるパケットの受信間隔以下の場合、処理をステップＳ１０３に移す。
（３）効果
以上、第３の実施形態によれば、目標送信レートを上げる処理に加えて、目標送信レートを下げる処理を行うことができ、通信帯域を有効に活用できる目標送信レートを設定することができる。
６．第４の実施形態
第３の実施形態では、目標送信レートから求まるパケットの受信間隔を基準に、パケット解析部１０３で検出した実際のパケットの受信間隔を評価した。しかし、画像情報送信装置２００側の状態、例えば画像情報送信装置２００が車両に搭載されており右折時や高速道路走行時のように撮像装置で撮像される画像の動きが速い場合、目標送信レートと実送信レートに差が生じることがある。本実施形態はこのような場合においても、目標送信レートを下げる処理を適切に行う構成を追加している。
（１）画像情報受信装置１６０の構成
本実施形態の画像情報受信装置１６０の構成は、図４に示す第１の実施形態の画像情報受信装置１００の構成と同じであるので、図４を引用して説明する。
本実施形態の画像受信装置１６０は、送信レート変更処理部１０４の処理内容が異なる他は、第１の実施形態と同じである。第１の実施形態と同様の構成については、第１の実施形態の説明を引用し、説明は省略する。
受信部１０１は、画像情報を実際に送信した送信レートであって後述する画像情報送信装置２６０で生成した実送信レートを、画像情報送信装置２６０から受信する。
送信レート変更処理部１０４は、受信した実送信レートから求まるパケットの受信間隔と、実際にパケット解析部１０３で検出したパケットの受信間隔とを比較する。実送信レートから求まるパケットの受信間隔を計算する方法は、第３の実施形態で説明した、目標送信レートから求まるパケットの受信間隔を計算する方法と同様である。パケット解析部１０３で検出したパケットの受信間隔が実送信レートから求まるパケットの受信間隔よりも大きい場合、目標送信レートを下げる処理を行う。
（２）画像情報送信装置２６０の構成
図１２に示す通り、画像情報送信装置２６０は、第１の実施形態の画像情報送信装置２００の構成に加えて、実送信レート検出部２６１、及び差分検出部２６２を有する。第１の実施形態と同様の構成については、第１の実施形態の説明を引用し、説明は省略する。
実送信レート検出部２６１は、符号化部２０１で生成された画像情報が送信部２０４で送信される送信レートである実送信レートを検出する。実送信レートは、画像情報を実際に送信する速度である。
差分検出部２６２は、目標送信レート保存部２０３から読出した目標送信レートと、実送信レート検出部２６１で検出された実送信レートとの「差分」を検出する。
ここで、「差分」とは、減算が含まれていれば足り、単純差（ｘ－ｙ）のみならず、絶対値差｜ｘ－ｙ｜、二乗差(ｘ２－ｙ２)、差の平方根(（ｘ－ｙ）１／２）、重みづけ差（ａｘ－ｂｙ：ａ、ｂは定数）なども含む。
送信部２０４は、差分が「所定値」「よりも」大きい場合、実送信レートを画像情報受信装置１６０へ送信する。
ここで、「所定値」とは、一定値の他、条件により変動する変動値も含む。また数値だけでなく、量子化することにより複数の集合で表される場合も含む。
「よりも」とは、所定値を含まない場合の他、所定値を含む場合も含む。
所定値は、例えば０．２Ｍｂｐｓに設定する。例えば、目標送信レートが２Ｍｂｐｓ、実送信レートが２．２５Ｍｂｐｓである場合、差分は０．２５Ｍｂｐｓとなり所定値である０．２Ｍｂｐｓよりも大きいので、送信部２０４は実送信レートである２．２５Ｍｂｐｓの値を画像情報受信装置１６０に送信する。
別の例として、所定値をゼロに設定してもよい。この場合、送信部２０４は常に実送信レートを画像情報受信装置１６０に送信することになる。
（３）画像情報受信装置１６０及び画像情報送信装置２６０の動作
図１３のフローチャートを用いて、画像情報受信装置１６０の動作について説明する。図１３のフローチャートは、第３の実施形態の画像情報受信装置１４０の動作を示した図１１のフローチャートにおいて、ステップＳ１０１に代えてステップＳ１６１を、ステップＳ１４１に代えてステップＳ１６２を有している。図１１と共通するステップは図１１の説明、あるいは図１１で引用する図６の説明を引用し、説明を省略する。
ステップＳ１６１において、受信部１０１は画像情報を実際に送信した速度である実送信レートを、画像情報送信装置２６０から受信する。
ステップＳ１６２において、送信レート変更処理部１０４は、受信した実送信レートから求まるパケットの受信間隔と、実際にパケット解析部１０３で検出したパケットの受信間隔とを比較する。
パケット解析部１０３で検出したパケットの受信間隔が実送信レートから求まるパケットの受信間隔よりも大きい場合、ステップＳ１４２において、目標送信レートを下げる処理を行う。パケット解析部１０３で検出したパケットの受信間隔が実送信レートから求まるパケットの受信間隔以下の場合、処理をステップＳ１０３に移す。
図１４のフローチャートを用いて、画像情報送信装置２６０の動作について説明する。図１４のフローチャートは、第１の実施形態の画像情報送信装置２００の動作を示した図７のフローチャートに、ステップＳ２６１～ステップＳ２６４を追加している。また、ステップＳ２０４に代えてステップＳ２６５を有している。図７と共通するステップは図７の説明を引用し、説明を省略する。
ステップＳ２６１において、実送信レート検出部２６１は、符号化部２０１で生成された画像情報が送信部２０４で送信される送信レートである実送信レートを検出する。
ステップＳ２６２において、差分検出部２６２は、目標送信レート保存部２０３から読出した目標送信レートと、実送信レート検出部２６１で検出された実送信レートとの差分を検出する。
ステップＳ２６３において、差分検出部２６２で検出された差分が所定値よりも大きい場合、ステップＳ２６４に処理を移す。差分検出部２６２で検出された差分が所定値以下の場合、ステップＳ２６５に処理を移す。
ステップＳ２６４において、送信部２０４は、実送信レートを画像情報受信装置１６０へ送信する。
ステップＳ２６５において、送信部２０５は、画像情報を画像情報受信装置１６０に送信する。なお、ステップＳ２６４を経由する場合は、ステップＳ２６４と同時に本ステップを実行してもよい。
（３）効果
以上、第４の実施形態によれば、実送信レートに基づき通信帯域の推定を行うことができるので、より精度の高い通信帯域の推定を行うことができる。
７．その他の実施形態
第２の実施形態、及び第３の実施形態の両方の構成を有するような実施形態としてもよい。
第２の実施形態、及び第４の実施形態の両方の構成を有するような実施形態としてもよい。
第２の実施形態、第３の実施形態、及び第４の実施形態の全ての構成を有するような実施形態としてもよい。
その他、機能作用上、併存ができない関係でなければ、任意の実施形態を組み合わせてもよい。
（総括）
以上、本発明の各実施形態における装置等の特徴について説明した。
各実施形態で使用した用語は例示であるので、同義の用語、あるいは同義の機能を含む用語に置き換えてもよい。
実施形態の説明に用いたブロック図は、装置の構成を機能毎に分類及び整理したものである。それぞれの機能を示すブロックは、ハードウェア又はソフトウェアの任意の組み合わせで実現される。また、機能を示したものであることから、かかるブロック図は方法、及び当該方法を実現するプログラムの発明の開示としても把握できるものである。
各実施形態に記載した処理、フロー、及び方法として把握できる機能ブロック、については、一のステップでその前段の他のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えても良い。
各実施形態、及び特許請求の範囲で使用する、第１、第２、乃至、第Ｎ（Ｎは整数）、の用語は、同種の２以上の構成や方法を区別するために使用しており、順序や優劣を限定するものではない。
各実施形態は、車両に搭載される装置を前提としているが、本発明は、特許請求の範囲で特に限定する場合を除き、車両用以外の専用又は汎用の装置も含むものである。
各実施形態は、車両に搭載される装置を前提としているが、歩行者が所持する装置としてもよい。
また、本発明の装置の形態の例として、以下のものが挙げられる。
部品の形態として、半導体素子、電子回路、モジュール、マイクロコンピュータが挙げられる。
半完成品の形態として、電子制御装置（ＥＣＵ（Electric Control Unit））、システムボードが挙げられる。
完成品の形態として、携帯電話、スマートフォン、タブレット、パーソナルコンピュータ（ＰＣ）、ワークステーション、サーバが挙げられる。
その他、通信機能を有するデバイス等を含み、例えばビデオカメラ、スチルカメラ、カーナビゲーションシステムが挙げられる。
本発明の装置は、サーバ装置の形態で、各種サービスの提供を目的とするために用いられることが想定される。かかるサービスの提供に伴い、本発明の装置が使用され、本発明の方法が使用され、又は／及び本発明のプログラムが実行されることになる。
加えて、本発明は、各実施形態で説明した構成及び機能を有する専用のハードウェアで実現できるだけでなく、メモリやハードディスク等の記録媒体に記録した本発明を実現するためのプログラム、及びこれを実行可能な専用又は汎用ＣＰＵ及びメモリ等を有する汎用のハードウェアとの組み合わせとしても実現できる。
専用や汎用のハードウェアの非遷移的実体的記録媒体（例えば、外部記憶装置（ハードディスク、ＵＳＢメモリ、ＣＤ／ＢＤ等）、又は内部記憶装置（ＲＡＭ、ＲＯＭ等））に格納されるプログラムは、記録媒体を介して、あるいは記録媒体を介さずにサーバから通信回線を経由して、専用又は汎用のハードウェアに提供することもできる。これにより、プログラムのアップグレードを通じて常に最新の機能を提供することができる。
本発明の装置は、主として自動車に搭載される車両用電子制御装置として説明したが、自動二輪車、電動機付自転車、鉄道はもちろん、歩行者、船舶、航空機等、移動する移動体全般に適用することが可能である。
１００ 画像情報受信装置、１０１ 受信部、１０３ パケット解析部、１０４ 送信レート変更処理部、１０５ 送信部

Claims (20)

  1. 画像情報送信装置（２００）から通信ネットワークを通じて画像情報を受信する受信部（１０１）と、
    前記画像情報に含まれるパケットの受信間隔のばらつきである受信実ばらつきを求めるパケット解析部（１０３）と、
    前記受信実ばらつきが所定値よりも大きい場合、前記画像情報送信装置の目標送信レートを上げる処理を行う送信レート変更処理部（１０４、１０５）と、を有する、
    画像情報受信装置（１００）。
  2. 前記画像情報は、フレーム間予測を用いて画像が符号化されている、
    請求項１記載の画像情報受信装置。
  3. 前記送信レート変更処理部は、さらに、前記受信実ばらつきが前記フレーム間予測で求められたＩフレームとＰフレーム又はＢフレームとのデータ量の違いに起因すると判断した場合に、前記目標送信レートを上げる処理を行う、
    請求項２記載の画像情報受信装置（１２０）。
  4. 前記送信レート変更処理部は、標準画像を符号化することにより求めた前記Ｉフレームと前記Ｐフレーム又は前記Ｂフレームとのデータ量の違いから求めた標準ばらつきと、前記受信実ばらつきとを比較することにより判断する、
    請求項３記載の画像情報受信装置。
  5. 前記受信部は、さらに、前記画像情報送信装置で生成した前記画像情報の前記Ｉフレームと前記Ｐフレーム又は前記Ｂフレームとのデータ量の違いから求めた送信実ばらつきを受信し、
    前記送信レート変更処理部は、前記送信実ばらつきと、前記受信実ばらつきとを比較することにより判断する、
    請求項３記載の画像情報受信装置。
  6. 前記画像情報は、Ｍｏｔｉｏｎ ＪＰＥＧ(Joint Photographic Experts Group)を用いて画像が符号化されている、
    請求項１記載の画像情報受信装置。
  7. 前記送信レート変更処理部は、前記パケットの受信間隔が前記目標送信レートから求まる受信間隔よりも大きい場合、前記目標送信レートを下げる処理を行う、
    請求項１記載の画像情報受信装置（１４０）。
  8. 前記受信部は、前記画像情報送信装置から前記画像情報を実際に送信した速度である実送信レートを受信し、
    前記送信レート変更処理部は、前記パケットの受信間隔が前記実送信レートから求まる受信間隔よりも大きい場合、前記目標送信レートを下げる処理を行う、
    請求項１記載の画像情報受信装置（１６０）。
  9. 前記画像情報送信装置は、移動体に搭載されている、
    請求項１～８のいずれかに記載の画像情報受信装置。
  10. 当該画像情報受信装置は、前記移動体である第１の移動体とは異なる第２の移動体に搭載されている、
    請求項９記載の画像情報受信装置。
  11. 撮像装置で撮像した画像を符号化して画像情報を生成する符号化部（２０１）と、
    前記画像情報のＩフレームとＰフレーム又はＢフレームとのデータ量の違いから送信実ばらつきを求めるパケット解析部（２２１）と、
    前記画像情報及び前記送信実ばらつきを画像情報受信装置へ送信する送信部（２０４）と、を有する、
    画像情報送信装置（２２０）。
  12. 撮像装置で撮像した画像を符号化して画像情報を生成する符号化部（２０１）と、
    前記画像情報を実際に送信する速度である実送信レートを検出する実送信レート検出部（２６１）と、
    前記画像情報を送信する速度の目標値である目標送信レートと、前記実送信レートとの差分を検出する差分検出部（２６２）と、
    前記画像情報を画像情報受信装置へ送信する送信部（２０４）と、を有し、
    前記送信部は、前記差分が所定値よりも大きい場合、前記実送信レートを前記画像情報受信装置へ送信する、
    画像情報送信装置（２６０）。
  13. さらに、生成した前記画像情報を保存するバッファ部を有し
    前記送信部は、前記バッファ部に保存された前記画像情報を前記画像情報受信装置へ送信する、
    請求項１２記載の画像情報送信装置。
  14. 当該画像情報送信装置は、移動体に搭載されている、
    請求項１１～１３のいずれかに記載の画像情報送信装置。
  15. 画像情報送信装置から通信ネットワークを通じて画像情報を受信し（Ｓ１０１）、
    前記画像情報に含まれるパケットの受信間隔のばらつきである受信実ばらつきを求め（Ｓ１０２）、
    前記受信実ばらつきが所定値よりも大きい場合、前記画像情報送信装置の目標送信レートを上げる処理を行う（Ｓ１０３、Ｓ１０４）、
    画像情報受信方法。
  16. 画像情報送信装置から通信ネットワークを通じて画像情報を受信し（Ｓ１０１）、
    前記画像情報に含まれるパケットの受信間隔のばらつきである受信実ばらつきを求め（Ｓ１０２）、
    前記受信実ばらつきが所定値よりも大きい場合、前記画像情報送信装置の目標送信レートを上げる処理を行う（Ｓ１０３、Ｓ１０４）、
    コンピュータで実行される画像情報受信用プログラム。
  17. 撮像装置で撮像した画像を符号化して画像情報を生成し（Ｓ２０１）、
    前記画像情報のＩフレームとＰフレーム又はＢフレームとのデータ量の違いから送信実ばらつきを求め（Ｓ２２１）、
    前記画像情報及び前記送信実ばらつきを画像情報受信装置へ送信する（Ｓ２２２）、
    画像情報送信方法。
  18. 撮像装置で撮像した画像を符号化して画像情報を生成し（Ｓ２０１）、
    前記画像情報のＩフレームとＰフレーム又はＢフレームとのデータ量の違いから送信実ばらつきを求め（Ｓ２２１）、
    前記画像情報及び前記送信実ばらつきを画像情報受信装置へ送信する（Ｓ２２２）、
    コンピュータで実行される画像情報送信用プログラム。
  19. 撮像装置で撮像した画像を符号化して画像情報を生成し（Ｓ２０１）、
    前記画像情報を実際に送信する速度である実送信レートを検出し（Ｓ２６１）
    前記画像情報を送信する速度の目標値である目標送信レートと、前記実送信レートとの差分を検出し（Ｓ２６２）、
    前記画像情報を画像情報受信装置へ送信するとともに、前記差分が所定値よりも大きい場合、前記実送信レートを前記画像情報受信装置へ送信する（Ｓ２６３、Ｓ２６４、Ｓ２６５）、
    画像情報送信方法。
  20. 撮像装置で撮像した画像を符号化して画像情報を生成し（Ｓ２０１）、
    前記画像情報を実際に送信する速度である実送信レートを検出し（Ｓ２６１）、
    前記画像情報を送信する速度の目標値である目標送信レートと、前記実送信レートとの差分を検出し（Ｓ２６２）、
    前記画像情報を画像情報受信装置へ送信するとともに、前記差分が所定値よりも大きい場合、前記実送信レートを前記画像情報受信装置へ送信する（Ｓ２６３、Ｓ２６４、Ｓ２６５）、
    コンピュータで実行される画像情報送信用プログラム。




JP2019224817A 2019-12-12 2019-12-12 画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法 Active JP7215406B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019224817A JP7215406B2 (ja) 2019-12-12 2019-12-12 画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法
PCT/JP2020/036204 WO2021117315A1 (ja) 2019-12-12 2020-09-25 画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法
US17/806,028 US20220303547A1 (en) 2019-12-12 2022-06-08 Image information reception apparatus, image information transmission apparatus, and program and method used therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019224817A JP7215406B2 (ja) 2019-12-12 2019-12-12 画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法

Publications (2)

Publication Number Publication Date
JP2021093691A JP2021093691A (ja) 2021-06-17
JP7215406B2 true JP7215406B2 (ja) 2023-01-31

Family

ID=76310853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019224817A Active JP7215406B2 (ja) 2019-12-12 2019-12-12 画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法

Country Status (3)

Country Link
US (1) US20220303547A1 (ja)
JP (1) JP7215406B2 (ja)
WO (1) WO2021117315A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006261755A (ja) 2005-03-15 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> 測定装置、測定方法および測定プログラム
JP2008258877A (ja) 2007-04-04 2008-10-23 Nec Corp 帯域測定システム、通信装置、帯域測定方法および帯域測定プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006261755A (ja) 2005-03-15 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> 測定装置、測定方法および測定プログラム
JP2008258877A (ja) 2007-04-04 2008-10-23 Nec Corp 帯域測定システム、通信装置、帯域測定方法および帯域測定プログラム

Also Published As

Publication number Publication date
US20220303547A1 (en) 2022-09-22
JP2021093691A (ja) 2021-06-17
WO2021117315A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
JP6119045B2 (ja) フレームのシーケンスをビデオ符号化するための方法及びエンコーダ
TWI586177B (zh) 基於場景之適應性位元率控制
US20120195356A1 (en) Resource usage control for real time video encoding
US20150139500A1 (en) Method and System for Optimizing Image Processing in Driver Assistance Systems
US11044477B2 (en) Motion adaptive encoding of video
CN105306883A (zh) 图像接收装置、图像传送系统和图像接收方法
US11102475B2 (en) Video encoding device, operating methods thereof, and vehicles equipped with a video encoding device
US20180184089A1 (en) Target bit allocation for video coding
JP2007124155A (ja) 車載動画像圧縮装置及びドライブレコーダ
US20220147567A1 (en) Method and system for characteristic-based video processing
WO2022057746A1 (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
JP7215406B2 (ja) 画像情報受信装置、画像情報送信装置、及びこれらに用いられるプログラム及び方法
CN117872871A (zh) 基于gb28181协议的无人设备智能控制方法和系统
US20220135067A1 (en) Vehicle, apparatus for a vehicle, computer program, and method for processing information for communication in a tele-operated driving session
JP6084682B2 (ja) 符号化方法および符号化装置
KR102641702B1 (ko) 자율 주행 시스템 및 자율 주행 시스템의 영상 처리 장치 및 방법
Sangeetha et al. Objective Parameter Analysis with H. 265 Using Lagrangian Encoding Algorithm Implementation
US20160234505A1 (en) Video system and method with minimized streaming latency
Huong et al. A Practical High Efficiency Video Coding Solution for Visual Sensor Network using Raspberry Pi Platform
CN117939134B (zh) 一种无线视频通信方法及系统
WO2024198897A1 (zh) 一种视频传输方法、装置、存储介质和系统
CN117596392B (zh) 编码块的编码信息确定方法及相关产品
US11997283B2 (en) Machine learning based content-aware image frame encoding
KR101364238B1 (ko) 채널상태에 적응적으로 동작하는 영상 송수신 시스템 및 그 방법
US20210099718A1 (en) Encoding device and encoding method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230102

R151 Written notification of patent or utility model registration

Ref document number: 7215406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151