JP6375901B2

JP6375901B2 - 画像送信装置、画像送信方法、画像送信プログラム

Info

Publication number: JP6375901B2
Application number: JP2014242867A
Authority: JP
Inventors: 智坂爪
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2014-12-01
Filing date: 2014-12-01
Publication date: 2018-08-22
Anticipated expiration: 2034-12-01
Also published as: JP2016105536A

Description

本発明は、動画像データを、無線通信回線を介して画像受信装置へと送信する画像送信装置、画像送信方法、画像送信プログラムに関する。

近年、無線通信回線の伝送帯域が広帯域化され、画像データのデータ容量を大幅に削減できる画像圧縮技術が開発されたことに伴い、動画像データを、無線通信回線を介して送受信することが頻繁に行われている。

特開２００８−１１０７７号公報

ところが、電波強度が弱い状態では、画像データを伝送する際の伝送レートが低くなる。すると、画像送信装置から画像受信装置へと符号化動画像データをリアルタイムに送信することができず、画像受信装置は動画像をリアルタイムに再生するのに必要な符号化動画像データを受信できないことがある。

画像送信装置が車両等の移動体に設けられている場合には、移動体が走行する場所によって電波強度が変動することがある。よって、符号化動画像データのリアルタイム送信が破綻しやすいという問題点がある。

本発明はこのような問題点に鑑み、符号化動画像データのリアルタイム送信の破綻の可能性を低減させることができる画像送信装置、画像送信方法、画像送信プログラムを提供することを目的とする。

本発明は、動画像データを符号化して符号化動画像データを生成する符号化部と、前記符号化動画像データを蓄積する送信バッファと、前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信する送信部と、走行経路が予め設定されている移動体が前記走行経路を移動するときの前記走行経路における前記無線通信回線の電波強度分布情報と、前記移動体が前記走行経路を移動するときの前記移動体の位置情報と速度情報と方向情報と、前記符号化部における符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記送信部から前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測し、前記移動体の現在位置を含む領域であって、第１の電波強度を有して前記破綻が発生しない第１の領域と、前記移動体の移動によって前記移動体が位置する領域であって、前記第１の電波強度よりも弱い第２の電波強度を有して前記破綻が発生する第２の領域との境界地点を検出し、前記移動体が前記境界地点に到達することによる前記破綻が発生するまでの時間を検出する破綻検出部と、前記破綻検出部によって前記破綻が発生すると予測されたとき、前記移動体が前記第２の領域へと移動して前記第２の電波強度となっても前記破綻が発生しないよう、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるよう前記符号化部を制御する符号化制御部とを備えることを特徴とする画像送信装置を提供する。

本発明は、動画像データを符号化して符号化動画像データを生成し、前記符号化動画像データを送信バッファに蓄積し、前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信し、走行経路が予め設定されている移動体が前記走行経路を移動するときの前記走行経路における前記無線通信回線の電波強度分布情報と、前記移動体が前記走行経路を移動するときの前記移動体の位置情報と速度情報と方向情報と、前記符号化動画像データを生成する際の符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測し、前記移動体の現在位置を含む領域であって、第１の電波強度を有して前記破綻が発生しない第１の領域と、前記移動体の移動によって前記移動体が位置する領域であって、前記第１の電波強度よりも弱い第２の電波強度を有して前記破綻が発生する第２の領域との境界地点を検出し、前記移動体が前記境界地点に到達することによる前記破綻が発生するまでの時間を検出し、前記破綻が発生すると予測されたとき、前記移動体が前記第２の領域へと移動して前記第２の電波強度となっても前記破綻が発生しないよう、前記符号化動画像データを生成する際のターゲットビットレートを前記時間内で下げることを特徴とする画像送信方法を提供する。

本発明は、動画像データを符号化して符号化動画像データを生成する符号化部と、前記符号化動画像データを蓄積する送信バッファと、前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信する送信部とを備える画像送信装置に搭載されているコンピュータに、走行経路が予め設定されている移動体が前記走行経路を移動するときの前記走行経路における前記無線通信回線の電波強度分布情報と、前記移動体が前記走行経路を移動するときの前記移動体の位置情報と速度情報と方向情報と、前記符号化動画像データを生成する際の符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測し、前記移動体の現在位置を含む領域であって、第１の電波強度を有して前記破綻が発生しない第１の領域と、前記移動体の移動によって前記移動体が位置する領域であって、前記第１の電波強度よりも弱い第２の電波強度を有して前記破綻が発生する第２の領域との境界地点を検出し、前記移動体が前記境界地点に到達することによる前記破綻が発生するまでの時間を検出するステップと、前記破綻が発生すると予測されたとき、前記移動体が前記第２の領域へと移動して前記第２の電波強度となっても前記破綻が発生しないよう、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるよう前記符号化部を制御するステップとを実行させることを特徴とする画像送信プログラムを提供する。

本発明の画像送信装置、画像送信方法、画像送信プログラムによれば、符号化動画像データのリアルタイム送信の破綻の可能性を低減させることができる。

第１実施形態の送受信システムを構成する画像送信装置を示すブロック図である。第１実施形態の送受信システムを構成する画像受信装置を示すブロック図である。画像送信装置がサーバより電波強度分布情報を取得する場合の構成例を示すブロック図である。電波強度分布情報の一例を概念的に示す図である。電波強度分布情報の他の例を概念的に示す図である。符号化動画像データのリアルタイム送信の破綻が発生する場合の例を示す図である。符号化部におけるターゲットビットレートの制御及び動画圧縮方式の切り替えの例を示す図である。図１に示す画像送信装置から図２に示す画像受信装置に送信されるビットストリームを概略的に示す図である。第２実施形態の送受信システムを構成する画像送信装置を示すブロック図である。第２実施形態の送受信システムを構成する画像受信装置及びデスパッチャを示すブロック図である。図９に示す画像送信装置から図１０に示す画像受信装置に送信される符号化情報を概略的に示す図である。図９に示す画像送信装置から図１０に示す画像受信装置に送信される位置・方向・速度情報を概略的に示す図である。図９に示す画像送信装置から図１０に示す画像受信装置に送信される送信バッファ情報を概略的に示す図である。

以下、一実施形態の画像送信装置、画像送信方法、画像送信プログラムについて、添付図面を参照して説明する。

＜第１実施形態＞
図１に示す画像送信装置１０１と図２に示す画像受信装置２０１は、第１実施形態の送受信システムを構成する。画像送信装置１０１は以下のように構成され、画像受信装置２０１に符号化動画像データ（以下、符号化データと略記することがある）を送信する。画像送信装置１０１は、移動体の一例として車両に搭載されているとする。

カメラ１は、被写体を撮影して動画像データを出力する。カメラ１がアナログの動画像信号を出力する場合には、図示していないＡ／Ｄ変換器によってデジタルの動画像データとすればよい。

カメラ１は動画像データ発生部の一例である。動画像データ発生部は、記録媒体に記録された動画像データを再生する再生装置であってもよい。

動画像データは、スイッチ２の端子Ｔａを介して符号化部３ａに入力される。後述するように、動画像データが、スイッチ２の端子Ｔｂを介して符号化部３ｂに入力されることがある。符号化部３ａ，３ｂは、互いに異なる動画圧縮方式で動画像データを符号化する。

符号化部３ａ，３ｂが採用する動画圧縮方式は、MPEG-4，H.264/MPEG-4 AVC/ MPEG-4 SVC，H.265/HEVC/SHVC等でよい。本実施形態においては、符号化部３ｂが採用する動画圧縮方式の圧縮率の方が、符号化部３ａが採用する動画圧縮方式の圧縮率よりも大きいとする。符号化部３ａ，３ｂは、動画圧縮方式として時間の異なる画像間の相関性を利用しないMotion JPEG，Motion JPEG2000等を採用してもよい。

ここで、符号化部３ａ，３ｂは、ターゲットビットレートが通常の伝送レートよりも下げられた場合に、ターゲットビットレート内に収まるように所定の符号化処理を行って、ベースレイヤとしての符号化動画像データを生成し、ベースレイヤの符号化品質と本来伝送すべき符号化品質との違いを埋め合わせるための、拡張レイヤとしての拡張符号化動画像データを生成する階層符号化を実現できる動画圧縮方式であるとよい。

これにより、ターゲットビットレートが下がった場合に送信されなくなってしまう符号量に相当する符号化動画像データを、拡張レイヤとしての拡張符号化動画像データとして生成しておくことができる。

画像送信装置１０１は、互いに異なる動画圧縮方式で動画像データを符号化する複数の符号化部を備えることが好ましいが、１つの動画圧縮方式で動画像データを符号化する複数の符号化部を備える構成や、１つの動画圧縮方式で動画像データを符号化する１つの符号化部を備える構成としてもよい。

符号化部３ａ（または３ｂ）より出力された符号化データは、送信バッファ４に入力されて一時的に蓄積される。送信バッファ４に蓄積された符号化データを含むビットストリームの送信信号は、送受信部６によって、無線通信回線を介して画像受信装置２０１に送信される。また、送信バッファ４に蓄積された符号化データは、記憶部５に入力されて記憶される。

符号化データの一部である拡張レイヤの拡張符号化データは、送信バッファ４を介して記憶部５に格納され、必要に応じて送信バッファ４に蓄積されるようにするとよい。また、拡張レイヤの拡張符号化データは、符号化部３ａ（または３ｂ）から記憶部５に直接供給されるような構成としてもよい。

画像送信装置１０１は、画像受信装置２０１との間で、半二重通信方式によって信号またはデータを送受信してもよいし、全二重通信方式によって信号またはデータを送受信してもよい。

後述するように、画像受信装置２０１が画像送信装置１０１へと所定の信号を送信することがある。半二重通信方式が採用されている場合には、画像送信装置１０１が画像受信装置２０１に符号化データを送信しないタイミングで、画像受信装置２０１が画像送信装置１０１に所定の信号を送信すればよい。

位置検出部７は、例えば全地球航法衛星システム（Global Navigation Satellite System: GNSS）用の衛星からの電波を受信して、車両（画像送信装置１０１）の位置情報を検出する。GNSSは、一例としてＧＰＳ（Global Positioning System）である。位置検出部７が検出した位置情報は、制御部１１内の破綻検出部１１１に入力される。

車両がナビゲーション装置を搭載し、ナビゲーション装置が車両の位置情報を検出する場合には、ナビゲーション装置が検出した位置情報を破綻検出部１１１に供給するように構成してもよい。位置検出部７は、制御部１１内に設けられていてもよい。

速度取得部８は、所定の方法によって車両の走行速度情報を取得する。速度取得部８は、車両が発生する車速パルスに基づいて走行速度情報を取得してもよい。速度取得部８は、単位時間当たりの位置検出部７が検出する位置情報の変化量に基づいて走行速度情報を取得してもよい。速度取得部８が取得した走行速度情報は、破綻検出部１１１に入力される。

ジャイロセンサ９は、車両が走行するときの方向情報を検出する。ジャイロセンサ９が検出した方向情報は、破綻検出部１１１に入力される。ナビゲーション装置がジャイロセンサを備える場合には、ナビゲーション装置のジャイロセンサより出力された方向情報を破綻検出部１１１に供給するように構成してもよい。

電波強度分布情報保持部１０は、無線通信回線の電波強度分布情報を保持する。電波強度分布情報保持部１０は、少なとも車両が移動する範囲の領域を含む電波強度分布情報を予め保持する。または、電波強度分布情報保持部１０は、例えば外部のサーバ（クラウド）に保持されている電波強度分布情報より必要な電波強度分布情報を取得してもよい。

後者の場合には、画像送信装置１０１は、図３に示すように構成されていればよい。図３に示すように、サーバ５０は電波強度分布情報を保持している。送受信部６は、制御部１１による制御に基づいて、サーバ５０に対して電波強度分布情報の送信を要求して、電波強度分布情報を受信する。制御部１１は、受信した電波強度分布情報を電波強度分布情報保持部１０に保持させる。

このとき、制御部１１は、位置検出部７が検出した車両の位置情報を参照して、車両が位置している地点を含む所定の範囲の領域の電波強度分布情報を取得するように制御してもよい。

電波強度分布情報保持部１０による電波強度分布情報の保持とは、電波強度分布情報の継続的な保持だけでなく、サーバ５０より取得した電波強度分布情報の一時的な保持を含む。

なお、電波強度分布情報は、送受信システムの提供者または第三者によって測定されたデータに基づいて生成されている。

図４は、電波強度分布情報保持部１０が保持する電波強度分布情報を概念的に示している。図４に示す領域内で、領域Ａｒ１は電波強度が比較的強い地域、領域Ａｒ２は電波強度が比較的弱い地域を示している。電波強度分布情報は、領域を例えばメッシュ状に区画した複数の地点Ｐｓの電波強度を示すデータで構成することができる。

図５に示すように、車両が現在位置Ｐ０に位置しており、走行経路Ｒ０で示す道路を走行することが決まっているとする。このような場合には、電波強度分布情報保持部１０は、走行経路Ｒ０上の複数の地点Ｐｓの電波強度を示すデータを保持するだけでもよい。

制御部１１が車両の走行経路Ｒ０の情報をナビゲーション装置から取得し、走行経路Ｒ０上の複数の地点Ｐｓの電波強度をサーバ５０より取得して、電波強度分布情報保持部１０に保持させてもよい。

また、ナビゲーション装置から複数の走行経路情報を取得できる場合には、複数の走行経路上の複数の地点Ｐｓの電波強度をサーバ５０より取得して、電波強度分布情報保持部１０に保持させてもよい。

ここで、電波強度分布情報保持部１０の記憶容量が十分でない場合には、ナビゲーション装置から優先度の高い順番に走行経路の情報を取得し、優先度の高い走行経路上の複数の地点Ｐｓの電波強度から順番に、電波強度分布情報保持部１０に保持させてもよい。優先度の低い走行経路上の複数の地点Ｐｓの電波強度を電波強度分布情報保持部１０に保持させないようにしてもよい。

図１に戻り、制御部１１は、破綻検出部１１１と符号化制御部１１２と拡張情報送信制御部１１３とを有する。拡張情報送信制御部１１３には要求信号抽出部１２が接続されている。要求信号抽出部１２及び拡張情報送信制御部１１３の動作については、画像受信装置２０１の動作説明と併せて説明する。

符号化制御部１１２は、符号化部３ａが動画像データを符号化する際のターゲットビットレートを符号化部３ａに指示する。破綻検出部１１１には、符号化部３ａが動画像データを実際に符号化した際の発生符号量である符号化ビットレートを示す情報が入力される。

符号化部３ａに代えて符号化部３ｂが動作している場合には、同様に、符号化制御部１１２は、符号化部３ｂが動画像データを符号化する際のターゲットビットレートを符号化部３ｂに指示する。破綻検出部１１１には、符号化部３ｂが動画像データを実際に符号化した際の発生符号量である符号化ビットレートを示す情報が入力される。

また、破綻検出部１１１には、送信バッファ４における符号化データの蓄積状態を示す状態情報が入力される。送信バッファ４の蓄積状態とは、例えば、ある時点で、符号化データをさらに蓄積可能な容量である余裕の程度とすることができる。

画像送信装置１０１が画像受信装置２０１へと符号化データを送信する際に、電波強度が弱い場合には、送信バッファ４に蓄積された符号化データが十分に画像受信装置２０１へと送信されない事態となる。すると、送信バッファ４に符号化データを蓄積する余裕がなくなり、符号化データのリアルタイム送信が破綻してしまう。

そこで、破綻検出部１１１は、車両の位置情報と走行速度情報と方向情報と、電波強度分布情報と、符号化部３ａ（または３ｂ）の符号化ビットレートと、送信バッファ４の状態情報とに基づいて、リアルタイム送信の破綻が発生するか否かを予測する。破綻検出部１１１は、リアルタイム送信の破綻が発生すると予測するとき、破綻が発生するまでの時間を検出する。

図６に示すように、車両が現在位置Ｐ０に位置していて走行経路Ｒ０を走行するとき、破綻検出部１１１は、上記の各情報に基づいて、車両がいつ領域Ａｒ１，Ａｒ２の境界地点Ｐ１２に到達するのかを検出することができる。破綻検出部１１１は、現在位置Ｐ０から境界地点Ｐ１２に到達するまでの時間Ｔ012を検出する。

図７の（ａ）に示すように、符号化部３ａは、時刻ｔ０までターゲットビットレートＢｒ１で動画像データを符号化していたとする。破綻検出部１１１は、図７の（ａ）に示す時刻ｔ０で、ターゲットビットレートＢｒ１をそのまま継続したとすると時間Ｔ012経過後にリアルタイム送信が破綻すると予測して、符号化制御部１１２に通知する。

符号化制御部１１２は、例えば時刻ｔ１から時刻ｔ２にかけて、符号化部３ａにおけるターゲットビットレートを、ターゲットビットレートＢｒ１からターゲットビットレートＢｒ２まで連続的に下げるよう符号化部３ａを制御する。

ターゲットビットレートＢｒ２は、ターゲットビットレートＢｒ１よりもビットレートが低く、電波強度が弱い領域Ａｒ２においてもリアルタイム送信が破綻しないビットレートである。

時間Ｔ012が短い場合、符号化制御部１１２は、時刻ｔ０からターゲットビットレートを下げるよう符号化部３ａを制御してもよい。時刻ｔ２は、車両が境界地点Ｐ１２に到達する時刻ｔ１２以前であればよい。時刻ｔ１２を正確に求めることは容易ではなく誤差を含むので、符号化制御部１１２は、時刻ｔ１２よりも所定時間前の時刻ｔ２で、ターゲットビットレートＢｒ２とするよう符号化部３ａを制御するのがよい。

符号化制御部１１２は、符号化部３ａにおけるターゲットビットレートを急激に下げるのではなく、時間Ｔ012内で、ターゲットビットレートＢｒ１からターゲットビットレートＢｒ２まで下げるよう符号化部３ａを制御する。

符号化制御部１１２は、時間Ｔ012内で、ターゲットビットレートを、ターゲットビットレートＢｒ１からターゲットビットレートＢｒ２まで所定のルールに基づいて下げるよう符号化部３ａを制御するのがよい。例えば、符号化制御部１１２はターゲットビットレートを、所定の時間をかけて連続的または段階的に下げるよう符号化部３ａを制御するのがよい。

このようにすると、符号化部３ａにおける符号化ビットレートは急激に変化しないため、画質の劣化が目立ちにくい。

車両がさらに走行して領域Ａｒ１と同様に電波強度が強い地域へと移ったとする。この場合、符号化制御部１１２は、例えば時刻ｔ３から時刻ｔ４にかけて、符号化部３ａにおけるターゲットビットレートを、ターゲットビットレートＢｒ２からターゲットビットレートＢｒ１まで所定のルールに基づいて上げるよう符号化部３ａを制御すればよい。

例えば、符号化制御部１１２はターゲットビットレートを、所定の時間をかけて連続的または段階的に上げるよう符号化部３ａを制御すればよい。時刻ｔ３は、電波強度が強い地域へと移った時刻以降であればよい。

例えば、領域Ａｒ１における最大伝送レートが５Mbpsで領域Ａｒ２における最大伝送レートが１Mbpsのように、最大伝送レートが１／５と大幅に低下する場合には、図７の（ａ）に示すターゲットビットレートの低減だけではリアルタイム送信の破綻を回避できないことがある。

そのような場合には、図７の（ｂ）に示すように、符号化制御部１１２は、スイッチ２を端子Ｔｂへと切り替え、符号化部３ａに代えて、圧縮率が大きい符号化部３ｂによって動画像データを符号化するよう、スイッチ２及び符号化部３ｂを制御してもよい。

図７の（ｂ）では、符号化制御部１１２は、時刻ｔ２で符号化部３ａから符号化部３ｂへと切り替え、時刻ｔ３で符号化部３ｂから符号化部３ａへと切り替えるよう、スイッチ２及び符号化部３ａ，３ｂを制御する。

符号化部３ａから符号化部３ｂへと切り替えるタイミングは、時刻ｔ０から時刻ｔ１２までの間であればよい。符号化部３ｂから符号化部３ａへと切り替えるタイミングは、電波強度が強い地域へと移った時刻以降であればよい。

符号化制御部１１２は、符号化部３ａにおけるターゲットビットレートを下げる制御を実行させず、動画像データを符号化する符号化部を符号化部３ａから符号化部３ｂへと切り替える制御のみを実行させてもよい。

符号化制御部１１２は、次のいずれかの方法によってリアルタイム送信の破綻を回避すればよい。第１の方法として、符号化制御部１１２は、動画像データを符号化する際のターゲットビットレートを下げるよう符号化部を制御する。

第２の方法として、符号化制御部１１２は、動画像データを符号化する符号化部を、圧縮率がより大きい動画圧縮方式を採用する符号化部に切り替えるようスイッチ２を制御する。

第３の方法として、符号化制御部１１２は、ターゲットビットレートを下げるよう符号化部を制御し、かつ、符号化部を圧縮率がより大きい動画圧縮方式を採用する符号化部に切り替えるようスイッチ２を制御する。

図１では、動画圧縮方式が異なる符号化部を２つとしているが、３つ以上の符号化部を設けて、３つ以上の符号化部間で動画像データを符号化する符号化部を切り替えてもよい。

送受信部６より送信されるビットストリームは、概略的に図８に示すような形式である。ビットストリームは、先頭のヘッダと、ヘッダに続く符号化画像データの領域と、符号化画像データに続くユーザ領域とを含む。

ユーザ領域は、ヘッダと符号化画像データの領域の間に設けてもよい。また、ユーザ領域に格納する情報が存在しない場合には、必ずしもユーザ領域を設けなくともよい。ユーザ領域に格納する情報が存在する可能性がある場合には、ヘッダ内にユーザ領域の有無を識別するためのフラグを含めるようにしてもよい。

ヘッダは、動画圧縮方式の種類を識別するためのフラグＦ１を含む。ターゲットビットレートが下げられた場合には、例えばユーザ領域内に、ターゲットビットレートが下げられたことを示すフラグＦ２が設定される。ユーザ領域内にフラグＦ２を配置する代わりに、ヘッダ内のユーザ領域にフラグＦ２が設定されていてもよい。

ここで、拡張レイヤの拡張符号化データが生成されていない場合には、フラグＦ２を設定しないようにするとよい。以下の説明では、フラグＦ２が設定されているとする。

以上のようにして、画像送信装置１０１及び画像送信装置１０１で実行される画像送信方法によれば、符号化データのリアルタイム送信の破綻の可能性を低減させることができる。よって、画像受信装置２０１は、動画像をリアルタイムに再生するのに必要な符号化データを受信することができ、動画像が途切れずリアルタイムに再生することが可能となる。

図１における画像送信装置１０１を部分的にコンピュータプログラム（画像送信プログラム）によって構成してもよい。例えば、制御部１１をマイクロコンピュータによって構成し、破綻検出部１１１及び符号化制御部１１２に相当する部分を画像送信プログラムによって構成することができる。

画像送信プログラムは、コンピュータに、リアルタイム送信の破綻が発生するか否かを予測して、破綻が発生するまでの時間を検出するステップを実行させる。画像送信プログラムは、破綻が発生すると予測されたとき、コンピュータに、符号化部３ａが動画像データを符号化する際のターゲットビットレートを時間Ｔ012内で下げるよう符号化部３ａを制御するステップとを実行させる。

画像送信装置１０１の各部はハードウェアによって構成されていてもよいし、ソフトウェアによって構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意であり、両者が混在していてもよい。例えば、符号化部３ａ，３ｂをソフトウェアによって構成して、符号化部３ａ，３ｂを含めて画像送信プログラムとすることも可能である。

次に、図２に示す画像受信装置２０１の構成及び動作を説明する。図２において、送受信部２１は、画像送信装置１０１より送信された送信信号を受信する。ビットストリーム取得部２２は、受信信号に含まれるビットストリームを取得する。

ビットストリーム取得部２２が取得したビットストリームは、復号部２４ａと、制御部２５内のフラグ判定部２５１と、記憶部２３に入力される。復号部２４ａは、入力されたビットストリームを復号して、制御部２５内の表示制御部２５２に供給する。フラグ判定部２５１は、フラグＦ２がビットストリームに含まれているか否かを判定する。記憶部２３は、ビットストリームを記憶する。

表示制御部２５２は、復号した動画像データを表示部２６に表示させる。これによって、画像送信装置１０１により符号化されて送信された動画像は、リアルタイムで表示部２６に表示されることになる。なお、表示部２６は任意の表示デバイスであればよい。

フラグ判定部２５１が、フラグＦ２がビットストリームに含まれていると判定すると、表示制御部２５２は、ターゲットビットレートが下げられたことを示す画像または文字情報を表示部２６に表示させる。ユーザは、表示部２６に表示された画像または文字情報によって、ターゲットビットレートが下げられて、画質が悪化したことを知ることができる。

ユーザは、画像または文字情報を見て画質が悪化したことを知ったとき、画像送信装置１０１に対して、ターゲットビットレートが下げられた期間の送信されなかった符号量に相当する符号化データの送信を要求することができる。

ユーザが操作部２７を操作して送信されなかった符号量に相当する符号化データの送信を要求する指示入力を行うと、制御部２５内の指示受付部２５３は要求信号発生部２５４に対して、画像送信装置１０１に対する要求信号を発生するよう指示する。要求信号発生部２５４は、要求信号を送受信部２１に供給する。

送受信部２１は、半二重通信方式を採用している場合には、画像送信装置１０１より送信信号を受信していないタイミングで、要求信号を画像送信装置１０１に送信する。送受信部２１は、全二重通信方式を採用している場合には、適宜のタイミングで、要求信号を画像送信装置１０１に送信する。

ここでは、ユーザが符号化データの送信を要求した場合に、要求信号を画像送信装置１０１に送信するようにしているが、フラグＦ２がビットストリームに含まれている場合に自動的に要求信号を画像送信装置１０１に送信するように構成してもよい。

即ち、破線にて示すように、フラグ判定部２５１が、フラグＦ２がビットストリームに含まれていると判定したら、要求信号発生部２５４に対して、画像送信装置１０１に対する要求信号を発生するよう指示してもよい。

図１に戻り、送受信部６が要求信号を含む画像受信装置２０１からの送信信号を受信したら、要求信号抽出部１２は、受信信号より要求信号を抽出する。要求信号抽出部１２は、要求信号を拡張情報送信制御部１１３に供給する。

拡張情報送信制御部１１３は、ターゲットビットレートが下げられた期間の送信されなかった符号量に相当する符号化データを記憶部５より読み出して、送信バッファ４に供給するよう制御する。送信されなかった符号量に相当する符号化データを拡張符号化データと称することとする。

送信バッファ４に蓄積された拡張符号化データは、送受信部６より画像受信装置２０１へと送信される。送受信部６は、送信バッファ４に拡張符号化データを蓄積する余裕があり、伝送レートに余裕があるときに、拡張符号化データを画像受信装置２０１へと送信すればよい。

図２において、送受信部２１は、画像送信装置１０１より送信された拡張符号化データを含むビットストリームの送信信号を受信する。ビットストリーム取得部２２は、拡張符号化データを記憶部２３に記憶させる。

ユーザは、操作部２７を操作して、ターゲットビットレートが下げられた期間の動画像を高画質で表示させるよう指示入力を行う。指示受付部２５３は、記憶部２３より、ターゲットビットレートが下げられた期間の符号化データと、拡張符号化データとの双方を記憶部２３より読み出すよう指示する。

復号部２４ａは、ターゲットビットレートが下げられた期間の符号化データをベースレイヤとして復号する。ベースレイヤは、復号部２４ｂに供給される。復号部２４ｂは、拡張符号化データを拡張レイヤとして復号する。復号部２４ｂは、ベースレイヤと拡張レイヤとを合わせた動画像データを表示制御部２５２に供給する。

表示制御部２５２は、高画質化された動画像データを表示部２６に表示させる。表示制御部２５２は、リアルタイム送信された動画像に代えて、高画質化された過去の動画像を表示させてもよいし、リアルタイム送信された動画像と高画質化された過去の動画像とを例えば２画面で表示させてもよい。

第１実施形態の送受信システムによれば、リアルタイム送信の破綻を回避するためにターゲットビットレートを下げ、実際の符号化ビットレートが下がって画質が悪化した場合でも、画質が悪化した箇所の動画像を高画質で表示させることができる。

画像受信装置２０１の各部はハードウェアによって構成されていてもよいし、ソフトウェアによって構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意であり、両者が混在していてもよい。

＜第２実施形態＞
図９に示す画像送信装置１０２と図１０に示す画像受信装置２０２及びデスパッチャ３０２は、第２実施形態の送受信システムを構成する。デスパッチャ３０２は、画像受信装置２０２に接続されており、１または複数の画像受信装置２０２を制御する。

デスパッチャ３０２は、画像送信装置１０２が動画像データを符号化する際の動作を制御する画像送信制御装置の機能を含む。図９，図１０において、図１，図２と同一部分には同一符号を付し、その説明を省略することがある。

画像送信装置１０２における制御部１１は、符号化情報生成部１１４と、位置・方向・速度情報生成部１１５と、送信バッファ情報生成部１１６とを有する。画像送信装置１０２は、マルチプレクサ１３と、符号化制御信号抽出部１４とを備える。

符号化情報生成部１１４は、符号化部３ａ（または３ｂ）が動画像データを実際に符号化した際の符号化ビットレートを示す符号化情報を生成する。図１１に示すように、符号化情報は、概略的に、符号化情報であることを示す識別フラグと符号化ビットレートデータとを含む。

位置・方向・速度情報生成部１１５は、位置検出部７が検出した位置情報と、速度取得部８が取得した走行速度情報と、ジャイロセンサ９が検出した車両の方向情報とに基づいて、車両の位置・方向・速度情報を生成する。図１２に示すように、位置・方向・速度情報は、概略的に、位置・方向・速度情報であることを示す識別フラグと位置・方向・速度データとを含む。

送信バッファ情報生成部１１６は、送信バッファ４からの符号化データの蓄積状態を示す状態情報に基づいて、送信バッファ情報を生成する。図１３に示すように、送信バッファ情報は、概略的に、送信バッファ情報であることを示す識別フラグと送信バッファ状態データとを含む。

符号化情報生成部１１４が符号化情報を生成するタイミングと、位置・方向・速度情報生成部１１５が位置・方向・速度情報を生成するタイミングと、送信バッファ情報生成部１１６が送信バッファ情報を生成するタイミングとは、必ずしも同じタイミングでなくてよいが、少なくとも送信バッファ４から送信対象となる符号化データを読み出すタイミングまでに、送信対象となる符号化データに対応する、それぞれの情報が生成されるとよい。

符号化情報と位置・方向・速度情報と送信バッファ情報とは、マルチプレクサ１３に入力される。マルチプレクサ１３は、送信バッファ４より読み出された符号化データと符号化情報と位置・方向・速度情報と送信バッファ情報とを時分割多重して、送受信部６に供給する。

送受信部６は、時分割多重された符号化データと符号化情報と位置・方向・速度情報と送信バッファ情報とを含むビットストリームの送信信号を画像受信装置２０２に送信する。

図１０において、画像受信装置２０２は画像送信装置１０２からの送信信号を受信する。デマルチプレクサ２８は、ビットストリームに含まれる符号化データと、符号化情報と位置・方向・速度情報と送信バッファ情報とを互いに分離する。符号化データは復号部２４に入力されて復号される。

符号化情報と位置・方向・速度情報と送信バッファ情報は、デスパッチャ３０２内の破綻検出部３１に入力される。第２実施形態においては、画像送信装置側ではなく、画像受信装置側が破綻検出部を備える。

図１０では、画像受信装置２０２とデスパッチャ３０２とを分けて構成しているが、一体的に構成してもよい。画像受信装置２０２とデスパッチャ３０２との全体を画像受信装置としてもよい。

デスパッチャ３０２は、破綻検出部３１と電波強度分布情報保持部３２と符号化制御信号生成部３３とを備える。電波強度分布情報保持部３２は、図４で説明したような電波強度分布情報を保持する。車両の走行経路を示す情報が画像受信装置２０２に送信されない構成では、電波強度分布情報保持部３２は、車両が移動する可能性のある範囲の領域を含む電波強度分布情報を保持すればよい。

車両の走行経路が予め決まっていれば、電波強度分布情報保持部３２は、図５と同様に、少なくとも車両が移動する経路における電波強度分布情報を保持すればよい。

破綻検出部３１は、図１における破綻検出部１１１と同様に、符号化情報と、位置・方向・速度情報と、送信バッファ情報と、電波強度分布情報とに基づいて、画像送信装置１０２によるリアルタイム送信の破綻が発生するか否かを予測する。破綻検出部３１は、リアルタイム送信の破綻が発生すると予測するとき、破綻が発生するまでの時間を検出する。

符号化制御信号生成部３３は、破綻検出部３１によってリアルタイム送信の破綻が発生すると予測されたとき、符号化部３ａにおけるターゲットビットレートを下げるよう制御するための符号化制御信号を生成する。

符号化制御信号生成部３３は、符号化制御信号を画像送信装置１０２に送信するよう送受信部２１を制御する。

送受信部２１は、符号化制御信号を画像送信装置１０２に送信する。半二重通信方式が採用されている場合には、送受信部２１は、画像送信装置１０２が符号化データを送信しないタイミングで、符号化制御信号を画像送信装置１０２に送信すればよい。符号化制御信号生成部３３は、符号化部３ａに代えて符号化部３ｂによって動画像データを符号化するよう、スイッチ２を切り替えるための符号化制御信号を生成してもよい。

図９に戻り、送受信部６が符号化制御信号を含む画像受信装置２０２からの送信信号を受信したら、符号化制御信号抽出部１４は、受信信号より符号化制御信号を抽出する。符号化制御信号抽出部１４は、符号化制御信号を符号化制御部１１２に供給する。

符号化制御部１１２は、図７の（ａ），（ｂ）と同様に、符号化部３ａにおけるターゲットビットレートを制御し、必要に応じて、動画像データを符号化する符号化部を符号化部３ａから符号化部３ｂへと切り替えるようスイッチ２を制御する。

以上のようにして、デスパッチャ３０２内に設けられている画像送信制御装置及びデスパッチャ３０２で実行される画像送信制御方法によれば、符号化データのリアルタイム送信の破綻の可能性を低減させることができる。よって、画像受信装置２０２は、動画像をリアルタイムに再生するのに必要な符号化データを受信することができ、動画像が途切れずリアルタイムに再生することが可能となる。

画像受信装置２０２やデスパッチャ３０２の各部はハードウェアによって構成されていてもよいし、ソフトウェアによって構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意であり、両者が混在していてもよい。

デスパッチャ３０２における破綻検出部３１及び符号化制御信号生成部３３は、コンピュータに前述の処理を実行させるコンピュータプログラム（画像送信制御プログラム）によって構成することができる。

本発明は以上説明した第１または第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１及び図２における画質が悪化した箇所の動画像を高画質で表示させるための構成を省略してもよい。図９及び図１０に、画質が悪化した箇所の動画像を高画質で表示させるための構成を追加してもよい。

３ａ，３ｂ符号化部
４送信バッファ
６送受信部（送信部）
１０，３２電波強度分布情報保持部
３１，１１１破綻検出部
３３符号化制御信号生成部
１０１，１０２画像送信装置
１１２符号化制御部
２０１，２０２画像受信装置
３０２デスパッチャ（画像送信制御装置）

Claims

動画像データを符号化して符号化動画像データを生成する符号化部と、
前記符号化動画像データを蓄積する送信バッファと、
前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信する送信部と、
走行経路が予め設定されている移動体が前記走行経路を移動するときの前記走行経路における前記無線通信回線の電波強度分布情報と、前記移動体が前記走行経路を移動するときの前記移動体の位置情報と速度情報と方向情報と、前記符号化部における符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記送信部から前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測し、前記移動体の現在位置を含む領域であって、第１の電波強度を有して前記破綻が発生しない第１の領域と、前記移動体の移動によって前記移動体が位置する領域であって、前記第１の電波強度よりも弱い第２の電波強度を有して前記破綻が発生する第２の領域との境界地点を検出し、前記移動体が前記境界地点に到達することによる前記破綻が発生するまでの時間を検出する破綻検出部と、
前記破綻検出部によって前記破綻が発生すると予測されたとき、前記移動体が前記第２の領域へと移動して前記第２の電波強度となっても前記破綻が発生しないよう、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるよう前記符号化部を制御する符号化制御部と、
を備えることを特徴とする画像送信装置。
前記符号化制御部は、前記破綻が発生すると予測される時刻より前の第１の時刻から、前記第１の時刻以降で、前記破綻が発生すると予測される時刻以前の第２の時刻まで、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを、第１のターゲットビットレートから前記第１のターゲットビットレートよりも低い第２のターゲットビットレートまで所定のルールに基づいてビットレートを下げていくよう制御することを特徴とする請求項１に記載の画像送信装置。
前記符号化制御部は、前記符号化部が前記動画像データを符号化する際の動画圧縮方式を圧縮率の大きい動画圧縮方式へと切り替えるよう制御することを特徴とする請求項１または２に記載の画像送信装置。
動画像データを符号化して符号化動画像データを生成し、
前記符号化動画像データを送信バッファに蓄積し、
前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信し、
走行経路が予め設定されている移動体が前記走行経路を移動するときの前記走行経路における前記無線通信回線の電波強度分布情報と、前記移動体が前記走行経路を移動するときの前記移動体の位置情報と速度情報と方向情報と、前記符号化動画像データを生成する際の符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測し、前記移動体の現在位置を含む領域であって、第１の電波強度を有して前記破綻が発生しない第１の領域と、前記移動体の移動によって前記移動体が位置する領域であって、前記第１の電波強度よりも弱い第２の電波強度を有して前記破綻が発生する第２の領域との境界地点を検出し、前記移動体が前記境界地点に到達することによる前記破綻が発生するまでの時間を検出し、
前記破綻が発生すると予測されたとき、前記移動体が前記第２の領域へと移動して前記第２の電波強度となっても前記破綻が発生しないよう、前記符号化動画像データを生成する際のターゲットビットレートを前記時間内で下げる、
ことを特徴とする画像送信方法。
動画像データを符号化して符号化動画像データを生成する符号化部と、
前記符号化動画像データを蓄積する送信バッファと、
前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信する送信部と、
を備える画像送信装置に搭載されているコンピュータに、
走行経路が予め設定されている移動体が前記走行経路を移動するときの前記走行経路における前記無線通信回線の電波強度分布情報と、前記移動体が前記走行経路を移動するときの前記移動体の位置情報と速度情報と方向情報と、前記符号化動画像データを生成する際の符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測し、前記移動体の現在位置を含む領域であって、第１の電波強度を有して前記破綻が発生しない第１の領域と、前記移動体の移動によって前記移動体が位置する領域であって、前記第１の電波強度よりも弱い第２の電波強度を有して前記破綻が発生する第２の領域との境界地点を検出し、前記移動体が前記境界地点に到達することによる前記破綻が発生するまでの時間を検出するステップと、
前記破綻が発生すると予測されたとき、前記移動体が前記第２の領域へと移動して前記第２の電波強度となっても前記破綻が発生しないよう、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるよう前記符号化部を制御するステップと、
を実行させることを特徴とする画像送信プログラム。