JP6988394B2 - 映像伝送システム、映像送信装置、映像受信装置、映像送信方法、映像受信方法およびコンピュータプログラム - Google Patents

Description

本発明は、映像データを処理する映像伝送システム、映像送信装置、映像受信装置、映像送信方法、映像受信方法およびコンピュータプログラムに関する。

放送等では、８Ｋ ＵＨＤＴＶ（Ultra High Definition Television）（以下、「８Ｋ」と略記する。）のような超高解像度の高精細な映像データを伝送するための技術が開発されている（例えば、非特許文献１参照）。

超高解像度映像は、その表現力ゆえ、監視用途、防犯用途、建物などの外観検査用途などのあらゆる分野で用いられることが今後急増するものと考えられる。その一方、その表現力のために、例えば、伝送レートが数十Ｇｂｐｓ（gigabits per second）以上に達するため、映像データを伝送するために高速な通信路が必要となる。

"ウィキペディア"、［ｏｎｌｉｎｅ］、［平成２９年１０月２４日検索］、インターネット〈ＵＲＬ：https://ja.wikipedia.org/wiki/4320p〉

例えば、重機、ドローン、自動車等の操作対象に設置された８Ｋの映像データを撮影可能なカメラ（以下、「８Ｋカメラ」と言う。）で撮影された映像データを映像送信装置から映像受信装置に送信し、遠隔地において操作対象を操作するといった利用方法も考えられる。

しかしながら、現時点で規格化が進行中の「第５世代移動通信システム」（以下、「５Ｇ」（5th Generation）と略記する。）の無線通信の伝送能力は、数Ｇｂｐｓ程度である。一方、８Ｋのデュアルグリーン方式の映像データを伝送するには、２４Ｇｂｐｓ程度の伝送能力を要する。このため、８Ｋの映像データをそのままの形式で５Ｇの無線通信を利用して送信することは困難である。なお、８Ｋの映像データを１０ギガビット・イーサネット（登録商標）のネットワークプロトコルを利用して送信する場合においても同様の問題が生じる。

放送等で用いられるＨ．２６５（ＩＳＯ／ＩＥＣ ２３００８−２ ＨＥＶＣ）などの方式を用いて映像データを圧縮して伝送することも考えられるが、圧縮処理および伸長処理に数秒程度の時間を要するため、映像の遅延が生じる。よって、上述の操作対象の遠隔操作においては、操作に映像が追い付かず、いわゆる映像酔いと呼ばれる現象が生じる。また、映像上での操作対象の位置と、実際の操作対象の位置との間にずれが生じるため、操作精度が低下するなどの問題も生じる。

特に、複数のカメラで撮影された複数の映像データを伝送する場合には映像データ数に応じて伝送量が増加するため、伝送路の伝送能力による制限をさらに受けやすくなる。

本発明はこのような事情に鑑みてなされたものであり、所定の映像データを高画質で伝送し、かつ複数の映像データを低遅延で伝送することのできる映像伝送システム、映像送信装置、映像受信装置、映像送信方法、映像受信方法およびコンピュータプログラムを提供することを目的とする。

（１）上記目的を達成するために、本発明の一実施態様に係る映像伝送システムは、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行し、前記間引き処理後の前記複数の映像データを送信する映像送信装置と、前記映像送信装置から受信した前記間引き処理後の前記複数の映像データを表示装置に表示する映像受信装置とを備える。

（１２）本発明の他の実施態様に係る映像送信装置は、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行する間引き処理部と、前記間引き処理後の前記複数の映像データを送信する送信部とを備える。

（１３）本発明の他の実施態様に係る映像受信装置は、映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信する受信部と、前記受信部が受信した前記間引き処理後の前記複数の映像データを表示装置に表示する表示制御部とを備える。

（１４）本発明の他の実施態様に係る映像送信方法は、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行するステップと、前記間引き処理後の前記複数の映像データを送信するステップとを含む。

（１５）本発明の他の実施態様に係る映像受信方法は、映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信するステップと、受信した前記間引き処理後の前記複数の映像データを表示装置に表示するステップとを含む。

（１６）本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行する間引き処理部と、前記間引き処理後の前記複数の映像データを送信する送信部として機能させる。

（１７）本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信する受信部と、前記受信部が受信した前記間引き処理後の前記複数の映像データを表示装置に表示する表示制御部として機能させる。

なお、本発明は、映像送信装置または映像受信装置の一部または全部を実現する半導体集積回路として実現することもできる。

本発明によると、所定の映像データを高画質で伝送し、かつ複数の映像データを低遅延で伝送することができる。

本発明の実施の形態１に係る映像伝送システムの構成を示す図である。 本発明の実施の形態１に係るカメラの設置位置の一例を示す図である。 本発明の実施の形態１に係る表示装置の設置位置の一例を示す図である。 本発明の実施の形態１に係る映像送信装置の構成を示すブロック図である。 本発明の実施の形態１に係る映像送信装置による間引き処理および多重化処理について説明するための図である。 本発明の実施の形態１に係る映像圧縮部の詳細な構成を示すブロック図である。 本発明の実施の形態１に係る映像受信装置の構成を示すブロック図である。 本発明の実施の形態１に係る映像伸長部による間引きフレームについての伸長処理を説明するための図である。 本発明の実施の形態１に係る映像伸長部による間引きフレームについての伸長処理を説明するための図である。 本発明の実施の形態１に係る映像伸長部の詳細な構成を示すブロック図である。 本発明の実施の形態１に係る映像伝送システムが実行する処理のシーケンスを示す図である。 本発明の実施の形態１に係る映像送信装置が映像データにおける１画面の圧縮処理を行う際の動作手順を定めたフローチャートである。 本発明の実施の形態１に係る映像受信装置が映像データにおける１画面の伸長処理を行う際の動作手順を定めたフローチャートである。 本発明の実施の形態２に係る映像送信装置による間引き処理および多重化処理について説明するための図である。 本発明の実施の形態３に係る映像送信装置の構成を示すブロック図である。 本発明の実施の形態３に係る映像受信装置の構成を示すブロック図である。

［本願発明の実施形態の概要］
最初に本発明の実施形態の概要を列記して説明する。
（１）本発明の一実施形態に係る映像伝送システムは、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行し、前記間引き処理後の前記複数の映像データを送信する映像送信装置と、前記映像送信装置から受信した前記間引き処理後の前記複数の映像データを表示装置に表示する映像受信装置とを備える。

この構成によると、映像送信装置は、所定の映像データのフレームレートよりも他の映像データのフレームレートが低くなるように間引き処理を行った後、複数の映像データを映像受信装置に送信する。映像受信装置は、間引き処理後の複数の映像データを表示装置に表示することができる。このような間引き処理を行うことにより、間引き処理を行わない場合に比べて複数の映像データの伝送量を減少させることができるため、複数の映像データを低遅延で伝送することができる。また、所定の映像データは、他の映像データに比べ高フレームレートであるため、所定の映像データを操作対象の操作に必要な映像データとすることにより、操作対象の操作に必要な映像データを高画質で伝送することができる。

（２）好ましくは、前記映像送信装置は、前記所定の映像データに対するフレームの間引き処理を実行しない。

この構成によると、所定の映像データのフレームレートを、カメラによる撮影時のフレームレートと同じにすることができる。このため、所定の映像データを高画質で伝送し、表示装置に表示することができる。これにより、ユーザは、所定の映像データを高画質な状態で見ることができる。

（３）また、前記映像送信装置は、前記他の映像データに含まれる映像データ間で画面データの抽出を開始するフレームである開始フレームをずらした前記間引き処理を実行してもよい。

この構成によると、他の映像データに含まれる映像データ間で開始フレームが重複しないように間引き処理を行うことができる。これにより、あるフレームに送信対象の画面データが集中することを防ぎ、フレーム間で送信対象の画面データを分散させることができる。よって、複数の映像データを低遅延で伝送することができる。

（４）また、前記映像送信装置は、前記他の映像データの数に基づくフレームレートに従って前記他の映像データの間引き処理を実行してもよい。

例えば、他の映像データの数をｎとし、ｎフレームに１枚の画面データが選択されるように間引き処理を行うことにより、全てのフレームにおいて、フレームごとに１枚の画面データを、所定の映像データの画面データとともに送信することができる。これにより、送信する映像データのフレーム間での偏りを軽減することができる。

（５）また、前記映像送信装置は、前記間引き処理後の前記他の映像データに含まれる各画面データを、複数のフレームに亘り時分割で送信してもよい。

この構成によると、間引き処理後の各画面データを時分割で送信することにより、フレーム間で伝送量を平準化することができる。これにより、映像データ伝送時の伝送レートを低く抑えることができる。

（６）また、前記映像送信装置は、前記間引き処理後の前記複数の映像データに対して圧縮処理を実行し、前記圧縮処理済みの前記複数の映像データを送信し、前記映像受信装置は、前記映像送信装置から受信した前記圧縮処理済みの前記複数の映像データに対して伸長処理を実行し、伸長処理後の前記複数の映像データを表示装置に表示してもよい。

この構成によると、間引き処理後の複数の映像データを圧縮して、映像受信装置に配信することができる。これにより、複数の映像データを圧縮した後に間引き処理する場合に比べて映像送信装置の処理量を減少させることができるため、複数の映像データを低遅延で伝送することができる。

（７）また、前記映像送信装置は、前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を実行し、前記映像受信装置は、前記映像送信装置から受信した前記圧縮処理済みの前記複数の映像データの各々について、前記ブロックごとに画像データの伸長処理を実行し、前記圧縮処理において、可逆圧縮のアルゴリズムおよび不可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、前記伸長処理において、可逆伸長のアルゴリズムおよび不可逆伸長のアルゴリズムを前記ブロックごとに選択可能であってもよい。

この構成によると、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを映像受信装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを映像受信装置において復元することができる。また、画面内の画像データを用いて圧縮処理を行うことで、画面間の画像データを用いて圧縮処理を行わないようにしてもよいので、処理負荷を軽減することができる。すなわち、映像送信装置および映像受信装置間のデータ伝送能力と、より多くのオリジナル映像データを送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。

（８）また、前記映像受信装置は、前記所定の映像データを指定してもよい。

この構成によると、映像受信装置が所定の映像データを指定することができる。このため、映像送信装置は、映像受信装置が所望する所定の映像データを高画質で送信することができる。また、映像受信装置は所定の映像データを高画質で表示することができる。

（９）また、前記映像受信装置は、ユーザ操作に基づいて前記所定の映像データを指定してもよい。

この構成によると、ユーザがユーザ操作により指定した映像データを所定の映像データとして指定することができる。このため、映像送信装置は、ユーザが指定した映像データを高画質で映像受信装置に送信することができ、映像受信装置は、ユーザが指定した映像データを高画質で表示することができる。また、映像送信装置は、ユーザが指定した映像データ以外の他の映像データをフレームレートが相対的に低くなるように間引いて、映像受信装置に送信することができる。これにより、複数の映像データを低遅延で伝送することができる。

（１０）また、前記映像受信装置は、ユーザの視線の検知結果に基づいて前記所定の映像データを指定してもよい。

この構成によると、表示装置に表示された複数の映像データのうち、ユーザが視線を向けて見ている映像データを所定の映像データとして指定することができる。このため、映像送信装置はユーザが注視している映像データを高画質で映像受信装置に送信し、ユーザが注視していない他の映像データをフレームレートが相対的に低くなるように間引いて、映像受信装置に送信することができる。これにより、複数の映像データを低遅延で伝送することができる。

（１１）また、前記映像データの解像度は、８Ｋ ＵＨＤＴＶであってもよい。

この構成によると、８Ｋの所定の映像データを高画質で伝送し、かつ複数の８Ｋの映像データを低遅延で伝送することができる。

（１２）本発明の他の実施形態に係る映像送信装置は、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行する間引き処理部と、前記間引き処理後の前記複数の映像データを送信する送信部とを備える。

この構成によると、映像送信装置は、所定の映像データのフレームレートよりも他の映像データのフレームレートが低くなるように間引き処理を行った後、複数の映像データを送信する。よって、映像送信装置から複数の映像データを受信した映像受信装置は、間引き処理後の複数の映像データを表示装置に表示することができる。このような間引き処理を行うことにより、間引き処理を行わない場合に比べて複数の映像データの伝送量を減少させることができるため、複数の映像データを低遅延で伝送することができる。また、所定の映像データは、他の映像データに比べ高フレームレートであるため、所定の映像データを操作対象の操作に必要な映像データとすることにより、操作対象の操作に必要な映像データを高画質で伝送することができる。

（１３）本発明の他の実施形態に係る映像受信装置は、映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信する受信部と、前記受信部が受信した前記間引き処理後の前記複数の映像データを表示装置に表示する表示制御部とを備える。

この構成によると、映像受信装置は、所定の映像データのフレームレートよりも他の映像データのフレームレートが低くなるように間引き処理が行われた後の複数の映像データを映像送信装置から受信し、受信した複数の映像データを表示装置に表示することができる。映像送信装置においてこのような間引き処理を行うことにより、間引き処理を行わない場合に比べて複数の映像データの伝送量を減少させることができるため、複数の映像データを低遅延で伝送することができる。また、所定の映像データは、他の映像データに比べ高フレームレートであるため、所定の映像データを操作対象の操作に必要な映像データとすることにより、操作対象の操作に必要な映像データを高画質で伝送することができる。

（１４）本発明の他の実施形態に係る映像送信方法は、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行するステップと、前記間引き処理後の前記複数の映像データを送信するステップとを含む。

この構成は、上述の映像送信装置が備える特徴的な処理部に対応するステップを含む。このため、上述の映像送信装置と同様の作用および効果を奏することができる。

（１５）本発明の他の実施形態に係る映像受信方法は、映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信するステップと、受信した前記間引き処理後の前記複数の映像データを表示装置に表示するステップとを含む。

この構成は、上述の映像受信装置が備える特徴的な処理部に対応するステップを含む。このため、上述の映像受信装置と同様の作用および効果を奏することができる。

（１６）本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行する間引き処理部と、前記間引き処理後の前記複数の映像データを送信する送信部として機能させる。

この構成によると、コンピュータを上述の映像送信装置として機能させることができる。このため、上述の映像送信装置と同様の作用および効果を奏することができる。

（１７）本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信する受信部と、前記受信部が受信した前記間引き処理後の前記複数の映像データを表示装置に表示する表示制御部として機能させる。

この構成によると、コンピュータを上述の映像受信装置として機能させることができる。このため、上述の映像送信装置と同様の作用および効果を奏することができる。

［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。

（実施の形態１）
＜映像伝送システムの全体構成＞
図１は、本発明の実施の形態１に係る映像伝送システムの構成を示す図である。
図１を参照して、映像伝送システム１は、映像送信装置１０と、映像受信装置２０と、複数のカメラ３０Ａ〜３０Ｈ（以下、カメラ３０Ａ〜３０Ｈを区別しない場合には、「カメラ３０」と称する。）と、複数の表示装置４０Ａ〜４０Ｈ（以下、表示装置４０Ａ〜４０Ｈを区別しない場合には、「表示装置４０」と称する。）と、入力装置５０とを備える。映像送信装置１０と映像受信装置２０とは、ネットワーク６０を介して相互に接続される。カメラ３０Ａ〜３０Ｈは、映像送信装置１０に接続される。表示装置４０Ａ〜４０Ｈおよび入力装置５０は、映像受信装置２０に接続される。なお、カメラ３０および表示装置４０の台数は８に限定されるものではない。

映像送信装置１０は、カメラ３０Ａ〜３０Ｈが撮影対象を撮影した映像データを、ネットワーク６０を介して映像受信装置２０に送信する。

映像受信装置２０は、映像送信装置１０から映像データを受信し、受信した映像データを表示装置４０Ａ〜４０Ｈに表示する。

カメラ３０Ａ〜３０Ｈおよび映像送信装置１０は、例えば、自動車などの車両、フォークリフトに代表される産業車両、油圧ショベルなどの車両系建設機械、ドローンなど、ユーザによる遠隔からの操作対象に設置される。

図２は、本発明の実施の形態１に係るカメラの設置位置の一例を示す図である。
図２を参照して、操作対象としての車両２には、例えば、車両２の周囲３６０°を監視するために、４５°間隔で８台のカメラ３０Ａ〜３０Ｈが設置される。

カメラ３０Ａ〜３０Ｈは、撮影対象の高精細映像を撮影する。映像には複数の画面が含まれる。例えば、６０ｆｐｓ（frame per second）の映像データには、１秒当たり６０枚の画面が含まれる。

より詳細には、カメラ３０Ａ〜３０Ｈは、例えば、デュアルグリーン方式または４：２：２方式等に従って、８Ｋ ＵＨＤＴＶの解像度を有する撮影対象物の映像データを生成する。この映像データには、画面ごとの画面データが含まれる。

デュアルグリーン方式に従って生成された６０ｆｐｓの映像データの伝送レートは、例えば２３．８９Ｇｂｐｓまたは１９．９１Ｇｂｐｓである。また、４：２：２方式に従って生成された映像データの伝送レートは、例えば４７．７８Ｇｂｐｓまたは３９．８１Ｇｂｐｓである。

再び図１を参照して、映像受信装置２０、表示装置４０Ａ〜４０Ｈおよび入力装置５０は、カメラ３０Ａ〜３０Ｈおよび映像送信装置１０とは離れた場所に設置される。

図３は、本発明の実施の形態１に係る表示装置の設置位置の一例を示す図である。
図３を参照して、ユーザ３を取り囲むようにユーザ３の周囲に表示装置４０Ａ〜４０Ｈが設置される。各表示装置は、ユーザ３の側に表示画面が来るように配置される。表示装置４０Ａには、カメラ３０Ａが撮影した映像データが表示され、表示装置４０Ｂには、カメラ３０Ｂが撮影した映像データが表示される。表示装置４０Ｃ〜４０Ｈについても、同様に、それぞれ、カメラ３０Ｃ〜３０Ｈが撮影した映像データが表示される。

表示装置４０Ａ〜４０Ｈの中心に位置するユーザ３が、各表示装置に表示された映像データを見ることにより、車両２に搭乗しているのと同様の映像を見ることができる。これにより、ユーザ３は、車両２の制御装置を操作することにより、遠隔地から車両２を操作することが可能となる。

＜映像送信装置１０の構成＞
図４は、本発明の実施の形態１に係る映像送信装置の構成を示すブロック図である。
図４を参照して、映像送信装置１０は、同期処理部１１と、間引き処理部１２Ａ〜１２Ｈ（以下、間引き処理部１２Ａ〜１２Ｈを区別しない場合には、「間引き処理部１２」と称する。）と、間引き制御部１３と、映像圧縮部１４Ａ〜１４Ｈ（以下、映像圧縮部１４Ａ〜１４Ｈを区別しない場合には、「映像圧縮部１４」と称する。）と、多重化部１５と、符号化部１６と、送信部１７と、受信部１８と、映像指定情報伝送部１９とを備える。なお、間引き処理部１２および映像圧縮部１４の数は８に限定されるものではない。

映像送信装置１０の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）等の集積回路等を含むハードウェアにより実現される。

なお、映像送信装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を備えるコンピュータにより実現することもできる。ＣＰＵ等の演算処理装置上でコンピュータプログラムを実行することにより、各処理部は機能的な構成要素として実現される。

同期処理部１１は、カメラ３０Ａ〜３０Ｈがそれぞれ撮影した映像データＡ〜Ｈを受け、映像データＡ〜Ｈの時刻同期を行う処理部である。同期処理部１１は、例えば、同期信号発生回路が発生する時刻同期信号に基づいて、フレームごとに、映像データＡ〜Ｈの各フレームの時刻が一致するように、フレーム時刻を調整する。または、同期処理部１１は、映像データＡ〜Ｈのうちのいずれか１つの映像データのフレーム時刻に他の映像データのフレーム時刻が一致するように、他の映像データのフレーム時刻を調整してもよい。

間引き処理部１２Ａ〜１２Ｈは、それぞれ、映像データＡ〜Ｈのフレームレートを低下させるために、映像データの中から一定のフレーム間隔で画面データを抽出し、抽出されなかった画面データを間引く間引き処理を実行する。例えば、画面データをｎフレーム間隔で抽出する間引き処理を行うことにより、当該映像データのフレームレートを１／ｎに変更することができる。間引き処理部１２Ａ〜１２Ｈは、間引き処理後の映像データＡ〜Ｈを、映像圧縮部１４Ａ〜１４Ｈにそれぞれ出力する。

間引き制御部１３は、間引き処理部１２Ａ〜１２Ｈにおける間引きを制御する。具体的には、間引き制御部１３は、間引き処理部１２Ａ〜１２Ｈにおいて間引きを行うか否かを決定する。つまり、間引き制御部１３は、後述する映像指定情報伝送部１９が映像受信装置２０から受信した映像指定情報に基づいて、映像指定情報で指定された映像データについては間引き処理を実行せずに、それ以外の映像データについては間引き処理を実行するように、間引き処理部１２を制御する。ここで、映像指定情報は、映像受信装置２０または映像受信装置２０のユーザが注目している映像データを示す情報である。

また、間引き制御部１３は、間引き処理部１２において間引き処理を行う際のフレーム間隔を制御するとともに、間引き処理を開始するフレームを決定する。間引き処理のフレーム間隔および開始フレームについては後述する。

映像圧縮部１４Ａ〜１４Ｈは、間引き処理が実行された後の映像データＡ〜Ｈを、それぞれ、画面データごとに圧縮し、圧縮画面データを含む映像データＡ〜Ｈを、多重化部１５に出力する。圧縮処理については後述する。

多重化部１５は、フレームごとに、映像圧縮部１４Ａ〜１４Ｈから圧縮処理済みの映像データＡ〜Ｈを受け、当該映像データＡ〜Ｈを多重化した多重化データを生成する。多重化部１５は、生成した多重化データを符号化部１６に出力する。

符号化部１６は、多重化部１５から、フレームごとに、多重化データを受け、当該多重化データを符号化する。符号化部１６は、符号化された多重化データを送信部１７へ出力する。

送信部１７は、通信インタフェースを含んで構成され、符号化部１６から、符号化された多重化データを受け、当該多重化データを、ネットワーク６０を介して、映像受信装置２０に送信する。

受信部１８は、通信インタフェースを含んで構成され、映像指定情報を、ネットワーク６０を介して映像受信装置２０から受信する。受信部１８は、受信した映像指定情報を映像指定情報伝送部１９に出力する。

映像指定情報伝送部１９は、受信部１８から映像指定情報を受け、当該映像指定情報を間引き制御部１３へ出力する。

ここで、映像指定情報は、上述したように、映像受信装置２０または映像受信装置２０を利用するユーザが注目している映像データを示す情報である。例えば、映像受信装置２０のユーザが映像データＡに注目している場合には、映像指定情報には、映像データＡの識別子が含まれる。このため、間引き制御部１３は、映像データＡに対する間引き処理を実行しないように間引き処理部１２Ａを制御し、映像データＢ〜Ｈに対する間引き処理を実行するように間引き処理部１２Ｂ〜１２Ｈを制御する。

図５は、本発明の実施の形態１に係る映像送信装置による間引き処理および多重化処理について説明するための図である。図５を参照して、映像指定情報に映像データＡの識別子が含まれる場合の各処理について説明する。

間引き制御部１３は、映像データＡに対する間引き処理を実行しないように間引き処理部１２Ａを制御する。このため、図５の（Ａ）に示すように、間引き処理部１２Ａは、映像データＡについて、間引き処理を実行せずに、全てのフレームの画面データが揃った映像データを出力する。

また、間引き制御部１３は、映像データＢ〜Ｈに対する間引き処理を実行するように間引き処理部１２Ｂ〜１２Ｈを制御する。つまり、間引き制御部１３は、映像データＢ〜Ｈから７フレーム間隔で画面データを抽出するように、間引き処理部１２Ｂ〜１２Ｈをそれぞれ制御する。また、間引き制御部１３は、映像データＢ〜Ｈ間で、抽出される画面データを１フレームずつずらすように間引き処理部１２Ｂ〜１２Ｈをそれぞれ制御する。

つまり、図５の（Ａ）に示すように、間引き処理部１２Ｂ〜１２Ｈは、それぞれ、映像データＢ〜Ｈについて、間引き処理を実行する。ここで、間引かれたフレームの画面データは破線で示している。

具体的には、間引き処理部１２Ｂは、映像データＢについて、第１フレームを開始フレームとして、７フレーム間隔で画面データを抽出し、抽出されなかった画面データを間引く。これにより、第１フレームから第１１フレームのうち、第１フレームと第８フレームの画面データが抽出され、それ以外のフレーム画面データは間引かれる。

間引き処理部１２Ｃは、映像データＣについて、第２フレームを開始フレームとして、７フレーム間隔で画面データを抽出し、抽出されなかった画面データを間引く。これにより、第１フレームから第１１フレームのうち、第２フレームと第９フレームの画面データが抽出され、それ以外のフレーム画面データは間引かれる。

以下同様に、間引き処理部１２Ｄ〜１２Ｈは、開始フレームを１フレームずつずらして、映像データＤ〜Ｈを、映像データＢまたはＣと同様に間引く。

このように開始フレームを１フレームずつずらして間引き処理を行うことにより、映像データ間で開始フレームが重複しないように間引き処理を行うことができる。これにより、あるフレームに送信対象の画面データが集中することを防ぎ、フレーム間で送信対象の画面データを分散させることができる。

多重化部１５は、フレームごとに、間引き処理部１２Ａ〜１２Ｈで間引き処理され、映像圧縮部１４Ａ〜１４Ｈで圧縮処理された後の映像データＡ〜Ｈを多重化する。つまり、図５の（Ｂ）に示すように、フレームごとに、映像データＡに含まれる画面データと、間引き処理部１２Ｂ〜１２Ｈの間引き処理により映像データＢ〜Ｈから抽出された画面データとを、多重化する。例えば、多重化部１５は、映像データＡに含まれる画面データの次に、映像データＢ〜Ｈから抽出された画面データを結合することにより多重化を行うこととする。

例えば、多重化部１５は、映像データＡに含まれる第１フレームの画面データと、映像データＢから抽出された第１フレームの画面データとを多重化したデータを、第１フレームの多重化データとして出力する。また、多重化部１５は、映像データＢに含まれる第２フレームの画面データと、映像データＣから抽出された第２フレームの画面データとを多重化したデータを、第２フレームの多重化データとして出力する。同様に、多重化部１５は、第３フレーム以降についても、映像データＡに含まれる画面データと、映像データＢ〜Ｈから抽出された１枚の画面データとを多重化したデータを、当該フレームの多重化データとして出力する。

図５の（Ａ）に示すように、間引き処理対象の映像データＢ〜Ｈのフレーム抽出間隔を、映像データＢ〜Ｈの数と同じ７フレームとすることにより、多重化部１５が出力する全てのフレームの多重化データに、同数（２枚）の画面データを含めることができる。これにより、送信する多重化データのフレーム間での偏りを軽減することができる。

＜映像圧縮部１４の構成＞
図６は、本発明の実施の形態１に係る映像圧縮部の詳細な構成を示すブロック図である。
図６を参照して、映像圧縮部１４は、ブロック分割部１４１と、データ分配部１４２と、可逆圧縮部１４３と、非可逆圧縮部１４４と、方式選択部１４５とを含む。

映像圧縮部１４は、間引き処理部１２から出力された映像データにおいて、当該映像データを構成する画像の１つである１画面ごとに圧縮処理を行う。より詳細には、映像圧縮部１４は、当該映像データにおいて、１画面を複数のブロックに分割し、ブロックごとに画像データの圧縮処理を行う。また、映像圧縮部１４は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムをブロックごとに選択可能である。

たとえば、映像圧縮部１４は、ブロックの画像データの圧縮率が所定値Ａ１となるように圧縮処理を行う。詳細には、映像圧縮部１４は、たとえば、圧縮率が所定値Ａ１となるように可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムのいずれか一方を選択する。ここで、圧縮率は、圧縮後のデータサイズを圧縮前のデータサイズで除した値と定義する。また、所定値Ａ１は、ユーザまたは映像圧縮部１４により設定変更可能である。

より詳細には、映像圧縮部１４におけるブロック分割部１４１は、間引き処理部１２から映像データを受けて１画面分の画面データを確保すると、確保した画面データの示す１画面を複数のブロックに分割する。

具体的には、ブロック分割部１４１は、画面データの示す画面を、同じ形状および同じ大きさを有する複数のブロックに分割する。より具体的には、ブロック分割部１４１は、画面を１または複数の行ごとにスライスしたブロックに分割したり、１または複数の列ごとにスライスしたブロックに分割したり、縦ｎ個×横ｍ個（ここで、ｎ，ｍは正の整数。）の画素を有するブロックに分割したりする。

なお、各ブロックの形状は任意の形状でよい。また、各ブロックの大きさは任意の大きさでよい。しかしながら、各ブロックの形状および大きさを統一すると、利便性が高まるので好ましい。また、ブロックのサイズが大きくなるほど圧縮率を高めることが可能となるが、処理負荷、処理回路、処理に要するメモリ容量および処理時間が増大するので、適正なサイズにすることが好ましい。

ブロック分割部１４１は、ブロックにおける画像データ（以下、「ブロックデータ」とも称する。）をブロックの画面における位置順にデータ分配部１４２へ出力する。

データ分配部１４２は、ブロック分割部１４１から受けるブロックデータを分配する。より詳細には、データ分配部１４２は、各ブロックデータを先頭から順に、後段の可逆圧縮部１４３において並列処理可能な数ごとに可逆圧縮部１４３へ出力する。

可逆圧縮部１４３は、たとえば複数の可逆的な圧縮処理を並列して行うことが可能である。可逆圧縮部１４３において用いられる可逆圧縮のアルゴリズムは、たとえば専用の半導体集積回路により実装される。ここで、可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが可能なように圧縮することであり、一般に圧縮率が低く、画像により圧縮率が大きく変動する。具体的には、雑音に近い画像の圧縮率は低い。一方、シャープな画像の圧縮率は高い。

より詳細には、可逆圧縮部１４３は、データ分配部１４２から複数のブロックデータを受けると、受けたブロックデータを並列に可逆的に圧縮し、圧縮後のブロックデータ（以下、「可逆ブロックデータ」とも称する。）を方式選択部１４５へ出力する。

映像圧縮部１４は、たとえば、アルゴリズムの選択結果を示す選択情報を作成する。より詳細には、映像圧縮部１４における方式選択部１４５は、可逆圧縮部１４３から可逆ブロックデータを受けると、受けた可逆ブロックデータのサイズに基づいて、可逆ブロックデータの圧縮率を確認する。

具体的には、方式選択部１４５は、可逆ブロックデータのサイズと所定サイズＢＳとの比を算出することにより可逆ブロックデータの圧縮率を確認する。ここで、所定サイズＢＳは、たとえばブロックデータを所定値Ａ１の圧縮率で圧縮したときのサイズである。

方式選択部１４５は、確認した圧縮率が所定値Ａ１である場合、すなわち、可逆ブロックデータのサイズが所定サイズＢＳである場合、可逆圧縮を行ったことを示す選択情報および圧縮方法を含む圧縮情報Ｒを可逆ブロックデータに付加する。圧縮情報は、たとえばフラグビットにより表される。

また、方式選択部１４５は、可逆ブロックデータのサイズが所定サイズＢＳより小さい場合、可逆ブロックデータにパディングを施すことにより可逆ブロックデータのサイズを所定サイズＢＳにした後、圧縮情報Ｒを可逆ブロックデータに付加する。

また、方式選択部１４５は、可逆ブロックデータのサイズが所定サイズＢＳより大きい場合、可逆ブロックデータを破棄するとともに、当該可逆ブロックデータの順番をデータ分配部１４２へ通知する。

データ分配部１４２は、方式選択部１４５から順番の通知を受けると、通知された順番のブロックデータを非可逆圧縮部１４４へ出力する。

非可逆圧縮部１４４は、たとえば、圧縮後のサイズを設定することが可能な、Visually Lossless CompressionまたはVisually Reversible Compressionと呼ばれるアルゴリズムを用いてブロックデータを非可逆的に圧縮する。非可逆圧縮部１４４において用いられる非可逆圧縮のアルゴリズムは、たとえば専用の半導体集積回路に実装される。ここで、非可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが不可能なように圧縮することである。ただし、Visually Lossless CompressionまたはVisually Reversible Compressionと呼ばれるアルゴリズムは、視覚的な可逆性を有する圧縮方法である。

具体的には、非可逆圧縮部１４４は、データ分配部１４２から受けるブロックデータを、圧縮後のサイズが所定サイズＢＳになるように非可逆的に圧縮し、圧縮後のブロックデータ（以下、「非可逆ブロックデータ」とも称する。）を方式選択部１４５へ出力する。

方式選択部１４５は、非可逆圧縮部１４４から非可逆ブロックデータを受けると、受けた非可逆ブロックデータに、非可逆圧縮を行ったことを示す選択情報と圧縮方法および圧縮パラメータとを含む圧縮情報Ｉを非可逆ブロックデータに付加する。

以下、可逆ブロックデータおよび非可逆ブロックデータの各々を、「圧縮ブロックデータ」とも称する。方式選択部１４５は、圧縮ブロックデータを位置順に多重化部１５へ出力する。

＜映像受信装置２０の構成＞
図７は、本発明の実施の形態１に係る映像受信装置の構成を示すブロック図である。
図７を参照して、映像受信装置２０は、受信部２１と、復号化部２２と、映像分離部２３と、映像メモリ２４Ａ〜２４Ｈ（以下、映像メモリ２４Ａ〜２４Ｈを区別しない場合には、「映像メモリ２４」と称する。）と、映像伸長部２５Ａ〜２５Ｈ（以下、映像伸長部２５Ａ〜２５Ｈを区別しない場合には、「映像伸長部２５」と称する。）と、入力受付部２６と、注目映像決定部２７と、映像指定情報伝送部２８と、送信部２９とを備える。なお、映像メモリ２４および映像伸長部２５の数は、８に限定されるものではない。

映像受信装置２０の一部または全部は、ＡＳＩＣまたはＦＰＧＡ等の集積回路等を含むハードウェアにより実現される。

なお、映像受信装置２０は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備えるコンピュータにより実現することもできる。ＣＰＵ等の演算処理装置上でコンピュータプログラムを実行することにより、各処理部は機能的な構成要素として実現される。

受信部２１は、通信インタフェースを含んで構成される。受信部２１は、ネットワーク６０を介して映像送信装置１０から、フレームごとに、符号化された多重化データを受信する。受信部２１は、受信した符号化された多重化データを復号化部２２に出力する。

復号化部２２は、フレームごとに、受信部２１から符号化された多重化データを受け、当該多重化データを復号化する。復号化部２２は、復号化した多重化データを映像分離部２３に出力する。

映像分離部２３は、フレームごとに、映像分離部２３から多重化データを受ける。また、映像分離部２３は、後述する注目映像決定部２７から、映像指定情報を受ける。映像分離部２３は、映像指定情報に基づいて、多重化データを複数の圧縮画面データに分離する。例えば、映像分離部２３は、図５の（Ｂ）に示すような多重化データをフレームごとに受けたとする。また、映像指定情報は映像データＡの識別子を含んでいるものとする。この場合、映像分離部２３は、多重化データの先頭から半分のデータを、映像指定情報が示す映像データＡの圧縮画面データとして分離する。また、映像分離部２３は、多重化データの半分から終了までのデータを、映像データＢ〜Ｈから抽出され圧縮された圧縮画面データとして分離する。

なお、映像分離部２３は、フレームごとに、多重化データにどの映像データＢ〜Ｈの圧縮画面データが含まれているかを事前に知っているものとする。つまり、映像分離部２３は、映像送信装置１０の間引き制御部１３による間引きのルールを、事前に知っているものとする。これにより、映像分離部２３は、フレームごとに、多重化データにどの映像データの圧縮画面データが含まれるかを知ることができる。例えば、映像指定情報が映像データＡの場合には、映像データＢ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈの順に間引き処理が行われるという間引きのルールを、映像分離部２３と間引き制御部１３との間で共有している。

映像分離部２３は、さらに、分離した映像データＡ〜Ｈの圧縮画面データを、それぞれ、映像メモリ２４Ａ〜２４Ｈに出力する。

映像メモリ２４Ａ〜２４Ｈは、それぞれ、映像分離部２３から受けた映像データＡ〜Ｈの圧縮画面データを記憶する。映像メモリ２４Ａ〜２４Ｈは、ＤＲＡＭ等のメモリにより構成される。

映像伸長部２５Ａ〜２５Ｈは、それぞれ、映像メモリ２４Ａ〜２４Ｈから、映像メモリ２４Ａ〜２４Ｈに記憶された圧縮画面データをそれぞれ読み出し、読み出した圧縮画面データを伸長する。伸長処理については後述する。映像伸長部２５Ａ〜２５Ｈは、表示制御部として機能し、伸長処理後の画面データを、表示装置４０Ａ〜４０Ｈにそれぞれ表示する。

なお、上述の例では、映像データＡ以外の映像データＢ〜Ｈに対して間引き処理が施されている。このため、映像伸長部２５Ｂ〜２５Ｈは、画面データが間引かれたフレームについては、映像メモリ２４Ｂ〜２４Ｈに記憶されている最新の圧縮画面データを読み出して、伸長処理を行う。

図８および図９は、本発明の実施の形態１に係る映像伸長部による間引きフレームについての伸長処理を説明するための図である。

例えば、図８に示すように、映像データＢについて、第２〜第７フレームの画面データと、第９〜第１４フレームの画面データが間引かれているとする。このため、図９に示すように、映像伸長部２５Ｂは、第１〜第７フレームにおいて、第１フレームの圧縮画面データを繰り返し読み出して伸長処理を行い、第８〜第１４フレームにおいて、第８フレームの圧縮画面データを繰り返し読み出して伸長処理を行う。

このような処理により、表示装置４０Ｂ〜４０Ｈは、フレームが間引かれた映像データをコマ落ちさせることなく再生することができる。ただし、画面データは７フレームごとにしか更新されないため、いわゆるカクカクした動きの映像が再生される。

入力受付部２６は、ユーザ３が入力装置５０を操作して指定した、ユーザが注目している映像データの情報を受け付け、受け付けた情報を注目映像決定部２７に出力する。

注目映像決定部２７は、受け付けた情報から、ユーザが注目している映像データの識別子を含む映像指定情報を作成し、作成した映像指定情報を映像分離部２３および映像指定情報伝送部２８に出力する。

例えば、入力装置５０は、キーボードやマウス等である。ユーザは、表示装置４０Ａ〜４０Ｈに表示されている映像データＡ〜Ｈの中から、注目している映像データの識別子を、入力装置５０を操作して入力する。入力受付部２６は、ユーザが入力した映像データの識別子を、ユーザが注目している映像データの情報として受け付ける。注目映像決定部２７は、入力受付部２６が受け付けた映像データの識別子を含む映像指定情報を作成する。

なお、入力装置５０は、ユーザの視線を検知する視線検知装置であってもよい。例えば、入力装置５０は、ユーザの目元を撮影した映像データからユーザの視線方向を検知する。入力受付部２６は、入力装置５０が検知したユーザの視線方向の情報を受け付け、当該情報を注目映像決定部２７に出力する。注目映像決定部２７は、入力受付部２６から受け付けた視線方向の情報に基づいて、ユーザがどの表示装置４０を見ているかを判断する。注目映像決定部２７は、ユーザの視線の先にある表示装置４０に表示されている映像データの識別子を、ユーザが注目している映像データの情報として、当該識別子を含む映像指定情報を作成する。

映像指定情報伝送部２８は、注目映像決定部２７から映像指定情報を受け、当該映像指定情報を送信部２９に出力する。

送信部２９は、通信インタフェースを含んで構成され、映像指定情報伝送部２８から映像指定情報を受け、当該映像指定情報をネットワーク６０を介して映像送信装置１０に送信する。

＜映像伸長部２５の構成＞
図１０は、本発明の実施の形態１に係る映像伸長部の詳細な構成を示すブロック図である。
図１０を参照して、映像伸長部２５は、伸長部２５１と、ブロック合成部２５３とを含む。

映像伸長部２５は、映像メモリ２４に記憶されている圧縮画面データにおいて、ブロックごとにデータの伸長処理を行う。また、映像伸長部２５は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムをブロックごとに選択可能である。

たとえば、映像伸長部２５は、映像送信装置１０から受信した選択情報を用いて伸長処理を行う。

より詳細には、映像伸長部２５における伸長部２５１は、映像メモリ２４に記憶されている圧縮画面データから圧縮ブロックデータを位置順に読み出し、読み出した圧縮ブロックデータから圧縮情報Ｒまたは圧縮情報Ｉを取得する。

伸長部２５１は、取得した圧縮情報が圧縮情報Ｒである場合には、圧縮情報Ｒから選択情報および圧縮方法を取得する。伸長部２５１は、取得した選択情報に基づいて、読み出した圧縮ブロックデータが可逆ブロックデータであることを認識し、圧縮情報Ｒを取り除いた可逆ブロックデータを、取得した圧縮方法に従って伸長する。

一方、伸長部２５１は、取得した圧縮情報が圧縮情報Ｉである場合には、圧縮情報Ｉから選択情報、圧縮方法および圧縮パラメータを取得する。伸長部２５１は、取得した選択情報に基づいて、読み出した圧縮ブロックデータが非可逆ブロックデータであることを認識し、圧縮情報Ｉを取り除いた非可逆ブロックデータを、取得した圧縮方法に従って、取得した圧縮パラメータを用いて伸長する。

伸長部２５１において用いられる可逆伸縮のアルゴリズムおよび非可逆伸縮のアルゴリズムは、たとえば専用の半導体集積回路に実装される。

伸長部２５１は、伸長後のブロックデータを位置順にブロック合成部２５３へ出力する。

ブロック合成部２５３は、伸長部２５１から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部２５１から受けた順番に並べることにより１画面を完成させる。ブロック合成部２５３は、完成させた１画面を示す画面情報を表示装置４０へ出力する。

＜映像伝送システム１の処理シーケンス＞
図１１は、本発明の実施の形態１に係る映像伝送システムが実行する処理のシーケンスを示す図である。
映像伝送システム１は、図１１に示すシーケンス処理を、フレームごとに繰り返し実行する。

映像受信装置２０の注目映像決定部２７は、ユーザ３が注目している映像データを決定する（Ｓ１）。

映像受信装置２０の映像指定情報伝送部２８および送信部２９は、ユーザ３が注目している映像データの識別子を含む映像指定情報を、映像送信装置１０に送信する（Ｓ２）。映像送信装置１０の受信部１８は、映像指定情報を受信し、映像送信装置１０の映像指定情報伝送部１９は、受信部１８が受信した映像指定情報を間引き制御部１３に出力する。なお、映像受信装置２０は、フレームごとに映像指定情報を映像送信装置１０に送信するようにしてもよいし、映像指定情報の変更があった場合のみ映像指定情報を送信するようにしてもよい。

映像送信装置１０の同期処理部１１は、カメラ３０Ａ〜３０Ｈがそれぞれ撮影した映像データＡ〜Ｈを取得する（Ｓ３）。
同期処理部１１は、映像データＡ〜Ｈの同期処理を行う（Ｓ４）。

映像送信装置１０の間引き制御部１３および間引き処理部１２Ａ〜１２Ｈは、映像データＡ〜Ｈのうち、映像指定情報が示す映像データを除く映像データに対して、フレームの間引き処理を行う（Ｓ５）。

映像送信装置１０の映像圧縮部１４Ａ〜１４Ｈは、間引き処理後の映像データＡ〜Ｈを、それぞれ、画面データごとに圧縮する（Ｓ６）。映像圧縮処理の詳細については後述する。

映像送信装置１０の多重化部１５は、圧縮処理済みの映像データＡ〜Ｈを多重化する（Ｓ７）。

映像送信装置１０の符号化部１６は、多重化データを符号化する（Ｓ８）。

送信部１７は、符号化済みの多重化データを映像受信装置２０に送信する（Ｓ９）。映像受信装置２０の受信部２１は、符号化済みの多重化データを受信する。

映像受信装置２０の復号化部２２は、符号化済みの多重化データを復号化する（Ｓ１０）。

映像受信装置２０の映像分離部２３は、復号化された多重化データを複数の圧縮画面データに分離し、各圧縮画面データを、当該圧縮画面データの映像データに対応する映像メモリ２４に書き込む（Ｓ１１）。

映像伸長部２５Ａ〜２５Ｈは、映像メモリ２４Ａ〜２４Ｈから、最新フレームの圧縮画面データを読み出し、読み出した圧縮画面データを伸長する（Ｓ１２）。映像伸長処理の詳細については後述する（Ｓ１２）。

映像伸長部２５Ａ〜２５Ｈは、伸長後の画面データを表示装置４０Ａ〜４０Ｈにそれぞれ出力する。これにより、表示装置４０Ａ〜４０Ｈは、映像データＡ〜Ｈの画面データをそれぞれ表示する（Ｓ１３）。

＜映像圧縮処理の処理シーケンス＞
図１２は、本発明の実施の形態１に係る映像送信装置が映像データにおける１画面の圧縮処理を行う際の動作手順を定めたフローチャートである。

図１２を参照して、ブロック分割部１４１は、間引き処理部１２から１画面分の映像データを取得する。ブロック分割部１４１は、取得した１画面分の映像データの示す画面を複数のブロックに分割する（Ｓ１０４）。

データ分配部１４２は、分割した複数のブロックのブロックデータの中からブロックデータを選択し、選択したブロックデータを可逆圧縮部１４３に分配する。可逆圧縮部１４３は、分配されたブロックデータを可逆圧縮処理する（Ｓ１０６）。

方式選択部１４５は、圧縮ブロックデータのデータサイズが、圧縮率が所定値Ａ１に相当するサイズすなわち所定サイズＢＳより大きい場合（Ｓ１０８でＹＥＳ）、可逆ブロックデータを破棄するとともに、当該可逆ブロックデータの順番をデータ分配部１４２へ通知する。データ分配部１４２は、当該ブロックデータを非可逆圧縮部１４４に分配し、非可逆圧縮部１４４は、当該ブロックデータを非可逆圧縮処理する（Ｓ１２０）。

非可逆圧縮部１４４は、非可逆圧縮処理後の圧縮ブロックデータに圧縮情報Ｉを付加する（Ｓ１２２）。

一方、可逆圧縮部１４３は、圧縮ブロックデータのデータサイズが所定サイズＢＳより小さい場合（Ｓ１０８でＮＯおよびＳ１１０でＹＥＳ）、圧縮ブロックデータのデータサイズが所定サイズＢＳとなるように圧縮ブロックデータにパディングを施す（Ｓ１１２）。

可逆圧縮部１４３は、圧縮ブロックデータのデータサイズが所定サイズＢＳであるか（Ｓ１０８でＮＯおよびＳ１１０でＮＯ）、または圧縮ブロックデータにパディングを施すと（Ｓ１１２）、圧縮ブロックデータに圧縮情報Ｒを付加する（Ｓ１１４）。

データ分配部１４２は、圧縮ブロックデータに圧縮情報Ｉを付加するか（Ｓ１２２）、または圧縮ブロックデータに圧縮情報Ｒを付加すると（Ｓ１１４）、すべてのブロックデータを選択したか否かを確認する（Ｓ１１６）。

データ分配部１４２は、すべてのブロックデータを選択していないことを確認すると（Ｓ１１６でＮＯ）、分割した複数のブロックのブロックデータの中から新たなブロックデータを選択し、選択したブロックデータを可逆圧縮部１４３に分配する。可逆圧縮部１４３は、分配されたブロックデータを可逆圧縮処理する（Ｓ１０６）。

データ分配部１４２がすべてのブロックデータを選択したことを確認すると（Ｓ１１６でＹＥＳ）、方式選択部１４５は、圧縮ブロックデータを位置順に多重化部１５へ送信する（Ｓ１１８）。

なお、映像圧縮部１４は、ブロックデータを可逆圧縮処理してから（Ｓ１０６）、圧縮ブロックデータのデータサイズが所定サイズＢＳより大きいブロックの画像データを非可逆圧縮処理したが（Ｓ１０８でＹＥＳおよびＳ１２０）、これに限定するものではない。映像圧縮部１４は、ブロックデータを非可逆圧縮処理してから、当該ブロックデータを可逆圧縮処理してもよいし、非可逆圧縮処理および可逆圧縮処理を並行して行ってもよい。

また、映像圧縮部１４は、ブロックデータを可逆圧縮処理してから（Ｓ１０６）、圧縮ブロックデータのデータサイズが所定サイズＢＳより大きいか否かを判定したが（Ｓ１０８）、これに限定するものではない。映像圧縮部１４は、ブロックデータの可逆圧縮処理の途中において、圧縮処理後のデータサイズが所定サイズＢＳより大きくなることが明らかになったとき、当該可逆圧縮処理を中断して非可逆圧縮処理を開始してもよい。

映像圧縮部１４が、１画面分の映像データを間引き処理部１２から取得するごとに上記ステップＳ１０４〜Ｓ１２２の動作を行うことにより、複数の画面の画面データを含む映像データの圧縮処理が行われる。

＜映像伸長処理の処理シーケンス＞
図１３は、本発明の実施の形態１に係る映像受信装置が映像データにおける１画面の伸長処理を行う際の動作手順を定めたフローチャートである。

図１３を参照して、伸長部２５１は、映像メモリ２４に記憶されている圧縮画面データから圧縮ブロックデータを取得する（Ｓ２０２）。

伸長部２５１は、圧縮ブロックデータに付加された圧縮情報Ｒまたは圧縮情報Ｉに基づいて、当該圧縮ブロックデータが可逆圧縮されたか否かを判定する（Ｓ２０４）。

伸長部２５１は、当該圧縮ブロックデータが可逆圧縮されたと判定すると（Ｓ２０４でＹＥＳ）、圧縮情報Ｒに基づいて、当該圧縮ブロックデータすなわち可逆ブロックデータを伸長する（Ｓ２０６）。

一方、伸長部２５１は、当該圧縮ブロックデータが非可逆圧縮されたと判定すると（Ｓ２０４でＮＯ）、圧縮情報Ｉに基づいて、当該圧縮ブロックデータすなわち非可逆ブロックデータを伸長する（Ｓ２１４）。

次に、映像伸長部２５は、可逆ブロックデータを伸長するか（Ｓ２０６）、または非可逆ブロックデータを伸長すると（Ｓ２１４）、１画面分のブロックデータが蓄積されたか否かを判定する（Ｓ２０８）。

映像伸長部２５は、１画面分のブロックデータが蓄積されていないと判定すると（Ｓ２０８でＮＯ）、映像メモリ２４に記憶されている圧縮画面データから新たな圧縮ブロックデータを取得する（Ｓ２０２）。

一方、映像伸長部２５が１画面分のブロックデータが蓄積されたと判定すると（Ｓ２０８でＹＥＳ）、ブロック合成部２５３は、蓄積したブロックデータを用いて１画面を生成する（Ｓ２１０）。

ブロック合成部２５３は、生成した１画面を所定のフレーム周期で表示装置４０に表示する制御を行う（Ｓ２１２）。

映像伸長部２５が、１画面分のブロックデータを蓄積し、蓄積したブロックデータを用いて生成した１画面を表示装置４０に表示する上記ステップＳ２０２〜Ｓ２１２の動作を繰り返し行うことにより、複数の画面の画面データを含む映像データの伸長処理が行われる。

＜実施の形態１の効果等＞
以上説明したように、本発明の実施の形態１によると、映像送信装置１０は、映像指定情報で指定された所定の映像データのフレームレートよりも指定されなかった他の映像データのフレームレートが低くなるように間引き処理を行った後、複数の映像データを映像受信装置２０に送信する。映像受信装置２０は、間引き処理後の複数の映像データを表示装置４０に表示することができる。このような間引き処理を行うことにより、間引き処理を行わない場合に比べて複数の映像データの伝送量を減少させることができるため、複数の映像データを低遅延で伝送することができる。また、所定の映像データは、他の映像データに比べ高フレームレートであるため、所定の映像データを操作対象（例えば、車両２）の操作に必要な映像データとすることにより、操作対象の操作に必要な映像データを高画質で伝送することができる。

また、映像送信装置１０は、映像指定情報で指定された所定の映像データを間引かないことしている。このため、所定の映像データを高画質で伝送し、表示装置４０に表示することができる。これにより、ユーザは、所定の映像データを高画質な状態で見ることができる。

また、映像送信装置１０は、間引き処理後の複数の映像データを圧縮して、映像受信装置２０に配信している。これにより、複数の映像データをさらに低遅延で伝送することができる。

また、映像送信装置１０は、映像データの１画面を複数のブロックに分割し、ブロックごとに画像データの圧縮処理を実行している。圧縮処理の際、可逆圧縮のアルゴリズムおよび不可逆圧縮のアルゴリズムをブロックごとに選択可能である。このため、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを映像受信装置２０において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを映像受信装置２０において復元することができる。また、画面内の画像データを用いて圧縮処理を行うことで、画面間の画像データを用いて圧縮処理を行わないようにしてもよいので、処理負荷を軽減することができる。すなわち、映像送信装置１０および映像受信装置２０間のデータ伝送能力と、より多くのオリジナル映像データを送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。

また、映像受信装置２０は、車両２などの操作対象の操作に必要な映像データを指定することができる。このため、映像送信装置１０は、映像受信装置２０が所望する所定の映像データを高画質で送信することができる。また、映像受信装置２０は所定の映像データを高画質で表示することができる。

なお、映像受信装置２０のユーザは、車両２などの操作対象の操作に必要な映像データを指定することができる。このため、映像送信装置は、ユーザが指定した映像データを高画質で映像受信装置に送信することができ、映像受信装置は、ユーザが指定した映像データを高画質で表示することができる。また、映像送信装置は、ユーザが指定した映像データ以外の他の映像データをフレームレートが相対的に低くなるように間引いて、映像受信装置に送信することができる。これにより、複数の映像データを低遅延で伝送することができる。

なお、映像受信装置２０は、入力装置５０が検知したユーザの視線方向の情報に基づいて、ユーザが所望する映像データを指定することもできる。つまり、表示装置４０Ａ〜４０Ｈに表示された複数の映像データのうち、ユーザが視線を向けて見ている映像データをユーザが所望する映像データとして指定することができる。このため、映像送信装置１０はユーザが注視している映像データを高画質で映像受信装置２０に送信し、ユーザが注視していない他の映像データをフレームレートが相対的に低くなるように間引いて、映像受信装置２０に送信することができる。これにより、複数の映像データを低遅延で伝送することができる。

つまり、５Ｇの無線通信などの伝送能力が限定された通信環境においては、高精細な複数の映像データを伝送することは困難であるが、実施の形態１によると、ユーザが注視していない表示装置４０には間引き処理された映像が表示され、ユーザが注視する表示装置４０には毀損の無い映像が表示される。このため、ユーザにとって実用的な映像を表示することができる。

なお、本発明の実施の形態１に係る映像送信装置１０では、映像圧縮部１４は、ブロックデータの圧縮率が所定値Ａ１となるように圧縮処理を行う構成であるとしたが、これに限定するものではない。映像圧縮部１４は、当該圧縮率が所定範囲となるように圧縮処理を行う構成であってもよい。たとえば、映像圧縮部１４は、ブロックデータを可逆圧縮したときのデータサイズが、圧縮率の所定範囲における上限値に相当するサイズより大きい場合、当該サイズ以下を目標として当該ブロックデータを非可逆圧縮する。一方、映像圧縮部１４は、ブロックデータを可逆圧縮したときのデータサイズが、圧縮率の所定範囲における下限値に相当するサイズより小さい場合、データサイズが当該サイズになるようにパディングを施す。

また、本発明の実施の形態１に係る映像受信装置２０では、映像伸長部２５は、映像送信装置１０から受信した選択情報を用いて伸長処理を行う構成であるとしたが、これに限定するものではない。映像伸長部２５は、選択情報を用いず伸長処理を行う構成であってもよい。具体的には、たとえば、映像伸長部２５は、ブロックごとの画像データを可逆伸長することを試みる。映像伸長部２５は、可逆伸長処理に成功すると、伸長後の画像データを採用し、可逆伸長処理に失敗すると、当該画像データを非可逆伸長する。

また、本発明の実施の形態１では、映像指定情報で指定される映像データは１つとしたが、複数であってもよい。映像指定情報で複数の映像データが指定された場合には、指定された映像データのうち少なくとも一部のデータに対して間引き処理を施すようにしてもよい。例えば、互いに隣接する位置に配置された３つの表示装置４０へ表示される３つの映像データが映像指定情報で指定された場合には、中心の表示装置４０に表示される映像データは間引かずに、左右の表示装置４０に表示される映像データを間引くようにしてもよい。なお、その間引き間隔は、映像指定情報で指定されなかった間引き対象とされる映像データの間引き間隔よりも小さくするのが好ましい。

（実施の形態２）
実施の形態１では、映像送信装置１０が映像受信装置２０に映像データを送信する際に、１フレーム分の画面データを１フレームに収めて送信することとしたが、実施の形態２では、１フレーム分の画面データを複数フレームに亘って送信する例について説明する。

映像伝送システム１の構成は実施の形態１と同様である。このため、その詳細な説明はここでは繰り返さない。

なお、本実施の形態では、例えば、映像送信装置１０において、同期処理部１１は、映像データＡ〜Ｃを受けるものとする。また、映像送信装置１０が映像受信装置２０から受け取る映像指定情報において、映像データＡが指定されているものとする。

図１４は、本発明の実施の形態２に係る映像送信装置による間引き処理および多重化処理について説明するための図である。図１４を参照して、映像指定情報に映像データＡの識別子が含まれる場合の各処理について説明する。

間引き制御部１３は、映像データＡに対する間引き処理を実行しないように間引き処理部１２Ａを制御する。このため、図１４の（Ａ）に示すように、間引き処理部１２Ａは、映像データＡについて、間引き処理を実行せずに、全てのフレームの画面データが揃った映像データを出力する。

また、間引き制御部１３は、映像データＢおよびＣに対する間引き処理を実行するように間引き処理部１２Ｂおよび１２Ｃを制御する。例えば、間引き制御部１３は、映像データＢおよびＣから７フレーム間隔で画面データを抽出するように、間引き処理部１２Ｂおよび１２Ｃをそれぞれ制御する。

つまり、図１４の（Ａ）に示すように、間引き処理部１２Ｂおよび１２Ｃは、それぞれ、映像データＢおよびＣについて、間引き処理を実行する。ここで、間引かれたフレームの画面データは破線で示している。

具体的には、間引き処理部１２Ｂは、映像データＢおよび映像データＣの各々について、第１フレームを開始フレームとして、７フレーム間隔で画面データを抽出し、抽出されなかった画面データを間引く。これにより、第１フレームから第１１フレームのうち、第１フレームと第８フレームの画面データが抽出され、それ以外のフレーム画面データは間引かれる。

多重化部１５は、フレームごとに、間引き処理部１２Ａ〜１２Ｃで間引き処理され、映像圧縮部１４Ａ〜１４Ｃで圧縮処理された後の映像データＡ〜Ｃを多重化する。その際、多重化部１５は、間引き処理後の映像データＢおよびＣに含まれる各画面データを時分割し、複数のフレームに亘り多重化する。つまり、図１４の（Ｂ）に示すように、フレームごとに、映像データＡに含まれる画面データと、間引き処理部１２Ｂおよび１２Ｃの間引き処理により映像データＢおよびＣから抽出された画面データとを、多重化する。例えば、多重化部１５は、映像データＡに含まれる画面データの次に、映像データＢおよびＣから抽出され、時分割された画面データを結合することにより多重化を行うこととする。

具体的には、多重化部１５は、映像データに含まれる第１フレームの画面データと、映像データＢから抽出された第１フレームの画面データを７分割したデータのうち１番目のデータと、映像データＣから抽出された第１フレームの画面データを７分割したデータのうち１番目のデータとを多重化したデータを、第１フレームの多重化データとして出力する。

また、多重化部１５は、映像データに含まれる第２フレームの画面データと、映像データＢから抽出された第１フレームの画面データを７分割したデータのうち２番目のデータと、映像データＣから抽出された第１フレームの画面データを７分割したデータのうち２番目のデータとを多重化したデータを、第２フレームの多重化データとして出力する。

以下同様の処理を行うことで、多重化部１５は、７フレームかけて映像データＢおよびＣの第１フレームの画面データを多重化する。

映像データＢおよびＣの第２フレームの画面データについても、同様の処理を繰り返すことにより、多重化される。

映像受信装置２０の映像分離部２３は、フレームごとに、映像分離部２３から多重化データを受ける。また、映像分離部２３は、後述する注目映像決定部２７から、映像指定情報を受ける。映像分離部２３は、映像指定情報に基づいて、多重化データを複数の圧縮画面データに分離する。例えば、映像分離部２３は、図１４の（Ｂ）に示すような多重化データをフレームごとに受けたとする。また、映像指定情報は映像データＡの識別子を含んでいるものとする。この場合、映像分離部２３は、多重化データの先頭から第１所定サイズのデータを、映像指定情報が示す映像データＡの圧縮画面データとして分離する。また、映像分離部２３は、多重化データの残りのデータのうち第２所定サイズのデータを、映像データＢから抽出され圧縮された圧縮画面データの部分データとして分離する。さらに、映像分離部２３は、多重化データの残りのデータを、映像データＣから抽出され圧縮された圧縮画面データの部分データとして分離する。

なお、映像送信装置１０の映像圧縮部１４においては、各ブロックデータのサイズが所定サイズＢＳとなるように圧縮処理が行われる。このため、第１所定サイズおよび第２所定サイズは固定サイズとすることができる。

７フレーム分の部分データが映像メモリ２４Ｂおよび２４Ｃに記憶された段階で、１フレーム分の圧縮画面データが揃うことになる。映像伸長部２５Ｂおよび２５Ｃは、１フレーム分の圧縮画面データがそろった段階で、当該圧縮画面データを伸長する。映像伸長部２５Ｂおよび２５Ｃは、次の圧縮画面データが揃うまでの間、同じ圧縮画面データを毎フレーム伸長する。これにより、映像伸長部２５Ｂおよび２５Ｃは、それぞれ同じ画面データを７フレームに亘り表示装置４０Ｂおよび４０Ｃに表示する。

一方、映像伸長部２５Ａは、毎フレーム、映像データＡの圧縮画面データを伸長し、表示装置４０Ａに表示する。

以上説明したように、実施の形態２によると、間引き処理後の各画面データを時分割で送信することにより、フレーム間で伝送量を平準化することができる。これにより、映像データ伝送時の伝送レートを低く抑えることができる。

例えば、図１４に示した例において、間引き処理後の各画面データを時分割送信しない場合には、第１フレームにおいて、３枚の画面データを伝送し、第２〜第７フレームにおいて１枚の画面データを伝送する必要がある。このため、フレームごとに伝送量が異なるが、実施の形態２によると、フレーム間の伝送量を平準化することができる。

（実施の形態３）
実施の形態３では、映像送信装置および映像受信装置を低コストで構成する例について説明する。実施の形態１および２に示した映像送信装置および映像受信装置は、ＦＰＧＡにより実現可能である。しかし、映像データの取り扱いには大容量のメモリを要する。ＦＰＧＡには有限容量の内蔵メモリを備えるものがあるが、映像データを記憶するには容量不足であることが多い。また、大容量のメモリを内蔵するＦＰＧＡは高価である。

そこで、実施の形態３では、ＦＰＧＡとは別に汎用品の外付けメモリを用いて映像送信装置および映像受信装置を実現する例について説明する。

図１５は、本発明の実施の形態３に係る映像送信装置の構成を示すブロック図である。
図１５を参照して、映像送信装置１０Ａは、入力Ｉ／Ｆ部７１と、ＦＰＧＡ７２と、外付けメモリ７３と、送信部１７と、受信部１８とを備える。

入力Ｉ／Ｆ部７１は、カメラ３０とＦＰＧＡ７２とを接続するためのインタフェースである。入力Ｉ／Ｆ部７１は、カメラ３０が撮影した映像データを取得し、取得した映像データをＦＰＧＡ７２に出力する。

ＦＰＧＡ７２は、入力Ｉ／Ｆ部７１を介してカメラ３０から取得した映像データに対して、間引き処理、映像圧縮処理、多重化処理および符号化処理を施す集積回路である。

ＦＰＧＡ７２は、同期処理部１１と、間引き処理部１２Ａ〜１２Ｈと、間引き制御部１３と、映像圧縮部１４Ａ〜１４Ｈ、メモリＩ／Ｆ部７４と、多重化部１５と、符号化部１６と、映像指定情報伝送部１９とを含む。メモリＩ／Ｆ部７４以外の各処理部は、実施の形態１で説明したものと同様である。

メモリＩ／Ｆ部７４は、外付けメモリ７３とＦＰＧＡ７２を接続するためのインタフェースである。メモリＩ／Ｆ部７４は、映像圧縮部１４Ａ〜１４Ｈから出力される圧縮画面データを、外付けメモリ７３に書き込む。また、メモリＩ／Ｆ部７４は、外付けメモリ７３から圧縮画像データを読み出して、多重化部１５に出力する。

外付けメモリ７３は、ＦＰＧＡ７２の処理過程で生じるデータを一時的に記憶する記憶装置であり、例えば、ＤＤＲ３ ＳＤＲＡＭ（Double-Data-Rate3 Synchronous Dynamic Random Access Memory）やＤＤＲ４ ＳＤＲＡＭ（Double-Data-Rate4 Synchronous Dynamic Random Access Memory）などのＤＲＡＭにより構成される。

送信部１７は、実施の形態１に示したものと同様であり、通信インタフェースを含んで構成され、ＦＰＧＡ７２から、符号化された多重化データを受け、当該多重化データを、ネットワーク６０を介して、映像受信装置２０に送信する。

受信部１８は、実施の形態１に示したものと同様であり、通信インタフェースを含んで構成され、映像指定情報を、ネットワーク６０を介して映像受信装置２０から受信する。受信部１８は、受信した映像指定情報を、ＦＰＧＡ７２の映像指定情報伝送部１９に出力する。

図１６は、本発明の実施の形態３に係る映像受信装置の構成を示すブロック図である。
図１６を参照して、映像受信装置２０Ａは、受信部２１と、送信部２９と、ＦＰＧＡ８１と、外付けメモリ８２とを備える。

受信部２１は、実施の形態１に示したものと同様であり、通信インタフェースを含んで構成される。受信部２１は、ネットワーク６０を介して映像送信装置１０Ａから、フレームごとに、符号化された多重化データを受信する。受信部２１は、受信した符号化された多重化データを、ＦＰＧＡ８１の復号化部２２に出力する。

送信部２９は、実施の形態１に示したものと同様であり、通信インタフェースを含んで構成され、ＦＰＧＡ８１の映像指定情報伝送部２８から映像指定情報を受け、当該映像指定情報をネットワーク６０を介して映像送信装置１０Ａに送信する。

ＦＰＧＡ８１は、受信部２１が受信した符号化された多重化データに対して、復号化処理、映像分離処理および映像伸長処理を施す集積回路である。

ＦＰＧＡ８１は、復号化部２２と、映像分離部２３と、メモリＩ／Ｆ部８３と、映像伸長部２５Ａ〜２５Ｈと、入力受付部２６と、注目映像決定部２７と、映像指定情報伝送部２８とを含む。メモリＩ／Ｆ部８３以外の各処理部は、実施の形態１で説明したものと同様である。

メモリＩ／Ｆ部８３は、外付けメモリ８２とＦＰＧＡ８１を接続するためのインタフェースである。メモリＩ／Ｆ部８３は、映像分離部２３で分離された圧縮画面データを、外付けメモリ７３に書き込む。また、メモリＩ／Ｆ部８３は、外付けメモリ８２から圧縮画像データを読み出して、映像伸長部２５Ａ〜２５Ｈに出力する。

以上説明したように、実施の形態３に係る映像送信装置１０Ａおよび映像受信装置２０Ａは、ＦＰＧＡと外付けメモリとを組み合わせて構成され、処理の途中で発生する映像データを外付けメモリに記憶させる。外付けメモリとして、汎用のＤＲＡＭ等を用いることができる。このため、低コストで映像送信装置１０Ａおよび映像受信装置２０Ａを構成することができる。

また、８Ｋのデュアルグリーン方式の映像データの伝送レートは２４Ｇｂｐｓ程度であるため、そのままの形で映像データを外付けメモリに格納し、リアルタイム再生を行うのは、メモリアクセス速度の点から困難である。これに対し、実施の形態３では、間引き処理および圧縮処理を行った後の映像データを外付けメモリに格納しているため、メモリへ格納されるデータ容量を減らすことができ、これに伴いデータアクセス時間を短縮することができる。よって、リアルタイム再生も可能となる。このように、外付けメモリを利用して映像送信装置１０Ａおよび映像受信装置２０Ａを構成することができる。
なお、上記実施の形態の少なくとも一部を任意に組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 映像伝送システム
２ 車両
３ ユーザ
１０、１０Ａ 映像送信装置
１１ 同期処理部
１２、１２Ａ〜１２Ｈ 間引き処理部
１３ 間引き制御部
１４、１４Ａ〜１４Ｈ 映像圧縮部
１５ 多重化部
１６ 符号化部
１７ 送信部
１８ 受信部
１９ 映像指定情報伝送部
２０、２０Ａ 映像受信装置
２１ 受信部
２２ 復号化部
２３ 映像分離部
２４、２４Ａ〜２４Ｈ 映像メモリ
２５、２５Ａ〜２５Ｈ 映像伸長部
２６ 入力受付部
２７ 注目映像決定部
２８ 映像指定情報伝送部
２９ 送信部
３０、３０Ａ〜３０Ｈ カメラ
４０、４０Ａ〜４０Ｈ 表示装置
５０ 入力装置
６０ ネットワーク
７１ 入力Ｉ／Ｆ部
７２、８１ ＦＰＧＡ
７３、８２ 外付けメモリ
７４、８３ メモリＩ／Ｆ部
１４１ ブロック分割部
１４２ データ分配部
１４３ 可逆圧縮部
１４４ 非可逆圧縮部
１４５ 方式選択部
２５１ 伸長部
２５３ ブロック合成部

Claims (11)

1. 複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行し、前記間引き処理後の前記複数の映像データを送信する映像送信装置と、
   前記映像送信装置から受信した前記間引き処理後の前記複数の映像データを表示装置に表示する映像受信装置とを備え、
   前記映像送信装置は、前記間引き処理後の前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに、可逆圧縮のアルゴリズムによる圧縮処理後のブロックのデータサイズに基づいて可逆圧縮のアルゴリズム及び非可逆圧縮のアルゴリズムから選択されたアルゴリズムによる画像データの圧縮処理を、当該ブロックに対して行い、前記圧縮処理済みの前記複数の映像データを送信し、
   前記映像受信装置は、前記映像送信装置から受信した前記圧縮処理済みの前記複数の映像データの各々について、可逆圧縮後のブロックに対しては、可逆伸張のアルゴリズムによる画像データの伸長処理を実行し、不可逆圧縮後のブロックに対しては、不可逆伸長のアルゴリズムによる画像データの伸長処理を実行し、伸長処理後の前記複数の映像データを表示装置に表示する、映像伝送システム。
2. 前記映像送信装置は、前記間引き処理後の前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに可逆圧縮のアルゴリズムによる画像データの圧縮処理を行うとともに、可逆圧縮後のブロックのデータサイズが所定サイズよりも大きい場合には、可逆圧縮後のブロックの代わりに、可逆圧縮の対象とされたブロックに対して非可逆圧縮のアルゴリズムによる画像データの圧縮処理を行う、請求項１に記載の映像伝送システム。
3. 前記映像送信装置は、可逆圧縮後のブロックのデータサイズが前記所定サイズ未満の場合には、可逆処理後のブロックが前記所定サイズとなるように、当該ブロックにパディングを施す、請求項２に記載の映像伝送システム。
4. 前記映像送信装置は、非可逆圧縮後のブロックに対して、圧縮パラメータを含む圧縮情報を付加する、請求項１から請求項３のいずれか１項に記載の映像伝送システム。
5. 前記映像送信装置は、可逆圧縮又は不可逆圧縮されたブロックを当該ブロックの位置順に多重化する、請求項１から請求項４のいずれか１項に記載の映像伝送システム。
6. 複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行する間引き処理部と、
   前記間引き処理後の前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに、可逆圧縮のアルゴリズムによる圧縮処理後のブロックのデータサイズに基づいて可逆圧縮のアルゴリズム及び非可逆圧縮のアルゴリズムから選択されたアルゴリズムによる画像データの圧縮処理を、当該ブロックに対して行う映像圧縮部と、
   前記圧縮処理済みの前記複数の映像データを送信する送信部とを備える、映像送信装置。
7. 映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信する受信部と、
   前記受信部が受信した前記間引き処理後の前記複数の映像データを表示装置に表示する表示制御部とを備え、
   前記複数の映像データは、前記間引き処理後の前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに、可逆圧縮のアルゴリズムによる圧縮処理後のブロックのデータサイズに基づいて可逆圧縮のアルゴリズム及び非可逆圧縮のアルゴリズムから選択されたアルゴリズムによる画像データの圧縮処理を、当該ブロックに対して行うことにより得られる、映像受信装置。
8. 複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行するステップと、
   前記間引き処理後の前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに、可逆圧縮のアルゴリズムによる圧縮処理後のブロックのデータサイズに基づいて可逆圧縮のアルゴリズム及び非可逆圧縮のアルゴリズムから選択されたアルゴリズムによる画像データの圧縮処理を、当該ブロックに対して行うステップと、
   前記圧縮処理済みの前記複数の映像データを送信するステップとを含む、映像送信方法。
9. 映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信するステップと、
   受信した前記間引き処理後の前記複数の映像データを表示装置に表示するステップとを含み、
   前記複数の映像データは、前記間引き処理後の前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに、可逆圧縮のアルゴリズムによる圧縮処理後のブロックのデータサイズに基づいて可逆圧縮のアルゴリズム及び非可逆圧縮のアルゴリズムから選択されたアルゴリズムによる画像データの圧縮処理を、当該ブロックに対して行うことにより得られる、映像受信方法。
10. コンピュータを、
    複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理を実行する間引き処理部と、
    前記間引き処理後の前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに、可逆圧縮のアルゴリズムによる圧縮処理後のブロックのデータサイズに基づいて可逆圧縮のアルゴリズム及び非可逆圧縮のアルゴリズムから選択されたアルゴリズムによる画像データの圧縮処理を、当該ブロックに対して行う映像圧縮部と、
    前記圧縮処理済みの前記複数の映像データを送信する送信部として機能させるための、コンピュータプログラム。
11. コンピュータを、
    映像送信装置から、複数の映像データに対して、所定の映像データのフレームレートよりも前記所定の映像データを除く少なくとも１つの他の映像データのフレームレートを低くするフレームの間引き処理が実行された後の、前記複数の映像データを受信する受信部と、
    前記受信部が受信した前記間引き処理後の前記複数の映像データを表示装置に表示する表示制御部として機能させるための、コンピュータプログラムであって、
    前記複数の映像データは、前記間引き処理後の前記複数の映像データの各々について、１画面を複数のブロックに分割し、前記ブロックごとに、可逆圧縮のアルゴリズムによる圧縮処理後のブロックのデータサイズに基づいて可逆圧縮のアルゴリズム及び非可逆圧縮のアルゴリズムから選択されたアルゴリズムによる画像データの圧縮処理を、当該ブロックに対して行うことにより得られる、コンピュータプログラム。

Images