JP4921928B2 - 映像受信装置および映像受信方法 - Google Patents

Description

本発明は、映像（画像）を受信する映像受信装置に関し、特に、受信映像を効率的に処理する映像受信装置に関する。

例えば、図１に示されるようなネットワーク型の映像送受信システムでは、映像送信装置１と映像受信装置２がネットワーク３に接続され、映像送信装置１から出力される映像を映像受信装置２が入力として受け取る。
また、例えば、図２に示されるように、映像受信装置２は、内部構成として、映像パケット受信処理部２１と、画像伸長処理部２２を備えている。
なお、ここでは、説明の便宜上から、後述する本発明の実施例で参照する図１及び図２を用いて説明するが、本発明を不要に限定する意図は無い。

一般に、ＪＰＥＧに代表される各種の映像のフレームのサイズは１パケット分よりも大きいため、１フレームを幾つかのパケットに分割して送信する必要がある。
また、映像受信装置２は、映像送信装置１から圧縮処理された映像を受信した後に、圧縮された当該映像を伸長する必要がある。従来では、映像受信装置２は、１フレーム分の映像を全て受信した後に当該受信したフレームの映像の伸長処理を行うというように、受信処理と伸長処理を逐次的に行っていた。

図５には、映像受信装置２における処理のタイムチャートの一例を示してある。なお、図５における横軸は時刻ｔを表している。この処理は、例えば、映像受信装置２に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により行われる。
図５に示されるように、映像受信装置２では、Ｎ番目のフレーム（Ｎ）の映像パケットの受信処理が完了した後に、当該受信したＮ番目のフレーム（Ｎ）の映像に対する伸長処理（画像伸長処理）が行われ、それが完了した後に、次のフレームである（Ｎ＋１）番目のフレーム（Ｎ＋１）の映像パケットの受信処理が行われるというように、受信処理と伸長処理が交互に行われる。なお、Ｎは整数を表す。

また、本例では、１フレーム分の映像をネットワーク３から受信する処理に要する時間（Ｔ１）が３３［ｍｓ］より小さい（つまり、（Ｔ１）＜３３［ｍｓ］）としてあるとともに、受信した１フレーム分の映像を伸長する処理に要する時間（Ｔ２）と前記時間（Ｔ１）との総和時間が３３［ｍｓ］より大きい（つまり、（Ｔ１）＋（Ｔ２）＞３３［ｍｓ］）としてある。この場合、３０［ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）］のフレームレートは実現できていない。

ここで、１フレームを構成する１つ目のパケットを受け取ってから最終的にそのフレームの映像を表示するために要する時間をＴとすると、Ｔは（式１）のように表される。
また、ネットワーク３からの受信時間（Ｔ１）は、（式２）のように表される。

（数１）
Ｔ＝｛ネットワークからの受信時間（Ｔ１）｝
＋｛画像伸長時間（Ｔ２）｝
・・（式１）

（数２）
｛ネットワークからの受信時間（Ｔ１）｝
＝｛フレームサイズ｝／＊Ｍｉｎ（Ａ：Ｂ）
Ａ＝｛映像送信装置からの送信速度（Ｔ３）｝
Ｂ＝｛映像受信装置での受信速度（Ｔ４）｝

ここで、＊Ｍｉｎ（Ａ：Ｂ）は、ＡとＢのうちで値が小さい方を取る関数を表している。
・・（式２）

仮に、送信側の速度が受信側の速度よりも遅い場合には、送信側の送信速度（Ｔ３）＜受信側の受信速度（Ｔ４）となり、ネットワークからの受信時間（Ｔ１）は、受信側の受信速度（Ｔ４）には依存せずに、映像送信装置１のネットワーク送信速度により決定してしまう。
このため、例えば、映像受信装置２で３０［ｆｐｓ］の画像を表示するためには、およそＴ＜３３［ｍｓ］を満たしている必要があるが、ネットワークからの受信時間（Ｔ１）に３０［ｍｓ］を要し、画像伸長時間（Ｔ２）に１０［ｍｓ］を要するような場合には、３０［ｆｐｓ］のフレームレートを実現することが不可能となってしまう。

なお、上記従来技術は、発明者が既に知られていることと認識して記述したものであるが、適切な文献が見出せなかったので、従来技術文献情報の記載をしていない。

上述のように、従来の映像受信装置２では、映像送信装置１のネットワーク送信速度（Ｔ３）が映像受信装置２のネットワーク受信速度（Ｔ４）よりも遅いために、フレームレートの値が小さくなってしまうことが生じるといった問題があった。
本発明は、このような従来の事情に鑑み為されたもので、受信映像を効率的に処理することができる映像受信装置を提供することを目的とする。

ここで、このような従来の課題に関して、次のことに着眼した。
すなわち、映像受信装置２のネットワーク受信速度（Ｔ４）が映像送信装置１のネットワーク送信速度（Ｔ３）に比べて十分に速い場合には、ネットワーク３からの受信時間（Ｔ１）の時間帯では、映像送信装置１からのパケット待ちになっている時間が多くを占めることとなる。
図６には、映像送信装置１のネットワーク送信速度（Ｔ３）＜映像受信装置２のネットワーク受信速度（Ｔ４）である場合について、映像受信装置２における処理のタイムチャートの一例を示してある。なお、図６における横軸は時刻ｔを表している。

図６に示されるように、ネットワーク３からの受信処理を行う時間帯では、実際に映像パケットを受信処理する時間以外に、受信対象となる映像パケットを待つ時間が発生する。
一例として、映像受信装置２のネットワーク受信速度（Ｔ４）が映像送信装置１のネットワーク送信速度（Ｔ３）と比べて１０倍であり、ネットワーク３からの受信時間（Ｔ１）が３０［ｍｓ］であった場合には、映像受信装置２での実際の受信処理時間は３［ｍｓ］となる。このように、ネットワーク３からのパケット待ちになっている無駄な時間が多く発生する。
後述する実施例では、このような着眼点に基づいて処理の効率化を図る。

上記目的を達成するため、本発明では、送信側から送信された映像を受信する映像受信装置において、次のような構成とした。
すなわち、受信処理手段が、前記送信側からの映像の送信速度と比べて速い受信速度で、前記送信側から送信された映像を受信処理する。映像処理手段が、前記受信処理手段により前記送信側から送信された映像を受信処理することが非実行状態（つまり、受信処理しない状態）となる受信待ちの時間を使用して、前記受信処理手段により受信処理された映像に対して所定の処理を行う。

従って、送信側からの送信速度と比べて受信側での受信速度が速く、つまり、同一の量の映像信号について送信側からの送信処理に要する時間と比べて受信側での受信処理に要する時間が短い場合に、受信側では、送信側からの映像の受信待ちとなる空き時間を使用して、既に受信処理された映像に対する処理（受信処理より後段の所定の処理）が行われるため、受信映像を効率的に処理することができる。

ここで、送信側としては、例えば、映像を送信する映像送信装置が用いられる。
また、送信側と受信側（映像受信装置）との通信は、例えば、ネットワークやバスなどの伝送媒体を介して行われる。
また、映像としては、例えば、デジタル信号（デジタルのデータ）として処理されるが、アナログ信号として処理されてもよく、また、処理の手順毎に、デジタル信号又はアナログ信号のうちの好ましい方へ変換されて処理されてもよい。
また、例えば、送信側で圧縮した映像を送信し、受信側（映像受信装置）で受信した圧縮映像を伸長する構成が用いられてもよい。
また、通信（送信及び受信）の方式としては、種々な方式が用いられてもよく、一例として、通信対象となる映像のフレームを複数に分割してなるパケットを単位として通信するような構成を用いることができる。

また、受信処理手段により行う受信処理としては、例えば、送信されてきた映像を受け取る処理が用いられ、或いは、送信されてきた映像を受け取る処理に加えて、受け取った映像を記憶や加工するような処理を含んでもよい。なお、受信映像の加工としては、例えば、パケット通信が用いられる場合に、１フレームを構成する複数の受信パケットを元の位置に配置するような処理（つまり、元のフレームを再生する処理）を用いることができる。

また、映像処理手段により行う所定の処理としては、受信処理手段により行われる受信処理より後段の種々な処理が用いられてもよく、一例として、圧縮された映像が通信される場合に、受信処理手段により受信処理された圧縮映像のフレームを伸長して圧縮前の映像のフレームを生成する処理（伸長処理）を用いることができる。
また、受信待ちの時間を使用して所定の処理を行う対象としては、例えば、その時点で受信中である映像よりも以前に受信されて受信処理が完了している映像が用いられる。一例として、現在において受信中である映像フレームの受信待ちの時間を使用して、その映像フレームよりも以前に受信処理された過去の映像フレームに対する処理を行うような構成を用いることができる。

なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理（手順）を当該コンピュータに実行させる。

以上説明したように、本発明に係る映像受信装置によると、送信側からの送信速度と比べて受信側での受信速度が速い場合に、送信側からの受信待ちとなる空き時間を使用して、既に受信処理された映像に対する処理を行うようにしたため、受信映像を効率的に処理することができる。

本発明に係る実施例を図面を参照して説明する。
図１には、本発明の一実施例に係るネットワーク型の映像送受信システムの構成例を示してある。
本例の映像送受信システムは、映像送信装置１と、映像受信装置２と、ネットワーク３を有している。映像送信装置１と映像受信装置２はネットワーク３に接続されている。
本例では、ネットワーク３としてはＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）のネットワークが用いられており、ＩＰのパケット１１を用いて通信が行われる。

図２には、映像受信装置２の内部構成例を示してある。
本例の映像受信装置２は、映像パケット受信処理部２１と、画像伸長処理部２２を備えている。本例では、映像受信装置２における各種の処理（本例では、受信処理及び伸長処理を含む処理）は、映像受信装置２に備えられたＣＰＵ（本例では、これらの処理に共通に使用されるＣＰＵ）により制御されて実行される。

本例では、映像送信装置１は、送信対象となる映像（映像のデータ）をＪＰＥＧなどの圧縮方式により圧縮して映像のフレームを生成し、１つのフレームを複数のパケット１１に分割して送信する態様で、複数のフレームの映像をネットワーク３を介して映像受信装置２に対して送信する。なお、映像送信装置１から送信される映像としては、種々なものが用いられてもよく、例えば、映像送信装置１に接続されたカメラにより撮影された映像や、映像送信装置１のメモリに記憶されていた映像などを用いることができる。

映像受信装置２では、映像パケット受信処理部２１が、映像送信装置１から送信されたパケット１１をネットワーク３を介して受信して、パケット分割前の映像のフレームを生成する処理を行う。また、画像伸長処理部２２が、映像パケット受信処理部２１により生成されたフレームの映像（圧縮された映像のデータ）に対して伸長処理を行って、元の映像（圧縮前の映像のデータ）を再生する。再生された映像は、外部へ出力され、一例として、外部の表示装置へ出力されて当該表示装置の画面に表示出力される。
ここで、本例では、受信された１フレーム分の複数のパケット１１からそのフレームを生成する処理を映像パケット受信処理部２１により行う構成としたが、他の構成例として、このようなフレーム生成処理を画像伸長処理部２２により行う構成とすることもできる。

本例の映像受信装置２において行われる処理について更に詳しく説明する。
本例では、従来において、ネットワーク３からの受信時間（Ｔ１）＜３３［ｍｓ］であるが、｛ネットワーク３からの受信時間（Ｔ１）＋画像伸長時間（Ｔ２）｝＞３３［ｍｓ］であるために、３０［ｆｐｓ］のフレームレートが実現できていないとし、本例によって、３０［ｆｐｓ］のフレームレートを実現するという場合を例として説明する。ここで、このような数値は説明のための一例であり、特に限定されるものではない。
なお、映像送信装置１のネットワーク送信速度（Ｔ３）＜映像受信装置２のネットワーク受信速度（Ｔ４）である場合については、従来の方式よりはフレームレートが下がることはない。

本例では、図６に示されるようなネットワーク３からの受信時間（Ｔ１）の時間帯におけるパケット待ち時間を有効に活用して、｛ネットワーク３からの受信時間（Ｔ１）＋画像伸長時間（Ｔ２）｝の値を小さくしてフレームレートの値を上げるために、パケット待ち時間の間に前回のフレームの画像伸長処理を挟み込む構成とした。

図３には、映像送信装置１のネットワーク送信速度（Ｔ３）＜映像受信装置２のネットワーク受信速度（Ｔ４）である場合について、映像受信装置２における処理のタイムチャートの一例を示してある。なお、図３における横軸は時刻ｔを表している。
図３に示されるように、本例の映像受信装置２では、Ｎ番目のフレーム（Ｎ）の映像パケット１１の受信処理を行うときに、発生するパケット待ち時間の時間帯に1つ前のフレームである（Ｎ−１）番目のフレーム（Ｎ−１）についての画像伸長処理を行い、また、そのパケット待ち時間の時間帯だけではその画像伸長処理が完了しない場合には、Ｎ番目のフレーム（Ｎ）の映像パケットの受信処理が完了した後に（Ｎ−１）番目のフレーム（Ｎ−１）についての画像伸長処理の残り（続き）を行って完了させる。このように、本例では、一連の受信処理の中の空き時間を利用して伸長処理が行われる。

ここで、本例では、映像受信装置２における受信処理時間（Ｔ１１）は、（式３）のように表される。

（数３）
｛映像受信装置における受信処理時間（Ｔ１１）｝
＝フレームサイズ／｛映像受信装置での受信速度（Ｔ４）｝
・・（式３）

すると、本例の映像受信装置２では、１フレーム分の処理に要する時間Ｔは受信処理時間（Ｔ１１）と画像伸長時間（Ｔ２）との総和（つまり、Ｔ＝（Ｔ１１）＋（Ｔ２））となり、この時間Ｔを３３［ｍｓ］より小さくして３０［ｆｐｓ］を実現することが可能である。また、仮に、この時間Ｔが３３［ｍｓ］より大きい場合においても、本例の受信処理時間（Ｔ１１）の方が従来の受信時間（Ｔ１）と比べて小さいため、｛（Ｔ１１）＋（Ｔ２）｝＜｛（Ｔ１）＋（Ｔ２）｝であることから、従来の方式よりもフレームレートの値が小さくなることはない。

本例のような処理フローを実現するためには、或る時点において受信しているフレームと、そのフレームの受信中の間で画像伸長処理を行う対象となるフレームとが異なる必要があり、本例では、最初に１フレーム分のパケット１１を受信する場合のみについては、その受信中の間に画像伸長処理を行わない。

図４には、本例の映像受信装置２により行われる処理の手順の一例を示してある。
本例の映像受信装置２では、まず、最初である１番目のフレーム（１）を構成するパケット１１を映像パケット受信処理部２１により受信する（ステップＳ１）。次に、２番目以降のフレーム（Ｎ）については（ステップＳ２）、そのフレーム（Ｎ）を構成するパケットを映像パケット受信処理部２１により受信しつつ、パケット待ち時間を使用して１つ前のフレーム（Ｎ−１）についての画像伸長処理を画像伸長処理部２２により行い（ステップＳ３）、そして、以降のフレームについても順次に同様な処理を行う（ステップＳ４）。

以上のように、本例の映像受信装置２では、映像送信装置１からの送信速度と比べて映像受信装置２での受信速度が速い場合に、映像送信装置１からのパケット待ちの時間を使用して過去に受信された映像フレームの伸長処理を行うことにより、受信映像を効率的に処理することができ、例えば、受信映像の出力の高速化などを実現することができる。
なお、本例の映像受信装置２では、映像パケット受信処理部２１の機能により受信処理手段が構成されており、画像伸長処理部２２の機能により映像処理手段が構成されている。

ここで、本例では、映像送信装置１と映像受信装置２がネットワーク３を介して接続された構成を示したが、例えば、送信モジュールと受信モジュールが繋がれていて、送信側の速度によって受信側における映像受信及び画像処理に要する時間が規定の時間を超えるような種々なシステムに本例と同様な構成を適用することも可能である。また、送受信のモジュールとしてはソフトウエア処理により構成されてもよく或いはハードウエアモジュールにより構成されてもよく、また、送信モジュールと受信モジュールを繋ぐ経路としてはネットワーク以外にバスなどが用いられてもよい。
一例として、映像送信モジュールからの映像を受信処理する映像受信処理モジュールと、受信処理した映像に対して画像伸長処理などの画像処理を行う画像処理モジュールを有し、受信処理速度が映像送信モジュールからの送信速度よりも十分に速いような映像受信装置に本例と同様な構成を適用することができる。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係るネットワーク型の映像送受信システムの構成例を示す図である。 映像受信装置の構成例を示す図である。 映像受信装置における処理のタイムチャートの一例を示す図である。 映像受信装置における処理の手順の一例を示す図である。 背景技術に係る映像受信装置における処理のタイムチャートの一例を示す図である。 背景技術に係る映像受信装置における処理のタイムチャートの一例を示す図である。

符号の説明

１・・映像送信装置、 ２・・映像受信装置、 ３・・ネットワーク、 １１・・パケット、 ２１・・映像パケット受信処理部、 ２２・・画像伸長処理部、

Claims (2)

1. 圧縮された映像を構成するフレームを複数に分割してなるパケットを送信側から受信し、１フレーム分のパケットを受信した後に当該フレームに対して伸張処理を行う映像受信装置において、
   前記送信側からの送信速度と比べて速い受信速度で、前記送信側から送信されたパケットを受信処理する受信処理手段と、
   前記受信処理手段により前記送信側から送信されたパケットを受信処理することが非実行状態となるパケットの受信待ちの時間を使用して、直前に受信したパケットのフレームよりも以前に受信処理されたフレームに対して伸張処理を行う映像処理手段と、
   を備え、
   １フレームを構成する１つめのパケットを受け取ってから当該フレームの伸張が完了するまでに当該フレームの受信処理と伸張処理に要する時間が１フレーム時間以内である、
   ことを特徴とする映像受信装置。
2. 圧縮された映像を構成するフレームを複数に分割してなるパケットを送信側から受信し、１フレーム分のパケットを受信した後に当該フレームに対して伸張処理を行う映像受信装置により実施される方法において、
   前記送信側からの送信速度と比べて速い受信速度で、前記送信側から送信されたパケットを受信処理し、
   前記送信側から送信されたパケットを受信処理することが非実行状態となるパケットの受信待ちの時間を使用して、直前に受信したパケットのフレームよりも以前に受信処理されたフレームに対して伸張処理を行い、
   １フレームを構成する１つめのパケットを受け取ってから当該フレームの伸張が完了するまでに当該フレームの受信処理と伸張処理に要する時間が１フレーム時間以内である、
   ことを特徴とする映像受信方法。

Images