WO2007125574A1

WO2007125574A1 - 映像伝送装置

Info

Publication number: WO2007125574A1
Application number: PCT/JP2006/308831
Authority: WO
Inventors: Tsukasa Sugawara; Hiroyuki Konno; Ken Sasada
Original assignee: Media Global Links Co., Ltd.
Priority date: 2006-04-27
Filing date: 2006-04-27
Publication date: 2007-11-08

Abstract

【課題】遅延時間に応じて圧縮率を制御する映像伝送装置を提供する。【解決手段】伝送用の映像情報である伝送用映像情報を連続して入力し、その伝送用映像情報を符号化することにより圧縮して符号化映像情報とし、その符号化映像情報を伝送するために出力する映像伝送装置であって、伝送用映像情報の符号化の開始からその伝送用映像情報に対応する符号化映像情報の出力がされるまでに許容される時間長の最大値である最大遅延時間長を入力し、その最大遅延時間長に応じて伝送用映像情報の符号化の圧縮率を制御する映像伝送装置を提供する。

Description

明細書

映像伝送装置

技術分野

[0001] 本発明は、遅延時間を設定することにより、設定した遅延時間に応じて圧縮率を制御して映像情報を符号ィ匕する映像伝送装置に関する。

背景技術

[0002] 従来、映像情報を圧縮し符号化する技術が種々提案されて!ヽる。これらの方法の中には、圧縮による画質の劣化を防止しつつ、圧縮に伴う符号ィヒの結果の出力の遅延時間を最小にすることを目的とする技術がある (例えば、特許文献 1、特許文献 2など参照。）。

特許文献 1：特開 2005— 51621号公報

特許文献 2：特開 2002— 218470号公報

発明の開示

発明が解決しょうとする課題

[0003] し力しながら、遅延時間と画質とはトレードオフの関係にある。そのため、遅延時間と画質との両方を改善させようとしても、どちらの改善も中途半端になってしまう結果になることが多い。

[0004] また、現実の映像伝送装置の使用される場面では、遅延時間と画質との両方の向上を求める場合はあまり多くなぐ画質を犠牲にしても遅延時間が小さくなることを優先したかったり、あるいは、遅延時間を犠牲にしても画質が小さくなることを優先した力つたりのいずれかである場合が多い。したがって、現実の映像伝送装置の使用される場面では、遅延時間と画質との、ずれかを優先できるようになって!/、ることが好ましい。特に、放送用に映像情報を伝送する場合には、リアルタイム性が要求されるために、むしろ、遅延時間が優先されることが多ぐ遅延時間に応じて画質が可変になつていることが好ましい。

[0005] 従来においては、このように遅延時間に応じて画質を制御する映像伝送装置は出願人の知る限り、存在しな力つた。 [0006] なお、以上においては、「画質」という言葉を用いて説明した力画質の代わりに「圧縮率」という言葉を用いてもよい。例えば、 ISOZIEC JTC1 SC29ZWG11でとして策定されている MPEG (Moving Picture Experts Group)などの符号化の規格では、非可逆圧縮が行なわれるため、一般的に、圧縮率が高くなると、復号化した後に得られる画像の画質が低下してしまうという関係があるためである。

課題を解決するための手段

[0007] そこで、以下では、遅延時間に応じて圧縮率を制御する映像伝送装置を開示する

[0008] すなわち、伝送用映像情報を連続して入力し、伝送用映像情報を符号化して圧縮し、その結果を出力する映像伝送装置であって、符号ィ匕の開始から出力がされるまでに許容される時間長の最大値を入力し、その最大値に応じて圧縮率を制御する映像伝送装置にっヽて開示を行なう。

[0009] また、映像伝送装置においては、符号ィ匕の開始から出力がされるまでに許容される時間長の最大値に対して圧縮率を対応付けておき、その対応付けに基づいて、圧縮率を制御してもよい。

[0010] また、映像伝送装置においては、符号ィ匕の開始から出力がされるまでに許容される時間長の最大値と圧縮率との対応付における関係は、最大値に対する圧縮率が、所定の最大許容伝送率以下における時間長の最大値での圧縮率の最小値が下限となつていてもよい。

[0011] また、映像伝送装置においては、圧縮率と画質の劣化の程度を関連付けておいてもよい。これにより、符号ィ匕の開始から出力がされるまでに許容される時間長の最大値と画質の劣化の程度が関連付けられて!/、てもよ！/、。

[0012] また、映像伝送装置においては、圧縮率が異なる複数の符号化手段が存在し、圧縮率の制御に応じて択一的に符号ィ匕手段が選択されるようになっていてもよい。発明の効果

[0013] 本発明により、遅延時間に応じて圧縮率を制御する映像伝送装置が提供できる。

そのような映像伝送装置を用いれば、例えば、グラフィカルユーザインターフェース（ GUI)を用いて遅延時間と圧縮率 (あるいは画質）との対応関係をグラフなどにより表示しておくことにより、遅延時間を入力したときの圧縮率 (あるいは画質)を、映像伝送装置の利用者が知ることができる。

図面の簡単な説明

[0014] [図 1]遅延時間と画質との関係を示すグラフの一例図

[図 2]圧縮率と画質との関係を示すグラフの一例図

[図 3]遅延時間と圧縮率との関係を示すグラフの一例図

[図 4]実施形態 1に係る映像伝送装置の概念図

[図 5]実施形態 1に係る映像伝送装置の機能ブロック図

[図 6]実施形態 1に係る映像伝送装置と復号ィヒ装置とを組み合わせたシステムの構成図

[図 7]遅延時間長が発生する理由の一つを説明するための図

[図 8]実施形態 1に係る映像伝送装置での処理のフローチャート

[図 9]実施形態 2に係る映像伝送装置の機能ブロック図

[図 10]実施形態 3に係る映像伝送装置の機能ブロック図

[図 11]時間長一圧縮率対応付手段などで格納されるテーブルの一例図

[図 12]圧縮率一劣化程度関連付部で格納されるテーブルの一例図

[図 13]実施形態 4に係る映像伝送装置の機能ブロック図

[図 14]符号ィ匕手段の択一的な選択について説明するための図

[図 15]実施形態 4に係る映像伝送装置の別の機能ブロック図

[図 16]実施形態 4に係る映像伝送装置の処理のフローチャート

符号の説明

[0015] 500 映像伝送装置

501 伝送用映像入力部

502 符号化部

503 出力部

504 最大遅延時間長入力部

505 制御部

発明を実施するための最良の形態 [0016] 以下、本発明を実施するための最良の形態について、実施形態として図を参照しながら説明を行なう。なお、本発明は、これら実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。

[0017] (実施形態 1)

実施形態 1として、伝送用映像情報を連続して入力し、伝送用映像情報を符号ィ匕して圧縮し、その結果を出力する映像伝送装置であって、符号ィ匕の開始から出力がされるまでに許容される時間長の最大値を入力し、その最大値に応じて符号ィ匕による圧縮率を制御する映像伝送装置について説明を行なう。

[0018] 図 1は、遅延時間と画質との関係を例示する。横軸として、遅延時間が例えば、ミリ秒を単位として用いられており、縦軸として、符号ィ匕を行なった映像を復号ィ匕した場合の画質の劣化の程度が、例えば、符号化前の画像に対する割合として 100点を満点とした単位として用いられている。一般的には、遅延時間を大きくすることにより、符号化の処理に充分な時間をかけられるなどの理由により、画質の劣化は少なくなり、画質は向上する。また、逆に遅延時間を小さくすると、充分な符号化が行なえず、画質の劣化は大きくなり、画質は悪化する。

[0019] 図 2は、圧縮率と画質との関係を例示する。横軸として、圧縮率が用いられて!/、る。

ここで、圧縮率とは、符号化前の映像の情報の量に対して、符号化後の情報の量がどれだけになつたかを示す指標であり、例えば、符号化前の映像の情報量が 200メガバイトであり、符号ィ匕後の情報の量が 20メガバイトであれば、 10分の 1となる。このように圧縮率の指標を定義すると、一般にいう「高い圧縮率」は、小さな値の指標となり、直感に反する。そこでここでは、例えば、圧縮率の逆数を用いて横軸の目盛としている。

[0020] MPEGなどの符号ィ匕においては、非可逆圧縮が用いられているために、一般的には、圧縮率が高くなると、復号ィ匕した場合の画質の劣化の程度が大きくなり、画質は低くなる。逆に、圧縮率が低いと、画質は向上することになる。

[0021] 図 3は、図 2に例示される圧縮率と画質との関係を用いて、図 1に例示される遅延時間と画質との関係を、遅延時間と圧縮率との関係に書き直したものである。図 3に示されるように、遅延時間が大きくなるにつれて、圧縮率は小さくなる。したがって、図 3 に示される関係を用いることにより、例えば、遅延時間を 100ミリ秒にしたときの圧縮率を求めることができる。

[0022] 図 4は、実施形態 1に係る映像伝送装置の概念の一例を示す。伝送路 401から例えば、 1. 5Gbpsのレートにて、伝送用映像情報が連続して伝送用映像入力部 403 に入力される。ここに、「伝送用映像情報」とは、伝送用の映像を示す情報である。例えば、放送局から送信され、その放送局の電波塔まで中継されるべき映像であり、何の操作も、特に何の圧縮もされていない映像を示す情報である。また、何らかの圧縮力^れていてもよい。この場合には、映像伝送装置は、圧縮の方法を変換して伝送するための装置として動作する。

[0023] 伝送用映像入力部 403に入力された伝送用映像情報は、符号ィ匕部 404にて符号化して圧縮がされ、符号ィ匕映像情報とされる。符号化の手法としては、種々のものがあり、例えば、 Motion— JPEG (Joint Photographic Experts Group)ゝ JPEG2 000、 MPEG— 1、 MPEG— 2、 MPEG— 4、 MPEG— 4 AVC (H. 264ともいう）、 MPEG— 8などが例示できる。

[0024] 符号ィ匕部 404で符号ィ匕された符号ィ匕映像情報は、出力部 405により、伝送路 402 へ出力される。符号ィ匕部 404により圧縮が行なわれたので、符号化映像情報の情報量は伝送用映像情報の情報量より小さくなつている。そのため、伝送路 402の最大許容伝送率 (例えば、帯域などと呼ばれる場合がある）は、伝送路 401のそれより小さくなり、 ί列えば、、 270Mbpsとなって! /、る。

[0025] 符号ィ匕部 404での圧縮率を制御するの力制御部 406である。制御部 406は、遅延時間 407を入力し、その遅延時間に応じて圧縮率 408を決定して符号ィ匕部 404を制御する。

[0026] 遅延時間 407の入力方法には種々のものがある。例えば、図 3に例示される遅延時間と圧縮率との関係を、グラフとしてビットマップディスプレイなどに表示しておき、スライダーなどの GUI部品を用いて遅延時間を利用者に設定させる。そのように設定された遅延時間を、制御部 406が取得するようになっていてもよい。また、ビットマツプディスプレイを備えた装置では、ウェブブラウザが動作し、そのウェブブラウザにより GUI部品が表示されるようになって、てもよ、。 [0027] (実施形態 1 :構成）

図 5は、実施形態 1に係る映像伝送装置の機能ブロック図を例示する。映像伝送装置 500は、伝送用映像入力部 501と、符号化部 502と、出力部 503と、最大遅延時間長入力部 504と、制御部 505と、を有する。

[0028] 「伝送用映像入力部」 501は、伝送用映像情報を連続して入力する。「連続して」とは、入力が間欠的に行なわれることではないことをいい、あるいは、所定の入力のレートなどにおいて情報の入力の絶え間がないことをいう。例えば、伝送用映像情報がフレームを示すフレーム情報の列力も構成されて、る場合には、フレーム情報が所定のフレームレートにより所定時間間隔などで入力される。なお、伝送用映像には、映像情報のみならず、音声情報や制御情報も含まれて、てもよヽ。

[0029] 「符号化部」 502は、入力された伝送用映像情報を符号化して圧縮し、符号化映像情報とする部である。ここで、「符号化」とは、伝送用映像情報に所定の処理を行ない、圧縮処理、パケットィ匕処理などを行なうことをいう。「所定の処理」には、たとえば、 M PEGの場合には、 DCT (Discrete Cosine Transformation)変換の処理、量子化の処理、動きベクトルの検出の処理、可変長符号ィ匕の処理などがある。「パケット」とは、一定の決まりでまとめられたデータの集合をいう。ノケットには、エラー訂正符号が含まれていてもよい。パケットとしては、一例として、 IP (Internet Protocol)パケット、 TCP (Transmission Control Protocol)ノヽケット、 UDP (User Datagra m Protocol)パケットなどを例示することができる。また、パケットの中には、 ATMセルゃこれに類似する構成のものも含まれ得る。なお、一般的なパケット長は 1500バイト以下であり、例えば、この値よりも長いものは、送信前に分割され、受信側で組み立て直される。

[0030] 「出力部」 503は、前記符号化情報を伝送するために出力する。「前記符号化情報」とは、符号ィ匕部 502で伝送用映像情報を符号ィ匕して得られた符号ィ匕情報をいう。「伝送のために出力する」とは、出力先の伝送路を用いて伝送を行なうことを、う。

[0031] 出力部 503には、半導体メモリなどで構成されるバッファが存在してもよい。なぜならば、符号ィ匕部 502で発生する符号ィ匕情報の量は時間的に変動し得るため、一時的に、出力先の伝送路の最大許容伝送率を越える場合があり得るからである。そこで、出力部 503は、半導体メモリにより、 FIFO (Fist In First Out)のキューなどによりバッファを設ける。そして、符号ィ匕部 502で発生した符号ィ匕情報の時間あたりの量が、出力の伝送路の最大許容伝送率を越える場合には、符号化情報の一部が一時的にキューへバファリングされ、出力先の伝送路へは最大許容伝送率以内で出力が行なわれるようにする。その後、符号ィ匕部 502で発生した符号ィ匕情報の時間あたりの量が、出力先の伝送路の最大許容伝送率を下回ったときには、ノファリングされている符号ィ匕情報を順次に出力して、キューにバファリングされている符号ィ匕情報の量を減らす。なお、パケットを生成する処理を符号ィ匕部 502で行なうと説明したが、その代わりに、出力部 503でパケットを生成する処理を行なってもよ、。

[0032] 「最大遅延時間長入力部」 504は、最大遅延時間長を入力する部である。「最大遅延時間長」は、伝送用映像情報の符号化の開始から、符号化映像情報が出力されるまでに許容される時間長の最大値である。ここでの「符号ィ匕映像情報」とは、伝送用映像情報が符号ィ匕部 502により符号化されて得られる符号ィ匕映像情報を意味する。例えば、伝送用映像情報がフレーム情報の列からなっている場合には、あるフレーム情報の符号ィ匕が符号ィ匕部 502により開始され、そのフレーム情報に対応する符号ィ匕映像情報が出力部 503から出力先の伝送路に出力されるまでの時間長の最大値である。

[0033] なお、「符号ィ匕の開始から」と書いたが、伝送用映像情報が伝送用映像入力部 501 に入力されて力も符号ィ匕部 502に到達し符号ィ匕が開始されるまでの時間は、ほぼ一定と考えられる。そこで、伝送用映像情報が伝送用映像入力部 501に入力されてから、符号ィ匕映像情報が出力されるまでに許容される時間長の最大値を最大遅延時間長と定義してもよい。

[0034] また、最大遅延時間長は、伝送用映像情報が映像伝送装置に入力された時、または、符号化の開始の時から、符号ィ匕映像情報を受信した復号ィ匕装置により符号ィ匕映像情報が復号化され出力されるまでの時間長であってもよい。

[0035] 図 6は、実施形態 1に係る映像伝送装置が、伝送路 601から伝送される伝送用映像情報を符号ィ匕する符号ィ匕装置 602として動作して、伝送路 603へ符号ィ匕映像情報を出力し、その符号ィ匕映像情報を復号ィ匕装置 604が受信して、復号化を行ない、その結果を伝送路 605へ出力する状態を示す。多くの場合、符号化映像情報が伝送路 603を伝わる時間は一定であり、復号ィ匕装置 604が符号ィ匕映像情報を復号ィ匕して、伝送路 605に出力するまでの時間もほぼ一定である。そこで、伝送用映像情報が映像伝送装置に入力された時、または、符号化の開始の時から、符号化映像情報を受信した復号ィ匕装置により符号ィ匕映像情報が復号化され出力されるまでの時間長から、伝送路 603による伝送時間長と、復号ィ匕装置 604による復号ィ匕の処理の時間長及び伝送路 605へ復号ィ匕結果を出力するまでの時間長とを、差し引くことにより、映像伝送装置での符号化から出力までの時間長を計算することができる。

[0036] もちろん、映像符号化装置での伝送用映像情報の圧縮によって、復号化装置での復号ィ匕の時間長が変動する場合もあり得る。しかし、伝送用映像情報の圧縮を行なうのは、映像符号化装置であるので、復号化装置での復号化方式の処理などが判明していれば (例えば、一人の当業者によって、符号化装置と復号化装置とを組み合わせてシステムが構築されるなどの場合）、復号ィ匕装置での復号ィ匕の時間長は、映像符号ィ匕装置の側で符号ィ匕時に予測することができる。したがって、最大遅延時間長は、伝送用映像情報が映像伝送装置に入力された時、または、符号化の開始の時から、符号ィ匕映像情報を受信した復号ィ匕装置により符号ィ匕映像情報が復号化され出力されるまでの時間長であると定義してもよい。

[0037] 図 7は、伝送用映像情報の符号ィ匕の開始から、符号ィ匕映像情報が出力されるまでの時間長 (この時間長を「遅延時間長」ともいう。）が発生する理由の一つを説明するための図である。以下では、符号化映像情報の情報量の発生の割合が、出力用の伝送路の帯域を超えた場合に、バファリングが行なわれるので、遅延時間長が発生することを説明する。すなわち、横軸は時間を示し、縦軸は、時間あたりに移動あるいは生成される情報量あるいは情報の伝送速度を示す。水平線 701は、伝送用映像情報が伝送される伝送路の最大許容伝送率を示す。すなわち、伝送用映像情報の伝送速度は、水平線 701を越えることはできない。また、水平線 702は、符号化映像情報が出力される伝送路の最大許容伝送率を示す。すなわち、伝送される符号化映像情報の伝送速度は、水平線 702を越えることができな、。

[0038] 仮に、伝送用映像情報の時間当たりの伝送量が点線 703のように変化したとする。このとき、伝送用映像情報が符号化されて得られる符号ィ匕映像情報の時間あたりに発生する情報量が実線 704のように変化したとすると、実線 704が水平線 702を超えることにより形成される部分 705に相当する符号ィ匕映像情報は直ちに出力部 503により出力することはできない。このため、バファリングなどされることになる。バファリングされた情報は、その後、符号ィ匕映像情報の量が水平線 702を下回ったときに出力されることになる。このような処理が行なわれるために、遅延時間長が発生する。

[0039] 「制御部」 505は、入力された最大遅延時間長に応じて、符号化部による符号化の圧縮率を制御する。例えば、最大遅延時間長力圧縮率を算出する数式やプロダラムなどがあり、その数式やプログラムを用いて圧縮率を算出する。また、圧縮率を制御するには、符号ィ匕部 502での符号ィ匕の各種パラメータを制御する。例えば、 DCT 変換で得られる空間周波数成分のうち、係数を 0とみなす高周波成分の範囲を制御したり、量子化値を制御したりする。また、イントラ符号ィ匕を行なうか、あるいはインタ一符号ィ匕を行なうかの選択を適宜行なうようになっていてもよい。例えば、圧縮率を上げるために、 0とみなす周波数成分の範囲に、より低い周波数成分が含まれるようにしたり、量子化値を大きくしたりするといつた具合である。また、圧縮率を直接算出などする代わりに、符号ィ匕部 502での符号ィ匕のパラメータ値を算出し、間接的に圧縮率を算出可能になるようにしてもょ、。

[0040] (実施形態 1：処理の流れ）

図 8は、本実施形態に係る映像伝送装置の処理の流れを説明するためのフローチヤートを例示する。ステップ S801として、最大遅延時間長を入力する処理を行なう。この処理は、最大遅延時間長入力部 504を動作させることにより行なわれる。ステツプ S802として、最大遅延時間長に応じて圧縮率を求める処理を行なう。この処理は、制御部 505を動作させることにより行なわれる。ステップ S803として、圧縮率に応じて符号化パラメータ値を設定する処理を行なう。この処理は、制御部 505を動作させ、符号化部 502を動作の対象とすることにより行なわれる。ステップ S804として、入力された伝送用映像情報を符号ィ匕して出力することを行なう処理を行なう。この処理は、伝送用映像入力部 501、符号化部 502、出力部 503を動作させることにより行なわれる。 [0041] なお、図 8のフローチャートでは、最大遅延時間長が入力された後に、伝送用映像情報の入力、符号化、そして符号ィ匕映像情報の出力が行なわれるようになつている。しかし、このような動作に限定されるものではない。例えば、伝送用映像情報の入力、符号化、そして符号ィ匕映像情報の出力の処理が行なわれている間に、この処理とはパラレルに最大遅延時間長が入力され、その最大遅延時間長に応じて圧縮率が制御される処理が行なわれるようになって、てもよ、。

[0042] 図 8のフローチャートは、本実施形態に係る映像伝送装置を計算機で実現するためのプログラムの処理のフローチャートとみなすことも可能である。そして、図 5の機能ブロック図は、そのようなプログラムのモジュール構成図とみなすことも可能である。もちろん、そのようなプログラムをフレキシブルディスクなどの媒体に記録することも可能である。

[0043] (実施形態 1：主な効果）

本実施形態に係る映像伝送装置によれば、設定などされた遅延時間に応じて符号化による圧縮率を制御することができる。

[0044] (実施形態 2)

実施形態 2として、最大遅延時間長に対して圧縮率を対応付け、その対応付けを用いて符号ィ匕の制御を行なう映像伝送装置について説明する。

[0045] (実施形態 2 :構成）

図 9は、実施形態 2に係る映像伝送装置の機能ブロック図を例示する。映像伝送装置 900は、伝送用映像入力部 901と、符号化部 902と、出力部 903と、最大遅延時間長入力部 904と、制御部 905と、を有する。制御部 905は、時間長一圧縮率対応付手段 906と、制御手段 907と、を有している。したがって、本実施形態に係る映像伝送装置は、実施形態 1に係る映像伝送装置の制御部が、さらに時間長一圧縮率対応付手段 906と、制御手段 907と、を有している構成となっている。

[0046] 「時間長一圧縮率対応付手段」 906は、最大遅延時間長入力部 904で入力され得る最大遅延時間長に対して圧縮率を対応付ける手段である。例えば、図 3に例示したグラフを表わす情報を記憶手段の中などに格納することにより、最大遅延時間長と圧縮率とを対応付ける。また、グラフを表わす情報を記憶手段の中などに格納するかわりに、最大遅延時間長と圧縮率とを対応付けたテーブルを記憶手段の中などに格納してもよい。テーブルが格納される場合には、最大遅延時間長入力部 904で入力され得る全ての最大遅延時間長に圧縮率とを対応付けることは困難となるか不可能となる。このような場合には、補間などの計算手段を用いて、最大遅延時間長に対する圧縮率を求める。

[0047] また、時間長一圧縮率対応付手段 906は、最大遅延時間長と圧縮率とを直接対応付けず、最大遅延時間長と、符号ィ匕のパラメータ値とを関連づけるものであってもよい。この場合、符号ィ匕のパラメータ値により圧縮率が計算されることになるので、最大遅延時間長と圧縮率とが対応付けられ得る。

[0048] 「制御手段」 907は、入力される最大遅延時間長に対応付けられる圧縮率で符号化部 902に符号ィ匕を実行させる手段である。例えば、入力された最大遅延時間長に、時間長一圧縮率対応付手段 906により対応付けられる圧縮率に基づいて、符号化のパラメータ値を決定する。あるいは、時間長一圧縮率対応付手段 906が、最大遅延時間長と、符号ィ匕のパラメータ値とを関連づけるものである場合には、入力される最大遅延時間長に対応付けられる符号ィ匕のパラメータ値を用いて符号ィ匕部 902を制御することになる。

[0049] なお、最大遅延時間長に対して時間長一圧縮率対応付手段で対応付けられる圧縮率は、その最大遅延時間長での遅延の時間長で符号化を行な、所定の最大許容伝送率以下の伝送率で出力する際の圧縮率の最小値を下限とする値であることが望ましい。すなわち、図 7に例示したように、水平線 702を超える部分 705が存在したとしても、この部分に相当する部分をバファリングなどして、水平線 702以下の伝送率で符号ィ匕映像情報を出力する場合において、部分 705に相当する部分の符号ィ匕映像情報を出力し終わるまでの時間が、最大遅延時間長以下となるような圧縮率の最小値以上の圧縮率がその最大遅延時間長と対応付けられるようになって!/、てもよ!/、。特に、最大遅延時間長に対して時間長一圧縮率対応付手段で対応付けられる圧縮率を、その最大遅延時間長での遅延の時間長で符号ィ匕を行な、所定の最大許容伝送率以下の伝送率で出力する際の圧縮率の最小値と一致させることにより、少ない画質の劣化で符号ィ匕映像情報を伝送することが可能となる。 [0050] (実施形態 2：主な効果）

本実施形態によれば、最大遅延時間長と圧縮率との対応付けを表わす数式が複雑となる場合であっても、グラフやテーブルを用いることにより、最大遅延時間長から圧縮率を取得する際の処理が複雑にならないようにすることができる。このことは、最大遅延時間長が動的に変化する場合、その変化にリアルタイムに対応して圧縮率を変更できることを意味する。また、そのようなグラフやテーブルを利用者に示すことにより、最大遅延時間長と圧縮率との対応関係を理解させたり予想させたりすることができ、最大遅延時間長をどの程度に設定するべき力の選択が容易となるなどの効果が生ずる。

[0051] (実施形態 3)

実施形態 3として、符号化による圧縮により生じる画質の劣化の程度を圧縮率と関連付けて保持可能な映像伝送装置にっ、て説明する。

[0052] (実施形態 3 :構成）

図 10は、実施形態 3に係る映像伝送装置の機能ブロック図を例示する。映像伝送装置 1000は、伝送用映像入力部 1001と、符号化部 1002と、出力部 1003と、最大遅延時間長入力部 1004と、制御部 1005と、圧縮率一劣化程度関連付部 1006とを有する。また、制御部 1005は、時間長一圧縮率対応付手段と、制御手段とをさらに有していてもよい。したがって、本実施形態に係る映像伝送装置は、実施形態 1または 2に係る映像伝送装置が、さらに圧縮率一劣化程度関連付部 1006を有する構成となっている。

[0053] 「圧縮率一劣化程度関連付部」 1006は、伝送用映像情報の符号ィ匕による圧縮で生じる画質の劣化の程度を、圧縮率と関連付けて保持する手段である。圧縮率一劣化程度関連付部 1006は、例えば、圧縮率と画質の劣化の程度とを対応付けたテーブルやグラフを記憶手段に格納することで実現される手段である。

[0054] なお、画質とは、人が映像を見た場合の主観的判断で判定され得るものであってもよい。そのような場合には、画質に客観性を持たせるために、例えば、多数の当業者にそれぞれの圧縮率で圧縮された映像を復号化して表示させた場合の画質の点数の平均値などを算出して、その算出された平均値などを画質を示す指標としてもよい。また、復号ィ匕時に発生するモスキートノイズなどのノイズの程度を機械的に判断し、その判断の結果を、画質を示す指標としてもよい。

[0055] 図 11は、時間長一圧縮率対応付手段などで格納されるテーブルを例示し、図 12 は、圧縮率一劣化程度関連付部 1006で格納されるテーブルを例示している。映像伝送装置 1000の操作者は、図 11と図 12とに例示された二つのテーブルを見たり、あるいは、映像符号化装置などにより出力される圧縮率と図 12のテーブルを見たりすることにより、遅延時間に応じた画質の劣化の程度を知ることができ、例えば、遅延時間と画質の劣化の程度とのバランスを考えて、最大遅延時間長を設定することができる。

[0056] (実施形態 3：主な効果）

本実施形態に係る映像伝送装置によれば、遅延時間と画質の劣化の程度とのバランスを考えて、最大遅延時間長を設定することができるなどの効果を得ることができる

[0057] (実施形態 4)

実施形態 4として、複数の符号化手段を有し、そのような符号ィ匕手段の中から択一的に符号ィ匕手段を選択することで圧縮率を制御する映像伝送装置について説明する。

[0058] (実施形態 4 :構成）

図 13は、実施形態 4に係る映像伝送装置の機能ブロック図を例示する。映像伝送装置 1300は、伝送用映像入力部 1301と、符号化部 1302と、出力部 1303と、最大遅延時間長入力部 1304と、制御部 1305と、を有する。符号ィ匕部 1302は、符号ィ匕手段 1306、符号ィ匕手段 1307など、複数の符号化手段を有する。これらの符号化手段は、一般的には圧縮率が異なる符号ィ匕手段である。また、符号ィ匕部 1302は、符号ィ匕手段選択手段 1308を有する。なお、制御部 1305は、時間長一圧縮率対応付手段と制御手段とを有していてもよい。また、映像伝送装置 1300は、圧縮率一劣化程度関連付部を有していてもよい。したがって、本実施形態に係る映像伝送装置は、実施形態 1から 3のいずれか一に係る映像伝送装置において、符号化部が複数の符号ィ匕手段を有し、さらに符号ィ匕手段選択手段を有する構成となっている。 [0059] 「符号化手段」は、伝送用映像情報を符号化する手段である。上述したように複数の符号化手段の間では、圧縮率が異なっている。あるいは、符号ィ匕パラメータ値が異なっていることにより、圧縮率が異なり得るようになつていてもよい。「複数の符号化手段」と書いたが、実際に符号ィ匕手段に相当する回路やプログラムが実際に複数存在する必要はなぐ複数の圧縮率や符号化パラメータ値などが一つの回路やプロダラムに入力されることで、複数の符号ィ匕手段が実現されるようになって、てもよ、 (例えば、後に図 15を用いて説明される映像符号ィ匕装置を参照されたい。 )₀

[0060] 「符号化手段選択手段」 1308は、前記制御に対して複数の符号ィ匕手段力択一的に符号ィ匕手段を選択する手段である。「前記制御」とは制御部 1305による圧縮率の制御である。すなわち、符号ィ匕手段選択手段 1308は、圧縮率が制御部 1305から指定されると、その圧縮率で伝送用映像情報を符号ィヒできる符号ィヒ手段を一つ選択する手段である。あるいは、指定された圧縮率で符号ィ匕手段を動作させるように制御を行なう手段であってもよい。ここに「択一的」とは、どれか一つということである力各一瞬毎に、どれか一つの符号ィ匕手段のみが動作するということに限らず、出力部に符号ィ匕映像情報を渡す符号ィ匕手段が一つだけになることを意味していてもよい。

[0061] 図 14は、出力部に符号化映像情報を渡す符号化手段が一つだけになる符号化手段の選択について説明する図である。例えば、実線 1401が第一の符号ィ匕手段で符号ィ匕を行なったときの符号ィ匕映像情報の量の時間変化を示し、実線 1402が第二の符号化手段で符号化を行なったときの符号化映像情報の量の時間変化を示すとする。この場合、出力部 1303が符号ィ匕映像情報を出力する伝送路の伝送率が、点線で示されるものである場合には、最初は、圧縮率の低い第一の符号化手段が、符号化した符号ィ匕映像情報を出力部 1303に渡して、るが、実線 1401が最初に点線を超えそうになった時には、矢印 1403により示されているように、圧縮率の大きい第二の符号化手段が、符号ィ匕した符号ィ匕映像情報を出力部 1303に渡すように、符号ィ匕手段選択手段 1308が択一的な選択を切り替える。その後、第一の符号化手段による符号化の時間あたりの量が、点線を下回ることになると、矢印 1404に示すように、第二の符号化手段から第一の符号化手段へ符号化手段選択手段 1308が択一的な選択を切り替え、第一の符号化手段が、符号ィ匕した符号ィ匕映像情報を出力部 1303 に渡す。以下、矢印 1405、 1406についても同様に択一的な選択の切り替えが行なわれる。

[0062] (実施形態 4：より具体的なハードウェア構成など）

図 15は、実施形態 4に係る映像伝送装置のハードウェア構成をより具体的に示す機能ブロック図を例示する。映像伝送装置は、伝送用映像入力部 1501と、符号ィ匕部 1502と、出力部に相当するポストメモリ 1503と、最大遅延時間長入力部 1504と、制御部 1505とから構成されて、る。

[0063] 伝送用映像入力部 1501は、プレメモリ 1506と、セレクタ 1507とを備えている。符号ィ匕咅 1502は、 DCT回路 1508と、量子ィ匕回路 1509と、ノヽフマン符号ィ匕回路 151 0とを備えている。制御部 1505は、符号ィ匕テーブル 1511と、予測エンコーダ 1512と、 TBL1513と、 TBL1514と、セレクタ 1515と、符号ィ匕手段選択手段 1516とを備えている。 TBL1513と TBL1514とはそれぞれテーブルであり、予測エンコーダ 1512 による符号ィ匕による圧縮率と、 DCT回路 1508の出力結果と、から、最大遅延時間長入力部 1504に入力された最大遅延時間長を補正するためなどに使用される。

[0064] 以下に、このように構成されて、る映像伝送装置のハードウェアの動作にっ、て具体的な数値等を用いて説明する。最大遅延時間長入力部 1504は、 LAN (Local Area Network)などを介して、利用者が端末など力入力した最大遅延時間長として、例えば 15ミリ秒を取得する。もちろん、端末などは映像伝送装置に直接接続されていてもよい。符号ィ匕テーブル 1511は、例えば、図 11に例示したものを使用すると仮定すると、制御部は、 15ミリ秒に対する圧縮率としては、符号ィ匕テーブル 1511を参照して、例えば、 0. 15を取得する。また、セレクタ 1507は、一番上の入力を選択し、セレクタ 1515は、一番下の入力を選択しているとする。伝送用映像入力部 1501 は、例えば、 HD— SD1信号（1. 5Gbps)の伝送用映像情報を取得し、セレクタ 150 7の一番上の入力を経由して、符号ィ匕部 1502に出力を行なう。符号化部 1502の量子化回路 1509は、 DCT回路による処理結果に対して、符号ィ匕テーブルからの出力である 0. 15に基づいて、量子化を施し、ハフマン符号ィ匕回路 1510に出力する。ノヽフマン符号ィ匕回路 1510は、符号ィ匕を行ない、圧縮された符号ィ匕映像情報をポストメモリ 1503へ出力する。ポストメモリ 1503は、符号ィ匕映像情報をバファリングして、例えば、 SD— SDI信号（270Mbps)として伝送路へ出力する。

[0065] 次に、最大遅延時間長入力部が 5ミリ秒を取得したとすると、制御部は、符号化テ一ブル 1511を参照して、圧縮率として 0. 1を取得する。圧縮率が変更されたので、セレクタ 1507、セレクタ 1515は、符号ィ匕手段選択手段 1516による制御により、それぞれ、真中の入力を選択する。プレメモリ 1506は、入力された伝送用映像情報を例えば、 1フレーム分遅延させて、セレクタ 1507の真中を経由して、符号化部 1502へ出力を行なう。また同時に、伝送用映像入力部 1501に入力された伝送用映像情報は遅延無しで予測エンコーダ 1512にも出力される。予測エンコーダ 1512は、圧縮率を予測するために使用される。

[0066] DCT回路 1508は、入力された伝送用映像情報を DCT変換して量子化回路 150 9に出力する。量子化回路 1509は、圧縮率 0. 1に基づいて量子化を行ない、ハフマン符号ィ匕回路 1510に出力し、ハフマン符号ィ匕回路 1510は、符号化して得られる符号ィ匕映像情報をポストメモリ 1503へ出力し、 SD— SDI信号として出力が行なわれる。

[0067] 図 16は、図 15に例示されたノ、一ドウエア構成力もなる映像伝送装置の処理の流れを説明するフローチャートである。ステップ S1601として、最大遅延時間長を取得する処理を行なう。ステップ S 1602として、最大遅延時間長に応じて圧縮率を取得する処理を行なう。ステップ S1603として、圧縮率に応じて、択一的に符号ィ匕手段を選択する処理を行なう。ステップ S 1604として、伝送用映像情報を入力する処理を行なう。ステップ S1605として、符号化を行なう処理を行なう。ステップ S1606として、符号化映像情報を出力する。ステップ S 1607として、符号化等の処理を終了するべきかどうかを判断し、もしそうであれば、処理全体を終了し、そうでなければ、ステップ S 16 04へ戻る。

[0068] (実施形態 4：主な効果）

本実施形態に係る映像伝送装置によれば、遅延時間を取得し、取得した遅延時間に応じた圧縮率の符号化手段が選択されるので、所定の伝送率を超えな！/ヽように符号ィ匕映像情報を伝送することが可能となる。

Claims

請求の範囲

[1] 伝送用映像を表わす伝送用映像情報を連続して入力する伝送用映像入力部と、入力された伝送用映像情報を符号化して圧縮し、符号化映像情報とする符号ィ匕部と、

前記符号化映像情報を伝送するために出力する出力部と、

伝送用映像情報の符号化の開始から、符号ィヒ映像情報が出力されるまでに許容される時間長の最大値である最大遅延時間長を入力する最大遅延時間長入力部と、入力された最大遅延時間長に応じて符号化部による符号化の圧縮率を制御する制御部と、

を有する映像伝送装置。

[2] 制御部は、

最大遅延時間長入力部で入力され得る最大遅延時間長に対して圧縮率を対応付ける時間長一圧縮率対応付手段と、

入力される最大遅延時間長に対応付けられる圧縮率で符号化部に符号化を実行させる制御手段と、

を有する請求項 1に記載の映像伝送装置。

[3] 最大遅延過時間長に対して時間長一圧縮率対応付手段で対応付けられる圧縮率は、その最大遅延時間長での遅延の時間長で符号化を行な、所定の最大許容伝送率以下の伝送率で出力する際の圧縮率の最小値を下限とする値である請求項 2に記載の映像伝送装置。

[4] 伝送用映像情報の符号化による圧縮で生じる画質の劣化の程度を、圧縮率と関連付けて保持する圧縮率一劣化程度関連付部を有する請求項 1から 3のいずれか一に記載の映像伝送装置。

[5] 前記符号化部は、

圧縮率が異なる複数の符号化手段と、

前記制御に際して前記複数の符号ィヒ手段力択一的に符号ィヒ手段を選択する符号化手段選択手段と

を有する請求項 1から 3のいずれか一に記載の映像伝送装置。映像伝送装置の動作方法であって、

伝送用映像を表わす伝送用映像情報を連続して入力する伝送用映像入カステツプと、

入力された伝送用映像情報を符号化して圧縮し、符号化映像情報とする符号化ステツプと、

前記符号ィヒ映像情報を伝送するために出力する出力ステップと、

伝送用映像情報の符号化の開始から、符号ィヒ映像情報が出力されるまでに許容される時間長の最大値である最大遅延時間長を入力する最大遅延時間長入カステツプと、

入力された最大遅延時間長に応じて符号化ステップによる符号化の圧縮率を制御する制御ステップと、

を含む映像伝送装置の動作方法。