JP5188033B2 - 記録再生装置、送出装置及び伝送システム。 - Google Patents

Description

本発明は、たとえば符号化された映像信号を記録し再生する記録再生装置、符号化された映像信号を送出する送出装置および符号化された映像信号を伝送する伝送システムに関する。

従来から、入力されるディジタル映像信号に対して時間方向でのコマ落としによる間引き処理を施し、符号化を行い、そして復号時に間引いた画素を補間する技術が知られている。

その一つとして、下記特許文献１には、間引き処理を行って符号化する高圧縮モードと、間引き処理を行わずに符号化を行う通常モードを選択出力可能な技術が開示されている。

この技術によると、モードに応じて高圧縮、通常圧縮の選択が可能である。

特開平９−３７２４３号公報

しかし、上記技術においての間引き処理は、一定値の間引き率にて間引き処理が行われる。従って、たとえば動きの激しい映像信号が入力された場合には、本来動き続けて表示されるべき映像がとまったりしてモーションジェンダーと呼ばれる画質劣化が生じることが考えられる。

本発明の目的は、画質劣化を抑えつつ、映像記録に必要な符号量を小さくし、より長時間の映像信号記録が可能な装置を提供することである。

本発明を達成する構成の一つとして、入力した映像信号を映像フレームに復号化する復号化部と、前記復号化部により復号された映像フレーム数を間引きする間引き部と、前記間引き部により間引かれた映像フレームを符号化映像信号に符号化する符号部と、前記符号化部により符号化された映像信号を蓄積する蓄積装置と、を備えた記録再生装置において、前記間引き部は、映像信号毎に間引きを行うことを特徴とする。

画質劣化を抑えつつ、映像記録に必要な符号量を小さくし、より長時間の映像信号記録が可能な装置を提供することである。

以下、本発明の実施の形態を、図面を用いて説明する。

映像信号を符号化して、伝送および記録を行う方法として、MPEG-2/MPEG-4 等の映像符号化方式が広く知られている。

本発明においては、これらの映像符号化方式を利用しつつ、さらに映像信号の圧縮率を高める方法を提供する事を目的とする。
以下、本発明の実施例を図面を参照して説明する。

図 1 を用いて本発明を用いた記録再生装置について説明する。例えば MPEG-2 等の符号化方式を利用して作成された符号化映像信号 1 は、映像信号復号化部 2 において、映像フレームに復号される。映像フレームの状態になった映像信号はフレーム間引き部 3 において、フレーム数の間引きが行われる。
このフレーム数間引きに関しては、入力映像信号毎に異なる間引き率による間引き処理を行う。

映像フレームが間引かれた映像フレームは、符号化器 4 により再び映像符号化され蓄積装置 5 に蓄積される。符号化器 4 における映像符号化は、符号化映像入力 1 で用いられている符号化方式と同じであってもよいし、異なってもよい。
符号化器 4 は、映像フレームが間引かれた映像で映像符号化を行うので、映像フレームが間引かれていない符号化映像信号 1 よりも少ない符号量で符号化できると期待される。
また、フレーム間引き部 3 により、どの映像フレームを間引いたかは、フレーム間引き情報 6 として映像信号と同様に蓄積装置 5 に蓄積される。このフレーム間引き情報 6 は、符号化された映像信号に多重して蓄積してもよいし、別々に蓄積してもよい。
蓄積された映像信号を再生表示する際には、蓄積装置 5 より、符号化映像信号を読みだし、復号化器 7 を用いて、映像フレーム情報に復号する。符号化映像信号と同時に、蓄積装置からフレーム間引き情報 6 が読み出され、フレーム間引き 3 により間引かれた映像フレームが、フレームレート変換装置 8 により復元され、表示装置 9 により表示される。
ここでフレーム変換装置 8 には、映像信号の各フレームの動きベクトルを検出し、これらから、実際には存在しない映像フレームを予測して作り出す動き補正型フレームレート変換装置を用いることが好ましい。これにより、間引き処理部 8 で時間方向において多くの映像フレームを間引いて、実際には映像フレームが伝送されなくても映像フレームを予測して作成する事が可能となる。従って、映像の劣化を防止しつつ映像記録に必要な符号量を小さくすることができる。

次に、上記フレーム間引き部 3の処理について説明する。フレーム間引き部 3 は、入力映像信号毎に異なる間引き率による間引き処理を行うが、これは、例えば、入力映像信号の動きベクトルや、動いている物体の個体数等の映像信号の特徴を検出し、これに応じた間引き処理を行う。図2に映像の物体の動き量に対するフレームの間引き数を示す。図2に示すように、映像中の物体の動き量が小さい場合には、正しいフレーム補間が行われる可能性が高いため多くのフレームを間引き、映像中の物体の動き量が大きい場合には、正しいフレーム補間が行われる可能性が低いため間引き数を少なくする。これにより、フレームレート変換後の映像の劣化を防止しつつ映像記録に必要な符号量を小さくすることが可能となる。図2おいては、物体の動き量と間引き数は線形の関係の例をしめしたが、本発明はこれに限られず、もちろん非線形でもよく、たとえば階段状でもよい。

また、この間引き処理は、後段のフレームレート変換部 8 の間引き特性を考慮して行ってもよい。たとえば、フレームレート変換部 8 の能力によって、フレーム補間されやすい映像に関しては多く間引き、フレームレート変換部 8 においてフレーム補間されにくい映像に関しては、間引き数を少なくしたり、あるいは間引かないという選択を閾値を設け適応的に行ってもよい。

図 3 を用いて、本発明を用いた記録再生装置の第 2 の実施例について説明する。この例においては、フレーム間引き装置 3 は、あらかじめ決められた割合の映像フレームを間引く。また、フレームレート変換装置 8 は、あらかじめ決められた割合の映像フレームを補間する。
例えば、フレーム間引き装置 3 は、映像フレーム数を半分に間引くように働き、フレームレート変換装置 8 は、映像フレーム数を 2 倍にするように働く。
図 3 においては、図 1 と比較して、フレーム間引き情報 6 が必要無い事が特徴である。

図 4 を用いて本発明を用いた映像伝送表示装置について説明する。この例は、図 1 における、蓄積装置 5 を、伝送路 10 に置き換えたものに相当する。伝送路は有線であっても、無線であっても構わない。
例えば MPEG-2 等の符号化方式を利用して作成された符号化映像信号 1 は、映像信号復号化部 2 において、映像フレームに復号される。映像フレームの状態になった映像信号はフレーム間引き部 3 において、フレーム数の間引きが行われる。
このフレーム数間引きに関しては、入力映像信号の動きベクトルに応じて間引き数を可変にしてもよいし、後段のフレームレート変換部 8 の特性に応じて間引き数を可変にしてもよい。フレームレート変換部 8 においてフレーム補間されやすい映像に関しては、多く間引き、フレームレート変換部 8 においてフレーム補間されにくい映像に関しては、間引き数を少なくしたり、あるいは間引かないという選択を適応的に行う事も可能である。
映像フレームが間引かれた映像フレームは、符号化器 4 により再び映像符号化され伝送路 10 により伝送される。符号化器 4 における映像符号化は、符号化映像入力 1 で用いられている符号化方式と同じであってもよいし、異なってもよい。
また、フレーム間引き部 3 により、どの映像フレームを間引いたかは、フレーム間引き情報 6 として映像信号と同様に伝送路 10 により伝送される。このフレーム間引き情報 6 は、符号化された映像信号に多重して伝送してもよいし、別々に伝送してもよい。
伝送された映像信号を再生表示する際には、伝送路 10 より、符号化映像信号を読みだし、復号化器 7 を用いて、映像フレーム情報に復号する。符号化映像信号と同時に、伝送路 10 からフレーム間引き情報 6 が読み出され、フレーム間引き 3 により間引かれた映像フレームが、フレームレート変換装置 8 により復元され、表示装置 9 により表示される。

図 5 を用いて、本発明を用いた映像伝送表示装置第 4 の実施例について説明する。この例においては、フレーム間引き装置 3 は、あらかじめ決められた割合の映像フレームを間引く。また、フレームレート変換装置 8 は、あらかじめ決められた割合の映像フレームを補間する。
例えば、フレーム間引き装置 3 は、映像フレーム数を半分に間引くように働き、フレームレート変換装置 8 は、映像フレーム数を 2 倍にするように働く。
図 5 においては、図 4 と比較して、フレーム間引き情報 6 が必要無い事が特徴である。

以上、実施例 1 〜 実施例 4 においては、表示装置を伴った構成について述べてきたが、本発明は、表示装置の有無に限定されるものではない。例えば図 6 に、本発明を用いた記録再生装置の例を示す。
フレームレート変換装置 8 の映像出力が、本映像蓄積再生装置の出力となる。実施例 1 と同様の原理により、蓄積装置 5 の利用効率を高めた映像記録再生装置が実施可能である。

以上、実施例 1 〜 実施例 5 においては、符号化された映像信号を入力としてきたが、本発明は、特に 符号化された映像信号入力に限定されるものではない。図 6 に、アナログ映像信号を入力とした記録再生装置の実施例を示す。例えば、アナログ映像信号入力 62 は、アナログデジタル変換装置 63 により、デジタル化された映像信号となる。
デジタル化された映像信号は、フレーム間引き部 3 において、フレーム数の間引きが行われる。このフレーム間引き部を含め、後段の処理は実施例 1と同様に行う事が出来る。

図 8 に、さらに蓄積すべき映像符号量を小さくした記録再生装置の実施例を記す。図 7 により示された記録再生装置に、画面縮小装置 71 および、画面拡大装置 72 が付加された構成となっている。
例えば MPEG-2 等の符号化方式を利用して作成された符号化映像信号 1 は、映像信号復号化部 2 において、映像フレームに復号される。復号された映像フレームは、画面縮小装置 71 により、画面サイズが縮小される。
縮小された映像信号はフレーム間引き部 3 において、フレーム数の間引きが行われる。
この画面縮小に関しては、入力映像信号の映像周波数特性に応じて縮小割合を可変にしても、後段の画面拡大装置 72 の特性に応じて縮小割合を可変にしてもよい。たとえば、入力映像信号に低い周波数成分しか含まれていない場合には、画面縮小割合を大きくし、高い周波数成分が多く含まれている場合には、画面縮小割合を小さくする。これは、入力映像信号に低い周波数成分しか含まれていない場合には、後段の画面拡大装置 72 において拡大処理を行っても、良好な画質が得られるが、入力映像信号に高い周波数成分が多く含まれている場合には、後段の画面拡大装置 72 において拡大処理を行っても、良好な画質を得ることが困難である場合が考えられるからである。また、画面圧縮は固定割合で実行してもよい。

映像フレームが間引かれた映像フレームは、符号化器 4 により再び映像符号化され蓄積装置 5 に蓄積される。符号化器 4 における映像符号化は、符号化映像入力 1 で用いられている符号化方式と同じであってもよいし、異なってもよい。
符号化器 4 においては、前記画面縮小装置 71 とフレーム間引き装置 3 を通過した後の映像信号を符号化するため、符号化映像信号 1 と比較して、少ない符号量で符号化されることが期待される。
また、画面縮小装置 71 の画面縮小情報と、フレーム間引き部 3 のフレーム間引き情報 6 は、映像信号と同様に蓄積装置 5 に蓄積される。これらの情報は、符号化された映像信号に多重して蓄積してもよいし、別々に蓄積してもよい。
蓄積された映像信号を再生表示する際には、蓄積装置 5 より、符号化映像信号を読みだし、復号化器 7 を用いて、映像フレーム情報に復号する。符号化映像信号と同時に、蓄積装置からフレーム間引き情報 6 が読み出され、フレーム間引き 3 により間引かれた映像フレームが、フレームレート変換装置 8 により復元さる。また、画面拡大装置 72 により、画面縮小と逆の割合で画面サイズの拡大が行われた後に、表示装置 9 により表示される。
フレーム間引き装置 3 と 画面縮小装置 71 の順番、およびフレームレート変換装置 8 と画面拡大装置 72 の順番は、それぞれ逆であってもよい。本実施例は、同様の原理で、映像伝送装置にも適用出来る。また、もちろん表示装置を伴った記録再生装置にも適用できる。

図 9 に、本発明の映像表示装置の実施例を示す。
映像表示装置 81 は、入力として、符号化映像信号 1 の他に、フレームレート変換装置に対する入力として、フレーム間引き情報 6 を入力として持つ。
フレーム間引き情報 6 が入力されない場合は、フレームレート変換機能は無効となり、入力された映像符号化信号 1 を復号化して表示装置 9 に表示する。
また、フレーム間引き情報 6 が入力された場合は、復号化器 7 により復号された映像フレームに対し、フレーム間引き情報に基づいたフレーム補間を行い、表示装置 9 に表示する。

図 10 に本発明を、通信網を利用した放送に適用する例を示す。
映像送出装置 90 は、符号化した映像信号を通信網 91 を通じて映像表示装置 82 に送る。映像送出装置 90 は、使用する通信網 91 の占有量を抑える目的で、映像表示装置 82 に対して、フレームレート変換機能が利用可能かどうか問い合わせを行う。
フレームレート変換機能が利用不可能な映像表示装置に関しては、映像送出装置 90 は、フレームを間引かない状態での符号化映像を送る。
これに対し、フレームレート変換機能が利用可能な映像表示装置に関しては、映像送出装置 90 は、本発明を用いて、フレームを間引いた状態の符号化映像およびフレーム間引き情報を送る。
また、映像表示装置から映像送出装置に送る情報は、フレームレート変換利用可否情報だけに限られず、フレームレート変換部の性能に関する情報であってもよい。

映像送出装置 90 が、フレームを間引いた状態の符号化映像を送出する方が、使用する通信網 91 の占有量を抑えられ、通信網 91 効率的な利用が可能となる。

以上、全ての実施例において、フレーム数間引きは、映像フレーム 1 枚全ての情報を間引くと言う前提で説明したが、図11に示されるように、映像フレームの中を複数の領域に分割し、その領域毎に間引く割合を可変する事も考えられる。この場合、領域毎にフレーム間引き情報を伝送もしくは蓄積する必要がある。

本発明を、記録再生装置に適用した場合の第1の実施例を表すブロック図である。 映像の物体の動き量に対するフレームの間引き数を表す図である。 本発明を、記録再生装置に適用した場合の第2の実施例を表すブロック図である。 本発明を、映像伝送表示装置に適用した場合の第3の実施例を表すブロック図である。 本発明を、映像伝送表示装置に適用した場合の第4の実施例を表すブロック図である。 本発明を、記録再生装置に適用した場合の第5の実施例を表すブロック図である。 本発明を、記録再生装置に適用した場合の第6の実施例を表すブロック図である。 本発明を、映像蓄積再生表示装置に適用した場合の第7の実施例を表すブロック図である。 本発明を、映像表示装置に適用した場合の第8の実施例を表すブロック図である。 本発明により構成される記録再生装置を、通信網を利用した放送に用いる場合を示す図である。 映像フレームを領域分割し、領域毎にフレーム間引きを行う例を示す図である。

符号の説明

1 符号化映像入力
2 復号化装置
3 フレーム間引き装置
4 符号化装置
5 蓄積装置
6 フレーム間引き情報
7 復号化装置
8 フレームレート変換装置
9 表示装置
10 伝送路
51 映像記録再生装置
61 映像記録再生装置
62 アナログ映像入力
63 アナログデジタル変換装置
71 画面縮小装置
72 画面拡大装置
81 映像表示装置
90 映像送出装置
91 通信網
100 映像フレーム
101 映像フレーム中の分割された領域の一つ
102 映像フレーム中の分割された領域の一つ
103 映像フレーム中の分割された領域の一つ
104 映像フレーム中の分割された領域の一つ
105 領域毎の映像フレーム間引き情報

Claims (2)

1. 入力された映像信号を映像フレームに復号化する復号化部と、
   前記復号化部により復号化された映像フレームの動きベクトルの大きさに応じて前記映像フレームの間引き処理を行う間引き部と、
   前記間引き部により間引かれた映像フレームを映像信号に符号化する符号化部と、
   前記符号化部により符号化された映像信号を蓄積する蓄積装置と、
   前記蓄積装置に蓄積された映像信号を復号化する第２の復号化部と、
   前記第２の復号化部により復号化された映像信号から、各フレームの動きベクトルを探索し、前記探索された動きベクトルを用いて映像フレームを作成する動き補正型フレームレート変換装置とを備えることを特徴とする記録再生装置。
2. 請求項１に記載の記録再生装置において、
   前記間引き部は、
   間引いた映像フレームを示すフレーム間引き情報を生成し、
   前記動き補正型フレームレート変換装置は、
   前記フレーム間引きに関する情報を用いてフレームレート変換を行うことを特徴とする記録再生装置。

Images