WO2006100820A1

WO2006100820A1 - 画像符号化記録読出装置

Info

Publication number: WO2006100820A1
Application number: PCT/JP2006/300302
Authority: WO
Inventors: Norimichi Hiwasa; Hideki Inomata; Hiroharu Sakate; Ayako Nemoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-03-22
Filing date: 2006-01-12
Publication date: 2006-09-28
Anticipated expiration: 2007-09-22
Also published as: US20080310510A1; JPWO2006100820A1

Abstract

　符号化対象原画像を符号化して原画像符号化ストリームを生成すると同時に、動き補償予測に使用する局部復号画像を生成し、当該局部復号画像と符号化対象原画像の差分画像を取得し、差分画像を符号化して差分画像の符号化ストリームを生成し、生成された原画像と差分画像の両符号化ストリームを蓄積用メモリに記録しておき、再生時に、蓄積用メモリから読み出した上記の両符号化ストリームのそれぞれを復号して得られたそれぞれの画像を加算して加算画像を生成する。

Description

明細書

画像符号化記録読出装置

技術分野

[0001] この発明は、例えば放送番組の画像データを符号ィ匕して記録しておき、その記録された符号化ストリームを用途に応じた符号化レートで出力する画像符号化記録読出装置に関するものである。背景技術

[0002] 画像や音声を含むコンテンツデータは、製作するとー且所定のメモリに記録しておき、要求があった場合に読み出して利用するという方法が一般に行われている。メモリに記録する際には、符号ィ匕してコンテンツデータの情報量を圧縮し、かつメモリの入出力レートを低くするようにして!/、る。このように記録蓄積したコンテンツの符号ィ匕データの用途としては、 DVDなどの別の記録媒体への記録、放送、あるいは伝送路を介したストリーム配信などがある。したがって、一つのコンテンツデータを複数の用途に対応できるようにしておく要求がある。そのための画像符号ィ匕記録読出装置では、メモリから読み出した符号ィ匕データに対して、各用途に応じた伝送レートを与えるようにしておく必要がある。

[0003] このような要求に応えた従来の画像符号ィ匕記録読出装置として、プログラム情報 (コンテンッデータ）を、複数の符号化部により、符号化レート、符号化モード、あるいは画像フォーマットがそれぞれ異なるように符号ィ匕を行、、各符号化データを蓄積用メモリに記録しておき、例えばストリーム配信などの出力要求があった場合に、そのときの回線の伝送レートに最も適した符号ィ匕データを選択し出力するようにしたものが特許文献 1に開示されている。また、この装置では、符号ィ匕データの符号ィ匕レートが回線の伝送レートよりも低い場合には、出力レート調整部を付加してダミーデータを挿入し、回線の伝送レートと同じレートに増カロさせた出力を選択できるようにしている。さらに、この装置の他の例では、蓄積用メモリから読み出した符号ィ匕データを復号部を用いて復号し、追加した符号ィ匕部により元の符号ィ匕レートよりも低いレートで再度符号ィ匕した出力を選択できるようにしている。 [0004] また、放送番組の画像を扱う画像符号化記録読出装置では、一度に符号化記録できる番組 (コンテンツ）は通常 1番組だけである力 2番組を同時に符号ィ匕記録できるようにしたものもある。このような 2番組を同時に記録する装置では、 2つの符号化部を用いて、同時にそれぞれ異なる番糸且を符号化して符号化ストリームを生成し、それらを共に同一蓄積用メモリに記録しておく。そして、外部の記録用ディスクに記録する場合には、蓄積用メモリの符号化ストリームのいずれかをそのまま転送する力あるいは蓄積用メモリに記録した符号化ストリームを復号し、さらに低いレートで再度符号ィ匕して力記録するという処理が行われている。したがって、 1番組し力録画しない場合には、 1つの符号化部しか使用せず、残りの符号ィ匕部は不使用状態におかれることになる。

[0005] 特許文献 1 :特開平 9 74559号公報（図 1、図 2)

[0006] 従来の画像符号化記録読出装置は、以上のように構成されて!ヽるが、再度符号ィ匕を行うときに用途に応じた画質改善のための機能を有しておらず、また、複数番組を同時に記録できる画像符号ィ匕記録読出装置にぉ、ては、 1番組し力録画しな、ときには、他の符号ィ匕部が使用されず効率の悪い構成になっているなどの問題があった

[0007] この発明は、上記問題点を解決するためになされたもので、一つの番組の画像を符号化して符号化ストリームの形にして蓄積しておき、再生時に符号化ストリームを読み出して使用する場合に、出力とするデータに対して、用途に応じた符号化レートを与えると共に、高画質化または画質維持を図ることを可能にする画像符号化記録読出装置を得ることを目的とする。

発明の開示

[0008] この発明に係る画像符号化記録読出装置は、符号化対象原画像を所定の符号ィ匕方式に従って符号ィ匕して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号ィ匕記録読出装置において、符号化対象原画像を符号化して原画像符号化ストリームを生成すると同時に、当該符号化対象原画像から動き補償予測に使用する局部復号画像を生成し、当該局部復号画像と符号化対象原画像の差分画像を取得し、得られた差分画像を符号化して差分画像符号化ストリームを生成し、生成された原画像符号化ストリームと差分画像ストリームを蓄積用メモリに記録する画像符号ィ匕手段と、蓄積用メモリから読み出した上記の原画像符号化ストリームと差分画像符号化ストリームのそれぞれを復号して原画復号画像と差分復号画像を生成した後、原画復号画像に差分復号画像を加算して加算画像を生成する画像復号手段とを備えたものである。

[0009] このこと〖こよって、入力された原画像の符号化時に、原画像の差分画像を生成して符号化し、生成された両画像の符号化ストリームを共に記録しておき、再生時に、復号して得られる差分復号画像で原画復号画像の情報量を補うようにしたので、その出力の画像は高画質に維持される。また、複数番組を同時に記録する構成の画像符号化記録読出装置にこの発明を適用した場合、 1番組し力録画しないときに本来不使用状態におかれる符号ィ匕部や復号部を有効利用することができる効果もある。図面の簡単な説明

[0010] [図 1]この発明の実施の形態 1による画像符号ィ匕記録読出装置の構成を示すブロック図である。

[図 2]この発明の実施の形態 1に係る第 1の符号ィ匕部の構成例を示すブロック図である。

[図 3]この発明の実施の形態 1に係る差分部による差分画像の生成動作を表す説明図である。

[図 4]この発明の実施の形態 1に係る符号ィ匕部が行う差分画像符号ィ匕時のビット幅削減例を示す説明図である。

[図 5]この発明の実施の形態 1に係る符号ィヒ情報量を削減のための判定動作について示す説明図である。

[図 6]この発明の実施の形態 1に係る差分画像無効区間の符号ィ匕の例を示す説明図である。

[図 7]リアルタイム VBR制御時の実際の情報量と画質の関係を示す説明図である。

[図 8]この発明の実施の形態 1に係る非リアルタイム VBR制御時の画質の向上を示す説明図である。

[図 9]この発明の実施の形態 1に係る差分画像の差分値を部分的に「0」にするフレーム例を示す説明図である。

圆 10]この発明の実施の形態 2による画像符号ィ匕記録読出装置の構成を示すブロック図である。

[図 11]この発明の実施の形態 2に係るフレームの発生情報量について示す説明図である。

圆 12]この発明の実施の形態 3による画像符号ィ匕記録読出装置の構成を示すブロック図である。

圆 13]この発明の実施の形態 4による画像符号ィ匕記録読出装置の構成を示すブロック図である。

圆 14]この発明の実施の形態 4に係る蓄積用メモリの残量の状態推移を示す説明図である。

[図 15]この発明の実施の形態 4に係る蓄積用メモリに記録してある番組情報の画面例を示す説明図である。

圆 16]この発明の実施の形態 4に係る差分画像の符号ィ匕の方法例を示す説明図である。

圆 17]この発明の実施の形態 4に係る差分画像の符号ィ匕時の各フレームに割り当てる情報量の例を示す説明図である。

圆 18]孤立点や人物の顔などが存在する差分画像のフレーム例を示す説明図である。

[図 19]原画像の符号化と差分画像の符号化の符号化ブロック境界の関係を示す説明図である。

圆 20]この発明の実施の形態 5による画像符号ィ匕記録読出装置の構成を示すブロック図である。

圆 21]この発明の実施の形態 6による画像符号ィ匕記録読出装置の構成を示すブロック図である。

[図 22]この発明の実施の形態 6に係る 1フレーム期間内に処理される符号化フレームおよび復号フレームを示す説明図である。

圆 23]この発明の実施の形態 7による画像符号ィ匕記録読出装置の構成を示すブロック図である。

[図 24]この発明の実施の形態 8による画像符号ィ匕記録読出装置の構成を示すブロック図である。

発明を実施するための最良の形態

[0011] 以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。

以下に説明する各実施の形態で示される画像符号化記録読出装置を複数の機能部分の構成で示している力これら各部の機能の多くは、マイクロプロセッサを使用してソフトウェアで処理できるものである。

実施の形態 1.

図 1はこの発明の実施の形態 1による画像符号ィ匕記録読出装置の構成を示すプロック図である。図 1の画像符号ィ匕記録読出装置は、同時に入力される異なる画像のコンテンッデータを符号ィ匕して符号化ストリームを生成し、それらを共に同一蓄積用メモリに記録しておき、蓄積用メモリから選択したいずれかの符号化ストリームを外部の記録用ディスクに記録するための構成を備えている。しかし、この実施の形態 1では、その画像符号ィ匕記録読出装置に適用し、一つの番組のみの記録と読み出し処理に焦点を当てた説明を行うものとする。

この画像符号化記録読出装置は、リアルタイム VBR( Variable Bit Rate ;可変ビットレート)画像符号ィ匕部 (画像符号ィ匕手段） 2、非リアルタイム VBR画像符号化部 3、制御部 4および蓄積用メモリ 5を備えている。この画像符号化記録読出装置へは、画像コンテンツデータとして、原画像データ（以下、原画像とする）か、あるいは原画像を符号化圧縮した符号化ストリームのいずれかの信号形式で入力されるものとする。この装置力ゝらの出力は、符号化ストリーム (以下、加算画像符号化ストリームとする)であり、例として取り外し可能な外部ディスク 19への記録に用いられる。

[0012] リアルタイム VBR画像符号ィ匕部 2の構成において、復号部 6, 7は、画像符号化記録読出装置への入力がそれぞれ符号化ストリームの場合にそれぞれを復号する手段である。セレクタ 8, 9は、復号部 6, 7による復号画像か、原画像かを選択する手段である。符号化部 (第 1の符号部） 10は、入力画像 (原画像 1または復号部 6からの復号画像であるが、これらを以下、符号化対象原画像とする。 )に対して符号化を行い符号化ストリーム (以下、原画像符号化ストリームとする）を生成する手段である。また

、この符号ィ匕部 10は、図 2で後述するように、動き補償予測に使用するための局部復号画像を表示順に出力する機能を有している。遅延用フレームメモリ 12は、差分部 1 3へ与えられる符号ィ匕部 10からの局部復号画像と時間的なフレーム位置を合わせるための遅延量を符号ィ匕対象原画像に与える手段である。差分部 13は、遅延された符号化対象原画像と符号化部 10からの局部復号画像との差分をとり、その差分画像を生成する手段である。セレクタ 14は、生成された差分画像とセレクタ 9からの別のチャネルの符号化対象原画像を選択する手段である。符号化部 (第 2の符号化部） 1 1は、通常符号ィ匕部 10とは異なる別のチャネルの符号ィ匕対象原画像に対して符号化を行う手段であるが、この発明では、差分部 13で生成された差分画像を符号化して差分画像符号化ストリームを生成する手段でもある。

[0013] 制御部 4は、後述のように、画像符号化記録読出装置の各部から動作結果の情報を補助情報として取得し、また、各部のモードを設定する手段である。蓄積用メモリ 5 は、この発明では、原画像と差分画像の各符号化ストリームおよび制御部 4が各部から取得した補助情報を記録し読み出すための記憶手段である。

非リアルタイム VBR画像符号ィ匕部 3の構成において、復号部 15, 16と符号ィ匕部 18 のそれぞれは、リアルタイム VBR画像符号化部 2の復号部 6, 7と符号ィ匕部 10と同一物とすることができる。復号部 (第 1の復号部） 15は、蓄積用メモリ 5から原画像符号ィ匕ストリームを読み出して復号する手段である。復号部（第 2の復号部） 16は、蓄積用メモリ 5から差分画像符号化ストリームを読み出して復号する手段である。復号加算部 17は、復号部 15, 16でそれぞれ復号された原復号画像に差分復号画像を加算して加算画像を生成する手段である。符号ィ匕部 (第 3の符号ィ匕部） 18は、加算画像を符号化して加算画像符号化ストリームを生成し、外部ディスク 19へ出力する手段である。

[0014] この実施の形態 1の符号ィ匕部 (第 1の符号化部） 10は、動き補償予測に使用するための局部復号画像を出力する機能を有して、るが、 MPEG— 2の符号ィ匕方式を適用した例を図 2に示す。図 2において、入力された画像の数フレーム分力 Sメモリ 20で保持される。メモリ 20力らは符号ィ匕を行うためのフレームが読み出される。この読み出しは符号ィ匕ブロック (M PEG— 2の場合はマクロブロックと称す)単位に行われ、動き補償予測部 32により、フレームメモリ 33に保持されている参照画像を基に、読み出したフレームに対する動き補償予測を行う。イントラ Zインター判定部 31において、動き補償予測された結果と入力符号ィ匕ブロックとを比較してイントラ (フレーム内）符号化か、インター（フレーム間)符号化かの判定を行う。符号化対象ピクチヤが Iピクチャの場合はイントラ符号ィ匕を選択する。セレクタ 22では、イントラ Zインター符号ィ匕の判定結果に基づいて、差分部 21でフレーム間差分された画像力、メモリ 20からの入力符号ィ匕ブロックそのものかを選択する。セレクタ 22の出力は、 DCT (Discrete Cosine Transform)演算部 23で DCT係数に変換された後、量子化部 24で量子化される。

[0015] 量子化部 24で量子化された結果は、可変長符号化部 25で可変長符号に変換されて得られた符号化ストリームがバッファ 26で一時的に保持される。ノッファ 26からは符号化ストリームが出力される。また、量子化された結果に対しては、逆量子化部 2 7で逆量子化処理が行われた後、逆 DCT演算部 28で逆 DCT演算が行われる。セレクタ 30は、イントラ Zインター判定部 31の判定結果に基づいて、逆 DCT演算部 28 の出力か、フレーム加算部 29で行われたフレーム間の加算結果かを選択する。セレクタ 30の出力は、フレームメモリ 33で保持され、次の符号ィ匕フレームの動き補償予測の参照画像として使用される。また、フレームメモリ 33に保持された局部復号画像は、この実施の形態 1に係る局部復号画像として表示順に出力される。

[0016] 次に、図 1の画像符号化記録読出装置に戻り、その動作について説明する。

ここでは、放送されている番組などの中から 1番組のみを取り込んで処理し、外部デイスク 19に記録する場合について述べる。画像符号化記録読出装置の概略動作としては、最初、当該 1番組の画像に対して 1度目の VBR符号ィ匕をリアルタイムで行って蓄積用メモリ 5に記録する。次に蓄積用メモリ 5から読み出した符号化ストリームを外部ディスク 19に記録する場合、その符号化ストリームを復号してから 2度目の VBR符号ィ匕を非リアルタイムで行い、その際、外部ディスク 19に記録する符号化ストリームの平均符号化レートが同じ場合、ある、は外部ディスク 19に記録する符号化ストリームの平均符号化レートの方が小さ、場合に、その記録する符号化ストリームの画質を向上させる。

[0017] 1番組のみの場合の画像符号ィ匕記録読出装置の入力として、アナログ放送の場合にはアナログカゝらデジタルに変換された原画像 1が、またデジタル放送の場合には符号化された符号化ストリーム 1 (符号ィ匕レート: RO)が入力されるものとする。符号化ストリーム 1が入力された場合には、復号部 6によって復号画像が生成される。原画像 1 と復号画像の選択はセレクタ 8により行われる。この入力例の場合、セレクタ 8からの出力画像 (符号化対象原画像)のみが、図上太線で表示される流れで符号化処理される。セレクタ 8からの符号化対象画像は、符号ィ匕部 10と遅延用フレームメモリ 12〖こ入力される。符号化部 10に入力された符号化対象原画像は、平均レート Rl (<RO) で VBR符号化され、原画像符号化ストリームとなって蓄積用メモリ 5に記録される。また、符号ィ匕部 10からは、図 2で説明したように、動き補償予測に使用する局部復号画像が差分部 13に出力される。

[0018] 一方、遅延用フレームメモリ 12に入力された符号化対象画像は局部復号画像と位相調整される。差分部 13では、図 3に示すように、位相が合わされた符号化対象画像と符号ィ匕部 10の局部復号画像との差分画像が生成され、セレクタ 14を経由して符号ィ匕部 11に入力される。符号ィ匕部 11では、差分画像の符号化を行い、生成した差分画像符号化ストリームを蓄積用メモリ 5に記録する。これら一連の符号化動作に伴い、制御部 4は、各部の処理結果の情報を取得し、補助情報として蓄積用メモリ 5 に記録し、用途に応じた補助情報を読み出して画像符号ィ匕記録読出装置の各部の制御に用いるよう動作する。この補助情報としては、具体的に、符号化ストリーム 1が入力された場合に復号部 6で復号を行うときに得られるフレーム単位の量子化スケール平均値、総発生情報量および動きベクトル情報量などのパラメータがある。また、符号化対象原画像を符号化部 10で符号化するときに得られるフレーム単位の量子ィ匕スケール平均値、総発生情報量、動きベクトル情報量、および局部復号画像と符号化対象原画像との差分画像の画素値の絶対値和などのパラメータがある。また、差分画像を符号ィ匕部 11で符号ィ匕するときに得られるフレーム単位の量子化スケール平均値、総発生情報量および動きベクトル情報量などのパラメータがある。これらの各パラメータは、非リアルタイム VBR画像符号ィ匕部 3で符号ィ匕を行うときに時間方向のすべてのフレームの目標情報量を予め決定するのに使用される。

[0019] ここで、符号化部 11の符号化時の動作例について述べる。

符号ィ匕部 11で生成される差分画像符号化ストリームも蓄積用メモリ 5で記録保持されるので、差分画像符号化ストリームの容量は小さければ小さいほどよい。差分画像のビット幅 (有効ビット数）は 9ビットであるが、 MPEG— 2などの規定では符号ィ匕を行う画素のビット幅は 8ビットと決められているので、 8ビットに変換する必要がある。そこで、符号ィ匕部 11では、この 8ビットに変換するときに、図 4に示すように、有効ビット数を、例えば下位 4ビットを切り捨てる。このように有効ビット数を削減することにより、ダイナミックレンジが小さくなり符号量も減少させることができる。

[0020] また、差分画像の符号ィ匕情報量を削減する方法として、図 5に示すように、閾値を設定して判定を行ってから差分画像を符号化するようにしてもよ！ヽ。符号化部 11では、制御部 4で取得した符号ィ匕部 10からのフレームごとの平均量子化スケールまたは差分部 13からの画素間の差分絶対値和が閾値よりも大きい場合には有効、小さい場合には無効とするように、各フレームの差分画像が符号化対象として有効か無効かの判定を行う。符号ィ匕部 11では、ここで有効と判定されたフレームに対してのみ差分画像の符号化を実施する。なお、この場合には、非リアルタイム VBR画像符号化部 3において対応した制御が必要となるため、符号ィ匕したフレームの識別子 (フレーム番号)を差分画像の符号ィ匕を実施した符号化ストリームと組みにして蓄積用メモリ 5に記録しておく必要がある。制御の煩雑さを考慮した場合には、すべてのフレームに対して符号ィ匕を行うことが望ましい。

さらに、上記判定を行う方法の変形として、符号化部 11が、有効と判定されたフレームに対してはそのまま差分画像の符号化を実施し、一方、無効と判定されたフレームに対しては、差分画像すベての画素値を「0」にして力符号ィ匕を実施するようにしてもよい。なお、この場合にはフレーム識別番号は付与する必要はない。また、無効と判定されたことにより画素値を「0」にしたフレームの符号ィ匕を行う場合には、図 6に示すように、すべてのフレームを前方向予測の Pピクチャで符号ィ匕し、動きベクトルも強制的に「0」に、 DCT係数もすベて強制的に「0」にするようにしてもよい。このようにすることで、無効フレームに対する情報量を大幅に削減することができる。カロえて、有効 Z無効の判定基準とする閾値を随時変更することで、差分画像の符号化情報量を変更できるようにしてちょい。

[0021] ここで、差分画像の符号化ストリームを蓄積用メモリ 5に記録して用いることによる作用効果について述べる。

この実施の形態 1では、画像符号化記録読出装置に入力された画像に対して、所定の平均レートでリアルタイム VBR符号ィ匕を行い、符号化ストリームを蓄積用メモリ 5 に記録するようにしている。リアルタイムで符号ィ匕を行うときには、時間的に先においてどのような画像が入力されてくるか不明なため、符号ィ匕時点におけるそれまでに発生した情報量の平均レートとの差異や入力画像の符号化難易度に応じて、その入力画像で発生させる情報量を決定する。そのため、所定の平均レートで時間方向に画像全体 (フレーム）に渡って平均的に一定の画質を保っために必要な情報量が必ずしも与えられるわけではなぐリアルタイム VBR制御により実際に与えられる情報量は、通常図 7 (a)に示すような曲線になると考えられる。このとき、相対的な画質は図 7 (b )で示すような曲線になると考えられる。すなわち、一定の画質を保つのに必要な情報量以上の情報量が割り振られたフレームに対しては、画質は一定以上の画質を保つ力割り振られな力つたフレームに対しては、極端に画質が劣化するものと考えられる。また、このときの差分部 13より得られる差分絶対値和は図 7 (b)に示すような曲線を描くことが想定される。

[0022] 一方、非リアルタイムで符号ィ匕を行う場合には、時間的に後から入力される画像の情報についても蓄積用メモリ 5に予め蓄積した補助情報力も得ることができるため、時間方向の画像全体 (フレーム）に渡って平均的に一定の画質を得るための情報量を各フレームに割り当てることができるはずである。この実施の形態 1では、リアルタイム VBR画像符号化部 2の符号化部 10により、符号化対象原画像に対して 1回目の符号ィ匕を実施して記録しておき、次に非リアルタイム VBR画像符号ィ匕部 3において、その記録された原画像符号化ストリームを復号した画像に対して、 1回目のときの符号化レート以下で 2回目の符号ィ匕が実施されることを想定している。しかし、ここで両符号ィ匕が同じ平均レートであると仮定した場合、 1回目の符号ィ匕において極端に劣化したフレームに対して、 2回目の符号ィ匕においていくら情報量を割り当てたとしても、 1 回目の符号ィ匕時以上の画質にすることは不可能である。そこで、図 8に示すように、極端に画質が劣化したフレームに対しては、復号部 15による復号画像に復号部 16 からの差分復号画像を加算して画質劣化をある程度緩和しておいてから 2回目の符号ィ匕を行うようにすれば、そのフレームの画質を 1回目の符号ィ匕の画質よりも向上させることができることが解る。また、 1回目の符号ィ匕において必要以上の情報量を割り当てたことで、平均以上に画質が良くなつたフレームに対しては、 2回目の符号化において、必要とされる情報量のみを割り振るようにすれば、平均的な画質になることが解る。このような方法に従って符号ィ匕することで、極端な画質劣化の画像を削減し、時間方向の画像全体に渡って平均的に画質を向上させることができるようになる。

[0023] 次に、以上の方法を実現させる非リアルタイム VBR画像符号ィ匕部 3の動作について説明する。なお、復号部 15, 16および符号ィ匕部 18は、リアルタイム VBR画像符号化部 2で使用している復号部 6, 7および符号ィ匕部 10とそれぞれ同じタイプであり、リアルタイム VBR画像符号ィ匕部²の非動作時に非リアルタイム VBR画像符号ィ匕部³を動作させることになるので、共用にすることができる。

復号部 15は、先にリアルタイム VBR画像符号ィ匕部 2の符号ィ匕部 10により生成され記録されて、る原画像符号化ストリームを、蓄積用メモリ 5から読み出して復号する。同様に、復号部 16は、リアルタイム VBR画像符号ィ匕部 2の符号ィ匕部 11により生成され記録されている差分画像符号化ストリームを、蓄積用メモリ 5より読み出して復号する。次に、復号部 15で復号された原画復号画像と復号部 16で復号された差分復号画像は復号加算部 17によりフレーム加算される。加算を行うときには、差分画像のビット位置を元に戻した上で行う。

[0024] 次に、復号加算部 17で得られた加算画像に対して、符号ィ匕部 18により 2回目の V BR符号ィ匕が行われる。このときの平均符号ィ匕レート R2は、 1回目の平均符号化レート R1以下である。リアルタイム VBR画像符号ィ匕時にすべてのフレームの符号ィ匕結果を補助情報として蓄積用メモリ 5に記録して、るので、非リアルタイム VBR符号ィ匕時には、制御部 4は、これらの補助情報の時間方向の画像全体の分まで使用して、各フレームに割り当てる目標情報量を決定する。したがって、符号ィ匕部 18はこの目標情報量に基づいて加算画像の符号ィ匕を行う。また、制御部 4は、リアルタイム VBR符号ィ匕時に、差分画像の符号ィ匕情報量の削減のために符号ィ匕を行うと判定されたフレームに対してのみ差分画像を符号化部 11で符号化している場合、符号化を行ったフレームに対するフレーム識別子を蓄積用メモリ 5から読み出し、その識別子に対応するフレームの差分復号画像のみを加算するよう復号加算部 17を制御する。符号ィ匕部 18において、 2回目の VBR符号化が行われた結果の加算画像符号化ストリームは平均レート R2 (≤R1)となって外部ディスク 19に出力され記録される。

以上のように 2回目の VBR符号ィ匕を行うことにより、蓄積用メモリ 5に記録された符号化ストリームの画質よりも、外部ディスク 19に記録する符号化ストリームの画質の方が時間全体を通して平均的に高画質、あるいは同等の画質で低レートにすることができる。

前に、差分画像の符号ィ匕情報量を削減する方法の例について幾つ力説明してきた力ここでさらに別の例を追加する。符号ィ匕部 11において、図 9に示すように、差分画像のフレーム内における画素間の差分画素値の絶対値がある閾値より小さいことを検出した場合、あるいは差分画像のフレーム内中に在る顔など、見る人の目が注視する領域以外に在る差分画素値を検出した場合に、それら対応する差分画素値を強制的に「0」にして力も差分画像の符号ィ匕を行うようにしてもよい。また別の例として、符号ィ匕部 11において、差分画像を符号化するときに、その画像フォーマット (画像サイズ)を変換して符号ィ匕対象画像よりも小さな画像にしてカゝら符号ィ匕を行ヽ、復号部 16で、蓄積メモリ 5から読み出した差分画像符号化ストリームを復号したときに、差分復号画像の画像サイズを元の大きさに戻して力ゝら復号加算部 17で加算するようにしてもよい。

なお、ここでは符号ィ匕方式の例として MPEG— 2を適用した場合について説明してきたが、この発明は、これ以外にも、 H. 261、 MPEG—1、 MPEG— 4、 H. 264についても適用可能である。また、フレーム間の差分、加算は符号化対象原画像と原画復号画像の画素に対して実施するので、符号ィ匕部 10と符号ィ匕部 11には、必ずしも同じ符号ィ匕方式を用いる必要はな、。

また、図 1において、蓄積用メモリ 5に対して並列に非リアルタイム VBR画像符号ィ匕部 3の構成を複数個設け、原画像と差分画像の符号化ストリームの復号、それぞれ復号された復号画像の加算および加算画像の符号化の処理を時分割で、または画面内で分割して行うようにしてもよい。この場合、高速で復号、再符号化できるため、処理時間の短縮ィ匕を図ることができる。

[0026] 以上のように、実施の形態 1によれば、リアルタイム VBR画像符号ィ匕処理において、符号化対象画像を符号化して原画像符号化ストリームを生成すると同時に、当該符号化対象画像から動き補償予測に使用する局部復号画像を生成し、この局部復号画像と符号化対象画像の差分画像を取得し、得られた差分画像を符号化して差分画像符号化ストリームを生成し、生成された原画像符号化ストリームと差分画像を共に蓄積用メモリに記録するようにし、非リアルタイム VBR画像符号ィ匕処理にぉ、て、蓄積用メモリから読み出した符号ィ匕対象画像と差分画像の両符号化ストリームのそれぞれを復号した後、両復号画像を加算し、得られた加算画像を符号化して画像符号化ストリームを生成するようにしている。したがって、再符号化により生成された画像符号化ストリームの画像を高画質に維持できる効果が得られる。また、図 1に示したような複数番組を同時に記録する構成の画像符号化記録読出装置に適用した場合、 1番組し力録画しないときに本来不使用状態におかれる符号ィ匕部や復号部を有効禾 IJ用することがでさる。

[0027] 実施の形態 2.

図 10はこの発明の実施の形態 2による画像符号化記録読出装置の構成を示すブロック図である。

画像符号ィ匕記録読出装置は、リアルタイム VBR画像符号ィ匕部 41、非リアルタイム VBR画像符号化部 42、制御部 43および蓄積用メモリ 44を備えて、る。

リアルタイム VBR画像符号ィ匕部 41の構成において、復号部 45, 46, 47は、画像符号ィ匕記録読出装置への入力が符号化ストリームの場合にそれぞれを復号する手段である。セレクタ 48, 49, 50は、復号部 45, 46, 47によって復号された復号画像か原画像かを選択する手段である。セレクタ 51, 52は、セレクタ 48の出力力セレクタ 49あるいは 50の出力かを選択する手段である。符号化部 53, 54, 55は、同時に入力される符号化対象原画像に対して異なる符号化モードで符号化を行う手段である。

[0028] 一方、非リアルタイム VBR画像符号ィ匕部 42の構成にぉ、て、復号部 56と符号ィ匕部 57は、リアルタイム VBR画像符号化部 41の復号部 45と符号化部 53とそれぞれ同じタイプであり、リアルタイム VBR画像符号ィ匕部 41の非動作時に非リアルタイム VBR 画像符号ィ匕部 42を動作させることになるので、同じもので共用することができる。制御部 43は、画像符号化記録読出装置の各部にモードを設定し、また、各部の処理動作に伴う情報を取得する手段である。蓄積用メモリ 44は、符号ィ匕したストリーム、ならびに制御部 43が各部力も取得した情報を記録し、それらを読み出すための記憶手段である。外部ディスク 58は、符号化部 57で生成された符号化ストリームを記録するための取り外し可能な記録媒体である。

[0029] 次に、動作について説明する。

ここでは、放送されている 1番組のみを外部のディスク 58に記録する場合において、内部の蓄積用メモリ 44に記録する符号化ストリームよりも低い符号ィ匕レートで外部ディスク 58に記録する符号化ストリームに対して、できる限り画質劣化を生じさせないようにする方法にっ、て説明する。

1番組の画像のみを符号化し記録するものとすると、セレクタ 48は、入力された符号化ストリームを復号部 45で復号した復号画像カゝ、あるいはデジタルの原画像かを符号化対象原画像として選択する。図 10の太線で示すように、セレクタ 48からの符号化対象原画像は、直接符号ィ匕部 53に入力されると同時に、セレクタ 51, 52を介して他の符号化部 54, 55にも入力される。符号ィ匕部 53は、設定された平均レート R1 ( <RO)になるように可変レートの画像符号ィ匕を行い、生成した原画像符号化ストリームを蓄積用メモリ 44に記録する。また、符号化部 54, 55は、互いに異なり、かつ符号化部 53とも異なる符号化モードで符号化対象原画像の符号化を行うが、生成された原画像符号化ストリームは蓄積用メモリ 44に記録されない。

[0030] 符号ィ匕モードとしては、例えば量子ィ匕スケールを、両者ともすベてのフレームに対して固定で同一の値にするが、符号ィ匕部 54では、 Pピクチャの間隔 (M値)を「3」にし、両方向予測の Bピクチャを使用した符号ィ匕を実施 (これを、符号化モード 1とする）し、一方、符号ィ匕部 55では、 Pピクチャの間隔 (M値)を「1」、すなわち、 Bピクチャを使用しなヽ符号化を実施 (これを、符号化モード 2とする）するとヽぅものである。

符号化部 54, 55の各符号ィ匕モードの設定は制御部 43で符号ィ匕時に行われる。また、制御部 43は、これらの設定した各符号化モードと、符号化部 53, 54, 55から取得した符号化時のフレーム全体の総発生情報量および動きベクトル情報量等を、符号ィ匕情報として蓄積用メモリ 44に記録する。

[0031] ここで、生成した原画像符号化ストリームを蓄積用メモリ 44に記録しな力つた符号化部 54, 55の符号化時のフレームの発生情報量と後述する符号化部 57の動作で使用する目標情報量の関係を図 11により説明する。

図 11 (a)の上段は M値を「3」とする符号ィ匕部 54によるフレーム単位の情報発生量を表し、図 11 (a)の下段は M値を「1」とする符号ィ匕部 55によるフレーム単位の情報発生量を表す。この例では、両符号ィヒ部における発生情報量の 3フレームごとの和をそれぞれ求め、対応する両者の間で少ない方の和を選択し、図 11 (b)に示すよう〖こ符号化部 57の M値を決定する。符号ィ匕部 57は、このように求められた各 M値に付随するフレームの発生情報量を基に符号ィ匕を行う際に、画像全体において各フレームに割り振る目標情報量を求める。

[0032] 非リアルタイム VBR画像符号ィ匕部 42の動作において、復号部 56は、先に符号ィ匕部 53により生成され記録された原画像符号化ストリームを蓄積用メモリ 44から読み出して復号し、原画復号画像を得る。復号部 56からの原画復号画像は、符号化部 57 にお、て、符号化部 53による符号化時より低、平均符号ィ匕レート R2 (≤R1)で符号化される。このとき、制御部 43は、符号化部 54の符号化モード 1と符号化部 55の符号ィ匕モード 2との間の発生情報量を所定のフレーム単位 (この例の場合、 3フレーム）で比較し、この所定のフレーム単位ごとの発生情報量が少な!/、方の M値を符号化部 57での符号化に適用する。また、制御部 43では、蓄積用メモリ 44に記録された符号化情報の中の総発生情報量および動きベクトル情報量、すなわち時間方向すベてのフレームの情報を使用する。この場合、制御部 43は、符号化部 57で符号化する画像全体について予め、上記発生情報量が少ない方の M値に上記所定のフレーム単位ごとに切り替えたときの符号ィ匕モードでの総発生情報量に基づいて、すべてのフレームに割り振る目標情報量を決定する。符号化部 57は、この目標情報量が割り振られた各フレームに対して符号ィ匕を行い、生成された符号化ストリームを外部ディスク 58に出力して記録する。

[0033] 以上のようこの実施の形態 2によれば、リアルタイム VBR画像符号部において、一つの符号ィ匕対象原画像を複数の符号ィ匕部で異なる符号ィ匕モードでそれぞれ符号ィ匕し、そのうちの一つの符号ィ匕部で生成された原画像符号化ストリームのみを蓄積用メモリに記録し、同時に使用された各符号化モード、複数の符号化部のそれぞれの符号ィ匕動作により得られたフレーム単位の総発生情報量、動きベクトル情報量からなる符号化情報を前記蓄積用メモリに記録し、非リアルタイム VBR画像符号ィ匕におヽて、蓄積用メモリに記録された原画像符号化ストリームを復号部で復号し、生成された原画復号画像に対し、上記一つの符号ィヒ部と同タイプの符号ィヒ部により、符号化情報力も選択された符号ィ匕モードで、かつ符号ィ匕情報に基づいて予め決められた目標情報量を時間方向すベてのフレームに割り当てて再符号ィ匕を行い、生成された原画像符号化ストリームを出力するようにしたことで、 1回目の符号化時よりも低、平均符号化レートで再符号化するときにも、最適なモード (この例の場合では M値)を決定することにより、画質劣化を最小限に抑えることが可能となる。なお、この例における符号化部 53, 54, 55は同じ符号ィ匕方式である必要がある。

[0034] 実施の形態 3.

図 12はこの発明の実施の形態 3による画像符号化記録読出装置の構成を示すブロック図である。

画像符号ィ匕記録読出装置は、復号部 61, 62, 63、セレクタ 64〜68, 74、符号ィ匕部 69, 70, 71、制御部 72および蓄積用メモリ 73を備えている。復号部 61, 62, 63 は、画像符号ィ匕記録読出装置への入力が符号化ストリームの場合に復号する手段である。セレクタ 64, 65, 66は、復号部 61, 62, 63による復号画像力原画像かを選択する手段である。セレクタ 67は、セレクタ 64の出力力、セレクタ 65の出力かを選択する手段である。また、セレクタ 68は、セレクタ 64の出力力セレクタ 66の出力かを選択する手段である。符号化部 69, 70, 71は、入力された一つの符号化対象原画像に対して所定の符号化方式に従って符号化を行！ヽ、それぞれの原画像符号化ストリームを生成する手段である。制御部 72は、画像符号ィ匕記録読出装置の各部にモードを設定し、また、各部からの情報を取得する手段である。蓄積用メモリ 73は、各原画像符号化ストリーム、ならびに制御部 72が各部から取得した情報を記録し、読み出すための記憶手段である。セレクタ 74は、蓄積用メモリ 73に記録された複数の原画像符号化ストリームカゝらどの符号化ストリームを読み出すかを選択する手段である。

[0035] 次に、動作について説明する。

1番組の画像を符号化するものとすると、入力された符号化ストリームを復号部 61 で復号した復号画像か、あるいはデジタルの原画像がセレクタ 64で選択される。セレクタ 64の出力（符号化対象原画像）は、図 12の太線で示すように、符号化部 69に入力されると同時に、セレクタ 67, 68を介して符号ィ匕部 70, 71にも入力される。符号ィ匕部 69, 70, 71は、制御部 72によって設定されたそれぞれのモードにより一つの符号化対象原画像に対して符号化を行ヽ、生成したそれぞれの原画像符号化ストリームを蓄積用メモリ 73に記録する。このときの符号ィ匕はリアルタイム VBR画像符号ィ匕である。なお、各符号ィ匕部に設定するモードとしては、例えば符号ィ匕部 69に対しては、画像フォーマット（画像サイズ) A、平均レート R1で、符号ィ匕部 70に対しては、画像フォ一マット B、平均レート R2で、符号化部 71に対しては、画像フォーマット C、平均レート R3で符号ィ匕するように設定することである。

次に、外部ディスク 75に記録する場合、外部のディスク 75の残りの容量やユーザ力もの設定などにより、 3種類の符号化ストリームの中力も最適なもの、あるいは要求設定されたものをセレクタ 74で選択して記録する。

[0036] 上記符号ィ匕を行う動作時において、符号化部 69, 70, 71の間において、符号ィ匕するフレームに対して、数フレーム分の遅延を設けるようにしてもよい。例えば、あるフレームを符号化する場合に、符号化部 69が符号化を実施した数フレーム後に、符号化部 70で符号ィ匕を行い、さらに数フレーム後に符号ィ匕部 71で符号ィ匕を行うようにする。そして、この場合、符号化部 70が符号化部 69の符号化結果を、また、符号化部 71が符号ィ匕部 69と 70の符号ィ匕結果を使用するようにする。このことにより、例えば R 1、 R2、 R3の順番で平均レートが低くなつていく場合においても、一番低いレート R3 で符号ィ匕する符号ィ匕部 71は、符号化部 69, 70の符号ィ匕結果を使用することができるため、各フレームへの情報量の配分、モードの選択などにおいて最適化を図ることができ、低いレートにおいても極端な画質劣化を防止することができる。

また、画像符号化記録読出装置に入力される画像が符号化ストリームである場合には、復号部 61から得られる復号情報を使用することで、符号化部 69, 70, 71のそれぞれにおいて符号ィ匕される各フレームへの情報量配分をリアルタイム VBR符号ィ匕の範囲内で最適化することができる。

[0037] 以上のように、この実施の形態 3によれば、一つの番組の画像 (符号化対象原画像 )に対してそれぞれ異なる画像フォーマットと異なる符号ィ匕レートで少なくとも一対の符号化を行ってそれぞれ原画像符号化ストリームを生成し、生成された各原画像符号化ストリームを蓄積用メモリに記録しておき、蓄積用メモリに記録した複数の原画像符号化ストリームの中から用途に応じた画像フォーマットと符号化レートの原画像符号化ストリームを選択して出力するようにしたので、画質が維持された原画像符号ィ匕ストリームと高画質な原画像符号化ストリームを選択して使用することが可能となる。また、外部ディスク 75に記録する際には非リアルタイムで再度符号ィ匕を行うよりも高速で処理することができる。

[0038] 実施の形態 4.

図 13はこの発明の実施の形態 4による画像符号ィ匕記録読出装置の構成を示すブロック図である。図において、上記実施の形態 1の図 1と同じ機能部分には同一符号を付して示す。

この画像符号ィ匕記録読出装置は、画像符号化部 (画像符号化手段) 80、画像復号部 (画像復号手段) 81、制御部 82および蓄積用メモリ 83を備えている。画像符号ィ匕部 80は、実施の形態 1の図 1に示したリアルタイム VBR画像符号ィ匕部 2と同じ構成を持つ。蓄積用メモリ 83は、実施の形態 1の図 1に示した蓄積用メモリ 5と同様なタイプの記憶手段であるが、後述するように、データの蓄積管理に特徴が与えられている。画像復号部 81は、実施の形態 1の図 1に示したリアルタイム VBR画像符号ィ匕部 2から符号化部 18を除ヽた構成を持ち、復号加算部 17で得られる加算画像をモニタ 96 に与えて再生画像を得るようにしたものである。

したがって、実施の形態 1で述べてきた動作や特徴は、この実施の形態 4の同じ構成によっても同様に得ることができる。また、逆に、この実施の形態 4で述べる特徴も実施の形態 1に適用可能になると考えられる。

[0039] 次に、動作について概略説明する。

画像符号化部 80は、実施の形態 1におけるリアルタイム VBR画像符号ィ匕部 2と一般的には同じ動作を行う。すなわち、符号ィ匕部 (第 1の符号ィ匕部） 10は符号化対象原画像の符号化を行って原画像符号化ストリームを生成する。また、符号化部 10で生成された局部復号画像と符号化対象原画像との差分画像を差分部 13で取得し、符号化部 (第 2の符号化部） 11でこの差分画像の符号化を行って差分画像符号化ストリームを生成する。原画像と差分画像の両符号化ストリームは蓄積用メモリ 83に蓄積される。一方、画像復号部 81は、実施の形態 1における非リアルタイム VBR画像符号ィ匕部 3における復号加算部 17までと一般的には同じ動作を行う。すなわち、復号部（第 1の復号部） 15は、蓄積用メモリ 83から読み出した原画像符号化ストリームを復号し原画復号画像を生成する。また、読み出した差分画像符号化ストリームを復号部 (第 2の復号部） 16で復号し差分復号画像を生成する。生成された原画復号画像と差分復号画像は復号加算部 17で加算され、その加算画像はモニタ 96に出力して表示される。

この差分復号画像は、符号化部 10で符号化対象原画像を符号化した結果の符号化歪を符号ィ匕部 11で符号ィ匕して復号部 16で復号したものであるので、原画復号画像に加算されると、加算画像は符号化前の符号化対象原画像に近くなる。すなわち、差分復号画像を加算せず、原画復号画像をそのまま再生したときよりも、高画質な再生が可能となる。

[0040] この実施の形態 4においては、上記動作に加えて、次に述べるように差分画像符号ィ匕ストリームの取り扱いに特徴が与えられる。

蓄積用メモリ 83に蓄積された差分画像符号化ストリームは、蓄積用メモリ 83の記録可能な残量に応じて以下のように適宜消去される。蓄積用メモリ 83の残量の状態推移について図 14に示す。図において、状態 1は蓄積用メモリ 83に何も記録されていない状態を表し、 Aはその総容量を示す。状態 2は数番組分が記録された状態を表す。このとき、 Bは原画像符号化ストリームの蓄積量、 Cは差分画像符号化ストリームの蓄積量である。しかし、使用者に知らせる記録可能な領域の残量としては、総容量力も原画像符号化ストリームの蓄積量のみを除した容量、すなわち状態 2の場合、 A 力 Bのみを除いた容量である。次の状態 3は、多数の番組が記録され、残量がかなり少なくなつてきた状態を表す。この状態では、差分画像符号化ストリームの中で、 D で表す容量が消去される。その結果、状態 4のように差分画像符号化ストリームの容量（円柱の斜線の部分)が減少し、記録可能な容量（円柱の白色の部分)が増加する。また、蓄積用メモリ 83の記録可能な残量が状態 4で示されるような場合には、新たに記録する番組に対して、原画像符号化ストリームのみを蓄積し、第 2の符号化部において差分画像符号化ストリームは生成されない。それ以降は、記録可能な容量に応じて、差分画像符号化ストリームは適宜消去される。最終的には、原画像符号化ストリームのみが総容量 A分記録されることになる。

[0041] 消去を行う差分画像符号化ストリームの順番は、差分画像符号化ストリームの容量の大きさ、番組を記録した日からの経過時間、符号化対象原画像を符号化したときの記録時間のモード、符号化対象原画像ならびに差分画像を符号化したときの平均量子化スケール値、前回再生したとき力の経過時間、再生回数、番組のジャンル、差分画像を使用したときの SZN比の向上率などに基づ、て決定することになる。例えば、ある容量の差分画像符号化ストリームを消去する場合に、容量の大きいものから順番に消していく方法を用いたとすれば、消去されるストリームの個数は少なくて済むことになる。また、符号ィ匕対象原画像を符号ィ匕したときの記録時間のモードがより高画質なモードから差分画像符号化ストリームを消去するようにした場合は、差分復号画像を加算しないことによる劣化の仕方が小さいものから消去することになる。再生回数、前回再生したとき力の経過時間などによる場合、その番組の視聴頻度がわかり、したがって視聴頻度の低、番組の差分画像符号化ストリーム力消去してヽくようにすればよい。また、消去を行う差分画像符号化ストリームの順番は、使用者により決定される順番としてもょ、。

[0042] 以上説明したように、差分画像符号化ストリームは、あくまで高画質な再生を行うための補助的な符号化ストリームであるため、蓄積用メモリ 83の残量が少なくなつてきた場合などにおいて適宜消去するように扱われる。このことは、使用者に知らせる記録可能な領域の残量として、総容量力原画像符号化ストリームの容量のみを除いた容量としても問題がないことを意味する。また、差分画像符号化ストリームが消去されても原画像符号化ストリームは残っているため、通常の画質の再生は問題なく行える。すなわち、蓄積用メモリ 83に差分画像符号化ストリームが存在しているときには、原画像符号化ストリームを復号'再生するときに、同時に差分画像符号化ストリームの復号を行い、その差分復号画像を原画復号画像に加算することにより、高画質な再生を行う。一方、原画像符号化ストリームが蓄積用メモリ 83に蓄積されているが、対応する差分画像符号化ストリームが蓄積されていない場合には、復号部 15で原画像符号化ストリームのみを復号し、加算画像の代わりに出力して再生する。これは、使用者が自分で指定した記録モードにおける通常の画質の再生であるため、差分画像ストリームがないことによる使用者の不利益にはならない。以上説明した動作を行うために、原画像符号化ストリームと差分画像符号化ストリームは番組単位で一緒に管理を行う。

[0043] また、以下に示すことからも番組ごとに一緒に管理を行う必要がある。例えば、蓄積用メモリに蓄積されて、る原画像符号化ストリームに対して編集 ·消去を行ったときには、連動してこれに対応する差分画像符号化ストリームに対しても、同様に編集'消去を行わなくてはいけない。このとき、差分画像ストリームに対して、符号化のモードなどの理由により、編集ができない場合には、差分画像符号化ストリームを消去するさらに、図 15に示すように、蓄積用メモリに記録してある番組情報を使用者に知らせる画面において、再生画質の内容を表示するようにしてもよい。すなわち、記録した番組についての差分画像符号化ストリームが蓄積されている場合には、高画質な再生出力が可能である旨の表示 (〇印）を行い、一方、差分画像符号化ストリームがなヽ場合には、通常の画質のみの再生出力が可能である旨の表示（ X印）を行うようにする。

[0044] 符号化部 11で差分画像符号化ストリームを生成するときには、符号化対象原画像の符号化劣化の目立つ箇所に対して符号ィ匕歪が小さくなるように符号ィ匕することが重要である。図 16に符号化対象原画像を符号化したときと、ピクチャの符号ィ匕タイプを変えて符号化を行う方法を示す。例えば MPEG— 2のように、画面内符号化を行う Iピクチャ、片方向の画面間予測を行う Pピクチャ、両方向の画面間予測を行う Bピクチヤでは、生じる符号ィ匕歪や知覚できる雑音などの種類も異なる。そのため、符号ィ匕対象原画像と差分画像の各フレームを同じ符号化タイプで符号化を行った場合、同じょうな雑音が発生し、符号化対象原画像の雑音が低減されない可能性がある。これを防止するためには、符号ィ匕対象原画像と差分画像の各フレームにおいて異なつた符号ィ匕タイプにより、符号ィ匕を行うようにすればよい。また、符号化タイプ以外にも、差分画像の符号化において最適になるように量子化マトリクスを符号化対象原画像の符号ィ匕時とは異なったものにしてもよい。

[0045] 図 17に差分画像符号ィ匕時の各フレームに割り当てる情報量の例を示す。図 17 (a) は、符号ィ匕部 10が符号ィ匕対象原画像を符号ィ匕したときの各フレームの量子化スケール平均値、または符号化対象原画像と局部復号画像の差分画像の絶対値和の変化を表して、る。この量子化スケール平均値または差分画像の絶対値和が所定閾値に対する変動幅に応じた変化情報量を求める。そして、図 17 (b)に示すように、その変化情報量を、所定値を基準として増減する値にして、符号ィ匕部 11で差分画像の符号ィ匕を行うときの各フレームに割り当てる情報量とする。 MPEG— 2の符号ィ匕においては、量子化スケール値が大きいほど、画質が悪くなる。また、差分画像は符号ィ匕対象原画像と局部復号画像の差分であるため、差分画像の画素の絶対値和はほぼ SZN比に相当する。すなわち、差分絶対値和が大きいことは、 SZN比が低いことと等価であり、画質が悪いことを意味する。したがって、符号化対象原画像の量子化スケール平均値、または差分絶対値和が大きいフレームは画質が悪いと考えられ、差分画像を符号化するときに、そのフレームに対しては多くの情報量を割り当てる。このことにより、画像復号部 81において原画復号画像に差分復号画像を加算したときの加算画像、すなわち再生画像の画質が大きく向上する。

[0046] 番組のジャンルにおいて、例えばスポーツ、コンサートなどの番組の画像では、ドラマ番組などに比べ、動きの変化が速ぐまた、照明による場面の明るさの変化も激しいことが多い。このような画像は、フレーム間の相関が低いため、符号化効率が悪い画像となる。この問題を解決するためには、ジャンルごとによる符号ィ匕劣化の差を小さくできればよい。そこで、番組のジャンルに応じて差分画像の各フレームに割り当てる情報量を決定し、この情報量により符号ィ匕部 11が差分画像の符号ィ匕を行うようにする。このことにより、画像復号部 81において、原画復号画像に差分復号画像をカロ算したときの加算画像、すなわち再生画像のジャンルの違いによって生じる画質の差を/ J、さくすることができる。

[0047] 差分画像の符号化時に、フレームの量子化スケール平均値が大きい場合には差分画像自体の歪が大きくなり、画像復号部 81において、このような差分画像に対応する差分復号画像を原画復号画像と加算すると、本来存在しなかった雑音を生じさせてしまうことになる。そこで、復号加算部 17における差分復号画像と原画復号画像の加算処理において、差分画像のフレームの平均量子化値が、或る決められた閾値または原画像の符号ィ匕時のフレームの平均量子化スケール値と比較して大きい場合のフレームに対しては、原画復号画像と加算を行わないようにする。このことにより、上記雑音成分の発生を防止することができる。

[0048] 符号ィ匕部 10で符号ィ匕対象原画像を符号ィ匕したときに、周囲の画素と相関が非常に少ない孤立点と呼ばれる画素が差分画像に生じる場合がある。この孤立点は、もともと符号化対象原画像内に存在していたか、あるいは当該原画像の符号化により生じる雑音成分と考えられる力比較的平坦な部分に発生することが多い。このような孤立点や雑音をそのまま符号ィ匕すると符号ィ匕効率が低下することになる。また、差分画像には、人物の顔などの視聴者の目が注視しやすい領域がある。これら孤立点や人物の顔などが存在する差分画像のフレームを図 18に例示する。そこで、第 2の符号ィ匕部では、孤立点や雑音などの視覚的に有効でない信号成分についてはフィルタ処理により取り除いてから、差分画像の符号ィ匕を行うようにする。また、視聴者が注視するような領域については多くの情報量を割り当てて差分画像の符号ィ匕を行うようにする。差分画像において人物の顔などを検出することは困難であるので、人物の顔などの存在の有無や画面内の位置に関する情報は符号ィ匕対象原画像を符号化したときの情報を他符号化部より転送して使用すればよい。

[0049] 画像符号化部 80におヽて、符号化対象原画像を符号化するときと差分画像を符号化するときの符号化ブロックの境界の関係を図 19に示す。図 19に示すように、差分画像を符号化するときには、符号化対象原画像の符号化ブロック境界と境界の位置を水平方向に数画素、垂直方向に数ラインずらして、すなわち、符号ィ匕ブロックの境界が重ならないようにして符号ィ匕を行う。フレームをブロックに分割して行う符号ィ匕では、符号ィ匕を行うことによりブロック歪と言われるブロック状に見える雑音が生じる場合がある。差分画像の符号化を行うときに、ブロック境界をずらすことにより、原画像の符号ィ匕により生じたブロック境界における歪を打ち消すことができる。図 19では水平方向の画素数、垂直方向のライン数とも原画像と差分画像で同じになるようにして符号ィ匕するようにしているが、差分画像の方の画素数、ライン数を増やすことにより、原画像をすベて内部に包含することもできる。この場合や図 19において、原画像の領域外の差分画像の部分は黒や灰色などの固定値に設定する。

[0050] MPEG— 2などの符号ィ匕では 8ビットの画素値を符号ィ匕対象にしている力原画像と局部復号画像の差分をとつた差分画像の画素値は 9ビットになる。また、差分画像符号化ストリームの情報量を削減するために、 9ビットの画素値をシフトすることにより 8ビット以下にする方法について実施の形態 1の図 4において説明した。しかし、原画像と局部復号画像の差分値であるため、そのほとんどの画素は 8ビットで表される範囲内であると考えられる。したがって、そのようなビットシフトを行う代わりに、以下の（1 ) , (2)式に示すように、画素値に対してリミット処理を行うようにする。

S > Pmax のとき S = Pmax (1)

S < Pmin のとき S = Pmin (2)

ただし、 Sを画素差分値、 Pmaxを 8ビットで表される最大値あるいは符号ィ匕規格で規定されて!/、る最大値、 Pminを 8ビットで表される最小値あるいは符号ィヒ規格で規定されている最小値とする。

[0051] また、リミット処理を行う前に（1)式または（2)式に該当する画素数をフレーム内で算出し、その個数が予め決めた閾値よりも多い場合には、そのフレームの画素に対して、ビットシフト処理を行い、一方、閾値以下の場合には、リミット処理を行うようにすることも可能である。このとき、そのフレームがビットシフト処理を行ったもの力、リミット処理を行ったもの力、さらにビットシフト処理を行った場合には、そのシフトした量を蓄積用メモリ 83でフレーム番号とともに保持する力、差分画像のフレーム単位のユーザデータに多重しておく必要がある。画像復号部 81における復号 '加算時には、この保持または多重した情報を基に逆方向のビットシフトを行ってから加算を行えばよい。

[0052] 画像復号部 81におヽて、原画像符号化ストリームを復号して得た原画復号画像と差分画像符号化ストリームを復号して得た差分復号画像を加算するときには、同一のフレームでなくてはいけない。そのためには、各符号化ストリームの GOPヘッダのタイムコードを一致させておき、各フレームのピクチャヘッダに多重されて、るテンポラルレファレンスを使用する方法を用いて、フレームの同期合わせを行って原画復号画像と差分復号画像を加算する。また、ユーザデータに同期信号を多重しておく方法、または DVDレコーダ規格で規定されている VOBU (Video Object Unit)に同期情報を多重しておく方法を用いてフレームの同期をとつて、原画像復号画像と差分復号画像を加算するようにしてもょヽ。

[0053] なお、上記実施の形態 1にお!/ヽても説明したように、ここでは符号ィ匕方式の例として MPEG— 2を適用した場合について説明してきた力この発明は、これ以外にも、 H . 261、 MPEG— 1、 MPEG— 4、 H. 264についても適用可能である。また、フレーム間の差分、加算は符号化対象原画像と原画復号画像の画素に対して実施するので、符号ィ匕部 10と符号ィ匕部 11には、必ずしも同じ符号ィ匕方式を用いる必要はない。また、差分画像符号化ストリームの管理や消去方法は、現行の DVDレコーダなどで行っている原画像の符号化ストリームの管理や消去の方法を適用することで実現可能である。

[0054] 以上のように、この実施の形態 4によれば、画像符号ィ匕部において、符号化対象原画像を符号化して原画像符号化ストリームを生成すると同時に、当該符号化対象原画像から動き補償予測に使用する局部復号画像を生成し、当該局部復号画像と符号化対象原画像の差分画像を取得し、得られた差分画像を符号化して差分画像符号化ストリームを生成し、生成された原画像符号化ストリームと差分画像ストリームを蓄積用メモリに記録し、画像復号部において、蓄積用メモリから読み出した原画像符号化ストリームと差分画像符号化ストリームのそれぞれを復号して原画復号画像と差分復号画像を生成した後、差分復号画像を原画復号画像に加算して加算画像を生成するようにしたことで、その出力の画像を高画質に維持することができる。また、蓄積用メモリの本来使用されていな力つた、空いている領域を使用することにより、通常の画質以上の高画質な再生を行えるようにして!/、るので、蓄積用メモリを有効活用することがでさる。

[0055] さらに、高画質ィ匕のために用いる差分画像符号化ストリームは蓄積用メモリの記録可能な領域の残量に応じて適宜消去されるようにした場合、差分画像符号化ストリームの蓄積が原因で、原画像符号化ストリームを本来記録できる時間より短い時間しか記録できなくなるということはない。すなわち、使用者は蓄積用メモリの最初の記録時間のすべてを原画像符号化ストリームに使用することができる。また、差分画像符号ィ匕ストリームが消去されたとしても、使用者が自分で設定した記録モードの原画像符号化ストリームは蓄積用メモリに残っているため、使用者が設定した本来の画質の再生を行うことが可能であり、使用者の不利益につながることもない。

さらにまた、差分画像符号化ストリームが蓄積用メモリに存在しているときには、上記実施の形態 1で示したように、小容量の外部ディスクに記録するために再符号ィ匕を行うときには、原画復号画像に差分復号画像を加算した加算画像に対して符号化を行うことで、低レートにおける画質劣化を最小限に抑えることができる。

[0056] 実施の形態 5.

図 20はこの発明の実施の形態 5による画像符号化記録読出装置の構成を示すブロック図である。図において、上記実施の形態 3の図 12と同じ機能部分には同一符号を付して示す。

この画像符号ィ匕記録読出装置は、図 12の構成に対して、復号部 114を備えている。復号部 114は、蓄積用メモリ 73に蓄積された、一つの符号化対象原画像を符号化して得られた複数の原画像符号化ストリームの中カゝらセレクタ 74によって選択されたものを復号し、原画復号画像を得る手段である。その原画復号画像は、モニタ 115に与えられ表示されるようにした点で実施の形態 3の構成と異なってヽる。したがって、復号部 114を除いた各部の動作に関しては実施の形態 3で述べたものと同様である。また、復号部 114前の構成カゝら得られるこの実施の形態 5の特徴も、上記実施の形態 3にも適用可能となる。

[0057] この実施の形態 5における複数の符号化部を使用した符号化対象原画像の符号化方法について説明する。

使用者が或る 1番組のみを蓄積用メモリ 73に記録するときには、符号化部 69により、使用者の設定した記録時間モード (符号化平均レート)でその番組の符号化対象原画像に対して符号化を行う。例えば、使用者力時間記録モード (DVDディスク片面 4. 7ギガバイトに約 4時間記録できるモード： DVDレコーダのカタログでは LPモードとも言う）で記録すると設定した場合には、符号ィ匕部 69はこのモードにより符号ィ匕を行い、生成した原画像符号化ストリームを蓄積用メモリ 73に蓄積する。また、このとき、セレクタ 67はセレクタ 64の出力を選択し符号ィ匕部 70に与え、同様にセレクタ 68もセレクタ 64の出力を符号ィ匕部 71に与える。符号ィ匕部 70は、同じ番組の符号化対象原画像に対して、使用者が設定した上記記録モードよりも高画質な記録モード、例えば 2時間記録モード (SPモードとも言う）、あるいは 4時間記録モードよりも平均符号化レートが高ぐカタログなどには記載されていない他のモードで符号ィ匕を行い、生成した原画像符号化ストリームを蓄積用メモリ 73に蓄積する。この場合、符号化部 70 で生成された原画像符号化ストリームは、符号化部 69によるものよりも高画質な原画像符号化ストリームである。また、同様にして符号ィ匕部 71も、同じ番組の符号化対象原画像に対して符号化部 69, 70とは異なる記録モードで符号ィ匕を行い、生成された高画質な原画像符号化ストリームを蓄積用メモリ 73に蓄積する。

この実施の形態 5において、符号ィ匕部 70, 71で生成された高画質な原画像符号ィ匕ストリームに対する取り扱いは上記実施の形態 4で説明した差分画像符号化ストリームに対する方法と同様な方法で行われる。

蓄積用メモリ 73に蓄積された高画質な原画像符号化ストリームは、蓄積用メモリ 73 の記録可能な領域の残量に応じて、適宜消去されることになる。すなわち、高画質な原画像符号化ストリームは、なくても構わない、あくまで補助的なストリームとして扱われる。使用者が上記記録してある番組を再生するときに、高画質な原画像符号化ストリームが蓄積用メモリ 73に存在する場合には、その符号化ストリームを復号部 114により復号し、生成された原画復号画像をモニタ 115に与えて表示する。一方、高画質な原画像符号化ストリームが蓄積用メモリ 73に存在しない場合には、使用者が指定した記録モードの原画像符号化ストリームを復号部 114により復号し、その原画復号画像をモニタ 115に与えて表示することになる。

[0059] 高画質な原画像符号化ストリームの消去の方法、使用者が指定した記録モードの原画像符号化ストリームとの管理方法、および使用者に記録してある番組情報を知らせる画面における高画質再生の可否の情報表示などは、上記実施の形態 4で説明した差分画像符号化ストリームの場合と同様である。ただし、この実施の形態 5における高画質な原画像符号化ストリームは、差分画像符号化ストリームと違って、それ自体が符号ィ匕対象原画像を符号ィ匕したものであるため、復号するだけでそのまま表示することができる。したがって、上記実施の形態 4における差分画像符号化ストリームの場合のように原画復号画像と加算する処理はな！/、ため、再生系は 1つの復号部 11 4だけでよい。また、フレーム単位の同期を合わせる仕組みも必要がない。

[0060] また、上記実施の形態 4で説明したように、符号ィ匕を行う動作時に、符号化部 69, 7 0, 71の間において、符号ィ匕するフレームに対して、数フレーム分の遅延を行うようにしてもよい。例えば、或るフレームを符号化する場合に、符号化部 69が符号化を実施した数フレーム後に、符号ィ匕部 70で符号ィ匕を行い、さらに数フレーム後に符号ィ匕部 71で符号ィ匕を行うようにする。そして、この場合、符号化部 70が符号化部 69の符号ィ匕結果を、また、符号ィ匕部 71が符号ィ匕部 69と 70の符号ィ匕結果を使用するようにする。具体的には、使用者が設定した記録モードで符号ィ匕部 69が符号ィ匕を行った数フレーム後に、高画質な記録モードでの符号ィ匕を符号ィ匕部 70が行うことで、各フレームへの情報量の配分、モードの選択などにおいて最適化を図ることができ、さらなる高画質ィ匕を図ることができる。

[0061] 実際問題としては、使用者が設定した記録モードの原画像符号化ストリームと高画質な原画像符号化ストリームの関係において、原画像符号化ストリームの重要度、符号化の平均レート、高画質な符号化ストリームが消去された場合の観点から考慮した場合、使用者が設定した記録モードの原画像符号化ストリームの画質を向上させることの方が利点は大きい。そのためには、先に符号ィ匕部 69により高画質な記録モードで符号ィ匕を行い、その数フレーム後に、符号ィ匕部 70で使用者が設定した記録モードでの符号化を行い、その際、先に符号化を実施した符号化部 69から得られたフレームの符号ィ匕情報を使用するようにしておく。このことにより、各フレームへの情報量の配分、モードの選択などにおいて最適化を図ることができ、低いレートにおいても極端な画質劣化を防止することができる。

[0062] また、この実施の形態 5における構成を使用して、使用者が設定した同じ記録モードで同じ番組に対して複数の符号化部 69, 70, 71で符号ィ匕を行うようにしてもよい。この場合、符号化部 69, 70, 71それぞれは、一つの符号化対象原画像に対して、同一の画像フォーマット、かつ同一の符号化レートで、 Pピクチャの間隔、量子化マトリクスなどの符号ィ匕パラメータについてそれぞれ異なったものを使用して符号ィ匕を行うようにし、生成した原画像符号化ストリームを蓄積用メモリ 73に記録する。番組全体の符号ィ匕が終了した時点において、それぞれの符号ィ匕部に量子化スケールの平均値や SZN比を演算する機構が備わっている場合には、蓄積用メモリ 73に記録した原画像符号化ストリームについて量子化スケールの平均値または原画像の SZN比を比較し、最も画質がよいと判定された原画像符号化ストリームのみを残し、それ以外の原画像符号化ストリームについては蓄積用メモリ 73から消去するようにしてもよい。このようにすることで、使用者が設定した同じ記録モードで符号ィ匕した場合において、最適な画質の原画像符号化ストリームを使用できるようになる。

[0063] 以上のように、この実施の形態 5によれば、一つの符号化対象画像に対して、使用者が設定した記録時間モード、画像フォーマットで符号化を行って原画像符号化ストリームを生成し、また、同じ符号化対象画像に対して、上記符号化よりも高画質、高解像度なモードで行って上記符号ィ匕よりも高画質な原画像符号化ストリームを生成し、各原画像符号化ストリームを蓄積用メモリに記録するようにしたことで、蓄積用メモリの本来使用されて、な力つた、空!、て!、る領域を高画質の原画像符号化ストリームの蓄積に使用することにより、使用者が設定した記録モードの画質以上の高画質な再生を行うことができると同時に、蓄積用メモリを有効活用することができる。また、高画質な原画像符号化ストリームは蓄積用メモリの記録可能な領域の残量に応じて、適宜消去されるため、高画質な原画像符号化ストリームのために、本来記録できる時間より短い時間しか記録できなくなるということはなぐ蓄積用メモリの最初の記録時間すベてを使用者が設定した記録モードの原画像符号化ストリーム記録に使用することができる。また、高画質な原画像符号化ストリームが消去されたとしても、使用者が自分で設定した記録モードの原画像符号化ストリームは残っているため、使用者が設定した本来の画質の再生は行うことが可能であり、使用者の不利益とはならないまた、高画質な原画像符号化ストリームが蓄積用メモリに存在しているときには、上記実施の形態 1で示したように、小容量の外部ディスクに記録するために再符号ィ匕を行うときに、高画質な原画像符号化ストリームを復号し、この原画復号画像に対して符号ィ匕を行えば、低レートにおける画質劣化を最小限に抑えることができる。

[0064] 実施の形態 6.

図 21はこの発明の実施の形態 6による画像符号ィ匕記録読出装置の構成を示すブロック図である。この画像符号ィ匕記録読出装置は、画像符号ィ匕部 120、画像復号部 121、制御部 122および蓄積用メモリ 123を備えて、る。

画像符号ィ匕部 120の構成において、復号部 124は、画像符号化記録読出装置への入力が符号化ストリームの場合にそれを復号する手段である。セレクタ 125は、復号部 124によって復号された復号画像か別に入力される原画像を符号化対象原画像として選択し、また、この選択された符号ィ匕対象原画像力フレームメモリ（第 1のフレームメモリ） 129からの差分画像を選択する手段である。符号ィ匕部 126は、入力される符号化対象原画像に対して符号化を行う手段である。また、符号ィ匕部 126は、実施の形態 1の図 1で示した符号ィ匕部 10と同様に、動き補償予測に使用するための局部復号画像を表示順に出力する機能を有している。遅延用フレームメモリ 127は、差分部 128へ与えられる符号ィ匕部 126からの局部復号画像と時間的なフレーム位置を合わせるための遅延量を入力画像に与える手段である。差分部 128は、遅延された符号ィ匕対象原画像と符号ィ匕部 126からの局部復号画像との差分をとり、その差分画像を生成する手段である。フレームメモリ 129は、差分部 128によって生成された差分画像を数フレーム分保持する手段である。

[0065] 制御部 122は、画像符号化記録読出装置の各部から動作結果の情報を補助情報として取得し、また、各部のモードを設定する手段である。蓄積用メモリ 123は、この発明では、原画像と差分画像それぞれの符号化ストリームおよび制御部 122が各部力取得した補助情報を記録し読み出すための記憶手段である。画像復号部 121の構成において、復号部 130は、画像符号化部 120の復号部 12 4と同一物とすることができる。復号部 130は、蓄積用メモリ 123から原画像符号化ストリームならびに差分画像符号化ストリームを読み出して復号する手段である。フレームメモリ（第 2のフレームメモリ） 131は、復号部 130により復号された原画復号画像を数フレーム分、保持しておく手段である。復号加算部 132は、復号部 130で復号された差分復号画像をフレームメモリ 131からの原画復号画像に加算して、その加算画像をモニタ 133に与えて表示させる手段である。

[0066] 次に動作について説明する。

原画像符号化ストリームと差分画像符号化ストリームをそれぞれ生成して蓄積用メモリ 123に記録すること、さらに、再生するときに、蓄積用メモリ 123から原画像符号ィ匕ストリームと差分画像符号化ストリームを読み出してそれぞれ復号し、復号された原画復号像と差分復号画像を加算して表示するという動作は上記実施の形態 4で説明した動作とほぼ同様である。しかし、上記実施の形態 4においては、複数の符号化部、復号部を使用して上記動作を行っていたが、この実施の形態 6の場合には、符号化部、復号部をそれぞれ 1個で使用して行う点が異なる。

[0067] 符号ィ匕部 126には、 1フレーム期間内に複数フレームの符号ィ匕を行えるものが使用される。また、復号部 130には、 1フレーム期間内に複数フレームの復号が行えるものが使用される。 1フレーム期間内に処理される符号ィ匕フレームおよび復号フレームの関係を図 22に示す。符号ィ匕部 126では、図 22に示すように、例えば第 Nフレームを符号化するときに、 1フレーム期間の前半に符号化対象原画像に対して符号化を行い、後半に差分画像に対して符号化を行う。前半に行った符号化により生成された原画像符号化ストリームは蓄積用メモリ 123に記録され、符号化部 126におヽて符号化対象原画像を符号化するときに同時に生成された局部復号画像が表示順に出力される。差分部 128では、この出力された局部復号画像と遅延用フレームメモリ 12 7によりフレーム位相合わせが行われた符号化対象原画像とから差分画像を生成する。この差分画像はフレームメモリ 129で数フレーム分保持される。

[0068] 次に、上記 1フレーム期間の後半において、フレームメモリ 129から差分画像が読み出され、セレクタ 125を経由して符号ィ匕部 126に与えられる。符号化部 126では、この差分画像に対して符号化を行ヽ、生成された差分画像符号化ストリームを蓄積用メモリ 123に記録する。これらの動作において、 1フレーム期間の前半と後半に分けて符号化部 126に入力する画像 (符号化対象原画像または差分画像)を切り替えるためのセレクタ 125の制御、そのタイミングに同期してフレームメモリ 129から差分画像を出力させる制御、および蓄積用メモリ 123に原画像符号化ストリームと差分画像符号化ストリームを個別に記録するための制御は制御部 122で行われる。

[0069] 復号部 130では、 1フレーム期間の前半に、蓄積用メモリ 123から読み出した原画像符号化ストリームを復号して原画復号像を生成する。生成された原画復号像は、後半に生成される差分復号画像と加算のための遅延合わせを行うために、フレームメモリ 131で保持される。また、復号部 130では、 1フレーム期間の後半において蓄積用メモリ 123から読み出した差分画像符号化ストリームを復号して差分復号画像を生成する。生成された差分復号画像は、先に生成され遅延された原画復号画像に復号加算部 132で加算され、得られた加算画像はモニタ 133に与えられて表示される。これらの動作において、 1フレーム期間の前半と後半にそれぞれ原画像符号化ストリームと差分画像符号化ストリームを蓄積用メモリ 123から読み出すための制御、および復号生成された差分復号画像と加算を行うために原画復号画像をフレームメモリ 131から読み出すための制御は制御部 122で行われる。

[0070] この実施の形態 6における差分画像符号化ストリームに対しても、上記実施の形態 4において説明したと同じ方法が適用できる。すなわち、

以下に述べる特徴を持たせることができる。

蓄積用メモリ 123に記録された差分画像符号化ストリームを、当該蓄積用メモリ 123 の残量に応じて消去するようにしてもょ、。

符号ィ匕部 126は、蓄積用メモリ 123の残量に応じて差分画像符号化ストリームを生成しないようにしてもよい。

蓄積用メモリ 123に原画像符号化ストリームが蓄積されているが、対応する差分画像符号化ストリームが蓄積されて、な、ときには、復号部 130は蓄積されて、る原画像符号化ストリームのみを復号して、画像復号部 121は加算画像の代わりに、復号された原画復号画像のみを画像復号部 121の再生出力とするようにしてもよい。蓄積用メモリ 123に蓄積される原画像符号化ストリームと差分画像符号化ストリームは、番組ごとに一緒に管理されるものとする。

蓄積用メモリ 123に記録してある番組の情報を知らせる画面にお、て、差分画像符号化ストリームが蓄積用メモリ 123に蓄積されている番組に対しては、高画質の再生出力が可能である旨の表示を行い、一方、差分画像符号化ストリームが前記蓄積用メモリに蓄積されてヽな、番組に対しては、通常の画質の再生出力のみが可能である旨の表示を行うようにしてもょ、。

使用者に知らせる記録可能な蓄積用メモリ 123の残量は、当該蓄積用メモリ 123の総容量力も原画像符号化ストリームの蓄積量のみを除した容量とする。

蓄積用メモリ 123の残量に応じて消去される差分画像符号化ストリームの消去の順番は、差分画像符号化ストリームの容量の大きさ、記録した日付、差分画像と対をなす原画像の記録時間のモード、符号化対象原画像ならびに差分画像を符号化したときの平均量子化スケール値、前回再生したときからの経過時間、再生回数、番組のジャンルまたは差分画像を使用したときの SZN比の向上率を表す情報に基づいて決定されるか、あるいはユーザの選択により決定されるようにする。

蓄積用メモリ 123に蓄積されている差分画像符号化ストリームは、対応する原画像符号化ストリームが編集'消去される場合には、連動して編集'消去され、このとき当該差分画像ストリームの編集が不可能な場合には消去されるようにする。

符号化部 126は、符号化対象原画像を符号化するときと異なる符号化のモードで差分画像を符号化するようにしてもよい。この場合、差分画像を符号化するモードは、ピクチャの符号ィ匕タイプ、 Pピクチャの間隔、量子化スケール値または量子化マトリタスとする。

符号ィ匕部 126は、符号化対象原画像を符号化したときとは画面内の符号化の開始位置を変えて差分画像を符号化するようにしてもよ!ヽ。

符号化部 126は、差分画像の各フレームの絶対値和に基づ!/ヽて決定した各フレームに割り当てる情報量により差分画像を符号ィ匕するようにしてもよい。

符号ィ匕部 126は、符号ィ匕対象原画像を符号ィ匕したときの各フレームの量子化スケールの平均値に基づいて決定した差分画像の各フレームに割り当てる情報量により差分画像を符号化するようにしてもょヽ。

符号ィ匕部 126は、番組のジャンル情報に基づ、て決定された差分画像の各フレームに割り当てる情報量により差分画像を符号ィ匕するようにしてもよい。

符号化部 126は、差分値の有効ビット数を削減してから差分画像を符号化するようにしてもよい。また、差分値の有効ビット数を削減する代わりに、符号化を行う所定のビット数で表現できる範囲を超えた差分値を、所定のビット数で表現できる最大値あるいは最小値で置き換えて差分画像を符号ィ匕するようにしてもよ、。

符号ィ匕部 126は、差分画像を符号化するときに、符号ィ匕を行う所定のビット数で表現できる範囲を超えた差分値の個数をフレーム単位に集計し、当該差分値の個数が或る所定の閾値よりも大きい場合にはビットシフトを行い、当該差分値の個数が前記所定の閾値よりも小さい場合にはビットシフトを行わずに所定のビット数で表現できる最大値あるいは最小値で置き換えて行うようにしてもょ、。

符号ィ匕部 126は、差分値に対してビットシフトを行ったフレーム力あるいは所定のビット数で表現できる最大値もしくは最小値で置き換えたフレームかを示す補助情報を蓄積用メモリ 123に記憶するか、または当該補助情報を差分画像符号化ストリームのユーザデータに多重するようにしてもょ、。

符号化部 126は、符号化対象原画像の符号化を行ったときに生じる視聴者の目が注視するフレーム内の領域の情報を基に割り当てたフレーム内の情報量により差分画像を符号化するようにしてもょ、。

符号ィ匕部 126は、視覚的に有効でない孤立点や雑音などの信号成分をフィルタ処理により除去してから、差分画像を符号ィ匕するようにしてもよい。

符号化部 126は、差分画像を符号化するときに、符号化対象原画像の符号化プロック境界と境界の位置を水平方向に数画素、垂直方向に数ラインずらした符号ィ匕ブロックに対して符号ィ匕を行うようにしてもょ、。

復号加算部 132は、符号化時の差分画像のフレームの量子化スケール平均値が、予め決めた閾値または符号ィ匕対象原画像の同一フレームに対して符号ィ匕を行ったときのフレームの量子化スケール平均値よりも大き、場合には、原画復号画像に差分復号画像を加算しなヽようにしてもょヽ。復号加算部 132は、原画像符号化ストリームと差分画像符号化ストリームの GOPへッダに一致させて記載されるタイムコード、ユーザデータに多重される同期信号、または DVDレコーダ規格で規定されている VOBUに記述される同期用の信号に基づいてフレームの同期をとつて原画像復号画像と差分復号画像を加算する。

以上のように、この実施の形態 6によれば、 1フレーム期間内に複数フレームの符号化を行う機能を有し、符号化対象原画像が入力された場合には当該符号化対象原画像を符号ィ匕して原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、符号ィ匕時の動き補償予測に使用する局部復号画像を表示順に出力し、また、差分画像が入力された場合に当該差分画像を符号化して差分画像符号化ストリームを生成して前記蓄積用メモリに記録する符号化部と、符号化対象原画像が入力された場合に当該符号化対象原画像を所定量遅延させる遅延用フレームメモリと、この遅延用フレームメモリからの符号ィ匕対象原画像と前記符号ィ匕部力もの局部復号画像から差分画像を得る差分部と、得られた差分画像を複数フレーム分保持する第 1のフレームメモリと、符号化対象原画像と第 1のフレームメモリで保持されていた差分画像を 1フレーム期間内に交互に選択して符号ィ匕部と遅延用フレームメモリへ入力するセレクタと、 1フレーム期間内に複数フレームの復号を行う機能を有し、蓄積用メモリから交互に読み出される原画像符号化ストリームと差分画像ストリームをそれぞれ復号する復号部と、復号部で復号された原画復号画像を数フレーム分保持する第 2のフレームメモリと、第 2のフレームメモリで保持されていた原画復号画像に復号部で復号された差分復号画像を加算して加算画像を生成する加算部で構成して、る。したがつて、符号化部、復号部がそれぞれ一つの場合においても、原画像の符号化'復号ならびに差分画像の符号化'復号が可能であり、実施の形態 1あるいは実施の形態 4と同様に画質の維持を図ることができる。

なお、この実施の形態 6に示す符号化部、復号部の機能を、マイクロプロセッサを使用したソフトウェアで行う場合、マイクロプロセッサの処理能力、その時点における負荷状態に応じて、差分画像符号化ストリームの生成、あるいは差分画像符号化ストリームの復号を行うか、行わないかについて適応的に決定する制御を行うことも考慮できる。 [0074] 実施の形態 7.

図 23はこの発明の実施の形態 7による画像符号化記録読出装置の構成を示すブロック図である。

図 23において、復号部 224は、画像符号化記録読出装置への入力が符号化ストリームの場合にそれを復号する手段である。セレクタ 225は、復号部 224によって復号された復号画像か、別に入力される原画像を符号化対象原画像として選択し、また、この選択された符号化対象原画像か、フレームメモリ 229からの保持画像を選択する手段である。符号ィ匕部 226は、 1フレーム期間内に複数フレームの符号ィ匕を行う機能を有しており、入力される符号化対象原画像に対して符号化を行う手段である。フレームメモリ 229は、符号化対象原画像が入力された場合に当該符号化対象原画像を複数フレーム分保持する手段である。

[0075] 制御部 222は、画像符号化記録読出装置の各部から動作結果の情報を補助情報として取得し、また、各部のモードを設定する手段である。蓄積用メモリ 223は、この発明では、複数の原画像符号化ストリームおよび制御部 222が各部力も取得した補助情報を記録し読み出すための記憶手段である。セレクタ 221は、蓄積用メモリ 223 に記録された複数の原画像符号化ストリームからどの符号化ストリームを読み出すかを選択する手段である。復号部 230は、蓄積用メモリ 223から読み出された原画像符号化ストリーム復号し、生成された原画復号画像をモニタ 233に与えて表示させる手段である。

[0076] 次に動作について説明する。

この画像符号化記録読出装置は、一つの番組に関する符号化対象原画像から複数の原画像符号化ストリームを生成して蓄積用メモリ 223に蓄積し、再生するときに、用途に応じた原画像符号化ストリームを蓄積用メモリ 223から読み出して復号するという動作は上記実施の形態 3および実施の形態 5で説明した動作とほぼ同様である。しかし、この実施の形態 3および実施の形態 5の場合には、複数の原画像符号化ストリームを生成するために、複数の符号ィ匕部を使用して上記動作を行っていたが、この実施の形態 7の場合には、符号化部 1個を使用して行う点に特徴がある。

符号ィ匕部 226には、 1フレーム期間内に複数フレームの符号ィ匕が行えるものが使用される。この 1フレーム期間内に複数フレームの符号ィ匕を行う動作については、上記実施の形態 6の図 22で説明したようになる。ただし、この実施の形態 7の場合は、 1 フレーム期間の前半に符号ィ匕対象原画像に対して符号ィ匕を行い、後半にフレームメモリ 229から読み出した上記符号化対象原画像に対応した保持画像に対して符号化を行うことになる。

[0077] 符号ィ匕部 226は、 1フレーム期間の前半に入力される符号ィ匕対象原画像に対して符号ィ匕を行い、生成した原画像符号化ストリームを蓄積用メモリ 223に記録する。この場合の符号ィ匕は、使用者が設定した記録時間モード (符号ィ匕平均レート)、画像フォーマットで行われる。また、このとき同じ符号ィ匕対象原画像はフレームメモリ 229に与えられ数フレーム分保持される。次に、上記 1フレーム期間の後半において、フレームメモリ 229で保持していた符号ィ匕対象原画像 (これを、保持画像とする）が読み出され、セレクタ 225を経由して符号ィ匕部 226に与えられる。符号ィ匕部 226では、この保持画像に対して符号化を行ヽ、生成した原画像符号化ストリームを蓄積用メモリ 223に記録する。この場合の保持画像に対する符号ィ匕は、 1フレーム期間の前半に符号化対象原画像に対して行ったものよりも高画質、高解像度なモードで行われる。したがって、高画質な原画像符号化ストリームが生成され、記録されることになる。これらの符号ィ匕動作において、 1フレーム期間の前半と後半に分けて符号ィ匕部 226に入力する画像 (符号化対象原画像または保持画像)を切り替えるためのセレクタ 225 の制御、そのタイミングに同期してフレームメモリ 229から保持画像を出力させる制御、および蓄積用メモリ 223に原画像符号化ストリームと高画質な原画像符号化ストリームを個別に記録するための制御は制御部 222で行われる。

[0078] 再生時において、セレクタ 221により、原画像符号化ストリームまたは高画質の原画像符号化ストリームが蓄積用メモリ 223から読み出されると、復号部 230では、その原画像符号化ストリームまたは高画質の原画像符号化ストリームを復号して対応した原画復号画像を生成する。得られた原画復号像はモニタ 233に与えられて表示される

[0079] この実施の形態 7における高画質な原画像符号化ストリームに対しても、上記実施の形態 5において説明したと同じ方法が適用できる。すなわち、以下に述べる特徴を持たせることができる。

蓄積用メモリ 223に記録された高画質な原画像符号化ストリームは、当該蓄積用メモリ 223の残量に応じて消去されるようにしてもょ、。

蓄積用メモリ 223に記録された高画質な原画像符号化ストリームは、当該蓄積用メモリの残量に応じて生成されなヽようにしてもょ、。

高画質な原画像符号化ストリームが蓄積用メモリ 223に蓄積されていないときには、蓄積されて!ヽる使用者が設定した記録時間モード (符号化平均レート）、画像フォーマットの原画像符号化ストリームを、当該高画質な原画像符号化ストリームの代わりに選択し再生出力とするようにしてもよい。

使用者が設定した記録時間モード (符号化平均レート）、画像フォーマットの原画像符号化ストリームと高画質な原画像符号化ストリームは、番組ごとに一緒に管理されるようにする。

蓄積用メモリ 223に記録してある番組の情報を知らせる画面において、高画質な原画像符号化ストリームが蓄積用メモリ 223に蓄積されている番組に対しては、高画質の再生出力が可能である旨の表示を行い、一方、高画質な原画像符号化ストリームが蓄積用メモリ 223に蓄積されていない番組に対しては、通常の画質の再生出力のみが可能である旨の表示を行うようにしてもょ、。

使用者に知らせる記録可能な蓄積用メモリ 223の残量は、当該蓄積用メモリ 223の総容量から使用者が設定した記録時間モード (符号化平均レート)、画像フォーマツトの原画像符号化ストリームの蓄積量のみを除した容量とする。

蓄積用メモリ 223の残量に応じて消去される高画質な原画像符号化ストリームの消去の順番は、高画質な原画像符号化ストリームの容量、記録した日付、使用者が設定した記録時間モード、画像フォーマット、前回再生したとき力もの経過時間、再生回数、番組のジャンルまたは高画質な原画像符号化ストリームを復号、再生したときの SZN比の向上率を表す情報に基づいて決定される力、あるいはユーザの選択により決定されるようにする。

蓄積用メモリ 223に蓄積されている高画質な原画像符号化ストリームは、対応する、使用者が設定した記録時間モード (符号化平均レート）、画像フォーマットの原画像符号化ストリームが編集'消去される場合には、連動して編集'消去され、このとき当該高画質な原画像符号化ストリームの編集が不可能な場合には消去されるようにしてもよい。

一対の符号化の他方はそれぞれ数フレーム分の遅延を設けて符号化を行い、先に符号ィ匕を実施した一方の符号化から得られたフレームの符号ィ匕情報を、数フレーム分後に実施した符号化で使用するようにしてもょヽ。

[0081] 以上のように、この実施の形態 7によれば、符号化対象原画像が入力された場合に当該符号化対象原画像を複数フレーム分保持するフレームメモリと、符号化対象原画像とフレームメモリからの当該符号化対象原画像に対応する保持画像を前記 1フレーム期間内に交互に選択して出力するセレクタと、 1フレーム期間内に複数フレームの符号化を行う機能を有し、セレクタから符号化対象原画像が入力された場合には当該符号化対象原画像に対して使用者が設定した記録時間モード、画像フォーマットで符号ィ匕を行って原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、セレクタカゝら対応する保持画像が入力された場合には当該保持画像に対して高画質、高解像度なモードで符号化を行って高画質な原画像符号化ストリームを生成して蓄積用メモリに記録する符号ィ匕部と、蓄積用メモリから読み出される原画像符号化ストリームまたは高画質の原画像符号化ストリームを復号して対応した原画復号画像を生成する復号部を備えている。したがって、符号ィ匕部が一つの場合においても、原画像に対する符号化により異なる画質の原画像符号化ストリームを複数生成することが可能であり、実施の形態 5と同様な効果を奏する。

なお、この実施の形態 7の説明例では、 1フレーム期間内に複数フレームの符号ィ匕を行う符号化部として、 2フレームの符号化により 2つの異なる画質の原画像符号ィ匕ストリームを生成することについて示してきた力 1フレーム期間内に 3以上のフレームの符号ィ匕を行うようにしてもよい。そうすれば、 2以上の高画質の原画像符号化ストリームを得ることが可能となる。

[0082] 実施の形態 8.

図 24はこの発明の実施の形態 8による画像符号ィ匕記録読出装置の構成を示すブロック図である。画像符号化記録読出装置は、リアルタイム画像符号化部 140、非リアルタイム画像符号化部 141、制御部 142および蓄積用メモリ 143を備えている。リアルタイム画像符号ィ匕部 140を構成する各部で、実施の形態 3における図 12に示したものと同じ機能部は同一の符号を付して示す。また、非リアルタイム画像符号化部 141を構成する各部で、実施の形態 2における図 10に示したもの同じ機能部にも同一の符号を付して示す。

制御部 142は、画像符号化記録読出装置の各部にモードを設定し、また、各部の処理動作に伴う情報を取得する手段である。蓄積用メモリ 143は、原画像符号化ストリーム、ならびに制御部 142が各部力も取得した情報を記録し、それらを読み出すための記憶手段である。外部ディスク 58は、符号化部 57で生成された符号化ストリームを記録するための取り外し可能な記録媒体である。

この実施の形態 8では、符号ィ匕部 57で生成された符号化ストリームを外部ディスク 5 8に記録するだけでなぐ蓄積用メモリ 143にも記録できるようにした構成となっている点に特徴がある。

[0083] この実施の形態 8では、次のような機能を与えることができる。

使用者が或る番組を記録しょうとしたときに、使用者が設定した画像フォーマット、記録時間モード (符号化平均レート)で符号化、記録する以外に、使用者が設定した画像フォーマットよりも高精細な画像フォーマット、あるいは使用者が設定した符号化平均レートよりも高いレートにおいても符号ィ匕して記録を行う。また、画像符号化記録読出装置は、使用者の意思に基づ、た記録および再生の動作を行って、な、状態 (外観上で不使用状態におかれていること）において、高精細、高レートな原画像符号化ストリームの復号を行い、リアルタイム符号ィ匕時に取得、記録しておいた符号ィ匕情報を使用して非リアルタイムで復号された画像に対して再符号化を行う。この時の再符号ィ匕においては、リアルタイム符号ィ匕時に使用者が設定したと同じ画像フォーマット、符号ィ匕平均レートで符号ィ匕を実施する。生成された原画像符号化ストリームは再度、蓄積用メモリ 143に記録される。

[0084] 上記の再符号ィ匕が終了した時点で、リアルタイム符号ィ匕時に使用者が設定したモードでの符号ィ匕情報と再符号ィ匕を行ったときの符号ィ匕情報を比較して、画質的に勝つていると判定された原画像符号化ストリームのみを蓄積用メモリ 143に残し、画質的に劣っていると判定された方の原画像符号化ストリーム、ならびに使用者の設定よりも高精細、高レートなモードで符号ィ匕して得た原画像符号化ストリームを蓄積用メモリ 143から消去する。

[0085] 次に、具体的な動作について説明する。

リアルタイム符号ィ匕時において、使用者が画像フォーマット A、符号化平均レート R 1で符号ィ匕するように設定したとする。このとき、符号ィ匕部 69において、画像フォーマット A、符号ィ匕平均レート R1で符号ィ匕を行い、原画像符号化ストリームを生成して蓄積用メモリ 143に記録する。同時に符号ィ匕部 70において、画像フォーマット A、符号化平均レート R2 ( >R1)で符号ィ匕を行い、原画像符号化ストリームを生成し、蓄積用メモリ 143に記録する。

次に、画像符号化記録読出装置が使用者の意思に基づいた記録および再生の動作を行っていない状態にあるとき、非リアルタイム画像符号ィ匕部 141では、蓄積用メモリ 143から符号ィ匕平均レート R2で符号ィ匕を行った原画像符号化ストリームを読み出し、復号部 56で復号する。復号により生成された原画復号画像に対して符号化部 57により符号ィ匕平均レート R1で符号ィ匕を行う。リアルタイムで符号ィ匕を行ったときに記録したすべてのフレームの情報を蓄積用メモリ 143から読み出し、符号化部 57は各フレームへの最適な情報量配分を行って符号ィ匕し、生成した原画像符号化ストリームを、再度、蓄積用メモリ 143に記録する。これにより、蓄積用メモリ 143に記録されて、る原画像符号化ストリームは、リアルタイム符号化時にそれぞれ符号化を行つて得た符号ィ匕平均レート R1と符号ィ匕平均レート R2の各原画像符号化ストリームと、今回の非リアルタイム符号ィヒ時に符号ィヒを行って得た符号ィヒ平均レート R1の原画像符号化ストリームとなる。

[0086] 次に、蓄積用メモリ 143に記録されているリアルタイム、非リアルタイムでそれぞれ符号ィ匕を行った符号ィ匕平均レート R1の原画像符号化ストリームの中で、画質が良いと判定された符号化ストリームのみを残し、画質が悪いと判定された符号ィ匕平均レート R1の原画像符号化ストリームと符号化平均レート R2の原画像符号化ストリームを消去する。この場合の画質を判定する符号ィ匕情報としては、符号ィ匕を行ったときのフレーム単位の量子化スケール値の平均値などを用いる。

なお、リアルタイム符号ィ匕時の画像フォーマットが異なる場合 (例えば、 B)には、符号化部 57で符号化するときに、使用者が設定した画像フォーマット（この例では、 A) に変換して力符号ィ匕を行う。

[0087] 以上のように、この実施の形態 8によれば、一つの符号化対象原画像に対して使用者が設定した画像フォーマットと符号化平均レートで符号化すると共に、使用者が設定した画像フォーマットよりも高精細な画像フォーマットまたは使用者が設定した符号化平均レートよりも高いレートで符号ィ匕を行い、得られた各原画像符号化ストリームを蓄積用メモリに記録しておき、当該装置が使用者の意思に基づいた記録および再生の動作を行っていない状態にあるときに、蓄積用メモリから読み出した高い符号ィ匕平均レートで符号化を行った原画像符号化ストリームに対して復号し、復号により生成された原画復号画像に対して、使用者が設定した符号ィ匕平均レートで、かつ初回の符号ィヒを行ったときのフレームの情報に基づいて各フレームへの最適な情報量配分を行って再符号化し、再符号化で生成された原画像符号化ストリームを蓄積用メモリに記録し、蓄積用メモリに記録されている、一つの符号化対象原画像に関する原画像符号化ストリームの中で、画質が良いと判定された符号化ストリームのみを残し、画質が悪いと判定された原画像符号化ストリームを全て消去し、再生時には、蓄積用メモリに記録されている当該画質が良いと判定された符号化ストリームを読み出すように構成してヽるので、再生時には画質のよ!ヽ符号化ストリームを使用者に提供することが可能となる。

産業上の利用可能性

[0088] 以上のように、この発明に係る画像符号化記録読出装置は、画像を符号化して記録し、再生するときに、記録時の原画像と同等か、より高画質の画像を提供することができるので、同時録画などの機能を与えるために複数の符号化部を搭載する DV Dレコーダに適用して、複数の符号部を組み合わせることにより再生出力の高画質化を図ることに適している。

Claims

請求の範囲

[1] 符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号ィ匕記録読出装置において、

符号化対象原画像を符号化して原画像符号化ストリームを生成すると同時に、当該符号化対象原画像から動き補償予測に使用する局部復号画像を生成し、当該局部復号画像と前記符号化対象原画像の差分画像を取得し、得られた差分画像を符号化して差分画像符号化ストリームを生成し、生成された原画像符号化ストリームと差分画像ストリームを前記蓄積用メモリに記録する画像符号ィ匕手段と、

前記蓄積用メモリから読み出した前記原画像符号化ストリームと前記差分画像符号ィ匕ストリームのそれぞれを復号して原画復号画像と差分復号画像を生成した後、両復号画像を加算して加算画像を生成する画像復号手段とを備えたことを特徴とする画像符号化記録読出装置。

[2] 画像符号化手段は、

符号化対象原画像を符号化して原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、符号ィ匕時の動き補償予測に使用する局部復号画像を表示順に出力する第 1の符号化部と、

前記符号化対象原画像を所定量遅延させる遅延用フレームメモリと、

この遅延用フレームメモリからの符号ィ匕対象原画像と前記第 1の符号ィ匕部力出力された局部復号画像とから差分画像を得る差分部と、

前記差分画像を符号化して差分画像符号化ストリームを生成して前記蓄積用メモリに記録する第 2の符号ィ匕部を有し、

画像復号手段は、

前記蓄積用メモリから原画像符号化ストリームを読み出して復号する第 1の復号部と、

前記蓄積用メモリから差分画像符号化ストリームを読み出して復号する第 2の復号部と、

前記第 1の復号部で復号された原画復号画像と前記第 2の復号部で復号された差分復号画像を加算して加算画像を生成する加算部を有したことを特徴とする請求項

1記載の画像符号化記録読出装置。

[3] 画像符号化手段の構成により、リアルタイム VBR動作によって符号ィ匕を行うリアルタイム VBR画像符号化手段を形成し、

画像復号手段の構成に加え、加算部で生成される加算画像を符号化して加算画像符号化ストリームを生成する第 3の符号化部を有して非リアルタイム VBR画像符号化手段を形成したことを特徴とする請求項 2記載の画像符号化記録読出装置。

[4] 第 3の符号ィ匕部は、第 1の符号ィ匕部により符号ィ匕対象原画像を符号ィ匕したときの平均符号ィ匕レート以下の符号ィ匕レートで加算画像を符号ィ匕する場合には、リアルタイム VBR画像符号ィ匕手段による符号ィ匕時に得られた補助情報カゝら決定された時間方向のすベてのフレームに割り当てる目標情報量に基づいて符号ィ匕を行うことを特徴とする請求項 3記載の画像符号化記録読出装置。

[5] 第 1の符号ィ匕部と第 3の符号ィ匕部は、一つの符号ィ匕部で共用することを特徴とする請求項 3記載の画像符号化記録読出装置。

[6] 蓄積用メモリに記録された差分画像符号化ストリームは、当該蓄積用メモリの残量に応じて消去されることを特徴とする請求項 1記載の画像符号化記録読出装置。

[7] 差分画像の符号化は、蓄積用メモリの残量に応じて差分画像符号化ストリームを生成しなヽようにしたことを特徴とする請求項 1記載の画像符号化記録読出装置。

[8] 画像復号手段は、原画像符号化ストリームが蓄積用メモリに蓄積されているが対応する差分画像符号化ストリームが当該蓄積用メモリに蓄積されていないときには、蓄積されて!、る原画像符号化ストリームのみを復号して原画復号画像を生成し、加算画像の代わりに当該原画復号画像のみを出力することを特徴とする請求項 1記載の画像符号化記録読出装置。

[9] 蓄積用メモリに記録してある番組の情報を知らせる画面にぉ、て、差分画像符号ィ匕ストリームが当該蓄積用メモリに蓄積されている番組に対しては、高画質の再生出力が可能である旨の表示を行い、一方、差分画像符号化ストリームが前記蓄積用メモリに蓄積されていない番組に対しては、通常の画質の再生出力のみが可能である旨の表示を行うことを特徴とする請求項 1記載の画像符号化記録読出装置。

[10] 使用者に知らせる記録可能な蓄積用メモリの残量は、当該蓄積用メモリの総容量力も原画像符号化ストリームの蓄積量のみを除した容量としたことを特徴とする請求項 1記載の画像符号化記録読出装置。

[11] 差分画像の符号化は、差分画像の各フレームの絶対値和に基づいて決定した各フレームに割り当てる情報量に基づいて行われることを特徴とする請求項 1記載の画像符号化記録読出装置。

[12] 差分画像の符号化は、符号化対象原画像を符号化したときの各フレームの量子化スケールの平均値に基づいて決定した差分画像の各フレームに割り当てる情報量に基づいて行われることを特徴とする請求項 1記載の画像符号ィ匕記録読出装置。

[13] 差分画像の符号化は、番組のジャンル情報に基づいて決定された差分画像の各フレームに割り当てる情報量に基づいて行われることを特徴とする請求項 1記載の画像符号化記録読出装置。

[14] 差分画像の符号化は、差分値の有効ビット数を削減する代わりに、符号化を行う所定のビット数で表現できる範囲を超えた差分値を、所定のビット数で表現できる最大値あるいは最小値で置き換えて行われることを特徴とする請求項 1記載の画像符号化記録読出装置。

[15] 差分画像の符号ィ匕時に、符号ィ匕を行う所定のビット数で表現できる範囲を超えた差分値の個数をフレーム単位に集計し、当該差分値の個数が或る所定の閾値よりも大きい場合にはビットシフトを行い、当該差分値の個数が前記所定の閾値よりも小さい場合にはビットシフトを行わずに所定のビット数で表現できる最大値あるいは最小値で置き換えることを特徴とする請求項 1記載の画像符号ィヒ記録読出装置。

[16] 蓄積用メモリ対して並列に非リアルタイム VBR画像符号ィ匕手段を複数個設け、当該蓄積用メモリに蓄積された原画像と差分画像の符号化ストリームの復号、それぞれ復号された復号画像の加算および加算画像の符号化の処理を時分割で、または画面内で分割して行うようにしたことを特徴とする請求項 3記載の画像符号化記録読出装置。

[17] 符号ィヒ対象原画像を所定の符号ィヒ方式に従って符号ィヒして蓄積用メモリに記録し、前記蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号化記録読出装置において、

一つの符号化対象原画像を複数の符号化部で異なる符号化モードでそれぞれ符号化し、そのうちの一つの符号ィ匕部で生成された原画像符号化ストリームのみを前記蓄積用メモリに記録し、同時に使用された各符号化モード、前記複数の符号化部のそれぞれの符号ィ匕動作により得られたフレーム単位の総発生情報量、動きべタトル情報量力なる符号ィ匕情報を前記蓄積用メモリに記録するリアルタイム VBR画像符号化手段と、

前記蓄積用メモリに記録された原画像符号化ストリームを復号部で復号し、生成された原画復号画像に対し、前記一つの符号ィヒ部と同タイプの符号ィヒ部により、前記符号化情報から選択された符号化モードで、かつ前記符号化情報に基づいて予め決められた目標情報量を時間方向すベてのフレームに割り当てて再符号ィ匕を行い、生成された原画像符号化ストリームを出力する非リアルタイム VBR画像符号化手段を備えたことを特徴とする画像符号化記録読出装置。

[18] リアルタイム VBR画像符号ィ匕手段にぉ、て、生成した原画像符号化ストリームを蓄積用メモリに記録しな、複数の符号ィ匕部の符号ィ匕モードは、すべてのフレームに対して、固定で同一の量子化スケールで符号ィ匕を行うものであることを特徴とする請求項 17記載の画像符号化記録読出装置。

[19] リアルタイム VBR画像符号ィ匕手段にぉ、て、生成した原画像符号化ストリームを蓄積用メモリに記録しない複数の符号ィ匕部における符号ィ匕モードは、 Pピクチャの間隔をそれぞれ異なった固定値により符号ィ匕を行うものであることを特徴とする請求項 17 記載の画像符号化記録読出装置。

[20] 非リアルタイム VBR画像符号ィ匕手段の動作前に、生成した原画像符号化ストリームを蓄積用メモリに記録しな、リアルタイム VBR画像符号ィ匕手段の複数の符号ィ匕部の各符号化モード間の所定のフレームごとの発生情報量を比較して前記所定のフレーム単位の発生情報量が少ない方の Pピクチャの間隔を選択し、かつ、前記 Pピクチャの間隔が選択されたときの符号ィ匕モードにおける総発生情報量を前記蓄積用メモリ力取得してこの総発生情報量に基づいて画像全体の各フレームに割り振る目標情報量を決定し、前記非リアルタイム VBR画像符号ィ匕手段の符号ィ匕部は、前記所定のフレーム単位ごとに前記発生情報量が少ない方の Pピクチャの間隔に、かつ対応する符号化モードで切り替え、前記目標情報量が割り振られたフレーム対して再符号ィ匕を行うことを特徴とする請求項 19記載の画像符号化記録読出装置。

[21] 符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号ィ匕記録読出装置において、

一つの符号化対象原画像に対してそれぞれ異なる画像フォーマットと異なる符号化レートで少なくとも一対の符号化を行ってそれぞれ原画像符号化ストリームを生成し、生成された各原画像符号化ストリームを前記蓄積用メモリに記録しておき、前記蓄積用メモリに記録した複数の原画像符号化ストリームの中から用途に応じた画像フォーマットと符号化レートの原画像符号化ストリームを選択して出力することを特徴とする画像符号化記録読出装置。

[22] 一対の符号化の一方は、使用者が設定した記録時間モード、画像フォーマットで行って原画像符号化ストリームを生成し、前記一対の符号化の他方は、前記一方の符号化よりも高画質、高解像度なモードで行って前記一方の符号化よりも高画質な原画像符号化ストリームを生成することを特徴とする請求項 21記載の画像符号化記録読出装置。

[23] 蓄積用メモリに記録された高画質な原画像符号化ストリームは、当該蓄積用メモリの残量に応じて消去されることを特徴とする請求項 22記載の画像符号化記録読出装置。

[24] 蓄積用メモリに記録された高画質な原画像符号化ストリームは、当該蓄積用メモリの残量に応じて生成されないことを特徴とする請求項 22記載の画像符号化記録読出装置。

[25] 高画質な原画像符号化ストリームが蓄積用メモリに蓄積されていないときには、蓄積されて!ヽる使用者が設定した記録時間モード、画像フォーマットの原画像符号ィ匕ストリームを、前記高画質な原画像符号化ストリームの代わりに選択し再生出力とすることを特徴とする請求項 22記載の画像符号化記録読出装置。

[26] 蓄積用メモリに記録してある番組の情報を知らせる画面において、高画質な原画像符号化ストリームが蓄積用メモリに蓄積されている番組に対しては、高画質の再生出力が可能である旨の表示を行い、一方、高画質な原画像符号化ストリームが前記蓄積用メモリに蓄積されて、な、番組に対しては、通常の画質の再生出力のみが可能である旨の表示を行うことを特徴とする請求項 22記載の画像符号ィ匕記録読出装置。

[27] 使用者に知らせる記録可能な蓄積用メモリの残量は、当該蓄積用メモリの総容量力使用者が設定した記録時間モード、画像フォーマットの原画像符号化ストリームの蓄積量のみを除した容量としたことを特徴とする請求項 22記載の画像符号ィ匕記録読出装置。

[28] 一対の符号化の他方はそれぞれ数フレーム分の遅延を設けて符号化を行い、先に符号ィ匕を実施した一方の符号化から得られたフレームの符号ィ匕情報を、数フレーム分後に実施した符号化で使用するようにしたことを特徴とする請求項 21記載の画像符号化記録読出装置。

[29] 符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号ィ匕記録読出装置において、

一つの符号化対象原画像に対して、同一の画像フォーマットと同一の符号ィ匕レートで、かつ Pピクチャ間隔、量子化マトリクスなどの符号ィ匕パラメータについてはそれぞれ異なったものを使用して複数の符号化を行い、得られた各原画像符号化ストリームを前記蓄積用メモリに記録し、

前記蓄積用メモリに記録された複数の原画像符号化ストリームにつ、て平均量子ィ匕スケールまたは原画像との SZN比を比較し、最も画質がよ!ヽと判定された原画像符号化ストリーム以外の原画像符号化ストリームを前記蓄積用メモリから消去し、前記蓄積用メモリに記録されてヽる最も画質がよ!ヽと判定された原画像符号化ストリームを読み出して復号し原画復号画像を生成することを特徴とする画像符号化記録読出装置。

[30] 画像符号化手段は、

1フレーム期間内に複数フレームの符号化を行う機能を有し、符号化対象原画像が入力された場合には当該符号化対象原画像を符号化して原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、符号ィ匕時の動き補償予測に使用する局部復号画像を表示順に出力し、また、差分画像が入力された場合に当該差分画像を符号化して差分画像符号化ストリームを生成して前記蓄積用メモリに記録する符号化部と、

符号化対象原画像が入力された場合に当該符号化対象原画像を所定量遅延させる遅延用フレームメモリと、

この遅延用フレームメモリからの符号ィ匕対象原画像と前記符号ィ匕部からの局部復号画像から差分画像を得る差分部と、

前記差分部で得られた差分画像を複数フレーム分保持する第 1のフレームメモリと符号化対象原画像と前記第 1のフレームメモリで保持されていた差分画像を前記 1 フレーム期間内に交互に選択して前記符号化部と前記遅延用フレームメモリへ入力するセレクタとを有し、

画像復号手段は、

1フレーム期間内に複数フレームの復号を行う機能を有し、前記蓄積用メモリから交互に読み出される原画像符号化ストリームと差分画像ストリームをそれぞれ復号する復号部と、

前記復号部で復号された原画復号画像を数フレーム分保持する第 2のフレームメモリと、

前記第 2のフレームメモリで保持されていた原画復号画像に前記復号部で復号された差分復号画像を加算して加算画像を生成する加算部とを有したことを特徴とする請求項 1記載の画像符号化記録読出装置。

符号化対象原画像が入力された場合に当該符号化対象原画像を複数フレーム分保持するフレームメモリと、

符号化対象原画像と前記フレームメモリからの当該符号化対象原画像に対応する保持画像を前記 1フレーム期間内に交互に選択して出力するセレクタと、

1フレーム期間内に複数フレームの符号ィ匕を行う機能を有し、前記セレクタから符号化対象原画像が入力された場合には当該符号化対象原画像に対して使用者が設定した記録時間モード、画像フォーマットで符号化を行って原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、前記セレクタから対応する保持画像が入力された場合には当該保持画像に対して高画質、高解像度なモードで符号化を行って高画質な原画像符号化ストリームを生成して前記蓄積用メモリに記録する符号化部と、

前記蓄積用メモリから読み出される原画像符号化ストリームまたは高画質の原画像符号化ストリームを復号して対応した原画復号画像を生成する復号部とを備えたことを特徴とする請求項 22記載の画像符号化記録読出装置。

符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号ィ匕記録読出装置において、

一つの符号化対象原画像に対して使用者が設定した画像フォーマットと符号化平均レートで符号ィ匕すると共に、使用者が設定した画像フォーマットよりも高精細な画像フォーマットまたは使用者が設定した符号ィ匕平均レートよりも高いレートで符号ィ匕を行い、得られた各原画像符号化ストリームを前記蓄積用メモリに記録しておき、当該装置が使用者の意思に基づいた記録および再生の動作を行っていない状態にあるときに、前記蓄積用メモリから読み出した高い符号ィ匕平均レートで符号ィ匕を行つた原画像符号化ストリームを復号し、

復号により生成された原画復号画像に対して、前記使用者が設定した符号化平均レートで、かつ初回の符号化を行ったときのフレームの情報に基づいて各フレームへの最適な情報量配分を行って再符号化し、

再符号ィ匕で生成された原画像符号化ストリームを前記蓄積用メモリに記録し、前記蓄積用メモリに記録されてヽる、前記一つの符号化対象原画像に関する原画像符号化ストリームの中で、画質が良いと判定された符号化ストリームのみを残し、画質が悪いと判定された原画像符号化ストリームを全て消去し、

再生時には、前記蓄積用メモリに記録されている当該画質が良いと判定された符号化ストリームを読み出すことを特徴とする画像符号化記録読出装置。