JP4139657B2 - 映像信号の符号化装置および復号化装置 - Google Patents
映像信号の符号化装置および復号化装置 Download PDFInfo
- Publication number
- JP4139657B2 JP4139657B2 JP2002265729A JP2002265729A JP4139657B2 JP 4139657 B2 JP4139657 B2 JP 4139657B2 JP 2002265729 A JP2002265729 A JP 2002265729A JP 2002265729 A JP2002265729 A JP 2002265729A JP 4139657 B2 JP4139657 B2 JP 4139657B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- bit
- encoding
- pixel
- bit data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【産業上の利用分野】
本発明は、映像制作、映像データの素材保管、ロケ素材の中継など映像制作分野、特にＮＴＳＣ以上の品質の高い高精細映像制作を行う分野、ＤＶＤ等のデジタル記録媒体を用いた映像記録再生装置分野、遠隔医療における医用動画像の伝送等、データの改変が嫌われる分野等において好適なデータの可逆圧縮技術に関する。
【０００２】
【従来の技術】
従来より、映像信号の圧縮には様々な手法が用いられている。映像信号を圧縮して符号化する手法として、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが実用化されている。このような圧縮符号化方式により、映像信号を小さいデータとして扱うことが可能となり、データの記録・伝送の効率化に貢献している。
【０００３】
【特許文献１】
特開平８−３２２０５０号公報
【０００４】
【発明が解決しようとする課題】
上述のようなＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等はいずれもロッシー符号化方式といわれるものであり、効率的な圧縮が可能であるが、復号化にあたって、少なからず品質の劣化を伴い、原信号を完全に再現することはできない。そのため、映像制作、素材保管、ロケ素材の中継など映像制作分野では、これらの符号化方式を適用できず、非効率ではあるが、非圧縮で保存・伝送する方式がとられている。特に最近は高精細ＨＤＴＶ映像を扱うプロダクションが増え、素材容量が膨大になり、ワークディスクを管理する上で問題になってきている。
【０００５】
映像信号であっても、コンピュータグラフィックスやアニメーション映像、人工動画像については、ランレングス法を基本とした可逆（ロスレス）圧縮技術が利用されているが、カメラ等で入力する実写映像には適用できない。理由として、カメラ等で入力する実写映像には予測不可能な量子化雑音成分が含まれていて、基本的にデータランが存在しないことが挙げられる。
【０００６】
上記のような点に鑑み、本発明は、カメラ等で入力した映像信号に対しても十分な圧縮を行うことが可能であると共に、復号時には、元の映像信号が完全に復号することが可能な可逆圧縮方式の映像信号の符号化装置、復号化装置および記録媒体を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明では、時系列の各フレームを形成する画素の輝度または色情報に対応した画素データで構成される映像信号に対して、前記全ての画素データを再現できるように情報量を圧縮する符号化装置であって、前記画素データを構成する各ビットデータを所定のビット位置で分断し、画素データの上位ビットで構成される上位ビットデータと、画素データの下位ビットで構成される下位ビットデータとに分離するためのデータ分離手段と、前記上位ビットデータに対しては空間的に隣接した画素の画素データからの予測誤差を基に符号化を行うようにした上位ビット符号化手段と、前記下位ビットデータに対しては情報が失われない条件で必要最小限のビット幅で符号化を行うようにした下位ビット符号化手段と、を有し、前記上位ビット符号化手段は、近傍２画素に対応する上位ビットデータから線形予測を行って予測値を得るための線形予測手段と、前記予測値と対象の上位ビットデータとの誤差値を算出するための予測誤差算出手段と、前記誤差値のビットデータに対して各々異なるビット長で符号化する可変ビット長符号化手段とを有する構成としたことを特徴とする。
【０００８】
本発明によれば、映像信号の各フレームの各画素データを構成するビットデータを上位ビットデータと下位ビットデータに分離し、上位ビットデータに対しては空間的に隣接した画素の画素データからの予測誤差を基に符号化を行い、下位ビットデータとは別々に符号化を行うようにしたので、映像信号をデジタル化する際に用いる回路の熱雑音成分を下位ビットとして分離した状態で、主成分である上位ビットデータに対して予測誤差を用いた符号化を行うことができるため圧縮効率の高い符号化が可能となる。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（装置構成）
図１は、本発明に係る映像信号の符号化装置の一実施形態を示す構成図である。図１において、１０は色信号間演算手段、２０はフレーム差分演算手段、３０は信号平坦部符号化手段、４０はデータ分離手段、５０は上位ビット符号化手段、５１は線形予測手段、５２は予測誤差算出手段、５３は可変ビット長符号化手段、５４はルックアップテーブル作成手段、５５はビットデータ変換手段、５６はビットデータ符号化手段、６０は下位ビット符号化手段である。
【００１０】
図１において、色信号間演算手段１０は、１つの画像フレームにおける各画素が複数の色に対応する輝度値を持つ場合、すなわち一つの画像フレームが複数の輝度値プレーンで構成される場合に、１つの色を基準値として、他の２つの色の輝度値には、基準値との差分を与える機能を有する。フレーム差分演算手段２０は、連続するフレーム間の各画素データの差分を演算する機能を有する。信号平坦部符号化手段３０は、差分演算処理された各フレームに対して、画素データの値が一定である平坦部を検出し、効率的に符号化する機能を有する。データ分離手段４０は、信号平坦部の処理が行われたフレームを構成する各画素データを所定の位置で上位ビットデータと下位ビットデータに分離する機能を有する。上位ビット符号化手段５０は、データ分離手段４０により分離された上位ビットデータを効率良く符号化する機能を有する。下位ビット符号化手段６０は、データ分離手段４０により分離された下位ビットデータを効率良く符号化する機能を有する。図１に示した各構成要素は、実際には、コンピュータおよびコンピュータにより実行される専用のソフトウェアプログラムにより実現される。
【００１１】
（処理動作）
次に、図１に示した映像信号の符号化装置の処理動作について説明する。まず、映像をＴＶカメラ等で撮影してデジタル化する。これにより、デジタル映像信号が得られる。このようなデジタル映像信号は、１秒間に複数フレーム（静止画像）を有し、各フレームがＲ、Ｇ、Ｂの３色の輝度値を有するものとなっている。なお、本実施形態では、１秒間に３０フレーム、各画素の各色に８ビットが割り当てられているものとして説明する。
【００１２】
このようにしてデジタル化されたデジタル映像信号は、色信号間演算手段１０により色信号間の差分演算が行われる。ここで、色信号間の差分演算の様子を図２を用いて説明する。図２（ａ）は、デジタル映像信号を模式的に示したものである。図示のように映像信号は１フレームがＲＧＢの３プレーンで構成されている。図２（ａ）に示したような映像信号の各フレームに対して色信号間演算手段１０は、プレーン間の差分演算を行うことになる。具体的には、Ｇプレーンを基準として、ＲプレーンとＧプレーンの同一座標の画素データの差分演算を行い、その値をＲプレーンの各画素の新たな値とし、ＢプレーンとＧプレーンの同一座標の画素データの差分演算を行い、その値をＢプレーンの各画素の新たな値とするのである。ここで、Ｇプレーンを基準とするのは、輝度信号はＧを主体としており、Ｒ−Ｇ、Ｂ−Ｇの色差信号の空間分解能はＧ信号に対して１／２程度になるためである。すなわち、Ｒ、Ｂの２プレーンを差分信号にすると、隣接画素間の輝度差が小さくなり、後述する符号化の際の予測誤差が小さくなる。この結果、各フレームは、図２（ｂ）に示すような状態となる。なお、入力されるデジタル映像信号がＹ・Ｐｂ・Ｐｒのように、輝度信号であるＹ信号と、色差信号であるＰｂ、Ｐｒの形式で入力される場合は、色信号間演算手段１０による処理を行わず、直接フレーム間差分演算手段２０による処理を行う。
【００１３】
次に、色信号間演算されたデジタル映像信号に対して、フレーム間差分演算手段２０が、隣接するフレーム間の差分演算を行う。具体的には、各フレーム間の各プレーン同士で同一座標の画素同士の差分演算を行い、その値を後続するフレームの各画素の新たな値とする処理を行う。この場合、時間的に先頭である開始フレームだけは差分演算が行われない。この結果、図２（ｂ）に示したデジタル映像信号は、図２（ｃ）に示すような状態になる。すなわち、フレームＦ1は、フレーム間差分演算手段２０の処理による変化はないが、フレームＦ２の各プレーンには、フレームＦ1とフレームＦ2の差分値が与えられ、フレームＦnの各プレーンには、フレームＦn-1とフレームＦnの差分値が与えられる。ただし、映像においてシーンが変わる場合は、照明や自然光等も変化し、輝度値も大きく変化することになる。このような場合、差分演算を行っても差分後の値はむしろ大きくなり、データ量の圧縮に寄与しない。そこで、本実施形態では、更新されたフレームの各画素の値が更新前のフレームの各画素の値に比べ、所定のレベル以上に増大する場合、フレームを更新前のフレームに戻す処理を行っている。その結果、映像信号中には開始フレームが複数存在することになる。
【００１４】
続いて、信号平坦部符号化手段３０が、各フレームの各プレーンに対して、信号平坦部の処理を行う。信号平坦部とは、信号レベルが均一な値になっている箇所をいうが、コンピュータグラフィックス映像等を除き、均一な値として信号レベルの最小値「０」または信号レベルの最大値（例えば２５５）が通常候補になる。実写映像では、一般にこのような箇所はまれであるが、照明が全暗になりＡ／Ｄ変換器入力が零校正レベル以下であったり（カメラの校正により全暗時にはカメラ信号出力が負値になる場合もある）、映像が逆光照明になってＡ／Ｄ変換器が飽和したりすると、このような箇所が生じる。信号レベルが「０」および信号レベルが最大値のいずれであっても、信号平坦部は、同一の信号レベルが所定の領域（所定の画素数）連続して記録される。このため、この部分は圧縮し易いデータになっている。具体的には、信号平坦部となる矩形領域の左上点、右下点の画素座標（ｘ，ｙ）と画素データの値（Ｇプレーンの場合は輝度値、Ｒ−Ｇプレーン、Ｂ−Ｇプレーンの場合は差分値）を平坦部情報として各フレームの各プレーンと分離して記録する。各フレームの各プレーンからは、信号平坦部が削除される。これを模式的に示すと図３（ａ）に示すようになる。図３（ａ）において、網掛けで示した部分は信号平坦部を示す。信号平坦部符号化手段３０の処理により、信号平坦部はフレームの各プレーンから削除される。ただし、復号時に元通りに復元するために、削除された信号平坦部は、図３（ｂ）に示すような形式で記録しておく。信号平坦部情報は、信号平坦部ごとに、左上点の画素座標（ｘ，ｙ）、右下点の画素座標（ｘ，ｙ）と画素データの値で記録される。本実施形態では、各プレーンの各画素には８ビットが割り当てられているので、画素データが０または２５５の場合に信号平坦部を形成し易くなる。ただし、信号平坦部符号化手段３０は、信号平坦部を無条件には処理しない。本発明は、データの圧縮を目的としているため、各プレーンからの削減分よりも平坦部情報が大きくなると意味がないからである。したがって、平坦部が所定以上の大きさになる場合に限り平坦部情報を作成して各プレーンから削除するのである。
【００１５】
上記のようにして、各プレーン間（色信号間）の差分算出処理、各フレーム間の差分算出処理、信号平坦部の符号化処理が行われたら、次に、データ分離手段４０が、各画素データの上位ビットと下位ビットの分離を行う。本実施形態では、撮影映像をデジタル化する際に、各色について量子化ビット数８で量子化している。そのため、デジタルデータは各プレーンの各画素について８ビットが割り当てられている。この場合、本実施形態では、上位ビット６ビットと、下位ビット２ビットに分離する。この分離は、基本的に、Ａ／Ｄ変換機等、映像信号をデジタル化する際に用いる回路の熱雑音等に起因する量子化雑音（アナログからデジタル数値に変換する際の端数のゆらぎ成分）を分離するために行う。そのため、量子化雑音であると考えられる下位ビットを分離するのである。下位ビットとして、どの程度分離するかは、撮影環境や利用した回路の特性によっても変化するが、通常量子化ビット数の１／４程度とすることが望ましい。したがって、ここでは、８ビットの１／４にあたる２ビットを下位ビットとして分離しているのである。
【００１６】
ここで、データ分離手段４０によるデータ分離の様子を図４に模式的に示す。図４において、Ｈは上位ビットデータを示し、Ｌは下位ビットデータを示す。図４（ａ）は分離前の画素データである。データ分離手段４０により、サンプルデータは、図４（ｂ）に示す上位ビットデータと図４（ｃ）に示す下位ビットデータに分離されることになる。このようにして分離された画素データは、以降別々に処理されることになる。
【００１７】
（上位ビットの符号化）
上位ビットデータは、上位ビット符号化手段５０により処理される。上位ビット符号化手段５０においては、線形予測手段５１と予測誤差算出手段５２が、近傍の２つの画素を基に各画素の予測値と予測誤差を算出した後、予測誤差に置きかえられた各ビットデータを可変長ビット符号化手段５３が可変長に変換する。ここで、予測誤差の算出手法について、図５を用いて説明する。ここでは、走査線方向（ｘ軸方向）に予測を行う場合を想定して、上位ビット値が図５（ａ）に示すような状態である場合を考えてみる。図５（ａ）において、横軸はプレーン上のｘ軸座標、縦軸は上位ビット値Ｇ（ｘ）である。また、各座標値における線分は、各座標における画素の上位ビット値Ｇ（ｘ）の値を示している。このような状態で、座標（ｘ，ｙ）の画素における予測誤差Ｅ（ｘ）を算出する場合、直前の画素ｘ−１における上位ビット値Ｇ（ｘ−１）および２つ前の画素ｘ−２における上位ビット値Ｇ（ｘ−２）を利用して以下の〔数式１〕により算出する。
【００１８】
〔数式１〕
Ｅ（ｘ）＝Ｇ（ｘ）−２×Ｇ（ｘ−１）＋Ｇ（ｘ−２）−Ｅ（ｘ−１）／２
【００１９】
上記〔数式１〕において、「２×Ｇ（ｘ−１）−Ｇ（ｘ−２）」は直前の２つの画素の上位ビット値に基づく線形予測成分であり、線形予測手段５１により算出される。予測誤差算出手段５２は、算出された線形予測成分、および、直前の画素において算出された予測誤差「Ｅ（ｘ−１）／２」（誤差フィードバック成分）を用いて座標ｘにおける予測誤差Ｅ（ｘ）を算出する。全画素について、予測誤差の算出を行い、画素データの上位ビット値の代わりに予測誤差が記録される。
【００２０】
これを図５（ａ）に示した画素データの上位ビット値を基に説明する。まず、誤差フィードバック成分を加えない状態で各予測誤差Ｅｏ（ｘ）を算出する。図５（ｂ）に示すように、画素ｘの予測誤差Ｅｏ（ｘ）を算出する場合、直前の画素ｘ−１における上位ビット値Ｇ（ｘ−１）および２つ前の画素ｘ−２における上位ビット値Ｇ（ｘ−２）を結ぶ予測線が座標ｘでとる値と、座標ｘにおける上位ビット値Ｇ（ｘ）の差分（図中太点線で示す）に基づいて予測誤差Ｅｏ（ｘ）が算出される。画素ｘ＋１以降も同様に行って予測誤差Ｅｏ（ｘ＋１）を算出する。算出された予測誤差Ｅｏ（ｘ）は、図５（ｃ）に示すようになる。図５（ａ）と図５（ｃ）を比較するとわかるように値が変動する範囲が大きく狭まり、データ圧縮に都合が良くなる。続いて、〔数式１〕に基づいて予測誤差Ｅｏ（ｘ）に対して直前の画素ｘ−１における補正が加わった予測誤差Ｅ（ｘ−１）の５０％を減算させて、誤差フィードバック処理を加えた結果が図５（ｄ）である。図５（ｃ）と比べると、画素ｘ＋１およびｘ＋２における予測誤差の低減が顕著である。逆に画素ｘ＋３およびｘ＋４では予測誤差が増大しているが、平均的には予測誤差が低減し、図５（ａ）と比較すると値が変動する範囲が更に狭まり、データ圧縮効果が向上する。
【００２１】
上記のようにして予測誤差の算出が行われるが、図５の例では、画像のｘ軸方向すなわち走査線方向に従って予測を行った。本発明では、予測精度をさらに高めるため、複数の方向のうち、予測誤差の算出に最も適した方向を選定する処理を行っている。ここでは、図６（ａ）に示すような走査線方向、副走査線方向、対角線方向の３方向のうち、いずれが最適であるかを選定することになる。具体的には、画素（ｘ，ｙ）の予測誤差を求めるための方向を決定する場合、まず、走査線方向の直前の画素（ｘ−１，ｙ）のさらに直前の２画素による予測誤差Ｅｈ（ｘ−１，ｙ）、副走査線方向の直前の画素（ｘ，ｙ−１）のさらに直前の２画素による予測誤差Ｅｖ（ｘ，ｙ−１）、対角線方向の直前の画素（ｘ−１，ｙ−１）のさらに直前の２画素による予測誤差Ｅｄ（ｘ−１，ｙ−１）を求める。なお、走査線方向の予測誤差Ｅｈ（ｘ，ｙ）、副走査線方向の予測誤差Ｅｖ（ｘ，ｙ）、対角線方向の予測誤差Ｅｄ（ｘ，ｙ）はそれぞれ以下の〔数式２〕〜〔数式４〕で算出される。
【００２２】
〔数式２〕
Ｅｈ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ−１，ｙ）＋Ｇ（ｘ−２，ｙ）−Ｅ（ｘ−１，ｙ）／２
【００２３】
〔数式３〕
Ｅｖ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ，ｙ−２）−Ｅ（ｘ，ｙ−１）／２
【００２４】
〔数式４〕
Ｅｄ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ−１，ｙ−１）＋Ｇ（ｘ−２，ｙ−２）−Ｅ（ｘ−１，ｙ−１）／２
【００２５】
そして、予測誤差が最小となる画素の方向を画素（ｘ，ｙ）の予測方向とする。例えば、Ｅｈ（ｘ−１，ｙ）、Ｅｖ（ｘ，ｙ−１）、Ｅｄ（ｘ−１，ｙ−１）のうち、Ｅｖ（ｘ，ｙ−１）が最小であった場合、副走査線方向について予測誤差を求めることになる。すなわち、画素（ｘ，ｙ）の予測誤差は、上記〔数式３〕に従って画素（ｘ，ｙ−１）、画素（ｘ，ｙ−２）の値を利用して、Ｅｖ（ｘ，ｙ）として算出される。同様にして全フレーム、全プレーンの全画素について、同様の処理を行って各画素の値を予測誤差値に置き換えていく。
【００２６】
なお、プレーン上の各画素データの中には、信号平坦部符号化手段３０により一括して信号平坦部領域として処理されて、各画素として符号化されないものがある。そのような画素については、予測誤差の算出は行わないが、信号平坦部に属さない画素の予測誤差の算出のために利用される。例えば、図６（ｂ）に示すようなプレーンにおいて、信号平坦部に属さない画素Ａの予測誤差を求めるにあたって、対角線方向が最適であると判断されたとする。この場合、信号平坦部に属する画素Ｂ、画素Ｃの画素データ（上位ビット）および予測誤差が必要になる。このような場合、画素Ｂ、画素Ｃの基のデータを利用して画素Ａの予測誤差の算出を行う。
【００２７】
次に、可変ビット長符号化手段５３が、予測誤差値で記録された上位ビットデータをより少ないデータ量で表現するために、ビット構成の変換を行う。まず、ビット構成の変換を行うために利用するルックアップテーブルの作成を行う。具体的には、まず全フレーム、全プレーンについて、各画素データのヒストグラムを算出する。予測誤差に置きかえられたことにより、画素データは正負の値をとるが、ここでは、その絶対値ごとにヒストグラムを算出する。その結果、出現頻度の高い画素値から順に、少ないビット数のビットパターンを割り当てていく。この際、割り当てるビットパターンには規則が有り、最上位ビットは必ず「１」とし、「０１」のビットパターンを含むビットパターンは禁止する。したがって、ビットパターンの最小値は１ビットの「１」となる。図７（ｃ）に作成されたルックアップテーブルの一例を示す。
【００２８】
上記のようにして作成されたルックアップテーブルを用いて、６ビット固定長の連続する上位ビットデータを、可変長のビットパターンに変換していく。可変長になるため、変換後の各データの区切りを区別する必要が生じる。そのため、本実施形態では、各データ間に１ビットのセパレータビット「０」を挿入する。なお、ルックアップテーブルにおいて、「０１」を含むビットパターンを禁止するのは、セパレータビット「０」とそれに続くビットデータの最上位ビット「１」で構成される「０１」パターンでデータ間の区切りを判断するようにしているためで、ビットデータ中に「０１」パターンが存在すると区切りと誤判断してしまうためである。また、ルックアップテーブルにおいては、上位固定長ビットデータがとる値の絶対値で変換するため、正負の値を記録する必要が生じる。このため、ビットデータと重複しない値をもつ正負反転データを挿入する。例えば、正負反転データ以前の可変長ビットが正である場合は、それ以降の可変長ビットは負であるとして認識されることになる。図７（ａ）（ｂ）に、可変ビット長符号化手段５３によるデータ変換の様子を模式的に示す。図７（ａ）（ｂ）はいずれも画素データの上位ビット部分に対応しており、図７（ａ）は固定長の上位ビットデータが連続して記録されている様子を示している。図７（ａ）に示したような上位ビットデータは、図７（ｃ）に示したルックアップテーブルを用いて図７（ｂ）に示すように変換されることになる。
【００２９】
（下位ビットの符号化）
一方、下位ビットデータは、下位ビット符号化手段６０により処理される。具体的には、データ分離手段４０により分離された下位２ビットのデータを連続に配置していく。
【００３０】
（符号データの記録）
以上のようにして得られた符号データは、図８に示すようになる。すなわち、上位可変長ビットデータ、下位固定長ビットデータ、ルックアップテーブル、フレーム構造情報、信号平坦部情報、色信号間情報となる。このデータを記録すべき記録媒体に合わせたフォーマットで記録する。
【００３１】
（復号化）
次に、上記符号化装置により符号化された符号データの復号について説明する。図９は、本発明に係る映像信号の復号化装置の構成を示す機能ブロック図である。図９において、９１はデータ読込手段、９２は上位ビット変換手段、９３は下位ビット変換手段、９４はデータ統合手段、９５は信号平坦部挿入手段、９６はフレーム復元手段、９７は色信号復元手段である。図９に示す構成は、コンピュータおよびコンピュータに搭載される専用のソフトウェアプログラムにより実現される。
【００３２】
続いて、図９に示した復号装置の処理動作について説明する。まず、図８に示したような符号データを記録した記録媒体を、データ読込手段９１が読み込む。データ読込手段９１は、読み込んだデータのうち、上位可変長ビットデータとルックアップテーブルを、上位ビット変換手段９２に渡すと共に、下位固定長ビットデータを、下位ビット変換手段９３に渡す。上位ビット変換手段９２では、ルックアップテーブルを参照することにより、上位可変長ビットデータから、固定長の上位固定長ビットデータすなわち線形予測誤差Ｅ（ｘ，ｙ）を復元し、〔数式１〕の左辺の項と右辺第１項を交換した式に基づいて、６ビット固定長の上位ビットデータＧ（ｘ，ｙ）を順次復元してゆく。また、下位ビット変換手段９３では、下位固定長ビットデータから、２ビット固定長の下位ビットデータを復元してゆく。続いて、データ統合手段９４が上位固定長ビットデータと下位ビットデータを統合する。具体的には、上位ビットデータから６ビットを抽出し、下位ビットデータから２ビットを抽出して順次統合する処理を行う。
【００３３】
この時点で、各プレーンの画素データは、各画素が８ビットで表現された形式となっている。信号平坦部挿入手段９５は図３（ｂ）に示したような信号平坦部情報を用いて、所定の位置に信号平坦部を挿入し、全画素が値を持つプレーンに復元される。この時点で各フレーム、プレーンは図２（ｃ）に示したような状態となっている。フレーム復元手段９６は、フレーム構造情報を用いてどのフレームが先頭フレームであるか、また、各フレームはどのフレームと差分演算されたものであるかを認識し、元のフレームを復元していく。この結果、図２（ｂ）に示すようなフレームが復元される。最後に、色信号復元手段９７が色信号間情報を用いて、どの色信号が元のままであるか、どの色信号がどの色信号との差分情報となっているかを認識して、色信号を復元する。これにより、アナログ信号をデジタル化した状態のデジタル映像信号がデータの欠落無く復元される。
【００３４】
【発明の効果】
以上、説明したように本発明によれば、時系列の各フレームを形成する画素の輝度または色情報に対応した画素データで構成される映像信号に対して、前記全ての画素データを再現できるように情報量を圧縮する符号化装置を、画素データを構成する各ビットデータを所定のビット位置で分断し、画素データの上位ビットで構成される上位ビットデータと、画素データの下位ビットで構成される下位ビットデータとに分離するためのデータ分離手段と、上位ビットデータに対しては空間的に隣接した画素の画素データからの予測誤差を基に符号化を行うようにした上位ビット符号化手段と、下位ビットデータに対しては情報が失われない条件で必要最小限のビット幅で符号化を行うようにした下位ビット符号化手段とを有する構成としたので、映像信号をデジタル化する際に生じる予測困難な量子化誤差成分を下位ビットとして分離した状態で、主成分である上位ビットデータに対して予測誤差を用いた符号化を行うことができるため圧縮効率の高い符号化が可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に係る映像信号の符号化装置の一実施形態を示す機能ブロック図である。
【図２】色信号間演算手段１０およびフレーム差分演算手段２０による処理の様子を示す図である。
【図３】信号平坦部符号化手段３０による処理の様子を示す図である。
【図４】データ分離手段４０による処理の様子を示す図である。
【図５】上位ビット符号化手段５０による予測誤差算出処理の様子を示す図である。
【図６】予測誤差算出処理を行う際の各画素の位置関係を示す図である。
【図７】可変ビット長符号化手段５３によるデータ変換の様子を示す図である。
【図８】本発明に係る映像信号の符号化装置により得られる符号データを示す図である。
【図９】本発明に係る映像信号の復号化装置の一実施形態を示す機能ブロック図である。
【符号の説明】
１０・・・色信号間演算手段
２０・・・フレーム差分演算手段
３０・・・信号平坦部符号化手段
４０・・・データ分離手段
５０・・・上位ビット符号化手段
５１・・・線形予測手段
５２・・・予測誤差算出手段
５３・・・可変ビット長符号化手段
５４・・・ルックアップテーブル作成手段
５５・・・ビットデータ変換手段
５６・・・ビットデータ符号化手段
６０・・・下位ビット符号化手段
９１・・・データ読込手段
９２・・・上位ビット変換手段
９３・・・下位ビット変換手段
９４・・・データ統合手段
９５・・・信号平坦部挿入手段
９６・・・フレーム復元手段
９７・・・色信号復元手段
【産業上の利用分野】
本発明は、映像制作、映像データの素材保管、ロケ素材の中継など映像制作分野、特にＮＴＳＣ以上の品質の高い高精細映像制作を行う分野、ＤＶＤ等のデジタル記録媒体を用いた映像記録再生装置分野、遠隔医療における医用動画像の伝送等、データの改変が嫌われる分野等において好適なデータの可逆圧縮技術に関する。
【０００２】
【従来の技術】
従来より、映像信号の圧縮には様々な手法が用いられている。映像信号を圧縮して符号化する手法として、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが実用化されている。このような圧縮符号化方式により、映像信号を小さいデータとして扱うことが可能となり、データの記録・伝送の効率化に貢献している。
【０００３】
【特許文献１】
特開平８−３２２０５０号公報
【０００４】
【発明が解決しようとする課題】
上述のようなＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等はいずれもロッシー符号化方式といわれるものであり、効率的な圧縮が可能であるが、復号化にあたって、少なからず品質の劣化を伴い、原信号を完全に再現することはできない。そのため、映像制作、素材保管、ロケ素材の中継など映像制作分野では、これらの符号化方式を適用できず、非効率ではあるが、非圧縮で保存・伝送する方式がとられている。特に最近は高精細ＨＤＴＶ映像を扱うプロダクションが増え、素材容量が膨大になり、ワークディスクを管理する上で問題になってきている。
【０００５】
映像信号であっても、コンピュータグラフィックスやアニメーション映像、人工動画像については、ランレングス法を基本とした可逆（ロスレス）圧縮技術が利用されているが、カメラ等で入力する実写映像には適用できない。理由として、カメラ等で入力する実写映像には予測不可能な量子化雑音成分が含まれていて、基本的にデータランが存在しないことが挙げられる。
【０００６】
上記のような点に鑑み、本発明は、カメラ等で入力した映像信号に対しても十分な圧縮を行うことが可能であると共に、復号時には、元の映像信号が完全に復号することが可能な可逆圧縮方式の映像信号の符号化装置、復号化装置および記録媒体を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明では、時系列の各フレームを形成する画素の輝度または色情報に対応した画素データで構成される映像信号に対して、前記全ての画素データを再現できるように情報量を圧縮する符号化装置であって、前記画素データを構成する各ビットデータを所定のビット位置で分断し、画素データの上位ビットで構成される上位ビットデータと、画素データの下位ビットで構成される下位ビットデータとに分離するためのデータ分離手段と、前記上位ビットデータに対しては空間的に隣接した画素の画素データからの予測誤差を基に符号化を行うようにした上位ビット符号化手段と、前記下位ビットデータに対しては情報が失われない条件で必要最小限のビット幅で符号化を行うようにした下位ビット符号化手段と、を有し、前記上位ビット符号化手段は、近傍２画素に対応する上位ビットデータから線形予測を行って予測値を得るための線形予測手段と、前記予測値と対象の上位ビットデータとの誤差値を算出するための予測誤差算出手段と、前記誤差値のビットデータに対して各々異なるビット長で符号化する可変ビット長符号化手段とを有する構成としたことを特徴とする。
【０００８】
本発明によれば、映像信号の各フレームの各画素データを構成するビットデータを上位ビットデータと下位ビットデータに分離し、上位ビットデータに対しては空間的に隣接した画素の画素データからの予測誤差を基に符号化を行い、下位ビットデータとは別々に符号化を行うようにしたので、映像信号をデジタル化する際に用いる回路の熱雑音成分を下位ビットとして分離した状態で、主成分である上位ビットデータに対して予測誤差を用いた符号化を行うことができるため圧縮効率の高い符号化が可能となる。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（装置構成）
図１は、本発明に係る映像信号の符号化装置の一実施形態を示す構成図である。図１において、１０は色信号間演算手段、２０はフレーム差分演算手段、３０は信号平坦部符号化手段、４０はデータ分離手段、５０は上位ビット符号化手段、５１は線形予測手段、５２は予測誤差算出手段、５３は可変ビット長符号化手段、５４はルックアップテーブル作成手段、５５はビットデータ変換手段、５６はビットデータ符号化手段、６０は下位ビット符号化手段である。
【００１０】
図１において、色信号間演算手段１０は、１つの画像フレームにおける各画素が複数の色に対応する輝度値を持つ場合、すなわち一つの画像フレームが複数の輝度値プレーンで構成される場合に、１つの色を基準値として、他の２つの色の輝度値には、基準値との差分を与える機能を有する。フレーム差分演算手段２０は、連続するフレーム間の各画素データの差分を演算する機能を有する。信号平坦部符号化手段３０は、差分演算処理された各フレームに対して、画素データの値が一定である平坦部を検出し、効率的に符号化する機能を有する。データ分離手段４０は、信号平坦部の処理が行われたフレームを構成する各画素データを所定の位置で上位ビットデータと下位ビットデータに分離する機能を有する。上位ビット符号化手段５０は、データ分離手段４０により分離された上位ビットデータを効率良く符号化する機能を有する。下位ビット符号化手段６０は、データ分離手段４０により分離された下位ビットデータを効率良く符号化する機能を有する。図１に示した各構成要素は、実際には、コンピュータおよびコンピュータにより実行される専用のソフトウェアプログラムにより実現される。
【００１１】
（処理動作）
次に、図１に示した映像信号の符号化装置の処理動作について説明する。まず、映像をＴＶカメラ等で撮影してデジタル化する。これにより、デジタル映像信号が得られる。このようなデジタル映像信号は、１秒間に複数フレーム（静止画像）を有し、各フレームがＲ、Ｇ、Ｂの３色の輝度値を有するものとなっている。なお、本実施形態では、１秒間に３０フレーム、各画素の各色に８ビットが割り当てられているものとして説明する。
【００１２】
このようにしてデジタル化されたデジタル映像信号は、色信号間演算手段１０により色信号間の差分演算が行われる。ここで、色信号間の差分演算の様子を図２を用いて説明する。図２（ａ）は、デジタル映像信号を模式的に示したものである。図示のように映像信号は１フレームがＲＧＢの３プレーンで構成されている。図２（ａ）に示したような映像信号の各フレームに対して色信号間演算手段１０は、プレーン間の差分演算を行うことになる。具体的には、Ｇプレーンを基準として、ＲプレーンとＧプレーンの同一座標の画素データの差分演算を行い、その値をＲプレーンの各画素の新たな値とし、ＢプレーンとＧプレーンの同一座標の画素データの差分演算を行い、その値をＢプレーンの各画素の新たな値とするのである。ここで、Ｇプレーンを基準とするのは、輝度信号はＧを主体としており、Ｒ−Ｇ、Ｂ−Ｇの色差信号の空間分解能はＧ信号に対して１／２程度になるためである。すなわち、Ｒ、Ｂの２プレーンを差分信号にすると、隣接画素間の輝度差が小さくなり、後述する符号化の際の予測誤差が小さくなる。この結果、各フレームは、図２（ｂ）に示すような状態となる。なお、入力されるデジタル映像信号がＹ・Ｐｂ・Ｐｒのように、輝度信号であるＹ信号と、色差信号であるＰｂ、Ｐｒの形式で入力される場合は、色信号間演算手段１０による処理を行わず、直接フレーム間差分演算手段２０による処理を行う。
【００１３】
次に、色信号間演算されたデジタル映像信号に対して、フレーム間差分演算手段２０が、隣接するフレーム間の差分演算を行う。具体的には、各フレーム間の各プレーン同士で同一座標の画素同士の差分演算を行い、その値を後続するフレームの各画素の新たな値とする処理を行う。この場合、時間的に先頭である開始フレームだけは差分演算が行われない。この結果、図２（ｂ）に示したデジタル映像信号は、図２（ｃ）に示すような状態になる。すなわち、フレームＦ1は、フレーム間差分演算手段２０の処理による変化はないが、フレームＦ２の各プレーンには、フレームＦ1とフレームＦ2の差分値が与えられ、フレームＦnの各プレーンには、フレームＦn-1とフレームＦnの差分値が与えられる。ただし、映像においてシーンが変わる場合は、照明や自然光等も変化し、輝度値も大きく変化することになる。このような場合、差分演算を行っても差分後の値はむしろ大きくなり、データ量の圧縮に寄与しない。そこで、本実施形態では、更新されたフレームの各画素の値が更新前のフレームの各画素の値に比べ、所定のレベル以上に増大する場合、フレームを更新前のフレームに戻す処理を行っている。その結果、映像信号中には開始フレームが複数存在することになる。
【００１４】
続いて、信号平坦部符号化手段３０が、各フレームの各プレーンに対して、信号平坦部の処理を行う。信号平坦部とは、信号レベルが均一な値になっている箇所をいうが、コンピュータグラフィックス映像等を除き、均一な値として信号レベルの最小値「０」または信号レベルの最大値（例えば２５５）が通常候補になる。実写映像では、一般にこのような箇所はまれであるが、照明が全暗になりＡ／Ｄ変換器入力が零校正レベル以下であったり（カメラの校正により全暗時にはカメラ信号出力が負値になる場合もある）、映像が逆光照明になってＡ／Ｄ変換器が飽和したりすると、このような箇所が生じる。信号レベルが「０」および信号レベルが最大値のいずれであっても、信号平坦部は、同一の信号レベルが所定の領域（所定の画素数）連続して記録される。このため、この部分は圧縮し易いデータになっている。具体的には、信号平坦部となる矩形領域の左上点、右下点の画素座標（ｘ，ｙ）と画素データの値（Ｇプレーンの場合は輝度値、Ｒ−Ｇプレーン、Ｂ−Ｇプレーンの場合は差分値）を平坦部情報として各フレームの各プレーンと分離して記録する。各フレームの各プレーンからは、信号平坦部が削除される。これを模式的に示すと図３（ａ）に示すようになる。図３（ａ）において、網掛けで示した部分は信号平坦部を示す。信号平坦部符号化手段３０の処理により、信号平坦部はフレームの各プレーンから削除される。ただし、復号時に元通りに復元するために、削除された信号平坦部は、図３（ｂ）に示すような形式で記録しておく。信号平坦部情報は、信号平坦部ごとに、左上点の画素座標（ｘ，ｙ）、右下点の画素座標（ｘ，ｙ）と画素データの値で記録される。本実施形態では、各プレーンの各画素には８ビットが割り当てられているので、画素データが０または２５５の場合に信号平坦部を形成し易くなる。ただし、信号平坦部符号化手段３０は、信号平坦部を無条件には処理しない。本発明は、データの圧縮を目的としているため、各プレーンからの削減分よりも平坦部情報が大きくなると意味がないからである。したがって、平坦部が所定以上の大きさになる場合に限り平坦部情報を作成して各プレーンから削除するのである。
【００１５】
上記のようにして、各プレーン間（色信号間）の差分算出処理、各フレーム間の差分算出処理、信号平坦部の符号化処理が行われたら、次に、データ分離手段４０が、各画素データの上位ビットと下位ビットの分離を行う。本実施形態では、撮影映像をデジタル化する際に、各色について量子化ビット数８で量子化している。そのため、デジタルデータは各プレーンの各画素について８ビットが割り当てられている。この場合、本実施形態では、上位ビット６ビットと、下位ビット２ビットに分離する。この分離は、基本的に、Ａ／Ｄ変換機等、映像信号をデジタル化する際に用いる回路の熱雑音等に起因する量子化雑音（アナログからデジタル数値に変換する際の端数のゆらぎ成分）を分離するために行う。そのため、量子化雑音であると考えられる下位ビットを分離するのである。下位ビットとして、どの程度分離するかは、撮影環境や利用した回路の特性によっても変化するが、通常量子化ビット数の１／４程度とすることが望ましい。したがって、ここでは、８ビットの１／４にあたる２ビットを下位ビットとして分離しているのである。
【００１６】
ここで、データ分離手段４０によるデータ分離の様子を図４に模式的に示す。図４において、Ｈは上位ビットデータを示し、Ｌは下位ビットデータを示す。図４（ａ）は分離前の画素データである。データ分離手段４０により、サンプルデータは、図４（ｂ）に示す上位ビットデータと図４（ｃ）に示す下位ビットデータに分離されることになる。このようにして分離された画素データは、以降別々に処理されることになる。
【００１７】
（上位ビットの符号化）
上位ビットデータは、上位ビット符号化手段５０により処理される。上位ビット符号化手段５０においては、線形予測手段５１と予測誤差算出手段５２が、近傍の２つの画素を基に各画素の予測値と予測誤差を算出した後、予測誤差に置きかえられた各ビットデータを可変長ビット符号化手段５３が可変長に変換する。ここで、予測誤差の算出手法について、図５を用いて説明する。ここでは、走査線方向（ｘ軸方向）に予測を行う場合を想定して、上位ビット値が図５（ａ）に示すような状態である場合を考えてみる。図５（ａ）において、横軸はプレーン上のｘ軸座標、縦軸は上位ビット値Ｇ（ｘ）である。また、各座標値における線分は、各座標における画素の上位ビット値Ｇ（ｘ）の値を示している。このような状態で、座標（ｘ，ｙ）の画素における予測誤差Ｅ（ｘ）を算出する場合、直前の画素ｘ−１における上位ビット値Ｇ（ｘ−１）および２つ前の画素ｘ−２における上位ビット値Ｇ（ｘ−２）を利用して以下の〔数式１〕により算出する。
【００１８】
〔数式１〕
Ｅ（ｘ）＝Ｇ（ｘ）−２×Ｇ（ｘ−１）＋Ｇ（ｘ−２）−Ｅ（ｘ−１）／２
【００１９】
上記〔数式１〕において、「２×Ｇ（ｘ−１）−Ｇ（ｘ−２）」は直前の２つの画素の上位ビット値に基づく線形予測成分であり、線形予測手段５１により算出される。予測誤差算出手段５２は、算出された線形予測成分、および、直前の画素において算出された予測誤差「Ｅ（ｘ−１）／２」（誤差フィードバック成分）を用いて座標ｘにおける予測誤差Ｅ（ｘ）を算出する。全画素について、予測誤差の算出を行い、画素データの上位ビット値の代わりに予測誤差が記録される。
【００２０】
これを図５（ａ）に示した画素データの上位ビット値を基に説明する。まず、誤差フィードバック成分を加えない状態で各予測誤差Ｅｏ（ｘ）を算出する。図５（ｂ）に示すように、画素ｘの予測誤差Ｅｏ（ｘ）を算出する場合、直前の画素ｘ−１における上位ビット値Ｇ（ｘ−１）および２つ前の画素ｘ−２における上位ビット値Ｇ（ｘ−２）を結ぶ予測線が座標ｘでとる値と、座標ｘにおける上位ビット値Ｇ（ｘ）の差分（図中太点線で示す）に基づいて予測誤差Ｅｏ（ｘ）が算出される。画素ｘ＋１以降も同様に行って予測誤差Ｅｏ（ｘ＋１）を算出する。算出された予測誤差Ｅｏ（ｘ）は、図５（ｃ）に示すようになる。図５（ａ）と図５（ｃ）を比較するとわかるように値が変動する範囲が大きく狭まり、データ圧縮に都合が良くなる。続いて、〔数式１〕に基づいて予測誤差Ｅｏ（ｘ）に対して直前の画素ｘ−１における補正が加わった予測誤差Ｅ（ｘ−１）の５０％を減算させて、誤差フィードバック処理を加えた結果が図５（ｄ）である。図５（ｃ）と比べると、画素ｘ＋１およびｘ＋２における予測誤差の低減が顕著である。逆に画素ｘ＋３およびｘ＋４では予測誤差が増大しているが、平均的には予測誤差が低減し、図５（ａ）と比較すると値が変動する範囲が更に狭まり、データ圧縮効果が向上する。
【００２１】
上記のようにして予測誤差の算出が行われるが、図５の例では、画像のｘ軸方向すなわち走査線方向に従って予測を行った。本発明では、予測精度をさらに高めるため、複数の方向のうち、予測誤差の算出に最も適した方向を選定する処理を行っている。ここでは、図６（ａ）に示すような走査線方向、副走査線方向、対角線方向の３方向のうち、いずれが最適であるかを選定することになる。具体的には、画素（ｘ，ｙ）の予測誤差を求めるための方向を決定する場合、まず、走査線方向の直前の画素（ｘ−１，ｙ）のさらに直前の２画素による予測誤差Ｅｈ（ｘ−１，ｙ）、副走査線方向の直前の画素（ｘ，ｙ−１）のさらに直前の２画素による予測誤差Ｅｖ（ｘ，ｙ−１）、対角線方向の直前の画素（ｘ−１，ｙ−１）のさらに直前の２画素による予測誤差Ｅｄ（ｘ−１，ｙ−１）を求める。なお、走査線方向の予測誤差Ｅｈ（ｘ，ｙ）、副走査線方向の予測誤差Ｅｖ（ｘ，ｙ）、対角線方向の予測誤差Ｅｄ（ｘ，ｙ）はそれぞれ以下の〔数式２〕〜〔数式４〕で算出される。
【００２２】
〔数式２〕
Ｅｈ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ−１，ｙ）＋Ｇ（ｘ−２，ｙ）−Ｅ（ｘ−１，ｙ）／２
【００２３】
〔数式３〕
Ｅｖ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ，ｙ−２）−Ｅ（ｘ，ｙ−１）／２
【００２４】
〔数式４〕
Ｅｄ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ−１，ｙ−１）＋Ｇ（ｘ−２，ｙ−２）−Ｅ（ｘ−１，ｙ−１）／２
【００２５】
そして、予測誤差が最小となる画素の方向を画素（ｘ，ｙ）の予測方向とする。例えば、Ｅｈ（ｘ−１，ｙ）、Ｅｖ（ｘ，ｙ−１）、Ｅｄ（ｘ−１，ｙ−１）のうち、Ｅｖ（ｘ，ｙ−１）が最小であった場合、副走査線方向について予測誤差を求めることになる。すなわち、画素（ｘ，ｙ）の予測誤差は、上記〔数式３〕に従って画素（ｘ，ｙ−１）、画素（ｘ，ｙ−２）の値を利用して、Ｅｖ（ｘ，ｙ）として算出される。同様にして全フレーム、全プレーンの全画素について、同様の処理を行って各画素の値を予測誤差値に置き換えていく。
【００２６】
なお、プレーン上の各画素データの中には、信号平坦部符号化手段３０により一括して信号平坦部領域として処理されて、各画素として符号化されないものがある。そのような画素については、予測誤差の算出は行わないが、信号平坦部に属さない画素の予測誤差の算出のために利用される。例えば、図６（ｂ）に示すようなプレーンにおいて、信号平坦部に属さない画素Ａの予測誤差を求めるにあたって、対角線方向が最適であると判断されたとする。この場合、信号平坦部に属する画素Ｂ、画素Ｃの画素データ（上位ビット）および予測誤差が必要になる。このような場合、画素Ｂ、画素Ｃの基のデータを利用して画素Ａの予測誤差の算出を行う。
【００２７】
次に、可変ビット長符号化手段５３が、予測誤差値で記録された上位ビットデータをより少ないデータ量で表現するために、ビット構成の変換を行う。まず、ビット構成の変換を行うために利用するルックアップテーブルの作成を行う。具体的には、まず全フレーム、全プレーンについて、各画素データのヒストグラムを算出する。予測誤差に置きかえられたことにより、画素データは正負の値をとるが、ここでは、その絶対値ごとにヒストグラムを算出する。その結果、出現頻度の高い画素値から順に、少ないビット数のビットパターンを割り当てていく。この際、割り当てるビットパターンには規則が有り、最上位ビットは必ず「１」とし、「０１」のビットパターンを含むビットパターンは禁止する。したがって、ビットパターンの最小値は１ビットの「１」となる。図７（ｃ）に作成されたルックアップテーブルの一例を示す。
【００２８】
上記のようにして作成されたルックアップテーブルを用いて、６ビット固定長の連続する上位ビットデータを、可変長のビットパターンに変換していく。可変長になるため、変換後の各データの区切りを区別する必要が生じる。そのため、本実施形態では、各データ間に１ビットのセパレータビット「０」を挿入する。なお、ルックアップテーブルにおいて、「０１」を含むビットパターンを禁止するのは、セパレータビット「０」とそれに続くビットデータの最上位ビット「１」で構成される「０１」パターンでデータ間の区切りを判断するようにしているためで、ビットデータ中に「０１」パターンが存在すると区切りと誤判断してしまうためである。また、ルックアップテーブルにおいては、上位固定長ビットデータがとる値の絶対値で変換するため、正負の値を記録する必要が生じる。このため、ビットデータと重複しない値をもつ正負反転データを挿入する。例えば、正負反転データ以前の可変長ビットが正である場合は、それ以降の可変長ビットは負であるとして認識されることになる。図７（ａ）（ｂ）に、可変ビット長符号化手段５３によるデータ変換の様子を模式的に示す。図７（ａ）（ｂ）はいずれも画素データの上位ビット部分に対応しており、図７（ａ）は固定長の上位ビットデータが連続して記録されている様子を示している。図７（ａ）に示したような上位ビットデータは、図７（ｃ）に示したルックアップテーブルを用いて図７（ｂ）に示すように変換されることになる。
【００２９】
（下位ビットの符号化）
一方、下位ビットデータは、下位ビット符号化手段６０により処理される。具体的には、データ分離手段４０により分離された下位２ビットのデータを連続に配置していく。
【００３０】
（符号データの記録）
以上のようにして得られた符号データは、図８に示すようになる。すなわち、上位可変長ビットデータ、下位固定長ビットデータ、ルックアップテーブル、フレーム構造情報、信号平坦部情報、色信号間情報となる。このデータを記録すべき記録媒体に合わせたフォーマットで記録する。
【００３１】
（復号化）
次に、上記符号化装置により符号化された符号データの復号について説明する。図９は、本発明に係る映像信号の復号化装置の構成を示す機能ブロック図である。図９において、９１はデータ読込手段、９２は上位ビット変換手段、９３は下位ビット変換手段、９４はデータ統合手段、９５は信号平坦部挿入手段、９６はフレーム復元手段、９７は色信号復元手段である。図９に示す構成は、コンピュータおよびコンピュータに搭載される専用のソフトウェアプログラムにより実現される。
【００３２】
続いて、図９に示した復号装置の処理動作について説明する。まず、図８に示したような符号データを記録した記録媒体を、データ読込手段９１が読み込む。データ読込手段９１は、読み込んだデータのうち、上位可変長ビットデータとルックアップテーブルを、上位ビット変換手段９２に渡すと共に、下位固定長ビットデータを、下位ビット変換手段９３に渡す。上位ビット変換手段９２では、ルックアップテーブルを参照することにより、上位可変長ビットデータから、固定長の上位固定長ビットデータすなわち線形予測誤差Ｅ（ｘ，ｙ）を復元し、〔数式１〕の左辺の項と右辺第１項を交換した式に基づいて、６ビット固定長の上位ビットデータＧ（ｘ，ｙ）を順次復元してゆく。また、下位ビット変換手段９３では、下位固定長ビットデータから、２ビット固定長の下位ビットデータを復元してゆく。続いて、データ統合手段９４が上位固定長ビットデータと下位ビットデータを統合する。具体的には、上位ビットデータから６ビットを抽出し、下位ビットデータから２ビットを抽出して順次統合する処理を行う。
【００３３】
この時点で、各プレーンの画素データは、各画素が８ビットで表現された形式となっている。信号平坦部挿入手段９５は図３（ｂ）に示したような信号平坦部情報を用いて、所定の位置に信号平坦部を挿入し、全画素が値を持つプレーンに復元される。この時点で各フレーム、プレーンは図２（ｃ）に示したような状態となっている。フレーム復元手段９６は、フレーム構造情報を用いてどのフレームが先頭フレームであるか、また、各フレームはどのフレームと差分演算されたものであるかを認識し、元のフレームを復元していく。この結果、図２（ｂ）に示すようなフレームが復元される。最後に、色信号復元手段９７が色信号間情報を用いて、どの色信号が元のままであるか、どの色信号がどの色信号との差分情報となっているかを認識して、色信号を復元する。これにより、アナログ信号をデジタル化した状態のデジタル映像信号がデータの欠落無く復元される。
【００３４】
【発明の効果】
以上、説明したように本発明によれば、時系列の各フレームを形成する画素の輝度または色情報に対応した画素データで構成される映像信号に対して、前記全ての画素データを再現できるように情報量を圧縮する符号化装置を、画素データを構成する各ビットデータを所定のビット位置で分断し、画素データの上位ビットで構成される上位ビットデータと、画素データの下位ビットで構成される下位ビットデータとに分離するためのデータ分離手段と、上位ビットデータに対しては空間的に隣接した画素の画素データからの予測誤差を基に符号化を行うようにした上位ビット符号化手段と、下位ビットデータに対しては情報が失われない条件で必要最小限のビット幅で符号化を行うようにした下位ビット符号化手段とを有する構成としたので、映像信号をデジタル化する際に生じる予測困難な量子化誤差成分を下位ビットとして分離した状態で、主成分である上位ビットデータに対して予測誤差を用いた符号化を行うことができるため圧縮効率の高い符号化が可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に係る映像信号の符号化装置の一実施形態を示す機能ブロック図である。
【図２】色信号間演算手段１０およびフレーム差分演算手段２０による処理の様子を示す図である。
【図３】信号平坦部符号化手段３０による処理の様子を示す図である。
【図４】データ分離手段４０による処理の様子を示す図である。
【図５】上位ビット符号化手段５０による予測誤差算出処理の様子を示す図である。
【図６】予測誤差算出処理を行う際の各画素の位置関係を示す図である。
【図７】可変ビット長符号化手段５３によるデータ変換の様子を示す図である。
【図８】本発明に係る映像信号の符号化装置により得られる符号データを示す図である。
【図９】本発明に係る映像信号の復号化装置の一実施形態を示す機能ブロック図である。
【符号の説明】
１０・・・色信号間演算手段
２０・・・フレーム差分演算手段
３０・・・信号平坦部符号化手段
４０・・・データ分離手段
５０・・・上位ビット符号化手段
５１・・・線形予測手段
５２・・・予測誤差算出手段
５３・・・可変ビット長符号化手段
５４・・・ルックアップテーブル作成手段
５５・・・ビットデータ変換手段
５６・・・ビットデータ符号化手段
６０・・・下位ビット符号化手段
９１・・・データ読込手段
９２・・・上位ビット変換手段
９３・・・下位ビット変換手段
９４・・・データ統合手段
９５・・・信号平坦部挿入手段
９６・・・フレーム復元手段
９７・・・色信号復元手段
Claims (15)
- 時系列の各フレームを形成する画素の輝度または色情報に対応した画素データで構成される映像信号に対して、前記全ての画素データを再現できるように情報量を圧縮する符号化装置であって、
前記画素データを構成する各ビットデータを所定のビット位置で分断し、画素データの上位ビットで構成される上位ビットデータと、画素データの下位ビットで構成される下位ビットデータとに分離するためのデータ分離手段と、
前記上位ビットデータに対しては空間的に隣接した画素の画素データからの予測誤差を基に符号化を行うようにした上位ビット符号化手段と、
前記下位ビットデータに対しては情報が失われない条件で必要最小限のビット幅で符号化を行うようにした下位ビット符号化手段と、を有し、
前記上位ビット符号化手段は、近傍２画素に対応する上位ビットデータから線形予測を行って予測値を得るための線形予測手段と、
前記予測値と対象の上位ビットデータとの誤差値を算出するための予測誤差算出手段と、
前記誤差値のビットデータに対して各々異なるビット長で符号化する可変ビット長符号化手段と、
を有することを特徴とする映像信号の符号化装置。 - 請求項１において、
前記予測誤差算出手段は、直前の画素に対して得られた誤差値に所定の割合を乗じた値を減算させるような、誤差フィードバック機能を有することを特徴とする映像信号の符号化装置。 - 請求項１において、
前記線形予測手段は、近傍２画素の選定を、予測誤差を算出する対象画素に対して走査線方向、副走査線方向、対角線方向の３方向に位置する近傍画素を候補として、前記予測誤差算出手段で算出される誤差値が最も小さくなる方向を選定することにより行うものであることを特徴とする映像信号の符号化装置。 - 請求項３において、
前記誤差値が最も小さくなる方向の選定は、予測誤差を算出する対象画素に対して３方向に１画素分だけ直前に位置する画素の予測誤差の中で最小となる方向を選定するものであることを特徴とする映像信号の符号化装置。 - 請求項１において、
前記可変ビット長符号化手段は、
対象ビットデータのヒストグラムに基づいて、変換されたビットデータの最上位ビットが１になるような最小ビット長で記述したルックアップテーブルを作成するルックアップテーブル作成手段と、
前記対象ビットデータに対して前記ルックアップテーブルを用いて変換を施すビットデータ変換手段と、
変換後のビットデータ間には所定のビット数の区分ビットデータを挿入するようにビットデータを符号化するビットデータ符号化手段と、
を有することを特徴とする映像信号の符号化装置。 - 請求項５において、
前記ルックアップテーブルは、対象ビットデータの出現頻度が高いほど少ないビット長になるように変換がなされるようにし、前記区分ビットデータが１ビット０である場合、０１という２ビットのパターンを含まないようなビットデータに変換がなされていることを特徴とする映像信号の符号化装置。 - 請求項５または請求項６において、
前記対象ビットデータが正負の符号を持つ場合、前記ルックアップテーブルは対象ビットデータの絶対値の出現頻度が高い程少ないビット長になるように変換がなされるようにし、前記対象ビットデータの絶対値と重複しない値を正負反転データとして定義し、符号化されるビットデータの正負が反転するビットデータの直前に、前記正負反転データを挿入するようにして、ビットデータの絶対値を符号化するようにしていることを特徴とする映像信号の符号化装置。 - 時系列の各フレームを形成する画素の輝度または色情報に対応した画素データで構成される映像信号に対して、前記全ての画素データを再現できるように情報量を圧縮する符号化装置であって、
前記画素データを構成する各ビットデータを所定のビット位置で分断し、画素データの上位ビットで構成される上位ビットデータと、画素データの下位ビットで構成される下位ビットデータとに分離するためのデータ分離手段と、
前記上位ビットデータに対しては空間的に隣接した画素の画素データからの予測誤差を基に符号化を行うようにした上位ビット符号化手段と、
前記下位ビットデータに対しては情報が失われない条件で必要最小限のビット幅で符号化を行うようにした下位ビット符号化手段と、を有し、
前記フレームを形成する画素データの集合の中で、画素データの値が走査線方向または副走査線方向に連続して同一値になっている矩形領域を抽出し、抽出した矩形の対角２点の２次元画素座標値２対と、画素データの３つの値を符号化するようにした信号平坦部符号化手段を有し、当該信号平坦部符号化手段により処理された矩形領域を除く画素データに対して、前記データ分離手段が処理を行うことを特徴とする映像信号の符号化装置。 - 請求項１において、
前記画素データが、１フレームの同一座標値に３種類の色に対応する輝度値をもつ場合、１つの色の輝度値を基準値として、他の２つの色の輝度値に対して前記基準値との差分値を与えるように画素データを更新するようにした色信号間演算手段を有し、
当該色信号間演算手段により処理された画素データに対して、前記データ分離手段が処理を行うことを特徴とする映像信号の符号化装置。 - 請求項１において、
前記画素データに対して、時間的に直前のフレームの同一座標値に位置する画素の対応する色の輝度値との差分値に置換するフレーム間の演算を施し、開始フレームに後続する全てのフレームの画素データを更新するフレーム差分演算手段を有し、
当該フレーム差分演算手段により処理された画素データに対して、前記データ分離手段が処理を行うことを特徴とする映像信号の符号化装置。 - 請求項１０において、
前記フレーム差分演算手段が、更新されたフレームの各画素の値が更新前のフレームの各画素の値に比べ、所定のレベル以上に増大する場合、前記フレームを更新前のフレームに戻すようにし、１つの映像信号に対して複数の開始フレームを持たせるようにしていることを特徴とする映像信号の符号化装置。 - 記録媒体に記録された符号データを読込むデータ読込手段と、
前記読込んだ符号データ中の上位可変長ビットデータから線形予測誤差である上位固定長ビットデータを復元し、近傍２画素に対応する上位ビットデータから線形予測を行って 予測値を得て、前記復元された予測誤差を前記予測値に合算して上位固定長ビットデータを算出する上位ビット変換手段と、
前記読込んだ符号データを基に下位固定長ビットデータを復元する下位ビット変換手段と、
前記上位固定長ビットデータと、前記下位固定長ビットデータを統合して画素データを復元するデータ統合手段と、
前記読込んだ符号データに含まれる信号平坦部情報を用いて、前記画素データで構成される各フレームの各輝度または色情報に対応した画素データに信号平坦部を挿入する信号平坦部挿入手段と、
前記信号平坦部が挿入された各輝度または色信号情報を、前記読込んだ符号データに含まれるフレーム構造情報に従って、各フレーム単位の輝度または色信号情報に復元するフレーム復元手段と、
前記読込んだ符号データに含まれる色信号間情報を用いて、元の色信号情報を復元する色信号復元手段と、
を有することを特徴とする映像信号の復号化装置。 - 記録媒体に記録された符号データを読込むデータ読込手段と、
前記読込んだ符号データ中の上位可変長ビットデータから線形予測誤差である上位固定長ビットデータを復元し、近傍２画素に対応する上位ビットデータから線形予測を行って予測値を得て、前記復元された予測誤差を前記予測値に合算して上位固定長ビットデータを算出する上位ビット変換手段と、
前記読込んだ符号データを基に下位固定長ビットデータを復元する下位ビット変換手段と、
前記上位固定長ビットデータと、前記下位固定長ビットデータを統合して画素データを復元するデータ統合手段と、
を有することを特徴とする映像信号の復号化装置。 - コンピュータを、請求項１から請求項１１のいずれかからなる構成の映像信号の符号化装置として機能させるためのプログラム。
- コンピュータを、請求項１２または請求項１３の構成の映像信号の復号化装置として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002265729A JP4139657B2 (ja) | 2002-09-11 | 2002-09-11 | 映像信号の符号化装置および復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002265729A JP4139657B2 (ja) | 2002-09-11 | 2002-09-11 | 映像信号の符号化装置および復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004104598A JP2004104598A (ja) | 2004-04-02 |
| JP4139657B2 true JP4139657B2 (ja) | 2008-08-27 |
Family
ID=32264786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002265729A Expired - Fee Related JP4139657B2 (ja) | 2002-09-11 | 2002-09-11 | 映像信号の符号化装置および復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4139657B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4627670B2 (ja) * | 2005-03-17 | 2011-02-09 | 株式会社リコー | 画像形成装置、画像形成方法、その方法を実行させるプログラムが格納されたコンピュータ読み取り可能な記憶媒体 |
| KR100717002B1 (ko) | 2005-06-11 | 2007-05-10 | 삼성전자주식회사 | 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체 |
| AU2018217333A1 (en) * | 2018-08-17 | 2020-03-05 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a transformed block of video samples |
-
2002
- 2002-09-11 JP JP2002265729A patent/JP4139657B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004104598A (ja) | 2004-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1853069B1 (en) | Decoding macroblock type and coded block pattern information | |
| JP5586139B2 (ja) | 映像の解像度の調整を通じて動画を効率的に符号化／復号化する方法及び装置 | |
| EP2312856A1 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
| US6912318B2 (en) | Method and system for compressing motion image information | |
| JP2005333622A (ja) | イメージおよびビデオの予測可逆符号化 | |
| US20110135009A1 (en) | Combined lossy and lossless video compression | |
| JP4833309B2 (ja) | 動画像圧縮符号化装置 | |
| JP5178616B2 (ja) | シーンチェンジ検出装置および映像記録装置 | |
| JP4139657B2 (ja) | 映像信号の符号化装置および復号化装置 | |
| EP0921685B1 (en) | Image processing method, image processing apparatus, and data storage media | |
| CA2436437A1 (en) | Moving picture information compressing method and its system | |
| KR20010110053A (ko) | 동화상 정보의 압축 방법 및 그 시스템 | |
| Brunello et al. | Lossless video coding using optimal 3D prediction | |
| JP2004222142A (ja) | 映像信号の圧縮方法および復号方法 | |
| JP2000165873A (ja) | 動画像情報の圧縮方法およびそのシステム | |
| JP2000244744A (ja) | 画像データ圧縮方法及び画像データ管理方法 | |
| US7209591B2 (en) | Motion compensation method for video sequence encoding in low bit rate systems | |
| JP2005184525A (ja) | 画像処理装置 | |
| WO2016047250A1 (ja) | 信号処理装置、撮像装置および信号処理方法 | |
| JP2009038740A (ja) | 画像符号化装置 | |
| JP2005045527A (ja) | 静止画像の圧縮方法および映像信号の圧縮方法 | |
| JP2009260747A (ja) | 画像符号化装置及びその制御方法 | |
| JP2010010768A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2007158524A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2003125417A (ja) | 画像符号化装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080529 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080609 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140613 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |