JP4490051B2

JP4490051B2 - Image coding apparatus and image coding method

Info

Publication number: JP4490051B2
Application number: JP2003146467A
Authority: JP
Inventors: 清一郎鎌田; 勝憲松尾
Original assignee: 株式会社九州エレクトロニクスシステム
Priority date: 2003-05-23
Filing date: 2003-05-23
Publication date: 2010-06-23
Anticipated expiration: 2023-05-23
Also published as: JP2004350136A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像や立体画像等の三次元画像を符号化する画像符号化技術に関し、特に符号化に際して小容量のメモリを使用して高速に符号化処理を行うことが可能な画像符号化技術に関する。
【０００２】
【従来の技術】
近年、携帯電話やモバイル・コンピュータによるデータ通信等において、電子カメラ等で撮像した動画像や立体画像のような三次元画像の通信が行われるようになってきている。そこで、ＭＰＥＧに代表されるように、三次元画像に対する種々の画像符号化技術が研究・開発されている。
【０００３】
このような画像符号化技術の一つとして、本発明者は、先にリアルタイム動画像転送方法を考案している（特許文献１参照）。特許文献１に記載では、三次元画像を符号化する方法として、以下のような方法を用いている。
【０００４】
ここで、三次元画像はN_z枚のフレーム画像から構成されているとし、各フレーム画像のｘｙ方向の画像サイズをN_x×N_yとする。ここで、フレームとは、三次元画像を構成する１枚の単位画像をいう。また、以下、三次元画像のような、連続するフレーム画像の集合を「カット」という。
【０００５】
そして、まず、ルックアップテーブルから取得した三次元空間での走査順番に従って三次元画像を走査して原一次元データ{q₀, q₁, …, q_NxNy-1}へ変換する。この三次元空間での走査順番は、ｘｙ方向の長方形の領域を充填する曲線に沿った二次元平面における走査順番を、二次元平面における走査順番が偶数番の場合にはｚ方向に０からN_zまで走査し、二次元平面における走査順番が奇数番の場合には−ｚ方向にN_zから０まで走査することにより、三次元空間を充填する走査順番に拡張することによって生成されている。
【０００６】
次に、生成された原一次元データ{q₀, q₁, …, q_NxNy-1}を区分線型近似処理によって近似一次元データ{(a₀, l₀), …, (a_M-1, l_M-1)}を生成し、これを三次元画像の符号化データとする。
【０００７】
ここで、区分線型近似処理とは、原一次元データ{q₀, q₁, …, q_NxNy-1}について、あるi番目の画素からi+N番目の画素までの累積二乗誤差が予め与えられた閾値を超えた場合に、i番目からi+N-1番目を一つの区間とし、当該区間にあるすべての画素の画素値を当該区間にある画素の画素値の平均値で近似するという操作を、原一次元データの先頭から順に逐次行い、原一次元データ{q₀, q₁, …, q_NxNy-1}を各区間の平均値と各区間の長さとの系列{(a₀, l₀), …, (a_M-1, l_M-1)}で置き換えることにより原一次元データを符号化する操作をいう。具体的には、以下のような操作を行う。
【０００８】
まず、i=0, k=0, N=2としておいて、
（１）原一次元データ{q₀, q₁, …, q_NxNy-1}内のi番目の画素q_i-1からi+N-1番目の画素q_i+N-1までのN個の画素の画素値の平均値を（数１）により計算する。
【数１】

【０００９】
（２）次に、求められた平均値と原一次元データとの累積二乗誤差e_i(N)を（数２）により計算する。
【数２】

【００１０】
（３）そして、累積二乗誤差e_i(N)が所定の閾値Γ以下であれば、Nを１だけ繰り上げて、上記（１）、（２）の処理を繰り返す。一方、累積二乗誤差e_i(N)が閾値Γを超えたときには、N-1番目の画素までをk番目の区間とし、k番目の区間の画素を区間内の画素の画素値の平均値と区間長との組（a_k, l_k）で符号化する。ここで、
【数３】

とおいた。
【００１１】
そして、ｉをN-1だけ繰り上げた後、Ｎを２に設定し、再び、上記（１）〜（３）の動作を繰り返す。
【００１２】
このように、三次元画像の走査にルックアップテーブルを使用し、また、区分線型近似処理を使用して三次元画像の符号化を行うことにより、高速に符号化処理を行うことができる。更に、ｚ方向の走査順序を直線的にすることによって、動画像のようにｚ方向の相関が極めて強い三次元画像を効率的に圧縮することが可能となる。
【００１３】
【特許文献１】
特許第３３４７６８４号公報
【００１４】
【発明が解決しようとする課題】
上記特許文献１に示された画像符号化方法は、高速に高圧縮率で符号化処理を行うことが可能であるため、テレビ電話などのようにリアルタイム性と高速性が要求されるような分野において適用すると、優れた効果が発揮される。
【００１５】
しかしながら、その一方で、符号化処理を行うためには、符号化処理を行う三次元画像を、一旦フレームメモリに総て格納した後に符号化処理を行う必要がある。従って、画像サイズが大きい場合には、大容量のフレームメモリが必要とされる。
【００１６】
一方、近年著しく普及してきた携帯電話等の携帯電子機器のように、小型化・省電力化の要求から装置自体のメモリ容量が制限される装置においては、少容量のフレームメモリを用いて三次元画像を高速かつ高圧縮率で符号化する技術が望まれる。
【００１７】
そこで、本発明の目的は、少容量のメモリを使用して高速かつ高圧縮率で三次元画像を符号化する画像符号化技術を提供することにある。
【００１８】
【課題を解決するための手段】
本発明に係る画像符号化装置の第１の構成は、N_z枚（N_z≧２）のフレームからなる三次元の原カット画像を構成するフレーム画像のうち、終端のフレーム画像を除くN_z−１枚のフレーム画像のそれぞれに対して、所定の平面充填曲線に沿って走査することによりN_z−１個の一次元化フレーム画像を生成する一次元化フレーム画像生成手段と、前記各一次元化フレーム画像内において、一の区間内における各画素の画素値と当該区間内における総ての画素の画素値の平均値との差の二乗和が所定の閾値以下となるように、前記一次元化フレーム画像を区間分割し、各区間の区間長及び平均値の情報からなる符号化フレーム画像を生成する第一区分線型近似手段と、N_z−１枚の前記符号化フレーム画像と前記終端のフレーム画像とからなる近似カット画像に対して、所定の三次元充填曲線に沿って走査して一次元化近似カット画像を生成する一次元化近似カット画像生成手段と、前記一次元化近似カット画像内において、一の区間内における各画素の画素値と当該区間内における総ての画素の画素値の平均値との差の二乗和が所定の閾値以下となるように、前記一次元化近似カット画像を区間分割し、各区間の区間長及び平均値の情報からなる符号化カット画像を生成する第二区分線型近似手段とを備えていることを特徴とする。
【００１９】
この構成によれば、第一区分線型近似手段により、終端のフレーム画像を除くN_z−１枚のフレーム画像は、各区間の区間長及び平均値の情報からなる符号化フレーム画像に変換される。そのため、N_z−１枚のフレーム画像のデータ量は圧縮され、符号化フレーム画像を格納するためのメモリを小さくできる。
【００２０】
また、一次元化近似カット画像生成手段が、圧縮された符号化フレーム画像を復元することなく、N_z−１枚の符号化フレーム画像と終端のフレーム画像とから直接一次元化近似カット画像を生成し、この一次元化近似カット画像を第２区分線型近似手段が符号化カット画像に変換して圧縮する。この一次元化近似カット画像生成手段及び第２区分線型近似手段の処理は、同時並行的に行うことができる。すなわち、一次元化近似カット画像生成手段がN_z−１枚の符号化フレーム画像と終端のフレーム画像とから一次元化近似カット画像を１画素ずつ生成しながら、同時に、生成された一次元化近似カット画像の画素データを用いて、第２区分線型近似手段が符号化カット画像を生成することができる。従って、圧縮された一次元化近似カット画像を復元した画像を別途に記憶するメモリは不要である。従って、少容量のメモリを用いてカット画像の符号化を行うことが可能となる。
【００２１】
更に、三次元空間での走査線に沿って区分線型近似処理を行うことにより、符号化カット画像においては三次元画像の空間的な冗長性が除去される。従って、高圧縮率で符号化することができる。
【００２２】
ここで、「平面充填曲線」とは、平面内の各格子点を１回だけ通過して平面内を隙間なく充填する曲線をいう。例えば、ラスタ・スキャン、ジグザグ・スキャン、ヒルベルト・スキャン等の走査パターンである。「三次元充填曲線」とは、３次元空間内の各格子点を１回だけ通過して３次元空間内を隙間なく充填する曲線をいう。
【００２３】
また、本発明において、前記一次元化フレーム画像生成手段は、ルックアップテーブルに格納された前記所定の平面充填曲線を参照して、前記各フレーム画像の走査を行うことができる。また、一次元化近似カット画像生成手段は、ルックアップテーブルに格納された前記所定の三次元充填曲線を参照して、前記近似カット画像の走査を行うことができる。このように、メモリに余裕がある場合には、ルックアップテーブルを使用すれば、走査処理が高速化される。
【００２４】
また、本発明において、三次元充填曲線は、フレーム内の領域を充填する曲線に沿った、順序づけられた格子点の集合からなる走査順番を、当該走査順番が偶数番の場合には一端のフレームから他端のフレームに向かう方向に０からN_z-1まで走査し、当該走査順番が奇数番の場合には他端のフレームから一端のフレームに向かう方向にN_z-1から０まで走査することにより、三次元空間を充填する走査順番に拡張することによって生成されたものを用いることができる。このように、三次元充填曲線は、フレームと垂直な方向に直線的に走査するようにすれば、動画像のようにフレーム間の相関が非常に大きい三次元画像に対しては、符号化による圧縮効率を高めることができる。
【００２５】
本発明に係る画像符号化装置の第２の構成は、前記第１の構成において、前記一次元化近似カット画像の各画素の画素値と前記符号化カット画像の各画素の画素値との差である一次元化残差カット画像を生成する一次元化残差カット画像生成手段と、前記一次元化残差カット画像を変換符号化することにより符号化残差カット画像を生成する変換符号化手段とを有していることを特徴とする。
【００２６】
この構成によれば、一次元化残差カット画像を変換符号化することにより、原カット画像は、一次元化近似カット画像と符号化残差カット画像とに符号化される。そして、復号の際には、一次元化残差カット画像から一次元化残差カット画像を復号し、符号化残差カット画像の各画素に復号された一次元化残差カット画像を重畳して原カット画像を復号する。従って、一次元化残差カット画像の情報により、より高画質の画像を再生することができる。
【００２７】
ここで、「変換符号化」とは、ＤＣＴ、ＫＬ変換等の座標系の変換を用いた符号化をいう。
【００２８】
また、変換符号化手段は、一次元化残差カット画像を変換符号化を行う際には、一次元化残差カット画像から各フレーム内の画素に対応する残差を抽出して、それぞれのフレーム内において変換符号化を行うようにすることができる。フレーム内において変換符号化を行うことにより、画像の二次元的な相関による冗長性を除去し、変換符号化による圧縮効率を上げることができる。
【００２９】
本発明に係る画像符号化方法の第１の構成は、一次元化フレーム画像生成手段が、N_z枚（N_z≧２）のフレームからなる三次元の原カット画像を構成するフレーム画像のうち、終端のフレーム画像を除くN_z−１枚のフレーム画像について、１枚ずつ順次、所定の平面充填曲線に沿って走査しながら、それに並行して、第一区分線型近似手段が、上記走査により逐次得られる一次元化フレーム画像に対して、
ａ．区間内における各画素の画素値と、当該区間内における画素の平均値との差を二乗した値を当該区間内の総ての画素について合計した値を求め、
ｂ．その合計値が所定の閾値を超えたときに、当該閾値を超える前の点の画素を当該区間の終点と確定し、当該閾値を超えた点の画素を新たな区間の始点とする、
という操作を行うことにより、当該一次元化フレーム画像を区間分割して各区間の区間長及び平均値の情報からなる符号化フレーム画像を生成し、これを符号化フレーム画像記憶手段に格納する第１ステップ、
及び、一次元化近似カット画像生成手段が、前記符号化フレーム画像記憶手段に記憶されたN_z−１枚の符号化フレーム画像と、前記終端のフレーム画像とから、所定の三次元充填曲線に沿った走査点に対応する画素を抽出して一次元化近似カット画像を生成しながら、それに並行して、第二区分線型近似手段が、前記一次元化近似カット画像に対して、
ａ．区間内における各画素の画素値と、当該区間内における画素の平均値との差を二乗した値を当該区間内の総ての画素について合計した値を求め、
ｂ．その合計値が所定の閾値を超えたときに、当該閾値を超える前の点の画素を当該区間の終点と確定し、当該閾値を超えた点の画素を新たな区間の始点とする、
という操作を行うことにより、当該一次元化近似カット画像を区間分割して各区間の区間長及び平均値の情報からなる符号化カット画像を生成する第２ステップを有することを特徴とする。
【００３０】
これにより、一次元化フレーム画像生成手段が読み込まれるフレームごとに走査して一次元化するのと並行して、第一区分線型近似手段がこの一次元化フレーム画像を区分線型近似処理により圧縮された符号化フレーム画像に変換し、これを符号化フレーム画像記憶手段に格納する。従って、区分線型近似処理による圧縮効率がｐ、フレーム１枚あたりのデータ容量がＤとすれば、符号化フレーム画像記憶手段のメモリ容量は、（1＋(N_z -1)p）Ｄとなる。従って、総てのフレームをフレームメモリに格納する場合に比べると、メモリ容量は（1＋(N_z -1)p）/ N_zに削減される。例えば、N_z =10, p=0.5とすると、必要なメモリ容量は、総てのフレームをフレームメモリに格納する場合に比べ55％に削減される。
【００３１】
また、第２ステップにおいては、符号化フレーム画像記憶手段に格納された符号化フレーム画像からもとの画像を復元することなく、一次元化近似カット画像生成手段が必要なデータを符号化フレーム画像記憶手段から抽出しながら一次元化近似カット画像を生成し、それに並行して、第二区分線型近似手段が区分線型近似処理により符号化カット画像を生成する。従って、符号化に際して大きな容量のメモリは必要がない。
【００３２】
従って、少容量のメモリを使用して高速かつ高圧縮率で三次元画像を符号化することができる。
【００３３】
本発明に係る画像符号化方法の第２の構成は、前記第１の構成において、前記第２ステップにおいては、第二区分線型近似手段が前記一次元化近似カット画像に対して一つの区間の終点を確定したときに、一次元化残差カット画像生成手段が、当該区間内の前記一次元化近似カット画像の各画素に対して、その画素値と当該区間内の各画素の画素値の平均値との残差を演算して残差カット画像記憶手段に格納し、前記第２ステップの終了後、変換符号化手段が、N_z枚の各フレームの各々に対応する位置の前記残差を前記残差カット画像記憶手段から抽出するとともに、各フレームにおいて前記残差を変換符号化する第３ステップを有することを特徴とする。
【００３４】
また、本発明に係るプログラムは、コンピュータに読み込ませて実行することにより、コンピュータに上記第１又は第２の構成に係る画像符号化方法を実行させるものであることを特徴とする。
【００３５】
【発明の実施の形態】
以下、本発明の一実施形態について図面を参照しながら説明する。
【００３６】
（実施形態１）
図１は本発明の実施形態１に係る画像符号化装置の構成を表すブロック図である。
【００３７】
図１において、本実施形態に係る画像符号化装置１は、画像入力手段２、フレームメモリ３、一次元化フレーム画像生成手段４、第一ルックアップテーブル４ａ、第一区分線型近似手段５、符号化フレーム画像記憶手段６、一次元化カット画像生成手段７、第二ルックアップテーブル７ａ、第二区分線型近似手段８、符号化カット画像記憶手段９、一次元化残差カット画像生成手段１０、残差カット画像記憶手段１１、変換符号化手段１２、符号化残差カット画像記憶手段１３、及び出力手段１４を備えている。
【００３８】
画像入力手段２は、動画像や立体画像などの三次元の原カット画像Gを入力するための装置である。具体的には、画像入力手段２は、例えば、ＣＣＤ（Charge Coupled Device; 電荷結合素子）などの撮像素子やＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどの外部記憶装置、モデム等の通信ネットワーク・インタフェースにより構成される。ここで、原カット画像はN_z枚（N_z≧２）のフレーム画像{F₀,…,F _Nz _-1}によって構成されているものとする。
【００３９】
フレームメモリ３は、画像入力手段２から入力されるフレーム画像F_z(z∈{0,…, N_z -1})を一時的に記憶するメモリである。本実施形態においては、フレームメモリ３はフレーム画像１枚分のメモリ容量を有するものとする。
【００４０】
一次元化フレーム画像生成手段４は、原カット画像Gを構成するN_z枚のフレーム画像のうち、終端のフレーム画像F _Nz _-1を除くN_z−１枚のフレーム画像{F₀,…,F _Nz _-2}のそれぞれに対して、一次元化フレーム画像{FL₀,…,FL _Nz _-1}を生成する。ここで、一次元化フレーム画像FL_z(z∈{0,…, N_z -2})とは、フレーム画像F_zを所定の平面充填曲線に沿って走査することにより生成される一次元の画素データ列をいう。平面充填曲線に関する情報は、第一ルックアップテーブル４ａに記憶されている。一次元化フレーム画像生成手段４は、走査順番についてはこの第一ルックアップテーブル４ａを参照しながら走査を行う。なお、平面充填曲線としては、ラスタ走査曲線、ジグザグ走査曲線、ヒルベルト曲線等を使用することができる。
【００４１】
第一区分線型近似手段５は、一次元化フレーム画像FL_z(z∈{0,…, N_z -2})に対して、区分線型近似処理を行うことによって、符号化フレーム画像FC_z={(a_z,0,l _z,0),…,(a _z,Mz-1,l _z,Mz-1)}（Ｍ_zはフレーム内の区間数）を生成する。なお、区分線型近似処理については、〔従来の技術〕の欄で既に説明しているため、ここでは説明は省略する。符号化フレーム画像記憶手段６は、第一区分線型近似手段５により生成された符号化フレーム画像{FC_z; z=0,…, N_z -2}が格納される。
【００４２】
一次元化近似カット画像生成手段７は、符号化フレーム画像記憶手段６に格納された符号化フレーム画像{FC_z; z=0,…, N_z -2}及びフレームメモリ３に格納された終端のフレーム画像F _Nz _-1からなる近似カット画像G'に対して、所定の三次元充填曲線に沿って走査をして一次元化近似カット画像GL'を生成する。三次元充填曲線に関する情報は、第二ルックアップテーブル７ａに記憶されている。一次元化近似カット画像生成手段７は、走査順番についてはこの第二ルックアップテーブル７ａを参照しながら走査を行う。
【００４３】
なお、三次元充填曲線としては、第一ルックアップテーブル４ａに記憶された平面充填曲線に沿った、順序づけられた格子点の集合からなる走査順番を、当該走査順番が偶数番の場合には一端のフレームから他端のフレームに向かう方向に０からN_z -1まで走査し、当該走査順番が奇数番の場合には他端のフレームから一端のフレームに向かう方向にN_z -1から０まで走査することにより、三次元空間を充填する走査順番に拡張することによって生成されたものが用いられる。このように、第一ルックアップテーブル４ａに記憶された平面充填曲線に沿った、順序づけられた格子点の集合からなる走査順番を、フレームに対して垂直方向に直線的に引き延ばしたものを使用することで、符号化フレーム画像記憶手段６に記憶された符号化フレーム画像{FC_z; z=0,…, N_z -2}から三次元充填曲線に沿った画素データを抽出することが容易となる。
【００４４】
第二区分線型近似手段８は、一次元化近似カット画像生成手段７が生成する一次元化近似カット画像GL'に対して区分線型近似処理を行うことにより、符号化カット画像GCを生成する。なお、ここでの区分線型近似処理も、上記〔従来の技術〕の欄で説明したものと同様である。そして、生成された符号化カット画像GCは、符号化カット画像記憶手段９に格納される。
【００４５】
一次元化残差カット画像生成手段１０は、一次元化近似カット画像GL'の各画素の画素値と、符号化カット画像GCの各画素の画素値との差である一次元化残差カット画像GRLを生成し、残差カット画像記憶手段１１に格納する。変換符号化手段１２は、残差カット画像記憶手段１１に格納された一次元化残差カット画像GRLを変換符号化することにより、符号化残差カット画像GRCを生成し、符号化残差カット画像記憶手段１３に格納する。
【００４６】
そして、符号化カット画像記憶手段９に格納された符号化カット画像GC及び符号化残差カット画像記憶手段１３に格納された符号化残差カット画像GRCは、出力手段１４により出力される。出力手段１４としては、例えば、ディスプレイ、送信インタフェース等が用いられる。
【００４７】
以上のように構成された本実施形態に係る画像符号化装置において、以下、その画像符号化方法について説明する。
【００４８】
図２は本発明の実施形態１に係る画像符号化方法の全体の流れを表すフローチャートである。
【００４９】
まず、フレームの番号を表すパラメータzを０として（Ｓ１）、画像入力手段２からz番目のフレーム画像F_z={q_x,y,z; x=0,…,N_x-1, y=0,…,N_y-1}が入力され、フレームメモリ３に格納される（Ｓ２）。ここで、フレーム平面をxy平面で表すものとし、N_xはフレームのx方向のサイズ、N_yはフレームのy方向のサイズを表す。
【００５０】
次に、一次元フレーム画像生成手段４は、まず、フレーム画像F_zを適当なサイズの部分画像{FB_z(X,Y); X=0,…,NB_x-1, Y=0,…,NB_y-1}に分割する（Ｓ３）。以下、この部分画像FB_z(X,Y)のことをブロックという。このブロックへの分割は、以下の処理時において必要とされる計算量やメモリ容量をできるだけ少なくするために行われるものである。なお、NB_xはフレーム内におけるブロックのx方向の数、NB_yはフレーム内におけるブロックのy方向の数を表す。従って、各ブロックのサイズは(N_x/NB_x)×(N_y/NB_y)画素からなる。
【００５１】
次に、一次元フレーム画像生成手段４は、第一ルックアップテーブル４ａに格納された走査順番に従って、フレーム画像F_zを走査し、一次元化フレーム画像FL_zを生成する。また、それと並行して、第一区分線型近似手段５は、走査によって逐次得られる一次元化フレーム画像FL_zに対して、区分線型近似処理を行い、符号化フレーム画像FC_zを生成する（Ｓ４）。ここで生成された符号化フレーム画像FC_zは、符号化フレーム画像記憶手段６に格納される（Ｓ５）。そして、変数ｚの値を１だけ繰り上げられて（Ｓ６）、変数ｚの値がN_z−２に達するまで、ステップＳ２〜Ｓ５の処理が繰り返される。
【００５２】
ここで、ステップＳ４〜Ｓ５の動作について補足説明する。本実施の形態においては、走査順番の一例として、ブロックのサイズを８×８画素として、第一ルックアップテーブル４ａには図３に示したようなヒルベルト曲線に従った走査順番が格納されているものとする。
【００５３】
まず、第一区分線型近似手段５は、現在の区間番号を表す変数ｉを０に設定するとともに、区間の長さを表す変数Nを２に設定する。
【００５４】
一方、一次元フレーム画像生成手段４は、フレーム画像F_zの各ブロックFB_z(X,Y)（X=0,…,NB_x-1, Y=0,…,NB_y-1）に対して、順次第一ルックアップテーブル４ａの走査順番に従って走査していく。その結果、一次元化フレーム画像FL_z={q_z,0,q _z,1,…}が逐次得られる。
【００５５】
これと並行して、第一区分線型近似手段５は、（数１）、（数２）に示した漸化式により画素値の平均値と累積二乗誤差e_i(N)を求める。そして、累積二乗誤差e_i(N)が所定の閾値Γ以下であれば、Nを１だけ繰り上げて、（数１）、（数２）に示した漸化式の演算処理を繰り返す。一方、累積二乗誤差e_i(N)が閾値Γを超えたときには、N-1番目の画素までをk番目の区間とし、ｋ番目の区間の画素を区間内の画素の画素値の平均値と区間長との組（a _z,k, l _z,k）で符号化する。（a _z,k, l _z,k）は（数３）に示した通りである。そして、この符号化されたデータ（符号化フレーム画像FC_z）を符号化フレーム画像記憶手段６に格納する。そして、第一区分線型近似手段５は、変数ｉをN-1だけ繰り上げた後、Ｎを２に初期化し、再び、上記動作を繰り返す。
【００５６】
図４は符号化フレーム画像記憶手段６に格納された符号化フレーム画像FC_z（z∈{0,…, N_z -2}）のデータ構造を表す図である。図４に示したように、先頭のアドレスには、フレームアドレス情報adr₀〜adr _Nz _-2が格納されている。このフレームアドレス情報adr₀〜adr _Nz _-2は、各フレームの符号化フレーム画像FC₀〜FC _Nz _-2が格納されているアドレスの先頭アドレスを表す。フレームアドレス情報adr₀〜adr _Nz _-2に続いて、符号化フレーム画像FC₀〜FC _Nz _-2の情報{(a_z,i, l_z,i); z=0,…, N_z -2, i=0,…,M_z-2-1}が格納されている。従って、先頭のフレームアドレス情報adr₀〜adr _Nz _-2を参照することにより、符号化フレーム画像FC₀〜FC _Nz _-2の情報に自由にアクセスすることができる。
【００５７】
以上のように、一次元フレーム画像生成手段４による一次元化フレーム画像FL_zの生成と、第一区分線型近似手段５による符号化フレーム画像FC_zの生成とが同時並行的に行われる。そして、得られた符号化フレーム画像FC_zが符号化フレーム画像記憶手段６に蓄積される。符号化フレーム画像FC_zの圧縮率は、区分線型近似処理における累積二乗誤差e_i(N)の閾値Γの大きさによって決まる。個々では、圧縮率が１／１０〜１／３程度の値となるように閾値Γの大きさが設定される。
【００５８】
このように、入力されるフレーム画像F_iは逐次１／１０〜１／３程度のデータ量に圧縮され、符号化フレーム画像記憶手段６に蓄積されるため、フレーム画像F_iを格納するメモリ容量を少なくすることが可能である。
【００５９】
なお、本実施形態では第一ルックアップテーブル４ａに格納する走査順番として図３の平面充填曲線を使用することとしたが、第一ルックアップテーブル４ａに格納する走査順番としては、他にも、例えば図５（ａ）〜（ｈ）に示したような平面充填曲線に沿った走査順番などを使用することもできる。
【００６０】
図２に戻って、０〜N_z−２番目までのフレーム画像F₀〜F _Nz _-2に対して、区分線型近似処理により符号化フレーム画像FC₀〜FC _Nz _-2の生成が終わると、次に、画像入力手段２は、終端のフレーム画像F _Nz _-1を読み込んで、フレームメモリ３に格納する（Ｓ７）。
【００６１】
次いで、一次元化近似カット画像生成手段７は、第二ルックアップテーブル７ａに格納された走査順番に従って、符号化フレーム画像記憶手段６に格納された符号化フレーム画像FC₀〜FC _Nz _-2とフレームメモリ３に格納された終端のフレーム画像F _Nz _-1とから仮想的に構成される三次元の近似カット画像G'を走査し、一次元化近似カット画像GL'を生成する。この三次元の近似カット画像G'の走査もブロック単位で行われる。また、それと並行して、第二区分線型近似手段８は、この走査によって逐次得られる一次元化近似カット画像GL'に対して、区分線型近似処理を行い、符号化カット画像GCを生成する。また、同時に一次元化残差カット画像生成手段１０が、一次元化残差カット画像GRLを生成して残差カット画像記憶手段１１に格納する（Ｓ８）。
【００６２】
ここで、ステップＳ８の処理について補足説明する。本実施の形態においては、第二ルックアップテーブル７ａに格納された走査順番は、第一ルックアップテーブル４ａに格納された走査順番（図３参照）に対応させて、図６のような三次元充填曲線に沿った走査順番とされている。図６に示す走査順番は、フレーム内の領域を充填する図３の曲線に沿った、順序づけられた格子点の集合からなる走査順番(x₀,y₀),(x₁,y₁),…,(x_NxNy-1,y_NxNy-1)を、当該走査順番が偶数番の場合にはｚ方向に０からN_z-1まで走査し、当該走査順番が奇数番の場合には−ｚ方向にN_z-1から０まで走査することにより、三次元空間を充填する走査順番
【数４】

に拡張することによって生成されたものが用いられている。このように、三次元充填曲線は、フレームと垂直なｚ方向に直線的に走査するようにすれば、動画像のようにフレーム間の相関が非常に大きい三次元画像に対しては、符号化による圧縮効率を高めることができる。
【００６３】
一次元化近似カット画像生成手段７は、まず、内部変数i，zを０に設定した後、以下のような動作により一次元化近似カット画像を生成する。
【００６４】
（１）第二ルックアップテーブル７ａから走査座標（x_i,y_i,z）を取得する。
【００６５】
（２） z≠n-1の場合、一次元化近似カット画像生成手段７は、符号化フレーム画像記憶手段６から、走査座標（x_i,y_i,z）に対応する位置の画素値q_i,zを抽出する。この場合、一次元化近似カット画像生成手段７は、まずzの値から、フレームアドレス情報adr_zを取得し、第ｚフレームの符号化フレーム画像FC_zの先頭アドレスにアクセスする。そして、第ｚフレームの符号化フレーム画像FC_zの区間長l_z,j（j=0,…,M_z-1）を順次累算していき、累算値がi以上になったときの番号ｊに対応する画素値a_z,jを取得して、これを走査座標（x_i,y_i,z）に対応する位置の画素値q_i,zとすればよい。
一方、z＝n-1の場合、一次元化近似カット画像生成手段７は、フレームメモリ３から、走査座標（x_i,y_i,z）に対応する位置（x_i,y_i）の画素値q_i,zを抽出する。
【００６６】
（３）ｚの値を１だけ増加させる。
【００６７】
（４）（１）〜（３）の動作をｚ＝n-1となるまで繰り返す。
【００６８】
（５）次に、ｉを１だけ増加させ、（１）〜（３）の動作をｚ＝０となるまで繰り返す。このとき、（３）においてはｚの値を１だけ減少させる。
【００６９】
（６）（１）〜（５）の動作を、ｉの値がＮ_ｘＮ_ｙ−１になるまで行う。
【００７０】
そして、一次元化近似カット画像生成手段７の符号化処理と並行して、第二区分線型近似手段８は、順次得られる一次元化近似カット画像GL'に基づいて、区分線型近似処理を行い、その結果生成される符号化カット画像GCを、符号化カット画像記憶手段９に格納する。
【００７１】
このようにして、一次元化近似カット画像生成手段７は、符号化フレーム画像記憶手段６に格納された符号化フレーム画像{FC_z; z=0,…,N_z-2}を復号することなく、一次元化近似カット画像GL'={q_0,0,…q_0,Nz-1,q_1,Nz-1,…,q_1,0,…, q_NxNy-1,0}を生成するため、符号化処理に要するメモリ容量を大幅に抑えることが可能となる。また、一次元化近似カット画像GL'は、逐次生成されるごとに第二区分線型近似手段８によって符号化処理され、データ量が圧縮される。そして、この符号化処理で得られる符号化カット画像GCを、符号化カット画像記憶手段９に格納することで、符号化処理に要するメモリ容量が更に抑えられる。
【００７２】
一次元化残差カット画像生成手段１０は、区分線型近似処理において、一つの区間が確定するごとに、その区間内にある一次元化近似カット画像GL'の各画素の画素値と符号化カット画像GCの画素値との差である一次元化残差カット画像GRLを生成し、これを残差カット画像記憶手段１２に格納する。
【００７３】
上記ステップＳ８の処理が１ブロック分の終わるたびに、変換符号化手段１２は、残差カット画像記憶手段１２に格納されたN_zフレームの１ブロック分の一次元化残差カット画像GRLに対して、１フレームごとに変換符号化を行い、符号化残差カット画像記憶手段１３に格納する（Ｓ９）。ここで、変換符号化は、一般に広く用いられているＤＣＴ（離散コサイン変換）やＫＬ変換等の手法を用いて行われる。このように、変換符号化手段１２がブロック単位で逐次変換符号化を行うことで、残差カット画像記憶手段１２の記憶容量はNB_x×NB_y×N_z画素分あればよいこととなる。変換符号化された符号化残差カット画像GCは、フレーム内相関による冗長性が除去されるため、データ量は少ない。従って、符号化残差カット画像記憶手段１３の容量も小さくてすむ。
【００７４】
以上の処理が総て終了すると、出力手段１４は、符号化カット画像GC及び符号化残差カット画像GRCを符号化された三次元画像として出力し（Ｓ１０）、処理を終了する。
【００７５】
以上のように、本実施形態に係る画像符号化装置によれば、少ないメモリ容量で三次元画像の符号化を行うことが可能となる。また、画像の符号化において区分線型近似処理を用いることで、画像が読み込まれる順に逐次的に符号化されていくため、後段の処理を並行して行うことができる。従って、処理が高速化される。
【００７６】
【発明の効果】
以上のように、本発明によれば、少容量のメモリを使用して高速かつ高圧縮率で三次元画像を符号化することが可能となる。従って、携帯電話、デジタルカメラ等の携帯電子機器のようにメモリ容量が制限される機器において、動画像などの三次元画像を符号化するのに適した画像符号化技術を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態１に係る画像符号化装置の構成を表すブロック図である。
【図２】本発明の実施形態１に係る画像符号化方法の全体の流れを表すフローチャートである。
【図３】第一ルックアップテーブル４ａに格納された走査順番を表す図である。
【図４】符号化フレーム画像記憶手段６に格納された符号化フレーム画像FC_z（z∈{0,…, N_z -2}）のデータ構造を表す図である。
【図５】第一ルックアップテーブル４ａに格納することのできる走査順番の他の例を表す図である。
【図６】第二ルックアップテーブル７ａに格納された走査順番を表す図である。
【符号の説明】
１画像符号化装置
２画像入力手段
３フレームメモリ
４一次元フレーム画像生成手段
４ａ第一ルックアップテーブル
５第一区分線型近似手段
６符号化フレーム画像記憶手段
７一次元化近似カット画像生成手段
７ａ第二ルックアップテーブル
８第二区分線型近似手段
９符号化カット画像記憶手段
１０一次元化残差カット画像生成手段
１１残差カット画像記憶手段
１２変換符号化手段
１３符号化残差カット画像記憶手段
１４出力手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding technique for encoding a three-dimensional image such as a moving image or a three-dimensional image, and in particular, image encoding capable of performing high-speed encoding processing using a small-capacity memory during encoding. Regarding technology.
[0002]
[Prior art]
In recent years, communication of a three-dimensional image such as a moving image or a three-dimensional image captured with an electronic camera or the like has been performed in data communication using a mobile phone or a mobile computer. Therefore, as represented by MPEG, various image encoding techniques for three-dimensional images have been researched and developed.
[0003]
As one of such image encoding techniques, the present inventor has previously devised a real-time moving image transfer method (see Patent Document 1). In the description in Patent Document 1, the following method is used as a method of encoding a three-dimensional image.
[0004]
Where the 3D image is N_zIt is assumed that each frame image is composed of a plurality of frame images._x× N_yAnd Here, the frame refers to one unit image constituting a three-dimensional image. Hereinafter, a set of continuous frame images such as a three-dimensional image is referred to as “cut”.
[0005]
First, the three-dimensional image is scanned according to the scanning order in the three-dimensional space obtained from the lookup table, and the original one-dimensional data {q₀, q₁,…, Q_NxNy-1Convert to}. The scanning order in this three-dimensional space is the scanning order in the two-dimensional plane along the curve filling the rectangular region in the xy direction, and from 0 to N in the z direction when the scanning order in the two-dimensional plane is an even number._zIf the scan order in the two-dimensional plane is an odd number, N in the -z direction_zBy scanning from 0 to 0, it is generated by expanding the scanning order to fill the three-dimensional space.
[0006]
Next, the generated original one-dimensional data {q₀, q₁,…, Q_NxNy-1} By approximating one-dimensional data {(a₀, l₀),…, (A_M-1, l_M-1)} Is generated and used as encoded data of a three-dimensional image.
[0007]
Here, the piecewise linear approximation process is the original one-dimensional data {q₀, q₁,…, Q_NxNy-1}, When the accumulated square error from a certain i-th pixel to the i + N-th pixel exceeds a predetermined threshold, the i-th to i + N-1th are defined as one section, The operation of approximating the pixel values of all the pixels with the average value of the pixel values in the corresponding section is sequentially performed from the beginning of the original one-dimensional data, and the original one-dimensional data {q₀, q₁,…, Q_NxNy-1} Is a series of the average value of each interval and the length of each interval {(a₀, l₀),…, (A_M-1, l_M-1)} Refers to the operation of encoding the original one-dimensional data. Specifically, the following operations are performed.
[0008]
First, i = 0, k = 0, N = 2,
(1) Original one-dimensional data {q₀, q₁,…, Q_NxNy-1} I-th pixel q_i-1I + N-1st pixel q_{i + N-1}The average value of the pixel values of the N pixels up to is calculated by (Equation 1).
[Expression 1]

[0009]
(2) Next, the cumulative square error e between the calculated average value and the original one-dimensional data_i(N) is calculated by (Equation 2).
[Expression 2]

[0010]
(3) And the cumulative square error e_iIf (N) is less than or equal to the predetermined threshold Γ, N is incremented by 1, and the above processes (1) and (2) are repeated. On the other hand, the cumulative square error e_iWhen (N) exceeds the threshold Γ, the range up to the (N−1) -th pixel is the k-th section, and the pixels in the k-th section are the set of the average pixel value of the pixels in the section and the section length (a_k, l_k). here,
[Equation 3]

I put it.
[0011]
Then, after i is raised by N−1, N is set to 2, and the operations (1) to (3) are repeated again.
[0012]
Thus, by using a look-up table for scanning a three-dimensional image and encoding a three-dimensional image using a piecewise linear approximation process, the encoding process can be performed at high speed. Further, by making the scanning order in the z direction linear, it is possible to efficiently compress a three-dimensional image having a very strong correlation in the z direction, such as a moving image.
[0013]
[Patent Document 1]
Japanese Patent No. 3347684
[0014]
[Problems to be solved by the invention]
Since the image encoding method disclosed in Patent Document 1 can perform encoding processing at a high compression rate at a high speed, it is a field where real-time performance and high-speed performance are required, such as a videophone. When applied in, excellent effects are exhibited.
[0015]
However, on the other hand, in order to perform the encoding process, it is necessary to perform the encoding process after all the three-dimensional images to be encoded are once stored in the frame memory. Therefore, when the image size is large, a large-capacity frame memory is required.
[0016]
On the other hand, in devices in which the memory capacity of the device itself is limited due to demands for miniaturization and power saving, such as portable electronic devices such as mobile phones that have been remarkably popular in recent years, a three-dimensional A technique for encoding an image at a high speed and a high compression rate is desired.
[0017]
Accordingly, an object of the present invention is to provide an image encoding technique for encoding a three-dimensional image at a high speed and with a high compression rate using a small-capacity memory.
[0018]
[Means for Solving the Problems]
The first configuration of the image coding apparatus according to the present invention is N_zSheets (N_zN of the frame images constituting the three-dimensional original cut image composed of frames of ≧ 2) excluding the end frame image_z−1 by scanning each frame image along a predetermined plane filling curve_z-One-dimensional frame image generating means for generating one one-dimensional frame image, and in each of the one-dimensional frame images, the pixel value of each pixel in one section and all the pixels in the section The one-dimensional frame image is divided into sections so that the sum of squares of the difference from the average value of the pixel values is equal to or less than a predetermined threshold, and an encoded frame image including information on the section length and the average value of each section is obtained. The first piecewise linear approximation means to generate and N_zA one-dimensional approximation that generates a one-dimensional approximate cut image by scanning along a predetermined three-dimensional filling curve with respect to an approximate cut image composed of one encoded frame image and the terminal frame image In the cut image generation means and the one-dimensional approximate cut image, the sum of squares of the difference between the pixel value of each pixel in one section and the average value of the pixel values of all pixels in the section is a predetermined value. A second piecewise linear approximation unit that divides the one-dimensional approximate cut image into sections so as to be equal to or less than a threshold, and generates a coded cut image including information on a section length and an average value of each section; It is characterized by.
[0019]
According to this configuration, the first piecewise linear approximation means removes the end frame image._zThe −1 frame image is converted into an encoded frame image including information on the section length and average value of each section. Therefore, N_zThe data amount of one frame image is compressed, and the memory for storing the encoded frame image can be reduced.
[0020]
In addition, the one-dimensional approximate cut image generation means does not restore the compressed encoded frame image, N_z-A one-dimensional approximate cut image is directly generated from one encoded frame image and a terminal frame image, and this one-dimensional approximate cut image is converted into an encoded cut image by the second piecewise linear approximation means and compressed. To do. The processes of the one-dimensionalized approximate cut image generation means and the second piecewise linear approximation means can be performed simultaneously. That is, the one-dimensional approximate cut image generation means is N_zWhile generating one-dimensionally approximated cut images pixel by pixel from one encoded frame image and the end frame image, at the same time, using the pixel data of the generated one-dimensionally approximated cut image, the second section A linear approximation means can generate a coded cut image. Therefore, a memory for separately storing an image obtained by restoring the compressed one-dimensional approximate cut image is unnecessary. Therefore, it is possible to encode a cut image using a small-capacity memory.
[0021]
Further, by performing the piecewise linear approximation process along the scanning line in the three-dimensional space, the spatial redundancy of the three-dimensional image is removed from the encoded cut image. Therefore, encoding can be performed at a high compression rate.
[0022]
Here, the “plane filling curve” refers to a curve that passes through each lattice point in the plane only once and fills the plane without any gap. For example, scan patterns such as raster scan, zigzag scan, and Hilbert scan. The “three-dimensional filling curve” refers to a curve that passes through each lattice point in the three-dimensional space only once and fills the three-dimensional space without a gap.
[0023]
In the present invention, the one-dimensional frame image generation means can scan each frame image with reference to the predetermined plane filling curve stored in a lookup table. Also, the one-dimensionalized approximate cut image generation means can scan the approximate cut image with reference to the predetermined three-dimensional filling curve stored in the lookup table. Thus, when there is a margin in the memory, the scanning process can be speeded up by using a lookup table.
[0024]
Further, in the present invention, the three-dimensional filling curve represents a scanning order composed of an ordered set of lattice points along a curve filling a region in the frame, and if the scanning order is an even number, the frame at one end From 0 to N in the direction from one to the other_z-1 and if the scanning order is an odd number, N in the direction from the other frame to the one frame_zBy scanning from −1 to 0, it is possible to use the one generated by expanding the scanning order to fill the three-dimensional space. Thus, if the 3D filling curve is scanned linearly in the direction perpendicular to the frame, the 3D image with a very large correlation between frames such as a moving image is encoded. Compression efficiency can be increased.
[0025]
The second configuration of the image encoding device according to the present invention is the difference between the pixel value of each pixel of the one-dimensional approximate cut image and the pixel value of each pixel of the encoded cut image in the first configuration. A one-dimensional residual cut image generating means for generating a one-dimensional residual cut image, and transform encoding for generating an encoded residual cut image by transform encoding the one-dimensional residual cut image Means.
[0026]
According to this configuration, the original cut image is encoded into the one-dimensional approximate cut image and the encoded residual cut image by transform encoding the one-dimensional residual cut image. At the time of decoding, the one-dimensional residual cut image is decoded from the one-dimensional residual cut image, and the decoded one-dimensional residual cut image is superimposed on each pixel of the encoded residual cut image. To decode the original cut image. Therefore, a higher quality image can be reproduced based on the information of the one-dimensionalized residual cut image.
[0027]
Here, “transform coding” refers to coding using coordinate system transformation such as DCT or KL transformation.
[0028]
Further, when transform encoding the one-dimensional residual cut image, the transform encoding means extracts residuals corresponding to the pixels in each frame from the one-dimensional residual cut image, and Transform encoding can be performed within a frame. By performing transform coding within a frame, redundancy due to two-dimensional correlation of images can be removed, and compression efficiency by transform coding can be increased.
[0029]
The first configuration of the image encoding method according to the present invention is such that the one-dimensional frame image generating means is N_zSheets (N_zN of the frame images constituting the three-dimensional original cut image composed of frames of ≧ 2) excluding the end frame image_z-1 frame image is sequentially scanned along a predetermined plane filling curve one by one, and in parallel, the first piecewise linear approximation means obtains a one-dimensional frame image sequentially obtained by the scanning. for,
a. Find the value obtained by summing the value of the square of the difference between the pixel value of each pixel in the section and the average value of the pixels in the section for all the pixels in the section,
b. When the total value exceeds a predetermined threshold, the pixel of the point before exceeding the threshold is determined as the end point of the section, and the pixel of the point exceeding the threshold is set as the start point of the new section.
By performing the operation, the one-dimensional frame image is divided into sections to generate encoded frame images composed of the section length and average value information of each section, and this is stored in the encoded frame image storage means. 1 step,
And the one-dimensional approximate cut image generation means is stored in the encoded frame image storage means N_z-Extracting pixels corresponding to scanning points along a predetermined three-dimensional filling curve from one encoded frame image and the terminal frame image to generate a one-dimensional approximate cut image, and at the same time Then, the second piecewise linear approximation means for the one-dimensional approximate cut image,
a. Find the value obtained by summing the value of the square of the difference between the pixel value of each pixel in the section and the average value of the pixels in the section for all the pixels in the section,
b. When the total value exceeds a predetermined threshold, the pixel of the point before exceeding the threshold is determined as the end point of the section, and the pixel of the point exceeding the threshold is set as the start point of the new section.
By performing the above operation, there is provided a second step of dividing the one-dimensional approximate cut image into sections and generating an encoded cut image composed of section length and average value information of each section.
[0030]
As a result, the first segmented line type approximating unit compresses the one-dimensionalized frame type image by the segmented line type approximating process in parallel with the one-dimensional frame image generating unit scanning for each frame to be read and converting it to one-dimensional. The encoded frame image is converted into an encoded frame image and stored in the encoded frame image storage means. Therefore, if the compression efficiency by the piecewise linear approximation process is p and the data capacity per frame is D, the memory capacity of the encoded frame image storage means is (1+ (N_z -1) p) D Therefore, compared with the case where all frames are stored in the frame memory, the memory capacity is (1+ (N_z -1) p) / N_zReduced to For example, N_z Assuming = 10 and p = 0.5, the required memory capacity is reduced to 55% compared to the case where all frames are stored in the frame memory.
[0031]
Further, in the second step, the data necessary for the one-dimensional approximate cut image generation means is encoded frame image without restoring the original image from the encoded frame image stored in the encoded frame image storage means. A one-dimensional approximate cut image is generated while being extracted from the storage means, and in parallel therewith, the second piecewise linear approximation means generates a coded cut image by piecewise linear approximation processing. Therefore, a large capacity memory is not necessary for encoding.
[0032]
Therefore, it is possible to encode a three-dimensional image at a high speed and with a high compression rate using a small capacity memory.
[0033]
In a second configuration of the image encoding method according to the present invention, in the first configuration, in the second step, the second piecewise linear approximation means includes one section for the one-dimensional approximate cut image. When the end point is determined, the one-dimensional residual cut image generation means calculates the pixel value and the pixel value of each pixel in the section for each pixel of the one-dimensional approximate cut image in the section. The residual with the average value is calculated and stored in the residual cut image storage means. After the second step, the transform coding means_zA third step of extracting the residual at a position corresponding to each of each frame from the residual cut image storage means and transform-coding the residual in each frame is provided.
[0034]
In addition, the program according to the present invention is characterized by causing a computer to execute the image coding method according to the first or second configuration by being read and executed by a computer.
[0035]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0036]
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an image coding apparatus according to Embodiment 1 of the present invention.
[0037]
In FIG. 1, an image encoding apparatus 1 according to this embodiment includes an image input unit 2, a frame memory 3, a one-dimensional frame image generation unit 4, a first lookup table 4a, a first piecewise linear approximation unit 5, a code. Frame image storage means 6, one-dimensional cut image generation means 7, second look-up table 7a, second piecewise linear approximation means 8, encoded cut image storage means 9, one-dimensional residual cut image generation means 10, A residual cut image storage unit 11, a transform encoding unit 12, an encoded residual cut image storage unit 13, and an output unit 14 are provided.
[0038]
The image input means 2 is a device for inputting a three-dimensional original cut image G such as a moving image or a stereoscopic image. Specifically, the image input unit 2 is configured by an imaging device such as a CCD (Charge Coupled Device), an external storage device such as a CD-ROM or DVD-ROM, or a communication network interface such as a modem. Is done. Here, the original cut image is N_zSheets (N_z≧ 2) frame image {F₀, ..., F_Nz _-1}.
[0039]
The frame memory 3 is a frame image F input from the image input means 2._z(z∈ {0,…, N_z -1}) is temporarily stored. In the present embodiment, it is assumed that the frame memory 3 has a memory capacity for one frame image.
[0040]
The one-dimensional frame image generation means 4 is configured to generate N of the original cut image G_zOut of the frame images, the last frame image F_Nz _-1Excluding N_z-1 frame image {F₀, ..., F_Nz _-2} For each one-dimensional frame image {FL₀, ..., FL_Nz _-1} Is generated. Here, the one-dimensional frame image FL_z(z∈ {0,…, N_z -2}) is the frame image F_zIs a one-dimensional pixel data string generated by scanning along a predetermined plane filling curve. Information about the plane filling curve is stored in the first lookup table 4a. The one-dimensional frame image generation means 4 performs scanning while referring to the first lookup table 4a for the scanning order. As the plane filling curve, a raster scanning curve, a zigzag scanning curve, a Hilbert curve, or the like can be used.
[0041]
The first piecewise linear approximation means 5 is a one-dimensional frame image FL._z(z∈ {0,…, N_z -2}), the coded frame image FC is obtained by performing a piecewise linear approximation process._z= {(a_{z, 0}, l_{z, 0}), ..., (a_{z, Mz-1}, l_{z, Mz-1})} (M_zIs the number of sections in the frame). Note that the piecewise linear approximation process has already been described in the section of [Prior Art], and thus the description thereof is omitted here. The encoded frame image storage means 6 is an encoded frame image {FC generated by the first piecewise linear approximation means 5._z; z = 0,…, N_z -2} is stored.
[0042]
The one-dimensional approximate cut image generation means 7 encodes the encoded frame image {FC stored in the encoded frame image storage means 6._z; z = 0,…, N_z -2} and the end frame image F stored in the frame memory 3_Nz _-1Is scanned along a predetermined three-dimensional filling curve to generate a one-dimensional approximate cut image GL ′. Information about the three-dimensional filling curve is stored in the second lookup table 7a. The one-dimensional approximate cut image generation means 7 performs scanning while referring to the second look-up table 7a for the scanning order.
[0043]
As the three-dimensional filling curve, a scanning order consisting of an ordered set of lattice points along the plane filling curve stored in the first look-up table 4a is used when the scanning order is an even number. 0 to N in the direction from one frame to the other_z -1 and if the scanning order is an odd number, N in the direction from the other frame to the one frame_z By scanning from -1 to 0, the one generated by expanding the scanning order to fill the three-dimensional space is used. In this way, the scanning order composed of the set of ordered lattice points along the plane filling curve stored in the first look-up table 4a is linearly extended in the direction perpendicular to the frame. Thus, the encoded frame image {FC stored in the encoded frame image storage means 6 is stored._z; z = 0,…, N_z -2} makes it easy to extract pixel data along a three-dimensional filling curve.
[0044]
The second piecewise linear approximation means 8 generates a coded cut image GC by performing a piecewise linear approximation process on the one-dimensional approximate cut image GL ′ generated by the one-dimensional approximate cut image generation means 7. Note that the piecewise linear approximation process here is the same as that described in the above section [Prior Art]. Then, the generated encoded cut image GC is stored in the encoded cut image storage unit 9.
[0045]
The one-dimensional residual cut image generation means 10 is a one-dimensional residual cut that is the difference between the pixel value of each pixel of the one-dimensional approximate cut image GL ′ and the pixel value of each pixel of the encoded cut image GC. An image GRL is generated and stored in the residual cut image storage unit 11. The transform encoding means 12 generates a coded residual cut image GRC by transform-coding the one-dimensional residual cut image GRL stored in the residual cut image storage means 11, and generates a coded residual cut. Store in the image storage means 13.
[0046]
The encoded cut image GC stored in the encoded cut image storage unit 9 and the encoded residual cut image GRC stored in the encoded residual cut image storage unit 13 are output by the output unit 14. For example, a display, a transmission interface, or the like is used as the output unit 14.
[0047]
In the image coding apparatus according to the present embodiment configured as described above, the image coding method will be described below.
[0048]
FIG. 2 is a flowchart showing the overall flow of the image coding method according to the first embodiment of the present invention.
[0049]
First, the parameter z representing the frame number is set to 0 (S1), and the z-th frame image F is sent from the image input means 2._z= {q_{x, y, z}; x = 0,…, N_x-1, y = 0,…, N_y-1} is input and stored in the frame memory 3 (S2). Where the frame plane is represented by the xy plane and N_xIs the size of the frame in the x direction, N_yRepresents the size of the frame in the y direction.
[0050]
Next, the one-dimensional frame image generating means 4 first starts the frame image F._zA partial image of the appropriate size {FB_z(X, Y); X = 0,…, NB_x-1, Y = 0,…, NB_y−1} (S3). Below, this partial image FB_z(X, Y) is called a block. This division into blocks is performed in order to minimize the calculation amount and memory capacity required in the following processing. NB_xIs the number of blocks in the frame in the x direction, NB_yRepresents the number of blocks in the frame in the y direction. Therefore, the size of each block is (N_x/ NB_x) × (N_y/ NB_y) It consists of pixels.
[0051]
Next, the one-dimensional frame image generation means 4 performs the frame image F according to the scanning order stored in the first lookup table 4a._z1D frame image FL_zIs generated. In parallel with this, the first piecewise linear approximation means 5 obtains a one-dimensional frame image FL obtained sequentially by scanning._zIs applied to the coded frame image FC._zIs generated (S4). The encoded frame image FC generated here_zIs stored in the encoded frame image storage means 6 (S5). Then, the value of variable z is incremented by 1 (S6), and the value of variable z is N_zSteps S2 to S5 are repeated until -2.
[0052]
Here, a supplementary explanation will be given of the operations in steps S4 to S5. In this embodiment, as an example of the scanning order, the block size is 8 × 8 pixels, and the first lookup table 4a stores the scanning order according to the Hilbert curve as shown in FIG. Shall.
[0053]
First, the first piecewise linear approximation means 5 sets a variable i representing the current section number to 0 and a variable N representing the section length to 2.
[0054]
On the other hand, the one-dimensional frame image generation means 4 has_zEach block FB_z(X, Y) (X = 0, ..., NB_x-1, Y = 0,…, NB_y-1), the scanning is sequentially performed according to the scanning order of the first lookup table 4a. As a result, the one-dimensional frame image FL_z= {q_{z, 0}, q_{z, 1}, ...} are obtained sequentially.
[0055]
In parallel with this, the first piecewise linear approximation means 5 calculates the average value of pixel values and the accumulated square error e by the recurrence formulas shown in (Equation 1) and (Equation 2)._iFind (N). And the cumulative square error e_iIf (N) is less than or equal to the predetermined threshold Γ, N is incremented by 1, and the recurrence formula calculation process shown in (Equation 1) and (Equation 2) is repeated. On the other hand, the cumulative square error e_iWhen (N) exceeds the threshold Γ, the range up to the (N−1) -th pixel is the k-th section, and the pixels in the k-th section are the set of the average pixel value of the pixels in the section and the section length (a_{z, k}, l_{z, k}). (A_{z, k}, l_{z, k}) Is as shown in (Equation 3). Then, the encoded data (encoded frame image FC_z) Is stored in the encoded frame image storage means 6. The first piecewise linear approximation means 5 increments the variable i by N−1, initializes N to 2, and repeats the above operation again.
[0056]
FIG. 4 shows the encoded frame image FC stored in the encoded frame image storage means 6._z(Z∈ {0,…, N_z -2}). As shown in FIG. 4, frame address information adr is included in the head address.₀~ Adr_Nz _-2Is stored. This frame address information adr₀~ Adr_Nz _-2The encoded frame image FC of each frame₀~ FC_Nz _-2Represents the head address of the address where is stored. Frame address information adr₀~ Adr_Nz _-2Following the encoded frame image FC₀~ FC_Nz _-2Information {(a_{z, i}, l_{z, i}); z = 0,…, N_z -2, i = 0,…, M_z-2-1} is stored. Therefore, the first frame address information adr₀~ Adr_Nz _-2By referring to the encoded frame image FC₀~ FC_Nz _-2Free access to information.
[0057]
As described above, the one-dimensional frame image FL by the one-dimensional frame image generation means 4_zAnd the encoded frame image FC by the first piecewise linear approximation means 5_zAre generated concurrently. And the obtained encoded frame image FC_zAre stored in the encoded frame image storage means 6. Encoded frame image FC_zIs the cumulative square error e in the piecewise linear approximation process_iIt is determined by the magnitude of the threshold value Γ of (N). Individually, the magnitude of the threshold Γ is set so that the compression rate becomes a value of about 1/10 to 1/3.
[0058]
In this way, the input frame image F_iAre sequentially compressed to a data amount of about 1/10 to 1/3 and stored in the encoded frame image storage means 6, so that the frame image F_iCan be reduced in memory capacity.
[0059]
In the present embodiment, the plane filling curve of FIG. 3 is used as the scanning order stored in the first lookup table 4a. However, as the scanning order stored in the first lookup table 4a, For example, it is possible to use a scanning order along a plane filling curve as shown in FIGS.
[0060]
Returning to FIG._z-The second frame image F₀~ F_Nz _-2On the other hand, the coded frame image FC is obtained by the piecewise linear approximation process.₀~ FC_Nz _-2When the generation of the image frame is completed, the image input means 2 then receives the end frame image F._Nz _-1Is stored in the frame memory 3 (S7).
[0061]
Next, the one-dimensional approximate cut image generation means 7 encodes the encoded frame image FC stored in the encoded frame image storage means 6 in accordance with the scanning order stored in the second lookup table 7a.₀~ FC_Nz _-2And the end frame image F stored in the frame memory 3_Nz _-1The three-dimensional approximate cut image G ′ virtually constructed from the above is scanned to generate a one-dimensional approximate cut image GL ′. The scanning of the three-dimensional approximate cut image G ′ is also performed in units of blocks. In parallel with this, the second piecewise linear approximation means 8 performs a piecewise linear approximation process on the one-dimensional approximate cut image GL ′ sequentially obtained by this scanning, and generates a coded cut image GC. At the same time, the one-dimensional residual cut image generation means 10 generates a one-dimensional residual cut image GRL and stores it in the residual cut image storage means 11 (S8).
[0062]
Here, a supplementary explanation will be given of the processing in step S8. In the present embodiment, the scanning order stored in the second lookup table 7a corresponds to the scanning order (see FIG. 3) stored in the first lookup table 4a, and is three-dimensional as shown in FIG. The scanning order is along the filling curve. The scan order shown in FIG. 6 is a scan order consisting of a set of ordered grid points along the curve of FIG. 3 filling the region in the frame (x₀, y₀), (x₁, y₁), ..., (x_NxNy-1, y_NxNy-1) From 0 to N in the z direction when the scanning order is an even number._z-1 until the scan order is odd, N in the -z direction_zScan order to fill 3D space by scanning from -1 to 0
[Expression 4]

The one generated by extending to is used. In this way, if the 3D filling curve is scanned linearly in the z direction perpendicular to the frame, it is encoded for a 3D image with a very large correlation between frames such as a moving image. Can improve the compression efficiency.
[0063]
The one-dimensional approximate cut image generation means 7 first sets internal variables i and z to 0, and then generates a one-dimensional approximate cut image by the following operation.
[0064]
(1) From the second lookup table 7a, the scanning coordinates (x_i, y_i, z).
[0065]
(2) When z ≠ n−1, the one-dimensional approximate cut image generation means 7 receives the scan coordinates (x_i, y_i, z) pixel value q at the position corresponding to_{i, z}To extract. In this case, the one-dimensional approximate cut image generation means 7 first calculates the frame address information adr from the value of z._zAnd the encoded frame image FC of the z-th frame_zAccess the start address of. The encoded frame image FC of the zth frame_zInterval length l_{z, j}(J = 0,…, M_z-1) are sequentially accumulated, and the pixel value a corresponding to the number j when the accumulated value becomes i or more_{z, j}And get this into scan coordinates (x_i, y_i, z) pixel value q at the position corresponding to_{i, z}And it is sufficient.
On the other hand, when z = n−1, the one-dimensional approximate cut image generation means 7 reads the scan coordinates (x_i, y_i, z) (x_i, y_i) Pixel value q_{i, z}To extract.
[0066]
(3) Increase the value of z by 1.
[0067]
(4) The operations of (1) to (3) are repeated until z = n−1.
[0068]
(5) Next, i is incremented by 1, and the operations (1) to (3) are repeated until z = 0. At this time, the value of z is decreased by 1 in (3).
[0069]
(6) If the value of i is N_xN_yRepeat until -1.
[0070]
Then, in parallel with the encoding process of the one-dimensional approximate cut image generation means 7, the second piecewise linear approximation means 8 performs the piecewise linear approximation process based on the sequentially obtained one-dimensional approximate cut images GL ′. The encoded cut image GC generated as a result is stored in the encoded cut image storage means 9.
[0071]
In this way, the one-dimensional approximate cut image generation means 7 encodes the encoded frame image {FC stored in the encoded frame image storage means 6._z; z = 0,…, N_z-2} without decoding one-dimensional approximate cut image GL '= {q_0,0,… Q_{0, Nz-1}, q_{1, Nz-1},…, Q_1,0, ..., q_NxNy-1,0} Is generated, the memory capacity required for the encoding process can be greatly reduced. The one-dimensional approximate cut image GL ′ is encoded by the second piecewise linear approximation means 8 every time it is sequentially generated, and the data amount is compressed. Then, by storing the encoded cut image GC obtained by this encoding process in the encoded cut image storage means 9, the memory capacity required for the encoding process can be further suppressed.
[0072]
In the piecewise linear approximation process, the one-dimensional residual cut image generation unit 10 every time one section is determined, the pixel value of each pixel of the one-dimensional approximate cut image GL ′ in the section and the encoded cut. A one-dimensional residual cut image GRL that is a difference from the pixel value of the image GC is generated and stored in the residual cut image storage unit 12.
[0073]
Each time the process of step S8 is completed for one block, the transform encoding means 12 stores N stored in the residual cut image storage means 12._zThe one-dimensional residual cut image GRL for one block of the frame is subjected to transform coding for each frame and stored in the encoded residual cut image storage means 13 (S9). Here, transform coding is performed using a technique such as DCT (Discrete Cosine Transform) or KL transform that is widely used in general. Thus, the transform coding means 12 performs successive transform coding in units of blocks, so that the storage capacity of the residual cut image storage means 12 is NB._x× NB_y× N_zIt is sufficient if there are pixels. The encoded residual cut image GC subjected to transform coding has a small amount of data because redundancy due to intra-frame correlation is removed. Therefore, the capacity of the encoded residual cut image storage means 13 can be reduced.
[0074]
When all the above processes are completed, the output unit 14 outputs the encoded cut image GC and the encoded residual cut image GRC as encoded 3D images (S10), and ends the process.
[0075]
As described above, according to the image encoding device according to the present embodiment, it is possible to encode a three-dimensional image with a small memory capacity. In addition, by using the piecewise linear approximation process in image encoding, encoding is sequentially performed in the order in which the images are read, so that subsequent processes can be performed in parallel. Therefore, the processing is speeded up.
[0076]
【The invention's effect】
As described above, according to the present invention, it is possible to encode a three-dimensional image at a high speed and with a high compression rate using a small capacity memory. Therefore, it is possible to provide an image encoding technique suitable for encoding a three-dimensional image such as a moving image in a device having a limited memory capacity such as a mobile electronic device such as a mobile phone or a digital camera.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image encoding device according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing an overall flow of an image encoding method according to the first embodiment of the present invention.
FIG. 3 is a diagram illustrating a scanning order stored in a first lookup table 4a.
FIG. 4 shows an encoded frame image FC stored in the encoded frame image storage means 6._z(Z∈ {0,…, N_z -2}).
FIG. 5 is a diagram illustrating another example of the scanning order that can be stored in the first lookup table 4a.
FIG. 6 is a diagram showing the scanning order stored in the second lookup table 7a.
[Explanation of symbols]
1 Image encoding device
2 Image input means
3 frame memory
4 One-dimensional frame image generation means
4a First lookup table
5 First piecewise linear approximation means
6 Encoded frame image storage means
7 One-dimensional approximate cut image generation means
7a Second lookup table
8 Second piecewise linear approximation means
9 Encoded cut image storage means
10 One-dimensional residual cut image generation means
11 Residual cut image storage means
12 Transform coding means
13 Coding residual cut image storage means
14 Output means

Claims

A frame memory for storing frame images;
Encoded frame image storage means for storing the encoded frame image;
Of the frame images constituting the three-dimensional original cut image composed of N _z (N _z ≧ 2) frames, each of the N _z −1 frame images excluding the end frame image is stored in the frame memory one frame at a time. A one-dimensionalized frame image generating means for generating N _z −1 one-dimensional frame images by scanning along the predetermined plane filling curve with respect to the read frame image,
In each of the one-dimensional frame images, the sum of squares of the difference between the pixel value of each pixel in one section and the average value of the pixel values of all pixels in the section is less than or equal to a predetermined threshold value. First segmented line approximation means for dividing the one-dimensional frame image into sections, generating a coded frame image composed of section length and average value information of each section, and storing the coded frame image in the coded frame image storage means ;
N _z −1 scans an approximate cut image consisting of the encoded frame image and finally the end frame image read into the frame memory along a predetermined three-dimensional filling curve to make it one-dimensional One-dimensional approximate cut image generation means for generating an approximate cut image;
In the one-dimensional approximate cut image, the sum of squares of the difference between the pixel value of each pixel in one section and the average value of the pixel values of all pixels in the section is less than or equal to a predetermined threshold value. A second piecewise linear approximation unit that divides the one-dimensional approximate cut image into sections and generates a coded cut image that includes section length and average value information of each section;
An image encoding device comprising:

A one-dimensional residual cut image generating means for generating a one-dimensional residual cut image that is a difference between a pixel value of each pixel of the one-dimensional approximate cut image and a pixel value of each pixel of the encoded cut image; ,
Transform encoding means for generating an encoded residual cut image by transform encoding the one-dimensional residual cut image;
The image encoding apparatus according to claim 1, further comprising:

One-dimensional reduction frame image generating means, N _z sheets (N _z ≧ 2) of the frame images constituting a three-dimensional original shot image consisting of frames, N _z -1 frame images excluding the frame image of the end The first segmented line type approximation means reads the frame image one by one sequentially into the frame memory, and scans the read frame image along a predetermined plane filling curve. For sequentially obtained one-dimensional frame images,
a. Find the value obtained by summing the value of the square of the difference between the pixel value of each pixel in the section and the average value of the pixels in the section for all the pixels in the section,
b. When the total value exceeds a predetermined threshold, the pixel of the point before exceeding the threshold is determined as the end point of the section, and the pixel of the point exceeding the threshold is set as the start point of the new section.
By performing the operation, the one-dimensional frame image is divided into sections to generate an encoded frame image composed of the section length and average value information of each section, and this is stored in the encoded frame image storage means. 1 step,
Further, the one-dimensional approximate cut image generation means is based on the N _z −1 encoded frame images stored in the encoded frame image storage means and the terminal frame image that is finally read into the frame memory. In addition to extracting a pixel corresponding to a scanning point along a predetermined three-dimensional filling curve to generate a one-dimensional approximation cut image, in parallel, the second piecewise linear approximation means includes the one-dimensional approximation cut For the image,
a. Find the value obtained by summing the value of the square of the difference between the pixel value of each pixel in the section and the average value of the pixels in the section for all the pixels in the section,
b. When the total value exceeds a predetermined threshold, the pixel of the point before exceeding the threshold is determined as the end point of the section, and the pixel of the point exceeding the threshold is set as the start point of the new section.
A second step of dividing the one-dimensionalized approximate cut image into segments and generating an encoded cut image including information on the section length and the average value of each section,
An image encoding method characterized by comprising:

In the second step, when the second piecewise linear approximation means determines the end point of one section for the one-dimensionalized approximate cut image, the one-dimensional residual cut image generation means For each pixel of the one-dimensionalized approximate cut image, the residual between the pixel value and the average value of the pixel values of each pixel in the section is calculated and stored in the residual cut image storage means,
After completion of the second step, the transform coding means extracts the residual at the position corresponding to each of the N _z frames from the residual cut image storage means, and the residual in each frame. 4. The image encoding method according to claim 3, further comprising a third step of transform encoding.

The program which makes a computer perform the image coding method of Claim 3 or 4 by reading and running to a computer.