JP3828640B2 - 画像信号変換方法 - Google Patents
画像信号変換方法 Download PDFInfo
- Publication number
- JP3828640B2 JP3828640B2 JP23187397A JP23187397A JP3828640B2 JP 3828640 B2 JP3828640 B2 JP 3828640B2 JP 23187397 A JP23187397 A JP 23187397A JP 23187397 A JP23187397 A JP 23187397A JP 3828640 B2 JP3828640 B2 JP 3828640B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- coefficients
- linear transformation
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
【０００２】
本発明は任意の形状のセグメント上の画像信号を線形変換する方法に関するものである。
【０００３】
ここで画像信号は、二次元（または三次元）デジタル信号を意味する。セグメントは問題となるオブジェクトを定義する画像領域の幾何学的形状を意味する。本発明はより具体的には符号化のための任意の形状と大きさのセグメント上の画像信号の線形変換方法に関するものである。
【０００４】
本発明は線形変換による画像の符号化に応用される。
【０００５】
当該方法は、オブジェクト指向符号化器と呼ばれる、画像符号化器の新しいグループの開発の一環としてなされたものである。これは符号化のための新しい取り組みであり、その骨子はオーディオ・ビジュアルシーンを、運動しているオブジェクトの集合として表現することにある。これによってデジタル画像に結びつけられた新しい機能性を使用する道が開かれる。
【０００６】
【従来の技術及び発明が解決しようとする課題】
【０００７】
標準化されたデジタルビットレート縮小画像符号化システム（例えば、Ｐ×６４Ｋｂｉｔｓ／ｓでのビデオ符号化のためのＣＣＩＴＴの勧告Ｈ２６１）は符号化処理を受ける（一般的に大きさが８×８の）正方形のブロックのまとまりにデジタル画像を切断することに基づいている。この公式化は剛的で、それぞれのブロックの内容、例えば、輪郭の有無やブロック内部の輝度の著しい変動を考慮しない。
【０００８】
画像信号の符号化は、信号のエネルギーを集中してその成分を非相関化させることを目的とする、直交線形変換の第一段階を一般的に含んでいる。
【０００９】
一般的に使用された線形変換は、以下にＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と称する、離散コサイン変換であり、単純かつ効果的なアルゴリズムで使用可能であり、したがって、実時間での適用を可能にする。ＤＣＴを採用したのは、強い相関のある、すなわちその相関係数が１に近い分離可能な一次元のマルコフ過程によって信号を表すことができるとき最大に近い非相関化を得ることを可能にするからである。
【００１０】
しかしながら、多数の応用において、見つけるべき、記述すべき、そして伝達すべきオブジェクトで画像を表現することがきわめて有利である。
【００１１】
この脈絡においてオブジェクトは、物理的対象物、あるいはあらかじめ定義された関心のある区域、あるいは単に一つまたは複数個の基準に照らして均質性特性を示す領域を表すことのできる、任意の形状と大きさの、画像の領域として定義される。
【００１２】
オブジェクトはその形状とそのテクスチャによって記述できる。
【００１３】
数人の著者が最近一方では形状の、他方ではオブジェクトのテクスチャの符号化に適合した方法の研究に注力している。
【００１４】
これらの方法に使用される異なる過程を図示する図１を参照することができる。
【００１５】
形状の処理には符号化、伝達、受信時の復号と表示が含まれる。
【００１６】
テクスチャの処理には直交変換、量子化とエントロピー符号化、伝達、逆量子化を伴うエントロピー復号、テクスチャの再構成のための逆変換が含まれる。
【００１７】
あらかじめ定められた大きさの正方形のブロック上の線形変換方法はテクスチャの符号化のために任意のセグメントのオブジェクトには直接適用されない。
【００１８】
したがって、本発明は任意の形状のセグメントを有するオブジェクト上のテクスチャ符号化のための線形変換の新規な方法に関するものである。
【００１９】
この問題に関する最近の研究が数人の著者によって発表された。提案された方法は、適応法と補間法の二つの種類に分けられる。
【００２０】
・適応法は直交線形変換をセグメントの幾何学的形状に適応させるものである。
【００２１】
セグメントに対する Karhunen-Loeve の変換の適応(S.F.CHANG AND D.G.MESSERSCHMIDT,Transform Coding of Arbitrarily Shaped Image Segments,Proceedings of ACM Multimedia, Anaheim,CA,USA,pp 83-90,Aug.1993)と GILGE,T.ENGELHARDT AND R.MEHLAN が提案したセグメントに対する直交ベースの生成方法(Coding of Arbitrarily Shaped Image Segments Based on a Generalized Orthogonal Transform, Signal Processing : Image Communication 1,pp 153-180,1989)が挙げられる。
【００２２】
当該方法はいわゆる Gram-Schmidtの算術的方法によって、セグメント上の自由な、どんなグループのベクトルも正規直交化することを推奨している。しかしながらこの手順は計算の観点から非常に重いものであり、したがって、実時間での応用には適していない。GILGEの仕事はセグメントに対する直交ベースの迅速な生成に関するいくつかの研究のきっかけになった([M. CERMELLI, F LAVAGETTO AND M. PAMPOLINI, A fast Algorithm for Region-Oriented Texture Coding, ICASSP 1994, pp 285-288],[W.PHILIPS, A Fast Algorithm for the Generation of Orthogonal Base Functions on an Arbitrarily Shaped Region, Proceeding of ICASSP 1992, vol.3, pp 421-424, Mar. 1992, San Fransisco],[W.PHILIPS AND C. CHRISTOPOULOS,Fast Segmented Image Coding using Weakly Separable Bases, Proceedings of ICASSP 1194, vol. 5, pp 345-348])。
【００２３】
・補間法は信号を、一般的に符号化されるセグメントに外接した長方形である、規則的なセグメントに延長するものである。
【００２４】
これらの方法は、既存の線形変換を規則的なセグメント（長方形または正方形）に適用することを可能にし、したがって、迅速かつ使用が容易である。この区分の方法において、もっともよく知られているのは H. H.CHEN, M.R. CINVALAR AND B.G. HASKELL, A Block Transform Coder for Arbitrarily Shaped Image Segments, International Conference on Image Processing (ICIP) 1994, pp 85-89 に提案されている凸型の集合の上の投影に基づく反復法である。
【００２５】
もっと単純な他の方法も試験された、例えば、"zero-padding"（区域を０で充填する）、"mirroring"（信号をオブジェクトの縁に反射させる）あるいは形態膨張([S.F. CHANG AND D.G. MESSERSCHMIDT, Transform Coding of Arbitrarily Shaped Image Segments, Proceedings of ACM Multimedia, Anaheim, CA, USA, pp 83-90, Aug. 1993),[H. H.CHEN, M.R. CHINVALAR AND B.G. HASKELL, A Block Transform Coder for Arbitrarily Shaped Image Segments, International Conference on Image Processing (ICIP) 1994, pp 85-89])などである。
【００２６】
上記の二つの種類の方法にはそれぞれ固有の長所と欠点がある。
【００２７】
・適応法は一切の量子化が実施されないときセグメントの点と同じ数の係数で完全再構成されるという長所がある。それらは線形変換による符号化の理論を任意の形状のセグメントに延長することを可能にする。反対に、それらは複雑性／計算時間の観点から一般的に重い。
【００２８】
・補間法は反対に容易で既存のものに適合した使用を提供するが、信号の中に新しい周波数を導入することに伴って人為結果を持ち込むおそれがある。
【００２９】
実際の応用においては、したがって、上記の二つの区分の方法の長所、すなわち迅速でセグメントに適合した線形変換を組み合わせることが有利であろう。D1(M.BI, W.K.CHAM AND Z.H.ZHENG, Discrete Cosine Transform on Irregular Shape for Image Coding, IEEE Tencon 93 Proceedings, Beijing, pp 402-405)およびD2(T.SIKORA AND B.MAKAI, Shape Adaptive DCT for Generic Coding of Video, IEEE Transaction on Circuits and Systems for Video Techonology, vol.5, No.1, pp 59-62, Feb. 1995)の研究は標準的直交変換の行・列の分離可能性との類似に基づき、セグメントの行と列に対して別個にＤＣＴ標準的直交変換を適用することを提案している。この分離可能性は二つの一方方向の変換を連続して適用することを可能にする。
【００３０】
Ｄ１において著者は、第一の変換から得られた係数間の相関を分析する段階を提案しており、それによって当該方法はかなり複雑になる。Ｄ２では、変換の再グループ化、したがって、反復は自動的に行われる：Ｄ２(Shape Adapted DCT-SADCT)によって提案された方法は、実行の迅速性の長所の組み合わせに役立っている。しかしながらＳＡＤＣＴは柔軟性を持たず、またとくにセグメントに、あるいはセグメント上の信号の特性に正確に適合することができない。
【００３１】
【課題を解決するための手段】
【００３２】
本発明は上記二つの種類の方法の利点を組み合わせ、したがって、セグメントへの適合性と計算の迅速性と使いやすさを備えている方法を対象とする。
【００３３】
このように、提案した方法の実施は複雑でなく、その作用は効率的である。当該方法は既存の方法でも実施可能である、なぜならそれは既知のすでに最適化された変換を使用するからである。当該方法はセグメントに適合し、セグメント上の信号の二次元相関を計算に入れることを可能にする。当該方法はセグメントに適合し、セグメント上の信号の二次元相関を計算に入れることを可能にする。理論的利得で見れば、提案された方法はイントラモードに対応する、信号の自己相関関数についての通常の特定の仮定の下で試験された、信号の他の全ての独立した変換よりも優れた結果を示している。実用的観点から、当該方法は同じように単純で試験済みの方法に比較しても利得をもたらす。その結果はもっと複雑な方法の結果に近い。
【００３４】
本発明は規則的なサブセグメントに分割し、つづいてそれぞれのセグメントに直交線形変換を適用し、最後に変換された空間内で線形変換を適用することによって任意の形状のセグメント上の画像信号を線形変換する方法を提案する。
【００３５】
オブジェクト抽出段階が完了したと仮定され、その段階の後で当該方法が適用される。
【００３６】
したがって、本発明はより具体的には、以下の過程から成ることを主たる特徴とする、任意の形状のセグメント上の画像信号を線形変換する方法を対象とする：
【００３７】
・セグメントの規則的形状（長方形、正方形または線形）のサブセグメントへの分割過程と、
【００３８】
・それぞれのサブセグメントに対する直交線形変換の適用過程と、
【００３９】
・該直交線形変換から得られた係数を所定の基準に従って係数からなるクラスへと再グループ化する過程と、
【００４０】
・形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程。
【００４１】
実際、初期変換過程の後で係数の間に強い相関が残っている場合、線形直交変換はよく選択された係数の集合に対して適用される。
【００４２】
サブセグメントのそれぞれに対する標準的直交線形変換の使用（例えば、ＤＣＴを使用することができる）は有利である。この分割は長方形に対する符号化の標準的仮定の枠内でＤＣＴなどの変換の非相関化とエネルギーの集中能力を利用することを可能にする。これらの仮説は一次の、垂直および水平方向に強く相関した分離可能な マルコフ過程によって信号をモデル化することにある。このモデル化は符号化される区域がグレーレベルの均質性の基準による分割から得られたものである場合にももちろん有効である。
【００４３】
もう一つ別の特徴によれば、再グループ化過程には二次元の空間から、係数を成分として有するベクトルによって表される一次元空間へと移行することから成る中間過程が含まれている。
【００４４】
【発明の実施の形態】
【００４５】
ある実施態様によれば、中間過程はジグザグに係数を読み取ることよって実現される。 別の特徴によれば、再グループ化過程はそれぞれのサブセグメントにおける周波数がゼロの係数をサブセグメントの数に等しい数の成分を有するベクトルに再グループ化することから成る。
【００４６】
別の実施態様によれば、再グループ化過程はジグザグの読取によって定義された読取順番が同じである係数同士をまとめることから成る。
【００４７】
別の実施態様によれば、再グループ化過程はあらかじめ定義された周波数空間内の距離である、距離的に近い係数をまとめることから成る。
【００４８】
別の特徴によれば、当該方法は、さらに、所定の順序に従った係数の最終的読取を実行する過程から成る。
【００４９】
別の特徴によれば、所定の順序とは、係数からなるクラスを行ベクトルで表現した場合の該行ベクトルに含まれる成分の並び順を表す、クラス毎に定まる「列」の数が小さい順であり、ＣＣＩＴＴの勧告Ｈ２６１内のジグザグの係数読取との類似による可変長の符号化の場合に有利である。
【００５０】
別の特徴によれば、サブセグメントに適用された直交線形変換は離散コサイン変換である。
【００５１】
好適には、サブセグメントに対する直交線形変換の適用過程で用いたものと同じ直交線形変換を用いて、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程を実施する。
【００５２】
ある実施態様によれば、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程は正規化変換行列によって実施される。
【００５３】
このように、本発明によれば、任意の形のセグメントの変換による符号化の問題は新しい形で措定される。公式化は既知の手段に基づいているが、今日までに既知であり、上記の長所によって問題を解くのに貢献する各種の過程の連鎖によって表される新しい取り組みによって本出願に示した他の方法とは異なっている。
【００５４】
くわえて、再グループ化の過程は今まで提案された変数のブロックによる一切の処理と比べて独創的である。この過程はセグメント上に残った相関の利用を、したがって、よりよい非相関化とそれぞれのセグメントについてのエネルギーのよりよい集中に達することを可能にする。長方形のセグメント上のＤＣＴ二次元（２Ｄ）の第一の過程から得られた係数のこの種の再グループ化はこれまで使用されなかった。この演算は開始の長方形の大きさが変動する限りにおいて自明ではなく、先験的に自然ではない。さらに、正規化が必要になることがある。くわえて、大きさが変動するブロックに対する独立した変換に対して結果が改善されることも示される。
【００５５】
【実施例】
【００５６】
本発明のその他の特徴と利点は付属の図面を参照して、参考のための全く制限的でない例としてなされた説明を読むことによって明らかになるだろう。
【００５７】
図１は［オブジェクトの検出が含まれていない］任意の形のオブジェクトの処理の一般的原理図である。
図２は可能な使用の例を含む、提案された符号化の方法の完全な図式である。
図３はセグメント内に内接する最大面積の長方形を求めるアルゴリズムを適用して所与のセグメントを敷き詰めた例である。
図４は変換した空間内の係数の読取に適合させた、ジグザグの読取順序に従った、２Ｄ長方形セグメントの１Ｄセグメントへの移行の例を示している。
図５はジグザグの読取のための標準的経路の二つのタイプを表している。
図６は係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程のための係数のまとめ方の３つのアルゴリズムを模式的に示している。この例は２つのサブセグメントだけのものであるが、任意の数のサブセグメントに容易に一般化できる。
図７は、変換後のそれらの、係数からなるクラスを行ベクトルで表現した場合の該行ベクトルに含まれる成分の並び順を表す「列」による、変換された空間内の係数の最終的読取の原理を表している。
図８は連続成分を、すなわち周波数がゼロの係数をまとめることにより形成されたクラスに対してだけ線形変換が適用された特定の例を示している。
図９は地／人物の観点からテレビ電話画像の表示の場合のセグメントの符号化のための当該方法の応用の具体例を示している。
【００５８】
分割、直交線形変換、再グループ化、および線形変換の適用の過程はいわゆる線形変換に関するものであるが、最終的読取過程は前記線形変換によって得られたエネルギーの集中の利用に関するものである。
【００５９】
この過程は伝達する情報のエントロピーに基づく効果的な符号化を可能にすることを目的とする。この変換後に得られた係数全体はブロックによる信号処理の場合と同様にスカラー量子化によって量子化できる。量子化は係数全体に対して均一な方法で実施できる。これは流量／ひずみで結果を変調させることができる：量子化のピッチを増やすほど、ひずみが増大し、流量が減らされる。
【００６０】
実際には、量子化の段階は一切の符号化方式の場合に実現される。
【００６１】
提案された方法は符号化される信号の二次元相関を考慮に入れることを可能にする。
【００６２】
正規の場合、当該方法によって単純なＤＣＴに到達し（ＤＣＴを初期変換の基礎に取った場合）、それが今まで最近の画像符号化規格の全てにおいて採用されてきた。
【００６３】
当該方法は計算の迅速性とセグメントへの適合性を有利に組み合わせることができる。事実、正規のセグメントに対するＤＣＴによる変換は迅速で効率的である。提案された方法は既存の符号化方式に容易に組み込むことができる。
【００６４】
規則的なサブセグメントに分割することによってセグメントの幾何学的形状と同時に符号化される信号の特性を考慮に入れることが可能になる。単純な分割のアルゴリズムは計算の過負荷が少ないことを示している。可能な分割の例としては、図３に示したようなセグメントに内接する最大面積の長方形のサブセグメントを再帰的に求めることである。可能な分割のもう一つの例は線形サブセグメント（例えば列）に分割することである。
【００６５】
本発明の別の側面によれば、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程はセグメントに対する信号のエネルギーを集中するために選択された係数の集合に対して実施される。この過程も柔軟で、セグメントの幾何学的形状と信号に対する仮説に応じて調整可能である。とくに連続成分全体に対して線形変換を適用する必要がある。それぞれのサブセグメント上の「連続成分」とはそれぞれのサブセグメント上の周波数ゼロでの信号のエネルギーを表している。これらの連続成分は相関がある、したがって、線形変換の適用過程はよりよい非相関化とエネルギーのよりよい集中を可能にする。
【００６６】
最終的に変換された空間内の係数の読取順序は効率的な符号化のために線形変換過程を（統計的に）最大限に利用するために選択される。線形変換はエネルギーを集中させ、係数を非相関化することを目的とする。図４に示したような、規則的なブロック上のジグザグの係数読取の理由は、水平と垂直の二方向で、信号が低い周波数でより多くのエネルギーを持つと仮定したからである。ジグザグの読取はしたがって、重要度による係数の読取に対応する。
【００６７】
任意のセグメントについて上記に提案された線形変換の場合、エネルギーの集中も利用される。 係数の読取順序はしたがって、図７に示したごとく、実施された変換によるそれらの重要度に適合している。
【００６８】
上記の例において、紹介された方法はオブジェクト内部の符号化だけを対象とし、輪郭は復号器に既知であると仮定され、したがって、適切な既知の一切の方法によって前もって符号化され、伝達される。図１に示したごとく、選択された実施がいかなるものであれ、量子化された係数全体が最低限伝達される。もっと柔軟性を増すために、必要に応じて分割方法、適用された基礎変換または係数の読取順序も伝達することができる。
【００６９】
当該方法の適用例は図９に示したような地／人物で表されるテレビ電話のシーケンスの符号化である。人物の輪郭は既知の一切の適切な方法によって検出され、地は固定していると仮定される。
【００７０】
したがって、人物だけを符号化することになる。例えば、８×８のブロックよって形成される長方形の格子を可能なセグメントの大きさを制限するように符号化される画像の上に重ねる。
【００７１】
地の一部と人物の一部を同時に含むブロックだけがつぎに適合させた方法によって符号化される。かかる方式の長所は、２から８に変化するＰについて、寸法Ｐの一次元変換行列を、符号化器についても復号器についても、計算しておくだけで十分なことである。符号化器についても復号器についても、必要になるメモリの余剰はこのとき非常に小さくなる。
【００７２】
本発明に関わるテクスチャの符号化のための任意の形状のセグメント上の画像信号の変換方法は、直交するか否かを問わず、その変換行列が、それぞれが符号化方法の過程に対応する複数個の変換行列の合成（乗法）である線形変換として理論的に記述できる。 当該方法の第一の過程は規則的なサブセグメントの集合として与えられたセグメントの分割である。これが二次元の敷き詰めである。
【００７３】
実例によれば、敷き詰めは図３に示されたようなセグメントに内接する最大表面（面積）の長方形を再帰的に探索することによって実現される。
【００７４】
別の例によれば、移行はセグメントを線形サブセグメントの集合に切断することによって得られる。
【００７５】
ビデオ走査の順にセグメントの点の読取によって得られた１ＤベクトルをＸで表したとき、この過程はベクトルＸの成分を置換すること、したがって、このベクトルに交換の行列Ｐ1を乗じることに還元される。したがって、次式が得られる：
【００７６】
・Ｘ1＝Ｐ1Ｘ
【００７７】
行列Ｐ1はセグメントと適用した分割方法に依存する。
【００７８】
このときベクトルＸ1は規則的なサブセグメントによって整序された点を含んでいる。
【００７９】
Ｍ行、Ｎ列の長方形上の正規直交変換行列（例えば、ＤＣＴ）をＤMNで表したとき、当該方法の過程２は新しいベクトルＸ2に帰着する：
【００８０】
【式１】
【００８１】
ここでＭiとＮiはi番目のサブセグメントの行と列の数をそれぞれ表し、ａiは所定の正規化定数である。［Ａ］はブロック単位の直交行列である。
【００８２】
この第一の変後３の後の係数の再編の過程３もＸ２の成分の置換に、したがって、セグメントの幾何学的形状に依存する置換行列Ｐ２による乗法に帰着し、
【００８３】
・Ｘ3＝Ｐ1Ｘ2
【００８４】
この過程は重要である。これには中間段階が含まれるが、それは図４に示すごとく、それに対して線形変換が適用される係数のベクトル（１Ｄ）で表される一次元空間への、二次元空間からの移行である。
【００８５】
係数を所与のサブセグメントに移す（したがって、２Ｄから１Ｄへの移行）もっとも単純で直接的な方法は、図４に示すごとく、係数をジグザグに読み取ることである。ジグザグ（図５）の方向の選択は無関係である。
【００８６】
本発明の別の特徴によれば、図６に示すごとく、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程のために、係数をベクトルに再グループ化するいくつかの方法が提案される。
【００８７】
３つの異なるタイプの再グループ化が提案される：
【００８８】
・第一の再グループ化は、図６に示したような、それぞれのサブセグメントにおける周波数がゼロの係数の、サブセグメントの数に等しい数の成分を有するベクトルへの再グループ化である。
【００８９】
・もう一つ別の可能性は、図６Ｂに示すごとく、先立つジグザグ読取における読取順番が同じである係数同士を再グループ化することである。つぎに、それぞれのサブセグメントから得られた所与の読取順番の全ての係数を含むベクトルに対して線形変換を適用する。
【００９０】
・最後に、可能な第三の実施は係数の集合をまとめて周波数空間内の距離を決め、この距離の意味で近い係数をまとめることから成る。
【００９１】
最後に、次の過程は再グループ化された係数の部分集合に対する線形変換の過程であり、過程２との類似によって、次のように書ける過程である：
【００９２】
【式２】
【００９３】
ここでＴＭは大きさがＭのベクトル１Ｄについて過程２（例えば、ＤＣＴ）と同じ段階に対応する、線形変換の行列（Ｍ×Ｍ）であるか、恒等変換である。
【００９４】
係数のジグザグ型の読取過程は変換に含まれていない。
【００９５】
したがって、提案された変換は線形変換として記述可能であり、それぞれのセグメントについてその行列を明らかに計算することができる：
【００９６】
・Ｙ＝ＴＸ
・Ｔ＝ＢＰ2ＡＰ1
【００９７】
行列ＡとＢはブロック単位で直交し、行列Ｐiは置換行列である。それによって最終行列Ｔは一切の算術計算なしに反転可能になる。
【００９８】
ここで重要なのは、この理論的公式化は提案された方法の研究と理論的有効化にのみ有益であることである。変換行列はオブジェクトの形状を知るだけで符号化器についても復号器についても動的に計算できる。変換の行列は収集されたり伝達されるものではない。この点については図１を参照することができる。
【００９９】
行列Ｔは全ての正規化係数ａiとｂiが１に等しい特殊な場合に正規直交する。
【０１００】
線形変換の適用の性能を向上させるために、第一の過程において、標準ＤＣＴ（すなわち正規直交）行列ではなく、正規化した変換行列を適用することができる。これによってこの第一の過程の後のいくつかの係数の相関、またとくにそれぞれのサブセグメントの連続成分の間の相関を増すことができる。
【０１０１】
第一の過程についての相関係数の例は：
【０１０２】
【式３】
【０１０３】
【式４】
【０１０４】
Ｋ＝セグメントの点の数
【０１０５】
このとき量子化と符号化のための係数読取順序を決定しなければならない。係数は最後の変換の後のそれらの列によって再グループ化される。図７の図式に従って、列１の全ての係数を、ついで列２の全ての係数を読み出す。
【０１０６】
当該方法は図８に模式的に示した次の変型によって試験した：
【０１０７】
・最大の大きさの長方形のサブセグメントへの再帰的分割、
【０１０８】
・上記の正規化係数による連続成分に対する線形変換の適用。
【０１０９】
この試験は当該方法が理論的符号化利得の面で類似の迅速変換と比較して優れていることを示した。
【０１１０】
提案された方法はどんなタイプの領域の符号化にも使用できる。
【０１１１】
内部（ｉｎｔｒａ）モードで、分割された領域は、例えばグレーレベルの小さな変動などの、所与の均質性の基準について自動的分割から得ることができる。
【０１１２】
相互（ｉｎｔｅｒ）モードでは、符号化される区域は運動の補正が十分でないことが分かった区域とすることができる。「オブジェクト」に基づく符号化器において、運動の補正は領域ごとに行われ、したがって、予想された信号が初期信号に十分に近くない区域はそれだけいっそう任意の形状となるだろう。
【図面の簡単な説明】
【図１】 ［オブジェクトの検出が含まれていない］任意の形のオブジェクトの処理の一般的原理図である。
【図２】 可能な使用の例を含む、提案された符号化の方法の完全な図式である。
【図３】 セグメント内に内接する最大面積の長方形を求めるアルゴリズムを適用して所与のセグメントを敷き詰めた例である。
【図４】 変換した空間内の係数の読取に適合させた、ジグザグの読取順序に従った、２Ｄ長方形セグメントの１Ｄセグメントへの移行の例を示している。
【図５】 ジグザグの読取のための標準的経路の二つのタイプを表している。
【図６】 線形変換の適用のための係数のまとめの３つのアルゴリズムを模式的に示している。
【図７】 係数からなるクラスを行ベクトルで表現した場合の該行ベクトルに含まれる成分（係数）の並び順を表す「列」による、変換された空間内の係数の最終的読取の原理を表している。
【図８】 連続成分に対してだけ線形変換が適用された特定の例を示している。
【図９】 地／人物の観点からテレビ電話画像の表示の場合のセグメントの符号化のための当該方法の応用の具体例を示している。
【発明の属する技術分野】
【０００２】
本発明は任意の形状のセグメント上の画像信号を線形変換する方法に関するものである。
【０００３】
ここで画像信号は、二次元（または三次元）デジタル信号を意味する。セグメントは問題となるオブジェクトを定義する画像領域の幾何学的形状を意味する。本発明はより具体的には符号化のための任意の形状と大きさのセグメント上の画像信号の線形変換方法に関するものである。
【０００４】
本発明は線形変換による画像の符号化に応用される。
【０００５】
当該方法は、オブジェクト指向符号化器と呼ばれる、画像符号化器の新しいグループの開発の一環としてなされたものである。これは符号化のための新しい取り組みであり、その骨子はオーディオ・ビジュアルシーンを、運動しているオブジェクトの集合として表現することにある。これによってデジタル画像に結びつけられた新しい機能性を使用する道が開かれる。
【０００６】
【従来の技術及び発明が解決しようとする課題】
【０００７】
標準化されたデジタルビットレート縮小画像符号化システム（例えば、Ｐ×６４Ｋｂｉｔｓ／ｓでのビデオ符号化のためのＣＣＩＴＴの勧告Ｈ２６１）は符号化処理を受ける（一般的に大きさが８×８の）正方形のブロックのまとまりにデジタル画像を切断することに基づいている。この公式化は剛的で、それぞれのブロックの内容、例えば、輪郭の有無やブロック内部の輝度の著しい変動を考慮しない。
【０００８】
画像信号の符号化は、信号のエネルギーを集中してその成分を非相関化させることを目的とする、直交線形変換の第一段階を一般的に含んでいる。
【０００９】
一般的に使用された線形変換は、以下にＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と称する、離散コサイン変換であり、単純かつ効果的なアルゴリズムで使用可能であり、したがって、実時間での適用を可能にする。ＤＣＴを採用したのは、強い相関のある、すなわちその相関係数が１に近い分離可能な一次元のマルコフ過程によって信号を表すことができるとき最大に近い非相関化を得ることを可能にするからである。
【００１０】
しかしながら、多数の応用において、見つけるべき、記述すべき、そして伝達すべきオブジェクトで画像を表現することがきわめて有利である。
【００１１】
この脈絡においてオブジェクトは、物理的対象物、あるいはあらかじめ定義された関心のある区域、あるいは単に一つまたは複数個の基準に照らして均質性特性を示す領域を表すことのできる、任意の形状と大きさの、画像の領域として定義される。
【００１２】
オブジェクトはその形状とそのテクスチャによって記述できる。
【００１３】
数人の著者が最近一方では形状の、他方ではオブジェクトのテクスチャの符号化に適合した方法の研究に注力している。
【００１４】
これらの方法に使用される異なる過程を図示する図１を参照することができる。
【００１５】
形状の処理には符号化、伝達、受信時の復号と表示が含まれる。
【００１６】
テクスチャの処理には直交変換、量子化とエントロピー符号化、伝達、逆量子化を伴うエントロピー復号、テクスチャの再構成のための逆変換が含まれる。
【００１７】
あらかじめ定められた大きさの正方形のブロック上の線形変換方法はテクスチャの符号化のために任意のセグメントのオブジェクトには直接適用されない。
【００１８】
したがって、本発明は任意の形状のセグメントを有するオブジェクト上のテクスチャ符号化のための線形変換の新規な方法に関するものである。
【００１９】
この問題に関する最近の研究が数人の著者によって発表された。提案された方法は、適応法と補間法の二つの種類に分けられる。
【００２０】
・適応法は直交線形変換をセグメントの幾何学的形状に適応させるものである。
【００２１】
セグメントに対する Karhunen-Loeve の変換の適応(S.F.CHANG AND D.G.MESSERSCHMIDT,Transform Coding of Arbitrarily Shaped Image Segments,Proceedings of ACM Multimedia, Anaheim,CA,USA,pp 83-90,Aug.1993)と GILGE,T.ENGELHARDT AND R.MEHLAN が提案したセグメントに対する直交ベースの生成方法(Coding of Arbitrarily Shaped Image Segments Based on a Generalized Orthogonal Transform, Signal Processing : Image Communication 1,pp 153-180,1989)が挙げられる。
【００２２】
当該方法はいわゆる Gram-Schmidtの算術的方法によって、セグメント上の自由な、どんなグループのベクトルも正規直交化することを推奨している。しかしながらこの手順は計算の観点から非常に重いものであり、したがって、実時間での応用には適していない。GILGEの仕事はセグメントに対する直交ベースの迅速な生成に関するいくつかの研究のきっかけになった([M. CERMELLI, F LAVAGETTO AND M. PAMPOLINI, A fast Algorithm for Region-Oriented Texture Coding, ICASSP 1994, pp 285-288],[W.PHILIPS, A Fast Algorithm for the Generation of Orthogonal Base Functions on an Arbitrarily Shaped Region, Proceeding of ICASSP 1992, vol.3, pp 421-424, Mar. 1992, San Fransisco],[W.PHILIPS AND C. CHRISTOPOULOS,Fast Segmented Image Coding using Weakly Separable Bases, Proceedings of ICASSP 1194, vol. 5, pp 345-348])。
【００２３】
・補間法は信号を、一般的に符号化されるセグメントに外接した長方形である、規則的なセグメントに延長するものである。
【００２４】
これらの方法は、既存の線形変換を規則的なセグメント（長方形または正方形）に適用することを可能にし、したがって、迅速かつ使用が容易である。この区分の方法において、もっともよく知られているのは H. H.CHEN, M.R. CINVALAR AND B.G. HASKELL, A Block Transform Coder for Arbitrarily Shaped Image Segments, International Conference on Image Processing (ICIP) 1994, pp 85-89 に提案されている凸型の集合の上の投影に基づく反復法である。
【００２５】
もっと単純な他の方法も試験された、例えば、"zero-padding"（区域を０で充填する）、"mirroring"（信号をオブジェクトの縁に反射させる）あるいは形態膨張([S.F. CHANG AND D.G. MESSERSCHMIDT, Transform Coding of Arbitrarily Shaped Image Segments, Proceedings of ACM Multimedia, Anaheim, CA, USA, pp 83-90, Aug. 1993),[H. H.CHEN, M.R. CHINVALAR AND B.G. HASKELL, A Block Transform Coder for Arbitrarily Shaped Image Segments, International Conference on Image Processing (ICIP) 1994, pp 85-89])などである。
【００２６】
上記の二つの種類の方法にはそれぞれ固有の長所と欠点がある。
【００２７】
・適応法は一切の量子化が実施されないときセグメントの点と同じ数の係数で完全再構成されるという長所がある。それらは線形変換による符号化の理論を任意の形状のセグメントに延長することを可能にする。反対に、それらは複雑性／計算時間の観点から一般的に重い。
【００２８】
・補間法は反対に容易で既存のものに適合した使用を提供するが、信号の中に新しい周波数を導入することに伴って人為結果を持ち込むおそれがある。
【００２９】
実際の応用においては、したがって、上記の二つの区分の方法の長所、すなわち迅速でセグメントに適合した線形変換を組み合わせることが有利であろう。D1(M.BI, W.K.CHAM AND Z.H.ZHENG, Discrete Cosine Transform on Irregular Shape for Image Coding, IEEE Tencon 93 Proceedings, Beijing, pp 402-405)およびD2(T.SIKORA AND B.MAKAI, Shape Adaptive DCT for Generic Coding of Video, IEEE Transaction on Circuits and Systems for Video Techonology, vol.5, No.1, pp 59-62, Feb. 1995)の研究は標準的直交変換の行・列の分離可能性との類似に基づき、セグメントの行と列に対して別個にＤＣＴ標準的直交変換を適用することを提案している。この分離可能性は二つの一方方向の変換を連続して適用することを可能にする。
【００３０】
Ｄ１において著者は、第一の変換から得られた係数間の相関を分析する段階を提案しており、それによって当該方法はかなり複雑になる。Ｄ２では、変換の再グループ化、したがって、反復は自動的に行われる：Ｄ２(Shape Adapted DCT-SADCT)によって提案された方法は、実行の迅速性の長所の組み合わせに役立っている。しかしながらＳＡＤＣＴは柔軟性を持たず、またとくにセグメントに、あるいはセグメント上の信号の特性に正確に適合することができない。
【００３１】
【課題を解決するための手段】
【００３２】
本発明は上記二つの種類の方法の利点を組み合わせ、したがって、セグメントへの適合性と計算の迅速性と使いやすさを備えている方法を対象とする。
【００３３】
このように、提案した方法の実施は複雑でなく、その作用は効率的である。当該方法は既存の方法でも実施可能である、なぜならそれは既知のすでに最適化された変換を使用するからである。当該方法はセグメントに適合し、セグメント上の信号の二次元相関を計算に入れることを可能にする。当該方法はセグメントに適合し、セグメント上の信号の二次元相関を計算に入れることを可能にする。理論的利得で見れば、提案された方法はイントラモードに対応する、信号の自己相関関数についての通常の特定の仮定の下で試験された、信号の他の全ての独立した変換よりも優れた結果を示している。実用的観点から、当該方法は同じように単純で試験済みの方法に比較しても利得をもたらす。その結果はもっと複雑な方法の結果に近い。
【００３４】
本発明は規則的なサブセグメントに分割し、つづいてそれぞれのセグメントに直交線形変換を適用し、最後に変換された空間内で線形変換を適用することによって任意の形状のセグメント上の画像信号を線形変換する方法を提案する。
【００３５】
オブジェクト抽出段階が完了したと仮定され、その段階の後で当該方法が適用される。
【００３６】
したがって、本発明はより具体的には、以下の過程から成ることを主たる特徴とする、任意の形状のセグメント上の画像信号を線形変換する方法を対象とする：
【００３７】
・セグメントの規則的形状（長方形、正方形または線形）のサブセグメントへの分割過程と、
【００３８】
・それぞれのサブセグメントに対する直交線形変換の適用過程と、
【００３９】
・該直交線形変換から得られた係数を所定の基準に従って係数からなるクラスへと再グループ化する過程と、
【００４０】
・形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程。
【００４１】
実際、初期変換過程の後で係数の間に強い相関が残っている場合、線形直交変換はよく選択された係数の集合に対して適用される。
【００４２】
サブセグメントのそれぞれに対する標準的直交線形変換の使用（例えば、ＤＣＴを使用することができる）は有利である。この分割は長方形に対する符号化の標準的仮定の枠内でＤＣＴなどの変換の非相関化とエネルギーの集中能力を利用することを可能にする。これらの仮説は一次の、垂直および水平方向に強く相関した分離可能な マルコフ過程によって信号をモデル化することにある。このモデル化は符号化される区域がグレーレベルの均質性の基準による分割から得られたものである場合にももちろん有効である。
【００４３】
もう一つ別の特徴によれば、再グループ化過程には二次元の空間から、係数を成分として有するベクトルによって表される一次元空間へと移行することから成る中間過程が含まれている。
【００４４】
【発明の実施の形態】
【００４５】
ある実施態様によれば、中間過程はジグザグに係数を読み取ることよって実現される。 別の特徴によれば、再グループ化過程はそれぞれのサブセグメントにおける周波数がゼロの係数をサブセグメントの数に等しい数の成分を有するベクトルに再グループ化することから成る。
【００４６】
別の実施態様によれば、再グループ化過程はジグザグの読取によって定義された読取順番が同じである係数同士をまとめることから成る。
【００４７】
別の実施態様によれば、再グループ化過程はあらかじめ定義された周波数空間内の距離である、距離的に近い係数をまとめることから成る。
【００４８】
別の特徴によれば、当該方法は、さらに、所定の順序に従った係数の最終的読取を実行する過程から成る。
【００４９】
別の特徴によれば、所定の順序とは、係数からなるクラスを行ベクトルで表現した場合の該行ベクトルに含まれる成分の並び順を表す、クラス毎に定まる「列」の数が小さい順であり、ＣＣＩＴＴの勧告Ｈ２６１内のジグザグの係数読取との類似による可変長の符号化の場合に有利である。
【００５０】
別の特徴によれば、サブセグメントに適用された直交線形変換は離散コサイン変換である。
【００５１】
好適には、サブセグメントに対する直交線形変換の適用過程で用いたものと同じ直交線形変換を用いて、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程を実施する。
【００５２】
ある実施態様によれば、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程は正規化変換行列によって実施される。
【００５３】
このように、本発明によれば、任意の形のセグメントの変換による符号化の問題は新しい形で措定される。公式化は既知の手段に基づいているが、今日までに既知であり、上記の長所によって問題を解くのに貢献する各種の過程の連鎖によって表される新しい取り組みによって本出願に示した他の方法とは異なっている。
【００５４】
くわえて、再グループ化の過程は今まで提案された変数のブロックによる一切の処理と比べて独創的である。この過程はセグメント上に残った相関の利用を、したがって、よりよい非相関化とそれぞれのセグメントについてのエネルギーのよりよい集中に達することを可能にする。長方形のセグメント上のＤＣＴ二次元（２Ｄ）の第一の過程から得られた係数のこの種の再グループ化はこれまで使用されなかった。この演算は開始の長方形の大きさが変動する限りにおいて自明ではなく、先験的に自然ではない。さらに、正規化が必要になることがある。くわえて、大きさが変動するブロックに対する独立した変換に対して結果が改善されることも示される。
【００５５】
【実施例】
【００５６】
本発明のその他の特徴と利点は付属の図面を参照して、参考のための全く制限的でない例としてなされた説明を読むことによって明らかになるだろう。
【００５７】
図１は［オブジェクトの検出が含まれていない］任意の形のオブジェクトの処理の一般的原理図である。
図２は可能な使用の例を含む、提案された符号化の方法の完全な図式である。
図３はセグメント内に内接する最大面積の長方形を求めるアルゴリズムを適用して所与のセグメントを敷き詰めた例である。
図４は変換した空間内の係数の読取に適合させた、ジグザグの読取順序に従った、２Ｄ長方形セグメントの１Ｄセグメントへの移行の例を示している。
図５はジグザグの読取のための標準的経路の二つのタイプを表している。
図６は係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程のための係数のまとめ方の３つのアルゴリズムを模式的に示している。この例は２つのサブセグメントだけのものであるが、任意の数のサブセグメントに容易に一般化できる。
図７は、変換後のそれらの、係数からなるクラスを行ベクトルで表現した場合の該行ベクトルに含まれる成分の並び順を表す「列」による、変換された空間内の係数の最終的読取の原理を表している。
図８は連続成分を、すなわち周波数がゼロの係数をまとめることにより形成されたクラスに対してだけ線形変換が適用された特定の例を示している。
図９は地／人物の観点からテレビ電話画像の表示の場合のセグメントの符号化のための当該方法の応用の具体例を示している。
【００５８】
分割、直交線形変換、再グループ化、および線形変換の適用の過程はいわゆる線形変換に関するものであるが、最終的読取過程は前記線形変換によって得られたエネルギーの集中の利用に関するものである。
【００５９】
この過程は伝達する情報のエントロピーに基づく効果的な符号化を可能にすることを目的とする。この変換後に得られた係数全体はブロックによる信号処理の場合と同様にスカラー量子化によって量子化できる。量子化は係数全体に対して均一な方法で実施できる。これは流量／ひずみで結果を変調させることができる：量子化のピッチを増やすほど、ひずみが増大し、流量が減らされる。
【００６０】
実際には、量子化の段階は一切の符号化方式の場合に実現される。
【００６１】
提案された方法は符号化される信号の二次元相関を考慮に入れることを可能にする。
【００６２】
正規の場合、当該方法によって単純なＤＣＴに到達し（ＤＣＴを初期変換の基礎に取った場合）、それが今まで最近の画像符号化規格の全てにおいて採用されてきた。
【００６３】
当該方法は計算の迅速性とセグメントへの適合性を有利に組み合わせることができる。事実、正規のセグメントに対するＤＣＴによる変換は迅速で効率的である。提案された方法は既存の符号化方式に容易に組み込むことができる。
【００６４】
規則的なサブセグメントに分割することによってセグメントの幾何学的形状と同時に符号化される信号の特性を考慮に入れることが可能になる。単純な分割のアルゴリズムは計算の過負荷が少ないことを示している。可能な分割の例としては、図３に示したようなセグメントに内接する最大面積の長方形のサブセグメントを再帰的に求めることである。可能な分割のもう一つの例は線形サブセグメント（例えば列）に分割することである。
【００６５】
本発明の別の側面によれば、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程はセグメントに対する信号のエネルギーを集中するために選択された係数の集合に対して実施される。この過程も柔軟で、セグメントの幾何学的形状と信号に対する仮説に応じて調整可能である。とくに連続成分全体に対して線形変換を適用する必要がある。それぞれのサブセグメント上の「連続成分」とはそれぞれのサブセグメント上の周波数ゼロでの信号のエネルギーを表している。これらの連続成分は相関がある、したがって、線形変換の適用過程はよりよい非相関化とエネルギーのよりよい集中を可能にする。
【００６６】
最終的に変換された空間内の係数の読取順序は効率的な符号化のために線形変換過程を（統計的に）最大限に利用するために選択される。線形変換はエネルギーを集中させ、係数を非相関化することを目的とする。図４に示したような、規則的なブロック上のジグザグの係数読取の理由は、水平と垂直の二方向で、信号が低い周波数でより多くのエネルギーを持つと仮定したからである。ジグザグの読取はしたがって、重要度による係数の読取に対応する。
【００６７】
任意のセグメントについて上記に提案された線形変換の場合、エネルギーの集中も利用される。 係数の読取順序はしたがって、図７に示したごとく、実施された変換によるそれらの重要度に適合している。
【００６８】
上記の例において、紹介された方法はオブジェクト内部の符号化だけを対象とし、輪郭は復号器に既知であると仮定され、したがって、適切な既知の一切の方法によって前もって符号化され、伝達される。図１に示したごとく、選択された実施がいかなるものであれ、量子化された係数全体が最低限伝達される。もっと柔軟性を増すために、必要に応じて分割方法、適用された基礎変換または係数の読取順序も伝達することができる。
【００６９】
当該方法の適用例は図９に示したような地／人物で表されるテレビ電話のシーケンスの符号化である。人物の輪郭は既知の一切の適切な方法によって検出され、地は固定していると仮定される。
【００７０】
したがって、人物だけを符号化することになる。例えば、８×８のブロックよって形成される長方形の格子を可能なセグメントの大きさを制限するように符号化される画像の上に重ねる。
【００７１】
地の一部と人物の一部を同時に含むブロックだけがつぎに適合させた方法によって符号化される。かかる方式の長所は、２から８に変化するＰについて、寸法Ｐの一次元変換行列を、符号化器についても復号器についても、計算しておくだけで十分なことである。符号化器についても復号器についても、必要になるメモリの余剰はこのとき非常に小さくなる。
【００７２】
本発明に関わるテクスチャの符号化のための任意の形状のセグメント上の画像信号の変換方法は、直交するか否かを問わず、その変換行列が、それぞれが符号化方法の過程に対応する複数個の変換行列の合成（乗法）である線形変換として理論的に記述できる。 当該方法の第一の過程は規則的なサブセグメントの集合として与えられたセグメントの分割である。これが二次元の敷き詰めである。
【００７３】
実例によれば、敷き詰めは図３に示されたようなセグメントに内接する最大表面（面積）の長方形を再帰的に探索することによって実現される。
【００７４】
別の例によれば、移行はセグメントを線形サブセグメントの集合に切断することによって得られる。
【００７５】
ビデオ走査の順にセグメントの点の読取によって得られた１ＤベクトルをＸで表したとき、この過程はベクトルＸの成分を置換すること、したがって、このベクトルに交換の行列Ｐ1を乗じることに還元される。したがって、次式が得られる：
【００７６】
・Ｘ1＝Ｐ1Ｘ
【００７７】
行列Ｐ1はセグメントと適用した分割方法に依存する。
【００７８】
このときベクトルＸ1は規則的なサブセグメントによって整序された点を含んでいる。
【００７９】
Ｍ行、Ｎ列の長方形上の正規直交変換行列（例えば、ＤＣＴ）をＤMNで表したとき、当該方法の過程２は新しいベクトルＸ2に帰着する：
【００８０】
【式１】
ここでＭiとＮiはi番目のサブセグメントの行と列の数をそれぞれ表し、ａiは所定の正規化定数である。［Ａ］はブロック単位の直交行列である。
【００８２】
この第一の変後３の後の係数の再編の過程３もＸ２の成分の置換に、したがって、セグメントの幾何学的形状に依存する置換行列Ｐ２による乗法に帰着し、
【００８３】
・Ｘ3＝Ｐ1Ｘ2
【００８４】
この過程は重要である。これには中間段階が含まれるが、それは図４に示すごとく、それに対して線形変換が適用される係数のベクトル（１Ｄ）で表される一次元空間への、二次元空間からの移行である。
【００８５】
係数を所与のサブセグメントに移す（したがって、２Ｄから１Ｄへの移行）もっとも単純で直接的な方法は、図４に示すごとく、係数をジグザグに読み取ることである。ジグザグ（図５）の方向の選択は無関係である。
【００８６】
本発明の別の特徴によれば、図６に示すごとく、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程のために、係数をベクトルに再グループ化するいくつかの方法が提案される。
【００８７】
３つの異なるタイプの再グループ化が提案される：
【００８８】
・第一の再グループ化は、図６に示したような、それぞれのサブセグメントにおける周波数がゼロの係数の、サブセグメントの数に等しい数の成分を有するベクトルへの再グループ化である。
【００８９】
・もう一つ別の可能性は、図６Ｂに示すごとく、先立つジグザグ読取における読取順番が同じである係数同士を再グループ化することである。つぎに、それぞれのサブセグメントから得られた所与の読取順番の全ての係数を含むベクトルに対して線形変換を適用する。
【００９０】
・最後に、可能な第三の実施は係数の集合をまとめて周波数空間内の距離を決め、この距離の意味で近い係数をまとめることから成る。
【００９１】
最後に、次の過程は再グループ化された係数の部分集合に対する線形変換の過程であり、過程２との類似によって、次のように書ける過程である：
【００９２】
【式２】
ここでＴＭは大きさがＭのベクトル１Ｄについて過程２（例えば、ＤＣＴ）と同じ段階に対応する、線形変換の行列（Ｍ×Ｍ）であるか、恒等変換である。
【００９４】
係数のジグザグ型の読取過程は変換に含まれていない。
【００９５】
したがって、提案された変換は線形変換として記述可能であり、それぞれのセグメントについてその行列を明らかに計算することができる：
【００９６】
・Ｙ＝ＴＸ
・Ｔ＝ＢＰ2ＡＰ1
【００９７】
行列ＡとＢはブロック単位で直交し、行列Ｐiは置換行列である。それによって最終行列Ｔは一切の算術計算なしに反転可能になる。
【００９８】
ここで重要なのは、この理論的公式化は提案された方法の研究と理論的有効化にのみ有益であることである。変換行列はオブジェクトの形状を知るだけで符号化器についても復号器についても動的に計算できる。変換の行列は収集されたり伝達されるものではない。この点については図１を参照することができる。
【００９９】
行列Ｔは全ての正規化係数ａiとｂiが１に等しい特殊な場合に正規直交する。
【０１００】
線形変換の適用の性能を向上させるために、第一の過程において、標準ＤＣＴ（すなわち正規直交）行列ではなく、正規化した変換行列を適用することができる。これによってこの第一の過程の後のいくつかの係数の相関、またとくにそれぞれのサブセグメントの連続成分の間の相関を増すことができる。
【０１０１】
第一の過程についての相関係数の例は：
【０１０２】
【式３】
【式４】
Ｋ＝セグメントの点の数
【０１０５】
このとき量子化と符号化のための係数読取順序を決定しなければならない。係数は最後の変換の後のそれらの列によって再グループ化される。図７の図式に従って、列１の全ての係数を、ついで列２の全ての係数を読み出す。
【０１０６】
当該方法は図８に模式的に示した次の変型によって試験した：
【０１０７】
・最大の大きさの長方形のサブセグメントへの再帰的分割、
【０１０８】
・上記の正規化係数による連続成分に対する線形変換の適用。
【０１０９】
この試験は当該方法が理論的符号化利得の面で類似の迅速変換と比較して優れていることを示した。
【０１１０】
提案された方法はどんなタイプの領域の符号化にも使用できる。
【０１１１】
内部（ｉｎｔｒａ）モードで、分割された領域は、例えばグレーレベルの小さな変動などの、所与の均質性の基準について自動的分割から得ることができる。
【０１１２】
相互（ｉｎｔｅｒ）モードでは、符号化される区域は運動の補正が十分でないことが分かった区域とすることができる。「オブジェクト」に基づく符号化器において、運動の補正は領域ごとに行われ、したがって、予想された信号が初期信号に十分に近くない区域はそれだけいっそう任意の形状となるだろう。
【図面の簡単な説明】
【図１】 ［オブジェクトの検出が含まれていない］任意の形のオブジェクトの処理の一般的原理図である。
【図２】 可能な使用の例を含む、提案された符号化の方法の完全な図式である。
【図３】 セグメント内に内接する最大面積の長方形を求めるアルゴリズムを適用して所与のセグメントを敷き詰めた例である。
【図４】 変換した空間内の係数の読取に適合させた、ジグザグの読取順序に従った、２Ｄ長方形セグメントの１Ｄセグメントへの移行の例を示している。
【図５】 ジグザグの読取のための標準的経路の二つのタイプを表している。
【図６】 線形変換の適用のための係数のまとめの３つのアルゴリズムを模式的に示している。
【図７】 係数からなるクラスを行ベクトルで表現した場合の該行ベクトルに含まれる成分（係数）の並び順を表す「列」による、変換された空間内の係数の最終的読取の原理を表している。
【図８】 連続成分に対してだけ線形変換が適用された特定の例を示している。
【図９】 地／人物の観点からテレビ電話画像の表示の場合のセグメントの符号化のための当該方法の応用の具体例を示している。
Claims (6)
- 任意の形状および大きさのセグメント上の画像信号を線形変換する方法であって、該方法がこの画像のテクスチャの符号化のためのものであり、問題となる画像の領域の幾何学的形状を意味するセグメントへの適合性を備えている方法において、
・セグメントの規則的形状（長方形、正方形または線形）のサブセグメントへの分割過程と、
・それぞれのサブセグメント上の画像信号に対する直交線形変換の適用過程と、
・サブセグメント毎に該直交線形変換から得られた係数をジグザグに読み取って係数が一列に並べられたベクトルにし、このようにして形成された各ベクトルから周波数がゼロの係数を抜き出して、サブセグメントの数に等しい数の成分を有するベクトルを新たに形成することにより、前記直交線形変換から得られた係数を係数からなるクラスへと再グループ化する過程と、
・セグメントに対する信号のエネルギーを集中するための、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程：
から成ることを特徴とする方法。 - 任意の形状および大きさのセグメント上の画像信号を線形変換する方法であって、該方法がこの画像のテクスチャの符号化のためのものであり、問題となる画像の領域の幾何学的形状を意味するセグメントへの適合性を備えている方法において、
・セグメントの規則的形状（長方形、正方形または線形）のサブセグメントへの分割過程と、
・それぞれのサブセグメント上の画像信号に対する直交線形変換の適用過程と、
・サブセグメント毎に該直交線形変換から得られた係数をジグザグに読み取って係数が一列に並べられたベクトルにし、このようにして形成された各ベクトルに対して、前記ジグザグの読取によって定義された読取順番が同じ係数同士をまとめることにより、前記直交線形変換から得られた係数を係数からなるクラスへと再グループ化する過程と、
・セグメントに対する信号のエネルギーを集中するための、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程：
から成ることを特徴とする方法。 - 任意の形状および大きさのセグメント上の画像信号を線形変換する方法であって、該方法がこの画像のテクスチャの符号化のためのものであり、問題となる画像の領域の幾何学的形状を意味するセグメントへの適合性を備えている方法において、
・セグメントの規則的形状（長方形、正方形または線形）のサブセグメントへの分割過程と、
・それぞれのサブセグメント上の画像信号に対する直交線形変換の適用過程と、
・サブセグメント毎に該直交線形変換から得られた係数をジグザグに読み取って係数が一列に並べられたベクトルにし、このようにして形成された各ベクトルに対して、あらかじめ定義された周波数空間内の距離である、距離的に近い係数をまとめることにより、前記直交線形変換から得られた係数を係数からなるクラスへと再グループ化する過程と、
・セグメントに対する信号のエネルギーを集中するための、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程：
から成ることを特徴とする方法。 - 請求項１〜３のいずれか一つに記載の変換方法において、
セグメントに対する信号のエネルギーを集中するための、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程の後に、
さらに、後に続く量子化と符号化のために、係数からなるクラス毎に定義された係数の並び順に従った係数の読取を実行する過程から成る：ことを特徴とする方法。 - 請求項１〜４のいずれか一つに記載の変換方法において、
サブセグメントに適用された直交線形変換が離散コサイン変換である：
ことを特徴とする方法。 - 請求項１〜５のいずれか一つに記載の変換方法において、
セグメントに対する信号のエネルギーを集中するための、形成された係数からなるクラスのうちの少なくとも一つに対する線形変換の適用過程における線形変換が、サブセグメントに適用された前記直交線形変換と同じ変換であることを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9610227A FR2752474B1 (fr) | 1996-08-14 | 1996-08-14 | Procede de transformation du signal image sur des supports de forme arbitraire |
| FR9610227 | 1996-08-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10200894A JPH10200894A (ja) | 1998-07-31 |
| JP3828640B2 true JP3828640B2 (ja) | 2006-10-04 |
Family
ID=9495068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23187397A Expired - Fee Related JP3828640B2 (ja) | 1996-08-14 | 1997-08-14 | 画像信号変換方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6427028B1 (ja) |
| EP (1) | EP0825556B1 (ja) |
| JP (1) | JP3828640B2 (ja) |
| DE (1) | DE69700865T2 (ja) |
| FR (1) | FR2752474B1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10022331A1 (de) * | 2000-05-10 | 2001-11-15 | Bosch Gmbh Robert | Verfahren zur Transformationscodierung von Bewegtbildsequenzen |
| AU2002346675A1 (en) * | 2001-12-05 | 2003-06-17 | Regents Of The University Of Minnesota | Image restoration from transformed component data |
| US6873744B2 (en) * | 2002-04-17 | 2005-03-29 | Regents Of The University Of Minnesota | Image restoration from transformed component data |
| US7590293B2 (en) * | 2003-05-05 | 2009-09-15 | Regents Of The University Of Minnesota | Non-iterative method to restore image from transformed component data |
| US8325796B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
| US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
| US9262670B2 (en) | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
| GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| US9392272B1 (en) | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
| US9578324B1 (en) | 2014-06-27 | 2017-02-21 | Google Inc. | Video coding using statistical-based spatially differentiated partitioning |
| CN110889370B (zh) * | 2019-11-26 | 2023-10-24 | 上海大学 | 基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法 |
| US11843772B2 (en) * | 2019-12-06 | 2023-12-12 | Ati Technologies Ulc | Video encode pre-analysis bit budgeting based on context and features |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5838834A (en) * | 1991-11-07 | 1998-11-17 | Canon Kabushiki Kaisha | Image processing apparatus and method for quantizing image data and quantization errors using single quantizing unit and pluralities of quantization tables |
| JP3068304B2 (ja) * | 1992-01-21 | 2000-07-24 | 日本電気株式会社 | 動画像符号化方式および復号化方式 |
| US5422963A (en) * | 1993-10-15 | 1995-06-06 | At&T Corp. | Block transform coder for arbitrarily shaped image segments |
| US6356663B1 (en) * | 1994-09-09 | 2002-03-12 | Intel Corporation | Processing image signals using spatial decomposition |
| US5608458A (en) * | 1994-10-13 | 1997-03-04 | Lucent Technologies Inc. | Method and apparatus for a region-based approach to coding a sequence of video images |
| US5886743A (en) * | 1994-12-28 | 1999-03-23 | Hyundai Electronics Industries Co. Ltd. | Object-by information coding apparatus and method thereof for MPEG-4 picture instrument |
| JP3086396B2 (ja) * | 1995-03-10 | 2000-09-11 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| MY121607A (en) * | 1995-07-10 | 2006-02-28 | Hyundai Curitel Inc | Grid moving method of object image and apparatus using the same and compaction/motion estimation method using the same and apparatus thereof |
| US5959673A (en) * | 1995-10-05 | 1999-09-28 | Microsoft Corporation | Transform coding of dense motion vector fields for frame and object based video coding applications |
| US6078695A (en) * | 1997-06-13 | 2000-06-20 | Matsushita Electric Industrial Co., Ltd. | Shape coding method and shape decoding method |
| US6014466A (en) * | 1997-07-10 | 2000-01-11 | Hughes Electronics Corporation | Object-based video coding of arbitrarily shaped objects using lapped orthogonal transforms (LOTs) defined on rectangular and L-shaped regions |
-
1996
- 1996-08-14 FR FR9610227A patent/FR2752474B1/fr not_active Expired - Lifetime
-
1997
- 1997-08-08 US US08/908,825 patent/US6427028B1/en not_active Expired - Lifetime
- 1997-08-13 DE DE69700865T patent/DE69700865T2/de not_active Expired - Lifetime
- 1997-08-13 EP EP97401924A patent/EP0825556B1/fr not_active Expired - Lifetime
- 1997-08-14 JP JP23187397A patent/JP3828640B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6427028B1 (en) | 2002-07-30 |
| EP0825556A1 (fr) | 1998-02-25 |
| DE69700865T2 (de) | 2000-05-18 |
| FR2752474A1 (fr) | 1998-02-20 |
| EP0825556B1 (fr) | 1999-12-01 |
| JPH10200894A (ja) | 1998-07-31 |
| DE69700865D1 (de) | 2000-01-05 |
| FR2752474B1 (fr) | 1998-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| de Oliveira Rente et al. | Graph-based static 3D point clouds geometry coding | |
| Golla et al. | Real-time point cloud compression | |
| US6614428B1 (en) | Compression of animated geometry using a hierarchical level of detail coder | |
| CN113678466A (zh) | 用于预测点云属性编码的方法和设备 | |
| US6075875A (en) | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results | |
| AU700606B2 (en) | Method and apparatus for compressing and decompressing three-dimensional digital data using fractal transform | |
| US6236762B1 (en) | System and method for unified DCT and wavelet data coding | |
| US20230215055A1 (en) | 3d point cloud compression system based on multi-scale structured dictionary learning | |
| JP2019521417A (ja) | シーンを表す点群を符号化する方法、符号化器システム、及びプログラムを記憶した非一時的コンピューター可読記録媒体 | |
| JP3828640B2 (ja) | 画像信号変換方法 | |
| CA2216605A1 (en) | Method and system for representing a data set with a data transforming function and data mask | |
| JPH10511531A (ja) | 領域ベーステクスチュアコード化方法及びデコード方法、及び対応するシステム | |
| US6757441B1 (en) | Image data encoding/decoding method and apparatus | |
| US7031538B2 (en) | Method and apparatus for feature-based quantization and compression of data | |
| CN114612716A (zh) | 一种基于自适应解码器的目标检测方法及装置 | |
| CN100367799C (zh) | 用于嵌套网格的图像的编码和解码的方法和设备及其应用 | |
| Kozhemiakin et al. | An approach to prediction and providing of compression ratio for DCT-based coder applied to multichannel remote sensing data | |
| CN115102934A (zh) | 点云数据的解码方法、编码方法、装置、设备及存储介质 | |
| Habibi et al. | Bandwidth compression of multispectral data | |
| Yoon et al. | Subband texture synthesis for image coding | |
| Schmaltz et al. | Progressive modes in PDE-based image compression | |
| Davis | Implicit image models in image fractal compression | |
| JPH03268679A (ja) | 画像補完符号化装置 | |
| Zhu | On the performance of JPEG2000 and principal component analysis in hyperspectral image compression | |
| CN113808224A (zh) | 一种基于块划分和深度学习的点云几何压缩方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050307 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060317 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130714 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |