JP4001629B2 - コンピュータにより画像セグメントのピクセルを処理する方法および装置 - Google Patents
コンピュータにより画像セグメントのピクセルを処理する方法および装置 Download PDFInfo
- Publication number
- JP4001629B2 JP4001629B2 JP50207698A JP50207698A JP4001629B2 JP 4001629 B2 JP4001629 B2 JP 4001629B2 JP 50207698 A JP50207698 A JP 50207698A JP 50207698 A JP50207698 A JP 50207698A JP 4001629 B2 JP4001629 B2 JP 4001629B2
- Authority
- JP
- Japan
- Prior art keywords
- image segment
- pixel
- value
- bps2
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
たとえば画像符号化規格Ｈ．２６１，Ｈ．２６３，ＭＰＥＧ１やＭＰＥＧ２によるビデオ信号の符号化は、ブロック指向の離散コサイン変換（ＤＣＴ）をベースとしていることが多い。しかしこのようなブロック指向の画像符号化方式は、矩形のブロックをベースとするのではなくたとえばある画像のオブジェクトをセグメント化して画像の各セグメントを符号化するような画像符号化方式には、もやは適したものではない。この方式は、リージョンベース（region-based）またはオブジェクトベース（object-based）の画像符号化方式と呼ばれる。この場合、ディジタル形式で存在する画像のセグメント化は、そのシーンに現れるオブジェクトに応じて行われる。その際、ブロックベースの画像符号化方式のような画像ブロックの符号化ではなく、セグメント化されたそのオブジェクトの個別の符号化が行われる。その際、一般に符号化は、セグメント化されたオブジェクトのモデリングおよび、それに続くセグメント化されたそれらのオブジェクトのモデリングパラメータの伝送によって行われる。
画像情報が送信側から受信側へ伝送された後、画像の個々のオブジェクトが伝送されたモデリングパラメータに基づき受信側で再構築される。
オブジェクトをモデリングするための可能なやり方として挙げられるのは、適切に選択された一群の基底関数に従って画像関数を級数展開することである。この場合、モデリングパラメータはそれらの画像関数の展開係数に対応する。画像のこのようなモデリングは、変換符号化の基礎である。画像において任意の境界をもつ個々のオブジェクトを符号化しようとする場合、通常は凸状でない境界を有するセグメントのための変換が必要となる。
これまで、このような変換のために２つの基本的な手法が存在する。
文献［１］に記載されているやり方の場合、所定の画像セグメントがまずはじめに、できるかぎり小さいサイズの外接する矩形に埋め込まれる。この矩形に対し離散コサイン変換（ＤＣＴ）を指定することができ、これは完全に変換の基底関数により表されている。この変換をセグメントの形状に整合させる目的で、矩形において規定された各基底関数をセグメントの形状に関して順次、直交化する。そして結果として生じる形状に依存する直交基底関数により、求められているセグメント適合化された変換が形成される。
この解決手法の欠点は、この手法を実行するために計算能力やメモリスペースについて高い要求が課されることである。さらにこの公知の手法の欠点とは、得られた変換のデータ圧縮に対する適性に関して確実性が保証されないことである。なぜならば、変換は基本的に直交化の順序に依存し、つまりはこの手法の特定のインプリメンテーションに依存するからである。
文献［２］には、所定の画像セグメントを行と列に従って別個に変換するようにした手法が開示されている。この目的でまずはじめに、画像セグメントのすべての行が左側に整列され、それらに対し順次、一次元の水平方向の変換が施され、ここでそれらの変換長は対応する行におけるピクセルの個数にそれぞれ相応する。次に、結果として生じた係数がさらにもう１回、垂直方向で変換される。
この手法に潜む欠点とは、ピクセルがソートしなおされてしまうため各ピクセルの輝度値の相関（各ピクセルの類似度）を完全には利用できないことである。
文献［２］から公知のこの手法を改善するため、文献［３］に記載のやり方によれば、簡単な画像モデルのために整合された凸状の画像セグメント形状のための変換が実行される。しかしこの場合、行または列の動きにおいて途切れ（ホール、空所）をもたないような画像セグメント形状だけしか許容されない。
さらに上述の公知の方法のもつ欠点とは、可変の変換長ゆえに標準変換方式ないしは変換実行用の標準モジュールをもはや使用できないことである。
さらに文献［４］によれば、８×８のピクセルをもつ正方形の１つの画像セグメントにおいて、その正方形の画像セグメントに少なくとも部分的に含まれている第１の画像セグメントには属していないすべてのピクセルに対し、まえもって定められた一定の輝度値を割り当てることが知られている。
この方法には、なんといっても２つの欠点がある。
まず、第１の画像セグメントと正方形の画像セグメントの境界領域において、各ピクセル間で輝度値の信号経過に跳躍個所の発生する可能性があり、このことで高い周波数のスペクトル成分が引き起こされ、その結果、不所望かつ不必要な符号化の手間がかかるようになり、ひいては伝送容量に対する不所望かつ不必要な要求が課されるようになってしまう。
第２にこの方法は、正方形の画像セグメントによるブロックベースの方式に制約されてしまう。
標準画像変換方式をもはや適用できないことから、文献［１］，［２］，［３］から公知の手法の場合、上述の公知の手法を利用する符号化ユニットのためにかなりのコストがかかる。
標準変換方式は文献［５］から公知である。
文献［６］から画像信号符号化装置が知られており、これによれば第１の画像領域から第２の画像領域への信号経過において信号の外挿が行われる。この信号外挿は、第１の画像領域周縁部における信号経過のミラーリングによって行われる。
文献［７］には信号外挿の異なる実現手法が開示されており、これによれば信号経過特性の周期的な継続、対称的な継続ならびに値を一定にした継続が行われる。
文献［６］と［７］により公知の手法すべてについて欠点となるのは、信号経過特性および外挿された信号経過特性から生じる信号全体に対するスペクトル変換により、不所望なことに高いスペクトル成分が多数発生することであり、つまりは高い方のスペクトル領域に、付加的に符号化して伝送しなければならない多くのスペクトル係数が生じることである。
したがって本発明の課題は、結果として画像セグメント目標形状の画像セグメントをもつことになる任意の形状の画像セグメントにおけるピクセルを処理するための方法において、画像セグメント目標形状の画像セグメント内で輝度値および／または色値の信号経過特性が、もとの画像セグメント内には位置しない領域内では滑らかな経過特性をもつようにするとともに、もとの画像セグメントともとの画像セグメント内には位置しない領域との境界領域では、信号経過にできるかぎり跳躍個所が生じないようにすることである。
この課題は、請求項１記載の方法により解決される。
本発明の方法によれば、第１の画像セグメントのピクセルに輝度値および／または色値が割り当てられ、その際、第１の画像セグメントは任意の形状を有するものとすることができる。これらの輝度値および／または色値は、やはり任意の形状をもつ第２の画像セグメントのピクセルに対し外挿される。外挿にあたり留意されることは、第２の画像セグメントにおけるピクセルの輝度値および／または色値に関する信号経過が滑らかになるようにする点である。さらにこの外挿は、第１の画像セグメントのピクセルと第２の画像セグメントのピクセルの移行領域において、輝度値および／または色値の信号経過にできるかぎり跳躍個所が生じないように実行される。つまり外挿にあたり、第１の画像セグメントと第２の画像セグメントの間の境界領域も同様に滑らかにされる。
本発明による方法により、第１の画像セグメントにおけるピクセルの輝度値および／または色値に関する信号経過を、第２の画像セグメントのピクセルに対し外挿することができるようになり、その際、信号経過における高い空間周波数つまりは高いスペクトル成分したがってかなり高い周波数に対するスペクトル係数ができるかぎり回避される。その結果、一般に量子化し符号化し伝送しなければならないスペクトル係数が削減されることになる。したがって画像符号化において、スペクトル係数の量子化、符号化ならびに伝送にあたり著しい節約が実現される。
従属請求項には本発明の有利な実施形態が示されている。
信号経過の外挿のために、平滑特性をもつディジタルフィルタを使用するのが有利であり、これによって信号経過の平滑化に関する要求が保証される。本発明のこの実施形態によれば、信号経過の外挿が完全に空間領域（space domain）において実行される。
さらに、ディジタルフィルタとして局所平均値フィルタを用いるのが有利である。それというのも、このような平均値フィルタを用いることで平滑化規準について最適な外挿が達成されるからである。
さらに有利であるのは、方法開始にあたり第２の画像セグメントにおける各ピクセルの輝度値および／または色値を所定値で初期化することであり、たとえば第１の画像セグメントにおける各ピクセルの輝度値および／または色値に関する平均値によって初期化する。このようにすることで、この方法の結果がいっそう改善される。
また、この方法を何回も繰り返して実行するのが有利であって、このことで平滑特性がさらにいっそう改善される。
しかし本発明による方法は必ずしも空間領域だけで実行されなくてもよく、変形実施形態も可能である。この場合、第１の関数が形成され、これは少なくとも第１の項と第２の項から成り、これらによって第１の画像セグメントにおいてオリジナルに対する忠実性の規準が保証されるとともに、輝度値および／または色値の外挿における平滑規準も保証される。
また、本発明の１つの実施形態によれば、第２の画像セグメントにおける補われる信号経過を記述する一般的に受け入れられる関数に基づき、本発明による方法においてこの関数をスペクトル領域に変換し、変換された関数を第１の関数に代入し、第１の関数を最小化するのが有利である。結果として生じる線形の等式がスペクトル係数について解かれ、対応するスペクトル係数が量子化され、符号化され、伝送される。
整数計算の用いられる本発明の方法の実施形態によれば、この方法を実施するための計算時間やハードウェアコストの著しい節約が実現される。
さらに有利であるのは、第１の画像セグメントと第２の画像セグメントがいっしょになって１つの正方形を成すようにすることである。このことにより、標準化されているブロックベースの画像符号方式たとえばＤＣＴおよびそのために存在する最適なハードウェアモジュールならびにソフトウェアによる実現手法を利用できるようになる。つまり、任意の第１の画像セグメントに対しこの方法の枠内で、方法実行後にブロックベースの変換符号化のための標準モジュールを使用することができる。これによって、いわゆるオブジェクトベースの画像符号化においても著しくコストが節約されるようになる。
次に、図面を参照しながら本発明の２つの実施例について詳細に説明する。
図面
図１は、個々のピクセルと第１の画像セグメントと第２の画像セグメントを有する画像を示す図である。
図２は、本発明による方法の個々のステップを示すフローチャートである。
図３は、本発明による方法の第１の実施例における個々のステップを示すフローチャートである。
図４は、本発明による方法の第２の実施例における個々のステップを示すフローチャートである。
図５ａ〜図５ｃは、外挿前と外挿後の画像セグメントにおけるピクセルならびに所属の輝度値または色値を示す図である。
図６は、実例として本発明を実行するカメラと２つのコンピュータと２つのディスプレイから成る装置構成を示す図である。
図１には、任意の個数のピクセルＢＰを有するディジタル画像Ｂが示されている。いわゆるオブジェクトベースの画像符号化方式の場合、１つの画像ＢのピクセルＢＰはそのセマンティクスに従って画像オブジェクトＢＯにセグメント化される。オブジェクトベースの画像符号化方式の場合、画像オブジェクトＢＯの少なくとも一部分をその画像オブジェクトＢＯには属さないピクセルＢＰとともに符号化して伝送するのが有利であるし、あるいはそのことが必要である。この種の実例は図１の場合、画像オブジェクトＢＯにおけるピクセルの少なくとも一部分を有する第１の画像セグメントＢＳ１におけるピクセルＢＰによって描かれている。さらに図１には第２の画像セグメントＢＳ２が描かれており、このセグメントは第１の画像セグメントＢＳ１には属さない別のピクセルＢＰを有している。第１の画像セグメントＢＳ１内に存在するピクセルＢＰのことを、以下では第１セグメントＢＳ１のピクセルＢＳ１と称する。また、第２のピクセルＢＳ２内に存在するピクセルのことを、以下では第２セグメントＢＳ２のピクセルＢＰＳ２と称する。
第１の画像セグメントＢＳ１も第２の画像セグメントＢＳ２も、個々で述べる方法の範囲内において任意の形状をもつことができる。
第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２がいっしょになって合成画像セグメントＳＢＳが形成され、これには第１のセグメントＢＳ１におけるすべてのピクセルＢＰＳ１と第２の画像セグメントＢＳ２におけるすべてのピクセルＢＰＳ２が含まれている。
実例として描いた図面では合成画像セグメントＳＢＳは正方形であるが、これは本発明による方法をこの方法の有利な実施形態としてみやすく表しただけのものである。しかしながら、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２の形状について、さらには合成画像セグメントＳＢＳの形状について、いかなる制約もないことは、当業者にとって自明である。
画像ＢのピクセルＢＰには通常、輝度値（ルミナンス値）および／または色値が割り当てられている。言葉で簡単に表現できるようにするため、以下ではこの方法についてピクセルＢＰに対応づけられた輝度値だけに基づいて説明する。しかしこの方法は何の変更もなく、ピクセルＢＰに割り当てられた色値だけに対しても実行できるし、あるいは輝度値と色値についても実行可能である。
輝度値（および／または色値）は一般に画像符号化方式においてスペクトル領域に変換され、それによって各ピクセルＢＰに割り当てられたスペクトル係数が形成される。一般的な画像符号化方式では、ピクセルＢＰのスペクトル係数および／またはスペクトル係数の差分情報が量子化され、伝送される。
合成画像セグメントＳＢＳの特殊な形状に特化された画像符号化方式も利用できるようにするためには、たとえば第１の画像セグメントＢＳ１がその画像符号化方式において処理可能な特別な画像セグメント形状とは異なる形状をもっているにもかかわらず、正方形の合成画像セグメントＳＢＳに特化されているような画像符号化方式も利用できるようにするためには、信号の外挿を実行する必要がある。
信号の外挿は信号の補間とも呼ばれる。信号の外挿は、第１の画像セグメントＢＳ１から第２の画像セグメントＢＳ２に対して行われる。第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２がいっしょになって合成セグメント画像ＳＢＳが形成される。この特別な実施例では、合成画像セグメントＳＢＳは正方形であるものの、合成画像セグメントＳＢＳの形状はまったく任意である。
画像ＢのピクセルＢＰの輝度値により、ピクセルＢＰに関する輝度値の信号経過が生じる。相応に、第１の画像セグメントＢＳ１における各ピクセルＢＰＳ１の輝度値によって、第１の画像セグメントＢＳ１の各ピクセルＢＰＳ１に関する輝度値の信号経過が形成される。さらに、第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値によって、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２に関する輝度値の信号経過が形成される。
この方法により、輝度値からスペクトル領域への変換が、後で述べる信号外挿により不必要な高いスペクトル成分つまりはスペクトル係数ができるかぎり生じないように行われるようになる。
信号外挿にあたり、第１の画像セグメントＢＳ１における各ピクセルＢＰＳ１の輝度値の信号経過が、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値に対し外挿される。
信号外挿において、第２の画像セグメントＢＳ２のピクセルＢＰＳ２に対し一定の輝度値を割り当てることは公知である［４］。しかし、第２の画像セグメントＢＳ２のすべてのピクセルＢＰＳ２に対し一定の均一な値を割り当てることで、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２との間の境界領域ＧＢに跳躍個所が発生してしまう。そして境界領域ＧＢにおける輝度値の信号経過における跳躍個所によって、高い周波数のスペクトル係数が生じることになり、その結果、符号化や量子化が煩雑になり、ひいてはディジタル画像Ｂの符号化と伝送における伝送コストが高まってしまう。
この場合、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２におけるピクセルＢＰＳ１，ＢＰＳ２が隣り合う領域を、境界領域ＧＢと称する。境界領域ＧＢを、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２におけるじかに隣り合うピクセルＢＰＳ１を越えて広がっていてもよいし、個々の画像セグメントＢＳ１，ＢＳ２における他のピクセルＢＰＳ１，ＢＰＳ２まで広がっていてもよい。
公知の手法における欠点である境界領域ＧＢの跳躍個所を回避する目的で、画像ＢのピクセルＢＰに輝度値（および／または色値）を割り当てる本発明の方法によれば、第１の画像セグメントＢＳ１のピクセルＢＰＳ１の輝度値が第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値に対し外挿される（図２のステップ２０１，２０２参照）。
信号の外挿は、補われるブロックの符号化つまり第２の画像セグメントＢＳ２のピクセルＢＰＳ２の符号化に必要な手間ないしはコストが、できるかぎり抑えられるように実行される。
この目的で、信号の外挿は次のようにして行われる。すなわち、
−第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値は、できるかぎり滑らかな経過をもつようにする。
−これと同時に、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２との間の境界領域ＧＢにおいて、輝度値の信号経過に跳躍個所が生じないようにする。
これら両方の要求は以下のことにより満たされる。すなわち、信号の外挿にあたり第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値の信号経過を滑らかにするとともに（ステップ２０３）、第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値の信号経過を、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２との間の境界領域ＧＢにおける第１の画像セグメントＢＳ１のピクセルＢＰＳ１の輝度値に整合させる（ステップ２０４）。
次に、実例として上述のステップを実現可能な２つの実施形態について説明する。
実施例１：空間領域における解決手段
図３には、”平滑化”信号外挿実現に関する第１の実施例のフローチャートが描かれている。
この実施例では信号補間のために、平滑特性をもつディジタルフィルタが使用される。この方法において利用可能なディジタルフィルタは、たとえば局所平均値フィルタまたはメジアンフィルタあるいはローパス特性を持つ任意のディジタルフィルタである。
以下、第１の実施例について局所平均値フィルタを用いて説明するが、これが唯一の解決手段ではないことを理解されたい。
図面に示されているようにこの実施形態の場合、ディジタルフィルタのフィルタマスクが、第２のセグメントＢＳ２におけるピクセルＢＰＳ２の少なくとも一部分の上に”置かれ”（ステップ３０１）、このことにより第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の少なくとも一部分についてディジタルフィルタの演算子に応じて、隣り合うピクセルから新たな輝度値たとえば輝度値の平均値が、第２の画像セグメントＢＳ２の個々のピクセルＢＰＳ２について求められる（ステップ３０２）。”平均値”は、第２の画像セグメントＢＳ２の個々のピクセルＢＰＳ２に割り当てられる（ステップ３０３）。
局所平均値フィルタの特別な事例としてたとえば、第２の画像セグメントＢＳ２の個々のピクセルＢＰＳ２に関して、第２の画像セグメントＢＳ２の個々のピクセルＸijに割り当てられる新たな輝度値を求めるためには、以下の規則ようになる。ここで第１の添字ｉは、ピクセルＸijの存在する個々の行を表し、列の添字ｊは、個々のピクセルＸijの存在する列を表す。
本発明による方法の１つの実施形態によれば、第２の画像セグメントＢＳ２のピクセルＢＰＳ２が平均値演算子により処理され、これは第１の画像セグメントＢＳ１のピクセルＢＰＳ１と隣接する第２の画像セグメントのピクセルＸijから始まる順序で行われる。このようにして、第１の画像セグメントＢＳ１における各ピクセルＢＰＳ１の輝度値の信号経過に関するできるかぎり多くの情報が、第２の画像セグメントへ移される。
式（１）の場合、新たな輝度値を求める際にそれぞれ４つのダイレクトに隣り合うピクセルが含まれているにしても（これは個々のピクセルＸijの上に置かれる十字形のフィルタマスクに相応する）、フィルタマスクの形状は任意であり、つまり個々のピクセルＸijのための新たな輝度値を求めるために、任意の場所を利用できる。
第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の新たな輝度値を求めるための上述の規則は、第２の画像セグメントＢＳ２における任意の個数のピクセルＢＰＳ２に対して実行され、有利にはすべてのピクセルについて実行される。
なお、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値を方法開始にあたり所定の値によって初期化するのが有利であると判明しており、たとえば第１の画像セグメントＢＳ１におけるピクセルＢＰＳ１の少なくとも一部分の輝度値に関する平均値によって初期化するのが有利であると判明した。
このようにすることでこの方法の結果がさらに改善され、このことで必要とされる伝送容量をさらに低減できるようになる。
また、この実施形態によれば、本発明による方法の１つの実施形態である後述の反復手法が加速される。なぜならば、適切な初期化を行えばその実施形態における所要反復回数が著しく僅かになるからである。
さらに本発明による方法の１つの実施形態によれば、この方法を合成セグメントＳＢＳのために反復してつまり何度も実行される。この場合、本発明による方法の枠内でラプラス演算子を利用するならば、たとえば以下の反復規則が用いられる：
ここでｋは、個々の反復ステップを一義的に表す。
本発明による方法を何度も実行すれば、つまり何度も反復すれば、境界領域ＧＢにおいても第２の画像セグメントＢＳ２においても平滑特性が著しく改善される。
しかし反復回数が増えているにつれ、反復ステップごとに改善具合が低減するので、本発明による方法の実施形態として反復を終了させるための中止規準を設けるのが有利である。
本発明の枠内で、中止規準の種々の実施形態が設けられている。
この方法の開始にあたり、個々の合成セグメントＳＢＳに対しこの方法が何回実行されるべきかをまえもって設定することができる。
さらに、反復が行われるたびに、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値の少なくとも一部分の変化の和を求め、それを少なくとも先行の反復において形成された変化の和と比較することができる。両方の和の間における差が所定の第１の閾値ＳＷ１よりも小さければ、それ以上反復を実行する必要はない。
また、変化の和をそれまで行われた反復の和について任意に形成された平均値と比較することもできる。
さらに、中止規準として以下の規則を適用するように構成することもできる。すなわち、１回反復が行われた後、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値の少なくとも一部分の変化に関する平均値が求められ、この平均値が少なくとも１回前の反復における輝度値の変化に関する平均値と比較される。これら両方の平均値の差が所定の第２の閾値ＳＷ２よりも小さければ、もはや反復を行う必要はない。
本発明の１つの実施形態によれば、合成画像セグメントＳＢＳ外に位置するピクセルＢＰは、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値の形成にあたり考慮されないように構成されている。
したがって局所平均値演算子の特別な事例として、たとえば式（１）、（２）中の係数
が考慮されないピクセルの個数だけ低減される。
図５ａには、合成画像セグメントＳＢＳが実例として描かれた輝度値とともに示されている。この場合、”＋”によって、方法開始時の第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値がシンボリックに描かれている。
図５ｂには、局所平均値フィルタを使用してこの方法を実行した後の合成画像セグメントＳＢＳが描かれている。この場合、この方法を何回か反復した後の第１の画像領域ＢＳ１におけるピクセルＢＰＳ１の平均値１２０によって、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２が初期化されている。
この図によれば、境界領域ＧＢではたいして大きな跳躍個所がないことが示されているとともに、第２の画像セグメントＢＳ２におけるピクセルの輝度値に関する信号経過は平滑化された経過を有していることも示されている。
実施例２：周波数領域における解決手段
以下では、上述の規準の別の可能な構成について示す。
この目的で、次に第１の関数Ｆ１について説明し、これはたとえば次式によって形成される：
この第１の関数Ｆ１は２つの被加数を有しており、すなわち第１の項と第２の項を有している（ステップ４０１）。
ここでｆ（ｘij）により所定の元の関数が表され、つまり画像Ｂにおける各ピクセルＢＰの輝度値（および／または色値）に関する信号経過が表される。
また、ｇ（ｘij）により補われる関数が表され、これは第２の画像セグメントＢＳ２へのもとの関数ｆ（ｘij）の信号外挿により形成される。この補われる関数を以下では補われる信号経過ｇ（ｘij）と称する。
補われる信号経過ｇ（ｘij）は、方法の最初ではまだ未知である。
第１の項は、補われる信号経過ｇ（ｘij）を方法が実行されたあとでも第１の画像セグメントＢＳ１におけるもとの関数ｆ（ｘij）と一致させる役割を果たす。
第２の項は通常、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の信号経過のための平滑化規準を有する。
平滑化規準により、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値についてできるかぎり滑らかな信号経過が得られるようにするとともに、境界領域ＧＢにおいて跳躍個所ができるかぎり僅かになるようにする。
補われる信号経過ｇ（ｘij）は、スペクトル領域において数学的な級数として表すことができ、つまり以下の構造を成す積の和である。
ここでcklはスペクトル係数を表し、φkl(xij)はそのつど使用される変換符号化たとえば離散コサイン変換（ＤＣＴ）の基底関数を表す。そして式（４）に第１の関数Ｆ１を代入することにより、たとえば以下のような構造を成す中間関数ＺＦ１が形成される（ステップ４０２）。
ここで中間関数ＺＦ１中の未知のものとして、スペクトル係数ｃklが存在する。
スペクトル係数ｃklを求める目的で、そしてその際、第２の画像セグメントＢＳ２においてできるかぎり滑らかな信号経過が得られ、かつ境界領域においてできるかぎり滑らかな信号経過が得られるようにする目的で、中間関数ＺＦ１が最小化される。
これは個々のスペクトル係数ｃklについて中間関数ＺＦ１を微分することにより行われ（ステップ４０３）、”最適な”スペクトル係数ｃklを求めるために、生じた線形の等式がゼロと等しくなるようにされる。
これにより、上述の規準に関して”最適な”スペクトル係数ｃklを求めるための一義的に解くことのできる線形の等式が得られる。
この線形の等式が解かれた後、上述の規準に関して最適なスペクトル係数ｃklが求められる（ステップ４０４）。
図５ｃには、例として選ばれたパラメータ値λ＝１００に関して周波数範囲で本発明による方法を実行した後の図５ａの実例が描かれている。パラメータ値λは、達成可能な結果に関してかなりノンクリティカルであることから、実質的に任意に選定できる。
第２の項において、有利には平滑化規準として補われる信号経過ｇ（ｘij）の任意の導関数を用いることができる。
しかし本発明の１つの実施形態によれば、２次導関数を用いるのが有利である。それというのも、そのような場合であれば、生じる線形の等式をいっそう容易に解くことができるようになるからである。
また、第１の関数Ｆ１の第２の項は、必ずしも上述の構造を成していなくてもよい。
本発明による方法全体つまり上述の２つの実施例両方についての１つの実施形態によれば、方法実行にあたり整数計算が用いられる。
この実施形態により、本発明による方法を実行するのに必要とされるハードウェアが著しく簡単になる。さらに、コンピュータによって本発明による方法を実装した場合に、著しく加速が実現される。
本発明による方法は、たとえば離散コサイン変換などの変換符号化の枠内でも適用できるし、Wavelet変換またはサブバンド変換の枠内でも適用できる。なお、このコンテキストで”〜の変換の枠内で”という表現は、実施例１の場合には、求められた信号経過が対応する変換に送られることを意味し、実施例２では基底関数が採用された変換に応じて選ばれることを意味する。
図６には殊に、本発明による方法を実行する第１のコンピュータＲ１が描かれている。
さらに図６にはカメラＫＡが描かれており、このカメラによって画像シーケンスが撮影され、これは第１のコンピュータＲ１においてディジタル画像Ｂのシーケンスに変換される。ディジタル画像Ｂは、第１のコンピュータＲ１のメモリＳＰ１に格納される。さらに第１のコンピュータＲ１のための構成として、ディスプレイＢ１が設けられている。
ディジタル化された画像Ｂの伝送にあたり、ディジタル画像Ｂの伝送前に個々の画像セグメントＢＳ１，ＢＳ２に対し、本発明による方法が実行される。そして結果として生じたスペクトル係数が、チャネルＫを介して第２のコンピュータＲ２へ伝送され、そこにおいてそれらの係数は第２のメモリＳＰ２に格納される。逆の変換符号化および逆のコンフォーマルマッピング（等角写像）の実行後、ディジタル画像Ｂが第２のコンピュータＲ２において再構成され、第２のディスプレイＢ２上でユーザに対し表示される。
本明細書では以下の文献を引用した。
[1] M. Gilge, T. Engelhardt und R. Mehian, Coding of 5 arbitrarily shaped image segments based on a generalized orthogonal transform, Singnal Processing:
Image Communication 1, p.153-180, Oktober 1989
[2] T. Sikora und Bela Makai, Shape-adaptive DCT for generic coding of video, IEEE Trans. Circuits and Systems for Video Technology 5, p.59-62, Februar 1995
[3] T. Sikora, S. Bauer und Bela Makai, Efficiency of shape-adaptive 2-D transforms for coding of arbitrary shaped image segments, IEEE Trans.Circuits and Systems for Video Technology 5, p.254-258, Juni 1995
[4] I. Donescu et al, A Comparison of Efficient Methods for the Coding of Arbitrarily Shaped Image Segments, Proceedings of Picture Coding Symposium, Melbourne, p.13.-15. 3. 1996, p.181-186, 1996
[5] R. J. Clarke:Transform Coding of Images, Academic Press, London, p.72-134, 1985
[6] DE 41 36 636 Al
[7] J. -R. Ohm, Digitale Bildcodierung, Springer, Berlin, ISBN 3-540-58579-6S. 32-49, 1995
画像情報が送信側から受信側へ伝送された後、画像の個々のオブジェクトが伝送されたモデリングパラメータに基づき受信側で再構築される。
オブジェクトをモデリングするための可能なやり方として挙げられるのは、適切に選択された一群の基底関数に従って画像関数を級数展開することである。この場合、モデリングパラメータはそれらの画像関数の展開係数に対応する。画像のこのようなモデリングは、変換符号化の基礎である。画像において任意の境界をもつ個々のオブジェクトを符号化しようとする場合、通常は凸状でない境界を有するセグメントのための変換が必要となる。
これまで、このような変換のために２つの基本的な手法が存在する。
文献［１］に記載されているやり方の場合、所定の画像セグメントがまずはじめに、できるかぎり小さいサイズの外接する矩形に埋め込まれる。この矩形に対し離散コサイン変換（ＤＣＴ）を指定することができ、これは完全に変換の基底関数により表されている。この変換をセグメントの形状に整合させる目的で、矩形において規定された各基底関数をセグメントの形状に関して順次、直交化する。そして結果として生じる形状に依存する直交基底関数により、求められているセグメント適合化された変換が形成される。
この解決手法の欠点は、この手法を実行するために計算能力やメモリスペースについて高い要求が課されることである。さらにこの公知の手法の欠点とは、得られた変換のデータ圧縮に対する適性に関して確実性が保証されないことである。なぜならば、変換は基本的に直交化の順序に依存し、つまりはこの手法の特定のインプリメンテーションに依存するからである。
文献［２］には、所定の画像セグメントを行と列に従って別個に変換するようにした手法が開示されている。この目的でまずはじめに、画像セグメントのすべての行が左側に整列され、それらに対し順次、一次元の水平方向の変換が施され、ここでそれらの変換長は対応する行におけるピクセルの個数にそれぞれ相応する。次に、結果として生じた係数がさらにもう１回、垂直方向で変換される。
この手法に潜む欠点とは、ピクセルがソートしなおされてしまうため各ピクセルの輝度値の相関（各ピクセルの類似度）を完全には利用できないことである。
文献［２］から公知のこの手法を改善するため、文献［３］に記載のやり方によれば、簡単な画像モデルのために整合された凸状の画像セグメント形状のための変換が実行される。しかしこの場合、行または列の動きにおいて途切れ（ホール、空所）をもたないような画像セグメント形状だけしか許容されない。
さらに上述の公知の方法のもつ欠点とは、可変の変換長ゆえに標準変換方式ないしは変換実行用の標準モジュールをもはや使用できないことである。
さらに文献［４］によれば、８×８のピクセルをもつ正方形の１つの画像セグメントにおいて、その正方形の画像セグメントに少なくとも部分的に含まれている第１の画像セグメントには属していないすべてのピクセルに対し、まえもって定められた一定の輝度値を割り当てることが知られている。
この方法には、なんといっても２つの欠点がある。
まず、第１の画像セグメントと正方形の画像セグメントの境界領域において、各ピクセル間で輝度値の信号経過に跳躍個所の発生する可能性があり、このことで高い周波数のスペクトル成分が引き起こされ、その結果、不所望かつ不必要な符号化の手間がかかるようになり、ひいては伝送容量に対する不所望かつ不必要な要求が課されるようになってしまう。
第２にこの方法は、正方形の画像セグメントによるブロックベースの方式に制約されてしまう。
標準画像変換方式をもはや適用できないことから、文献［１］，［２］，［３］から公知の手法の場合、上述の公知の手法を利用する符号化ユニットのためにかなりのコストがかかる。
標準変換方式は文献［５］から公知である。
文献［６］から画像信号符号化装置が知られており、これによれば第１の画像領域から第２の画像領域への信号経過において信号の外挿が行われる。この信号外挿は、第１の画像領域周縁部における信号経過のミラーリングによって行われる。
文献［７］には信号外挿の異なる実現手法が開示されており、これによれば信号経過特性の周期的な継続、対称的な継続ならびに値を一定にした継続が行われる。
文献［６］と［７］により公知の手法すべてについて欠点となるのは、信号経過特性および外挿された信号経過特性から生じる信号全体に対するスペクトル変換により、不所望なことに高いスペクトル成分が多数発生することであり、つまりは高い方のスペクトル領域に、付加的に符号化して伝送しなければならない多くのスペクトル係数が生じることである。
したがって本発明の課題は、結果として画像セグメント目標形状の画像セグメントをもつことになる任意の形状の画像セグメントにおけるピクセルを処理するための方法において、画像セグメント目標形状の画像セグメント内で輝度値および／または色値の信号経過特性が、もとの画像セグメント内には位置しない領域内では滑らかな経過特性をもつようにするとともに、もとの画像セグメントともとの画像セグメント内には位置しない領域との境界領域では、信号経過にできるかぎり跳躍個所が生じないようにすることである。
この課題は、請求項１記載の方法により解決される。
本発明の方法によれば、第１の画像セグメントのピクセルに輝度値および／または色値が割り当てられ、その際、第１の画像セグメントは任意の形状を有するものとすることができる。これらの輝度値および／または色値は、やはり任意の形状をもつ第２の画像セグメントのピクセルに対し外挿される。外挿にあたり留意されることは、第２の画像セグメントにおけるピクセルの輝度値および／または色値に関する信号経過が滑らかになるようにする点である。さらにこの外挿は、第１の画像セグメントのピクセルと第２の画像セグメントのピクセルの移行領域において、輝度値および／または色値の信号経過にできるかぎり跳躍個所が生じないように実行される。つまり外挿にあたり、第１の画像セグメントと第２の画像セグメントの間の境界領域も同様に滑らかにされる。
本発明による方法により、第１の画像セグメントにおけるピクセルの輝度値および／または色値に関する信号経過を、第２の画像セグメントのピクセルに対し外挿することができるようになり、その際、信号経過における高い空間周波数つまりは高いスペクトル成分したがってかなり高い周波数に対するスペクトル係数ができるかぎり回避される。その結果、一般に量子化し符号化し伝送しなければならないスペクトル係数が削減されることになる。したがって画像符号化において、スペクトル係数の量子化、符号化ならびに伝送にあたり著しい節約が実現される。
従属請求項には本発明の有利な実施形態が示されている。
信号経過の外挿のために、平滑特性をもつディジタルフィルタを使用するのが有利であり、これによって信号経過の平滑化に関する要求が保証される。本発明のこの実施形態によれば、信号経過の外挿が完全に空間領域（space domain）において実行される。
さらに、ディジタルフィルタとして局所平均値フィルタを用いるのが有利である。それというのも、このような平均値フィルタを用いることで平滑化規準について最適な外挿が達成されるからである。
さらに有利であるのは、方法開始にあたり第２の画像セグメントにおける各ピクセルの輝度値および／または色値を所定値で初期化することであり、たとえば第１の画像セグメントにおける各ピクセルの輝度値および／または色値に関する平均値によって初期化する。このようにすることで、この方法の結果がいっそう改善される。
また、この方法を何回も繰り返して実行するのが有利であって、このことで平滑特性がさらにいっそう改善される。
しかし本発明による方法は必ずしも空間領域だけで実行されなくてもよく、変形実施形態も可能である。この場合、第１の関数が形成され、これは少なくとも第１の項と第２の項から成り、これらによって第１の画像セグメントにおいてオリジナルに対する忠実性の規準が保証されるとともに、輝度値および／または色値の外挿における平滑規準も保証される。
また、本発明の１つの実施形態によれば、第２の画像セグメントにおける補われる信号経過を記述する一般的に受け入れられる関数に基づき、本発明による方法においてこの関数をスペクトル領域に変換し、変換された関数を第１の関数に代入し、第１の関数を最小化するのが有利である。結果として生じる線形の等式がスペクトル係数について解かれ、対応するスペクトル係数が量子化され、符号化され、伝送される。
整数計算の用いられる本発明の方法の実施形態によれば、この方法を実施するための計算時間やハードウェアコストの著しい節約が実現される。
さらに有利であるのは、第１の画像セグメントと第２の画像セグメントがいっしょになって１つの正方形を成すようにすることである。このことにより、標準化されているブロックベースの画像符号方式たとえばＤＣＴおよびそのために存在する最適なハードウェアモジュールならびにソフトウェアによる実現手法を利用できるようになる。つまり、任意の第１の画像セグメントに対しこの方法の枠内で、方法実行後にブロックベースの変換符号化のための標準モジュールを使用することができる。これによって、いわゆるオブジェクトベースの画像符号化においても著しくコストが節約されるようになる。
次に、図面を参照しながら本発明の２つの実施例について詳細に説明する。
図面
図１は、個々のピクセルと第１の画像セグメントと第２の画像セグメントを有する画像を示す図である。
図２は、本発明による方法の個々のステップを示すフローチャートである。
図３は、本発明による方法の第１の実施例における個々のステップを示すフローチャートである。
図４は、本発明による方法の第２の実施例における個々のステップを示すフローチャートである。
図５ａ〜図５ｃは、外挿前と外挿後の画像セグメントにおけるピクセルならびに所属の輝度値または色値を示す図である。
図６は、実例として本発明を実行するカメラと２つのコンピュータと２つのディスプレイから成る装置構成を示す図である。
図１には、任意の個数のピクセルＢＰを有するディジタル画像Ｂが示されている。いわゆるオブジェクトベースの画像符号化方式の場合、１つの画像ＢのピクセルＢＰはそのセマンティクスに従って画像オブジェクトＢＯにセグメント化される。オブジェクトベースの画像符号化方式の場合、画像オブジェクトＢＯの少なくとも一部分をその画像オブジェクトＢＯには属さないピクセルＢＰとともに符号化して伝送するのが有利であるし、あるいはそのことが必要である。この種の実例は図１の場合、画像オブジェクトＢＯにおけるピクセルの少なくとも一部分を有する第１の画像セグメントＢＳ１におけるピクセルＢＰによって描かれている。さらに図１には第２の画像セグメントＢＳ２が描かれており、このセグメントは第１の画像セグメントＢＳ１には属さない別のピクセルＢＰを有している。第１の画像セグメントＢＳ１内に存在するピクセルＢＰのことを、以下では第１セグメントＢＳ１のピクセルＢＳ１と称する。また、第２のピクセルＢＳ２内に存在するピクセルのことを、以下では第２セグメントＢＳ２のピクセルＢＰＳ２と称する。
第１の画像セグメントＢＳ１も第２の画像セグメントＢＳ２も、個々で述べる方法の範囲内において任意の形状をもつことができる。
第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２がいっしょになって合成画像セグメントＳＢＳが形成され、これには第１のセグメントＢＳ１におけるすべてのピクセルＢＰＳ１と第２の画像セグメントＢＳ２におけるすべてのピクセルＢＰＳ２が含まれている。
実例として描いた図面では合成画像セグメントＳＢＳは正方形であるが、これは本発明による方法をこの方法の有利な実施形態としてみやすく表しただけのものである。しかしながら、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２の形状について、さらには合成画像セグメントＳＢＳの形状について、いかなる制約もないことは、当業者にとって自明である。
画像ＢのピクセルＢＰには通常、輝度値（ルミナンス値）および／または色値が割り当てられている。言葉で簡単に表現できるようにするため、以下ではこの方法についてピクセルＢＰに対応づけられた輝度値だけに基づいて説明する。しかしこの方法は何の変更もなく、ピクセルＢＰに割り当てられた色値だけに対しても実行できるし、あるいは輝度値と色値についても実行可能である。
輝度値（および／または色値）は一般に画像符号化方式においてスペクトル領域に変換され、それによって各ピクセルＢＰに割り当てられたスペクトル係数が形成される。一般的な画像符号化方式では、ピクセルＢＰのスペクトル係数および／またはスペクトル係数の差分情報が量子化され、伝送される。
合成画像セグメントＳＢＳの特殊な形状に特化された画像符号化方式も利用できるようにするためには、たとえば第１の画像セグメントＢＳ１がその画像符号化方式において処理可能な特別な画像セグメント形状とは異なる形状をもっているにもかかわらず、正方形の合成画像セグメントＳＢＳに特化されているような画像符号化方式も利用できるようにするためには、信号の外挿を実行する必要がある。
信号の外挿は信号の補間とも呼ばれる。信号の外挿は、第１の画像セグメントＢＳ１から第２の画像セグメントＢＳ２に対して行われる。第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２がいっしょになって合成セグメント画像ＳＢＳが形成される。この特別な実施例では、合成画像セグメントＳＢＳは正方形であるものの、合成画像セグメントＳＢＳの形状はまったく任意である。
画像ＢのピクセルＢＰの輝度値により、ピクセルＢＰに関する輝度値の信号経過が生じる。相応に、第１の画像セグメントＢＳ１における各ピクセルＢＰＳ１の輝度値によって、第１の画像セグメントＢＳ１の各ピクセルＢＰＳ１に関する輝度値の信号経過が形成される。さらに、第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値によって、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２に関する輝度値の信号経過が形成される。
この方法により、輝度値からスペクトル領域への変換が、後で述べる信号外挿により不必要な高いスペクトル成分つまりはスペクトル係数ができるかぎり生じないように行われるようになる。
信号外挿にあたり、第１の画像セグメントＢＳ１における各ピクセルＢＰＳ１の輝度値の信号経過が、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値に対し外挿される。
信号外挿において、第２の画像セグメントＢＳ２のピクセルＢＰＳ２に対し一定の輝度値を割り当てることは公知である［４］。しかし、第２の画像セグメントＢＳ２のすべてのピクセルＢＰＳ２に対し一定の均一な値を割り当てることで、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２との間の境界領域ＧＢに跳躍個所が発生してしまう。そして境界領域ＧＢにおける輝度値の信号経過における跳躍個所によって、高い周波数のスペクトル係数が生じることになり、その結果、符号化や量子化が煩雑になり、ひいてはディジタル画像Ｂの符号化と伝送における伝送コストが高まってしまう。
この場合、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２におけるピクセルＢＰＳ１，ＢＰＳ２が隣り合う領域を、境界領域ＧＢと称する。境界領域ＧＢを、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２におけるじかに隣り合うピクセルＢＰＳ１を越えて広がっていてもよいし、個々の画像セグメントＢＳ１，ＢＳ２における他のピクセルＢＰＳ１，ＢＰＳ２まで広がっていてもよい。
公知の手法における欠点である境界領域ＧＢの跳躍個所を回避する目的で、画像ＢのピクセルＢＰに輝度値（および／または色値）を割り当てる本発明の方法によれば、第１の画像セグメントＢＳ１のピクセルＢＰＳ１の輝度値が第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値に対し外挿される（図２のステップ２０１，２０２参照）。
信号の外挿は、補われるブロックの符号化つまり第２の画像セグメントＢＳ２のピクセルＢＰＳ２の符号化に必要な手間ないしはコストが、できるかぎり抑えられるように実行される。
この目的で、信号の外挿は次のようにして行われる。すなわち、
−第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値は、できるかぎり滑らかな経過をもつようにする。
−これと同時に、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２との間の境界領域ＧＢにおいて、輝度値の信号経過に跳躍個所が生じないようにする。
これら両方の要求は以下のことにより満たされる。すなわち、信号の外挿にあたり第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値の信号経過を滑らかにするとともに（ステップ２０３）、第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値の信号経過を、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２との間の境界領域ＧＢにおける第１の画像セグメントＢＳ１のピクセルＢＰＳ１の輝度値に整合させる（ステップ２０４）。
次に、実例として上述のステップを実現可能な２つの実施形態について説明する。
実施例１：空間領域における解決手段
図３には、”平滑化”信号外挿実現に関する第１の実施例のフローチャートが描かれている。
この実施例では信号補間のために、平滑特性をもつディジタルフィルタが使用される。この方法において利用可能なディジタルフィルタは、たとえば局所平均値フィルタまたはメジアンフィルタあるいはローパス特性を持つ任意のディジタルフィルタである。
以下、第１の実施例について局所平均値フィルタを用いて説明するが、これが唯一の解決手段ではないことを理解されたい。
図面に示されているようにこの実施形態の場合、ディジタルフィルタのフィルタマスクが、第２のセグメントＢＳ２におけるピクセルＢＰＳ２の少なくとも一部分の上に”置かれ”（ステップ３０１）、このことにより第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の少なくとも一部分についてディジタルフィルタの演算子に応じて、隣り合うピクセルから新たな輝度値たとえば輝度値の平均値が、第２の画像セグメントＢＳ２の個々のピクセルＢＰＳ２について求められる（ステップ３０２）。”平均値”は、第２の画像セグメントＢＳ２の個々のピクセルＢＰＳ２に割り当てられる（ステップ３０３）。
局所平均値フィルタの特別な事例としてたとえば、第２の画像セグメントＢＳ２の個々のピクセルＢＰＳ２に関して、第２の画像セグメントＢＳ２の個々のピクセルＸijに割り当てられる新たな輝度値を求めるためには、以下の規則ようになる。ここで第１の添字ｉは、ピクセルＸijの存在する個々の行を表し、列の添字ｊは、個々のピクセルＸijの存在する列を表す。
式（１）の場合、新たな輝度値を求める際にそれぞれ４つのダイレクトに隣り合うピクセルが含まれているにしても（これは個々のピクセルＸijの上に置かれる十字形のフィルタマスクに相応する）、フィルタマスクの形状は任意であり、つまり個々のピクセルＸijのための新たな輝度値を求めるために、任意の場所を利用できる。
第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の新たな輝度値を求めるための上述の規則は、第２の画像セグメントＢＳ２における任意の個数のピクセルＢＰＳ２に対して実行され、有利にはすべてのピクセルについて実行される。
なお、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値を方法開始にあたり所定の値によって初期化するのが有利であると判明しており、たとえば第１の画像セグメントＢＳ１におけるピクセルＢＰＳ１の少なくとも一部分の輝度値に関する平均値によって初期化するのが有利であると判明した。
このようにすることでこの方法の結果がさらに改善され、このことで必要とされる伝送容量をさらに低減できるようになる。
また、この実施形態によれば、本発明による方法の１つの実施形態である後述の反復手法が加速される。なぜならば、適切な初期化を行えばその実施形態における所要反復回数が著しく僅かになるからである。
さらに本発明による方法の１つの実施形態によれば、この方法を合成セグメントＳＢＳのために反復してつまり何度も実行される。この場合、本発明による方法の枠内でラプラス演算子を利用するならば、たとえば以下の反復規則が用いられる：
本発明による方法を何度も実行すれば、つまり何度も反復すれば、境界領域ＧＢにおいても第２の画像セグメントＢＳ２においても平滑特性が著しく改善される。
しかし反復回数が増えているにつれ、反復ステップごとに改善具合が低減するので、本発明による方法の実施形態として反復を終了させるための中止規準を設けるのが有利である。
本発明の枠内で、中止規準の種々の実施形態が設けられている。
この方法の開始にあたり、個々の合成セグメントＳＢＳに対しこの方法が何回実行されるべきかをまえもって設定することができる。
さらに、反復が行われるたびに、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値の少なくとも一部分の変化の和を求め、それを少なくとも先行の反復において形成された変化の和と比較することができる。両方の和の間における差が所定の第１の閾値ＳＷ１よりも小さければ、それ以上反復を実行する必要はない。
また、変化の和をそれまで行われた反復の和について任意に形成された平均値と比較することもできる。
さらに、中止規準として以下の規則を適用するように構成することもできる。すなわち、１回反復が行われた後、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値の少なくとも一部分の変化に関する平均値が求められ、この平均値が少なくとも１回前の反復における輝度値の変化に関する平均値と比較される。これら両方の平均値の差が所定の第２の閾値ＳＷ２よりも小さければ、もはや反復を行う必要はない。
本発明の１つの実施形態によれば、合成画像セグメントＳＢＳ外に位置するピクセルＢＰは、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値の形成にあたり考慮されないように構成されている。
したがって局所平均値演算子の特別な事例として、たとえば式（１）、（２）中の係数
図５ａには、合成画像セグメントＳＢＳが実例として描かれた輝度値とともに示されている。この場合、”＋”によって、方法開始時の第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値がシンボリックに描かれている。
図５ｂには、局所平均値フィルタを使用してこの方法を実行した後の合成画像セグメントＳＢＳが描かれている。この場合、この方法を何回か反復した後の第１の画像領域ＢＳ１におけるピクセルＢＰＳ１の平均値１２０によって、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２が初期化されている。
この図によれば、境界領域ＧＢではたいして大きな跳躍個所がないことが示されているとともに、第２の画像セグメントＢＳ２におけるピクセルの輝度値に関する信号経過は平滑化された経過を有していることも示されている。
実施例２：周波数領域における解決手段
以下では、上述の規準の別の可能な構成について示す。
この目的で、次に第１の関数Ｆ１について説明し、これはたとえば次式によって形成される：
ここでｆ（ｘij）により所定の元の関数が表され、つまり画像Ｂにおける各ピクセルＢＰの輝度値（および／または色値）に関する信号経過が表される。
また、ｇ（ｘij）により補われる関数が表され、これは第２の画像セグメントＢＳ２へのもとの関数ｆ（ｘij）の信号外挿により形成される。この補われる関数を以下では補われる信号経過ｇ（ｘij）と称する。
補われる信号経過ｇ（ｘij）は、方法の最初ではまだ未知である。
第１の項は、補われる信号経過ｇ（ｘij）を方法が実行されたあとでも第１の画像セグメントＢＳ１におけるもとの関数ｆ（ｘij）と一致させる役割を果たす。
第２の項は通常、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の信号経過のための平滑化規準を有する。
平滑化規準により、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値についてできるかぎり滑らかな信号経過が得られるようにするとともに、境界領域ＧＢにおいて跳躍個所ができるかぎり僅かになるようにする。
補われる信号経過ｇ（ｘij）は、スペクトル領域において数学的な級数として表すことができ、つまり以下の構造を成す積の和である。
スペクトル係数ｃklを求める目的で、そしてその際、第２の画像セグメントＢＳ２においてできるかぎり滑らかな信号経過が得られ、かつ境界領域においてできるかぎり滑らかな信号経過が得られるようにする目的で、中間関数ＺＦ１が最小化される。
これは個々のスペクトル係数ｃklについて中間関数ＺＦ１を微分することにより行われ（ステップ４０３）、”最適な”スペクトル係数ｃklを求めるために、生じた線形の等式がゼロと等しくなるようにされる。
これにより、上述の規準に関して”最適な”スペクトル係数ｃklを求めるための一義的に解くことのできる線形の等式が得られる。
この線形の等式が解かれた後、上述の規準に関して最適なスペクトル係数ｃklが求められる（ステップ４０４）。
図５ｃには、例として選ばれたパラメータ値λ＝１００に関して周波数範囲で本発明による方法を実行した後の図５ａの実例が描かれている。パラメータ値λは、達成可能な結果に関してかなりノンクリティカルであることから、実質的に任意に選定できる。
第２の項において、有利には平滑化規準として補われる信号経過ｇ（ｘij）の任意の導関数を用いることができる。
しかし本発明の１つの実施形態によれば、２次導関数を用いるのが有利である。それというのも、そのような場合であれば、生じる線形の等式をいっそう容易に解くことができるようになるからである。
また、第１の関数Ｆ１の第２の項は、必ずしも上述の構造を成していなくてもよい。
本発明による方法全体つまり上述の２つの実施例両方についての１つの実施形態によれば、方法実行にあたり整数計算が用いられる。
この実施形態により、本発明による方法を実行するのに必要とされるハードウェアが著しく簡単になる。さらに、コンピュータによって本発明による方法を実装した場合に、著しく加速が実現される。
本発明による方法は、たとえば離散コサイン変換などの変換符号化の枠内でも適用できるし、Wavelet変換またはサブバンド変換の枠内でも適用できる。なお、このコンテキストで”〜の変換の枠内で”という表現は、実施例１の場合には、求められた信号経過が対応する変換に送られることを意味し、実施例２では基底関数が採用された変換に応じて選ばれることを意味する。
図６には殊に、本発明による方法を実行する第１のコンピュータＲ１が描かれている。
さらに図６にはカメラＫＡが描かれており、このカメラによって画像シーケンスが撮影され、これは第１のコンピュータＲ１においてディジタル画像Ｂのシーケンスに変換される。ディジタル画像Ｂは、第１のコンピュータＲ１のメモリＳＰ１に格納される。さらに第１のコンピュータＲ１のための構成として、ディスプレイＢ１が設けられている。
ディジタル化された画像Ｂの伝送にあたり、ディジタル画像Ｂの伝送前に個々の画像セグメントＢＳ１，ＢＳ２に対し、本発明による方法が実行される。そして結果として生じたスペクトル係数が、チャネルＫを介して第２のコンピュータＲ２へ伝送され、そこにおいてそれらの係数は第２のメモリＳＰ２に格納される。逆の変換符号化および逆のコンフォーマルマッピング（等角写像）の実行後、ディジタル画像Ｂが第２のコンピュータＲ２において再構成され、第２のディスプレイＢ２上でユーザに対し表示される。
本明細書では以下の文献を引用した。
[1] M. Gilge, T. Engelhardt und R. Mehian, Coding of 5 arbitrarily shaped image segments based on a generalized orthogonal transform, Singnal Processing:
Image Communication 1, p.153-180, Oktober 1989
[2] T. Sikora und Bela Makai, Shape-adaptive DCT for generic coding of video, IEEE Trans. Circuits and Systems for Video Technology 5, p.59-62, Februar 1995
[3] T. Sikora, S. Bauer und Bela Makai, Efficiency of shape-adaptive 2-D transforms for coding of arbitrary shaped image segments, IEEE Trans.Circuits and Systems for Video Technology 5, p.254-258, Juni 1995
[4] I. Donescu et al, A Comparison of Efficient Methods for the Coding of Arbitrarily Shaped Image Segments, Proceedings of Picture Coding Symposium, Melbourne, p.13.-15. 3. 1996, p.181-186, 1996
[5] R. J. Clarke:Transform Coding of Images, Academic Press, London, p.72-134, 1985
[6] DE 41 36 636 Al
[7] J. -R. Ohm, Digitale Bildcodierung, Springer, Berlin, ISBN 3-540-58579-6S. 32-49, 1995
Claims (36)
- 任意の形状をもつ第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰＳ１）をコンピュータにより処理する方法において、
第１の画像セグメント（ＢＳ１）における各ピクセル（ＢＰＳ１）に対し輝度値および／または色値を割り当て（ステップ２０１）、
該輝度値および／または色値を、任意の形状をもつ第２の画像セグメント（ＢＳ２）のピクセルに対して外挿し（ステップ２０２）、
該外挿により、前記第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値に関する信号経過を平滑化し（ステップ２０３）、
該外挿により、前記第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値に関する信号経過を、前記の第１の画像セグメント（ＢＳ１）と第２の画像セグメント（ＢＳ２）との間の境界領域（ＧＢ）における前記第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）に関する輝度値および／または色値に整合させ（ステップ２０４）、
前記外挿のために平滑特性をもつフィルタを用い、
前記第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値を、方法開始にあたり所定値によって初期化し、
該所定値を、第１の画像セグメント（ＢＳ１）における各ピクセル（ＢＰＳ１）の輝度値および／または色値に関する平均値とすることを特徴とする、
画像セグメントにおけるピクセルをコンピュータにより処理する方法。 - 前記の外挿のために平滑特性をもつディジタルフィルタを用いる、請求項１記載の方法。
- 第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値の外挿を、第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）に隣り合っている第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）に基づき行う、請求項１または２記載の方法。
- ディジタルフィルタとして局所平均値フィルタを用いる、請求項２または３記載の方法。
- ディジタルフィルタとしてメジアンフィルタを用いる、請求項２または３記載の方法。
- 方法実行を何回も繰り返す、請求項１〜５のいずれか１項記載の方法。
- 反復を行った後、第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値の少なくとも一部分に関して、少なくとも１回前の反復と比較した変化の和が、所定の第１の閾値（ＳＷ１）よりも小さくなるまで、方法実行を繰り返す、請求項６記載の方法。
- 反復を行った後、第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値の少なくとも一部分に関して、少なくとも１回前の反復と比較した変化の平均値が、所定の第２の閾値（ＳＷ２）よりも小さくなるまで、方法実行を繰り返す、請求項６記載の方法。
- 反復を行った後、第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値の少なくとも一部分に関して、少なくとも１回前の反復と比較した変化が、所定の第３の閾値（ＳＷ３）よりも小さくなるまで、方法実行を繰り返す、請求項６記載の方法。
- 外挿のため、少なくとも第１の項と第２の項を有する第１の関数（Ｆ１）を形成し、
前記第１の項により、第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰＳ１）の輝度値および／または色値に関する信号経過をできるかぎり維持し、
前記第２の項により、第２画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に関する信号経過を滑らかにし、
前記第２の項により、第２画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に関する信号経過を、第１の画像セグメント（ＢＳ１）と第２の画像セグメント（ＢＳ２）との間の境界領域（ＧＢ）における第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）の輝度値および／または色値に適合調整させる、
請求項１記載の方法。 - 前記第１の項を、第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰＳ１）の輝度値および／または色値に関する信号経過（ｆ（ｘij））と、第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘij））の差から求める、請求項１０記載の方法。
- 前記第２の項を少なくとも、第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘij））の任意の微分により生成する、請求項１０または１１記載の方法。
- 前記第２の項を少なくとも、第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘij））の２次導関数により生成する、請求項１２記載の方法。
- 補われる信号経過（ｇ（ｘij））をスペクトル領域に変換し、変換された捕われる信号経過（ｇ（ｘij））はスペクトル係数を有し、
変換された補われる信号経過（ｇ（ｘij））を第１の関数（Ｆ１）に代入することで中間関数を形成し、
個々のスペクトル係数について中間関数を微分してゼロと等しくなるようにすることで線形の等式を形成し、
スペクトル係数について該線形の等式を解くことで、スペクトル係数の値を求める、
請求項１０〜１３のいずれか１項記載の方法。 - 整数計算を使用する、請求項１〜１４のいずれか１項記載の方法。
- 第１の画像セグメント（ＢＳ１）と第２の画像セグメント（ＢＳ２）がいっしょになって正方形を成す、請求項１〜１５のいずれか１項記載の方法。
- 変換符号化において使用する、請求項１〜１６のいずれか１項記載の方法。
- 離散コサイン変換（ＤＣＴ）において使用する、請求項１〜１６のいずれか１項記載の方法。
- Wavelet変換において使用する、請求項１〜１６のいずれか１項記載の方法。
- サブバンド変換において使用する、請求項１〜１６のいずれか１項記載の方法。
- 任意の形状をもつ第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰＳ１）を処理する装置において、
計算ユニットが設けられており、該計算ユニットによれば、
第１の画像セグメント（ＢＳ１）における各ピクセル（ＢＰＳ１）に対し輝度値および／または色値が割り当てられ、
該輝度値および／または色値が、任意の形状をもつ第２の画像セグメント（ＢＳ２）のピクセルに対して外挿され、
該外挿により、前記第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値に関する信号経過が平滑化され、
該外挿により、前記第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値に関する信号経過が、前記の第１の画像セグメント（ＢＳ１）と第２の画像セグメント（ＢＳ２）との間の境界領域（ＧＢ）における前記第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）に関する輝度値および／または色値に整合され、
前記計算ユニットにおいて、外挿のために平滑特性をもつフィルタが設けられており、
前記第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値を、最初に所定値によって初期化し、該所定値を、第１の画像セグメント（ＢＳ１）における各ピクセル（ＢＰＳ１）の輝度値および／または色値に関する平均値とする手段が設けられていることを特徴とする、画像セグメントにおけるピクセルを処理する装置。 - 前記計算ユニットにおいて、外挿のために平滑特性をもつディジタルフィルタが使用される、請求項２１記載の装置。
- 前記計算ユニットにおいて、第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値および／または色値の外挿は、第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）に隣り合っている第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）に基づき行われる、請求項２１または２２記載の装置。
- 前記計算ユニットにおいて、ディジタルフィルタとして局所平均値フィルタが使用される、請求項２２または２３記載の装置。
- 前記計算ユニットにおいて、ディジタルフィルタとしてメジアンフィルタが使用される、請求項２２または２３記載の装置。
- 前記計算ユニットにおいて、外挿のため、少なくとも第１の項と第２の項を有する第１の関数（Ｆ１）が形成され、
前記第１の項により、第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰＳ１）の輝度値および／または色値に関する信号経過ができるかぎり維持され、
前記第２の項により、第２画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に関する信号経過が滑らかにされ、
前記第２の項により、第２画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に関する信号経過が、第１の画像セグメント（ＢＳ１）と第２の画像セグメント（ＢＳ２）との間の境界領域（ＧＢ）における第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）の輝度値および／または色値に適合調整される、
請求項２１記載の装置。 - 前記計算ユニットにおいて、前記第１の項は、第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰＳ１）の輝度値および／または色値に関する信号経過（ｆ（ｘij））と、第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘij））の差から求められる、請求項２６記載の装置。
- 前記計算ユニットにおいて、前記第２の項は少なくとも、第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘij））の任意の微分により生成される、
請求項２６または２７記載の装置。 - 前記計算ユニットにおいて、前記第２の項は少なくとも、第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘij））の２次導関数により生成される、請求項２８記載の装置。
- 前記計算ユニットにおいて、補われる信号経過（ｇ（ｘij））がスペクトル領域に変換され、変換された補われる信号経過（ｇ（ｘij））はスペクトル係数を有しており、
変換された補われる信号経過（ｇ（ｘij））が第１の関数（Ｆ１）に代入されることにより中間関数が形成され、
個々のスペクトル係数について中間関数が微分されてゼロと等しくなるようにされることで線形の等式が形成され、
スペクトル係数について該線形の等式が解かれることによりスペクトル係数の値が求められる、
請求項２６〜２９のいずれか１項記載の装置。 - 前記計算ユニットにおいて整数計算が使用される、請求項２１〜３０のいずれか１項記載の装置。
- 前記計算ユニットにおいて、第１の画像セグメント（ＢＳ１）と第２の画像セグメント（ＢＳ２）がいっしょになって正方形を成す、請求項２１〜３１のいずれか１項記載の装置。
- 変換符号化において使用される、請求項２１〜３２のいずれか１項記載の装置。
- 離散コサイン変換（ＤＣＴ）において使用される、請求項２１〜３２のいずれか１項記載の装置。
- Wavelet変換において使用される、請求項２１〜３２のいずれか１項記載の装置。
- サブバンド変換において使用される、請求項２１〜３２のいずれか１項記載の装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19625402A DE19625402A1 (de) | 1996-06-25 | 1996-06-25 | Verfahren zur Bearbeitung von Bildpunkten eines Bildsegments durch einen Rechner |
| DE19625402.7 | 1996-06-25 | ||
| PCT/DE1997/001209 WO1997050254A1 (de) | 1996-06-25 | 1997-06-13 | Verfahren und vorrichtung zur bearbeitung von bildpunkten eines bildsegments durch einen rechner |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000512821A JP2000512821A (ja) | 2000-09-26 |
| JP4001629B2 true JP4001629B2 (ja) | 2007-10-31 |
Family
ID=7797963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP50207698A Expired - Fee Related JP4001629B2 (ja) | 1996-06-25 | 1997-06-13 | コンピュータにより画像セグメントのピクセルを処理する方法および装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6553139B1 (ja) |
| EP (1) | EP0908056B1 (ja) |
| JP (1) | JP4001629B2 (ja) |
| DE (2) | DE19625402A1 (ja) |
| WO (1) | WO1997050254A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6721446B1 (en) | 1999-04-26 | 2004-04-13 | Adobe Systems Incorporated | Identifying intrinsic pixel colors in a region of uncertain pixels |
| US7136525B1 (en) * | 1999-09-20 | 2006-11-14 | Microsoft Corporation | System and method for background maintenance of an image sequence |
| US6894704B1 (en) * | 1999-11-22 | 2005-05-17 | Adobe Systems Incorporated | Processing complex regions of illustration artwork |
| US6859553B1 (en) * | 2001-03-23 | 2005-02-22 | Adobe Systems Incorporated | Flattening images with abstracted objects |
| US7181687B2 (en) * | 2002-06-27 | 2007-02-20 | Adobe Systems Incorporated | Previewing the effects of flattening transparency |
| US8229193B2 (en) * | 2008-09-03 | 2012-07-24 | General Electric Company | System and methods for applying image presentation context functions to image sub-regions |
| CN117649420A (zh) * | 2023-11-14 | 2024-03-05 | 北京医百科技有限公司 | 确定图像中目标区域的膨胀域的方法、装置及电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4136636A1 (de) * | 1991-11-07 | 1993-07-01 | Bosch Gmbh Robert | Einrichtung zur codierung von bildsignalen |
| FR2708166A1 (fr) * | 1993-07-22 | 1995-01-27 | Philips Laboratoire Electroniq | Procédé de traitement d'images numérisées pour la détection automatique de sténoses. |
| US5422963A (en) * | 1993-10-15 | 1995-06-06 | At&T Corp. | Block transform coder for arbitrarily shaped image segments |
| US5613013A (en) * | 1994-05-13 | 1997-03-18 | Reticula Corporation | Glass patterns in image alignment and analysis |
| US5867602A (en) * | 1994-09-21 | 1999-02-02 | Ricoh Corporation | Reversible wavelet transform and embedded codestream manipulation |
| US6044165A (en) * | 1995-06-15 | 2000-03-28 | California Institute Of Technology | Apparatus and method for tracking handwriting from visual input |
-
1996
- 1996-06-25 DE DE19625402A patent/DE19625402A1/de not_active Withdrawn
-
1997
- 1997-06-13 EP EP97930319A patent/EP0908056B1/de not_active Expired - Lifetime
- 1997-06-13 US US09/202,992 patent/US6553139B1/en not_active Expired - Fee Related
- 1997-06-13 JP JP50207698A patent/JP4001629B2/ja not_active Expired - Fee Related
- 1997-06-13 WO PCT/DE1997/001209 patent/WO1997050254A1/de active IP Right Grant
- 1997-06-13 DE DE59711857T patent/DE59711857D1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0908056A1 (de) | 1999-04-14 |
| EP0908056B1 (de) | 2004-08-18 |
| DE59711857D1 (de) | 2004-09-23 |
| JP2000512821A (ja) | 2000-09-26 |
| DE19625402A1 (de) | 1998-01-02 |
| US6553139B1 (en) | 2003-04-22 |
| WO1997050254A1 (de) | 1997-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
| JP4920599B2 (ja) | ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ | |
| JP5107495B2 (ja) | 品質ベースのイメージ圧縮 | |
| US6983079B2 (en) | Reducing blocking and ringing artifacts in low-bit-rate coding | |
| CA1333501C (en) | Hierarchical encoding method and apparatus for efficiently communicating image sequences | |
| US5699121A (en) | Method and apparatus for compression of low bit rate video signals | |
| JP2933457B2 (ja) | ウェーブレット変換符号化方法 | |
| US5751362A (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| US5689306A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| Kaup | Object-based texture coding of moving video in MPEG-4 | |
| US5661524A (en) | Method and apparatus for motion estimation using trajectory in a digital video encoder | |
| KR20010033797A (ko) | 스케일 가능한 계층적 움직임 추정을 실행하는 장치 및방법 | |
| JP2008011552A (ja) | オブジェクトベースのビデオ圧縮プロセス | |
| JP2005515727A (ja) | 複合文書の圧縮のためのコーダに整合したレイヤ分離および補間 | |
| JP2002506585A (ja) | マスクおよび丸め平均値を使用したオブジェクトベースの符号化システムのためのスプライト生成に関する方法 | |
| JPH08265761A (ja) | 映像データ後処理方法 | |
| EP2104918A2 (en) | System and method for reducing artifacts in images | |
| AU2004223358A1 (en) | Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression | |
| EP2145476A1 (en) | Image compression and decompression using the pixon method | |
| JP4001629B2 (ja) | コンピュータにより画像セグメントのピクセルを処理する方法および装置 | |
| JPH0955943A (ja) | 映像信号符号化装置 | |
| KR20050085368A (ko) | 블록화 아티팩트들을 측정하는 방법 | |
| KR100481498B1 (ko) | 컴퓨터를이용하여이미지세그먼트의이미지포인트를처리하는방법및장치 | |
| KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| JPH0993585A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070815 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130824 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |