JP3794749B2 - 映像信号符号化装置 - Google Patents
映像信号符号化装置 Download PDFInfo
- Publication number
- JP3794749B2 JP3794749B2 JP7867996A JP7867996A JP3794749B2 JP 3794749 B2 JP3794749 B2 JP 3794749B2 JP 7867996 A JP7867996 A JP 7867996A JP 7867996 A JP7867996 A JP 7867996A JP 3794749 B2 JP3794749 B2 JP 3794749B2
- Authority
- JP
- Japan
- Prior art keywords
- divided
- chrominance
- information
- luminance
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号を符号化するための装置に関し、特に、階層的映像分割技法を用いて映像信号を符号化することによって映像の画質を向上させ得る改善された映像信号符号化装置に関する。
【０００２】
【従来の技術】
一般に、従来のテレビ電話、遠隔会議及び高精細度テレビジョン（ＨＤＴＶ）システムのようなディジタルビデオシステムにおいて、映像フレーム信号の映像ライン信号が画素値と呼ばれる一連のディジタルデータを含むために、各映像フレーム信号を規定するためには大量のディジタルデータが必要である。しかし、通常の伝送チャンネルの利用可能な周波数帯域幅は限定されているため、特に、テレビ電話及び遠隔会議のような低ビットレートの映像コーデックシステムの場合に、多量のディジタルデータを伝送するためには、多様なデータ圧縮技法を用いてデータの量を圧縮するか減らさなければならない。
【０００３】
低ビットレートの符号化システムに用いられる映像信号符号化方法のうちの一つに、いわゆる、領域分割に基づく符号化技法がある。
【０００４】
この領域分割に基づく符号化技法において、現映像フレームの入力映像信号は、まず、現映像フレームに含まれる画素の輝度レベルに基づいて複数の分割領域に変換される。通常の映像分割技法のうちでＫーミーンズアルゴリズム(K-means algorithm) が最も広く用いられている。このアルゴリズムでは、各画素は、予め定められた複数の代表輝度レベルのうちで最小のエラー値をもたらす１つの代表輝度レベルに写像されることによって、複数の現分割領域を含む分割現映像が供給される。ここで、各現分割領域は代表輝度レベルの中のいずれか１つを有する。
【０００５】
その後、各現分割領域に含まれる画素の元の輝度レベルに対する平均値が計算される。各現分割領域に写像された予め定められた代表輝度レベルの各々は、それに対応する計算平均値で更新されることによって、更新平均値が発生される。このような写像処理及び更新処理は、新たに更新された各平均値とそれに対応する前に更新された平均値との間の偏差が予め定められた閾値より小さくなるまで、元の入力映像信号に対して順次的に繰り返される。
【０００６】
映像の分割の後に、分割された現在映像の現分割領域の各々は、前に分割された映像に含まれる前分割領域に対して動き予測される。即ち、各現分割領域の最後に更新された平均値と各前分割領域の最後更新された平均値との間の偏差を計算して、最小の偏差をもたらす前分割領域のうちの一つを選択する。その後、各現分割領域に対する動き情報が決定される。この、動き情報は、選択された前領域を表す。
【０００７】
最後に、各現分割領域に対する動き情報は、輪郭及び差分情報と共に符号化される。この輪郭情報は２つの成分（即ち、形状情報と位置情報）で構成される。この形状情報は各輪郭の形態を表し、位置情報は映像に含まれる各輪郭の位置を表す。各現分割領域と選択された前分割領域との間の最後に更新された平均値間の偏差を表す差分情報が符号化される。
【０００８】
しかしながら、通常の分割に基づく符号化技法においては、現分割領域を取り出すために用いられる輝度レベルの変動範囲が現映像と前映像との間のクロミナンスレベルの変動範囲より大きいために、各現分割領域に対する決定された動き情報は正確でなくなり、符号化された映像信号の画質が劣化するという不都合がある。
【０００９】
【発明が解決しようとする課題】
したがって、本発明の主な目的は、映像信号に含まれる画素のクロミナンスレベル及び輝度レベルを階層的に分割する改善された映像分割技法を用いて、映像信号を符号化することによって、符号化された映像信号の画質を向上させ得る映像信号符号化装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、予め定められた数の画素を有する一連の映像フレームを有する入力映像信号を符号化する映像信号符号化装置であって、前記画素の各々は輝度レベルとクロミナンスレベルとで表現され、
前記入力映像信号の現映像フレームに含まれる画素に対する前記クロミナンスレベルを取り出し、現クロミナンス映像を発生するクロミナンス取出手段と、
前記現クロミナンス映像を用いて、分割された複数の現クロミナンス領域を取り出すことによって分割された現クロミナンス領域の各々に対する輪郭情報及びテクスチャ情報を発生する分割手段であって、前記輪郭情報は前記分割された現クロミナンス領域の形状及びその位置を表し、前記テクスチャ情報は前記分割された現クロミナンス領域の各々に含まれる全画素の平均クロミナンスレベルを表す、前記分割手段と、
前記分割された複数の現クロミナンス領域に対する前記輪郭情報及び前記テクスチャを格納すると共に、遅延させて、遅延された情報を分割された前クロミナンス領域に対する輪郭情報及びテクスチャ情報として供給するメモリ手段と、
前記分割された各現クロミナンス領域のテクスチャ情報と前記分割された以各前クロミナンス領域のテクスチャ情報との間の偏差を計算することによって、最小の偏差をもたらす前記分割された前クロミナンス領域のうちのいずれか一つを選択すると共に、前記分割された各現クロミナンス領域に含まれる全画素の位置を表す探索領域情報、前記選択された分割された前クロミナンス領域を表す動き情報、前記分割された各現クロミナンス領域のテクスチャ情報と前記選択された分割された前クロミナンス領域のテクスチャ情報との間の偏差を表す偏差情報を発生する動き予測手段と、
前記探索領域情報に応じて、前記探索領域情報に対応する輝度レベルを有する分割された輝度領域を前記現映像フレームから取り出すと共に、前記分割された輝度領域の輝度レベルを用いて、複数のサブ分割された輝度領域を求めて、前記サブ分割された各輝度領域に対する輪郭情報及びテクスチャ情報を供給する輝度レベル取出手段であって、前記輪郭情報は前記サブ分割された各輝度領域の形状及びその位置を表し、前記テクスチャ情報は前記サブ分割された各輝度領域に含まれる全画素の平均輝度レベルを表す、前記輝度レベル取出手段と、
前記分割された各現クロミナンス領域に対する前記輪郭情報及び前記テクスチャ情報と、前記動き情報及び前記差分情報と、前記サブ分割された各輝度領域に対する前記輪郭情報及び前記テクスチャ情報とを符号化することによって、符号化された映像信号を発生する符号手段とを含む映像信号符号化装置が提供される。
【００１１】
【発明の実施の形態】
以下、本発明の実施例について図面を参照しながらより詳しく説明する。
【００１２】
図１は、本発明による階層的映像分割技法を用いて、映像信号を符号化する新規な映像信号符号化装置１００のブロック図を示す。本発明の映像信号符号化装置１００は、第１フレームメモリ１０と、第２フレームメモリ４０と、第１映像分割処理器２０と、第２映像分割処理器５０と、動き予測器３０と、映像信号符号化器６０とを具える。
【００１３】
図示するように、一連の映像フレームを有する入力映像信号を、フレーム単位で、第１フレームメモリ１０へ供給し、格納する。各映像フレームは、Ｍ×Ｎ個の画素を含む。ここで、各画素を、輝度レベルＬとクロミナンスレベルＣ（ここで、ＭとＮは正数である。）で表現する。本技術分野でよく知られているように、輝度レベルＬは画素の明るさを示し、クロミナンスレベルＣは２つのクロミナンス、即ち、Ｃｒ及びＣｂで示される画素の色情報を表す。
【００１４】
現クロミナンス映像を発生するために、現在映像フレームのクロミナンスデータを、第１映像分割処理器２０のクロミナンス取出回路２１によって第１フレームメモリ１０から取り出す。ここで、クロミナンスデータは、現映像フレームに含まれる画素のクロミナンスレベルを表す。その後、現クロミナンス映像を、第１映像分割処理器２０のクロミナンス分割回路２２へ供給する。
【００１５】
このクロミナンス分割回路２２は、公知のように、通常の映像分割技法のうちの１つ、例えば、Ｋーミンスアルゴリズムを用いて現クロミナンス映像を分割された複数の現クロミナンス領域に変換して、各分割された現クロミナンス領域に対する分割データ（即ち、輪郭情報及びテクスチャ情報）を発生する。ここで、輪郭情報は、分割された現クロミナンス領域の各々に対する形状及びその位置を表し、テクスチャ情報は、分割された現クロミナンス領域の各々に含まれる全画素の最後に更新された平均クロミナンスレベルを表す。
【００１６】
詳述すると、クロミナンス取出回路２１からの現クロミナンス映像に含まれる各クロミナンスレベルを、予め定められた複数の代表クロミナンスレベルと各々比較することによって、これらの間で生じるエラー値が計算される。ここで、代表クロミナンスレベルの数を、映像信号符号化装置の所要のクロミナンス分割効率及び画質に基づいて決定することに注目されたい。その後、各クロミナンスレベルを、最小のエラー値をもたらす代表輝度レベルのうちのいずれか一つに写像するか代替する。
【００１７】
現クロミナンス映像の全画素のクロミナンスレベルに対する写像処理を行うと、写像された代表クロミナンスレベルは、複数の領域に分割される。分割された各領域は、代表クロミナンスの中のいずれか１つに表現された画素を含む。その後、分割された各領域に含まれる画素の元のクロミナンスレベルに対する平均値を計算し、各分割された領域に写像された各代表クロミナンスレベルを対応する平均値で更新することによって、更新された平均値を発生する。
【００１８】
このような写像処理及び更新処理を、新たに更新された各平均値と前に更新された平均値との間の偏差が予め定められた閾値ＴＨより小さくなるまで、画素の元のクロミナンスレベルに対して順次的に繰り返す。
【００１９】
このような写像及び更新処理を完了すると、クロミナンス分割回路２２は、分割された現クロミナンス領域の各々に対する輪郭情報を動き予測器３０に、テクスチャ情報を第２フレームメモリ４０に各々供給する。ここで、輪郭情報及びテクスチャ情報は、前述したような同一の旨を有する。
【００２０】
第２フレームメモリ４０は、クロミナンス分割回路２２から入力された分割された現クロミナンス領域の全体に対する輪郭情報及びテクスチャ情報を格納すると共に、１フレームだけ遅延させる。その後、遅延された輪郭情報及びテクスチャ情報を、分割された複数の前クロミナンス領域に対する輪郭情報及びテクスチャ情報として動き予測器３０へ供給する。
【００２１】
この動き予測器３０は、クロミナンス分割回路２２から直接供給される分割された現クロミナンス領域に対する動き情報を求めるために、まず、各現クロミナンス領域を順次に探索領域に割り当てる。その後、探索領域のテクスチャ情報または最後に更新された平均値と第２フレームメモリ４０から読み取った分割された複数の前クロミナンス領域の最後に更新された平均値との間のエラーを計算すると共に、最小のエラーをもたらす分割された前クロミナンス領域のうちのいずれか一つを選択する。
【００２２】
その後、動き予測器３０は、選択された分割された前クロミナンス領域を探索領域に対する動き情報として決定する。動き予測器３０から映像信号符号化器６０への出力信号は、探索領域の動き情報及び輪郭情報、探索領域のテクスチャ情報及び選択された分割された前クロミナンス領域のテクスチャ情報との間の偏差を表す偏差情報である。また、動き予測器３０から第２映像分割処理器５０への出力信号は、探索領域に含まれる画素の位置を表す探索領域情報である。
【００２３】
図示するように、第２映像分割処理器５０は、輝度取出回路５１と輝度分割回路５２とを含む。動き予測器３０からの探索領域情報に応じて、輝度取出回路５１は、対応する輝度データを第１フレームメモリ１０に格納された現映像フレームから取り出して探索領域に対応する分割された輝度領域を供給する。ここで、輝度データは、分割された輝度領域に含まれる画素の輝度レベルを表す。その後、輝度レベルを含む分割された輝度領域を、輝度分割回路５２へ供給する。
【００２４】
この輝度分割回路５２は、前述したような通常の映像分割技法、即ち、Ｋーミーンズアルゴリズムを用いて分割された輝度領域を更に分割することによって、複数のサブ分割輝度領域を供給する。分割された輝度領域のサブ分割に対して、複数の代表輝度レベルを用いる。ここで、代表輝度レベルの数を、映像信号符号化装置の所要の輝度分割効率及び画質に基づいて決定することに注意されたい。各々のサブ分割された輝度領域に含まれる全画素を、画素の輝度レベルに基づいて求められた最後に更新された平均値で表現する。
【００２５】
輝度分割回路５２から映像信号符号化器６０への出力信号は、各サブ分割された輝度領域に対する輪郭情報及びテクスチャ情報である。ここで、輪郭情報は各サブ分割された輝度領域の形状及びその位置を表し、テクスチャ情報は各サブ分割された輝度領域に含まれる画素の最後に更新された平均値を表す。
【００２６】
映像信号符号化器６０は、動き予測器３０からの探索領域に対する輪郭情報、動き情報及び差分情報と、輝度分割回路５２からの探索領域に対応する各サブ分割された輝度領域に対する輪郭情報及びテクスチャ情報とを符号化する。符号化された映像信号を、その伝送のため伝送器（図示せず）へ送る。
【００２７】
上記に於いて、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００２８】
【発明の効果】
従って、本発明によれば、階層的映像分割技法を用いて、入力映像信号に対する分割及び動き予測を効果的に行うことによって、符号化された映像信号の画質を非常に向上させることができる。
【図面の簡単な説明】
【図１】本発明の階層的映像分割技法を用いる映像信号符号化装置のブロック図である。
【符号の説明】
１０ 第１フレームメモリ
２０ 第１映像分割処理器
３０ 動き予測器
４０ 第２フレームメモリ
５０ 第２映像分割処理器
６０ 映像信号符号化器
【発明の属する技術分野】
本発明は、映像信号を符号化するための装置に関し、特に、階層的映像分割技法を用いて映像信号を符号化することによって映像の画質を向上させ得る改善された映像信号符号化装置に関する。
【０００２】
【従来の技術】
一般に、従来のテレビ電話、遠隔会議及び高精細度テレビジョン（ＨＤＴＶ）システムのようなディジタルビデオシステムにおいて、映像フレーム信号の映像ライン信号が画素値と呼ばれる一連のディジタルデータを含むために、各映像フレーム信号を規定するためには大量のディジタルデータが必要である。しかし、通常の伝送チャンネルの利用可能な周波数帯域幅は限定されているため、特に、テレビ電話及び遠隔会議のような低ビットレートの映像コーデックシステムの場合に、多量のディジタルデータを伝送するためには、多様なデータ圧縮技法を用いてデータの量を圧縮するか減らさなければならない。
【０００３】
低ビットレートの符号化システムに用いられる映像信号符号化方法のうちの一つに、いわゆる、領域分割に基づく符号化技法がある。
【０００４】
この領域分割に基づく符号化技法において、現映像フレームの入力映像信号は、まず、現映像フレームに含まれる画素の輝度レベルに基づいて複数の分割領域に変換される。通常の映像分割技法のうちでＫーミーンズアルゴリズム(K-means algorithm) が最も広く用いられている。このアルゴリズムでは、各画素は、予め定められた複数の代表輝度レベルのうちで最小のエラー値をもたらす１つの代表輝度レベルに写像されることによって、複数の現分割領域を含む分割現映像が供給される。ここで、各現分割領域は代表輝度レベルの中のいずれか１つを有する。
【０００５】
その後、各現分割領域に含まれる画素の元の輝度レベルに対する平均値が計算される。各現分割領域に写像された予め定められた代表輝度レベルの各々は、それに対応する計算平均値で更新されることによって、更新平均値が発生される。このような写像処理及び更新処理は、新たに更新された各平均値とそれに対応する前に更新された平均値との間の偏差が予め定められた閾値より小さくなるまで、元の入力映像信号に対して順次的に繰り返される。
【０００６】
映像の分割の後に、分割された現在映像の現分割領域の各々は、前に分割された映像に含まれる前分割領域に対して動き予測される。即ち、各現分割領域の最後に更新された平均値と各前分割領域の最後更新された平均値との間の偏差を計算して、最小の偏差をもたらす前分割領域のうちの一つを選択する。その後、各現分割領域に対する動き情報が決定される。この、動き情報は、選択された前領域を表す。
【０００７】
最後に、各現分割領域に対する動き情報は、輪郭及び差分情報と共に符号化される。この輪郭情報は２つの成分（即ち、形状情報と位置情報）で構成される。この形状情報は各輪郭の形態を表し、位置情報は映像に含まれる各輪郭の位置を表す。各現分割領域と選択された前分割領域との間の最後に更新された平均値間の偏差を表す差分情報が符号化される。
【０００８】
しかしながら、通常の分割に基づく符号化技法においては、現分割領域を取り出すために用いられる輝度レベルの変動範囲が現映像と前映像との間のクロミナンスレベルの変動範囲より大きいために、各現分割領域に対する決定された動き情報は正確でなくなり、符号化された映像信号の画質が劣化するという不都合がある。
【０００９】
【発明が解決しようとする課題】
したがって、本発明の主な目的は、映像信号に含まれる画素のクロミナンスレベル及び輝度レベルを階層的に分割する改善された映像分割技法を用いて、映像信号を符号化することによって、符号化された映像信号の画質を向上させ得る映像信号符号化装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、予め定められた数の画素を有する一連の映像フレームを有する入力映像信号を符号化する映像信号符号化装置であって、前記画素の各々は輝度レベルとクロミナンスレベルとで表現され、
前記入力映像信号の現映像フレームに含まれる画素に対する前記クロミナンスレベルを取り出し、現クロミナンス映像を発生するクロミナンス取出手段と、
前記現クロミナンス映像を用いて、分割された複数の現クロミナンス領域を取り出すことによって分割された現クロミナンス領域の各々に対する輪郭情報及びテクスチャ情報を発生する分割手段であって、前記輪郭情報は前記分割された現クロミナンス領域の形状及びその位置を表し、前記テクスチャ情報は前記分割された現クロミナンス領域の各々に含まれる全画素の平均クロミナンスレベルを表す、前記分割手段と、
前記分割された複数の現クロミナンス領域に対する前記輪郭情報及び前記テクスチャを格納すると共に、遅延させて、遅延された情報を分割された前クロミナンス領域に対する輪郭情報及びテクスチャ情報として供給するメモリ手段と、
前記分割された各現クロミナンス領域のテクスチャ情報と前記分割された以各前クロミナンス領域のテクスチャ情報との間の偏差を計算することによって、最小の偏差をもたらす前記分割された前クロミナンス領域のうちのいずれか一つを選択すると共に、前記分割された各現クロミナンス領域に含まれる全画素の位置を表す探索領域情報、前記選択された分割された前クロミナンス領域を表す動き情報、前記分割された各現クロミナンス領域のテクスチャ情報と前記選択された分割された前クロミナンス領域のテクスチャ情報との間の偏差を表す偏差情報を発生する動き予測手段と、
前記探索領域情報に応じて、前記探索領域情報に対応する輝度レベルを有する分割された輝度領域を前記現映像フレームから取り出すと共に、前記分割された輝度領域の輝度レベルを用いて、複数のサブ分割された輝度領域を求めて、前記サブ分割された各輝度領域に対する輪郭情報及びテクスチャ情報を供給する輝度レベル取出手段であって、前記輪郭情報は前記サブ分割された各輝度領域の形状及びその位置を表し、前記テクスチャ情報は前記サブ分割された各輝度領域に含まれる全画素の平均輝度レベルを表す、前記輝度レベル取出手段と、
前記分割された各現クロミナンス領域に対する前記輪郭情報及び前記テクスチャ情報と、前記動き情報及び前記差分情報と、前記サブ分割された各輝度領域に対する前記輪郭情報及び前記テクスチャ情報とを符号化することによって、符号化された映像信号を発生する符号手段とを含む映像信号符号化装置が提供される。
【００１１】
【発明の実施の形態】
以下、本発明の実施例について図面を参照しながらより詳しく説明する。
【００１２】
図１は、本発明による階層的映像分割技法を用いて、映像信号を符号化する新規な映像信号符号化装置１００のブロック図を示す。本発明の映像信号符号化装置１００は、第１フレームメモリ１０と、第２フレームメモリ４０と、第１映像分割処理器２０と、第２映像分割処理器５０と、動き予測器３０と、映像信号符号化器６０とを具える。
【００１３】
図示するように、一連の映像フレームを有する入力映像信号を、フレーム単位で、第１フレームメモリ１０へ供給し、格納する。各映像フレームは、Ｍ×Ｎ個の画素を含む。ここで、各画素を、輝度レベルＬとクロミナンスレベルＣ（ここで、ＭとＮは正数である。）で表現する。本技術分野でよく知られているように、輝度レベルＬは画素の明るさを示し、クロミナンスレベルＣは２つのクロミナンス、即ち、Ｃｒ及びＣｂで示される画素の色情報を表す。
【００１４】
現クロミナンス映像を発生するために、現在映像フレームのクロミナンスデータを、第１映像分割処理器２０のクロミナンス取出回路２１によって第１フレームメモリ１０から取り出す。ここで、クロミナンスデータは、現映像フレームに含まれる画素のクロミナンスレベルを表す。その後、現クロミナンス映像を、第１映像分割処理器２０のクロミナンス分割回路２２へ供給する。
【００１５】
このクロミナンス分割回路２２は、公知のように、通常の映像分割技法のうちの１つ、例えば、Ｋーミンスアルゴリズムを用いて現クロミナンス映像を分割された複数の現クロミナンス領域に変換して、各分割された現クロミナンス領域に対する分割データ（即ち、輪郭情報及びテクスチャ情報）を発生する。ここで、輪郭情報は、分割された現クロミナンス領域の各々に対する形状及びその位置を表し、テクスチャ情報は、分割された現クロミナンス領域の各々に含まれる全画素の最後に更新された平均クロミナンスレベルを表す。
【００１６】
詳述すると、クロミナンス取出回路２１からの現クロミナンス映像に含まれる各クロミナンスレベルを、予め定められた複数の代表クロミナンスレベルと各々比較することによって、これらの間で生じるエラー値が計算される。ここで、代表クロミナンスレベルの数を、映像信号符号化装置の所要のクロミナンス分割効率及び画質に基づいて決定することに注目されたい。その後、各クロミナンスレベルを、最小のエラー値をもたらす代表輝度レベルのうちのいずれか一つに写像するか代替する。
【００１７】
現クロミナンス映像の全画素のクロミナンスレベルに対する写像処理を行うと、写像された代表クロミナンスレベルは、複数の領域に分割される。分割された各領域は、代表クロミナンスの中のいずれか１つに表現された画素を含む。その後、分割された各領域に含まれる画素の元のクロミナンスレベルに対する平均値を計算し、各分割された領域に写像された各代表クロミナンスレベルを対応する平均値で更新することによって、更新された平均値を発生する。
【００１８】
このような写像処理及び更新処理を、新たに更新された各平均値と前に更新された平均値との間の偏差が予め定められた閾値ＴＨより小さくなるまで、画素の元のクロミナンスレベルに対して順次的に繰り返す。
【００１９】
このような写像及び更新処理を完了すると、クロミナンス分割回路２２は、分割された現クロミナンス領域の各々に対する輪郭情報を動き予測器３０に、テクスチャ情報を第２フレームメモリ４０に各々供給する。ここで、輪郭情報及びテクスチャ情報は、前述したような同一の旨を有する。
【００２０】
第２フレームメモリ４０は、クロミナンス分割回路２２から入力された分割された現クロミナンス領域の全体に対する輪郭情報及びテクスチャ情報を格納すると共に、１フレームだけ遅延させる。その後、遅延された輪郭情報及びテクスチャ情報を、分割された複数の前クロミナンス領域に対する輪郭情報及びテクスチャ情報として動き予測器３０へ供給する。
【００２１】
この動き予測器３０は、クロミナンス分割回路２２から直接供給される分割された現クロミナンス領域に対する動き情報を求めるために、まず、各現クロミナンス領域を順次に探索領域に割り当てる。その後、探索領域のテクスチャ情報または最後に更新された平均値と第２フレームメモリ４０から読み取った分割された複数の前クロミナンス領域の最後に更新された平均値との間のエラーを計算すると共に、最小のエラーをもたらす分割された前クロミナンス領域のうちのいずれか一つを選択する。
【００２２】
その後、動き予測器３０は、選択された分割された前クロミナンス領域を探索領域に対する動き情報として決定する。動き予測器３０から映像信号符号化器６０への出力信号は、探索領域の動き情報及び輪郭情報、探索領域のテクスチャ情報及び選択された分割された前クロミナンス領域のテクスチャ情報との間の偏差を表す偏差情報である。また、動き予測器３０から第２映像分割処理器５０への出力信号は、探索領域に含まれる画素の位置を表す探索領域情報である。
【００２３】
図示するように、第２映像分割処理器５０は、輝度取出回路５１と輝度分割回路５２とを含む。動き予測器３０からの探索領域情報に応じて、輝度取出回路５１は、対応する輝度データを第１フレームメモリ１０に格納された現映像フレームから取り出して探索領域に対応する分割された輝度領域を供給する。ここで、輝度データは、分割された輝度領域に含まれる画素の輝度レベルを表す。その後、輝度レベルを含む分割された輝度領域を、輝度分割回路５２へ供給する。
【００２４】
この輝度分割回路５２は、前述したような通常の映像分割技法、即ち、Ｋーミーンズアルゴリズムを用いて分割された輝度領域を更に分割することによって、複数のサブ分割輝度領域を供給する。分割された輝度領域のサブ分割に対して、複数の代表輝度レベルを用いる。ここで、代表輝度レベルの数を、映像信号符号化装置の所要の輝度分割効率及び画質に基づいて決定することに注意されたい。各々のサブ分割された輝度領域に含まれる全画素を、画素の輝度レベルに基づいて求められた最後に更新された平均値で表現する。
【００２５】
輝度分割回路５２から映像信号符号化器６０への出力信号は、各サブ分割された輝度領域に対する輪郭情報及びテクスチャ情報である。ここで、輪郭情報は各サブ分割された輝度領域の形状及びその位置を表し、テクスチャ情報は各サブ分割された輝度領域に含まれる画素の最後に更新された平均値を表す。
【００２６】
映像信号符号化器６０は、動き予測器３０からの探索領域に対する輪郭情報、動き情報及び差分情報と、輝度分割回路５２からの探索領域に対応する各サブ分割された輝度領域に対する輪郭情報及びテクスチャ情報とを符号化する。符号化された映像信号を、その伝送のため伝送器（図示せず）へ送る。
【００２７】
上記に於いて、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００２８】
【発明の効果】
従って、本発明によれば、階層的映像分割技法を用いて、入力映像信号に対する分割及び動き予測を効果的に行うことによって、符号化された映像信号の画質を非常に向上させることができる。
【図面の簡単な説明】
【図１】本発明の階層的映像分割技法を用いる映像信号符号化装置のブロック図である。
【符号の説明】
１０ 第１フレームメモリ
２０ 第１映像分割処理器
３０ 動き予測器
４０ 第２フレームメモリ
５０ 第２映像分割処理器
６０ 映像信号符号化器
Claims (2)
- 予め定められた数の画素を有する一連の映像フレームを有する入力映像信号を符号化する映像信号符号化装置であって、前記画素の各々は輝度レベルとクロミナンスレベルとで表現され、
前記入力映像信号の現映像フレームに含まれる画素に対する前記クロミナンスレベルを取り出し、現クロミナンス映像を発生するクロミナンス取出手段と、
前記現クロミナンス映像を用いて、分割された複数の現クロミナンス領域を取り出すことによって分割された現クロミナンス領域の各々に対する輪郭情報及びテクスチャ情報を発生する分割手段であって、前記輪郭情報は前記分割された現クロミナンス領域の形状及びその位置を表し、前記テクスチャ情報は前記分割された現クロミナンス領域の各々に含まれる全画素の平均クロミナンスレベルを表す、前記分割手段と、
前記分割された複数の現クロミナンス領域に対する前記輪郭情報及び前記テクスチャを格納すると共に、遅延させて、遅延された情報を分割された前クロミナンス領域に対する輪郭情報及びテクスチャ情報として供給するメモリ手段と、
前記分割された各現クロミナンス領域のテクスチャ情報と前記分割された各前クロミナンス領域のテクスチャ情報との間の偏差を計算することによって、最小の偏差をもたらす前記分割された前クロミナンス領域のうちのいずれか一つを選択すると共に、前記分割された各現クロミナンス領域に含まれる全画素の位置を表す探索領域情報、前記選択された分割された前クロミナンス領域を表す動き情報、前記分割された各現クロミナンス領域のテクスチャ情報と前記選択された分割された前クロミナンス領域のテクスチャ情報との間の偏差を表す偏差情報を発生する動き予測手段と、
前記探索領域情報に応じて、前記探索領域情報に対応する輝度レベルを有する分割された輝度領域を前記現映像フレームから取り出すと共に、前記分割された輝度領域の輝度レベルを用いて、複数のサブ分割された輝度領域を求めて、前記サブ分割された各輝度領域に対する輪郭情報及びテクスチャ情報を供給する輝度レベル取出手段であって、前記輪郭情報は前記サブ分割された各輝度領域の形状及びその位置を表し、前記テクスチャ情報は前記サブ分割された各輝度領域に含まれる全画素の平均輝度レベルを表す、前記輝度レベル取出手段と、
前記分割された各現クロミナンス領域に対する前記輪郭情報及び前記テクスチャ情報と、前記動き情報及び前記差分情報と、前記サブ分割された各輝度領域に対する前記輪郭情報及び前記テクスチャ情報とを符号化することによって、符号化された映像信号を発生する符号手段とを含むことを特徴とする映像信号符号化装置。 - 請求項１に記載の映像信号符号化装置において、前記分割手段を、Ｋーミーンズアルゴリズム(K-means algorithm) に基づいて動作させることを特徴とする映像信号符号化装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR95-7314 | 1995-03-31 | ||
| KR1019950007314A KR0181052B1 (ko) | 1995-03-31 | 1995-03-31 | 고화질 영상 시스템의 영역 분할 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08340553A JPH08340553A (ja) | 1996-12-24 |
| JP3794749B2 true JP3794749B2 (ja) | 2006-07-12 |
Family
ID=19411129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7867996A Expired - Fee Related JP3794749B2 (ja) | 1995-03-31 | 1996-04-01 | 映像信号符号化装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5623310A (ja) |
| JP (1) | JP3794749B2 (ja) |
| KR (1) | KR0181052B1 (ja) |
| CN (1) | CN1155256C (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100387229B1 (ko) * | 1995-11-01 | 2003-08-21 | 삼성전자주식회사 | 영상부호화장치 |
| DE19615493A1 (de) * | 1996-04-19 | 1997-10-23 | Philips Patentverwaltung | Verfahren zur Bildsegmentierung |
| KR100209132B1 (ko) * | 1996-07-11 | 1999-07-15 | 전주범 | 블럭-기반 물체 윤곽 부호화 방법 |
| US6016151A (en) * | 1997-09-12 | 2000-01-18 | Neomagic Corp. | 3D triangle rendering by texture hardware and color software using simultaneous triangle-walking and interpolation for parallel operation |
| KR100285599B1 (ko) * | 1998-03-14 | 2001-04-02 | 전주범 | 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법 |
| KR100281464B1 (ko) * | 1998-03-14 | 2001-02-01 | 전주범 | 물체 기반 부호화 시스템의 보조 정보 부호화 장치 |
| KR100281462B1 (ko) | 1998-03-30 | 2001-02-01 | 전주범 | 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법 |
| US6459814B1 (en) * | 1998-09-08 | 2002-10-01 | Sarnoff Corporation | Method and apparatus for generic scalable shape coding by deriving shape information for chrominance components from luminance component |
| US7085319B2 (en) * | 1999-04-17 | 2006-08-01 | Pts Corporation | Segment-based encoding system using segment hierarchies |
| US7050503B2 (en) * | 1999-04-17 | 2006-05-23 | Pts Corporation | Segment-based encoding system using residue coding by basis function coefficients |
| US6928186B2 (en) * | 2002-06-21 | 2005-08-09 | Seiko Epson Corporation | Semantic downscaling and cropping (SEDOC) of digital images |
| KR100763178B1 (ko) * | 2005-03-04 | 2007-10-04 | 삼성전자주식회사 | 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치 |
| CN101035285B (zh) * | 2007-04-13 | 2010-06-16 | 深圳市融合视讯科技有限公司 | 一种网络传输中的图像分解及还原方法 |
| KR100856303B1 (ko) * | 2007-05-18 | 2008-09-03 | 삼성전기주식회사 | 링잉 노이즈 제거 장치 및 노이즈 제거 장치 |
| US8325224B2 (en) * | 2009-12-25 | 2012-12-04 | Kabushiki Kaisha Toshiba | Head separation camera apparatus |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5204920A (en) * | 1990-01-12 | 1993-04-20 | U.S. Philips Corporation | Method and apparatus for region and texture coding |
| US5506621A (en) * | 1992-08-21 | 1996-04-09 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US5465118A (en) * | 1993-12-17 | 1995-11-07 | International Business Machines Corporation | Luminance transition coding method for software motion video compression/decompression |
-
1995
- 1995-03-31 KR KR1019950007314A patent/KR0181052B1/ko active IP Right Grant
-
1996
- 1996-03-29 CN CNB961039957A patent/CN1155256C/zh not_active Expired - Fee Related
- 1996-03-29 US US08/623,763 patent/US5623310A/en not_active Expired - Lifetime
- 1996-04-01 JP JP7867996A patent/JP3794749B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1139356A (zh) | 1997-01-01 |
| CN1155256C (zh) | 2004-06-23 |
| US5623310A (en) | 1997-04-22 |
| KR960036789A (ko) | 1996-10-28 |
| JPH08340553A (ja) | 1996-12-24 |
| KR0181052B1 (ko) | 1999-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3794749B2 (ja) | 映像信号符号化装置 | |
| US5596659A (en) | Preprocessing and postprocessing for vector quantization | |
| US5649030A (en) | Vector quantization | |
| US6167158A (en) | Object-based digital image predictive method | |
| US6052414A (en) | Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation | |
| JPH08275180A (ja) | 輪郭符号化装置 | |
| JPH1032837A (ja) | 画像処理装置および方法、並びに画像符号化装置および方法 | |
| US11445160B2 (en) | Image processing device and method for operating image processing device | |
| JPH0662385A (ja) | 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ | |
| JP2019140575A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| US5710838A (en) | Apparatus for encoding a video signal by using modified block truncation and contour coding methods | |
| KR100537123B1 (ko) | 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체 | |
| JPH1175179A (ja) | 二値形状信号符号化方法 | |
| CN109379590B (zh) | 一种脉冲序列压缩方法及系统 | |
| CN109474825B (zh) | 一种脉冲序列压缩方法及系统 | |
| KR20010110053A (ko) | 동화상 정보의 압축 방법 및 그 시스템 | |
| JP4321468B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP3844030B2 (ja) | 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法 | |
| KR20010017405A (ko) | 애니메이션 동영상 부호화 방법 | |
| CN113822801A (zh) | 基于多分支卷积神经网络的压缩视频超分辨率重建方法 | |
| WO2000018133A1 (en) | Encoding device and method, and decoding device and method | |
| JP3320282B2 (ja) | 多値画像処理装置 | |
| KR20070111111A (ko) | 영상 압축방법과 신장방법 및 그 장치 | |
| JPS6326951B2 (ja) | ||
| JPH10289326A (ja) | 輪郭線映像信号復号化方法及び輪郭線映像信号復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060411 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |