JP3439146B2 - 飛越し走査方式映像のための色差信号形状情報抽出方法及び装置 - Google Patents
飛越し走査方式映像のための色差信号形状情報抽出方法及び装置Info
- Publication number
- JP3439146B2 JP3439146B2 JP05690399A JP5690399A JP3439146B2 JP 3439146 B2 JP3439146 B2 JP 3439146B2 JP 05690399 A JP05690399 A JP 05690399A JP 5690399 A JP5690399 A JP 5690399A JP 3439146 B2 JP3439146 B2 JP 3439146B2
- Authority
- JP
- Japan
- Prior art keywords
- shape information
- color difference
- field
- sub
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
- H04N11/042—Codec means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Image Analysis (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Manufacture Or Reproduction Of Printing Formes (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、飛越し走査方式の
映像のための色差信号形状情報抽出方法及び装置に関す
るもので、より詳しくは飛越し走査方式映像の特性を考
慮して色差と輝度を一致させて色差不一致を改善するこ
とにより、主観的画質を向上させることを特徴とする飛
越し走査方式の映像のための色差信号形状情報抽出方法
及び装置に関するものである。
映像のための色差信号形状情報抽出方法及び装置に関す
るもので、より詳しくは飛越し走査方式映像の特性を考
慮して色差と輝度を一致させて色差不一致を改善するこ
とにより、主観的画質を向上させることを特徴とする飛
越し走査方式の映像のための色差信号形状情報抽出方法
及び装置に関するものである。
【０００２】
【従来の技術】既存の映像信号符号化方式としては、矩
形のフレーム（rectangular frame）又は画面（pictur
e）全体を符号化するフレーム単位符号化（frame-based
coding）と任意の形状の領域（arbitary shaped regio
n）のみを符号化する方式の物体基盤符号化（object-ba
sed coding）方式がある。物体単位符号化の代表的な例
としては、ISO/IEC JTC1/SC29/WG11のMPEG-4、ISO/IEC
JTC1/SC29/WG11 JPEG2000などの標準化方案がある。
形のフレーム（rectangular frame）又は画面（pictur
e）全体を符号化するフレーム単位符号化（frame-based
coding）と任意の形状の領域（arbitary shaped regio
n）のみを符号化する方式の物体基盤符号化（object-ba
sed coding）方式がある。物体単位符号化の代表的な例
としては、ISO/IEC JTC1/SC29/WG11のMPEG-4、ISO/IEC
JTC1/SC29/WG11 JPEG2000などの標準化方案がある。
【０００３】形状情報（shape information）を用いる
物体基盤符号化（object-based coding）は領域分割（s
egmentation）技法を使用して、全体映像シーケンス内
で使用者が関心を持っているか必要とする特定領域（re
gion）−又は物体（object）−のみを抽出して符号化し
た後、これを決められた順にフレーム内に再構成するも
のである。このような物体基盤符号化においては、既に
抽出された物体を互いに区別するため、形状情報を使用
する。前記形状情報は、映像を物体領域と非物体領域
（背景）に区分する情報であり、符号化器及び復号化器
で全体映像の代わりに物体領域を中心とする信号処理を
可能にし、このような形状情報は二進形状情報又はグレ
ースケール（Gray Scale）形状情報として表現できる。
二進形状情報は一シーケンス内の二つの物体を区別する
ために使用し、グレースケール形状情報は一シーケンス
内の多数の物体を区別するために使用される。これらの
表現範囲において、二進形状情報は二つの値、例えば０
と１又は０と２５５などで表現され、グレースケール形
状情報は所定の範囲内の値、例えば０から２５５までの
値で表現される。
物体基盤符号化（object-based coding）は領域分割（s
egmentation）技法を使用して、全体映像シーケンス内
で使用者が関心を持っているか必要とする特定領域（re
gion）−又は物体（object）−のみを抽出して符号化し
た後、これを決められた順にフレーム内に再構成するも
のである。このような物体基盤符号化においては、既に
抽出された物体を互いに区別するため、形状情報を使用
する。前記形状情報は、映像を物体領域と非物体領域
（背景）に区分する情報であり、符号化器及び復号化器
で全体映像の代わりに物体領域を中心とする信号処理を
可能にし、このような形状情報は二進形状情報又はグレ
ースケール（Gray Scale）形状情報として表現できる。
二進形状情報は一シーケンス内の二つの物体を区別する
ために使用し、グレースケール形状情報は一シーケンス
内の多数の物体を区別するために使用される。これらの
表現範囲において、二進形状情報は二つの値、例えば０
と１又は０と２５５などで表現され、グレースケール形
状情報は所定の範囲内の値、例えば０から２５５までの
値で表現される。
【０００４】一方、MPEG 4は、ＴＶプログラム放送のよ
うに、高画質を必要とする応用分野のために、MPEG 2と
同様順次走査方式と飛越し走査方式の映像をみんな支援
する。動映像走査方式についての概略的な内容を調べる
と次のとおりである。動映像走査方式としては、図１
（ａ）及び（ｂ）に示すように、大別して順次走査方式
と飛越し走査方式の二方式がある。図１（ａ）の順次走
査方式は１フレームの映像がすべて同一時間にサンプリ
ングされたものでなるに対し、図１（ｂ）の飛越し走査
方式は１フレームの映像が互いに異なる時間にサンプリ
ングされたものでなり、サンプルが１ラインごとに交互
に繰り返される。このように、飛越し走査方式の映像に
おいては、一枚のフレームは、通常、互いに異なる時間
にサンプリングされた二枚のフィールド映像、つまり上
部フィールド及び下部フィールド映像で構成される。フ
レーム構造映像とフィールド構造映像はこのような差が
あるため、フィールド映像を効率的に符号化するために
は、映像をフレーム単位でだけでなくフィールド単位で
も符号化する必要がある。
うに、高画質を必要とする応用分野のために、MPEG 2と
同様順次走査方式と飛越し走査方式の映像をみんな支援
する。動映像走査方式についての概略的な内容を調べる
と次のとおりである。動映像走査方式としては、図１
（ａ）及び（ｂ）に示すように、大別して順次走査方式
と飛越し走査方式の二方式がある。図１（ａ）の順次走
査方式は１フレームの映像がすべて同一時間にサンプリ
ングされたものでなるに対し、図１（ｂ）の飛越し走査
方式は１フレームの映像が互いに異なる時間にサンプリ
ングされたものでなり、サンプルが１ラインごとに交互
に繰り返される。このように、飛越し走査方式の映像に
おいては、一枚のフレームは、通常、互いに異なる時間
にサンプリングされた二枚のフィールド映像、つまり上
部フィールド及び下部フィールド映像で構成される。フ
レーム構造映像とフィールド構造映像はこのような差が
あるため、フィールド映像を効率的に符号化するために
は、映像をフレーム単位でだけでなくフィールド単位で
も符号化する必要がある。
【０００５】物体基盤映像処理において、物体の映像信
号（輝度、色差）のうち、色差に対する形状情報は、映
像信号の標本化比とピクチャタイプによる輝度と色差信
号の相関関係を考慮して輝度の形状情報をサブサンプリ
ングして抽出する。よって、物体基盤映像信号を処理す
る映像コデック（Video Codec）には、フレーム内の領
域を表示するため、輝度信号の形状情報のみが入力さ
れ、色差信号に対する形状情報は動映像コデック内で適
切なサブサンプリング技法を使用して抽出される。
号（輝度、色差）のうち、色差に対する形状情報は、映
像信号の標本化比とピクチャタイプによる輝度と色差信
号の相関関係を考慮して輝度の形状情報をサブサンプリ
ングして抽出する。よって、物体基盤映像信号を処理す
る映像コデック（Video Codec）には、フレーム内の領
域を表示するため、輝度信号の形状情報のみが入力さ
れ、色差信号に対する形状情報は動映像コデック内で適
切なサブサンプリング技法を使用して抽出される。
【０００６】従来の色差形状情報抽出方法を詳細に調べ
ると次のとおりである。一般的な映像標準は、輝度対比
色差信号を、図２に示すように、輝度信号Ｙと色差信号
Ｃｂ、Ｃｒの標本化周波数の割合が４：２：０となるも
のである。付言すると、４：２：０映像フォーマットに
おいて、色差の全体大きさ（ＰＥＬ数）は全体輝度の１
／４であり（垂直、水平方向にそれぞれ１／２ずつ簡
縮）、これは４個の輝度に対して２個の色差（Ｃｂ、Ｃ
ｒそれぞれ１個ずつ）を有するものである。このような
輝度対色差の割合は、色差信号の符号化に使用される色
差の形状情報抽出においても同じに適用すべきである。
現在のMPEG-4映像標準において、動映像走査方式にかか
わらず、色差の形状情報は、図３に示すような輝度の形
状情報に対し保存サブサンプリング法（conservative c
hrominance shape subsampling）により、図４のように
抽出する。
ると次のとおりである。一般的な映像標準は、輝度対比
色差信号を、図２に示すように、輝度信号Ｙと色差信号
Ｃｂ、Ｃｒの標本化周波数の割合が４：２：０となるも
のである。付言すると、４：２：０映像フォーマットに
おいて、色差の全体大きさ（ＰＥＬ数）は全体輝度の１
／４であり（垂直、水平方向にそれぞれ１／２ずつ簡
縮）、これは４個の輝度に対して２個の色差（Ｃｂ、Ｃ
ｒそれぞれ１個ずつ）を有するものである。このような
輝度対色差の割合は、色差信号の符号化に使用される色
差の形状情報抽出においても同じに適用すべきである。
現在のMPEG-4映像標準において、動映像走査方式にかか
わらず、色差の形状情報は、図３に示すような輝度の形
状情報に対し保存サブサンプリング法（conservative c
hrominance shape subsampling）により、図４のように
抽出する。
【０００７】従来の保存サブサンプリング法では、図４
に示すように、色差形状情報を抽出しようとする色差画
素を囲繞する４個の最近接輝度画素をサブサンプリング
単位と設定して、サブサンプリング単位（１）及び
（４）のように、周辺の４個の輝度形状情報がみんな背
景であると、これに相応する色差形状情報を背景形状情
報と設定し、サブサンプリング単位（２）及び（３）の
ように、四つの周辺輝度形状情報のうち、１個以上が物
体であると、これに当たる色差形状情報を物体形状情報
と設定する。図５（ａ）は図３の輝度形状情報に対し、
従来の保存サブサンプリング法により抽出された色差形
状情報の走査時間による輝度画素と色差画素の構成を示
す図である（図面において、□は背景形状情報を意味
し、■は物体形状情報を示す）。
に示すように、色差形状情報を抽出しようとする色差画
素を囲繞する４個の最近接輝度画素をサブサンプリング
単位と設定して、サブサンプリング単位（１）及び
（４）のように、周辺の４個の輝度形状情報がみんな背
景であると、これに相応する色差形状情報を背景形状情
報と設定し、サブサンプリング単位（２）及び（３）の
ように、四つの周辺輝度形状情報のうち、１個以上が物
体であると、これに当たる色差形状情報を物体形状情報
と設定する。図５（ａ）は図３の輝度形状情報に対し、
従来の保存サブサンプリング法により抽出された色差形
状情報の走査時間による輝度画素と色差画素の構成を示
す図である（図面において、□は背景形状情報を意味
し、■は物体形状情報を示す）。
【０００８】しかし、このような色差形状情報サブサン
プリング過程で、飛越し走査方式の映像特性を考慮しな
い場合、後述するような色差不一致（color bleeding）
問題が発生する。色差不一致は、輝度又はこれに対応す
る色差のいずれかが存在しない場合に発生するもので、
具体的に輝度信号はあるが色差信号がないか、逆に色差
信号はあるが輝度信号がない現象を意味する。
プリング過程で、飛越し走査方式の映像特性を考慮しな
い場合、後述するような色差不一致（color bleeding）
問題が発生する。色差不一致は、輝度又はこれに対応す
る色差のいずれかが存在しない場合に発生するもので、
具体的に輝度信号はあるが色差信号がないか、逆に色差
信号はあるが輝度信号がない現象を意味する。
【０００９】図６は、図４に示す従来の保存サブサンプ
リング抽出方法により抽出された結果を飛越し走査方式
で画面に透視したときに発生する色差不一致部分を示
す。同図に示すように、順次走査方式の映像に適用され
る保存サブサンプリング方法を飛越し走査方式の映像に
適用すると、輝度成分はあるが、これに当たる色差成分
がない部分（９１、９２、９３）、又は輝度成分はない
が、これに当たる色差成分はある部分（９４）が生ずる
色差不一致の問題が発生する。
リング抽出方法により抽出された結果を飛越し走査方式
で画面に透視したときに発生する色差不一致部分を示
す。同図に示すように、順次走査方式の映像に適用され
る保存サブサンプリング方法を飛越し走査方式の映像に
適用すると、輝度成分はあるが、これに当たる色差成分
がない部分（９１、９２、９３）、又は輝度成分はない
が、これに当たる色差成分はある部分（９４）が生ずる
色差不一致の問題が発生する。
【００１０】このような色差形状情報に対するサブサン
プリング誤謬により色差形状情報が誤って抽出されて、
表現しようとしなかった背景の色差信号が物体の色差信
号で処理されると、客観的画質には差がないが、背景信
号が物体で見えるため、主観的画質が大きく低下する。
映像信号の画質は元の信号と雑音の比率を示すＳＮＲ
（Signal to Noise Ratio）で定量的に評価される客観
的画質と人間の視覚的感じで評価される主観的画質によ
り評価される。主観的画質は人間のフレーム内の映像信
号領域に対する認知度の差に起因する定性的評価方法で
あり、ＳＮＲ比のように定量的に評価し得ないが、映像
処理技法又は装置の性能評価において、客観的画質に等
しく重要に考慮される要因である。したがって、優秀な
画質が要求される物体基盤映像処理分野では、正確な色
差形状情報を収得し得る色差形状情報抽出方法が切実に
要求される。
プリング誤謬により色差形状情報が誤って抽出されて、
表現しようとしなかった背景の色差信号が物体の色差信
号で処理されると、客観的画質には差がないが、背景信
号が物体で見えるため、主観的画質が大きく低下する。
映像信号の画質は元の信号と雑音の比率を示すＳＮＲ
（Signal to Noise Ratio）で定量的に評価される客観
的画質と人間の視覚的感じで評価される主観的画質によ
り評価される。主観的画質は人間のフレーム内の映像信
号領域に対する認知度の差に起因する定性的評価方法で
あり、ＳＮＲ比のように定量的に評価し得ないが、映像
処理技法又は装置の性能評価において、客観的画質に等
しく重要に考慮される要因である。したがって、優秀な
画質が要求される物体基盤映像処理分野では、正確な色
差形状情報を収得し得る色差形状情報抽出方法が切実に
要求される。
【００１１】
【発明が解決しようとする課題】本発明は前述したよう
な当業界の技術的要請に対応するためになされたもの
で、本発明の一目的は飛越し走査方式の映像の特性を考
慮して色差形状情報を正確にサブサンプリングする飛越
し走査方式の映像のための色差信号形状情報抽出方法を
提供することである。
な当業界の技術的要請に対応するためになされたもの
で、本発明の一目的は飛越し走査方式の映像の特性を考
慮して色差形状情報を正確にサブサンプリングする飛越
し走査方式の映像のための色差信号形状情報抽出方法を
提供することである。
【００１２】本発明のほかの目的は前記色差形状情報抽
出方法を具現する飛越し走査方式の映像のための色差信
号形状情報抽出装置を提供することである。
出方法を具現する飛越し走査方式の映像のための色差信
号形状情報抽出装置を提供することである。
【００１３】
【課題を解決するための手段】前記目的を達成するため
の本発明の一様態は、飛越し走査方式の映像のための色
差信号形状情報抽出方法において、二つのフィールド単
位で構成された飛越し走査映像信号において、二つの同
一フィールド内に存在する輝度信号の形状情報画素をそ
れぞれ４個当たり一つのサブサンプリング単位と設定
し、前記サブサンプリング単位内の４個の輝度形状情報
画素を用いて色差の形状情報を抽出することを特徴とす
る飛越し走査方式の映像のための色差信号形状情報抽出
方法である。
の本発明の一様態は、飛越し走査方式の映像のための色
差信号形状情報抽出方法において、二つのフィールド単
位で構成された飛越し走査映像信号において、二つの同
一フィールド内に存在する輝度信号の形状情報画素をそ
れぞれ４個当たり一つのサブサンプリング単位と設定
し、前記サブサンプリング単位内の４個の輝度形状情報
画素を用いて色差の形状情報を抽出することを特徴とす
る飛越し走査方式の映像のための色差信号形状情報抽出
方法である。
【００１４】前記目的を達成するための本発明の他の様
態は、輝度形状情報を受け、これを上部フィールド及び
下部フィールドに分割するフィールド分割部と、上部フ
ィールドに対し、二つの同一フィールド内に存在する輝
度信号の形状情報画素をそれぞれ４個当たり一つのサブ
サンプリング単位と設定し、４個の輝度信号の形状情報
画素の中に物体画素が１個以上存在する場合、物体に当
たる色差信号の形状情報を抽出する上部フィールドサブ
サンプリング部と、下部フィールドに対し、二つの同一
フィールド内に存在する輝度信号の形状情報画素をそれ
ぞれ４個当たり一つのサブサンプリング単位と設定し、
４個の輝度信号の形状情報画素の中に物体画素が一つ以
上存在する場合、物体に当たる色差信号の形状情報を抽
出する下部フィールドサブサンプリング部と、前記上部
フィールドサブサンプリング部及び前記下部フィールド
サブサンプリング部から抽出された色差形状情報をフレ
ーム構造で再構成するフレーム構成部とから構成される
飛越し走査方式の映像のための色差信号形状情報抽出装
置である。
態は、輝度形状情報を受け、これを上部フィールド及び
下部フィールドに分割するフィールド分割部と、上部フ
ィールドに対し、二つの同一フィールド内に存在する輝
度信号の形状情報画素をそれぞれ４個当たり一つのサブ
サンプリング単位と設定し、４個の輝度信号の形状情報
画素の中に物体画素が１個以上存在する場合、物体に当
たる色差信号の形状情報を抽出する上部フィールドサブ
サンプリング部と、下部フィールドに対し、二つの同一
フィールド内に存在する輝度信号の形状情報画素をそれ
ぞれ４個当たり一つのサブサンプリング単位と設定し、
４個の輝度信号の形状情報画素の中に物体画素が一つ以
上存在する場合、物体に当たる色差信号の形状情報を抽
出する下部フィールドサブサンプリング部と、前記上部
フィールドサブサンプリング部及び前記下部フィールド
サブサンプリング部から抽出された色差形状情報をフレ
ーム構造で再構成するフレーム構成部とから構成される
飛越し走査方式の映像のための色差信号形状情報抽出装
置である。
【００１５】
【発明の実施の形態】以下、本発明の技術的思想による
実施の形態を挙げて本発明をより詳細に説明する。図３
に、任意の形状情報を有する飛越し走査方式の映像にお
いて、１ブロック（８画素１ライン×８ライン）内の輝
度に対する形状情報を示す。同図に示すように、飛越し
走査方式において、１フレームの映像は、互いに異なる
時間にサンプリングされた二つの相違したフィールド、
つまり上部フィールド及び下部フィールド映像で構成さ
れる。本発明の色差形状情報抽出方法は、輝度の形状情
報を使用して色差の形状情報を抽出することにおいて、
従来の色差不一致の問題を解決するため、既存の保存サ
ブサンプリング方法（conservative sub-sampling）の
代わりに、一つ以上の同一輝度フィールドのみを使用し
てサブサンプリング方法を使用する。
実施の形態を挙げて本発明をより詳細に説明する。図３
に、任意の形状情報を有する飛越し走査方式の映像にお
いて、１ブロック（８画素１ライン×８ライン）内の輝
度に対する形状情報を示す。同図に示すように、飛越し
走査方式において、１フレームの映像は、互いに異なる
時間にサンプリングされた二つの相違したフィールド、
つまり上部フィールド及び下部フィールド映像で構成さ
れる。本発明の色差形状情報抽出方法は、輝度の形状情
報を使用して色差の形状情報を抽出することにおいて、
従来の色差不一致の問題を解決するため、既存の保存サ
ブサンプリング方法（conservative sub-sampling）の
代わりに、一つ以上の同一輝度フィールドのみを使用し
てサブサンプリング方法を使用する。
【００１６】すなわち、本発明の飛越し走査映像のため
の色差信号形状情報抽出方法は、図３に示す任意の輝度
形状情報を有する飛越し走査方式の映像から色差形状情
報を抽出する場合、同一フィールド内の四つの輝度形状
情報を用いて色差形状情報を抽出する。
の色差信号形状情報抽出方法は、図３に示す任意の輝度
形状情報を有する飛越し走査方式の映像から色差形状情
報を抽出する場合、同一フィールド内の四つの輝度形状
情報を用いて色差形状情報を抽出する。
【００１７】図９は本発明の方法による色差形状情報抽
出方法のフローチャートである。同図に示すように、ま
ず、色差形状情報を求めようとする画素が上部フィール
ドに属する画素であるか又は下部フィールドに属する画
素であるかを判断し、上部フィールドに属する画素であ
ると、これに最も近接する二つの同一上部フィールド内
に存在する輝度画素をそれぞれ４個（２画素１ライン×
２ライン又は２×２）当たり一つのサブサンプリング単
位と設定する（Ｓ１）。一方、色差形状情報を求めよう
とする画素が下部フィールドに属する画素であると、こ
れに最も近接した二つの同一下部フィールド内に存在す
る輝度画素をそれぞれ４個（２×２輝度画素）当たり一
つのサブサンプリング単位と設定する（Ｓ２）。次い
で、各々のサブサンプリング単位内の４個の画素の中に
１個以上が物体画素であると、当該色差画素を物体画素
と設定し（Ｓ３）、逆に４個の画素がみんな背景画素で
あると、色差画素を背景画素と設定する（Ｓ４）。この
方法により輝度形状情報から抽出される色差形状情報
は、各元素が物体であるか背景であるかを示す互いに異
なる行列の形態となる。ここで、物体は二進形状情報で
は１と、グレースケールでは０より大きい値と表現さ
れ、これが符号化器が符号化すべき実際映像データであ
る。
出方法のフローチャートである。同図に示すように、ま
ず、色差形状情報を求めようとする画素が上部フィール
ドに属する画素であるか又は下部フィールドに属する画
素であるかを判断し、上部フィールドに属する画素であ
ると、これに最も近接する二つの同一上部フィールド内
に存在する輝度画素をそれぞれ４個（２画素１ライン×
２ライン又は２×２）当たり一つのサブサンプリング単
位と設定する（Ｓ１）。一方、色差形状情報を求めよう
とする画素が下部フィールドに属する画素であると、こ
れに最も近接した二つの同一下部フィールド内に存在す
る輝度画素をそれぞれ４個（２×２輝度画素）当たり一
つのサブサンプリング単位と設定する（Ｓ２）。次い
で、各々のサブサンプリング単位内の４個の画素の中に
１個以上が物体画素であると、当該色差画素を物体画素
と設定し（Ｓ３）、逆に４個の画素がみんな背景画素で
あると、色差画素を背景画素と設定する（Ｓ４）。この
方法により輝度形状情報から抽出される色差形状情報
は、各元素が物体であるか背景であるかを示す互いに異
なる行列の形態となる。ここで、物体は二進形状情報で
は１と、グレースケールでは０より大きい値と表現さ
れ、これが符号化器が符号化すべき実際映像データであ
る。
【００１８】本発明において、同一フィールド内の四つ
の輝度形状情報を用いて色差形状情報を抽出する方法と
しては、前述した方法のほかに、サブサンプリング単位
内の四つの輝度形状情報の論理値の合又は平均値を任意
の臨界値と比較し、臨界値を超える場合は物体形状情報
と設定し、逆に臨界値未満である場合は背景と設定する
方法を使用することもできる。ここで、臨界値は、二進
形状情報である場合は０となり、グレースケールの場合
は使用者により任意に決められる値となる。
の輝度形状情報を用いて色差形状情報を抽出する方法と
しては、前述した方法のほかに、サブサンプリング単位
内の四つの輝度形状情報の論理値の合又は平均値を任意
の臨界値と比較し、臨界値を超える場合は物体形状情報
と設定し、逆に臨界値未満である場合は背景と設定する
方法を使用することもできる。ここで、臨界値は、二進
形状情報である場合は０となり、グレースケールの場合
は使用者により任意に決められる値となる。
【００１９】図７（ａ）及び（ｂ）に図３の輝度形状情
報に対して本発明の方法で色差形状情報を抽出する映像
が示す。本発明の方法により輝度形状情報から色差形状
情報を抽出する場合は、図３に示す任意の輝度形状情報
を有する、二つのフィールド単位で構成された飛越し走
査方式の映像においてサブサンプリング単位内の四つの
輝度形状情報を用いて色差の形状情報を抽出する。色差
形状情報を抽出しようとする色差形状情報が上部フィー
ルドにあると、これに当たる上部フィールド内の四つの
輝度信号形状情報を参照して、四つの中で一つ以上が物
体であると、色差形状画素を物体画素と設定する。
報に対して本発明の方法で色差形状情報を抽出する映像
が示す。本発明の方法により輝度形状情報から色差形状
情報を抽出する場合は、図３に示す任意の輝度形状情報
を有する、二つのフィールド単位で構成された飛越し走
査方式の映像においてサブサンプリング単位内の四つの
輝度形状情報を用いて色差の形状情報を抽出する。色差
形状情報を抽出しようとする色差形状情報が上部フィー
ルドにあると、これに当たる上部フィールド内の四つの
輝度信号形状情報を参照して、四つの中で一つ以上が物
体であると、色差形状画素を物体画素と設定する。
【００２０】具体的に、図７（ａ）において、抽出しよ
うとする色差画素７１が上部フィールドの画素である場
合、上部フィールドに当たる画素ライン４１、４３、４
５、４７の中で第１ライン４１と第２ライン４３におい
て色差形状情報画素７１を囲繞する最近接の２×２輝度
画素をサブサンプリング単位と決め、このサブサンプリ
ング単位内の輝度形状情報画素７２、７３、７４、７５
の中で画素７５が物体形状情報であるので、画素７１は
物体形状情報と設定する。同一方法でその次の画素に対
しても色差形状情報が抽出する。
うとする色差画素７１が上部フィールドの画素である場
合、上部フィールドに当たる画素ライン４１、４３、４
５、４７の中で第１ライン４１と第２ライン４３におい
て色差形状情報画素７１を囲繞する最近接の２×２輝度
画素をサブサンプリング単位と決め、このサブサンプリ
ング単位内の輝度形状情報画素７２、７３、７４、７５
の中で画素７５が物体形状情報であるので、画素７１は
物体形状情報と設定する。同一方法でその次の画素に対
しても色差形状情報が抽出する。
【００２１】図７（ａ）において、色差形状画素７６の
場合、上部フィールドに当たる画素ライン４１、４３、
４５、４７の中で第１ライン４１と第２ライン４３にお
いて、色差形状情報画素７６を囲繞するサブサンプリン
グ単位内の輝度形状情報画素７７、７８、７９、８０の
すべてが背景形状情報であるので、画素７６は背景色差
形状情報と設定される。同一方法でその次の画素に対し
ても色差形状情報が抽出される。図８は図３の輝度形状
情報に対して本発明の方法で抽出した色差形状情報の走
査時間による輝度画素と色差画素の構成を示すものであ
る。図８には、中心の太い分割線１０１を中心に上部に
抽出された色差形状情報と輝度形状情報の配置状態を示
す上部フィールドを示す。
場合、上部フィールドに当たる画素ライン４１、４３、
４５、４７の中で第１ライン４１と第２ライン４３にお
いて、色差形状情報画素７６を囲繞するサブサンプリン
グ単位内の輝度形状情報画素７７、７８、７９、８０の
すべてが背景形状情報であるので、画素７６は背景色差
形状情報と設定される。同一方法でその次の画素に対し
ても色差形状情報が抽出される。図８は図３の輝度形状
情報に対して本発明の方法で抽出した色差形状情報の走
査時間による輝度画素と色差画素の構成を示すものであ
る。図８には、中心の太い分割線１０１を中心に上部に
抽出された色差形状情報と輝度形状情報の配置状態を示
す上部フィールドを示す。
【００２２】図７（ｂ）において、抽出しようとする色
差形状情報画素７１’が下部フィールドに属する場合、
下部フィールドに当たる画素ライン４２、４４、４６、
４８の中で第１ライン４２と第２ライン４４において、
色差形状情報画素７１’を囲繞するサブサンプリング単
位内の輝度形状情報画素７２’、７３’、７４’、７
５’のすべてが背景輝度形状情報であるので、画素７
１’は背景色差形状情報と設定される。同一方法でその
次の画素に対しても色差形状情報が抽出される。
差形状情報画素７１’が下部フィールドに属する場合、
下部フィールドに当たる画素ライン４２、４４、４６、
４８の中で第１ライン４２と第２ライン４４において、
色差形状情報画素７１’を囲繞するサブサンプリング単
位内の輝度形状情報画素７２’、７３’、７４’、７
５’のすべてが背景輝度形状情報であるので、画素７
１’は背景色差形状情報と設定される。同一方法でその
次の画素に対しても色差形状情報が抽出される。
【００２３】図７（ｂ）において、抽出しようとする色
差形状情報画素７６’が下部フィールドにあると、下部
フィールドに当たる画素ライン４２、４４、４６、４８
の中で第１ライン４２と第２ライン４４において、色差
形状情報画素７６’を囲繞するサブサンプリング単位内
の輝度形状情報画素７７’、７８’、７９’、８０’の
うち、画素７９’が物体輝度形状情報であるので、７
６’は物体色差形状情報と設定される。同一方法でその
次の画素に対しても色差形状情報が抽出される。図８に
は、中心に太い分割線１０１を中心に下部に抽出された
色差形状情報と輝度形状情報の配置状態を示す下部フィ
ールドを示す。
差形状情報画素７６’が下部フィールドにあると、下部
フィールドに当たる画素ライン４２、４４、４６、４８
の中で第１ライン４２と第２ライン４４において、色差
形状情報画素７６’を囲繞するサブサンプリング単位内
の輝度形状情報画素７７’、７８’、７９’、８０’の
うち、画素７９’が物体輝度形状情報であるので、７
６’は物体色差形状情報と設定される。同一方法でその
次の画素に対しても色差形状情報が抽出される。図８に
は、中心に太い分割線１０１を中心に下部に抽出された
色差形状情報と輝度形状情報の配置状態を示す下部フィ
ールドを示す。
【００２４】本発明の方法を具現するための飛越し走査
方式の映像のための色差信号形状情報抽出装置の一実施
の形態は、二つのフィールド単位で構成された映像信号
において、二つの同一フィールド内に存在する四つの輝
度信号形状情報を用いて色差信号の形状情報を抽出する
サブサンプリング手段を含んで構成される。また、本発
明の飛越し走査方式の映像のための色差信号形状情報抽
出装置のほかの実施の形態は、二つのフィールド単位で
構成された映像信号において、二つの同一フィールド内
に存在する輝度信号の形状情報画素をそれぞれ４個当た
り一つのサブサンプリング単位と設定する手段と、前記
各々のサブサンプリング単位に含まれた４個の輝度信号
の形状情報画素の中に物体画素が１個以上存在すると
き、物体に対応する色差信号の形状情報を抽出するサブ
サンプリング手段とから構成される。
方式の映像のための色差信号形状情報抽出装置の一実施
の形態は、二つのフィールド単位で構成された映像信号
において、二つの同一フィールド内に存在する四つの輝
度信号形状情報を用いて色差信号の形状情報を抽出する
サブサンプリング手段を含んで構成される。また、本発
明の飛越し走査方式の映像のための色差信号形状情報抽
出装置のほかの実施の形態は、二つのフィールド単位で
構成された映像信号において、二つの同一フィールド内
に存在する輝度信号の形状情報画素をそれぞれ４個当た
り一つのサブサンプリング単位と設定する手段と、前記
各々のサブサンプリング単位に含まれた４個の輝度信号
の形状情報画素の中に物体画素が１個以上存在すると
き、物体に対応する色差信号の形状情報を抽出するサブ
サンプリング手段とから構成される。
【００２５】本発明の飛越し走査映像のための色差信号
形状情報抽出方法及び装置は、物体基盤処理を行うMPEG
4のような動映像圧縮符号化及び復号化に使用し得るだ
けでなく、全体映像の中で、使用者が望むか必要とする
特定領域（物体）のみを抽出して操作するコンテントク
リエーション（content creation）にも応用可能であ
る。
形状情報抽出方法及び装置は、物体基盤処理を行うMPEG
4のような動映像圧縮符号化及び復号化に使用し得るだ
けでなく、全体映像の中で、使用者が望むか必要とする
特定領域（物体）のみを抽出して操作するコンテントク
リエーション（content creation）にも応用可能であ
る。
【００２６】本発明の飛越し走査映像のための色差信号
形状情報抽出方法を応用した物体単位映像信号符号化装
置及び復号化システムを一例として説明すると次のとお
りである。図１０には、本発明の色差形状情報抽出方法
を応用した物体単位動映像圧縮符号化及び復号化システ
ムの一実施の形態を示す。このシステムは前処理部１１
０、形状情報符号化部１２０、色差形状情報抽出部１３
０、動き推定及び動き補償部１４０、テクスチャー情報
符号化部１６０、減算器１５０、加算器１７０、以前再
現ＶＯＰ部１８０及び多重化部１９０でなる符号化器１
００と、伝送媒体２００と、形状情報復号化部３２０、
色差形状情報抽出部３３０、動き復号化／動き補償部３
５０、テクスチャー情報符号化部３４０、加算器３６
０、依然再現ＶＯＰ部３７０、逆多重化部３１０及び合
成部３８０でなる復号化器３００とから構成される。
形状情報抽出方法を応用した物体単位映像信号符号化装
置及び復号化システムを一例として説明すると次のとお
りである。図１０には、本発明の色差形状情報抽出方法
を応用した物体単位動映像圧縮符号化及び復号化システ
ムの一実施の形態を示す。このシステムは前処理部１１
０、形状情報符号化部１２０、色差形状情報抽出部１３
０、動き推定及び動き補償部１４０、テクスチャー情報
符号化部１６０、減算器１５０、加算器１７０、以前再
現ＶＯＰ部１８０及び多重化部１９０でなる符号化器１
００と、伝送媒体２００と、形状情報復号化部３２０、
色差形状情報抽出部３３０、動き復号化／動き補償部３
５０、テクスチャー情報符号化部３４０、加算器３６
０、依然再現ＶＯＰ部３７０、逆多重化部３１０及び合
成部３８０でなる復号化器３００とから構成される。
【００２７】物体単位映像信号圧縮符号化時、入力され
た映像信号は前処理部１１０で個々の物体に分割され、
この分割された物体が形状情報及びテクスチャー情報で
表示し、各領域に対する形状情報は形状情報符号化部１
２０と動き情報推定部１４０に入力される。形状情報符
号化部１２０では当該物体の形状情報が符号化され、符
号化された後、再現された輝度形状情報（reconstructe
d luminance shape information）は色差形状情報抽出
部１３０、動き情報推定及び動き補償部１４０及びテク
スチャー情報符号化部（texture information encoding
part）１６０に入力され、これらの動作が物体単位で
行われる。一方、形状情報符号化部１２０のさらにほか
の出力である輝度形状情報ビット列（luminance shape
information bitstream）は多重化部１９０に入力され
る。
た映像信号は前処理部１１０で個々の物体に分割され、
この分割された物体が形状情報及びテクスチャー情報で
表示し、各領域に対する形状情報は形状情報符号化部１
２０と動き情報推定部１４０に入力される。形状情報符
号化部１２０では当該物体の形状情報が符号化され、符
号化された後、再現された輝度形状情報（reconstructe
d luminance shape information）は色差形状情報抽出
部１３０、動き情報推定及び動き補償部１４０及びテク
スチャー情報符号化部（texture information encoding
part）１６０に入力され、これらの動作が物体単位で
行われる。一方、形状情報符号化部１２０のさらにほか
の出力である輝度形状情報ビット列（luminance shape
information bitstream）は多重化部１９０に入力され
る。
【００２８】本発明において、色差形状情報抽出部１３
０は、ピクチャータイプに関する情報を受け、ピクチャ
ータイプによって、順次走査方式のフレーム構造ピクチ
ャーである場合は、既存の保存サブサンプリング色差形
状情報サブサンプリングを行い、飛越し走査方式のフィ
ールド構造である場合は、フィールド−基盤色差形状情
報サブサンプリング（field-based chrominance shape
subsampling）を行うように、具現することができる。
０は、ピクチャータイプに関する情報を受け、ピクチャ
ータイプによって、順次走査方式のフレーム構造ピクチ
ャーである場合は、既存の保存サブサンプリング色差形
状情報サブサンプリングを行い、飛越し走査方式のフィ
ールド構造である場合は、フィールド−基盤色差形状情
報サブサンプリング（field-based chrominance shape
subsampling）を行うように、具現することができる。
【００２９】飛越し走査映像のためのこのような色差形
状情報抽出部１３０の詳細な構成を図１１に示す。同図
に示すように、色差形状情報抽出部１３０は、輝度形状
情報を受け、これを上部フィールド及び下部フィールド
に分割するフィールド分割部１３１と、上部フィールド
に対し、二つの同一フィールド内に存在する輝度信号の
形状情報画素をそれぞれ４個当たり一つのサブサンプリ
ング単位と設定し、４個の輝度信号の形状情報画素の中
に物体画素が１個以上存在する場合、物体に当たる色差
信号の形状情報を抽出する上部フィールドサブサンプリ
ング部１３２と、下部フィールドに対し、二つの同一フ
ィールド内に存在する輝度信号の形状情報画素をそれぞ
れ４個当たり一つのサブサンプリング単位と設定し、４
個の輝度信号の形状情報画素の中に物体画素が１個以上
存在する場合、物体に当たる色差信号の形状情報を抽出
する下部フィールドサブサンプリング部１３３と、前記
上部フィールドサブサンプリング部及び前記下部フィー
ルドサブサンプリング部で抽出された色差形状情報をフ
レームで構成するフィールド構成部１３４とから構成さ
れる。ここで、前記上部フィールドサブサンプリング部
１３２及び下部フィールドサブサンプリング部１３３
は、それぞれ二つのフィールド単位で構成された映像信
号において、二つの同一フィールド内に存在する輝度信
号の形状情報画素をそれぞれ４個当たり一つのサブサン
プリング単位と設定する手段と、前記各々のサブサンプ
リング単位に含まれた４個の輝度信号の形状情報画素の
中に物体画素が１個以上存在する場合、物体に当たる色
差信号の形状情報を抽出するサブサンプリング手段とを
含んで構成される。
状情報抽出部１３０の詳細な構成を図１１に示す。同図
に示すように、色差形状情報抽出部１３０は、輝度形状
情報を受け、これを上部フィールド及び下部フィールド
に分割するフィールド分割部１３１と、上部フィールド
に対し、二つの同一フィールド内に存在する輝度信号の
形状情報画素をそれぞれ４個当たり一つのサブサンプリ
ング単位と設定し、４個の輝度信号の形状情報画素の中
に物体画素が１個以上存在する場合、物体に当たる色差
信号の形状情報を抽出する上部フィールドサブサンプリ
ング部１３２と、下部フィールドに対し、二つの同一フ
ィールド内に存在する輝度信号の形状情報画素をそれぞ
れ４個当たり一つのサブサンプリング単位と設定し、４
個の輝度信号の形状情報画素の中に物体画素が１個以上
存在する場合、物体に当たる色差信号の形状情報を抽出
する下部フィールドサブサンプリング部１３３と、前記
上部フィールドサブサンプリング部及び前記下部フィー
ルドサブサンプリング部で抽出された色差形状情報をフ
レームで構成するフィールド構成部１３４とから構成さ
れる。ここで、前記上部フィールドサブサンプリング部
１３２及び下部フィールドサブサンプリング部１３３
は、それぞれ二つのフィールド単位で構成された映像信
号において、二つの同一フィールド内に存在する輝度信
号の形状情報画素をそれぞれ４個当たり一つのサブサン
プリング単位と設定する手段と、前記各々のサブサンプ
リング単位に含まれた４個の輝度信号の形状情報画素の
中に物体画素が１個以上存在する場合、物体に当たる色
差信号の形状情報を抽出するサブサンプリング手段とを
含んで構成される。
【００３０】動き情報推定部は、前記動き情報符号化部
１２０から受けた形状情報により、現在の物体のテクス
チャー情報と以前再現ＶＯＰ部（previous reconstruct
ed object memory）１８０に貯蔵されている以前物体の
テクスチャー情報を用いて、現在の物体テクスチャー情
報の動き情報を探す。探した動き情報は、動き補償予測
（motion compensated prediction）のため、動き補償
部１４０に入力される。また、推定された動き情報は圧
縮符号化され動き情報ビット列（motion information b
itstream）の形態として多重化部１９０に入力される。
動き補償部１４０は、動き情報推定部で求めた動き情報
と以前再現ＶＯＰ部１８０の以前再現物体テクスチャー
情報を用いて動き補償予測を行う。
１２０から受けた形状情報により、現在の物体のテクス
チャー情報と以前再現ＶＯＰ部（previous reconstruct
ed object memory）１８０に貯蔵されている以前物体の
テクスチャー情報を用いて、現在の物体テクスチャー情
報の動き情報を探す。探した動き情報は、動き補償予測
（motion compensated prediction）のため、動き補償
部１４０に入力される。また、推定された動き情報は圧
縮符号化され動き情報ビット列（motion information b
itstream）の形態として多重化部１９０に入力される。
動き補償部１４０は、動き情報推定部で求めた動き情報
と以前再現ＶＯＰ部１８０の以前再現物体テクスチャー
情報を用いて動き補償予測を行う。
【００３１】減算器１５０では、入力テクスチャー情報
と動き補償部１４０で求められた動き補償予測テクスチ
ャー情報との差、つまり予測誤差（prediction error）
を求める。そして、テクスチャー情報符号化部１６０で
この信号を符号化する。生成されたテクスチャー情報ビ
ット列（texture information bitstream）は多重化部
１９０に入力され、再現された予測誤差信号は加算器１
７０に入力される。加算器１７０では動き補償予測信号
と再現された誤差信号を加算して当該物体の再現テクス
チャー情報信号を作り、この信号は以前再現ＶＯＰ部１
８０に貯蔵されて、次に入力される物体の符号化時に用
いられる。多重化部１９０は形状情報符号化部１２０か
らの輝度形状情報ビット列、動き推定及び補償部１４０
からの動き情報ビット列及びテクスチャー情報符号化部
１６０からのテクスチャー情報ビット列を多重化して映
像ビット列（image bitstream）を伝送媒体２０に伝送
する。
と動き補償部１４０で求められた動き補償予測テクスチ
ャー情報との差、つまり予測誤差（prediction error）
を求める。そして、テクスチャー情報符号化部１６０で
この信号を符号化する。生成されたテクスチャー情報ビ
ット列（texture information bitstream）は多重化部
１９０に入力され、再現された予測誤差信号は加算器１
７０に入力される。加算器１７０では動き補償予測信号
と再現された誤差信号を加算して当該物体の再現テクス
チャー情報信号を作り、この信号は以前再現ＶＯＰ部１
８０に貯蔵されて、次に入力される物体の符号化時に用
いられる。多重化部１９０は形状情報符号化部１２０か
らの輝度形状情報ビット列、動き推定及び補償部１４０
からの動き情報ビット列及びテクスチャー情報符号化部
１６０からのテクスチャー情報ビット列を多重化して映
像ビット列（image bitstream）を伝送媒体２０に伝送
する。
【００３２】一方、符号化された後、伝送媒体２００を
介して復号化器３００に入力される映像ビット列は逆多
重化部３１０により動き情報ビット列、輝度形状情報ビ
ット列、テクスチャー情報ビット列及びピクチャータイ
プ情報列に分けられる。形状情報復号化部３２０は輝度
形状情報ビット列を受けて再現形状情報を出力する。こ
の再現形状情報は色差形状情報抽出部３３０、動き補償
部３５０及びテクスチャー情報復号化部３４０に入力さ
れて、物体単位の復号化を行うようにする。
介して復号化器３００に入力される映像ビット列は逆多
重化部３１０により動き情報ビット列、輝度形状情報ビ
ット列、テクスチャー情報ビット列及びピクチャータイ
プ情報列に分けられる。形状情報復号化部３２０は輝度
形状情報ビット列を受けて再現形状情報を出力する。こ
の再現形状情報は色差形状情報抽出部３３０、動き補償
部３５０及びテクスチャー情報復号化部３４０に入力さ
れて、物体単位の復号化を行うようにする。
【００３３】前記色差形状情報抽出部３３０は、伝送媒
体を通じて輝度形状情報のみが伝送されたので、これに
基づいて色差形状情報を抽出し、その構成及び動作は符
号化器１００の色差形状情報抽出部１３０と全く同一で
ある。抽出された色差形状情報はテクスチャー情報復号
化部３４０及び動き補償部３５０に入力される。テクス
チャー情報復号化部３４０は形状情報復号化部３２０か
ら受けた再現形状情報を用いてテクスチャー情報を復号
化し、動き復号化／動き補償部３５０の動き符号化部は
動き情報ビット列からの動き情報を復号化し、動き補償
部は動き情報復号化部の出力である動き情報と以前再現
ＶＯＰ部（previous reconstructed VOP）３７０の以前
テクスチャー情報を用いて動き補償予測を行うことにな
る。もちろん、この時にも、物体領域内部の遂行が必要
であるので、形状情報符号化部３２０の出力である再現
形状情報が入力されて用いられる。動き補償部３５０の
出力である動き補償予測信号はテクスチャー情報復号化
部３４０で再現されたテクスチャー情報と加算器３６０
で加算されて当該物体を復元する。この復元された物体
は以前再現ＶＯＰ部３７０に貯蔵されて次のフレームの
符号化に用いられ、一方、合成部３７０に入力されほか
の物体と合成されて映像信号を再生する。
体を通じて輝度形状情報のみが伝送されたので、これに
基づいて色差形状情報を抽出し、その構成及び動作は符
号化器１００の色差形状情報抽出部１３０と全く同一で
ある。抽出された色差形状情報はテクスチャー情報復号
化部３４０及び動き補償部３５０に入力される。テクス
チャー情報復号化部３４０は形状情報復号化部３２０か
ら受けた再現形状情報を用いてテクスチャー情報を復号
化し、動き復号化／動き補償部３５０の動き符号化部は
動き情報ビット列からの動き情報を復号化し、動き補償
部は動き情報復号化部の出力である動き情報と以前再現
ＶＯＰ部（previous reconstructed VOP）３７０の以前
テクスチャー情報を用いて動き補償予測を行うことにな
る。もちろん、この時にも、物体領域内部の遂行が必要
であるので、形状情報符号化部３２０の出力である再現
形状情報が入力されて用いられる。動き補償部３５０の
出力である動き補償予測信号はテクスチャー情報復号化
部３４０で再現されたテクスチャー情報と加算器３６０
で加算されて当該物体を復元する。この復元された物体
は以前再現ＶＯＰ部３７０に貯蔵されて次のフレームの
符号化に用いられ、一方、合成部３７０に入力されほか
の物体と合成されて映像信号を再生する。
【００３４】
【発明の効果】以上説明したように、本発明によると、
二つのフィールド単位で構成された飛越し走査映像信号
において、二つの同一フィールド内に存在する輝度信号
の形状情報画素をそれぞれ４個当たり一つのサブサンプ
リング単位と設定し、これに基づいて色差情報を抽出す
るため、従来の飛越し走査方式の映像特性を考慮しなか
った色差形状情報抽出方法で発生する色差情報と輝度情
報の不一致問題を解決して主観的画質を向上させること
ができる。
二つのフィールド単位で構成された飛越し走査映像信号
において、二つの同一フィールド内に存在する輝度信号
の形状情報画素をそれぞれ４個当たり一つのサブサンプ
リング単位と設定し、これに基づいて色差情報を抽出す
るため、従来の飛越し走査方式の映像特性を考慮しなか
った色差形状情報抽出方法で発生する色差情報と輝度情
報の不一致問題を解決して主観的画質を向上させること
ができる。
【図１】 順次走査方式のフレーム構成と飛越し走査方
式のフレーム構成を説明する図である。
式のフレーム構成を説明する図である。
【図２】 ４：２：０映像フォーマットにおいて、輝度
と色差の関係及び従来の保存色差形状情報抽出方法を示
す図である。
と色差の関係及び従来の保存色差形状情報抽出方法を示
す図である。
【図３】 任意の形状情報を有する飛越し走査方式の映
像において、１ブロック内の輝度に対する形状情報を示
す図である（図において、○は背景画素を意味し、●は
物体画素を示す）。
像において、１ブロック内の輝度に対する形状情報を示
す図である（図において、○は背景画素を意味し、●は
物体画素を示す）。
【図４】 図３の輝度形状情報に対し、従来の保存色差
形状情報抽出方法により色差形状情報を抽出した場合の
参照された輝度と抽出された色差形状情報の間の関係を
示す図である。
形状情報抽出方法により色差形状情報を抽出した場合の
参照された輝度と抽出された色差形状情報の間の関係を
示す図である。
【図５】 図３の輝度形状情報に対し、色差形状情報抽
出方法を行って抽出された色差形状情報と、本発明の方
法を遂行した後、抽出された色差形状情報を示す図であ
る（図において、□は背景画素を意味し、■は物体色画
素を示す）。
出方法を行って抽出された色差形状情報と、本発明の方
法を遂行した後、抽出された色差形状情報を示す図であ
る（図において、□は背景画素を意味し、■は物体色画
素を示す）。
【図６】 図３の輝度形状情報を有する飛越し走査方式
の映像に対し、従来の保存抽出方法を遂行して抽出した
結果を飛越し方式で画面に透視したときに発生する色差
不一致部分を示す図である。
の映像に対し、従来の保存抽出方法を遂行して抽出した
結果を飛越し方式で画面に透視したときに発生する色差
不一致部分を示す図である。
【図７】 図３の輝度形状情報に対し、本発明の色差形
状情報抽出方法を遂行したとき、上部フィールドの参照
された輝度と抽出された色差形状情報の関係と、下部フ
ィールドの参照された輝度と抽出された色差形状情報の
関係を示す図である。
状情報抽出方法を遂行したとき、上部フィールドの参照
された輝度と抽出された色差形状情報の関係と、下部フ
ィールドの参照された輝度と抽出された色差形状情報の
関係を示す図である。
【図８】 図３の輝度形状情報を有する飛越し走査方式
の映像に対し、本発明の色差形状情報抽出方法を遂行し
て抽出した輝度及び色差形状画素の配置を示す図であ
る。
の映像に対し、本発明の色差形状情報抽出方法を遂行し
て抽出した輝度及び色差形状画素の配置を示す図であ
る。
【図９】 本発明の飛越し走査のための色差信号形状情
報抽出方法のフローチャートである。
報抽出方法のフローチャートである。
【図１０】 本発明の色差形状情報抽出方法を応用した
動映像圧縮符号化及び復号化システムの一実施の形態の
構成図である。
動映像圧縮符号化及び復号化システムの一実施の形態の
構成図である。
【図１１】 本発明の色差信号形状情報抽出装置の一実
施の形態のブロック図である。
施の形態のブロック図である。
４７ 上部フィールドライン、４８ 下部フィールドラ
イン、７１’、７６’ 色差形状情報画素、７２〜７
５、７７〜８０、７２’〜７５’、７７’〜８０’ 輝
度形状情報画素、１００ 符号化器、１０１ 分割線、
１１０ 前処理部、１２０ 形状情報符号化部、１３０
色差形状情報抽出部、１３１ フィールド分割部、１
３２ 上部フィールドサブサンプリング部、１３３ 下
部フィールドサブサンプリング部、１３４ フィールド
構成部、１４０ 動き推定及び動き補償部、１５０ 減
算器、１６０ テクスチャー情報符号化部、１７０ 加
算器、１８０ 以前再現ＶＯＰ部、１９０ 多重化部、
２００ 伝送媒体、３００ 復号化器、３１０ 逆多重
化部、３２０ 形状情報復号化部、３３０ 色差形状情
報抽出部、３４０ テクスチャー情報符号化部、３５０
動き復号化／動き補償部、３６０ 加算器、３７０
以前再現ＶＯＰ部、３８０ 合成部。
イン、７１’、７６’ 色差形状情報画素、７２〜７
５、７７〜８０、７２’〜７５’、７７’〜８０’ 輝
度形状情報画素、１００ 符号化器、１０１ 分割線、
１１０ 前処理部、１２０ 形状情報符号化部、１３０
色差形状情報抽出部、１３１ フィールド分割部、１
３２ 上部フィールドサブサンプリング部、１３３ 下
部フィールドサブサンプリング部、１３４ フィールド
構成部、１４０ 動き推定及び動き補償部、１５０ 減
算器、１６０ テクスチャー情報符号化部、１７０ 加
算器、１８０ 以前再現ＶＯＰ部、１９０ 多重化部、
２００ 伝送媒体、３００ 復号化器、３１０ 逆多重
化部、３２０ 形状情報復号化部、３３０ 色差形状情
報抽出部、３４０ テクスチャー情報符号化部、３５０
動き復号化／動き補償部、３６０ 加算器、３７０
以前再現ＶＯＰ部、３８０ 合成部。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平９−307929（ＪＰ，Ａ)
特開 平９−271041（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 9/00 - 9/78
H04N 11/00 - 11/22
G06T 7/00
Claims (10)
- 【請求項１】 飛越し走査方式の映像のための色差信号
形状情報抽出方法において、上下部フィールド単位に区分された 映像信号において、
各フィールド内に存在する輝度信号の形状情報画素をそ
れぞれ４個当たり一つのサブサンプリング単位に設定す
る段階と、 前記各々のサブサンプリング単位に含まれた４個の輝度
信号の形状情報画素の中に物体画素が１個以上存在する
と、物体に当たる色差信号の形状情報を抽出する段階と
から構成されることを特徴とする飛越し走査方式の映像
のための色差信号形状情報抽出方法。 - 【請求項２】 前記方法は、前記各々のサブサンプリン
グ単位に含まれた４個の輝度信号の形状情報画素の中に
物体画素が存在していないと、背景に当たる色差信号の
形状情報を抽出する段階を更に含むことを特徴とする請
求項１記載の飛越し走査方式の映像のための色差信号形
状情報抽出方法。 - 【請求項３】 色差形状情報画素が上部フィールドの画
素である場合、上部フィールド内にある前記画素に隣接
する４個の上部フィールド輝度形状情報画素を用いて色
差形状情報を抽出することを特徴とする請求項１記載の
飛越し走査方式の映像のための色差信号形状情報抽出方
法。 - 【請求項４】 色差形状情報画素が下部フィールドの画
素である場合、下部フィールド内にある前記画素に隣接
する４個の下部フィールド輝度形状情報画素を用いて色
差形状情報を抽出することを特徴とする請求項１記載の
飛越し走査方式の映像のための色差信号形状情報抽出方
法。 - 【請求項５】 飛越し走査方式の映像のための色差信号
形状情報抽出装置において、上下部フィールド単位に区分された 映像信号において、
各フィールド内に存在する輝度信号の形状情報画素をそ
れぞれ４個当たり一つのサブサンプリング単位に設定す
る手段と、 前記各々のサブサンプリング単位に含まれた４個の輝度
信号の形状情報画素の中に物体画素が１個以上存在する
と、物体に当たる色差信号の形状情報を抽出するサブサ
ンプリング手段とから構成されることを特徴とする飛越
し走査方式の映像のための色差信号形状情報抽出装置。 - 【請求項６】 前記サブサンプリング手段は、各々のサ
ブサンプリング単位に含まれた４個の輝度信号の形状情
報画素の中に物体画素が存在していないと、背景に当た
る色差信号の形状情報を抽出する過程を遂行するサブサ
ンプリング手段であることを特徴とする請求項５記載の
飛越し走査方式の映像のための色差信号形状情報抽出装
置。 - 【請求項７】 前記サブサンプリング手段は、色差形状
情報画素が上部フィールドの画素である場合、上部フィ
ールド内にある前記画素に隣接する４個の上部フィール
ド輝度形状情報画素を用いて色差形状情報を抽出するサ
ブサンプリング手段であることを特徴とする請求項５記
載の飛越し走査方式の映像のための色差信号形状情報抽
出装置。 - 【請求項８】 前記サブサンプリング手段は、色差形状
情報画素が下部フィールドの画素である場合、下部フィ
ールド内にある前記画素に隣接する４個の下部フィール
ド輝度形状情報画素を用いて色差形状情報を抽出するサ
ブサンプリング手段であることを特徴とする請求項５記
載の飛越し走査方式の映像のための色差信号形状情報抽
出装置。 - 【請求項９】 輝度形状情報を受け、これを上部フィー
ルド及び下部フィールドに分割するフィールド分割部
と、 上部フィールドに対し、上部フィールド内に存在する輝
度信号形状情報画素を用いて色差信号の形状情報を抽出
する上部フィールドサブサンプリング部と、 下部フィールドに対し、下部フィールド内に存在する輝
度信号形状情報画素を用いて色差信号の形状情報を抽出
する下部フィールドサブサンプリング部と、 前記上部フィールドサブサンプリング部及び前記下部フ
ィールドサブサンプリング部から抽出された色差形状情
報をフレーム構造で再構成するフレーム構成部とから構
成されることを特徴とする飛越し走査方式の映像のため
の色差信号形状情報抽出装置。 - 【請求項１０】 前記上部フィールドサブサンプリング
部は、上部フィールドに対し、同一の上部フィールド内
に存在する輝度信号の形状情報画素をそれぞれ４個当た
り一つのサブサンプリング単位と設定し、４個の輝度信
号の形状情報画素の中に物体画素が１個以上存在する場
合、物体に当たる色差信号の形状情報を抽出する上部フ
ィールドサブサンプリング部であり、 前記下部フィールドサブサンプリング部は、下部フィー
ルドに対し、同一の下部フィールド内に存在する輝度信
号の形状情報画素をそれぞれ４個当たり一つのサブサン
プリング単位と設定し、４個の輝度信号の形状情報画素
の中に物体画素が一つ以上存在する場合、物体に当たる
色差信号の形状情報を抽出する下部フィールドサブサン
プリング部であることを特徴とする請求項９記載の飛越
し走査方式の映像のための色差信号形状情報抽出装置。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR19980007374 | 1998-03-05 | ||
| KR1998-7374 | 1999-02-10 | ||
| KR1019990004674A KR100374717B1 (ko) | 1998-03-05 | 1999-02-10 | 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치 |
| KR1999-4674 | 1999-02-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11331867A JPH11331867A (ja) | 1999-11-30 |
| JP3439146B2 true JP3439146B2 (ja) | 2003-08-25 |
Family
ID=37416804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05690399A Expired - Fee Related JP3439146B2 (ja) | 1998-03-05 | 1999-03-04 | 飛越し走査方式映像のための色差信号形状情報抽出方法及び装置 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US7899112B1 (ja) |
| EP (1) | EP0940995B1 (ja) |
| JP (1) | JP3439146B2 (ja) |
| KR (1) | KR100374717B1 (ja) |
| AT (1) | ATE289467T1 (ja) |
| DE (1) | DE69923725T2 (ja) |
| DK (1) | DK0940995T3 (ja) |
| ES (1) | ES2236979T3 (ja) |
| PT (1) | PT940995E (ja) |
| SI (1) | SI0940995T1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5033375B2 (ja) * | 2006-08-11 | 2012-09-26 | 株式会社 ペンジュラム | 保護回路及び負荷電流検出回路 |
| WO2010028107A1 (en) * | 2008-09-07 | 2010-03-11 | Dolby Laboratories Licensing Corporation | Conversion of interleaved data sets, including chroma correction and/or correction of checkerboard interleaved formatted 3d images |
| US9055278B2 (en) | 2009-01-07 | 2015-06-09 | Dolby Laboratories Licensing Corporation | Conversion, correction, and other operations related to multiplexed data sets |
| JP5885886B2 (ja) * | 2013-06-04 | 2016-03-16 | 三菱電機株式会社 | 画像解析装置及び画像解析方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2644706C3 (de) * | 1976-10-04 | 1985-12-05 | Robert Bosch Gmbh, 7000 Stuttgart | System zur Übertragung bzw. Speicherung eines Farbfernsehsignals |
| KR940002196B1 (ko) * | 1990-03-27 | 1994-03-18 | 미쯔비시덴끼 가부시끼가이샤 | 움직임 적응형 휘도신호 색신호 분리 필터 |
| JP2991833B2 (ja) * | 1991-10-11 | 1999-12-20 | 松下電器産業株式会社 | インターレス走査ディジタルビデオ信号の符号化装置及びその方法 |
| JP2936299B2 (ja) * | 1993-07-22 | 1999-08-23 | 日本テレビ放送網株式会社 | 信号伝送・記録、及び入力・出力方法 |
| US5712687A (en) * | 1996-04-25 | 1998-01-27 | Tektronix, Inc. | Chrominance resampling for color images |
| KR100209412B1 (ko) * | 1996-05-10 | 1999-07-15 | 전주범 | 비디오 신호의 유호 색차 성분 부호화 방법 |
| US5974172A (en) * | 1997-02-14 | 1999-10-26 | At&T Corp | Method and apparatus for coding segmented regions which may be transparent in video sequences for content-based scalability |
| US6208693B1 (en) * | 1997-02-14 | 2001-03-27 | At&T Corp | Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects |
| US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
| US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
| US6002812A (en) * | 1997-07-10 | 1999-12-14 | Samsung Electronics Co., Ltd. | Interpolation method for binary image |
| JP3813320B2 (ja) * | 1997-08-27 | 2006-08-23 | 株式会社東芝 | 動きベクトル検出方法および装置 |
| US6532022B1 (en) * | 1997-10-15 | 2003-03-11 | Electric Planet, Inc. | Method and apparatus for model-based compositing |
| US6407735B2 (en) * | 1997-11-13 | 2002-06-18 | Crump Group Inc. | Method for generating surface representations of objects from layered data |
| US5973743A (en) * | 1997-12-02 | 1999-10-26 | Daewoo Electronics Co., Ltd. | Mode coding method and apparatus for use in an interlaced shape coder |
| US6137837A (en) * | 1998-01-23 | 2000-10-24 | Motorola, Inc. | Motion estimation for digital video with reduced number of search window pixels |
| JPH11308610A (ja) * | 1998-04-02 | 1999-11-05 | Daewoo Electronics Co Ltd | 映像信号適応的符号化装置 |
-
1999
- 1999-02-10 KR KR1019990004674A patent/KR100374717B1/ko not_active IP Right Cessation
- 1999-03-03 US US09/261,246 patent/US7899112B1/en not_active Expired - Fee Related
- 1999-03-04 AT AT99104390T patent/ATE289467T1/de active
- 1999-03-04 DE DE1999623725 patent/DE69923725T2/de not_active Expired - Lifetime
- 1999-03-04 DK DK99104390T patent/DK0940995T3/da active
- 1999-03-04 PT PT99104390T patent/PT940995E/pt unknown
- 1999-03-04 ES ES99104390T patent/ES2236979T3/es not_active Expired - Lifetime
- 1999-03-04 EP EP99104390A patent/EP0940995B1/en not_active Expired - Lifetime
- 1999-03-04 SI SI9930778T patent/SI0940995T1/xx unknown
- 1999-03-04 JP JP05690399A patent/JP3439146B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| SI0940995T1 (en) | 2005-08-31 |
| DE69923725T2 (de) | 2006-01-05 |
| EP0940995B1 (en) | 2005-02-16 |
| EP0940995A3 (en) | 2002-10-23 |
| ATE289467T1 (de) | 2005-03-15 |
| US7899112B1 (en) | 2011-03-01 |
| PT940995E (pt) | 2005-04-29 |
| EP0940995A2 (en) | 1999-09-08 |
| JPH11331867A (ja) | 1999-11-30 |
| DK0940995T3 (da) | 2005-04-11 |
| KR100374717B1 (ko) | 2003-03-04 |
| DE69923725D1 (de) | 2005-03-24 |
| KR19990077416A (ko) | 1999-10-25 |
| ES2236979T3 (es) | 2005-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sikora | MPEG digital video-coding standards | |
| US7362804B2 (en) | Graphical symbols for H.264 bitstream syntax elements | |
| US6466624B1 (en) | Video decoder with bit stream based enhancements | |
| US6404814B1 (en) | Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal | |
| US7421127B2 (en) | Spatial scalable compression scheme using spatial sharpness enhancement techniques | |
| US6400763B1 (en) | Compression system which re-uses prior motion vectors | |
| JP4157929B2 (ja) | 映像情報符号化／復号化装置 | |
| US7408990B2 (en) | Efficient motion vector coding for video compression | |
| US6983078B2 (en) | System and method for improving image quality in processed images | |
| US20020097802A1 (en) | "Coding techniques for coded block parameters of blocks of macroblocks" | |
| US8064516B2 (en) | Text recognition during video compression | |
| JP2007525907A (ja) | 立体３ｄビデオイメージディジタルデコーディングのシステムおよび方法 | |
| KR100367831B1 (ko) | 영상의 색차신호 필터링 방법 및 장치 | |
| US20070086666A1 (en) | Compatible interlaced sdtv and progressive hdtv | |
| JP3439146B2 (ja) | 飛越し走査方式映像のための色差信号形状情報抽出方法及び装置 | |
| Puri et al. | Performance evaluation of the MPEG-4 visual coding standard | |
| KR100559713B1 (ko) | 격행주사를 위한 색상 정보 부호화/복호화 장치 및 그 방법 | |
| Lebègue et al. | Video compression for the grand alliance: A historical perspective | |
| KR19990027349A (ko) | 영상정보 변환방법 | |
| MXPA00008676A (en) | Method and apparatus for padding interlaced macroblock texture information | |
| MXPA06009734A (es) | Metodo y sistema de decodificacion digital de imagenes de video 3d estereoscopicas. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080613 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090613 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100613 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |