JP3760049B2 - 任意形状符号化方法 - Google Patents

任意形状符号化方法 Download PDF

Info

Publication number
JP3760049B2
JP3760049B2 JP16807298A JP16807298A JP3760049B2 JP 3760049 B2 JP3760049 B2 JP 3760049B2 JP 16807298 A JP16807298 A JP 16807298A JP 16807298 A JP16807298 A JP 16807298A JP 3760049 B2 JP3760049 B2 JP 3760049B2
Authority
JP
Japan
Prior art keywords
shape
vop
frame
arbitrary shape
opaque
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16807298A
Other languages
English (en)
Other versions
JPH1155665A (ja
Inventor
義 善 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH1155665A publication Critical patent/JPH1155665A/ja
Application granted granted Critical
Publication of JP3760049B2 publication Critical patent/JP3760049B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、任意の形状に基づいた客体符号化に係り、特に、ディスプレーの全領域の画素が一つの客体のテクスチャーとして使用される場合、これを効率よく形状符号化する任意形状符号化方法に関する。
【0002】
【従来の技術】
図2に示されたように、一般的に任意の形状に基づいた客体は、形状とテクスチャー(Texture)とに区分される。
従来の任意形状符号化方法、例えばMPEG−4 Video VM(Version7.0)に記述されている形状符号化方法は、図3に示されたような過程による。
まず、ビデオ客体層(Video Object Layer:以下、VOLと記載)における形状が、任意の形状なのかを判別する(110段階)。
VOLにおける形状が任意の形状である場合、ビデオ客体平面(Video Object Plane:以下、VOPと記載)のフレーム別に客体の大きさ(幅、高さ等)を求めた後(120段階)、各マクロブロック別に動き、形状及びテクスチャー符号化を行う(140段階)。
一方、VOLにおける形状が任意の形状でない場合には、予め四角フレームが決定されるので、各マクロブロック別に動き及びテクスチャー符号化のみを行う(150段階)。
【0003】
図4によれば、時間フレームt +3に示されたように任意の形状であっても場面によっては画面全領域の画素が任意の形状を有する一つの客体のテクスチャーとして用いられ場合がある。図3に示された従来の技術によって形状符号化する場合には、任意の形状を有する一つの客体のテクスチャーが画面全体を占める場合に対しても該当画面に含まれるそれぞれのマクロブロックに対する形状情報を伝送データストリームに含めるべきである。
このように任意の形状を有する一つの客体のテクスチャーが画面全体を占める場合にはそれぞれのマクロブロックへの形状情報は意味のない情報であるが、これを計算するために付加的な時間及び伝送データが含まれて 非効率的である。
【0004】
【発明が解決しようとする課題】
本発明は、前記問題点を解決するために創作されたものであって、任意形状の符号化時、ディスプレーの全領域の画素が一つの客体のテクスチャーとして使用される場合、これを効率よく形状符号化しうる任意形状符号化方法を提供することにその目的がある。
【0005】
【課題を解決するための手段】
前記目的を達成するために本発明による任意形状符号化方法は、(a)VOLにおける形状が任意の形状であるかを判別する段階と、(b)(a)段階でVOLにおける形状が任意の形状である場合、各フレームのVOPの大きさを求める段階と、(c)前記フレーム別に前記VOP内の全てのマクロブロックが不透明か、否かに対する情報を符号化する段階と、(d)(c)段階で前記フレーム別に、形状が全て不透明でなければVOPをマクロブロック単位で動き情報、形状情報及びテクスチャー情報を符号化する段階と、(e)(a)段階でVOLにおける形状が任意の形状でないか、または(c)段階でVOPの形状が全て不透明のフレームの場合、VOPをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階とを含むことを特徴とする。
【0006】
【発明の実施の形態】
以下、添付された図面に基づき本発明を詳しく説明する。
VOLとは、一つの客体が時間軸上で動く時、一定時間の映像フレームに含まれた全ての客体を意味し、VOPとは、動映像を時間軸上に配列した時、与えられた何れか一瞬間に処理されている1枚の静止画面を意味する。
従って、VOLは一定時間のVOPを全て含むことを意味する。
【0007】
VOLにおける幅及び高さは、一定時間固定されたものであって、TV映像画面やPCモニター画面上におけるディスプレーの大きさと概念上同一である。
【0008】
VOLで符号化する対象が任意形状である場合、任意形状を囲む最小の境界四角形領域がVOPとなる。従って、VOPの幅及び高さは、時間フレーム毎に異なる値を有する。VOLで符号化する対象が四角である場合には、VOPの大きさは、VOLの幅及び高さに固定される。
【0009】
従って、図4に示された4枚のフレームの外郭を形成する四角形の幅及び高さがVOLにおける幅及び高さと同じであり、その四角形内部に星状の客体を取囲む最小の大きさの領域を形成する四角形の幅及び高さがVOPにおける幅及び高さである。
【0010】
図1によれば、本発明による任意形状符号化方法は、VOLにおける形状が任意の形状なのかを判別する段階(210段階)、各フレームのVOPの大きさを求める段階(220段階)、時間フレーム別に形状が全て不透明か否かの情報を符号化する段階(240段階)、形状が全て不透明でなければVOPをマクロブロック単位で符号化する段階(250段階)、及びVOLにおける形状が任意の形状でないか、またはVOPの形状が全て不透明のフレームの場合、VOPをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階(260段階)よりなる。
【0011】
VOLにおける客体の形状は、任意の形状(arbitrary shape)と非任意の形状(non−arbitrary shape)とに区分される。ここで、任意の形状は任意の模様を有する形状であり、非任意の形状は四角領域も一つの形状情報と見做すことを意味する。210段階ではVOLにおける客体の形状が任意の形状か否かを判別する。
【0012】
220段階では、VOLにおける客体の形状が任意の形状の場合、各時間フレームのVOPの幅を求め(221段階)、VOPの高さを求める(222段階)。
【0013】
240段階では、フレーム別に形状がディスプレーの全領域を使用したか、即ちVOPにおける全てのマクロブロックが全て形状で占められて不透明か否かを判断し、これに対する情報を符号化する。この際、形状が全て不透明か否かの判断方法は、比較対象のフレームの透明か不透明かを判断する情報を全て不透明である参照映像の不透明であることを示す情報に比べて差がなければ全て不透明であると判断することである。
【0014】
本発明の一実施例では、240段階で常に全て不透明か否かを判断した。しかし、他の実施例では、220段階で求めたVOPの幅及び高さがVOLにおける幅及び高さと同じ場合、または220段階で求めたVOPの幅及び高さがフレームの幅及び高さと同じ場合、または220段階で求めたVOPの幅及び高さが直前フレームのVOPの幅及び高さと同じ場合、またはこのような条件を適切に組合せた場合にのみ形状が全て不透明か否かを判断することによりその判断の回数を減らすこともできる。
【0015】
250段階は、形状が全て不透明でない場合に、マクロブロック別初期形状符号化(251段階)、マクロブロック別動き符号化(252段階)、マクロブロック別形状符号化(253段階)及びマクロブロック別テクスチャー符号化(254段階)を行う段階である。
【0016】
マクロブロック単位内における形状情報の分布は、透明、不透明及び境界に大別される。透明はマクロブロック内に形状情報がない場合であり、不透明はマクロブロック内の全ての画素が客体の形状情報の場合であり、境界はマクロブロック内の一部画素が客体の形状情報で残り画素には形状情報がない場合である。これでマクロブロック別初期形状符号化段階では、前記のようなマクロブロックの種類を符号化する。その理由は、マクロブロックの種類が透明や不透明な場合にはマクロブロック別形状符号化を行わないようにするためである。
【0017】
260段階は、VOLにおける形状が任意の形状でないか、またはVOPの形状が全て不透明なフレームの場合、マクロブロック別動き符号化(261段階)及びマクロブロック別テクスチャー符号化(262段階)を行う段階である。
【0018】
従って、本発明によれば、VOPにおける形状が全て不透明な場合には前記マクロブロック別初期形状符号化(251段階)も不要なので、マクロブロック別に1〜3ビットが所要される符号化過程がVOP単位で1ビット符号化過程に代替される。
【0019】
【発明の効果】
本発明によれば、任意形状の符号化時、ディスプレーの全領域の画素が客体のテクスチャーとして使用される場合、VOP当り1ビットの情報を符号化することによりマクロブロック当り1〜3ビットまで所要される形状情報を回避できる。
また、VOPの形状が全て不透明な場合、マクロブロック符号化に必要なモジュールが、全体4つから2つに減少されて符号化過程で必要な計算量を減らしうる。
次は、本発明の性能を評価するために、VOPの形状が全て不透明な場合、本発明を用いた形状符号化量と既存の方式を用いた形状符号化量とを比較した図表である。
【表1】
Figure 0003760049
表1に示されたように、従来の方法による形状符号化量はVOPにおけるマクロブロック数の2倍である反面、本発明よる形状符号化量はVOP当り1ビットである。
【図面の簡単な説明】
【図1】本発明による任意形状符号化の過程を示したフローチャートである。
【図2】任意の形状を有する客体の内容を説明するための図面である。
【図3】従来の技術による任意形状符号化の過程を示したフローチャートである。
【図4】時間フレーム別に任意の形状を有する客体を示した図面である。

Claims (3)

  1. (a)VOLにおける形状が任意の形状であるかを判別する段階と、
    (b)(a)段階でVOLにおける形状が任意の形状である場合、各フレームのVOPの大きさを求める段階と、
    (c)前記フレーム別に前記VOP内の全てのマクロブロックが不透明か、否かを判断して、これに対する情報を符号化する段階と、
    (d)(c)段階で前記フレーム別に、形状が全て不透明でなければVOPをマクロブロック単位で動き情報、形状情報及びテクスチャー情報を符号化する段階と、
    (e)(a)段階でVOLにおける形状が任意の形状でないか、または(c)段階でVOPの形状が全て不透明のフレームの場合、VOPをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階とを含むことを特徴とする任意形状符号化方法。
  2. 前記(b)段階は、
    各フレームのVOPの幅を求める段階と、
    各フレームのVOPの高さを求める段階からなり、
    前記(c)段階は、
    前記VOPの幅及び高さがVOLにおける幅及び高さと同じ場合にのみ形状が全て不透明か否かを判することを特徴とする請求項1に記載の任意形状符号化方法。
  3. 前記(b)段階は、
    各フレームのVOPの幅を求める段階と、
    各フレームのVOPの高さを求める段階からなり、
    前記(c)段階は、
    前記VOPの幅及び高さがフレームの幅及び高さと同じ場合にのみ形状が全て不透明か否かを判することを特徴とする請求項1に記載の任意形状符号化方法。
JP16807298A 1997-07-14 1998-06-16 任意形状符号化方法 Expired - Fee Related JP3760049B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019970032626A KR100251051B1 (ko) 1997-07-14 1997-07-14 임의 형상 부호화 방법
KR97-32626 1997-07-14

Publications (2)

Publication Number Publication Date
JPH1155665A JPH1155665A (ja) 1999-02-26
JP3760049B2 true JP3760049B2 (ja) 2006-03-29

Family

ID=19514373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16807298A Expired - Fee Related JP3760049B2 (ja) 1997-07-14 1998-06-16 任意形状符号化方法

Country Status (7)

Country Link
US (1) US6151413A (ja)
JP (1) JP3760049B2 (ja)
KR (1) KR100251051B1 (ja)
CN (1) CN1251152C (ja)
DE (1) DE19818516B4 (ja)
FR (1) FR2765981B1 (ja)
GB (1) GB2327312B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4261630B2 (ja) * 1998-02-04 2009-04-30 キヤノン株式会社 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体
US6421386B1 (en) * 1999-12-29 2002-07-16 Hyundai Electronics Industries Co., Ltd. Method for coding digital moving video including gray scale shape information
US6813388B2 (en) * 2000-02-07 2004-11-02 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding apparatus and data storage medium
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7650058B1 (en) * 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
CN1605212A (zh) * 2001-12-20 2005-04-06 皇家飞利浦电子股份有限公司 视频的编码及解码方法
EP1696671A1 (en) * 2002-05-06 2006-08-30 Motorola, Inc. Image content region reconfiguration data messages and methods therefor
WO2007014216A2 (en) 2005-07-22 2007-02-01 Cernium Corporation Directed attention digital video recordation
EP1977608B1 (en) * 2006-01-09 2020-01-01 LG Electronics, Inc. Inter-layer prediction method for video signal
WO2010057170A1 (en) 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
US10924784B2 (en) * 2016-08-30 2021-02-16 Sony Corporation Transmitting device, transmitting method, receiving device, and receiving method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8710737D0 (en) * 1987-05-06 1987-06-10 British Telecomm Video image encoding
KR100211916B1 (ko) * 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video

Also Published As

Publication number Publication date
KR19990010010A (ko) 1999-02-05
FR2765981A1 (fr) 1999-01-15
GB9809306D0 (en) 1998-07-01
KR100251051B1 (ko) 2000-04-15
US6151413A (en) 2000-11-21
GB2327312B (en) 2001-11-28
CN1251152C (zh) 2006-04-12
GB2327312A (en) 1999-01-20
DE19818516A1 (de) 1999-01-21
JPH1155665A (ja) 1999-02-26
CN1205491A (zh) 1999-01-20
DE19818516B4 (de) 2007-01-25
FR2765981B1 (fr) 2002-08-16

Similar Documents

Publication Publication Date Title
JP3760049B2 (ja) 任意形状符号化方法
US6295381B1 (en) Coding apparatus and decoding apparatus of image data and corresponding shape data at different resolutions
US6226015B1 (en) Method of automatically producing sketches and cartoon images from movies
CN1099656C (zh) 视频压缩方法和装置
US8170095B2 (en) Faster image processing
JP3895431B2 (ja) 物体境界ブロック合併/分割を利用した映像情報符号化方法
US9167260B2 (en) Apparatus and method for video processing
KR100435609B1 (ko) 화상데이터처리장치및방법
CN108513131B (zh) 一种自由视点视频深度图感兴趣区域编码方法
CN1498391A (zh) 检测视频数据流中卡通的方法和系统
KR20060135736A (ko) 스크린상에 디스플레이될 영상들의 종횡비의 변경
US11600026B2 (en) Data processing systems
CN1231800A (zh) 数字化图像的图像编码的方法
JP3903445B2 (ja) 最適グリッド決定方法及びその装置
JP2007158703A (ja) 動画生成装置、動画生成方法、及びプログラム
CN107592547A (zh) 一种基于hevc压缩域的运动感知图提取方法
JP3971930B2 (ja) 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体
JPH09251554A (ja) 画像処理装置
JP4139657B2 (ja) 映像信号の符号化装置および復号化装置
JP4404556B2 (ja) 動画像符号化方法とシステム及び動画像復号方法とシステム
JPH0879756A (ja) 動画像符号化装置
CN115918070A (zh) 基于视频的点云编解码的非二进制占用图
CN112738523A (zh) 一种图像编解码方法及装置
CN114449347A (zh) 一种视频渲染画面的智能优化方法
CN117201792A (zh) 视频编码方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees