JP3760049B2 - 任意形状符号化方法 - Google Patents
任意形状符号化方法 Download PDFInfo
- Publication number
- JP3760049B2 JP3760049B2 JP16807298A JP16807298A JP3760049B2 JP 3760049 B2 JP3760049 B2 JP 3760049B2 JP 16807298 A JP16807298 A JP 16807298A JP 16807298 A JP16807298 A JP 16807298A JP 3760049 B2 JP3760049 B2 JP 3760049B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- vop
- frame
- arbitrary shape
- opaque
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、任意の形状に基づいた客体符号化に係り、特に、ディスプレーの全領域の画素が一つの客体のテクスチャーとして使用される場合、これを効率よく形状符号化する任意形状符号化方法に関する。
【0002】
【従来の技術】
図2に示されたように、一般的に任意の形状に基づいた客体は、形状とテクスチャー(Texture)とに区分される。
従来の任意形状符号化方法、例えばMPEG−4 Video VM(Version7.0)に記述されている形状符号化方法は、図3に示されたような過程による。
まず、ビデオ客体層(Video Object Layer:以下、VOLと記載)における形状が、任意の形状なのかを判別する(110段階)。
VOLにおける形状が任意の形状である場合、ビデオ客体平面(Video Object Plane:以下、VOPと記載)のフレーム別に客体の大きさ(幅、高さ等)を求めた後(120段階)、各マクロブロック別に動き、形状及びテクスチャー符号化を行う(140段階)。
一方、VOLにおける形状が任意の形状でない場合には、予め四角フレームが決定されるので、各マクロブロック別に動き及びテクスチャー符号化のみを行う(150段階)。
【0003】
図4によれば、時間フレームt +3に示されたように任意の形状であっても場面によっては画面全領域の画素が任意の形状を有する一つの客体のテクスチャーとして用いられ場合がある。図3に示された従来の技術によって形状符号化する場合には、任意の形状を有する一つの客体のテクスチャーが画面全体を占める場合に対しても該当画面に含まれるそれぞれのマクロブロックに対する形状情報を伝送データストリームに含めるべきである。
このように任意の形状を有する一つの客体のテクスチャーが画面全体を占める場合にはそれぞれのマクロブロックへの形状情報は意味のない情報であるが、これを計算するために付加的な時間及び伝送データが含まれて 非効率的である。
【0004】
【発明が解決しようとする課題】
本発明は、前記問題点を解決するために創作されたものであって、任意形状の符号化時、ディスプレーの全領域の画素が一つの客体のテクスチャーとして使用される場合、これを効率よく形状符号化しうる任意形状符号化方法を提供することにその目的がある。
【0005】
【課題を解決するための手段】
前記目的を達成するために本発明による任意形状符号化方法は、(a)VOLにおける形状が任意の形状であるかを判別する段階と、(b)(a)段階でVOLにおける形状が任意の形状である場合、各フレームのVOPの大きさを求める段階と、(c)前記フレーム別に前記VOP内の全てのマクロブロックが不透明か、否かに対する情報を符号化する段階と、(d)(c)段階で前記フレーム別に、形状が全て不透明でなければVOPをマクロブロック単位で動き情報、形状情報及びテクスチャー情報を符号化する段階と、(e)(a)段階でVOLにおける形状が任意の形状でないか、または(c)段階でVOPの形状が全て不透明のフレームの場合、VOPをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階とを含むことを特徴とする。
【0006】
【発明の実施の形態】
以下、添付された図面に基づき本発明を詳しく説明する。
VOLとは、一つの客体が時間軸上で動く時、一定時間の映像フレームに含まれた全ての客体を意味し、VOPとは、動映像を時間軸上に配列した時、与えられた何れか一瞬間に処理されている1枚の静止画面を意味する。
従って、VOLは一定時間のVOPを全て含むことを意味する。
【0007】
VOLにおける幅及び高さは、一定時間固定されたものであって、TV映像画面やPCモニター画面上におけるディスプレーの大きさと概念上同一である。
【0008】
VOLで符号化する対象が任意形状である場合、任意形状を囲む最小の境界四角形領域がVOPとなる。従って、VOPの幅及び高さは、時間フレーム毎に異なる値を有する。VOLで符号化する対象が四角である場合には、VOPの大きさは、VOLの幅及び高さに固定される。
【0009】
従って、図4に示された4枚のフレームの外郭を形成する四角形の幅及び高さがVOLにおける幅及び高さと同じであり、その四角形内部に星状の客体を取囲む最小の大きさの領域を形成する四角形の幅及び高さがVOPにおける幅及び高さである。
【0010】
図1によれば、本発明による任意形状符号化方法は、VOLにおける形状が任意の形状なのかを判別する段階(210段階)、各フレームのVOPの大きさを求める段階(220段階)、時間フレーム別に形状が全て不透明か否かの情報を符号化する段階(240段階)、形状が全て不透明でなければVOPをマクロブロック単位で符号化する段階(250段階)、及びVOLにおける形状が任意の形状でないか、またはVOPの形状が全て不透明のフレームの場合、VOPをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階(260段階)よりなる。
【0011】
VOLにおける客体の形状は、任意の形状(arbitrary shape)と非任意の形状(non−arbitrary shape)とに区分される。ここで、任意の形状は任意の模様を有する形状であり、非任意の形状は四角領域も一つの形状情報と見做すことを意味する。210段階ではVOLにおける客体の形状が任意の形状か否かを判別する。
【0012】
220段階では、VOLにおける客体の形状が任意の形状の場合、各時間フレームのVOPの幅を求め(221段階)、VOPの高さを求める(222段階)。
【0013】
240段階では、フレーム別に形状がディスプレーの全領域を使用したか、即ちVOPにおける全てのマクロブロックが全て形状で占められて不透明か否かを判断し、これに対する情報を符号化する。この際、形状が全て不透明か否かの判断方法は、比較対象のフレームの透明か不透明かを判断する情報を全て不透明である参照映像の不透明であることを示す情報に比べて差がなければ全て不透明であると判断することである。
【0014】
本発明の一実施例では、240段階で常に全て不透明か否かを判断した。しかし、他の実施例では、220段階で求めたVOPの幅及び高さがVOLにおける幅及び高さと同じ場合、または220段階で求めたVOPの幅及び高さがフレームの幅及び高さと同じ場合、または220段階で求めたVOPの幅及び高さが直前フレームのVOPの幅及び高さと同じ場合、またはこのような条件を適切に組合せた場合にのみ形状が全て不透明か否かを判断することによりその判断の回数を減らすこともできる。
【0015】
250段階は、形状が全て不透明でない場合に、マクロブロック別初期形状符号化(251段階)、マクロブロック別動き符号化(252段階)、マクロブロック別形状符号化(253段階)及びマクロブロック別テクスチャー符号化(254段階)を行う段階である。
【0016】
マクロブロック単位内における形状情報の分布は、透明、不透明及び境界に大別される。透明はマクロブロック内に形状情報がない場合であり、不透明はマクロブロック内の全ての画素が客体の形状情報の場合であり、境界はマクロブロック内の一部画素が客体の形状情報で残り画素には形状情報がない場合である。これでマクロブロック別初期形状符号化段階では、前記のようなマクロブロックの種類を符号化する。その理由は、マクロブロックの種類が透明や不透明な場合にはマクロブロック別形状符号化を行わないようにするためである。
【0017】
260段階は、VOLにおける形状が任意の形状でないか、またはVOPの形状が全て不透明なフレームの場合、マクロブロック別動き符号化(261段階)及びマクロブロック別テクスチャー符号化(262段階)を行う段階である。
【0018】
従って、本発明によれば、VOPにおける形状が全て不透明な場合には前記マクロブロック別初期形状符号化(251段階)も不要なので、マクロブロック別に1〜3ビットが所要される符号化過程がVOP単位で1ビット符号化過程に代替される。
【0019】
【発明の効果】
本発明によれば、任意形状の符号化時、ディスプレーの全領域の画素が客体のテクスチャーとして使用される場合、VOP当り1ビットの情報を符号化することによりマクロブロック当り1〜3ビットまで所要される形状情報を回避できる。
また、VOPの形状が全て不透明な場合、マクロブロック符号化に必要なモジュールが、全体4つから2つに減少されて符号化過程で必要な計算量を減らしうる。
次は、本発明の性能を評価するために、VOPの形状が全て不透明な場合、本発明を用いた形状符号化量と既存の方式を用いた形状符号化量とを比較した図表である。
【表1】
表1に示されたように、従来の方法による形状符号化量はVOPにおけるマクロブロック数の2倍である反面、本発明による形状符号化量はVOP当り1ビットである。
【図面の簡単な説明】
【図1】本発明による任意形状符号化の過程を示したフローチャートである。
【図2】任意の形状を有する客体の内容を説明するための図面である。
【図3】従来の技術による任意形状符号化の過程を示したフローチャートである。
【図4】時間フレーム別に任意の形状を有する客体を示した図面である。
Claims (3)
- (a)VOLにおける形状が任意の形状であるかを判別する段階と、
(b)(a)段階でVOLにおける形状が任意の形状である場合、各フレームのVOPの大きさを求める段階と、
(c)前記フレーム別に前記VOP内の全てのマクロブロックが不透明か、否かを判断して、これに対する情報を符号化する段階と、
(d)(c)段階で前記フレーム別に、形状が全て不透明でなければVOPをマクロブロック単位で動き情報、形状情報及びテクスチャー情報を符号化する段階と、
(e)(a)段階でVOLにおける形状が任意の形状でないか、または(c)段階でVOPの形状が全て不透明のフレームの場合、VOPをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階とを含むことを特徴とする任意形状符号化方法。 - 前記(b)段階は、
各フレームのVOPの幅を求める段階と、
各フレームのVOPの高さを求める段階からなり、
前記(c)段階は、
前記VOPの幅及び高さがVOLにおける幅及び高さと同じ場合にのみ形状が全て不透明か否かを判断することを特徴とする請求項1に記載の任意形状符号化方法。 - 前記(b)段階は、
各フレームのVOPの幅を求める段階と、
各フレームのVOPの高さを求める段階からなり、
前記(c)段階は、
前記VOPの幅及び高さがフレームの幅及び高さと同じ場合にのみ形状が全て不透明か否かを判断することを特徴とする請求項1に記載の任意形状符号化方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970032626A KR100251051B1 (ko) | 1997-07-14 | 1997-07-14 | 임의 형상 부호화 방법 |
KR97-32626 | 1997-07-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1155665A JPH1155665A (ja) | 1999-02-26 |
JP3760049B2 true JP3760049B2 (ja) | 2006-03-29 |
Family
ID=19514373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16807298A Expired - Fee Related JP3760049B2 (ja) | 1997-07-14 | 1998-06-16 | 任意形状符号化方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6151413A (ja) |
JP (1) | JP3760049B2 (ja) |
KR (1) | KR100251051B1 (ja) |
CN (1) | CN1251152C (ja) |
DE (1) | DE19818516B4 (ja) |
FR (1) | FR2765981B1 (ja) |
GB (1) | GB2327312B (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4261630B2 (ja) * | 1998-02-04 | 2009-04-30 | キヤノン株式会社 | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 |
US6421386B1 (en) * | 1999-12-29 | 2002-07-16 | Hyundai Electronics Industries Co., Ltd. | Method for coding digital moving video including gray scale shape information |
US6813388B2 (en) * | 2000-02-07 | 2004-11-02 | Matsushita Electric Industrial Co., Ltd. | Image coding method, image coding apparatus and data storage medium |
US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US6954498B1 (en) * | 2000-10-24 | 2005-10-11 | Objectvideo, Inc. | Interactive video manipulation |
US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
US20050146605A1 (en) | 2000-10-24 | 2005-07-07 | Lipton Alan J. | Video surveillance system employing video primitives |
US7868912B2 (en) | 2000-10-24 | 2011-01-11 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US7650058B1 (en) * | 2001-11-08 | 2010-01-19 | Cernium Corporation | Object selective video recording |
CN1605212A (zh) * | 2001-12-20 | 2005-04-06 | 皇家飞利浦电子股份有限公司 | 视频的编码及解码方法 |
EP1696671A1 (en) * | 2002-05-06 | 2006-08-30 | Motorola, Inc. | Image content region reconfiguration data messages and methods therefor |
WO2007014216A2 (en) | 2005-07-22 | 2007-02-01 | Cernium Corporation | Directed attention digital video recordation |
EP1977608B1 (en) * | 2006-01-09 | 2020-01-01 | LG Electronics, Inc. | Inter-layer prediction method for video signal |
WO2010057170A1 (en) | 2008-11-17 | 2010-05-20 | Cernium Corporation | Analytics-modulated coding of surveillance video |
US10924784B2 (en) * | 2016-08-30 | 2021-02-16 | Sony Corporation | Transmitting device, transmitting method, receiving device, and receiving method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8710737D0 (en) * | 1987-05-06 | 1987-06-10 | British Telecomm | Video image encoding |
KR100211916B1 (ko) * | 1995-10-26 | 1999-08-02 | 김영환 | 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법 |
US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
US5991447A (en) * | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
-
1997
- 1997-07-14 KR KR1019970032626A patent/KR100251051B1/ko not_active IP Right Cessation
-
1998
- 1998-04-21 US US09/063,373 patent/US6151413A/en not_active Expired - Fee Related
- 1998-04-24 DE DE1998118516 patent/DE19818516B4/de not_active Expired - Fee Related
- 1998-04-29 CN CNB981074774A patent/CN1251152C/zh not_active Expired - Fee Related
- 1998-04-29 FR FR9805398A patent/FR2765981B1/fr not_active Expired - Fee Related
- 1998-04-30 GB GB9809306A patent/GB2327312B/en not_active Expired - Fee Related
- 1998-06-16 JP JP16807298A patent/JP3760049B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR19990010010A (ko) | 1999-02-05 |
FR2765981A1 (fr) | 1999-01-15 |
GB9809306D0 (en) | 1998-07-01 |
KR100251051B1 (ko) | 2000-04-15 |
US6151413A (en) | 2000-11-21 |
GB2327312B (en) | 2001-11-28 |
CN1251152C (zh) | 2006-04-12 |
GB2327312A (en) | 1999-01-20 |
DE19818516A1 (de) | 1999-01-21 |
JPH1155665A (ja) | 1999-02-26 |
CN1205491A (zh) | 1999-01-20 |
DE19818516B4 (de) | 2007-01-25 |
FR2765981B1 (fr) | 2002-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3760049B2 (ja) | 任意形状符号化方法 | |
US6295381B1 (en) | Coding apparatus and decoding apparatus of image data and corresponding shape data at different resolutions | |
US6226015B1 (en) | Method of automatically producing sketches and cartoon images from movies | |
CN1099656C (zh) | 视频压缩方法和装置 | |
US8170095B2 (en) | Faster image processing | |
JP3895431B2 (ja) | 物体境界ブロック合併/分割を利用した映像情報符号化方法 | |
US9167260B2 (en) | Apparatus and method for video processing | |
KR100435609B1 (ko) | 화상데이터처리장치및방법 | |
CN108513131B (zh) | 一种自由视点视频深度图感兴趣区域编码方法 | |
CN1498391A (zh) | 检测视频数据流中卡通的方法和系统 | |
KR20060135736A (ko) | 스크린상에 디스플레이될 영상들의 종횡비의 변경 | |
US11600026B2 (en) | Data processing systems | |
CN1231800A (zh) | 数字化图像的图像编码的方法 | |
JP3903445B2 (ja) | 最適グリッド決定方法及びその装置 | |
JP2007158703A (ja) | 動画生成装置、動画生成方法、及びプログラム | |
CN107592547A (zh) | 一种基于hevc压缩域的运动感知图提取方法 | |
JP3971930B2 (ja) | 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体 | |
JPH09251554A (ja) | 画像処理装置 | |
JP4139657B2 (ja) | 映像信号の符号化装置および復号化装置 | |
JP4404556B2 (ja) | 動画像符号化方法とシステム及び動画像復号方法とシステム | |
JPH0879756A (ja) | 動画像符号化装置 | |
CN115918070A (zh) | 基于视频的点云编解码的非二进制占用图 | |
CN112738523A (zh) | 一种图像编解码方法及装置 | |
CN114449347A (zh) | 一种视频渲染画面的智能优化方法 | |
CN117201792A (zh) | 视频编码方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040227 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060106 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090113 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |