JP4786114B2 - 映像をコード化するための方法及び装置 - Google Patents

映像をコード化するための方法及び装置 Download PDF

Info

Publication number
JP4786114B2
JP4786114B2 JP2001586925A JP2001586925A JP4786114B2 JP 4786114 B2 JP4786114 B2 JP 4786114B2 JP 2001586925 A JP2001586925 A JP 2001586925A JP 2001586925 A JP2001586925 A JP 2001586925A JP 4786114 B2 JP4786114 B2 JP 4786114B2
Authority
JP
Japan
Prior art keywords
video
encoding
shape
over time
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001586925A
Other languages
English (en)
Inventor
アンソニー ヴェトロ
ハイファン スン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Application granted granted Critical
Publication of JP4786114B2 publication Critical patent/JP4786114B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Description

【０００１】
【発明の属する技術分野】
この発明は、一般に、多重映像オブジェクトを符号化およびトランスコード化することに関し、特に、可変時間解像度を用いた多重映像オブジェクトの符号化およびトランスコード化を制御するシステムに関するものである。
【０００２】
【従来の技術】
近年、符号化された情報を通信するための多数の基準が開発されてきた。映像シーケンスについては、最も広範囲に用いられている基準として、ＭＰＥＧ−１（動画の格納および取り出し用）、ＭＰＥＧ−２（デジタルテレビ用）、およびＨ．２６３が挙げられる。『ISO/IEC JTC1 CD 11172、ＭＰＥＧ、「Information Technology-Coding of Moving Pictures and Associated Audio for Digital Storage Media up to about 1.5 Mbit/s-Part2:Coding of Moving Pictures Information」１９９１年、LeGall、「MPEG:A Video Compression Standard for Multimedia Applications」Communications of the ACM、３４巻４号、４６から５８頁、１９９１年、ISO/IEC DIS 13818-2、ＭＰＥＧ−２、「Information Technology-Generic Coding of Moving Pictures and Associated Audio Information-Part2:Video」１９９４年、ITU-T SGXV、ＤＲＡＦＴ Ｈ．２６３、「Video Coding for Low Bitrate Communication」１９９６年、ITU-T SGXVI、DRAFT13 H.263+Q15-A-60rev.0、「Video Coding for Low Bitrate Communication」１９９７年』を参照のこと。
【０００３】
これらの基準は、映像シーケンスの空間および時間圧縮を主として取り扱う比較的低レベルの規格である。共通の特徴として、これらの基準は、フレーム毎の圧縮を行う。これらの基準を用いることによって、広範囲な応用に対して高圧縮比を成し遂げることができる。
【０００４】
ＭＰＥＧ−４（マルチメディア応用）などの新しい映像コーディング基準（「Information Technology――Generic coding of audio/visual objects」ISO/IEC FDIS 14496-2（MPEG4 Visual）、１９９８年１１月を参照）では、任意の形状のオブジェクトを別個の映像オブジェクト面（ＶＯＰ）として符号化および復号化することが可能である。オブジェクトは、視覚、音声、自然、合成、プリミティブ、複合、またはその組み合わせであり得る。映像オブジェクトは、複合オブジェクトまたは「シーン」を形成するように構成される。
【０００５】
新しく浮上しつつあるＭＰＥＧ−４基準は、自然および合成材料が統合され、アクセスが普遍的である、インタラクティブ映像などのマルチメディア応用を可能にすることを意図している。ＭＰＥＧ−４は、コンテンツに基づいた相互作用を考慮している。例えば、１つの映像から他の映像に動く人物またはオブジェクトを「切貼り」したい場合がある。このタイプの応用では、マルチメディアコンテンツにおけるオブジェクトは、何らかのタイプのセグメンテーションプロセスを用いて識別されていると想定される。例えば、リン（Lin）らによって１９９９年６月４日に提出された米国特許出願第０９／３２６，７５０号、「Method for Ordering Image Spaces to Search for Object Surfaces」を参照のこと。
【０００６】
映像送信では、これらの圧縮基準は、ネットワークによって必要とされる帯域幅（利用可能なビットレート）の量を低減するために必要である。ネットワークは、無線チャネルまたはインターネットを表し得る。いずれにせよ、ネットワークは、コンテンツを送信する必要があるときにリソースが分解されなければならないため、容量およびコンテンションが限定される。
【０００７】
長年にわたって、デバイスが映像コンテンツを安定して送信し、コンテンツの品質を利用可能なネットワークリソースに適用することを可能にするアーキテクチャおよびプロセスに多大な努力が払われてきた。コーディング時間毎のビット数を割り付けるためにレート制御が用いられる。レート制御は、符号化器によって生成されるビットストリームがバッファ制約を満足することを確実にする。
【０００８】
レート制御プロセスは、符号化された信号の品質を最大にすることを試みると共に、一定のビットレートを提供する。ＭＰＥＧ−２などのフレームに基づいた符号化については、１９９８年１２月８日付けでウズ（Uz）らに発行された米国特許第５,８４７,７６１号「Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers」を参照のこと。ＭＰＥＧ−４などのオブジェクトに基づいた符号化については、１９９９年１０月１９日付けでサン（Sun）およびベトロ（Vetro）に発行された米国特許第５,９６９,７６４号「Adaptive video coding method」を参照のこと。
【０００９】
コンテンツがすでに符号化されている場合、ストリームが、例えば、利用可能なビットレートの減少に対処するためにネットワークを通して送信される前に、すでに圧縮されたビットストリームをさらに変換する必要がある場合もある。ビットストリーム変換または「トランスコーディング」は、ビットレート変換、解像度変換、およびシンタックス変換に分類することができる。ビットレート変換には、一定のビットレート（ＣＢＲ）と可変ビットレート（ＶＢＲ）との間のビットレートスケーリングおよび変換が含まれる。ビットレートスケーリングの基本的な機能は、入力ビットストリームを受け、受信機の新しい負荷制約に合致するスケーリングされた出力ビットストリームを生成することである。ビットストリームスケーラは、ソースビットストリームと受信負荷とを一致させるトランスコーダ、またはフィルタである。
【００１０】
図７に示すように、通常、スケーリングは、トランスコーダ１００によって成し遂げられ得る。力ずくの場合、トランスコーダは、復号化器１１０および符号化器１２０を有する。圧縮された入力ビットストリーム１０１は、入力レートＲｉｎで完全に復号化され、新しい出力レートＲｏｕｔ１０２で符号化され、出力ビットストリーム１０３を生成する。通常、出力レートは入力レートよりも低い。しかし、実際には、復号化されたビットストリームを符号化するのは非常に複雑であるため、トランスコーダにおける完全な復号化および完全な符号化は行われず、その代わりに圧縮されたまたは部分的に復号化されたビットストリームに対してトランスコーディングが行われる。
【００１１】
ＭＰＥＧ−２に対する初期の研究は、「Architectures for MPEG compressed bitstream scaling」、IEEE Transactions on Circuits and Systems for Video Technology、１９９６年４月においてサン（Sun）らによって公開されている。この文献では、複雑さおよびアーキテクチャを変化させた４つのレート低減方法が示されている。
【００１２】
図８は、例示的な方法を示している。このアーキテクチャでは、映像ビットストリームは単に部分的に復号化されている。具体的には、入力ビットストリーム２０１のマクロブロックは、可変長復号化（ＶＬＤ）２１０される。入力ビットストリームはまた、遅延２２０され、逆量子化（ＩＱ）２３０され、離散コサイン変換（ＤＣＴ）係数を生成する。所望の出力ビットレートが与えられると、部分的に復号化されたデータは分析２４０され、新しい量子化器のセットは符号２５０でＤＣＴマクロブロックに適用される。これらの再量子化されたマクロブロックは、次に、可変長コード化（ＶＬＣ）２６０され、より低いレートの新しい出力ビットストリーム２０３が形成され得る。この方式は図７に示す方式よりもはるかに簡単である。なぜなら、運動ベクトルが再使用され、逆ＤＣＴ操作の必要がないからである。
【００１３】
アサンカオ（Assuncao）らのさらに最近の研究では、「A frequency domain video transcoder for dynamic bit-rate reduction of MPEG-2 bitstreams」IEEE Transactions on Circuits and Systems fｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、９５３から９５７頁、１９９８年１２月において、同じタスクに対する簡略化されたアーキテクチャについて記載している。アサンカオ（Assuncao）らは、ドリフト補償のために周波数ドメインにおいて動作するモーション補償（ＭＣ）ループを用いている。近似マトリクスは、周波数ドメイン内のＭＣマクロブロックの迅速な計算のために得られる。ラグランジュ最適化は、トランスコーディングのための最良の量子化器スケールを計算するために用いられる。
【００１４】
ソリアル（Sorial）らの他の研究、「Joint transcoding of multiple MPEG video bitstreams」Proceedings of the International Symposium on Circuits and Systems、１９９９年５月は、多重ＭＰＥＧ−２ビットストリームを共同でトランスコードする方法を示している。ベトロ（Vetro）らによって１９９９年１０月１日付けで提出された米国特許出願第０９／４１０,５５２号「Estimating Rate-Distortion Characteristics of Binary Shape Data」も参照のこと。
【００１５】
従来の圧縮基準によると、テクスチャ情報を符号化するために割り付けられるビットの数は、量子化パラメータ（ＱＰ）によって制御される。上記の文献も同様である。元のビットストリームに含まれる情報に基づいてＱＰを変更することによって、テクスチャビットのレートは低減される。効率的な実施のために、情報は、通常、圧縮されたドメイン内で直接抽出され、マクロブロックの運動またはＤＣＴマクロブロックの残留エネルギーに関連する測度を含み得る。このタイプの分析は、図８のビット割り付け分析器２４０において見出すことができる。
【００１６】
上記の従来のトランスコーディング法に加えて、新しいトランスコーディング法がいくつか記載されている。例えば、２０００年２月１４日にベトロ（Vetro）らによって提出された米国特許出願第０９／５０４,３２３号「Object-Based Bitstream Transcoder」を参照のこと。この文献では、従来のトランスコーディングシステムの制限を克服する情報搬送システムについて記載されている。従来のシステムは、低減可能なレートの量においていくぶんか拘束される。従来のシステムはまた、全体的な知覚品質を考慮せず、むしろ、ＰＳＮＲなどの客観的測度が支配していた。
【００１７】
ベトロ（Vetro）らによって記載されているシステムでは、変換はより柔軟で、品質の測定は、従来のビット毎の相違から逸脱している。
【００１８】
ベトロ（Vetro）は、非常に特有な方法で映像コンテンツをまとめている。オブジェクトに基づいたフレーム構造内で、個々の映像オブジェクトは異なる品質でトランスコードされる。品質の相違は、空間品質または時間解像度（品質）のいずれかに関連し得る。
【００１９】
時間解像度がシーン内のオブジェクト間で変化する場合、すべてのオブジェクトが互いに何らかのタイプの時間同期を維持することが重要である。時間同期が維持されると、受信機は、再構築されたシーン内のすべての画素が規定されるようにオブジェクトを構成し得る。
【００２０】
シーン内で規定されていない画素は、背景および前景オブジェクトから生じ得る。あるいは、重複するオブジェクトは、異なる時間解像度でサンプリングされ、再構成されたシーン内で「ホール（ｈｏｌｅｓ）」が現れる。従って、符号化またはトランスコーディング中の多重オブジェクトの時間解像度を変化させる場合、同期が維持されることは重要であった。
【００２１】
この点をさらに例示するために、比較的静止した背景オブジェクト（例えば、空白の壁）および動いている人などのさらに活動的な前景オブジェクトがあるシーンについて考えよう。背景は、比較的低い時間解像度（例えば、１秒当たり１０フレーム）で符号化され得る。前景オブジェクトは、１秒当たり３０フレームのより高い時間解像度で符号化される。これは、前景オブジェクトがあまり動かない限り良好である。しかし、万一前景オブジェクトが背景に対して動くと、「ホール」が背景の部分に現れ、前景オブジェクトによって塞ぐことはできない。
【００２２】
【発明が解決しようとする課題】
本発明の目的は、上記の問題を解決し、可変時間解像度を用いて多重オブジェクトの符号化およびトランスコーディングを可能にすることである。
【００２３】
ＭＰＥＧ基準委員会によって行われている最近の基準化に向けての取り組みは、正式には「Multimedia Content Description Interface」と呼ばれるＭＰＥＧ−７である。「MPEG-7 Context、Objectives and Techinical Roadmap」、ＩＳＯ／ＩＥＣ Ｎ２８６１、１９９９年７月を参照のこと。実質的には、この基準は、様々なタイプのマルチメディアコンテンツを記述するために用いられ得る記述子のセットおよび記述方式を導入することを計画している。記述子および記述方式は、コンテンツ自体と関連し、特定のユーザに関心のあるマテリアルの迅速かつ効率的な検索を考慮する。この基準は、以前のコーディング基準に置き換わるものではなく、むしろ、他の基準表現（特に、ＭＰＥＧ−４）の上に構築されることに留意することが重要である。これは、マルチメディアコンテンツが異なるオブジェクトに分解され、各オブジェクトには特有の記述子のセットが割り当てられるからである。また、この基準は、コンテンツが保存される形式とは独立している。
【００２４】
ＭＰＥＧ−７の主な応用は、検索および取得の応用であることが期待される。「MPEG-7 Applications」ISO/IEC N2861、１９９９年７月を参照のこと。簡単な応用では、ユーザは特定オブジェクトのいくつかの属性を指定する。この低レベルの表現では、これらの属性は、特定オブジェクトのテクスチャ、モーション、および形状を記述する記述子を含み得る。形状を表現し、比較する方法は、リン（Lin）らによって１９９９年６月４日付けで提出された米国特許出願第０９／３２６,７５９号「Method for Ordering Image Spaces to Represent Object Shapes」に記載され、モーションアクティビティを記述する方法は、デバカラン（Divakaran）らによって１９９９年９月２７日付けで提出された米国特許出願第０９／４０６,４４４号「Activity Descriptor for Video Sequences」に記載されている。より高いレベルの表現を得るためには、いくつかの低レベルの記述子を組み合わせるさらに複雑な記述方式を考慮することができる。事実、これらの記述方式は、他の記述方式を含み得る。「MPEG-7 Multimedia Description Schemes WD(V1.0)」ISO/IEC N3113、１９９９年１２月およびリン（Lin）らによって１９９９年８月３０日付けで提出された米国特許出願第０９／３８５,１６９号「Method for representing and comparing multimedia content」を参照のこと。
【００２５】
これらの記述子および記述方式によって、ユーザは、符号化器またはトランスコーダによって従来では得られなかった映像コンテンツの特性にアクセスすることができる。例えば、これらの特性は、トランスコーダがアクセスできないと想定されていたルックアヘッド情報を表し得る。符号化器またはトランスコーダがこれらの特性にアクセスするのは、これらの特性が初期にコンテンツから得られる、即ち、コンテンツが予め処理され、関連するメタデータを有するデータベースに格納される場合だけである。
【００２６】
情報自体は、シンタックスまたはセマンティックスのいずれかであり得る。シンタックス情報とは、コンテンツの物理的および論理的信号局面を指し、セマンティックス情報とは、コンテンツの概念的な意味を指す。映像シーケンスについては、シンタックス要素は、特定オブジェクトの色、形状、およびモーションに関連し得る。他方、セマンティックス要素は、事象の時間および場所、映像シーケンス内の人名などの、低レベル記述子から抽出することができない情報を指し得る。
【００２７】
可変時間解像度を有するシーンにおける映像オブジェクトのためのオブジェクトに基づいた符号化器またはトランスコーダにおける同期を維持することが望まれる。さらに、このような変化は、映像コンテンツメタデータを用いて識別されることが望まれる。
【００２８】
【課題を解決するための手段】
本発明は、映像のコーディング装置および方法を提供する。本発明によるコーディングは、符号化器またはトランスコーダによって成し遂げられ得る。映像は、まず、映像オブジェクトに分割される。符号化器の場合、この分割は、セグメンテーション面を用いて行われ、トランスコーダの場合にはデマルチプレクサが用いられる。経時的に、形状特徴は、各オブジェクトから抽出される。形状特徴は、各オブジェクトの形状が経時的にどのように展開するかを測定することによって得ることができる。ハミングまたはハウスドルフ距離測定が用いられ得る。抽出された形状特徴はレートまたはトランスコーダ制御ユニットで組み合わされ、各オブジェクトに対して経時的に時間解像度が決定される。時間解像度は、様々な映像オブジェクトを符号化するために用いられる。必要に応じて、モーション特徴およびコーディング複雑さはまた、時間解像度決定におけるトレードオフを行うと共に考慮され得る。
【００２９】
映像が圧縮されていないデータである場合、分割、組み合わせ、およびコーディングは符号化器において行われる。圧縮された映像については、デマルチプレクシング、組み合わせ、およびコーディングがトランスコーダにおいて行われる。後者の場合、圧縮映像におけるオブジェクトの境界ブロックは、形状特徴を抽出するために用いられる。本発明の１つの態様では、異なるオブジェクトは、異なる時間解像度またはフレームレートを有し得る。
【００３０】
【発明の実施の形態】
可変時間解像度符号化およびトランスコーディングに関する概説
本発明は、シーンにおける多重映像オブジェクトを符号化およびトランスコーディングしながら時間解像度を制御するための方法および装置を提供する。時間解像度コントローラは、可変時間解像度および異なる時間解像度を有するオブジェクトの符号化、トランスコーディング、および再構築を可能にする。オブジェクトに基づいたコーディング方式の主な利点の１つは、オブジェクトの空間および時間解像度の両方が独立して変化し得ることである。
【００３１】
人間の顔などのさらに興味深いオブジェクトにより高い空間品質を提供することが望まれる。同じことは時間解像度にも当てはまる。しかし、時間解像度では、重大な微妙さが存在する。即ち、シーン内でのオブジェクト間の同期は、再構築されたシーン内のすべての画素が規定されるように維持されなければならない。圧縮映像の映像再構築が大部分の映像基準（ＭＰＥＧ−１／２／４）の規範部分によって規定され、従来の復号化器によって処理されることに留意されたい。従って、復号化器については、本明細書には記載しない。
【００３２】
本明細書に記載する方法および装置は、オブジェクトに基づいた符号化およびトランスコーディングシステム、ならびに非リアルタイムおよびリアルタイム応用に適用可能である。入力映像は、符号化中には圧縮されず、トランスコーディング中には圧縮される。出力映像は、符号化中およびトランスコーディング中に圧縮される。本明細書で記載する機構および手法は、従来のデバイスのアーキテクチャにシームレスに統合され得る。
【００３３】
構成問題
図１は、２つの映像オブジェクト、即ち、前景オブジェクト３０１および背景オブジェクト３０２に分割されたシーン３０３を示す。シーンは、２つのオブジェクトを組み合わせることによって再構築され得る。この簡単な例では、前景オブジェクトは、動く人であり、背景オブジェクトは、静止した壁である。前景および背景オブジェクトの画素は、初期のフレームにおいて、シーン内のすべての画素を規定することに留意されたい。これらの２つのオブジェクトが同じ時間解像度で符号化され場合、受信機内での画像再構築中にはオブジェクト構成には問題はない。再構築されたシーン３０３内の画素はすべて規定されている。
【００３４】
しかし、オブジェクトが異なる時間解像度で符号化される場合に問題が生じる。例えば、背景は１５Ｈｚのフレームレートで符号化され、前景は、第１のレートの２倍の３０Ｈｚのフレームレートで符号化される。一般に、２つのオブジェクトは、独立したモーションを有し、それぞれに関連する画素は各フレームにおいて変化する。さらに、前景オブジェクトはまた比較的静止し得るが、背景オブジェクトよりも高い内部モーションを有することに留意されたい。例えば、前景はテクスチャが豊富であり、動く目、唇、および他の動く顔の特徴部を有するのに対して、背景は空白の壁である。従って、背景よりも前景をより高い空間および時間解像度で符号化することが望まれる。
【００３５】
本実施例では、図２のシーケンスに示すように、前景オブジェクトは、背景に対して動いている。シーケンス４０１から４０３では、時間は左から右へと経過する。ここで、シーケンス４０１は、比較的低い時間解像度で符号化された背景オブジェクトであり、シーケンス４０２は、比較的高い解像度で符号化された前景オブジェクトであり、シーケンス４０３は、再構築されたシーンである。シーケンス４０３には、１つ置きのフレームにホール４０４が生じる。これらのホールは、隣接したオブジェクトまたは重複したオブジェクトを更新しない場合に、１つのオブジェクトの移動によって発生する。ホールは、いずれのオブジェクトとも関連し得ないシーンのカバーされていない領域であり、画素は規定されていない。ホールはオブジェクトが（例えば、フレーム置きに）再同期されると消える。
【００３６】
形状歪みメトリクス
本発明によるオブジェクトの時間解像度についての決定を制御および行うための方法および装置は、シーンにおける形状変化（歪み）量を示す。本明細書では、この目的のために抽出され得る多数の形状特徴について記載する。例えば、１つの形状特徴は、経時的なオブジェクトの形状差を測定する。様々なオブジェクトの形状特徴が抽出および比較された後、符号化器は、符号化またはトランスコーディング中に各オブジェクトに対して用いられる時間解像度の量を決定し得る。
【００３７】
各オブジェクトについての形状差は、経時的に測定される。形状差は、オブジェクト間の時間解像度における変動量と逆比例する。固定時間量では、小さな差は、より大きな変動を示すのに対して、大きな差は、より小さな変動を示す。オブジェクトが再同期される間の持続時間がより大きくなれば、保存されているビットは、より良好な品質を必要とするオブジェクトに割り付けられ得る。
【００３８】
時間メトリクス
オブジェクトを最適に合成する方法は以下のように動作する。映像を定期的にサンプリングし、各オブジェクトの形状間の差を経時的に見出す。オブジェクトの形状差が経時的に小さい場合には、差を測定するためのサンプリング期間を増加させる。差が所定の閾値Ｄよりも大きくなるまでサンプリング期間を増加し続ける。この時点で、フレームを出力して、その差を有する映像オブジェクトを再同期させるか、またはオブジェクトが合成されるべき新しい周波数を決定する。周波数は、同期フレーム間の平均、最小、または中間時間間隔に基づき得る。この周波数は、様々な映像オブジェクトのそれぞれに対する最適な時間レートを決定するために用いられ得る。
【００３９】
差に基づいた形状特徴
簡単のため、２つのシーンのみの間、即ち、１つのフレームから次のフレームへの形状特徴における差を考える。しかし、このような形状特徴はまた、様々なキューレベルでのシーンに関連し得る。キューレベルは、２０００年４月１１日付けでベトロ（Vetro）らによって提出された、米国特許出願第０９／５４６,７１７号、「Adaptable Bitstream Video Delivery System」において定義されている。この文献を本願では参照することで援用する。
【００４０】
形状特徴が抽出されるキューレベルによって、時間コントローラは、シーン内のオブジェクトの時間解像度を成し遂げるための様々な方法を提供し得る。これらの方法は、符号化器およびトランスコーダの両方に適用可能である。
【００４１】
ハミング距離
本願で考慮する第１の差は、周知のハミング距離である。ハミング距離は、２つの形状間の差である画素数を測定する。まず、バイナリ形状、即ち、セグメンテーション（アルファ−α）値が単にゼロまたは１であり得る場合について考える。ここで、ゼロはセグメンテーション面における透明画素を指し、１はセグメンテーション面における不透明画素を指す。この場合、ハミング距離ｄは、以下の式で定義され、
【００４２】
【数２】
Figure 0004786114
【００４３】
ここで、α１（ｍ，ｎ）およびα２（ｍ，ｎ）は、異なる時間における対応するセグメンテーション面である。
【００４４】
ハウスドルフ距離
他の広範囲に用いられている形状差測定は、ハウスドルフ距離である。ハウスドルフ距離は、２つの画素セット間の最大関数として定義される。
【００４５】
ｈ（Ａ，Ｂ）＝ｍａｘ｛ｍｉｎ｛ｄ（ａ，ｂ）｝｝
【００４６】
ここで、ａおよびｂは、２つの映像オブジェクトのセットＡおよびＢのそれぞれの画素であり、ｄ（ａ，ｂ）は、これらの画素間のユークリッド距離である。上記のメトリックは、セットＢにおける最近似画素までのセットＡにおける画素の最大距離を示す。なぜなら、このメトリックは対称ではないからである。即ち、ｈ（Ａ，Ｂ）は、ｈ（Ｂ，Ａ）とは等しくなく、より一般的な定義は、以下の式によって表される。
【００４７】
Ｈ（Ａ，Ｂ）＝ｍａｘ｛ｈ（Ａ，Ｂ），ｈ（Ｂ，Ａ）｝
【００４８】
これらの差の測定は、画素−ドメイン内で計算されるとき最も正確であるが、圧縮ドメインからの近似データもまた上記の計算において用いられ得ることに留意されたい。画素−ドメインデータは、符号化器において容易に得られるが、トランスコーダについては、形状データを復号化することは計算上実現できない。その代わりに、データは何らかの計算上効率的な方法で近似され得る。
【００４９】
マクロブロックに基づいた形状特徴
例えば、ＭＰＥＧ−４において、形状は、様々に異なるモードでコード化され、マクロブロックレベルで行われる。例えば、モード内では、形状マクロブロックは、不透明マクロブロック、透明マクロブロック、または境界マクロブロックとしてコード化される。言うまでもなく、境界ブロックは、オブジェクトの形状を規定する。これらのコーディングモードは、バイナリ形状のマクロブロックレベルシルエットを再構築するために用いられ得る。言うまでもなく、画素レベルのメトリックほどは正確ではないが、複雑さの観点では全く実現可能である。
【００５０】
符号化器の構造
図３は、本発明によるオブジェクトに基づいた符号化器５００を示す。符号化器は、スイッチ５１０、形状コーダ５２０、モーション推定器５３０、モーション補償器５４０、モーションコーダ５５０、テクスチャコーダ５６０、ＶＯＰメモリ５７０、マルチプレクサ（ＭＵＸ）５８０、出力バッファ５９０、およびメタデータ格納ユニット５９１を有する。符号化器はまた、ＱＰテクスチャ分析器、時間分析器、形状分析器、及びメタデータ分析器５９３〜５９６を行うためのレート制御ユニット（ＲＣＵ）５９２を有する。符号化器５００への入力はオブジェクトに基づいた映像（入力）５０１である。映像は、画像シーケンスデータ、及び各映像オブジェクトの境界（形状）を規定するセグメンテーション（アルファ）面で構成される。
【００５１】
符号化器の動作
形状コーダ５２０は、各オブジェクトの形状を処理し、形状コーディングの結果をＭＵＸ５８０およびバッファ５９０を介して出力ビットストリーム（出力）５０９に書き込む。形状データはまた、モーション推定器５３０、モーション補償器５４０、およびテクスチャコーダ５６０に対しても用いられ得る。特に形状データは、各オブジェクトについての形状特徴を抽出するために用いられる。オブジェクト、ならびに関連する形状およびモーション特徴は、ＶＯＰメモリ５７０に格納される。
【００５２】
モーション推定器５３０では、モーションベクトルが各マクロブロックについて決定される。モーションベクトルはまたコード化され、ＭＵＸおよびバッファを介して出力ビットストリームに書き込まれる。モーション推定から得られるモーションベクトルを用いて、モーションが補償された予測はＶＯＰメモリ５７０に格納されている映像オブジェクトデータから形成される。この予測は、入力オブジェクトから減算５４１され、残留マクロブロックのセットを生成する。これらの残留マクロブロックは、テクスチャコーダ５６０にかけられ、対応するデータは出力ビットストリームに書き込まれる。テクスチャコーディングは、ＲＣＵによって提供されるＱＰ制御信号に従う。
【００５３】
ＲＣＵ５９２の量子化パラメータ（ＱＰ）は、各映像オブジェクトに対して適切な量子化パラメータＱＰを選択することに関与する。これは、モデルを用いて、割り当てられたレートバジェットに従って対応する量子化パラメータＱＰを推定することによって行われる。時間分析を以下に詳細に記載する。簡単に言うと、時間分析は、コーディングおよびトランスコーディング中に各オブジェクトの時間解像度を制御することに関与する。
【００５４】
従来技術では、図８を参照しながら上述したように、構成問題を避けるために、すべての映像オブジェクトの時間解像度は同一である。従って、従来技術では、様々なオブジェクトについての時間解像度は独立して考慮されていなかった。また従来技術では、時間分析は、出力バッファがオーバフローの危険がある場合にすべての映像オブジェクトをスキップするための信号を提供していた。本発明は、さらに良好な解決法を提供する。例えば、比較的静止しているオブジェクトは、より速い動くオブジェクトよりも遅いフレームレートで符号化され、ビットレート全体を低減し得る。
【００５５】
本発明では、可変時間品質を考慮する。本発明では、可変時間解像度を用いて映像オブジェクトの符号化およびトランスコーディングを可能にする。
【００５６】
形状分析５９５は、時間分析によって用いられる形状特徴を抽出し、可変時間解像度が問題を生じずに成し遂げられ得るかどうか、即ち、様々なオブジェクトの時間符号化レートが異なる場合でもホールを避けることができるかどうかを決定することに関与する。形状分析は、リアルタイム符号化モードにおいて作用し得る。ここで、データは、ＶＯＰメモリ５７０から取得される。しかし、符号化器がまた形状特徴（即ち、すでに存在するコンテンツの記述）に関連するメタデータ格納ユニット５９１からメタデータを受信する場合、このようなメタデータは、ＶＯＰメモリ５７０からの形状データの代わりに、または形状データと共に用いられ得る。メタデータは、メタデータ分析によって扱われ、形状分析と同様に、メタデータは、各映像オブジェクトに対する最適な時間解像度を決定する際の時間分析を助ける。
【００５７】
トランスコーダの構造
図４は、本発明の他の実施の形態によるオブジェクトに基づいたトランスコーダ６００の高レベルブロック図を示す。ここで、入力映像はすでに圧縮されている。トランスコーダ６００は、デマルチプレクサ（ＤＥ−ＭＵＸ）６０１、マルチプレクサ（ＭＵＸ）６０２、および出力バッファ６０３を有する。トランスコーダ６００はまた、制御情報６０４に従ってトランスコーディング制御ユニット（ＴＣＵ）６１０によって作動される１つまたはそれ以上のオブジェクトに基づいたトランスコーダ６３０を有する。ユニットＴＣＵは、形状分析器、ＱＯテクスチャ分析器、時間分析器、およびメタデータ分析器６１１〜６１４を有する。
【００５８】
圧縮された入力ビットストリーム６０５は、デマルチプレクサによって１つまたはそれ以上のオブジェクトに基づいた基本ビットストリームに分割される。オブジェクトに基づいたビットストリームは、直列または並列であり得る。ビットストリーム６０５の全ビットーレートはＲｉｎである。トランスコーダ６００からの圧縮された出力ビットストリーム６０６は全ビットレートＲｏｕｔを有し、Ｒｏｕｔ＜Ｒｉｎである。デマルチプレクサ６０１は、オブジェクトに基づいたトランスコーダ６３０のそれぞれに１つまたはそれ以上の基本ビットストリームを提供し、オブジェクトに基づいたトランスコーダは、オブジェクトデータ６０７をＴＣＵ６１０に与える。
【００５９】
トランスコーダは、基本ビットストリームをスケーリングする。スケーリングされたビットストリームは、出力バッファ６０３に渡される前にマルチプレクサ６０２によって構成され、そこから受信機に渡される。出力バッファ６０３はまた、レートフィードバック情報６０８をＴＣＵに与える。
【００６０】
上記のように、トランスコーダのそれぞれに渡される制御情報６０４は、ＴＣＵによって提供される。図４に示すように、ＴＣＵは、形状データおよびテクスチャの分析６１１、６１２に関与する。分析中、ＴＣＵはまたネットワークデータ６０９を用いることができる。ＴＣＵはまた、メタデータ分析６１４を行う。時間品質の分析によって、可変時間解像度を用いたトランスコーディングが可能になる。
【００６１】
符号化／トランスコーディング方法
図５は、本発明による映像入力７０１を符号化およびトランスコード化するための方法７００のステップを示す。この方法で用いられる映像入力７０１は、符号化器５００の場合には、圧縮されていない映像であり、トランスコーダ６００の場合には、圧縮された映像である。ステップ７１０において、映像入力７０１はオブジェクト７１１に分割される。ステップ７２０において、各オブジェクトから形状特徴７２１が経時的に抽出される。形状抽出は、上記のように、距離またはマクロブロックに基づき得る。ステップ７３０において、モーション特徴が経時的に各オブジェクトから選択的に抽出される。最適な時間解像度を決定するために抽出され、考慮され得る他の特徴には、コーディング複雑さ、例えば、空間複雑さ、ＤＣＴ複雑さ、テクスチャ複雑さなどが含まれる。ステップ７４０では、抽出された特徴が組み合わせられ、ステップ７５０において様々なオブジェクト７１１を符号化またはトランスコード化している間に、用いられる時間解像度７４１が決定される。
【００６２】
例示的な符号化シナリオ
図６は、映像オブジェクトの展開形状を経時的に分析することに基づいた例示的な符号化シナリオをいくつか示す。ここでは、入力は、第１および第２の抽出されたオブジェクトシーケンス８０１〜８０２である。グラフ８１０および８２０は、形状特徴、例えば、経時的（ｔ）な形状差（Δ）をプロットしている。時間ｔ１とｔ２との間のオブジェクト形状は比較的一定していることに留意されたい。グラフ８１１および８２１は、経時的な各オフジェクトの内部モーション特徴を選択的にプロットしている。第１のオブジェクトは内部モーションが非常に少ないのに対して、第２のオブジェクトの内部モーションは非常に高いことに留意されたい。結合器８５０（ＲＣＵ５９２またはＴＣＵ６１０）は、恐らく、最大、合計、比較、または他の組み合わせ関数を用いて抽出された特徴を考慮し、得られるビットを実際のコーディング中にどのようにして最良に様々なオブジェクトにわたって分配するのかを決定する。
【００６３】
シナリオ８３１において、インターバル［ｔ１、ｔ２］では第１のオブジェクトは全くコード化されず、得られるすべてのビットは第２のオブジェクトに割り付けられる。これは、時間ｔ１およびｔ２において映像の品質が観察できるほど顕著に突然変化するという効果を有し得る。より良好なシナリオ８３２では、インターバル［ｔ１、ｔ２］中により低い時間解像度を用い得るか、またより良好には解像度は次第に減少し、その後次第に増加する。シナリオ８３３では、時間インターバル［ｔ０、ｔ１］と［ｔ２、ｔｅｎｄ］中にさらに多くのビットが第２のオブジェクトに割り付けられ、次いで、インターバル［ｔ１、ｔ２］中に第２のオブジェクトのより高い内部モーションを反映する。
【００６４】
上記の新しい自由度はすべて、オブジェクトに基づいたトランスコーディングフレームワークをネットワーク応用に関して非常に特有かつ望ましいものにする。ＭＰＥＧ−２およびＨ．２６３コーディング基準のように、ＭＰＥＧ−４は、モーション補償およびＤＣＴを用いて映像の空間−時間冗長を活用する。その結果、本発明のオブジェクトに基づいたトランスコーダの核心は、上記のＭＰＥＧ−２トランスコーダの適応である。主な相違は、形状情報がビットストリーム内に含まれ、テクスチャコーディングに関しては、ブロック内についてのＤＣおよびＡＣを予測するためにツールが設けられていることである。
【００６５】
テクスチャのトランスコーディングが実際には形状データに依存していることに留意することも重要である。換言すれば、形状データを単に解析し、無視することはできない。規格ビットストリームのシンタックスは、復号化形状データに依存する。
【００６６】
明らかに、本発明のオブジェクトに基づいた入力および出力ビットストリーム６０５、６０６は、従来のフレームに基づいた映像プログラムとは全く異なる。また、ＭＰＥＧ−２は、動的なフレームスキッピングを可能にしない。ＭＰＥＧ−２では、ＧＯＰ構造および基準フレームが通常固定されている。
【００６７】
非リアルタイムシナリオの場合、コンテンツ６５１および対応するコンテンツ記述子６５２はデータベース６５０に格納される。コンテンツ記述子は特徴抽出器６４０から生成され、この特徴抽出器６４０は、入力オブジェクトに基づいたビットストリーム６０５を受け取る。コンテンツを送信する時間になると、入力ビットストリームは、上記のように、デマルチプレクサ６０１およびトランスコーダに与えられる。メタデータは、ＴＣＵ内でメタデータ分析器６１４に送信される。
【００６８】
時間分析の機能性
オブジェクトに基づいた符号化器またはトランスコーダにおける時間コントローラの主な目的は、図２を参照しながら上述した構成問題を避けながら、受信機側での構成シーンの品質を最大にすることである。これらの制約下で品質を最大にするためには、信号内の時間冗長をできるだけ活用する必要がある。
【００６９】
大部分の映像コーディング方式によると、モーション補償プロセスにおいて、時間冗長は除去される。しかし、すべてのコーディングユニットまたはマクロブロックに対してモーションベクトルを特定することは、実際に必要とされている以上のことであり得る。モーションベクトルに対するビットに加えて、モーション補償差の残りもコード化されなければならない。重要な点は、品質を最大にするために、すべてのオブジェクトを時間毎にコード化する必要はないことである。このように、これらの保存ビットは、異なる時間において、さらに他の重要なオブジェクトに用いられ得る。
【００７０】
非リアルタイムシナリオでは、時間コントローラは、形状歪みメトリクスを用いて、シーン内の形状における移動量を示す。この測定は、米国特許出願第０９／５４６,７１７号に規定されているような様々なキューレベルでのシーンに関連し得る。この特徴（または測定）が抽出されるキューレベルに応じて、時間コントローラは、シーン内のオブジェクトの時間解像度に衝撃を与える様々な方法を提供し得る。これらの方法は、符号化器およびトランスコーダに適用可能である。
【００７１】
リアルタイムシナリオでは、時間コントローラは同様に作用する。しかし、潜在制約のために観察は限定されているため、因果データのみ考慮される。従って、時間コーディング決定は、即座に行われる。
【００７２】
上記のように、形状歪みメトリックの抽出は、画素または圧縮ドメインのいずれかにおいて行われ得る。歪み情報がどこから抽出されるかに関係なく、時間制御の決定プロセスには許容誤差が導入され得ることに留意されたい。換言すると、規定領域における利得がかなりのものである場合には、応用によっては、少量の規定されていない領域を許容し得るものもある。
【００７３】
この場合、［０，１］間の重み付けが規定される。ここで、０は、形状境界に動きがないことを意味し、１は、形状境界が全く異なっていることを意味する。重み付けは、先に規定された形状歪みメトリクスの関数であり、百分率または正規化値に対応し得る。他方、構成問題を全く考慮しない応用では、この重み付けは、存在しない。むしろ、過剰重み付け（即ち、０または１）のみが有効である。
【００７４】
ある許容可能な量の規定されていない画素が受信される状況では、簡単な処理後補間技術またはエラー隠匿に基づいた他の技術を用いてこれらの画素を回収することが可能である。
【００７５】
【発明の効果】
可変時間解像度符号化の効果および利点
本発明による時間コントローラは以下の効果および利点を提供する。
【００７６】
オブジェクトが可変時間解像度を用いて符号化またはトランスコード化され得る瞬間を決定する。固定された不均一なフレームレートを映像セグメントのオブジェクトに割り当てる。キーフレームを抽出または見出し、コンテンツの要約を可能にする。
【００７７】
ビット割り付けを向上させるか、またはオブジェクトの形状の変化が大きい映像の部分（フレーム）に対してビットを保存する。このようなフレームは、形状情報について必要とされるよりもさらにビットを要求する。テクスチャ情報の品質を維持するためにさらなるビットが必要とされ得る。
【００７８】
上記実施の形態を例示することによって本発明を説明したが、言うまでもなく、様々な適応および改変は、本発明の精神および範囲内でなされ得る。従って、添付の請求の範囲の目的は、本発明の真の精神および範囲内にあるこのようなすべての変形および改変を網羅することである。
【図面の簡単な説明】
【図１】 ２つの映像オブジェクトから再構築されたシーンのブロック図である。
【図２】 異なる時間解像度を有する２つの映像オブジェクトから再構築されたシーンのブロック図である。
【図３】 本発明による符号化器のブロック図である。
【図４】 本発明によるトランスコーダのブロック図である。
【図５】 本発明による符号化法のフローチャートである。
【図６】 図５の方法によって用いられる例示的な符号化法のフローチャートである。
【図７】 従来のトランスコーダのブロック図である。
【図８】 従来の部分復号化器／符号化器のブロック図である。

Claims (18)

  1. 映像をコード化するための方法であって、
    前記映像を複数のオブジェクトに分割するステップと、
    各オブジェクトの形状差を経時的に測定し、各オブジェクトの形状特徴を抽出するステップと、
    １つのオブジェクトの形状特徴とほかのオブジェクトの形状特徴を経時的に組み合わせて、各オブジェクトについての時間解像度を経時的に決定するステップと、
    前記オブジェクトの対応する時間解像度に応じて各オブジェクトをコード化するステップと
    を含む映像をコード化するための方法。
  2. 前記映像は、圧縮されていないデータであり、
    前記分割、組み合わせ、及びコード化は、符号化器において行われる
    請求項１記載の映像をコード化するための方法。
  3. 前記映像は、圧縮されたデータであり、
    前記分割、組み合わせ、及びコード化は、トランスコーダにおいて行われる
    請求項１記載の映像をコード化するための方法。
  4. 少なくとも２つのオブジェクトは、異なる対応の時間解像度に従ってコード化される
    請求項１記載の映像をコード化するための方法。
  5. コード化されたオブジェクトの時間解像度は、前記コード化されたオブジェクトに関連する形状差と比例する
    請求項１記載の映像をコード化するための方法。
  6. 前記形状差は、前記オブジェクト間の差である画素数を測定するハミング距離である
    請求項１記載の映像をコード化するための方法。
  7. 前記分割されたオブジェクトは、バイナリ形状を有し、ハミング距離ｄは以下の式で定義され、
    Figure 0004786114
     ここで、α １ （ｍ，ｎ）およびα ２ （ｍ，ｎ）は、異なる時間における対応するセグメンテーション面である
    請求項６記載の映像をコード化するための方法。
  8. 前記形状差は、前記オブジェクトに関連する画素のセット間の最大関数として定義されるハウスドルフ距離である
    請求項１記載の映像をコード化するための方法。
  9. 前記最大関数は、
    ｈ（Ａ，Ｂ）＝ｍａｘ｛ｍｉｎ｛ｄ（ａ，ｂ）｝｝
    であり、ここで、ａ及びｂは、第１及び第２のオブジェクトのセットＡ及びＢのそれぞれの画素であり、ｄ（ａ，ｂ）は、前記画素間のユークリッド距離である
    請求項８記載の映像をコード化するための方法。
  10. 前記映像は、複数のフレームを含み、各フレームは、複数のマクロブロックを含み、前記マクロブロックは、不透明ブロック、透明ブロック、及び境界ブロックとしてコード化される
    請求項１記載の映像をコード化するための方法。
  11. 前記オブジェクトの形状特徴をメタデータとしてコード化するステップ
    をさらに含む請求項１記載の映像をコード化するための方法。
  12. 各オブジェクトからのモーション特徴を経時的に抽出するステップと、
    前記モーション特徴と前記形状特徴とを経時的に組み合わせて、各オブジェクトについての時間解像度を経時的に決定するステップと
    をさらに含む請求項１記載の映像をコード化するための方法。
  13. 各オブジェクトからコーディング複雑さを経時的に抽出するステップと、
    前記コーディング複雑さと前記形状特徴とを組み合わせて、各オブジェクトについての時間解像度を経時的に決定するステップと
    をさらに含む請求項１記載の映像をコード化するための方法。
  14. 映像をコード化するための装置であって、
    前記映像を複数のオブジェクトに分割する手段と、
    各オブジェクトの形状差を経時的に測定し、各オブジェクトの形状特徴を抽出する手段と、
    １つのオブジェクトの形状特徴とほかのオブジェクトの形状特徴を経時的に組み合わせて、各オブジェクトについての時間解像度を経時的に決定する手段と、
    前記オブジェクトの対応する時間解像度に応じて各オブジェクトをコード化する手段と
    を備えた映像をコード化するための装置。
  15. 前記分割及び抽出する手段は、形状コーダ、モーション推定器、モーション補償器、及びテクスチャコーダを有する
    請求項１４記載の映像をコード化するための装置。
  16. 前記オブジェクト及び形状特徴は、メモリ内に格納される
    請求項１４記載の映像をコード化するための装置。
  17. 前記映像は、圧縮されず、
    前記決定する手段は、レート制御ユニットである
    請求項１４記載の映像をコード化するための装置。
  18. 前記映像は、圧縮され、
    前記決定する手段は、トランスコーディング制御ユニットである
    請求項１４記載の映像をコード化するための装置。
JP2001586925A 2000-05-26 2001-03-08 映像をコード化するための方法及び装置 Expired - Fee Related JP4786114B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/579,889 US6650705B1 (en) 2000-05-26 2000-05-26 Method for encoding and transcoding multiple video objects with variable temporal resolution
US09/579,889 2000-05-26
PCT/JP2001/001828 WO2001091467A1 (en) 2000-05-26 2001-03-08 Method and device for encoding image

Publications (1)

Publication Number Publication Date
JP4786114B2 true JP4786114B2 (ja) 2011-10-05

Family

ID=24318760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001586925A Expired - Fee Related JP4786114B2 (ja) 2000-05-26 2001-03-08 映像をコード化するための方法及び装置

Country Status (5)

Country Link
US (1) US6650705B1 (ja)
EP (1) EP1289301B1 (ja)
JP (1) JP4786114B2 (ja)
CN (1) CN1199467C (ja)
WO (1) WO2001091467A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US7260826B2 (en) * 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service
GB0014671D0 (en) * 2000-06-15 2000-08-09 Seos Displays Ltd Head slaved area of interest (HSAOI) using framestore demultiplexing
US7155067B2 (en) * 2000-07-11 2006-12-26 Eg Technology, Inc. Adaptive edge detection and enhancement for image processing
US7020335B1 (en) * 2000-11-21 2006-03-28 General Dynamics Decision Systems, Inc. Methods and apparatus for object recognition and compression
JP4534106B2 (ja) * 2000-12-26 2010-09-01 日本電気株式会社 動画像符号化システム及び方法
US7133451B2 (en) * 2001-03-05 2006-11-07 Intervideo, Inc. Systems and methods for refreshing macroblocks
US7321624B1 (en) * 2001-03-16 2008-01-22 Objectvideo, Inc. Bit-rate allocation system for object-based video encoding
US6925501B2 (en) * 2001-04-17 2005-08-02 General Instrument Corporation Multi-rate transcoder for digital streams
US7734997B2 (en) * 2001-05-29 2010-06-08 Sony Corporation Transport hint table for synchronizing delivery time between multimedia content and multimedia content descriptions
US6757648B2 (en) * 2001-06-28 2004-06-29 Microsoft Corporation Techniques for quantization of spectral data in transcoding
US20040013198A1 (en) * 2001-08-31 2004-01-22 Haruo Togashi Encoding apparatus and method for encoding
US6950464B1 (en) * 2001-12-26 2005-09-27 Cisco Technology, Inc. Sub-picture level pass through
KR100850705B1 (ko) * 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US8214741B2 (en) * 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US7224731B2 (en) * 2002-06-28 2007-05-29 Microsoft Corporation Motion estimation/compensation for screen capture video
US7085420B2 (en) * 2002-06-28 2006-08-01 Microsoft Corporation Text detection in continuous tone image segments
US7072512B2 (en) * 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
FR2842983B1 (fr) * 2002-07-24 2004-10-15 Canon Kk Transcodage de donnees
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
US7292574B2 (en) * 2002-09-30 2007-11-06 Intel Corporation Automated method for mapping constant bit-rate network traffic onto a non-constant bit-rate network
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
KR100612852B1 (ko) * 2003-07-18 2006-08-14 삼성전자주식회사 ＧｏＦ/ＧｏＰ의 질감 표현 방법과, 이를 이용한ＧｏＦ/ＧｏＰ 검색 방법 및 장치
DE10335009A1 (de) * 2003-07-23 2005-02-10 Atmel Germany Gmbh Verfahren zur drahtlosen Datenübertragung zwischen einer Basisstation und einem Transponder
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
KR100619822B1 (ko) 2003-12-24 2006-09-13 엘지전자 주식회사 영상처리 장치 및 방법
US20050175099A1 (en) * 2004-02-06 2005-08-11 Nokia Corporation Transcoder and associated system, method and computer program product for low-complexity reduced resolution transcoding
CN1922884B (zh) * 2004-02-20 2012-05-23 三叉微系统(远东)有限公司 视频解码方法
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US20050232497A1 (en) * 2004-04-15 2005-10-20 Microsoft Corporation High-fidelity transcoding
KR101042623B1 (ko) * 2004-11-17 2011-06-20 삼성전자주식회사 필드 가변분할방식을 이용한 디인터레이싱방법 및 장치
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
US7724753B2 (en) 2005-06-24 2010-05-25 Aylus Networks, Inc. Digital home networks having a control point located on a wide area network
US20060291412A1 (en) 2005-06-24 2006-12-28 Naqvi Shamim A Associated device discovery in IMS networks
US7864936B2 (en) 2005-06-24 2011-01-04 Aylus Networks, Inc. Method of avoiding or minimizing cost of stateful connections between application servers and S-CSCF nodes in an IMS network with multiple domains
US20070011718A1 (en) * 2005-07-08 2007-01-11 Nee Patrick W Jr Efficient customized media creation through pre-encoding of common elements
WO2007007257A1 (en) * 2005-07-13 2007-01-18 Koninklijke Philips Electronics N.V. Processing method and device with video temporal up-conversion
JP2007206644A (ja) * 2006-02-06 2007-08-16 Seiko Epson Corp 画像表示システム，画像表示方法，画像表示プログラム，記録媒体，データ処理装置，画像表示装置
US20070197227A1 (en) * 2006-02-23 2007-08-23 Aylus Networks, Inc. System and method for enabling combinational services in wireless networks by using a service delivery platform
US8155195B2 (en) * 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
US8611334B2 (en) 2006-05-16 2013-12-17 Aylus Networks, Inc. Systems and methods for presenting multimedia objects in conjunction with voice calls from a circuit-switched network
US8432899B2 (en) 2007-02-22 2013-04-30 Aylus Networks, Inc. Systems and methods for enabling IP signaling in wireless networks
US9026117B2 (en) * 2006-05-16 2015-05-05 Aylus Networks, Inc. Systems and methods for real-time cellular-to-internet video transfer
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
US9094686B2 (en) * 2006-09-06 2015-07-28 Broadcom Corporation Systems and methods for faster throughput for compressed video data decoding
US8380864B2 (en) * 2006-12-27 2013-02-19 Microsoft Corporation Media stream slicing and processing load allocation for multi-user media systems
KR100968204B1 (ko) * 2007-01-11 2010-07-06 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
WO2008123568A1 (ja) * 2007-04-04 2008-10-16 Nec Corporation コンテンツ配信システム、コンテンツ配信方法及びそれらに用いる変換装置
US7856226B2 (en) 2007-04-17 2010-12-21 Aylus Networks, Inc. Systems and methods for IMS user sessions with dynamic service selection
US8457958B2 (en) 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
BRPI0820720A2 (pt) * 2007-12-11 2015-06-16 Thomson Licensing Métodos e sistemas para transcodificação dentro da cadeia de distribuição
US8804044B2 (en) * 2008-03-06 2014-08-12 Entropic Communications, Inc. Temporal fallback for high frame rate picture rate conversion
US8164862B2 (en) * 2008-04-02 2012-04-24 Headway Technologies, Inc. Seed layer for TMR or CPP-GMR sensor
JP5337969B2 (ja) * 2008-04-08 2013-11-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
US8447128B2 (en) 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
FR2932055B1 (fr) * 2008-06-03 2010-08-13 Thales Sa Procede d'adaptation du debit de transmission de flux videos par pretraitement dans le domaine compresse et systeme en oeuvre le procede
US8396114B2 (en) 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311115B2 (en) 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US20100309987A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and encoding system
US8270473B2 (en) 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US10178396B2 (en) 2009-09-04 2019-01-08 Stmicroelectronics International N.V. Object tracking
US8848802B2 (en) * 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
US9094685B2 (en) * 2010-09-21 2015-07-28 Dialogic Corporation Efficient coding complexity estimation for video transcoding systems
US20120281748A1 (en) * 2011-05-02 2012-11-08 Futurewei Technologies, Inc. Rate Control for Cloud Transcoding
EP2716041A4 (en) * 2011-05-31 2014-10-15 Dolby Lab Licensing Corp VIDEO COMPRESSION WITH RESOLUTION COMPENSATION AND OPTIMIZATION
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
KR102499355B1 (ko) 2016-02-26 2023-02-13 벌시테크 리미티드 손실 및 무손실 영상 압축을 위한 형상-적응형 모델-기반 코덱
US10847048B2 (en) * 2018-02-23 2020-11-24 Frontis Corp. Server, method and wearable device for supporting maintenance of military apparatus based on augmented reality using correlation rule mining
WO2020036502A1 (en) * 2018-08-14 2020-02-20 Huawei Technologies Co., Ltd Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222145A (ja) * 1994-01-31 1995-08-18 Mitsubishi Electric Corp 画像符号化装置
JPH1185966A (ja) * 1997-07-18 1999-03-30 Sony Corp 画像信号多重化装置および方法、画像信号逆多重化装置および方法、並びに伝送媒体
JP2000050254A (ja) * 1998-07-17 2000-02-18 Mitsubishi Electric Inf Technol Center America Inc 改良された適応性のあるビデオ符号化方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63157579A (ja) * 1986-12-22 1988-06-30 Nippon Telegr & Teleph Corp <Ntt> 疑似３次元撮像装置
JPH0813145B2 (ja) * 1988-03-09 1996-02-07 国際電信電話株式会社 領域分割を用いた動画像符号化方式
JP2828997B2 (ja) * 1988-07-22 1998-11-25 株式会社日立製作所 適応型変換符号化装置
JPH0787586B2 (ja) * 1989-08-02 1995-09-20 富士通株式会社 画像信号符号化制御方式
JP2536684B2 (ja) * 1990-09-29 1996-09-18 日本ビクター株式会社 画像符号化装置
JPH04354489A (ja) * 1991-05-31 1992-12-08 Fujitsu Ltd 画像符号化装置
JPH05111015A (ja) * 1991-10-17 1993-04-30 Sony Corp 動き適応画像符号化装置
JP3245977B2 (ja) * 1992-06-30 2002-01-15 ソニー株式会社 ディジタル画像信号の伝送装置
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
US5686963A (en) 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US5969764A (en) 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
JP3860323B2 (ja) * 1997-10-27 2006-12-20 三菱電機株式会社 画像復号化装置、画像復号化方法
ATE333758T1 (de) * 1998-05-04 2006-08-15 Gen Instrument Corp Verfahren und gerät fur die inverse quantisierung von mpeg-4 video
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
JP2000078572A (ja) * 1998-08-31 2000-03-14 Toshiba Corp オブジェクト符号化装置およびオブジェクト符号化装置のコマ落し制御方法およびプログラムを記録した記憶媒体
JP2000092489A (ja) * 1998-09-09 2000-03-31 Toshiba Corp 画像符号化装置および画像符号化方法およびプログラムを記録した媒体
US6295371B1 (en) * 1998-10-22 2001-09-25 Xerox Corporation Method and apparatus for image processing employing image segmentation using tokenization
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222145A (ja) * 1994-01-31 1995-08-18 Mitsubishi Electric Corp 画像符号化装置
JPH1185966A (ja) * 1997-07-18 1999-03-30 Sony Corp 画像信号多重化装置および方法、画像信号逆多重化装置および方法、並びに伝送媒体
JP2000050254A (ja) * 1998-07-17 2000-02-18 Mitsubishi Electric Inf Technol Center America Inc 改良された適応性のあるビデオ符号化方法

Also Published As

Publication number Publication date
CN1386376A (zh) 2002-12-18
EP1289301A1 (en) 2003-03-05
WO2001091467A1 (en) 2001-11-29
CN1199467C (zh) 2005-04-27
EP1289301A4 (en) 2009-06-17
EP1289301B1 (en) 2011-08-24
US6650705B1 (en) 2003-11-18

Similar Documents

Publication Publication Date Title
JP4786114B2 (ja) 映像をコード化するための方法及び装置
JP4601889B2 (ja) 圧縮ビットストリームを変換するための装置及び方法
JP4650868B2 (ja) 圧縮ビデオのトランスコーディング方法
US6490320B1 (en) Adaptable bitstream video delivery system
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US6925120B2 (en) Transcoder for scalable multi-layer constant quality video bitstreams
JP4576783B2 (ja) データ処理方法及びデータ処理装置
US6542546B1 (en) Adaptable compressed bitstream transcoder
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
US6480628B2 (en) Method for computational graceful degradation in an audiovisual compression system
KR20060045719A (ko) 고충실도 트랜스코딩
JP2001112006A (ja) レート−歪み特性推定方法
EP1227684A2 (en) Encoding of video signals
KR20230053243A (ko) 분산형 병렬 인코딩 방법 및 장치
KR20030000310A (ko) 영상 변환 부호화 장치
JP2000092489A (ja) 画像符号化装置および画像符号化方法およびプログラムを記録した媒体
KR100319916B1 (ko) 계층구조를갖는스케일러블디지탈화상압축/복원방법및장치
JP3652889B2 (ja) 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム
KR100466592B1 (ko) 물체경계블록영상정보부호화방법
Schäfer et al. Improving image compression—Is it worth the effort?
Le Buhan et al. Object-scalable dynamic coding of visual information
Yuan et al. A mixed scheme to improve subjective quality in low bitrate video
Ni User friendly H. 264 for Realtime Editing

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110713

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees