JP5020960B2 - スケーラブルビデオ符号化を行う装置及び方法並びにスケーラブルビデオ復号化を行う装置及び方法 - Google Patents

スケーラブルビデオ符号化を行う装置及び方法並びにスケーラブルビデオ復号化を行う装置及び方法 Download PDF

Info

Publication number
JP5020960B2
JP5020960B2 JP2008535559A JP2008535559A JP5020960B2 JP 5020960 B2 JP5020960 B2 JP 5020960B2 JP 2008535559 A JP2008535559 A JP 2008535559A JP 2008535559 A JP2008535559 A JP 2008535559A JP 5020960 B2 JP5020960 B2 JP 5020960B2
Authority
JP
Japan
Prior art keywords
enhancement layer
scalable video
slices
slice
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008535559A
Other languages
English (en)
Other versions
JP2009512342A (ja
Inventor
イン，ペン
ボイス，ジル，マクドナルド
パンディット，パーヴィン，ビバス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2009512342A publication Critical patent/JP2009512342A/ja
Application granted granted Critical
Publication of JP5020960B2 publication Critical patent/JP5020960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は一般にビデオエンコーディング及びデコーディングに関し、特にスケーラブルビデオエンコーディング及びデコーディングのための方法及び装置に関連する。
関心領域(ROI: Regions-of-interest)スケーラビリティは、あるスケーラブルビデオコーディング装置にとって重要な特性である。ROIの中で及び外で、様々な空間的な／時間的な／品質のスケーラビリティを持つことをユーザは希望するかもしれない。
フレキシブルマクロブックオーダリング(FMO: Flexible Macroblock Ordering)はROIの特性を実現するために議論されてきた。国際標準化機構／国際電気技術委員会(ISO/IEC)動画エキスパートグループ4(MPEG-4)パート10アドバンストビデオコーディング(AVC)規格／国際電気通信連合、電気通信セクタ(ITU-T)H.264規格(以後、「MPEG4/H.264規格」又は単に「H.264規格」と呼ぶ)は、画像中のマクロブロック各々がスライスグループに含まれること、及び全てのスライスグループが一次(primary)符号化画像に含まれることを要求する(但し、冗長(redundant)画像に対しては要求されない。)。H.264規格は如何なるスライスグループを失うことも許容せず、これは、ROIでないものを含むスライスグループに対してさえ、それらのスライスグループを符号化し、それらをネットワークに送付することを依然として要することを意味する。ROI外のマクロブロックに対するビットを制御するオプションをエンコーダは有する、との議論があるかもしれない。例えば、ある従来技術では、エンコーダは非ROIのマクロブロック全てを符号化し、BL_SKIP又はINTRA_BLモードにすることができる。BL_SKIP又はINTRA_BLモードを通知するのに要するビットがたとえ僅かであったとしても、それらを符号化する余分な負担をエンコーダにかけてしまう。より重要なことに、非ROIを符号化するには余分なNALユニットを要し、従って余分なビットレートオーバーヘッドを要する。例えば、クオーターコモン中間フォーマット(QCIF)ベースレイヤ及びコモン中間フォーマット(CIF)エンハンスメントレイヤ(30fps)に関する(1/4対3/4)及び(1/2対1/2)のROI対非ROI分割の場合、リアルタイムプロトコル(RTP)でエンハンスメントレイヤで非ROIをINTRA_BLモードで伝送するためのビットレートオーバーヘッドは、それぞれ12kbps及び9bpsのように近似的に計算される。同時にそれは全てのNALユニットを分析するルータの負担も増やしてしまう。更に、デコーダは非ROIのビットストリームを分割しなければならない。ジョイントスケーラブルビデオモデル(JSVM)バージョン3.0では、ベースレイヤマクロブロックタイプによらず、エンハンスメントレイヤ内の全てのマクロブロックに対するINTRA_BLモードは、マルチループデコーディングを必要とすることを想定しており、それは或るプロファイルに対しては許容されないかもしれないことに留意すべきである。この制約は、エンコーダがシングルループデコーディングだけをサポートする場合にINTRA_BLモードの利用性を制限してしまう。従って、現在のところJSVMバージョン3.0は、デコードループがシングルであるかマルチであるかによらず、非ROIの全てのMBについてINTRA_BLモードの利用を許可していない。
本発明の課題は従来技術に関するこれら及び他の問題点や欠点を解消又は軽減することであり、そのためのスケーラブル映像符号化及び復号化のための方法及び装置をもたらすことである。
本発明の一形態によれば、スケーラブルビデオエンコーダが使用される。スケーラブルビデオエンコーダは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームを形成する画像を符号化するエンコーダを有する。前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成される。
本発明の別の形態によれば、スケーラブルビデオエンコーディングのための方法が使用される。本方法は、画像を符号化し、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するエンコードステップを有する。前記エンコードステップは、前記画像を複数の画像ブロックに区分けするすステップを有する。エンコーディングステップは、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化するステップを有する。エンコーディングステップは、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化するステップを更に含む。エンコーディングステップは、前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化するステップを更に含む。
本発明の更に別の形態によれば、スケーラブルビデオデコーダが使用される。スケーラブルビデオデコーダは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームをデコードするデコーダを有する。前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、複数のスライスグループの少なくとも１つがエンハンスメントレイヤで意図的に符号化されないことを示すシンタックスエレメントを読み取ること、前記シンタックスエレメントで特定されている前記複数のスライスグループ中の少なくとも１つについて、ベースレイヤ情報だけを用いて前記エンハンスメントレイヤを復号すること、及びエンハンスメントレイヤ情報を用いて前記エンハンスメントレイヤの前記複数のスライスグループの残りを復号することでデコードされる。
本発明の更に別の形態によれば、スケーラブルビデオデコードのための方法が使用される。本方法は、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームをデコードするデコードステップを有し、デコードステップは、複数のスライスグループの少なくとも１つがエンハンスメントレイヤで意図的に符号化されないことを示すシンタックスエレメントを読み取ること、前記シンタックスエレメントで特定されている前記複数のスライスグループ中の少なくとも１つについて、ベースレイヤ情報だけを用いて前記エンハンスメントレイヤを復号すること、及びエンハンスメントレイヤ情報を用いて前記エンハンスメントレイヤの前記複数のスライスグループの残りを復号することでデコードを行う。
本発明の更に別の形態によれば、スケーラブルビデオエンコーディングのためのビデオ信号構造が使用される。ビデオ信号構造は、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するように符号化された画像を含む。前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成される。
本発明の更に別の形態によれば、スケーラブルビデオ信号データを有する記憶媒体が使用される。ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するように符号化された画像を記憶媒体は含む。前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成される。
本発明に関するこれらの並びに他の形態、特徴及び利点は、添付図面に関連する以下の詳細な実施例から更に明らかになるであろう。
本発明は添付図面と共により良く理解されるであろう。
本発明はスケーラブルなビデオエンコーディング及びデコーディングに関する。本説明は本発明の原理を示す。明示的に説明又は図示されていないが、本発明原理を実現し且つ本発明の精神及び範囲内に含まれる様々な手段を得るように当業者は工夫できることが、理解されるべきである。
ここで説明される具体例及び条件とする言語は、発明者による技術進歩に貢献する概念及び発明原理の理解を読者に促すべく教示的に意図されているにすぎず、そのような特別に言及された具体例及び条件に限定せずに本発明は解釈されるべきである。
更に、特定の実施例だけでなく、本発明の原理、形態及び実施例を説明する全ての記述は、構造的及び機能的双方の均等物を包含するように意図される。更に、そのような均等物は現在既知の均等物だけでなく将来開発される均等物(即ち、構造によらず、同じ機能を実行するよう開発された如何なるもの)をも含むことも意図される。
従って、ここで提示されるブロック図は発明原理を使用する回路例の概念図を表すことが、当業者に理解されるであろう。同様に理解されることは、フローチャート、流れ図、状態遷移図、擬似コード等の如何なるものも様々な処理を表現し、その処理は本質的にはコンピュータ読み取り可能な媒体で表現され且つコンピュータ又はプロセッサにより(たとえそれらが明示的に示されていなかったとしても実際にはそれらで)実行可能である。
図示されている様々な要素の機能は、専用のハードウエアだけでなく、適切なソフトウエアに関連するソフトウエアを実行可能なハードウエアにより用意されてもよい。プロセッサが用意される場合、１つの共有されるプロセッサにより、複数の個別プロセッサにより、或いは共有されるもののいくつかにより、その機能が提供されてもよい。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用が、ソフトウエアを実行可能なハードウエアを排他的に言及するようには解釈されるべきでなく、暗黙的に、ディジタル信号プロセッサ(DSP)ハードウエア、ソフトウエアを格納するリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)及び不揮発性ストレージ等(これらだけに限定されない)を含んでよい。
周知慣用の他のハードウエアが含まれてもよい。同様に、図示されている如何なるスイッチも単なる概念的なものに過ぎない。スイッチの機能は、プログラム論理の動作を通じて、専用ロジックを通じて、プログラム制御及び専用ロジックの相互作用を通じて、或いはマニュアルでさえ実行可能であり、状況をより具体的に考察する実施者によって特定の技術が選択可能である。
特許請求の範囲では、特定の機能を実行する手段として表現されているどの要素も、ある機能を実行する如何なる実行技術をも包含するように意図され、その技術は例えばａ）その機能を実行する回路要素の組み合わせ又はｂ）その機能を実行するようにソフトウエアを実行する適切な回路と共に使用されるソフトウエア(従って、ファームウエア、マイクロコードその他の如何なる形式でもよい)を含む。そのような請求項で規定される本発明は、様々に記載された手段により提供される機能は、その請求項が要求する方法で共に準備及び結合されることを前提としている。従って、そのような機能を提供できる如何なる手段も、請求項に示されるものと等価であるように解釈される。
図１を参照するに、本発明が適用されるジョイントスケーラブルビデオモデルバージョン3.0(以下、「JSVM3.0」という)のエンコーダの例が、参照番号100で全体的に示されている。JSVM3.0エンコーダ100は、３つの空間レイヤ及び動き補償一次フィルタリングを利用する。JSVM3.0エンコーダ100は、２次元(2D)デシメータ104、2Dで子メータ106及び動き補償一次フィルタリング(MCTF: Motion Compensated Temporal Filtering)モジュール108を含み、それら各々はビデオ信号データ102を受信する入力を有する。
2Dデシメータ106は、MCTFモジュール110の入力に信号を伝達するように接続される。MCTFモジュール110の第１出力はモーションコーダ112の出力に信号を伝達するように接続され、MCTFモジュール110の第２出力は予測モジュール116の入力に信号を伝達するように接続される。モーションコーダ112の第１出力は、マルチプレクサ114の第1入力に信号を伝達するように接続される。モーションコーダ112の第２出力はモーションコーダ124の入力に信号を伝達するように接続される。予測モジュール116の第1出力は空間トランスフォーマ118の入力に信号を伝達するように接続される。空間トランスフォーマ118の出力はマルチプレクサ114の第２入力に信号を伝達するように接続される。予測モジュール116の第２出力は補間器120の入力に信号を伝達するように接続される。補間器120の出力は予測モジュール122の第１入力に信号を伝達するように接続される。予測モジュール122の第１出力は空間トランスフォーマ126の入力に信号を伝達するように接続される。空間トランスフォーマ126の出力はマルチプレクサ114の第２入力に信号を伝達するように接続される。予測モジュール122の第２出力は補間器130の入力に信号を伝達するように接続される。補間器130の出力は予測モジュール134の第１入力に信号を伝達するように接続される。予測モジュール134の出力は空間トランスフォーマ136に信号を伝達するように接続される。空間トランスフォーマの出力はマルチプレクサ114の第２入力に信号を伝達するように接続される。
２Ｄデシメータ104の出力はMCTFモジュール128の入力に信号を伝達するように接続される。MCTFモジュール128の第１出力はMCTFモーションコーダ124の第２入力に信号を伝達するように接続される。モーションコーダ124の第１出力はマルチプレクサ114の第１入力に信号を伝達するように接続される。モーションコーダ124の第２出力はモーションコーダ132の第１入力に信号を伝達するように接続される。MCTFモジュール128の第２出力は予測モジュール122の第２出力に信号を伝達するように接続される。
MCTFモジュール108の第１出力はモーションコーダ132の第２入力に信号を伝達するように接続される。モーションコーダ132の出力はマルチプレクサ114の第１入力に信号を伝達するように接続される。MCTFモジュール108の第２出力は予測モジュール134の第２入力に信号を伝達するように接続される。マルチプレクサ114の出力は出力ビットストリーム138を与える。
各空間レイヤに関し、動き補償時間分解が実行される。この分解は時間的なスケーラビリティをもたらす。下位の空間レイヤからの動き情報は、上位レイヤでの動きの予測に使用可能である。テクスチャ符号化の際、連続的な空間レイヤ間での空間予測は、冗長性を除去するように適用可能である。イントラ予測又は動き補償イントラ予測の結果による残差信号(residual signal)は符号変換される。クオリティベースレイヤ残差は、各空間レイヤで最少の再構成品質をもたらす。クオリティベースレイヤは、レイヤ間の予測が一切なされない場合、H.264標準仕様のストリームに符号化可能である。クオリティスケーラビリティに関し、クオリティエンハンスメントレイヤは追加的に符号化される。これらのエンハンスメントレイヤは、粗い又は緻密な粒度(SNR)のスケーラビリティを与えるように選択可能である。
図２を参照するに、本発明が適用されるスケーラブルビデオデコーダの一例が、参照番号200により全体的に示されている。デマルチプレクサ202の入力は、スケーラブルビデオデコーダ200の入力として利用可能であり、スケーラブルビットストリームを受信する。デマルチプレクサ202の第１出力は、空間逆変換SNRスケーラブルエントロピデコーダ204の入力に信号を伝達するように接続される。空間逆変換SNRスケーラブルエントロピデコーダ204の第１出力は、予測モジュール206の第１入力に信号を伝達するように接続される。予測モジュール206の出力は、逆MCTFモジュール208の第１入力に信号を伝達するように接続される。
空間逆変換SNRスケーラブルエントロピデコーダ204の第２出力は、モーションベクトル(MV: Motion Vector)デコーダ210の第1入力に信号を伝達するように接続される。MVデコーダ210の出力は、逆MCTFモジュール208の第２入力に信号を伝達するように接続される。
デマルチプレクサ202の第２出力は、空間逆変換SNRスケーラブルエントロピデコーダ212の入力に信号を伝達するように接続される。空間逆変換SNRスケーラブルエントロピデコーダ212の第１出力は、予測モジュール214の第１入力に信号を伝達するように接続される。予測モジュール214の第１出力は補間モジュール216の入力に信号を伝達するように接続される。補間モジュール216の出力は予測モジュール206の第２入力に信号を伝達するように接続される。予測モジュール214の第２出力は、逆MCTFモジュール218の第１入力に信号を伝達するように接続される。
空間逆変換SNRスケーラブルエントロピデコーダ212の第２出力はMVデコーダ220の第１入力に信号を伝達するように接続される。MVデコーダ220の第１出力はMVデコーダ210の第２入力に信号を伝達するように接続される。MVデコーダ220の第２出力は、逆MCTFモジュール218の第２入力に信号を伝達するように接続される。
デマルチプレクサ202の第３出力は、空間逆変換SNRスケーラブルエントロピデコーダ222の入力に信号を伝達するように接続される。空間逆変換SNRスケーラブルエントロピデコーダ222の第１出力は、予測モジュール224の第１入力に信号を伝達するように接続される。予測モジュール224の第１出力は補間モジュール226の入力に信号を伝達するように接続される。補間モジュール226の出力は予測モジュール214の第２入力に信号を伝達するように接続される。
予測モジュール224の第２出力は、逆MCTFモジュール228の第１入力に信号を伝達するように接続される。空間逆変換SNRスケーラブルエントロピデコーダ222の第２出力は、MVデコーダ230の入力に信号を伝達するように接続される。MVデコーダ230の第１出力はMVデコーダ220の第２出力に信号を伝達するように接続される。MVデコーダ230の第２出力は、逆MCTFモジュール228の第２入力に信号を伝達するように接続される。
逆MCTFモジュール228の出力は、デコーダ200のある出力として利用可能であり、レイヤ０信号を出力する。逆MCTFモジュール218の出力は、デコーダ200のある出力として利用可能であり、レイヤ１信号を出力する。逆MCTFモジュール208の出力は、デコーダ200のある出力として利用可能であり、レイヤ２信号を出力する。
FMO(フレキシブルマクロブロックオーダリング)は、ROI(関心領域)スケーラビリティの特性を実現するために議論されてきた。H.264/AVC標準仕様は如何なるスライスグループを見逃すことも許容しておらず、これは、非ROIを含むスライスグループでさえ依然として符号化され且つネットワークに送信されなければならないことを意味する。本発明の一実施例によれば、この条件は緩和され、エンハンスメントレイヤでスライスグループを見逃すことが許容され、意図的にスライスを見逃す規範動作(normative behavior)を規定する。ベースレイヤはH.264標準仕様と互換性を維持したまま残る。
従って本発明の一実施例では、H.264規格の条件を緩和し、ROIのアプリケーションに関してエンハンスメントレイヤでスライスグループを見逃すことを許容することを我々は提案する。この方法は、少なくとも以下の利点をもたらす：(a)ビットレートを節約すること；(b)ルータの付加を軽減すること；(c)デコーダでの分析を簡易化すること；及び(d)非ROI領域に関するエンコーダによる符号化処理を減らすこと。
エンハンスメントレイヤでスライスグループを見逃すことを許容する際、直ちに生じる１つの問題は、欠けたスライスグループがエンコーダにより意図的にエンコードされなかったのか、或いはネットワークのエラーに起因して欠如しているのかをデコーダが如何にして決定するかである。スライスグループが意図的に省略されていた場合、本発明原理では、デコーダが画像全体(ROIプラス非ROI)をデコードする能力を未だ持っており、デコードプロセスの結果は様々なデコーダの間で一貫しており、エンコーダ／デコーダのビット精度は維持可能であるように、デコーダは或る規範動作を行う。しかしながら、ネットワーク障害でスライスグループが欠如した場合、アプリケーションに依存して、非規範的な誤り隠蔽処理(non-normative error concealment)が適用可能である。
スライスグループが意図的に又は非意図的に欠けているか否かの曖昧さを無くすため、我々は、以下の表１に示されるようなシーケンス＿パラメータ＿セット()［sequence_parameter_set()］、即ち、欠如＿スライス＿グループ＿許可＿フラグ[missing_slice_groups_allowed_flag]の中に１つのフラグを追加することを提案する。特に、表１はシーケンスパラメータセットRBSPシンタックスを示す。スライス＿グループ＿マップ＿タイプ[slice_group_map_type]の全てをサポートするため、０，１及び６に等しいslice_group_map_typeに関してどのスライスグループが欠如しているかを我々は示す必要がある。それ以外の場合、最後のスライスグループのみが欠如しており、追加的なシンタックスは一切必要ないように常に考えてよい。最も一般的に予想される四角形のROIのスケーラビリティの場合、slice_group_map_type==2が選択されることになり、従ってピクチャ＿パラメータ＿セット()[picture_parameter_set()]にシンタックスは殆ど追加されない。完全なシンタックスは表２に示されている。
［表１］
Figure 0005020960
［表２］
Figure 0005020960
 missing_slice_groups_allowed_flagは、ビットストリームの中でスライスグループを失うことの許可を指定する。missing_slice_groups_allowed_flagが存在しなかった場合、それは０に等しいものと推定される。missing_slice_groups_allowed_flagが１に等しかった場合、「同じスライスグループマッピング」が、ベースレイヤ及びエンハンスメントレイヤの間に存在しなければならない。「同じスライスグループマッピング」とは、同じnum_slice_groups_minus_1及び同じslice_group_map_typeを意味する。
num_missing_slice_groupsは、ある画像について欠如しているスライスグループ数を示す。
missing_slice_group_id[i]は、ラスタスキャンの順番でｉ番目のスライスグループマップ中の欠如しているスライスグループを示す。
新たなシンタックスが用意された場合、エンハンスメントレイヤ中のスライスグループは意図的に失われているか、或いはそうではなくネットワーク障害に起因して欠如しているかをデコーダは判定できる。意図的に見逃すグループについて、何がデコード処理の規範動作であるかを決定する際、以下の事項が考察されてもよい：(1)欠如しているスライスグループはエンハンスメントレイヤで非ROIに適用されるので、品質は非常に高い必要はないが、品質は許容可能であるべきであること；及び(2)複雑さは低く維持されるべきであり、デコーダは現在のSVC設計で利用可能な機能を再利用すべきであること。
現在のSVC設計を利用してよい次の２つの可能なソリューションを我々は提案する：(1)残差なしにINTRA_BLモードを利用すること、即ちベース＿レイヤ(base_layer)画像をコピー又はアップサンプリングすること、及び(2)残差なしにBL_SKIPモードを利用すること。従って我々は上記の何れかの方法を使って規範動作を選択し、意図的に見逃したスライスグループをデコードできる。
図３を参照するに、関心領域に関するジョイントスケーラブルビデオエンコーディングの方法例が、参照番号300で全体的に示されている。本方法は開始ブロック305から始まり、関心領域(ROI)情報と共に符号化を開始し、機能ブロック310に制御を進める。既往ブロック310ではROI情報に依存してスライスグループを作成し、判定ブロック315に制御を進める。判定ブロック315は、符号化される現在のレイヤがベースレイヤであるか否かを確認する。そうであったならば(ベースレイヤであったならば)、制御は機能ブロック320に進められる。そうでなければ制御は機能ブロック325に進められる。
機能ブロック320は、(ベースレイヤの)全てのスライスグループをエンコードし、制御を終了ブロック370に進める。
機能ブロック325は、ベースレイヤスライスグループをエンハンスメントレイヤスライスグループに対応付け、制御を機能ブロック330に進める。機能ブロック330は、missing_slice_group_allowed_flagを１に等しくなるように設定し、制御を判定ブロック335に進める。判定ブロック335は、現在のスライスグループが関心領域に属するか否かを判定する。そうであれば(属していれば)、制御は機能ブロック340に進められる。そうでなければ制御は機能ブロック335に進められる。
機能ブロック340はインターレイヤ(又はレイヤ間)予測を使って現在のスライスグループを符号化し、処理を判定ブロック345に進める。
機能ブロック355は現在のスライスグループを符号化せずに、制御を機能ブロック360に進める。機能ブロック360はnum_missing_slice_groupをインクリメントし(増やし)、制御を判定ブロック345に進める。
判定ブロック345はnum_missing_slice_groupが１より大きいか否かを判定する。そうであれば(大きかった場合)、制御は機能ブロック350に進められる。そうでなければ制御は終了ブロック370に進められる。
機能ブロック350は、各々の欠如したスライスグループｉに関し、missing_slice_groups_id[i]を指定し、制御を終了ブロック370に進める。
図４Ａ，４Ｂを参照するに、関心領域に関するジョイントスケーラブルビデオデコーディングの方法例が、参照番号400で全体的に示されている。本方法は開始ブロック405から始まり、エンハンスメントレイヤのデコードを開始し、制御を機能ブロック410に進める。機能ブロック410は、missing_slice_groups_allowed_flagを取得し、制御を機能ブロック415に進める。機能ブロック415は、各々の欠如スライスグループｉに関し、missing_slice_group_id[i]を指定し、制御を機能ブロック420に進める。機能ブロック420はnum_missing_slice_groupsを取得し、制御を判定ブロック425に進める。判定ブロック425は、num_missing_slice_groupsが１より大きいか否かを判定する。そうであれば(大きかったならば)、制御は機能ブロック430に進められる。そうでなければ制御は判定ブロック435に進められる。
機能ブロック430は、各スライスグループｉについて、missing_slice_group_id[i]を読み取り、制御を判定ブロック435に進める。
判定ブロック435はROI領域だけをデコードするか否かを確認する。そうであれば、制御は判定ブロック440に進められる。そうでなければ制御は判定ブロック450に進められる。
判定ブロック440は(関心領域ROIを含む)スライスグループが意図的に見逃されているか否かを判定する。そうであれば制御は機能ブロック445に進められる。そうでなければ制御は機能ブロック460に進められる。
機能ブロック445は次のROIスライスグループをデコードし、制御を終了ブロック480に進める。
機能ブロック460は失われたROIスライスグループを隠蔽し、制御を終了ブロック480に進める。
判定ブロック450はスライスグループがROIに属するか否かを判定する。そうであれば制御は機能ブロック455に進められる。そうでなければ制御は判定ブロック465に進められる。
機能ブロック455はROIスライスグループをデコードし、制御を終了ブロック480に進める。
判定ブロック465は、スライスグループが意図的に見逃されているか否かを判定する。そうであれば、制御は機能ブロック470に進められる。そうでなければ制御は機能ブロック460に進められる。
機能ブロック470は、ベースレイヤのそのスライスグループをデコードし、制御を機能ブロック475に進める。機能ブロック475は、残差なしにINTRA_BLモード又はBL_SKIPモードを利用して、エンハンスメントレイヤのそのスライスグループをデコードし、制御を終了ブロック480に進める。
本発明に付随する多くの利点／特徴の内のいくつかを説明する。その内のいくつかは既に述べたとおりである。例えば、１つの利点／特徴はスケーラブルビデオエンコーダである。スケーラブルビデオエンコーダは画像を符号化するエンコーダを含み、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを生成する。画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、２つ以上のスライスグループ中の少なくとも１つのスライスグループが、エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及びエンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームは形成される。
別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記エンハンスメントレイヤビットストリームは少なくとも１つの関心領域アプリケーションをサポートするよう形成され、関心領域を含む前記エンハンスメントレイヤの少なくとも２つ以上のスライスグループの何れかが前記エンハンスメントレイヤビットストリーム内で符号化され、前記エンハンスメントレイヤ内の関心領域でない２つ以上のスライスグループの何れかは意図的に符号化されないようにしたことである。
更に別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記エンハンスメントレイヤビットストリームに対応するシーケンスパラメータセットにmissing_slice_groups_allowed_flagフィールドを加えることで、前記エンコーダは前記シンタックスエレメントを付加するようにしたことである。
更に別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記エンハンスメントレイヤビットストリーム及び前記ベースレイヤビットストリーム間に同じスライスグループマッピングが存在し、前記missing_slice_groups_allowed_flagフィールドが１に等しかった場合、num_slice_groups_minus_1フィールド及びslice_group_map_typeフィールドに関する同じスライスグループマッピングは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームについて同じ値を有するようにしたことである。
別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記画像について意図的に符号化されないスライスグループの品質を指定するために、前記エンコーダは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにnum_missing_slice_groupフィールドを加えるようにしたことである。
別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、０，１及び６の何れかに等しいslice_group_mapフィールドについてラスタスキャンの順序でｉ番目に意図的に省略されたスライスグループマップユニット中の少なくとも意図的に符号化されないスライスグループを特定するために、前記エンコーダは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにmissing_slice_group_id[i]を追加するようにしたことである。
別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記エンハンスメントレイヤビットストリームの最後のスライスグループが、少なくとも１つの意図的に符号化されないスライスグループであることを示すように、前記エンコーダはslice_group_mapフィールドを２，３，４及び５の何れかに等しく設定するようにしたことである。
本発明に関するこれらの並びに他の特徴及び利点は、本説明に基づいて当業者には明確に理解されるであろう。ハードウエア、ソフトウエア、ファームウエア、特定目的のプロセッサ又はそれらの組み合わせ等の様々な形式で本発明が実現されてよいことは理解されるであろう。
最適には、本発明の教示内容はハードウエア及びソフトウエアの組み合わせで実現される。更に、プログラム記憶装置に物理的に実装されたアプリケーションプログラムとしてソフトウエアは実現されてもよい。アプリケーションプログラムは、アップロードされてもよいし、何らかの適切なアーキテクチャを備えたマシンで実行されてもよい。好ましくは、そのマシンはハードウエア(１つ以上の中央処理装置(CPU)、ランダムアクセスメモリ(RAM)及び入力／出力(I/O)インターフェース)を有するコンピュータプラットフォームで実現される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロインストラクションコードを含んでもよい。本願で説明された様々な(CPUで実行されてよい)プロセス及び機能は、マイクロインストラクションコードの一部でもよいし、アプリケーションプログラムの一部でもよいし、或いはそれらの何らかの組み合わせでもよい。更に、様々な他の周辺装置(例えば、追加的なデータストレージユニット及び印刷装置等)がコンピュータプラットフォームに接続されてもよい。
添付図面に描かれたシステム構成要素及び方法の一部は好ましくはソフトウエアで実現されるので、システム構成要素又はプロセス機能ブロックの実際のつながりは、発明内容がプログラムされる具体的方法に依存して異なるかもしれないことが、更に理解されるべきである。本教示内容の下で、本発明に関するこれら及び同様な実現手段又は構成を当業者は認識するであろう。
添付図面と共に実施例が説明されてきたが、本発明はそれらの具体的な実施例に限定されないこと、本発明の範囲及び精神から逸脱せずに、様々な変更及び修正が当業者によりなされてよいことは理解されるであろう。そのような変更及び修正は添付の特許請求の範囲内に含まれるよう意図されている。
＜関連出願＞
本願は“METHOD AND APPARATUS FOR SCALABLE VIDEO ENCODING AND DECODING”西暦2005年10月12日付で出願された米国仮出願第60/725,700号の利益を享受し、その全内容が本願のリファレンスに組み入れられる。
本発明が適用されるジョイントスケーラブルビデオモデル(JSVM)3.0エンコーダ例のブロック図を示す。 本発明が適用されるデコーダ例を示すブロック図である。 関心領域と共にジョイントスケーラブルビデオエンコーディングを行う本発明の一実施例による方法例を示すフローチャートである。 関心領域と共にジョイントスケーラブルビデオデコーディングを行う本発明の一実施例による方法例を示すフローチャートである。 関心領域と共にジョイントスケーラブルビデオデコーディングを行う本発明の一実施例による方法例を示すフローチャートである。

Claims (17)

  1. ベースレイヤ及びエンハンスメントレイヤを形成するために画像を符号化するエンコーダを有するスケーラブルビデオ符号化装置であって、
    前記画像を複数の画像ブロックに区分けし、前記複数の画像ブロックを１つ以上のスライスに関連付け、前記ベースレイヤの１つ以上のスライスの全て及び前記エンハンスメントレイヤの１つ以上のスライス全てより少ないスライスを符号化し、及び前記エンハンスメントレイヤの少なくとも１つの符号化されてないスライスを指定するシンタックスエレメントを符号化することで、前記ベースレイヤ及び前記エンハンスメントレイヤを形成するスケーラブルビデオ符号化装置。
  2. 前記エンハンスメントレイヤが少なくとも１つの関心領域アプリケーションをサポートするよう形成され、前記エンハンスメントレイヤで符号化されるエンハンスメントレイヤについての１つ以上のスライス全てより少ないスライスが、関心領域を含むスライスグループに含まれ、前記エンハンスメントレイヤにおける少なくとも１つの符号化されてないスライスは、関心領域のない少なくとも１つのスライスグループ内に含まれている、請求項１記載のスケーラブルビデオ符号化装置。
  3. 前記シンタックスエレメントは、ヘッダに含まれている、請求項１記載のスケーラブルビデオ符号化装置。
  4. ベースレイヤ及びエンハンスメントレイヤを形成するために画像を符号化する符号化ステップを有するスケーラブルビデオ符号化方法であって、前記符号化ステップは、
    前記画像を複数の画像ブロックに区分けするステップと、
    前記複数の画像ブロックを１つ以上のスライスに関連付けるステップと、
    前記ベースレイヤの１つ以上のスライスの全て及び前記エンハンスメントレイヤの１つ以上のスライス全てより少ないスライスを符号化するステップと、
    前記エンハンスメントレイヤの少なくとも１つの符号化されてないスライスを指定するシンタックスエレメントを符号化するステップと、
    を有するスケーラブルビデオ符号化方法。
  5. 前記エンハンスメントレイヤが少なくとも１つの関心領域アプリケーションをサポートするよう形成され、前記エンハンスメントレイヤで符号化されるエンハンスメントレイヤについての１つ以上のスライス全てより少ないスライスが、関心領域を含むスライスグループに含まれ、前記エンハンスメントレイヤにおける少なくとも１つの符号化されてないスライスは、関心領域のない少なくとも１つのスライスグループ内に含まれている、請求項４記載のスケーラブルビデオ符号化方法。
  6. 前記シンタックスエレメントは、ヘッダに含まれている、請求項４記載のスケーラブルビデオ符号化方法。
  7. ベースレイヤ及びエンハンスメントレイヤを復号するデコーダを有するスケーラブルビデオ復号化装置であって、前記デコーダは、前記エンハンスメントレイヤで１つ以上のスライスが意図的に符号化されていないことを示すシンタックスエレメントを分析し、ベースレイヤ情報のみを用いて、前記エンハンスメントレイヤで意図的に符号化されてない１つ以上のスライスを復号し、及びエンハンスメントレイヤ情報を用いて、前記エンハンスメントレイヤにおける複数のスライスの内の残りを復号することで、ベースレイヤ及びエンハンスメントレイヤを復号するスケーラブルビデオ復号化装置。
  8. 前記シンタックスエレメントは、ヘッダに含まれている、請求項７記載のスケーラブルビデオ復号化装置。
  9. 前記エンハンスメントレイヤに示される特定のプロファイルでマルチループデコード処理が許可されているか否かによらず、前記デコーダは、INTRA_BLモードを用いて、前記エンハンスメントレイヤにおける１つ以上の符号化されてないスライスをデコードする、請求項８記載のスケーラブルビデオ復号化装置。
  10. 前記デコーダは、BL_SKIPモードを用いて、前記エンハンスメントレイヤにおける１つ以上の符号化されてないスライスをデコードする、請求項８記載のスケーラブルビデオ復号化装置。
  11. 前記エンハンスメントレイヤで符号化されていない１つ以上のスライスが欠如しているように検出されているが、前記エンハンスメントレイヤに対応する画像パラメータセット及びシーケンスパラメータセットでは指定されていなかった場合、前記エンハンスメントレイヤで符号化されてない１つ以上のスライスを隠すように誤り隠蔽処理を前記デコーダが実行する、請求項８記載のスケーラブルビデオ復号化装置。
  12. エンハンスメントレイヤで１つ以上のスライスが意図的に符号化されていなかったことを示すシンタックスエレメントを分析するステップと、
    ベースレイヤ情報のみを用いて、前記エンハンスメントレイヤで意図的に符号化されてない１つ以上のスライスを復号するステップと、
    エンハンスメントレイヤ情報を用いて、前記エンハンスメントレイヤにおける複数のスライスの内の残りを復号するステップと、
    を有するスケーラブルビデオ復号化方法。
  13. 前記シンタックスエレメントは、ヘッダに含まれている、請求項１２記載のスケーラブルビデオ復号化方法。
  14. 前記エンハンスメントレイヤに示される特定のプロファイルでマルチループデコード処理が許可されているか否かによらず、INTRA_BLモードを用いて、前記エンハンスメントレイヤにおける１つ以上の符号化されてないスライスをデコードする、請求項１２記載のスケーラブルビデオ復号化方法。
  15. BL_SKIPモードを用いて、前記エンハンスメントレイヤにおける１つ以上の符号化されてないスライスをデコードする請求項１２記載のスケーラブルビデオ復号化方法。
  16. 前記エンハンスメントレイヤで符号化されていない１つ以上のスライスが欠如しているように検出されているが、前記エンハンスメントレイヤに対応する画像パラメータセット及びシーケンスパラメータセットでは指定されていなかった場合、前記エンハンスメントレイヤで符号化されてない１つ以上のスライスを隠すように誤り隠蔽処理を実行する、請求項１２記載のスケーラブルビデオ復号化方法。
  17. 請求項４に記載のスケーラブルビデオ符号化方法をエンコーダに実行させるプログラムを有する記憶媒体。
JP2008535559A 2005-10-12 2006-10-03 スケーラブルビデオ符号化を行う装置及び方法並びにスケーラブルビデオ復号化を行う装置及び方法 Active JP5020960B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72570005P 2005-10-12 2005-10-12
US60/725,700 2005-10-12
PCT/US2006/038380 WO2007047077A2 (en) 2005-10-12 2006-10-03 Region of interest h .264 scalable video coding

Publications (2)

Publication Number Publication Date
JP2009512342A JP2009512342A (ja) 2009-03-19
JP5020960B2 true JP5020960B2 (ja) 2012-09-05

Family

ID=37890473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008535559A Active JP5020960B2 (ja) 2005-10-12 2006-10-03 スケーラブルビデオ符号化を行う装置及び方法並びにスケーラブルビデオ復号化を行う装置及び方法

Country Status (13)

Country Link
US (1) US8270496B2 (ja)
EP (1) EP1952638B1 (ja)
JP (1) JP5020960B2 (ja)
KR (1) KR101329167B1 (ja)
CN (1) CN101283599B (ja)
AU (1) AU2006303886B2 (ja)
BR (1) BRPI0616407B1 (ja)
CA (1) CA2624339C (ja)
MX (1) MX2008004760A (ja)
MY (1) MY152568A (ja)
RU (1) RU2417546C2 (ja)
WO (1) WO2007047077A2 (ja)
ZA (1) ZA200803018B (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5753341B2 (ja) * 2006-03-03 2015-07-22 ヴィドヨ，インコーポレーテッド スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法
US20070230567A1 (en) * 2006-03-28 2007-10-04 Nokia Corporation Slice groups and data partitioning in scalable video coding
KR100781524B1 (ko) 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
JP5143829B2 (ja) * 2006-09-07 2013-02-13 エルジー エレクトロニクス インコーポレイティド スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置
JP2009538084A (ja) * 2006-11-17 2009-10-29 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
US8411734B2 (en) 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
CN101389021B (zh) * 2007-09-14 2010-12-22 华为技术有限公司 视频编解码方法及装置
US8355450B1 (en) * 2007-10-09 2013-01-15 Arris Solutions, Inc. Buffer delay reduction
KR100951465B1 (ko) * 2008-05-08 2010-04-07 엘지전자 주식회사 영상 부호화 방법, 복호화 방법, 및 그 기록 매체
FR2930702A1 (fr) * 2008-04-23 2009-10-30 Thomson Licensing Sas Procede d'insertion, de suppression, support d'enregistrement et codeur
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
SG10201408609SA (en) 2011-06-30 2015-02-27 Microsoft Technology Licensing Llc Reducing latency in video encoding and decoding
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
BR112014018856B1 (pt) * 2012-02-01 2022-09-20 Nokia Technologies Oy Método para a codificação de conteúdo de vídeo tridimensional, aparelho para codificação de conteúdo de vídeo tridimensional, meio legível por computador, método para decodificar conteúdo de vídeo tridimensional codificado, aparelho para decodificar conteúdo de vídeo tridimensional codificado
CN102595135B (zh) * 2012-02-24 2013-03-27 中国科学技术大学 一种可伸缩视频编码的方法及装置
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
US10045032B2 (en) 2013-01-24 2018-08-07 Intel Corporation Efficient region of interest detection
CN105230017B (zh) * 2013-03-21 2019-08-06 索尼公司 图像编码装置和方法以及图像解码装置和方法
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
KR101852669B1 (ko) * 2013-04-08 2018-04-26 소니 주식회사 Shvc를 이용한 관심 영역 확장성
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
WO2015009676A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US9386275B2 (en) * 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9794558B2 (en) * 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
JPWO2016098280A1 (ja) * 2014-12-16 2017-11-16 日本電気株式会社 映像符号化装置、映像復号装置および映像配信システム
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
FR3064145A1 (fr) * 2017-03-16 2018-09-21 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
KR20180137917A (ko) * 2017-06-20 2018-12-28 가천대학교 산학협력단 모바일 vr을 위한 타일 기반 비디오 스트리밍
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870550A (en) 1996-02-26 1999-02-09 Network Engineering Software Web server employing multi-homed, moldular framework
US6011872A (en) * 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
DE19735607A1 (de) 1997-08-15 1999-02-18 Bosch Gmbh Robert Verfahren zur Aufbereitung eines Datenstromes für die objektbasierte Codierung von Bewegtfortbildern
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
JP4359804B2 (ja) 1997-12-23 2009-11-11 トムソン ライセンシング ビデオ信号を処理する方法
US6385248B1 (en) * 1998-05-12 2002-05-07 Hitachi America Ltd. Methods and apparatus for processing luminance and chrominance image data
JP2003501902A (ja) * 1999-05-27 2003-01-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号の符号化
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
JP2001268569A (ja) * 2000-03-17 2001-09-28 Matsushita Electric Ind Co Ltd 任意形状オブジェクトの残余係数を符号化するための方法および装置
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
EP1319309B1 (en) 2000-09-22 2006-11-22 Koninklijke Philips Electronics N.V. Hybrid temporal-snr fine granular scalability video coding
RU2284671C2 (ru) 2000-10-11 2006-09-27 Конинклейке Филипс Электроникс Н.В. Масштабируемое кодирование объектов мультимедиа
JP2003209789A (ja) 2002-01-10 2003-07-25 Sony Corp データ再生装置
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US20040006575A1 (en) 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20040024598A1 (en) * 2002-07-03 2004-02-05 Amit Srivastava Thematic segmentation of speech
KR100556838B1 (ko) * 2002-09-17 2006-03-10 엘지전자 주식회사 미세단위 신축형 부호화 및 복호화 장치와 방법
JP2004248124A (ja) 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化装置および階層的画像復号装置
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
US20060256863A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data

Also Published As

Publication number Publication date
MX2008004760A (es) 2008-11-13
WO2007047077A3 (en) 2007-06-14
AU2006303886A1 (en) 2007-04-26
BRPI0616407B1 (pt) 2020-08-11
CA2624339A1 (en) 2007-04-26
AU2006303886B2 (en) 2011-11-17
CN101283599A (zh) 2008-10-08
RU2417546C2 (ru) 2011-04-27
ZA200803018B (en) 2009-07-29
BRPI0616407A2 (pt) 2011-06-21
US8270496B2 (en) 2012-09-18
JP2009512342A (ja) 2009-03-19
CN101283599B (zh) 2011-01-26
KR20080055859A (ko) 2008-06-19
CA2624339C (en) 2014-12-02
EP1952638A2 (en) 2008-08-06
WO2007047077A2 (en) 2007-04-26
WO2007047077A9 (en) 2007-07-05
KR101329167B1 (ko) 2013-11-14
RU2008118370A (ru) 2009-11-20
US20100158135A1 (en) 2010-06-24
MY152568A (en) 2014-10-31
EP1952638B1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
JP5020960B2 (ja) スケーラブルビデオ符号化を行う装置及び方法並びにスケーラブルビデオ復号化を行う装置及び方法
JP5008664B2 (ja) マクロブロック適応型レイヤ間テクスチャ内予測の方法及び装置
JP5535479B2 (ja) スケーラブルビデオコーディングのための重み付け予測方法及び装置
AU2015230740B2 (en) Method and apparatus of scalable video coding
JP6415472B2 (ja) ビデオエンコーダおよびデコーダについての大きなブロックにつきイントラ予測を信号伝達する方法および装置
US8867618B2 (en) Method and apparatus for weighted prediction for scalable video coding
US8311121B2 (en) Methods and apparatus for weighted prediction in scalable video encoding and decoding
JP6214511B2 (ja) トーンマッピング及び逆トーンマッピングを利用したビット深度スケーラブル映像符号化及び復号化の方法及び装置
US20100158133A1 (en) Method and Apparatus for Using High-Level Syntax in Scalable Video Encoding and Decoding
WO2007018682A1 (en) Method and apparatus for weighted prediction for scalable video coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111213

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120613

R150 Certificate of patent or registration of utility model

Ref document number: 5020960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250