JP5484378B2 - 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法 - Google Patents
符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法 Download PDFInfo
- Publication number
- JP5484378B2 JP5484378B2 JP2011037150A JP2011037150A JP5484378B2 JP 5484378 B2 JP5484378 B2 JP 5484378B2 JP 2011037150 A JP2011037150 A JP 2011037150A JP 2011037150 A JP2011037150 A JP 2011037150A JP 5484378 B2 JP5484378 B2 JP 5484378B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- encoding
- decoding
- image sequence
- wyner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
DVCでは、画像列を数フレーム置きにJPEGなどの従来のフレーム内符号化方式で符号化する(Keyフレーム)。それ以外のフレーム(Wyner-Zivフレーム)は、量子化後にSlepian-Wolf符号化器によりパリティシンドロームビットを生成し伝送する。復号化側においては、まずKeyフレームを復号しWyner-Zivフレームの予測信号を生成する(SI:Side Information)。そしてこのSIにパリティシンドロームを用いて誤り訂正を行う。
超解像(SR:Super Resolution)は、動画や画像列などにおいて、フレーム間が複数のサブピクセル精度の位置ずれを含んでいる事を利用して情報を統合し一枚の高解像度画像を生成する技術である(非特許文献1参照)。日常的に撮像機器を通して得られる画像は、カメラの特性などから様々な劣化を経ている。一般的にはSR法では撮像プロセスを図3のように位置ずれF、ブレH、ダウンサンプルDに分けて考える。高解像度(HR:High Resolution)画像XはサイズがXm×Xnであるとし、対象画像列と考えているk枚の異なる低解像度(LR:Low Resolution)画像列Y(i)のそれぞれのサイズはYm×Ynであるとする。Xは最初に幾何学的変形F(i)を受け、それから、任意のブレカーネルHと畳み込まれ、最後にダウンサンプルDされる。このときベクトル-行列表記によるHR画像とLR画像列のモデル式は、次式となる。
画像列を符号化して復号化装置に送信する符号化装置と、符号化装置から画像列を受信して復号化する復号化装置とを有する符号化及び復号化システムであって、
前記符号化装置は、
画像列から静止領域と動き領域とを抽出し、動き領域のうち信号の並進性が閾値より大きい領域を並進領域とし、動き領域のうち信号の並進性が閾値以下の領域を非並進領域とする領域分割部と、
分散映像符号化によって、画像列に含まれるキーフレームを符号化するキーフレーム符号化部と、
分散映像符号化によって、画像列に含まれるWyner-Zivフレームを符号化するWyner-Zivフレーム符号化部と、
非並進領域のうち高周波成分を符号化する非並進領域符号化部と、
を有し、
前記復号化装置は、
受信した画像列に含まれるキーフレームを復号化するキーフレーム復号化部と、
受信した画像列に含まれるWyner-Zivフレームを復号化するWyner-Zivフレーム復号化部と、
非並進領域のうち高周波成分を復号化する非並進領域復号化部と、
復号化されたキーフレームとWyner-Zivフレームとを利用して、並進領域に超解像法を適用し、非並進領域に復号化された高周波成分を付加する画像処理部と、
を有することを特徴とする。
画像列を符号化して復号化装置に送信する符号化装置と、符号化装置から画像列を受信して復号化する復号化装置とを有する符号化及び復号化システムにおける符号化及び復号化方法であって、
前記符号化装置が、画像列から静止領域と動き領域とを抽出し、動き領域のうち信号の並進性が閾値より大きい領域を並進領域とし、動き領域のうち信号の並進性が閾値以下の領域を非並進領域とする領域分割ステップと、
前記符号化装置が、分散映像符号化によって、画像列に含まれるキーフレームを符号化するキーフレーム符号化ステップと、
前記符号化装置が、分散映像符号化によって、画像列に含まれるWyner-Zivフレームを符号化するWyner-Zivフレーム符号化ステップと、
前記符号化装置が、非並進領域のうち高周波成分を符号化する非並進領域符号化ステップと、
前記復号化装置が、非並進領域のうち高周波成分を復号化する非並進領域復号化ステップと、
前記復号化装置が、受信した画像列に含まれるキーフレームを復号化するキーフレーム復号化ステップと、
前記復号化装置が、受信した画像列に含まれるWyner-Zivフレームを復号化するWyner-Zivフレーム復号化ステップと、
前記復号化装置が、復号化されたキーフレームとWyner-Zivフレームとを利用して、並進領域に超解像法を適用し、非並進領域に復号化された高周波成分を付加する画像処理ステップと、
を有することを特徴とする。
次に、領域分割部101における領域分割について説明する。
次に、領域分割の結果を利用した、GOP分割部103における映像のGOP分割について説明する。
次に、動き推定部153におけるSI推定について説明する。
次に、画像処理部159における高周波成分の復元について説明する。
以上のように、本発明の実施例によれば、画像列を並進領域と非並進領域に分割することで、DVCの高符号化効率を実現することができ、また、復元画像の品質を向上させることが可能となる。
1.25枚の非圧縮の画像列を用意する。
2.Keyフレームを本発明の実施例に従って選定する。
3.全フレームをJPEG2000方式に基づき符号化、復号化を行う(量子化によるビットレートの制御)
4.復号したKeyフレームからSIを推定し、ウェーブレット変換する。
5.SIの低周波成分を誤り訂正する。
6.(SR可能領域)SIの低周波成分とKeyフレームからSR(Fusion+MAP推定)を行い、高周波成分を復元する。
7.(SR不可能領域)SIの低周波成分と復号したWyner-Zivフレームの高周波成分を合成し逆ウェーブレット変換により復元する。
8.(SR不必要領域)誤り訂正したWyner-Zivフレームの低周波成分とKeyフレームからSR(Fusionのみ)で復元する。
1.25枚の非圧縮の画像列を複数用意する。
2.奇数フレームをKeyフレームに偶数フレームをWyner-Zivフレームに設定する。
3.全フレームをJPEG2000方式に基づき符号化、復号化を行う(量子化によるビットレートの制御)
4.復号したKeyフレームからSIを推定する。
5.SIを誤り訂正する。
1.25枚の非圧縮の画像列を複数用意する。
2.奇数フレームをKeyフレームに偶数フレームをWyner-Zivフレームに設定する。
3.全フレームをJPEG2000方式に基づき符号化、復号化を行う(量子化によるビットレートの制御)
4.復号したKeyフレームからSIを推定し、ウェーブレット変換する。
5.SIの低周波成分を誤り訂正する。
6.誤り訂正したSIと復号したWyner-Zivフレームの高周波成分を合成し逆ウェーブレット変換により復元する。
101 領域分割部
103 GOP分割部
105 Keyフレーム符号化部
107 Wyner-Zivフレーム符号化部
109 SR不可能領域符号化部
15 復号化装置
151 Keyフレーム復号化部
153 動き推定部
155 Wyner-Zivフレーム復号化部
157 SR不可能領域復号化部
159 画像処理部
Claims (4)
- 画像列を符号化して復号化装置に送信する符号化装置と、符号化装置から画像列を受信して復号化する復号化装置とを有する符号化及び復号化システムであって、
前記符号化装置は、
画像列から静止領域と動き領域とを抽出し、動き領域のうち信号の並進性が閾値より大きい領域を並進領域とし、動き領域のうち信号の並進性が閾値以下の領域を非並進領域とする領域分割部と、
分散映像符号化によって、画像列に含まれるキーフレームを符号化するキーフレーム符号化部と、
分散映像符号化によって、画像列に含まれるWyner-Zivフレームを符号化するWyner-Zivフレーム符号化部と、
非並進領域のうち高周波成分を符号化する非並進領域符号化部と、
を有し、
前記復号化装置は、
受信した画像列に含まれるキーフレームを復号化するキーフレーム復号化部と、
受信した画像列に含まれるWyner-Zivフレームを復号化するWyner-Zivフレーム復号化部と、
非並進領域のうち高周波成分を復号化する非並進領域復号化部と、
復号化されたキーフレームとWyner-Zivフレームとを利用して、並進領域に超解像法を適用し、非並進領域に復号化された高周波成分を付加する画像処理部と、
を有する符号化及び復号化システム。 - 前記符号化装置は、
画像列をグループ・オブ・ピクチャに分割し、並進領域の画像全体に対する割合が閾値以下である場合にグループ・オブ・ピクチャを結合するグループ・オブ・ピクチャ分割部を更に有し、
前記復号化装置は、
グループ・オブ・ピクチャ内の対象となる画像からキーフレームまでの間隔に基づいて動きベクトルを計算する動き推定部と、
を更に有する、請求項1に記載の符号化及び復号化システム。 - 前記画像処理部は、キーフレームの情報と、対象となる画像の低解像度フレームの情報とを利用して、対象となる画像を高解像度化する、請求項1又は2に記載の符号化及び復号化システム。
- 画像列を符号化して復号化装置に送信する符号化装置と、符号化装置から画像列を受信して復号化する復号化装置とを有する符号化及び復号化システムにおける符号化及び復号化方法であって、
前記符号化装置が、画像列から静止領域と動き領域とを抽出し、動き領域のうち信号の並進性が閾値より大きい領域を並進領域とし、動き領域のうち信号の並進性が閾値以下の領域を非並進領域とする領域分割ステップと、
前記符号化装置が、分散映像符号化によって、画像列に含まれるキーフレームを符号化するキーフレーム符号化ステップと、
前記符号化装置が、分散映像符号化によって、画像列に含まれるWyner-Zivフレームを符号化するWyner-Zivフレーム符号化ステップと、
前記符号化装置が、非並進領域のうち高周波成分を符号化する非並進領域符号化ステップと、
前記復号化装置が、非並進領域のうち高周波成分を復号化する非並進領域復号化ステップと、
前記復号化装置が、受信した画像列に含まれるキーフレームを復号化するキーフレーム復号化ステップと、
前記復号化装置が、受信した画像列に含まれるWyner-Zivフレームを復号化するWyner-Zivフレーム復号化ステップと、
前記復号化装置が、復号化されたキーフレームとWyner-Zivフレームとを利用して、並進領域に超解像法を適用し、非並進領域に復号化された高周波成分を付加する画像処理ステップと、
を有する符号化及び復号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011037150A JP5484378B2 (ja) | 2011-02-23 | 2011-02-23 | 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011037150A JP5484378B2 (ja) | 2011-02-23 | 2011-02-23 | 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012175527A JP2012175527A (ja) | 2012-09-10 |
JP5484378B2 true JP5484378B2 (ja) | 2014-05-07 |
Family
ID=46977972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011037150A Expired - Fee Related JP5484378B2 (ja) | 2011-02-23 | 2011-02-23 | 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5484378B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5871714B2 (ja) * | 2012-05-24 | 2016-03-01 | 日本電信電話株式会社 | 分散映像符号化方法及びシステム及び復号化装置 |
JP6127487B2 (ja) * | 2012-12-10 | 2017-05-17 | 沖電気工業株式会社 | 動画像符号化装置及びプログラム |
JP6398149B2 (ja) * | 2013-04-12 | 2018-10-03 | 沖電気工業株式会社 | 動画像符号化装置及びプログラム、並びに、動画像符号化システム |
KR102520957B1 (ko) | 2016-04-15 | 2023-04-12 | 삼성전자주식회사 | 인코딩 장치, 디코딩 장치 및 이의 제어 방법 |
JP6992351B2 (ja) | 2017-09-19 | 2022-01-13 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4819024B2 (ja) * | 2007-12-06 | 2011-11-16 | 日本電信電話株式会社 | 画像符号化・復号化方法及びシステム |
JP5004877B2 (ja) * | 2008-06-04 | 2012-08-22 | 日本電信電話株式会社 | 画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラム |
JP5131224B2 (ja) * | 2009-02-19 | 2013-01-30 | 沖電気工業株式会社 | 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム |
JP5436371B2 (ja) * | 2010-08-25 | 2014-03-05 | 日本電信電話株式会社 | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム |
-
2011
- 2011-02-23 JP JP2011037150A patent/JP5484378B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012175527A (ja) | 2012-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10944966B2 (en) | Method for determining predictor blocks for a spatially scalable video codec | |
JP7047119B2 (ja) | 変換領域における残差符号予測のための方法および装置 | |
EP2850829B1 (en) | Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy | |
JP4906864B2 (ja) | スケーラブルビデオコーディング方法 | |
CN107318026B (zh) | 视频编码器以及视频编码方法 | |
EP2524505B1 (en) | Edge enhancement for temporal scaling with metadata | |
US8483277B2 (en) | Method and apparatus for motion compensated temporal filtering using split update process | |
JP5579936B2 (ja) | 最適化されたデブロッキングフィルタ | |
JP2009510869A5 (ja) | ||
JP6042899B2 (ja) | 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体 | |
JP5484378B2 (ja) | 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法 | |
US20090201991A1 (en) | Method for intra prediction coding of image data | |
JP5436371B2 (ja) | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム | |
EP3373584B1 (en) | Content adaptive and art directable scalable video coding | |
Xiong et al. | Barbell lifting wavelet transform for highly scalable video coding | |
JP5860337B2 (ja) | 映像符号化方法及び装置 | |
KR20030061786A (ko) | 비디오 코딩 방법 | |
KR20110126075A (ko) | 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치 | |
JP5484377B2 (ja) | 復号化装置及び復号化方法 | |
Liu et al. | Model-based low bit-rate video coding for resource-deficient wireless visual communication | |
Pan et al. | Sparse spatio-temporal representation with adaptive regularized dictionaries for super-resolution based video coding | |
KR101138921B1 (ko) | 다중 시점 기반의 비디오 인코딩 장치 및 방법 | |
Jiang et al. | Low-complexity distributed multi-view video coding for wireless video sensor networks based on compressive sensing theory | |
Shen et al. | Down-sampling based video coding with super-resolution technique | |
Klepko et al. | Combining distributed video coding with super-resolution to achieve H. 264/AVC performance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20121029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20121029 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5484378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |