JP5402960B2 - 伸張復号化装置、及び、伸張復号化方法 - Google Patents
伸張復号化装置、及び、伸張復号化方法 Download PDFInfo
- Publication number
- JP5402960B2 JP5402960B2 JP2011037441A JP2011037441A JP5402960B2 JP 5402960 B2 JP5402960 B2 JP 5402960B2 JP 2011037441 A JP2011037441 A JP 2011037441A JP 2011037441 A JP2011037441 A JP 2011037441A JP 5402960 B2 JP5402960 B2 JP 5402960B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- moving image
- frame
- image data
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
複数のカメラによって撮像され圧縮符号化された動画像データを伸張復号化する伸張復号化装置であって、
特定カメラの視点の動画像を伸張復号化する場合、
各視点のカメラによって撮像された動画像について、他の視点のカメラによって撮像された動画像データを用いた動き予測が実施されたか否かを示す情報に基づいて、前記伸張復号化すべき特定カメラの視点の動画像データについて圧縮符号化時に動き予測に用いられた視点の動画像を撮像した視点を判断し、当該視点のカメラによって撮像された動画像データを動き予測に用いられた動画像データと判断する判断手段と、
前記判断手段によって判断された視点の動画像データ、及び前記伸張復号化すべき特定の視点カメラにて撮影された動画像データについて伸張復号化を実行する伸張復号化手段と、
を含む伸張復号化装置である。
まず、本発明における予測符号化の方法の原理について説明する。図1は、基準カメラによって撮像された各フレームの予測符号化方法と、参照カメラによって撮像された各フレームの予測符号化方法とを示す図である。図1において、矢印の根に位置するフレームは、矢印の先に位置するフレームを参照することにより予測符号化される。
ck)が含まれる。Frame Headerは、フレームのヘッダ情報である。Frame Headerは、そのフレームの予測種別(I,P,B,I’,P’,B’)が含まれる。MBは、マクロブロック情報を示す。
まず、圧縮符号化装置1の構成例について説明する。圧縮符号化装置1は、ハードウェア的には、バスを介して接続されたCPU(中央演算処理装置),主記憶装置(RAM),補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるROM(Read−Only Memory:EPROM(Erasable Programmable Read−Only Memory),EEPROM(Electrically Erasable Programmable Read−Only Memory),マスクROM等を含む),FRAM(Ferroelectric RAM),ハードディスク等を指す。
入力フレームバッファ101は、圧縮符号化装置1に入力される動画像をバッファリングする。圧縮符号化装置1には、基本カメラによって撮像された動画像と、参照カメラによって撮像された動画像とが入力される。従って、入力フレームバッファ101は、基本カメラによって撮像された動画像と、参照カメラによって撮像された動画像とをバッファリングする。入力フレームバッファ101は、制御部110からの指示に従って、各カメラの符号化処理単位でフレームデータを出力する。符号化処理単位とは、1フレームであっても良いし、1GOP(Group of Pictures)といった複数フレームであっても良い。以下、入力フレームバッファ101によって出力されたフレーム、即ち
圧縮符号化の処理対象となるフレームを入力フレームと呼ぶ。
減算器102は、入力フレームと、動き補償や視差補償による予測情報との差分を計算し、その結果を予測差分情報として出力する。
DCT量子化部103は、DCT(Discrete Cosine Transform)演算、量子化演算を行う。DCT量子化部103は、減算器102により算出される予測差分情報をブロック単位でDCT演算し、DCT係数を量子化し、その結果である量子化DCT係数を出力する。
IDCT逆量子化部104は、IDCT(Inverse Discrete Cosine Transform)演算(以下、「逆DCT演算」とも呼ぶ)、逆量子化演算を行う。IDCT逆量子化部104は、量子化DCT係数の逆量子化及び逆DCT演算を行い、逆DCT演算結果を得る。
加算器105は、逆DCT演算結果と、動き補償や視差補償による予測結果とを足し合わせて、ローカル復号化動画像を生成する。
フレームバッファ106は、ローカル復号化動画像を蓄積する。また、フレームバッファ106は、制御部110からの指示に従って、指定されたカメラ動画像の指定されたフレームを出力する。以下、フレームバッファ106によって出力されたフレーム、即ち動き予測や視差予測に用いられるフレームを予測元フレームと呼ぶ。
動き・視差ベクトル補償部107は、制御部110からの指示に従って、入力フレームと、予測元フレームとを用いてブロックマッチングによる予測を行う。動き・視差ベクトル補償部107は、動きベクトル情報及び視差ベクトル情報を可変長符号部108へ出力する。また、動き・視差ベクトル補償部107は、予測情報を減算器102へ出力する。動きベクトル情報や視差ベクトル情報や予測情報は、予測誤差を最小にするために使用される。また、動き・視差ベクトル補償部107は、フレーム全体での動きベクトル情報を制御部110に出力する。動きベクトル情報とは、例えば全ブロックでの動きベクトル情報の平均と分散などである。
可変長符号部108は、量子化の結果を可変長符号化することにより、圧縮符号化されたフレームのデータを生成する。また、動き補償に用いられた動きベクトル情報、視差補償に用いられた視差ベクトル情報をヘッダ付加部109へ渡す。
ヘッダ付加部109は、カメラ番号、カメラ種別(基準カメラ又は参照カメラ)、参照する他のカメラ、等の情報を、圧縮符号化された後各フレーム又は複数フレーム単位に付加することにより動画像データを生成する。
制御部110は、各カメラにより撮像された動画像の符号化制御、基準カメラの決定(
基準カメラ決定処理)、参照カメラにより撮像されたフレームの予測符号化のために参照するフレームの決定(参照先決定処理)などを行う。また、制御部110は、各機能部に指示をすることが可能となるように接続される。また、制御部110には、各カメラのパラメタ(各カメラについての配置情報)が外部から入力される。配置情報は、各カメラの絶対位置であってもよいし相対位置でも良い)。以下、基準カメラ決定処理と参照先決定処理について説明する。
、左にパニングが生じていると判断した場合(S02−左)、C(1+nK)を基準カメラとする(S04)。そして、制御部110は、参照カメラにより撮像された各フレームにとっての参照先フレームを、右側の直近の基準フレームに決定する(S07)。言い換えれば、制御部110は、参照カメラにより撮像された各フレームにとっての参照先フレームを、パニングが発生している方向と逆方向に設置された直近の基準カメラとして設定する。
次に、伸張復号化装置2の構成例について説明する。伸張復号化装置2は、ハードウェア的には、バスを介して接続されたCPU(中央演算処理装置),主記憶装置(RAM),補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるROM(Read−Only Memory:EPROM(Erasable Programmable Read−Only Memory),EEPROM(Electrically Erasable Programmable Read−Only Memory),マスクROM等を含む),FRAM(Ferroelectric RAM),ハードディスク等を指す。
ヘッダ解析部201は、入力された動画像データ(圧縮符号化装置1により作成された動画像データ)から、ヘッダ情報を抽出する。ヘッダ情報とは、具体的には、各フレームを撮像したカメラの識別子やその種別(基準カメラ又は参照カメラ)、参照先フレームを撮像したカメラの識別子などである。また、ヘッダ解析部201は、制御部209から、復号化すべきフレームを撮像したカメラの識別子を受け取る。そして、ヘッダ解析部201は、この識別子に基づいて、入力された各フレームについて復号化すべきか否か判断し、復号化すべきと判断したフレームのみを符号化動画像バッファ202へ渡す。具体的には、ヘッダ解析部201は、各カメラによって撮像されたフレームを含むGOPのうち、復号化すべきカメラに対応するGOPを判断する(復号化カメラ判断処理)。この処理が実行されることにより、不要なフレームについての復号化処理を省略することが可能となり、処理の高速化を図ることができる。同時に、バッファリングすべきデータ量の削減も図ることができ、例えば表示動画像バッファ206やフレームバッファ207の規模を小さくすることができる。さらに、ヘッダ解析部201は、制御部209に対し、符号化動画像バッファ202に渡したフレームの識別子を通知する。
符号化動画像バッファ202は、ヘッダ解析部201によって復号化すべきと判断された各フレームをバッファリングする。符号化動画像バッファ202は、制御部209からの指示に従って、復号化処理単位でフレームを出力する。復号化処理単位とは、1フレームであっても良いし、GOPのように複数フレームであっても良い。
可変長復号部203は、可変長符号化されている量子化DCT係数を可変長復号化し、その結果をIDCT逆量子化部204に渡す。また、可変長復号化部203は、動きベクトル情報や視差ベクトル情報についても可変長復号化し、動き・視差ベクトル補償部208に渡す。
IDCT逆量子化部204は、IDCT演算、逆量子化演算を行う。IDCT逆量子化部204は、量子化DCT係数の逆量子化及び逆DCT演算を行い、逆DCT演算結果を得る。
加算器205は、逆DCT演算結果と、動き補償や視差補償による予測結果とを足し合わせて、復号化動画像を生成する。
表示動画像バッファ206は、加算器205によって生成された復号化動画像のデータをバッファリングする。このとき、表示動画像バッファ208は、外部から表示することを指定されたカメラに対応する復号化動画像のデータをバッファリングする。そして、表示動画像バッファ206は、バッファリングしているデータを順次出力する。
フレームバッファ207は、表示動画像バッファ206と同様に、復号化動画像のデータをバッファリングする。さらに、フレームバッファ207は、外部からの指定に関わらず、処理対象のフレームの復号化に必要となる他のカメラにより撮像されたフレームも蓄積する。
動き・視差ベクトル補償部208は、制御部209からの指示に従い、処理対象となっているフレームの復号化に必要な動き予測・視差予測に用いるフレームを、フレームバッファ207から読み出す。そして、動き・視差ベクトル補償部208は、可変長復号部203から動きベクトル情報・視差ベクトル情報を取得する。そして、予測結果を取得し、その予測結果を加算器205へ渡す。
制御部209は、入力される動画像データについての復号化制御を行う。また、制御部209は、各機能部に指示をすることが可能となるように接続される。また、制御部209には、外部から、表示動画像バッファ208から外部へ出力すべき動画像を撮像したカメラを示す識別子が入力される。この識別子は、一つでも複数でも良い。そして、制御部209は、入力されたこの識別子をヘッダ解析部201に渡す。
〔変形例〕
参照カメラにより撮像された各フレーム(I’フレーム,P’フレーム,B’フレーム)は、基準カメラによって同時刻に撮像されたフレームに限らず、他の参照カメラによって撮像されたフレームを参照して予測符号化されても良いし、基準カメラや他の参照カメラによって異なる時刻によって撮像されたフレームを参照して予測符号化されても良い。
101 入力フレームバッファ
102 減算器
103 DCT量子化部
104 IDCT逆量子化部
105 加算器
106 フレームバッファ
107 動き・視差ベクトル補償部
108 可変長符号部
109 ヘッダ付加部
110 制御部
2 伸張復号化装置
201 ヘッダ解析部
202 符号化動画像バッファ
203 可変長復号部
204 IDCT逆量子化部
205 加算器
206 表示動画像バッファ
207 フレームバッファ
208 動き・視差ベクトル補償部
209 制御部
Claims (2)
- 複数のカメラによって撮像され圧縮符号化された複数視点の動画像データを伸張復号化する伸張復号化装置であって、
特定カメラの1視点の動画像データを伸張復号化する場合、
前記特定カメラの視点の動画像データの所定の数のフレーム毎に、各視点のカメラによって撮像された動画像について、他の視点のカメラによって撮像された動画像データを用いた動き予測が実施されたか否かを示す情報に基づいて、前記伸張復号化すべき特定カメラの視点の動画像データについて圧縮符号化時に動き予測に用いられた視点の動画像を撮像した視点を判断し、当該視点のカメラによって撮像された動画像データを動き予測に用いられた動画像データと判断する判断手段と、
前記判断手段によって判断された視点の動画像データ、及び前記伸張復号化すべき特定の視点カメラにて撮影された動画像データについて伸張復号化を実行する伸張復号化手段と、
を含む伸張復号化装置。 - 複数のカメラによって撮像され圧縮符号化された複数視点の動画像データを伸張復号化する伸張復号化方法であって、
特定カメラの1視点の動画像データを伸張復号化する場合、
前記特定カメラの視点の動画像データの所定の数のフレーム毎に、各視点のカメラによって撮像された動画像について、他の視点のカメラによって撮像された動画像データを用いた動き予測が実施されたか否かを示す情報に基づいて、前記伸張復号化すべき特定カメラの視点の動画像データについて圧縮符号化時に動き予測に用いられた視点の動画像を撮像した視点を判断し、当該視点のカメラによって撮像された動画像データを動き予測に用いられた動画像データと判断するステップと、
前記判断するステップによって判断された視点の動画像データ、及び前記伸張復号化すべき特定の視点カメラにて撮影された動画像データについて伸張復号化を実行するステップと、
を含む伸張復号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011037441A JP5402960B2 (ja) | 2011-02-23 | 2011-02-23 | 伸張復号化装置、及び、伸張復号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011037441A JP5402960B2 (ja) | 2011-02-23 | 2011-02-23 | 伸張復号化装置、及び、伸張復号化方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011012168A Division JP5402953B2 (ja) | 2011-01-24 | 2011-01-24 | 伸張復号化装置、伸張復号化方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011130500A JP2011130500A (ja) | 2011-06-30 |
JP5402960B2 true JP5402960B2 (ja) | 2014-01-29 |
Family
ID=44292467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011037441A Expired - Fee Related JP5402960B2 (ja) | 2011-02-23 | 2011-02-23 | 伸張復号化装置、及び、伸張復号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5402960B2 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
-
2011
- 2011-02-23 JP JP2011037441A patent/JP5402960B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011130500A (ja) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8488678B2 (en) | Moving image encoding apparatus and moving image encoding method | |
JP5197591B2 (ja) | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 | |
JPH09294266A (ja) | 動きベクトル探索方法 | |
JP2013504256A (ja) | シーン切替検出 | |
JP2010041354A (ja) | 動画像符号化方法、符号化装置及び符号化プログラム | |
US20120014442A1 (en) | Image processing device and image processing method | |
JP4825137B2 (ja) | 圧縮符号化装置、伸張復号化装置 | |
JP2013115583A (ja) | 動画像符号化装置及びその制御方法並びにプログラム | |
JP4893311B2 (ja) | 圧縮符号化装置、伸張復号化装置 | |
JP2007228077A (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
JP5402953B2 (ja) | 伸張復号化装置、伸張復号化方法、及び、プログラム | |
JP2002199392A (ja) | 映像符号化方法および装置 | |
JP5402960B2 (ja) | 伸張復号化装置、及び、伸張復号化方法 | |
JP2007325119A (ja) | 画像処理装置及び画像処理方法 | |
JP2011130499A (ja) | 伸張復号化装置、及び、伸張復号化方法 | |
KR100926608B1 (ko) | 압축 부호화 장치, 신장 복호화 장치 | |
US8897368B2 (en) | Image coding device, image coding method, image coding integrated circuit and image coding program | |
KR100926607B1 (ko) | 압축 부호화 장치, 신장 복호화 장치 | |
JP5727398B2 (ja) | 動画像符号化方法,動画像符号化装置および動画像符号化プログラム | |
JP5741073B2 (ja) | 画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
US10075691B2 (en) | Multiview video coding method using non-referenced view video group | |
JP2011176700A (ja) | 画像符号化装置および画像符号化方法 | |
JP2010068219A (ja) | 動画像符号化装置 | |
JP2010041353A (ja) | 動画像復号化方法、復号化装置及び復号化プログラム | |
JP2015002541A (ja) | 画像復号化装置及び画像復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130402 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130702 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5402960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |