JP7444541B2 - 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム - Google Patents
画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム Download PDFInfo
- Publication number
- JP7444541B2 JP7444541B2 JP2019037774A JP2019037774A JP7444541B2 JP 7444541 B2 JP7444541 B2 JP 7444541B2 JP 2019037774 A JP2019037774 A JP 2019037774A JP 2019037774 A JP2019037774 A JP 2019037774A JP 7444541 B2 JP7444541 B2 JP 7444541B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- encoding
- image
- layer
- bits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000003384 imaging method Methods 0.000 title claims description 8
- 238000013139 quantization Methods 0.000 claims description 64
- 230000015654 memory Effects 0.000 description 35
- 230000006866 deterioration Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Description
(画像処理装置100の構成)
図4は、画像符号化装置及び画像復号化装置の機能を持つ画像処理装置100の構成を示すブロック図である。画像処理装置100は、取得部10、画像符号化部20、メモリ30、画像復号化部40を有する。
図1は、画像符号化部20の詳細な構成を示すブロック図である。画像符号化部20は、仮符号化系110及び本符号化系120を含む。仮符号化系110は、符号化部111A~111D及びQP決定部115を含み、本符号化系120が本符号化を行う際に使用する符号化モード及び量子化パラメータのセットを決定するように動作する。本符号化系120は、遅延部121、符号化部111E、及び多重化部123を含み、仮符号化系110で決定された符号化モード及び量子化パラメータに従って量子化処理を含む本符号化を実行するように動作する。以下の説明においては、符号化部111A~111Eを総称して符号化部111と呼ぶ場合がある。
本実施形態において画像符号化部20が実行する画像符号化処理では、符号化対象の画像データは、所定サイズ(画素数)を有するブロック(符号化ブロック)に分割され、符号化ブロック単位に符号化が行われるものとする。以下の説明においては、図9(a)に示すように、符号化ブロックは水平16画素×垂直1画素×3色=48画素により構成されるものとする。図9(a)に示すように、符号化ブロックは、R、G、Bの各カラー要素について16画素ずつから構成され、ラスタースキャン順にR0、G0、B0、R1、G1、B1・・・の順に画素番号0から47が割り当てられている。符号化ブロックの各画素は、画素番号が小さいものから順に処理されるものとする。
図3は、符号化部111の詳細な構成を示すブロック図である。図3に示すように、符号化部111は、量子化部301、予測部302、減算器303、可変長符号化部304、PCM符号長算出部305、セレクタ307、及びセレクタ308を含む。
Loss = Data - (Quant << QP)・・・(2)
ここで、QuantはPCMデータ、Lossは損失ビット、Dataは入力画像データ、QPは量子化パラメータである。また、>>は右シフト算を示し、<<は左シフト算を示している。
本実施形態では、QPの値が1増える毎に、PCMデータの符号長が1ビットずつ減少する。よって、QP=0を初期値として、QPが1増える毎に、PCMデータの符号長は10ビットから1ビットずつ短くなる。ここで、仮符号化系110では、QPの値は符号化部111A~111Dのそれぞれについて固定的に割り当てられているので、PCM符号長も固定値となる。よって、PCM符号長算出部305は、式3の演算によりPCM符号長を算出するのではなく、割り当てられたQPの値に基づくPCM符号長の固定値を保持して出力する構成であってもよい。PCM符号長算出部305は、決定したPCM符号長をセレクタ308に出力する。
ここで再び図1をして、仮符号化系110における仮符号化処理について説明する。仮符号化系110に入力された画像データは、符号化部111A~111Dによって仮符号化され、符号長がQP決定部115に出力される。仮符号化の符号化モードはDPCMモードであり、QPは符号化部111A~111Dの順に0~3(相異なる複数の量子化パラメータ)である。出力される符号長は、各QPに対応する量子化ステップで量子化処理を行った量子化結果をDPCMで符号化した符号データの符号長を表す。符号化部111A~111Dは、図3に示した構成を有し、出力信号として、符号データ、符号長、損失ビットが存在する。しかしながら、この仮符号化系110では、符号長のみが使用され、損失ビット、符号データは使用しなくてもよい。従って、符号化部111A~111Dは、損失ビット及び符号データを出力する構成を持っていなくてもよい。
・・・(4)
空きビット数は、式4に示されるように、目標符号量からブロック符号長を減算した値である。空きビット数が正の値の場合、対応するQPでのブロック符号長が目標符号量より小さいことを示している。空きビット数が負の値の場合、対応するQPでのブロック符号長が目標符号量より大きいことを示している。
ここで、pix_numは符号化ブロックの画素数(本実施形態では48)である。
・・・(6)
劣化度は、損失ビット数から空きビット数を減算した値であり、符号化劣化の度合いを示している。詳細は後述するが、本実施形態では、ブロック符号長が目標符号量より小さい場合、量子化により損失したデータ(損失ビット)を空きビット領域にできるだけ格納するように符号化が行われる。復号時には、空きビット領域に格納された損失ビットを復元することによって量子化による劣化が軽減される。そのため、最終的な劣化の度合いは、損失ビット数から空きビット数を減算した値ということができる。
=loss_num[qp]-(target_size-bl_size[qp])
=loss_num[qp]+bl_size[qp]-target_size
・・・(7)
式(7)において、target_sizeはQPの値に関わらず一定であり、ブロック符号長bl_size[qp]のうちのヘッダ情報に対応する符号長もQPの値に関わらず一定である。そのため、QP間の劣化度の大小関係は、実質的には、符号化部111が出力した符号長の合計(画像データ(符号化ブロック単位)全体の符号データの符号長)及び損失ビット数loss_num[qp]によって定まる。従って、QP決定部115は、劣化度を算出しなくても、符号長及び損失ビット数に基づいて適用QP及び符号化モードを決定することができる。図10(a)の例では、QP=2の場合に符号長及び損失ビット数の和が最小値となるため、QP=2が適用QPとして決定される。また、図10(b)の例では、各QPに対応する符号長のいずれもが画素データ部704(画像データ(符号化ブロック単位)全体の符号データを格納するための所定サイズのデータ領域)のサイズを超えている。従って、QP=4(画像データ(符号化ブロック単位)を画素データ部704のサイズ以下に量子化する量子化パラメータ)が、適用QPとして決定される。
ここで再び図1を参照して、本符号化系120における符号化処理について説明する。本符号化系120には、仮符号化系110に入力された画像データと同一の画像データが入力される。しかしながら、本符号化系120の符号化処理は、仮符号化系110のQP決定部115が符号化モード及び適用QPを決定して出力するまで開始することができない。そこで、入力画像データは最初に遅延部121に入力され、仮符号化系110が符号化モード及び適用QPを決定するために必要な処理サイクル分だけ遅延される。遅延した画像データは、遅延部121から符号化部111Eへ入力される。これにより、符号化部111Eは、仮符号化系110により符号化モード及び適用QPが決定された符号化ブロックについて、決定された符号化モード及び適用QPを用いて符号化を行うことができる。
次に、図2を参照して、画像符号化部20で生成された階層符号化データを復号する画像復号化部40の詳細について説明する。図2は、画像復号化部40の詳細な構成を示すブロック図である。画像復号化部40は、メモリ30に保持された階層符号化データを復号することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (7)
- 第1の量子化パラメータに従って画像データを量子化することにより第1の量子化データを生成し、前記第1の量子化データを可変長符号化することにより第1の符号データを生成する第1の符号化手段と、
前記第1の符号データと前記第1の量子化パラメータに従う量子化により失われたビットデータの第1の部分とを含む第1のレイヤーと、前記失われたビットデータの前記第1の部分とは異なる第2の部分を含む第2のレイヤーと、を含む階層符号化データを生成する生成手段と、
相異なる複数の量子化パラメータに従って前記画像データを量子化することにより複数の量子化データを生成し、前記複数の量子化データの各々を可変長符号化することにより複数の符号データを生成する第2の符号化手段と、
前記複数の符号データの各々の、符号長と量子化により失われたビットデータのビット数とに基づいて、前記第1の量子化パラメータを決定する決定手段と、
を備え、
前記生成手段は、前記第1の量子化パラメータを前記第1のレイヤーに格納する
ことを特徴とする画像符号化装置。 - 前記決定手段は、前記複数の量子化パラメータのうちの、前記複数の符号データの各々に対応する前記符号長と前記量子化により失われたビットデータのビット数との和のうちの最小値に対応する量子化パラメータを、前記第1の量子化パラメータとして決定する
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記第1のレイヤーは、前記第1の符号データを格納するための所定のサイズのデータ領域を持ち、
前記複数の符号データの各々に対応する前記符号長のいずれもが前記所定のサイズを超える場合、
前記決定手段は、前記画像データを前記所定のサイズ以下に量子化する量子化パラメータを、前記第1の量子化パラメータとして決定し、
前記生成手段は、前記第1の符号データの代わりに前記第1の量子化データを前記第1のレイヤーの前記データ領域に格納する
ことを特徴とする請求項1又は2に記載の画像符号化装置。 - 前記第1の符号化手段により前記第1の量子化データを可変長符号化することは、前記画像データの各画素について、当該画素の量子化値の予測値を他の画素の量子化値に基づいて取得し、当該予測値に対する当該量子化値の差分値を可変長符号化することを含む
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像符号化装置。 - 請求項1乃至4のいずれか1項に記載の画像符号化装置と、
画像復号化装置と、
前記画像データを生成する撮像手段と、
記録手段と、
を備える撮像装置であって、
前記画像符号化装置の前記生成手段は、前記第1のレイヤー及び前記第2のレイヤーを含む前記階層符号化データを前記記録手段に記録し、
前記画像符号化装置は、
前記記録手段から、前記第2のレイヤーを読み出すか否かを判定する判定手段と、
前記第2のレイヤーを読み出すと判定された場合、前記記録手段から前記第1のレイヤー及び前記第2のレイヤーを読み出し、前記第2のレイヤーを読み出さないと判定された場合、前記記録手段から前記第1のレイヤーを読み出す読み出し手段と、
前記第1のレイヤーに含まれる前記第1の符号データを可変長復号化することにより前記第1の量子化データを生成し、前記第1の量子化データを逆量子化することにより復号化画像データを生成する復号化手段と、
を備え、
前記第2のレイヤーを読み出すと判定された場合、前記復号化手段は、前記第1のレイヤーに含まれる前記失われたビットデータの前記第1の部分と前記第2のレイヤーに含まれる前記失われたビットデータの前記第2の部分とを前記復号化画像データに付加し、
前記第2のレイヤーを読み出さないと判定された場合、前記復号化手段は、前記第1のレイヤーに含まれる前記失われたビットデータの前記第1の部分を前記復号化画像データに付加する
ことを特徴とする撮像装置。 - 画像符号化装置が実行する画像符号化方法であって、
第1の量子化パラメータに従って画像データを量子化することにより第1の量子化データを生成し、前記第1の量子化データを可変長符号化することにより第1の符号データを生成する第1の符号化工程と、
前記第1の符号データと前記第1の量子化パラメータに従う量子化により失われたビットデータの第1の部分とを含む第1のレイヤーと、前記失われたビットデータの前記第1の部分とは異なる第2の部分を含む第2のレイヤーと、を含む階層符号化データを生成する生成工程と、
相異なる複数の量子化パラメータに従って前記画像データを量子化することにより複数の量子化データを生成し、前記複数の量子化データの各々を可変長符号化することにより複数の符号データを生成する第2の符号化工程と、
前記複数の符号データの各々の、符号長と量子化により失われたビットデータのビット数とに基づいて、前記第1の量子化パラメータを決定する決定工程と、
を備え、
前記生成工程は、前記第1の量子化パラメータを前記第1のレイヤーに格納する
ことを特徴とする画像符号化方法。 - コンピュータを、請求項1乃至4のいずれか1項に記載の画像符号化装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019037774A JP7444541B2 (ja) | 2019-03-01 | 2019-03-01 | 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019037774A JP7444541B2 (ja) | 2019-03-01 | 2019-03-01 | 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020141377A JP2020141377A (ja) | 2020-09-03 |
JP7444541B2 true JP7444541B2 (ja) | 2024-03-06 |
Family
ID=72280634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019037774A Active JP7444541B2 (ja) | 2019-03-01 | 2019-03-01 | 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7444541B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000244744A (ja) | 1998-12-21 | 2000-09-08 | Nikon Corp | 画像データ圧縮方法及び画像データ管理方法 |
JP2001339313A (ja) | 2000-05-25 | 2001-12-07 | Victor Co Of Japan Ltd | Pcm信号符号化装置及び復号化装置 |
US6744929B1 (en) | 1999-11-18 | 2004-06-01 | Nikon Corporation | Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program |
JP2011151572A (ja) | 2010-01-21 | 2011-08-04 | Renesas Electronics Corp | 画像データ処理装置およびその動作方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63281569A (ja) * | 1987-05-14 | 1988-11-18 | Matsushita Electric Ind Co Ltd | 多階調画像の階層型符号化方法 |
-
2019
- 2019-03-01 JP JP2019037774A patent/JP7444541B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000244744A (ja) | 1998-12-21 | 2000-09-08 | Nikon Corp | 画像データ圧縮方法及び画像データ管理方法 |
US6744929B1 (en) | 1999-11-18 | 2004-06-01 | Nikon Corporation | Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program |
JP2001339313A (ja) | 2000-05-25 | 2001-12-07 | Victor Co Of Japan Ltd | Pcm信号符号化装置及び復号化装置 |
JP2011151572A (ja) | 2010-01-21 | 2011-08-04 | Renesas Electronics Corp | 画像データ処理装置およびその動作方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020141377A (ja) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6626295B2 (ja) | 画像符号化装置、画像処理装置、画像符号化方法 | |
JP6512928B2 (ja) | 画像符号化装置、画像処理装置、画像符号化方法 | |
JP4490261B2 (ja) | イントラ符号化に基づく空間予測 | |
JP5861752B2 (ja) | 映像復号装置、映像復号方法及びプログラム | |
US10075725B2 (en) | Device and method for image encoding and decoding | |
KR20210134402A (ko) | 인코더, 디코더 및 대응하는 인트라 예측을 위한 방법 | |
JP6875821B2 (ja) | 画像符号化装置、撮像装置、画像符号化方法およびプログラム | |
JP6502739B2 (ja) | 画像符号化装置、画像処理装置、画像符号化方法 | |
US10027958B2 (en) | Coding apparatus and method for encoding image data | |
KR20180102565A (ko) | 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들 | |
US11190810B2 (en) | Device and method for compressing image data using quantization parameter and entropy tables | |
KR20220024900A (ko) | 비선형 적응 루프 필터의 클리핑 레벨 | |
JP7444541B2 (ja) | 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム | |
JP6985924B2 (ja) | 画像符号化装置、画像処理装置、画像符号化方法 | |
JP7193929B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
CN110087072B (zh) | 图像处理装置 | |
KR20220146469A (ko) | 결합된 픽셀/변환 기반 양자화에 의한 비디오 코딩을 위한 양자화 파라미터 제어 방법 | |
KR20140004018A (ko) | 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치 | |
JP6749725B2 (ja) | 画像符号化装置、画像処理装置、画像符号化方法 | |
JP7121584B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
CN112913242B (zh) | 编码方法和编码装置 | |
KR102543449B1 (ko) | 이미지 처리 장치 및 이미지 처리 장치의 동작 방법 | |
TWI795480B (zh) | 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置 | |
JP2009038740A (ja) | 画像符号化装置 | |
TW201941600A (zh) | 影像處理裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230420 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231026 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240222 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7444541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |