JP6875821B2 - 画像符号化装置、撮像装置、画像符号化方法およびプログラム - Google Patents
画像符号化装置、撮像装置、画像符号化方法およびプログラム Download PDFInfo
- Publication number
- JP6875821B2 JP6875821B2 JP2016205467A JP2016205467A JP6875821B2 JP 6875821 B2 JP6875821 B2 JP 6875821B2 JP 2016205467 A JP2016205467 A JP 2016205467A JP 2016205467 A JP2016205467 A JP 2016205467A JP 6875821 B2 JP6875821 B2 JP 6875821B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coding
- compressed
- prediction
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Description
符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化手段と、
前記符号化データを復号した復号画像を圧縮してメモリに記憶させ、前記メモリから読み出した圧縮済みの復号画像を伸長して、前記予測符号化における参照画像として前記符号化手段に出力する圧縮伸長手段と、
圧縮前の前記復号画像と、前記圧縮済みの復号画像とから、前記圧縮済みの復号画像の圧縮率を計算する圧縮率計算手段とを備え、
前記メモリに記憶された圧縮済みの復号画像のうち、前記符号化手段がインター予測符号化処理において使用する参照画像に対応する前記圧縮済み復号画像の圧縮率に応じて、前記符号化手段による該参照画像を用いたインター予測符号化処理における双予測の実行を制御し、
複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が閾値を超える場合に、前記符号化手段は、前記複数枚の参照画像を用いたインター予測符号化処理における双予測の実行を抑制することを特徴とする。
まず、図1を参照して、発明の実施形態に対応するシステム構成について説明する。図1(a)は発明の実施形態における画像処理装置の構成の一例を示す図である。画像処理装置100は、例えば取得部10、画像符号化部20、出力インタフェース30を有する。図1の画像処理装置100において、各ブロックは、撮像素子や表示素子のような物理的デバイスを除き専用のデバイス、ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPU等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。画像処理装置100は例えばデジタルカメラとして実施することができるが、それ以外にも、例えばパーソナルコンピュータ、携帯電話、スマートフォン、PDA、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。
図2は、第一の画像符号化部101の機能構成の一例を示すブロック図である。図2に示すように、第一の画像符号化部101は、イントラ予測部200、インター予測部201、イントラ・インター判定部202、予測画像生成部203、整数変換部204、量子化部205、エントロピー符号化部206、符号量制御部207、ビットストリーム生成部208、逆量子化部209、逆整数変換部210、ループフィルタ211、減算器212、加算器213を含むことができる。
次に第二の画像符号化部102内部の処理について説明する。図3は、第二の画像符号化部102の機能構成の一例を示すブロック図である。図3に示すように、第二の画像符号化部102は、入力データサイズ記憶部300、DPCM計算部301、可変長符号化部302、出力データサイズ記憶部303、可変長復号部304、及び、逆DPCM計算部305を含むことができる。
次に、発明の実施形態に対応するシステム構成における符号化処理の流れを図4のフローチャートを参照して説明する。
次に、図5を参照して、本実施形態における符号化処理について、時間方向の動作タイミングと適用例を説明する。図5は、12フレーム分の符号化を行った場合の各フレームの入力順と、符号化順とを示している。各フレームには、I、P、Bのいずれかのピクチャタイプを示すと共に、参照画像となるIピクチャおよびPピクチャには、ローカルデコード画像の圧縮率を例示した。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (10)
- 符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化手段と、
前記符号化データを復号した復号画像を圧縮してメモリに記憶させ、前記メモリから読み出した圧縮済みの復号画像を伸長して、前記予測符号化における参照画像として前記符号化手段に出力する圧縮伸長手段と、
圧縮前の前記復号画像と、前記圧縮済みの復号画像とから、前記圧縮済みの復号画像の圧縮率を計算する圧縮率計算手段と、
を備え、
前記メモリに記憶された圧縮済みの復号画像のうち、前記符号化手段がインター予測符号化処理において使用する参照画像に対応する前記圧縮済み復号画像の圧縮率に応じて、前記符号化手段による該参照画像を用いたインター予測符号化処理における双予測の実行を制御し、
複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が閾値を超える場合に、前記符号化手段は、前記複数枚の参照画像を用いたインター予測符号化処理における双予測の実行を抑制することを特徴とする画像符号化装置。 - 前記複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が前記閾値以下である場合に、前記符号化手段は、前記複数枚の参照画像を用いたインター予測符号化処理における双予測を実行することを特徴とする請求項1に記載の画像符号化装置。
- 符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化手段と、
前記符号化データを復号した復号画像を圧縮してメモリに記憶させ、前記メモリから読み出した圧縮済みの復号画像を伸長して、前記予測符号化における参照画像として前記符号化手段に出力する圧縮伸長手段と、
圧縮前の前記復号画像と、前記圧縮済みの復号画像とから、前記圧縮済みの復号画像の圧縮率を計算する圧縮率計算手段と、
を備え、
前記メモリに記憶された圧縮済みの復号画像のうち、前記符号化手段がインター予測符号化処理において使用する参照画像に対応する前記圧縮済み復号画像の圧縮率に応じて、前記符号化手段による該参照画像を用いたインター予測符号化処理における双予測の実行を制御し、
複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が閾値を超える場合に、前記符号化手段は、前記複数枚の参照画像のうち、前記符号化対象フレームと時間的により近接する参照画像を使用してインター予測符号化処理を実行することを特徴とする画像符号化装置。 - 前記符号化手段は、前記符号化対象フレームのピクチャタイプがBピクチャである場合に、前記圧縮率に応じて前記インター予測符号化処理における双予測の実行を制御することを特徴とする請求項1から3のいずれか1項に記載の画像符号化装置。
- 前記圧縮率計算手段は、ピクチャタイプがIピクチャまたはPピクチャである符号化対象フレームについて前記圧縮率を計算することを特徴とする請求項1から4のいずれか1項に記載の画像符号化装置。
- 前記圧縮伸長手段は、前記復号画像の隣接画素間の差分値を可変長符号化方式に従って符号化することにより前記復号画像を圧縮することを特徴とする請求項1から5のいずれか1項に記載の画像符号化装置。
- 画像の取得手段と、
前記画像を符号化する請求項1から6のいずれか1項に記載の画像符号化装置と
を備える撮像装置。 - 符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化工程と、
前記符号化データを復号した復号画像を圧縮してメモリに記憶させ、前記メモリから読み出した圧縮済みの復号画像を伸長して、前記予測符号化における参照画像として前記符号化工程に供給する圧縮伸長工程と、
圧縮前の前記復号画像と、前記圧縮済みの復号画像とから、前記圧縮済みの復号画像の圧縮率を計算する圧縮率計算工程と、
を含み、
前記メモリに記憶された圧縮済みの復号画像のうち、前記符号化工程におけるインター予測符号化処理において使用される参照画像に対応する前記圧縮済み復号画像の圧縮率に応じて、前記符号化工程における該参照画像を用いたインター予測符号化処理における双予測の実行を制御し、
複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が閾値を超える場合に、前記符号化工程では、前記複数枚の参照画像を用いたインター予測符号化処理における双予測の実行を抑制することを特徴とする画像符号化方法。 - 符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化工程と、
前記符号化データを復号した復号画像を圧縮してメモリに記憶させ、前記メモリから読み出した圧縮済みの復号画像を伸長して、前記予測符号化における参照画像として前記符号化工程に供給する圧縮伸長工程と、
圧縮前の前記復号画像と、前記圧縮済みの復号画像とから、前記圧縮済みの復号画像の圧縮率を計算する圧縮率計算工程と、
を含み、
前記メモリに記憶された圧縮済みの復号画像のうち、前記符号化工程におけるインター予測符号化処理において使用される参照画像に対応する前記圧縮済み復号画像の圧縮率に応じて、前記符号化工程における該参照画像を用いたインター予測符号化処理における双予測の実行を制御し、
複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が閾値を超える場合に、前記符号化工程では、前記複数枚の参照画像のうち、前記符号化対象フレームと時間的により近接する参照画像を使用してインター予測符号化処理を実行することを特徴とする画像符号化方法。 - コンピュータを請求項1から6のいずれか1項に記載の画像符号化装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205467A JP6875821B2 (ja) | 2016-10-19 | 2016-10-19 | 画像符号化装置、撮像装置、画像符号化方法およびプログラム |
US15/785,899 US10721485B2 (en) | 2016-10-19 | 2017-10-17 | Image coding apparatus, image coding method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205467A JP6875821B2 (ja) | 2016-10-19 | 2016-10-19 | 画像符号化装置、撮像装置、画像符号化方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018067808A JP2018067808A (ja) | 2018-04-26 |
JP6875821B2 true JP6875821B2 (ja) | 2021-05-26 |
Family
ID=61904820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016205467A Active JP6875821B2 (ja) | 2016-10-19 | 2016-10-19 | 画像符号化装置、撮像装置、画像符号化方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10721485B2 (ja) |
JP (1) | JP6875821B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110114803B (zh) * | 2016-12-28 | 2023-06-27 | 松下电器(美国)知识产权公司 | 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置 |
US10706492B2 (en) * | 2017-09-05 | 2020-07-07 | Texas Instruments Incorporated | Image compression/decompression in a computer vision system |
JP7321685B2 (ja) * | 2018-08-22 | 2023-08-07 | キヤノン株式会社 | 撮像装置 |
JP7224892B2 (ja) * | 2018-12-18 | 2023-02-20 | ルネサスエレクトロニクス株式会社 | 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両 |
JP7359653B2 (ja) * | 2019-11-06 | 2023-10-11 | ルネサスエレクトロニクス株式会社 | 動画像符号化装置 |
DE102021117397A1 (de) * | 2020-07-16 | 2022-01-20 | Samsung Electronics Co., Ltd. | Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6624761B2 (en) * | 1998-12-11 | 2003-09-23 | Realtime Data, Llc | Content independent data compression method and system |
JPWO2005076629A1 (ja) * | 2004-02-09 | 2007-10-18 | 三洋電機株式会社 | 画像符号化装置及び撮像装置 |
JP4734168B2 (ja) * | 2006-05-09 | 2011-07-27 | 株式会社東芝 | 画像復号化装置及び画像復号化方法 |
JP4867497B2 (ja) * | 2006-06-21 | 2012-02-01 | ソニー株式会社 | 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム |
US7953285B2 (en) * | 2006-11-03 | 2011-05-31 | Taiwan Imagingtek Corporation | Method and circuit of high performance variable length coding and decoding for image compression |
JP2009200627A (ja) | 2008-02-19 | 2009-09-03 | Canon Inc | 撮像装置及び撮像方法 |
US8194736B2 (en) * | 2008-04-15 | 2012-06-05 | Sony Corporation | Video data compression with integrated lossy and lossless compression |
JP5583439B2 (ja) * | 2010-03-17 | 2014-09-03 | パナソニック株式会社 | 画像符号化装置及びカメラシステム |
JP5585290B2 (ja) * | 2010-08-12 | 2014-09-10 | 富士通株式会社 | 動画像符号化装置 |
EP2614647B1 (de) * | 2011-01-12 | 2017-10-18 | Siemens Aktiengesellschaft | Kompression und dekompression von referenzbildern in einem videokoder |
JP6151909B2 (ja) | 2012-12-12 | 2017-06-21 | キヤノン株式会社 | 動画像符号化装置、方法およびプログラム |
US20150181208A1 (en) * | 2013-12-20 | 2015-06-25 | Qualcomm Incorporated | Thermal and power management with video coding |
-
2016
- 2016-10-19 JP JP2016205467A patent/JP6875821B2/ja active Active
-
2017
- 2017-10-17 US US15/785,899 patent/US10721485B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10721485B2 (en) | 2020-07-21 |
JP2018067808A (ja) | 2018-04-26 |
US20180109802A1 (en) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6875821B2 (ja) | 画像符号化装置、撮像装置、画像符号化方法およびプログラム | |
JP6660074B2 (ja) | 映像復号化方法及び装置 | |
US11910013B2 (en) | Image encoding method using a skip mode, and a device using the method | |
US8331449B2 (en) | Fast encoding method and system using adaptive intra prediction | |
JP4889231B2 (ja) | 画像符号化方法および装置、画像復号方法 | |
CN108632609B (zh) | 视频编解码装置及方法 | |
US20120195372A1 (en) | Joint frame rate and resolution adaptation | |
TWI736557B (zh) | 資料編碼設備以及資料編碼方法 | |
JP7297918B2 (ja) | ビデオ符号化のための色変換 | |
JPWO2006098226A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
KR20130054396A (ko) | 최적화된 디블록킹 필터 | |
JP4901450B2 (ja) | 動画像符号化装置 | |
JP2015170994A (ja) | 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法 | |
JP4063205B2 (ja) | 画像データ圧縮装置及びエンコーダ | |
JP5943733B2 (ja) | 画像符号化装置およびその制御方法ならびにプログラム | |
JP4063202B2 (ja) | 画像データ圧縮装置及びエンコーダ | |
KR101911587B1 (ko) | 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법 | |
JP4357560B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
JP3846487B2 (ja) | 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法 | |
WO2011148887A1 (ja) | 動画像配信システム、動画像送信装置、動画像配信方法および動画像配信プログラム | |
US20200374553A1 (en) | Image processing | |
JP2010035025A (ja) | 符号化装置およびその方法 | |
JP5873290B2 (ja) | 符号化装置 | |
JP2022070176A (ja) | 符号化装置及びプログラム | |
JP2016195326A (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201022 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210423 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6875821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |