JP5995583B2 - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム - Google Patents
画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム Download PDFInfo
- Publication number
- JP5995583B2 JP5995583B2 JP2012165945A JP2012165945A JP5995583B2 JP 5995583 B2 JP5995583 B2 JP 5995583B2 JP 2012165945 A JP2012165945 A JP 2012165945A JP 2012165945 A JP2012165945 A JP 2012165945A JP 5995583 B2 JP5995583 B2 JP 5995583B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- decoding
- motion vector
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
また、上記課題を解決するために、本発明の画像復号装置は下記の構成を有する。すなわち、連続する複数の画像を復号する画像復号装置であって、前記複数の画像のうちN番目の画像を復号する第1の復号工程と、前記N番目の画像を参照することにより、当該N番目の画像の次のN+1番目の画像を復号する第2の復号工程と、前記第1の復号工程及び第2の復号工程の処理開始タイミングを制御する制御工程とを有し、前記画像は複数のブロックからなるブロックラインを含み、前記制御工程において、前記N+1番目の画像のブロックラインにおける所定の処理対象ブロックを処理する場合に、前記N番目の画像の一部分であって、前記N+1番目の画像における前記所定の処理対象ブロックの動きベクトル存在範囲に相当する部分の復号が完了したか判定する判定処理を行い、前記動きベクトル存在範囲に相当する部分の復号が完了したと判定した後に、前記第2の復号工程による前記所定の処理対象ブロックの復号を開始させ、前記N+1番目の画像における前記ブロックラインにおける前記所定の処理対象ブロックより後のブロックを復号する場合には、そのブロックの動きベクトル存在範囲に相当する部分の復号が完了したか判定する判定処理を行わない。
以下、本発明の実施形態1を、図面を用いて説明する。図1は、本実施形態1における画像符号化装置を示す図である。
本実施形態に示す画像符号化装置は、レベルを用いて動きベクトル存在範囲を算出する。このレベルはH.264やHEVC等の画像符号化国際標準で一般的に使用されている、画像復号装置が復号可能なパラメータ値の範囲を示す情報である。
実施形態1における、動きベクトル探索アルゴリズムに関する情報は、一般に符号化ストリームには含まれない。よって、圧縮された符号化ストリームを入力して復号を行う画像復号装置において、動きベクトル探索アルゴリズムに基づいた動きベクトル存在範囲を算出することができない。
実施形態1及び2では、図2に示すように、参照画像を1枚使用する画面間符号化を使用した画像グループ構造について符号化を行う画像符号化装置を示したが、本発明は図2の画像グループ構造に限定されない。
本実施形態では、動きベクトル存在範囲として画像符号化におけるスライスまたはタイルを用いて、複数の符号化部による並列符号化処理を行う画像符号化装置の構成について示す。
本発明において画像符号化装置内部の符号化部の数には制限は無く、M(Mは2以上の任意の正の整数)個の符号化部を使用することが可能である。本実施形態は、M=4とし、かつ符号化部間の通信方法として直接接続を使用する画像符号化装置を示す。
第2符号化部1103: 2番目、6番目、10番目、(略)、(4N−2)番目
第3符号化部1104: 3番目、7番目、11番目、(略)、(4N−1)番目
第4符号化部1105: 4番目、8番目、12番目、(略)、(4N)番目
本実施形態において、M個の符号化部を使用して複数画像の符号化を行う場合、第1から第4の各符号化部は符号化処理が完了したマクロブロックライン数を信号で出力する。iを1以上、かつM以下の整数とすると、前記マクロブロックラインの出力信号は、i番目の符号化部が局所復号で生成した画像を動き予測における参照画像として使用する符号化部(複数の場合もある)に直接接続される。
HEVCでは、動きベクトルを予測符号化するにあたり、適応動きベクトル予測技術が採用されている。この適応動きベクトル予測技術では、同一画像内で使用された動きベクトルに加え、時間軸上において異なる画像で使用された動きベクトルを参照動きベクトルの候補群とする。本実施形態においては、符号化部間で直接接続されたインターフェースにより、時間軸上において異なる画像の動きベクトルを直接伝達することで、適応動きベクトル予測と複数画像の並列符号化の両方を実現する構成について示す。尚、本実施形態はHEVCにおける符号化ブロック単位で符号化を行うものとし、この符号化ブロックのサイズは16×16画素、32×32画素、64×64画素のいずれも使用することが可能である。下記説明における符号化ブロックは実施形態1〜6におけるマクロブロックに、符号化ブロックラインはマクロブロックラインに相当する。
本発明はソフトウェア・プログラムとしても実現することが可能であり、マルチスレッド・プログラムで複数画像の並列符号化処理を行う構成を本実施形態で示す。マルチスレッド・プラグラムにおいて複数画像の並列符号化を行うために、符号化スレッド間では符号化が完了したマクロブロックライン数を共有する必要がある。本実施形態では、セマフォにより排他制御された共有メモリで、符号化が完了したマクロブロックライン数を伝達し、複数の符号化スレッドによる複数画像の並列符号化を行う。本実施形態において、セマフォは、符号化が完了したマクロブロックライン数を複数の符号化スレッド書き込むタイミングを同期制御するために用いられる。
実施形態1〜8では、符号化の対象画像を画面間符号化するための参照画像の一部であって、当該対象画像の最初の処理対象ブロックの動きベクトル存在範囲に相当する部分の処理が完了した場合に、当該対象画像の処理対象ブロックの処理を開始するとした。しかしながら、本発明はこれに限定されない。すなわち、当該対象画像の最初の処理対象ブロックの動きベクトル存在範囲に相当する部分の処理が完了した後、所定時間後に当該対象画像の最初の処理ブロックの処理を開始してもよい。尚、この場合、動きベクトル存在範囲に相当する部分の処理が終了した後に限らず、垂直方向の動きベクトル存在範囲に基づく所定のマクロブロックライン分の処理が終了した後としても良い。また、スライス及びタイルのサイズに基づいて算出した動きベクトル存在範囲の処理が終了した後でも構わない。
Claims (12)
- 連続する複数の画像を符号化する画像符号化装置であって、
前記複数の画像のうちN番目の画像を符号化する第1の符号化手段と、
前記N番目の画像を参照することにより、当該N番目の画像の次のN+1番目の画像を符号化する第2の符号化手段と、
前記第1の符号化手段及び第2の符号化手段の処理開始タイミングを制御する制御手段と
を備え、
前記画像は複数のブロックからなるブロックラインを含み、
前記制御手段は、
前記N+1番目の画像のブロックラインにおける所定の処理対象ブロックを処理する場合に、
前記N番目の画像の一部分であって、前記N+1番目の画像における前記所定の処理対象ブロックの動きベクトル存在範囲に相当する部分の処理が完了したか判定する判定処理を行い、
前記動きベクトル存在範囲に相当する部分の処理が完了したと判定した後に、前記第2の符号化手段による前記所定の処理対象ブロックの処理を開始させ、
前記N+1番目の画像における前記ブロックラインにおける前記所定の処理対象ブロックより後のブロックを処理する場合には、そのブロックの動きベクトル存在範囲に相当する部分の処理が完了したか判定する判定処理を行わない、
ことを特徴とする画像符号化装置。 - 前記第1の符号化手段により処理されたブロックライン数を記録する記録手段
を更に備え、
前記制御手段は、前記記録手段により記録されたブロックライン数が動きベクトル存在範囲の垂直方向に相当するブロックライン数を記録した後に、第2の符号化手段による処理の開始を指示することを特徴とする請求項1に記載の画像符号化装置。 - 前記第2の符号化手段は、前記所定の処理対象ブロックの動きベクトルに基づいて符号化を行い、
前記動きベクトル存在範囲は、前記動きベクトルを探索する際に参照する前記N番目の画像の範囲に基づいて決定されることを特徴とする請求項1または請求項2に記載の画像符号化装置。 - 前記動きベクトル存在範囲は、前記第1の符号化手段及び第2の符号化手段により符号化された符号化ストリームを入力として復号を行う、画像復号装置が復号可能なパラメータ値の範囲であるレベルに基づいて決定されることを特徴とする請求項1または請求項2に記載の画像符号化装置。
- 前記所定の処理対象ブロックは、前記ブロックラインの先頭のブロックである
ことを特徴とする請求項1〜4のいずれか1項に記載の画像符号化装置。 - 前記所定の処理対象ブロックは、前記N+1番目の画像の最初のブロックである
ことを特徴とする請求項1〜5のいずれか1項に記載の画像符号化装置。 - 前記制御手段は、
前記N+1番目の画像の各ブロックラインにおける先頭ブロックを処理する場合に、
前記N番目の画像の一部分であって、前記N+1番目の画像における前記先頭ブロックの動きベクトル存在範囲に相当する部分の処理が完了したか判定する判定処理を行い、
前記動きベクトル存在範囲に相当する部分の処理が完了したと判定した後に、前記第2の符号化手段による前記先頭ブロックの処理を開始させ、
前記N+1番目の画像における各ブロックラインにおける前記先頭ブロックより後のブロックを処理する場合には、そのブロックの動きベクトル存在範囲に相当する部分の処理が完了したか判定する判定処理を行わない
ことを特徴とする請求項1〜5のいずれか1項に記載の画像符号化装置。 - 連続する複数の画像を復号する画像復号装置であって、
前記複数の画像のうちN番目の画像を復号する第1の復号手段と、
前記N番目の画像を参照することにより、当該N番目の画像の次のN+1番目の画像を復号する第2の復号手段と、
前記第1の復号手段及び第2の復号手段の処理開始タイミングを制御する制御手段と
を備え、
前記画像は複数のブロックからなるブロックラインを含み、
前記制御手段は、
前記N+1番目の画像のブロックラインにおける所定の処理対象ブロックを処理する場合に、
前記N番目の画像の一部分であって、前記N+1番目の画像における前記所定の処理対象ブロックの動きベクトル存在範囲に相当する部分の復号が完了したか判定する判定処理を行い、
前記動きベクトル存在範囲に相当する部分の復号が完了したと判定した後に、前記第2の復号手段による前記所定の処理対象ブロックの復号を開始させ、
前記N+1番目の画像における前記ブロックラインにおける前記所定の処理対象ブロックより後のブロックを復号する場合には、そのブロックの動きベクトル存在範囲に相当する部分の復号が完了したか判定する判定処理を行わない、
ことを特徴とする復号装置。 - 連続する複数の画像を符号化する画像符号化方法であって、
前記複数の画像のうちN番目の画像を符号化する第1の符号化工程と、
前記N番目の画像を参照することにより、当該N番目の画像の次のN+1番目の画像を符号化する第2の符号化工程と、
前記第1の符号化工程及び第2の符号化工程の処理開始タイミングを制御する制御工程と
を有し、
前記画像は複数のブロックからなるブロックラインを含み、
前記制御工程において、
前記N+1番目の画像のブロックラインにおける所定の処理対象ブロックを処理する場合に、
前記N番目の画像の一部分であって、前記N+1番目の画像における前記所定の処理対象ブロックの動きベクトル存在範囲に相当する部分の処理が完了したか判定する判定処理を行い、
前記動きベクトル存在範囲に相当する部分の処理が完了したと判定した後に、前記第2の符号化工程による前記所定の処理対象ブロックの処理を開始させ、
前記N+1番目の画像における前記ブロックラインにおける前記所定の処理対象ブロックより後のブロックを処理する場合には、そのブロックの動きベクトル存在範囲に相当する部分の処理が完了したか判定する判定処理を行わない、
ことを特徴とする画像符号化方法 - 連続する複数の画像を復号する画像復号方法であって、
前記複数の画像のうちN番目の画像を復号する第1の復号工程と、
前記N番目の画像を参照することにより、当該N番目の画像の次のN+1番目の画像を復号する第2の復号工程と、
前記第1の復号工程及び第2の復号工程の処理開始タイミングを制御する制御工程と
を有し、
前記画像は複数のブロックからなるブロックラインを含み、
前記制御工程において、
前記N+1番目の画像のブロックラインにおける所定の処理対象ブロックを処理する場合に、
前記N番目の画像の一部分であって、前記N+1番目の画像における前記所定の処理対象ブロックの動きベクトル存在範囲に相当する部分の復号が完了したか判定する判定処理を行い、
前記動きベクトル存在範囲に相当する部分の復号が完了したと判定した後に、前記第2の復号工程による前記所定の処理対象ブロックの復号を開始させ、
前記N+1番目の画像における前記ブロックラインにおける前記所定の処理対象ブロックより後のブロックを復号する場合には、そのブロックの動きベクトル存在範囲に相当する部分の復号が完了したか判定する判定処理を行わない、
ことを特徴とする復号方法。 - コンピュータが読みだして実行することにより、前記コンピュータを請求項1に記載の画像符号化装置として機能させることを特徴とするプログラム。
- コンピュータが読みだして実行することにより、前記コンピュータを請求項8に記載の画像復号装置として機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012165945A JP5995583B2 (ja) | 2012-07-26 | 2012-07-26 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム |
US13/949,801 US9392278B2 (en) | 2012-07-26 | 2013-07-24 | Image encoding or decoding apparatus, system, method, and storage medium for encoding or decoding a plurality of images in parallel |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012165945A JP5995583B2 (ja) | 2012-07-26 | 2012-07-26 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014027462A JP2014027462A (ja) | 2014-02-06 |
JP5995583B2 true JP5995583B2 (ja) | 2016-09-21 |
Family
ID=49994889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012165945A Active JP5995583B2 (ja) | 2012-07-26 | 2012-07-26 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9392278B2 (ja) |
JP (1) | JP5995583B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014230159A (ja) * | 2013-05-23 | 2014-12-08 | 株式会社メガチップス | 画像処理装置 |
KR20150066301A (ko) * | 2013-12-06 | 2015-06-16 | 한국전자통신연구원 | 고화질 콘텐츠의 송수신 방법 및 장치 |
JP6206280B2 (ja) * | 2014-03-24 | 2017-10-04 | 富士通株式会社 | 動画像符号化装置及び動画像符号化器 |
KR102299573B1 (ko) * | 2014-10-22 | 2021-09-07 | 삼성전자주식회사 | 실시간으로 인-루프 필터링을 수행할 수 있는 애플리케이션 프로세서, 이의 작동 방법, 및 이를 포함하는 시스템 |
US10277913B2 (en) * | 2014-10-22 | 2019-04-30 | Samsung Electronics Co., Ltd. | Application processor for performing real time in-loop filtering, method thereof and system including the same |
JP7077115B2 (ja) * | 2018-04-20 | 2022-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6982253B2 (ja) * | 2018-10-31 | 2021-12-17 | 日本電信電話株式会社 | 復号装置、符号化装置、復号方法、符号化方法、及びプログラム |
CN110263895B (zh) * | 2019-06-25 | 2023-02-17 | 北京慧眼智行科技有限公司 | 一种码图生成方法及系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940008389A (ko) * | 1992-09-30 | 1994-04-29 | 가나이 쯔또무 | 화상신호처리장치 및 이것을 사용한 정보송수신장치 |
JP2000295616A (ja) * | 1999-04-08 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体 |
JP3941921B2 (ja) | 2002-01-25 | 2007-07-11 | 三菱電機株式会社 | 動画像符号化装置 |
JP4470613B2 (ja) * | 2004-06-29 | 2010-06-02 | 富士通株式会社 | 画像復号装置及び画像符号化装置 |
JP4790446B2 (ja) * | 2006-03-01 | 2011-10-12 | 三菱電機株式会社 | 動画像復号装置及び動画像符号化装置 |
US8121196B2 (en) * | 2006-11-02 | 2012-02-21 | Corel Corporation | Method and apparatus for multi-threaded video decoding |
EP2127394A1 (en) * | 2006-12-27 | 2009-12-02 | Intel Corporation | Methods and apparatus to decode and encode video information |
KR20090004725A (ko) * | 2007-07-06 | 2009-01-12 | 엘지전자 주식회사 | 방송 수신기 및 방송 수신기의 데이터 처리 방법 |
JP5011017B2 (ja) * | 2007-07-30 | 2012-08-29 | 株式会社日立製作所 | 画像復号化装置 |
JP5120324B2 (ja) * | 2009-04-16 | 2013-01-16 | パナソニック株式会社 | 画像復号装置及び画像復号方法 |
JP5216710B2 (ja) * | 2009-07-24 | 2013-06-19 | 日立コンシューマエレクトロニクス株式会社 | 復号化処理方法 |
US10244246B2 (en) * | 2012-02-02 | 2019-03-26 | Texas Instruments Incorporated | Sub-pictures for pixel rate balancing on multi-core platforms |
-
2012
- 2012-07-26 JP JP2012165945A patent/JP5995583B2/ja active Active
-
2013
- 2013-07-24 US US13/949,801 patent/US9392278B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20140029671A1 (en) | 2014-01-30 |
US9392278B2 (en) | 2016-07-12 |
JP2014027462A (ja) | 2014-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5995583B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム | |
US10212441B2 (en) | Method and apparatus for processing video | |
JP5620641B2 (ja) | 適応型走査を用いる動画の符号化/復号化装置及びその方法 | |
US10757431B2 (en) | Method and apparatus for processing video | |
JP6376719B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
JP4879269B2 (ja) | 復号化方法及び装置 | |
JP2011151430A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
JP2009302776A (ja) | 画像符号化装置、その制御方法、及びコンピュータプログラム | |
US8594192B2 (en) | Image processing apparatus | |
JPWO2009063646A1 (ja) | 画像復号装置及び画像復号方法 | |
US8488892B2 (en) | Image encoder and camera system | |
JP5087016B2 (ja) | 符号化装置及びその制御方法、コンピュータプログラム | |
US9179065B2 (en) | Image processing apparatus, image processing method, and program product | |
JP2008153907A (ja) | 画像符号化装置及びそれらを含む情報端末ならびに画像符号化方法 | |
JP5694674B2 (ja) | 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法 | |
US20130083847A1 (en) | Moving image compression encoding apparatus, method, and control program | |
JP5265984B2 (ja) | 画像符号化装置及び復号装置 | |
JP2019004439A (ja) | 符号化装置、撮像装置および符号化方法 | |
JP6206280B2 (ja) | 動画像符号化装置及び動画像符号化器 | |
JP6618578B2 (ja) | 画像符号化装置、および画像復号装置 | |
JP6610115B2 (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム | |
JP7451131B2 (ja) | 画像符号化装置、画像符号化方法、及びプログラム | |
US10743009B2 (en) | Image processing apparatus and image processing method | |
JP2008289105A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
JP5819754B2 (ja) | 画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160823 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5995583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |