JP7524906B2 - 動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置 - Google Patents

動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置 Download PDF

Info

Publication number
JP7524906B2
JP7524906B2 JP2021553979A JP2021553979A JP7524906B2 JP 7524906 B2 JP7524906 B2 JP 7524906B2 JP 2021553979 A JP2021553979 A JP 2021553979A JP 2021553979 A JP2021553979 A JP 2021553979A JP 7524906 B2 JP7524906 B2 JP 7524906B2
Authority
JP
Japan
Prior art keywords
quantization
frame
data
encoding
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021553979A
Other languages
English (en)
Other versions
JPWO2021084679A1 (ja
Inventor
哲 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of JPWO2021084679A1 publication Critical patent/JPWO2021084679A1/ja
Application granted granted Critical
Publication of JP7524906B2 publication Critical patent/JP7524906B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置に関する。
ネットワークを介して動画像を配信するサービスが知られている。このようなサービスを拡大するために、動画像を構成するフレームの量子化処理および符号化処理を高速化すること、および、符号化処理を行う際のビットレートを制御するレート制御を高精度化することが求められている。
特許文献１には、符号化処理された後のフレームのデータ量に基づいて次のフレームの量子化処理および符号化処理を行う技術が開示されている。また非特許文献１には、複数のフレームの符号化処理をパラレルに実行することで、符号化処理の高速化を図る技術が開示されている。
特開２００７－１６６１９２号公報
谷田部祐介、外５名、「動画像リアルタイムエンコーダにおけるＨ．２６４ ＣＡＢＡＣの並列処理技術」、情報処理学会論文誌 コンシューマ・デバイス＆システム Ｖｏｌ．５ Ｎｏ．５ １－８（Ｄｅｃ．２０１５）
特許文献１に開示された技術では、符号化処理された後のフレームのデータ量に基づいて量子化処理および符号化処理を行っているが、フレーム内の全データのうちの一部のデータに基づいて符号化処理等を行っているので、レート制御の精度が低くなるという問題がある。非特許文献１には、符号化処理をパラレルに実行することが開示されているが、どのようにしてレート制御を高精度化するかについては開示されていない。
本開示は、上記の事情を鑑みてなされたもので、量子化処理、符号化処理の高速化およびレート制御の高精度化を図ることができる動画像符号化方法等を提供することを目的とする。
本開示の一形態における動画像符号化方法は、量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積することと、前記量子化データに基づいて量子化データ情報を求めることと、前記複数のフレームの量子化データのうち少なくとも１つのフレームの量子化データに対する前記量子化データ情報を使用して、前記複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータを決定することと、前記量子化パラメータに基づいて量子化処理を行うことで前記直後のフレームの量子化データを生成することと、前記直後のフレームを含む複数のフレームの量子化データにエントロピー符号化を行う符号化処理を、前記直後のフレームを含む複数のフレーム間でパラレルに実行することを含み、前記量子化データ情報は、前記符号化処理後のデータに基づかず、前記量子化パラメータを決定するときに、前記複数のフレームのうち、前記符号化処理が終了したフレームについては前記符号化処理されたフレームの符号化データのデータ量に基づき、前記符号化処理が終了していないフレームについては前記量子化データ情報に基づいて前記量子化パラメータを決定する。
本開示の一形態における符号化処理方法は、量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積することと、前記量子化データに基づいて量子化データ情報を求めることと、前記複数のフレームの量子化データのうち少なくとも１つのフレームの量子化データに対する前記量子化データ情報を使用して、前記複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータを決定することと、前記量子化パラメータに基づいて量子化処理を行うことで前記直後のフレームの量子化データを生成することと、前記直後のフレームを含む複数のフレームの量子化データを外部のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）へ出力することを含み、前記量子化データ情報は、前記直後のフレームを含む複数のフレームの量子化データにエントロピー符号化を行う符号化処理後のデータに基づかず、前記量子化パラメータを決定するときに、前記複数のフレームのうち、前記符号化処理が終了したフレームについては前記符号化処理されたフレームの符号化データのデータ量に基づき、前記符号化処理が終了していないフレームについては前記量子化データ情報に基づいて前記量子化パラメータを決定する。
本開示の一形態における動画像符号化装置は、量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積する量子化データ蓄積部と、前記複数のフレームの量子化データのうち少なくとも１つのフレームの量子化データのデータ量に基づいて、前記複数のフレームの直後のフレームのビットデータ量を決定するレート制御部と、前記レート制御部で求めた前記ビットデータ量に基づいて、前記直後のフレームの量子化処理を行う際の量子化パラメータを決定するパラメータ決定部と、前記量子化パラメータに基づいて量子化処理を行うことで前記直後のフレームの量子化データを生成する量子化部と、前記直後のフレームを含む複数のフレームの量子化データにエントロピー符号化を行う符号化処理を、前記直後のフレームを含む複数のフレーム間でパラレルに実行する符号化部と、を備え、前記パラメータ決定部は、前記複数のフレームのうち、前記符号化処理が終了したフレームについては前記符号化処理されたフレームの符号化データのデータ量に基づき、前記符号化処理が終了していないフレームについては前記量子化データのデータ量に基づいて前記量子化パラメータを決定する。
本開示の一形態における符号化処理装置は、量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積する量子化データ蓄積部と、前記複数のフレームの量子化データのうち少なくとも１つのフレームの量子化データのデータ量を用いて決定されたビットデータ量を外部から受け取り、前記複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータを決定するパラメータ決定部と、前記量子化パラメータに基づいて量子化処理を行うことで前記直後のフレームの量子化データを生成する量子化部と、を備え、前記パラメータ決定部は、前記複数のフレームのうち、符号化処理が終了したフレームについては前記符号化処理されたフレームの符号化データのデータ量に基づき、前記符号化処理が終了していないフレームについては前記量子化データのデータ量に基づいて前記量子化パラメータを決定する。
なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示の動画像符号化方法等によれば、量子化処理、符号化処理の高速化およびレート制御の高精度化を図ることができる。
図１は、実施の形態１に係る動画像符号化装置のブロック構成図である。 図２は、実施の形態１に係る動画像符号化装置を構成する回路部品を示す図である。 図３は、実施の形態１に係る動画像符号化装置の符号化部の構成を示す図である。 図４は、実施の形態１に係る動画像符号化装置の符号化部にて生成される符号化データを示す模式図である。 図５は、実施の形態１に係る動画像符号化方法を示すフローチャートである。 図６は、実施の形態１に係る動画像符号化方法にて実行される各フレームの量子化処理および符号化処理のタイミングを示す図である。 図７は、実施の形態１に係る符号化処理方法を示すフローチャートである。 図８は、実施の形態１の変形例１に係る動画像符号化装置のブロック構成図である。 図９は、実施の形態１の変形例２に係る動画像符号化装置のブロック構成図である。 図１０は、実施の形態２に係る動画像符号化方法を示すフローチャートである。 図１１は、動画像符号化装置におけるＣＰＵおよびアクセラレータの構成例を示す図である。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の一形態に係る実施形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実施形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。
（実施の形態１）
［１－１．動画像符号化装置の構成］
実施の形態１の動画像符号化装置の構成について、図１～図４を参照しながら説明する。
図１は、実施の形態１に係る動画像符号化装置１のブロック構成図である。動画像符号化装置１は、動画像を構成する複数のフレームをフレーム単位で量子化および符号化する装置である。
図１に示すように、動画像符号化装置１は、減算部１０４と、変換部１０６と、量子化部１０８と、量子化データ蓄積部１０９と、パラメータ決定部１１０と、符号化部１３０と、符号化データ蓄積部１３６と、レート制御部１３８と、を備える。また、動画像符号化装置１は、逆量子化部１１２と、逆変換部１１４と、加算部１１６と、ブロッキングフィルタ１２０と、フレームメモリ１２２と、動き検出・補償部１２４と、イントラ予測部１２６と、予測制御部１２８と、を備える。
図２は、動画像符号化装置１を構成する回路部品の一例を示す図である。
図２に示すように、動画像符号化装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０、および、アクセラレータ２０によって構成されている。
ＣＰＵ３０およびアクセラレータ２０は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）規格に準拠した通信インターフェース５０によって接続されている。
アクセラレータ２０は、ＣＰＵ３０の演算処理の高速化を支援する回路部品、すなわちＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。このアクセラレータ２０は、符号化処理装置２に該当する。
ＣＰＵ３０は、動画像符号化装置１の全体の動作を管理する回路部品である。ＣＰＵ３０にはメモリ４０が内蔵され、メモリ４０にはソフトウェアプログラムが格納されている。ＣＰＵ３０は、複数のプログラムに対応する複数のスレッドをパラレルに実行することができる。複数のスレッドをパラレルに実行するとは、複数のスレッドにおける処理を時間的にオーバラップさせながら独立して実行することである。例えば、ＣＰＵ３０で８スレッドの処理が実行可能である場合、ＣＰＵ３０は、動画像を構成する８フレームを８スレッドに１対１で対応させて、各スレッドを同じ時間帯または異なる時間帯に個別に実行することができる。
このソフトウェアプログラムが実行されたとき、図１に示す符号化部１３０、符号化データ蓄積部１３６およびレート制御部１３８の各機能は、ＣＰＵ３０によって実現される。また、減算部１０４、変換部１０６、量子化部１０８、量子化データ蓄積部１０９、パラメータ決定部１１０、逆量子化部１１２、逆変換部１１４、加算部１１６、ブロッキングフィルタ１２０、動き検出・補償部１２４、イントラ予測部１２６および予測制御部１２８の各機能は、アクセラレータ２０によって実現される。なお、符号化データ蓄積部１３６の機能は、ＣＰＵ３０と異なる回路部品によって実現されてもよい。
まず、アクセラレータ２０およびＣＰＵ３０にて実現される各機能について、図１を参照しながら説明する。
減算部１０４は、動画像符号化装置１に入力された原信号から予測信号を減算することで、動画像を構成する各フレームの予測誤差を算出する。減算部１０４にて算出された予測誤差は、変換部１０６に出力される。予測誤差および予測信号については後述する。
変換部１０６は、空間領域の予測誤差を周波数領域のデータに変換する。具体的には、変換部１０６は、例えば空間領域の予測誤差に対して離散コサイン変換（ＤＣＴ）を行う。変換部１０６にて変換された当該データは、量子化部１０８に出力される。
量子化部１０８は、変換部１０６から出力されたデータを量子化処理することで量子化データｄ１を生成する。具体的には、量子化部１０８は、上記周波数領域のデータを後述する量子化パラメータＱＰに基づいて量子化する。量子化パラメータＱＰとは、量子化ステップを定義するパラメータである。例えば、量子化パラメータＱＰを変更して量子化ステップを大きくすると粗い量子化になり、データ量が小さくなる。量子化部１０８による量子化処理は、１つのフレームごとにシリアルに実行される。なお、フレーム内のデータに対する演算処理は、シリアルに実行されてもよいし、パラレルに実行されてもよい。量子化部１０８にて生成された量子化データｄ１は、量子化データ蓄積部１０９および逆量子化部１１２に出力される。
量子化データ蓄積部１０９は、量子化部１０８にて量子化処理されたフレームの量子化データｄ１を蓄積する。具体的には、量子化データ蓄積部１０９は、量子化部１０８にて１つのフレームごとに生成された量子化データｄ１を、１つのフレームの量子化データｄ１ごとにシリアルに蓄積する。これにより、量子化データ蓄積部１０９には、複数のフレームの量子化データｄ１が蓄積される。量子化データ蓄積部１０９に蓄積された量子化データｄ１は、符号化部１３０およびレート制御部１３８に出力される。
量子化データ蓄積部１０９に蓄積された１つのフレームの量子化データｄ１は、量子化処理が終了するごとに、符号化部１３０およびレート制御部１３８に出力される。言い換えると、アクセラレータ２０にて量子化処理された１つのフレームの量子化データｄ１は、量子化処理が終了するごとに、通信インターフェース５０を介してＣＰＵ３０に出力される。
なお、量子化データ蓄積部１０９から符号化部１３０に出力されるデータは、量子化データｄ１に限られず、量子化データｄ１に基づいて演算処理された演算データであってもよい。例えば、演算データは、量子化データｄ１に基づいて二値化されたデータ、または、量子化データｄ１に基づいて二値化された後、算術符号化されたデータであってもよい。
符号化部１３０は、量子化データ蓄積部１０９から出力された量子化データｄ１をエントロピー符号化することで符号化データｄ２を生成する。符号化データｄ２は、エントロピー符号化によって圧縮成形されたビットストリームである。
図３は、動画像符号化装置１の符号化部１３０の構成を示す図である。
図３に示すように、符号化部１３０は、入力された量子化データｄ１を二値化する二値化部１３１と、二値化部１３１にて二値化されたデータを符号化する算術符号化部１３２と、ビットストリームを成形するストリーム成形部１３３とによって構成されている。
図４は、符号化部１３０にて生成される符号化データｄ２を示す模式図である。
符号化データｄ２は、ヘッダ情報、付加情報、フィラー（Ｆｉｌｌｅｒ）データおよび画像圧縮データを含む。ヘッダ情報は、フレーム、フレームグループまたはフレームの一部であるスライスに関する情報である。付加情報は、例えば表示方法などの情報であり、アプリケーションに必要な各種情報である。フィラーデータは、レート制御に必要なパディングデータである。画像圧縮データは、量子化データｄ１を符号化することで生成される画像データである。
符号化部１３０による符号化処理は、１フレーム単位で処理され、動画像を構成する複数のフレーム間でパラレルに実行される。符号化部１３０にて生成された符号化データｄ２は、符号化データ蓄積部１３６に出力される。なお、符号化処理はその前段の処理が終わっていれば，各フレームで処理の依存関係がないので、個別にいつでも開始できる。
なお、符号化部１３０にてパラレルに実行される符号化処理は、図３に示す二値化部１３１、算術符号化部１３２およびストリーム成形部１３３のうちの少なくとも１つによって実行される処理であればよい。例えば、アクセラレータ２０からＣＰＵ３０に出力されるデータが、量子化データｄ１に基づいて二値化されたデータである場合、符号化部１３０によって実行される符号化処理は、算術符号化部１３２およびストリーム成形部１３３によって実行される処理であってもよい。また、アクセラレータ２０からＣＰＵ３０に出力されるデータが、量子化データｄ１に基づいて二値化された後、算術符号化されたデータである場合、符号化部１３０によって実行される符号化処理は、ストリーム成形部１３３によって実行される処理であってもよい。
符号化データ蓄積部１３６は、符号化部１３０にて生成された符号化データｄ２をバッファリングするＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）である。また、符号化データ蓄積部１３６は、符号化部１３０にて符号化処理を開始した順番と同じ順番に各フレームを並び変え、動画像符号化装置１の外部に出力する。また、符号化データ蓄積部１３６は、符号化データ蓄積部１３６に蓄積された符号化データｄ２のデータ量に関する情報をレート制御部１３８に出力する。
レート制御部１３８は、過去のデータに基づいて次のデータを処理する際のビットデータ量を決める。レート制御部１３８は、符号化データ蓄積部１３６から出力された符号化データｄ２のデータ量に関する情報を取得し、また、量子化データ蓄積部１０９から出力された量子化データｄ１を受け付け、過去の量子化データｄ１のデータ量に関する情報を取得する。レート制御部１３８は、取得したこれらの情報に基づいて、次のフレームで符号化処理を行う際のビットデータ量を決める。ＣＰＵ３０のレート制御部１３８で決めたビットデータ量は、通信インターフェース５０を介してアクセラレータ２０のパラメータ決定部１１０に出力される。
パラメータ決定部１１０は、レート制御部１３８から出力されたビットデータ量に基づいて、次の量子化処理を行う際の量子化パラメータＱＰを決定する。具体的には、パラメータ決定部１１０は、次の量子化処理および符号化処理によって生成される符号化データｄ２が、上記ビットデータ量に近い値に生成されるように量子化パラメータＱＰを決定する。この量子化パラメータＱＰの決定は、１フレームごとにシリアルに実行される。
レート制御部１３８は、このビットデータ量を決定するときに、過去における複数のフレームのデータに基づいてビットデータ量を決定するが、本実施の形態では、符号化部１３０にて生成された符号化データｄ２の全てを用いるのでなく、少なくとも１つのフレームの量子化データｄ１を用いて、該当のフレームの符号化データｄ２を推定し、符号化データｄ２と推定された符号化データｄ２とを過去における複数のフレームのデータとしてビットデータ量を決定する。より具体的には、本実施の形態では、複数のフレームのうち予め決められた数のフレームの量子化データｄ１を用いて、ビットデータ量を決定する。なお、予め決められた数のフレームとは、例えば、ＣＰＵ３０の符号化部１３０にてパラレルに実行される符号化処理のスレッド数である（図６参照）。
また、レート制御部１３８は、ビットデータ量を決定するときに、量子化データｄ１のデータ量を用いてビットデータ量を決定する。量子化データｄ１のデータ量を用いてとは、量子化後のデータのうち符号化対象となるデータを用いてという意味である。また、このビットデータ量は、量子化データｄ１のデータ量と符号化データｄ２のデータ量とのスケールを合わせるため、上記量子化データｄ１のデータ量に所定の係数を乗じた値に基づいて決定される。なお、所定の係数は、動画像の種類に応じて適宜設定される。
パラメータ決定部１１０にて決定された量子化パラメータＱＰは、量子化部１０８に出力される。量子化部１０８は、パラメータ決定部１１０から受け取った量子化パラメータＱＰに基づいて、次のフレームの量子化処理を実行する。
引き続き、アクセラレータ２０にて実現される他の機能について簡単に説明する。
逆量子化部１１２は、量子化部１０８から出力された量子化データｄ１を逆量子化する。
逆変換部１１４は、逆量子化部１１２から出力されたデータを逆変換することにより予測誤差を復元する。
加算部１１６は、逆変換部１１４から出力された予測誤差と予測制御部１２８から出力された予測信号とを加算することでフレームを再構成する。加算部１１６にて再構成されたフレームはブロッキングフィルタ１２０を介してフレームメモリ１２２に出力される。
フレームメモリ１２２は、ブロッキングフィルタ１２０によってフィルタリングされた再構成フレームを格納する。この再構成フレームは、動き検出・補償部１２４およびイントラ予測部１２６の参照ピクチャとして用いられる。
動き検出・補償部１２４は、フレームメモリ１２２に格納された参照ピクチャを参照してフレームのインター予測（画面間予測ともいう）を行う。例えば、動き検出・補償部１２４は、参照ピクチャ内で動き探索を行い、動き探索により得られた動きベクトルを用いて動き補償を行うことで、フレームのインター予測信号を生成する。動き検出・補償部１２４にて生成されたインター予測信号は、予測制御部１２８に出力される。
イントラ予測部１２６は、フレームのイントラ予測（画面内予測ともいう）を行う。例えば、イントラ予測部１２６は、所定の方向に隣接するフレームのデータを参照してイントラ予測を行うことで、イントラ予測信号を生成する。イントラ予測部１２６にて生成されたイントラ予測信号は、予測制御部１２８に出力される。
予測制御部１２８は、イントラ予測信号およびインター予測信号のいずれかを選択し、選択した信号を予測信号として減算部１０４および加算部１１６に出力する。なお、動き検出・補償部１２４で生成された動きベクトルおよびイントラ予測部１２６で生成されたイントラ予測の方向は、通信インターフェース５０を介してＣＰＵの符号化部１３０に出力されてもよい。
本実施の形態の動画像符号化装置１は、量子化処理されたフレームの量子化データｄ１を１つのフレームの量子化データｄ１ごとにシリアルに蓄積することで、複数のフレームの量子化データｄ１を蓄積する量子化データ蓄積部１０９と、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１を用いて、複数のフレームの直後のフレームのビットデータ量を決定するレート制御部１３８と、レート制御部１３８で求めたビットデータ量に基づいて、上記直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定するパラメータ決定部１１０と、量子化パラメータＱＰに基づいて量子化処理を行うことで上記直後のフレームの量子化データｄ１を生成する量子化部１０８と、上記の直後のフレームを含む複数のフレームの量子化データｄ１にエントロピー符号化を行う符号化処理を、上記の直後のフレームを含む複数のフレーム間でパラレルに実行する符号化部１３０と、を備える。
このように、レート制御部１３８にて、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１を用いてビットデータ量を決定することで、例えば符号化部１３０による符号化処理が終わっていない場合であっても、当該量子化データｄ１を用いてビットデータ量を決定し、そのビットデータ量に基づいてパラメータ決定部１１０で量子化パラメータＱＰを決定することができる。これにより、量子化処理および符号化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、符号化処理におけるレート制御を高精度化することができる。
本実施の形態の符号化処理装置２は、量子化処理されたフレームの量子化データｄ１を１つのフレームの量子化データｄ１ごとにシリアルに蓄積することで、複数のフレームの量子化データｄ１を蓄積する量子化データ蓄積部１０９と、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１を用いて決定されたビットデータ量を外部から受け取り、複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定するパラメータ決定部１１０と、量子化パラメータＱＰに基づいて量子化処理を行うことで上記の直後の量子化データｄ１を生成する量子化部１０８と、を備える。
このように、パラメータ決定部１１０にて、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１を用いて決定されたビットデータ量に基づいて量子化パラメータＱＰを決定することで、例えば符号化処理装置２の後段で実行される符号化処理が終わっていない場合であっても、当該量子化データｄ１に基づいて量子化パラメータＱＰを決定することができる。これにより、量子化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、符号化処理におけるレート制御を高精度化することができる。
［１－２．動画像符号化方法］
実施の形態１に係る動画像符号化方法について、図５および図６を参照しながら説明する。
図５は、実施の形態１に係る動画像符号化方法を示すフローチャートである。動画像符号化方法は、以下に示すＳ１１～Ｓ１５の処理を含む。
（Ｓ１１）量子化処理されたフレームの量子化データｄ１を１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データｄ１を蓄積すること。
（Ｓ１２）複数のフレームのうち予め決められた数のフレームの量子化データｄ１に基づいて、複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定すること。
（Ｓ１３）量子化パラメータＱＰに基づいて量子化処理を行うことで上記直後のフレームの量子化データｄ１を生成すること。
（Ｓ１４）上記の直後のフレームを含む複数のフレームの量子化データｄ１にエントロピー符号化を行う符号化処理を、上記の直後のフレームを含む複数のフレーム間でパラレルに実行すること。
（Ｓ１５）符号化処理によって得られた処理結果を、符号化処理を開始した順番と同じ順番で出力すること。
この動画像符号化方法は、動画像符号化装置１によって実行される。上記Ｓ１１～Ｓ１５の処理は、特定のフレームに着目して時系列で記載されているが、実際の動画像符号化方法では、量子化処理および符号化処理がアクセラレータ２０およびＣＰＵ３０にて同時進行される。
図６は、実施の形態１に係る動画像符号化装置１の動作を示すタイミングチャートである。図６では、符号化部１３０にてパラレルに実行される符号化処理のスレッド数が８つ、すなわちＣＰＵ３０で立ち上げるスレッド数が８つである例について説明する。
図６には、フレームｆ１１～ｆ１８までの量子化処理が終了し、次のフレームであるフレームｆ１９の処理をこれから開始する場面が示されている。具体的には、図６には、符号化部１３０によるフレームｆ１１～ｆ１８の符号化処理が８つのフレームの全てのフレームで異なる時刻に個別に開始され、異なる時刻に個別に終了する例が示されている。この例では複数のフレームの処理が、シリアル処理を含まず、全ての処理が個別に独立して実行されている。全てがこのように開始および終了の時刻が各フレームｆ１１～ｆ１８で異なるのは、各フレームｆ１１～ｆ１８のデータ量が異なるためである。
アクセラレータ２０による量子化処理は、ＣＰＵ３０から出力された量子化指示を受け付けることで開始される。この量子化指示は、これから量子化処理を行う対象のフレームｆ１９の１つ前のフレームｆ１８の量子化処理が開始された後に、ＣＰＵ３０から出力される。図６に示すように、次のフレームｆ１９の量子化処理を開始する時点では、フレームｆ１１、ｆ１３、ｆ１４の符号化処理は終了しているが、他のフレームｆ１２、ｆ１５～ｆ１８の符号化処理は終了していない。
そこで、本実施の形態では、量子化パラメータＱＰを決定するときに、符号化処理された符号化データｄ２を用いずに量子化パラメータＱＰを決定する。すなわち、各フレームｆ１１～ｆ１８の符号化処理が終了しているか否かにかかわらず予め決められた数の量子化データｄ１に基づいて量子化パラメータＱＰを決定する。予め決められた数のフレームとは、符号化部１３０にてパラレルに実行される符号化処理のスレッド数である。図６に示す例では、複数のフレームｆ１１～ｆ１８のうち全てのフレームの量子化データｄ１の合計値に基づいて量子化パラメータＱＰを決定している。
なお、上記の量子化指示は、フレームｆ１９の１つ前のフレームｆ１８の量子化処理が開始された後に、ＣＰＵ３０から出力されているが、それに限られない。例えば、ＣＰＵ３０において、複数のスレッドが同時に実行され、複数のスレッドのそれぞれに１つのフレームの符号化処理が割り当てられている場合、上記量子化指示は、複数のスレッドのうちの所定のスレッドにおいて、上記１つのフレームの符号化処理が終了した後、すなわち処理を行っていない空きスレッドができたときに、ＣＰＵ３０から出力されてもよい。なおこの場合、上記１つのフレームの符号化処理が終了するとすぐに上記１つのフレームと異なるフレームの符号化処理が開始されるので、量子化指示は実質的に、上記１つのフレームの符号化処理が終了し、上記１つのフレームと異なるフレームの符号化処理が開始された後に、ＣＰＵ３０から出力される。
次に、決定した量子化パラメータＱＰに基づいて量子化処理を行うことでフレームｆ１９の量子化データｄ１を生成する。そして、フレームｆ１９の量子化データｄ１にエントロピー符号化処理を行う。さらに後の複数のフレームであるフレームｆ２０、ｆ２１・・についてもエントロピー符号化処理を同様に実行する。各フレームｆ１９、ｆ２０、ｆ２１・・符号化処理はパラレルに実行される。
本実施の形態の動画像符号化方法では、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えば複数のフレームの符号化処理が終わっていない場合であっても、当該量子化データｄ１に基づいて量子化パラメータＱＰを決定することができる。これにより、量子化処理および符号化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、符号化処理におけるレート制御を高精度化することができる。
上記では動画像符号化方法について説明したが、以下では、符号化処理装置２において実行される符号化処理方法について説明する。
図７は、実施の形態１に係る符号化処理方法を示すフローチャートである。符号化処理方法は、以下に示すＳ１１、Ｓ１２、Ｓ１３およびＳ１３Ａの処理を含む。
（Ｓ１１）量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積すること。
（Ｓ１２）複数のフレームのうち予め決められた数のフレームの量子化データに基づいて、前記複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定すること。
（Ｓ１３）量子化パラメータＱＰに基づいて量子化処理を行うことで上記直後のフレームの量子化データｄ１を生成すること。
（Ｓ１３Ａ）上記の直後のフレームを含む複数のフレームの量子化データｄ１を外部のＣＰＵ３０へ出力すること。
この符号化処理方法は、符号化処理装置２すなわちアクセラレータ２０にて実行される。
［１－３．効果等］
本実施の形態の動画像符号化方法は、量子化処理されたフレームの量子化データｄ１を１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データｄ１を蓄積することと、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１に基づいて、複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定することと、量子化パラメータＱＰに基づいて量子化処理を行うことで上記直後のフレームの量子化データｄ１を生成することと、上記の直後のフレームを含む複数のフレームの量子化データｄ１にエントロピー符号化を行う符号化処理を、上記の直後のフレームを含む複数のフレーム間でパラレルに実行することと、を含む。
このように、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えば複数のフレームの符号化処理が終わっていない場合であっても、当該量子化データｄ１に基づいて量子化パラメータＱＰを決定することができる。これにより、量子化処理および符号化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、符号化処理におけるレート制御を高精度化することができる。
また、符号化処理は、上記の直後のフレームを含む複数のフレームに対して異なる時刻に個別に開始されてもよい。
このように、符号化処理を異なる時刻に個別に開始することで、各フレームの量子化処理の終了に応じて各フレームの符号化処理をタイミングよく開始することができる。これにより、符号化処理を高速化することができる。
また、動画像符号化方法は、さらに、符号化処理によって得られた処理結果を、符号化処理を開始した順番と同じ順番で出力すること、を含んでいてもよい。
これによれば、複数のフレーム間でパラレルに実行された符号化処理の処理結果を正しく並べ変えることができる。
また、量子化パラメータＱＰを決定するときに、少なくとも１つのフレームの量子化データのデータ量に基づいて、量子化パラメータＱＰを決定してもよい。
このように、量子化データｄ１のデータ量に基づいて量子化パラメータＱＰを決定することで、量子化パラメータＱＰを適切に決定することができる。これにより、符号化処理におけるレート制御を高精度化することができる。
また、量子化パラメータＱＰは、上記データ量に所定の係数を乗じた値に基づいて決定されてもよい。
このように、量子化パラメータＱＰを上記データ量に所定の係数を乗じた値に基づいて決定することで、量子化パラメータＱＰを適切に決定することができる。これにより、符号化処理におけるレート制御を高精度化することができる。
また、量子化パラメータＱＰを決定するときに、複数のフレームのうち予め決められた数のフレームの量子化データに基づいて、量子化パラメータＱＰを決定してもよい。
これによれば、複数のフレームの符号化処理が終わっているか否かにかかわらず、当該量子化データｄ１に基づいて量子化パラメータＱＰを決定することができる。これにより、量子化処理を高速化することができる。
また、符号化処理は、ＣＰＵ３０にて実行され、量子化処理は、通信インターフェース５０を介して前記ＣＰＵに接続されたアクセラレータ２０にて実行され、さらに、アクセラレータ２０にて量子化処理された１つのフレームの量子化データｄ１または量子化データｄ１に基づく演算データを、通信インターフェース５０を介してＣＰＵ３０に出力すること、を含んでいてもよい。
これによれば、量子化処理を高速処理可能なアクセラレータ２０にて実行し、符号化処理を汎用性の高いＣＰＵ３０にて実行することができる。これにより、量子化処理および符号化処理を高速化することができる。
また、１つのフレームの量子化データまたは上記演算データは、アクセラレータ２０の量子化処理が終了するごとに、アクセラレータ２０からＣＰＵ３０に出力されてもよい。
これによれば、量子化処理が終了するごとに符号化処理を実行することができ、量子化処理および符号化処理を高速化することができる。
本実施の形態の符号化処理方法は、量子化処理されたフレームの量子化データｄ１を１つのフレームの量子化データｄ１ごとにシリアルに蓄積することで、複数のフレームの量子化データｄ１を蓄積することと、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１に基づいて、複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定することと、量子化パラメータＱＰに基づいて量子化処理を行うことで上記直後のフレームの量子化データｄ１を生成することと、上記の直後のフレームを含む複数のフレームの量子化データｄ１を外部のＣＰＵへ出力することと、を含む。
このように、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えば複数のフレームの符号化処理が終わっていない場合であっても、当該量子化データｄ１に基づいて量子化パラメータＱＰを決定することができる。これにより、量子化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、符号化処理におけるレート制御を高精度化することができる。
また、量子化パラメータＱＰを決定するときに、複数のフレームのうち予め決められた数のフレームの量子化データに基づいて、量子化パラメータＱＰを決定してもよい。
これによれば、複数のフレームの符号化処理が終わっているか否かにかかわらず、当該量子化データｄ１に基づいて量子化パラメータＱＰを決定することができる。これにより、量子化処理を高速化することができる。
また、量子化処理は、ＣＰＵ３０から出力された量子化指示を受け付けることで開始されてもよい。
これによれば、量子化処理を確実に開始することができ、量子化処理を高速化することができる。
また、上記量子化指示は、量子化処理を行う対象のフレームの１つ前のフレームの量子化処理が開始された後に、ＣＰＵ３０から出力されてもよい。
これによれば、量子化処理を適切なタイミングで開始することができ、量子化処理を高速化することができる。
また、ＣＰＵ３０において、複数のスレッドが同時に実行され、複数のスレッドのそれぞれに１つのフレームの符号化処理が割り当てられている場合に、上記量子化指示は、複数のスレッドのうちの所定のスレッドにおいて、上記１つのフレームの符号化処理が終了し、上記１つのフレームと異なるフレームの符号化処理が開始された後に、ＣＰＵ３０から出力されてもよい。
これによれば、量子化処理を適切なタイミングで開始することができ、量子化処理を高速化することができる。
本実施の形態の動画像符号化装置１は、量子化処理されたフレームの量子化データｄ１を１つのフレームの量子化データｄ１ごとにシリアルに蓄積することで、複数のフレームの量子化データｄ１を蓄積する量子化データ蓄積部１０９と、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１を用いて、複数のフレームの直後のフレームのビットデータ量を決定するレート制御部１３８と、レート制御部１３８で求めたビットデータ量に基づいて、上記直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定するパラメータ決定部１１０と、量子化パラメータＱＰに基づいて量子化処理を行うことで上記直後のフレームの量子化データｄ１を生成する量子化部１０８と、上記の直後のフレームを含む複数のフレームの量子化データｄ１にエントロピー符号化を行う符号化処理を、上記の直後のフレームを含む複数のフレーム間でパラレルに実行する符号化部１３０と、を備える。
このように、レート制御部１３８にて、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１を用いてビットデータ量を決定し、そのビットデータ量に基づいてパラメータ決定部１１０で量子化パラメータＱＰを決定することで、例えば符号化部１３０による符号化処理が終わっていない場合であっても、当該量子化データｄ１に基づいて量子化パラメータＱＰを決定することができる。これにより、量子化処理および符号化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、符号化処理におけるレート制御を高精度化することができる。
本実施の形態の符号化処理装置２は、量子化処理されたフレームの量子化データｄ１を１つのフレームの量子化データｄ１ごとにシリアルに蓄積することで、複数のフレームの量子化データｄ１を蓄積する量子化データ蓄積部１０９と、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１を用いて決定されたビットデータ量を外部から受け取り、複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定するパラメータ決定部１１０と、量子化パラメータＱＰに基づいて量子化処理を行うことで上記直後のフレームの量子化データｄ１を生成する量子化部１０８と、を備える。
このように、パラメータ決定部１１０にて、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１を用いて決定されたビットデータ量を外部から受け取って量子化パラメータＱＰを決定することで、例えば複数のフレームの符号化処理が終わっていない場合であっても、当該量子化データｄ１に基づいて量子化パラメータＱＰを決定することができる。これにより、量子化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、符号化処理におけるレート制御を高精度化することができる。
［１－４．実施の形態１の変形例１］
次に、実施の形態１の変形例１に係る動画像符号化装置１Ａについて説明する。変形例１では、レート制御部１３８がＣＰＵ３０でなくアクセラレータ２０に設けられている例について説明する。
図８は、変形例１に係る動画像符号化装置１Ａのブロック構成図である。
図８に示すように、動画像符号化装置１Ａは、減算部１０４と、変換部１０６と、量子化部１０８と、量子化データ蓄積部１０９と、パラメータ決定部１１０と、符号化部１３０と、符号化データ蓄積部１３６と、レート制御部１３８と、を備える。メモリ４０に格納されたソフトウェアプログラムが実行されたとき、図８に示す符号化部１３０および符号化データ蓄積部１３６の各機能は、ＣＰＵ３０によって実現される。また、減算部１０４、変換部１０６、量子化部１０８、量子化データ蓄積部１０９、パラメータ決定部１１０およびレート制御部１３８の各機能は、アクセラレータ２０によって実現される。
符号化データ蓄積部１３６に蓄積された符号化データｄ２のデータ量に関する情報は、通信インターフェース５０を介してアクセラレータ２０のレート制御部１３８に出力される。
レート制御部１３８は、過去のデータに基づいて次のデータを処理する際のビットデータ量を決める。レート制御部１３８は、符号化データ蓄積部１３６から出力された符号化データｄ２のデータ量に関する情報を取得し、また、量子化データ蓄積部１０９から出力された量子化データｄ１を受け付け、過去の量子化データｄ１のデータ量に関する情報を取得する。レート制御部１３８は、取得したこれらの情報に基づいて、次のフレームで符号化処理を行う際のビットデータ量を決める。
変形例１の動画像符号化装置１Ａにおいても、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、量子化処理および符号化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、レート制御を高精度化することができる。
［１－５．実施の形態１の変形例２］
次に、実施の形態１の変形例２に係る動画像符号化装置１Ｂについて説明する。変形例１では、レート制御部が第１のレート制御部１３８ａおよび第２のレート制御部１３８ｂによって構成され、第１のレート制御部１３８ａがＣＰＵ３０に設けられ、第２のレート制御部１３８ｂがアクセラレータ２０に設けられている例について説明する。
図９は、変形例２に係る動画像符号化装置１Ｂのブロック構成図である。
図９に示すように、動画像符号化装置１Ｂは、減算部１０４と、変換部１０６と、量子化部１０８と、量子化データ蓄積部１０９と、第１のレート制御部１３８ａと、第２のレート制御部１３８ｂと、パラメータ決定部１１０と、符号化部１３０と、符号化データ蓄積部１３６と、レート制御部１３８と、を備える。メモリ４０に格納されたソフトウェアプログラムが実行されたとき、図９に示す符号化部１３０、符号化データ蓄積部１３６および第１のレート制御部１３８ａの各機能は、ＣＰＵ３０によって実現される。また、減算部１０４、変換部１０６、量子化部１０８、量子化データ蓄積部１０９、パラメータ決定部１１０および第２のレート制御部１３８ｂ等の各機能は、アクセラレータ２０によって実現される。
符号化データ蓄積部１３６に蓄積された符号化データｄ２のデータ量に関する情報は、第１のレート制御部１３８ａに出力される。第１のレート制御部１３８ａは、符号化データ蓄積部１３６から出力された符号化データｄ２のデータ量に関する情報を取得し、取得した情報を、通信インターフェース５０を介して第２のレート制御部１３８ｂに出力する。第２のレート制御部１３８ｂは、量子化データ蓄積部１０９から出力された量子化データｄ１を受け付け、過去の量子化データｄ１のデータ量に関する情報を取得する。レート制御部１３８ｂは、取得したこれらの情報に基づいて、次のフレームで符号化処理を行う際のビットデータ量を決める。
変形例２の動画像符号化装置１Ｂにおいても、複数のフレームの量子化データｄ１のうち少なくとも１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、量子化処理および符号化処理を高速化することができる。また、１つのフレームの量子化データｄ１に基づいて量子化パラメータＱＰを決定することで、例えばフレームの一部のデータに基づいて量子化パラメータＱＰを決定する場合に比べ、レート制御を高精度化することができる。
（実施の形態２）
実施の形態２の動画像符号化方法について、図１０を参照しながら説明する。実施の形態２の動画像符号化方法は、量子化パラメータＱＰを決定するときに、量子化データｄ１および符号化データｄ２の両方のデータを用いる例について説明する。なお、実施の形態２の動画符号化方法を実行する動画像符号化装置１は、実施の形態１と同じであるので、説明を省略する。
図１０は、実施の形態２に係る動画像符号化方法を示すフローチャートである。動画像符号化方法は、以下に示すＳ１１、Ｓ１２Ａ、Ｓ１３、Ｓ１４、Ｓ１５の処理を含む。
（Ｓ１１）量子化処理されたフレームの量子化データｄ１を１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データｄ１を蓄積すること。
（Ｓ１２Ａ）複数のフレームのうち、符号化処理が終了したフレームについては符号化処理されたフレームの符号化データｄ２のデータ量を用い、符号化処理が終了していないフレームについては量子化データｄ１のデータ量に基づいて、複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータＱＰを決定すること。
（Ｓ１３）量子化パラメータＱＰに基づいて量子化処理を行うことで上記直後のフレームの量子化データｄ１を生成すること。
（Ｓ１４）上記の直後のフレームを含む複数のフレームの量子化データｄ１にエントロピー符号化を行う符号化処理を、上記の直後のフレームを含む複数のフレーム間でパラレルに実行すること。
（Ｓ１５）符号化処理によって得られた処理結果を、符号化処理を開始した順番と同じ順番で出力すること。
この動画像符号化方法は、動画像符号化装置１によって実行される。上記Ｓ１１～Ｓ１４の処理は、特定のフレームに着目して時系列で記載されているが、実際の動画像符号化方法では、量子化処理および符号化処理がアクセラレータ２０およびＣＰＵ３０にて同時進行される。
実施の形態２の動画像符号化方法では、符号化処理が終了したフレームについては符号化処理されたフレームの符号化データｄ２のデータ量を用い、符号化処理が終了していないフレームについては量子化データｄ１のデータ量に基づいて量子化パラメータＱＰを決定する。これにより、実施の形態１に比べてレート制御を高精度化することができる。
（その他の実施の形態）
以上、本開示の態様に係る動画像符号化装置等について、実施の形態等に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
実施の形態１の動画像符号化装置１では、パラメータ決定部１１０がアクセラレータ２０内に設けられている例を示したが、それに限られず、パラメータ決定部１１０は、ＣＰＵ３０に設けられていてもよい。その場合、ＣＰＵ３０のパラメータ決定部１１０で決定した量子化パラメータＱＰは、通信インターフェース５０を介してアクセラレータ２０の量子化部１０８に出力される。
動画像符号化装置１の符号化処理は、二値化処理、算術符号化処理およびストリーム成形処理によって構成される例を示したが、それに限られない。例えば、符号化処理は、二値化処理、算術符号化処理およびストリーム成形処理の少なくとも１つの処理で構成されてもよい。そして、上記少なくとも１つの処理で構成される符号化処理が複数のフレーム間でパラレルに実行されてもよい。
動画像符号化装置１では、ソフトウェアプログラムが実行されたとき、図１に示す符号化部１３０、符号化データ蓄積部１３６およびレート制御部１３８の各機能は、ＣＰＵ３０によって実現され、減算部１０４、変換部１０６、量子化部１０８、量子化データ蓄積部１０９、パラメータ決定部１１０等の各機能は、アクセラレータ２０によって実現される例を示したが、それに限られない。
例えば、図１１の（ａ）～（ｃ）に示すＣＰＵおよびアクセラレータによって動画像符号化装置が構成されていてもよい。
図１１の（ａ）では、動画像符号化装置１が、ＣＰＵ３０ａおよびＣＰＵ３０ｂによって構成されている。符号化部１３０、符号化データ蓄積部１３６およびレート制御部１３８の各機能は、ＣＰＵ３０ｂによって実現され、減算部１０４、変換部１０６、量子化部１０８、量子化データ蓄積部１０９、パラメータ決定部１１０等の各機能は、ＣＰＵ３０ｂとは異なるＣＰＵ３０ａによって実現される。この場合、ＣＰＵ３０ａが符号化処理装置に該当する。ＣＰＵ３０ａおよびＣＰＵ３０ｂは１つのＣＰＵによって構成されてもよい。
図１１の（ｂ）では、動画像符号化装置１が、アクセラレータ２０ａおよびアクセラレータ２０ｂによって構成されている。符号化部１３０、符号化データ蓄積部１３６およびレート制御部１３８の各機能は、アクセラレータ２０ｂによって実現され、減算部１０４、変換部１０６、量子化部１０８、量子化データ蓄積部１０９、パラメータ決定部１１０等の各機能は、アクセラレータ２０ｂとは異なるアクセラレータ２０ａによって実現される。この場合、アクセラレータ２０ａが符号化処理装置に該当する。アクセラレータ２０ａおよびアクセラレータ２０ｂは１つのアクセラレータによって構成されてもよい。
図１１の（ｃ）では、動画像符号化装置１が、ＣＰＵ３０ａおよびアクセラレータ２０ｂによって構成されている。符号化部１３０、符号化データ蓄積部１３６およびレート制御部１３８の各機能は、アクセラレータ２０ｂによって実現され、減算部１０４、変換部１０６、量子化部１０８、量子化データ蓄積部１０９、パラメータ決定部１１０等の各機能は、ＣＰＵ３０ａによって実現される。この場合、ＣＰＵ３０ａが符号化処理装置に該当する。
また、以下に示す形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
（１）上記の動画像符号化装置を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の動画像符号化装置を構成する構成要素の一部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
本開示は、動画像を符号化する動画像符号化装置、及び、符号化処理装置に適用することができる。
１、１Ａ、１Ｂ 動画像符号化装置
２ 符号化処理装置
２０、２０ａ、２０ｂ アクセラレータ
３０、３０ａ、３０ｂ ＣＰＵ
４０ メモリ
５０ 通信インターフェース
１０４ 減算部
１０６ 変換部
１０８ 量子化部
１０９ 量子化データ蓄積部
１１０ パラメータ決定部
１１２ 逆量子化部
１１４ 逆変換部
１１６ 加算部
１２０ ブロッキングフィルタ
１２２ フレームメモリ
１２４ 動き検出・補償部
１２６ イントラ予測部
１２８ 予測制御部
１３０ 符号化部
１３１ 二値化部
１３２ 算術符号化部
１３３ ストリーム成形部
１３６ 符号化データ蓄積部
１３８、１３８ａ、１３８ｂ レート制御部
ｄ１ 量子化データ
ｄ２ 符号化データ
ｆ１１～ｆ１９ フレーム
ＱＰ 量子化パラメータ

Claims (13)

  1. 動画像の符号化を行う方法であって、
    量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積することと、
    前記量子化データに基づいて量子化データ情報を求めることと、
    前記複数のフレームの量子化データのうち少なくとも１つのフレームの量子化データに対する前記量子化データ情報を使用して、前記複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータを決定することと、
    前記量子化パラメータに基づいて量子化処理を行うことで前記直後のフレームの量子化データを生成することと、
    前記直後のフレームを含む複数のフレームの量子化データにエントロピー符号化を行う符号化処理を、前記直後のフレームを含む複数のフレーム間でパラレルに実行することを含み、
    前記量子化データ情報は、前記符号化処理後のデータに基づかず、
    前記量子化パラメータを決定するときに、前記複数のフレームのうち、前記符号化処理が終了したフレームについては前記符号化処理されたフレームの符号化データのデータ量に基づき、前記符号化処理が終了していないフレームについては前記量子化データ情報に基づいて前記量子化パラメータを決定する
    動画像符号化方法。
  2. 前記符号化処理は、前記直後のフレームを含む複数のフレームに対して異なる時刻に個別に開始される
    請求項１に記載の動画像符号化方法。
  3. さらに、
    前記符号化処理によって得られた処理結果を、前記符号化処理を開始した順番と同じ順番で出力すること、
    を含む請求項１または２に記載の動画像符号化方法。
  4. 前記量子化パラメータを決定するときに、前記符号化処理が終了していないフレームについては、予め決められた数のフレームの量子化データに対する前記量子化データ情報を使用して、前記量子化パラメータを決定する
    請求項１～３のいずれか１項に記載の動画像符号化方法。
  5. 前記符号化処理は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にて実行され、
    前記量子化処理は、通信インターフェースを介して前記ＣＰＵに接続されたアクセラレータにて実行され、
    さらに、
    前記アクセラレータにて前記量子化処理された前記１つのフレームの量子化データまたは前記量子化データに基づく演算データを、前記通信インターフェースを介して前記ＣＰＵに出力すること、
    を含む請求項１～４のいずれか１項に記載の動画像符号化方法。
  6. 前記１つのフレームの量子化データまたは前記演算データは、前記アクセラレータの前記量子化処理が終了するごとに、前記アクセラレータから前記ＣＰＵに出力される
    請求項５に記載の動画像符号化方法。
  7. 符号化を行う方法であって、
    量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積することと、
    前記量子化データに基づいて量子化データ情報を求めることと、
    前記複数のフレームの量子化データのうち少なくとも１つのフレームの量子化データに対する前記量子化データ情報を使用して、前記複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータを決定することと、
    前記量子化パラメータに基づいて量子化処理を行うことで前記直後のフレームの量子化データを生成することと、
    前記直後のフレームを含む複数のフレームの量子化データを外部のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）へ出力することを含み、
    前記量子化データ情報は、前記直後のフレームを含む複数のフレームの量子化データにエントロピー符号化を行う符号化処理後のデータに基づかず、
    前記量子化パラメータを決定するときに、前記複数のフレームのうち、前記符号化処理が終了したフレームについては前記符号化処理されたフレームの符号化データのデータ量に基づき、前記符号化処理が終了していないフレームについては前記量子化データ情報に基づいて前記量子化パラメータを決定する
    符号化処理方法。
  8. 前記量子化パラメータを決定するときに、前記符号化処理が終了していないフレームについては、予め決められた数のフレームの量子化データに対する前記量子化データ情報を使用して、前記量子化パラメータを決定する
    請求項７に記載の符号化処理方法。
  9. 前記量子化処理は、前記ＣＰＵから出力された量子化指示を受け付けることで開始される
    請求項７または８に記載の符号化処理方法。
  10. 前記量子化指示は、量子化処理を行う対象のフレームの１つ前のフレームの量子化処理が開始された後に、前記ＣＰＵから出力される
    請求項９に記載の符号化処理方法。
  11. 前記ＣＰＵにおいて、複数のスレッドが同時に実行され、前記複数のスレッドのそれぞれに前記１つのフレームの符号化処理が割り当てられている場合に、
    前記量子化指示は、前記複数のスレッドのうちの所定のスレッドにおいて、前記１つのフレームの符号化処理が終了し、前記１つのフレームと異なるフレームの符号化処理が開始された後に、前記ＣＰＵから出力される
    請求項９に記載の符号化処理方法。
  12. 量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積する量子化データ蓄積部と、
    前記複数のフレームの量子化データのうち少なくとも１つのフレームの量子化データのデータ量に基づいて、前記複数のフレームの直後のフレームのビットデータ量を決定するレート制御部と、
    前記レート制御部で求めた前記ビットデータ量に基づいて、前記直後のフレームの量子化処理を行う際の量子化パラメータを決定するパラメータ決定部と、
    前記量子化パラメータに基づいて量子化処理を行うことで前記直後のフレームの量子化データを生成する量子化部と、
    前記直後のフレームを含む複数のフレームの量子化データにエントロピー符号化を行う符号化処理を、前記直後のフレームを含む複数のフレーム間でパラレルに実行する符号化部と、
    を備え、
    前記パラメータ決定部は、前記複数のフレームのうち、前記符号化処理が終了したフレームについては前記符号化処理されたフレームの符号化データのデータ量に基づき、前記符号化処理が終了していないフレームについては前記量子化データのデータ量に基づいて前記量子化パラメータを決定する
    動画像符号化装置。
  13. 量子化処理されたフレームの量子化データを１つのフレームの量子化データごとにシリアルに蓄積することで、複数のフレームの量子化データを蓄積する量子化データ蓄積部と、
    前記複数のフレームの量子化データのうち少なくとも１つのフレームの量子化データのデータ量を用いて決定されたビットデータ量を外部から受け取り、前記複数のフレームの直後のフレームの量子化処理を行う際の量子化パラメータを決定するパラメータ決定部と、
    前記量子化パラメータに基づいて量子化処理を行うことで前記直後のフレームの量子化データを生成する量子化部と、
    を備え、
    前記パラメータ決定部は、前記複数のフレームのうち、符号化処理が終了したフレームについては前記符号化処理されたフレームの符号化データのデータ量に基づき、前記符号化処理が終了していないフレームについては前記量子化データのデータ量に基づいて前記量子化パラメータを決定する
    符号化処理装置。
JP2021553979A 2019-10-31 2019-10-31 動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置 Active JP7524906B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/042759 WO2021084679A1 (ja) 2019-10-31 2019-10-31 動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置

Publications (2)

Publication Number Publication Date
JPWO2021084679A1 JPWO2021084679A1 (ja) 2021-05-06
JP7524906B2 true JP7524906B2 (ja) 2024-07-30

Family

ID=75714975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021553979A Active JP7524906B2 (ja) 2019-10-31 2019-10-31 動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置

Country Status (4)

Country Link
US (1) US20220256155A1 (ja)
JP (1) JP7524906B2 (ja)
CN (1) CN114424549B (ja)
WO (1) WO2021084679A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159441A (ja) 2003-11-20 2005-06-16 Seiko Epson Corp 画像データ圧縮装置及びエンコーダ
JP2005323166A (ja) 2004-05-10 2005-11-17 Seiko Epson Corp 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US20160173875A1 (en) 2014-12-11 2016-06-16 Intel Corporation Rate control for parallel video encoding

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514876A (ja) * 1991-07-05 1993-01-22 Hitachi Ltd 動画像符号化方式
US7356079B2 (en) * 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
US7936814B2 (en) * 2002-03-28 2011-05-03 International Business Machines Corporation Cascaded output for an encoder system using multiple encoders
US8175147B1 (en) * 2005-08-08 2012-05-08 Texas Instruments Incorporated Video coding rate control
JP5231243B2 (ja) * 2006-11-28 2013-07-10 パナソニック株式会社 符号化装置及び符号化方法
JP2010081498A (ja) * 2008-09-29 2010-04-08 Hitachi Kokusai Electric Inc 画像圧縮符号化方法、及び装置
CN105516723B (zh) * 2010-09-30 2018-07-27 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
JP5875236B2 (ja) * 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2013150215A (ja) * 2012-01-20 2013-08-01 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP2014007469A (ja) * 2012-06-21 2014-01-16 Canon Inc 画像符号化装置及び画像符号化方法
JP6376719B2 (ja) * 2012-06-29 2018-08-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6023596B2 (ja) * 2013-01-24 2016-11-09 株式会社日立情報通信エンジニアリング 画像符号化装置
JP6708211B2 (ja) * 2015-06-03 2020-06-10 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
JP6065090B2 (ja) * 2015-11-09 2017-01-25 富士通株式会社 動画像復号装置、動画像復号方法、動画像復号プログラム
JP6470191B2 (ja) * 2016-01-06 2019-02-13 日本電信電話株式会社 映像符号化方法、映像符号化装置及び映像符号化プログラム
JP6806466B2 (ja) * 2016-06-01 2021-01-06 キヤノン株式会社 画像符号化装置及びその制御方法
JP6943256B2 (ja) * 2016-10-24 2021-09-29 日本電気株式会社 符号化装置、符号化方法およびプログラム
JP6660868B2 (ja) * 2016-11-15 2020-03-11 Kddi株式会社 動画像符号化装置及び動画像復号装置並びにプログラム
US10638127B2 (en) * 2017-05-15 2020-04-28 Qualcomm Incorporated Adaptive anchor frame and quantization parameter decision in video coding
KR20190056888A (ko) * 2017-11-17 2019-05-27 삼성전자주식회사 비디오 부호화 장치 및 방법
JP6966936B2 (ja) * 2017-12-22 2021-11-17 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム
KR102543449B1 (ko) * 2018-01-26 2023-06-14 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
JP7015183B2 (ja) * 2018-02-13 2022-02-02 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159441A (ja) 2003-11-20 2005-06-16 Seiko Epson Corp 画像データ圧縮装置及びエンコーダ
JP2005323166A (ja) 2004-05-10 2005-11-17 Seiko Epson Corp 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US20160173875A1 (en) 2014-12-11 2016-06-16 Intel Corporation Rate control for parallel video encoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谷田部 祐介 他，動画像リアルタイムエンコーダにおけるH.264 CABACの並列処理技術，情報処理学会論文誌(トランザクション) コンシューマ・デバイス＆システム(CDS)，日本，情報処理学会，2015年12月29日，Vol.5, No.5，pp.1-8，<URL:https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=146978&file_id=1&file_no=1>

Also Published As

Publication number Publication date
JPWO2021084679A1 (ja) 2021-05-06
CN114424549B (zh) 2024-06-11
US20220256155A1 (en) 2022-08-11
WO2021084679A1 (ja) 2021-05-06
CN114424549A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
JP7098805B2 (ja) ニューラルネットワークを利用したコーデック
US7561736B2 (en) Image processing apparatus and method of the same
RU2684193C1 (ru) Устройство и способ для компенсации движения в видеоизображении
TW200412800A (en) Method and apparatus for reducing computational complexity in video encoders
CN111327898B (zh) 一种视频编码的方法、装置、电子设备及存储介质
CN108076342A (zh) 用于编码视频的方法和编码器系统
JP7524906B2 (ja) 動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置
US8111753B2 (en) Video encoding method and video encoder for improving performance
TW201338546A (zh) 訊框速率控制方法、訊框速率控制裝置及訊框速率控制程式
US10791332B2 (en) Video data processing system
US8687710B2 (en) Input filtering in a video encoder
JP6470191B2 (ja) 映像符号化方法、映像符号化装置及び映像符号化プログラム
US20140044167A1 (en) Video encoding apparatus and method using rate distortion optimization
JP2004523985A (ja) ビデオ符号化方法及びこれに対応する符号化装置
JP2000032469A (ja) 動画像符号化装置
JP5913929B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP2897563B2 (ja) 画像圧縮符号化装置
WO2020255771A1 (ja) 画像処理装置および方法
US11350134B2 (en) Encoding apparatus, image interpolating apparatus and encoding program
JP6191173B2 (ja) 画像処理装置、方法及びプログラム
JP5362099B2 (ja) 符号化装置
CN112468826A (zh) 一种基于多层gan的vvc环路滤波方法及系统
JP7451131B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム
US20030223498A1 (en) Video encoding method and video encoder for improving performance
JPH04336894A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240701

R150 Certificate of patent or registration of utility model

Ref document number: 7524906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150