JP7181492B2 - 復号装置、符号化装置、復号方法、符号化方法及びプログラム - Google Patents
復号装置、符号化装置、復号方法、符号化方法及びプログラム Download PDFInfo
- Publication number
- JP7181492B2 JP7181492B2 JP2021555743A JP2021555743A JP7181492B2 JP 7181492 B2 JP7181492 B2 JP 7181492B2 JP 2021555743 A JP2021555743 A JP 2021555743A JP 2021555743 A JP2021555743 A JP 2021555743A JP 7181492 B2 JP7181492 B2 JP 7181492B2
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- image
- low
- encoding
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000013461 design Methods 0.000 description 44
- 239000013598 vector Substances 0.000 description 31
- 238000001914 filtration Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 23
- 230000002123 temporal effect Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 238000005457 optimization Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007616 round robin method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、復号装置、符号化装置、復号方法、符号化方法及びプログラムに関する。
昨今の半導体技術の進歩を受け、高速度カメラにおける動画像のフレームレートが大きく向上している。高速度カメラにより取得された高フレームレート画像の用途は、画像再生時の高画質化と画像解析の高精度化とに分類される。
画像再生時の高画質化は、視覚系で検知可能(ディスプレイで表示可能)なフレームレートの上限に迫ることにより、被写体の滑らかな動きを表現することが目的である。このため、画像再生時の高画質化は、ディスプレイ装置が動画像を等速再生することが前提である。
一方、画像解析の高精度化は、視覚の検知限を越えた高フレームレート画像を用いることにより、画像解析の高精度化を行うことが目的である。スポーツ選手、FA・検査、自動車等の高速移動物体のスロー再生による画像解析は、代表的な応用例である。
動画像の入力システムのフレームレートの上限と、動画像の出力システムのフレームレートの上限とは、非対称である。すなわち、動画像の入力システムである高速度カメラのフレームレートの上限は、10000fpsを超えている。一方、動画像の出力システムであるディスプレイ装置のフレームレートの上限は、120fpsから240fpsまでである。このため、高速度カメラで撮影された動画像は、スロー再生に用いられる(特許文献1参照)。
視覚の検知限を越えた高フレームレート画像を用いることにより、動画像の符号化処理に対して親和性の高い等速再生用の画像を生成することができる。高フレームレート画像は、時間方向に高密度でサンプリングされたフレーム群を含んでいる。画像生成装置は、1000Hz等の高密度時間サンプリングされたフレーム群を用いて30Hz等の等速再生用の画像を生成すれば、等速再生用の画像の生成を高い時間分解能で制御することが可能である。
しかしながら、符号発生量の低減を目的とした動画像符号化の前処理では、画像生成装置が再生フレームレートでフレームをサンプリングすることが前提となっている。このため、従来の画像生成装置は、再生フレームレートよりも高い時間分解能ではフレームをサンプリングしていない。
高フレームレート画像のフレームを単純に間引く処理では、時間方向のエイリアシングに起因する画質劣化が問題となる。このような問題を回避するには、時間フィルタによる時間軸方向の帯域制限フィルタリングが必要である。
一方、動き補償フレーム間予測を用いる符号化器では、時間方向のエイリアシングの低減は、予測誤差の低減に直接の関係がない。また、動き補償フレーム間予測を用いる符号化器では、高密度時間サンプリングされたフレームが十分に活用されておらず、時間フィルタとしての自由度には制約がある。
すなわち、30fps又は60fps等の低フレームレートの動画像(以下「低フレームレート画像」という。)の場合、フィルタリングのための十分な数のサンプル(フレーム)が確保できないため、フィルタの特性を高精度に近似することは困難である。例えば、60fpsの動画像信号をフィルタリングすることによって60fpsの動画像信号から30fpsの動画像信号が生成される場合、フィルタリングの対象のフレームが重複しないという条件下では、フィルタリングの対象のフレームは2(=60/30)フレームに限定されるという制約がある。
一方、高フレームレート画像の場合、フィルタ設計の自由度は拡張される。例えば、1000fpsの動画像信号をフィルタリングすることによって、1000fpsの動画像信号から62.5fpsの動画像信号が生成される場合、フィルタリングの対象のフレームが重複しないという条件下でも、フィルタリングの対象のフレームは、2フレームよりも多い16(=1000/62.5)フレームとすることができる。このように、高フレームレート画像から低フレームレート画像を生成する場合、フィルタリング設計の自由度は高い。この自由度の高さを利用することで、符号化器は符号化効率を向上させることができる可能性がある。
そもそも従来の技術では、低フレームレートの動画像を復号装置が高フレームレートの動画像に基づいて生成する点が着目されていた。しかしながら、中フレームレートの動画像を復号装置が生成しやすい低フレームレートの動画像を符号化装置が高フレームレートの動画像に基づいて生成することも考えられる。ここで、生成しやすいとは、主観画質の劣化が抑えられること、且つ、符号化効率が向上することである。
しかしながら、従来の装置は、高フレームレート画像から生成される低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することができない場合があった。
上記事情に鑑み、本発明は、高フレームレート画像から生成される低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能である復号装置、符号化装置、復号方法、符号化方法及びプログラムを提供することを目的としている。
本発明の一態様は、フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記低フレームレートの動画像である低フレームレート画像と重みとを取得する取得部と、前記低フレームレート画像において時系列で連続する第1フレーム及び第2フレームを前記重みに基づいて合成することによって、前記中フレームレートの動画像である中フレームレート画像における第3フレームを合成する復号部とを備え、前記低フレームレート画像及び前記重みは、予め定められた期間の前記高フレームレートの動画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、予め導出される、復号装置である。
本発明により、高フレームレート画像から生成される低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能である。
本発明の実施形態について、図面を参照して詳細に説明する。
以下では、フレームレート(時間解像度)の高い順に、高フレームレートと、中フレームレートと、低フレームレートとが予め定められている。高フレームレートは、例えば、1000fpsである。中フレームレートは、例えば、240fpsである。低フレームレートは、例えば、30fps又は60fpsである。
以下では、フレームレート(時間解像度)の高い順に、高フレームレートと、中フレームレートと、低フレームレートとが予め定められている。高フレームレートは、例えば、1000fpsである。中フレームレートは、例えば、240fpsである。低フレームレートは、例えば、30fps又は60fpsである。
図1は、フィルタリングシステム1の構成例を示す図である。フィルタリングシステム1は、高フレームレートの動画像(以下「高フレームレート画像」という。)に対して時間フィルタリングを実行するシステムである。フィルタリングシステム1は、フィルタリング装置2と、記憶装置3とを備える。
フィルタリング装置2は、高フレームレート画像に対して時間フィルタリングを実行する装置である。フィルタリング装置2は、符号化装置20と、復号装置21とを備える。なお、符号化装置20は、復号装置21の機能部のうちの少なくとも一つを備えてもよい。復号装置21は、符号化装置20の機能部のうちの少なくとも一つを備えてもよい。
符号化装置20は、通信部200と、符号化部201とを備える。符号化部201は、辞書設計部202と、選択部203と、フィルタ204と、可逆符号化器205とを備える。復号装置21は、通信部210と、復号部211とを備える。
記憶装置3は、例えば、フィルタリング処理前の高フレームレート画像のフレーム群と、フィルタリング処理後の低フレームレート画像のフレーム群と、低フレームレート画像のフレームに割り当てられた重みと、データテーブルと、プログラムとを記憶する。データテーブルは、例えば、フィルタ係数の候補の辞書を表す。
図2は、フィルタリングシステム1のハードウェア構成例を示す図である。フィルタリングシステム1は、記憶装置3と、プロセッサ4と、通信装置5と備える。
通信部200と符号化部201と通信部210と復号部211とのうちの一部又は全部は、CPU(Central Processing Unit)等のプロセッサ4が、不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置3に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。通信部200と通信部210とのうちの一部又は全部は、通信装置5に備えられてもよい。プログラムは、電気通信回線を経由して、通信装置5によって受信されてもよい。
通信部200と符号化部201と通信部210と復号部211とのうちの一部又は全部は、例えば、LSI(Large Scale Integration circuit)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)又はFPGA(Field Programmable Gate Array)等を用いた電子回路(electronic circuit又はcircuitry)を含むハードウェアを用いて実現されてもよい。
通信部200は、高フレームレート画像を、記憶装置3から取得する。通信部200は、高フレームレート画像に基づいてフィルタ204によって生成された低フレームレート画像の符号化の結果を、可逆符号化器205から取得する。通信部200は、低フレームレート画像の符号化の結果を、記憶装置3に記録する。通信部200は、選択部203によって低フレームレート画像の各フレームに割り当てられた重みを、記憶装置3に記録する。
辞書設計部202は、最適なフィルタ係数の候補ベクトルが辞書から選択された場合において、選択された候補ベクトルに応じて最適なシフト量が導出された場合におけるフィルタ設計コストを最小化するように、辞書(フィルタ係数の候補ベクトルの集合)を設計する。
以下では、時間フィルタに入力される画像のフレームを「原フレーム」という。時間フィルタから出力される画像のフレームを「合成フレーム」という。
選択部203は、予め定められた期間の高フレームレート画像における複数の原フレームと、同じ期間の低フレームレート画像における複数のフレーム(合成フレーム)との乖離量を導出する。
選択部203は、予め定められた期間の高フレームレート画像における複数の原フレームと、同じ期間の中フレームレートの動画像(以下「中フレームレート画像」という。)における複数のフレーム(表示フレーム)との乖離度を導出する。
選択部203は、導出された乖離度により定まるフィルタ設計コストを最小化するフィルタ係数を、辞書(フィルタ係数の候補ベクトルの集合)から選択する。選択部203は、導出された乖離度により定まるコストを最小化するシフト量を、フィルタ位置のシフト量として選択する。
選択部203は、同じ予め定められた期間の低フレームレート画像における複数のフレームの発生符号量と、導出された乖離度とにより定まるフィルタ設計コストを最小化するフィルタ係数を、辞書から選択してもよい。
選択部203は、同じ予め定められた期間の低フレームレート画像における符号化対象フレームの発生符号量と乖離度とにより定まるフィルタ設計コストを最小化するフィルタ係数を、辞書から選択してもよい。
なお、選択部203は、低フレームレート画像において時系列で連続する第1成フレーム及び第2フレーム(符号化対象フレーム)を重みに基づいて合成することによって、中フレームレート画像における第3フレーム(表示フレーム)を合成してもよい。
フィルタ204は、高フレームレート画像の複数のフレームを用いて、低フレームレート画像における複数の合成フレーム(符号化対象フレーム)を、選択されたフィルタ係数に応じて生成する。可逆符号化器205は、低フレームレート画像における複数の合成フレームに対して、可逆符号化を実行する。
通信部210(取得部)は、低フレームレート画像と重みとを、記憶装置3から取得する。復号部211は、低フレームレート画像において時系列で連続する第1成フレーム及び第2フレーム(符号化対象フレーム)を重みに基づいて合成することによって、中フレームレート画像における第3フレーム(表示フレーム)を合成する。
次に、フィルタリングシステム1の詳細を説明する。
<表記法について>
通信部200は、高フレームレート画像を記憶装置3から取得する。符号化部201は、低フレームレート画像を高フレームレート画像から生成するための時間フィルタを設計する。低フレームレート画像は、発生符号量が少ないので、符号化に適した動画像である。また、低フレームレート画像は、符号化の規格に適した動画像である。
<表記法について>
通信部200は、高フレームレート画像を記憶装置3から取得する。符号化部201は、低フレームレート画像を高フレームレート画像から生成するための時間フィルタを設計する。低フレームレート画像は、発生符号量が少ないので、符号化に適した動画像である。また、低フレームレート画像は、符号化の規格に適した動画像である。
以下では、表記の簡略化のため、動画像の各フレームは一次元信号として表される。原フレームは、時間位置t(t=jsδs(js=0,1,…))においてサンプリングされる。δsは、時間フィルタに入力される動画像のフレームの間隔を表す。以下では、時間軸上の区間(期間)「iMδs≦t≦((i+1)M-1)δs」を「第iステージ」という。
フィルタ204は、(2Δ+1)タップの時間フィルタである。第iステージにおいてフィルタ204から出力された第iフレームは、式(1)のように表される。
iは、ステージを指定するインデックスを表す。iの値は、非負の整数値である。f(x,js)は、第js番目の原フレームの位置x(x=0,…,X-1)における画素値を表す。式(1)に示された関数式(2)は、床関数を用いて、(M/2)を超えない最大の整数を表す。
wi[js]は、時間フィルタのフィルタ係数を表す。ここで、式(3)が成り立つ。
wi(=(wi[-Δ],…,wi[Δ]))は、フィルタ係数を要素とするベクトル(以下「係数ベクトル」という。)を表す。piは、フィルタ位置のシフト量を制御するパラメータを表す。すなわち、piは、フィルタ係数が施される時間位置を補正するパラメータを表す。piの値は、(0,…,±P)である。
「M」は、合成フレームのフレーム間隔を決定するパラメータである。式(1)においてシフト量が零値である場合、合成フレームのフレーム間隔は、「Mδs」と表される。以下では、(2Δ+2P+1≦M)が成り立っている。以下、係数ベクトルの候補を「係数候補ベクトル」という。
N種類の係数候補ベクトルからなる辞書(係数候補ベクトルの集合)は、「ΓN=(γ0,…,γN-1)」と表される。ここで、γn(=(γn[-Δ],…,γn[Δ]))は、第n番目(n=0,…,N-1)の係数候補ベクトルを表す。
<フィルタ204(時間フィルタ)の設計の定式化について>
[フィルタ係数とシフト量との最適化の規準について]
図3は、乖離量、乖離度及び発生符号量の例を示す図である。選択部203は、互いに同じステージ(期間)における合成フレーム及び原フレームの間の乖離量とに基づいて、係数ベクトル及びシフト量を選択する。
[フィルタ係数とシフト量との最適化の規準について]
図3は、乖離量、乖離度及び発生符号量の例を示す図である。選択部203は、互いに同じステージ(期間)における合成フレーム及び原フレームの間の乖離量とに基づいて、係数ベクトル及びシフト量を選択する。
選択部203は、合成フレームの発生符号量と、互いに同じステージ(期間)における表示フレーム及び原フレームの間の乖離度とに基づいて、係数ベクトル及びシフト量を選択してもよい。発生符号量は、合成フレームに対して可逆符号化を実行する可逆符号化器205の出力の符号量である。
フィルタ204は、選択された係数ベクトル及びシフト量に基づいて、高フレームレートを有する原フレーム群に対して、時間フィルタの処理を実行する。フィルタ204は、時間フィルタの処理の実行結果として、低フレームレートを有する合成フレーム群を生成する。フィルタ204は、合成フレーム群を可逆符号化器205に出力する。
可逆符号化器205は、合成フレーム群を、可逆符号化の符号化対象フレーム群として取得する。可逆符号化器205は、合成フレーム群に対して動き補償予測を実行する。動き補償予測では、可逆符号化器205は、符号化対象フレームを部分領域に分割する。可逆符号化器205は、合成フレーム群のうちの参照フレームにおける対応領域を、符号化対象フレーム(被予測フレーム)における部分領域ごとに導出する。可逆符号化器205は、符号化対象フレームの部分領域と参照フレームの対応領域との差分(予測誤差)に基づいて、符号化対象フレームを符号化する。
以下では、数式において文字の上に記載される記号(例えば、^)は、その文字の直前に記載される。符号化対象フレーム(第i番目の合成フレーム)は、「^f(x,i,M,wi,pi)」と表記される。「wi」は、第i番目の合成フレーム(第i合成フレーム)の係数ベクトルを表す。「pi」は、第i番目の合成フレームのシフト量を表す。
(i≧1)が成り立つ場合、可逆符号化器205は、第i番目の合成フレームに対して、参照フレームを用いる動き補償予測(インター予測)の符号化を実行する。参照フレーム(第(i-1)番目の合成フレーム)は、「^f(x,i-1,M,wi-1,pi-1)」と表記される。「wi-1」は、第(i-1)番目の合成フレームの係数ベクトルを表す。「pi-1」は、第(i-1)番目の合成フレームのシフト量を表す。符号化対象フレームの発生符号量は、「Ψ[wi,wi-1,pi,pi-1]」と表記される。
(i=0)が成り立つ場合、可逆符号化器205は、第0番目の合成フレームに対して、イントラ符号化を実行する。符号化対象フレームの発生符号量は、「Ψ[w0,w-1,p0,p-1]」と表記される。「w0」は、第0番目の合成フレームの係数ベクトルを表す。「w-1」は、値を持たない変数(ダミー変数)である。「p0」は、第0番目の合成フレームのシフト量を表す。「p-1」は、値を持たない変数(ダミー変数)である。
互いに同じステージ(期間)における合成フレーム及び原フレームの間の乖離量は、式(4)のように表される。
式(4)は、第iステージ(第i期間)における合成フレーム及び原フレームの間の二乗誤差和を表す。「X」は、合成フレーム又は原フレームの画素数を表す。フィルタ204の設計では、選択部203は、乖離量を所定閾値以下にするという制約条件の下で、式(5)のように発生符号量を最小化する。
選択部203は、式(5)に示された制約条件付き最小化問題を、式(6)に示されたコスト関数(フィルタ設計コスト)に対する制約無し最小化問題として解く。
ここで、「λ」は、式(5)における制約条件を満たすための制御パラメータを表す。
[時間フィルタの設計の最適化について]
図4は、係数候補ベクトルの選択例を示す図である。時間フィルタの設計の最適化では、辞書設計部202は、ベイズ最適化に基づいて、辞書に登録される係数ベクトルの候補を決定する。これによって、辞書設計部202は辞書を設計することができる。
図4は、係数候補ベクトルの選択例を示す図である。時間フィルタの設計の最適化では、辞書設計部202は、ベイズ最適化に基づいて、辞書に登録される係数ベクトルの候補を決定する。これによって、辞書設計部202は辞書を設計することができる。
選択部203は、辞書に登録された係数ベクトルの候補のうちから、合成フレームごとに動的計画法に基づいて係数ベクトルを選択する。選択部203は、選択された係数ベクトルに基づいて、合成フレームごとに動的計画法に基づいてシフト量を導出する。参照フレーム及び被予測フレームを結ぶ経路(シフト量)は、評価尺度の値(コスト)を表す。
[辞書に登録されるフィルタ係数(係数ベクトル)と、シフト量との最適化について]
式(6)に示されたフィルタ設計コスト(評価尺度)の総和を最小化する合成フレームをフィルタ204が生成するために、選択部203は、係数ベクトル及びシフト量の(J/M)個の組み合わせについて、式(7)に示された最小化問題の解を導出する。
式(6)に示されたフィルタ設計コスト(評価尺度)の総和を最小化する合成フレームをフィルタ204が生成するために、選択部203は、係数ベクトル及びシフト量の(J/M)個の組み合わせについて、式(7)に示された最小化問題の解を導出する。
仮に、式(7)に示された最小化問題の解を選択部203が総当り法を用いて導出する場合、指数オーダの演算量が必要とされる。これに対して、式(7)に示された最小化問題の解を選択部203が動的計画法に基づいて導出する場合、多項式オーダの演算量が必要とされる。そこで、選択部203は、動的計画法に基づいて、式(7)に示された最小化問題の解を導出する。評価尺度「Si(wi,pi)」は、式(8)のように表される。
評価尺度「Si(wi,pi)」は、式(9)に示された漸化式を満たす。
選択部203は、式(9)に示されているように、「Ξ[wi,wi-1,pi,pi-1]+Si-1(wi-1,pi-1)」を最小化する係数候補ベクトルを選択し、シフト量「pi」を導出することによって、評価尺度「Si(wi,pi)」を導出する。この結果、式(7)に示された最小化問題の解を導出する問題は、係数ベクトル及びシフト量の「{N×(2P+1)}2J/M」通りの組み合わせについて最適解を探索する問題となる。選択部203は、辞書設計部202によって設計された辞書が与えられた条件下で、最適なフィルタ係数及びシフト量を選択する。
[辞書の設計について]
辞書Γは、N種類の係数候補ベクトルを有する。係数候補ベクトルは、(2Δ+1)の要素を有する。したがって、辞書Γは、「(2Δ+1)N」個の実数値の集合となる。辞書の設計の評価尺度は、最適な係数ベクトルが辞書から選択された場合において、選択された係数ベクトルに応じて最適なシフト量が導出された場合における、フィルタ設計コスト(以下「固定辞書最適コスト」という。)である。固定辞書最適コストは、式(10)のように表される。
辞書Γは、N種類の係数候補ベクトルを有する。係数候補ベクトルは、(2Δ+1)の要素を有する。したがって、辞書Γは、「(2Δ+1)N」個の実数値の集合となる。辞書の設計の評価尺度は、最適な係数ベクトルが辞書から選択された場合において、選択された係数ベクトルに応じて最適なシフト量が導出された場合における、フィルタ設計コスト(以下「固定辞書最適コスト」という。)である。固定辞書最適コストは、式(10)のように表される。
辞書設計部202は、固定辞書最適コストを最小化する係数候補ベクトルの集合を推定する。すなわち、辞書設計部202は、「(2Δ+1)N」次元の空間における評価尺度(固定辞書最適コスト)の最小値を探索する。しかしながら、固定辞書最適コストは、微分不可能な非線形関数であり、微分不可能な非凸関数である。このため、辞書設計部202は、最小値を解析的に導出することができない。また、辞書設計部202は、凸最適化に基づいて最小値を導出することができない。
そこで、辞書設計部202は、ベイズ最適化に基づいて、固定辞書最適コストの最小値を導出する。すなわち、辞書設計部202は、固定辞書最適コストと辞書との関係を、ベイズ最適化に基づいて推定する。これによって、辞書設計部202は、固定辞書最適コストを最小化する最適な辞書を設計することができる。
評価尺度の導出に高い演算コストが必要とされる場合において、ベイズ最適化は、限られたサンプル点の観測結果に基づく多次元探索に適した手法である。ベイズ最適化では、ガウス過程のベイズ推定に基づいて、未観測サンプル点に対して評価尺度の値が推定されるからである。
辞書に応じた固定辞書最適コストを辞書設計部202が推定する場合、ベイズ最適化において、式(11)に示された観測モデルが用いられる。
ここで、「Γi」は、辞書における第i番目の係数ベクトルを表す。「h」は、未知関数を表す。「Ωi」は、辞書における第i番目の係数ベクトルに応じたコスト関数(フィルタ設計コスト)を表す。「εi」は、観測時のノイズを表す。「N(0,2)」は、平均が0であり分散が2であるガウス分布を表す。
以下では、「{h(Γ1),…,h(Γm)}」は、「h1:m」と略記される。「{Γ1,…,Γm}」は、「Γ1:m」と略記される。「{Ω1,…,Ωm}」は、「Ω1:m」と略記される。
ベイズ最適化における推定の対象は、未知関数「h」である。辞書設計部202は、事前分布としてのガウス過程を用いて、未知関数「h」を推定する。すなわち、辞書設計部202は、多次元ガウス分布「N(0,K(Γ1:m))」を用いて、関数値の集合「h1:m」を推定する。ここで、「K(Γ1:m)」は、(m×m)行列である。「K(Γ1:m)」の第(i,j)要素は、共分散関数k(Γi,Γj)である。
辞書設計部202は、「Matern5/2カーネル」を、共分散関数として用いる。式(11)は、第i番目の係数ベクトル「Γi」について、未知関数「h」にノイズ「εi」が重畳している観測値のモデルである。
ベイズ最適化では、辞書設計部202は、観測値を最小化することが期待される探索点を、辞書における複数の係数ベクトルのうちから逐次的に選択する。辞書設計部202は、観測値「D1:m={Γ1:m,Ω1:m}」を累積する。辞書設計部202は、ベイズ則に基づいて、未知関数「h」の事後分布を導出する。辞書設計部202は、未知関数「h」の事後分布を用いて、未知サンプル「Γ」における観測値「Ω」のベイズ予測分布を、式(12)のように解析的に導出する。
ここで、「k(Γ)」は、「(k(Γ,Γ1),…,k(Γ,Γm))T」を表す。「Ω1:m」は、「(Ω1,…,Ωm)T」を表す。「T」は転置を表す。「I」は、(m×m)の単位行列を表す。
辞書設計部202は、ベイズ予測分布に基づいて、選択された探索点について。評価尺度(獲得関数の値)を導出する。すなわち、辞書設計部202は、ベイズ予測分布に基づいて、選択された探索点について、固定辞書最適コストを導出する。辞書設計部202は、導出された評価尺度(固定辞書最適コスト)を最小化するように、次の探索点を選択する。以下では、獲得関数の値は、一例として信頼下限(lower confidence bound)である。
<表示フレームに対する重みの適応的な設定について>
以下では、「Ms」は、時間軸上の区間(期間)であるステージあたりの原フレームの枚数を表す。「Md」は、時間軸上の区間(期間)であるステージあたりの表示フレームの枚数を表す。「Rd=Ms/Md」は、表示フレームあたりの原フレームの枚数を表す。
以下では、「Ms」は、時間軸上の区間(期間)であるステージあたりの原フレームの枚数を表す。「Md」は、時間軸上の区間(期間)であるステージあたりの表示フレームの枚数を表す。「Rd=Ms/Md」は、表示フレームあたりの原フレームの枚数を表す。
時間軸上の区間「(iMs+idRd)δs≦t≦(iMs+(id+1)Rd-1)δs」における、表示フレーム群は、式(13)のように表される。すなわち、第iステージにおける、第id(=0,…,Md-1)番目の表示フレームは、式(13)のように表される。表示フレーム群のフレームレート(中フレームレート)は、低フレームレートよりも高く、高フレームレートよりも低い。
なお、合成フレーム(符号化対象フレーム)の枚数と表示フレームの枚数とが等しい場合、「Md」が1となるので、表示フレーム群は、式(14)のように表される。式(14)では、表示フレーム群のフレームレート(中フレームレート)は、低フレームレートと等しく、高フレームレートよりも低い。
第iステージにおける表示フレーム及び原フレームの間の乖離度は、式(15)のように表される。
ここで、「αi」は、「(α0,…,αMd-1)」を表す。「wi-1:i+1」は、「(wi-1,wi,wi+1)」を表す。「pi-1:i+1」は、「(pi-1,pi,pi+1)」を表す。
選択部203は、例えば第1の設定方法から第3の設定方法までのいずれかの方法で、重みを決定する。
第1の設定方法は、式(16)のように表される。
第2の設定方法は、式(17)のように表される。
ここで、「Ξd」は、式(6)に示されたコスト関数(フィルタ設計コスト)が修正されたコスト関数として、式(18)のように表される。
第3の設定方法は、式(19)のように表される。
ここで、「Ξ’d」は、式(6)に示されたコスト関数(フィルタ設計コスト)が修正されたコスト関数として、式(20)のように表される。
ここで、ψ(αi)は、重み「αi」の符号量を表す。
次に、フィルタリングシステム1の動作例を説明する。
図5は、符号化装置20の動作例を示すフローチャートである。通信部200は、高フレームレート画像における複数のフレーム(原フレーム群)を、記憶装置3から取得する(ステップS101)。符号化部201は、予め定められた期間の高フレームレート画像における複数のフレームと、その期間の中フレームレート画像における複数のフレームとの乖離度を最小化するように、低フレームレート画像及び重みを導出する(ステップS102)。
図5は、符号化装置20の動作例を示すフローチャートである。通信部200は、高フレームレート画像における複数のフレーム(原フレーム群)を、記憶装置3から取得する(ステップS101)。符号化部201は、予め定められた期間の高フレームレート画像における複数のフレームと、その期間の中フレームレート画像における複数のフレームとの乖離度を最小化するように、低フレームレート画像及び重みを導出する(ステップS102)。
符号化部201は、低フレームレート画像において時系列で連続する第1フレーム及び第2フレームを重みに基づいて合成することによって、中フレームレート画像を導出する(ステップS103)。符号化部201は、低フレームレート画像と重みとを符号化する(ステップS104)。
図6は、復号装置21の動作例を示すフローチャートである。通信部210は、低フレームレート画像と重みとを、記憶装置3から取得する(ステップS201)。復号部211は、低フレームレート画像において時系列で連続する第1フレーム及び第2フレームを重みに基づいて合成することによって、中フレームレート画像における第3フレーム(表示フレーム)を合成する(ステップS202)。
以上のように、符号化装置20は、高フレームレート画像に基づいて、中フレームレート画像を導出するための低フレームレート画像を符号化する。符号化部201は、低フレームレート画像と中フレームレート画像と重みとを、高フレームレート画像に基づいて導出する。符号化部201は、低フレームレート画像と重みとを符号化する。ここで、符号化部201は、低フレームレート画像において時系列で連続する第1フレーム及び第2フレームを重みに基づいて合成することによって、中フレームレート画像を導出する。符号化部201は、予め定められた期間(ステージ)の高フレームレート画像における複数のフレームと、その期間の中フレームレート画像における複数のフレームとの乖離度を最小化するように、低フレームレート画像及び重みを導出する。
このように、符号化部201は、予め定められた期間(ステージ)の高フレームレート画像における複数のフレームと、その期間の中フレームレート画像における複数のフレームとの乖離度を最小化するように、低フレームレート画像及び重みを導出する。これによって、高フレームレート画像から生成される低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能である。
符号化装置20は、高フレームレート画像に対する時間フィルタリング後の低フレームレート画像における、符号化対象フレームの発生符号量を導出してもよい。符号化装置20は、符号化対象フレームと、その符号化対象フレームの時間位置に対応する時間位置における高フレームレート画像のフレーム群との乖離量の加重和を導出してもよい。符号化装置20は、表示フレームと高フレームレート画像のフレーム群との乖離度の加重和を導出してもよい。符号化装置20は、乖離量の加重和と乖離度の加重和とのうちの少なくとも一つの加重和を最小化するフィルタ係数を、フィルタ係数の集合(辞書)のうちから選択してもよい。符号化装置20は、加重和の累積値(コスト値)を最小化するフィルタ係数を、低フレームレート画像におけるフレームごとに選択してもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、画像の符号化装置及び復号装置に適用可能である。
1…フィルタリングシステム、2…フィルタリング装置、3…記憶装置、4…プロセッサ、5…通信装置、20…符号化装置、21…復号装置、200…通信部、201…符号化部、202…辞書設計部、203…選択部、204…フィルタ、205…可逆符号化器、210…通信部、211…復号部
Claims (7)
- フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記低フレームレートの動画像である低フレームレート画像と重みとを取得する取得部と、
前記低フレームレート画像において時系列で連続する第1フレーム及び第2フレームを前記重みに基づいて合成することによって、前記中フレームレートの動画像である中フレームレート画像における第3フレームを合成する復号部とを備え、
前記低フレームレート画像及び前記重みは、予め定められた期間の前記高フレームレートの動画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、予め導出される、復号装置。 - 前記低フレームレート画像及び前記重みは、さらに、前記低フレームレート画像の符号量を最小化するように予め導出される、請求項1に記載の復号装置。
- フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記高フレームレートの動画像である高フレームレート画像に基づいて、前記中フレームレートの動画像である中フレームレート画像を導出するための前記低フレームレートの動画像である低フレームレート画像を符号化する符号化装置であって、
前記低フレームレート画像と前記中フレームレート画像と重みとを前記高フレームレート画像に基づいて導出し、前記低フレームレート画像と前記重みとを符号化する符号化部を備え、
前記符号化部は、
前記低フレームレート画像において時系列で連続する第1フレーム及び第2フレームを前記重みに基づいて合成することによって前記中フレームレート画像を導出し、
予め定められた期間の前記高フレームレート画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、前記低フレームレート画像及び前記重みを導出する、
符号化装置。 - 前記符号化部は、さらに、前記低フレームレート画像の符号量を最小化するように、前記低フレームレート画像及び前記重みを導出する、請求項3に記載の符号化装置。
- 復号装置が実行する復号方法であって、
フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記低フレームレートの動画像である低フレームレート画像と重みとを取得する取得ステップと、
前記低フレームレート画像において時系列で連続する第1フレーム及び第2フレームを前記重みに基づいて合成することによって、前記中フレームレートの動画像である中フレームレート画像における第3フレームを合成する復号ステップとを含み、
前記低フレームレート画像及び前記重みは、予め定められた期間の前記高フレームレートの動画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、予め導出される、復号方法。 - フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記高フレームレートの動画像である高フレームレート画像に基づいて、前記中フレームレートの動画像である中フレームレート画像を導出するための前記低フレームレートの動画像である低フレームレート画像を符号化する符号化装置が実行する符号化方法であって、
前記低フレームレート画像と前記中フレームレート画像と重みとを前記高フレームレート画像に基づいて導出し、前記低フレームレート画像と前記重みとを符号化する符号化ステップを含み、
前記符号化ステップでは、
前記低フレームレート画像において時系列で連続する第1フレーム及び第2フレームを前記重みに基づいて合成することによって前記中フレームレート画像を導出し、
予め定められた期間の前記高フレームレート画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、前記低フレームレート画像及び前記重みを導出する、符号化方法。 - 請求項1又は請求項2に記載の復号装置としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/044862 WO2021095229A1 (ja) | 2019-11-15 | 2019-11-15 | 復号装置、符号化装置、復号方法、符号化方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021095229A1 JPWO2021095229A1 (ja) | 2021-05-20 |
JP7181492B2 true JP7181492B2 (ja) | 2022-12-01 |
Family
ID=75911491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021555743A Active JP7181492B2 (ja) | 2019-11-15 | 2019-11-15 | 復号装置、符号化装置、復号方法、符号化方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220366609A1 (ja) |
JP (1) | JP7181492B2 (ja) |
WO (1) | WO2021095229A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088244A (ja) | 2002-08-23 | 2004-03-18 | Sony Corp | 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム |
JP2018006831A (ja) | 2016-06-27 | 2018-01-11 | 日本電信電話株式会社 | 映像フィルタリング方法、映像フィルタリング装置及び映像フィルタリングプログラム |
JP2018088633A (ja) | 2016-11-29 | 2018-06-07 | 日本電信電話株式会社 | 映像フィルタリング方法、映像フィルタリング装置及びコンピュータプログラム |
-
2019
- 2019-11-15 JP JP2021555743A patent/JP7181492B2/ja active Active
- 2019-11-15 WO PCT/JP2019/044862 patent/WO2021095229A1/ja active Application Filing
- 2019-11-15 US US17/774,058 patent/US20220366609A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088244A (ja) | 2002-08-23 | 2004-03-18 | Sony Corp | 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム |
JP2018006831A (ja) | 2016-06-27 | 2018-01-11 | 日本電信電話株式会社 | 映像フィルタリング方法、映像フィルタリング装置及び映像フィルタリングプログラム |
JP2018088633A (ja) | 2016-11-29 | 2018-06-07 | 日本電信電話株式会社 | 映像フィルタリング方法、映像フィルタリング装置及びコンピュータプログラム |
Non-Patent Citations (1)
Title |
---|
Yukihiro BANDOH, Seishi TAKAMURA and Atsushi SHIMIZU,TEMPORAL FILTER DESIGN FOR ENCODER-ORIENTED VIDEO GENERATION BASED ON BAYESIAN OPTIMIZATION,ICIP 2018,IEEE,2018年10月,pp.2555-2559 |
Also Published As
Publication number | Publication date |
---|---|
US20220366609A1 (en) | 2022-11-17 |
JPWO2021095229A1 (ja) | 2021-05-20 |
WO2021095229A1 (ja) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101830804B1 (ko) | 적응 필터링을 이용한 디지털 이미지 안정화 방법 | |
JP4968259B2 (ja) | 画像高解像度化装置及び画像高解像度化方法並びにプログラム | |
US8913822B2 (en) | Learning apparatus and method, image processing apparatus and method, program, and recording medium | |
JP5144545B2 (ja) | 動画像コーデック装置及びその方法 | |
KR102244187B1 (ko) | 예외적 움직임에 강인한 비디오 프레임 보간 방법 및 그 장치 | |
JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
JP2009152820A (ja) | 学習装置および方法、画像処理装置および方法、並びにプログラム | |
JPWO2011018878A1 (ja) | 画像処理システム、画像処理方法および画像処理用プログラム | |
JP5102174B2 (ja) | フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Jimbo et al. | Deep learning-based transformation matrix estimation for bidirectional interframe prediction | |
JP7181492B2 (ja) | 復号装置、符号化装置、復号方法、符号化方法及びプログラム | |
JP6538619B2 (ja) | 映像フィルタリング方法、映像フィルタリング装置及び映像フィルタリングプログラム | |
JP7027776B2 (ja) | 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法 | |
JP6595442B2 (ja) | 映像フィルタリング方法、映像フィルタリング装置及びコンピュータプログラム | |
JP5118005B2 (ja) | フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2006020217A (ja) | 画像符号化装置 | |
JP6680633B2 (ja) | 映像フィルタリング方法、映像フィルタリング装置及び映像フィルタリングプログラム | |
JP2010118940A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011049633A (ja) | フレームレート変換方法,フレームレート変換装置およびフレームレート変換プログラム | |
JP2008017241A (ja) | 高解像度画像処理装置 | |
JP6611256B2 (ja) | 映像フィルタリング方法、映像フィルタリング装置及び映像フィルタリングプログラム | |
JP6836495B2 (ja) | 画像生成装置、画像生成方法及び画像生成プログラム | |
JP2007251690A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
KR20170082945A (ko) | 영상 안정화 방법 및 장치 | |
WO2020003936A1 (ja) | フィルタ選択方法、フィルタ選択装置及びフィルタ選択プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7181492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |