JP4719108B2 - 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP4719108B2
JP4719108B2 JP2006240956A JP2006240956A JP4719108B2 JP 4719108 B2 JP4719108 B2 JP 4719108B2 JP 2006240956 A JP2006240956 A JP 2006240956A JP 2006240956 A JP2006240956 A JP 2006240956A JP 4719108 B2 JP4719108 B2 JP 4719108B2
Authority
JP
Japan
Prior art keywords
still
frame
region
video encoding
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006240956A
Other languages
English (en)
Other versions
JP2008066911A (ja
Inventor
幸浩 坂東
一人 上倉
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006240956A priority Critical patent/JP4719108B2/ja
Publication of JP2008066911A publication Critical patent/JP2008066911A/ja
Application granted granted Critical
Publication of JP4719108B2 publication Critical patent/JP4719108B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、フィルムグレインノイズを含む映像を符号化する映像符号化方法およびその装置と、その映像符号化方法の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、フィルムグレインノイズを除去することで主観画質の向上を実現するとともに符号化効率の向上を実現する映像符号化方法およびその装置と、その映像符号化方法の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
近年、映像処理技術の進歩、ネットワークの広帯域化、ストレージデバイスの大容量化に伴い、映像通信分野における高精細化・高画質化の流れが加速している。
その代表例として、デジタルシネマをあげることができる。デジタルシネマの各種仕様はハリウッドの7大スタジオが中心となって設立された Degital Cinema Initiative(DCI)において検討されている。DCIでは、デジタルシネマにおいて要求される各フレームの解像度を2048×1080[画素]または4096×2160[画素]と定めている。
一方、こうした映像の超高画質化はデータ量の爆発的な増加を招くため、効率的な符号化方法が不可欠となる。
DCIでは、Motion JPEG2000 を符号化方式として採用している。これは、フレーム内符号化であることから、編集・加工が容易、ランダムアクセスが容易、エラー伝播が小さい、演算量が少ないといった理由による。しかし、その反面、フレーム内符号化では時間方向の冗長度を除去できないため、符号化効率に関しては、フレーム間予測に基づく符号化方式に劣る。このため、帯域制限等の理由から、発生符号量が厳しく制限される場合には、H.264に代表されるフレーム間予測に基づく符号化方式が用いられることになる。
こうした世の中の動向を受けて、映像符号化の国際標準方式にH.264においても、高画質映像向けのプロファイル(4:4:4プロファイル)が検討されている。
ここで、H.264の参照ソフトウェアJMでは、動き推定・予測モード選択において、以下に説明するR−Dコストの算出に用いる歪み量として、二乗誤差和、絶対値誤差和を用いている(例えば、非特許文献1参照)。
K.P.Lim and G.Sullivan and T.Wiegand, Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, JVT-R95, Jan., 2006.
デジタルシネマにおけるデジタル映像の取得方法としては、
1.デジタル出力対応のカメラを用いて、データとして撮影する方法
2.フィルムに撮影された映像をフィルムスキャンによりデジタル化する方法
という2通りの方法がある。
フィルムスキャンにより得たデジタル映像の場合、フィルムグレインノイズと呼ばれる粒状雑音が重畳する。これに伴い、画像信号に高周波成分が付与され、画像内に粒状性の雑音・ちらつきが発生する。
H.264をはじめとするフレーム間予測に基づく符号化方式の場合、こうしたフィルムグレインノイズ等の雑音を除去する機能は有していない。このため、復号画質・符号化効率の向上を図るためには、適切な前処理によって、雑音成分を除去する必要がある。
こうした雑音除去は、とりわけ静止領域において、大きな画質改善効果を期待できる。同程度の雑音が重畳した場合、画質劣化は動領域よりも静止領域において知覚されやすいためである。これは、動領域の場合、マスキング効果により画質劣化が目立ちにくくなることに起因する。
一方、動領域に関しても、動き推定および予測モード選択を行う場合、雑音成分の影響は考慮されていない。例えば、H.264の参照ソフトウェアJMでは、動き推定・予測モード選択において、R−Dコストの算出に用いる歪み量として、二乗誤差和、絶対値誤差和を用いている。
すなわち、H.264の参照ソフトウェアJMでは、予測モード選択において、
J(S, :m,q ,m,q,λ)
=D(S, :m,q )+λR(S, :m,q ,m,q)
というR−Dコストを最小化する予測モードを選択している。
ここで、Sは原信号、qは量子化パラメータ、mは予測モードを表す番号である。また、 :m,q はSに対して予測モードmを用いて予測し、qを用いて量子化した場合の復号信号である。また、λは予測モード選択に用いるラグランジェの未定乗数である。また、R(S, :m,q ,m,q)は予測残差、予測モード情報、量子化パラメータに対する符号量の和である。さらに、D(S, :m,q )は次式に示す二乗誤差和である。
Figure 0004719108
ここで、この式(1)において、SY ,SU ,SV は原信号のY,U,V成分であり、 :Y m,q :U m,q :V m,q 。は復号信号のY,U,V成分である。なお、H.264の規定に従って、U,V成分は1/4にダウンサンプリングされた信号となっている。
また、H.264の参照ソフトウェアJMでは、動き推定において、
J(v,λ)=D(S, /S(v))+λR(v−p)
というR−Dコストを最小化する動きベクトルを推定している。
ここで、Sは原信号、vは動きベクトルである。また、 /S(v)はvを用いて参照する復号信号である。また、λは動き推定に用いるラグランジェの未定乗数である。また、pは動きベクトルに対する予測ベクトルである。また、R(v−p)は予測ベクトルと推定した動きベクトルとの差分ベクトルの符号量である。さらに、D(S, /S(v))は次式に示す絶対誤差和である。
Figure 0004719108
ここで、この式(2)において、SY ,SU ,SV は原信号のY,U,V成分であり、 /Y (v), /U (v), /V (v)は復号信号のY,U,V成分である。なお、H.264の規定に従って、U,V成分は1/4にダウンサンプリングされた信号となっている。
本来、フィルムグレインノイズは正確に再現する必要のない成分である。また、フィルムグレインノイズは無相関に近い性質の雑音信号であるため、重畳された画像信号の時間的・空間的な相関を低下させる。
このため、フィルムグレインノイズに画像信号と同程度の再現性を求めた場合、画質向上に寄与しない成分に対して符号量を浪費することになり、その結果として、符号化効率の低下を招く。つまり、動き推定・予測モード選択において、信号の再現性を評価する歪み量に対して、フィルムグレインノイズの影響を考慮した修正を加える必要がある。
視覚特性を考慮した符号化器設計では、視覚特性を考慮した量子化ステップ幅の制御も検討されている。しかし、符号化モード(予測モード)の選択や動きベクトルの推定には、対応していない。
H.264の特徴は、自由度の高い符号化モードおよび動きベクトルの選択にある。こうした多くの符号化モードを有する符号化器においては、適切な符号化モード・動きベクトルの選択によって初めて、その符号化性能を最大限に引き出すことが可能となる。
本発明はかかる事情に鑑みてなされたものであって、フィルムグレインノイズの重畳した映像信号の静止領域に対して、映像符号化に先立ち、時間方向の平滑化処理を利用してフィルムグレインノイズを除去するプレフィルタの設計法を確立するとともに、フィルムグレインノイズの影響を考慮した動き推定・予測モード選択技術を構築することを目的とする。
この目的を達成するために、本発明の映像符号化装置は、フィルムグレインノイズを含む映像を符号化対象として、そのフィルムグレインノイズの影響を受けないで符号化を行うことができるようにするために、(1)符号化対象となる画像信号に対して、時間方向にフレーム平均を施すことで平滑化処理を行う平滑化手段と、(2)平滑化手段の平滑化した画像信号である平均フレームを用いて静止領域の判定を行う静止領域判定手段と、(3)静止領域判定手段の判定した静止領域に対して、平滑化手段の処理結果を利用したフィルムグレインノイズ除去のためのフィルタリング処理を行うフィルタリング手段と、(4)符号化の予測モードの選択を行う際に用いられるコスト関数を修正する第1のコスト関数修正手段と、(5)符号化の動き推定を行う際に用いられるコスト関数を修正する第2のコスト関数修正手段とを備えるように構成する。
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。
このように構成される本発明の映像符号化装置では、符号化対象となる画像信号に対して、時間方向にフレーム平均を施すことで平滑化処理を行うと、その平滑化後の画像信号である平均フレームを用いて静止領域の判定を行う。
このとき、静止領域と判定した領域の近傍に位置する領域についても静止領域であると判定する場合に、その静止領域と判定した領域を最終的に静止領域であると判定することがある。
続いて、その静止領域と判定した領域に対して、平滑化処理の結果を利用したフィルムグレインノイズ除去のためのフィルタリング処理を行う。
例えば、連続する2枚以上の平均フレームにおける同一位置の領域を静止領域として判定した場合に、その静止領域に該当するそれらの平均フレームの画素値の平均値を算出して、それらの平均フレームの算出に使用した各フレーム信号内のその空間位置の画素値を、その算出した平均値に置き換えることで、フィルムグレインノイズ除去のためのフィルタリング処理を行う。
このようにして、フィルムグレインノイズを除去した後に符号化に入ることになるが、この符号化にあたって、静止領域として判定した領域内の画素値と、平均フレームの画素値の平均値として算出した画素値との差分値を求めて、その差分値に応じて、符号化の予測モードの選択を行う際に用いられるコスト関数内の歪み量を減算することでコスト関数を修正して、その修正したコスト関数に応じて符号化の予測モードを選択する。
また、この符号化にあたって、静止領域として判定した領域内の画素値と、平均フレームの画素値の平均値として算出した画素値との差分値を求めて、その差分値に応じて、符号化の動き推定を行う際に用いられるコスト関数内の歪み量を減算することでコスト関数を修正して、その修正したコスト関数に基づいて動き推定を行う。
本発明では、時間軸方向の平滑化処理により、静止領域におけるフィルムグレインノイズを除去することができるようになる。
本発明によれば、フィルムグレインノイズが抑圧される結果、復号画像におけるちらつきを抑制し、主観画質の向上をはかることができる。また、符号化対象信号の時間的・空間的な相関が高まることから、符号化効率も向上させることができる。さらに、動き推定・予測モード選択において、フィルムグレインノイズに対する再現性の要求を低くすることで、同ノイズの表現に必要な符号量を節約することができるため、符号量を低く抑えることができる。
以下、実施の形態に従って本発明を詳細に説明する。
本発明は、次の3つの処理からなる。まず、時間方向の平滑化処理を行う。次に、平滑化後の画像信号を用いて静止領域の判定を行う。最後に、静止領域と判定した領域に対して、平滑化処理の結果を利用したフィルムグレインノイズ除去のためのフィルタリングを行う。
(1)時間方向の平滑化処理
時間方向の平滑化処理によりフィルムグレインノイズを抑圧する。ここでは、第tフレームにおける位置(x,y)の画素値をf(,y,t)と表す。このとき、第(k−1)Mフレームから第kM−1フレームまでのMフレームにおける位置(x,y)の平均値を次式で表す。
Figure 0004719108
なお、以下では、この平滑化処理によって得たフレームを平均フレームと呼び、平均フレームの算出に用いたフレームを平均フレームの要素フレームと呼ぶ。
この平滑化処理によるフィルムグレインノイズの抑圧は、以下のように説明できる。ここでは、画像信号f(x,y,t)が次式のように画像成分s(x,y,t)と雑音成分n(x,y,t)とから構成されるものと仮定する。
f(x,y,t)=s(x,y,t)+n(x,y,t)
フィルムグレインノイズは、この雑音成分n(x,y,t)に含まれる。静止領域においては、画像成分s(x,y,t)は時間的に変化しない。このため、静止領域Rが連続するMフレームにおいて存在するとした場合、上記の式(3)は以下のように展開できる。
Figure 0004719108
さらに、雑音成分は時間的・空間的に無相関な信号とすると、この式(4)は以下のように展開できる。
Figure 0004719108
このとき、静止領域R内の雑音電力Σ|n(x,y,τ)|2 (但し、Σは静止領域Rにある画素についての総和を示す)を一定値σ2 と近似すると、この式(5)は次式のようになる。
Figure 0004719108
この式(6)から分かるように、時間方向の平滑化処理に従って、雑音電力が1/Mに抑圧されることが分かる。
(2)静止領域判定
フィルムグレインノイズの影響が軽減された平均フレームf* (x,y,(k−1)M,kM−1)を用いて、静止領域を判定する。静止領域の判定方法としては、例えば、以下の方法がある。
(2−1)静止領域判定1
次式で定まる変移量(dx (i),dy (j))が、(dx (i),dy (j))=(0,0)を満たす正方領域(L×L[画素])を静止領域とする。
Figure 0004719108
(2−2)静止領域判定2
上記の式(7)で定まる変移量が、図1に示す条件1から条件4までの少なくとも1つを満たす場合、変移量(dx (i),dy (j))を有する正方領域(L×L[画素])を静止領域とする。
例えば、条件1について説明するならば、(dx (i),dy (j))=(0,0)に加えて、(dx (i−1),dy (j))=(0,0)と、(dx (i),dy (j−1))=(0,0)という条件が成立することを静止領域の条件としており、この条件1では、静止領域であることの条件として、
(i−2)L≦x≦(i−1)L−1, (j−1)L≦y≦jL−1,
(i−1)L≦x≦iL−1, (j−2)L≦y≦(j−1)L−1
という周りのブロックも静止領域となることを条件としていることを意味している。
(2−3)静止領域判定3
上記の式(7)で定まる変移量が、図2に示す条件1から条件4までの少なくとも1つを満たす場合、変移量(dx (i),dy (j))を有する正方領域(L×L[画素])を静止領域とする。
(2−4)静止領域判定4
上記の式(7)で定まる変移量が、次式を満たす正方領域(L×L[画素])を静止領域とする。
(dx (i),dy (j))=(0,0)
(<dx (i)>,<dy (j)>)=(0,0)
ここで、(<dx (i)>,<dy (j)>)は、(dx (i−1),dy (j)),(dx (i),dy (j−1)),(dx (i−1),dy (j−1))の中央値ベクトルである。
なお、ここであげた例は、いずれも、静止領域の判定基準として、絶対値誤差和を用いて推定された変移量を用いたが、変移量の推定には、二乗誤差和、あるいは、H.264の参照ソフトウェアJMでも使用されている絶対値誤差和と符号量との加重和を用いることも可能である。
(3)静止領域に対するフィルタリング処理
静止領域と判定した領域内の画素については、平滑化後の画素値で置き換える。具体的には、以下のいずれかの方法を取る。なお、以下では、f(x,y,τ)に対するフィルタリング処理後の信号をf# (x,y,τ)で表している。
(3−1)方法1
第k番目の平均フレームf* (x,y,(k−1)M,kM−1)において静止領域と判定した領域Rに関して、平均フレームf* (x,y,(k−1)M,kM−1)およびf* (x,y,(k−2)M,(k−1)M−1)の要素フレームにおける領域R内の画素値を次式の通り変更する。一方、静止領域と判定しなかった領域に関しては、特に処理は行わない。
# (x,y,τ)=f* (x,y,(k−2)M,kM−1)
((x,y)∈R,(k−2)M≦τ≦kM−1)
=f(x,y,τ)
((x,y)not∈R,(k−2)M≦τ≦kM−1)
ここで、f* (x,y,(k−2)M,kM−1)は、2つの平均フレームf* (x,y,(k−1)M,kM−1)およびf* (x,y,(k−2)M,(k−1)M−1)の平均フレームにあたる。また、 not∈Rは領域Rに含まれないことを示す記号である。
(3−2)方法2
第k0 番目の平均フレームf* (x,y,(k0 −1)M,k0 M−1)において静止領域と判定した領域Rについて、後続のL枚の平均フレームにおいても静止領域と判定した場合、領域Rに関して、平均フレームf* (x,y,(k−1)M,kM−1)(k0 −1≦k≦k0 +L)の算出に用いた(L+2)Mフレームにおける領域R内の画素値を次式の通り変更する。一方、静止領域と判定しなかった領域に関しては、特に処理は行わない。
# (x,y,τ)=f* (x,y,(k0 −2)M,(k0 +L)M−1)
((x,y)∈R,(k0 −2)M≦τ≦(k0 +L)M−1)
=f(x,y,τ)
((x,y)not∈R,(k0 −2)M≦τ≦(k0 +L)M−1)
ここで、f* (x,y,(k0 −2)M,(k0 +L)M−1)は、L+2枚の平均フレームフレームf* (x,y,(k−1)M,kM−1)(k0 −1≦k≦k0 +L)の平均フレームにあたる。
(4)フィルムグレインノイズを考慮した動き推定、予測モード選択
フィルムグレインノイズの影響を考慮して、動き推定・予測モード選択におけるR−Dコストの歪み量を修正する。
まず、フィルムグレインノイズの二乗和の画素平均Ms と、同絶対値和の画素平均Ma とを次式の通り推定する。ここで、分母の“||R||”は静止領域R内の画素数である。
Figure 0004719108
次に、これらの値を用いて、R−Dコストを以下のように修正する。
J' (S, :m,q ,m,q,λ)
=D(S, :m,q )−256Ms +λR(S, :m,q ,m,q)
J''(v,λ)=D(S, /S(v))−256Ma +λR(v−p)
なお、上式では、マクロブロック(16×16[画素])あたりのフィルムグレインノイズの二乗和、絶対値和とするため、Ms およびMa を256(16×16)倍している。
このようにして、R−Dコストで用いるマクロブロック毎の歪み量Dは、次のように修正されたことになる。以下では、このD' を雑音除去歪み量と呼ぶ。
D' =D−256Ms (D:二乗誤差和の場合) 式(9)
D' =D−256Ma (D:絶対値誤差和の場合) 式(9)
以上に説明したように、本発明では、時間軸方向の平滑化処理により、静止領域におけるフィルムグレインノイズを除去することができるようになる。
本発明によれば、フィルムグレインノイズが抑圧される結果、復号画像におけるちらつきを抑制し、主観画質の向上をはかることができる。また、符号化対象信号の時間的・空間的な相関が高まることから、符号化効率も向上させることができる。
さらに、動き推定・予測モード選択において、フィルムグレインノイズに対する再現性の要求を低くすることで、同ノイズの表現に必要な符号量を節約することができるため、符号量を低く抑えることができる。
例えば、
J(S, :m,q ,m,q,λ)
=D(S, :m,q )+λR(S, :m,q ,m,q)
というR−Dコスト関数は、
J' (S, :m,q ,m,q,λ)
=D(S, :m,q )−256Ms +λR(S, :m,q ,m,q)
というように修正される。
予測モード選択においては、このR−Dコスト関数J' を最小化する予測モードが選択される。ここで、このR−Dコスト関数J' を修正前のR−Dコスト関数Jと比較した場合、選択される予測モードは、J' を用いた方がJを用いるよりも符号量の少ない予測モードが選択されることになる。一方、大きな歪みを許容することになるが、それは、フィルムグレインノイズを再現しないことによるものであり、主観画質への影響は少ない。
つまり、R−Dコスト関数の修正により、本発明によれば、主観画質は保持しつつ、符号量の削減を図ることができるようになる。
次に、実施例に従って本発明を詳細に説明する。
図3に、本発明を具備する映像符号化装置の装置構成を図示する。
この図に示すように、本発明を具備する映像符号化装置は、入力映像信号をプレフィルタリングするプレフィルタ処理部10と、プレフィルタ処理部10のプレフィルタリングした映像信号を符号化する符号化器20とで構成される。
図4ないし6に、プレフィルタ処理部10の実行する処理フローの一実施例を図示し、図7および図8に、符号化器20の実行する処理フローの一実施例を図示する。
次に、これらの処理フローに従って、本発明を具備する映像符号化装置の実行する処理について詳細に説明する。
先ず最初に、図4の処理フローに従って、本発明を具備する映像符号化装置が実行するプレフィルタリング処理の全体的な処理について説明する。
ステップS101:符号化対象映像のフレームを入力として、平滑化フレーム処理を行い、これにより求めた平均フレームをレジスタに書き出す。なお、本処理の詳細については図5の処理フローを用いて後述する。
ステップS102,103:平均フレームを入力として、静止領域の判定を行い、静止領域を同定する座標情報をレジスタに書き出す。なお、具体的な判定方法については、前述した静止領域判定1,2,3,4のいずれかに従う。
ステップS104:ステップS102〜ステップS103の処理を全ての平均フレームについて行う。
ステップS105:要素フレームおよび平均フレームを入力として、要素フレームに対して雑音除去処理を行い、雑音処理後の要素フレームをレジスタに書き出す。なお、本処理の詳細については図6の処理フローを用いて後述する。
ステップS106:ステップS105の処理を全てのフレームについて行う。
次に、図5の処理フローに従って、図4の処理フローのステップS101で実行する平滑化フレーム処理について詳細に説明する。
ステップS201:平滑化フレーム処理の対象となる要素フレームのフレーム数として、レジスタMの値であるMを読み込む。
ステップS202:カウンタとして用いるレジスタCの値を0に初期化する。
ステップS203:フレームメモリ内の全要素値を0に初期化する。
ステップS204:要素フレームの画素値およびフレームメモリの画素値を入力として、両者の同一位置の画素値を加算する処理を行い、加算後の値を用いて、フレームメモリ内の値を上書きする。
ステップS205,206:レジスタCの値およびレジスタMの値を入力として、CがM未満であるか否かの判定を行い、判定結果である真偽値を出力する。出力が真値の場合、ステップS206に進み、レジスタCの値に対して1を加算してから、ステップS204の処理に戻る。出力が偽値の場合、ステップS207に進み、フレームメモリ内の全要素の値をMで割り算した値を平均フレームの値として、レジスタに格納する。
ステップS208:ステップS201〜ステップS207の処理を全てのフレームについて行う。
次に、図6の処理フローに従って、図4の処理フローのステップS105で実行する雑音除去処理について詳細に説明する。
ステップS301:図4の処理フローのステップS103で出力した静止領域の位置情報をレジスタに読み込む。
ステップS302:平均フレームをレジスタに読み込む。
ステップS303:ステップS302で読み込んだ平均フレームの要素フレームをレジスタに読み込む。
ステップS304:ステップS301で読み込んだ静止領域の位置情報と、ステップS303で読み込んだ要素フレームとを入力として、同フレーム内の矩形領域(ブロックと呼ぶ)に対して、静止領域に含まれるブロックか否かの判定処理を行い、判定結果である真偽値を出力する。出力が真値の場合、ステップS305に進む。出力が偽値の場合、ステップS306に進む。
ステップS305:ステップS302で読み込んだ平均フレームと、ステップS303で読み込んだ要素フレームとを入力として、ステップS304において判定対象となった要素フレームのブロック内の画素値を平均フレーム内の同一位置の画素値で置き換える。
ステップS306:ステップS304〜ステップS305の処理を要素フレーム内の全てのブロックについて行う。
ステップS307:ステップS303〜ステップS306の処理をステップS303で読み込んだ全ての要素フレームについて行う。
ステップS308:ステップS301〜ステップS307の処理をシーケンス中の全ての平均フレームについて行う。
次に、図7の処理フローに従って、本発明を具備する映像符号化装置が実行する予測モード選択処理について説明する。
ステップS401:予測モードの初期値をレジスタXに書き込む。
ステップS402:最小コストを格納するレジスタC、最適予測モードを格納するレジスタMを、それぞれ初期値に設定する。
ステップS403:予測モード、量子化パラメータ、符号化対象信号、参照信号を入力として、与えられた予測モードを用いた場合の符号量を算出し、その算出した値をレジスタに書き出す。具体的な算出方法は、H.264の参照ソフトウェアJMの方法に従う。
ステップS404:予測モード、量子化パラメータ、符号化対象信号、参照信号を入力として、与えられた予測モードを用いた場合の雑音除去歪み量(前述した式(9)で定義されるもの)を算出し、その算出した値をレジスタに書き出す。本処理の詳細については図8の処理フローを用いて後述する。
ステップS405:予測モード、量子化パラメータを入力として、未定乗数を算出し、その算出した値をレジスタに書き出す。具体的な算出方法は、H.264の参照ソフトウェアJMの方法に従う。
ステップS406:符号量、雑音除去歪み量、未定乗数を入力として、R−Dコストを算出し、その算出した値をレジスタに書き出す。具体的な算出方法は、前述した
J' (S, :m,q ,m,q,λ)
=D(S, :m,q )−256Ms +λR(S, :m,q ,m,q)
ただし、R(S, :m,q ,m,q) :符号量
D(S, :m,q )−256Ms :雑音除去歪み量
λ :未定乗数
という式に従う。
ステップS407:ステップS406で算出したR−Dコストと、レジスタCの値とを入力として、ステップS406で算出したR−DコストがレジスタCの値よりも小さいか否かの判定を行い、判定結果である真偽値を出力する。出力が真値の場合、ステップS408に進む。出力が偽値の場合、ステップS411の処理に進む。
ステップS408:ステップS406で算出したR−DコストをレジスタCに書き出す。
ステップS409:レジスタXの値をレジスタMに書き出す。
ステップS410:レジスタXに次の予測モードを表す値を書き出してから、ステップS403の処理に戻る。レジスタXに書き出す予測モードの順番は予め与えられるものとする。
ステップS411:以上の処理を全ての予測モードについて行う。
次に、図8の処理フローに従って、図7の処理フローのステップS404で実行する雑音除去歪み量(=D(S, :m,q )−256Ms )の算出処理について詳細に説明する。
ステップS501:図4の処理フローのステップS101と同じ処理を実行する。
ステップS502:図4の処理フローのステップS102と同じ処理を実行する。
ステップS503:図4の処理フローのステップS103と同じ処理を実行する。
ステップS504:図4の処理フローのステップS104と同じ処理を実行する。
ステップS505:図4の処理フローのステップS105と同じ処理を実行する。
ステップS506:静止領域と判定した領域において、フィルタリング後の信号と原信号との差分信号を求め、同差分信号の画素あたりの電力を算出し、さらにブロックあたりの電力値に換算することで“256×Ms ”を算出して、雑音電力として書き出す。
ステップS507:符号化対象信号、復号信号を入力として、符号化対象信号内の矩形領域(ブロックと呼ぶ)に対して、前述した式(1)に従って両信号の二乗誤差和を算出して、誤差電力(=D(S, :m,q ))として書き出す。
ステップS508:ステップS506で算出した雑音電力と、ステップS507で算出した誤差電力とを入力として、誤差電力から雑音電力を減算し、減算後の値を誤差電力として、書き出す。
ステップS509:ステップS507〜ステップS508の処理を全てのブロックについて行う。
ステップS510:ステップS505〜ステップS509の処理を全てのフレームについて行う。
以上に説明した図7および図8の処理フローでは、予測モード選択について、歪み量を修正したR−Dコスト関数を用いる場合を説明したが、動き推定の場合も同様に行うことができる。
ただし、動き推定の場合には、R−Dコスト関数として、
J''(v,λ)=D(S, /S(v))−256Ma +λR(v−p)
というものを用いることになる。
図9ないし13に、以上に説明した図2ないし8の処理フローを実行する本発明を具備する映像符号化装置の装置構成の一実施例を図示する。
次に、図9ないし13に従って、本発明を具備する映像符号化装置の装置構成について説明する。
図9に、図1に示したプレフィルタ処理部10の装置構成の一実施例を図示する。
この図9に示すように、プレフィルタ処理部10は、フレーム信号記憶部101と、平滑化フレーム数記憶部102と、平滑化処理部103と、平滑化フレーム記憶部104と、静止領域判定部105と、静止領域記憶部106と、雑音除去処理部107と、雑音除去フレーム記憶部108とを備える。
平滑化処理部103の処理:フレーム信号記憶部101から読み出した符号化対象映像のフレームと、平滑化フレーム数記憶部102から読み出した平滑化フレーム数とを入力として、平滑化フレーム処理を行い、その平滑化フレーム処理により求めた平均フレームを平滑化フレーム記憶部104に書き出す。なお、この平滑化処理部103の装置構成の詳細については図10を用いて後述する。
静止領域判定部105の処理:平滑化フレーム記憶部104から読み出した平均フレームを入力として、静止領域の判定を行い、静止領域を同定する座標情報を静止領域記憶部106に書き出す。なお、具体的な判定方法については、前述した静止領域判定1,2,3,4のいずれかに従う。
雑音除去処理部107の処理:静止領域記憶部106から読み出した要素フレームにおける静止領域を同定する座標情報と、平滑化フレーム記憶部104から読み出した平均フレームと、平滑化フレーム数記憶部102から読み出した平滑化フレーム数と、フレーム信号記憶部101から読み出した要素フレームとを入力として、要素フレームの静止領域に対して雑音除去処理を行い、雑音処理後の要素フレームを雑音除去フレーム記憶部108に書き出す。なお、この雑音除去処理部107の装置構成の詳細については図11を用いて後述する。
図10に、図9に示す平滑化処理部103の詳細な装置構成の一実施例を図示する。
次に、図10に従って、平滑化処理部103の実行する処理の詳細について説明する。
ここで、図10中、201はフレーム信号加算処理部、202はフレーム信号記憶部、203は要素フレーム数判定部、204は平均フレーム信号記憶部、205は最終フレーム判定部である。
フレーム信号加算処理部201の処理:要素フレームの画素値と、フレーム信号記憶部202に記憶される画素値とを入力として、両者の同一位置の画素値を加算する処理を行い、加算後の値をフレーム信号記憶部202に書き出す。さらに、カウンタとして用いるレジスタCの値に1を加算する。
要素フレーム数判定部203の処理:本処理の対象となる要素フレームのフレーム数である平滑化フレーム数を入力として、フレーム信号加算処理部201の処理を終えた要素フレームの数が平滑化フレーム数未満であるか否かの判定を行い、判定結果である真偽値を出力する。出力が真値の場合、フレーム信号加算処理部201の処理に移る。一方、出力が偽値の場合、フレーム信号記憶部202から読み出した全要素の値を平滑化フレーム数で割り算した値を平均フレームの値として、平均フレーム信号記憶部204に格納する。
最終フレーム判定部205の処理:以上の処理を、全てのフレームについて行う。
図11に、図9に示す雑音除去処理部107の詳細な装置構成の一実施例を図示する。
次に、図11に従って、雑音除去処理部107の実行する処理の詳細について説明する。
ここで、図11中、301は要素フレーム信号読込部、302は要素フレーム信号記憶部、303は静止領域判定部、304は静止領域内画素置換処理部、305は平均フレーム信号記憶部、306は要素フレーム信号記憶部、307は要素フレーム信号判定部、308は最終フレーム判定部である。
要素フレーム信号読込部301の処理:平均フレーム信号記憶部305に格納された平均フレームの要素フレームを要素フレーム信号記憶部302に書き出す。
静止領域判定部303の処理:静止領域記憶部106から読み出した静止領域を同定する座標情報と、要素フレーム信号記憶部302から読み出した要素フレームとを入力として、同フレーム内の矩形領域(ブロック呼ぶ)に対して、静止領域に含まれるブロックか否かの判定処理を行い、判定結果である真偽値を出力する。出力が真値の場合、静止領域内画素置換処理部304の処理に移る。出力が偽値の場合、その矩形領域内の画素値を要素フレーム信号記憶部306に書き出す。
静止領域内画素置換処理部304の処理:平均フレーム信号記憶部305から読み出した平均フレームと、要素フレーム信号記憶部302から読み出した要素フレームとを入力として、静止領域判定部303において判定対象となった要素フレームのブロック内の画素値を平均フレーム内の同一位置の画素値で置き換えて、その結果を要素フレーム信号記憶部306に書き出す。
要素フレーム信号判定部307の処理:以上の処理を要素フレーム信号記憶部302に格納した全ての要素フレームについて繰り返す。
最終フレーム判定部308の処理:以上の処理をシーケンス中の全ての平均フレームについて繰り返す。
図12に、本発明の予測モード選択処理を実現するために図1に示した符号化器20の備える装置構成の一実施例を図示する。
この図12に示すように、図1に示した符号化器20は、本発明の予測モード選択処理を実現するために、初期モード設定部401と、モード記憶部402と、符号量算出部403と、符号量記憶部404と、雑音除去歪み量算出部405と、雑音除去歪み量記憶部406と、未定乗数算出部407と、未定乗数記憶部408と、コスト算出部409と、コスト記憶部410と、最小コスト判定部411と、最小コスト記憶部412と、最適モード更新部413と、最適モード記憶部414と、最終モード判定部415と、モード設定部416と、最終モード出力部417とを備える。
初期モード設定部401の処理:予測モードの初期値をモード記憶部402に書き出す。
符号量算出部403の処理:予測モード、量子化パラメータ、符号化対象信号、参照信号を入力として、符号化した場合の符号量を算出し、その算出した値を符号量記憶部404に書き出す。具体的な算出方法は、H.264の参照ソフトウェアJMの方法に従う。
雑音除去歪み量算出部405の処理:予測モード、量子化パラメータ、符号化対象信号、参照信号を入力として、符号化した場合の雑音除去歪み量を算出し、その算出した値を雑音除去歪み量記憶部406に書き出す。この雑音除去歪み量算出部405の装置構成の詳細については図13を用いて後述する。
未定乗数算出部407の処理:予測モード、量子化パラメータを入力として、未定乗数を算出し、その算出した値を未定乗数記憶部408に書き出す。具体的な算出方法は、H.264の参照ソフトウェアJMの方法に従う。
コスト算出部409の処理:符号量記憶部404から読み出した符号量と、雑音除去歪み量記憶部406から読み出した雑音除去歪み量と、未定乗数記憶部408から読み出した未定乗数とを入力として、R−Dコストを算出し、その算出した値をコスト記憶部410に書き出す。具体的な算出方法は、前述した
J' (S, :m,q ,m,q,λ)
=D(S, :m,q )−256Ms +λR(S, :m,q ,m,q)
ただし、R(S, :m,q ,m,q) :符号量
D(S, :m,q )−256Ms :雑音除去歪み量
λ :未定乗数
という式に従う。
最小コスト判定部411の処理:コスト記憶部410から読み出したR−Dコストと、最小コスト記憶部412から読み出した最小コストとを入力として、R−Dコストが最小コストよりも小さいか否かの判定を行い、判定結果である真偽値を出力する。出力が真値の場合、コスト記憶部410から読み出したR−Dコストを最小コスト記憶部412に書き出し、最適モード更新部413の処理に移る。出力が偽値の場合、最終モード判定部415の処理に移る。
最適モード更新部413の処理:最小コスト記憶部412に書き出したR−Dコスト算出に用いた予測モードを最適モード記憶部414に書き出す。
最終モード判定部415,モード設定部416,最適モード出力部417の処理:以上の処理を全ての予測モードについて行う。
図13に、図12に示す雑音除去歪み量算出部405の詳細な装置構成の一実施例を図示する。
次に、図13に従って、雑音除去歪み量算出部405の実行する処理の詳細について説明する。
ここで、図13中、501はフレーム信号記憶部、502は平滑化フレーム数記憶部、503は平滑化処理部、504は平滑化フレーム記憶部、505は静止領域判定部、506は静止領域記憶部、507は雑音除去処理部、508は雑音除去フレーム記憶部、509は静止領域画素数記憶部、510は雑音電力算出部、511は雑音電力記憶部、512はフレーム信号記憶部、513は誤差電力算出部、514は誤差電力記憶部、515は雑音電力減算処理部である。
フレーム信号記憶部501,平滑化フレーム数記憶部502,平滑化処理部503,平滑化フレーム記憶部504,静止領域判定部505,静止領域記憶部506の処理:それぞれ、フレーム信号記憶部101、平滑化フレーム数記憶部102、平滑化処理部103、平滑化フレーム記憶部104、静止領域判定部105、静止領域記憶部106の処理と同じである。
雑音除去処理部507の処理:雑音除去処理部107の入出力に加えて、静止領域の画素数を静止領域画素数記憶部509に書き出す。これは、静止領域記憶部506を参照すれば可能である。
雑音電力算出部510の処理:フレーム信号記憶部501から読み出した原フレームと、雑音除去フレーム記憶部508から読み出した雑音除去フレームと、静止領域画素数記憶部509から読み出したフレーム内の静止領域の画素数とを入力として、静止領域と判定された領域に対して、フィルタリング後の信号と原信号の差分信号を求め、同差分信号の画素あたりの電力を算出し、さらにブロックあたりの電力値に換算した値(“256×Ms ”)を雑音電力記憶部511に書き出す。
誤差電力算出部513の処理:フレーム信号記憶部501から読み出した原フレームと、フレーム信号記憶部512から読み出した参照フレームとを入力として、各ブロック毎に両者の二乗誤差和を算出し、その算出した値(D(S, :m,q ))を誤差電力記憶部514に書き出す。
雑音電力減算処理部515の処理:雑音電力記憶部511から読み出した雑音電力(“256×Ms ”)と、誤差電力記憶部514から読み出した誤差電力(D(S, :m,q ))とを入力として、誤差電力から雑音電力を減算する処理を行い、その算出した値を図12に示す雑音除去歪み量記憶部406に書き出す。
ここで、図12および図13では、予測モード選択について歪み量を修正したコスト関数を用いる場合を説明したが、動き推定の場合も同様に行うことができる。
ただし、動き推定の場合には、R−Dコスト関数として、
J''(v,λ)=D(S, /S(v))−256Ma +λR(v−p)
というものを用いることになる。
本発明によれば、フィルムグレインノイズが抑圧される結果、復号画像におけるちらつきを抑制し、主観画質の向上をはかることができる。また、符号化対象信号の時間的・空間的な相関が高まることから、符号化効率も向上させることができる。さらに、動き推定・予測モード選択において、フィルムグレインノイズに対する再現性の要求を低くすることで、同ノイズの表現に必要な符号量を節約することができるため、符号量を低く抑えることができる。
静止領域の判定方法の説明図である。 静止領域の判定方法の説明図である。 本発明を具備する映像符号化装置の装置構成図である。 プレフィルタ処理部の実行する処理フローの一実施例である。 プレフィルタ処理部の実行する処理フローの一実施例である。 プレフィルタ処理部の実行する処理フローの一実施例である。 符号化器の実行する処理フローの一実施例である。 符号化器の実行する処理フローの一実施例である。 プレフィルタ処理部の装置構成の一実施例である。 平滑化処理部の詳細な装置構成の一実施例である。 雑音除去処理部の詳細な装置構成の一実施例である。 予測モード選択処理を実現するための装置構成の一実施例である。 雑音除去歪み量算出部の詳細な装置構成の一実施例である。
符号の説明
10 プレフィルタ処理部
20 符号化器
101 フレーム信号記憶部
102 平滑化フレーム数記憶部
103 平滑化処理部
104 平滑化フレーム記憶部
105 静止領域判定部
106 静止領域記憶部
107 雑音除去処理部
108 雑音除去フレーム記憶部

Claims (8)

  1. フィルムグレインノイズを含む映像を符号化する映像符号化方法であって、
    符号化対象となる画像信号に対して、時間方向にフレーム平均を施すことで平滑化処理を行う過程と、
    前記平滑化後の画像信号である平均フレームを用いて静止領域の判定を行う過程と、
    前記静止領域と判定された領域に対して、前記平滑化処理の結果を利用したフィルムグレインノイズ除去のためのフィルタリング処理を符号化処理前に行う過程と
    前記静止領域として判定された領域内の画素値と、前記算出された平均値との差分値を求めて、その差分値に応じて、符号化時における動き推定を行う際に用いられるコスト関数もしくは符号化時における予測モードの選択を行う際に用いられるコスト関数、またはその双方のコスト関数内の歪み量を減算してコスト関数の修正を行う過程と、
    前記フィルタリング処理後の映像を、前記修正されたコスト関数を用いる動き補償予測によって符号化する過程とを備えることを、
    特徴とする映像符号化方法。
  2. 請求項1に記載の映像符号化方法において、
    前記フィルタリング処理を行う過程では、連続する2枚以上の平均フレームにおける同一位置の領域が静止領域として判定された場合に、その静止領域に該当するそれらの平均フレームの画素値の平均値を算出して、それらの平均フレームの算出に使用した各フレーム信号内のその空間位置の画素値を、その算出した平均値に置き換えることを、
    特徴とする映像符号化方法。
  3. 請求項1または請求項2に記載の映像符号化方法において、
    前記静止領域の判定を行う過程では、静止領域と判定した領域の近傍に位置する領域についても静止領域であると判定する場合に、その静止領域と判定した領域を最終的に静止領域であると判定することを、
    特徴とする映像符号化方法。
  4. フィルムグレインノイズを含む映像を符号化する映像符号化装置であって、
    符号化対象となる画像信号に対して、時間方向にフレーム平均を施すことで平滑化処理を行う平滑化手段と、
    前記平滑化手段の平滑化した画像信号である平均フレームを用いて静止領域の判定を行う静止領域判定手段と、
    前記静止領域判定手段の判定した静止領域に対して、前記平滑化手段の処理結果を利用したフィルムグレインノイズ除去のためのフィルタリング処理を符号化処理前に行うフィルタリング手段と
    前記静止領域として判定された領域内の画素値と、前記算出された平均値との差分値を求めて、その差分値に応じて、符号化時における動き推定を行う際に用いられるコスト関数もしくは符号化時における予測モードの選択を行う際に用いられるコスト関数、またはその双方のコスト関数内の歪み量を減算してコスト関数の修正を行うコスト関数修正手段と、
    前記フィルタリング処理後の映像を、前記修正されたコスト関数を用いる動き補償予測によって符号化する手段とを備えることを、
    特徴とする映像符号化装置。
  5. 請求項に記載の映像符号化装置において、
    前記フィルタリング手段は、前記静止領域判定手段により連続する2枚以上の平均フレームにおける同一位置の領域が静止領域として判定された場合に、その静止領域に該当するそれらの平均フレームの画素値の平均値を算出して、それらの平均フレームの算出に使用した各フレーム信号内のその空間位置の画素値を、その算出した平均値に置き換えることを、
    特徴とする映像符号化装置。
  6. 請求項4または請求項5に記載の映像符号化装置において、
    前記静止領域判定手段は、静止領域と判定した領域の近傍に位置する領域についても静止領域であると判定する場合に、その静止領域と判定した領域を最終的に静止領域であると判定することを、
    特徴とする映像符号化装置。
  7. 請求項1ないしのいずれか1項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラム。
  8. 請求項1ないしのいずれか1項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006240956A 2006-09-06 2006-09-06 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP4719108B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006240956A JP4719108B2 (ja) 2006-09-06 2006-09-06 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006240956A JP4719108B2 (ja) 2006-09-06 2006-09-06 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2008066911A JP2008066911A (ja) 2008-03-21
JP4719108B2 true JP4719108B2 (ja) 2011-07-06

Family

ID=39289246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006240956A Expired - Fee Related JP4719108B2 (ja) 2006-09-06 2006-09-06 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4719108B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3379830B1 (en) * 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
FR3073999B1 (fr) * 2017-11-23 2024-02-09 Ateme Compression intelligente de contenus video graines

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01143583A (ja) * 1987-11-30 1989-06-06 Nec Corp 画像信号の雑音除去方法
JPH0346466A (ja) * 1989-07-14 1991-02-27 Nippon Television Network Corp 雑音減少回路
JPH06121194A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JP2000078533A (ja) * 1998-04-14 2000-03-14 Thomson Multimedia Sa ビデオ画像のシ―ケンスの静止領域の検出方法
JP2006023812A (ja) * 2004-07-06 2006-01-26 Matsushita Electric Ind Co Ltd 画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01143583A (ja) * 1987-11-30 1989-06-06 Nec Corp 画像信号の雑音除去方法
JPH0346466A (ja) * 1989-07-14 1991-02-27 Nippon Television Network Corp 雑音減少回路
JPH06121194A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JP2000078533A (ja) * 1998-04-14 2000-03-14 Thomson Multimedia Sa ビデオ画像のシ―ケンスの静止領域の検出方法
JP2006023812A (ja) * 2004-07-06 2006-01-26 Matsushita Electric Ind Co Ltd 画像処理装置

Also Published As

Publication number Publication date
JP2008066911A (ja) 2008-03-21

Similar Documents

Publication Publication Date Title
US20220312006A1 (en) Cross-component adaptive loop filter for chroma
CN113228646A (zh) 具有非线性限幅的自适应环路滤波(alf)
WO2010001916A1 (ja) 画像処理装置および方法
JP2008507190A (ja) 動き補償方法
JP5594841B2 (ja) 画像符号化装置及び画像復号装置
KR102162856B1 (ko) 비디오 모션 보상을 위한 장치 및 방법
JP2012034213A (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP2006114979A (ja) 画像符号化装置及びその方法
JP4774315B2 (ja) 画像復号化装置及び画像復号化方法
JP6867611B2 (ja) 画像復号装置、画像復号方法及びプログラム
US20090052536A1 (en) Video Decoding Device, Decoded Image Recording Device, Their Method and Program
JP6253406B2 (ja) 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
JP5943733B2 (ja) 画像符号化装置およびその制御方法ならびにプログラム
JP4719108B2 (ja) 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US11202082B2 (en) Image processing apparatus and method
WO2022077490A1 (zh) 一种帧内预测方法、编码器、解码器及存储介质
JP4824708B2 (ja) 動画像符号化方法,装置,プログラムおよびコンピュータ読み取り可能な記録媒体
JP2005295215A (ja) 動画像符号化装置
JP2010226528A (ja) 符号化装置およびその方法
TWI782853B (zh) 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法
JPWO2007094329A1 (ja) 動画像処理装置、動画像処理方法、および動画像処理プログラム
KR101615503B1 (ko) 인트라 예측 정보를 이용한 해상도 변환 방법 및 그 장치
JP2017085496A (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム
WO2022196133A1 (ja) 符号化装置及び方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080801

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees