JP4719108B2 - 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4719108B2 JP4719108B2 JP2006240956A JP2006240956A JP4719108B2 JP 4719108 B2 JP4719108 B2 JP 4719108B2 JP 2006240956 A JP2006240956 A JP 2006240956A JP 2006240956 A JP2006240956 A JP 2006240956A JP 4719108 B2 JP4719108 B2 JP 4719108B2
- Authority
- JP
- Japan
- Prior art keywords
- still
- frame
- region
- video encoding
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
K.P.Lim and G.Sullivan and T.Wiegand, Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, JVT-R95, Jan., 2006.
1.デジタル出力対応のカメラを用いて、データとして撮影する方法
2.フィルムに撮影された映像をフィルムスキャンによりデジタル化する方法
という2通りの方法がある。
J(S, :Sm,q ,m,q,λ)
=D(S, :Sm,q )+λR(S, :Sm,q ,m,q)
というR−Dコストを最小化する予測モードを選択している。
J(v,λ)=D(S, /S(v))+λR(v−p)
というR−Dコストを最小化する動きベクトルを推定している。
時間方向の平滑化処理によりフィルムグレインノイズを抑圧する。ここでは、第tフレームにおける位置(x,y)の画素値をf(x,y,t)と表す。このとき、第(k−1)Mフレームから第kM−1フレームまでのMフレームにおける位置(x,y)の平均値を次式で表す。
フィルムグレインノイズは、この雑音成分n(x,y,t)に含まれる。静止領域においては、画像成分s(x,y,t)は時間的に変化しない。このため、静止領域Rが連続するMフレームにおいて存在するとした場合、上記の式(3)は以下のように展開できる。
フィルムグレインノイズの影響が軽減された平均フレームf* (x,y,(k−1)M,kM−1)を用いて、静止領域を判定する。静止領域の判定方法としては、例えば、以下の方法がある。
次式で定まる変移量(dx (i),dy (j))が、(dx (i),dy (j))=(0,0)を満たす正方領域(L×L[画素])を静止領域とする。
上記の式(7)で定まる変移量が、図1に示す条件1から条件4までの少なくとも1つを満たす場合、変移量(dx (i),dy (j))を有する正方領域(L×L[画素])を静止領域とする。
(i−2)L≦x≦(i−1)L−1, (j−1)L≦y≦jL−1,
(i−1)L≦x≦iL−1, (j−2)L≦y≦(j−1)L−1
という周りのブロックも静止領域となることを条件としていることを意味している。
上記の式(7)で定まる変移量が、図2に示す条件1から条件4までの少なくとも1つを満たす場合、変移量(dx (i),dy (j))を有する正方領域(L×L[画素])を静止領域とする。
上記の式(7)で定まる変移量が、次式を満たす正方領域(L×L[画素])を静止領域とする。
(<dx (i)>,<dy (j)>)=(0,0)
ここで、(<dx (i)>,<dy (j)>)は、(dx (i−1),dy (j)),(dx (i),dy (j−1)),(dx (i−1),dy (j−1))の中央値ベクトルである。
静止領域と判定した領域内の画素については、平滑化後の画素値で置き換える。具体的には、以下のいずれかの方法を取る。なお、以下では、f(x,y,τ)に対するフィルタリング処理後の信号をf# (x,y,τ)で表している。
第k番目の平均フレームf* (x,y,(k−1)M,kM−1)において静止領域と判定した領域Rに関して、平均フレームf* (x,y,(k−1)M,kM−1)およびf* (x,y,(k−2)M,(k−1)M−1)の要素フレームにおける領域R内の画素値を次式の通り変更する。一方、静止領域と判定しなかった領域に関しては、特に処理は行わない。
((x,y)∈R,(k−2)M≦τ≦kM−1)
=f(x,y,τ)
((x,y)not∈R,(k−2)M≦τ≦kM−1)
ここで、f* (x,y,(k−2)M,kM−1)は、2つの平均フレームf* (x,y,(k−1)M,kM−1)およびf* (x,y,(k−2)M,(k−1)M−1)の平均フレームにあたる。また、 not∈Rは領域Rに含まれないことを示す記号である。
第k0 番目の平均フレームf* (x,y,(k0 −1)M,k0 M−1)において静止領域と判定した領域Rについて、後続のL枚の平均フレームにおいても静止領域と判定した場合、領域Rに関して、平均フレームf* (x,y,(k−1)M,kM−1)(k0 −1≦k≦k0 +L)の算出に用いた(L+2)Mフレームにおける領域R内の画素値を次式の通り変更する。一方、静止領域と判定しなかった領域に関しては、特に処理は行わない。
((x,y)∈R,(k0 −2)M≦τ≦(k0 +L)M−1)
=f(x,y,τ)
((x,y)not∈R,(k0 −2)M≦τ≦(k0 +L)M−1)
ここで、f* (x,y,(k0 −2)M,(k0 +L)M−1)は、L+2枚の平均フレームフレームf* (x,y,(k−1)M,kM−1)(k0 −1≦k≦k0 +L)の平均フレームにあたる。
フィルムグレインノイズの影響を考慮して、動き推定・予測モード選択におけるR−Dコストの歪み量を修正する。
=D(S, :Sm,q )−256Ms +λR(S, :Sm,q ,m,q)
J''(v,λ)=D(S, /S(v))−256Ma +λR(v−p)
なお、上式では、マクロブロック(16×16[画素])あたりのフィルムグレインノイズの二乗和、絶対値和とするため、Ms およびMa を256(16×16)倍している。
D' =D−256Ma (D:絶対値誤差和の場合) 式(9)
以上に説明したように、本発明では、時間軸方向の平滑化処理により、静止領域におけるフィルムグレインノイズを除去することができるようになる。
J(S, :Sm,q ,m,q,λ)
=D(S, :Sm,q )+λR(S, :Sm,q ,m,q)
というR−Dコスト関数は、
J' (S, :Sm,q ,m,q,λ)
=D(S, :Sm,q )−256Ms +λR(S, :Sm,q ,m,q)
というように修正される。
J' (S, :Sm,q ,m,q,λ)
=D(S, :Sm,q )−256Ms +λR(S, :Sm,q ,m,q)
ただし、R(S, :Sm,q ,m,q) :符号量
D(S, :Sm,q )−256Ms :雑音除去歪み量
λ :未定乗数
という式に従う。
J''(v,λ)=D(S, /S(v))−256Ma +λR(v−p)
というものを用いることになる。
J' (S, :Sm,q ,m,q,λ)
=D(S, :Sm,q )−256Ms +λR(S, :Sm,q ,m,q)
ただし、R(S, :Sm,q ,m,q) :符号量
D(S, :Sm,q )−256Ms :雑音除去歪み量
λ :未定乗数
という式に従う。
J''(v,λ)=D(S, /S(v))−256Ma +λR(v−p)
というものを用いることになる。
20 符号化器
101 フレーム信号記憶部
102 平滑化フレーム数記憶部
103 平滑化処理部
104 平滑化フレーム記憶部
105 静止領域判定部
106 静止領域記憶部
107 雑音除去処理部
108 雑音除去フレーム記憶部
Claims (8)
- フィルムグレインノイズを含む映像を符号化する映像符号化方法であって、
符号化対象となる画像信号に対して、時間方向にフレーム平均を施すことで平滑化処理を行う過程と、
前記平滑化後の画像信号である平均フレームを用いて静止領域の判定を行う過程と、
前記静止領域と判定された領域に対して、前記平滑化処理の結果を利用したフィルムグレインノイズ除去のためのフィルタリング処理を符号化処理前に行う過程と、
前記静止領域として判定された領域内の画素値と、前記算出された平均値との差分値を求めて、その差分値に応じて、符号化時における動き推定を行う際に用いられるコスト関数もしくは符号化時における予測モードの選択を行う際に用いられるコスト関数、またはその双方のコスト関数内の歪み量を減算してコスト関数の修正を行う過程と、
前記フィルタリング処理後の映像を、前記修正されたコスト関数を用いる動き補償予測によって符号化する過程とを備えることを、
特徴とする映像符号化方法。 - 請求項1に記載の映像符号化方法において、
前記フィルタリング処理を行う過程では、連続する2枚以上の平均フレームにおける同一位置の領域が静止領域として判定された場合に、その静止領域に該当するそれらの平均フレームの画素値の平均値を算出して、それらの平均フレームの算出に使用した各フレーム信号内のその空間位置の画素値を、その算出した平均値に置き換えることを、
特徴とする映像符号化方法。 - 請求項1または請求項2に記載の映像符号化方法において、
前記静止領域の判定を行う過程では、静止領域と判定した領域の近傍に位置する領域についても静止領域であると判定する場合に、その静止領域と判定した領域を最終的に静止領域であると判定することを、
特徴とする映像符号化方法。 - フィルムグレインノイズを含む映像を符号化する映像符号化装置であって、
符号化対象となる画像信号に対して、時間方向にフレーム平均を施すことで平滑化処理を行う平滑化手段と、
前記平滑化手段の平滑化した画像信号である平均フレームを用いて静止領域の判定を行う静止領域判定手段と、
前記静止領域判定手段の判定した静止領域に対して、前記平滑化手段の処理結果を利用したフィルムグレインノイズ除去のためのフィルタリング処理を符号化処理前に行うフィルタリング手段と、
前記静止領域として判定された領域内の画素値と、前記算出された平均値との差分値を求めて、その差分値に応じて、符号化時における動き推定を行う際に用いられるコスト関数もしくは符号化時における予測モードの選択を行う際に用いられるコスト関数、またはその双方のコスト関数内の歪み量を減算してコスト関数の修正を行うコスト関数修正手段と、
前記フィルタリング処理後の映像を、前記修正されたコスト関数を用いる動き補償予測によって符号化する手段とを備えることを、
特徴とする映像符号化装置。 - 請求項4に記載の映像符号化装置において、
前記フィルタリング手段は、前記静止領域判定手段により連続する2枚以上の平均フレームにおける同一位置の領域が静止領域として判定された場合に、その静止領域に該当するそれらの平均フレームの画素値の平均値を算出して、それらの平均フレームの算出に使用した各フレーム信号内のその空間位置の画素値を、その算出した平均値に置き換えることを、
特徴とする映像符号化装置。 - 請求項4または請求項5に記載の映像符号化装置において、
前記静止領域判定手段は、静止領域と判定した領域の近傍に位置する領域についても静止領域であると判定する場合に、その静止領域と判定した領域を最終的に静止領域であると判定することを、
特徴とする映像符号化装置。 - 請求項1ないし3のいずれか1項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラム。
- 請求項1ないし3のいずれか1項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006240956A JP4719108B2 (ja) | 2006-09-06 | 2006-09-06 | 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006240956A JP4719108B2 (ja) | 2006-09-06 | 2006-09-06 | 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008066911A JP2008066911A (ja) | 2008-03-21 |
JP4719108B2 true JP4719108B2 (ja) | 2011-07-06 |
Family
ID=39289246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006240956A Expired - Fee Related JP4719108B2 (ja) | 2006-09-06 | 2006-09-06 | 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4719108B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3379830B1 (en) * | 2017-03-24 | 2020-05-13 | Axis AB | A method, a video encoder, and a video camera for encoding a video stream |
FR3073999B1 (fr) * | 2017-11-23 | 2024-02-09 | Ateme | Compression intelligente de contenus video graines |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01143583A (ja) * | 1987-11-30 | 1989-06-06 | Nec Corp | 画像信号の雑音除去方法 |
JPH0346466A (ja) * | 1989-07-14 | 1991-02-27 | Nippon Television Network Corp | 雑音減少回路 |
JPH06121194A (ja) * | 1992-10-08 | 1994-04-28 | Sony Corp | ノイズ除去回路 |
JP2000078533A (ja) * | 1998-04-14 | 2000-03-14 | Thomson Multimedia Sa | ビデオ画像のシ―ケンスの静止領域の検出方法 |
JP2006023812A (ja) * | 2004-07-06 | 2006-01-26 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
-
2006
- 2006-09-06 JP JP2006240956A patent/JP4719108B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01143583A (ja) * | 1987-11-30 | 1989-06-06 | Nec Corp | 画像信号の雑音除去方法 |
JPH0346466A (ja) * | 1989-07-14 | 1991-02-27 | Nippon Television Network Corp | 雑音減少回路 |
JPH06121194A (ja) * | 1992-10-08 | 1994-04-28 | Sony Corp | ノイズ除去回路 |
JP2000078533A (ja) * | 1998-04-14 | 2000-03-14 | Thomson Multimedia Sa | ビデオ画像のシ―ケンスの静止領域の検出方法 |
JP2006023812A (ja) * | 2004-07-06 | 2006-01-26 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008066911A (ja) | 2008-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220312006A1 (en) | Cross-component adaptive loop filter for chroma | |
CN113228646A (zh) | 具有非线性限幅的自适应环路滤波(alf) | |
WO2010001916A1 (ja) | 画像処理装置および方法 | |
JP2008507190A (ja) | 動き補償方法 | |
JP5594841B2 (ja) | 画像符号化装置及び画像復号装置 | |
KR102162856B1 (ko) | 비디오 모션 보상을 위한 장치 및 방법 | |
JP2012034213A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP2006114979A (ja) | 画像符号化装置及びその方法 | |
JP4774315B2 (ja) | 画像復号化装置及び画像復号化方法 | |
JP6867611B2 (ja) | 画像復号装置、画像復号方法及びプログラム | |
US20090052536A1 (en) | Video Decoding Device, Decoded Image Recording Device, Their Method and Program | |
JP6253406B2 (ja) | 画像符号化装置、撮像装置、画像符号化方法、及びプログラム | |
JP5943733B2 (ja) | 画像符号化装置およびその制御方法ならびにプログラム | |
JP4719108B2 (ja) | 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US11202082B2 (en) | Image processing apparatus and method | |
WO2022077490A1 (zh) | 一种帧内预测方法、编码器、解码器及存储介质 | |
JP4824708B2 (ja) | 動画像符号化方法,装置,プログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP2005295215A (ja) | 動画像符号化装置 | |
JP2010226528A (ja) | 符号化装置およびその方法 | |
TWI782853B (zh) | 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法 | |
JPWO2007094329A1 (ja) | 動画像処理装置、動画像処理方法、および動画像処理プログラム | |
KR101615503B1 (ko) | 인트라 예측 정보를 이용한 해상도 변환 방법 및 그 장치 | |
JP2017085496A (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム | |
JP4222274B2 (ja) | 符号化モード選択装置及び符号化モード選択プログラム | |
WO2022196133A1 (ja) | 符号化装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080529 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080801 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100810 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110401 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |