JP5346884B2 - 動き補償装置 - Google Patents
動き補償装置 Download PDFInfo
- Publication number
- JP5346884B2 JP5346884B2 JP2010142960A JP2010142960A JP5346884B2 JP 5346884 B2 JP5346884 B2 JP 5346884B2 JP 2010142960 A JP2010142960 A JP 2010142960A JP 2010142960 A JP2010142960 A JP 2010142960A JP 5346884 B2 JP5346884 B2 JP 5346884B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- representative
- motion
- target
- representative image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
また、動き補償装置は、動き推定手段によって、外部から参照画像と、参照画像内に設定された局所領域の入力を受け付け、代表画像内において、局所領域に対応する対応領域を求めることで、代表画像と参照画像との間の動きベクトル情報を求める。ここで、局所領域とは、参照画像内に設定された1または複数の領域である。なお、局所領域が1つの場合は、大局的に動き推定を行い、局所領域が複数の場合は、局所的に動き推定を行う。
そして、動き補償装置は、画像変形手段によって、それぞれの対象画像に対応して、動きベクトル情報に基づいて当該対象画像を移動または変形し、その結果を動き補償画像としてそれぞれ出力する。なお、局所領域が1つの場合は、対象画像を大局的に移動または変形し、局所領域が複数の場合は、対象画像を局所的に移動または変形することになる。
これによれば、代表画像と参照画像との間で動き推定を行った結果に基づいて、複数の対象画像の動き補償を行うことができるので、演算量を削減し、効率的な動き補償が実現できる。また、「移動または変形」とは、画像を幾何変換することを指し、画像変形手段による処理の前後で、画像の画素位置が、画像全体として、または、部分領域単位で、あるいは、画素単位で変更されることを示す
これによれば、複数の対象画像の画素位置ごとの画素値に対する重要度に応じて代表値を演算する。このため、複数の対象画像の特徴に適合した動き推定を行うことが可能となる。
なお、ここでの平均値とは、全ての対象画像の画素位置ごとの画素値の平均値でもよいし、例えば全ての対象画像の画素位置ごとの画素値の中から最大側または最小側、あるいは、その両側から所定の個数の画素値を除いた残りの画素値の平均値でもよい。
請求項1に記載の発明によれば、代表画像と参照画像との間で動き推定を行った結果を用いて、複数の対象画像の動き推定を行うことができるので、演算量を削減することができ、処理時間を短縮化することが可能となるとともに、対象画像内の画素ごとに代表値演算を行うため、複数の異なる被写体の存在する画像において、この被写体ごとに適応的な動き推定ができ、動き推定を頑健化することが可能となる。
請求項2に記載の発明によれば、複数の対象画像の画素位置ごとの画素値に対する重要度に応じて代表値を演算するため、複数の対象画像の特徴に適合した動き推定を行うことが可能となる。
請求項3に記載の発明によれば、画素位置ごとの画素値の代表値として画素値群の平均値を用いる場合は、複数の対象画像の特徴を平均的に含んだ代表画像を生成し、この代表画像を用いて動き推定を行うため、全ての対象画像に対して中庸な動き推定を行うことが可能となる。
また、画素位置ごとの画素値の代表値として画素位置ごとの画素値の代表値として画素値群の加重平均値を用いる場合は、寄与度として、例えば信頼度や重要度が指定される場合、その信頼度や重要度に応じた動き推定を行うことが可能となる。
また、画素位置ごとの画素値の代表値として画素値群の中央値や画素値群の最頻値を用いる場合は、ノイズなどに頑健な動き推定を行うことが可能となる。
また画素位置ごとの画素値の代表値として画素値群の中から乱数により選択した画素値を用いる場合は、動き補償に確率過程を導入することができるので、モンテカルロ法などの確率統計的な演算法に適用するのに適した動き補償画像を得ることが可能となる。
請求項4に記載の発明によれば、動き推定を頑健化することが可能となるか、または演算量や記憶容量を極端に増加させることなく、動き推定処理において、集合平均的に複数の対象画像の情報を考慮することが可能となる。
まず、本実施形態に係る動き補償装置の概要を説明する。
本実施形態に係る動き補償装置は、時系列に連続した画像である動画像に対して動き補償予測を行うことによって、動画像を符号化した符号化データを得る動画像符号化技術において、動き補償予測を行うためのものである。
次に、本実施形態に係る動き補償装置1の構成について図1〜図3を参照して説明する。
本実施形態に係る動き補償装置1は、図1に示すように、N枚の対象画像T1,T2,…,TNを入力し、このN枚の対象画像T1,T2,…,TNから代表画像Dを生成する代表画像生成手段10と、代表画像生成手段10から入力された代表画像Dと参照画像生成手段40から入力された参照画像Sとの間で動き推定を行う動き推定手段20と、動き推定手段20による動き推定結果に基づいて対象画像T1,T2,…,TNを移動または変形させる複数の画像変形手段301,302,…,30Nとを備えている。
次に、動き補償装置1の各構成要素について説明する。
N枚の対象画像T1,T2,…,TNとは、MPEG−1、MPEG−2、MPEG−4、AVCなどにおける、現在符号化処理の対象となっている画像の時間的に直前の画像である。例えば、3板式あるいは4板式のカメラで撮像された画像を分光して得られる色成分の値からそれぞれ生成した輝度画像を対象画像T1,T2,…,TNとする。3板式のカメラで撮像した場合には、R(Red)成分の値から生成した輝度画像を対象画像T1とし、G(Green)成分の値から生成した輝度画像を対象画像T2とし、B(Blue)成分の値から生成した輝度画像を対象画像T3(図示せず)とすることができる。この対象画像T1〜T3(図示せず)は、被写体の位置は同じであるが、波長およびノイズが異なるものである。
代表画像生成手段10は、画素値列(T1(x,y),T2(x,y),…,TN(x,y))の乱数による標本抽出によって、当該画素値列(T1(x,y),T2(x,y),…,TN(x,y))の各項の中から画素値を1つ選択して代表画像Dの画素値D(x,y)としてもよい。
すなわち、次の式(6)を用いて、対象画像T1,T2,…,TNを関数F(T1,T2,…,TN)により評価して、選択すべき対象画像のインデックスを求め、当該インデックスの対象画像を代表画像Dとして出力する。
また例えば、関数Fは、各対象画像の中から、乱数により確率的に1枚を選択し、そのインデックスを出力してもよい。このとき、乱数を生成する確率過程は固定のもの(例えば一様乱数)であっても構わないし、各対象画像の評価結果(コントラスト等)に応じて出現頻度の変わるよう設計された確率過程に基づく乱数系列であっても構わない。
代表画像生成手段10は、以上のいずれかの方法によって生成した代表画像Dを、動き推定手段20に出力する。
ブロックマッチング法では、まず、代表画像D内に局所領域Mをとる。次に、参照画像Sにおける局所領域Lk内の画素値パターンと、代表画像D内における局所領域M内の画素値パターンとを比較し、評価値E(S,Lk;D,M)を求める。そして、代表画像D内において、評価値E(S,Lk;D,M)が最大(または最小)となる局所領域Mを探索し、当該局所領域を対応領域Rkとする。
動き推定手段20が、評価値E(S,Lk;D,M)を最大化する局所領域Lkを対応領域Rkとする場合には、対応領域Rkを、次の式(7)により求めることができる。
例えば、画素値パターン対の絶対値誤差和による場合、評価値E(S,Lk;D,M)を、次の式(9)により求めることができる。
動き推定手段20は、前記したいずれかの手法により求めた対応領域Rkの情報を、画像変形手段301,302,…,30Nに出力する。
画像変形手段30nは、対応領域Rkに基づいて、対象画像Tnに対して、参照画像Sに近似させるように画像変形を実行して、各画像変形結果を動き補償画像Cnとして出力する。
つまり、画像変形手段30nは、次に示す式(10)により動き補償画像Cnを生成する。画像変形手段30nは、このようにして生成した動き補償画像Cnを外部に出力する。
次に、本実施形態に係る動き補償装置1の動作について図2〜図4および適宜図1を参照して説明する。
以下では、説明の便宜上、図2,3の紙面下側にそれぞれ示したような2枚の対象画像T1,T2を用いて説明する。2枚の対象画像T1,T2は被写体として、それぞれリンゴ,バナナ,メロン,オレンジを含むと共に、それぞれ異なるノイズを含んでいる。なおここでは、説明を分かりやすくするため、対象画像T1,T2においてノイズなどに起因する参照画像Sの対応する領域との差異を、蝶で表している。
ここでは、画像S1,S2は、対象画像T1,T2と時刻が異なる画像とする。また、参照画像生成手段40で生成された参照画像Sは、図2の紙面上側に示したように、被写体として、リンゴ,バナナ,メロン,オレンジを含むものとする。また、参照画像生成手段40によって、参照画像Sを水平2分割、垂直3分割して、6個の正方形の部分領域(ブロック)群に分割し、その部分領域の一つ一つを局所領域L1〜L6と定義しているものとする。
次に、動き補償装置1の動作を説明する。
また、動き補償装置1は、代表画像生成手段10によって、外部から対象画像T1,T2の入力を受け付ける(ステップS2)。
そして、動き補償装置1は、代表画像生成手段10によって、対象画像T1,T2を用いて、前記したいずれかの方法を用いて代表画像Dの画素位置ごとの代表値D(x,y)を全ての画素位置について決定することで図2の紙面中央に示すような代表画像Dを生成する(ステップS3)。動き補償装置1は、代表画像生成手段10によって、生成した代表画像Dを動き推定手段20に出力する。
そして、動き補償装置1は、画像変形手段301,302によって、生成した動き補償画像C1,C2を外部に出力する(ステップS8)。
動き補償装置1は、以上のように動作する。
まず、動き補償装置1Bは、動き推定手段20によって、参照画像生成手段40で生成されたノイズの無い参照画像Sおよび局所領域Lkの入力を受け付ける。また、動き補償装置1Bは、代表画像生成手段10あるいはノイズ除去手段によって、外部からノイズが含まれている対象画像T1,T2,…,TNの入力を受け付ける。
また、動き補償画像C1〜CNには、対象画像T1,T2,…,TN間の差異が含まれているので、この対象画像間の差異を利用した応用が可能である。例えば、様々な波長で動画像に含まれる欠陥を監視したい場合に、ノイズを波長ごとの違いを表す情報として利用できる。また例えば、超解像技術にモンテカルロ法を適用する場合に、乱数で摂動された画像群(仮説群)に対して、仮説間の差異を保存した動き補償を高速に実現するための装置として利用することができる。
10 代表画像生成手段
20 動き推定手段
301,302,…,30N 画像変形手段
40 参照画像生成手段
T1,T2,…,TN 対象画像
S 参照画像
D 代表画像
L1〜L6 局所領域
R1〜R6 対応領域
C1,C2 動き補償画像
411〜416、421〜426 局所領域
Claims (4)
- 複数の対象画像を、1つの参照画像に対して位置合わせし、位置合わせ後の前記複数の対象画像を複数の動き補償画像として出力する動き補償装置であって、
前記複数の対象画像から代表画像を生成する代表画像生成手段と、
外部から前記参照画像と、前記参照画像内に設定された局所領域の入力を受け付け、前記代表画像内において、前記局所領域に対応する対応領域を求めることで、前記代表画像と前記参照画像との間の動きベクトル情報を求める動き推定手段と、
それぞれの前記対象画像に対応して、前記動きベクトル情報に基づいて当該対象画像を移動または変形し、その結果を前記動き補償画像として出力する画像変形手段と、
を備え、
前記代表画像生成手段が、
前記複数の対象画像において、画素位置ごとの画素値の代表値を演算して前記代表画像を生成する
ことを特徴とする動き補償装置。 - 前記代表画像生成手段が、
前記画素位置ごとの画素値の代表値を、各画素値に対する重要度に応じて演算して前記代表画像を生成する
ことを特徴とする請求項1に記載の動き補償装置。 - 前記代表画像生成手段が、
前記画素位置ごとの画素値の代表値として、画素値群の平均値、画素値群の加重平均値、画素値群の中央値、画素値群の最頻値、または画素値群の中から乱数により選択した画素値を用いて前記代表画像を生成する
ことを特徴とする請求項1または請求項2に記載の動き補償装置。 - 複数の対象画像を、1つの参照画像に対して位置合わせし、位置合わせ後の前記複数の対象画像を複数の動き補償画像として出力する動き補償装置であって、
前記複数の対象画像から代表画像を生成する代表画像生成手段と、
外部から前記参照画像と、前記参照画像内に設定された局所領域の入力を受け付け、前記代表画像内において、前記局所領域に対応する対応領域を求めることで、前記代表画像と前記参照画像との間の動きベクトル情報を求める動き推定手段と、
それぞれの前記対象画像に対応して、前記動きベクトル情報に基づいて当該対象画像を移動または変形し、その結果を前記動き補償画像として出力する画像変形手段と、
を備え、
前記代表画像生成手段が、前記複数の対象画像の中から、前記それぞれの対象画像の画像特徴に基づいて1画像を選択して、前記代表画像として出力するか、または、前記複数の対象画像の中から乱数に基づいて1画像を選択して、前記代表画像として出力することを特徴とする動き補償装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010142960A JP5346884B2 (ja) | 2010-06-23 | 2010-06-23 | 動き補償装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010142960A JP5346884B2 (ja) | 2010-06-23 | 2010-06-23 | 動き補償装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012010031A JP2012010031A (ja) | 2012-01-12 |
JP5346884B2 true JP5346884B2 (ja) | 2013-11-20 |
Family
ID=45540099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010142960A Expired - Fee Related JP5346884B2 (ja) | 2010-06-23 | 2010-06-23 | 動き補償装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5346884B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06351001A (ja) * | 1993-06-08 | 1994-12-22 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法および動き補償予測方法並びにその装置 |
JPH07327242A (ja) * | 1994-05-31 | 1995-12-12 | Sanyo Electric Co Ltd | 立体動画像圧縮符号化装置及び立体動画像復号再生装置 |
JP4630174B2 (ja) * | 2005-11-14 | 2011-02-09 | 日本放送協会 | 動きベクトル検出装置 |
KR101330630B1 (ko) * | 2006-03-13 | 2013-11-22 | 삼성전자주식회사 | 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치 |
KR101311403B1 (ko) * | 2006-07-04 | 2013-09-25 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 |
-
2010
- 2010-06-23 JP JP2010142960A patent/JP5346884B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012010031A (ja) | 2012-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5555706B2 (ja) | 高解像度映像獲得装置およびその方法 | |
CN109791697A (zh) | 使用统计模型从图像数据预测深度 | |
RU2603529C2 (ru) | Уменьшение шума в последовательностях изображений | |
JP5229575B2 (ja) | 画像処理装置および方法、並びにプログラム | |
TW201146011A (en) | Bi-directional, local and global motion estimation based frame rate conversion | |
CN101765022A (zh) | 一种基于光流与图像分割的深度表示方法 | |
CN109963048A (zh) | 降噪方法、降噪装置及降噪电路系统 | |
JP2012169992A5 (ja) | ||
US20130083162A1 (en) | Depth fusion method and apparatus using the same | |
JP2013143102A (ja) | 移動物体検出装置、移動物体検出方法およびプログラム | |
WO2011074121A1 (ja) | 動きベクトル検出装置及び方法 | |
JP2012127699A5 (ja) | ||
CN114651270A (zh) | 通过时间可变形卷积进行深度环路滤波 | |
JP2004356747A (ja) | 画像のマッチング方法および装置 | |
JP5903305B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5346884B2 (ja) | 動き補償装置 | |
CN103618904B (zh) | 基于像素的运动估计方法及装置 | |
Kim et al. | Part-attentive kinematic chain-based regressor for 3D human modeling | |
JP5331643B2 (ja) | 動きベクトル検出装置及びプログラム | |
Raj et al. | SpFusionNet: deep learning-driven brain image fusion with spatial frequency analysis | |
JP2011197954A (ja) | 信号処理装置及びプログラム | |
CN107172426B (zh) | 基于双MIC的OpenCL并行帧率上转换方法 | |
JP2010097355A (ja) | 画像分離装置、画像分離方法および画像分離プログラム | |
Mahmood et al. | Measuring focus quality in vector valued images for shape from focus | |
Shukla et al. | Unsteady camera zoom stabilization using slope estimation over interest warping vectors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |