JP5841345B2 - 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 Download PDFInfo
- Publication number
- JP5841345B2 JP5841345B2 JP2011084583A JP2011084583A JP5841345B2 JP 5841345 B2 JP5841345 B2 JP 5841345B2 JP 2011084583 A JP2011084583 A JP 2011084583A JP 2011084583 A JP2011084583 A JP 2011084583A JP 5841345 B2 JP5841345 B2 JP 5841345B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- reference image
- target pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 64
- 238000003384 imaging method Methods 0.000 title claims description 14
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000033001 locomotion Effects 0.000 claims description 434
- 239000013598 vector Substances 0.000 claims description 327
- 238000004364 calculation method Methods 0.000 claims description 130
- 238000000034 method Methods 0.000 claims description 41
- 238000005259 measurement Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1は、第一実施形態に係る画像処理装置のブロック構成図を示す。本実施形態では、画像処理装置は、撮像装置に搭載されている。撮像装置は、電子機器の一例として示すものであり、例えば、ビデオカメラ、電子スチルカメラなどである。
第一実施形態によると、画像処理装置200は、基準画像と少なくとも一枚以上の参照画像とを加重加算する。画像処理装置200のコントラスト算出部102は、基準画像中の対象画素のコントラスト値を算出する。画像処理装置200の動きベクトル算出部120は、基準画像と参照画像との間の動きベクトルを算出するものであり、コントラスト値を使用して動きベクトルの算出方法を変更する。これにより、動きベクトルをコントラストに応じた算出方法で算出でき、動き補償誤差をコントラストに応じて減少できる。従って、回路規模や計算量を大きく増加させることなく、揺れを少なくしつつノイズを除去した動画像を得ることができる。
図7は、第二実施形態に係る画像処理装置のブロック構成図を示す。第二実施形態において、画像処理装置は、高コントラスト画素数算出部201と条件判定部202を備え、また、第一実施形態とは動きベクトル選択の条件判定が異なる。それ以外の構成は、第一実施形態と同様であり説明を省略する。
図9は、第三実施形態に係る画像処理装置のブロック構成図を示す。第三実施形態において、画像処理装置は方向変動量算出部301と条件判定部302を備え、また、第一実施形態とは動きベクトル選択の条件判定が異なる。それ以外の構成は、第一実施形態と同様であり説明を省略する。
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、CPUと、画像データを記憶するRAM等の主記憶装置と、上記の画像処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、CPUが上記記憶媒体に記憶されている画像処理プログラムを読み出して、画像データの加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。
101 第一動きベクトル算出部
102 コントラスト算出部
103、202、302 条件判定部
104 制御スイッチ部
105 第二動きベクトル算出部
106 動き補償部
107 信頼度算出部
108 加重加算部
120 動きベクトル算出部
200 画像処理装置
201 高コントラスト画素数算出部
300 フレームメモリ
301 方向変動量算出部
Claims (11)
- 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理装置であって、
前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出部と、
前記対象画素を除いた前記対象画素の近隣領域内で、コントラストの値が第一閾値以上である高コントラストな画素の数を算出する画素数算出部と、
複数の画素の動きから第一動きベクトルを算出する第一動きベクトル算出部と、前記第一動きベクトルを補正することによって画素単位の動きを表す第二動きベクトルを算出する第二動きベクトル算出部から構成され、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
前記対象画素の前記コントラスト値が規定範囲内であるか否かを判定し、前記コントラスト値が前記規定範囲内の場合に前記第二動きベクトルを選択し、他方、前記コントラスト値が規定範囲外の場合に前記第一動きベクトルを選択する条件判定部と、
前記条件判定部により選択された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償部と、
前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算部と、を備え、
前記条件判定部は、前記対象画素の前記コントラスト値が前記規定範囲内で、かつ、前記高コントラストな画素の数が第二閾値以上の場合に、前記第二動きベクトルを選択することを特徴とする画像処理装置。 - 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理装置であって、
前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出部と、
複数の画素の動きから第一動きベクトルを算出する第一動きベクトル算出部と、前記第一動きベクトルを補正することによって画素単位の動きを表す第二動きベクトルを算出する第二動きベクトル算出部から構成され、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
前記対象画素の近隣領域内で、前記第二動きベクトルの方向の変動の程度を表す方向変動量を算出する方向変動量算出部と、
前記対象画素の前記コントラスト値が規定範囲内であるか否かを判定し、前記コントラスト値が前記規定範囲内の場合に前記第二動きベクトルを選択し、他方、前記コントラスト値が規定範囲外の場合に前記第一動きベクトルを選択する条件判定部と、
前記条件判定部により選択された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償部と、
前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算部と、を備え、
前記条件判定部は、前記対象画素の前記コントラスト値が前記規定範囲内で、かつ、前記第二動きベクトルの前記方向変動量が第三閾値未満の場合に、前記第二動きベクトルを選択することを特徴とする画像処理装置。 - 前記第一動きベクトル算出部は、前記基準画像において離散的に配置された前記複数の画素に対して複数の動きベクトルを算出し、前記複数の動きベクトルの統計量から前記第一動きベクトルを算出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記第一動きベクトル算出部は、前記基準画像において離散的に配置された前記複数の画素に対して複数の動きベクトルを算出し、前記複数の動きベクトルの補間演算により前記第一動きベクトルを算出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記画像処理装置は、前記基準画像と前記動き補償された参照画像との間で、前記対象画素に関する動き補償の信頼度を算出する信頼度算出部を備え、
前記加重加算部は、前記信頼度に応じて前記基準画像と前記参照画像の加算比率を算出し、前記加算比率に基づいて前記基準画像と前記参照画像を加重加算することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記信頼度算出部は、前記基準画像の前記対象画素を含む基準領域と、前記動き補償された参照画像内で前記基準領域に対応する参照領域との間で相違度を算出し、前記相違度が低いほど前記信頼度を高く算出することを特徴とする請求項5に記載の画像処理装置。
- 請求項1又は2に記載の画像処理装置を備えることを特徴とする撮像装置。
- 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理方法であって、
前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出ステップと、
前記対象画素を除いた前記対象画素の近隣領域内で、コントラストの値が第一閾値以上である高コントラストな画素の数を算出する画素数算出ステップと、
複数の画素の動きから第一動きベクトルを算出する第一動きベクトル算出ステップと、前記第一動きベクトルを補正することによって画素単位の動きを表す第二動きベクトルを算出する第二動きベクトル算出ステップから構成され、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出ステップと、
前記対象画素の前記コントラスト値が規定範囲内であるか否かを判定し、前記コントラスト値が前記規定範囲内の場合に前記第二動きベクトルを選択し、他方、前記コントラスト値が規定範囲外の場合に前記第一動きベクトルを選択する条件判定ステップと、
前記条件判定ステップにより選択された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償ステップと、
前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算ステップと、を含み、
前記条件判定ステップは、前記対象画素の前記コントラスト値が前記規定範囲内で、かつ、前記高コントラストな画素の数が第二閾値以上の場合に、前記第二動きベクトルを選択することを特徴とする画像処理方法。 - 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理方法であって、
前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出ステップと、
複数の画素の動きから第一動きベクトルを算出する第一動きベクトル算出ステップと、前記第一動きベクトルを補正することによって画素単位の動きを表す第二動きベクトルを算出する第二動きベクトル算出ステップから構成され、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出ステップと、
前記対象画素の近隣領域内で、前記第二動きベクトルの方向の変動の程度を表す方向変動量を算出する方向変動量算出ステップと、
前記対象画素の前記コントラスト値が規定範囲内であるか否かを判定し、前記コントラスト値が前記規定範囲内の場合に前記第二動きベクトルを選択し、他方、前記コントラスト値が規定範囲外の場合に前記第一動きベクトルを選択する条件判定ステップと、
前記条件判定ステップにより選択された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償ステップと、
前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算ステップと、を含み、
前記条件判定ステップは、前記対象画素の前記コントラスト値が前記規定範囲内で、かつ、前記第二動きベクトルの前記方向変動量が第三閾値未満の場合に、前記第二動きベクトルを選択することを特徴とする画像処理方法。 - 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理プログラムであって、
前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出手順と、
前記対象画素を除いた前記対象画素の近隣領域内で、コントラストの値が第一閾値以上である高コントラストな画素の数を算出する画素数算出手順と、
複数の画素の動きから第一動きベクトルを算出する第一動きベクトル算出手順と、前記第一動きベクトルを補正することによって画素単位の動きを表す第二動きベクトルを算出する第二動きベクトル算出手順から構成され、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
前記対象画素の前記コントラスト値が規定範囲内であるか否かを判定し、前記コントラスト値が前記規定範囲内の場合に前記第二動きベクトルを選択し、他方、前記コントラスト値が規定範囲外の場合に前記第一動きベクトルを選択する条件判定手順と、
前記条件判定手順により選択された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償手順と、
前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算手順と、をコンピュータに実行させ、
前記条件判定手順は、前記対象画素の前記コントラスト値が前記規定範囲内で、かつ、前記高コントラストな画素の数が第二閾値以上の場合に、前記第二動きベクトルを選択することを特徴とする画像処理プログラム。 - 基準画像と少なくとも一枚以上の参照画像とを加重加算する画像処理プログラムであって、
前記基準画像中の対象画素のコントラスト値を算出するコントラスト算出手順と、
複数の画素の動きから第一動きベクトルを算出する第一動きベクトル算出手順と、前記第一動きベクトルを補正することによって画素単位の動きを表す第二動きベクトルを算出する第二動きベクトル算出手順から構成され、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
前記対象画素の近隣領域内で、前記第二動きベクトルの方向の変動の程度を表す方向変動量を算出する方向変動量算出手順と、
前記対象画素の前記コントラスト値が規定範囲内であるか否かを判定し、前記コントラスト値が前記規定範囲内の場合に前記第二動きベクトルを選択し、他方、前記コントラスト値が規定範囲外の場合に前記第一動きベクトルを選択する条件判定手順と、
前記条件判定手順により選択された動きベクトルに基づいて、前記参照画像を前記基準画像に対して動き補償する動き補償手順と、
前記基準画像と前記動き補償された参照画像とを前記対象画素ごとに加重加算する加重加算手順と、をコンピュータに実行させ、
前記条件判定手順は、前記対象画素の前記コントラスト値が前記規定範囲内で、かつ、前記第二動きベクトルの前記方向変動量が第三閾値未満の場合に、前記第二動きベクトルを選択することを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084583A JP5841345B2 (ja) | 2011-04-06 | 2011-04-06 | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084583A JP5841345B2 (ja) | 2011-04-06 | 2011-04-06 | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012222510A JP2012222510A (ja) | 2012-11-12 |
JP5841345B2 true JP5841345B2 (ja) | 2016-01-13 |
Family
ID=47273597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011084583A Active JP5841345B2 (ja) | 2011-04-06 | 2011-04-06 | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5841345B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6017279B2 (ja) * | 2012-11-22 | 2016-10-26 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6153318B2 (ja) * | 2012-11-30 | 2017-06-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
US9501846B2 (en) | 2013-01-21 | 2016-11-22 | Kowa Company, Ltd. | Image processing device, image processing method, image processing program, and recording medium storing said program for producing noise-eliminated image |
JP6723173B2 (ja) * | 2017-02-10 | 2020-07-15 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
WO2020203164A1 (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 医療システム、情報処理装置及び情報処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04109376A (ja) * | 1990-08-30 | 1992-04-10 | Nippon Steel Corp | 動領域検出方法及びその装置 |
JP2003339029A (ja) * | 2002-05-20 | 2003-11-28 | Sony Corp | 動きベクトル補正回路及び方法 |
JP4645736B2 (ja) * | 2008-12-22 | 2011-03-09 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP4645746B2 (ja) * | 2009-02-06 | 2011-03-09 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像装置 |
-
2011
- 2011-04-06 JP JP2011084583A patent/JP5841345B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012222510A (ja) | 2012-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5576812B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
US9898803B2 (en) | Image processing apparatus, image processing method, and recording medium storing image processing program | |
JP4623111B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
US8736719B2 (en) | Image processing apparatus and control method for the same | |
US10026155B1 (en) | Image-processing apparatus | |
JP2010288110A (ja) | 画像処理装置および画像処理方法 | |
JP6160292B2 (ja) | 画像補正装置、撮像装置及び画像補正用コンピュータプログラム | |
JP5841345B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
JP2010041419A (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
JP5887764B2 (ja) | 動き補償フレーム生成装置及び方法 | |
JPWO2011067870A1 (ja) | 画像処理装置および画像処理方法 | |
KR20120027099A (ko) | 화상 처리 장치, 화상 처리 방법, 프로그램, 기록 매체 및 집적 회로 | |
EP2161687A1 (en) | Video signal processing device, video signal processing method, and video signal processing program | |
US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2010055252A (ja) | 動きベクトル検出装置および画像処理装置 | |
US11196925B2 (en) | Image processing apparatus that detects motion vectors, method of controlling the same, and storage medium | |
JP5737072B2 (ja) | 動き補償フレーム生成装置及び方法 | |
JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
JP5197374B2 (ja) | 動き推定 | |
JP4930304B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP4482933B2 (ja) | 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体 | |
JP2011259342A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151113 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5841345 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |