JP4407749B2 - 画像処理回路、撮像装置、方法およびプログラム - Google Patents
画像処理回路、撮像装置、方法およびプログラム Download PDFInfo
- Publication number
- JP4407749B2 JP4407749B2 JP2007335079A JP2007335079A JP4407749B2 JP 4407749 B2 JP4407749 B2 JP 4407749B2 JP 2007335079 A JP2007335079 A JP 2007335079A JP 2007335079 A JP2007335079 A JP 2007335079A JP 4407749 B2 JP4407749 B2 JP 4407749B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- minimum
- pixels
- luminance difference
- difference value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 18
- 238000000034 method Methods 0.000 title description 81
- 238000001514 detection method Methods 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 22
- 238000003672 processing method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 61
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 206010047571 Visual impairment Diseases 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 2
- 238000011895 specific detection Methods 0.000 description 2
- 241000219112 Cucumis Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本実施の形態のシステムとしてデジタルスチルカメラを想定して説明するが、これに限られるものではなく、カメラ付き携帯電話機、カムコーダ、監視カメラなどのカメラ装置に適用できる。
次に、図3〜図9を参照して、特定画素検出部26による特定画素検出方法について説明する。
以下の実施の形態において、特に断りがない場合、画素31は画素配列の中心画素であり、注目画素である。
・横線模様の画素32は、画素31を中心画素とする3×3画素内において中心の画素31との輝度差が最小の画素(輝度差最小画素)を示し、以下では「画素min1_3x3」とも称す。
・縦線模様の画素33は、中心の画素31を挟んで画素min1_3x3と反対側3画素の中で輝度値が最小の画素を示し、以下では「画素min2_3x3」とも称す。
・右肩上がりの斜線模様の画素34は、中心の画素31から見て画素min1_3x3の1画素分外側に隣接する画素の中で、輝度値が最小の画素(隣接最小画素)を示し、以下では「画素min1_5x5」とも称す。
・右肩下がりの斜線模様の画素35は、中心の画素31から見て画素min2_3x3の1画素分外側に隣接する画素の中で、輝度値が最小の画素(隣接最小画素)を示し、以下では「画素min2_5x5」とも称す。
次に、画素補間部27によるエッジ画素の画素補間方法について説明する。
次に、画素補間部27による、注目画素と他の画素との輝度差分値と重み付けの関係について説明する。
図11(a),(b)は、上述の注目画素(中心画素)と当該画素との輝度差分値を適用して変化させる前のフィルタ係数を示す図である。これは一例であるが、中心画素との距離に応じた重み付けにより係数を変化させた重み付けフィルタ(1)(a)や、ガウシアンフィルタ(b)を使用するなどの手段が挙げられる。
次に、図12を参照して、孤立点検出除去処理について説明する。
図12において、(a)は孤立点を含む画素配列の例、(b)は(a)の孤立点に対し孤立点検出除去処理を適用しなかった場合の画素配列の例である。なお、孤立点とは、隣接する画素との関係性の小さいノイズ成分を指す。
次に、図13および図14を参照して、境界線の検出、並びに、境界上誤補間除去処理を説明する。
次に、図15および図16を参照して、ノイズ除去回路(NR)の処理を具体的な値を用いて説明する。
注目画素と上記検出した画素min1_3x3との輝度の差分値が、孤立点除去閾値以上かどうかを判定する。真なら孤立点と判定してステップS7へ、偽なら孤立点ではないと判定してステップS8へ進む。
まず、対象となる画素が注目画素もしくは特定検出画素(min1_3x3, min2_3x3, min1_5x5, min2_5x5)(エッジ成分)であるかどうかを判定する。真ならエッジ成分としてステップS9へ、偽ならエッジ成分ではないとしてステップS10へ進む。
具体的には、上記ステップS3,S4の処理で求めた画素min1_3x3と画素min2_3x3の輝度の差分値が予め設定された境界上誤補間除去閾値以上かどうかを判定する。偽の場合は境界上ではないと見なし、フィルタ係数は上記ステップS9で決めたものをそのまま使用する。その後、ステップS21へ進む。
Claims (7)
- 画像を構成するフレームのライン画素を記憶する複数のメモリと、
前記複数のメモリから順次読み出される前記画像のフレームの任意のN×N(Nは自然数)構成の画素について、中心に位置する注目画素とそれ以外の(N×N―1)画素との輝度の差分である輝度差分値を求め、前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第1(1)最小画素を検出するとともに、前記第1(1)最小画素に対して前記注目画素を挟んで反対側にある3画素の中から、前記注目画素との輝度差分値が最小の第1(2)最小画素を検出し、また、前記第1(1)最小画素に対して1画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第2(1)最小画素を検出するとともに、前記第1(2)最小画素に対して1画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第2(2)最小画素を検出する特定画素検出部と、
前記注目画素にさらに、前記特定画素検出部で検出された前記第1(1)最小画素、前記第1(2)最小画素、前記第2(1)最小画素、および、前記第2(2)最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、N×N画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用し、そして、各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からN×N画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得る画素補間部と、
を含むことを特徴とする画像処理回路。 - 前記特定画素検出部は、前記Nを2で除した商をM(自然数)とするとき、前記N×N構成の画素の場合、前記第1(1)最小画素および前記第1(2)最小画素から、第M(1)最小画素および第M(2)最小画素までをそれぞれ検出する
ことを特徴とする請求項1に記載の画像処理回路。 - 前記特定画素検出部は、前記注目画素と前記第1(1)最小画素との輝度差分値が所定の孤立点除去閾値以上であるか否かを判定し、前記孤立点除去閾値以上であると判定された場合、前記N×N画素の全画素の輝度値の平均値を算出して前記注目画素を補間する
ことを特徴とする請求項2に記載の画像処理回路。 - 前記画素補間部は、前記第1(1)最小画素と前記第1(2)最小画素との輝度差分値が所定の境界上誤補間除去閾値以上であるか否かを判定し、前記境界上誤補間除去閾値以上であると判定された場合、前記第1(2)最小画素と前記第2(2)最小画素に対するフィルタ係数をゼロに設定する
ことを特徴とする請求項3に記載の画像処理回路。 - 被写体を撮像して画像を生成する撮像部と、
前記撮像部で生成された画像を構成するフレームのライン画素を記憶する複数のメモリと、
前記複数のメモリから順次読み出される前記画像のフレームの任意のN×N(Nは自然数)構成の画素について、中心に位置する注目画素とそれ以外の(N×N―1)画素との輝度の差分である輝度差分値を求め、前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第1(1)最小画素を検出するとともに、前記第1(1)最小画素に対して前記注目画素を挟んで反対側にある3画素の中から、前記注目画素との輝度差分値が最小の第1(2)最小画素を検出し、また、前記第1(1)最小画素に対して1画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第2(1)最小画素を検出するとともに、前記第1(2)最小画素に対して1画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第2(2)最小画素を検出する特定画素検出部と、
前記注目画素にさらに、前記特定画素検出部で検出された前記第1(1)最小画素、前記第1(2)最小画素、前記第2(1)最小画素、および、前記第2(2)最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、N×N画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用し、そして、各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からN×N画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得る画素補間部と、
を含むことを特徴とする撮像装置。 - 画像を構成するフレームの任意のN×N(Nは自然数)構成の画素について、中心に位置する注目画素とそれ以外の(N×N―1)画素との輝度の差分である輝度差分値を求めるステップと、
前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第1(1)最小画素を検出するステップと、
前記第1(1)最小画素に対して前記注目画素を挟んで反対側にある3画素の中から、前記注目画素との輝度差分値が最小の第1(2)最小画素を検出するステップと、
前記第1(1)最小画素に対して1画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第2(1)最小画素を検出するステップと、
前記第1(2)最小画素に対して1画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第2(2)最小画素を検出するステップと、
前記注目画素にさらに、前記第1(1)最小画素、前記第1(2)最小画素、前記第2(1)最小画素、および、前記第2(2)最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、N×N画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用するステップと、
各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からN×N画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得るステップと、
を含むことを特徴とする画像処理方法。 - 画像を構成するフレームの任意のN×N(Nは自然数)構成の画素について、中心に位置する注目画素とそれ以外の(N×N―1)画素との輝度の差分である輝度差分値を求めるステップと、
前記注目画素に隣接する複数の画素の中から、前記輝度差分値が最小の第1(1)最小画素を検出するステップと、
前記第1(1)最小画素に対して前記注目画素を挟んで反対側にある3画素の中から、前記注目画素との輝度差分値が最小の第1(2)最小画素を検出するステップと、
前記第1(1)最小画素に対して1画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第2(1)最小画素を検出するステップと、
前記第1(2)最小画素に対して1画素外側にある隣接画素の中から、前記注目画素との輝度差分値が最小の第2(2)最小画素を検出するステップと、
前記注目画素にさらに、前記第1(1)最小画素、前記第1(2)最小画素、前記第2(1)最小画素、および、前記第2(2)最小画素を含む特定画素に対し、所定の重み付けを加えたフィルタ係数を適用するとともに、N×N画素における前記特定画素以外の画素に対し、前記輝度差分値と前記注目画素からの距離に応じた重み付けを加えたフィルタ係数を適用するステップと、
各画素に各フィルタ係数を適用した結果の総和を求め、当該総和からN×N画素分のフィルタ係数の総和を除算することにより、前記注目画素の補間値を得るステップと、
を含む画像処理をコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007335079A JP4407749B2 (ja) | 2007-12-26 | 2007-12-26 | 画像処理回路、撮像装置、方法およびプログラム |
US12/289,365 US8009210B2 (en) | 2007-12-26 | 2008-10-27 | Image processing circuit, imaging apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007335079A JP4407749B2 (ja) | 2007-12-26 | 2007-12-26 | 画像処理回路、撮像装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009157647A JP2009157647A (ja) | 2009-07-16 |
JP4407749B2 true JP4407749B2 (ja) | 2010-02-03 |
Family
ID=40797762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007335079A Expired - Fee Related JP4407749B2 (ja) | 2007-12-26 | 2007-12-26 | 画像処理回路、撮像装置、方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8009210B2 (ja) |
JP (1) | JP4407749B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010014843A (ja) * | 2008-07-02 | 2010-01-21 | Sony Corp | 表示装置 |
JP5169997B2 (ja) * | 2009-05-29 | 2013-03-27 | ソニー株式会社 | フィルタ回路、画像処理装置、撮像装置、画像処理方法及びプログラム |
US8711938B2 (en) * | 2009-09-04 | 2014-04-29 | Sharp Laboratories Of America, Inc. | Methods and systems for motion estimation with nonlinear motion-field smoothing |
KR101114698B1 (ko) * | 2010-01-29 | 2012-02-29 | 삼성전자주식회사 | 이미지 특성에 따라 에지를 강조하기 위한 이미지 생성 장치 및 방법 |
JP5726482B2 (ja) * | 2010-11-08 | 2015-06-03 | 株式会社東芝 | 画像処理装置及びそれを用いたx線診断装置、画像処理装置の作動方法 |
US8755625B2 (en) * | 2010-11-19 | 2014-06-17 | Analog Devices, Inc. | Component filtering for low-light noise reduction |
KR101248808B1 (ko) * | 2011-06-03 | 2013-04-01 | 주식회사 동부하이텍 | 경계 영역의 잡음 제거 장치 및 방법 |
JP5846357B2 (ja) | 2011-08-15 | 2016-01-20 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
TWI584642B (zh) * | 2016-04-19 | 2017-05-21 | 瑞昱半導體股份有限公司 | 影像濾波裝置及其影像濾波方法 |
JP7050432B2 (ja) | 2017-07-05 | 2022-04-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
CN115460343B (zh) * | 2022-07-31 | 2023-06-13 | 荣耀终端有限公司 | 图像处理方法、设备及存储介质 |
KR102670031B1 (ko) * | 2023-02-28 | 2024-05-29 | 국립부경대학교 산학협력단 | 임펄스 잡음 환경에서 유효픽셀 탐색을 이용한 잡음제거를 위한 장치 및 방법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2754640B2 (ja) | 1988-12-27 | 1998-05-20 | 松下電器産業株式会社 | 雑音除去回路 |
JP3935548B2 (ja) * | 1997-02-27 | 2007-06-27 | オリンパス株式会社 | 画像信号処理装置 |
US7046277B2 (en) * | 2001-01-26 | 2006-05-16 | Pentax Corporation | Image interpolating device, including interpolation and modification processors |
US7167602B2 (en) * | 2001-07-09 | 2007-01-23 | Sanyo Electric Co., Ltd. | Interpolation pixel value determining method |
JP3747909B2 (ja) * | 2002-12-24 | 2006-02-22 | ソニー株式会社 | 画素欠陥検出補正装置及び画素欠陥検出補正方法 |
KR100505663B1 (ko) * | 2003-01-02 | 2005-08-03 | 삼성전자주식회사 | 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법 |
JP2005167974A (ja) * | 2003-11-10 | 2005-06-23 | Seiko Epson Corp | 画像処理方法及び画像処理装置、画像処理プログラム並びに半導体装置 |
US7397973B2 (en) * | 2004-02-27 | 2008-07-08 | Mediatek Inc. | Method for controlling interpolation direction and related device |
-
2007
- 2007-12-26 JP JP2007335079A patent/JP4407749B2/ja not_active Expired - Fee Related
-
2008
- 2008-10-27 US US12/289,365 patent/US8009210B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009157647A (ja) | 2009-07-16 |
US20090167904A1 (en) | 2009-07-02 |
US8009210B2 (en) | 2011-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4407749B2 (ja) | 画像処理回路、撮像装置、方法およびプログラム | |
JP4640508B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び撮像装置 | |
JP4154661B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5525703B2 (ja) | 画像再生表示装置 | |
JP5904213B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
KR20110053348A (ko) | 에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법 | |
JP5169994B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US9300867B2 (en) | Imaging apparatus, its control method, and storage medium | |
JP2010268426A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP3829843B2 (ja) | 画像処理装置 | |
US8334919B2 (en) | Apparatus and method for digital photographing to correct subject area distortion caused by a lens | |
WO2021070443A1 (ja) | 画像処理装置と画像処理方法とプログラムおよび電子機器 | |
JP4895107B2 (ja) | 電子機器、情報処理方法、およびプログラム | |
JP4872830B2 (ja) | 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法 | |
KR100747719B1 (ko) | 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체 | |
JP2010079815A (ja) | 画像補正装置 | |
JP4322258B2 (ja) | ノイズ処理装置および撮像装置 | |
JP6248662B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP2002262059A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4197821B2 (ja) | 画像処理装置 | |
JP2018152095A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP2009017583A (ja) | 画像処理装置 | |
JP5853369B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 | |
JP2006115275A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091102 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |