JPWO2005013622A1 - 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 - Google Patents
色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 Download PDFInfo
- Publication number
- JPWO2005013622A1 JPWO2005013622A1 JP2005512463A JP2005512463A JPWO2005013622A1 JP WO2005013622 A1 JPWO2005013622 A1 JP WO2005013622A1 JP 2005512463 A JP2005512463 A JP 2005512463A JP 2005512463 A JP2005512463 A JP 2005512463A JP WO2005013622 A1 JPWO2005013622 A1 JP WO2005013622A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing apparatus
- similarity
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 222
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000003384 imaging method Methods 0.000 claims abstract description 55
- 230000035945 sensitivity Effects 0.000 claims abstract description 47
- 238000009499 grossing Methods 0.000 claims abstract description 44
- 230000002093 peripheral effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
本発明の画像処理装置は、第1〜第n色成分(n≧2)の1つを画素配分した第1画像を、画素単位に第1〜第n色成分が揃った第2画像に変換する画像処理装置である。この画像処理装置の平滑化部は、第1画像で第1色成分を有する画素位置に対して、周辺画素の第1色成分を用いた平滑化を施し、平滑化後の第1色成分を第2画像の画素位置の第1色成分とする。更に、この平滑化部は、第1画像が撮像された撮像感度に応じて、平滑化するためのフィルタの特性を変更する制御部を備える。
Description
本発明は、色成分が混在配置された第1画像(例えばRAWデータ)を変換して、少なくとも1種類の成分を画素単位に揃えた第2画像を生成する画像処理技術に関する。
(背景技術1)
従来、電子カメラにおいて、輪郭強調やノイズ除去などの空間フィルタ処理を実施するものが知られている。
通常、この種の空間フィルタ処理は、単板撮像素子から出力されるRAWデータ(例えばベイヤー配列データ)に対して、色補間処理、輝度色差YCbCrへの表色系変換処理を実施した後、輝度色差YCbCr(特に輝度成分Y)に対して実施される。例えば、代表的なノイズ除去フィルタとして、ε−フィルタなどが知られている。
ところで、この処理では、色補間、表色系変換処理、および空間フィルタ処理を個別に実施しなければならず、画像処理が複雑になってしまうという問題点があった。そのため、RAWデータの処理時間が長くなるなどの問題点があった。また、画像処理が複雑なために、電子カメラに搭載される画像処理用ICの構成が複雑になるという問題点もあった。
さらに、これらの処理(色補間、表色系変換処理、および空間フィルタ処理)を一つの画像に段階的に実施するため、度重なる処理の過程で微細な画像情報が失われやすいという問題点もあった。
(背景技術2)
通常、単板撮像素子のRAWデータに対して色補間を実施すると、RAWデータに元から存在する原信号と、原信号の平均処理によって生成される補間信号とが一つの画面に並ぶ。このとき、原信号と補間信号とでは、空間周波数特性が微妙に異なる。
そこで、米国特許第5596367号明細書(以下『特許文献1』という)では、原信号のみにローパスフィルタ処理を実施して、原信号と補間信号との間の空間周波数特性の違いを軽減している。
ところで、この処理では、原信号に近接する補間信号を使って、原信号にローパスフィルタ処理を施す。そのため、この処理においても、色補間と空間フィルタ処理を段階的に実施していることに変わりなく、やはり微細な画像情報が失われやすいという問題点があった。
(背景技術3)
なお、本発明者は、先に、国際公開WO02/21849号パンフレット(以下『特許文献2』という)に示す国際出願を行っている。この国際出願には、RAWデータに対して直に表色系変換処理を実施する画像処理装置が開示されている。
この処理では、係数テーブルに従ってRAWデータを加重加算することにより、表色系変換を実施している。この係数テーブルには、輪郭強調やノイズ除去用の係数項を、予め固定的に含めることができる。しかしながら、後述する実施形態のように、空間周波数特性の異なる係数テーブル群を予め準備し、これら係数テーブル群を随時に切り換える技術については特に言及されていない。
(撮像感度の問題)
一般的な電子カメラでは、撮像素子の撮像感度(例えば、撮像素子出力のアンプゲイン)を変更することができる。この撮像感度の変更によって、撮像される画像のノイズ振幅が大きく変化する。特許文献1および特許文献2では、後述する実施形態のように、撮像感度に応じて第1画像の変換フィルタを変更する技術については特に言及されていない。そのため、低い撮像感度による高S/N画像については、変換フィルタの平滑化が強すぎて、過度にボケた画像となる恐れがあった。また、高い撮像感度による低S/N画像については、変換フィルタの平滑化が逆に不足し、偽色が目立ったり、ザラザラした画像になる恐れがあった。
従来、電子カメラにおいて、輪郭強調やノイズ除去などの空間フィルタ処理を実施するものが知られている。
通常、この種の空間フィルタ処理は、単板撮像素子から出力されるRAWデータ(例えばベイヤー配列データ)に対して、色補間処理、輝度色差YCbCrへの表色系変換処理を実施した後、輝度色差YCbCr(特に輝度成分Y)に対して実施される。例えば、代表的なノイズ除去フィルタとして、ε−フィルタなどが知られている。
ところで、この処理では、色補間、表色系変換処理、および空間フィルタ処理を個別に実施しなければならず、画像処理が複雑になってしまうという問題点があった。そのため、RAWデータの処理時間が長くなるなどの問題点があった。また、画像処理が複雑なために、電子カメラに搭載される画像処理用ICの構成が複雑になるという問題点もあった。
さらに、これらの処理(色補間、表色系変換処理、および空間フィルタ処理)を一つの画像に段階的に実施するため、度重なる処理の過程で微細な画像情報が失われやすいという問題点もあった。
(背景技術2)
通常、単板撮像素子のRAWデータに対して色補間を実施すると、RAWデータに元から存在する原信号と、原信号の平均処理によって生成される補間信号とが一つの画面に並ぶ。このとき、原信号と補間信号とでは、空間周波数特性が微妙に異なる。
そこで、米国特許第5596367号明細書(以下『特許文献1』という)では、原信号のみにローパスフィルタ処理を実施して、原信号と補間信号との間の空間周波数特性の違いを軽減している。
ところで、この処理では、原信号に近接する補間信号を使って、原信号にローパスフィルタ処理を施す。そのため、この処理においても、色補間と空間フィルタ処理を段階的に実施していることに変わりなく、やはり微細な画像情報が失われやすいという問題点があった。
(背景技術3)
なお、本発明者は、先に、国際公開WO02/21849号パンフレット(以下『特許文献2』という)に示す国際出願を行っている。この国際出願には、RAWデータに対して直に表色系変換処理を実施する画像処理装置が開示されている。
この処理では、係数テーブルに従ってRAWデータを加重加算することにより、表色系変換を実施している。この係数テーブルには、輪郭強調やノイズ除去用の係数項を、予め固定的に含めることができる。しかしながら、後述する実施形態のように、空間周波数特性の異なる係数テーブル群を予め準備し、これら係数テーブル群を随時に切り換える技術については特に言及されていない。
(撮像感度の問題)
一般的な電子カメラでは、撮像素子の撮像感度(例えば、撮像素子出力のアンプゲイン)を変更することができる。この撮像感度の変更によって、撮像される画像のノイズ振幅が大きく変化する。特許文献1および特許文献2では、後述する実施形態のように、撮像感度に応じて第1画像の変換フィルタを変更する技術については特に言及されていない。そのため、低い撮像感度による高S/N画像については、変換フィルタの平滑化が強すぎて、過度にボケた画像となる恐れがあった。また、高い撮像感度による低S/N画像については、変換フィルタの平滑化が逆に不足し、偽色が目立ったり、ザラザラした画像になる恐れがあった。
本発明の目的は、上述した問題点に鑑みて、画像構造に適合した高度な空間フィルタ処理を効率良く簡易に実施することである。
また、本発明の別の目的は、撮影感度が変わっても、解像度やコントラストを維持しつつ適切なノイズ除去が可能な画像処理技術を提供することである。
以下、発明について説明する。
(1) 本発明の画像処理装置は、画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に第1〜第n色成分が揃った第2画像に変換する画像処理装置である。
この画像処理装置は、平滑化部を備える。この平滑化部は、第1画像で第1色成分を有する画素位置に対して、周辺画素の第1色成分を用いた平滑化を施す。平滑化部は、この平滑化後の第1色成分を、第2画像の画素位置の第1色成分とする。
更に、この平滑化部は、制御部を備える。この制御部は、第1画像が撮像された撮像感度に応じて、平滑化するためのフィルタの特性を変更する。
このような処理により、撮像感度の条件が変わってもそれぞれに適した高精細なノイズ除去効果が得ることが可能になる。
(2) なお好ましくは、第1色成分を、第1〜第n色成分の中で輝度信号を担う色成分とする。
(3) また好ましくは、第1〜第n色成分は赤色、緑色、青色であり、かつ第1色成分は緑色とする。
(4) なお好ましくは、制御部は、撮像感度に応じてフィルタのサイズ(参照する画素範囲)を変更する。
(5) また好ましくは、制御部は、撮像感度に応じて、フィルタの要素値(平滑対象に対する周辺の参照成分の寄与率)を変更する。
(6) なお好ましくは、平滑化部は、類似性判定部、および切り換え部を備える。
この類似判定部は、複数の方向に対する画素の類似性の強弱を判定する。
一方、切り換え部は、その判定結果に応じて、第1画像の第1色成分をそのまま第2画像の第1色成分として出力するか、平滑化後の第1色成分を第2画像の第1色成分として出力するかを切り換える。
(7) また好ましくは、類似性判定部は、少なくとも4方向に関する画素間の類似度を算出して類似性を判定する。
(8) 本発明の別の画像処理装置は、画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に少なくとも1つの信号成分が揃った第2画像に変換する画像処理装置である。
この画像処理装置は、信号生成部を備える。この信号生成部は、第1画像の色成分を加重加算することによって、第2画像の信号成分を生成する。
さらに、この信号生成部は、制御部を備える。この制御部は、第1画像を撮像したときの撮像感度に応じて、第1画像の色成分を加重加算するときに用いる加重加算係数を変更する。
(9) なお好ましくは、信号生成部は、第1〜第n色成分とは異なる信号成分を生成する。
(10) また好ましくは、信号生成部は、第1〜第n色成分とは異なる輝度成分を生成する。
(11) なお好ましくは、制御部は、第1画像で第1色成分を有する画素位置に対して、加重加算係数を撮像感度に応じて変更する。
(12) また好ましくは、制御部は、撮像感度に応じて加重加算の範囲を変更する。
(13) なお好ましくは、制御部は、撮像感度に応じて加重加算の重み係数を変更する。
(14) また好ましくは、信号生成部は、類似性判定部を有する。この類似性判定部は、複数の方向に対する画素の類似性の強弱を判定する。
制御部は、撮像感度の他に、類似性判定結果にも応じて加重加算の重み係数を変更する。
(15) なお好ましくは、制御部は、『類似性判定結果が何れの方向にも類似性の区別がつかない』もしくは『何れの方向にも類似性が所定レベルより強いと判断される』の場合、第1画像の処理対象画素が本来有する色成分と、周辺画素の同一色成分とを加重加算する。
(16) また好ましくは、類似性判定部は、少なくとも4方向に関する画素間の類似度を算出して類似性を判定する。
(17) 本発明の別の画像処理装置は、表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第1画像を変換し、少なくとも1種類の信号成分(以下『新成分』という)を画素単位に揃えた第2画像を生成する画像処理装置である。
この画像処理装置は、類似性判定部、係数選択部、および変換処理部を備える。
まず、類似性判定部は、第1画像の処理対象画素において、複数方向について画像の類似性を判定する。
係数選択部は、類似性判定部による類似性の方向判定に応じて、予め定められた係数テーブルを選択する。
変換処理部は、選択した係数テーブルにより処理対象画素を含む局所域の色成分を加重加算して、新成分を生成する。
特に、上記の係数選択部は、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに変更する。このような係数テーブルの変更によって、新成分の空間周波数成分の調整を実現する。
以上説明したように、本発明では、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに切り換えることにより、生成される新成分の空間周波数成分を調整する。
このような動作では、背景技術のように、新成分を一旦生成した後、この新成分を空間フィルタ処理するといった段階的な処理が不要になる。そのため、画像処理の手順を効率よく簡略化できる。
また、新成分の生成に使用していた類似性を使用して、画像構造の解析も済ませているため、その点でも処理に無駄が少なく、画像構造を考慮した高度な空間フィルタ処理を簡易に実現できる。
さらに、この処理では、『新成分の生成』と『画像構造解析に基づく空間周波数成分の調整』とが1回の加重加算で実施されるため、演算処理を複数回に分けて繰り返す場合に比べて微細な画像情報が失われにくい。
なお好ましくは、本発明において、色成分の加重比率を表色系変換の加重比率に対応させる。この場合、従来の『色補間処理』を不要とし、かつ『表色系変換処理』および『画像構造を考慮した空間フィルタ処理』を、一回の加重加算で済ますことができる。このような処理により、例えば、従来の時間がかかっていたRAWデータ等の画像処理を、顕著に簡略化し、かつ顕著に高速化することが可能になる。
(18) なお好ましくは、係数選択部は、類似性の値の大小判定により、処理対象画素の近傍の画像構造を解析する。係数選択部は、この解析結果に応じて、係数テーブルを空間周波数特性の異なるものに変更する。
(19) また好ましくは、係数選択部は、係数テーブルを配列サイズの異なるものに変更する。このような変更により、係数テーブルを空間周波数特性の異なるものに変更する。
(20) なお好ましくは、係数選択部は、方向判定において複数方向の類似性が略均等と判定され、かつ画像構造の解析において類似性が強いと判定された場合、信号成分の高周波成分を強くおよび/または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する。
(21) また好ましくは、係数選択部は、方向判定において複数方向の類似性が略均等と判定され、かつ画像構造の解析において類似性が弱いと判定された場合、信号成分の高周波成分を強くおよび/または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する。
(22) なお好ましくは、係数選択部は、画像構造の解析において類似性の方向間の強弱差が大きいと判定された場合、類似性の弱い方向の高周波成分を強調する『輪郭強調の度合いがより強いタイプの係数テーブル』に変更する。
(23) また好ましくは、係数選択部は、画像構造の解析において類似性の方向間の強弱差が小さいと判定された場合、信号成分の高周波成分を強調する『ディテール強調の度合いがより強いタイプの係数テーブル』に変更する。
(24) なお好ましくは、係数選択部は、第1画像を撮像した際の撮像感度が高いほど、係数テーブルをノイズ除去の度合いの強いものに変更する。
(25) また好ましくは、係数テーブルの変更前後において、色成分間の加重比率を略一定に保つ。
(26) なお好ましくは、色成分間の加重比率は、表色系変換用の加重比率である。
(27) 本発明の別の画像処理装置は、平滑化部、および制御部を備える。
この平滑化部は、画像データの処理対象画素と周辺画素とを加重加算することにより、前記画像データに平滑化処理を施す。
一方、制御部は、この画像データを撮影した際の撮像感度に応じて、上記の周辺画素の参照範囲を変更する。
(28) 本発明の画像処理プログラムは、コンピュータを、上記(1)〜(27)のいずれか1項に記載の画像処理装置として機能させる。
(29) 本発明の電子カメラは、上記(1)〜(27)のいずれか1項に記載の画像処理装置と、被写体を撮像して、第1画像を生成する撮像部とを備える。この電子カメラでは、撮像部で撮像して得た第1画像を、画像処理装置で処理して、第2画像を生成する。
(30) 本発明の画像処理方法は、画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に少なくとも1つの信号成分が揃った第2画像に変換する画像処理方法である。
この画像処理方法は、第1画像の色成分を加重加算することによって第2画像の信号成分を生成するステップを備える。
特に、この信号成分を生成するステップにおいて、第1画像を撮像したときの撮像感度に応じて、第1画像の色成分を加重加算するときに用いる加重加算係数を変更するステップを実施する。
(31) 本発明の別の画像処理方法は、表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第1画像を変換し、少なくとも1種類の信号成分(以下『新成分』という)を画素単位に揃えた第2画像を生成する画像処理方法である。この画像処理方法は、下記のステップを有する。
[S1] 第1画像の処理対象画素において、複数方向について画像の類似性を判定するステップ。
[S2] 類似性判定のステップによる類似性の方向判定に応じて、予め定められた係数テーブルを選択するステップ。
[S3] 選択した係数テーブルにより処理対象画素を含む局所域の色成分を加重加算して、新成分を生成するステップ。
特に、上記の係数選択のステップでは、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに変更する。この変更により、新成分の空間周波数成分を調整する。
また、本発明の別の目的は、撮影感度が変わっても、解像度やコントラストを維持しつつ適切なノイズ除去が可能な画像処理技術を提供することである。
以下、発明について説明する。
(1) 本発明の画像処理装置は、画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に第1〜第n色成分が揃った第2画像に変換する画像処理装置である。
この画像処理装置は、平滑化部を備える。この平滑化部は、第1画像で第1色成分を有する画素位置に対して、周辺画素の第1色成分を用いた平滑化を施す。平滑化部は、この平滑化後の第1色成分を、第2画像の画素位置の第1色成分とする。
更に、この平滑化部は、制御部を備える。この制御部は、第1画像が撮像された撮像感度に応じて、平滑化するためのフィルタの特性を変更する。
このような処理により、撮像感度の条件が変わってもそれぞれに適した高精細なノイズ除去効果が得ることが可能になる。
(2) なお好ましくは、第1色成分を、第1〜第n色成分の中で輝度信号を担う色成分とする。
(3) また好ましくは、第1〜第n色成分は赤色、緑色、青色であり、かつ第1色成分は緑色とする。
(4) なお好ましくは、制御部は、撮像感度に応じてフィルタのサイズ(参照する画素範囲)を変更する。
(5) また好ましくは、制御部は、撮像感度に応じて、フィルタの要素値(平滑対象に対する周辺の参照成分の寄与率)を変更する。
(6) なお好ましくは、平滑化部は、類似性判定部、および切り換え部を備える。
この類似判定部は、複数の方向に対する画素の類似性の強弱を判定する。
一方、切り換え部は、その判定結果に応じて、第1画像の第1色成分をそのまま第2画像の第1色成分として出力するか、平滑化後の第1色成分を第2画像の第1色成分として出力するかを切り換える。
(7) また好ましくは、類似性判定部は、少なくとも4方向に関する画素間の類似度を算出して類似性を判定する。
(8) 本発明の別の画像処理装置は、画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に少なくとも1つの信号成分が揃った第2画像に変換する画像処理装置である。
この画像処理装置は、信号生成部を備える。この信号生成部は、第1画像の色成分を加重加算することによって、第2画像の信号成分を生成する。
さらに、この信号生成部は、制御部を備える。この制御部は、第1画像を撮像したときの撮像感度に応じて、第1画像の色成分を加重加算するときに用いる加重加算係数を変更する。
(9) なお好ましくは、信号生成部は、第1〜第n色成分とは異なる信号成分を生成する。
(10) また好ましくは、信号生成部は、第1〜第n色成分とは異なる輝度成分を生成する。
(11) なお好ましくは、制御部は、第1画像で第1色成分を有する画素位置に対して、加重加算係数を撮像感度に応じて変更する。
(12) また好ましくは、制御部は、撮像感度に応じて加重加算の範囲を変更する。
(13) なお好ましくは、制御部は、撮像感度に応じて加重加算の重み係数を変更する。
(14) また好ましくは、信号生成部は、類似性判定部を有する。この類似性判定部は、複数の方向に対する画素の類似性の強弱を判定する。
制御部は、撮像感度の他に、類似性判定結果にも応じて加重加算の重み係数を変更する。
(15) なお好ましくは、制御部は、『類似性判定結果が何れの方向にも類似性の区別がつかない』もしくは『何れの方向にも類似性が所定レベルより強いと判断される』の場合、第1画像の処理対象画素が本来有する色成分と、周辺画素の同一色成分とを加重加算する。
(16) また好ましくは、類似性判定部は、少なくとも4方向に関する画素間の類似度を算出して類似性を判定する。
(17) 本発明の別の画像処理装置は、表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第1画像を変換し、少なくとも1種類の信号成分(以下『新成分』という)を画素単位に揃えた第2画像を生成する画像処理装置である。
この画像処理装置は、類似性判定部、係数選択部、および変換処理部を備える。
まず、類似性判定部は、第1画像の処理対象画素において、複数方向について画像の類似性を判定する。
係数選択部は、類似性判定部による類似性の方向判定に応じて、予め定められた係数テーブルを選択する。
変換処理部は、選択した係数テーブルにより処理対象画素を含む局所域の色成分を加重加算して、新成分を生成する。
特に、上記の係数選択部は、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに変更する。このような係数テーブルの変更によって、新成分の空間周波数成分の調整を実現する。
以上説明したように、本発明では、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに切り換えることにより、生成される新成分の空間周波数成分を調整する。
このような動作では、背景技術のように、新成分を一旦生成した後、この新成分を空間フィルタ処理するといった段階的な処理が不要になる。そのため、画像処理の手順を効率よく簡略化できる。
また、新成分の生成に使用していた類似性を使用して、画像構造の解析も済ませているため、その点でも処理に無駄が少なく、画像構造を考慮した高度な空間フィルタ処理を簡易に実現できる。
さらに、この処理では、『新成分の生成』と『画像構造解析に基づく空間周波数成分の調整』とが1回の加重加算で実施されるため、演算処理を複数回に分けて繰り返す場合に比べて微細な画像情報が失われにくい。
なお好ましくは、本発明において、色成分の加重比率を表色系変換の加重比率に対応させる。この場合、従来の『色補間処理』を不要とし、かつ『表色系変換処理』および『画像構造を考慮した空間フィルタ処理』を、一回の加重加算で済ますことができる。このような処理により、例えば、従来の時間がかかっていたRAWデータ等の画像処理を、顕著に簡略化し、かつ顕著に高速化することが可能になる。
(18) なお好ましくは、係数選択部は、類似性の値の大小判定により、処理対象画素の近傍の画像構造を解析する。係数選択部は、この解析結果に応じて、係数テーブルを空間周波数特性の異なるものに変更する。
(19) また好ましくは、係数選択部は、係数テーブルを配列サイズの異なるものに変更する。このような変更により、係数テーブルを空間周波数特性の異なるものに変更する。
(20) なお好ましくは、係数選択部は、方向判定において複数方向の類似性が略均等と判定され、かつ画像構造の解析において類似性が強いと判定された場合、信号成分の高周波成分を強くおよび/または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する。
(21) また好ましくは、係数選択部は、方向判定において複数方向の類似性が略均等と判定され、かつ画像構造の解析において類似性が弱いと判定された場合、信号成分の高周波成分を強くおよび/または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する。
(22) なお好ましくは、係数選択部は、画像構造の解析において類似性の方向間の強弱差が大きいと判定された場合、類似性の弱い方向の高周波成分を強調する『輪郭強調の度合いがより強いタイプの係数テーブル』に変更する。
(23) また好ましくは、係数選択部は、画像構造の解析において類似性の方向間の強弱差が小さいと判定された場合、信号成分の高周波成分を強調する『ディテール強調の度合いがより強いタイプの係数テーブル』に変更する。
(24) なお好ましくは、係数選択部は、第1画像を撮像した際の撮像感度が高いほど、係数テーブルをノイズ除去の度合いの強いものに変更する。
(25) また好ましくは、係数テーブルの変更前後において、色成分間の加重比率を略一定に保つ。
(26) なお好ましくは、色成分間の加重比率は、表色系変換用の加重比率である。
(27) 本発明の別の画像処理装置は、平滑化部、および制御部を備える。
この平滑化部は、画像データの処理対象画素と周辺画素とを加重加算することにより、前記画像データに平滑化処理を施す。
一方、制御部は、この画像データを撮影した際の撮像感度に応じて、上記の周辺画素の参照範囲を変更する。
(28) 本発明の画像処理プログラムは、コンピュータを、上記(1)〜(27)のいずれか1項に記載の画像処理装置として機能させる。
(29) 本発明の電子カメラは、上記(1)〜(27)のいずれか1項に記載の画像処理装置と、被写体を撮像して、第1画像を生成する撮像部とを備える。この電子カメラでは、撮像部で撮像して得た第1画像を、画像処理装置で処理して、第2画像を生成する。
(30) 本発明の画像処理方法は、画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に少なくとも1つの信号成分が揃った第2画像に変換する画像処理方法である。
この画像処理方法は、第1画像の色成分を加重加算することによって第2画像の信号成分を生成するステップを備える。
特に、この信号成分を生成するステップにおいて、第1画像を撮像したときの撮像感度に応じて、第1画像の色成分を加重加算するときに用いる加重加算係数を変更するステップを実施する。
(31) 本発明の別の画像処理方法は、表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第1画像を変換し、少なくとも1種類の信号成分(以下『新成分』という)を画素単位に揃えた第2画像を生成する画像処理方法である。この画像処理方法は、下記のステップを有する。
[S1] 第1画像の処理対象画素において、複数方向について画像の類似性を判定するステップ。
[S2] 類似性判定のステップによる類似性の方向判定に応じて、予め定められた係数テーブルを選択するステップ。
[S3] 選択した係数テーブルにより処理対象画素を含む局所域の色成分を加重加算して、新成分を生成するステップ。
特に、上記の係数選択のステップでは、類似性による画像構造の解析に応じて、係数テーブルを空間周波数特性の異なるものに変更する。この変更により、新成分の空間周波数成分を調整する。
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。
図1は、電子カメラ1の構成を示すブロック図である。
図2は、表色系変換処理の大まかな動作を示す流れ図である。
図3は、指標HVの設定動作を示す流れ図である。
図4は、指標DNの設定動作を示す流れ図である。
図5は、輝度成分の生成処理を示す流れ図(1/3)である。
図6は、輝度成分の生成処理を示す流れ図(2/3)である。
図7は、輝度成分の生成処理を示す流れ図(3/3)である。
図8は、指標(HV,DN)と類似方向との関係を示す図である。
図9は、係数テーブルの一例を示す図である。
図10は、係数テーブルの一例を示す図である。
図11は、係数テーブルの一例を示す図である。
図12は、係数テーブルの一例を示す図である。
図13は、係数テーブルの一例を示す図である。
図14は、RGB色補間の動作を説明する流れ図である。
図15は、係数テーブルの一例を示す図である。
図16は、係数テーブルの一例を示す図である。
図17は、RGB色補間の動作を説明する流れ図である。
図1は、電子カメラ1の構成を示すブロック図である。
図2は、表色系変換処理の大まかな動作を示す流れ図である。
図3は、指標HVの設定動作を示す流れ図である。
図4は、指標DNの設定動作を示す流れ図である。
図5は、輝度成分の生成処理を示す流れ図(1/3)である。
図6は、輝度成分の生成処理を示す流れ図(2/3)である。
図7は、輝度成分の生成処理を示す流れ図(3/3)である。
図8は、指標(HV,DN)と類似方向との関係を示す図である。
図9は、係数テーブルの一例を示す図である。
図10は、係数テーブルの一例を示す図である。
図11は、係数テーブルの一例を示す図である。
図12は、係数テーブルの一例を示す図である。
図13は、係数テーブルの一例を示す図である。
図14は、RGB色補間の動作を説明する流れ図である。
図15は、係数テーブルの一例を示す図である。
図16は、係数テーブルの一例を示す図である。
図17は、RGB色補間の動作を説明する流れ図である。
*** 第1実施形態 ***
以下、図面に基づいて本発明にかかる第1実施形態を説明する。
図1は、第1実施形態に対応する電子カメラ1のブロック図である。
図1において、電子カメラ1には、撮影レンズ20が装着される。この撮影レンズ20の像空間には、撮像素子21の撮像面が配置される。この撮像面上には、ベイヤー配列のRGB原色フィルタが配置される。この撮像素子21から出力される画像信号は、アナログ信号処理部22およびA/D変換部10を介して、RAWデータ(第1画像に対応)にデジタル変換された後、バスを介してメモリ13に一時記憶される。
このメモリ13には、バスを介して、画像処理部(例えば、画像処理専用の1チップ・マイクロプロセッサ)11、制御部12、圧縮伸張部14、画像表示部15、記録部17および外部インタフェース部19が接続される。
また、電子カメラ1には、操作部24、モニタ25、およびタイミング制御部23が設けられる。さらに、電子カメラ1には、メモリカード16が装着される。記録部17は、このメモリカード16に、処理済みの画像を圧縮記録する。
なお、電子カメラ1は、外部インタフェース部19(USBなど)を介して、外部コンピュータ18に接続することもできる。
[発明との対応関係]
以下、発明と第1実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の類似性判定部は、画像処理部11の『縦横斜め方向の類似性を求め、これら類似性の方向判定によりRAWデータの各画素をcase1〜12(後述)に分類する機能』に対応する。
請求項記載の係数選択部は、画像処理部11の『空間周波数特性の異なる係数テーブル群を類似性の強弱判定などに基づいて切り換え使用する機能、およびcase1〜12に応じて係数テーブル群から係数テーブルを選択する機能』に対応する。
請求項記載の変換処理部は、画像処理部11の『係数テーブルに従ってRAWデータの局所域の色成分を加重加算して、新成分(ここでは輝度成分)を求める機能』に対応する。
請求項記載の第1画像は、RAWデータに対応する。
請求項記載の第2画像は、表色系変換後の画像データに対応する。
[第1実施形態の動作説明]
図2〜図7は、画像処理部11の動作フローチャートである。なお、図2には、表色系変換のおおまかな流れを示す。図3および図4には、類似性の方向判別の指標(HV,DN)を求める動作を示す。また、図5〜7には、輝度成分の生成処理を示す。
まず、図2を用いて、表色系変換のおおまかな動作を説明する。
画像処理部11は、RAWデータの処理対象画素を中心に、画面の縦横方向について類似性の方向判定を行い、指標HVを求める(ステップS1)。この指標HVは、横よりも縦の類似性が強い場合に『1』が設定され、縦よりも横の類似性が強い場合に『−1』が設定され、縦横間で類似性に区別がつかない場合に『0』が設定される。
さらに、画像処理部11は、RAWデータの処理対象画素を中心に、画面の斜め方向について類似性の方向判定を行い、指標DNを求める(ステップS2)。この指標DNは、斜め135度よりも斜め45度の類似性が強い場合に『1』が設定され、斜め45度よりも斜め135度の類似性が強い場合に『−1』が設定され、これら類似性に区別がつかない場合に『0』が設定される。
次に、画像処理部11は、「輝度成分生成処理」を行う(ステップS3)と共に、「色度成分生成処理」を行う(ステップS4)。
なお、色度成分生成処理については、上述した特許文献3の実施形態に詳しく説明されているため、ここでの説明を省略する。
以下、「指標HVの設定処理」、「指標DNの設定処理」、および「輝度成分生成処理」の順番に具体的な動作説明を行う。
《指標HVの設定処理》
まず、図3を参照して、指標HV[i,j]の算出処理を説明する。なお、後述する演算式では、色成分RBを一般化し、『Z』と表記する。
ステップS12: まず、画像処理部11は、RAWデータの座標[i,j]において、縦横方向の画素間差分を算出し、類似度とする。
例えば、画像処理部11は、以下の式1〜式4を用いて、縦方向の類似度Cv[i,j]と横方向の類似度Ch[i,j]とを算出する。(なお、式中の絶対値‖については、2乗演算などに代えてもよい。)
(1)座標[i,j]が、R位置またはB位置の場合
Cv[i,j]=(|G[i,j−1]−G[i,j+1]|+|G[i−1,j−2]−G[i−1,j]|
+|G[i−1,j+2]−G[i−1,j]|+|G[i+1,j−2]−G[i+1,j]|+|G[i+1,j+2]−G[i+1,j]|
+|Z[i,j−2]−Z[i,j]|+|Z[i,j+2]−Z[i,j]|)/7・・・式1
Ch[i,j]=(|G[j−1,j]−G[i+1,j]|+|G[i−2,j−1]−G[i,j−1]|
+|G[i+2,j−1]−G[1,j−1]|+|G[i−2,j+1]−G[i,j+1]|+|G[i+2,j+1]−G[i,j+1]|
+|Z[i−2,j]−Z[i,j]|+|Z[i+2,j]−Z[i,j]|)/7・・・式2
(2)座標[i,j]が、G位置の場合
Cv[i,j]=(|G[i,j−2]−G[i,j]|+|G[i,j+2]−G[i,j]|
+|G[i−1,j−1]−G[i−1,j+1]|+|G[i+1,j−1]−G[i+1,j+1]|
+|Z[i,j−1]−Z[i,j+1]|)/5・・・式3
Ch[i,j]=(|G[i−2,j]−G[i,j]|+|G[i+2,j]−G[i,j]|
+|G[i−1,j−1]−G[i+1,j−1]|+|G[i−1,j+1]−G[i+1,j+1]|
+|Z[i−1,j]−Z[i+1,j]|)/5・・・式4
このようにして算出される類似度は値が小さい程、類似性が強いことを示す。
ステップS13: 次に、画像処理部11は、縦横方向の類似度を比較する。
ステップS14: 例えば、下記の条件2が成り立つ場合、画像処理部11は、縦横の類似度が同程度であると判定し、指標HV[i,j]に0を設定する。
|Cv[i,j]−Ch[i,j]|≦Th4・・・条件2
なお、条件2において、閾値Th4は、縦横の類似度の差異が微少である場合、ノイズによって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th4の値を高く設定することが好ましい。
ステップS15: 一方、条件2が不成立で、かつ下記の条件3が成り立つ場合、画像処理部11は、縦の類似性が強いと判定して、指標HV[i,j]に1を設定する。
Cv[i,j]<Ch[i,j]・・・条件3
ステップS16: また、条件2および条件3が不成立の場合、画像処理部11は、横の類似性が強いと判定して、指標HV[i,j]に−1を設定する。
ところで、ここではRB位置とG位置の両方に対して類似度を算出したが、簡略化のためには、RB位置のみ類似度を算出して、RB位置の方向指標HVを設定し、G位置の方向指標は周辺のHV値を参照して決めるようにしてもよい。例えば、G位置の隣接4点の指標について平均値を求めて整数化を行い、G位置の方向指標としてもよい。
《指標DNの設定処理》
次に、図4を参照して、指標DN[i,j]の設定処理を説明する。
ステップS31: まず、画像処理部11は、RAWデータの座標[i,j]において、斜め45度方向および斜め135度方向の画素間差分を算出して、類似度とする。
例えば、画像処理部11は、以下の式5〜式8を用いて、斜め45度方向の類似度C45[i,j]と、斜め135度方向の類似度C135[i,j]とを求める。
(1)座標[i,j]が、R位置またはB位置の場合
C45[i,j]=(|G[i−1,j]−G[i,j−1]|+|G[i,j+1]−G[i+1,j]|
+|G[i−2,j−1]−G[i−1,j−2]|+|G[i+1,j+2]−G[i+2,j+1]|
+|Z[i−1,j+1]−Z[i+1,j−1]|)/5・・・式5
C135[i,j]=(|G[i−1,j]−G[i,j+1]|+|G[i,j−1]−G[i+1,j]|
+|G[i−2,j+1]−G[i−1,j+2]|+|G[i+1,j−2]−G[i+2,j−1]|
+|Z[i−1,j−1]−Z[i+1,j+1]|)/5・・・式6
(2)座標[i,j]が、G位置の場合
C45[i,j]=(|G[i−1,j+1]−G[i,j]|+|G[i+1,j−1]−G[i,j]|
+|Z[i−1,j]−Z[i,j−1]|+|Z[i,j+1]−Z[i+1,j]|)/4・・・式7
C135[i,j]=(|G[i−1,j−1]−G[i,j]|+|G[i+1,j+1]−G[i,j]|
+|Z[i−1,j]−Z[i,j+1]|+|Z[i,j−1]−Z[i+1,j]|)/4・・・式8
このようにして算出される類似度は、値が小さい程、類似性が強いことを示す。
ステップS32: 画像処理部11は、このようにして、斜め45度方向および斜め135度方向に対する類似度を算出すると、これらの類似度に基づいて、2つの斜め方向の類似性が同程度であるか否かを判定する。
例えば、このような判定は、下記の条件5が成り立つか否かを判定することによって実現できる。
|C45[i,j]−C135[i,j]|≦Th5・・・条件5
なお、閾値Th5は、2方向の類似度C45[i,j],C135[i,j]の差異が微少である場合、ノイズによって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th5の値を高く設定することが好ましい。
ステップS33: このような判定から斜め類似性が同程度の場合、画像処理部11は、指標DN[i,j]に0を設定する。
ステップS34: 一方、斜め類似性が強い方向が判別できる場合、斜め45度方向の類似性が強いか否かを判定する。
例えば、このような判定は、下記の条件6が成り立つか否かを判定することによって実現できる。
C45[i,j]<C135[i,j]・・・条件6
ステップS35: そして、画像処理部11は、ステップS34の判定結果として、斜め45度方向の類似性が強い場合(条件5が成り立たず、条件6が成り立つ場合)、指標DN[i,j]に1を設定する。
ステップS36: 一方、斜め135度方向の類似性が強い場合(条件5および条件6が成り立たない場合)、指標DN[i,j]に−1を設定する。
ところで、ここではRB位置とG位置の両方に対して類似度を算出したが、簡略化のためには、RB位置のみ類似度を算出して、RB位置の方向指標DNを設定し、G位置の方向指標は周辺のDN値を参照して決めるようにしてもよい。例えば、G位置の隣接4点の指標について平均値を求めて整数化を行い、G位置の方向指標としてもよい。
《輝度成分生成処理》
次に、図5〜図7を参照して「輝度成分生成処理」の動作を説明する。
ステップS41: 画像処理部11は、処理対象画素の指標(HV,DN)が、(0,0)か否かを判定する。
ここで、指標(HV,DN)が(0,0)の場合、縦横方向および斜め方向の類似性がそれぞれ略均等であり、等方的な類似性を示す箇所であると判定できる。この場合、画像処理部11は、ステップS42に動作を移行する。
一方、指標(HV,DN)が(0,0)以外の場合、縦横方向または斜め方向の類似性が不均等であり、図8に示すように、画像構造に方向性を有する箇所であると判定できる。この場合、画像処理部は、ステップS47に動作を移行する。
ステップS42: 画像処理部11は、RAWデータを撮像した際の撮像感度(撮像素子のアンプゲインに対応)を制御部12から情報取得する。
撮像感度が高感度であった場合(例えばISO800相当以上)、画像処理部11はステップS46に動作を移行する。
一方、撮像感度が低感度であった場合、画像処理部11はステップS43に動作を移行する。
ステップS43: 画像処理部11は、類似性の強弱判定を実施する。例えば、このような強弱判定は、指標HVの算出に用いた類似度Cv[i,j],Ch[i,j]や、指標DNの算出に用いた類似度C45[i,j],C135[i,j]のいずれかが、次の条件7を満たすか否かによって判断される。
類似度>閾値th6 ・・・条件7
ただし、閾値th6は、等方的な類似性を有する箇所が、『平坦部』か『有意な起伏情報を有する箇所』かを判別するための境界値であり、実際のRAWデータの値に合わせて予め設定される。
条件7が成立する場合、画像処理部11はステップS44に動作を移行する。
一方、条件7が不成立の場合、画像処理部11はステップS45に動作を移行する。
ステップS44: ここでは、条件7が成立しているため、処理対象画素は周辺画素との類似性が弱く、すなわち有意な起伏情報を有する箇所であると判断できる。そこで、画像処理部11は、この有意な起伏情報を残すため、弱いLPF特性を示す係数テーブル1(図9参照)を選択する。この係数テーブル1は、RGB位置共通に使用可能な係数テーブルである。この選択動作の後、画像処理部11は、ステップS51に動作を移行する。
ステップS45: ここでは、条件7が不成立のため、処理対象画素は周辺画素との類似性が強く、すなわち平坦部であると判断できる。そこで、画像処理部11は、この平坦部に目立つ微小振幅のノイズを確実に除去するため、強くかつ広帯域に高周波成分を抑制する係数テーブル2,3(図9参照)のいずれかを選択する。この係数テーブル2は、処理対象画素がRB位置の場合に選択される係数テーブルである。一方、係数テーブル3は、処理対象画素がG位置の場合に選択される係数テーブルである。
このような選択動作の後、画像処理部11は、ステップS51に動作を移行する。
ステップS46: ここでは、撮像感度が高いために、RAWデータのS/Nが低いと判断できる。そこで、画像処理部11は、RAWデータのノイズを確実に除去するため、一段と強くかつ一段と広帯域に高周波成分を抑制する係数テーブル4(図9参照)を選択する。この係数テーブル4は、RGB位置共通に使用可能な係数テーブルである。この選択動作の後、画像処理部11は、ステップS51に動作を移行する。
ステップS47: ここでは、処理対象画素が非等方性の類似性を有する。そこで、画像処理部11は、『類似方向の類似性』と『非類似方向の類似性』の強弱差を求める。
このような強弱差は、例えば、指標HVの算出に使用した『縦方向の類似度Cv[i,j]』と『横方向の類似度Ch[i,j]』の差分や比率から求めることができる。また例えば、指標DNの算出に使用した『斜め45度方向の類似度C45[i,j]』と『斜め135度方向の類似度C135[i,j]』の差分や比率から求めることもできる。
ステップS48: 画像処理部11は、求めた強弱差を、次の条件8に従って、閾値判定する。
|強弱差|>閾値th7 ・・・条件8
ただし、閾値th7は、処理対象画素が、輪郭部の画像構造であるか否かを区別するための値であり、実際のRAWデータの値に合わせて予め設定される。
画像処理部11は、条件8が成立する場合、ステップS50に動作を移行する。
一方、条件8が不成立の場合、ステップS49に動作を移行する。
ステップS49: ここでは、条件8が不成立のため、処理対象画素は、画像の輪郭部ではないと推定される。そこで、画像処理部11は、輪郭強調の弱い係数テーブル群(図9〜図13に示す、配列サイズ3×3の係数テーブル5,7,9,11,13,15,17,19,21,23,25,27)の中から、係数テーブルを選択する。
具体的には、画像処理部11は、『指標(HV,DN)による類似性の方向判定』と『処理対象画素の色成分』とを組み合わせた条件に基づいて、処理対象画素を、下記のcase1〜12に分類する。なお、下記の『x』は、1,0,−1の何れでもよい。
《R位置またはB位置》
case1:(HV,DN)=(1,1):縦および斜め45度方向の類似性が強い。
case2:(HV,DN)=(1,0):縦方向の類似性が強い。
case3:(HV,DN)=(1,−1):縦および斜め135度方向の類似性が強い。
case4:(HV,DN)=(0,1):斜め45度方向の類似性が強い。
case5:欠番
case6:(HV,DN)=(0,−1):斜め135度方向の類似性が強い。
case7:(HV,DN)=(−1,1):横および斜め45度方向の類似性が強い。
case8:(HV,DN)=(−1,0):横方向の類似性が強い。
case9:(HV,DN)=(−1,−1):横および斜め135度方向の類似性が強い。
《G位置》
case10:(HV,DN)=(1,x):少なくとも縦方向の類似性が強い。
case11_1:(HV,DN)=(0,1):斜め45度方向の類似性が強い。
case11_1:(HV,DN)=(0,−1):斜め135度方向の類似性が強い。
case12:(HV,DN)=(−1,x):少なくとも横方向の類似性が強い。
このcase1〜12の分類に従い、画像処理部11は、輪郭強調の弱い係数テーブル群(図9〜図13に示す係数テーブル5,7,9,11,13,15,17,19,21,23,25,27)の中から、下記の係数テーブルを選択する。
case1のとき:係数テーブル5を選択する。
case2のとき:係数テーブル7を選択する。
case3のとき:係数テーブル9を選択する。
case4のとき:係数テーブル11を選択する。
case5のとき:欠番
case6のとき:係数テーブル13を選択する。
case7のとき:係数テーブル15を選択する。
case8のとき:係数テーブル17を選択する。
case9のとき:係数テーブル19を選択する。
case10のとき:係数テーブル21を選択する。
case11_1のとき:係数テーブル23を選択する。
case11_2のとき:係数テーブル25を選択する。
case12のとき:係数テーブル27を選択する。
なお、ここでは、類似性の比較的強い方向に係数を優先的に配分した係数テーブルを選択している。
このような係数テーブルの選択後、画像処理部11は、ステップS51に動作を移行する。
ステップS50: ここでは、条件8が成立しているため、処理対象画素は、画像の輪郭部であると推定される。そこで、画像処理部11は、輪郭強調の強い係数テーブル群(図9〜図13に示す、配列サイズ5×5の係数テーブル6,8,10,12,14,16,18,20,22,24,26,28)の中から係数テーブルを選択する。
具体的には、画像処理部11は、ステップS49と同様に、処理対象画素をcase1〜12に分類する。
このcase1〜12の分類に従い、画像処理部11は、輪郭強調の強い係数テーブル群(図9〜図13に示す係数テーブル6,8,10,12,14,16,18,20,22,24,26,28)の中から、下記の係数テーブルを選択する。
case1のとき:係数テーブル6を選択する。
case2のとき:係数テーブル8を選択する。
case3のとき:係数テーブル10を選択する。
case4のとき:係数テーブル12を選択する。
case5のとき:欠番
case6のとき:係数テーブル14を選択する。
case7のとき:係数テーブル16を選択する。
case8のとき:係数テーブル18を選択する。
case9のとき:係数テーブル20を選択する。
case10のとき:係数テーブル22を選択する。
case11_1のとき:係数テーブル24を選択する。
case11_2のとき:係数テーブル26を選択する。
case12のとき:係数テーブル28を選択する。
なお、ここでは、類似性の比較的強い方向に係数を優先的に配分した係数テーブルを選択している。さらに、この係数テーブルは、類似方向と略直交する方向には負の係数項を配分することにより、画像の輪郭強調を可能にしている。
このような係数テーブルの選択後、画像処理部11は、ステップS51に動作を移行する。
ステップS51: 上述した一連の動作により、画素単位に係数テーブルが選択される。画像処理部11は、このように選択された係数テーブルの係数項を、RAWデータの処理対象画素を含む局所域の色成分に乗じて加算する。
このとき、図9〜図13に示す係数テーブルのいずれが選択されても、この加重加算における色成分ごとの加重比率は『R:G:B=1:2:1』を常に保つ。この加重比率は、RGB色成分から輝度成分Yを求める際の加重比率に等しい。そのため、上述した加重加算では、RAWデータから輝度成分Yが画素単位に直に生成される。
[第1実施形態の効果など]
以上説明したように、第1実施形態では、空間周波数特性の異なる係数テーブル群を予め準備し、画像構造の解析結果に応じて係数テーブル群を切り換え使用する(ステップS43,ステップS48)。その結果、『表色系変換』および『画像構造を考慮した空間フィルタ処理』という本来別々の画像処理を、一回の加重加算で実行することが可能になる。
したがって、空間フィルタ処理を表色系変換と別に行う必要がなくなり、RAWデータの処理にかかる時間を格段に短縮することができる。
また、一回の加重加算で済むため、表色系変換と空間フィルタ処理を段階的に実施する背景技術に比べて、画像情報の劣化を小さくすることもできる。
また、第1実施形態は、『複数方向の類似性が等方的』かつ『類似性が強い』と判定された場合、『ノイズ除去の度合いが強いタイプの係数テーブル』を選択する(ステップS43,ステップS45)。そのため、表色系変換と同時に、画像の平坦部に目立つノイズを強力に抑制することができる。
一方、第1実施形態では、有意な起伏情報を有する箇所については、弱いLPF特性を有する係数テーブルを選択する(ステップS43、ステップS44)。そのため、画像情報をたくさん含む良質な画像データを生成できる。
さらに、第1実施形態では、複数方向において類似性の強弱差が大きいと判定されると、非類似方向の高周波成分を強調する『輪郭強調の度合いのより強いタイプの係数テーブル』に切り換える(ステップS48,ステップS50)。その結果、表色系変換と同時に、画像の輪郭コントラストを鮮明にすることができる。
その上、第1実施形態では、撮像感度が高いほど、係数テーブルをノイズ除去の度合いの強いものに変更する(ステップS42,ステップS46)。その結果、表色系変換と同時に、高い撮像感度において増加するノイズを一段と強く抑制することができる。
次に、別の実施形態について説明する。
*** 第2実施形態 ***
第2実施形態の電子カメラ(画像処理装置を含む)は、RGBベイヤー配列のRAWデータ(第1画像に対応)を色補間して、画素単位にRGB信号成分が揃った画像データ(第2画像に対応)を生成する。
なお、電子カメラの構成(図1)については、第1実施形態と同一である。そのため、説明を省略する。
図14は、第2実施形態における色補間処理を説明する流れ図である。
以下、図14に示すステップ番号に沿って、第2実施形態の動作説明を行う。
ステップS61: 画像処理部11は、処理対象であるRAWデータのG画素[i,j]について、『いずれの方向にも類似性の区別がつかない箇所か否か』すなわち『画像構造に有意な方向性が見当たらず、等方性の高い箇所か否か』を類似性判定によって判断する。
例えば、画像処理部11は、このG画素[i,j]について、指標(HV,DN)を求める。この処理は、第1実施形態(図3,図4)と同様であるため、説明を省略する。
次に、画像処理部11は、求めた指標(HV,DN)が(0,0)か否かを判定する。
もし、指標(HV,DN)が(0,0)の場合、縦横方向および斜め方向の類似性がそれぞれ略均等であり、G画素[i,j]は類似性の区別がつかない箇所であると判定できる。この場合、画像処理部11は、ステップS63に動作を移行する。
一方、指標(HV,DN)が(0,0)以外の場合、画像構造に有意な方向性が存在する。この場合、画像処理部11は、ステップS62に動作を移行する。
ステップS62: このステップでは、画像構造に有意な方向性が存在する。すなわち、処理対象のG画素[i,j]は、画像の輪郭部やディテール部などに位置し、重要な画像構造である可能性が高い。
そこで、画像処理部11は、重要な画像構造を忠実に保つため、後述する平滑化処理(ステップS63,S64)を回避する。すなわち、画像処理部11は、RAWデータのG画素[i,j]の値を、そのまま色補間後の画素[i,j]のG色成分とする。
この処理の後、画像処理部11はステップS65に動作を移行する。
ステップS63: 一方、このステップでは、画像構造に有意な方向性が存在しない。そのため、画像の平坦部や、周囲と孤立した点状のノイズである可能性が高い。画像処理部11は、このような箇所に限って平滑化を実施することにより、重要な画像構造を損ねることなく、G画素のノイズを低く抑えることができる。
なお、画像処理部11は、上述した類似性判定(画像構造の判定)の他に、RAWデータ撮像時の撮像感度を参考にして、平滑化の度合いを決定する。
図15は、この平滑化の度合いを変更するために、予め準備する係数テーブルを示す図である。この係数テーブルは、処理対象の中心G画素[i,j]と、周辺G画素とを加重加算する際の重み係数を規定するものである。
以下、図15に示す係数テーブルの選択について説明する。
まず、撮像感度がISO200の場合、画像処理部11は、図15(A)に示す係数テーブルを選択する。この係数テーブルは、中心G画素と周辺G画素との加重比率が4:1であり、平滑化の度合いの低い係数テーブルである。
また、撮像感度がISO800の場合、画像処理部11は、図15(B)に示す係数テーブルを選択する。この係数テーブルは、中心G画素と周辺G画素との加重比率が2:1であり、平滑化の度合いが中間的な係数テーブルである。
また、撮像感度がISO3200の場合、画像処理部11は、図15(C)に示す係数テーブルを選択する。この係数テーブルは、中心G画素と周辺G画素との加重比率が1:1であり、平滑化の度合いの強い係数テーブルである。
なお、図16に示す係数テーブルを用いて、平滑化の度合いを変更してもよい。以下、図16に示す係数テーブルを使用する場合について説明する。
まず、撮像感度がISO200の場合、図16(A)に示す係数テーブルを選択する。この係数テーブルは、縦横3×3画素のサイズであり、この範囲以下の空間的な画素値の起伏について平滑化が実施される。その結果、この微細サイズの起伏(高域空間周波数成分)に対する平滑化処理となり、平滑化の度合いを比較的に低くすることができる。
また、撮像感度がISO800の場合、図16(B)に示す係数テーブルを選択する。この係数テーブルは、縦横5×5画素の範囲内に、菱形状に重み係数を配分する。その結果、縦横の画素間隔に換算して、斜め4.24×4.24画素相当分の菱形テーブルとなる。その結果、この範囲以下の起伏(中高域の空間周波数成分)までが平滑化の対象に入り、平滑化の度合いは若干高くなる。
また、撮像感度がISO3200の場合、図16(C)に示す係数テーブルを選択する。この係数テーブルは、縦横5×5画素のサイズであり、この範囲以下の空間的な画素値の起伏について平滑化が実施される。その結果、この範囲以下の起伏(中域空間周波数成分)までが平滑化の対象に入り、平滑化の度合いは更に高くなる。
続いて、ここでの重み係数の一般的な変更ルールについて説明する。
まず、撮像感度が低く、すなわちRAWデータのノイズが少ないほど、画像処理部11は、中心G画素の重み係数を相対的に増やすか、および/または係数テーブルのサイズを縮小する。このような係数テーブルの変更により、平滑化を弱めることができる。
逆に、撮像感度が高く、RAWデータのノイズが多いほど、画像処理部11は中心G画素の重み係数を相対的に減らすか、および/または係数テーブルのサイズを拡大する。このような係数テーブルの変更により、平滑化を強めることができる。
ステップS64: 画像処理部11は、選択した係数テーブルの重み係数に従って、処理対象のG画素[i,j]に対して、周辺G画素の値を加重加算する。画像処理部11は、加重加算後のG画素[i,j]の値を、色補間後の画素[i,j]のG色成分とする。
この処理の後、画像処理部11はステップS65に動作を移行する。
ステップS65: 画像処理部11は、RAWデータのG画素を対象に、上述した適応型の平滑化処理(ステップS61〜S64)を繰り返し実行する。
画像処理部11は、RAWデータのG画素全てについて、この適応型の平滑化処理を完了すると、ステップS66に動作を移行する。
ステップS66: 続いて、画像処理部11は、RAWデータのRB位置(G色成分の空格子位置)について補間処理を行い、G色の補間成分を生成する。例えば、ここでは下記のような、指標(HV,DN)を考慮した補間処理を実施する。なお、式中の『Z』は、色成分RBのいずれかを一般化して示すものである。
(HV,DN)=(0,0)ならば、G[i,j]=(Gv+Gh)/2
(HV,DN)=(0,1)ならば、G[i,j]=(Gv45+Gh45)/2
(HV,DN)=(0,−1)ならば、G[i,j]=(Gv135+Gh135)/2
(HV,DN)=(1,0)ならば、G[i,j]=Gv
(HV,DN)=(1,1)ならば、G[i,j]=Gv45
(HV,DN)=(1,−1)ならば、G[i,j]=Gv135
(HV,DN)=(−1,0)ならば、G[i,j]=Gh
(HV,DN)=(−1,1)ならば、G[i,j]=Gh45
(HV,DN)=(−1,−1)ならば、G[i,j]=Gh135
ただし、
Gv=(G[i,j−1]+G[i,j+1])/2
+(2・Z[i,j]−Z[i,j−2]−Z[i,j+2])/8
+(2・G[i−1,j]−G[i−1,j−2]−G[i−1,j+2]
+2・G[i+1,j]−G[i+1,j−2]−G[i+1,j+2])/16
Gv45=(G[i,j−1]+G[i,j+1])/2
+(2・Z[i,j]−Z[i,j−2]−Z[i,j+2])/8
+(2・Z[i−1,j+1]−Z[i−1,j−1]−Z[i−1,j+3]
+2・Z[i+1,j−1]−Z[i+1,j−3]−Z[i+1,j+1])/16
Gv135=(G[i,j−1]+G[i,j+1])/2
+(2・Z[i,j]−Z[i,j−2]−Z[j,i+2])/8
+(2・Z[i−1,j−1]−Z[i−1,j−3]−Z[i−1,j+1]
+2・z[i+1,j+1]−z[i+1,j−1]−Z[i+1,j+3])/16
Gh=(G[i−1,j]+G[i+1,j])/2
+(2・Z[i,j]−Z「j−2,j]−Z[i+2,j])/8
+(2・G[i,j−1]−G[i−2,j−1]−G[i+2,j−1]
+2・G[i,j+1]−G[i−2,j+1]−G[i+2,j+1])/16
Gh45=(G[i−1,j]+G[i+1,j])/2
+(2・z[i,j]−Z[i−2,j]−z[i+2,j])/8
+(2・Z[i+1,j−1]−Z[i−1,i−1]−Z[i+3,j−1]
+2・Z[i−1,j+1]−Z[i−3,j+1]−Z[i+1,j+1])/16
Gh135=(G[i−1,j]+G[i+1,j])/2
+(2・Z[i,j]−Z[i−2,j]−Z[i+2,j])/8
+(2・Z[i−1,j−1]−Z[j−3,j−1]−Z[i+1,j−1]
+2・Z[i+1,j+1]−Z[i−1,j+1]−Z[i+3,j+1])/16
ステップS67: 続いて、画像処理部11は、R色成分の補間処理を行う。例えば、ここでは、R位置[i,j]以外の画素[i+1,j],[i,j+1],[i+1,j+1]について、それぞれ下記のような補間処理を実施する。
R[i+1,j]=(R[i,j]+R[i+2,j])/2+(2・G[i+1,j]−G[i,j]−G[i+2,j])/2
R[i,j+1]=(R[i,j]+R[i,j+2])/2+(2・G[i,j+1]−G[i,j]−G[i,j+2])/2
R[i+1,j+1]=(R[i,j]+R[i+2,j]+R[i,j+2]+R[i+2,j+2])/4
+(4・G[i+1,j+1]−G[i,j]−G[i+2,j]−G[i,j+2]−G[i+2,j+2])/4
ステップS68: 続いて、画像処理部11は、B色成分の補間処理を行う。例えば、ここでは、B位置[i,j]以外の画素[i+1,j],[i,j+1],[i+1,j+1]について、それぞれ下記のような補間処理を実施する。
B[i+1,j]=(B[i,j]+B[i+2,j])/2+(2・G[i+1,j]−G[i,j]−G[i+2,j])/2
B[i,j+1]=(B[i,j]+B[i,j+2])/2+(2・G[i,j+1]−G[i,j]−G[i,j+2])/2
B[i+1,j+1]=(B[i,j]+B[i+2,j]+B[i,j+2]+B[i+2,j+2])/4
+(4・G[i+1,j+1]−G[i,j]−G[i+2,j]−G[i,j+2]−G[i+2,j+2])/4
上述した一連の処理により、RGB色補間が完了する。
*** 第3実施形態 ***
第3実施形態の電子カメラ(画像処理装置を含む)は、RGBベイヤー配列のRAWデータ(第1画像に対応)を色補間して、画素単位にRGB信号成分が揃った画像データ(第2画像に対応)を生成する。
なお、電子カメラの構成(図1)については、第1実施形態と同一である。そのため、説明を省略する。
図17は、第3実施形態における色補間処理を説明する流れ図である。
以下、図17に示すステップ番号に沿って、第3実施形態の動作説明を行う。
ステップS71: 画像処理部11は、処理対象であるRAWデータのG画素[i,j]について、『いずれの方向も類似性が所定レベルより強いか否か』すなわち『画像構造に有意な方向性が見当たらず、平坦性の高い箇所か否か』を類似性判定によって判断する。
例えば、画像処理部11は、このG画素[i,j]について、類似度Cv,Ch,C45,C135を求める。この処理は、第1実施形態と同様であるため、説明を省略する。
次に、画像処理部11は、下記の条件式に基づいて、求めた類似度Cv,Ch,C45,C135がいずれも所定の閾値以下か否かを判定する。
(Cv≦Thv)AND(Ch≦Thh)AND(C45≦Th45)AND(C135≦Th135)
なお、式中の閾値は、類似度が有意な画素値変化を示しているかを判別するための値である。そのため、撮像感度が高くなるに従って、ノイズ増加を考慮して閾値を大きくすることが好ましい。
もし、この条件式を満足した場合、縦横方向および斜め方向に平坦な箇所であると判定できる。この場合、画像処理部11は、ステップS73に動作を移行する。
一方、この条件式を満足しない場合、画像構造に有意な方向性が存在する。この場合、画像処理部11は、ステップS72に動作を移行する。
ステップS72〜S78: 第2実施形態のステップS62〜S68と同一であるため、説明を省略する。
上述した一連の処理により、RGB色補間が完了する。
*** 実施形態の補足事項 ***
なお、上述した第1実施形態のステップS43において、『複数方向の類似性が等方的』かつ『類似性が弱い』と判定された場合に、『ノイズ除去の度合いがより強いタイプの係数テーブル』を選択してもよい。この場合、表色系変換と同時に、類似性の弱い箇所をノイズとみなして強力に除去することができる。このような動作では、等方的な箇所(明らかに輪郭ではない箇所)における起伏情報を、孤立したノイズ点として強力にノイズ除去することができる。つまり、輪郭部の画像構造を損なわずに、ブツブツ状のノイズや、モザイク状の色ノイズなどを適切に除去することが可能になる。
また、上述した第1実施形態のステップS48において、類似性の方向間の強弱差が小さいと判定された場合に、信号成分の高周波成分を強調する『ディテール強調タイプの係数テーブル』を選択してもよい。この場合、表色系変換と同時に、方向性を持たない微細な画像構造を強調することができる。
なお、上述したひとつの実施形態の中では、輝度成分への表色系変換について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を色差成分への表色系変換に際して実施してもよい。この場合、色差成分の生成と同時に、画像構造を考慮した空間フィルタ処理(特にLPF処理)を実施することが可能になり、色差ノイズによる偽色発生を良好に抑制することができる。
また、上述したひとつの実施形態の中では、表色系変換に本発明を適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、表色系変換用の係数テーブルを、色補間用の係数テーブルに代えることにより、『色補間処理』と『画像構造を考慮した高度な空間フィルタ処理』を一緒に実施することが可能になる。
すなわち、第2実施では色補間とローパス処理を一緒に実施する場合についてのみ示したが、第1実施形態と同様に輪郭強調処理を含めてもよい。
さらに、上述した実施形態では、電子カメラ1に本発明を適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画像処理プログラムによって、外部コンピュータ18に、図2〜図7に示す動作を実行させてもよい。
また、本発明の画像処理サービスを、インターネットなどの通信回線を介してサービス提供してもよい。
さらに、電子カメラのファームウェアの書き換えにより、本発明の画像処理機能を電子カメラに後から付加してもよい。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
以下、図面に基づいて本発明にかかる第1実施形態を説明する。
図1は、第1実施形態に対応する電子カメラ1のブロック図である。
図1において、電子カメラ1には、撮影レンズ20が装着される。この撮影レンズ20の像空間には、撮像素子21の撮像面が配置される。この撮像面上には、ベイヤー配列のRGB原色フィルタが配置される。この撮像素子21から出力される画像信号は、アナログ信号処理部22およびA/D変換部10を介して、RAWデータ(第1画像に対応)にデジタル変換された後、バスを介してメモリ13に一時記憶される。
このメモリ13には、バスを介して、画像処理部(例えば、画像処理専用の1チップ・マイクロプロセッサ)11、制御部12、圧縮伸張部14、画像表示部15、記録部17および外部インタフェース部19が接続される。
また、電子カメラ1には、操作部24、モニタ25、およびタイミング制御部23が設けられる。さらに、電子カメラ1には、メモリカード16が装着される。記録部17は、このメモリカード16に、処理済みの画像を圧縮記録する。
なお、電子カメラ1は、外部インタフェース部19(USBなど)を介して、外部コンピュータ18に接続することもできる。
[発明との対応関係]
以下、発明と第1実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の類似性判定部は、画像処理部11の『縦横斜め方向の類似性を求め、これら類似性の方向判定によりRAWデータの各画素をcase1〜12(後述)に分類する機能』に対応する。
請求項記載の係数選択部は、画像処理部11の『空間周波数特性の異なる係数テーブル群を類似性の強弱判定などに基づいて切り換え使用する機能、およびcase1〜12に応じて係数テーブル群から係数テーブルを選択する機能』に対応する。
請求項記載の変換処理部は、画像処理部11の『係数テーブルに従ってRAWデータの局所域の色成分を加重加算して、新成分(ここでは輝度成分)を求める機能』に対応する。
請求項記載の第1画像は、RAWデータに対応する。
請求項記載の第2画像は、表色系変換後の画像データに対応する。
[第1実施形態の動作説明]
図2〜図7は、画像処理部11の動作フローチャートである。なお、図2には、表色系変換のおおまかな流れを示す。図3および図4には、類似性の方向判別の指標(HV,DN)を求める動作を示す。また、図5〜7には、輝度成分の生成処理を示す。
まず、図2を用いて、表色系変換のおおまかな動作を説明する。
画像処理部11は、RAWデータの処理対象画素を中心に、画面の縦横方向について類似性の方向判定を行い、指標HVを求める(ステップS1)。この指標HVは、横よりも縦の類似性が強い場合に『1』が設定され、縦よりも横の類似性が強い場合に『−1』が設定され、縦横間で類似性に区別がつかない場合に『0』が設定される。
さらに、画像処理部11は、RAWデータの処理対象画素を中心に、画面の斜め方向について類似性の方向判定を行い、指標DNを求める(ステップS2)。この指標DNは、斜め135度よりも斜め45度の類似性が強い場合に『1』が設定され、斜め45度よりも斜め135度の類似性が強い場合に『−1』が設定され、これら類似性に区別がつかない場合に『0』が設定される。
次に、画像処理部11は、「輝度成分生成処理」を行う(ステップS3)と共に、「色度成分生成処理」を行う(ステップS4)。
なお、色度成分生成処理については、上述した特許文献3の実施形態に詳しく説明されているため、ここでの説明を省略する。
以下、「指標HVの設定処理」、「指標DNの設定処理」、および「輝度成分生成処理」の順番に具体的な動作説明を行う。
《指標HVの設定処理》
まず、図3を参照して、指標HV[i,j]の算出処理を説明する。なお、後述する演算式では、色成分RBを一般化し、『Z』と表記する。
ステップS12: まず、画像処理部11は、RAWデータの座標[i,j]において、縦横方向の画素間差分を算出し、類似度とする。
例えば、画像処理部11は、以下の式1〜式4を用いて、縦方向の類似度Cv[i,j]と横方向の類似度Ch[i,j]とを算出する。(なお、式中の絶対値‖については、2乗演算などに代えてもよい。)
(1)座標[i,j]が、R位置またはB位置の場合
Cv[i,j]=(|G[i,j−1]−G[i,j+1]|+|G[i−1,j−2]−G[i−1,j]|
+|G[i−1,j+2]−G[i−1,j]|+|G[i+1,j−2]−G[i+1,j]|+|G[i+1,j+2]−G[i+1,j]|
+|Z[i,j−2]−Z[i,j]|+|Z[i,j+2]−Z[i,j]|)/7・・・式1
Ch[i,j]=(|G[j−1,j]−G[i+1,j]|+|G[i−2,j−1]−G[i,j−1]|
+|G[i+2,j−1]−G[1,j−1]|+|G[i−2,j+1]−G[i,j+1]|+|G[i+2,j+1]−G[i,j+1]|
+|Z[i−2,j]−Z[i,j]|+|Z[i+2,j]−Z[i,j]|)/7・・・式2
(2)座標[i,j]が、G位置の場合
Cv[i,j]=(|G[i,j−2]−G[i,j]|+|G[i,j+2]−G[i,j]|
+|G[i−1,j−1]−G[i−1,j+1]|+|G[i+1,j−1]−G[i+1,j+1]|
+|Z[i,j−1]−Z[i,j+1]|)/5・・・式3
Ch[i,j]=(|G[i−2,j]−G[i,j]|+|G[i+2,j]−G[i,j]|
+|G[i−1,j−1]−G[i+1,j−1]|+|G[i−1,j+1]−G[i+1,j+1]|
+|Z[i−1,j]−Z[i+1,j]|)/5・・・式4
このようにして算出される類似度は値が小さい程、類似性が強いことを示す。
ステップS13: 次に、画像処理部11は、縦横方向の類似度を比較する。
ステップS14: 例えば、下記の条件2が成り立つ場合、画像処理部11は、縦横の類似度が同程度であると判定し、指標HV[i,j]に0を設定する。
|Cv[i,j]−Ch[i,j]|≦Th4・・・条件2
なお、条件2において、閾値Th4は、縦横の類似度の差異が微少である場合、ノイズによって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th4の値を高く設定することが好ましい。
ステップS15: 一方、条件2が不成立で、かつ下記の条件3が成り立つ場合、画像処理部11は、縦の類似性が強いと判定して、指標HV[i,j]に1を設定する。
Cv[i,j]<Ch[i,j]・・・条件3
ステップS16: また、条件2および条件3が不成立の場合、画像処理部11は、横の類似性が強いと判定して、指標HV[i,j]に−1を設定する。
ところで、ここではRB位置とG位置の両方に対して類似度を算出したが、簡略化のためには、RB位置のみ類似度を算出して、RB位置の方向指標HVを設定し、G位置の方向指標は周辺のHV値を参照して決めるようにしてもよい。例えば、G位置の隣接4点の指標について平均値を求めて整数化を行い、G位置の方向指標としてもよい。
《指標DNの設定処理》
次に、図4を参照して、指標DN[i,j]の設定処理を説明する。
ステップS31: まず、画像処理部11は、RAWデータの座標[i,j]において、斜め45度方向および斜め135度方向の画素間差分を算出して、類似度とする。
例えば、画像処理部11は、以下の式5〜式8を用いて、斜め45度方向の類似度C45[i,j]と、斜め135度方向の類似度C135[i,j]とを求める。
(1)座標[i,j]が、R位置またはB位置の場合
C45[i,j]=(|G[i−1,j]−G[i,j−1]|+|G[i,j+1]−G[i+1,j]|
+|G[i−2,j−1]−G[i−1,j−2]|+|G[i+1,j+2]−G[i+2,j+1]|
+|Z[i−1,j+1]−Z[i+1,j−1]|)/5・・・式5
C135[i,j]=(|G[i−1,j]−G[i,j+1]|+|G[i,j−1]−G[i+1,j]|
+|G[i−2,j+1]−G[i−1,j+2]|+|G[i+1,j−2]−G[i+2,j−1]|
+|Z[i−1,j−1]−Z[i+1,j+1]|)/5・・・式6
(2)座標[i,j]が、G位置の場合
C45[i,j]=(|G[i−1,j+1]−G[i,j]|+|G[i+1,j−1]−G[i,j]|
+|Z[i−1,j]−Z[i,j−1]|+|Z[i,j+1]−Z[i+1,j]|)/4・・・式7
C135[i,j]=(|G[i−1,j−1]−G[i,j]|+|G[i+1,j+1]−G[i,j]|
+|Z[i−1,j]−Z[i,j+1]|+|Z[i,j−1]−Z[i+1,j]|)/4・・・式8
このようにして算出される類似度は、値が小さい程、類似性が強いことを示す。
ステップS32: 画像処理部11は、このようにして、斜め45度方向および斜め135度方向に対する類似度を算出すると、これらの類似度に基づいて、2つの斜め方向の類似性が同程度であるか否かを判定する。
例えば、このような判定は、下記の条件5が成り立つか否かを判定することによって実現できる。
|C45[i,j]−C135[i,j]|≦Th5・・・条件5
なお、閾値Th5は、2方向の類似度C45[i,j],C135[i,j]の差異が微少である場合、ノイズによって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th5の値を高く設定することが好ましい。
ステップS33: このような判定から斜め類似性が同程度の場合、画像処理部11は、指標DN[i,j]に0を設定する。
ステップS34: 一方、斜め類似性が強い方向が判別できる場合、斜め45度方向の類似性が強いか否かを判定する。
例えば、このような判定は、下記の条件6が成り立つか否かを判定することによって実現できる。
C45[i,j]<C135[i,j]・・・条件6
ステップS35: そして、画像処理部11は、ステップS34の判定結果として、斜め45度方向の類似性が強い場合(条件5が成り立たず、条件6が成り立つ場合)、指標DN[i,j]に1を設定する。
ステップS36: 一方、斜め135度方向の類似性が強い場合(条件5および条件6が成り立たない場合)、指標DN[i,j]に−1を設定する。
ところで、ここではRB位置とG位置の両方に対して類似度を算出したが、簡略化のためには、RB位置のみ類似度を算出して、RB位置の方向指標DNを設定し、G位置の方向指標は周辺のDN値を参照して決めるようにしてもよい。例えば、G位置の隣接4点の指標について平均値を求めて整数化を行い、G位置の方向指標としてもよい。
《輝度成分生成処理》
次に、図5〜図7を参照して「輝度成分生成処理」の動作を説明する。
ステップS41: 画像処理部11は、処理対象画素の指標(HV,DN)が、(0,0)か否かを判定する。
ここで、指標(HV,DN)が(0,0)の場合、縦横方向および斜め方向の類似性がそれぞれ略均等であり、等方的な類似性を示す箇所であると判定できる。この場合、画像処理部11は、ステップS42に動作を移行する。
一方、指標(HV,DN)が(0,0)以外の場合、縦横方向または斜め方向の類似性が不均等であり、図8に示すように、画像構造に方向性を有する箇所であると判定できる。この場合、画像処理部は、ステップS47に動作を移行する。
ステップS42: 画像処理部11は、RAWデータを撮像した際の撮像感度(撮像素子のアンプゲインに対応)を制御部12から情報取得する。
撮像感度が高感度であった場合(例えばISO800相当以上)、画像処理部11はステップS46に動作を移行する。
一方、撮像感度が低感度であった場合、画像処理部11はステップS43に動作を移行する。
ステップS43: 画像処理部11は、類似性の強弱判定を実施する。例えば、このような強弱判定は、指標HVの算出に用いた類似度Cv[i,j],Ch[i,j]や、指標DNの算出に用いた類似度C45[i,j],C135[i,j]のいずれかが、次の条件7を満たすか否かによって判断される。
類似度>閾値th6 ・・・条件7
ただし、閾値th6は、等方的な類似性を有する箇所が、『平坦部』か『有意な起伏情報を有する箇所』かを判別するための境界値であり、実際のRAWデータの値に合わせて予め設定される。
条件7が成立する場合、画像処理部11はステップS44に動作を移行する。
一方、条件7が不成立の場合、画像処理部11はステップS45に動作を移行する。
ステップS44: ここでは、条件7が成立しているため、処理対象画素は周辺画素との類似性が弱く、すなわち有意な起伏情報を有する箇所であると判断できる。そこで、画像処理部11は、この有意な起伏情報を残すため、弱いLPF特性を示す係数テーブル1(図9参照)を選択する。この係数テーブル1は、RGB位置共通に使用可能な係数テーブルである。この選択動作の後、画像処理部11は、ステップS51に動作を移行する。
ステップS45: ここでは、条件7が不成立のため、処理対象画素は周辺画素との類似性が強く、すなわち平坦部であると判断できる。そこで、画像処理部11は、この平坦部に目立つ微小振幅のノイズを確実に除去するため、強くかつ広帯域に高周波成分を抑制する係数テーブル2,3(図9参照)のいずれかを選択する。この係数テーブル2は、処理対象画素がRB位置の場合に選択される係数テーブルである。一方、係数テーブル3は、処理対象画素がG位置の場合に選択される係数テーブルである。
このような選択動作の後、画像処理部11は、ステップS51に動作を移行する。
ステップS46: ここでは、撮像感度が高いために、RAWデータのS/Nが低いと判断できる。そこで、画像処理部11は、RAWデータのノイズを確実に除去するため、一段と強くかつ一段と広帯域に高周波成分を抑制する係数テーブル4(図9参照)を選択する。この係数テーブル4は、RGB位置共通に使用可能な係数テーブルである。この選択動作の後、画像処理部11は、ステップS51に動作を移行する。
ステップS47: ここでは、処理対象画素が非等方性の類似性を有する。そこで、画像処理部11は、『類似方向の類似性』と『非類似方向の類似性』の強弱差を求める。
このような強弱差は、例えば、指標HVの算出に使用した『縦方向の類似度Cv[i,j]』と『横方向の類似度Ch[i,j]』の差分や比率から求めることができる。また例えば、指標DNの算出に使用した『斜め45度方向の類似度C45[i,j]』と『斜め135度方向の類似度C135[i,j]』の差分や比率から求めることもできる。
ステップS48: 画像処理部11は、求めた強弱差を、次の条件8に従って、閾値判定する。
|強弱差|>閾値th7 ・・・条件8
ただし、閾値th7は、処理対象画素が、輪郭部の画像構造であるか否かを区別するための値であり、実際のRAWデータの値に合わせて予め設定される。
画像処理部11は、条件8が成立する場合、ステップS50に動作を移行する。
一方、条件8が不成立の場合、ステップS49に動作を移行する。
ステップS49: ここでは、条件8が不成立のため、処理対象画素は、画像の輪郭部ではないと推定される。そこで、画像処理部11は、輪郭強調の弱い係数テーブル群(図9〜図13に示す、配列サイズ3×3の係数テーブル5,7,9,11,13,15,17,19,21,23,25,27)の中から、係数テーブルを選択する。
具体的には、画像処理部11は、『指標(HV,DN)による類似性の方向判定』と『処理対象画素の色成分』とを組み合わせた条件に基づいて、処理対象画素を、下記のcase1〜12に分類する。なお、下記の『x』は、1,0,−1の何れでもよい。
《R位置またはB位置》
case1:(HV,DN)=(1,1):縦および斜め45度方向の類似性が強い。
case2:(HV,DN)=(1,0):縦方向の類似性が強い。
case3:(HV,DN)=(1,−1):縦および斜め135度方向の類似性が強い。
case4:(HV,DN)=(0,1):斜め45度方向の類似性が強い。
case5:欠番
case6:(HV,DN)=(0,−1):斜め135度方向の類似性が強い。
case7:(HV,DN)=(−1,1):横および斜め45度方向の類似性が強い。
case8:(HV,DN)=(−1,0):横方向の類似性が強い。
case9:(HV,DN)=(−1,−1):横および斜め135度方向の類似性が強い。
《G位置》
case10:(HV,DN)=(1,x):少なくとも縦方向の類似性が強い。
case11_1:(HV,DN)=(0,1):斜め45度方向の類似性が強い。
case11_1:(HV,DN)=(0,−1):斜め135度方向の類似性が強い。
case12:(HV,DN)=(−1,x):少なくとも横方向の類似性が強い。
このcase1〜12の分類に従い、画像処理部11は、輪郭強調の弱い係数テーブル群(図9〜図13に示す係数テーブル5,7,9,11,13,15,17,19,21,23,25,27)の中から、下記の係数テーブルを選択する。
case1のとき:係数テーブル5を選択する。
case2のとき:係数テーブル7を選択する。
case3のとき:係数テーブル9を選択する。
case4のとき:係数テーブル11を選択する。
case5のとき:欠番
case6のとき:係数テーブル13を選択する。
case7のとき:係数テーブル15を選択する。
case8のとき:係数テーブル17を選択する。
case9のとき:係数テーブル19を選択する。
case10のとき:係数テーブル21を選択する。
case11_1のとき:係数テーブル23を選択する。
case11_2のとき:係数テーブル25を選択する。
case12のとき:係数テーブル27を選択する。
なお、ここでは、類似性の比較的強い方向に係数を優先的に配分した係数テーブルを選択している。
このような係数テーブルの選択後、画像処理部11は、ステップS51に動作を移行する。
ステップS50: ここでは、条件8が成立しているため、処理対象画素は、画像の輪郭部であると推定される。そこで、画像処理部11は、輪郭強調の強い係数テーブル群(図9〜図13に示す、配列サイズ5×5の係数テーブル6,8,10,12,14,16,18,20,22,24,26,28)の中から係数テーブルを選択する。
具体的には、画像処理部11は、ステップS49と同様に、処理対象画素をcase1〜12に分類する。
このcase1〜12の分類に従い、画像処理部11は、輪郭強調の強い係数テーブル群(図9〜図13に示す係数テーブル6,8,10,12,14,16,18,20,22,24,26,28)の中から、下記の係数テーブルを選択する。
case1のとき:係数テーブル6を選択する。
case2のとき:係数テーブル8を選択する。
case3のとき:係数テーブル10を選択する。
case4のとき:係数テーブル12を選択する。
case5のとき:欠番
case6のとき:係数テーブル14を選択する。
case7のとき:係数テーブル16を選択する。
case8のとき:係数テーブル18を選択する。
case9のとき:係数テーブル20を選択する。
case10のとき:係数テーブル22を選択する。
case11_1のとき:係数テーブル24を選択する。
case11_2のとき:係数テーブル26を選択する。
case12のとき:係数テーブル28を選択する。
なお、ここでは、類似性の比較的強い方向に係数を優先的に配分した係数テーブルを選択している。さらに、この係数テーブルは、類似方向と略直交する方向には負の係数項を配分することにより、画像の輪郭強調を可能にしている。
このような係数テーブルの選択後、画像処理部11は、ステップS51に動作を移行する。
ステップS51: 上述した一連の動作により、画素単位に係数テーブルが選択される。画像処理部11は、このように選択された係数テーブルの係数項を、RAWデータの処理対象画素を含む局所域の色成分に乗じて加算する。
このとき、図9〜図13に示す係数テーブルのいずれが選択されても、この加重加算における色成分ごとの加重比率は『R:G:B=1:2:1』を常に保つ。この加重比率は、RGB色成分から輝度成分Yを求める際の加重比率に等しい。そのため、上述した加重加算では、RAWデータから輝度成分Yが画素単位に直に生成される。
[第1実施形態の効果など]
以上説明したように、第1実施形態では、空間周波数特性の異なる係数テーブル群を予め準備し、画像構造の解析結果に応じて係数テーブル群を切り換え使用する(ステップS43,ステップS48)。その結果、『表色系変換』および『画像構造を考慮した空間フィルタ処理』という本来別々の画像処理を、一回の加重加算で実行することが可能になる。
したがって、空間フィルタ処理を表色系変換と別に行う必要がなくなり、RAWデータの処理にかかる時間を格段に短縮することができる。
また、一回の加重加算で済むため、表色系変換と空間フィルタ処理を段階的に実施する背景技術に比べて、画像情報の劣化を小さくすることもできる。
また、第1実施形態は、『複数方向の類似性が等方的』かつ『類似性が強い』と判定された場合、『ノイズ除去の度合いが強いタイプの係数テーブル』を選択する(ステップS43,ステップS45)。そのため、表色系変換と同時に、画像の平坦部に目立つノイズを強力に抑制することができる。
一方、第1実施形態では、有意な起伏情報を有する箇所については、弱いLPF特性を有する係数テーブルを選択する(ステップS43、ステップS44)。そのため、画像情報をたくさん含む良質な画像データを生成できる。
さらに、第1実施形態では、複数方向において類似性の強弱差が大きいと判定されると、非類似方向の高周波成分を強調する『輪郭強調の度合いのより強いタイプの係数テーブル』に切り換える(ステップS48,ステップS50)。その結果、表色系変換と同時に、画像の輪郭コントラストを鮮明にすることができる。
その上、第1実施形態では、撮像感度が高いほど、係数テーブルをノイズ除去の度合いの強いものに変更する(ステップS42,ステップS46)。その結果、表色系変換と同時に、高い撮像感度において増加するノイズを一段と強く抑制することができる。
次に、別の実施形態について説明する。
*** 第2実施形態 ***
第2実施形態の電子カメラ(画像処理装置を含む)は、RGBベイヤー配列のRAWデータ(第1画像に対応)を色補間して、画素単位にRGB信号成分が揃った画像データ(第2画像に対応)を生成する。
なお、電子カメラの構成(図1)については、第1実施形態と同一である。そのため、説明を省略する。
図14は、第2実施形態における色補間処理を説明する流れ図である。
以下、図14に示すステップ番号に沿って、第2実施形態の動作説明を行う。
ステップS61: 画像処理部11は、処理対象であるRAWデータのG画素[i,j]について、『いずれの方向にも類似性の区別がつかない箇所か否か』すなわち『画像構造に有意な方向性が見当たらず、等方性の高い箇所か否か』を類似性判定によって判断する。
例えば、画像処理部11は、このG画素[i,j]について、指標(HV,DN)を求める。この処理は、第1実施形態(図3,図4)と同様であるため、説明を省略する。
次に、画像処理部11は、求めた指標(HV,DN)が(0,0)か否かを判定する。
もし、指標(HV,DN)が(0,0)の場合、縦横方向および斜め方向の類似性がそれぞれ略均等であり、G画素[i,j]は類似性の区別がつかない箇所であると判定できる。この場合、画像処理部11は、ステップS63に動作を移行する。
一方、指標(HV,DN)が(0,0)以外の場合、画像構造に有意な方向性が存在する。この場合、画像処理部11は、ステップS62に動作を移行する。
ステップS62: このステップでは、画像構造に有意な方向性が存在する。すなわち、処理対象のG画素[i,j]は、画像の輪郭部やディテール部などに位置し、重要な画像構造である可能性が高い。
そこで、画像処理部11は、重要な画像構造を忠実に保つため、後述する平滑化処理(ステップS63,S64)を回避する。すなわち、画像処理部11は、RAWデータのG画素[i,j]の値を、そのまま色補間後の画素[i,j]のG色成分とする。
この処理の後、画像処理部11はステップS65に動作を移行する。
ステップS63: 一方、このステップでは、画像構造に有意な方向性が存在しない。そのため、画像の平坦部や、周囲と孤立した点状のノイズである可能性が高い。画像処理部11は、このような箇所に限って平滑化を実施することにより、重要な画像構造を損ねることなく、G画素のノイズを低く抑えることができる。
なお、画像処理部11は、上述した類似性判定(画像構造の判定)の他に、RAWデータ撮像時の撮像感度を参考にして、平滑化の度合いを決定する。
図15は、この平滑化の度合いを変更するために、予め準備する係数テーブルを示す図である。この係数テーブルは、処理対象の中心G画素[i,j]と、周辺G画素とを加重加算する際の重み係数を規定するものである。
以下、図15に示す係数テーブルの選択について説明する。
まず、撮像感度がISO200の場合、画像処理部11は、図15(A)に示す係数テーブルを選択する。この係数テーブルは、中心G画素と周辺G画素との加重比率が4:1であり、平滑化の度合いの低い係数テーブルである。
また、撮像感度がISO800の場合、画像処理部11は、図15(B)に示す係数テーブルを選択する。この係数テーブルは、中心G画素と周辺G画素との加重比率が2:1であり、平滑化の度合いが中間的な係数テーブルである。
また、撮像感度がISO3200の場合、画像処理部11は、図15(C)に示す係数テーブルを選択する。この係数テーブルは、中心G画素と周辺G画素との加重比率が1:1であり、平滑化の度合いの強い係数テーブルである。
なお、図16に示す係数テーブルを用いて、平滑化の度合いを変更してもよい。以下、図16に示す係数テーブルを使用する場合について説明する。
まず、撮像感度がISO200の場合、図16(A)に示す係数テーブルを選択する。この係数テーブルは、縦横3×3画素のサイズであり、この範囲以下の空間的な画素値の起伏について平滑化が実施される。その結果、この微細サイズの起伏(高域空間周波数成分)に対する平滑化処理となり、平滑化の度合いを比較的に低くすることができる。
また、撮像感度がISO800の場合、図16(B)に示す係数テーブルを選択する。この係数テーブルは、縦横5×5画素の範囲内に、菱形状に重み係数を配分する。その結果、縦横の画素間隔に換算して、斜め4.24×4.24画素相当分の菱形テーブルとなる。その結果、この範囲以下の起伏(中高域の空間周波数成分)までが平滑化の対象に入り、平滑化の度合いは若干高くなる。
また、撮像感度がISO3200の場合、図16(C)に示す係数テーブルを選択する。この係数テーブルは、縦横5×5画素のサイズであり、この範囲以下の空間的な画素値の起伏について平滑化が実施される。その結果、この範囲以下の起伏(中域空間周波数成分)までが平滑化の対象に入り、平滑化の度合いは更に高くなる。
続いて、ここでの重み係数の一般的な変更ルールについて説明する。
まず、撮像感度が低く、すなわちRAWデータのノイズが少ないほど、画像処理部11は、中心G画素の重み係数を相対的に増やすか、および/または係数テーブルのサイズを縮小する。このような係数テーブルの変更により、平滑化を弱めることができる。
逆に、撮像感度が高く、RAWデータのノイズが多いほど、画像処理部11は中心G画素の重み係数を相対的に減らすか、および/または係数テーブルのサイズを拡大する。このような係数テーブルの変更により、平滑化を強めることができる。
ステップS64: 画像処理部11は、選択した係数テーブルの重み係数に従って、処理対象のG画素[i,j]に対して、周辺G画素の値を加重加算する。画像処理部11は、加重加算後のG画素[i,j]の値を、色補間後の画素[i,j]のG色成分とする。
この処理の後、画像処理部11はステップS65に動作を移行する。
ステップS65: 画像処理部11は、RAWデータのG画素を対象に、上述した適応型の平滑化処理(ステップS61〜S64)を繰り返し実行する。
画像処理部11は、RAWデータのG画素全てについて、この適応型の平滑化処理を完了すると、ステップS66に動作を移行する。
ステップS66: 続いて、画像処理部11は、RAWデータのRB位置(G色成分の空格子位置)について補間処理を行い、G色の補間成分を生成する。例えば、ここでは下記のような、指標(HV,DN)を考慮した補間処理を実施する。なお、式中の『Z』は、色成分RBのいずれかを一般化して示すものである。
(HV,DN)=(0,0)ならば、G[i,j]=(Gv+Gh)/2
(HV,DN)=(0,1)ならば、G[i,j]=(Gv45+Gh45)/2
(HV,DN)=(0,−1)ならば、G[i,j]=(Gv135+Gh135)/2
(HV,DN)=(1,0)ならば、G[i,j]=Gv
(HV,DN)=(1,1)ならば、G[i,j]=Gv45
(HV,DN)=(1,−1)ならば、G[i,j]=Gv135
(HV,DN)=(−1,0)ならば、G[i,j]=Gh
(HV,DN)=(−1,1)ならば、G[i,j]=Gh45
(HV,DN)=(−1,−1)ならば、G[i,j]=Gh135
ただし、
Gv=(G[i,j−1]+G[i,j+1])/2
+(2・Z[i,j]−Z[i,j−2]−Z[i,j+2])/8
+(2・G[i−1,j]−G[i−1,j−2]−G[i−1,j+2]
+2・G[i+1,j]−G[i+1,j−2]−G[i+1,j+2])/16
Gv45=(G[i,j−1]+G[i,j+1])/2
+(2・Z[i,j]−Z[i,j−2]−Z[i,j+2])/8
+(2・Z[i−1,j+1]−Z[i−1,j−1]−Z[i−1,j+3]
+2・Z[i+1,j−1]−Z[i+1,j−3]−Z[i+1,j+1])/16
Gv135=(G[i,j−1]+G[i,j+1])/2
+(2・Z[i,j]−Z[i,j−2]−Z[j,i+2])/8
+(2・Z[i−1,j−1]−Z[i−1,j−3]−Z[i−1,j+1]
+2・z[i+1,j+1]−z[i+1,j−1]−Z[i+1,j+3])/16
Gh=(G[i−1,j]+G[i+1,j])/2
+(2・Z[i,j]−Z「j−2,j]−Z[i+2,j])/8
+(2・G[i,j−1]−G[i−2,j−1]−G[i+2,j−1]
+2・G[i,j+1]−G[i−2,j+1]−G[i+2,j+1])/16
Gh45=(G[i−1,j]+G[i+1,j])/2
+(2・z[i,j]−Z[i−2,j]−z[i+2,j])/8
+(2・Z[i+1,j−1]−Z[i−1,i−1]−Z[i+3,j−1]
+2・Z[i−1,j+1]−Z[i−3,j+1]−Z[i+1,j+1])/16
Gh135=(G[i−1,j]+G[i+1,j])/2
+(2・Z[i,j]−Z[i−2,j]−Z[i+2,j])/8
+(2・Z[i−1,j−1]−Z[j−3,j−1]−Z[i+1,j−1]
+2・Z[i+1,j+1]−Z[i−1,j+1]−Z[i+3,j+1])/16
ステップS67: 続いて、画像処理部11は、R色成分の補間処理を行う。例えば、ここでは、R位置[i,j]以外の画素[i+1,j],[i,j+1],[i+1,j+1]について、それぞれ下記のような補間処理を実施する。
R[i+1,j]=(R[i,j]+R[i+2,j])/2+(2・G[i+1,j]−G[i,j]−G[i+2,j])/2
R[i,j+1]=(R[i,j]+R[i,j+2])/2+(2・G[i,j+1]−G[i,j]−G[i,j+2])/2
R[i+1,j+1]=(R[i,j]+R[i+2,j]+R[i,j+2]+R[i+2,j+2])/4
+(4・G[i+1,j+1]−G[i,j]−G[i+2,j]−G[i,j+2]−G[i+2,j+2])/4
ステップS68: 続いて、画像処理部11は、B色成分の補間処理を行う。例えば、ここでは、B位置[i,j]以外の画素[i+1,j],[i,j+1],[i+1,j+1]について、それぞれ下記のような補間処理を実施する。
B[i+1,j]=(B[i,j]+B[i+2,j])/2+(2・G[i+1,j]−G[i,j]−G[i+2,j])/2
B[i,j+1]=(B[i,j]+B[i,j+2])/2+(2・G[i,j+1]−G[i,j]−G[i,j+2])/2
B[i+1,j+1]=(B[i,j]+B[i+2,j]+B[i,j+2]+B[i+2,j+2])/4
+(4・G[i+1,j+1]−G[i,j]−G[i+2,j]−G[i,j+2]−G[i+2,j+2])/4
上述した一連の処理により、RGB色補間が完了する。
*** 第3実施形態 ***
第3実施形態の電子カメラ(画像処理装置を含む)は、RGBベイヤー配列のRAWデータ(第1画像に対応)を色補間して、画素単位にRGB信号成分が揃った画像データ(第2画像に対応)を生成する。
なお、電子カメラの構成(図1)については、第1実施形態と同一である。そのため、説明を省略する。
図17は、第3実施形態における色補間処理を説明する流れ図である。
以下、図17に示すステップ番号に沿って、第3実施形態の動作説明を行う。
ステップS71: 画像処理部11は、処理対象であるRAWデータのG画素[i,j]について、『いずれの方向も類似性が所定レベルより強いか否か』すなわち『画像構造に有意な方向性が見当たらず、平坦性の高い箇所か否か』を類似性判定によって判断する。
例えば、画像処理部11は、このG画素[i,j]について、類似度Cv,Ch,C45,C135を求める。この処理は、第1実施形態と同様であるため、説明を省略する。
次に、画像処理部11は、下記の条件式に基づいて、求めた類似度Cv,Ch,C45,C135がいずれも所定の閾値以下か否かを判定する。
(Cv≦Thv)AND(Ch≦Thh)AND(C45≦Th45)AND(C135≦Th135)
なお、式中の閾値は、類似度が有意な画素値変化を示しているかを判別するための値である。そのため、撮像感度が高くなるに従って、ノイズ増加を考慮して閾値を大きくすることが好ましい。
もし、この条件式を満足した場合、縦横方向および斜め方向に平坦な箇所であると判定できる。この場合、画像処理部11は、ステップS73に動作を移行する。
一方、この条件式を満足しない場合、画像構造に有意な方向性が存在する。この場合、画像処理部11は、ステップS72に動作を移行する。
ステップS72〜S78: 第2実施形態のステップS62〜S68と同一であるため、説明を省略する。
上述した一連の処理により、RGB色補間が完了する。
*** 実施形態の補足事項 ***
なお、上述した第1実施形態のステップS43において、『複数方向の類似性が等方的』かつ『類似性が弱い』と判定された場合に、『ノイズ除去の度合いがより強いタイプの係数テーブル』を選択してもよい。この場合、表色系変換と同時に、類似性の弱い箇所をノイズとみなして強力に除去することができる。このような動作では、等方的な箇所(明らかに輪郭ではない箇所)における起伏情報を、孤立したノイズ点として強力にノイズ除去することができる。つまり、輪郭部の画像構造を損なわずに、ブツブツ状のノイズや、モザイク状の色ノイズなどを適切に除去することが可能になる。
また、上述した第1実施形態のステップS48において、類似性の方向間の強弱差が小さいと判定された場合に、信号成分の高周波成分を強調する『ディテール強調タイプの係数テーブル』を選択してもよい。この場合、表色系変換と同時に、方向性を持たない微細な画像構造を強調することができる。
なお、上述したひとつの実施形態の中では、輝度成分への表色系変換について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を色差成分への表色系変換に際して実施してもよい。この場合、色差成分の生成と同時に、画像構造を考慮した空間フィルタ処理(特にLPF処理)を実施することが可能になり、色差ノイズによる偽色発生を良好に抑制することができる。
また、上述したひとつの実施形態の中では、表色系変換に本発明を適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、表色系変換用の係数テーブルを、色補間用の係数テーブルに代えることにより、『色補間処理』と『画像構造を考慮した高度な空間フィルタ処理』を一緒に実施することが可能になる。
すなわち、第2実施では色補間とローパス処理を一緒に実施する場合についてのみ示したが、第1実施形態と同様に輪郭強調処理を含めてもよい。
さらに、上述した実施形態では、電子カメラ1に本発明を適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画像処理プログラムによって、外部コンピュータ18に、図2〜図7に示す動作を実行させてもよい。
また、本発明の画像処理サービスを、インターネットなどの通信回線を介してサービス提供してもよい。
さらに、電子カメラのファームウェアの書き換えにより、本発明の画像処理機能を電子カメラに後から付加してもよい。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
以上説明したように、本発明は、画像処理装置などに利用可能な発明である。
Claims (31)
- 画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に第1〜第n色成分が揃った第2画像に変換する画像処理装置であって、
第1画像で第1色成分を有する画素位置に対して、周辺画素の第1色成分を用いた平滑化を施し、平滑化後の第1色成分を、第2画像の前記画素位置の第1色成分とする平滑化部を備え、
前記平滑化部は、前記第1画像が撮像された撮像感度に応じて、前記平滑化するためのフィルタの特性を変更する制御部を有する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第1色成分は、第1〜第n色成分の中で輝度信号を担う色成分である
ことを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
第1〜第n色成分は赤色、緑色、青色であり、かつ第1色成分は緑色に相当する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記制御部は、撮像感度に応じて前記フィルタのサイズ(参照する画素範囲)を変更する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記制御部は、撮像感度に応じて、前記フィルタの要素値(平滑対象に対する周辺の参照成分の寄与率)を変更する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記平滑化部は、
複数の方向に対する画素の類似性の強弱を判定する類似性判定部と、
その判定結果に応じて、第1画像の第1色成分をそのまま第2画像の第1色成分として出力するか、平滑化後の第1色成分を第2画像の第1色成分として出力するかを切り換える切り換え部とを有する
ことを特徴とする画像処理装置。 - 請求項6に記載の画像処理装置において、
前記類似性判定部は、少なくとも4方向に関する画素間の類似度を算出して類似性を判定する
ことを特徴とする画像処理装置。 - 画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に少なくとも1つの信号成分が揃った第2画像に変換する画像処理装置であって、
前記第1画像の色成分を加重加算することによって前記第2画像の前記信号成分を生成する信号生成部を備え、
前記信号生成部は、前記第1画像を撮像したときの撮像感度に応じて、前記第1画像の色成分を加重加算するときに用いる加重加算係数を変更する制御部を有する
ことを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記信号生成部は、前記第1〜第n色成分とは異なる信号成分を生成する
ことを特徴とする画像処理装置。 - 請求項9に記載の画像処理装置において、
前記信号生成部は、前記第1〜第n色成分とは異なる輝度成分を生成する
ことを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記制御部は、第1画像で第1色成分を有する画素位置に対して、前記加重加算係数を前記撮像感度に応じて変更する
ことを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記制御部は、前記撮像感度に応じて前記加重加算の範囲を変更する
ことを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記制御部は、前記撮像感度に応じて前記加重加算の重み係数を変更する
ことを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記信号生成部は、
複数の方向に対する画素の類似性の強弱を判定する類似性判定部を有し、
前記制御部は、更に前記撮像感度の他に、前記類似性判定結果にも応じて前記加重加算の重み係数を変更する
ことを特徴とする画像処理装置。 - 請求項14に記載の画像処理装置において、
前記制御部は、前記類似性判定結果が何れの方向も類似性の区別がつかない、もしくは何れの方向も類似性が所定レベルより強いと判断される場合、
第1画像の処理対象画素が本来有する色成分と、周辺画素の同一色成分とを加重加算する
ことを特徴とする画像処理装置。 - 請求項14に記載の画像処理装置において、
前記類似性判定部は、少なくとも4方向に関する画素間の類似度を算出して類似性を判定する
ことを特徴とする画像処理装置。 - 表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第1画像を変換し、少なくとも1種類の信号成分(以下『新成分』という)を画素単位に揃えた第2画像を生成する画像処理装置であって、
前記第1画像の処理対象画素において、複数方向について画像の類似性を判定する類似性判定部と、
前記類似性判定部による前記類似性の方向判定に応じて、予め定められた係数テーブルを選択する係数選択部と、
選択した係数テーブルにより前記処理対象画素を含む局所域の前記色成分を加重加算して、前記新成分を生成する変換処理部とを備え、
前記係数選択部は、前記類似性による画像構造の解析に応じて、前記係数テーブルを空間周波数特性の異なるものに変更することにより、前記新成分の空間周波数成分を調整する
ことを特徴とする画像処理装置。 - 請求項17に記載の画像処理装置において、
前記係数選択部は、前記類似性の値の大小判定により、前記処理対象画素の近傍の画像構造を解析し、解析結果に応じて前記係数テーブルを空間周波数特性の異なるものに変更する
ことを特徴とする画像処理装置。 - 請求項17または請求項18に記載の画像処理装置において、
前記係数選択部は、前記係数テーブルを配列サイズの異なるものに変更することにより、前記係数テーブルを空間周波数特性の異なるものに変更する
ことを特徴とする画像処理装置。 - 請求項17ないし請求項19のいずれか1項に記載の画像処理装置において、
前記係数選択部は、
前記方向判定において前記複数方向の前記類似性が略均等と判定され、かつ前記画像構造の解析において前記類似性が強いと判定された場合、前記信号成分の高周波成分を強くおよび/または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する
ことを特徴とする画像処理装置。 - 請求項17ないし請求項19のいずれか1項に記載の画像処理装置において、
前記係数選択部は、
前記方向判定において前記複数方向の前記類似性が略均等と判定され、かつ前記画像構造の解析において前記類似性が弱いと判定された場合、前記信号成分の高周波成分を強くおよび/または広帯域に抑制する『ノイズ除去の度合いがより強いタイプの係数テーブル』に変更する
ことを特徴とする画像処理装置。 - 請求項17ないし請求項19のいずれか1項に記載の画像処理装置において、
前記係数選択部は、
前記画像構造の解析において前記類似性の方向間の強弱差が大きいと判定された場合、前記類似性の弱い方向の高周波成分を強調する『輪郭強調の度合いがより強いタイプの係数テーブル』に変更する
ことを特徴とする画像処理装置。 - 請求項17ないし請求項19のいずれか1項に記載の画像処理装置において、
前記係数選択部は、
前記画像構造の解析において前記類似性の方向間の強弱差が小さいと判定された場合、前記信号成分の高周波成分を強調する『ディテール強調の度合いがより強いタイプの係数テーブル』に変更する
ことを特徴とする画像処理装置。 - 請求項17ないし請求項23のいずれか1項に記載の画像処理装置において、
前記係数選択部は、
前記第1画像を撮像した際の撮像感度が高いほど、前記係数テーブルをノイズ除去の度合いの強いものに変更する
ことを特徴とする画像処理装置。 - 請求項17ないし請求項24のいずれか1項に記載の画像処理装置において、
前記係数テーブルの変更前後において、前記色成分間の加重比率を略一定に保つ
ことを特徴とする画像処理装置。 - 請求項17ないし請求項25のいずれか1項に記載の画像処理装置において、
前記色成分間の加重比率は、表色系変換用の加重比率である
ことを特徴とする画像処理装置。 - 画像データの処理対象画素と周辺画素とを加重加算することにより、前記画像データに平滑化処理を施す平滑化部と、
前記画像データを撮影した際の撮像感度に応じて、前記周辺画素の参照範囲を変更する制御部と
を備えたことを特徴とする画像処理装置。 - コンピュータを、請求項1ないし請求項27のいずれか1項に記載の画像処理装置として機能させるための画像処理プログラム。
- 請求項1ないし請求項27のいずれか1項に記載の画像処理装置と、
被写体を撮像して、前記第1画像を生成する撮像部とを備え、
前記第1画像を前記画像処理装置で処理して、前記第2画像を生成する
ことを特徴とする電子カメラ。 - 画素単位に第1〜第n色成分(n≧2)のいずれか1つが配分されてなる第1画像を、画素単位に少なくとも1つの信号成分が揃った第2画像に変換する画像処理方法であって、
前記第1画像の色成分を加重加算することによって前記第2画像の前記信号成分を生成するステップを備え、
前記信号成分を生成するステップは、前記第1画像を撮像したときの撮像感度に応じて、前記第1画像の色成分を加重加算するときに用いる加重加算係数を変更するステップを有する
ことを特徴とする画像処理方法。 - 表色系を構成する複数種類の色成分を画素配列上に混在配置してなる第1画像を変換し、少なくとも1種類の信号成分(以下『新成分』という)を画素単位に揃えた第2画像を生成する画像処理方法であって、
前記第1画像の処理対象画素において、複数方向について画像の類似性を判定するステップと、
前記類似性判定のステップによる前記類似性の方向判定に応じて、予め定められた係数テーブルを選択するステップと、
選択した係数テーブルにより前記処理対象画素を含む局所域の前記色成分を加重加算して、前記新成分を生成するステップとを備え、
前記係数選択のステップは、前記類似性による画像構造の解析に応じて、前記係数テーブルを空間周波数特性の異なるものに変更することにより、前記新成分の空間周波数成分を調整する
ことを特徴とする画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003186629 | 2003-06-30 | ||
JP2003186629 | 2003-06-30 | ||
PCT/JP2004/009601 WO2005013622A1 (ja) | 2003-06-30 | 2004-06-30 | 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2005013622A1 true JPWO2005013622A1 (ja) | 2006-09-28 |
Family
ID=34113557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005512463A Withdrawn JPWO2005013622A1 (ja) | 2003-06-30 | 2004-06-30 | 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20060119896A1 (ja) |
EP (1) | EP1641285A4 (ja) |
JP (1) | JPWO2005013622A1 (ja) |
CN (1) | CN1817047A (ja) |
WO (1) | WO2005013622A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4645896B2 (ja) * | 2005-06-01 | 2011-03-09 | ノーリツ鋼機株式会社 | 微小ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施するノイズ抑制モジュール |
JP4961182B2 (ja) * | 2005-10-18 | 2012-06-27 | 株式会社リコー | ノイズ除去装置、ノイズ除去方法、ノイズ除去プログラム及び記録媒体 |
CN101490694B (zh) * | 2005-11-10 | 2012-06-13 | 德萨拉国际有限公司 | 马赛克域中的图像增强 |
US8055035B2 (en) | 2006-02-23 | 2011-11-08 | Nikon Corporation | Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system |
WO2007097171A1 (ja) | 2006-02-23 | 2007-08-30 | Nikon Corporation | スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム |
JP2007306501A (ja) * | 2006-05-15 | 2007-11-22 | Fujifilm Corp | 画像処理方法、画像処理装置、および画像処理プログラム |
JP4241774B2 (ja) | 2006-07-20 | 2009-03-18 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5268321B2 (ja) * | 2007-10-16 | 2013-08-21 | シリコン ヒフェ ベー.フェー. | 画像処理装置及び画像処理方法、画像処理プログラム |
JP5399739B2 (ja) * | 2009-02-25 | 2014-01-29 | ルネサスエレクトロニクス株式会社 | 画像処理装置 |
JP5665508B2 (ja) * | 2010-11-30 | 2015-02-04 | キヤノン株式会社 | 画像処理装置及び方法、並びにプログラム及び記憶媒体 |
US8654225B2 (en) * | 2011-05-31 | 2014-02-18 | Himax Imaging, Inc. | Color interpolation system and method thereof |
TWI455570B (zh) * | 2011-06-21 | 2014-10-01 | Himax Imaging Inc | 彩色內插系統及方法 |
CN102857765B (zh) * | 2011-06-30 | 2014-11-05 | 英属开曼群岛商恒景科技股份有限公司 | 彩色内插系统及方法 |
CN104756151A (zh) * | 2012-07-03 | 2015-07-01 | 马赛网络股份有限公司 | 用于增强和处理数字图像的系统及方法 |
CN104618701B (zh) * | 2015-01-13 | 2017-03-29 | 小米科技有限责任公司 | 图像处理方法及装置、电子设备 |
US10194055B2 (en) * | 2015-03-31 | 2019-01-29 | Kyocera Document Solutions, Inc. | Image processing apparatus and image forming apparatus |
JP7079680B2 (ja) * | 2018-07-05 | 2022-06-02 | 富士フイルムヘルスケア株式会社 | 超音波撮像装置、および、画像処理装置 |
WO2022126516A1 (en) * | 2020-12-17 | 2022-06-23 | Covidien Lp | Adaptive image noise reduction system and method |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5450502A (en) * | 1993-10-07 | 1995-09-12 | Xerox Corporation | Image-dependent luminance enhancement |
JP3221291B2 (ja) * | 1995-07-26 | 2001-10-22 | ソニー株式会社 | 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法 |
US5596367A (en) * | 1996-02-23 | 1997-01-21 | Eastman Kodak Company | Averaging green values for green photosites in electronic cameras |
JP3210566B2 (ja) * | 1996-02-26 | 2001-09-17 | 株式会社東芝 | 固体撮像装置 |
US5901242A (en) * | 1996-07-03 | 1999-05-04 | Sri International | Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients |
US6392699B1 (en) * | 1998-03-04 | 2002-05-21 | Intel Corporation | Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space |
US6075889A (en) * | 1998-06-12 | 2000-06-13 | Eastman Kodak Company | Computing color specification (luminance and chrominance) values for images |
US6625325B2 (en) * | 1998-12-16 | 2003-09-23 | Eastman Kodak Company | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel |
EP1059811A2 (en) * | 1999-06-10 | 2000-12-13 | Fuji Photo Film Co., Ltd. | Method and system for image processing, and recording medium |
JP2001186353A (ja) * | 1999-12-27 | 2001-07-06 | Noritsu Koki Co Ltd | 画像処理方法および画像処理プログラムを記録した記録媒体 |
JP4302855B2 (ja) * | 2000-04-06 | 2009-07-29 | 富士フイルム株式会社 | 画像処理方法および装置並びに記録媒体 |
JP4402262B2 (ja) * | 2000-06-07 | 2010-01-20 | オリンパス株式会社 | プリンタ装置及び電子カメラ |
US20020047907A1 (en) * | 2000-08-30 | 2002-04-25 | Nikon Corporation | Image processing apparatus and storage medium for storing image processing program |
JP3972816B2 (ja) * | 2000-09-07 | 2007-09-05 | 株式会社ニコン | 画像処理装置および表色系変換方法 |
US7847829B2 (en) * | 2001-01-09 | 2010-12-07 | Sony Corporation | Image processing apparatus restoring color image signals |
JP2003087808A (ja) * | 2001-09-10 | 2003-03-20 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
JP4406195B2 (ja) * | 2001-10-09 | 2010-01-27 | セイコーエプソン株式会社 | 画像データの出力画像調整 |
US20030169353A1 (en) * | 2002-03-11 | 2003-09-11 | Renato Keshet | Method and apparatus for processing sensor images |
-
2004
- 2004-06-30 WO PCT/JP2004/009601 patent/WO2005013622A1/ja active Application Filing
- 2004-06-30 JP JP2005512463A patent/JPWO2005013622A1/ja not_active Withdrawn
- 2004-06-30 CN CNA2004800188227A patent/CN1817047A/zh active Pending
- 2004-06-30 EP EP04747070A patent/EP1641285A4/en not_active Withdrawn
-
2005
- 2005-12-29 US US11/320,460 patent/US20060119896A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP1641285A1 (en) | 2006-03-29 |
CN1817047A (zh) | 2006-08-09 |
WO2005013622A1 (ja) | 2005-02-10 |
EP1641285A4 (en) | 2009-07-29 |
US20060119896A1 (en) | 2006-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20060119896A1 (en) | Image processing apparatus, image processing program, electronic camera, and image processing method for smoothing image of mixedly arranged color components | |
JP5260635B2 (ja) | パンクロマチック画像を用いたノイズ低減されたカラーの画像 | |
EP2130176B1 (en) | Edge mapping using panchromatic pixels | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
JP4815807B2 (ja) | Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
US7177463B2 (en) | Image processing apparatus and method | |
US6625325B2 (en) | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel | |
JP5291084B2 (ja) | パンクロマティック画素を組み込むエッジマッピング | |
JP5315158B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4610930B2 (ja) | 画像処理装置、画像処理プログラム | |
JP5156022B2 (ja) | パンクロマチックおよびカラーの画像のノイズ低減 | |
US7634153B2 (en) | Image processing apparatus and control method thereof | |
JP4329542B2 (ja) | 画素の類似度判定を行う画像処理装置、および画像処理プログラム | |
US7623705B2 (en) | Image processing method, image processing apparatus, and semiconductor device using one-dimensional filters | |
JP5147903B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2010099048A2 (en) | Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems | |
JP4369030B2 (ja) | 画像補正方法および装置ならびに画像補正プログラムを記録したコンピュータ読取可能な記録媒体 | |
JP5153842B2 (ja) | 画像処理装置、画像処理プログラム | |
JP5832095B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2012100215A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 | |
JPH10294948A (ja) | 画像処理方法および画像処理プログラム記録媒体 | |
JP2017129952A (ja) | データ処理装置、撮像装置およびデータ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070509 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20100208 |