JP4162111B2 - 画像処理方法および装置並びに記録媒体 - Google Patents
画像処理方法および装置並びに記録媒体 Download PDFInfo
- Publication number
- JP4162111B2 JP4162111B2 JP2000155621A JP2000155621A JP4162111B2 JP 4162111 B2 JP4162111 B2 JP 4162111B2 JP 2000155621 A JP2000155621 A JP 2000155621A JP 2000155621 A JP2000155621 A JP 2000155621A JP 4162111 B2 JP4162111 B2 JP 4162111B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- line
- pixel
- value
- signal value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 59
- 238000000034 method Methods 0.000 claims description 80
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000003595 spectral effect Effects 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 16
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 239000011800 void material Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 18
- 239000003086 colorant Substances 0.000 description 16
- 238000009499 grossing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、単板CCDのような撮像デバイスにおいて得られたカラー画像を表す画像データのように、全画素位置において全色を表す信号値を有さない画像データを用いて、全画素位置における信号値を推定する画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【0002】
【従来の技術】
デジタルカメラに用いられるCCD等の撮像デバイスとしては、分光感度が異なる複数種類の光電変換素子を同一平面上に交互に配置して構成されているものが知られている(以下単板CCDと称する)。ここで、R,G,Bのそれぞれに分光感度を有する光電変換素子、すなわちR,G,Bの各チャンネルの光電変換素子を交互に配置した単板CCDの場合、連続したR,G,Bチャンネルの3個の光電変換素子の組が1つの画素を構成することとなる。しかしながら、このような単板CCDにおいては各画素のR,G,B信号値を同一画素位置において得ることができないため、色ずれや偽色が生じることがある。また、各チャンネルの光電変換素子数は単板CCDを構成する全素子数よりも少ないため、高解像度の画像を得ることができない。例えばR,G,B各チャンネルの光電変換素子を交互に配置した単板CCDにおいては、各チャンネルの光電変換素子数は全素子数の1/3しかないため、同一素子数のモノクロ撮像装置に比べて解像度が1/3となってしまう。このため、R,G,B各チャンネルの光電変換素子が存在しない部分における信号値を補間処理により求める方法が提案されているが、単に補間処理を行うのみでは、信号値が大きく変化する部分において偽色が発生することがある。この場合、撮像系に光学ローパスフィルタを使用したり、撮像信号に対してローパスフィルタによる平滑化処理を行うことにより偽色の発生を防止することができるが、この場合解像度が悪化するという問題がある。
【0003】
ここで、人間の視覚特性は色よりも輝度に対して感度が高いものである。このため、単板CCDにおいて得られたカラー撮像信号から、各画素の輝度を表す高周波の輝度信号と、上述した補間処理およびローパスフィルタによる平滑化処理によって得られた低周波の色信号とを生成し、輝度信号および色信号を用いてカラー画像信号を再構成するようにした方法が提案されている(特開平10−200906号等)。この方法によれば、人間の視覚特性において感度が高い輝度成分に対してより多くの情報が与えられることとなるため、見かけ上解像度が高い画像を再現可能なカラー画像信号を得ることができる。
【0004】
ところで、単板CCDとして、例えば図16に示すように市松状に画素が配置されたハニカム配列のアレイ構造を有するCCDが知られている(例えば特開平10−136391号)。なお、これを市松状の画素配列と称することもある。また、図17に示すように正方状に画素が配置されたベイヤー配列のアレイ構造を有するCCDも知られている。なお、これを正方状の画素配列と称することもある。このようなアレイ構造すなわち画素配列を有する単板CCDにおいても上記と同様に偽色の問題が生じる。このため、上述したベイヤー配列のCCDにおいて得られた光量ベースの信号について偽色を除去するために、画像中の局所的な領域においてはr,g,bの信号の比は略一定であるという仮定に基づいて、ベイヤー配列のCCDにおける垂直方向または水平方向のラインにおいて、隣接するラインにおけるr信号とg信号との比をg信号に乗算することにより、そのラインにおけるr信号を算出するようにした方法が知られている(特開平9−214989号)。この方法は、具体的には、図18に示す画素配列において、g12画素位置におけるr信号r12を求めるには、まずr11画素位置におけるg11信号を(g6+g16)/2の演算により算出し、r11:g11=r12:g12という仮定に基づいて、r12=g12×r11/g11の演算によりr12信号を算出するものである。
【0005】
【発明が解決しようとする課題】
しかしながら、上記特開平10−200906号等に記載された方法においては、単板CCDにおいて得られた撮像信号に対してどのようなローパスフィルタにより平滑化処理を施しても、実際の画像における高周波成分が画像中にすでに折り返されてしまっているため、折り返しひずみによるモアレを取り除くことができず、その結果偽色を十分に除去することができない。
【0006】
一方、上記特開平9−214989号に記載された方法によれば、効果的に偽色を除去することができる。とくにこの方法は、画像の局所的な領域においては、r:g:bの光量の比が一定であるという仮定に基づいており、得られたRGB信号の比が光量に比例しているアナログ信号である場合には、ベイヤー配列のCCDにおいて得られる画像信号における偽色を効率よく除去することができる。しかしながら、デジタルカメラにより得られる画像信号は、A/D変換を行って光量rgbをデジタルのRGB信号に変換する場合に、量子化誤差を低減するため、およびコンピュータ系のビデオ回路へ信号を入力するために、例えばR=r0.45、R=log(r)のように、光量に対する指数値、対数値となるように信号値が表されていることから、r:g:b=R:G:Bとはならないものである。このため、上記特開平9−214989号に記載された方法は、信号値が光量に比例するアナログ信号に対しては偽色を除去することができるが、信号値が光量の指数値や対数値により表されている場合には偽色を除去することはできない。また、偽色はベイヤー配列の単板CCDのみならずハニカム配列の単板CCDにおいても発生する。
【0007】
本発明は上記事情に鑑みなされたものであり、どのような信号であっても偽色を低減することができる画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【0008】
【課題を解決するための手段】
本発明による画像処理方法は、例えば単板CCDのような撮像デバイスにおいて得られた画像データを構成する信号値が光量に対する指数値や対数値により表されている場合には、画像上の局所的な領域において、各信号値の差分値が等しくなるという前提に基づいてなされたものである。すなわち、本発明による画像処理方法は、異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する画像処理方法において、
前記第2ラインにおける前記第2信号値を、該第2ラインに隣接する前記第1ラインにおける前記第1および前記第2信号値の差分値に基づいて推定することを特徴とするものである。
【0009】
すなわち、例えば図16に示すようなハニカム配列の単板CCDがR,G,Bのそれぞれに分光感度を有するものとした場合、この単板CCDにおいてはR,G,Bの色信号からなる画像データが得られる。そしてこの画像データにより表される画像の画素の配列を図16を参照して説明すると、第1から第3画素、第1信号値から第3信号値をそれぞれG,R,Bに対応させ、第1ラインを図16上左上から右下方向にGR画素を交互に配置したGRラインとし、第2ラインを第1ラインと同様の方向にGB画素を交互に配置したGBラインとした場合、本発明による画像処理方法は、GBラインにおけるR信号値を、GRラインにおけるG信号値およびR信号値の差分値に基づいて推定することを特徴とするものである。
【0010】
なお、本発明の内容を分かりやすく説明するために、第1から第3画素、第1信号値から第3信号値をそれぞれG,R,Bに対応させ、第1ラインはGRライン、第2ラインはGBラインとし、以下に述べる本発明の構成において()内に本発明の実施形態における図4を参照して、G,B,Rに参照番号を付して記載するが、画像データにより表される画像の画素配列としてはこれに限定されるものではない。
【0011】
上記本発明による画像処理方法においては、前記第2(GB)ラインの前記第1(G06)画素における第2(R06)信号値を、前記第1(GR)ラインの該第1(G06)画素近傍の前記第2(R09)画素における第2(R09)信号値と、前記第1(GR)ライン上における前記第1(G05,G13)信号値に対して1次元補間演算を施すことにより算出した前記第2(R09)画素における前記第1(G09)信号値との差分値(R09−G09)に基づいて推定することが好ましい。
【0012】
また、この場合、前記第2(GB)ラインの前記第1(G06)画素における第1(G06)信号値に前記差分値(R09−G09)を加算することにより前記第2(GB)ラインの前記第1(G06)画素位置における第2(R06)信号値を推定することが好ましい。
【0013】
さらに、本発明による画像処理方法においては、前記第2(GB)ラインの前記第3(B10)画素における第2(R10)信号値を、前記第1(GR)ラインの該第3(B10)画素近傍の前記第1(G13)画素における第1(G13)信号値と、前記第1(GR)ライン上における前記第2(R09,R17)信号値に対して1次元補間演算を施すことにより算出した前記第1(G13)画素における前記第2(R13)信号値との差分値(R13−G13)に基づいて推定することが好ましい。
【0014】
この場合、前記第2(GB)ラインの前記第3(B10)画素位置における第1(G10)信号値を、該第2(GB)ライン上における前記第1(G06,G14)信号値に対して1次元補間演算を施すことにより算出し、
該算出された第1(G10)信号値に前記差分値(R13−G13)を加算することにより前記第2(GB)ラインの前記第3(B10)画素位置における第2(R10)信号値を推定することが好ましい。
【0015】
さらに、本発明による画像処理方法においては、前記差分値は、前記第2(GB)ラインに隣接する2つの前記第1(GR)ラインにおける前記差分値(例えばR09−G09,R03−G03)の平均値であることが好ましい。
【0016】
さらにまた、本発明による画像処理方法においては、前記第1(GR)ラインにおける前記第3(B)信号値を、該第1(GR)ラインに隣接する前記第2(GB)ラインにおける前記第1(G)および前記第3(B)信号値の差分値に基づいて推定することが好ましい。
【0017】
また、この場合、前記第1(GR)ラインの前記第1(G13)画素における第3(B13)信号値を、前記第2(GB)ラインの該第1(G13)画素近傍の前記第3(B10)画素における第3(B10)信号値と、前記第2(GB)ライン上における前記第1(G06,G14)信号値に対して1次元補間演算を施すことにより算出した前記第3(B10)画素における前記第1(G10)信号値との差分値(B10−G10)に基づいて推定することが好ましい。
【0018】
さらにこの場合、前記第1(GR)ラインの前記第1(G13)画素における第1(G13)信号値に前記差分値(B10−G10)を加算することにより前記第1(GR)ラインの前記第1(G13)画素位置における第3(B13)信号値を推定することが好ましい。
【0019】
また、本発明による画像処理方法においては、前記第1(GR)ラインの前記第2(R09)画素における第3(B09)信号値を、前記第2(GB)ラインの該第2(R09)画素近傍の前記第1(G06)画素における第1(G06)信号値と、前記第2(GB)ライン上における前記第3(B02,B10)信号値に対して1次元補間演算を施すことにより算出した前記第1(G06)画素における前記第3(B06)信号値との差分値(B06−G06)に基づいて推定することが好ましい。
【0020】
この場合、前記第1(GR)ラインの前記第2(R09)画素における第1(G09)信号値を、該第1(GR)ライン上における前記第1(G05,G13)信号値に対して1次元補間演算を施すことにより算出し、
該算出された第1(G09)信号値に前記差分値(B06−G06)を加算することにより前記第1(GR)ラインの前記第2(R09)画素における第3(B09)信号値を推定することが好ましい。
【0021】
さらに、前記差分値は、前記第1(GR)ラインに隣接する2つの前記第2(GB)ラインにおける前記差分値(例えばB10−G10,B16−G16)の平均値であることが好ましい。
【0022】
また、本発明による画像処理方法においては、前記画像データにより表される画像の前記所定方向(矢印A方向)と直交する直交方向(矢印B方向)において、前記第1(G)および前記第2(R)画素が交互に、かつ前記第1(G)および前記第3(B)画素が交互に配置されて、前記直交方向における前記第1(GR)ラインおよび前記第2(GB)ラインを形成してなる場合、
信号値を推定する画素位置に応じて、前記所定方向における前記第1および前記第2ラインと、前記直交方向における前記第1および前記第2ラインとを切り替えて、前記第1から第3信号値のうち少なくとも1つの信号値を推定することが好ましい。
【0023】
この場合、前記切り替えを、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて行うことが好ましい。
【0024】
ここで、「尺度値」とは、信号値を推定する画素位置での信号値の変化方向を表すものであり、例えば前記所定方向および前記直交方向において信号値を推定する画素位置に隣接する画素位置における信号値の変化量により尺度値を表すことができる。
【0025】
さらに、本発明による画像処理方法においては、前記画像データにより表される画像の前記所定方向(矢印A方向)と直交する直交方向(矢印B方向)において、前記第1(G)および前記第2(R)画素が交互に、かつ前記第1(G)および前記第3(B)画素が交互に配置されて、前記直交方向における前記第1(GR)ラインおよび前記第2(GB)ラインを形成してなる場合、
前記所定方向における前記第1および前記第2ラインに基づく所定方向推定値、および前記直交方向における前記第1および前記第2ラインに基づく直交方向推定値を算出し、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定することが好ましい。
【0026】
この場合、前記所定の重み付け係数が、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて算出されたものであることが好ましい。
【0027】
ここで、「所定方向推定値」および「直交方向推定値」とは、所定方向および直交方向についてそれぞれ推定した第1から第3信号値のうち少なくとも1つの信号値のことである。
【0028】
また、本発明による画像処理方法においては、前記第1(GR)ラインの画素配列が、前記第2(GB)ラインの画素配列に対して前記所定方向に略1/2画素相対的にずれることにより、前記画像データにより表される画像の前記第1から第3画素が市松状に配列されてなることが好ましい。
【0029】
このような画素位置の配列の場合、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定することが好ましい。
【0030】
ここで、「空孔画素位置」とは、図16に示すようなハニカム配列の単板CCDにおいて、これを正方配列と見なした場合に、例えば図16の横方向におけるRとBとの間、GとGとの間の画素位置のように、信号値を有さない画素位置とみなせる位置のことをいう。
【0031】
また、本発明による画像処理方法においては、前記第1から前記第3の信号値が、それぞれG(グリーン)、B(ブルー)、R(レッド)のいずれかの色、あるいはY(イエロー)、G(グリーン)、C(シアン)のいずれかの色信号であることが好ましい。
【0032】
さらに、本発明による画像処理方法においては、前記画像データが、異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、さらに前記第1および前記第2ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであってもよい。
【0033】
また、本発明による他の画像処理方法は、異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理方法において、
本発明による画像処理方法により、前記画像データにより表される画像の全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定して推定画像データを得、
前記画像データから高周波の輝度情報を表す高周波輝度信号を作成し、
前記推定画像データを、該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換し、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とするものである。
【0034】
ここで、画像データから高周波輝度信号を作成する方法としては、画像データを構成する第1から第3の信号値をそのまま輝度信号とし、この輝度信号に対してハイパスフィルタによるフィルタリング処理を施す方法や、例えば特開平5−228108号、同6−30444号、同6−225343号、同8−9199号などに記載された方法を採用することができる。
【0035】
なお、本発明による他の画像処理方法においては、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することが好ましい。
【0036】
また、本発明による他の画像処理方法においては、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することが好ましい。
【0037】
ここで、「所定の通過帯域特性」としては、例えば画像データのノイズ成分に対応する周波数帯域の周波数成分をカットする特性のことをいう。
【0038】
本発明による画像処理装置は、異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する推定手段を備えた画像処理装置において、
前記推定手段は、前記第2ラインにおける前記第2信号値を、該第2ラインに隣接する前記第1ラインにおける前記第1および前記第2信号値の差分値に基づいて推定する手段であることを特徴とするものである。
【0039】
なお、本発明による画像処理装置においては、前記推定手段は、前記第2ラインの前記第1画素における第2信号値を、前記第1ラインの該第1画素近傍の前記第2画素における第2信号値と、前記第1ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出した前記第2画素における前記第1信号値との差分値に基づいて推定する手段であることが好ましい。
【0040】
また、この場合、前記推定手段は、前記第2ラインの前記第1画素における第1信号値に前記差分値を加算することにより、前記第2ラインの前記第1画素における第2信号値を推定する手段であることが好ましい。
【0041】
さらに、本発明による画像処理装置においては、前記推定手段は、前記第2ラインの前記第3画素における第2信号値を、前記第1ラインの該第3画素近傍の前記第1画素における第1信号値と、前記第1ライン上における前記第2信号値に対して1次元補間演算を施すことにより算出した前記第1画素における前記第2信号値との差分値に基づいて推定する手段であることが好ましい。
【0042】
この場合、前記推定手段は、前記第2ラインの前記第3画素位置における第1信号値を、該第2ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出し、
該算出された第1信号値に前記差分値を加算することにより前記第2ラインの前記第3画素位置における第2信号値を推定する手段であることが好ましい。
【0043】
また、前記差分値は、前記第2ラインに隣接する2つの前記第1ラインにおける前記差分値の平均値であることが好ましい。
【0044】
さらに、本発明による画像処理装置においては、前記推定手段は、前記第1ラインにおける前記第3信号値を、該第1ラインに隣接する前記第2ラインにおける前記第1および前記第3信号値の差分値に基づいて推定する手段であることが好ましい。
【0045】
この場合、前記推定手段は、前記第1ラインの前記第1画素における第3信号値を、前記第2ラインの該第1画素近傍の前記第3画素における第3信号値と、前記第2ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出した前記第3画素における前記第1信号値との差分値に基づいて推定する手段であることが好ましい。
【0046】
さらにこの場合、前記推定手段は、前記第1ラインの前記第1画素における第1信号値に前記差分値を加算することにより前記第1ラインの前記第1画素位置における第3信号値を推定する手段であることが好ましい。
【0047】
また、本発明による画像処理装置においては、前記推定手段は、前記第1ラインの前記第2画素における第3信号値を、前記第2ラインの該第2画素近傍の前記第1画素における第1信号値と、前記第2ライン上における前記第3信号値に対して1次元補間演算を施すことにより算出した前記第1画素における前記第3信号値との差分値に基づいて推定する手段であることが好ましい。
【0048】
この場合、前記推定手段は、前記第1ラインの前記第2画素における第1信号値を、該第1ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出し、
該算出された第1信号値に前記差分値を加算することにより前記第1ラインの前記第2画素における第3信号値を推定する手段であることが好ましい。
【0049】
なお、前記推定手段は、前記差分値を、前記第1ラインに隣接する2つの前記第2ラインにおける前記差分値の平均値として算出する手段であることが好ましい。
【0050】
また、本発明による画像処理装置においては、前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第1および前記第2画素が交互に、かつ前記第1および前記第3画素が交互に配置されて、前記直交方向における前記第1ラインおよび前記第2ラインを形成してなる場合、
前記推定手段は、信号値を推定する画素位置に応じて、前記所定方向における前記第1および前記第2ラインと、前記直交方向における前記第1および前記第2ラインとを切り替えて、前記第1から第3信号値のうち少なくとも1つの信号値を推定する手段であることが好ましい。
【0051】
この場合、前記切り替えを、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて行うことが好ましい。
【0052】
さらに、本発明による画像処理装置においては、前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第1および前記第2画素が交互に、かつ前記第1および前記第3画素が交互に配置されて、前記直交方向における前記第1ラインおよび前記第2ラインを形成してなる場合、
前記推定手段は、前記所定方向における前記第1および前記第2ラインに基づく所定方向推定値、および前記直交方向における前記第1および前記第2ラインに基づく直交方向推定値を算出する手段と、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定する手段とを有することが好ましい。
【0053】
この場合、前記所定の重み付け係数が、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて算出されたものであることが好ましい。
【0054】
また、本発明による画像処理装置においては、前記第1ラインの画素配列が、前記第2ラインの画素配列に対して前記所定方向に略1/2画素相対的にずれることにより、前記画像データにより表される画像の前記第1から第3の画素が市松状に配列されてなることが好ましい。
【0055】
この場合、前記推定手段は、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定する手段であることが好ましい。
【0056】
なお、本発明による画像処理装置においては、前記第1から前記第3の信号値が、それぞれG、B、Rのいずれかの色に、あるいはY、G、Cのいずれかの色信号であることが好ましい。
【0057】
また、本発明による画像処理装置においては、前記画像データが、異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、さらに前記第1および前記第2ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであってもよい。
【0058】
本発明による他の画像処理装置は、異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理装置において、
上記本発明による画像処理装置により、前記画像データにより表される画像の全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定して推定画像データを得る補間手段と、
前記画像データの高周波の輝度情報を表す高周波輝度信号を作成する高周波輝度信号作成手段と、
前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換する輝度色差変換手段と、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得る加算手段とを備え、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とするものである。
【0059】
なお、本発明による他の画像処理装置においては、前記高周波輝度信号作成手段は、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることが好ましい。
【0060】
また、本発明による他の画像処理装置においては、前記高周波輝度信号作成手段は、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることが好ましい。
【0061】
なお、本発明による画像処理方法および本発明による他の画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【0062】
また、本発明による画像処理装置をデジタルカメラ等の撮像装置に設けてもよく、プリンタ等の出力装置に設けてもよい。
【0063】
【発明の効果】
本発明による画像処理方法および装置によれば、画像データを構成する信号値が、光量に対する指数値や対数値により表されている場合、画像データにより表される画像の局所的な領域においてはRGB各信号値の差は一定であるという前提に基づいて、各画素位置における信号値を算出するようにしたため、画像データを構成する信号値が指数値や対数値により表されている場合であっても、偽色を発生させることなく、全画素位置における信号値を求めることができる。したがって、本発明により、偽色のない高解像度の画像を得ることができる。
【0064】
また、信号値が変化する方向に応じて、所定方向および直交方向について算出された信号値を重み付け加算して、各画素位置における信号値を算出することにより、信号値の変化方向に拘わらず偽色の発生を防止できるとともに、アーチファクトの発生をも防止することができる。
【0065】
さらに、市松状に画素が配列されている場合に、空孔画素位置の信号値を求めることにより、正方状に画素が配列された状態における信号値を得ることができる。
【0066】
また、本発明の他の画像処理方法および装置によれば、本発明による画像処理方法および装置により画像データにより表される画像の全画素位置における第1から第3の信号値のうち少なくとも1つの信号値が推定されて推定画像データが得られる。また、画像データの高周波の輝度情報を表す高周波輝度信号が作成され、推定画像データは推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換される。そして、推定輝度信号と高周波輝度信号とが加算されて加算輝度信号が得られる。ここで、推定画像データは偽色が低減されているため、偽色を生じさせることなく画像データを取得したシーンの画像を再現することができる。一方、画像データについては、その高周波成分は画像データを取得したシーンの高周波成分を忠実に表すものであるが、低周波成分には偽色が含まれる。したがって、画像データの高周波の輝度情報を表す高周波輝度信号はシーンの高周波成分を忠実に表す信号となる。このため、高周波輝度信号と推定輝度信号とを加算することにより得られる加算輝度信号はシーンの高周波成分を忠実に表すとともに、低周波成分についても偽色が低減されたものとなる。その結果、加算輝度信号と推定色差信号とに基づいて画像を再現することにより、より高解像度の画像を得ることができる。
【0067】
なお、第1から第3の信号値の比率が画像上の位置により急激に変化しないと仮定すると、本発明の他の画像処理方法および装置により、一層高解像度の画像を得ることができる。しかしながら、第1から第3の信号値の比率の変化が大きい場合には、高周波輝度信号に偽信号が含まれるため、この高周波輝度信号から加算輝度信号を作成して推定色差信号とともに画像を再現すると、画像中にグレイのノイズが現れてしまう。したがって、このような場合には、このグレイのノイズ成分に対応する周波数帯域の周波数成分をカットするバンドパスフィルタを用いて高周波輝度信号を作成することにより、グレイのノイズを低減できるとともに、画像の解像度をも向上させることができる。
【0068】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による画像処理装置の構成を示す概略ブロック図である。図1に示すように本発明の第1の実施形態による画像処理装置は、単板CCD1を構成する各光電変換素子において得られた信号値に対して補間処理を施して、全画素位置における信号値を求めるものであり、各信号値により構成される画像データS0に対して補間処理を施して、補間済み画像データS1を得る補間手段2を備える。補間手段2は、後述するようにして補間演算によりG信号QGを算出するG補間手段3と、R信号QRおよびB信号QBを算出するRB補間手段4と、G信号QG、R信号QRおよびB信号QBから後述する図3に示す空孔画素位置*の信号値を算出する市松正方補間手段5とを備える。なお、図1に示す単板CCD1においては、これを構成する光電変換素子からはアナログ信号が得られるものであるが、本実施形態における画像データS0は、アナログ信号をA/D変換したデジタル信号であり、なおかつこのデジタル信号は単板CCD1に入力する光量の0.45乗あるいは対数値となるように変換されているものとする。
【0069】
なお、本実施形態による画像処理装置は、デジタルカメラのような撮像装置やフイルムから画像を読み取るスキャナ等の読取装置に設けられるものであってもよく、これらの装置において得られた画像信号を再生するモニタやプリンタ等の再生装置に設けられるものであってもよい。また、画像処理装置単体として用いてもよい。
【0070】
図2は本実施形態において用いられる単板CCD1の画素配列を示す図である。図2(a)に示す画素配列は、y方向にR,Gチャンネルに対応する画素を交互に配列した第1のラインと、y方向にG,Bチャンネルに対応する画素を交互に配列した第2のラインとを、x方向に交互に配列したものであり、x方向における各ラインにおいてもR,GチャンネルおよびG,Bチャンネルが交互に配列された正方状の画素配列となっている。このような正方状の画素配列としては、図17に示すベイヤー配列が知られており、本実施形態においては図2(a)に示す画素配列をベイヤー配列と称するものとする。
【0071】
また、図2(b)に示す画素配列は、y方向にR,Bチャンネルに対応する画素を交互に配設したラインと、y方向にGチャンネルに対応する画素を配列したラインとを、各ラインの画素の配列間隔が他のラインの画素配列に対してy方向に略1/2相対的にずれるように配列したものであり、市松状の画素配列となっている。このような市松状の画素配列としては、上記特開平10−136391号に記載されたハニカム配列(図16)が知られており、本実施形態においては図2(b)に示す画素配列をハニカム配列と称するものとする。このハニカム配列は、x方向に対して45度傾斜した方向についてみれば、R,Gチャンネルの画素を交互に配列したラインと、同様に45度傾斜した方向にG,Bチャンネルの画素を交互に配列したラインとを、この方向に直交する方向に交互に配列したものとなっている。なお、ハニカム配列は図2(a)に示すようなベイヤー配列と画素の配列を45度回転させた関係となっている。また、ハニカム配列は上述したように市松状に画素が配列されてなるものであり、信号値を有さない空孔画素位置*を用いて図3に示すように正方状に表現することも可能である。本実施形態においては、図2(b)すなわち図3に示すハニカム配列の単板CCD1において得られた画像データS0に対して処理を行うものとして説明する。
【0072】
図4は、ハニカム配列の単板CCD1の画素位置を示す図であり、各画素位置に参照番号を付して示すものである。ここでは、図3の左上から右下に向かう方向、すなわち図4において破線で示すR01,G05,R09,G13,R17の方向(矢印A方向)を所定方向とし、この所定方向すなわち矢印A方向に直交する直交方向を矢印B方向とする。なお、ここでは画素位置に付与された参照番号を信号値の参照番号としても使用する。
【0073】
(1)まず、RおよびB画素位置におけるG信号の算出処理について説明する。このG信号の算出はG補間手段3において行われる。RおよびB画素位置におけるG信号は、その画素位置周辺のG画素位置において得られるG信号に対して単純な補間演算を施すことにより算出することができる。例えば図5において実線で囲んだR09位置でのG09信号およびB10位置でのG10信号は、破線で囲んだその周囲のG画素位置におけるG信号を用いて下記の式(1)、(2)により算出される。
【0074】
G09=(G05+G06+G12+G13)/4 (1)
G10=(G06+G07+G13+G14)/4 (2)
なお、G信号を算出する画素位置周辺の4×4のG画素において得られるG信号に対して2次元のCubic スプライン補間演算を施して、G信号を算出してもよい。これにより、補間前にG信号が有する周波数成分を損なうことなく補間を行うことができ、この結果、全ての画素位置において元の周波数情報を保持したG信号を得ることができる。また、補間演算の手法としては図4における縦横2次元方向における補間演算であれば、いかなる手法をも適用することができる。
【0075】
(2)次に、所定方向(矢印A方向)においてR,G画素が並ぶライン(以下第1のラインとする)におけるG画素位置でのR信号の算出処理について説明する。なお、これ以降の信号の算出処理はRB補間手段4において行われる。このG画素位置におけるR信号の算出処理は、そのG画素位置が含まれる第1のライン上におけるR信号に対して1次元線形補間演算を施すことにより行われる。例えば、図6における実線で囲んだG05画素位置でのR05信号は、破線で囲んだ第1のライン方向に隣接する2つのR画素位置におけるR01,R09信号を用いて下記の式(3)により算出される。
【0076】
R05=(R01+R09)/2 (3)
なお、このG画素位置が存在する第1のライン上におけるG画素位置周辺の4点のR画素位置において得られるR信号について1次元のCubic スプライン補間演算を施して、R信号を算出してもよい。なおこの場合、R信号値を算出するG画素位置をG13とすると4点のR画素位置はR01,R09,R17,R25となる。また、補間演算の手法としてはこの第1のライン方向における1次元の補間演算であれば、いかなる手法をも適用することができる。そしてこれにより第1のライン上のG画素位置におけるR信号を算出することができる。
【0077】
(3)次に、B,G画素が並ぶライン(以下第2のラインとする)におけるG画素位置でのR信号の算出処理について説明する。このG画素位置におけるR信号の算出処理は、以下のようにして行う。まず、R信号を算出するG画素位置が含まれる第2のラインに隣接する第1のライン上において、G画素位置に隣接する画素位置を求める。例えば、ここでは図7に示す実線で囲んだG06画素位置でのR06信号を算出するものとすると、G06画素位置に隣接する画素位置は破線で囲んだR09画素位置およびR03画素位置となるが、ここではR09画素位置における信号値を用いるものとする。そしてこのR09画素位置におけるR信号とG信号との差を、第2のライン上のG画素位置におけるG信号に加算し、その加算結果をG画素位置におけるR信号とする。例えば、G06画素位置でのR06信号は下記の式(4)により算出される。
【0078】
R06=G06+(R09−G09) (4)
すなわち、式(4)は画像の局所的な領域におけるR信号とG信号との差は等しいという前提により定められるものである。例えば、R09画素位置およびG06画素位置でのR信号とG信号との差が等しいとは、
R06−G06=R09−G09 (5)
の関係を満たすということであり、式(5)をR06信号について解いたものが式(4)となる。なお、式(4)においてG09信号は、上記式(1)により算出されたものではなく、下記の式(6)に示す線形補間演算や1次元Cubic スプライン補間演算のように、R09画素位置が存在する第1のライン上におけるG信号に対して1次元補間演算を施すことにより算出したものである。
【0079】
G09=(G05+G13)/2 (6)
すなわち、ここでは、画像の局所的な領域におけるR信号とG信号との差は等しいという前提により信号値を算出しており、信号値の算出に使用するのはG06画素位置が存在する第2のラインと、R09画素位置が存在する第1のラインである。これは、第1および第2のライン上にある画素値の相関関係に基づいて信号値を算出しているということであり、不明な信号値について第1および第2のライン方向における信号値の変化を反映させて信号値を算出する必要がある。(2)の処理において、第2のラインにおけるG06画素位置でのR06信号は上記式(5)に示す関係に基づいて算出されるが、G09信号が不明であるため、これを推定する必要がある。ここで、式(5)は第1および第2のライン間における相関関係を表しているため、G09信号を推定するには、第1のライン上での所定方向(矢印A方向)の信号値の変化を反映させる必要がある。一方、上記(1)の方法により算出したG信号を使用することが考えられるが、このG信号は式(1)、(2)に示すように、別のラインの信号値を用いて算出しているものであるため、第1のライン上における信号値の変化を反映したものではない。このため、第1のラインにおける信号値の変化を反映させるために、式(6)のように第1のライン上において1次元補間演算を行ってG09信号を算出しているものである。
【0080】
また、この場合、G画素位置の片側に隣接する画素位置におけるR信号とG信号との差に基づいてG画素位置のR信号を算出しているが、片側にのみ隣接する画素位置の信号値を用いたのでは、画像の位相がその方向に近寄ってしまう。これを防止するために、下記の式(7)に示すように、R信号を算出するG画素位置(例えばG06画素位置)の両隣の画素位置(R09,R03画素位置)におけるR信号とG信号との差の平均値を、R信号を算出するG画素位置におけるG信号に加算したものを、そのG画素位置におけるR信号としてもよい。
【0081】
R06=G06+((R09−G09)+(R03−G03))/2 (7)
そしてこれにより、第2のライン上のG画素位置におけるR信号を算出することができる。
【0082】
(4)次に、B,G画素が並ぶ第2のラインにおけるB画素位置でのR信号の算出処理について説明する。このB画素位置におけるR信号の算出処理は、以下のようにして行う。まず、R信号を算出するB画素位置が含まれる第2のラインに隣接する第1のライン上において、B画素位置に隣接する画素位置を求める。例えば、ここでは図8に示す実線で囲んだB10画素位置でのR10信号を算出するものとすると、B10画素位置に隣接する画素位置は破線で囲んだG13画素位置およびG07画素位置となるが、ここではG13画素位置における信号値を用いるものとする。そしてこのG13画素位置におけるR信号とG信号との差を、第2のライン上のB画素位置におけるG信号に加算し、その加算結果をB画素位置におけるR信号とする。例えば、B10画素位置でのR10信号は下記の式(8)により算出される。
【0083】
R10=G10+(R13−G13) (8)
すなわち、式(8)は上記式(4)と同様に、画像の局所的な領域におけるR信号とG信号との差は等しいという前提により定められるものである。例えば、B10画素位置およびG13画素位置でのR信号とG信号との差が等しいとは、
R10−G10=R13−G13 (9)
の関係を満たすということであり、式(9)をR10信号について解いたものが式(8)となる。なお、式(9)においてG10信号は、上記式(1)により算出されたものではなく、R信号を算出するために下記の式(10)に示す線形補間演算や1次元Cubic スプライン補間演算のように、B10画素位置が存在する第2のライン上におけるG信号に対して1次元補間演算を施すことにより算出したものである。
【0084】
G10=(G06+G14)/2 (10)
また、式(9)においてR13信号は、上記式(10)と同様に、G13画素位置が存在する第1のライン上におけるR信号に対して1次元補間演算を施すことにより算出したものである。
【0085】
R13=(R09+R17)/2 (11)
なお、この場合、上記式(7)と同様に、下記の式(12)に示すように、R信号を算出するB画素位置(例えばB10画素位置)の両隣の画素位置(G13,G07画素位置)におけるR信号とG信号との差の平均値を、R信号を算出するB画素位置におけるG信号に加算したものを、そのB画素位置におけるR信号としてもよい。
【0086】
そしてこれにより、第2のライン上のB画素位置におけるR信号を算出することができる。
【0087】
そして、上記(1)から(4)の処理を行うことにより、R信号が存在しない全ての画素位置におけるR信号を算出することができる。
【0088】
以上、各画素位置におけるR信号の算出について説明したが、B,G画素が並ぶ第2のラインにおけるG画素位置でのB信号、R,G画素が並ぶ第1のラインにおけるG画素位置でのB信号、R,G画素が並ぶ第1のラインにおけるR画素位置でのB信号についても、上記(2)から(4)の処理において説明したようにR信号と同様にして算出することができ、これによりB信号が存在しない全ての画素位置におけるB信号を算出することができる。
【0089】
なお、図2(a)に示すベイヤー配列の単板CCD1においては画素配列を45度回転させると、その画素配列は図2(b)に示すハニカム配列と空孔画素位置*を除けば同様のものとなる。したがって、上記の説明において、所定方向を図2における紙面上下方向、所定方向に直交する方向を図2における紙面左右方向とすることにより、ベイヤー配列の場合もハニカム配列の場合と同様に、全画素位置におけるRGB信号を算出することができる。
【0090】
このようにして、全ての画素位置においてRGB全ての信号値QR,QG,QBが得られると、市松正方補間手段5において、図3における空孔画素位置*でのRGB信号値を補間演算により算出して、画素が正方状に配列されてなる補間済み画像データS1を得る。この補間演算は、図9に示すような空孔画素位置*周辺の4画素位置の信号値を用いた補間フィルタや、図10に示すように4×4画素についての2次元Cubicスプライン補間演算を行う補間フィルタの補間係数の配置を45度傾斜させた補間係数の配置を有する補間フィルタを用いて補間演算を行うことにより求めることができる。なお、この空孔画素位置*における信号値を算出するための補間演算を市松正方補間演算とする。また、補間演算についてはこれらに限定されるものではなく、上述したように求められた各画素位置におけるRGB信号をYCC輝度色差空間に変換し、YCC毎に異なる補間フィルタによる補間演算を施す等、空孔画素位置*における信号値を算出するための補間演算であればいかなる方法をも採用可能である。
【0091】
次いで、第1の実施形態の動作について説明する。図11は第1の実施形態の動作を示すフローチャートである。まず、被写体を撮影して単板CCD1において画像データS0を得る(ステップS1)。次いで、G補間手段3において上記(1)の処理により、所定方向におけるRまたはB画素位置におけるG信号QGが算出される(ステップS2)。そして、算出する信号をR信号にセットし(ステップS3)、RB補間手段4において、上記(2)の処理により第1のラインにおけるG画素位置でのR信号QRが算出される(ステップS4)。そして、上記(3)の処理による第2のラインにおけるG画素位置でのR信号QRの算出(ステップS5)および上記(4)の処理による第2のラインにおけるB画素位置でのR信号QRの算出(ステップS6)が行われ、R,B全ての信号を算出したか否かが判断される(ステップS7)。ステップS7が否定された場合には、ステップS8において算出する信号をB信号にセットし、ステップS4に戻ってステップS4からステップS7の処理を繰り返してB信号QBを算出する。
【0092】
ステップS7が肯定されると、全ての画素位置においてRGB信号QR,QG,QBが算出されたとして、各画素の信号値に対して図9あるいは図10に示す補間フィルタによる市松正方補間演算を行って、図3に示す空孔画素位置*における信号値を市松正方補間演算により算出し(ステップS9)、処理を終了する。
【0093】
そして、これにより、図2(b)に示すハニカム配列による単板CCD1の全画素位置におけるRGB信号を得ることができ、各画素位置においてRGB信号を有する補間済み画像データS1を得ることができる。
【0094】
なお、図11に示すフローチャートのステップS3においては、算出する信号をR信号にセットしているが、先にB信号にセットしてもよい。この場合、ステップS7が否定されるとステップS8において、算出する信号がB信号からR信号に切り替えられることとなる。
【0095】
このように、第1の実施形態によれば、画像の局所的な領域においては、RGB各信号値の差は一定であるという前提に基づいて、各画素位置における信号値を算出するようにしたため、単板CCD1において得られた信号値が指数値や対数値により表されている場合であっても、偽色を発生させることなく、全画素位置における信号値を求めることができる。したがって、本実施形態により、偽色のない高解像度の画像を再現可能な補間済み画像データS1を得ることができる。
【0096】
なお、上記(1)から(4)の処理においては、所定方向(矢印A方向)について、式(6)、(10)に示すように1次元補間演算を行って各画素位置における信号値を求め、さらにこの信号値を用いて、上記式(5)および式(9)に示すように矢印A方向に直交する矢印B方向に隣接する画素位置でのG信号とR信号との差、およびG信号とB信号との差が一定であるということを前提として、さらに信号値を推定している。したがって、上記方法によれば矢印A方向にRGB各色の変化がそれほど大きくない画像領域における偽色の発生を防止することができる。一方、矢印B方向を所定方向とすれば、上記(1)から(4)の処理と同様の処理により、右上から左下方向にRGB各色の変化がそれほど大きくない画像領域における偽色の発生を防止することができる。しかしながら、上記矢印A,B方向のうちいずれか一方の方向のみを信号値を算出するための所定方向として処理を行ったのでは、この所定方向に各色の変化が大きい場合には偽色を低減することができない。
【0097】
したがって、画像データS0により表される画像における画素値の変化量を各画素毎に検出し、画素値の変化の方向に応じて信号値を算出するための所定方向を矢印A方向および矢印B方向と切り替えて、全画素位置におけるRGB各色の信号値を算出することにより、信号値の変化に拘わらず偽色の発生を防止することができる。しかしながら、この方法では画素値が変化する境界部分において処理の方向が異なるものとなるため、アーチファクトが発生するおそれがある。以下、これに対処するための方法を第2の実施形態として説明する。
【0098】
図12は本発明の第2の実施形態による画像処理装置の構成を示す概略ブロック図である。図12に示すように、第2の実施形態による画像処理装置は、単板CCD1において得られた画像データS0に基づいて、上記式(1)または式(2)によりR画素位置およびB画素位置でのG信号を算出するG補間手段11と、図4に示す矢印A方向を所定方向として上記(2)から(4)の処理により全画素位置でのR信号およびB信号を算出する第1RB補間手段12と、矢印B方向を所定方向として上記(2)から(4)の処理により全画素位置でのR信号およびB信号を算出する第2RB補間手段13と、第1および第2のRB補間手段12,13において得られたR信号およびB信号を重み付け加算する重み付け加算手段14と、画像上における信号値の変動方向の尺度を算出する変動方向尺度算出手段15と、全画素位置におけるRGB信号から、空孔画素位置*での信号値を算出する市松正方補間手段16とを備える。
【0099】
なお、G信号については上記式(1)および(2)に示すように、処理方向に拘わらず全ての画素位置における信号値を算出することができるため、G補間手段11においては図1に示すG補間手段3と同様に、とくに処理の方向を考慮することなくG信号が算出される。
【0100】
また、第2の実施形態における第1および第2のRB補間手段12,13において行われる処理は、図1に示すRB補間手段4における処理と処理の方向が異なるのみであり、第2の実施形態における市松正方補間手段16において行われる処理は市松正方補間手段5において行われる処理と同一であるため、ここでは詳細な説明は省略する。
【0101】
まず、変動方向尺度算出手段15において行われる処理について説明する。なお、第2の実施形態においても上記第1の実施形態における図3に示すようにハニカム配列の単板CCD1を使用するものとし、各画素位置に図13に示すように参照符号を付して説明する。なお、図13において、矢印A方向に延在するRa,Ge,Ri,Gmのラインを第1のライン、同様に矢印A方向に延在するBb,Gf,Bj,Gnのラインを第2のライン、矢印B方向に延在するRc,Gf,Ri,Glのラインを第3のライン、同様に矢印B方向に延在するBd,Gg,Bj,Gmのラインを第4のラインとして説明する。また、以降の説明において、矢印A方向について算出された信号には参照符号に(A)を付し、矢印B方向について算出された信号には参照符号に(B)を付するものとする。
【0102】
まず、Bj画素位置におけるR信号は、上記式(12)と同様に、下記の式(13)または(14)により求められた値となる。
【0103】
Rj(A)=Gj(A)+((Rm(A)-Gm)+(Rg(A)-Gg))/2 (13)
Rj(B)=Gj(B)+((Rf(B)-Gf)+(Rn(B)-Gn))/2 (14)
なお、信号値Gj(A)はBj画素位置が属する矢印A方向のライン(第2のライン)上におけるG信号に対して1次元補間演算を行うことにより算出されたBj画素位置でのG信号、信号値Gj(B)はBj画素位置が属する矢印B方向のライン(第4のライン)上におけるG信号に対して1次元補間演算を行うことにより算出されたBj画素位置でのG信号である。また、信号値Rm(A)はGm画素位置が属する矢印A方向のライン(第1のライン)上におけるR信号に対して1次元補間演算を行うことにより算出されたGm画素位置でのR信号、信号値Rg(A)はGg画素位置が属する矢印A方向のライン上におけるR信号に対して1次元補間演算を行うことにより算出されたGg画素位置でのR信号である。さらに、信号値Rf(B)はGf画素位置が属する矢印B方向のライン(第3のライン)上におけるR信号に対して1次元補間演算を行うことにより算出されたGf画素位置でのR信号、信号値Rn(B)はGn画素位置が属する矢印B方向のライン上におけるR信号に対して1次元補間演算を行うことにより算出されたGn画素位置でのR信号である。
【0104】
第2の実施形態においては第1および第2のRB補間手段12,13においてそれぞれ式(13)、(14)により算出された信号値Rj(A),Rj(B)を重み付け加算することによりR信号を算出する。変動方向尺度算出手段15はこの重み付け係数を変動方向尺度Sjとして算出するものである。
【0105】
変動方向尺度Sjは下記の式(15)、(16)、(17)により算出することができる。
【0106】
Sjv=|Bj-Gj(A)|/(Bj+Gj(A)) (15)
Sjh=|Bj-Gj(B)|/(Bj+Gj(B)) (16)
Sj=Sjv/(Sjv+Sjh)(if Sjv+Sjh=0 then Sj=0.5) (17)
ここで、SjvはBj画素位置の矢印A方向における信号値の変化を表し、SjhはBj画素位置の矢印B方向における信号値の変化を表す。また、Sjの範囲は0≦Sj≦1であり、矢印A方向において信号値の変動が少ないほど0に近い値となる。
【0107】
そして、重み付け加算手段14においては、変動方向尺度Sjを使用して下記の式(18)によりR信号を重み付け加算して算出する。
【0108】
Rj=(1-Sj)*Rj(A)+Sj*Rj(B) (18)
これにより、画素値の変化が少ない方向ほど大きな重み付けがなされて、Bj画素位置のR信号が算出されることとなる。
【0109】
なお、Gf画素位置でのR信号は上記式(7)と同様に、下記の式(19)または(20)により求められた値となる。
【0110】
Rf(A)=Gf+((Ri-Gi(A))+(Rc-Gc(A)))/2 (19)
Rf(B)=Rf′ (20)
但し、信号値Gi(A)はRi画素位置が属する矢印A方向のライン(第1のライン)上におけるG信号に対して1次元補間演算を行うことにより算出されたRi画素位置でのG信号、信号値Gc(A)はRc画素位置が属する矢印A方向のライン上におけるG信号に対して1次元補間演算を行うことにより算出されたRc画素位置でのG信号である。Rf′はGf画素位置が属する矢印B方向のライン上におけるR信号に対して1次元補間演算により算出されたGf画素位置でのR信号である。
【0111】
この場合、変動方向尺度Sfは下記の式(21)、(22)、(23)により算出することができる。
【0112】
Sfv=|Bf(A)-Gf|/(Bf(A)+Gf) (21)
但し、信号Bf(A)は、Gf画素位置が属する矢印A方向のライン(第2のライン)上におけるB信号に対して1次元補間演算を行うことにより得られたGf画素位置でのB信号である。
【0113】
Sfh=|Rf(B)-Gf|/(Rf(B)+Gf) (22)
但し、信号Rf(B)は、Gf画素位置が属する矢印B方向のライン上におけるR信号に対して1次元補間演算を行うことにより得られたGf画素位置でのR信号である。
【0114】
Sf=Sfv/(Sfv+Sfh)(if Sfv+Sfh=0 then Sf=0.5)(23)
ここで、Sfの範囲は0≦Sf≦1であり、矢印A方向において信号値の変動が少ないほど0に近い値となる。
【0115】
そして、重み付け加算手段14においては、変動方向尺度Sfを使用して下記の式(24)によりR信号を重み付け加算して算出する。
【0116】
Rf=(1-Sf)*Rf(A)+Sf*Rf(B) (24)
これにより、画素値の変化が少ない方向ほど大きな重み付けがなされて、Gf画素位置のR信号が算出されることとなる。
【0117】
一方、B信号も、R信号と同様に変動方向尺度が求められ、これにより矢印A,B方向について算出したB信号を重み付け加算することにより算出される。
【0118】
このようにして重み付け加算により得られたR信号およびB信号は、G信号とともに市松正方補間手段16において補間演算が施され、空孔画素位置*における信号値が算出されて補間済み画像データS1として出力される。
【0119】
このように、第2の実施形態によれば、信号値が変化する方向に応じて、矢印A方向および矢印B方向について算出された信号値を重み付け加算して、各画素位置におけるR信号およびB信号を算出するようにしたため、信号値の変化に拘わらず偽色の発生を防止できるとともに、アーチファクトの発生をも防止することができる。
【0120】
なお、上記各実施形態においては単板CCD1として、G画素がR,B画素に対して倍の密度を有するものについて説明したが、R画素がG,B画素に対して、あるいはB画素がR,G画素に対して倍の密度を有するものであってもよい。また、R,G,Bに対して分光感度を有するものについて説明したが、単板CCD1としてはこれに限定されるものではなく、Y(イエロー)、G(グリーン)、C(シアン)に対して分光感度を有するもの、あるいはY、W(ホワイト)、Cに対して分光感度を有するものであってもよい。
【0121】
また、上記各実施形態においては、3色全ての信号値を算出しているが、1色または2色のみの信号値を算出するようにしてもよい。
【0122】
次いで、本発明の第3の実施形態について説明する。図14は本発明の第3の実施形態による画像処理装置の構成を示す概略ブロック図である。図14に示すように、第3の実施形態による画像処理装置は、単板CCD1において得られた画像データS0に対して処理を施すものであり、画像データS0に対して補間処理を施してR1,G1,B1の色信号からなる補間済み画像データS1を得る第1の実施形態と同様の補間手段2と、補間済み画像データS1をYCC変換して、補間済み画像データS1の輝度情報および色差情報を表す推定輝度信号Y0および推定色差信号Cb,Crを得るYCC変換手段21と、画像データS0の高周波の輝度情報を表す高周波輝度信号YHを作成する高周波輝度信号作成手段22と、高周波輝度信号YHと推定輝度信号Y0とを加算して加算輝度信号Y1を得る加算手段23と、加算輝度信号Y1および色差信号Cb,CrをRGB変換してR2,G2,B2の色信号からなる処理済み画像データS2を得るRGB変換手段24とを備える。
【0123】
YCC変換手段21は、下記の式(25)〜(27)に示すように、補間済み画像データS1を推定輝度信号Y0および推定色差信号Cb,Crに変換する。
【0124】
Y0=0.299R1+0.587G1+0.114B1 (25)
Cb=(B1−Y0)/1.772 (26)
Cr=(R1−Y0)/1.402 (27)
但し、R1,G1,B1は補間済み画像データS1を構成する色信号
高周波輝度信号作成手段22は、画像データS0を構成する各画素位置のR,G,B各信号値をそのまま輝度信号とし、この輝度信号に対して推定輝度信号Y0に相当する周波数成分をカットするハイパスフィルタによるフィルタリング処理を施す方法により、画像データS0の高周波の輝度情報を表す高周波輝度信号YHを得る。なお、高周波輝度信号YHを得るための方法としては、R,G,B各信号値に対してハイパスフィルタによるフィルタリング処理を施した後、上記式(25)により輝度信号を得る方法(特開平5−228108号)、R,G,B各信号値に対して上記式(25)により輝度信号を得、この輝度信号に対してハイパスフィルタによるフィルタリング処理を施す方法(同6−30444号)、画像データからフィールド間YC分離処理の技術により高周波輝度信号を抽出する方法(同6−225343号)、R,G,B各信号値に対して上記式(25)により輝度信号を得、この輝度信号に対してガンマ補正処理を施した後ハイパスフィルタによるフィルタリング処理を施す方法(同8−9199号)等を採用することができる。
【0125】
RGB変換手段24は、加算輝度信号Y1および色差信号Cb,Crについて、上記式(25)から(27)を逆に解くことにより、処理済み画像データS2を構成する色信号R2,G2,B2を得る。
【0126】
なお、画像データS0を構成する色信号R,G,Bの比率が、画像データS0により表される画像上の位置により急激に変化しないと仮定すると、画像データS0を構成する各画素位置のR,G,B各信号値をそのまま輝度信号とし、この輝度信号に対して推定輝度信号Y0に相当する周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより得られた高周波輝度信号YHは、画像データS0により表される画像の高周波成分を忠実に表すものとなる。したがって、画像データS0により表される画像が無彩色である場合、またはR,G,B信号値の比率の変化が小さい場合には、加算輝度信号Y1を用いて処理済み画像データS2を得ることにより、処理済み画像データS2により表される処理済み画像の解像度を向上させることができる。
【0127】
しかしながら、画像データS0により表される画像が有彩色であり、かつR,G,B信号値の比率の変化が大きい場合には、高周波輝度信号YHに偽信号が発生し、処理済み画像にグレイのノイズが現れてしまう。したがって、このような場合には、このグレイのノイズ成分に対応する周波数帯域の周波数成分をカットするバンドパスフィルタを用いて、処理済み画像の解像度と偽信号とのバランスに応じて高周波輝度信号を作成することにより、グレイのノイズを低減できるとともに、画像の解像度をも向上させることができる。
【0128】
次いで、第3の実施形態の動作について説明する。図15は、第3の実施形態の動作を示すフローチャートである。まず、被写体を撮影して単板CCD1において画像データS0を得る(ステップS11)。次いで、補間手段2において上記第1または第2の実施形態と同様に補間演算が行われて補間済み画像データS1が得られる(ステップS12)。補間済み画像データS1はYCC変換手段21においてYCC変換されて、推定輝度信号Y0および推定色差信号Cb,Crが得られる(ステップS13)。一方、高周波輝度信号作成手段22において画像データS0の高周波輝度信号YHが作成される(ステップS14)。なお、ステップS14の処理をステップS12,S13の処理より先に行ってもよく、これらの処理を並列に行ってもよい。
【0129】
そして、加算手段23において、高周波輝度信号YHと推定輝度信号Y0とが加算されて加算輝度信号Y1が得られる(ステップS15)。加算輝度信号Y1は推定色差信号Cb,CrとともにRGB色信号に変換されて処理済み画像データS2が得られ(ステップS16)、処理を終了する。
【0130】
ここで、画像データS0により表される画像の高周波成分を忠実に表す高周波輝度信号YHと、偽色が低減された補間済み画像データS1から得られた推定輝度信号Y0とを加算することにより得られた加算輝度信号Y1は、シーンの高周波成分を忠実に表すとともに、低周波成分についても偽色が低減されたものとなる。したがって、第3の実施形態のように、加算輝度信号Y1と推定色差信号Cb,Crとに基づいて処理済み画像データS2を得ることにより、偽色がなくかつより高解像度の処理済み画像を得ることができる。
【0131】
なお、上記各実施形態においては、単板CCD1において得られた画像データS0に対して処理を施しているが、図2(a)あるいは図2(b)に示すような画素配列を有する画像を表す画像データであれば、いかなる態様にて取得した画像データに対しても同様に処理を施すことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態による画像処理装置の構成を示す概略ブロック図
【図2】単板CCDにおける画素配列を示す図
【図3】ハニカム配列の単板CCDの画素配列を示す図
【図4】ハニカム配列の単板CCDの各画素位置を参照番号を付して示す図
【図5】信号値の算出を説明するための図(その1)
【図6】信号値の算出を説明するための図(その2)
【図7】信号値の算出を説明するための図(その3)
【図8】信号値の算出を説明するための図(その4)
【図9】市松正方フィルタの例を示す図(その1)
【図10】市松正方フィルタの例を示す図(その2)
【図11】第1の実施形態の動作を示すフローチャート
【図12】本発明の第2の実施形態による画像処理装置の構成を示す概略ブロック図
【図13】ハニカム配列の単板CCDの各画素位置を参照符号を付して示す図
【図14】本発明の第3の実施形態による画像処理装置の構成を示す概略ブロック図
【図15】第3の実施形態の動作を示すフローチャート
【図16】ハニカム配列を示す図
【図17】ベイヤー配列を示す図
【図18】ベイヤー配列の各画素位置を参照符号を付して示す図
【符号の説明】
1 単板CCD
2 補間手段
3,11 G補間手段
4,12,13 RB補間手段
5,16 市松正方補間手段
21 YCC変換手段
22 高周波輝度信号作成手段
23 加算手段
24 RGB変換手段
Claims (54)
- 異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する画像処理方法において、
前記第2ラインにおける前記第2信号値を、該第2ラインに隣接する前記第1ラインにおける前記第1および前記第2信号値の差分値に基づいて推定することを特徴とする画像処理方法。 - 前記第2ラインの前記第1画素における第2信号値を、前記第1ラインの該第1画素近傍の前記第2画素における第2信号値と、前記第1ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出した前記第2画素における前記第1信号値との差分値に基づいて推定することを特徴とする請求項1記載の画像処理方法。
- 前記第2ラインの前記第1画素における第1信号値に前記差分値を加算することにより、前記第2ラインの前記第1画素における第2信号値を推定することを特徴とする請求項2記載の画像処理方法。
- 前記第2ラインの前記第3画素における第2信号値を、前記第1ラインの該第3画素近傍の前記第1画素における第1信号値と、前記第1ライン上における前記第2信号値に対して1次元補間演算を施すことにより算出した前記第1画素における前記第2信号値との差分値に基づいて推定することを特徴とする請求項1から3のいずれか1項記載の画像処理方法。
- 前記第2ラインの前記第3画素位置における第1信号値を、該第2ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出し、
該算出された第1信号値に前記差分値を加算することにより前記第2ラインの前記第3画素位置における第2信号値を推定することを特徴とする請求項4記載の画像処理方法。 - 前記差分値は、前記第2ラインに隣接する2つの前記第1ラインにおける前記差分値の平均値であることを特徴とする請求項2から5のいずれか1項記載の画像処理方法。
- 前記第1ラインにおける前記第3信号値を、該第1ラインに隣接する前記第2ラインにおける前記第1および前記第3信号値の差分値に基づいて推定することを特徴とする請求項1から6のいずれか1項記載の画像処理方法。
- 前記第1ラインの前記第1画素における第3信号値を、前記第2ラインの該第1画素近傍の前記第3画素における第3信号値と、前記第2ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出した前記第3画素における前記第1信号値との差分値に基づいて推定することを特徴とする請求項7記載の画像処理方法。
- 前記第1ラインの前記第1画素における第1信号値に前記差分値を加算することにより前記第1ラインの前記第1画素位置における第3信号値を推定することを特徴とする請求項8記載の画像処理方法。
- 前記第1ラインの前記第2画素における第3信号値を、前記第2ラインの該第2画素近傍の前記第1画素における第1信号値と、前記第2ライン上における前記第3信号値に対して1次元補間演算を施すことにより算出した前記第1画素における前記第3信号値との差分値に基づいて推定することを特徴とする請求項7から9のいずれか1項記載の画像処理方法。
- 前記第1ラインの前記第2画素における第1信号値を、該第1ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出し、
該算出された第1信号値に前記差分値を加算することにより前記第1ラインの前記第2画素における第3信号値を推定することを特徴とする請求項10記載の画像処理方法。 - 前記差分値は、前記第1ラインに隣接する2つの前記第2ラインにおける前記差分値の平均値であることを特徴とする請求項8から11のいずれか1項記載の画像処理方法。
- 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第1および前記第2画素が交互に、かつ前記第1および前記第3画素が交互に配置されて、前記直交方向における前記第1ラインおよび前記第2ラインを形成してなる場合、
信号値を推定する画素位置に応じて、前記所定方向における前記第1および前記第2ラインと、前記直交方向における前記第1および前記第2ラインとを切り替えて、前記第1から第3信号値のうち少なくとも1つの信号値を推定することを特徴とする請求項1から12のいずれか1項記載の画像処理方法。 - 前記切り替えを、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて行うことを特徴とする請求項13記載の画像処理方法。
- 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第1および前記第2画素が交互に、かつ前記第1および前記第3画素が交互に配置されて、前記直交方向における前記第1ラインおよび前記第2ラインを形成してなる場合、
前記所定方向における前記第1および前記第2ラインに基づく所定方向推定値、および前記直交方向における前記第1および前記第2ラインに基づく直交方向推定値を算出し、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定することを特徴とする請求項1から12のいずれか1項記載の画像処理方法。 - 前記所定の重み付け係数が、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて算出されたものであることを特徴とする請求項15記載の画像処理方法。
- 前記第1ラインの画素配列が、前記第2ラインの画素配列に対して前記所定方向に略1/2画素相対的にずれることにより、前記画像データにより表される画像の前記第1から第3画素が市松状に配列されてなることを特徴とする請求項1から16のいずれか1項記載の画像処理方法。
- 全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定することを特徴とする請求項17記載の画像処理方法。
- 前記第1から前記第3の信号値が、それぞれG、B、Rのいずれかの色信号であることを特徴とする請求項1から18のいずれか1項記載の画像処理方法。
- 前記第1から前記第3の信号値が、それぞれY、G、Cのいずれかの色信号であることを特徴とする請求項1から18のいずれか1項記載の画像処理方法。
- 前記画像データが、異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、さらに前記第1および前記第2ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであることを特徴とする請求項1から21のいずれか1項記載の画像処理方法。
- 異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理方法において、
請求項1から21のいずれか1項記載の画像処理方法により、前記画像データにより表される画像の全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定して推定画像データを得、
前記画像データの高周波の輝度情報を表す高周波輝度信号を作成し、
前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換し、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とする画像処理方法。 - 前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することを特徴とする請求項22記載の画像処理方法。
- 前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することを特徴とする請求項22記載の画像処理方法。
- 異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する推定手段を備えた画像処理装置において、
前記推定手段は、前記第2ラインにおける前記第2信号値を、該第2ラインに隣接する前記第1ラインにおける前記第1および前記第2信号値の差分値に基づいて推定する手段であることを特徴とする画像処理装置。 - 前記推定手段は、前記第2ラインの前記第1画素における第2信号値を、前記第1ラインの該第1画素近傍の前記第2画素における第2信号値と、前記第1ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出した前記第2画素における前記第1信号値との差分値に基づいて推定する手段であることを特徴とする請求項25記載の画像処理装置。
- 前記推定手段は、前記第2ラインの前記第3画素における第2信号値を、前記第1ラインの該第3画素近傍の前記第1画素における第1信号値と、前記第1ライン上における前記第2信号値に対して1次元補間演算を施すことにより算出した前記第1画素における前記第2信号値との差分値に基づいて推定する手段であることを特徴とする請求項25または26記載の画像処理装置。
- 前記推定手段は、前記第1ラインにおける前記第3信号値を、該第1ラインに隣接する前記第2ラインにおける前記第1および前記第3信号値の差分値に基づいて推定する手段であることを特徴とする請求項25から27のいずれか1項記載の画像処理装置。
- 前記推定手段は、前記第1ラインの前記第1画素における第3信号値を、前記第2ラインの該第1画素近傍の前記第3画素における第3信号値と、前記第2ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出した前記第3画素における前記第1信号値との差分値に基づいて推定する手段であることを特徴とする請求項28記載の画像処理装置。
- 前記推定手段は、前記第1ラインの前記第2画素における第3信号値を、前記第2ラインの該第2画素近傍の前記第1画素における第1信号値と、前記第2ライン上における前記第3信号値に対して1次元補間演算を施すことにより算出した前記第1画素における前記第3信号値との差分値に基づいて推定する手段であることを特徴とする請求項28または29記載の画像処理装置。
- 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第1および前記第2画素が交互に、かつ前記第1および前記第3画素が交互に配置されて、前記直交方向における前記第1ラインおよび前記第2ラインを形成してなる場合、
前記推定手段は、信号値を推定する画素位置に応じて、前記所定方向における前記第1および前記第2ラインと、前記直交方向における前記第1および前記第2ラインとを切り替えて、前記第1から第3信号値のうち少なくとも1つの信号値を推定する手段を備えたことを特徴とする請求項25から30のいずれか1項記載の画像処理装置。 - 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第1および前記第2画素が交互に、かつ前記第1および前記第3画素が交互に配置されて、前記直交方向における前記第1ラインおよび前記第2ラインを形成してなる場合、
前記推定手段は、前記所定方向における前記第1および前記第2ラインに基づく所定方向推定値、および前記直交方向における前記第1および前記第2ラインに基づく直交方向推定値を算出する手段と、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定する手段とを備えたことを特徴とする請求項25から30のいずれか1項記載の画像処理装置。 - 前記第1ラインの画素配列が、前記第2ラインの画素配列に対して前記所定方向に略1/2画素相対的にずれることにより、前記画像データにより表される画像の前記第1から第3画素が市松状に配列されてなることを特徴とする請求項25から32のいずれか1項記載の画像処理装置。
- 前記推定手段は、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定する手段であることを特徴とする請求項33記載の画像処理装置。
- 前記画像データが、異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、さらに前記第1および前記第2ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであることを特徴とする請求項25から34のいずれか1項記載の画像処理装置。
- 異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理装置において、
請求項25から35のいずれか1項記載の画像処理装置により、前記画像データにより表される画像の全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定して推定画像データを得る補間手段と、
前記画像データの高周波の輝度情報を表す高周波輝度信号を作成する高周波輝度信号作成手段と、
前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換する輝度色差変換手段と、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得る加算手段とを備え、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とする画像処理装置。 - 前記高周波輝度信号作成手段は、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることを特徴とする請求項36記載の画像処理装置。
- 前記高周波輝度信号作成手段は、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることを特徴とする請求項36記載の画像処理装置。
- 異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、前記第2ラインにおける前記第2信号値を、該第2ラインに隣接する前記第1ラインにおける前記第1および前記第2信号値の差分値に基づいて推定する手順を有することを特徴とするコンピュータ読取り可能な記録媒体。 - 前記推定する手順は、前記第2ラインの前記第1画素における第2信号値を、前記第1ラインの該第1画素近傍の前記第2画素における第2信号値と、前記第1ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出した前記第2画素における前記第1信号値との差分値に基づいて推定する手順であることを特徴とする請求項39記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、前記第2ラインの前記第3画素における第2信号値を、前記第1ラインの該第3画素近傍の前記第1画素における第1信号値と、前記第1ライン上における前記第2信号値に対して1次元補間演算を施すことにより算出した前記第1画素における前記第2信号値との差分値に基づいて推定する手順であることを特徴とする請求項39または40記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、前記第1ラインにおける前記第3信号値を、該第1ラインに隣接する前記第2ラインにおける前記第1および前記第3信号値の差分値に基づいて推定する手順であることを特徴とする請求項39から41のいずれか1項記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、前記第1ラインの前記第1画素における第3信号値を、前記第2ラインの該第1画素近傍の前記第3画素における第3信号値と、前記第2ライン上における前記第1信号値に対して1次元補間演算を施すことにより算出した前記第3画素における前記第1信号値との差分値に基づいて推定する手順であることを特徴とする請求項42記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、前記第1ラインの前記第2画素における第3信号値を、前記第2ラインの該第2画素近傍の前記第1画素における第1信号値と、前記第2ライン上における前記第3信号値に対して1次元補間演算を施すことにより算出した前記第1画素における前記第3信号値との差分値に基づいて推定する手順であることを特徴とする請求項42または43記載のコンピュータ読取り可能な記録媒体。
- 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第1および前記第2画素が交互に、かつ前記第1および前記第3画素が交互に配置されて、前記直交方向における前記第1ラインおよび前記第2ラインを形成してなる場合、
前記推定する手順は、信号値を推定する画素位置に応じて、前記所定方向における前記第1および前記第2ラインと、前記直交方向における前記第1および前記第2ラインとを切り替えて、前記第1から第3信号値のうち少なくとも1つの信号値を推定する手順を有することを特徴とする請求項39から44のいずれか1項記載のコンピュータ読取り可能な記録媒体。 - 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第1および前記第2画素が交互に、かつ前記第1および前記第3画素が交互に配置されて、前記直交方向における前記第1ラインおよび前記第2ラインを形成してなる場合、
前記推定する手順は、前記所定方向における前記第1および前記第2ラインに基づく所定方向推定値、および前記直交方向における前記第1および前記第2ラインに基づく直交方向推定値を算出する手順と、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定する手順とを有することを特徴とする請求項39から44のいずれか1項記載のコンピュータ読取り可能な記録媒体。 - 前記第1ラインの画素配列が、前記第2ラインの画素配列に対して前記所定方向に略1/2画素相対的にずれることにより、前記画像データにより表される画像の前記第1から第3画素が市松状に配列されてなることを特徴とする請求項39から46のいずれか1項記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定する手順を有することを特徴とする請求項47記載のコンピュータ読取り可能な記録媒体。
- 前記画像データが、異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、さらに前記第1および前記第2ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであることを特徴とする請求項39から48のいずれか1項記載のコンピュータ読取り可能な記録媒体。
- 異なる分光分布を有する第1から第3の信号値を有する第1から第3の画素からなる画像を表す画像データであって、前記第1および前記第2の画素が所定方向に交互に配置されて第1ラインが形成され、前記第1および前記第3の画素が前記所定方向に交互に配置されて第2ラインが形成され、さらに前記第1および前記第2ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、請求項1から21のいずれか1項記載の画像処理方法により、前記画像データにより表される画像の全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定して推定画像データを得る手順と、前記画像データの高周波の輝度情報を表す高周波輝度信号を作成する手順と、前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換するする手順と、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得る手順とを有し、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とするコンピュータ読取り可能な記録媒体。 - 前記高周波輝度信号を作成する手順は、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手順であることを特徴とする請求項50記載のコンピュータ読取り可能な記録媒体。
- 前記高周波輝度信号を作成する手順は、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することを特徴とする請求項50記載のコンピュータ読取り可能な記録媒体。
- 請求項25から38のいずれか1項記載の画像処理装置を備えたことを特徴とする撮像装置。
- 請求項25から38のいずれか1項記載の画像処理装置を備えたことを特徴とする出力装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000155621A JP4162111B2 (ja) | 1999-07-27 | 2000-05-26 | 画像処理方法および装置並びに記録媒体 |
US09/627,244 US6724932B1 (en) | 1999-07-27 | 2000-07-27 | Image processing method, image processor, and storage medium |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21220299 | 1999-07-27 | ||
JP11-212202 | 1999-07-27 | ||
JP2000155621A JP4162111B2 (ja) | 1999-07-27 | 2000-05-26 | 画像処理方法および装置並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001101398A JP2001101398A (ja) | 2001-04-13 |
JP4162111B2 true JP4162111B2 (ja) | 2008-10-08 |
Family
ID=26519071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000155621A Expired - Fee Related JP4162111B2 (ja) | 1999-07-27 | 2000-05-26 | 画像処理方法および装置並びに記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6724932B1 (ja) |
JP (1) | JP4162111B2 (ja) |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
JP2001203969A (ja) * | 2000-01-21 | 2001-07-27 | Fuji Photo Film Co Ltd | 撮像装置およびその動作制御方法 |
JP4423452B2 (ja) * | 2000-12-27 | 2010-03-03 | 富士フイルム株式会社 | 固体撮像装置 |
US20030063095A1 (en) * | 2000-12-29 | 2003-04-03 | Sun Microsystems, Inc. | Statistic logic for collecting a histogram of pixel exponent values |
JP4703029B2 (ja) * | 2001-05-14 | 2011-06-15 | 三菱電機株式会社 | 画像表示システム及び画像表示方法 |
US6845016B2 (en) | 2001-09-13 | 2005-01-18 | Seiko Epson Corporation | Electronic device and method of manufacturing the same, and electronic instrument |
JP4657564B2 (ja) * | 2002-04-30 | 2011-03-23 | イーストマン コダック カンパニー | 電子スチルカメラ及び画像処理方法 |
US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
EP1594321A3 (en) * | 2004-05-07 | 2006-01-25 | Dialog Semiconductor GmbH | Extended dynamic range in color imagers |
DE102004025645A1 (de) * | 2004-05-24 | 2005-12-29 | Jenoptik Laser, Optik, Systeme Gmbh | Verfahren zur Reduzierung von Farbmoire in digitalen Bildern |
JP4633413B2 (ja) * | 2004-09-01 | 2011-02-16 | 富士フイルム株式会社 | 撮像装置及び信号処理方法 |
US8571346B2 (en) | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
US7885458B1 (en) | 2005-10-27 | 2011-02-08 | Nvidia Corporation | Illuminant estimation using gamut mapping and scene classification |
US7750956B2 (en) * | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
JP4548390B2 (ja) * | 2006-06-16 | 2010-09-22 | ソニー株式会社 | 撮像装置及び信号処理方法 |
US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
EP1887515B1 (en) * | 2007-02-27 | 2011-12-28 | Phase One A/S | Colour binning of a digital image |
US7929807B2 (en) * | 2007-02-27 | 2011-04-19 | Phase One A/S | Colour binning of a digital image to reduce the image resolution |
US8723969B2 (en) * | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
US8564687B2 (en) * | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
US8698917B2 (en) * | 2007-06-04 | 2014-04-15 | Nvidia Corporation | Reducing computational complexity in determining an illuminant of a scene |
US8199230B2 (en) | 2007-06-28 | 2012-06-12 | Fujifilm Corporation | Signal processing apparatus, image pickup apparatus and computer readable medium |
JP4914303B2 (ja) * | 2007-07-13 | 2012-04-11 | シリコン ヒフェ ベー.フェー. | 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム |
US8724895B2 (en) * | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
US20090051984A1 (en) * | 2007-08-23 | 2009-02-26 | O'brien Michele | Image sensor having checkerboard pattern |
US8570634B2 (en) * | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
US8780128B2 (en) | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
US9379156B2 (en) * | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
US8698918B2 (en) * | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
US8830359B2 (en) * | 2010-03-30 | 2014-09-09 | Nikon Corporation | Image processing apparatus, imaging apparatus, and computer readable medium |
JP5150796B2 (ja) * | 2011-03-30 | 2013-02-27 | 富士フイルム株式会社 | 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
US9870598B2 (en) | 2013-04-26 | 2018-01-16 | Nvidia Corporation | Low complexity adaptive filtering for mobile captures |
US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
US9524538B2 (en) * | 2014-09-19 | 2016-12-20 | Fujitsu Ten Limited | Image processing apparatus |
DE112015005531T5 (de) * | 2015-01-08 | 2017-09-21 | Olympus Corporation | Bildverarbeitungsvorrichtung, Verfahren zum Betreiben einer Bildverarbeitungsvorrichtung, Programm zum Betreiben einer Bildverarbeitungsvorrichtung und Endoskopeinrichtung |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5253046A (en) * | 1991-03-07 | 1993-10-12 | Canon Kabushiki Kaisha | Color image pickup apparatus for object image conversion |
JP3179166B2 (ja) | 1992-02-25 | 2001-06-25 | オリンパス光学工業株式会社 | 電子内視鏡装置 |
JPH0630444A (ja) | 1992-07-08 | 1994-02-04 | Toshiba Corp | 画像符号化装置 |
JPH06225343A (ja) | 1992-10-02 | 1994-08-12 | Hitachi Ltd | テレビジョン信号の構成装置 |
US5373322A (en) * | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
JPH089199A (ja) | 1994-06-20 | 1996-01-12 | Canon Inc | 撮像信号処理装置および撮像信号処理方法 |
JPH09214989A (ja) | 1996-02-02 | 1997-08-15 | Naoki Ozawa | 画像信号の信号補間方法 |
JP3707187B2 (ja) * | 1996-09-18 | 2005-10-19 | コニカミノルタホールディングス株式会社 | 電子カメラ |
JP3065543B2 (ja) | 1996-11-08 | 2000-07-17 | ハウス食品株式会社 | 調味ソース |
JP3806211B2 (ja) | 1997-01-08 | 2006-08-09 | 株式会社リコー | 撮像信号処理方法及び撮像信号処理装置 |
JP3704238B2 (ja) * | 1997-03-31 | 2005-10-12 | 株式会社リコー | 撮像装置 |
US6181376B1 (en) * | 1997-10-14 | 2001-01-30 | Intel Corporation | Method of determining missing color values for pixels in a color filter array |
US6130960A (en) * | 1997-11-03 | 2000-10-10 | Intel Corporation | Block-matching algorithm for color interpolation |
JP2991180B2 (ja) * | 1998-01-28 | 1999-12-20 | 日本電気株式会社 | 画素補間方法及び画素補間回路並びに画素補間プログラムを記録した記録媒体 |
US5990950A (en) * | 1998-02-11 | 1999-11-23 | Iterated Systems, Inc. | Method and system for color filter array multifactor interpolation |
GB2341999B (en) * | 1998-03-17 | 2002-07-10 | Matsushita Electric Ind Co Ltd | Image reading apparatus |
JP4045645B2 (ja) * | 1998-05-19 | 2008-02-13 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
US6549233B1 (en) * | 1998-08-07 | 2003-04-15 | Intel Corporation | Color interpolation system |
US6496608B1 (en) * | 1999-01-15 | 2002-12-17 | Picsurf, Inc. | Image data interpolation system and method |
US6404918B1 (en) * | 1999-04-30 | 2002-06-11 | Hewlett-Packard Company | Image demosaicing method utilizing directional smoothing |
US6933970B2 (en) * | 1999-12-20 | 2005-08-23 | Texas Instruments Incorporated | Digital still camera system and method |
US6476865B1 (en) * | 2001-03-07 | 2002-11-05 | Eastman Kodak Company | Sparsely sampled image sensing device with color and luminance photosites |
-
2000
- 2000-05-26 JP JP2000155621A patent/JP4162111B2/ja not_active Expired - Fee Related
- 2000-07-27 US US09/627,244 patent/US6724932B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001101398A (ja) | 2001-04-13 |
US6724932B1 (en) | 2004-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
JP4284628B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
JP5872408B2 (ja) | カラー撮像装置及び画像処理方法 | |
JP4351825B2 (ja) | カラーのディジタルイメージを収集する方法 | |
JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
US20100086202A1 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
US8233733B2 (en) | Image processing device | |
WO2015093253A1 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP2004519156A (ja) | 画像検知器の出力信号用の輪郭フィルタ | |
JP3965460B2 (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
JP4302855B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
JP4302854B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
JP3576600B2 (ja) | カラー撮像装置 | |
JP4239483B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
JP4196055B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
JP3946913B2 (ja) | 信号生成方法および装置並びに記録媒体 | |
JP4239480B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
JP2012100215A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2000232655A (ja) | 画像処理方法および装置並びに記録媒体 | |
JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
JP2003087808A (ja) | 画像処理方法および装置並びにプログラム | |
JP2000341703A (ja) | 信号生成方法および装置並びに記録媒体 | |
JP3965457B2 (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
JP4239484B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050912 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080717 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |