JP4302855B2 - 画像処理方法および装置並びに記録媒体 - Google Patents

画像処理方法および装置並びに記録媒体 Download PDF

Info

Publication number
JP4302855B2
JP4302855B2 JP2000104978A JP2000104978A JP4302855B2 JP 4302855 B2 JP4302855 B2 JP 4302855B2 JP 2000104978 A JP2000104978 A JP 2000104978A JP 2000104978 A JP2000104978 A JP 2000104978A JP 4302855 B2 JP4302855 B2 JP 4302855B2
Authority
JP
Japan
Prior art keywords
value
signal
predetermined direction
orthogonal direction
fluctuation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000104978A
Other languages
English (en)
Other versions
JP2001292455A (ja
Inventor
達也 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000104978A priority Critical patent/JP4302855B2/ja
Publication of JP2001292455A publication Critical patent/JP2001292455A/ja
Application granted granted Critical
Publication of JP4302855B2 publication Critical patent/JP4302855B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、単板CCDのような撮像デバイスにおいて得られた信号値を用いて、撮像デバイスの全画素位置における信号値を推定する画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【0002】
【従来の技術】
デジタルカメラに用いられるCCD等の撮像デバイスとしては、分光感度が異なる複数種類の光電変換素子を同一平面上に交互に配置して構成されているものが知られている(以下単板CCDと称する)。ここで、R,G,Bのそれぞれに分光感度を有する光電変換素子、すなわちR,G,Bの各チャンネルの光電変換素子を交互に配置した単板CCDの場合、連続したR,G,Bチャンネルの3個の光電変換素子の組が1つの画素を構成することとなる。しかしながら、このような単板CCDにおいては各画素のR,G,B信号値を同一画素位置において得ることができないため、色ずれや偽色が生じることがある。また、各チャンネルの光電変換素子数は単板CCDを構成する全素子数よりも少ないため、高解像度の画像を得ることができない。例えばR,G,B各チャンネルの光電変換素子を交互に配置した単板CCDにおいては、各チャンネルの光電変換素子数は全素子数の1/3しかないため、同一素子数のモノクロ撮像装置に比べて解像度が1/3となってしまう。このため、R,G,B各チャンネルの光電変換素子が存在しない部分における信号値を補間処理により求める方法が提案されているが、単に補間処理を行うのみでは、信号値が大きく変化する部分において偽色が発生することがある。この場合、撮像系に光学ローパスフィルタを使用したり、撮像信号に対してローパスフィルタによる平滑化処理を行うことにより偽色の発生を防止することができるが、この場合解像度が悪化するという問題がある。
【0003】
ここで、人間の視覚特性は色よりも輝度に対して感度が高いものである。このため、単板CCDにおいて得られたカラー撮像信号から、各画素の輝度を表す高周波の輝度信号と、上述した補間処理およびローパスフィルタによる平滑化処理によって得られた低周波の色信号とを生成し、輝度信号および色信号を用いてカラー画像信号を再構成するようにした方法が提案されている(特開平10−200906号等)。この方法によれば、人間の視覚特性において感度が高い輝度成分に対してより多くの情報が与えられることとなるため、見かけ上解像度が高い画像を再現可能なカラー画像信号を得ることができる。
【0004】
ところで、単板CCDとして、例えば図30に示すように市松状に画素が配置されたハニカム配列のアレイ構造を有するCCDが知られている(例えば特開平10−136391号)。なお、これを市松状の画素配列と称することもある。また、図31に示すように正方状に画素が配置されたベイヤー配列のアレイ構造を有するCCDも知られている。なお、これを正方状の画素配列と称することもある。このようなアレイ構造すなわち画素配列を有する単板CCDにおいても上記と同様に偽色の問題が生じる。このため、上述したベイヤー配列のCCDにおいて得られた光量ベースの信号について偽色を除去するために、画像中の局所的な領域においてはr,g,bの信号の比は略一定であるという仮定に基づいて、ベイヤー配列のCCDにおける垂直方向または水平方向のラインにおいて、隣接するラインにおけるr信号とg信号との比をg信号に乗算することにより、そのラインにおけるr信号を算出するようにした方法が知られている(特開平9−214989号)。この方法は、具体的には、図32に示す画素配列において、g12画素位置におけるr信号r12を求めるには、まずr11画素位置におけるg11信号を(g6+g16)/2の演算により算出し、r11:g11=r12:g12という仮定に基づいて、r12=g12×r11/g11の演算によりr12信号を算出するものである。
【0005】
しかしながら、上記特開平10−200906号等に記載された方法においては、単板CCDにおいて得られた撮像信号に対してどのようなローパスフィルタにより平滑化処理を施しても、実際の画像における高周波成分が画像中にすでに折り返されてしまっているため、折り返しひずみによるモアレを取り除くことができず、その結果偽色を十分に除去することができない。
【0006】
一方、上記特開平9−214989号に記載された方法によれば、効果的に偽色を除去することができる。とくにこの方法は、画像の局所的な領域においては、r:g:bの光量の比が一定であるという仮定に基づいており、得られたRGB信号の比が光量に比例しているアナログ信号である場合には、ベイヤー配列のCCDにおいて得られる画像信号における偽色を効率よく除去することができる。しかしながら、デジタルカメラにより得られる画像信号は、A/D変換を行って光量rgbをデジタルのRGB信号に変換する場合に、量子化誤差を低減するため、およびコンピュータ系のビデオ回路へ信号を入力するために、例えばR=r0.45、R=log(r)のように、光量に対する指数値、対数値となるように信号値が表されていることから、r:g:b=R:G:Bとはならないものである。このため、上記特開平9−214989号に記載された方法は、信号値が光量に比例するアナログ信号に対しては偽色を除去することができるが、信号値が光量の指数値や対数値により表されている場合には偽色を除去することはできない。また、偽色はベイヤー配列の単板CCDのみならずハニカム配列の単板CCDにおいても発生する。
【0007】
このため、撮像デバイスにおいて得られた信号値が、光量に対する指数値や対数値により表されている場合、画像の局所的な領域においてはRGB各信号値の差は一定であるという前提に基づき、信号値を算出する画素位置における信号値が変化する方向を考慮して、各画素位置における信号値を算出する方法が提案されている(特願平11−212202号)。以下、この方法について具体的に説明する。
【0008】
まず、撮像デバイスであるCCDの画素配列を図30に示すハニカム配列とし、図33に示すように各画素位置に参照番号を付与する。なお、この画素配列を正方配列と見なした場合に、信号値を有さない画素位置を図33において*を用いて示す。また、各チャンネルにおいて得られる信号値は8ビットであるものとし、紙面左上から右下に延在する方向を矢印A方向、紙面右上から左下に延在する方向を矢印B方向とし、以下本明細書中においては矢印A方向および矢印B方向は不変とする。なお、ここではB24画素位置におけるR信号(以下R(B24)信号と表記する)の算出について説明する。まず、矢印A方向について、下記の式(1)によりB24画素位置のR(B24)A信号を求める。
【0009】
R(B24)A=G(B24)A+((R(G33)A-G33)+(R(G15)A-G15))/2 (1)
但し、G(B24)A信号は、画素がB02,G13,B24,G35…と並ぶライン上のG画素位置におけるG信号に対して、矢印A方向に1次元Cubicスプライン補間演算等の1次元補間演算を施して求めたB24画素位置のG信号である。また、R(G33)A信号は、画素が…R22,G33,R44,G55…と並ぶライン上のR画素位置におけるR信号に対して、矢印A方向に1次元補間演算を施して求めたG33画素位置のR信号である。さらに、R(G15)A信号は、画素がR04,G15,R26,G37…と並ぶライン上のR画素位置におけるR信号に対して、矢印A方向に1次元補間演算を施して求めたG15画素位置のR信号である。
【0010】
次に、矢印B方向について、下記の式(2)によりB24画素位置のR(B24)B信号を求める。
【0011】
R(B24)B=G(B24)B+((R(G13)B-G13)+(R(G35)B-G35))/2 (2)
但し、G(B24)B信号は、画素がB06,G15,B24,G33…と並ぶライン上のG画素位置におけるG信号に対して、矢印B方向に1次元補間演算を施して求めたB24画素位置のG信号である。また、R(G13)B信号は、画素がR04,G13,R22,G31…と並ぶライン上のR画素位置におけるR信号に対して、矢印B方向に1次元補間演算を施して求めたG13画素位置のR信号である。さらに、R(G35)B信号は、画素が…R26,G35,R44,G53…と並ぶライン上のR画素位置におけるR信号に対して、矢印B方向に1次元補間演算を施して求めたG35画素位置のR信号である。
【0012】
そして、下記の式(3)、(4)により、B24画素位置における矢印A方向および矢印B方向についての信号値の変動量を表す変動値SA,SBを算出し、さらに、変動値SA,SBを用いて式(5)によりR(B24)A信号とR(B24)B信号とを重み付け加算するための重み付け係数Sjを算出する。
【0013】
SA=|B24-G(B24)A|/(B24+G(B24)A) (3)
SB=|B24-G(B24)B|/(B24+G(B24)B) (4)
Sj=SA/(SA+SB)(SA+SB=0ならSj=0.5) (5)
このように重み付け係数Sjが求められると、下記の式(6)により、R(B24)信号を算出する。
【0014】
R(B24)=(1-Sj)*R(B24)A+Sj*R(B24)B (6)
この方法によれば、撮像デバイスにおいて得られた信号値が指数値や対数値により表されている場合であっても、偽色を発生させることなく全画素位置における信号値を求めることができる。また、この方法において、信号値が変化する方向に応じて、撮像デバイス上の所定方向およびこれに直交する直交方向について算出された信号値を上記式(6)に示すように重み付け加算して、各画素位置における信号値を算出することにより、信号値の変化方向に拘わらず偽色の発生を防止できるとともに、アーチファクトの発生をも防止することができる。
【0015】
【発明が解決しようとする課題】
上記特願平11−212202号の方法では、上記式(5)において、変動値SAに対して変動値SAと変動値SBとの加算値(SA+SB)による除算を行うことにより、重み付け係数を算出している。ここで、種々の演算を行う演算回路においては、演算が加算、減算および乗算のみである場合には、比較的少ない演算素子により回路を構成することができる。しかしながら、上記式(5)のように除算が含まれると、演算が複雑となるため多数の演算素子が必要となり回路の構成が複雑化するとともに、演算に長時間を要するものとなる。
【0016】
本発明は上記事情に鑑みなされたものであり、簡易な回路構成により重み付け係数を求めることができる画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【0017】
【課題を解決するための手段】
本発明による画像処理方法は、異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、前記所定方向と直交する直交方向において前記第1および前記第2の光電変換素子が交互に、かつ前記第1および前記第3の光電変換素子が交互に配置されるよう、前記第1および前記第2ラインを前記直交方向に交互に配置することにより、第1から第3画素からなる前記撮像面が形成された撮像デバイスにおいて得られた第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する画像処理方法において、
前記所定方向についての信号値の推定値である所定方向推定値および前記直交方向についての信号値の推定値である直交方向推定値を算出し、
前記所定方向についての信号値の変動量を表す所定方向変動値および前記直交方向についての信号値の変動量を表す直交方向変動値を算出し、
前記所定方向変動値および前記直交方向変動値の加算値に対する前記所定方向変動値または前記直交方向変動値の比率を、前記所定方向推定値および前記直交方向推定値を重み付け加算する際の重み付け係数として算出するに際し、
前記重み付け係数が一定であるとした場合の前記所定方向変動値と前記直交方向変動値との関係に基づいて、複数の重み付け係数に対する所定方向変動値および直交方向変動値の対応関係を予め算出して記憶した記憶手段を参照して、前記所定方向変動値および前記直交方向変動値に基づいて、前記複数の重み付け係数から一の重み付け係数を選択し、
該一の重み付け係数に基づいて、前記所定方向推定値および前記直交方向推定値を重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定することを特徴とするものである。
【0018】
ここで、図30に示すようなハニカム配列の単板CCDにおいて、第1から第3画素、第1信号値から第3信号値をそれぞれG,R,Bに対応させるとすると、第1ラインは図30上左上から右下方向(これを所定方向とする)にGR画素を交互に配置したGRラインとなり、第2ラインは第1ラインと同様の方向にGB画素を交互に配置したGBラインとなる。また、所定方向と直交する方向にもGRラインおよびGBラインが交互に配置されている。本発明による画像処理方法は、単板CCDのような撮像デバイスにおいて得られる信号値が光量に対する指数値や対数値により表されている場合には、画像上の局所的な領域において、各信号値の差分値が等しくなるという前提に基づいて、このような撮像デバイスにおいて得られた第1から第3信号値から、各画素位置における全ての信号値を推定するようにしたものである。なお、本発明においては撮像デバイスの画素配列はこれに限定されるものではない。
【0019】
「所定方向推定値」および「直交方向推定値」とは、所定方向および直交方向についてそれぞれ推定した第1から第3信号値のうち少なくとも1つの信号値のことである。
【0020】
「所定方向変動値および直交方向変動値を算出する」とは、例えば上記式(3)、(4)に示す演算方法により変動値SAおよび変動値SBを所定方向変動値および直交方向変動値として求めることをいう。また、下記の式(7)、(8)に示す演算方法により変動値SAおよび変動値SBを所定方向変動値および直交方向変動値として求めてもよい。
【0021】
SA=|B24-G(B24)A| (7)
SB=|B24-G(B24)B| (8)
なお、本発明による画像処理方法においては、前記記憶手段に記憶された前記対応関係における前記複数の重み付け係数が、前記加算値に対する前記所定方向変動値または前記直交方向変動値の比率が1/2(nは自然数)となるように設定されてなり、
前記重み付け加算を、前記選択された一の重み付け係数に基づくビットシフトにより行うことが好ましい。
【0022】
ここで、本発明においては、加算値に対する所定方向変動値または直交方向変動値の比率が1/2(nは自然数)となるように重み付け係数が設定されていることから、所定方向推定値および直交方向推定値を2進数で表した場合、これらに1/2を乗算することは、これらの推定値を右側にnビットシフトさせることと等価な演算を行っていることとなる。したがって、「一の重み付け係数に基づくビットシフト」とは、一の重み付け係数の値1/2に基づいて、所定方向推定値および直交方向推定値を右側にnビットシフトさせることにより、重み付け加算を行うことをいう。
【0023】
また、本発明による画像処理方法においては、前記第1から前記第3の光電変換素子が、それぞれG(グリーン)、B(ブルー)、R(レッド)のいずれかの色、あるいはY(イエロー)、G(グリーン)、C(シアン)のいずれかの色に分光感度を有するものであることが好ましい。
【0024】
本発明による画像処理装置は、異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、前記所定方向と直交する直交方向において前記第1および前記第2の光電変換素子が交互に、かつ前記第1および前記第3の光電変換素子が交互に配置されるよう、前記第1および前記第2ラインを前記直交方向に交互に配置することにより、第1から第3画素からなる前記撮像面が形成された撮像デバイスにおいて得られた第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する画像処理装置において、
前記所定方向についての信号値の推定値である所定方向推定値および前記直交方向についての信号値の推定値である直交方向推定値を算出する推定値算出手段と、
前記所定方向についての信号値の変動量を表す所定方向変動値および前記直交方向についての信号値の変動量を表す直交方向変動値を算出する変動値算出手段と、
前記所定方向変動値と前記直交方向変動値との加算値に対する前記所定方向変動値または前記直交方向変動値の比率を、前記所定方向推定値および前記直交方向推定値を重み付け加算する際の重み付け係数として算出するに際し、前記重み付け係数が一定であるとした場合の前記所定方向変動値と前記直交方向変動値との関係に基づいて、複数の重み付け係数に対する所定方向変動値および直交方向変動値の対応関係を予め算出して、該対応関係を記憶した記憶手段と、
前記所定方向変動値および前記直交方向変動値に基づいて、前記記憶手段を参照して前記複数の重み付け係数から一の重み付け係数を選択する重み付け係数選択手段と、
該一の重み付け係数に基づいて、前記所定方向推定値および前記直交方向推定値を重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定する重み付け加算手段とを備えたことを特徴とするものである。
【0025】
なお、本発明による画像処理装置においては、前記記憶手段に記憶された前記対応関係における前記複数の重み付け係数が、前記加算値に対する前記所定方向変動値または前記直交方向変動値の比率が1/2(nは自然数)となるように設定されてなり、
前記重み付け加算手段は、前記重み付け加算を、前記選択された一の重み付け係数に基づくビットシフトにより行う手段であることが好ましい。
【0026】
さらに、本発明による画像処理装置においては、前記第1から前記第3の光電変換素子が、それぞれG、B、Rのいずれかの色に、あるいはY、G、Cのいずれかの色に分光感度を有するものであることが好ましい。
【0027】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【0028】
また、本発明による画像処理装置をデジタルカメラ等の撮像装置、あるいはスキャナ等の画像読取装置に搭載して提供してもよい。
【0029】
【発明の効果】
本発明によれば、所定方向変動値と直交方向変動値との加算値に対する所定方向変動値または直交方向変動値の比率を重み付け係数として算出するに際し、重み付け係数が一定であるとした場合の所定方向変動値と直交方向変動値との関係に基づいて、複数の重み付け係数に対する所定方向変動値および直交方向変動値の対応関係を予め算出しておき、これを記憶手段に記憶しておく。そして、信号値を推定する画素位置において所定方向変動値および直交方向変動値を算出し、上記記憶手段を参照して一の重み付け係数を選択し、この一の重み付け係数に基づいて、所定方向推定値と直交方向推定値との重み付け加算を行うようにしたものである。
【0030】
ここで、重み付け係数を上記式(5)により算出する場合、これを変動量SBについて解くと、
SB=((1-Sj)/Sj)*SA (9)
となる。これは重み付け係数Sjが一定であると、変動値SAと変動値SBとの関係は比例関係にあることを示している。したがって、変動値SAを所定方向変動値、変動値SBを直交方向変動値と対応させ、x軸を所定方向変動値、y軸を直交方向変動値とする2次元平面を設定すると、この2次元平面上においては、複数の重み付け係数はその重み付け係数に応じた傾きを有する原点を通る(厳密には原点を含まないが)直線として表されるものとなる。
【0031】
本発明においては、例えば重み付け係数に応じた傾きを有する複数の直線により、2次元平面を複数の領域に分割して、これを複数の重み付け係数に対する所定方向変動値および直交方向変動値の対応関係として求めてこれを記憶手段に記憶しておき、算出された所定方向変動値および直交方向変動値が上記2次元平面上のいずれの領域に含まれるかを判断し、これらが位置すると判断された領域に対応する重み付け係数を一の重み付け係数として選択することができる。
【0032】
したがって、本発明によれば、重み付け係数を求めるために、式(5)に示すように、所定方向変動値または直交方向変動値を所定方向変動値および直交方向変動値の加算値により除算する必要がなくなり、これにより、演算量を低減でき、演算を行うための回路の構成も簡易なものとすることができる。したがって、本発明を実施するための装置をデジタルカメラ等の小型の撮像装置や、スキャナ等の画像読取装置に搭載することが容易となる。
【0033】
また、重み付け係数が加算値に対する所定方向変動値または直交方向変動値の値が1/2(nは自然数)となるように設定されている場合、所定方向推定値および直交方向推定値を2進数で表すと、これらに1/2を乗算することは、値を右側にnビットシフトさせることと等価な演算を行っていることとなる。したがって、ビットシフトにより所定方向推定値および直交方向推定値の重み付け加算を行うことにより、演算を簡易に行って処理時間を短縮することができる。
【0034】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による画像処理装置の構成を示す概略ブロック図である。図1に示すように本発明の第1の実施形態による画像処理装置は、単板CCD1を構成する各光電変換素子において得られた信号値に対して補間処理を施して、全画素位置における信号値を求めるものであり、各信号値により構成される画像データS0に対して補間処理を施して、補間済み画像データS1を得る補間手段2を備える。補間手段2は、後述するようにして補間演算によりG信号QGを算出するG補間手段3と、R信号QRおよびB信号QBを算出するRB補間手段4と、G信号QG、R信号QRおよびB信号QBから後述する図3に示す空孔画素位置*の信号値を算出する市松正方補間手段5とを備える。なお、図1に示す単板CCD1においては、これを構成する光電変換素子からはアナログ信号が得られるものであるが、本実施形態における画像データS0は、アナログ信号をA/D変換したデジタル信号であり、なおかつこのデジタル信号は単板CCD1に入力する光量の0.45乗あるいは対数値となるように変換されているものとする。
【0035】
なお、本実施形態による画像処理装置は、デジタルカメラのような撮像装置やフイルムから画像を読み取るスキャナ等の読取装置に設けられるものであってもよく、これらの装置において得られた画像信号を再生するモニタやプリンタ等の再生装置に設けられるものであってもよい。また、画像処理装置単体として用いてもよい。
【0036】
図2は本実施形態において用いられる単板CCD1の画素配列を示す図である。図2(a)に示す画素配列は、y方向にR,Gチャンネルに対応する画素を交互に配列した第1のラインと、y方向にG,Bチャンネルに対応する画素を交互に配列した第2のラインとを、x方向に交互に配列したものであり、x方向における各ラインにおいてもR,GチャンネルおよびG,Bチャンネルが交互に配列された正方状の画素配列となっている。このような正方状の画素配列としては、図31に示すベイヤー配列が知られており、本実施形態においては図2(a)に示す画素配列をベイヤー配列と称するものとする。
【0037】
また、図2(b)に示す画素配列は、y方向にR,Bチャンネルに対応する画素を交互に配設したラインと、y方向にGチャンネルに対応する画素を配列したラインとを、各ラインの画素の配列間隔が他のラインの画素配列に対してy方向に略1/2相対的にずれるように配列したものであり、市松状の画素配列となっている。このような市松状の画素配列としては、上記特開平10−136391号に記載されたハニカム配列(図30)が知られており、本実施形態においては図2(b)に示す画素配列をハニカム配列と称するものとする。このハニカム配列は、x方向に対して45度傾斜した方向についてみれば、R,Gチャンネルの画素を交互に配列したラインと、同様に45度傾斜した方向にG,Bチャンネルの画素を交互に配列したラインとを、この方向に直交する方向に交互に配列したものとなっている。なお、ハニカム配列は図2(a)に示すようなベイヤー配列と画素の配列を45度回転させた関係となっている。また、ハニカム配列は上述したように市松状に画素が配列されてなるものであり、信号値を有さない空孔画素位置*を用いて図3に示すように正方状に表現することも可能である。本実施形態においては、図2(b)すなわち図3に示すハニカム配列の単板CCD1において得られた画像データS0に対して処理を行うものとして説明する。
【0038】
図4は、ハニカム配列の単板CCD1の画素位置を示す図であり、各画素位置に参照番号を付して示すものである。ここでは、図4の左上から右下に向かう方向、すなわち図4において画素がR00,G11,R22,G33,R44…と並ぶ方向(矢印A方向)を所定方向とし、この所定方向すなわち矢印A方向に直交する方向を矢印B方向とする。なお、本実施形態では画素位置に付与された参照番号を信号値の参照番号としても使用する。
【0039】
図5は、RB補間手段4の構成を示す概略ブロック図である。図5に示すように、RB補間手段4は、図4における矢印A方向について全画素位置でのR信号およびB信号(総称して信号Q1とする)を算出する第1補間手段11と、矢印B方向について全画素位置でのR信号およびB信号(総称して信号Q2とする)を算出する第2補間手段12と、矢印A方向および矢印B方向における信号値の変動量を表す値を変動値SA,SBとして算出する変動値算出手段13と、第1補間手段11および第2補間手段12において得られた信号Q1,Q2を重み付け補間する際の重み付け係数Sjに対する変動値SA,SBの対応関係を、複数の重み付け係数について記憶したメモリ14Aと、変動値算出手段13において算出された変動値SA,SBに基づいて、メモリ14Aに記憶された対応関係を参照して複数の重み付け係数から一の重み付け係数Sjを選択する重み付け係数選択手段14と、重み付け係数選択手段14において選択された重み付け係数Sjにより、第1補間手段11および第2補間手段において得られた信号Q1,Q2を重み付け加算してR信号QRおよびB信号QBを得る重み付け加算手段15とを備える。
【0040】
次いで、本実施形態のG補間手段3におけるG信号QGおよびRB補間手段4におけるR信号QR、B信号QBの算出について説明する。
【0041】
(1)まず、RおよびB画素位置におけるG信号の算出処理について説明する。このG信号の算出はG補間手段3において行われる。RおよびB画素位置におけるG信号は、その画素位置周辺のG画素位置において得られるG信号に対してスプライン補間演算を施すことにより算出することができる。図6はスプライン補間演算を行う2次元Cubicスプライン補間フィルタの例を示す図である。図6に示す2次元Cubicスプライン補間フィルタは、G信号を算出する画素位置の近傍16画素のG画素位置におけるG信号に対して補間演算を施すものである。したがって、図7において実線で囲んだR44画素位置でのG(R44)信号は、破線で囲んだその周囲の16のG画素位置(G11,G13,G15,G17,G31,G33,G35,G37,G51,G53,G55,G57,G71,G73,G75,G77)のG信号に対して、図6に示す2次元Cubicスプライン補間フィルタによりフィルタリング処理を施すことにより算出される。一方、B46画素位置でのG(B46)信号は、破線で囲んだその周囲のG画素位置(G13,G15,G17,G19,G33,G35,G37,G39,G53,G55,G57,G59,G73,G75,G77,G79)のG信号に対して、同様にフィルタリング処理を施すことにより算出される。これにより、補間前にG信号が有する周波数成分を損なうことなく補間を行うことができ、この結果、全ての画素位置において元の周波数情報を保持したG信号を得ることができる。
【0042】
ここで、補間演算の手法としては図4における縦横2次元方向における補間演算であれば、いかなる手法をも適用することができる。なお、G信号を算出する画素位置周辺のG画素位置において得られるG信号に対して単純な線形補間演算を施すことによりR、G画素位置におけるG信号を算出してもよい。例えば図7において実線で囲んだR44画素位置でのG(R44)信号およびB46画素位置でのG(B46)信号は、その周囲の4つのG画素位置におけるG信号を用いて下記の式(10)、(11)により算出してもよい。
【0043】
G(R44)=(G33+G35+G53+G55)/4 (10)
G(B46)=(G35+G37+G55+G57)/4 (11)
(2)次に、RB補間手段4におけるR信号QRおよびB信号QBの算出について説明する。まず、第1および第2補間手段11,12における信号Q1,Q2の算出について説明する。
【0044】
1まず、矢印A方向においてR,G画素が並ぶライン(以下第1のラインとする)におけるG画素位置での、矢印A方向についてのR信号の算出処理について説明する。この矢印A方向についての信号の算出は第1補間手段11において行われる。なお、以降の説明において、矢印A方向について算出された信号には参照符号に(A)を付し、矢印B方向について算出された信号には参照符号に(B)を付するものとする。また、矢印A方向にR,G画素が並ぶラインを第1のライン、矢印A方向にB,G画素が並ぶラインを第2のライン、矢印B方向にR,G画素が並ぶラインを第3のライン、矢印B方向にB,G画素が並ぶラインを第4のラインとする。
【0045】
第1のラインにおける矢印A方向についてのG画素位置におけるR信号の算出処理は、そのG画素位置が含まれる第1のライン上におけるR信号に対して1次元補間演算を施すことにより行われる。例えば、図8における実線で囲んだG33画素位置でのR(G33)A信号は、G33画素位置が存在する第1のライン上のG33画素位置周辺の4点のR画素(R00,R22,R44,R66)において得られるR信号に対して、下記の式(12)に示す1次元Cubicスプライン補間演算等の1次元補間演算を施すことにより算出される。
【0046】
R(G33)A=(-3*ROO+19*R22+19*R44-3*R66)/32 (12)
なお、第1のラインにおいて矢印A方向に隣接する2つのR画素位置におけるR22,R44信号を用いて下記の式(13)により算出してもよい。
【0047】
R(G33)A=(R22+R44)/2 (13)
また、補間演算の手法としてはこの第1のライン上の矢印A方向における1次元補間演算であれば、いかなる手法をも適用することができる。そしてこれにより第1のライン上のG画素位置におけるR信号を算出することができる。
【0048】
2次に、矢印A方向においてR,G画素が並ぶ第1のラインにおけるG画素位置での、矢印B方向についてのR信号の算出処理について説明する。この矢印B方向についての信号の算出は第2補間手段12において以下のようにして行われる。まず、R信号を算出するG画素位置に矢印A方向において隣接する画素位置を求める。例えば、ここでは図9に示す実線で囲んだG33画素位置でのR(G33)B信号を算出するものとすると、G33画素位置に隣接する画素位置は破線で囲んだR22画素位置およびR44画素位置となる。そしてこのR22画素位置におけるR22信号とG(R22)信号との差およびR44画素位置におけるR44信号とG(R44)信号との差の平均値を、G33画素位置におけるG33信号に加算し、その加算結果をG33画素位置におけるR(G33)B信号とする。
【0049】
ここで、R22信号のみを用いた場合、G33画素位置でのR(G33)B信号は下記の式(14)により算出される。
【0050】
R(G33)B=G33+(R22-G(R22)) (14)
なお、式(14)は画像の局所的な領域におけるR信号とG信号との差は等しいという前提により定められるものである。例えば、R22画素位置およびG33画素位置でのR信号とG信号との差が等しいとは、
R(G33)B-G33=R22-G(R22) (15)
の関係を満たすということであり、式(15)をR(G33)B信号について解いたものが式(14)となる。なお、式(14)においてG(R22)信号は、上記(1)の方法により算出されたものではなく、R22画素位置が存在する第3のライン上のG信号に対して、矢印B方向に下記の式(16)に示す線形補間演算や式(12)に示す1次元Cubicスプライン補間演算等の1次元補間演算を施すことにより算出したものである。したがって、G(R22)信号には参照符号Bが付されることとなる。
【0051】
G(R22)B=(G31+G13)/2 (16)
すなわち、式(14)では、画像の局所的な領域におけるR信号とG信号との差は等しいという前提により信号値を算出しており、信号値の算出に使用するのは矢印B方向においてG33画素位置が存在する第4のラインと、R22画素位置が存在する第3のラインである。これは、第3および第4のライン上にある画素値の相関関係に基づいて信号値を算出しているということであり、不明な信号値について矢印B方向における信号値の変化を反映させて信号値を算出する必要がある。2の処理において、R22信号のみを用いた場合、G33画素位置でのR(G33)B信号は上記式(15)に示す関係に基づいて算出されるが、G(R22)信号が不明であるため、これを推定する必要がある。ここで、式(15)は第3および第4のライン間における相関関係を表しているため、G(R22)信号を推定するには、第3のライン上において矢印B方向の信号値の変化を反映させる必要がある。この場合、上記(1)の方法により算出したG信号を使用することが考えられるが、このG信号は式(10)、(11)に示すように、別のラインの信号値を用いて算出しているものであるため、第3のライン上における矢印B方向の信号値の変化を反映したものではない。このため、矢印B方向の信号値の変化を反映させるために、式(16)のように第3のライン上において、矢印B方向についての1次元補間演算を行ってG(R22)B信号を算出しているものである。
【0052】
一方、R44信号のみを用いると、上記式(15)の関係に基づいて、G33画素位置でのR(G44)B信号は下記の式(17)により算出される。
【0053】
R(G33)B=G33+(R44-G(R44)B) (17)
なお、G(R44)B信号は式(16)と同様に算出される。ここで、本実施形態においては、式(14)あるいは(17)のいずれかによりR(G33)B信号を求めてもよいが、G画素位置の片側にのみ隣接する画素位置の信号値を用いたのでは、画像の位相がその方向に近寄ってしまう。これを防止するために、下記の式(18)に示すように、R信号を算出するG画素位置(例えばG33画素位置)の両隣の画素位置(R22,R44画素位置)におけるR信号とG信号との差の平均値を、R信号を算出するG画素位置におけるG信号に加算したものを、そのG画素位置におけるR信号としたものである。
【0054】
R(G33)B=G33+((R22-G(R22)B)+(R44-G(R44)B))/2 (18)
そしてこれにより、矢印B方向についてのG画素位置でのR(G33)B信号を算出することができる。
【0055】
3次に、矢印A方向においてB,G画素が並ぶ第2のラインにおけるG画素位置での、矢印A方向についてのR信号の算出処理について説明する。この矢印A方向についての信号の算出は第1補間手段11において行われる。まず、R信号を算出するG画素位置に矢印B方向において隣接する画素位置を求める。例えば、ここでは図10に示す実線で囲んだG35画素位置でのR(G35)A信号を算出するものとすると、G35画素位置に隣接する画素位置は破線で囲んだR26画素位置およびR44画素位置となる。そして上記2の処理と同様に、下記の式(19)に示すように、R26画素位置におけるR26信号とG(R26)A信号との差およびR44画素位置におけるR44信号とG(R44)A信号との差の平均値を、G35画素位置におけるG35信号に加算し、その加算結果をG35画素位置におけるR(G35)A信号とする。
【0056】
R(G35)A=G35+((R26-G(R26)A)+(R44-G(R44)A))/2 (19)
なお、G(R26)A信号およびG(R44)A信号は、R26およびR44画素位置が存在する第1のライン上におけるG信号に対して、矢印A方向に1次元補間演算を施すことにより算出したものである。そしてこれにより、矢印A方向についてのG画素位置でのR(G35)A信号を算出することができる。
【0057】
4次に、矢印A方向においてB,G画素が並ぶ第2のラインにおけるG画素位置での、矢印B方向についてのR信号の算出処理について説明する。この矢印B方向についての信号の算出は、第2補間手段12において、そのG画素位置が含まれる第3のライン上におけるR信号に対して、1次元補間演算を施すことにより行われる。例えば、図11における実線で囲んだG35画素位置でのR(G35)B信号は、G35画素位置が存在する第3のライン上におけるG35画素位置周辺の4点のR画素(R08,R26,R44,R62)において得られるR信号に対して、1の処理と同様に1次元補間演算を施すことにより算出される。1次元Cubicスプライン補間演算による算出の例を下記の式(20)に示す。
【0058】
R(G35)B=(-3*RO8+19*R26+19*R44-3*R62)/32 (20)
5次に、矢印A方向においてB,G画素が並ぶ第2のラインにおけるB画素位置での矢印A方向についてのR信号の算出処理について説明する。この矢印A方向についての信号の算出は第1補間手段11において行われる。まず、R信号を算出するB画素位置に矢印B方向において隣接する画素位置を求める。例えば、ここでは図12に示す実線で囲んだB24画素位置でのR(B24)A信号を算出するものとすると、B24画素位置に隣接する画素位置は破線で囲んだG15画素位置およびG33画素位置となる。そして上記2の処理と同様に、下記の式(21)に示すように、G15画素位置におけるR(G15)A信号とG15信号との差およびG33画素位置におけるR(G33)A信号とG33信号との差の平均値を、B24画素位置におけるG(B24)A信号に加算し、その加算結果をB24画素位置におけるR(B24)A信号とする。
【0059】
R(B24)A=G(B24)A+((R(G33)A-G33)+(R(G15)A-G15))/2 (21)
なお、R(G15)A信号およびR(G33)A信号は、G15およびG33画素位置が存在する第1のライン上におけるR信号に対して、矢印A方向に1次元補間演算を施すことにより算出したものであり、1の処理において算出したR信号そのものである。また、G(B24)A信号は、B24画素位置が存在する第2のライン上におけるG信号に対して矢印A方向に1次元補間演算を施すことにより算出したものである。そしてこれにより、矢印A方向についてのB画素位置でのR(B24)A信号を算出することができる。
【0060】
6次に、矢印A方向においてB,G画素が並ぶ第2のラインにおけるB画素位置での矢印B方向についてのR信号の算出処理について説明する。この矢印B方向についての信号の算出は第2補間手段12において行われる。まず、R信号を算出するB画素位置に矢印A方向において隣接する画素位置を求める。例えば、ここでは図13に示す実線で囲んだB24画素位置でのR(B24)B信号を算出するものとすると、B24画素位置に隣接する画素位置は破線で囲んだG13画素位置およびG35画素位置となる。そして上記2の処理と同様に、下記の式(22)に示すように、G13画素位置におけるR(G13)B信号とG13信号との差およびG35画素位置におけるR(G35)B信号とG35信号との差の平均値を、B24画素位置におけるG(B24)B信号に加算し、その加算結果をB24画素位置におけるR(B24)B信号とする。
【0061】
R(B24)B=G(B24)B+((R(G35)B-G35)+(R(G13)B-G13))/2 (22)
なお、R(G13)B信号およびR(G35)B信号は、G13およびG35画素位置が存在する第3のライン上におけるR信号に対して、矢印B方向に1次元補間演算を施すことにより算出したものであり、4の処理において算出したR信号そのものである。また、G(B24)B信号は、B24画素位置が存在する第4のライン上におけるG信号に対して、矢印B方向に1次元補間演算を施すことにより算出したものである。そしてこれにより、矢印B方向についてのB画素位置でのR(B24)B信号を算出することができる。
【0062】
以上、1の処理により、矢印A方向においてR,G画素が並ぶ第1のラインにおけるG画素位置での矢印A方向についてのR信号が算出され、2の処理により、矢印A方向においてR,G画素が並ぶ第1のラインにおけるG画素位置での矢印B方向についてのR信号が算出される。
【0063】
また、3の処理により、矢印A方向においてB,G画素が並ぶ第2のラインにおけるG画素位置での矢印A方向についてのR信号が算出され、4の処理により、矢印A方向においてB,G画素が並ぶ第2のラインにおけるG画素位置での矢印B方向についてのR信号が算出される。
【0064】
さらに、5の処理により、矢印A方向においてB,G画素が並ぶ第2のラインにおけるB画素位置での矢印A方向についてのR信号が算出され、6の処理により、矢印A方向においてB,G画素が並ぶ第2のラインにおけるB画素位置での矢印B方向についてのR信号が算出される。
【0065】
以上、各画素位置における矢印A,B両方向でのR信号の算出について説明したが、B信号についても上記1から6の処理において説明したようにR信号と同様にして算出することができる。
【0066】
変動値算出手段13は、後述する重み付け係数選択手段14において、1と2、3と4および5と6の処理により算出された矢印A,B方向の信号値を重み付け加算するための重み付け係数の算出に必要な変動値SA,SBを算出するものである。ここで、変動値SA,SBとは信号値を推定する画素位置において、信号値の変動量を表す値のことをいう。
【0067】
まず、1および2の処理により算出された矢印A,B方向のR信号の重み付け係数を算出するための変動値SA,SBの算出について説明する。この矢印A方向についての変動値SAおよび矢印B方向についての変動値SBは下記の式(23)、(24)により算出する。なお、ここでは1および2の処理と同様に、図8に示すG33画素位置での信号値の変動値SA,SBを算出するものとする。
【0068】
SA=|R(G33)A-G33| (23)
SB=|B(G33)B-G33| (24)
ここで、式(23)におけるR(G33)Aは1の処理において式(12)により算出された信号値、式(24)におけるB(G33)Bは第4のライン上のG33画素位置周辺の4点のB画素位置(B06,B24,B42,B60)において得られるB信号に対して、1次元補間演算を施すことにより算出された信号値である。このように算出された変動値SAは、G33画素位置の矢印A方向における信号値の変化を表し、変動値SBはG33画素位置の矢印B方向における信号値の変化を表す。
【0069】
次に、3および4の処理により算出された矢印A,B方向のR信号の重み付け係数を算出するための変動値の算出について説明する。この矢印A方向についての変動値SAおよび矢印B方向についての変動値SBは下記の式(25)、(26)により算出する。なお、ここでは3および4の処理と同様に、図10に示すG35画素位置での信号値の変動値を算出するものとする。
【0070】
SA=|B(G35)A-G35| (25)
SB=|R(G35)B-G35| (26)
ここで、式(25)におけるB(G35)Aは第2のライン上のG35画素位置周辺の4点のB画素位置(B02,B24,B46,B68)において得られるB信号に対して、1次元補間演算を施すことにより算出された信号値、式(26)におけるR(G35)Bは上記4の処理において式(20)により算出された信号値である。このように算出された変動値SAは、G35画素位置の矢印A方向における信号値の変化を表し、変動値SBはG35画素位置の矢印B方向における信号値の変化を表す。
【0071】
次に、5および6の処理により算出された矢印A,B方向のR信号の重み付け係数を算出するための変動値の算出について説明する。この矢印A方向についての変動値SAおよび矢印B方向についての変動値SBは下記の式(27)、(28)により算出する。なお、ここでは5および6の処理と同様に、図12、図13に示すB24画素位置での信号値の変動値を算出するものとする。
【0072】
SA=|B24-G(B24)A| (27)
SB=|B24-G(B24)B| (28)
ここで、式(27)におけるG(B24)Aは、上記5の処理においてB24画素位置が存在する第2のライン上のG信号に対して、矢印A方向に1次元補間演算を施すことにより算出した信号値、式(28)におけるG(B24)Bは、上記6の処理においてB24画素位置が存在する第4のライン上のG信号に対して、矢印B方向に1次元補間演算を施すことにより算出した信号値である。このように算出された変動値SAは、B24画素位置の矢印A方向における信号値の変化を表し、変動値SBはB24画素位置の矢印B方向における信号値の変化を表す。
【0073】
以上のように算出された変動値SA,SBは重み付け係数選択手段14に入力される。以下、重み付け係数選択手段14における重み付け係数の算出について説明する。本実施形態においては、基本的には下記の式(29)に示すように重み付け係数Sjが算出される。
【0074】
Sj=SA/(SA+SB) (if SA+SB=0 then Sj=0.5) (29)
なお、式(29)においてSA+SB=0となるのは、SA,SB≧0であることから、SA=SB=0の場合である。ここで、種々の演算を行う演算回路においては、演算が加算、減算および乗算のみである場合には、比較的少ない演算素子により回路を構成することができる。しかしながら、式(29)のように除算が含まれると、演算が複雑となるため多数の演算素子が必要となり回路の構成が複雑化するとともに、演算に長時間を要するものとなる。
【0075】
ここで、重み付け係数Sjを式(29)により算出する場合、これを変動量SBについて解くと、
SB=((1-Sj)/Sj)*SA (29′)
となる。これは重み付け係数Sjが一定であると、変動値SAと変動値SBとの関係は、比例関係にあることを示している。したがって、x軸を変動値SA、y軸を変動値SBとする2次元平面を設定すると、この2次元平面上においては、図14に示すように、重み付け係数Sjはその重み付け係数に応じた傾きを有する原点を通る(SA=SB=0すなわち原点を除く)直線として表されるものとなる。以下、この関係を用いて式(29)における除算処理の省略について説明する。
【0076】
図15は重み付け係数選択手段14における重み付け係数Sjの算出処理を説明するための図である。本実施形態においては、重み付け係数Sjが一定であると変動値SAと変動値SBとは比例関係にあり、SA−SB平面においては重み付け係数Sjはその値に応じた傾きを有する直線となる、ということを利用して、まず重み付け係数Sjを図14に示すようにSj=0,0.25,0.5,0.75,1.0の5段階に量子化する。そして、図15に示すようにSA−SB平面上においてSj=0,0.125,0.375,0.625,0.875,1を境界として5つの領域A1〜A5を設定し、各領域A1〜A5をそれぞれSj=0,0.25,0.5,0.75,1.0に対応付ける。ここで、Sj=0.125の場合SB=7SA、Sj=0.375の場合SB=5/3SA、Sj=0.625の場合SB=3/5SA、Sj=0.875の場合SB=1/7SAとなる。
【0077】
したがって、重み付け係数選択手段14に接続されたメモリ14Aに、図15に示す関係をテーブルとして記憶させておき、変動値SA,SBの値の関係に基づいてこのテーブルを参照することにより、式(29)に示すように除算を行うことなく重み付け係数Sjを求めることができる。例えば、算出された変動値SA,SBの値が3/5SA<SB≦5/3SAの関係、すなわち3SA<5SBかつ5SA≧3SBの関係にある場合には、変動値SA,SBは図15に示すグラフの領域A3にプロットされることから、重み付け係数をSj=0.5として求めることができる。また、7SA<SBの関係にある場合にはプロットは領域A1にあるためSj=0、5/3SA<SB≦7SAの関係、すなわち5SA<3SBかつ7SA≧SBの関係にある場合にはプロットは領域A2にあるためSj=0.25、1/7SA<SB≦3/5SAの関係、すなわちSA<7SBかつ3SA≧5SBの関係にある場合にはプロットは領域A4にあるためSj=0.75、SB≦1/7SAの関係、すなわちSA≧7SBの関係にある場合にはプロットは領域A5にあるためSj=1として求めることができる。
【0078】
なお、重み付け係数Sjはより細かく量子化した方が好ましいが、変動値SA,SBが存在する領域の判断のための演算時間を考慮すると、5段階程度であることが好ましい。本出願人の実験によれば、5段階に量子化したものであっても、十分に偽色低減効果が得られるものである。
【0079】
重み付け加算手段15においては、1と2、3と4および5と6のそれぞれの場合について、下記の式(30)〜(32)により信号値が算出される。なお、式(30)〜(32)は、それぞれ矢印A方向においてR,G画素が並ぶ第1のラインにおけるG33画素位置でのR(G33)信号、矢印A方向においてB,G画素が並ぶ第2のラインにおけるG35画素位置でのR(G35)信号、矢印A方向においてB,G画素が並ぶ第2のラインにおけるB24画素位置でのR(B24)信号を算出するものである。
【0080】
R(G33)=(1-Sj)*R(G33)A+Sj*R(G33)B (30)
R(G35)=(1-Sj)*R(G35)A+Sj*R(G35)B (31)
R(B24)=(1-Sj)*R(B24)A+Sj*R(B24)B (32)
なお、信号Q1、Q2を用いた一般式を式(33)に示す。
【0081】
QR,QB=(1-Sj)*Q1+Sj*Q2 (33)
これにより、信号値の変化が少ない方向ほど大きな重み付けがなされて、R、B信号QR,QBが算出されることとなる。
【0082】
ここで、例えばR44画素におけるB(R44)信号の算出は、重み付け係数Sj=0.5とした場合、
B(R44)=(1-Sj)*B(R44)A+Sj*B(R44)B=0.5*B(R44)A+0.5*B(R44)B (34)
として算出されるが、本実施形態においては、Sjまたは1−Sj=1/2(nは自然数)となるように重み付け係数が設定されているため、下記の式(35)のように、ビットシフトを用いて整数化して演算を行うことも可能である。
【0083】
B(R44)=(B(R44)A+B(R44)B+1)>>1 (35)
ここで、>>1は信号値を2進数で表した際に、右側に1ビットシフトさせることを表す。このように、右側に1ビットシフトさせることにより、信号値は1/2倍されるため、式(34)と等価な演算を行っていることとなる。なお、式(35)において1を加算しているのは、演算結果を四捨五入するためである。
【0084】
なお、図2(a)に示すベイヤー配列の単板CCD1においては画素配列を45度回転させると、その画素配列は図2(b)に示すハニカム配列と空孔画素位置*を除けば同様のものとなる。したがって、上記の説明において、矢印A方向を図2における紙面上下方向、矢印B方向を図2における紙面左右方向とすることにより、ベイヤー配列の場合もハニカム配列の場合と同様に、全画素位置におけるRGB信号を算出することができる。
【0085】
このようにして、全ての画素位置においてRGB全ての信号値QR,QG,QBが得られると、市松正方補間手段5において、図3における空孔画素位置*でのRGB信号値を補間演算により算出して、画素が正方状に配列されてなる補間済み画像データS1を得る。この補間演算は、図16に示すような空孔画素位置*周辺の4画素位置の信号値を用いた補間フィルタや、図17に示すように4×4画素についての2次元Cubicスプライン補間演算を行う補間フィルタの補間係数の配置を45度傾斜させた補間係数の配置を有する補間フィルタを用いて補間演算を行うことにより求めることができる。なお、この空孔画素位置*における信号値を算出するための補間演算を市松正方補間演算とする。また、補間演算についてはこれらに限定されるものではなく、上述したように求められた各画素位置におけるRGB信号をYCC輝度色差空間に変換し、YCC毎に異なる補間フィルタによる補間演算を施す等、空孔画素位置*における信号値を算出するための補間演算であればいかなる方法をも採用可能である。
【0086】
次いで、第1の実施形態の動作について説明する。図18は第1の実施形態の動作を示すフローチャートである。まず、被写体を撮影して単板CCD1において画像データS0を得る(ステップS1)。次いで、補間手段2のG補間手段3において、上記(1)の処理により所定方向におけるRまたはB画素位置におけるG信号QGが算出される(ステップS2)。そして、補間手段2において、算出する信号をR信号にセットし(ステップS3)、RB補間手段4においてR信号QRが算出される(ステップS4)。
【0087】
図19はステップS4の処理を示すフローチャートである。まず、上記処理1および2により信号値を算出し(ステップS11)、ステップS3および4により信号値を算出し(ステップS12)、処理5および6により信号値を算出する(ステップS13)。そして、変動値算出手段13において、上記式(23)、(24)等に示すように変動値SA,SBを算出する(ステップS14)。そして、変動値SA,SBは重み付け係数選択手段14に入力されて、ここで重み付け係数Sjが選択され、ステップS11,S12,S13の処理により算出された信号値が重み付け加算されて、R信号QRが算出される(ステップS15)。
【0088】
図20はステップS15の処理を示すフローチャートである。なお、図20はビットシフトを用いての重み付け係数Sjの算出および重み付け加算の動作を示すものである。また、図20においては、R44画素位置におけるB(R44)信号の算出を表すものである。まず、変動値SA,SBの和が0であるか否かが判断される(ステップS21)。ステップS21が肯定されると、SA=SB=0.5としてビットシフトを用いて、式(35)によりB(R44)信号が算出される(ステップS22)。
【0089】
B(R44)=(B(R44)A+B(R44)B+1)>>1 (35)
ステップS21が否定されると、SA≧7SBであるか否かが判断される(ステップS23)。ステップS23が肯定されると、変動値SA,SBの関係は図15の領域A5にあることからSj=1とされ、下記の式(36)によりB(R44)信号が算出される(ステップS24)。
【0090】
B(R44)=B(R44)B (36)
ステップS23が否定されると、3SA≧5SBであるか否かが判断される(ステップS25)。ステップS25が肯定されると、変動値SA,SBの関係は図15の領域A4にあることからSj=0.75とされ、下記の式(37)によりB(R44)信号が算出される(ステップS26)。
【0091】
B(R44)=(B(R44)A+3B(R44)B+2)>>2 (37)
ステップS25が否定されると、5SA≧3SBであるか否かが判断される(ステップS27)。ステップS27が肯定されると、変動値SA,SBの関係は図15の領域A3にあることからSj=0.5とされ、式(35)によりB(R44)信号が算出される(ステップS28)。
【0092】
ステップS27が否定されると、7SA≧SBであるか否かが判断される(ステップS29)。ステップS29が肯定されると、変動値SA,SBの関係は図15の領域A2にあることからSj=0.25とされ、下記の式(38)によりB(R44)信号が算出される(ステップS30)。
【0093】
B(R44)=(3*B(R44)A+B(R44)B+2)>>2 (38)
そして、ステップS29が否定されると、変動値SA,SBの関係は図15の領域A1にあることからSj=0とされ、下記の式(39)によりB(R44)信号が算出される(ステップS31)。
【0094】
B(R44)=B(R44)A (39)
図18に戻り、R,B全ての信号を算出したか否かが判断され(ステップS5)、ステップS5が否定された場合には、ステップS6において算出する信号をB信号にセットし、ステップS4に戻ってステップS4,S5の処理を繰り返してB信号QBが算出される。
【0095】
ステップS5が肯定されると、空孔画素位置以外の全ての画素位置においてRGB信号QR,QG,QBが算出されたとして、市松正方補間手段5において、各画素の信号値に対して図16あるいは図17に示す補間フィルタによる市松正方補間演算を行って、空孔画素位置における信号値を算出し(ステップS7)、処理を終了する。
【0096】
そしてこれにより、図2(b)に示すハニカム配列による単板CCD1の空孔画素位置を含む全画素位置におけるRGB信号を得ることができ、全画素位置においてRGB信号を有する補間済み画像データS1を得ることができる。
【0097】
なお、図18に示すフローチャートのステップS3においては、算出する信号をR信号にセットしているが、先にB信号にセットしてもよい。この場合、ステップS5が否定されるとステップS6において、算出する信号がB信号からR信号に切り替えられることとなる。
【0098】
このように、第1の実施形態によれば、重み付け係数Sjを算出する際に除算を行わないため、重み付け係数Sjの算出を行う回路の構成を簡易なものとすることができ、その結果、本実施形態を実施するための装置の構成を簡易なものとすることができるとともに、演算時間も短縮することができる。また、ビットシフトを行うことにより、整数値にて演算を行うことができるため、演算を簡易に行って処理時間を短縮することができる。したがって、本発明を実施するための装置をデジタルカメラ等の撮像装置やスキャナ等の画像読取装置、あるいはプリンタ等に搭載することが容易となり、これにより高機能の装置を作成することができる。
【0099】
なお、上記第1の実施形態においては、ビットシフトを用いて重み付け加算を行っているが、重み付け係数選択手段14において算出された重み付け係数Sjを用いて、ビットシフトを行うことなく、重み付け加算手段15において、上記式(33)に示す重み付け加算を行うようにしてもよい。
【0100】
次いで、本発明の第2の実施形態について説明する。図21は本発明の第2の実施形態による画像処理装置のRB補間手段の構成を示す概略ブロック図である。なお、図21において図5と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第2の実施形態においては、信号値を推定する画素位置がグレーエッジにあるか色エッジにあるか否かを判定する判定手段10と、判定手段10における判定結果を表す判定情報Hに基づいて、矢印A方向および矢印B方向における信号値の変動量を表す値を変動値SA,SBとして算出する変動値算出手段23とを備えた点が第1の実施形態と異なるものである。
【0101】
判定手段10は、以下のようにして信号値を推定する画素位置がグレーエッジにあるか色エッジにあるかを判定する。図22は赤(R)および緑(G)からなる色エッジの例を示す図、図23は白および黒からなるグレーエッジの例を示す図である。なお、図22,23においては、信号値が0の画素位置を白抜きで示し、それ以外の画素は信号値が255であるものとして説明する。また、ここではR44画素位置での判定について説明する。まず、判定手段10は、下記の式(40)から(43)により、エッジの判断値Dat1〜Dat4を求める。
【0102】
Dat1=|R44-G33|+|R44-G55|+|G35-B24|+|G35-B46| (40)
Dat2=|R44-G33|+|R44-G55|+|G53-B42|+|G53-B64| (41)
Dat3=|R44-G35|+|R44-G53|+|G33-B24|+|G33-B42| (42)
Dat4=|R44-G35|+|R44-G53|+|G55-B46|+|G55-B64| (43)
ここで、式(40)は矢印A方向において、R44画素位置の右上部分のエッジの色を判断するための判断値Dat1を算出するものであり、式(41)は矢印A方向において、R44画素位置の左下部分のエッジの色を判断するための判断値Dat2を算出するものである。また、式(42)は矢印B方向において、R44画素位置の左上部分のエッジの色を判断するための判断値Dat3を算出するものであり、式(43)は矢印B方向において、R44画素位置の右下部分のエッジの色を判断するための判断値Dat4を算出するものである。
【0103】
信号値を推定する画素位置がグレーエッジにある場合は、上記判断値Dat1〜Dat4のうちいずれか1つは必ず値が小さくなる。例えば、図23に示すグレーエッジの場合、上記式(40)〜(43)において算出される判断値Dat1〜Dat4において、判断値Dat1およびDat2が0となる。一方、信号値を推定する画素位置が図22に示すような色エッジにある場合は、上記判断値Dat1〜Dat4のいずれの値も大きくなる。したがって、判断値Dat1〜Dat4の最小値Dminを予め定められた閾値Tと比較し、最小値Dminが閾値T以下である場合、すなわち、
Dmin=min(Dat1,Dat2,Dat3,Dat4)≦T (44)
である場合には、その画素位置をグレーエッジであると判定し、それ以外の場合、すなわち、
Dmin=min(Dat1,Dat2,Dat3,Dat4)>T (45)
である場合には色エッジであると判定する。ここで、閾値Tの値としては、信号値が8ビットで表される場合128程度の値とする。そして、判定手段10はこの判定結果を判定情報Hとして変動値算出手段23に入力する。
【0104】
変動値算出手段23においては、判定情報Hに基づいて以下のようにして、変動値SA,SBが算出される。まず、1および2の処理により算出された矢印A,B方向のR信号の重み付け係数を算出するための変動値SA,SBの算出について説明する。判定情報Hにより信号値を算出する画素位置が色エッジにあると判定された場合、矢印A方向についての変動値SAおよび矢印B方向についての変動値SBを下記の式(46)、(47)により算出する。なお、ここでは1および2の処理と同様に、図8に示すG33画素位置での信号値の変動値SA,SBを算出するものとする。
【0105】
SA=|R(G33)A-G33|/(R(G33)A+G33) (46)
SB=|B(G33)B-G33|/(B(G33)B+G33) (47)
一方、判定情報Hにより信号値を算出する画素位置がグレーエッジにあると判定された場合、第1の実施形態と同様に、変動値SAおよび変動値SBを、式(46)、(47)の分母を省略した式(23)、(24)により算出する。
【0106】
SA=|R(G33)A-G33| (23)
SB=|B(G33)B-G33| (24)
次に、3および4の処理により算出された矢印A,B方向のR信号の重み付け係数を算出するための変動値の算出について説明する。
【0107】
まず、判定情報Hにより信号値を算出する画素位置が色エッジにあると判定された場合、矢印A方向についての変動値SAおよび矢印B方向についての変動値SBを下記の式(48)、(49)により算出する。なお、ここでは3および4の処理と同様に、図10に示すG35画素位置での信号値の変動値を算出するものとする。
【0108】
SA=|B(G35)A-G35|/(B(G35)A+G35) (48)
SB=|R(G35)B-G35|/(R(G35)B+G35) (49)
一方、判定情報Hにより信号値を算出する画素位置がグレーエッジにあると判定された場合、変動値SAおよび変動値SBを式(48)、(49)の分母を省略した式(25)、(26)により算出する。
【0109】
SA=|B(G35)A-G35| (25)
SB=|R(G35)B-G35| (26)
次に、5および6の処理により算出された矢印A,B方向のR信号の重み付け係数を算出するための変動値の算出について説明する。
【0110】
まず、判定情報Hにより信号値を算出する画素位置が色エッジにあると判定された場合、矢印A方向についての変動値SAおよび矢印B方向についての変動値SBを下記の式(50)、(51)により算出する。なお、ここでは5および6の処理と同様に、図12、図13に示すB24画素位置での信号値の変動値を算出するものとする。
【0111】
SA=|B24-G(B24)A|/(B24+G(B24)A) (50)
SB=|B24-G(B24)B|/(B24+G(B24)B) (51)
一方、判定情報Hにより信号値を算出する画素位置がグレーエッジにあると判定された場合、変動値SAおよび変動値SBを式(50)、(51)の分母を省略した式(27)、(28)により算出する。
【0112】
SA=|B24-G(B24)A| (27)
SB=|B24-G(B24)B| (28)
ここで、色エッジおよびグレーエッジの場合における変動値SA,SBの算出方法の差異について説明する。図24は変動値SA,SBの算出方法の差異を説明するための図である。図24に示す画素配列においては白(信号値が255)および黒(信号値が0または0に近い値)のグレーエッジが表されているものとする。なお、ここではR44画素におけるB(R44)信号の算出について説明する。まず、矢印A方向について、下記の式(52)によりR44画素位置のB(R44)A信号を求める。
【0113】
B(R44)A=G(R44)A+((B(G35)A-G35)+(B(G53)A-G53))/2
=0+((2-0)+(255-255))/2=1 (52)
但し、G(R44)A=0,B(G35)A=2,B(G53)A=255であり、これらの値の算出には、式(12)、(20)に示すような1次元Cubicスプライン補間演算を用いた。
【0114】
また、矢印B方向について、下記の式(53)によりR44画素位置のB(R44)B信号を求める。
【0115】
B(R44B)=G(R44)B+((B(G33)B-G33)+(B(G55)B-G55))/2
=103+((105-0)+(105-0))/2=208 (53)
但し、G(R44)B≒103,B(G33)B≒105,B(G55)B≒105であり、これらの値の算出には、式(12)、(20)に示すような1次元Cubicスプライン補間演算を用いた。
【0116】
そして、下記の式(54)により変動値SA,SBを求め、式(55)によりB(R44)A信号とB(R44)B信号とを重み付け加算するための重み付け係数Sjを算出する。
【0117】
SA=|R44-G(R44)A|/(R44+G(R44)A)=|1-0|/(1+0)=1
SB=|R44-G(R44)B|/(R44+G(R44)B)=|1-103|/(1+103)≒0.98 (54)
Sj=SA/(SA+SB)=1/(1+0.98)≒0.5 (55)
このように重み付け係数Sjが求められると、下記の式(56)によりB(R44)信号を算出する。
【0118】
B(R44)=(1-Sj)*B(R44)A+Sj*B(R44)B=0.5*1+0.5*208≒105 (56)
ここで、R44画素位置は黒いエッジ上にあるため、B(R44)信号の値は0に近い値であることが好ましい。しかしながら、上記式(54)、(55)に示すように重み付け係数Sjを算出して式(56)によりB(R44)信号の値を求めるとその値は105となるため、ここに偽色が発生することとなる。これは、矢印A方向において信号値の変動が少ないほど重み付け係数Sjの値は0に近くなるが、信号値を算出する画素位置周辺の画素位置における信号値によっては、式(56)に示すように、重み付け係数Sjが0に近い値とならない場合があるからである。
【0119】
一方、第2の実施形態においては、信号値を算出する画素位置がグレーエッジにある場合には、式(54)において分母を省略して変動値SA,SBを算出するものであり、R44画素位置においてそのように変動値SA,SBを算出すると、
SA=|R44-G(R44)A|=|1-0|=1
SB=|R44-G(R44)B|=|1-103|=102 (57)
となり、重み付け係数Sjは、
Sj=SA/(SA+SB)=1/(1+102)≒0.01 (58)
となる。このように算出された重み付け係数SjによりB(R44)信号を算出すると、
B(R44)=(1-Sj)*B(R44)A+Sj*B(R44)B=0.99*1+0.01*208≒2.99 (59)
となる。これにより、B(R44)信号は0に近い値となり、その結果偽色を低減することができる。
【0120】
一方、色エッジであると判定された場合に、式(57)により変動値SA,SBを算出しても偽色を低減できるが、エッジ付近における細かな色味がなくなってしまうため、画像が不自然なものとなる。したがって、第2の実施形態においては、信号値を算出する画素位置がグレーエッジであるか色エッジであるかに応じて、変動値SA,SBの算出方法を変更するようにしたものである。
【0121】
なお、第2の実施形態においては、変動値算出手段23において、色エッジである場合の変動値SA,SBの算出は、上記式(46)、(47)等により行っているが、これらの式においては除算が含まれるため、演算量を低減させるためには、除算を行わないことが好ましい。この場合、変動値SA,SBの比率が変わらなければ重み付け係数Sjの算出に支障はない。したがって、上記式(46)、(47)の場合、右辺に(R(G33)A+G33)*(B(G33)B+G33)を乗算し、下記の式(46′)、(47′)により、変動値SA,SBを算出することが好ましい。
【0122】
SA=|R(G33)A-G33|*(B(G33)B+G33) (46′)
SB=|B(G33)B-G33|*(R(G33)A+G33) (47′)
なお、上記式(48)、(49)については、(B(G35)A+G35)*(R(G35)B+G35)を乗算して、下記の式(48′)、(49′)により変動値SA,SBを算出すればよい。
【0123】
SA=|B(G35)A-G35|*(R(G35)B+G35) (48′)
SB=|R(G35)B-G35|*(B(G35)A+G35) (49′)
また、上記式(50)、(51)については、(B24+G(B24)A)*(B24+G(B24)B)を乗算して、下記の式(50′)、(51′)により変動値SA,SBを算出すればよい。
【0124】
SA=|B24-G(B24)A|*(B24+G(B24)B) (50′)
SB=|B24-G(B24)B|*(B24+G(B24)A) (51′)
次いで、第2の実施形態の動作について説明する。なお、第2の実施形態の動作は基本的には図18に示す第1の実施形態の動作と同一であり、図18におけるステップS4における処理のみが異なるものであるため、ここではステップS4における信号算出処理についてのみ説明する。図25は第2の実施形態における信号算出処理の動作を示すフローチャートである。まず、第1の実施形態と同様に処理1および2による信号値の算出(ステップS41)、処理3および4による信号値の算出(ステップS42)、処理5および6による信号値の算出(ステップS43)が行われる。
【0125】
一方、判定手段10においては、信号値を算出する画素位置がグレーエッジにあるか否かが判定され(ステップS44)、その判定結果を表す判定情報Hが変動値算出手段23に入力される。変動値算出手段23においては、信号値を算出する画素位置がグレーエッジにある場合には、上記式(23)、(24)等に示すようにグレーエッジ用の変動値SA,SBを算出する(ステップS45)。逆に色エッジである場合には、上記式(46′)、(47′)等に示すように色エッジ用の変動値SA,SBを算出する(ステップS46)。そして、変動値SA,SBは重み付け係数選択手段14に入力されて、第1の実施形態と同様に、メモリ14Aに記憶されたテーブルを参照して重み付け係数Sjが選択され、ステップS11,S12,S13の処理により算出された信号値がビットシフトを用いて重み付け加算されて、R信号QRが算出される(ステップS47)。なお、ビットシフトを行うことなく、上記式(33)に示す重み付け加算を行うようにしてもよいことはもちろんである。
【0126】
このように、第2の実施形態によれば、信号値を算出する画素位置がグレーエッジにあるか色エッジにあるかを判定し、判定結果に応じて重み付け係数Sjを算出するための変動値SA,SBの算出方法を変更するようにしたため、信号値を算出する画素位置がグレーエッジにある場合であっても、偽色を低減できる。また、信号値を算出する画素位置が色エッジにある場合には、エッジ付近における細かい色味を残して自然な感じとなる画像を得ることができる。
【0127】
ここで、単板CCD1を使用した撮像装置においては、偽色を低減するために、画像データを得るための撮像系において、光学ローパスフィルタを用いる必要がある。図26はハニカム配列の単板CCDを用いたデジタルカメラの撮像系を示す図、図27はハニカム配列の単板CCDにおいて得られた信号値の周波数特性を示す図である。なお、図27ではfs/2がナイキスト周波数であり、図27(a)における実線は従来の処理により再現可能な周波数帯域、図27(b)における実線は本実施形態の処理により再現可能な周波数帯域をそれぞれ示している。図26に示すように、デジタルカメラの撮像系は被写体から順に撮影レンズ31、光学ローパスフィルタ32およびハニカム配列の単板CCD33が配列されてなる。なお、光軸をXで示す。上記特開平10−20906号、同10−136391号等に記載された方法においては、偽色の低減効果が不十分であるため、図27(a)に示す実線より外側の周波数帯域をカットするための帯域の狭い光学ローパスフィルタ32を使用する必要がある。しかしながら、このような帯域の狭い光学ローパスフィルタを使用すると、得られる画像の解像度が低下する。また、このような周波数帯域の狭い光学ローパスフィルタ32を作成するには、中心波長630〜785nm程度の1/4波長板を図28(a)に示すように3枚張り合わせる必要があるため、撮像系の構成が大型化する。
【0128】
本発明によれば、従来の方法と比較して偽色を低減することができるため、光学ローパスフィルタ32の周波数帯域を図27(b)に示すように広げることができ、これにより、単板CCD33において得られる画像データS0により表される画像の解像度を向上させることができる。また、図28(b)に示すように2枚の1/4波長板を張り合わせることにより、図27(b)に示す特性を得ることができるため、撮像系を小型化することができる。
【0129】
なお、上記第1および第2の実施形態においては単板CCD1として、G画素がR,B画素に対して倍の密度を有するものについて説明したが、R画素がG,B画素に対して、あるいはB画素がR,G画素に対して倍の密度を有するものであってもよい。また、R,G,Bに対して分光感度を有するものについて説明したが、単板CCD1としてはこれに限定されるものではなく、Y(イエロー)、G(グリーン)、C(シアン)に対して分光感度を有するもの、あるいはY、W(ホワイト)、Cに対して分光感度を有するものであってもよい。
【0130】
また、上記第1および第2の実施形態においては、3色全ての信号値を算出しているが、1色または2色のみの信号値を算出するようにしてもよい。
【0131】
さらに、上記第1および第2の実施形態においては、式(29)により重み付け係数Sjを算出するものとしているが、下記の式(60)により重み付け係数Sjを算出するものとしてもよい。
【0132】
Sj=SB/(SA+SB) (if SA+SB=0 then Sj=0.5) (60)
この場合、重み付け係数Sjと変動値SA,SBとの対応関係は、図29に示すようにx軸方向に変動値SB、y軸方向に変動値SAとした2次元平面上において規定されることとなる。
【0133】
また、この場合、R、B信号QR、QBは、下記の式(61)により算出される。
【0134】
QR,QB=Sj*Q1+(1-Sj)*Q2 (61)
【図面の簡単な説明】
【図1】本発明の第1の実施形態による画像処理装置の構成を示す概略ブロック図
【図2】単板CCDにおける画素配列を示す図
【図3】ハニカム配列の単板CCDの画素配列を示す図
【図4】ハニカム配列の単板CCDの各画素位置を参照番号を付して示す図
【図5】RB補間手段の構成を示す概略ブロック図
【図6】 Cubicスプライン補間フィルタの例を示す図
【図7】信号値の算出を説明するための図(その1)
【図8】信号値の算出を説明するための図(その2)
【図9】信号値の算出を説明するための図(その3)
【図10】信号値の算出を説明するための図(その4)
【図11】信号値の算出を説明するための図(その5)
【図12】信号値の算出を説明するための図(その6)
【図13】信号値の算出を説明するための図(その7)
【図14】変動値SA,SBと重み付け係数Sjとの関係を示す図
【図15】第1の実施形態の処理を説明するための図
【図16】市松正方フィルタの例を示す図(その1)
【図17】市松正方フィルタの例を示す図(その2)
【図18】第1の実施形態の動作を示すフローチャート
【図19】信号算出処理の動作を示すフローチャート
【図20】ビットシフトを用いた重み付け加算処理の動作を示すフローチャート
【図21】本発明の第2の実施形態による画像処理装置におけるRB補間手段の構成を示す概略ブロック図
【図22】赤(R)および緑(G)からなる色エッジの例を示す図
【図23】グレーエッジの例を示す図
【図24】変動値SA,SBの算出方法の差異を説明するための図
【図25】第2の実施形態における信号算出処理の動作を示すフローチャート
【図26】ハニカム配列の単板CCDを用いたデジタルカメラの撮像系を示す図
【図27】ハニカム配列の単板CCDにおいて得られた信号値の周波数特性を示す図
【図28】光学ローパスフィルタの配置を示す図
【図29】変動値SA,SBと重み付け係数Sjとの関係を示す図
【図30】ハニカム配列を示す図
【図31】ベイヤー配列を示す図
【図32】ベイヤー配列の画素位置を参照番号を付して示す図
【図33】ハニカム配列の画素位置を参照番号を付して示す図
【符号の説明】
1 単板CCD
2 補間手段
3 G補間手段
4 RB補間手段
5 市松正方補間手段
10 判定手段
11 第1補間手段
12 第2補間手段
13,23 変動値算出手段
14 重み付け係数選択手段
15 重み付け加算手段
31 撮影レンズ
32 光学ローパスフィルタ

Claims (6)

  1. 異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、前記所定方向と直交する直交方向において前記第1および前記第2の光電変換素子が交互に、かつ前記第1および前記第3の光電変換素子が交互に配置されるよう、前記第1および前記第2ラインを前記直交方向に交互に配置することにより、第1から第3画素からなる前記撮像面が形成された撮像デバイスにおいて得られた第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する画像処理方法において、
    前記所定方向についての信号値の推定値である所定方向推定値および前記直交方向についての信号値の推定値である直交方向推定値を算出し、
    前記所定方向についての信号値の変動量を表す所定方向変動値および前記直交方向についての信号値の変動量を表す直交方向変動値を算出し、
    前記所定方向変動値および前記直交方向変動値の加算値に対する前記所定方向変動値または前記直交方向変動値の比率を、前記所定方向推定値および前記直交方向推定値を重み付け加算する際の重み付け係数として算出するに際し、
    前記重み付け係数が一定であるとした場合の前記所定方向変動値と前記直交方向変動値とが比例関係にあることに基づいて、所定方向変動値および直行方向変動値により規定される2次元平面上に、複数の重み付け係数のそれぞれを傾きとする複数の直線を設定し、該2次元平面上に該複数の直線のそれぞれを基準とする複数の傾きの範囲を設定することにより生成した、各種所定方向変動値および各種直行方向変動値に対する重み付け係数を決定するためのテーブルを参照して、前記所定方向変動値および前記直交方向変動値に基づいて、前記複数の重み付け係数から一の重み付け係数を選択し、
    該一の重み付け係数に基づいて、前記所定方向推定値および前記直交方向推定値を重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定することを特徴とする画像処理方法。
  2. 前記テーブルにおける前記複数の重み付け係数が、前記加算値に対する前記所定方向変動値または前記直交方向変動値の比率が1/2(nは自然数)となるように設定されてなり、
    前記重み付け加算を、前記選択された一の重み付け係数に基づくビットシフトにより行うことを特徴とする請求項1記載の画像処理方法。
  3. 異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、前記所定方向と直交する直交方向において前記第1および前記第2の光電変換素子が交互に、かつ前記第1および前記第3の光電変換素子が交互に配置されるよう、前記第1および前記第2ラインを前記直交方向に交互に配置することにより、第1から第3画素からなる前記撮像面が形成された撮像デバイスにおいて得られた第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する画像処理装置において、
    前記所定方向についての信号値の推定値である所定方向推定値および前記直交方向についての信号値の推定値である直交方向推定値を算出する推定値算出手段と、
    前記所定方向についての信号値の変動量を表す所定方向変動値および前記直交方向についての信号値の変動量を表す直交方向変動値を算出する変動値算出手段と、
    前記所定方向変動値と前記直交方向変動値との加算値に対する前記所定方向変動値または前記直交方向変動値の比率を、前記所定方向推定値および前記直交方向推定値を重み付け加算する際の重み付け係数として算出するに際し、前記重み付け係数が一定であるとした場合の前記所定方向変動値と前記直交方向変動値とが比例関係にあることに基づいて、所定方向変動値および直行方向変動値により規定される2次元平面上に、複数の重み付け係数のそれぞれを傾きとする複数の直線を設定し、該2次元平面上に該複数の直線のそれぞれを基準とする複数の傾きの範囲を設定することにより生成した、各種所定方向変動値および各種直行方向変動値に対する重み付け係数を決定するためのテーブルを記憶した記憶手段と、
    前記所定方向変動値および前記直交方向変動値に基づいて、前記テーブルを参照して前記複数の重み付け係数から一の重み付け係数を選択する重み付け係数選択手段と、
    該一の重み付け係数に基づいて、前記所定方向推定値および前記直交方向推定値を重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定する重み付け加算手段とを備えたことを特徴とする画像処理装置。
  4. 前記テーブルにおける前記複数の重み付け係数が、前記加算値に対する前記所定方向変動値または前記直交方向変動値の比率が1/2(nは自然数)となるように設定されてなり、
    前記重み付け加算手段は、前記重み付け加算を、前記選択された一の重み付け係数に基づくビットシフトにより行う手段であることを特徴とする請求項3記載の画像処理装置。
  5. 異なる分光感度を有する第1から第3の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第1および前記第2の光電変換素子を所定方向に交互に配置して第1ラインを形成し、前記第1および前記第3の光電変換素子を前記所定方向に交互に配置して第2ラインを形成し、前記所定方向と直交する直交方向において前記第1および前記第2の光電変換素子が交互に、かつ前記第1および前記第3の光電変換素子が交互に配置されるよう、前記第1および前記第2ラインを前記直交方向に交互に配置することにより、第1から第3画素からなる前記撮像面が形成された撮像デバイスにおいて得られた第1から第3信号値に基づいて、全画素位置における前記第1から第3信号値のうち少なくとも1つの信号値を推定する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
    前記プログラムは、前記所定方向についての信号値の推定値である所定方向推定値および前記直交方向についての信号値の推定値である直交方向推定値を算出する手順と、
    前記所定方向についての信号値の変動量を表す所定方向変動値および前記直交方向についての信号値の変動量を表す直交方向変動値を算出する手順と、
    前記所定方向変動値および前記直交方向変動値の加算値に対する前記所定方向変動値または前記直交方向変動値の比率を、前記所定方向推定値および前記直交方向推定値を重み付け加算する際の重み付け係数として算出するに際し、
    前記重み付け係数が一定であるとした場合の前記所定方向変動値と前記直交方向変動値とが比例関係にあることに基づいて、所定方向変動値および直行方向変動値により規定される2次元平面上に、複数の重み付け係数のそれぞれを傾きとする複数の直線を設定し、該2次元平面上に該複数の直線のそれぞれを基準とする複数の傾きの範囲を設定することにより生成した、各種所定方向変動値および各種直行方向変動値に対する重み付け係数を決定するためのテーブルを参照して、前記所定方向変動値および前記直交方向変動値に基づいて、前記複数の重み付け係数から一の重み付け係数を選択する手順と、
    該一の重み付け係数に基づいて、前記所定方向推定値および前記直交方向推定値を重み付け加算して、前記第1から第3信号値のうち少なくとも1つの信号値を推定する手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
  6. 前記テーブルにおける前記複数の重み付け係数が、前記加算値に対する前記所定方向変動値または前記直交方向変動値の比率が1/2(nは自然数)となるように設定されてなり、
    前記重み付け加算を行う手順は、前記重み付け加算を、前記選択された一の重み付け係数に基づくビットシフトにより行う手順であることを特徴とする請求項5記載のコンピュータ読取り可能な記録媒体。
JP2000104978A 2000-04-06 2000-04-06 画像処理方法および装置並びに記録媒体 Expired - Lifetime JP4302855B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000104978A JP4302855B2 (ja) 2000-04-06 2000-04-06 画像処理方法および装置並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000104978A JP4302855B2 (ja) 2000-04-06 2000-04-06 画像処理方法および装置並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2001292455A JP2001292455A (ja) 2001-10-19
JP4302855B2 true JP4302855B2 (ja) 2009-07-29

Family

ID=18618432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000104978A Expired - Lifetime JP4302855B2 (ja) 2000-04-06 2000-04-06 画像処理方法および装置並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4302855B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003101119A1 (fr) * 2002-05-24 2003-12-04 Nikon Corporation Procede de traitement d'images, programme de traitement d'images et processeur d'images
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2005013622A1 (ja) * 2003-06-30 2005-02-10 Nikon Corporation 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
CN100579240C (zh) * 2004-05-26 2010-01-06 安奇逻辑股份有限公司 摄像装置
JP4654419B2 (ja) * 2007-07-04 2011-03-23 株式会社メガチップス 混成画素補間装置および混成画素補間方法
JP4963690B2 (ja) * 2008-08-07 2012-06-27 株式会社メガチップス 画像処理装置

Also Published As

Publication number Publication date
JP2001292455A (ja) 2001-10-19

Similar Documents

Publication Publication Date Title
JP4162111B2 (ja) 画像処理方法および装置並びに記録媒体
JP4284628B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
USRE46557E1 (en) Image processing apparatus and method for generating a restoration image
US7502505B2 (en) High-quality gradient-corrected linear interpolation for demosaicing of color images
US7479998B2 (en) Image pickup and conversion apparatus
US8184181B2 (en) Image capturing system and computer readable recording medium for recording image processing program
US8320714B2 (en) Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method
US7570285B2 (en) Image processing device suppressing color moire when restoring an image
JP2000078597A (ja) デジタルカラ―イメ―ジ値の処理装置
US20080018750A1 (en) Method and apparatus for color interpolation in digital photographing device
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP4302855B2 (ja) 画像処理方法および装置並びに記録媒体
JP3059205B2 (ja) 画像処理装置
JP4302854B2 (ja) 画像処理方法および装置並びに記録媒体
US6747698B2 (en) Image interpolating device
US7986361B2 (en) Color processing apparatus and method thereof for generating an interpolated image
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP5305992B2 (ja) 画像処理装置及び画像処理方法
JP4122082B2 (ja) 信号処理装置およびその処理方法
JP4239483B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4196055B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4239480B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP2003087808A (ja) 画像処理方法および装置並びにプログラム
JP2012100215A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP4239484B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120501

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4302855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130501

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140501

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term