JP5673186B2 - 撮像装置及び撮像装置の補間処理方法 - Google Patents
撮像装置及び撮像装置の補間処理方法 Download PDFInfo
- Publication number
- JP5673186B2 JP5673186B2 JP2011030939A JP2011030939A JP5673186B2 JP 5673186 B2 JP5673186 B2 JP 5673186B2 JP 2011030939 A JP2011030939 A JP 2011030939A JP 2011030939 A JP2011030939 A JP 2011030939A JP 5673186 B2 JP5673186 B2 JP 5673186B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- interpolation
- interpolation value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 65
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000004364 calculation method Methods 0.000 claims description 51
- 230000002596 correlated effect Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 description 19
- 239000003086 colorant Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
本発明は、２板式撮像装置において高周波成分を多く含んだ画像であっても偽色の発生を防止する撮像装置及び撮像装置の補間処理方法に関する。
カラー撮像装置には、入射光（被写体像）を色分離光学系（プリズム）を用いてＲＧＢの３色に分離し、３枚の白黒撮像素子に結像して各画素の３原色信号を得る３板式撮像装置や、各画素上にオンチップカラーフィルター（以下、ＯＣＦと称する）を形成した１枚のカラー撮像素子に入射光を結像し、信号処理（補間演算）によって各画素の３原色信号を得る単板式撮像装置がある。さらに、入射光を分離光学系（ビームスプリッター）を用いて分離し、白黒撮像素子１枚とカラー撮像素子１枚の各々に結像して２枚の撮像素子の出力信号を信号処理することによって各画素の３原色信号を得る２板式撮像装置がある。
３板式撮像装置は、プリズムを用いるために装置が大きく、且つ撮像素子を３枚用いるために高価になるが、補間演算によらずに各画素の３原色信号を得ることができるので、例えば格子縞のように細かい繰り返しパターンを有する空間周波数の高い被写体像であっても正確に被写体像の各色信号を得ることができる。一方、単板式撮像装置は、プリズムが不要で撮像素子を１枚しか用いないので装置が小型で安価になるが、補間演算を行うために被写体像の空間周波数が高い場合には偽色を生じることがある。
そこで、３板式撮像装置より小型安価であり、単板式撮像装置よりも高画質な画像を得ることのできる２板式撮像装置が提案されており、例えば特許文献１に開示された２板式ＣＣＤカメラがある。
しかしながら、上述した特許文献１に開示された従来の２板式ＣＣＤカメラでは、各画素における相関性の高い方向の如何に関わらず着目画素近傍のＲ信号のみからＲ信号の補間値を算出し、同様にＢ信号のみからＢ信号の補間値を算出しているので、空間周波数の高い画像、例えばカラー撮像素子のＲあるいはＢのカラーフィルターの配列ピッチよりも狭いピッチの縞模様で表されるような画像では、適切な色復調を行うことができずに偽色が生じてしまうという問題点があった。例えば配列ピッチの狭い白黒の縞模様の画像はシアン色あるいは黄色の縞模様として出力されてしまうという問題があった。
そこで、本発明は、上述した実情に鑑みて提案されたものであり、高周波成分が多く含まれた画像であっても偽色のない良好な補間画像を得ることのできる撮像装置及び撮像装置の補間処理方法を提供することを目的とする。
上記した目的を達成するために、本発明に係る撮像装置は、被写体を撮像して輝度信号を出力する第１撮像素子と、被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力する前記第１撮像素子と同じ画素数の第２撮像素子と、前記輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出部と、補間値を求める対象の着目画素に対して、前記相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、前記相関方向画素の色信号によって前記着目画素における色信号の補間値を求める信号補間部と、前記信号補間部で求められた色信号の補間値と前記輝度信号と前記第２撮像素子から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出部とを備えていることを特徴とする。
また、本発明に係る撮像装置の信号補間部は、前記着目画素が前記Ｂ信号を出力するＢ画素と前記Ｒ信号を出力するＲ画素との場合には、前記相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間部と、前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｒ画素のときには前記相関方向画素のＲ信号の平均値を補間値として求めるＲ信号補間部と、前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｂ画素のときには前記相関方向画素のＢ信号の平均値を補間値として求めるＢ信号補間部とを備えていることを特徴とする。
さらに、本発明に係る撮像装置の補間値算出部は、前記Ｂ画素においては前記Ｇ信号の補間値と前記輝度信号と前記Ｂ信号とを用いてＲ信号の補間値を算出し、前記Ｇ画素においては前記Ｂ信号の補間値と前記輝度信号と前記Ｇ信号とを用いてＲ信号の補間値を算出するＲ補間値算出部と、前記Ｒ画素においては前記Ｇ信号の補間値と前記輝度信号と前記Ｒ信号とを用いてＢ信号の補間値を算出し、前記Ｇ画素においては前記Ｒ信号の補間値と前記輝度信号と前記Ｇ信号とを用いてＢ信号の補間値を算出するＢ補間値算出部とを備えていることを特徴とする。
また、本発明に係る撮像装置の補間処理方法は、第１撮像素子によって被写体を撮像して輝度信号を出力するステップと、前記第１撮像素子と同じ画素数の第２撮像素子によって被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力するステップと、前記輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出ステップと、補間値を求める対象の着目画素に対して、前記相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、前記相関方向画素の色信号によって前記着目画素における色信号の補間値を求める信号補間ステップと、前記信号補間ステップで求められた色信号の補間値と前記輝度信号と前記第２撮像素子から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出ステップとを含むことを特徴とする。
本発明に係る撮像装置及び撮像装置の補間処理方法によれば、輝度信号に基づいて各画素における相関性の高い方向を求め、この相関性の高い方向にある画素の色信号を用いて補間値を求めるので、高周波成分が多く含まれた画像であっても偽色のない良好な補間画像を得ることができる。
以下、本発明を適用した一実施形態について図面を参照して説明する。
［撮像装置の構成］
図１は本実施形態に係る撮像装置の構成を示すブロック図である。図１に示すように、本実施形態に係る撮像装置１は、被写体からの光が入射するレンズ２と、レンズ２を介して入射した被写体像を２方向に分離する分離光学系３と、被写体を撮像して輝度信号を出力する白黒撮像素子４と、被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力する白黒撮像素子４と同じ画素数のカラー撮像素子５と、補間処理を行って各画素の３原色信号Ｐを生成する補間処理部６とを備えている。
図１は本実施形態に係る撮像装置の構成を示すブロック図である。図１に示すように、本実施形態に係る撮像装置１は、被写体からの光が入射するレンズ２と、レンズ２を介して入射した被写体像を２方向に分離する分離光学系３と、被写体を撮像して輝度信号を出力する白黒撮像素子４と、被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力する白黒撮像素子４と同じ画素数のカラー撮像素子５と、補間処理を行って各画素の３原色信号Ｐを生成する補間処理部６とを備えている。
本実施形態に係る撮像装置１は、レンズ２を介して入射した被写体像を分離光学系３によって２方向に分離し、白黒撮像素子４とカラー撮像素子５に結像させる。ここで、白黒撮像素子４は人間の視感度特性にほぼ等しい特性を持っており、カラー撮像素子５は画素上にベイヤー配列のＯＣＦ（オンチップカラーフィルター）が形成されている。白黒撮像素子４の出力ＳＤ１及びカラー撮像素子５の出力ＳＤ２は、補間処理部６に入力されて補間演算によって各画素の３原色信号Ｐが生成される。
ここで、照明条件（色温度）によってＲＧＢのバランス（いわゆるホワイトバランス）が変化するので、無彩色の被写体に対してはＲ＝Ｇ＝Ｂとなるようにカラー撮像素子５の各色の利得は調整され、白黒撮像素子４については無彩色の被写体に対してはＹ＝Ｒ＝Ｇ＝Ｂとなるように利得が調整される。
［補間処理部の構成］
図１に示すように、本実施形態に係る補間処理部６は、輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出部１１と、補間値を求める対象の着目画素に対して、相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、この相関方向画素の色信号によって着目画素における色信号の補間値を求める信号補間部１２と、信号補間部１２で求められた色信号の補間値と輝度信号とカラー撮像素子５から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出部１３とを備えている。
図１に示すように、本実施形態に係る補間処理部６は、輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出部１１と、補間値を求める対象の着目画素に対して、相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、この相関方向画素の色信号によって着目画素における色信号の補間値を求める信号補間部１２と、信号補間部１２で求められた色信号の補間値と輝度信号とカラー撮像素子５から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出部１３とを備えている。
また、信号補間部１２は、着目画素がＢ信号を出力するＢ画素とＲ信号を出力するＲ画素の場合には、相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間部２１と、着目画素がＧ信号を出力するＧ画素の場合で、かつ、相関方向画素がＲ画素のときには相関方向画素のＲ信号の平均値を補間値として求めるＲ信号補間部２３と、着目画素がＧ信号を出力するＧ画素の場合で、かつ、相関方向画素がＢ画素のときには相関方向画素のＢ信号の平均値を補間値として求めるＢ信号補間部２２とを備えている。
さらに、補間値算出部１３は、Ｂ画素においてＧ信号の補間値と輝度信号とＢ信号とを用いてＲ信号の補間値を算出し、Ｇ画素においてＢ信号の補間値と輝度信号とＧ信号とを用いてＲ信号の補間値を算出するＲ補間値算出部３１と、Ｒ画素においてＧ信号の補間値と輝度信号とＲ信号とを用いてＢ信号の補間値を算出し、Ｇ画素においてＲ信号の補間値と輝度信号とＧ信号とを用いてＢ信号の補間値を算出するＢ補間値算出部３２とを備えている。
［補間処理の手順］
次に、本実施形態に係る撮像装置１による補間処理の手順を図２のフローチャートを参照して説明する。ここでは撮像素子の画素ピッチと等しい周期の白黒の縦縞パターンの被写体を撮影した場合を一例として説明する。理解を容易にするために、白黒撮像素子４とカラー撮像素子５の画素配列は図３（ａ）に示すように同じ座標軸上に１つの模式図として示し、本実施形態の具体的な数値例を図３（ｂ）に示す。また、水平方向ｘ=ｉ及び垂直方向ｙ=ｊの座標を添え字(i,j)で示す。
次に、本実施形態に係る撮像装置１による補間処理の手順を図２のフローチャートを参照して説明する。ここでは撮像素子の画素ピッチと等しい周期の白黒の縦縞パターンの被写体を撮影した場合を一例として説明する。理解を容易にするために、白黒撮像素子４とカラー撮像素子５の画素配列は図３（ａ）に示すように同じ座標軸上に１つの模式図として示し、本実施形態の具体的な数値例を図３（ｂ）に示す。また、水平方向ｘ=ｉ及び垂直方向ｙ=ｊの座標を添え字(i,j)で示す。
図２に示すように、ステップＳ１０１では、座標(i,j)の位置にある画素の白黒撮像素子４の輝度信号出力Ｙ(i,j)をもとにして、各画素における相関性の高い方向を表す相関方向指数Ｄ(i,j)を算出する。具体的な算出方法は、補間値を求める対象となっている着目画素の輝度信号をＹ(i,j)としたときに、上下に隣接する２画素の輝度信号Ｙ(i,j-1)とＹ(i,j+1)の平均値Ｙa_v(i,j)と、左右に隣接する２画素Ｙ(i-1,j)とＹ(i+1,j)の平均値Ｙa_h(i,j)とを算出し、これらの平均値と着目画素の輝度信号Ｙ(i,j)との差分が小さい方向を相関性の高い方向とし、垂直方向の相関性が高い場合には相関方向指数Ｄ(i,j)＝１、水平方向の相関性が高い場合には相関方向指数Ｄ(i,j)＝０と定義すれば、次式によって算出することができる。
Ｄ(i,j)＝０・・・（|Ｙa_v(i,j)−Ｙ(i,j)|＞|Ｙa_h(i,j)−Ｙ(i,j)|の時）
＝１・・・（|Ｙa_v(i,j)−Ｙ(i,j)|＝|Ｙa_h(i,j)−Ｙ(i,j)|の時）
＝１・・・（|Ｙa_v(i,j)−Ｙ(i,j)|＜|Ｙa_h(i,j)−Ｙ(i,j)|の時） ・・・・（１）
ここで、|Ｙa_v(i,j)−Ｙ(i,j)|＝|Ｙa_h(i,j)−Ｙ(i,j)|のときには水平方向、垂直方向ともに相関性の程度が同等なので、本実施形態では垂直方向を優先するものとした。ただし、これに限定されるわけではない。
＝１・・・（|Ｙa_v(i,j)−Ｙ(i,j)|＝|Ｙa_h(i,j)−Ｙ(i,j)|の時）
＝１・・・（|Ｙa_v(i,j)−Ｙ(i,j)|＜|Ｙa_h(i,j)−Ｙ(i,j)|の時） ・・・・（１）
ここで、|Ｙa_v(i,j)−Ｙ(i,j)|＝|Ｙa_h(i,j)−Ｙ(i,j)|のときには水平方向、垂直方向ともに相関性の程度が同等なので、本実施形態では垂直方向を優先するものとした。ただし、これに限定されるわけではない。
次に、ステップＳ１０２では、カラー撮像素子５においてＢのＯＣＦが形成されているｘ＝奇数、ｙ＝偶数の座標（以下、Ｂ画素あるいは座標(o,e)と称す）におけるＧ信号の補間値ｇ(o,e)を次式によって算出する。具体的な算出方法は、着目画素の相関方向指数がＤ(i,j)＝１のとき、すなわち垂直方向の相関が強い場合には上下に隣接する２画素のＧ信号Ｇ(i,j-1)とＧ(i,j+1)の平均値をＧ信号の補間値ｇ(i,j)として算出し、着目画素の相関方向指数がＤ(i,j)＝０のとき、すなわち水平方向の相関が強い場合には左右に隣接する２画素のＧ信号Ｇ(i-1,j)とＧ(i+1,j)の平均値をＧ信号の補間値ｇ(i,j)として算出する。
ｇ(i,j)＝(Ｇ(i,j-1)＋Ｇ(i,j+1))／2 ・・・（Ｄ(i,j)＝１のとき）
ｇ(i,j)＝(Ｇ(i-1,j)＋Ｇ(i+1,j))／2 ・・・（Ｄ(i,j)＝０のとき） ・・・（２）
次に、ステップＳ１０３では、カラー撮像素子５においてＲのＯＣＦが形成されているｘ＝偶数、ｙ＝奇数の座標（以下、Ｒ画素あるいは座標(e,o)と称す）におけるＧ信号の補間値ｇ(e,o)を算出する。具体的な算出方法は、ステップＳ１０２と同様に相関方向画素のＧ信号の平均値をＧ信号の補間値ｇ(i,j)として算出する。ステップＳ１０２及びＳ１０３による具体的な算出結果を図４（ａ）、（ｂ）に示す。
ｇ(i,j)＝(Ｇ(i-1,j)＋Ｇ(i+1,j))／2 ・・・（Ｄ(i,j)＝０のとき） ・・・（２）
次に、ステップＳ１０３では、カラー撮像素子５においてＲのＯＣＦが形成されているｘ＝偶数、ｙ＝奇数の座標（以下、Ｒ画素あるいは座標(e,o)と称す）におけるＧ信号の補間値ｇ(e,o)を算出する。具体的な算出方法は、ステップＳ１０２と同様に相関方向画素のＧ信号の平均値をＧ信号の補間値ｇ(i,j)として算出する。ステップＳ１０２及びＳ１０３による具体的な算出結果を図４（ａ）、（ｂ）に示す。
次に、ステップＳ１０４では、カラー撮像素子５においてＢのＯＣＦが形成されている座標(o,e)におけるＲ信号の補間値ｒ(o,e)を算出する。具体的な算出方法は、着目画素の白黒撮像素子４の出力Ｙ(i,j)と、カラー撮像素子５の出力Ｂ(i,j)と、ステップＳ１０２で算出したＧ信号の補間値ｇ(i,j)とを用いて、次式によって算出する。
ｒ(i,j)＝(Ｙ(i,j)−0.6×ｇ(i,j)−0.1×Ｂ(i,j))／0.3 ・・・・（３）
これによって座標(o,e)における画素の３原色は全て算出されるので、座標(o,e)における画素の色復調は完成する。この算出結果を図５（ａ）、（ｂ）に示す。
これによって座標(o,e)における画素の３原色は全て算出されるので、座標(o,e)における画素の色復調は完成する。この算出結果を図５（ａ）、（ｂ）に示す。
次に、ステップＳ１０５では、カラー撮像素子５においてＲのＯＣＦが形成されている座標(e,o)におけるＢ信号の補間値ｂ(e,o)を算出する。具体的な算出方法は、ステップＳ１０４と同様であり、Ｂ(i,j)の代わりにＲ(i,j)を用いて次式によって算出する。
ｂ(i,j)＝(Ｙ(i,j)−0.6×ｇ(i,j)−0.3×Ｒ(i,j))／0.1 ・・・・（４）
これによって座標(e,o)における画素の３原色は全て算出されるので、座標(e,o)における画素の色復調は完成する。この算出結果を図６（ａ）、（ｂ）に示す。
これによって座標(e,o)における画素の３原色は全て算出されるので、座標(e,o)における画素の色復調は完成する。この算出結果を図６（ａ）、（ｂ）に示す。
次に、ステップＳ１０６では、カラー撮像素子５においてＧのＯＣＦが形成されている座標(e,e)の相関方向を相関方向指数D(e,e)を用いて判定する。ここで相関方向が縦である場合には、ステップＳ１０７ａに移行して座標(e,e)におけるＲ信号の補間値ｒ(e,e)を算出する。具体的な算出方法は、着目画素の上下に隣接する２画素のＲ信号Ｒ(i,j-1)とＲ(i,j+1)の平均値をＲ信号の補間値ｒ(e,e)として算出する。この計算式を次式に示し、算出結果を図７（ａ）、（ｂ）に示す。
ｒ(i,j)＝(Ｒ(i,j-1)＋Ｒ(i,j+1))／2 ・・・・（５）
引き続きステップＳ１０８ａでは、座標(e,e)におけるＢ信号の補間値ｂ(e,e)を算出する。具体的な算出方法は、着目画素の白黒撮像素子４の輝度信号Ｙ(i,j)と、カラー撮像素子５のＧ信号Ｇ(i,j)と、ステップＳ１０７ａで算出したＲ信号の補間値ｒ(i,j)とを用いて、次式によって算出する。
引き続きステップＳ１０８ａでは、座標(e,e)におけるＢ信号の補間値ｂ(e,e)を算出する。具体的な算出方法は、着目画素の白黒撮像素子４の輝度信号Ｙ(i,j)と、カラー撮像素子５のＧ信号Ｇ(i,j)と、ステップＳ１０７ａで算出したＲ信号の補間値ｒ(i,j)とを用いて、次式によって算出する。
ｂ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.3×ｒ(i,j))／0.1 ・・・・（６）
これによって座標(e,e)における画素の３原色は全て算出されるので、座標(e,e)における画素の色復調は完成する。この算出結果を図８（ａ）、（ｂ）に示す。
これによって座標(e,e)における画素の３原色は全て算出されるので、座標(e,e)における画素の色復調は完成する。この算出結果を図８（ａ）、（ｂ）に示す。
一方、ステップＳ１０６において相関方向が横であった場合には、ステップＳ１０７ｂに移行して座標(e,e)におけるＢ信号の補間値ｂ(e,e)を算出し、ステップＳ１０８ｂにおいてＲ信号の補間値ｒ(e,e)を算出する。具体的な算出方法は、相関方向が縦であった場合のステップＳ１０７ａ、１０８ａと同様であり、Ｂ信号の補間値ｂの算出式とＲ信号の補間値ｒの算出式はそれぞれ以下のようになる。
ｂ(i,j)＝(Ｂ(i-1,j)＋Ｂ(i+1,j))／2 ・・・・（７）
ｒ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.1×ｂ(i,j))／0.3 ・・・・（８）
次に、ステップＳ１０９に移行して、カラー撮像素子５においてＧのＯＣＦが形成されている座標(o,o)における相関方向を相関方向指数Ｄ(o,o)を用いて判定する。ここで、相関方向が縦である場合には、ステップＳ１１０ａに移行して座標(o,o)におけるＢ信号の補間値ｂ(o,o)を算出する。具体的な算出方法は、着目画素の上下に隣接している２画素のＢ信号Ｂ(i,j-1)とＢ(i,j+1)の平均値をＢ信号の補間値ｂ(o,o)として算出する。この計算式を次式に示し、算出結果を図９（ａ）、（ｂ）に示す。
ｒ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.1×ｂ(i,j))／0.3 ・・・・（８）
次に、ステップＳ１０９に移行して、カラー撮像素子５においてＧのＯＣＦが形成されている座標(o,o)における相関方向を相関方向指数Ｄ(o,o)を用いて判定する。ここで、相関方向が縦である場合には、ステップＳ１１０ａに移行して座標(o,o)におけるＢ信号の補間値ｂ(o,o)を算出する。具体的な算出方法は、着目画素の上下に隣接している２画素のＢ信号Ｂ(i,j-1)とＢ(i,j+1)の平均値をＢ信号の補間値ｂ(o,o)として算出する。この計算式を次式に示し、算出結果を図９（ａ）、（ｂ）に示す。
ｂ(i,j)＝(Ｂ(i,j-1)＋Ｂ(i,j+1))／2 ・・・・（９）
引き続きステップＳ１１１ａでは、座標(o,o)におけるＲ信号の補間値ｒ(o,o)を算出する。具体的な算出方法は、着目画素の白黒撮像素子４の輝度信号Ｙ(i,j)と、カラー撮像素子５のＧ信号Ｇ(i,j)と、ステップＳ１１０ａで算出したＢ信号の補間値ｂ(i,j)とを用いて、次式によって算出する。
引き続きステップＳ１１１ａでは、座標(o,o)におけるＲ信号の補間値ｒ(o,o)を算出する。具体的な算出方法は、着目画素の白黒撮像素子４の輝度信号Ｙ(i,j)と、カラー撮像素子５のＧ信号Ｇ(i,j)と、ステップＳ１１０ａで算出したＢ信号の補間値ｂ(i,j)とを用いて、次式によって算出する。
ｒ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.1×ｂ(i,j))／0.3 ・・・・（１０）
これによって座標(o,o)における画素の３原色は全て算出されるので、座標(o,o)における画素の色復調は完成する。この算出結果を図１０（ａ）、（ｂ）に示す。
これによって座標(o,o)における画素の３原色は全て算出されるので、座標(o,o)における画素の色復調は完成する。この算出結果を図１０（ａ）、（ｂ）に示す。
一方、ステップＳ１０９において相関方向が横であった場合には、ステップＳ１１０ｂに移行して座標(o,o)におけるＲ信号の補間値ｒ(o,o)を算出し、ステップＳ１１１ｂにおいてＢ信号の補間値ｂ(o,o)を算出する。具体的な算出方法は、相関方向が縦であった場合のステップＳ１１０ａ、１１１ａと同様であり、Ｒ信号の補間値ｒの算出式とＢ信号の補間値ｂの算出式はそれぞれ以下のようになる。
ｒ(i,j)＝(Ｒ(i-1,j)＋Ｒ(i+1,j))／2 ・・・・（１１）
ｂ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.3×ｒ(i,j))／0.1 ・・・・（１２）
これによって座標(o,o)における画素の３原色は全て算出されるので、座標(o,o)における画素の色復調は完成する。
ｂ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.3×ｒ(i,j))／0.1 ・・・・（１２）
これによって座標(o,o)における画素の３原色は全て算出されるので、座標(o,o)における画素の色復調は完成する。
こうして全ての座標に対する３原色信号が算出されると、本実施形態に係る撮像装置による補間処理は終了する。この結果、本実施形態に係る撮像装置によれば、従来の補間処理方法では偽色が発生してしまう高周波成分を含んだ縦縞模様に対しても、図１０（ｂ）に示すように、補間処理結果に偽色はなく入力画像を正しく再現できていることが分かる。
尚、上述した実施形態では、ステップＳ１０１において全ての座標の相関方向指数を算出しているが、相関方向指数を算出するタイミングについてはこれに限定されるわけではなく、相関方向指数を参照する各ステップ（Ｓ１０２、Ｓ１０３、Ｓ１０６、Ｓ１０９）においてそれぞれ算出してもよい。また、ステップＳ１０２、Ｓ１０３においてＧ信号の補間値を全座標について算出した後に、ステップＳ１０４で座標(o,e)の色復調を完成させ、更にその後にステップＳ１０５で座標(e,o)の色復調を完成させているが、処理の順序はこれに限定されるわけではなく、まずステップＳ１０３→Ｓ１０５の順序で座標(e,o)の色復調を完成させ、次にステップＳ１０２→Ｓ１０４の順序で座標(o,e)の色復調を完成させてもよい。あるいはステップＳ１０６→Ｓ１０７→Ｓ１０８を最初に処理することで座標(e,e)の色復調を最初に完成させてもよいし、ステップＳ１０９→Ｓ１１０→Ｓ１１１を最初に処理することで座標(o,o)の色復調を最初に完成させてもよい。本発明は、このように処理の順序を入れ換えたとしても、その概念及び効果に変わりはない。もちろん、ハードウェアによって並列同時処理を行っても同様である。
また、上述した実施形態では、ステップＳ１０１における相関方向指数の算出方法として、着目画素を狭持する隣接２画素の平均値と着目画素との差分を用いて算出したが、算出方法はこれに限定されるわけではなく、更に多くの隣接画素に適当なフィルター処理を施した値を用いて算出するなど、既存の任意の方法を用いることができる。
さらに、上述した実施形態では、ステップＳ１０２、Ｓ１０３、Ｓ１０７、Ｓ１１０における特定方向の補間値算出方法を、着目画素を狭持する隣接２画素の平均値としているが、算出方法はこれに限定されるわけではなく、更に多くの隣接画素に適当なフィルター処理を施した値を用いることもできる。
なお、本発明は、ハードウェアにより図１の補間処理部を構成する場合に限定されるものではなく、図２の手順を実行するコンピュータプログラムによるソフトウェアによって補間処理を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
［実施形態の効果］
以上詳細に説明したように、本発明を適用した一実施形態に係る撮像装置及び撮像装置の補間処理方法によれば、輝度信号に基づいて各画素における相関性の高い方向を求め、この相関性の高い方向にある画素の色信号を用いて補間値を求めるので、高周波成分が多く含まれた画像であっても偽色のない良好な補間画像を得ることができる。
以上詳細に説明したように、本発明を適用した一実施形態に係る撮像装置及び撮像装置の補間処理方法によれば、輝度信号に基づいて各画素における相関性の高い方向を求め、この相関性の高い方向にある画素の色信号を用いて補間値を求めるので、高周波成分が多く含まれた画像であっても偽色のない良好な補間画像を得ることができる。
また、本発明を適用した一実施形態に係る撮像装置によれば、着目画素がＢ画素とＲ画素の場合には相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間部２１と、着目画素がＧ画素の場合には相関方向画素に応じてＲ信号及びＢ信号の平均値を補間値として求めるＲ信号補間部２３及びＢ信号補間部２２とを備えているので、相関性の高い方向にある画素の色信号を用いて補間値を求めることができる。
さらに、本発明を適用した一実施形態に係る撮像装置によれば、Ｇ信号の補間値と輝度信号とＢ信号とを用いてＲ信号の補間値を算出する、あるいはＢ信号の補間値と輝度信号とＧ信号とを用いてＲ信号の補間値を算出するＲ補間値算出部３１と、Ｇ信号の補間値と輝度信号とＲ信号とを用いてＢ信号の補間値を算出する、あるいはＲ信号の補間値と輝度信号とＧ信号とを用いてＢ信号の補間値を算出するＢ補間値算出部３２とを備えているので、相関性の高い方向にある画素の色信号を用いて求められた補間値を用いて補間値を算出することができる。
なお、上述の実施形態は本発明の一例である。したがって、本発明は、上述の実施形態に限定されるわけではなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。
１ 撮像装置
２ レンズ
３ 分離光学系
４ 白黒撮像素子
５ カラー撮像素子
６ 補間処理部
１１ 相関方向指数算出部
１２ 信号補間部
１３ 補間値算出部
２１ Ｇ信号補間部
２２ Ｒ信号補間部
２３ Ｂ信号補間部
３１ Ｒ補間値算出部
３２ Ｂ補間値算出部
２ レンズ
３ 分離光学系
４ 白黒撮像素子
５ カラー撮像素子
６ 補間処理部
１１ 相関方向指数算出部
１２ 信号補間部
１３ 補間値算出部
２１ Ｇ信号補間部
２２ Ｒ信号補間部
２３ Ｂ信号補間部
３１ Ｒ補間値算出部
３２ Ｂ補間値算出部
Claims (3)
- 被写体を撮像して輝度信号を出力する第１撮像素子と、
被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力する前記第１撮像素子と同じ画素数の第２撮像素子と、
前記輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出部と、
補間値を求める対象の着目画素に対して、前記相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、前記相関方向画素の色信号によって前記着目画素における色信号の補間値を求める信号補間部と、
前記信号補間部で求められた色信号の補間値と前記輝度信号と前記第２撮像素子から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出部とを備え、
前記信号補間部は、
前記着目画素が前記Ｂ信号を出力するＢ画素と前記Ｒ信号を出力するＲ画素との場合には、前記相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間部と、
前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｒ画素のときには前記相関方向画素のＲ信号の平均値を補間値として求めるＲ信号補間部と、
前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｂ画素のときには前記相関方向画素のＢ信号の平均値を補間値として求めるＢ信号補間部と
を備えていることを特徴とする撮像装置。 - 前記補間値算出部は、
前記Ｂ画素において前記Ｇ信号の補間値と前記輝度信号と前記Ｂ信号とを用いてＲ信号の補間値を算出し、前記Ｇ画素において前記Ｂ信号の補間値と前記輝度信号と前記Ｇ信号とを用いてＲ信号の補間値を算出するＲ補間値算出部と、
前記Ｒ画素において前記Ｇ信号の補間値と前記輝度信号と前記Ｒ信号とを用いてＢ信号の補間値を算出し、前記Ｇ画素において前記Ｒ信号の補間値と前記輝度信号と前記Ｇ信号とを用いてＢ信号の補間値を算出するＢ補間値算出部と
を備えていることを特徴とする請求項１に記載の撮像装置。 - 第１撮像素子によって被写体を撮像して輝度信号を出力するステップと、
前記第１撮像素子と同じ画素数の第２撮像素子によって被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力するステップと、
前記輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出ステップと、
補間値を求める対象の着目画素に対して、前記相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、前記相関方向画素の色信号によって前記着目画素における色信号の補間値を求める信号補間ステップと、
前記信号補間ステップで求められた色信号の補間値と前記輝度信号と前記第２撮像素子から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出ステップと
を含み、
前記信号補間ステップは、
前記着目画素が前記Ｂ信号を出力するＢ画素と前記Ｒ信号を出力するＲ画素との場合には、前記相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間ステップと、
前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｒ画素のときには前記相関方向画素のＲ信号の平均値を補間値として求めるＲ信号補間ステップと、
前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｂ画素のときには前記相関方向画素のＢ信号の平均値を補間値として求めるＢ信号補間ステップと
を含むことを特徴とする撮像装置の補間処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011030939A JP5673186B2 (ja) | 2011-02-16 | 2011-02-16 | 撮像装置及び撮像装置の補間処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011030939A JP5673186B2 (ja) | 2011-02-16 | 2011-02-16 | 撮像装置及び撮像装置の補間処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012169989A JP2012169989A (ja) | 2012-09-06 |
| JP5673186B2 true JP5673186B2 (ja) | 2015-02-18 |
Family
ID=46973645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011030939A Active JP5673186B2 (ja) | 2011-02-16 | 2011-02-16 | 撮像装置及び撮像装置の補間処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5673186B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015035782A (ja) * | 2013-08-09 | 2015-02-19 | オリンパス株式会社 | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム |
| JPWO2022044898A1 (ja) | 2020-08-31 | 2022-03-03 | ||
| CN115460386B (zh) * | 2022-08-31 | 2024-05-17 | 武汉精立电子技术有限公司 | 一种利用黑白相机获取彩色图像的方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4834938B2 (ja) * | 2001-08-24 | 2011-12-14 | 株式会社ニコン | ２板式画像取り込み装置 |
| JP4441809B2 (ja) * | 2004-05-20 | 2010-03-31 | 忠 杉木 | カラー固体撮像装置 |
| JP5033702B2 (ja) * | 2008-04-04 | 2012-09-26 | 富士フイルム株式会社 | 撮像装置 |
| JP5054659B2 (ja) * | 2008-11-27 | 2012-10-24 | シャープ株式会社 | 撮像装置 |
-
2011
- 2011-02-16 JP JP2011030939A patent/JP5673186B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012169989A (ja) | 2012-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10217034B2 (en) | Image processing device, imaging device, and image processing method | |
| CN103444183B (zh) | 彩色摄像元件及摄像装置 | |
| US20120327259A1 (en) | Image processing device, image processing method, image capturing device, and program | |
| WO2009101767A1 (ja) | 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム | |
| JP4945942B2 (ja) | 画像処理装置 | |
| JP4945943B2 (ja) | 画像処理装置 | |
| TWI387353B (zh) | 畫素插補電路、畫素插補方法及記錄媒體 | |
| JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
| US20150042782A1 (en) | Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer readable recording medium | |
| JP2008141658A (ja) | 電子カメラおよび画像処理装置 | |
| JP3905708B2 (ja) | 画像補間装置 | |
| JP2004229055A (ja) | 画像処理装置 | |
| JP2002112276A (ja) | カラー固体撮像装置 | |
| KR100894420B1 (ko) | 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법 | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| JP4962293B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| JP2015211347A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| JP2007028041A (ja) | 画像処理装置 | |
| JP5109911B2 (ja) | 撮像装置および補間処理方法 | |
| JP2013172218A (ja) | 撮像装置、画像処理方法およびプログラム | |
| US20020093579A1 (en) | Image interpolating device | |
| KR101072877B1 (ko) | 색 보간 방법 및 그 장치 | |
| KR100960176B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 | |
| JP4334150B2 (ja) | 画像補間装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5673186 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |