JP4840468B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP4840468B2
JP4840468B2 JP2009063999A JP2009063999A JP4840468B2 JP 4840468 B2 JP4840468 B2 JP 4840468B2 JP 2009063999 A JP2009063999 A JP 2009063999A JP 2009063999 A JP2009063999 A JP 2009063999A JP 4840468 B2 JP4840468 B2 JP 4840468B2
Authority
JP
Japan
Prior art keywords
component
pixel
color difference
color
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009063999A
Other languages
English (en)
Other versions
JP2009246963A (ja
Inventor
ルカック ラスティスラブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2009246963A publication Critical patent/JP2009246963A/ja
Application granted granted Critical
Publication of JP4840468B2 publication Critical patent/JP4840468B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、デジタルカメラなどの撮影機器で画像データを生成する技術に関し、詳しく
は、加法混色である光の三原色に相当するR(赤)、G(緑)、B(青)の微細なカラー
フィルタがモザイク状に配列されたカラーフィルタアレイを使用して、カラー画像データ
を生成する技術に関する。
デジタル技術の進歩によって、今日では画像をデジタルデータ(画像データ)として取
り扱うことが一般的になっている。例えば、デジタルカメラなどの撮影機器を用いれば、
画像を撮影すると直ちに、画像データの形態で出力することが可能である。このような撮
影機器には、光の強さを電気信号に変換する小さな素子が集まって構成された言わば電子
的な撮像板が搭載されている。そして、光学系を用いて被写体の像を撮像板の上に結像さ
せ、個々の素子での光の強さを電気信号として検出することによって、画像データを生成
している。また、光学系に入射した光を、光の三原色に相当するRGBの各成分に分離し
た後に撮像板上に結像させて、各成分の光の強さに対応する電気信号を出力すれば、カラ
ー画像データを生成することも可能である。
ここで、光学系に入射した光を、RGBの各成分に分離した状態で撮像板の上に結像さ
せる方法としては、最も単純には、入射光を分光プリズムによって色成分毎に分離した後
に、撮像板に結像させてRGBの成分毎に画像データを生成する方法が考えられる。もっ
とも、これでは3つの撮像板が必要になる。そこで、撮像板を構成する各素子にRGBの
何れかの色成分を割り振っておき、1つの撮像板でRGB各成分を検出する方式も広く用
いられている。この方式では、R成分を検出する素子の前にはR成分のみを透過する小さ
なカラーフィルタを設け、G成分を検出する素子の前にはG成分のみを透過するカラーフ
ィルタを、そしてB成分を検出する素子の前にはB成分のみを透過するカラーフィルタを
設けることで、1つの撮像板でRGB各成分の画像データを同時に検出する。もちろん、
1つの撮像板でRGBの各成分を検出する方式では、ある成分(例えばR成分)を検出し
た素子では他の成分(例えばG成分やB成分)を検出することはできない。従って、得ら
れる画像データは、R成分を検出した画素と、G成分を検出した画素と、B成分を検出し
た画素とが組み合わさったモザイク状の画像データとなるが、足らない色成分は周辺の画
素から補間することによって、全ての画素についてRGB各成分が揃ったカラー画像デー
タを生成することが可能である。
尚、RGBの色成分に分離した光を3つの撮像板を用いて電気信号に変換することで、
RGB各成分の画像データを生成する撮影機器は、「3板式」の撮影機器と呼ばれること
がある。また、1つの撮像板を用いてモザイク状の画像データを生成した後、欠落した色
成分を補間によって求める方式の撮影機器は、「単板式」の撮影機器と呼ばれることがあ
る。更に、モザイク状の画像データから欠落した色成分を補って、RGB各成分が揃った
カラー画像データを生成する処理は、「デモザイク処理」と呼ばれることがある。
もっとも、単板式の撮影機器では、欠落した色成分を求めるための補間演算が必要とな
り、その演算のための時間が必要になるだけでなく、演算時に生じる補間誤差によってい
わゆる偽色が発生することがある。そこで、偽色の発生を回避しながら、出来るだけ補間
演算に要する時間の増加は抑制することを目的として種々の技術が提案されている。例え
ば、欠落した色成分を求めた後、各画素についての色差成分(例えばG成分とR成分との
差)を求めておき、注目画素を含んだ所定数の画素列の中で、色差成分が最大の画素およ
び最小の画素はノイズとして省いた上で、注目画素の各色成分を再計算する技術が提案さ
れている(たとえば、特許文献1参照)。あるいは、各画素について求めた色差成分にロ
ーパスフィルタを施した後、ノイズ成分が除去された色成分に基づいて各色成分を再計算
する技術も提案されている(たとえば、特許文献2参照)。
特開2005−167974号公報 特開2005−260908号公報
しかし、撮影機器の画質に対する消費者の要求も年々厳しくなっており、偽色の発生を
より一層抑制することの可能なデモザイク処理技術の開発が要請されている。また、消費
者の画質に対する要請に対応するべく、撮影機器で撮影する画像の画素数も年々増加して
おり、このことに対応して、より迅速に実行することの可能なデモザイク処理技術の開発
が要請されている。
この発明は、上述したような、従来のデモザイク処理に対する互いに相反する要請を、
同時に満足させるためになされたものであり、偽色の発生をより一層抑制可能でありなが
ら、迅速にデモザイク処理を実行可能な技術の提供を目的とする。
上述した課題の少なくとも一部を解決するために、本発明の画像処理装置は次の構成を
採用した。すなわち、
光の三原色に対応するR、G、Bの色成分が画素毎に一成分ずつ設定された画像データ
であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
ことにより、各画素にR、G、Bの全ての色成分が設定されたカラー画像データを生成す
る画像処理装置であって、
前記モザイク画像データは、前記R成分の画素と前記G成分の画素とが縦方向に交互に
並んだ画素列と、前記G成分の画素と前記B成分の画素とが縦方向に交互に並んだ画素列
と、前記R成分の画素と前記G成分の画素とが横方向に交互に並んだ画素行と、前記G成
分の画素と前記B成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成さ
れた画像データであり、
前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記G成分と他の
色成分とを補間によって算出し、該G成分と該他の色成分との差を示す縦方向色差成分を
、該画素列の各画素について算出する縦方向色差成分算出手段と、
前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記G成分と他の
色成分とを補間によって算出し、該G成分と該他の色成分との差を示す横方向色差成分を
、該画素行の各画素について算出する横方向色差成分算出手段と、
前記モザイク画像データの中から前記R成分または前記B成分が設定された画素を選択
し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定するエッジ方向
決定手段と、
前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
色成分に基づいて補間する欠落色成分補間手段と
を備えることを要旨とする。
また、上記の画像処理装置に対応する本発明の画像処理方法は、
光の三原色に対応するR、G、Bの色成分が画素毎に一成分ずつ設定された画像データ
であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
ことにより、各画素にR、G、Bの全ての色成分が設定されたカラー画像データを生成す
る画像処理方法であって、
前記モザイク画像データとして、前記R成分の画素と前記G成分の画素とが縦方向に交
互に並んだ画素列と、前記G成分の画素と前記B成分の画素とが縦方向に交互に並んだ画
素列と、前記R成分の画素と前記G成分の画素とが横方向に交互に並んだ画素行と、前記
G成分の画素と前記B成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
成された画像データを受け取る第1の工程と、
前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記G成分と他の
色成分とを補間によって算出し、該G成分と該他の色成分との差を示す縦方向色差成分を
、該画素列の各画素について算出する第2の工程と、
前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記G成分と他の
色成分とを補間によって算出し、該G成分と該他の色成分との差を示す横方向色差成分を
、該画素行の各画素について算出する第3の工程と、
前記モザイク画像データの中から前記R成分または前記B成分が設定された画素を選択
し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定する第4の工程
と、
前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
色成分に基づいて補間する第5の工程と
を備えることを要旨とする。
かかる本発明の画像処理装置および画像処理方法においては、モザイク画像データを受
け取ると、該モザイク画像データを構成する画素列毎に縦方向色差成分を算出するととも
に、該モザイク画像データを構成する画素行毎に横方向色差成分を算出する。モザイク画
像データは、画素列としては、R成分の画素とG成分の画素とが縦方向に交互に並んだ画
素列と、G成分の画素とB成分の画素とが縦方向に交互に並んだ画素列とから構成されて
おり、画素行としては、R成分の画素とG成分の画素とが横方向に交互に並んだ画素行と
、G成分の画素とB成分の画素とが横方向に交互に並んだ画素行とから構成されている。
従って、縦方向色差成分としては、G成分とR成分との差を表す色差成分、あるいはG成
分とB成分との差を表す色差成分の何れかが、画素列毎に得られることになる。同様に、
横方向色差成分としては、G成分とR成分との差を表す色差成分、あるいはG成分とB成
分との差を表す色差成分の何れかが、画素行毎に得られることになる。次いで、モザイク
画像データ中からR成分またはB成分が設定された画素を選択し、少なくともその画素に
ついては、縦方向色差成分の変化量と横方向色差成分の変化量とを比較することにより、
その画素でのエッジ方向を決定する。上述したように、縦方向色差成分および横方向色差
成分は、何れもG成分とR成分との色差成分か、G成分とB成分との色差成分の何れかし
か取り得ないから、R成分が設定された画素であれば、縦方向色差成分も横方向色差成分
もG成分とR成分との色差成分となるので、縦横の色差成分を比較することによって、そ
の画素でのエッジの方向を正しく決定することができる。同様に、B成分が設定された画
素であれば、縦方向色差成分も横方向色差成分もG成分とB成分との色差成分となるので
、縦横の色差成分を比較することでエッジの方向を正しく決定することができる。モザイ
ク画像データの各画素について、その画素に設定されていない色成分である欠落色成分を
補間する際には、こうして正しく決定されたエッジの方向を参照しながら補間することで
、モザイク画像データに設定されている色成分から、欠落色成分を適切に補間することが
可能となり、適切なカラー画像データを生成することが可能となる。
また、かかる本発明の画像処理装置においては、エッジ方向を決定するために用いる縦
方向色差成分の変化量と横方向色差成分の変化量とを、次のようにして求めても良い。先
ず、エッジ方向を決定しようとする画素(ここでは、決定画素と称する)を選択する。次
いで、縦方向色差成分の変化量については、その決定画素を含んだ画素列での縦方向色差
成分と、その画素列に隣接する画素列での縦方向色差成分とに基づいて、決定画素での縦
方向色差成分の変化量を決定する。例えば、決定画素を含んだ画素列と、それに隣接する
画素列の2つの画素列での縦方向色差成分から、決定画素での縦方向色差成分の変化量を
求めても良いし、あるいは、決定画素を含んだ画素列と、その両側に隣接する複数の画素
列(更にはより多数の画素列)での縦方向色差成分から、決定画素での縦方向色差成分の
変化量を求めても良い。また、横方向色差成分の変化量については、その決定画素を含ん
だ画素行での横方向色差成分と、その画素行に隣接する画素行での横方向色差成分とに基
づいて、決定画素での横方向色差成分の変化量を決定する。横方向色差成分の変化量につ
いても、決定画素を含んだ画素行とそれに隣接する画素行の2つの画素行から、横方向色
差成分の変化量を求めても良いし、あるいは、より多数の画素行から、横方向色差成分の
変化量を求めても良い。
エッジ方向を決定しようとする画素(決定画素)を含んだ画素列と、その画素列に隣接
する画素列とを含む複数の画素列から縦方向色差成分の変化量を求めれば、単独の画素列
から縦方向色差成分の変化量を求めるよりも、正確な変化量を求めることができる。横方
向色差成分の変化量についても同様に、決定画素を含んだ画素行と、その画素行に隣接す
る画素行とを含む複数の画素行から求めた方が、単独の画素行から求めるよりも、正確な
変化量を求めることができる。そして、正確に求めた縦方向色差成分の変化量と、正確に
求めた横方向色差成分の変化量とを比較することで、エッジ方向をより適切に決定するこ
とが可能となる。
ここで、画素列の縦方向色差成分には、G成分とR成分との差を示す色差成分と、G成
分とB成分との差を示す色差成分の2種類の色差成分が存在している。このため、隣接す
る画素列の縦方向色差成分が同じ種類の色差成分であるとは限らず、異なる種類の色差成
分から変化量を求めても、意味のある値は得られないように思われる。しかし、たとえ異
なる種類の色差成分であっても、画像中の隣接する箇所では同じような変化の仕方をする
ことが経験上分かっているので、変化量であれば、異なる種類の縦方向色差成分から求め
ても、意味のある値を得ることができる。このため、互いに隣接する複数の画素列での縦
方向色差成分から変化量を求めることで、縦方向色差成分の変化量を正確に求めることが
可能となるのである。画素行の横方向色差成分についても全く同様に、G成分とR成分と
の差を示す色差成分と、G成分とB成分との差を示す色差成分の2種類の色差成分が存在
しているが、変化量であれば、これら異なる種類の横方向色差成分を全く同様に取り扱っ
て意味のある値を得ることができる。そのため、互いに隣接する複数の画素行での横方向
色差成分から変化量を求めることで、正確な横方向色差成分の変化量を求めることが可能
となる。そして、これらの変化量を比較することで、エッジ方向を適切に決定することが
可能となるのである。
また、本発明の画像処理装置においては、モザイク画像データ中でR成分が設定されて
いる画素、およびB成分が設定されている画素についてのみ、エッジ方向を決定すること
としてもよい。
モザイク画像データ中でR成分やB成分が設定されている画素では、G成分を補間する
必要があるが、G成分はR成分やB成分と比べて、人間が明るさの変化に敏感な波長に近
いため、画質に影響を与え易い傾向がある。従って、モザイク画像データ中でR成分やB
成分が設定されている画素でのエッジ方向を決定しておけば、画質に最も影響を与え易い
G成分を、エッジ方向を参照しながら補間できるので、全ての画素についてエッジ方向を
決定しなくても、効率よく適切な補間を行うことが可能となる。
また、本発明の画像処理装置においては、次のようにして、エッジ方向を縦方向または
横方向の何れか一方に決定することとしても良い。先ず、縦方向色差成分の変化量が横方
向色差成分の変化量よりも大きい場合には、エッジ方向は横方向であると決定し、逆に、
縦方向色差成分の変化量が横方向色差成分の変化量よりも小さい場合には、縦方向である
と決定する。また、縦方向色差成分の変化量と横方向色差成分の変化量とが等しい場合に
は、エッジ方向を、縦方向または横方向の何れか一方に決定することとしてもよい。ここ
で、両者の変化量が等しい場合は、エッジ方向を常に縦方向、あるいは横方向に決定して
も良いし、縦方向と横方向とを交互に、あるいはランダムに切り換えながら、何れか一方
に決定しても良い。
こうすれば、エッジ方向は縦方向または横方向に何れか一方しか取り得ないので、欠落
画素を補間する処理を大きく簡素化することが可能となる。もちろん、このようにすると
、エッジが存在しない画素でも、縦方向または横方向の何れかのエッジが存在するものと
仮定して補間することになる。しかし、エッジが存在しない画素では、縦方向または横方
向の何れのエッジが存在しているとしても、得られる結果はほとんど変わらないので、エ
ッジ方向を仮定して補間しても、画質が悪化することはない。
また、本発明の画像処理装置においては、欠落色成分としてG成分を補間する場合には
、補間しようとする画素である補間画素の上下に隣接する一組の画素、または、その補間
画素の左右に隣接する一組の画素の何れかの画素の組で得られた色成分に基づいて、補間
画素でのG成分を補間することとしてもよい。
補間画素のエッジ方向が縦方向であれば、補間画素の上下に隣接する一組の画素で得ら
れた色成分に基づいてG成分を補間すればよいし、逆に、エッジ方向が横方向であれば、
補間画素の左右に隣接する一組の画素で得られた色成分に基づいてG成分を補間すればよ
い。更に、補間画素にはエッジが存在しない場合には、上下に隣接する画素または左右に
隣接する画素の何れか一組の画素で得られた色成分に基づいて補間すればよい。結局、2
画素分の色成分に基づいてG成分を補間することができるので、迅速な補間を行うことが
できる。しかも、G成分を補間しなければならない画素は、モザイク画像データ中でG成
分が設定されていない全ての画素であるため、数がおおく、従って、G成分を迅速に補間
することで、モザイク画像データ中の欠落色成分を補間する処理を、大幅に迅速化するこ
とが可能となる。
また、補間画素でG成分を補間するに際しては、次のようにして補間しても良い。補間
画素の上下に隣接する一組の画素で得られた縦方向色差成分、または補間画素の左右に隣
接する一組の画素で得られた横方向色差成分の何れかに基づいて、その補間画素での縦方
向色差成分または横方向色差成分を補間する。そして、得られた縦方向色差成分または横
方向色差成分の何れかと、その補間画素に設定されているモザイク画像データの色成分と
に基づいて、補間画素でのG成分を算出することとしてもよい。
G成分を補間すべき補間画素には、モザイク画像データではR成分またはB成分が設定
されており、従って、縦方向色差成分および横方向色差成分は何れも、補間画素に設定さ
れているモザイク画像データの色成分と、G成分との差を示す値となっている。このこと
から、補間画素の上下に隣接する画素での縦方向色差成分、または補間画素の左右に隣接
する画素での横方向色差成分から補間画素での値を補間し、得られた値と、補間画素に設
定されているモザイク画像データの色成分とを用いれば、補間画素でのG成分を簡単に算
出することができる。しかも、縦方向あるいは横方向の色差成分を補間し、得られた補間
値からG成分を算出しているので、次の理由から、いわゆる偽色を発生させることなく、
適切にG成分を求めることができる。すなわち、互いに隣接するG成分とR成分との差、
あるいは互いに隣接するG成分とB成分との差が大きく変化すると、これは、色の変化に
現れる。そして、G成分、R成分、B成分の色成分毎に補間した場合には、補間した画素
での色成分の差が、周囲の画素とは大きく異なる箇所が発生し易くなり、その部分では、
いわゆる偽色が現れ易くなる。これに対して、縦方向あるいは横方向の色差成分を補間し
、得られた補間値からG成分を算出すれば、少なくとも補間した方向については、色成分
の差が大きく変化しないので、偽色が発生することを回避することが可能となるのである
また、上記の画像処理装置において、欠落色成分を補間するに際しては、モザイク画像
データにG成分が設定されていない全ての画素についてG成分を補間し、その後に、残り
の欠落色成分を補間するようにしても良い。
上述したように、G成分については、補間画素の上下に隣接する一組の画素、または左
右に隣接する一組の画素の何れかの画素の組で得られた色成分に基づいて、迅速に補間す
ることができる。従って、初めに、モザイク画像データにG成分が設定されていない全て
の画素についてG成分を迅速に補間してしまえば、残った欠落色成分については、補間し
て得られたG成分と、モザイク画像データに設定されている色成分とを用いて補間するこ
とができるので、迅速に且つ簡単に補間することが可能となる。
また、本発明の画像処理装置においては、欠落色成分を補間するに先立って、モザイク
画像データの中で少なくともR成分またはB成分が設定された全ての画素についてのエッ
ジ方向を決定することにより、エッジ方向マップを生成してもよい。そして、エッジ方向
マップに記憶されているエッジ方向を参照することにより、欠落色成分を補間することと
してもよい。
こうすれば、エッジ方向を決定する処理と、欠落色成分を補間する処理とを分離するこ
とができるので、全体の処理が複雑化することを回避することができる。また、エッジ方
向マップを参照することで、同時に複数の画素でのエッジ方向を容易に取得することが可
能となるので、欠落色成分を補間するに際しても、周囲の画素でのエッジ方向を参照する
ことで、より適切に補間することが可能となる。更には、例えば、モザイク画像データで
R成分あるいはB成分が設定されている画素についてのみエッジ方向を決定した場合など
のように、エッジ方向が決定されていない画素についても、周囲の画素のエッジ方向から
推定したエッジ方向に基づいて、欠落色成分を補間することも可能となる。
また、本発明は、上述した画像処理方法を実現するためのプログラムをコンピュータに
読み込ませ、所定の機能を実行させることで、コンピュータを用いても実現することが可
能である。従って、本発明は、次のようなプログラムとしての態様も含んでいる。すなわ
ち、上述した画像処理方法に対応する本発明のプログラムは、
光の三原色に対応するR、G、Bの色成分が画素毎に一成分ずつ設定された画像データ
であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
ことにより、各画素にR、G、Bの全ての色成分が設定されたカラー画像データを生成す
る方法を、コンピュータを用いて実現するためのプログラムであって、
前記モザイク画像データとして、前記R成分の画素と前記G成分の画素とが縦方向に交
互に並んだ画素列と、前記G成分の画素と前記B成分の画素とが縦方向に交互に並んだ画
素列と、前記R成分の画素と前記G成分の画素とが横方向に交互に並んだ画素行と、前記
G成分の画素と前記B成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
成された画像データを受け取る第1の機能と、
前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記G成分と他の
色成分とを補間によって算出し、該G成分と該他の色成分との差を示す縦方向色差成分を
、該画素列の各画素について算出する第2の機能と、
前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記G成分と他の
色成分とを補間によって算出し、該G成分と該他の色成分との差を示す横方向色差成分を
、該画素行の各画素について算出する第3の機能と、
前記モザイク画像データの中から前記R成分または前記B成分が設定された画素を選択
し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向
色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定する第4の機能
と、
前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
色成分に基づいて補間する第5の機能と
を実現させることを要旨とする。
かかる本発明のプログラムをコンピュータに読み込ませて、上記の各種機能を実現させ
ることにより、モザイク画像データの欠落色成分を適切に補間して、偽色の発生を回避し
ながら、迅速にカラー画像データを生成することが可能となる。
本実施例の画像処理装置を搭載したデジタルカメラの構成を示す説明図である。 カラーフィルタアレイおよび撮像板の構成を概念的に示した説明図である。 本実施例の画像処理装置がRAW画像データからカラー画像データを生成するために実行するカラー画像データ生成処理の流れを示すフローチャートである。 RAW画像データを色差成分のデータに変換する様子を概念的に示した説明図である。 RAW画像データから色差成分を求めるための算出式を示した説明図である。 色差成分に混入したノイズを除去するために用いられるローパスフィルタを例示した説明図である。 本実施例の画像処理装置内で行われるエッジ方向マップ生成処理の流れを示したフローチャートである。 上下方向の色差成分CDvから上下方向への変化量Vvを算出する様子を例示した説明図である。 水平方向の色差成分CDhから水平方向への変化量Vhを算出する様子を例示した説明図である。 エッジ方向を判断するために判断画素を選択したときの周囲の状態を示した説明図である。 G画素でのエッジ方向を判断可能とするための方法を示した説明図である。 G画素でのエッジ方向を判断可能とするための他の方法を示した説明図である。 色差成分の変化量を算出する他の方法を例示した説明図である。 色差成分の変化量を算出する更に他の方法を例示した説明図である。 色差成分の変化量を算出する更に他の方法を例示した説明図である。 非G画素でG成分を補間する処理の流れを示すフローチャートである。 非G画素でG成分を算出する処理を模式的に示した説明図である。 非G画素補間処理の流れを示すフローチャートである。 G画素補間処理の流れを示すフローチャートである。 G画素で周囲の画素のエッジ方向からエッジ方向を推定する方法を示した説明図である。
以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施
例を説明する。
A.装置構成:
B.カラー画像データ生成処理の概要:
C.エッジ方向マップ生成処理:
D.G成分補間処理:
E.非G画素補間処理:
F.G画素補間処理:

A.装置構成:
図1は、本実施例の画像処理装置30を搭載したデジタルカメラ100の構成を示す説
明図である。図示されるように、デジタルカメラ100は、複数のレンズ群から構成され
る光学系10と、光学系10によって結像された被写体の像を電気信号に変換する撮像部
20と、撮像部20で得られた電気信号を受け取って所定の画像処理を施すことにより、
カラー画像データを生成する画像処理装置30などから構成されている。
撮像部20には、光の強さを電気信号に変換する微細な撮像素子が二次元的に配列され
て構成された撮像板24が搭載されており、撮像板24の手前側には、R(赤)、G(緑
)、B(青)の微細なカラーフィルタがモザイク状に配列されたカラーフィルタアレイ2
2が設けられている。カラーフィルタアレイ22を構成するR,G,Bのカラーフィルタ
の配置については後述するが、RのカラーフィルタではR色の光を主に透過し、Gのカラ
ーフィルタではG色の光を主に透過し、BのカラーフィルタではB色の光を主に透過する
ので、撮像板24では、R,G,Bのカラーフィルタの配置に従って、Rの光の強さに対
応する部分と、Gの光の強さに対応する部分と、Bの光の強さに対応する部分とが、モザ
イク状に組み合わされた画像データが得られることになる。
デジタルカメラ100に搭載された画像処理装置30は、このようなモザイク状の画像
データを撮像部20から受け取って、各画素にR成分、G成分、B成分が設定されたカラ
ー画像データを生成する処理を行う。図示されているように、本実施例の画像処理装置3
0は、CPUや、ROM、RAM、データの入出力を行うI/Fなどが、バスを介して互
いにデータをやり取り可能に接続されて構成されており、カラー画像データを生成する処
理は、ROMに記憶されているプログラムに従ってCPUが所定の動作を行うことによっ
て実現されている。また、こうして得られたカラー画像データは、外部出力端子40を介
して外部機器に出力したり、あるいは外部記録媒体50に出力することも可能となってい
る。
尚、撮像板24で得られるようなRGBの各成分がモザイク状に組み合わされた画像デ
ータは、画像処理装置30が、各画素にRGBの各成分が設定されたカラー画像データを
生成するための元になる画像データであることから、撮像板24で得られるモザイク状の
画像データは「RAW画像データ」と呼ばれることがある。
図2は、カラーフィルタアレイ22および撮像板24の構成を概念的に示した説明図で
ある。前述したように撮像板24は、光の強さに応じた電気信号を出力する微細な撮像素
子が、二次元的に配置されて構成されている。図2では、微細な撮像素子が格子状に配置
されている場合を表しており、撮像板24を格子状に分割する小さなマス目の1つ1つは
、撮像素子を概念的に表したものである。
カラーフィルタアレイ22は、撮像板24を構成する各撮像素子の位置に、Rのカラー
フィルタ、Gのカラーフィルタ、Bのカラーフィルタの何れかが設定された構成となって
いる。図2では、Rのカラーフィルタには粗い斜線を施して表示し、Bのカラーフィルタ
には細かい斜線を施して表示してある。また、斜線を施していない部分は、Gのカラーフ
ィルタが設定されていることを示している。これらRGBのカラーフィルタの配置は、先
ずGのフィルタを、互いが斜めの位置となるように(すなわち、チェッカーフラッグ状と
なるように)配置する。この結果、カラーフィルタアレイ22の半分の位置にはGのフィ
ルタが配置されることになる。次いで、残りの半分の位置に、RのフィルタおよびBのフ
ィルタを、それぞれ同数ずつ均等に配置する。このようにして得られた図2に示す配置の
カラーフィルタは、「ベイヤー型カラーフィルタ」と呼ばれている。
前述したように、GのカラーフィルタはG色の光のみを透し、RのカラーフィルタはR
色の光のみを、BのカラーフィルタはB色の光のみを透すから、撮像板24の手前側にベ
イヤー型のカラーフィルタアレイ22を設けると、図2に示すように、撮像板24ではモ
ザイク状の画像データが生成されることになる。もちろん、このような形式の画像データ
は、通常の画像データと同じように取り扱うことはできず、そのままでは画像を表示する
ことができない。そこで、画像処理装置30は、このような画像データ(RAW画像デー
タ)を受け取って、画素毎にRGBの各成分が設定された通常のカラー画像データを生成
する処理を行う。
B.カラー画像データ生成処理の概要:
図3は、本実施例の画像処理装置30が、RAW画像データからカラー画像データを生
成するために実行するカラー画像データ生成処理の流れを示すフローチャートである。尚
、かかる処理は、本実施例では画像処理装置30に搭載されたCPUが実行するものとし
て説明するが、もちろん、シグナルプロセッサーなどの専用のハードウェアを用いて実行
することとしてもよい。
カラー画像データ生成処理では、先ず始めに、元となるRAW画像データを、撮像板2
4から読み込む処理を行う(ステップS100)。次いで、読み込んだRAW画像データ
を、色差成分のデータに変換する処理を行う(ステップS102)。これは次のような処
理である。
図4は、RAW画像データを色差成分のデータに変換する様子を概念的に示した説明図
である。図の上段には、撮像板24から読み込んだRAW画像データが概念的に示されて
いる。ベイヤー型のカラーフィルタによって得られたRAW画像データは、R成分、G成
分、B成分の画素がモザイク状に配置された画像データとなっているが、水平方向に注目
して観察すると、水平方向の画素列には、G画素(G成分が得られている画素)とR画素
(R成分が得られている画素)とが交互に現れる画素列か、若しくは、G画素とB画素(
B成分が得られている画素)とが交互に現れる画素列の何れかしか存在しない。また、上
下方向に注目して観察した場合も同様に、上下方向の画素列には、G画素とR画素とが交
互に現れる画素列か、G画素とB画素とが交互に現れる画素列しか存在しない。図4の中
段には、水平方向あるいは上下方向に着目して観察すると、RAW画像データが、G画素
およびR画素から構成される画素列と、G画素およびB画素から構成される画素列とによ
って構成されている様子が示されている。
以上のような観察結果に基づいて、本実施例のカラー画像データ生成処理では先ず初め
に、RGB各成分から構成されるRAW画像データを、水平方向の画素列を構成する各色
成分の差(水平方向の色差成分)を表すデータと、上下方向の画素列を構成する各色成分
の差(上下方向の色差成分)を表すデータとに変換する。例えば、G画素およびR画素か
ら構成される画素列であれば、G成分とR成分との色差成分に変換し、G画素およびB画
素の画素列であれば、G成分とB成分との色差成分に変換する。尚、色差成分を求めるた
めの算出式については後述する。
図4の下段には、このようにして水平方向あるいは上下方向の色差成分が得られる様子
が概念的に示されている。例えば、下段の左側の図には、RAW画像データを上下方向に
観察することで、上下方向の色差成分CDvが得られる様子が示されている。図中に斜線
を付した画素列は、G画素およびB画素からなる画素列であるから、その画素列で得られ
る色差成分CDvは、G成分とB成分との差を表す色差成分となる。また、その他の画素
列は、G画素およびR画素の画素列であるから、その画素列で得られる色差成分CDvは
、G成分とR成分との差を表す色差成分となる。水平方向についても全く同様なことが成
立する。すなわち、RAW画像データを水平方向に観察すれば分かるように、斜線を付し
て示した画素列からは、G成分とB成分との差を表す色差成分CDhが得られ、斜線を付
さない画素列からは、G成分とR成分との差を表す色差成分CDhを得ることができる。
図5は、RAW画像データから色差成分を求めるための算出式を示した説明図である。
図5(a)には、上下方向の色差成分CDvを求めるための算出式が示されており、図5
(b)には水平方向の色差成分CDhを求めるための算出式が示されている。尚、図中に
示したzは、撮像板24で得られたRAW画像データの階調値を表している。また、z(
r,s)は、その階調値が、画像中に取った原点の位置から下方向に向かってr番目、右
方向に向かってs番目にある画素位置での階調値であることを示している(図4の上段を
参照のこと)。
先ず初めに、図5(a)を参照しながら、上下方向の色差成分CDvを求める算出式に
ついて説明する。色差成分CDvを求めようとしている画素が、G成分が得られている画
素(G画素)である場合には、図5(a)の上式に示されるように、先ず、上下の画素で
得られた階調値の平均値を求め(一点鎖線で囲って示した第2項)、次いで、求めようと
している画素で得られたG成分から(破線で囲って示した第1項)、平均値の値を減算す
ることによって、上下方向の色差成分CDvを算出する。すなわち、ここではG画素での
色差成分を求める場合について考えているから、色差成分を求めようとしている画素での
階調値z(r,s)は、当然ながらG成分である。また、第2項に現れるz(r−1,s
)は、この画素に隣接する上側の画素で得られたRAW画像データの階調値であり、z(
r+1,s)は下側の隣接する画素で得られたRAW画像データの階調値である。そして
、図4を用いて説明したように、G画素の上下の画素はR画素またはB画素の何れの場合
もあり得るが、上下に来る画素が互いに異なる色成分の画素となることはない。従って、
図5(a)の上式に一点鎖線で囲って示した第2項は、上下の画素(すなわち、R画素ま
たはG画素)の階調値から算出したG画素でのR成分またはB成分を表している。このこ
とから、G成分が得られている画素(G画素)については、上下の画素がR画素またはB
画素の何れの場合でも、図5(a)の上式を適用することで、上下方向の色差成分CDv
を求めることが可能となる。
尚、同じ式を用いて算出しているが、上下の画素がR画素またはB画素の何れであるか
によって、得られる色差成分CDvの中身は異なったものとなる点に注意しておく必要が
ある。すなわち、上下の画素がR画素である場合には、得られた上下方向の色差成分CD
vは、G成分とR成分との差を表す色差成分となり、上下の画素がB画素である場合には
、G成分とB成分との差を表す色差成分となる。
G画素以外の画素(すなわち、R画素またはG画素)で、上下方向の色差成分CDvを
求める場合も、ほぼ同様にして求めることができる。例えば、色差成分CDvを求めよう
としている画素がR画素であったとすると、図4を用いて説明したように上下の画素はG
画素となるから、上下の画素の階調値の平均値は、色差成分CDvを求めようとしている
着目画素でのG成分を表していると考えることができる。そこで、求めたG成分の値から
、着目画素の階調値(ここではR成分)を減算してやれば、色差成分CDvを求めること
ができる。着目画素がB画素である場合についても全く同様なことが成立する。結局、G
画素以外の画素については、図5(a)の下式に示したように、右辺に破線で囲った第1
項から、一点鎖線で囲った第2項を減算することで、上下方向の色差成分CDvを求める
ことができる。
尚、G画素以外の画素について上下方向の色差成分CDvを求める場合も、その画素が
R画素またはB画素の何れであるかに拘わらず同じ式を用いて算出するが、その画素がR
画素またはB画素の何れであるかによって、得られる色差成分CDvの中身が異なる点に
注意しておく必要がある。すなわち、その画素がR画素である場合には、G成分とR成分
との差を表す色差成分CDvとなり、その画素がB画素である場合には、G成分とB成分
との差を表す色差成分CDvとなる。
また、本実施例のカラー画像データ生成処理では、このように中身の異なる2種類の色
差成分CDvを用いた高度な処理をしているにも拘わらず、実際の計算式は全く同じ式を
使用することができる。このため、2種類の色差成分CDvを同時に扱っているにも拘わ
らず単純な処理を行った場合と同じ程度に簡素な処理となり、迅速に実行することができ
る。もちろん、実際の中身は高度な処理を行っているので、後述するように、偽色を発生
させることなく、適切にデモザイク処理を行うことが可能となっている。
以上、上下方向の色差成分CDvを求める場合について説明したが、水平方向の色差成
分CDhについても同様にして求めることができる。以下、図5(b)を参照しながら簡
単に説明すると、先ず、G画素での水平方向の色差成分CDhを求める場合には、上式に
示したように、破線で囲って示した第1項から、一点鎖線で囲った第2項を減算すること
によって、水平方向の色差成分CDhを求めることができる。ここで、z(r,s)は、
色差成分を求めようとしている着目画素で得られたRAW画像データの階調値(すなわち
、G成分)である。また、z(r,s−1)は着目画素の左隣の画素での階調値であり、
z(r,s+1)は着目画素の右隣の画素での階調値である。着目画素の左右の画素は、
R画素またはB画素の何れの場合もあり得るが、左右の画素が異なる色成分の画素となる
ことはない。
G画素以外の画素(すなわち、R画素またはG画素)で、水平方向の色差成分CDhを
求める場合は、着目画素の左右の画素がG画素となり、着目画素がR画素またはB画素の
何れかとなる。従って、図5(b)の下式に示すように、破線で囲った第1項(左右の画
素の平均値)から、一点鎖線で囲った第2項(着目画素の階調値)を減算することによっ
て、水平方向の色差成分CDhを求めることができる。
更に、水平方向の色差成分CDhを求める場合も、左右の画素がR画素またはB画素の
何れであるか、あるいはその画素がR画素またはB画素の何れであるかに拘わらず、同じ
式を用いて色差成分CDhを算出している。しかし、得られる色差成分CDvの中身は、
G成分とR成分との差を表している場合と、G成分とB成分との差を表している場合とが
存在している。このように、水平方向の色差成分CDhについても、中身の異なる2種類
の色差成分CDhを取り扱っているにも拘わらず、実際の計算式は全く同じ式を使用する
ことが可能であり、単純な処理と同じ程度に簡素な処理となり、迅速に実行可能である。
更に加えて、図5に示すように、上下方向の色差成分CDvと水平方向の色差成分CD
hとについても、互いに極めて良く似た計算式を用いて求めることが可能である。その結
果、方向の異なる2種類の色差成分(すなわちCDvおよびCDh)を算出する処理も、
処理内容を共通化することができ、簡素で迅速に実行可能な処理を実現することが可能と
なっている。
図3に示したステップS102では、以上のようにして、撮像板24で得られたRAW
画像データを、上下方向の色差成分CDvおよび水平方向の色差成分CDhに変換する処
理を行う。尚、必ずしも必須の処理ではないが、得られた色差成分に混入しているノイズ
を抑えるために、上下方向の色差成分CDvおよび水平方向の色差成分CDhに、ローパ
スフィルタを作用させておくことが望ましい。後述するように、本実施例のカラー画像デ
ータ生成処理では、画像中に含まれるエッジの方向を、色差成分を用いて検出しており、
ローパスフィルタを作用させることはエッジを鈍らせてエッジの検出精度を低下させるこ
とになるので、本来であれば望ましいことではない。しかし本実施例では、後述する方法
によって極めて精度良くエッジ方向を検出することが可能であるため、多少、エッジが鈍
っても検出精度はほとんど低下することはなく、むしろ、ノイズが抑制されることによっ
て、エッジの方向を安定して検出することが可能となっている。
図6は、色差成分に混入したノイズを抑えるために用いられるローパスフィルタを例示
した説明図である。図6(a)には、上下方向の色差成分CDvおよび水平方向の色差成
分CDhのそれぞれについて、ローパスフィルタが示されている。また、理解の便宜のた
めに、図6(b)には、水平方向の色差成分CDhにローパスフィルタを作用させる様子
が例示されている。ローパスフィルタを作用させようとしている画素(着目画素)は、図
6(b)中では斜線を付して示されている。本実施例のローパスフィルタでは、着目画素
の左右2画素ずつの色差成分と、着目画素の色差成分とを加算する。この時、着目画素の
色差成分については4画素分の重みを付けて、全体で加算する色差成分が8画素分となる
ように調整している。加算した色差成分が8画素分であれば、加算値を下位ビット側に3
ビットシフトさせるだけで、加算値を8で割った1画素分の色差成分を得ることが可能で
あり、ローパスフィルタを作用させる処理を迅速に実行することができる。
尚、上下方向の色差成分CDv、および水平方向の色差成分CDhは、前述したように
、G成分とR成分との差を表す場合と、G成分とB成分との差を表す場合とが存在するが
、ローパスフィルタを作用させる処理は、こうした違いを全く考慮することなく実行する
ことが可能である。このため、本実施例のカラー画像データ生成処理は、実際には高度な
処理を行っているにも拘わらず、極めて簡素で迅速に実行可能な処理となっている。
図3に示した本実施例のカラー画像データ生成処理では、以上のようにして、上下方向
の色差成分CDvおよび水平方向の色差成分CDhを求めたら(図3のステップS102
)、今度は、これら色差成分のデータを用いてエッジ方向マップを生成する処理(エッジ
方向マップ生成処理)を開始する(ステップS104)。エッジ方向マップとは、画像中
のエッジが、上下あるいは左右の何れの方向に走っているのか表したマップである。エッ
ジの方向は、必ずしも全ての画素に設定されている必要はないが、少なくともG画素以外
の画素(すなわち、R画素およびB画素)については、求めておくことが望ましい。本実
施例のカラー画像データ生成処理では、上下方向の色差成分CDvおよび水平方向の色差
成分CDhを用いて、後述する方法によってエッジ方向を決定しており、このため、精度
良く、しかも比較的迅速にエッジ方向を決定することが可能となっている。エッジ方向マ
ップ生成処理の詳細については後述する。
エッジ方向マップを生成したら、続いて、G画素以外の画素(すなわち、R画素および
B画素)について、G成分の階調値を補間によって決定する処理(G成分補間処理)を行
う(ステップS106)。G成分を補間する際には、エッジ方向マップを参照しながら、
周囲の画素から補間することによって、適切な階調値を決定することが可能である。エッ
ジ方向マップを参照しながらG成分を補間するG成分補間処理の具体的な処理内容につい
ては後述する。
続いて、G画素以外の画素で、最後の色成分を補間する処理(非G画素補間処理)を開
始する(ステップS108)。G画素以外の画素ということは、R画素またはB画素の何
れかであるが、何れの場合についても先のステップS106でG成分が求められているこ
とから、R画素であればB成分を補間し、B画素であればR成分を補間することになる。
この結果、G画素以外の画素については、RGB全ての色成分を得ることができる。G画
素以外の画素について、G成分を補間した後に、最後の色成分を補間する処理(非G画素
補間処理)の詳細については後述する。
以上のようにしてG画素以外の画素での補間を完了したら、今度はG画素で、RAW画
像データに欠落している色成分(すなわち、R成分およびB成分)を補間する処理(G画
素補間処理)を行う(ステップS110)。G画素で欠落している色成分を補間する際も
、エッジ方向マップを参照することによって、適切な階調値を算出することができる。G
画素で欠落している各成分を決定するG画素補間処理の具体的な処理内容については後述
する。
以上のようにして、G画素以外の画素について欠落した成分を補間し(ステップS10
6およびステップS108)、G画素について欠落した成分を補間したら(ステップS1
10)、全ての画素についてRGBの各成分が揃ったことになる。そこで、最終的に得ら
れたRGB各成分を、RAW画像データから生成されたカラー画像データとして出力した
後(ステップS112)、図3に示した本実施例のカラー画像データ生成処理を終了する
上述した本実施例のカラー画像データ生成処理では、上下方向および水平方向の色差成
分に基づいてエッジ方向を検出し、エッジ方向マップを生成する。このとき、上下方向の
色差成分CDvおよび水平方向の色差成分CDhの各々について、異なる2種類の色差成
分(G成分とR成分との差に対応する色差成分、およびG成分とB成分との差に対応する
色差成分)を用いてエッジ方向を検出することによって、精度良くエッジ方向マップを生
成することが可能となっている。そして、RAW画像データに欠落した色成分を補間する
際には、精度の良いエッジ方向マップを参照しながら補間することで、適切に補間するこ
とが可能となっている。しかも、エッジ方向マップを生成する処理も、欠落した色成分を
補間する処理も、決して複雑な処理ではなく、迅速に実行可能である。その結果、RGB
各成分がモザイク状に組み合わされたRAW画像データから、適切なカラー画像データを
迅速に生成することが可能となっている。以下では、こうしたことを実現するためにエッ
ジ方向マップを生成する処理(エッジ方向マップ生成処理)、G成分を補間する処理(G
成分補間処理)、G画素以外の画素で欠落した最後の色成分を補間する処理(非G画素補
間処理)、およびG画素で欠落した色成分を補間する処理(G画素補間処理)について説
明する。
C.エッジ方向マップ生成処理:
図7は、本実施例の画像処理装置30内で行われるエッジ方向マップ生成処理の流れを
示したフローチャートである。前述したように、かかる処理は、図3のカラー画像データ
生成処理の中で、画像処理装置30によって実行される処理である。
エッジ方向マップを生成するに際しては、先ず始めにエッジの方向を判断しようとする
画素(判断画素)を1つ選択する(ステップS200)。次いで、判断画素について、色
差成分の上下方向への変化量Vvを算出する(ステップS202)。尚、上下方向への変
化量Vvを算出するのであるから、色差成分は、当然ながら、上下方向の色差成分CDv
を用いて算出する。
図8は、上下方向の色差成分CDvから上下方向への変化量Vvを算出する様子を例示
した説明図である。図8(a)には、算出式が例示されており、図8(b)には、例示さ
れた算出式を用いて、上下方向への変化量Vvを算出する様子が概念的に示されている。
また、図8(b)に示した斜線は、判断画素の位置を表している。上下方向への変化量V
vを算出する際には、先ず、判断画素とその上の画素との間で、色差成分CDvの差の二
乗値を算出する。また、判断画素とその下の画素との間でも、色差成分CDvの差の二乗
値を算出する。図8(b)中に、斜線を付した判断画素と上の画素、あるいは下の画素と
の間に示された白抜きの矢印は、それぞれの画素の間で色差成分CDvの差の二乗値を算
出している様子を模式的に表したものである。
判断画素と上下の画素との間で、色差成分CDvの差の二乗値を求めたら、今度は、判
断画素の左隣の画素と、その上下の画素との間でも、同様にして色差成分CDvの差の二
乗値を算出する。更に、判断画素の右隣の画素についても同様にして、右隣の画素とその
上下の画素との間で、色差成分CDvの差の二乗値を算出する。図8(b)には、このよ
うにして、上下に並んだ6組の画素から1つずつ、合計6つの二乗値が得られた様子が模
式的に示されている。そして、こうして得られた6つの二乗値を加算した値を、判断画素
についての上下方向への変化量Vvとする。
以上のようにして上下方向への変化量Vvを求めたら、今度は、色差成分の水平方向へ
の変化量Vhを算出する(図7のステップS204)。水平方向への変化量Vhも、上述
した上下方向への変化量Vvと同様にして算出することができるが、上下方向への変化量
Vvを算出することと対応して、当然ながら、算出に用いる色差成分は水平方向の色差成
分CDhとなる。
図9は、水平方向の色差成分CDhから水平方向への変化量Vhを算出する様子を例示
した説明図である。図9(a)には、算出式が例示されており、図9(b)には、例示さ
れた算出式を用いて、水平方向への変化量Vhを算出する様子が概念的に示されている。
水平方向への変化量Vhを算出する際には、図9(b)に白抜きの矢印で示したように、
判断画素と左右の画素との間で、色差成分CDhの差の二乗値を算出する。また、判断画
素の上の画素とその左右の画素との間や、判断画素の下の画素とその左右の画素との間で
も、色差成分CDhの差の二乗値を算出する。そして、これら6つの二乗値を加算して、
判断画素についての水平方向への変化量Vhとする。図9(a)には、このようにして色
差成分の水平方向の変化量Vhを求めるための算出式が示されている。
以上のようにして、初めに選択した判断画素について、上下方向への変化量Vvと水平
方向への変化量Vhとが得られたら、これら変化量の大きさを比較する(図7のステップ
S206)。そして、水平方向への変化量Vhの方が、上下方向への変化量Vvよりも大
きかった場合は(ステップS206:yes)、その判断画素では上下方向にエッジが走
っているものと判断して、エッジ方向を示す値dに「1」を設定する(ステップS208
)。逆に、上下方向への変化量Vvの方が水平方向への変化量Vhよりも大きかった場合
は(ステップS206:no)、その判断画素では水平方向にエッジが走っているものと
判断して、エッジ方向を示す値dに「3」を設定する(ステップS210)。従って、エ
ッジ方向dに「1」が設定されている画素では、エッジが上下方向に走っており、エッジ
方向dに「3」が設定されている画素では、エッジが水平方向に走っていることになる。
尚、上下方向への変化量Vv(図8参照)あるいは水平方向への変化量Vh(図9参照
)を求める際に、色差成分の差の二乗値を算出しているのは、色差成分の差の符号を考慮
することなく、エッジ方向を判断するためである。従って、色差成分の差の二乗値の替わ
りに絶対値を算出し、隣接する画素間での絶対値を加算することにより、上下方向への変
化量Vvおよび水平方向への変化量Vhを求めることも可能である。もっとも、二乗値の
方が絶対値よりも、色差成分の差が強調されるので、エッジの方向をより精度良く検出す
ることが可能となる。
また、上下方向の変化量Vvと水平方向への変化量Vhとを比較する際には、若干の注
意が必要であり、これに伴って、図7に示すエッジ方向マップ生成処理にもバリエーショ
ンが存在している。以下では、この点について補足説明を行う。
図10は、エッジ方向を判断するために判断画素を選択したときの周囲の状態を示した
説明図である。判断画素を1つ選択すると、その周囲の状態は、必ず図10(a)ないし
図10(d)の何れかの状態となっている。このうち、図10(a)の場合について説明
すると、上下方向の変化量Vvは、判断画素が位置する上下方向の画素列からは、G成分
とR成分との差を示す色差成分(以下では、CDGRと表記する)に由来する二乗値が得ら
れ、その左右にある上下方向の画素列からは、G成分とB成分との差を示す色差成分(以
下では、CDGBと表記する)に由来する二乗値が得られるから、結局、上下方向の変化量
Vvは、CDGRに由来する2つの二乗値と、CDGBに由来する4つの二乗値とを加算した
値となっている。水平方向への変化量Vhについても同様に、CDGRに由来する2つの二
乗値と、CDGBに由来する4つの二乗値とを加算した値となっている。従って、上下方向
の変化量Vvと水平方向への変化量Vhとを比較することで、エッジの方向を適切に判断
することができる。
図10(b)の場合についても同様で、上下方向の変化量Vv、または水平方向への変
化量Vhの何れも、CDGBに由来する2つの二乗値と、CDGRに由来する4つの二乗値と
を加算した値となっている。このため、上下方向の変化量Vvと水平方向への変化量Vh
とを比較することで、エッジの方向を適切に判断することができる。
ところが、図10(c)あるいは図10(d)に示した場合は、こうしたことが成り立
たない。例えば、図10(c)についていえば、上下方向の変化量Vvは、CDGBに由来
する2つの二乗値と、CDGRに由来する4つの二乗値とを加算した値であるが、水平方向
の変化量Vhは、CDGBに由来する4つの二乗値と、CDGRに由来する2つの二乗値とを
加算した値となっており、上下方向の変化量Vvと水平方向の変化量Vhとは単純には比
較できない値となっている。図10(d)についても事態は全く同様で、上下方向の変化
量Vvと水平方向の変化量Vhとを単純に比較することはできない。
こうした事態に対処するための1つの方法としては、図10(a)あるいは図10(b
)のような画素についてのみ、エッジ方向を決定することが考えられる。すなわち、図7
に示したエッジ方向マップ生成処理のステップS200で、判断画素を選択する際に、G
画素以外の画素、すなわちR画素またはB画素のみを選択するのである。図2を用いて前
述したように、ベイヤー型カラーフィルタではG画素が半数を占めているから、R画素ま
たはB画素のみについてエッジ方向を判断することとすれば、判断すべき画素が半分とな
って、迅速にエッジ方向マップを生成することが可能となる。もちろん、G画素でのエッ
ジ方向は分からないが、補間方法を工夫することで、そのことが画質に与える悪影響は回
避することが可能である。
また、G画素ではエッジ方向を判断できないというわけではなく、次のようにすれば、
G画素でのエッジ方向を判断することが可能である。例えば、図11に示すように、判断
画素がある画素列での重みを、他の画素列での重みの2倍に設定すればよい。図11(a
)には、上下方向の変化量Vvを求めるための算出式が示されており、図11(b)には
、水平方向の変化量Vhを求めるための算出式が示されている。このような計算式を用い
れば、G画素、R画素、B画素の全ての画素について、上下方向の変化量Vvおよび水平
方向の変化量Vhを算出し、両者を比較してエッジ方向を決定することができる。尚、図
11に示した算出式において、判断画素が存在しない画素列での重みを半分にしても良い
ことはいうまでもない。
あるいは、図12に示すように、判断画素がある画素列と、その画素列に隣接する何れ
か一方の画素列の2つの画素列での変化量を用いて、エッジ方向を決定するようにしても
良い。図12(a)は、判断画素がある上下方向の画素列と、その画素列の右隣にある上
下方向の画素列とで、上下方向の変化量Vvを求める算出式が例示されている。また、図
12(b)には、図12(a)の算出式に従って、上下方向の変化量Vvを求める様子が
概念的に示されている。図4を用いて前述したように、ベイヤー型カラーフィルタによる
RAW画像データを上下方向に着目して観察すると、G画素およびR画素が上下に並んだ
画素列と、G画素およびB画素が上下に並んだ画素列とが、必ず交互に配置されている。
このため、図12(a)の算出式によって求めた上下方向の変化量Vvは、CDGBに由来
する二乗値と、CDGRに由来する二乗値とを2つずつ加算した値となる。
水平方向についても同様にして、2つの画素列から変化量Vhを求めることができる。
図12(c)には、水平方向の変化量Vhを求める算出式が例示されている。また、図1
2(d)には、図12(c)の算出式に従って、水平方向の変化量Vhを求める様子が概
念的に示されている。図4を用いて前述したように、ベイヤー型カラーフィルタによって
得られたRAW画像データを水平方向に着目して観察した場合も、G画素およびR画素が
並んだ画素列と、G画素およびB画素が並んだ画素列とが、必ず交互に配置されている。
このため、図12(c)の算出式によって求めた水平方向の変化量Vhも、図12(a)
による上下方向の変化量Vvと同様に、CDGBに由来する二乗値と、CDGRに由来する二
乗値とを2つずつ加算した値となる。従って、これら2つの変化量を比較することにより
、エッジ方向を決定することが可能となる。
図7に示した本実施例のエッジ方向マップ生成処理のステップS202〜ステップS2
10では、以上のようにして、色差成分の上下方向の変化量Vvおよび水平方向の変化量
Vhを算出し(ステップS202,S204)、両者を比較することによってエッジ方向
を決定する(ステップS206〜S210)。また、変化量を算出するにあたって、図8
および図9に示した方法を用いて算出するのであれば、エッジ方向を判断する判断画素と
して、G画素以外の画素(R画素およびB画素)を選択する(ステップS200)。一方
、図11あるいは図12に示した方法を用いて変化量を算出するのであれば、全画素を判
断画素として選択する。もちろん、図11あるいは図12に示した方法を用いて変化量を
算出する場合でも、G画素以外の画素(R画素およびB画素)を判断画素として選択する
ようにしても構わない。こうして、ステップS200で選択した判断画素についてのエッ
ジ方向を決定したら、全ての判断画素についてエッジ方向を決定したか否かを判断し(ス
テップS212)、未だ決定していない判断画素が残っている場合は(ステップS212
:no)、未決定の画素の中から新たな判断画素を1つ選択した後(ステップS200)
、続く上述した一連の処理を行う。こうした処理を繰り返しているうちに、全ての判断画
素についてエッジ方向を決定したと判断されたら(ステップS212:yes)、図7に
示すエッジ方向マップ生成処理を終了する。
以上に説明したエッジ方向マップ生成処理では、RAW画像データに含まれるエッジ方
向を、極めて精度良く決定することが可能である。そして、RAW画像データに含まれる
各画素の欠落した色成分を補間する際には、正確なエッジ方向マップを参照することがで
きるので、偽色を発生させることなく適切に補間することが可能となっている。以下では
、本実施例のエッジ方向マップ生成処理において、正確なエッジ方向マップが生成される
理由について説明する。
図2あるいは図4に示したように、ベイヤー型カラーフィルタによるRAW画像データ
では、RGBの何れの色成分についても、飛び飛びの画素位置でしかデータが得られてい
ない。例えば、G画素では2画素に1つの割合でしかデータが得られておらず、R画素や
B画素に到っては4画素に1つの割合でしかデータが得られていない。従って、色成分毎
に階調値の変化からエッジを検出しようとしても、RGB何れの成分についても、まばら
にしかデータが得られていないので、精度良くエッジを検出することは困難である。
そこで、RGBの色成分をそのまま扱うのではなく、色成分の差を取り扱うことにする
。すなわち、G成分およびR成分が交互に得られている画素列については、RAW画像デ
ータを、G成分とR成分との差を表す色差成分のデータに変換する。また、G成分および
B成分が交互に得られている画素列については、RAW画像データを、G成分とB成分と
の差を表す色差成分のデータに変換する。図4の下段には、このようにしてRAW画像デ
ータを、上下方向の色差成分CDv、および水平方向の色差成分CDhに変換した様子が
示されている。尚、図4中で斜線が付されているのは、G成分とB成分との差を表す色差
成分が得られている画素列である。
こうして色差成分に変換してしまえば、少なくとも画素列の方向には、同じ色差成分の
データを連続して得ることができる。もっとも、前述したように、隣接する画素列で得ら
れた色差成分は、互いに意味が異なる色差成分であるため、隣接する画素列の間で色差成
分の値を比較しても意味はない。従って、意味の同じ色差成分を用いてエッジを検出しよ
うとすると(例えば、図4中で斜線を付したG成分とB成分との差を表す色差成分を用い
てエッジを検出しようとすると)、隣接する画素列を飛ばして、1つおきの画素列の色差
成分を用いなければならず、画素列にして5列前後に亘るような、規模の大きなエッジで
なければ検出することが困難である。
しかし、色差成分の変化量については、隣接する画素列の間で比較することが可能であ
る。例えば、画像中で明るさが急変する箇所では、G成分とR成分との差の値も、G成分
とB成分との差の値も、何れも大きく変化する。同様に、色が急変する箇所でも、G成分
とR成分との差、およびG成分とB成分との差の何れの値も大きく変化する。従って、色
差成分の変化量に着目すれば、意味の異なる色差成分から得られた変化量であっても同じ
ように取り扱うことが可能であり、隣接する画素列で得られた色差成分を用いてエッジを
検出することができる。そして、このように隣接する画素列の色差成分に基づいて検出す
ることができれば、規模の小さなエッジであっても精度良く検出することが可能となる。
本実施例のエッジ方向マップ生成処理は、以上のような考察に基づいて、精度良くエッ
ジ方向を検出することにより、正確なエッジ方向マップを生成可能としたものであって、
先ず、ベイヤー型カラーフィルタによるRAW画像データを、上下方向の色差成分CDv
および水平方向の色差成分CDhに変換する。こうして得られた色差成分のデータは、図
4の下段に示したように、G成分とR成分との差を表す色差成分CDGRの画素列と、G成
分とB成分との差を表す色差成分CDGBの画素列とが、交互に並んだデータとなっている
。次いで、図8および図9、あるいは図11、図12を用いて色差成分の変化量を算出す
る。こうして算出した変化量は、互いに隣接する画素列の色差成分ではあるが、意味の異
なる色差成分から求めた変化量となっている。しかし上述したように、意味の異なる色差
成分から求めた値であっても、変化量は同じように取り扱ってエッジを検出することがで
きる。そして、隣接する画素列の色差成分に基づいてエッジを検出することで、規模の小
さなエッジであっても精度良く検出することができる。そして、こうして上下方向および
水平方向について求めた変化量を比較することにより、エッジの方向を精度良く検出する
ことが可能となるのである。
以上の説明からも明らかなように、本実施例のエッジ方向マップ生成処理では、上下方
向の変化量Vvおよび水平方向の変化量Vhを算出する際に、隣接する画素列の色差成分
に基づいて算出することが重要である。逆に言えば、上下方向の変化量Vvおよび水平方
向の変化量Vhを算出するために、どのような算出式を用いるかはそれほど重要なことで
はなく、図8、図9、図11、あるいは図12に例示した算出式の他にも種々の算出式を
用いることが可能である。
例えば、図13に例示したように、画素列の方向に沿って1画素飛びの画素間で、色差
成分の差の二乗値を求め、これらを加算することによって変化量を算出しても良い。尚、
図13では、水平方向の変化量Vhを求める場合についてのみ示しているが、上下方向の
変化量Vvについても、同様にして求めることができる。あるいは図14に例示したよう
に、色差成分の差の二乗値を、画素列の方向に沿って隣接する画素間だけでなく、1画素
飛びの画素間でも求め、これらを加算することによって変化量を求めても良い。尚、図1
4においても、水平方向の変化量Vhを求める場合についてのみ示しているが、上下方向
の変化量Vvについても、同様にして求めることができる。さらに、より遠い画素におけ
る色差成分をもちいて計算をするようにしても良い。例えば、図15(a)の式を用いて
水平方向の変化量Vhを計算することが考えられる。これは3画素とびの画素間での計算
を含んでおり、図15(b)において矢印で示されている画素間で計算を行う。なお、図
15は水平方向の変化量Vhを求めるためのものであるが、垂直方向の変化量Vvを計算
する場合も同様である。
D.G成分補間処理:
図3を用いて前述したように、本実施例のカラー画像データ生成処理では、エッジ方向
マップを生成すると(図3のステップS104)、G画素ではない画素(R画素およびB
画素)で、G成分を補間する処理を開始する(ステップS106)。
図16は、R画素およびB画素でG成分を補間する処理の流れを示すフローチャートで
ある。図示されているように、G成分補間処理を開始すると、先ず始めに、先に生成した
エッジ方向マップを参照することによって、補間しようとする画素(補間画素)でのエッ
ジ方向dを取得する(ステップS300)。前述したように、エッジ方向マップは、全画
素にエッジ方向dが設定される場合と、非G画素(R画素およびB画素)にだけエッジ方
向dが設定される場合とが存在するが、ここでは非G画素について補間しようとしている
のであるから、エッジ方向マップを参照することで必ずエッジ方向dを取得することがで
きる。
次いで、取得したエッジ方向dの値が「1」であるか否かを判断する(ステップS30
2)。そして、エッジ方向dが「1」であれば(ステップS302:yes)、補間画素
の上下の画素での色差成分から、補間画素での色差成分を補間によって推定する(ステッ
プS304)。逆に、エッジ方向dが「3」であれば(ステップS302:no)、補間
画素の左右の画素での色差成分から、補間画素での色差成分を補間によって推定する(ス
テップS306)。続いて、補間画素で得られたRAW画像データを取得し(ステップS
308)、先に算出した補間画素での色差成分に、RAW画像データを加算することによ
って、補間画素についてのG成分を算出する(ステップS310)。これら一連の処理に
ついて、補足して説明する。
図17は、非G画素で、欠落しているG成分を算出する処理の流れを模式的に示した説
明図である。補間画素は非G画素であるから、R画素またはB画素の何れかとなる。R画
素であれば、周囲の画素の分布は図17(a)に示した状態となっており、B画素であれ
ば、図17(b)に示した状態となっている。ここでは、G成分を補間する画素がR画素
であり、エッジ方向dは「1」であったものとして説明する。
エッジ方向dが「1」ということは、水平方向の色差成分の変化量Vhの方が、上下方
向の色差成分の変化量Vvよりも大きいということである。一般に、大きく変化している
状況下で補間するよりも、変化の少ない(定常状態により近い)状況下で補間した方が適
切な補間結果が得られるから、ここでも、変化量の少ない上下方向の色差成分を用いて、
G成分を算出することにする。すなわち、図17(a)から明らかなように、非G画素で
は、上下方向の色差成分も水平方向の色差成分も、何れもG成分からR成分を減算した値
の色差成分が得られるので、何れの方向の色差成分を用いてもG成分を求めることができ
るのであるが、より適切なG成分を得るために、変化の少ない方の色差成分である上下方
向の色差成分に基づいて、補間画素のG成分を決定するのである。
上下方向の色差成分は、G成分からR成分を減算した値となっており、補間画素で得ら
れているRAW画像データはR成分である。従って、色差成分の値にRAW画像データの
値を加算することで、直ちに補間画素でのG成分を求めることができる。尚、G成分を算
出するための色差成分としては、エッジ方向を決定する際に、既に、図5の算出式を用い
て補間画素についての色差成分を算出しているので、この値を読み出して使用することが
できる。あるいは、図6に示したローパスフィルタを用いてノイズが除去された色差成分
が得られている場合には、この色差成分を用いてG成分を算出することが望ましい。
更には、補間画素での色差成分を直接読み出すのではなく、隣接する画素で得られた色
差成分から算出するようにしても良い。すなわち、ここでは上下方向の色差成分を用いる
こととしているから、補間画素の上下の画素について得られている上下方向の色差成分を
読み出して、これら色差成分の値から、補間画素での色差成分を算出するようにしても良
い。図16に示したステップS304あるいはステップS306では、このようにして、
補間画素に隣接する画素から色差成分を算出する場合について示している。
以上のようにして補間画素でのG成分を求めたら、図16に示したG成分補間処理を終
了して、図3のカラー画像データ生成処理に復帰する。カラー画像データ生成処理では、
G成分を補間したら、続いて、G画素以外の画素について残りの色成分を補間する処理(
非G画素補間処理)を開始する。
E.非G画素補間処理:
図18は、非G画素補間処理の流れを示すフローチャートである。前述したように、か
かる処理では、R画素およびB画素でのG成分を補間した後に、残りの1つの色成分(す
なわち、R画素であればB成分、B画素であればR成分)の補間を行う。ここで、処理内
容の詳細な説明に入る前に、非G画素補間処理の基本的な考え方について簡単に説明して
おく。
上述したように非G画素補間処理では、R画素についてはB成分の補間を行い、B画素
についてはR成分の補間を行う。ここで、例えばR画素に着目すると、図17(a)に示
したように、斜めに隣接する4つの画素はB画素であり、これらの画素ではB成分がRA
W画像データとして得られている。同様に、B画素に着目すると、図17(b)に示した
ように、斜めに隣接する4つの画素はR画素であり、これらの画素ではR成分がRAW画
像データとして得られている。従って、最も単純には、これら斜めに隣接する4つの画素
のRAW画像データから補間することによって、求める色成分の階調値を決定することが
考えられる。これは、例えばR画素のB成分を斜めに隣接する4つのB画素の平均値とす
るということである。
また、斜めに隣接する4つの画素で得られたRAW画像データから直接補間するのでは
なく、これら4つの画素での色差成分から補間画素での色差成分を求め、この色差成分に
基づいて、求める色成分を決定ことも可能である。RGBカラー画像データでは一般に、
RGBの各成分間での差の値が、表現される色相に強く関係していることから、求めよう
とする色成分を周囲の画素から直接補間したのでは、他の色成分との差の値が微妙に狂っ
て、いわゆる偽色が発生することがある。また自然画像の場合は、通常、局所的に似通っ
た色相を有する。こうしたことを考えると、周囲の画素から色差成分を補間して、得られ
た色差成分に基づいて補間画素での色成分を決定する方がより望ましい。例えば、図17
(a)に示したR画素であればB成分を求めようとしているのであるから、斜めに隣接す
る4つのB画素で、G成分とB成分との差を示す色差成分CDGBを求め、これら4つの色
差成分CDGBから補間画素での色差成分CDGBを算出する。そして、得られた色差成分C
DGBと、補間画素でのG成分とに基づいて、最後の色成分であるB成分を求めることも可
能である。
ここで、斜めに隣接する画素はB画素であるから、これらの画素に対して、図5の算出
式を適用して得られている色差成分は、上下方向の色差成分CVvも水平方向の色差成分
CDhも、G成分とB成分との差を示す色差成分CDGBとなっている。従って、これらの
8つの色差成分CDGBに基づいて、補間画素での色差成分CDGBを算出することも可能で
ある。例えば、各画素での上下方向の色差成分CVvと水平方向の色差成分CDhとの平
均を取ることによって、各画素を代表する色差成分を求めた後、それら4つの画素(補間
画素に斜めに隣接する画素)を代表する色差成分から、補間画素での色差成分を求めるよ
うにしてもよい。あるいは、補間画素でのエッジ方向を検出して、エッジ方向に合致する
色差成分CDGBのみに基づいて、補間画素での色差成分CDGBを算出することも可能であ
る。もっとも、これらのように、上下方向の色差成分CVvおよび水平方向の色差成分C
Dhを考慮しながら補間画素の色差成分を決定する方法は、処理が複雑となるので、補間
画素に斜めに隣接する各画素で得られたG成分とB成分とに基づいて算出した方が、色差
成分CDGBを迅速に算出することが可能である。
図18に示した本実施例の非G画素補間処理は、以上のような考え方に基づいて、G成
分を補間した後に、非G画素での最後の色成分を補間する処理を行う。以下、フローチャ
ートに従って、非G画素補間処理の具体的な処理内容について説明する。
非G画素補間処理を開始すると、先ず始めに、補間画素から見て斜めに隣接する4つの
画素での、G成分とRAW画像データとを取得する(ステップS350)。図17(a)
あるいは図17(b)に示したように、補間画素がR画素であれば、斜めに隣接する画素
はB画素であるからRAW画像データはB成分であり、また、補間画素がB画素であれば
、斜めに隣接する画素はR画素であるからRAW画像データはR成分となる。
次いで、これら隣接する4つの画素での色差成分、すなわち、RAW画像データからG
成分を減算した値を算出して、それらの平均を取ることによって、補間画素での色差成分
を算出する(ステップS352)。尚、本明細書中で色差成分というと、図5に示したよ
うに、通常は、G成分からR成分あるいはB成分を減算した値を用いているのに対して、
ステップS352では、色差成分の符号を変えて、RAW画像データ(すなわちR成分あ
るいはB成分)からG成分を減算している。これは、後の計算で、符号を変える手間を省
くための、言わば計算の便宜によるものである。
こうして、補間画素での色差成分を算出したら、今度は、補間画素でのG成分を取得す
る(ステップS354)。補間画素は非G画素であるから、RAW画像データはG成分で
はないが、先に図16を用いて説明したG成分補間処理において、既にG成分が求められ
ている。
そこで、ステップS352で求めた補間画素での色差成分(ここでは、RAW画像デー
タからG成分を減算した値)に、ステップS354で取得したG成分を加算することによ
って、補間画素についての最後の色差成分を算出することができる(ステップS356)
以上のようにして、非G画素での最後の色差成分が得られたら、図18に示した非G画
素補間処理を終了して、図3のカラー画像データ生成処理に復帰する。図3に示したよう
に、カラー画像データ生成処理では、非G画素補間処理から復帰すると、G画素での欠落
成分を補間する処理(G画素補間処理)を開始する。
F.G画素補間処理:
図19は、G画素補間処理の流れを示すフローチャートである。G画素補間処理を開始
すると、先ず始めに、補間画素のエッジ方向dを取得する(ステップS400)。エッジ
方向は、図7を用いて前述したエッジ方向マップ生成処理において予め決定されて、エッ
ジ方向マップに設定されている。また、前述したように、エッジ方向は、全ての画素につ
いて決定されている場合と、非G画素についてのみ決定されている場合とが存在し得る。
仮に、エッジ方向が全ての画素について決定されているのであれば、ステップS400で
は、エッジ方向マップを参照することによって、直ちに補間画素のエッジ方向マップを取
得することができる。これに対して、非G画素についてのみエッジ方向が決定されている
場合は、エッジ方向が決定されている周囲の画素から、補間画素でのエッジ方向を推定す
ればよい。
図20は、周囲の画素のエッジ方向から補間画素でのエッジ方向を推定する方法を示し
た説明図である。G画素補間処理は、G画素について欠落した色成分であるR成分とB成
分とを補間する処理であるから、補間画素の周囲の画素の配置は、図20(a)に示す配
置、または図20(b)に示す配置の何れかである。尚、図20(a)および図20(b
)では、補間画素に斜線を付して表示している。ここでは、非G画素についてのみエッジ
方向が決定されている場合を想定しているから、補間画素の上下左右の4つの画素では、
エッジ方向が設定されていることになる。
図20(c)あるいは図20(d)には、補間画素の周囲の4つの画素に、エッジ方向
dが設定されている様子が例示されている。例えば周囲の4つの画素に設定されているエ
ッジ方向dが、図20(c)に示した配列となっていた場合、補間画素の周囲ではエッジ
方向dが「3」の画素よりもエッジ方向dが「1」の画素の方が多いから、補間画素のエ
ッジ方向dは、「1」と推定することが適当である。また、周囲の画素のエッジ方向dが
図20(d)に示した配列であれば、エッジ方向dが「1」の画素よりもエッジ方向dが
「3」の画素の方が多いから、補間画素のエッジ方向dは「3」と推定することが適当で
ある。
従って、補間画素の周囲で、エッジ方向dが「1」の画素、およびエッジ方向dが「3
」の画素を数えて、画素数の多い方のエッジ方向dを、補間画素のエッジ方向dとすれば
よい。あるいは、画素数を数える代わりに、補間画素の上下左右の4つの画素に設定され
ているエッジ方向dの総和を求めてもよい。エッジ方向dが「1」の画素数と、エッジ方
向dが「3」の画素数とが同数ずつ存在する場合、エッジ方向dの総和値は「8」になる
から、総和値が「8」未満であれば、エッジ方向dが「1」の画素が多いものと判断して
、補間画素のエッジ方向dを「1」とすればよい。逆に、総和値が「8」を超過していれ
ば、エッジ方向dが「3」の画素が多いものと判断して、補間画素のエッジ方向dを「3
」すればよい。また、総和値が「8」である場合(エッジ方向dが「1」の画素およびエ
ッジ方向dが「3」の画素が同数存在する場合)は、補間画素のエッジ方向dは「1」あ
るいは「3」の何れかとしておけばよい。
以上に説明したように、図19のステップS400では、エッジ方向マップに全画素の
エッジ方向dが設定されている場合であれば、補間画素のエッジ方向dを読み出すことに
より、また、非G画素についてのみエッジ方向dが設定されている場合であれば、補間画
素の周囲にある画素のエッジ方向dを読み出すことによって、補間画素のエッジ方向dを
取得する。
以上のようにして、補間画素についてのエッジ方向dを取得したら、そのエッジ方向d
が「1」であるか否かを判断する(ステップS402)。そして、エッジ方向dが「1」
であった場合は(ステップS402:yes)、補間画素ではエッジが上下方向に走って
いると判断されるので、補間画素の上下に隣接する画素のR成分、G成分、およびB成分
を取得する(ステップS404)。図20(a)あるいは図20(b)に示したように、
補間画素の上下の画素は必ず非G画素であり、非G画素の欠落した色成分は、図16G成
分補間処理および図18の非G画素補間処理によって既に求められているので、直ちに、
R成分、G成分、およびB成分を取得することができる。
一方、補間画素のエッジ方向dが「1」ではないと判断された場合は(ステップS40
2:no)、補間画素ではエッジが水平方向に走っていると判断されるので、補間画素の
左右に隣接する画素のR成分、G成分、およびB成分を取得する(ステップS406)。
補間画素の左右の画素も非G画素であるから、これらの画素のR成分、G成分、B成分を
直ちに取得することができる。
次いで、RGBの各成分を取得した画素について、色差成分を算出する(ステップS4
08)。補間画素のエッジ方向dが「1」であった場合は(ステップS402:yes)
、上下に隣接する画素での色差成分が算出され、逆に、補間画素のエッジ方向dが「1」
でなかった場合は(ステップS402:no)、左右に隣接する画素での色差成分が算出
されることになる。尚、図18に示した非G画素補間処理の場合と同様に、このとき算出
する色差成分も、R成分からG成分を減算し、あるいはB成分からG成分を減算すること
によって、符号を変えた色差成分を算出する。こうすることで、後ほど、補間画素のR成
分およびB成分を算出する際に、符号を変える手間を省くことが可能となる。
こうして上下の画素、あるいは左右の画素での色差成分を算出したら(ステップS40
8)、これらの画素での色差成分から補間することにより、今度は、補間画素での色差成
分を算出する(ステップS410)。上述したように、上下の画素あるいは左右の画素で
得られている色差成分は、符号を変えた色差成分(すなわち、R成分からG成分を減算し
た色差成分、およびB成分からG成分を減算した色差成分)であるから、補間によって得
られた色差成分も、符号を変えた色差成分となる。
次いで、補間画素のG成分を取得する(ステップS412)。補間画素はG画素である
から、RAW画像データがそのままG成分となっている。そして、先に算出した色差成分
と、補間画素のG成分とに基づいて、補間画素のR成分およびB成分を算出する(ステッ
プS414)。上述したように、色差成分は符号を変えた色差成分となっているから、単
に色差成分にG成分を加算するだけで、R成分、B成分を算出することが可能である。
以上のようにして、全てのG画素について欠落している色成分(R成分およびB成分)
を求めたら、図19に示すG画素補間処理を終了して、図3のカラー画像データ生成処理
に復帰する。
図3を用いて前述したように、G画素補間処理から復帰すると(図3のS110)、全
画素について欠落している色成分の補間が終了したことになるので、各画素について得ら
れたRGB各成分を、RAW画像データから生成されたカラー画像データとして出力して
(ステップS112)、図3に示した本実施例のカラー画像データ生成処理を終了する。
以上、本実施例のデジタルカメラ100で、RAW画像データにデモザイク処理を施し
て、カラー画像データを生成する処理について、詳しく説明した。かかるカラー画像デー
タ生成処理では、デモザイク処理に先立ってエッジ方向マップを生成する。このとき、上
下方向の色差成分CDvおよび水平方向の色差成分CDhの各々についての変化量に着目
することで、異なる2種類の色差成分(G成分とR成分との差に対応する色差成分、およ
びG成分とB成分との差に対応する色差成分)を用いてエッジ方向を検出することが可能
となる。その結果、規模の小さなエッジも精度良く検出することができるようになり、正
確なエッジ方向マップを生成することが可能となる。そして、続いて行うデモザイク処理
では、正確なエッジ方向マップに従って、欠落した色成分を補間することで、適切に補間
することが可能となる。
しかも、エッジ方向マップを生成する処理も、欠落した色成分を補間する処理も、決し
て複雑な処理ではなく、迅速に実行可能である。その結果、RGB各成分がモザイク状に
組み合わされたRAW画像データから、適切なカラー画像データを迅速に生成することが
可能となる。
以上、本実施例のデジタルカメラ100内で、RAW画像データからカラー画像データ
を生成する処理について説明したが、本発明は上記すべての実施例に限られるものではな
く、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
10…光学系、20…撮像部、22…カラーフィルタアレイ、24…撮像板、30…画
像処理装置、40…外部出力端子、50…外部記録媒体、100…デジタルカメラ。

Claims (9)

  1. R、G、Bの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にR、G、Bの全ての色成分が設定されたカラー画像データを生成する画像処理装置であって、
    前記モザイク画像データは、前記R成分の画素と前記G成分の画素とが縦方向に交互に並んだ画素列と、前記G成分の画素と前記B成分の画素とが縦方向に交互に並んだ画素列と、前記R成分の画素と前記G成分の画素とが横方向に交互に並んだ画素行と、前記G成分の画素と前記B成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成された画像データであり、
    前記モザイク画像データの前記画素列において、該画素列内の所定の画素での前記G成分と他の色成分とを補間によって算出し、該G成分と該他の色成分との差を示す縦方向色差成分を、算出する縦方向色差成分算出手段と、
    前記モザイク画像データの前記画素行において、該画素行内の所定の画素での前記G成分と他の色成分とを補間によって算出し、該G成分と該他の色成分との差を示す横方向色差成分を、算出する横方向色差成分算出手段と、
    前記モザイク画像データの中から前記R成分または前記B成分が設定された画素を選択し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定するエッジ方向決定手段と、
    前記モザイク画像データの画素について該画素に設定されていない色成分である欠落色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記色成分に基づいて補間する欠落色成分補間手段と
    を備え、
    前記エッジ方向決定手段は、
    前記エッジ方向を決定しようとする画素を含んだ前記画素列での前記縦方向色差成分と、該画素列に隣接する画素列での該縦方向色差成分とに基づいて、該画素での縦方向色差成分の変化量を算出する縦方向変化量算出手段と、
    前記エッジ方向を決定しようとする画素を含んだ前記画素行での前記横方向色差成分と、該画素行に隣接する画素行での該横方向色差成分とに基づいて、該画素での横方向色差成分の変化量を算出する横方向変化量算出手段と、
    を備える画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記エッジ方向決定手段は、前記モザイク画像データ中で前記R成分が設定されている画素、および前記B成分が設定されている画素についてのみ、前記エッジ方向を決定する手段である画像処理装置。
  3. 請求項1又は2に記載の画像処理装置であって、
    前記エッジ方向決定手段は、
    前記縦方向色差成分の変化量が前記横方向色差成分の変化量よりも大きい場合には、前記エッジ方向が横方向であると決定し、
    前記縦方向色差成分の変化量が前記横方向色差成分の変化量よりも小さい場合には、前記エッジ方向が縦方向であると決定し、
    前記縦方向色差成分の変化量と前記横方向色差成分の変化量とが等しい場合には、前記エッジ方向を縦方向または横方向の何れかに決定する手段である画像処理装置。
  4. 請求項1乃至3のいずれかに記載の画像処理装置であって、
    前記欠落色成分補間手段は、前記欠落色成分として前記G成分を補間する場合には、補間しようとする画素である補間画素の上下に隣接する一組の画素、または該補間画素の左右に隣接する一組の画素の何れかの画素の組で得られた前記色成分に基づいて、該補間画素での該G成分を補間する手段である画像処理装置。
  5. 請求項に記載の画像処理装置であって、
    前記欠落色成分補間手段は、
    前記補間画素の上下に隣接する一組の画素で得られた前記縦方向色差成分、または該補間画素の左右に隣接する一組の画素で得られた前記横方向色差成分の何れかに基づいて、前記補間画素での該縦方向色差成分または該横方向色差成分を補間する色差成分補間手段と、
    前記補間画素について得られた前記縦方向色差成分または前記横方向色差成分と、該補間画素に設定された前記モザイク画像データの前記色成分とに基づいて、該補間画素で前記G成分を算出するG成分算出手段と
    を備える画像処理装置。
  6. 請求項4又は5に記載の画像処理装置であって、
    前記欠落色成分補間手段は、前記モザイク画像データに前記G成分が設定されていない全ての画素について該G成分を補間した後、該補間したG成分と該モザイク画像データに設定された前記色成分とを用いて、前記R成分および前記B成分を補間する手段である画像処理装置。
  7. 請求項1乃至6のいずれかに記載の画像処理装置であって、
    前記エッジ方向決定手段は、前記モザイク画像データの中で少なくとも前記R成分または前記B成分が設定された全ての画素についての前記エッジ方向を決定することにより、エッジ方向マップを生成する手段であり、
    前記欠落色成分補間手段は、前記エッジ方向マップに記憶されている前記エッジ方向を参照することにより、前記欠落色成分を補間する手段である画像処理装置。
  8. 光の三原色に対応するR、G、Bの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にR、G、Bの全ての色成分が設定されたカラー画像データを生成する画像処理方法であって、
    前記モザイク画像データとして、前記R成分の画素と前記G成分の画素とが縦方向に交互に並んだ画素列と、前記G成分の画素と前記B成分の画素とが縦方向に交互に並んだ画素列と、前記R成分の画素と前記G成分の画素とが横方向に交互に並んだ画素行と、前記G成分の画素と前記B成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成された画像データを受け取る第1の工程と、
    前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記G成分と他の色成分とを補間によって算出し、該G成分と該他の色成分との差を示す縦方向色差成分を、該画素列の各画素について算出する第2の工程と、
    前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記G成分と他の色成分とを補間によって算出し、該G成分と該他の色成分との差を示す横方向色差成分を、該画素行の各画素について算出する第3の工程と、
    前記モザイク画像データの中から前記R成分または前記B成分が設定された画素を選択し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定する第4の工程と、
    前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記色成分に基づいて補間する第5の工程と
    を備え、
    前記第4の工程は、
    前記エッジ方向を決定しようとする画素を含んだ前記画素列での前記縦方向色差成分と、該画素列に隣接する画素列での該縦方向色差成分とに基づいて、該画素での縦方向色差成分の変化量を算出する工程と、
    前記エッジ方向を決定しようとする画素を含んだ前記画素行での前記横方向色差成分と、該画素行に隣接する画素行での該横方向色差成分とに基づいて、該画素での横方向色差成分の変化量を算出する工程と、
    を備える画像処理方法。
  9. 光の三原色に対応するR、G、Bの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にR、G、Bの全ての色成分が設定されたカラー画像データを生成する方法を、コンピュータを用いて実現するためのプログラムであって、
    前記モザイク画像データとして、前記R成分の画素と前記G成分の画素とが縦方向に交互に並んだ画素列と、前記G成分の画素と前記B成分の画素とが縦方向に交互に並んだ画素列と、前記R成分の画素と前記G成分の画素とが横方向に交互に並んだ画素行と、前記G成分の画素と前記B成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成された画像データを受け取る第1の機能と、
    前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記G成分と他の色成分とを補間によって算出し、該G成分と該他の色成分との差を示す縦方向色差成分を、該画素列の各画素について算出する第2の機能と、
    前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記G成分と他の色成分とを補間によって算出し、該G成分と該他の色成分との差を示す横方向色差成分を、該画素行の各画素について算出する第3の機能と、
    前記モザイク画像データの中から前記R成分または前記B成分が設定された画素を選択し、少なくとも該選択された画素については、前記縦方向色差成分の変化量と前記横方向色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定する第4の機能と、
    前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記色成分に基づいて補間する第5の機能と
    を実現させ、
    前記第4の機能は、
    前記エッジ方向を決定しようとする画素を含んだ前記画素列での前記縦方向色差成分と、該画素列に隣接する画素列での該縦方向色差成分とに基づいて、該画素での縦方向色差成分の変化量を算出する機能と、
    前記エッジ方向を決定しようとする画素を含んだ前記画素行での前記横方向色差成分と、該画素行に隣接する画素行での該横方向色差成分とに基づいて、該画素での横方向色差成分の変化量を算出する機能と、
    を含むプログラム。
JP2009063999A 2008-03-28 2009-03-17 画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP4840468B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/058,253 US7995840B2 (en) 2008-03-28 2008-03-28 Image processing apparatus, image processing method, and program for attaining image processing
US12/058,253 2008-03-28

Publications (2)

Publication Number Publication Date
JP2009246963A JP2009246963A (ja) 2009-10-22
JP4840468B2 true JP4840468B2 (ja) 2011-12-21

Family

ID=40351868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009063999A Expired - Fee Related JP4840468B2 (ja) 2008-03-28 2009-03-17 画像処理装置、画像処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US7995840B2 (ja)
EP (1) EP2106149A2 (ja)
JP (1) JP4840468B2 (ja)
CN (1) CN101547370B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263724B2 (en) 2019-10-02 2022-03-01 Hanwha Techwin Co., Ltd. Device for interpolating colors and method thereof

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914303B2 (ja) * 2007-07-13 2012-04-11 シリコン ヒフェ ベー.フェー. 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
JP5169994B2 (ja) * 2009-05-27 2013-03-27 ソニー株式会社 画像処理装置、撮像装置及び画像処理方法
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
CN102170572A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种新型边缘自适应cfa彩色图像插值方法
JP5853166B2 (ja) 2011-06-08 2016-02-09 パナソニックIpマネジメント株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
CN102254301B (zh) * 2011-07-22 2013-01-23 西安电子科技大学 基于边缘方向插值的cfa图像去马赛克方法
EP2815393B1 (en) 2012-02-14 2023-04-05 Gentex Corporation High dynamic range imager system
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
US9280803B2 (en) 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images
CN104240182A (zh) * 2013-06-06 2014-12-24 富士通株式会社 图像处理装置、图像处理方法以及电子设备
CN103905802B (zh) * 2014-04-21 2016-07-13 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
WO2016079831A1 (ja) * 2014-11-19 2016-05-26 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置
CN105069815A (zh) * 2015-07-27 2015-11-18 广东东软学院 一种海面监测图像弱小目标跟踪方法及装置
US9582853B1 (en) * 2015-08-03 2017-02-28 Intel Corporation Method and system of demosaicing bayer-type image data for image processing
CN106507066B (zh) * 2016-11-22 2018-04-17 深圳开阳电子股份有限公司 抑制图像伪彩色的方法、装置
JP6602743B2 (ja) * 2016-12-08 2019-11-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6862272B2 (ja) * 2017-05-15 2021-04-21 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
US11509869B2 (en) * 2020-02-04 2022-11-22 Samsung Electronics Co., Ltd. Pixel array reducing loss of image information and image sensor including same

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3401894B2 (ja) * 1994-02-17 2003-04-28 松下電器産業株式会社 映像信号処理装置
US6507364B1 (en) * 1998-03-13 2003-01-14 Pictos Technologies, Inc. Edge-dependent interpolation method for color reconstruction in image processing devices
US6628330B1 (en) * 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US6836289B2 (en) * 1999-12-20 2004-12-28 Texas Instruments Incorporated Digital still camera architecture with red and blue interpolation using green as weighting factors
US6933970B2 (en) * 1999-12-20 2005-08-23 Texas Instruments Incorporated Digital still camera system and method
US6781626B1 (en) * 2000-01-13 2004-08-24 Biomorphic Vlsi, Inc. System and method of color interpolation
JP2002016930A (ja) * 2000-06-28 2002-01-18 Canon Inc 撮像装置及び方法、信号処理装置及び方法
JP2002018930A (ja) 2000-06-30 2002-01-22 Sumitomo Chem Co Ltd 多層フィルムの製造方法および多層フィルム
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
US6904169B2 (en) * 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
US6904166B2 (en) * 2001-11-19 2005-06-07 Avermedia Technologies, Inc. Color interpolation processor and the color interpolation calculation method thereof
US6970597B1 (en) * 2001-12-05 2005-11-29 Pixim, Inc. Method of defining coefficients for use in interpolating pixel values
EP1641283B1 (en) * 2003-06-12 2019-01-09 Nikon Corporation Image processing method, image processing program, image processor
JP4104495B2 (ja) * 2003-06-18 2008-06-18 シャープ株式会社 データ処理装置、画像処理装置およびカメラ
JP2005072786A (ja) * 2003-08-21 2005-03-17 Matsushita Electric Ind Co Ltd 色分離処理回路、色分離処理方法、プログラム、及びデジタルカメラ
JP2005167974A (ja) 2003-11-10 2005-06-23 Seiko Epson Corp 画像処理方法及び画像処理装置、画像処理プログラム並びに半導体装置
US7525584B2 (en) * 2004-01-05 2009-04-28 Lifesize Communications, Inc. Fast edge directed demosaicing
JP4333544B2 (ja) 2004-02-13 2009-09-16 セイコーエプソン株式会社 画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体
KR100708465B1 (ko) * 2005-02-03 2007-04-18 삼성전자주식회사 컬러 상관 유사도와 다방향 에지 정보를 이용한 컬러 필터보간 방법
TWI295449B (en) * 2005-05-09 2008-04-01 Sunplus Technology Co Ltd Edge enhancement method and apparatus for bayer image and an image acquisition system
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
US7486844B2 (en) * 2005-11-17 2009-02-03 Avisonic Technology Corporation Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels
JP5006067B2 (ja) * 2006-06-29 2012-08-22 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263724B2 (en) 2019-10-02 2022-03-01 Hanwha Techwin Co., Ltd. Device for interpolating colors and method thereof

Also Published As

Publication number Publication date
CN101547370A (zh) 2009-09-30
JP2009246963A (ja) 2009-10-22
US7995840B2 (en) 2011-08-09
EP2106149A2 (en) 2009-09-30
US20090244333A1 (en) 2009-10-01
CN101547370B (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
JP4840468B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5287585B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5428628B2 (ja) 画像処理装置、画像処理方法、およびプログラム
TWI516132B (zh) An image processing apparatus, an image processing method, and a program
CN102055988B (zh) 图像处理设备及其控制方法
WO2006048962A1 (ja) 画素信号処理装置及び画素信号処理方法
US8131110B2 (en) Reducing signal overshoots and undershoots in demosaicking
US20130077858A1 (en) Image processing module and image processing method
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010016812A (ja) 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体
US8077234B2 (en) Image pickup device and method for processing an interpolated color signal
JP2014200009A (ja) 画像処理装置および方法、並びにプログラム
US7324707B2 (en) Interpolation method for generating pixel color
JP3905708B2 (ja) 画像補間装置
CN114359050B (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
KR100996797B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP3926019B2 (ja) 撮像装置
JP4732153B2 (ja) 画素補間方法及び装置、画像読取装置
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム
JP5572992B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP4334484B2 (ja) 画素信号処理装置及び方法
JP5106221B2 (ja) 撮像装置
JP3926023B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110919

R150 Certificate of patent or registration of utility model

Ref document number: 4840468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees