JP4154661B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4154661B2 JP4154661B2 JP2003005586A JP2003005586A JP4154661B2 JP 4154661 B2 JP4154661 B2 JP 4154661B2 JP 2003005586 A JP2003005586 A JP 2003005586A JP 2003005586 A JP2003005586 A JP 2003005586A JP 4154661 B2 JP4154661 B2 JP 4154661B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- color component
- interpolation
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 62
- 230000002950 deficient Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、単板式固体撮像素子を用いて取得した画像を元にしてカラー画像を生成したり、固体撮像素子を用いて取得した画像の欠陥画素を補間したりする場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
従来、単板式固体撮像素子(CCD(Charge Coupled Device)等)が搭載されているディジタルスチルカメラ、ディジタルビデオカメラなどの撮影装置においては、単板の固体撮像素子が出力する、各画素がR,G,B成分のうちのいずれかを有する色モザイク画像を元にして、各画素がそれぞれR,G,B成分の全てを有するカラー画像を生成する処理が実行されている。以下、この処理をデモザイク処理と記述する。
【0003】
最も基本的なデモザイク処理では、例えば、色モザイク画像のR成分だけを有している注目画素に対して、注目画素の近傍に位置するG成分だけを有する画素を用いた線形補間演算によってG成分が生成される。同様に、注目画素の近傍に位置するB成分だけを有する画素を用いた線形補間演算によってB成分が生成される。
【0004】
しかしながら、上述した基本的なデモザイク処理のように、単に、注目画素の近傍に位置し、かつ、所望の色成分信号を有する画素を線形補間に用いた場合、画像内の被写体のエッジ部分が全く考慮されていないので、エッジ部分に、色にじみ、解像度の劣化が発生することが多い。
【0005】
このような問題を解決する第1のデモザイク処理として、色モザイク画像の注目画素に対して、周辺の色の変化を調べ、その変化に応じて重み付けを算出し、重み付け補間を行うことより、注目画素が本来有してなかった色成分信号を生成する方法を挙げることができる(例えば、特許文献1参照)。
【0006】
第1のデモザイク処理によれば、エッジ方向に存在する画素が大きい重み付けで補間を行うことができるので、上述した基本的なデモザイク処理よりもエッジの再現性がよい。しかしながら、エッジ方向に存在しない画素についても小さい重み付けではあるが補間に用いられるので、被写体のエッジの再現性は完全ではなく、色にじみが発生してしまうことがある。
【0007】
ところで、最近の生産技術によっても、欠陥画素を全く生じさせることなく、固体撮像素子を生産することは非常に困難である。そこで、固体撮像素子の生産の歩留まりを一定に保つために、固体撮像素子に生じたわずかな欠陥画素を許容してディジタルカメラに搭載し、ディジタルカメラ等において、欠陥画素の近傍に位置する正常な画素を用いて欠陥画素の画素値を補間する処理が行われている。以下、この処理を、欠陥画素補間処理と記述する。
【0008】
従来の欠陥画素補間処理は、上述した最も基本的なデモザイク処理や、第1のデモザイク処理と同様の方法で行われていたが、これらと同様に問題が生じていた。
【0009】
さらに、第1の欠陥画素補間処理として、欠陥画素と同じ色成分信号を有していて、欠陥画素対称の画素対のうち、画素対の画素値の差が最も小さいものの平均値を欠陥画素の画素値とする方法を挙げることができる(例えば、特許文献2参照)。
【0010】
第1の欠陥画素補間処理は、被写体のエッジをまたぐ画素対が補間に用いられること避けることができるので、第1のデモザイク処理と同様の方法に比べてエッジの再現性がよい。しかしながら、欠陥画素と同じ色成分信号を有する欠陥画素対称の画素対の数は有限であるため、画素対の間の他にエッジがあった場合、精度よくエッジを再現することができないことがある。
【0011】
第2の欠陥画素補間処理として、欠陥画素の近傍の画素を用いて水平曲率、垂直曲率を算出し、曲率の低い方向(垂直あるいは水平)に補間する方法を挙げることができる(例えば、特許文献3参照)。
【0012】
第2の欠陥画素補間処理も、第1のデモザイク処理と同様の方法に比べてエッジの再現性がよい。しかしながら、補間方向が水平、垂直等に限定されるので、エッジの方向が、水平方向および垂直方向以外であった場合、精度よくエッジを再現することができないことがある。
【0013】
【特許文献1】
特開2001−307079号公報
【特許文献2】
特開2001−307079号公報
【特許文献3】
特開2002−33964号
【0014】
【発明が解決しようとする課題】
上述したように、デモザイク処理と欠陥画素補間処理には、同様の方法を用いることが可能であり、共通の課題を抱えている。
【0015】
すなわち、従来のデモザイク処理と欠陥画素補間処理には、被写体のエッジを考慮した方法も存在するが、エッジの方向によっては、精度よくエッジを再現することができない課題があった。
【0016】
本発明はこのような状況に鑑みてなされたものであり、デモザイク処理または欠陥画素補間処理において、画像内の被写体のエッジ部分を、その方向に拘わらず、精度よく再現できるようにすることを目的とする。
【0017】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像を構成する複数の画素のうちの1つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成手段と、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出手段と、抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出手段と、抽出された画素のうち、エッジの方向ベクトルと平行するか、または直交する注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、距離に対応する重み係数を算出する重み係数算出手段と、抽出された画素と算出された重み係数とを用いた補間演算により、注目画素の色成分信号を補間する第1の補間手段とを含む。
【0018】
前記生成手段は、欠陥画素を注目画素に決定することができる。
【0021】
本発明の画像処理装置は、抽出手段によって抽出された画素を用いた線形補間演算により、注目画素が持っていない色成分信号を補間する第2の補間手段と、検出手段によって検出された局所領域におけるエッジの方向ベクトルのサイズを算出する算出手段と、方向ベクトルのサイズに従い、第1の補間手段の出力、または第2の補間手段の出力を、注目画素が持っていない色成分信号に選択する選択手段とさらに含むことができる。
【0022】
本発明の画像処理方法は、入力された画像を構成する複数の画素のうちの1つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出された画素のうち、エッジの方向ベクトルと平行するか、または直交する注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、距離に対応する重み係数を算出する重み係数算出ステップと、抽出された画素と算出された重み係数とを用いた補間演算により、注目画素の色成分信号を補間する第1の補間ステップとを含む。
【0023】
本発明の記録媒体は、入力された画像を構成する複数の画素のうちの1つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出された画素のうち、エッジの方向ベクトルと平行するか、または直交する注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、距離に対応する重み係数を算出する重み係数算出ステップと、抽出された画素と算出された重み係数とを用いた補間演算により、注目画素の色成分信号を補間する第1の補間ステップとを含む処理を画像処理装置のコンピュータに実行させるプログラムが記録されている。
【0024】
本発明のプログラムは、入力された画像を構成する複数の画素のうちの1つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出された画素のうち、エッジの方向ベクトルと平行するか、または直交する注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、距離に対応する重み係数を算出する重み係数算出ステップと、抽出された画素と算出された重み係数とを用いた補間演算により、注目画素の色成分信号を補間する第1の補間ステップとを含む処理を画像処理装置のコンピュータに実行させる。
【0025】
本発明においては、入力された画像の注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報が生成され、局所領域情報から注目画素が持っていない色成分信号を有する画素が抽出される。さらに、抽出された画素に基づき、局所領域におけるエッジの方向ベクトルが検出され、抽出された画素のうち、エッジの方向ベクトルと平行するか、または直交する注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、距離に対応する重み係数が算出され、抽出された画素と算出された重み係数とを用いた補間演算により、注目画素の色成分信号が補間される。
【0026】
【発明の実施の形態】
図1は、本発明の一実施の形態であるディジタルビデオカメラの構成例を示している。ディジタルビデオカメラ1は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【0027】
ディジタルビデオカメラ1の光学系は、被写体の光画像を集光するレンズ2、光画像の光量を調整する絞り3、および集光された光画像を所定のフレームレートで光電変換して色モザイク画像の画素となる電気信号を生成する単板式CCDイメージセンサ4から構成される。
【0028】
信号処理系は、単板式CCDイメージセンサ4により生成された電気信号をサンプリングすることによってノイズを低減させる相関2重サンプリング回路(CDS)5、相関2重サンプリング回路5によってノイズが除去された電気信号をAD変換するA/Dコンバータ6、A/Dコンバータ6が出力する色モザイク画像に対してデモザイク処理を施して、R,G,B成分の全てを有する画素から構成されるカラー画像を生成するDSP(Digital Signal Processor)7から構成される。なお、DSP7は、必要に応じて、欠陥画素補間処理も実行する。
【0029】
ディジタルビデオカメラ1の記録系は、DSP7から入力されるカラー画像をエンコードしてメモリ13に記録したり、メモリ13に記憶されている符号データを読み出してデコードし、DSP7に供給したりするCODEC(Compression/Decompression)12、および、エンコードされたカラー画像を記憶する磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ13から構成される。
【0030】
ディジタルビデオカメラ1の表示系は、DSP7から供給されるカラー画像の画素をDA変換するD/Aコンバータ9、D/Aコンバータ9が出力するR,G,B成分の全てを有する画素から構成されるカラー画像を、輝度Y、色差Cr,Cb等の通常のビデオ信号に変換してディスプレイ11に出力するビデオエンコーダ10、およびビデオ信号に対応する画像を表示することによってファインダやビデオモニタとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ11から構成される。
【0031】
ディジタルビデオカメラ1の制御系は、単板式CCDイメージセンサ4乃至DSP7の動作タイミングを制御するタイミングジェネレータ(TG)8、ユーザからの各種の操作を受け付けるインプットデバイス15、およびディジタルビデオカメラ1の全体を制御するCPU(Central Processing Unit)14から構成される。
【0032】
次に、ディジタルビデオカメラ1の動作の概要について、図2のフローチャートを参照して説明する。ステップS1において、ディジタルビデオカメラ1の撮像系および信号処理系は、被写体を撮影し、対応する色モザイク画像を取得する。具体的には、被写体の光学画像(入射光)が、レンズ2および絞り3を介して単板式CCDイメージセンサ4に入射され、単板式CCDイメージセンサ4によって光電変換され、得られた色モザイク画像の画素となる電気信号が、相関2重サンプリング回路5によってノイズが除去され、A/Dコンバータ6によってディジタル化された後、DSP7に供給される。
【0033】
ステップS2において、信号処理系のDSP7は、A/Dコンバータ6から入力された色モザイク画像に、本発明を適用したデモザイク処理を施してカラー画像を生成する。例えば、図3に示すように、色モザイク画像を構成する画素の有する色成分信号がベイヤ配列をなしている場合、注目画素(この例の場合、R成分だけを有している画素)に対し、注目画素を中心と所定の局所領域に含まれる画素のうち、G成分を有する画素を用いた重み付け補間により注目画素のG成分を生成し、B成分を有する画素を用いた重み付け補間により注目画素のB成分を生成する。ここで、DSP7は、色モザイク画像を構成する画素の座標と有する色成分信号の種類を示す情報を、予め保持しているものとする。なお、本発明を適用したデモザイク処理については、図12を参照して詳述する。
【0034】
また、DSP7に入力された色モザイク画像に欠陥画素が存在する場合、デモザイク処理の前に、本発明を適用した欠陥画素補間処理を実行するようにする。例えば、図4に示すように、色モザイク画像を構成する画素の有する色成分信号がベイヤ配列をなしている場合、欠陥画素(この例の場合、正常ならばG成分だけを有している画素)に対し、注目画素を中心と所定の局所領域に含まれる画素のうち、G成分を有する画素を用いた重み付け補間により欠陥画素のG成分を生成する。ここで、DSP7は、色モザイク画像の欠陥画素の座標を示す情報も、予め保持しているものとする。
【0035】
以上で、ディジタルビデオカメラ1の動作概要の説明を終了する。
【0036】
次に、図5は、DSP7の第1の構成例を示している。DSP7の注目画素決定部20は、上段から入力される色モザイク画像の画素を、順次、注目画素に決定し、注目画素を中心とする所定の局所領域(例えば、7×7画素)に含まれる画素を、エッジ方向算出部21、重み算出部22、第1補間部23、および第2補間部24に出力する。
【0037】
エッジ方向算出部21は、色モザイク画像の注目画素を中心とする所定の局所領域における色成分信号毎に、エッジ方向ベクトルおよびエッジサイズを算出して、エッジ方向ベクトルおよびエッジサイズを重み算出部22に出力するとともに、エッジサイズを第2補間部24、およびセレクタ25に出力する。
【0038】
図6は、エッジ方向算出部21の構成例を示している。エッジ方向算出部21のリサンプリング部31は、注目画素を中心とする所定の局所領域に含まれる複数の画素を、注目画素が持っていない色成分信号毎にリサンプリングして、グラディエント算出部32に出力する。グラディエント算出部32は、色成分信号毎にリサンプリングされた同一の色成分信号を有する複数の画素に基づき、グラディエントオペレータ、方向別のエネルギ差分値等を利用して、各色成分信号のグラディエント(勾配)を算出して、ベクトル回転部33に出力する。
【0039】
ベクトル回転部33は、各色成分信号のグラディエントを90度回転し、エッジ方向ベクトルとして正規化部34およびエッジサイズ算出部35に出力する。正規化部34は、ベクトル回転部33から入力されたエッジ方向ベクトルを正規化して、後段の重み算出部22に出力する。エッジサイズ算出部35は、ベクトル回転部33から入力されたエッジ方向ベクトルのノルムを算出し、その結果をエッジサイズとして、後段の第1補間部23、第2補間部24、およびセレクタ25に出力する。
【0040】
図5に戻る。重み算出部22は、エッジ方向算出部21から入力されるエッジサイズが所定の閾値th3よりも大きい場合、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第1補間部23に出力する。
【0041】
ここで、サンプル画素とは、例えば、図7に示すように、R成分だけを有する注目画素のB成分を重み付け補間により生成する場合においては、注目画素を中心とする所定の局所領域に含まれる画素のうち、B成分だけを有しており、かつ、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Th1よりも小さいものを指す。同様に、R成分だけを有する注目画素のG成分を重み付け補間により生成する場合においては、G成分だけを有しており、かつ、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Th1よりも小さいものを指す。
【0042】
図8は、重み算出部22の構成例を示している。重み算出部22の位置ベクトル算出部41は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有する画素(以下、サンプル画素候補と記述する)の注目画素からの相対的な位置を示す位置ベクトルSを算出して、距離算出部42に出力する。距離算出部42は、図9に示すように、各サンプル画素候補の位置ベクトルSおよびエッジ方向ベクトルLに基づいて、各サンプル画素候補と、注目画素を通るエッジ方向ベクトルLと平行な直線との距離dを、次式(1)を用いてそれぞれ算出し、重み係数算出部43に出力する。
【数1】
【0043】
重み係数算出部43は、サンプル画素候補のうち、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Th1よりも小さいものをサンプル画素に決定し、各サンプル画素に対して、重み付け補間演算に用いる重み係数を算出して、サンプル画素の位置ベクトルSとその重み係数wを、第1補間部23に出力する。
【0044】
具体的には、例えば、図10に示すようなサンプル画素Pi(i=1,2,3,4)に対し、注目画素を通るエッジ方向ベクトルと平行な直線との距離diが短ければ短いほど、大きな値の重み係数wi1が算出されるように、次式(2)を用いて設定して、サンプル画素の位置ベクトルSiとその重み係数wi1を、後段に出力する。
【数2】
【0045】
さらに、重み係数算出部43は、例えば、図11に示すようなサンプル画素Piに対し、注目画素を通りエッジ方向ベクトルと直交する直線との距離liが短ければ短いほど、大きな値の重み係数wi2が算出されるように、次式(3)を用いて設定して、サンプル画素の位置ベクトルSiとその重み係数wi2を、後段に出力する。
【数3】
【0046】
なお、重み係数算出部43において、重み係数wi1,wi2のうちの一方だけを算出し、設定するようにしてもよい。
【0047】
図5に戻る。第1補間部23は、色モザイク画像の注目画素に対し、次式(4)に示すような、サンプル画素Piの画素値viと、それぞれに設定された重み係数wi1を用いた重み付け補間演算を実行する。
【数4】
【0048】
また、第1補間部23は、次式(5)に示すような、サンプル画素Piの画素値viと、それぞれに設定された重み係数wi2を用いた重み付け補間演算を実行する。
【数5】
【0049】
さらに、第1補間部23は、式(4)の演算結果であるf1(v)と、式(5)の演算結果であるf2(v)の平均値を演算し、第1の補間値としてセレクタ25に出力する。
【0050】
なお、重み係数算出部43から第1補間部23に対して、重み係数wi1,wi2のうちの一方だけが供給される場合、式(4)の演算結果であるf1(v)、または式(5)の演算結果であるf2(v)を、第1の補間値としてセレクタ25に出力するようにすればよい。
【0051】
第2補間部24は、エッジ方向算出部21から入力されるエッジサイズが所定の閾値th3よりも大きくない場合、色モザイク画像の注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有する画素を用いる線形補間により、注目画素が有していない色成分信号を生成し、第2補間値としてセレクタ25に出力する。したがって、第2補間値は、エッジが全く考慮されていない補間値である。
【0052】
セレクタ25は、エッジ方向算出部21から入力されるエッジサイズが所定の閾値Th3よりも大きい場合、第1補間部23から入力される第1の補間値を後段に出力し、エッジ方向算出部21から入力されるエッジサイズが所定の閾値Th3よりも大きくない場合、第2補間部24から入力される第2の補間値を後段に出力する。
【0053】
次に、DSP7の第1の構成例によるデモザイク処理について、図12のフローチャートを参照して説明する。ステップS11において、注目画素決定部20は、上段から入力された色モザイク画像を構成する画素を、順次、1画素ずつ注目画素に決定する。ステップS12において、注目画素決定部20は、注目画素を中心とする所定の局所領域に属する画素を抽出して、エッジ方向算出部21乃至第2補間部24に供給する。
【0054】
ステップS13において、エッジ方向算出部21は、補間する色成分信号、すなわち、注目画素が有していない色成分信号毎に、エッジの方向ベクトルとエッジサイズを算出して、セレクタ25に出力する。
【0055】
ステップS13の処理について、図13のフローチャートを参照して詳述する。ステップS21において、リサンプリング部31は、注目画素が有していない色成分信号のうちの1つを、注目する色成分信号(すなわち、補間する色成分信号)に決定し、注目画素を中心とする所定の局所領域に含まれる複数の画素のうち、注目する色成分信号を有する画素を、グラディエント算出部32に出力する。
【0056】
ステップS22において、グラディエント算出部32は、注目する色成分信号を有する複数の画素に基づき、グラディエントオペレータ、方向別の画素値の差分等を利用して、グラディエントを算出して、ベクトル回転部33に出力する。ステップS23において、ベクトル回転部33は、グラディエントを90度回転し、その結果得られたエッジ方向ベクトルを、正規化部34およびエッジサイズ算出部35に出力する。
【0057】
ステップS24において、エッジサイズ算出部35は、ベクトル回転部33から入力されたエッジ方向ベクトルのノルムを算出し、その結果をエッジサイズとして、後段の第1補間部23、第2補間部24、およびセレクタ25に出力する。ステップS25において、正規化部34は、ベクトル回転部33から入力されたエッジ方向ベクトルを正規化して、後段の重み算出部22に出力する。なお、ステップS24の処理と、ステップS25の処理は、並行して行うことができる。
【0058】
ステップS26において、リサンプリング部31は、注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っているか否かを判定する。注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っていると判定された場合、ステップS21に戻り、それ以降の処理が繰り返される。ステップS26において、注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っていないと判定された場合、このエッジ方向算出処理は終了されて、処理は、図12のステップS14に進む。
【0059】
図12に戻る。ステップS14において、重み算出部22および第2補間部24は、エッジ方向算出部21から入力された色成分信号毎のエッジサイズが所定の閾値th3よりも大きいか否かを判定する。エッジサイズが所定の閾値th3よりも大きいと判定された場合、処理は、ステップS15に進む。ステップS15において、重み算出部22は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第1補間部23に出力する。
【0060】
ステップS15の処理について、図14のフローチャートを参照して詳述する。ステップS31において、位置ベクトル算出部41は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、1つを注目するサンプル画素候補Piに決定する。
【0061】
ステップS32において、位置ベクトル算出部41は、注目するサンプル画素候補Piの注目画素からの相対的な位置を示す位置ベクトルSiを算出して、距離算出部42に出力する。ステップS33において、距離算出部42は、サンプル画素候補Piと、注目画素を通るエッジ方向ベクトルLと平行な直線との距離diを算出する。また、距離算出部42は、サンプル画素候補Piと、注目画素を通るエッジ方向ベクトルLと直交する直線との距離liを算出する。
【0062】
ステップS34において、重み係数算出部43は、サンプル画素候補のうち、注目画素を通るエッジ方向ベクトルと平行な直線との距離diが、所定の閾値Th1よりも小さく、かつ、注目画素を通るエッジ方向ベクトルと直交する直線との距離liが、所定の閾値Th2よりも小さいか否かを判定し、両条件が満たされているサンプル画素候補Piをサンプル画素Piに決定して、距離が短ければ短いほど、その値が大きくなるように、重み係数wi1,wi2を算出して第1補間部23に出力する。なお、いずれか一方の条件だけを適用するようにしてもよい。
【0063】
ステップS35において、位置ベクトル算出部41は、重み算出部22の位置ベクトル算出部41は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、注目していないサンプル画素候補Piが残っているか否かを判定し、残っていると判定した場合、ステップS31に戻り、それ以降の処理を繰り返す。その後、ステップS35において、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、注目していないサンプル画素候補Piが残っていないと判定された場合、この重み係数算出処理は終了され、処理は図12のステップS16に進む。
【0064】
図12に戻る。ステップS16において、第1補間部23は、色モザイク画像の注目画素に対し、式(4)を用いた重み付け補間演算を実行する。また、第1補間部23は、式(5)を用いた重み付け補間演算を実行する。さらに、第1補間部23は、式(4)の演算結果であるf1(v)と、式(5)の演算結果であるf2(v)の平均値を演算し、第1の補間値としてセレクタ25に出力する。セレクタ25は、第1補間部23からの第1の補間値を、注目画素の色成分信号として出力する。
【0065】
なお、ステップS14において、エッジサイズが所定の閾値th3よりも大きくないと判定された場合、処理はステップS17に進む。ステップS17において、第2補間部24は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号だけを有する画素を用いる線形補間により、注目画素が有していない色成分信号を生成し、第2補間値としてセレクタ25に出力する。セレクタ25は、第2補間部24からの第2の補間値を、注目画素の色成分信号として出力する。
【0066】
ステップS18において、DSP7は、色モザイク画像を構成する全ての画素のうち、注目画素に決定していない画素が残っているか否かを判定する。注目画素に決定していない画素が残っていると判定された場合、ステップS11に戻り、ステップS18において、注目画素に決定していない画素が残っていないと判定されるまで、ステップS11以降の処理が繰り返される。以上で、デモザイク処理の説明を終了する。
【0067】
以上説明したように、DSP7の第1の構成例によるデモザイク処理によれば、色モザイク画像に存在する任意方向のエッジを検出し、エッジの方向および注目画素との距離を考慮してサンプル画素を決定し、サンプル画素を用いた重み付け補間演算により、注目画素が有していなかった色成分信号を補間するようにしたので、画像内のエッジ部分を、その方向に拘わらず、精度よく再現することができる。また、エッジ部分の色にじみを抑止することができる。
【0068】
また、エッジが存在しない部分(あるいはエッジサイズが小さい部分)については、上述した重み付け補間演算を行わずに、従来の線形補間演算を行うので、その部分の補間値を速やかに取得することができる。
【0069】
さらに、エッジサイズに応じて、エッジが考慮された第1の補間値と、エッジが考慮されていない第2の補間値を選択することにより、画像全体の高周波成分を精度よく再現することができる。
【0070】
次に、図15は、DSP7の第2の構成例を示している。この第2の構成例は、図5に示された第1の構成例の第2補間部24およびセレクタ25を削除したものである。したがって、DSP7の第2の構成例は、色モザイク画像のすべての画素に対して、エッジを考慮した重み付け補間演算により、有していない色成分信号を生成することになる。
【0071】
図16は、図15に示されたDSP7の第2の構成例によるデモザイク処理を説明するフローチャートである。第2の構成例によるデモザイク処理は、基本的に、上述した第1の構成例によるデモザイク処理から、ステップS14の処理およびステップS17の処理を省略したものである。
【0072】
ステップS51において、注目画素決定部20は、上段から入力された色モザイク画像を構成する画素を、順次、1画素ずつ注目画素に決定する。ステップS52において、注目画素決定部20は、注目画素を中心とする所定の局所領域に属する画素を抽出して、エッジ方向算出部21乃至第1補間部23に供給する。
【0073】
ステップS53において、エッジ方向算出部21は、補間する色成分信号、すなわち、注目画素が有していない色成分信号毎に、エッジの方向ベクトルとエッジサイズを算出して、セレクタ25に出力する。ステップS54において、重み算出部22は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第1補間部23に出力する。
【0074】
ステップS55において、第1補間部23は、色モザイク画像の注目画素に対し、式(4)を用いた重み付け補間演算を実行する。また、第1補間部23は、式(5)を用いた重み付け補間演算を実行する。さらに、第1補間部23は、式(4)の演算結果であるf1(v)と、式(5)の演算結果であるf2(v)の平均値を演算し、第1の補間値としてセレクタ25に出力する。セレクタ25は、第1補間部23からの第1の補間値を、注目画素の色成分信号として出力する。
【0075】
ステップS56において、DSP7は、色モザイク画像を構成する全ての画素のうち、注目画素に決定していない画素が残っているか否かを判定する。注目画素に決定していない画素が残っていると判定された場合、ステップS51に戻り、ステップS56において、注目画素に決定していない画素が残っていないと判定されるまで、ステップS51以降の処理が繰り返される。以上で、デモザイク処理の説明を終了する。
【0076】
以上説明したように、DSP7の第2の構成例によるデモザイク処理によれば、色モザイク画像に存在する任意方向のエッジを検出し、エッジの方向および注目画素との距離を考慮してサンプル画素を決定し、サンプル画素を用いた重み付け補間演により、注目画素が有していなかった色成分信号を補間するようにしたので、画像内のエッジ部分を、その方向に拘わらず、精度よく再現することができる。また、エッジ部分の色にじみを抑止することができる。
【0077】
以上、DSP7によるデモザイク処理について説明したが、DSP7による欠陥画素補間処理も、同様の手順で実行することができる。その場合、図4を参照して上述したように、欠陥画素を注目画素として、注目画素が正常ならば有している色成分信号を、注目画素を中心とする所定の局所領域に属する画素を用いた重み付け補間演算により生成するようにすればよい。
【0078】
また、DSP7によるデモザイク処理は、モノクロ画像に存在する欠陥画素を補間する場合にも適用することが可能である。
【0079】
本実施の形態においては、色モザイク画像を構成する画素の色成分信号を、R,G,B成分としたが、例えば、Y(イエロ)成分、Mg(マゼンダ)成分、およびシアン(Cy)成分のような、他の色成分信号の組み合わせにも、本発明を適用することが可能である。
【0080】
さらに、本発明は、ディジタルビデオカメラの他、単板式固体撮像素子が搭載されたディジタルスチルカメラ、スキャナ等に適用することが可能である。
【0081】
ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0082】
図17は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ50は、CPU(Central Processing Unit)51を内蔵している。CPU51にはバス54を介して、入出力インタフェース55が接続されている。バス54には、ROM(Read Only Memory)52およびRAM(Random Access Memory)53が接続されている。
【0083】
入出力インタフェース55には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部56、処理操作画面や処理結果の画像を表示デバイスに出力する出力部57、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部58、LAN(Local Area Network)アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部59が接続されている。また、磁気ディスク61(フレキシブルディスクを含む)、光ディスク62(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク63(MD(Mini Disc)を含む)、もしくは半導体メモリ64などの記録媒体に対してデータを読み書きするドライブ60が接続されている。
【0084】
CPU51は、ROM52に記憶されているプログラム、または磁気ディスク61乃至半導体メモリ64から読み出されて記憶部58にインストールされ、記憶部58からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0085】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0086】
【発明の効果】
以上のように、本発明によれば、色モザイク画像からカラー画像を生成するデモザイク処理、または画像の欠陥画素を補間する処理において、画像内の被写体のエッジ部分を、その方向に拘わらず、精度よく再現することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したディジタルビデオカメラの構成例を示すブロック図である。
【図2】図1に示されたディジタルビデオカメラの動作を説明するフローチャートである。
【図3】図1に示されたDSPによるデモザイク処理を説明するための図である。
【図4】図1に示されたDSPによる欠陥画素補間処理を説明するための図である。
【図5】図1に示されたDSPの第1の構成例を示すブロック図である。
【図6】図5に示されたエッジ方向算出部の構成例を示すブロック図である。
【図7】サンプル画素について説明するための図である。
【図8】図5に示された重み算出部の構成例を示すブロック図である。
【図9】図8に示された距離算出部の演算を説明するための図である。
【図10】図8に示された重み係数算出部の演算を説明するための図である。
【図11】図8に示された重み係数算出部の演算を説明するための図である。
【図12】図5に示されたDSP7の第1の構成例によるデモザイク処理を説明するフローチャートである。
【図13】図12のステップS13の処理を説明するフローチャートである。
【図14】図12のステップS15の処理を説明するフローチャートである。
【図15】図1に示されたDSPの第2の構成例を示すブロック図である。
【図16】図15に示されたDSP7の第2の構成例によるデモザイク処理を説明するフローチャートである。
【図17】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
7 DSP, 20 注目画素決定部, 21 エッジ方向算出部, 22 重み算出部, 23 第1補間部, 24 第2補間部, 25 セレクタ, 51 CPU, 61 磁気ディスク, 62 光ディスク, 63 光磁気ディスク, 64 半導体メモリ
Claims (6)
- 画像を構成する画素の色成分信号を、近傍の画素の色成分信号を用いて補間する画像処理装置において、
入力された前記画像を構成する複数の画素のうちの1つを注目画素に決定し、前記注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成手段と、
前記局所領域情報から、前記注目画素が持っていない色成分信号を有する画素を抽出する抽出手段と、
抽出された画素に基づき、前記局所領域におけるエッジの方向ベクトルを検出する検出手段と、
抽出された画素のうち、前記エッジの方向ベクトルと平行するか、または直交する前記注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、前記距離に対応する重み係数を算出する重み係数算出手段と、
抽出された画素と算出された重み係数とを用いた補間演算により、前記注目画素の色成分信号を補間する第1の補間手段と
を含む画像処理装置。 - 前記生成手段は、欠陥画素を前記注目画素に決定する
請求項1に記載の画像処理装置。 - 前記抽出手段によって抽出された画素を用いた線形補間演算により、前記注目画素が持っていない色成分信号を補間する第2の補間手段と、
前記検出手段によって検出された前記局所領域におけるエッジの方向ベクトルのサイズを算出する算出手段と、
前記方向ベクトルのサイズに従い、前記第1の補間手段の出力、または前記第2の補間手段の出力を、前記注目画素が持っていない色成分信号に選択する選択手段と
をさらに含む請求項1に記載の画像処理装置。 - 画像を構成する画素の色成分信号を、近傍の画素の色成分信号を用いて補間する画像処理装置の画像処理方法において、
入力された前記画像を構成する複数の画素のうちの1つを注目画素に決定し、前記注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、
前記局所領域情報から、前記注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、
抽出された画素に基づき、前記局所領域におけるエッジの方向ベクトルを検出する検出ステップと、
抽出された画素のうち、前記エッジの方向ベクトルと平行するか、または直交する前記注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、前記距離に対応する重み係数を算出する重み係数算出ステップと、
抽出された画素と算出された重み係数とを用いた補間演算により、前記注目画素の色成分信号を補間する第1の補間ステップと
を含む画像処理方法。 - 画像を構成する画素の色成分信号を、近傍の画素の色成分信号を用いて補間する画像処理装置の制御用のプログラムであって、
入力された前記画像を構成する複数の画素のうちの1つを注目画素に決定し、前記注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、
前記局所領域情報から、前記注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、
抽出された画素に基づき、前記局所領域におけるエッジの方向ベクトルを検出する検出ステップと、
抽出された画素のうち、前記エッジの方向ベクトルと平行するか、または直交する前記注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、前記距離に対応する重み係数を算出する重み係数算出ステップと、
抽出された画素と算出された重み係数とを用いた補間演算により、前記注目画素の色成分信号を補間する第1の補間ステップと
を含む処理を画像処理装置のコンピュータに実行させるプログラムが記録されている記録媒体。 - 画像を構成する画素の色成分信号を、近傍の画素の色成分信号を用いて補間する画像処理装置の制御用のプログラムであって、
入力された前記画像を構成する複数の画素のうちの1つを注目画素に決定し、前記注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、
前記局所領域情報から、前記注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、
抽出された画素に基づき、前記局所領域におけるエッジの方向ベクトルを検出する検出ステップと、
抽出された画素のうち、前記エッジの方向ベクトルと平行するか、または直交する前記注目画素を通る直線までの距離が所定の閾値よりも短い画素に対して、前記距離に対応する重み係数を算出する重み係数算出ステップと、
抽出された画素と算出された重み係数とを用いた補間演算により、前記注目画素の色成分信号を補間する第1の補間ステップと
を含む処理を画像処理装置のコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003005586A JP4154661B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003005586A JP4154661B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004221838A JP2004221838A (ja) | 2004-08-05 |
JP4154661B2 true JP4154661B2 (ja) | 2008-09-24 |
Family
ID=32896214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003005586A Expired - Fee Related JP4154661B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4154661B2 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
US8571346B2 (en) | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
US7750956B2 (en) | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
KR100738185B1 (ko) | 2005-12-29 | 2007-07-10 | 매그나칩 반도체 유한회사 | 이미지 센서 및 이미지 센서의 이미지 윤곽선 검출방법 |
US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
KR100780932B1 (ko) * | 2006-05-30 | 2007-11-30 | 엠텍비젼 주식회사 | 컬러 보간 방법 및 장치 |
KR100826215B1 (ko) * | 2006-07-25 | 2008-04-29 | 엠텍비젼 주식회사 | 격자 노이즈 및 에지 방향을 고려한 컬러 보간 방법 및장치 |
US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
KR100818447B1 (ko) | 2006-09-22 | 2008-04-01 | 삼성전기주식회사 | 컬러 필터를 사용하여 검출된 영상의 컬러 보간 방법 |
JP4284628B2 (ja) | 2006-12-15 | 2009-06-24 | ソニー株式会社 | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
US8723969B2 (en) | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
US8724895B2 (en) * | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
US8570634B2 (en) | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
JP5045421B2 (ja) | 2007-12-21 | 2012-10-10 | ソニー株式会社 | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
JP4754587B2 (ja) * | 2008-02-08 | 2011-08-24 | アキュートロジック株式会社 | Mtf測定方法及びmtf測定装置 |
US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
JP5311916B2 (ja) * | 2008-07-31 | 2013-10-09 | 株式会社エルモ社 | 撮像装置 |
US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
KR100989760B1 (ko) | 2008-12-29 | 2010-10-26 | 엠텍비젼 주식회사 | 이미지 처리 장치, 이미지 처리 장치의 노이즈 제거 방법 및 노이즈 제거 방법이 기록된 기록매체 |
US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
US9479745B2 (en) | 2014-09-19 | 2016-10-25 | Omnivision Technologies, Inc. | Color filter array with reference pixel to reduce spectral crosstalk |
KR20210017460A (ko) * | 2019-08-08 | 2021-02-17 | 에스케이하이닉스 주식회사 | 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 이미지 처리 시스템 |
-
2003
- 2003-01-14 JP JP2003005586A patent/JP4154661B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004221838A (ja) | 2004-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4154661B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5315158B2 (ja) | 画像処理装置及び画像処理方法 | |
KR101342806B1 (ko) | 최종 디지털 컬러 이미지를 형성하는 방법 | |
US8130278B2 (en) | Method for forming an improved image using images with different resolutions | |
JP5260635B2 (ja) | パンクロマチック画像を用いたノイズ低減されたカラーの画像 | |
JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
JP4946581B2 (ja) | 画像処理装置 | |
JP5421647B2 (ja) | 撮像装置及びその制御方法 | |
WO2013031367A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP4407749B2 (ja) | 画像処理回路、撮像装置、方法およびプログラム | |
JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
JP2004221839A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
US8982248B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP4429816B2 (ja) | 撮像装置および画像の高解像度化方法 | |
JP5169994B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
WO2007077730A1 (ja) | 撮像システム、画像処理プログラム | |
KR100986203B1 (ko) | 촬상 장치 및 이에 이용하는 결함 화소 보정 방법 | |
WO2008150017A1 (ja) | 信号処理方法および信号処理装置 | |
JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
JP4556102B2 (ja) | 画像処理装置および画像処理方法、並びに、プログラム | |
US8259188B2 (en) | Image processing apparatus and method thereof | |
JP2008053875A (ja) | 画像処理装置および方法、プログラム、並びにプログラム格納媒体 | |
JP5131567B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
JP2003134523A (ja) | 撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080625 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |