JP4302391B2

JP4302391B2 - Pixel interpolation device, pixel interpolation method, and digital camera

Info

Publication number: JP4302391B2
Application number: JP2002345009A
Authority: JP
Inventors: 隆司松谷; 元佐々木
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2002-11-28
Filing date: 2002-11-28
Publication date: 2009-07-22
Anticipated expiration: 2022-11-28
Also published as: JP2004180059A

Description

【０００１】
【発明の属する技術分野】
本発明は、画素補間装置及び画素補間方法に関する。
【０００２】
【従来の技術】
デジタルカメラに搭載されるＣＣＤセンサやＣＭＯＳセンサなどの撮像センサにおいては、入射光を着色するために受光素子上に色フィルタアレイが形成されている。単板の撮像センサを搭載するデジタルカメラの場合、受光素子上には、各画素に一対一対応する色フィルタが配列しており、撮像センサの出力信号は各画素に単色成分のみを有するため、フルカラーの画像データを得るには各画素に不足している色成分を補間するいわゆる画素補間処理を行う必要がある。例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色系の色フィルタからなる色フィルタアレイを採用した場合、Ｒ成分のみを有する画素に対しては、周辺画素を参照して不足しているＧ成分及びＢ成分を画素補間しなければならない。この種の画素補間方法としてはバイリニア補間法やバイキュービック補間法などが周知技術である。
【０００３】
しかしながら、この種の画素補間処理によって、本来存在しない偽色信号やドットノイズと称する信号が発生するという周知の問題がある。偽色信号を低減する従来技術は、例えば特許文献１（特開２００１−８０３７号公報）及び特許文献２（特開２０００−１６５８９２号公報）に開示されており、ドットノイズを低減する従来技術は、例えば許文献３（特開２００１−５４１２５号公報）に開示されている。
【０００４】
【特許文献１】
特開２００１−８０３７号公報
【特許文献２】
特開２０００−１６５８９２号公報
【特許文献３】
特開２００１−０５４１２５号公報
【０００５】
【発明が解決しようとする課題】
従来の画素補間方法では、上記偽色信号やドットノイズを低減するためには演算量の増大及びメモリ使用量の増大が避けられなかった。これらは、回路規模の増大や電力消費量の増加、製造コストの上昇を招いてしまう。
【０００６】
以上の状況に鑑みて本発明の目的は、比較的簡易な構成及び方法で、ドットノイズ及び偽色信号などの画質劣化を抑制し得る画素補間装置及び画素補間方法を提供する点にある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、第１の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、を備え、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出し、前記領域選択部は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択するソート回路と、前記ソート回路で選択された前記参照領域内の前記画素データを前記レジスタ群から取り込み前記補間部に与えるデータ選択回路と、を備え、前記補間部は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間することを特徴としている。
【００１１】
第２の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、を備え、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出し、前記領域選択部は、前記評価値間の大小関係を算出するソート回路と、前記ソート回路で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する検出回路と、当該輝度パターンに応じて、前記画素データを前記レジスタ群から選択的に取り込むデータ選択回路と、を備えており、前記検出回路は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する機能を有し、前記補間部は、当該輝度パターンに応じて、前記データ選択回路で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部であって、前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている色成分を補間し、前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する機能を有することを特徴としている。
【００１３】
第３の発明では、第１または第２の発明の画素補間装置において、前記レジスタ群は、３行３列の前記サンプリング範囲の前記画素データを保持する。
【００１４】
そして、第４の発明は、第１〜第３の発明のうち何れかの画素補間装置を搭載したデジタルカメラである。
【００１５】
次に、第５の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、を備え、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含み、前記工程（ｃ）は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択する工程を含み、前記工程（ｄ）は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含むことを特徴としている。
【００１９】
第６の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、を備え、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含み、前記工程（ｃ）は、（ｃ−１）前記評価値間の大小関係を算出する工程と、（ｃ−２）前記工程（ｃ−１）で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する工程と、（ｃ−３）前記工程（ｃ−２）で検出された当該輝度パターンに応じて、前記工程（ａ）で保持した前記画素データを選択的に取り込む工程と、を備えており、前記工程（ｃ−２）は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する工程を含み、前記工程（ｄ）は、当該輝度パターンに応じて、前記工程（ｃ−３）で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する工程であって、前記工程（ｃ−２）で前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている前記色成分を補間し、前記工程（ｃ−２）で前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含むことを特徴としている。
【００２１】
そして、第７の発明では、第５または第６の発明の画素補間方法において、前記工程（ａ）は、３行３列の前記サンプリング範囲の前記画素データを保持する工程を含む。
【００２２】
【発明の実施の形態】
以下、本発明の種々の実施形態について説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画素補間装置１を概略的に示すブロック図である。この画素補間装置１は、ＲＡＷデータ（入力画像データ）を３×３画素の範囲（以下、サンプリング範囲と呼ぶ。）で保持するレジスタ群１０と、ＦＩＦＯ（First-In First-Out）メモリ１１，１２と、処理部１３とを備えて構成されている。本実施形態では、画素補間装置１は、単板のＣＣＤセンサやＣＭＯＳセンサなどの撮像センサを搭載したデジタルカメラに組み込まれ、その撮像センサは、原色系（ＲＧＢ系）のベイヤー配列の色フィルタアレイを有するものとする。
【００２４】
レジスタ群１０は、タイミング・ジェネレータ（図示せず）から供給されたクロック信号（図示せず）に同期して、画素単位で入力する８ビットのＲＡＷデータを順次シフトさせつつ保持する９個のレジスタ２０Ａ〜２０Ｉを備えており、レジスタ２０Ａ〜２０Ｉの各々が１画素データを保持する。レジスタ群１０は、３組のシフトレジスタ２０Ａ〜２０Ｃ、２０Ｄ〜２０Ｆ及び２０Ｇ〜２０Ｉを備えており、第１のシフトレジスタ２０Ａ〜２０Ｃと第２のシフトレジスタ２０Ｄ〜２０Ｆとの間にＦＩＦＯメモリ１１が介在し、第２のシフトレジスタ２０Ｄ〜２０Ｆと第３のシフトレジスタ２０Ｇ〜２０Ｉとの間にＦＩＦＯメモリ１２が介在している。この構成によって、レジスタ群１０は、２次元配列の画像データであるＲＡＷデータの中の３行３列のサンプリング範囲の画素データを保持することになる。
【００２５】
また、レジスタ２０Ａ〜２０Ｉが出力した画素データＤ_A〜Ｄ_Iは、処理部１３に入力させられている。この処理部１３は、入力する画素データＤ_A〜Ｄ_Iを用いて後述する画素補間処理を実行し、その結果、着目画素に関して、Ｒ成分の８ビット信号、Ｇ成分の８ビット信号及びＢ成分の８ビット信号を並列に出力する。
【００２６】
図２は、レジスタ群１０に記憶される３行３列の保持データ２１を模式的に示す図である。この保持データ２１は画素データＤ_A〜Ｄ_Iから構成されており、画素データＤ_A，Ｄ_B，Ｄ_C，Ｄ_D，Ｄ_E，Ｄ_F，Ｄ_G，Ｄ_H及びＤ_Iはそれぞれ画素値Ｐ（０，０），Ｐ（０，１），Ｐ（０，２），Ｐ（１，０），Ｐ（１，１），Ｐ（１，２），Ｐ（２，０），Ｐ（２，１）及びＰ（２，２）を有する。なお、この明細書において「画素値」とは、Ｒ成分、Ｇ成分またはＢ成分のうち何れかのｋビット階調（２^k階調）値を意味する（ｋは２以上の整数）。
【００２７】
図３は、上記処理部１３の構成を概略的に示すブロック図である。この処理部１３は、評価値算出部３０、領域選択部３１及び補間部３２を備えている。評価値算出部３０は、第１〜第４加算器３０ａ〜３０ｄを備えて構成される。上記サンプリング範囲には４つのブロック領域が設定されており、第１加算器３０ａは、第１のブロック領域における画素データＤ_A，Ｄ_B及びＤ_Dを加算して得た評価データＤＳ１を出力し、第２加算器３０ｂは、第２のブロック領域における画素データＤ_B，Ｄ_C及びＤ_Fを加算して得た評価データＤＳ２を出力し、第３加算器３０ｃは、第３のブロック領域における画素データＤ_D，Ｄ_G及びＤ_Hを加算して得た評価データＤＳ３を出力し、第４加算器３０ｄは、第４のブロック領域における画素データＤ_F，Ｄ_H及びＤ_Iを加算して得た評価データＤＳ４を出力する。
【００２８】
また図４に、前記第１〜第４のブロック領域の保持データ２１Ａ〜２１Ｄを模式的に示す。第１のブロック領域は、サンプリング範囲の左上方に設定され、画素値Ｐ（０，０），Ｐ（０，１）及びＰ（１，０）を持つ保持データ２１Ａを含み、第２のブロック領域は、サンプリング範囲の右上方に設定され、画素値Ｐ（０，１），Ｐ（０，２）及びＰ（１，２）を持つ保持データ２１Ｂを含み、第３のブロック領域は、サンプリング範囲の左下方に設定され、画素値Ｐ（１，０），Ｐ（２，０）及びＰ（２，１）を持つ保持データ２１Ｃを含み、第４のブロック領域は、サンプリング範囲の右下方に設定され、画素値Ｐ（１，２），Ｐ（２，１）及びＰ（２，２）を持つ保持データ２１Ｄを含む。サンプリング範囲中心の着目画素の値Ｐ（１，１）は、これら第１〜第４のブロック領域から除外されている。
【００２９】
また上記評価データＤＳ１〜ＤＳ４が持つ評価値（加算値）Ｓ１〜Ｓ４は、各ブロック領域の明るさを規定する量であり、次式（１）に基づいて算出される。
【００３０】
【数１】

【００３１】
なお、本実施形態では、評価値Ｓ１〜Ｓ４として画素値の加算値を採用するが、本発明ではこの限りでは無く、前記加算値を用いた量、例えば平均値を採用してもよい。
【００３２】
また領域選択部３１は、ソート回路３３とデータ選択回路３４とを備えている。ソート回路３３は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。次に、ソート回路３３は、上記第１〜第４のブロック領域の中から、評価値Ｓ１〜Ｓ４の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択し、その選択結果を示す選択制御データＳＲをデータ選択回路３４に出力する。データ選択回路３４には、上記レジスタ群１０が出力した画素データＤ_A〜Ｄ_Iが入力している。このデータ選択回路３４は、ソート回路３３から入力した選択制御データＳＲに従って、ソート回路３３で選択された２個の参照領域内の画素データのみを選択し、選択データＳＤ１〜ＳＤ６として補間部３２に出力する。
【００３３】
そして補間部３２は、入力する選択データＳＤ１〜ＳＤ６を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００３４】
以上の構成を有する画素補間装置１による画素補間処理の例を、図５のフローチャートを参照しつつ以下に説明する。図６は、ベイヤー配列の色フィルタアレイを持つ撮像センサが出力したＲＡＷデータの画素配列を模式的に示す図である。図示する通り、このＲＡＷデータは、Ｒ，Ｇ，Ｒ，Ｇ，…，Ｇ，Ｂ，Ｇ，Ｂ，…の色成分の画素配列を有している。
【００３５】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤ_A〜Ｄ_Iを保持する。次いで、図３に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤ_A〜Ｄ_Iを用いて、サンプリング範囲に設定された第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部３１のソート回路３３に出力する。
【００３６】
次に、ソート回路３３が、評価データＤＳ１〜ＤＳ４を降順にソートして、評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。本例での大小関係は、Ｓ３＞Ｓ１＞Ｓ２＞Ｓ４、である。次に、ソート回路３３は、第１〜第４のブロック領域の中から、複数の評価値の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。本例では、４つの評価値Ｓ１〜Ｓ４の中で中央の値に最も近い評価値と次に近い評価値とを持つ第１及び第２のブロック領域が参照領域として選択される。
【００３７】
次の補間処理（ステップＳＴ５）では、データ選択回路３４が、第１及び第２のブロック領域の画素データＤ_A，Ｄ_B，Ｄ_C，Ｄ_D及びＤ_Fを選択データＳＤ１〜ＳＤ５として補間部３２に出力した後、補間部３２は、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００３８】
図７及び図８は、前記画素補間（ステップＳＴ５）を説明するための図であり、サンプリング範囲の保持データ２１の画素配列を模式的に示している。図７に示すように、着目画素がＲ成分のみを有する場合、補間部３２は、この着目画素に対して上方及び左右方向に隣接する３画素のＧ成分を平均化することで不足のＧ成分を補間（バイリニア補間）すると共に、この着目画素に対して斜め上方に隣接する２画素のＢ成分を平均化することで不足のＢ成分を補間（バイリニア補間）する。他方、図８に示すように、着目画素がＧ成分のみを有する場合は、補間部３２は、この着目画素に対して左右方向に隣接する２画素のＲ成分を平均化することで不足のＲ成分を補間（バイリニア補間）すると共に、この着目画素に対して上方のＢ成分で不足のＢ成分を補間（最隣接補間）する。
【００３９】
以上の画素補間処理によって、補間部３２は１画素のＲＧＢの画像信号を出力する。なお、補間部３２から出力されたＲＧＢの画像信号に輪郭強調処理を施すことで、画質を向上させてもよい。
【００４０】
このように第１の実施形態に係る画素補間装置１及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの画質劣化を効果的に抑制し得る画素補間処理を実行することが可能である。また、小回路規模の画素補間装置１を低コストで製造でき、低消費電力で画素補間処理を実行することができる。しかも、３×３画素の小さなサンプリング範囲を採用しても画質劣化を効果的に抑制できることから、ＦＩＦＯメモリ１１，１２の数が２本で済むため、回路規模と電力消費量と製造コストとを抑えることができる。
【００４１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係る画素補間装置は、処理部１３の構成を除いて、図１に示した画素補間装置１と同じ構成を有する。図９は、第２の実施形態に係る処理部１３Ａの構成を模式的に示す図である。図９に示す構成要素のうち、図３に示した符号と同一符号を付されたものは、図３に示した構成要素と同じ構成を有するためその詳細な説明を省略する。
【００４２】
この処理部１３Ａは、評価値算出部３０、領域選択部４０及び補間部４４を備えている。評価値算出部３０は第１〜第４加算器３０ａ〜３０ｄを備えており、上述した第１〜第４のブロック領域における画素データを加算して得た評価データＤＳ１〜ＤＳ４を領域選択部４０に出力する。
【００４３】
また領域選択部４０は、ソート回路４１と検出回路４２とデータ選択回路４３とを備えている。ソート回路４１は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。またソート回路４１は、評価データＤＳ１〜ＤＳ４を昇順または降順に並べ替えたデータＭ１〜Ｍ４と、前記大小関係を示すソート情報ＳＲＴとを検出回路４２に出力する。
【００４４】
また検出回路４２は、後述する方法に従って、前記ソート情報ＳＲＴに基づいてサンプリング範囲のＲＡＷデータの輝度パターンを検出し、その検出結果である検出データＤＲ０，ＤＲ１をデータ選択回路４３と補間部４４とに出力する。本実施の形態では、前記輝度パターンとして後述する高輝度領域のエッジ（縁部）の種類が検出される。
【００４５】
データ選択回路４３は、検出回路４２から入力する検出データＤＲ０により、検出された輝度パターンに応じて、レジスタ群１０から入力する画素データＤ_A〜Ｄ_Iを選択的に取り込み、選択データＳＤ１〜ＳＤ５として補間部４４に出力する。そして、補間部４４は、検出回路４２から入力する検出データＤＲ１により、検出された輝度パターンに応じて、選択データＳＤ１〜ＳＤ５を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００４６】
以上の構成を有する処理部１３Ａを備えた画素補間装置による画素補間処理の例を、図１０のフローチャートを参照しつつ以下に説明する。
【００４７】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤ_A〜Ｄ_Iを保持する。次いで、図９に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤ_A〜Ｄ_Iを用いて、サンプリング範囲に設定されている第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部４０のソート回路４１に出力する。
【００４８】
次に、ソート回路４１が、評価データＤＳ１〜ＤＳ４を降順にソートして評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。このときソート回路４１は、評価データＤＳ１〜ＤＳ４を降順に並べ替えたデータＭ１〜Ｍ４と、ソート情報ＳＲＴとを検出回路４２に出力する。
【００４９】
次に、検出回路４２は、ソート情報ＳＲＴに基づいてサンプリング範囲の輝度パターンを検出する検出処理を行う（ステップＳＴ１０）。本例の検出回路４２が検出し得る輝度パターンを図１１〜図１８に示す。図１１〜図１８に示す例では、着目画素で輝度成分を主体とするＧ成分が不足しており、保持データ２１に対する画像の高輝度領域４５とそれ以外の低輝度領域とが示されている。なお、図１１〜図１８は、着目画素がＲ成分のみを有する場合を示しているが、着目画素がＢ成分のみを有する場合も同様に検出可能である。
【００５０】
図１１〜図１４に示すように、高輝度領域４５のエッジの方向が略水平方向に向くとき、当該エッジ４５ｈは「横エッジ」と呼ばれ、図１５〜図１８に示すように、エッジの方向が略垂直方向に向くとき、当該エッジ４５ｖは「縦エッジ」と呼ばれる。また、図１１及び図１２は、高輝度領域４５がサンプリング範囲の上方に位置する場合を、図１３及び図１４は、高輝度領域４５がサンプリング範囲の下方に位置する場合を、図１５及び図１６は、高輝度領域４５がサンプリング範囲の左方に位置する場合を、図１７及び図１８は、高輝度領域４５がサンプリング範囲の右方に位置する場合を、それぞれ表している。
【００５１】
検出回路４２は、評価値Ｓ１〜Ｓ４に関して次式（２Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲上方の高輝度領域の横エッジ５４ｈ（図１１または図１２）を検出する。
【００５２】
【数２】

【００５３】
ここで、上式（２Ａ）中、演算子ｍｉｎ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が小さい方の変数を出力し、演算子ｍａｘ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が大きい方の変数を出力する。変数ｘ，ｙが同じ値を持つ場合は、変数ｘが出力される。
【００５４】
また検出回路４２は、次式（２Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲下方の高輝度領域の横エッジ４５ｈ（図１３または図１４）を検出する。
【００５５】
【数３】

【００５６】
また検出回路４２は、次式（３Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲左方の縦エッジ４５ｖ（図１５または図１６）を検出する。
【００５７】
【数４】

【００５８】
そして検出回路４２は、次式（３Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲右方の高輝度領域の縦エッジ４５ｖ（図１７または図１８）を検出する。
【００５９】
【数５】

【００６０】
次いで、ステップＳＴ１０ａの条件分岐処理において、上記ステップＳＴ１０で検出した検出パターンの種類に応じた補間処理（ステップＳＴ１１〜ＳＴ１５、ＳＴ４，ＳＴ５）が選択される。
【００６１】
着目画素にＧ成分が不足しており、且つ図１１及び図１２に示す横エッジ４５ｈが検出された場合（Ｉ＝１）、ステップＳＴ１０ａからステップＳＴ１１に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して左右方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰ_Gについて、ＩＰ_G＝（Ｐ（１，０）＋Ｐ（１，２））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６２】
また、着目画素にＧ成分が不足しており、且つ図１３及び図１４に示す横エッジ４５ｈが検出された場合は（Ｉ＝２）、ステップＳＴ１０ａからステップＳＴ１２に処理が移行し、上記ステップＳＴ１１と同じ処理が実行された後に、上記ステップＳＴ１５の処理が実行される。
【００６３】
また、着目画素にＧ成分が不足しており、且つ図１７及び図１８に示す縦エッジ４５ｖが検出された場合は（Ｉ＝３）、ステップＳＴ１０ａからステップＳＴ１３に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して上下方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰ_Gについて、ＩＰ_G＝（Ｐ（０，１）＋Ｐ（２，１））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６４】
また、着目画素にＧ成分が不足しており、且つ図１５及び図１６に示す縦エッジ４５ｖが検出された場合は（Ｉ＝４）、ステップＳＴ１０ａからステップＳＴ１４に処理が移行し、上記ステップＳＴ１３と同じ処理が実行された後に、上記ステップＳＴ１５が実行される。
【００６５】
そして、図１１〜図１８に示す輝度パターンの何れも検出されなかった場合は（Ｉ＝５）、ステップＳＴ１０ａからステップＳＴ４に処理が移行する。ここで、ソート回路３３は、上記第１〜第４のブロック領域の中から、複数の評価値の中で中央の値に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。
【００６６】
次の補間処理（ステップＳＴ５）では、上記第１の実施形態の補間処理（図５；ステップＳＴ５）と同様に、データ選択回路４３が、前記ステップＳＴ４で選択された２個の参照領域の画素データを選択データＳＤ１〜ＳＤ５として補間部４４に出力した後、補間部４４は、検出データＤＲ１に応じて、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００６７】
以上のように第２の実施形態に係る画素補間装置及び画素補間方法によれば、サンプリング範囲の輝度パターンに応じて適応型の補間処理を実行できるため、偽色信号やドットノイズの発生をさらに効果的に抑制し得て、画質の向上が可能となる。
【００６８】
【発明の効果】
以上の如く、本発明に係る画素補間装置及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの発生を効果的に抑制し得る画素補間処理を実現できる。同時に、小回路規模の画素補間装置を低コストで製造でき、低消費電力で画素補間処理を実行することが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画素補間装置を概略的に示すブロック図である。
【図２】レジスタ群に記憶される３行３列の保持データを模式的に示す図である。
【図３】第１の実施形態に係る画素補間装置の処理部の構成を概略的に示すブロック図である。
【図４】第１〜第４のブロック領域の保持データを模式的に示す図である。
【図５】第１の実施形態に係る画素補間処理の例を示すフローチャートである。
【図６】ＲＡＷデータの画素配列を模式的に示す図である。
【図７】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図８】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図９】本発明の第２の実施形態に係る画素補間装置の処理部の構成を模式的に示す図である。
【図１０】第２の実施形態に係る画素補間処理の一工程を説明するための図である。
【図１１】輝度パターンの一例を模式的に示す図である。
【図１２】輝度パターンの一例を模式的に示す図である。
【図１３】輝度パターンの一例を模式的に示す図である。
【図１４】輝度パターンの一例を模式的に示す図である。
【図１５】輝度パターンの一例を模式的に示す図である。
【図１６】輝度パターンの一例を模式的に示す図である。
【図１７】輝度パターンの一例を模式的に示す図である。
【図１８】輝度パターンの一例を模式的に示す図である。
【符号の説明】
１画素補間装置
１０レジスタ群
１１，１２ＦＩＦＯメモリ
１３，１３Ａ処理部
３０評価値算出部
３０ａ〜３０ｄ加算器
３１，４０領域選択部
３２，４４補間部
３３，４１ソート回路
３４，４３データ選択回路
４２検出回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a pixel interpolation device and a pixel interpolation method.
[0002]
[Prior art]
In an image sensor such as a CCD sensor or a CMOS sensor mounted on a digital camera, a color filter array is formed on a light receiving element to color incident light. In the case of a digital camera equipped with a single-plate imaging sensor, color filters corresponding to each pixel are arranged on the light receiving element in a one-to-one correspondence, and the output signal of the imaging sensor has only a single color component in each pixel. In order to obtain full-color image data, it is necessary to perform a so-called pixel interpolation process for interpolating a color component that is insufficient for each pixel. For example, when a color filter array including primary color filters of R (red), G (green), and B (blue) is employed, a pixel having only an R component is insufficient with reference to surrounding pixels. It is necessary to interpolate the G and B components that are being processed. As this type of pixel interpolation method, a bilinear interpolation method, a bicubic interpolation method, or the like is a well-known technique.
[0003]
However, this type of pixel interpolation processing has a known problem that a false color signal or a signal called dot noise that does not exist is generated. Conventional techniques for reducing false color signals are disclosed in, for example, Patent Document 1 (Japanese Patent Laid-Open No. 2001-8037) and Patent Document 2 (Japanese Patent Laid-Open No. 2000-165892). For example, it is disclosed in Japanese Patent Application Laid-Open No. 2001-54125.
[0004]
[Patent Document 1]
JP 2001-8037 A
[Patent Document 2]
Japanese Unexamined Patent Publication No. 2000-165892
[Patent Document 3]
JP 2001-054125 A
[0005]
[Problems to be solved by the invention]
In the conventional pixel interpolation method, in order to reduce the false color signal and dot noise, it is inevitable that the calculation amount and the memory usage amount increase. These cause an increase in circuit scale, an increase in power consumption, and an increase in manufacturing cost.
[0006]
In view of the above situation, an object of the present invention is to provide a pixel interpolation device and a pixel interpolation method that can suppress image quality degradation such as dot noise and false color signals with a relatively simple configuration and method.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, a first invention is a pixel interpolation device for converting input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel. , A register group that holds pixel data of a predetermined sampling range including the pixel of interest in the input image data, and the pixel data in a plurality of block regions set in the sampling range, An evaluation value calculation unit that calculates an evaluation value that defines brightness; an area selection unit that calculates a magnitude relationship between the evaluation values and selects a reference area from among the plurality of block areas based on the magnitude relation; An interpolation unit that interpolates a color component lacking in the target pixel using the pixel data in the reference region selected by the region selection unit. The evaluation value calculation unit calculates the evaluation value using an addition value obtained by adding the values of all the pixel data in each block region, and the region selection unit calculates the magnitude relationship between the evaluation values. A sorting circuit that selects a predetermined number of the reference areas having an evaluation value close to a central value among the plurality of evaluation values based on the magnitude relationship, and the reference area in the reference area selected by the sorting circuit A data selection circuit that captures pixel data from the register group and provides the data to the interpolation unit, and the interpolation unit averages the same kind of color components in the reference region, thereby missing the color component of the target pixel. Interpolate It is characterized by that.
[0011]
First 2 Departure Tomorrow , A pixel interpolation device that converts input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel, and includes a predetermined pixel including the pixel of interest in the input image data An evaluation value calculation that calculates an evaluation value that defines the brightness of each block area by using a group of registers that hold pixel data in the sampling range and the pixel data in a plurality of block areas set in the sampling range A region selection unit that calculates a size relationship between the evaluation value and the evaluation value, and selects a reference region from among the plurality of block regions based on the size relationship, and within the reference region selected by the region selection unit An interpolation unit that interpolates a color component lacking in the target pixel using the pixel data, and the evaluation value calculation unit includes all the pixels in each of the block regions. Calculates the evaluation value using the added value obtained by adding the value of over data, The region selection unit includes: a sort circuit that calculates a magnitude relationship between the evaluation values; a detection circuit that detects a luminance pattern in the sampling range based on the magnitude relationship calculated by the sort circuit; and And a data selection circuit that selectively takes in the pixel data from the register group, and The detection circuit has a function of detecting the type of edge of a high luminance region as the luminance pattern, The interpolation unit interpolates a color component lacking in the target pixel using the pixel data captured by the data selection circuit according to the luminance pattern. When the edge type is detected by the interpolation unit, the target pixel is obtained by averaging the same type of color components mainly composed of luminance components arranged in the direction of the edge with respect to the target pixel. If the color component lacking is interpolated and the type of the edge is not detected, the reference region having an evaluation value close to the center value among the evaluation values based on the magnitude relationship between the evaluation values A predetermined number is selected, and the same kind of color components in the reference region are averaged to have a function of interpolating the color components lacking in the target pixel. .
[0013]
First 3 In the invention of the first Or First 2 Invention Painting In the elementary interpolation apparatus, the register group holds the pixel data in the sampling range of 3 rows and 3 columns.
[0014]
And second 4 The invention of the first to first 3 This is a digital camera equipped with any one of the pixel interpolation devices.
[0015]
Next 5 The present invention is a pixel interpolation method for converting input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel, and (a) A step of holding pixel data in a predetermined sampling range, and (b) an evaluation value that defines the brightness of each block region using the pixel data in a plurality of block regions set in the sampling range. (C) calculating a magnitude relationship between the evaluation values and selecting a reference area from the plurality of block areas based on the magnitude relation; and (d) selecting in the step (c) Interpolating a component lacking in the target pixel using the pixel data in the reference area The step (b) includes a step of calculating the evaluation value using an addition value obtained by adding all the pixel data values in each of the block regions, and the step (c) includes a step between the evaluation values. And calculating a predetermined magnitude relationship of the reference regions having an evaluation value close to a central value among the plurality of evaluation values based on the magnitude relationship, wherein the step (d) includes the reference Including a step of interpolating a color component lacking in the target pixel by averaging the same kind of color components in the region It is characterized by that.
[0019]
First 6 Departure Tomorrow , A pixel interpolation method for converting input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel, comprising: (a) predetermined sampling of the input image data Holding pixel data in a range; and (b) calculating an evaluation value that defines the brightness of each block region using the pixel data in a plurality of block regions set within the sampling range; (C) calculating a magnitude relationship between the evaluation values and selecting a reference area from among the plurality of block areas based on the magnitude relation; and (d) the reference selected in the step (c). Interpolating a component lacking in the target pixel using the pixel data in the area, and the step (b) adds the values of all the pixel data in each of the block areas It includes the step of calculating the evaluation value by using the addition value, The step (c) includes (c-1) a step of calculating a magnitude relationship between the evaluation values, and (c-2) the sampling range based on the magnitude relationship calculated in the step (c-1). And (c-3) selectively fetching the pixel data held in the step (a) according to the luminance pattern detected in the step (c-2). , And The step (c-2) includes a step of detecting an edge type of a high luminance region as the luminance pattern, The step (d) includes a step of interpolating a color component lacking in the target pixel using the pixel data captured in the step (c-3) according to the luminance pattern. If the type of the edge is detected in the step (c-2), the same type of color component that is arranged in the direction of the edge with respect to the pixel of interest and that mainly has a luminance component is averaged. When the color component lacking in the target pixel is interpolated and the type of the edge is not detected in the step (c-2), a plurality of evaluation values are based on the magnitude relationship between the evaluation values. Selecting a predetermined number of the reference regions having an evaluation value close to the center value in the image, and interpolating the color components lacking in the pixel of interest by averaging the same kind of color components in the reference region including It is characterized by .
[0021]
And second 7 In the invention of the 5th or 6th Invention Painting In the elementary interpolation method, the step (a) includes a step of holding the pixel data in the sampling range of 3 rows and 3 columns.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, various embodiments of the present invention will be described.
[0023]
<First Embodiment>
FIG. 1 is a block diagram schematically showing a pixel interpolation device 1 according to the first embodiment of the present invention. The pixel interpolation device 1 includes a register group 10 that holds RAW data (input image data) in a 3 × 3 pixel range (hereinafter referred to as a sampling range), a FIFO (First-In First-Out)

memory

11, 12 and a processing unit 13. In the present embodiment, the pixel interpolation device 1 is incorporated in a digital camera equipped with an image sensor such as a single-plate CCD sensor or CMOS sensor, and the image sensor is a color filter array having a primary color (RGB) Bayer array. It shall have.
[0024]
The register group 10 includes nine registers that sequentially shift and hold 8-bit RAW data input in units of pixels in synchronization with a clock signal (not shown) supplied from a timing generator (not shown). 20A to 20I, and each of the registers 20A to 20I holds one pixel data. The register group 10 includes three sets of shift registers 20A to 20C, 20D to 20F, and 20G to 20I. A FIFO memory 11 is provided between the first shift registers 20A to 20C and the second shift registers 20D to 20F. The FIFO memory 12 is interposed between the second shift registers 20D to 20F and the third shift registers 20G to 20I. With this configuration, the register group 10 holds pixel data in a sampling range of 3 rows and 3 columns in RAW data that is image data of a two-dimensional array.
[0025]
The pixel data D output from the registers 20A to 20I _A ~ D _I Is input to the processing unit 13. The processing unit 13 receives input pixel data D _A ~ D _I As a result, an R component 8-bit signal, a G component 8-bit signal, and a B component 8-bit signal are output in parallel with respect to the target pixel.
[0026]
FIG. 2 is a diagram schematically showing the retained data 21 in 3 rows and 3 columns stored in the register group 10. This retained data 21 is pixel data D _A ~ D _I Pixel data D _A , D _B , D _C , D _D , D _E , D _F , D _G , D _H And D _I Are pixel values P (0,0), P (0,1), P (0,2), P (1,0), P (1,1), P (1,2), P (2, 0), P (2,1) and P (2,2). In this specification, “pixel value” means any k-bit gradation (2) of R component, G component, or B component. ^k (Gradation) value (k is an integer of 2 or more).
[0027]
FIG. 3 is a block diagram schematically showing the configuration of the processing unit 13. The processing unit 13 includes an evaluation value calculation unit 30, a region selection unit 31, and an interpolation unit 32. The evaluation value calculation unit 30 includes first to fourth adders 30a to 30d. Four block areas are set in the sampling range, and the first adder 30a outputs pixel data D in the first block area. _A , D _B And D _D And the second adder 30b outputs the pixel data D in the second block area. _B , D _C And D _F And the third adder 30c outputs the pixel data D in the third block area. _D , D _G And D _H And the fourth adder 30d outputs the pixel data D in the fourth block area. _F , D _H And D _I The evaluation data DS4 obtained by adding is output.
[0028]
FIG. 4 schematically shows the retained data 21A to 21D of the first to fourth block areas. The first block area is set at the upper left of the sampling range and includes holding data 21A having pixel values P (0, 0), P (0, 1) and P (1, 0). The area is set at the upper right of the sampling range and includes holding data 21B having pixel values P (0, 1), P (0, 2) and P (1, 2), and the third block area is a sampling area. The hold data 21C is set to the lower left of the range and has pixel values P (1, 0), P (2, 0) and P (2, 1), and the fourth block area is at the lower right of the sampling range. And holding data 21D having pixel values P (1,2), P (2,1) and P (2,2). The value P (1, 1) of the pixel of interest at the center of the sampling range is excluded from these first to fourth block areas.
[0029]
The evaluation values (addition values) S1 to S4 included in the evaluation data DS1 to DS4 are amounts that define the brightness of each block area, and are calculated based on the following equation (1).
[0030]
[Expression 1]

[0031]
In the present embodiment, pixel value addition values are employed as the evaluation values S1 to S4. However, the present invention is not limited to this, and an amount using the addition values, for example, an average value may be employed.
[0032]
The area selection unit 31 includes a sort circuit 33 and a data selection circuit 34. The sort circuit 33 sorts the evaluation data DS1 to DS4 input in parallel from the evaluation value calculation unit 30 in ascending order or descending order, and calculates the magnitude relationship between the evaluation values S1 to S4. Next, the sort circuit 33 selects two reference areas having evaluation values close to the central value (median) among the evaluation values S1 to S4 from the first to fourth block areas, Selection control data SR indicating the selection result is output to the data selection circuit 34. The data selection circuit 34 has pixel data D output from the register group 10. _A ~ D _I Is typing. The data selection circuit 34 selects only the pixel data in the two reference areas selected by the sort circuit 33 according to the selection control data SR input from the sort circuit 33, and supplies the selection data SD1 to SD6 to the interpolation unit 32. Output.
[0033]
Then, the interpolation unit 32 interpolates the color components lacking in the pixel of interest using the selection data SD1 to SD6 to be input, and as a result, outputs image signals of R component, G component, and B component.
[0034]
An example of pixel interpolation processing by the pixel interpolation device 1 having the above configuration will be described below with reference to the flowchart of FIG. FIG. 6 is a diagram schematically illustrating a pixel array of RAW data output from an imaging sensor having a color filter array with a Bayer array. As shown in the drawing, this RAW data has a pixel arrangement of color components of R, G, R, G,..., G, B, G, B,.
[0035]
First, in step ST1, the register group 10 shown in FIG. 1 receives pixel data D in the sampling range from RAW data (FIG. 6) input in units of pixels. _A ~ D _I Hold. Next, the evaluation value calculation unit 30 illustrated in FIG. 3 captures the pixel data D captured from the register group 10. _A ~ D _I Are used to calculate the evaluation values S1 to S4 of the first to fourth block areas set in the sampling range (step ST2). The evaluation value calculation unit 30 outputs the evaluation data DS1 to DS4 having the evaluation values S1 to S4, respectively, to the sorting circuit 33 of the region selection unit 31.
[0036]
Next, the sort circuit 33 sorts the evaluation data DS1 to DS4 in descending order, and calculates the magnitude relationship between the evaluation values S1 to S4 (step ST3). The magnitude relationship in this example is S3>S1>S2> S4. Next, the sort circuit 33 selects two reference areas having an evaluation value close to the central value (median) among the plurality of evaluation values from the first to fourth block areas (step ST4). . In this example, among the four evaluation values S1 to S4, the first and second block areas having the evaluation value closest to the central value and the evaluation value closest to the next are selected as reference areas.
[0037]
In the next interpolation process (step ST5), the data selection circuit 34 performs pixel data D of the first and second block areas. _A , D _B , D _C , D _D And D _F Are output to the interpolation unit 32 as selection data SD1 to SD5, and then the interpolation unit 32 performs pixel interpolation by the bilinear interpolation method or the nearest neighbor interpolation method.
[0038]
7 and 8 are diagrams for explaining the pixel interpolation (step ST5), and schematically show the pixel arrangement of the holding data 21 in the sampling range. As shown in FIG. 7, when the target pixel has only the R component, the interpolation unit 32 averages the G components of the three pixels adjacent to the target pixel in the upper direction and the left-right direction, thereby missing the G component. Are interpolated (bilinear interpolation), and the B component of two pixels adjacent obliquely upward to the target pixel is averaged to interpolate the insufficient B component (bilinear interpolation). On the other hand, as shown in FIG. 8, when the pixel of interest has only the G component, the interpolation unit 32 averages the R components of two pixels adjacent to the pixel of interest in the left-right direction, and the R is insufficient. The components are interpolated (bilinear interpolation), and the insufficient B component is interpolated (nearest neighbor interpolation) with the upper B component for this pixel of interest.
[0039]
Through the above pixel interpolation processing, the interpolation unit 32 outputs an RGB image signal of one pixel. Note that the image quality may be improved by performing an edge enhancement process on the RGB image signal output from the interpolation unit 32.
[0040]
As described above, according to the pixel interpolation device 1 and the pixel interpolation method according to the first embodiment, pixel interpolation processing that can effectively suppress image quality degradation such as false color signals and dot noise is executed with a small amount of calculation. It is possible. Further, the pixel interpolation device 1 having a small circuit scale can be manufactured at low cost, and the pixel interpolation processing can be executed with low power consumption. In addition, even when a small sampling range of 3 × 3 pixels is adopted, image quality degradation can be effectively suppressed, so that only two

FIFO memories

11 and 12 are required, so that the circuit scale, power consumption, and manufacturing cost can be reduced. Can be suppressed.
[0041]
<Second Embodiment>
Next, a second embodiment of the present invention will be described. The pixel interpolation device according to the present embodiment has the same configuration as the pixel interpolation device 1 shown in FIG. 1 except for the configuration of the processing unit 13. FIG. 9 is a diagram schematically illustrating a configuration of the processing unit 13A according to the second embodiment. Among the components shown in FIG. 9, those given the same reference numerals as those shown in FIG. 3 have the same configurations as the components shown in FIG.
[0042]
The processing unit 13A includes an evaluation value calculation unit 30, a region selection unit 40, and an interpolation unit 44. The evaluation value calculation unit 30 includes first to fourth adders 30a to 30d. The region selection unit 40 uses evaluation data DS1 to DS4 obtained by adding the pixel data in the first to fourth block regions. Output to.
[0043]
The area selection unit 40 includes a sort circuit 41, a detection circuit 42, and a data selection circuit 43. The sort circuit 41 sorts the evaluation data DS1 to DS4 input in parallel from the evaluation value calculation unit 30 in ascending order or descending order, and calculates the magnitude relationship between the evaluation values S1 to S4. The sort circuit 41 outputs data M1 to M4 obtained by rearranging the evaluation data DS1 to DS4 in ascending or descending order and sort information SRT indicating the magnitude relationship to the detection circuit 42.
[0044]
Further, the detection circuit 42 detects the luminance pattern of the RAW data in the sampling range based on the sort information SRT according to the method described later, and detects the detection data DR0 and DR1 as the detection results with the data selection circuit 43 and the interpolation unit 44. Output to. In the present embodiment, the type of edge (edge) of a high luminance area described later is detected as the luminance pattern.
[0045]
The data selection circuit 43 receives pixel data D input from the register group 10 according to the detected luminance pattern based on the detection data DR0 input from the detection circuit 42. _A ~ D _I Are selectively received and output to the interpolation unit 44 as selection data SD1 to SD5. Then, the interpolation unit 44 interpolates the color component lacking in the pixel of interest using the selection data SD1 to SD5 according to the detected luminance pattern based on the detection data DR1 input from the detection circuit 42, and as a result. , R component, G component and B component image signals are output.
[0046]
An example of the pixel interpolation process by the pixel interpolation apparatus including the processing unit 13A having the above configuration will be described below with reference to the flowchart of FIG.
[0047]
First, in step ST1, the register group 10 shown in FIG. 1 receives pixel data D in the sampling range from RAW data (FIG. 6) input in units of pixels. _A ~ D _I Hold. Next, the evaluation value calculation unit 30 illustrated in FIG. 9 receives the pixel data D captured from the register group 10. _A ~ D _I Are used to calculate the evaluation values S1 to S4 of the first to fourth block areas set in the sampling range (step ST2). The evaluation value calculation unit 30 outputs the evaluation data DS1 to DS4 having the evaluation values S1 to S4 to the sorting circuit 41 of the region selection unit 40, respectively.
[0048]
Next, the sort circuit 41 sorts the evaluation data DS1 to DS4 in descending order to calculate the magnitude relationship between the evaluation values S1 to S4 (step ST3). At this time, the sort circuit 41 outputs the data M1 to M4 obtained by rearranging the evaluation data DS1 to DS4 in descending order and the sort information SRT to the detection circuit 42.
[0049]
Next, the detection circuit 42 performs a detection process of detecting a luminance pattern in the sampling range based on the sort information SRT (step ST10). The luminance patterns that can be detected by the detection circuit 42 of this example are shown in FIGS. In the example shown in FIGS. 11 to 18, the target pixel lacks the G component mainly composed of the luminance component, and the high luminance region 45 and other low luminance regions of the image with respect to the retained data 21 are shown. . 11 to 18 show the case where the pixel of interest has only the R component, but it can be similarly detected when the pixel of interest has only the B component.
[0050]
As shown in FIGS. 11 to 14, when the edge direction of the high brightness region 45 is oriented substantially in the horizontal direction, the edge 45 h is called a “lateral edge”, and as shown in FIGS. When the direction is substantially vertical, the edge 45v is called a “vertical edge”. 11 and 12 show the case where the high luminance region 45 is located above the sampling range, and FIGS. 13 and 14 show the case where the high luminance region 45 is located below the sampling range. 16 shows a case where the high luminance region 45 is located on the left side of the sampling range, and FIGS. 17 and 18 each show a case where the high luminance region 45 is located on the right side of the sampling range.
[0051]
The detection circuit 42 detects the horizontal edge 54h (FIG. 11 or FIG. 12) of the high brightness area above the sampling range when it receives the sort information SRT that satisfies the magnitude relation of the following expression (2A) with respect to the evaluation values S1 to S4. To do.
[0052]
[Expression 2]

[0053]
Here, in the above equation (2A), the operator min {x, y} outputs the variable having the smaller value of the input variables x and y, and the operator max {x, y} represents the input variable x. , Y, the variable with the larger value is output. If the variables x and y have the same value, the variable x is output.
[0054]
The detection circuit 42 detects the horizontal edge 45h (FIG. 13 or FIG. 14) of the high luminance area below the sampling range when it receives the sort information SRT that satisfies the magnitude relationship of the following equation (2B).
[0055]
[Equation 3]

[0056]
The detection circuit 42 detects the vertical edge 45v (FIG. 15 or FIG. 16) on the left of the sampling range when it receives the sort information SRT that satisfies the magnitude relationship of the following expression (3A).
[0057]
[Expression 4]

[0058]
The detection circuit 42 detects the vertical edge 45v (FIG. 17 or FIG. 18) of the high-luminance area on the right side of the sampling range when it receives the sort information SRT that satisfies the magnitude relationship of the following equation (3B).
[0059]
[Equation 5]

[0060]
Next, in the conditional branch process of step ST10a, an interpolation process (steps ST11 to ST15, ST4, ST5) corresponding to the type of the detected pattern detected in step ST10 is selected.
[0061]
When the G component is insufficient in the target pixel and the horizontal edge 45h shown in FIGS. 11 and 12 is detected (I = 1), the process proceeds from step ST10a to step ST11. Here, based on the detection data DR0, the data selection circuit 43 selects the G component of two pixels adjacent to the target pixel in the left-right direction and supplies the selected G component to the interpolation unit 44. The interpolation unit 44 detects the detection data Based on DR1, the insufficient G component is interpolated by averaging the G components of these two pixels. If expressed by a mathematical formula, the pixel value IP of the G component to be interpolated _G About IP _G = (P (1,0) + P (1,2)) / 2. Next, the interpolating unit 44 interpolates the R component or B component that is insufficient for the pixel of interest by a bilinear interpolation method or the like (step ST15).
[0062]
If the pixel of interest lacks the G component and the horizontal edge 45h shown in FIGS. 13 and 14 is detected (I = 2), the process proceeds from step ST10a to step ST12, and the above step ST11. After the same process is executed, the process of step ST15 is executed.
[0063]
If the pixel of interest lacks the G component and the vertical edge 45v shown in FIGS. 17 and 18 is detected (I = 3), the process proceeds from step ST10a to step ST13. Here, based on the detection data DR0, the data selection circuit 43 selects the G component of two pixels adjacent in the vertical direction with respect to the pixel of interest and supplies it to the interpolation unit 44. The interpolation unit 44 detects the detection data Based on DR1, the insufficient G component is interpolated by averaging the G components of these two pixels. If expressed by a mathematical formula, the pixel value IP of the G component to be interpolated _G About IP _G = (P (0,1) + P (2,1)) / 2. Next, the interpolating unit 44 interpolates the R component or B component that is insufficient for the pixel of interest by a bilinear interpolation method or the like (step ST15).
[0064]
If the pixel of interest lacks the G component and the vertical edge 45v shown in FIGS. 15 and 16 is detected (I = 4), the process proceeds from step ST10a to step ST14, and the above step ST13. Step ST15 is executed after the same process is executed.
[0065]
When none of the luminance patterns shown in FIGS. 11 to 18 is detected (I = 5), the process proceeds from step ST10a to step ST4. Here, the sort circuit 33 selects two reference areas having an evaluation value close to the central value among the plurality of evaluation values from the first to fourth block areas (step ST4).
[0066]
In the next interpolation process (step ST5), as in the interpolation process of the first embodiment (FIG. 5; step ST5), the data selection circuit 43 performs pixel processing in the two reference areas selected in step ST4. After outputting the data as selection data SD1 to SD5 to the interpolation unit 44, the interpolation unit 44 performs pixel interpolation by the bilinear interpolation method or the nearest neighbor interpolation method according to the detection data DR1.
[0067]
As described above, according to the pixel interpolation device and the pixel interpolation method according to the second embodiment, adaptive interpolation processing can be executed in accordance with the luminance pattern of the sampling range, so that generation of false color signals and dot noise is further reduced. It can be effectively suppressed and the image quality can be improved.
[0068]
【The invention's effect】
As described above, according to the pixel interpolation device and the pixel interpolation method of the present invention, it is possible to realize pixel interpolation processing that can effectively suppress generation of false color signals, dot noise, and the like with a small amount of calculation. At the same time, it is possible to manufacture a pixel interpolation device with a small circuit scale at low cost, and to perform pixel interpolation processing with low power consumption.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a pixel interpolation apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram schematically showing retained data in 3 rows and 3 columns stored in a register group;
FIG. 3 is a block diagram schematically showing a configuration of a processing unit of the pixel interpolation device according to the first embodiment.
FIG. 4 is a diagram schematically illustrating data held in first to fourth block areas.
FIG. 5 is a flowchart illustrating an example of pixel interpolation processing according to the first embodiment.
FIG. 6 is a diagram schematically illustrating a pixel array of RAW data.
FIG. 7 is a diagram for explaining one step of pixel interpolation processing according to the first embodiment.
FIG. 8 is a diagram for explaining one step of pixel interpolation processing according to the first embodiment.
FIG. 9 is a diagram schematically illustrating a configuration of a processing unit of a pixel interpolation device according to a second embodiment of the present invention.
FIG. 10 is a diagram for explaining one step of pixel interpolation processing according to the second embodiment.
FIG. 11 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 12 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 13 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 14 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 15 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 16 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 17 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 18 is a diagram schematically illustrating an example of a luminance pattern.
[Explanation of symbols]
1 Pixel interpolator
10 registers
11,12 FIFO memory
13, 13A processing section
30 Evaluation value calculator
30a-30d adder
31, 40 area selection part
32, 44 Interpolator
33, 41 sort circuit
34, 43 Data selection circuit
42 Detection circuit

Claims

A pixel interpolation device that converts input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel,
A group of registers for holding pixel data of a predetermined sampling range including the pixel of interest in the input image data;
An evaluation value calculation unit that calculates an evaluation value that defines the brightness of each block area using the pixel data in a plurality of block areas set within the sampling range;
An area selection unit that calculates a magnitude relationship between the evaluation values and selects a reference area from the plurality of block areas based on the magnitude relation;
An interpolation unit that interpolates a color component lacking in the target pixel using the pixel data in the reference region selected by the region selection unit;
Equipped with a,
The evaluation value calculation unit calculates the evaluation value using an addition value obtained by adding the values of all the pixel data in each block region,
The region selection unit
A sort circuit that calculates a magnitude relationship between the evaluation values and selects a predetermined number of the reference regions having an evaluation value close to a central value among the plurality of evaluation values based on the magnitude relationship;
A data selection circuit that takes in the pixel data in the reference area selected by the sort circuit from the register group and supplies the pixel data to the interpolation unit;
The interpolating unit interpolates a color component lacking in the pixel of interest by averaging the same kind of color components in the reference region .

A pixel interpolation device that converts input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel,
A group of registers for holding pixel data of a predetermined sampling range including the pixel of interest in the input image data;
An evaluation value calculation unit that calculates an evaluation value that defines the brightness of each block area using the pixel data in a plurality of block areas set within the sampling range;
An area selection unit that calculates a magnitude relationship between the evaluation values and selects a reference area from the plurality of block areas based on the magnitude relation;
An interpolation unit that interpolates a color component lacking in the target pixel using the pixel data in the reference region selected by the region selection unit;
With
The evaluation value calculation unit calculates the evaluation value using an addition value obtained by adding the values of all the pixel data in each block region ,
The region selection unit
A sort circuit for calculating a magnitude relationship between the evaluation values;
A detection circuit that detects a luminance pattern of the sampling range based on the magnitude relationship calculated by the sort circuit;
A data selection circuit that selectively captures the pixel data from the register group according to the luminance pattern;
With
The detection circuit has a function of detecting the type of edge of a high luminance region as the luminance pattern,
The interpolation unit is an interpolation unit that interpolates a color component lacking in the target pixel using the pixel data captured by the data selection circuit according to the luminance pattern, and detects the type of the edge In the case where the target pixel is arranged, the same color component mainly composed of the luminance component is arranged in the direction of the edge with respect to the target pixel to interpolate the color component lacking in the target pixel, and the edge If a type of the reference area is not detected, a predetermined number of the reference areas having an evaluation value close to a central value is selected from the plurality of evaluation values based on the magnitude relationship between the evaluation values, and the same kind in the reference area is selected. A pixel interpolation device having a function of interpolating a color component lacking in the target pixel by averaging the color components of

3. The pixel interpolation device according to claim 1, wherein the register group holds the pixel data of the sampling range of 3 rows and 3 columns . 4.

A digital camera equipped with the pixel interpolation device according to any one of claims 1 to 3.

A pixel interpolation method for converting input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel,
  (A) retaining pixel data in a predetermined sampling range of the input image data;
  (B) calculating an evaluation value defining the brightness of each block area using the pixel data in a plurality of block areas set within the sampling range;
  (C) calculating a magnitude relationship between the evaluation values and selecting a reference area from the plurality of block areas based on the magnitude relation;
  (D) interpolating a component lacking in the pixel of interest using the pixel data in the reference area selected in the step (c);
With
  The step (b) includes a step of calculating the evaluation value using an addition value obtained by adding all the pixel data values in each of the block regions,
  The step (c) includes a step of calculating a magnitude relationship between the evaluation values and selecting a predetermined number of the reference regions having an evaluation value close to a central value among the plurality of evaluation values based on the magnitude relationship. Including
  The step (d) includes a step of interpolating a color component lacking in the target pixel by averaging the same kind of color components in the reference region.

A pixel interpolation method for converting input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel,
  (A) retaining pixel data in a predetermined sampling range of the input image data;
  (B) calculating an evaluation value defining the brightness of each block area using the pixel data in a plurality of block areas set within the sampling range;
  (C) calculating a magnitude relationship between the evaluation values and selecting a reference area from the plurality of block areas based on the magnitude relation;
  (D) interpolating a component lacking in the pixel of interest using the pixel data in the reference area selected in the step (c);
With
  The step (b) includes a step of calculating the evaluation value using an addition value obtained by adding all the pixel data values in each of the block regions,
  The step (c)
  (C-1) calculating a magnitude relationship between the evaluation values;
  (C-2) detecting a luminance pattern in the sampling range based on the magnitude relationship calculated in the step (c-1);
  (C-3) selectively fetching the pixel data held in the step (a) according to the luminance pattern detected in the step (c-2);
With
  The step (c-2) includes a step of detecting an edge type of a high luminance region as the luminance pattern,
The step (d) is a step of interpolating a color component lacking in the pixel of interest using the pixel data captured in the step (c-3) according to the luminance pattern. When the type of the edge is detected in (c-2), the target pixel is obtained by averaging the same type of color components that are arranged in the direction of the edge with respect to the target pixel and mainly have a luminance component. When the color component lacking in the interpolation is interpolated and the type of the edge is not detected in the step (c-2), the central value among the plurality of evaluation values based on the magnitude relationship between the evaluation values Selecting a predetermined number of the reference regions having evaluation values close to, and averaging the color components of the same kind in the reference region to interpolate the color components lacking in the pixel of interest. Pixel interpolation method.

7. The pixel interpolation method according to claim 5, wherein the step (a) includes a step of holding the pixel data in the sampling range of 3 rows and 3 columns.