JP6628987B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び撮像装置に関する。

デジタルスチルカメラ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）やデジタルビデオカメラ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｃａｍｅｒａ）等の撮像装置において静止画像や動画像の撮像に用いられるイメージセンサ（Ｉｍａｇｅ Ｓｅｎｓｏｒ）には、ベイヤ（Ｂａｙｅｒ）配列のＣＭＯＳイメージセンサまたはＣＣＤイメージセンサが用いられるのが主流である。

ベイヤ配列は、緑２画素に対して、赤１画素、青１画素の４画素が１組となった構成となっている配列である。元々は光を分光しＲＧＢを別のセンサで受光していたものを、複雑な光学系の設計を軽減し、画素ずれが無いように開発されたのがベイヤ配列である。このベイヤ配列は、人間の目は赤や青の解像度には鈍感であり、緑や白黒に対して敏感であるといった特性を利用している。

ベイヤ配列のイメージセンサから出力される信号からＹＣｂＣｒ色空間またはＲＧＢカラーモデルによる画像を生成（現像）する際に、各色の存在周期より精細な画像の照射に起因する偽色（色モアレ）が発生する場合がある。この偽色（色モアレ）を除去するための技術が開発されている（例えば特許文献１、２等参照）。

特開２００５−２１０２１８号公報 特開２０１０−４３９６号公報

特許文献１で開示されている技術は、ベイヤ配列を変更することで色モアレの低減を図るものである。また特許文献２で開示されている技術は、三次元ノイズリダクション方式によってノイズを低減する際に、時間的に異なる色補間画像を用いて色モアレも抑えるものである。しかし、いずれの技術も、ベイヤ配列全体のデータからそのまま現像した際の色モアレの低減には効果がないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データを縮小し、縮小した画像データに対する色モアレの判定を行なうことにより、ベイヤ配列全体のデータからそのまま現像した際の色モアレの除去を効果的に行なうことが可能な、新規かつ改良された画像処理装置、画像処理方法及び撮像装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから出力される画像信号を取得し、該画像信号の縮小後に現像して縮小画像データを生成する画像縮小部と、前記画像縮小部が生成した縮小画像データからモアレが発生している領域を判定するモアレ判定部と、前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去部と、を備えることを特徴とする、画像処理装置が提供される。

前記モアレ判定部は、前記縮小画像データにおける第１の色と第２の色との繰り返しパタンの違いが生じた場所をモアレが発生している領域と判定してもよい。

前記モアレ判定部は、前記縮小画像データを所定の領域に分割した上で前記第１の色と前記第２の色との繰り返しパタンの違いが生じた場所があれば当該領域をモアレが発生している領域と判定してもよい。

前記モアレ判定部は、ある領域を他の領域と比較して前記第１の色と前記第２の色との繰り返しパタンの違いがより当該領域に現れていれば当該領域をモアレが発生している領域と判定してもよい。

前記第１の色は、前記ベイヤ配列における最も画素数の多い色であり、前記第２の色は、前記ベイヤ配列における前記第１の色以外の色から生成される色であってもよい。

前記第１の色は緑であり、前記第２の色はマゼンタであってもよい。

上記画像処理装置は、前記原画像データ及び前記縮小画像データを記憶する記憶部と、前記記憶部に対する前記原画像データ及び前記縮小画像データの読み書きを制御する記憶制御部と、をさらに備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから出力される画像信号を取得し、該画像信号の縮小後に現像して縮小画像データを生成する画像縮小ステップと、前記画像縮小ステップで生成された縮小画像データからモアレが発生している領域を判定するモアレ判定ステップと、前記モアレ判定ステップによるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去ステップと、を含むことを特徴とする、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイを備える撮像部と、前記撮像部から出力される画像信号の縮小後に現像して縮小画像データを生成する画像縮小部と、前記画像縮小部が生成した縮小画像データからモアレが発生している領域を判定するモアレ判定部と、前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去部と、を備えることを特徴とする、撮像装置が提供される。

以上説明したように本発明によれば、画像データを縮小し、縮小した画像データに対する色モアレの判定を行なうことにより、ベイヤ配列全体のデータからそのまま現像した際の色モアレの除去を効果的に行なうことが可能な、新規かつ改良された画像処理装置、画像処理方法及び撮像装置を提供することができる。

ベイヤ配列を示す説明図である。 撮像される元となる画像の例を示す説明図である。 図２に示した画像を撮像した際に色モアレが発生した画像の例を示す説明図である。 シアンとオレンジの色モアレが発生している様子をベイヤ配列で示す説明図である。 シアンとオレンジの色モアレが発生している様子をベイヤ配列で示す説明図である。 緑とマゼンタの色モアレが発生している様子をベイヤ配列で示す説明図である。 本発明の一実施形態に係る撮像装置１００の機能構成例を示す説明図である。 本発明の一実施形態に係る撮像装置１００に含まれる補間処理部１０６の機能構成例を示す説明図である。 本発明の一実施形態に係る撮像装置１００の動作例を示す流れ図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．背景＞
本発明の好適な実施の形態について詳細に説明する前に、本発明の実施の形態に至った背景について説明する。

上述したように、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において静止画像や動画像の撮像に用いられるセンサには、ベイヤ配列のＣＭＯＳイメージセンサまたはＣＣＤイメージセンサが用いられるのが主流である。

図１は、ベイヤ配列を示す説明図である。ベイヤ配列は、緑（Ｇ）２画素に対して、赤（Ｒ）１画素、青（Ｂ）１画素の４画素が１組となった構成となっている配列である。元々は光を分光しＲＧＢを別のイメージセンサで受光していたものを、複雑な光学系の設計を軽減し、画素ずれが無いように開発されたのが、図１に示したようなベイヤ配列である。この図１に示したベイヤ配列は、人間の目は赤や青の解像度には鈍感であり、緑や白黒に対して敏感であるといった特性を利用している。なお、便宜上赤（Ｒ）の行にある緑（Ｇ）の画素をＧｒ、青（Ｂ）の行にある緑（Ｇ）の画素をＧｂと称する。

ベイヤ配列が、緑（Ｇ）２画素に対して、赤（Ｒ）１画素、青（Ｂ）１画素の４画素が１組となった構成となっているため、緑色は水平および垂直方向ではイメージセンサの水平画素数及び垂直画素数と等しい帯域を持っているが、斜め４５度の方向の帯域では水平及び垂直の半分に減る。従って、輝度信号は斜め方向の帯域が少ない。またベイヤ配列が、緑（Ｇ）２画素に対して、赤（Ｒ）１画素、青（Ｂ）１画素の４画素が１組となった構成となっているため、青と赤の領域は緑の半分しかない。

このベイヤ配列のイメージセンサで正常な画像を得るためには、従来は例えば、ほぼベイヤ配列の基本の４画素よりも細かい線を解像しないフィルタをイメージセンサ上に搭載して各色をぼかすことが行われてきた。

しかし、そのようなフィルタをイメージセンサに搭載すると、赤と青の細かい線はイメージセンサから出力されず、また輝度の主要成分である緑も２画素幅よりも細かい線はセンサから出力されない。

そして、当然ながらこのようなフィルタをイメージセンサに搭載することは、コスト上昇の要因となり、また実際の画素数よりも表現される画像の解像度が低くなってしまう要因ともなる。この結果、このフィルタを排除し、解像度の改善とコスト低下を同時に満たす必要性が叫ばれており、解像度の改善とコスト低下を同時に満たすことを目的とするような製品も販売されている。

しかし、フィルタを排除したイメージセンサを用いると、ベイヤ配列のイメージセンサから出力される信号からＹＣｂＣｒ色空間またはＲＧＢカラーモデルによる画像を生成（現像）する際に、各色の存在周期より精細な画像の照射に起因する偽色（色モアレ）が発生する場合がある。

フィルタを排除したイメージセンサを用いると、例えばイメージセンサの赤の存在周期より精細な赤の画像が照射される。イメージセンサの赤の存在周期より精細な赤の画像が照射されることは、赤に対して折り返しが発生する要因となる。

これは赤だけでなく、同じように４画素中に１画素だけ存在する青についても同様のことが言える。また緑についても、斜め方向に精細な緑の画像が照射されることは、緑に対しては斜め方向には折り返しが発生する要因となる。この折り返しが、ベイヤ配列のイメージセンサから出力される信号からＹＣｂＣｒ色空間またはＲＧＢカラーモデルによる画像を生成（現像）する際に画像生じ得る色モアレとなる。

最も大きな問題は、斜め方向の細線を現像した際に生じる緑とマゼンタのモアレである。これは斜め方向の妨害を表している。このような緑とマゼンタのモアレの現象が発生するのは、撮影画像で斜め方向に非常に細い線が存在するためである。

図２は、撮像される元となる画像の例を示す説明図である。そして図３は、図２に示した画像を撮像した際に色モアレが発生した画像の例を示す説明図である。

図２に示したような、非常に細い白色及び黒色の線が混み入った画像を撮像すると、元の画像には白色及び黒色以外の色は存在しないのに、図３に示したように渦状の偽色（色モアレ）が発生することがある。図３の符号１１は、シアンとオレンジの渦状の偽色（色モアレ）が発生した場所を示している。図３の符号１２は、緑とマゼンタの渦状の偽色（色モアレ）が発生した場所を示している。

図３の符号１１で示した場所で発生しているシアンとオレンジの色モアレは、縦または横の細い線を再現しようとして生じるものである。図４及び図５は、シアンとオレンジの色モアレが発生している様子をベイヤ配列で示す説明図である。

図４及び図５に示したように、シアンとオレンジの色モアレが発生している場合は、シアンとオレンジの境界で緑の場所が変化していることが分かる。従って、緑との相関をとることでシアンとオレンジの色モアレが発生しているかどうかを判定することができる。そして、シアンとオレンジの色モアレが発生している場合には、例えばその色モアレが生じている場所を白色で繋ぐ等の方法で色モアレの除去が可能となる。

一方、図３の符号１２で示した場所で発生している緑とマゼンタの色モアレは、斜め方向の細い線を再現しようとして生じるものである。図６は、緑とマゼンタの色モアレが発生している様子をベイヤ配列で示す説明図である。

しかし、この緑とマゼンタの色モアレは、シアンとオレンジの色モアレのように緑との相関をとることで色モアレの発生を判定することが出来ない。シアンとオレンジの色モアレと違って、図６に示したように、常に緑がついているとは限らないからである。

緑とマゼンタの色モアレは、ソフトウェア的には以下の様な処理によって除去することが可能である。緑とマゼンタの繰り返しパタンの自然画像での出現確率は非常に低く、また斜め方向の細線を撮像した画像上では、広範囲で完全な一定の周波数である可能性は非常に低いことから、広範囲の画像を観測し、緑とマゼンタの繰り返しパタンが存在する場合、実際にはその場所は斜め方向の白黒の細線であると判定すること自体は可能である。ソフトウェア的に処理する場合、例えば１２８ピクセル×１２８ピクセルや、大きいものでは５１２ピクセル×５１２ピクセルといった空間を用いて上記の状況を判定している。

このようにソフトウェア的には緑とマゼンタの色モアレを判定し、緑とマゼンタの色モアレを除去する処理は容易である。しかし、ハードウェア的に同様の処理を行なうことは非常に困難を極める。

そこで本件発明者は、色モアレを除去するための技術、特に、緑との相関をとることで色モアレの発生を判定することが出来ない緑とマゼンタの色モアレを効果的に除去するための技術について鋭意検討を行った。その結果、本件発明者は、以下で説明するように、デジタル画像信号から得られる画像データを縮小し、縮小した画像データに対して色モアレの発生を判定し、判定結果に基づいて色モアレを除去することが出来る技術を考案するに至った。

以上、本発明の実施の形態に至った背景について説明した。続いて、本発明の一実施形態について詳細に説明する。

＜２．本発明の一実施形態＞
［２．１．機能構成例］
まず、本発明の一実施形態に係る撮像装置の機能構成例について詳細に説明する。図７は、本発明の一実施形態に係る撮像装置１００の機能構成例を示す説明図である。以下、図７を用いて本発明の一実施形態に係る撮像装置１００の機能構成例について説明する。

図７に示したように、本発明の一実施形態に係る撮像装置１００は、撮像部１０２と、補間処理部１０６と、コーデック部１０８と、通信部１１０と、バス１１２と、制御部１１４と、ＤＤＲ ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１６と、を含んで構成される。

撮像部１０２は、ズームレンズ（Ｚｏｏｍ Ｌｅｎｓ）やフォーカスレンズ（Ｆｏｃｕｓ Ｌｅｎｓ）を含む複数のレンズ群やイメージセンサなどで構成される。撮像部１０２は、イメージセンサの受光面に形成される被写体像を光電変換して、所定のノイズ除去処理や感度調整処理、アナログ／デジタル変換（Ａ／Ｄ変換）等の信号処理を施すことでデジタル画像信号を生成する。

撮像部１０２に設けられるイメージセンサは、ＣＣＤイメージセンサでもＣＭＯＳイメージセンサでもよい。また撮像部１０２に設けられるイメージセンサの受光面には、カラー画像の撮像のためにベイヤ配列の原色フィルタが設けられる。撮像部１０２が生成したデジタル画像信号は、バス１１２を経由してＤＤＲ ＳＤＲＡＭ１１６に格納される。

本実施形態では、撮像部１０２は、デジタル画像信号を生成する際に、縮小を行っていない画像信号に加え、所定のサイズに縮小した縮小画像データを生成し、縮小画像データについてもバス１１２を経由してＤＤＲ ＳＤＲＡＭ１１６に格納する。例えば撮像部１０２は、画素加算を行なって、水平方向及び垂直方向を１／４に縮小した縮小画像データを生成し、ＤＤＲ ＳＤＲＡＭ１１６に格納する。この縮小画像データは、後述の補間処理部１０６におけるモアレ判定処理に用いられる。

補間処理部１０６は、撮像部１０２が生成し、ＤＤＲ ＳＤＲＡＭ１１６に格納されたデジタル画像信号に対して補間処理、例えばＣＦＡ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ）補間処理を行うことで現像処理を行なう。補間処理部１０６による現像処理を行って得られる画像データは、バス１１２を経由してＤＤＲ ＳＤＲＡＭ１１６に格納される。

そして本実施形態では、補間処理部１０６は、デジタル画像信号に対する現像処理を行う前に、撮像部１０２が生成し、ＤＤＲ ＳＤＲＡＭ１１６に格納された、当該デジタル画像信号を所定のサイズに縮小した後に現像することで生成される縮小画像データに対してモアレ判定処理を行なう。色モアレ現象は画像を縮小しても削減されず、また画像を縮小すると元画像の大きさよりも情報が凝縮されるため、より急峻な変化となり目立つという側面がある。

色モアレが発生する細線の画像を、画素がベイヤ配列されたイメージセンサを備える装置で撮像する場合には、赤と青、緑との相関がないため、Ｒ，Ｇｂ，Ｇｒ，Ｂの信号毎に加算（Ｂｉｎｎｉｎｇ）した場合でも色モアレの現象はなくならず、画像全体で見た際の色モアレの発生位置は、元画像と縮小画像とでは同一の位置である。

本実施形態は、このような側面を利用して、補間処理部１０６において縮小画像データに対してモアレ判定処理を行なう。縮小画像データに対してモアレ判定処理を行なうことで、本発明の一実施形態に係る撮像装置１００は、垂直方向及び水平方向が１／４に縮小された画像であれば、同じメモリ量でも１６倍の空間を観測して色モアレの発生の有無を判定することが可能となる。

コーデック部１０８は、補間処理部１０６によって生成された画像データに対するエンコード処理や、エンコードされた画像データのデコード処理を行なう。エンコード処理及びデコード処理を総称してコーデック処理という。コーデック部１０８によってコーデック処理された画像データは、バス１１２を経由してＤＤＲ ＳＤＲＡＭ１１６に格納される。

通信部１１０は、外部の装置に対する情報の送信処理や、外部の装置からの情報の受信処理を実行する。例えば通信部１１０は、コーデック部１０８によってエンコードされた画像データを外部の装置に送信する。

制御部１１４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成され、撮像装置１００の各部の動作を制御する。

なお図１には図示しないが、撮像装置１００は、撮像部１０２に対して画像の撮像をユーザが指示するためのシャッタボタン、撮像装置１００に対するユーザの操作を受け付ける操作ボタン、補間処理部１０６によって生成された画像データを保存するための記録媒体などを備えていても良い。補間処理部１０６によって生成された画像データを保存するための記録媒体は、撮像装置１００からの取り外しが可能なものであってもよい。

以上、図７を用いて本発明の一実施形態に係る撮像装置１００の機能構成例について説明した。続いて、本発明の一実施形態に係る撮像装置１００に含まれる補間処理部１０６の詳細な機能構成例について説明する。

図８は、本発明の一実施形態に係る撮像装置１００に含まれる補間処理部１０６の詳細な機能構成例を示す説明図である。以下、図８を用いて本発明の一実施形態に係る撮像装置１００に含まれる補間処理部１０６の詳細な機能構成例について説明する。

図８に示したように、補間処理部１０６は、ＲＤＭＡ（Ｒｅａｄ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ１２１と、バッファメモリ１２２と、メモリ制御部１２３と、画像生成部１２４と、モアレ判定部１２５と、スイッチ部１２６と、ＷＤＭＡ（Ｗｒｉｔｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ１２７と、を含んで構成される。

ＲＤＭＡコントローラ１２１は、撮像部１０２が生成したデジタル画像信号や、デジタル画像信号を所定のサイズに縮小した後に現像することで生成される縮小画像データをＤＤＲ ＳＤＲＡＭ１１６からバス１１２を経由して読み出す。そしてＲＤＭＡコントローラ１２１は、撮像部１０２が生成したデジタル画像信号や、縮小画像データをＤＤＲ ＳＤＲＡＭ１１６からバス１１２を経由して読み出すと、読み出したデジタル画像信号や縮小画像データをバッファメモリ１２２に格納する。

本実施形態では、補間処理部１０６は、撮像部１０２が生成したデジタル画像信号の現像処理を行なうモード（便宜的にモードＡと称する）と、撮像部１０２が生成したデジタル画像信号を所定のサイズに縮小した後に現像して得られる縮小画像データに対する色モアレの判定処理を行なうモード（便宜的にモードＢと称する）と、の２つの動作モードを切り替えて動作する。

補間処理部１０６がモードＡで動作する場合は、ＲＤＭＡコントローラ１２１は、撮像部１０２が生成したデジタル画像信号をＤＤＲ ＳＤＲＡＭ１１６からバス１１２を経由して読み出す。

一方、補間処理部１０６がモードＢで動作する場合は、ＲＤＭＡコントローラ１２１は、撮像部１０２が生成したデジタル画像信号を所定のサイズに縮小した後に現像して得られる縮小画像データをＤＤＲ ＳＤＲＡＭ１１６からバス１１２を経由して読み出す。

バッファメモリ１２２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリで構成される。バッファメモリ１２２は、ＲＤＭＡコントローラ１２１から送られてくるデジタル画像信号や縮小画像データを格納する。バッファメモリ１２２が格納したデジタル画像信号や縮小画像データは、メモリ制御部１２３によって順次読み出される。

本実施形態では、バッファメモリ１２２は、デジタル画像信号を格納する際にはラインメモリとして機能する。またバッファメモリ１２２は、縮小画像データを格納する際には、ラインメモリの各ラインがさらに複数のブロックに分割された状態のメモリとして機能する。

補間処理部１０６がモードＡで動作する場合は、バッファメモリ１２２は、ＲＤＭＡコントローラ１２１から送られてくるデジタル画像信号を格納する。一方、補間処理部１０６がモードＢで動作する場合は、バッファメモリ１２２は、ＲＤＭＡコントローラ１２１から送られてくる縮小画像データを格納する。

メモリ制御部１２３は、バッファメモリ１２２に格納されたデータ、すなわちデジタル画像信号や縮小画像データの読み出しを制御する。本実施形態では、バッファメモリ１２２にデジタル画像信号が格納されている場合には、メモリ制御部１２３は画像生成部１２４から指示されたアドレス情報に基づいてバッファメモリ１２２からデジタル画像信号を読み出す。またバッファメモリ１２２に縮小画像データが格納されている場合には、メモリ制御部１２３はモアレ判定部１２５から指示されたアドレス情報に基づいてバッファメモリ１２２からデジタル画像信号を読み出す。

補間処理部１０６がモードＡで動作する場合は、メモリ制御部１２３は、画像生成部１２４からの指示に基づきバッファメモリ１２２に格納されたデータの読み出しを行う。一方、補間処理部１０６がモードＢで動作する場合は、メモリ制御部１２３は、モアレ判定部１２５からの指示に基づきバッファメモリ１２２に格納されたデータの読み出しを行う。

画像生成部１２４は、バッファメモリ１２２に格納され、メモリ制御部１２３から読み出されたデジタル画像信号に対する画素間の補間処理を行なうことで現像処理（画像データを生成する処理）を行なう。本実施形態では、画像生成部１２４はデジタル画像信号に対してＣＦＡ補間処理を行なうことで現像処理を行なう。

また画像生成部１２４は、後述のモアレ判定部１２５による色モアレが発生している領域を判定する色モアレ判定処理の結果に基づいて、色モアレを除去しながら補間処理を行なう。画像生成部１２４は、色モアレを除去する際には、例えば色モアレが生じている場所を白色で繋ぎながら補間処理を行なう。この色モアレの除去方法は特定の方法に限定されるものではなく、画像生成部１２４は、モアレ判定部１２５による色モアレ判定処理の結果に基づいて効果的に色モアレを除去することが可能となる。

画像生成部１２４は、メモリ制御部１２３に対してバッファメモリ１２２からのデジタル画像信号の読み出しを指示する際に、複数ライン単位で読み出して画像生成部１２４へ出力するようにアドレス情報を指示する。画像生成部１２４は、複数ライン単位で読み出されたデジタル画像信号に対する補間処理を１枚の画像が完成するまで繰り返すことで画像データを生成する。画像生成部１２４は、現像処理により生成した画像データを、ＷＤＭＡコントローラ１２７に送る。

モアレ判定部１２５は、バッファメモリ１２２に格納され、メモリ制御部１２３から読み出された縮小画像データに対し、色モアレが発生している領域を判定する色モアレ判定処理を行なう。モアレ判定部１２５は、縮小画像データの全体に対して色モアレ判定処理を行なうため、メモリ制御部１２３に対してバッファメモリ１２２からの縮小画像データの読み出しを指示する際に、縮小画像データ全体を読み出してモアレ判定部１２５に出力するようにアドレス情報を指示する。

そしてモアレ判定部１２５は、メモリ制御部１２３から送られる縮小画像データの全体に対して、色モアレ、すなわち特定の２つの色が繰り返して現れるパタンが存在する場所を、細分化されてバッファメモリ１２２に格納された縮小画像データの各領域単位で判定する。

モアレ判定部１２５は、縮小画像データの各領域に対して、色モアレの発生の有無を判定するが、本実施形態では、色モアレの発生の有無を判定する際に、色モアレである確からしさを複数の段階、例えば１から１０の１０段階で判定してもよい。この場合、数字が大きい方を色モアレである確からしさが高いとしてもよい。

モアレ判定部１２５は、縮小画像データの各領域に対する色モアレ判定処理の結果を、それぞれの領域を識別する情報と、色モアレ判定処理の結果とを紐付けて、ＷＤＭＡコントローラ１２７に送る。

スイッチ部１２６は、補間処理部１０６がモードＡで動作する場合は、画像生成部１２４とＷＤＭＡコントローラ１２７とを接続し、補間処理部１０６がモードＡで動作する場合は、モアレ判定部１２５とＷＤＭＡコントローラ１２７とを接続するような切り替え動作を行なう。

ＷＤＭＡコントローラ１２７は、画像生成部１２４の現像処理によって生成した画像データや、モアレ判定部１２５による色モアレ判定処理の結果を、バス１１２を通じてＤＤＲ ＳＤＲＡＭ１１６に格納する。

補間処理部１０６がモードＡで動作する場合は、ＷＤＭＡコントローラ１２７は、画像生成部１２４の現像処理によって生成した画像データをＤＤＲ ＳＤＲＡＭ１１６に格納する。

一方、補間処理部１０６がモードＢで動作する場合は、ＷＤＭＡコントローラ１２７は、モアレ判定部１２５による色モアレ判定処理の結果をＤＤＲ ＳＤＲＡＭ１１６に格納する。

本発明の一実施形態に係る撮像装置１００に含まれる補間処理部１０６は、図８に示したような構成を有することで、縮小画像データの各領域に対して色モアレの発生を判定し、色モアレの発生の判定結果に基づいて、色モアレを除去しつつ現像処理を行い、色モアレが除去された画像データを生成することが出来る。

以上、図８を用いて本発明の一実施形態に係る撮像装置１００に含まれる補間処理部１０６の詳細な機能構成例について説明した。続いて、本発明の一実施形態に係る撮像装置１００の動作例について説明する。

［２．２．動作例］
図９は、本発明の一実施形態に係る撮像装置１００の動作例を示す流れ図である。図９に示したのは、デジタル画像信号を縮小した後に現像して得られる縮小画像データに対して色モアレ判定処理を行い、色モアレ判定処理の結果に基づいて、色モアレを除去しながら縮小画像データの基になっているデジタル画像信号に対する現像処理を行なう際の、撮像装置１００の動作例である。以下、図９を用いて本発明の一実施形態に係る撮像装置１００の動作例について説明する。

撮像装置１００は、まず現像処理対象のデジタル画像信号を縮小した後に現像して得られる縮小画像データに対して色モアレ判定処理を実行して、色モアレが発生している領域を判定する。撮像装置１００は、ＤＤＲ ＳＤＲＡＭ１１６に格納されている上記縮小画像データを読み出し（ステップＳ１０１）、読み出した当該縮小画像データを、複数の同じサイズの矩形領域に分け、領域ごとに色モアレが発生しているかどうかを判定する（ステップＳ１０２）。ステップＳ１０１の読み出し処理は例えばＲＤＭＡコントローラ１２１が実行し、ステップＳ１０２の判定処理は、例えばモアレ判定部１２５が実行する。

撮像装置１００は、ＤＤＲ ＳＤＲＡＭ１１６から出した上記縮小画像データの全体に対して、色モアレ、すなわち特定の２つの色が繰り返して現れるパタンが存在する場所を、細分化されてバッファメモリ１２２に格納された縮小画像データの各領域単位で判定する。撮像装置１００は、ＤＤＲ ＳＤＲＡＭ１１６から出した上記縮小画像データの各領域に対して色モアレの発生の有無を判定するが、本実施形態では、色モアレの発生の有無を判定する際に、色モアレである確からしさを複数の段階、例えば１から１０の１０段階で判定してもよい。この場合、数字が大きい方を色モアレである確からしさが高いとしてもよい。

撮像装置１００は、ある領域に対して色モアレを判定する際には、他の領域、特に隣接する領域との比較によって色モアレかどうかを判定してもよい。例えば撮像装置１００は、縮小画像データのある領域を観察した結果、緑とマゼンタの繰り返しパタンが見つかった場合に、隣接している領域にその緑とマゼンタの繰り返しパタンが見つからなかったときは、その緑とマゼンタの繰り返しパタンを色モアレの可能性が高いと判定してもよい。

撮像装置１００は、縮小画像データで領域ごとに色モアレが発生しているかどうかを判定すると、領域を識別する情報と、その領域の判定結果とを紐付けて、ＤＤＲ ＳＤＲＡＭ１１６に記録する（ステップＳ１０３）。ステップＳ１０３の記録処理は、例えばＷＤＭＡコントローラ１２７が実行する。

領域を識別する情報は、例えば、縮小画像データの左上の領域を０として、右方向に向かって値が増加し、一番右端の領域に達したら１段下に移り、左端から右方向に向かって再び値が増加し、これを右下の領域に達するまで繰り返すものであってもよい。

続いて撮像装置１００は、色モアレ判定処理を行った縮小画像データの基となるデジタル画像信号及び色モアレ判定処理の結果をＤＤＲ ＳＤＲＡＭ１１６から読み出す（ステップＳ１０４）。ステップＳ１０４の読み出し処理は例えばＲＤＭＡコントローラ１２１が実行する。

そして撮像装置１００は、ＤＤＲ ＳＤＲＡＭ１１６から読み出したデジタル画像信号に対し、色モアレ判定処理の結果に基づいて色モアレを除去しながら、画素間の補間処理によって画像データを生成する現像処理を実行する（ステップＳ１０５）。ステップＳ１０５の処理は例えば画像生成部１２４が実行する。

例えば、縮小画像データの左上の領域で色モアレが発生しているという判定結果が出た場合は、撮像装置１００は、デジタル画像信号におけるその領域に対応する領域について、色モアレを除去しながら画素間の補間を行なう。撮像装置１００は、例えば色モアレが生じている場所を白色で繋ぎながら補間処理を行なうことで色モアレを除去するが、この色モアレの除去方法は特定の方法に限定されるものではない。

本発明の一実施形態に係る撮像装置１００は、図９に示したような一連の動作を実行することで、縮小画像データの各領域に対して色モアレの発生を判定し、色モアレの発生の判定結果に基づいて、色モアレを除去しつつ現像処理を行い、色モアレが除去された画像データを生成することが出来る。

＜３．まとめ＞
以上説明したように本発明の一実施形態によれば、縮小画像データの各領域に対して色モアレの発生を判定し、色モアレの発生の判定結果に基づいて、色モアレを除去しつつ現像処理を行い、色モアレが除去された画像データを生成することが可能な撮像装置１００が提供される。

本発明の一実施形態に係る撮像装置１００は、縮小画像データの各領域に対して色モアレの発生を判定することで、メモリ容量が少ない場合であっても、ハードウェア的に色モアレの発生を適確に判定することができる。

本明細書における装置が実行する処理における各ステップは、必ずしもフローチャート（ｆｌｏｗｃｈａｒｔ）やシーケンス（ｓｅｑｕｅｎｃｅ）図として記載された順序に沿って時系列に処理される必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても良く、並列的に処理されてもよい。

また上述した各装置の構成と同等の機能を、本明細書における装置に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのハードウェア（図示せず）に発揮させるためのコンピュータプログラムも作成されることができる。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ ：撮像装置
１０２ ：撮像部
１０６ ：補間処理部
１０８ ：コーデック部
１１０ ：通信部
１１２ ：バス
１１４ ：制御部
１１６ ：ＳＤＲＡＭ
１２１ ：ＲＤＭＡコントローラ
１２２ ：バッファメモリ
１２３ ：メモリ制御部
１２４ ：画像生成部
１２５ ：モアレ判定部
１２６ ：スイッチ部
１２７ ：ＷＤＭＡコントローラ

Claims (20)

1. 光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから出力される画像信号を取得し、該画像信号を前記ベイヤ配列の基本の各画素毎に加算することにより縮小した後に現像して縮小画像データを生成する画像縮小部と、
   前記画像縮小部が生成した縮小画像データからモアレが発生している領域を判定するモアレ判定部と、
   前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去部と、
   を備えることを特徴とする、画像処理装置。
2. 前記モアレ判定部は、前記縮小画像データにおける第１の色と第２の色との繰り返しパタンの違いが生じた場所をモアレが発生している領域と判定することを特徴とする、請求項１に記載の画像処理装置。
3. 前記モアレ判定部は、前記縮小画像データを所定の領域に分割した上で前記第１の色と前記第２の色との繰り返しパタンの違いが生じた場所があれば当該領域をモアレが発生している領域と判定することを特徴とする、請求項２に記載の画像処理装置。
4. 前記モアレ判定部は、ある領域を他の領域と比較して前記第１の色と前記第２の色との繰り返しパタンの違いが前記他の領域より現れていれば当該領域をモアレが発生している領域と判定することを特徴とする、請求項３に記載の画像処理装置。
5. 前記第１の色は、前記ベイヤ配列における最も画素数の多い色であり、前記第２の色は、前記ベイヤ配列における前記第１の色以外の色から生成される色であることを特徴とする、請求項２〜４のいずれかに記載の画像処理装置。
6. 前記第１の色は緑であり、前記第２の色はマゼンタであることを特徴とする、請求項５に記載の画像処理装置。
7. 前記原画像データ及び前記縮小画像データを記憶する記憶部と、
   前記記憶部に対する前記原画像データ及び前記縮小画像データの読み書きを制御する記憶制御部と、
   をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
8. 光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから出力される画像信号を取得し、該画像信号を前記ベイヤ配列の基本の各画素毎に加算することにより縮小した後に現像して縮小画像データを生成する画像縮小ステップと、
   前記画像縮小ステップで生成された縮小画像データからモアレが発生している領域を判定するモアレ判定ステップと、
   前記モアレ判定ステップによるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去ステップと、
   を含むことを特徴とする、画像処理方法。
9. 前記モアレ判定ステップは、前記縮小画像データにおける第１の色と第２の色との繰り返しパタンの違いが生じた場所をモアレが発生している領域と判定することを特徴とする、請求項８に記載の画像処理方法。
10. 前記モアレ判定ステップは、前記縮小画像データを所定の領域に分割した上で前記第１の色と前記第２の色との繰り返しパタンの違いが生じた場所があれば当該領域をモアレが発生している領域と判定することを特徴とする、請求項９に記載の画像処理方法。
11. 前記モアレ判定ステップは、ある領域を他の領域と比較して前記第１の色と前記第２の色との繰り返しパタンの違いが前記他の領域より現れていれば当該領域をモアレが発生している領域と判定することを特徴とする、請求項１０に記載の画像処理方法。
12. 前記第１の色は、前記ベイヤ配列における最も画素数の多い色であり、前記第２の色は、前記ベイヤ配列における前記第１の色以外の色から生成される色であることを特徴とする、請求項９〜１１のいずれかに記載の画像処理方法。
13. 前記第１の色は緑であり、前記第２の色はマゼンタであることを特徴とする、請求項１２に記載の画像処理方法。
14. 光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイを備える撮像部と、
    前記撮像部から出力される画像信号を前記ベイヤ配列の基本の各画素毎に加算することにより縮小した後に現像して縮小画像データを生成する画像縮小部と、
    前記画像縮小部が生成した縮小画像データからモアレが発生している領域を判定するモアレ判定部と、
    前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去部と、
    を備えることを特徴とする、撮像装置。
15. 前記モアレ判定部は、前記縮小画像データにおける第１の色と第２の色との繰り返しパタンの違いが生じた場所をモアレが発生している領域と判定することを特徴とする、請求項１４に記載の撮像装置。
16. 前記モアレ判定部は、前記縮小画像データを所定の領域に分割した上で前記第１の色と前記第２の色との繰り返しパタンの違いが生じた場所があれば当該領域をモアレが発生している領域と判定することを特徴とする、請求項１５に記載の撮像装置。
17. 前記モアレ判定部は、ある領域を他の領域と比較して前記第１の色と前記第２の色との繰り返しパタンの違いが前記他の領域より現れていれば当該領域をモアレが発生している領域と判定することを特徴とする、請求項１６に記載の撮像装置。
18. 前記第１の色は、前記ベイヤ配列における最も画素数の多い色であり、前記第２の色は、前記ベイヤ配列における前記第１の色以外の色から生成される色であることを特徴とする、請求項１５〜１７のいずれかに記載の撮像装置。
19. 前記第１の色は緑であり、前記第２の色はマゼンタであることを特徴とする、請求項１８に記載の撮像装置。
20. 前記原画像データ及び前記縮小画像データを記憶する記憶部と、
    前記記憶部に対する前記原画像データ及び前記縮小画像データの読み書きを制御する記憶制御部と、
    をさらに備えることを特徴とする、請求項１４に記載の撮像装置。