JP5680803B2 - 画像処理装置および方法ならびに撮像装置 - Google Patents

Description

本発明は画像処理装置、画像処理方法、および撮像装置に係り、特に単板の撮像素子に配設されるカラーフィルタ配列に対応するモザイク画像に関する各画素間の混色等の影響を軽減または排除する技術に関する。

一般に、モザイク状のカラーフィルタ配列を有する撮像素子では、隣接する画素からの光の漏れ込みによる混色が発生する。

混色の多いＲＧＢの色信号（３面の色データともいう）をデジタル信号処理して画像を生成すると、色再現性（画質）が低下するという問題がある。また、混色の多いＲＧＢの色信号からはホワイトバランス（ＷＢ）補正用のＷＢゲインを精度よく算出することができないという問題がある。

従来、混色成分を含む色信号から混色成分を除去する技術として、特許文献１および２に記載のものがある。

特許文献１に記載の画像処理装置は、Ｇ（緑）信号が市松上に配置されているモザイク配列を使用することにより、偽色などのノイズを抑えている。

特許文献２に記載の撮像装置は、Ｒ（赤）フィルタとＢ（青）フィルタを水平方向、垂直方向それぞれに３画素おきにオフセット構造に配置し、その間にＹ（透明）フィルタを配置していることにより、感度と解像度を向上させている。

特開２０１０−２３３２４１号公報 特開平８−２３５４２号公報

撮像素子により光を捕らえモザイク画像を入手する場合、隣接するカラーフィルタを通った光が入り込み、混色が発生する場合がある。混色は、色周りや偽信号を発生させ画像劣化を招く。特に、偽信号が発生した場合は、得られた画像において本来は存在しない場所に縦筋や横筋が発現してしまう。したがって、偽信号による画像劣化は目立ち易い。

一方、予め混色量が分かっている場合には、混色を補正することによって、偽信号による画像劣化を軽減することが可能である。しかし、混色量は撮像装置（例えばカメラやカメラ機能付き携帯端末）のレンズに大きく依存する量であるが、レンズ交換式の撮像装置を使用した際は、使用するレンズから混色量の算出に必要な情報が得られない場合があり、混色補正を行うことが困難な場合がある。

一方、様々な新規のカラーフィルタ配列が提案されているが、従来使用されてきたベイヤ配列に対して、カラーフィルタ配列が複雑なものもある。カラーフィルタ配列が複雑になると、撮像素子から得られるモザイク画像の混色補正が複雑化する。

特許文献１では間引き読み出しの技術を開示しているが、複雑な新しいカラーフィルタ配列に対応してなく、さらに高画質の画像を要求された場合、間引き読み出しを行ったモザイク画像では十分にその要求を満たすことができない場合がある。

特許文献２の技術では、混色による画質の低下に対して言及を行ってなく、間引き方法に関しても開示されていない。

本発明はこのような事情に鑑みてなされたもので、混色量が不明な場合であっても偽信号による画像劣化を抑制することができ、複雑なカラーフィルタ配列を採用した場合であってもモザイク画像の混色補正を比較的単純に行うことができる画像処理装置および方法ならびに撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理装置であって、画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得手段と、レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断手段と、混色情報判断手段が混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色および第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む第１モザイク画像であって、第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である第１モザイク画像における第１画素種類の数を減らすことにより得られる第２モザイク画像をカラー撮像素子から読み出し、混色情報判断手段が混色情報は判明と判断した場合に、第１モザイク画像をカラー撮像素子から読み出すモザイク画像取得手段と、混色情報判断手段が混色情報は判明と判断した場合に、第１モザイク画像に混色補正を行う混色補正手段と、混色補正が行われた第１モザイク画像、または第２モザイク画像から３面の色を生成する同時化処理手段と、を備え、第１色は輝度信号を得るための寄与率が第２色よりも高い色によって構成される。

これによれば、混色量が不明な場合であっても偽信号による画質の劣化を抑制することができ、複雑なカラーフィルタ配列を採用した場合であってもモザイク画像の混色補正を比較的単純に行うことができる。

本発明の他の態様に係る画像処理装置は、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理装置であって、画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得手段と、レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断手段と、第１モザイク画像をカラー撮像素子から読み出すモザイク画像取得手段と、混色情報判断手段が混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色および第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む第１モザイク画像であって、第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である第１モザイク画像における第１画素種類の数を減らすことにより得られる第２モザイク画像を生成するモザイク画像生成手段と、混色情報判断手段が混色情報は判明と判断した場合に、第１モザイク画像に混色補正を行う混色補正手段と、混色補正が行われた第１モザイク画像、または第２モザイク画像から３面の色を生成する同時化処理手段と、を備え、第１色は輝度信号を得るための寄与率が第２色よりも高い色によって構成される。

これによれば、混色量が不明な場合であっても偽信号による画質の劣化を抑制することができ、複雑なカラーフィルタ配列を採用した場合であってもモザイク画像の混色補正を比較的単純に行うことができる。

本発明の他の態様に係る画像処理方法では、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理方法であって、画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得工程と、レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断工程と、混色情報判断工程が混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色および第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む第１モザイク画像であって、第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である第１モザイク画像における第１画素種類の数を減らすことにより得られる第２モザイク画像をカラー撮像素子から読み出し、混色情報判断工程が混色情報は判明と判断した場合に、第１モザイク画像をカラー撮像素子から読み出すモザイク画像取得工程と、混色情報判断工程が混色情報は判明と判断した場合に、第１モザイク画像に混色補正を行う混色補正工程と、混色補正が行われた第１モザイク画像、または第２モザイク画像から３面の色を生成する同時化処理工程と、を備え、第１色は輝度信号を得るための寄与率が第２色よりも高い色によって構成される。

これによれば、混色量が不明な場合であっても偽信号による画質の劣化を抑制することができ、複雑なカラーフィルタ配列を採用した場合であってもモザイク画像の混色補正を比較的単純に行うことができる。

本発明の他の態様に係る画像処理方法では、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理方法であって、画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得工程と、レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断工程と、混色情報判断工程が混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色および第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む第１モザイク画像であって、第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である第１モザイク画像における第１画素種類の数を減らすことにより得られる第２モザイク画像をカラー撮像素子から読み出し、混色情報判断工程が混色情報は判明と判断した場合に、第１モザイク画像をカラー撮像素子から読み出すモザイク画像取得工程と、混色情報判断工程が混色情報は判明と判断した場合に、第１モザイク画像に混色補正を行う混色補正工程と、混色補正が行われた第１モザイク画像、または第２モザイク画像から３面の色を生成する同時化処理工程と、を備え、第１色は輝度信号を得るための寄与率が第２色よりも高い色によって構成される。

これによれば、混色量が不明な場合であっても偽信号による画質の劣化を抑制することができ、複雑なカラーフィルタ配列を採用した場合であってもモザイク画像の混色補正を比較的単純に行うことができる。

本発明によれば、混色量が不明な場合であっても偽信号による画質の劣化を抑制することができ、複雑なカラーフィルタ配列を採用した場合であってもモザイク画像の混色補正を比較的単純に行うことができる。

混色の発生原因を示す図 本発明に係る撮像装置の一つの例を示す機能ブロック図 本発明に係る画像処理装置の一つの例を示す機能ブロック図 本発明に係る画像処理装置の一つの例に係る処理動作フロー図 本発明に係る画像処理装置の一つの例を示す機能ブロック図 本発明に係る画像処理装置の一つの例に係る処理動作フロー図 本発明に係る画像処理装置の一つの例に係る処理動作フロー図 本発明に係る画像処理装置の一つの例に係る処理動作フロー図 ベイヤ配列におけるＧフィルタの種類の分け方を示す図 新規カラーフィルタ配列を説明する図 新規カラーフィルタ配列を説明する図 新規カラーフィルタ配列の第１画素種類を説明する図 他の第１画素種類の分け方を示す図 新規カラーフィルタ配列に関して他の第１画素種類の分け方を示す表 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 第１画素種類の数を減らす処理後のモザイク画像の例を示す図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 第１画素種類の数を減らす処理後のモザイク画像の例を示す図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る第１画素種類の数を減らす処理の一つの例を説明する図 本発明に係る撮影装置の一実施形態を示す図 図２９に示す撮影装置の構成を示すブロック図

以下、添付図面にしたがって本発明に係る画像処理装置および方法ならびに撮像装置の実施形態について詳説する。

先ず本発明でいう混色について説明する。図１は、混色の原因を説明する図である。図１に示すように混色は、上下左右の最小画素間隔で隣接する画素から色が入り込むという影響を受けて発生する。ここで、最小画素間隔というのは、基準画素の中心点から隣接画素の中心点まで画素間隔（ピッチ）が最小のことをいう。さらに、最小画素間隔（ピッチ）の４方向とは、１つの画素の形が正方形である場合は、基準となる画素の上下左右となる。

なお、モザイク画像における第１方向および第１方向に垂直な第２方向を、図１では上下と左右とすることができる。また、本発明では第１色と第２の色としているが、第１色とは輝度信号を得るための寄与率が前記第２色よりも高い色によって構成される。具体例として、緑（Ｇ）、ホワイト、透明、エメラルド等が挙げられるが、これに限定されるものではない。また、第１色は一色に限られるものでもない。例えば、Ｇ（１）、Ｇ（２）と色の違うＧを二種類有していても良いし、異なる色で第１色を構成してもよい。一方第２色は、輝度信号を得るための寄与率の相対的に低い色によって構成される。具体的には、第２色は、赤（Ｒ）や青（Ｂ）が挙げられるがこれに限定されるものではない。

図２は、本発明に係る撮像装置の一つの例を示す機能ブロック図である。

この撮像装置１０は、撮像した画像を内部メモリ（メモリ部２６）、または外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）１２によって統括制御される。

撮像装置１０には、シャッタボタン（シャッタースイッチ）、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部１４が設けられている。この操作部１４からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、デバイス制御部１６を介してレンズ部１８、シャッタ２０、画像取得手段として機能する撮像素子２２を制御するとともに、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示部２５の表示制御などを行う。

レンズ部１８は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部１８およびシャッタ２０を通過した光束は、撮像素子２２の受光面に結像される。

撮像素子２２(以後カラー撮像素子ともいう）は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型、ＸＹアドレス型、またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のカラーイメージセンサであり、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

撮像素子２２に蓄積された信号電荷は、デバイス制御部１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２から読み出された電圧信号は、Ａ／Ｄ変換器２４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号に変換され、一旦、メモリ部２６に保存される。

メモリ部２６は、揮発性メモリであるＳＤＲＡＭや、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（記憶手段）等を含み、ＳＤＲＡＭは、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子２２の画素の欠陥情報、混色補正を含む画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理装置２８は、メモリ部２６に一旦格納されたデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理（デモザイク処理ともいう）、ＲＧＢ／ＹＣ変換等の所定の信号処理を行う。なお、本発明に係る画像処理装置（図２においては画像処理部２８と記載したが以下画像処理装置と記載する。）の詳細については後述する。

画像処理装置２８で処理された画像データは、エンコーダ３０において画像表示用のデータにエンコーディングされ、ドライバ３２を介してカメラ背面に設けられている表示部２５に出力される。これにより、被写体像が連続的に表示部２５の表示画面上に表示される。

操作部１４のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ１２は、ＡＦ動作およびＡＥ動作を開始させ、デバイス制御部１６を介してレンズ部１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

メモリ部２６に一時的に記憶された画像データは、画像処理装置２８により適宜読み出され、ここで、混色補正、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式） にしたがって圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆファイル）形式で内部メモリや外部メモリに記録される。

なお、撮像装置１０としては、様々なものが考えられる。例えば、デジタルカメラや撮影機能を有する携帯端末装置である。ここでいう携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。

（第１実施形態）
図３は図２に示した撮像装置１０に係る画像処理装置２８の第１実施形態に関する内部構成を示す要部ブロック図である。

図３に示すように、画像処理装置２８は、主としてレンズ情報取得部１０２、混色情報判断部１０４（混色情報判断手段に相当）、モザイク画像取得部１０６（モザイク画像取得手段に相当）、混色補正部１０９（混色補正手段に相当）、同時化処理部１１０（同時化処理手段に相当）から構成されている。なお、図３におけるモザイク画像取得部１０６は図２におけるメモリ部２６を含む概念である。この他に、ホワイトバランス補正部、ガンマ補正、ＲＧＢ／ＹＣ変換等の信号処理を行う信号処理部、ＲＧＢ積算部、およびホワイトバランス（ＷＢ）ゲイン算出部（ホワイトバランスゲイン算出手段）を備えることもできるが、図示はしていなく、本発明を説明する上で必要な場合に適宜説明する。

画像処理装置２８は、レンズ部１８より撮影に使用するレンズ情報をレンズ情報取得部１０２により取得する。ここでレンズ情報とは、基本的に混色情報判断部１０４が混色補正を行うことが可能であるか否かを判別できる情報のことをいう。レンズ情報より混色補正が可能か否かに関しての判断に関しては後述する。

レンズ情報取得部１０２で得られたレンズ情報は、混色情報判断部１０４に送られる。混色情報判断部１０４は、得られたレンズ情報を基に、混色補正を行うことが可能であるか否かを判断する。すなわち、混色情報（混色量または混色率）はレンズ情報により主に決定される場合が多いので、レンズ情報を基に、混色情報判断部１０４が混色補正を行うことが可能か判断することが可能である。

ここで、混色情報（混色量または混色率）は具体的には、使用されるレンズに由来する入射光線の入射角度データと撮像素子の光学情報により決定または入手することが可能である。上記入射光線の入射角度データは、焦点距離、絞り、フォーカスまでの距離などの各設定により変わる場合があるので、各設定による入射光線の入射角度データを取得することが好ましい。

また、レンズ情報としては、以下の具体例を挙げることができる。

第１の具体例として、焦点距離、絞り、フォーカスまでの距離などにおける各設定に関する入射光線の入射角度データをレンズに記憶しておき、レンズから前述の入射角度データを直接読み出す場合には、読み出された入射角度データはレンズ情報である。

第２の具体例として、予め混色情報判断部１０４に複数種類のレンズに関する焦点距離、絞り、フォーカスまでの距離などにおける各設定に関する入射光線の入射角度データを記憶させて、その上で使用する（または使用した）レンズからレンズの種類の情報を得て、そのレンズの種類に対応する前述の入射角度データが読み出された場合には、上記レンズの種類の情報がレンズ情報である。

第３の具体例として、レンズからそのレンズの焦点距離、絞り、フォーカスまでの距離などにおける各設定に関する入射光線の入射角度データに関連する情報を読み出し、その情報をもとに混色情報判断部１０４で前述の入射角度データを算出した場合、前述の入射角度データに関連する情報がレンズ情報である。

また、撮像素子の光学情報として、マイクロレンズやフォトダイオード構造、フォトダイオードの位置等に由来する撮像素子の特性を例として挙げることができる。

混色情報判断部１０４は、装備されたレンズからレンズ情報を取得し、そのレンズ情報により混色情報（混色量または混色率）が算出可能な場合は、混色情報は判明と判断し、混色情報算出不可能な場合は、混色情報は不明と判断する。また、装備されたレンズと通信できない場合も混色情報は不明と判断する。なお、前述の説明は主にレンズが交換される場合に関するものであり、レンズが交換されない場合であればレンズ情報を取得せずに混色情報が判明する。

ここで、混色情報判断部１０４により、混色情報判明と判断された場合は、その混色情報をもとに混色補正部１０９にて混色補正を行う。なお、前述したように予め使用されるレンズが予想されていれば、レンズの焦点距離、最小および／または最大絞り値などの情報から混色量を算出し、混色補正を行うことができる。しかし、予め使用されるレンズが予想されてない場合には、混色量が判明しないために、混色補正を行うことができない。

カラー撮像素子２２から読み出されたモザイク画像は、一旦モザイク画像取得部１０６に格納される。ここで、モザイク画像取得部１０６は、混色情報判断部１０４によって制御されているので、混色情報判断部１０４の判断により、カラー撮像素子２２から読み出すモザイク画像を変えることが可能である。例えば、混色情報判断部１０４の判断が混色情報判明と判断した場合は、モザイク画像取得部１０６は、第１モザイク画像を取得する。

ここで、第１モザイク画像とは、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られるモザイク画像であって、少なくとも１以上の色によって構成される第１色および第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含むモザイク画像ある。また、第１色は輝度信号を得るための寄与率が第２色よりも高い色によって構成されている。

混色情報判断部１０４が混色情報判明と判断した場合であって、モザイク画像取得部１０６が第１モザイク画像を取得した後は、第１モザイク画像は混色補正部１０９へ送られる。混色補正部１０９は、判明している混色情報を基に第１モザイク画像に対して混色補正を行う。ここで、混色補正とは混色を補正する処理のことをいう。例えば、あらかじめ混色量が分かっていれば、その混色量に応じて補正をおこなうことが可能である。

混色補正部１０９に混色補正が行われた後は、第１モザイク画像は、同時化処理部１１０に送られる。

一方、混色情報判断部１０４が混色情報不明と判断した場合は、モザイク画像取得部１０６は第２モザイク画像を取得する。

ここで、第２モザイク画像とは、混色情報判断部１０４が混色情報不明と判断した場合に、第１モザイク画像に対して第１モザイク画像の第１画素種類の数を減らす処理を行ったモザイク画像のことをいう。ここで、第１画素種類とは、第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素の種類のことをいい詳細は後述する。

混色情報判断部１０４が混色情報不明と判断した場合であって、モザイク画像取得部１０６が第２モザイク画像を取得した後は、第２モザイク画像は同時化処理部１１０へと送られる。

同時化処理部１１０では、第１モザイク画像および第２モザイク画像に対して同時化処理が行われ、３面の色データが生成される。同時化処理とは、単板式のカラーフィルタ配列に伴う色信号の空間的なズレを補間することにより、３面の色データに変換する処理のことをいう。また、補間の方法は、一つの態様に限られるものではない。方向性や重み付けを施した補間も行うことができるし、画質および同時化処理を行う装置の性能に応じて種々の補間を行うことができる。例えば、モザイク画像の特性を考慮した同時化処理が行われてもよい。具体的には、モザイク画像の特性を考慮とは、モザイク画像の第１画素の配列を考慮して同時化処理を行うことである。

同時化処理部１１０で生成された３面の色データは、画像処理装置２８の外部であるエンコーダ３０へ送付される。

今回説明の都合上詳述はしないが、画像処理装置２８では、画像を処理する上で以下のような他の処理を行う。

同時化処理前に、オフセット補正やホワイトバランス補正（ＷＢ補正）が行われてもよい。オフセット補正では、第１モザイク画像に対して黒レベルを揃える処理がなされる。一方、ホワイトバランス補正では、ホワイトバランス補正用のゲイン値Ｒｇ、Ｇｇ、Ｂｇは、第１モザイク画像を解析して、例えば光源種（太陽光、蛍光灯、タングステン電球等）を特定し、その光源種に対応して予め記憶されているゲイン値Ｒｇ、Ｇｇ、Ｂｇに設定され、あるいはホワイトバランス補正を行うメニュー画面上で手動により選択された光源種や色温度に対応するゲイン値Ｒｇ、Ｇｇ、Ｂｇに設定される。

また、同時化処理後に、得られた３面の色データは、信号処理部により輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換するＲＧＢ／ＹＣ変換等の信号処理が行われ、信号処理された輝度信号Ｙ、色差信号Ｃｒ、Ｃｂは変換出力される。

図４は、第１実施形態に係る画像処理装置２８の処理動作フローである。

図４において、画像処理装置２８は、まずレンズ部１８よりレンズ情報を取得する（ステップＳ１２０）続いて、得られたレンズ情報により、混色情報判断部１０４は混色情報が判明するか不明かを判断する（ステップＳ１３０）。混色情報判断部１０４が混色情報判明と判断した場合（ステップＳ１３０のＹｅｓ）は、モザイク画像取得部１０６は、第１モザイク画像を取得する（ステップＳ１４０）。一方、混色情報判断部１０４の判断が混色情報不明（ステップＳ１３０のＮｏ）とした場合は、モザイク画像取得部１０６は第２モザイク画像を取得する（ステップS１５０）。

続いて、混色情報判断部１０４が混色情報判明と判断した場合（ステップＳ１３０のＹｅｓ）は、第１モザイク画像に対して混色補正部１０９により混色補正処理が行われる（ステップＳ１６０）。

混色補正処理（ステップＳ１６０）が行われた第１モザイク画像、または第２モザイク画像に対して、同時化処理部１１０により、同時化処理が行われる（ステップＳ１７０）。同時化処理（ステップＳ１７０）により３面の色データが得られる。その後画像処理装置２８の動作は終了する。

（第２実施形態）
図５は、画像処理装置２８の第２実施形態の機能ブロック図である。なお、画像処理装置の第１実施形態（図３）と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第２実施形態に係る画像処理装置２８は、第１実施形態に係る画像処理装置２８（図３）と比較して、混色情報判断部１０４に制御されるモザイク画像生成部１０８が追加されている点で異なる。また、第２実施形態の混色情報判断部１０４は、モザイク画像取得部１０６を制御してない点も異なる。したがって、第２実施形態のモザイク画像取得部１０６は、混色情報判断部１０４の判断に関係なく、常時第１モザイク画像を読み出す。

混色情報判断部１０４の判断が混色情報判明と判断した場合は、モザイク画像取得部１０６が取得した第１モザイク画像は混色補正部１０９に送られる。混色補正部１０９で混色補正が行われた後は、第１モザイク画像は、同時化処理部１１０に送られる。

一方、混色情報判断部１０４が混色情報不明と判断した場合は、モザイク画像生成部１０８は、第１モザイク画像をモザイク画像取得部１０６から取得し第２モザイク画像を生成する。

混色情報判断部１０４が混色情報不明と判断した場合であって、モザイク画像生成部１０８が第２モザイク画像を取得した後は、第２モザイク画像は同時化処理部１１０へと送られる。

図６は第２実施形態に係る画像処理装置２８の処理動作フローである。なお、第１実施形態（図４）と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図６に示した第２実施形態の処理動作フローは、図４に示した第１実施形態の処理動作フローと比較すると、第２モザイク画像を生成する（ステップＳ１５２）が追加された点、第２モザイク画像を取得する動作（ステップＳ１５０）が削除された点、第１モザイク画像を取得する（ステップＳ１４０）動作が始めの処理動作である点が異なる。

先ず、図６に示された第２実施形態では、モザイク画像取得部１０６が第１モザイク画像を取得する（ステップＳ１４０）。また、混色情報判断部１０４が混色情報不明と判断した場合（ステップＳ１３０のＮｏ）、モザイク画像生成部１０８が第２モザイク画像を生成する（ステップＳ１５２）。モザイク画像生成部１０８で生成された第２モザイク画像は、同時化処理部１１０へ送られ、同時化処理される。一方、混色情報判断部１０４が混色情報あり（ステップＳ１３０のＹｅｓ）と判断した場合は、ステップＳ１４０で得た第１モザイク画像に対して混色補正処理（ステップＳ１６０）が施される。

（第３実施形態）
図７は、第３実施形態に係る画像処理装置２８の処理動作フローである。なお、画像処理装置の機能ブロック図は、画像処理装置の第１実施形態と（図３）と同じであり、共通する部分には同一の符号を付し、その詳細な説明は省略する。

図３において、第３実施形態では混色情報判断部１０４が混色情報判明と判断した場合に、モザイク画像取得部１０６は第１モザイク画像をカラー撮像素子２２から読み出す、またはモザイク画像取得部１０６は第１画素種類の数を減らすことにより得られる第３モザイク画像をカラー撮像素子２２から読み出す（図３参照）。その後、第３モザイク画像は混色補正部１０９に送られる。

第３実施形態によれば混色情報が判明して混色補正が可能な場合であっても、第１画素種類の数を減らす処理を行うことによって、混色補正の単純化を実現することができる。

図７は、第３実施形態における処理動作フローである。第１実施形態における処理動作フロー（図４）と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第３実施形態では、混色情報判断部１０４が混色情報判明と判断した場合（ステップＳ１３０のＹｅｓ）であって、混色情報判断部１０４が第１画素種類の数を減らす処理を行うと判断した場合には（ステップＳ１３５のＹｅｓの場合）、第１モザイク画像から第１画素種類の数を減らす処理を施し、第３モザイク画像を取得する（ステップＳ１４５）。その後、第３モザイク画像は、混色補正処理（ステップＳ１６０）が施される。

ここで、混色情報判断部１０４が第１画素種類の数を減らす処理を行うと判断する場合とは、自動的にまたは手動で行われる。例えば、ユーザの要求により画質を選び、高解像度のものを要求する場合は、第１画素種類の数を減らす処理は行わず（ステップＳ１３５のＮｏ）第１モザイク画像を取得する（ステップＳ１４０）が、それほど高解像度のものを要求せず、補正処理を比較的単純化された状態で行いたい場合には、第１画素種類の数を減らす処理を行い（ステップＳ１３５のＹｅｓ）、第３モザイク画像を取得する（ステップＳ１４５）という選択を自動または手動で行う。

（第４実施形態）
図８は、第４実施形態に係る画像処理装置２８の処理動作フローである。なお、第４実施形態に係る画像処理装置の機能ブロック図は、画像処理装置の第２実施形態と（図５）と同じであり、共通する部分には同一の符号を付し、その詳細な説明は省略する。

第４実施形態では混色情報判断部１０４が混色情報判明と判断した場合に、モザイク画像取得部１０６が取得した第１モザイク画像は混色補正部１０９に送られるか、またはモザイク画像生成部１０８は第１画素種類の数を減らすことにより得られる第３モザイク画像をカラー撮像素子２２から読み出す（図５参照）。その後、第３モザイク画像は混色補正部１０９に送られる。

図５に記載の第４実施形態によれば混色情報が判明して混色補正が可能な場合であっても、第１画素種類の数を減らす処理を行うことによって、混色補正の単純化を実現することができる。

図８は、第４実施形態における処理動作フローである。第２実施形態における処理動作フロー（図６）と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第４実施形態では、混色情報判断部１０４が混色情報判明と判断した場合（ステップＳ１３０のＹｅｓ）であって、混色情報判断部１０４が第１画素種類の数を減らす処理を行うと判断した場合には（ステップＳ１３５Ｙｅｓの場合）、第１モザイク画像から第１画素種類の数を減らす処理を施し、第３モザイク画像を生成する（ステップＳ１４７）。その後、第３モザイク画像は、混色補正処理（ステップＳ１６０）が施される。

図９（ａ）は、ベイヤ配列における第１画素（この場合はＧ（緑））に関しての種類を示している。図９（ａ）の場合は、最小画素間隔で隣接する４画素の配置を考慮するとＧ１とＧ２の種類があることが分かる。詳細には、Ｇ１は、左右の両隣にはＢが存在し、上下の両隣にはＲが存在している。これに対して、Ｇ２では、左右の両隣にはＲが配置されており、上下の両隣にはＢが配列されている。したがって、図９（ｂ）に示すように、ベイヤ配列に関して、第１画素種類は２種存在することになる。

本発明においては、第１画素種類の数を減らす処理が未処理であり、撮像有効領域内の全画素読み出しを行った第１モザイク画像での第１画素種類の数が４種以上のものを対象としている。これにより、第１画素種類の数が比較的多いモザイク画像において、画像劣化を防ぐための処理が複雑化することを抑制することが可能だからである。

図１０は、撮像素子２２（フォトダイオードおよびカラーフィルタで構成される）の実施形態を示す図であり、特に撮像素子２２の受光面上に配置されている新規カラーフィルタ配列に関して示している。ここでカラーフィルタ配列は、モザイク画像における第１色画素および第２色画素の配列と等しくなる。つまり、撮像素子２２から全部読み出しを行った場合は、カラーフィルタ配列と第１モザイク画像における第１色画素および第２色画素の配列が等しくなる。

この撮像素子２２のカラーフィルタ配列は、Ｍ×Ｎ（６×６）画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向および垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子２２から読み出されるＲＧＢのモザイク画像の画像処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

図１０に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、および斜め左上（ＮＷ）方向の各ライン内に１以上配置されている。

ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上および斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、および斜め（ＮＥ、ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

また、図１０に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ、Ｂの色）に対応するＲフィルタ、Ｂフィルタが、それぞれ基本配列パターンの水平、および垂直方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、および垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。なお、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

さらに、図１０に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ、Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ、Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

図１１は、図１０に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図１１に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列およびＢ配列は、それぞれＧフィルタが４隅と中央に配置され、Ｇフィルタが両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

図１２には、図１０および図１１で示した新規カラーフィルタ配列に関する第１画素の種類について示したものである。図１０および図１１で示した新規カラーフィルタ配列には、第１画素種類の数は、１０種ある（図１２（ａ）参照）。これを詳述すると、図１２（ｂ）のような形になる。つまり、図１２（ｂ）にて示されているように、Ｇ１は、上：Ｇ、下Ｂ、左Ｇ、右Ｒが配置されており、Ｇ２は、上：Ｇ、下Ｂ、左Ｒ、右Ｇが配置されており、Ｇ３は、上：Ｇ、下Ｒ、左Ｇ、右Ｂが配置されており、Ｇ４は、上：Ｇ、下Ｒ、左Ｂ、右Ｇが配置されており、Ｇ５は、上：Ｒ、下Ｒ、左Ｂ、右Ｂが配置されており、Ｇ６は、上：Ｂ、下Ｂ、左Ｒ、右Ｒが配置されており、Ｇ７は、上：Ｂ、下Ｇ、左Ｇ、右Ｒが配置されており、Ｇ８は、上：Ｂ、下Ｇ、左Ｒ、右Ｇが配置されており、Ｇ９は、上：Ｒ、下Ｇ、左Ｇ、右Ｂが配置されており、Ｇ１０は、上：Ｒ、下Ｇ、左Ｂ、右Ｇが配置されている。

なお、第１画素種類として、上記では第１画素に最短画素間隔で隣接する画素の配置によって種類を分けているが、第１画素種類の分け方としてはこれに限られるものではない。例えば、撮像素子２２の下地構造などの色以外の混色がある場合にはそれを考慮してもよい。

図１３には、新規カラーフィルタ配列の６×６の基本配列パターンにおける、撮像素子２２の下地構造を考慮した第１画素種類の種類分けに関して説明する図である。

図１３（ａ）には、新規カラーフィルタ配列の６×６の基本配列パターン範囲内において、アンプの共有における種類分けを示す１例である。例えば、同じ第１色の画素であっても、下地が異なれば、異なる種類として扱うようにする。図１３（ｂ）には、図１２（ａ）で説明した新規カラーフィルタ配列であり、この新規カラーフィルタ配列は、上記したように、上下左右［第１方向（垂直方向）、第２方向（水平方向）］の４方向に最小画素間隔で隣接する画素の配置により種類を分けた場合、第１画素種類は１０種存在する。図１３（ｃ）は、図１３（ａ）のアンプ共有による種類分けと、図１３（ｂ）の最小画素間隔で隣接する画素の配置による種類分けとを考慮した場合の種類分けを示す。図１３（ｃ）に示すように、６×６の基本配列パターンにおいて、ＡゾーンにＧ１からＧ１０は各一つずつ配置されおり、ＢゾーンにＧ１からＧ１０は各一つずつ配置されている。しかし、図１３（ｃ）で説明したようにアンプ共有における種類分けを考慮すると、図１３（ｃ）で示したように、例えばＡゾーンのＧ１はＧ１−１となり、ＢゾーンのＧ１はＧ１−４となり異なる種類として見なす。

図１４は、図１３で説明した種類分けを表にしたものである。例えばＧ１にはＧ１−１（（隣接４画素の配置による種類分け）−（アンプ共有における種類分け））およびＧ１−４の２種類が存在する。図１４に示すようにＧ１からＧ１０では、隣接４画素の配置による種類分けおよびアンプ共有における種類分けを考慮すると、各々２種類あり、新規カラーフィルタ配列における基本配列パターンでは合計で２０種類存在することになる。

本発明において、第１画素種類を撮像素子２２の下地構造も考慮して種類分けすると、より詳細に偽色の発生を抑えることが可能である。

ここで、下地構造の意味は、上記したアンプの共有における種類分けに限定されず、様々の下地構造の要因を含むことが可能である。

本発明においては、第１実施形態ではモザイク画像取得部１０６（図３）が、第２実施形態ではモザイク画像生成部１０８（図５）が第１画素種類の数を減らす処理をおこなう。第１画素種類の数を減らす処理としては、様々な処理が考えられるが具体例として抽出処理が挙げられる。

以下に、新規カラーフィルタ配列に対して、適宜抽出率を変えて処理を行った例を示す。

図１５は、新規カラーフィルタ配列に関して、１／６抽出処理を行った様子を示している。図１５（ａ）は撮像素子２２からの全部読み出しのモザイク画像（第１モザイク画像）である場合を考えると、図１５（ａ）に記載されている第１モザイク画像は、６×６の最小単位を有しており、６×６の最小単位から規則的に基本配列パターン１列または１行を抽出する（図１５中の矢印を参照）。図１５（ｂ）には、抽出処理を行った後の第２モザイク画像を示す。なお、撮像素子２２から読み出しを行う際に、全部読み出しを行わずに抽出した形で読み出すことも可能である。

図１６は、図１５で行った１／６抽出処理を行った後の第２モザイク画像に関して示している。図１６に示されている第２モザイク画像では、１／６抽出を行うと、第１方向(
垂直方向)に延びる直線上に第１画素種類に関して単一種の第１画素（この場合はＧ５およびＧ６）が整列している。具体的にいうと、第１方向（垂直方向）に延びる直線上にＧ５が整列しており、またＧ６が整列している。図１６のような第２モザイク画像は、混色による偽信号（偽色）を抑制する上で非常に有効である。なぜならば、輝度信号を得るための寄与率の高い色である第１色のＧに隣接する４方向の画素配置を考慮した種類がＧ５とＧ６との２種類となりＧの種類が減っているために、Ｇの混色に対応し易くなる。また、Ｇ５およびＧ６は第１方向（垂直方向）に延びる直線上に配列しているので、仮に偽信号等で画像の質が劣化した場合には、それを修正すことは容易である。さらに、第２方向（水平方向）には、第１画素（この場合Ｇ）および第２画素（この場合ＢおよびＲ）が各々配置されているので、同時化処理において有効となる。

なお、ここで単一種とは、第１画素種の種類が一種類であることをいう。

図１７は、新規カラーフィルタ配列に関して、１／３抽出処理を行った様子を示している。図１７（ａ）は撮像素子２２からの全部読み出しのモザイク画像（第１モザイク画像）である場合を考えると、図１７（ａ）に記載されている第１モザイク画像は、６×６の最小単位を有しており、６×６の最小単位から規則的に基本配列パターンの第２列を抽出する抽出処理を行っている（図１７中の矢印を参照）。図１７（ｂ）には、抽出処理を行った後の第２モザイク画像を示す。なお、撮像素子２２から読み出しを行う際に、全部読み出しを行わずに抽出した形で読み出すことも可能である。

図１８は、図１７で行った１／３抽出処理を行った後の第２モザイク画像に関して示している。図１８に示されている第２モザイク画像では、第１方向（垂直方向）に延びる直線上に第１画素種類に関して規則性を有して（この場合はＧ５とＧ６が交互に）、第１画素（この場合はＧ５およびＧ６）が整列している。なお、ここで規則性を有しているとは、ある一定の秩序を有していることであり、例えば数種類のものがある一定の法則に沿って繰り返されていることをいう。

図１８のような第２モザイク画像は、混色による偽信号（偽色）を抑制する上で非常に有効である。なぜならば、輝度信号を得るための寄与率の高い色である第１色であるＧの隣接する４方向の画素配置を考慮した種類がＧ５とＧ６との２種類となりＧの種類が減っているために、Ｇの混色に対応し易くなる。また、Ｇ５およびＧ６は第１方向（垂直方向）に延びる直線上に配列しているので、仮に偽信号等で画像の質が劣化した場合には、それを修正することは容易である。さらに、第２方向（水平方向）（この場合水平方向）には、第１画素（この場合Ｇ）および第２画素（この場合ＢおよびＲ）が各々配置されているので、同時化処理において補間処理が行い易くなる。

図１９は、新規カラーフィルタ配列に関して、第１方向（垂直方向）および第２方向（水平方向）（図１９に対しては垂直および水平）に１／２抽出処理を行った様子を示している（基本配列パターンの第１列、３列、５列および第１行、３行、５行を抽出）。図１９（ａ）はメモリ部２６からの全部読み出しのモザイク画像（第１モザイク画像）である場合を考えると、図１９（ａ）に記載されている第１モザイク画像は、６×６の最小単位を有しており、６×６の最小単位から規則的に３列および３行を抽出する抽出処理が施されている（図１９中の矢印を参照）。図１９（ｂ）には、抽出処理を行った後の第２モザイク画像を示す。なお、撮像素子２２から読み出しを行う際に、全部読み出しを行わずに抽出した形で読み出すことも可能である。

図１９（ｂ）で示されているような第２モザイク画像は、高解像の画質を要求された場合には、非常に有効である。なぜならば、１／２抽出を行っているために、１／３、１／６抽出よりも高解像の画像を得ることができる。なお図１９（ｂ）中には、第１画素種類が５種となっており、第１モザイク画像における第１画素種類の１０種よりも数が減っており、混色補正や画像劣化を戻す処理が容易になる。

図２０は、新規カラーフィルタ配列に関して、第２方向（水平方向）に１／２抽出処理を行って得られる第２画像フィルタを示す。図２０（ａ）は撮像素子２２からの全部読み出しのモザイク画像（第１モザイク画像）である場合を考えると、図２０（ａ）に記載されている第１モザイク画像は、６×６の最小単位を有しており、６×６の最小単位から規則的に１／２抽出処理を行っている（基本配列パターン第１行、第３行および第５行を抽出）（図２０中の矢印を参照）。図２０（ｂ）には、抽出処理を行った後の第２モザイク画像を示す。

図２０（ｂ）で示されているような第２モザイク画像は、第１方向（垂直方向）にＧ１、Ｇ７、Ｒが規則的に配列しており、第２方向（水平方向）のライン全てがＲＧＢの各色を有している。この場合、第２モザイク画像において、第１画素種類の数が１０であるので、混色補正処理が複雑となる。したがって、混色情報が判明しない場合、混色による画像劣化を補う処理が容易でない。しかし、混色情報（混色量または混色率）が判明すれば混色補正処理を行うことが可能である。さらに、１／２抽出処理を行っているために、１／３抽出処理や１／６抽出処理よりも高解像の画像を得ることができる。

本発明では、抽出率を適宜変更することが好ましい。抽出率を適宜変更することにより、所望の解像度の画像を得ることが可能となる。

以下に、第１モザイク画像における第１画素種類の数を適宜変え、それに応じて抽出処理を行った例を示す。

図２１は、第１モザイク画像における第１画素種類の数が４種類のカラーフィルタ配列の例である。図２１（ａ）に示されているように、Ｇ１は、上：Ｂ、下：Ｇ、左：Ｂ、右：Ｇが配置されており、Ｇ２は、上：Ｒ、下：Ｇ、左：Ｇ、右：Ｒが配置されており、Ｇ３は、上：Ｇ、下：Ｒ、左：Ｒ、右：Ｇが配置されており、Ｇ４は、上：Ｇ、下：Ｂ、左：Ｇ、右：Ｂが配置されている。図２１（ａ）に示された第１画素種類の数が４種の第１モザイク画像に対して、Ｇ１を含むラインを先頭に１／４抽出を行った場合（図２１中の矢印を参照）、図２１（ｂ）に示されるような、第１画素種類の数が２種に減ったモザイク画像を得ることができる。

図２１（ｂ）は第１方向（垂直方向）に延びる直線上にＧ１、Ｇ２、Ｒ、Ｂ、それぞれ整列している。また、第２方向（水平方向）に延びる直線上にＧ１、Ｇ２、Ｒ、およびＢを含むラインが存在する。これにより、垂直方向に、単一種のラインがあることにより、混色補正が単純化され、また水平方向に、Ｇ１、Ｇ２、Ｒ、およびＢを含むラインがあることにより補間精度が向上する。

図２２は図２１で示した第１モザイク画像における第１画素種類の数が４種類のカラーフィルタ配列の例であり、抽出率を１／４から１／２に変更されている。これにより、第１画素種類の数が２種に減ったモザイク画像を得られた。得られたモザイク画像は、第１方向（垂直方向）に、Ｇ１とＲを含むライン、Ｇ２とＢを含むラインが存在し、且つ第２方向（水平方向）に延びる直線上にＧ１、Ｇ２、Ｒ、およびＢを含むラインが存在する。よって、補間精度が向上する。

図２３は、第１モザイク画像における第１画素種類の数が５種類のカラーフィルタ配列の例である。図２３（ａ）に示されているように、Ｇ１は、上：Ｇ、下：Ｇ、左：Ｂ、右：Ｒが配置されており、Ｇ２は、上：Ｇ、下：Ｇ、左：Ｒ、右：Ｂが配置されており、Ｇ３は、上：Ｇ、下：Ｇ、左：Ｇ、右：Ｇが配置されており、Ｇ４は、上：Ｂ、下：Ｒ、左：Ｇ、右：Ｇが配置されており、Ｇ５は、上：Ｒ、下：Ｂ、左：Ｇ、右：Ｇが配置されている。図２３（ａ）に示された第１画素種類の数が５種の第１モザイク画像に対して、Ｇ１を含むラインを先頭に１／３抽出を行った場合（図２３中の矢印を参照）、図２３（ｂ）に示されるような、第１画素種類の数が２種に減ったモザイク画像を得ることができる。

図２３（ｂ）は第１方向（垂直方向）に延びる直線上にＧ１、Ｒ、Ｂ、それぞれ整列している。また、第２方向（水平方向）に延びる直線上にＧ１、Ｒ、およびＢを含むラインが存在する。これにより、垂直方向に、単一種のラインがあることにより、混色補正が単純化され、また水平方向に、Ｇ１、Ｇ２、Ｒ、およびＢを含むラインがあることにより補間精度が向上する。

図２４は図２３で示した第１モザイク画像における第１画素種類の数が５種類のカラーフィルタ配列の例であり、抽出処理として、Ｇ１を含むラインとＧ２を含むラインを交互に抽出した（図２４の矢印参照）。これにより、第１画素種類の数が２種に減ったモザイク画像を得られた。得られたモザイク画像は、第１方向（垂直方向）に、Ｇ１とＧ２を含むライン、ＲとＢを含むラインが存在し、且つ第２方向（水平方向）に延びる直線上にＧ１、Ｂ、およびＲを含むライン、Ｇ２、Ｂ、およびＲを含むラインが存在する。よって、補間精度が向上する。

図２５は、第１モザイク画像における第１画素種類の数が５種類のカラーフィルタ配列の例である。図２５（ａ）に示されているように、Ｇ１は、上：Ｇ、下：Ｇ、左：Ｇ、右：Ｇが配置されており、Ｇ２は、上：Ｒ、下：Ｂ、左：Ｇ、右：Ｇが配置されており、Ｇ３は、上：Ｂ、下：Ｒ、左：Ｇ、右：Ｇが配置されており、Ｇ４は、上：Ｇ、下：Ｇ、左：Ｒ、右：Ｂが配置されており、Ｇ５は、上：Ｇ、下：Ｇ、左：Ｂ、右：Ｒが配置されている。図２５（ａ）に示された第１画素種類の数が５種の第１モザイク画像に対して、Ｇ４を含むラインを先頭に１／２抽出を行った場合（図２５中の矢印を参照）、図２５（ｂ）に示されるような、第１画素種類の数が２種に減ったモザイク画像を得ることができる。

図２５（ｂ）は第１方向（垂直方向）に延びる直線上にＧ４およびＧ５が交互に、ＲおよびＢが交互にそれぞれ整列している。また、第２方向（水平方向）に延びる直線上にＧ４、Ｇ５、Ｒ、およびＢを含むラインが存在する。これにより、垂直方向に、単一種のラインがあることにより、混色補正が単純化され、また水平方向に、Ｇ４、Ｇ５、Ｒ、およびＢを含むラインがあることにより補間精度が向上する。

図２６は、第１モザイク画像における第１画素種類の数が８種類のカラーフィルタ配列の例である。図２６（ａ）に示されているように、Ｇ１は、上：Ｇ、下：Ｒ、左：Ｂ、右：Ｂが配置されており、Ｇ２は、上：Ｇ、下：Ｂ、左：Ｒ、右：Ｒが配置されており、Ｇ３は、上：Ｂ、下：Ｂ、左：Ｇ、右：Ｒが配置されており、Ｇ４は、上：Ｂ、下：Ｂ、左：Ｒ、右：Ｇが配置されており、Ｇ５は、上：Ｒ、下：Ｒ、左：Ｇ、右：Ｂが配置されており、Ｇ６は、上：Ｒ、下：Ｒ、左：Ｂ、右：Ｇが配置されており、Ｇ７は、上：Ｒ、下：Ｇ、左：Ｂ、右：Ｂが配置されており、Ｇ８は、上：Ｂ、下：Ｇ、左：Ｒ、右：Ｒが配置されている。図２６（ａ）に示された第１画素種類の数が８種の第１モザイク画像に対して、Ｇ３を含むラインを先頭に１／３抽出を行った場合（図２６中の矢印を参照）、図２６（ｂ）に示されるような、第１画素種類の数が４種に減ったモザイク画像を得ることができる。

図２６（ｂ）は第１方向（垂直方向）に延びる直線上にＧ３およびＧ５が交互に、ＲおよびＢが交互に、Ｇ４およびＧ６が交互にそれぞれ整列している。また、第２方向（水平方向）に延びる直線上にＧ３、Ｇ４、Ｇ５、Ｇ６、Ｒ、およびＢを含むラインが存在する。これにより、水平方向に、Ｇ３、Ｇ４、Ｇ５、Ｇ６、Ｒ、およびＢを含むラインがあることにより補間精度が向上する。

図２７は、図２６（ａ）で示した第１モザイク画像における第１画素種類の数が８種類のカラーフィルタ配列の例であり、Ｇ１およびＧ２を含むラインを抽出した（図２７の矢印参照）。これにより、第１画素種類の数が２種に減ったモザイク画像を得られた。得られたモザイク画像は、第１方向（垂直方向）に、Ｇ１、Ｇ２、Ｒ、Ｂが単一種で直線的に整列をし、且つ第２方向（水平方向）に延びる直線上にＧ１、Ｇ２、Ｂ、およびＲを含むラインが存在する。よって、補間精度が向上する。

図２８、第１モザイク画像における第１画素種類の数が１１種類のカラーフィルタ配列の例である。図２８（ａ）に示されているように、Ｇ１は、上：Ｒ、下：Ｒ、左：Ｂ、右：Ｂが配置されており、Ｇ２は、上：Ｂ、下：Ｇ、左：Ｒ、右：Ｇが配置されており、Ｇ３は、上：Ｒ、下：Ｒ、左：Ｇ、右：Ｇが配置されており、Ｇ４は、上：Ｂ、下：Ｇ、左：Ｇ、右：Ｒが配置されており、Ｇ５は、上：Ｇ、下：Ｇ、左：Ｂ、右：Ｒが配置されており、Ｇ６は、上：Ｇ、下：Ｇ、左：Ｒ、右：Ｂが配置されており、Ｇ７は、上：Ｇ、下：Ｂ、左：Ｒ、右：Ｇが配置されており、Ｇ８は、上：Ｇ、下：Ｂ、左：Ｇ、右：Ｒが配置されており、Ｇ９は、上：Ｒ、下：Ｒ、左：Ｇ、右：Ｇが配置されており、Ｇ１０は、上：Ｇ、下：Ｇ、左：Ｂ、右：Ｂが配置されており、Ｇ１１は、上：Ｂ、下：Ｒ、左：Ｇ、右：Ｇが配置されている。図２６（ａ）に示された第１画素種類の数が１１種の第１モザイク画像に対して、Ｇ１を含むラインを先頭に１／４抽出を行った場合（図２８中の矢印を参照）、図２８（ｂ）に示されるような、第１画素種類の数が２種に減ったモザイク画像を得ることができる。

図２８（ｂ）は第１方向（垂直方向）に延びる直線上にＧ１、Ｒ及びＢがそれぞれ整列している。また、第２方向（水平方向）に延びる直線上にＧ１、Ｇ２、Ｒ、およびＢを含むラインが存在する。これにより、水平方向に、Ｇ１、Ｇ２、Ｒ、およびＢを含むラインがあることにより補間精度が向上する。

本発明の他の態様である撮像装置１０は、レンズ交換式である撮影光学系と上記撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、上記した画像処理装置を備える。レンズ交換式である撮像手段を有する撮像装置１０は、上記した画像処理装置を備えることによって、混色による偽色を抑えることが可能となる。

本発明の画像処理方法は、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理方法であって、画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得工程と、レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断工程と、混色情報判断工程が混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色および第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む第１モザイク画像であって、第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である第１モザイク画像における第１画素種類の数を減らすことにより得られる第２モザイク画像をカラー撮像素子から読み出し、混色情報判断工程が混色情報は判明と判断した場合に、第１モザイク画像をカラー撮像素子から読み出すモザイク画像取得工程と、混色情報判断工程が混色情報は判明と判断した場合に、第１モザイク画像に混色補正を行う混色補正工程と、混色補正が行われた第１モザイク画像、または第２モザイク画像から３面の色を生成する同時化処理工程と、を備え、第１色は輝度信号を得るための寄与率が第２色よりも高い色によって構成される。本発明の画像処理方法によれば、混色量が不明な場合であっても偽信号による劣化を抑制することができ、複雑なカラーフィルタ配列を採用した場合であってもモザイク画像の混色補正を比較的単純に行うことができる。

本発明は、特に動画やスルー画（ライブビュー画像）に関しての画像処理に関して有効であるが、特にこれに限定されるものではない。

また、本発明では、第１モザイク画像における第１画素種類の数が、４以上、好ましくは５以上、さらに好ましくは６以上であり、１２以下、好ましくは１１以下、さらに好ましくは１０以下のモザイク画像（カラーフィルタ配列）に関して、より効果を発揮することが可能である。

以上、本発明の撮影装置の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２９は、本発明の撮影装置の一実施形態であるスマートフォン３０１の外観を示すものである。図２９に示すスマートフォン３０１は、平板状の筐体３０２を有し、筐体３０２の一方の面に表示部としての表示パネル３２１と、入力部としての操作パネル３２２とが一体となった表示入力部３２０を備えている。また、係る筐体３０２は、スピーカ３３１と、マイクロホン３３２、操作部３４０と、カメラ部３４１とを備えている。なお、筐体３０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図３０は、図２９に示すスマートフォン３０１の構成を示すブロック図である。図３０に示すように、スマートフォンの主たる構成要素として、無線通信部３１０と、表示入力部３２０と、通話部３３０と、操作部３４０と、カメラ部３４１と、記憶部３５０と、外部入出力部３６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部３７０と、モーションセンサ部３８０と、電源部３９０と、主制御部４００とを備える。また、スマートフォン３０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部３１０は、主制御部４００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部３２０は、主制御部４００の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル３２１と、操作パネル３２２とを備える。

表示パネル３２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル３２２は、表示パネル３２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一または複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部４００に出力する。次いで、主制御部４００は、受信した検出信号に基づいて、表示パネル３２１上の操作位置（座標）を検出する。

図２９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン３０１の表示パネル３２１と操作パネル３２２とは一体となって表示入力部３２０を構成しているが、操作パネル３２２が表示パネル３２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル３２２は、表示パネル３２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル３２２は、表示パネル３２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル３２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル３２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル３２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体３０２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル３２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部３３０は、スピーカ３３１やマイクロホン３３２を備え、マイクロホン３３２を通じて入力されたユーザの音声を主制御部４００にて処理可能な音声データに変換して主制御部４００に出力したり、無線通信部３１０あるいは外部入出力部３６０により受信された音声データを復号してスピーカ３３１から出力するものである。また、図２９に示すように、例えば、スピーカ３３１を表示入力部３２０が設けられた面と同じ面に搭載し、マイクロホン３３２を筐体３０２の側面に搭載することができる。

操作部３４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２９に示すように、操作部３４０は、スマートフォン３０１の筐体３０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部３５０は、主制御部４００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部３５０は、スマートフォン内蔵の内部記憶部３５１と着脱自在な外部メモリスロットを有する外部記憶部３５２により構成される。なお、記憶部３５０を構成するそれぞれの内部記憶部３５１と外部記憶部３５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部３６０は、スマートフォン３０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ)（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的または間接的に接続するためのものである。

スマートフォン３０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン３０１の内部の各構成要素に伝達することや、スマートフォン３０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部３７０は、主制御部４００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン３０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部３７０は、無線通信部３１０や外部入出力部３６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部３８０は、例えば、３軸の加速度センサなどを備え、主制御部４００の指示にしたがって、スマートフォン３０１の物理的な動きを検出する。スマートフォン３０１の物理的な動きを検出することにより、スマートフォン３０１の動く方向や加速度が検出される。係る検出結果は、主制御部４００に出力されるものである。

電源部３９０は、主制御部４００の指示にしたがって、スマートフォン３０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部４００は、マイクロプロセッサを備え、記憶部３５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン３０１の各部を統括して制御するものである。また、主制御部４００は、無線通信部３１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部３５０が記憶するアプリケーションソフトウェアにしたがって主制御部４００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部３６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部４００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部３２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部４００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部３２０に表示する機能のことをいう。

さらに、主制御部４００は、表示パネル３２１に対する表示制御と、操作部３４０、操作パネル３２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部４００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル３２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部４００は、操作部３４０を通じたユーザ操作を検出したり、操作パネル３２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部４００は、操作パネル３２２に対する操作位置が、表示パネル３２１に重なる重畳部分（表示領域）か、それ以外の表示パネル３２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル３２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部４００は、操作パネル３２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部３４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部３４１は、主制御部４００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部３５０に記録したり、入出力部３６０や無線通信部３１０を通じて出力することができる。図２９に示すにスマートフォン３０１において、カメラ部３４１は表示入力部３２０と同じ面に搭載されているが、カメラ部３４１の搭載位置はこれに限らず、表示入力部３２０の背面に搭載されてもよいし、あるいは、複数のカメラ部３４１が搭載されてもよい。なお、複数のカメラ部３４１が搭載されている場合には、撮影に供するカメラ部３４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部３４１を同時に使用して撮影することもできる。

また、カメラ部３４１はスマートフォン３０１の各種機能に利用することができる。例えば、表示パネル３２１にカメラ部３４１で取得した画像を表示することや、操作パネル３２２の操作入力のひとつとして、カメラ部３４１の画像を利用することができる。また、ＧＰＳ受信部３７０が位置を検出する際に、カメラ部３４１からの画像を参照して位置を検出することもできる。さらには、カメラ部３４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン３０１のカメラ部３４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部３４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画または動画の画像データにＧＰＳ受信部３７０により取得した位置情報、マイクロホン３３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部３８０により取得した姿勢情報等などを付加して記憶部３５０に記録したり、入出力部３６０や無線通信部３１０を通じて出力することもできる。

さらに、本発明は上記した実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１４…操作部、１６…デバイス制御部、１８…レンズ部、２０…シャッタ、２２…撮像素子、２４…Ａ／Ｄ変換器、２５…表示部、２６…メモリ部、２８…画像処理装置、３０…エンコーダ、３２…ドライバ、１０２…レンズ情報取得部、１０４…混色情報判断部、１０６…モザイク画像取得部、１０８…第２モザイク画像生成部、１０９…混色補正部、１１０…同時化処理部、３０１…スマートフォン、３１０…無線通信部、３２０…表示入力部、３２１…表示パネル、３２２…操作パネル、３３０…通話部、３３１…スピーカ、３３２…マイクロホン、３４０…操作部、３４１…カメラ部、３５０…記憶部、３５１…内部記憶部、３５２…外部記憶部、３６０…外部入出力部、３６０…入出力部、３７０…ＧＰＳ受信部、３７０…受信部、３８０…モーションセンサ部、３９０…電源部、４００…主制御部

Claims (15)

1. ２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理装置であって、
   画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得手段と、
   前記レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断手段と、
   前記混色情報判断手段が前記混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色及び前記第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む前記第１モザイク画像であって、前記第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である前記第１モザイク画像における前記第１画素種類の数を減らすことにより得られる第２モザイク画像を前記カラー撮像素子から読み出し、
   前記混色情報判断手段が前記混色情報は判明と判断した場合に、前記第１モザイク画像を前記カラー撮像素子から読み出すモザイク画像取得手段と、
   前記混色情報判断手段が前記混色情報は判明と判断した場合に、前記第１モザイク画像に混色補正を行う混色補正手段と、
   前記混色補正が行われた前記第１モザイク画像、または前記第２モザイク画像から３面の色を生成する同時化処理手段と、を備え、
   前記第１色は輝度信号を得るための寄与率が前記第２色よりも高い色によって構成される画像処理装置。
2. 前記混色情報判断手段が前記混色情報は判明と判断した場合において、前記モザイク画像取得手段は前記第１モザイク画像を前記カラー撮像素子から読み出す、または前記モザイク画像取得手段は前記第１画素種類の数を減らすことにより得られる第３モザイク画像を前記カラー撮像素子から読み出す請求項１に記載の画像処理装置。
3. ２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理装置であって、
   画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得手段と、
   前記レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断手段と、
   前記第１モザイク画像を前記カラー撮像素子から読み出すモザイク画像取得手段と、
   前記混色情報判断手段が前記混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色及び前記第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む前記第１モザイク画像であって、前記第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である前記第１モザイク画像における前記第１画素種類の数を減らすことにより得られる第２モザイク画像を生成するモザイク画像生成手段と、
   前記混色情報判断手段が前記混色情報は判明と判断した場合に、前記第１モザイク画像に混色補正を行う混色補正手段と、
   前記混色補正が行われた前記第１モザイク画像、または前記第２モザイク画像から３面の色を生成する同時化処理手段と、を備え、
   前記第１色は輝度信号を得るための寄与率が前記第２色よりも高い色によって構成される画像処理装置。
4. 前記混色情報判断手段が前記混色情報は判明と判断した場合において、前記モザイク画像生成手段は前記第１モザイク画像を生成する、または前記モザイク画像生成手段は前記第１画素種類の数を減らすことにより得られる第３モザイク画像を生成する請求項３に記載の画像処理装置。
5. 抽出処理により前記第１モザイク画像の前記第１画素種類の数を減らし前記第２モザイク画像を取得し、または生成する請求項１から４いずれか１項に記載の画像処理装置。
6. 抽出処理により前記第１画素種類の数を減らす際に、抽出率を変更することが可能である請求項５に記載の画像処理装置。
7. 前記第２モザイク画像において、第１方向及び前記第１方向に垂直な第２方向に関して、前記第１画素が前記第１画素種類に関して規則性を有しまたは前記第１画素種類において単一の種類であり、且つ前記第１方向に延びた直線上に整列している請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第２モザイク画像において、第１方向及び前記第１方向に垂直な第２方向に関して、前記第１画素が前記第１画素種類に関して規則性を有しまたは前記第１画素種類において単一の種類であり、且つ前記第１方向に延びた直線上に整列しており、前記第２方向に延びた直線上に前記第１画素及び前記第２色の各画素である第２画素の画素が整列している請求項１から７のいずれかに記載の画像処理装置。
9. 前記第３モザイク画像において、第１方向及び前記第１方向に垂直な第２方向に関して、前記第１画素が前記第１画素種類に関して規則性を有しまたは前記第１画素種類において単一の種類であり、且つ前記第１方向に延びた直線上に整列している請求項２または４に記載の画像処理装置。
10. 前記第３モザイク画像において、第１方向及び前記第１方向に垂直な第２方向に関して、前記第１画素が前記第１画素種類に関して規則性を有しまたは前記第１画素種類において単一の種類であり、且つ前記第１方向に延びた直線上に整列しており、前記第２方向に延びた直線上に前記第１画素及び前記第２色の各画素である第２画素の画素が整列している請求項２または４に記載の画像処理装置。
11. 前記第１画素種類は、前記第１画素に最小画素間隔で４方向に隣接する画素の配置及び撮像素子の下地構造により決定される請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記第２モザイク画像において、前記第１画素種類の数が２である請求項１から１１のいずれか１項に記載の画像処理装置。
13. レンズ交換式である撮影光学系と前記撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と請求項１から１２のいずれか１項に記載の画像処理装置と、を備えた撮像装置。
14. ２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理方法であって、
    画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得工程と、
    前記レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断工程と、
    前記混色情報判断工程が前記混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色及び前記第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む前記第１モザイク画像であって、前記第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である前記第１モザイク画像における前記第１画素種類の数を減らすことにより得られる第２モザイク画像を前記カラー撮像素子から読み出し、
    前記混色情報判断工程が前記混色情報は判明と判断した場合に、前記第１モザイク画像を前記カラー撮像素子から読み出すモザイク画像取得工程と、
    前記混色情報判断工程が前記混色情報は判明と判断した場合に、前記第１モザイク画像に混色補正を行う混色補正工程と、
    前記混色補正が行われた前記第１モザイク画像、または前記第２モザイク画像から３面の色を生成する同時化処理工程と、を備え、
    前記第１色は輝度信号を得るための寄与率が前記第２色よりも高い色によって構成される画像処理方法。
15. ２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から得られる第１モザイク画像を基に３面の色データを生成する画像処理方法であって、
    画像を撮影する際に使用するレンズのレンズ情報を取得するレンズ情報取得工程と、
    前記レンズ情報から混色補正を行う際に使用する混色情報が判明するか否かを判断する混色情報判断工程と、
    前記第１モザイク画像を前記カラー撮像素子から読み出すモザイク画像取得工程と、
    前記混色情報判断工程が前記混色情報は不明と判断した場合に、少なくとも１以上の色によって構成される第１色及び前記第１色以外の少なくとも２以上の色によって構成される第２色、の各色の画素を含む前記第１モザイク画像であって、前記第１色の画素である第１画素に最小画素間隔で４方向に隣接する画素の配置により決定される第１画素種類の数が４種以上である前記第１モザイク画像における前記第１画素種類の数を減らすことにより得られる第２モザイク画像を生成するモザイク画像生成工程と、
    前記混色情報判断工程が前記混色情報は判明と判断した場合に、前記第１モザイク画像に混色補正を行う混色補正工程と、
    前記混色補正が行われた前記第１モザイク画像、または前記第２モザイク画像から３面の色を生成する同時化処理工程と、を備え、
    前記第１色は輝度信号を得るための寄与率が前記第２色よりも高い色によって構成される画像処理方法。

Images