JPWO2015083499A1 - 画像処理装置、該方法および該プログラム - Google Patents

Abstract

本発明の画像処理装置、該方法および該プログラムでは、複数の原画像データそれぞれを画像フィルタでフィルタリングして対応点探索用の複数の前処理後画像データが生成される。前記原画像データは、各画素に対応する複数のデータであって、複数色の複数の濃度データをパターン配列した単位配列を、複数、２次元アレイ状に配列した前記複数のデータを備える。前記画像フィルタは、フィルタリングの対象データに対応する画素の周辺画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。

Description

本発明は、画像を処理する画像処理技術に関し、特に、より高精度に対応点探索を実施できる画像処理技術に関する。

近年、各種デジタル技術の進展に伴い、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の固体撮像素子を用いることによってデジタル画像が比較的容易に得られるようになり、このデジタル画像が様々に利用されている。例えば、複数のデジタル画像から所定の被写体までの距離を計測する画像処理技術や、解像度を変換する画像処理技術等がある。

このような解像度を変換する技術の一つに、相対的に低解像度な複数の画像から、相対的に高解像度な１つの画像を合成する高解像度画像生成技術があり、例えば特許文献１や非特許文献１に開示されている。この特許文献１に開示された高解像度カラー画像生成方法は、イメージセンサと色フィルタ配列を用いる画像撮像装置によって撮像された１枚または一連の複数枚の入力画像に基づいて高解像度カラー画像を生成するものである。前記非特許文献１に開示された高解像度画像生成技術は、いわゆるベイヤー配列を用いたイメージセンサで撮像した画像データのうちのＧ画素のデータを用いて複数の画像間における対応点を探索することで位置ずれを推定し、複数の画像から高解像度な１つの画像を生成するものである。

ところで、前記ベイヤー配列のイメージセンサは、２行２列に２次元アレイ状に配列したＧ（緑色）、Ｒ（赤色）、Ｂ（青色）およびＧ（緑色）の４個の色フィルタを単位配列として、複数の単位配列をさらに２次元アレイ状に配列したカラーフィルタと、物体（被写体）の光学像を前記カラーフィルタを介して各光電変換素子（各画素）で受光するイメージセンサとを備えたものであるが、前記非特許文献１に開示された画像処理技術は、対応点の探索にＧ画素のデータ、すなわち、画像データのうちの半分のデータしか用いていない。このため、対応点探索の精度に限界が生じていた。

国際公開ＷＯ２００４／０６８８６２号パンフレット

「２次元同時サブピクセル推定法のＢａｙｅｒ配列への適用と超解像への応用」、情報処理学会研究報告、ＣＶＩＭ、コンピュータビジョンとイメージメディア、２００３（８８）、７９−８６、２００３−０９−０８

本発明は、上述の事情に鑑みて為された発明であり、その目的は、より高精度に対応点探索を実施できる画像処理装置、画像処理方法および画像処理プログラムを提供することである。

本発明にかかる画像処理装置、画像処理方法および画像処理プログラムでは、複数の原画像データそれぞれを画像フィルタでフィルタリングすることによって、対応点探索に利用される複数の前処理後画像データそれぞれが生成される。その前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、そして、前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。したがって、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、より高精度に対応点探索を実施できる。

上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。

第１実施形態における画像処理装置の構成を示すブロック図である。 第１実施形態の画像処理装置における、カメラである場合の画像取得部の構成を示す図である。 第１実施形態の画像処理装置における、アレイカメラである場合の画像取得部の構成を示す斜視図である。 前記カメラまたは前記アレイカメラにおける色フィルタの単位色フィルタ配列を示す図である。 第１実施形態の画像処理装置における画像フィルタの構成を示す図である。 第１実施形態における画像処理装置の動作を示すフローチャートである。 アレイカメラによって撮像された各画像間における相互位置関係を説明するための図である。 第１実施形態の画像処理装置における前処理を説明するための図である。 第１実施形態の画像処理装置における対応点探索処理を説明するための図である。 第１実施形態の画像処理装置におけるサブピクセル単位での対応点探索処理を説明するための図である。 第１実施形態の画像処理装置における第１態様の超解像処理を示すフローチャートである。 第１実施形態の画像処理装置における超解像処理の劣化情報を説明するための図である。 残差処理と超解像処理との関係を説明するための図である。 残差処理における劣化情報に応じた出力候補画像の変換を説明するための図である。 残差処理における符号関数の演算を説明するための図である。 残差処理における符号関数の演算結果に影響した出力候補画像の画素を求める処理を説明するための図である。 各入力画像に対する残差処理を示すフローチャートである。 第１実施形態の画像処理装置における第２態様の超解像処理を示すフローチャートである。 第２実施形態における画像処理装置の構成を示すブロック図である。 第２実施形態における画像処理装置の動作を示すフローチャートである。 第２実施形態の画像処理装置における、ステレオ法による測距方法を説明するための図である。 実施形態の画像処理装置の変形形態におけるデモザイク処理部を説明するための図である。 前記デモザイク処理部で実行されるデモザイク処理における輝度成分生成処理を説明するための図である。 前記デモザイク処理における色度成分生成処理を説明するための図である。 前記デモザイク処理における色度成分補間処理を説明するための図である。 前記デモザイク処理における画像生成処理を説明するための図である。 従来において、相対的に低解像度な複数の画像から相対的に高解像度な１つの画像を生成する場合に生じるギザギザな線を説明するための図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

実施形態における画像処理装置は、所与の原画像データに対し所定の画像処理を実施する装置であり、前記所定の画像処理には、少なくとも前処理および対応点探索処理が含まれる。一般に、撮像装置（カメラ）は、イメージセンサから出力される画像信号に対し、ホワイトバランス処理、フィルタ処理、階調変換処理および色空間変換処理等のいわゆる通常の画像処理を施し、最終的な画像信号を生成する。前記原画像データは、このような通常の画像処理を施す前の、イメージセンサから出力された生の画像信号であり、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備えるものである。このような原画像データは、例えば、ローデータ（Ｒａｗ Ｄａｔａ、生データ）である。前記前処理は、原画像データにおける各画素の各データを、対応点探索する上で同等に処理可能なデータに変換する処理である。前記対応点探索は、２個の画像に対し、一方を基準画像とし他方を参照画像とした場合に、基準画像上における所定の点に対応する参照画像上における点を探索する処理である。

このような実施形態における画像処理装置Ｄは、画像処理内容に応じて様々な態様が可能であるが、ここでは、複数の画像（画像データ）から前記画像よりも解像度の高い高解像度な画像を生成する第１実施形態の画像処理装置Ｄａ、および、複数の画像から所定の被写体までの距離を求める第２実施形態の画像処理装置Ｄｂについて説明する。

（第１実施形態）
図１は、第１実施形態における画像処理装置の構成を示すブロック図である。図２は、第１実施形態の画像処理装置における、カメラである場合の画像取得部の構成を示す図である。図３は、第１実施形態の画像処理装置における、アレイカメラである場合の画像取得部の構成を示す斜視図である。図４は、前記カメラまたは前記アレイカメラにおける色フィルタの単位色フィルタ配列を示す図である。図４Ａないし図４Ｅは、単位色フィルタ配列の第１ないし第５態様を示す。図５は、第１実施形態の画像処理装置における画像フィルタの構成を示す図である。図５Ａないし図５Ｅは、画像フィルタの第１ないし第５態様を示す。

この第１実施形態における画像処理装置Ｄａは、例えば、図１に示すように、制御処理部１ａと、記憶部２と、画像取得部３と、入力部４と、出力部５とを備える。

画像取得部３は、制御処理部１ａに接続され、原画像データを外部から当該画像処理装置Ｄａに取り込むための装置である。画像取得部３は、この取得した画像データを制御処理部１ａへ出力する。画像取得部３は、例えば、原画像データを記録した記録媒体から前記原画像データを読み込むドライブ装置３ａや、物体（被写体）の光学像を撮像して原画像データを生成するカメラ３ｂ等である。

ドライブ装置３ａは、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲおよびＤＶＤ−Ｒ等の記録媒体とデータを読み書きする装置であり、例えば、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、ＣＤ−ＲドライブおよびＤＶＤ−Ｒドライブ等である。また例えば、ドライブ装置３ａは、ＳＤメモリカード（ＳＤのロゴは登録商標）およびＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の固体記憶素子からデータを読み書きする装置であり、例えばＳＤドライブおよびＵＳＢインターフェース等である。

カメラ３ｂは、図２に示すように、被写体の光学像を所定の結像面に結像する撮像光学系３１と、撮像光学系３１の像側に配置される色フィルタ部３２と、前記所定の結像面の位置に受光面が位置するように配置され、前記撮像光学系３１によって結像された被写体の光学像を色フィルタ部３２を介して撮像して原画像データを出力する撮像部３３とを備える。カメラ３ｂは、単眼の１個のカメラ３ｂａであって良く、また、複眼（３眼以上）のアレイカメラ３ｂｂであって良い。

単眼のカメラ３ｂａは、被写体を撮像して１個の原画像データを生成する装置であり、例えば、単眼（１個）の撮像光学系３１ａと、撮像光学系３１ａの像側に配置される色フィルタ部３２と、撮像光学系３１ａによって結像された被写体の光学像を色フィルタ部３２を介して１個の有効撮像領域で撮像して１個の原画像データを出力する撮像部３３ａとを備える。撮像光学系３１ａは、その光軸に沿って１または複数の光学レンズを備えて構成される。撮像部３３ａは、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、色フィルタ部３２を介して受光した光の光量に応じて変換した電気信号を原画像データにおける各画素のデータとして出力する。このような撮像部３３ａは、例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等の固体撮像素子を備えて構成される。

３眼以上の複眼のアレイカメラ３ｂｂは、被写体を撮像して複数（３個以上）の原画像データを生成する装置であり、例えば、図３に示すように、３個以上の複数の撮像光学系３１ｂと、前記複数の撮像光学系３１ｂに対応し、各撮像光学系３１の各像側にそれぞれ配置される複数の色フィルタ部３２（図３には不図示）と、前記複数の撮像光学系３１ｂに対応し、前記複数の撮像光学系３１ｂそれぞれによって結像された被写体の光学像を各色フィルタ部３２を介してそれぞれ撮像して複数の原画像データを出力する複数の撮像部３３ｂとを備える。なお、図３では色フィルタ部３２が省略されている。複数の撮像光学系３１ｂは、それぞれ、当該撮像光学系３１ｂに対応する撮像部３３ｂの受光面に被写体の光学像を結像する光学素子である。１個の撮像光学系３１ｂは、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の撮像光学系３１ｂは、図３に示す例では、各光軸が互いに略平行となるように配列される。したがって、複数の撮像光学系３１ｂおよび複数の色フィルタ部３２を介して被写体の光学像をそれぞれ撮像する複数の撮像部３３ｂは、同じ被写体を写した略視差だけずれた原画像データを生成することになる。図３に示す例では、複数の撮像光学系３１ｂは、複数の撮像部３２ｂに対応して線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図３に示す例では、複数の撮像光学系３１ｂは、撮像部３３ｂの配列態様および個数に合わせて３行３列に２次元マトリクス状に配列された９個の撮像光学系３１ｂ−１１〜３１ｂ−３３である。複数の撮像部３３ｂは、それぞれ、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、前記色フィルタ部３２を介して受光した光の光量に応じて変換した電気信号を原画像データにおける各画素のデータとして出力する。複数の撮像部３３ｂは、複数の撮像光学系３１ｂに対応し、各撮像面が互いに同一平面となるように配列される。図３に示す例では、複数の撮像部３３ｂは、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図３に示す例では、複数の撮像部３３ｂは、３行３列に２次元マトリクス状に配列された９個の撮像部３３ｂ−１１〜３３ｂ−３３が示されている。これら複数の撮像部３３ｂは、同一の基板上に２次元マトリクス状に配列された複数の前記固体撮像素子を備えて構成されて良いが、図３に示す例では、１個の前記固体撮像素子を備えて構成され、この１個の前記固体撮像素子における有効画素領域が、各撮像部３３ｂに対応するように、２次元マトリクス状に配列された複数の領域に分割され、これら各領域が各撮像部３３ｂとして利用される。

単眼のカメラ３ｂａにおける色フィルタ部３２および複眼のアレイカメラ３ｂｂにおける複数の色フィルタ部３２それぞれは、互いに異なる複数の色フィルタを所定のパターンで配列した単位色フィルタ配列を、複数、さらに２次元アレイ状に配列した光学フィルタ素子である。色フィルタ部３２の各色フィルタは、それぞれ、入射した光のうち所定の波長範囲（透過波長帯域）の光を透過し、撮像部３３の各光電変換素子に対応するように配置される。すなわち、単眼のカメラ３ｂａの色フィルタ部３２における各色フィルタは、撮像部３３ａにおける複数の光電変換素子（複数の画素）それぞれに対応するように配置される。また、複眼のアレイカメラ３ｂｂにおける複数の色フィルタ部３２は、それぞれ、複数の撮像部３３ｂに対応するように配置され、各色フィルタ部３２および撮像部３３ｂそれぞれにおいて、色フィルタ部３２における各色フィルタは、撮像部３３ｂにおける複数の光電変換素子（複数の画素）それぞれに対応するように配置される。

前記単位色フィルタ配列は、例えば画像の使用用途等に応じて種々の態様を採用でき、例えば、図４Ａないし図４Ｅに示す第１ないし第５態様の単位色フィルタ配列３２１ａ〜３２１ｅ等である。

図４Ａに示す第１態様の単位色フィルタ配列３２１ａは、赤色を透過する赤色フィルタ（Ｒ）、緑色を透過する第１緑色フィルタ（Ｇ）、緑色を透過する第２緑色フィルタ（Ｇ）、および、青色を透過する青色フィルタ（Ｂ）を２行２列で２次元マトリックス状に配置した配列であり、いわゆるベイヤー配列である。すなわち、１行１列に赤色フィルタが配置され、１行２列および２行１列それぞれ第１および第２緑色フィルタが配置され、そして、２行２列に青色フィルタが配置される。このような複数の単位色フィルタ配列３２１ａをさらに２次元アレイ状に配列した色フィルタ部３２ａが図２に示す色フィルタ部３２として用いられてよい。この色フィルタ部３２ａは、いわゆる原色フィルタである。

図４Ｂに示す第２態様の単位色フィルタ配列３２１ｂは、黄色を透過する黄色フィルタ（Ｙｅ）、マゼンダ色を透過するマゼンダ色フィルタ（Ｍｇ）、シアン色を透過するシアン色フィルタ（Ｃｙ）、および、緑色を透過する緑色フィルタ（Ｇ）を２行２列で２次元マトリックス状に配置した配列である。すなわち、１行１列に黄色フィルタが配置され、１行２列にマゼンダ色フィルタが配列され、２行１列にシアン色フィルタが配置され、そして、２行２列に緑色フィルタが配置される。このような複数の単位色フィルタ配列３２１ｂをさらに２次元アレイ状に配列した色フィルタ部３２ｂが図２に示す色フィルタ部３２として用いられてよい。この色フィルタ部３２ｂは、いわゆる補色フィルタである。

図４Ｃに示す第３態様の単位色フィルタ配列３２１ｃは、赤色を透過する赤色フィルタ（Ｒ）、緑色を透過する緑色フィルタ（Ｇ）、青色を透過する青色フィルタ（Ｂ）、および、赤外光を透過する赤外光フィルタ（Ｉｒ）を２行２列で２次元マトリックス状に配置した配列である。すなわち、１行１列に赤色フィルタが配置され、１行２列に緑色フィルタが配置され、２行１列に青色フィルタが配置され、そして、２行２列に赤外光フィルタが配置される。このような複数の単位色フィルタ配列３２１ｃをさらに２次元アレイ状に配列した色フィルタ部３２ｃが図２に示す色フィルタ部３２として用いられてよい。

図４Ｄに示す第４態様の単位色フィルタ配列３２１ｄは、白色を透過する白色フィルタ（Ｗ）、黄色を透過する黄色フィルタ（Ｙｅ）、赤色を透過する赤色フィルタ（Ｒ）、および、赤外光を透過する赤外光フィルタ（Ｉｒ）を２行２列で２次元マトリックス状に配置した配列である。すなわち、１行１列に白色フィルタが配置され、１行２列に黄色フィルタが配列され、２行１列に赤色フィルタが配置され、そして、２行２列に赤外光フィルタが配置される。このような複数の単位色フィルタ配列３２１ｄをさらに２次元アレイ状に配列した色フィルタ部３２ｄが図２に示す色フィルタ部３２として用いられてよい。このような第４態様の単位色フィルタ配列３２１ｄを用いた色フィルタ部３２ｄを用いることによって、可視光だけでなく赤外光も利用した画像を生成することができる。

そして、これら図４Ａないし図４Ｄそれぞれに示す第１ないし第４態様の単位色フィルタ配列３２１ａ〜３２１ｄは、２行２列の大きさであるが、これに限定されるものではなく、単位色フィルタ配列は、任意の大きさであってよい。例えば、図４Ｅに示す第５態様の単位色フィルタ配列３２１ｅは、赤色を透過する第１および第２赤色フィルタ（Ｒ）、緑色を透過する第１ないし第５緑色フィルタ（Ｇ）、ならびに、青色を透過する第１および第２青色フィルタ（Ｂ）を３行３列で２次元マトリックス状に配置した配列である。すなわち、１行１列および３行３列それぞれに第１および第２赤色フィルタが配置され、１行２列、２行１列、２行２列、２行３列および３行２列それぞれに第１ないし第５緑色フィルタが配列され、１行３列および３行１列それぞれに青色フィルタが配置される。このような複数の単位色フィルタ配列３２１ｅをさらに２次元アレイ状に配列した色フィルタ部３２ｅが図２に示す色フィルタ部３２として用いられてよい。

上記構成の単眼のカメラ３ｂａでは、被写体からの光束は、撮像光学系３１ａに入射され、色フィルタ部３２を介して撮像部３３ａの受光面に物体の光学像を形成する。撮像部３３ａの各光電変換素子は、それぞれ、色フィルタ部３２の各色フィルタを介して受光した光をその光量に応じた電気信号に光電変換し、各画素のデータとして出力する。色フィルタ部３２は、図４に示す単位色フィルタ配列３２１で構成されているので、撮像部３３ａは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備える原画像データを出力することになる。

上記構成の複眼のカメラ３ｂｂでは、被写体からの光束は、複数の撮像光学系３１ｂにそれぞれ入射され、各色フィルタ部３２を介して各撮像部３３ｂの各受光面に物体の光学像をそれぞれ形成する。各撮像部３３ｂの各光電変換素子は、それぞれ、各色フィルタ部３２の各色フィルタを介して受光した光をその光量に応じた電気信号に光電変換し、各画素のデータとして出力する。色フィルタ部３２は、図４に示す単位色フィルタ配列３２１で構成されているので、各撮像部３３ｂは、それぞれ、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備える原画像データを出力することになる。したがって、複数の撮像部３３ｂは、複数の原画像データを出力する。図３に示す例では、９個の撮像部３３ｂ−１１〜３３ｂ−３３を備える固体撮像素子は、９個の原画像データを出力することになる。

そして、上記第１態様の色フィルタ部３２ａが用いられる場合では、単位色フィルタ配列３２１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１：１：２であり、このため、この色フィルタ部３２ａを用いることによって生成された原画像データの色組成比も、Ｒ：Ｂ：Ｇ＝１：１：２である。上記第２態様の色フィルタ部３２ｂが用いられる場合では、単位色フィルタ配列３２１ｂの色組成比は、Ｙｅ：Ｍｇ：Ｃｙ：Ｇ＝１：１：１：１であり、このため、この色フィルタ部３２ｂを用いることによって生成された原画像データの色組成比も、Ｙｅ：Ｍｇ：Ｃｙ：Ｇ＝１：１：１：１である。上記第３態様の色フィルタ部３２ｃが用いられる場合では、単位色フィルタ配列３２１ｃの色組成比は、Ｒ：Ｇ：Ｂ：Ｉｒ＝１：１：１：１であり、このため、この色フィルタ部３２ｃを用いることによって生成された原画像データの色組成比も、Ｒ：Ｇ：Ｂ：Ｉｒ＝１：１：１：１である。上記第４態様の色フィルタ部３２ｄが用いられる場合では、単位色フィルタ配列３２１ｄの色組成比は、Ｗ：Ｙｅ：Ｒ：Ｉｒ＝１：１：１：１であり、このため、この色フィルタ部３２ｄ用いることによって生成された原画像データの色組成比も、Ｗ：Ｙｅ：Ｒ：Ｉｒ＝１：１：１：１である。上記第５態様の色フィルタ部３２ｅが用いられる場合では、単位色フィルタ配列３２１ｅの色組成比は、Ｒ：Ｂ：Ｇ＝２：２：５であり、このため、この色フィルタ部３２ｅを用いることによって生成された原画像データの色組成比も、Ｒ：Ｂ：Ｇ＝２：２：５である。

図１に戻って、入力部４は、制御処理部１ａに接続され、例えば、画像処理の開始を指示するコマンド等の各種コマンド、および、例えば画像処理対象の画像における識別子（ファイルネーム）の入力や画像処理の際に用いられる画像フィルタの選択入力等の画像処理を実行する上で必要な各種データを画像処理装置Ｄａに入力する機器であり、例えば、キーボードやマウス等である。出力部５は、制御処理部１ａに接続され、入力部４から入力されたコマンドやデータ、および、画像処理装置Ｄａによって画像処理された画像処理の結果の画像を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

なお、入力部４および出力部５からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部４は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部５は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として画像処理装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い画像処理装置Ｄａが提供される。

記憶部２は、制御処理部１ａに接続され、画像処理を実行する上で必要な各種プログラムや各種データを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性記憶素子、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。記憶部２は、例えばハードディスク等の大容量記憶装置を備えても良い。記憶部２は、原画像データを記憶し、この原画像データに対し制御処理部１ａによって後述の画像処理を行うための作業領域として用いられる。

制御処理部１ａは、所定の画像処理プログラムに基づき後述の画像処理を実行するべく、画像処理装置Ｄａの各部を当該各部の機能に応じてそれぞれ制御するものである。制御処理部１ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成され、所定の画像処理プログラムを実行することによって、機能的に、制御部１１、前処理部１２、対応点探索処理部１３、位置ズレ量演算部１４および超解像処理部１５が構成される。

制御部１１は、所定の画像処理を実行するために、画像処理装置Ｄａの各部を当該各部の機能に応じてそれぞれ制御するものである。

前処理部１２は、前処理として、原画像データを所定の画像フィルタ（第１画像フィルタ）でフィルタリングすることによって前処理後画像データを生成するものである。前記画像フィルタ（第１画像フィルタ）は、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、原画像データにおける単位配列３２１の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えて構成される。

前記画像フィルタＦＬ１は、種々の態様を採用でき、例えば、ベイヤー配列を単位色フィルタ配列とした色フィルタ部３２ａによって得られる原画像データに対し、図５Ａないし図５Ｄに示す第１ないし第４態様の画像フィルタＦＬ１ａ〜ＦＬ１ｄ等である。これら第１ないし第４態様の画像フィルタＦＬ１ａ〜ＦＬ１ｄは、それぞれ、フィルタリングの対象データに対応する画素（対象画素）の周辺に位置する画素（周辺画素）に対応するデータ（周辺データ）に基づいて、前記対象データを、単位色フィルタ配列３２１ａの色組成比（Ｒ：Ｂ：Ｇ＝１：１：２）、すなわち、原画像データにおける単位配列の色組成比と同じ色組成比を持つデータに変換するように、そのフィルタ係数の各値がそれぞれ調整されて設定されている。

より具体的には、第１態様の画像フィルタＦＬ１ａは、図５Ａに示すように、３行３列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の２行２列に位置するフィルタ係数は、４／１６であり、１行２列、２行１列、２行３列および３行２列それぞれに位置する各フィルタ係数は、２／１６であり、そして、１行１列、１行３列、３行１列および３行３列それぞれに位置する各フィルタ係数は、１／１６である。このようなフィルタ係数を持つ第１態様の画像フィルタＦＬ１ａは、ガウシアンフィルタでもある。なお、図５Ａの左右それぞれに示す各画像フィルタは、表現形式が異なるだけで、同じものである。図５Ａの左側では、各位置にフィルタ係数の値そのものが記載され、図５Ａの右側では、各位置にフィルタ係数の値の分子が記載され、分母は、右下に纏めて記載されている。図５Ｂないし図５Ｄは、図５Ａの右側に示す記載形式で記載されている。

第２態様の画像フィルタＦＬ１ｂは、５行５列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の３行３列に位置するフィルタ係数は、３６／２５６であり、２行３列、３行２列、３行４列および４行３列それぞれに位置する各フィルタ係数は、２４／２５６であり、２行２列、２行４列、４行２列および４行４列それぞれに位置する各フィルタ係数は、１６／２５６であり、１行３列、３行１列、３行５列および５行３列それぞれに位置する各フィルタ係数は、６／２５６であり、１行２列、１行４列、２行１列、２行５列、４行１列、４行５列、５行２列および５行４列それぞれに位置する各フィルタ係数は、４／２５６であり、そして、１行１列、１行５列、５行１列および５行５列それぞれに位置する各フィルタ係数は、１／２５６である。

第３態様の画像フィルタＦＬ１ｃは、７行７列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の４行４列に位置するフィルタ係数は、４００／４０９６であり、３行４列、４行３列、４行５列および５行４列それぞれに位置する各フィルタ係数は、３００／４０９６であり、３行３列、３行５列、５行３列および５行５列それぞれに位置する各フィルタ係数は、２２５／４０９６であり、２行４列、４行２列、４行６列および６行４列それぞれに位置する各フィルタ係数は、２００／４０９６であり、２行３列、２行５列、３行２列、３行６列、５行２列、５行５列、６行３列および６行５列それぞれに位置する各フィルタ係数は、９０／４０９６であり、２行２列、２行６列、６行２列および６行６列それぞれに位置する各フィルタ係数は、３６／４０９６であり、１行４列、４行１列、４行７列および７行４列それぞれに位置する各フィルタ係数は、２０／４０９６であり、１行３列、１行５列、３行１列、３行７列、５行１列、５行７列、７行３列および７行５列それぞれに位置する各フィルタ係数は、１５／２５６であり、１行２列、１行６列、２行１列、２行７列、６行１列、６行７列、７行２列および７行６列それぞれに位置する各フィルタ係数は、６／２５６であり、そして、１行１列、１行７列、７行１列および７行７列それぞれに位置する各フィルタ係数は、１／４０９６である。

第４態様の画像フィルタＦＬ１ｄは、５行５列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の３行３列に位置するフィルタ係数は、１６／１４４であり、２行３列、３行２列、３行４列および４行３列それぞれに位置する各フィルタ係数は、１２／１４４であり、２行２列、２行４列、４行２列および４行４列それぞれに位置する各フィルタ係数は、９／１４４であり、１行３列、３行１列、３行５列および５行３列それぞれに位置する各フィルタ係数は、４／１４４であり、１行２列、１行４列、２行１列、２行５列、４行１列、４行５列、５行２列および５行４列それぞれに位置する各フィルタ係数は、３／１４４であり、そして、１行１列、１行５列、５行１列および５行５列それぞれに位置する各フィルタ係数は、１／１４４である。

このような第１ないし第４態様の画像フィルタＦＬ１ａ〜ＦＬ１ｄに対し、高周波のモアレ成分が残ると対応点探索が誤判定する虞があるので、画像フィルタＦＬ１は、例えば、原画像データの画像に含まれる高周波成分の割合に応じて適宜に選択されることが好ましい。例えば、原画像データの画像に含まれる高周波成分の割合が多いほど、よりボケさせる画像フィルタＦＬ１が選択される。

上述では、繰り返しパターンの単位として単位色フィルタ配列３２１ａを用いた色フィルタ部３２ａによって得られる原画像データに対する様々な第１ないし第４態様の画像フィルタＦＬ１ａ〜ＦＬ１ｄについて説明したが、他の態様の単位色フィルタ配列３２１を用いた色フィルタ部３２によって得られる原画像データに対しても、同様に、画像フィルタＦＬ１を設定できる。例えば、図４Ｅに示す第５態様の単位色フィルタ配列３２１ｅを用いた色フィルタ部３２ｅによって得られる原画像データに対し、図５Ｅに示す第５態様の画像フィルタＦＬ１ｅが使用できる。この第５態様の画像フィルタＦＬ１ｅは、フィルタリングの対象データに対応する画素（対象画素）の周辺に位置する画素（周辺画素）に対応するデータ（周辺データ）に基づいて、前記対象データを、単位色フィルタ配列３２１ｅの色組成比（Ｒ：Ｂ：Ｇ＝２：２：５）、すなわち、原画像データにおける単位配列の色組成比と同じ色組成比を持つデータに変換するように、そのフィルタ係数の各値がそれぞれ調整されて設定されている。より具体的には、図５Ｅに示すように、各位置に位置する各フィルタ係数それぞれが全て１／９であるフィルタである。この第５態様の画像フィルタＦＬ１ｅは、３行３列の中心位置に対し対称なフィルタ係数を持つフィルタでもある。

また、画像フィルタＦＬの各フィルタ係数は、画像フィルタＦＬ全域に単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が全ての配列位置で同じ値になるように、設定されてよい。

図１に戻って、対応点探索処理部１３は、複数の原画像データから前処理部１２によって生成された複数の前処理後画像データそれぞれに対応する複数の画像の間で対応点探索を実施するものである。

位置ズレ量演算部１４は、対応点探索処理部１３で探索された対応点間の距離である位置ズレ量を求めるものである。位置ズレ量は、ピクセル単位（画素単位、画素ピッチの整数倍）で求められてもよいが、本実施形態では、サブピクセル単位で求められる。

超解像処理部１５は、位置ズレ量演算部１４で求めた位置ズレ量に基づいて、複数の原画像データから原画像データの画像における解像度より高い高解像度の画像を生成するものである。

このような画像処理装置Ｄａは、例えばノート型やディスクトップ型等のパーソナルコンピュータや、また例えば携帯電話機等の携帯機器やカメラ等のコンピュータを搭載した機器等によって構成可能である。

次に、第１実施形態における画像処理装置Ｄａの動作について説明する。図６は、第１実施形態における画像処理装置の動作を示すフローチャートである。図７は、アレイカメラによって撮像された各画像間における相互位置関係を説明するための図である。図８は、第１実施形態の画像処理装置における前処理を説明するための図である。図８Ａは、画像の各画素（原画像データの各データ）と画像フィルタとの関係を示し、図８Ｂは、画像フィルタを示し、図８Ｃは、フィルタリング後の前処理後画像を示し、図８Ｄは、前処理前の画像の一例を示し、そして、図８Ｅは、前処理後の画像の一例を示す。図９は、第１実施形態の画像処理装置における対応点探索処理を説明するための図である。図９Ａは、対応点探索の対象である第１および第２画像を重ねて表示した図であり、図９Ｂおよび図９Ｃは、相対的に粗い精度での対応点探索を示し、図９Ｄは、相対的に細かい精度での対応点探索を示す。図１０は、第１実施形態の画像処理装置におけるサブピクセル単位での対応点探索処理を説明するための図である。図１０Ａは、対応点探索結果の一例であるＮＣＣ値を示し、図１０Ｂは、図１０Ａに示すＮＣＣ値からサブピクセル単位で求められた対応点を示す。図１１は、第１実施形態の画像処理装置における第１態様の超解像処理を示すフローチャートである。図１２は、第１実施形態の画像処理装置における超解像処理の劣化情報を説明するための図である。図１３は、残差処理と超解像処理との関係を説明するための図である。図１３Ａは、ベイヤー配列を示し、図１３ＢおよびＣは、２個の入力画像の補間関係を示す。図１４は、残差処理における劣化情報に応じた出力候補画像の変換を説明するための図である。図１４Ａは、出力候補画像Ｘ_ｎを示し、図１４Ｂは、劣化情報に応じて入力画像相当の解像度に変換した出力候補画像Ｘ_ｎを示し、図１４Ｃは、図１４Ａから図１４Ｂへの変換Ｄ_ｋＨ_ｋＦ_ｋを説明するための図である。図１５は、残差処理における符号関数の演算を説明するための図である。図１５Ａは、劣化情報に応じて入力画像相当の解像度に変換した出力候補画像Ｘ_ｎを示し、図１５Ｂは、入力画像Ｙ_ｋを示し、図１５Ｃは、差異ｓｉｇｎ（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）を示す。図１６は、残差処理における符号関数の演算結果に影響した出力候補画像の画素を求める処理を説明するための図である。図１６Ａは、差異ｓｉｇｎ（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）を示し、図１６Ｂは、超解像画像のサイズでの差異の画像Ｆ_ｋ ^ＴＨ_ｋ ^ＴＤ_ｋ ^Ｔｓｉｇｎ（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）を示し、図１６Ｃは、図１６Ａから図１６Ｂへの変換Ｆ_ｋ ^ＴＨ_ｋ ^ＴＤ_ｋ ^Ｔを説明するための図である。図１７は、各入力画像に対する残差処理を示すフローチャートである。

画像処理装置Ｄａは、例えば、ユーザの操作によって入力部４から起動コマンドを受け付けると、画像処理プログラムを実行する。この画像処理プログラムの実行によって、制御処理部１ａに制御部１１、前処理部１２、対応点探索処理部１３、位置ズレ量演算部１４および超解像処理部１５が機能的に構成される。

そして、図６において、まず、処理Ｓ１では、画像取得部３によって複数の画像それぞれに対応する複数の原画像データが当該画像処理装置Ｄａに入力され、記憶部２に記憶される。本実施形態では、一例として、９個の第１ないし第９原画像データＩＳが入力され、記憶部２に記憶される。これら第１ないし第９原画像データＩＳは、例えば３行３列に２次元アレイ状に配列された９眼を持つアレイカメラ３ｂｂで同一の被写体を撮像することによって生成されたデータである。したがって、これら第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３は、互いの位置関係として図７に示すように３行３列に２次元アレイ状に配列される。１行１列に位置する原画像データが第１原画像データＩＳ−１１であり、２次元アレイ状配列の各位置に位置する各原画像データＩＳが順次にそれぞれ番号付けられ、３行３列に位置する原画像データが第９原画像データＩＳ−３３である。そして、２行２列の中央に位置にする原画像データＩＳは、第５原画像データＩＳ−２２であり、後述の対応点探索で基準画像とされる。これら第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３は、それぞれ、適宜な色フィルタ部３２を用いて生成された任意の画像数のデータであって良いが、ここでは、一例として、ベイヤー配列の色フィルタ部３２ａを用いて生成された５００×５００画素のデータである。

次に、処理Ｓ２では、前処理部１２によって第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれが前処理される。すなわち、前処理部１２は、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれを画像フィルタＦＬ１でフィルタリングすることによって第１ないし第９前処理後画像データＡＩＳ−１１〜ＡＩＳ−３３それぞれを生成し、これら生成した第１ないし第９前処理後画像データＡＩＳ−１１〜ＡＩＳ−３３を記憶部２に記憶する。より具体的には、例えば、本実施形態では、ベイヤー配列の原画像データＩＳに対応した画像フィルタＦＬ１、例えば、図５Ａに示す画像フィルタＦＬ１ａが用いられる。フィルタリングは、原画像データＩＳにおける最初の１行１列に位置する画素に対応するデータから最終の５００行５００列に位置する画素に対応するデータまで順次に実行される。

例えば、図８Ａ上段に示す２行２列に位置するＧ画素に対し図５Ａおよび図８Ｂに示す画像フィルタＦＬ１ａでフィルタリングすると、２行２列に位置するＧ画素に対応する前処理後画像データＡＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＋（４／１６）×１＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、色フィルタ部３２ａにおける単位色フィルタ配列３２１ａの色組成比、すなわち、原画像データＩＳにおける単位配列の色組成比と同じである。

図８Ａ下段に示す３行２列に位置するＲ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、３行２列に位置するＲ画素に対応する前処理後画像データＡＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（４／１６）×１＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（２／１６）×４＝８／１６＝１／２となる。したがって、画像フィルタＦＬａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。

２行３列に位置するＢ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、２行３列に位置するＢ画素に対応する前処理後画像データＡＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（４／１６）×１＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（２／１６）×４＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。

そして、３行３列に位置するＧ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、３行３列に位置するＧ画素に対応する前処理後画像データＡＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＋（４／１６）×１＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。

画像フィルタＦＬ１ａは、原画像データＩＳにおける単位配列の色組成比と同じ色組成比のフィルタ係数を備えるから、原画像データＩＳに画像フィルタＦＬ１ａを作用させた場合において、原画像データＩＳのＲ画素に対応するフィルタ係数の総計と、原画像データＩＳのＢ画素に対応するフィルタ係数の総計と、原画像データＩＳのＧ画素に対応するフィルタ係数の総計とは、原画像データＩＳにおける単位配列の色組成比と同じになる。

このように原画像データＩＳの単位配列におけるいずれの画素のデータも画像フィルタＦＬ１ａによって同じ色組成比でフィルタリングされる。したがって、原画像データＩＳにおける全ての画素のデータが画像フィルタＦＬ１ａによって同じ色組成比でフィルタリングされることになる。この結果、前処理後画像データＡＩＳにおける全ての画素のデータは、図８Ｃに示すように、（Ｇ／２＋Ｒ／４＋Ｂ／４）で合成された同じ色成分を持つデータとして扱うことが可能となる。よって、次の対応点探索では、前処理後画像データＡＩＳにおける全ての画素のデータが使用可能となる。

このような前処理の一具体例を挙げると、図８Ｄに示す原画像は、画像フィルタＦＬ１ａのフィルタリングによって、図８Ｅに示す１チャンネル（単色）のモノクロ画像の前処理後画像となる。

図６に戻って、次に、処理Ｓ３では、対応点探索処理部１３によって対応点探索が実行される。この対応点探索では、２行２列の中央に位置する第５前処理後画像データＡＩＳ−２２に対応する第５前処理後画像が基準画像とされ、この第５前処理後画像の周辺に位置する第１ないし第４および第６ないし第９前処理後画像データＡＩＳ−１１〜ＡＩＳ−２１、ＡＩＳ−２３〜ＡＩＳ−３３に対応するに第１ないし第４および第６ないし第９前処理後画像それぞれが参照画像とされ、各参照画像ごとに基準画像に対する各対応点がそれぞれ探索される。この対応点探索では、本実施形態では、ピクセル単位で対応点が探索され（第１対応点探索処理）、続いて、サブピクセル単位で対応点が探索される（第２対応点探索処理）。前記第１対応点探索では、処理時間を短縮しつつより高精度に対応点を探索する観点から、まず、複数の画素おきに、例えば、８画素おきに対応点が探索され（粗対応点探索処理）、続いて、前記粗対応点探索処理で探索された位置の周辺で１画素おきに対応点が探索される（精対応点探索処理）。この各対応点探索処理には、公知の常套手段が利用され、対応点探索処理は、例えば特開２００９−１４４４５号公報等に開示されている。

一例として、第１前処理後画像と第５前処理後画像との対応点探索について以下により具体的に説明する。第１前処理後画像と第５前処理後画像との位置ズレを視覚的に捉えるため、参考までに、第１前処理後画像と第５前処理後画像とを重ねて表示すると、図９Ａに示す画像となる。このような第１前処理後画像と第５前処理後画像とにおいて、まず、第１対応点探索処理の粗対応点探索処理では、基準画像の第５前処理後画像上で、対応点を探索したい所定の画素位置を中心に所定の大きさを持つウィンドウＷｂが設定される。同様に、参照画像の第１前処理後画像上にも同じ大きさを持つウィンドウＷｒａが、当該対応点探索されるこれら画像間のズレ方向に複数画素おきに複数設定される。例えば、第５前処理後画像の（ｘ、ｙ）＝（１００、１５０）に位置する画素に対応する参照画像の第１前処理後画像における画素位置を探索するものとすると、図９Ｂに示すように、基準画像の第５前処理後画像上で、画素位置（１００、１５０）を中心にウィンドウＷｂが設定され、図９Ｃに示すように、参照画像の第１前処理後画像上に、第１前処理後画像と第５前処理後画像との間におけるズレ方向である２次元アレイ状配列の対角方向に複数画素おきに、例えばＸＹ方向共に４画素おきに、８個のウィンドウＷｒａ１〜Ｗｒａ８が設定される。なお、図９Ｃには、５個のウィンドウＷｒａ１〜Ｗｒａ５が示されている。そして、基準画像の第５前処理後画像上におけるウィンドウＷｂ（テンプレート）に対する、参照画像の第１前処理後画像上における各ウィンドウＷｒａ１〜Ｗｒａ８の一致度（相関度）が所定の手法で求められ（テンプレートマッチング）、最も一致度の高いウィンドウＷｒａにおける中心位置の画素が対応点として求められる。前記所定の手法には、公知の常套手段、例えば、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）法、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法（絶対誤差法）およびＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法（二乗誤差法）等が用いられる。例えば、前記ＮＣＣ法では、次式１で一致度Ｒ_ＮＣＣの値が求められる。

ここで、Ｉ（ｉ，ｊ）は、基準画像のウィンドウＷｂにおける位置（ｉ，ｊ）の画素値（前処理後画像データＡＩＳにおける画素のデータ値）であり、Ｔ（ｉ，ｊ）は、参照画像のウィンドウＷｒにおける位置（ｉ，ｊ）の画素値（前処理後画像データＡＩＳにおける画素のデータ値）であり、Ｎは、ウィンドウＷｂ、ＷｒにおけるＸ方向（横方向）の長さ（画素単位）であり、そして、Ｍは、ウィンドウＷｂ、ＷｒにおけるＹ方向（縦方向）の長さ（画素単位）である。

これによって上述の例では、参照画像の第１前処理後画像における画素位置（１００、１５０）に対し（−４、−４）、（０、０）、（４、４）、（８、８）、（１２、１２）、（１６、１６）、（２０、２０）、（２４、２４）だけずれた８画素、すなわち、（９６、１４６）、（１００、１５０）、（１０４、１５４）、（１０８、１５８）、（１１２、１６２）、（１１６、１６６）、（１２０、１７０）、（１２４、１７４）の８画素に対しテンプレートマッチングが実行され、最も一致度の高い画素が探索される。

続いて、第１対応点探索処理の精対応点探索処理では、図９Ｄに示すように、前記粗対応点探索処理の結果、最も一致度の高いウィンドウＷｒａの中心画素に対する周辺を１画素の精度で平面的に対応点探索処理が実行される。対応点探索の範囲は、所定の範囲、例えば、前記粗対応点探索処理で複数画素おき（上述の例ではＸＹ方向共に４画素おき）に探索したが、この複数画素に応じた範囲（例えば±４画素の範囲）である。より具体的には、前記粗対応点探索処理の結果、最も一致度の高いウィンドウＷｒの中心画素に対する周辺±４画素それぞれを中心に８１個のウィンドウＷｒｂ１〜Ｗｒｂ８１が設定され、これら８１個のウィンドウＷｒｂ１〜Ｗｒｂ８１それぞれについてテンプレートマッチングが実行され、最も一致度の高いウィンドウＷｒｂにおける中心位置の画素が対応点として求められる。

続いて、第２対応点探索処理では、図１０Ａに示すように、前記精対応点探索処理の結果、最も一致度の高いウィンドウＷｒｂの中心画素およびこの中心画素の周辺８画素それぞれの９個の一致度に、図１０Ｂに示すように、最も近似する２次曲面が求められ（２次曲面フィッティング）、この求められた２次曲面の頂点を与える座標値がサブピクセル単位の対応点として求められる（図１０Ｂでは２次曲面の一断面を図示している）。このようなサブピクセル単位で対応点を求める手法は、例えば、「田中、矢口、古川、奥富、「位置ずれ量を考慮した画素選択に基づくロバスト超解像処理」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ９２−Ｄ、Ｎｏ．５、ｐｐ６５０−６６０、２００９．、２００９年５月」等に開示されている。なお、上述では、最も近似する２次曲面を求めることによってサブピクセル単位の対応点が求められたが、Ｘ方向およびＹ方向それぞれで最も近似する２次曲線がそれぞれ求められ、これら求められた各２次曲線のピークを与える各座標値がサブピクセル単位の対応点として求められてもよい。

図６に戻って、次に、処理Ｓ４では、処理Ｓ３で求められた各対応点間について、位置ズレ量演算部１４によって各対応点間の位置ズレ量が求められる。例えば、単位長を１画素の大きさ（サイズ）とすれば、対応点間の座標差が位置ズレ量となる。すなわち、基準画像における画素の座標値と参照画像における、前記基準画像の画素に対応する画素の座標値との差が位置ズレ量となる。また例えば、単位長をｍ単位とすれば、対応点間の座標差に画素ピッチを乗じた値が位置ズレ量となる。前記画素ピッチは、画素の中心位置とこれに隣接する画素の中心位置との間の長さである。

次に、処理Ｓ５では、超解像処理部１５によって複数の画像から、これら複数の画像の解像度よりも高い解像度を持つ１個の画像（超解像画像）が求められる。この超解像処理には、公知の常套手段が利用され、超解像処理は、例えば、「「Ｆａｓｔ ａｎｄ Ｒｏｂｕｓｔ Ｍｕｌｔｉｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ」、ＩＥＥＥ ＴＲＡＮＮＳＡＣＴＩＯＮ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ，Ｖｏｌ．１３，Ｎｏ．１０，Ｏｃｔｏｂｅｒ ２００４，ｐｐ１３２７−１３４４」等に開示されている。この文献に開示された再構成型超解像処理について、図１１ないし図１７を用いて以下に概説する。

この超解像処理では、原画像データをデモザイク（ｄｅｍｏｓａｉｃ）した画像データが用いられ、図１１に示す超解像処理は、色成分ごとに実行される。すなわち、画像データは、デモザイクによって、画素ごとに、Ｒ成分、Ｂ成分およびＧ成分の各値を持ち、図１１に示す超解像処理は、Ｒ成分の各画素値で構成される画像（Ｒプレーン）、Ｂ成分の各画素値で構成される画像（Ｂプレーン）、および、Ｇ成分の各画素値で構成される画像（Ｇプレーン）それぞれに対して実行され、超解像化されたＲプレーン、ＢプレーンおよびＧプレーンを重ねることで、フルカラーの１個の超解像画像が生成される。以下、一例として、Ｇプレーンの場合について概説するが、ＲプレーンおよびＢプレーンの場合も同様である。

図１１において、処理Ｓ１１では、超解像処理部１５に複数の画像およびその劣化情報が記憶部２から読み込まれる。例えば、本実施形態では、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれをデモザイクした第１ないし第９画像データＤＩＳ−１１〜ＤＩＳ−３３およびその劣化情報が記憶部２から超解像処理部１５に読み込まれる。劣化情報は、図１２に示すように、超解像処理後の理想的な超解像画像から見て、この前記超解像画像と画像データＤＩＳに対応する画像（以下、この超解像処理の説明において、「入力画像」と呼称する。）との間における対応関係を表す情報である。前記超解像画像の各画素値（この例ではＧ成分の画素値）を持つ１次元ベクトルをＸとし、画像データＤＩＳに対応する入力画像の各画素値（この例ではＧ成分の画素値）を持つ１次元ベクトルをＹ_ｋとし、後述する初期画像の出力候補画像Ｘ_０を生成した元の入力画像Ｙ_ｋと他の各入力画像Ｙ_ｋそれぞれとの位置ズレ量を行列Ｆ_ｋとし、後述する出力候補画像Ｘ_ｎのサイズを入力画像Ｙ_ｋのサイズに合わせるためのダウンサンプリング量をＤ_ｋとし、そして、入力画像のボケ量（本実施形態では、撮像光学系３１のＰＳＦ（Ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ、点拡がり関数、点像分布関数）情報）をＨ_ｋとすると、前記劣化情報は、Ｄ_ｋＨ_ｋＦ_ｋであり、Ｙ_ｋ＝Ｄ_ｋＨ_ｋＦ_ｋＸ（Ｘ＝Ｆ_ｋ ^ＴＨ_ｋ ^ＴＤ_ｋ ^ＴＹ_ｋ）の関係が成り立つ。なお、ｋは、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれに対応する各入力画像を指し、１〜９の整数値である。上付きの添え字Ｔは、転置行列であることを示す。この劣化情報は、後述の処理Ｓ１４における残差の演算に用いられる。

次に、処理Ｓ１２では、超解像処理部１５によって入力画像Ｙ_ｋから、初期画像としての出力候補画像Ｘ_ｎ（ここでは初期画像なのでＮ＝０）が作成される。この初期画像の出力候補画像Ｘ_０は、超解像画像Ｘを生成するために後述するように処理Ｓ１２〜処理Ｓ１５の各処理を繰り返し実行する繰り返し処理における最初の出力候補画像Ｘ_ｎである。この出力候補画像Ｘ_０は、生成すべき超解像画像Ｘと同じ解像度（同じサイズ）を持つ画像であり、例えば、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３に対応する複数の第１ないし第９入力画像Ｙ_ｋのうちの１つから例えばバイリニア等の補間処理によって不足画素を補うことで生成される。本実施形態では、上述の処理Ｓ１ないし処理Ｓ４によって、第５原画像データＩＳ−２２に対応する画像に対し、周辺の第１ないし第４および第６ないし第９原画像データＩＳ−１１〜ＩＳ−２１、ＩＳ−２３〜ＩＳ−３３それぞれに対応する各画像の位置ズレ量を求めているので、第５原画像データＩＳ−２２に対応する第５画像データＤＩＳから初期画像の出力候補画像Ｘ_０が作成され、前記位置ズレ量Ｆ_ｋは、上述の処理Ｓ１ないし処理Ｓ４によって求められた各位置ズレ量となる。入力画像Ｙ_ｋは、５００×５００のサイズであり、超解像画像Ｘが１５００×１５００のサイズであるとすると、この出力候補画像Ｘ_０の生成において、入力画像Ｙ_ｋは、Ｘ方向（横方向）およびＹ方向（縦方向）共に３倍に拡大されることになる。入力画像Ｙ_ｋにおける互いに隣接する画素間には、入力画像Ｙ_ｋが３倍に拡大されると、Ｘ方向およびＹ方向それぞれにおいて、画素値の無い２個の画素が新たにそれぞれ生じることになり（２次元アレイでは画素値の無い８個の画素が新たに生じる）、これら画素値の無い画素の画素値が前記補間処理によって生成される。

次に、処理Ｓ１３では、超解像処理部１５によって、入力画像Ｙ_ｋにノイズがあってもロバストに収束できるように、正則化項としていわゆるＢＴＶ量（Ｂｉｌａｔｅｒａｌ Ｔｏｔａｌ Ｖａｌｕｅ）が求められる。このＢＴＶ量は、後述の式２における右辺第３項である。

次に、処理Ｓ１４では、超解像処理部１５によって、第１ないし第９画像データＤＩＳ−１１〜ＤＩＳ−３３に対応する第１ないし第９入力画像Ｙ_ｋそれぞれについて、これら各入力画像Ｙ_ｋの劣化情報に応じて入力画像Ｙ_ｋの解像度（大きさ）と同じ解像度（大きさ）に変換した出力候補画像Ｘ_ｎとの差である残差がそれぞれ求められる。この残差は、後述の式２における右辺第２項である。この残差は、例えばベイヤー配列の画像を超解像処理する場合であって、Ｇプレーンの超解像画像Ｘを生成する場合には、Ｇ画素のみを用いて求められる。これは、図１３に示すように、１つの画像を超解像処理する場合に、当該画像に無い画素値を、位置ズレ量を利用して他の画像の画素値で補うことを意味する。

この残差を求める処理である残差処理Ｓ１４について、図１４ないし図１７を参照しつつ、より具体的に説明すると、まず、図１４Ａおよび図１４Ｂに示すように、当該入力画像Ｙ_ｋの劣化情報が出力候補画像Ｘ_ｎに乗じられ、当該入力画像Ｙ_ｋの劣化情報に応じて前記画像の解像度（大きさ）と同じ解像度（大きさ）に変換した出力候補画像（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ）が生成される（図１７の処理Ｓ２２−１〜Ｓ２２−９ないし処理Ｓ２４−１〜Ｓ２４−９）。なお、ｎは、本実施形態では、前記繰り返し処理の回数が、通常収束すると判断できる例えば２００回の定数値に設定されているため、０〜１９９の整数値である。したがって、出力候補画像Ｘ_１９９は、この処理Ｓ５の超解像処理で出力される超解像画像Ｘとなる（Ｘ＝Ｘ_１９９）。この残差処理について、より詳しくは、まず、ＰＳＦ情報をフィルタ係数に持つ画像フィルタで出力候補画像Ｘ_ｎがフィルタリングされ（図１７の処理Ｓ２２−１〜Ｓ２２−９）、これによって出力候補画像Ｘ_ｎのボケ画像が生成され、前記入力画像Ｙ_ｋの解像度と同じ解像度となるように、出力候補画像Ｘ_ｎの元の第５画像データＤＩＳ−２２に対応する第５入力画像Ｙ_５と当該入力画像Ｙ_ｋとの位置ズレ量Ｆ_ｋを考慮してダウンサンプリングが行われる（処理Ｓ２３−１〜Ｓ２３−９、処理Ｓ２４−１〜Ｓ２４−９）。例えば、図１４Ｃに示すように、第５入力画像Ｙ_５と当該入力画像Ｙ_ｋとの位置ズレ量Ｆ_ｋがＸ方向（横方向）に１／３画素であって、Ｘ方向（横方向）およびＹ方向（縦方向）共に１／３にダウンサンプリングする場合（１５００×１５００→５００×５００）には、ダウンサンプリング前の画像でＸ方向に１画素（＝１／３画素×３倍）だけずらした位置に位置する３×３の９画素における各画素値の平均値が、ダウンサンプリングした画素値とされる。次に、図１５に示すように、ダウンサンプリング後の出力候補画像（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ）（図１５Ａ）から、入力画像Ｙ_ｋ（図１５Ｂ）が減算され、この減算結果（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）が符号関数ｓｉｇｎ（α）で演算される（図１５Ｃ、図１７の処理Ｓ２５−１〜Ｓ２５−９））。この符号関数ｓｉｇｎ（α）は、αが０である場合には０を出力し、αが正である場合には１を出力し、そして、αが負である場合には−１を出力する演算子である。したがって、符号関数ｓｉｇｎ（α）の演算によって、前記減算結果（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）が０である場合には、０が出力され、前記減算結果（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）が正である場合には、１が出力され、そして、前記減算結果（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）が負である場合には、−１が出力される。次に、図１６Ａおよび図１６Ｂに示すように、符号関数ｓｉｇｎ（α）で演算された前記減算結果（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）（差異）に影響した超解像画像Ｘ_ｎの画素が調べられる（図１７の処理Ｓ２６−１〜Ｓ２６−９ないし処理Ｓ２８−１〜Ｓ２８−９）。上述の処理が上述の行列Ｄ_ｋＨ_ｋＦ_ｋで定義された場合、この処理は、転置行列を用いた行列Ｆ_ｋ ^ＴＨ_ｋ ^ＴＤ_ｋ ^Ｔで定義される。すなわち、この処理は、出力候補画像Ｘ_ｎの元の第５画像データＤＩＳ−２２に対応する第５入力画像Ｙ_５と当該入力画像Ｙ_ｋとの位置ズレ量Ｆ_ｋを考慮したアップサンプリングを行った後に（Ｆ_ｋ ^ＴＤ_ｋ ^Ｔ、図１７の処理Ｓ２６−１〜Ｓ２６−９）、ボケの影響を元に戻す処理（Ｈ_ｋ ^Ｔ）となる（Ｆ_ｋ ^ＴＨ_ｋ ^ＴＤ_ｋ ^Ｔｓｉｇｎ（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）、図１７の処理Ｓ２７−１〜Ｓ２７−９、処理Ｓ２８−１〜Ｓ２８−９）。例えば、図１６Ｃに示すように、上述の例で、第５入力画像Ｙ_５と当該入力画像Ｙ_ｋとの位置ズレ量Ｆ_ｋがＸ方向（横方向）に１／３画素であって、Ｘ方向（横方向）およびＹ方向（縦方向）共に３倍にアップサンプリングする場合（５００×５００→１５００×１５００）には、アップサンプリング後の画像でＸ方向に１画素（＝１／３画素×３倍）だけずらした位置に位置する３×３の９画素それぞれに、差異ｓｉｇｎ（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）が、アップサンプリングの前後における各画素の面積比（この図１６Ｃの例では１／９）で分配される。これによって１個の入力画像Ｙ_ｋに対する差異の画像が生成される。この例では入力画像Ｙ_ｋは、９個あるので、この処理が、図１７に示すように、第１ないし第９入力画像Ｙ_ｋそれぞれに対し実行され、９個の差異の画像が生成される。そして、これら９個の差異の総計が前記残差とされる。

図１１に戻って、次に、処理Ｓ１５では、超解像処理部１５によって、式２に示すように、上述の処理Ｓ１３および処理Ｓ１４それぞれで求めたＢＴＶ量および残差を、出力候補画像Ｘ_ｎから減算することによって、次の出力候補画像Ｘ_ｎ＋１が生成される。そして、この出力候補画像Ｘ_ｎ＋１が処理Ｓ１２の出力候補画像Ｘ_ｎとされ、処理がＳ１２に戻される。

なお、λは、ＢＴＶ量の影響度を調整するパラメータであり、βは、残差およびλ×ＢＴＶ量の影響度を調整するパラメータであり、これらλ、βは、適宜に設定される。

そして、このような処理Ｓ１２ないし処理１５の各処理が、出力候補画像Ｘ_ｎが通常収束すると考えられる所定回数、例えば、上述したように２００回繰り返される。処理Ｓ１２ないし処理Ｓ１５の各処理を２００回繰り返すと、処理Ｓ５の超解像処理が終了し、出力候補画像Ｘ_１９９が超解像画像Ｘとされる。

図６に戻って、このように処理Ｓ５の超解像処理が終了すると、処理Ｓ６において、この超解像画像Ｘが、記憶部２に記憶され、そして、出力部５に出力され、表示される。

このように本実施形態における画像処理装置Ｄａでは、画像フィルタＦＬによって単位配列（単位色フィルタ配列）の色組成比と同じ色組成比を持つデータに原画像データＩＳを変換するように輝度成分生成処理部によってフィルタリングするので、全ての画素のデータを同じ色成分を持つデータとして扱うことができるようになる。この結果、全ての画素のデータを利用して対応点探索の実施が可能となる。したがって、本実施形態における画像処理装置Ｄａは、対応点探索をより高精度に実施できる。

本実施形態における画像処理装置Ｄａでは、画像フィルタＦＬにおけるフィルタ係数の各値が中心位置に対し対称に配置されているので、中心に位置する画素（中心画素）に対する周辺に位置する各画素（各周辺画素）における各画素値は、当該周辺画素と中心画素との距離に応じて重み付けられることになり、適切に中心画素に反映される。このため、本実施形態における画像処理装置Ｄａは、全ての画素のデータをより同等な色成分を持つデータとして扱うことができるから、対応点探索をより高精度に実施できる。

本実施形態における画像処理装置Ｄａでは、位置ズレ量演算部１４を備えるので、対応点探索処理部１３で探索された対応点間の位置ズレ量Ｆを求めることができ、より高精度に実行された対応点探索の結果を位置ズレ量Ｆの推定に効果的に反映できる。

本実施形態における画像処理装置Ｄａでは、９眼のアレイカメラを用いるので、複数の原画像データを同時に得ることができる。このため、対応点探索の結果から対応点間の位置ズレ量Ｆを求める場合に、同一の被写体を同時刻で写した複数の画像間で前記位置ズレ量Ｆを求めることになるので、本実施形態における画像処理装置Ｄａは、より高精度に前記位置ズレ量Ｆを求めることができる。

本実施形態における画像処理装置Ｄａでは、超解像処理部１５を備えるので、対応点探索処理部１３で探索された対応点間の位置ズレ量Ｆを求め、これに基づいて複数の原画像データから高解像度な画像のデータを得ることができ、より高精度に実行された対応点探索の結果を高解像度な画像の生成に効果的に反映できる。

なお、上述では、前記論文に開示された超解像処理について概説したが、超解像処理は、この手法に限定されるものではなく、位置ズレ量を用いて相対的に低解像度な複数の画像から相対的に高解像度な１個の超解像画像を生成する再構成型超解像処理を用いることができる。例えば、図１８に示す再構成型超解像処理を用いることができる。図１８は、第１実施形態の画像処理装置における第２態様の超解像処理を示すフローチャートである。

この超解像処理は、式３によって示される処理であり、式３の右辺第２項は、残差（Ｆ_ｋ ^ＴＨ_ｋ ^ＴＤ_ｋ ^Ｔ（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）であり、式３の右辺第３項は、正則化項Ｃである。この正則化項Ｃでは、例えば４近傍ラプラシアンの画像フィルタが用いられる。この４近傍ラプラシアンの画像フィルタは、例えば、１行１列、１行３列、３行１列および３行３列の各位置のフィルタ係数が０であり、１行２列、２行１列、２行３列および３行２列の各位置のフィルタ係数が１であり、そして、２行２列の位置のフィルタ係数が−４である。

なお、λは、正則化項の影響度を調整するパラメータであり、βは、残差およびλ×正則化項の影響度を調整するパラメータであり、これらλ、βは、適宜に設定される。

この図１８に示す再構成型超解像処理では、図１１に示す上述の超解像処理と略同様に処理され、まず、処理Ｓ３１では、超解像処理部１５に複数の画像およびその劣化情報が記憶部２から読み込まれる。次に、処理Ｓ３２では、初期画像の出力候補画像Ｘ_０が生成される。次に、処理Ｓ３３では、４近傍ラプラシアンの画像フィルタで正則化項が求められる。次に、処理Ｓ３４では、残差（Ｆ_ｋ ^ＴＨ_ｋ ^ＴＤ_ｋ ^Ｔ（Ｄ_ｋＨ_ｋＦ_ｋＸ_ｎ−Ｙ_ｋ）が求められる。次に、処理Ｓ３５では、式３に示すように、上述の処理Ｓ３３および処理Ｓ３４それぞれで求めた正則化項および残差を、出力候補画像Ｘ_ｎから減算することによって、次の出力候補画像Ｘ_ｎ＋１が生成される。そして、この出力候補画像Ｘ_ｎ＋１が処理Ｓ３２の出力候補画像Ｘ_ｎとされ、処理がＳ３２に戻される。そして、このような処理Ｓ３２ないし処理３５の各処理が、出力候補画像Ｘ_ｎが通常収束すると考えられる所定回数、例えば、４０回繰り返される。処理Ｓ３２ないし処理Ｓ３５の各処理を４０回繰り返すと、処理Ｓ５の超解像処理が終了し、出力候補画像Ｘ_３９が超解像画像Ｘとされる。

次に、第２実施形態について説明する。

（第２実施形態）
図１９は、第２実施形態における画像処理装置の構成を示すブロック図である。図２０は、第２実施形態における画像処理装置の動作を示すフローチャートである。

第１実施形態における画像処理装置Ｄａは、相対的に低解像度な複数の画像（原画像データ）から相対的に高解像度な１個の画像を生成する装置であるが、第２実施形態における画像処理装置Ｄｂは、複数の画像（原画像データ）から所定に被写体までの距離を求める装置である。このような第２実施形態における画像処理装置Ｄｂは、図１９に示すように、制御処理部１ｂと、記憶部２と、画像取得部３と、入力部４と、出力部５とを備える。これら第２実施形態の画像処理装置Ｄｂにおける記憶部２、画像取得部３、入力部４および出力部５は、それぞれ、第１実施形態の画像処理装置Ｄａにおける記憶部２、画像取得部３、入力部４および出力部５と同様であるので、その説明を省略する。

制御処理部１ｂは、制御処理部１ａと同様に、所定の画像処理プログラムに基づき後述の画像処理を実行するべく、画像処理装置Ｄｂの各部を当該各部の機能に応じてそれぞれ制御するものである。制御処理部１ｂは、例えば、ＣＰＵおよびその周辺回路を備えて構成され、所定の画像処理プログラムを実行することによって、機能的に、制御部１１、前処理部１２、対応点探索処理部１３、位置ズレ量演算部１４および距離演算部１６が構成される。すなわち、制御処理部１ｂは、制御処理部１ａに対し、超解像処理部１５に代え、距離演算部１６を備えている。このため、第２実施形態の制御処理部１ｂにおける制御部１１、前処理部１２、対応点探索処理部１３および位置ズレ量演算部１４は、それぞれ、第１実施形態の制御処理部１ａにおける制御部１１、前処理部１２、対応点探索処理部１３および位置ズレ量演算部１４と同様であるので、その説明を省略する。

距離演算部１６は、位置ズレ量演算部１４で求めた対応点間の位置ズレ量を複数の原画像データに対応する複数の画像間における視差とし、前記視差に基づいて前記対応点の表す被写体までの距離を求めるものである。

このような第２実施形態における画像処理装置Ｄｂは、図２０に示すように、まず、処理Ｓ４１では、上述の処理Ｓ１と同様に、画像取得部３によって９枚の画像それぞれに対応する原画像データが当該画像処理装置Ｄｂに入力され、記憶部２に記憶される。次に、処理Ｓ４２では、上述の処理Ｓ２と同様に、これら９枚の各画像それぞれに対し前処理部１２によって前処理が実行される。次に、処理Ｓ４３では、上述の処理Ｓ３と同様に、これら９枚の画像における中心（２行２列）に位置する第５画像が基準画像とされ、この基準画像に対し、周辺に位置する８枚の画像それぞれについて、対応点探索処理部１３によって対応点探索が実行される。この対応点探索処理では、所定の被写体に対応する点が適宜に選択される。本実施形態では、例えば、当該画像処理装置をＤｂを搭載した当該車両とその先行車両（または対向車両）との間における車間距離を求める場合では、前記先行車両（または前記対向車両）に対応する点が選択され、また例えば、当該画像処理装置をＤｂを搭載した当該車両と歩行者との間の距離を求める場合には、歩行者に対応する点が選択される。

次に、処理Ｓ４４では、上述の処理Ｓ４と同様に、位置ズレ量演算部１４によって、位置ズレ量が求められる。

そして、本実施形態では、次に、処理Ｓ４５では、距離演算部１６によって、位置ズレ量演算部１４で求めた位置ズレ量が基準画像（２行２列に位置する画像）と参照画像（その周辺に位置する各画像）との間における視差とされ、前記視差に基づいて被写体までの距離が求められる。このような測距技術には、公知の常套手段が利用され、このような測距技術は、例えば特開２０１０−２７６４６９号公報や前記特開２００９−１４４４５号公報等に開示されている。この測距技術では、大略、予め定める間隔（基線長）だけ離間して設けられた一対のカメラによって被写体（対象物）の各画像が得られ、これら各画像に対し対応点探索がピクセル単位で実行され、これら各画像から前記離間方向における前記一対のカメラ間の視差がピクセル単位で求められ、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。より具体的には、図２１において、少なくとも焦点距離（ｆ）、撮像面（撮像部３３（例えばＣＣＤ型イメージセンサ））の画素数、１画素の大きさ（μ）が相互に等しい２台の第１および第２カメラが、所定の基線長（Ｌ）だけ左右に離間させて光軸ＡＸ−１、ＡＸ−２を平行に配置され、これら第１および第２カメラで物体（被写体）Ｏｂが撮影された場合に、撮像面ＩＰ−１、ＩＰ−２上の視差（ずれ画素数）がｄ（＝ｄ１＋ｄ２）であるとすると、前記物体（被写体）Ｏｂまでの距離（Ｚ）は、斜線を施して示す三角形が相似であることから、
Ｚ：ｆ＝Ｌ：μ×ｄ
の関係があり、
Ｚ＝（Ｌ×ｆ）／（μ×ｄ）
で求めることができる。

そして、図２０に戻って、処理Ｓ４６では、このように距離演算部１６によって求められた距離が制御処理部１ｂによって出力部５へ出力され、処理が終了する。これによって出力部５には、被写体までの距離が表示される。被写体までの距離は、中心（２行２列）に位置する第５画像（参照画像）に対し、周辺に位置する８個の画像それぞれについて、８個の距離が表示されても良く、これらの平均値が表示されても良い。

また、上述では、原画像データＩＳは、９眼のアレイカメラ３ｂｂによって取得された９個のデータＩＳ−１１〜ＩＳ−３３であるが、少なくとも１個のカメラ３ｂａで異なる９つの時刻で撮像された９個のデータであっても良い。このような画像処理装置Ｄは、異なる時刻で撮像された複数の原画像データを得ることができる。

このような第２実施形態における画像処理装置Ｄｂは、第１実施形態における画像処理部Ｄａと同様に、対応点探索をより高精度に実施できる。そして、第２実施形態における画像処理装置Ｄｂは、距離演算部１６を備えるので、対応点探索処理部１３で探索された対応点間の視差（位置ズレ量）を求めることができ、より高精度に実行された対応点探索の結果を距離の演算に効果的に反映できる。

なお、上述の実施形態において、原画像データから各画素ごとに各色成分データを持つ画像データを生成するデモザイク処理は、次の処理であっても良い。

図２２は、実施形態の画像処理装置の変形形態におけるデモザイク処理部を説明するための図である。図２２Ａは、デモザイク処理部１７の構成を示すブロック図であり、図２２Ｂは、デモザイク処理部１７の動作を示すフローチャートである。図２３は、前記デモザイク処理部で実行されるデモザイク処理における輝度成分生成処理を説明するための図である。図２３Ａは、原画像データＩＳの画像（原画像）ＰＩＳの一例を示し、図２３Ｂは、図２３Ａに示す原画像データＩＳを第１態様の第２画像フィルタＦＬ２ａでフィルタリングした素輝度成分画像データＢＩＳｐ−１の画像（素輝度成分画像）ＰＢＩＳｐ−１および前記第１態様の第２画像フィルタＦＬ２ａを示し、図２３Ｃは、図２３Ａに示す原画像データＩＳを第２態様の第２画像フィルタＦＬ２ｂでフィルタリングした素輝度成分画像データＢＩＳｐ−２の画像（素輝度成分画像）ＰＢＩＳｐ−２および前記第２態様の第２画像フィルタＦＬ２ｂを示し、そして、図２３Ｄは、図２３Ｂに示す素輝度成分画像と図２３Ｃに示す素輝度成分画像とを１：４の割合で合成することによって求めた輝度成分画像データＢＩＳの画像（輝度成分画像）ＰＢＩＳを示す。図２４は、前記デモザイク処理における色度成分生成処理を説明するための図である。図２４Ａは、単位配列がベイヤー配列である場合の原画像データＩＳを示し、図２４Ｂは、図１１Ａに示す原画像データＩＳに対応する輝度成分画像データＢＩＳを示し、図２４Ｃは、図２４Ａに示す原画像データＩＳに対応するＧ、Ｒ、Ｂの各色の色度成分画像データＣＩＳ（ＣＩＳ−Ｇ、ＣＩＳ−Ｒ、ＣＩＳ−Ｂ）（補間前の色別色度成分画像データ）を示す。図２５は、前記デモザイク処理における色度成分補間処理を説明するための図である。図２５Ａは、注目画素Ｘとその周辺画素Ａ〜Ｄの位置関係を示し、図２５Ｂは、重みと補間演算とを示す。図２６は、前記デモザイク処理における画像生成処理を説明するための図である。図２６Ａは、Ｇ成分の場合を示し、図２６Ｂは、Ｒ成分の場合を示し、図２６Ｃは、Ｂ成分の場合を示す。図２７は、従来において、相対的に低解像度な複数の画像から相対的に高解像度な１つの画像を生成する場合に生じるギザギザな線を説明するための図である。

上述の実施形態における画像処理装置Ｄの制御処理部１は、機能的に、デモザイク処理部１７をさらに備えて構成される。このデモザイク処理部１７は、原画像データをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するものである。このようなデモザイク処理部１７は、本実施形態では、図２２Ａに示すように、輝度成分生成処理部１７１と、色度成分生成処理部１７２と、色度成分補間処理部１７３と、画像生成処理部１７４とを備える。

輝度成分生成処理部１７１は、原画像データを所定の第２画像フィルタでフィルタリングすることによって輝度成分画像データを生成するものである。前記所定の第２画像フィルタは、上述の第１画像フィルタＦＬ１と同様に、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、原画像データにおける単位配列３２１の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えて構成される。そして、前記第２画像フィルタは、１つであって良いが、本実施形態では、複数の画像フィルタが用いられる。輝度成分生成処理部１７１は、原画像データを前記複数の第２画像フィルタそれぞれでフィルタリングすることによって複数の素輝度成分画像データを生成し、前記複数の素輝度成分画像データを予め設定された所定の合成比で合成することで前記輝度成分生成画像データを生成する。そして、これら複数の第２画像フィルタは、サイズが互いに異なるとともに、前記フィルタリングによって高周波成分を除去する除去率が互いに異なる第２画像フィルタを含む。一例では、輝度成分生成処理部１７１は、原画像データを第２−１および第２−２画像フィルタそれぞれでフィルタリングすることによって第１および第２素輝度成分画像データを生成し、これら第１および第２素輝度成分画像データを予め適宜に設定された所定の合成比で合成することで前記輝度成分生成画像データを生成する。この第２−１画像フィルタは、第２−２画像フィルタのサイズよりも大きなサイズであり、前記フィルタリングによって高周波成分を除去する除去率が第２−２画像フィルタよりも小さい。このような第２画像フィルタについては、後に、詳述する。

色度成分生成処理部１７２は、前記原画像データから、輝度成分生成処理部１７１で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成するものである。

色度成分補間処理部１７３は、色度成分生成処理部１７２で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数、および、輝度成分生成処理部１７１で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成するものである。好ましくは、本実施形態では、色度成分補間処理部１７３は、前記単位配列に含まれる同色の個数が１つである色の色度成分データを補間する場合には、バイリニア補間法を前記補間方法として用いるものである。また、好ましくは、本実施形態では、色度成分補間処理部１７３は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合には、輝度成分生成処理部１７１で生成された輝度成分画像データに基づいた補間方法を前記補間方法として用いるものである。より具体的には、輝度成分生成処理部１７１で生成された輝度成分画像データに基づいた補間方法は、前記色度成分データが欠落する画素を注目画素とし、前記色度成分データ上における前記注目画素の第１画素位置に対応する前記輝度成分画像データ上における第２画素位置の第１輝度成分データと、前記第２画素位置の周辺に位置する周辺画素位置の第２輝度成分データとの相関の有無に応じて選択される補間方法である。好ましくは、輝度成分生成処理部１７１で生成された輝度成分画像データに基づいた補間方法は、前記相関の有る場合には、第１画素位置の周辺に位置する周辺画素位置の色度成分データを前記相関の程度に応じた重みで重みを付けて平均する重み付け補間法であり、前記相関の無い場合には、バイリニア補間法である。

画像生成処理部１７４は、色度成分補間処理部１７３で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、輝度成分生成処理部１７１で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成するものである。

そして、このような構成のデモザイク処理部１７は、図２２Ｂに示すように、まず、デモザイク処理部１７の輝度成分生成処理部１７１によって原画像データＩＳに基づいて輝度成分画像データＢＩＳが生成される（Ｓ５１）。この原画像データＩＳは、本実施形態では、一例として、９眼を持つアレイカメラ３ｂｂで同一の被写体を撮像することによって生成された、上述した図７に示す、９個の第１ないし第９原画像データＩＳである。次に、デモザイク処理部１７の色度成分生成処理部１７２によって原画像データＩＳおよび輝度成分画像データＢＩＳに基づいて色度成分画像データＣＩＳが生成され（Ｓ５２）、次に、デモザイク処理部１７の色度成分補間処理部１７３によって輝度成分画像データＢＩＳおよび色度成分画像データＣＩＳに基づいて補間処理されて色別色度成分画像データＩＣＩＳが生成され（Ｓ５３）、そして、デモザイク処理部１７の画像生成処理部１７４によって輝度成分画像データＢＩＳおよび色別色度成分画像データＩＣＩＳに基づいて画像データＩＤが生成される（Ｓ５４）。これら処理Ｓ５１〜Ｓ５４の各処理は、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれに対し、実行される。より詳しくは、これら各処理Ｓ５１〜Ｓ５４は、次のように処理される。

輝度成分を生成する輝度成分生成処理Ｓ５１では、輝度成分生成処理部１７１は、原画像データＩＳを所定の第２画像フィルタＦＬ２でフィルタリングすることによって輝度成分画像データＢＩＳを生成する。この輝度成分生成処理Ｓ５１では、１個の第２画像フィルタＦＬ２が用いられ、輝度成分生成処理部１７１は、原画像データＩＳをこの１個の第２画像フィルタＦＬ２でフィルタリングすることによって輝度成分画像データＢＩＳを生成しても良いが、本実施形態では、複数の第２画像フィルタＦＬ２ｎが用いられ、輝度成分生成処理部１７１は、原画像データＩＳをこれら複数の第２画像フィルタＦＬ２ｎそれぞれでフィルタリングすることによって複数の素輝度成分画像データＢＩＳｐを生成し、これら複数の素輝度成分画像データＢＩＳｐを所定の合成比で合成することによって１個の輝度成分画像データＢＩＳを生成する。図２３に示す例では、図２３Ｂおよび図２３Ｃに示す２個の第１および第２態様の第２−１および第２−２画像フィルタＦＬ２ａ、ＦＬ２ｂが用いられ、輝度成分生成処理部１７１は、原画像データＩＳ（図８Ａ）を第１態様の第２−１画像フィルタＦＬ２ａでフィルタリングすることによって第１素輝度成分画像データＢＩＳｐ−１を生成し（図２３Ｂ）、原画像データＩＳを第２態様の第２−２画像フィルタＦＬ２ｂでフィルタリングすることによって第２素輝度成分画像データＢＩＳｐ−２を生成し（図２３Ｃ）、そして、これら第１および第２素輝度成分画像データＢＩＳｐ−１、ＢＩＳｐ−２を１：４の合成比で合成することによって１個の輝度成分画像データＢＩＳを生成する（図２３Ｄ）。

これら第１および第２態様の第２−１および第２−２画像フィルタＦＬ２ａ、ＦＬ２ｂは、それぞれ、フィルタリングの対象データに対応する画素（対象画素）の周辺に位置する画素（周辺画素）に対応するデータ（周辺データ）に基づいて、前記対象データを、原画像データＩＳにおける単位配列（単位色フィルタ配列３２１）の色組成比と同じ色組成比を持つデータに変換するように、そのフィルタ係数の各値がそれぞれ調整されて設定されている。そして、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）に残す高周波成分の度合い等を考慮することによって、第２画像フィルタＦＬ２におけるフィルタ係数の各値が調整されることが好ましく、また、フィルタリングする対象画素に影響を与える、当該対象画素の周辺に位置する画素範囲等を考慮することによって、第２画像フィルタＦＬ２の大きさ（サイズ）が調整されることが好ましい。

より具体的には、第１態様の第２−１画像フィルタＦＬ２ａは、原画像データＩＳの単位配列がベイヤー配列である場合に用いられる１１行１１列のフィルタであり、前記周辺データに基づいて前記対象データを、ベイヤー配列における単位配列の色組成比（Ｒ：Ｂ：Ｇ＝１：１：２）と同じ色組成比を持つデータに変換するようにそのフィルタ係数の各値がそれぞれ調整されて設定されている。そして、この第１態様の第２−１画像フィルタＦＬ２ａは、その中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、図２３Ｂに示すように、中心の６行６列に位置するフィルタ係数は、１０４／１２８であり、５行６列、６行５列、６行７列および７行６列それぞれに位置する各フィルタ係数は、７／１２８であり、１行５列、１行７列、３行３列、３行４列、３行６列、３行８列、３行９列、４行３列、４行９列、５行１列、５行５列、５行７列、５行１１列、７行１列、７行５列、７行７列、７行１１列、８行３列、８行９列、９行３列、９行４列、９行６列、９行８列、９行９列、１１行５列および１１行７列それぞれに位置する各フィルタ係数は、１／１２８であり、４行６列、６行４列、６行８列および８行６列それぞれに位置する各フィルタ係数は、−９／１２８であり、４行５列、４行７列、５行４列、５行８列、７行４列、７行８列、８行５列および８行７列それぞれに位置する各フィルタ係数は、３／１２８であり、４行４列、４行８列、８行４列および８行８列それぞれに位置する各フィルタ係数は、−５／１２８であり、３行５列、３行７列、５行３列、５行９列、７行３列、７行９列、９行５列および９行７列それぞれに位置する各フィルタ係数は、２／１２８であり、２行４列、２行８列、４行２列、４行１０列、８行２列、８行１０列、１０行４列および１０行８列それぞれに位置する各フィルタ係数は、−１／１２８であり、２行６列、６行２列、６行１０列および１０行６列それぞれに位置する各フィルタ係数は、−２／１２８であり、そして、残余の各位置に位置する各フィルタ係数は、０／１２８である。なお、図２３Ｂでは、行列表示の各位置にフィルタ係数の値の分子が記載され、分母は、行列表示外の右下に纏めて記載されている。図２３Ｃも同様の記載形式で記載されている。このようなフィルタ係数を持つ第１態様の第２−１画像フィルタＦＬ２ａは、前記フィルタリングによって高周波成分を除去する除去率が比較的小さいために、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）に比較的多くの高周波成分が残り、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）には、比較的鮮鋭度が保持される。そして、このような第１態様の第２−１画像フィルタＦＬ２ａは、１１×１１というフィルタサイズを持つので、フィルタリングする対象画素に影響を与える画素範囲が比較的広く、前記対象画素から比較的遠くに位置する画素まで前記対象画素に影響を与え、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）には、比較的多くの誤差が含まれる。このため、後述のギザギザな線が比較的出易い。

第２態様の第２−２画像フィルタＦＬ２ｂは、原画像データＩＳの単位配列がベイヤー配列である場合に用いられる３行３列のフィルタであり、前記周辺データに基づいて前記対象データを、ベイヤー配列における単位配列の色組成比（Ｒ：Ｂ：Ｇ＝１：１：２）と同じ色組成比を持つデータに変換するようにそのフィルタ係数の各値がそれぞれ調整されて設定されている。そして、この第２態様の第２−２画像フィルタＦＬ２ｂは、その中心位置に対し対称なフィルタ係数を持つフィルタであり、図２３Ｃに示すように、上述の第１態様の画像フィルタＦＬ１ａと同一である。このような第２態様の第２−２画像フィルタＦＬ２ｂ（＝画像フィルタＦＬ１ａ）は、デモザイク処理の観点から、第１態様の第２−１画像フィルタＦＬ２ａと比較して、逆に、前記フィルタリングによって高周波成分を除去する除去率が比較的大きいために、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）に高周波成分が比較的少なくなり、そして、フィルタリングする対象画素に影響を与える画素範囲が比較的狭く、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）に含まれる誤差は、比較的少なく、ギザギザな線が比較的出難い。このため、上述したように、１個の第２画像フィルタＦＬ２を用いて輝度成分画像データＢＩＳを生成する場合には、このような第２態様の第２−２画像フィルタＦＬ２ｂが利用される。

また、この第２画像フィルタＦＬ２の各フィルタ係数も、画像フィルタＦＬ全域に単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が全ての配列位置で同じ値になるように、設定されてよい。

フィルタリングは、上述と同様に、原画像データＩＳにおける最初の１行１列に位置する画素に対応するデータから最終の５００行５００列に位置する画素に対応するデータまで順次に実行される。

第２画像フィルタＦＬ２は、原画像データＩＳにおける単位配列の色組成比と同じ色組成比のフィルタ係数を備えるから、原画像データＩＳに第２画像フィルタＦＬ２を作用させた場合において、原画像データＩＳのＲ画素に対応するフィルタ係数の総計と、原画像データＩＳのＢ画素に対応するフィルタ係数の総計と、原画像データＩＳのＧ画素に対応するフィルタ係数の総計とは、原画像データＩＳにおける単位配列の色組成比と同じになる。

このように原画像データＩＳの単位配列におけるいずれの画素のデータも第２画像フィルタＦＬ２によって同じ色組成比でフィルタリングされる。したがって、原画像データＩＳにおける全ての画素のデータが第２画像フィルタＦＬ２によって同じ色組成比でフィルタリングされることになる。この結果、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）における全ての画素のデータは、（Ｇ／２＋Ｒ／４＋Ｂ／４）で合成された同じ色成分を持つデータとして扱うことが可能となる。

そして、複数（本実施形態では２個）の素輝度成分画像データＢＩＳｐの合成では、輝度成分画像データＢＩＳの各データ（各画素値）は、当該データの位置（当該画素の位置）に対応する位置の各素輝度成分画像データＢＩＳｐの各データ値を所定の合成比で合成することによって求められる。例えば、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ（各画素値）ＤＶ_{ＢＩＳ，ｍｎ}は、各素輝度成分画像データＢＩＳｐにおけるｍ行ｎ列の各データ値を前記所定の合成比で合成することによって求められる。前記所定の合成比は、予め、複数のサンプルの原画像に対し合成比を変えながら実際に合成し、合成後の画像を見比べることによって適宜な比に設定され、例えば、本実施形態では、１：４である。したがって、第１態様の第２−１画像フィルタＦＬ２ａを原画像ＩＳに作用することによって得られた素輝度成分画像データＢＩＳｐ−１におけるｍ行ｎ列のデータ値をＤＶ_{ＢＩＳｐ−１，ｍｎ}とし、第２態様の第２−２画像フィルタＦＬ２ｂを原画像ＩＳに作用することによって得られた素輝度成分画像データＢＩＳｐ−２におけるｍ行ｎ列のデータ値をＤＶ_{ＢＩＳｐ−２，ｍｎ}とした場合、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータは、（４×ＤＶ_{ＢＩＳｐ−１，ｍｎ}＋１×ＤＶ_{ＢＩＳｐ−２，ｍｎ}）／（１＋４）となる。第１態様の第２−１画像フィルタＦＬ２ａは、上述したように、鮮鋭度が比較的保持される一方ギザギザな線が比較的出易い素輝度成分画像データＢＩＳｐ−１を生成するため、この第１態様の第２−１画像フィルタＦＬ２ａによる素輝度成分画像データＢＩＳｐ−１と、この第２−１画像フィルタＦＬ２ａと逆の特性を持つ第２態様の第２−２画像フィルタＦＬ２ｂによる素輝度成分画像データＢＩＳｐ−２とを組み合わせ、これらを所定の合成比で合成して輝度成分画像データＢＩＳを生成することで、鮮鋭度を保持しつつギザギザな線の少ない輝度成分画像データＢＩＳが生成できる。

なお、前記第２画像フィルタＦＬ２は、上述の第１および第２態様の第２−１および第２−２画像フィルタＦＬ２ａ、ＦＬ２ｂに限定されるものではなく、種々の態様を採用でき、例えば、ベイヤー配列を単位色フィルタ配列とした色フィルタ部３２ａによって得られる原画像データＩＳに対し、図５Ｂないし図５Ｄに示す上述した第３ないし第５態様の画像フィルタＦＬ１ｂ〜ＦＬｄ等を利用できる。

図２２Ｂに戻って、色度成分を生成する色度成分生成処理Ｓ５２では、色度成分生成処理部１７２は、図２４に示すように、原画像データＩＳ（図２４Ａ）から、上述のように輝度成分生成処理部１７１で生成された輝度成分画像データＢＩＳ（図２４Ｂ）を、各画素ごとに、減算することによって、色度成分画像データＣＩＳ（図２４Ｃ）を生成する。すなわち、色度成分画像データＣＩＳにおけるｍ行ｎ列のデータ（各画素値）ＤＶ_{ＣＩＳ，ｍｎ}は、原画像データＩＳにおけるｍ行ｎ列のデータ値ＤＶ_{ＩＳ，ｍｎ}から、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ値ＤＶ_{ＢＩＳ，ｍｎ}を減算することによって求められる（ＤＶ_{ＣＩＳ，ｍｎ}＝ＤＶ_{ＩＳ，ｍｎ}−ＤＶ_{ＢＩＳ，ｍｎ}）。なお、図２４Ｃでは、色度成分画像データＣＩＳが色別に図示されており、図２４Ｃの上段には、Ｇ色度成分のＧ色度成分画像データＣＩＳ−Ｇが示され、図２４Ｃの中段には、Ｒ色度成分のＲ色度成分画像データＣＩＳ−Ｒが示され、そして、図２４Ｃの下段には、Ｂ色度成分のＢ色度成分画像データＣＩＳ−Ｂが示されている。また、色別に図示した図２４Ｃにおいて、データ値（画素値）が欠落している画素には、そのデータ値として「０」が設定されている。

図２２Ｂに戻って、各画素で欠落している色度成分を補間する色度成分補間処理Ｓ５３では、色度成分補間処理部１７３は、色度成分生成処理部１７２で生成された色度成分画像データＣＩＳにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および輝度成分生成処理部１７１で生成された輝度成分画像データＢＩＳに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データＩＣＩＳを生成する。

本実施形態では、色度成分補間処理部１７３は、前記単位配列に含まれる同色の個数が１つである色の色度成分データを補間する場合には、バイリニア補間法を前記補間方法として用い、色度成分補間処理部１７３は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合には、輝度成分生成処理部１７１で生成された輝度成分画像データに基づいた補間方法を前記補間方法として用いる。

したがって、ベイヤー配列の単位色フィルタ配列３２１ａを持つ色フィルタ部３２ａで生成された原画像データＩＳの場合、前記単位配列には、Ｒ（赤色）の輝度データは、１つであり、Ｒ色度成分のＲ色度成分画像データＣＩＳ−Ｒは、図２４Ｃに示すように、４画素に１画素の割合でしかデータ値（画素値）が無い。このため、Ｒ色度成分のデータが欠落している画素のデータ値がバイリニア補間されてもギザギザな線は、生じ難い。そして、Ｂ（緑色）の濃度データも、上述のＲの濃度データの場合と同様である。よって、本実施形態では、色度成分補間処理部１７３は、処理Ｓ５２で色度成分生成処理部１７２によって生成された色度成分画像データＣＩＳのＲ色度成分画像データＣＩＳ−Ｒにおける、Ｒ色度成分のデータが欠落している画素のデータ値をバイリニア補間法で補間することで、Ｒ（赤色）のＲ色別色度成分画像データＩＣＩＳ−Ｒを生成し、同様に、処理Ｓ５２で色度成分生成処理部１７２によって生成された色度成分画像データＣＩＳのＢ色度成分画像データＣＩＳ−Ｂにおける、Ｂ色度成分のデータが欠落している画素のデータ値をバイリニア補間法で補間することで、Ｂ（青色）のＢ色別色度成分画像データＩＣＩＳ−Ｂを生成する。このバイリニア補間は、１行１列、１行３列、３行１列および３行３列の各位置にフィルタ係数１／４を持ち、１行２列、２行１列、２行３列および３行２列の各位置にフィルタ係数２／４を持ち、そして、２行２列の位置にフィルタ係数４／４を持つ画像フィルタ（ＲＢバイリニア用画像フィルタ）を用いてフィルタリングすることで実行できる。したがって、より具体的には、色度成分補間処理部１７３は、前記Ｒ色度成分画像データＣＩＳ−Ｒを前記ＲＢバイリニア用画像フィルタでフィルタリングすることによって前記Ｒ色別色度成分画像データＩＣＩＳ−Ｒを生成し、同様に、前記Ｂ色度成分画像データＣＩＳ−Ｂを前記ＲＢバイリニア用画像フィルタでフィルタリングすることによって前記Ｂ色別色度成分画像データＩＣＩＳ−Ｂを生成する。

一方、ベイヤー配列の単位色フィルタ配列３２１ａを持つ色フィルタ部３２ａで生成された原画像データＩＳの場合、前記単位配列には、Ｇ（緑色）の濃度データは、２つであり、Ｇ色度成分のＧ色度成分画像データＣＩＳ−Ｇは、Ｇ色度成分のデータが欠落している画素のデータ値を仮にバイリニア補間すると、ギザギザな線は、生じてしまう。このため、本実施形態では、補間方法は、Ｇ色度成分のデータが欠落する画素を注目画素とし、Ｇ色度成分画像データＣＩＳ−Ｇ上における前記注目画素の第１画素位置に対応する輝度成分画像データＢＩＳ上における第２画素位置の第１輝度成分データと、前記第２画素位置の周辺に位置する周辺画素位置の第２輝度成分データとの相関の有無に応じて、選択される。より具体的には、前記相関の有る場合には、前記第１画素位置の周辺に位置する周辺画素位置のＧ色度成分データを前記相関の程度に応じた重みで重みを付けて平均する重み付け補間法が前記補間方法として用いられ、前記相関の無い場合には、バイリニア補間法が前記補間方法として用いられる。例えば、図２５Ａに示すように、Ｇ色成分のデータが欠落する画素を注目画素Ｘとし、この注目画素Ｘに対し列方向にそれぞれ隣接する画素を周辺画素Ａ、Ｄとし、この注目画素Ｘに対し行方向にそれぞれ隣接する画素を周辺画素Ｂ、Ｃとし、輝度成分画像データＢＩＳにおける注目画素Ｘの輝度成分データをＢＤｘとし、輝度成分画像データＢＩＳにおける各周辺画素Ａ、Ｂ、Ｃ、Ｄの輝度成分データをＢＤａ、ＢＤｂ、ＢＤｃ、ＢＤｄとし、Ｇ色度成分画像データＣＩＳ−Ｇにおける各周辺画素Ａ、Ｂ、Ｃ、ＤのＧ色度成分データをＣＤＧａ、ＣＤＧｂ、ＣＤＧｃ、ＣＤＧｄとし、重みを求める重み関数Ｗ（ｄ）を図２５Ｂ示すように注目画素Ｘの輝度成分データＢＤｘと周辺画素Ｋ（Ｋ＝Ａ、Ｂ、Ｃ、Ｄ）の輝度成分データＢＤｋとの差ｄ（輝度差ｄ＝｜ＢＤｘ−ＢＤｋ｜）に応じて線形に変化し、そして、前記輝度差ｄが大きくなるに従って重みＷ（ｄ）が小さくなる場合、前記相関Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）は、次式Ｉによって求められる。なお、この重み関数Ｗ（ｄ）は、ｄ＝０でＷ（０）＝１．０であり、Ｗ（Ｔｈ）でＷ（Ｔｈ）＝０である。前記Ｔｈは、重みを与える範囲を規定する値であり、例えば１０等である。
Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）＝Ｗｔ（｜ＢＤｘ−ＢＤａ｜）＋Ｗｔ（｜ＢＤｘ−ＢＤｂ｜）＋Ｗｔ（｜ＢＤｘ−ＢＤｃ｜）＋Ｗｔ（｜ＢＤｘ−ＢＤｄ｜） （式Ｉ）

このような式Ｉによって求められた前記相関Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）が正である場合（Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）＞０）には、前記相関が有ると判断され、注目画素Ｘ(欠落画素)のデータ値ＣＤＧｘは、次式ＩＩによって求められる。
ＣＤＧｘ＝（Ｗｔｘａ×ＣＤＧａ＋Ｗｔｘｂ×ＣＤＧｂ＋Ｗｔｘｃ×ＣＤＧｃ＋Ｗｔｘｄ×ＣＤＧｄ）／（Ｗｔｘａ＋Ｗｔｘｂ＋Ｗｔｘｃ＋Ｗｔｘｄ） （式ＩＩ）
なお、式ＩＩにおいて、Ｗｔ（｜ＢＤｘ−ＢＤａ｜）＝Ｗｔｘａ、Ｗｔ（｜ＢＤｘ−ＢＤｂ｜）＝Ｗｔｘｂ、Ｗｔ（｜ＢＤｘ−ＢＤｃ｜）＝Ｗｔｘｃ、Ｗｔ（｜ＢＤｘ−ＢＤｄ｜）＝Ｗｔｘｄとした。

前記式Ｉによって求められた前記相関Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）が０である場合（Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）＝０）には、前記相関が無いと判断され、注目画素Ｘ(欠落画素)のデータ値ＣＤＧｘは、周辺画素Ａ、Ｂ、Ｃ、ＤのＧ色度成分データＣＤＧａ、ＣＤＧｂ、ＣＤＧｃ、ＣＤＧｄを均等な重み、例えば、１／４で補間する。すなわち、バイリニア補間法が用いられ、注目画素Ｘ(欠落画素)のデータ値ＣＤＧｘは、次式ＩＩＩによって求められる。この前記相関が無い場合では、実質的にＧ成分にある高周波の折り返し歪み（モアレ）が残ることになり、この成分を用いることで超解像できる。このように実施形態における画像処理装置Ｄは、超解像可能にデモザイク処理を実行できる。
ＣＤＧｘ＝（ＣＤＧａ＋ＣＤＧｂ＋ＣＤＧｃ＋ＣＤＧｄ）／４ （式ＩＩＩ）

図２２Ｂに戻って、画像データを生成する画像生成処理Ｓ５４では、画像生成処理部１７４は、図２６に示すように、色度成分補間処理部１７３で生成された複数色ごとの各色別色度成分画像データＩＣＩＳそれぞれに、輝度成分生成処理部１７１で生成された輝度成分画像データＢＩＳを、各画素ごとに、それぞれ加算することによって、画像データＩＤを生成する。より具体的には、Ｇ成分の画像データＩＤ−Ｇにおけるｍ行ｎ列のデータ（各画素値）ＤＶ_{ＩＤ−Ｇ，ｍｎ}は、図２６Ａに示すように、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ値ＤＶ_{ＢＩＳ，ｍｎ}にＧ色別色度成分画像データＩＣＩＳ−Ｇにおけるｍ行ｎ列のデータ値ＤＶ_{ＩＣＩＳ−Ｇ，ｍｎ}を加算することによって求められる（ＤＶ_{ＩＤ−Ｇ，ｍｎ}＝ＤＶ_{ＢＩＳ，ｍｎ}＋ＤＶ_{ＩＣＩＳ−Ｇ，ｍｎ}）。同様に、Ｒ成分の画像データＩＤ−Ｒにおけるｍ行ｎ列のデータ（各画素値）ＤＶ_{ＩＤ−Ｒ，ｍｎ}は、図２６Ｂに示すように、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ値ＤＶ_{ＢＩＳ，ｍｎ}にＲ色別色度成分画像データＩＣＩＳ−Ｒにおけるｍ行ｎ列のデータ値ＤＶ_{ＩＣＩＳ−Ｒ，ｍｎ}を加算することによって求められる（ＤＶ_{ＩＤ−Ｒ，ｍｎ}＝ＤＶ_{ＢＩＳ，ｍｎ}＋ＤＶ_{ＩＣＩＳ−Ｒ，ｍｎ}）。同様に、Ｂ成分の画像データＩＤ−Ｂにおけるｍ行ｎ列のデータ（各画素値）ＤＶ_{ＩＤ−Ｂ，ｍｎ}は、図２６Ｃに示すように、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ値ＤＶ_{ＢＩＳ，ｍｎ}にＢ色別色度成分画像データＩＣＩＳ−Ｂにおけるｍ行ｎ列のデータ値ＤＶ_{ＩＣＩＳ−Ｂ，ｍｎ}を加算することによって求められる（ＤＶ_{ＩＤ−Ｂ，ｍｎ}＝ＤＶ_{ＢＩＳ，ｍｎ}＋ＤＶ_{ＩＣＩＳ−Ｂ，ｍｎ}）。これによって各画素ごとに、Ｇ成分ＤＶ_{ＩＤ−Ｒ，ｍｎ}、Ｒ成分ＤＶ_{ＩＤ−Ｒ，ｍｎ}およびＢ成分ＤＶ_{ＩＤ−Ｂ，ｍｎ}の各色成分を持つ画像データＩＤが生成される。

このようにデモザイク処理を実行すると、画像処理装置Ｄは、相対的に低解像度な複数の画像から相対的に高解像度な１つの画像を生成する場合に生じるギザギザな線をより低減できる。

このギザギザな線の発生について図２７を用いて以下に説明する。上述のデモザイク処理ではなく、ベイヤー配列の色フィルタ部３２ａによって生成された原画像データに用いられる従前の一般的なデモザイクによって生成された複数の画像データから高解像度な１つの画像を生成すると、この生成した高解像度な画像では、本来、滑らかな直線や曲線がギザギザな線になってしまうことがある。例えば、図２７Ａに示すように、直線的な境界線で段階状に濃度の異なる被写体が、図７の個眼４、５に撮像された場合、図２７Ｂおよび図２７Ｃに示すように、撮像素子（イメージセンサ）の各光電変換素子（各画素）は、その受光面の全面積で受光した光量に応じたレベル（大きさ）の電気信号、すなわち、その受光面内で濃度が異なることがあっても平均濃度の情報を表す電気信号を出力する一方、撮像素子（イメージセンサ）上で同じ位置（ｍ行ｎ列の位置同士）であっても、前記基線長および被写体までの距離に応じてずれて被写体を撮像することになる。なお、図２７Ｂおよび図２７Ｃは、ベイヤー配列のイメージセンサにおけるＲ（赤色）の画素（Ｒ成分の濃度データを生成する画素）について示し、それら左側の図は、Ｒ光を光電変換するＲの光電変換素子（Ｒの画素、実線の矩形）と被写体との関係、すなわち、Ｒの画素に映り込む被写体を示し、それら右側の図は、その映り込んだ被写体を光電変換することによってＲの画素から出力される電気信号のレベルを濃淡で示す。実際には９眼の画像を用いるが、説明の都合上、仮に個眼４、５の画像から、より高解像度な画像を生成するものとすると、図２７Ｄに示すように、高解像度な画像における同じライン上の画素であっても、異なるカメラで撮像した電気信号で画素値が生成される。例えば、画素Ｐｘ１は、左カメラで撮像した電気信号で画素値が生成される一方、画素Ｐｘ１と同じライン上の画素Ｐｘ２は、右カメラで撮像した電気信号で画素値が生成される。これら電気信号は、上述したように、平均濃度の情報を表し、それらレベルが異なると、生成した高解像度な画像では、濃度の違いとなって図２７Ｄに示すように、本来、滑らかな直線や曲線がギザギザな線になってしまう。このようなギザギザな線の発生は、上述した発生過程から分かるように、例えば、Ｒ成分の濃度データが個眼ごとに離散的に得られ、横方向には一定濃度であるという被写体本来の情報が得られないためである。しかしながら、上述では、第２画像フィルタＦＬ２によって単位配列の色組成比と同じ色組成比を持つデータに原画像データＩＳを変換するように前記輝度成分生成処理部１７１によってフィルタリングするので、このフィルタリングで生成された輝度成分画像データＢＩＳにおける全ての画素のデータは、同じ色成分を持つデータとして扱うことができるようになり、全ての画素で適切に比較できる。そして、上述では、デモザイク処理の補間には前記単位配列に含まれる同色の個数および輝度成分生成処理部１７１で生成された輝度成分画像データＢＩＳに基づいた補間方法が用いられるので、前記画素間の相互関係を考慮した適切な補間方法の選択が可能となり、この結果、このデモザイク処理部１７を備える画像処理装置Ｄ等は、前記ギザギザな線をより低減できる。

単位配列に含まれる同色の個数が１つである色の色度成分データをバイリニア補間法で補間しても前記ギザギザな線を生じないので、このデモザイク処理部１７を備える画像処理装置Ｄ等は、比較的情報処理の容易なバイリニア補間法をこのような場合に用いることで、前記ギザギザな線をより低減しつつ、簡易に補間処理できる。

単位配列に含まれる同色の個数が複数である色の色度成分データをバイリニア補間法で補間すると前記ギザギザな線を生じてしまうが、このデモザイク処理部１７を備える画像処理装置Ｄ等は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを前記輝度成分画像データに基づいた補間方法で補間するので、前記ギザギザな線をより適切に低減できる。そして、前記補間方法は、前記相関の有無に応じて選択されるので、より適切な補間方法を選択できる。上述では、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合でも、周辺画素と相関関係に無ければ、高解像化に用いる高周波のモアレ成分である可能性が高い。このため、前記補間方法としてバイリニア補間法が選択され、バイリニア補間法でギザギザを残し、これを高解像化で解像力を上げるために用いることができる。一方、周辺画素と相関が有れば、前記補間方法として、その相関に応じた重み付け補間法が選択され、ギザギザを低減できる。したがって、本実施形態における画像処理装置Ｄ等は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合に、前記ギザギザな線をより適切に低減できる。

このデモザイク処理部１７を備える画像処理装置Ｄ等は、フィルタ係数の各値が中心位置に対し対称に配置されているので、全ての画素のデータをより同等な色成分を持つデータとして扱うことができるから、前記ギザギザな線をより低減できる。

このデモザイク処理部１７を備える画像処理装置Ｄ等は、画像フィルタサイズおよび高周波成分の除去率の異なる第２−１および第２−２画像フィルタＦＬ２ａ、ＦＬ２ｂを用いて輝度成分画像データＢＩＳを生成するので、画像の鮮鋭度を保持しつつ、前記ギザギザな線の少ない輝度成分画像データＢＩＳを生成できる。

なお、上述の輝度成分生成処理部１７１は、前処理部１２と兼用されても良い。

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

一態様にかかる画像処理装置は、原画像データを画像フィルタでフィルタリングすることによって前処理後画像データを生成する前処理部と、複数の原画像データから前記前処理部によって生成された複数の前処理後画像データそれぞれに対応する複数の画像の間で対応点探索を行う対応点探索処理部とを備え、前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。

対応点探索は、パターンマッチングによって対応点を探索するので、一般に、同じ色成分のデータしか利用できない。このため、例えばベイヤー配列の色フィルタを用いることによって得られた原画像データで対応点探索を実施する場合には、前記非特許文献１のように例えばＧ画素のデータで対応点探索が実施されることになり、原画像データの半分のデータ量しか利用できない。しかしながら、上記画像処理装置では、前記画像フィルタによって単位配列の色組成比と同じ色組成比を持つデータに原画像データを変換するように前記輝度成分生成処理部によってフィルタリングするので、全ての画素のデータを同じ色成分を持つデータとして扱うことができるようになり、この結果、全ての画素のデータを利用して対応点探索の実施が可能となる。したがって、このような画像処理装置は、対応点探索をより高精度に実施できる。

他の一態様では、上述の画像処理装置において、前記画像フィルタの各フィルタ係数は、中心位置に対し対称である。また、他の一態様では、上述の画像処理装置において、前記画像フィルタの各フィルタ係数は、前記画像フィルタ全域に前記単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が全ての配列位置で同じ値になるように、設定されている。

このような画像処理装置は、全ての画素のデータをより同等な色成分を持つデータとして扱うことができるから、前記ギザギザな線を低減できる。

他の一態様では、これら上述の画像処理装置において、前記複数の原画像データは、３個以上の複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された被写体の光学像をそれぞれ撮像する複数の撮像部とを備える３眼以上のアレイカメラで撮像されたデータである。

このような画像処理装置は、３眼以上のアレイカメラを用いるので、複数の原画像データを同時に得ることができる。このため、対応点探索の結果から対応点間の位置ズレ量（視差）を求める場合に、同一の被写体を同時刻で写した複数の画像間で前記位置ズレ量を求めることになるので、このような画像処理装置は、より高精度に前記位置ズレ量を求めることができる。

他の一態様では、これら上述の画像処理装置において、前記複数の原画像データは、撮像光学系と、前記撮像光学系によって結像された被写体の光学像を撮像する撮像部とを備える少なくとも１個のカメラで異なる時刻で撮像されたデータである。

このような画像処理装置は、異なる時刻で撮像された複数の原画像データを得ることができる。

他の一態様では、これら上述の画像処理装置において、前記対応点探索処理部で探索された対応点間の距離である位置ズレ量を求める位置ズレ量演算部をさらに備える。

このような画像処理装置は、位置ズレ量演算部をさらに備えるので、前記対応点探索処理部で探索された対応点間の位置ズレ量を求めることができ、より高精度に実行された対応点探索の結果を位置ズレ量の推定に効果的に反映できる。

他の一態様では、上述の画像処理装置において、前記位置ズレ量演算部で求めた位置ズレ量に基づいて、前記複数の原画像データから前記原画像データの画像における解像度より高い高解像度の画像を生成する高解像処理部をさらに備える。

このような画像処理装置は、高解像処理部をさらに備えるので、前記対応点探索処理部で探索された対応点間の位置ズレ量を求め、これに基づいて複数の原画像データから高解像度な画像のデータを得ることができ、より高精度に実行された対応点探索の結果を高解像度な画像の生成に効果的に反映できる。

他の一態様では、上述の画像処理装置において、前記位置ズレ量演算部で求めた前記位置ズレ量を前記複数の原画像データに対応する前記複数の画像間における視差とし、前記視差に基づいて前記対応点の表す被写体までの距離を求める距離演算部をさらに備える。

このような画像処理装置は、距離演算部をさらに備えるので、前記対応点探索処理部で探索された対応点間の視差（位置ズレ量）を求めることができ、より高精度に実行された対応点探索の結果を距離の演算に効果的に反映できる。

他の一態様では、上述の画像処理装置において、前記原画像データをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するデモザイク処理部をさらに備え、前記原画像データを第２画像フィルタでフィルタリングすることによって輝度成分画像データを生成する輝度成分生成処理部と、前記原画像データから、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成する色度成分生成処理部と、前記色度成分生成処理部で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成する色度成分補間処理部と、前記色度成分補間処理部で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成する画像生成処理部とを備え、前記第２画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。

このような画像処理装置では、前記画像フィルタによって単位配列の色組成比と同じ色組成比を持つデータに原画像データを変換するように前記輝度成分生成処理部によってフィルタリングするので、このフィルタリングで生成された輝度成分画像データにおける全ての画素のデータは、同じ色成分を持つデータとして扱うことができるようになり、全ての画素で適切に比較できる。そして、上記画像処理装置では、デモザイク処理の補間には前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法が用いられるので、前記画素間の相互関係を考慮した適切な補間方法の選択が可能となり、この結果、上記画像処理装置は、高解像度化に伴うギザギザな線をより低減できる。

そして、他の一態様にかかる画像処理方法は、原画像データを画像フィルタでフィルタリングすることによって前処理後画像データを生成する前処理工程と、複数の原画像データから前記前処理工程によって生成された複数の前処理後画像データに対応する複数の画像間で対応点探索を行う対応点探索処理工程とを備え、前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。

そして、他の一態様にかかる画像処理プログラムは、コンピュータに、原画像データを画像フィルタでフィルタリングすることによって前処理後画像データを生成する前処理部と、複数の原画像データから前記前処理部によって生成された複数の前処理後画像データに対応する複数の画像間で対応点探索を行う対応点探索処理部とを実現させるための画像処理プログラムであって、前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。

このような画像処理方法および画像処理プログラムでは、前記画像フィルタによって単位配列の色組成比と同じ色組成比を持つデータに原画像データを変換するように前記輝度成分生成処理部によってフィルタリングするので、全ての画素のデータを同じ色成分を持つデータとして扱うことができるようになり、この結果、全ての画素のデータを利用して対応点探索の実施が可能となる。したがって、このような画像処理方法および画像処理プログラムは、対応点探索をより高精度に実施できる。

この出願は、２０１３年１２月２日に出願された日本国特許出願特願２０１３−２４９６０７を基礎とするものであり、その内容は、本願に含まれるものである。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、画像を処理する画像処理技術、画像処理方法および画像処理プログラムを提供できる。

Claims (11)

1. 原画像データを画像フィルタでフィルタリングすることによって前処理後画像データを生成する前処理部と、
   複数の原画像データから前記前処理部によって生成された複数の前処理後画像データそれぞれに対応する複数の画像の間で対応点探索を行う対応点探索処理部とを備え、
   前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、
   前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えること
   を特徴とする画像処理装置。
2. 前記画像フィルタの各フィルタ係数は、中心位置に対し対称であること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記画像フィルタの各フィルタ係数は、前記画像フィルタ全域に前記単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が、全ての配列位置で同じ値になるように、設定されていること
   を特徴とする請求項１に記載の画像処理装置。
4. 前記複数の原画像データは、３個以上の複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された被写体の光学像をそれぞれ撮像する複数の撮像部とを備える３眼以上のアレイカメラで撮像されたデータであること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
5. 前記複数の原画像データは、撮像光学系と、前記撮像光学系によって結像された被写体の光学像を撮像する撮像部とを備える少なくとも１個のカメラで異なる時刻で撮像されたデータであること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
6. 前記対応点探索処理部で探索された対応点間の距離である位置ズレ量を求める位置ズレ量演算部をさらに備えること
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
7. 前記位置ズレ量演算部で求めた位置ズレ量に基づいて、前記複数の原画像データから前記原画像データの画像における解像度より高い高解像度の画像を生成する高解像処理部をさらに備えること
   を特徴とする請求項６に記載の画像処理装置。
8. 前記位置ズレ量演算部で求めた前記位置ズレ量を前記複数の原画像データに対応する前記複数の画像間における視差とし、前記視差に基づいて前記対応点の表す被写体までの距離を求める距離演算部をさらに備えること
   を特徴とする請求項６に記載の画像処理装置。
9. 前記原画像データをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するデモザイク処理部をさらに備え、
   前記原画像データを第２画像フィルタでフィルタリングすることによって輝度成分画像データを生成する輝度成分生成処理部と、
   前記原画像データから、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成する色度成分生成処理部と、
   前記色度成分生成処理部で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成する色度成分補間処理部と、
   前記色度成分補間処理部で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成する画像生成処理部とを備え、
   前記第２画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えること
   を特徴とする請求項７に記載の画像処理装置。
10. 原画像データを画像フィルタでフィルタリングすることによって前処理後画像データを生成する前処理工程と、
    複数の原画像データから前記前処理工程によって生成された複数の前処理後画像データに対応する複数の画像間で対応点探索を行う対応点探索処理工程とを備え、
    前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、
    前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えること
    を特徴とする画像処理方法。
11. コンピュータに、
    原画像データを画像フィルタでフィルタリングすることによって前処理後画像データを生成する前処理部と、
    複数の原画像データから前記前処理部によって生成された複数の前処理後画像データに対応する複数の画像間で対応点探索を行う対応点探索処理部とを実現させるための画像処理プログラムであって、
    前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、
    前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えること
    を特徴とする画像処理プログラム。

Images