JP5682523B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像データの画素値を補正可能な画像処理装置、画像処理方法及びプログラムに関する。

デジタルカメラや、撮像機能を有する携帯電話等においては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の撮像素子により、レンズから入射された光を電気信号に変換し、当該電気信号を画像データとして出力する。

上述の撮像素子は、入射光を光電変換して電荷を蓄積し、蓄積された電荷の量に基づいて輝度を定める複数の画素を有している。これら複数の画素では、入射光に応じた量以上に電荷が蓄積される白キズが発生する可能性がある。
特許文献１には、ＣＣＤを用いた撮像素子において白キズが発生している画素を予め特定しておき、撮像時に、当該画素に対応する画素値（画像信号）を、前後の画素に対応する画素値（画像信号）に基づいて補正する手法が開示されている。

特開２０００−１０１９２５号公報

ところで、ＣＭＯＳ型の撮像素子は、白キズが発生した画素の周囲の領域に配置された画素に対して、白キズが拡大するブルーミングが発生する可能性がある。
図６は、ブルーミングを説明する図である。図６において、１つの正方形のマスは、１つの画素を示している。各画素の色は電荷の量を示しており、白色に近づく画素ほど電荷が蓄積されていることを意味している。
まず、図６（ａ）において、１つの画素（同図の中央の画素）に白キズが発生する。発生当初は、必要以上に蓄積される電荷の量も少なく白キズの度合いが低い。しかし、温度・湿度等の環境変化や経年変化により、必要以上に蓄積される電荷の量が増加して許容値となると（図６（ｂ））、隣接した画素に電荷が漏れ出して、隣接した画素も必要以上に電荷が蓄積される（図６（ｃ））。その後、このように必要以上に電荷が蓄積された画素から隣接する画素に対して電荷が漏れることが連鎖的に発生し、白キズが増加してしまう（図６（ｄ）〜図６（ｆ））。

ブルーミングにより発生した白キズを補正するためには、例えば、デジタルカメラ等は、連続して２回の撮像動作を繰り返す。即ち、デジタルカメラ等は、１回目の撮像動作においては、通常の被写体を撮像し、２回目の撮像動作では、遮光した状態で撮像する。デジタルカメラ等は、このような２回目の撮像動作の結果において電荷が蓄積された画素を白キズが発生した画素と特定する。そして、デジタルカメラ等は、１回目の撮像動作で撮像された画像データのうち、このようにして特定された画素の画素値（画像信号）の補正を行う。しかしながら、特許文献１において開示されている手法は、白キズが発生している画素の画素値を、前後の画素の画素値に基づいて補正するため、補正結果が不自然になってしまう虞がある。

また、白キズが発生した画素を特定する精度を高めるために、２回の撮像動作を繰り返す等して撮像時に白キズが発生した画素と特定しようとすると、撮像全体の時間がかかってしまう虞がある。

本発明は、このような状況に鑑みてなされたものであり、精度よく、かつ、効率的に画像データの画素値（画像信号）を補正することができる画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段と、前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段と、前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域であって、補正対象となる複数の画素を含む１つの補正対象領域を特定する第１の領域特定手段と、前記位置特定手段により特定された位置から所定範囲内で、かつ、前記１つの補正対象領域の外周に対して所定数の画素を隔てて外側に隣接する領域であって、補正に用いる複数の画素を含む１つの周囲領域を特定する第２の領域特定手段と、前記第１の領域特定手段により特定された前記１つの補正対象領域に含まれる複数の画素のそれぞれについて、画素値の補正に用いる画素を、当該補正対象領域に対応して特定された前記１つの周囲領域に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択し、この選択した画素の画素値に基づいて補正対象となる画素の画素値を補正する補正手段と、を備えたことを特徴とする。

本発明によれば、精度よく、かつ、効率的に画像データの画素値（画像信号）を補正することができる。

本発明に係る撮像装置の一実施形態としてのデジタルカメラのハードウェア構成を示すブロック図である。 図１のデジタルカメラが、撮像処理を実行するための機能的構成を示す機能ブロック図である。 画像データにおいて欠陥画素により画像ノイズが発生する領域の補正を説明する図である。 図２のデジタルカメラが実行する撮像処理の流れの一例を示すフローチャートである。 図２のデジタルカメラが実行する撮像処理の流れの別の例を示すフローチャートである。 ブルーミングを説明する図である。

以下、図面を参照して、本発明に係る実施形態について説明する。
図１は、本発明に係る画像信号処理装置の一実施形態としてのデジタルカメラ１のハードウェア構成図を示している。
図１を参照して、デジタルカメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、光学系１５と、撮像部１６と、画像処理部１７と、記憶部１８と、表示部１９と、操作部２０と、通信部２１と、センサ部２２と、ドライブ２３と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラム、又は記憶部１８からＲＡＭ１３にロードされたプログラムに従って、各種の処理を実行する。ＲＯＭ１２は、ＣＰＵ１１が各種の処理を実行するためのプログラムに加え、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等を適宜記憶している。

例えば、本実施形態では、後述する図２の画像制御部５１乃至合成部５６の各機能を実現するプログラムが、ＲＯＭ１２や記憶部１８に記憶されている。したがって、ＣＰＵ１１が、これらのプログラムに従った処理を実行し、後述する画像処理部１７と適宜協働することで、後述する図２の画像制御部５１乃至合成部５６の各機能を実現することができる。

ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、光学系１５、撮像部１６、画像処理部１７、記憶部１８、表示部１９、操作部２０、通信部２１、センサ部２２、及びドライブ２３が接続されている。

光学系１５は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等を含むように構成される。フォーカスレンズは、撮像部１６の撮像素子の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学系１５にはまた、必要に応じて、焦点や、露出等を調整する周辺装置が設けられる。

撮像部１６は、複数の撮像素子やＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成され、複数の撮像素子から得られる画素を含む画像データを生成する。撮像素子は、本実施形態ではＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ型の光電変換素子から構成される。撮像素子には、ベイヤ配列等の色フィルタが装着されている。撮像素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をＡＦＥに順次供給する。
ＡＦＥは、当該アナログの電気信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部１６の出力信号として出力する。
なお、以下、撮像部１６の出力信号を、「画像データ」と呼ぶ。したがって、撮像部１６からは画像データが出力されて、画像処理部１７等に適宜供給される。本実施形態では、撮像部１６から出力される画像データの単位は、撮像素子を構成する各画素の画素値（画像信号）の集合体、即ち、１枚の静止画像又は動画像を構成するフレーム等の画像データである。

画像処理部１７は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されている。
画像処理部１７は、ＣＰＵ１１と協働して、撮像部１６から入力される画像データに対して、ノイズ低減、ホワイトバランス等の画像処理の他、後述する画像取得部５２乃至補正部５５の各機能の発揮に必要な各種画像処理を施す。画像処理部１７は、各種画像処理を施された画像データを記憶部１８又はリムーバブルメディア３１に記憶させる。

記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、画像処理部１７から出力された画像データを一時的に記憶する。また、記憶部１８は、各種画像処理に必要な各種データ等も記憶する。

表示部１９は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｅｖｉｃｅ：液晶表示装置）やＬＣＤ駆動部からなるフラット・ディスプレイ・パネルとして構成されている。表示部１９は、記憶部１８等から供給される画像データにより表現される画像を表示する。

操作部２０は、シャッタスイッチ４１の他、図示はしないが、電源スイッチ、撮像モードスイッチ、再生スイッチ等の複数のスイッチを有している。操作部２０は、これらの複数のスイッチのうち所定のスイッチが押下操作されると、当該所定のスイッチに割り当てられている指令をＣＰＵ１１に供給する。

通信部２１は、インターネットを含むネットワークを介する、図示せぬ他の装置との間の通信を制御する。

センサ部２２は、撮像部１６の撮像素子の周囲温度を測定し、測定結果をＣＰＵ１１に供給する。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、リムーバブルメディア３１から読み出されたプログラムが、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像データ等の各種データも、記憶部１８と同様に記憶することができる。

図２は、図１のデジタルカメラ１が実行する処理のうち、被写体を撮像し、その結果得られる撮像画像の画像データをリムーバブルメディア３１に記録するまでの一連の処理（以下、「撮像処理」と呼ぶ）を実行するための機能的構成を示す機能ブロック図である。

図２に示すように、撮像処理が実行される場合には、ＣＰＵ１１においては、画像制御部５１が機能し、画像処理部１７においては、画像取得部５２と、位置特定部５３と、領域特定部５４と、補正部５５と、が機能する。なお、画像制御部５１の機能は、本実施形態のようにＣＰＵ１１に搭載されている必要は特になく、当該機能を、画像処理部１７に移譲させることも可能である。逆に、画像取得部５２乃至補正部５５の各機能は、本実施形態のように画像処理部１７に搭載されている必要は特になく、これらの機能のうち少なくとも一部を、ＣＰＵ１１に移譲させることも可能である。

画像制御部５１は、撮像処理の実行全体を制御する。

ここで、撮像部１６の撮像素子は、例えば製造時の段階で損傷等により欠陥画素が発生する場合がある。そして、欠陥画素に対応する位置では、必要以上に電荷を蓄積してしまうため、画像データにおいて欠陥画素に対応する位置が白く表示されてしまう画像ノイズ（白キズ）を発生させる。更に、ＣＭＯＳ型の光電変換素子から構成される撮像素子は、温度・湿度等の環境変化や経年変化により、欠陥画素に隣接する画素に対して画像ノイズが拡大するブルーミング（図６参照）が発生する可能性がある。
そのため、本実施形態に係るデジタルカメラ１では、画像取得部５２乃至補正部５５は、画像制御部５１の制御の下、次のような処理を実行する。

図３は、画像データにおいて欠陥画素により画像ノイズが発生する領域の補正を説明する図である。なお、図３は、複数の画素がマス目状に配置されているものとする。以下、図３を用いながら画像取得部５２乃至補正部５５の処理について説明する。

画像取得部５２は、画像制御部５１から発行される取得指令を受けて、撮像部１６において生成され、出力される画像データを取得し、取得した画像データをＶＲＡＭに記憶させる。

位置特定部５３は、撮像部１６により生成され、ＶＲＡＭに記憶された画像データにおいて、撮像素子に含まれている１以上の欠陥画素の位置を特定する。欠陥画素の位置は、欠陥画素位置リストとして、記憶部１８にリスト形式で記憶されている。すなわち、記憶部１８には、画像データにおける欠陥画素の位置情報が予め記憶されている。例えば、図３では、位置特定部５３により、欠陥画素の位置が位置Ｅに特定されるものとする。

領域特定部５４は、位置特定部５３により特定された位置に基づいて、画像データにおいて欠陥画素により画像ノイズが発生する領域を特定する。具体的には、領域特定部５４は、画像制御部５１を介して、センサ部２２において測定された撮像部１６の撮像素子の周囲温度と、撮像部１６において撮像された場合の露光時間を取得する。そして、領域特定部５４は、取得した撮像素子の周囲温度と露光時間とを撮像部１６による画像データ生成時の状態とする。そして、領域特定部５４は、位置特定部５３により特定された位置と、撮像部１６による画像データの生成時の状態とに基づいて、画像ノイズが発生する領域の大きさを特定する。例えば、図３では、領域特定部５４により、欠陥画素の位置Ｅを中心として位置Ａ〜位置Ｉが、画像ノイズが発生する領域に特定される。

なお、撮像素子の周囲温度と、露光時間とに対応する領域の大きさを対応表として予め記憶部１８に記憶させておき、領域特定部５４は、当該対応表に基づいて、撮像素子の周囲温度と露光時間との組合せに対応する領域の大きさを特定するようにしてもよい。また、領域特定部５４は、画像ノイズが発生する領域の大きさを予め一定の大きさとして固定しておいてもよい。
なお、以下、領域特定部５４により特定された領域を補正対象領域という。

補正部５５は、補正対象領域に含まれる複数の画素の画素値を、補正対象領域の周囲に位置する複数の画素の画素値に基づいて補正する。
具体的には、補正部５５は、位置特定部５３により特定された位置から所定範囲に位置する画素を選択することにより、補正対象領域の周囲に位置する複数の画素を特定する。
続いて、補正部５５は、補正対象領域に含まれる複数の画素それぞれについて、画素値の補正に用いる画素を、補正対象領域の周囲に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択する。

ここで、補正部５５は、画素値の補正に用いる画素を、補正対象領域の周囲に位置する複数の画素から均等に選択することが好ましい。また、補正部５５は、領域の周囲に位置する複数の画素から、補正対象の画素と同系色の画素を選択することが好ましい。例えば、図３において、位置Ａ、位置Ａ１〜位置Ａ８に対応する画素が赤系の色である場合、位置Ａの画素の補正に用いられる画素として、位置Ａ１〜位置Ａ８に対応する画素が選択される。

続いて、補正部５５は、補正対象領域に含まれる複数の画素それぞれを、処理の対象として注目すべき画素（以下、「注目画素」と呼ぶ）に順次設定し、注目画素の画素値について、補正対象領域の周囲に位置する複数の画素から選択された画素の画素値の加重平均に基づいて補正を行う。ここで、補正部５５は、補正対象領域に含まれる複数の画素それぞれの位置に応じて、補正に用いられる複数の画素の画素値それぞれの加重平均における重みを変化させることが好ましい。

例えば、図３において、位置Ａの画素が注目画素に設定された場合の補正に用いられる画素として、位置Ａ１〜位置Ａ８の画素が選択されているとき、補正部５５は、位置Ａに対する距離が近いほど重み値を高くして、加重平均を算出する。
具体的には例えば、補正部５５は、次の式（１）に従って、位置Ａの注目画素の画素値を補正する。
ＶＡ＝（ＶＡ１×６＋ＶＡ２×１２＋ＶＡ３×４＋ＶＡ５×６＋ＶＡ６×４＋ＶＡ７×６＋ＶＡ８×３）÷（６＋１２＋４＋１２＋６＋４＋６＋３） ・・・（１）
式（１）において、ＶＡは、位置Ａの注目画素の補正後の画素値を示しており、ＶＡ１〜ＶＡ８の各々は、位置Ａ１〜位置Ａ８の各々の画素値を示している。また、画素値ＶＡ１〜ＶＡ８の各々に対する重み付けは、注目画素の位置Ａからの水平方向の距離と垂直方向の距離の加算値の逆数に基づいて設定されている。

式（１）を一般化すると、次の式（２）のようになる。
ＶＰ０＝｛Ｖａｌ÷（Ｌｔ＋Ｌｌ）＋Ｖａ２÷Ｌｔ＋Ｖａ３÷（Ｌｔ＋Ｌｒ）＋ＶＡ４÷Ｌｌ＋ＶＡ５÷Ｌｒ＋Ｖａ６÷（Ｌｂ+Ｌｌ）＋ＶＡ７÷Ｌｂ＋ＶＡ８÷（Ｌｂ＋Ｌｒ）｝÷Ｌａｌｌ ・・・（２）
式（２）は、座標（ｘ，ｙ）に位置する画素Ｐを中心にして周囲Ｎ画素にブルーミングが発生した場合、即ち、補正対象領域が（２Ｎ＋１）×（２Ｎ＋１）の大きさの場合における、座標（ｘ＋ｉ，ｙ＋ｊ）に位置する注目画素Ｐ０の補正後の画素値ＶＰ０を求める式である。
式（２）において、Ｖｎ（ｎは、位置Ａ１〜Ａ８のうちの何れかを示している）は、位置ｎにおける画素値を示している。
ここで、位置Ａ１は、注目画素Ｐ０の位置から、垂直上方向に距離Ｌｔだけ離間して、水平左方向に距離Ｌｌだけ離間している。
位置Ａ２は、注目画素Ｐ０の位置から、垂直上方向に距離Ｌｔだけ離間している。
位置Ａ３は、注目画素Ｐ０の位置から、垂直上方向に距離Ｌｔだけ離間して、水平右方向に距離Ｌｒだけ離間している。
位置Ａ４は、注目画素Ｐ０の位置から、垂直上方向に距離Ｌｔだけ離間して、水平右方向に距離Ｌｒだけ離間している。
位置Ａ５は、注目画素Ｐ０の位置から、水平右方向に距離Ｌｒだけ離間している。
位置Ａ６は、注目画素Ｐ０の位置から、垂直下方向に距離Ｌｂだけ離間して、水平左方向に距離Ｌｌだけ離間している。
位置Ａ７は、注目画素Ｐ０の位置から、垂直下方向に距離Ｌｂだけ離間している。
位置Ａ８は、注目画素Ｐ０の位置から、垂直下方向に距離Ｌｂだけ離間して、水平右方向に距離Ｌｒだけ離間している。
ここで、撮像素子がベイヤ配列の場合にはａ＝２として、ベイヤ配列でない場合には例えばａ＝１とすると、距離Ｌｔ＝Ｎｔ＋ｊ＋ａであり、距離Ｌｂ＝Ｎ−ｊ＋ａであり、距離Ｌｌ＝Ｎ＋ｉ＋ａであり、距離Ｌｒ＝Ｎ−ｉ＋ａである。
また、式（２）におけるＬａｌｌは、次の式（３）のように示される。
Ｌａｌｌ＝｛１／（Ｌｔ＋Ｌｌ）＋１／Ｌｔ＋１／（Ｌｔ＋Ｌｒ）＋１／Ｌｌ＋１／（Ｌｂ＋Ｌｌ）＋１／Ｌｂ＋１／（Ｌｂ＋Ｌｒ）｝ ・・・（３）

なお、加重平均における重み付けは、上述した例に特に限定されず、注目画素からの距離に基づく重み付けであればよい。
例えば、図３の状態の場合には、１マスの辺の長さを１とすると、注目画素の位置Ａに対する距離は、位置Ａ２及び位置Ａ４が２、位置Ａ１が２．８、位置Ａ５及びＡ７が４、位置Ａ３及び位置Ａ６が４．５、位置Ａ８が５．７となる。そこで、補正部５５は、位置Ａに対する距離が最も近い位置Ａ２及び位置Ａ４に対して重み付けを大きくして、位置Ａに対して距離が最も遠い位置Ａ８に対して重み付けを小さくする。

また、上述の例では、補正対象領域の周囲の画素のうち、位置Ａ１〜位置Ａ８に存在する一部の画素のみが、補正に用いられる画素として採用された。しかしながら、これは例示であり、補正対象領域の周囲の画素のうち、任意の個数の任意の位置の画素を、補正に用いられる画素として採用することができる。当然ながら、補正対象領域の周囲の画素の全てを、補正に用いられる画素として採用することができる。

また、補正部５５は、複数の画素値の加重平均に基づいて補正対象領域の画素値の補正を行うこととしたが、これに限らず、補正に用いられる複数の画素の中間値となる画素値を、注目画素の画素値とする補正を行うようにしてもよい。この場合、補正部５５は、補正対象領域に含まれる複数の画素の画素値のフーリエ変換を行い、補正対象領域の空間周波数を算出する。そして、補正部５５は、算出された空間周波数が所定値より低い場合に、補正対象領域に含まれる複数の画素の画素値のそれぞれを順次注目画素に設定し、補正に用いられる複数の画素（図３の例では位置Ａ１〜Ａ８の各画素）の画素値のうち中間値を、注目画素の画素値となるように補正を行う。空間周波数が低い場合はメディアンフィルタによって補正を行うことで、より適切な補正を行うことができる。
つまり、一般的に、欠陥画素の周囲に、当該欠陥画素の正しい画素値に近い画素値を持つ画素が多く存在する場合には、メディアンフィルタにより中間値を採用することで、画像をぼかすことなく（画像のエッジを保った状態で）欠陥画素の画素値を正しい画素値に近い画素値に補正することが可能になる。
しかしながら、補正対象領域が広がると補正に用いる周囲画素の範囲も広がり、特に空間周波数が高い場合には、欠陥画素の正しい画素値に近い画素値を持つ画素が周囲に存在する確率が低くなり、メディアンフィルタが有効に働かなくなるので、空間周波数が低い場合に限ってメディアンフィルタを使用するのが効果的である。

また、補正部５５は、画像制御部５１を介して、センサ部２２において測定された撮像部１６の撮像素子の周囲温度と、撮像部１６において撮像された場合の露光時間を取得し、取得した撮像素子の周囲温度と、露光時間とに基づいて、補正を行うか否かを制御するようにしてもよい。

以上、図２及び図３を参照して、本発明が適用されるデジタルカメラ１の機能的構成について説明した。次に、図４及び図５を参照して、このような機能的構成を有するデジタルカメラ１が実行する撮像処理について説明する。

図４は、撮像処理の流れの一例を示すフローチャートである。本フローチャートでは、補正部５５によって、加重平均に基づく補正のみ行われる。また、本実施形態では、撮像処理は、デジタルカメラ１の図示せぬ電源がオン状態になって、所定の条件が満たされると開始する。

ステップＳ１において、図２の画像取得部５２は、画像データ取得処理を実行する。
すなわち、画像取得部５２は、画像制御部５１の制御の下、撮像部１６から出力された画像データを取得してＶＲＡＭに記憶させる。

ステップＳ２において、図２の位置特定部５３は、欠陥画素対応位置特定処理を実行する。
すなわち、位置特定部５３は、画像制御部５１の制御の下、ステップＳ１においてＶＲＡＭに記憶された画像データについて、記憶部１８に記憶されている欠陥画素位置リストに基づいて、欠陥画素の位置を特定する。ここでは、図２の位置特定部５３は、欠陥画素位置リストを上から順に１つずつ読み込み、新たに読み込まれた位置を欠陥画素の位置と特定する。

ステップＳ３において、図２の領域特定部５４は、補正対象領域特定処理を実行する。
すなわち、領域特定部５４は、ステップＳ２において特定された位置に基づいて、画像データにおいて欠陥画素により画像ノイズが発生する領域を特定する。

ステップＳ４において、図２の補正部５５は、補正対象領域において、後述の画素値取得処理によって取得されていない画素値があるか否かを判定する。補正部５５は、画素値取得処理によって取得されていない画素値がある場合、ステップＳ５に処理を移す。また、補正部５５は、画素値取得処理によって取得されていない画素値がない場合、すなわち、補正対象領域に含まれる全ての画素の画素値が取得された場合、ステップＳ７に処理を移す。

ステップＳ５において、補正部５５は、画素値取得処理を実行する。
すなわち、補正部５５は、ステップＳ３において特定された補正対象領域から、未だ取得されていない一の画素値を注目画素の画素値として取得する。

ステップＳ６において、補正部５５は、画素値補正処理を実行する。
すなわち、補正部５５は、ステップＳ２において特定された位置から所定範囲に位置する画素を選択することにより、ステップＳ３において特定された補正対象領域の周囲に位置する複数の画素を特定する。そして、補正部５５は、補正対象領域の周囲に位置する複数の画素から、ステップＳ５において取得された画素値の補正に用いる画素を選択する。そして、補正部５５は、ステップＳ５において取得された注目画素の画素値について、選択された画素の画素値の加重平均に基づいて補正を行う。この処理が終了すると、処理はステップＳ４に戻される。

ステップＳ７において、画像制御部５１は、各種画像処理を実行する。
すなわち、画像制御部５１は、画像処理部１７を制御して、全ての欠陥画素の位置に係る補正対象領域に含まれる画素値が補正された画像データについて、各種画像処理を実行する。
ステップＳ８において、画像制御部５１は、画像データ記憶処理を実行する。
すなわち、画像制御部５１は、ステップＳ７において、各種画像処理が実行された画像データをリムーバブルメディア３１に記憶させる。この処理が終了すると、撮像処理全体が終了する。

図５は、撮像処理の流れの別の例を示すフローチャートである。本フローチャートでは、補正部５５によって、加重平均及びメディアンフィルタに基づく補正のみ行われる。また、本実施形態では、撮像処理は、デジタルカメラ１の図示せぬ電源がオン状態になって、所定の条件が満たされると開始する。

ステップＳ１１乃至ステップＳ１５の処理は、図４に示すフローチャートのステップＳ１乃至ステップＳ５の処理と同一の処理であるので、説明を省略する。

ステップＳ１６において、補正部５５は、空間周波数算出処理を実行する。
すなわち、補正部５５は、補正対象領域に含まれる複数の画素の画素値のフーリエ変換を行い、補正対象領域の空間周波数を算出する。

ステップＳ１７において、補正部５５は、ステップＳ１６において算出された空間周波数が所定値より高いか否かを判定する。補正部５５は、この判定がＮＯである場合、ステップＳ１９に処理を移し、この判定がＹＥＳである場合、ステップＳ１８に処理を移す。

ステップＳ１８において、補正部５５は、加重平均画素値補正処理を実行する。この処理は、図４に示すフローチャートのステップＳ６の処理と同一の処理であるので、説明を省略する。この処理が終了すると、処理はステップＳ１４に戻される。

ステップＳ１９において、補正部５５は、メディアンフィルタ画素値補正処理を実行する。
すなわち、補正部５５は、ステップＳ１５において取得された注目画素の画素値について、補正に用いられる複数の画素の画素値のうち中間値を補正後の値とするように補正を行う。この処理が終了すると、処理はステップＳ１４に戻される。

ステップＳ２０及びステップＳ２１の処理は、図４に示すフローチャートのステップＳ７及びステップＳ８の処理と同一の処理であるので、説明を省略する。

以上のような本実施形態のデジタルカメラ１によれば、位置特定部５３により、撮像部１６により生成された画像データにおいて、複数の画素における欠陥画素の位置を特定し、領域特定部５４により、位置特定部５３により特定された位置に基づいて、画像データにおいて欠陥画素により画像ノイズが発生する領域を特定し、補正部５５により、領域特定部５４により特定された画像データの領域に含まれる複数の画素の画素値を、当該領域の周囲に位置する複数の画素の画素値に基づいて補正する。
これにより、欠陥画素の周囲の撮像素子に対してブルーミングが発生した場合であっても、これらブルーミングが発生した領域に係る画素値を補正することができる。よって、デジタルカメラ１は、精度よく、かつ、効率的に画像信号を補正することができる。

このとき、補正部５５は、補正対象領域に含まれる複数の画素それぞれの画素値について、補正対象領域の周囲に位置する複数の画素の画素値の加重平均に基づいて補正する。これにより、例えば、補正対象の画素に近い画素について、影響度を大きく設定するとともに、補正対象の画素から遠い画素について、影響度を小さく設定することができる。

このとき、補正部５５は、補正対象領域に含まれる複数の画素それぞれの位置に応じて、補正に用いられる複数の画素の画素値それぞれの加重平均における重みを変化させる。これにより、補正対象領域に含まれる複数の画素それぞれの位置に応じて、補正に用いられる画素値の重みを適宜変更させることができる。

このとき、補正部５５は、位置特定部５３により特定された位置から所定範囲に位置する画素を、補正対象領域の周囲に位置する複数の画素とする。これにより、位置特定部５３により特定された位置、すなわち、欠陥画素の位置を中心として、補正対象領域の周囲の領域を設定することができる。

このとき、補正部５５は、補正対象領域に含まれる複数の画素それぞれについて、画素値の補正に用いる画素を、当該補正対象領域の周囲の複数の画素から、補正対象となる画素それぞれの位置に応じて選択する。これにより、同系色の画素を補正に用いる画素として選択することができる。

このとき、領域特定部５４は、位置特定部５３により特定された位置と、撮像部１６による画像データの生成時の状態とに基づいて、補正対象領域の大きさを特定する。具体的には、領域特定部５４は、撮像素子の周囲温度と露光時間とを画像データの生成時の状態とし、位置特定部５３により特定された位置と、当該画像データの生成時の状態に基づいて、補正対象領域の大きさを特定する。これにより、撮像素子の周囲の温度や、露光時間といった画像データの生成時の状態に基づいて、ブルーミングが起こっている領域と推測して、補正対象領域の大きさを特定することができる。

このとき、撮像素子は、当該撮像素子の周囲温度と露光時間とに応じて、補正対象領域が変化するＣＭＯＳセンサであることとする。これにより、ブルーミングが起こるＣＭＯＳセンサを撮像素子として用いた場合に適正な補正を行うことができる。

このとき、補正部５５は、撮像素子の周囲温度と露光時間とに応じて、補正を行うか否かを制御する。これにより、撮像素子の周囲温度と露光時間とに基づいて、ブルーミングが起こっているか否かを判定し、補正を行うことができる。

このとき、領域特定部５４は、撮像素子の周囲温度と露光時間とを画像データの生成時の状態とし、位置特定部５３により特定された位置と、当該画像データの生成時の状態に基づいて、補正対象領域を特定する。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ１を例として説明したが、特にこれに限定されない。本発明は、ＣＭＯＳ型の撮像素子を有する電子機器一般に適用することができ、例えば、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、画像処理装置又は当該画像処理装置を制御するコンピュータ等にネットワークや記録媒体からインストールされる。ここで、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。或いはまた、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、光磁気ディスク等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭ１２や記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。この実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段と、
前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段と、
前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域を特定する領域特定手段と、
前記領域特定手段により特定された前記画像データの領域に含まれる複数の画素の画素値を、当該領域の周囲に位置する複数の画素の画素値に基づいて補正する補正手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記補正手段は、前記領域特定手段により特定された前記領域に含まれる複数の画素それぞれの画素値について、前記周囲に位置する複数の画素の画素値の加重平均に基づいて補正することを特徴とする付記１記載の画像処理装置。
［付記３］
前記補正手段は、前記領域特定手段により特定された前記領域に含まれる複数の画素それぞれの位置に応じて、補正に用いられる複数の画素の画素値それぞれの加重平均における重みを変化させることを特徴とする付記２記載の画像処理装置。
［付記４］
前記補正手段は、前記位置特定手段により特定された位置から所定範囲に位置する画素を、前記周囲に位置する複数の画素とすることを特徴とする付記１乃至３のうち何れか１つに記載の画像処理装置。
［付記５］
前記補正手段は、前記領域特定手段により特定された前記領域に含まれる複数の画素それぞれについて、画素値の補正に用いる画素を、当該領域の周囲の複数の画素から、補正の対象となる画素それぞれの位置に応じて選択することを特徴とする付記１乃至４のうち何れか１つに記載の画像処理装置。
［付記６］
前記領域特定手段は、前記位置特定手段により特定された位置と、前記撮像手段による画像データの生成時の状態とに基づいて、前記領域の大きさを特定することを特徴とする付記１乃至５のうち何れか１つに記載の画像処理装置。
［付記７］
前記撮像素子は、当該撮像素子の周囲温度と露光時間とに応じて、前記領域が変化するＣＭＯＳセンサであることを特徴とする付記１乃至６のうち何れか１つに記載の画像処理装置。
［付記８］
前記補正手段は、前記撮像素子の周囲温度と露光時間とに応じて、補正を行うか否かを制御する付記７記載の画像処理装置。
［付記９］
前記領域特定手段は、前記撮像素子の周囲温度と露光時間とを前記画像データの生成時の状態とし、前記位置特定手段により特定された位置と、当該画像データの生成時の状態に基づいて、前記領域を特定することを特徴とする付記７又は８記載の画像処理装置。
［付記１０］
画像処理装置が実行する画像処理方法であって、
複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像ステップと、
前記撮像ステップにおいて生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定ステップと、
前記位置特定ステップにおいて特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域を特定する領域特定ステップと、
前記領域特定ステップにより特定された前記画像データの領域に含まれる複数の画素の画素値を、当該領域の周囲に位置する複数の画素の画素値に基づいて補正する補正ステップと、
を含むことを特徴とする画像処理方法。
［付記１１］
複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段を備える装置を制御するコンピュータを、
前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段、
前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域を特定する領域特定手段、
前記領域特定手段により特定された前記画像データの領域に含まれる複数の画素の画素値を、当該領域の周囲に位置する複数の画素の画素値に基づいて補正する補正手段、
として機能させることを特徴とするプログラム。

１・・・デジタルカメラ、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１５・・・光学系、１６・・・撮像部、１７・・・画像処理部、１８・・・記憶部、１９・・・表示部、２０・・・操作部、２１・・通信部、２２・・・センサ部、２３・・・ドライブ、３１・・・リムーバブルメディア、５１・・・撮像制御部、５２・・・画像取得部、５３・・・位置特定部、５４・・・領域特定部、５５・・・補正部

Claims (8)

1. 複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段と、
   前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段と、
   前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域であって、補正対象となる複数の画素を含む１つの補正対象領域を特定する第１の領域特定手段と、
   前記位置特定手段により特定された位置から所定範囲内で、かつ、前記１つの補正対象領域の外周に対して所定数の画素を隔てて外側に隣接する領域であって、補正に用いる複数の画素を含む１つの周囲領域を特定する第２の領域特定手段と、
   前記第１の領域特定手段により特定された前記１つの補正対象領域に含まれる複数の画素のそれぞれについて、画素値の補正に用いる画素を、当該補正対象領域に対応して特定された前記１つの周囲領域に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択し、この選択した画素の画素値に基づいて補正対象となる画素の画素値を補正する補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記補正手段は、前記第１の領域特定手段により特定された前記補正対象領域に含まれる複数の画素それぞれの位置に応じて、前記周囲領域に位置する複数の画素の画素値の加重平均における重みの組み合わせを変化させることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の領域特定手段は、前記位置特定手段により特定された位置と、前記撮像手段による画像データの生成時の状態とに基づいて、前記補正対象領域の大きさを特定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記撮像素子の周囲温度と露光時間とに応じて、補正を行うか否かを制御する請求項１乃至３のうち何れか１項に記載の画像処理装置。
5. 前記撮像素子は、当該撮像素子の周囲温度と露光時間とに応じて、前記領域が変化するＣＭＯＳセンサであることを特徴とする請求項１乃至４のうち何れか１項に記載の画像処理装置。
6. 前記第１の領域特定手段は、前記撮像素子の周囲温度と露光時間とを前記画像データの生成時の状態とし、前記位置特定手段により特定された位置と、当該画像データの生成時の状態に基づいて、前記補正対象領域を特定することを特徴とする請求項３に記載の画像処理装置。
7. 画像処理装置が実行する画像処理方法であって、
   複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像ステップと、
   前記撮像ステップにおいて生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定ステップと、
   前記位置特定ステップにおいて特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域であって、補正対象となる複数の画素を含む１つの補正対象領域を特定する第１の領域特定ステップと、
   前記位置特定ステップにより特定された位置から所定範囲内で、かつ、前記１つの補正対象領域の外周に対して所定数の画素を隔てて外側に隣接する領域であって、補正に用いる複数の画素を含む１つの周囲領域を特定する第２の領域特定ステップと、
   前記第１の領域特定ステップにより特定された前記１つの補正対象領域に含まれる複数の画素のそれぞれについて、画素値の補正に用いる画素を、当該補正対象領域に対応して特定された前記１つの周囲領域に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択し、この選択した画素の画素値に基づいて補正対象となる画素の画素値を補正する補正ステップと、
   を含むことを特徴とする画像処理方法。
8. 複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段を備える画像処理装置のコンピュータを、
   前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段、
   前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域であって、補正対象となる複数の画素を含む１つの補正対象領域を特定する第１の領域特定手段、
   前記位置特定手段により特定された位置から所定範囲内で、かつ、前記１つの補正対象領域の外周に対して所定数の画素を隔てて外側に隣接する領域であって、補正に用いる複数の画素を含む１つの周囲領域を特定する第２の領域特定手段、
   前記第１の領域特定手段により特定された前記１つの補正対象領域に含まれる複数の画素のそれぞれについて、画素値の補正に用いる画素を、当該補正対象領域に対応して特定された前記１つの周囲領域に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択し、この選択した画素の画素値に基づいて補正対象となる画素の画素値を補正する補正手段、
   として機能させることを特徴とするプログラム。

Images