JP3985679B2 - 画像処理方法、画像処理プログラム、画像処理装置 - Google Patents

画像処理方法、画像処理プログラム、画像処理装置 Download PDF

Info

Publication number
JP3985679B2
JP3985679B2 JP2002560393A JP2002560393A JP3985679B2 JP 3985679 B2 JP3985679 B2 JP 3985679B2 JP 2002560393 A JP2002560393 A JP 2002560393A JP 2002560393 A JP2002560393 A JP 2002560393A JP 3985679 B2 JP3985679 B2 JP 3985679B2
Authority
JP
Japan
Prior art keywords
color
image
similarity
procedure
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002560393A
Other languages
English (en)
Other versions
JPWO2002060186A1 (ja
Inventor
健一 石賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2002060186A1 publication Critical patent/JPWO2002060186A1/ja
Application granted granted Critical
Publication of JP3985679B2 publication Critical patent/JP3985679B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【０００１】
技術分野
本発明は、複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる画像を、複数の画素からなり各々の画素に少なくとも1つの共通する色情報を有する画像に変換する画像処理方法などに関する。
【０００２】
背景技術
電子カメラなどは、ＣＣＤなどの撮像素子により被写体を撮像する。この撮像素子は、例えば、ＲＧＢ（赤緑青）の３色のカラーフィルタがベイア配列されており、画素ごとにＲＧＢのいずれかの色成分の色情報を有する画像データを出力する。この画像データでは、１つの画素は１つの色成分の色情報しか有さない。従って、各画素において、欠落する色成分の色情報を補間処理などで計算して求める各種の方法が提案されている。
特許第２９３１５２０号は、画素の色レベルを検出し、色レベルに応じて相関値を調整し、調整した相関値に基づいて補間処理を行う技術を開示する。
しかし、特許第２９３１５２０号の色レベル検出方法では、画像が構造を有するような箇所では、構造的要因に伴う色差信号の値と実際に持っている色から生じている色差信号の値を区別できず、相関値を誤って不適切に用いる可能性が高い。
【０００３】
発明の開示
本発明は、これらの問題を適切に対処して高画質なカラー画像を提供する画像処理方法などを提供する。
【０００４】
本発明の第１の画像処理方法は、複数の色成分からなる表色系で表され、1つの画素に1つの色成分の色情報を有する複数の画素からなる第1の画像を、複数の画素からなり各々の画素に少なくとも1つの共通する色情報を有する第2の画像に変換し、第2の画像の処理対象画素に対し、少なくとも3通りの何れかの方法を用いて、第1の画像の色情報から色差情報を生成する色差情報生成手順と、第2の画像の処理対象画素に対し、色差情報を用いて画素単位での色評価を行う色評価手順とからなる色判定手順と、色判定手順の色評価結果に基づいて、第1の画像を第2の画像に変換する画像変換手順とを有する。
第１の画像処理方法において、色判定手順は、さらに、第2の画像の処理対象画素に対し、第1の画像の色情報を用いて、少なくとも2方向に関する類似度を算出する類似度算出手順と、類似度に基づき、各方向に対する類似性の強弱を少なくとも3段階で判定する類似性判定手順とを有し、色差情報生成手順は、類似性判定手順の判定結果に応じて用意された少なくとも3通りの何れかの方法を用いて、第1の画像の色情報から色差情報を生成するのが好ましい。この場合、色判定手順の類似度算出手順は、異なる色成分の色情報からなる異色間類似度を類似度として算出するのが好ましい。
第１の画像処理方法において、画像変換手順は、１）第1の画像の色情報を用いて処理対象画素の少なくとも2方向に関して、異なる色成分の色情報からなる異色間類似度と、同じ色成分の色情報からなる同色間類似度を算出し、色評価結果に基づいて、異色間類似度と同色間類似度を使い分けて類似度を算出する類似度算出手順と、２）類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、３）類似性判定手順の判定結果に基づき、第1の画像の色情報を用いて第2の画像の色情報を生成する第2画像生成手順とを有するのが好ましい。この場合、画像変手順の類似度算出手順は、色評価で彩度が低いと判断された場合には、類似度として異色間類似度を主に利用し、彩度が高いと判断された場合には、同色間類似度を主に利用するのが好ましい。
第１の画像処理方法において、画像変換手順は、１）第1の画像の色情報を用いて処理対象画素の少なくとも2方向に関して、異なる色成分の色情報からなる異色間類似度と、同じ色成分の色情報からなる同色間類似度を算出し、色評価結果に基づいて、異色間類似度と同色間類似度とを加重加算してその加重比率を変えることにより類似度を算出する類似度算出手順と、２）類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、３）類似性判定手順の判定結果に基づき、第1の画像の色情報を用いて第2の画像の色情報を生成する第2画像生成手順とを有するのが好ましい。この場合、画像変手順の類似度算出手順は、色評価で彩度が低いと判断された場合には、類似度として異色間類似度を主に利用し、彩度が高いと判断された場合には、同色間類似度を主に利用するのが好ましい。
第１の画像処理方法において、画像変換手順は、処理対象画素位置に対応する第1の画像の画素の色情報とその周辺画素の色情報を用いて第2の画像の色情報を生成し、色評価結果に応じてその構成比率を変更する第2画像生成手順を有するのが好ましい。この場合、画像変換手順の第2画像生成手順は、色評価で彩度が低いと判断された場合、処理対象画素に位置する第1の画像の画素の色情報の構成比率を上げるのが好ましい。あるいは、画像変換手順は、第2画像生成手順の前に、処理対象画素に対し、１）第1の画像の色情報を用いて、少なくとも2方向に関する類似度を算出する類似度算出手順と、２）類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順とを有し、類似性判定手順の判定結果が、各方向に対して同程度であると判定された場合にのみ色評価結果に応じて構成比率を変更するのが好ましい。
第１の画像処理方法において、画像変換手順は、１）第1の画像の色情報を用いて、第2の画像の色差情報を生成する第2画像生成手順と２）色評価結果に基づいて、第2の画像の色差情報を補正する色差情報補正手順と
を有するのが好ましい。この場合、画像変換手順の色差情報補正手順は、色評価で彩度が低いと判断された場合には、第2の画像の色差情報に広域型のフィルタ処理を行い、彩度が高いと判断された場合には、第2の画像の色差情報に狭域型のフィルタ処理を行うのが好ましい。
第１の画像処理方法において、１）色判定手順の色差情報生成手順は、1つの処理対象画素に対し複数種類の色差情報を生成し、２）色判定手順の色評価手順は、複数種類の色差情報の組合せでできる新たな色差情報も考慮して色評価を行うのが好ましい。
第１の画像処理方法において、色判定手順の色評価手順は、色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行うのが好ましい。
第１の像処理方法において、色判定手順の色評価手順は、色差情報を補正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合、色判定手順の色評価手順は、色差情報に対する補正処理として、ローパスフィルタ処理を行うのが好ましい。
第１の画像処理方法において、色判定手順は、色評価手順の後に、１）色評価結果に基づいて、色差情報を補正する色差情報補正手順と、２）色差情報補正手順によって補正された色差情報を用いて、再度画素単位の色評価を行う再色評価手順とを有し、再色評価手順の色評価結果に基づいて、第1の画像を第2の画像に変換するのが好ましい。この場合、色判定手順は、色差情報補正手順の前に、１）第1の画像の色情報を用いて、輝度情報を算出する輝度情報算出手順と、２）輝度情報を用いて、画素単位での輝度評価を行う輝度評価手順とを有し、色差情報補正手順は、再色評価手順の色評価結果と輝度評価手順の輝度評価結果とに基づいて、色差情報を補正するのが好ましい。また、色判定手順の色差情報補正手順は、色差情報にメディアンフィルタ処理を行うのが好ましい。
本発明の第２の画像処理方法は、複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、１つの画素に複数種類の色情報を有する複数の画素からなる第２の画像に変換し、第１の画像を取得する画像取得手順と、取得した第１の画像の色成分の色情報に基づき、第２の画像の画素位置に色差情報を生成する色差情報生成手順と、生成した第２の画像の色差情報を用いて画素単位で色評価を行う色評価手順と、第２の画像の画素単位の色評価結果に基づいて、第２の画像の画素位置に輝度情報を生成する輝度情報生成手順と、色差情報生成手順で生成した色差情報と輝度情報生成手順で生成した輝度情報を使用して、第２の画像を出力する出力手順とからなる。
第２の画像処理方法において、第２の画像の１つの画素位置における色差情報は複数種類の色差情報からなり、色評価手順は、複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行うのが好ましい。この場合、第１の画像は、第１の色成分、第２の色成分、および第３の色成分からなる表色系で表され、第１の色成分の画素密度は他の第２の色成分あるいは第３の色成分の画素密度より高い画素密度で配置され、複数種類の色差情報は、第１の色成分の色情報と第２の色成分の色情報の差分からなる第１の色差情報と、第１の色成分の色情報と第３の色成分の色情報の差分からなる第２の色差情報とからなり、新たな色差情報は、第１の色差情報と第２の色差情報の差分からなるのが好ましい。
第２の画像処理方法において、色評価手順は、生成した第２の画像の色差情報を補正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合。色評価手順は、生成した第２の画像の色差情報をローパスフィルタ処理を行うことにより補正するのが好ましい。
第２の画像処理方法において、輝度情報生成手順の前に、第２の画像の画素に対応する第１の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する異色間類似度を算出し、該画素を含む局所領域の同一の色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する同色間類似度を算出する類似度算出手順と、輝度情報生成手順の前かつ色評価手順の後に、第２の画像の画素に対応する第１の画像の画素において、類似度算出手順により算出された異色間類似度と同色間類似度とを色評価結果に基づいて使い分けて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順とを有し、輝度情報生成手順は、類似性判定手順の判定結果に基づいて、第２の画像の画素位置に輝度情報を生成するのが好ましい。
第２の画像処理方法において、第１の画像の複数の画素と第２の画像の複数の画素とは、同じ位置関係で対応するのが好ましい。
第２の画像処理方法において、輝度情報生成手順は、第２の画像の画素に対応する第１の画像の画素の色情報と周辺画素の色情報とを使用して第２の画像の画素位置に輝度情報を生成し、第２の画像の画素単位の色評価結果に基づいて、第２の画像の画素に対応する第１の画像の画素の色情報と周辺画素の色情報との構成比率を変更するのが好ましい。
第２の画像処理方法において、色差生成手順の前に、第２の画像の画素に対応する第１の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順を有し、色差情報生成手順は、類似性判定手順の判定結果に基づいて、第２の画像の画素位置に色差情報を生成するのが好ましい。この場合、類似性判定手順は、第２の画像の画素に対応する第１の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定するのが好ましい。
本発明の第３の画像処理方法は、複数の色成分からなる表色系で表され、1つの画素に少なくとも1つの色成分の色情報を有する複数の画素からなる第1の画像を、複数の画素からなり各々の画素に少なくとも1つの共通する第1の画像が有しない色情報を有する第2の画像に変換し、第2の画像の処理対象画素に対し、１）第1の画像の色情報を用いて、色差情報を生成する色差情報生成手順と、２）色差情報を用いて画素単位で色評価を行う色評価手順と、３）色評価手順の色評価結果に基づいて複数種類の補正から1つの補正を選択して、色差情報を補正する色差情報補正手順と４）補正された色差情報を使用して、第2の画像を出力する出力手順とからなる。
第３の画像処理方法において、複数の補正は、生成した色差情報を広域型ローパスフィルタ処理を行うことにより補正する第１の補正と、生成した色差情報を狭域型ローパスフィルタ処理を行うことにより補正する第２の補正からなり、色差情報補正手順は、色評価で彩度が低いと判定された場合には第１の補正を選択し、彩度が高いと判定された場合には第２の補正を選択するのが好ましい。
第３の画像処理方法において、複数の補正は、生成した色差情報を広域型メディアンフィルタ処理を行うことにより補正する第1の補正と、生成した色差情報を狭域型メディアンフィルタ処理を行うことにより補正する第2の補正からなり、色差情報補正手順は、色評価で彩度が低いと判定された場合には第1の補正を選択し、彩度が高いと判定された場合には第2の補正を選択するのが好ましい。
第３の画像処理方法において、第２の画像の１つの画素位置における色差情報は複数種類の色差情報からなり、色評価手順は、複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行うのが好ましい。この場合、第１の画像は、第１の色成分、第２の色成分、および第３の色成分からなる表色系で表され、第１の色成分の画素密度は他の第２の色成分あるいは第３の色成分の画素密度より高い画素密度で配置され、複数種類の色差情報は、第１の色成分の色情報と第２の色成分の色情報の差分からなる第１の色差情報と、第１の色成分の色情報と第３の色成分の色情報の差分からなる第２の色差情報とからなり、新たな色差情報は、第１の色差情報と第２の色差情報の差分からなるのが好ましい。
第３の画像処理方法において、色評価手順は、色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行うのが好ましい。
第３の画像処理方法において、色判定手順の色評価手順は、色差情報を補正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合、色判定手順の色評価手順は、色差情報に対する補正処理として、ローパスフィルタ処理を行うのが好ましい。さらに、ローパスフィルタは、広域型ローパスフィルタであるのが好ましい。
第３の画像処理方法において、色差生成手順の前に、第２の画像の画素に対応する第１の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順を有し、色差情報生成手順は、類似性判定手順の判定結果に基づいて、第２の画像の画素位置に色差情報を生成するのが好ましい。この場合、１）類似性判定手順は、各方向に対する類似性の強弱を少なくとも3段階で判定し、２）色差情報生成手順は、類似性判定手順の判定結果に応じて用意された少なくとも3通りの何れかの方法を用いて、第1の画像の色情報から色差情報を生成するのが好ましい。
本発明の画像処理プログラムは、上記記載の画像処理方法の手順をコンピュータに実行させる。
本発明のコンピュータ読みとり可能な記録媒体は、上記画像処理プログラムを記録する。
本発明の画像処理装置は、上記画像処理プログラムを搭載する。
【０００５】
発明を実施するための最良の形態
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
第１の実施形態〜第４の実施形態では、本発明の画像処理装置が行う画像復元処理のうち、特に、補間処理の機能を備えた電子カメラを用いて説明を行う。
【０００６】
図１は、第１の実施形態ないし第４の実施形態に対応する電子カメラの機能ブロック図である。
【０００７】
電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備える。また、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースをとるメモリカード用インタフェース部１７および所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースをとる外部インタフェース部１９を備える。これらの各ブロックはバス２９を介して相互に接続される。画像処理部１１は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
【０００８】
電子カメラ１は、さらに、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備える。撮像素子２１には撮影光学系２０で取得された被写体の光学像が結像し、撮像素子２１の出力はアナログ信号処理部２２に接続される。アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続される。タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。撮像素子２１は例えばＣＣＤなどで構成される。
【０００９】
電子カメラ１は、さらに、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備える。操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
【００１０】
なお、ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。
【００１１】
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
【００１２】
電子カメラ１では、撮像素子２１において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されているので、画像処理部１１に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在することになる。
【００１３】
画像処理部１１は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【００１４】
なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１２で伸長処理が施され、表示画像作成部１５を介してモニタ２５に表示される。
【００１５】
なお、伸長処理が施された画像データは、モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、後述する変換処理が行われた画像データを、モニタ２５、２６やプリンタ２７で採用されている表色系に変換する処理については、公知の技術によって実現できる。
【００１６】
図２は、補間処理の対象となる画像データの色成分の配列を示す図である。
ただし、図２では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、座標[X,Y]の値を用いて各々の色成分に対応する画素の位置を示している。
【００１７】
なお、後述する演算式では、図２のＲ、ＢをＺに置き換えて、各々の画素の色成分の色情報をZ[i,j]のように表現する。
【００１８】
−第１の実施形態−
図３〜図７は、第１の実施形態における画像処理部１１の動作フローチャートである。
【００１９】
ただし、図３〜図７は、画像処理部１１が行う画像処理のうち、補間処理の動作を示している。図３は、補間処理のおおまかな動作を示し、図４〜図７は、補間処理に含まれる「色判定用画像生成処理」、「色判定処理」、「類似性判定処理」、「補間値算出処理」の動作を各々示している。
【００２０】
以下、第１の実施形態を説明するが、以下では、画像処理部１１が行う画像処理のうち、補間処理の動作を説明し、他の動作の説明は省略する。
【００２１】
まず、画像処理部１１は、図４に示す「色判定用画像生成処理」を行って（図３Ｓ１）、「色判定用画像」を生成する。
【００２２】
なお、「色判定用画像」は、「色指標」を算出するために用いられる画像であり、同一の画素における色相で構成される。ここで、同一の画素における色相とは、各々の画素毎に独立して算出される色相である。また、「色指標」は、各々の画素の色の特徴を示し、補間処理の対象となる画素が彩色部であるか無彩色部であるかの判定（以下、「色判定」と称する）を行うために参照される指標である。すなわち、色判定用画像を生成する狙いは、補間処理の対象となる画像を色に関して画素単位で大局的に領域分類することにある。
【００２３】
第１の実施形態では、色判定用画像として、全ての画素に色差Cr,Cb（ＹＣｂＣｒ表色系のＣｒ成分、Ｃｂ成分に相当する；ただし、ここでは、Cr=R-G,Cb=B-Gと定義する）が対応付けられた画像を生成するが、色判定の目的に沿う色判定用画像としては、数画素程度の局所的な偽色の発生は許容されるが、周期的な微細構造などによって集団的に発生する偽色が排除されることが望ましい。
【００２４】
そこで、第１の実施形態では、集団的に偽色が発生し易い画像の微細構造部分を優先的に解像し、かつ、画像が本来持っている色の特徴（彩度の高低など）を反映させるため、色差Cr,Cbの生成や補間の過程で、「異色間類似度」を用いて類似性の判定を行う例を示す。なお、「異色間類似度」とは、異なる色成分を示す色情報から成る類似度成分を１つ以上用いて構成される類似度であり、「一画素ピッチで類似性を判定する機能」を有する。
【００２５】
《色判定画像生成処理》
ここで、図４を参照して、「色判定画像生成処理」の説明を行う。
まず、画像処理部１１は、緑色成分が欠落する画素における縦方向および横方向に対する異色間類似度を算出する（図４Ｓ１）。
【００２６】
例えば、画像処理部１１は、これらの類似度を算出する過程で、以下に示す式１および式２によって定義される値を算出する。
GR(GB)間類似度成分
Cv0[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式１
Ch0[i,j]=(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2 ・・・式２
なお、図２（ａ）のように座標[i,j]に赤色成分の色情報が存在する場合、式１および式２は、図８（ａ）に示す色成分の色情報を用いて算出されることになる。
【００２７】
また、式１および式２において、絶対値でくくられる項（「以下、「類似度の要素」と称する）は、隣接する２つの画素の色情報で構成される。そのため、異色間類似度には、特許第２９３１５２０号公報に開示されているSv2,Sh2のように、広い範囲の色情報でローパスフィルタを掛けて構成される値に比べ、局所的な類似性に関する情報が多く含まれ、一画素ピッチで変化するナイキスト周波数レベルの微細構造におけるより正確な類似性判定を可能にする機能が備わっている。
【００２８】
なお、類似度の要素は、差分の絶対値に限らず、絶対値の２乗やべき乗等によって算出しても良い。
【００２９】
また、類似度の要素は、以下のような構成にしても良い。
Cv0[i,j]=|-G[i,j-1]+2・Z[i,j]-G[i,j+1]|/2 ・・・式１'
Ch0[i,j]=|-G[i-1,j]+2・Z[i,j]-G[i+1,j]|/2 ・・・式２'
式１および式２（または、式１'および式２'）によって算出される値は、そのまま、緑色成分が欠落する画素の縦方向に対する異色間類似度,横方向に対する異色間類似度とすることができるが、ここでは、その画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に加重加算（以下、「周辺加算」と称する）して、緑色成分が欠落する画素の縦方向および横方向に対する最終的な異色間類似度を算出する例を示す。
【００３０】
すなわち、画像処理部１１は、式１および式２（または、式１'および式２'）に基づき、座標[i,j],[i-1,j-1],[i+1,j-1],[i-1,j+1],[i+1,j+1],[i,j-2],[i,j+2],[i-2,j],[i+2,j]に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式３および式４に相当する周辺加算を行って、縦方向に対する異色間類似度Cv[i,j]、横方向に対する異色間類似度Ch[i,j]を算出する。式３および式４は、図８（ｂ）に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限定されるものではない。
Cv[i,j]=(4・Cv0[i,j]
+2・(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16 ・・・式３
Ch[i,j]=(4・Ch0[i,j]
+2・(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16 ・・・式４
ただし、式３および式４によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
【００３１】
なお、図２（ａ）のように座標[i,j]に赤色成分の色情報が存在する場合、式１ないし式４は、図８（ｃ）に示す色成分の色情報を用いて算出されることになる。
【００３２】
したがって、周辺加算後に得られる類似度には、緑色成分の色情報と赤色成分の色情報とから成る類似度成分と、緑色成分の色情報と青色成分の色情報とから成る類似度成分とが含まれる。すなわち、周辺加算によって、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。
【００３３】
次に、画像処理部１１は、縦方向に対する異色間類似度Cv[i,j]、横方向に対する異色間類似度Ch[i,j]に基づき、緑色成分が欠落する画素における縦方向および横方向に対する類似性（以下、「縦横類似性」と称する。）を判定する（図４Ｓ２）。そして、画像処理部１１は、このような判定結果として、縦横類似性を示す指標HV[i,j]に以下のような値を設定する。
【００３４】
例えば、画像処理部１１は、任意の閾値Th0について、
|Cv[i,j]-Ch[i,j]|≦Th0 ・・・条件１
が成り立つ場合、「縦方向および横方向に類似性が強い、または弱い」と判定して指標HV[i,j]に「０」を設定する。また、画像処理部１１は、条件１が成り立たず、かつ、
Cv[i,j]＜Ch[i,j] ・・・条件２
が成り立つ場合、「縦方向に類似性が強い」と判定して指標HV[i,j]に「１」を設定する。さらに、画像処理部１１は、条件１および条件２が成り立たない場合、「横方向に類似性が強い」と判定して指標HV[i,j]に「−１」を設定する。
【００３５】
次に、画像処理部１１は、赤色成分の色情報または青色成分の色情報が存在する画素に対して、各々の色成分に対応する色差を縦横類似性の判定結果に応じて生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間することによって、色判定用画像を生成する（図４Ｓ３）。
【００３６】
例えば、画像処理部１１は、赤色成分の色情報が存在する画素の指標HV[i,j]について、
HV[i,j]＝１ ・・・条件３
が成り立つ場合（縦方向に類似性が強い場合）、その画素の色差Cr[i,j]を以下に示す式５によって算出する。
Cr[i,j]=(2・Z[i,j]+Z[i,j-2]+Z[i,j+2])/4-(G[i,j-1]+G[i,j+1])/2 ・・・式５
【００３７】
また、画像処理部１１は、赤色成分の色情報が存在する画素の指標HV[i,j]について、条件３が成り立たず、
HV[i,j]＝−１ ・・・条件４
が成り立つ場合（横方向に類似性が強い場合）、その画素の色差Cr[i,j]を以下に示す式６によって算出する。
Cr[i,j]=(2・Z[i,j]+Z[i-2,j]+Z[i+2,j])/4-(G[i-1,j]+G[i+1,j])/2 ・・・式６
【００３８】
さらに、画像処理部１１は、赤色成分の色情報が存在する画素の指標HV[i,j]について、条件３および条件４が成り立たない場合（縦方向および横方向に類似性が強い、または弱い）、その画素の色差Cr[i,j]を以下に示す式７によって算出する。
Cr[i,j]=(4・Z[i,j]+Z[i,j-2]+Z[i,j+2]+Z[i-2,j]+Z[i+2,j])/8
-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ・・・式７
【００３９】
なお、画像処理部１１は、青色成分の色情報の色情報が存在する画素については、式５ないし式７と同様にして、色差Cb[i,j]を算出する。
【００４０】
また、画像処理部１１は、以上説明したように、赤色成分の色情報または青色成分の色情報が存在する画素の色差を算出する過程において、各々の色成分の色情報が存在しない画素の色差については、「０」を設定して初期化する。
【００４１】
次に、画像処理部１１は、赤色成分の色情報または青色成分の色情報が存在しない画素に対し、各々の色成分に対応する色差（Cr[i,j]またはCb[i,j]）を補間する。このような補間の方法としては、通常、隣接する画素の色差の平均値を補間値とする方法が用いられるが、ここでは、画像の周期的な構造で発生する色モアレによる偽色を低減するため、補間値の算出と共に、全ての画素に対してローパスフィルタを掛ける方式を示す。
【００４２】
例えば、画像処理部１１は、以下に示す式８を演算して、赤色成分に対応する色差Cr[i,j]を算出する。なお、式８は、図８（ｄ）に示すようにして各々の画素の色差Crを加重加算することに相当する。
Cr[i,j]=(36・Cr[i,j]
+24・(Cr[i-1,j]+Cr[i+1,j]+Cr[i,j-1]+Cr[i,j+1])
+16・(Cr[i-1,j-1]+Cr[i+1,j-1]+Cr[i-1,j+1]+Cr[i+1,j+1])
+6・(Cr[i-2,j]+Cr[i+2,j]+Cr[i,j-2]+Cr[i,j+2])
+4・(Cr[i-1,j-2]+Cr[i+1,j-2]+Cr[i-2,j-1]+Cr[i+2,j-1]
+Cr[i-2,j+1]+Cr[i+2,j+1]+Cr[i-1,j+2]+Cr[i+1,j+2])
+1・(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2]))/64 ・・・式８
【００４３】
また、画像処理部１１は、色差Cb[i,j]についても、式８と同様にして、算出する。
【００４４】
以上説明したようにして「色判定用画像生成処理」が完了すると、画像処理部１１は、図５に示す「色判定処理」を行う（図３Ｓ２）。
【００４５】
《色判定処理》
ここで、図５を参照して、「色判定処理」の説明を行う。
まず、画像処理部１１は、「色判定用画像生成処理」で生成した色判定用画像を用い、以下のようにして、同一の画素における色差から成る色指標を算出する（図５Ｓ１）。
【００４６】
すなわち、画像処理部１１は、色指標Cdiff0[i,j]を以下に示す式１０によって算出する。
Cdiff0[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3 ・・・式１０
【００４７】
このように、第１の実施形態の色指標は、特許第２９３１５２０号公報に開示された色レベルと異なり、同一の画素における色相値を用いて導出されたものとみなすことができる。
【００４８】
そのため、第１の実施形態の色指標では、従来の技術で色レベルに反映されてしまった画像の構造的要因が排除され、より人間の視覚的な判断に近い色判定を実現することができる。また、第１の実施形態の色指標では、従来の技術にはないRB間の色差も考慮しているので、RB間の色差が大きいことが原因で無彩色と誤判定される危険性も除去され、信頼性の高い色判定が可能である。
【００４９】
式１０によって算出されるCdiff0[i,j]は、そのまま、座標[i,j]に位置する画素の色指標とすることができるが、ここでは、周辺加算を行って、座標[i,j]に位置する画素の色指標Cdiff[i,j]を算出する例を示す。
【００５０】
すなわち、画像処理部１１は、式１０に基づき、座標[i,j],[i-2,j-2],[i+2,j-2],[i-2,j+2],[i+2,j+2],[i,j-4],[i,j+4],[i-4,j],[i+4,j]に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式１１に相当する周辺加算を行って、色指標Cdiff[i,j]を算出する。
Cdiff[i,j]=(8・Cdiff0[i,j]+Cdiff0[i-2,j-2]+Cdiff0[i+2,j-2]
+Cdiff0[i-2,j+2]+Cdiff0[i+2,j+2]+Cdiff0[i,j-4]
+Cdiff0[i,j+4]+Cdiff0[i-4,j]+Cdiff0[i+4,j])/16 ・・・式１１
なお、式１１は、図９（ａ）に示すようにして周辺加算を行うことに相当するが、Cdiff0の周辺加算は、図９（ｂ）や図９（ｃ）のようにして行っても良い。
【００５１】
このように、周辺加算によって色指標を算出することは、色判定用画像を生成する過程で、色差の補間時に発生した局所的な誤りに伴う偽色の影響を低減する効果がある。
【００５２】
また、１０画素程度に渡るような長い周期の色モアレの影響も同時に低減するため、遠方の画素間で周辺加算を行って、相互に補色の関係にある色モアレ成分を相殺させることによって、色指標の信頼性を向上させている。
【００５３】
以上説明したようにして色指標Cdiffを算出すると、画像処理部１１は、各々の画素で算出された色指標Cdiffに基づき色判定を行う（図５Ｓ２）。
【００５４】
なお、第１の実施形態では、色判定の結果として、各々の画素を、色指標の大小によって４つのグループ（完全無彩色部、無彩色部、淡い彩色部、彩色部）の何れかに分類する処理を示す。ただし、以下に示す条件１０ないし条件１２では、色指標Cdiff[i,j]の階調が０〜２５５で示される場合、閾値ThBWz,ThBWa,ThBWbの値は、それぞれ、２,５,１０〜１５程度の値である。
【００５５】
画像処理部１１は、色指標Cdiff[i,j]について、
Cdiff[i,j]≦ThBWz ・・・条件１０
が成り立つ画素については、完全無彩色部と判定して、色判定の結果を示す色分類指標BW[i,j]に「ｚ」を設定する。また、画像処理部１１は、条件１０が成り立たず、かつ、
Cdiff[i,j]≦ThBWa ・・・条件１１
が成り立つ画素については、無彩色部と判定して、色分類指標BW[i,j]に「ａ」を設定する。さらに、画像処理部１１は、条件１０および条件１１が成り立たず、かつ、
Cdiff[i,j]≦ThBWb ・・・条件１２
が成り立つ画素については、淡い彩色部と判定して、色分類指標BW[i,j]に「ｂ」を設定する。また、画像処理部１１は、条件１０ないし条件１２の全てが成り立たない画素については、彩色部と判定して、色分類指標BW[i,j]に「ｃ」を設定する。
【００５６】
図１０は、色指標を説明するための図であり、特に、図１０（ａ）は、色指標と色分類指標との関係を示す。
【００５７】
以上説明したようにして、「色判定処理」が完了すると、画像処理部１１は、図６に示す「類似性判定処理」を行う（図３Ｓ３）。
【００５８】
《類似性判定処理》
ここで、図６を参照して、「類似性判定処理」の説明を行う。
「類似性判定処理」では、緑色成分が欠落する画素における類似性を異色間類似度（異なる色成分を示す色情報から成る類似度）と同色間類似度（同じ色成分を示す色情報から成る類似度）を用いて判定する。なお、異色間類似度は、「色判定用画像生成処理」で算出されたものであり、同色間類似度は、ここで新たに式を用いて定義されるものである。異色間類似度は色成分を無視して構成され、同色間類似度は色成分を考慮して構成されるため、両者を色指標もしくは色分類指標に応じて使い分けるのが良い。実験的に無彩色部や完全無彩色部に属する画素における縦横類似性の判定には、異色間類似度が適しており、淡い彩色部や彩色部に属する画素における縦横類似性の判定には、同色間類似度が適していることが判明した。
【００５９】
そこで、第１の実施形態では、無彩色部や完全無彩色部に属する画素における縦横類似性の判定として、「色判定用画像生成処理」で行われた縦横類似性の判定結果をそのまま用いる例を示す。
【００６０】
まず、画像処理部１１は、緑色成分が欠落する画素に対して「色判定処理」の結果を判定する（図６Ｓ１）。
【００６１】
そして、画像処理部１１は、緑色成分が欠落する画素のうち、「色判定処理」の結果として、淡い彩色部または彩色部に分類された画素（色分類指標に「ｂ」または「ｃ」が設定された画素）に対しては、縦方向および横方向に対する同色間類似度（同一の色成分の色情報から成る類似度成分を１つ以上用いて構成される類似度）を算出し（図６Ｓ２）、その同色間類似度を用いて縦横類似性を判定し直す（図６Ｓ３）。
【００６２】
すなわち、画像処理部１１は、淡い彩色部または彩色部に分類された画素に対し、以下に示す式２０ないし式２４によって定義される値を算出する。
GG間類似度成分
Cvs1[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式２０
Chs1[i,j]=|G[i-1,j]-G[i+1,j]| ・・・式２１
BB(RR)間類似度成分
Cvs2[i,j]=(|Z[i-1,j-1]-Z[i-1,j+1]|
+|Z[i+1,j-1]-Z[i+1,j+1]|)/2 ・・・式２２
Chs2[i,j]=(|Z[i-1,j-1]-Z[i+1,j-1]|
+|Z[i-1,j+1]-Z[i+1,j+1]|)/2 ・・・式２３
【００６３】
なお、図２（ａ）のように座標[i,j]に赤色成分の色情報が存在する場合、式２０および式２１は、図１１（ａ）に示す色成分の色情報を用いて算出されることになり、式２２および式２３は、図１１（ｂ）に示す色成分の色情報を用いて算出されることになる。
【００６４】
また、Cvs2[i,j]およびChs2[i,j]は、以下のように算出しても良い。
RR(BB)間類似度成分
Cv2[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式２２'
Ch2[i,j]=(|Z[i-2,j]-Z[i,j]|+|Z[i+2,j]-Z[i,j]|)/2 ・・・式２３'
Cv2[i,j]=|-Z[i,j-2]+2・Z[i,j]-Z[i,j+2]|/2 ・・・式２２''
Ch2[i,j]=|-Z[i-2,j]+2・Z[i,j]-Z[i+2,j]|/2 ・・・式２３''
【００６５】
図２（ａ）のように座標[i,j]に赤色成分の色情報が存在する場合、式２２'、式２３'および式２２''、式２３''は、図１１（ｃ）に示す色成分の色情報を用いて算出されることになる。
【００６６】
次に、画像処理部１１は、以下に示す式２４および式２５によって定義される値を算出する。すなわち、画像処理部１１は、式２０および式２２（または、式２２'、式２２''）によって算出された値を加重加算し、かつ、式２１および式２３（または、式２３'、式２３''）によって算出された値を加重加算する。
Cvs0[i,j]=(Cvs1+Cvs2)/2 ・・・式２４
Chs0[i,j]=(Chs1+Chs2)/2 ・・・式２５
【００６７】
なお、式２４および式２５では、加重加算の比率を「１：１」としているが、このような比率は、如何なる比率であっても良い。
【００６８】
式２０ないし式２５によって算出される値は、そのまま、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素」の縦方向に対する同色間類似度,横方向に対する同色間類似度とすることができるが、ここでは、周辺加算を行って縦方向に対する同色間類似度,横方向に対する同色間類似度を算出する例を示す。
【００６９】
すなわち、画像処理部１１は、式２０ないし式２５に基づき、座標[i,j],[i-1,j-1],[i+1,j-1],[i-1,j+1],[i+1,j+1],[i,j-2],[i,j+2],[i-2,j],[i+2,j]に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式２６および式２７に相当する周辺加算を行って、縦方向に対する同色間類似度Cvs[i,j]、横方向に対する同色間類似度Chs[i,j]を算出する。式２６および式２７は、図１１（ｄ）に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限られるものではない。
Cvs[i,j]=(4・Cvs0[i,j]
+2・(Cvs0[i-1,j-1]+Cvs0[i+1,j-1]+Cvs0[i-1,j+1]+Cvs0[i+1,j+1])
+Cvs0[i,j-2]+Cvs0[i,j+2]+Cvs0[i-2,j]+Cvs0[i+2,j])/16 ・・・式２６
Chs[i,j]=(4・Chs0[i,j]
+2・(Chs0[i-1,j-1]+Chs0[i+1,j-1]+Chs0[i-1,j+1]+Chs0[i+1,j+1])
+Chs0[i,j-2]+Chs0[i,j+2]+Chs0[i-2,j]+Chs0[i+2,j])/16 ・・・式２７
ただし、式２６および式２７によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
【００７０】
なお、図２（ａ）のように座標[i,j]に赤色成分の色情報が存在する場合、式２６および式２７は、図１１（ｅ）および図１１（ｆ）に示す色成分の色情報を用いて算出されることになる。
【００７１】
したがって、周辺加算後に得られる類似度には、緑色成分の色情報のみから成る類似度成分と、青色成分の色情報のみから成る類似度成分と、赤色成分の色情報のみから成る類似度成分とが含まれる。すなわち、周辺加算によって、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。
【００７２】
次に、画像処理部１１は、縦方向に対する同色間類似度Cvs[i,j]、横方向に対する同色間類似度Chs[i,j]に基づき、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素」における縦横類似性を判定し直し、縦横方向類似性を示す指標HV[i,j]を再設定する。
【００７３】
例えば、画像処理部１１は、任意の閾値Th0について、
|Cvs[i,j]-Chs[i,j]|≦Th0 ・・・条件２０
が成り立つ場合、「縦方向および横方向に類似性が強い、または弱い」と判定して指標HV[i,j]に「０」を設定する。また、画像処理部１１は、条件２０が成り立たず、かつ、
Cvs[i,j]＜Chs[i,j] ・・・条件２１
が成り立つ場合、「縦方向に類似性が強い」と判定して指標HV[i,j]に「１」を設定する。さらに、画像処理部１１は、条件２０および条件２１が成り立たない場合、「横方向に類似性が強い」と判定して指標HV[i,j]に「−１」を設定する。
【００７４】
以上説明したような処理が完了した状態では、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素」に対する指標HV[i,j]には、同色間類似度に応じた値が設定され、「緑色成分が欠落し、かつ、無彩色部または完全無彩色部に分類された画素」に対する指標HV[i,j]には、異色間類似度に応じた値が設定されていることになる。
【００７５】
すなわち、指標HV[i,j]を算出する際に用いる類似度は、図１０（ｂ）のように、色指標Cdiff[i,j]や色分類指標BW[i,j]の値に応じて、異色間類似度と同色間類似度との何れか一方に切り換えられることになる。
【００７６】
なお、指標HV[i,j]を算出する際に用いる類似度は、異色間類似度と同色間類似度との何れか一方に限らない。例えば、図６に示す「類似性判定処理」に代えて、図１２に示す「類似性判定処理」を行い、異色間類似度と同色間類似度とを加重加算して得られる類似度を用いて、縦横類似性を判定しても良い。
【００７７】
図１２では、「色判定処理」の結果が判定される前に、縦方向・横方向に対する同色間類似度が算出される（図１２Ｓ１）。そして、「色判定処理」の結果として、無彩色部または完全無彩色部に分類された画素に対しては、図４Ｓ１で算出されている異色間類似度の加重比率を上げて、異色間類似度と同色間類似度とが加重加算されて類似度が算出される（図１２Ｓ３）。一方、淡い彩色部または彩色部に分類された画素に対しては、異色間類似度の加重比率を上げて異色間類似度と同色間類似度とが加重加算されて類似度が算出される（図１２Ｓ４）。このようにして算出された類似度を用いて縦横類似性の判定が行われる（図１２Ｓ５）。
【００７８】
ただし、異色間類似度と同色間類似度との加重係数の比率を、図１２Ｓ３において「１：０」とし、図１２４において「０：１」とした場合、縦横類似性の判定結果は、図６に示す「類似性判定処理」と完全に一致することになる。
【００７９】
次に、画像処理部１１は、緑色成分が欠落する画素における斜め４５度および斜め１３５度に対する類似度（異色間類似度と同色間類似度とから成る類似度）を算出する（図６Ｓ４）。
【００８０】
例えば、画像処理部１１は、これらの類似度を算出する過程で、以下に示す式３０ないし式３５によって定義される値を算出する。
RB(BR)間類似度成分
C45_1[i,j]=(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2 ・・・式３０
C135_1[i,j]=(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2 ・・・式３１
GG間類似度成分
C45_2[i,j]=(|G[i,j-1]-G[i-1,j]|+| G[i+1,j]-G[i,j+1]|)/2 ・・・式３２
C135_2[i,j]=(|G[i,j-1]-G[i+1,j]|+|G[i-1,j]-G[i,j+1]|)/2 ・・・式３３
BB(RR)間類似度成分
C45_3[i,j]=|Z[i+1,j-1]-Z[i-1,j+1]| ・・・式３４
C135_3[i,j]=(|Z[i-1,j-1]-Z[i+1,j+1]| ・・・式３５
【００８１】
なお、図２（ａ）のように座標[i,j]に赤色成分の色情報が存在する場合、式３０および式３１は、図１３（ａ）に示す色成分の色情報を用いて算出されることになり、式３２および式３３は、図１３（ｂ）に示す色成分の色情報を用いて算出されることになり、式３４および式３５は、図１３（ｃ）に示す色成分の色情報を用いて算出されることになる。
【００８２】
また、C45_3[i,j]およびC135_3[i,j]は、以下のように算出しても良い。
RR(BB)間類似度成分
C45_3[i,j]=(|Z[i-2,j-2]-Z[i,j]|+|Z[i+2,j+2]-Z[i,j]|)/2 ・・・式３４'
C135_3[i,j]=(|Z[i-2,j-2]-Z[i,j]|+|Z[i+2,j+2]-Z[i,j]|)/2 ・・・式３５'
C45_3[i,j]=|-Z[i-2,j-2]+2・Z[i,j]-Z[i+2,j+2]|/2 ・・・式３４''
C135_3[i,j]=|-Z[i-2,j-2]+2・Z[i,j]-Z[i+2,j+2]|/2 ・・・式３５''
【００８３】
図２（ａ）のように座標[i,j]に赤色成分の色情報が存在する場合、式３４'、式３５'および式３４''、式３５''は、図１３（ｄ）に示す色成分の色情報を用いて算出されることになる。
【００８４】
次に、画像処理部１１は、以下に示す式３６および式３７によって定義される値を算出する。すなわち、画像処理部１１は、式３０、式３２、式３４（または、式３４'、式３４''）によって算出された値を加重加算し、かつ、式３１、式３３、式３５（または、式３５'、式３５''）によって算出された値を加重加算する。
C45_0[i,j]=(B1・C45_1+B2・C45_2+B3・C45_3)/(B1+B2+B3) ・・・式３６
C135_0[i,j]=(B1・C135_1+B2・C135_2+B3・C135_3)/(B1+B2+B3) ・・・式３７
【００８５】
なお、式３６および式３７では、加重加算の比率は、例えば、「B1：B2：B3＝２：２：１」程度にとると良い。
【００８６】
式３０ないし式３７によって算出される値は、そのまま、緑色成分が欠落する画素の斜め４５度の類似度および斜め１３５度の類似度とすることができるが、ここでは、周辺加算を行って斜め４５度の類似度および斜め１３５度の類似度を算出する例を示す。
【００８７】
すなわち、画像処理部１１は、式３０ないし式３７に基づき、座標[i,j],[i-1,j-1],[i+1,j-1],[i-1,j+1],[i+1,j+1],[i,j-2],[i,j+2],[i-2,j],[i+2,j]に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式３８および式３９に相当する周辺加算を行って、斜め４５度に対する類似度C45[i,j]、斜め１３５度に対する類似度C135[i,j]を算出する。式３８および式３９は、図１３（ｅ）に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限られるものではない。
C45[i,j]=(4・C45_0[i,j]
+2・(C45_0[i-1,j-1]+C45_0[i+1,j-1]+C45_0[i-1,j+1]+C45_0[i+1,j+1])
+C45_0[i,j-2]+C45_0[i,j+2]+C45_0[i-2,j]+C45_0[i+2,j])/16 ・・・式３８
C135[i,j]=(4・C135_0[i,j]
+2・(C135_0[i-1,j-1]+C135_0[i+1,j-1]+C135_0[i-1,j+1]+C135_0[i+1,j+1])
+C135_0[i,j-2]+C135_0[i,j+2]
+C135_0[i-2,j]+C135_0[i+2,j])/16 ・・・式３９
【００８８】
ただし、式３８および式３９によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
【００８９】
なお、図２（ａ）のように座標[i,j]に赤色成分の色情報が存在する場合、式３８および式３９は、図１３（ｆ）および図１３（ｇ）に示す色成分の色情報を用いて算出されることになる。
【００９０】
したがって、周辺加算後に得られる類似度には、青色成分の色情報と赤色成分の色情報とから成る類似度成分と、緑色成分の色情報のみから成る類似度成分と、青色成分の色情報のみから成る類似度成分と、赤色成分の色情報のみから成る類似度成分とが含まれる。すなわち、周辺加算によれば、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。
【００９１】
次に、画像処理部１１は、斜め４５度に対する類似度C45[i,j]、斜め１３５度に対する類似度C135[i,j]に基づき、緑色成分が欠落する画素における斜め方向に対する類似性（以下、「斜め類似性」と称する。）を判定する（図６Ｓ５）。そして、画像処理部１１は、このような判定結果として、斜め方向類似性を示す指標DN[i,j]に以下のような値を設定する。
【００９２】
例えば、画像処理部１１は、任意の閾値Th2について、
|C45[i,j]-C135[i,j]|≦Th2 ・・・条件３０
が成り立つ場合、「斜め４５度方向および斜め１３５度方向に類似性が強い、または弱い」と判定して指標DN[i,j]に「０」を設定する。また、画像処理部１１は、条件３０が成り立たず、かつ、
C45[i,j]＜C135[i,j] ・・・条件３１
が成り立つ場合、「斜め４５度方向に類似性が強い」と判定して指標DN[i,j]に「１」を設定する。さらに、画像処理部１１は、条件３０および条件３１が成り立たない場合、「斜め１３５度方向に類似性が強い」と判定して指標DN[i,j]に「−１」を設定する。
【００９３】
なお、第１の実施形態では、異色間類似度と同色間類似度とを加重加算して斜め類似性を判定する例を示したが、斜め類似性の判定は、縦横類似性の判定と同様に、異色間類似度と同色間類似度とを切り換えることによって行っても良い。
【００９４】
以上説明したように「類似性判定処理」が完了すると、画像処理部１１は、図７に示す「補間値算出処理」を行う（図３Ｓ４）。
【００９５】
《補間値算出処理》
ここで、図７を参照して、「補間値算出処理」の説明を行う。
まず、画像処理部１１は、縦横類似性と斜め類似性とに応じて、Ｇ補間値（緑色成分の補間値）を算出する（図７Ｓ１）。すなわち、画像処理部１１は、上述したように設定された縦横類似性を示す指標HV[i,j]と斜め類似性を示す指標DN[i,j]とに応じて、Ｇ補間値を算出する。
【００９６】
なお、Ｇ補間値の算出は、従来の技術と同様に行っても良いが、このようなＧ補間値の算出では、色差が一定と仮定できない場合や色収差が存在する場合、緑色成分の平均項が他の色成分（補間対象画素と同じ色成分）の項によって過剰に補正される現象（以下、「過補正」と称する）が発生する。そこで、第１の実施形態では、このような過補正を抑えつつ、Ｇ補間値を算出する例を示す。
【００９７】
まず、画像処理部１１は、縦横類似性を示す指標HV[i,j]と斜め類似性を示す指標DN[i,j]とが如何なる値であるかを判定し、補間対象画素の類似性の強さを、以下に示すcase1〜case9の何れかに分類する。
case1:(HV[i,j],DN[i,j])=(1,1):縦および斜め45度方向の類似性が強い。
case2:(HV[i,j],DN[i,j])=(1,0):縦方向の類似性が強い。
case3:(HV[i,j],DN[i,j])=(1,-1):縦および斜め135度方向の類似性が強い。
case4:(HV[i,j],DN[i,j])=(0,1):斜め45度方向の類似性が強い。
case5:(HV[i,j],DN[i,j])=(0,0):全ての方向の類似性が強い、または、全ての方向の類似性が弱い（類似性の強い方向が不明である）。
case6:(HV[i,j],DN[i,j])=(0,-1):斜め135度方向の類似性が強い。
case7:(HV[i,j],DN[i,j])=(-1,1):横および斜め45度方向の類似性が強い。
case8:(HV[i,j],DN[i,j])=(-1,0):横方向の類似性が強い。
case9:(HV[i,j],DN[i,j])=(-1,-1):横および斜め135度方向の類似性が強い。
図１４は、(HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。
【００９８】
次に、画像処理部１１は、上述した判定結果に応じて、以下のようにしてＧ補間値G[i,j]を算出する。
case1のとき:G[i,j]=Gv45 ・・・式４０
case2のとき:G[i,j]=Gv ・・・式４１
case3のとき:G[i,j]=Gv135 ・・・式４２
case4のとき:G[i,j]=(Gv45+Gh45)/2 ・・・式４３
case5のとき:G[i,j]=(Gv+Gh)/2 ・・・式４４
case6のとき:G[i,j]=(Gv135+Gh135)/2 ・・・式４５
case7のとき:G[i,j]=Gh45 ・・・式４６
case8のとき:G[i,j]=Gh ・・・式４７
case9のとき:G[i,j]=Gh135 ・・・式４８
【００９９】
ただし、
Gv=(G[i,j-1]+G[i,j+1])/2
+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2]
+2・G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/16 ・・・式５０
Gv45=(G[i,j-1]+G[i,j+1])/2
+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3]
+2・Z[i+1,j-1]-Z[i+1,j-3]-Z[i+1,j+1])/16 ・・・式５１
Gv135=(G[i,j-1]+G[i,j+1])/2
+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1]
+2・Z[i+1,j+1]-Z[i+1,j-1]-Z[i+1,j+3])/16 ・・・式５２
Gh=(G[i-1,j]+G[i+1,j])/2
+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2・G[i,j-1]-G[i-2,j-1]-G[i+2,j-1]
+2・G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/16 ・・・式５３
Gh45=(G[i-1,j]+G[i+1,j])/2
+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2・Z[i+1,j-1]-Z[i-1,j-1]-Z[i+3,j-1]
+2・Z[i-1,j+1]-Z[i-3,j+1]-Z[i+1,j+1])/16 ・・・式５４
Gh135=(G[i-1,j]+G[i+1,j])/2
+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2・Z[i-1,j-1]-Z[i-3,j-1]-Z[i+1,j-1]
+2・Z[i+1,j+1]-Z[i-1,j+1]-Z[i+3,j+1])/16 ・・・式５５
【０１００】
なお、式５０〜式５５に示す演算は、緑色成分の平均値（各々の式の第１項に相当する）を、２次微分で構成される補正項（各々の式の第２項,第３項に相当する）で補正していることを意味する。
【０１０１】
以上説明したようにしてＧ補間値を算出すると、画像処理部１１は、Ｒ補間値（赤色成分の補間値）およびＢ補間値（青色成分の補間値）を算出する。
【０１０２】
まず、画像処理部１１は、赤色成分の色情報または青色成分の色情報が存在する画素に対し、縦横類似性の判定結果に応じて各々の色成分に対応する色差を生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間する（図７Ｓ２）。
【０１０３】
なお、画像処理部１１は、「色判定用画像生成処理」と同様に、画像の周期的な構造で発生する色モアレによる偽色を低減するため、色差の補間値の算出と共に、画素の色差に対してローパスフィルタを掛ける処理も合わせて行う。
【０１０４】
このような色差の生成および補間については、図４Ｓ３の色判定用画像の生成（式５〜式８）と同様に行えるため、ここでは、詳細な説明は省略する。ただし、色判定用画像の生成時には、異色間類似度に応じて設定された指標HV[i,j]を用いて色差が生成されるが、ここでは、「色判定処理」によって淡い彩色部や彩色部に分類された画素の色差は、同色間類似度に応じて再設定された指標HV[i,j]を用いて生成されることになる。
【０１０５】
また、ここで生成または補間される色差を、色判定用画像が記憶された記憶領域に記憶することによって、補間処理を行う過程で利用する記憶領域を削減することが可能である。ただし、このようにして記憶領域を削減する場合には、「補間値算出処理」の前処理として、色判定用画像が記憶された記憶領域の初期化を行う必要がある。
【０１０６】
次に、画像処理部１１は、色差と緑色成分の色情報（Ｇ補間値を含む）とを用い、以下に示す式６０および式６１を演算してＲ補間値およびＢ補間値を算出する（図７Ｓ３）。初めから存在する赤色成分の色情報または青色成分の色情報をそのまま利用する場合、赤色成分の色情報や青色成分の色情報が欠落する画素に対して式６０や式６１の演算を行えば良いが、第１の実施形態では、画像の周期的な構造で発生する色モアレによる偽色を低減するために色差信号を補正しているので、全ての画素に対して式６０および式６１の演算を行う必要がある。
R[i,j]=Cr[i,j]+G[i,j] ・・・式６０
B[i,j]=Cb[i,j]+G[i,j] ・・・式６１
【０１０７】
以上説明したように、第１の実施形態では、信頼性の高い色指標を算出することができ、その色指標を類似性の判定に用いることにより、従来の技術では実現が難しかった「微細構造の復元と、偽構造や偽色などの瑕疵の抑制とを両立した補間処理」を実現することができる。
【０１０８】
なお、第１の実施形態では、ＲＧＢ表色系とは異なる表色系の色成分（Ｃｒ成分、Ｃｂ成分）で構成される画像を、色判定用画像として生成しているが、色判定用画像は、従来の補間処理や式６０、式６１によって算出されるＲ,Ｇ,Ｂの３つの色成分で構成される画像としても良い。ただし、Ｒ,Ｇ,Ｂの３つの色成分で構成される画像を色判定用画像とする場合、式１０に代えて、以下に示す式１０'を演算する必要がある。
Cdiff0[i,j]=(|R[i,j]-G[i,j]|+|B[i,j]-G[i,j]|
+|R[i,j]-B[i,j]|)/3 ・・・式１０'
【０１０９】
すなわち、式１０'では、|R[i,j]-G[i,j]|や|B[i,j]-G[i,j]|や|R[i,j]-B[i,j]|を算出することによって、同一画素における異なる色成分間の色相を用いて色指標が導出されることになる。
【０１１０】
−第２の実施形態−
以下、第２の実施形態を説明する。
ただし、第２の実施形態と第１の実施形態とでは、画像処理部１１が行う「補間値算出処理」は異なるが、他の処理は同一であるため、以下では、「補間値算出処理」の説明のみを行い、他の処理の説明は省略する。ただし、ここで使う「補間値算出処理」とは、補間値の算出後のフィルタリングなどの画像処理も含めた意味で述べている。
【０１１１】
図１５は、第２の実施形態における画像処理部１１の動作フローチャートであり、特に、「補間値算出処理」を示す。
【０１１２】
ところで、第１の実施形態やその他どんな補間処理を行っても、撮像素子におけるカラーフィルタ配列のサンプリングに起因する偽色は、必然的に発生する。通常、このような偽色を低減する対策としては、色差や、画像データをＬａｂ表色系に変換して得られるａ，ｂ面などの色相に対して、５×５程度の広域のメディアンフィルタを掛ける方法が行われている。しかし、画像全面に対して広域のメディアンフィルタを掛けると、彩色部における微細な色構造を破壊してしまう悪影響も同時に発生する。
【０１１３】
そこで、第２の実施形態の「補間値算出処理」では、必要なところのみに、適応的に広域のメディアンフィルタを掛ける処理を示す。
【０１１４】
ここで、まず、「無彩色部メディアン」および「輝点周辺メディアン」の説明を行う。
【０１１５】
《無彩色部メディアン》
一般に、色相にメディアンフィルタを掛けることは、近接して現れ、かつ、相互に補色関係にある偽色の色相を中央値で置き換えることによって無彩色化することに相当し、偽色を低減することができる。したがって、無彩色に近い領域で生じた偽色に対して無彩色化を行っても何の悪影響も生じない。
【０１１６】
例えば、偽色を取り除くのに有効な色相に掛けるメディアンフィルタとして、５×５程度の広域のメディアンフィルタが考えられるが、このような広域のメディアンフィルタによる悪影響は、第１の実施形態の「色判定処理」によって色分類指標BWに「ｃ」が設定された領域（彩色部）で生じることが実験的に判明した。そこで、色指標に応じて無彩色に近い領域にメディアンフィルタを適応的に掛ける方法が優れている。
【０１１７】
以下では、彩色部以外の領域において、色相に広域のメディアンフィルタを掛けることを「無彩色部メディアン」と称する。
【０１１８】
《輝点周辺メディアン》
通常問題になる偽色のうち、上述した「無彩色部メディアン」だけでは除去しきれない偽色として、明るく孤立した白点の周辺部（以下、輝点周辺部と称する）などに残る偽色がある。このような偽色の低減も、色相に広域のメディアンフィルタを掛けることによって可能である。
【０１１９】
そこで、第２の実施形態では、上述した彩色部以外の領域だけでなく、輝点周辺部についても、色相に広域のメディアンフィルタを掛ける処理を示す。輝点周辺部の検出は、「無彩色部メディアン」の色指標とは、独立に、輝度を指標とする輝度指標を用いて行う。
【０１２０】
なお、以下では、輝点周辺部において、色相に広域のメディアンフィルタを掛けることを「輝点周辺メディアン」と称する。ただし、輝点周辺部の検出には、輝点周辺部が以下のような特徴を持つことを利用する。
・周辺に輝度値の高い点が１画素でも存在する。
・画像の構造に伴う輝度の変動が、他の部分に比べ、はるかに大きい。
【０１２１】
《補間値算出処理》
以下、図１５を参照して、第２の実施形態の「補間値算出処理」の動作の説明を行う。
【０１２２】
まず、画像処理部１１は、第１の実施形態の図７Ｓ１と同様に、縦横類似性と斜め類似性とに応じて、Ｇ補間値を算出する（図１５Ｓ１）。
【０１２３】
また、画像処理部１１は、第１の実施形態の図７Ｓ２と同様に、赤色成分の色情報または青色成分の色情報が存在する画素に対して、各々の色成分に対応する色差を縦横類似性の判定結果に応じて生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間する（図１５Ｓ２）。ただし、第１の実施形態の例では、色差に対するローパス処理も行われている。
【０１２４】
次に、画像処理部１１は、色差と緑色成分の色情報とを用いて、輝度値を算出する（図１５Ｓ３）。
【０１２５】
例えば、画像処理部１１は、以下に示す式７０を演算して輝度値Y[i,j]を算出する。
Y[i,j]=(Cr[i,j]|+4・G[i,j]+Cb[i,j])/4 ・・・式７０
なお、式７０は、輝度値をR:G:B=1:2:1のような比で算出することに相当する。
【０１２６】
次に、画像処理部１１は、輝点周辺部の検出処理を削減するため、追加的にメディアンフィルタ処理が必要な「色判定処理」によって彩色部に分類された画素（色分類指標BWに「ｃ」が設定された画素）に対してのみ、輝度値を用いて「輝度指標」を算出し、その「輝度指標」に基づき輝度解析を行う（図１５Ｓ４）。
【０１２７】
なお、輝度指標として、各画素の局所領域内に位置する複数の画素の輝度値の最大値maxと、その複数の画素の輝度値の局所的な分散値varとを用い、輝度解析の結果を色分類指標BW[i,j]に設定する例を示す。
【０１２８】
まず、画像処理部１１は、以下に示す条件４０が成り立つ画素に対し、以下に示す式７１ないし式７３の演算を行って、輝度指標max,varを算出する。
BW[i,j]＝'ｃ' ・・・条件４０
max=Max_of｛Y[i,j],Y[i,j-1],Y[i,j+1],Y[i-1,j],Y[i+1,j],Y[i-1,j-1],
Y[i+1,j-1],Y[i-1,j+1],Y[i+1,j+1]｝ ・・・式７１
ただし、Max_of｛ ｝は、複数の輝度値の最大値を算出する関数を示す。
ave=(Y[i,j]+Y[i,j-1]+Y[i,j+1]+Y[i-1,j]+Y[i+1,j]+Y[i-1,j-1]
+Y[i+1,j-1]+Y[i-1,j+1]+Y[i+1,j+1])/9 ・・・式７２
var=((Y[i,j-1]-ave)2+(Y[i,j+1]-ave)2+(Y[i-1,j]-ave)2
+(Y[i+1,j]-ave)2+(Y[i-1,j-1]-ave)2+(Y[i+1,j-1]-ave)2
+(Y[i-1,j+1]-ave)2+(Y[i+1,j+1]-ave)2)/9 ・・・式７３
【０１２９】
次に、画像処理部１１は、輝度指標max,varについて、
max＞ThLmax and var＞ThLdev2 ・・・条件４１が成り立つ画素については、輝点周辺部と判断して、色分類指標BW[i,j]に「ｍ」を設定する。ただし、条件４１では、輝度指標の階調が０〜２５５で示される場合、閾値ThLmaxの値は、例えば、２２０程度の値であることが望ましく、閾値ThLmaxThLdev2の値は、例えば、４５2程度の値であることが望ましい。
【０１３０】
なお、条件４１が成り立たない画素（輝点周辺部以外の画素）の色分類指標BW[i,j]ついては、「ｃ」が設定されたままであり、再設定は行われない。
【０１３１】
図１６は、色指標と輝度指標との関係を示す図である。
【０１３２】
次に、画像処理部１１は、「色判定処理」の結果を判定し（図１５Ｓ５）、「色判定処理」の結果によって彩色部に分類された画素については、輝度解析の結果を判定する（図１５Ｓ６）。
【０１３３】
そして、画像処理部１１は、「色判定処理」の結果として、完全無彩色部や無彩色部や淡い彩色部に分類された画素（色分類指標BWに「ｚ」や「ａ」や「ｂ」が設定された画素）に対しては、「無彩色部メディアン」として、色差に広域のメディアンフィルタを掛ける処理を行うと共に、輝度解析の結果として、輝点周辺部に分類された画素（色分類指標BWに「ｍ」が設定された画素）に対しては、「輝点周辺メディアン」として、色差に広域のメディアンフィルタを掛ける処理を行う（図１５Ｓ７）。
【０１３４】
例えば、画像処理部１１は、以下に示す条件４２が成り立つ画素に対し、以下に示す式７４および式７５の演算を行って色差Cr[i,j],Cb[i,j]を再度算出することによって、色差に広域のメディアンフィルタを掛ける処理を実現する。
BW[i,j]≠'ｃ' ・・・条件４２
Cr[i,j]＝Median_of｛Cr[i,j],Cr[i,j-2],Cr[i,j+2],Cr[i-2,j],Cr[i+2,j],
Cr[i-2,j-2],Cr[i+2,j-2],Cr[i-2,j+2],Cr[i+2,j+2]｝ ・・・式７４
Cb[i,j]＝Median_of｛Cb[i,j],Cb[i,j-2],Cb[i,j+2],Cb[i-2,j],Cb[i+2,j],
Cb[i-2,j-2],Cb[i+2,j-2],Cb[i-2,j+2],Cb[i+2,j+2]｝ ・・・式７５
ただし、Median_of｛ ｝は、複数の要素のメディアン値を算出する関数を示し、左辺のCrは右辺の演算結果を一度バッファリングしてから、再度Cr面に代入された値である。
【０１３５】
なお、式７４および式７５は、図１７（ａ）に示す範囲にメディアンフィルタを掛けることに相当するが、色差に広域のメディアンフィルタを掛ける処理は、高速化のため、図１７（ｂ）に示す範囲にメディアンフィルタを掛けることによって実現しても良い。
【０１３６】
次に、画像処理部１１は、第１の実施形態の図７Ｓ３と同様にして、Ｒ補間値およびＢ補間値を算出する（図１５Ｓ８）。
【０１３７】
したがって、第２の実施形態によれば、適応的に広域のメディアンフィルタが掛けられた色差を用いてＲ補間値およびＢ補間値を算出することによって、彩色部における微細な色構造の破壊を回避しつつ、補間処理による偽色の発生を低減することができる。
【０１３８】
なお、第２の実施形態では、輝度解析により輝点周辺部以外に分類された画素の色差については、広域のメディアンフィルタを掛けずにＲ補間値やＢ補間値の算出に用いているが、図１８Ｓ８のように、狭域のメディアンフィルタを掛ける処理を行ってから、Ｒ補間値やＢ補間値の算出に用いても良い。すなわち、図１５に示す補間値算出処理に代えて、図１８に示す「補間値算出処理」を行って補間処理を実現することもできる。
【０１３９】
例えば、輝点周辺部以外に分類された画素の色差に狭域のメディアンフィルタを掛ける処理は、以下に示す条件４３が成り立つ画素に対し、以下に示す式７６および式７７の演算を行って色差Cr[i,j],Cb[i,j]を再度算出することによって実現できる。
BW[i,j]＝'ｃ' ・・・条件４３
Cr[i,j]＝Median_of｛Cr[i,j],Cr[i,j-1],Cr[i,j+1],Cr[i-1,j],Cr[i+1,j],
Cr[i-1,j-1],Cr[i+1,j-1],Cr[i-1,j+1],Cr[i+1,j+1]｝ ・・・式７６
Cb[i,j]＝Median_of｛Cb[i,j],Cb[i,j-1],Cb[i,j+1],Cb[i-1,j],Cb[i+1,j],
Cb[i-1,j-1],Cb[i+1,j-1],Cb[i-1,j+1],Cb[i+1,j+1]｝ ・・・式７７
【０１４０】
なお、式７６および式７７は、図１７（ｃ）に示す範囲にメディアンフィルタを掛けることに相当するが、色差に狭域のメディアンフィルタを掛ける処理は、高速化のため、図１７（ｄ）に示す範囲にメディアンフィルタを掛けることによって実現しても良い。
【０１４１】
ただし、図１８に示す「補間値算出処理」を含む補間処理は、図１５に示す「補間値算出処理」を含む補間処理では色彩部における偽色が目立つ場合に行うと効果的である。
【０１４２】
また、第２の実施形態では、色判定や輝度解析の結果に基づき、色差に対して適応的にメディアンフィルタを掛けているが、このようにメディアンフィルタを掛ける処理は、単板式の撮像素子で得られたデータから、従来の補間技術を用いて画像復元処理が完了した画像に対しても、事後的な補正処理として同様に使うことができる。ただし、このような事後的な補正処理では、色判定用画像は、画像復元処理が完了した画像の色情報を用いて生成され、色指標は、その色判定用画像から導出されるものとする。ここで、画像復元処理が完了した画像としては、二板式の撮像素子によって生成されたデータから画像復元処理によって得られた画像や、Ｙ、Ｃｂ、Ｃｒが４:１:１に間引かれたデータから画像復元処理によって得られた画像などに対して用いても有効である。
【０１４３】
−第３の実施形態−
以下、第３の実施形態を説明する。
ただし、第３の実施形態と第１の実施形態および第２の実施形態とでは、画像処理部１１が行う「色判定処理」は異なるが、他の処理は同一であるため、ここでは、「色判定処理」の説明のみを行い、他の処理の説明は省略する。
【０１４４】
図１９は、第３の実施形態における画像処理部１１の動作フローチャートであり、特に、「色判定処理」を示す。
【０１４５】
ところで、第１の実施形態の「色判定処理」では、「色判定用画像生成処理」で生成した色判定用画像を用いて色指標を算出し、その色指標に基づき色判定を行うが、色判定用画像に生じた偽色によって、無彩色部が彩色部と誤判定される可能性が残っている。例えば、本来、無彩色部に分類されて異色間類似度により縦横類似性判定されるべき画素が、色モアレ等の偽色発生により誤って彩色部に分類されて、同色間類似度により縦横類似性判定されてしまう部分がある。
【０１４６】
そこで、第３の実施形態の「色判定処理」では、類似性判定の精度を向上させるため、「色判定用画像」に対しても第２の実施形態で示した手法を用い、色判定を２回行う処理を示す。
【０１４７】
《色判定処理》
以下、図１９を参照して、第３の実施形態の「色判定処理」の動作の説明を行う。
【０１４８】
まず、画像処理部１１は、「色判定用画像生成処理」で生成した色判定用画像を用いて、第１の実施形態の図５Ｓ１と同様にして、色指標Cdiffを算出する（図１９Ｓ１）。
【０１４９】
また、画像処理部１１は、第１の実施形態の図５Ｓ２と同様にして、各々の画素で算出された色指標Cdiff[i,j]に基づき１回目の色判定を行い（図１９Ｓ２）、色分類指標BW[i,j]の設定を行う。
【０１５０】
次に、画像処理部１１は、輝度値を算出するためＧ補間値を算出し、そのＧ補間値と元の緑色成分の色情報とで構成されるＧ面画像と、色判定用画像（Ｃｒ、Ｃｂ面画像）とを用いて、輝度値を算出する（図１９Ｓ３）。
【０１５１】
例えば、画像処理部１１は、緑色成分が欠落する画素に対し、隣接する画素の緑色成分の色情報の平均値をＧ補間値として算出する。なお、Ｇ補間値は、従来の技術と同様に算出しても良い。また、輝度値（Y[i,j]）は、第２の実施形態の式７０と同様にして算出する。
【０１５２】
次に、画像処理部１１は、１回目の色判定によって彩色部に分類された画素（色分類指標BWに「ｃ」が設定された画素）に対し、第２の実施形態の図１５Ｓ４と同様にして、輝度値を用いて輝度指標を算出し、その輝度指標に基づき輝度解析を行う（図１９Ｓ４）。
【０１５３】
次に、画像処理部１１は、上述した色指標Cdiffに基づいて色判定を行い（図１９Ｓ５）、その色判定の結果によって彩色部に分類された画素については、輝度解析の結果を判定する（図１９Ｓ６）。
【０１５４】
そして、画像処理部１１は、色判定の結果として、完全無彩色部や無彩色部や淡い彩色部に分類された画素（色分類指標BWに「ｚ」や「ａ」や「ｂ」が設定された画素）と、輝度解析の結果として、輝点周辺部に分類された画素（色分類指標BWに「ｍ」が設定された画素）とに対し、第２の実施形態の式７４,式７５と同様にして、色判定用画像を構成する色差に広域のメディアンフィルタを掛ける処理を行う（図１９Ｓ７）。
【０１５５】
次に、画像処理部１１は、第１の実施形態の図５Ｓ１と同様にして、色指標Cdiffを算出し直す（図１９Ｓ８）。
【０１５６】
また、画像処理部１１は、算出し直した色指標Cdiffに基づき、第１の実施形態の図５Ｓ２と同様にして、２回目の色判定を行い（図１９Ｓ９）、色分類指標BWを設定し直す。
【０１５７】
すなわち、第３の実施形態では、適応的にメディアンフィルタを掛けた色判定用画像を用いて、色指標Cdiffが算出し直され、２回目の色判定が行われる。したがって、例えば、色判定用画像に生じた偽色が原因で、１回目の色判定において、誤って彩色部に分類してしまった画素であっても、２回目の色判定によって、無彩色部に分類することが可能である。
【０１５８】
そのため、第３の実施形態によれば、「類似性判定処理」において、無彩色部に分類されるべき画素の縦横類似性が、同色間類似度を用いて判定し直されてしまうという誤りや、彩色部に分類されるべき画素の縦横類似性が、同色間類似度を用いて判定し直されないという誤りを抑制することができ、補間処理における類似性判定の精度が向上し、偽色の発生を低減することができる。
【０１５９】
なお、第３の実施形態では、輝度解析により輝点周辺部以外に分類された画素の色差については、広域のメディアンフィルタを掛けずに色判定用画像に用いているが、図２０Ｓ８のように、狭域のメディアンフィルタを掛ける処理を行ってから、色判定用画像としても良い。すなわち、図１９に示す色判定処理に代えて、図２０に示す「色判定処理」を行って補間処理を実現することもできる。例えば、輝点周辺部以外に分類された画素の色差に狭域のメディアンフィルタを掛ける処理は、上述した条件４３が成り立つ画素に対し、式７６および式７７の演算を行って色差Cr[i,j],Cb[i,j]を再度算出することによって実現できる。
【０１６０】
また、第３の実施形態では、輝度解析によって輝点周辺メディアン画素を追加的に抽出しているが、高速化を優先する場合は、無彩色部メディアンだけでも良く、このときには、輝度値の算出（図１９Ｓ３）や輝度解析（図１９Ｓ４、Ｓ６）も不要となって、「色判定処理」を簡略化できる。
【０１６１】
−第４の実施形態−
以下、第４の実施形態を説明するが、第４の実施形態と上述した各実施形態との相違点は、画像処理部１１が行う「補間値算出処理」のうち、Ｇ補間値を算出する処理（図７Ｓ１、図１５Ｓ１）にあり、他の処理は同一である。そのため、第４の実施形態では、図示を省略し、画像処理部１１が行う「Ｇ補間値を算出する処理」の説明のみを行う。
【０１６２】
ところで、従来の技術では、チェックパターンのようなナイキスト周波数レベルの微細構造が補間値に反映されないという問題があった。このような微細構造の復元は、補間値を元来の色情報に置換することによって実現することが可能である。しかし、このような置換は、ナイキスト周波数レベルの微細構造を示す領域にのみ有効であるが、乱用すると、多大な危険（例えば、画像の破綻など）を伴うことが予想される。
【０１６３】
そこで、第４の実施形態では、元来の色情報による補間値の置換を、必要な領域のみに適用する処理を示す。ただし、補間対象画素の補間値を、その画素に元来存在する色情報で完全に置き換えると、ナイキスト周波数レベルの微細構造が目立ちすぎてしまうことがあるので、第４の実施形態では、周囲の構造との滑らかさを保つため、上述した各実施形態で算出される補間値と、元来の色情報との平均値を、補間対象画素の補間値としている。以下、このように完全な置換、または、ある比率だけ置換して補間値を算出することをまとめて「置換補間」と称する。
【０１６４】
ここで、「置換補間」を適用すべき領域の説明を行う。
まず、「置換補間」が許容される領域として、完全に無彩色である領域が挙げられるが、このような領域には、第１の実施形態や第３の実施形態の「色判定処理」によって色分類指標BWに「ｚ」が設定された領域（完全無彩色部）が対応することが実験的に判明した。なお、色差の階調が０〜２５５で示される場合、色分類指標BWに「ｚ」が設定される領域に属する画素の色差を、２以下に厳しく制限しているので、「置換補間」は、最大の階調数に対して１％未満の色差を示す領域にのみ許可されていることになる。
【０１６５】
ただし、上述した各実施形態では、完全無彩色部における縦横類似性の判定は、異色間類似度を用いて行われており、このような判定によって類似性の強い方向が特定された領域の構造では、ナイキスト周波数よりも長い周期の微細構造である可能性が高く、このような微細構造の凹凸情報は、式５０〜式５５の補正項によって、補間値に反映されていると考えられる。
【０１６６】
すなわち、「置換補間」を必要とする領域は、完全彩色部のうち、類似性の強さが不明である領域（「類似性判定処理」によってcase5に分類された画素）に限られる。
【０１６７】
《Ｇ補間値を算出する処理》
以下、第４の実施形態の「Ｇ補間値を算出する処理」の説明を行う。
まず、画像処理部１１は、「色判定処理」（図５Ｓ１、Ｓ２、図１９Ｓ１〜Ｓ１１）と「類似性判定処理」（図６Ｓ１〜Ｓ５）とが完了すると、縦横類似性を示す指標HV[i,j]と斜め類似性を示す指標DN[i,j]とが如何なる値であるかを判定し、補間対象画素の類似性の強さを、第１の実施形態と同様にしてcase1〜case9の何れかに分類する。
【０１６８】
そして、画像処理部１１は、case1〜case4、case6〜case9に分類された補間対象画素に対しては、第１の実施形態の式４０〜式４３、式４５〜式４８のようにしてＧ補間値G[i,j]を算出する。
【０１６９】
一方、画像処理部１１は、case5に分類された補間対象画素に対しては、色判定の結果に応じて、完全無彩色部に分類されているか否かの判定（色分類指標BWに「ｚ」が設定されているか否かの判定に相当する）を行う。
【０１７０】
そして、画像処理部１１は、「case5に分類され、かつ、完全無彩色部に分類された画素」に対しては、以下に示す式８０のようにしてＧ補間値G[i,j]を算出することによって、「置換補間」を適用する。また、画像処理部１１は、「case5に分類され、かつ、完全無彩色部に分類されない画素」に対しては、第１の実施形態の式４４のようにしてＧ補間値G[i,j]を算出する。
G[i,j]=(Z[i,j]+(Gv+Gh))/2 ・・・式８０
ただし、Gv,Ghは、式５０,式５３によって算出される値である。
【０１７１】
以上説明したように、第４の実施形態では、適応的に「置換補間」を行うことによって、ナイキスト周波数レベルの微細構造を復元することができる。
【０１７２】
なお、第４の実施形態では、上述した各実施形態で算出される補間値と元来の色情報との平均値を、補間対象画素の補間値としているが、補間処理の完了後に緑色成分や輝度成分にローパスフィルタを掛ける場合には、平均化操作が行われるため、補間対象画素の補間値を元来存在する色情報で完全に置き換えても良い。
【０１７３】
−第５の実施形態−
以下、第５の実施形態の動作を説明する。
ただし、ＰＣ１８には、ＣＤ−ＲＯＭ２８などの記録媒体に記録された画像処理プログラム（上述した何れかの実施形態の画像処理部１１と同様にして補間処理を実行する画像処理プログラム）が予めインストールされているものとする。すなわち、ＰＣ１８内の不図示のハードディスクには、このような画像処理プログラムが不図示のＣＰＵによって実行可能な状態に格納されている。
【０１７４】
以下、図１を参照して第５の実施形態の動作を説明する。
まず、電子カメラ１は、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、撮像素子２１で生成されてアナログ信号処理部２２で所定のアナログ信号処理が施された画像信号を、Ａ／Ｄ変換部１０でディジタル化し、画像データとして、画像処理部１１に供給する。画像処理部１１は、このようにして供給された画像データに対して、階調変換やγ補正などの画像処理を行う。このような画像処理が完了した画像データは、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【０１７５】
次に、電子カメラ１は、操作部２４を介し、操作者によってＰＣ通信モードが選択された状態で、外部インタフェース部１９を介し、ＰＣ１８から画像データの転送が指示されると、その指示に対応する画像データを、メモリカード用インタフェース部１７を介してメモリカード１６から読み出す。そして、このようにして読み出した画像データを、外部インタフェース部１９を介してＰＣ１８に供給する。
【０１７６】
ＰＣ１８内の不図示のＣＰＵは、このようにして画像データが供給されると、前述した画像処理プログラムを実行する。なお、このような画像処理プログラムの実行によって補間処理が行われた画像データは、必要に応じて圧縮処理して不図示のハードディスクに記録したり、モニタ２６やプリンタ２７で採用されている表色系に変換して各々に供給しても良い。
【０１７７】
以上説明したように、第５の実施形態では、上述した何れかの実施形態と同様の補間処理をＰＣ１８によって行うことができる。
【０１７８】
なお、ＰＣ１８内の不図示のＣＰＵは、前述したように画像データが記録されたメモリカード１６が装着された場合、そのメモリカード１６から画像データを読み出し、前述した画像処理プログラムを実行しても良い。
【０１７９】
また、このような画像処理プログラムは、インターネットを介して所定のホームページにアクセスすることによって、ＰＣ１８にダウンロードされても良い。
【０１８０】
さらに、このような画像処理プログラムは、ＰＣ１８で実行せず、インターネット等を介して接続される遠隔地のサーバ等で実行しても良い。すなわち、ＰＣ１８は、電子カメラ１から供給される画像データを、インターネット等を介して、前述した画像処理プログラムが実行可能なサーバ等に転送するだけで、その画像データに、上述した何れかの実施形態と同様の補間処理を行うことができる。
【０１８１】
また、上述した各実施形態では、ＲＧＢ表色系で示され、かつ、各々の画素にＲ,Ｇ,Ｂの何れか１つの色成分の色情報が存在する画像に対する補間処理を説明したが、同様の補間処理は、他の表色系で示される画像にも適用できる。
【０１８２】
さらに、上述した各実施形態では、色成分が図２に示すように配列された画像データに対して補間処理を行う例を示したが、本発明が適用できる画像データは、図２に示した配列に限定されるものではない。
【０１８３】
ところで、上述した各実施形態では、画像復元処理のうち、補間処理について説明を行っており、最終的に、全ての画素にＲ,Ｇ,Ｂの３つの色成分の色情報が対応付けられることになるが、本発明は、補間処理に限定されず、ＲＧＢ表色系とは異なる表色系の色成分を、全ての画素に対応付ける画像復元処理に対しても同様に適用できる。
【０１８４】
例えば、後述するような第８の実施形態においては、全ての画素に、Ｙ,Ｃｂ,Ｃｒの３の色成分の色情報を対応付けられていることになる。そのため、このような状態では、ＲＧＢ表色系（画像復元処理の対象となる画像が示す表色系）とは異なる表色系（ここでは、ＹＣｂＣｒ表色系に相当する）の色成分を全ての画素に対応付ける画像復元処理に対し、本発明が適用されたことになる。
【０１８５】
すなわち、上述した各実施形態の「類似性判定処理」は、ＲＧＢ表色系を補間する画像復元処理だけでなく、他の表色系を構成する色成分を新たに生成する画像復元処理にも適用できることになる。
【０１８６】
また、第４の実施形態の「置換補間」に相当する処理についても、ＲＧＢ表色系を補間する画像復元処理だけでなく、他の表色系を構成する色成分を新たに生成する画像復元処理にも適用できることになる。
【０１８７】
例えば、Ｒ,Ｇ,Ｂの３つの色成分がベイア配列されて成る画像に対し、各々の画素にＹ,Ｃｂ,Ｃｒ成分を対応付ける画像復元処理においては、元来、赤色成分の色情報が存在する画素のＹ成分が周辺の緑色成分、青色成分を用いて「(R+2・G+B)/4」で算出される場合、「置換補間」に相当する処理を適用することは、Ｙ成分を「(2・R+G+B)/4」で算出することに相当する。すなわち、Ｇ成分の半分が、赤色成分の色情報に置き換えられることになる。
【０１８８】
以上説明した実施の形態の電子カメラでは、次のような効果を奏する。
復元値の生成の仕方を切り換えることによって、微細構造の復元と、偽構造や偽色などの瑕疵の抑制とが図られ、画像全体の調和を保った画像復元処理が行える。
【０１８９】
同一画素間色相値の精度を高めることによって、色指標の導出精度の向上が図られ、画像復元処理による偽色の発生を更に低減することができる。
【０１９０】
類似性の判定を色指標に応じて適応的に行って、復元値を生成することができるため、偽構造や偽色などの瑕疵の抑制効果が更に高められる。
【０１９１】
復元値を元来の色情報で適応的に置換することができるため、微細構造の復元の精度が向上される。
【０１９２】
画像復元処理における類似度の算出精度の向上が図られる。
【０１９３】
画像復元処理における補正を適応的に行うことによって、微細な色構造の破壊の回避と、偽色の発生の低減とが図られ、画像全体の調和を保った画像復元処理が行える。
【０１９４】
色指標の算出精度の向上が図られる。
【０１９５】
画像復元処理における補正を適正に行うことができると共に、過剰な補正による悪影響の発生を抑制することができる。
【０１９６】
画像復元処理における補正を適正に行うことができる。
【０１９７】
輝度指標の算出精度の向上が図られる。
【０１９８】
−第６の実施の形態−
（電子カメラの構成）
第６の実施の形態の電子カメラ１の構成は、第１の実施形態〜第４の実施形態に対応する電子カメラの機能ブロック図として説明した図１と同様であるのでその説明を省略する。
【０１９９】
（画像データの変換）
撮像素子２１を介して取得したＲＧＢ表色系の画像データを、ＧＣｒＣｂで表す画像データに変換する処理を説明する。撮像素子２１で撮像され、アナログ信号処理部２２、Ａ／Ｄ変換部１０を介して画像処理部１１に入力される画像データは、ベイア配列のＲＧＢ表色系で表され、前述した通り、１つの画素には１つの色成分しか含まれていない。以下、この画像データを変換前ＲＧＢ画像データとも言う。この変換前ＲＧＢ画像データを、各画素において輝度成分の情報Ｇ（輝度情報Ｇあるいは輝度信号Ｇと言う）と、色差成分（クロミナンス）の情報Ｃｒ、Ｃｂ（色差情報Ｃｒ、Ｃｂあるいは色差信号Ｃｒ、Ｃｂと言う）を含む画像データに変換する。変換後の画像データを変換後ＧＣｒＣｂ画像データと言う。図２１は、変換の概念を示す図であり、図２１（ａ）は第６の実施の形態における変換の概念図である。図２１（ｂ）は、後述する第８の実施の形態における変換の概念図である。なお、変換前ＲＧＢ画像データは、画素単位で色成分が分離されているので、空間的にスペクトル分離された多重スペクトル画像のデータと言うこともできる。
【０２００】
変換前ＲＧＢ画像データについて、図２（ａ）〜図２（ｄ）を使用して説明する。図２（ａ）〜図２（ｄ）は、変換対象画素にどの色成分が配置されているかによって周辺の画素にどの色成分が配置されているかを示している。変換対象画素の座標を[i,j]で表す。図２（ａ）は変換対象画素[i,j]にＲ成分の色情報を有する場合を示し、図２（ｂ）は変換対象画素[i,j]にＢ成分の色情報を有する場合を示す。図２（ｃ）は変換対象画素[i,j]にＧ成分の色情報を有し、縦方向に隣接する画素にＢ成分の色情報を有し横方向に隣接する画素にＲ成分の色情報を有する場合を示し、図２（ｄ）は変換対象画素[i,j]にＧ成分の色情報を有し、縦方向に隣接する画素にＲ成分の色情報を有し横方向に隣接する画素にＢ成分の色情報を有する場合を示している。
【０２０１】
変換前ＲＧＢ画像データにおいて、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と言う。
【０２０２】
図２２は、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。図２３は、処理の関係を説明するためのブロック図である。図２２、図２３を使用して、画像処理部１１が行う画像データ変換処理の概要を説明する。
【０２０３】
ステップＳ１では、ベイア面（図２３の１０１）、すなわち変換前ＲＧＢ画像データを入力する。ステップＳ２において、変換前ＲＧＢ画像データの各色成分の色情報を使用して、Ｃｒ、Ｃｂ面、すなわち色差情報Ｃｒ、Ｃｂをすべての画素において生成する（図２３の１０２）。このとき異色間類似度を使用して縦横方向判定１を行い（図２３の１０３）、縦横方向判定１に基づき色差情報Ｃｒ、Ｃｂを生成する。ステップＳ３では、色差情報Ｃｒ、Ｃｂを使用して色評価を行う（図２３の１０４）。色評価とは、該当画素が無彩色画素なのか、有彩色画素なのか、有彩色の場合はその彩色度がどの程度かなどの評価を行う。
【０２０４】
ステップＳ４において、Ｇ面、すなわち輝度情報Ｇをすべての画素において生成する。輝度情報Ｇを生成するとき、ステップＳ３で求められた色評価の結果に基づき、異色間類似度を使用した縦横方向判定１（図２３の１０３）を使用するのか、同色間類似度を使用した縦横方向判定２（図２３の１０５）を使用するのか選択する（図２３の１０６）。色評価の結果に基づいて選択された異色間類似度あるいは同色間類似度の縦横方向判定に基づき、輝度情報Ｇを生成する（図２３の１０７）。すなわち、類似性の縦横方向判定の結果に基づき、該当画素を含む局所領域内の色情報を使用しながら輝度情報Ｇを生成する。局所領域とは、例えば、数画素から数十画素数の範囲の領域である。ただし、１００画素を越えるような範囲であってもよい。すなわち、局所領域とは、画像全体に対して局所的と言えるような数の画素で構成される領域である。
【０２０５】
ステップＳ５において、ステップＳ２で生成された色差情報Ｃｒ、Ｃｂと、ステップＳ４で生成された輝度情報Ｇが、画像データとして出力され、各種の画像処理が施されたりメモリ等に格納されたりする。
【０２０６】
なお、変換前ＲＧＢ画像データの画素数と変換後ＧＣｒＣｂ画像データの画素数は同じであり、２次元平面において各画素の位置は１：１で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。説明の構成をまとめると以下のようになる。
（1．Ｃｒ、Ｃｂ面生成）
（1-1．縦横方向判定１）
（1-1-1．類似度の算出）
（1-1-1-1．異色間類似度）
（1-1-1-2．類似度の周辺加算）
（1-1-2．類似性判定）
（1-2．色差生成）
（1-2-1．Ｒ位置Ｃｒ面生成）
（1-2-2．Ｃｒ面補間）
（1-2-3．Ｂ位置Ｃｂ面生成、補間）
（2．色評価）
（2-1．色差補正）
（2-2．色指標の算出）
（2-3．色判定）
（3．Ｇ面生成）
（3-1．縦横方向判定２）
（3-1-1．類似度の算出）
（3-1-1-1．同色間類似度）
（3-1-1-2．類似度の周辺加算）
（3-1-2．類似性判定）
（3-2．方向指標の選択）
（3-3．Ｇの計算）
（4．カラー画像出力）
【０２０７】
以下、説明を開始する。
（1．Ｃｒ、Ｃｂ面生成）
（1-1．縦横方向判定１）
（1-1-1．類似度の算出）
（1-1-1-1．異色間類似度）
入力された変換前ＲＧＢ画像データの各色成分の色情報を使用して、異色間類似度の算出を行い、縦横方向判定１を行う。まず、Ｒ画素およびＢ画素において、「異色間類似度」を算出する。「異色間類似度」とは、変換対象画素を含む局所領域内の異なる色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の異色間類似度と横方向の異色間類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。色情報とは、撮像素子２１で取得された色信号を、所定の処理を行いデジタル化した値である。例えば、１バイト２５６階調で表される。
【０２０８】
画素の座標を[x,y]とし、変換対象画素の座標を[i,j]とする。Ｇ画素の色情報をG[x,y]、Ｒ画素の色情報をR[x,y]、Ｂ画素の色情報をB[x,y]、Ｒ画素の色情報あるいはＢ画素の色情報を代表してZ[x,y]とする。縦方向の異色間類似度Cv0[i,j]は式(101)により、横方向の異色間類似度Ch0[i,j]は式(102)により求めることができる。Ｒ画素の場合はGR間類似度成分、Ｂ画素の場合はGB間類似度成分を求める。ただし、ここで類似度成分とは、類似度を構成する色成分の組み合わせが異なるものを分類して表現するために用いている。
GR(GB)間類似度成分
Cv0[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ...(101)
Ch0[i,j]=(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2 ...(102)
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において縦方向の異色間類似度Cv0[x,y]、横方向の異色間類似度Ch0[x,y]を求める。
【０２０９】
なお、変換対象画素がＲ画素あるいはＢ画素の場合、縦方向横方向の異色画素はすぐ隣のＧ画素である（図２（ａ）、図２（ｂ））。すなわち、「異色間類似度」は、１画素ピッチで類似性を判定し、１画素ピッチで変化するナイキスト周波数レベルの微細構造におけるより正確な類似性判定を可能とする。
【０２１０】
（1-1-1-2．類似度の周辺加算）
次に、類似度の周辺加算を行う。上記で求めた縦方向の異色間類似度Cv0[x,y]、横方向の異色間類似度Ch0[x,y]を使用して、式(103)(104)の演算を行う。これは、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。
Cv[i,j]=(4*Cv0[i,j]
+2*(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16 ...(103)
Ch[i,j]=(4*Ch0[i,j]
+2*(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16 ...(104)
【０２１１】
（1-1-2．類似性判定）
次に、類似性判定を行う。上記で求めたCv[i,j]、Ch[i,j]を使用して、変換対象画素の類似性の判定を行う。すなわち、第６の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件(105)を満足するときは、縦横類似性が不明として方向指標HVd[i,j]=0をセットする。Th0は所定のしきい値であり、２５６階調のときは１０前後の値とする。すなわち、縦横の類似度間の差分がしきい値Th0以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。
|Cv[i,j]-Ch[i,j]|≦Th0 ...(105)
【０２１２】
条件(105)が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件(106)を満足するか否かを判定する。条件(106)を満足するときは、縦方向に類似性が強いとして、方向指標HVd[i,j]=1をセットする。条件(106)を満足しない場合は、横方向に類似性が強いとして方向指標HVd[i,j]=-1をセットする。なお、異色間類似度Cv[i,j]、Ch[i,j]は、値が小さいほど類似性が強いことを示している。
Cv[i,j]<Ch[i,j] ...(106)
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において方向指標HVd[x,y]を求める。
【０２１３】
（1-2．色差生成）
（1-2-1．Ｒ位置Ｃｒ面生成）
次に、Ｒ画素における色差情報Ｃｒ面生成について説明する。変換前ＲＧＢ画像データのＲ画素に対応する変換後ＧＣｒＣｂ画像データの画素の色差情報Ｃｒを求める。このとき、上記で求めた類似性の方向指標HVd[i,j]によって異なる式を使用する。HVd[i,j]=1のときは式(107)、HVd[i,j]=-1のときは式(108)、HVd[i,j]=0のときは式(109)を使用してCr[i,j]を求める。
Cr[i,j]=(2*R[i,j]+R[i,j-2]+R[i,j+2])/4-(G[i,j-1]+G[i,j+1])/2 ...(107)
Cr[i,j]=(2*R[i,j]+R[i-2,j]+R[i+2,j])/4-(G[i-1,j]+G[i+1,j])/2 ...(108)
Cr[i,j]=(4*R[i,j]+R[i,j-2]+R[i,j+2]+R[i-2,j]+R[i+2,j])/8
-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ...(109)
【０２１４】
（1-2-2．Ｃｒ面補間）
次に、Ｃｒ面の補間を行う。求めたＲ画素に対応する画素の色差情報Ｃｒを使用して、Ｂ画素、Ｇ画素に対応する画素の色差情報Ｃｒを補間処理によって求める。Ｂ画素に対応する画素の場合は式(110)、Ｇ画素で横方向にＲ画素が隣接する画素に対応する画素の場合は式(111)、Ｇ画素で縦方向にＲ画素が隣接する画素に対応する画素の場合は式(112)を使用して色差情報Ｃｒを求める。
Cr[i,j]=(Cr[i-1,j-1]+Cr[i-1,j+1]+Cr[i+1,j-1]+Cr[i+1,j+1])/4 ...(110)
Cr[i,j]=(Cr[i-1,j]+Cr[i+1,j])/2 ...(111)
Cr[i,j]=(Cr[i,j-1]+Cr[i,j+1])/2 ...(112)
【０２１５】
（1-2-3．Ｂ位置Ｃｂ面生成、補間）
色差情報Ｃｂについても、上記色差情報Ｃｒと同様にして求める。このようにして、変換後ＧＣｒＣｂ画像データの着目領域の画素の色差情報Ｃｒ、Ｃｂを求める。なお、上記により求めた色差情報Ｃｒ、Ｃｂは、変換前ＲＧＢ画像データについて、補間処理により着目領域の画素においてＲＧＢの色成分の色情報を求めた後に色差を求める場合と数学的には等価である。
【０２１６】
また、上記では異色間類似度のみで類似性判定した方向指標HVd[i,j]を用いた。これは、ナイキスト周波数近傍の偽色発生を大幅に抑制できるからである。
【０２１７】
（2．色評価）
（2-1．色差補正）
色評価に先立ち色差情報Ｃｒ、Ｃｂの補正を行う。色評価を正確に行うため、前述のようにして取得したＣｒ、Ｃｂの色差面に生じている色モアレを除去するためである。色差メディアンフィルタを使用してもよいが、第６の実施の形態では、以下の式(113)および図２４で示されるローパスフィルタを使用する。この処理は、色モアレを除去するという目的を高速に達成することができる。
TCr1[i,j]={4* Cr[i,j]+2*(Cr[i-2,j]+Cr[i+2,j]+Cr[i,j-2]+Cr[i,j+2])
+1*(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])}/16 ...(113)
TCb1[i,j]も同様にして求める。
【０２１８】
この様にして、色差情報Ｃｒ、Ｃｂは、画素単位で周辺構造を把握することにより、空間方向に方向性を持って分布していると想定される色差情報を画素単位の正確な階調として表された色差情報に変換して生成されている。従って、画像の構造的要因をほぼ完全に排除して、画像が実際に持つ色あいを画素単位で計ることのできるスカラー量となっている。色指標として色差情報Ｃｒが示すRG間の色差と、色差情報Ｃｂが示すBG間の色差は既に求まっているが、画素単位のスカラー量であるため更にRB間の色差も評価することができる。これにより、極めて人間の視覚的判断に近い色評価が行える。
【０２１９】
（2-2．色指標の算出）
次に、色指標Cdiffの導出式(114)を示す。
Cdiff[i,j]=(|TCr1[i,j]|+|TCb1[i,j]|+|TCr1[i,j]-TCb1[i,j]|)/3 ...(114)
【０２２０】
これにより、従来技術の色レベルの評価で問題となっていた実際の色と構造的要因に伴う撹乱要因を分離し、かつ全色成分間の色差を評価することで、非常に正確な色指標を手にすることができる。なお、ここでも更に色指標の精度を上げるため、類似度の周辺加算で行ったようなことを色指標について行ってもよい。
【０２２１】
（2-3．色判定）
次に、色判定を行う。上記連続的色指標Cdiff[i,j]を、条件(115)〜(118)を満足するか否かのしきい値判定して、離散的色指標BW[i,j]の色判定結果に変換する。しきい値は256階調のときThza=2、Thab=5、Thbc=15程度の値とする。
Cdiff[i,j]≦Thza ...(115)
Thza＜Cdiff[i,j]≦Thab ...(116)
Thab＜Cdiff[i,j]≦Thbc ...(117)
Thbc＜Cdiff[i,j] ...(118)
【０２２２】
条件(115)を満足する場合は、完全無彩色部として、BW[i,j]='z'をセットする。条件(116)を満足する場合は、無彩色部として、BW[i,j]='a'をセットする。条件(117)を満足する場合は、低彩色部として、BW[i,j]='b'をセットする。条件(118)を満足する場合は、彩色部として、BW[i,j]='c'をセットする。
【０２２３】
（3．Ｇ面生成）
（3-1．縦横方向判定２）
（3-1-1．類似度の算出）
（3-1-1-1．同色間類似度）
次に、上記に求めた色指標BW[i,j]を使用して、変換後ＧＣｒＣｂ画像データの輝度情報Ｇを求める。まず、変換前ＲＧＢ画像データのＲ画素およびＢ画素において、「同色間類似度」を算出する。「同色間類似度」とは、変換対象画素を含む局所領域内の同一色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の同色間類似度と横方向の同色間類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。
【０２２４】
変換対象画素に隣接するＧ画素の色情報より、縦方向のGG間類似度成分Cv1[i,j]を式(119)により求め、横方向のGG間類似度成分Ch1[i,j]を式(120)により求める。
Cv1[i,j]=|G[i,j-1]-G[i,j+1]| ...(119)
Ch1[i,j]=|G[i-1,j]-G[i+1,j]| ...(120)
【０２２５】
変換対象画素およびＧ画素と異なる色成分を有する画素の色情報より、縦方向のBB(RR)間類似度成分Cv2[i,j]を式(121)により求め、横方向のBB(RR)間類似度成分Ch2[i,j]を式(122)より求める。
Cv2[i,j]=(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+1,j-1]-Z[i+1,j+1]|)/2 ...(121)
Ch2[i,j]=(|Z[i-1,j-1]-Z[i+1,j-1]|+|Z[i-1,j+1]-Z[i+1,j+1]|)/2 ...(122)
【０２２６】
上記で求めた縦方向のGG間類似度成分Cv1[i,j]と縦方向のBB(RR)間類似度成分Cv2[i,j]を式(123)に代入して、変換対象画素[i,j]の縦方向の同色間類似度Cv0[i,j]を求める。また、横方向のGG間類似度成分Ch1[i,j]と横方向のBB(RR)間類似度成分Ch2[i,j]を式(124)に代入して、変換対象画素[i,j]の横方向の同色間類似度Ch0[i,j]を求める。
Cv0[i,j]=(Cv1[i,j]+Cv2[i,j])/2 ...(123)
Ch0[i,j]=(Ch1[i,j]+Ch2[i,j])/2 ...(124)
【０２２７】
（3-1-1-2．類似度の周辺加算）
次に、類似度の周辺加算を行う。上記で求めた縦方向の同色間類似度Cv0[x,y]、横方向の同色間類似度Ch0[x,y]を使用して、式(125)(126)の演算を行う。これは、前述した異色間類似度と同様に、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。
Cv[i,j]=(4*Cv0[i,j]
+2*(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16 ...(125)
Ch[i,j]=(4*Ch0[i,j]
+2*(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16 ...(126)
【０２２８】
（3-1-2．類似性判定）
次に、類似性判定を行う。上記で求めたCv[i,j]、Ch[i,j]を使用して、前述した異色間類似性判定と同様に、変換対象画素の同色間類似性の判定を行う。第６の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件(127)を満足するときは、縦横類似性が不明として方向指標HVs[i,j]=0をセットする。Th1は所定のしきい値であり、２５６階調のとき異色間類似度のTh0と同程度の１０前後の値とする。すなわち、縦横の類似度間の差分がしきい値Th1以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。
|Cv[i,j]-Ch[i,j]|≦Th1 ...(127)
【０２２９】
条件(127)が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件(128)を満足するか否かを判定する。条件(128)を満足するときは、縦方向に類似性が強いとして、方向指標HVs[i,j]=1をセットする。条件(128)を満足しない場合は、横方向に類似性が強いとして方向指標HVs[i,j]=-1をセットする。なお、同色間類似度Cv[i,j]、Ch[i,j]は、値が小さいほど類似性が強いことを示している。
Cv[i,j]<Ch[i,j] ...(128)
【０２３０】
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において方向指標HVs[x,y]を求める。
【０２３１】
（3-2．方向指標の選択）
次に、方向指標の選択を行う。前述した色判定結果に基づいて、異色間類似度による方向判定結果と同色間類似度による方向判定結果を使い分ける。BW[i,j]が'z'あるいは'a'であるとき、HV[i,j]=HVd[i,j]とする。BW[i,j]が'b'あるいは'c'のときHV[i,j]=HVs[i,j]とする。すなわち、色判定が完全無彩色'z'あるいは無彩色'a'であるとき、異色間類似度で判定された方向指標HVd[i,j]を使用する。また、色判定が低彩色'b'あるいは彩色'c'であるとき、同色間類似度で判定された方向指標HVs[i,j]を使用する。
【０２３２】
無彩色の場合、画素の色情報は、色合いの差は反映されずほぼ明度の差で値が変化すると考えられる。従って、１画素ピッチで類似性を判定する異色間類似度が、微細構造におけるより正確な類似性判定を可能とする。有彩色の場合は、画素の色情報は、色合いの差によってもその値が変化する。そのため、カラーフィルタの色が異なるとその測定値は変化し、異色間類似度では類似性が正確に判定できない。従って、有彩色の場合には、同色間類似度で類似性を判定するのが適している。
【０２３３】
（3-3．Ｇの計算）
上述した方向指標に基づいて、変換前ＲＧＢ画像データのＲ画素あるいはＢ画素に対応する画素[i,j]における輝度情報ＧすなわちG[i,j]を求める。すなわち、Ｒ画素あるいはＢ画素における欠落するＧ成分の色情報を補間処理により求める。方向指標HV[i,j]=1のとき、すなわち縦方向に類似性が強いと判断されたとき、式(129)を使用してG[i,j]を求める。方向指標HV[i,j]=-1のとき、すなわち横方向に類似性が強いと判断されたとき、式(130)を使用してG[i,j]を求める。方向指標HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式(131)を使用してG[i,j]を求める。
G[i,j]=(G[i,j-1]+G[i,j+1])/2+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ...(129)
G[i,j]=(G[i-1,j]+G[i+1,j])/2+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ...(130)
G[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4*Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 ...(131)
【０２３４】
（4．カラー画像出力）
以上のようにして、各画素について色差情報Ｃｒ、Ｃｂ、輝度情報Ｇ、すなわちCr[i,j]、Cb[i,j]、G[i,j]が求まるので、所望のカラー画像データに変換が完了する。変換後ＧＣｒＣｂ画像データは、メモリ１３に格納され、偽色低減処理や色補正など各種の画像処理が施されてもよい。さらに、メモリカード１６に格納する場合もある。メモリカード１６に格納する場合は、所定の表色変換処理や圧縮処理（ＪＰＥＧ）が施される場合もある。なお、初めにメモリ１３に格納される色差情報Cr[i,j]、Cb[i,j]は、（1-2．色差生成）で生成したものをそのまま使用する。
【０２３５】
ＲＧＢ表色系の画像データ、すなわち、着目領域の各画素においてＲＧＢすべての色成分の色情報が必要な画像データとする場合は、式(132)(133)を使用してR[i,j]、B[i,j]を求める。G[i,j]は上記で求めたものを使用する。
R[i,j]=Cr[i,j]+G[i,j] ...(132)
B[i,j]=Cb[i,j]+G[i,j] ...(133)
【０２３６】
このように、第６の実施の形態では、色差情報を画素単位で正確に求め、求めた画素単位の色差情報を使用して画素単位に色評価を行う。そのため、画像の構造的要因による影響を取り除いた画素単位での正確な色評価を行うことができる。すなわち、画素単位で画像の周辺構造を正確に把握し、最も類似していると思われる方向から色差情報が重みづけして集められる。従って、漫然と画像構造を見ずにあらゆる方向の画素間差分から色差情報を生成した場合に比べ、類似性の低い方向からの偽色要因となる色差情報が排除されている。そのため、色指標は画像の構造的要因に伴う攪乱の影響を受けない。
【０２３７】
その結果、視覚的な影響の大きい輝度情報に対して、異色間類似度と同色間類似度を正しく使い分けることができ、ナイキスト周波数解像と彩色部における解像が両立した高画質なカラー画像への変換、復元が可能となる。また、先に色差面を生成し、それを色評価に用いて輝度(G)面生成に利用する手順を踏むため、従来、独立にベイア面から計算していた信頼性の低い色レベル算出を不要とし、簡便で高速に動作する処理を実現できる。また、先に生成した色差面の色差情報をそのまま画像データ出力に使用するため、新たに色差情報を生成しなおす必要がなく、処理が速くなる。
【０２３８】
−第７の実施の形態−
第７の実施の形態は、光学系の色収差を含んだ画像や色変動の激しい画像に対しても有効なアルゴリズムを示す。第７の実施の形態の電子カメラ１の構成は、第１の実施形態〜第４の実施形態に対応する電子カメラの機能ブロック図として説明した図１と同様であるのでその説明を省略する。画像変換処理について、第６の実施の形態と異なる部分を中心に説明する。
【０２３９】
画像処理部１１が行う画像データ変換処理の概要を示すフローチャートは、第６の実施の形態の図２２と同様である。ただし、ステップＳ４のＧ面生成およびステップＳ５のＧＣｒＣｂ面出力において、その内容が異なる。ステップＳ４のＧ面生成において、すなわち、第６の実施の形態で説明した（3．Ｇ面生成）において、（3-1．縦横方向判定２）（3-2．方向指標の選択）までは、第６の実施の形態と同様である。異なる点は、（3-3．Ｇの計算）において、斜め方向の類似性を考慮に入れて輝度情報Ｇを生成するところである。従って、第７の実施の形態では、第６の実施の形態の（3-3．Ｇの計算）の前に、新たに（3-3．斜め方向判定）を行い、その後（3-4．Ｇの計算）を行う。
【０２４０】
図２５は、第７の実施の形態における処理の関係を説明するためのブロック図である。第６の実施の形態と異なるところは、斜め方向判定２０１が追加され、斜め方向判定２０１の出力ＤＮと選択器１０６の出力ＨＶと色評価１０４の結果ＢＷとが輝度生成２０２に接続されているところである。これは、輝度生成（Ｇの計算）２０２において、斜め方向判定と縦横方向判定の組み合わせによりきめの細かい方向判定を行い、そのきめの細かい判定結果に応じた計算式を使用するためである。また、方向判定がつかない部分についてもさらに輝度解像を上げるために、色評価１０４の結果ＢＷも参照して計算式を選択するためである。以下、その詳細について説明する。
【０２４１】
第７の実施の形態の（3．Ｇ面生成）は、以下の構成となる。
（3．Ｇ面生成）
（3-1．縦横方向判定２）
（3-1-1．類似度の算出）
（3-1-1-1．同色間類似度）
（3-1-1-2．類似度の周辺加算）
（3-1-2．類似性判定）
（3-2．方向指標の選択）
（3-3．斜め方向判定）
（3-3-1．類似度の算出）
（3-3-1-1．類似度）
（3-3-1-2．類似度の周辺加算）
（3-3-2．類似性判定）
（3-4．Ｇの計算）
【０２４２】
以下、説明を開始する。
（3-3．斜め方向判定）
（3-3-1．類似度の算出）
（3-3-1-1．類似度）
変換前ＲＧＢ画像データのＲ画素あるいはＢ画素において、注目画素を含む局所領域内の画素情報を使用して、斜め方向の類似性を判定する。斜め方向とは、斜め４５度、斜め１３５度の方向である。図１４で示すと、斜め４５度は[HV,DN]=[0,1]の方向で、斜め１３５度は[HV,DN]=[0,-1]の方向である。図１４については、さらに後述する。画素の座標を[x,y]とし、変換対象画素の座標を[i,j]とする。Ｇ画素の色情報をG[x,y]、Ｒ画素の色情報をR[x,y]、Ｂ画素の色情報をB[x,y]、Ｒ画素の色情報あるいはＢ画素の色情報を代表してZ[x,y]とする。
【０２４３】
まず、４５度方向のBR(RB)間類似度成分C45_1を式(140)により、１３５度方向のBR(RB)間類似度成分C135_1を式(141)により、４５度方向のGG間類似度成分C45_2を式(142)により、１３５度方向のGG間類似度成分C135_2を式(143)により、４５度方向のBB(RR)間類似度成分C45_3を式(144)により、１３５度方向のBB(RR)間類似度成分C135_3を式(145)により求める。
BR(RB)間類似度成分
C45_1=(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2 ...(140)
C135_1=(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2 ...(141)
GG間類似度成分
C45_2=(|G[i,j-1]-G[i-1,j]|+|G[i+1,j]-G[i,j+1]|)/2 ...(142)
C135_2=(|G[i,j-1]-G[i+1,j]|+|G[i-1,j]-G[i,j+1]|)/2 ...(143)
BB(RR)間類似度成分
C45_3=|Z[i+1,j-1]-Z[i-1,j+1]| ...(144)
C135_3=(|Z[i-1,j-1]-Z[i+1,j+1]| ...(145)
BR(RB)間類似度成分は、対象画素[i,j]と斜め方向にある異色画素との間の類似度を計算し、GG間類似度成分は、対象画素周辺の斜め方向にあるＧ画素同士の類似度を計算し、BB(RR)間類似度成分は、対象画素を挟んで斜め方向にある同色画素の類似度を計算するものである。
【０２４４】
上記式(140)〜(145)で求めたC45_1、C135_1、C45_2、C135_2、C45_3、C135_3を使用して、４５度方向の類似度C45_0[i,j]を式(146)により求め、１３５度方向の類似度C135_0[i,j]を式(147)により求める。ただし、定数a1,a2,a3の値は、a1=a2=a3=1やa1=a2=2,a3=1などに設定するとよい。
C45_0[i,j]=(a1*C45_1+a2*C45_2+a3*C45_3)/(a1+a2+a3) ...(146)
C135_0[i,j]=(a1*C135_1+a2*C135_2+a3*C135_3)/(a1+a2+a3) ...(147)
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において、４５度方向の類似度C45_0[x,y]、１３５度方向の類似度C135_0[x,y]を求める。
【０２４５】
（3-3-1-2．類似度の周辺加算）
次に、類似度の周辺加算を行う。上記で求めた４５度方向の類似度C45_0[x,y]、１３５度方向の類似度C135_0[x,y]を使用して、式(103)(104)の演算を行う。これは、縦横方向の類似度と同様に、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。
C45[i,j]=(4*C45_0[i,j]+2*(C45_0[i-1,j-1]+C45_0[i+1,j-1]
+C45_0[i-1,j+1]+C45_0[i+1,j+1])+C45_0[i,j-2]
+C45_0[i,j+2]+C45_0[i-2,j]+C45_0[i+2,j])/16 ...(147)
C135[i,j]=(4*C135_0[i,j]+2*(C135_0[i-1,j-1]+C135_0[i+1,j-1]
+C135_0[i-1,j+1]+C135_0[i+1,j+1])+C135_0[i,j-2]
+C135_0[i,j+2]+C135_0[i-2,j]+C135_0[i+2,j])/16 ...(147)
【０２４６】
（3-3-2．類似性判定）
次に、類似性判定を行う。上記で求めたC45[i,j]、C135[i,j]を使用して、変換対象画素の類似性の判定を行う。ここでは、４５度方向に類似性が強いか、１３５度方向に類似性が強いか、４５度方向１３５度方向の判定は不能かの判定を行う。具体的には、条件(148)を満足するときは、４５度方向１３５度方向の判定は不能として方向指標DN[i,j]=0をセットする。Th2は所定のしきい値であり、縦横方向判定のTh0、Th1と同程度の値とする。例えば、２５６階調のときは１０前後の値とする。４５度方向１３５度方向の類似度間の差分がしきい値Th2以下であれば、４５度方向に類似性が強いのか、１３５度方向に類似性が強いのか判定できないことを意味する。
|C45[i,j]-C135[i,j]|≦Th2 ...(148)
【０２４７】
条件(148)が満足しない場合、すなわち、４５度方向１３５度方向どちらかの方向の類似性が判定できる場合は、条件(149)を満足するか否かを判定する。満足するときは、４５度方向に類似性が強いとして、方向指標DN[i,j]=1をセットする。条件(149)を満足しない場合は、１３５度方向に類似性が強いとして方向指標DN[i,j]=-1をセットする。なお、類似度C45[i,j]、C135[i,j]は、値が小さいほど類似性が強いことを示している。
C45[i,j]<C135[i,j] ...(149)
【０２４８】
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において斜め方向指標DN[x,y]を求める。
【０２４９】
（3-4．Ｇの計算）
上述した縦横方向指標HV[i,j]および斜め方向指標DN[i,j]に基づいて、変換前ＲＧＢ画像データのＲ画素あるいはＢ画素に対応する画素[i,j]における輝度情報ＧすなわちG[i,j]を求める。すなわち、Ｒ画素あるいはＢ画素における欠落するＧ成分の色情報を補間処理により求めることになる。この縦横方向指標HV[i,j]および斜め方向指標DN[i,j]の組み合わせにより、類似性の方向が９通りに分類できる。第１の実施の形態で説明した図１４を参照のこと。図１４では、方向指標[HV,DN]で示している。なお、方向指標[0,0]は、縦横斜めいずれの方向にも類似性がない（すなわち孤立点）、もしくはいずれの方向にも類似性がある（すなわち平坦部）ことを示す。
【０２５０】
方向指標[HV,DN]、すなわち類似性の方向に応じて、以下に示すように式(150)〜(159)から１つを選択してG[i,j]を計算する。なお、方向指標[0,0]の場合は、さらに、（2-3．色判定）で求めた色指標BW[i,j]を考慮に入れて計算式を選択する。ただし、簡略性を優先する場合は省いてもよい。BW[i,j]='z'、すなわち、色判定が完全無彩色の場合は、式(151)を使用せず式(150)を使用する。これは、式(151)が使用する式(160)(163)の２項目以降の補正項が２画素ピッチに基づく補正となっているため、式(151)を使用すると白黒ナイキストチェックパターンなどの画像を正確に補正できないためである。言い換えると、式(150)と式(151)を使い分けることにより、色指標BW[i,j]に基づき対象画素の色情報と周辺画素の色情報の加算比率あるいは構成比率を変更していると言える。図２６は、変換対象画素がＲ画素の場合において、方向指標に応じて使用する画素の位置およびその色成分を図示する図である。
方向指標[ 0, 0]、BW[i,j]='z'のとき式(150)を使用する。
方向指標[ 0, 0]、BW[i,j]≠'z'のとき式(151)を使用する。
方向指標[ 0, 1]のとき式(152)を使用する。
方向指標[ 0,-1]のとき式(153)を使用する。
方向指標[ 1, 0]のとき式(154)を使用する。
方向指標[ 1, 1]のとき式(155)を使用する。
方向指標[ 1,-1]のとき式(156)を使用する。
方向指標[-1, 0]のとき式(157)を使用する。
方向指標[-1, 1]のとき式(158)を使用する。
方向指標[-1,-1]のとき式(159)を使用する。
G[i,j]={Z[i,j]+(Gv+Gh)/2}/2 ...(150)
G[i,j]=(Gv+Gh)/2 ...(151)
G[i,j]=(Gv45+Gh45)/2 ...(152)
G[i,j]=(Gv135+Gh135)/2 ...(153)
G[i,j]=Gv ...(154)
G[i,j]=Gv45 ...(155)
G[i,j]=Gv135 ...(156)
G[i,j]=Gh ...(157)
G[i,j]=Gh45 ...(158)
G[i,j]=Gh135 ...(159)
【０２５１】
ここで、Gv、Gh、Gv45、Gh45、Gv135、Gh135は、以下の式(160)〜(165)により求める。
Gv=(G[i,j-1]+G[i,j+1])/2
+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2*G[i-1,j]-G[i-1,j-2]-G[i-1,j+2]
+2*G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/16 ...(160)
Gv45=(G[i,j-1]+G[i,j+1])/2
+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2*Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3]
+2*Z[i+1,j-1]-Z[i+1,j-3]-Z[i+1,j+1])/16 ...(161)
Gv135=(G[i,j-1]+G[i,j+1])/2
+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2*Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1]
+2*Z[i+1,j+1]-Z[i+1,j-1]-Z[i+1,j+3])/16 ...(162)
Gh=(G[i-1,j]+G[i+1,j])/2
+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2*G[i,j-1]-G[i-2,j-1]-G[i+2,j-1]
+2*G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/16 ...(163)
Gh45=(G[i-1,j]+G[i+1,j])/2
+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2*Z[i+1,j-1]-Z[i-1,j-1]-Z[i+3,j-1]
+2*Z[i-1,j+1]-Z[i-3,j+1]-Z[i+1,j+1])/16 ...(164)
Gh135=(G[i-1,j]+G[i+1,j])/2
+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2*Z[i-1,j-1]-Z[i-3,j-1]-Z[i+1,j-1]
+2*Z[i+1,j+1]-Z[i-1,j+1]-Z[i+3,j+1])/16 ...(165)
【０２５２】
上記式(160)〜(165)の説明をする。Ｒ画素における処理と考えた場合、一つ目の括弧はＧ成分平均項、二つ目の括弧はＲ成分補正項、三つ目の括弧はＢ(Ｇ)成分補正項と呼ぶことができる。色変動が激しい場所では、Ｒ成分補正項が階調方向に過補正を起こす可能性があるが、Ｂ(Ｇ)成分補正項が階調方向に逆位相の役割を果たすため、過補正を防ぐことができる。一方、色収差がある場合、R成分補正項が空間的にずれてしまうが、Ｂ(Ｇ)成分補正項がその逆位相の方向にずれて互いに相殺し合い、色収差の影響を防ぐことができる。
【０２５３】
また、方向指標[HV,DN]=[0,0]の完全に方向類似性不明の箇所で、色評価によって完全無彩色が仮定されうる場合、Ｇ成分生成時の中心画素と周辺画素との寄与率を変更すれば、ナイキスト周波数のチェックパターン模様も解像するようになる。
【０２５４】
従って、第７の実施の形態では、優れたナイキスト周波数解像と彩色部における解像の両立する高画質なカラー画像への変換、復元が可能となる。さらに、色変動の激しい画像や光学系の色収差を含むような画像に対しても耐性の強いカラー画像への変換、復元が可能となる。また、ソフトウェア処理としては十分高速に動作することが確認されている。
【０２５５】
−第８の実施の形態−
第６の実施の形態や第７の実施の形態では、補間処理の考え方を採用してＧ面生成を行った。しかし、第８の実施の形態では、第６の実施の形態や第７の実施の形態とは異なる別方式で輝度情報を生成する例を示す。
【０２５６】
第８の実施の形態の電子カメラ１の構成は、第１の実施形態〜第４の実施形態に対応する電子カメラの機能ブロック図として説明した図１と同様であるのでその説明を省略する。図２７は、第８の実施の形態において、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。ステップＳ１〜Ｓ３は、第６の実施の形態の図２２と同様である。ステップＳ１４のＹ面生成およびステップＳ１５のＹＣｒＣｂ面出力は、第６の実施の形態と異なる。すなわち、第６の実施の形態および第７の実施の形態のステップＳ４のＧ面生成が、第８の実施の形態ではステップＳ１４のＹ面生成となり、ステップＳ５のＧＣｂＣｒ面出力がステップＳ１５のＹＣｂＣｒ面出力となる。図２１（ｂ）に変換の概念を示す。
【０２５７】
ただし、ステップＳ１４のＹ面生成において、上述した第７の実施の形態の（3．Ｇ面生成）における（3-1．縦横方向判定２）（3-2．方向指標の選択）（3-3．斜め方向判定）は、第８の実施の形態においても同様である。従って、第７の実施の形態と異なる（Ｙの計算）、および、新たに追加された処理（エッジ強調）について説明する。さらに、ＹＣｂＣｒ面出力、すなわち（カラー画像出力）について説明する。第８の実施の形態における処理の関係のブロック図は、第７の実施の形態の図２５と同様である。
【０２５８】
第８の実施の形態の（3．Ｙ面生成）（4．カラー画像出力）は、以下の構成となる。
（3．Ｙ面生成）
（3-1．縦横方向判定２）
（3-1-1．類似度の算出）
（3-1-1-1．同色間類似度）
（3-1-1-2．類似度の周辺加算）
（3-1-2．類似性判定）
（3-2．方向指標の選択）
（3-3．斜め方向判定）
（3-3-1．類似度の算出）
（3-3-1-1．類似度）
（3-3-1-2．類似度の周辺加算）
（3-3-2．類似性判定）
（3-4．Ｙの計算）
（3-5．エッジ強調）
（4．カラー画像出力）
【０２５９】
以下、説明を開始する。
（3-4．Ｙの計算）
第８の実施の形態の輝度情報Ｙの計算は、第６の実施の形態や第７の実施の形態のＧ面生成ではなく、ベイア面を直接加重加算して輝度Ｙ面を生成する方式である。すなわち、補間処理がまだ行われていない変換前ＲＧＢ画像データの各色の色情報を使用して、輝度情報Ｙを直接生成するものである。変換前ＲＧＢ画像データ（ベイア面のデータ）の任意の色情報をA[x,y]で表すことにする。
【０２６０】
上述した縦横方向指標HV[i,j]および斜め方向指標DN[i,j]に基づいて、変換前ＲＧＢ画像データのＲ画素あるいはＢ画素に対応する画素[i,j]における輝度情報ＹすなわちY[i,j]を求める。この縦横方向指標HV[i,j]および斜め方向指標DN[i,j]の組み合わせにより、類似性の方向が９通りに分類できるのは、第７の実施の形態と同様である（図１４）。
【０２６１】
方向指標[HV,DN]、すなわち類似性の方向に応じて、以下に示すように式(170)〜(179)の１つを選択してY[i,j]を計算する。なお、方向指標[0,0]の場合は、第７の実施の形態と同様に、さらに、（2-3．色判定）で求めた色指標BW[i,j]を考慮に入れて計算式を選択する。ただし、簡略性を優先する場合は省いてもよい。
【０２６２】
変換対象画素[i,j]がＧ画素のときは式(170)を使用し、変換対象画素[i,j]がＧ画素以外のときは以下の方向指標に応じた式(171)〜(180)のいずれかの式を使用する。なお、図２８は、変換対象画素がＧ画素の場合において、使用する画素の位置およびその係数（Ｇ位置の輝度生成係数パターン）を図示する図である。図２９は、変換対象画素がＲ画素あるいはＢ画素の場合において、方向指標に応じて使用する画素の位置およびその係数（Ｒ、Ｂ位置の輝度生成係数パターン）を図示する図である。
方向指標[ 0, 0]、BW[i,j]='z'のとき式(171)を使用する。
方向指標[ 0, 0]、BW[i,j]≠'z'のとき式(172)を使用する。
方向指標[ 0, 1]のとき式(173)を使用する。
方向指標[ 0,-1]のとき式(174)を使用する。
方向指標[ 1, 0]のとき式(175)を使用する。
方向指標[ 1, 1]のとき式(176)を使用する。
方向指標[ 1,-1]のとき式(177)を使用する。
方向指標[-1, 0]のとき式(178)を使用する。
方向指標[-1, 1]のとき式(179)を使用する。
方向指標[-1,-1]のとき式(180)を使用する。
Y[i,j]=YG ...(170)
Y[i,j]=YRBUNIa ...(171)
Y[i,j]=YRBUNIb ...(172)
Y[i,j]=YRB45 ...(173)
Y[i,j]=YRB135 ...(174)
Y[i,j]=YRBv ...(175)
Y[i,j]=YRBv45 ...(176)
Y[i,j]=YRBv135 ...(177)
Y[i,j]=YRBh ...(178)
Y[i,j]=YRBh45 ...(179)
Y[i,j]=YRBh135 ...(180)
【０２６３】
ここで、上記YG、YRBUNIa、YRBUNIb、YRB45、YRB135、YRBv、YRBv45、YRBv135、YRBh、YRBh45、YRBh135は、以下の式(181)〜(191)で表される。
YG=α*A[i,j]
+(β/4)*{A[i-1,j]+A[i+1,j]+A[i,j-1]+A[i,j+1]} ...(181)
YRBUNIa=p*A[i,j]+q*YRBUNIb ...(182)
YRBUNIb=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(183)
YRB45=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(184)
YRB135=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{s1*A[i-1,j-1] +s2*A[i+1,j+1]} ...(185)
YRBv=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(186)
YRBv45=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(187)
YRBv135=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{s1*A[i-1,j-1]+s2*A[i+1,j+1]} ...(188)
YRBh=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(189)
YRBh45=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(190)
YRBh135=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{s1*A[i-1,j-1]+s2*A[i+1,j+1]} ...(191)
【０２６４】
ただし、上記定数（係数）には以下の制約条件(192)が付く。また、これらは全て正または零の値をとる。
α+β=1,p+q=1,u1+u2=1,v1+v2=1,s1+s2=1,t1+t2=1 ...(192)
【０２６５】
一般的に好ましい定数の設定には以下のような例がある。
u1≒u2,v1≒v2,s1≒s2,t1≒t2
(α,β)=(1/3,2/3),(4/9,5/9),(5/11,6/11),(1/2,1/2),(5/9,4/9),
(3/5,2/5),(2/3,1/3)
(p,q)=(1/3,2/3),(1/2,1/2)
【０２６６】
定数α,βは、輝度に占めるR,G,B比率を決めるパラメータで、Y=α*G+β*(R+B)/2の関係にある。定数p,qは、輝度値に含まれる中心画素と周辺画素の色情報構成比率を変更するパラメータであり、YRBUNIaはナイキスト周波数のチェックパターンを解像する役割を果たす。
【０２６７】
（3-5．エッジ強調）
上述したＹ面は、微細構造を保持して極めて滑らかに連結した画像が出来上がる。従って、エッジ強調処理をする場合は、方向性を考慮しなくてもよい簡略な固定フィルタを通すだけでよい。エッジ強調のフィルターとして、式(193)および図３０で示すラプラシアンの例を示す。さらに、式(194)の演算を行い最終的な輝度情報Ｙを求める。式(194)における定数Kは正の値をとり、通常1以上に設定する。
YH[i,j]={8*Y[i,j]-(Y[i-1,j]+Y[i+1,j]+Y[i,j-1]+Y[i,j+1]
+Y[i-1,j-1]+Y[i+1,j-1]+Y[i-1,j+1]+Y[i+1,j+1])}/16 ...(193)
Y[i,j]=Y[i,j]+K*YH[i,j] ...(194)
【０２６８】
（4．カラー画像出力）
以上により、各画素についてCr[i,j]、Cb[i,j]、Y[i,j]が求まるので、ＹＣｒＣｂ表色系のカラー画像データが出来上がる。この後に、何らかの色差補正処理等、各種の画像処理を施してもよい。また、このＹＣｂＣｒ画像データからＲＧＢ表色系に変換する場合は、以下の式(195)〜(197)を使用して計算する。これにより、着目領域の画素にＲ、Ｇ、Ｂすべての色成分の色情報を有するＲＧＢ表色系の画像データを生成することができる。
R[i,j]=Y[i,j]+(1-β/2)*Cr[i,j]-(β/2)*Cb[i,j] ...(195)
G[i,j]=Y[i,j]-(β/2)*Cr[i,j]-(β/2)*Cb[i,j] ...(196)
B[i,j]=Y[i,j]-(β/2)*Cr[i,j]+(1-β/2)*Cb[i,j] ...(197)
【０２６９】
第８の実施の形態においても、正確な方向判定結果を用いた輝度面生成により、色収差を含むあらゆる種類の画像に対し、優れたナイキスト周波数解像と彩色部における解像の両立する高画質なカラー画像への変換、復元を可能とする。さらに、第８の実施の形態でもソフトウェア処理としては十分高速に動作することが確認されている。
【０２７０】
−第９の実施の形態−
第９の実施の形態では、第６の実施の形態で求めた色差補正１とは別に、色差補正１とは異なる色差補正２を計算し、色判定の結果に基づき最終的に出力する色差面に対する色差補正を使い分けるものである。これにより、輝度面とは独立して、偽色が少なく色忠実性の高い色差面を生成することが可能となる。
【０２７１】
第９の実施の形態の電子カメラ１の構成は、第１の実施形態〜第４の実施形態に対応する電子カメラの機能ブロック図として説明した図１と同様であるのでその説明を省略する。図３１は、第９の実施の形態において、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。ステップＳ１〜Ｓ３およびステップＳ４、Ｓ５は、第６の実施の形態の図２２と同様である。しかし、ステップＳ３とステップＳ４の間にＣｒ、Ｃｂ面選択の新たなステップＳ２１が挿入されている。
【０２７２】
図３２は、第９の実施の形態における処理の関係を説明するためのブロック図である。第６の実施の形態の図２３のベイア面１０１、色差生成１０２、縦横方向判定１０３、色評価１０４に対応する部分を抜き出して図示されている。第６の実施の形態では色評価１０４に含まれていた色差補正１を抜き出して色差補正１（３０１）として表し、新たに色差補正２（３０２）を設け、色差補正１（３０１）の出力ＴＣｒ１，ＴＣｂ１と、色差補正２（３０２）の出力ＴＣｒ２，ＴＣｂ２を選択器３０３に接続している。これは、色評価１０４の結果ＢＷに基づいて色差補正１（３０１）と色差補正２を適切に選択するためである。
【０２７３】
以下、新たに追加されたＣｒ、Ｃｂ面選択について説明する。第９の実施の形態の画像変換処理は、以下の構成となる。第６の実施の形態との違いは、（4．Ｇ面生成）の前に（3．Ｃｒ、Ｃｂ面選択）の処理が入っているところである。
（1．Ｃｒ、Ｃｂ面生成）
（2．色評価）
（2-1．色差補正１）
（2-2．色指標の算出）
（2-3．色判定）
（3．Ｃｒ、Ｃｂ面選択）
（3-1．色差補正２）
（3-2．色差選択）
（4．Ｇ面生成）
（5．カラー画像出力）
【０２７４】
以下、説明を開始する。
（3．Ｃｒ、Ｃｂ面選択）
（3-1．色差補正２）
第６の実施の形態と同様の（2．色評価）の（2-1．色差補正１）で示したローパスフィルタ（図２４）は、広域型のため偽色低減と色評価目的の利用には優れる。しかし、最終的に出力する色差面としては微細色パターンの色忠実性にはやや劣る。そこで、第９の実施の形態では、もう一つ偽色低減には劣るが微細色パターンの色再現性に優れる狭域型のローパスフィルタを用意する。具体的には式(200)を使用して色差補正２を行う。図３３は、この狭域型のローパスフィルタを図示したものである。ただし、式(200)に限らず更に弱いローパスフィルタや何も処理しない通過であってもよい。
TCr2[i,j]={4* Cr[i,j]
+2*(Cr[i-1,j]+Cr[i+1,j]+Cr[i,j-1]+Cr[i,j+1])
+1*(Cr[i-1,j-1]+Cr[i+1,j-1]+Cr[i-1,j+1]+Cr[i+1,j+1])}/16 ...(200)
TCb2[i,j]も同様に算出。
【０２７５】
（3-2．色差選択）
次に、色判定結果に基づき、２種類の方法で補正処理された色差面から、信頼性の高い方を選択する。具体的には、BW[i,j]≠'c'のときは、Cr[i,j]としてTCr1[i,j]、Cb[i,j]としてTCb1[i,j]を選択する。BW[i,j]='c'のときは、Cr[i,j]としてTCr2[i,j]、Cb[i,j]としてTCb2[i,j]を選択する。
【０２７６】
すなわち、色評価結果により色彩が弱いか無彩色の場合は、広域型の偽色低減にすぐれたローパスフィルターを使用し、色彩が強い場合は、偽色低減には劣るが微細色パターンの色再現性に優れる狭域型のローパスフィルタを使用する。これにより、低偽色で色忠実性の高い色差面生成を、色差面単独の処理として完結することができる。特に、ハードウェア用途には極めて実現しやすい簡略性を与える。なお、第９の実施の形態は、第６の実施の形態に対して、さらに色差面を適応的に処理をするものである。この内容は、第７の実施の形態、第８の実施の形態の処理にも適用できる。
【０２７７】
図３４は、上記に説明した第６〜第９の実施の形態における色評価により求めた色指標の利用について、整理して説明する図である。図３４（ａ）は、各実施の形態において色評価により求めた色指標ＢＷを説明する図である。図の左方向が無彩色側で、右方向が彩色側すなわち彩度、色合い、彩りが強くなる方向である。図３４（ｂ）は、輝度情報の生成において、完全無彩色の場合に中心画素（対象画素）の比率を大きくして計算するものである。例えば、第７の実施の形態において、方向指標[0,0]、BW[i,j]='z'のとき式(150)を使用し、方向指標[0,0]、BW[i,j]≠'z'のとき式(151)を使用するものである。
【０２７８】
図３４（ｃ）は、第６〜第９の実施の形態において、類似性の方向判定をするとき、異色間類似度を使用するか同色間類似度を使用するかを色評価の結果により使い分けるものである。色評価が無彩色の場合は異色間類似度を使用し、有彩色の場合は同色間類似度をを使用するものである。図３４（ｄ）は、色差補正を広域型ローパスフィルタを使用して補正するか狭域型ローパスフィルタを使用して補正するかを、色評価の結果により決めるものである。
【０２７９】
なお、上記実施の形態では、ＲＧＢ表色系の画像を色差、輝度情報からなる画像（ＧＣｂＣｒやＹＣｂＣｒ）に変換する例を説明したが、必ずしもこの内容に限定する必要はない。他の表色系の画像を色差、輝度情報からなる画像に変換する場合であってもよい。また、ＲＧＢ表色系をＲＧＢ表色系のまま補間処理によって変換する場合であってもよい。
【０２８０】
また、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、必ずしもこの内容に限定する必要はない。他の配列のカラーフィルタであってもよい。
【０２８１】
また、上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、輝度情報の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。
【０２８２】
また、上記実施の形態では、色差補正でローパスフィルタ（図２４、図３３）、エッジ強調でバンドパスフィルタ（図３０）の例を示したが、必ずしもこれらの内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィルタであってもよい。
【０２８３】
また、上記実施の形態では、画像データの着目領域を対象に処理する例を示したが、必ずしもこれらの内容に限定する必要はない。すなわち、１画素や数画素における処理や、画像全体にわたる処理であっても本発明は適用できる。
【０２８４】
また、上記実施の形態では、電子カメラの例で示したが、必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンピュータや携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。
【０２８５】
パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図３５はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをパーソナルコンピュータ４００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【図面の簡単な説明】
【図１】第１の実施形態ないし第９の実施形態に対応する電子カメラの機能ブロック図である。
【図２】補間処理の対象となる画像データの色成分の配列を示す図である。
【図３】第１の実施形態における画像処理部の動作フローチャートである。
【図４】第１の実施形態における画像処理部の動作フローチャートである。
【図５】第１の実施形態における画像処理部の動作フローチャートである。
【図６】第１の実施形態における画像処理部の動作フローチャートである。
【図７】第１の実施形態における画像処理部の動作フローチャートである。
【図８】色判定用画像生成処理の過程で参照する図である。
【図９】色指標を算出する過程で参照する図である。
【図１０】色指標を説明するための図である。
【図１１】縦方向・横方向に対する同色間類似度を算出する過程で参照する図である。
【図１２】第１の実施形態における類似性判定処理の他の例を示す図である。
【図１３】斜め方向に対する同色間類似度を算出する過程で参照する図である。
【図１４】(HV,DN)の値に対応する類似性の強い方向を示す図である。
【図１５】第２の実施形態における画像処理部の動作フローチャートである。
【図１６】色指標と輝度指標との関係を示す図である。
【図１７】メディアンフィルタの範囲を説明する図である。
【図１８】第２の実施形態における補間値算出処理の他の例を示す図である。
【図１９】第３の実施形態における画像処理部の動作フローチャートである。
【図２０】第３の実施形態における色判定処理の他の例を示す図である。
【図２１】画像データの変換の概念を示す図である。
【図２２】画像処理部が行う画像データ変換処理の概要を示すフローチャートである。
【図２３】第６の実施の形態における処理の関係を説明するためのブロック図である。
【図２４】広域型ローパスフィルタを示す図である。
【図２５】第７の実施の形態における処理の関係を説明するためのブロック図である。
【図２６】変換対象画素がＲ画素の場合において、方向指標に応じて使用する画素の位置およびその色成分を図示する図である。
【図２７】第８の実施の形態において、画像処理部が行う画像データ変換処理の概要を示すフローチャートである。
【図２８】変換対象画素がＧ画素の場合において、使用する画素の位置およびその係数（Ｇ位置の輝度生成係数パターン）を図示する図である。
【図２９】変換対象画素がＲ画素あるいはＢ画素の場合において、方向指標に応じて使用する画素の位置およびその係数（Ｒ、Ｂ位置の輝度生成係数パターン）を図示する図である。
【図３０】エッジ強調のフィルターを示す図である。
【図３１】第９の実施の形態において、画像処理部が行う画像データ変換処理の概要を示すフローチャートである。
【図３２】第９の実施の形態における処理の関係を説明するためのブロック図である。
【図３３】狭域型のローパスフィルタを示す図である。
【図３４】第６〜第９の実施の形態における色評価により求めた色指標の利用について、整理して説明する図である。
【図３５】プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。

Claims (42)

  1. 複数の色成分からなる表色系で表され、1つの画素に1つの色成分の色情報を有する複数の画素からなる第1の画像を、複数の画素からなり各々の画素に少なくとも1つの共通する色情報を有する第2の画像に変換する画像処理方法であって、
    第2の画像の処理対象画素に対し、少なくとも3通りの何れかの方法を用いて、前記第1の画像の色情報から色差情報を生成する色差情報生成手順と、第2の画像の処理対象画素に対し、前記色差情報を用いて画素単位での色評価を行う色評価手順とからなる色判定手順と、
    前記色判定手順の色評価結果に基づいて、前記第1の画像を前記第2の画像に変換する画像変換手順とを有する。
  2. 請求項1に記載の画像処理方法において、
    前記色判定手順は、さらに、第2の画像の処理対象画素に対し、前記第1の画像の色情報を用いて、少なくとも2方向に関する類似度を算出する類似度算出手順と、前記類似度に基づき、各方向に対する類似性の強弱を少なくとも3段階で判定する類似性判定手順とを有し、
    前記色差情報生成手順は、前記類似性判定手順の判定結果に応じて用意された少なくとも3通りの何れかの方法を用いて、前記第1の画像の色情報から色差情報を生成する。
  3. 請求項1に記載の画像処理方法において、
    前記画像変換手順は、
    １）前記第1の画像の色情報を用いて前記処理対象画素の少なくとも2方向に関して、
    異なる色成分の色情報からなる異色間類似度と、
    同じ色成分の色情報からなる同色間類似度を算出し、
    前記色評価結果に基づいて、前記異色間類似度と前記同色間類似度を使い分けて類似度を算出する類似度算出手順と、
    ２）前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、
    ３）前記類似性判定手順の判定結果に基づき、前記第1の画像の色情報を用いて前記第2の画像の色情報を生成する第2画像生成手順と
    を有する。
  4. 請求項1に記載の画像処理方法において、
    前記画像変換手順は、
    １）前記第1の画像の色情報を用いて前記処理対象画素の少なくとも2方向に関して、
    異なる色成分の色情報からなる異色間類似度と、
    同じ色成分の色情報からなる同色間類似度を算出し、
    前記色評価結果に基づいて、前記異色間類似度と前記同色間類似度とを加重加算してその加重比率を変えることにより類似度を算出する類似度算出手順と、
    ２）前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、
    ３）前記類似性判定手順の判定結果に基づき、前記第1の画像の色情報を用いて前記第2の画像の色情報を生成する第2画像生成手順と
    を有する。
  5. 請求項1に記載の画像処理方法において、
    前記画像変換手順は、
    前記処理対象画素位置に対応する第1の画像の画素の色情報とその周辺画素の色情報を用いて前記第2の画像の色情報を生成し、前記色評価結果に応じてその構成比率を変更する第2画像生成手順を有する。
  6. 請求項１に記載の画像処理方法において、
    前記画像変換手順は、
    １）前記第1の画像の色情報を用いて、前記第2の画像の色差情報を生成する第2画像生成手順と
    ２）前記色評価結果に基づいて、前記第2の画像の色差情報を補正する色差情報補正手順と
    を有する。
  7. 請求項1に記載の画像処理方法において、
    １）前記色判定手順の色差情報生成手順は、
    1つの処理対象画素に対し複数種類の色差情報を生成し、
    ２）前記色判定手順の色評価手順は、
    前記複数種類の色差情報の組合せでできる新たな色差情報も考慮して色評価を行う。
  8. 請求項２に記載の画像処理方法において、
    前記色判定手順の類似度算出手順は、
    異なる色成分の色情報からなる異色間類似度を類似度として算出する。
  9. 請求項1に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報生成手順によって生成される色差情報を、前記処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行う。
  10. 請求項３または４に記載の画像処理方法において、
    前記画像変手順の類似度算出手順は、
    前記色評価で彩度が低いと判断された場合には、類似度として前記異色間類似度を主に利用し、彩度が高いと判断された場合には、前記同色間類似度を主に利用する。
  11. 請求項５に記載の画像処理方法において、
    前記画像変換手順の第2画像生成手順は、
    前記色評価で彩度が低いと判断された場合、前記処理対象画素に位置する第1の画像の画素の色情報の構成比率を上げる。
  12. 請求項５に記載の画像処理方法において、
    前記画像変換手順は、
    前記第2画像生成手順の前に、前記処理対象画素に対し、
    １）前記第1の画像の色情報を用いて、少なくとも2方向に関する類似度を算出する類似度算出手順と、
    ２）前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と
    を有し、
    前記類似性判定手順の判定結果が、各方向に対して同程度であると判定された場合にのみ前記色評価結果に応じて前記構成比率を変更する。
  13. 請求項６に記載の画像処理方法において、
    前記画像変換手順の色差情報補正手順は、
    前記色評価で彩度が低いと判断された場合には、前記第2の画像の色差情報に広域型のフィルタ処理を行い、彩度が高いと判断された場合には、前記第2の画像の色差情報に狭域型のフィルタ処理を行う。
  14. 請求項1に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報を補正し、前記補正された色差情報を用いて色評価を行う。
  15. 請求項１４に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報に対する補正処理として、ローパスフィルタ処理を行う。
  16. 請求項1に記載の画像処理方法において、
    前記色判定手順は、前記色評価手順の後に、
    １）前記色評価結果に基づいて、前記色差情報を補正する色差情報補正手順と、
    ２）前記色差情報補正手順によって補正された色差情報を用いて、再度画素単位の色評価を行う再色評価手順と
    を有し、
    前記再色評価手順の色評価結果に基づいて、前記第1の画像を前記第2の画像に変換する。
  17. 請求項１６に記載の画像処理方法において、
    前記色判定手順は、前記色差情報補正手順の前に、
    １）前記第1の画像の色情報を用いて、輝度情報を算出する輝度情報算出手順と、
    ２）前記輝度情報を用いて、画素単位での輝度評価を行う輝度評価手順と
    を有し、
    前記色差情報補正手順は、前記再色評価手順の色評価結果と前記輝度評価手順の輝度評価結果とに基づいて、前記色差情報を補正する。
  18. 請求項１６に記載の画像処理方法において、
    前記色判定手順の色差情報補正手順は、前記色差情報にメディアンフィルタ処理を行う。
  19. 複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、１つの画素に複数種類の色情報を有する複数の画素からなる第２の画像に変換する画像処理方法であって、
    前記第１の画像を取得する画像取得手順と、
    前記取得した第１の画像の色成分の色情報に基づき、前記第２の画像の画素位置に色差情報を生成する色差情報生成手順と、
    前記生成した第２の画像の色差情報を用いて画素単位で色評価を行う色評価手順と、
    前記第２の画像の画素単位の色評価結果に基づいて、前記第２の画像の画素位置に輝度情報を生成する輝度情報生成手順と、
    前記色差情報生成手順で生成した色差情報と輝度情報生成手順で生成した輝度情報を使用して、前記第２の画像を出力する出力手順とからなる。
  20. 請求項１９記載の画像処理方法において、
    前記第２の画像の１つの画素位置における色差情報は複数種類の色差情報からなり、
    前記色評価手順は、前記複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行う。
  21. 請求項２０記載の画像処理方法において、
    前記第１の画像は、第１の色成分、第２の色成分、および第３の色成分からなる表色系で表され、第１の色成分の画素密度は他の第２の色成分あるいは第３の色成分の画素密度より高い画素密度で配置され、
    前記複数種類の色差情報は、第１の色成分の色情報と第２の色成分の色情報の差分からなる第１の色差情報と、第１の色成分の色情報と第３の色成分の色情報の差分からなる第２の色差情報とからなり、
    前記新たな色差情報は、前記第１の色差情報と前記第２の色差情報の差分からなる。
  22. 請求項１９〜２１のいずれか１項に記載の画像処理方法において、
    前記色評価手順は、前記生成した第２の画像の色差情報を補正し、前記補正された色差情報を用いて色評価を行う。
  23. 請求項２２記載の画像処理方法において、
    前記色評価手順は、前記生成した第２の画像の色差情報をローパスフィルタ処理を行うことにより補正する。
  24. 請求項１９〜２３のいずれか１項に記載の画像処理方法において、
    前記輝度情報生成手順の前に、前記第２の画像の画素に対応する前記第１の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する異色間類似度を算出し、該画素を含む局所領域の同一の色成分の色情報を用いて周辺画素との間の前記少なくとも２方向に関する同色間類似度を算出する類似度算出手順と、
    前記輝度情報生成手順の前かつ前記色評価手順の後に、前記第２の画像の画素に対応する前記第１の画像の画素において、前記類似度算出手順により算出された前記異色間類似度と前記同色間類似度とを前記色評価結果に基づいて使い分けて周辺画素との間の前記少なくとも２方向に関する類似性の強弱を判定する類似性判定手順とを有し、
    前記輝度情報生成手順は、前記類似性判定手順の判定結果に基づいて、前記第２の画像の画素位置に輝度情報を生成する。
  25. 請求項１９〜２４のいずれか１項に記載の画像処理方法において、
    前記第１の画像の複数の画素と前記第２の画像の複数の画素とは、同じ位置関係で対応する。
  26. 請求項１９に記載の画像処理方法において、
    前記輝度情報生成手順は、前記第２の画像の画素に対応する前記第１の画像の画素の色情報と周辺画素の色情報とを使用して前記第２の画像の画素位置に輝度情報を生成し、前記第２の画像の画素単位の色評価結果に基づいて、前記第２の画像の画素に対応する前記第１の画像の画素の色情報と周辺画素の色情報との構成比率を変更する。
  27. 請求項１９に記載の画像処理方法において、
    前記色差生成手順の前に、前記第２の画像の画素に対応する前記第１の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順を有し、
    前記色差情報生成手順は、前記類似性判定手順の判定結果に基づいて、前記第２の画像の画素位置に色差情報を生成する。
  28. 請求項２７に記載の画像処理方法において、
    前記類似性判定手順は、前記第２の画像の画素に対応する前記第１の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する。
  29. 複数の色成分からなる表色系で表され、1つの画素に少なくとも1つの色成分の色情報を有する複数の画素からなる第1の画像を、複数の画素からなり各々の画素に少なくとも1つの共通する前記第1の画像が有しない色情報を有する第2の画像に変換する画像処理方法であって、
    第2の画像の処理対象画素に対し、
    １）前記第1の画像の色情報を用いて、色差情報を生成する色差情報生成手順と、
    ２）前記色差情報を用いて画素単位で色評価を行う色評価手順と、
    ３）前記色評価手順の色評価結果に基づいて複数種類の補正から1つの補正を選択して、前記色差情報
    を補正する色差情報補正手順と
    ４）前記補正された色差情報を使用して、前記第2の画像を出力する出力手順と
    からなる。
  30. 請求項２９に記載の画像処理方法において、
    前記複数の補正は、前記生成した色差情報を広域型ローパスフィルタ処理を行うことにより補正する第１の補正と、前記生成した色差情報を狭域型ローパスフィルタ処理を行うことにより補正する第２の補正からなり、
    前記色差情報補正手順は、前記色評価で彩度が低いと判定された場合には第１の補正を選択し、彩度が高いと判定された場合には第２の補正を選択する。
  31. 請求項２９に記載の画像処理方法において、
    前記複数の補正は、前記生成した色差情報を広域型メディアンフィルタ処理を行うことにより補正する第1の補正と、前記生成した色差情報を狭域型メディアンフィルタ処理を行うことにより補正する第2の補正からなり、
    前記色差情報補正手順は、前記色評価で彩度が低いと判定された場合には第1の補正を選択し、彩度が高いと判定された場合には第2の補正を選択する。
  32. 請求項２９記載の画像処理方法において、
    前記第２の画像の１つの画素位置における色差情報は複数種類の色差情報からなり、
    前記色評価手順は、前記複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行う。
  33. 請求項３２記載の画像処理方法において、
    前記第１の画像は、第１の色成分、第２の色成分、および第３の色成分からなる表色系で表され、第１の色成分の画素密度は他の第２の色成分あるいは第３の色成分の画素密度より高い画素密度で配置され、
    前記複数種類の色差情報は、第１の色成分の色情報と第２の色成分の色情報の差分からなる第１の色差情報と、第１の色成分の色情報と第３の色成分の色情報の差分からなる第２の色差情報とからなり、
    前記新たな色差情報は、前記第１の色差情報と前記第２の色差情報の差分からなる。
  34. 請求項２９に記載の画像処理方法において、
    前記色評価手順は、
    前記色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行う。
  35. 請求項２９に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報を補正し、前記補正された色差情報を用いて色評価を行う。
  36. 請求項３５に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報に対する補正処理として、ローパスフィルタ処理を行う。
  37. 請求項３６記載の画像処理方法において、
    前記ローパスフィルタは、広域型ローパスフィルタである。
  38. 請求項２９に記載の画像処理方法において、
    前記色差生成手順の前に、前記第２の画像の画素に対応する前記第１の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順を有し、
    前記色差情報生成手順は、前記類似性判定手順の判定結果に基づいて、前記第２の画像の画素位置に色差情報を生成する。
  39. 請求項３８に記載の画像処理方法において、
    １）前記類似性判定手順は、各方向に対する類似性の強弱を少なくとも3段階で判定し、
    ２）前記色差情報生成手順は、前記類似性判定手順の判定結果に応じて用意された少なくとも3通りの何れかの方法を用いて、前記第1の画像の色情報から色差情報を生成する。
  40. 請求項１〜３９のいずれか１に記載の画像処理方法の手順をコンピュータに実行させるための画像処理プログラム。
  41. 請求項４０の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体。
  42. 請求項４０の画像処理プログラムを搭載した画像処理装置。
JP2002560393A 2001-01-25 2002-01-25 画像処理方法、画像処理プログラム、画像処理装置 Expired - Lifetime JP3985679B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2001016729 2001-01-25
JP2001016729 2001-01-25
JP2001343392 2001-11-08
JP2001343392 2001-11-08
PCT/JP2002/000548 WO2002060186A1 (fr) 2001-01-25 2002-01-25 Procede de traitement d'image, programme de traitement d'image et processeur d'image

Publications (2)

Publication Number Publication Date
JPWO2002060186A1 JPWO2002060186A1 (ja) 2004-05-27
JP3985679B2 true JP3985679B2 (ja) 2007-10-03

Family

ID=26608276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002560393A Expired - Lifetime JP3985679B2 (ja) 2001-01-25 2002-01-25 画像処理方法、画像処理プログラム、画像処理装置

Country Status (6)

Country Link
US (1) US7565007B2 (ja)
EP (1) EP1367837B1 (ja)
JP (1) JP3985679B2 (ja)
CN (1) CN1312939C (ja)
DE (1) DE60235526D1 (ja)
WO (1) WO2002060186A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193200A (ja) * 2009-02-18 2010-09-02 Nikon Corp 撮像装置および撮像素子出力制御方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3719590B2 (ja) * 2001-05-24 2005-11-24 松下電器産業株式会社 表示方法及び表示装置ならびに画像処理方法
WO2004112401A1 (ja) 2003-06-12 2004-12-23 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置
JP4305071B2 (ja) * 2003-06-30 2009-07-29 株式会社ニコン 信号補正方法
JP4516855B2 (ja) * 2005-02-23 2010-08-04 富士フイルム株式会社 液晶パネル評価支援方法及び液晶パネル評価支援プログラム
JP4789140B2 (ja) * 2005-05-19 2011-10-12 株式会社メガチップス 画像処理装置
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
JP2007223255A (ja) * 2006-02-27 2007-09-06 Brother Ind Ltd 画像記録装置および画像処理プログラム
US20070223834A1 (en) * 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Method for small detail restoration in digital images
JP4241754B2 (ja) 2006-04-14 2009-03-18 ソニー株式会社 撮像装置
TWI314301B (en) * 2006-06-30 2009-09-01 Primax Electronics Ltd Adaptive image sharpening method
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ
JP4808579B2 (ja) * 2006-09-27 2011-11-02 富士フイルム株式会社 画像評価装置および方法並びにプログラム
JP2008252449A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 画像伸張装置、映像表示装置および画像伸張方法
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
US20080260291A1 (en) * 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
US8199384B2 (en) * 2007-06-11 2012-06-12 Sony Corporation Method of compensating the color tone differences between two images of the same scene
JP5041886B2 (ja) * 2007-06-13 2012-10-03 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP4914303B2 (ja) * 2007-07-13 2012-04-11 シリコン ヒフェ ベー．フェー． 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
US8086034B2 (en) * 2008-02-05 2011-12-27 Aptina Imaging Corporation System and method for reducing color artifacts in digital images
JP5036482B2 (ja) * 2007-10-19 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置及び画像処理方法、画像処理プログラム
WO2009066770A1 (ja) * 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
JP4619400B2 (ja) * 2007-12-21 2011-01-26 株式会社沖データ 画像処理装置
JP2009290568A (ja) * 2008-05-29 2009-12-10 Hoya Corp 撮像装置
KR101535919B1 (ko) * 2008-12-12 2015-07-13 삼성디스플레이 주식회사 데이터 처리 방법, 이를 수행하기 위한 구동 장치 및 이 데이터 처리 장치를 구비한 표시 장치
KR101000623B1 (ko) * 2008-12-31 2010-12-10 포항공과대학교 산학협력단 색수차 검출 및 보정 방법, 이를 이용한 영상 처리 장치 및그 방법
JP2010193030A (ja) * 2009-02-17 2010-09-02 Seiko Epson Corp 画像処理のための装置、システム、方法、プログラム
JP5056927B2 (ja) * 2010-09-17 2012-10-24 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
US8542918B2 (en) * 2010-09-28 2013-09-24 Apple Inc. Image color enhancement
JP6131546B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2014024500A1 (ja) 2012-08-10 2014-02-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2014093568A (ja) * 2012-10-31 2014-05-19 Canon Inc 動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法
US9251572B2 (en) 2013-07-26 2016-02-02 Qualcomm Incorporated System and method of correcting image artifacts
US9479746B2 (en) 2014-01-08 2016-10-25 Marvell World Trade Ltd. Methods and apparatus for demosaicking artifacts suppression
JP2015186200A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
US10204432B2 (en) * 2014-06-12 2019-02-12 Interdigital Ce Patent Holdings Methods and systems for color processing of digital images
KR102221116B1 (ko) * 2015-02-27 2021-02-26 에스케이하이닉스 주식회사 크로스 커널 구조의 중간값 필터를 이용한 영상 잡음 제거장치 및 방법
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
EP3629286A4 (en) * 2017-05-01 2021-01-13 Kowa Company, Ltd. IMAGE ANALYSIS EVALUATION PROCESS, COMPUTER PROGRAM AND IMAGE ANALYSIS EVALUATION DEVICE
CN110335197B (zh) * 2019-06-04 2021-11-12 北京理工大学 基于非局部统计本征的去马赛克方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5382976A (en) 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JP2931520B2 (ja) 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
DE69712969T2 (de) 1996-03-29 2003-01-09 Sanyo Electric Co., Ltd. Farbkamera mit einem einzigen CCD-Farbbildsensor mit höherer Auflösung, der fähig ist, Geisterfarberzeugung zu begrenzen
JP3787927B2 (ja) * 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
JP3806211B2 (ja) * 1997-01-08 2006-08-09 株式会社リコー 撮像信号処理方法及び撮像信号処理装置
JP3649841B2 (ja) * 1997-02-20 2005-05-18 三洋電機株式会社 単板式カラーカメラ
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JP4135197B2 (ja) 1997-12-09 2008-08-20 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
JP4292625B2 (ja) 1998-06-01 2009-07-08 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP2000188762A (ja) * 1998-12-21 2000-07-04 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2000197067A (ja) 1998-12-28 2000-07-14 Fuji Photo Film Co Ltd 固体撮像装置および画像デ―タ作成方法
JP2001197067A (ja) * 2000-01-06 2001-07-19 Nippon Telegr & Teleph Corp <Ntt> データ連結転送方法及びシステム、並びにデータ連結転送プログラムを記録した記録媒体
JP4415468B2 (ja) 2000-01-20 2010-02-17 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP4043197B2 (ja) * 2000-03-24 2008-02-06 三洋電機株式会社 単板式カラーカメラの色分離回路
JP4372955B2 (ja) 2000-03-31 2009-11-25 富士フイルム株式会社 固体撮像装置および信号処理方法
JP3711402B2 (ja) 2000-04-07 2005-11-02 カシオ計算機株式会社 撮像装置及びカラー撮像信号の処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193200A (ja) * 2009-02-18 2010-09-02 Nikon Corp 撮像装置および撮像素子出力制御方法

Also Published As

Publication number Publication date
WO2002060186A1 (fr) 2002-08-01
DE60235526D1 (de) 2010-04-15
CN1488225A (zh) 2004-04-07
US20040080639A1 (en) 2004-04-29
EP1367837A1 (en) 2003-12-03
US7565007B2 (en) 2009-07-21
EP1367837B1 (en) 2010-03-03
EP1367837A4 (en) 2009-04-01
CN1312939C (zh) 2007-04-25
JPWO2002060186A1 (ja) 2004-05-27

Similar Documents

Publication Publication Date Title
JP3985679B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4599672B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
US7391903B2 (en) Image processing method, image processing program and image processing processor for interpolating color components
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8036457B2 (en) Image processing apparatus with noise reduction capabilities and a method for removing noise from a captured image
JP3706789B2 (ja) 信号処理装置及び信号処理方法
JP3972816B2 (ja) 画像処理装置および表色系変換方法
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
US20100086202A1 (en) Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method
JP4321064B2 (ja) 画像処理装置および画像処理プログラム
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20100231740A1 (en) Image processing apparatus, image processing method, and computer program
JP6415093B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4581191B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP2012100215A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP4196055B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4239483B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4748278B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP5983138B2 (ja) 画像処理装置、撮像装置およびプログラム
JP4239484B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP2003348608A (ja) 画像処理方法、画像処理プログラム、画像処理装置
WO2003101119A1 (fr) Procede de traitement d&#39;images, programme de traitement d&#39;images et processeur d&#39;images

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070702

R150 Certificate of patent or registration of utility model

Ref document number: 3985679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100720

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100720

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130720

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130720

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130720

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130720

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term