JP3972816B2 - 画像処理装置および表色系変換方法 - Google Patents
画像処理装置および表色系変換方法 Download PDFInfo
- Publication number
- JP3972816B2 JP3972816B2 JP2002526129A JP2002526129A JP3972816B2 JP 3972816 B2 JP3972816 B2 JP 3972816B2 JP 2002526129 A JP2002526129 A JP 2002526129A JP 2002526129 A JP2002526129 A JP 2002526129A JP 3972816 B2 JP3972816 B2 JP 3972816B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- similarity
- pixel
- image
- color system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Description
【０００１】
本出願は日本国特許出願２０００年第２７１４７１号（２０００年９月７日出願）を基礎として、その内容は引用文としてここに組み込まれる。
【０００２】
技術分野
本発明は、複数の色成分から成る第１の表色系で示されて、１つの画素に１つの色成分が対応する多色成分画像に対し、第１の表色系と異なる第２の表色系を構成する少なくとも１つの色成分を示す色情報を画素単位で生成するための表色系変換処理を行う画像処理装置および該表色系変換方法に関する。
【０００３】
背景技術
電子カメラには、複数色のカラーフィルタが所定の位置に配置された撮像素子によって画像データを生成し、その画像データにノイズ除去や輪郭強調、色変換等の画像処理を行うものがある。
【０００４】
このような電子カメラでは、撮像素子のカラーフィルタを構成する色成分（例えば、ＣＭＹＧ：シアン・マゼンダ・黄・緑、ＲＧＢ：赤・緑・青等）により、画像データの入力側の表色系が決まる。しかし、ノイズ除去や輪郭強調等の画像処理を効率良く行ったり、ＪＰＥＧ等の標準化された画像圧縮を行うため、撮像素子によって生成された画像データの表色系を、人間の視感覚特性に合わせて、輝度成分Ｙと色成分Ｃｒ、Ｃｂとによって構成されるＹＣｒＣｂ表色系に変換する表色系変換処理が行われている。
【０００５】
このような表色系変換処理は、画像データを構成する各々の画素毎に、Ｙ成分、Ｃｒ成分およびＣｂ成分を生成することによって実現できる。
【０００６】
例えば、これらの成分を撮像素子によって生成した画像データから直接生成する場合、従来の電子カメラでは、表色系変換処理の対象となる「処理対象画素」の近傍に位置する画素の色情報を加算することによってＹ成分を生成し、このような画素間の色情報の差を用いてＣｒ成分およびＣｂ成分を生成していた。
【０００７】
しかし、このような電子カメラでは、Ｙ成分の生成に際し、処理対象画素を含む一定の範囲内に存在する複数の画素の色情報を単純に加算しているため、これらの画素の色情報が平均化されることになり、撮像素子によって得られる画像データの高周波成分が失われる。したがって、表色系変換処理で得られるＹＣｒＣｂ表色系の画像は、ぼやけたものになってしまう。
【０００８】
なお、ＲＧＢのカラーフィルタがベイア配列された撮像素子を備えた電子カメラには、画素単位でＲＧＢ全ての色成分の色情報を得るための補間処理を行い、このような補間処理によって得られた色情報を用いて、Ｙ成分、Ｃｒ成分およびＣｂ成分を生成するものがある。しかし、このような電子カメラでは、表色系変換処理の過程で、必ず、撮像素子の表色系の全色成分について補間処理が行われることになるため、効率が悪い。
【０００９】
発明の開示
本発明は、解像度を高めつつ、効率良く表色系変換処理を行える画像処理装置および表色系変換方法を提供することを目的とする。
【００１０】
上記目的を達成するために、本発明の、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する第１の画像処理装置は、第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置と、類似性判定装置による類似性の強弱の判定結果に応じて、処理対象画素に存在する色情報と処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する新成分生成装置とを備える。
この第１の画像処理装置において、所定の係数は、第１の表色系の複数の色成分ごとの合計による比率が一定となるように設定されるのが好ましい。
また、第１の画像処理装置において、選択した複数の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
本発明の、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する第２の画像処理装置は、第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付けて、これらの複数の色情報を加重加算し、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する新成分生成装置を備える。
この第２の画像処理装置は、処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置をさらに備え、新成分生成装置は、類似性判定装置による類似性の強弱の判定結果に基づき、中央領域として、処理対象画素を中心に類似性の強い方向に広がる領域を選択するのが好ましい。この場合、類似性の強弱を判定する複数の方向に対応する加重係数は、図１０および図１１に示す係数パターンおよび係数値の比率に対応するのが好ましい。
また、第２の画像処理装置は、処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置をさらに備え、新成分生成装置は、中央領域に存在する色情報の加重係数の大きさを、類似性判定装置による類似性の強弱の判定結果に応じて可変するのが好ましい。
また、第２の画像処理装置において、中央領域の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
上記第１の画像処理装置において、類似性の強弱を判定する複数の方向に応じた複数の所定の係数のセットを記憶する係数記憶装置をさらに備えるのが好ましい。この場合、係数記憶装置は、処理対象画素における類似性の強い方向の違いだけでなく、処理対象画素に対応する色成分の違いに応じて、複数種類の係数セットを記憶し、新色成分生成装置は、類似性判定装置による類似性の強弱の判定結果と、処理対象画素に対応する色成分とに対応する係数セットを、係数記憶装置から選択するのが好ましい。また、係数記憶装置は、係数セットを係数テーブルで記憶するのが好ましい。また、係数記憶装置は、係数セットを計算式で記憶し、新色成分生成装置は、類似性判定装置による類似性の強弱の判定結果に応じて選択された計算式を使用して、所定の係数による加重加算を行うのが好ましい。
また、上記の画像処理装置において、第２の表色系は、輝度成分と色度成分とで構成される表色系であるのが好ましい。この場合、第１の表色系は、ＲＧＢ表色系であるのが好ましい。あるいは、第１の表色系は、ＣＭＹＧ表色系であるのが好ましい。
また、第１または第２の画像処理装置において、類似性判定装置は、第１の表色系を構成する複数の色成分のうち、「同じ色成分の色情報から成る複数の類似度成分で構成される同色間類似度」と、「異なる色成分の色情報から成る複数の類似度成分で構成される異色間類似度」とを算出し、処理対象画素が属する局所的な領域における画像の特徴に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより、処理対象画素における複数の方向に対する類似度を算出し、該類似度に基づいて、処理対象画素における複数の方向に対する類似性の強弱を判定するのが好ましい。この場合、類似性判定装置は、処理対象画素の複数の方向に対する類似度として、処理対象画素のみならず処理対象画素の周辺の画素に対して算出した複数の方向に対する類似度を用いるのが好ましい。
また、第１または第２の画像処理装置において、類似性判定装置は、第１の表色系を構成する全ての色成分の色情報を用いて、処理対象画素における複数の方向に対する類似度を算出し、該類似度に基づいて、処理対象画素における複数の方向に対する類似性の強弱を判定するのが好ましい。この場合も、類似性判定装置は、処理対象画素の複数の方向に対する類似度として、処理対象画素のみならず処理対象画素の周辺の画素に対して算出した複数の方向に対する類似度を用いるのが好ましい。
本発明の、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する表色系変換方法は、第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定し、類似性の強弱の判定結果に応じて、処理対象画素に存在する色情報と処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成することからなる。
この表色系変換方法において、所定の係数は、第１の表色系の複数の色成分ごとの合計による比率が一定となるように設定されるのが好ましい。
また、選択した複数の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
本発明の、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する他の表色系変換方法は、第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付け、これらの複数の色情報を加重加算し、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成することからなる。
この表色系変換方法において、中央領域の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
本発明のコンピュータで実行する、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する表色系変換プログラムは、第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定し、類似性の強弱の判定結果に応じて、処理対象画素に存在する色情報と処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する命令からなる。
この表色系変換プログラムにおいて、選択した複数の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
本発明のコンピュータで実行する、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する他の表色系変換プログラムは、第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付け、これらの複数の色情報を加重加算し、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する命令からなる。
この表色系変換プログラムにおいて、中央領域の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
【００１１】
発明を実施するための最良の形態
−第１の実施の形態−
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
【００１２】
ただし、第１の実施形態では、画像処理装置が行う画像処理の機能を備えた電子カメラを用いて説明を行う。
【００１３】
図１は、第１の実施形態に対応する電子カメラの機能ブロック図である。
図１において、電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部（例えば、画像処理専用の１チップ・マイクロプロセッサ）１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備えていると共に、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースをとるメモリカード用インタフェース部１７および所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースをとる外部インタフェース部１９を備えており、これらはバスを介して相互に接続される。
【００１４】
また、電子カメラ１は、撮影光学系２０、ＲＧＢのカラーフィルタがベイア配列された撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備えており、撮像素子２１には撮影光学系２０で取得された光学像が結像し、撮像素子２１の出力は、アナログ信号処理部２２に接続され、アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続され、タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。
【００１５】
さらに、電子カメラ１は、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備えており、操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
【００１６】
なお、ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされているものとする。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースをとるメモリカード用インタフェース部（図示省略）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（図示省略）を備えている。
【００１７】
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成し、その画像信号は、アナログ信号処理部２２で所定の信号処理が施され、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
【００１８】
なお、電子カメラ１では、撮像素子２１において、ＲＧＢのカラーフィルタがベイア配列されているので、画像処理部１１に供給される画像データは、ＲＧＢ表色系で示され、各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在することになる。そこで、以下では、このような画像データを、「ベイア配列型画像データ」と称する。
【００１９】
画像処理部１１は、このようなベイア配列画像データに対して後述する「表色変換処理」における「輝度成分生成処理」および「色度成分生成処理」を行って、ＹＣｒＣｂ表色系の画像データ（全ての画素にＹ成分、Ｃｒ成分、Ｃｂ成分が対応付けられた画像データ）を生成する。
【００２０】
また、画像処理部１１は、表色系変換処理によって生成したＹＣｒＣｂ表色系の画像データに対し、所定の画像処理を行う。例えば、Ｙ成分に対しては、平滑化処理（ノイズ除去等に相当する）や輪郭強調を行い、Ｃｒ成分およびＣｂ成分に対しては、平滑化処理を行う。ただし、撮影モードとして、白黒撮影用のモード（以下、「白黒モード」と称する）が操作者によって選択されている場合、Ｙ成分に対してのみ平滑化処理や輪郭強調等の画像処理を行えれば良く、Ｃｒ成分およびＣｂ成分に対する画像処理は不要である。そのため、後述する「表色系変換処理」における「色度成分生成処理」では、白黒モードが選択されている場合、Ｃｒ成分およびＣｂ成分の生成を行わないものとする。
【００２１】
画像処理が完了したＹＣｒＣｂ表色系の画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【００２２】
なお、画像処理が完了したＹＣｒＣｂ表色系の画像データは、圧縮処理を施さずにメモリカード１６に記録したり、必要に応じて、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系（例えば、ＲＧＢ表色系、ＹＵＶ表色系、ＣＭＹ表色系など）に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
【００２３】
また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１４で伸長処理が施され、画像処理部１１によりモニタ２５で採用されている表色系に変換され、表示画像作成部１５を介してモニタ２５に表示される。
【００２４】
なお、伸長処理が施された画像データは、モニタ２５に表示せず、必要に応じて、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
【００２５】
また、後述する「表色系変換処理」における「輝度成分生成処理」や「色度成分生成処理」によって生成されるＹＣｒＣｂ表色系の画像データを、モニタ２５、２６やプリンタ２７で採用されている表色系に変換する処理については、公知の技術によって実現できるため、説明を省略する。
【００２６】
図２は、ベイア配列型画像データの色成分の配列を示す図である。
【００２７】
ただし、図２では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、座標[X,Y]の値を用いて各々の色成分に対応する画素の位置を示している。
【００２８】
また、後述する「表色系変換処理」における「輝度成分生成処理」や「色度成分生成処理」では、画素毎に輝度成分や色度成分を生成し、図２は、これらの処理の対象となる処理対象画素の座標を[i,j]とする場合、処理対象画素を中心とする５×５の画素の色成分の配列を示していることになる。
【００２９】
特に、図２（１）は、処理対象画素に赤色成分が対応する状態（以下、「Ｒ位置状態」と称する）を示し、図２（２）は、処理対象画素に青色成分が対応する状態（以下、「Ｂ位置状態」と称する）を示し、図２（３）は、処理対象画素に緑色成分が対応し、かつ、処理対象画素の左右に赤色成分が対応する状態（以下、「Ｇｒ位置状態」と称する）を示し、図２（４）は、処理対象画素に緑色成分が対応し、かつ、処理対象画素の左右に青色成分が対応する状態（以下、「Ｇｂ位置状態」と称する）を示すことになる。
【００３０】
図３〜図７は、第１の実施形態における画像処理部１１の動作フローチャートであり、図３では「表色系変換処理」のおおまかな動作を示し、図４、図５では、「表色系変換処理」に含まれる「指標HVの設定処理」、「指標DNの設定処理」の動作を示し、図６では「輝度成分生成処理」の動作を示し、図７では「色度成分生成処理」の動作を示している。
【００３１】
以下、第１の実施形態の動作を説明するが、以下では、画像処理部１１が行う画像処理のうち、「表色系変換処理」（「指標HVの設定処理」、「指標DNの設定処理」、「輝度成分生成処理」、「色度成分生成処理」）の動作を説明し、他の動作の説明は省略する。
【００３２】
まず、図３を参照して「表色系変換処理」のおおまかな動作を説明する。
画像処理部１１は、処理対象画素に対し、縦方向および横方向の類似性（以下、「縦横類似性」と称する。）を示す指標HVの設定処理を行う（図３Ｓ１）と共に、斜め方向の類似性（以下、「斜め類似性」と称する。）を示す指標DNの設定処理を行う（図３Ｓ２）。
【００３３】
ただし、第１の実施形態では、横方向よりも縦方向の類似性が強い画素に対しては指標HVに１を設定し、縦方向よりも横方向の類似性が強い画素に対しては指標HVに−１を設定し、縦横間で類似性に区別がつかない画素に対しては指標HVに０を設定するものとする。また、斜め135度方向よりも斜め45度方向の類似性が強い画素に対しては指標DNに１を設定し、斜め45度方向よりも斜め135度方向の類似性が強い画素に対しては指標DNに−１を設定し、斜め方向間で類似性に区別がつかない画素に対しては指標DNに０を設定するものとする。図９を参照。
【００３４】
次に、画像処理部１１は、「輝度成分生成処理」を行う（図３Ｓ３）と共に、「色度成分生成処理」を行う（図３Ｓ４）。
【００３５】
以下、「指標HVの設定処理」、「指標DNの設定処理」、「輝度成分生成処理」、「色度成分生成処理」の説明を行う。「輝度成分生成処理」、「色度成分生成処理」の詳細な説明については、「指標HVの設定処理」、「指標DNの設定処理」の説明後に行う。
【００３６】
《指標HVの設定処理》
まず、図４を参照して、「指標HVの設定処理」の詳細な説明を行う。
【００３７】
ただし、ここでは、座標[i,j]に位置する画素における指標HV[i,j]を算出する例を示し、後述する演算式では、図２のＲ、Ｇ、ＢをＺに置き換えて、各々の画素の色成分の色情報をZ[i,j]のように表現する。
【００３８】
まず、画像処理部１１は、縦方向および横方向に対し、同じ色成分の色情報から成る複数の類似度成分で構成される同色間類似度と、異なる色成分の色情報から成る複数の類似度成分で構成される異色間類似度とを算出する（図４Ｓ１）。
【００３９】
例えば、画像処理部１１は、これらの類似度を算出する過程で、以下の式１〜式４によって定義される値を、座標[i,j]に位置する画素に対して算出する。
【００４０】
ただし、式１および式２の差分の絶対値の項は、同じ色成分の色情報から成る類似度成分に相当し、式３および式４の差分の絶対値の項は、異なる色成分の色情報から成る類似度成分に相当する。なお、このような類似度成分は、差分の絶対値に限らず、絶対値の２乗やべき乗等によって算出しても良い。
CvS0[i,j]=(|Z[i,j-1]-Z[i,j+1]|
+(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+1,j-1]-Z[i+1,j+1]|)/2)/2 ・・・式１
ChS0[i,j]=(|G[i-1,j]-G[i+1,j]|
+(|Z[i-1,j-1]-Z[i+1,j-1]|+|Z[i-1,j+1]-Z[i+1,j+1]|)/2)/2 ・・・式２
CvN0[i,j]=(|Z[i,j-1]-Z[i,j]|+|Z[i,j+1]-Z[i,j]|)/2 ・・・式３
ChN0[i,j]=(|Z[i-1,j]-Z[i,j]|+|Z[i+1,j]-Z[i,j]|)/2 ・・・式４
【００４１】
式１〜式４によって算出されるCvS0[i,j],ChS0[i,j],CvN0[i,j],ChN0[i,j]は、そのまま、座標[i,j]に位置する画素の縦方向の同色間類似度,横方向の同色間類似度,縦方向の異色間類似度,横方向の異色間類似度とすることができるが、ここでは、座標[i,j]に位置する画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に加重加算（以下、「周辺加算」と称する）して、座標[i,j]に位置する画素の縦方向および横方向に対する同色間類似度と異色間類似度とを算出する例を示す。
【００４２】
すなわち、画像処理部１１は、式１〜式４に基づき、座標[i,j],[i-1,j-1],[i+1,j-1],[i-1,j+1],[i+1,j+1],[i,j-2],[i,j+2],[i-2,j],[i+2,j]に位置する画素に対して算出した値を、式５〜式８に示すようにして周辺加算して、縦方向に対する同色間類似度CvS[i,j]、横方向に対する同色間類似度ChS[i,j]、縦方向に対する異色間類似度CvN[i,j]、横方向に対する異色間類似度ChN[i,j]を算出する。
【００４３】
なお、式５〜式８は、図８に示すようにして周辺加算を行うことに相当する。 CvS[i,j]=(4・Cv0[i,j]
+2・(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16 ・・・式５
ChS[i,j]=(4・Ch0[i,j]
+2・(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16 ・・・式６
CvN[i,j]=(4・CvN0[i,j]
+2・(CvN0[i-1,j-1]+CvN0[i+1,j-1]+CvN0[i-1,j+1]+CvN0[i+1,j+1])
+CvN0[i,j-2]+CvN0[i,j+2]+CvN0[i-2,j]+CvN0[i+2,j])/16 ・・・式７
ChN[i,j]=(4・ChN0[i,j]
+2・(ChN0[i-1,j-1]+ChN0[i+1,j-1]+ChN0[i-1,j+1]+ChN0[i+1,j+1])
+ChN0[i,j-2]+ChN0[i,j+2]+ChN0[i-2,j]+ChN0[i+2,j])/16 ・・・式８
ただし、このようにして算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
【００４４】
ところで、上述したように算出される異色間類似度は、縦方向または横方向に隣接する画素の色情報を比較することによって算出されるので、同色間類似度よりも短い距離間隔で類似性の強弱の判定が可能である。すなわち、異色間類似度には、同色間類似度よりも細かい画像の構造が反映されることになる。
【００４５】
また、異色間類似度は、異なる色成分の色情報が全て同一の輝度情報を表していると仮定して算出されるため、異色間類似度を用いた類似性の強弱の判定は、無彩色部において、信頼性が高い。一方、同色間類似度を用いた類似性の強弱の判定は、彩色部・無彩色部ともに全般的に信頼性が高いが、画像の構造が細かい部分では、異色間類似度を用いた場合に比べて信頼性が劣る。
【００４６】
したがって、ベイア配列型画像データの全ての画素に対して、信頼性の高い類似性の強弱の判定を行うには、画像全体を、無彩色部と彩色部とに分け、各々の部分に適した類似度を用いる方法が優れている。
【００４７】
すなわち、信頼性の高い類似性の強弱の判定は、各々の画素が属する局所的領域における色彩の有無によって、指標HVを設定する際に用いる類似度を切り換えることによって実現できる。なお、各々の画素が属する局所的領域における色彩の有無は、局所的な色差情報を用いることによって判定できるが、上述したように算出される異色間類似度には、類似性の強弱と同時に局所的な色差情報が反映されている。
【００４８】
そこで、ここでは、異色間類似度を用いて、座標[i,j]に位置する画素が属する局所的領域における色彩の有無を判定し、その判定の結果に応じて、指標HVを設定する際に用いる類似度を切り換える例を示す。
【００４９】
まず、画像処理部１１は、異色間類似度を用いて、座標[i,j]に位置する画素が属する局所的領域が無彩色部であるか否かを判定する（図４Ｓ２）。
【００５０】
このような判定は、閾値ThNv,ThNhについて、以下の条件１が成り立つか否かを判定することによって実現でき、条件１が成り立つ場合、座標[i,j]に位置する画素が属する局所的領域が無彩色部であると判断でき、条件１が成り立たない場合、その局所的領域が彩色部であると判断できる。
CvN[i,j]≦ThNv または ChN[i,j]≦ThNh ・・・条件１
ただし、閾値ThNv,ThNhは、階調数が256のとき10程度以下の値をとるものとする。
【００５１】
そして、画像処理部１１は、座標[i,j]に位置する画素が属する局所的領域が無彩色部である場合、異色間類似度に基づく類似性（以下、「異色間類似性」と称する。）が同程度であるか否かを判定する（図４Ｓ３）。
【００５２】
例えば、このような判定は、閾値Th0について、以下の条件２が成り立つか否かを判定することによって実現できる。
|CvN[i,j]-ChN[i,j]|≦Th0 ・・・条件２
【００５３】
なお、条件２において、閾値Th0は、縦方向の異色間類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th0の値を高く設定することによって、類似性の判定の精度が高められる。
【００５４】
そして、画像処理部１１は、図４Ｓ３の判定結果として、異色間類似性が同程度である場合（条件１および条件２が成り立つ場合）、縦横間で類似性に区別がつかないと判定して指標HV[i,j]に０を設定する（図４Ｓ４）。
【００５５】
一方、異色間類似性が強い方向が判別できる場合、縦方向の異色間類似性が強いか否かを判定する（図４Ｓ５）。
【００５６】
例えば、このような判定は、以下の条件３が成り立つか否かを判定することによって実現できる。
CvN[i,j]<ChN[i,j] ・・・条件３
【００５７】
そして、画像処理部１１は、図４Ｓ５の判定結果として、縦方向の異色間類似性が強い場合（条件１および条件３が成り立ち、条件２が成り立たない場合）、縦方向に類似性が強いと判断し、指標HV[i,j]に１を設定する（図４Ｓ６）。一方、縦方向の異色間類似性が強くない場合（条件１が成り立ち、条件２および条件３が成り立たない場合）、横方向に類似性が強いと判断し、指標HV[i,j]に１を設定する（図４Ｓ７）。
【００５８】
また、画像処理部１１は、図４Ｓ２の判定結果として、座標[i,j]に位置する画素が属する局所的領域が彩色部である場合、同色間類似度に基づく類似性（以下、「同色間類似性」と称する。）が同程度であるか否かを判定する（図４Ｓ８）。
【００５９】
例えば、このような判定は、閾値Th1について、以下の条件４が成り立つか否かを判定することによって実現できる。
|CvS[i,j]-ChS[i,j]|≦Th1 ・・・条件４
【００６０】
なお、条件４において、閾値Th1は、縦方向の同色間類似度CvS[i,j]と横方向の同色間類似度ChS[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th1の値を高く設定することによって、類似性の判定の精度が高められる。
【００６１】
そして、画像処理部１１は、図４Ｓ８の判定結果として、同色間類似性が同程度である場合（条件１が成り立たず、条件４が成り立つ場合）、縦横間で類似性に区別がつかないと判定して指標HV[i,j]に０を設定する（図４Ｓ９）。
【００６２】
一方、同色間類似性が強い方向が判別できる場合、縦方向の同色間類似性が強いか否かを判定する（図４Ｓ１０）。
【００６３】
例えば、このような判定は、以下の条件５が成り立つか否かを判定することによって実現できる。
CvS[i,j]<ChS[i,j] ・・・条件５
【００６４】
そして、画像処理部１１は、図４Ｓ１０の判定結果として、縦方向の同色間類似性が強い場合（条件１および条件４が成り立たず、条件５が成り立つ場合）、縦方向に類似性が強いと判断し、指標HV[i,j]に１を設定する（図４Ｓ１１）。一方、縦方向の同色間類似性が強くない場合（条件１、条件４および条件５が成り立たない場合）、横方向に類似性が強いと判断し、指標HV[i,j]に１を設定す
る（図４Ｓ１２）。
【００６５】
なお、「指標HVの設定処理」では、類似性の強弱を判定する際に、異色間類似度と同色間類似度とを切り換えているが、類似性の判定に用いる類似度としては、異色間類似度と同色間類似度とを完全に切り換える以外に、無彩色部では異色間類似度の加算比率を上げ、彩色部では同色間類似度の加算比率を上げて、異色間類似度と同色間類似度とを加重加算して得られる類似度でも良い。
【００６６】
さらに、「指標HVの設定処理」では、局所的な色彩の有無を調べる方法として異色間類似度に含まれる色差を用いたが、色の比など他の情報を用いても良い。
【００６７】
《指標DNの設定処理》
次に、図５を参照して、「指標DNの設定処理」の詳細な説明を行う。
【００６８】
ただし、ここでは、座標[i,j]に位置する画素における指標DN[i,j]を算出する例を示し、後述する演算式では、図２のＲ、Ｇ、ＢをＺに置き換えて、各々の画素の色成分の色情報をZ[i,j]のように表現する。
【００６９】
まず、画像処理部１１は、斜め45度方向および斜め135度方向に対し、３つの色成分の色情報を用いて類似度を算出する（図５Ｓ１）。
【００７０】
例えば、画像処理部１１は、このような類似度を算出する過程で、以下の式９および式１０によって定義される値を、座標[i,j]に位置する画素に対して算出する。
【００７１】
ただし、式９および式１０は、座標[i,j]がＲ位置状態（または、Ｂ位置状態）の場合、斜め方向に存在する緑色成分の色情報から成る類似度成分と、斜め方向に存在する青色成分（または、赤色成分）の色情報から成る類似度成分と、斜め方向に存在する青色成分と赤色成分との色情報から成る類似度成分とを用いることによって、３つの色成分の色情報を用いた類似度の算出を実現している。また、座標[i,j]がＧｒ位置状態やＧｂ位置状態の場合、斜め方向に存在する青色成分と赤色成分との色情報から成る類似度成分と、斜め方向に存在する緑色成分の色情報から成る類似度成分とを用いることによって、３つの色成分の色情報を用いた類似度の算出を実現している。
【００７２】
C45_0[i,j]=((|Z[i,j-1]-Z[i-1,j]|+|Z[i+1,j]-Z[i,j+1]|)/2
+|Z[i+1,j-1]-Z[i-1,j+1]|
+(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2)/3 ・・・式９
C135_0[i,j]=((|Z[i,j-1]-Z[i+1,j]|+|Z[i-1,j]-Z[i,j+1]|)/2
+(|Z[i-1,j-1]-Z[i+1,j+1]|
+(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2)/3 ・・・式１０
【００７３】
式９および式１０によって算出されるC45_0[i,j],C135_0[i,j]は、そのまま、座標[i,j]に位置する画素の斜め45度方向および斜め135度方向に対する類似度とすることができるが、ここでは、座標[i,j]に位置する画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に周辺加算して、座標[i,j]に位置する画素の斜め方向に対する類似度を算出する例を示す。
【００７４】
すなわち、画像処理部１１は、式９および式１０に基づき、座標[i,j],[i-1,j-1],[i+1,j-1],[i-1,j+1],[i+1,j+1],[i,j-2],[i,j+2],[i-2,j],[i+2,j]に位置する画素に対して算出した値を、式１１および式１２に示すようにして周辺加算して、斜め45度方向に対する類似度C45[i,j]および斜め135度方向に対する類似度C135[i,j]を算出する。
【００７５】
なお、式１１および式１２は、図８に示すようにして周辺加算を行うことに相当する。
C45[i,j]=(4・C45_0[i,j]+2・(C45_0[i-1,j-1]+C45_0[i+1,j-1]
+C45_0[i-1,j+1]+C45_0[i+1,j+1])+C45_0[i,j-2]+C45_0[i,j+2]
+C45_0[i-2,j]+C45_0[i+2,j])/16 ・・・式１１
C135[i,j]=(4・C135_0[i,j]+2・(C135_0[i-1,j-1]+C135_0[i+1,j-1]
+C135_0[i-1,j+1]+C135_0[i+1,j+1])+C135_0[i,j-2]
+C135_0[i,j+2]+C135_0[i-2,j]+C135_0[i+2,j])/16 ・・・式１２
ただし、このようにして算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
【００７６】
画像処理部１１は、このようにして、斜め45度方向および斜め135度方向に対する類似度を算出すると、これらの類似度に基づいて、斜め類似性が同程度であるか否かを判定する（図５Ｓ２）。
【００７７】
例えば、このような判定は、閾値Th3について、以下の条件５が成り立つか否かを判定することによって実現できる。
|C45[i,j]-C135[i,j]|≦Th3 ・・・条件５
【００７８】
なお、条件５において、閾値Th3は、斜め45度方向に対する類似度C45[i,j]と斜め135度方向に対する類似度C135[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th3の値を高く設定することによって、類似性の判定の精度が高められる。
【００７９】
画像処理部１１は、このような判定結果として、斜め類似性が同程度である場合（条件５が成り立つ場合）、斜め方向間で類似性に区別がつかないと判定して指標DN[i,j]に０を設定する（図５Ｓ３）。
【００８０】
一方、斜め類似性が強い方向が判別できる場合、斜め45度方向の類似性が強いか否かを判定する（図５Ｓ４）。
【００８１】
例えば、このような判定は、以下の条件６が成り立つか否かを判定することによって実現できる。
C45[i,j]<C135[i,j] ・・・条件６
【００８２】
そして、画像処理部１１は、図５Ｓ４の判定結果として、斜め45度方向の類似性が強い場合（条件５が成り立たず、条件６が成り立つ場合）、斜め45度方向に類似性が強いと判断し、指標DN[i,j]に１を設定する（図５Ｓ５）。一方、斜め45度方向の類似性が強くない場合（条件５および条件６が成り立たない場合）、斜め135度方向に類似性が強いと判断し、指標DN[i,j]に１を設定する（図５Ｓ６）。
【００８３】
なお、Ｇｒ位置状態の画素やＧｂ位置状態の画素における縦横方向の類似性や斜め方向の類似性は、隣接する画素（Ｒ位置状態やＢ位置状態の画素）における類似性と一致する場合が多いため、Ｇｒ位置状態の画素やＧｂ位置状態の画素では、隣接する画素で設定された指標の値を引用することによって、指標HVや指標DNの設定を実現することができる。
【００８４】
例えば、Ｇｒ位置状態やＧｂ位置状態の画素の指標としては、Ｇｒ位置状態やＧｂ位置状態の画素に対して一方向に隣接する画素で設定された指標の値を、そのまま引用したり、周辺における類似性の平均としてＧｒ位置状態やＧｂ位置状態の画素の上下左右に隣接する画素で設定された指標の値の和を２や４で除算した結果（ただし、除数は、除算の結果が−１〜１の範囲に収まるように選択する。）を用いることができる。
【００８５】
このように、Ｇｒ位置状態やＧｂ位置状態の画素の指標として、隣接する画素で設定された指標の値を引用する場合、「指標HVの設定処理」および「指標DNの設定処理」は、Ｒ位置状態やＢ位置状態の画素に対してのみ行えば良いことになる。
【００８６】
《輝度成分生成処理》
次に、図６を参照して「輝度成分生成処理」の動作を説明する。
【００８７】
画像処理部１１は、上述したように指標HVおよび指標DNの設定が完了すると、これらの指標の値と、処理対象画素に対応する色成分の状態とを判定する（図６Ｓ１）。
【００８８】
ここでは、このような判定として、処理対象画素がＲ位置状態またはＢ位置状態の場合、類似性の強さを、以下のcase1〜case9の何れかに分類し、処理対象画素がＧｒ位置状態またはＧｂ位置状態の場合、類似性の強さを、以下のcase10〜case12の何れかに分類する。なお、case10〜case12のDN[i,j]に対応するxは、1,0,-1の何れか１つの値を示す。
【００８９】
《Ｒ位置状態またはＢ位置状態》
case1:(HV,DN)=(1,1):縦および斜め45度方向の類似性が強い。
case2:(HV,DN)=(1,0):縦方向の類似性が強い。
case3:(HV,DN)=(1,-1):縦および斜め135度方向の類似性が強い。
case4:(HV,DN)=(0,1):斜め45度方向の類似性が強い。
case5:(HV,DN)=(0,0):全ての方向の類似性が強い（または、弱い）。
case6:(HV,DN)=(0,-1):斜め135度方向の類似性が強い。
case7:(HV,DN)=(-1,1):横および斜め45度方向の類似性が強い。
case8:(HV,DN)=(-1,0):横方向の類似性が強い。
case9:(HV,DN)=(-1,-1):横および斜め135度方向の類似性が強い。
【００９０】
《Ｇｒ位置状態またはＧｂ位置状態》
case10:(HV,DN)=(1,x):少なくとも縦方向の類似性が強い。
case11:(HV,DN)=(0,x):少なくとも縦方向および横方向の類似性が強い（または、弱い）。
case12:(HV,DN)=(-1,x):少なくとも横方向の類似性が強い。
なお、図９は、(HV,DN)の値に対応する類似性の強い方向を示す図である。
【００９１】
次に、画像処理部１１は、処理対象画素を中心とする５×５の画素の色情報から、図６Ｓ１の判定結果に応じて、処理対象画素のＹ成分を生成する際に用いる複数の色情報を選択し、選択した色情報を加重加算して処理対象画素のＹ成分を生成する。
【００９２】
例えば、座標[i,j]に存在する処理対象画素のＹ成分Y[i,j]を生成する処理は、図２のＲ、Ｇ、ＢをＺに置き換え、５×５の画素の各々の色成分の色情報をZ[X,Y]のように表現し、５×５の画素の各々に対応する加重係数をk[X,Y]のように表現する場合、以下の式２０を演算することによって実現できる。ただし、式２０の各々の加重係数には、図６Ｓ１の判定結果に応じて所定の値が設定され、Ｙ成分の生成に用いない色情報の加重係数については０が設定されるものとする。
Y[i,j]=K[i-2,j-2]・Z[i-2,j-2]+K[i-1,j-2]・Z[i-1,j-2]
+・・・+K[i+1,j+2]・Z[i+1,j+2]+K[i+2,j+2]・Z[i+2,j+2] ・・・式２０
【００９３】
そこで、ここでは、上述したcase1〜case12の各々に対応付けて、式２０の加重係数に設定する値の配列を示す複数のテーブル（以下、「係数テーブル」と称する）を予めメモリ１３に格納しておく。そして処理対象画素のＹ成分を式２０を基づいて生成する際、画像処理部１１が、図６Ｓ１の判定結果に対応する係数テーブルを選択して処理をする。ただし、このような処理において、係数テーブルには、処理対象画素の類似性の強い方向に位置する画素の色情報の加重係数として０以外の値が設定される必要があり、各々の画素の色情報に対する加重係数の大きさは、処理対象画素からの距離に応じて可変されることが望ましい。
【００９４】
図１０および図１１は、係数テーブルに設定する値の例を示す図である。
【００９５】
図１０および図１１では、処理対象画素を中心に類似性の強い方向に広がる領域（以下、「中央領域」と称する）に斜線を付与しており、このような中央領域に属する画素の色情報の加重係数は、正の値を示しており、中央領域に隣接する領域に属する画素の色情報に対応する加重係数は、負の値を含んでいる。また、各々の画素の色情報に対する加重係数の大きさは、処理対象画素が最も大きく設定され、処理対象画素からの距離が長い画素程、小さく設定されている。
【００９６】
なお、各係数テーブルは、係数＝０に対応する画素を除いた画素において、Ｒの画素、Ｇの画素、Ｂの画素を、それぞれ少なくとも１画素使用するように設定されている。すなわち、処理対象画素のＹ成分を求めるにあたり、表色系を構成する色情報のいずれの色情報も使用するように設定されている。また、係数テーブルの各係数をすべて足した値に、テーブル横に示す値（図１０（１）の場合は１／１６）をかけた値は、１になるように設定されている。言い換えると、各係数テーブルの各係数の値にテーブル横の値を掛けた値を係数ｋｉとすると、Σｋｉ＝１が成立する。さらに、各係数テーブルの係数は、ＲＧＢの比率が１：２：１の一定の値となるように設定されている。すなわち、Ｒに該当する係数をすべて足した値と、Ｇに該当する係数をすべて足した値と、Ｂに該当する係数をすべて足した値の比率が１：２：１となる。なお、中央領域のみに限って注目しても、Ｒの画素、Ｇの画素、Ｂの画素を、それぞれ少なくとも１画素使用するように設定されている。
【００９７】
画像処理部１１は、上述した図６Ｓ１の判定が終了すると、図１０および図１１のような値が設定された複数の係数テーブルから、以下のようにして、図６Ｓ１の判定結果に対応する係数テーブルを選択し、式２０に基づいて、処理対象画素のＹ成分を生成する。
【００９８】
case1のとき:係数テーブル１を用いてＹ成分を生成する（図６Ｓ２）。
case2のとき:係数テーブル２を用いてＹ成分を生成する（図６Ｓ３）。
case3のとき:係数テーブル３を用いてＹ成分を生成する（図６Ｓ４）。
case4のとき:係数テーブル４を用いてＹ成分を生成する（図６Ｓ５）。
case5のとき:係数テーブル５を用いてＹ成分を生成する（図６Ｓ６）。
case6のとき:係数テーブル６を用いてＹ成分を生成する（図６Ｓ７）。
case7のとき:係数テーブル７を用いてＹ成分を生成する（図６Ｓ８）。
case8のとき:係数テーブル８を用いてＹ成分を生成する（図６Ｓ９）。
case9のとき:係数テーブル９を用いてＹ成分を生成する（図６Ｓ１０）。
case10のとき:係数テーブル１０を用いてＹ成分を生成する（図６Ｓ１１）。
case11のとき:係数テーブル１１を用いてＹ成分を生成する（図６Ｓ１２）。
case12のとき:係数テーブル１２を用いてＹ成分を生成する（図６Ｓ１３）。
【００９９】
《色度成分生成処理》
次に、図７を参照して「色度成分生成処理」の動作を説明する。
【０１００】
まず、画像処理部１１は、操作部２４を介し、操作者によって白黒モードが選択されているか否かを判定する（図７Ｓ１）。
【０１０１】
そして、画像処理部１１は、図７Ｓ１の判定によって、白黒モードが選択されている場合、色度成分生成処理を終了する。
【０１０２】
一方、画像処理部１１は、図７Ｓ１の判定によって、白黒モードが選択されていない場合、処理対象画素および処理対象画素の近傍に位置する画素のうち、赤色成分または青色成分が存在する画素の色差を算出する（図７Ｓ２）。
【０１０３】
例えば、赤色成分が存在する画素の色差Ｃｒは、その画素の赤色成分の色情報からＹ成分を減算することによって算出することができ、青色成分が存在する画素の色差Ｃｂは、その画素の青色成分の色情報からＹ成分を減算することによって算出することができる。
【０１０４】
画像処理部１１は、色差を算出すると、その色差を加重加算して、処理対象画素のＣｒ成分またはＣｂ成分を生成する（図７Ｓ３）。
【０１０５】
例えば、赤色成分が存在する画素における色差Ｃｒが、図１２のように算出された場合、画像処理部１１は、処理対象画素に対応する色成分の状態に応じ、以下の式２１〜式２４を演算することによって、処理対象画素のＣｒ成分を生成する。なお、Ｃｂ成分は、Ｃｒ成分と同様にして生成することができる。
【０１０６】
《Ｒ位置状態》
Cr[i,j]=(36・Cr[i,j]
+6・(Cr[i,j-2]+Cr[i,j+2]+Cr[i-2,j]+Cr[i+2,j])
+Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])/64 ・・・式２１
《Ｂ位置状態》
Cr[i,j]=(Cr[i-1,j-1]+Cr[i+1,j-1]+Cr[i-1,j+1]+Cr[i+1,j+1])/4 ・・・式２２
《Ｇｒ位置状態》
Cr[i,j]=(6・(Cr[i-1,j]+Cr[i+1,j])
+Cr[i-1,j-2]+Cr[i+1,j-2]+Cr[i-1,j+2]+Cr[i+1,j+2])/16 ・・・式２３
《Ｇｂ位置状態》
Cr[i,j]=(6・(Cr[i,j-1]+Cr[i,j+1])
+Cr[i-2,j-1]+Cr[i+2,j-1]+Cr[i-2,j+1]+Cr[i+2,j+1])/16 ・・・式２４
【０１０７】
以上説明したように、「輝度成分生成処理」および「色度成分生成処理」では、Ｙ成分、Ｃｒ成分およびＣｂ成分の生成に際し、画素単位でＲＧＢ全ての色成分の色情報を得るための補間処理を行う必要がない。
【０１０８】
したがって、第１の実施形態では、補間処理を行う必要があった従来の電子カメラと比べて、効率良く表色系変換処理を行うことができる。
【０１０９】
また、「輝度成分生成処理」では、「指標HVの設定処理」および「指標DNの設定処理」の結果や処理対象画素に対応する色成分の状態に応じて、係数テーブルを選択することにより、類似性の強い方向に位置する画素の色情報を加重加算してＹ成分を生成することができる。
【０１１０】
さらに、「輝度成分生成処理」では、中央領域に属する画素の色情報に対応する加重係数を正の値とし、中央領域に隣接する領域に属する画素の色情報に対応する加重係数に負の値を含ませることにより、中央領域と、中央領域に隣接する領域との色情報の差異をＹ成分に反映させることができる。
【０１１１】
したがって、第１の実施形態では、ベイア配列型画像データの高周波成分が表色系変換処理によって失われることがないため、処理対象画素の近傍に位置する画素の色情報を単純に加算してＹ成分を生成していた従来の電子カメラと比べ、確実に解像度を高めることができる。
【０１１２】
すなわち、第１の実施形態によれば、解像度を高めつつ、効率良く表色系変換処理を行うことができる。
【０１１３】
ところで、白黒モードが選択されている場合、Ｙ成分に対してのみ平滑化処理や輪郭強調等の画像処理を行えば良く、Ｃｒ成分およびＣｂ成分に対する画像処理は不要である。しかし、補間処理を行う必要がある従来の電子カメラでは、撮像素子の表色系の全色成分について補間処理を行った上で、初めてＹ成分が生成されるので、白黒モードが選択されている場合であっても、Ｙ成分のみを生成することができない。一方、第１の実施形態では、表色系変換処理の対象となるベイア配列型画像データが白黒モードの下で生成されている場合、Ｙ成分のみが生成され、Ｃｒ成分およびＣｂ成分は生成されないことになる。
【０１１４】
すなわち、第１の実施形態では、白黒モードが選択されている場合、余計な処理（Ｃｒ成分およびＣｂ成分を生成する処理）を行わず、効率良く表色系変換処理を行うことができる。
【０１１５】
なお、第１の実施形態の「輝度成分生成処理」では、処理対象画素がＲ位置状態またはＢ位置状態の場合、指標HVおよび指標DNの値によって、類似性の強さをcase1〜case9の何れかに分類しているが、類似性の強さの分類は、このようなcaseに限らず、指標HVの値のみを用いて、以下のcaseA〜caseCの何れかに分類しても良い。
caseA:HV=1:縦方向の類似性が強い。
caseB:HV=0:縦方向および横方向の類似性が強い（または、弱い）。
caseC:HV=-1:横方向の類似性が強い。
【０１１６】
ただし、このようにして処理対象画素の類似性の強さをcaseA〜caseCの何れかに分類する場合、Ｙ成分の生成時には、以下のような係数テーブルを用いるものとする。
caseAのとき:係数テーブル２。
caseBのとき:係数テーブル５。
caseCのとき:係数テーブル８。
【０１１７】
また、第１の実施形態の「輝度成分生成処理」では、処理対象画素がＲ位置状態とＢ位置状態との何れの状態であっても（または、処理対象画素がＧｒ位置状態とＧｂ位置状態との何れの状態であっても）、類似性の強い方向が一致していれば、同一の係数テーブルを用いてＹ成分が生成されることになるが、係数テーブルの種類を増やして、各々の状態で異なる係数テーブルを用いてＹ成分を生成しても良い。
【０１１８】
さらに、第１の実施形態の「輝度成分生成処理」では、係数テーブルに設定する値の一例として、図１０および図１１のような値を示したが、係数テーブルに設定する値は、中央領域における加重係数が正で、中央領域に近接する領域における加重係数が負であれば、如何なる値であっても良い。
【０１１９】
また、係数テーブルに設定する値の決め方としては、例えば、試験的に様々な値を設定して「輝度変換処理」を行い、最適な値を抽出する方法が考えられる。
【０１２０】
さらに、第１の実施形態の「輝度成分生成処理」は、処理対象画素が如何なる方向に類似性が強いかを判定し、その判定結果に応じて、Ｙ成分を生成する際に用いる加重係数を決める処理に相当するが、このような処理は、ＲＧＢ表色系を示すベイア配列型画像データに限らず、例えば、補色系の色成分から成る画像データに対しても適用できる。
【０１２１】
また、第１の実施形態の「輝度成分生成処理」では、「指標HVの設定処理」および「指標DNの設定処理」を行ってから、処理対象画素に対応する色成分の状態を判定しているが、「指標HVの設定処理」および「指標DNの設定処理」は、処理対象画素に対応する色成分の状態を判定してから行っても良い。
【０１２２】
さらに、第１の実施形態の「輝度成分生成処理」では、処理対象画素がＧｒ位置状態またはＧｂ位置状態の場合、類似性の強さは、指標DNの値に関係なく、case10〜case12の何れかに分類されるため、Ｇｒ位置状態やＧｂ位置状態の画素に対しては、「指標HVの設定処理」のみを行い、「指標DNの設定処理」は省略しても良い。
【０１２３】
また、第１の実施形態の「輝度成分生成処理」では、上述する「指標HVの設定処理」や「指標DNの設定処理」によって設定される指標の値によって、処理対象画素における類似性の強さを判定するが、このような類似性の強さの判定は、如何なる方法で実現しても良い。
【０１２４】
例えば、処理対象画素における縦横方向の類似性は、処理対象画素の上方向に存在する緑色成分の色情報と下方向に存在する緑色成分の色情報との差の絶対値を算出し、処理対象画素の左方向に存在する緑色成分の色情報と右方向に存在する緑色成分の色情報との差の絶対値を算出し、これらの差の絶対値を比較することによって実現できる。
【０１２５】
ところで、第１の実施形態の「輝度成分生成処理」で生成されるＹ成分は、図１０および図１１の中央領域におけるＹ成分と、中央領域の周辺におけるＹ成分とで構成されていると見なせる。ただし、第１の実施形態の「輝度成分生成処理」では、中央領域に存在する色情報と中央領域の周辺に存在する色情報との差異を、Ｙ成分に反映することによって、解像度を高めているので、中央領域におけるＹ成分をYc[i,j]とし、中央領域の周辺におけるＹ成分をYs[i,j]とすると、Y[i,j]は、以下の式２５によって生成されることに相当する。
Y[i,j]=Yc[i,j]+K(Yc[i,j]-Ys[i,j]) ・・・式２５
【０１２６】
一般に、Ｙ成分は、ＲＧＢの３つの色成分を加重加算することによって生成することができるので、中央領域における各々の色成分の平均的な値をRc,Gc,Bcと表現し、中央領域の周辺における各々の色成分の平均的な値をRs,Gs,Bsと表現すると、中央領域におけるＹ成分Yc[i,j]および中央領域の周辺におけるＹ成分Ys[i,j]は、以下の式２６および式２７を演算することによって生成することができる。ただし、式２６および式２７において、cr,cg,cbは、ＲＧＢ表色系をＹＣｒＣｂ表色系に変換するための実数の係数であり、(cr,cg,cb)には、(1,1,1)、(1,2,1)、(3,6,1)、(1,4,1)等が適用できる。
Yc[i,j]=cr・Rc+cg・Gc+cb・Bc ・・・式２６
Ys[i,j]=cr・Rs+cg・Gs+cb・Bs ・・・式２７
【０１２７】
このような式２６および式２７を式２５に代入すると、式２５は、以下の式２５’のように書き換えられる。
Y[i,j]=cr・(Rc+kr・(Rc-Rs))
+cg・(Gc+kg・(Gc-Gs))
+cb・(Bc+kb・(Bc-Bs)) ・・・式２５’
【０１２８】
ただし、式２５’において、kr,kg,kbは、全てが正の値である必要はなく、少なくとも１つが正の値であれば、如何なる値（０を含む）であっても良い。すなわち、Rs,Gs,Bsの係数のうち、少なくとも１つの係数が負の値であれば良い。
【０１２９】
また、Rc,Gc,Bcは、中央領域に属する画素の色情報を用いて算出することが可能であり、Rs,Gs,Bsは、中央領域の周辺に位置する画素の色情報を用いて算出することが可能であり、処理対象画素の類似性の強さや処理対象画素に対応する色成分の状態に応じて異なる。
【０１３０】
なお、Rc,Gc,Bc,Rs,Gs,Bsを算出するための演算式を式２５’に代入すると、
式２５’は、中央領域に属する画素や中央領域の周辺に位置する画素の色情報を加重加算して座標[i,j]に位置する画素のＹ成分Y[i,j]を算出する演算式（式２
０に相当する）に展開することができる。
【０１３１】
すなわち、処理対象画素の類似性の強さや処理対象画素に対応する色成分の状態に応じて、Rc,Gc,Bc,Rs,Gs,Bsを算出する際に用いる色情報やkr,kg,kbの値を
可変した式２５’を用いＹ成分を生成する処理は、第１の実施形態の「輝度成分生成処理」のうち、処理対象画素の類似性の強さや処理対象画素に対応する色成分の状態に応じて選択した係数テーブルを用い、式２０に基づいて処理対象画素のＹ成分を生成する処理（図６Ｓ２〜Ｓ１３に相当する）に置き換えることが可能である。
【０１３２】
また、第１の実施形態の「色差成分生成処理」では、処理対象画素が属する局所領域内の色差を算出し、その色差を加重加算することによって、Ｃｒ成分を生成する例を示したが、ここで、別の例を示す。
【０１３３】
一般に、処理対象画素のＣｒ成分は、処理対象画素がＲ位置状態の場合、以下の式３０によって算出できる。
Cr[i,j]=R[i,j]-Y[i,j] ・・・式３０
【０１３４】
また、処理対象画素が属する５×５の局所領域内における各々の画素の色成分の色情報をZ[i-2,j-2],Z[i-1,j-2],・・・,Z[i,j],・・・,Z[i+1,j+2],Z[i+2,j+2]のように表現する場合、R[i,j]は、以下の式３１のように表現できる。
R[i,j]=0・Z[i-2,j-2]+0・Z[i-1,j-2]+・・・
+1・Z[i,j]+・・・
+0・Z[i+1,j+2]+0・Z[i+2,j+2] ・・・式３１
【０１３５】
さらに、上述した式２０からY[i,j]は、以下の式２０’のように表現できる。
Y[i,j]=K[i-2,j-2]・Z[i-2,j-2]+K[i-1,j-2]・Z[i-1,j-2]+・・・
+K[i,j]・Z[i,j]+・・・
+K[i+1,j+2]・Z[i+1,j+2]+K[i+2,j+2]・Z[i+2,j+2] ・・・式２０’
【０１３６】
したがって、式３１および式２０’を式３０に代入すると、式３０は、以下の式３２のように書き換えられる。
Cr[i,j]=(0-K[i-2,j-2])・Z[i-2,j-2]+(0-K[i-1,j-2])・Z[i-1,j-2]+・・・
+(1-K[i,j])・Z[i,j]+・・・
+(0-K[i+1,j+2])・Z[i+1,j+2]+(0-K[i+2,j+2])・Z[i+2,j+2] ・・・式３２
【０１３７】
すなわち、処理対象画素のＣｒ成分は、色差を算出することなく、処理対象画素が属する局所領域内における画素の各々の色成分の色情報を加重加算することによって、生成することができる。
【０１３８】
また、式３２の加重係数に設定する値は、「輝度成分生成処理」で用いる係数テーブルの値の符号を反転し、処理対象画素に対応する係数にのみ１を加算して得られる値に相当する。例えば、図６Ｓ１の判定結果として処理対象画素がcase4に分類された場合、処理対象画素のＣｒ成分を算出する際に用いる係数は、図１３に示すテーブルのように、図１０（４）に示す係数テーブル４の値を用いて得られる。なお、図１３の係数テーブルは、各係数をすべて足した値は０になるように設定されている。各係数の値にテーブル横の値を掛けた値を係数ｋｉとすると、Σｋｉ＝０が成立する。
【０１３９】
−第２の実施形態−
第１の実施の形態では、図１０および図１１に示したように、局所領域内の中央領域に属する画素の色情報に対応する加重係数を正の値とし、中央領域に隣接する領域に属する画素の色情報に対応する加重係数を負の値とする例を示した。すなわち、中央領域と、中央領域に隣接する領域との色情報の差異をＹ成分に反映させる例を示した。しかし、中央領域の正の値の加重係数のみによっても輝度成分Ｙを求めることができる。第２の実施の形態は、この内容を示す。
【０１４０】
第１の実施の形態と第２の実施の形態とは、係数テーブルを除き共通するので、共通する部分の説明は省略する。図１４は、第１の実施の形態の図１０および図１１に対応する係数テーブルを示す図である。類似性の強さの分類case1〜case12は、第１の実施の形態と同じである。図１４（１）〜（９）の係数テーブルは、case1〜case9のそれぞれに対応して使用され、図１４（１０）の係数テーブルはcase10〜case12に使用される。
【０１４１】
なお、方向判定の結果に基づいて輝度成分を求める際、画素の位置ごとに異なったＲＧＢの色割合で加算されると、輝度画像の著しい画質低下を招く、従って、本実施の形態では、各係数テーブルの係数は、ＲＧＢの比率が１：２：１の一定の値となるように設定されている。すなわち、Ｒに該当する係数をすべて足した値と、Ｇに該当する係数をすべて足した値と、Ｂに該当する係数をすべて足した値の比率が１：２：１となる。
【０１４２】
また、各係数テーブルは、係数＝０に対応する画素を除いた画素において、Ｒの画素、Ｇの画素、Ｂの画素を、それぞれ少なくとも１画素使用するように設定されている。すなわち、処理対象画素のＹ成分を求めるにあたり、表色系を構成する色情報のいずれの色情報も使用するように設定されている。また、係数テーブルの各係数をすべて足した値に、テーブル横に示す値（図１４（１）の場合は１／８）をかけた値は、１になるように設定されている。言い換えると、各係数テーブルの各係数の値にテーブル横の値を掛けた値を係数ｋｉとすると、Σｋｉ＝１が成立する。
【０１４３】
図１４（１）〜（１０））の係数テーブルは、第１の実施の形態の図１０、図１１の中央領域の係数のみを抜き出したものと言える。ただし、各係数テーブルのＲＧＢの比率をすべて１：２：１とするために、若干の値の調整が行われている。
【０１４４】
このように、第２の実施の形態においても、類似性の強い方向に位置する画素の色情報を加重加算してＹ成分を求めているので、元画像の持つ周波数帯域を狭めることなく表色系変換処理が実現できる。さらに、全画素に渡ってＲＧＢ各色の加算の割合を１：２：１の一定にしてＹ成分を求めているので、色フィルタの空間的な配置による影響を受けることなく、原画像に忠実ななめらかな輝度画像を得ることができる。
【０１４５】
上述のように、空間周波数の帯域幅を狭めることがないとはいえ、上記加重加算にはローパス効果が含まれる。従って、得られた輝度画像は高周波成分に対する利得がやや低下する。これを補うために、画像に含まれる高周波成分を強調する処理をしてもよい。以下、その処理について説明する。
【０１４６】
上記で求めた局所領域の輝度信号を、Ｙ＝Ｙｃ＋ｋ（Ｙｃ−Ｙｓ）で表される輪郭強調に似た処理を行う。ここで、Ｙは処理後の輝度信号を示し、Ｙｃは処理前の注目画素の輝度信号を示し、Ｙｓは処理前の注目画素に隣接するあるいは周辺の画素の輝度信号を示す。係数ｋは正の実数であり、係数ｋの値が大きければ高周波成分がより強く強調されることになる。図１５は、この処理に使用する加重加算の係数の一例を示す図である。なお、図１５の係数に代えて、他の類似フィルタを用いてもよい。さらに、Ｙ＝Ｙｃ＋ｋ（Ｙｃ−Ｙｃｌｐｆ）で表されるアンシャープマスク処理に似た処理を施しても良い。ここで、Ｙｃｌｐｆは注目画素の輝度信号にローパスフィルタを施した輝度信号である。
【０１４７】
このような処理を行うことにより、高周波成分の利得が補正された輝度成分を求めることができる。なお、第１の実施の形態の図１０、１１の係数テーブルは、第２の実施の形態で説明したＹ成分を求める処理と、高周波成分の補正処理を一つのテーブルで行うものであると言える。すなわち、第１の実施の形態の図１０、１１の係数テーブルは、第２の実施の形態の図１４と図１５を組み合わせ、さらに係数値の調整を行って自由度をもたせたものと言える。
【０１４８】
−第３の実施形態−
以下、第３の実施形態の動作を説明する。
【０１４９】
なお、第３の実施形態は、画像処理プログラムを記録した記録媒体を用いて、図１に示すＰＣ１８によって画像処理を実行することに相当する。
【０１５０】
ただし、ＰＣ１８には、ＣＤ−ＲＯＭ２８などの記録媒体に記録された画像処理プログラム（第１、第２の実施形態の画像処理部１１と同様にして「輝度成分生成処理」や「色度成分生成処理」を実行する画像処理プログラム）が予めインストールされているものとする。すなわち、ＰＣ１８内の不図示のハードディスクには、このような画像処理プログラムが不図示のＣＰＵによって実行可能な状態に格納されている。
【０１５１】
以下、図１を参照して第３の実施形態の動作を説明する。
【０１５２】
まず、電子カメラ１は、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、撮像素子２１で生成されてアナログ信号処理部２２で所定のアナログ信号処理が施された画像信号を、Ａ／Ｄ変換部１０でディジタル化し、画像データ（ベイア配列型画像データに相当する）として、画像処理部１１に供給する。画像処理部１１は、このようにして供給された画像データに対して所定の画像処理（例えば、階調変換やγ補正等）を行う。画像処理が完了した画像データは、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【０１５３】
次に、電子カメラ１は、操作部２４を介し、操作者によってＰＣ通信モードが選択された状態で、外部インタフェース部１９を介し、ＰＣ１８から画像データの転送が指示されると、その指示に対応する画像データ（ベイア配列型画像データに相当する）を、メモリカード用インタフェース部１７を介してメモリカード１６から読み出す。そして、このようにして読み出した画像データを、外部インタフェース部１９を介してＰＣ１８に供給する。
【０１５４】
ＰＣ１８内の不図示のＣＰＵは、このようにして画像データが供給されると、前述した画像処理プログラムを実行する。なお、このような画像処理プログラムの実行によって「輝度成分生成処理」や「色度成分生成処理」が行われた画像データは、必要に応じて圧縮処理して不図示のハードディスクに記録したり、モニタ２６やプリンタ２７で採用されている表色系に変換して各々に供給しても良い。
【０１５５】
以上説明したように、第３の実施形態では、第１、第２の実施形態と同様の表色系変換処理（「輝度成分生成処理」や「色度成分生成処理」）をＰＣ１８によって行うことができる。
【０１５６】
なお、ＰＣ１８内の不図示のＣＰＵは、前述したように画像データが記録されたメモリカード１６が装着された場合、そのメモリカード１６から画像データを読み出し、前述した画像処理プログラムを実行しても良い。
【０１５７】
また、このような画像処理プログラムは、インターネット３０を介してサーバー３１が提供する所定のホームページにアクセスすることによって、ＰＣ１８にダウンロードされても良い。すなわち、画像処理プログラムが搬送波にデータ信号として組み込まれ送信される。 さらに、このような画像処理プログラムは、ＰＣ１８で実行せず、インターネット３０等を介して接続される遠隔地のサーバ３１等で実行しても良い。すなわち、ＰＣ１８は、電子カメラ１から供給されるベイア配列型画像データを、インターネット３０等を介して、前述した画像処理プログラムが実行可能なサーバ３１等に転送するだけで、そのベイア配列型画像データに第１、第２の実施形態と同様の表色系変換処理を行うことができる。
【０１５８】
上記画像処理プログラム（表色系変換プログラム）、このプログラムを記録したＣＤ−ＲＯＭなどの記録媒体、このプログラムを送信する搬送波などは、コンピュータ読み込み可能なコンピュータプログラム製品として定義付けられる。
【０１５９】
以上実施の形態で説明した発明の効果を整理すると以下のようになる。変換前の表色系を第１の表色系とし、変換後の表色系を第２の表色系とする。
【０１６０】
第１の表色系を構成する全ての色成分の色情報を画素単位で求めることなく、表色系変換処理を行うことができる。
【０１６１】
類似性の強い方向に位置する画素に存在する色情報や、処理対象画素に対応する色成分に適した色情報を加重加算することによって、処理対象画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成することができ、多色成分画像の高周波成分が表色系変換処理によって失われることがない。
【０１６２】
２つの領域の色情報の差異を処理対象画素における第２の表色系を構成する少なくとも１つの色成分に反映させることができ、多色成分画像の高周波成分が表色系変換処理によって失われることがない。
【０１６３】
以上により、解像度を高めつつ、効率良く表色系変換処理を行うことができる。
【０１６４】
さらに、類似性の強弱の判定に適した類似度を算出することができると共に、多くの色成分を用いて異色間類似度および同色間類似度の算出することによって、類似度の算出精度を高めることができる。
【０１６５】
色調が変化する画像（各々の色成分の色情報の比率が変化する画像）であっても、類似性を的確に判定することができる。
【０１６６】
処理対象画素と周辺の画素との間で、類似性が強い方向の連続性を考慮しつつ、処理対象画素の類似度を算出することができる。そのため、類似性の強弱の判定精度を向上することができるため、表色変換処理における解像度を更に向上することができる。
【０１６７】
さらに、全画素に渡ってＲＧＢ各色の加算の割合を一定にしてＹ成分を求めているので、色フィルタの空間的な配置による影響を受けることなく、原画像に忠実ななめらかな輝度画像を得ることができる。
【０１６８】
上述した実施の形態では、係数テーブルを予めメモリ１３に格納しておく例を説明したが、必ずしもこの内容に限定する必要はない。図１０、図１１、図１４、図１５の係数テーブルに相当する計算式をあらかじめ複数備えるようにしてもよい。例えば、式２０にそれぞれの係数をセットしたものを複数用意するようにしてもよい。図１０、図１１、図１４、図１５の係数テーブルに相当するものを一定の計算式で求めるようにしてもよい。さらに、ハードウェアで実現するようにしてもよい。例えば、係数テーブルに対応する電気信号をマルチプレクサチャンネルなどで選択するようにしてもよい。すなわち、図１０、図１１、図１４、図１５の係数テーブルに相当するものを係数セットとして準備するようにすればよい。
【０１６９】
上述した実施の形態では、図１０、図１１、図１４、図１５の係数テーブルを使用する例を説明したが、必ずしもこの係数テーブルに完全に一致する内容に限定する必要はない。図１０、図１１、図１４、図１５の係数テーブルに、係数パターンが対応し、係数値の比率が対応するものであればよい。さらに、他の係数パターンおよび係数値であってもよい。すなわち、変換前の表色系における色成分値を直接使用して、解像度よくかつ効率よく、変換後の表色系の色成分値を導き出せるものであればどのようなものでもよい。
【０１７０】
上述した実施の形態では、各係数テーブルのＲＧＢの比率を１：２：１にする例を説明したが、必ずしもこの内容に限定する必要はない。その他の比率、例えば１：１：１、１：４：１、３：６：１であってもよい。
【０１７１】
上述した実施の形態では、ＲＧＢ表色系からＹＣｒＣｂ表色系に変換する例で説明をしたが、必ずしもこの内容に限定する必要はない。他の表色系からＹＣｒＣｂ表色系に変換する場合にも本発明は適用できる。例えば、ＣＭＹＧ表色系からＹＣｒＣｂ表色系に変換する場合にも適用できる。この場合、上述した各係数テーブルは、係数＝０に対応する画素を除いた画素において、Ｃの画素、Ｍの画素、Ｙの画素、Ｇの画素の４色の画素をそれぞれ少なくとも１画素使用するように設定される。すなわち、処理対象画素のＹ成分を求めるにあたり、表色系を構成する色情報のいずれの色情報も使用するように設定される。また、ＲＧＢ表色系の場合と同様に、各係数テーブルの各係数の値に所定の値を掛けた値を係数ｋｉとすると、Σｋｉ＝１が成立するように設定する。さらに、各係数テーブルの係数は、ＣＭＹＧの比率が一定の値となるように設定される。
【図面の簡単な説明】
【図１】電子カメラの機能ブロック図である。
【図２】ベイア配列型画像データの色成分の配列を示す図である。
【図３】第１の実施形態における画像処理部の動作フローチャート（１）である。
【図４】第１の実施形態における画像処理部の動作フローチャート（２）である。
【図５】第１の実施形態における画像処理部の動作フローチャート（３）である。
【図６】第１の実施形態における画像処理部の動作フローチャート（４）である。
【図７】第１の実施形態における画像処理部の動作フローチャート（５）である。
【図８】周辺加算を説明する図である。
【図９】(HV,DN)の値に対応する類似性の強い方向を示す図である。
【図１０】係数テーブルに設定する値の例を示す図である。
【図１１】係数テーブルに設定する値の例を示す図である。
【図１２】色差Ｃｒが算出された状態を示す図である。
【図１３】Ｃｒ成分を生成する際に用いるテーブルの例を示す図である。
【図１４】第２の実施の形態の係数テーブルに設定する値の例を示す図である。
【図１５】Ｙ＝Ｙｃ＋ｋ（Ｙｃ−Ｙｓ）生成用係数の一例を示す図である。
本出願は日本国特許出願２０００年第２７１４７１号（２０００年９月７日出願）を基礎として、その内容は引用文としてここに組み込まれる。
【０００２】
技術分野
本発明は、複数の色成分から成る第１の表色系で示されて、１つの画素に１つの色成分が対応する多色成分画像に対し、第１の表色系と異なる第２の表色系を構成する少なくとも１つの色成分を示す色情報を画素単位で生成するための表色系変換処理を行う画像処理装置および該表色系変換方法に関する。
【０００３】
背景技術
電子カメラには、複数色のカラーフィルタが所定の位置に配置された撮像素子によって画像データを生成し、その画像データにノイズ除去や輪郭強調、色変換等の画像処理を行うものがある。
【０００４】
このような電子カメラでは、撮像素子のカラーフィルタを構成する色成分（例えば、ＣＭＹＧ：シアン・マゼンダ・黄・緑、ＲＧＢ：赤・緑・青等）により、画像データの入力側の表色系が決まる。しかし、ノイズ除去や輪郭強調等の画像処理を効率良く行ったり、ＪＰＥＧ等の標準化された画像圧縮を行うため、撮像素子によって生成された画像データの表色系を、人間の視感覚特性に合わせて、輝度成分Ｙと色成分Ｃｒ、Ｃｂとによって構成されるＹＣｒＣｂ表色系に変換する表色系変換処理が行われている。
【０００５】
このような表色系変換処理は、画像データを構成する各々の画素毎に、Ｙ成分、Ｃｒ成分およびＣｂ成分を生成することによって実現できる。
【０００６】
例えば、これらの成分を撮像素子によって生成した画像データから直接生成する場合、従来の電子カメラでは、表色系変換処理の対象となる「処理対象画素」の近傍に位置する画素の色情報を加算することによってＹ成分を生成し、このような画素間の色情報の差を用いてＣｒ成分およびＣｂ成分を生成していた。
【０００７】
しかし、このような電子カメラでは、Ｙ成分の生成に際し、処理対象画素を含む一定の範囲内に存在する複数の画素の色情報を単純に加算しているため、これらの画素の色情報が平均化されることになり、撮像素子によって得られる画像データの高周波成分が失われる。したがって、表色系変換処理で得られるＹＣｒＣｂ表色系の画像は、ぼやけたものになってしまう。
【０００８】
なお、ＲＧＢのカラーフィルタがベイア配列された撮像素子を備えた電子カメラには、画素単位でＲＧＢ全ての色成分の色情報を得るための補間処理を行い、このような補間処理によって得られた色情報を用いて、Ｙ成分、Ｃｒ成分およびＣｂ成分を生成するものがある。しかし、このような電子カメラでは、表色系変換処理の過程で、必ず、撮像素子の表色系の全色成分について補間処理が行われることになるため、効率が悪い。
【０００９】
発明の開示
本発明は、解像度を高めつつ、効率良く表色系変換処理を行える画像処理装置および表色系変換方法を提供することを目的とする。
【００１０】
上記目的を達成するために、本発明の、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する第１の画像処理装置は、第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置と、類似性判定装置による類似性の強弱の判定結果に応じて、処理対象画素に存在する色情報と処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する新成分生成装置とを備える。
この第１の画像処理装置において、所定の係数は、第１の表色系の複数の色成分ごとの合計による比率が一定となるように設定されるのが好ましい。
また、第１の画像処理装置において、選択した複数の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
本発明の、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する第２の画像処理装置は、第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付けて、これらの複数の色情報を加重加算し、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する新成分生成装置を備える。
この第２の画像処理装置は、処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置をさらに備え、新成分生成装置は、類似性判定装置による類似性の強弱の判定結果に基づき、中央領域として、処理対象画素を中心に類似性の強い方向に広がる領域を選択するのが好ましい。この場合、類似性の強弱を判定する複数の方向に対応する加重係数は、図１０および図１１に示す係数パターンおよび係数値の比率に対応するのが好ましい。
また、第２の画像処理装置は、処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置をさらに備え、新成分生成装置は、中央領域に存在する色情報の加重係数の大きさを、類似性判定装置による類似性の強弱の判定結果に応じて可変するのが好ましい。
また、第２の画像処理装置において、中央領域の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
上記第１の画像処理装置において、類似性の強弱を判定する複数の方向に応じた複数の所定の係数のセットを記憶する係数記憶装置をさらに備えるのが好ましい。この場合、係数記憶装置は、処理対象画素における類似性の強い方向の違いだけでなく、処理対象画素に対応する色成分の違いに応じて、複数種類の係数セットを記憶し、新色成分生成装置は、類似性判定装置による類似性の強弱の判定結果と、処理対象画素に対応する色成分とに対応する係数セットを、係数記憶装置から選択するのが好ましい。また、係数記憶装置は、係数セットを係数テーブルで記憶するのが好ましい。また、係数記憶装置は、係数セットを計算式で記憶し、新色成分生成装置は、類似性判定装置による類似性の強弱の判定結果に応じて選択された計算式を使用して、所定の係数による加重加算を行うのが好ましい。
また、上記の画像処理装置において、第２の表色系は、輝度成分と色度成分とで構成される表色系であるのが好ましい。この場合、第１の表色系は、ＲＧＢ表色系であるのが好ましい。あるいは、第１の表色系は、ＣＭＹＧ表色系であるのが好ましい。
また、第１または第２の画像処理装置において、類似性判定装置は、第１の表色系を構成する複数の色成分のうち、「同じ色成分の色情報から成る複数の類似度成分で構成される同色間類似度」と、「異なる色成分の色情報から成る複数の類似度成分で構成される異色間類似度」とを算出し、処理対象画素が属する局所的な領域における画像の特徴に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより、処理対象画素における複数の方向に対する類似度を算出し、該類似度に基づいて、処理対象画素における複数の方向に対する類似性の強弱を判定するのが好ましい。この場合、類似性判定装置は、処理対象画素の複数の方向に対する類似度として、処理対象画素のみならず処理対象画素の周辺の画素に対して算出した複数の方向に対する類似度を用いるのが好ましい。
また、第１または第２の画像処理装置において、類似性判定装置は、第１の表色系を構成する全ての色成分の色情報を用いて、処理対象画素における複数の方向に対する類似度を算出し、該類似度に基づいて、処理対象画素における複数の方向に対する類似性の強弱を判定するのが好ましい。この場合も、類似性判定装置は、処理対象画素の複数の方向に対する類似度として、処理対象画素のみならず処理対象画素の周辺の画素に対して算出した複数の方向に対する類似度を用いるのが好ましい。
本発明の、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する表色系変換方法は、第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定し、類似性の強弱の判定結果に応じて、処理対象画素に存在する色情報と処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成することからなる。
この表色系変換方法において、所定の係数は、第１の表色系の複数の色成分ごとの合計による比率が一定となるように設定されるのが好ましい。
また、選択した複数の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
本発明の、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する他の表色系変換方法は、第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付け、これらの複数の色情報を加重加算し、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成することからなる。
この表色系変換方法において、中央領域の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
本発明のコンピュータで実行する、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する表色系変換プログラムは、第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定し、類似性の強弱の判定結果に応じて、処理対象画素に存在する色情報と処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する命令からなる。
この表色系変換プログラムにおいて、選択した複数の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
本発明のコンピュータで実行する、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する他の表色系変換プログラムは、第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付け、これらの複数の色情報を加重加算し、処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する命令からなる。
この表色系変換プログラムにおいて、中央領域の色情報には、第１の表色系の各色成分の色情報が少なくとも１画素分含まれるのが好ましい。
【００１１】
発明を実施するための最良の形態
−第１の実施の形態−
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
【００１２】
ただし、第１の実施形態では、画像処理装置が行う画像処理の機能を備えた電子カメラを用いて説明を行う。
【００１３】
図１は、第１の実施形態に対応する電子カメラの機能ブロック図である。
図１において、電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部（例えば、画像処理専用の１チップ・マイクロプロセッサ）１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備えていると共に、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースをとるメモリカード用インタフェース部１７および所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースをとる外部インタフェース部１９を備えており、これらはバスを介して相互に接続される。
【００１４】
また、電子カメラ１は、撮影光学系２０、ＲＧＢのカラーフィルタがベイア配列された撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備えており、撮像素子２１には撮影光学系２０で取得された光学像が結像し、撮像素子２１の出力は、アナログ信号処理部２２に接続され、アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続され、タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。
【００１５】
さらに、電子カメラ１は、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備えており、操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
【００１６】
なお、ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされているものとする。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースをとるメモリカード用インタフェース部（図示省略）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（図示省略）を備えている。
【００１７】
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成し、その画像信号は、アナログ信号処理部２２で所定の信号処理が施され、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
【００１８】
なお、電子カメラ１では、撮像素子２１において、ＲＧＢのカラーフィルタがベイア配列されているので、画像処理部１１に供給される画像データは、ＲＧＢ表色系で示され、各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在することになる。そこで、以下では、このような画像データを、「ベイア配列型画像データ」と称する。
【００１９】
画像処理部１１は、このようなベイア配列画像データに対して後述する「表色変換処理」における「輝度成分生成処理」および「色度成分生成処理」を行って、ＹＣｒＣｂ表色系の画像データ（全ての画素にＹ成分、Ｃｒ成分、Ｃｂ成分が対応付けられた画像データ）を生成する。
【００２０】
また、画像処理部１１は、表色系変換処理によって生成したＹＣｒＣｂ表色系の画像データに対し、所定の画像処理を行う。例えば、Ｙ成分に対しては、平滑化処理（ノイズ除去等に相当する）や輪郭強調を行い、Ｃｒ成分およびＣｂ成分に対しては、平滑化処理を行う。ただし、撮影モードとして、白黒撮影用のモード（以下、「白黒モード」と称する）が操作者によって選択されている場合、Ｙ成分に対してのみ平滑化処理や輪郭強調等の画像処理を行えれば良く、Ｃｒ成分およびＣｂ成分に対する画像処理は不要である。そのため、後述する「表色系変換処理」における「色度成分生成処理」では、白黒モードが選択されている場合、Ｃｒ成分およびＣｂ成分の生成を行わないものとする。
【００２１】
画像処理が完了したＹＣｒＣｂ表色系の画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【００２２】
なお、画像処理が完了したＹＣｒＣｂ表色系の画像データは、圧縮処理を施さずにメモリカード１６に記録したり、必要に応じて、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系（例えば、ＲＧＢ表色系、ＹＵＶ表色系、ＣＭＹ表色系など）に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
【００２３】
また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１４で伸長処理が施され、画像処理部１１によりモニタ２５で採用されている表色系に変換され、表示画像作成部１５を介してモニタ２５に表示される。
【００２４】
なお、伸長処理が施された画像データは、モニタ２５に表示せず、必要に応じて、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
【００２５】
また、後述する「表色系変換処理」における「輝度成分生成処理」や「色度成分生成処理」によって生成されるＹＣｒＣｂ表色系の画像データを、モニタ２５、２６やプリンタ２７で採用されている表色系に変換する処理については、公知の技術によって実現できるため、説明を省略する。
【００２６】
図２は、ベイア配列型画像データの色成分の配列を示す図である。
【００２７】
ただし、図２では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、座標[X,Y]の値を用いて各々の色成分に対応する画素の位置を示している。
【００２８】
また、後述する「表色系変換処理」における「輝度成分生成処理」や「色度成分生成処理」では、画素毎に輝度成分や色度成分を生成し、図２は、これらの処理の対象となる処理対象画素の座標を[i,j]とする場合、処理対象画素を中心とする５×５の画素の色成分の配列を示していることになる。
【００２９】
特に、図２（１）は、処理対象画素に赤色成分が対応する状態（以下、「Ｒ位置状態」と称する）を示し、図２（２）は、処理対象画素に青色成分が対応する状態（以下、「Ｂ位置状態」と称する）を示し、図２（３）は、処理対象画素に緑色成分が対応し、かつ、処理対象画素の左右に赤色成分が対応する状態（以下、「Ｇｒ位置状態」と称する）を示し、図２（４）は、処理対象画素に緑色成分が対応し、かつ、処理対象画素の左右に青色成分が対応する状態（以下、「Ｇｂ位置状態」と称する）を示すことになる。
【００３０】
図３〜図７は、第１の実施形態における画像処理部１１の動作フローチャートであり、図３では「表色系変換処理」のおおまかな動作を示し、図４、図５では、「表色系変換処理」に含まれる「指標HVの設定処理」、「指標DNの設定処理」の動作を示し、図６では「輝度成分生成処理」の動作を示し、図７では「色度成分生成処理」の動作を示している。
【００３１】
以下、第１の実施形態の動作を説明するが、以下では、画像処理部１１が行う画像処理のうち、「表色系変換処理」（「指標HVの設定処理」、「指標DNの設定処理」、「輝度成分生成処理」、「色度成分生成処理」）の動作を説明し、他の動作の説明は省略する。
【００３２】
まず、図３を参照して「表色系変換処理」のおおまかな動作を説明する。
画像処理部１１は、処理対象画素に対し、縦方向および横方向の類似性（以下、「縦横類似性」と称する。）を示す指標HVの設定処理を行う（図３Ｓ１）と共に、斜め方向の類似性（以下、「斜め類似性」と称する。）を示す指標DNの設定処理を行う（図３Ｓ２）。
【００３３】
ただし、第１の実施形態では、横方向よりも縦方向の類似性が強い画素に対しては指標HVに１を設定し、縦方向よりも横方向の類似性が強い画素に対しては指標HVに−１を設定し、縦横間で類似性に区別がつかない画素に対しては指標HVに０を設定するものとする。また、斜め135度方向よりも斜め45度方向の類似性が強い画素に対しては指標DNに１を設定し、斜め45度方向よりも斜め135度方向の類似性が強い画素に対しては指標DNに−１を設定し、斜め方向間で類似性に区別がつかない画素に対しては指標DNに０を設定するものとする。図９を参照。
【００３４】
次に、画像処理部１１は、「輝度成分生成処理」を行う（図３Ｓ３）と共に、「色度成分生成処理」を行う（図３Ｓ４）。
【００３５】
以下、「指標HVの設定処理」、「指標DNの設定処理」、「輝度成分生成処理」、「色度成分生成処理」の説明を行う。「輝度成分生成処理」、「色度成分生成処理」の詳細な説明については、「指標HVの設定処理」、「指標DNの設定処理」の説明後に行う。
【００３６】
《指標HVの設定処理》
まず、図４を参照して、「指標HVの設定処理」の詳細な説明を行う。
【００３７】
ただし、ここでは、座標[i,j]に位置する画素における指標HV[i,j]を算出する例を示し、後述する演算式では、図２のＲ、Ｇ、ＢをＺに置き換えて、各々の画素の色成分の色情報をZ[i,j]のように表現する。
【００３８】
まず、画像処理部１１は、縦方向および横方向に対し、同じ色成分の色情報から成る複数の類似度成分で構成される同色間類似度と、異なる色成分の色情報から成る複数の類似度成分で構成される異色間類似度とを算出する（図４Ｓ１）。
【００３９】
例えば、画像処理部１１は、これらの類似度を算出する過程で、以下の式１〜式４によって定義される値を、座標[i,j]に位置する画素に対して算出する。
【００４０】
ただし、式１および式２の差分の絶対値の項は、同じ色成分の色情報から成る類似度成分に相当し、式３および式４の差分の絶対値の項は、異なる色成分の色情報から成る類似度成分に相当する。なお、このような類似度成分は、差分の絶対値に限らず、絶対値の２乗やべき乗等によって算出しても良い。
CvS0[i,j]=(|Z[i,j-1]-Z[i,j+1]|
+(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+1,j-1]-Z[i+1,j+1]|)/2)/2 ・・・式１
ChS0[i,j]=(|G[i-1,j]-G[i+1,j]|
+(|Z[i-1,j-1]-Z[i+1,j-1]|+|Z[i-1,j+1]-Z[i+1,j+1]|)/2)/2 ・・・式２
CvN0[i,j]=(|Z[i,j-1]-Z[i,j]|+|Z[i,j+1]-Z[i,j]|)/2 ・・・式３
ChN0[i,j]=(|Z[i-1,j]-Z[i,j]|+|Z[i+1,j]-Z[i,j]|)/2 ・・・式４
【００４１】
式１〜式４によって算出されるCvS0[i,j],ChS0[i,j],CvN0[i,j],ChN0[i,j]は、そのまま、座標[i,j]に位置する画素の縦方向の同色間類似度,横方向の同色間類似度,縦方向の異色間類似度,横方向の異色間類似度とすることができるが、ここでは、座標[i,j]に位置する画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に加重加算（以下、「周辺加算」と称する）して、座標[i,j]に位置する画素の縦方向および横方向に対する同色間類似度と異色間類似度とを算出する例を示す。
【００４２】
すなわち、画像処理部１１は、式１〜式４に基づき、座標[i,j],[i-1,j-1],[i+1,j-1],[i-1,j+1],[i+1,j+1],[i,j-2],[i,j+2],[i-2,j],[i+2,j]に位置する画素に対して算出した値を、式５〜式８に示すようにして周辺加算して、縦方向に対する同色間類似度CvS[i,j]、横方向に対する同色間類似度ChS[i,j]、縦方向に対する異色間類似度CvN[i,j]、横方向に対する異色間類似度ChN[i,j]を算出する。
【００４３】
なお、式５〜式８は、図８に示すようにして周辺加算を行うことに相当する。 CvS[i,j]=(4・Cv0[i,j]
+2・(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16 ・・・式５
ChS[i,j]=(4・Ch0[i,j]
+2・(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16 ・・・式６
CvN[i,j]=(4・CvN0[i,j]
+2・(CvN0[i-1,j-1]+CvN0[i+1,j-1]+CvN0[i-1,j+1]+CvN0[i+1,j+1])
+CvN0[i,j-2]+CvN0[i,j+2]+CvN0[i-2,j]+CvN0[i+2,j])/16 ・・・式７
ChN[i,j]=(4・ChN0[i,j]
+2・(ChN0[i-1,j-1]+ChN0[i+1,j-1]+ChN0[i-1,j+1]+ChN0[i+1,j+1])
+ChN0[i,j-2]+ChN0[i,j+2]+ChN0[i-2,j]+ChN0[i+2,j])/16 ・・・式８
ただし、このようにして算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
【００４４】
ところで、上述したように算出される異色間類似度は、縦方向または横方向に隣接する画素の色情報を比較することによって算出されるので、同色間類似度よりも短い距離間隔で類似性の強弱の判定が可能である。すなわち、異色間類似度には、同色間類似度よりも細かい画像の構造が反映されることになる。
【００４５】
また、異色間類似度は、異なる色成分の色情報が全て同一の輝度情報を表していると仮定して算出されるため、異色間類似度を用いた類似性の強弱の判定は、無彩色部において、信頼性が高い。一方、同色間類似度を用いた類似性の強弱の判定は、彩色部・無彩色部ともに全般的に信頼性が高いが、画像の構造が細かい部分では、異色間類似度を用いた場合に比べて信頼性が劣る。
【００４６】
したがって、ベイア配列型画像データの全ての画素に対して、信頼性の高い類似性の強弱の判定を行うには、画像全体を、無彩色部と彩色部とに分け、各々の部分に適した類似度を用いる方法が優れている。
【００４７】
すなわち、信頼性の高い類似性の強弱の判定は、各々の画素が属する局所的領域における色彩の有無によって、指標HVを設定する際に用いる類似度を切り換えることによって実現できる。なお、各々の画素が属する局所的領域における色彩の有無は、局所的な色差情報を用いることによって判定できるが、上述したように算出される異色間類似度には、類似性の強弱と同時に局所的な色差情報が反映されている。
【００４８】
そこで、ここでは、異色間類似度を用いて、座標[i,j]に位置する画素が属する局所的領域における色彩の有無を判定し、その判定の結果に応じて、指標HVを設定する際に用いる類似度を切り換える例を示す。
【００４９】
まず、画像処理部１１は、異色間類似度を用いて、座標[i,j]に位置する画素が属する局所的領域が無彩色部であるか否かを判定する（図４Ｓ２）。
【００５０】
このような判定は、閾値ThNv,ThNhについて、以下の条件１が成り立つか否かを判定することによって実現でき、条件１が成り立つ場合、座標[i,j]に位置する画素が属する局所的領域が無彩色部であると判断でき、条件１が成り立たない場合、その局所的領域が彩色部であると判断できる。
CvN[i,j]≦ThNv または ChN[i,j]≦ThNh ・・・条件１
ただし、閾値ThNv,ThNhは、階調数が256のとき10程度以下の値をとるものとする。
【００５１】
そして、画像処理部１１は、座標[i,j]に位置する画素が属する局所的領域が無彩色部である場合、異色間類似度に基づく類似性（以下、「異色間類似性」と称する。）が同程度であるか否かを判定する（図４Ｓ３）。
【００５２】
例えば、このような判定は、閾値Th0について、以下の条件２が成り立つか否かを判定することによって実現できる。
|CvN[i,j]-ChN[i,j]|≦Th0 ・・・条件２
【００５３】
なお、条件２において、閾値Th0は、縦方向の異色間類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th0の値を高く設定することによって、類似性の判定の精度が高められる。
【００５４】
そして、画像処理部１１は、図４Ｓ３の判定結果として、異色間類似性が同程度である場合（条件１および条件２が成り立つ場合）、縦横間で類似性に区別がつかないと判定して指標HV[i,j]に０を設定する（図４Ｓ４）。
【００５５】
一方、異色間類似性が強い方向が判別できる場合、縦方向の異色間類似性が強いか否かを判定する（図４Ｓ５）。
【００５６】
例えば、このような判定は、以下の条件３が成り立つか否かを判定することによって実現できる。
CvN[i,j]<ChN[i,j] ・・・条件３
【００５７】
そして、画像処理部１１は、図４Ｓ５の判定結果として、縦方向の異色間類似性が強い場合（条件１および条件３が成り立ち、条件２が成り立たない場合）、縦方向に類似性が強いと判断し、指標HV[i,j]に１を設定する（図４Ｓ６）。一方、縦方向の異色間類似性が強くない場合（条件１が成り立ち、条件２および条件３が成り立たない場合）、横方向に類似性が強いと判断し、指標HV[i,j]に１を設定する（図４Ｓ７）。
【００５８】
また、画像処理部１１は、図４Ｓ２の判定結果として、座標[i,j]に位置する画素が属する局所的領域が彩色部である場合、同色間類似度に基づく類似性（以下、「同色間類似性」と称する。）が同程度であるか否かを判定する（図４Ｓ８）。
【００５９】
例えば、このような判定は、閾値Th1について、以下の条件４が成り立つか否かを判定することによって実現できる。
|CvS[i,j]-ChS[i,j]|≦Th1 ・・・条件４
【００６０】
なお、条件４において、閾値Th1は、縦方向の同色間類似度CvS[i,j]と横方向の同色間類似度ChS[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th1の値を高く設定することによって、類似性の判定の精度が高められる。
【００６１】
そして、画像処理部１１は、図４Ｓ８の判定結果として、同色間類似性が同程度である場合（条件１が成り立たず、条件４が成り立つ場合）、縦横間で類似性に区別がつかないと判定して指標HV[i,j]に０を設定する（図４Ｓ９）。
【００６２】
一方、同色間類似性が強い方向が判別できる場合、縦方向の同色間類似性が強いか否かを判定する（図４Ｓ１０）。
【００６３】
例えば、このような判定は、以下の条件５が成り立つか否かを判定することによって実現できる。
CvS[i,j]<ChS[i,j] ・・・条件５
【００６４】
そして、画像処理部１１は、図４Ｓ１０の判定結果として、縦方向の同色間類似性が強い場合（条件１および条件４が成り立たず、条件５が成り立つ場合）、縦方向に類似性が強いと判断し、指標HV[i,j]に１を設定する（図４Ｓ１１）。一方、縦方向の同色間類似性が強くない場合（条件１、条件４および条件５が成り立たない場合）、横方向に類似性が強いと判断し、指標HV[i,j]に１を設定す
る（図４Ｓ１２）。
【００６５】
なお、「指標HVの設定処理」では、類似性の強弱を判定する際に、異色間類似度と同色間類似度とを切り換えているが、類似性の判定に用いる類似度としては、異色間類似度と同色間類似度とを完全に切り換える以外に、無彩色部では異色間類似度の加算比率を上げ、彩色部では同色間類似度の加算比率を上げて、異色間類似度と同色間類似度とを加重加算して得られる類似度でも良い。
【００６６】
さらに、「指標HVの設定処理」では、局所的な色彩の有無を調べる方法として異色間類似度に含まれる色差を用いたが、色の比など他の情報を用いても良い。
【００６７】
《指標DNの設定処理》
次に、図５を参照して、「指標DNの設定処理」の詳細な説明を行う。
【００６８】
ただし、ここでは、座標[i,j]に位置する画素における指標DN[i,j]を算出する例を示し、後述する演算式では、図２のＲ、Ｇ、ＢをＺに置き換えて、各々の画素の色成分の色情報をZ[i,j]のように表現する。
【００６９】
まず、画像処理部１１は、斜め45度方向および斜め135度方向に対し、３つの色成分の色情報を用いて類似度を算出する（図５Ｓ１）。
【００７０】
例えば、画像処理部１１は、このような類似度を算出する過程で、以下の式９および式１０によって定義される値を、座標[i,j]に位置する画素に対して算出する。
【００７１】
ただし、式９および式１０は、座標[i,j]がＲ位置状態（または、Ｂ位置状態）の場合、斜め方向に存在する緑色成分の色情報から成る類似度成分と、斜め方向に存在する青色成分（または、赤色成分）の色情報から成る類似度成分と、斜め方向に存在する青色成分と赤色成分との色情報から成る類似度成分とを用いることによって、３つの色成分の色情報を用いた類似度の算出を実現している。また、座標[i,j]がＧｒ位置状態やＧｂ位置状態の場合、斜め方向に存在する青色成分と赤色成分との色情報から成る類似度成分と、斜め方向に存在する緑色成分の色情報から成る類似度成分とを用いることによって、３つの色成分の色情報を用いた類似度の算出を実現している。
【００７２】
C45_0[i,j]=((|Z[i,j-1]-Z[i-1,j]|+|Z[i+1,j]-Z[i,j+1]|)/2
+|Z[i+1,j-1]-Z[i-1,j+1]|
+(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2)/3 ・・・式９
C135_0[i,j]=((|Z[i,j-1]-Z[i+1,j]|+|Z[i-1,j]-Z[i,j+1]|)/2
+(|Z[i-1,j-1]-Z[i+1,j+1]|
+(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2)/3 ・・・式１０
【００７３】
式９および式１０によって算出されるC45_0[i,j],C135_0[i,j]は、そのまま、座標[i,j]に位置する画素の斜め45度方向および斜め135度方向に対する類似度とすることができるが、ここでは、座標[i,j]に位置する画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に周辺加算して、座標[i,j]に位置する画素の斜め方向に対する類似度を算出する例を示す。
【００７４】
すなわち、画像処理部１１は、式９および式１０に基づき、座標[i,j],[i-1,j-1],[i+1,j-1],[i-1,j+1],[i+1,j+1],[i,j-2],[i,j+2],[i-2,j],[i+2,j]に位置する画素に対して算出した値を、式１１および式１２に示すようにして周辺加算して、斜め45度方向に対する類似度C45[i,j]および斜め135度方向に対する類似度C135[i,j]を算出する。
【００７５】
なお、式１１および式１２は、図８に示すようにして周辺加算を行うことに相当する。
C45[i,j]=(4・C45_0[i,j]+2・(C45_0[i-1,j-1]+C45_0[i+1,j-1]
+C45_0[i-1,j+1]+C45_0[i+1,j+1])+C45_0[i,j-2]+C45_0[i,j+2]
+C45_0[i-2,j]+C45_0[i+2,j])/16 ・・・式１１
C135[i,j]=(4・C135_0[i,j]+2・(C135_0[i-1,j-1]+C135_0[i+1,j-1]
+C135_0[i-1,j+1]+C135_0[i+1,j+1])+C135_0[i,j-2]
+C135_0[i,j+2]+C135_0[i-2,j]+C135_0[i+2,j])/16 ・・・式１２
ただし、このようにして算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
【００７６】
画像処理部１１は、このようにして、斜め45度方向および斜め135度方向に対する類似度を算出すると、これらの類似度に基づいて、斜め類似性が同程度であるか否かを判定する（図５Ｓ２）。
【００７７】
例えば、このような判定は、閾値Th3について、以下の条件５が成り立つか否かを判定することによって実現できる。
|C45[i,j]-C135[i,j]|≦Th3 ・・・条件５
【００７８】
なお、条件５において、閾値Th3は、斜め45度方向に対する類似度C45[i,j]と斜め135度方向に対する類似度C135[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th3の値を高く設定することによって、類似性の判定の精度が高められる。
【００７９】
画像処理部１１は、このような判定結果として、斜め類似性が同程度である場合（条件５が成り立つ場合）、斜め方向間で類似性に区別がつかないと判定して指標DN[i,j]に０を設定する（図５Ｓ３）。
【００８０】
一方、斜め類似性が強い方向が判別できる場合、斜め45度方向の類似性が強いか否かを判定する（図５Ｓ４）。
【００８１】
例えば、このような判定は、以下の条件６が成り立つか否かを判定することによって実現できる。
C45[i,j]<C135[i,j] ・・・条件６
【００８２】
そして、画像処理部１１は、図５Ｓ４の判定結果として、斜め45度方向の類似性が強い場合（条件５が成り立たず、条件６が成り立つ場合）、斜め45度方向に類似性が強いと判断し、指標DN[i,j]に１を設定する（図５Ｓ５）。一方、斜め45度方向の類似性が強くない場合（条件５および条件６が成り立たない場合）、斜め135度方向に類似性が強いと判断し、指標DN[i,j]に１を設定する（図５Ｓ６）。
【００８３】
なお、Ｇｒ位置状態の画素やＧｂ位置状態の画素における縦横方向の類似性や斜め方向の類似性は、隣接する画素（Ｒ位置状態やＢ位置状態の画素）における類似性と一致する場合が多いため、Ｇｒ位置状態の画素やＧｂ位置状態の画素では、隣接する画素で設定された指標の値を引用することによって、指標HVや指標DNの設定を実現することができる。
【００８４】
例えば、Ｇｒ位置状態やＧｂ位置状態の画素の指標としては、Ｇｒ位置状態やＧｂ位置状態の画素に対して一方向に隣接する画素で設定された指標の値を、そのまま引用したり、周辺における類似性の平均としてＧｒ位置状態やＧｂ位置状態の画素の上下左右に隣接する画素で設定された指標の値の和を２や４で除算した結果（ただし、除数は、除算の結果が−１〜１の範囲に収まるように選択する。）を用いることができる。
【００８５】
このように、Ｇｒ位置状態やＧｂ位置状態の画素の指標として、隣接する画素で設定された指標の値を引用する場合、「指標HVの設定処理」および「指標DNの設定処理」は、Ｒ位置状態やＢ位置状態の画素に対してのみ行えば良いことになる。
【００８６】
《輝度成分生成処理》
次に、図６を参照して「輝度成分生成処理」の動作を説明する。
【００８７】
画像処理部１１は、上述したように指標HVおよび指標DNの設定が完了すると、これらの指標の値と、処理対象画素に対応する色成分の状態とを判定する（図６Ｓ１）。
【００８８】
ここでは、このような判定として、処理対象画素がＲ位置状態またはＢ位置状態の場合、類似性の強さを、以下のcase1〜case9の何れかに分類し、処理対象画素がＧｒ位置状態またはＧｂ位置状態の場合、類似性の強さを、以下のcase10〜case12の何れかに分類する。なお、case10〜case12のDN[i,j]に対応するxは、1,0,-1の何れか１つの値を示す。
【００８９】
《Ｒ位置状態またはＢ位置状態》
case1:(HV,DN)=(1,1):縦および斜め45度方向の類似性が強い。
case2:(HV,DN)=(1,0):縦方向の類似性が強い。
case3:(HV,DN)=(1,-1):縦および斜め135度方向の類似性が強い。
case4:(HV,DN)=(0,1):斜め45度方向の類似性が強い。
case5:(HV,DN)=(0,0):全ての方向の類似性が強い（または、弱い）。
case6:(HV,DN)=(0,-1):斜め135度方向の類似性が強い。
case7:(HV,DN)=(-1,1):横および斜め45度方向の類似性が強い。
case8:(HV,DN)=(-1,0):横方向の類似性が強い。
case9:(HV,DN)=(-1,-1):横および斜め135度方向の類似性が強い。
【００９０】
《Ｇｒ位置状態またはＧｂ位置状態》
case10:(HV,DN)=(1,x):少なくとも縦方向の類似性が強い。
case11:(HV,DN)=(0,x):少なくとも縦方向および横方向の類似性が強い（または、弱い）。
case12:(HV,DN)=(-1,x):少なくとも横方向の類似性が強い。
なお、図９は、(HV,DN)の値に対応する類似性の強い方向を示す図である。
【００９１】
次に、画像処理部１１は、処理対象画素を中心とする５×５の画素の色情報から、図６Ｓ１の判定結果に応じて、処理対象画素のＹ成分を生成する際に用いる複数の色情報を選択し、選択した色情報を加重加算して処理対象画素のＹ成分を生成する。
【００９２】
例えば、座標[i,j]に存在する処理対象画素のＹ成分Y[i,j]を生成する処理は、図２のＲ、Ｇ、ＢをＺに置き換え、５×５の画素の各々の色成分の色情報をZ[X,Y]のように表現し、５×５の画素の各々に対応する加重係数をk[X,Y]のように表現する場合、以下の式２０を演算することによって実現できる。ただし、式２０の各々の加重係数には、図６Ｓ１の判定結果に応じて所定の値が設定され、Ｙ成分の生成に用いない色情報の加重係数については０が設定されるものとする。
Y[i,j]=K[i-2,j-2]・Z[i-2,j-2]+K[i-1,j-2]・Z[i-1,j-2]
+・・・+K[i+1,j+2]・Z[i+1,j+2]+K[i+2,j+2]・Z[i+2,j+2] ・・・式２０
【００９３】
そこで、ここでは、上述したcase1〜case12の各々に対応付けて、式２０の加重係数に設定する値の配列を示す複数のテーブル（以下、「係数テーブル」と称する）を予めメモリ１３に格納しておく。そして処理対象画素のＹ成分を式２０を基づいて生成する際、画像処理部１１が、図６Ｓ１の判定結果に対応する係数テーブルを選択して処理をする。ただし、このような処理において、係数テーブルには、処理対象画素の類似性の強い方向に位置する画素の色情報の加重係数として０以外の値が設定される必要があり、各々の画素の色情報に対する加重係数の大きさは、処理対象画素からの距離に応じて可変されることが望ましい。
【００９４】
図１０および図１１は、係数テーブルに設定する値の例を示す図である。
【００９５】
図１０および図１１では、処理対象画素を中心に類似性の強い方向に広がる領域（以下、「中央領域」と称する）に斜線を付与しており、このような中央領域に属する画素の色情報の加重係数は、正の値を示しており、中央領域に隣接する領域に属する画素の色情報に対応する加重係数は、負の値を含んでいる。また、各々の画素の色情報に対する加重係数の大きさは、処理対象画素が最も大きく設定され、処理対象画素からの距離が長い画素程、小さく設定されている。
【００９６】
なお、各係数テーブルは、係数＝０に対応する画素を除いた画素において、Ｒの画素、Ｇの画素、Ｂの画素を、それぞれ少なくとも１画素使用するように設定されている。すなわち、処理対象画素のＹ成分を求めるにあたり、表色系を構成する色情報のいずれの色情報も使用するように設定されている。また、係数テーブルの各係数をすべて足した値に、テーブル横に示す値（図１０（１）の場合は１／１６）をかけた値は、１になるように設定されている。言い換えると、各係数テーブルの各係数の値にテーブル横の値を掛けた値を係数ｋｉとすると、Σｋｉ＝１が成立する。さらに、各係数テーブルの係数は、ＲＧＢの比率が１：２：１の一定の値となるように設定されている。すなわち、Ｒに該当する係数をすべて足した値と、Ｇに該当する係数をすべて足した値と、Ｂに該当する係数をすべて足した値の比率が１：２：１となる。なお、中央領域のみに限って注目しても、Ｒの画素、Ｇの画素、Ｂの画素を、それぞれ少なくとも１画素使用するように設定されている。
【００９７】
画像処理部１１は、上述した図６Ｓ１の判定が終了すると、図１０および図１１のような値が設定された複数の係数テーブルから、以下のようにして、図６Ｓ１の判定結果に対応する係数テーブルを選択し、式２０に基づいて、処理対象画素のＹ成分を生成する。
【００９８】
case1のとき:係数テーブル１を用いてＹ成分を生成する（図６Ｓ２）。
case2のとき:係数テーブル２を用いてＹ成分を生成する（図６Ｓ３）。
case3のとき:係数テーブル３を用いてＹ成分を生成する（図６Ｓ４）。
case4のとき:係数テーブル４を用いてＹ成分を生成する（図６Ｓ５）。
case5のとき:係数テーブル５を用いてＹ成分を生成する（図６Ｓ６）。
case6のとき:係数テーブル６を用いてＹ成分を生成する（図６Ｓ７）。
case7のとき:係数テーブル７を用いてＹ成分を生成する（図６Ｓ８）。
case8のとき:係数テーブル８を用いてＹ成分を生成する（図６Ｓ９）。
case9のとき:係数テーブル９を用いてＹ成分を生成する（図６Ｓ１０）。
case10のとき:係数テーブル１０を用いてＹ成分を生成する（図６Ｓ１１）。
case11のとき:係数テーブル１１を用いてＹ成分を生成する（図６Ｓ１２）。
case12のとき:係数テーブル１２を用いてＹ成分を生成する（図６Ｓ１３）。
【００９９】
《色度成分生成処理》
次に、図７を参照して「色度成分生成処理」の動作を説明する。
【０１００】
まず、画像処理部１１は、操作部２４を介し、操作者によって白黒モードが選択されているか否かを判定する（図７Ｓ１）。
【０１０１】
そして、画像処理部１１は、図７Ｓ１の判定によって、白黒モードが選択されている場合、色度成分生成処理を終了する。
【０１０２】
一方、画像処理部１１は、図７Ｓ１の判定によって、白黒モードが選択されていない場合、処理対象画素および処理対象画素の近傍に位置する画素のうち、赤色成分または青色成分が存在する画素の色差を算出する（図７Ｓ２）。
【０１０３】
例えば、赤色成分が存在する画素の色差Ｃｒは、その画素の赤色成分の色情報からＹ成分を減算することによって算出することができ、青色成分が存在する画素の色差Ｃｂは、その画素の青色成分の色情報からＹ成分を減算することによって算出することができる。
【０１０４】
画像処理部１１は、色差を算出すると、その色差を加重加算して、処理対象画素のＣｒ成分またはＣｂ成分を生成する（図７Ｓ３）。
【０１０５】
例えば、赤色成分が存在する画素における色差Ｃｒが、図１２のように算出された場合、画像処理部１１は、処理対象画素に対応する色成分の状態に応じ、以下の式２１〜式２４を演算することによって、処理対象画素のＣｒ成分を生成する。なお、Ｃｂ成分は、Ｃｒ成分と同様にして生成することができる。
【０１０６】
《Ｒ位置状態》
Cr[i,j]=(36・Cr[i,j]
+6・(Cr[i,j-2]+Cr[i,j+2]+Cr[i-2,j]+Cr[i+2,j])
+Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])/64 ・・・式２１
《Ｂ位置状態》
Cr[i,j]=(Cr[i-1,j-1]+Cr[i+1,j-1]+Cr[i-1,j+1]+Cr[i+1,j+1])/4 ・・・式２２
《Ｇｒ位置状態》
Cr[i,j]=(6・(Cr[i-1,j]+Cr[i+1,j])
+Cr[i-1,j-2]+Cr[i+1,j-2]+Cr[i-1,j+2]+Cr[i+1,j+2])/16 ・・・式２３
《Ｇｂ位置状態》
Cr[i,j]=(6・(Cr[i,j-1]+Cr[i,j+1])
+Cr[i-2,j-1]+Cr[i+2,j-1]+Cr[i-2,j+1]+Cr[i+2,j+1])/16 ・・・式２４
【０１０７】
以上説明したように、「輝度成分生成処理」および「色度成分生成処理」では、Ｙ成分、Ｃｒ成分およびＣｂ成分の生成に際し、画素単位でＲＧＢ全ての色成分の色情報を得るための補間処理を行う必要がない。
【０１０８】
したがって、第１の実施形態では、補間処理を行う必要があった従来の電子カメラと比べて、効率良く表色系変換処理を行うことができる。
【０１０９】
また、「輝度成分生成処理」では、「指標HVの設定処理」および「指標DNの設定処理」の結果や処理対象画素に対応する色成分の状態に応じて、係数テーブルを選択することにより、類似性の強い方向に位置する画素の色情報を加重加算してＹ成分を生成することができる。
【０１１０】
さらに、「輝度成分生成処理」では、中央領域に属する画素の色情報に対応する加重係数を正の値とし、中央領域に隣接する領域に属する画素の色情報に対応する加重係数に負の値を含ませることにより、中央領域と、中央領域に隣接する領域との色情報の差異をＹ成分に反映させることができる。
【０１１１】
したがって、第１の実施形態では、ベイア配列型画像データの高周波成分が表色系変換処理によって失われることがないため、処理対象画素の近傍に位置する画素の色情報を単純に加算してＹ成分を生成していた従来の電子カメラと比べ、確実に解像度を高めることができる。
【０１１２】
すなわち、第１の実施形態によれば、解像度を高めつつ、効率良く表色系変換処理を行うことができる。
【０１１３】
ところで、白黒モードが選択されている場合、Ｙ成分に対してのみ平滑化処理や輪郭強調等の画像処理を行えば良く、Ｃｒ成分およびＣｂ成分に対する画像処理は不要である。しかし、補間処理を行う必要がある従来の電子カメラでは、撮像素子の表色系の全色成分について補間処理を行った上で、初めてＹ成分が生成されるので、白黒モードが選択されている場合であっても、Ｙ成分のみを生成することができない。一方、第１の実施形態では、表色系変換処理の対象となるベイア配列型画像データが白黒モードの下で生成されている場合、Ｙ成分のみが生成され、Ｃｒ成分およびＣｂ成分は生成されないことになる。
【０１１４】
すなわち、第１の実施形態では、白黒モードが選択されている場合、余計な処理（Ｃｒ成分およびＣｂ成分を生成する処理）を行わず、効率良く表色系変換処理を行うことができる。
【０１１５】
なお、第１の実施形態の「輝度成分生成処理」では、処理対象画素がＲ位置状態またはＢ位置状態の場合、指標HVおよび指標DNの値によって、類似性の強さをcase1〜case9の何れかに分類しているが、類似性の強さの分類は、このようなcaseに限らず、指標HVの値のみを用いて、以下のcaseA〜caseCの何れかに分類しても良い。
caseA:HV=1:縦方向の類似性が強い。
caseB:HV=0:縦方向および横方向の類似性が強い（または、弱い）。
caseC:HV=-1:横方向の類似性が強い。
【０１１６】
ただし、このようにして処理対象画素の類似性の強さをcaseA〜caseCの何れかに分類する場合、Ｙ成分の生成時には、以下のような係数テーブルを用いるものとする。
caseAのとき:係数テーブル２。
caseBのとき:係数テーブル５。
caseCのとき:係数テーブル８。
【０１１７】
また、第１の実施形態の「輝度成分生成処理」では、処理対象画素がＲ位置状態とＢ位置状態との何れの状態であっても（または、処理対象画素がＧｒ位置状態とＧｂ位置状態との何れの状態であっても）、類似性の強い方向が一致していれば、同一の係数テーブルを用いてＹ成分が生成されることになるが、係数テーブルの種類を増やして、各々の状態で異なる係数テーブルを用いてＹ成分を生成しても良い。
【０１１８】
さらに、第１の実施形態の「輝度成分生成処理」では、係数テーブルに設定する値の一例として、図１０および図１１のような値を示したが、係数テーブルに設定する値は、中央領域における加重係数が正で、中央領域に近接する領域における加重係数が負であれば、如何なる値であっても良い。
【０１１９】
また、係数テーブルに設定する値の決め方としては、例えば、試験的に様々な値を設定して「輝度変換処理」を行い、最適な値を抽出する方法が考えられる。
【０１２０】
さらに、第１の実施形態の「輝度成分生成処理」は、処理対象画素が如何なる方向に類似性が強いかを判定し、その判定結果に応じて、Ｙ成分を生成する際に用いる加重係数を決める処理に相当するが、このような処理は、ＲＧＢ表色系を示すベイア配列型画像データに限らず、例えば、補色系の色成分から成る画像データに対しても適用できる。
【０１２１】
また、第１の実施形態の「輝度成分生成処理」では、「指標HVの設定処理」および「指標DNの設定処理」を行ってから、処理対象画素に対応する色成分の状態を判定しているが、「指標HVの設定処理」および「指標DNの設定処理」は、処理対象画素に対応する色成分の状態を判定してから行っても良い。
【０１２２】
さらに、第１の実施形態の「輝度成分生成処理」では、処理対象画素がＧｒ位置状態またはＧｂ位置状態の場合、類似性の強さは、指標DNの値に関係なく、case10〜case12の何れかに分類されるため、Ｇｒ位置状態やＧｂ位置状態の画素に対しては、「指標HVの設定処理」のみを行い、「指標DNの設定処理」は省略しても良い。
【０１２３】
また、第１の実施形態の「輝度成分生成処理」では、上述する「指標HVの設定処理」や「指標DNの設定処理」によって設定される指標の値によって、処理対象画素における類似性の強さを判定するが、このような類似性の強さの判定は、如何なる方法で実現しても良い。
【０１２４】
例えば、処理対象画素における縦横方向の類似性は、処理対象画素の上方向に存在する緑色成分の色情報と下方向に存在する緑色成分の色情報との差の絶対値を算出し、処理対象画素の左方向に存在する緑色成分の色情報と右方向に存在する緑色成分の色情報との差の絶対値を算出し、これらの差の絶対値を比較することによって実現できる。
【０１２５】
ところで、第１の実施形態の「輝度成分生成処理」で生成されるＹ成分は、図１０および図１１の中央領域におけるＹ成分と、中央領域の周辺におけるＹ成分とで構成されていると見なせる。ただし、第１の実施形態の「輝度成分生成処理」では、中央領域に存在する色情報と中央領域の周辺に存在する色情報との差異を、Ｙ成分に反映することによって、解像度を高めているので、中央領域におけるＹ成分をYc[i,j]とし、中央領域の周辺におけるＹ成分をYs[i,j]とすると、Y[i,j]は、以下の式２５によって生成されることに相当する。
Y[i,j]=Yc[i,j]+K(Yc[i,j]-Ys[i,j]) ・・・式２５
【０１２６】
一般に、Ｙ成分は、ＲＧＢの３つの色成分を加重加算することによって生成することができるので、中央領域における各々の色成分の平均的な値をRc,Gc,Bcと表現し、中央領域の周辺における各々の色成分の平均的な値をRs,Gs,Bsと表現すると、中央領域におけるＹ成分Yc[i,j]および中央領域の周辺におけるＹ成分Ys[i,j]は、以下の式２６および式２７を演算することによって生成することができる。ただし、式２６および式２７において、cr,cg,cbは、ＲＧＢ表色系をＹＣｒＣｂ表色系に変換するための実数の係数であり、(cr,cg,cb)には、(1,1,1)、(1,2,1)、(3,6,1)、(1,4,1)等が適用できる。
Yc[i,j]=cr・Rc+cg・Gc+cb・Bc ・・・式２６
Ys[i,j]=cr・Rs+cg・Gs+cb・Bs ・・・式２７
【０１２７】
このような式２６および式２７を式２５に代入すると、式２５は、以下の式２５’のように書き換えられる。
Y[i,j]=cr・(Rc+kr・(Rc-Rs))
+cg・(Gc+kg・(Gc-Gs))
+cb・(Bc+kb・(Bc-Bs)) ・・・式２５’
【０１２８】
ただし、式２５’において、kr,kg,kbは、全てが正の値である必要はなく、少なくとも１つが正の値であれば、如何なる値（０を含む）であっても良い。すなわち、Rs,Gs,Bsの係数のうち、少なくとも１つの係数が負の値であれば良い。
【０１２９】
また、Rc,Gc,Bcは、中央領域に属する画素の色情報を用いて算出することが可能であり、Rs,Gs,Bsは、中央領域の周辺に位置する画素の色情報を用いて算出することが可能であり、処理対象画素の類似性の強さや処理対象画素に対応する色成分の状態に応じて異なる。
【０１３０】
なお、Rc,Gc,Bc,Rs,Gs,Bsを算出するための演算式を式２５’に代入すると、
式２５’は、中央領域に属する画素や中央領域の周辺に位置する画素の色情報を加重加算して座標[i,j]に位置する画素のＹ成分Y[i,j]を算出する演算式（式２
０に相当する）に展開することができる。
【０１３１】
すなわち、処理対象画素の類似性の強さや処理対象画素に対応する色成分の状態に応じて、Rc,Gc,Bc,Rs,Gs,Bsを算出する際に用いる色情報やkr,kg,kbの値を
可変した式２５’を用いＹ成分を生成する処理は、第１の実施形態の「輝度成分生成処理」のうち、処理対象画素の類似性の強さや処理対象画素に対応する色成分の状態に応じて選択した係数テーブルを用い、式２０に基づいて処理対象画素のＹ成分を生成する処理（図６Ｓ２〜Ｓ１３に相当する）に置き換えることが可能である。
【０１３２】
また、第１の実施形態の「色差成分生成処理」では、処理対象画素が属する局所領域内の色差を算出し、その色差を加重加算することによって、Ｃｒ成分を生成する例を示したが、ここで、別の例を示す。
【０１３３】
一般に、処理対象画素のＣｒ成分は、処理対象画素がＲ位置状態の場合、以下の式３０によって算出できる。
Cr[i,j]=R[i,j]-Y[i,j] ・・・式３０
【０１３４】
また、処理対象画素が属する５×５の局所領域内における各々の画素の色成分の色情報をZ[i-2,j-2],Z[i-1,j-2],・・・,Z[i,j],・・・,Z[i+1,j+2],Z[i+2,j+2]のように表現する場合、R[i,j]は、以下の式３１のように表現できる。
R[i,j]=0・Z[i-2,j-2]+0・Z[i-1,j-2]+・・・
+1・Z[i,j]+・・・
+0・Z[i+1,j+2]+0・Z[i+2,j+2] ・・・式３１
【０１３５】
さらに、上述した式２０からY[i,j]は、以下の式２０’のように表現できる。
Y[i,j]=K[i-2,j-2]・Z[i-2,j-2]+K[i-1,j-2]・Z[i-1,j-2]+・・・
+K[i,j]・Z[i,j]+・・・
+K[i+1,j+2]・Z[i+1,j+2]+K[i+2,j+2]・Z[i+2,j+2] ・・・式２０’
【０１３６】
したがって、式３１および式２０’を式３０に代入すると、式３０は、以下の式３２のように書き換えられる。
Cr[i,j]=(0-K[i-2,j-2])・Z[i-2,j-2]+(0-K[i-1,j-2])・Z[i-1,j-2]+・・・
+(1-K[i,j])・Z[i,j]+・・・
+(0-K[i+1,j+2])・Z[i+1,j+2]+(0-K[i+2,j+2])・Z[i+2,j+2] ・・・式３２
【０１３７】
すなわち、処理対象画素のＣｒ成分は、色差を算出することなく、処理対象画素が属する局所領域内における画素の各々の色成分の色情報を加重加算することによって、生成することができる。
【０１３８】
また、式３２の加重係数に設定する値は、「輝度成分生成処理」で用いる係数テーブルの値の符号を反転し、処理対象画素に対応する係数にのみ１を加算して得られる値に相当する。例えば、図６Ｓ１の判定結果として処理対象画素がcase4に分類された場合、処理対象画素のＣｒ成分を算出する際に用いる係数は、図１３に示すテーブルのように、図１０（４）に示す係数テーブル４の値を用いて得られる。なお、図１３の係数テーブルは、各係数をすべて足した値は０になるように設定されている。各係数の値にテーブル横の値を掛けた値を係数ｋｉとすると、Σｋｉ＝０が成立する。
【０１３９】
−第２の実施形態−
第１の実施の形態では、図１０および図１１に示したように、局所領域内の中央領域に属する画素の色情報に対応する加重係数を正の値とし、中央領域に隣接する領域に属する画素の色情報に対応する加重係数を負の値とする例を示した。すなわち、中央領域と、中央領域に隣接する領域との色情報の差異をＹ成分に反映させる例を示した。しかし、中央領域の正の値の加重係数のみによっても輝度成分Ｙを求めることができる。第２の実施の形態は、この内容を示す。
【０１４０】
第１の実施の形態と第２の実施の形態とは、係数テーブルを除き共通するので、共通する部分の説明は省略する。図１４は、第１の実施の形態の図１０および図１１に対応する係数テーブルを示す図である。類似性の強さの分類case1〜case12は、第１の実施の形態と同じである。図１４（１）〜（９）の係数テーブルは、case1〜case9のそれぞれに対応して使用され、図１４（１０）の係数テーブルはcase10〜case12に使用される。
【０１４１】
なお、方向判定の結果に基づいて輝度成分を求める際、画素の位置ごとに異なったＲＧＢの色割合で加算されると、輝度画像の著しい画質低下を招く、従って、本実施の形態では、各係数テーブルの係数は、ＲＧＢの比率が１：２：１の一定の値となるように設定されている。すなわち、Ｒに該当する係数をすべて足した値と、Ｇに該当する係数をすべて足した値と、Ｂに該当する係数をすべて足した値の比率が１：２：１となる。
【０１４２】
また、各係数テーブルは、係数＝０に対応する画素を除いた画素において、Ｒの画素、Ｇの画素、Ｂの画素を、それぞれ少なくとも１画素使用するように設定されている。すなわち、処理対象画素のＹ成分を求めるにあたり、表色系を構成する色情報のいずれの色情報も使用するように設定されている。また、係数テーブルの各係数をすべて足した値に、テーブル横に示す値（図１４（１）の場合は１／８）をかけた値は、１になるように設定されている。言い換えると、各係数テーブルの各係数の値にテーブル横の値を掛けた値を係数ｋｉとすると、Σｋｉ＝１が成立する。
【０１４３】
図１４（１）〜（１０））の係数テーブルは、第１の実施の形態の図１０、図１１の中央領域の係数のみを抜き出したものと言える。ただし、各係数テーブルのＲＧＢの比率をすべて１：２：１とするために、若干の値の調整が行われている。
【０１４４】
このように、第２の実施の形態においても、類似性の強い方向に位置する画素の色情報を加重加算してＹ成分を求めているので、元画像の持つ周波数帯域を狭めることなく表色系変換処理が実現できる。さらに、全画素に渡ってＲＧＢ各色の加算の割合を１：２：１の一定にしてＹ成分を求めているので、色フィルタの空間的な配置による影響を受けることなく、原画像に忠実ななめらかな輝度画像を得ることができる。
【０１４５】
上述のように、空間周波数の帯域幅を狭めることがないとはいえ、上記加重加算にはローパス効果が含まれる。従って、得られた輝度画像は高周波成分に対する利得がやや低下する。これを補うために、画像に含まれる高周波成分を強調する処理をしてもよい。以下、その処理について説明する。
【０１４６】
上記で求めた局所領域の輝度信号を、Ｙ＝Ｙｃ＋ｋ（Ｙｃ−Ｙｓ）で表される輪郭強調に似た処理を行う。ここで、Ｙは処理後の輝度信号を示し、Ｙｃは処理前の注目画素の輝度信号を示し、Ｙｓは処理前の注目画素に隣接するあるいは周辺の画素の輝度信号を示す。係数ｋは正の実数であり、係数ｋの値が大きければ高周波成分がより強く強調されることになる。図１５は、この処理に使用する加重加算の係数の一例を示す図である。なお、図１５の係数に代えて、他の類似フィルタを用いてもよい。さらに、Ｙ＝Ｙｃ＋ｋ（Ｙｃ−Ｙｃｌｐｆ）で表されるアンシャープマスク処理に似た処理を施しても良い。ここで、Ｙｃｌｐｆは注目画素の輝度信号にローパスフィルタを施した輝度信号である。
【０１４７】
このような処理を行うことにより、高周波成分の利得が補正された輝度成分を求めることができる。なお、第１の実施の形態の図１０、１１の係数テーブルは、第２の実施の形態で説明したＹ成分を求める処理と、高周波成分の補正処理を一つのテーブルで行うものであると言える。すなわち、第１の実施の形態の図１０、１１の係数テーブルは、第２の実施の形態の図１４と図１５を組み合わせ、さらに係数値の調整を行って自由度をもたせたものと言える。
【０１４８】
−第３の実施形態−
以下、第３の実施形態の動作を説明する。
【０１４９】
なお、第３の実施形態は、画像処理プログラムを記録した記録媒体を用いて、図１に示すＰＣ１８によって画像処理を実行することに相当する。
【０１５０】
ただし、ＰＣ１８には、ＣＤ−ＲＯＭ２８などの記録媒体に記録された画像処理プログラム（第１、第２の実施形態の画像処理部１１と同様にして「輝度成分生成処理」や「色度成分生成処理」を実行する画像処理プログラム）が予めインストールされているものとする。すなわち、ＰＣ１８内の不図示のハードディスクには、このような画像処理プログラムが不図示のＣＰＵによって実行可能な状態に格納されている。
【０１５１】
以下、図１を参照して第３の実施形態の動作を説明する。
【０１５２】
まず、電子カメラ１は、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、撮像素子２１で生成されてアナログ信号処理部２２で所定のアナログ信号処理が施された画像信号を、Ａ／Ｄ変換部１０でディジタル化し、画像データ（ベイア配列型画像データに相当する）として、画像処理部１１に供給する。画像処理部１１は、このようにして供給された画像データに対して所定の画像処理（例えば、階調変換やγ補正等）を行う。画像処理が完了した画像データは、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【０１５３】
次に、電子カメラ１は、操作部２４を介し、操作者によってＰＣ通信モードが選択された状態で、外部インタフェース部１９を介し、ＰＣ１８から画像データの転送が指示されると、その指示に対応する画像データ（ベイア配列型画像データに相当する）を、メモリカード用インタフェース部１７を介してメモリカード１６から読み出す。そして、このようにして読み出した画像データを、外部インタフェース部１９を介してＰＣ１８に供給する。
【０１５４】
ＰＣ１８内の不図示のＣＰＵは、このようにして画像データが供給されると、前述した画像処理プログラムを実行する。なお、このような画像処理プログラムの実行によって「輝度成分生成処理」や「色度成分生成処理」が行われた画像データは、必要に応じて圧縮処理して不図示のハードディスクに記録したり、モニタ２６やプリンタ２７で採用されている表色系に変換して各々に供給しても良い。
【０１５５】
以上説明したように、第３の実施形態では、第１、第２の実施形態と同様の表色系変換処理（「輝度成分生成処理」や「色度成分生成処理」）をＰＣ１８によって行うことができる。
【０１５６】
なお、ＰＣ１８内の不図示のＣＰＵは、前述したように画像データが記録されたメモリカード１６が装着された場合、そのメモリカード１６から画像データを読み出し、前述した画像処理プログラムを実行しても良い。
【０１５７】
また、このような画像処理プログラムは、インターネット３０を介してサーバー３１が提供する所定のホームページにアクセスすることによって、ＰＣ１８にダウンロードされても良い。すなわち、画像処理プログラムが搬送波にデータ信号として組み込まれ送信される。 さらに、このような画像処理プログラムは、ＰＣ１８で実行せず、インターネット３０等を介して接続される遠隔地のサーバ３１等で実行しても良い。すなわち、ＰＣ１８は、電子カメラ１から供給されるベイア配列型画像データを、インターネット３０等を介して、前述した画像処理プログラムが実行可能なサーバ３１等に転送するだけで、そのベイア配列型画像データに第１、第２の実施形態と同様の表色系変換処理を行うことができる。
【０１５８】
上記画像処理プログラム（表色系変換プログラム）、このプログラムを記録したＣＤ−ＲＯＭなどの記録媒体、このプログラムを送信する搬送波などは、コンピュータ読み込み可能なコンピュータプログラム製品として定義付けられる。
【０１５９】
以上実施の形態で説明した発明の効果を整理すると以下のようになる。変換前の表色系を第１の表色系とし、変換後の表色系を第２の表色系とする。
【０１６０】
第１の表色系を構成する全ての色成分の色情報を画素単位で求めることなく、表色系変換処理を行うことができる。
【０１６１】
類似性の強い方向に位置する画素に存在する色情報や、処理対象画素に対応する色成分に適した色情報を加重加算することによって、処理対象画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成することができ、多色成分画像の高周波成分が表色系変換処理によって失われることがない。
【０１６２】
２つの領域の色情報の差異を処理対象画素における第２の表色系を構成する少なくとも１つの色成分に反映させることができ、多色成分画像の高周波成分が表色系変換処理によって失われることがない。
【０１６３】
以上により、解像度を高めつつ、効率良く表色系変換処理を行うことができる。
【０１６４】
さらに、類似性の強弱の判定に適した類似度を算出することができると共に、多くの色成分を用いて異色間類似度および同色間類似度の算出することによって、類似度の算出精度を高めることができる。
【０１６５】
色調が変化する画像（各々の色成分の色情報の比率が変化する画像）であっても、類似性を的確に判定することができる。
【０１６６】
処理対象画素と周辺の画素との間で、類似性が強い方向の連続性を考慮しつつ、処理対象画素の類似度を算出することができる。そのため、類似性の強弱の判定精度を向上することができるため、表色変換処理における解像度を更に向上することができる。
【０１６７】
さらに、全画素に渡ってＲＧＢ各色の加算の割合を一定にしてＹ成分を求めているので、色フィルタの空間的な配置による影響を受けることなく、原画像に忠実ななめらかな輝度画像を得ることができる。
【０１６８】
上述した実施の形態では、係数テーブルを予めメモリ１３に格納しておく例を説明したが、必ずしもこの内容に限定する必要はない。図１０、図１１、図１４、図１５の係数テーブルに相当する計算式をあらかじめ複数備えるようにしてもよい。例えば、式２０にそれぞれの係数をセットしたものを複数用意するようにしてもよい。図１０、図１１、図１４、図１５の係数テーブルに相当するものを一定の計算式で求めるようにしてもよい。さらに、ハードウェアで実現するようにしてもよい。例えば、係数テーブルに対応する電気信号をマルチプレクサチャンネルなどで選択するようにしてもよい。すなわち、図１０、図１１、図１４、図１５の係数テーブルに相当するものを係数セットとして準備するようにすればよい。
【０１６９】
上述した実施の形態では、図１０、図１１、図１４、図１５の係数テーブルを使用する例を説明したが、必ずしもこの係数テーブルに完全に一致する内容に限定する必要はない。図１０、図１１、図１４、図１５の係数テーブルに、係数パターンが対応し、係数値の比率が対応するものであればよい。さらに、他の係数パターンおよび係数値であってもよい。すなわち、変換前の表色系における色成分値を直接使用して、解像度よくかつ効率よく、変換後の表色系の色成分値を導き出せるものであればどのようなものでもよい。
【０１７０】
上述した実施の形態では、各係数テーブルのＲＧＢの比率を１：２：１にする例を説明したが、必ずしもこの内容に限定する必要はない。その他の比率、例えば１：１：１、１：４：１、３：６：１であってもよい。
【０１７１】
上述した実施の形態では、ＲＧＢ表色系からＹＣｒＣｂ表色系に変換する例で説明をしたが、必ずしもこの内容に限定する必要はない。他の表色系からＹＣｒＣｂ表色系に変換する場合にも本発明は適用できる。例えば、ＣＭＹＧ表色系からＹＣｒＣｂ表色系に変換する場合にも適用できる。この場合、上述した各係数テーブルは、係数＝０に対応する画素を除いた画素において、Ｃの画素、Ｍの画素、Ｙの画素、Ｇの画素の４色の画素をそれぞれ少なくとも１画素使用するように設定される。すなわち、処理対象画素のＹ成分を求めるにあたり、表色系を構成する色情報のいずれの色情報も使用するように設定される。また、ＲＧＢ表色系の場合と同様に、各係数テーブルの各係数の値に所定の値を掛けた値を係数ｋｉとすると、Σｋｉ＝１が成立するように設定する。さらに、各係数テーブルの係数は、ＣＭＹＧの比率が一定の値となるように設定される。
【図面の簡単な説明】
【図１】電子カメラの機能ブロック図である。
【図２】ベイア配列型画像データの色成分の配列を示す図である。
【図３】第１の実施形態における画像処理部の動作フローチャート（１）である。
【図４】第１の実施形態における画像処理部の動作フローチャート（２）である。
【図５】第１の実施形態における画像処理部の動作フローチャート（３）である。
【図６】第１の実施形態における画像処理部の動作フローチャート（４）である。
【図７】第１の実施形態における画像処理部の動作フローチャート（５）である。
【図８】周辺加算を説明する図である。
【図９】(HV,DN)の値に対応する類似性の強い方向を示す図である。
【図１０】係数テーブルに設定する値の例を示す図である。
【図１１】係数テーブルに設定する値の例を示す図である。
【図１２】色差Ｃｒが算出された状態を示す図である。
【図１３】Ｃｒ成分を生成する際に用いるテーブルの例を示す図である。
【図１４】第２の実施の形態の係数テーブルに設定する値の例を示す図である。
【図１５】Ｙ＝Ｙｃ＋ｋ（Ｙｃ−Ｙｓ）生成用係数の一例を示す図である。
Claims (28)
- 複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する画像処理装置は、
前記第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置と、
前記類似性判定装置による類似性の強弱の判定結果に応じて、前記処理対象画素に存在する色情報と前記処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、前記処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する新成分生成装置とを備える。 - 請求項１に記載の画像処理装置において、
前記所定の係数は、第１の表色系の複数の色成分ごとの合計による比率が一定となるように設定される。 - 請求項１に記載の画像処理装置において、
前記選択した複数の色情報には、前記第１の表色系の各色成分の色情報が少なくとも１画素分含まれる。 - 複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する画像処理装置は、
前記第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付けて、これらの複数の色情報を加重加算し、前記処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する新成分生成装置を備える。 - 請求項４に記載の画像処理装置は、
処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置をさらに備え、
前記新成分生成装置は、前記類似性判定装置による類似性の強弱の判定結果に基づき、前記中央領域として、処理対象画素を中心に類似性の強い方向に広がる領域を選択する。 - 請求項５に記載の画像処理装置において、
類似性の強弱を判定する複数の方向に対応する前記加重係数は、図１０および図１１に示す係数パターンおよび係数値の比率に対応する。 - 請求項４に記載の画像処理装置は、
処理対象画素における複数の方向に対する類似性の強弱を判定する類似性判定装置をさらに備え、
前記新成分生成装置は、前記中央領域に存在する色情報の加重係数の大きさを、前記類似性判定装置による類似性の強弱の判定結果に応じて可変する。 - 請求項４に記載の画像処理装置において、
前記中央領域の色情報には、前記第１の表色系の各色成分の色情報が少なくとも１画素分含まれる。 - 請求項１に記載の画像処理装置において、
類似性の強弱を判定する複数の方向に応じた複数の前記所定の係数のセットを記憶する係数記憶装置をさらに備える。 - 請求項９に記載の画像処理装置において、
前記係数記憶装置は、処理対象画素における類似性の強い方向の違いだけでなく、処理対象画素に対応する色成分の違いに応じて、複数種類の係数セットを記憶し、
前記新色成分生成装置は、前記類似性判定装置による類似性の強弱の判定結果と、処理対象画素に対応する色成分とに対応する係数セットを、前記係数記憶装置から選択する。 - 請求項９に記載の画像処理装置において、
前記係数記憶装置は、前記係数セットを係数テーブルで記憶する。 - 請求項９に記載の画像処理装置において、
前記係数記憶装置は、前記係数セットを計算式で記憶し、
前記新色成分生成装置は、前記類似性判定装置による類似性の強弱の判定結果に応じて選択された計算式を使用して、前記所定の係数による加重加算を行う。 - 請求項１または４に記載の画像処理装置において、
前記第２の表色系は、輝度成分と色度成分とで構成される表色系である。 - 請求項１３に記載の画像処理装置において、
前記第１の表色系は、ＲＧＢ表色系である。 - 請求項１３に記載の画像処理装置において、
前記第１の表色系は、ＣＭＹＧ表色系である。 - 請求項１または４に記載の画像処理装置において、
前記類似性判定装置は、前記第１の表色系を構成する複数の色成分のうち、「同じ色成分の色情報から成る複数の類似度成分で構成される同色間類似度」と、「異なる色成分の色情報から成る複数の類似度成分で構成される異色間類似度」とを算出し、処理対象画素が属する局所的な領域における画像の特徴に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより、処理対象画素における複数の方向に対する類似度を算出し、該類似度に基づいて、処理対象画素における複数の方向に対する類似性の強弱を判定する。 - 請求項１または４に記載の画像処理装置において、
前記類似性判定装置は、前記第１の表色系を構成する全ての色成分の色情報を用いて、処理対象画素における複数の方向に対する類似度を算出し、該類似度に基づいて、処理対象画素における複数の方向に対する類似性の強弱を判定する。 - 請求項１６に記載の画像処理装置において、
前記類似性判定装置は、処理対象画素の複数の方向に対する類似度として、処理対象画素のみならず処理対象画素の周辺の画素に対して算出した複数の方向に対する類似度を用いる。 - 請求項１７に記載の画像処理装置において、
前記類似性判定装置は、処理対象画素の複数の方向に対する類似度として、処理対象画素のみならず処理対象画素の周辺の画素に対して算出した複数の方向に対する類似度を用いる。 - 複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する表色系変換方法は、
前記第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定し、
類似性の強弱の判定結果に応じて、前記処理対象画素に存在する色情報と前記処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、前記処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成することからなる。 - 請求項２０に記載の表色系変換方法において、
前記所定の係数は、第１の表色系の複数の色成分ごとの合計による比率が一定となるように設定される。 - 請求項２０に記載の表色系変換方法において、
前記選択した複数の色情報には、前記第１の表色系の各色成分の色情報が少なくとも１画素分含まれる。 - 複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する表色系変換方法は、
前記第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、
該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付け、
これらの複数の色情報を加重加算し、前記処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成することからなる。 - 請求項２３に記載の表色系変換方法において、
前記中央領域の色情報には、前記第１の表色系の各色成分の色情報が少なくとも１画素分含まれる。 - コンピュータで実行する、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する表色系変換プログラムであって、
前記第１の画像の処理対象画素における複数の方向に対する類似性の強弱を判定し、
類似性の強弱の判定結果に応じて、前記処理対象画素に存在する色情報と前記処理対象画素の近傍に位置する画素に存在する色情報とから選択した複数の色情報を所定の係数で加重加算して、前記処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する命令からなる。 - 請求項２５に記載の表色系変換プログラムにおいて、
前記選択した複数の色情報には、前記第１の表色系の各色成分の色情報が少なくとも１画素分含まれる。 - コンピュータで実行する、複数の画素からなり、複数の色成分から成る第１の表色系で示され、１つの画素に１つの色成分が対応する第１の画像を、第１の表色系と異なる複数の色成分から成る第２の表色系で示される第２の画像に変換する表色系変換プログラムであって、
前記第１の画像の処理対象画素と該処理対象画素に隣接する少なくとも１つの画素とを含む中央領域に存在する色情報に正の加重係数を対応付け、
該中央領域に隣接する少なくとも１つの画素を含む領域に存在する色情報に負の加重係数を対応付け、
これらの複数の色情報を加重加算し、前記処理対象画素に対応する第２の画像の画素における第２の表色系を構成する少なくとも１つの色成分を示す色情報を生成する命令からなる。 - 請求項２７に記載の表色系変換プログラムにおいて、
前記中央領域の色情報には、前記第１の表色系の各色成分の色情報が少なくとも１画素分含まれる。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000271471 | 2000-09-07 | ||
| JP2000271471 | 2000-09-07 | ||
| PCT/JP2001/007802 WO2002021849A1 (fr) | 2000-09-07 | 2001-09-07 | Processeur d'image et procede de conversion de systeme colorimetrique |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2002021849A1 JPWO2002021849A1 (ja) | 2004-01-22 |
| JP3972816B2 true JP3972816B2 (ja) | 2007-09-05 |
Family
ID=18757753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002526129A Expired - Lifetime JP3972816B2 (ja) | 2000-09-07 | 2001-09-07 | 画像処理装置および表色系変換方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7146042B2 (ja) |
| EP (1) | EP1337115B1 (ja) |
| JP (1) | JP3972816B2 (ja) |
| DE (1) | DE60141530D1 (ja) |
| WO (1) | WO2002021849A1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1377072A4 (en) * | 2001-03-05 | 2006-09-13 | Nikon Corp | PROGRAM AND DEVICE FOR PROCESSING IMAGES |
| WO2003058554A1 (fr) * | 2001-12-28 | 2003-07-17 | Nikon Corporation | Dispositif de traitement d'image permettant d'effectuer un jugement de similitude entre des pixels et programme de traitement d'image |
| EP1641285A4 (en) * | 2003-06-30 | 2009-07-29 | Nikon Corp | IMAGE PROCESSING DEVICE COMPRISING DIFFERENT COLOR ELEMENTS, IMAGE PROCESSING PROGRAM, ELECTRONIC CAMERA, AND IMAGE PROCESSING METHOD |
| JP4497872B2 (ja) * | 2003-09-10 | 2010-07-07 | キヤノン株式会社 | 撮像装置 |
| KR100561870B1 (ko) * | 2004-07-23 | 2006-03-17 | 삼성전자주식회사 | 색 신호 변환 장치 및 방법과, 이 장치를 제어하는 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
| US7755670B2 (en) * | 2005-10-24 | 2010-07-13 | Nikon Corporation | Tone-conversion device for image, program, electronic camera, and tone-conversion method |
| JP4946581B2 (ja) * | 2007-04-05 | 2012-06-06 | ソニー株式会社 | 画像処理装置 |
| US20080260291A1 (en) * | 2007-04-17 | 2008-10-23 | Nokia Corporation | Image downscaling by binning |
| US20090062002A1 (en) * | 2007-08-30 | 2009-03-05 | Bay Tek Games, Inc. | Apparatus And Method of Detecting And Tracking Objects In Amusement Games |
| US8564680B1 (en) * | 2007-12-13 | 2013-10-22 | Marvell International Ltd. | Method and apparatus for noise management for color data synthesis in digital image and video capture systems |
| US20120128246A1 (en) * | 2008-06-27 | 2012-05-24 | High Definition Integration, LTD | Methods and systems for color management in display systems |
| JP4900419B2 (ja) * | 2009-05-20 | 2012-03-21 | カシオ計算機株式会社 | 画像処理装置、及び画像処理プログラム |
| US20110085729A1 (en) * | 2009-10-12 | 2011-04-14 | Miaohong Shi | De-noising method and related apparatus for image sensor |
| JP5741171B2 (ja) * | 2010-04-23 | 2015-07-01 | 株式会社リコー | 画像処理装置及び画像処理プログラム |
| JP5631769B2 (ja) * | 2011-02-17 | 2014-11-26 | 株式会社東芝 | 画像処理装置 |
| BR112012026632A2 (pt) | 2011-02-21 | 2016-07-12 | Fujifilm Corp | elemento de criação de imagem colorida |
| EP2683167B1 (en) * | 2011-02-28 | 2018-05-02 | Fujifilm Corporation | Color imaging device |
| BR112012029513A2 (pt) | 2011-03-09 | 2016-12-06 | Fujifilm Corp | elemento de imageamento de cor. |
| WO2013099910A1 (ja) | 2011-12-27 | 2013-07-04 | 富士フイルム株式会社 | 固体撮像装置 |
| JP5927068B2 (ja) | 2012-07-06 | 2016-05-25 | 富士フイルム株式会社 | カラー撮像素子 |
| JP6376873B2 (ja) | 2014-07-16 | 2018-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5373322A (en) * | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
| US5506619A (en) * | 1995-03-17 | 1996-04-09 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| US5901242A (en) * | 1996-07-03 | 1999-05-04 | Sri International | Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients |
| JP3806211B2 (ja) * | 1997-01-08 | 2006-08-09 | 株式会社リコー | 撮像信号処理方法及び撮像信号処理装置 |
| JPH10294948A (ja) | 1997-04-18 | 1998-11-04 | Nec Corp | 画像処理方法および画像処理プログラム記録媒体 |
| JP4066484B2 (ja) | 1997-12-08 | 2008-03-26 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにカメラ |
| US6392699B1 (en) * | 1998-03-04 | 2002-05-21 | Intel Corporation | Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space |
| ID28202A (id) | 1998-05-08 | 2001-05-10 | Matsushita Electric Ind Co Ltd | Peralatan pengambil gambar berwarna keadaan padat |
| US6075889A (en) * | 1998-06-12 | 2000-06-13 | Eastman Kodak Company | Computing color specification (luminance and chrominance) values for images |
| JP2000197067A (ja) * | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
| JP2000341701A (ja) | 1999-05-25 | 2000-12-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP4626007B2 (ja) * | 1999-06-14 | 2011-02-02 | 株式会社ニコン | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
| JP2001045505A (ja) | 1999-07-30 | 2001-02-16 | Matsushita Electric Ind Co Ltd | 固体撮像装置および色折り返しノイズ抑圧装置 |
| US7330596B2 (en) * | 2002-07-17 | 2008-02-12 | Ricoh Company, Ltd. | Image decoding technique for suppressing tile boundary distortion |
-
2001
- 2001-09-07 WO PCT/JP2001/007802 patent/WO2002021849A1/ja active Application Filing
- 2001-09-07 JP JP2002526129A patent/JP3972816B2/ja not_active Expired - Lifetime
- 2001-09-07 DE DE60141530T patent/DE60141530D1/de not_active Expired - Lifetime
- 2001-09-07 EP EP01963532A patent/EP1337115B1/en not_active Expired - Lifetime
- 2001-09-07 US US10/363,685 patent/US7146042B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1337115A4 (en) | 2005-08-24 |
| US20030164886A1 (en) | 2003-09-04 |
| EP1337115B1 (en) | 2010-03-10 |
| EP1337115A1 (en) | 2003-08-20 |
| WO2002021849A1 (fr) | 2002-03-14 |
| US7146042B2 (en) | 2006-12-05 |
| DE60141530D1 (de) | 2010-04-22 |
| JPWO2002021849A1 (ja) | 2004-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3972816B2 (ja) | 画像処理装置および表色系変換方法 | |
| JP3985679B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| US7630546B2 (en) | Image processing method, image processing program and image processor | |
| US6853748B2 (en) | Signal processing apparatus and method for reducing generation of false color by adaptive luminance interpolation | |
| JP2004192614A (ja) | 画像処理装置および画像処理方法並びにプログラムおよび記録媒体 | |
| JP4859220B2 (ja) | 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 | |
| KR20040066051A (ko) | 가중 그래디언트 기반 및 컬러 수정 보간 | |
| US7812870B2 (en) | Color space conversion in the analog domain | |
| JP4321064B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP2000224607A (ja) | 画像処理装置 | |
| CN101854462A (zh) | 图像处理设备、图像处理方法和计算机程序 | |
| JPH11250227A (ja) | 顔領域補正方法、顔領域補正装置および顔領域補正プログラムを記録した記録媒体 | |
| US9401006B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2003123063A (ja) | 画像処理装置 | |
| JP4581191B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP2001197321A (ja) | カラー画像処理方法並びに画像処理装置 | |
| JP3787393B2 (ja) | 画像処理装置及び方法 | |
| JP2012100215A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP4580837B2 (ja) | 色調補正方法及び色調補正回路 | |
| JP2004064227A (ja) | 映像信号処理装置 | |
| JP2002314827A (ja) | 画像処理方法、画像処理装置、及びそれを備えた画像形成装置、画像処理プログラム、並びに記録媒体 | |
| JP5983138B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
| WO2023032374A1 (ja) | データ生成方法、学習方法、撮像装置、及びプログラム | |
| JP2004007167A (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP2004151952A (ja) | 色表現方法および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070522 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070604 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3972816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |