JP6974156B2 - 画像色変換装置、画像色変換プログラム、画像色変換方法 - Google Patents

画像色変換装置、画像色変換プログラム、画像色変換方法 Download PDF

Info

Publication number
JP6974156B2
JP6974156B2 JP2017242986A JP2017242986A JP6974156B2 JP 6974156 B2 JP6974156 B2 JP 6974156B2 JP 2017242986 A JP2017242986 A JP 2017242986A JP 2017242986 A JP2017242986 A JP 2017242986A JP 6974156 B2 JP6974156 B2 JP 6974156B2
Authority
JP
Japan
Prior art keywords
color
color difference
value
gamma correction
processing information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017242986A
Other languages
English (en)
Other versions
JP2019110467A (ja
Inventor
真哉 高済
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017242986A priority Critical patent/JP6974156B2/ja
Priority to US16/177,389 priority patent/US10796461B2/en
Priority to CN201811548486.7A priority patent/CN110035199A/zh
Publication of JP2019110467A publication Critical patent/JP2019110467A/ja
Application granted granted Critical
Publication of JP6974156B2 publication Critical patent/JP6974156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6016Conversion to subtractive colour signals
    • H04N1/6019Conversion to subtractive colour signals using look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、カラーの3成分を参照値とする3次元ルックアップテーブルをベースとして画像信号を色変換する画像色変換装置、画像色変換プログラム、画像色変換方法に関する。
カラーの3成分を参照値とする3次元ルックアップテーブル(3次元LUT、あるいは3D−LUTなどと略称される)を用いて画像信号を色変換する技術は、従来より提案されている。
3次元LUTは、カラーの画像信号を構成する3成分に基づき参照すると、色変換後の3成分の値が得られるテーブルである。
例えば、3成分の1つを8ビットで表現する24ビットのカラー画像信号は、1成分に対して256階調(0〜255の値)が与えられることになるために、全ての階調に対する3次元LUTを作成すると、参照する座標の数(3次元座標であるために、格子点ともいう)は256の3乗(約1700万)となってしまい、データサイズが非常に大きくなる。
そこで、離散的な格子点(例えば、値が0,16,32,…,255となるような離散的な格子点)に対してのみ3次元LUTを作成しておき、格子点間の補間演算によって任意の入力データに対して色変換を行う技術が用いられている。
このとき、離散的な格子点の密度が高いほど色変換の精度が高くなるが、格子点の密度が高くなるとデータサイズが大きくなってしまう。
そこで、例えば特開2006−121530号公報には、入力画像信号を上位ビットと下位ビットとに分離して、上位ビットの値に基づき3次元LUTの格子を選択し、下位ビットの値に基づいて補間演算を行うことにより、格子点を増やすことなく、より高精度な補間演算を行う技術が記載されている。
特開2006−121530号公報
ところで、3次元LUTの格子点間を補間演算するには専用の3次元補間演算回路が必要となるが、3次元補間演算は処理負荷が比較的大きく、回路規模や消費電力も大きくなる。このために、例えば高解像度かつ高フレームレートの動画像をリアルタイム処理して表示し続けるようなモバイル機器等に対して3次元補間演算回路を搭載するのは容易ではない。そして、上記特開2006−121530号公報に記載の技術であっても、専用の3次元補間演算回路が必要となるために、同様に、モバイル機器等に搭載するのは容易ではない。
本発明は上記事情に鑑みてなされたものであり、専用の3次元補間演算回路を要することなく、3次元ルックアップテーブルによる色変換に近い色変換の結果を得ることができる、処理負荷の軽い画像色変換装置、画像色変換プログラム、画像色変換方法を提供することを目的としている。
本発明の一態様による画像色変換装置は、3次元LUTは、カラーの画像信号を構成する3成分を入力値として参照することにより、色変換後の3成分の出力値を取得するための3次元ルックアップテーブルであり、無彩色入力値と、前記無彩色入力値に基づき前記3次元LUTを参照して取得される前記出力値と、に基づいてガンマ補正処理情報を生成するガンマ補正処理情報生成部と、有彩色入力値である代表入力値に基づき前記3次元LUTを参照して代表出力値を取得し、前記代表入力値に、前記ガンマ補正処理情報に基づくガンマ補正処理と、色差信号処理情報に基づく色差信号処理と、を行ったときに前記代表出力値が得られるように、前記色差信号処理情報を設定する色差信号処理情報生成部と、前記画像信号に、前記ガンマ補正処理情報に基づくガンマ補正処理と、前記色差信号処理情報に基づく色差信号処理と、を行う色変換処理部と、を備える。
本発明の他の態様による画像色変換プログラムは、3次元LUTは、カラーの画像信号を構成する3成分を入力値として参照することにより、色変換後の3成分の出力値を取得するための3次元ルックアップテーブルであり、コンピュータに、無彩色入力値と、前記無彩色入力値に基づき前記3次元LUTを参照して取得される前記出力値と、に基づいてガンマ補正処理情報を生成するガンマ補正処理情報生成ステップと、有彩色入力値である代表入力値に基づき前記3次元LUTを参照して代表出力値を取得し、前記代表入力値に、前記ガンマ補正処理情報に基づくガンマ補正処理と、色差信号処理情報に基づく色差信号処理と、を行ったときに前記代表出力値が得られるように、前記色差信号処理情報を設定する色差信号処理情報生成ステップと、前記画像信号に、前記ガンマ補正処理情報に基づくガンマ補正処理と、前記色差信号処理情報に基づく色差信号処理と、を行う色変換処理ステップと、を実行させるためのプログラムである。
本発明のさらに他の態様による画像色変換方法は、3次元LUTは、カラーの画像信号を構成する3成分を入力値として参照することにより、色変換後の3成分の出力値を取得するための3次元ルックアップテーブルであり、無彩色入力値と、前記無彩色入力値に基づき前記3次元LUTを参照して取得される前記出力値と、に基づいてガンマ補正処理情報を生成するガンマ補正処理情報生成ステップと、有彩色入力値である代表入力値に基づき前記3次元LUTを参照して代表出力値を取得し、前記代表入力値に、前記ガンマ補正処理情報に基づくガンマ補正処理と、色差信号処理情報に基づく色差信号処理と、を行ったときに前記代表出力値が得られるように、前記色差信号処理情報を設定する色差信号処理情報生成ステップと、前記画像信号に、前記ガンマ補正処理情報に基づくガンマ補正処理と、前記色差信号処理情報に基づく色差信号処理と、を行う色変換処理ステップと、を有する。
本発明の画像色変換装置、画像色変換プログラム、画像色変換方法によれば、専用の3次元補間演算回路を要することなく、軽い処理負荷で、3次元ルックアップテーブルによる色変換に近い色変換の結果を得ることができる。
本発明の実施形態1の画像処理装置の構成を示すブロック図。 上記実施形態1のマイクロコンピュータの構成を示すブロック図。 上記実施形態1の画像処理部の構成を示すブロック図。 上記実施形態1の画像処理装置における色変換に係る処理を示すフローチャート。 上記実施形態1において、色変換処理を行う装置とは別の装置により、色変換テーブルの算出を行う構成例を示す図。 上記実施形態1の図5に示す構成における色変換に係る処理の一例を示すフローチャート。 上記実施形態1において、図4または図6のステップS1における色変換テーブル算出の処理の詳細を示すフローチャート。 上記実施形態1において、3次元LUTの参照値を3次元の座標として示す図。 上記実施形態1における3次元LUTの一例を示す図表。 上記実施形態1における3次元LUTから抽出した無彩色格子点のテーブルの一例を示す図表。 上記実施形態1において、RGBの各色に対するガンマ補正テーブルの一例を示す図表。 上記実施形態1において、図7のステップS15における色差変換テーブル作成処理を示すフローチャート。 上記実施形態1において、輝度軸方向から見たRGB色空間における色相方向の幾つかの例を示す図。 上記実施形態1において、色差平面上にプロットした代表格子点R_i,G_i,Cy_i,Mg_iを示す図。 上記実施形態1において、代表格子点Cy_iと、色変換後の代表格子点Cy_oと、色変換後の代表格子点Cy_oをデガンマ変換したデガンマ格子点Cy_cと、の関係を示す図。 上記実施形態1において、色差Cr,Cbに対して設定するニー(Knee)曲線の例を示す図表。 上記実施形態1の色変換処理部による、図4または図6のステップS2における色変換処理の詳細を示すフローチャート。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図17は本発明の実施形態1を示したものであり、図1は画像処理装置1の構成を示すブロック図である。
図1に示すように、画像色変換装置である画像処理装置1は、3成分を有するカラーの画像信号(適宜、画像データなどともいう)を処理するためのものであり、記録媒体10と、メモリインタフェース(メモリI/F)11と、バス12と、SDRAM13と、画像処理部14と、JPEG処理部15と、動画コーデック16と、操作部17と、フラッシュメモリ18と、マイクロコンピュータ19と、を備えている。
記録媒体10は、例えば画像処理装置1に着脱できるメモリカード等により構成されていて、画像データ(動画像データ、静止画像データ等)を不揮発に記憶する記録部である。従って、記録媒体10は、画像処理装置1に固有の構成である必要はない。
そして、画像データは、本実施形態においては、例えば、3成分としてRGB(R:レッド、G:グリーン、B:ブルー)の3色成分を有するカラーの画像データであるものとして説明する。こうしたカラーの画像データは、一例を挙げれば、レンズにより結像された被写体の光学像をカラー撮像素子により光電変換してA/D変換することにより得られる(ただし、これに限定されるものではない)。
メモリI/F11は、記録媒体10に記録されている画像データを読み出す制御を行う読出制御部であり、さらに、画像処理後の画像データを記録媒体10へ記録する制御を行う記録制御部でもある。
バス12は、各種のデータや制御信号を、画像処理装置1内のある場所から他の場所へ転送するための転送路である。本実施形態におけるバス12は、メモリI/F11と、SDRAM13と、画像処理部14と、JPEG処理部15と、動画コーデック16と、マイクロコンピュータ19と、に接続されている。
そして、メモリI/F11により記録媒体10から読み出された画像データは、バス12を介して転送され、SDRAM13に一旦記憶される。
SDRAM13は、記録媒体10から読み出された画像データ、画像処理部14により処理されもしくは処理途中の画像データ、動画コーデック16により処理されもしくは処理途中の画像データ、等の各種データを一時的に記憶する記憶部である。また、SDRAM13は、マイクロコンピュータ19が作業データ等を一時的に記憶するためのワークメモリとしても用いられる。
画像処理部14は、画像データに各種の画像処理を行い、表示用あるいは記録用の画像を作成する。この画像処理部14は、後述するように、画像信号の色変換処理も行う。
JPEG処理部15は、静止画像データを、JPEG処理により圧縮または伸張する圧縮伸張部である。このJPEG処理部15により処理された静止画像データは、マイクロコンピュータ19によりヘッダ等を付加されて、メモリI/F11を介して記録媒体10にJPEGファイルとして記録される。
動画コーデック16は、動画像データを、MotionJPEGやMPEGなどの適宜の処理方式で圧縮または伸張するものである。この動画コーデック16により処理された動画像データは、マイクロコンピュータ19によりヘッダ等を付加されて、メモリI/F11を介して記録媒体10に動画像ファイルとして記録される。
操作部17は、この画像処理装置1に対する各種の操作入力を行うためのものであり、画像処理装置1の電源のオン/オフ、画像処理の開始/終了、画像処理における各種パラメータの設定、記録媒体10に対する画像ファイルの読み出しや保存などを操作することができるようになっている。この操作部17に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ19へ出力される。
フラッシュメモリ18は、マイクロコンピュータ19により実行される処理プログラム(画像処理装置1により画像処理方法(画像色変換方法を含む)を実行するためのプログラムである画像処理プログラム(画像色変換プログラムを含む)を含む)と、この画像処理装置1に係る各種の情報と、を不揮発に記憶する記憶媒体である。このフラッシュメモリ18が記憶する情報は、マイクロコンピュータ19により読み取られる。
ここに、フラッシュメモリ18が記憶する情報としては、例えば、画像処理に用いるパラメータ(ホワイトバランスゲイン、色マトリクス係数等を含む)、ルックアップテーブル(3次元ルックアップテーブル(適宜、3次元LUT(または3D−LUT)と略称する)、ガンマ補正テーブル、デガンマ補正テーブル等を必要に応じて含む)、関数、あるいはユーザにより設定された設定値などが挙げられる。
具体的に、フラッシュメモリ18には、画像に係る条件に応じた3次元LUTが記憶されている。ここに、3次元LUTは、カラーの画像信号を構成する3成分を入力値として参照することにより、色変換後の3成分の出力値を取得するための3次元ルックアップテーブルである。また、画像に係る条件としては、例えば、画像が撮影されたときの昼間太陽、朝夕太陽、電球、蛍光灯などの光源の種類、自然撮影、人物撮影、静物撮影などの被写体の種類、露光時間やISO感度などの撮影条件、または、画像を撮影した撮像素子の分光特性などが挙げられる。あるいは、画像に係る条件が、画像を出力する出力装置(例えば、モニタ、プリンタなど)の色特性であっても構わない。こうして、3次元LUTは、例えば光源の種類に応じて、複数種類のテーブルが予め用意されている。
マイクロコンピュータ19は、画像処理装置1を統括的に制御する制御部である。マイクロコンピュータ19は、操作部17からユーザの操作入力を受けると、フラッシュメモリ18に記憶されている処理プログラムに従って、フラッシュメモリ18から処理に必要なパラメータ等を読み込んで、操作内容に応じた各種のシーケンスを実行する。
例えば、対象となる画像が選択されて、画像処理の実行が開始されると、マイクロコンピュータ19の制御に基づいて、記録媒体10からメモリI/F11を介して画像データが読み出され、バス12を介してSDRAM13に記憶される。
さらに、マイクロコンピュータ19の制御に基づいて、画像処理部14により画像処理が行われる。この画像処理においては、後述するような、3次元LUTに基づいて(3次元LUTをベースとして)、3次元LUTを参照した場合に近似する色変換処理が行われる。こうして画像処理部14により画像処理された画像データは、再びSDRAM13に記憶される。
この画像処理後の画像データが例えばモニタなどの表示部に表示される場合(あるいはプリンタにより印刷される場合等)には、ユーザは、モニタに表示された画像(あるいはプリントされた画像等)を見て、必要に応じて処理パラメータの設定値を変更して、画像処理を再度実行することもできる。
そして、画像データが静止画像データである場合にはJPEG処理部15によりJPEG圧縮され、また、画像データが動画像データである場合には動画コーデック16により動画圧縮されて、画像ファイルとして記録媒体10に記録される。
なお、画像処理装置1は、専用の処理装置として構成されていてもよいし、コンピュータに画像処理プログラムを実行させる構成であっても構わない。あるいは、画像処理装置1は、デジタルカメラやカメラ機能および電話機能付き情報端末などの撮像装置内に組み込まれたものであっても構わない。
従って、画像データは、記録媒体10を介して入力するに限るものではなく、通信回線等を介して入力してもよいし、撮像装置に組み込まれた画像処理装置1の場合には撮影して取得された画像データであっても構わない。
次に、図2は、マイクロコンピュータ19の構成を示すブロック図である。
マイクロコンピュータ19は、ガンマ補正処理情報生成部21と、色差信号処理情報生成部22と、を備え、色変換を行うための情報である色変換情報を算出する機能を有している。
ガンマ補正処理情報生成部21は、無彩色入力値と、無彩色入力値に基づき3次元LUTを参照して取得される出力値と、に基づいてガンマ補正処理情報(色変換情報の一部)を生成する。
色差信号処理情報生成部22は、有彩色入力値である代表入力値(具体的には、後述する代表格子点)に基づき3次元LUTを参照して代表出力値を取得し、代表入力値に、ガンマ補正処理情報に基づくガンマ補正処理と、色差信号処理情報(色変換情報の他の一部)に基づく色差信号処理と、を行ったときに代表出力値が得られるように、色差信号処理情報を設定する。
このとき、色差信号処理情報生成部22は、有彩色入力値を代表入力値として設定することを、少なくとも1つの有彩色入力値に対して行って、少なくとも1つの色差信号処理情報を設定する。特に、本実施形態における色差信号処理情報生成部22は、有彩色入力値を代表入力値として設定することを、色相が異なる複数の有彩色入力値に対して行って複数の色相に対応する色差信号処理情報を設定するようになっている。
これらガンマ補正処理情報生成部21および色差信号処理情報生成部22については、後でより詳細に説明する。
続いて、図3は、画像処理部14の構成を示すブロック図である。
図3に示すように、画像処理部14は、OB減算部31と、デモザイキング処理部32と、ホワイトバランス補正部33と、色マトリクス演算部34と、色変換処理部35と、を備えている。
OB減算部31は、画像データにOB(オプティカル・ブラック)成分が含まれている場合に、OB成分の減算を行う。従って、OB成分が含まれている画像データの場合には、記録媒体10にOB成分も記録されていてメモリI/F11により読み出されることになる。
デモザイキング処理部32は、画像が例えばRGBベイヤー画像である場合に、デモザイキング処理を行う。すなわち、デモザイキング処理部32は、1画素に付き1色の色信号のみが存在するRGBベイヤー画像において、ある色信号が欠落する画素の該色信号を、該画素の近傍において同色の色信号を有する画素の色信号に基づき補間することを、各画素の各欠落色信号に対して行うことにより、1画素に付きRGB各色の色信号が存在する画像を生成する。
ホワイトバランス補正部33は、マイクロコンピュータ19によりフラッシュメモリ18から読み出されたホワイトバランスゲインに基づき、カラーの画像信号に対してホワイトバランス補正を行う。このホワイトバランス補正は、白色の被写体が画像上においても白色に見えるようにするためのカラーバランス補正である。
色マトリクス演算部34は、画像データを構成する各画素データのRGB信号を例えば3行1列(あるいは1行3列でも構わない)の行列として構成し、この画素データに3行3列の色マトリクスを行列演算して、色空間を変換する処理を行う。ここに、3行3列の色マトリクスを構成する色マトリクス係数は、マイクロコンピュータ19によりフラッシュメモリ18から読み出されるようになっている。
色変換処理部35は、画像に係る条件(上述したように、光源などの画像に係る条件、あるいはモニタ等の出力装置の色特性など)に応じて、画像の色(明度、彩度、色相)が適切となるように、色変換処理を行うものである。
具体的に、本実施形態の色変換処理部35は、画像信号に対して、色差信号処理情報生成部22により生成された色差信号処理情報に基づく色差信号処理を行う色差信号処理部36と、ガンマ補正処理情報生成部21により生成されたガンマ補正処理情報に基づくガンマ補正処理を行うガンマ補正処理部37と、を備えている。
図4は、画像処理装置1における色変換に係る処理を示すフローチャートである。なお、画像処理装置1における、色変換に係る処理以外の処理については、詳細な説明を省略する。
この処理を開始すると、処理対象の画像に係る条件に応じて3次元LUTを選択し、選択した3次元LUTに基づいて、マイクロコンピュータ19が、画像信号を色変換するための色変換情報(本実施形態においては、色変換情報が、テーブルとして構成された色変換テーブルであるものとするが、これに限定されるものではなく、関数やその他の形式の情報であっても構わない)を算出する(ステップS1)。ここでは上述したように、ガンマ補正処理情報生成部21が色変換情報(色変換テーブル)の一部としてガンマ補正処理情報を算出すると共に、色差信号処理情報生成部22が色変換情報(色変換テーブル)の他の一部として色差信号処理情報を算出する。
次に、算出された色変換テーブルを用いて、色変換処理部35が画像信号の色変換処理を行う(ステップS2)。具体的に、色差信号処理部36が色差信号処理情報を用いて色差信号に係る色変換処理を行い、ガンマ補正処理部37がガンマ補正処理情報を用いて画像信号の各色の色変換処理を行う(色差信号処理とガンマ補正処理の処理順序については後述する)。
その後、処理を終了するか否かを判定して(ステップS3)、他の画像の処理をさらに行う場合にはステップS1へ戻って上述したような処理を行う。従って、他の画像については、他の3次元LUTが選択されて他の色変換処理が行われることがある(つまり、どの3次元LUTが選択されてどのような色変換処理が行われるかは、処理対象となる画像に依存する)。
一方、ステップS3において、処理を終了すると判定された場合には、図示しないメイン処理等へリターンする。
なお、図1〜図4に示した構成例では、画像処理装置1が色変換テーブルの算出と色変換処理との両方を行ったが、デジタルカメラやカメラ機能および電話機能付き情報端末などのモバイル機器では処理負荷を軽減することが好ましい。
そこで、色変換テーブルの算出と色変換処理とを別の装置により行う構成例を図5および図6を参照して説明する。
図5は、色変換処理を行う装置とは別の装置により、色変換テーブルの算出を行う構成例を示す図である。なお、図5にはモバイル機器がデジタルカメラ3である場合の例を示している。
デジタルカメラ3は、撮影して取得した画像に、色変換処理を行う装置である。この色変換処理に必要な色変換テーブルは、例えば、通信回線を介して接続されている、コンピュータ4またはクラウド(クラウドコンピューティング)5などから取得するようになっている。
従って、3次元LUT、ガンマ補正処理情報生成部21、および色差信号処理情報生成部22はコンピュータ4またはクラウド5が備え、色変換処理部35(色差信号処理部36およびガンマ補正処理部37)はデジタルカメラ3が備えている。このように、図1等に示した構成は、複数の装置に分散して配置されていても構わない。
図6は、図5に示す構成における色変換に係る処理の一例を示すフローチャートである。
この図6において、デジタルカメラ3がクライアント、コンピュータ4またはクラウド5がサーバである。
処理を開始すると、クライアントは、画像を撮影したときの光源の種類などの、3次元LUTを選択するための3次元LUT選択用情報をサーバへ送信する(ステップS4A)。
サーバは、クライアントから3次元LUT選択用情報を受信する(ステップS4B)。
すると、サーバは、受信した3次元LUT選択用情報に基づいて色変換に使用する3次元LUTを選択して、選択した3次元LUTに基づいて、上述したステップS1で説明したように、色変換テーブルを算出する。
そして、サーバは、算出した色変換テーブルを、クライアントへ送信する(ステップS5B)。
クライアントは、サーバから色変換テーブルを受信する(ステップS5A)。
クライアントは、受信した色変換テーブルを用いて、上述したステップS2で説明したように、画像信号の色変換処理を行う。
その後、クライアントは、処理を終了するか否かを判定して(ステップS3A)、他の画像の処理をさらに行う場合にはステップS4Aへ戻って上述したような処理を行い、処理を終了すると判定した場合には、この処理を終了する。
サーバにおいても同様に、ステップS5Bの処理を行った後は、処理を終了するか否かを判定して(ステップS3B)、クライアントから他の画像の処理をさらに行う要求がある場合等にはステップS4Bへ戻って上述したような処理を行い、処理を終了すると判定した場合には、この処理を終了する。
次に、図7は、図4または図6のステップS1における色変換テーブル算出の処理の詳細を示すフローチャートである。なお、以下の説明は、図1〜図3の構成を想定して行う。
この処理を開始すると、マイクロコンピュータ19が、選択された3次元LUTをフラッシュメモリ18から読み込む(ステップS11)。
ここで、図8は3次元LUTの参照値を3次元の座標として示す図、図9は3次元LUTの一例を示す図表である。
3次元LUTは、例えば、カラーの画像信号を構成する各画素のRGB値の組み合わせ(R,G,B)を入力値(参照値)として参照を行うと、色変換後のRGB値の組み合わせ(R,G,B)が出力値として得られるテーブルとなっている(図9参照)。ここに、参照すべき成分(座標の数)が3つであるために、3次元テーブルと呼ばれている。
また、デジタル画像信号では画素値が整数により表されるために、3次元の直交座標系で表したときに整数の組み合わせでなる参照座標は立方格子上に位置することとなり、格子点とも呼ばれる(図8の格子点LP参照)。
そして、3次元LUTは、データサイズを小さくするために、離散的な(つまり、整数値として連続していない)入力値である格子点に対してのみ構築されたテーブルデータとなっている。また、カラー画像信号が24ビットであって、RGBの各色が8ビットで表現され0〜255までの何れかの値を取る場合を例に挙げると、(R,G,B)=(0,0,0)である黒BLKと、(R,G,B)=(255,255,255)である白WHTと、を結ぶ点線で示す直線は、無彩色格子点を通る輝度軸となっている。
図9に示す3次元LUTは、RGBそれぞれの値が、0,16,32,…,240,255となるような離散的な格子点に対してのみ(従って、任意の入力値に対しては格子点間の補間演算を行うことを想定して)構築されている。すなわち、3次元LUTは、原点(0,0,0)を基点として、16×16×16の立方格子CL(図8参照)により構築した格子群の各格子点に対して値をもち、かつ、RGBの少なくとも1色が飽和する点(255,G,B)、(R,255,B)、(R、G、255)に対しても値をもつように構成されている。
従って、図9に示す3次元LUTにおける参照座標の数は、(256/16+1)^3=17^3=4913である(ここに、記号「^」はべき乗を表し、「^3」は3乗を表す)。従って、連続する(整数値として連続する)入力値である格子点に対して構築した3次元LUTにおける参照座標の数256^3≒1700万に比べて、大幅なデータサイズの削減を図ったものとなっている。
続いて、読み込んだ3次元LUTに基づいて、ガンマ補正処理情報生成部21が、ステップS12〜S14のガンマ補正テーブル作成処理を行う。
すなわち、まず、3次元LUTから、無彩色格子点、ここでは、R=G=Bの格子点を抽出する(ステップS12)。このように、3成分としてRGBの3色成分を用いたために、無彩色格子点を通る輝度軸を抽出するのが容易となっている。ここに、図10は、3次元LUTから抽出した無彩色格子点のテーブルの一例を示す図表である。
次に、0,16,32,…,240,255の離散的な入力値に対してのみ出力値をもつ無彩色格子点のテーブルの補間演算を行い、0,1,2,…,254,255の各入力値に対する出力値を、RGBの各色について算出する(ステップS13)。
そして、補間演算された無彩色格子点のテーブルに基づき、RGBの各色に対するガンマ補正テーブルをガンマ補正処理情報として作成する(ステップS14)。ここに、図11は、RGBの各色に対するガンマ補正テーブルの一例を示す図表である。この図11は、RGBについての入力値をまとめて記載しており、0〜255の入力値が、Rである場合にはR欄の出力値を出力し、Gである場合にはG欄の出力値を出力し、Bである場合にはB欄の出力値を出力すればよい(ただし、Rガンマ補正テーブルとGガンマ補正テーブルとBガンマ補正テーブルとを、それぞれ別途に作成しても構わない)。
こうして、ガンマ補正処理情報生成部21は、離散的な無彩色入力値と、離散的な無彩色入力値に基づき3次元LUTを参照して取得される出力値と、を補間することにより、中間的な無彩色入力値と出力値との対応も与えるガンマ補正処理情報を生成する。
つまり、ガンマ補正処理情報生成部21は、RGB各色成分が等しい無彩色入力値と、無彩色入力値に基づき3次元LUTを参照して取得されるRGBの出力値と、に基づいて、R入力値に対するガンマ補正処理後のR出力値を与えるRガンマ補正処理情報と、G入力値に対するガンマ補正処理後のG出力値を与えるGガンマ補正処理情報と、B入力値に対するガンマ補正処理後のB出力値を与えるBガンマ補正処理情報と、を含むガンマ補正処理情報を生成するようになっている。
ステップS14の処理を行ったら、続いて、色差変換テーブル作成の処理を行う(ステップS15)。
ここで、図12は、図7のステップS15における色差変換テーブル作成処理を示すフローチャートである。この色差変換テーブル作成処理は、色差信号処理情報生成部22により行われるようになっている。
この処理に入ると、少なくとも1つの色相方向、実用的には複数の色相方向に、代表入力値である代表格子点を自動設定する(ステップS21)。
ここで、図13は、輝度軸方向から見たRGB色空間における色相方向の幾つかの例を示す図である。
RGB色空間において、R=G=Bの直線(図8において点線で示した直線であり、図13においては白丸で示している)は、輝度が異なる全ての無彩色格子点を通る輝度軸である。輝度軸を中心とする周囲には、G,Ye,R,Mg,B,Cr等の各色相をもつ格子点が存在している。なお、図13は、中央の輝度(例えば、(R,G,B)=(128,128,128))と白WHT(図8参照)との中間の高輝度における、輝度軸に垂直な面上の、輝度軸に近い低彩度の各色相の格子点の例を示している。
代表格子点は、3次元LUTにより色変換を行ったときと同様の結果が求められる点、つまり、高い変換精度が求められる点が選ばれる。従って、代表格子点であることが好ましいのは、例えば、色変換誤差(色ずれ)が視覚的に目立ち易い色の格子点、あるいは、人が記憶色として重視し易い色の格子点、などである。
視覚的に目立ち易い色としては、高輝度かつ低彩度の有彩色(図13の黒丸の点参照)が挙げられる。また、人が記憶色として重視し易い色としては、肌色に対応する有彩色と、植物の緑色に対応する有彩色と、空の青色に対応する有彩色と、などが挙げられる。従って、高輝度かつ低彩度の有彩色を代表格子点としてもよいし、肌色に対応する有彩色と、植物の緑色に対応する有彩色と、空の青色に対応する有彩色と、の内の少なくとも1つを代表格子点としても構わないし、両方を適宜組み合わせてもよい。
図14は、色差平面(CrCb平面)上にプロットした代表格子点R_i,G_i,Cy_i,Mg_iを示す図である。
この図14に示す例では、色差平面の4つの象限に代表格子点をそれぞれ1つずつ設定しており、第1象限に代表格子点R_iを、第2象限に代表格子点G_iを、第3象限に代表格子点Cy_iを、第4象限に代表格子点Mg_iを、それぞれ設定している。
その後、代表格子点に対する手動設定があるか否かを判定する(ステップS22)。すなわち、どの色を重視するかはユーザが手動で設定することもできるようになっている。
ここで、手動設定があると判定された場合には、手動設定に応じて代表格子点を更新する(ステップS23)。
このステップS23を行うか、またはステップS22において手動設定がないと判定された場合には、代表格子点R_i,G_i,Cy_i,Mg_iのRGB値を代表入力値として図9に示したような3次元LUTを参照することにより、色変換後の代表格子点R_o,G_o,Cy_o,Mg_oを代表出力値としてそれぞれ取得する(ステップS24)。
従って、代表格子点R_i,G_i,Cy_i,Mg_iとしては、離散的な格子点(つまり、RGBそれぞれの値が、0,16,32,…,240,255となっていて、図9を参照すれば出力値が直ちに得られる点)を選択すると、補間演算が不要となるために好ましい。
次に、色変換後の代表格子点R_o,G_o,Cy_o,Mg_oのRGB値それぞれを参照値として、ガンマ補正テーブル(ステップS14で作成した図11に示すようなガンマ補正テーブル)を逆参照する(参照値に最も近似する出力値に対応する入力値を求める)ことにより、色変換後の代表格子点R_o,G_o,Cy_o,Mg_oをそれぞれデガンマ変換したデガンマ格子点R_c,G_c,Cy_c,Mg_cを中間代表値として取得する(ステップS25)。
Cyを例に挙げれば、RGB各色に対するデガンマ変換をDegammaR,DegammaG,DegammaBとして表したときに、デガンマ格子点Cy_cのRGB値はそれぞれ次のように取得される。
R(Cy_c)=DegammaR(R(Cy_o))
G(Cy_c)=DegammaG(G(Cy_o))
B(Cy_c)=DegammaB(B(Cy_o))
なお、ここではガンマ補正テーブルを逆参照することでデガンマ変換を行うようにしたが、デガンマ補正テーブルを別途作成して参照するようにしても構わない。
ここまでの処理で、代表入力値である代表格子点Cy_i、代表出力値である色変換後の代表格子点Cy_o、中間代表値であるデガンマ格子点Cy_cのRGB値が、次のようにそれぞれ取得されている。
Cy_i:(R(Cy_i),G(Cy_i),B(Cy_i))
Cy_o:(R(Cy_o),G(Cy_o),B(Cy_o))
Cy_c:(R(Cy_c),G(Cy_c),B(Cy_c))
図15は、代表格子点Cy_iと、色変換後の代表格子点Cy_oと、色変換後の代表格子点Cy_oをデガンマ変換したデガンマ格子点Cy_cと、の関係を示す図である。この図15には、一例として代表格子点Cy_iに係る関係を示したが、他の代表格子点R_i,G_i,Mg_iについても代表格子点Cy_iと同様の関係がある。
続いて、色差信号処理情報生成部22は、3成分(例えば、RGB)の代表入力値(代表格子点)を輝度色差変換することにより1成分の代表入力輝度値(代表格子点の輝度値)および2成分の代表入力色差値(代表格子点の色差値)を取得し、3成分(同RGB)の中間代表値(デガンマ格子点)を輝度色差変換することにより1成分の中間代表輝度値(デガンマ格子点の輝度値)および2成分の中間代表色差値(デガンマ格子点の色差値)を取得する。
すなわち、代表入力値である代表格子点R_i,G_i,Cy_i,Mg_iと、中間代表値であるデガンマ格子点R_c,G_c,Cy_c,Mg_cとを、RGB色空間の画素値から輝度色差空間の画素値へそれぞれ変換する(ステップS26)。
これにより、例えばCyに関しては、Y(Cy_i),Cr(Cy_i),Cb(Cy_i)、およびY(Cy_c),Cr(Cy_c),Cb(Cy_c)が得られる(R,G,Mgに関しても同様)。
そして、色差Cr,Cbに関して、ニー(Knee)曲線を設定して色差変換テーブル(Cr変換テーブルおよびCb変換テーブル)を構築する処理を行う。ここでは、Cr変換テーブルを構築し、その後にCb変換テーブルを構築する例を説明するが、処理順序は逆でも構わないし、並列的に(同時的に)構築してもよい。
すなわち、代表格子点R_i,G_i,Cy_i,Mg_iの色差Cr(R_i),Cr(G_i),Cr(Cy_i),Cr(Mg_i)を入力(in)の座標、デガンマ格子点R_c,G_c,Cy_c,Mg_cの色差Cr(R_c),Cr(G_c),Cr(Cy_c),Cr(Mg_c)を出力(out)の座標とするニーポイント(ニー(Knee)曲線における折れ点)を、R,G,Cy,Mgそれぞれの色差方向に対して設定する(ステップS27)。
さらに、原点からニーポイントを経て臨界点へ向かうニー(Knee)曲線を図16に示すように設定して、ニー(Knee)曲線により表される入力値と出力値との対応関係をCr変換テーブルとして構築する(ステップS28)。
ここに、図16は、色差Cr,Cbに対して設定するニー(Knee)曲線の例を示す図表である。また、臨界点は、画素値の信号精度(例えば8ビットの信号精度であるR=0〜255,G=0〜255,B=0〜255)に基づき定まるCr,Cbそれぞれの上限値(臨界値)で与えられる点である。
同様にして、代表格子点R_i,G_i,Cy_i,Mg_iの色差Cb(R_i),Cb(G_i),Cb(Cy_i),Cb(Mg_i)を入力(in)の座標、デガンマ格子点R_c,G_c,Cy_c,Mg_cの色差Cb(R_c),Cb(G_c),Cb(Cy_c),Cb(Mg_c)を出力(out)の座標とするニーポイント(ニー(Knee)曲線における折れ点)を、R,G,Cy,Mgそれぞれの色差方向に対して設定する(ステップS29)。
さらに、原点からニーポイントを経て臨界点へ向かうニー(Knee)曲線を図16に示すように設定して、ニー(Knee)曲線により表される入力値と出力値との対応関係をCb変換テーブルとして構築する(ステップS30)。
図16の例えばR方向に関して、図14を参照すれば分かるように、RはCr>0かつCb<0の色差領域にあるために、入力(in)を横軸とし、出力(out)を縦軸とするグラフにおいて、ニーポイントの入力であるCr(R_i)と出力であるCr(R_c)は何れも正となって第1象限のニー(Knee)曲線、ニーポイントの入力であるCb(R_i)と出力であるCb(R_c)は何れも負となって第3象限のニー(Knee)曲線となっている。図16に示すその他のG方向、Cy方向、Mg方向についても、同様にしてニー(Knee)曲線の象限が定められている。
また、ニー(Knee)曲線の一例として、R方向のCr変換テーブル特性を挙げれば、原点からニーポイントまでの直線は、
out={Cr(R_c)/Cr(R_i)}in
として表される。また、ニーポイントから臨界点までの直線は、臨界値をCrlmとすれば、
out=[{Crlm−Cr(R_c)}/Crlm−Cr(R_i)}]
×{in−Cr(R_i)}+Cr(R_c)
として表される。Cb変換テーブル特性や、その他の色差方向についても同様である。
こうして、色差信号処理情報生成部22は、2成分の色差値(Cr,Cb)のそれぞれに対して、代表入力色差値が中間代表色差値に変換される色差信号処理情報を設定するようになっている。このとき、色差信号処理情報生成部22は、入力色差値に対する出力色差値を与える平面において、入力色差値が0でありかつ出力色差値が0である原点と、入力色差値が代表入力色差値でありかつ出力色差値が中間代表色差値であるニーポイントと、入力色差値の上限値および出力色差値の上限値でなる臨界点と、を通るニー曲線(図16参照)に対応する色差信号処理情報を、2成分の色差値(Cr,Cb)のそれぞれに対して生成する。
上述したステップS30の処理を行ったら、図7に示す処理にリターンする。
このように、本実施形態の3次元LUTに基づく色変換テーブルは、図7に示したように、ガンマ補正処理情報生成部21により作成されるガンマ補正テーブルと、色差信号処理情報生成部22により作成される色差変換テーブル(Cr変換テーブルおよびCb変換テーブル)と、で構成される。
色変換テーブルが作成されたら、色変換処理部35が色変換テーブルに基づいて画像信号の色変換処理を行う。
図17は、色変換処理部35による、図4または図6のステップS2における色変換処理の詳細を示すフローチャートである。
色変換処理は、画像を構成する画素単位で順次行うことで、画像全体の色変換を行うものとなっている。すなわち、この処理を開始すると、画像を構成するある画素のRGB画素値を入力する(ステップS41)。
そして、ステップS42〜S45の色差変換処理と、ステップS46〜S48のガンマ補正処理とを行うことで、色変換処理を行う。
すなわち、図15に示したように、入力値(例えばCy_i)を3次元LUTにより変換した色変換処理(図15のioベクトル参照)の結果の出力値(例えばCy_o)に相当する結果を、色変換処理(図15のicベクトル参照)とガンマ補正処理(図15のcoベクトル参照)との2段階の処理を経ることで得るようにしている。具体的に、入力値Cy_iに色変換処理を行うことでCy_cを取得し、さらにCy_cにガンマ補正処理を行うことでCy_oを得るようになっている。
具体的に、ステップS41の処理を行ったら、次に、RGB画素値を輝度色差信号に変換する(ステップS42)。
続いて、画素値の色相方向が、例えば図16に示したR方向、G方向、Cy方向、Mg方向の何れであるかに応じて、適用する色差(Cr,Cb)変換テーブルを選択する(ステップS43)。
この色差変換テーブルの選択に際しては、色空間を、選択肢である複数の色差変換テーブルに対応する複数の領域に予め分割しておくとよい。これにより、画素値が色空間内のどの領域に属するかに応じて、色差変換テーブルの選択が自動的に行われる。
一例としては、ステップS42で取得した輝度色差信号の内の色差信号が、図14のR_iと同じ象限にあるときにはR方向の色差(Cr,Cb)変換テーブルを選択し、図14のG_iと同じ象限にあるときにはG方向の色差(Cr,Cb)変換テーブルを選択し、図14のCy_iと同じ象限にあるときにはCy方向の色差(Cr,Cb)変換テーブルを選択し、図14のMg_iと同じ象限にあるときにはMg方向の色差(Cr,Cb)変換テーブルを選択する、等である。
そして、ステップS42で取得した色差信号を、選択した色差変換テーブルを用いて変換する(ステップS44)。なお、この処理では輝度信号は変化しない。また、図16に示したようなニー曲線に基づく色差変換は、低負荷の汎用的な画像処理として行うことができる。
その後、輝度信号と、色差変換を行った色差信号とを、再びRGB信号に変換する(ステップS45)。上述したステップS42の処理、およびこのステップS45の処理は、一般的な画像処理装置において行われる汎用的な画像処理である。
続いて、ガンマ補正処理に入り、変換されたRGB信号の内のR画素値をRガンマ補正テーブルを用いて変換する(ステップS46)。
同様に、G画素値をGガンマ補正テーブルを用いて変換し(ステップS47)、B画素値をBガンマ補正テーブルを用いて変換する(ステップS48)。なお、RGBの各ガンマ補正処理は、どの順序で行っても構わないし、同時的に行ってもよい。
ステップS46〜S48のガンマ補正処理も、一般的な画像処理装置において行われる低負荷の汎用的な画像処理である。
そして、画像内に次の画素があるか否かを判定して(ステップS49)、次の画素があると判定された場合にはステップS41へ戻って次の画素に対して上述したような処理を行い、次の画素がないと判定された場合にはこの処理を終了する。
なお、図17に示す処理では、ステップS45において輝度色差信号をRGB信号に変換してから、ステップS46〜S48のガンマ補正処理を行っていたが、これに限るものではない。例えば、図10に示した無彩色格子点のテーブルの、入力側および出力側を輝度色差変換して、入力輝度値と出力輝度値との対応テーブルを作成し、さらに図11と同様に中間値を補間した、輝度に係る階調変換テーブルを作成しておく。そして、ステップS44の処理を行った後に、輝度に係る階調変換テーブルを用いて輝度の階調変換を行う。その後に、ステップS45の処理を行うことで、RGB信号に変換する。このような処理を行っても構わない。
こうして、3次元LUTを用いた色変換処理の結果に近い結果、特に、色変換誤差が視覚的に目立つ色信号の誤差(3次元LUTを用いた色変換処理との誤差)を小さくした結果を、低負荷の汎用的な画像処理回路で簡易的に得ることができる。
なお、上述では、図15等に示したように、色差信号処理情報生成部22は、代表出力値(色変換後の代表格子点Cy_o等)にガンマ補正処理情報に基づくデガンマ補正処理を行って中間代表値(デガンマ格子点Cy_c等)を取得し、代表入力値(代表格子点Cy_i等)に色差信号処理を行うことで中間代表値が取得されるように色差信号処理情報を設定することで、代表入力値に、色差信号処理情報に基づく色差信号処理を行い、その後にガンマ補正処理情報に基づくガンマ補正処理を行ったときに代表出力値が得られるようにしていた。
従って、色変換処理部35は、色差信号処理部36により画像信号に色差信号処理を行った後に、ガンマ補正処理部37によりガンマ補正処理を行っていた。
ただし、これに限定されるものではなく、色差信号処理とガンマ補正処理とを逆の順序で行うように、画像色変換装置である画像処理装置1を構成しても構わない。
このときには、色差信号処理情報生成部22が、代表入力値(図15の代表格子点Cy_i等)にガンマ補正処理情報に基づくガンマ補正処理(図15のcoベクトルに相当)を行って中間代表値(図15には不図示)を取得し、中間代表値に色差信号処理(図15のicベクトルに相当)を行うことで代表出力値(図15の色変換後の代表格子点Cy_o等)が取得されるように色差信号処理情報を設定することで、代表入力値に、ガンマ補正処理情報に基づくガンマ補正処理を行い、その後に色差信号処理情報に基づく色差信号処理を行ったときに代表出力値が得られるようにするものとなる。
そしてこの場合に、色変換処理部35は、画像信号に、ガンマ補正処理情報に基づくガンマ補正処理を行うガンマ補正処理部37と、ガンマ補正処理後の画像信号に、色差信号処理情報に基づく色差信号処理を行う色差信号処理部36と、を含むこととなる。
また、上述では、カラーの画像信号を構成する3成分が、RGBの3色成分である場合を例に挙げて説明したが、これに限定されるものではなく、例えばイエロー(Yellow)、マゼンタ(Magenta)、シアン(Cyan)などの補色系の3成分により構成されるカラーの画像信号であってもよいし、その他の3成分で構成されるカラーの画像信号でも構わない。
このような実施形態1によれば、3次元LUTを用いた色変換に代えて、3次元LUTに基づきガンマ補正処理情報と色差信号処理情報とを生成し、ガンマ補正処理と色差信号処理とを行って画像信号を色変換するようにしたために、専用の3次元補間演算回路を要することなく、処理負荷を軽くしながら、3次元LUTによる色変換に近い結果を得ることができる。これにより、低負荷の汎用的な画像処理回路で、色変換処理を簡易的に行うことができる。
そして、無彩色入力値と、無彩色入力値に基づき3次元LUTを参照して取得される出力値と、に基づいてガンマ補正処理情報を生成するようにしたために、無彩色入力値に対して精度の高い色変換の結果を得ることができる。
さらに、有彩色の代表入力値に基づき3次元LUTを参照して代表出力値を取得し、代表入力値に、ガンマ補正処理情報に基づくガンマ補正処理と、色差信号処理情報に基づく色差信号処理と、を行ったときに代表出力値が得られるように、色差信号処理情報を設定するようにしたために、代表入力値として視覚的に目立ち易いまたは重視する色の値を用いることで、視覚的に目立ち易いまたは重視する色を高精度に色変換することができ、違和感の少ない色変換の結果を得ることができる。
このとき、複数の色相に対応する色差信号処理情報を設定して、画像信号の色相に対応する色差信号処理情報に基づく色差信号処理を画像信号に行うようにしたために、色相毎により精度の高い色変換を行うことができる。
加えて、先に色差信号処理を行い後にガンマ補正処理を行う場合に適切となるように、色差信号処理情報およびガンマ補正処理情報を生成するようにしたために、無彩色格子点を通る輝度軸の変換精度が高くなり、視覚の弁別性能が高い輝度の階調特性を正確に再現することができる。
一方、先にガンマ補正処理を行い後に色差信号処理を行う場合に適切となるように、色差信号処理情報およびガンマ補正処理情報を生成する場合には、画像の色相や彩度を正確に再現することができる。
また、3成分としてRGBの3色成分を用いることにより、各色成分が取る値の範囲(例えば、0〜255)を容易に把握することができ、かつ、無彩色格子点を通る輝度軸をR=G=Bの直線として容易に抽出することができる。
さらに、2成分の色差値のそれぞれに対する色差信号処理情報を生成するようにしたために、2次元の色差変換を、2成分の色差値のそれぞれに対する1次元の色差変換として行うことができ、2次元補間演算等を不要として処理負荷をさらに軽減することができる。
このとき、原点とニーポイントと臨界点とを通るニー曲線に対応する色差信号処理情報を生成するようにしたために、任意の入力値に対する補間演算を、極めて容易に行うことができる。
また、離散的な入力値に対して構築された3次元LUTに基づき、補間を行って、中間的な無彩色入力値と出力値との対応も与えるガンマ補正処理情報を生成するようにしたために、ガンマ補正処理を行う際の補間処理を省略して処理負荷を軽減し処理速度を向上することができる。
さらに、RGBそれぞれに対してガンマ補正処理情報を生成するようにしたために、RGBの画素値をそのまま参照するだけで、ガンマ補正処理を行うことができる。
そして、代表入力値として、高輝度かつ低彩度の有彩色入力値を設定した場合には、色変換誤差が視覚的に目立ち易い高輝度かつ低彩度の色を、違和感なく色変換することができる。
また、代表入力値として、肌色に対応する有彩色入力値と、植物の緑色に対応する有彩色入力値と、空の青色に対応する有彩色入力値と、の内の少なくとも1つを設定した場合には、人が記憶色として重視し易い色を、違和感のない自然な色に色変換することができる。
なお、上述した各部の処理は、ハードウェアとして構成されたプロセッサが行うようにしてもよい。
また、上述では主として画像色変換装置について説明したが、画像色変換装置と同様の処理を行う画像色変換方法であってもよいし、コンピュータに画像色変換装置と同様の処理を行わせるための画像色変換プログラム、該画像色変換プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用を行うことができることは勿論である。
1…画像処理装置
3…デジタルカメラ
4…コンピュータ
5…クラウド(クラウドコンピューティング)
10…記録媒体
11…メモリI/F
12…バス
13…SDRAM
14…画像処理部
15…JPEG処理部
16…動画コーデック
17…操作部
18…フラッシュメモリ
19…マイクロコンピュータ
21…ガンマ補正処理情報生成部
22…色差信号処理情報生成部
31…OB減算部
32…デモザイキング処理部
33…ホワイトバランス補正部
34…色マトリクス演算部
35…色変換処理部
36…色差信号処理部
37…ガンマ補正処理部

Claims (12)

  1. 3次元LUTは、カラーの画像信号を構成する3成分を入力値として参照することにより、色変換後の3成分の出力値を取得するための3次元ルックアップテーブルであり、
    無彩色入力値と、前記無彩色入力値に基づき前記3次元LUTを参照して取得される前記出力値と、に基づいてガンマ補正処理情報を生成するガンマ補正処理情報生成部と、
    有彩色入力値である代表入力値に基づき前記3次元LUTを参照して代表出力値を取得し、前記代表入力値に、前記ガンマ補正処理情報に基づくガンマ補正処理と、色差信号処理情報に基づく色差信号処理と、を行ったときに前記代表出力値が得られるように、前記色差信号処理情報を設定する色差信号処理情報生成部と、
    前記画像信号に、前記ガンマ補正処理情報に基づくガンマ補正処理と、前記色差信号処理情報に基づく色差信号処理と、を行う色変換処理部と、
    を備えたことを特徴とする画像色変換装置。
  2. 前記色差信号処理情報生成部は、前記有彩色入力値を前記代表入力値として設定することを、色相が異なる複数の前記有彩色入力値に対して行って複数の色相に対応する前記色差信号処理情報を設定し、
    前記色変換処理部は、前記画像信号に、前記画像信号の色相に対応する前記色差信号処理情報に基づく色差信号処理を行うことを特徴とする請求項1に記載の画像色変換装置。
  3. 前記色差信号処理情報生成部は、前記代表出力値に前記ガンマ補正処理情報に基づくデガンマ補正処理を行って中間代表値を取得し、前記代表入力値に前記色差信号処理を行うことで前記中間代表値が取得されるように前記色差信号処理情報を設定するものであり、
    前記色変換処理部は、
    前記画像信号に、前記色差信号処理情報に基づく色差信号処理を行う色差信号処理部と、
    前記色差信号処理後の前記画像信号に前記ガンマ補正処理情報に基づくガンマ補正処理を行うガンマ補正処理部と、
    を含むことを特徴とする請求項1に記載の画像色変換装置。
  4. 前記色差信号処理情報生成部は、前記代表入力値に前記ガンマ補正処理情報に基づくガンマ補正処理を行って中間代表値を取得し、前記中間代表値に前記色差信号処理を行うことで前記代表出力値が取得されるように前記色差信号処理情報を設定するものであり、
    前記色変換処理部は、
    前記画像信号に、前記ガンマ補正処理情報に基づくガンマ補正処理を行うガンマ補正処理部と、
    前記ガンマ補正処理後の前記画像信号に、前記色差信号処理情報に基づく色差信号処理を行う色差信号処理部と、
    を含むことを特徴とする請求項1に記載の画像色変換装置。
  5. 前記色差信号処理情報生成部は、前記3成分の前記代表入力値を輝度色差変換することにより1成分の代表入力輝度値および2成分の代表入力色差値を取得し、前記3成分の前記中間代表値を輝度色差変換することにより1成分の中間代表輝度値および2成分の中間代表色差値を取得して、2成分の色差値のそれぞれに対して、前記代表入力色差値が前記中間代表色差値に変換される前記色差信号処理情報を設定するものであることを特徴とする請求項3に記載の画像色変換装置。
  6. 前記色差信号処理情報生成部は、入力色差値に対する出力色差値を与える平面において、前記入力色差値が0でありかつ前記出力色差値が0である原点と、前記入力色差値が前記代表入力色差値でありかつ前記出力色差値が前記中間代表色差値であるニーポイントと、前記入力色差値の上限値および前記出力色差値の上限値でなる臨界点と、を通るニー曲線に対応する前記色差信号処理情報を、前記2成分の色差値のそれぞれに対して生成することを特徴とする請求項5に記載の画像色変換装置。
  7. 前記3次元LUTは、離散的な前記入力値に対して構築されており、
    前記ガンマ補正処理情報生成部は、離散的な前記無彩色入力値と、離散的な前記無彩色入力値に基づき前記3次元LUTを参照して取得される前記出力値と、を補間することにより、中間的な前記無彩色入力値と前記出力値との対応も与える前記ガンマ補正処理情報を生成することを特徴とする請求項1に記載の画像色変換装置。
  8. 前記3成分は、RGBの3色成分であり、
    前記ガンマ補正処理情報生成部は、RGB各色成分が等しい前記無彩色入力値と、前記無彩色入力値に基づき前記3次元LUTを参照して取得されるRGBの前記出力値と、に基づいて、R入力値に対するガンマ補正処理後のR出力値を与えるRガンマ補正処理情報と、G入力値に対するガンマ補正処理後のG出力値を与えるGガンマ補正処理情報と、B入力値に対するガンマ補正処理後のB出力値を与えるBガンマ補正処理情報と、を含む前記ガンマ補正処理情報を生成することを特徴とする請求項1に記載の画像色変換装置。
  9. 前記色差信号処理情報生成部は、高輝度かつ低彩度の前記有彩色入力値を、前記代表入力値として設定することを特徴とする請求項2に記載の画像色変換装置。
  10. 前記色差信号処理情報生成部は、肌色に対応する前記有彩色入力値と、植物の緑色に対応する前記有彩色入力値と、空の青色に対応する前記有彩色入力値と、の内の少なくとも1つを、前記代表入力値として設定することを特徴とする請求項2に記載の画像色変換装置。
  11. 3次元LUTは、カラーの画像信号を構成する3成分を入力値として参照することにより、色変換後の3成分の出力値を取得するための3次元ルックアップテーブルであり、
    コンピュータに、
    無彩色入力値と、前記無彩色入力値に基づき前記3次元LUTを参照して取得される前記出力値と、に基づいてガンマ補正処理情報を生成するガンマ補正処理情報生成ステップと、
    有彩色入力値である代表入力値に基づき前記3次元LUTを参照して代表出力値を取得し、前記代表入力値に、前記ガンマ補正処理情報に基づくガンマ補正処理と、色差信号処理情報に基づく色差信号処理と、を行ったときに前記代表出力値が得られるように、前記色差信号処理情報を設定する色差信号処理情報生成ステップと、
    前記画像信号に、前記ガンマ補正処理情報に基づくガンマ補正処理と、前記色差信号処理情報に基づく色差信号処理と、を行う色変換処理ステップと、
    を実行させるための画像色変換プログラム。
  12. 3次元LUTは、カラーの画像信号を構成する3成分を入力値として参照することにより、色変換後の3成分の出力値を取得するための3次元ルックアップテーブルであり、
    無彩色入力値と、前記無彩色入力値に基づき前記3次元LUTを参照して取得される前記出力値と、に基づいてガンマ補正処理情報を生成するガンマ補正処理情報生成ステップと、
    有彩色入力値である代表入力値に基づき前記3次元LUTを参照して代表出力値を取得し、前記代表入力値に、前記ガンマ補正処理情報に基づくガンマ補正処理と、色差信号処理情報に基づく色差信号処理と、を行ったときに前記代表出力値が得られるように、前記色差信号処理情報を設定する色差信号処理情報生成ステップと、
    前記画像信号に、前記ガンマ補正処理情報に基づくガンマ補正処理と、前記色差信号処理情報に基づく色差信号処理と、を行う色変換処理ステップと、
    を有することを特徴とする画像色変換方法。
JP2017242986A 2017-12-19 2017-12-19 画像色変換装置、画像色変換プログラム、画像色変換方法 Active JP6974156B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017242986A JP6974156B2 (ja) 2017-12-19 2017-12-19 画像色変換装置、画像色変換プログラム、画像色変換方法
US16/177,389 US10796461B2 (en) 2017-12-19 2018-10-31 Image color conversion apparatus, non-transitory computer-readable medium storing computer program, and image color conversion method
CN201811548486.7A CN110035199A (zh) 2017-12-19 2018-12-18 图像颜色转换装置、图像颜色转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017242986A JP6974156B2 (ja) 2017-12-19 2017-12-19 画像色変換装置、画像色変換プログラム、画像色変換方法

Publications (2)

Publication Number Publication Date
JP2019110467A JP2019110467A (ja) 2019-07-04
JP6974156B2 true JP6974156B2 (ja) 2021-12-01

Family

ID=66816295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017242986A Active JP6974156B2 (ja) 2017-12-19 2017-12-19 画像色変換装置、画像色変換プログラム、画像色変換方法

Country Status (3)

Country Link
US (1) US10796461B2 (ja)
JP (1) JP6974156B2 (ja)
CN (1) CN110035199A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6974156B2 (ja) * 2017-12-19 2021-12-01 オリンパス株式会社 画像色変換装置、画像色変換プログラム、画像色変換方法
JP2021144574A (ja) * 2020-03-13 2021-09-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
CN113489860B (zh) * 2021-09-03 2021-11-23 北京美摄网络科技有限公司 一种图像校色方法、装置、电子设备与机器可读介质
CN114677983B (zh) * 2022-03-30 2023-04-28 Oppo广东移动通信有限公司 显示校准方法及相关装置
CN115802173B (zh) * 2023-02-06 2023-04-25 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4999702A (en) * 1989-04-07 1991-03-12 Tektronix, Inc. Method and apparatus for processing component signals to preserve high frequency intensity information
JP2006121530A (ja) 2004-10-22 2006-05-11 Sharp Corp 色変換装置、画像形成装置、色変換方法、及びコンピュータプログラム
JP4469324B2 (ja) * 2005-11-01 2010-05-26 イーストマン コダック カンパニー 色収差抑圧回路及び色収差抑圧プログラム
JP5268695B2 (ja) * 2009-02-13 2013-08-21 キヤノン株式会社 画像処理方法および画像処理装置
JP2012049627A (ja) * 2010-08-24 2012-03-08 Sony Corp 信号処理装置、信号処理方法およびプログラム
JP6780442B2 (ja) * 2016-10-27 2020-11-04 富士ゼロックス株式会社 色処理装置、色処理方法、色処理システムおよびプログラム
WO2018110051A1 (ja) * 2016-12-14 2018-06-21 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6974156B2 (ja) * 2017-12-19 2021-12-01 オリンパス株式会社 画像色変換装置、画像色変換プログラム、画像色変換方法

Also Published As

Publication number Publication date
JP2019110467A (ja) 2019-07-04
CN110035199A (zh) 2019-07-19
US10796461B2 (en) 2020-10-06
US20190188883A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6974156B2 (ja) 画像色変換装置、画像色変換プログラム、画像色変換方法
JP4375781B2 (ja) 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
KR100843089B1 (ko) 영상의 시인성을 향상시키는 장치 및 방법
JP4533287B2 (ja) 色処理方法およびその装置
JP2006203841A (ja) 画像処理装置、カメラ装置、画像出力装置、画像処理方法、色補正処理プログラムおよび可読記録媒体
JP2006196992A (ja) 履歴付加装置、電子カメラ、および画像処理プログラム
JP2005354372A (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム
US20020085750A1 (en) Image processing device
JP5552795B2 (ja) 撮像装置、画像処理装置およびプログラム
JP5950756B2 (ja) 画像処理装置および画像処理方法
KR100595251B1 (ko) 디스플레이 장치의 색재현 장치 및 방법
JP2005117524A (ja) 画像処理システム
JP5523078B2 (ja) 画像処理装置および画像処理方法
JP4007964B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6784643B2 (ja) 映像信号変換装置およびそのプログラム、ならびに、映像表示装置
JP4767525B2 (ja) 撮像システム及び撮像処理プログラム
JP3951993B2 (ja) 撮像装置及びこの撮像装置に用いられるカラーデータ計測方法
JP6318497B2 (ja) 画像処理装置、撮像装置およびプログラム
JP2010124114A (ja) デジタルカメラおよび画像データ処理プログラム
JP4784097B2 (ja) 信号処理方法、信号処理装置、信号処理手順を格納した記憶媒体
JP2005130281A (ja) 画像処理システム、画像処理方法及びプログラム
JP2000151989A5 (ja)
JP5884591B2 (ja) 画像処理装置、カメラおよび画像処理プログラム
JP2018125884A (ja) 画像処理装置、撮像装置およびプログラム
JP2006203430A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201218

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211104

R151 Written notification of patent or utility model registration

Ref document number: 6974156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151