JP7266179B2

JP7266179B2 - 画像処理装置及び撮像装置

Info

Publication number: JP7266179B2
Application number: JP2019031847A
Authority: JP
Inventors: 源輝佐藤; 岳史浜崎; 勝次國末
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-02-28
Filing date: 2019-02-25
Publication date: 2023-04-28
Anticipated expiration: 2039-02-25
Also published as: US10819882B2; JP2019154029A; US20190268504A1

Description

本開示は、画像の各画素の色を変換し、所望の色再現性を実現する画像処理装置に関する。また、本開示はそのような画像処理装置を備えた撮像装置に関する。

特許文献１は、画像の入力信号の彩度について、複数の予め定められた彩度にそれぞれ対応した複数の変換行列を用いて当該画像の入力信号を均等色空間の形式の複数の信号に変換する色変換手段と、前記色変換後の前記複数の信号のいずれかの彩度を算出する彩度算出手段と、前記彩度算出手段が算出した前記彩度に基づいて混合比を決定する混合比決定手段と、前記混合比決定手段が決定した前記混合比で前記色変換手段が色変換した前記複数の信号を混合する信号混合手段とを有する画像処理装置を開示する。この画像処理装置によれば、無彩色の画像に彩色をつけること、及び有彩色の画像の色変換精度が低下することを抑制して色変換処理を実行することが可能となる。

特開２０１２－１１９９６８号公報

本開示は、所望の色再現性を実現する画像処理装置及び撮像装置を提供する。

本開示の第１の態様の画像処理装置は、画像データに対して第１色変換処理を行う第１色変換処理部と、画像データに対して第２色変換処理を行う第２色変換処理部と、前記第１色変換処理部の出力と前記第２色変換処理部の出力との混合比率を示す係数を算出する係数算出部と、第１色変換処理部の出力と、第２色変換処理部の出力とを係数が示す比率に基づき混合するブレンド処理部と、を備える。係数算出部は、第１色変換処理部により処理された画像データにおいて、各画素が示す色のｘｙ色度図上の位置を算出し、算出した位置から色域の境界までの距離に基づいて係数を決定する。

本開示の第２の態様の撮像装置は、ＲＧＢ各色の成分を受光し、画像データを生成する撮像素子と、画像データを受けて色変換処理を行う上記の画像処理装置と、を備える。

本開示の画像処理装置によれば、画素の色のｘｙ色度図上の位置から色域の境界までの距離に基づいて適切な色変換処理を行う。このため、色変換処理を適宜設定することで、所望の色再現性を実現できる。

本開示に係るデジタルカメラの構成を示す図画像処理部の構成を示す図ｘｙ色度図を示す図単板式カメラと三板式カメラそれぞれで撮像された画像における色をｘｙ色度図にプロットした図色変換処理による色域の境界（辺ＢＲ、ＲＧ、ＧＢ）に沿った色の平行移動を説明した図ｘｙ色度図の色域における第１領域、第２領域及びブレンド領域を説明した図色域（三角形領域）の各頂点を中心とした回転を説明した図色域のＢ点を中心とした回転を説明した図ブレンドのための係数αの決定方法を説明した図１２軸色補正処理（第２色変換処理）を説明した図色域における１２軸色補正のための領域の分割を説明した図（Ａ）１２軸色補正における彩度の補正を説明した図、（Ｂ）１２軸色補正における色相の補正を説明した図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらによって特許請求の範囲に記載の主題を限定することは意図されていない。

以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。

（実施の形態１）
［１．構成］
実施の形態１に係るデジタルカメラ（撮像装置の一例）の電気的構成について図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像を撮像素子１４０で撮像する撮像装置である。撮像素子１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。本実施の形態のデジタルカメラ１００は単板式カメラであり、撮像素子１４０を１つのみ備える。以下、デジタルカメラ１００の構成を詳細に説明する。

光学系１１０は、フォーカスレンズ１１１及びズームレンズ１１２を含む。ズームレンズ１１２を光軸に沿って移動させることにより、被写体像の拡大又は縮小をすることができる。また、フォーカスレンズ１１１を光軸に沿って移動させることにより、被写体像のピント（合焦状態）を調整することができる。また、光学系１１０は、デジタルカメラ１００のブレによる画像のブレを補正するための手振れ補正レンズ１１３を含む。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動させる。レンズ駆動部１２０は、例えばズームレンズ１１２を駆動するズームモータや、フォーカスレンズ１１１を駆動するフォーカスモータを含む。

絞り３００は、ユーザの設定に応じて又は自動で開口部の大きさを調整し、開口部を透過する光の量を調整する。

シャッタ１３０は、撮像素子１４０に入射させる光を遮光するための手段である。シャッタ１３０は、光学系１１０及び絞り３００とともに、被写体像を示す光学情報を制御する。光学系１１０及び絞り３００はレンズ鏡筒（図示せず）内に収納されている。

撮像素子１４０は、光学系１１０によって集光された光学的信号を電気信号に変換してアナログ画像信号を生成する画像センサである。撮像素子１４０は例えばＣＣＤ又はＣＭＯＳイメージセンサである。

ＡＤＣ（Ａ／Ｄコンバータ：アナログ－デジタル変換器）１５０は、撮像素子１４０で生成されたアナログ画像信号をデジタル信号すなわちデジタル画像データに変換する。

画像処理部１６０（画像処理装置の一例）は、撮像素子１４０で生成されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、撮像素子１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正、色変換処理などの各種処理を行う。また、画像処理部１６０は、必要に応じて、撮像素子１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮してもよい。画像処理部１６０は例えば半導体素子（電子回路）で実現される。画像処理部１６０もハードウェア（電子回路）のみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。

コントローラ１８０は、デジタルカメラ１００の全体を制御する制御手段である。コントローラ１８０は、ハードウェア（電子回路）のみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。画像処理部１６０及びコントローラ１８０は、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、例えば、ＡＳＩＣ、ＦＰＧＡなどで実現できる。画像処理部１６０とコントローラ１８０を一体化して１つの素子として形成してもよい。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００をデジタルカメラ１００に装着するための手段である。カードスロット１９０は、機械的及び電気的にメモリカード２００とデジタルカメラ１００を接続可能である。

メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。

内蔵メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内蔵メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムやデータ等を記憶している。

操作部材２１０は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、ユーザからの操作を受け付けるボタン、レバー、ダイヤル、タッチパネル、スイッチ等を含む。

表示モニタ２２０は、撮像素子１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ２２０は、液晶表示デバイスや有機ＥＬ表示デバイスで構成される。

ジャイロセンサ２５０は、デジタルカメラ１００のブレ（動き）を検出するセンサである。ジャイロセンサ２５０からの出力信号に基づき手振れ補正動作や静止判定が行われる。

図２は、画像処理部１６０の構成の中の色変換処理に関する構成を説明した図である。画像処理部１６０は、色変換処理に関する構成として、補間処理部１６１と、第１色変換処理部１６２と、第２色変換処理部１６３と、ブレンド係数算出部１６４と、ブレンド処理部１６５とを備える。

補間処理部１６１は、各画素がＲＧＢの中の１つの色の情報しか持たない画像データに対して、各画素において、情報がない色の情報を周辺の画素の情報から補間して求めることで、各画素がＲＧＢ各色の情報を持つ画像データを生成する。

第１色変換処理部１６２は、広スペクトル光の領域の色に対して第１色変換処理を行う。第２色変換処理部１６３は、狭スペクトル光の領域の色に対して第１色変換処理とは異なる第２色変換処理を行う。

ブレンド係数算出部１６４は、画像の各画素に対して、各画素の色のｘｙ色度図上の位置を算出する。ブレンド処理部１６５は、ブレンド係数算出部１６４から入力した位置を参照し、第１及び第２色変換処理部１６２、１６３それぞれからの出力をブレンドする。

［２．動作］
以上のような構成を有するデジタルカメラ１００における色変換処理の動作を説明する。

デジタルカメラ１００における色変換処理の動作を説明する前に、本実施の形態において解決しようとする課題について説明する。

図３はｘｙ色度図を示した図である。図３において、破線で示す三角形の領域Ｄ０は、３原色（Ｒ、Ｇ、Ｂ）各色を頂点として形成される色域（ガマット）であり、例えばＢＴ．７０９規格にしたがい規定される。このようなｘｙ色度図では、その色域の種類により定義される白色点に相当する中心Ｗから外側に向かうほど色の彩度が高くなる。また色域Ｄ０内において、その中心部の領域の色は比較的広いスペクトルの色であり、境界（すなわち、辺ＢＲ、ＲＧ、ＧＢ）近傍の領域の色は比較的狭いスペクトルの色となる。

一般にデジタルカメラにおいて、ＲＧＢそれぞれの色の光毎に撮像素子を設けたタイプの三板式カメラと、１つの撮像素子でＲＧＢ全ての光を受光する単板式カメラとがある。三板式カメラでは、撮像素子の各画素において光学情報から直接的にＲＧＢ全ての情報が得られる。一方、単板式カメラでは、光学情報から各画素においては、光学情報から直接的には、ＲＧＢのうちのいずれか１つの色の情報しか得られない。各画素で得られない他の２色の情報は、周囲の画素からの情報を補間して求められる。

このため、従来、単板式カメラで生成された画像データに対して、三板式カメラで生成された画像データの色特性に近づけるよう色変換処理が実行されることがある。例えば、以下の行列式を用いたリニアマトリクス処理による色変換処理が実行される。ここで、（Rin, Gin, Bin）は単板式カメラで生成された画像データの各画素の値であり、（Rout, Gout, Bout）は色変換処理後の値である。

図４Ａは、単板式カメラと三板式カメラそれぞれで撮像された画像における色をｘｙ色度図にプロットした図である。図４Ａにおいて、色域Ｄ０において、内側の領域Ｄ００はマクベスチャートを撮影して得られた色の領域であり、その外側の領域Ｄ０１はＬＥＤ光を撮影して得られた色の領域である。領域Ｄ００は、比較的広いスペクトルを持つ光の色（例えば、印刷物や塗装物を撮影した時の色）の領域である。領域Ｄ０１は、ＬＥＤ光のような比較的狭いスペクトルを持つ光の色の領域である。

図４Ａに示すように、ｘｙ色度図の中心に近い領域D００においては、単板式カメラで撮像された画像の色（三角形のプロット）と三板式カメラで撮像された画像の色（四角形のプロット）とはほぼ同じ位置に配置されている。すなわち、単板式カメラと三板式カメラの間で画像の色の差は小さい。一方、色域Ｄ０の端に近い領域Ｄ０１では、単板式カメラの画像の色と三板式カメラの画像の色のプロット位置には大きなずれがある。つまり、単板式カメラにより撮像された画像と、三板式カメラにより撮像された画像は異なる色特性を有し、特に、色域Ｄ０の端（境界付近）の領域において差が大きくなる。

このように、単純にリニアマトリクス処理による色変換処理では適切な色特性を得ることができなかった。

この問題を解決するため、本願の発明者らは、特に、色域Ｄ０の周縁部に位置する狭スペクトル光の色について、三板式カメラの画像と単板式カメラの画像とで色特性の違いが顕著になることに着目した。すなわち、色再現処理において、処理対象とする色が、広スペクトル光の色か狭スペクトル光の色かを判別し、それぞれの色に応じた異なる色再現処理を実施することで、色の領域に応じた好適な再現処理が実現できると考えた。特に、図４Ｂに示すように、狭スペクトル光の色（色域Ｄ０の周縁領域Ｄ０１の色）に対して、単板式カメラにより撮像された色を三板式カメラにより撮像された色に近づけるように、色域Ｄ０の境界（辺ＢＲ、ＲＧ、ＧＢ）に沿って色相を略平行移動させるような色変換処理を行うことで、狭スペクトル光の色に対して良好な色再現処理が実現できることを考案した。

以下、本実施の形態では、単板式カメラにより撮像された画像の色特性を、三板式カメラにより撮像された画像の色特性に変換する装置を開示する。

［２－１．色再現処理］
デジタルカメラ１００における画像処理部１６０による色再現処理について説明する。

画像処理部１６０は、図５に示すように、ｘｙ色度図の色域Ｄ０を３つの領域、すなわち第１領域Ｄ１、第２領域Ｄ２、ブレンド領域ＤＢに分けて管理している。第１領域Ｄ１は色域Ｄ０において最も内側に設けられた領域である。第２領域Ｄ２は色域Ｄ０において最も外側に設けられた領域である。ブレンド領域ＤＢは、第１領域Ｄ１と第２領域Ｄ２の間に設定された領域である。

第１変換処理後の色が第１領域Ｄ１内にある場合、その色に対しては第１色変換処理がなされる。第１変換処理後の色が第２領域Ｄ２内にある場合、その色に対しては第２色変換処理がなされる。第１変換処理後の色がブレンド領域ＤＢ内にある場合、その色に対しては第１色変換処理と第２色変換処理の双方がなされる。第１領域Ｄ１及びブレンド領域ＤＢの大きさ（すなわち境界）はそれぞれ所望の画像の色特性に応じて適宜設定される。

画像処理部１６０は、入力した画像データに対して第１色変換処理及び第２色変換処理を行う。そして、画像処理部１６０は、次式（２）のように、画素毎に、第１色変換処理の結果と第２色変換処理の結果とを係数α（０≦α≦１）の比率でブレンドすることで、色再現処理後の画素値を求める。

ここで、（Rc, Gc, Bc）は第１色変換処理後の画素の画素値である。（Re, Ge, Be）は第２色変換処理後の画素の画素値である。（Ro, Go, Bo）は色再現処理後の画素値である。係数αは、ブレンドの比率を決定する係数である。係数αは、ｘｙ色度図における。変換対象の色の座標からｘｙ色度図の端までの距離に応じて設定される。

以下、上記の画像処理部１６０の色再現処理をより具体的に説明する。

画像処理部１６０は撮像素子１４０で生成された画像データを入力し、入力した画像データに対して所定の画像処理を実施する。本実施の形態のデジタルカメラ１００は単板式カメラであるため、撮像素子１４０で生成された画像データの各画素はＲＧＢの中の１つの色の情報を有する。補間処理部１６１は、画像データの各画素において、情報がない色について周辺の画素の情報から補間して求める。これにより、各画素がＲ、Ｇ、Ｂ各色の情報を有する画像データが生成される。画像処理部１６０は、各画素がＲ、Ｇ、Ｂ各色の情報を有する画像データに対して、色再現処理を実行する。

画像処理部１６０において、第１色変換処理部１６２は、画像データの各画素に対して第１の色変換処理を実施する。ここで、第１の色変換処理は、広スペクトル光の色に対する色再現処理であり、例えば、リニアマトリクス処理である。広スペクトル光の色とは、ｘｙ色度図の中心に近い領域の色であり、例えば、印刷物や塗装物を撮影した時の色である。または、第１の色変換処理はルックアップテーブルを用いた色変換処理でも良い。

第２色変換処理部１６３は、画像データの各画素に対して第２色変換処理を実施する。ここで、第２色変換処理は、狭スペクトル光の色に対する色再現処理であり、例えば、６軸色補正処理又は１２軸色補正処理である。狭スペクトル光の色とは、ｘｙ色度図の周縁に近い領域の色であり、例えば、レーザー光やＬＥＤ光である。１２軸色補正処理の詳細は後述する。または、第２の色変換処理はルックアップテーブルを用いた色変換処理でも良い。

ブレンド係数算出部１６４は、第１色変換処理部１６２の出力に基づき、画素毎に、ブレンド比率を示す係数αを決定する。具体的には、まず、ブレンド係数算出部１６４は、第１色変換処理後の画素の色についてｘｙ色度図上の座標を求める。例えば、図５に示すように、画素についてｘｙ色度図上の座標Ｐを求める。

そして、ブレンド係数算出部１６４は、画素の色の座標Ｐから、ｘｙ色度図内の色域Ｄ０の各辺ＢＲ、ＲＧ、ＧＢまでの距離を求める。

各辺ＢＲ、ＲＧ、ＧＢまでの距離を求めるために、ブレンド係数算出部１６４は、ｘｙ色度図を色域Ｄ０の各頂点Ｒ、Ｇ、Ｂを中心として回転させた座標系を用いる。すなわち、ある画素の色の座標Ｐから色域Ｄ０の辺ＢＲまでの距離を求める際には、図６（Ａ）に示すように、頂点Ｂを中心として角度θbrだけ回転させた座標系を用いる。角度θbrは、回転後の辺ＢＲがｙ軸と重なるように設定される。

頂点Ｂを中心として角度θだけ回転させる場合の座標の変換式は次式で表される。ここで、座標（ｘ，ｙ）は回転前の色の座標であり、座標（ｘ’，ｙ’）は回転後の色の座標である。座標（ｘｂ，ｙｂ）は頂点Ｂの座標である。

同様に、画素の色の座標Ｐから色域Ｄ０の辺ＲＧまでの距離を求める際には、図６（Ｂ）に示すように、頂点Ｒを中心として角度θrgだけ回転させた座標系を用いる。角度θrgは、回転後の辺ＲＧがｘ軸と重なるように設定される。同様に、画素の色の座標Ｐから色域Ｄ０の辺GＢまでの距離を求める際には、図６（Ｃ）に示すように、頂点Ｇを中心として角度θgbだけ回転させた座標系を用いる。角度θgbは、回転後の辺ＧＢがｙ軸と重なるように設定される。

ブレンド係数算出部１６４は、以上のように回転させたそれぞれの座標系において、各画素から色域Ｄ０の各辺までの距離を求める。例えば、画素色の座標Ｐiから第２領域Ｄ２の辺ＢＲまでの距離ｄiを求める場合、まず、図７（Ａ）に示す座標系を頂点Ｂを中心として角度θbrだけ回転させた座標系（図７（Ｂ）参照）上において、画素の色の座標Ｐiを求める。そして座標Ｐiから辺ＢＲまでの距離ｄiを求める。同様に、回転座標系を用いて、座標Ｐiから辺ＲＧまでの距離及び画素Ｐiから辺ＧＢまでの距離を求める。

以上のように各辺までの距離を求めた後、ブレンド係数算出部１６４は、求めた３つの距離の中の最小値を用いて係数αを決定する。すなわち、３つの距離のうち最小のものをその色についての色域Ｄ０の境界までの距離ｄとする。そして、この距離ｄに基づき、処理対象の色が第１領域Ｄ１、第２領域Ｄ２、ブレンド領域ＤＢのいずれの領域にあるのかを判断し、その判断結果に基づき係数αを決定する。

図８は、係数αの決定方法を説明するための図である。図８（Ａ）は、領域判定のための閾値を説明した図である。色が第２領域Ｄ２内にあるか否かを判定するための第１閾値は、第２領域Ｄ２の一辺（例えば、辺ＢＲ）から、それに対向するブレンド領域ＤＢの一辺までの距離（ａ１）に設定される。また、色が第１領域Ｄ１内にあるか否かを判定するための第２閾値は、第２領域Ｄ２の一辺から、それに対向する第１領域Ｄ１の一辺までの距離（ａ２）に設定される。

図８（Ｂ）は距離ｄと係数αの関係を示した図である。図８（Ｂ）に示すように、距離ｄが第１閾値（ａ１）未満であるとき、すなわち、処理対象の色が第２領域Ｄ２内にあるとき、係数αはゼロに設定される。距離ｄが第１閾値（ａ１）以上かつ第２閾値（ａ２）未満であるとき、すなわち、処理対象の色がブレンド領域ＤＢ内にあるとき、係数αは０と１の間の距離ｄに比例した値に設定される。距離ｄが第２閾値（ａ２）以上であるとき、すなわち、処理対象の色が第１領域Ｄ１内にあるとき、係数αは１に設定される。なお、本例では、距離ｄが第１閾値（ａ１）以上かつ第２閾値（ａ２）未満であるときの係数αの関数は一次関数としたが、これに限定されない。このときの係数αの関数は、距離ｄが第１閾値（ａ１）未満である時の関数及び距離ｄが第２閾値（ａ２）以上であるときの関数と連続的に接続し、かつ距離に応じて単調に増加する関数であればよい。

すなわち、第１変換処理後の画素の色が第２領域Ｄ２にあるときは、係数αを０に設定する。これにより、式（２）により、変換後の値は、第１色変換処理後の値は反映されず、第２色変換処理後の値と等しくなる。すなわち、この場合、第２色変換処理のみによる色再現処理が実施される。

また、第１変換処理後の画素の色がブレンド領域ＤＢ内にあるときは、係数αを０と１の間の値に設定している。このとき、式（２）により、変換後の値は、第１色変換処理後の値と第２色変換処理後の値とが係数αに応じた比率でブレンドされた値となる。すなわち、第１色変換処理と第２色変換処理が混合した色再現処理が実施される。

また、第１変換処理後の画素の色が第１領域Ｄ１の内側にあるときは、係数αを１に設定している。このとき、式（２）により、変換後の値は、第２色変換処理後の値は反映されず、第１色変換処理後の値と等しくなる。すなわち、第１色変換処理のみによる色再現処理が実施される。

すなわち、係数αが大きいときは、第１色変換処理部１６２の出力の寄与度が大きくなり、係数αが小さいときは、第２色変換処理部１６３の出力の寄与度が大きくなる。このように変換対象の色が狭スペクトル光の色か広スペクトル光の色かに応じてそれらに適した色変換処理が可能となる。

ブレンド処理部１６５は、画素毎に、ブレンド係数算出部１６４で決定された係数αを用いて式（２）に基づき、第１色変換処理部１６２の出力と第２色変換処理部１６３の出力とをブレンドし、色変換後の値を算出する。

以上のように、本実施の形態のデジタルカメラ１００において、画像処理部１６０は、第１色変換処理された色のｘｙ色度図上の座標に基づき、その色が広スペクトル光の色か狭スペクトル光の色かを判定し、その判定結果に基づき、その画素に対する色変換処理を異ならせる。これにより、広スペクトル光の色及び狭スペクトル光の色それぞれに対して、それぞれに適切な色再現処理を適用することができる。結果として、広スペクトル光の色及び狭スペクトル光の色の双方に対して良好な色再現処理を実現することができる。

ここで、第２色変換処理の一例である１２軸色補正について説明する。１２軸色補正では、ＲＧＢの３成分のうちの１成分（例えば、Ｇ成分）が小さいときに、残りの２成分（例えば、Ｒ、Ｂ成分）の比率を変化させることで、色域Ｄ０の外周（各辺）に沿って色をシフトさせる補正を行う。

図９は、１２軸色補正において規定される色の軸を説明した図である。１２軸色補正では、図９に示すように色空間を３０度ずつ均等に分割して１２本の補正軸を用意する。そして、各軸上にある色の彩度(軸方向)と色相(軸と垂直な方向)をそれぞれ独立に調整する。図９において、G、B、Rは３原色であり、Mg、Ye、Cyはそれぞれ対応する補色であり、B-MG、Mg-R、R-Ye、Ye-G、G-Cy、Cy-Bはこれら３原色と３補色のちょうど中間に位置する色である。これらの補正軸上以外に位置する色に対しては、これを挟む２本の補正軸方向の成分比に応じた重み付けを行う形でそれぞれの軸からの補正を行う。図１０は、色域Ｄ０における１２軸色補正のための領域の分割を説明した図である。

図１１を参照して、１２軸色補正の具体例を説明する。以下では、Mg軸近傍において（Mg-R）軸と（B-Mg）軸に挟まれた領域に含まれる色を補正する場合を例として説明する。１２軸色補正では、彩度と色相がそれぞれ補正される。補正対象であるMg軸近傍の色は、その位置に応じて異なる補正がなされる。以下では、補正前の色の値を（R_In, G_In, B_In）とし、補正後の値を（R_Out, G_Out, B_Out）として説明する。

a）彩度の補正
図１１（Ａ）を参照し、彩度の補正を説明する。B-Mg軸上の補正係数をA1、Mg軸上の補正係数をA2、Mg-R軸上の補正係数をA3とする。

補正対象の色がMg軸からB-Mg軸側までの領域に含まれる色である場合、Mg軸の補正(A2)に加えて、B-Mg軸の補正(A1)の双方の影響を受ける。すなわち、図１１（Ａ）に示すように、Mg軸の補正ベクトル(A2)とB-Mg軸の補正ベクトル(A1)の合成された補正ベクトルの方向に補正対象の色の彩度がシフトされる。

補正対象の色がMg軸上の色である場合、Mg軸の補正(A2)がなされる。

補正対象の色がMg軸からMg-R軸までの領域に含まれる色である場合、Mg軸の補正(A2)に加えて、Mg-R軸の補正(A3)の双方の影響を受ける。すなわち、図１１（Ａ）に示すように、Mg軸の補正ベクトル(A2)とMg-R軸の補正ベクトル(A3)の合成された補正ベクトルの方向に補正対象の色の彩度がシフトされる。

例えば、Mg軸上の色（R_In, G_In, B_In）に対する彩度の補正後の値（R_Out, G_Out, B_Out）は下記の式で得られる。
G_Out = G_In
B_Out = B_In + (F・A2)
R_Out = R_In + (F・A2)
ここで、F = 2B - R - Gである。Mg軸上では彩度がA2倍で補正される。

b）色相の補正
図１１（Ｂ）を参照し、色相の補正を説明する。B-Mg軸上の色相の補正係数をP1、Mg軸上の色相の補正係数をP2、Mg-R軸上の補正係数をP3とする。

補正対象の色がMg軸からB-Mg軸側までの領域に含まれる色である場合、Mg軸の補正(P2)に加えて、B-Mg軸の補正(P1)の双方の影響を受ける。すなわち、図１１（Ｂ）に示すように、Mg軸の補正ベクトル(P2)とB-Mg軸の補正ベクトル(P1)の合成された補正ベクトルの方向に補正対象の色の色相がシフトされる。

補正対象の色がMg軸上の色である場合、Mg軸の補正(P2)がなされる。

補正対象の色がMg軸からMg-R軸までの領域に含まれる色である場合、Mg軸の補正(P2)に加えて、Mg-R軸の補正(P3)の双方の影響を受ける。すなわち、図１１（Ｂ）に示すように、Mg軸の補正ベクトル(P2)とMg-R軸の補正ベクトル(P3)の合成された補正ベクトルの方向に補正対象の色の色相がシフトされる。

例えば、Mg軸上の色（R_In, G_In, B_In）に対する色相の補正後の値（R_Out, G_Out, B_Out）は下記式で得られる。
G_Out = G_In
B_Out = B_In + (F・P2)
R_Out = R_In - (F・P2)
ここで、Fは彩度の補正式と同値である。補正係数P2が正の時、色相はMg-R軸からB-Mg軸方向に移動する。補正係数P2が負の時はB-Mg軸からMg-R軸の方向に移動する。そして、彩度の補正と同様に、隣接する軸の補正も同時に適用する。

以上ａ）、ｂ）をまとめると、下記の関係が成り立つ。
G_Out = G_In
B_Out = B_In + (F・A2) + (F・P2)
R_Out = R_In + (F・A2) - (F・P2)

以上のように、１２軸色補正では、色相方向すなわち、色域の外周に沿って色をシフトさせることができる。また、上記の例では、ＲＧＢの３成分のうちの１成分が小さい場合であり、このとき、残りの２成分の比率を変化させることにより色域Ｄ０の外周（各辺）に沿って色をシフトさせる補正を行っている。

［３．効果、等］
以上のように、本実施形態のデジタルカメラ１００（画像処理装置を適用した電子機器の一例）は、画像データに対して第１色変換処理を行う第１色変換処理部１６２と、画像データに対して第２色変換処理を行う第２色変換処理部１６３と、第１色変換処理部１６２の出力と、第２色変換処理部１６３の出力との混合比率を示す係数αを算出するブレンド係数算出部１６４と、第１色変換処理部１６２の出力と第２色変換処理部１６３の出力とを係数αが示す比率に基づき混合するブレンド処理部１６５と、を備える。ブレンド係数算出部１６４は、第１色変換処理部１６２により処理された画像データにおいて、各画素が示す色のｘｙ色度図上の位置を算出し、算出した位置から色域Ｄ０の境界までの距離ｄに基づいて係数αを決定する。

以上の構成により、色の位置から色域Ｄ０の境界までの距離ｄにより、その色が色域Ｄ０の境界（３辺ＢＲ、ＲＧ、ＧＢ）の近傍の色であるか否かを判定できる。すなわち、距離ｄに基づきその色が広スペクトル光の色か狭スペクトル光の色かを判断でき、その判断結果に基づき色変換処理を異ならせるよう係数αを決定する。これにより、広スペクトル光の色及び狭スペクトル光の色のそれぞれに対して好適な色再現が実現できる。

ブレンド係数算出部１６４は、距離ｄの値が小さくなるほど、第２色変換処理後の出力が混合される割合が高くなるように係数αを決定してもよい。

例えば、図８（Ｂ）に示すように、ブレンド係数算出部１６４は、距離ｄの値が第１閾値（ａ１）より小さい場合、第２色変換処理後の出力の割合が１００％となり、距離の値が第１閾値（ａ１）より大きい第２閾値（ａ２）以上の場合、第１色変換処理後の出力の割合が１００％となり、距離ｄの値が第１閾値（ａ１）以上でかつ第２閾値（ａ２）より小さい場合、第１色変換処理後の出力と第２色変換処理後の出力とが距離に応じて混合されるように係数αを決定してもよい。

画像データの色情報は３成分（例えば、ＲＧＢ）からなり、第２色変換処理部１６３は、画像データの３成分の内の最も小さい成分の値が所定値よりも小さいとき、残り２成分の比率を変化させることで、ｘｙ色度図における色域の１辺に略平行に色相を移動させてもよい。例えば、３成分の値を８ビット階調（０～２５５）で表現する場合、所定値は例えば３２、１６または１０に設定される。

第１色変換処理は、比較的広いスペクトルを有する光の色の色再現に適した処理であり、第２色変換処理は、比較的狭いスペクトルを有する光の色の色再現に適した処理に設定されてもよい。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施の形態では、単板式カメラで撮像された画像データを三板式カメラで撮像された画像データの色特性に近づけるように第１及び第２色変換処理を設定した。第１色変換処理及び第２色変換処理は上記の処理に限定されるものではない。第１及び第２色変換処理はそれぞれ、所望の色再現性に応じて適宜設定することができる。

上記の実施の形態では、第２色変換処理の一例として１２軸色補正について説明した。第２色変換処理はこれに限定されない。第２色変換処理として、３軸色補正、６軸色補正、１５軸色補正、２４軸色補正を用いても良く、ｎ軸色補正（ｎは３以上の整数）を用いることができる。

上記の実施の形態では、画像処理装置を備えた電子機器の一例としてデジタルカメラを用いて説明したが、画像処理装置が適用される電子機器はこれに限定されない。すなわち、本開示の画像処理装置の思想は、画像データを処理する様々な電子機器に適用することができる。例えば、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の撮像装置や、ディスプレイやテレビのような画像表示装置、スキャナのような読み取り装置に、パーソナルコンピュータのような情報処理装置に対しても適用することができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、画像データの色変換処理を行う画像処理装置に適用でき、さらに、画像データを処理する種々の電子機器（例えば、撮像装置、画像表示装置）に広く適用することができる。

１００デジタルカメラ
１１０光学系
１１１フォーカスレンズ
１１２ズームレンズ
１１３手振れ補正レンズ
１２０レンズ駆動部
１３０シャッタ
１４０撮像素子
１５０Ａ／Ｄコンバータ
１６０画像処理部
１６１補間処理部
１６２第１色変換処理部
１６３第２色変換処理部
１６４ブレンド係数算出部
１６５ブレンド処理部
１７０バッファ
１８０コントローラ
１９０カードスロット
２００メモリカード
２１０操作部材
２２０表示モニタ
２４０内蔵メモリ
３００絞り
Ｄ０色域
Ｄ１第１領域
Ｄ２第２領域
ＤＢブレンド領域

Claims

画像データに対して第１色変換処理を行う第１色変換処理部と、
前記画像データに対して第２色変換処理を行う第２色変換処理部と、
前記第１色変換処理部の出力と前記第２色変換処理部の出力との混合比率を示す係数を算出する係数算出部と、
前記第１色変換処理部の出力と、前記第２色変換処理部の出力とを前記係数が示す比率に基づき混合するブレンド処理部と、
を備え、
前記係数算出部は、前記第１色変換処理部により処理された画像データにおいて、各画素が示す色のｘｙ色度図上の位置を算出し、前記算出した位置から色域の境界までの距離に基づいて前記係数を決定する、
画像処理装置。
前記係数算出部は、前記距離の値が小さくなるほど、前記第２色変換処理後の出力が混合される割合が高くなるように前記係数を決定する、請求項１記載の画像処理装置。
前記係数算出部は、前記距離の値が第１閾値より小さい場合、前記第２色変換処理後の出力の割合が１００％となり、前記距離の値が第１閾値より大きい第２閾値以上の場合、前記第１色変換処理後の出力の割合が１００％となり、前記距離の値が第１閾値以上でかつ第２閾値より小さい場合、前記第１色変換処理後の出力と前記第２色変換処理後の出力とが前記距離に応じて混合されるように、前記係数を決定する、請求項２記載の画像処理装置。
前記画像データの各画素がＲＧＢ各色の情報を含む、請求項１記載の画像処理装置。
ＲＧＢ各色の成分を受光し、画像データを生成する撮像素子と、
前記画像データを受けて色変換処理を行う、請求項１ないし４のいずれかに記載の画像処理装置と、
を備えた撮像装置。