JP6083678B2 - 画像処理装置 - Google Patents

Description

本開示は、画像信号に対して色補正処理を行う色補正部を備えた画像処理装置に関する。

特許文献１では、カメラなどの画像処理装置において、画像の色を補正する方法が開示されている。この方法によれば、サブサンプリングされた低周波画像に対して色変換を実行することで、少ない回路規模で、色補正前と遜色ない解像度を有する色補正した画像を提供することができる。また、画素数の多い画像の信号処理では、処理速度が間に合わないとき並列処理が行われ、２並列であれば回路は２倍、４並列であれば回路は４倍になる。これに対して、特許文献１では、４画素のうち１画素だけ色補正を行うことによって回路を１つだけで済ませる方法が開示されている。

特開２００４−０７４７９３号公報

本開示は、画素数が多い画像であっても、少ない回路規模で色補正できる画像処理装置を提供する。

本開示における画像処理装置は、画像信号に対して、隣接する複数個の画素からなる画素群を単位として色補正処理を行う色補正部を備え、色補正部は、画素群の画素位置から外れた位置に仮想的に置かれた代表点について、当該代表点の周辺画素の画像信号を基にして、所定色の画像信号を生成する代表点生成部と、画素群の中の所定色の画素の画像信号から、代表点の画像信号を減算する減算部と、代表点の画像信号に対して、色補正処理を行う代表点色補正部と、代表点色補正部による処理後の代表点の画像信号を、減算部の減算結果に加算する加算部と、を備える。

本開示における画像処理装置は、画素数が多い画像であっても、少ない回路規模で色補正を実現するのに有効である。

実施の形態１に係る色補正部の構成図 実施の形態１における画素群の一例 実施の形態１に係る画像処理装置の構成図 実施の形態１における画素群の他の例 実施の形態２に係る色補正部の構成図 実施の形態２における画素群の一例 実施の形態２に係る画像処理装置の構成図 色補正処理の対象となる画素群の他の例 実施の形態３に係る色補正部の構成図 実施の形態３における画素群の一例 実施の形態３に係る画像処理装置の構成図 （ａ）（ｂ）は代表点の画像信号の生成方法の例を示す図 実施の形態３に係る色補正部の他の構成図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

なお、説明を簡潔にするため処理の遅延合わせについては省略して説明する。また、画像信号の光の３原色の赤をＲ、緑をＧ、青をＢとして表現する。

また、本開示における色補正処理を行う目的は様々である。通常は、撮像した画像の色合いをより自然なものにするために、色補正処理が行われる。この他にも例えば、表示するモニタの特性に合わせて画像の色合いを調整するために色補正処理を行う場合もあるし、あるいは、意図的に特定の色合いに変更する場合もある。

（実施の形態１）
以下、図１〜図４を用いて、実施の形態１を説明する。実施の形態１では、画像信号を撮像する撮像素子が、Ｒ、Ｇ、Ｂについてそれぞれ、最終のサンプル位置と同じ位置の画素を有しているものとする。例えば、３板式のＣＭＯＳカメラが相当する。

［１−１．構成］
図１は本実施の形態に係る色補正部１０の構成図である。色補正部１０は、隣接する４個の画素からなる画素群を単位として色補正処理を行うものであり、Ｇ信号の処理を行うＧチャネル処理部１１と、Ｂ信号の処理を行うＢチャネル処理部１２と、Ｒ信号の処理を行うＲチャネル処理部１３と、代表点色補正部１５とを備える。Ｇチャネル処理部１１は、Ｇの画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｇ３ｉｎ、Ｇ４ｉｎに対して色補正処理を行い、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔ、Ｇ３ｏｕｔ、Ｇ４ｏｕｔとして出力する。Ｂチャネル処理部１２は、Ｂの画像信号Ｂ１ｉｎ、Ｂ２ｉｎ、Ｂ３ｉｎ、Ｂ４ｉｎに対して色補正処理を行い、Ｂの画像信号Ｂ１ｏｕｔ、Ｂ２ｏｕｔ、Ｂ３ｏｕｔ、Ｂ４ｏｕｔとして出力する。Ｒチャネル処理部１３は、Ｒの画像信号Ｒ１ｉｎ、Ｒ２ｉｎ、Ｒ３ｉｎ、Ｒ４ｉｎに対して色補正処理を行い、Ｒの画像信号Ｒ１ｏｕｔ、Ｒ２ｏｕｔ、Ｒ３ｏｕｔ、Ｒ４ｏｕｔとして出力する。

代表点色補正部１５は、画素群の代表点の画像信号に対して所定の色補正処理を行う。ここで、代表点とは、画素群において、当該画素群の画素位置から外れた位置に仮想的に置かれた点のことであり、ここでは、隣接する４個の画素からなる画素群の中央に置く。代表点色補正部１５は、Ｇチャネル処理部１１から与えられた代表点のＧの画像信号ＧＡ、Ｂチャネル処理部１２から与えられた代表点のＢの画像信号ＢＡ、および、Ｒチャネル処理部１３から与えられた代表点のＲの画像信号ＲＡの３つの信号から、ルックアップテーブルを用いて、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣを生成し、それぞれ、Ｇチャネル処理部１１、Ｂチャネル処理部１２、およびＲチャネル処理部１３に戻す。

図２は本実施形態における画素群と代表点の例を表す模式図である。図２では、２×２すなわち縦２画素、横２画素に配列された４個のＧの画素Ｇ１、Ｇ２、Ｇ３、Ｇ４によって画素群ＰＧ１が構成されており、画素群ＰＧ１の中央に代表点Ａが仮想的に置かれる。なお図２ではＧを例にとって示しているが、ＢおよびＲについても同様である。

Ｇチャネル処理部１１は、代表点生成部１と、減算器２ａ、２ｂ、２ｃ、２ｄと、加算器３ａ、３ｂ、３ｃ、３ｄとを備えている。代表点生成部１は、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｇの画像信号ＧＡを生成する。減算器２ａ、２ｂ、２ｃ、２ｄは、代表点生成部１で生成された代表点のＧの画像信号ＧＡを、色補正部１０に入力されたＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｇ３ｉｎ、Ｇ４ｉｎからそれぞれ減算する。加算器３ａ、３ｂ、３ｃ、３ｄは、代表点色補正部１５により色補正された代表点の画像信号ＧＡＣを、減算器２ａ、２ｂ、２ｃ、２ｄの出力Ｇ１Ｄ、Ｇ２Ｄ、Ｇ３Ｄ、Ｇ４Ｄに、それぞれ加算する。加算器３ａ、３ｂ、３ｃ、３ｄの出力が、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔ、Ｇ３ｏｕｔ、Ｇ４ｏｕｔとしてＧチャネル処理部１１から出力される。

なお、Ｂチャネル処理部１２およびＲチャネル処理部１３は、Ｇチャネル処理部１１と同様の内部構成を有し、図１では、Ｂチャネル処理部１２およびＲチャネル処理部１３の内部構成については図示を省略する。

図３は本実施の形態に係る画像処理装置の構成例である。図３の画像処理装置１００は、図１の色補正部１０と、撮像素子を含む撮像部１０１、信号処理部１０２、信号処理部１０３、並べ替え部１０４および信号処理部１０５とを備える。

［１−２．動作］
以上のように構成された色補正部１０と、色補正部１０を含む画像処理装置１００について、その動作を以下に説明する。ここでは、有効の画素数が水平３８４０画素、垂直２１６０画素である画像を生成する場合を例にとって説明する。この場合、画像処理装置１００は、いわゆる４Ｋカメラに相当する。

まず図３の画像処理装置１００において、撮像部１０１は、Ｒ、Ｇ、Ｂそれぞれの画素が各画素配置に配置されている撮像素子を有する。そして撮像部１０１から、Ｒ、Ｇ、Ｂそれぞれ４並列の画像信号が出力される。すなわち、Ｇ信号について画像信号Ｇ１、Ｇ２、Ｇ３、Ｇ４が出力され、Ｂ信号について画像信号Ｂ１、Ｂ２、Ｂ３、Ｂ４が出力され、Ｒ信号について画像信号Ｒ１、Ｒ２、Ｒ３、Ｒ４が出力される。画像信号を４並列で出力することによって、画素数が多い場合であっても、信号処理のクロック周波数を低くし、パイプライン処理の回路の無用な増大を防ぐことができ、その結果、電力が小さくなる。

撮像部１０１から出力された画像信号は、信号処理部１０２によって、ホワイトバランスの調整や黒レベルの調整が行われる。信号処理部１０２から出力された画像信号は、色補正部１０によって所定の色補正処理が行われる。その後、信号処理部１０３によってノイズ除去などの処理が行われ、並べ替え部１０４によってフレームメモリを利用して画像を上下左右４つに分割し、それぞれ水平１９２０画素、垂直１０８０画素の画像信号を得る。図３では、並べ替え部１０４以降の信号に、ＵＬ（上左）、ＵＲ（上右）、ＤＬ（下左）、ＤＲ（下右）の文字を付している。この画像信号は、信号処理部１０５によって高域成分を持ち上げる周波数特性の調整などが行われ、輝度信号Ｙと色差信号Ｃに変換される。この結果、上下左右４つに分割された輝度信号Ｙと色差信号Ｃが得られる。

次に、色補正部１０の動作について説明する。ここでは、Ｇチャネル処理部１１によるＧの処理を例にとって説明するが、ＢおよびＲについても同様に処理される。

まず、代表点生成部１は、代表点におけるＧの画像信号ＧＡを生成する。ここでは、色補正部１０に入力された４個のＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｇ３ｉｎ、Ｇ４ｉｎの加算平均を行うことによって、代表点のＧの画像信号ＧＡを得る。代表点のＧの画像信号ＧＡは、代表点色補正部１５および減算器２ａ、２ｂ、２ｃ、２ｄに与えられる。なお、代表点における画像信号の生成方法はここで示したものに限られるものではない。例えば、色補正の対象となる画素群に含まれたＧの画像信号の一部を用いてもよいし、あるいは、色補正の対象となる画素群以外の画素のＧの画像信号を用いてもかまわない。また、加算平均以外の演算を用いてもかまわない。

そして、減算器２ａ、２ｂ、２ｃ、２ｄは、色補正部１０に入力されたＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｇ３ｉｎ、Ｇ４ｉｎから代表点のＧの画像信号ＧＡをそれぞれ減算して、差分信号Ｇ１Ｄ、Ｇ２Ｄ、Ｇ３Ｄ、Ｇ４Ｄを生成する。その一方で、代表点のＧの画像信号ＧＡは、同様に生成された画像信号ＢＡ、ＲＡとともに、代表点色補正部１５においてルックアップテーブルを用いた色の変換が行われ、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣが生成される。

そして、加算器３ａ、３ｂ、３ｃ、３ｄは、減算器２ａ、２ｂ、２ｃ、２ｄから出力された差分信号Ｇ１Ｄ、Ｇ２Ｄ、Ｇ３Ｄ、Ｇ４Ｄに、代表点色補正部１５から出力された画像信号ＧＡＣをそれぞれ加算する。加算器３ａ、３ｂ、３ｃ、３ｄの出力が、色補正されたＧの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔ、Ｇ３ｏｕｔ、Ｇ４ｏｕｔとして、Ｇチャネル処理部１１から出力される。

同様の動作によって、Ｂチャネル処理部１２によって色補正されたＢの画像信号Ｂ１ｏｕｔ、Ｂ２ｏｕｔ、Ｂ３ｏｕｔ、Ｂ４ｏｕｔが生成され、Ｒチャネル処理部１３によって色補正されたＲの画像信号Ｒ１ｏｕｔ、Ｒ２ｏｕｔ、Ｒ３ｏｕｔ、Ｒ４ｏｕｔが生成される。

［１−３．効果等］
以上のように本実施の形態では、色補正部１０は、隣接する４個の画素からなる画素群を単位として色補正処理を行う。代表点生成部１は、画素群に仮想的に置かれた代表点について、例えばＧの画像信号を生成する。減算部２ａ、２ｂ、２ｃ、２ｄは、画素群のＧの画像信号から代表点のＧの画像信号を減算する。代表点色補正部１５は、代表点のＧの画像信号に対して色補正処理を行う。加算部３ａ、３ｂ、３ｃ、３ｄは、減算部２ａ、２ｂ、２ｃ、２ｄの出力に、色補正された代表点のＧの画像信号を加算する。

このように、元の画素位置から外れた位置の代表点の画像信号を生成し、この代表点の画像信号に色補正を行い、画像信号の減算および加算を行うことによって、画像の色補正処理を行う。これにより、簡易な回路構成で色補正を実現することができる。すなわち、色補正の部分以外は、代表点の画像信号を簡易な演算で生成する回路と、信号の系統数に相当する個数の減算器および加算器を設けるだけでよい。したがって、画素数が多く並列処理を行う構成であっても、ほとんどの画像に対して大きな破綻がなく、少ない回路規模で色補正を実現することができる。

なお、本実施形態では、図２に示すような２×２の４個の画素からなる画素群ＰＧ１を単位として色補正処理を行うものとしたが、これに限られるものではない。例えば、図４に示すような横一列４個の画素を単位として撮像部１０１から画像信号が出力される場合は、この横一列４個の画素からなる画素群ＰＧ２を単位として色補正処理を行えばよい。この場合は例えば、画素Ｇ２と画素Ｇ３との間に代表点Ａを仮想的に置けばよい。

（実施の形態２）
以下、図５〜図７を用いて、実施の形態２を説明する。実施の形態２は、実施の形態１と同様に、画像信号を撮像する撮像素子が、Ｒ、Ｇ、Ｂについてそれぞれ、最終のサンプル位置と同じ位置の画素を有する。また、実施の形態１では４並列の処理をしていたのに対して、実施の形態２では、実施の形態１より速い信号処理が可能であり、２並列の処理をする場合である。

［２−１．構成］
図５は本実施の形態に係る色補正部１０Ａの構成図である。色補正部１０Ａは、隣接する２個の画素からなる画素群を単位として色補正処理を行うものであり、Ｇの画像信号の処理を行うＧチャネル処理部１１Ａと、Ｂの画像信号の処理を行うＢチャネル処理部１２Ａと、Ｒの画像信号の処理を行うＲチャネル処理部１３Ａと、代表点色補正部１５とを備えている。Ｇチャネル処理部１１Ａは、Ｇの画像信号Ｇ１ｉｎ、Ｇ２ｉｎに対して色補正処理を行い、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとして出力する。Ｂチャネル処理部１２Ａは、Ｂの画像信号Ｂ１ｉｎ、Ｂ２ｉｎに対して色補正処理を行い、Ｂの画像信号Ｂ１ｏｕｔ、Ｂ２ｏｕｔとして出力する。Ｒチャネル処理部１３Ａは、Ｒの画像信号Ｒ１ｉｎ、Ｒ２ｉｎに対して色補正処理を行い、Ｒの画像信号Ｒ１ｏｕｔ、Ｒ２ｏｕｔとして出力する。

代表点色補正部１５は、代表点の画像信号に対して所定の色補正処理を行うものであり、実施の形態１で示したものと構成及び機能は同様である。代表点色補正部１５は、Ｇチャネル処理部１１Ａから与えられた代表点のＧの画像信号ＧＡ、Ｂチャネル処理部１２Ａから与えられた代表点のＢの画像信号ＢＡ、および、Ｒチャネル処理部１３Ａから与えられた代表点のＲの画像信号ＲＡの３つの信号から、ルックアップテーブルを用いて、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣを生成し、それぞれ、Ｇチャネル処理部１１Ａ、Ｂチャネル処理部１２Ａ、およびＲチャネル処理部１３Ａに戻す。

図６は本実施形態における画素群と代表点の例を表す模式図である。図６では、１×２すなわち縦１画素、横２画素に配列された２個のＧの画素Ｇ１、Ｇ２によって画素群ＰＧ３が構成されており、画素群ＰＧ３の中央、すなわち２個のＧの画素Ｇ１、Ｇ２の間に代表点Ａが仮想的に置かれている。なお図６ではＧを例にとって示しているが、ＢおよびＲについても同様である。

Ｇチャネル処理部１１Ａは、代表点生成部１Ａと、減算器４ａ、４ｂと、加算器５ａ、５ｂとを備える。代表点生成部１Ａは、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｇの画像信号ＧＡを生成する。減算器４ａ、４ｂは、代表点生成部１Ａで生成された代表点のＧの画像信号ＧＡを、色補正部１０に入力されたＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎからそれぞれ減算する。加算器５ａ、５ｂは、代表点色補正部１５により色補正された画像信号ＧＡＣを、減算器４ａ、４ｂの出力Ｇ１Ｄ、Ｇ２Ｄにそれぞれ加算する。加算器５ａ、５ｂの出力が、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとしてＧチャネル処理部１１Ａから出力される。

なお、Ｂチャネル処理部１２ＡおよびＲチャネル処理部１３Ａは、Ｇチャネル処理部１１Ａと同様の内部構成を有し、図５では、Ｂチャネル処理部１２ＡよびＲチャネル処理部１３Ａの内部構成については図示を省略する。

図７は本実施の形態に係る画像処理装置の構成例である。図７の画像処理装置１１０は、図５の色補正部１０Ａと、撮像素子を含む撮像部１１１、信号処理部１１２、信号処理部１１３、並べ替え部１１４および信号処理部１１５とを備える。

［２−２．動作］
以上のように構成された色補正部１０Ａと、その色補正部１０Ａを含む画像処理装置１１０について、その動作を以下に説明する。ここでは、有効の画素数が水平３８４０画素、垂直２１６０画素である画像を生成する場合を例にとって説明する。この場合、画像処理装置１１０は、いわゆる４Ｋカメラに相当する。

まず図７の画像処理装置１１０において、撮像部１１１は、Ｒ、Ｇ、Ｂそれぞれの画素が各画素配置に配置されている撮像素子を有している。そして撮像部１１１から、Ｒ、Ｇ、Ｂそれぞれ２並列の画像信号が出力される。すなわち、Ｇ信号について画像信号Ｇ１、Ｇ２が出力され、Ｂ信号について画像信号Ｂ１、Ｂ２が出力され、Ｒ信号について画像信号Ｒ１、Ｒ２が出力される。画像信号を２並列で出力することによって、画素数が多い場合であっても、信号処理のクロック周波数を低くし、パイプライン処理の回路の無用な増大を防ぐことができ、その結果、電力が小さくなる。

撮像部１１１から出力された画像信号は、信号処理部１１２によって、ホワイトバランスの調整や黒レベルの調整が行われる。信号処理部１１２から出力された画像信号は、色補正部１０Ａによって所定の色補正処理が行われる。その後、信号処理部１１３によってノイズ除去などの処理が行われ、並べ替え部１１４によってフレームメモリを利用して画像を上下左右４つに分割し、それぞれ水平１９２０画素、垂直１０８０画素の画像信号を得る。この画像信号は、信号処理部１１５によって高域成分を持ち上げる周波数特性の調整などが行われ、輝度信号Ｙと色差信号Ｃに変換される。この結果、上下左右４つに分割された輝度信号Ｙと色差信号Ｃが得られる。ただし、実施の形態１と異なり、信号は２系統なので、例えば、４つに分割した並べ替え部１１４以降は、左の上下２つの画像信号を１クロックおきに混合した系統１（図７ではＬＬの文字を付している）、右の上下２つの画像信号を１クロックおきに混合した系統２（図７ではＲＲの文字を付している）として出力し、ＳＤカードなどのメディアに記録する部分に送られる。

次に、色補正部１０Ａの動作について説明する。ここでは、Ｇチャネル処理部１１ＡによるＧ信号の処理を例にとって説明するが、Ｂ信号およびＲ信号についても同様に処理される。

まず、代表点生成部１Ａは、代表点におけるＧの画像信号ＧＡを生成する。ここでは、色補正部１０Ａに入力された２個のＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎの加算平均を行うことによって、代表点のＧの画像信号ＧＡを得るものとする。代表点のＧの画像信号ＧＡは、代表点色補正部１５および減算器４ａ、４ｂに与えられる。なお、代表点における画像信号の生成方法はここで示したものに限られるものではない。例えば、色補正の対象となる画素群以外の画素のＧの画像信号を用いてもかまわない。また、加算平均以外の演算を用いてもかまわない。

そして、減算器４ａ、４ｂは、色補正部１０Ａに入力された２個のＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎから、代表点のＧの画像信号ＧＡをそれぞれ減算して、差分信号Ｇ１Ｄ、Ｇ２Ｄを生成する。その一方で、代表点のＧの画像信号ＧＡは、同様に生成された画像信号ＢＡ、ＲＡとともに、代表点色補正部１５においてルックアップテーブルを用いた色の変換が行われ、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣが生成される。

そして、加算器５ａ、５ｂは、減算器４ａ、４ｂから出力された差分信号Ｇ１Ｄ、Ｇ２Ｄに、画像信号ＧＡＣをそれぞれ加算する。加算器５ａ、５ｂの出力が、色補正されたＧの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとして、Ｇチャネル処理部１１Ａから出力される。

同様の動作によって、Ｂチャネル処理部１２Ａによって色補正されたＢの画像信号Ｂ１ｏｕｔ、Ｂ２ｏｕｔが生成され、Ｒチャネル処理部１３Ａによって色補正されたＲの画像信号Ｒ１ｏｕｔ、Ｒ２ｏｕｔが生成される。

［２−３．効果等］
以上のように本実施の形態では、色補正部１０Ａは、隣接する２個の画素からなる画素群を単位として色補正処理を行う。代表点生成部１Ａは、画素群に仮想的に置かれた代表点について、例えばＧの画像信号を生成する。減算部４ａ、４ｂは、画素群のＧの画像信号から代表点のＧの画像信号を減算する。代表点色補正部１５は、代表点のＧの画像信号に対して色補正処理を行う。加算部５ａ、５ｂは、減算部４ａ、４ｂの出力に、色補正された代表点のＧの画像信号を加算する。

このように、元の画素位置から外れた位置の代表点の画像信号を生成し、この代表点の画像信号にのみ色補正を行い、画像信号の減算および加算を行うことによって、画像の色補正処理を行う。これにより、簡易な回路構成で色補正を実現することができる。したがって、画素数が多く並列処理を行う構成であっても、ほとんどの画像に対して大きな破綻がなく、少ない回路規模で色補正を実現することができる。

なお、実施の形態１では４個の画素からなる画素群を単位として色補正処理を行う例を示し、実施の形態２では２個の画素からなる画素群を単位として色補正処理を行う例を示したが、本開示において画素群を構成する画素の個数は、これらの例に限定されるものではない。例えば、図８に示すように、２×４すなわち縦２画素、横４画素からなる８個の画素からなる画素群ＰＧ４を単位として色補正処理を行う構成であっても、本開示は適用可能である。この場合には例えば、図８に示すように画素群ＰＧ４の中央に仮想的に代表点Ａを置けばよい。その他、２×３、４×４など他の構成の画素群であっても、本開示は適用可能である。

（実施の形態３）
図９〜図１３を参照して、実施の形態３を説明する。実施の形態３では、画像信号を撮像する撮像素子が、ベイヤ型配列方式を採用する。

［３−１．構成］
図９は本実施の形態に係る色補正部２０の構成図である。色補正部２０は、隣接する４個の画素からなる画素群を単位として色補正処理を行うものである。図１０に示すように、本実施形態では、画素群ＰＧ５は、２個のＧの画素と、１個のＢの画素と、１個のＲの画素とからなる。そして代表点は、画素群ＰＧ５の中心に仮想的に置く。

色補正部２０は、代表点生成部２１、２２、２３と、代表点色補正部１５と、減算器６ａ、６ｂ、６ｃ、６ｄと、加算器７ａ、７ｂ、７ｃ、７ｄとを備えている。代表点色補正部１５は、代表点の画像信号に対して所定の色補正処理を行うものであり、実施の形態１で示したものと構成及び機能は同様である。代表点色補正部１５は、代表点の画像信号ＧＡ、ＢＡ、ＲＡの３つの信号から、ルックアップテーブルを用いて、色補正された画像信号ＧＡＣ、ＢＡＣ、ＲＡＣを生成する。

代表点生成部２１は、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｇの画像信号ＧＡを生成する。減算器６ａ、６ｂは、代表点生成部２１で生成された代表点のＧの画像信号ＧＡを、色補正部２０に入力されたＧの画像信号Ｇ１ｉｎ、Ｇ２ｉｎからそれぞれ減算する。加算器７ａ、７ｂは、代表点色補正部１５により色補正された画像信号ＧＡＣを減算器６ａ、６ｂの出力Ｇ１Ｄ、Ｇ２Ｄにそれぞれ加算する。加算器７ａ、７ｂの出力が、Ｇの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとして色補正部２０から出力される。

代表点生成部２２は、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｂの画像信号ＢＡを生成する。減算器６ｃは、代表点生成部２２で生成された代表点のＢの画像信号ＢＡを、色補正部２０に入力されたＢの画像信号Ｂｉｎから減算する。加算器７ｃは、代表点色補正部１５により色補正された画像信号ＢＡＣを減算器６ｃの出力ＢＤに加算する。加算器７ｃの出力が、Ｂの画像信号Ｂｏｕｔとして色補正部２０から出力される。

代表点生成部２３は、代表点について、当該代表点の周辺画素の画像信号を基にして、Ｒの画像信号ＲＡを生成する。減算器６ｄは、代表点生成部２３で生成された代表点のＲの画像信号ＲＡを、色補正部２０に入力されたＲの画像信号Ｒｉｎから減算する。加算器７ｄは、代表点色補正部１５により色補正された画像信号ＲＡＣを減算器６ｄの出力ＲＤに加算する。加算器７ｄの出力が、Ｒの画像信号Ｒｏｕｔとして色補正部２０から出力される。

図１１は本実施の形態に係る画像処理装置の構成例である。図１１の画像処理装置１２０は、図９の色補正部２０と、撮像素子を含む撮像部１２１、信号処理部１２２、信号処理部１２３、並べ替え部１２４および信号処理部１２５とを備える。

［３−２．動作］
以上のように構成された色補正部２０と、色補正部２０を含む画像処理装置１２０について、その動作を以下に説明する。ここでは、有効の画素数が水平３８４０画素、垂直２１６０画素である画像を生成する場合を例にとって説明する。この場合、画像処理装置１００は、いわゆる４Ｋカメラに相当する。なお、図１０では４組の画素群ＰＧ５を図示しているが、有効画素数が水平３８４０画素、垂直２１６０画素に加えて、その上下左右に、十数個ずつの画素が存在する。

まず図１１の画像処理装置１２０において、撮像部１２１は、図１０に示すようにＲ、Ｇ、Ｂの画素が配置されている撮像素子を有している。そして撮像部１２１から、Ｇ１、Ｇ２、Ｂ、Ｒという４つの画像信号が出力される。この時点で有効の画素数は、Ｇ１、Ｇ２、Ｂ、Ｒを全部合わせて水平３８４０画素、垂直２１６０画素あり、Ｇ１だけでは４分の１の水平１９２０画素、垂直１０８０画素となっている。画像信号を４つに分けて出力することによって、画素数が多い場合であっても、信号処理のクロック周波数を低くし、パイプライン処理の回路の無用な増大を防ぐことができ、その結果、電力が小さくなる。

撮像部１２１から出力された画像信号は、信号処理部１２２によって、ホワイトバランスの調整や黒レベルの調整が行われる。信号処理部１２２から出力された画像信号は、色補正部２０によって所定の色補正処理が例えばルックアップテーブルを用いて行われる。その後、信号処理部１２３によってノイズ除去などの処理が行われる。そして補間・並べ替え部１２４は、それぞれ水平１９２０画素、垂直１０８０画素あるＧ１、Ｇ２、Ｂ、Ｒから、フレームメモリを利用した補間処理を行うことによって、有効の画素数が水平３８４０画素、垂直２１６０画素である画像を生成する。補間・並べ替え部１２４はさらに、画像を上下左右４つに分割し、それぞれ水平１９２０画素、垂直１０８０画素の画像信号を得る。図１１では、補間・並べ替え部１０４以降の信号に、ＵＬ（上左）、ＵＲ（上右）、ＤＬ（下左）、ＤＲ（下右）の文字を付している。この画像信号は、信号処理部１２５によって高域成分を持ち上げる周波数特性の調整などが行われ、輝度信号Ｙと色差信号Ｃに変換される。この結果、上下左右４つに分割された輝度信号Ｙと色差信号Ｃが得られる。

次に、色補正部２０の動作について述べる。

色補正部２０に、図１０に示す配置の画素群ＰＧ５に含まれた４個の画素に対する画像信号Ｇ１ｉｎ、Ｇ２ｉｎ、Ｂｉｎ、Ｒｉｎが入力される。代表点生成部２１、２２、２３はそれぞれ、代表点のＧの画像信号ＧＡ、Ｂの画像信号ＢＡ、Ｒの画像信号ＲＡを生成する。代表点生成部２１は、画像信号Ｇ１ｉｎとＧ２ｉｎの加算平均を行うことによって、代表点のＧの画像信号ＧＡを得る。

図１２（ａ）は代表点のＢの画像信号ＢＡの生成方法の一例、図１２（ｂ）は代表点のＲの画像信号ＲＡの生成方法の一例である。図１２（ａ）に示すように、代表点Ａからみて、当該画素群に含まれる右上のＢ信号と当該画素群の左下の画素群に含まれるＢ信号とが１：３の比で離れている。したがって、代表点生成部２２は、右上のＢ信号と左下のＢ信号とを３：１の比で内分することによって、Ｂの画像信号ＢＡを得る。また、図１２（ｂ）に示すように、代表点Ａからみて、当該画素群に含まれる左下のＲ信号と当該画素群の右上の画素群に含まれるＲ信号とが１：３の比で離れている。したがって、左下のＲ信号と右上のＲ信号とを３：１の比で内分することによって、Ｒの画像信号ＲＡを得る。なお、代表点における画像信号の生成方法はここで示したものに限られるものではない。

そして、減算器６ａ、６ｂは、色補正部２０に入力された２個の画像信号Ｇ１ｉｎ、Ｇ２ｉｎから代表点のＧの画像信号ＧＡをそれぞれ減算して、差分信号Ｇ１Ｄ、Ｇ２Ｄを生成する。同様に、減算器６ｃは、色補正部２０に入力された画像信号Ｂｉｎから代表点ＡのＢの画像信号ＢＡを減算して、差分信号ＢＤを生成し、減算器６ｄは、色補正部２０に入力された画像信号Ｒｉｎから代表点のＲの画像信号ＲＡを減算して、差分信号ＲＤを生成する。その一方で、代表点のＧの画像信号ＧＡ、Ｂの画像信号ＢＡ、Ｒの画像信号ＲＡは、代表点色補正部１５において所定の色補正処理が行われる。例えば、ルックアップテーブルを用いた色の変換が行われ、代表点の色補正されたＧの画像信号ＧＡＣ、Ｂの画像信号ＢＡＣおよびＲの画像信号ＲＡＣが出力される。

そして、加算器７ａ、７ｂは、差分信号Ｇ１Ｄ、Ｇ２Ｄに、代表点の色補正されたＧの画像信号ＧＡＣをそれぞれ加算する。加算器７ａ、７ｂの出力が、色補正されたＧの画像信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔとして色補正部２０から出力される。加算器７ｃは、差分信号ＢＤに、代表点の色補正されたＢの画像信号ＢＡＣを加算する。加算器７ｃの出力が、色補正されたＢの画像信号Ｂｏｕｔとして色補正部２０から出力される。加算器７ｄは、差分信号ＲＤに、代表点の色補正されたＲの画像信号ＲＡＣを加算する。加算器７ｄの出力が、色補正されたＲの画像信号Ｒｏｕｔとして色補正部２０から出力される。

［３−３．効果等］
以上のように本実施の形態では、色補正部２０は、隣接する４個の画素からなる画素群を単位として色補正処理を行う。代表点生成部２１は、画素群に仮想的に置かれた代表点について、Ｇの画像信号を生成する。減算部６ａ、６ｂは、画素群のＧの画像信号から代表点のＧの画像信号を減算する。代表点生成部２２は、画素群に仮想的に置かれた代表点について、Ｂの画像信号を生成する。減算部６ｃは、画素群のＢの画像信号から代表点のＢの画像信号を減算する。代表点生成部２３は、画素群に仮想的に置かれた代表点について、Ｒの画像信号を生成する。減算部６ｄは、画素群のＲの画像信号から代表点のＲの画像信号を減算する。代表点色補正部１５は、代表点のＧ、Ｂ、Ｒの画像信号に対して色補正処理を行う。加算部７ａ、７ｂは、減算部６ａ、６ｂの出力に色補正された代表点のＧの画像信号を加算する。加算部７ｃは、減算部６ｃの出力に色補正された代表点のＢの画像信号を加算する。加算部７ｄは、減算部６ｄの出力に色補正された代表点のＲの画像信号を加算する。

このように、元の画素位置から外れた位置の代表点の画像信号を生成し、この代表点の画像信号に色補正を行い、画像信号の減算および加算を行うことによって、画像の色補正処理を行う。これにより、簡易な回路構成で色補正を実現することができる。すなわち、色補正の部分以外は、代表点の画像信号を簡易な演算で生成する回路と、信号の系統数に相当する個数の減算器および加算器を設けるだけでよい。したがって、画素数が多く並列処理を行う構成であっても、ほとんどの画像に対して大きな破綻がなく、少ない回路規模で色補正を実現することができる。

さらに、回路規模を削減するために、ＢまたはＲについて、当該画素群に含まれたＢまたはＲの画像信号を、そのまま代表点の画像信号として用いてもよい。図１３はこの場合の色補正部２０Ａの構成例である。図１３の構成では、図９の構成において、代表点生成部２２、２３、減算器６ｃ、６ｄおよび加算器７ｃ、７ｄが省かれている。そして色補正部２０Ａに入力された画像信号Ｂｉｎ、Ｒｉｎが、そのまま代表点色補正部１５に与えられ、色補正処理がなされ、色補正された画像信号Ｂｏｕｔ、Ｒｏｕｔとして出力される。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１〜３では、撮像された元の画像信号から代表点の画像信号を減算して得た差分信号に対しては、色補正処理はなされていない。これは、差分信号は微小な値の場合が多く、色補正処理によって大きな変化をすることは少ないと考えられるためである。すなわち、差分信号に対して色補正処理がなされなくてもほとんどの場合は問題ない。ただし、より精度良く色補正処理を実現したいなどの場合には、差分信号に対しても色補正処理を行えばいい。

例えば実施の形態１の例では、減算部２ａ、２ｂ、２ｃ、２ｄの出力に、代表点の画像信号の色補正処理前と後の比率を乗算してから、色補正された代表点の画像信号を加算すればよい。Ｇ信号の場合であれば、差分信号Ｇ１Ｄ〜Ｇ４Ｄに、画像信号ＧＡＣを画像信号ＧＡで除した値を乗算してから、画像信号ＧＡＣを加算すればよい。Ｂ信号とＲ信号についても、同様の処理を行えばよい。また実施の形態２の例では、減算部４ａ、４ｂの出力に、代表点の画像信号の色補正処理前と後の比率を乗算してから、色補正処理後の代表点の画像信号を加算すればよい。Ｇ信号の場合であれば、差分信号Ｇ１Ｄ、Ｇ２Ｄに、画像信号ＧＡＣを画像信号ＧＡで除した値を乗算してから、画像信号ＧＡＣを加算すればよい。Ｂ信号とＲ信号についても、同様の処理を行えばよい。また実施の形態３の例では、減算部６ａ、６ｂ、６ｃ、６ｄの出力に、代表点の画像信号の色補正処理前と後の比率を乗算してから、色補正処理後の代表点の画像信号を加算すればよい。Ｇ信号の場合であれば、差分信号Ｇ１Ｄ、Ｇ２Ｄに、画像信号ＧＡＣを画像信号ＧＡで除した値を乗算してから、画像信号ＧＡＣを加算すればよい。Ｂ信号とＲ信号についても、同様の処理を行えばよい。

なお、実施の形態１〜３において、色補正部を備えた画像処理装置は、撮像部を備えたカメラであるものとしたが、これに限られるものではない。例えば、撮像部の代わりに映像入力部を備えた再生装置であってもよい。

また、本開示において、代表点の位置は、画素群の中央でなくてもかまわない。また、画素群を構成する画素は、偶数個でなくてもかまわない。

ここで、比較例として、撮像素子の画素配置位置から所定の画素位置をサンプリングし、サンプリングした画素の画像信号に対して色補正処理を行い、色補正された画像信号を用いた補間処理によって、その他の画素を補う、という方法が考えられる。この場合、画素サンプリングの周波数特性の影響により、画像にムラが生じやすいという問題がある。この問題を回避するためには、多数の周辺画素を用いた補間処理を行えばよいが、そのためにはタップ数の多いフィルタが必要になり、回路規模の増大につながる。

これに対して本開示では、隣接する複数個の画素からなる画素群を単位として、画素群の画素位置から外れた位置に仮想的に置かれた代表点について、画像信号を生成する。そして、実際の画像信号から代表点の画像信号を減算し、この減算結果に、色補正された代表点の画像信号を加算する。このため、上述した比較例が有する、画像にムラが生じやすいという問題は生じず、しかも、回路規模も小さくて済む。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、画素数の多い画像の色補正を行う画像信号処理装置に適用可能である。具体的には、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話機、スマートフォン、ハードディスクレコーダーなどに、本開示は適用可能である。

１、１Ａ 代表点生成部
２ａ、２ｂ、２ｃ、２ｄ 減算部
３ａ、３ｂ、３ｃ、３ｄ 加算部
４ａ、４ｂ 減算部
５ａ、５ｂ 加算部
６ａ、６ｂ、６ｃ、６ｄ 減算部
７ａ、７ｂ、７ｃ、７ｄ 加算部
１０、１０Ａ 色補正部
１５ 代表点色補正部
２０、２０Ａ 色補正部
２１、２２、２３ 代表点生成部
１００、１１０、１２０ 画像処理装置

Claims (7)

1. 画像信号に対して色補正処理を行う色補正部を備えた画像処理装置であって、
   前記色補正部は、
   隣接する偶数個の画素からなる画素群を単位として色補正処理を行うものであり、かつ、
   前記画素群の中央に仮想的に置かれた代表点について、当該代表点の周辺画素の画像信号を基にして、所定色の画像信号を生成する代表点生成部と、
   前記画素群の中の前記所定色の画素の画像信号から、前記代表点生成部において生成された前記代表点の画像信号を減算する減算部と、
   前記代表点生成部において生成された前記代表点の画像信号に対して、色補正処理を行う代表点色補正部と、
   前記減算部の減算結果に、前記代表点色補正部による色補正処理後の前記代表点の画像信号を加算する加算部とを備える
   ことを特徴とする画像処理装置。
2. 前記色補正部は、
   前記減算部の減算結果に、前記代表点の画像信号の色補正処理前と後の比率を乗算してから、前記加算部によって色補正処理後の前記代表点の画像信号を加算する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記画素群は、前記所定色の４個の画素が縦２画素、横２画素に配列されている
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記画像信号は、ベイヤ型配列に対応したものであり、
   前記画素群は、赤が１個、緑が２個、青が１個の計４個の画素が縦２画素、横２画素に配列されている
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記代表点生成部は、赤または青について、前記代表点周辺の赤または青の画素の画像信号を用いて、前記代表点の画像信号を生成する
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記色補正部は、
   赤または青について、当該画素群に含まれた赤または青の画像信号を、前記代表点の画像信号として用いる
   ことを特徴とする請求項４記載の画像処理装置。
7. 画像信号に対して色補正処理を行う色補正部を備えた画像処理装置であって、
   前記色補正部は、
   隣接する複数個の画素からなる画素群を単位として色補正処理を行うものであり、かつ、
   前記画素群の画素位置から外れた位置に仮想的に置かれた代表点について、当該代表点の周辺画素の画像信号を基にして、所定色の画像信号を生成する代表点生成部と、
   前記画素群の中の前記所定色の画素の画像信号から、前記代表点生成部において生成された前記代表点の画像信号を減算する減算部と、
   前記代表点生成部において生成された前記代表点の画像信号に対して、色補正処理を行う代表点色補正部と、
   前記減算部の減算結果に、前記代表点色補正部による色補正処理後の前記代表点の画像信号を加算する加算部とを備える
   ことを特徴とする画像処理装置。

Images