JPWO2018110051A1 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JPWO2018110051A1
JPWO2018110051A1 JP2018556208A JP2018556208A JPWO2018110051A1 JP WO2018110051 A1 JPWO2018110051 A1 JP WO2018110051A1 JP 2018556208 A JP2018556208 A JP 2018556208A JP 2018556208 A JP2018556208 A JP 2018556208A JP WO2018110051 A1 JPWO2018110051 A1 JP WO2018110051A1
Authority
JP
Japan
Prior art keywords
luminance signal
color
signal
luminance
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018556208A
Other languages
English (en)
Other versions
JP6580801B2 (ja
Inventor
慎也 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6580801B2 publication Critical patent/JP6580801B2/ja
Publication of JPWO2018110051A1 publication Critical patent/JPWO2018110051A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624Red-eye correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

撮影画像内の所望の色の輝度を制御することができ、かつ色に影響が生じないようにすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。輝度及び色差変換処理部(70)は、ガンマ変換後の3原色の色信号「R1,G1,B1」から標準の第1の輝度信号「Y1」と色差信号「Cb,Cr」とを生成する。第2の輝度信号生成部(72)は、色信号「R1,G1,B1」から第1の輝度信号「Y1」に対してターゲット色に対応する輝度信号の値が低くなる第2の輝度信号「Y2」を生成する。第3の輝度信号生成部(74)は、これらの第1の輝度信号「Y1」と第2の輝度信号「Y2」とに基づいてターゲット色の輝度が制御された第3の輝度信号「Y」を生成する。これにより、所望のターゲット色の輝度の制御を可能にし、かつ色に影響が生じないようにする。

Description

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特に撮影画像内の所望の色の輝度を制御する技術に関する。
近年、イメージセンサの性能向上により、高感度低ノイズのイメージセンサが開発されている。
高感度を実現させるには、イメージセンサの赤(R)、緑(G)、青(B)の波長域にそれぞれ分光感度を有するRGB素子のうちのR素子の感度をアップさせる手法が一般的である。
しかしながら、R素子の感度をアップさせると赤系の被写体の輝度と彩度が上がり、明るく高彩度になりやすくなる。例えば、赤い花を撮影した場合など、明るい側かつ高彩度側に色が偏り、コントラストが低く立体感及び質感が損なわれてしまうという問題がある。
この問題を解決するため、イメージセンサのRGB素子から出力されるRGB信号値に、3x3の係数マトリクスを乗算するリニアマトリクス処理を行う手法がある。
この手法は、以下の[数1]式及び[数2]式に示す通り、出力R信号(OutR)を作成する際に、入力R信号(InR)に入力G信号(InG)と入力B信号(InB)を混合することにより、出力R信号(OutR)の輝度、彩度及び色相を調整する手法である。
[数1] OutR = (CoefR × InR) + (CoefG × InG) + (CoefB × InB)
[数2] CoefR + CoefG + CoefB = 1
(ただし、CoefR、CoefG、CoefBは係数)
また、特許文献1には、色補正されたRGB信号から第1輝度信号と色差信号を生成し、色補正されていないRGB信号から第2輝度信号を生成し、これらの第1輝度信号と第2輝度信号とを所定の比率で合成して輝度信号を生成して出力することにより、画像の色再現性の低下を抑制しつつ、ノイズを低減する画像処理装置が記載されている。
即ち、第1輝度信号は、色補正されたRGB信号から生成されているため、色再現性はよいが、色補正によりノイズが増加するという特徴がある。一方、第2輝度信号は、色補正前のRGB信号から生成されているため、色再現性は低下するが、ノイズの増加は抑制されるという特徴がある。特許文献1に記載の発明は、上記の特徴を有する第1輝度信号と第2輝度信号とを所定の比率で合成して輝度信号を生成することにより、画像の色再現性の低下を抑制しつつ、ノイズを低減するようにしている。
特開2016−58941号公報
とろこで、RGB信号値に3x3の係数マトリクスを乗算する手法(リニアマトリクス処理)は、下記の通り輝度、彩度及び色相が連動して変化するため、輝度、彩度及び色相のすべてを両立させることが困難である。
CoefG > 0の場合:赤系被写体の彩度は下がるが輝度が上がる。
CoefG < 0の場合:赤系被写体の輝度は下がるが彩度が上がる。
CoefB > 0の場合:赤系被写体の輝度は下がるが色相がマゼンタ味になる。
CoefB < 0 の場合:赤系被写体の輝度が上がり色相がオレンジ味になる。
一方、特許文献1に記載の発明は、画像の色再現性の低下を抑制しつつ、ノイズを低減することができる輝度信号を生成する技術であり、撮影画像内の所望の色の輝度を制御する技術に関するものではない。
本発明はこのような事情に鑑みてなされたもので、撮影画像内の所望の色の輝度を制御することができ、かつ色に影響が生じないようにすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る画像処理装置は、撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号を取得する色信号取得部と、取得した第1の色信号、第2の色信号及び第3の色信号と、第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第1の係数であって、標準の第1の輝度信号を生成する第1の係数とを使用して第1の輝度信号を生成する第1の輝度信号生成部と、取得した第1の色信号、第2の色信号及び第3の色信号と、第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第2の係数であって、第1の係数のうちのターゲット色に対応する係数の重みを低下させた第2の係数とを使用して第2の輝度信号を生成する第2の輝度信号生成部と、生成した第1の輝度信号と第2の輝度信号とに基づいてターゲット色の輝度が制御された第3の輝度信号を生成する第3の輝度信号生成部と、を備える。
本発明の一の態様によれば、標準の第1の輝度信号と、第1の輝度信号に対してターゲット色に対応する輝度信号の値が低くなる第2の輝度信号とを生成し、これらの第1の輝度信号と第2の輝度信号とに基づいてターゲット色の輝度が制御された第3の輝度信号を生成するようにしている。第1の輝度信号と第2の輝度信号との混合率を調整することで、所望のターゲット色の輝度の制御が可能であり、色(彩度及び色相)への影響が生じないようにすることができる。尚、ターゲット色が高彩度である程、第1の輝度信号と第2の輝度信号との差が大きくなり、混合率の調整によりターゲット色の輝度を大きく変化させることができる。
本発明の他の態様に係る画像処理装置において、生成した第1の輝度信号又は第2の輝度信号の大きさに応じた混合率を取得する混合率取得部を備え、第3の輝度信号生成部は、混合率取得部により取得した混合率に基づいて第1の輝度信号と第2の輝度信号とを加重平均し、第3の輝度信号を生成することが好ましい。
本発明の更に他の態様に係る画像処理装置において、混合率取得部は、生成した第1の輝度信号又は第2の輝度信号が大きい程、第2の輝度信号の第1の輝度信号に対する比率を低くし、生成した第1の輝度信号又は第2の輝度信号が小さい程、第2の輝度信号の第1の輝度信号に対する比率を高くする混合率を取得することができる。この場合、第1の輝度信号又は第2の輝度信号の変化よりも第3の輝度信号の変化が大きくなり、ターゲット色の輝度コントラストを向上させることができる。
本発明の更に他の態様に係る画像処理装置において、混合率取得部は、生成した第1の輝度信号又は第2の輝度信号が大きい程、第2の輝度信号の第1の輝度信号に対する比率を高くし、生成した第1の輝度信号又は第2の輝度信号が小さい程、第2の輝度信号の第1の輝度信号に対する比率を低くする混合率を取得することができる。この場合、第1の輝度信号又は第2の輝度信号の変化よりも第3の輝度信号の変化が小さくなり、ターゲット色の輝度コントラストを低下させることができる。
本発明の更に他の態様に係る画像処理装置において、混合率取得部は、第1の輝度信号又は第2の輝度信号の大きさと混合率との関係を示すテーブル又は関係式を使用して、第1の輝度信号又は第2の輝度信号の大きさに応じた混合率を取得することが好ましい。尚、テーブル又は関係式は、予め設定されたものでもよいし、撮影画像ごとに算出したものでもよい。
本発明の更に他の態様に係る画像処理装置において、混合率取得部は、ターゲット色に対応するテーブル又は関係式を使用して、第1の輝度信号又は第2の輝度信号の大きさに応じた混合率を取得することが好ましい。これにより、ターゲット色に対応する混合率を取得することができ、ターゲット色に応じた輝度の制御ができる。
本発明の更に他の態様に係る画像処理装置において、ターゲット色の色相の重みが大きく、ターゲット色から色相が離れる程、重みが小さい補正係数を設定する補正係数設定部と、第1の色信号、第2の色信号及び第3の色信号から色相を算出する色相算出部と、色相算出部により算出された色相に応じて補正係数設定部から対応する補正係数を取得する補正係数取得部と、第3の輝度信号生成部は、混合率取得部により取得した混合率及び補正係数取得部により取得した補正係数に基づいて第1の輝度信号と第2の輝度信号とを加重平均し、第3の輝度信号を生成することが好ましい。これにより、より精度高くターゲット色の色相を設定することができ、ターゲット色の色相に対応する輝度のみを制御することができる。
本発明の更に他の態様に係る画像処理装置において、ターゲット色を設定するターゲット色設定部と、ターゲット色設定部により設定されたターゲット色に対応する係数の重みを低下させた第2の係数を算出し、又は第2の係数を記憶する記憶部から設定されたターゲット色に対応する第2の係数を読み出す第2の係数取得部と、を備え、第2の輝度信号生成部は、取得した第1の色信号、第2の色信号及び第3の色信号と、第2の係数取得部により取得した第2の係数とを使用して第2の輝度信号を生成することが好ましい。これにより、輝度を制御するターゲット色を設定することができ、第2の輝度信号は、第1の輝度信号に対して、輝度を制御するターゲット色(設定されたターゲット色)に対応する輝度信号の値が低くなる第2の輝度信号を生成することができる。
本発明の更に他の態様に係る画像処理装置において、ターゲット色設定部は、nを2以上の整数とすると、n個のターゲット色を同時に設定可能であり、第2の係数取得部は、ターゲット色設定部によりn個のターゲット色が同時に設定されると、n個の各ターゲット色に対応するn個の第2の係数を取得し、第2の輝度信号生成部は、取得した第1の色信号、第2の色信号及び第3の色信号と、n個の第2の係数とに基づいてn個の輝度信号を生成し、n個の輝度信号のうちの最小の輝度信号を第2の輝度信号とすることが好ましい。
ターゲット色設定部により複数(2以上であるn個)のターゲット色を同時に設定することができ、複数のターゲット色が同時に設定されると、複数のターゲット色の輝度を制御するために使用する第2の輝度信号を、ターゲット色ごとに生成することができる。
本発明の更に他の態様に係る画像処理装置において、第1の輝度信号又は第2の輝度信号の大きさと混合率との関係を示すテーブル又は関係式であって、n個の各ターゲット色に対応するn個のテーブル又は関係式のうちから、最小の輝度信号がn個の各ターゲット色のいずれに対応するかに応じたテーブル又は関係式を使用して、第1の輝度信号又は第2の輝度信号の大きさに応じた混合率を取得する混合率取得部を備え、第3の輝度信号生成部は、混合率取得部により取得した混合率に基づいて第1の輝度信号と第2の輝度信号とを加重平均し、第3の輝度信号を生成することが好ましい。
複数のターゲット色を同時に制御するために使用する第2の輝度信号がターゲット色ごとに生成されると、更にターゲット色ごと混合率を取得して、ターゲット色ごとに輝度が制御された第3の輝度信号を生成することができる。これにより、複数のターゲット色の輝度をそれぞれ制御することができる。
本発明の更に他の態様に係る画像処理装置において、第3の輝度信号生成部は、第1の輝度信号よりも第2の輝度信号が高い場合には、第1の輝度信号を出力することが好ましい。これにより、ターゲット色以外の色の輝度が制御されないようにすることができる。
本発明の更に他の態様に係る画像処理装置において、第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第2の係数の総和は、1であることが好ましい。これにより、無彩色の輝度を変化させずに、ターゲット色の輝度を制御することができる。
本発明の更に他の態様に係る画像処理装置において、撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号は、ガンマ変換後の色信号であることが好ましい。
本発明の更に他の態様に係る撮像装置は、撮影光学系及び撮像素子を含む撮像部と、上述した画像処理装置と、を備え、色信号取得部は、撮像部により撮影された撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号を取得する。
本発明の更に他の態様に係る画像処理方法は、撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号を取得するステップと、取得した第1の色信号、第2の色信号及び第3の色信号と、第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第1の係数であって、標準の第1の輝度信号を生成する第1の係数とを使用して第1の輝度信号を生成するステップと、取得した第1の色信号、第2の色信号及び第3の色信号と、第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第2の係数であって、第1の係数のうちのターゲット色に対応する係数の重みを低下させた第2の係数とを使用して第2の輝度信号を生成するステップと、生成した第1の輝度信号と第2の輝度信号とに基づいてターゲット色の輝度が制御された第3の輝度信号を生成するステップと、を含む。
本発明の更に他の態様に係る画像処理プログラムは、撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号を取得する機能と、取得した第1の色信号、第2の色信号及び第3の色信号と、第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第1の係数であって、標準の第1の輝度信号を生成する第1の係数とを使用して第1の輝度信号を生成する機能と、取得した第1の色信号、第2の色信号及び第3の色信号と、第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第2の係数であって、第1の係数のうちのターゲット色に対応する係数の重みを低下させた第2の係数とを使用して第2の輝度信号を生成する機能と、生成した第1の輝度信号と第2の輝度信号とに基づいてターゲット色の輝度が制御された第3の輝度信号を生成する機能と、をコンピュータに実行させる。
本発明によれば、撮影画像内の所望の色の輝度を制御することができ、かつ色に影響が生じないようにすることができる。
本発明に係る撮像装置の実施形態を示す斜視図 図1に示した撮像装置の背面図 図1に示した撮像装置の内部構成の実施形態を示すブロック図 図3に示した撮像装置の画像処理部の実施形態を示す要部ブロック図 ガンマ補正処理部によりガンマ補正される入出力特性(ガンマ特性)の一例を示すグラフ 第1の実施形態の輝度及び色差変換処理部を示すブロック図 図6に示した輝度及び色差変換処理部により実施される画像処理方法の第1の実施形態を示すフローチャート 第2の実施形態の輝度及び色差変換処理部を示すブロック図 第1の輝度信号「Y1」の大きさと混合率「Ratio」との関係の一例を示すグラフ 第1の輝度信号「Y1」、第2の輝度信号「Y2」、及び第1の輝度信号「Y1」と第2の輝度信号「Y2」とを加重平均して生成した第3の輝度信号「Y」を示すグラフ 図8に示した輝度及び色差変換処理部により実施される画像処理方法の第2の実施形態を示すフローチャート 第3の実施形態の輝度及び色差変換処理部を示すブロック図 図12に示した輝度及び色差変換処理部により実施される画像処理方法の第3の実施形態を示すフローチャート 第4の実施形態の輝度及び色差変換処理部を示すブロック図 ターゲット色の色相「H」が赤の場合に設定される、色相「H」(H:0〜360°)と補正係数「C」(C:0〜1.0)との関係を示すグラフ 図14に示した輝度及び色差変換処理部により実施される画像処理方法の第4の実施形態を示すフローチャート 第5の実施形態の輝度及び色差変換処理部を示すブロック図 図17に示した輝度及び色差変換処理部により実施される画像処理方法の第5の実施形態を示すフローチャート 第6の実施形態の輝度及び色差変換処理部を示すブロック図 第1の輝度信号「Y1」の大きさと混合率「Ratio」との関係の他の例を示すグラフ 図19に示した輝度及び色差変換処理部により実施される画像処理方法の第6の実施形態を示すフローチャート スマートフォンの外観を示す斜視図 スマートフォンの構成を示すブロック図 各種色空間の関係を示す図
以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの好ましい実施の形態について説明する。
[撮像装置]
図1及び図2はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとしてメモリカードに記録するデジタルカメラ、又はデジタルビデオカメラである。
図1に示すように撮像装置10は、その正面に撮影レンズ(撮影光学系)12、ストロボ1等が配設され、上面にはシャッタボタン2、電源/モードスイッチ3、及びモードダイヤル4等が配設されている。一方、図2に示すように、カメラ背面には、液晶モニタ30、ズームボタン5、十字ボタン6、MENU/OKボタン7、再生ボタン8、及びBACKボタン9等が配設されている。
撮影レンズ12は、沈胴式のズームレンズで構成されており、電源/モードスイッチ3によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ1は、主要被写体に向けてストロボ光を照射するものである。
シャッタボタン2は、いわゆる「半押し(S1 ON)」と「全押し(S2 ON)」とからなる2段ストローク式のスイッチで構成され、撮影準備指示部として機能するとともに、画像の記録指示部として機能する。
撮像装置10は、撮影モードとして静止画撮影モードが選択され、シャッタボタン2が「半押し」されると、AF/AE制御を行う撮影準備動作を行い、シャッタボタン2が「全押し」されると、静止画の撮像及び記録を行う。
また、撮像装置10は、撮影モードとして動画撮影モードが選択され、シャッタボタン2が「全押し」されると、動画の録画を開始し、シャッタボタン2が再度「全押し」されると、録画を停止して待機状態にする。
電源/モードスイッチ3は、撮像装置10の電源をON/OFFする電源スイッチとしての機能と、撮像装置10のモードを設定するモードスイッチとしての機能とを併せ持っており、「OFF位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置10は、電源/モードスイッチ3をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がONになり、「OFF位置」に合わせることにより、電源がOFFになる。そして、電源/モードスイッチ3をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
モードダイヤル4は、撮像装置10の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤル4の設定位置により、撮像装置10の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。
液晶モニタ30は、撮影モード時のライブビュー画像の表示、再生モード時の静止画又は動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェースの一部として機能する。
ズームボタン5は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン5Tと、広角側へのズームを指示するワイドボタン5Wとからなる。撮像装置10は、撮影モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、撮影レンズ12の焦点距離が変化する。また、再生モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、再生中の画像が拡大又は縮小する。
十字ボタン6は、上下左右の4方向の指示を入力するマルチファンクションボタンであり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。
MENU/OKボタン7は、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作ボタンである。
これらの十字ボタン6、MENU/OKボタン7及び液晶モニタ30は、後述するように輝度を制御するターゲット色を設定するターゲット色設定部として機能する。
再生ボタン8は、撮影記録した静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。
BACKボタン9は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
[撮像装置の内部構成]
図3は撮像装置10の内部構成の実施形態を示すブロック図である。
図3に示すように撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU:Central Processing Unit)40によって統括制御される。
撮像装置10には、シャッタボタン2、電源/モードスイッチ3、モードダイヤル4、テレボタン5T、ワイドボタン5W、十字ボタン6、MENU/OKボタン7、再生ボタン8、及びBACKボタン9等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、センサ駆動部32による撮像素子(イメージセンサ)16の駆動制御、シャッタ駆動部33によるメカシャッタ(機械的シャッタ)15の駆動制御、絞り駆動部34による絞り14の駆動制御、及びレンズ駆動部36により撮影レンズ12の駆動制御を司る他、撮影動作制御、画像処理制御、画像データの記録/再生制御、及び液晶モニタ30の表示制御などを行う。
電源/モードスイッチ3により撮像装置10の電源がONされると、図示しない電源部から各ブロックへ給電され、撮像装置10の駆動が開始される。
撮影レンズ12、絞り14、メカシャッタ15等を通過した光束は、CMOS(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサである撮像素子16に結像される。尚、撮像素子16は、CMOS型に限らず、XYアドレス型、又はCCD(Charge Coupled Device)型のカラーイメージセンサでもよい。
撮像素子16は、赤(R)、緑(G)又は青(B)のカラーフィルタが所定のパターン配列(ベイヤー配列、GストライプR/G完全市松、X−Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置された複数の素子によって構成され、各素子はマイクロレンズ、R、G、又はBのいずれかのカラーフィルタ及びフォトダイオードを含んで構成される。尚、R、G、又はBのカラーフィルタを有する素子を、それぞれR画素、G画素、又はB画素という。
撮像装置10は、動作モードが静止画の撮影モードに設定されると、画像の撮像を開始させ、ライブビュー画像を液晶モニタ30に表示させる。ライブビュー画像の表示時には、CPU40は、AF(Autofocus)処理部42及びAE(Auto Exposure)検出部44による演算結果に基づいてAF及びAEを実行させる。
AF処理部42は、コントラストAF処理又は位相差AF処理を行う部分である。コントラストAF処理を行う場合には、連続して撮像された画像中のAF領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。CPU40は、AF処理部42により算出されたAF評価値に基づいて、AF評価値が極大となるレンズ位置に撮影レンズ12内のフォーカスレンズを移動させることによりAF制御(コントラストAF)を行う。
また、撮像素子16が位相差画素を有する場合、AF処理部42は、例えば、AF領域の一対の複数の位相差画素の各出力データに基づいて、位相差データ(例えば、一対の位相差画素の各出力データの差分絶対値の積算値)を算出し、算出した位相差データに基づいて撮影レンズ12によるピント位置と撮像素子16の結像面との光軸方向のずれ量(デフォーカス量)を算出する。CPU40は、AF処理部42により算出されたデフォーカス量に基づいて、デフォーカス量がゼロになるレンズ位置に撮影レンズ12内のフォーカスレンズを移動させることによりAF制御(位相差AF)を行う。
AE検出部44は、画面全体のG画素の信号(G信号)を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値により被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいて絞り14のF値及び撮像素子16の電子シャッタ(シャッタ速度)を所定のプログラム線図にしたがって決定し、決定したF値及びシャッタ速度にしたがって絞り14のF値及び撮像素子16の電子シャッタ機能を制御して適正な露光量を得る。
そして、シャッタボタン2の「全押し」があると、CPU40は、メモリカード54に記録する静止画又は動画の撮像を開始させる。
また、ROM47は、カメラ制御プログラム、撮像素子16の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されているROM(Read Only Memory)、又はEEPROM(Electrically Erasable Programmable Read-Only Memory)である。本例では、このROM47に、RGB画素に対応するRGB信号からターゲット色の輝度を算出するために使用する係数(第2の係数)等が記憶されている。尚、第2の係数の詳細については後述する。
静止画又は動画の撮像時に撮像素子16から出力されるRGB信号(モザイク画像信号)は、画像入力コントローラ22からメモリ(SDRAM:Synchronous Dynamic Random Access Memory)48に入力し、一時的に記憶される。
メモリ48に一時的に記憶されたRGB信号(RAWデータ)は、画像処理部24により適宜読み出され、ここで、オフセット補正処理、ホワイトバランス補正処理、デモザイク処理、ガンマ補正処理、輝度及び色差変換処理等の信号処理が行われる。尚、画像処理部24の詳細については後述する。
画像処理部24により処理された画像データは、VRAM(Video RAM)50に入力される。VRAM50には、それぞれが1コマ分の画像を表す画像データを記録するA領域とB領域とが含まれている。VRAM50において1コマ分の画像を表す画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域及びB領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。
VRAM50から読み出された画像データは、ビデオエンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30に出力され、これによりライブビュー画像が連続的に液晶モニタ30の表示画面上に表示される。
圧縮伸張処理部26は、静止画又は動画の記録時に、画像処理部24により処理され、一旦メモリ48に格納された輝度信号(Y)及び色差信号(Cb),(Cr)に対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部26により圧縮された圧縮画像データは、メディアコントローラ52を介してメモリカード54に記録される。
また、圧縮伸張処理部26は、再生モード時にメディアコントローラ52を介してメモリカード54から得た圧縮画像データに対して伸張処理を施す。メディアコントローラ52は、メモリカード54に対する圧縮画像データの記録及び読み出しなどを行う。
<画像処理>
図4は、図3に示した撮像装置10の画像処理部24の実施形態を示す要部ブロック図である。
図4に示すように、画像処理部24は、主としてオフセット補正処理部61、WB(White Balance)補正処理部62、デモザイク処理部63、ガンマ補正処理部64、及び輝度及び色差変換処理部65を有している。
図4において、オフセット補正処理部61は、撮像素子16から取得される画像処理前のRAWデータ(RGBのモザイク状のRGB信号(RGBの色信号)を、点順次で入力する。尚、RAWデータは、例えば、RGB毎に12ビット(0〜4095)のビット長を有するデータ(1画素当たり2バイトのデータ)である。
オフセット補正処理部61は、入力するRGBの色信号に含まれる暗電流成分を補正する処理部であり、撮像素子16上の遮光画素から得られるオプティカルブラック(OB)の信号値を、RGBの色信号から減算することによりRGBの色信号のオフセット補正を行う。
オフセット補正されたRGBの色信号は、WB補正処理部62に加えられる。WB補正処理部62は、RGBの色毎に設定されたWBゲインを、それぞれRGBの色信号に乗算し、RGBの色信号のホワイトバランス補正を行う。WBゲインは、例えば、RGBの色信号に基づいて光源種が自動的に判定され、あるいは手動による光源種が選択され、判定又は選択された光源種に適したWBゲインが設定される。しかし、WBゲインの設定方法は、これに限らず、他の公知の方法により設定することができる。
デモザイク処理部63は、単板式の撮像素子16のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出するデモザイク処理(「同時化処理」ともいう)を行う部分であり、例えば、RGBの3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する。即ち、デモザイク処理部63は、点順次のRGBの色信号(モザイクデータ)から同時化されたRGB3面の色信号「R,G,B」を生成する。
デモザイク処理されたRGBの色信号「R,G,B」は、ガンマ補正処理部64に加えられる。
ガンマ補正処理部64は、入力する色信号「R,G,B」を対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるように色信号「R,G,B」に対して非線な階調補正処理を行う。
図5は、ガンマ補正処理部64によりガンマ補正される入出力特性(ガンマ特性)の一例を示すグラフである。本例では、ガンマ補正処理部64は、12ビット(0〜4095)の色信号「R,G,B」に対し、ガンマ特性に対応するガンマ補正を行い、8ビット(0〜255)の色信号「R,G,B」を生成する。ガンマ補正処理部64は、例えば、RGB毎のルックアップテーブルにより構成することができ、RGBの色毎にそれぞれ対応するガンマ補正を行うことが好ましい。尚、ガンマ補正処理部64は、入力データに対して、トーンカーブに沿った非線形な階調補正を行うものを含む。
ガンマ補正処理部64によりガンマ補正(ガンマ変換)された、撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号(色信号「R1,G1,B1」)は、輝度及び色差変換処理部65に加えられ、ここで、色信号「R1,G1,B1」から第1の輝度信号
「Y1」、及び色差信号「Cr,Cb」に変換される。ガンマ補正処理部64又は輝度及び色差変換処理部65は、本発明に係る3原色の色信号を取得する色信号取得部として機能する。
<輝度及び色差変換処理>
以下、本発明に係る画像処理装置に対応する輝度及び色差変換処理部65の第1の実施形態から第5の実施形態について説明する。
[第1の実施形態]
図6は、第1の実施形態の輝度及び色差変換処理部65−1を示すブロック図である。
図6に示す輝度及び色差変換処理部65−1は、主として第1の輝度信号生成部を含む輝度及び色差変換処理部70と、第2の輝度信号生成部72と、第3の輝度信号生成部74とから構成されている。
ガンマ変換後の3原色の色信号「R1,G1,B1」は、それぞれ輝度及び色差変換処理部70及び第2の輝度信号生成部72に出力される。
輝度及び色差変換処理部70は、入力するガンマ変換後の色信号「R1,G1,B1」に基づいて、標準の第1の輝度信号「Y1」と色差信号「Cr,Cb」とを生成する。
ここで、第1の輝度信号「Y1」とは、3原色の色信号「R1,G1,B1」に対して、標準の係数(第1の係数)による重み付け加算により生成される輝度信号をいい、色信号「R1,G1,B1」に対する第1の係数を、Kr1,Kg1,Kb1とすると、第1の輝度信号「Y1」は、次式により算出される。
[数3]
Y1=(Kr1 × R1 )+(Kg1 ×G1 )+(Kb1 ×B1
標準テレビ放送向けの規格である BT.601 では、ガンマ変換後の色信号「R1,G1,B1」に対する第1の係数「Kr1,Kg1,Kb1」として、以下の係数を使用している。
[数4]
Kr1 = 0.299
[数5]
Kg1 = 0.587
[数6]
Kb1 = 0.114
[数7]
Kr1 + Kg1 + Kb1 = 1.000
また、色差信号「Cr,Cb」は、BT.601 では、次式により算出される。
[数8]
Cr=0.713 ×(R1 − Y1) = 0.500 × R1 − 0.419 × G1 − 0.081 × B1
[数9]
Cb=0.713 ×(B1 − Y1) =−0.169 × R1 − 0.331 × G1 + 0.500 × B1
尚、HDTV(High-definition television)向けの規格であるBTA S-001Bでは、第1の係数「Kr1,Kg1,Kb1」として、[数4]式から[数6]式に示した第1の係数とは異なる係数が使用されている。
輝度及び色差変換処理部70の第1の輝度信号生成部は、ガンマ変換後の色信号「R1,G1,B1」と第1の係数「Kr1,Kg1,Kb1」とに基づいて[数3]式から第1の輝度信号「Y1」を算出し、算出した第1の輝度信号「Y1」を第3の輝度信号生成部74に出力する。
また、輝度及び色差変換処理部70は、[数7]式及び[数8]式に基づいてガンマ変換後の色信号「R1,G1,B1」から色差信号「Cr,Cb」を算出する。
第2の輝度信号生成部72は、ガンマ変換後の色信号「R1,G1,B1」から第2の輝度信号「Y2」を生成する部分であり、第1の係数「Kr1,Kg1,Kb1」とは異なる第2の係数
「Kr2,Kg2,Kb2」を使用し、次式により第2の輝度信号(Y2)を算出する。
[数10]
Y2=(Kr2 × R1 )+(Kg2 ×G1 )+(Kb2 ×B1
ここで、第2の係数「Kr2,Kg2,Kb2」としては、色信号「R1,G1,B1」にそれぞれ対応する第1の係数「Kr1,Kg1,Kb1」のうち、撮影画像内の輝度を制御しようとする所望の色(ターゲット色)に対応する係数の重みを低下させた係数(第2の係数)が使用される。
また、第2の係数「Kr2,Kg2,Kb2」は、重みを低下させた係数以外の係数の重みを上げ、第2の係数「Kr2,Kg2,Kb2」の総和が1になるようにすることが好ましい。
例えば、赤系のターゲット色の輝度を制御する場合、第2の係数「Kr2,Kg2,Kb2」のうちの赤の色信号「R1」に対応する係数「Kr2」の重みを、第1の係数「Kr1,Kg1,Kb1」のうちの係数「Kr1」よりも下げ、他の色の色信号「G1,B1」に対応する係数「Kg2,Kb2」の両方又は一方の重みを、係数「Kg1,Kb1」よりも上げる。ターゲット色が赤系の場合の第2の係数「Kr2,Kg2,Kb2」の数値例を、[数11]式〜[数13]式に示す。
[数11]
Kr2 = Kr1 / 2 = 0.150 ………(Kr1よりも重みを下げる)
[数12]
Kg2 = Kg1 ×(1-Kr2)/ (Kg1 + Kb1) = 0.712 ……(Kg1よりも重みを上げる)
[数13]
Kb2 = Kb1 ×(1-Kr2)/ (Kg1 + Kb1) = 0.138 ……(Kb1よりも重みを上げる)
[数14]
Kr2 + Kg2 + Kb2 = 1.000
[数4]式〜[数6]式に示した第1の係数「Kr1,Kg1,Kb1」で第1の輝度信号「Y1」を算出し、[数11]式〜[数13]式に示した第2の係数「Kr2,Kg2,Kb2」で第2の輝度信号「Y2」を算出した場合、第1の輝度信号「Y1」と第2の輝度信号「Y2」とは以下の関係になる。
(1) 赤系被写体ではY1>Y2であり、赤系以外ではY1<Y2となる。
(2) 高彩度な赤(「R1,G1,B1」の「R1」が支配的な被写体)では、Y1とY2との差分が大きく、低彩度な赤では、Y1とY2との差が小さい。無彩色では、Y1=Y2となる。
尚、[数11]式〜[数13]式に示した数値例は、ターゲット色が赤系の場合の第2の係数「Kr2,Kg2,Kb2」であるが、ターゲット色が赤系以外の場合には、そのターゲット色に対応する第2の係数「Kr2,Kg2,Kb2」が使用される。
例えば、緑系のターゲット色に対応する第2の係数「Kr2,Kg2,Kb2」は、第2の係数「Kr2,Kg2,Kb2」のうちの緑の色信号(G1)に対応する係数「Kg2」の重みを、第1の係数「Kr1,Kg1,Kb1」のうちの係数「Kg1」よりも下げる。
青系のターゲット色に対応する第2の係数「Kr2,Kg2,Kb2」は、第2の係数「Kr2,Kg2,Kb2」のうちの青の色信号(B1)に対応する係数「Kb2」の重みを、第1の係数「Kr1,Kg1,Kb1」のうちの係数「Kb1」よりも下げる。
また、黄系のターゲット色に対応する第2の係数「Kr2,Kg2,Kb2」は、第2の係数「Kr2,Kg2,Kb2」のうちの赤、緑の色信号「R1,G1」に対応する係数「Kr2,Kg2」の重みを、第1の係数「Kr1,Kg1,Kb1」のうちの係数「Kr1,Kg1」よりも下げる。
シアン系のターゲット色に対応する第2の係数「Kr2,Kg2,Kb2」は、第2の係数「Kr2,Kg2,Kb2」のうちの緑、青の色信号「G1,B1」に対応する係数「Kg2,Kb2」の重みを、第1の係数「Kr1,Kg1,Kb1」のうちの係数「Kg1,Kb1」よりも下げる。
マゼンタ系のターゲット色に対応する第2の係数「Kr2,Kg2,Kb2」は、第2の係数「Kr2,Kg2,Kb2」のうちの赤、青の色信号「R1,B1」に対応する係数「Kr2,Kb2」の重みを、第1の係数「Kr1,Kg1,Kb1」のうちの係数「Kr1, Kb1」よりも下げる。
第2の輝度信号生成部72は、ガンマ変換後の3原色の色信号「R1,G1,B1」と、上記のようにターゲット色に対応する第2の係数「Kr2,Kg2,Kb2」とを使用して、[数10]式により第2の輝度信号「Y2」を算出し、算出した第2の輝度信号「Y2」を第3の輝度信号生成部74に出力する。
第3の輝度信号生成部74は、輝度及び色差変換処理部70(第1の輝度信号生成部)から入力する第1の輝度信号「Y1」と、第2の輝度信号生成部72から入力する第2の輝度信号「Y2」とに基づいてターゲット色の輝度が制御された第3の輝度信号「Y」を生成する。
ところで、第1の輝度信号「Y1」と第2の輝度信号「Y2」とは、以下の関係を有する。
(1) ターゲット色に対応する第2の輝度信号「Y2」は、第1の輝度信号「Y1」よりも低くなる。
(2) 第1の輝度信号「Y1」と第2の輝度信号「Y2」とは、高彩度なターゲット色に対応する輝度信号ほど差が大きくなり、低彩度なターゲット色に対応する輝度信号ほど差が小さくなる。
したがって、第3の輝度信号生成部74は、第1の輝度信号「Y1」と第2の輝度信号「Y2」とにより、「高彩度なターゲット色」に対応する第1の輝度信号「Y1」、第2の輝度信号「Y2」を判別することができ、例えば「高彩度なターゲット色」に対して輝度が制御された第3の輝度信号「Y」を生成することができる。また、「高彩度なターゲット色」に対して輝度を制御することにより、「高彩度なターゲット色」だけ輝度コントラストを向上させ、又は抑制された第3の輝度信号「Y」を生成することができる。
そして、第1の実施形態の輝度及び色差変換処理部65−1は、第3の輝度信号生成部74により生成された第3の輝度信号「Y」と、輝度及び色差変換処理部70により生成された色差信号「Cr,Cb」とを後段の信号処理部に出力する。例えば、第3の輝度信号「Y」は、輪郭強調処理を行う輪郭強調回路に出力され、色差信号「Cr,Cb」は、色調補正を行う色差マトリクス回路に出力される。
[画像処理方法の第1の実施形態]
図7は、上記輝度及び色差変換処理部65−1により実施される画像処理方法の第1の実施形態を示すフローチャートである。
図7において、図6に示した輝度及び色差変換処理部65−1は、ガンマ変換後のRGBの3原色の色信号「R1,G1,B1」は、ガンマ補正処理部64(図4)から取得する(ステップS10)。
輝度及び色差変換処理部70に含まれる第1の輝度信号生成部は、標準の第1の係数「Kr1,Kg1,Kb1」(例えば、[数4]式〜[数6]式に示した係数)を用いて、ステップS10で取得した色信号「R1,G1,B1」から第1の輝度信号「Y1」を生成する(ステップS12)。
また、第2の輝度信号生成部72は、輝度を制御するターゲット色に対応して設定された第2の係数「Kr2,Kg2,Kb2」(例えば、赤系のターゲット色の場合には、[数11]式〜[数13]式に示した係数)を用いて、ステップS10で取得した色信号「R1,G1,B1」から第2の輝度信号「Y2」を生成する(ステップS14)。
第3の輝度信号生成部74は、ステップS12及びS14でそれぞれ生成された第1の輝度信号「Y1」及び第2の輝度信号「Y2」の信号値に応じて、ターゲット色の輝度が制御された第3の輝度信号「Y」を生成する(ステップS16)。
これにより、ターゲット色の輝度が制御された第3の輝度信号を生成することができる。例えば、第1の輝度信号と第2の輝度信号との混合率を調整することで、特定の色相かつ高彩度な被写体の輝度の制御が可能であり、また、色差信号「Cr,Cb」は変化しないため、色(彩度及び色相)への影響が生じないようにすることができる。
[第2の実施形態]
図8は、第2の実施形態の輝度及び色差変換処理部65−2を示すブロック図である。尚、図8において、図6に示した第1の実施形態の輝度及び色差変換処理部65−1と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図8に示す第2の実施形態の輝度及び色差変換処理部65−2は、第1の実施形態の輝度及び色差変換処理部65−1と比較して混合率取得部76が追加され、かつ第3の輝度信号生成部74−2により生成される具体的な第3の輝度信号が相違する。
図8において、輝度及び色差変換処理部70に含まれる第1の輝度信号生成部により生成された標準の第1の輝度信号「Y1」は、第3の輝度信号生成部74−2及び混合率取得部76に加えられる。
混合率取得部76は、入力する第1の輝度信号「Y1」の大きさに応じた混合率「Ratio」を取得し、取得した混合率「Ratio」を第3の輝度信号生成部74−2に出力する。
図9は、第1の輝度信号「Y1」の大きさと混合率「Ratio」との関係の一例を示すグラフである。
第1の輝度信号「Y1」は8ビットの信号であるため、第1の輝度信号「Y1」の大きさは「0〜255」の範囲内の信号値であり、また、混合率「Ratio」は「0〜1」の変域を有している。また、本例では、第1の輝度信号「Y1」が「0」及びその近傍の信号値に対する混合率「Ratio」は「1」であり、第1の輝度信号「Y1」の大きさに比例して混合率「Ratio」は小さくなり、第1の輝度信号「Y1」が「255」及びその近傍の信号値に対する混合率「Ratio」は「1」である。
混合率取得部76は、図9のグラフに示した第1の輝度信号「Y1」と混合率「Ratio」との関係が記憶されたテーブル(ルックアップテーブル)を参照して、入力する第1の輝度信号「Y1」の大きさに対応する混合率「Ratio」をテーブルから読み出し、又は図9のグラフに示した第1の輝度信号「Y1」と混合率「Ratio」との関係を示す関係式を使用して、入力する第1の輝度信号「Y1」の大きさに対応する混合率「Ratio」を算出し、テーブルから読み出し又は関係式から算出した混合率「Ratio」を第3の輝度信号生成部74−2に出力する。
尚、第1の輝度信号「Y1」と混合率「Ratio」との関係を示すテーブル又は関係式は、撮像装置10のROM47に予め記憶されているものを使用することができる。また、撮影画像ごとに第1の輝度信号「Y1」と混合率「Ratio」との関係を算出して、テーブル又は関係式を生成してもよい。例えば、撮影画像の輝度のヒストグラムを作成し、作成したヒストグラムに基づいて混合率「Ratio」を「1」にする第1の輝度信号「Y1」の範囲、混合率「Ratio」を「0」にする第1の輝度信号「Y1」の範囲、及び混合率「Ratio」を「1〜0」の範囲で線形に変化させる範囲をそれぞれ決定し、第1の輝度信号「Y1」と混合率「Ratio」との関係を示すテーブル又は関係式を生成する。
また、本例の混合率取得部76は、第1の輝度信号「Y1」の大きさに応じた混合率「Ratio」を取得するが、これに限らず、第2の輝度信号生成部72により生成された第2の輝度信号「Y2」を入力し、第2の輝度信号「Y2」の大きさに応じた混合率「Ratio」を取得するようにしてもよい。
第3の輝度信号生成部74−2は、混合率取得部76から加えられる混合率「Ratio」
に基づいて、輝度及び色差変換処理部70から入力する第1の輝度信号「Y1」と、第2の輝度信号生成部72から入力する第2の輝度信号「Y2」とを、次式により加重平均し、第3の輝度信号「Y」を生成する。
[数15]
Y=Y1×(1-Ratio)+ Y2× Ratio
[数16]
0≦ Ratio ≦1
図10は、第1の輝度信号「Y1」、第2の輝度信号「Y2」、及び第1の輝度信号「Y1」と第2の輝度信号「Y2」とを加重平均して生成した第3の輝度信号「Y」を示すグラフである。
図10に示すように、ターゲット色に対応する第2の輝度信号「Y2」は、第1の輝度信号「Y1」よりも低くなり、また、第1の輝度信号「Y1」と第2の輝度信号「Y2」とは、高彩度なターゲット色に対応する輝度信号ほど差が大きくなり、低彩度なターゲット色に対応する輝度信号ほど差が小さくなる。
そして、第1の輝度信号「Y1」と第2の輝度信号「Y2」とを、図9に示す混合率「Ratio」を使用して、[数15]式により加重平均して生成した第3の輝度信号「Y」は、図10に示すように一般的な従来の第1の輝度信号「Y1」と比較して被写体の明るさの変化に対する輝度信号の変化(明暗差)が大きくなる。即ち、第2の輝度信号「Y2」は、第1の輝度信号「Y1」よりも傾きが急峻になり、輝度コントラストが高くなる。
尚、第1の輝度信号「Y1」に対する第2の輝度信号「Y2」の比率を示す混合率「Ratio」は、第1の輝度信号「Y1」が大きいほど小さくなり、第1の輝度信号「Y1」が小さいほど大きくなる場合(図9の例)に限らず、第1の輝度信号「Y1」が大きいほど大きくなり、第1の輝度信号「Y1」が小さいほど小さくなるようにしてもよい。後者の混合率「Ratio」の場合、第2の輝度信号「Y2」は、第1の輝度信号「Y1」よりも傾きが緩やかになり、輝度コントラストが低くなる。また、混合率「Ratio」は、第1の輝度信号「Y1」の変化に対して線形に変化する場合に限らず、非線形に変化するものでもよい。
また、混合率取得部76は、第1の輝度信号「Y1」と混合率「Ratio」との関係を示すテーブル又は関係式に基づいて、第1の輝度信号「Y1」に対応する混合率「Ratio」
を取得するが、ターゲット色ごとに異なるテーブル又は関係式を使用して第1の輝度信号「Y1」に対応する混合率「Ratio」を取得するようにしてもよい。この場合、第3の輝度信号生成部74−2は、ターゲット色に応じて輝度の制御方法が異なる第3の輝度信号「Y」を生成することができる。
[画像処理方法の第2の実施形態]
図11は、上記輝度及び色差変換処理部65−2により実施される画像処理方法の第2の実施形態を示すフローチャートである。尚、図11において、図7に示した第1の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
図11に示す第2の実施形態の画像処理方法は、第1の輝度信号「Y1」及び第2の輝度信号「Y2」を生成するまでの処理は、第1の実施形態と同じである。
混合率取得部76は、ステップS12により生成した第1の輝度信号「Y1」(又はステップS14により生成した第2の輝度信号「Y2」)と、第1の輝度信号「Y1」(又は第2の輝度信号「Y2」)と混合率「Ratio」との関係を示すテーブル又は関係式とに基づいて第1の輝度信号「Y1」(又は第2の輝度信号「Y2」)の信号の大きさに応じた混合率「Ratio」を取得する(ステップS20)。
第3の輝度信号生成部74−2は、ステップS12及びS14でそれぞれ生成された第1の輝度信号「Y1」と第2の輝度信号「Y2」とを、ステップS20により取得した混合率「Ratio」に応じて加重平均し、第3の輝度信号「Y」を生成する(ステップS22)。
これにより、ターゲット色の輝度が制御された第3の輝度信号を生成することができ、また、色(彩度及び色相)への影響が生じないようにすることができる。
[第3の実施形態]
図12は、第3の実施形態の輝度及び色差変換処理部65−3を示すブロック図である。尚、図12において、図8に示した第2の実施形態の輝度及び色差変換処理部65−2と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図12に示す第3の実施形態の輝度及び色差変換処理部65−3は、第2の実施形態の輝度及び色差変換処理部65−2と比較して第3の輝度信号生成部74−3が相違する。
図12に示す第3の輝度信号生成部74−3は、輝度信号比較器75を更に備えている。輝度信号比較器75は、輝度及び色差変換処理部70から入力する第1の輝度信号「Y1」と、第2の輝度信号生成部72から入力する第2の輝度信号「Y2」とを比較し、第1の輝度信号「Y1」よりも第2の輝度信号「Y2」が高い場合には、第1の輝度信号「Y1」をそのまま第3の輝度信号「Y」として出力する。
第1の輝度信号「Y1」よりも第2の輝度信号「Y2」が高くなる場合の、第1の輝度信号「Y1」及び第2の輝度信号「Y2」は、ターゲット色の色相に対応する輝度信号ではないからである。そして、第1の輝度信号「Y1」よりも第2の輝度信号「Y2」が高くなる場合、第1の輝度信号「Y1」をそのまま第3の輝度信号「Y」として出力することにより、ターゲット色以外の色相に対応する輝度信号が変動しないように(輝度の制御がされないように)する。
一方、第3の輝度信号生成部74−3は、輝度信号比較器75により第1の輝度信号「Y1」が第2の輝度信号「Y2」以下と判別されると、第2の実施形態と同様に第1の輝度信号「Y1」と第2の輝度信号「Y2」とを、混合率取得部76により取得された混合率「Ratio」に応じて加重平均して第3の輝度信号「Y」を生成し、生成した第3の輝度信号「Y」を出力する。
これにより、ターゲット色の色相に対応する輝度のみを制御することができる。
[画像処理方法の第3の実施形態]
図13は、上記輝度及び色差変換処理部65−3により実施される画像処理方法の第3の実施形態を示すフローチャートである。尚、図13において、図11に示した第2の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
図13に示す第3の実施形態の画像処理方法は、ステップS30及びステップS32の処理が追加されている点で、第2の実施形態と相違する。
ステップS30では、ステップS12により生成された第1の輝度信号「Y1」とステップS14により生成された第2の輝度信号「Y2」とが比較され、第1の輝度信号「Y1」が第2の輝度信号「Y2」よりも高い場合(「Yes」の場合)には、ステップS20に遷移させる。そして、輝度及び色差変換処理部65−3は、第2の実施形態と同様にして第3の輝度信号「Y」を生成する(ステップS20、S22)。
一方、第1の輝度信号「Y1」が第2の輝度信号「Y2」よりも高くない場合(「No」の場合)には、ステップS32に遷移させる。
ステップS32では、第1の輝度信号「Y1」、第2の輝度信号「Y2」及び混合率「Ratio」から第3の輝度信号「Y」を生成せずに、第1の輝度信号「Y1」をそのまま第3の輝度信号「Y」として出力する。
これにより、ターゲット色以外の色相の輝度が制御されず、ターゲット色の輝度のみが制御された第3の輝度信号を生成することができ、また、色(彩度及び色相)への影響が生じないようにすることができる。
[第4の実施形態]
図14は、第4の実施形態の輝度及び色差変換処理部65−4を示すブロック図である。尚、図14において、図12に示した第3の実施形態の輝度及び色差変換処理部65−3と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図14に示す第4の実施形態の輝度及び色差変換処理部65−4は、第3の実施形態の輝度及び色差変換処理部65−3と比較して色相算出部78、補正係数取得部80及び補正係数設定部82が追加され、かつ第3の輝度信号生成部74−4による第3の輝度信号「Y」の生成方法が相違する。
図14において、色相算出部78にはガンマ変換後の色信号「R1,G1,B1」が加えられており、色相算出部78は、入力する色信号「R1,G1,B1」に基づいて画素ごとに色相「H」を算出する。色相「H」は、色相(Hue)、彩度(Saturation Chroma)、及び明度(Value Lightness Brightness)の3つの成分からなるHSV色空間における色相(Hue)であり、RGB色空間の色信号「R1,G1,B1」から公知の変換式により算出することができる。また、色相「H」は、ガンマ変換後の色信号「R1,G1,B1」を、L*a*b*色空間に変換し、a*b*の値から取得することができる。尚、色相「H」は、HSV色空間では0〜360°の範囲で変化する角度として表され、例えば、赤の色相「H」は0°である。
色相算出部78により算出された色相「H」は、補正係数取得部80に出力される。
補正係数設定部82は、ターゲット色の色相の重みが大きく、ターゲット色から色相が離れる程、重みが小さい補正係数を設定する部分である。
図15は、ターゲット色の色相「H」が赤の場合に設定される、色相「H」(H:0〜360°)と補正係数「C」(C:0〜1.0)との関係を示すグラフである。補正係数設定部82は、図15のグラフに対応するテーブル又は関係式をターゲット色ごとに有し、ターゲット色が設定されると、そのターゲット色に対応する補正係数(補正係数を示すテーブル又は関係式)を設定する。
補正係数取得部80は、色相算出部78により算出された色相「H」に応じて補正係数設定部82から対応する補正係数「C」を取得する。例えば、図15に示すようにターゲット色が赤に設定されている場合、色相算出部78により算出された色相「H」が0°(赤)のときには補正係数「C」として「1.0」を取得し、色相「H」が90°〜270°の範囲のときには補正係数「C」として「0」を取得し、色相「H」が0°〜90°及び270°〜360°の範囲のときは補正係数「C」として、色相「H」に応じた「0〜1.0」の範囲内の補正係数を取得する。
即ち、補正係数取得部80は、色相算出部78から入力する色相「H」が、ターゲット色と一致する色相の場合には、補正係数「C」として最も大きい補正係数「1.0」を取得し、ターゲット色から色相「H」が離れるにしたがって補正係数「C」として小さい補正係数を取得する。
補正係数取得部80により取得された補正係数「C」は、第3の輝度信号生成部74−4に出力される。
第3の輝度信号生成部74−4の他の入力には、第1の輝度信号「Y1」、第2の輝度信号「Y2」、及び混合率「Ratio」が加えられており、第3の輝度信号生成部74−4は、第1の輝度信号「Y1」と第2の輝度信号「Y2」とを、混合率「Ratio」及び補正係数「C」に基づいて加重平均して第3の輝度信号「Y」を生成する。
下記の[数16]式は、第1の輝度信号「Y1」と第2の輝度信号「Y2」とを、混合率「Ratio」及び補正係数「C」により加重平均し、第3の輝度信号「Y」を算出する計算式の一例である。
[数16]
Y=Y1×(1-Ratio×C)+ Y2×Ratio×C
第2の輝度信号「Y2」を生成するための第2の係数「Kr2,Kg2,Kb2」だけは精度良くターゲット色の色相を設定するのは困難であるが、第4の実施形態によれば、より精度高くターゲットの被写体の色の色相を設定することができる。
[画像処理方法の第4の実施形態]
図16は、上記輝度及び色差変換処理部65−4により実施される画像処理方法の第4の実施形態を示すフローチャートである。尚、図16において、図11に示した第2の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
図16に示す第4の実施形態の画像処理方法は、図11に示した第2の実施形態のステップS22の処理の代わりに、ステップS40、ステップS42及びステップS44の処理を行う点で相違する。
図16において、色相算出部78は、ガンマ変換後の色信号「R1,G1,B1」に基づいて画素ごとに色相「H」を算出(取得)する(ステップS40)。
補正係数取得部80は、ステップS40で取得された色相「H」に対応する補正係数「C」を取得する(ステップS42)。この補正係数「C」は、入力する色信号「R1,G1,B1」に対応する色相「C」が、ターゲット色と一致する色相の場合には最も大きく、ターゲット色から色相「H」が離れるにしたがって小さくなる補正係数である。
続いて、第3の輝度信号生成部74は、ステップS12及びS14でそれぞれ生成された第1の輝度信号「Y1」と第2の輝度信号「Y2」とを、ステップS20及びステップS40により取得した混合率「Ratio」及び補正係数「C」に応じて加重平均し([数16]式参照)、第3の輝度信号「Y」を生成する(ステップS44)。
これにより、より精度高くターゲット色の色相を設定することができ、ターゲット色の輝度が制御された第3の輝度信号を生成することができ、また、色(彩度及び色相)への影響が生じないようにすることができる。
[第5の実施形態]
図17は、第5の実施形態の輝度及び色差変換処理部65−5を示すブロック図である。尚、図17において、図6に示した第1の実施形態の輝度及び色差変換処理部65−1と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図17に示す第5の実施形態の輝度及び色差変換処理部65−5は、第1の実施形態の輝度及び色差変換処理部65−1と比較してターゲット色設定部84、及び第2の係数取得部86が追加され、かつ第2の輝度信号生成部72−5による第2の輝度信号「Y2」の生成方法が相違する。
図17において、ターゲット色設定部84は、nを2以上の整数とすると、ユーザ操作によりn個(n色)のターゲット色を同時に設定することができるものである。ターゲット色設定部84により設定されたn色のターゲット色を示す情報は、第2の係数取得部86に出力される。
第2の係数取得部86は、n色のターゲット色を示す情報に基づいて、n色のターゲット色にそれぞれ対応するn個(n組)の第2の係数「Kr2,Kg2,Kb2」を取得する。第2の係数「Kr2,Kg2,Kb2」は、ターゲット色の色ごとに予め準備されており、第2の係数取得部86は、n色のターゲット色が同時に設定されると、同時に設定されたn色のターゲット色にそれぞれ対応するn個の第2の係数「Kr2,Kg2,Kb2」を取得し、n個の第2の係数
「Kr2,Kg2,Kb2」を第2の輝度信号生成部72−5に出力する。
第2の輝度信号生成部72−5の他の入力には、ガンマ変換後の色信号「R1,G1,B1」が加えられており、第2の輝度信号生成部72−5は、色信号「R1,G1,B1」とn個の第2の係数「Kr2,Kg2,Kb2」とに基づいて第2の輝度信号「Y」の候補であるn個の輝度信号を生成し、n個の輝度信号のうちの最小の輝度信号を第2の輝度信号「Y2」として第3の輝度信号生成部74に出力する。
ターゲット色に対応する第2の係数「Kr2,Kg2,Kb2」は、ガンマ変換後の色信号「R1,G1,B1」がターゲット色に近い程、生成される輝度信号が小さくなる係数が設定されており、同時に生成されるn個の輝度信号のうちの最小の輝度信号は、n個のターゲット色のうちのいずれかのターゲット色に対応するものとなるからである。
第3の輝度信号生成部74は、輝度及び色差変換処理部70(第1の輝度信号生成部)から入力する第1の輝度信号「Y1」と、第2の輝度信号生成部72−5から入力する第2の輝度信号「Y2」とに基づいてn色のターゲット色の輝度が制御された第3の輝度信号「Y」を生成する。
これにより、色相の異なる複数のターゲット色に対応する輝度を同時に制御することができる。
[画像処理方法の第5の実施形態]
図18は、上記輝度及び色差変換処理部65−5により実施される画像処理方法の第5の実施形態を示すフローチャートである。尚、図18において、図7に示した第1の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
図18に示す第5の実施形態の画像処理方法は、図7に示した第1の実施形態のステップS14の処理の代わりに、ステップS50及びステップS52の処理を行う点で相違する。
図18において、第2の輝度信号生成部72−5は、第2の係数取得部86からn色のターゲット色にそれぞれ対応するn個の第2の係数「Kr2,Kg2,Kb2」を取得し、ガンマ変換後の色信号「R1,G1,B1」とn個の第2の係数「Kr2,Kg2,Kb2」とに基づいてn個の輝度信号を生成する(ステップS50)。
続いて、第2の輝度信号生成部72−5は、生成したn個の輝度信号のうちの最小の輝度信号を第2の輝度信号「Y2」として出力する(ステップS52)。
第3の輝度信号生成部74は、ステップS12及びステップS52により取得される第1の輝度信号「Y1」及び第2の輝度信号「Y2」に基づいてn色のターゲット色の輝度が制御された第3の輝度信号「Y」を生成する(ステップS16)。
これにより、色相の異なる複数のターゲット色に対応する輝度を同時に制御することができる。
[第6の実施形態]
図19は、第6の実施形態の輝度及び色差変換処理部65−6を示すブロック図である。尚、図19において、図17に示した第5の実施形態の輝度及び色差変換処理部65−5と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図19に示す第6の実施形態の輝度及び色差変換処理部65−6は、第5の実施形態の輝度及び色差変換処理部65−5と比較して混合率取得部76−6が追加され、かつ第2の輝度信号生成部72−6及び第3の輝度信号生成部74−2の機能が相違する。
第2の輝度信号生成部72−6は、第5の実施形態と同様に、色信号「R1,G1,B1
とn個の第2の係数「Kr2,Kg2,Kb2」とに基づいて第2の輝度信号「Y」の候補であるn個の輝度信号を生成し、n個の輝度信号のうちの最小の輝度信号を第2の輝度信号「Y2」として第3の輝度信号生成部74に出力する点で第4の実施形態と共通する。第2の輝度信号生成部72−6は、更に最小の輝度信号となった第2の輝度信号「Y2」が、n個のターゲット色のうちのいずれのターゲット色に対応するかを示す情報(ターゲット色の情報)を混合率取得部76−6に出力する。尚、第2の輝度信号生成部72−6は、n個の輝度信号のうちの最小の輝度信号となった第2の輝度信号「Y2」が、n個の第2の係数「Kr2,Kg2,Kb2」のうちのいずれの第2の係数に基づいて生成したかが分かるため、最小の輝度信号となった第2の輝度信号「Y2」に対応するターゲット色の情報を取得することができる。
混合率取得部76−6は、図8に示した第2の実施形態の混合率取得部76と同様に、ターゲット色に対応するテーブル又は関係式であって、第1の輝度信号「Y1」と混合率「Ratio」との関係を示すテーブル又は関係式を使用して、第1の輝度信号「Y1」の大きさに応じた混合率「Ratio」を取得する。更に、本例の混合率取得部76−6は、ターゲット色設定部84によりn個のターゲット色が設定される場合、設定されたn個のターゲット色に対応するn個のテーブル又は関係式を使用して、n個の混合率「Ratio」を取得する。そして、混合率取得部76−6は、上記のようにして取得したn個の混合率「Ratio」のうちから、第2の輝度信号生成部72−6から入力するターゲット色(第2の輝度信号生成部72−6から出力される第2の輝度信号「Y2」に対応するターゲット色)の情報に基づいて1つの混合率「Ratio」を選択し、選択した混合率「Ratio」を第3の輝度信号生成部74−2に出力する。
例えば、ターゲット色設定部84により2つのターゲット色(第1のターゲット色及び第2のターゲット色)が設定された場合、混合率取得部76−6は、第1のターゲット色に対応するテーブル又は関係式(例えば、図9のグラフに対応するテーブル又は関係式)と、第2のターゲット色に対応するテーブル又は関係式(例えば、図20のグラフに対応するテーブル又は関係式)とを使用し、第1の輝度信号「Y1」の大きさに応じた2つの混合率「Ratio」(第1の混合率「Ratio」と第2の混合率「Ratio」)を取得する。そして、第2の輝度信号生成部72−6から第1のターゲット色に対応する第2の輝度信号「Y2」が出力されている場合には、第1の混合率「Ratio」を第3の輝度信号生成部74−2に出力し、第2のターゲット色に対応する第2の輝度信号「Y2」が出力されている場合には、第2の混合率「Ratio」を第3の輝度信号生成部74−2に出力する。
尚、本例では、ターゲット色設定部84によりn個のターゲット色が設定される場合、n個のターゲット色に対応するテーブル又は関係式を使用して、n個の混合率「Ratio」
を取得し、n個の混合率「Ratio」のうちから、第2の輝度信号「Y2」がいずれのターゲット色に対応するものであるかに応じた混合率「Ratio」を選択するようにした。しかし、本発明は、これに限らず、混合率取得部76−6は、ターゲット色設定部84によりn個のターゲット色が設定される場合、設定されたn個のターゲット色に対応するn個のテーブル又は関係式から、第2の輝度信号「Y2」がいずれのターゲット色に対応するものであるかに応じて、いずれか1つのテーブル又は関係式を選択し、選択したテーブル又は関係式を使用して、第1の輝度信号「Y1」の大きさに応じた混合率「Ratio」を取得するようにしてもよい。
第3の輝度信号生成部74−2は、第1の輝度信号「Y1」と第2の輝度信号「Y2」とを、混合率取得部76−6から入力する混合率「Ratio」に基づいて加重平均し、第3の輝度信号「Y」を生成する。
これにより、色相の異なる複数のターゲット色に対応する輝度を同時に制御することができ、かつターゲット色により異なる輝度の制御ができる。
[画像処理方法の第6の実施形態]
図21は、上記輝度及び色差変換処理部65−6により実施される画像処理方法の第6の実施形態を示すフローチャートである。尚、図21において、図18に示した第5の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
図21に示す第6の実施形態の画像処理方法は、ステップS60及びステップS64の処理が追加され、また、ステップS16の代わりにステップS22の処理を行う点で、第5の実施形態と相違する。
図21において、混合率取得部76−6は、ターゲット色設定部84によりn個のターゲット色が設定される場合、設定されたn個のターゲット色に対応するn個のテーブル又は関係式を使用して、ステップS12で取得した第1の輝度信号「Y1」の大きさに応じてn個の混合率「Ratio」を取得する(ステップS60)。
第2の輝度信号生成部72−5は、ガンマ変換後の色信号「R1,G1,B1」とn個のターゲット色に対応するn個の第2の係数「Kr2,Kg2,Kb2」によりn個の輝度信号を生成し、n個の輝度信号のうちの最小の輝度信号を第2の輝度信号「Y2」として出力するが(ステップS52)、混合率取得部76−6は、ステップS52により生成された第2の輝度信号「Y2」が、n個のターゲット色のいずれに対応するかに応じてn個の混合率「Ratio」から対応する混合率「Ratio」を選択する(ステップS64)。
第3の輝度信号生成部74−2は、ステップS12及びS52でそれぞれ生成された第1の輝度信号「Y1」と第2の輝度信号「Y2」とを、ステップS64により取得した混合率「Ratio」に応じて加重平均し、第3の輝度信号「Y」を生成する(ステップS22)。
これにより、色相の異なる複数のターゲット色に対応する輝度を同時に制御することができ、かつターゲット色により異なる輝度の制御ができる。
<変形例>
上述の撮像装置10は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組合せによって適宜実現可能である。例えば、上述の撮像装置10の処理部(画像処理部24、特に輝度及び色差変換処理部65等)を含む画像処理装置、及び撮像装置10の処理部における画像処理方法(ステップ、処理手順)をコンピュータに実行させる画像処理プログラム、そのような画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのような画像処理プログラムをインストール可能な各種のコンピュータに対しても、本発明を適用することが可能である。
また、本発明をコンピュータなどの外部の画像処理装置に適用する場合、外部の画像処理装置は、RAWデータ記録が可能な撮像装置からRAWデータを取得し、取得したRAWデータのRAW現像処理とともに、本発明に係る画像処理を行うことが好ましい。
更に、本発明を適用可能な撮像装置の態様としては、図1に示した撮像装置10には限定されず、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、及び携帯型ゲーム機等が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
<スマートフォンの構成>
図22は、撮像装置の一実施形態であるスマートフォンの外観を示す図である。
図22に示すスマートフォン100は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141(撮像部)とを備える。尚、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図23は、図22に示したスマートフォン100の内部構成を示すブロック図である。図23に示すように、スマートフォン100の主たる構成要素として、無線通信部110と、表示入力部120と、通話部130と、操作部140と、カメラ部141と、記憶部150と、外部入出力部160(出力部)と、GPS受信部170と、モーションセンサ部180と、電源部190と、主制御部101とを備える。また、スマートフォン100の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部110は、主制御部101の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びウェブデータやストリーミングデータなどの受信が行われる。
表示入力部120は、表示パネル121の画面上に配設された操作パネル122を備えたいわゆるタッチパネルであり、主制御部101の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。尚、操作パネル122を便宜上、タッチパネルとも称す。
表示パネル121は、LCD(Liquid Crystal Display)又はOELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いる。操作パネル122は、表示パネル121の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される1又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル122は、操作に起因して発生する検出信号を主制御部101に出力する。次いで、主制御部101は、受信した検出信号に基づいて、表示パネル121上の操作位置(座標)を検出する。
図22に例示されるスマートフォン100の表示パネル121と操作パネル122とは一体となって表示入力部120を構成し、操作パネル122が表示パネル121を完全に覆うような配置となっている。その配置を採用した場合、操作パネル122は、表示パネル121外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル122は、表示パネル121に重なる重畳部分についての検出領域(以下、「表示領域」という)と、それ以外の表示パネル121に重ならない外縁部分についての検出領域(以下、「非表示領域」という)とを備えていてもよい。
尚、表示領域の大きさと表示パネル121の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル122が、外縁部分及びそれ以外の内側部分の2つの感応領域を備えていてもよい。更に、その外縁部分の幅は、筐体102の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル122で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。
通話部130は、スピーカ131及びマイクロホン132を備え、マイクロホン132を通じて入力されたユーザの音声を主制御部101にて処理可能な音声データに変換して主制御部101に出力したり、無線通信部110或いは外部入出力部160により受信された音声データを復号してスピーカ131から出力したりする。また、図22に示すように、例えば、スピーカ131及びマイクロホン132を表示入力部120が設けられた面と同じ面に搭載することができる。
操作部140は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図22に示すように、操作部140は、スマートフォン100の筐体102の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。
記憶部150は、主制御部101の制御プログラムや制御データ、ゲーム用のアプリケーションソフトウェア、本発明に係る画像処理プログラムを含む各種のアプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。
また、記憶部150は、スマートフォン内蔵の内部記憶部151と着脱自在な外部メモリスロットを有する外部記憶部152とにより構成される。尚、記憶部150を構成する内部記憶部151及び外部記憶部152のそれぞれは、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、RAM (Random Access Memory)、或いはROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部160は、スマートフォン100に連結される全ての外部機器とのインターフェースの役割を果たし、通信等(例えば、USB(Universal Serial Bus)、IEEE1394など)又はネットワーク(例えば、ネットワーク、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により他の外部機器に直接的又は間接的に接続する。
スマートフォン100に連結される外部機器としては、例えば、有線/無線ヘッドセット、有線/無線外部充電器、有線/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、有線/無線接続される外部オーディオ・ビデオ機器、スマートフォン、パーソナルコンピュータ、PDA(Personal Digital Assistant)、及びイヤホンなどがある。外部入出力部160は、このような外部機器から伝送を受けたデータをスマートフォン100の内部の各構成要素に伝達したり、スマートフォン100の内部のデータが外部機器に伝送されたりするように構成されてもよい。
GPS受信部170は、主制御部101の指示に従って、GPS衛星ST1、ST2〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン100の緯度、経度及び高度によって特定される位置情報(GPS情報)を取得する。GPS受信部170は、無線通信部110及び/又は外部入出力部160(例えば、無線LAN)から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部180は、例えば、3軸の加速度センサなどを備え、主制御部101の指示に従って、スマートフォン100の物理的な動きを検出する。スマートフォン100の物理的な動きを検出することにより、スマートフォン100の動く方向や加速度が検出される。その検出の結果は、主制御部101に出力される。
電源部190は、主制御部101の指示に従って、スマートフォン100の各部に、バッテリ(図示しない)に蓄えられる電力を供給する。
主制御部101は、マイクロプロセッサを備え、記憶部150が記憶する制御プログラムや制御データに従って動作し、スマートフォン100の各部を統括して制御する。また、主制御部101は、無線通信部110を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。
アプリケーション処理機能は、記憶部150が記憶するアプリケーションソフトウェアに従って主制御部101が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部160を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びウェブページを閲覧するウェブブラウジング機能の他、本発明に係る画像処理機能などがある。
また、主制御部101は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部120に表示する等の画像処理機能を備える。また、画像処理機能には、図4等に示した画像処理部24により行われる画像処理を含む。
更に、主制御部101は、表示パネル121に対する表示制御と、操作部140や操作パネル122を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部101は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル121の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部101は、操作部140を通じたユーザ操作を検出したり、操作パネル122を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部101は、操作パネル122に対する操作位置が、表示パネル121に重なる重畳部分(表示領域)に該当するか、或いはそれ以外の表示パネル121に重ならない外縁部分(非表示領域)に該当するかを判定し、操作パネル122の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部101は、操作パネル122に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部141は、主制御部101の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic Experts Group)などの圧縮した画像データに変換し、その画像データを記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることができる。図22に示すようにスマートフォン100において、カメラ部141は表示入力部120と同じ面に搭載されているが、カメラ部141の搭載位置はこれに限らず、表示入力部120が設けられる筐体102の表面ではなく筐体102の背面にカメラ部141が搭載されてもよいし、或いは複数のカメラ部141が筐体102に搭載されてもよい。尚、複数のカメラ部141が搭載されている場合には、撮像に供するカメラ部141を切り替えて単独のカメラ部141によって撮像が行われてもよいし、或いは複数のカメラ部141を同時に使用して撮像が行われてもよい。
また、カメラ部141はスマートフォン100の各種機能に利用することができる。例えば、カメラ部141で取得した画像が表示パネル121に表示されてもよいし、操作パネル122の操作入力手法の一つとして、カメラ部141で撮像取得される画像が利用されてもよい。また、GPS受信部170が位置を検出する際に、カメラ部141からの画像が参照されて位置が検出されてもよい。更には、カメラ部141からの画像が参照されて、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン100のカメラ部141の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部141からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、GPS受信部170により取得された位置情報、マイクロホン132により取得された音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、及びモーションセンサ部180により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることもできる。
[その他]
本発明の実施形態では、3原色の色信号「RGB」から変換される輝度信号「Y」及び色差信号「Cb,Cr」の輝度信号「Y」で本発明に係る制御を実施するようにしたが、これに限らず、例えば、L*a*b*色空間における明度を示す「L*」で実施するようにしてもよい。
図24は各種色空間の関係を示す図である。RGB色空間の色信号「R,G,B」は、ガンマ変換後の色信号「R1,G1,B1」と、YCbCr変換用の3x3係数マトリクスとによるマトリクス演算により輝度信号及び色差信号「Y,Cb,Cr」に変換される。
一方、RGB色空間の色信号「R,G,B」は、色信号「R,G,B」とXYZ変換用の3x3の係数マトリクスとのマトリクス演算によりXYZ色空間の値「X,Y,Z」に変換することができる。更にXYZ色空間の値「X,Y,Z」は、変換式によりL*a*b*色空間の3つの値「L*,a*,b*」に変換することができる。
<本発明をYCbCrのYで実施する場合>
この場合、本発明に係る第3の輝度信号「Y」は、色差信号「Cb,Cr」の演算には関係しない。即ち、色差信号「Cb,Cr」は、ガンマ変換後の色信号「R1,G1,B1」と標準の3x3係数マトリクス(BT.601、BT.709などで規定されている係数マトリクス)とから算出した値である。
色差信号としてL*a*b*色空間のa*とb*を使用する場合、色差信号「a*,b*」は、本発明に係る第3の輝度信号「Y」を使用して算出する。即ち、色差信号「a*,b*」は、第3の輝度信号「Y」を適用した「Y,Cb,Cr」から、図24に示した関係図の変換式を使用して算出する。
<本発明をL*a*b*のL*で実施する場合>
この場合、色差信号「Cb,Cr」の演算には、本発明に係る第3の輝度信号「L*」を使用して演算する。即ち、第3の輝度信号「L*」を適用した各値「L*,a*,b*」から、図24に示した関係図の変換式を使用して算出する。
一方、色差信号としてL*a*b*色空間のa*とb*を使用する場合、本発明に係る第3の輝度信号「L*」は、色差信号「a*,b*」の演算には関係しない。即ち、色差信号「a*,b*」は、XYZ色空間の値「X,Y,Z」から変換式によりL*a*b*色空間の値「L*,a*,b*」に変換した値「a*,b*」である。
また、本発明は上述した実施形態に限定されず、第1の実施形態から第6の実施形態を適宜組み合わせたもの、その他、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1 ストロボ
2 シャッタボタン
3 電源/モードスイッチ
4 モードダイヤル
5 ズームボタン
5T テレボタン
5W ワイドボタン
6 十字ボタン
7 MENU/OKボタン
8 再生ボタン
9 BACKボタン
10 撮像装置
12 撮影レンズ
14 絞り
15 メカシャッタ
16 撮像素子
22 画像入力コントローラ
24 画像処理部
26 圧縮伸張処理部
28 ビデオエンコーダ
30 液晶モニタ
32 センサ駆動部
33 シャッタ駆動部
34 絞り駆動部
36 レンズ駆動部
38 操作部
40 CPU
42 AF処理部
44 AE検出部
47 ROM
48 メモリ
50 VRAM
52 メディアコントローラ
54 メモリカード
61 オフセット補正処理部
62 WB補正処理部
63 デモザイク処理部
64 ガンマ補正処理部
65 輝度及び色差変換処理部
65−1〜65−6、70 輝度及び色差変換処理部
72 第2の輝度信号生成部
72−5、72−6 第2の輝度信号生成部
74、74−2、74−3、74−4 第3の輝度信号生成部
75 輝度信号比較器
76、76−6 混合率取得部
78 色相算出部
80 補正係数取得部
82 補正係数設定部
84 ターゲット色設定部
86 第2の係数取得部
100 スマートフォン
101 主制御部
102 筐体
110 無線通信部
120 表示入力部
121 表示パネル
122 操作パネル
130 通話部
131 スピーカ
132 マイクロホン
140 操作部
141 カメラ部
150 記憶部
151 内部記憶部
152 外部記憶部
160 外部入出力部
170 GPS受信部
180 モーションセンサ部
190 電源部

Claims (16)

  1. 撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号を取得する色信号取得部と、
    前記取得した第1の色信号、第2の色信号及び第3の色信号と、前記第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第1の係数であって、標準の第1の輝度信号を生成する前記第1の係数とを使用して前記第1の輝度信号を生成する第1の輝度信号生成部と、
    前記取得した第1の色信号、第2の色信号及び第3の色信号と、前記第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第2の係数であって、前記第1の係数のうちのターゲット色に対応する係数の重みを低下させた第2の係数とを使用して第2の輝度信号を生成する第2の輝度信号生成部と、
    前記生成した前記第1の輝度信号と前記第2の輝度信号とに基づいて前記ターゲット色の輝度が制御された第3の輝度信号を生成する第3の輝度信号生成部と、
    を備えた画像処理装置。
  2. 前記生成した前記第1の輝度信号又は前記第2の輝度信号の大きさに応じた混合率を取得する混合率取得部を備え、
    前記第3の輝度信号生成部は、前記混合率取得部により取得した混合率に基づいて前記第1の輝度信号と前記第2の輝度信号とを加重平均し、前記第3の輝度信号を生成する請求項1に記載の画像処理装置。
  3. 前記混合率取得部は、前記生成した前記第1の輝度信号又は前記第2の輝度信号が大きい程、前記第2の輝度信号の前記第1の輝度信号に対する比率を低くし、前記生成した前記第1の輝度信号又は前記第2の輝度信号が小さい程、前記第2の輝度信号の前記第1の輝度信号に対する比率を高くする前記混合率を取得する請求項2に記載の画像処理装置。
  4. 前記混合率取得部は、前記生成した前記第1の輝度信号又は前記第2の輝度信号が大きい程、前記第2の輝度信号の前記第1の輝度信号に対する比率を高くし、前記生成した前記第1の輝度信号又は前記第2の輝度信号が小さい程、前記第2の輝度信号の前記第1の輝度信号に対する比率を低くする前記混合率を取得する請求項2に記載の画像処理装置。
  5. 前記混合率取得部は、前記第1の輝度信号又は前記第2の輝度信号の大きさと前記混合率との関係を示すテーブル又は関係式を使用して、前記第1の輝度信号又は前記第2の輝度信号の大きさに応じた混合率を取得する請求項2から4のいずれか1項に記載の画像処理装置。
  6. 前記混合率取得部は、前記ターゲット色に対応する前記テーブル又は前記関係式を使用して、前記第1の輝度信号又は前記第2の輝度信号の大きさに応じた混合率を取得する請求項5に記載の画像処理装置。
  7. 前記ターゲット色の色相の重みが大きく、前記ターゲット色から色相が離れる程、重みが小さい補正係数を設定する補正係数設定部と、
    前記第1の色信号、第2の色信号及び第3の色信号から色相を算出する色相算出部と、
    前記色相算出部により算出された色相に応じて前記補正係数設定部から対応する補正係数を取得する補正係数取得部と、
    前記第3の輝度信号生成部は、前記混合率取得部により取得した混合率及び前記補正係数取得部により取得した補正係数に基づいて前記第1の輝度信号と前記第2の輝度信号とを加重平均し、前記第3の輝度信号を生成する請求項2から6のいずれか1項に記載の画像処理装置。
  8. 前記ターゲット色を設定するターゲット色設定部と、
    前記ターゲット色設定部により設定されたターゲット色に対応する係数の重みを低下させた前記第2の係数を算出し、又は前記第2の係数を記憶する記憶部から前記設定されたターゲット色に対応する前記第2の係数を読み出す第2の係数取得部と、を備え、
    前記第2の輝度信号生成部は、前記取得した第1の色信号、第2の色信号及び第3の色信号と、前記第2の係数取得部により取得した前記第2の係数とを使用して前記第2の輝度信号を生成する請求項1から7のいずれか1項に記載の画像処理装置。
  9. 前記ターゲット色設定部は、nを2以上の整数とすると、n個のターゲット色を同時に設定可能であり、
    前記第2の係数取得部は、前記ターゲット色設定部により前記n個のターゲット色が同時に設定されると、前記n個の各ターゲット色に対応するn個の前記第2の係数を取得し、
    前記第2の輝度信号生成部は、前記取得した第1の色信号、第2の色信号及び第3の色信号と、前記n個の第2の係数とに基づいてn個の輝度信号を生成し、前記n個の輝度信号のうちの最小の輝度信号を前記第2の輝度信号とする請求項8に記載の画像処理装置。
  10. 前記第1の輝度信号又は前記第2の輝度信号の大きさと混合率との関係を示すテーブル又は関係式であって、前記n個の各ターゲット色に対応するn個の前記テーブル又は前記関係式のうちから、前記最小の輝度信号が前記n個の各ターゲット色のいずれに対応するかに応じた前記テーブル又は前記関係式を使用して、前記第1の輝度信号又は前記第2の輝度信号の大きさに応じた混合率を取得する混合率取得部を備え、
    前記第3の輝度信号生成部は、前記混合率取得部により取得した混合率に基づいて前記第1の輝度信号と前記第2の輝度信号とを加重平均し、前記第3の輝度信号を生成する請求項9に記載の画像処理装置。
  11. 前記第3の輝度信号生成部は、前記第1の輝度信号よりも前記第2の輝度信号が高い場合には、前記第1の輝度信号を出力する請求項1から10のいずれか1項に記載の画像処理装置。
  12. 前記第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する前記第2の係数の総和は、1である請求項1から11のいずれか1項に記載の画像処理装置。
  13. 前記撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号は、ガンマ変換後の色信号である請求項1から12のいずれか1項に記載の画像処理装置。
  14. 撮影光学系及び撮像素子を含む撮像部と、
    請求項1から13のいずれか1項に記載の画像処理装置と、を備え、
    前記色信号取得部は、前記撮像部により撮影された前記撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号を取得する撮像装置。
  15. 撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号を取得するステップと、
    前記取得した第1の色信号、第2の色信号及び第3の色信号と、前記第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第1の係数であって、標準の第1の輝度信号を生成する前記第1の係数とを使用して前記第1の輝度信号を生成するステップと、
    前記取得した第1の色信号、第2の色信号及び第3の色信号と、前記第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第2の係数であって、前記第1の係数のうちのターゲット色に対応する係数の重みを低下させた第2の係数とを使用して第2の輝度信号を生成するステップと、
    前記生成した前記第1の輝度信号と前記第2の輝度信号とに基づいて前記ターゲット色の輝度が制御された第3の輝度信号を生成するステップと、
    を含む画像処理方法。
  16. 撮影画像を示す3原色の第1の色信号、第2の色信号及び第3の色信号を取得する機能と、
    前記取得した第1の色信号、第2の色信号及び第3の色信号と、前記第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第1の係数であって、標準の第1の輝度信号を生成する前記第1の係数とを使用して前記第1の輝度信号を生成する機能と、
    前記取得した第1の色信号、第2の色信号及び第3の色信号と、前記第1の色信号、第2の色信号及び第3の色信号にそれぞれ対応する第2の係数であって、前記第1の係数のうちのターゲット色に対応する係数の重みを低下させた第2の係数とを使用して第2の輝度信号を生成する機能と、
    前記生成した前記第1の輝度信号と前記第2の輝度信号とに基づいて前記ターゲット色の輝度が制御された第3の輝度信号を生成する機能と、
    をコンピュータに実行させる画像処理プログラム。
JP2018556208A 2016-12-14 2017-10-10 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム Active JP6580801B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016242264 2016-12-14
JP2016242264 2016-12-14
PCT/JP2017/036648 WO2018110051A1 (ja) 2016-12-14 2017-10-10 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP6580801B2 JP6580801B2 (ja) 2019-09-25
JPWO2018110051A1 true JPWO2018110051A1 (ja) 2019-10-24

Family

ID=62558481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556208A Active JP6580801B2 (ja) 2016-12-14 2017-10-10 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US11501412B2 (ja)
JP (1) JP6580801B2 (ja)
CN (1) CN110073656B (ja)
WO (1) WO2018110051A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
JP6974156B2 (ja) * 2017-12-19 2021-12-01 オリンパス株式会社 画像色変換装置、画像色変換プログラム、画像色変換方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0576036A (ja) * 1991-09-17 1993-03-26 Matsushita Electric Ind Co Ltd 階調補正方法および装置
JP2010219797A (ja) * 2009-03-16 2010-09-30 Fujitsu Semiconductor Ltd エッジ強調画像処理装置
JP2016058941A (ja) * 2014-09-11 2016-04-21 株式会社ソシオネクスト 画像処理装置、方法、及び撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100662341B1 (ko) * 2004-07-09 2007-01-02 엘지전자 주식회사 디스플레이 장치 및 그의 색 재현 방법
JP5129685B2 (ja) * 2008-08-06 2013-01-30 キヤノン株式会社 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置
CN101909214B (zh) * 2009-06-08 2013-07-31 联咏科技股份有限公司 图像处理电路及方法
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
JP5677040B2 (ja) * 2010-11-08 2015-02-25 キヤノン株式会社 画像処理装置およびその制御方法
CN102447913B (zh) * 2011-12-22 2015-02-18 深圳万兴信息科技股份有限公司 一种移色处理方法及系统
US9349168B2 (en) * 2012-03-02 2016-05-24 Mitsubishi Electric Corporation Image processing device and method to correct brightness signal of an input image
CN103873839A (zh) * 2012-12-13 2014-06-18 联咏科技股份有限公司 图像处理装置及其方法
JP6478499B2 (ja) * 2014-07-07 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0576036A (ja) * 1991-09-17 1993-03-26 Matsushita Electric Ind Co Ltd 階調補正方法および装置
JP2010219797A (ja) * 2009-03-16 2010-09-30 Fujitsu Semiconductor Ltd エッジ強調画像処理装置
JP2016058941A (ja) * 2014-09-11 2016-04-21 株式会社ソシオネクスト 画像処理装置、方法、及び撮像装置

Also Published As

Publication number Publication date
US11501412B2 (en) 2022-11-15
CN110073656A (zh) 2019-07-30
WO2018110051A1 (ja) 2018-06-21
CN110073656B (zh) 2021-06-11
US20190279340A1 (en) 2019-09-12
JP6580801B2 (ja) 2019-09-25

Similar Documents

Publication Publication Date Title
JP5755814B2 (ja) 画像処理装置、方法、プログラム及び撮像装置
JP5697801B2 (ja) 撮像装置及び自動焦点調節方法
JP6302555B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5775977B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
US9432643B2 (en) Image processing device, image capture device, image processing method, and non-transitory computer-readable medium
US9743031B2 (en) Imaging device and imaging method
JP5851650B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
JP5749401B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JPWO2014087807A1 (ja) 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
US9877004B2 (en) Color-mixture-ratio calculation device and method, and imaging device
JP5897769B2 (ja) 撮像装置、キャリブレーションシステム、及びプログラム
WO2018181164A1 (ja) 撮像装置及び画像処理方法
WO2014030390A1 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
WO2014136321A1 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
JP6580801B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2013183379A1 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP5798696B2 (ja) 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置
KR20070016217A (ko) 디지털 이미지의 임프린트 방법 및 이를 수행하는 디지털이미지 처리장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190527

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190527

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190828

R150 Certificate of patent or registration of utility model

Ref document number: 6580801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250