JPWO2018061615A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JPWO2018061615A1
JPWO2018061615A1 JP2018542031A JP2018542031A JPWO2018061615A1 JP WO2018061615 A1 JPWO2018061615 A1 JP WO2018061615A1 JP 2018542031 A JP2018542031 A JP 2018542031A JP 2018542031 A JP2018542031 A JP 2018542031A JP WO2018061615 A1 JPWO2018061615 A1 JP WO2018061615A1
Authority
JP
Japan
Prior art keywords
signal
pixel
color
imaging
imaging signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018542031A
Other languages
English (en)
Other versions
JP6632093B2 (ja
Inventor
中村 和彦
和彦 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2018061615A1 publication Critical patent/JPWO2018061615A1/ja
Application granted granted Critical
Publication of JP6632093B2 publication Critical patent/JP6632093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

色調補正と、雑音の多いB又はRの雑音が他の色にも混入し実行S/Nが低下することを防止し、本線信号の色帯域維持と色調補正の改善と実行S/Nの維持とを両立する。固体撮像装置を有する撮像装置において、R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とそのR,G1,G2,Bの信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とそのR,G1,G2,Bの信号を処理する手段を有し、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段とを有する。

Description

本発明は、撮像装置に関するものである。
テレビジョンカメラは、6色独立マスキングや12色マスキングと称される、画素ごとに特定の色相を検出し、画素ごとに特定の色相を補正する機能を有している(特許文献1参照)。
ところで、単板カラーカメラでは、RGBゲインおよびリニアマトリックス等を用いて、電気的に色調補正を行っている(特許文献4参照)。
そして、RGBゲインから被写体の照明の色温度を算出し、ビューファインダやモニター映像等に色温度を表示している(特許文献6参照)。
さらに、被写体の照明の色温度に比例してRGBゲインおよびリニアマトリクスを可変している(特許文献5参照)。
赤、緑、青の3原色成分からなる入力映像信号に対して、リニアマトリックス変換を行うリニアマトリックス変換部と、前記3原色成分の入力映像信号同士の差分値の大きさに応じて、前記リニアマトリックス変換部で用いる係数を設定する。無彩色に近い被写体に対するリニアマトリクス係数を小さくし、無彩色に近い被写体の色を必要以上に変えないようにでき、さらに彩度の高い被写体に対しては従来どおりの色補正を行うことができる。
しかしながら、RGBゲインおよびリニアマトリックスでは、画素ごとに特定の色相を検出し、画素ごとに特定の色相を補正する12色マスキングの様に、細かい調整が困難である。
さらに、リニアマトリックスでも、画素ごとに特定の色相を検出し画素ごとに特定の色相を補正する12色マスキングでも、色補正を行うと、低色温度照明下では雑音の多いBの雑音が、RやGにも混入し、実行S/Nが低下する。高色温度照明下で電気的に色温度補正を行うと雑音の多いRの雑音が、BやGにも混入し、実行S/Nが低下する。そのため、LPF信号からリニアマトリックスを生成している(特許文献2、特許文献3参照)。
また、視特性色帯域は輝度YやGは広く、RやBやR−YやB−Yは狭い(非特許文献1参照)。しかし、クロマキー処理等で、RやBやR−YやB−Yの映像信号はY同等の帯域いわゆる4:4:4が要求される。妥協点として、RやBやR−YやB−Yの映像信号の帯域は輝度YやGの映像信号の帯域の半分のいわゆる4:2:2の伝送や記録が一般的である。
特開平9−247701号公報 特開2007−180893号公報 特開2008−118373号公報 特開2010−171844号公報 特開2004−320148号公報 特開2008−199207号公報
テレビジョン学会誌 33(12), 1008-1013, 1979-11-01 4-2 色にじみの知覚とクロミナンス信号帯域(NHK)
本発明では、(リニアマトリックスでも、画素ごとに特定の色相を検出し画素ごとに特定の色相を補正する12色マスキングでも、)色調補正を行うと、雑音の多いB又はRの雑音が、他の色にも混入し、実行S/Nが低下することを防止し、本線信号の色帯域維持と、色補正の改善と実行S/Nの維持とを両立することを目的とする。
本発明は、固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
また、固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段を有し、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
さらに、上記撮像装置において、
RG1G2Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することを特徴とする撮像装置である。
さらに、上記の撮像装置において、
G映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、の少なくとも一方の手段を有し、
色温度を検出(算出)する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、
RGB映像信号の増幅度を可変する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素撮像信号が主で増幅度大では周囲R画素撮像信号の中央値が主と)した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、のいずれか一方を有することを特徴とする撮像装置である。
また、本発明は、上記撮像装置において、RG1G2Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はRG1G2Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号に対しR映像信号とB映像信号との帯域を半減させる手段を有し R撮像信号をG画素で一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号をG画素で一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
また、本発明は、固体撮像素子を有する撮像装置において、
RGBの3板と色分解光学系からのRGBの信号を信号処理する手段を有し、少なくとも明部もR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有し、
R−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することを特徴とする撮像装置。
また、本発明は、固体撮像素子を有する撮像装置において、RGBの3板と色分解光学系からのRGBの信号を信号処理する手段を有し、暗部も明部も、R撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段、又は 少なくとも明部もR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段のいずれか一つの色調補正手段を有することを特徴とする撮像装置である。
また本発明は、固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
また本発明は、固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
色温度を検出(算出)する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段と、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号を本線の映像信号とする雑音低減手段と、のいずれか一方を有することを特徴とする撮像装置。
G映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、のいずれか一方を有することを特徴とする撮像装置である。
本発明によれば、リニアマトリックスでも、画素ごとに特定の色相を検出し画素ごとに特定の色相を補正する12色マスキングでも、色調補正を行うと、雑音の多いB又はRの雑音が、他の色にも混入し、実行S/Nが低下することを周囲画素の中央値又は周囲画素の中央値と中心画素との平均又は周囲画素の中央値と中心画素との重みづけ平均で補間という雑音低減した信号で色相を補正することで防止し、クロマキー処理等で、RやBやR−YやB−Yの映像信号はY同等の帯域いわゆる4:4:4が要求されても、本線信号の色帯域維持と、色調補正の改善と実行S/Nの維持とを両立することが実現できる。
本発明のテレビジョンカメラの一実施例を示すブロック図である。 本発明のテレビジョンカメラの一実施例を示すブロック図である。 本発明のテレビジョンカメラの一実施例を示すブロック図である。 本発明のテレビジョンカメラの一実施例を示すブロック図である。 本発明のテレビジョンカメラの一実施例を示すブロック図である。 R/G/Bの大小関係と対応する色相範囲を示す模式図である。 本発明の一実施例の色相検出補正部の構成を示すブロック図である。 本発明の他の一実施例の色相検出補正部の構成を示すブロック図である。 本発明の一実施例の色相検出補正部の構成を示すブロック図である。 本発明の一実施例の色調補正における色相領域の説明図である。 本発明の一実施例の色相領域の概念図である。 本発明の一実施例の原色成分と補色成分と彩度成分の算定原理の説明図である。 本発明の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。 本発明の他の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。 本発明の他の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。 本発明の一実施例の色温度検出手段と加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。 本発明の一実施例の色温度検出手段と加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。 本発明の一実施例の加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。 本発明の一実施例の補正特性図である。 本発明の他の一実施例の色相彩度検出補正部の構成を示すブロック図である。 本発明の他の一実施例の色相彩度検出補正部の構成を示すブロック図である。 本発明の他の一実施例の色相彩度検出補正部の構成を示すブロック図 本発明の他の一実施例の色調補正における色相領域の説明図である。 本発明の他の一実施例の色相領域の概念図である。 本発明の他の一実施例の原色成分と補色成分の算定原理の説明図である。 本発明の他の一実施例の補正特性図である。 従来の6色独立色調補正の動作を示す模式図である。 本発明の一実施例の6色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。 本発明の他の一実施例の12色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。 本発明の他の一実施例の24色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。 本発明の他の一実施例の6色独立色調補正のカラーベクトル波形上の動作を示す模式図 彩度で階段状に異なる方向の色調補正である。 本発明の他の一実施例のベクトルチャートの6色ポイントの彩度に対応する6色独立色調補正のカラーベクトル波形上の動作を示す模式図である。 本発明の他の一実施例のベクトルチャートの6色ポイントの彩度に対応する12色独立色調補正のカラーベクトル波形上の動作を示す模式図である。 本発明の他の一実施例の6色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図である。 本発明の他の一実施例の12色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図である。 本発明の他の一実施例の24色彩度独立連続可変色調補正のカラーベクトル波形上の動作を示す模式図である。 本発明の一実施例の中央画素を周囲画素中央値で補間の動作を示す模式図である。 本発明の他の一実施例の中央画素を中央画素と周囲画素中央値との平均で補間の動作を示す模式図である 本発明の他の一実施例の中央画素を中央画素と周囲画素中央値との1:3の加重平均で補間の動作を示す模式図である。 本発明の他の一実施例の中央画素を中央画素と周囲画素中央値との3:1の加重平均で補間の動作を示す模式図である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
以下、彩度により色調補正方向を可変させる独立色調補正を図1Aと図1Bと図2を用いて説明する。
図1Aと図1Bは本発明のテレビジョンカメラの一実施例を示すブロック図である。
図1Aはガンマ前マトリクスであり、図1Bはガンマ後マトリクスである。
被写体からの入射光はレンズ部31で結像され、結像された入射光はテレビジョンカメラ30のプリズム(色分解光学系)部32で赤色光と緑色光および青色光に分解され、各々CCD(Charge Coupled Device/電荷結合素子)33R,33G,33B,33G1,33G2+AFE(アナログフロントエンドプロセッサ)又はCMOS(Complementary Metal Oxide Semiconductor)撮像素子で光電変換される。光電変換されたR/G/Bの信号はCCDではAFE(アナログフロントエンドプロセッサ)でCMOS撮像素子では内部で、相関二重サンプリング、ゲイン補正、およびアナログ−デジタル変換を行い、色相彩度検出補正機能付きの映像信号処理部の35に送られ、色調補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理が行われる。
デジタル信号処理部5では各種映像信号処理などが施された後、
Y=0.2126R+0.7152G+0.0722B Pb=0.5389(B−Y) Pr=0.6350(R−Y)のBT.709の計算式等により、R/G/Bから輝度信号(Y)と色差信号(Pb/Pr)に変換する。そしてパラレル−シリアル変換部7でシリアル映像信号に変換され、外部に出力される。記載しないITU/BT.2020の計算式でYとPb/Prに変換しても構わない。
CPU(Central Processing Unit)39は、テレビジョンカメラ1の各部を制御する。また、ビューファインダまたはモニタディスプレイの画像表示部40は撮像装置の設定用メニューや前記特定の色相の内の任意の色相彩度領域を表示する。
ここで、本発明の一実施例の色相彩度検出補正部の構成を示すブロック図の図3に示す、色相彩度検出補正機能付き映像信号処理部35内の色相彩度検出補正部38は、R/G/Bの各信号レベルの大小関係から、被写体の色がどの色相彩度範囲にあるかを検出する。図2にR/G/Bの大小関係と対応する色相範囲を示す。なお、ここでは色相を6分割で表示しているが、R/G/Bの各信号レベルの大小関係をさらに細分化すれば、12色独立又は16色独立又は18色独立又は24色独立等もっと色相を再分化することも可能である。
CPU9では、ユーザーが設定した任意の色相範囲の情報を色相検出補正機能付き映像信号処理部35内の色相検出補正部38へ渡し、色相検出補正機能付き映像信号処理部35内の色相検出補正部38は、ユーザー設定の色相範囲と一致した画素の色相情報と画素の彩度情報とをCPU9へ渡す。CPU9ではその画素の色相情報と画素の彩度情報に基づき、色相彩度検出補正機能付き映像信号処理部35内の色相彩度の補正算出に制御をかけ、彩度の異なる色を独立に色調補正し、より忠実に色域変換することを容易な調整で実現できる。
ビューファインダまたはモニタディスプレイの40では被写体の映像にメニュー画面を重畳し、ユーザーはメニュー画面を見ながら色相範囲や彩度範囲や輝度信号レベルを設定する。また、ユーザーが設定した色相範囲が目的とする被写体の色に合致しているかを確認できるように、ビューファインダまたはモニタディスプレイの40の被写体映像に重ねて、設定した色相範囲と彩度範囲と一致している箇所のエリアにマーカーを表示するようにしてもよい。
以上のように、BT.709の原色点より広色域のITU/BT.2020等の原色点の第1の色信号を、BT.709の原色に基づく色域の異なる第2の色信号に変換し、また簡易には、BT.709の原色に基づく原色点の第3の色信号を、BT.709の原色点より広色域のITU/BT.2020等の原色点の第4の色信号に変換して、補正する際に、画素ごとに彩度に相関させて色調補正の量と方向を可変させる又は彩度内外独立に色調補正の量と方向を可変する等の画素単位に彩度により色調補正の量と方向を可変させる6色以上の独立色調補正機能を有することにより、より忠実に色域変換することを容易な調整で実現できる。
以下、彩度により色調補正方向を可変させる独立色調補正を図3A〜図8と図14〜図17Cを用いて説明する。
図3Aは、まず、減算器1、2、3により、入力映像信号R、G、Bから色差信号R−G、R−B、G−Bの演算を行ない、その結果を色相領域の判定回路4と、彩度成分量と原色成分量及び補色成分量判定回路5に供給し、彩度成分量と原色成分量及び補色成分量とを判定する。
そこで、この減算器1、2、3による演算結果により、まず色相領域の判定回路4では、図5に示すようにして、色相領域の判定を行なう。図5は、この色相領域の概念図で、中心点から各色方向に向かう直線を基準線として、これにより6個の色相領域に区切ったものである。
また、彩度成分量と原色成分量及び補色成分量判定回路5では、信号R、G、Bのレベル比較を行ない、図6に示すようにして最大レベル、中間レベル、最小レベルを判定する。そして、この比較判定の過程で、最大レベルと中間レベルのレベル差を求め、これを原色成分量とし、さらに中間レベルと最小レベルのレベル差を求め、これを補色成分量とする。最大レベルと最小レベルのレベル差を求め、これを彩度成分量とする。ここで、最大レベルの色が原色に相当し、最小レベルの成分が白成分に相当する。そして、最大レベルの色と最小レベルの色の情報から補色が判定でき、この結果、図4に示すように、原色成分と補色成分を判定することができる。
つまり、本発明の他の一実施例の6色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図の図17の彩度で方向連続可変の色調補正の色調補正を実現する詳細構成を示すブロック図が本発明の一実施例の色相検出補正部の構成を示すブロック図の図3Aである。
図6の例では、最大レベルがRで、中間レベルはGになっているので、原色成分はRで、補色成分は、RとGの中間の色相であるYe(黄)になる。そして、原色成分量はR−Gで、補色成分量はG−B、そして最小レベルBの量が白成分量となる。従って、この図8の場合は、図4の下から2番目に示す結果となる。R−Bが彩度成分量となる。
判定回路4による色相領域の判定結果は定数選択回路6に供給され、判定結果に応じて特定の利得定数が選択され、それが乗算器7、8に供給されることにより、彩度成分量と原色成分量及び補色成分量判定回路5で判定された原色成分量及び補色成分量にそれぞれ乗算されることにより補正が行なわれる。このため、定数選択回路6には、予め領域1から領域6までのそれぞれの色相領域に対応した特定の利得定数が設定してある。
こうして乗算器7、8により利得定数が乗算された原色成分量及び補色成分量は、加算・減算の選択及び映像信号R、G、Bに対する接続選択を行なうためのデータ選択加算回路11に、一方では直接、他方では補数器(−1倍乗算器)9、10を介して、それぞれ供給される。そして、このデータ選択加算回路11により加算先が選択された上で各加算器12、13、14に供給され、映像信号R、G、Bに加算されることになる。
色差を全て算出してから判定し、係数を算出しても良いし、判定しながら、色差を算出しても良く、順番は不問である。
そこで、いま、信号Rの色調補正を行なう場合、例えば彩度方向の補正であれば原色成分量R−Gに特定の定数Krを乗じてから映像信号Rに加算することになる。このとき、定数Krによる比率が−1倍から1倍の範囲であれば、この補正によっても、中間レベルと最小レベルのレベル差(補色成分量)、及び最小レベルの量(白成分量)は変化しない。
また、信号Yeの彩度方向の補正を行なう場合、補色成分量G−Bに特定の定数Kyを乗じてからRとGにそれぞれ加算することになる。このときも、定数Kyによる比率が−1倍から1倍の範囲であれば、この補正によっても、最大レベルと中間レベルのレベル差(原色成分量)、及び最小レベルの量(白成分量)は変化しない。
従って、この場合には、定数Kr及びKyを操作すれば、白バランスを保ちながら原色Rと補色Yeの彩度方向の補正を独立して行なうことができる。なお、以上の6色独立色調補正方式では、同様に色度方向の補正も独立に行なえ、さらには入力映像信号が別の色相にある場合も同様に独立補正が可能であるが、詳細な説明は省略する。
さらに本発明では、最大値と最小値判定後原色(最大値)と白(最小値)との差の彩度を算出し、彩度に応じて係数を算出する。
図17A及びと図17A及びとと図16Aの様に、彩度に応じて係数を算出は、直線変化となる。
図15Dの様に、彩度に応じて係数を選択は、階段変化となる。
図14は従来の6色独立色調補正の動作を示す模式図であり、図15Aは本発明の一実施例の6色内外独立色調補正のカラーベクトル波形上の動作を示す模式図であり、図16Aは本発明の他の一実施例の6色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。図17Aは本発明の他の一実施例の6色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図である。
本発明の一実施例の6色内外独立色調補正のカラーベクトル波形上の動作を示す模式図の図15A、図16A、図17Aでは、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持とが独立に調整できるため、色域の変換時の色調補正の自由度が高くなる。
本発明の他の一実施例の6色内外独立色調補正のカラーベクトル波形上の動作を示す模式図の図16Aの様に、内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する方が、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
図3Bは、本発明の他の一実施例の色相検出補正部の構成を示すブロック図である。図3Bは、図15Aの内側と外側で異なる方向の色調補正と図16Aの内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する色調補正とを実現する詳細構成を示すブロック図である。
図3Bは、図3Aから定数選択回路24が変更されている。定数選択回路24により、図15Dの内側と外側で階段状に異なる方向の色調補正と図16Aの内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する色調補正とを実現する。
彩度により階段状に可変の動作では、図15Dの内側と外側で階段状に異なる方向の色調補正を実現する詳細構成を示すブロック図の図3Bの様に、定数選択回路24を設置すれば良い。
彩度により階段状に可変の動作では、図3Bの定数選択回路24の動作である図7Dの彩度係数の処理のように、色差算出し最大値と最小値判定後最大値と最小値と彩度に応じて係数を選択し、彩度により階段状に彩度係数が可変すれば良い。
彩度に応じて係数を算出が曲線変化は後述する。
つまり、BT.709の原色点より広色域のITU/BT.2020等の原色点の第1の色信号を、BT.709の原色に基づく色域の異なる第2の色信号に変換し、また簡易には、BT.709の原色に基づく原色点の第3の色信号を、BT.709の原色点より広色域のITU/BT.2020等の原色点の第4の色信号に変換して、補正する際に、画素ごとに彩度に相関させて色調補正の量と方向を可変させる又は彩度内外独立に色調補正の量と方向を可変する等の画素単位に彩度により色調補正の量と方向を可変させる6色以上の独立色調補正機能を有することにより、より忠実に色域変換することを容易な調整で実現できる。
特に、内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する方が、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
以下、独立12色や独立24色等の色調検出と補正装置について、図示の実施形態により詳細に説明する。
まず図9Aと図9Bと図9Cは、本発明の一実施形態例で、15は中間色色相設定回路、17はα/β、β/α算出回路、18は定数選択回路、19,20,26は乗算器、21はデータ選択加減算回路であり、その他は図3に示した技術と同じである。
図9Aは、図17Bの独立12色や図17Cの独立24色等の彩度に色調補正の量と方向が線形相関の実施形態のブロック図で、図9Bは、図17Bの独立12色や図17Cの独立24色等の彩度の累乗に色調補正の量と方向が相関の実施形態のブロック図で、図9Cは、図15Bの独立12色や図15Cの独立24色等の内外で方向可変の色調補正の実施形態のブロック図である。
また図15Bは本発明の他の一実施例の12色内外独立色調補正のカラーベクトル波形上の動作を示す模式図であり、図15Cは本発明の他の一実施例の24色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。
中間色色相設定回路15は、新たに基準色として設定したい中間色の設定を可能にする働きをするもので、例えば、RとYeの中間色である肌色(色相F)が予め設定されるものである。原色/補色領域判定回路16は、色相領域判定回路4からのデータと、中間色色相設定回路15から与えられている色相Fとにより、入力映像信号R、G、Bの色相を判別し、所定の制御信号Sを発生する働きをする。
α/β、β/α算出回路17は、中間色色相設定回路15から与えられるデータにより、所定の定数α/β、β/αを算出する働きをする。なお、これらの定数α/β、β/αについては後述する。定数選択回路18は、制御信号Sに応じて定数α/β、β/αの何れか一方を選択して出力する働きをする。
乗算器19、20,26は、彩度成分量と原色成分量及び補色成分量判定回路5から出力されてくる彩度成分と原色成分と補色成分に、定数選択回路18で選択された定数α/β、β/αの一方を乗算する働きをする。データ選択加減算回路21は、色相領域判定回路4による判定結果と制御信号Sに応じてデータを選択し、所定の加減算を行なう。なお、この回路の動作の詳細は後述する。
次に、この実施形態例の動作について説明する。図10、図11は、本発明の動作原理を説明するため彩度(色飽和度)及び色度(色相)を表した図で、これらの図において、原点Oから遠ざかる方向が彩度、彩度に垂直な方向(円を描く方向)が色度を表わしている。
ここで本発明は、6色独立に加え肌色独立あるいは12色独立又は16色独立又は18色独立又は24色独立等の6色より多い内外独立色調補正機能などの、どのような中間色の補正にも適用可能であるが、特に肌色の補正に適用される場合が多いと考えられる。そこで、この実施形態例では、以下、主として、肌色の補正を例に挙げて説明する。そうすると、この肌色の色相はRとYeの間の領域、すなわち、領域6に位置するので、これらの図10、11ではR(赤)からYe(黄)の領域6だけを示し、ここで肌色の色相は点Fで表わされることになる。
そこで、この点を、図示のように、補助基準色Fとし、そのデータを、上記したように、中間色色相設定回路15に設定する。
これにより、領域6は、中心点Oから補助基準色F点を通る軸、つまり補助基準線により、2個の補助領域、すなわち、領域(1)と領域(2)とに分けられることになる。次に、入力映像信号の色相を、原色/補色領域判定回路16により、図2に示すように、RとFの間の領域(1)と、FとYeの間の領域(2)に分割して判定する。そうすると、まず、このときは、何れも色相領域判定回路4の判定結果が領域6になっているときの動作となるので、算出回路5から出力されている原色成分量と補色成分量は、それぞれ以下の通りになっている。
原色成分量=R−G=Rc、補色成分量=G−B=Yc
次に、入力映像信号の色相が、これらの領域(1)と領域(2)の何れにあるかを、原色/補色領域判定回路16の判定により識別し、それぞれ以下に示すように、別個に補正を行なうのである。
<領域(1)での補正処理>このときは、各回路からの出力は以下の通りとなる。まず、定数選択回路18では定数β/αが選択され、この定数β/αが乗算器19、20に出力される。次に、データ選択加減算回路21からは信号〔Rc−Yc×(β/α)〕、信号(−Yc)、それに信号〔Yc×(β/α)〕が出力される。さらに、定数選択回路6では定数Kr、Kfが選択され、これらの定数Kr、Kfが乗算器7、8に出力される。
そして、これらの結果、データ選択加算回路11からは、まず、信号〔Rc−Yc×(β/α)〕×Kr+Kf×〔Yc×(β/α)〕が加算器12に出力されて信号Rに加算され、次に、信号〔(−Yc)×Kf〕が加算器14に出力されて信号Bに加算されることになる。
そこで、図10において、いま、A点を入力映像信号の座標とし、ベクトルAで表わすと、このベクトルAは、R成分ベクトルR1と肌色成分ベクトルF1の合成で表される。
A=R1+F1次に、Rの彩度方向調整専用の利得定数をKrとし、肌色の彩度方向調整専用の利得定数をKfとすると、Rの彩度方向の色調補正を行なう場合には、|R1|×KrをRの彩度方向に加算、つまりRに加算してやれば良く、肌色の彩度方向の色調補正を行なう場合には、|F1|×Kfを肌色彩度方向に加算してやれば良い。
そこで、これらの量|R1|、|F1|の算出方法及び肌色彩度方向への加算方法について説明すると、このためには、全ての補正を、R、G、B成分への補正として表現してやれば良い。そこで、まずR成分基本ベクトルをR、肌色成分基本ベクトルをF、Ye成分基本ベクトルをY、そしてB成分基本ベクトルをBとし、F=α×Y+β×R=α×(−B)+β×Rとする。
次に、入力映像信号の座標ベクトルAをR成分とYe成分の合成で表わす。ここで、A=Y×Yc+R×Rcと、Rc及びYcは、従来の色調補正方式で説明したように、簡単に求まる。この場合、R>G>Bであり、従って、図9から明らかなように、Rc=R−G、Yc=G−Bとなる。
そうすると、 A=Y×Yc+R×Rc=(1/α)×(F−β×R)×Yc+R×Rc =F×Yc/α+R×(Rc−β×Yc/α)となり、よって、|R1|=Rc−β×Yc/α|F1|=Yc/αとなる。
そこで、F×Yc/αをベクトルRとベクトルBで表現すると、F×Yc/α=(α×(−B)+β×R)×Yc/α=B×(−Yc)+R×(β×Yc/α)となる。
従って、以上の結果をまとめると、以下の通りである。すなわち、まず、Rの彩度方向の色調補正を行なうためには、|R1|Kr=(Rc−β×Yc/α)×KrをRに加算すればよい。次に、肌色の彩度方向の色調補正を行なうためには、|F1|×Kfを肌色彩度方向に加算すればよいが、このことは、−Yc×KfをBに加算し、(β×Yc/α)×KfをRに加算することに等しい。
ここで、いま、Rベクトルと肌色ベクトルの間の角度をθとすると、α×Sin(60°−θ)=β×Sin(θ)であるため、β/α=Sin(60°−θ)/Sin(θ)となる。
従って、θ=20°のときは、β/α=1.8794になるが、これを≒2.0とすると、このときの補正は、Rの彩度方向の色調補正については、(Rc−2×Yc)×KrをRに加算すればよく、肌色の彩度方向の色調補正については、−Yc×KfをBに加算し、2×Yc×KfをRに加算すればよい。そして、β/αを変えることにより、肌色の基準軸を調整することができる。
以上は彩度方向の補正についての説明であるが、色度方向の補正に対しても同様の概念が適用できるため、説明は省略する。
<領域(2)での補正処理>このときは、各回路からの出力は以下の通りとなる。まず、定数選択回路18では定数α/βが選択され、この定数α/βが乗算器19、20に出力される。次に、データ選択加減算回路21からは信号〔Yc−Rc×(α/β)〕、信号(Rc)、それに信号〔−Rc×(α/β)〕が出力される。さらに、定数選択回路6では定数Ky、Kfが選択され、これらの定数Ky、Kfが乗算器7、8に出力される。
そして、これらの結果、データ選択加算回路11からは、まず、信号〔Rc×Kf〕が加算器12に出力されて信号Rに加算され、次に、信号−〔Yc−Rc×(α/β)〕×Ky−Kf×〔Rc×(α/β)〕が加算器14に出力されて信号Bに加算されることになる。
そこで、図3において、今度はC点を入力映像信号の座標とし、これをベクトルCで表わすと、このベクトルCは、Ye成分ベクトルY1と肌色成分ベクトルF2の合成で表される。
C=Y1+F2 次に、Yeの彩度方向調整専用の利得定数をKyとし、肌色の彩度方向調整専用の利得定数をKfとすると、Yeの彩度方向の色調補正には、|Y1|×KyをBから減算してやれば良く、肌色の彩度方向の色調補正には、|F2|×Kfを肌色彩度方向に加算してやれば良い。
次に、これら|Y1|、|F2|の算出方法及び肌色彩度方向への加算方法については、上記した領域(1)のときと同じであり、従って、以下のようになる。
C=Y×Yc+R×Rc =Y×Yc+(1/β)×(F−α×Y)×Rc =F×Rc/β+Y×(Yc−α×Rc/β) となり、
よって、|Y1|=Yc−α×Rc/β|F2|=Rc/β となる。
ここで、F×Rc/βをベクトルRとベクトルBで表現すると、F×Rc/β=(α×(−B)+β×R)×Rc/β=−B×(α×Rc/β)+R×Rcとなる。
従って、以上の結果をまとめると、以下の通りとなる。すなわち、まず、Yeの彩度方向の色調補正を行なう場合には、|Y1|×Ky=(Yc−α×Rc/β)×KyをBから減算すれば良い。
次に、肌色の彩度方向の色調補正を行なう場合には、|F2|×Kfを肌色彩度方向に加算するのであるが、このことは(−α×Rc/β)×KfをBに加算し、Rc×KfをRに加算することに等しい。
そこで、Rベクトルと肌色ベクトルの間の角度θを、上記した領域(1)のときと同じく20°とすると、α/β=0.5321になるので、これを≒0.5とすると、このときの補正はYeの彩度方向の色調補正を行なう場合、(Yc−0.5Rc)×KyをBから減算すれば良く、肌色の彩度方向の色調補正を行なう場合、−0.5×Rc×KfをBに加算し、Rc×KfをRに加算してやれば良い。
以上は、彩度方向の補正についての説明であるが、色度方向の補正に対しても同様の概念が適用できるため、説明は省略する。
上記領域(1)及び領域(2)の各項で説明した補正によって得られる特性を示すと、図4の通りになる。この図4の特性は、Rの彩度方向の色調補正、Yeの彩度方向の色調補正、及び肌色の彩度方向の色調補正のそれぞれの利得特性を重ねて示したもので、図示のように、肌色の彩度方向利得定数Kfを制御してやれば、Rの彩度方向利得定数Krと、Yeの彩度方向の利得定数Kyに関係なく、肌色の彩度方向の色調補正を行なえることが判る。
従って、この実施形態例によれば、RとYeへの影響を最小限に押さえ、肌色に対して有効な色調補正を行なうことができ、テレビジョンカメラを切換えたときなどでの違和感を確実に無くすことができる。
次に、図5は、本発明の他の実施形態例による補正特性を示したもので、この実施形態例では、肌色軸Fを中心とした利得特性を持つ補正関数を生成し、これを取り出す。これを従来の機能に加算したものが、この図5の実施形態例で、この方式によれば、従来方式で補正しきれない領域を補うような形で補正することができる。
さらに本発明では、最大値と最小値判定後原色(最大値)と白(最小値)との差の彩度を算出し、彩度に応じて係数を算出する。
彩度に応じて係数を算出は、直線変化となる。
彩度に応じて係数を選択は、階段変化となる。
つまり、6色独立に加え肌色独立あるいは12色独立又は16色独立又は18色独立又は24色独立等などの6色より多い独立色調補正し、彩度に対応して色調補正の方向と量とを可変する方が、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
本発明の他の一実施例の色相彩度検出補正部の構成を示すブロック図の図9Bを用いて説明する。
図9Bは本発明の他の一実施例の色相彩度検出補正部の構成を示すブロック図であり、図9Aに乗算器21,22,23が追加されている。図9Bでは、彩度により曲線状に可変の動作に対応するため、彩度成分を累乗して、データ選択加減算回路21に印加している。図9Bでは、乗算器21,22,23の3ケであり彩度成分の3乗であるが、図示しない乗算器が2ケの2乗でも、図示しない乗算器が2ケの4乗でも良い。
図7Cは、本発明の他の一実施例の6色内外独立色調補正方式による色調補正処理の説明図であり、彩度の累乗に色調補正の量と方向が相関している。図7Aとの相違は、選択された彩度成分が自然数nヶ累乗される処理が追加されたことである。図9Bでは、図7Cの自然数nヶ分乗算器が追加されることになる。
彩度で方向可変の色調補正により、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
図17Aと図17Bと図17Cは、彩度で方向可変の色調補正の内の、彩度により連続可変の動作を示しているが、図15Aから図15Cは彩度に閾値のある動作であり、図15Dは彩度で方向可変の色調補正の内のステップ応答での可変である。彩度に線形相関で方向可変の色調補正の動作に限らず、彩度により階段状に可変の動作でも、彩度により曲線状に可変の動作でも良い。
6色ポイントの彩度に対応の6色内外独立色調補正方式による色調補正処理の説明図の図7E及び本発明の他の一実施例のベクトルチャートの6色ポイントの彩度に対応する6色独立色調補正のカラーベクトル波形上の動作を示す模式図の図16A及び本発明の他の一実施例のベクトルチャートの6色ポイントの彩度に対応する12色独立色調補正のカラーベクトル波形上の動作を示す模式図の図16B並びに、本発明の一実施例の色相彩度検出補正部の構成を示すブロック図の図9A及び本発明の他の一実施例の色相彩度検出補正部の構成を示すブロック図の9Cを用いて6色ポイントの彩度に対応の6色内外独立色調補正方式による色調補正処理を説明する。
図16Aは、本発明の他の一実施例のベクトルチャートの色ポイントの彩度に対応する6色独立色調補正のカラーベクトル波形上の動作を示す模式図であり、図16Bは本発明の他の一実施例のベクトルチャートの6色ポイントの彩度に対応する12色独立色調補正のカラーベクトル波形上の動作を示す模式図であり、本発明の他の一実施例のベクトルチャートのR、G、B、Cy、Ye、Mgの6色ポイントの彩度に対応して、画素ごとに内外の彩度への相関を可変する又は彩度内外の閾値を可変する等の画素単位に彩度により色調補正の量と方向を可変させる彩度の影響方法を可変させる6色以上の独立色調補正機能のカラーベクトル波形上の動作を示す。ベクトルチャートの6色ポイントの彩度に対応することにより、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
図16Aと図16Bは、ベクトルチャートの6色ポイントの彩度に対応して彩度内外の閾値を可変するであるが、画素ごとに内外の彩度への相関を可変するでも良い。
また、図16Aと図16Bは、ベクトルチャートの6色ポイントを固定で表示しているが、広色域と狭色域の変換時のベクトルチャートの6色ポイント移動に対応して、彩度内外の閾値を可変しても良いし、画素ごとに内外の彩度への相関を可変するでも良い。
本発明の一実施例の6色内外独立色調補正方式による色調補正処理では、ベクトルチャートのR、G、B、Cy、Ye、Mgの6色ポイントの彩度に対応して、彩度に色調補正の量と方向が線形相関の係数が、色相により変化する。
図3A又は図3Bあるいは図9A又は図9B又は図9Cの本発明の一実施例の色相検出補正部の構成を示すブロック図において、4の色相領域判定の色相により、定数選択6又は18において、彩度に色調補正の量と方向が線形相関の係数が変化する。
彩度で方向可変の色調補正により、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
なお、上記実施形態例では、色相の範囲をRとYeに限定して説明したが、本発明は、任意の色相に適用可能なことは、言うまでもなく、また、基準色の種類や数についても任意に設定可能なことは、言うまでもない。
色相の範囲をRとYeに限定は、6色内外独立に加え肌色独立の色調補正の動作であり、6色内外独立に加え肌色独立の色調補正の動作に限らず、12色彩度独立色調補正あるいは16色内外独立色調補正の動作又は18色内外独立色調補正の動作又は24色内外独立色調補正の動作でも良い。
つまり、6色独立に加え肌色独立あるいは12色独立又は16色独立又は18色独立又は24色独立等などの6色より多い独立色調補正し、特に内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する方が、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
(実施例1) 以下、本発明の一実施例を図1A、図1B、図3C、図7A、図7B、図7C、図7D、図7E、図7F、図18A、図18Bを用いて説明する。
図1Aと図1Bは本発明のテレビジョンカメラの一実施例を示すブロック図である。図1Aはガンマ前マトリクスであり、図1Bはガンマ後マトリクスである。図3Cは本発明の一実施例の色相検出補正部の構成を示すブロック図で、色温度検出と6色独立色調補正の色調補正を実現する詳細構成を示すブロック図である。また、本発明の一実施例として、図1Aと図1Bに色温度検出(算出)が追加されている。色温度検出(算出)は、図3Cの左端に示すゲート部41、過大信号削除部42、ピーク検出部43で構成されている。
図1Aと図1Bにおいて、光電変換されたR/G/Bの信号はCCDではAFE(アナログフロントエンドプロセッサ)でゲイン補正を行っており、CMOS撮像素子では内部でゲイン補正を行っており、RGB映像信号の増幅度を可変する手段となっている。
図7Aは、本発明の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。B撮像信号を周囲B画素中央値に補間して色調補正用のB映像信号とし、B撮像信号の中心画素撮像信号を維持と周囲B画素撮像信号の中央値と中心画素撮像信号との平均と周囲B画素撮像信号の中央値とに切替して本線用のB映像信号とする。
図7Bは、本発明の他の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。G撮像信号を中心画素撮像信号を維持し色調補正用の映像信号とし、G撮像信号の中心画素撮像信号を維持と周囲G画素撮像信号の中央値と中心画素撮像信号との平均と周囲G画素撮像信号の中央値とに切替して本線用のG映像信号とする。色温度で可変と共通である。
図7Cは、本発明の他の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間して色調補正用のR映像信号とし、R撮像信号の中心画素撮像信号を維持と周囲R画素撮像信号の中央値と中心画素撮像信号との平均と周囲R画素撮像信号の中央値とに切替して本線用のR映像信号とする。
図7Dは、本発明の一実施例の色温度検出手段と加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。
算出した画面の色温度の逆数を含めたB増幅度により、B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のB画素映像信号とする。B撮像信号の中心画素撮像信号を維持と中心画素維持と周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲B画素撮像信号中央値とに切替して本線用のB画素映像信号とする。算出した画面の色温度の逆数を含めたB増幅度に相関した重みづけ加算平均とする。
図7Eは、本発明の一実施例の色温度検出手段と加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。
算出した画面の色温度含めたR増幅度により、色調補正用のR画素映像信号は周囲R画素の中央値と中心画素との重みづけ加算平均で補間である。R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。R撮像信号の中心画素撮像信号を維持と中心画素維持と周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲R画素撮像信号中央値とに切替して本線用のR画素映像信号とする。算出した画面の色温度を含めたR増幅度に相関した重みづけ加算平均とする。
図7Fは、本発明の一実施例の加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。
G増幅度により、色調補正用のG映像信号は周囲G画素の中央値と中心画素との重みづけ加算平均で補間である。G撮像信号を周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。G撮像信号の中心画素撮像信号を維持と中心画素維持と周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲G画素撮像信号中央値とに切替して本線用のG画素映像信号とする。G増幅度に相関した重みづけ加算平均とする。
図7A〜図7Eにおいて、9は周囲画素信号選択部であり、16は白キズの周囲画素での補間、18は黒キズの周囲画素での補間、19は周囲画素中央値検出部、21,22,23,24,25,26,27,28は比較器、29は映像信号切替器、である。
図7Aと図7Bと図7Cと図7Dと図7Eと図7Fの周囲画素信号選択部9において、5と6はラインメモリ、7は映像信号切替器、8は遅延器である。ラインメモリ5と6は0Hの撮像信号から1H2Hの撮像信号を生成し、0Hの白キズ補間信号から1H,2Hの白キズ補間信号を生成する。映像信号切替器7は、0H,1H,2Hの撮像信号を選択して撮像信号の周囲画素信号を生成し、0H,1H,2Hの白キズ補間信号を選択して白キズ補間信号の周囲画素信号を生成する。ラインメモリ5と6の替わりに図示しないフレームメモリでも良い。
図7A〜図7Eにおいて、遅延器8は周囲画素中央値検出部19の遅延分撮像信号を遅延させ、白キズ補間信号を遅延させる。そして、周囲画素中央値検出部は、撮像信号の周囲画素信号から比較器21〜28で撮像信号または白キズ補間信号の周囲画素中央値を検出し、白キズ補間信号の周囲画素信号から比較器21〜28で白キズ補間信号の周囲画素中央値を検出する。
そして、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定15からの白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)に応じて白キズの周囲画素での補間部の切替器29で、撮像信号を、撮像信号の周囲画素中央値、中央画素と周囲画素中央値との平均、画素の中央値と中心画素との重みづけ平均のいずれかに補間して本線の映像信号とする。
そして、非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域から、本線の映像信号においても、Rは中央画素と周囲画素中央値との平均に補間し、Bは周囲画素中央値に補間しても、視特性では目立たない。本線の映像信号をクロマキーに用いる場合は、本線の映像信号は補間せずに、色調補正信号のみ補間すれば、色調補正による雑音増加が目立たない。
図18Aは、本発明の一実施例の中央画素を周囲画素中央値で補間の動作を示す模式図で、中央値の雑音大で数値が大きく異なっている場合に有効である。また、図18Bは、本発明の他の一実施例の中央画素を中央画素と周囲画素中央値との平均で補間の動作を示す模式図で、中央値の雑音中で数値が中程度に異なっている場合に有効である。14bitの16384を800%とすると、12bitの4096は200%となり、10bitの1024は50%となり、8bitの256は12.5%となる。
図18Aにおいて、200%の中央画素の撮像信号1024が、周囲の周囲正常画素撮像信号4096,4300,3800,3900,4000,4200,4100,8192の中央値4096で補間される。50%の中央画素の撮像信号2048が、周囲の周囲正常画素撮像信号1024,1000,976,1090,1000,1048,1100,998の中央値1024で補間される。12.5%の中央画素の撮像信号1024が、周囲の周囲正常画素撮像信号256,260,200,240,270,300,248,220の中央値256で補間される。
図18Bにおいて、
200%の中央画素と周囲画素中央値との平均は、(3328+4096)÷2=3712、となり、
50%の中央画素と周囲画素中央値との平均は、(1280+1024)÷2=1152、となり、
12.5%の中央画素と周囲画素中央値との平均は、(448+256)÷2=352、となる。
固体撮像素子の品種により異なるが、感度が低い分増幅度を上げるため、雑音は感度に反比例し、増幅度に比例する。したがって、増幅度に相関した重みづけ平均で補間した信号から色調補正信号を生成すれば、本線の映像信号の色帯域は低下せずに雑音低減効果が大きい。
また、増幅度に相関した重みづけ平均で補間した信号を本線の映像信号とすれば、より雑音低減効果が大きい。しかし、補間した信号を本線の映像信号とすれば、色帯域も低下してしまうので、色再現よりも、実行感度優先用となる。
つまり、本発明の1実施例は、固体撮像素子を有する撮像装置において、RGBの3板と色分解光学系からのRGBの信号を信号処理する手段を有し、
非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域に合わせて暗部も明部も、R撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段、又は RGB映像信号の増幅度を可変する手段を有し、暗部も明部も、R撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素撮像信号との増幅度に相関(増幅度小では中心B画素の撮像信号が主で増幅度大では周囲B画素の撮像信号の中央値が主と)した重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段、のいずれか一つの色調補正手段を有することを特徴とする撮像装置である。
また上記の撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、等のG映像信号に対しR映像信号とB映像信号との帯域を半減させる手段を有し R撮像信号をY画素で一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号をY画素で一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する、色調補正手段とのいずれか一つの色調補正手段を有することを特徴とする撮像装置である。
以上のように本発明によれば、リニアマトリックスでも、画素ごとに特定の色相を検出し画素ごとに特定の色相を補正する12色マスキングでも、色調補正を行うと、雑音の多いB又はRの雑音が、他の色にも混入し、実行S/Nが低下することを周囲画素撮像信号の中央値又は周囲画素撮像信号の中央値と中心画素撮像信号との平均又は周囲画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間という雑音低減した信号で色相を補正することで防止し、クロマキー処理等で、RやBやR−YやB−Yの映像信号はY同等の帯域いわゆる4:4:4が要求されても、本線信号の色帯域維持と、色調補正の改善と実行S/Nの維持とを両立することが実現できる。
特に、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号を周囲B画素撮像信号の中央値で補間すれば、色調補正の色帯域も非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域に近似させることができる。
また本発明は、上記の撮像装置において、
G映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、の少なくとも一方の手段を有し、
RGB映像信号の増幅度を可変する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、を有することを特徴とする撮像装置である。
つまり、本線信号の色帯域維持と、色調補正の改善と実行S/Nの維持とを両立することにおいて、実行S/Nの維持を優先する発明である。
特に、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号を周囲B画素撮像信号の中央値で補間すれば、本線信号の色帯域も非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域に近似させることができる。
また本発明は、固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
また本発明は、固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
つまり、本線信号の色帯域維持よりも、実行S/Nの維持を優先する発明である。ニュース取材や監視用途に適した発明である。
また、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号を周囲B画素撮像信号の中央値で補間すれば、本線信号の色帯域も非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域に近似させることができる。
(実施例2)色温度検出と増幅度と周囲画素中央値と中心画素との重みづけ加算平均で補間 以下、本発明の一実施例を図1A、図1B、図1C、図1D、図1E、図3C、図7B、図7D、図7E、図7F、図18C、図18Dを用いて、実施例1との相違点を中心に説明する。
図1Aと図1Bは本発明のテレビジョンカメラの一実施例を示すブロック図である。図1Aはガンマ前マトリクスであり、図1Bはガンマ後マトリクスである。図3Cは本発明の一実施例の色相検出補正部の構成を示すブロック図で、色温度検出と6色独立色調補正の色調補正を実現する詳細構成を示すブロック図である。
また、本発明の一実施例として、図1Aと図1Bに色温度検出が追加されている。
色温度検出は、図3Cの左端に示すゲート部41、過大信号削除部42、ピーク検出部43で構成されている。
図1A、図1B、図1C、図1D、図1Eにおいて、光電変換されたR/G/Bの信号はCCDではAFE(アナログフロントエンドプロセッサ)でゲイン補正を行っており、CMOS撮像素子では内部でゲイン補正を行っており、RGB映像信号の増幅度を可変する手段となっている。
図1Aと図1Bのプリズム(色分解光学系)32と撮像素子33R,33G,33Bは、図1Cの様に、プリズム(色分解光学系)32と撮像素子33R,33G,33G2,33Bの様に、4板撮像素子R,G1,G2,Bでも良い。
また、図1Dの様に、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子47の単板でも良い。
図1C、図1D、図1Eは本発明のテレビジョンカメラの一実施例を示すブロック図である。また、図1Cと図1Dと図1Eに色温度検出が追加されている。
図1CはR,G1,G2,Bの4板撮像素子と色分解光学系を用いたカメラでガンマ前マトリクスであり、R,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段を有している。図1Dはベイヤ配列のオンチップカラーフィルタ付撮像素子の単板カメラでガンマ後マトリクスであり、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子とその信号を処理する手段を有している。図1EはRGBの3板撮像素子と色分解光学系を用いたカメラでガンマ前マトリクスである。
さらに、図1Cと図1Dにおいて、RG1G2Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有している。つまり、詳細は実施例3で説明するが、図1Cと図1Dは、G映像信号の帯域に対しR映像信号とB映像信号との帯域または輝度を半減させる手段を有している。
図1Cや図1Dでは、34のパラレル−シリアル変換部により、G映像信号と一つ置きのB映像信号と一つ置きのR映像信号とに変換され信号処理される。信号処理後に、44のマトリスクス付シリアル−パラレル変換部によりR,G1,G2,Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とに変換されて、伝送する。伝送された映像信号は、マトリスクス付パラレル−シリアル変換部45により、G映像信号と一つ置きのB映像信号と一つ置きのR映像信号とに変換され信号処理される。
図1Eでは、本発明のテレビジョンカメラの一実施例を示すブロック図(ガンマ後マトリクス)であり、(R−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する。
図7Bは、本発明の他の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。
G撮像信号を中心画素撮像信号を維持し色調補正用の映像信号とし、G撮像信号の中心画素撮像信号を維持と周囲G画素撮像信号の中央値と中心画素撮像信号との平均と周囲G画素撮像信号の中央値とに切替して本線用のG映像信号とする。色温度で可変と共通である。
図7Dは、本発明の一実施例の色温度検出手段と加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。
B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のB画素映像信号とする。B撮像信号の中心画素撮像信号を維持と中心画素維持と周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲B画素撮像信号中央値とに切替して本線用のB画素映像信号とする。算出した画面の色温度の逆数を含めたB増幅度に相関した重みづけ加算平均とする。
図7Eは、本発明の一実施例の色温度検出手段と加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図で、色調補正用のR画素映像信号は周囲R画素の中央値と中心画素との重みづけ加算平均で補間である。
R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。R撮像信号の中心画素撮像信号を維持と中心画素維持と周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲R画素撮像信号中央値とに切替して本線用のR画素映像信号とする。算出した画面の色温度を含めたR増幅度に相関した重みづけ加算平均とする。
図7Fは、本発明の一実施例の加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図、色調補正用のG映像信号は周囲G画素の中央値と中心画素との重みづけ加算平均で補間である。
G撮像信号を周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。G撮像信号の中心画素撮像信号を維持と中心画素維持と周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲G画素撮像信号中央値とに切替して本線用のG画素映像信号とする。G増幅度に相関した重みづけ加算平均とする。
図18Cは、本発明の他の一実施例の中央画素を中央画素と周囲画素中央値との1:3の加重平均で補間の動作を示す模式図であり、中央値の雑音やや大で数値がやや大きく異なっている場合に有効である。
また、図18Dは、本発明の他の一実施例の中央画素を中央画素と周囲画素中央値との3:1の加重平均で補間の動作を示す模式図であり、中央値の雑音やや小で数値がやや小さく異なっている場合に有効である。
14bitの16384を800%とすると、12bitの4096は200%となり、10bitの1024は50%となり、8bitの256は12.5%となる。
図18Cにおいて、
200%の中央画素と周囲画素中央値との1:3の平均は、(1280×1+4096×3)÷4=3392、となり、
50%の中央画素と周囲画素中央値との平均は、(1920×1+1024×3)÷4=1248、となり、
12.5%の中央画素と周囲画素中央値との平均は、(512×1+256×3)÷2=320、となる。
図18Dにおいて、
200%の中央画素と周囲画素中央値との3:1の平均は、(3700×3+4096×1)÷4=3799、となり、
50%の中央画素と周囲画素中央値との平均は、(1150×3+1024×1)÷4=1118.5≒1119、となり、
12.5%の中央画素と周囲画素中央値との平均は、(372×3+256×1)÷2=343、となる。
つまり、本発明の他の1実施例は、固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はRG1G2Bの4板撮像素子と色分解光学系とその信号を処理する手段を有し、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することと、
RGBの3板と色分解光学系からのRGBの信号を信号処理する手段を有し、少なくとも明部もR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することと、
のいずれか一つの映像信号処理手段と色調補正手段とを有することを特徴とする撮像装置である。
また、本発明の他の1実施例は、R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(中央値のみを含む)で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(中央値のみを含む)で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
また、本発明の他の1実施例は、R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はRG1G2Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し R撮像信号をY画素で一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号をY画素で一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する、色調補正手段とのいずれか一つの色調補正手段を有することを特徴とする撮像装置である。
以上のように本発明によれば、リニアマトリックスでも、画素ごとに特定の色相を検出し画素ごとに特定の色相を補正する12色マスキングでも、色調補正を行うと、雑音の多いB又はRの雑音が、他の色にも混入し、実行S/Nが低下することを周囲画素の中央値又は周囲画素の中央値と中心画素との平均又は周囲画素の中央値と中心画素との重みづけ平均で補間という雑音低減した信号で色相を補正することで防止し、クロマキー処理等で、RやBやR−YやB−Yの映像信号はY同等の帯域いわゆる4:4:4が要求されても、本線信号の色帯域維持と、色調補正の改善と実行S/Nの維持とを両立することが実現できる。
ここで、色温度を検出(算出)する方法を説明する。
図3Cにおいて、白バランス調整は、赤R、緑G、青Bの各映像信号が、白色被写体の撮像時に1:1:1となるように各色映像信号の利得を調整または撮像素子の感度を調整するようになされている。図3Cの左端に示す白バランス検出回路が用いられており、ゲート部41で映像信号の高輝度部分を抜出し、過大信号削除部42で照明や太陽等の過大なレベルの高輝度部分を削除し、ピーク検出部43より、赤R、緑G、青B各映像信号のピーク値RpとGpとBpを検出し、各映像信号のピーク値が等しくなるように赤、青信号の利得を調整する方式が用いられている。
白バランス調整を行うことで得られた赤、青信号の利得制御値を基に被写体の色温度を以下の6次近似式より算出(検出)する。
Y=(0.0000005*X−0.000002*X−0.00006*X+0.0006*X
+0.0096*X−0.1445*X+3.1848)*1000 なお、Xは、赤と青の利得差=(Rg−Bg)dB である。
本発明の他の1実施例は、上の6次近似式により算出(検出)した被写体の色温度を用いて、色温度に相関した重みづけ平均でRBの撮像信号を補間した信号から色調補正信号を生成する。
固体撮像素子の品種により異なるが、およそ3200K程度の低色温度では、Rの撮像信号の感度はGの撮像信号の感度と同程度でBの撮像信号の感度はGの撮像信号の感度の半分以下であり、感度が低い分増幅度を上げるため、雑音は感度に反比例し、Rの撮像信号の雑音はGの撮像信号の雑音と同程度でBの撮像信号の雑音はGの撮像信号の雑音の倍以上である。およそ5600K程度の中色温度では、RとBの撮像信号の感度はGの撮像信号の感度より少し低く、RとBの撮像信号の雑音はGの撮像信号の雑音より少し多い。およそ10000K程度の高色温度では、Rの撮像信号の感度はGの撮像信号の感度の半分以下でBの撮像信号の感度はGの撮像信号の感度と同程度であり、Rの撮像信号の雑音はGの撮像信号の雑音倍以上でBの撮像信号の雑音はGの撮像信号の雑音と同程度である。
したがって、色温度に相関し増幅度に相関した重みづけ平均で補間した信号から色調補正信号を生成すれば、雑音低減効果が大きい。
つまり、本発明の他の1実施例は、固体撮像素子を有する撮像装置において、
G映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、の少なくとも一方の手段を有し、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段を有し、
色温度を検出(算出)する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
以上のように本発明の他の1実施例によれば、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関し増幅度に相関した重みづけ平均で補間し、B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関し増幅度に相関した重みづけ平均で補間した信号から色調補正信号を生成することにより、増幅度が高く雑音が大きい色の雑音が、他の色へ混入することを低減することができ、色調補正の改善と実行S/Nの維持とをよりよく両立することができる。
特に、低照度の撮影条件で、Gも高感度となり、G映像信号も雑音が多い時に有効である。色調補正の色帯域維持よりも、実行S/Nの維持を優先する発明である。ニュース取材に適した発明である。
また本発明は、固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号を本線の映像信号とする雑音低減手段を有し、
色温度を検出(算出)する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
特に、低照度の撮影条件で、Gも高感度となり、G映像信号も雑音が多い時に有効である。つまり、本線信号の色帯域維持よりも、実行S/Nの維持を優先する発明である。監視用途に適した発明である。
(実施例3)2系統の輝度が主な信号と色が主な信号とで伝送 以下、本発明の一実施例を図1C、図1D、図1E、図3C、図7A、図7B、図7C、図7D、図7E、図7Fを用いて、実施例1と実施例2との相違点を中心に説明する。
図1Aと図1Bと図1Eのプリズム32と撮像素子33R,33G,33Bは、図1Cの様に、プリズム32と撮像素子33R,33G,33G2,33Bの様に、4板撮像素子でも良い。また、図1Dの様に、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子47でも良い。
図1C、図1D、図1Eにおいて、光電変換されたR/G/Bの信号はCCDではAFE(アナログフロントエンドプロセッサ)でゲイン補正を行っており、CMOS撮像素子では内部でゲイン補正を行っており、RGB映像信号の増幅度を可変する手段となっている。
図1C、図1D、図1Eは本発明のテレビジョンカメラの一実施例を示すブロック図である。図1Cはガンマ前マトリクスであり、図1Dはガンマ後マトリクスである。
また、本発明の一実施例として、図1Cと図1Dに色温度検出が追加されている。
図1Cと図1Dにおいて、RG1G2Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR色差のR−(G1+G2),G1,G2,B色差のB−(G1+G2)又はR色差のR−(Y1+Y2),Y1,Y2,B色差のB−(Y1+Y2)又はR色差のR−G1,G1,G2,B色差のB−G2又はR色差のR−Y1,Y1,Y2,B色差のB−Y2又はR−G2,G1,G2,B色差のB−G1又はR色差のR−Y2,Y1,Y2,B色差のB−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有している。
図1Cや図1Dでは、パラレル−シリアル変換部34により、G映像信号と一つ置きのB映像信号と一つ置きのR映像信号とに変換され信号処理される。信号処理後に、マトリスクス付シリアル−パラレル変換部44によりRG1G2Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR色差のR−(G1+G2),G1,G2,B色差のB−(G1+G2)又はR色差のR−(Y1+Y2),Y1,Y2,B色差のB−(Y1+Y2)又はR色差のR−G1,G1,G2,B色差のB−G2又はR色差のR−Y1,Y1,Y2,B色差のB−Y2又はR色差のR−G2,G1,G2,B色差のB−G1又はR色差のR−Y2,Y1,Y2,B色差のB−Y1等の2系統の輝度が主な信号と色が主な信号とに変換されて、伝送する。伝送された映像信号は、マトリスクス付パラレル−シリアル変換部45により、G映像信号と一つ置きのB映像信号と一つ置きのR映像信号とに変換され信号処理される。
図1Eは、本発明のテレビジョンカメラの一実施例を示すブロック図(ガンマ後マトリクス)であり、R色差のR−(G1+G2),G1,G2,B色差のB−(G1+G2)又はR色差のR−(Y1+Y2),Y1,Y2,B色差のB−(Y1+Y2)又はR色差のR−G1,G1,G2,B色差のB−G2又はR色差のR−Y1,Y1,Y2,B色差のB−Y2又はR色差のR−G2,G1,G2,B色差のB−G1又はR色差のR−Y2,Y1,Y2,B色差のB−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する。
図3Cは本発明の一実施例の色相検出補正部の構成を示すブロック図で、色温度検出と6色独立色調補正の色調補正を実現する詳細構成を示すブロック図である。
色温度検出は、図3Cの左端に示すゲート部41、過大信号削除部42、ピーク検出部43で構成されている。
図7Bは、本発明の他の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。
G撮像信号を中心画素撮像信号を維持し色調補正用の映像信号とし、G撮像信号の中心画素撮像信号を維持と周囲G画素撮像信号の中央値と中心画素撮像信号との平均と周囲G画素撮像信号の中央値とに切替して本線用のG映像信号とする。色温度で可変と共通である。
図7Dは、本発明の一実施例の色温度検出手段と加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。
B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のB画素映像信号とする。B撮像信号の中心画素撮像信号を維持と中心画素維持と周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲B画素撮像信号中央値とに切替して本線用のB画素映像信号とする。算出した画面の色温度の逆数を含めたB増幅度に相関した重みづけ加算平均とする。
図7Eは、本発明の一実施例の色温度検出手段と加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図で、色調補正用のR画素映像信号は周囲R画素の中央値と中心画素との重みづけ加算平均で補間である。
R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。R撮像信号の中心画素撮像信号を維持と中心画素維持と周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲R画素撮像信号中央値とに切替して本線用のR画素映像信号とする。算出した画面の色温度を含めたR増幅度に相関した重みづけ加算平均とする。
図7Fは、本発明の一実施例の加算重みづけ可変手段を追加した補正方式による色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図、色調補正用のG映像信号は周囲G画素の中央値と中心画素との重みづけ加算平均で補間である。
G撮像信号を周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。G撮像信号の中心画素撮像信号を維持と中心画素維持と周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲G画素撮像信号中央値とに切替して本線用のG画素映像信号とする。G増幅度に相関した重みづけ加算平均とする。
つまり、本発明の1実施例は、(R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子信号又は、R,G1,G2,Bの4板と色分解光学系からの映像信号を信号処理する手段を有し、)少なくとも明部もR色差撮像信号を周囲R色差画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR色差撮像信号を周囲R色差画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB色差撮像信号を周囲B色差画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB色差撮像信号を周囲B色差画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有し、
R,G1,G2,Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR色差のR−(G1+G2),G1,G2,B色差のB−(G1+G2)又はR色差のR−(Y1+Y2),Y1,Y2,B色差のB−(Y1+Y2)又はR色差のR−G1,G1,G2,B色差のB−G2又はR色差のR−Y1,Y1,Y2,B色差のB−Y2又はR色差のR−G2,G1,G2,B色差のB−G1又はR色差のR−Y2,Y1,Y2,B色差のB−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することと、ことを特徴とする撮像装置である。
以上のように本発明によれば、リニアマトリックスでも、画素ごとに特定の色相を検出し画素ごとに特定の色相を補正する12色マスキングでも、色調補正を行うと、雑音の多いB又はRの雑音が、他の色にも混入し、実行S/Nが低下することを周囲画素の中央値又は周囲画素の中央値と中心画素との平均又は周囲画素の中央値と中心画素との重みづけ平均で補間という雑音低減した信号で色相を補正することで防止し、クロマキー処理等で、RやBやR−YやB−Yの映像信号はY同等の帯域いわゆる4:4:4が要求されても、本線信号の色帯域維持と、色調補正の改善と実行S/Nの維持とを両立することが実現できる。
特に、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号を周囲B画素撮像信号の中央値で補間すれば、色調補正の色帯域も視特性色帯域に近似させることができる。
また、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出した色温度に正に相関した重みづけ平均で補間し、B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出した色温度に負に相関した重みづけ平均で補間した信号から色調補正信号を生成することにより、増幅度が高く雑音が大きい色の雑音が、他の色へ混入することを低減することができ、色調補正の改善と実行S/Nの維持とをよりよく両立することができる。
さらに、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出した色温度に正に相関した重みづけ平均で補間し、B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出した色温度に負に相関した重みづけ平均で補間した信号から色調補正信号を生成することにより、増幅度が高く雑音が大きい色の雑音が、他の色へ混入することを低減することができ、色調補正の改善と実行S/Nの維持とをよりよく両立することができる。
画素数が縦横共に倍以上あるR,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子信号からのダウンコンバートの4:4:4フル帯域のRGBの信号処理と4:4:4フル帯域の伝送又は、RGBの3板と色分解光学系からの4:4:4フル帯域のRGBの信号処理と4:4:4フル帯域の伝送では、ディスプレイの画素拡大表示や、信号方式のアップコンバートにより、色調補正の帯域低減の副作用が現れることもある。そのため、色調補正の色帯域維持よりも、実行S/Nの維持を優先するニュース取材に適した発明である。
しかし、R,G1,G2,Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR色差のR−(G1+G2),G1,G2,B色差のB−(G1+G2)又はR色差のR−(Y1+Y2),Y1,Y2,B色差のB−(Y1+Y2)又はR色差のR−G1,G1,G2,B色差のB−G2又はR色差のR−Y1,Y1,Y2,B色差のB−Y2又はR色差のR−G2,G1,G2,B色差のB−G1又はR色差のR−Y2,Y1,Y2,B色差のB−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する場合では、ディスプレイの画素拡大表示や、信号方式のアップコンバートによっても、色調補正の帯域低減の副作用が現れることはほとんどない。
つまり、本発明の他の1実施例によれば、R,G1,G2,Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR色差のR−(G1+G2),G1,G2,B色差のB−(G1+G2)又はR色差のR−(Y1+Y2),Y1,Y2,B色差のB−(Y1+Y2)又はR色差のR−G1,G1,G2,B色差のB−G2又はR色差のR−Y1,Y1,Y2,B色差のB−Y2又はR色差のR−G2,G1,G2,B色差のB−G1又はR色差のR−Y2,Y1,Y2,B色差のB−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送することにより、重みづけ平均で補間した信号から色調補正信号を生成することによる色調補正の帯域低減の副作用がより低減するので、色調補正の改善と実行S/Nの維持とをよりよく両立することができる。
また、本発明は、固体撮像素子を有する撮像装置において、
G映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
特に、低照度の撮影条件で、Gも高感度となり、G映像信号も雑音が多い時に有効である。つまり、本線信号の色帯域維持よりも、実行S/Nの維持を優先する発明である。監視用途に適した発明である。
本発明の実施形態である撮像装置は、リニアマトリックスでも、画素ごとに特定の色相を検出し画素ごとに特定の色相を補正する12色マスキングでも、色調補正を行うと、雑音の多いB又はRの雑音が、他の色にも混入し、実行S/Nが低下することを周囲画素の中央値又は周囲画素の中央値と中心画素との平均又は周囲画素の中央値と中心画素との重みづけ平均で補間という雑音低減した信号で色相を補正することで防止し、クロマキー処理等で、RやBやR−YやB−Yの映像信号はY同等の帯域いわゆる4:4:4が要求されても、本線信号の色帯域維持と、色調補正の改善と実行S/Nの維持とを両立することが実現できる。
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。この出願は、2016年9月27日に出願された日本出願特願2016−188232を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
R信号を周囲中央値と中心との平均で補間し、B信号を周囲中央値で補間した色相補正信号を生成すること、またはR信号とB信号とを色温度又は増幅度に相関した周囲中央値との重みづけ平均で補間した色相補正信号を生成すること等の、R信号とB信号とを周囲中央値との重みづけ平均で補間した色相補正信号を生成することによって、色帯域維持と色調補正の改善と実行S/Nの維持とを両立したい用途に適用できる。スタジオ撮影用途、劇場撮影用途、コンサート撮影用途、お天気カメラ、医療用途、検査用途などに有効である。
また、色温度又は増幅度に相関し本線映像信号を中央値と中心画素との重みづけ平均することによって、本線信号の色帯域維持よりも、色調補正の改善と実行S/Nの維持を優先する用途に適用できる。特に、低照度の撮影条件で、Gも高感度となり、G映像信号も雑音が多い用途に有効である。監視用途、ニュース取材用途、学術用途などに有効である。
1,2,3:減算器、4:色相領域判定回路、5:彩度成分量と原色成分量及び補色成分量判定回路、6:定数選択回路、7,8:乗算器9,10:補数器(−1倍乗算器)、11:データ選択加算回路12,13,14:加算器、15:中間色色相設定回路、17:α/β、α/β算出回路、18,24,25:定数選択回路、16,19,20,21,22,23,26:乗算器、21:データ選択加減算回路、30:テレビジョンカメラ、31:レンズ、32:プリズム(色分解光学系)、33R,33G,33B,33G1,33G2,:CCD(電荷結合素子)+AFE(アナログフロントエンドプロセッサ)又はCMOS撮像素子、34:パラレル−シリアル変換部、35:色相検出補正機能付き映像信号処理部、37:パラレル−シリアル変換部、39:CPU、40:ビューファインダ、41:ゲート部、42:過大信号削除部、43:ピーク検出部、44:マトリスクス付シリアル−パラレル変換部、45:マトリスクス付パラレル−シリアル変換部、46:ガンマ補正部、47:オンチップカラーフィルタ付撮像素子。

Claims (7)

  1. 固体撮像素子を有する撮像装置において、G映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、少なくとも明部をR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、少なくとも明部をB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置。
  2. 固体撮像素子を有する撮像装置において、
    R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段を有し、少なくとも明部をR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部をB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置。
  3. 請求項2の撮像装置において、
    R,G1,G2,Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することを特徴とする撮像装置。
  4. 請求項1乃至請求項3撮像装置において、
    G映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、の少なくとも一方の手段を有し、
    色温度を検出(算出)する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、
    RGB映像信号の増幅度を可変する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素撮像信号が主で増幅度大では周囲R画素撮像信号の中央値が主と)した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、の少なくともいずれか一方を有することを特徴とする撮像装置。
  5. 請求項1乃至請求項3の撮像装置において、
    R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号に対しR映像信号とB映像信号との帯域を半減させる手段を有し R撮像信号をG画素で一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号をG画素で一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置。
  6. 固体撮像素子を有する撮像装置において、RGBの3板と色分解光学系からのRGBの信号を信号処理する手段を有し、少なくとも明部もR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有し、R−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することを特徴とする撮像装置。
  7. 固体撮像素子を有する撮像装置において、
    G映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
    色温度を検出(算出)する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段と、
    RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号を本線の映像信号とする雑音低減手段と、のいずれか一方を有することを特徴とする撮像装置。
JP2018542031A 2016-09-27 2017-09-01 撮像装置 Active JP6632093B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016188232 2016-09-27
JP2016188232 2016-09-27
PCT/JP2017/031595 WO2018061615A1 (ja) 2016-09-27 2017-09-01 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2018061615A1 true JPWO2018061615A1 (ja) 2019-06-24
JP6632093B2 JP6632093B2 (ja) 2020-01-15

Family

ID=61760719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018542031A Active JP6632093B2 (ja) 2016-09-27 2017-09-01 撮像装置

Country Status (2)

Country Link
JP (1) JP6632093B2 (ja)
WO (1) WO2018061615A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830107B2 (en) * 2020-04-24 2023-11-28 Boe Technology Group Co., Ltd. Method and apparatus for filtering image colors, electronic device and storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217123A (ja) * 1999-01-20 2000-08-04 Canon Inc 撮像装置及び前記撮像装置における画像処理方法
US7236190B2 (en) * 2002-10-31 2007-06-26 Freescale Semiconductor, Inc. Digital image processing using white balance and gamma correction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830107B2 (en) * 2020-04-24 2023-11-28 Boe Technology Group Co., Ltd. Method and apparatus for filtering image colors, electronic device and storage medium

Also Published As

Publication number Publication date
WO2018061615A1 (ja) 2018-04-05
JP6632093B2 (ja) 2020-01-15

Similar Documents

Publication Publication Date Title
US5548330A (en) Image pickup device for generating a corrected luminance signal
JP5152114B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
US7030913B2 (en) White balance control apparatus and method, and image pickup apparatus
US8508625B2 (en) Image processing apparatus
EP2426928A2 (en) Image processing apparatus, image processing method and program
JP2007259344A (ja) 撮像装置および画像処理方法
US20070229676A1 (en) Physical quantity interpolating method, and color signal processing circuit and camera system using the same
US8130286B2 (en) Luminance signal generation apparatus, luminance signal generation method, and image capturing apparatus
JP3919389B2 (ja) 信号処理装置及び信号処理方法
JP2005109991A (ja) 信号処理方法及び装置、撮像装置
KR0121296B1 (ko) 고체 컬러 촬상 장치
US8384799B2 (en) Image processing apparatus and image processing method
JP3969836B2 (ja) 信号処理装置および撮像用信号処理方法
JP6632093B2 (ja) 撮像装置
JP6590955B2 (ja) 撮像装置及び色補正方法
JPH11220745A (ja) カメラ信号処理装置及びカメラ信号処理方法
JP3880276B2 (ja) 撮像装置
JP7203441B2 (ja) 画像生成装置及び撮像装置
KR100949188B1 (ko) Ccd의 영상신호 처리 방법
JP3410638B2 (ja) ビデオカメラシステム
JPH11220744A (ja) カメラ信号処理装置及びカメラ信号処理方法
KR20050006424A (ko) 색신호 처리방법 및 그 방법을 사용하는 촬상장치
US5677528A (en) Solid-State imaging apparatus with a coefficient multiplying circuit
US9092882B2 (en) Image processing apparatus
WO2017026449A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191206

R150 Certificate of patent or registration of utility model

Ref document number: 6632093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250