JP4767525B2 - 撮像システム及び撮像処理プログラム - Google Patents
撮像システム及び撮像処理プログラム Download PDFInfo
- Publication number
- JP4767525B2 JP4767525B2 JP2004332200A JP2004332200A JP4767525B2 JP 4767525 B2 JP4767525 B2 JP 4767525B2 JP 2004332200 A JP2004332200 A JP 2004332200A JP 2004332200 A JP2004332200 A JP 2004332200A JP 4767525 B2 JP4767525 B2 JP 4767525B2
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- procedure
- signal
- unit
- white balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、カラー映像信号の信号処理に係わり、特にCMS(Color Management System)において高輝度，高彩度域の信号を適切に補正することで高品位な映像信号を得る撮像システム及び撮像処理プログラムに関する。
現在のデジタルスチルカメラやビデオカメラなどの撮像系には、補色系または原色系のカラーフィルタを前面に配置した単板撮像素子を用いたものが主流となっている。撮像素子からの信号はホワイトバランス処理，補間処理がなされ、その後にエッジ強調処理，彩度強調処理，階調補正処理などの絵作り処理がなされて出力される。上記絵作り処理は撮像系からの信号に対して直接行われる場合もあるが、CMSを用いてYCbCr色空間，CIE Lab色空間，CIE Luv色空間などの別の色空間に変換して輝度信号と色信号を分離して処理することが多い。この場合、撮像系のダイナミックレンジ幅の制限やホワイトバランス処理で1以上のゲインが乗算されることで所定のビット精度を逸脱することなどにより、高輝度，高彩度域の信号の色相，彩度が変化して不自然になることへの対応が課題となる。撮像系のダイナミックレンジ幅の制限に対しては、例えば特開2001-189890号公報では露出レベルを暗めに設定し、階調変換時に輝度レベルを補正する処理が開示されている。ホワイトバランス処理でのビット精度の逸脱に対しては、以後の処理系のビット精度を増加することで対応できるが、システムが高コスト化してしまう。またホワイトバランス処理に直接関連はしないが、特開2003-244458号公報では所定の色域を逸脱する信号を非線形に圧縮する処理が、特許第3268512号ではCMS前に階調変換処理でビット精度を圧縮する処理が開示されている。
特開２００１−１８９８９０号公報
特開２００３−２４４４５８号公報
特許第３２６８５１２号
上記特開2001-189890号公報による露出レベルと階調変換の補正は撮像系からのRGB信号で行われており、CMSを用いて輝度信号と色信号に分離した場合には対応することができない。特に、輝度信号を変化させた場合に色信号を適切に補正しないと不自然な色再現が生じるが、このような課題に対応することができない。また、上記特開2003-244458号公報では非線形に圧縮する処理の圧縮特性は入力系と出力系の色域から設定されるが、これは静的に与えられる。このため、ホワイトバランス処理のように撮影時に動的に変化する特性に適切に対応することができない。さらに、処理が上記特開2001-189890号公報と同様に撮像系からのRGB信号で行われており、CMSを用いて輝度信号と色信号に分離した場合には対応することができない。また、上記特許第3268512号では階調変換処理でビット精度を圧縮するが、CMS後に回復させる処理が行われない。このため、CMS後は精度の劣化したビット精度での処理となり、高品位な画像を生成するという課題に対応することができない。
本発明は上記問題点に着目し、撮像系のダイナミックレンジ幅の制限やホワイトバランス処理でのビット精度の逸脱に起因する高輝度，高彩度域の色相，彩度の変化に対し、低コストかつ適切な補正処理を可能とする撮像システム及び撮像処理プログラムを提供することを目的とする。また、ホワイトバランス処理は撮影ごとにその条件が動的に変化するが、このような変化に対応して最適な補正処理を可能とし、高品位な映像信号を得る撮像システム及び撮像処理プログラムを提供することを目的とする。
以下に、（請求項１〜１６）の発明による撮像システムについて、その構成、対応する実施例、適用例、作用及び効果を述べる。
（請求項１）
（構成）
請求項１の本発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、白色の被写体が設定値となるよう露出制御を行う露出制御手段と、上記撮像素子からの信号を所定のビット精度で量子化する量子化手段と、上記量子化手段で量子化された信号にビット精度を増加してホワイトバランス処理を行うホワイトバランス手段と、上記ホワイトバランス手段でホワイトバランス処理された信号の階調特性を圧縮変換することにより、上記ホワイトバランス手段にて増加されたビット精度を増加前のビット精度以下に変換する圧縮変換手段と、を有し、上記圧縮変換手段は、圧縮変換の関わる階調変換特性を上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき決定する階調変換部と、上記階調変換特性に基づき階調特性の圧縮変換を行う手段と、を有する。
（構成）
請求項１の本発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、白色の被写体が設定値となるよう露出制御を行う露出制御手段と、上記撮像素子からの信号を所定のビット精度で量子化する量子化手段と、上記量子化手段で量子化された信号にビット精度を増加してホワイトバランス処理を行うホワイトバランス手段と、上記ホワイトバランス手段でホワイトバランス処理された信号の階調特性を圧縮変換することにより、上記ホワイトバランス手段にて増加されたビット精度を増加前のビット精度以下に変換する圧縮変換手段と、を有し、上記圧縮変換手段は、圧縮変換の関わる階調変換特性を上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき決定する階調変換部と、上記階調変換特性に基づき階調特性の圧縮変換を行う手段と、を有する。
（対応する発明の実施例）
この発明に関する実施例は、図１〜図６に示される実施例１および図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中の露出制御手段は図１，図７，図１９に示される絞り101，CCD103，測光評価部108が、請求項中の量子化手段は図１，図７，図１９に示されるA/D105が、請求項中のホワイトバランス手段は図１，図７，図１９に示されるGain104，PreWB部107，WB部111が、請求項中の圧縮変換手段は図１，図３，図１９に示される圧縮変換部112及び図７，図８に示される圧縮変換部112Aが該当する。図３の圧縮変換部112は階調変換部203を含んでいる。図８の圧縮変換部112Aはゲイン乗算部501を含んでいる。
この発明に関する実施例は、図１〜図６に示される実施例１および図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中の露出制御手段は図１，図７，図１９に示される絞り101，CCD103，測光評価部108が、請求項中の量子化手段は図１，図７，図１９に示されるA/D105が、請求項中のホワイトバランス手段は図１，図７，図１９に示されるGain104，PreWB部107，WB部111が、請求項中の圧縮変換手段は図１，図３，図１９に示される圧縮変換部112及び図７，図８に示される圧縮変換部112Aが該当する。図３の圧縮変換部112は階調変換部203を含んでいる。図８の圧縮変換部112Aはゲイン乗算部501を含んでいる。
この発明の好ましい適用例は、絞り101，CCD103，測光評価部108にて露出制御を行い、A/D105にて所定のビット精度で量子化し、Gain104，PreWB部107，WB部111にてホワイトバランス処理を行い、圧縮変換部112または圧縮変換部112Aにてホワイトバランス処理された信号を圧縮変換する撮像システムである。
（作用）
ホワイトバランス後の信号を所定のビット精度になるよう圧縮変換する。
ホワイトバランス後の信号を所定のビット精度になるよう圧縮変換する。
（効果）
ホワイトバランス後の処理系のビット精度を増加する必要が無く、システムを低コストで実現できる。また、所定のビット精度を上回る信号に対して最大値への置換でなく、圧縮変換を行うため色相，彩度の変化を緩和でき自然な色再現が得られる。
ホワイトバランス後の処理系のビット精度を増加する必要が無く、システムを低コストで実現できる。また、所定のビット精度を上回る信号に対して最大値への置換でなく、圧縮変換を行うため色相，彩度の変化を緩和でき自然な色再現が得られる。
（請求項２）
（構成）
請求項１における階調変換部は、上記露出制御手段で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手段と、上記変曲点以下の信号を変換する第１の変換特性と上記変曲点以上の信号を変換する第２の変換特性を設定する変換特性設定手段と、を有し、上記第２の変換特性を上記量子化手段で用いられる所定のビット精度および上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき設定することを特徴とする。
（構成）
請求項１における階調変換部は、上記露出制御手段で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手段と、上記変曲点以下の信号を変換する第１の変換特性と上記変曲点以上の信号を変換する第２の変換特性を設定する変換特性設定手段と、を有し、上記第２の変換特性を上記量子化手段で用いられる所定のビット精度および上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき設定することを特徴とする。
（対応する発明の実施例）
この発明に関する実施例は、図１〜図６に示される実施例１および図１９〜図２５に示される実施例３が対応する。請求項中の変曲点設定手段は図３( a )に示される変曲点設定部200が、請求項中の変換特性設定手段は図３( a )に示される圧縮特性設定部201が該当する。
この発明に関する実施例は、図１〜図６に示される実施例１および図１９〜図２５に示される実施例３が対応する。請求項中の変曲点設定手段は図３( a )に示される変曲点設定部200が、請求項中の変換特性設定手段は図３( a )に示される圧縮特性設定部201が該当する。
この発明の好ましい適用例は、変曲点設定部200にて露出制御手段で設定される白色の被写体に対する設定値に基づき変曲点を設定し、圧縮特性設定部201にて変曲点以下の信号を変換する第１の変換特性と変曲点以上の信号を変換する第２の変換特性を設定する撮像システムである。
（作用）
露出制御の白色値から変曲点を設定し、変曲点以下と以上で異なる変換特性を設定し圧
縮変換する。第２の変換特性を上記量子化手段で用いられる所定のビット精度および上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき設定する。
露出制御の白色値から変曲点を設定し、変曲点以下と以上で異なる変換特性を設定し圧
縮変換する。第２の変換特性を上記量子化手段で用いられる所定のビット精度および上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき設定する。
（効果）
変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では色相と彩度を保存し、変曲点以上では違和感の少ない色再現を行うこと可能となり、全体として高品位な信号の生成が可能となる。
変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では色相と彩度を保存し、変曲点以上では違和感の少ない色再現を行うこと可能となり、全体として高品位な信号の生成が可能となる。
（請求項３）
（構成）
請求項２における変換特性設定手段は、上記第１の変換特性を線形に設定し、上記第２の変換特性を上記量子化手段で用いられる所定のビット精度および上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき非線形に設定することを特徴とする。
（構成）
請求項２における変換特性設定手段は、上記第１の変換特性を線形に設定し、上記第２の変換特性を上記量子化手段で用いられる所定のビット精度および上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき非線形に設定することを特徴とする。
（対応する発明の実施例）
この発明に関する実施例は、図１〜図６に示される実施例１および図１９〜図２５に示される実施例３が対応する。請求項中の第１の変換特性および第２の変換特性は図４に示される。
この発明に関する実施例は、図１〜図６に示される実施例１および図１９〜図２５に示される実施例３が対応する。請求項中の第１の変換特性および第２の変換特性は図４に示される。
この発明の好ましい適用例は、変曲点以下の信号を変換する第１の変換特性を線形に、変曲点以上の信号を変換する第２の変換特性を量子化手段で用いられる所定のビット精度およびホワイトバランス係数に基づき非線形に設定する撮像システムである。
（作用）
変曲点以下は線形に、変曲点以上はビット精度およびホワイトバランス係数に基づき非線形に設定する。
変曲点以下は線形に、変曲点以上はビット精度およびホワイトバランス係数に基づき非線形に設定する。
（効果）
０から変曲点までの信号は線形に変換されるため、この間の信号は色相と彩度が保存され、正しい色再現が可能となる。一方、変曲点を超える信号は非線形に変換されるため、色相と彩度の変化は抑圧され、違和感の少ない色再現が可能となる。また、非線形な変換特性はビット精度およびホワイトバランス係数に基づき動的に決められるため、最適な圧縮処理が可能なる。
０から変曲点までの信号は線形に変換されるため、この間の信号は色相と彩度が保存され、正しい色再現が可能となる。一方、変曲点を超える信号は非線形に変換されるため、色相と彩度の変化は抑圧され、違和感の少ない色再現が可能となる。また、非線形な変換特性はビット精度およびホワイトバランス係数に基づき動的に決められるため、最適な圧縮処理が可能なる。
（請求項４）
（構成）
請求項１における圧縮変換手段は、上記ホワイトバランス手段で用いられるホワイトバランス係数に基づきゲインを設定するゲイン設定手段と、上記ゲイン設定手段で設定されたゲインを上記ホワイトバランス手段でホワイトバランス処理された信号に乗算するゲイン乗算手段を有する。
（構成）
請求項１における圧縮変換手段は、上記ホワイトバランス手段で用いられるホワイトバランス係数に基づきゲインを設定するゲイン設定手段と、上記ゲイン設定手段で設定されたゲインを上記ホワイトバランス手段でホワイトバランス処理された信号に乗算するゲイン乗算手段を有する。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中のゲイン設定手段は図８に示されるゲイン算出部500が、請求項中のゲイン乗算手段は図８に示されるゲイン乗算部501が該当する。
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中のゲイン設定手段は図８に示されるゲイン算出部500が、請求項中のゲイン乗算手段は図８に示されるゲイン乗算部501が該当する。
この発明の好ましい適用例は、ゲイン算出部500にてホワイトバランス係数に基づきゲインを設定し、ゲイン乗算部501にて信号にゲインを乗算する撮像システムである。
（作用）
ホワイトバランス後の信号を所定のビット精度になるよう、ホワイトバランス係数に基づき動的に圧縮ゲインを設定する。
ホワイトバランス後の信号を所定のビット精度になるよう、ホワイトバランス係数に基づき動的に圧縮ゲインを設定する。
（効果）
ホワイトバランス処理にあわせて、最適な圧縮処理が可能なる。また、ゲイン乗算は処理が容易で、高速かつ低コストなシステムが構築できる。
ホワイトバランス処理にあわせて、最適な圧縮処理が可能なる。また、ゲイン乗算は処理が容易で、高速かつ低コストなシステムが構築できる。
（請求項５）
（構成）
請求項１における撮像システムは、上記圧縮変換手段で変換された信号を輝度および色
信号からなる色空間へ変換する色空間変換手段を有する。
（構成）
請求項１における撮像システムは、上記圧縮変換手段で変換された信号を輝度および色
信号からなる色空間へ変換する色空間変換手段を有する。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中の色空間変換手段は図７，図１０に示されるCMS部400および図１９，図２１に示されるCMS部400Aが該当する。
この発明に関する実施例は、図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中の色空間変換手段は図７，図１０に示されるCMS部400および図１９，図２１に示されるCMS部400Aが該当する。
この発明の好ましい適用例は、CMS部400またはCMS部400Aにて信号を輝度および色信号からなる所定の色空間へ変換する撮像システムである。
（作用）
所定のビット精度になるよう圧縮変換されたホワイトバランス後の信号を所定の色空間へ変換する。
所定のビット精度になるよう圧縮変換されたホワイトバランス後の信号を所定の色空間へ変換する。
（効果）
輝度信号と色信号を独立して操作できるため、絵作りに関する自由度が高まる。また、ホワイトバランス処理に影響されず所定のビット精度の信号を色空間へ変換するため、システムの設計が容易になる。さらに、圧縮変換により色相，彩度の変化が緩和された信号を変換するため、変換の精度を向上できる。
輝度信号と色信号を独立して操作できるため、絵作りに関する自由度が高まる。また、ホワイトバランス処理に影響されず所定のビット精度の信号を色空間へ変換するため、システムの設計が容易になる。さらに、圧縮変換により色相，彩度の変化が緩和された信号を変換するため、変換の精度を向上できる。
（請求項６）
（構成）
請求項５における色空間変換手段は、上記圧縮変換手段で変換された信号に対しマトリ
ックス演算を行うマトリックス演算手段を有する。
（構成）
請求項５における色空間変換手段は、上記圧縮変換手段で変換された信号に対しマトリ
ックス演算を行うマトリックス演算手段を有する。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中のマトリックス演算手段は図１０(a)に示されるマトリックス演算部600が該当する。
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中のマトリックス演算手段は図１０(a)に示されるマトリックス演算部600が該当する。
この発明の好ましい適用例は、マトリックス演算部600にて信号を線形変換することで所定の色空間へ変換する撮像システムである。
（作用）
マトリックス演算にて色空間へ変換する。
マトリックス演算にて色空間へ変換する。
（効果）
マトリックス演算は実装が容易で、高速かつ低コストなシステムが構築できる。
マトリックス演算は実装が容易で、高速かつ低コストなシステムが構築できる。
（請求項７）
（構成）
請求項５における色空間変換手段は、上記圧縮変換手段で変換された信号に対しマトリ
ックス演算を行うマトリックス演算手段と、上記マトリックス演算手段で処理された信号
に対し非線形の変換処理を行う非線形関数手段を有する。
（構成）
請求項５における色空間変換手段は、上記圧縮変換手段で変換された信号に対しマトリ
ックス演算を行うマトリックス演算手段と、上記マトリックス演算手段で処理された信号
に対し非線形の変換処理を行う非線形関数手段を有する。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中のマトリックス演算手段は図１０(b)に示されるマトリックス演算部600が、請求項中の非線形関数手段は図１０(b)に示される関数演算部602が該当する。
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中のマトリックス演算手段は図１０(b)に示されるマトリックス演算部600が、請求項中の非線形関数手段は図１０(b)に示される関数演算部602が該当する。
この発明の好ましい適用例は、マトリックス演算部600にて信号を線形変換し、さらに関数演算部602にて非線形演算することで所定の色空間へ変換する撮像システムである。
（作用）
マトリックス演算と非線形関数を組み合わせて色空間へ変換する。
マトリックス演算と非線形関数を組み合わせて色空間へ変換する。
（効果）
高精度な輝度信号と色信号からなる色空間への変換が行え、高品位な信号の生成が可能となる。
高精度な輝度信号と色信号からなる色空間への変換が行え、高品位な信号の生成が可能となる。
（請求項８）
（構成）
請求項５における色空間変換手段は、所定間隔の入力信号に対する輝度および色信号値
を記録した変換テーブルと、上記変換テーブルに記録された輝度および色信号値に基づき
上記圧縮変換手段で変換された信号に対し輝度および色信号値を算出する補間手段を有す
る。
（構成）
請求項５における色空間変換手段は、所定間隔の入力信号に対する輝度および色信号値
を記録した変換テーブルと、上記変換テーブルに記録された輝度および色信号値に基づき
上記圧縮変換手段で変換された信号に対し輝度および色信号値を算出する補間手段を有す
る。
（対応する発明の実施例）
この発明に関する実施例は、図１９〜図２５に示される実施例３が対応する。請求項中の変換テーブルは図２１に示されるパラメータ用ROM1002が、請求項中の補間手段は図２１に示される補間演算部1000，パラメータ抽出部1001が該当する。
この発明に関する実施例は、図１９〜図２５に示される実施例３が対応する。請求項中の変換テーブルは図２１に示されるパラメータ用ROM1002が、請求項中の補間手段は図２１に示される補間演算部1000，パラメータ抽出部1001が該当する。
この発明の好ましい適用例は、パラメータ用ROM1002に所定間隔の入力信号に対する輝度および色信号値を記録し、補間演算部1000，パラメータ抽出部1001にて上記パラメータ用ROM1002内の値に基づき補間演算することで所定の色空間へ変換する撮像システムである。
（作用）
代表点の輝度および色信号値を記録し、これに基づき補間演算にて色空間へ変換する。
代表点の輝度および色信号値を記録し、これに基づき補間演算にて色空間へ変換する。
（効果）
高精度な輝度信号と色信号からなる色空間への変換が行え、高品位な信号の生成が可能となる。また、変換テーブルのサイズを変えることで、変換の精度とコストの調整を行うことが可能で、設計の自由度が高まる。
高精度な輝度信号と色信号からなる色空間への変換が行え、高品位な信号の生成が可能となる。また、変換テーブルのサイズを変えることで、変換の精度とコストの調整を行うことが可能で、設計の自由度が高まる。
（請求項９）
（構成）
請求項５における撮像システムは、上記色空間変換手段で得られた輝度信号を階調変換
する輝度信号変換手段と、上記色空間変換手段で得られた輝度信号および上記輝度信号変
換手段で階調変換された輝度信号および上記色空間の最大彩度値に基づき上記色信号を補
正する補正手段を更に有する。
（構成）
請求項５における撮像システムは、上記色空間変換手段で得られた輝度信号を階調変換
する輝度信号変換手段と、上記色空間変換手段で得られた輝度信号および上記輝度信号変
換手段で階調変換された輝度信号および上記色空間の最大彩度値に基づき上記色信号を補
正する補正手段を更に有する。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中の輝度信号変換手段は図７，図１１に示される階調変換部401および図１９，図２２に示される階調変換部401Aが、請求項中の補正手段は図７，図１３に示される彩度補正部402および図１９に示される彩度補正部402Aが該当する。
この発明に関する実施例は、図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中の輝度信号変換手段は図７，図１１に示される階調変換部401および図１９，図２２に示される階調変換部401Aが、請求項中の補正手段は図７，図１３に示される彩度補正部402および図１９に示される彩度補正部402Aが該当する。
この発明の好ましい適用例は階調変換部401または階調変換部401Aにて輝度信号を階調変換し、彩度補正部402または彩度補正部402Aにて階調変換前後の輝度信号と色空間の最大彩度値に基づき色信号を補正する撮像システムである。
（作用）
色空間内で輝度信号を階調変換し、色信号に関して入力時の輝度信号および変換後の輝度信号および最大彩度値から補正を行う。
色空間内で輝度信号を階調変換し、色信号に関して入力時の輝度信号および変換後の輝度信号および最大彩度値から補正を行う。
（効果）
輝度信号の変化に対して、色信号を色空間の最大彩度値に対する比率を一定となるよう補正するため自然な色再現が得られる。
輝度信号の変化に対して、色信号を色空間の最大彩度値に対する比率を一定となるよう補正するため自然な色再現が得られる。
（請求項１０）
（構成）
請求項９における輝度信号変換手段は、所定の変換特性を記録した変換特性記録手段と、上記露出制御手段で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手段と、上記変曲点以下の輝度信号を変換する第１の変換特性と上記変曲点以上の輝度信号を変換する第２の変換特性を設定する変換特性設定手段と、上記変換特性記録手段に記録された特性および上記変換特性設定手段で設定された特性を合成する合成手段と、上記合成手段で合成された特性に基づき上記色空間変換手段で得られた輝度信号を変換する変換手段を有する。
（構成）
請求項９における輝度信号変換手段は、所定の変換特性を記録した変換特性記録手段と、上記露出制御手段で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手段と、上記変曲点以下の輝度信号を変換する第１の変換特性と上記変曲点以上の輝度信号を変換する第２の変換特性を設定する変換特性設定手段と、上記変換特性記録手段に記録された特性および上記変換特性設定手段で設定された特性を合成する合成手段と、上記合成手段で合成された特性に基づき上記色空間変換手段で得られた輝度信号を変換する変換手段を有する。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中の変換特性記録手段は図１１に示される変換特性記録ROM704が、請求項中の変曲点設定手段は図１１に示される変曲点設定部700が、請求項中の変換特性設定手段は図１１に示される変換特性設定部701が、請求項中の合成手段は図１１に示される合成部703が、請求項中の変換手段は図１１に示される階調変換部705が該当する。
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中の変換特性記録手段は図１１に示される変換特性記録ROM704が、請求項中の変曲点設定手段は図１１に示される変曲点設定部700が、請求項中の変換特性設定手段は図１１に示される変換特性設定部701が、請求項中の合成手段は図１１に示される合成部703が、請求項中の変換手段は図１１に示される階調変換部705が該当する。
この発明の好ましい適用例は、変曲点設定部700にて露出制御手段で設定される白色の被写体に対する設定値に基づき変曲点を設定し、変換特性設定部701にて変曲点以下の信号を変換する第１の変換特性と変曲点以上の信号を変換する第２の変換特性を設定し、変換特性記録ROM704から所定の変換特性を読み出し、合成部703にて両者を合成し、階調変換部705にて輝度信号を変換する撮像システムである。
（作用）
露出制御の白色値から変曲点を設定し、変曲点以下と以上で異なる変換特性を設定し、絵作りのための固定的な変換特性と合成して変換する。
露出制御の白色値から変曲点を設定し、変曲点以下と以上で異なる変換特性を設定し、絵作りのための固定的な変換特性と合成して変換する。
（効果）
変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では色相と彩度を保存し、変曲点以上では違和感の少ない色再現を行うこと可能となり、全体として高品位な信号の生成が可能となる。また、絵作りのための固定的な変換特性と合成して変換するため従来処理との親和性が高く、低コストなシステムが構築できる。
変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では色相と彩度を保存し、変曲点以上では違和感の少ない色再現を行うこと可能となり、全体として高品位な信号の生成が可能となる。また、絵作りのための固定的な変換特性と合成して変換するため従来処理との親和性が高く、低コストなシステムが構築できる。
（請求項１１）
（構成）
請求項１０における変換特性設定手段は、上記第１の変換特性を線形に設定し、上記第２の変換特性を非線形に設定することを特徴とする。
（構成）
請求項１０における変換特性設定手段は、上記第１の変換特性を線形に設定し、上記第２の変換特性を非線形に設定することを特徴とする。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中の第１の変換特性および第２の変換特性は図１２に示される。
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中の第１の変換特性および第２の変換特性は図１２に示される。
この発明の好ましい適用例は、変曲点以下の信号を変換する第１の変換特性を線形に、変曲点以上の信号を変換する第２の変換特性を非線形に設定する撮像システムである。
（作用）
変曲点以下は線形に、変曲点以上は非線形に設定する。
変曲点以下は線形に、変曲点以上は非線形に設定する。
（効果）
０から変曲点までの信号は線形に変換されるため、この間の信号は色相と彩度が保存され、正しい色再現が可能となる。一方、変曲点を超える信号は非線形に変換されるため、色相と彩度の変化は抑圧され、違和感の少ない色再現が可能となる。
０から変曲点までの信号は線形に変換されるため、この間の信号は色相と彩度が保存され、正しい色再現が可能となる。一方、変曲点を超える信号は非線形に変換されるため、色相と彩度の変化は抑圧され、違和感の少ない色再現が可能となる。
（請求項１２）
（構成）
請求項９における輝度信号変換手段は、所定の変換特性を記録した変換特性記録手段と、上記変換特性記録手段に記録された特性に基づき上記色空間変換手段で得られた輝度信号を変換する変換手段を有する。
（構成）
請求項９における輝度信号変換手段は、所定の変換特性を記録した変換特性記録手段と、上記変換特性記録手段に記録された特性に基づき上記色空間変換手段で得られた輝度信号を変換する変換手段を有する。
（対応する発明の実施例）
この発明に関する実施例は、図１９〜図２５に示される実施例３が対応する。請求項中の変換特性記録手段は図２２に示される変換特性記録ROM704Aが、請求項中の変換手段は図２２に示される階調変換部705Aが該当する。
この発明に関する実施例は、図１９〜図２５に示される実施例３が対応する。請求項中の変換特性記録手段は図２２に示される変換特性記録ROM704Aが、請求項中の変換手段は図２２に示される階調変換部705Aが該当する。
この発明の好ましい適用例は、変換特性記録ROM704Aから変換特性を読み出し、階調変換部705Aにて輝度信号を変換する撮像システムである。
（作用）
露出制御の白色値から変曲点を設定し、変曲点以下と以上で異なる変換特性を設定し、この変換特性と絵作りのための固定的な変換特性と合成して記録しておき、記録された特性に基づき変換する。
露出制御の白色値から変曲点を設定し、変曲点以下と以上で異なる変換特性を設定し、この変換特性と絵作りのための固定的な変換特性と合成して記録しておき、記録された特性に基づき変換する。
（効果）
変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では色相と彩度を保存し、変曲点以上では違和感の少ない色再現を行うこと可能となり、全体として高品位な信号の生成が可能となる。また、絵作りのための固定的な変換特性と合成して変換するため従来処理との親和性が高い。さらに、変換特性は算出の必要がないため、高速かつ低コストなシステムが構築できる。
変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では色相と彩度を保存し、変曲点以上では違和感の少ない色再現を行うこと可能となり、全体として高品位な信号の生成が可能となる。また、絵作りのための固定的な変換特性と合成して変換するため従来処理との親和性が高い。さらに、変換特性は算出の必要がないため、高速かつ低コストなシステムが構築できる。
（請求項１３）
（構成）
請求項９における補正手段は、上記色空間変換手段で得られた色信号から色相および彩度信号を算出する色相彩度算出手段と、上記色空間変換手段で得られた輝度信号および上記色相彩度算出手段で得られた色相信号に対する第１の最大彩度値と上記輝度信号変換手段により変換された輝度信号および上記色相彩度算出手段で得られた色相信号に対する第２の最大彩度値を算出する最大彩度算出手段と、上記第１の最大彩度値と上記第２の最大彩度値に基づいて上記色相彩度算出手段で得られた彩度信号に関する補正を行う彩度補正手段を有する。
（構成）
請求項９における補正手段は、上記色空間変換手段で得られた色信号から色相および彩度信号を算出する色相彩度算出手段と、上記色空間変換手段で得られた輝度信号および上記色相彩度算出手段で得られた色相信号に対する第１の最大彩度値と上記輝度信号変換手段により変換された輝度信号および上記色相彩度算出手段で得られた色相信号に対する第２の最大彩度値を算出する最大彩度算出手段と、上記第１の最大彩度値と上記第２の最大彩度値に基づいて上記色相彩度算出手段で得られた彩度信号に関する補正を行う彩度補正手段を有する。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中の色相彩度算出手段は図１３に示される色相彩度変換部800が、請求項中の色最大彩度算出手段は図１３に示される隣接色相面探索部801，関数抽出部802，関数記録用ROM803，最大彩度算出部804，彩度補間部805が、請求項中の彩度補正手段は図１３に示される補正係数算出部806，補正係数乗算部808が該当する。
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中の色相彩度算出手段は図１３に示される色相彩度変換部800が、請求項中の色最大彩度算出手段は図１３に示される隣接色相面探索部801，関数抽出部802，関数記録用ROM803，最大彩度算出部804，彩度補間部805が、請求項中の彩度補正手段は図１３に示される補正係数算出部806，補正係数乗算部808が該当する。
この発明の好ましい適用例は、色相彩度変換部800にて色信号から色相および彩度信号を算出し、関数記録用ROM803に複数の色相面に関する輝度と最大彩度に関する関数情報を記録し、隣接色相面探索部801にて入力された色相信号に関し隣接する最近傍の２組の色相面を関数記録用ROM803に記録された色相面から探索し、関数抽出部802にて探索された色相面に対する関数情報を関数記録用ROM803から読み出し、最大彩度算出部804にて関数情報と入力された輝度信号に基づき２組の最大彩度値を算出し、彩度補間部805にて２組の最大彩度値から入力された色相信号に関する最大彩度値を補間にて算出し、補正係数算出部806にて彩度信号に関する補正係数を算出し、補正係数乗算部808にて補正係数を彩度信号に乗算する撮像システムである。
（作用）
輝度信号の階調変換に対応するため、彩度信号に入力時の輝度信号および変換後の輝度信号および最大彩度値に基づき補正を行う。
輝度信号の階調変換に対応するため、彩度信号に入力時の輝度信号および変換後の輝度信号および最大彩度値に基づき補正を行う。
（効果）
輝度信号の階調変換に対して、彩度信号を最大彩度値に対する比率を一定となるよう補正するため自然な色再現が得られる。
輝度信号の階調変換に対して、彩度信号を最大彩度値に対する比率を一定となるよう補正するため自然な色再現が得られる。
（請求項１４）
（構成）
請求項１３における彩度補正手段は、上記輝度信号変換手段により変換された輝度信号に基づき上記色相彩度算出手段で得られた彩度信号を抑制するクロマサプレス手段を更に有する。
（構成）
請求項１３における彩度補正手段は、上記輝度信号変換手段により変換された輝度信号に基づき上記色相彩度算出手段で得られた彩度信号を抑制するクロマサプレス手段を更に有する。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中のクロマサプレス手段は図１３に示されるクロマサプレス係数算出部807，補正係数乗算部808が該当する。
この発明に関する実施例は、図７〜図１８に示される実施例２が対応する。請求項中のクロマサプレス手段は図１３に示されるクロマサプレス係数算出部807，補正係数乗算部808が該当する。
この発明の好ましい適用例は、クロマサプレス係数算出部807にて階調変換手段により変換された輝度信号に基づき彩度信号に関する補正係数を算出し、補正係数乗算部808にて補正係数を彩度信号に乗算する撮像システムである。
（作用）
階調変換後の輝度信号に基づき彩度信号を抑制するクロマサプレス係数を求め、彩度信号に補正を行う。
階調変換後の輝度信号に基づき彩度信号を抑制するクロマサプレス係数を求め、彩度信号に補正を行う。
（効果）
高輝度部で生じる色相、彩度の変化を抑制でき、自然な色再現が得られる。また、彩度信号の補正とクロマサプレス処理を一体化して処理するため低コストかつ高速処理が可能となる。
高輝度部で生じる色相、彩度の変化を抑制でき、自然な色再現が得られる。また、彩度信号の補正とクロマサプレス処理を一体化して処理するため低コストかつ高速処理が可能となる。
（請求項１５）
（構成）
請求項１におけるカラー撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）Bayer型原色フィルタを前面に配置した単板撮像素子またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする。
（構成）
請求項１におけるカラー撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）Bayer型原色フィルタを前面に配置した単板撮像素子またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする。
（対応する発明の実施例）
この発明に関する実施例は、図１〜図６に示される実施例１および図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中のBayer型原色フィルタは図２に、請求項中の色差線順次型補色フィルタは図２０に示される。
この発明に関する実施例は、図１〜図６に示される実施例１および図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中のBayer型原色フィルタは図２に、請求項中の色差線順次型補色フィルタは図２０に示される。
この発明の好ましい適用例は、Bayer型原色フィルタまたは色差線順次型補色フィルタを撮像素子前面に配置する撮像システムである。
（作用）
Bayer型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用いる。
Bayer型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用いる。
（効果）
現状の撮影部との親和性が高く、多くの撮像部への適用が可能となる。
現状の撮影部との親和性が高く、多くの撮像部への適用が可能となる。
（請求項１６）
（構成）
請求項５における色空間変換手段は、色空間としてYCbCr色空間、CIE Lab色空間、CIE Luv色空間のいずれかを用いることを特徴とする。
（構成）
請求項５における色空間変換手段は、色空間としてYCbCr色空間、CIE Lab色空間、CIE Luv色空間のいずれかを用いることを特徴とする。
（対応する発明の実施例）
この発明に関する実施例は、図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中のYCbCr色空間は図１５に、CIE Lab色空間は図２４に示される。
この発明に関する実施例は、図７〜図１８に示される実施例２および図１９〜図２５に示される実施例３が対応する。請求項中のYCbCr色空間は図１５に、CIE Lab色空間は図２４に示される。
この発明の好ましい適用例は、撮像系からの色信号をYCbCr色空間またはCIE Lab色空間またはCIE Luv色空間へ変換する撮像システムである。
（作用）
信号を輝度信号と色信号が分離した色空間へ変換する。
信号を輝度信号と色信号が分離した色空間へ変換する。
（効果）
輝度信号と色信号が分離するため、高精度な絵作り処理または補正処理が可能なる。YCbCr色空間は変換が容易で、高速かつ低コストなシステムが構築できる。CIE Lab色空間またはCIE Luv色空間は、高精度な輝度信号と色信号が得られ、高品位な信号の生成が可能となる。
輝度信号と色信号が分離するため、高精度な絵作り処理または補正処理が可能なる。YCbCr色空間は変換が容易で、高速かつ低コストなシステムが構築できる。CIE Lab色空間またはCIE Luv色空間は、高精度な輝度信号と色信号が得られ、高品位な信号の生成が可能となる。
（請求項１７〜２６）の発明による撮像処理プログラムは、上記請求項１〜５，１０〜１４の発明による撮像システムにそれぞれに対応しており、これらの各請求項と同様な作用・効果を得ることができる。
（請求項１７）
コンピュータに、
白色の被写体が設定値となるよう露出制御を行う露出制御手順と、カラー撮像素子からの信号を所定のビット精度で量子化する量子化手順と、上記量子化手順で量子化された信号にビット精度を増加してホワイトバランス処理を行うホワイトバランス手順と、上記ホワイトバランス処理でホワイトバランス処理された信号の階調特性を圧縮変換することにより、上記ホワイトバランス手順にて増加されたビット精度を増加前のビット精度以下に変換する圧縮変換手順と、を実行させるものであって、上記圧縮変換手順は、圧縮変換の関わる階調変換特性を上記ホワイトバランス手順で用いられるホワイトバランス係数に基づき決定する階調変換部手順と、上記階調変換特性に基づき階調特性の圧縮変換を行う手順と、を有することを特徴とする撮像処理プログラム。
（請求項１８）
請求項１７における圧縮変換手順は、上記露出制御手順で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手順と、上記変曲点以下の信号を変換する第１の変換特性と上記変曲点以上の信号を変換する第２の変換特性を設定する変換特性設定手順と、を有し、上記第２の変換特性を上記量子化手順で用いられる所定のビット精度および上記ホワイトバランス手順で用いられるホワイトバランス係数に基づき設定することを特徴とする撮像処理プログラム。
（請求項１９）
請求項１８における変換特性設定手順は、上記第１の変換特性を線形に設定し、上記第２の変換特性を上記量子化手順で用いられる所定のビット精度および上記ホワイトバランス手順で用いられるホワイトバランス係数に基づき非線形に設定することを特徴とする撮像処理プログラム。
（請求項２０）
請求項１７における圧縮変換手順は、上記ホワイトバランス手順で用いられるホワイトバランス係数に基づきゲインを設定するゲイン設定手順と、上記ゲイン設定手順で設定されたゲインを上記ホワイトバランス手順でホワイトバランス処理された信号に乗算するゲイン乗算手順と、を有することを特徴とする撮像処理プログラム。
（請求項２１）
請求項１７における撮像処理プログラムは、上記圧縮変換手順で変換された信号を輝度および色信号からなる色空間へ変換する色空間変換手順を更に有することを特徴とする撮像処理プログラム。
（請求項２２）
請求項２１における撮像処理プログラムは、上記色空間変換手順で得られた輝度信号を階調変換する輝度信号変換手順と、上記色空間変換手順で得られた輝度信号および上記輝度信号変換手順で階調変換された輝度信号および上記色空間の最大彩度値に基づき上記色信号を補正する補正手順と、を更に有することを特徴とする撮像処理プログラム。
（請求項２３）
請求項２２における輝度信号変換手順は、所定の変換特性を記録した変換特性記録手順と、上記露出制御手順で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手順と、上記変曲点以下の輝度信号を変換する第１の変換特性と上記変曲点以上の輝度信号を変換する第２の変換特性を設定する変換特性設定手順と、上記変換特性記録手順に記録された特性および上記変換特性設定手順で設定された特性を合成する合成手順と、上記合成手順で合成された特性に基づき上記色空間変換手順で得られた輝度信号を変換する変換手順と、を有することを特徴とする撮像処理プログラム。
（請求項２４）
請求項２３における変換特性設定手順は、上記第１の変換特性を線形に設定し、上記第２の変換特性を非線形に設定することを特徴とする撮像処理プログラム。
（請求項２５）
請求項２２における輝度信号変換手順は、所定の変換特性を記録した変換特性記録手順と、上記変換特性記録手順に記録された特性に基づき上記色空間変換手順で得られた輝度信号を変換する変換手順と、を有することを特徴とする撮像処理プログラム。
（請求項２６）
請求項２２における補正手順は、上記色空間変換手順で得られた色信号から色相および彩度信号を算出する色相彩度算出手順と、上記色空間変換手順で得られた輝度信号および上記色相彩度算出手順で得られた色相信号に対する第１の最大彩度値と上記輝度信号変換手順により変換された輝度信号および上記色相彩度算出手順で得られた色相信号に対する第２の最大彩度値を算出する最大彩度算出手順と、上記第１の最大彩度値と上記第２の最大彩度値に基づいて上記色相彩度算出手順で得られた彩度信号に関する補正を行う彩度補正手順と、を有することを特徴とする撮像処理プログラム。
（請求項１７）
コンピュータに、
白色の被写体が設定値となるよう露出制御を行う露出制御手順と、カラー撮像素子からの信号を所定のビット精度で量子化する量子化手順と、上記量子化手順で量子化された信号にビット精度を増加してホワイトバランス処理を行うホワイトバランス手順と、上記ホワイトバランス処理でホワイトバランス処理された信号の階調特性を圧縮変換することにより、上記ホワイトバランス手順にて増加されたビット精度を増加前のビット精度以下に変換する圧縮変換手順と、を実行させるものであって、上記圧縮変換手順は、圧縮変換の関わる階調変換特性を上記ホワイトバランス手順で用いられるホワイトバランス係数に基づき決定する階調変換部手順と、上記階調変換特性に基づき階調特性の圧縮変換を行う手順と、を有することを特徴とする撮像処理プログラム。
（請求項１８）
請求項１７における圧縮変換手順は、上記露出制御手順で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手順と、上記変曲点以下の信号を変換する第１の変換特性と上記変曲点以上の信号を変換する第２の変換特性を設定する変換特性設定手順と、を有し、上記第２の変換特性を上記量子化手順で用いられる所定のビット精度および上記ホワイトバランス手順で用いられるホワイトバランス係数に基づき設定することを特徴とする撮像処理プログラム。
（請求項１９）
請求項１８における変換特性設定手順は、上記第１の変換特性を線形に設定し、上記第２の変換特性を上記量子化手順で用いられる所定のビット精度および上記ホワイトバランス手順で用いられるホワイトバランス係数に基づき非線形に設定することを特徴とする撮像処理プログラム。
（請求項２０）
請求項１７における圧縮変換手順は、上記ホワイトバランス手順で用いられるホワイトバランス係数に基づきゲインを設定するゲイン設定手順と、上記ゲイン設定手順で設定されたゲインを上記ホワイトバランス手順でホワイトバランス処理された信号に乗算するゲイン乗算手順と、を有することを特徴とする撮像処理プログラム。
（請求項２１）
請求項１７における撮像処理プログラムは、上記圧縮変換手順で変換された信号を輝度および色信号からなる色空間へ変換する色空間変換手順を更に有することを特徴とする撮像処理プログラム。
（請求項２２）
請求項２１における撮像処理プログラムは、上記色空間変換手順で得られた輝度信号を階調変換する輝度信号変換手順と、上記色空間変換手順で得られた輝度信号および上記輝度信号変換手順で階調変換された輝度信号および上記色空間の最大彩度値に基づき上記色信号を補正する補正手順と、を更に有することを特徴とする撮像処理プログラム。
（請求項２３）
請求項２２における輝度信号変換手順は、所定の変換特性を記録した変換特性記録手順と、上記露出制御手順で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手順と、上記変曲点以下の輝度信号を変換する第１の変換特性と上記変曲点以上の輝度信号を変換する第２の変換特性を設定する変換特性設定手順と、上記変換特性記録手順に記録された特性および上記変換特性設定手順で設定された特性を合成する合成手順と、上記合成手順で合成された特性に基づき上記色空間変換手順で得られた輝度信号を変換する変換手順と、を有することを特徴とする撮像処理プログラム。
（請求項２４）
請求項２３における変換特性設定手順は、上記第１の変換特性を線形に設定し、上記第２の変換特性を非線形に設定することを特徴とする撮像処理プログラム。
（請求項２５）
請求項２２における輝度信号変換手順は、所定の変換特性を記録した変換特性記録手順と、上記変換特性記録手順に記録された特性に基づき上記色空間変換手順で得られた輝度信号を変換する変換手順と、を有することを特徴とする撮像処理プログラム。
（請求項２６）
請求項２２における補正手順は、上記色空間変換手順で得られた色信号から色相および彩度信号を算出する色相彩度算出手順と、上記色空間変換手順で得られた輝度信号および上記色相彩度算出手順で得られた色相信号に対する第１の最大彩度値と上記輝度信号変換手順により変換された輝度信号および上記色相彩度算出手順で得られた色相信号に対する第２の最大彩度値を算出する最大彩度算出手順と、上記第１の最大彩度値と上記第２の最大彩度値に基づいて上記色相彩度算出手順で得られた彩度信号に関する補正を行う彩度補正手順と、を有することを特徴とする撮像処理プログラム。
本発明によれば、撮像系のダイナミックレンジ幅の制限やホワイトバランス処理でのビット精度の逸脱に起因する高輝度，高彩度域の色相，彩度の変化に対し、低コストかつ適切な補正処理が可能となる。また、ホワイトバランス処理は撮影ごとにその条件が動的に変化するが、このような変化に対応して最適な補正処理を可能とし、高品位な映像信号を得ることができる。
発明の実施例について図面を参照して説明する。
図１乃至図６が本発明の実施例１の撮像システムに係り、図１は本発明の実施例１の構成図、図２はBayer原色フィルタに関する説明図、図３は圧縮変換部の構成図、図４は圧縮変換部の変換特性に関する説明図、図５は本発明の実施例１の別形態の構成図、図６は本発明の実施例１における信号処理のフローチャートである。
［構成］
図１は、本発明の実施例１の構成図である。レンズ系100，絞り101，カラーフィルタ102，CCD103を介して撮影された映像は、図示しない公知の相関二重サンプリング回路にてアナログ信号として読み出される。そして、利得制御増幅器（以下、Gain）104にて増幅され、アナログ／デジタル変換器（以下、A/D）105にてデジタル信号へ変換される。A/D105からの信号は、バッファ106を介して、プリホワイトバランス部（以下、PreWB部）107，測光評価部108，合焦点検出部109，ホワイトバランス部（以下、WB部）111へ転送される。PreWB部107はGain104へ、測光評価部108は絞り101，CCD103， Gain104へ、合焦点検出部109はAF（Auto-Focusの略）モータ110へ接続されている。WB部111は、圧縮変換部112，補間部113，信号処理部114を介してメモリーカードなどの記録媒体を含む出力部115に接続されている。マイクロコンピュータなどの制御部116は、Gain104，A/D105，PreWB部107，測光評価部108，合焦点検出部109，WB部111，圧縮変換部112，補間部113，信号処理部114，出力部115と双方向に接続されている。また、電源スイッチ，シャッターボタン，撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部117も制御部116に双方向に接続されている。
図１は、本発明の実施例１の構成図である。レンズ系100，絞り101，カラーフィルタ102，CCD103を介して撮影された映像は、図示しない公知の相関二重サンプリング回路にてアナログ信号として読み出される。そして、利得制御増幅器（以下、Gain）104にて増幅され、アナログ／デジタル変換器（以下、A/D）105にてデジタル信号へ変換される。A/D105からの信号は、バッファ106を介して、プリホワイトバランス部（以下、PreWB部）107，測光評価部108，合焦点検出部109，ホワイトバランス部（以下、WB部）111へ転送される。PreWB部107はGain104へ、測光評価部108は絞り101，CCD103， Gain104へ、合焦点検出部109はAF（Auto-Focusの略）モータ110へ接続されている。WB部111は、圧縮変換部112，補間部113，信号処理部114を介してメモリーカードなどの記録媒体を含む出力部115に接続されている。マイクロコンピュータなどの制御部116は、Gain104，A/D105，PreWB部107，測光評価部108，合焦点検出部109，WB部111，圧縮変換部112，補間部113，信号処理部114，出力部115と双方向に接続されている。また、電源スイッチ，シャッターボタン，撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部117も制御部116に双方向に接続されている。
［作用］
図１において、信号の流れを説明する。外部I/F部117を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100，絞り101，カラーフィルタ102，CCD103を介して撮影された映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。なお、本実施例においては、撮像系にBayer型原色フィルタを前面に配置した単板CCDを想定している。
図１において、信号の流れを説明する。外部I/F部117を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100，絞り101，カラーフィルタ102，CCD103を介して撮影された映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。なお、本実施例においては、撮像系にBayer型原色フィルタを前面に配置した単板CCDを想定している。
図２は、Bayer型の色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤(R)，青(B)フィルタが１画素ずつ、緑(G)フィルタが２画素配置される。また、A/D105におけるビット精度としては12ビット(0〜4095) を想定している。バッファ106内の信号は、PreWB部107，測光評価部108，合焦点検出部109へ転送される。
PreWB部107では所定間隔で信号を間引き読み出しして、所定輝度レベルの信号を色信号ごとに積算することで簡易ホワイトバランス係数を算出する。上記係数はGain104へ転送され、色信号ごとに異なるゲインを設定することで簡易ホワイトバランス処理が行われる。
測光評価部108では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて白色被写体が所定値（以後AEWと表記する）となるよう絞り101やCCD103の電子シャッター速度やGain104の増幅率などを制御する。
また、合焦点検出部109では信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦状態を得る。次に、外部I/F部117を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ106へ転送される。
本撮影は、PreWB部107にて求められた簡易ホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部116へ転送される。バッファ105内の信号は、制御部116の制御に基づきWB部111へ転送され、全信号を用いて所定輝度レベルの信号を色信号ごとに積算することで、より精度の高いホワイトバランス係数を算出する。上記ホワイトバランス係数を色信号ごとに乗算させることでホワイトバランス処理が行われる。なお、本実施例においては、RとB信号にホワイトバランス係数（以後WBRとWBBと表記する）が乗算され、G信号は乗算されないものとする。ここで、ホワイトバランス係数が１以上の場合、A/D105におけるビット精度を上回る信号が生成されることになる。本実施例においてはA/D105におけるビット精度を12ビットと想定しているが、WB部111および後段の圧縮変換部112は信号の飽和が生じないよう、例えば14bビット精度とビット精度を増加して処理を行う。上記ビット精度の増加は、事前に多様な色温度の光源（例えば2000K〜10000K）を用いてWB部111で生じるホワイトバランス係数の最大値を求めることで容易に設定できる。ビット精度が増加された信号は、圧縮変換部112にて非線形の圧縮がなされて、A/D105におけるビット精度に変換され補間部113へ転送される。
補間部113では、公知の補間処理がなされてRGBの三板信号として信号処理部114へ転送される。信号処理部114では、公知の強調処理や圧縮処理などを行い、出力部115へ転送する。出力部115は、メモリーカードなどの記録媒体を含み、メモリーカードなどへ信号を記録保存するもので、記録保存したものを図示しない表示部などへ出力したりするこも行える。
図３は、圧縮変換部112の構成の一例を示すもので、変曲点設定部200，圧縮特性設定部201，圧縮特性用バッファ202，階調変換部203からなる。変曲点設定部200は、圧縮特性設定部201，圧縮特性用バッファ202を介して階調変換部203へ接続している。WB部111は、階調変換部203へ接続している。階調変換部203は、補間部113へ接続している。制御部116は、変曲点設定部200，圧縮特性設定部201，階調変換部203へ双方向に接続されている。
図４は、圧縮変換部112における変換特性を示す。図４(a)は、WB部111にて増加されたビット精度をA/D105におけるビット精度へ変換する場合の特性を示す。図４(a)において、ADmaxはA/D105におけるビット精度を、本実施例においては12ビットでありADmax=4095を意味する。また、WBmaxはWB部111におけるホワイトバランス係数の最大値を、本実施例ではRとB信号用の２つのホワイトバランス係数（WBR，WBB）の大きい方が設定される。なお、以後の説明ではWBmax=2.5を想定する。AEWは、測光評価部108にて白色被写体に対する所定値を意味する。図４(a)においては、A/D105におけるビット精度、すなわちAEW=4095を想定する。上記ADmax，AEWは１つの撮像システムにおいては固定されるが、WBmaxは撮影ごとに動的に変化する。図４(a)に示す変換特性では、0〜AEW=4095までの信号を0〜0.9・ADmax=3687へ線形に圧縮する。この区間は、通常の黒〜白までの信号で、線形に圧縮されるため色相や彩度の情報は保存されることになる。一方、AEW=4095〜WBmax・ADmax=10237は0.9・ADmax=3687〜ADmax=4095へ非線形に圧縮される。この区間は、ホワイトバランス処理により発生する可能性にある信号で、測光評価部108で設定している白を上回る不自然な信号である。これを非線形に白に圧縮することで、違和感の少ない色再現が可能となる。非線形に圧縮する特性として、例えば0.1・WBmax・ADmax+0.9・AEW=4710を0.95・ADmax= 3890に変換するものとして、(AEW， 0.9・ADmax)， (0.1・WBmax・ADmax+0.9・AEW， 0.95・ADmax)， (WBmax・ADmax， ADmax)の３点を通る２次関数を設定するなどが考えられる。上記は、WB部111におけるホワイトバランス処理に対する信号の飽和に対する対策であったが、同様な飽和は測光評価部108における露出制御処理においても発生する。
図４(b)は、露出制御の飽和に対する変換特性を示す。図４(b)においては、測光評価部108における白色被写体に対する所定値をA/D105におけるビット精度の1/2、すなわちAEW=2048を想定する。図４(b)に示す変換特性では、0〜AEW=2048までの信号を0〜0.9・ADmax=3687へ線形に伸張する。この区間は、通常の黒〜白までの信号で、線形に伸張されるため色相や彩度の情報は保存されることになる。一方、AEW=2048〜ADmax=4095は0.9・ADmax=3687〜ADmax=4095へ非線形に圧縮される。この区間は、測光評価部108で設定している白を上回る信号で、発生する頻度は少ない。これを非線形に白に圧縮することで、違和感の少ない色再現が可能となる。
図４(c)は、上記図４(a)，(b)の特性を合成したもので、0〜AEW=2048までの信号を0〜0.9・ADmax=3687へ線形に伸張し、AEW=2048〜WBmax・ADmax=10237までの信号を0.9・ADmax= 3687〜ADmax=4095へ非線形に圧縮する。非線形に圧縮する特性として、例えば0.1・WBmax・ADmax+ 0.9・AEW=2867を0.98・ADmax= 4014に変換するものとして、(AEW， 0.9・ADmax)， (0.1・WBmax・ADmax+0.9・AEW， 0.98・ADmax)， (WBmax・ADmax， ADmax)の３点を通る２次関数を設定するなどが考えられる。
変曲点設定部200は、測光評価部108における白色被写体に対する所定値、本実施例においてはAEW=2048を設定して圧縮特性設定部201へ転送する。圧縮特性設定部201は、図４(c)に示されるように、変曲点以下の0〜AEW=2048までの信号を0〜0.9・ADmax=3687へ線形に変換する特性と変曲点以上のAEW=2048〜WBmax・ADmax=10237までの信号を0.9・ADmax= 3687〜ADmax=4095へ非線形に変換する特性を算出し、圧縮特性用バッファ202へ転送する。階調変換部203は、制御部116の制御に基づき、圧縮特性用バッファ202上に変換特性が転送された後、WB部111からのビット精度が増加された信号を圧縮特性用バッファ202上の変換特性に基づきA/D105におけるビット精度に変換して補間部113へ転送する。
なお、上記例では、階調変換部203で用いる変換特性をホワイトバランス係数に基づき毎回算出していたが、このような構成に限定される必要はない。例えば、事前に多様な色温度の光源（例えば2000K〜10000K）を用いてWB部111で生じるホワイトバランス係数の最大値を求め、この最大値を固定的に用いることもできる。この場合、階調変換部203で用いる変換特性は固定されるため、算出する必要はなくなり、低コストでシステムを構築することができる。
図３(b)は、変換特性を固定した場合の圧縮変換部112の構成の一例を示すもので、図３(a)から変曲点設定部200，圧縮特性設定部201，圧縮特性用バッファ202を省略し、圧縮特性用ROM204を追加した構成となっている。圧縮特性用ROM204は階調変換部203へ、WB部111は階調変換部203へ、階調変換部203は補間部113へ接続している。制御部116は、階調変換部203へ双方向に接続されている。圧縮特性用ROM204には、WB部111で生じる最大のホワイトバランス係数に基づき図４(c)に示されるような変換特性を予め算出して記録しておく。階調変換部203は、制御部116の制御に基づき、圧縮特性用ROM204から変換特性を読み込み、WB部111からのビット精度が増加された信号を上記変換特性に基づきA/D105におけるビット精度に変換して補間部113へ転送する。
上記構成により、量子化のビット精度を上回る信号に対して適切な圧縮変換を行うため、色相，彩度の変化を緩和でき自然な色再現が得られる。また、ホワイトバランス後の処理系のビット精度を増加する必要が無く、システムを低コストで実現できる。さらに、変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では線形に変換することで正しい色再現を可能とし、変曲点以上では非線形に変換することで違和感の少ない色再現を可能とし、全体として高品位な信号の生成が可能となる。また、現状の撮影部との親和性が高く、多くの撮像部への適用が可能となる。
なお、上記実施例ではレンズ系100，絞り101，カラーフィルタ102，CCD103，Gain104，A/D105， PreWB部107，測光評価部108，合焦点検出部109，AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。
例えば、図５に示されるように、別体の撮像部（図示せず）で撮像された映像信号を未処理の生（以下、Raw）データ形態で記録し、且つホワイトバランス係数などの撮像条件に関する付随情報をヘッダ部に記録したメモリカードなどの記録媒体から、画像データとして入力したものを処理することも可能である。
図５は、図１に示す構成からレンズ系100，絞り101，カラーフィルタ102，CCD103，Gain104，A/D105， PreWB部107，測光評価部108，合焦点検出部109，AFモータ110を省略し、入力部300，ヘッダ情報解析部301を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
入力部300は、バッファ106およびヘッダ情報解析部301へ接続している。制御部116は、入力部300，ヘッダ情報解析部301と双方向に接続している。マウス，キーボードなどの外部I/F部117を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部300から読み込まれる。入力部300からの信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部301へ転送される。ヘッダ情報解析部301は、ヘッダ情報から撮影時の情報を抽出して制御部116へ転送する。以後の処理は、図１と同等である。
さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からの信号を未処理のままのRawデータとして出力し、且つ制御部116からホワイトバランス係数などの撮像条件に関する付随情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図６は、本発明の実施例１における信号処理のソフトウェア処理に関するフローを示す。ステップＳ1にて、信号とホワイトバランス係数などのヘッダ情報を読み込む。ステップＳ2にて、信号にホワイトバランス処理を行う。ステップＳ3にて、図４(c)に示される変換特性を算出して、信号を圧縮変換する。ステップＳ4にて、補間処理がなされて三板の信号が算出される。ステップＳ5にて、公知の強調処理や圧縮処理などが行われる。ステップＳ6にて、処理後の信号が出力され終了する。
図７乃至図１８は本発明の実施例２の撮像システムに係り、図７は本発明の実施例２の構成図、図８は圧縮変換部の構成図、図９は圧縮変換部の圧縮特性に関する説明図、図１０はCMS部の構成図、図１１は階調変換部の構成図、図１２は階調変換部の変換特性に関する説明図、図１３は彩度補正部の構成図、図１４は彩度補正に関する説明図、図１５はYCbCr色空間の最大彩度値に関する説明図、図１６はクロマサプレス係数に関する説明図、図１７は本発明の実施例２の別形態の構成図、図１８は本発明の実施例２における信号処理のフローチャートである。
［構成］
図７は、本発明の実施例２の構成図である。本例は、本発明実施例１にCMS部400，階調変換部401，彩度補正部402，エッジ強調部403，彩度強調部404，RGB合成部405，圧縮部406が追加され、信号処理部114が削除された構成になっている。基本構成は実施例１と同等であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。圧縮変換部112Aの圧縮特性は実施例１の圧縮変換部112の変換特性とは異なる。これに伴い、制御部116Aは実施例１の制御部116の制御内容とは一部（圧縮変換部112Aの変換制御の部分）異なっている。補間部113はCMS部400へ、CMS部400は階調変換部401，彩度補正部402へ接続している。階調変換部401は、彩度補正部402およびエッジ強調部403へ接続している。彩度補正部402は、彩度強調部404へ接続している。エッジ強調部403および彩度強調部404は、RGB合成部405へ接続している。RGB合成部405は、圧縮部406を介してメモリーカードなどの出力部115に接続されている。制御部116Aは、CMS部400，階調変換部401，彩度補正部402，エッジ強調部403，彩度強調部404，RGB合成部405，圧縮部406と双方向に接続されている。
図７は、本発明の実施例２の構成図である。本例は、本発明実施例１にCMS部400，階調変換部401，彩度補正部402，エッジ強調部403，彩度強調部404，RGB合成部405，圧縮部406が追加され、信号処理部114が削除された構成になっている。基本構成は実施例１と同等であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。圧縮変換部112Aの圧縮特性は実施例１の圧縮変換部112の変換特性とは異なる。これに伴い、制御部116Aは実施例１の制御部116の制御内容とは一部（圧縮変換部112Aの変換制御の部分）異なっている。補間部113はCMS部400へ、CMS部400は階調変換部401，彩度補正部402へ接続している。階調変換部401は、彩度補正部402およびエッジ強調部403へ接続している。彩度補正部402は、彩度強調部404へ接続している。エッジ強調部403および彩度強調部404は、RGB合成部405へ接続している。RGB合成部405は、圧縮部406を介してメモリーカードなどの出力部115に接続されている。制御部116Aは、CMS部400，階調変換部401，彩度補正部402，エッジ強調部403，彩度強調部404，RGB合成部405，圧縮部406と双方向に接続されている。
実施例２の色空間変換手段としてのCMS部400では、補間部113からのRGB信号を画素単位で読み込み、その都度演算処理してYCbCr信号（或いはCIE Lab信号）へ変換する場合の例を示している。さらに、輝度信号変換手段としての階調変換部401では、撮影毎のホワイトバランス係数に応じて毎回その変換特性を最適化して変えて変曲点を設定する例を示している。
［作用］
基本的に実施例１と同等であり、異なる部分のみ説明する。
図７において、信号の流れを説明する。バッファ106内の映像信号は、制御部116Aの制御に基づき、WB部111へ転送されホワイトバランス処理が行われる。
基本的に実施例１と同等であり、異なる部分のみ説明する。
図７において、信号の流れを説明する。バッファ106内の映像信号は、制御部116Aの制御に基づき、WB部111へ転送されホワイトバランス処理が行われる。
WB部111では、実施例１と同様に、WB部111および後段の圧縮変換部112Aでは信号の飽和が生じないよう、ビット精度を増加して処理を行う。ビット精度が増加された信号は、圧縮変換部112Aにて固定的な線形の圧縮がなされて、A/D105におけるビット精度に変換され補間部113へ転送される。補間部113では、公知の補間処理がなされてRGBの三板信号としてCMS部400へ転送される。
CMS部400では所定の色空間、本実施例においてはYCbCr色空間へ変換される。輝度信号Yは階調変換部401へ転送され、圧縮変換部112Aにおける圧縮特性を伸張するための階調変換処理と絵作りための階調変換処理がなされる。この後、エッジ強調部403において公知のエッジ強調処理がなされ、RGB合成部405へ転送される。一方、色信号Cb，Crは彩度補正部402にて階調変換部401にて輝度信号Yが変換されたことに対応する補正処理がなされる。この後、彩度強調部404にて公知の彩度強調処理がなされ、RGB合成部405へ転送される。RGB合成部405は、輝度信号Yおよび色信号Cb，CrからRGB信号を合成して、圧縮部406へ転送する。圧縮部406では、公知の圧縮処理を行い、出力部115へ転送する。出力部115は、メモリーカードなどへ信号を記録保存する。
図８は、圧縮変換部112Aの構成の一例を示すもので、ゲイン算出部500，ゲイン乗算部501からなる。ゲイン算出部500は、ゲイン乗算部501へ接続している。WB部111は、ゲイン乗算部501へ接続している。ゲイン乗算部501は、補間部113へ接続している。制御部116Aは、ゲイン算出部500，ゲイン乗算部501へ双方向に接続されている。
図９は、圧縮変換部112Aにおける変換特性を示す。本実施例においては、A/D105におけるビット精度をADmax=4095、WB部111で生じるホワイトバランス係数の最大値をWBmax=2.5、測光評価部108における白色被写体に対する所定値をAEW=4095と想定する。図９は、0からWB部111で発生する最大の信号WBmax・ADmax=10237までを線形に0からADmax=4095へ圧縮する。図８のゲイン算出部500は、制御部116Aからホワイトバランス係数の情報を転送され、図９に示されるような線形の変換特性を算出する。算出されたゲインは、ゲイン乗算部501へ転送される。ゲイン乗算部501は、制御部116Aの制御に基づきゲイン算出部500からゲインが転送された後、WB部111からのビット精度が増加された信号にゲインを乗算することでA/D105におけるビット精度に変換して補間部113へ転送する。
図１０(a)は、CMS部400の構成の一例を示すもので、マトリックス演算部600，バッファ601からなる。補間部113は、マトリックス演算部600，バッファ601を介して階調変換部401および彩度補正部402へ接続している。制御部116Aは、マトリックス演算部600へ双方向に接続されている。マトリックス演算部600は、制御部116Aに制御に基づき、補間部113からのRGB信号を画素単位で読み込み、(1)式に示されるマトリックス演算を行いYCbCr信号へ変換する。
Y = 0.2990R + 0.5870G + 0.1140B
Cb = - 0.1687R - 0.3313G + 0.5000B (1)
Cr = 0.5000R - 0.4187G - 0.0813B
算出されたYCbCr信号はバッファ601へ保存される。なお、RGB合成部405では(2)式に示される逆変換によりRGB信号が算出される。
Cb = - 0.1687R - 0.3313G + 0.5000B (1)
Cr = 0.5000R - 0.4187G - 0.0813B
算出されたYCbCr信号はバッファ601へ保存される。なお、RGB合成部405では(2)式に示される逆変換によりRGB信号が算出される。
R = Y + 1.4020Cr
G = Y - 0.34414Cb - 0.71414Cr (2)
B = Y + 1.77200Cb
上記例では、色空間としてYCbCr色空間を想定していたが、このような構成に限定される必要はない。例えば、CIE Lab色空間、CIE Luv色空間などの任意の色空間を用いることができる。
G = Y - 0.34414Cb - 0.71414Cr (2)
B = Y + 1.77200Cb
上記例では、色空間としてYCbCr色空間を想定していたが、このような構成に限定される必要はない。例えば、CIE Lab色空間、CIE Luv色空間などの任意の色空間を用いることができる。
図１０(b)は、CIE Lab色空間へ変換するCMS部400の構成の一例を示すもので、図１０(a)におけるマトリックス演算部600とバッファ601間に関数演算部602を追加した構成になる。制御部116Aは、関数演算部602へ双方向に接続されている。マトリックス演算部600は、制御部116Aの制御に基づき、補間部113からのRGB信号を画素単位で読み込み、(3)式に示されるマトリックス演算を行いCIE XYZ信号へ変換する。
X = 0.6067R + 0.1736G + 0.2001B
Y = 0.2990R - 0.5870G + 0.1140B (3)
Z = 0.0661G + 1.1150B
関数演算部602は、上記CIE XYZ信号に対して(4)式に示される非線形演算を行いCIE Lab信号へ変換する。
Y = 0.2990R - 0.5870G + 0.1140B (3)
Z = 0.0661G + 1.1150B
関数演算部602は、上記CIE XYZ信号に対して(4)式に示される非線形演算を行いCIE Lab信号へ変換する。
L = 116(Y/Y0)1/3 - 16
a = 500{(X/X0)1/3 - (Y/Y0)1/3} (4)
b = 200{(Y/Y0)1/3 - (Z/Z0)1/3}
(4)式におけるX0，Y0，Z0は基準白色点を意味するもので、例えばC光源の場合X0=0.9804. Y0=1.0000， Z0=1.1811となる。なお、RGB合成部405では(5)式に示される逆変換によりCIE XYZ信号算出される。
a = 500{(X/X0)1/3 - (Y/Y0)1/3} (4)
b = 200{(Y/Y0)1/3 - (Z/Z0)1/3}
(4)式におけるX0，Y0，Z0は基準白色点を意味するもので、例えばC光源の場合X0=0.9804. Y0=1.0000， Z0=1.1811となる。なお、RGB合成部405では(5)式に示される逆変換によりCIE XYZ信号算出される。
Y = Y0{(L+16)/116}3
X=X0{a/500+(Y/Y0)1/3}3 (5)
Z = Z0{(Y/Y0)1/3 - b/200}3
次に、(6)式に示される逆変換によりRGB信号が算出される。
X=X0{a/500+(Y/Y0)1/3}3 (5)
Z = Z0{(Y/Y0)1/3 - b/200}3
次に、(6)式に示される逆変換によりRGB信号が算出される。
R = 1.9106X - 0.5326Y - 0.2883Z
G = - 0.9843X + 1.9984Y - 0.0283Z (6)
B = 0.0584X - 0.1185Y + 0.8985Z
図１１は、階調変換部401の構成の一例を示すもので、変曲点設定部700，変換特性設定部701，変換特性用バッファ702，合成部703，変換特性記録ROM704，階調変換部705からなる。変曲点設定部700は、変換特性設定部701，変換特性用バッファ702を介して合成部703へ接続している。変換特性記録ROM704は、合成部703へ接続している。CMS部400および合成部703は、階調変換部705へ接続している。階調変換部705は、彩度補正部402およびエッジ強調部403へ接続している。制御部116Aは、変曲点設定部700，変換特性設定部701，合成部703，階調変換部705へ双方向に接続されている。
G = - 0.9843X + 1.9984Y - 0.0283Z (6)
B = 0.0584X - 0.1185Y + 0.8985Z
図１１は、階調変換部401の構成の一例を示すもので、変曲点設定部700，変換特性設定部701，変換特性用バッファ702，合成部703，変換特性記録ROM704，階調変換部705からなる。変曲点設定部700は、変換特性設定部701，変換特性用バッファ702を介して合成部703へ接続している。変換特性記録ROM704は、合成部703へ接続している。CMS部400および合成部703は、階調変換部705へ接続している。階調変換部705は、彩度補正部402およびエッジ強調部403へ接続している。制御部116Aは、変曲点設定部700，変換特性設定部701，合成部703，階調変換部705へ双方向に接続されている。
図１２は、階調変換部401における変換特性を示す。図１２(a)は、圧縮変換部112Aにて圧縮変換された輝度信号を本来の特性へ逆変換する場合の特性を示す。ここで、ADmaxはA/D105におけるビット精度を、本実施例においては12ビットでありADmax=4095を想定する。また、WBmaxはWB部111におけるホワイトバランス係数の最大値を、本実施例においてはWBmax=2.5を想定する。AEWは、測光評価部108にて白色被写体に対する所定値で、本実施例においてはAEW=4095を想定する。なお、上記変数は図９に示す圧縮特性にて変換され、AEW=1638、WBmax・ADmax=4095となっている。図１２(a)での変換特性は、0〜AEW=1638までの信号を0〜0.9・ADmax=3687へ線形に伸張する。この区間は、通常の黒〜白までの信号で、線形に伸張されるため色相や彩度の情報は保存されることになる。一方、AEW=1638〜WBmax・ADmax=4095は0.9・ADmax=3687〜ADmax=4095へ非線形に圧縮される。この区間は、ホワイトバランス処理により発生する可能性にある信号で、測光評価部108で設定している白を上回る不自然な信号である。これを非線形に白に圧縮することで、違和感の少ない色再現が可能となる。
図１２(b)は、絵作り処理における階調変換特性の一例を示すもので、Ｓ字状の変換特性をしている。上記絵作り処理における階調変換特性は、任意な構成が可能である。
図１２(c)は、上記図１２(a)，(b)の特性を合成したもので、0〜AEW=1638までの信号を0〜0.98・ADmax=4013へ非線形に伸張し、AEW=1638〜WBmax・ADmax=4095までの信号を0.98・ADmax= 4013〜ADmax=4095へ非線形に圧縮する。
変曲点設定部700は、図１２(a)に示されるように、圧縮変換部112Aにおいて圧縮変換された白色被写体に対する所定値AEW=1638を変曲点として設定し、これを変換特性設定部701へ転送する。変換特性設定部701は、変曲点以下の0〜AEW=1638までの信号を0〜0.9・ADmax=3687へ線形に変換する特性と変曲点以上のAEW=1638〜WBmax・ADmax=4095までの信号を0.9・ADmax= 3687〜ADmax=4095へ非線形に変換する特性を算出し、変換特性用バッファ702へ転送する。
合成部703は、制御部116Aの制御に基づき、変換特性記録ROM704から図１２(b)に示される絵作り処理における階調変換特性を読み出し、変換特性用バッファ702からの変換特性と合成することで図１２(c)に示す変換特性を合成する。合成された変換特性は、階調変換部705へ転送される。階調変換部705は、制御部116Aの制御に基づき、合成部703から変換特性が転送された後、CMS部400からの輝度信号Yを合成部703からの変換特性に基づき変換して彩度補正部402およびエッジ強調部403へ転送する。
図１３は、彩度補正部402の構成の一例を示すもので、色相彩度変換部800，隣接色相面探索部801，関数抽出部802，関数記録用ROM803，最大彩度算出部804，彩度補間部805，補正係数算出部806，クロマサプレス係数算出部807，補正係数乗算部808からなる。CMS部400は、色相彩度変換部800へ接続している。
色相彩度変換部800は、隣接色相面探索部801，最大彩度算出部804，彩度補間部805，補正係数乗算部808へ接続している。隣接色相面探索部801は、関数抽出部802，最大彩度算出部804，彩度補間部805を介して補正係数算出部806へ接続している。関数記録用ROM803は、隣接色相面探索部801および関数抽出部802へ接続している。階調変換部401は、色相彩度変換部800およびクロマサプレス係数算出部807へ接続している。補正係数算出部806およびクロマサプレス係数算出部807は補正係数乗算部808へ、補正係数乗算部808は彩度強調部404へ接続している。制御部116Aは、色相彩度変換部800，隣接色相面探索部801，関数抽出部802，最大彩度算出部804，彩度補間部805，補正係数算出部806，クロマサプレス係数算出部807，補正係数乗算部808へ双方向に接続されている。
色相彩度変換部800は、制御部116Aの制御に基づき、CMS部400から輝度信号Yおよび色信号Cb，Crを読み込み、色相H，彩度C信号を(7)式に基づき算出する。
H = tan-1(Cb/Cr)
C=(Cb・Cb + Cr・Cr)1/2 (7)
なお、RGB合成部405では(8)式に示される逆変換により色信号Cb，Crが算出される。
C=(Cb・Cb + Cr・Cr)1/2 (7)
なお、RGB合成部405では(8)式に示される逆変換により色信号Cb，Crが算出される。
Cb = C・sin(H)
Cr = C・cos(H) (8)
上記色相H，彩度Cおよび輝度信号Yは、隣接色相面探索部801，最大彩度算出部804，彩度補間部805へ転送される。なお、上記輝度信号Yおよび色信号Cb，Crは入力時の輝度，色相，彩度を示すものとして、以後Yorg，Horg，Corgで示す。また、色相彩度変換部800は階調変換部401から階調変換後の輝度信号（以後Ytraで示す）を読み込み、隣接色相面探索部801，最大彩度算出部804，彩度補間部805へ転送する。
Cr = C・cos(H) (8)
上記色相H，彩度Cおよび輝度信号Yは、隣接色相面探索部801，最大彩度算出部804，彩度補間部805へ転送される。なお、上記輝度信号Yおよび色信号Cb，Crは入力時の輝度，色相，彩度を示すものとして、以後Yorg，Horg，Corgで示す。また、色相彩度変換部800は階調変換部401から階調変換後の輝度信号（以後Ytraで示す）を読み込み、隣接色相面探索部801，最大彩度算出部804，彩度補間部805へ転送する。
図１４は、YCbCr色空間の外観形状と彩度信号の補正を説明する図である。特定の輝度および色相が定まるとYCbCr色空間における最大彩度値が定まる。最大彩度値は、YCbCr色空間の外観形状と一致することになる。色相が一定で輝度信号のみが変換された場合の彩度信号は、最大彩度値に対する比率が一定となるように補正すると自然な色再現が得られる。つまり、彩度補正部402では、色信号Cb，Crを輝度信号Yの変化に合わせて補正することで自然な色再現を得る。
いま、入力時の輝度，色相，彩度をYorg，Horg，Corgで、Yorg，Horgに対応する最大彩度値をmaxCorgで、階調補正された輝度信号に対応する輝度をYtraで、Ytra，Horgに対応する最大彩度値をmaxCtraで示す。階調補正された輝度Ytraに対応する彩度Ctraを求めるための補正係数kcは、
kc = maxCtra/maxCorg (9)
で与えられる。よって(9)式の補正係数kcを彩度Corgへ乗算することで、輝度信号の変更に伴う補正が行われることになる。
kc = maxCtra/maxCorg (9)
で与えられる。よって(9)式の補正係数kcを彩度Corgへ乗算することで、輝度信号の変更に伴う補正が行われることになる。
Ctra = kc・Corg (10)
なお、階調補正された輝度信号の輝度Ytraに対応する色相Htraは入力時の色相Horgと同一である。
なお、階調補正された輝度信号の輝度Ytraに対応する色相Htraは入力時の色相Horgと同一である。
図１５は、図１３の関数記録用ROM803に記録されているYCbCr色空間の最大彩度値maxCに関する関数情報を示す。図１５(a)〜(f)は、YCbCr色空間における赤(R)，マゼンタ(Ma)，青(B)，シアン(Cy)，緑(G)，黄(Ye)の各色相面における彩度Cと輝度Yの断面を、図１５(g)は各色相面の配置状況を示す。各色相面における最大の彩度値に対応する輝度Ti (i=R，Ma，B，Cy，G，Ye)を閾値として、輝度Ti以上を高輝度用関数で、以下を低輝度用関数でモデル化する。最大彩度値maxCに対する関数として、YCbCr色空間では１次関数を用いる。
maxCi = αhiY + βhi (Y>Ti)
maxCi = αliY +βli (Y<Ti) (11)
関数記録用ROM803には、色相Hi，輝度Ti，高輝度用関数のパラメータαhi，βhi，低輝度用関数のパラメータαli，βliが記録される。図１３の隣接色相面探索部801は、制御部116Aの制御に基づき、関数記録用ROM803から記録されている色相Hiを読み出す。その後、色相彩度変換部800からの色相Horgと上記色相Hiとの比較を行い、隣接する最近傍の２組の色相Hj，Hk (j，k = R，Ma，B，Cy，G，Ye，j≠k)を探索し、この２組の色相を関数抽出部802へ転送する。関数抽出部802は、関数記録用ROM803から上記２組の色相に対応する輝度Tj，Tｋ，高輝度用関数のパラメータαhj，βhj，αhk，βhk，低輝度用関数のパラメータαlj，βlj，αlk，βlkを抽出し最大彩度算出部804へ転送する。最大彩度算出部804は、関数抽出部802からの上記パラメータおよび色相彩度変換部800からの輝度Yorgおよび輝度Ytraに基づき２組の色相Hj， Hkに関する最大彩度値maxCorg_j，maxCorg_kまたはmaxCtra_j，maxCtra_kを算出する。以降の処理は輝度Yorgまたは輝度Ytraに対して共通であるため、２組の最大彩度値をmaxCj，maxCkで示すこととする。算出された最大彩度値maxCj，maxCkは彩度補間部805へ転送される。彩度補間部805は、制御部116Aの制御に基づき、上記最大彩度値maxCj，maxCkおよび色相彩度変換部800からの色相Horgに対する最大彩度値maxCを補間により求める。図１５(h)は、補間による最大彩度値maxCの算出を示す。色相はHj>Horg>Hkの関係にあるものとする。最大彩度値maxCは、(12)式により算出される。
maxCi = αliY +βli (Y<Ti) (11)
関数記録用ROM803には、色相Hi，輝度Ti，高輝度用関数のパラメータαhi，βhi，低輝度用関数のパラメータαli，βliが記録される。図１３の隣接色相面探索部801は、制御部116Aの制御に基づき、関数記録用ROM803から記録されている色相Hiを読み出す。その後、色相彩度変換部800からの色相Horgと上記色相Hiとの比較を行い、隣接する最近傍の２組の色相Hj，Hk (j，k = R，Ma，B，Cy，G，Ye，j≠k)を探索し、この２組の色相を関数抽出部802へ転送する。関数抽出部802は、関数記録用ROM803から上記２組の色相に対応する輝度Tj，Tｋ，高輝度用関数のパラメータαhj，βhj，αhk，βhk，低輝度用関数のパラメータαlj，βlj，αlk，βlkを抽出し最大彩度算出部804へ転送する。最大彩度算出部804は、関数抽出部802からの上記パラメータおよび色相彩度変換部800からの輝度Yorgおよび輝度Ytraに基づき２組の色相Hj， Hkに関する最大彩度値maxCorg_j，maxCorg_kまたはmaxCtra_j，maxCtra_kを算出する。以降の処理は輝度Yorgまたは輝度Ytraに対して共通であるため、２組の最大彩度値をmaxCj，maxCkで示すこととする。算出された最大彩度値maxCj，maxCkは彩度補間部805へ転送される。彩度補間部805は、制御部116Aの制御に基づき、上記最大彩度値maxCj，maxCkおよび色相彩度変換部800からの色相Horgに対する最大彩度値maxCを補間により求める。図１５(h)は、補間による最大彩度値maxCの算出を示す。色相はHj>Horg>Hkの関係にあるものとする。最大彩度値maxCは、(12)式により算出される。
maxC = maxCj(Hj-Horg)/(Hj-Hk) + maxCk(Horg-Hk)/(Hj-Hk) (12)
上記(11)式による最大彩度値の算出は輝度Yorgまたは輝度Ytraに対して２回行われ、第１の最大彩度値maxCorgおよび第２の最大彩度値maxCtraが算出される。算出されたmaxCorgおよびmaxCtraは、補正係数算出部806へ転送される。補正係数算出部806は、上記第１の最大彩度値maxCorgおよび第２の最大彩度値maxCtraから(9)式の補正係数kcを算出して、補正係数乗算部808へ転送する。
上記(11)式による最大彩度値の算出は輝度Yorgまたは輝度Ytraに対して２回行われ、第１の最大彩度値maxCorgおよび第２の最大彩度値maxCtraが算出される。算出されたmaxCorgおよびmaxCtraは、補正係数算出部806へ転送される。補正係数算出部806は、上記第１の最大彩度値maxCorgおよび第２の最大彩度値maxCtraから(9)式の補正係数kcを算出して、補正係数乗算部808へ転送する。
一方、クロマサプレス係数算出部807は、階調変換後の輝度信号Ytraを読み込み、輝度信号のレベルに応じて彩度値を抑制するためのクロマサプレス係数ksを設定する。
図１６はクロマサプレス係数ksの一例を示すもので、輝度値が一定値以下ではks=1となり彩度信号は変化しない。一定値以上になると0へと減少し、彩度信号は輝度値に比例して減少することになる。設定されたクロマサプレス係数ksは、補正係数乗算部808へ転送される。補正係数乗算部808は、制御部116Aの制御に基づき、色相彩度変換部800からの彩度信号Corgに補正係数算出部806からの補正係数kcおよびクロマサプレス係数算出部807からのクロマサプレス係数ksを乗算する。
Ctra = kc・ks・Corg (13)
補正後の彩度信号Ctraおよび色相信号Htra=Horgは彩度強調部404へ転送される。
補正後の彩度信号Ctraおよび色相信号Htra=Horgは彩度強調部404へ転送される。
上記構成により、量子化のビット精度を上回る信号に対して圧縮変換を行うため、色相，彩度の変化を緩和でき自然な色再現が得られる。また、ホワイトバランス後の処理系のビット精度を増加する必要が無く、システムを低コストで実現できる。また、この圧縮変換はゲイン乗算で行うため、処理が容易で高速かつ低コストなシステムが構築できる。さらに、輝度信号と色信号を独立して操作できるため、絵作りに関する自由度が高まる。上記輝度信号と色信号への変換はマトリックス演算で行うため、実装が容易で高速かつ低コストなシステムが構築できる。また、マトリックス演算と関数演算を組み合わせることで、より高精度な輝度信号と色信号からなる色空間への変換が行え、高品位な信号の生成が可能となる。輝度信号に関して、変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では色相と彩度を保存し、変曲点以上では違和感の少ない色再現を行うこと可能となり、全体として高品位な信号の生成が可能となる。また、絵作りのための固定的な変換特性と合成して変換するため従来処理との親和性が高く、低コストなシステムが構築できる。さらに、輝度信号の変化に対して、色信号を色空間の最大彩度値に対する比率を一定となるよう補正するため自然な色再現が得られる。クロマサプレス処理により高輝度部で生じる色相、彩度の変化を抑制でき、自然な色再現が得られる。また、彩度信号の補正とクロマサプレス処理を一体化して処理するため低コストかつ高速処理が可能となる。また、現状の撮影部との親和性が高く、多くの撮像部への適用が可能となる。
なお、上記実施例ではレンズ系100，絞り101，カラーフィルタ102，CCD103，Gain104，A/D105， PreWB部107，測光評価部108，合焦点検出部109，AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。
例えば、図１７に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにホワイトバランス係数などの撮像条件に関する付随情報をヘッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。
図１７は、図７に示す構成からレンズ系100，絞り101，カラーフィルタ102，CCD103，Gain104，A/D105，PreWB部107，測光評価部108，合焦点検出部109，AFモータ110を省略し、入力部300，ヘッダ情報解析部301を追加した形態となっている。基本構成は図７と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。入力部300は、バッファ106およびヘッダ情報解析部301へ接続している。制御部116Aは、入力部300，ヘッダ情報解析部301と双方向に接続している。マウス，キーボードなどの外部I/F部117を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部300から読み込まれる。入力部300からの信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部301へ転送される。ヘッダ情報解析部301は、ヘッダ情報から撮影時の情報を抽出して制御部116Aへ転送する。以後の処理は、図７と同等である。
さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からの信号を未処理のままのRawデータとして、制御部116Aからホワイトバランス係数などの撮像条件に関する付随情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図１８は、本発明の実施例２における信号処理のソフトウェア処理に関するフローを示す。なお、図６に示す本発明実施例１における信号処理のフローと同一な処理ステップに関しては、同一なステップ符号を割り当てている。
ステップＳ1にて、信号とホワイトバランス係数などのヘッダ情報を読み込む。ステップＳ2にて、信号にホワイトバランス処理を行う。ステップＳ3にて、図９に示される変換特性にて信号を圧縮変換する。ステップＳ4にて、補間処理がなされて三板の信号が算出される。ステップＳ10にて、(1)式または(3)，(4)式に示されるようにして所定の色空間の信号に変換される。ステップＳ11にて、図１２(c)に示される変換特性にて輝度信号を変換する。ステップＳ12にて、輝度信号に公知のエッジ強調処理を行う。ステップＳ13にて、色信号から(7)式に基づき色相，彩度信号を求め、(13)式に示す補正係数を乗算することで彩度信号を補正する。ステップＳ14にて、彩度信号に公知の彩度強調処理を行う。ステップＳ15にて、輝度，彩度，色相信号からRGB信号を(8)，(2)式または(8)，(5)，(6)式に基づき算出する。ステップＳ16にて、公知の圧縮処理が行われる。ステップＳ6にて、処理後の信号が出力され終了する。
図１９乃至図２５は本発明の実施例３の撮像システムに係り、図１９は本発明の実施例３の構成図、図２０は色差線順次補色フィルタに関する説明図、図２１はCMS部の構成図、図２２は階調変換部の構成図、図２３は階調変換部の変換特性に関する説明図、図２４はCIE Lab色空間の最大彩度値に関する説明図、図２５は本発明の実施例３における信号処理のフローチャートである。
［構成］
図１９は、本発明の実施例３の構成図である。本例は、本発明実施例２にRGB変換部900が追加された構成になっている。基本構成は実施例２と同等であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。CMS部400AはRGB信号からCIE Lab信号へ変換するものであり、実施例２のYCbCr信号へ変換するものとは異なっている。これに伴い、階調変換部401A，エッジ強調部403AはL信号を処理し、彩度補正部402A，彩度強調部404Aはa，b信号を処理し、RGB合成部405Aは前記処理したLab信号を合成する点で実施例２とは異なっている。また、制御部116Bは、追加されたRGB変換部900の変換制御をも行う点で実施例１および実施例２とは異なっている。バッファ106はRGB変換部900へ、RGB変換部900はWB部111へ接続している。制御部116Bは、RGB変換部900と双方向に接続されている。
図１９は、本発明の実施例３の構成図である。本例は、本発明実施例２にRGB変換部900が追加された構成になっている。基本構成は実施例２と同等であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。CMS部400AはRGB信号からCIE Lab信号へ変換するものであり、実施例２のYCbCr信号へ変換するものとは異なっている。これに伴い、階調変換部401A，エッジ強調部403AはL信号を処理し、彩度補正部402A，彩度強調部404Aはa，b信号を処理し、RGB合成部405Aは前記処理したLab信号を合成する点で実施例２とは異なっている。また、制御部116Bは、追加されたRGB変換部900の変換制御をも行う点で実施例１および実施例２とは異なっている。バッファ106はRGB変換部900へ、RGB変換部900はWB部111へ接続している。制御部116Bは、RGB変換部900と双方向に接続されている。
実施例３の色空間変換手段としてのCMS部400Aでは、補間部113からのRGB信号を画素単位で読み込み、変換テーブルを用いてCIE Lab信号へ変換処理する場合の例を示している。実施例２と比べて、面倒な演算（例えば立方根の演算など）を省略でき高速化が可能となる。さらに、輝度信号変換手段としての階調変換部401Aでは、想定される最大のホワイトバランス係数で、その変換特性の変曲点を固定してもよい例を示している。
［作用］
基本的に実施例２と同等であり、異なる部分のみ説明する。図１９において、カラーフィルタ102は、色差線順次補色フィルタを想定する。図２０(a)は、色差線順次補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)，マゼンタ(Mg)，イエロー(Ye)，緑(G)が１画素ずつ配置される。ただし、MとGの位置はラインごとに反転している。上記色差線順次補色フィルタによる映像信号は、バッファ106に記録される。RGB変換部900は、制御部116Bの制御に基づき、図２０(b)に示されるように2×2画素領域を1行1列づつ重複させながら順次抽出し、(14)式に基づき輝度信号Yおよび色差信号Cb，Crを領域単位に算出する。
基本的に実施例２と同等であり、異なる部分のみ説明する。図１９において、カラーフィルタ102は、色差線順次補色フィルタを想定する。図２０(a)は、色差線順次補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)，マゼンタ(Mg)，イエロー(Ye)，緑(G)が１画素ずつ配置される。ただし、MとGの位置はラインごとに反転している。上記色差線順次補色フィルタによる映像信号は、バッファ106に記録される。RGB変換部900は、制御部116Bの制御に基づき、図２０(b)に示されるように2×2画素領域を1行1列づつ重複させながら順次抽出し、(14)式に基づき輝度信号Yおよび色差信号Cb，Crを領域単位に算出する。
Y＝Cy + Ye + G + Mg
Cb＝(Cy + Mg) - (Ye + G) (14)
Cr＝(Ye + Mg) - (Cy + G)
この後、(2)式に示されるマトリックス演算にてRGB信号が算出されWB部111へ転送される。WB部111は、制御部116Bの制御に基づき、ホワイトバランス処理を行う。WB部111では、実施例１と同様に、WB部111および後段の圧縮変換部112は信号の飽和が生じないよう、ビット精度を増加して処理を行う。ビット精度が増加された信号は、圧縮変換部112にて図４(c)に示される特性で圧縮変換されて、A/D105におけるビット精度に変換され補間部113へ転送される。補間部113では、公知の補間処理がなされてRGBの三板信号としてCMS部400Aへ転送される。CMS部400Aでは所定の色空間、本実施例においてはCIE Lab色空間への変換処理がなされる。輝度信号Lは階調変換部401Aへ転送され、圧縮変換部112における圧縮特性を伸張するための階調変換処理と絵作りための階調変換処理がなされる。この後、エッジ強調部403Aにおいて公知のエッジ強調処理がなされ、RGB合成部405Aへ転送される。一方、色信号a，bは彩度補正部402Aにて階調変換部401Aにて輝度信号Lが変換されたことに対応する補正処理がなされる。この後、彩度強調部404Aにて公知の彩度強調処理がなされ、RGB合成部405Aへ転送される。RGB合成部405Aは、輝度信号Lおよび色信号a，bからRGB信号を合成して、圧縮部406へ転送する。圧縮部406では、公知の圧縮処理を行い、出力部115へ転送する。出力部115は、メモリーカードなどの記録媒体へ信号を記録保存する。
Cb＝(Cy + Mg) - (Ye + G) (14)
Cr＝(Ye + Mg) - (Cy + G)
この後、(2)式に示されるマトリックス演算にてRGB信号が算出されWB部111へ転送される。WB部111は、制御部116Bの制御に基づき、ホワイトバランス処理を行う。WB部111では、実施例１と同様に、WB部111および後段の圧縮変換部112は信号の飽和が生じないよう、ビット精度を増加して処理を行う。ビット精度が増加された信号は、圧縮変換部112にて図４(c)に示される特性で圧縮変換されて、A/D105におけるビット精度に変換され補間部113へ転送される。補間部113では、公知の補間処理がなされてRGBの三板信号としてCMS部400Aへ転送される。CMS部400Aでは所定の色空間、本実施例においてはCIE Lab色空間への変換処理がなされる。輝度信号Lは階調変換部401Aへ転送され、圧縮変換部112における圧縮特性を伸張するための階調変換処理と絵作りための階調変換処理がなされる。この後、エッジ強調部403Aにおいて公知のエッジ強調処理がなされ、RGB合成部405Aへ転送される。一方、色信号a，bは彩度補正部402Aにて階調変換部401Aにて輝度信号Lが変換されたことに対応する補正処理がなされる。この後、彩度強調部404Aにて公知の彩度強調処理がなされ、RGB合成部405Aへ転送される。RGB合成部405Aは、輝度信号Lおよび色信号a，bからRGB信号を合成して、圧縮部406へ転送する。圧縮部406では、公知の圧縮処理を行い、出力部115へ転送する。出力部115は、メモリーカードなどの記録媒体へ信号を記録保存する。
図２１は、CMS部400Aの構成の一例を示すもので、補間演算部1000，パラメータ抽出部1001，パラメータ用ROM1002，バッファ1003からなる。補間部113は、補間演算部1000およびパラメータ抽出部1001へ接続している。補間演算部1000は、バッファ1003を介して階調変換部401Aおよび彩度補正部402Aへ接続している。パラメータ用ROM1002はパラメータ抽出部1001へ、パラメータ抽出部1001は補間演算部1000へ接続している。制御部116Bは、補間演算部1000，パラメータ抽出部1001へ双方向に接続されている。
パラメータ用ROM1002は、所定間隔のRGB信号に対するCIE Lab信号が記録された変換テーブルである。上記変換テーブルは、実施例２と同様に演算にて求めることもできるし、実測データから構築することも可能である。パラメータ抽出部1001は、制御部116Bの制御に基づき、補間部113からのRGB信号を順次読み込み、パラメータ用ROM1002から近接するRGB信号とCIE Lab信号の組を抽出する。本実施例では色空間における８近傍の組を抽出する。抽出された８近傍の組は、補間演算部1000へ転送される。補間演算部1000は、制御部116Bの制御に基づき、補間部113からのRGB信号に対してパラメータ用ROM1002から転送された８近傍の組から補間演算をおこない、対応するCIE Lab信号を算出する。算出されたCIE Lab信号はバッファ1003へ転送され、保存される。バッファ1003上のCIE Lab信号は、必要に応じて階調変換部401Aおよび彩度補正部402Aへ転送される。
図２２は、階調変換部401Aの構成の一例を示す。階調変換部401Aは、実施例２の図１１における変曲点設定部700，変換特性設定部701，変換特性用バッファ702，合成部703を省略した形態となっており、変換特性記録ROM704A，階調変換部705Aからなる。変換特性記録ROM704A，階調変換部705Aは、CMS部400Aで変換したLab信号のL信号を扱う点で、実施例２の図１１に示す変換特性記録ROM704，階調変換部705とは異なっている。
図２３は、階調変換部401Aにおける変換特性を示す。図２３(a)は、圧縮変換部112にて圧縮変換された輝度信号を本来の特性へ逆変換する場合の特性を示す。ここで、ADmaxはA/D105におけるビット精度を、本実施例においては12ビットでありADmax=4095を想定する。また、WBmaxはWB部111におけるホワイトバランス係数の最大値を、本実施例においてはWBmax=2.5を想定する。AEWは、測光評価部108にて白色被写体に対する所定値で、本実施例においてはAEW=2048を想定する。なお、上記変数は図４(c)に示す圧縮特性で変換され、その後CIE Lab信号に変換されている。このため、輝度信号LにおいてはAEW=70、WBmax・ADmax=100となっている。図２３(a)での変換特性は、0〜AEW=70までの信号を0〜0.9・ADmax=90へ線形に伸張する。この区間は、通常の黒〜白までの信号で、線形に伸張されるため色相や彩度の情報は保存されることになる。一方、AEW=70〜WBmax・ADmax=100は0.9・ADmax=90〜ADmax=100へ非線形に圧縮される。この区間は、ホワイトバランス処理により発生する可能性にある信号で、測光評価部108で設定している白を上回る不自然な信号である。これを非線形に白に圧縮することで、違和感の少ない色再現が可能となる。
図２３(b)は、絵作り処理における階調変換特性の一例を示すもので、Ｓ字状の変換特性をしている。上記絵作り処理における階調変換特性は、任意な構成が可能である。図２３(c)は、上記図２３(a)，(b)の特性を合成したもので、0〜AEW=70までの信号を0〜0.98・ADmax=98へ非線形に伸張し、AEW=70〜WBmax・ADmax=100までの信号を0.98・ADmax= 98〜ADmax=100へ非線形に圧縮する。図２２の変換特性記録ROM704Aは、上記図２３(c)の特性を記録している。ここで、WBmaxはWB部111におけるホワイトバランス係数により変動するため、圧縮変換部112では動的に特性を変化させている。しかし、CMS部400AによりCIE Lab信号に変換された場合、WBmax・ADmaxは必ず100となる。このため、図２３(c)に示す変換特性は、ホワイトバランス係数によらず固定することができる。図２２の階調変換部705Aは、変換特性記録ROM704Aから図２３(c)の特性を読み出し、CMS部400Aからの輝度信号Lを変換し、彩度補正部402Aおよびエッジ強調部403Aにへ転送する。
なお、彩度補正部402Aの彩度補正に関する説明図は、実施例２の図１４の彩度補正部402の彩度補正に関する説明図と同様となるので説明を省略する。すなわち、実施例３の彩度補正では、図１４におけるY，Cr，Cb，Yorg，Ytraをそれぞれ、L，a，b，Lorg，Ltraと置き換えたものとなる。Lorgは入力時の輝度信号に対応する輝度を、Ltraは階調補正された輝度信号に対応する輝度を示す。彩度補正部402Aでは、色信号a，bを輝度信号Lの変化に合わせて補正することで自然な色再現を得る。
図２４は、彩度補正部402Aにおいて最大彩度値を算出する際に必要となるCIEY Lab色空間のに関する関数情報を示す。図２４(a)〜(f)は、CIE Lab色空間における赤(R)，マゼンタ(Ma)，青(B)，シアン(Cy)，緑(G)，黄(Ye)の各色相面における彩度Cと輝度Lの断面を、図２４(g)は各色相面の配置状況を示す。各色相面における最大の彩度値に対応する輝度Ti (i=R，Ma，B，Cy，G，Ye)を閾値として、輝度Ti以上を高輝度用関数で、以下を低輝度用関数でモデル化する。最大彩度値maxCに対する関数として、CIE Lab色空間では３次関数を用いる。
maxCi = αhiL3 + βhiL2 + γhiL + δhi (Y>Ti)
maxCi = αliL3 + βliL2 + γliL + δli (Y<Ti) (15)
(15)式の関数に基づき実施例２と同様に各色相および輝度に対する最大彩度値が補間演算により算出される。
上記構成により、量子化のビット精度を上回る信号に対して圧縮変換を行うため、色相，彩度の変化を緩和でき自然な色再現が得られる。また、ホワイトバランス後の処理系のビット精度を増加する必要が無く、システムを低コストで実現できる。さらに、変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では線形に変換することで正しい色再現を可能とし、変曲点以上では非線形に変換することで違和感の少ない色再現を可能とし、全体として高品位な信号の生成が可能となる。また、輝度信号と色信号を独立して操作できるため、絵作りに関する自由度が高まる。CMS処理は変換テーブルで行うため、変換の精度とコストの調整を行うことが可能で、設計の自由度が高まる。さらに、輝度信号の変化に対して、色信号を色空間の最大彩度値に対する比率を一定となるよう補正するため自然な色再現が得られる。また、現状の撮影部との親和性が高く、多くの撮像部への適用が可能となる。
maxCi = αliL3 + βliL2 + γliL + δli (Y<Ti) (15)
(15)式の関数に基づき実施例２と同様に各色相および輝度に対する最大彩度値が補間演算により算出される。
上記構成により、量子化のビット精度を上回る信号に対して圧縮変換を行うため、色相，彩度の変化を緩和でき自然な色再現が得られる。また、ホワイトバランス後の処理系のビット精度を増加する必要が無く、システムを低コストで実現できる。さらに、変曲点以下と以上で異なる変換特性を設定するため、変曲点以下では線形に変換することで正しい色再現を可能とし、変曲点以上では非線形に変換することで違和感の少ない色再現を可能とし、全体として高品位な信号の生成が可能となる。また、輝度信号と色信号を独立して操作できるため、絵作りに関する自由度が高まる。CMS処理は変換テーブルで行うため、変換の精度とコストの調整を行うことが可能で、設計の自由度が高まる。さらに、輝度信号の変化に対して、色信号を色空間の最大彩度値に対する比率を一定となるよう補正するため自然な色再現が得られる。また、現状の撮影部との親和性が高く、多くの撮像部への適用が可能となる。
なお、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からの信号を未処理のままのRawデータとして、制御部116Bからホワイトバランス係数などの撮像条件に関する付随情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図２５は、本発明の実施例３における信号処理のソフトウェア処理に関するフローを示す。なお、図１８に示す本発明実施例２における信号処理のフローと同一な処理ステップに関しては、同一のステップ符号を割り当てている。
ステップＳ1にて、信号とホワイトバランス係数などのヘッダ情報を読み込む。ステップＳ2にて、信号にホワイトバランス処理を行う。ステップＳ3にて、図４(c)に示される変換特性にて信号を圧縮変換する。ステップＳ20にて、(14)，(2)式に基づきRGB信号へ変換する。ステップＳ4にて、補間処理がなされて三板の信号が算出される。ステップＳ10にて、テーブルを用いることでCIE Lab色空間の信号に変換される。ステップＳ11にて、図２３(c)に示される変換特性にて輝度信号を変換する。ステップＳ12にて、輝度信号に公知のエッジ強調処理を行う。ステップＳ13にて、色信号から(7)式に基づき色相，彩度信号を求め、(13)式に示す補正係数を乗算することで彩度信号を補正する。ステップＳ14にて、彩度信号に公知の彩度強調処理を行う。ステップＳ15にて、輝度，彩度，色相信号からRGB信号を(8)，(5)，(6)式に基づき算出する。ステップＳ16にて、公知の圧縮処理が行われる。ステップＳ6にて、処理後の信号が出力され終了する。
以上述べたように本発明によれば、カラー撮影する際の撮像素子のダイナミックの限界や、デジタル変換後のホワイトバランス処理で規定のビット数を超えることにより、色相や彩度が変化して不自然な画像を生じる不具合を軽減して、それらの変化を目立たなくすることができる。
本発明は、撮像系のダイナミックレンジ幅の制限やホワイトバランス処理でのビット精度の逸脱に起因する高輝度，高彩度域の色相，彩度の変化に対し、その変化を目立たなくして高品位な画像を得ることが必要な撮像処理システムに広く利用することが可能である。
１０１…絞り
１０２…カラーフィルタ
１０３…ＣＣＤ（撮像素子）
１０４…利得制御増幅器
１０５…Ａ／Ｄ変換器（量子化手段）
１０７…プリホワイトバランス部
１０８…測光評価部
１１１…ホワイトバランス部
１１２，１１２Ａ…圧縮変換部（圧縮変換手段）
４００，４００Ａ…カラーマネジメントシステム部
代理人 弁理士 伊 藤 進
１０２…カラーフィルタ
１０３…ＣＣＤ（撮像素子）
１０４…利得制御増幅器
１０５…Ａ／Ｄ変換器（量子化手段）
１０７…プリホワイトバランス部
１０８…測光評価部
１１１…ホワイトバランス部
１１２，１１２Ａ…圧縮変換部（圧縮変換手段）
４００，４００Ａ…カラーマネジメントシステム部
代理人 弁理士 伊 藤 進
Claims (26)
- カラー撮像素子からの信号を処理する撮像システムにおいて、
白色の被写体が設定値となるよう露出制御を行う露出制御手段と、
上記カラー撮像素子からの信号を所定のビット精度で量子化する量子化手段と、
上記量子化手段で量子化された信号にビット精度を増加してホワイトバランス処理を行うホワイトバランス手段と、
上記ホワイトバランス手段でホワイトバランス処理された信号の階調特性を圧縮変換することにより、上記ホワイトバランス手段にて増加されたビット精度を増加前のビット精度以下に変換する圧縮変換手段と、
を有し、
上記圧縮変換手段は、圧縮変換に関わる階調変換特性を上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき決定する階調変換部と、
上記階調変換特性に基づき階調特性の圧縮変換を行う手段と、
を有することを特徴とする撮像システム。 - 請求項１における階調変換部は、
上記露出制御手段で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手段と、
上記変曲点以下の信号を変換する第１の変換特性と上記変曲点以上の信号を変換する第２の変換特性を設定する変換特性設定手段と、
を有し、
上記第２の変換特性を上記量子化手段で用いられる所定のビット精度および上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき設定することを特徴とする撮像システム。 - 請求項２における変換特性設定手段は、
上記第１の変換特性を線形に設定し、
上記第２の変換特性を上記量子化手段で用いられる所定のビット精度および上記ホワイトバランス手段で用いられるホワイトバランス係数に基づき非線形に設定する
ことを特徴とする撮像システム。 - 請求項１における階調変換部は、
上記ホワイトバランス手段で用いられるホワイトバランス係数に基づきゲインを設定するゲイン設定手段と、
上記ゲイン設定手段で設定されたゲインを上記ホワイトバランス手段でホワイトバランス処理された信号に乗算するゲイン乗算手段と、
を有することを特徴とする撮像システム。 - 請求項１における撮像システムは、
上記圧縮変換手段で変換された信号を輝度および色信号からなる色空間へ変換する色空間変換手段
を有することを特徴とする撮像システム。 - 請求項５における色空間変換手段は、
上記圧縮変換手段で変換された信号に対しマトリックス演算を行うマトリックス演算手段
を有することを特徴とする撮像システム。 - 請求項５における色空間変換手段は、
上記圧縮変換手段で変換された信号に対しマトリックス演算を行うマトリックス演算手段と、
上記マトリックス演算手段で処理された信号に対し非線形の変換処理を行う非線形関数手段と、
を有することを特徴とする撮像システム。 - 請求項５における色空間変換手段は、
所定間隔の入力信号に対する輝度および色信号値を記録した変換テーブルと、
上記変換テーブルに記録された輝度および色信号値に基づき上記圧縮変換手段で変換された信号に対し輝度および色信号値を算出する補間手段と、
を有することを特徴とする撮像システム。 - 請求項５における撮像システムは、
上記色空間変換手段で得られた輝度信号を階調変換する輝度信号変換手段と、
上記色空間変換手段で得られた輝度信号および上記輝度信号変換手段で階調変換された輝度信号および上記色空間の最大彩度値に基づき上記色信号を補正する補正手段と、
を更に有することを特徴とする撮像システム。 - 請求項９における輝度信号変換手段は、
所定の変換特性を記録した変換特性記録手段と、
上記露出制御手段で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手段と、
上記変曲点以下の輝度信号を変換する第１の変換特性と上記変曲点以上の輝度信号を変換する第２の変換特性を設定する変換特性設定手段と、
上記変換特性記録手段に記録された特性および上記変換特性設定手段で設定された特性を合成する合成手段と、
上記合成手段で合成された特性に基づき上記色空間変換手段で得られた輝度信号を変換する変換手段と、
を有することを特徴とする撮像システム。 - 請求項１０における変換特性設定手段は、
上記第１の変換特性を線形に設定し、
上記第２の変換特性を非線形に設定する
ことを特徴とする撮像システム。 - 請求項９における輝度信号変換手段は、
所定の変換特性を記録した変換特性記録手段と、
上記変換特性記録手段に記録された特性に基づき上記色空間変換手段で得られた輝度信号を変換する変換手段と、
を有することを特徴とする撮像システム。 - 請求項９における補正手段は、
上記色空間変換手段で得られた色信号から色相および彩度信号を算出する色相彩度算出手段と、
上記色空間変換手段で得られた輝度信号および上記色相彩度算出手段で得られた色相信号に対する第１の最大彩度値と上記輝度信号変換手段により変換された輝度信号および上記色相彩度算出手段で得られた色相信号に対する第２の最大彩度値を算出する最大彩度算出手段と、
上記第１の最大彩度値と上記第２の最大彩度値に基づいて上記色相彩度算出手段で得られた彩度信号に関する補正を行う彩度補正手段と、
を有することを特徴とする撮像システム。 - 請求項１３における彩度補正手段は、
上記輝度信号変換手段により変換された輝度信号に基づき上記色相彩度算出手段で得られた彩度信号を抑制するクロマサプレス手段
を更に有する特徴とする撮像システム。 - 請求項１におけるカラー撮像素子は、
Ｒ（赤），Ｇ（緑），Ｂ（青）Bayer型原色フィルタを前面に配置した単板撮像素子またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であること
を特徴とする撮像システム。 - 請求項５における色空間変換手段は、
色空間としてYCbCr色空間、CIE Lab色空間、CIE Luv色空間のいずれかを用いる
ことを特徴とする撮像システム。 - コンピュータに、
白色の被写体が設定値となるよう露出制御を行う露出制御手順と、
カラー撮像素子からの信号を所定のビット精度で量子化する量子化手順と、
上記量子化手順で量子化された信号にビット精度を増加してホワイトバランス処理を行うホワイトバランス手順と、
上記ホワイトバランス処理でホワイトバランス処理された信号の階調特性を圧縮変換することにより、上記ホワイトバランス手順にて増加されたビット精度を増加前のビット精度以下に変換する圧縮変換手順と、
を実行させるものであって、
上記圧縮変換手順は、圧縮変換の関わる階調変換特性を上記ホワイトバランス手順で用いられるホワイトバランス係数に基づき決定する階調変換部手順と
上記階調変換特性に基づき階調特性の圧縮変換を行う手順と、
を有することを特徴とする撮像処理プログラム。 - 請求項１７における圧縮変換手順は、
上記露出制御手順で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手順と、
上記変曲点以下の信号を変換する第１の変換特性と上記変曲点以上の信号を変換する第２の変換特性を設定する変換特性設定手順と、
を有し、
上記第２の変換特性を上記量子化手順で用いられる所定のビット精度および上記ホワイトバランス手順で用いられるホワイトバランス係数に基づき設定する
ことを特徴とする撮像処理プログラム。 - 請求項１８における変換特性設定手順は、
上記第１の変換特性を線形に設定し、
上記第２の変換特性を上記量子化手順で用いられる所定のビット精度および上記ホワイ
トバランス手順で用いられるホワイトバランス係数に基づき非線形に設定する
ことを特徴とする撮像処理プログラム。 - 請求項１７における圧縮変換手順は、
上記ホワイトバランス手順で用いられるホワイトバランス係数に基づきゲインを設定するゲイン設定手順と、
上記ゲイン設定手順で設定されたゲインを上記ホワイトバランス手順でホワイトバランス処理された信号に乗算するゲイン乗算手順と、
を有することを特徴とする撮像処理プログラム。 - 請求項１７における撮像処理プログラムは、
上記圧縮変換手順で変換された信号を輝度および色信号からなる色空間へ変換する色空間変換手順
を更に有することを特徴とする撮像処理プログラム。 - 請求項２１における撮像処理プログラムは、
上記色空間変換手順で得られた輝度信号を階調変換する輝度信号変換手順と、
上記色空間変換手順で得られた輝度信号および上記輝度信号変換手順で階調変換された輝度信号および上記色空間の最大彩度値に基づき上記色信号を補正する補正手順と、
を更に有することを特徴とする撮像処理プログラム。 - 請求項２２における輝度信号変換手順は、
所定の変換特性を記録した変換特性記録手順と、
上記露出制御手順で設定される白色の被写体に対する設定値に基づき変曲点を設定する変曲点設定手順と、
上記変曲点以下の輝度信号を変換する第１の変換特性と上記変曲点以上の輝度信号を変換する第２の変換特性を設定する変換特性設定手順と、
上記変換特性記録手順に記録された特性および上記変換特性設定手順で設定された特性を合成する合成手順と、
上記合成手順で合成された特性に基づき上記色空間変換手順で得られた輝度信号を変換する変換手順と、
を有することを特徴とする撮像処理プログラム。 - 請求項２３における変換特性設定手順は、
上記第１の変換特性を線形に設定し、
上記第２の変換特性を非線形に設定する
ことを特徴とする撮像処理プログラム。 - 請求項２２における輝度信号変換手順は、
所定の変換特性を記録した変換特性記録手順と、
上記変換特性記録手順に記録された特性に基づき上記色空間変換手順で得られた輝度信号を変換する変換手順と、
を有することを特徴とする撮像処理プログラム。 - 請求項２２における補正手順は、
上記色空間変換手順で得られた色信号から色相および彩度信号を算出する色相彩度算出手順と、
上記色空間変換手順で得られた輝度信号および上記色相彩度算出手順で得られた色相信号に対する第１の最大彩度値と上記輝度信号変換手順により変換された輝度信号および上記色相彩度算出手順で得られた色相信号に対する第２の最大彩度値を算出する最大彩度算出手順と、
上記第１の最大彩度値と上記第２の最大彩度値に基づいて上記色相彩度算出手順で得られた彩度信号に関する補正を行う彩度補正手順と、
を有することを特徴とする撮像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004332200A JP4767525B2 (ja) | 2004-11-16 | 2004-11-16 | 撮像システム及び撮像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004332200A JP4767525B2 (ja) | 2004-11-16 | 2004-11-16 | 撮像システム及び撮像処理プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2006148248A JP2006148248A (ja) | 2006-06-08 |
| JP2006148248A5 JP2006148248A5 (ja) | 2008-01-10 |
| JP4767525B2 true JP4767525B2 (ja) | 2011-09-07 |
Family
ID=36627461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004332200A Expired - Fee Related JP4767525B2 (ja) | 2004-11-16 | 2004-11-16 | 撮像システム及び撮像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4767525B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5018770B2 (ja) * | 2006-03-20 | 2012-09-05 | ソニー株式会社 | 画像信号処理装置及び画像信号処理方法 |
| JP4916341B2 (ja) | 2007-02-28 | 2012-04-11 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
| JP5034003B2 (ja) | 2007-06-25 | 2012-09-26 | オリンパス株式会社 | 画像処理装置 |
| JP5183568B2 (ja) | 2009-05-21 | 2013-04-17 | キヤノン株式会社 | 画像処理装置及び方法、及びプログラムを記録した記憶媒体 |
| JP6242157B2 (ja) * | 2013-10-30 | 2017-12-06 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
| WO2019188396A1 (ja) * | 2018-03-30 | 2019-10-03 | ソニー株式会社 | 撮像装置および方法、画像処理装置および方法、並びに、撮像素子 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000354250A (ja) * | 1999-06-11 | 2000-12-19 | Ricoh Co Ltd | 撮像装置 |
| JP3967510B2 (ja) * | 1999-12-28 | 2007-08-29 | 富士フイルム株式会社 | ディジタルカメラ |
| JP4323105B2 (ja) * | 2001-03-16 | 2009-09-02 | オリンパス株式会社 | 撮像装置 |
| JP4153715B2 (ja) * | 2002-04-08 | 2008-09-24 | 松下電器産業株式会社 | 映像信号処理装置及び映像信号処理方法 |
| JP3995524B2 (ja) * | 2002-05-16 | 2007-10-24 | 富士フイルム株式会社 | ニー補正回路及び撮像装置 |
| JP2004072196A (ja) * | 2002-08-01 | 2004-03-04 | Fuji Photo Film Co Ltd | 撮像装置および画像信号処理方法 |
| JP3914168B2 (ja) * | 2003-04-08 | 2007-05-16 | オリンパス株式会社 | 撮像システム、画像処理プログラム |
-
2004
- 2004-11-16 JP JP2004332200A patent/JP4767525B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006148248A (ja) | 2006-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4837365B2 (ja) | 画像処理システム、画像処理プログラム | |
| US7830398B2 (en) | Image input unit and image input method | |
| JP5034003B2 (ja) | 画像処理装置 | |
| JP3914168B2 (ja) | 撮像システム、画像処理プログラム | |
| JP2003284084A (ja) | 画像処理装置および方法、並びに画像処理装置の製造方法 | |
| JP4466378B2 (ja) | 履歴付加装置、電子カメラ、および画像処理プログラム | |
| JP2007259344A (ja) | 撮像装置および画像処理方法 | |
| JP6974156B2 (ja) | 画像色変換装置、画像色変換プログラム、画像色変換方法 | |
| JP2012165204A (ja) | 信号処理装置、信号処理方法、撮像装置及び撮像処理方法 | |
| JP2005354372A (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム | |
| US20180197282A1 (en) | Method and device for producing a digital image | |
| US7327876B2 (en) | Image processing device | |
| JP5552795B2 (ja) | 撮像装置、画像処理装置およびプログラム | |
| JP4767525B2 (ja) | 撮像システム及び撮像処理プログラム | |
| KR100595251B1 (ko) | 디스플레이 장치의 색재현 장치 및 방법 | |
| JP2008219198A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2006333113A (ja) | 撮像装置 | |
| JP2010124114A (ja) | デジタルカメラおよび画像データ処理プログラム | |
| JP4479429B2 (ja) | 撮像装置 | |
| JP2010136059A (ja) | ノイズ除去フィルタ処理回路、画像処理回路、撮像装置及びノイズ除去プログラム | |
| JP2009081526A (ja) | 撮像装置 | |
| JP6318497B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP5056006B2 (ja) | 撮像装置およびプログラム | |
| JP4720130B2 (ja) | 撮像装置 | |
| JP2006203430A (ja) | 画像処理装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110615 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4767525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |