JP3940696B2 - Highlight suppression image capturing device - Google Patents
Highlight suppression image capturing device Download PDFInfo
- Publication number
- JP3940696B2 JP3940696B2 JP2003125020A JP2003125020A JP3940696B2 JP 3940696 B2 JP3940696 B2 JP 3940696B2 JP 2003125020 A JP2003125020 A JP 2003125020A JP 2003125020 A JP2003125020 A JP 2003125020A JP 3940696 B2 JP3940696 B2 JP 3940696B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- highlight
- signal
- suppression
- active filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000001629 suppression Effects 0.000 title claims description 428
- 238000003384 imaging method Methods 0.000 claims description 74
- 230000003287 optical effect Effects 0.000 claims description 74
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 41
- 230000035945 sensitivity Effects 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 29
- 238000003331 infrared imaging Methods 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 206010034960 Photophobia Diseases 0.000 claims description 3
- 208000013469 light sensitivity Diseases 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 238000009825 accumulation Methods 0.000 description 16
- 239000004973 liquid crystal related substance Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 6
- 230000002411 adverse Effects 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、所望の撮影対象の映像を撮影する３ＣＣＤカメラや単板式ＣＣＤカメラ等の撮影装置に関し、特に、宇宙空間の太陽光やその周囲の暗い部分，夜間の道路周辺画像とヘッドライトの明るい部分等の撮影の対象に対して、全体の良質な画像を得ようとする撮影装置に関する。
より詳しくは、夜間や暗所での自動車等のヘッドライト映像や、宇宙空間でのラチチュードの広い映像やハイコントラスト映像のようにハイライトの影響が画像全体に悪影響を与える映像について、光が撮像素子に到達する前に光学的，電子的にハイライト成分を取り除くことにより、あるいは抑制することにより、暗い部分を犠牲にせずに、画像中の特に明るい部分を取り除き、あるいは後に回復できるように適切に抑制し、画像内の暗い部分をハイライトの影響を受けることなく上質の画像として取得できるようにしたハイライト抑制画像撮影装置に関する。
【０００２】
【従来の技術】
一般に、３ＣＣＤ（3 Charge Coupled Device：３板式）カメラや単板式ＣＣＤカメラ等によるビデオ映像の撮影や静止画像の撮影において、ラチチュード（latitude：明暗差の範囲）の広い画像や強烈なハイライト部分を持つ特殊画像を撮影すると、ハレーション等によって画質が著しく低下する問題があった。
例えば宇宙空間でのビデオ撮影におけるように、明暗のコントラストが強い対象を撮影しようとする場合、太陽を視野に入れて、太陽に露出を合わせれば、太陽しか写らなくなり、周囲も写るように露出を合わせれば、太陽光の影響で他の部分にはハレーションが生じて画質が劣化してしまう。また、夜間に道路などをビデオカメラで撮影すると自動車のヘッドライトのみが強く写ってしまい、他の部分にも光学的，電子的な影響を与えてしまい、画像全体の質が低下してしまう。
【０００３】
ここで、従来のカメラやビデオカメラ，ディジタルカメラ等においては、ガンマ特性を非線形にして飽和させるなどしてピーク部分を電子的にカットすることでハイライトを抑制する方法が採られていた（例えば、特許文献１−３参照。）。
このような電子的な処理によってハイライトを押さえることはある程度可能であり、見かけ上はハイライトを押さえた画像を取得することができた。
【０００４】
【特許文献１】
特開平５−２４４６２３号公報（第２−３頁、第７図）
【特許文献２】
特開平６−２３３３１０号公報（第２頁、第３図）
【特許文献３】
特開平８−１４９３７８号公報（第２頁、第５図）
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の方法では、電子的処理は映像光が撮像面に到達した後に行われるようになっており、撮像面は光の散乱によるハレーションやかぶり等、画質を下げる光学的な悪影響を既に受けており、その影響を取り去ることはできなかった。このため、従来方法の電子的処理のみでは、ハイライト画像の問題を根本的に解決することにはならなかった。
また、一般のカメラでは、画像全体の感度がハイライト部分の明るさで決定されてしまうことから、暗い部分のＳ／Ｎ(信号対雑音比：画質を評価する指標となる値)が著しく落ちることになり、暗い部分の画質が低下することが避けられないという問題もあった。
また、特に夜間の道路などでの撮影においては、ヘッドライトの明るい部分を飽和させて、暗い側に露出を合わせたとしても、特にヘッドライトの周囲では光の散乱によるハレーションの問題が生じて、画質が低下してしまう。
自動車等のヘッドライト部分は撮像素子の特性から出力が飽和し、いったん飽和した画像信号を後に処理しても改善は微小にとどまらざるを得ず、明るい部分の画像情報量の極端な低下が避けられないという問題もあった。
このように、従来提案されている方法では、自動車のヘッドライトによる光学的散乱等の悪影響を電子的処理することによってある程度緩和できるとしても、本質的にこれらの弊害を取り除くことは不可能であった。
【０００６】
本発明は、このような従来の技術が有する問題を解決するために提案されたものであり、ラチチュードの広い映像や強烈なハイライト部分を持つ映像について、光が撮像素子に到達する前に光学的，電子的にハイライト成分を取り除き、抑制することを可能とし、ハイライトの影響を根本的，本質的に抑制，除去して、ハイライト部分の情報をできるだけ保存しつつ、上質の画像を取得することができるハイライト抑制画像撮影装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明のハイライト抑制画像撮影装置は、請求項１に記載するように、光学レンズ系を備えたカメラ部と、光学レンズ系を介して結像する被写体の結像面近傍に備えられる、透過光量を制御可能なアクティブフィルタ部と、アクティブフィルタ部を透過する透過光の光量を検出する光感知手段と、光感知手段で検出される光量が所定の基準値となるようアクティブフィルタ部の透過光量を抑制するハイライト抑制信号を生成するハイライト抑制信号生成部と、を備え、このアクティブフィルタ部の透過光量を抑制するハイライト抑制信号を画像信号として出力する構成としてある。
また、本発明のハイライト抑制画像撮影装置は、請求項２に記載するように、ハイライト抑制信号生成部が、カメラ部から出力される一又は二以上の色チャンネルの映像出力のうち、少なくとも一の色チャンネルからの映像出力に基づき（又は請求項７に記載するように専用のチャンネルの映像出力に基づき）、ハイライト抑制信号を生成し、このハイライト抑制信号に基づいて、アクティブフィルタ部が各色チャンネルの撮像素子への透過光量を光学的に制御し、カメラ部で取得される映像が、アクティブフィルタ部を透過して、各色チャンネルの撮像素子で撮像されて、光学的にハイライトが抑制されたハイライト抑制画像として出力される構成とすることができる。
そして、請求項３に記載するように、ハイライト抑制信号に基づいて生成されたハイライト抑制画像のうち、ハイライト部分は光感知手段で検出される光量が所定の基準値となるようアクティブフィルタ部の透過光量を抑制するハイライト抑制信号から画像信号が生成され、ローライト部分はアクティブフィルタ部を透過して、各色チャンネルの撮像素子で撮像されることにより画像信号が生成され、各画像信号が合成されることにより、最終のハイライト抑制画像として出力される構成とすることができる。
特に、請求項４に記載するように、アクティブフィルタ部が、ハイライト抑制信号により、各色チャンネルの結像面の各部分への透過光量を、所定の画素単位又は所定の画像領域単位で光学的に制御する構成とすることが好ましい。
【０００８】
このような構成からなる本発明のハイライト抑制画像撮影装置によれば、例えば、所望の映像を赤，緑，青の三色の各チャンネルで画像取得可能なカラーカメラ（例えば３ＣＣＤカメラや単板式ＣＣＤカメラ）を備える場合に、３種類の映像出力のうち、例えば青チャンネルの出力を用いてヒストグラムを生成するなどして、取得画像からハイライト部分を抽出してハイライト抑制信号を生成することができる。なお、青チャンネルからハイライト抑制信号を生成するのは、一般に青チャネルが最もハイライトの影響が少ないからであり、他の色チャンネルでも良く、あるいはＲＧＢの合成である明るさ信号からでも良いことは勿論である。
そして、一又は二以上の各色チャンネルからハイライト抑制信号を生成し、その抑制信号で、該当する色チャンネルでの出力が決められた値になるまで抑制し、その抑制量を取り出して新たな画像信号とすることができる。具体的には、ハイライト抑制画像出力のヒストグラムがほぼフラットになるまで抑制をし、その抑制量を新たな画像信号とする。そして、これを、例えばＲＧＢの各色チャンネルで実行することで、ＲＧＢの新たな画像信号を取り出すことができることになる。このとき抑制されたこれまでの画像信号と呼ばれるものは画像の情報を失うことになる。そして、入力光の強さは撮像面（ＣＣＤ面）で均一化され、画像の情報は抑制量を示すハイライト抑制信号が受け持つことになる。
このようにして、本発明では、ＣＣＤからなる撮像素子ではなく、透過光量をコントロールするアクティブフィルタ部で、所望のハイライト抑制画像を生成することもできるようになる。
また、ハイライト抑制信号を赤・緑チャンネルの画像生成用のハイライト抑制信号として使用し、光学系の結像面近くに設置したアクティブフィルタ部を制御することができる。アクティブフィルタは、例えば液晶パネル等で構成でき、透過光量を画素単位で制御可能な光学フィルタとして（更には請求項１５に記載するように光学シャッタとして）用いることで、ハイライト抑制信号によって液晶フィルタ上に抑制部分の領域を生成し、例えば、赤・緑チャンネル画像のハイライト部分に相当する部分を光学的に抑制してハイライトを抑えた画像を生成できる。
【０００９】
これにより、ハイライト部分を有する映像のハイライト部分は、撮像面に到達する前にアクティブフィルタ部で光学的に抑制されことになり、映像の部分がハイライトの影響を受けることなく、上質のハイライト抑制画像として取得できるようになる。
勿論、アクティブフィルタ部による光学的抑制はハイライト部分のみに限られない。例えば、請求項８〜１０に記載するように、アクティブフィルタ部による光学的抑制を、ハイライト側で強く、ローライト側で弱く、画像全体に階調的に抑制をかけることで、ラチチュードの広い対象を受け入れ、相対的にローライト側を持ち上げることができる。その結果、ローライト側のノイズも抑制できることになる。また、このようにすると、ハイライト部分を飽和させないことも可能となることから、画像の情報量をかなりの程度保存できることになる。
【００１０】
そして、請求項５に記載のハイライト抑制画像撮影装置では、アクティブフィルタ部が、カメラ部の結像面近傍に備えられる構成としてある。
このように、本発明のハイライト抑制画像撮影装置では、液晶等からなるアクティブフィルタをカメラ部の撮像面の直前に設置して使用することができる。
一般に、３ＣＣＤや単板式ＣＣＤ等のカメラにおいては撮像面が結像面である。従って、アクティブフィルタを撮像面（結像面）の直前に位置させることで、画素単位の自動光学フィルタとして作用させることができ、上述した本発明による優れた効果を得ることができる。
なお、カラー画像を得る場合には、各色チャンネルに対応してアクティブフィルタは複数備えることができる。また、アクティブフィルタの設置位置は、カメラの構造上、結像面に一致させることができない場合もあるが、結像面から微少距離前方にずれる場合には、フィルタ効果の周囲のボケとして作用するので、結果的にフィルタ構造の陰をぼかすことになり、好ましい。
【００１１】
一方、請求項６に記載のハイライト抑制画像撮影装置では、カメラ部が、レンズ光学系内に結像面を備え、アクティブフィルタ部が、レンズ光学系内の結像面近傍に備えられる構成としてある。
このように、本発明のハイライト抑制画像撮影装置では、アクティブフィルタをカメラのレンズ部分に備えることができる。
一般に、カメラの撮像面以外に結像面を作ることは可能であり、例えばカメラのレンズ系の中の空間に一度結像させて、それを撮像面で再結像させることでこれを実現することができる。この場合、アクティブフィルタはレンズ内の一個の結像面に対して一個備えられれば良いことになる。このようにして、レンズ系の結像空間にアクティブフィルタを設置することで、アクティブフィルタを設置したレンズを装着することで、カメラ本体の構造を変更することなく、レンズの交換のみで本発明のハイライト抑制画像撮影装置を実現できるようになる。
【００１２】
また、請求項７に記載のハイライト抑制画像撮影装置では、カメラ部が、所望の映像を取得する画像取得チャンネル部と、ハイライト抑制信号生成用の映像を取得する、画像取得チャンネル部と異なる専用チャンネル部を備え、ハイライト抑制信号生成部が、画像取得チャンネル部で得られる映像と対応する、専用チャンネル部で取得される映像出力に基づきハイライト抑制信号を生成する構成としてある。
このように、本発明のハイライト抑制画像撮影装置では、所望の映像取得用の画像取得チャンネル部（例えば主カメラ部）と、ハイライト抑制信号用の専用チャンネル部（専用カメラ部）とを別々に設けることができる。例えば、映像取得用のカラーカメラ部と、ハイライト抑制信号を生成するための専用独立チャンネル部とを設置し、主カメラ画像出力と専用チャンネル画像出力はその出力画像の対応関係をとっておく。そして、専用チャンネルの出力のヒストグラムを生成するなどして、専用チャンネルの画像からハイライト部分を抽出し、抽出された信号からハイライト抑制信号を生成することができる。
このように、映像取得用とハイライト抑制信号用のチャンネルを別々に設けることによって、例えば映像取得用のＲＧＢ（赤・緑・青）三色のチャンネルの特定のチャンネルを抑制信号生成のために使う必要がなくなり、ＲＧＢの各チャンネルすべてに対して、光学的なハイライト抑制効果を施すことができ、より完全なハイライト抑制画像を得ることが可能となる。
【００１３】
また、請求項８に記載のハイライト抑制画像撮影装置では、ハイライト抑制信号に基づき、カメラ部からの映像出力を電子的に抑制する電子制御部を備え、カメラ部で取得される映像出力が、アクティブフィルタを介して光学的にハイライト抑制されるとともに、電子的にハイライト抑制されたハイライト抑制画像として出力される構成としてある。
このように、本発明では、カメラ部の映像出力から生成したハイライト抑制信号に基づき、アクティブフィルタを介して光学的なハイライト抑制を行うだけでなく、電子的なハイライト抑制を行うことができる。
【００１４】
例えば、青色チャンネルの画像からハイライト抑制信号を生成した場合に、そのハイライト抑制信号を用いて、まず光学的に青色画像のハイライトを信号の飽和点近くまで抑制し、次に、このハイライト抑制信号で青色画像自身を電子的に制御して青色のハイライト抑制画像を電子的に取得することができる。そして、電子制御された青色のハイライト抑制画像を、アクティブフィルタで光学的に制御された他の色チャンネル画像と合成することで、画像出力部から正常な色再現をされたカラー画像を出力することが可能となる。電子的制御のみではある程度の画質の劣化があるが、抑制信号を生成する青色チャンネル自身にもアクティブフィルタを設置するなどして、光学的抑制と電子的抑制を組み合わせることで、アクティブフィルタを介して光学的に制御された他の色と三色合成された画像全体で見れば十分に実用的なものとなる。
このようにして、光学的制御と電子的制御との組み合わせによりハイライト部分を抑制することで、ハイライト抑制信号生成用のチャンネル（例えば青色チャンネル）についても、他のチャンネルと同様にハイライト抑制することができ、より高画質なハイライト抑制画像を出力することができるようになる。
【００１５】
また、請求項９に記載のハイライト抑制画像撮影装置では、ハイライト抑制信号生成部が、階調を示す非二値のハイライト抑制信号を生成し、カメラ部で取得される映像出力が、非二値のハイライト抑制信号により、アクティブフィルタ部を介して、ハイライト側で強く、ローライト側で弱く、階調的にハイライト抑制されたハイライト抑制画像として出力される構成としてある。
特に、請求項１０に記載するように、階調を示す非二値のハイライト抑制信号に基づき、復元信号を生成する復元信号生成部を備え、アクティブフィルタ部を介して階調的にハイライト抑制されたハイライト抑制画像が、元の映像の階調に復元されて出力される構成とすることが好ましい。
このような構成とすることにより、本発明のハイライト抑制画像撮影装置では、取得画像をハイライト抑制するハイライト抑制信号を、単なる二値信号（High又はLow）ではない、カメラ部で取得される映像の階調を示すハイライト側で強く、ローライト側で弱い、非二値信号として生成して、ハイライト抑制画像を取得することができる。
【００１６】
例えば、ハイライト抑制信号生成部において、映像光の強度（ハイライト度）に比例して光学的に抑制を強める特性を持つハイライト抑制信号を生成し、このハイライト抑制信号をアクティブフィルタ部に入力することで、ローライト側が強調され、ハイライト側の抑制が効いた、ハイライト抑制のコントラストが弱い階調の中間画像を生成することができる。そして、復元信号生成部において、階調特性を持つハイライト抑制信号から直接的に復元信号を生成し、この復元信号を用いて中間画像を元の映像の階調に復元することで、カメラ部で取得される映像本来の階調を持つ出力画像が得られるようになる。
一方、ハイライト抑制信号の基となる映像（例えば青チャンネル映像）については、上述したように、光学的な抑制と電子的な制御をも取り入れ、ハイライトを抑制して中間画像を生成することができ、復元された他チャンネルの階調画像とハイライト抑制の整合をとることができる。
これにより、例えば赤チャンネル及び緑チャンネルについては光学的抑制を使用し、青チャンネルについては電子的抑制のみ（又は主として電子的抑制、従として光学的抑制）を使用して、ハイライト抑制された各チャンネルの画像を合成し、最終的なハイライト抑制画像を得ることができる。なお、光学的抑制は共通のハイライト抑制信号による場合以外にも、請求項１７に記載するように、各チャンネル独自に行っても良く、それらを整合して合成すれば、正しい画像信号が出力されることは言うまでもない。
【００１７】
非二値信号からなるハイライト抑制信号を使用して光学的にハイライト抑制し、さらに階調を復元した映像は、単に電子的にハイライト抑制した映像と比較して、光学的散乱の影響を防止でき、また、撮像素子（ＣＣＤ）をノイズの少ない条件で使用でき、ラチチュードが広く、ダイナミックレンジの広い、より上質の画質を得ることが可能となる。さらに、非二値信号からなるハイライト抑制信号を、そのまま元の階調を復元するための復元信号として使用することで、ハイライト抑制信号の直線性が悪い場合でも、また非線形であっても、復元された信号に非線形ひずみは生じにくくなる。
このようにして、本発明では、ハイライト抑制信号として画像の階調を示す非二値信号を使用して光学的に抑制画像を取得し、さらに、二値信号から得られる復元信号によって抑制画像を電子的に元のラチチュードに復元することで、ノイズ等の影響の少ない上質の画質で、最終的にハイライト抑制のない正常な階調の画像や、ハイライトの抑制度合い調節した画像を得ることができる。
【００１８】
また、請求項１１に記載するように、本発明のハイライト抑制画像撮影装置は、カメラ部が、長波長側で赤外線感度を有する赤外線撮像素子と、赤外線撮像素子の可視光感度をカットする光学フィルタと、可視光感度を有する可視光撮像素子を備え、ハイライト抑制信号生成部が、カメラ部から出力される可視光の映像出力に基づいてハイライト抑制信号を生成し、カメラ部で取得される映像出力が、可視光映像に基づくハイライト抑制信号により赤外線映像の透過特性が制御されたアクティブフィルタ部を介して、ハイライト抑制された赤外線画像として出力される構成とすることができる。
このような構成とすることにより、本発明のハイライト抑制画像撮影装置を赤外線カメラとして使用することができる。
【００１９】
一般に、強いハイライト部分を有する映像のハイライト抑制は、特に夜間の道路撮影などで必要となる。そして、夜間や暗所の撮影には、しばしば赤外線撮影が行われることがある。このため、赤外線のハイライト抑制を実現する必要がある。ここで、近赤外映像と可視光映像とは、通常、ハイライトの部位は大きく異ならない。また、ＣＣＤ撮影素子は、赤外線に一定の感度を有していることが認められている。そこで、本発明では、このようなＣＣＤ撮影素子の感度特性を利用し、赤外線画像のハイライト抑制が可能な撮影装置を実現している。
例えば、近赤外に一定の感度を有する赤色チャンネルについて可視光部分を別の光学フィルタでカットして赤外線カメラとして使用する。一方、青又は緑チャンネル画像からはハイライト抑制信号を生成する。そして、このハイライト抑制信号をアクティブフィルタに送ることで、ハイライトが抑制された赤外線画像を取得することができる。
このようにして、本発明では、自動車のヘッドライト等で画質が低下する夜間映像のハイライト抑制に好適な赤外線対応型の撮影装置を実現することができる。
【００２０】
また、請求項１２に記載するように、本発明のハイライト抑制画像撮影装置では、アクティブフィルタ部が、カメラ部の撮像素子と一体化された複合素子として備えられる構成としてある。
このように本発明では、アクティブフィルタ素子とＣＣＤ撮像素子を一体化した複合撮像素子として形成することができ、このようにすると、例えば本撮影装置の製造工程に置いてアクティブフィルタと各撮像素子の位置合わせ等の問題がなくなり、高性能化された撮影装置を、低コストで製造できるようになる。
【００２１】
また、請求項１３に記載するように、アクティブフィルタ部は、透過光量を制御する素子を複数段に配設した多層構造を有する構成とすることができる。
このように、本発明に係るアクティブフィルタ部は、画素単位や画像領域単位で透過光量をコントロールする素子面、例えば液晶面を複数段とすることができる。これによって、アクティブフィルタ部を透過する光は、多層化された液晶素子等を次々通過することになり、それぞれの液晶面を電子的にコントロールすることで、透過光量をより広い範囲で大幅にコントロールすることが可能となる。
本発明に係るアクティブフィルタは、光透過フィルタであり、原理的に重ねて使用することができ、任意の複数段のアクティブフィルタを多層化して使用することで、宇宙空間の太陽光のような強力な光強度にも耐え得るし、また、微弱光に対してもＣＣＤの裸の感度を維持することができる。これにより、アクティブフィルタは、光透過のダイナミックレンジを望むままに選ぶことができるようになる。特に、アクティブフィルタの抑制量を取り出して新たな画像信号とする本発明では大幅な透過光量のコントロールが可能であり、アクティブフィルタの多層化構造は特に有効である。
【００２２】
ここで、多層化されたすべての素子面については、同じハイライト抑制信号でコントロールしても良いが、透過光量に対して非線形の透過特性を持つ素子面を用いる場合や、初めから材質や特性の異なる素子面を多層化する場合は、それぞれの面に独立のハイライト抑制信号を用いることが有効である。この場合、ハイライト抑制信号は複数となるが、予め素子面の光透過特性は分かっているので、それぞれの素子面のハイライト抑制信号強度と光のハイライト抑制量との関係は既知であり、また、それぞれの特性から、それらが重ねられた多層化されたフィルタ全体での光のハイライト抑制量も求められる。従って、本発明におけるように、ハイライト抑制量から画像信号を生成する場合でも、その個々の層の特性を合成することで、画像生成信号を生成できることになる。
【００２３】
また、請求項１４に記載するように、アクティブフィルタ部は、電子的制御によらず、入射する光強度により透過光量を制御する素子からなる構成とすることができる。
このように、本発明では、アクティブフィルタの透過光量をコントロールする素子として、電子制御可能な液晶等の素子を用いる以外に、光強度に直接反応して、電子制御なしに照射光量により透過度をそれ自身で変化させることができる素子を用いることもでき、これによっても、電子制御可能な素子と同様に、本発明に係るアクティブフィルタの機能を実現することができる。なお、このような素子は、単独で用いても良いが、電子制御可能なアクティブフィルタと重ねて試用することが、より効果的である。
【００２４】
また、請求項１５に記載するように、アクティブフィルタ部は、透過する光の透過時間を制御することにより、各色チャンネルの撮像面への透過光量を制御する構成とすることができる。
このような構成とすることにより、アクティブフィルタ部において、透過光量をハイライト抑制信号に基づいて光学的にコントロールするのみならず、アクティブフィルタ部で光の透過時間を電子的にコントロールすることによって透過光量をコントロールすることが可能となる。すなわち、アクティブフィルタ部を光学的シャッタとして機能させることができる。
このようなアクティブフィルタのシャッタ機能は、アクティブフィルタを構成する素子として、光のＯＮ／ＯＦＦ特性に優れた素子を使用し、素子を画素単位で面状に配列することで、効果的なシャッタ機能を実現できるようになる。
【００２５】
また、請求項１６に記載するように、各色チャンネルの撮像面に備えられる撮像素子が、所定の画素単位又は所定の画像領域単位で電荷蓄積時間を制御することにより、撮像面の感度を制御する構成とすることができる。
このように、ＣＣＤや光感知素子からなる撮像素子に対し、電荷蓄積時間を素子ごとにコントロールすることにより、ハイライト部分の露光時間を短くして時間分解能を高め、同時に感度を低下させ、ローライト部分の露光時間を長くして、電荷を蓄積し、実質的に低照度で感度をあげることができる。
【００２６】
一般に、通常の撮像素子では、電荷蓄積時間は各画素で常に一定であり、画素単位で電荷蓄積時間を変更することは行われていない。撮像素子の電荷蓄積時間を画素単位で、画素ごとに制御できるようにすることで、画像内の高照度部分の感度を下げ、ダイナミックレンジを大きくとることが可能となる。すなわち、画素単位で実効入射光量をコントロールし、高照度部分の感度を下げることで、ラチチュードの広い画像を十分なダイナミックレンジで取得することができる。
これにより、ハイライト抑制信号と組み合わせることで、撮像部単独でハイライト抑制画像を取得することができるようになる。これは、撮像部がアクティブフィルタ部の機能の一部を有していることになるので、撮像部を本発明に係るアクティブフィルタ部として使用できるようになる。
【００２７】
ここで、撮像素子においては、画素単位で電荷蓄積時間をコントロールすることにより、各画素のサンプリング周波数も入射光量に応じてコントロールすることができ、さらに、各画素単位で、通常の画像のフレーム時間より短く、あるいは長く電荷を蓄積することが可能となる。これによって、高照度側では、ハイライト側を抑制し、サンプリング周波数か高くなり、時間分解能が向上する。一方低照度側では、電荷蓄積時間が長くなり、時間分解能を犠牲にした分だけ感度を増加させることができる。
また、画素ごとに電荷蓄積時間が異なるので、画像伝送においては、画素ごとに異なるサンプリング周波数で伝送することができる。このように、サンプリング周波数が高まることで、高照度側の画像の時間分解能は高まり、有効である。なお、通常の画像機器等で表示するためには、一度画素単位の画像をフレームメモリ等に蓄積し、一定のフレーム周波数に変換して最終画像とすることが望ましい。
【００２８】
また、請求項１７に記載するように、ハイライト抑制信号生成部は、各色チャンネルごとに備えられ、ハイライト抑制画像が各色チャンネルごとに生成されるとともに、生成された各ハイライト抑制画像が合成されることにより、最終のハイライト抑制画像として出力される構成とすることができる。
このように、本発明では、各色チャンネル独自にハイライト抑制信号を生成し、各色チャンネルごとのハイライト抑制画像を生成することができる。そして、各ハイライト抑制画像からそれぞれ独自に各チャンネルの画像を復元し、それらを合成して最終画像信号を出力することができる。
このようにすると、特に各チャンネルでハイライト部分のばらつきが大きい場合に有効となる。
【００３１】
【発明の実施の形態】
以下、本発明に係るハイライト抑制画像撮影装置の好ましい実施形態について、図面を参照しつつ説明する。
［第一実施形態］
まず、図１〜図１０を参照しつつ、本発明のハイライト抑制画像撮影装置の第一実施形態について説明する。
図１は、本発明の第一実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。図２は、図１に示すハイライト抑制画像撮影装置を模式的に示す説明図であり、（ａ）は装置全体図、（ｂ）はレンズ系及びアクティブフィルタの詳細図である。
これらの図に示すハイライト抑制画像撮影装置は、所望の映像の撮影が可能で、かつ、映像のハイライト部分の抑制，調整が可能な撮影装置であり、本実施形態では３ＣＣＤカラーカメラ又は単板式ＣＣＤカメラを用いて構成してある。図１にその概略を示すように、本撮影装置は、光学系（カメラ部）１０と電子系（装置部）２０とを備え、赤色と緑色の画像には光学的抑制を施し、青色の画像には電子的抑制を施し、最終的にそれら３色の画像を合成してハイライトを抑制したカラー画像を出力する。
【００３２】
光学系（カメラ部）１０は、所望の映像を取得するカメラ手段であり、レンズ系１１と、３色のチャンネルに対応して備えられた結像部及び撮像素子、すなわち、青映像結像部１２及び青撮像素子部１３，赤・緑映像結像部１４及び赤・緑撮像素子部１５を備え、さらに、光学的フィルタ手段であるアクティブフィルタ部１６を備えている。
電子系（装置部）２０は、光学系１０で得られた映像の各色のチャンネルの画像信号を入力し、電子的制御によりハイライト抑制処理を行い、最終的な映像信号を出力する装置である。具体的には、青チャンネル画像生成部２１，ハイライト抑制信号生成部２２，青チャンネル整合部２３，復元信号生成部２４，青チャンネル画像信号出力部２５，ハイライト抑制画像生成部２６，赤・緑チャンネル画像信号出力部２７及び最終映像信号出力部２８の各部を備えている。
そして、本実施形態では、青色チャンネルで取得される青色画像からハイライト部分を抽出し、電子系（装置部）２０でハイライト抑制信号を生成し、赤・緑チャンネルに備えられるアクティブフィルタ部１６を制御するようにしてある。
【００３３】
一般に、３ＣＣＤカラーカメラや単板式ＣＣＤカメラでは、カメラに入ってきた映像を赤，緑，青のフィルタを通し、それぞれの３原色の画像を得るのが普通である。また、夜間の景色の特徴として、画像中の青色成分は昼間と比較して極めて低いことから、ヘッドライト画像においては、他の色のチャンネル画像よりも青色チャンネル画像が最も飽和しにくいと考えられる。
そこで、本実施形態では、青色チャンネル画像からハイライト部分を抽出して、赤・緑チャンネル画像のハイライト部分を抑制するハイライト抑制信号を生成するようにしてある。
なお、ハイライト抑制信号の基となる色チャンネルは青色チャンネルに限られるものではなく、他のチャンネルでもまったく同様に考えることができる。例えば、白黒画像を取得する場合には、カラーカメラの一チャンネルをハイライト抑制信号生成用に用い、この信号でフィルタを制御してハイライト部分の光量を抑制して、他の残りの二チャンネルから白黒信号を取得すればよい。また、ＣＣＤは近赤外線にも感度を有するので、赤外線のハイライト抑制赤外線画像を得ることもできる（後述する第三実施形態参照）。さらに、各色チャンネルごとに、それぞれ独自にハイライト抑制信号を生成することもできる（後述する第四，第五実施形態参照）。
【００３４】
具体的には、本実施形態に係る光学系（カメラ部）１０は、本撮影装置が３ＣＣＤカラーカメラの場合、図３に示すように、カラーカメラに通常採用されているプリズム式の３ＣＣＤ撮像方式となっている。同図に示すように、映像の光軸光線はプリズムにより３方向に分光され、最終的にそれぞれの色チャンネルのＣＣＤ素子（撮像素子）に到達する。すなわち、青色画像は青色ＣＣＤ１３，赤色画像は赤色ＣＣＤ１５ａ，緑色画像は緑色ＣＣＤ１５ｂで画像生成される。
そして、赤色チャンネル及び緑色チャンネルの撮像素子１５（１５ａ，１５ｂ）の直前には、光学的抑制を行うアクティブフィルタ１６（１６ａ，１６ｂ）が備えられ、ハイライト抑制信号による制御によって対応ずる撮像素子への透過光量を光学的に調節するようになっている。なお、青色チャンネルはハイライト抑制信号生成用に使用されるためアクティブフィルタを省略してあるが（図１及び図３参照）、青色チャンネルにアクティブ部フィルタを備えることも勿論できる。
【００３５】
また、本撮影装置は単板式ＣＣＤカメラで構成することができる。
単板式ＣＣＤカメラでは、図４に示すように、マトリックス状に配設されたＣＣＤ素子の、画素単位の各ＣＣＤ素子毎に、「ＲＧＢ」（又は「ＣＭＹ」）のカラーフィルタをかけることにより、各色を取り出す方式である。このような単板式ＣＣＤは、輝度と色の情報を1つのＣＣＤ素子から取り出すことになるため、解像度の面で３ＣＣＤに比べて不利となるが、低価格化，小型軽量化等が可能で、ディジタルスチルカメラ等に用いられている。
このような単板式ＣＣＤカメラについても、アクティブフィルタ１６により光学的抑制を行うことができる。
【００３６】
この場合には、図４に示すように、ＣＣＤ素子はＲＧＢフィルタ以外に、ハイライト抑制信号を取得する為の素子であるＮフィルタを加えた、ＲＧＢＮの４種類のフィルタをＣＣＤ面として配列することになる。また、ＣＣＤ面での画素単位のＲＧＢＮ各色のカラーフィルタに対応して、画素単位で各ＲＧＢＮに対応するアクティブフィルタ１６を、ＣＣＤ素子の直前や、ＣＣＤ素子とカラーフィルタの中間等に一体化して配設する。そして、Ｎチャンネルから作られるハイライト抑制信号の制御により、画素単位のＣＣＤ素子に対して、所望の各色チャンネルの透過光量を光学的に制御することができる。
なお、Ｎフィルタを備えた専用チャンネルを設けずに、ＲＧＢフィルタを備えた三種類のチャンネルから、それぞれ単独に、あるいは全チャンネルを構成した明るさチャンネルからも抑制画像を生成することもできる。
このように、単板ＣＣＤ方式と３ＣＣＤ方式とは、画素毎にＲＧＢを取り出すか、ＲＧＢ画像のそれぞれを構造的に分離してから画素に分解して取り出すかの違いであり、いずれの方式であっても本発明に係るアクティブフィルタによる光学的なハイライト抑制が可能である。
【００３７】
さらに、各色チャンネルの撮像素子は、所定の画素単位又は所定の画像領域単位で電荷蓄積時間を制御することにより、撮像面への透過光量を制御することができるようになっている。ＣＣＤ素子や光感知素子からなる撮像素子について、電荷蓄積時間を素子ごとにコントロールすることにより、ハイライト部分の露光時間を短くして時間分解能を高め、同時に感度を低下させ、ローライト部分の露光時間を長くして、電荷を蓄積し、実質的に低照度で感度をあげることができる。
このように、撮像素子の電荷蓄積時間を画素単位で、画素ごとに制御できるようにすることで、画像内の高照度部分の感度を下げ、ダイナミックレンジを大きくとることが可能となる。すなわち、画素単位で実効入射光量をコントロールし、高照度部分の感度を下げることで、ラチチュードの広い画像を十分なダイナミックレンジで取得することができる。
【００３８】
また、このように撮像素子において画素単位で電荷蓄積時間をコントロールすることで、各画素のサンプリング周波数も入射光量に応じてコントロールすることができ、さらに、各画素単位で、通常の画像のフレーム時間より短く、あるいは長く電荷を蓄積することが可能となる。これによって、高照度側では、ハイライト側を抑制し、サンプリング周波数か高くなり、時間分解能が向上する。一方低照度側では、電荷蓄積時間が長くなり、時間分解能を犠牲にした分だけ感度を増加させることができる。
また、画素ごとに電荷蓄積時間が異なるので、画像伝送においては、画素ごとに異なるサンプリング周波数で伝送することもできる。サンプリング周波数が高まることで、高照度側の画像の時間分解能は高まり、より有効である。なお、通常の画像機器等で表示するためには、一度画素単位の画像をフレームメモリ等に蓄積し、一定のフレーム周波数に変換して最終画像とすることが望ましい。
【００３９】
アクティブフィルタ１６は、ハイライト抑制信号により、各色チャンネルの撮像面の各部分への透過光量を、所定の画素単位又は所定の画像領域単位で光学的に制御する光学フィルタである。
本実施形態では、図２に示すように、赤と緑チャンネル画像のハイライト部分のみを光学的にコントロールさせるアクティブな光学フィルタ、すなわちアクティブフィルタ１６を光学系の結像面の近くに設置してあり、ハイライト抑制信号を用いて赤と緑チャンネル画像のハイライトを光学的に抑制するようにしてある。
ここで、アクティブフィルタ１６は、例えば電子制御可能な液晶素子等を用いて構成することができる。
また、アクティブフィルタ１６は、電子的制御によらず、入射する光強度により透過光量を制御する素子によって構成することもできる。なお、このような光強度に直接反応して、電子制御なしに照射光量により透過度をそれ自身で変化させることができる素子は、単独で用いても良いが、液晶素子等の電子制御可能なアクティブフィルタと重ねて試用することがより効果的である。
【００４０】
また、アクティブフィルタ１６は、特に図示しないが、透過光量を制御する素子を複数段に配設した多層構造とすることもできる。すなわち、アクティブフィルタ１６は、画素単位や画像領域単位で透過光量をコントロールする素子面、例えば液晶面を複数段とすることができる。このようにすると、アクティブフィルタ１６を透過する光は、多層化された液晶素子等を次々通過することになり、それぞれの液晶面を電子的にコントロールすることで、透過光量をより広い範囲で大幅にコントロールすることが可能となる。本実施形態のアクティブフィルタ１６は光透過フィルタであり、原理的に重ねて使用することができ、任意の複数段のアクティブフィルタを多層化して使用することで、宇宙空間の太陽光のような強力な光強度にも耐え得るし、また、微弱光に対してもＣＣＤの裸の感度を維持することができる。これにより、アクティブフィルタ１６は、光透過のダイナミックレンジを望むままに選ぶことができるようになる。特に、後述する第五実施形態に係るハイライト抑制画像を実現するには大幅な透過光量のコントロールが必要であり、アクティブフィルタ１６の多層化構造は特に有効である。
【００４１】
ここで、アクティブフィルタ１６の多層化されたすべての素子面については、同じハイライト抑制信号でコントロールしても良いが、透過光量に対して非線形の透過特性を持つ素子面を用いる場合や、初めから材質や特性の異なる素子面を多層化する場合は、それぞれの面に独立のハイライト抑制信号を用いることが有効である。この場合、ハイライト抑制信号は複数となるが、予め素子面の光透過特性は分かっているので、それぞれの素子面のハイライト抑制信号強度と光のハイライト抑制量との関係は既知であり、また、それぞれの特性から、それらが重ねられた多層化されたフィルタ全体での光のハイライト抑制量も求められる。従って、後述する第五実施形態におけるように、ハイライト抑制量から画像信号を生成する場合でも、その個々の層の抑制量を合成することで、画像信号を生成できることになる。
【００４２】
図５にアクティブフィルタ面の状態を模式的に示す。同図（ａ）に示すように、アクティブフィルタは画素単位で光透過量が制御され、ハイライト部では光を遮蔽するような光学的抑制効果があり、例えば同図（ｂ）に示すような光抑制効果を生成することができる。
このようにアクティブフィルタ１６で適切な光学的抑制をかけることにより、その分絞り等で光量を増加させ、結果として撮像素子１５のｓ／ｎの良い状況で画像を生成することができるようになる。
【００４３】
なお、アクティブフィルタ１６は、透過する光の透過時間を制御することにより、各色チャンネルの撮像面への透過光量を制御するシャッタとして構成することもできる。すなわち、アクティブフィルタ１６において、透過光量をハイライト抑制信号に基づいて光学的にコントロールするのみならず、アクティブフィルタ１６で透過時間を電子的にコントロールすることによって透過光量をコントロールすることが可能となる。これにより、アクティブフィルタ１６を光学的シャッタとして機能させることができる。
このようなシャッタ機能を持たせる場合には、アクティブフィルタ１６を構成する素子として、光のＯＮ／ＯＦＦ特性に優れた素子を使用し、素子を画素単位で面状に配列することで、効果的なシャッタ機能を実現できるようになる。
また、例えば液晶型プロジェクター等で使用される透過光量を各ドットで制御可能な液晶素子等の光量抑制素子を用いて構成することもできる。
【００４４】
ここで、アクティブフィルタ１６は、光学系１０の結像面１４の近傍に設置する。アクティブフィルタ１６を結像面近傍に設置するのは、結像面でなければ画像の各点を個々に光学的にコントロールできないためである。例えば、レンズ開口部にアクティブフィルタ１６を取り付けた場合、画像全体の光量は制限できたとしても、画像の各点の光量をコントロールすることはできない。図２（ｂ）に示すように、通常のレンズを用いる場合（同図に示す通常レンズ系１１）、結像部（結像面）１４は撮像素子１５の直前にあるので、アクティブフィルタ１６は撮像面の直前に設置することになる。これにより、結像面で結像された画像の各点を個々にコントロールできるようになる。
【００４５】
なお、図２（ｂ）に示すように、ＣＣＤ面（撮像素子面）が結像面そのものであるから、厳密には構造的にアクティブフィルタは結像面そのものではなく、微小量だけ結像面から前方にずれることになるが、これは高精細な画像生成にはむしろ好ましい。ＣＣＤ面にアクティブフィルタが完全に重なってしまうと、アクティブフィルタのもつ構造的光学透過特性がそのまま画像に影響を与えてしまうため、結像面から多少ずらした方がアクティブフィルタの構造が画像に与える光学的悪影響を減少させることができるからである。
そして、以上のようなアクティブフィルタ素子（アクティブフィルタ１６）は、ＣＣＤ撮像素子（撮像素子１５）と一体化した複合撮像素子として形成することができる。このようにすると、例えば本撮影装置の製造工程に置いてアクティブフィルタ１６と各撮像素子１５の位置合わせ等の問題がなくなり、高性能化された撮影装置を、低コストで製造できるようになる。
【００４６】
ところで、図２（ｂ）に示すように撮像素子１５の直前にアクティブフィルタ１６を設置させる構造では、カメラの本体側にアクティブフィルタ１６が備えられることになり、既存の３ＣＣＤカメラや単板式ＣＣＤカメラ等に応用する場合、カメラ本体内にアクティブフィルタと一体化したＣＣＤ撮像素子を備える構造に変更する必要がある。
ここで、例えばレンズ系の中に一度中継画像を生成し、その結像面にアクティブフィルタ１６を設置することで、撮像素子面直前におく場合と同様の効果を実現することが可能となる。従って、専用のレンズを開発すれば、レンズ光学系の中に一度結像させ、その面近傍にアクティブフィルタを設置することで、カメラ本体を改良しなくても本発明のハイライト抑制機能を実現できることになる。
【００４７】
そこで、本実施形態では、図６及び図７に示すように、レンズ系内に結像面とアクティブフィルタ１６を備えた専用レンズを備えることができるようにしてある。なお、同図中、アクティブフィルタ部１６を設置するレンズ系部分を除いては、図１〜図３で示した撮影装置と同様の構成となっている。
具体的には、図７（ｂ）に示すように、第一レンズ系１１−１と第二レンズ系１１−２の間の空隙に第一結像面１４−１を設定する。そして、その第一結像面１４−１の位置又はその近傍（同図では後方）に、アクティブフィルタ１６を設置するようにしてある。第一結像面１４−１に生成された実像は、第二レンズ系１１−２、更に必要に応じて第三レンズ系等（図示せず）を経て撮像素子面にある第二結像面１４−２に実像を生成するようにしてある。
このような構成とすることで、カメラ本体内に位置するＣＣＤ撮像素子面及び第二結像面１４−２の近傍には、アクティブフィルタを設定する必要が無くなり、レンズ系の改良だけで、カメラ本体の構造を変更することなくハイライト抑制画像撮影装置を実現できるようになる。
【００４８】
そして、以上のようにしてＣＣＤ撮像素子を経て取得された各色チャンネルの画像が電子信号として電子系（装置部）２０に出力される。
電子系（装置部）２０は、図１に示すように、まず光学系１０から出力される青チャンネル画像が、青チャンネル画像生成部２１で取得される。そして、この青チャンネル画像が、ハイライト抑制信号生成部２２に入力される。
ハイライト抑制信号生成部２２では、入力された青チャンネル画像のヒストグラムを生成するなどして、取得画像からハイライト部分を抽出してハイライト抑制信号を生成する。
【００４９】
ここで、ハイライト抑制信号は、後述するように、ハイライト部分のみを抑制し非ハイライト部分は抑制しない二値型の抑制信号としても良いが、本実施形態では、光学系１０で取得された元の映像の階調に従って抑制度が異なる非二値型の抑制信号を生成できるようにしてあり（後述する図８参照）、より高精細な画質のハイライト抑制画像が得られるようになっている。
そして、このハイライト抑制信号が、光学系１０のアクティブフィルタ部１６に送られ、アクティブフィルタ部１６の光透過量が制御される（図５参照）。これにより赤・緑チャンネル画像がアクティブフィルタ１６を介して光学的に抑制され、光学的ハイライト抑制がなされた赤と緑のハイライト抑制画像が電子系２０側に出力されてハイライト抑制画像生成部２６で取得される。
【００５０】
また、青チャンネルの画像は、図１に示すように、青チャンネル整合部にも入力され、ハイライト抑制信号生成部からのハイライト抑制信号によって電子的にハイライト抑制され、青チャンネルハイライト画像信号出力部２５に入力される。
なお、ハイライトの抑制量はハイライト抑制信号そのものであるから、逆変換でハイライトの抑制を電子的に解除することもできる。その場合でも光学的なハイライト抑制の効果は保たれるので、従来方式の電子的制御のみの画像と比較して劣化のない画像を得ることができる。
さらに、本実施形態では、ハイライト抑制信号が復元信号生成部２４に入力され、各チャンネルの抑制画像を元の映像の階調に復元するための復元信号として生成，出力される。復元信号は、ハイライト抑制信号と同様に、映像の階調を示す非二値の信号として生成され（図８参照）、赤・緑チャンネル画像出力部２７と青チャンネル画像信号出力部２５にそれぞれ入力されて、各チャンネルの抑制画像を電子的にコントラストを復元して復元画像が得られるようになっている。
【００５１】
ここまでで、電子的に抑制された青チャンネルハイライト抑制画像と、光学的に抑制された赤チャンネル抑制画像と緑チャンネル抑制画像の合計３チャンネルのハイライト抑制画像がそれぞれ単独に取得されたことになる。
この３チャンネルの画像が最終映像信号出力部２８に入力され、各カラーの信号処理方式に従いベクトル合成され、又はベクトル的に整合されて、ハイライト抑制カラー画像として出力されることになる。
赤・緑チャンネル画像信号出力部２７に入力される画像信号は、アクティブフィルタ１６を介して光学的にハイライト抑制された信号であり、復元信号で復元されるとｓ／ｎの改善が期待できる。一方、青チャンネル画像信号出力部２５に入力される画像信号は、電子的に抑制された画像のため、原理的にはｓ／ｎの改善は期待できない。そこで、赤・緑チャンネル画像信号出力部２７の出力と青チャンネル画像信号出力部２５の出力を最終映像信号出力部２８でベクトル合成することで、光学的及び電子的にハイライト抑制された高精細な復元カラー画像出力が得られる。以上により、光学系１０で取り込まれた所望の映像が、適正にハイライト抑制されたハイライト抑制画像として取得されることになる。
【００５２】
次に、以上のような本実施形態の撮影装置におけるハイライト抑制信号の詳細について、図８〜図１１を参照しつつ説明する。
まず、ハイライト抑制信号生成部２２で生成されるハイライト抑制信号は、画像のハイライトの部分のみ光学的に抑制することもできるが、その原理から、ハイライト部分だけではなく、どの明るさでもどの位置でも抑制できる。撮像素子は必ず微小なノイズを発生しており、暗いところでその影響が強くでることは広く知られている。
そこで、本実施形態のハイライト抑制信号は、図８に示すように、二値信号ではなく階調を持つ非二値信号として生成し、適切な光学的フィードバックがかかるように設定することができる。このような非二値の階調を持つハイライト抑制信号を用いることで、画像のｓ／ｎを高め、結果として高画質の画像を得ることができる。
【００５３】
具体的には、ハイライト抑制信号はハイライト部分の抑制のみではなく、図８に示すように、画像全体的にハイライトほど強く、ローライトほど弱くかかるように、ハイライト抑制信号生成部でハイライト抑制信号を階調を持つように生成することができる。なお、このような抑制信号では「抑制」はハイライト部分に限られないため、信号の名称としては必ずしも「ハイライト抑制」とする必要はないとも考えられるが、ハイライト部分ほど強く抑制がかかっていることからすれば、「ハイライト抑制信号」と称することは適切でもある。勿論、他の名称を採択することは自由である。
図８（ａ）の抑制特性は、入出力関係が線形関係の場合であり、飽和した時点で抑制度は一定になっている。図８（ｂ）の抑制特性は、ＣＣＤの特性を考慮して非線形の入出力関係としてある。図８（ｃ）の抑制特性は、ハイライトのみ特に強く、飽和点よりも低くなるように設定した場合である。
【００５４】
そして、このような非二値の抑制特性を持つハイライト抑制信号を生成する利点として、この抑制信号を更に抑制画像を復元するための復元信号としても使用できることがある。
画像信号の復元に同じ特性の抑制信号を復元信号として使用することで、抑制特性が線形であっても非線型であっても正しく復元できることになる。このように、どのような線形の抑制信号であっても復元信号として使用できることは、ＣＣＤ撮像素子の特性とｓ／ｎ特性のみを考慮して最も良い抑制信号（＝復元信号）を設定できることになる。これは、抑制信号の精度が悪くても、最終結果にほとんど影響を与えないことになり、アクティブフィルタで最終の画像特性がひずむ率が極めて小さいことになる。
【００５５】
以上のような非二値のハイライト抑制信号及び復元信号によって画像を取得すると、例えば図９に示すようなハイライト抑制画像を得られる。
図９（ａ）に示す画像入力信号では、飽和閾値を超える２カ所の強いハイライト部分を持っている。ここから青信号のみ取り出して、図９（ｂ）に示すような階調型のハイライト抑制信号を生成する。同図では抑制点を超えたハイライトが一定値となるように設定してある（図１０（ａ）参照）。
この抑制信号によってアクティブフィルタ１６を駆動することで、入力画像が光学的に抑制され、撮像素子のｓ／ｎ特性の良いところを用いて抑制画像を取得することができる。この抑制信号で取得される赤・緑チャンネルの画像信号は、図９（ｃ）に示すような曲線となる。ここでは一旦、信号のダイナミックレンジが狭くなっている。
青チャンネル画像についても、同一の抑制信号で電子的にハイライト抑制し、赤・緑チャンネル画像と信号特性を一致させる。
【００５６】
そして、３色チャンネルの画像をベクトル合成し、復元信号によって復元することで、図９（ｄ）に示すような最終のカラー画像が得られる。
同図に示すように、復元された最終カラー画像は、飽和点を超えるハイライト部分のみが抑制され、他の部分については元の映像の階調（図９（ａ）参照）と同一の階調を示す画像として出力されるようになる。
以上により高精細なハイライト抑制画像が得られることになる。
【００５７】
なお、ハイライト抑制信号としては、上述したような階調を持つ非二値の信号特性のものに限定されるものではなく、ハイライト部分のみを抑制する二値型の信号を用いることもできる。
二値型の抑制信号で得られる画像信号を図１０に示す。この場合、図１０（ａ）に示す飽和閾値を超えるハイライト部分のみが、図１０（ｂ）に示すような二値型の抑制信号で抑制され、最終画像として図１０（ｃ）に示すような画像が得られることになる。
【００５８】
また、上述したように、本実施形態では、アクティブフィルタ１６は、透過する光の透過時間を制御することにより、各色チャンネルの撮像面への透過光量を制御できるようになっている。これにより、透過光量をハイライト抑制信号に基づいて光学的にコントロールするのみならず、アクティブフィルタ１６で透過時間を電子的にコントロールすることによって透過光量をコントロール光学的シャッタとして機能させることもできる。
このようにアクティブフィルタ１６に光学的シャッタ機能を追加して、透過時間を画素毎に電子的にコントロールし、透過光量をコントロールする場合の効果を図１１に示す。
【００５９】
同図は、感度をコントロールし低下させる場合を示している。
図１１（ａ）に示すように、縦軸にアクティブフィルタ１６の光透過率をとり、横軸に時間軸をとると、通常のＣＣＤ電荷蓄積時間をシャッタで制御することにより、光透過時間をコントロールすることができる。その結果、図１１（ｂ）に示す光量積分値から明らかなように、ハイライト部分の露光時間を短くすることで時間分解能を高め、感度を低下することが可能となる。
同様にして、ローラライト部では、露光時間を長くすることで、電荷蓄積時間を長くし感度を上げることもできる。
【００６０】
以上説明したように、本実施形態に係るハイライト抑制画像撮影装置によれば、所望の映像を赤，緑，青の３色の各チャンネルで画像取得可能な光学系（カメラ部）１０と、画像信号を処理する電子系（装置部）２０を備えた３ＣＣＤカメラや単板式ＣＣＤカメラ等の撮影装置において、３種類の映像出力のうち、青チャンネルの出力画像からハイライト部分を抽出してハイライト抑制信号を生成することができる。このハイライト抑制信号を赤・緑チャンネルの画像生成用のハイライト抑制信号として使用して、アクティブフィルタ部１６を制御することができる。
そして、液晶素子等からなるアクティブフィルタ部１６をハイライト抑制信号によって制御し、アクティブフィルタ部１６上にハイライト抑制部分の領域を生成することで、赤・緑チャンネル画像のハイライト部分に相当する部分を、撮像素子に到達する前に光学的に抑制し、ハイライトを抑えた画像を生成することができ、上質なハイライト抑制画像を得ることができる。
【００６１】
［第二実施形態］
次に、本発明のハイライト抑制画像撮影装置の第二実施形態について、図１２〜図１４を参照しつつ説明する。
図１２は、本発明の第二実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。図１３は、図１２に示すハイライト抑制画像撮影装置の一例を模式的に示す装置全体の説明図である。また、図１４は、図１２に示すハイライト抑制画像撮影装置の他の一例を模式的に示す説明図で、３ＣＣＤカメラの光学系に備えられるプリズムとＣＣＤ及びアクティブフィルタの詳細図である。
これらの図に示すように、本実施形態のハイライト抑制画像撮影装置は、映像を取得する光学系として、所望の映像取得用チャンネルとなる光学系（主カメラ部）１０と、ハイライト抑制信号用チャンネルとなる専用光学系（専用カメラ部）３０とを別々に構成するようにしてある。その他の構成は第一実施形態と同様である。
【００６２】
具体的には、図１３に示すように、映像取得用のカラーカメラからなる主カメラ部１０と、ハイライト抑制信号を生成すための専用の独立チャンネルとなる専用カメラ部３０とを設置する。なお、図１３に示すように、専用カメラ部３０は、レンズ系３１，専用映像結像部３２，専用撮像素子部３３等の映像取得に必要な構成が備えられる。主カメラ部１０の画像出力と専用チャンネル部３０の画像出力はその出力画像の対応関係をとっておく。
そして、専用チャンネル部３０の出力のヒストグラムを生成するなどして、専用チャンネルの画像からハイライト部分を抽出し、抽出された信号からハイライト抑制信号を生成することができる。ハイライト抑制信号を生成し、最終映像を取得する電子系２０（装置部）は第一実施形態と同様である。
【００６３】
ここで、映像取得用の光学系１０とハイライト抑制信号専用の光学系３０は、図１３に示すような独立のカメラ構造でなくても良く、例えば、図１４に示すように、一つの光学系１０（プリズム）に、画像取得チャンネル部１０ａとハイライト抑制信号用の専用チャンネル部１０ｂを一体的に設けるようにしても良い。このようにすると、図１３に示したような主カメラ部と専用カメラ部の二つのカメラ部を別々に設ける必要がなくなるので、撮影装置全体の構成の簡略化，軽量化等を図ることが可能となる。
以上のように、本実施形態では、映像取得用チャンネルとなるカメラ部（主カメラ部１０）とハイライト抑制信号専用のチャンネルとなるカメラ部（専用カメラ部３０）を設け、あるいは赤緑青以外にハイライト抑制信号生成用の専用チャンネルを別に設けることにより、専用部分で生成したハイライト抑制信号により、赤・緑・青の各映像に光学的抑制をかけることができるので、より完全なハイライト抑制効果を生み出すことが可能となる。
なお、本実施形態では、撮影装置が３ＣＣＤカメラの場合を例にとって説明したが、上述した第一実施形態の場合と同様、撮影装置は単板式ＣＣＤカメラであっても良いことは言うまでもない。
【００６４】
［第三実施形態］
次に、本発明のハイライト抑制画像撮影装置の第三実施形態について、図１５〜図１７を参照しつつ説明する。
図１５は、本発明の第三実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。図１６は、図１５に示すハイライト抑制画像撮影装置を模式的に示す装置全体の説明図である。
これらの図に示すように、本実施形態のハイライト抑制画像撮影装置は、映像を取得する光学系が赤外線画像を取得可能な赤外線カメラを構成するようになっている。その他の構成は第一実施形態と同様である。
【００６５】
赤外線映像からハイライト抑制画像を取得する場合の原理は、上述した第一実施形態における可視光映像の場合と基本的には同様である。
但し、赤外線画像のためのハイライト抑制信号は、赤以外の緑又は青色画像から生成することが望ましい。
一般に、カラーカメラに用いられている撮像素子は、図１７に示すような波長感度特性を持っている。そして、特に赤用のＣＣＤ素子の波長感度特性は、図１７の破線で示すように、近赤外に多少の感度を有していることが特徴となっている。そこで、このようなＣＣＤ素子の感度特性を利用することで、赤外線画像を生成して所望のハイライト抑制赤外線画像を取得することができる。
【００６６】
具体的には、図１５及び図１６に示すように、第一実施形態と同様の光学系１０及び電子系２０を使用し、光学系１０の赤チャンネルに、赤外線透過フィルタ部１７と赤外線映像結像部１８及び赤外線撮像素子部１９を備え、光学的フィルタをかけて近赤外線画像を取得するようにしてある。
また、青又は緑チャンネルをハイライト抑制信号取得用に使用するようにしてある。その他の構成，機能は第一実施形態の場合と同様である。
このような構成とすることにより、本実施形態の撮影装置は、赤外線カメラとして使用することが可能となり、例えば自動車のヘッドライト等で画質が低下する夜間映像のハイライト抑制に好適な赤外線撮影装置を実現することができる。
さらに、この赤外線映像対応の撮影装置を第一実施形態の撮影装置と組み合わせることで、同一のカメラを使用して、昼間はカラー画像カメラ、夜は赤外線画像カメラとして用いることができることになる。
【００６７】
［第四実施形態］
次に、本発明のハイライト抑制画像撮影装置の第四実施形態について、図１８及び図１９を参照しつつ説明する。
図１８は、本発明の第四実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。図１９は、本実施形態に係るハイライト抑制画像撮影装置で各色チャンネルごとに得られる画像信号及びハイライト抑制信号を示すグラフ図である。
これらの図に示す本実施形態のハイライト抑制画像撮影装置は、カメラ部で取得される映像の各色チャンネル（ＲＧＢ）に対応して、各色チャンネル毎にハイライト抑制信号を生成するようになっている。その他の構成は第一実施形態と同様である。
【００６８】
図１８に示すように、本実施形態では、カメラ部１０で取得された映像は、各色チャンネル（ＲＧＢ）に対応した赤画像信号生成部１２０，緑画像信号生成部１３０，青画像信号生成部１４０に出力される。
各画像信号生成部には、それぞれ、ハイライト抑制信号生成部１２１，１３１，１４１と、ハイライト抑制画像生成部１２２，１３２，１４２と、各色チャンネル処理画像信号生成部１２６，１３６，１４６が備えられており、各ハイライト抑制信号生成部１２１，１３１，１４１には、それぞれ各色に対応したアクティブフィルタが備えられている（図示省略）。
そして、アクティブフィルタを透過して光学的に抑制されたハイライト抑制画像が各色チャンネルごとに生成され、生成された各ハイライト抑制画像が、最終画像出力部２８で合成されることにより、最終のハイライト抑制画像として出力されるようになっている。このようにして、本実施形態では、各色チャネルごとに最適な画像を得ることができ、その上で各色チャネルの画像信号を合成し画像信号を生成，出力できるようにしてある。
【００６９】
図１９に、各色チャンネル毎に生成，取得されるハイライト抑制画像信号を示す。同図（ａ）は赤色チャンネル、（ｂ）は緑色チャンネル、（ｃ）は青色チャンネルの信号を示している。
これらの図に示すように、各色チャンネル毎にハイライト抑制画像信号を生成することにより、ＲＧＢの各色チャンネルでハイライト部分のばらつきが多い場合に、各色チャンネル毎に独自にハイライト抑制特性を設定することができ、各色チャンネルごとにもっとも効率の良い領域でハイライト抑制を行うことができる。
そして、各色チャンネル毎のハイライト抑制画像信号から、ハイライト復元画像を生成し、それらを合成することで最終画像信号を出力することができる。
【００７０】
以上のように、本実施形態のハイライト抑制画像撮影装置では、各色チャンネル独自にハイライト抑制信号を生成し、各色チャンネルごとのハイライト抑制画像を生成することができる。そして、各ハイライト抑制画像からそれぞれ独自に各チャンネルの画像を復元し、それらを合成して最終画像信号を出力することができる。
これにより、各色チャンネルごとに独立してハイライト抑制された画像を生成することができ、各チャンネルでハイライト部分のばらつきが大きい場合にも、より鮮明で上質な最終画像を得ることができる。
【００７１】
［第五実施形態］
次に、本発明のハイライト抑制画像撮影装置の第五実施形態について、図２０〜図２２を参照しつつ説明する。
図２０は、本発明の第五実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
図２１及び図２２は、本実施形態に係るハイライト抑制画像撮影装置で得られる画像信号及びハイライト抑制信号を示すグラフ図であり、それぞれ（ａ）は入力画像信号、（ｂ）はハイライト抑制信号、（ｃ）はハイライト抑制信号の抑制量、（ｄ）は抑制後のハイライト抑制画像信号のヒストグラム、（ｅ）はハイライト抑制信号の抑制量から生成した画像信号を示している。
【００７２】
これらの図に示す本実施形態のハイライト抑制画像撮影装置は、各色チャンネル毎にハイライト抑制画像を生成，取得できる第四実施形態の更なる変更実施形態であり、各色チャンネル毎に生成，取得されるハイライト抑制信号に基づいて生成されるハイライト抑制画像の出力を所定の基準値まで抑制し、その抑制量を示す信号から画像信号を生成し、最終のハイライト抑制画像として出力するようになっている。
そして、この場合に、ハイライト抑制信号に基づいて生成されたハイライト抑制画像のうち、ハイライト部分については所定の基準値まで抑制した抑制量を示す信号から画像信号を生成し、ローライト部分についてはハイライト抑制信号に基づく画像信号を生成して、各画像信号が合成されることにより、最終のハイライト抑制画像として出力されるようにしてある。
【００７３】
具体的には、本実施形態においては、各色チャンネルからそれぞれハイライト抑制信号を生成するとともに、各ハイライト抑制信号について、当該色チャンネルでの各画素の出力が予め決められた値（基準値）になるまで抑制し、その抑制量を取り出して新たな画像信号とするようにしてある。
すなわち、ハイライト抑制画像出力のヒストグラムがほぼフラットになるまで抑制をし、その抑制量を新たな画像信号として取り出すことができる。そして、これを各色チャンネルで行うことで、ＲＧＢの新たな画像信号を取り出すことができるようになる。このとき抑制されたこれまでの画像信号と呼ばれるものは画像の情報を失うことになる。そして入力光の強さはＣＣＤ面で均一化され、画像の情報はハイライト抑制信号が受け持つことになる。
【００７４】
ここで、第一実施形態で示したように、アクティブフィルタは複数段に重ねて多層化することができ、光透過のダイナミックレンジを望むままに選ぶことが可能である。そこで、一般的なＣＣＤのダイナミックレンジよりもアクティブフィルタの光透過性のダイナミックレンジを大きくとるように設定することにより、上述した抑制量信号を最終の画像情報と使用する本実施形態の方式が大きな効果を発揮することになる。
この場合、ＣＣＤは、既に撮像素子としてではなく、光感知器としての役目を果たすことになり、ＣＣＤの光強度対信号出力特性がもっとも階調分解の優れている特性部分を用いることができる。また、最終的に到達する光量は一定となるので、撮像素子ＣＣＤ自身は感度が重要であり、ダイナミックレンジについては低くてもよいことになる。
【００７５】
換言すれば、本実施形態では、撮像素子であるＣＣＤではなく、透過光量コントロールするアクティブフィルタが、画像を生成していることになる。
そして、上述のような特性部分でＣＣＤからの画像出力が一定になるようなハイライト抑制信号を生成することができる。
このようにして、本実施形態では、アクティブフィルタを抑制するハイライト抑制信号を新たな画像信号とすることができるので、ＣＣＤの制約を受けずラチチュードの広い映像を表現できることになる。
【００７６】
なお、このような本実施形態においては、ＣＣＤは一定の光強度にしかさらされないことになるので、ある特定の光強度における微分感度が優れたＣＣＤを設計，使用することが好ましい。また、このような設計は、ＣＣＤから見ればラチチュードの狭い光を扱うことになり、ダイナミックレンジは極端に狭くて良く、ＣＣＤの製造コスト削減が可能となり、開発も容易に行える。勿論、既存のＣＣＤをそのまま用いることも十分可能である。
また、アクティブフィルタは、濃淡のみならず光の透過時間によっても光量をコントロールできるので（第一実施形態参照）、よりよい上質の画像を提供できることになる。もちろん、抑制信号からとＣＣＤ出力画像からの両方を組み合わせることでも、両者の特徴を取り入れたより良い画像出力を生成することができる。
【００７７】
以下、本実施形態におけるハイライト抑制信号（抑制量信号）の性質について、方程式を用いて説明する。
なお、カメラ部で取得される入力画像は光学的画像であり、まだ電子信号には変換されていないため、他のハイライト抑制信号やハイライト抑制画像信号のような電子信号と同じ場の関係式として表すことはできない。そこで、以下では情報エネルギーを定義して、関係式を求める共通の場として、それぞれを情報エネルギーの場に変換した状況で説明する。ここでは、説明を簡略化するために、以下の方程式で表現される量を情報エネルギーと定義する。
【００７８】
アクティブフィルタ直前の入力画像の情報エネルギー：f（x,y,R,G,B）は、次のように三色に分解することができ、それぞれの入力画像の情報エネルギー成分をfr(x,y,R)，fg(x,y,g)，fb(x,y,b)とすると、情報エネルギーは以下の式１で表現できる。
f（x,y,R,G,B）＝fr(x,y,R)，fg(x,y,g)，fb(x,y,b)・・・式１
どの色チャンネルも同様であるので、例えば赤色チャンネルに着目した場合、赤色チャンネルの入力信号を赤色チャンネルのハイライト抑制信号により処理して、赤色チャンネルのハイライト抑制画像を生成する方程式は、情報エネルギー場で以下の式２のようになる。
fr(x,y,R)＝gr（x,y,R）・Kr(x,y,R)・・・式２
ここで、分解されたfr(x,y,R)は赤チャンネル入力信号の情報エネルギー、gr（x,y,R）は赤色チャンネルのハイライト抑制信号の情報エネルギー、Kr(x,y,R)は赤色チャンネルのハイライト抑制画像出力信号の情報エネルギー、ｘ，ｙは赤色チャンネルの画像面座標、Ｒはｘ，ｙにおける赤チャンネルの信号強度の情報エネルギーを示す。他のチャンネルも同様である。
【００７９】
そして、上記式２の意味は、以下の通りとなる。
元々の画像の情報エネルギー：fr(x,y,R)は、光エネルギーから電子エネルギーへの変換によって、情報エネルギーがgr（x,y,R）とKr(x,y,R)とに分散される。従って、元の画像情報の情報エネルギー：fr(x,y,R)を再現するには、分散されたgr（x,y,R）とKr(x,y,R)との両者が必要であり、gr（x,y,R）とKr(x,y,R)とから元の画像情報を再生することができる。これは、本実施形態を含め、上述した第一〜第四実施形態でもすべて共通である。
赤チャンネルの入力信号の情報エネルギー：fr(x,y,R)を、赤チャンネルのハイライト抑制信号の情報エネルギー：gr（x,y,R）で除すれば（ハイライト抑制変換処理すれば）、赤チャンネルのハイライト抑制画像出力の情報エネルギー：Kr(x,y,R)が得られる。
【００８０】
そして、本実施形態は、上記式２の関係が示す特殊な場合となっている。
赤チャンネルにおけるハイライト画像出力信号の情報エネルギー：Kr(x,y,R)を一定値Krと設定すれば、上記式２は以下の式３のようになる。
Kr＝fr(x,y,R)／gr（x,y,R）・・・式３
この式３を変形すると以下の式４のようになる。
gr（x,y,R）＝fr(x,y,R)／Kr・・・式４
この式４が示すように、赤チャンネルの入力画像の情報エネルギー：fr(x,y,R)を定数（１／Kr）倍したものは、赤チャンネルのハイライト抑制信号の情報エネルギー：gr（x,y,R）に等しいことになる。又は、赤チャンネルのハイライト抑制信号の情報エネルギー：gr（x,y,R）は赤チャンネルの入力画像の情報エネルギー：fr(x,y,R)と比例関係になることになる。
【００８１】
このとき、比例定数（１／Kr）は一定であり、gr（x,y,R）は赤チャンネルの元々の画像の持つ情報エネルギーそのものである。
式４に示す赤チャンネルのハイライト抑制画像出力の情報エネルギー：Kr(x,y,R)は定数Krであり、Kr(x,y,R)は画像の情報を失っている。
同様に、緑チャンネルgg（x,y,G）、青チャンネルgb（x,y,G）、についても、以下の式５，６に示すように、式４と全く同様のことが言える。
gg（x,y,G）＝fg(x,y,G)／Kg・・・式５
gb（x,y,B）＝fb(x,y,B)／Kb・・・式６
【００８２】
そして、本実施形態において最終の赤チャンネルのハイライト画像出力信号となるのは、赤チャンネルのハイライト画像出力信号Kr(x,y,R) ではなく、赤チャンネルのハイライト抑制信号gr（x,y,R）そのものである。
それぞれの色チャンネル出力を合成した信号は、以下の式７，８が示すようになる。
g(x,y,R,G,B)＝fr(x,y,R)／K（r,g,b）・・・式７
g(x,y,R,G,B)＝fr(x,y,R)／Kr＋fg(x,y,G)／Kg＋fb(x,y,B)／Kb・・・式８
これは、本実施形態において、ハイライト抑制信号が、入力画像そのものであることを示している。
【００８３】
そして、以上のような方程式を実現するために、本実施形態のハイライト抑制画像撮影装置は、図２０に示すような構成としてある。
同図に示すように、本実施形態では、第四実施形態の場合と同様、各色チャンネル（ＲＧＢ）に対応した赤画像信号生成部１２０，緑画像信号生成部１３０，青画像信号生成部１４０が備えられている。各画像信号生成部には、それぞれ、ハイライト抑制信号生成部１２１，１３１，１４１と、ハイライト抑制画像生成部１２２，１３２，１４２と、各色チャンネル処理画像信号生成部１２６，１３６，１４６が備えられており、各ハイライト抑制信号生成部１２１，１３１，１４１には、それぞれ各色に対応したアクティブフィルタが備えられている（図示省略）。
さらに、本実施形態では、各色チャンネル毎に、出力基準値生成部１２３，１３３，１４３と、差分比較部１２４，１３４，１４４と、差分０検出部１２５，１３５，１４５が備えられている。
そして、各色チャンネルごとに生成され各ハイライト抑制画像は、最終画像出力部２８で合成されることにより、最終のハイライト抑制画像として出力される。
【００８４】
このような構成からなる本実施形態のハイライト抑制画像撮影装置では、以下のようにしてハイライト抑制画像が生成，出力される。
まず、カメラ部１０で取得された入力画像は、赤画像信号生成部１２０，緑画像信号生成部１３０，青画像信号生成部１４０で、各色チャンネルの画像信号に変換される。そして、アクティブフィルタを含むハイライト抑制信号生成部１２１，１３１，１４１でハイライト抑制信号が生成され、このハイライト抑制信号に基づき、ハイライト抑制画像生成部１２２，１３２，１４２においてハイライト抑制画像信号が生成される。
【００８５】
また、各色チャンネルの出力基準値生成部１２３，１３３，１４３では、各色チャンネル毎に予め決められた出力基準値が生成され、差分比較部１２４，１３４，１４４において、各色チャンネル毎に出力基準値とハイライト抑制画像信号が差分比較される。
さらに、差分０検出部１２５，１３５，１４５において、ハイライト抑制画像信号と出力基準値との差分が０になるまでハイライト抑制信号の抑制量が調整される。そして、差分が０になった時点で、元のハイライト抑制信号と、差分０検出部１２５，１３５，１４５を経由したハイライト抑制画像信号が合成され、各チャネルの処理画像信号が生成される。さらに、最終画像出力部２８で各色チャネルの処理画像信号が合成され、最終画像信号が生成されることになる。
【００８６】
このとき、カメラ部１０で取得される入力画像のうち、ハイライト部分についてはハイライト抑制信号（抑制量信号）から画像を生成し、ローライト部分についてはハイライト抑制信号で抑制された画像信号から画像を生成し、それらを合成して画像を出力することができる。
このようにすることで、ハイライト部分は十分に高い画像出力を生成し、ローライト部分はＣＣＤの裸の感度まで持ち上げることができて、ハイライトからローライトまで幅広い画像出力を得ることができる。このとき、表示される映像のラチチュードは、撮像側ではなく表示装置側の性能で制約されるまでに、改善されることになる。すなわち、逆光の撮影でも、太陽像そのものと、日陰の部分のディテールまですべてが同時に撮影され、あとは表示装置側の性能の限界まで表現できることになり、理想に近い撮像装置が構築できる。
【００８７】
図２１及び図２２に、本実施形態で得られるハイライト抑制画像の抑制量から生成される画像信号を示す。
図２１に示す信号は、ハイライト抑制信号そのものを画像信号として利用する場合となっている。
まず、同図（ａ）に示すような入力画像信号をハイライト抑制する場合に、そのハイライト抑制信号（同図（ｂ））について、同図（ｄ）に示すように、ハイライト抑制画像信号がフラットになるまで、ハイライト抑制信号の抑制量を制御する（同図（ｃ））。そして、得られたハイライト抑制信号(同図（ｃ）)を、最終の画像信号として使用する（同図（ｅ））。
このように、図２１に示す例では、画像のハイライト部分とローライト部分のすべてについて、ハイライト抑制信号を画像信号としてそのまま利用し、最終画像信号として出力するようになっている。
【００８８】
図２２に示す信号は、ハイライト抑制信号そのものを画像信号として利用するとともに、その画像信号を、ハイライト抑制信号で抑制された抑制画像信号と合成して最終画像信号とする場合である。
まず、同図（ａ）に示すような入力画像信号をハイライト抑制する場合に、そのハイライト抑制信号（同図（ｂ））について、画像のハイライト部分は、同図（ｄ）に示すように、ハイライト抑制画像信号がほぼフラットになるまでハイライト抑制信号の抑制量を制御する（同図（ｃ））。そして、得られたハイライト抑制信号（同図（ｃ））に、同図（ｄ）に示すように、ハイライト抑制画像信号の一部（ローライト部分）を合成し、これを最終の画像信号として使用する（同図（ｅ））。
このように、図２２に示す例では、ハイライト部分についてはハイライト抑制信号を画像信号としそのまま利用するとともに、ローラライト部分については、ハイライト抑制信号で抑制された抑制画像を利用し、ハイライト部分とローライト部分の画像信号を合成して最終画像信号として出力するようになっている。
【００８９】
以上のように、本実施形態に係るハイライト抑制画像撮影装置によれば、一又は二以上の各色チャンネルからハイライト抑制信号を生成し、その抑制信号で、該当する色チャンネルでの出力が決められた値になるまで抑制し、その抑制量を取り出して新たな画像信号とすることができる。そして、これを、ＲＧＢの各色チャンネルで実行することで、ＲＧＢの新たな画像信号を取り出すことができる。このとき抑制されたこれまでの画像信号と呼ばれるものは画像の情報を失うことになる。そして、入力光の強さは撮像面（ＣＣＤ面）で均一化され、画像の情報は抑制量を示すハイライト抑制信号が受け持つことになる。
このようにして、本実施形態では、ＣＣＤからなる撮像素子ではなく、透過光量をコントロールするアクティブフィルタで、所望のハイライト抑制画像を生成することができるようになる。
【００９０】
なお、以上は本発明のハイライト抑制画像撮影装置についての好ましい実施形態であるが、本発明に係るハイライト抑制画像撮影装置は、上述した各実施形態のみに限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、図２３及び図２４に示すように、撮影装置の構成の一部は選択的に省略することができ、装置構成を簡略化することができる。
図２３に示す例では、ハイライト抑制信号から復元信号を生成する復元信号生成部２４（図１参照）を省略してある。この場合には、最終的なハイライト抑制画像は復元信号による復元のない抑制特性の画像（図９（ｃ）参照）となる。
また、図２４に示す例では、さらに、青チャンネル画像を電子的に制御する青チャンネル整合部２３と青チャンネル画像信号出力部２５（図１参照）を省略してあり、赤・緑・青チャンネル画像の光学的なハイライト抑制のみが行えるようになっている。
【００９１】
【発明の効果】
以上説明したように、本発明のハイライト抑制画像撮影装置によれば、ラチチュードの広い映像や強烈なハイライト部分を持つ映像について、光が撮像素子に到達する前に光学的，電子的にハイライト成分を取り除き、抑制することで、ハイライトの影響を本質的に抑制，除去した画像を生成でき、また、画質を劣化させることなくハイライトを復元した画像を生成することができる。
これにより、夜間や暗所での自動車等のヘッドライト映像や、宇宙空間でのハイコントラスト映像のようにハイライトの影響を受ける映像の撮影において、宇宙空間の太陽光やその暗い周囲部，夜間の道路画像のヘッドライトの部分とその周辺の暗い部分等、画像中の特に明るい部分を取り除き、あるいは適切に抑制して、画像内の暗い部分をハイライトの影響を受けることなく上質の画像で取得することができる。
【図面の簡単な説明】
【図１】本発明の第一実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図２】図１に示すハイライト抑制画像撮影装置を模式的に示す説明図であり、（ａ）は装置全体図、（ｂ）はレンズ系及びアクティブフィルタの詳細図である。
【図３】図１に示すハイライト抑制画像撮影装置を模式的に示す説明図であり、３ＣＣＤカメラの光学系に備えられるプリズムとＣＣＤ及びアクティブフィルタの詳細図である。
【図４】図１に示すハイライト抑制画像撮影装置が単板式ＣＣＤカメラである場合の光学系に備えられるＣＣＤ素子面を示す平面図である。
【図５】本発明の第一実施形態に係るハイライト抑制画像撮影装置のアクティブフィルタの制御状態を示す説明図であり、（ａ）はアクティブフィルタ面の模式図、（ｂ）はアクティブフィルタの光透過量を示すグラフ図を示している。
【図６】本発明の第一実施形態に係るハイライト抑制画像撮影装置の変更例の概略構成を示すブロック図である。
【図７】図６に示すハイライト抑制画像撮影装置を模式的に示す説明図であり、（ａ）は装置全体図、（ｂ）はレンズ系及びアクティブフィルタの詳細図である。
【図８】（ａ），（ｂ），（ｃ）は、それぞれ本発明の第一実施形態に係るハイライト抑制画像撮影装置で得られるハイライト抑制信号の特性を示すグラフ図である。
【図９】本発明の第一実施形態に係るハイライト抑制画像撮影装置で得られる画像信号及びハイライト抑制信号を示すグラフ図であり、（ａ）は画像入力信号、（ｂ）は階調型ハイライト抑制信号、（ｃ）は階調型ハイライト抑制画像信号、（ｄ）は階調型復元画像信号を示している。
【図１０】本発明の第一実施形態に係るハイライト抑制画像撮影装置で得られる他の画像信号及びハイライト抑制信号を示すグラフ図で、（ａ）は画像入力信号、（ｂ）は二値型ハイライト抑制信号、（ｃ）は二値型ハイライト抑制画像信号を示している。
【図１１】本発明の第一実施形態に係るハイライト抑制画像撮影装置で得られる他の画像信号を示すグラフ図で、（ａ）はシャッタによる光透過時間とフィルタの光透過立を示しており、（ｂ）はシャッタ機能がある場合とない場合の画像信号の比較を示している。
【図１２】本発明の第二実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図１３】図１２に示すハイライト抑制画像撮影装置を模式的に示す装置全体の説明図である。
【図１４】図１２に示すハイライト抑制画像撮影装置の他の一例を模式的に示す説明図で、３ＣＣＤカメラの光学系に備えられるプリズムとＣＣＤ及びアクティブフィルタの詳細図である。
【図１５】本発明の第三実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図１６】図１５に示すハイライト抑制画像撮影装置を模式的に示す装置全体の説明図である。
【図１７】撮像素子部の感度特性を示すグラフ図である。
【図１８】本発明の第四実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図１９】本発明の第四実施形態に係るハイライト抑制画像撮影装置で各色チャンネルごとに得られる画像信号及びハイライト抑制信号を示すグラフ図であり、（ａ）は赤色チャンネル、（ｂ）は緑色チャンネル、（ｃ）は青色チャンネルの信号を示している。
【図２０】図２０は、本発明の第五実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図２１】本発明の第五実施形態に係るハイライト抑制画像撮影装置で得られる画像信号及びハイライト抑制信号を示すグラフ図であり、それぞれ（ａ）は入力画像信号、（ｂ）はハイライト抑制信号、（ｃ）はハイライト抑制信号の抑制量、（ｄ）は抑制後のハイライト抑制画像信号のヒストグラム、（ｅ）はハイライト抑制信号の抑制量から生成した画像信号を示している。
【図２２】図２２は、本一実施形態に係るハイライト抑制画像撮影装置で得られる画像信号及びハイライト抑制信号を示すグラフ図であり、それぞれ（ａ）は入力画像信号、（ｂ）はハイライト抑制信号、（ｃ）はハイライト抑制信号の抑制量、（ｄ）は抑制後のハイライト抑制画像信号のヒストグラム、（ｅ）はハイライト抑制信号とその抑制量から生成した画像信号を示している。
【図２３】本発明のその他の実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図２４】本発明のその他の実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【符号の説明】
１０ 光学系（カメラ部）
１１ レンズ系
１２ 青映像結像部
１３ 青撮像素子部（ＣＣＤ）
１４ 赤・緑映像結像部
１５ 赤・緑撮像素子部（ＣＣＤ）
１６ アクティブフィルタ部
２０ 電子系（装置部）
２１ 青チャンネル画像生成部
２２ ハイライト抑制信号生成部
２３ 青チャンネル整合部（電子制御部）
２４ 復元信号生成部
２５ 青チャンネル画像信号出力部
２６ ハイライト抑制画像生成部
２７ 赤・緑チャンネル画像信号出力部
２８ 最終映像信号出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a photographing device such as a 3CCD camera or a single-plate CCD camera for photographing a desired image to be photographed, and in particular, sunlight in outer space, a dark part around it, road surrounding images at night and bright headlights. The present invention relates to a photographing apparatus that attempts to obtain an overall high-quality image for a subject such as a portion.
More specifically, light is captured for images in which the influence of highlights has an adverse effect on the entire image, such as headlight images of automobiles at night and in the dark, wide latitude images in space, and high contrast images. By removing or suppressing highlight components optically or electronically before reaching the device, it is appropriate to remove particularly bright areas in the image or to recover later without sacrificing dark areas The present invention relates to a highlight-suppressed image photographing apparatus that can obtain a high-quality image without being affected by highlights.
[0002]
[Prior art]
In general, when shooting video images or still images with a 3CCD (3-charge coupled device) camera or a single-plate CCD camera, images with a wide latitude (range of light and dark differences) and intense highlights When taking a special image, there is a problem that the image quality is remarkably lowered due to halation or the like.
For example, when shooting a subject with strong contrast between light and dark, as in video shooting in outer space, if you put the sun in the field of view and adjust the exposure to the sun, you can see only the sun and the exposure so that you can see the surroundings. If combined, halation occurs in other parts due to the influence of sunlight, and the image quality deteriorates. In addition, when a road or the like is photographed with a video camera at night, only the headlight of the car is captured strongly, and other parts are optically and electronically affected, and the quality of the entire image is deteriorated.
[0003]
Here, in conventional cameras, video cameras, digital cameras, and the like, a method of suppressing highlights by electronically cutting the peak portion by saturating the gamma characteristic nonlinearly has been adopted (for example, , See Patent Documents 1-3).
It is possible to suppress highlights to some extent by such electronic processing, and it was possible to obtain an image with suppressed highlights.
[0004]
[Patent Document 1]
JP-A-5-244623 (page 2-3, FIG. 7)
[Patent Document 2]
Japanese Patent Laid-Open No. 6-233310 (
[Patent Document 3]
JP-A-8-149378 (2nd page, FIG. 5)
[0005]
[Problems to be solved by the invention]
However, in such a conventional method, the electronic processing is performed after the image light reaches the imaging surface, and the imaging surface has an optical adverse effect that lowers the image quality, such as halation or fogging due to light scattering. Has already been affected and could not be removed. For this reason, the problem of the highlight image cannot be fundamentally solved only by the electronic processing of the conventional method.
In general cameras, since the sensitivity of the entire image is determined by the brightness of the highlight portion, the S / N (signal-to-noise ratio: a value that serves as an index for evaluating image quality) in the dark portion is significantly reduced. As a result, the image quality in dark areas is reduced.DoThere was also a problem that it was inevitable.
Also, especially when shooting on the road at night, even if the bright part of the headlight is saturated and the exposure is adjusted to the dark side, there is a problem of halation due to light scattering, especially around the headlight, The image quality will deteriorate.
The output of headlights such as automobiles is saturated due to the characteristics of the image sensor. Even if the saturated image signal is processed later, the improvement has to be very small, avoiding a drastic reduction in the amount of image information in bright areas. There was also a problem that it was not possible.
As described above, the conventionally proposed methods cannot essentially eliminate these adverse effects even though the adverse effects such as optical scattering caused by the headlights of automobiles can be mitigated to some extent by electronic processing. It was.
[0006]
The present invention has been proposed in order to solve such problems of the prior art. For images with a wide latitude and images with intense highlights, the optical system is used before the light reaches the image sensor. It is possible to remove and suppress highlight components electronically and electronically, and fundamentally and essentially suppress and eliminate the effects of highlights, while maintaining as much information as possible while maintaining high-quality images. An object of the present invention is to provide a highlight-suppressed image capturing device that can be acquired.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, a highlight suppression image capturing apparatus according to the present invention includes:A camera unit having an optical lens system, an active filter unit capable of controlling the amount of transmitted light provided near the imaging surface of a subject that forms an image via the optical lens system, and a light amount of transmitted light that passes through the active filter unit And a highlight suppression signal generation unit that generates a highlight suppression signal that suppresses the amount of light transmitted through the active filter unit so that the amount of light detected by the light detection unit becomes a predetermined reference value. A highlight suppression signal that suppresses the amount of light transmitted through the active filter unit is output as an image signal.As a configuration.
In the highlight suppression image capturing device of the present invention, the highlight suppression signal generation unit may include at least one of video outputs of one or more color channels output from the camera unit. Based on the video output from one color channel (or based on the video output of the dedicated channel as described in claim 7), a highlight suppression signal is generated, and based on this highlight suppression signal, the active filter unit Optically controls the amount of light transmitted to the image sensor of each color channel, and the image acquired by the camera unit passes through the active filter unit and is imaged by the image sensor of each color channel, and optically highlights. It can be set as the structure output as a suppressed highlight suppression image.
In the highlight suppression image generated based on the highlight suppression signal, the highlight portion includes an active filter so that a light amount detected by the light sensing unit becomes a predetermined reference value. An image signal is generated from a highlight suppression signal that suppresses the amount of light transmitted through the part, and the low light part passes through the active filter part and is imaged by the image sensor of each color channel. Can be output as the final highlight-suppressed image.
In particular,Claim 4As described in the following, the active filter unit uses the highlight suppression signal toImagingIt is preferable that the amount of light transmitted to each part of the surface is optically controlled in predetermined pixel units or predetermined image area units.
[0008]
According to the highlight-suppressing image capturing apparatus of the present invention having such a configuration, for example, a color camera (for example, a 3CCD camera or a single-plate type) that can acquire a desired image in each of the three channels of red, green, and blue When a CCD camera is provided, a highlight suppression signal is generated by extracting a highlight portion from an acquired image, for example, by generating a histogram using, for example, a blue channel output among three types of video output. Can do. Note that the highlight suppression signal is generated from the blue channel because the blue channel is generally least affected by highlights, and other color channels may be used.OrOf course, it may be from a brightness signal that is a combination of RGB.
AndA highlight suppression signal is generated from one or two or more color channels, and the suppression signal is used to suppress the output of the corresponding color channel to a predetermined value. can do. Specifically, suppression is performed until the histogram of the highlight suppression image output becomes substantially flat, and the suppression amount is set as a new image signal. Then, by executing this for each RGB color channel, for example, a new RGB image signal can be extracted. What has been called the image signal so far suppressed at this time loses image information. The intensity of the input light is made uniform on the imaging surface (CCD surface), and image information is handled by a highlight suppression signal indicating the suppression amount.
In this way, according to the present invention, a desired highlight suppression image can be generated by an active filter unit that controls the amount of transmitted light, not by an image pickup device comprising a CCD.
Also,By using the highlight suppression signal as a highlight suppression signal for generating an image of the red / green channel, the active filter unit installed near the imaging surface of the optical system can be controlled. The active filter can be composed of, for example, a liquid crystal panel, etc.Claim 15By using as an optical shutter (as described in), a suppression area is generated on the liquid crystal filter by the highlight suppression signal, for example, the area corresponding to the highlight area of the red / green channel image is optically suppressed. Thus, an image with reduced highlights can be generated.
[0009]
As a result, the highlight portion of the video having the highlight portion is optically suppressed by the active filter portion before reaching the imaging surface, and the high-quality image is not affected by the highlight portion. It can be acquired as a highlight suppression image.
Of course, the optical suppression by the active filter portion is not limited to the highlight portion. For example,Claims 8-10As described in the above, optical suppression by the active filter unit is strong on the highlight side, weak on the low light side, and applied to the entire image in gradation, thereby accepting an object with a wide latitude, and relatively The low light side can be lifted. As a result, the noise on the low light side can also be suppressed. In this way, it becomes possible not to saturate the highlight portion, so that the information amount of the image can be saved to a considerable extent.
[0010]
AndClaim 5In the highlight-suppressing image capturing device described in 4, the active filter unit isImagingThe configuration is provided near the surface.
Thus, in the highlight suppression image capturing apparatus of the present invention, an active filter made of liquid crystal or the like can be installed and used immediately before the imaging surface of the camera unit.
In general, in a camera such as a 3CCD or a single-plate CCD, the imaging surface is an imaging surface. Therefore, the active filter must be(Imaging plane)By being positioned immediately before, it is possible to act as an automatic optical filter in pixel units, and the excellent effects of the present invention described above can be obtained.
When obtaining a color image, a plurality of active filters can be provided corresponding to each color channel. Also, the installation position of the active filter may not be able to coincide with the imaging plane due to the structure of the camera. However, if the active filter is deviated slightly forward from the imaging plane, it acts as a blur around the filter effect. As a result, the shadow of the filter structure is blurred, which is preferable.
[0011]
on the other hand,Claim 6In the highlight-suppressing image capturing device described in the above, the camera unit isIn the lens opticsAn imaging surface is provided, and the active filter unit is provided in the vicinity of the imaging surface in the lens optical system.
Thus, in the highlight suppression image capturing device of the present invention, the active filter can be provided in the lens portion of the camera.
In general, it is possible to create an imaging surface other than the imaging surface of the camera. For example, this is achieved by forming an image once in a space in the camera lens system and re-imaging it on the imaging surface. be able to. In this case, it is only necessary to provide one active filter for one imaging plane in the lens. In this way, by installing the active filter in the imaging space of the lens system, the lens of the present invention can be installed by replacing the lens without changing the structure of the camera body by mounting the lens on which the active filter is installed. A highlight-suppressed image capturing apparatus can be realized.
[0012]
Also,Claim 7In the highlight-suppressed image capturing apparatus described in (1), the camera unit includes an image acquisition channel unit that acquires a desired video, and a dedicated channel unit that is different from the image acquisition channel unit that acquires a video for generating a highlight suppression signal. The highlight suppression signal generation unit generates a highlight suppression signal based on the video output acquired by the dedicated channel unit corresponding to the video acquired by the image acquisition channel unit.
Thus, in the highlight suppression image capturing apparatus of the present invention, an image acquisition channel unit (for example, a main camera unit) for acquiring a desired video and a dedicated channel unit (dedicated camera unit) for a highlight suppression signal are separately provided. Can be provided. For example, a color camera unit for video acquisition and a dedicated independent channel unit for generating a highlight suppression signal are installed, and the main camera image output and the dedicated channel image output have a correspondence relationship between the output images. Then, a highlight portion can be extracted from the image of the dedicated channel by generating a histogram of the output of the dedicated channel, and a highlight suppression signal can be generated from the extracted signal.
Thus, by providing separate channels for video acquisition and highlight suppression signals, for example, specific channels of RGB (red / green / blue) three-color channels for video acquisition are used to generate suppression signals. There is no need to use it, and an optical highlight suppression effect can be applied to all the RGB channels, and a more complete highlight suppression image can be obtained.
[0013]
Also,Claim 8The highlight-suppressed image capturing device described in 1) includes an electronic control unit that electronically suppresses the video output from the camera unit based on the highlight suppression signal, and the video output acquired by the camera unit passes through the active filter. Thus, the image is output as a highlight-suppressed image that is optically suppressed and is electronically suppressed.
As described above, in the present invention, not only optical highlight suppression is performed via the active filter but also electronic highlight suppression based on the highlight suppression signal generated from the video output of the camera unit. it can.
[0014]
For example, when a highlight suppression signal is generated from a blue channel image, the highlight suppression signal is used to optically suppress the highlight of the blue image to near the saturation point of the signal, and then this highlight. The blue highlight suppression image can be electronically acquired by electronically controlling the blue image itself with the light suppression signal. Then, the electronically controlled blue highlight suppression image is replaced with another color channel image optically controlled by an active filter.WhenBy synthesizing, it is possible to output a color image with normal color reproduction from the image output unit. Although there is a certain degree of image quality degradation only with electronic control, an active filter is also installed on the blue channel itself that generates the suppression signal, for example, by combining optical suppression and electronic suppression, through the active filter. It becomes sufficiently practical when viewed in the entire image synthesized with three colors with other optically controlled colors.
In this way, by suppressing the highlight portion through a combination of optical control and electronic control, the highlight suppression signal generation channel (for example, the blue channel) is also suppressed like other channels. Therefore, it becomes possible to output a highlight suppression image with higher image quality.
[0015]
Also,Claim 9In the highlight suppression image capturing device described in the above, the highlight suppression signal generation unit generates a non-binary highlight suppression signal indicating gradation, and the video output acquired by the camera unit is a non-binary highlight suppression signal. The light suppression signal is output as a highlight suppression image that is strong on the highlight side, weak on the low light side, and suppressed in gradation in a gradation manner via the active filter unit.
In particular,Claim 10As described in the above, a highlight signal that includes a restoration signal generation unit that generates a restoration signal based on a non-binary highlight suppression signal that indicates gradation and that is suppressed in gradation through an active filter unit. It is preferable that the suppressed image is restored to the original video gradation and output.
With this configuration, in the highlight suppression image capturing device of the present invention, the highlight suppression signal for suppressing the highlight of the acquired image is acquired by the camera unit, not just the binary signal (High or Low). A highlight-suppressed image can be obtained by generating a non-binary signal that is strong on the highlight side and weak on the low-light side, indicating the gradation of the video to be displayed.
[0016]
For example, the highlight suppression signal generation unit generates a highlight suppression signal having a characteristic that optically increases suppression in proportion to the intensity (highlight level) of the image light, and this highlight suppression signal is transmitted to the active filter unit. By inputting, it is possible to generate an intermediate image having a gradation with low contrast for highlight suppression, in which the low-light side is emphasized and the highlight side is suppressed. Then, in the restoration signal generation unit, a restoration signal is directly generated from the highlight suppression signal having gradation characteristics, and the intermediate unit image is restored to the gradation of the original video using the restoration signal. In this way, an output image having the original gradation of the video acquired in step S1 can be obtained.
On the other hand, for the video that is the basis of the highlight suppression signal (for example, the blue channel video), as described above, optical suppression and electronic control are also incorporated, and the intermediate image is generated by suppressing the highlight. Thus, the restored gradation image of the other channel can be matched with highlight suppression.
Thus, for example, optical suppression is used for the red and green channels, and only the electronic suppression is used for the blue channel (or mainly electronic suppression, secondary optical suppression). Channel images can be combined to obtain a final highlight suppression image. Note that optical suppression is not limited to a common highlight suppression signal.Claim 17As described in the above, it may be performed independently for each channel, and it goes without saying that a correct image signal is output if they are combined and matched.
[0017]
An image that has been optically suppressed using a highlight suppression signal consisting of non-binary signals, and that has been restored tones, is more affected by optical scattering than an image that is simply electronically suppressed. In addition, the image pickup device (CCD) can be used under conditions with less noise, and it is possible to obtain a higher quality image with a wide latitude and a wide dynamic range. Furthermore, by using the highlight suppression signal consisting of a non-binary signal as a restoration signal for restoring the original gradation as it is, even if the linearity of the highlight suppression signal is poor or nonlinear Non-linear distortion is less likely to occur in the restored signal.
Thus, in the present invention, a suppression image is optically acquired using a non-binary signal indicating the gradation of an image as a highlight suppression signal, and further, the suppression image is obtained by a restoration signal obtained from the binary signal. By restoring the original to the original latitude, it is possible to obtain a high-quality image with little influence of noise, etc., and finally a normal gradation image without highlight suppression or an image with adjusted highlight suppression level. be able to.
[0018]
Also,Claim 11As described in the above, in the highlight suppression image capturing device of the present invention, the camera unit includes an infrared imaging element having infrared sensitivity on the long wavelength side, an optical filter that cuts the visible light sensitivity of the infrared imaging element, and visible light A visible light imaging device having sensitivity, and a highlight suppression signal generation unit generates a highlight suppression signal based on a video output of visible light output from the camera unit, and a video output acquired by the camera unit is The infrared image can be output as a highlight-suppressed infrared image through an active filter unit in which the transmission characteristics of the infrared image are controlled by a highlight suppression signal based on a visible light image.
With such a configuration, the highlight-suppressing image capturing apparatus of the present invention can be used as an infrared camera.
[0019]
In general, it is necessary to suppress highlighting of an image having a strong highlight portion, particularly in night road photography. In addition, infrared photography is often performed at night or in dark places. For this reason, it is necessary to realize infrared highlight suppression. Here, the near-infrared image and the visible light image usually do not differ greatly in the highlighted part. In addition, it is recognized that the CCD imaging device has a certain sensitivity to infrared rays. Therefore, in the present invention, an imaging apparatus capable of suppressing highlighting of an infrared image is realized by utilizing such sensitivity characteristics of the CCD imaging element.
For example, the visible light portion of a red channel having a constant sensitivity in the near infrared is cut with another optical filter and used as an infrared camera. On the other hand, a highlight suppression signal is generated from the blue or green channel image. Then, by sending this highlight suppression signal to the active filter, an infrared image in which highlights are suppressed can be acquired.
In this way, according to the present invention, it is possible to realize an infrared-capable imaging device suitable for suppressing highlights of night images in which image quality is deteriorated due to automobile headlights or the like.
[0020]
Also,Claim 12As described above, in the highlight suppression image capturing apparatus of the present invention, the active filter unit is configured as a composite element integrated with the image sensor of the camera unit.
As described above, in the present invention, the active filter element and the CCD image sensor can be formed as a composite image sensor, and in this way, for example, in the manufacturing process of the photographing apparatus, the active filter and each image sensor are arranged. Problems such as alignment are eliminated, and a high-performance imaging apparatus can be manufactured at low cost.
[0021]
Also,Claim 13As described above, the active filter section can be configured to have a multilayer structure in which elements for controlling the amount of transmitted light are arranged in a plurality of stages.
As described above, the active filter unit according to the present invention can have a plurality of element surfaces, for example, liquid crystal surfaces, for controlling the amount of transmitted light in pixel units or image region units. As a result, the light passing through the active filter section passes one after another through the multilayered liquid crystal elements, etc., and the amount of transmitted light is greatly controlled over a wider range by electronically controlling each liquid crystal surface. It becomes possible to do.
The active filter according to the present invention is a light transmission filter, and can be used repeatedly in principle. By using multiple layers of any number of active filters, it can be as powerful as sunlight in outer space. It can withstand high light intensity, and the nakedness sensitivity of the CCD can be maintained even for weak light. As a result, the active filter can select the dynamic range of light transmission as desired. In particular,In the present invention, the amount of suppression of the active filter is extracted and used as a new image signal.Control of the amount of transmitted lightPossibleThe multilayer structure of the active filter is particularly effective.
[0022]
Here, all the element surfaces that are multilayered may be controlled with the same highlight suppression signal, but when using element surfaces that have nonlinear transmission characteristics with respect to the amount of transmitted light, or from the beginning the material and characteristics It is effective to use an independent highlight suppression signal for each surface when different element surfaces are formed in multiple layers. In this case, there are multiple highlight suppression signals, but since the light transmission characteristics of the element surfaces are known in advance, the relationship between the highlight suppression signal intensity of each element surface and the amount of light highlight suppression is known. Further, from each characteristic, the amount of light highlight suppression in the entire multilayered filter in which they are stacked is also required. Therefore,The present inventionAs in, even when the image signal is generated from the highlight suppression amount, the image generation signal can be generated by combining the characteristics of the individual layers.
[0023]
Also,Claim 14As described above, the active filter section can be configured by an element that controls the amount of transmitted light according to the intensity of incident light without using electronic control.
As described above, in the present invention, in addition to using an electronically controllable element such as a liquid crystal as an element for controlling the amount of light transmitted through the active filter, the transmittance is directly affected by the light intensity without electronic control. An element that can be changed by itself can also be used, and by this, the function of the active filter according to the present invention can be realized in the same manner as an electronically controllable element. Such an element may be used alone, but it is more effective to try it over an electronically controllable active filter.
[0024]
Also,Claim 15As described above, the active filter section can be configured to control the amount of light transmitted to the imaging surface of each color channel by controlling the transmission time of the transmitted light.
With this configuration, in the active filter unit, not only the transmitted light amount is optically controlled based on the highlight suppression signal, but also the active filter unit transmits the light by electronically controlling the light transmission time. The amount of light can be controlled. That is, the active filter unit can function as an optical shutter.
The shutter function of such an active filter is an effective shutter function by using an element having excellent light ON / OFF characteristics as an element constituting the active filter and arranging the elements in a plane form in units of pixels. Can be realized.
[0025]
Also,Claim 16As described above, the image sensor provided on the imaging surface of each color channel may be configured to control the sensitivity of the imaging surface by controlling the charge accumulation time in a predetermined pixel unit or a predetermined image area unit. it can.
In this way, by controlling the charge accumulation time for each image sensor consisting of a CCD or a light-sensitive element, the exposure time in the highlighted part is shortened to increase the time resolution, and at the same time, the sensitivity is lowered. It is possible to increase the exposure time of the light portion, accumulate charges, and increase the sensitivity at substantially low illuminance.
[0026]
In general, in a normal imaging device, the charge accumulation time is always constant for each pixel, and the charge accumulation time is not changed in units of pixels. By making it possible to control the charge accumulation time of the image sensor on a pixel-by-pixel basis, it is possible to reduce the sensitivity of high-illuminance portions in the image and increase the dynamic range. That is, by controlling the effective incident light amount in units of pixels and lowering the sensitivity in the high illuminance portion, an image with a wide latitude can be acquired with a sufficient dynamic range.
Thus, by combining with the highlight suppression signal, the highlight suppression image can be acquired by the imaging unit alone. This means that the imaging unit has a part of the function of the active filter unit, so that the imaging unit can be used as the active filter unit according to the present invention.
[0027]
Here, in the image sensor, by controlling the charge accumulation time in units of pixels, the sampling frequency of each pixel can also be controlled in accordance with the amount of incident light, and in addition, the normal image frame time in units of pixels. Charges can be stored shorter or longer. Thereby, on the high illuminance side, the highlight side is suppressed, the sampling frequency becomes high, and the time resolution is improved. On the other hand, on the low illuminance side, the charge accumulation time becomes long, and the sensitivity can be increased by sacrificing the time resolution.
In addition, since the charge accumulation time differs for each pixel, image transmission can be performed at different sampling frequencies for each pixel. As described above, the increase in the sampling frequency increases the time resolution of the image on the high illuminance side, which is effective. In order to display the image on a normal image device or the like, it is desirable to store an image of a pixel unit once in a frame memory or the like and convert it to a fixed frame frequency to obtain a final image.
[0028]
Also,Claim 17As described above, the highlight suppression signal generation unit is provided for each color channel, and a highlight suppression image is generated for each color channel, and each generated highlight suppression image is combined, It can be set as the structure output as a final highlight suppression image.
As described above, in the present invention, it is possible to generate a highlight suppression signal for each color channel and generate a highlight suppression image for each color channel. Then, it is possible to restore the image of each channel independently from each highlight-suppressed image, combine them, and output the final image signal.
This is effective particularly when there is a large variation in the highlight portion in each channel.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a preferred embodiment of a highlight-suppressing image capturing apparatus according to the present invention will be described with reference to the drawings.
[First embodiment]
First, a first embodiment of the highlight-suppressed image capturing device of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing a schematic configuration of a highlight-suppressed image photographing apparatus according to the first embodiment of the present invention. 2A and 2B are explanatory views schematically showing the highlight suppression image capturing apparatus shown in FIG. 1, in which FIG. 2A is an overall view of the apparatus, and FIG. 2B is a detailed view of a lens system and an active filter.
The highlight-suppressed image capturing apparatus shown in these drawings is an image capturing apparatus that can capture a desired image and that can suppress and adjust a highlight portion of the image. In this embodiment, a 3CCD color camera or a single image capturing device can be used. A plate CCD camera is used. As schematically shown in FIG. 1, the photographing apparatus includes an optical system (camera unit) 10 and an electronic system (device unit) 20. The red and green images are optically suppressed, and a blue image is displayed. Is subjected to electronic suppression, and finally, these three color images are combined to output a color image in which highlights are suppressed.
[0032]
The optical system (camera unit) 10 is a camera unit that acquires a desired image, and includes an imaging unit and an imaging device provided corresponding to the
The electronic system (device unit) 20 is a device that inputs image signals of each color channel of video obtained by the
In the present embodiment, the highlight portion is extracted from the blue image acquired by the blue channel, the highlight suppression signal is generated by the electronic system (device unit) 20, and the
[0033]
In general, in a 3CCD color camera and a single-plate CCD camera, it is common to obtain images of the three primary colors by passing the images entering the camera through red, green and blue filters. In addition, as a feature of night scenery, the blue component in the image is extremely low compared to the daytime, so in the headlight image, the blue channel image is considered to be the least saturated than the other color channel images. .
Therefore, in the present embodiment, a highlight portion is extracted from the blue channel image, and a highlight suppression signal that suppresses the highlight portion of the red / green channel image is generated.
The color channel that is the basis of the highlight suppression signal is not limited to the blue channel, and other channels can be considered in exactly the same manner. For example, when acquiring a black and white image, one channel of the color camera is used to generate a highlight suppression signal, the filter is controlled by this signal to suppress the amount of light in the highlight portion, and the remaining two channels. A black and white signal may be acquired from In addition, since the CCD has sensitivity to near infrared rays, it is also possible to obtain infrared highlight-suppressed infrared images (see the third embodiment described later). Furthermore, a highlight suppression signal can be generated for each color channel independently (see fourth and fifth embodiments described later).
[0034]
Specifically, when the photographing apparatus is a 3CCD color camera, the optical system (camera unit) 10 according to the present embodiment is, as shown in FIG. 3, a prism type 3CCD imaging system that is usually employed in a color camera. It has become. As shown in the figure, the optical axis rays of the image are split in three directions by the prism, and finally reach the CCD elements (imaging elements) of the respective color channels. That is, the blue image is generated by the
An active filter 16 (16a, 16b) that performs optical suppression is provided immediately before the image sensor 15 (15a, 15b) for the red channel and the green channel, and the corresponding image sensor is controlled by control using a highlight suppression signal. The amount of transmitted light is optically adjusted. Since the blue channel is used for generating a highlight suppression signal, the active filter is omitted (see FIGS. 1 and 3), but it is of course possible to provide an active filter in the blue channel.
[0035]
The photographing apparatus can be composed of a single plate CCD camera.
In the single-plate CCD camera, as shown in FIG. 4, by applying a color filter of “RGB” (or “CMY”) for each CCD element of the CCD elements arranged in a matrix, This is a method for extracting each color. Such a single-plate CCD takes out luminance and color information from one CCD element, which is disadvantageous in terms of resolution compared to 3 CCD, but can be reduced in price, reduced in size and weight, etc. Used in digital still cameras.
Such a single-plate CCD camera can also be optically suppressed by the
[0036]
In this case, as shown in FIG. 4, the CCD element is arranged with four types of RGBN filters as an CCD surface, in addition to the RGB filter, an N filter which is an element for acquiring a highlight suppression signal. It will be. In addition, corresponding to each color filter of RGBN for each pixel on the CCD surface, an
In addition, without providing a dedicated channel provided with an N filter, it is also possible to generate a suppression image from three types of channels provided with an RGB filter, either individually or from brightness channels constituting all channels.
As described above, the single-chip CCD method and the 3CCD method are different in that RGB is extracted for each pixel or whether each RGB image is structurally separated and then decomposed into pixels and extracted. Even if it exists, optical highlight suppression by the active filter which concerns on this invention is possible.
[0037]
Furthermore, the image sensor of each color channel can control the amount of light transmitted to the imaging surface by controlling the charge accumulation time in a predetermined pixel unit or a predetermined image area unit. For image sensors consisting of CCD elements and light sensing elements, by controlling the charge accumulation time for each element, the exposure time in the highlight part is shortened to increase the time resolution, and at the same time the sensitivity is lowered, and the exposure in the low light part is performed. The charge can be accumulated by extending the time, and the sensitivity can be increased at substantially low illumination.
In this way, by making it possible to control the charge accumulation time of the image sensor on a pixel-by-pixel basis, it is possible to reduce the sensitivity of high-illuminance portions in the image and increase the dynamic range. That is, by controlling the effective incident light amount in units of pixels and lowering the sensitivity in the high illuminance portion, an image with a wide latitude can be acquired with a sufficient dynamic range.
[0038]
In addition, by controlling the charge accumulation time in units of pixels in the imaging device in this way, the sampling frequency of each pixel can also be controlled according to the amount of incident light, and furthermore, the normal image frame time in units of pixels. Charges can be stored shorter or longer. Thereby, on the high illuminance side, the highlight side is suppressed, the sampling frequency becomes high, and the time resolution is improved. On the other hand, on the low illuminance side, the charge accumulation time becomes long, and the sensitivity can be increased by sacrificing the time resolution.
In addition, since the charge accumulation time is different for each pixel, image transmission can be performed at different sampling frequencies for each pixel. By increasing the sampling frequency, the time resolution of the image on the high illuminance side is increased, which is more effective. In order to display the image on a normal image device or the like, it is desirable to store an image of a pixel unit once in a frame memory or the like and convert it to a fixed frame frequency to obtain a final image.
[0039]
The
In the present embodiment, as shown in FIG. 2, an active optical filter that optically controls only the highlight portion of the red and green channel images, that is, an
Here, the
Moreover, the
[0040]
The
[0041]
Here, all the element surfaces of the
[0042]
FIG. 5 schematically shows the state of the active filter surface. As shown in FIG. 5A, the active filter controls the amount of light transmitted in units of pixels, and has an optical suppression effect that blocks light in the highlight portion. For example, as shown in FIG. A light suppression effect can be generated.
In this way, by applying appropriate optical suppression by the
[0043]
The
In order to provide such a shutter function, it is effective to use an element having excellent light ON / OFF characteristics as an element constituting the
Further, for example, a light amount suppressing element such as a liquid crystal element that can control the amount of transmitted light used in a liquid crystal projector or the like can be configured by each dot.
[0044]
Here, the
[0045]
As shown in FIG. 2B, since the CCD surface (imaging device surface) is the image formation surface itself, strictly speaking, the active filter is not structurally the image formation surface itself, but a minute amount of the image formation surface. This is rather preferable for high-definition image generation. If the active filter completely overlaps the CCD surface, the structural optical transmission characteristics of the active filter directly affect the image, so the structure of the active filter gives the image slightly shifted from the image plane. This is because the adverse optical effect can be reduced.
The active filter element (active filter 16) as described above can be formed as a composite image sensor integrated with the CCD image sensor (image sensor 15). In this way, for example, in the manufacturing process of the photographing apparatus, there are no problems such as the alignment of the
[0046]
By the way, as shown in FIG. 2B, in the structure in which the
Here, for example, by generating the relay image once in the lens system and installing the
[0047]
Therefore, in the present embodiment, as shown in FIGS. 6 and 7, a dedicated lens including an imaging plane and the
Specifically, as shown in FIG. 7B, the first imaging plane 14-1 is set in the gap between the first lens system 11-1 and the second lens system 11-2. And the
With this configuration, there is no need to set an active filter in the vicinity of the CCD image pickup device surface and the second imaging surface 14-2 located in the camera body, and the camera system can be improved only by improving the lens system. A highlight-suppressing image capturing device can be realized without changing the structure of the main body.
[0048]
Then, an image of each color channel acquired through the CCD image sensor as described above is output to the electronic system (device unit) 20 as an electronic signal.
In the electronic system (device unit) 20, as shown in FIG. 1, first, a blue channel image output from the
The highlight
[0049]
Here, as will be described later, the highlight suppression signal may be a binary suppression signal that suppresses only the highlight portion and does not suppress the non-highlight portion, but is acquired by the
Then, the highlight suppression signal is sent to the
[0050]
Further, as shown in FIG. 1, the blue channel image is also input to the blue channel matching unit, and is electronically suppressed by the highlight suppression signal from the highlight suppression signal generation unit. The signal is input to the
Since the amount of highlight suppression is the highlight suppression signal itself, highlight suppression can be canceled electronically by reverse conversion. Even in such a case, the optical highlight suppression effect is maintained, so that an image having no deterioration can be obtained as compared with an image of only conventional electronic control.
Furthermore, in this embodiment, the highlight suppression signal is input to the restoration
[0051]
Up to this point, an electronically suppressed blue channel highlight suppression image and an optically suppressed red channel suppression image and a green channel suppression image, a total of three channel highlight suppression images, have been independently acquired. become.
These three-channel images are input to the final video
The image signal input to the red / green channel image
[0052]
Next, details of the highlight suppression signal in the imaging apparatus of the present embodiment as described above will be described with reference to FIGS.
First, the highlight suppression signal generated by the highlight
Therefore, as shown in FIG. 8, the highlight suppression signal of the present embodiment can be generated as a non-binary signal having gradation instead of a binary signal, and can be set so that appropriate optical feedback is applied. . By using the highlight suppression signal having such a non-binary gradation, the s / n of the image can be increased, and as a result, a high-quality image can be obtained.
[0053]
Specifically, as shown in FIG. 8, the highlight suppression signal is generated not only by the highlight suppression but also by the highlight suppression signal generation unit so that the entire image is stronger as the highlight is applied and weaker as the low light is applied. The highlight suppression signal can be generated to have a gradation. In such a suppression signal, “suppression” is not limited to the highlight portion, so it may not be necessary to use “highlight suppression” as the name of the signal, but the suppression portion is more strongly suppressed. For this reason, it is also appropriate to call it a “highlight suppression signal”. Of course, other names can be freely adopted.
The suppression characteristic of FIG. 8A is a case where the input / output relationship is a linear relationship, and the suppression degree is constant when saturated. The suppression characteristic shown in FIG. 8B has a nonlinear input / output relationship in consideration of the characteristics of the CCD. The suppression characteristic in FIG. 8C is a case where only the highlight is particularly strong and is set to be lower than the saturation point.
[0054]
As an advantage of generating a highlight suppression signal having such non-binary suppression characteristics, this suppression signal may be used as a restoration signal for further restoring a suppression image.
By using the suppression signal having the same characteristics as the restoration signal for the restoration of the image signal, the restoration can be correctly restored regardless of whether the suppression characteristic is linear or non-linear. Thus, the fact that any linear suppression signal can be used as a restoration signal means that the best suppression signal (= restoration signal) can be set in consideration of only the characteristics of the CCD image sensor and the s / n characteristics. Become. This means that even if the accuracy of the suppression signal is poor, the final result is hardly affected, and the rate at which the final image characteristics are distorted by the active filter is extremely small.
[0055]
When an image is acquired using the non-binary highlight suppression signal and restoration signal as described above, for example, a highlight suppression image as shown in FIG. 9 can be obtained.
The image input signal shown in FIG. 9A has two strong highlight portions exceeding the saturation threshold. Only the blue signal is extracted from this, and a gradation type highlight suppression signal as shown in FIG. 9B is generated. In the figure, the highlight exceeding the suppression point is set to a constant value (see FIG. 10A).
By driving the
The blue channel image is also electronically suppressed with the same suppression signal to match the signal characteristics with the red / green channel image.
[0056]
Then, the final color image as shown in FIG. 9D is obtained by vector-combining the images of the three color channels and restoring them by the restoration signal.
As shown in the figure, in the restored final color image, only the highlight part exceeding the saturation point is suppressed, and the other part has the same level as the gradation of the original video (see FIG. 9A). It is output as an image showing a key.
As described above, a high-definition highlight suppression image can be obtained.
[0057]
The highlight suppression signal is not limited to the non-binary signal characteristic having the gradation as described above, and a binary signal that suppresses only the highlight portion can also be used. .
FIG. 10 shows an image signal obtained with the binary suppression signal. In this case, only the highlight portion exceeding the saturation threshold shown in FIG. 10A is suppressed by the binary suppression signal as shown in FIG. 10B, and the final image is shown in FIG. 10C. A correct image will be obtained.
[0058]
Further, as described above, in the present embodiment, the
FIG. 11 shows the effect of adding the optical shutter function to the
[0059]
This figure shows a case where the sensitivity is controlled and lowered.
As shown in FIG. 11A, when the light transmittance of the
Similarly, in the roller light portion, by increasing the exposure time, the charge accumulation time can be extended and the sensitivity can be increased.
[0060]
As described above, according to the highlight-suppressing image capturing apparatus according to the present embodiment, the optical system (camera unit) 10 capable of acquiring a desired image in each of the three channels of red, green, and blue, In a photographing device such as a 3CCD camera or a single-plate CCD camera equipped with an electronic system (device unit) 20 for processing an image signal, a highlight portion is extracted from the output image of the blue channel out of the three types of video output. A light suppression signal can be generated. The
Then, the
[0061]
[Second Embodiment]
Next, a second embodiment of the highlight suppression image capturing apparatus of the present invention will be described with reference to FIGS.
FIG. 12 is a block diagram showing a schematic configuration of a highlight-suppressed image capturing apparatus according to the second embodiment of the present invention. FIG. 13 is an explanatory diagram of the entire apparatus schematically illustrating an example of the highlight suppression image capturing apparatus illustrated in FIG. 12. FIG. 14 is an explanatory view schematically showing another example of the highlight suppression image photographing apparatus shown in FIG. 12, and is a detailed view of a prism, a CCD, and an active filter provided in an optical system of a 3 CCD camera.
As shown in these drawings, the highlight suppression image capturing apparatus of the present embodiment has an optical system (main camera unit) 10 serving as a desired video acquisition channel and a highlight suppression signal as an optical system for acquiring video. A dedicated optical system (dedicated camera unit) 30 serving as a dedicated channel is configured separately. Other configurations are the same as those of the first embodiment.
[0062]
Specifically, as shown in FIG. 13, a
Then, a highlight portion can be extracted from the image of the dedicated channel by generating a histogram of the output of the
[0063]
Here, the
As described above, in the present embodiment, a camera unit (main camera unit 10) serving as a video acquisition channel and a camera unit (dedicated camera unit 30) serving as a channel dedicated to highlight suppression signals are provided, or other than red, green, and blue By providing a separate dedicated channel for generating the highlight suppression signal, it is possible to apply optical suppression to each image of red, green, and blue with the highlight suppression signal generated in the dedicated part, so that more complete highlighting is possible. It becomes possible to produce a suppression effect.
In the present embodiment, the case where the photographing apparatus is a 3CCD camera has been described as an example, but it goes without saying that the photographing apparatus may be a single-plate CCD camera as in the case of the first embodiment described above.
[0064]
[Third embodiment]
Next, a third embodiment of the highlight-suppressing image capturing apparatus of the present invention will be described with reference to FIGS.
FIG. 15 is a block diagram showing a schematic configuration of a highlight-suppressed image capturing apparatus according to the third embodiment of the present invention. FIG. 16 is an explanatory diagram of the entire apparatus schematically showing the highlight suppression image capturing apparatus shown in FIG.
As shown in these drawings, the highlight-suppressing image capturing apparatus of the present embodiment constitutes an infrared camera in which an optical system that acquires a video can acquire an infrared image. Other configurations are the same as those of the first embodiment.
[0065]
The principle of acquiring the highlight suppression image from the infrared video is basically the same as that of the visible light video in the first embodiment described above.
However, the highlight suppression signal for the infrared image is desirably generated from a green or blue image other than red.
In general, an image sensor used in a color camera has wavelength sensitivity characteristics as shown in FIG. In particular, the wavelength sensitivity characteristic of the red CCD element is characterized in that it has some sensitivity in the near infrared as shown by the broken line in FIG. Therefore, by utilizing the sensitivity characteristics of such a CCD element, it is possible to generate an infrared image and obtain a desired highlight-suppressed infrared image.
[0066]
Specifically, as shown in FIGS. 15 and 16, the same
Further, the blue or green channel is used for acquiring the highlight suppression signal. Other configurations and functions are the same as those in the first embodiment.
By adopting such a configuration, the photographing apparatus of the present embodiment can be used as an infrared camera. For example, the infrared photographing apparatus suitable for suppressing highlights of night images in which the image quality deteriorates due to automobile headlights or the like. Can be realized.
Further, by combining this infrared image capturing device with the image capturing device of the first embodiment, it is possible to use the same camera as a color image camera during the day and an infrared image camera at night.
[0067]
[Fourth embodiment]
Next, a fourth embodiment of the highlight-suppressing image capturing apparatus of the present invention will be described with reference to FIGS.
FIG. 18 is a block diagram showing a schematic configuration of a highlight-suppressed image capturing apparatus according to the fourth embodiment of the present invention. FIG. 19 is a graph showing image signals and highlight suppression signals obtained for each color channel in the highlight suppression image capturing apparatus according to the present embodiment.
The highlight suppression image capturing apparatus of the present embodiment shown in these figures generates a highlight suppression signal for each color channel corresponding to each color channel (RGB) of the video acquired by the camera unit. Yes. Other configurations are the same as those of the first embodiment.
[0068]
As shown in FIG. 18, in the present embodiment, the video acquired by the
Each image signal generation unit includes highlight suppression
Then, a highlight suppression image that is transmitted through the active filter and optically suppressed is generated for each color channel, and each of the generated highlight suppression images is synthesized by the final
[0069]
FIG. 19 shows a highlight suppression image signal generated and acquired for each color channel. FIG. 5A shows a red channel signal, FIG. 5B shows a green channel signal, and FIG. 5C shows a blue channel signal.
As shown in these figures, by generating a highlight suppression image signal for each color channel, when there is a lot of variation in the highlight part in each RGB color channel, the highlight suppression characteristic is set independently for each color channel Thus, highlight suppression can be performed in the most efficient region for each color channel.
Then, it is possible to generate a highlight restoration image from the highlight suppression image signal for each color channel and combine them to output a final image signal.
[0070]
As described above, in the highlight suppression image capturing apparatus of the present embodiment, it is possible to generate a highlight suppression signal for each color channel and generate a highlight suppression image for each color channel. Then, it is possible to restore the image of each channel independently from each highlight-suppressed image, combine them, and output the final image signal.
As a result, it is possible to generate an image in which highlight suppression is independently performed for each color channel, and it is possible to obtain a clearer and higher-quality final image even when the variation in the highlight portion is large in each channel.
[0071]
[Fifth embodiment]
Next, a fifth embodiment of the highlight-suppressing image capturing apparatus of the present invention will be described with reference to FIGS.
FIG. 20 is a block diagram showing a schematic configuration of a highlight-suppressed image capturing device according to the fifth embodiment of the present invention.
FIG. 21 and FIG.BookIt is a graph which shows the image signal and highlight suppression signal which are obtained with the highlight suppression image photographing device according to the embodiment, where (a) is an input image signal, (b) is a highlight suppression signal, and (c) is high. The suppression amount of the light suppression signal, (d) shows the histogram of the highlight suppression image signal after suppression, and (e) shows the image signal generated from the suppression amount of the highlight suppression signal.
[0072]
The highlight-suppressed image capturing device of the present embodiment shown in these drawings is a further modified embodiment of the fourth embodiment that can generate and acquire a highlight-suppressed image for each color channel, and is generated and acquired for each color channel. To suppress the output of the highlight suppression image generated based on the highlighted suppression signal to a predetermined reference value, generate an image signal from the signal indicating the suppression amount, and output it as the final highlight suppression image It has become.
In this case, among the highlight suppression images generated based on the highlight suppression signal, the highlight portion generates an image signal from a signal indicating the suppression amount suppressed to a predetermined reference value, and the low light portion Is generated as an image signal based on the highlight suppression signal, and the respective image signals are combined to be output as the final highlight suppression image.
[0073]
Specifically, in the present embodiment, a highlight suppression signal is generated from each color channel, and for each highlight suppression signal, the output of each pixel in the color channel is a predetermined value (reference value). Until it becomes equal to, and the amount of suppression is extracted and used as a new image signal.
That is, it is possible to suppress the highlight suppression image output histogram until it becomes substantially flat, and to extract the suppression amount as a new image signal. Then, by performing this for each color channel, a new RGB image signal can be extracted. What has been called the image signal so far suppressed at this time loses image information. The intensity of the input light is made uniform on the CCD surface, and the highlight suppression signal takes charge of image information.
[0074]
Here, as shown in the first embodiment, the active filters can be multi-layered in a plurality of stages, and the dynamic range of light transmission can be selected as desired. Therefore, by setting the active filter so that the dynamic range of light transmittance of the active filter is larger than the dynamic range of the general CCD, the method of this embodiment using the above-described suppression amount signal with the final image information is large. It will be effective.
In this case, the CCD already serves as a light detector, not as an image sensor, and a characteristic portion where the light intensity versus signal output characteristic of the CCD has the best gradation resolution can be used. Further, since the amount of light finally reached is constant, the sensitivity of the image sensor CCD itself is important, and the dynamic range may be low.
[0075]
In other words, in this embodiment, an active filter that controls the amount of transmitted light is generating an image, not a CCD that is an image sensor.
Then, it is possible to generate a highlight suppression signal that makes the image output from the CCD constant in the characteristic portion as described above.
In this way, in this embodiment, the highlight suppression signal for suppressing the active filter can be used as a new image signal, so that an image with a wide latitude can be expressed without being restricted by the CCD.
[0076]
In this embodiment, since the CCD is exposed only to a certain light intensity, it is preferable to design and use a CCD having excellent differential sensitivity at a specific light intensity. In addition, such a design handles light with a narrow latitude from the viewpoint of the CCD, and the dynamic range may be extremely narrow, making it possible to reduce the manufacturing cost of the CCD and to facilitate development. Of course, it is possible to use an existing CCD as it is.
Further, since the active filter can control the amount of light not only by shading but also by the light transmission time (see the first embodiment), it can provide a better quality image. Of course, by combining both the suppression signal and the CCD output image, a better image output incorporating the features of both can be generated.
[0077]
Hereinafter, the property of the highlight suppression signal (suppression amount signal) in the present embodiment will be described using equations.
Since the input image acquired by the camera unit is an optical image and has not yet been converted to an electronic signal, the same field relationship with other electronic signals such as other highlight suppression signals and highlight suppression image signals. It cannot be expressed as an expression. Therefore, in the following description, information energy is defined, and each is converted into an information energy field as a common field for obtaining a relational expression. Here, in order to simplify the explanation, the amount expressed by the following equation is defined as information energy.
[0078]
The information energy of the input image immediately before the active filter: f (x, y, R, G, B) can be decomposed into three colors as follows, and the information energy component of each input image is fr (x, If y, R), fg (x, y, g), and fb (x, y, b), the information energy can be expressed by the following
f (x, y, R, G, B) = fr (x, y, R), fg (x, y, g), fb (x, y, b)...
Since all color channels are the same, for example, when focusing on the red channel, the equation for processing the red channel input suppression signal with the red channel highlight suppression signal to generate the red channel highlight suppression image is the information energy. It becomes like the
fr (x, y, R) = gr (x, y, R) · Kr (x, y, R)
Here, the decomposed fr (x, y, R) is the information energy of the red channel input signal, gr (x, y, R) is the information energy of the highlight suppression signal of the red channel, and Kr (x, y, R) ) Is the information energy of the highlight suppression image output signal of the red channel, x and y are the image plane coordinates of the red channel, and R is the information energy of the signal intensity of the red channel at x and y. The same applies to the other channels.
[0079]
And the meaning of the said
Information energy of the original image: fr (x, y, R) is distributed to gr (x, y, R) and Kr (x, y, R) by converting light energy to electron energy Is done. Therefore, in order to reproduce the information energy of the original image information: fr (x, y, R), both dispersed gr (x, y, R) and Kr (x, y, R) are required. Yes, the original image information can be reproduced from gr (x, y, R) and Kr (x, y, R). This is also common to the first to fourth embodiments described above, including this embodiment.
If the information energy of the input signal of the red channel: fr (x, y, R) is divided by the information energy of the highlight suppression signal of the red channel: gr (x, y, R) (if highlight suppression conversion processing is performed) ), The information energy of the highlight suppression image output of the red channel: Kr (x, y, R) is obtained.
[0080]
The present embodiment is a special case indicated by the relationship of the
Highlight image in red channeloutputIf the information energy of the signal: Kr (x, y, R) is set to a constant value Kr, the
Kr = fr (x, y, R) / gr (x, y, R)
When this
gr (x, y, R) = fr (x, y, R) / Kr Expression 4
As Equation 4 shows, the information energy of the red channel input image: fr (x, y, R) multiplied by a constant (1 / Kr) is the information energy of the red channel highlight suppression signal: gr ( x, y, R). Alternatively, the information energy of the red channel highlight suppression signal: gr (x, y, R) is proportional to the information energy of the input image of the red channel: fr (x, y, R).
[0081]
At this time, the proportionality constant (1 / Kr) is constant, and gr (x, y, R) is the information energy itself of the original image of the red channel.
Information energy: Kr (x, y, R) of the red channel highlight suppression image output shown in Equation 4 is a constant Kr, and Kr (x, y, R) loses image information.
Similarly, for the green channel gg (x, y, G) and the blue channel gb (x, y, G), the same can be said as in equation 4, as shown in
gg (x, y, G) = fg (x, y, G) / Kg Equation 5
gb (x, y, B) = fb (x, y, B) /
[0082]
In this embodiment, the final red channel highlight image output signal is not the red channel highlight image output signal Kr (x, y, R), but the red channel highlight suppression signal gr (x , y, R) itself.
The signals obtained by synthesizing the respective color channel outputs are as shown in the following equations 7 and 8.
g (x, y, R, G, B) = fr (x, y, R) / K (r, g, b) Equation 7
g (x, y, R, G, B) = fr (x, y, R) / Kr + fg (x, y, G) / Kg + fb (x, y, B) / Kb Equation 8
This indicates that in the present embodiment, the highlight suppression signal is the input image itself.
[0083]
And in order to implement | achieve the above equations, the highlight suppression image imaging device of this embodiment is configured as shown in FIG.
As shown in the figure, in this embodiment, as in the case of the fourth embodiment, a red image
Further, in the present embodiment, output reference
Then, each highlight suppression image generated for each color channel is synthesized by the final
[0084]
With the highlight-suppressed image capturing apparatus of the present embodiment configured as described above, a highlight-suppressed image is generated and output as follows.
First, an input image acquired by the
[0085]
The output reference
Further, the difference 0
[0086]
At this time, among the input images acquired by the
By doing so, the highlight portion can generate a sufficiently high image output, and the low light portion can be raised to the nakedness sensitivity of the CCD, and a wide range of image output from highlight to low light can be obtained. . At this time, the latitude of the displayed video is improved until it is constrained by the performance of the display device rather than the imaging side. That is, even when shooting against backlight, the sun image itself and the details of the shaded part are all photographed at the same time, and then the performance limit on the display device side can be expressed.
[0087]
21 and 22 show image signals generated from the suppression amount of the highlight suppression image obtained in this embodiment.
The signal shown in FIG. 21 is a case where the highlight suppression signal itself is used as an image signal.
First, when an input image signal as shown in (a) in the figure is suppressed for highlighting, as shown in (d) for the highlight suppression signal ((b) in the figure), a highlight-suppressed image is displayed. The amount of suppression of the highlight suppression signal is controlled until the signal becomes flat ((c) in the figure). Then, the obtained highlight suppression signal ((c) in the figure) is used as the final image signal ((e) in the figure).
As described above, in the example shown in FIG. 21, the highlight suppression signal is used as an image signal as it is for all the highlight and low light portions of the image and is output as the final image signal.
[0088]
The signal shown in FIG. 22 is a case where the highlight suppression signal itself is used as an image signal, and the image signal is combined with the suppression image signal suppressed by the highlight suppression signal to be the final image signal.
First, when the input image signal as shown in FIG. 6A is suppressed in highlight, the highlight portion of the image is shown in FIG. In this way, the amount of suppression of the highlight suppression signal is controlled until the highlight suppression image signal becomes substantially flat ((c) in the figure). Then, a part of the highlight suppression image signal (low light part) is synthesized with the obtained highlight suppression signal ((c) in the figure) as shown in FIG. It is used as a signal ((e) in the figure).
As described above, in the example shown in FIG. 22, the highlight suppression signal is used as an image signal as it is for the highlight portion, and the suppression image suppressed by the highlight suppression signal is used for the roller light portion. The image signals of the light part and the low light part are combined and output as the final image signal.
[0089]
As described above, according to the highlight suppression image capturing apparatus according to the present embodiment, the highlight suppression signal is generated from one or more color channels, and the output of the corresponding color channel is determined by the suppression signal. The image is suppressed until the obtained value is reached, and the amount of suppression can be extracted to obtain a new image signal. Then, by executing this for each of the RGB color channels, a new RGB image signal can be extracted. What has been called the image signal so far suppressed at this time loses image information. The intensity of the input light is made uniform on the imaging surface (CCD surface), and image information is handled by a highlight suppression signal indicating the suppression amount.
In this way, in the present embodiment, a desired highlight suppression image can be generated by an active filter that controls the amount of transmitted light, not by an image sensor made up of a CCD.
[0090]
The above is a preferred embodiment of the highlight-suppressing image capturing device of the present invention, but the highlight-suppressing image capturing device according to the present invention is not limited to the above-described embodiments, and the present invention is not limited thereto. It goes without saying that various modifications can be made within the range described above.
For example, as shown in FIGS. 23 and 24, a part of the configuration of the photographing apparatus can be selectively omitted, and the apparatus configuration can be simplified.
In the example shown in FIG. 23, the restoration signal generation unit 24 (see FIG. 1) that generates a restoration signal from the highlight suppression signal is omitted. In this case, the final highlight suppression image is an image having a suppression characteristic that is not restored by the restoration signal (see FIG. 9C).
Further, in the example shown in FIG. 24, the blue
[0091]
【The invention's effect】
As described above, according to the highlight-suppressing image capturing device of the present invention, images with a wide latitude or images with intense highlights are optically and electronically highlighted before the light reaches the image sensor. By removing and suppressing the light component, it is possible to generate an image in which the influence of the highlight is essentially suppressed and removed, and it is possible to generate an image in which the highlight is restored without degrading the image quality.
This makes it possible to shoot sunlight in the outer space, its dark surroundings, nighttime, etc. when shooting images affected by highlights, such as headlight images of cars, etc. at night or in the dark, and high contrast images in outer space. The headlight part of the road image and the dark part of the surrounding area, such as the bright part in the image, are removed or appropriately suppressed so that the dark part in the image is not affected by the highlight and is a high-quality image. Can be acquired.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a highlight-suppressed image capturing apparatus according to a first embodiment of the present invention.
2A and 2B are explanatory views schematically showing the highlight-suppressed image photographing apparatus shown in FIG. 1, in which FIG. 2A is an overall view of the apparatus, and FIG. 2B is a detailed view of a lens system and an active filter.
FIG. 3 is an explanatory view schematically showing the highlight suppression image capturing apparatus shown in FIG. 1, and is a detailed view of a prism, a CCD, and an active filter provided in an optical system of a 3 CCD camera.
4 is a plan view showing a CCD element surface provided in an optical system when the highlight suppression image capturing apparatus shown in FIG. 1 is a single-plate CCD camera. FIG.
FIGS. 5A and 5B are explanatory diagrams showing a control state of an active filter of the highlight-suppressing image capturing apparatus according to the first embodiment of the present invention, wherein FIG. 5A is a schematic diagram of an active filter surface, and FIG. The graph figure which shows light transmission amount is shown.
FIG. 6 is a block diagram showing a schematic configuration of a modified example of the highlight-suppressing image capturing device according to the first embodiment of the present invention.
7 is an explanatory diagram schematically showing the highlight-suppressed image photographing device shown in FIG. 6, in which (a) is an overall view of the device, and (b) is a detailed view of a lens system and an active filter.
FIGS. 8A, 8B, and 8C are graphs showing characteristics of highlight suppression signals obtained by the highlight suppression image capturing apparatus according to the first embodiment of the present invention.
FIG. 9 is a graph showing an image signal and a highlight suppression signal obtained by the highlight suppression image capturing apparatus according to the first embodiment of the present invention, where (a) is an image input signal, and (b) is a gradation. (C) shows a gradation-type highlight suppression image signal, and (d) shows a gradation-type restored image signal.
FIGS. 10A and 10B are graphs showing other image signals and highlight suppression signals obtained by the highlight suppression image capturing apparatus according to the first embodiment of the present invention. FIG. 10A is an image input signal, and FIG. Value type highlight suppression signal, (c) shows a binary type highlight suppression image signal.
FIG. 11 is a graph showing another image signal obtained by the highlight-suppressing image capturing apparatus according to the first embodiment of the present invention. FIG. 11A shows the light transmission time by the shutter and the light transmission time of the filter. (B) shows a comparison of image signals with and without the shutter function.
FIG. 12 is a block diagram illustrating a schematic configuration of a highlight-suppressed image capturing apparatus according to a second embodiment of the present invention.
13 is an explanatory diagram of the entire apparatus schematically showing the highlight suppression image capturing apparatus shown in FIG. 12;
14 is an explanatory view schematically showing another example of the highlight suppression image capturing apparatus shown in FIG. 12, and is a detailed view of a prism, a CCD, and an active filter provided in an optical system of a 3 CCD camera.
FIG. 15 is a block diagram illustrating a schematic configuration of a highlight-suppressed image capturing apparatus according to a third embodiment of the present invention.
16 is an explanatory diagram of the entire apparatus schematically showing the highlight suppression image capturing apparatus shown in FIG. 15;
FIG. 17 is a graph showing sensitivity characteristics of the image sensor section.
FIG. 18 is a block diagram showing a schematic configuration of a highlight-suppressed image capturing device according to a fourth embodiment of the present invention.
FIG. 19 is a graph showing an image signal and a highlight suppression signal obtained for each color channel in the highlight suppression image capturing apparatus according to the fourth embodiment of the present invention, where (a) is a red channel, and (b). Indicates a green channel signal, and (c) indicates a blue channel signal.
FIG. 20 is a block diagram showing a schematic configuration of a highlight-suppressed image capturing device according to a fifth embodiment of the present invention.
FIGS. 21A and 21B are graphs showing an image signal and a highlight suppression signal obtained by the highlight suppression image capturing apparatus according to the fifth embodiment of the present invention, in which FIG. 21A is an input image signal, and FIG. The light suppression signal, (c) is the suppression amount of the highlight suppression signal, (d) is the histogram of the highlight suppression image signal after suppression, and (e) is the image signal generated from the suppression amount of the highlight suppression signal. Yes.
FIG. 22 is a graph showing an image signal and a highlight suppression signal obtained by the highlight suppression image capturing apparatus according to the present embodiment, where (a) is an input image signal and (b) is an image signal, respectively. Highlight suppression signal, (c) is a suppression amount of the highlight suppression signal, (d) is a histogram of the highlight suppression image signal after suppression, (e) is an image signal generated from the highlight suppression signal and the suppression amount. Show.
FIG. 23 is a block diagram showing a schematic configuration of a highlight-suppressed image capturing apparatus according to another embodiment of the present invention.
FIG. 24 is a block diagram illustrating a schematic configuration of a highlight-suppressed image capturing apparatus according to another embodiment of the present invention.
[Explanation of symbols]
10 Optical system (camera part)
11 Lens system
12 Blue image forming part
13 Blue image sensor (CCD)
14 Red / green image forming part
15 Red and green image sensor (CCD)
16 Active filter section
20 Electronic system (equipment part)
21 Blue channel image generator
22 Highlight suppression signal generator
23 Blue channel matching section (electronic control section)
24 Restoration signal generator
25 Blue channel image signal output section
26 Highlight suppression image generator
27 Red / Green channel image signal output section
28 Final video signal output section
Claims (17)
光学レンズ系を介して結像する被写体の結像面近傍に備えられる、透過光量を制御可能なアクティブフィルタ部と、
アクティブフィルタ部を透過する透過光の光量を検出する光感知手段と、
光感知手段で検出される光量が所定の基準値となるようアクティブフィルタ部の透過光量を抑制するハイライト抑制信号を生成するハイライト抑制信号生成部と、を備え、
このアクティブフィルタ部の透過光量を抑制するハイライト抑制信号を画像信号として出力する
ことを特徴とするハイライト抑制画像撮影装置。 A camera unit equipped with an optical lens system;
An active filter unit capable of controlling the amount of transmitted light, provided in the vicinity of an imaging surface of a subject to be imaged via an optical lens system;
A light sensing means for detecting the amount of transmitted light passing through the active filter section;
A highlight suppression signal generation unit that generates a highlight suppression signal that suppresses the amount of light transmitted through the active filter unit so that the amount of light detected by the light sensing means becomes a predetermined reference value;
A highlight-suppressed image capturing apparatus that outputs a highlight suppression signal that suppresses the amount of light transmitted through the active filter section as an image signal .
このハイライト抑制信号に基づいて、アクティブフィルタ部が各色チャンネルの撮像素子への透過光量を光学的に制御し、
カメラ部で取得される映像が、アクティブフィルタ部を透過して、各色チャンネルの撮像素子で撮像されて、光学的にハイライトが抑制されたハイライト抑制画像として出力される請求項１記載のハイライト抑制画像撮影装置。 A highlight suppression signal generation unit generates a highlight suppression signal based on video output from at least one color channel among video outputs of one or more color channels output from the camera unit,
Based on this highlight suppression signal, the active filter unit optically controls the amount of light transmitted to the image sensor of each color channel,
2. The highlight according to claim 1, wherein an image acquired by the camera unit is transmitted through the active filter unit, captured by the image sensor of each color channel, and output as a highlight suppression image in which highlight is optically suppressed. Light suppression image capturing device.
アクティブフィルタ部が、レンズ光学系内の結像面近傍に備えられる請求項１〜５のいずれか一項記載のハイライト抑制画像撮影装置。The camera unit has an imaging surface in the lens optical system ,
The highlight-suppressing image capturing apparatus according to claim 1 , wherein the active filter unit is provided in the vicinity of the imaging surface in the lens optical system.
ハイライト抑制信号生成部が、画像取得チャンネル部で得られる映像と対応する、専用チャンネル部で取得される映像出力に基づきハイライト抑制信号を生成する請求項１〜６のいずれか一項記載のハイライト抑制画像撮影装置。The camera unit includes an image acquisition channel unit for acquiring a desired video, and a dedicated channel unit different from the image acquisition channel unit for acquiring a video for generating a highlight suppression signal,
Highlights suppression signal generation unit, corresponding to the image obtained by the image acquisition channel section, of any one of claims 1 to 6 to produce a highlight suppression signal based on the video output acquired by the dedicated channel portion Highlight suppression image capturing device.
カメラ部で取得される映像出力が、アクティブフィルタ部を介して光学的にハイライト抑制されるとともに、電子的にハイライト抑制されたハイライト抑制画像として出力される請求項１〜７のいずれか一項記載のハイライト抑制画像撮影装置。An electronic control unit that electronically suppresses video output from the camera unit based on the highlight suppression signal,
Video output acquired by the camera unit, while being optically highlighted suppressed through the active filter section, any one of claims 1 to 7 to be output as a highlight suppressed images electronically highlights suppressed The highlight suppressing image capturing apparatus according to one item.
カメラ部で取得される映像出力が、非二値のハイライト抑制信号により、アクティブフィルタ部を介して、ハイライト側で強く、ローライト側で弱く、階調的にハイライト抑制されたハイライト抑制画像として出力される請求項１〜８のいずれか一項記載のハイライト抑制画像撮影装置。The highlight suppression signal generation unit generates a non-binary highlight suppression signal indicating gradation,
The video output acquired by the camera unit is highlighted with a non-binary highlight suppression signal via the active filter unit, which is strong on the highlight side, weak on the low light side, and suppressed in gradation. The highlight suppression image capturing apparatus according to claim 1 , which is output as a suppression image.
アクティブフィルタ部を介して階調的にハイライト抑制されたハイライト抑制画像が、元の映像の階調に復元されて出力される請求項９記載のハイライト抑制画像撮影装置。Based on a non-binary highlight suppression signal indicating gradation, a restoration signal generation unit that generates a restoration signal,
The highlight-suppressed image capturing apparatus according to claim 9 , wherein the highlight-suppressed image that is gradation-suppressed through the active filter unit is restored to the original video gradation and output.
ハイライト抑制信号生成部が、カメラ部から出力される可視光の映像出力に基づいてハイライト抑制信号を生成し、
カメラ部で取得される映像出力が、可視光映像に基づくハイライト抑制信号により赤外線映像の透過特性が制御されたアクティブフィルタ部を介して、ハイライト抑制された赤外線画像として出力される請求項１〜１０のいずれか一項記載のハイライト抑制画像撮影装置。The camera unit includes an infrared imaging device having infrared sensitivity on the long wavelength side, an optical filter for cutting the visible light sensitivity of the infrared imaging device, and a visible light imaging device having visible light sensitivity,
The highlight suppression signal generation unit generates a highlight suppression signal based on the video output of visible light output from the camera unit,
Video output acquired by the camera unit, via the active filter section transmission characteristic of the infrared image is controlled by the highlight suppression signal based on the visible light image according to claim 1, which is output as the highlight suppressed infrared image The highlight suppression image photographing device according to any one of 10 to 10 .
ハイライト抑制画像が各色チャンネルごとに生成されるとともに、
生成された各ハイライト抑制画像が合成されることにより、最終のハイライト抑制画像として出力される請求項１〜１６のいずれか一項記載のハイライト抑制画像撮影装置。A highlight suppression signal generator is provided for each color channel,
A highlight suppression image is generated for each color channel,
The highlight suppression image photographing device according to any one of claims 1 to 16 , wherein the generated highlight suppression images are combined to be output as a final highlight suppression image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003125020A JP3940696B2 (en) | 2002-12-25 | 2003-04-30 | Highlight suppression image capturing device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002375175 | 2002-12-25 | ||
| JP2003125020A JP3940696B2 (en) | 2002-12-25 | 2003-04-30 | Highlight suppression image capturing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004254269A JP2004254269A (en) | 2004-09-09 |
| JP3940696B2 true JP3940696B2 (en) | 2007-07-04 |
Family
ID=33031784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003125020A Expired - Lifetime JP3940696B2 (en) | 2002-12-25 | 2003-04-30 | Highlight suppression image capturing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3940696B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1742486A4 (en) * | 2004-04-16 | 2009-11-11 | Iwane Lab Ltd | Highlight-suppressed image pickup apparatus |
| JP5105806B2 (en) * | 2006-09-13 | 2012-12-26 | 日本放送協会 | Color correction apparatus and color correction method |
| DE102011081358A1 (en) * | 2011-08-23 | 2013-02-28 | Robert Bosch Gmbh | A method and apparatus for adjusting a filter characteristic of an adaptive color filter and operating an imager |
| EP2613530A1 (en) * | 2012-01-06 | 2013-07-10 | Alcatel Lucent | A method for video surveillance, a related system, a related surveillance server, and a related surveillance camera |
| JP5920144B2 (en) * | 2012-09-26 | 2016-05-18 | 株式会社Ｊｖｃケンウッド | Imaging apparatus and imaging method |
| JP7039906B2 (en) * | 2017-09-22 | 2022-03-23 | カシオ計算機株式会社 | Imaging device, imaging method and program |
| KR20200090347A (en) * | 2019-01-21 | 2020-07-29 | 엘지전자 주식회사 | Camera device, and electronic apparatus including the same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2816153B2 (en) * | 1988-03-31 | 1998-10-27 | オリンパス光学工業株式会社 | Color imaging device |
| JPH0548060A (en) * | 1991-08-09 | 1993-02-26 | Nec Corp | Solid-state image sensor element |
| JPH06233310A (en) * | 1993-02-02 | 1994-08-19 | Sharp Corp | Iris controller for video camera |
| JP2001333329A (en) * | 2000-03-17 | 2001-11-30 | Fuji Photo Film Co Ltd | Image pickup device |
-
2003
- 2003-04-30 JP JP2003125020A patent/JP3940696B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004254269A (en) | 2004-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8300111B2 (en) | Highlight suppression image pickup apparatus | |
| US8035710B2 (en) | Solid-state imaging device and signal processing method | |
| EP2752008B1 (en) | Pixel array, camera using the same and color processing method based on the pixel array | |
| US8619143B2 (en) | Image sensor including color and infrared pixels | |
| US9681059B2 (en) | Image-capturing device | |
| JP4311988B2 (en) | Color filter for solid-state image sensor and color image pickup apparatus using the same | |
| CN102783135B (en) | Utilize the method and apparatus that low-resolution image provides high-definition picture | |
| US10511785B2 (en) | Temporally aligned exposure bracketing for high dynamic range imaging | |
| US20070223059A1 (en) | Image pickup apparatus and a method for producing an image of quality matching with a scene to be captured | |
| WO2010116923A1 (en) | Image input device | |
| JP2009049525A (en) | Imaging apparatus and method for processing signal | |
| JP3940696B2 (en) | Highlight suppression image capturing device | |
| JP2005143032A (en) | Photographing apparatus | |
| JP4725520B2 (en) | Image processing device, non-imaging color signal calculation device, and image processing method | |
| EP1484928A2 (en) | Imaging device | |
| US20020163586A1 (en) | Method and apparatus for capturing image | |
| JP2003101815A (en) | Signal processor and method for processing signal | |
| JP2012244533A (en) | Imaging apparatus and image signal processing method | |
| US7088391B2 (en) | Color video camera for film origination with color sensor and luminance sensor | |
| JP2004363193A (en) | Cmos solid-state imaging device | |
| JP2009049524A (en) | Imaging apparatus and method for processing signal | |
| JP3540567B2 (en) | Electronic imaging device | |
| JP3962278B2 (en) | Digital camera and shading correction method thereof | |
| JP3916233B2 (en) | Image pickup device and digital image pickup apparatus including the same | |
| JP3958219B2 (en) | Imaging apparatus and contour correction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070402 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3940696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |