JP3826174B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP3826174B2
JP3826174B2 JP2001206991A JP2001206991A JP3826174B2 JP 3826174 B2 JP3826174 B2 JP 3826174B2 JP 2001206991 A JP2001206991 A JP 2001206991A JP 2001206991 A JP2001206991 A JP 2001206991A JP 3826174 B2 JP3826174 B2 JP 3826174B2
Authority
JP
Japan
Prior art keywords
signal
luminance
unit
color
wavelength component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001206991A
Other languages
Japanese (ja)
Other versions
JP2003023643A (en
Inventor
秀人 本村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
National Institute of Information and Communications Technology
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
National Institute of Information and Communications Technology
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, National Institute of Information and Communications Technology, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2001206991A priority Critical patent/JP3826174B2/en
Publication of JP2003023643A publication Critical patent/JP2003023643A/en
Application granted granted Critical
Publication of JP3826174B2 publication Critical patent/JP3826174B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は被写体の分光情報を正確に推定できる撮像装置に関する技術である。
【0002】
【従来の技術】
ディジタル化と集積技術の進歩によって、高精細画像を取得できるビデオカメラ、デジタルカメラ、スチルカメラ、スキャナなどの撮像装置の開発が盛んである。カラーマネジメントの観点から見ると、撮像装置は被写体の測色値、あるいは分光情報を正確に取り込む必要があり、撮像素子の出力信号から被写体の測色値、あるいは分光情報を推定する推定精度の向上が鍵となる。円滑な色情報交換のために、近年のデジタルカメラではsRGB信号を標準信号として出力することが主流となっている。
【0003】
しかし、R、G、Bの3つの色フィルタを持つ撮像素子の出力信号を線形変換して被写体の測色値を正確に求めるには、色フィルタの分光透過率分布が等色関数の線形結合で表現できる、いわゆるルーター条件を満たす必要がある。ルーター条件が満たせない場合には、撮像素子の出力信号に非線形変換を施す必要がある。これは、正確な測色的推定が困難な場合が多く、sRGB信号への変換誤差が生じやすい。仮に測色的推定が正確に実現できても、条件等色の問題が残り、被写体の分光反射率を正確に推定することが望まれる。
【0004】
しかし、被写体の分光反射率を400nmから700nmの可視域で10nmおきに離散的に推定する場合、分光反射率ベクトルは31次元ベクトルとなる。よって、分光反射率ベクトルの次元数(つまり31)と撮像素子のチャネル(つまり3)の違いから、3バンドカメラでの分光反射率推定が容易でないことが理解できる。
【0005】
以上のように、R、G、Bの3つの色フィルタを用いた3バンド撮像装置では、正確な色情報推定が困難であるため、バンド数を増やしたマルチバンド撮像装置が有効な手段となる。
【0006】
たとえば杉浦らは、「分光画像の入力系システム(カラーフォーラムJAPAN‘99、P65−P72)」で、5枚のバンドパスフィルタと1つの撮像素子を用いて時分割方式でマルチバンド画像を撮影するマルチバンドカメラの技術を開示している。このようにバンド数を増やせば、分光推定の精度は向上するが、子の方法は時分割撮影方式のため、撮影回数が増加する問題が発生する。
【0007】
そこで、近年、バンド数と色推定精度のトレードオフに関連した研究(たとえば、村上ら「正確な色再現が可能なカラー画像システムの開発(カラーフォーラムJAPAN‘99、P5−P8)」など)が盛んに行われ、5バンドから10バンド程度が適当とする研究報告がなされている。
【0008】
しかし、時分割方式はバンド数の分だけ撮影時間が長くなり、動く被写体を撮影することが困難になる。そこで、特開平4−329322号公報には、バンドパスフィルタごとに撮像素子を設け、マルチバンド画像を同時撮影する技術が開示されている。
【0009】
【発明が解決しようとする課題】
しかしながら上記の従来の同時撮影方式マルチバンド撮像装置においては、以下のような課題を残す。
【0010】
近年の学会への研究報告では、上述したように、正確な被写体の分光反射率推定には少なくとも5バンド以上は必要であるとしている。そこで、バンドパスフィルタごとに撮像素子を設ける方式では、最低でも5つの撮像素子が必要である。さらに、撮像レンズから入力した光を5つの光路に分ける色分解光学系が必要になり、装置サイズと重量の増大を招く。また、色分解光学系のサイズが大きくなると、撮像レンズから撮像素子までの距離が長くなり、その結果、撮像レンズの口径の増大をも併発し、撮像装置のコストアップを引き起こす。
【0011】
本発明は、かかる点に鑑みてなされたもので、被写体の分光情報を推定するに必要なバンド数よりも少ない数の撮像素子で、必要なバンド数のマルチバンド画像を同時に撮影することを目的とする。
【0012】
【課題を解決するための手段】
この目的を達成するために本発明は、撮像レンズから入力した光をハーフミラーで2つの光路に分割し、一方の光から輝度画像を生成し、他方の光を短波長成分と長波長成分に分割し、短波長成分の光および長波長成分の光からそれぞれ被写体の分光情報を推定し、推定した被写体の分光情報から算出した測色値の明度情報を明度信号変換部の変換した明度信号にセル単位で置換するようにした。
【0013】
これにより、視覚系の解像力の高い輝度成分情報を高精細に保ちつつ、分光推定に必要なバンド数より少ない数の撮像素子で複数バンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能となる。
【0014】
【発明の実施の形態】
本発明の第1の態様にかかる撮像装置は、撮像レンズからの光を2つの光路に分割するハーフミラーと、前記ハーフミラーで分割された一方の光を受光して前記被写体の輝度情報を取得する輝度撮像素子と、前記輝度情報から輝度信号を生成し出力する輝度信号生成部と、前記輝度信号を明度信号に変換する明度信号変換部と、前記ハーフミラーで分割された他方の光を短波長成分と長波長成分に分割するダイクロイックミラーと、前記短波長成分の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する短波長成分撮像素子と、前記長波長成分の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する長波長成分撮像素子と、前記短波長成分撮像素子と前記長波長成分撮像素子の出力する前記色信号から被写体の分光情報を推定する被写体分光情報推定部と、前記分光情報から算出した測色値の明度情報を前記明度信号変換部の変換した明度信号に前記受光セル単位で置換するセル単位明度信号置換部と、を具備する構成を採る。
【0015】
このように、視覚系の解像力の高い明度成分情報を前記輝度撮像素子で高精細に取得し、同時に前記短波長成分撮像素子と前記長波長成分撮像素子から取得された測色値の明度成分のみを前記輝度撮像素子からの明度成分情報で撮像素子の受光セル単位に置換することによって、前記短波長成分撮像素子と前記長波長成分撮像素子の受光セルに具備された色フィルタの種類より少ない2つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になる作用を有する。
【0016】
本発明の第2の態様にかかる撮像装置は、撮像レンズからの光を2つの光路に分割するハーフミラーと、前記ハーフミラーで分割された一方の光を受光して前記被写体の輝度情報を取得する輝度撮像素子と、前記輝度情報から輝度信号を生成し出力する輝度信号生成部と、前記輝度信号を明度信号に変換する明度信号変換部と、前記ハーフミラーで分割された他方の光を短波長成分と長波長成分に分割するダイクロイックミラーと、前記短波長成分の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する短波長成分撮像素子と、前記長波長成分の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する長波長成分撮像素子と、前記短波長成分撮像素子と前記長波長成分撮像素子の出力する前記色信号から被写体の分光情報を推定する被写体分光情報推定部と、前記分光情報から算出した測色値を前記輝度信号により前記受光セル単位でスケーリングするセル単位測色値スケーリング部と、を具備する構成を採る。
【0017】
このように、視覚系の解像力の高い輝度成分情報を前記輝度撮像素子で高精細に取得し、同時に前記短波長成分撮像素子と前記長波長成分撮像素子から取得された測色値を前記輝度撮像素子からの輝度成分情報で撮像素子の受光セル単位にスケーリングすることによって、前記短波長成分撮像素子と前記長波長成分撮像素子の受光セルに具備された色フィルタの種類より少ない2つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になる作用を有する。
【0018】
本発明の第3の態様は、第1の態様または第2に態様にかかる撮像装置において、前記短波長成分撮像素子全体の前記色フィルタの配置は隣接する複数の前記セルからなる単位ブロックの繰り返しパターンとなっていて、前記短波長成分撮像素子の前記色フィルタは前記単位ブロック内で互いに異なる分光透過率分布を持ち、かつ前記単位ブロック内におけるすべての前記色フィルタの分光透過率分布を組み合わせると前記短波長成分の光の波長帯域をカバーする。
【0019】
このように、ダイクロイックミラーが分割した短波長成分の光を無駄なく受光し、視覚系の解像力の低い色成分情報を単位ブロックごとで取得することにより、1つに撮像素子で複数のマルチバンド画像を撮影できる作用を有する。
【0020】
本発明の第4の態様は、第1の態様または第2の態様にかかる撮像装置において、前記長波長成分撮像素子全体の前記色フィルタの配置は隣接する複数の前記セルからなる単位ブロックの繰り返しパターンとなっていて、前記長波長成分撮像素子の前記色フィルタは前記単位ブロック内で互いに異なる分光透過率分布を持ち、かつ前記単位ブロック内におけるすべての前記色フィルタの分光透過率分布を組み合わせると前記長波長成分の光の波長帯域をカバーする。
【0021】
このように、ダイクロイックミラーが分割した長波長成分の光を無駄なく受光し、視覚系の解像力の低い色成分情報を単位ブロックごとで取得することにより、1つに撮像素子で複数のマルチバンド画像を撮影できる作用を有する。
【0022】
本発明の第5の態様にかかる撮像装置は、撮像レンズからの光を2つの光路に分割するハーフミラーと、前記ハーフミラーで分割された一方の光を受光して前記被写体の輝度情報を取得する輝度撮像素子と、前記輝度情報から輝度信号を生成し出力する輝度信号生成部と、前記輝度信号を明度信号に変換する明度信号変換部と、前記ハーフミラーで分割された他方の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する色撮像素子と、前記色信号から被写体の分光情報を推定する被写体分光情報推定部と、前記分光情報から算出した測色値のうち、明度情報だけを前記明度信号変換部の変換した明度情報に前記受光セル単位で置換するセル単位明度信号置換部と、を具備する構成を採る。
【0023】
このように、視覚系の解像力の高い明度成分情報を前記輝度撮像素子で高精細に取得し、同時に前記短波長成分撮像素子と前記長波長成分撮像素子から取得された測色値の明度成分のみを前記輝度撮像素子からの明度成分情報で撮像素子の受光セル単位に置換することによって、前記短波長成分撮像素子と前記長波長成分撮像素子の受光セルに具備された色フィルタの種類より少ない1つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になる作用を有する。
【0024】
本発明の第6の態様にかかる撮像装置は、撮像レンズからの光を2つの光路に分割するハーフミラーと、前記ハーフミラーで分割された一方の光を受光して前記被写体の輝度情報を取得する輝度撮像素子と、前記輝度情報から輝度信号を生成し出力する輝度信号生成部と、前記輝度信号を明度信号に変換する明度信号変換部と、前記ハーフミラーで分割された他方の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する色撮像素子と、前記色信号から被写体の分光情報を推定する被写体分光情報推定部と、前記分光情報から算出した測色値を前記輝度信号により前記受光セル単位でスケーリングするセル単位測色値スケーリング部と、を具備する構成を採る。
【0025】
このように、視覚系の解像力の高い輝度成分情報を前記輝度撮像素子で高精細に取得し、同時に前記短波長成分撮像素子と前記長波長成分撮像素子から取得された測色値を前記輝度撮像素子からの輝度成分情報で撮像素子の受光セル単位にスケーリングすることによって、前記短波長成分撮像素子と前記長波長成分撮像素子の受光セルに具備された色フィルタの種類より少ない1つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になる作用を有する。
【0026】
本発明の第7の態様は、第5の態様または第6の態様にかかる撮像装置において、前記色撮像素子は、撮像素子の受光セルごとに色フィルタを通して光を受光し、前記色フィルタは隣接する複数の受光セルを単位ブロックとして、前記単位ブロック内で互いに異なる分光透過率分布を持ち、かつ前記単位ブロック内のすべての色フィルタを組み合わせると撮像レンズから入射した波長帯域をカバーする分光透過率分布を持ち、色撮像素子全体の色フィルタの配置は、前記単位ブロックの繰り返しパターンとなっている。
【0027】
このように、ハーフミラーが分割した光を無駄なく受光し、視覚系の解像力の低い色成分情報を単位ブロック単位で取得することにより、1つに撮像素子で複数のマルチバンド画像を撮影できる。
【0028】
本発明の第8の態様は、第1の態様から第7の態様のいずれかにかかる撮像装置において、前記単位ブロックは、縦2セル、横2セルからなり、前記被写体分光情報推定部は、前記単位ブロックごとに被写体の分光情報を推定する。
【0029】
これにより、1つの撮像素子で単位ブロックごとに4つのマルチバンド画像が同時に撮影できる作用を有する。
【0030】
本発明の第9の態様は、第1の態様から第7の態様のいずれかにかかる撮像装置において、前記単位ブロックの縦方向の位置は、前記単位ブロックの1ライン目が画像走査の走査ラインと一致するように決定される。
【0031】
これにより、撮像装置の出力信号をラインメモリへ一時的に保持することなくストリーム形式で出力でき、かつ被写体の分光情報を走査ラインごとに緻密の推定できる作用を有する。
【0032】
本発明の第10の態様は、第1の態様から第7の態様のいずれかにかかる撮像装置において、前記単位ブロックは縦nセルから構成されており、前記単位ブロック内の(n−1)ラインに相当する外部出力信号をラインメモリに記憶し、前記単位ブロック内の第2ライン以降の前記外部出力信号を前記ラインメモリから出力する。
【0033】
これにより、受光セル単位でnライン分同時に生成されるマルチバンド画像のうち、第1ラインはラインメモリを介さず出力し、第2ライン以降の(n−1)ラインは画像走査の同期に合わせてラインメモリから出力して、様々な走査方式に対応できる作用を有する。
【0034】
本発明の第11の態様は、第1の態様、第2の態様、第5の態様または第6の態様のいずれかにかかる撮像装置において、照明の分光情報を記憶した照明分光情報記憶部と、前記照明分光情報記憶部に保持した前記照明の分光情報を用いて被写体の測色値を算出する測色値変換部と、を具備し、前記セル単位明度信号置換部あるいは前記セル単位測色値スケーリング部は、前記被写体分光情報推定部が推定した被写体の分光情報と、前記測色値変換部から測色値情報を入手する。
【0035】
これにより、撮像素子の受光セル単位で置換される明度を持つ測色値、あるいはスケーリングされる測色値を被写体の分光情報と照明の分光情報から算出できる作用を有する。
【0036】
本発明の第12の態様は、第1の態様、第2の態様、第5の態様または第6の態様のいずれかにかかる撮像装置において、前記セル単位明度信号置換部あるいはセル単位測色値スケーリング部が前記受光セルごとに算出した測色値を表示デバイスの輝度リニアドライブレベルに変換する原色変換部と、前記原色変換部の出力から前記表示デバイスのガンマ特性を補正するガンマ補正部と、前記ガンマ補正部の出力から輝度・色差信号を算出する輝度・色差信号変換部と、を具備した構成を採る。
【0037】
これにより、撮像素子の受光セル単位で明度が置換された測色値、あるいはスケーリングされた測色値を表示デバイスのガンマ補正処理を含んだ輝度・色差信号に変換できる作用を有する。
【0038】
本発明の第13の態様は、第1の態様、第2の態様、第5の態様または第6の態様のいずれかにかかる撮像装置において、前記セル単位明度信号置換部あるいはセル単位測色値スケーリング部が前記受光セルごとに算出した測色値を表示デバイスの輝度リニアドライブレベルに変換する原色変換部と、前記原色変換部の出力から輝度・色差信号を算出する輝度・色差信号変換部と、を具備した構成を採る。
【0039】
これにより、撮像素子の受光セル単位で明度が置換された測色値、あるいはスケーリングされた測色値を、輝度・色差信号に輝度線形性を保ったまま変換できる作用を有する。
【0040】
本発明の第14の態様は、第1の態様、第2の態様、第5の態様または第6の態様のいずれかにかかる撮像装置において、セル単位明度信号置換部あるいはセル単位測色値スケーリング部が前記受光セルごとに算出した測色値を明度成分と色差成分に変換する明度・色差信号変換部を具備した構成を採る。
【0041】
これにより、撮像素子の受光セル単位で明度が置換された測色値、あるいはスケーリングされた測色値を明度・色差信号に明度線形性を保ったまま変換できる作用を有する。
【0042】
本発明の第15の態様は、第12の態様または第13の態様にかかる撮像装置において、前記輝度・色差信号変換部は、映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号あるいは輝度リニアデバイスドライブ信号の線形和で輝度信号を生成し、前記デバイスドライブ信号あるいは前記輝度リニアデバイスドライブ信号の構成要素のうち、前記線形和において輝度信号生成への寄与率の最も大きい要素を除いた全ての要素のそれぞれから前記輝度信号を差し引いた差分値を色差信号とし、前記輝度信号と色差信号を出力する。
【0043】
これにより、表示デバイスに特別な処理部を設けることになくデバイスドライブ信号と発光色の輝度の線形性を確保し、かつデバイスドライブ信号よりも帯域の小さい輝度・色差信号での信号伝送を可能にする作用を有する。
【0044】
本発明の第16の態様は、第14の態様にかかる撮像装置において、前記明度・色差信号変換部は、映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号あるいは輝度リニアデバイスドライブ信号の線形和で輝度信号を生成し、前記デバイスドライブ信号あるいは前記輝度リニアデバイスドライブ信号の構成要素のうち、前記線形和において輝度信号生成への寄与率の最も大きい要素を除いた全ての要素のそれぞれから前記輝度信号を差し引いた差分値を色差信号とし、前記輝度信号を指数関数によって明度信号に変換し、前記明度信号と前記色差信号を出力する。
【0045】
これにより、映像表示デバイスに特別な処理部を設けることになくデバイスドライブ信号と発光色の明度の線形性を確保し、かつデバイスドライブ信号よりも帯域の小さい明度・色差信号での信号伝送を可能にする作用を有する。
【0046】
本発明の第17の態様は、第15の態様または第16の態様にかかる撮像装置において、映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号がR、G、Bの3バンドからなるか、あるいは輝度リニアデバイスドライブ信号がR、G、Bの3バンドからなるとき、Rバンドの寄与率を0.30、Gバンドの寄与率を0.59、Bバンドの寄与率を0.11とした線形和で輝度信号を算出する。
【0047】
これにより、EIA−RS 170A方式のデコーダを有する映像表示デバイスで正確な色再現を可能にする作用を有する。
【0048】
本発明の第18の態様は、第15の態様または第16の態様にかかる撮像装置において、映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号がR、G、Bの3バンドからなるか、あるいは輝度リニアデバイスドライブ信号がR、G、Bの3バンドからなるとき、Rバンドの寄与率を0.299、Gバンドの寄与率を0.587、Bバンドの寄与率を0.114とした線形和で輝度信号を算出する。
【0049】
これにより、SMPTE 170M方式のデコーダを有する映像表示デバイスで正確な色再現を可能にする作用を有する。
【0050】
本発明の第19の態様は、第15の態様または第16の態様にかかる撮像装置において、映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号がR、G、Bの3バンドからなるか、あるいは輝度リニアデバイスドライブ信号がR、G、Bの3バンドからなるとき、Rバンドの寄与率を0.2126、Gバンドの寄与率を0.7152、Bバンドの寄与率を0.0722とした線形和で輝度信号を算出する。
【0051】
これにより、ITU−R Rec.BT.709−3方式のデコーダを有する映像表示デバイスで正確な色再現を可能にする作用を有する。
【0052】
本発明の第20の態様にかかる色分解光学系は、入射光を2つの光路に分割するハーフミラーを備えた第一の光学プリズムと、前記第一の光学プリズムで分割された一方の光を短波長成分のみ反射するダイクロイックミラーを備えた第二の光学プリズムと、前記第二の光学プリズムで透過した長波長成分を透過する第三の光学プリズムと、前記第一の光学プリズムと前記第二の光学プリズムとの間にエアギャップと、を具備する構成を採る。
【0053】
この構成により、被写体からの光を輝度成分と短波長、長波長の2つの色成分に分割する色分解光学系を3つの光学プリズムの容積分だけに小型化できる作用を有する。
【0054】
本発明の第21の態様は、第20の態様にかかる色分解光学系において、前記第三の光学プリズムは、長波長成分がプリズム内部からプリズム外部へ出力される境界面に赤外吸収フィルタを具備する構成を採る。
【0055】
この構成により、赤外光に感度を持つ撮像素子からのノイズを簡単な構成で抑制できる作用を有する。
【0056】
本発明の第22の態様にかかる色分解光学系は、入射光を2つの光路に分割するハーフミラーを備えた第一の光学プリズムと、前記第一の光学プリズムで分割された一方の光を長波長成分のみ反射するダイクロイックミラーを備えた第二の光学プリズムと、前記第二の光学プリズムで透過した短波長成分を透過する第三の光学プリズムと、前記第一の光学プリズムと前記第二の光学プリズムの間にエアギャップと、を具備する構成を採る。
【0057】
この構成により、被写体からの光を輝度成分と色成分に分割する色分解光学系を2つの光学プリズムの容積分だけに小型化できる作用を有する。
【0058】
本発明の第23の態様は、第22の態様にかかる色分解光学系において、前記第二の光学プリズムは、反射された長波長成分がプリズム内部からプリズム外部へ出力される境界面に赤外吸収フィルタを具備する構成を採る。
【0059】
この構成により、赤外光に感度を持つ撮像素子からのノイズを簡単な構成で抑制できる作用を有する。
【0060】
(実施の形態1)
以下、本発明の実施の形態1にかかる撮像装置であるマルチバンドビデオカメラについて説明する。まず、実施の形態1における3つの撮像素子でマルチバンド画像を同時に撮影するマルチバンドビデオカメラのシステムについて図1を用いて説明する。図1は、本発明の実施の形態1における3つの撮像素子でマルチバンド画像を同時に撮影するマルチバンドビデオカメラのシステム構成図である。
【0061】
被写体からの光は、撮像レンズ101を通して色分解光学系102に入る。そして、色分解光学系102が、入射された光を第一の光路、第二の光路、および第三の光路の、3光路に分割する。
【0062】
第一の光路には、分光特性として撮像レンズ101を通過した光と同一の光が供給される。第一の光路上には、輝度撮像素子103が配置されていて、第一の光路の光は輝度撮像素子103に入射される。輝度撮像素子103は、受光セルごとに入射された光に対応する信号を明度信号変換部105に出力する。輝度撮像素子103の受光セルごとに出力される信号値は、輝度信号生成部104で輝度信号として調整されて、明度信号変換部105に出力される。そして、明度信号変換部105は、入力された輝度信号を、指数関数を用いて明度信号に変換し、出力する。
【0063】
第二の光路には、分光特性として撮像レンズ101を通過した光の短波長成分が供給される。そして、第二の光路上には、短波長成分撮像素子106が配置されていて、第二の光路の光は短波長成分撮像素子106に入射される。第三の光路には、分光特性として撮像レンズ101を通過した光の長波長成分が供給される。そして、第三の光路上には長波長成分撮像素子107が配置されていて、第三の光路の光は長波長成分撮像素子107に入射される。ただし、第二の光路の光と第三の光路の光は、色分解光学系102で撮像レンズ101を通過した光をもとに分光的に分割したもので、これら2つの光の、波長帯域の和は、撮像レンズ101を通過した光の波長帯域に一致する。
【0064】
短波長成分撮像素子106は、受光セルに密接した分光透過率分布の互いに異なる複数の色フィルタを介して光を受光する。そして、短波長成分撮像素子106は、受光セルごとに入射された光に対応する色信号を短波長成分色信号処理部108に出力する。短波長成分色信号処理部108は、入力された色信号値から色フィルタの種類の数だけのマルチバンド画像を同時に生成する。同様に長波長成分撮像素子107は受光セルに密接した分光透過率分布の互いに異なる複数に色フィルタを介して光を受光し、長波長成分色信号処理部109で色フィルタの種類の数だけのマルチバンド画像を同時に生成する。
【0065】
短波長成分色信号処理部108と長波長成分色信号処理部109で生成されたマルチバンド画像はともに被写体分光情報推定部110へ供給され、被写体の分光情報が推定される。被写体の分光情報とは、被写体が自発光体である場合は、発光スペクトルの推定であり、被写体が照明の光を反射する反射物体である場合は分光反射率となる。また、被写体分光情報推定部110による推定結果の分光情報は、分光情報出力端子111を介してカメラ外部へ出力できる。被写体分光情報推定部110が推定した被写体の分光情報は、測色値変換部112に与えられる。
【0066】
測色値変換部112は、入力された分光情報を、CIEXYZ三刺激値を経てたとえばCIELAB値のような明度成分(つまりL*)と色味成分(つまりa*、b*)に分離された測色値に変換する。ただし、測色値の算出に必要な照明の分光情報は予め、照明分光情報記憶部113に格納されていて、照明分光情報記憶部113から測色値変換部112へ与えられる。測色値変換部112で算出された測色値は、セル単位明度信号置換部114へ入力される。
【0067】
セル単位明度信号置換部114は、測色値変換部112から出力された測色値のうち、明度成分のみ、明度信号変換部105において受光セル単位で生成された明度信号と置き換える。
【0068】
また、撮像した被写体の色情報を測色値として取り出したい場合は、測色値出力端子115を介してカメラ外部へ出力できる。セル単位明度信号置換部114から出力された受光セル単位の測色値は、原色変換部116で映像表示デバイスが持つ原色系の信号へ変換される。また、原色変換部116の出力である輝度リニアデバイスドライブ信号はガンマ補正部117において、映像表示デバイスのガンマ特性を相殺するような逆ガンマ特性を施し、デバイスドライブ信号としてデバイスドライブ信号用ラインメモリ118と輝度・色差信号変換部119へ供給される。輝度・色差信号変換部119はデバイスドライブ信号を輝度信号と色差信号に変換して輝度・色差信号用ラインメモリ120に出力される。
【0069】
デバイスドライブ信号用ラインメモリ118と輝度・色差信号用ラインメモリ120の2種類のラインメモリは、走査方式の違いに対応するために設けられており、短波長成分撮像素子106と、長波長成分撮像素子107の持つ色フィルタの配列に応じて動作が決まる。そこで、撮像素子の持つ色フィルタの説明の後、詳細に説明を行う。さらに、デバイスドライブ信号用送信機121と輝度・色差信号用送信機122は様々な通信プロトコルに対応するために設けられていて、マルチバンドビデオカメラの撮影映像信号をディスプレイ等の受信デバイスへ定められたプロトコルに則って出力する。
【0070】
次に、色分解光学系102、輝度撮像素子103、短波長成分撮像素子106、長波長成分撮像素子107、被写体分光情報推定部110、測色値変換部112、セル単位明度信号置換部114、原色変換部116、ガンマ補正部117、輝度・色差信号変換部119、デバイスドライブ信号用ラインメモリ118、輝度・色差信号信号用ラインメモリ120について順を追って詳細に説明する。
【0071】
第一に、色分解光学系102について、図2を用いて詳細に説明する。図2は、実施の形態1にかかる色分解光学系の内部構造を説明する図である。
【0072】
色分解光学系102は、被写体からの光を3つの光学プリズムを用いて、輝度成分、短波長成分、超波長成分の3つの成分に分解する。
【0073】
色分解光学系102は、三角プリズムである第1光学プリズム202と、三角プリズムである第2光学プリズム209と、台形プリズムである第3光学プリズム216とから構成される。
【0074】
第1光学プリズム202は、撮像レンズ101からの入射光201に垂直に配置され、入射光201が入射される入射面である第1面206と、第1面206の長波長成分撮像素子107側と接続され面の法線が輝度撮像素子103側に所定の角度傾いた入射光201の半透過面(第2面)であるハーフミラー203と、第1面206の輝度撮像素子103側と接続され、面法線が輝度撮像素子103の方向に垂直な透過面である第3面207と、から構成される。
【0075】
ハーフミラー203は、入射光201を、反射光である第1反射光204と、透過光である第1透過光205の、2つの光に分割する。また、ハーフミラー203には波長選択性はなく、分割された2つの光、第1反射光204と第1透過光205は同じ分光分布を持つ。
【0076】
第1反射光204は、ハーフミラー203の法線が輝度撮像素子103側に傾いているため、入射光201に対して輝度撮像素子103側に傾いて進む。そして、第1反射光204は、第1光学プリズム202の第1面206に臨界角以上で入射し、すべての第1反射光204が第1面206で反射されて、第3面207の方向に進む。そして、第1反射光204は、第3面207を透過し輝度撮像素子103へ入射する。
【0077】
一方、第1透過光205は、第1光学プリズム202と、エアギャップ208を介して配置された第2光学プリズム209へ入射される。
【0078】
第2光学プリズム209は、第1透過光205の入射される透過面であり、エアギャップ208を介して第1光学プリズム202のハーフミラー203と平行に配置された第1面213と、第1面213の輝度撮像素子103側と接続され面の法線が長波長成分撮像素子107側に所定の角度傾いた第1透過光205の半透過面(第2面)である長波長成分反射ダイクロイックミラー210と、第1面213の長波長成分撮像素子107側と接続され、面法線が長波長成分撮像素子107側に垂直な透過面である第3面214と、から構成される。
【0079】
長波長成分反射ダイクロイックミラー210は、第1透過光205を、光を短波長成分と長波長成分の2つの光に分割し、長波長成分の光である第2反射光211を反射し、短波長成分の光である第2透過光212を透過する。
【0080】
第2反射光211は、第2光学プリズム209の第1面213に臨界角以上で入射する。第1面213と第1光学プリズム202との間にはエアギャップ208があるので、第2反射光211のすべての光が第1面213で反射されて、第3面214を介して長波長成分撮像素子107へ入射する。また、第2面214には、赤外吸収フィルタ215が蒸着されており、赤外域に感度を持つ撮像素子のノイズを抑制する。
【0081】
また、第2透過光212は、第3光学プリズム216に入射される。第3光学プリズム216は、第2光学プリズム209の長波長成分反射ダイクロイックミラー210と接触した透過面である第1面217と、第1面217と所定間隔あけて、短波長成分撮像素子106と水平に配置された第2面218と、第2面218と垂直にかつ第1面217と接触する第3面219および第4面220と、から構成されている。
【0082】
長波長成分反射ダイクロイックミラー210の反射と透過の境界の波長、いわゆるカットオフ波長は、光の損失を最小限にするために、長波長成分撮像素子107の受光セルが持つ色フィルタの透過域のみを反射するように設定する。以上の構成により、被写体からの光を3つの光学プリズムを用いて、輝度成分と短波長、長波長の2つの色成分に分解でき、3つの光学プリズムの容積分だけに小型化できる。
【0083】
第2透過光212は、第3光学プリズム216の第1面から入射し、第3光学プリズム216により結像し、第2面217を透過して短波長成分撮像素子106へ入射する。
【0084】
なお、ハーフミラー203で2つに分割される第1反射光204と第1透過光205の光量の割合は、3つの撮像素子、輝度撮像素子103、短波長成分撮像素子106、長波長成分撮像素子107の感度特性に応じて最適化することが望ましい。また、長波長成分反射ダイクロイックミラー210は長波長成分透過ダイクロイックミラーであっても構わない。ただし、この場合、短波長成分撮像素子106と長波長成分撮像素子107の位置が入れ替わり、同時に赤外吸収フィルタも第3光学プリズムに設置される。
【0085】
第二に、輝度撮像素子103、短波長成分撮像素子106、長波長成分撮像素子107について、図3を用いて詳細に説明する。図3は、実施の形態1にかかる、輝度撮像素子、短波長成分撮像素子、および長波長成分撮像素子の受光セルと色フィルタの構造を説明する概念図である。
【0086】
図3(a)は、撮像素子を側面から見た模式的構造図であり、輝度撮像素子103、短波長成分撮像素子106、長波長成分撮像素子107に共通する図である。基板301の上に、複数の受光セル302が並んで配置されている。複数の受光セル302上には、それぞれ分光透過率分布の互いに異なる複数の色フィルタ303が密接して配置されている。
【0087】
短波長成分撮像素子106、長波長成分撮像素子107は、色フィルタ303を通して、受光セル302で光を受ける。ただし、輝度撮像素子103は、色フィルタ302を持たず、波長選択性なしに受光する。
【0088】
図3(b)は、輝度撮像素子、短波長成分撮像素子、および長波長成分撮像素子の色フィルタの配列を示す概念図である。
【0089】
輝度撮像素子103は、色フィルタを持たないため、仮にLと示した。短波長成分撮像素子106はf1からf4で示される4種類の色フィルタを縦2セル、横2セルのブロック単位で具備する。同様に、長波長成分撮像素子107はf5からf8で示される4種類の色フィルタを縦2セル、横2セルのブロック単位で具備する。
【0090】
短波長成分撮像素子106と長波長成分撮像素子107を合わせた8種類の色フィルタf1からf8は互いに異なる分光透過率分布を持ち、たとえば図4に示すように8つで可視域(図4では380nmから780nm)をカバーする関係を持つ。つまり可視域全体の光を8つの色フィルタで分担して受光する。
【0091】
このように可視域全体の光を8つの色フィルタで分担して受光することにより、従来の3バンド系カメラに比べて各バンドが狭帯域であり、かつバンド数が多くなる。このため、被写体の分光推定を行うに際し、8バンドカメラは3バンドカメラより自由度が高く、構造的に分光推定精度向上の可能性を持つ。
【0092】
被写体分光情報推定部110は、色フィルタf1からf8の8つの信号をもとに被写体の分光情報を推定する。従って、被写体分光情報推定部110は、分光情報を縦2セル、横2セルのブロック単位で推定し、算出する。
【0093】
図3(c)は、実施の形態1にかかる輝度撮像素子、短波長成分撮像素子、および長波長成分撮像素子の画素単位で見た色信号の配列と輝度変換部の動作と被写体分光情報推定部の動作を説明する概念図である。
【0094】
輝度信号生成部104は、受光セルごとに輝度信号Yij(i=1,2,…,m,j=1,2,…,n)を生成する。一方、被写体分光情報推定部110は、縦2セル、横2セルのブロック単位ごとに分光情報信号Rkl((k=1,2,…,m/2,l=1,2,…,n/2)を生成する。よって、色成分である分光情報信号は、輝度信号に対し、縦1/2、横1/2の解像度となる。
【0095】
ところで、坂田らの「視覚系における色度の空間周波数特性(色差弁別閾)、テレビジョン第31巻第1号(1997年)」によると、視覚系は輝度変調に対して感度が高く、逆に色味変調に対して感度が低い。反対色対の空間的正弦波(輝度一定)を用いた弁別能は0.3cycles/degに感度ピークを持つ。一方、無彩色成分のみで作成した空間的正弦波(色度一定)を用いた弁別能は3cycles/degでピークを持つ。
【0096】
以上の結果に基づくと、カメラで取り込む被写体の色情報は、視覚系の空間的解像能から見ると、輝度成分を高精細に取り込むことが重要になる。言い換えると、視覚系に対して同じ空間的解像性をカメラ取り込み画像に持たせるには、色味成分は輝度成分の半分未満のサンプリング間隔で構わないことになる。
【0097】
本発明は、上記のような視覚系が持つ輝度成分と色味成分への空間的弁別能の違いに着目し、積極的に利用したものである。つまり、色味成分のサンプリング間隔を広くすることで、マルチバンド画像を同時に撮影でき、かつ分光推定精度を落とさない効果を有するようにしている。
【0098】
なお、図3では、縦2セル、横2セルを単位ブロックとしたが、単位ブロックを形成する受光セル数は任意であり、本発明はこれらを限定しない。受光セル数の増加は、分光推定精度の向上につながるが、反面、解像度の低下を導く。このため、単位ブロックを構成する受光セル数は、分光推定精度と空間解像度のバランスで決まり、各システムの色再現目標に応じて最適化されるべきである。
【0099】
また、図4に示した8つの色フィルタの分光透過率は互いに同じ形状を持ち、ピーク波長が等間隔で異なるが、本発明が言及するのは短波長成分撮像素子106と長波長成分撮像素子107の色フィルタすべての組み合わせで可視域(たとえば380nmから780nm)全体をカバーするところにあり、分光的形状やピーク波長に関して制限を与えるものではない。ただし、信号処理の複雑化を避けるために、短波長成分撮像素子106と長波長成分撮像素子107の色フィルタの配列は同一であることが望ましい。
【0100】
第三に、被写体分光情報推定部110について詳細に説明する。ここでは、被写体の分光情報として分光反射率を取り上げて説明する。マルチバンド信号から被写体の分光反射率を推定する方法は様々提案されている。本発明は、分光推定方法を制限するものではないため、任意の方法を適応可能である。そこで、ここではウィナー推定による方法を説明する。短波長成分色信号処理部108からの出力を列ベクトルVshort=[v1,v2,v3,v4t、長波長成分色信号処理部109からの出力を列ベクトルVlong=[v5,v6,v7,v8t、カメラ特性を行列S、被写体の分光反射率を列ベクトルR=[r1,r2,…,rqtとするとこれらは以下の関係を持つ。
【0101】
【数1】

Figure 0003826174
ただしセンサー応答を表わす列ベクトルVは
【0102】
【数2】
Figure 0003826174
で与えられる。またカメラ特性を表わす行列Sは
【0103】
【数3】
Figure 0003826174
で与えられる。ここで、行列Fは受光セルに配置された色フィルタの分光透過率を表わし、8つの色フィルタを用いるとして8行q列からなる。たとえば380nmから780nmを10nmおきに取った場合、q=41となる。また、行列Eは照明の分光分布を表わす対角行列であり、対角成分にq個の成分が並ぶ。
【0104】
さて、式(1)において、センサー応答Vの次元(ここでは8)と波長の次元qが同一であれば、カメラ特性行列Sは正則であり、逆行列S-1によって
【0105】
【数4】
Figure 0003826174
から被写体の分光反射率が求まる。
【0106】
しかし、本実施の形態のように、8種類の色フィルタを用いて380nmから780nmの帯域を10nmおきに量子化するとq=41となり、行列Sは正則とならない。このような場合はウィナー推定法が用いられる。今、被写体の真の分光反射率を行列Rreal、推定された分光反射率を行列Rest、行列Sに対応する擬似逆行列をGとすると、式(1)は
【0107】
【数5】
Figure 0003826174
と表わされ、式(4)は
【0108】
【数6】
Figure 0003826174
と表わされる。従って以下で与えられる行列Rrealと行列Restの最小自乗誤差εを最小化する推定行列Gを求めれば良い。
【0109】
【数7】
Figure 0003826174
ここでtは転置、<>はアンサンブル平均を表わす。εを最小にする推定行列はウィナー推定から次式で与えられる。
【0110】
【数8】
Figure 0003826174
ここで、行列ρは相関行列を表わす。行列Rsamplesと行列Vsamplesは相関行列ρを算出するためのサンプルデータで、行列Rsamplesはサンプルの分光反射率行列、VsamplesはRsamplesに対する信号値を表わし、短波長成分色信号処理部108と長波長成分色信号処理部109の出力信号に対応する。
【0111】
第四に、測色値変換部112とセル単位明度信号置換部114について、図5を用いて詳細に説明する。図5は、実施の形態1にかかる、測色変換部、照明分光情報記憶部、明度信号変換部、セル単位明度置換部の動作を説明する図である。
【0112】
図5に示すように、測色値変換部112は、被写体分光情報推定部110が縦2セル、横2セルのブロック単位で推定した被写体の分光情報と照明分光情報記憶部113から供給される照明の分光情報から次式に用いてブロック単位でCIEXYZ三刺激値を算出する。
【0113】
【数9】
Figure 0003826174
ここで、rhは波長h番目の被写体の分光反射率を表わす。測色値変換部112は、CIEXYZ三刺激値をさらに輝度成分と色味成分に分離された測色値、たとえば、式(10)を用いてCIELAB値などに変換する。
【0114】
【数10】
Figure 0003826174
ここで、Xn、Yn、Znは基準白色のCIEXYZ三刺激値を表わす。ただし、輝度成分は式(10)にあるような視覚系の明るさ間隔に対して比例的な関係を持つ明度信号に変換する。一般に、式(9)で与えられる輝度値は視覚系の明るさ間隔に対して線形関係が成り立たず、式(10)に示すような1/3乗程度の指数関数で輝度値を変換すると視覚系の明るさ間隔と線形関係が成立すると言われている。
【0115】
一方、明度信号変換部105は輝度信号生成部104で受光セル単位に算出された輝度信号Yを式(10)を用いて明度信号L*に変換する。測色値変換部112が縦2セル、横2セルのブロック単位で測色値を算出するのに対し、明度信号変換部105はセル単位で明度信号L*を算出する。
【0116】
そこで、セル単位明度信号置換部114は、測色値変換部112から出力される測色値のうち、明度成分L*のみ、明度信号変換部105からの出力に置き換える。
【0117】
前述したように、視覚系は輝度変調に対する解像力が高いため、縦2セル、横2セルのブロック単位で算出されたCIELAB値の明度成分L*のみを色成分a*とb*に対して縦方向、横方向それぞれで2倍の解像度に変換する。
【0118】
ところで、照明分光情報記憶部113に格納する照明の分光分布を、被写体が撮影された環境の照明と別の分光分布に入れ替えれば、照明変換が容易に行える。
【0119】
たとえば、再現画像はプリンタで紙に印刷されるとして、被写体は色温度4000K程度のタングステンランプで照明されていて、再現画像は6500K程度の昼光ランプで観察する場合を考える。被写体の撮影の視環境下(つまり4000Kタングステンランプ)で定義されるCIEXYZ三刺激値で出力したい場合は、式(9)のehに4000Kタングステンランプの分光分布を代入すればいい。プリントを観察する視環境下(つまり6500K昼光ランプ)で定義されるCIEXYZ三刺激値で出力したい場合は、式(9)のehに6500K昼光ランプの分光分布を代入すればいい。上記のような照明変換は、マルチバンドカメラ特有の機能であり、マルチバンドカメラは被写体の分光反射率を算出できるためである。測色値情報をCIEXYZ三刺激値ベースで持ち、分光情報を持たない3バンドカメラと大きく差別化される特徴である。
【0120】
このように、測色値変換部112が照明分光情報記憶部113に保持した照明の分光情報を用いて被写体の測色値を算出することで、測色値を被写体の分光情報と照明の分光情報から算出できる。
【0121】
第五に、原色変換部116について詳細に説明する。原色変換部116は測色値を映像表示デバイスに依存した信号に変換する。測色値とデバイス依存信号の関係は、ディスプレイの原色点の測色値で決まる。たとえばITU−R Rec.BT.709−3では測色パラメータとして3原色の色度値を定めている。すなわち、R原色は(x,y)=(0.64,0.33)、G原色は(x,y)=(0.30,0.60)、B原色は(x,y)=(0.15,0.06)であり、表示色の輝度値と比例関係にある輝度リニアデバイスドライブ信号R、G、BとCIEXYZ三刺激値との関係は以下で与えられる。
【0122】
【数11】
Figure 0003826174
ここで、XR、YR、ZRはR原色のCIEXYZ三刺激値を表わし、同様にXG、YG、ZGはG原色のCIEXYZ三刺激値を、XB、YB、ZBはB原色のCIEXYZ三刺激値を表わす。CIEXYZ三刺激値とxy色度座標の関係は
【0123】
【数12】
Figure 0003826174
で与えられるために、式(11)はR原色の色度座標(xR,yR)、G原色の色度座標(xG,yG)、B原色の色度座標(xB,yB)を用いて以下のように書き換えられる。
【0124】
【数13】
Figure 0003826174
以上、原色変換部116は、式(13)によってCIEXYZ三刺激値を輝度リニアデバイスドライブ信号R、G、Bに変換する。
【0125】
なお、本発明は映像表示デバイスの原色数を限定するものではなく、式(11)と式(13)の3原色は任意数に拡張可能である。
【0126】
第六に、ガンマ補正部117について詳細に説明する。現在、流通しているデバイス依存のRGB信号は、NTSC方式の概念を周到するCRTディスプレイのガンマ補正処理が施されている。CRTディスプレイは、表示管や信号処理系などの総合的入出力特性として、デバイスドライブ信号と発光輝度の関係が2.2乗の指数関数で表わされる。これがいわゆるガンマ特性である。そこで、デバイスドライブ信号と発光輝度の関係が線形になるように、予め送信側で1/2.2乗の指数関数変換を施し、CRTディスプレイのガンマ特性を相殺するように、いわゆるガンマ補正を施してR信号、G信号、B信号を送出する。ガンマ補正部117は、式(14)で輝度リニアデバイスドライブ信号R、G、Bをガンマ補正済のデバイスドライブ信号R'、G'、B'に変換する。
【0127】
【数14】
Figure 0003826174
なお、本発明は映像表示デバイスの原色数を限定するものではなく、式(14)の3原色は任意数に拡張可能である。
【0128】
このように、ガンマ補正部117を具備することで、撮像素子の受光セル単位で明度が置換された測色値を表示デバイスのガンマ補正処理を含んだ輝度・色差信号に変換できる。
【0129】
第七に、輝度・色差信号変換部119について詳細に説明する。デバイスドライブ信号R'、G'、B'は、輝度・色差信号変換部119において様々な伝送フォーマットに対応させるために輝度・色差信号に変換される。たとえばITU−R Rec.BT.709−3に従う場合は、式(15)によってデバイスドライブ信号R'、G'、B'が輝度・色差信号に変換される。
【0130】
【数15】
Figure 0003826174
このように、輝度・色差信号変換部119を具備することで、撮像素子の受光セル単位で明度が置換された測色値の輝度線形性を保ったまま、輝度・色差信号に変換できる作用を有する。
【0131】
なお、本発明は、デバイスドライブ信号R'、G'、B'を輝度・色差信号へ変換する方式に対して制限を与えるものではなく、伝送フォーマットに応じて自由に設定できることを特筆しておく。
【0132】
たとえば、Rバンドの寄与率を0.30、Gバンドの寄与率を0.59、Bバンドの寄与率を0.11とした線形和で輝度信号を算出することで、EIA−RS 170A方式に従わせることができ、EIA−RS 170A方式のデコーダを有する映像表示デバイスで正確な色再現を可能にする。
【0133】
また、Rバンドの寄与率を0.299、Gバンドの寄与率を0.587、Bバンドの寄与率を0.114とした線形和で輝度信号を算出することで、SMPTE 170M方式のデコーダを有する映像表示デバイスで正確な色再現を可能にする。
【0134】
最後に、走査方式の違いに対応する方法とデバイスドライブ信号用ラインメモリ118、輝度・色差信号用ラインメモリ120について詳細に説明する。一般に映像方式には1走査ラインおきに飛び越し走査を行うインタレース方式と飛び越しなしに走査ライン順に走査を行うプログレッシブ方式がある。本発明では、短波長成分色信号処理部108と長波長成分色信号処理部109が受光セル単位で縦2セル、横2セルを単位ブロックとしたブロック単位で測色値を算出する。従って、走査ライン方向に見た場合、2ライン分の測色値が1回の動作で求められる。そこで、プログレッシブ方式の場合は、2ライン目の測色値データを保持しておいて、走査タイミングに合わせて、保持しておいた2ライン目の測色データを送出する必要がある。
【0135】
図1におけるデバイスドライブ信号用ラインメモリ118は、取り込んだ被写体の色情報をデバイスドライブ信号形式で保持し、デバイスドライブ信号用送信機121からの走査タイミングに合わせた読み出し指示に従って保持したデバイスドライブ信号を出力する。
【0136】
同様に、輝度・色差信号用ラインメモリ120は、取り込んだ被写体の色情報を輝度・色差信号形式で保持し、輝度・色差信号用送信機122からの走査タイミングに合わせた読み出し指示に従って保持した輝度・色差信号を出力する。
【0137】
またインタレース方式の場合は、ラインメモリに保持することなく取得された被写体の分光情報をそのまま出力すればいい。すなわち、図3に示すように、被写体の分光反射率は縦2セルずつ取得される。そこで、インタレース走査が奇数ラインを走査中でも偶数ラインを走査中でも、被写体分光情報推定部110は同一の分光反射率を出力する。このため、測色値変換部112は奇数ラインでも偶数ラインでも同じ測色値を出力し、ラインメモリにデータを保持しておく必要はない。
【0138】
ただし、被写体の分光反射率を推定する単位ブロックの縦方向のセル数が3以上の場合は、プログレッシブ方式とインタレース方式の両走査方式において、データを保持しておく必要がある。プログレッシブ方式の場合は、単位ブロックの縦方向のセル数をnとすると(n−1)ライン分のラインメモリを必要とする。インタレース方式の場合は、(n−1)/2の商にあたるライン分のラインメモリを必要とする。ラインメモリに保持された信号値は、送信機から指示された読み出しタイミングに応じて出力される。
【0139】
このように、単位ブロックが縦nセルから構成されている際には、単位ブロック内の(n−1)ラインに相当する外部出力信号をラインメモリに記憶し、単位ブロック内の第2ライン以降の出力はラインメモリから撮像装置の外部へ出力することで、受光セル単位でnライン分同時に生成されるマルチバンド画像のうち、第1ラインはラインメモリを介さず出力し、第2ライン以降の(n−1)ラインは画像走査の同期に合わせてラインメモリから出力して、様々な走査方式に対応できる。
【0140】
一方、被写体の分光情報を推定する単位ブロックが走査ラインごとに移動する場合は最小限の構成でプログレッシブ方式とインタレース方式に対応できる。図6は、実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリの動作を説明する図である。図6は、図3と同様に縦2セル、横2セルを単位ブロックとして被写体の分光情報を推定するケースである。図6(a)は、実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリの画像の第1走査ライン走査時における動作を表わした図であり、図6(b)は、実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリ画像の、第2走査ライン走査時の動作を表わした図である。
【0141】
撮影装置が画像の第1走査ラインを走査している場合、図6(a)に示すように、短波長成分撮像素子106と長波長成分撮像素子107は、素子の第1走査ラインと第2走査ラインがアクティブとなり、2ライン分の信号が同時に被写体分光情報推定部110に出力されて、被写体の分光情報を2ライン単位で推定する。そこで、撮影装置は、第2走査ラインの出力信号を、画像の走査が第2走査ラインに入るまで保持する必要があり、分光情報は測色値に変換された後、1ライン分のラインメモリ601(図1中のデバイスドライブ信号用ラインメモリ118および輝度・色差信号用ラインメモリ120に相当)に第2走査ラインの測色値が保存される。画像の走査が第2走査ラインに移ったら、図6(b)に示すように、短波長成分撮像素子106、長波長成分撮像素子107、被写体分光情報推定部110とは関係なく、ラインメモリ602(実体はラインメモリ601と同一。)から、すでに計算済の出力信号を外部出力する。
【0142】
図7は、被写体の分光情報推定における単位ブロックの位置を画像の走査位置に合わせて、1ラインずつ移動する場合である。図7(a)は、実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリの画像の、第1走査ライン走査時の動作を表わした図であり、図7(b)は、実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリ画像の、第2走査ライン走査時の動作を表わした図である。
【0143】
画像の第1走査ライン走査時は、図6(a)と同様に、短波長成分撮像素子106と長波長成分撮像素子107の第1走査ラインと第2走査ラインがアクティブとなり、2ライン分の信号が同時に被写体分光情報推定部110に出力されて、被写体の分光情報を2ライン単位で推定する。分光情報は測色値に変換されて、そのまま外部へ出力される。画像の走査が第2走査ラインに移ると、図7(b)に示すように、短波長成分撮像素子106と長波長成分撮像素子107は、素子の第2走査ラインと第3走査ラインがアクティブとなり、2ライン分の信号が同時に被写体分光情報推定部110に出力されて、被写体の分光情報を2ライン単位で推定する。引き続き、分光情報は測色値に変換されて、そのまま外部へ出力される。
【0144】
図7に示すように、分光推定を行う撮像素子上の単位ブロックの第1ラインが、画像走査の走査ラインと一致するように移動すれば、図6に示すようなラインメモリが必要なくなる。また、図7で推定される分光情報は、撮像素子を1ラインずつ移動していくため、2ラインごとに分光推定を行う図6より、推定精度が高くなる利点がある。
【0145】
つまり、図6の場合、奇数走査ライン、偶数走査ラインの順で隣接する2ラインは同一の分光情報を持ち、たとえば図6の隣接するセル603とセル604は同一の分光情報R11を持つ。
【0146】
一方、図7の場合、セル604と同一位置にあるセル701は、画像の第1走査ラインを走査時図7(a)には、分光情報R11を持つが、画像の第2走査ラインを走査時図7(b)には、分光情報R21に書き換えられる。分光情報R21は撮像素子の第2ライン、第3ラインで取得した被写体情報であり、撮像素子の第1ライン、第2ラインから取得された被写体情報R11とは異なる。
【0147】
以上、分光推定を行う撮像素子上の単位ブロックの第1ラインが、画像走査の走査ラインと一致するように移動することで、単位ブロック固定の場合よりも正確な分光推定が可能になるが、図5において、すでに詳細に説明を行ったセル単位明度信号置換部114との組み合わせで、色推定精度がさらに向上することを追記しておく。
【0148】
なお、図6と図7では分光推定を行う単位ブロックを縦2セル、横2セルを例にとって説明したが、本発明は単位ブロックのセル数に制限されるものではなく、任意サイズの単位ブロックで実施可能であることを特筆しておく。
【0149】
また、デバイスドライブ信号用送信機121と輝度・色差信号用送信機122は任意の伝送フォーマットを適応可能であり、ITU−RやSMPTEのテレビジョン、VTR、ディスク記録フォーマット等の標準規格や、多くのデジタルカメラで採用されているsRGB信号など、任意に対応できる。
【0150】
以上、実施の形態1によって、視覚系の解像力の高い明度成分情報を前記輝度撮像素子で高精細に取得し、同時に短波長成分撮像素子と長波長成分撮像素子から取得された測色値の明度成分のみを輝度撮像素子からの明度成分情報で撮像素子の受光セル単位に置換することによって、短波長成分撮像素子と長波長成分撮像素子の受光セルに具備された色フィルタの種類より少ない2つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になる。
【0151】
また、実施の形態1は、短波長成分撮像素子106および長波長成分撮像素子107が、互いに異なり、かつ単位ブロック内のすべての色フィルタを組み合わせるとダイクロイックミラー210が分割した短波長側および長波長側の光の波長帯域をカバーする分光透過率分布を持つ受光セルからなる単位ブロックを持つので、ダイクロイックミラー210が分割した短波長成分および長波長成分の光を無駄なく受光し、視覚系の解像力の低い色成分情報を単位ブロックごとで取得することにより、1つに撮像素子で複数のマルチバンド画像を撮影できる。
【0152】
さらに、実施の形態1は、単位ブロックが、縦2セル、横2セルからなるので、縦2セル、横2セルの単位ブロックごとに被写体の分光情報を推定できる。この結果、1つの撮像素子で単位ブロックごとに4つのマルチバンド画像が同時に撮影できる作用を有する。よって、短波長成分撮像素子106および長波長成分撮像素子107の2つの撮像素子を使用することで、4×2の8バンドの画像が同じに撮影できる。
【0153】
また、実施の形態1は、単位ブロックの縦方向の位置が、単位ブロックの1ライン目が画像走査の走査ラインと一致するように決定されているので、撮像装置の出力信号をラインメモリへ一時的に保持することなくストリーム形式で出力でき、かつ被写体の分光情報を走査ラインごとに緻密の推定できる。
【0154】
また、実施の形態1は、色分解光学系102を、入射光を2つの光路に分割するハーフミラー203を備えた第1光学プリズム202と、第1光学プリズム202で分割された一方の光の短波長成分のみ反射するダイクロイックミラー210を備えた第2光学プリズム209と、第2光学プリズム209で透過した長波長成分を透過する第3光学プリズム216と、エアギャップ208と、から構成した。これにより、輝度成分と短波長、長波長の2つの色成分に分割する色分解光学系102を3つの光学プリズムの容積分だけに小型化できる。また、ここで着目すべき点に、色分解光学系102が、従来のRGBからなる色分解光学系等と同様に3つの光学プリズムから構成されている点がある。つまり、本実施の形態の色分解光学系102は、従来の色分解光学系を少し改良するだけで作成できる。よって、本実施の形態の色分解光学系102は、既存の材料から作成できるので、既存の撮像装置に適用することが容易である。
【0155】
また、実施の形態1は、第2光学プリズム209は、長波長成分がプリズム内部からプリズム外部へ出力される境界面に赤外吸収フィルタ215を具備することで、赤外光に感度を持つ撮像素子からのノイズを簡単な構成で抑制できる。
【0156】
(実施の形態2)
以下、本発明の実施の形態2にかかる撮像装置であるマルチバンドビデオカメラについて説明する。まず、実施の形態2における3つの撮像素子でマルチバンド画像を同時に撮影するマルチバンドビデオカメラのシステムについて図8を用いて説明する。図8は、実施の形態2における3つの撮像素子でマルチバンド画像を同時に撮影するマルチバンドビデオカメラのシステム構成図である。図8と図1の相違点は以下の2点で、その他は同一の構成を持ち、かつ同一の動作、機能を有する。
【0157】
第一の相違点は、図8には図1の明度信号変換部105がない点である。第二の相違点は、図1のセル単位明度信号置換部114がセル単位測色値スケーリング部801に変更されている点である。
【0158】
図1のセル単位明度信号置換部114は、図5で詳細に説明したように、撮像素子の受光セル単位で、測色値変換部112からの測色値の明度のみを明度信号変換部105からの明度信号で置換した。一方、図8のセル単位測色値スケーリング部801は、図8の測色値変換部802から供給された測色値を、輝度信号生成部803の輝度信号を用いてスケーリングする。
【0159】
次に、図9を用いてセル単位測色値スケーリング部801の動作を詳細に説明する。図9は図5と同様に、被写体の分光推定の単位ブロックを、縦2セル、横2セルとした場合である。測色値変換部802は、図8の被写体分光情報推定部804が供給する被写体の分光反射率rhと図8の照明分光情報記憶部805が供給する照明の分光分布ehから式(9)を用いてCIEXYZ三刺激値を算出する。測色値変換部802の出力(X'Y'Z')は、セル単位測色値スケーリング部801に与えられ、輝度生成部803で生成されたセル単位の輝度信号Yを用いて式(16)のスケーリング処理が施される。
【0160】
【数16】
Figure 0003826174
従って、セル単位測色値スケーリング部801は、分光情報推定の単位ブロックごとに算出された相対的な測色値情報(X'Y'Z')を、セル単位のスケーリング処理を用いて、セル単位で絶対的測色値情報(XYZ)に変換する機能を有する。
【0161】
図8の原色変換部806は、セル単位測色値スケーリング部801の出力であるCIEXYZ三刺激値を式(13)を用いて、輝度リニアデバイスドライブ信号R、G、Bに変換する。
【0162】
以上、実施の形態2によって、視覚系の解像力の高い輝度成分情報を高精細に保ちつつ、短波長成分撮像素子と長波長成分撮像素子の受光セルに具備された色フィルタの種類より少ない2つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になる。
【0163】
(実施の形態3)
次に、本発明の実施の形態3にかかる撮像装置であるマルチバンドビデオカメラについて説明する。
【0164】
図10は、本発明の実施の形態3における3つの撮像素子でマルチバンド画像を同時に撮影するマルチバンドビデオカメラのシステム構成を示し、図1と比較しながら、以下に説明する。図1と図10の相違点は以下の1点で、その他は同一の構成を持ち、かつ同一の動作、機能を有する。図10と図1との相違点は、図10には図1のガンマ補正部117がない点である。
【0165】
ガンマ補正は、図1で詳細に説明したように、表示デバイスが持つデバイスドライブ信号と表示色の輝度との非線形特性を線形化するものである。表示デバイスに特別な処理回路を搭載することなく、送信側の処理のみで対応できるため、受信側の端末機器の簡素化、廉価化に有効である。
【0166】
しかし、近年、半導体部品を中心とする電子機器の高性能化とコストダウンが大幅に達成され、受信端末機に様々な処理機能を持たせることが可能になってきた。特に、計算機端末としての表示デバイスは、ビジネスグラフィックスやコンピュータグラフィックスを作成する映像表示装置として活用され、表示デバイス自身で輝度リニア信号を発生する機能を有するものが増えてきた。インターネットを中心とする放送と通信の融合は、逆ガンマ特性を持った信号で映像を表示するテレビジョンと輝度リニア信号で映像を表示する計算機ビジュアル端末の2つの機能を持つ映像表示装置の需要を作り上げた。
【0167】
このため、受信端末が自身でガンマ補正機能を持っている場合、送信側はガンマ補正を施す必要がなくなる。実施の形態3は、ガンマ補正を加えずに映像信号を出力する撮像装置であり、表示デバイス自身でガンマ補正を実行する計算機ビジュアル端末等に、正確な色情報を供給できる。
【0168】
以上、実施の形態3によって、視覚系の解像力の高い輝度成分情報を高精細に保ちつつ、短波長成分撮像素子と長波長成分撮像素子の受光セルに具備された色フィルタの種類より少ない2つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になり、かつガンマ補正の必要がない画像デバイスにガンマ補正なしの色信号を供給できる。
【0169】
(実施の形態4)
以下、本発明の実施の形態4にかかる撮像装置であるマルチバンドビデオカメラについて説明する。図11は、本発明の実施の形態4における2つの撮像素子でマルチバンド画像を同時に撮影するマルチバンドビデオカメラのシステム構成を示し、図1と比較しながら、以下に説明する。図1と図11の相違点は以下の3点で、その他は同一の構成を持ち、かつ同一の動作、機能を有する。
【0170】
第一の相違点は、色分解光学系にあり、図1の色分解光学系102は撮像レンズ101から入射した被写体からの光を3つの光路に分けるのに対し、図11の色分解光学系1101は撮像レンズ1102から入射した被写体からの光を2つの光路に分け、輝度撮像素子1103と後述する色成分撮像素子1104に光を分配する点である。
【0171】
第二の相違点は、被写体の分光情報を撮像する撮像素子で、図1では短波長成分撮像素子106と長波長成分撮像素子107の2つの撮像素子で被写体の分光情報を推定するのに対し、図11では色成分撮像素子1104の1つの撮像素子で被写体の分光情報を推定する点である。
【0172】
第三の相違点は、撮像素子が1つになったことに伴う信号処理部の違いで、色成分撮像素子1104からの信号は色成分色信号処理部1105へ入力し、被写体分光情報推定部1106での分光推定は、色成分色信号処理部1105からの出力のみで実行される点である。
【0173】
次に、図12を用いて、色分解光学系1101について詳細に説明する。色分解光学系1101内部には、撮像レンズ1102からの入射光1203を2つの光路に分割するハーフミラー1201が設けられている。ハーフミラー1201により分割された第1の光路の光は、ハーフミラー1201の反射光1205である。ハーフミラー1201は、反射光1205が輝度撮像素子1103に垂直に入射されるように配置されている。ハーフミラー1201により分割された第2の光路の光は、ハーフミラー1201の透過光1204である。ハーフミラー1201は、透過光1204が色成分撮像素子1104に垂直に入射されるように配置されている。
【0174】
このようにハーフミラー1201により、入射光1203は、透過光1204と反射光1205に分割され、透過光1204は色成分撮像素子1104に入射し、反射光1205は輝度撮像素子1103に入射する。
【0175】
また、ハーフミラー1201には波長選択性はなく、ハーフミラー1201によって分割された光1204と光1205とは同一の分光分布を持つ。
【0176】
また、色分解光学系1101の内部の、ハーフミラー1204に対して色成分撮像素子1104側、つまり、透過光1204の進む方向には、赤外吸収フィルタ1202が色成分撮像素子1104と平行に設けられている。これにより、透過光1204は、色成分撮像素子1104に入射される前に、赤外吸収フィルタ1202によりノイズを除去される。
【0177】
次に色成分撮像素子1104と被写体分光情報推定部1106について詳細に説明する。図13(a)は色フィルタの配列を説明する図、図13(b)は画素単位で見た色信号の配列を説明する図である。
【0178】
色成分撮像素子1104はf1からf9で示される9種類の色フィルタを縦3セル、横3セルのブロック単位で具備する。9種類の色フィルタf1からf9は互いに異なる分光透過率分布を持ち、たとえば図14に示すように9つで可視域(図14では380nmから780nm)をカバーする関係を持つ。つまり可視域全体の光を9つの色フィルタで分担して受光する。
【0179】
上述したように、被写体の分光推定には、少なくとも5バンド分の情報が必要である。このため、縦横同じ数の正方形の単位ブロックで、5バンド分以上のバンドを形成するには、図13に示すような、縦3セル、横3セルが最小構成となる。
【0180】
そして、被写体分光情報推定部1106は、色フィルタf1からf9の9つの信号をもとに被写体の分光情報を推定する。従って、被写体分光推定部1106は、分光情報を縦3セル、横3セルのブロック単位で推定し、算出する。
【0181】
図1の2つの撮像素子で分光推定を行う構成に比べて、色成分の空間解像度は1/3に落ちるが、撮像素子が1つであり、かつ図12に示したように、色分解光学系の構成も簡素化されるため、サイズやコスト面で大きな利点を持つ。 また、図7ですでに説明したように分光推定の単位ブロックを画像走査に合わせて移動すれば、解像度低下の影響を抑えられる。
【0182】
以上、実施の形態4によって、視覚系の解像力の高い輝度成分情報を高精細に保ちつつ、色撮像素子の受光セルに具備された色フィルタの種類より少ない1つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になる作用を有する。
【0183】
なお、実施の形態4の明度信号変換部105を無くし、セル単位明度信号置換部114をセル単位測色値スケーリング部801に置き換えた形態であっても良い。この構成により、視覚系の解像力の高い輝度成分情報を輝度撮像素子1103で高精細に取得し、同時に色成分撮像素子1104から取得した測色値を輝度撮像素子1103からの輝度成分情報で撮像素子の受光セル単位にスケーリングできる。この結果、色成分撮像素子1104の受光セルに具備された色フィルタの種類より少ない1つの撮像素子でマルチバンド画像を同時に撮影でき、動きの速い被写体のスチル画像撮影や動画撮影が可能になる。
【0184】
(実施の形態5)
以下、本発明の実施の形態5にかかる撮像装置であるマルチバンドビデオカメラについて図15を用いて説明する。図15は、実施の形態5における3つの撮像素子でマルチバンド画像を同時に撮影するマルチバンドビデオカメラのシステム構成図である。すでに、説明した部分と同一の部分については、同一の符番を付与し説明を省略する。
【0185】
実施の形態5と実施の形態1との相違点は、輝度・色差信号変換部119が明度・色差信号変換部1501に、輝度・色差信号用ラインメモリ120が明度・色差信号用ラインメモリ1502に、輝度・色差信号用送信機122が明度・色差信号用送信機1503になっている点である。
【0186】
明度・色差信号変換部1501は、セル単位明度信号置換部114が、撮像素子の受光セルごとに算出した測色値を明度成分と色差成分に変換する。具体的には、明度・色差信号変換部1501は、まず、映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号あるいは輝度リニアデバイスドライブ信号の線形和で輝度信号を生成する。次に、明度・色差信号変換部1501は、デバイスドライブ信号あるいは輝度リニアデバイスドライブ信号の構成要素のうち、線形和において輝度信号生成への寄与率の最も大きい要素を除いた全ての要素のそれぞれから輝度信号を差し引いた差分値を色差信号とし、輝度信号を指数関数によって明度信号に変換し、明度信号と色差信号を出力する。
【0187】
また、明度・色差信号用ラインメモリ1502および明度・色差信号用送信機1503は、実施の形態1の輝度・色差信号用ラインメモリ120および輝度・色差信号用送信機122が輝度信号を扱うのに対し、明度信号を扱うようにしたものであり、その他の動作については同一である。
【0188】
以上説明したように、実施の形態5によれば、撮像素子の受光セル単位で明度が置換された測色値を、明度線形性を保ったまま、明度・色差信号に変換できる作用を有する。また、映像表示デバイスに特別な処理部を設けることになくデバイスドライブ信号と発光色の明度の線形性を確保し、かつデバイスドライブ信号よりも帯域の小さい明度・色差信号での信号伝送を可能にする作用を有する。
【0189】
なお、実施の形態5では、実施の形態1を変形した形態で説明したが、実施の形態2〜4の輝度・色差信号変換部119を明度・色差信号変換部1501に、輝度・色差信号用ラインメモリ120を明度・色差信号用ラインメモリ1502に、輝度・色差信号用送信機122を明度・色差信号用送信機1503に変形した形態であっても良い。
【0190】
【発明の効果】
以上のように本発明は、互いに分光透過率の異なる複数の色フィルタを受光セル単位で並置させた1つ、あるいは2つの撮像素子から被写体の分光情報を推定し、受光セル単位で取得した被写体の輝度情報で、前記被写体の分光情報から得た測色値の輝度情報を受光セル単位で置換して、あるいはスケーリングして高精細でかつ高色忠実な映像を出力できる優れた撮像装置を提供する。また、ハーフミラーとダイクロイックミラーを組み合わせて、被写体からの光を光量の損失を抑えて1つの輝度撮像素子と2つの色成分撮像素子へ入射させることができ、かつ3つのプリズムの組み合わせで省スペースを実現できる優れた色分解光学系を提供する。
【図面の簡単な説明】
【図1】本発明の実施の形態1におけるマルチバンドビデオカメラの構成を示す図
【図2】実施の形態1にかかる色分解光学系の内部構造を説明する図
【図3】(a) 実施の形態1にかかる、輝度撮像素子、短波長成分撮像素子、および長波長成分撮像素子を側面から見た模式的構造図
(b) 実施の形態1にかかる、輝度撮像素子、短波長成分撮像素子、および長波長成分撮像素子の色フィルタの配列を説明する概念図
(c) 実施の形態1にかかる、輝度撮像素子、短波長成分撮像素子、および長波長成分撮像素子の画素単位で見た色信号の配列と輝度変換部の動作と被写体分光情報推定部の動作を説明する概念図
【図4】実施の形態1にかかる色フィルタの分光透過率の一例を示す図
【図5】実施の形態1にかかる測色変換部、照明分光情報記憶部、明度信号変換部、およびセル単位明度置換部の動作を説明する図
【図6】(a) 実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリの画像の第1走査ライン走査時における動作を表わした図(単位ブロックが固定された場合)
(b) 実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリ画像の第2走査ライン走査時における動作を表わした図(単位ブロックが固定された場合)
【図7】(a) 実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリの画像の第1走査ライン走査時における動作を表わした図(単位ブロックが画像走査に対応して移動する場合)
(b) 実施の形態1にかかるデバイスドライブ信号用ラインメモリと、輝度・色差信号用ラインメモリ画像の第2走査ライン走査時における動作を表わした図(単位ブロックが画像走査に対応して移動する場合)
【図8】本発明の実施の形態2におけるマルチバンドビデオカメラの構成を示す図
【図9】実施の形態2にかかるセル単位測色値スケーリング部の動作を説明する図
【図10】本発明の実施の形態3におけるマルチバンドビデオカメラの構成を示す図
【図11】本発明の実施の形態4におけるマルチバンドビデオカメラの構成を示す図
【図12】実施の形態4にかかる色分解光学系の内部構成を示す図
【図13】(a) 実施の形態4にかかる色成分撮像素子の色フィルタ配列を説明する図(b) 実施の形態4にかかる画素単位の色信号の配列と被写体分光情報推定部の動作を示す図
【図14】実施の形態4にかかる9種類の色フィルタf1からf9の分光透過率の一例を示す図
【図15】本発明の実施の形態5におけるマルチバンドビデオカメラの構成を示す図
【符号の説明】
101、1102 撮像レンズ
102、1101 色分解光学系
103、1103 輝度撮像素子
104、803、1107 輝度信号生成部
105 明度信号変換部
106 短波長成分撮像素子
107 長波長成分撮像素子
108 短波長成分色信号処理部
109 長波長成分色信号処理部
110、804 被写体分光情報推定部
111 分光情報出力端子
112、802 測色値変換部
113、805 照明分光情報記憶部
114 セル単位明度信号置換部
115 測色値出力端子
116、806 原色変換部
117 ガンマ補正部
118 デバイスドライブ信号用ラインメモリ
119 輝度・色差信号変換部
120 輝度・色差信号用ラインメモリ
121 デバイスドライブ信号用送信機
122 輝度・色差信号用送信機
201、1203 撮像レンズからの入射光
202 第1光学プリズム
203、1201 ハーフミラー
204 第1反射光
205 第1透過光
206 第1光学プリズムの面
207 第1光学プリズムの面
208 エアギャップ
209 第2光学プリズム
210 長波長成分反射ダイクロイックミラー
211 第2反射光
212 第2透過光
213 第2光学プリズムの面
214 第2光学プリズムの面
215、1202 赤外吸収フィルタ
216 第3光学プリズム
301 基板
302 受光セル
303 色フィルタ
601、602 ラインメモリ
603、604、701 セル
801 セル単位測色値スケーリング部
1104 色成分撮像素子
1105 色成分信号処理部
1106 被写体分光情報推定部
1204 透過光
1205 反射光
1501 明度・色差信号変換部[0001]
BACKGROUND OF THE INVENTION
The present invention can accurately estimate spectral information of a subject. Regarding imaging devices Technology.
[0002]
[Prior art]
Due to advances in digitization and integration technology, imaging devices such as video cameras, digital cameras, still cameras, and scanners that can acquire high-definition images are actively developed. From the viewpoint of color management, the imaging device must accurately capture the colorimetric value or spectral information of the subject, and improve the estimation accuracy for estimating the colorimetric value or spectral information of the subject from the output signal of the image sensor. Is the key. In order to smoothly exchange color information, in recent digital cameras, sRGB signals are output as standard signals.
[0003]
However, to accurately obtain the colorimetric value of the subject by linearly converting the output signal of the image sensor having three color filters of R, G, and B, the spectral transmittance distribution of the color filter is a linear combination of color matching functions. It is necessary to satisfy the so-called router condition that can be expressed by When the router condition cannot be satisfied, it is necessary to perform nonlinear conversion on the output signal of the image sensor. In many cases, accurate colorimetric estimation is difficult, and conversion errors into sRGB signals are likely to occur. Even if the colorimetric estimation can be accurately realized, there remains a problem of condition color matching, and it is desired to accurately estimate the spectral reflectance of the subject.
[0004]
However, when the spectral reflectance of the subject is estimated discretely every 10 nm in the visible range from 400 nm to 700 nm, the spectral reflectance vector is a 31-dimensional vector. Therefore, it can be understood from the difference between the number of dimensions of the spectral reflectance vector (that is, 31) and the channel of the imaging device (that is, 3) that spectral reflectance estimation with a three-band camera is not easy.
[0005]
As described above, since it is difficult to accurately estimate color information in a three-band imaging device using three color filters of R, G, and B, a multiband imaging device with an increased number of bands is an effective means. .
[0006]
Sugiura et al., For example, uses a spectral image input system (Color Forum JAPAN'99, P65-P72) to shoot multiband images in a time-sharing manner using five bandpass filters and one image sensor. The technology of a multiband camera is disclosed. If the number of bands is increased in this way, the accuracy of spectral estimation is improved, but the child method is a time-division photographing method, so that there is a problem that the number of photographing increases.
[0007]
Therefore, in recent years, research related to the trade-off between the number of bands and color estimation accuracy (for example, Murakami et al. “Development of a color image system capable of accurate color reproduction (Color Forum JAPAN'99, P5-P8)”). Research has been actively conducted, and about 5 to 10 bands have been reported as appropriate.
[0008]
However, in the time division method, the photographing time is increased by the number of bands, and it is difficult to photograph a moving subject. Japanese Laid-Open Patent Publication No. 4-329322 discloses a technique for simultaneously capturing multiband images by providing an image sensor for each bandpass filter.
[0009]
[Problems to be solved by the invention]
However, the above-described conventional simultaneous shooting type multiband imaging device has the following problems.
[0010]
In recent research reports to academic societies, as described above, at least five bands or more are required for accurate estimation of the spectral reflectance of a subject. Therefore, in the method in which an image sensor is provided for each bandpass filter, at least five image sensors are required. Furthermore, a color separation optical system that divides the light input from the imaging lens into five optical paths is required, resulting in an increase in apparatus size and weight. In addition, when the size of the color separation optical system is increased, the distance from the imaging lens to the imaging element is increased. As a result, the aperture of the imaging lens is also increased, and the cost of the imaging apparatus is increased.
[0011]
The present invention has been made in view of this point, and an object of the present invention is to simultaneously capture a multiband image having a necessary number of bands with a smaller number of image sensors than the number of bands necessary for estimating spectral information of a subject. And
[0012]
[Means for Solving the Problems]
In order to achieve this object, the present invention divides light input from an imaging lens into two optical paths by a half mirror, generates a luminance image from one light, and converts the other light into a short wavelength component and a long wavelength component. The spectral information of the subject is estimated from the light of the short wavelength component and the light of the long wavelength component, respectively, and the brightness information of the colorimetric value calculated from the estimated spectral information of the subject is converted into a brightness signal converted by the brightness signal converter. Replaced by cell unit.
[0013]
This makes it possible to simultaneously capture multiple band images with a smaller number of image sensors than the number of bands required for spectral estimation while maintaining high-resolution luminance component information with high resolution in the visual system. Movie shooting is possible.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
An imaging apparatus according to a first aspect of the present invention receives a half mirror that divides light from an imaging lens into two optical paths, and receives one light divided by the half mirror, and acquires luminance information of the subject. A luminance imaging device that generates a luminance signal from the luminance information and outputs the luminance signal, a luminance signal converter that converts the luminance signal into a luminance signal, and the other light divided by the half mirror is shortened. A dichroic mirror that divides the wavelength component into a long wavelength component, and a short wavelength component imaging that outputs the color signal corresponding to the received light by receiving light of the short wavelength component through a plurality of different color filters in different light receiving cells. A long wavelength component imaging device that receives light of the long wavelength component through a plurality of different color filters in different light receiving cells and outputs a color signal corresponding to the received light; A subject spectral information estimation unit that estimates spectral information of a subject from the color signal output from the short wavelength component imaging device and the long wavelength component imaging device, and the brightness signal conversion of the brightness information of the colorimetric value calculated from the spectral information A unit-by-cell brightness signal replacement unit that replaces the brightness signal converted by the unit in units of the light-receiving cells.
[0015]
In this way, the lightness component information with high resolving power of the visual system is acquired with high precision by the luminance image sensor, and at the same time, only the lightness component of the colorimetric value acquired from the short wavelength component image sensor and the long wavelength component image sensor Is replaced with the light receiving cell unit of the image sensor with the lightness component information from the luminance image sensor, thereby reducing the number of color filters provided in the light receiving cells of the short wavelength component image sensor and the long wavelength component image sensor to 2 Multi-band images can be taken simultaneously with two imaging elements, and still images and moving images can be taken of fast-moving subjects.
[0016]
An imaging apparatus according to a second aspect of the present invention receives a half mirror that divides light from an imaging lens into two optical paths, and receives one light divided by the half mirror to obtain luminance information of the subject. A luminance imaging device that generates a luminance signal from the luminance information and outputs the luminance signal, a luminance signal converter that converts the luminance signal into a luminance signal, and the other light divided by the half mirror is shortened. A dichroic mirror that divides the wavelength component into a long wavelength component, and a short wavelength component imaging that outputs the color signal corresponding to the received light by receiving light of the short wavelength component through a plurality of different color filters in different light receiving cells. A long wavelength component imaging device that receives light of the long wavelength component through a plurality of different color filters in different light receiving cells and outputs a color signal corresponding to the received light; A subject spectral information estimation unit for estimating spectral information of a subject from the color signal output from the short wavelength component imaging device and the long wavelength component imaging device, and a colorimetric value calculated from the spectral information by the luminance signal as the light receiving cell. A cell unit colorimetric value scaling unit that performs scaling in units is employed.
[0017]
In this way, luminance component information with high resolving power of the visual system is acquired with high definition by the luminance imaging device, and colorimetric values acquired from the short wavelength component imaging device and the long wavelength component imaging device are simultaneously acquired by the luminance imaging. By scaling the luminance component information from the element to the light receiving cell unit of the image sensor, the number of color filters provided in the light receiving cell of the short wavelength component image sensor and the long wavelength component image sensor is less than two types of image sensors. Multiband images can be taken simultaneously, and still images and moving images can be taken of fast-moving subjects.
[0018]
According to a third aspect of the present invention, in the imaging device according to the first aspect or the second aspect, the arrangement of the color filters in the entire short wavelength component imaging device is a repetition of a unit block composed of a plurality of adjacent cells. When the color filters of the short wavelength component image sensor have different spectral transmittance distributions in the unit block, and the spectral transmittance distributions of all the color filters in the unit block are combined, It covers the wavelength band of the light of the short wavelength component.
[0019]
In this way, light of short wavelength components divided by the dichroic mirror is received without waste, and color component information with low resolving power of the visual system is acquired for each unit block, whereby a plurality of multiband images are obtained with one image sensor. Has the effect of photographing.
[0020]
According to a fourth aspect of the present invention, in the imaging device according to the first aspect or the second aspect, the arrangement of the color filters in the entire long wavelength component imaging device is a repetition of a unit block composed of a plurality of adjacent cells. When the color filters of the long wavelength component image sensor have different spectral transmittance distributions in the unit block, and the spectral transmittance distributions of all the color filters in the unit block are combined, Covers the wavelength band of the light of the long wavelength component.
[0021]
In this way, the light of the long wavelength component divided by the dichroic mirror is received without waste, and the color component information with low resolution of the visual system is acquired for each unit block, so that a plurality of multiband images can be obtained with one image sensor. Has the effect of photographing.
[0022]
An imaging apparatus according to a fifth aspect of the present invention obtains luminance information of the subject by receiving a half mirror that divides light from an imaging lens into two optical paths and one light that is divided by the half mirror. A luminance imaging device that generates a luminance signal from the luminance information and outputs the luminance signal, a luminance signal converter that converts the luminance signal into a luminance signal, and the other light divided by the half mirror is different A color imaging element that receives light from a plurality of different light receiving cells through a plurality of color filters and outputs a color signal corresponding to the received light, a subject spectral information estimation unit that estimates spectral information of the subject from the color signal, and the spectral A cell unit lightness signal replacement unit that replaces only the lightness information among the colorimetric values calculated from the information with the lightness information converted by the lightness signal conversion unit for each light receiving cell. .
[0023]
In this way, the lightness component information with high resolving power of the visual system is acquired with high precision by the luminance image sensor, and at the same time, only the lightness component of the colorimetric value acquired from the short wavelength component image sensor and the long wavelength component image sensor Is replaced with the light-receiving cell unit of the image sensor by the lightness component information from the luminance image sensor, thereby reducing the number of color filters provided in the light-receiving cells of the short wavelength component image sensor and the long wavelength component image sensor to 1 Multi-band images can be taken simultaneously with two imaging elements, and still images and moving images can be taken of fast-moving subjects.
[0024]
An imaging apparatus according to a sixth aspect of the present invention receives a half mirror that divides light from an imaging lens into two optical paths, and receives one light divided by the half mirror to obtain luminance information of the subject. A luminance imaging device that generates a luminance signal from the luminance information and outputs the luminance signal, a luminance signal converter that converts the luminance signal into a luminance signal, and the other light divided by the half mirror is different A color imaging element that receives light from a plurality of different light receiving cells through a plurality of color filters and outputs a color signal corresponding to the received light, a subject spectral information estimation unit that estimates spectral information of the subject from the color signal, and the spectral A cell unit colorimetric value scaling unit that scales a colorimetric value calculated from information in units of the light receiving cell by the luminance signal is adopted.
[0025]
In this way, luminance component information with high resolving power of the visual system is acquired with high definition by the luminance imaging device, and colorimetric values acquired from the short wavelength component imaging device and the long wavelength component imaging device are simultaneously acquired by the luminance imaging. By scaling the luminance component information from the element to the light receiving cell unit of the image pickup element, the number of color filters provided in the light receiving cell of the short wavelength component image pickup element and the long wavelength component image pickup element can be reduced by one image pickup element. Multiband images can be taken simultaneously, and still images and moving images can be taken of fast-moving subjects.
[0026]
According to a seventh aspect of the present invention, in the imaging device according to the fifth aspect or the sixth aspect, the color imaging element receives light through a color filter for each light receiving cell of the imaging element, and the color filter is adjacent to the color imaging element. Spectral transmittance that covers the wavelength band incident from the imaging lens by combining a plurality of light receiving cells as unit blocks, having different spectral transmittance distributions in the unit block, and combining all color filters in the unit block The arrangement of the color filters having the distribution and the entire color imaging device is a repeating pattern of the unit blocks.
[0027]
In this way, by receiving light divided by the half mirror without waste and acquiring color component information with low resolution of the visual system in units of unit blocks, it is possible to capture a plurality of multiband images with one image sensor.
[0028]
According to an eighth aspect of the present invention, in the imaging device according to any one of the first to seventh aspects, the unit block includes two vertical cells and two horizontal cells, and the subject spectral information estimation unit includes: The spectral information of the subject is estimated for each unit block.
[0029]
Thereby, it has the effect | action which can image | photograph four multiband images for every unit block simultaneously with one image pick-up element.
[0030]
According to a ninth aspect of the present invention, in the imaging device according to any one of the first to seventh aspects, the vertical position of the unit block is a scanning line in which the first line of the unit block is an image scan line. Is determined to match.
[0031]
Thus, the output signal of the image pickup apparatus can be output in a stream format without being temporarily held in the line memory, and the spectral information of the subject can be accurately estimated for each scanning line.
[0032]
According to a tenth aspect of the present invention, in the imaging device according to any one of the first to seventh aspects, the unit block is composed of vertical n cells, and (n−1) in the unit block An external output signal corresponding to a line is stored in a line memory, and the external output signals after the second line in the unit block are output from the line memory.
[0033]
As a result, among the multi-band images generated simultaneously for n lines in the light receiving cell unit, the first line is output without going through the line memory, and the (n−1) lines after the second line are synchronized with the image scanning. The output from the line memory can be used for various scanning methods.
[0034]
According to an eleventh aspect of the present invention, in the imaging device according to any one of the first aspect, the second aspect, the fifth aspect, and the sixth aspect, an illumination spectral information storage unit that stores spectral information of illumination; A colorimetric value conversion unit that calculates a colorimetric value of the subject using the illumination spectral information held in the illumination spectral information storage unit, and the cell unit lightness signal replacement unit or the cell unit colorimetry The value scaling unit obtains the spectral information of the subject estimated by the subject spectral information estimation unit and the colorimetric value information from the colorimetric value conversion unit.
[0035]
Thus, the colorimetric value having the brightness replaced in the light receiving cell unit of the image sensor or the colorimetric value to be scaled can be calculated from the spectral information of the subject and the spectral information of the illumination.
[0036]
According to a twelfth aspect of the present invention, in the imaging apparatus according to any one of the first aspect, the second aspect, the fifth aspect, and the sixth aspect, the cell unit lightness signal replacement unit or the cell unit colorimetric value. A primary color conversion unit that converts a colorimetric value calculated by the scaling unit for each light receiving cell into a luminance linear drive level of a display device; a gamma correction unit that corrects gamma characteristics of the display device from an output of the primary color conversion unit; A luminance / color difference signal conversion unit for calculating a luminance / color difference signal from the output of the gamma correction unit is employed.
[0037]
Accordingly, the colorimetric value in which the lightness is replaced in units of light receiving cells of the image sensor or the scaled colorimetric value can be converted into a luminance / color difference signal including gamma correction processing of the display device.
[0038]
According to a thirteenth aspect of the present invention, in the imaging apparatus according to any one of the first, second, fifth, or sixth aspects, the cell unit lightness signal replacement unit or the cell unit colorimetric value. A primary color conversion unit that converts a colorimetric value calculated by the scaling unit for each light receiving cell into a luminance linear drive level of a display device; a luminance / color difference signal conversion unit that calculates a luminance / color difference signal from an output of the primary color conversion unit; The structure which comprised these is taken.
[0039]
Thus, the colorimetric value in which the lightness is replaced in units of light receiving cells of the image sensor or the scaled colorimetric value can be converted into the luminance / color difference signal while maintaining the luminance linearity.
[0040]
According to a fourteenth aspect of the present invention, in the imaging device according to any one of the first, second, fifth, or sixth aspects, the cell unit lightness signal replacement unit or the cell unit colorimetric value scaling is provided. The unit includes a lightness / color difference signal conversion unit that converts a colorimetric value calculated for each light receiving cell into a lightness component and a color difference component.
[0041]
Thus, the colorimetric value in which the lightness is replaced in the light receiving cell unit of the image sensor or the scaled colorimetric value can be converted into the lightness / color difference signal while maintaining the lightness linearity.
[0042]
According to a fifteenth aspect of the present invention, in the imaging apparatus according to the twelfth aspect or the thirteenth aspect, the luminance / color-difference signal converter is a device drive signal or luminance linear device drive that cancels gamma characteristics of a video display device. A luminance signal is generated by a linear sum of signals, and all the elements of the device drive signal or the constituent elements of the luminance linear device drive signal are excluded except for the element that contributes most to the luminance signal generation in the linear sum. The difference value obtained by subtracting the luminance signal from each is used as a color difference signal, and the luminance signal and the color difference signal are output.
[0043]
This ensures linearity of the luminance of the device drive signal and emission color without providing a special processing unit in the display device, and enables signal transmission with a luminance / color difference signal with a smaller band than the device drive signal. Have the effect of
[0044]
According to a sixteenth aspect of the present invention, in the imaging apparatus according to the fourteenth aspect, the lightness / color difference signal conversion unit is a linear sum of a device drive signal or a luminance linear device drive signal that cancels a gamma characteristic of a video display device. A luminance signal is generated, and the luminance signal is derived from each of all the elements of the device drive signal or the luminance linear device drive signal except for the element having the largest contribution rate to the luminance signal generation in the linear sum. The difference value obtained by subtracting is used as a color difference signal, the luminance signal is converted into a brightness signal by an exponential function, and the brightness signal and the color difference signal are output.
[0045]
This ensures the linearity of the brightness of the device drive signal and emission color without providing a special processing unit in the video display device, and enables signal transmission with a lightness / color difference signal with a smaller band than the device drive signal. Has the effect of
[0046]
According to a seventeenth aspect of the present invention, in the imaging apparatus according to the fifteenth aspect or the sixteenth aspect, the device drive signal that cancels the gamma characteristic of the video display device is composed of three bands of R, G, and B, or When the luminance linear device drive signal is composed of three bands of R, G, and B, the R band contribution ratio is 0.30, the G band contribution ratio is 0.59, and the B band contribution ratio is 0.11. The luminance signal is calculated as the sum.
[0047]
Thereby, it has the effect | action which enables exact color reproduction with the video display device which has a decoder of an EIA-RS 170A system.
[0048]
According to an eighteenth aspect of the present invention, in the imaging apparatus according to the fifteenth aspect or the sixteenth aspect, the device drive signal that cancels the gamma characteristic of the video display device is composed of three bands of R, G, and B, or When the luminance linear device drive signal is composed of three bands of R, G, and B, the R band contribution ratio is 0.299, the G band contribution ratio is 0.587, and the B band contribution ratio is 0.114. The luminance signal is calculated as the sum.
[0049]
Thus, the video display device having the SMPTE 170M decoder has an effect of enabling accurate color reproduction.
[0050]
According to a nineteenth aspect of the present invention, in the imaging apparatus according to the fifteenth aspect or the sixteenth aspect, the device drive signal that cancels the gamma characteristic of the video display device is composed of three bands of R, G, and B, or When the luminance linear device drive signal is composed of three bands of R, G, and B, the R band contribution ratio is 0.2126, the G band contribution ratio is 0.7152, and the B band contribution ratio is 0.0722. The luminance signal is calculated as the sum.
[0051]
As a result, ITU-R Rec. BT. The video display device having a 709-3 decoder has an effect of enabling accurate color reproduction.
[0052]
A color separation optical system according to a twentieth aspect of the present invention includes a first optical prism having a half mirror that divides incident light into two optical paths, and one of the lights divided by the first optical prism. A second optical prism including a dichroic mirror that reflects only a short wavelength component; a third optical prism that transmits a long wavelength component transmitted by the second optical prism; the first optical prism; and the second optical prism. An air gap is provided between the optical prism and the optical prism.
[0053]
With this configuration, the color separation optical system that divides the light from the subject into the luminance component and the two color components of the short wavelength and the long wavelength can be reduced in size by the volume of the three optical prisms.
[0054]
According to a twenty-first aspect of the present invention, in the color separation optical system according to the twentieth aspect, the third optical prism includes an infrared absorption filter on a boundary surface where the long wavelength component is output from the prism to the outside of the prism. The structure to comprise is taken.
[0055]
With this configuration, the noise from the image sensor having sensitivity to infrared light can be suppressed with a simple configuration.
[0056]
A color separation optical system according to a twenty-second aspect of the present invention includes a first optical prism having a half mirror that divides incident light into two optical paths, and one of the lights divided by the first optical prism. A second optical prism including a dichroic mirror that reflects only a long wavelength component; a third optical prism that transmits a short wavelength component transmitted by the second optical prism; the first optical prism; and the second optical prism. An air gap is provided between the optical prisms.
[0057]
With this configuration, the color separation optical system that divides the light from the subject into the luminance component and the color component can be reduced in size by the volume of the two optical prisms.
[0058]
According to a twenty-third aspect of the present invention, in the color separation optical system according to the twenty-second aspect, the second optical prism includes an infrared ray on a boundary surface where the reflected long wavelength component is output from the inside of the prism to the outside of the prism. The structure which comprises an absorption filter is taken.
[0059]
With this configuration, the noise from the image sensor having sensitivity to infrared light can be suppressed with a simple configuration.
[0060]
(Embodiment 1)
Hereinafter, a multiband video camera which is an imaging apparatus according to the first embodiment of the present invention will be described. First, a system of a multiband video camera that simultaneously captures a multiband image with the three image sensors in Embodiment 1 will be described with reference to FIG. FIG. 1 is a system configuration diagram of a multiband video camera that simultaneously captures a multiband image with three image sensors in Embodiment 1 of the present invention.
[0061]
Light from the subject enters the color separation optical system 102 through the imaging lens 101. Then, the color separation optical system 102 divides the incident light into three optical paths: a first optical path, a second optical path, and a third optical path.
[0062]
The first light path is supplied with the same light as the light that has passed through the imaging lens 101 as spectral characteristics. A luminance image sensor 103 is disposed on the first optical path, and light in the first optical path is incident on the luminance image sensor 103. The luminance imaging element 103 outputs a signal corresponding to the light incident on each light receiving cell to the lightness signal conversion unit 105. The signal value output for each light receiving cell of the luminance imaging element 103 is adjusted as a luminance signal by the luminance signal generation unit 104 and output to the lightness signal conversion unit 105. The lightness signal conversion unit 105 converts the input luminance signal into a lightness signal using an exponential function and outputs the lightness signal.
[0063]
A short wavelength component of light that has passed through the imaging lens 101 is supplied to the second optical path as spectral characteristics. A short wavelength component image sensor 106 is disposed on the second optical path, and light in the second optical path is incident on the short wavelength component image sensor 106. A long wavelength component of light that has passed through the imaging lens 101 is supplied to the third optical path as spectral characteristics. A long wavelength component image sensor 107 is disposed on the third optical path, and light in the third optical path is incident on the long wavelength component image sensor 107. However, the light in the second optical path and the light in the third optical path are spectrally divided based on the light that has passed through the imaging lens 101 in the color separation optical system 102, and the wavelength bands of these two lights Is equal to the wavelength band of the light that has passed through the imaging lens 101.
[0064]
The short wavelength component image sensor 106 receives light through a plurality of color filters having different spectral transmittance distributions close to the light receiving cell. Then, the short wavelength component imaging device 106 outputs a color signal corresponding to the incident light for each light receiving cell to the short wavelength component color signal processing unit 108. The short wavelength component color signal processing unit 108 simultaneously generates multiband images corresponding to the number of types of color filters from the input color signal values. Similarly, the long wavelength component imaging device 107 receives light through a plurality of color filters having different spectral transmittance distributions close to the light receiving cell, and the long wavelength component color signal processing unit 109 has the same number of types of color filters. Multi-band images are generated simultaneously.
[0065]
Both the multiband images generated by the short wavelength component color signal processing unit 108 and the long wavelength component color signal processing unit 109 are supplied to the subject spectral information estimation unit 110, and the spectral information of the subject is estimated. The spectral information of the subject is an estimation of an emission spectrum when the subject is a self-luminous body, and is a spectral reflectance when the subject is a reflective object that reflects illumination light. Further, the spectral information of the estimation result by the subject spectral information estimation unit 110 can be output to the outside of the camera via the spectral information output terminal 111. The spectral information of the subject estimated by the subject spectral information estimation unit 110 is provided to the colorimetric value conversion unit 112.
[0066]
The colorimetric value conversion unit 112 converts the input spectral information into lightness components such as CIELAB values (ie, LIEL values) via the CIEXYZ tristimulus values. * ) And color components (ie a * , B * ) Is converted into the colorimetric values separated. However, the illumination spectral information necessary for calculating the colorimetric value is stored in advance in the illumination spectral information storage unit 113 and is provided from the illumination spectral information storage unit 113 to the colorimetric value conversion unit 112. The colorimetric value calculated by the colorimetric value conversion unit 112 is input to the cell unit lightness signal replacement unit 114.
[0067]
The cell unit lightness signal replacement unit 114 replaces only the lightness component of the colorimetric values output from the colorimetric value conversion unit 112 with the lightness signal generated in lightness cell units in the lightness signal conversion unit 105.
[0068]
Further, when it is desired to take out color information of the captured subject as a colorimetric value, it can be output to the outside of the camera via the colorimetric value output terminal 115. The colorimetric value of the light receiving cell unit output from the cell unit lightness signal replacement unit 114 is converted into a primary color signal of the video display device by the primary color conversion unit 116. The luminance linear device drive signal output from the primary color conversion unit 116 is subjected to a reverse gamma characteristic that cancels the gamma characteristic of the video display device in the gamma correction unit 117, and the device drive signal line memory 118 is used as the device drive signal. And supplied to the luminance / color difference signal converter 119. The luminance / color difference signal conversion unit 119 converts the device drive signal into a luminance signal and a color difference signal, and outputs them to the luminance / color difference signal line memory 120.
[0069]
Two types of line memories, a device drive signal line memory 118 and a luminance / color difference signal line memory 120, are provided to cope with the difference in scanning method, and include a short wavelength component imaging element 106 and a long wavelength component imaging. The operation is determined according to the arrangement of the color filters of the element 107. Therefore, a detailed description will be given after the description of the color filter of the image sensor. Furthermore, the device drive signal transmitter 121 and the luminance / color difference signal transmitter 122 are provided to support various communication protocols, and the captured video signal of the multiband video camera is determined to a receiving device such as a display. Output according to the specified protocol.
[0070]
Next, the color separation optical system 102, the luminance imaging device 103, the short wavelength component imaging device 106, the long wavelength component imaging device 107, the subject spectral information estimation unit 110, the colorimetric value conversion unit 112, the cell unit lightness signal replacement unit 114, The primary color conversion unit 116, gamma correction unit 117, luminance / color difference signal conversion unit 119, device drive signal line memory 118, and luminance / color difference signal signal line memory 120 will be described in detail step by step.
[0071]
First, the color separation optical system 102 will be described in detail with reference to FIG. FIG. 2 is a diagram illustrating the internal structure of the color separation optical system according to the first embodiment.
[0072]
The color separation optical system 102 separates light from the subject into three components, a luminance component, a short wavelength component, and a super wavelength component, using three optical prisms.
[0073]
The color separation optical system 102 includes a first optical prism 202 that is a triangular prism, a second optical prism 209 that is a triangular prism, and a third optical prism 216 that is a trapezoidal prism.
[0074]
The first optical prism 202 is disposed perpendicular to the incident light 201 from the imaging lens 101, and is a first surface 206 that is an incident surface on which the incident light 201 is incident, and the long wavelength component imaging element 107 side of the first surface 206. Are connected to the luminance imaging device 103 side of the first surface 206 and the half mirror 203 which is a semi-transmissive surface (second surface) of the incident light 201 whose normal line is inclined at a predetermined angle toward the luminance imaging device 103 side. The third surface 207 is a transmission surface whose surface normal is perpendicular to the direction of the luminance image sensor 103.
[0075]
The half mirror 203 divides the incident light 201 into two lights, a first reflected light 204 that is reflected light and a first transmitted light 205 that is transmitted light. The half mirror 203 has no wavelength selectivity, and the two divided lights, the first reflected light 204 and the first transmitted light 205 have the same spectral distribution.
[0076]
Since the normal line of the half mirror 203 is inclined toward the luminance imaging element 103 side, the first reflected light 204 is inclined toward the luminance imaging element 103 side with respect to the incident light 201. The first reflected light 204 is incident on the first surface 206 of the first optical prism 202 at a critical angle or more, and all the first reflected light 204 is reflected by the first surface 206, and the direction of the third surface 207 is reached. Proceed to Then, the first reflected light 204 passes through the third surface 207 and enters the luminance imaging element 103.
[0077]
On the other hand, the first transmitted light 205 is incident on the first optical prism 202 and the second optical prism 209 disposed via the air gap 208.
[0078]
The second optical prism 209 is a transmission surface on which the first transmitted light 205 is incident, and a first surface 213 disposed in parallel with the half mirror 203 of the first optical prism 202 via the air gap 208, and a first surface. A long-wavelength component reflecting dichroic that is a semi-transmissive surface (second surface) of the first transmitted light 205 that is connected to the luminance imaging device 103 side of the surface 213 and whose normal to the surface is inclined at a predetermined angle toward the long-wavelength component imaging device 107 side. The mirror 210 and a third surface 214 that is connected to the long wavelength component imaging device 107 side of the first surface 213 and whose surface normal is perpendicular to the long wavelength component imaging device 107 side.
[0079]
The long wavelength component reflecting dichroic mirror 210 divides the first transmitted light 205 into two light components, a short wavelength component and a long wavelength component, and reflects the second reflected light 211, which is the light of the long wavelength component, to reduce the short wavelength component. The second transmitted light 212 that is the light of the wavelength component is transmitted.
[0080]
The second reflected light 211 is incident on the first surface 213 of the second optical prism 209 at a critical angle or more. Since there is an air gap 208 between the first surface 213 and the first optical prism 202, all the light of the second reflected light 211 is reflected by the first surface 213, and the long wavelength passes through the third surface 214. The light enters the component image sensor 107. In addition, an infrared absorption filter 215 is deposited on the second surface 214 to suppress noise of the image sensor having sensitivity in the infrared region.
[0081]
The second transmitted light 212 is incident on the third optical prism 216. The third optical prism 216 includes a first surface 217 that is a transmission surface that is in contact with the long wavelength component reflecting dichroic mirror 210 of the second optical prism 209, and a short wavelength component imaging device 106 that is spaced apart from the first surface 217 by a predetermined distance. It is comprised from the 2nd surface 218 arrange | positioned horizontally, the 3rd surface 219 and the 4th surface 220 which contact the 1st surface 217 perpendicularly | vertically with the 2nd surface 218.
[0082]
The wavelength at the boundary between reflection and transmission of the long-wavelength component reflection dichroic mirror 210, so-called cutoff wavelength, is used only for the transmission region of the color filter of the light-receiving cell of the long-wavelength component image sensor 107 in order to minimize light loss. Is set to reflect. With the above configuration, the light from the subject can be decomposed into two color components of a luminance component, a short wavelength, and a long wavelength using three optical prisms, and the size can be reduced to the volume of the three optical prisms.
[0083]
The second transmitted light 212 enters from the first surface of the third optical prism 216, forms an image by the third optical prism 216, passes through the second surface 217, and enters the short wavelength component imaging device 106.
[0084]
In addition, the ratio of the light quantity of the 1st reflected light 204 and the 1st transmitted light 205 divided | segmented into two by the half mirror 203 is three image sensors, the luminance image sensor 103, the short wavelength component image sensor 106, and long wavelength component imaging. It is desirable to optimize according to the sensitivity characteristic of the element 107. The long wavelength component reflecting dichroic mirror 210 may be a long wavelength component transmitting dichroic mirror. However, in this case, the positions of the short wavelength component imaging device 106 and the long wavelength component imaging device 107 are switched, and at the same time, an infrared absorption filter is also installed in the third optical prism.
[0085]
Secondly, the luminance imaging device 103, the short wavelength component imaging device 106, and the long wavelength component imaging device 107 will be described in detail with reference to FIG. FIG. 3 is a conceptual diagram illustrating the structures of the light-receiving cell and the color filter of the luminance image sensor, the short wavelength component image sensor, and the long wavelength component image sensor according to the first embodiment.
[0086]
FIG. 3A is a schematic structural view of the image sensor as viewed from the side, and is a diagram common to the luminance image sensor 103, the short wavelength component image sensor 106, and the long wavelength component image sensor 107. A plurality of light receiving cells 302 are arranged side by side on the substrate 301. A plurality of color filters 303 having different spectral transmittance distributions are closely arranged on the plurality of light receiving cells 302.
[0087]
The short wavelength component imaging device 106 and the long wavelength component imaging device 107 receive light in the light receiving cell 302 through the color filter 303. However, the luminance image sensor 103 does not have the color filter 302 and receives light without wavelength selectivity.
[0088]
FIG. 3B is a conceptual diagram illustrating an arrangement of color filters of the luminance image sensor, the short wavelength component image sensor, and the long wavelength component image sensor.
[0089]
Since the luminance image sensor 103 does not have a color filter, it is temporarily indicated as L. The short wavelength component image sensor 106 is f 1 To f Four Are provided in block units of 2 vertical cells and 2 horizontal cells. Similarly, the long wavelength component image sensor 107 is f Five To f 8 Are provided in block units of 2 vertical cells and 2 horizontal cells.
[0090]
Eight kinds of color filters f combining the short wavelength component image sensor 106 and the long wavelength component image sensor 107 1 To f 8 Have different spectral transmittance distributions, for example, as shown in FIG. 4, eight have a relationship covering the visible region (from 380 nm to 780 nm in FIG. 4). That is, light in the entire visible range is received by the eight color filters.
[0091]
As described above, by sharing the light in the entire visible range with the eight color filters and receiving the light, each band is narrower and the number of bands is increased as compared with the conventional three-band camera. For this reason, when performing spectral estimation of a subject, an 8-band camera has a higher degree of freedom than a 3-band camera, and has the possibility of improving spectral estimation accuracy structurally.
[0092]
The subject spectral information estimation unit 110 includes a color filter f 1 To f 8 The spectral information of the subject is estimated based on these eight signals. Accordingly, the subject spectral information estimation unit 110 estimates and calculates the spectral information in units of blocks of 2 vertical cells and 2 horizontal cells.
[0093]
FIG. 3C illustrates the arrangement of the color signals, the operation of the luminance conversion unit, and the subject spectral information estimation in the pixel units of the luminance imaging device, the short wavelength component imaging device, and the long wavelength component imaging device according to the first embodiment. It is a conceptual diagram explaining operation | movement of a part.
[0094]
The luminance signal generator 104 generates a luminance signal Y for each light receiving cell. ij (I = 1, 2,..., M, j = 1, 2,..., N) are generated. On the other hand, the subject spectral information estimation unit 110 performs spectral information signal R for each block unit of two vertical cells and two horizontal cells. kl ((K = 1, 2,..., M / 2, l = 1, 2,..., N / 2). Therefore, the spectral information signal that is a color component is ½ of the luminance signal. The horizontal resolution is 1/2.
[0095]
By the way, according to Sakata et al., “Spatial frequency characteristics of chromaticity in the visual system (color difference discrimination threshold), Television Vol. 31, No. 1 (1997)”, the visual system is highly sensitive to luminance modulation and vice versa. The sensitivity to color modulation is low. The discrimination ability using a spatial sine wave of opposite color pairs (constant luminance) has a sensitivity peak at 0.3 cycles / deg. On the other hand, the discrimination ability using a spatial sine wave (constant chromaticity) created only with an achromatic color component has a peak at 3 cycles / deg.
[0096]
Based on the above results, it is important that the color information of the subject captured by the camera captures the luminance component with high definition in view of the spatial resolution of the visual system. In other words, in order to give the camera captured image the same spatial resolution for the visual system, the tint component may have a sampling interval less than half of the luminance component.
[0097]
The present invention pays attention to the difference in spatial discrimination ability between the luminance component and the color component of the visual system as described above, and is actively used. In other words, by widening the sampling interval of the color component, it is possible to simultaneously capture multiband images and to have the effect of not reducing the spectral estimation accuracy.
[0098]
In FIG. 3, two vertical cells and two horizontal cells are used as unit blocks. However, the number of light receiving cells forming the unit block is arbitrary, and the present invention is not limited thereto. An increase in the number of light receiving cells leads to an improvement in spectral estimation accuracy, but on the other hand leads to a decrease in resolution. For this reason, the number of light-receiving cells constituting a unit block is determined by the balance between spectral estimation accuracy and spatial resolution, and should be optimized according to the color reproduction target of each system.
[0099]
Further, the spectral transmittances of the eight color filters shown in FIG. 4 have the same shape and different peak wavelengths at equal intervals, but the present invention refers to the short wavelength component image sensor 106 and the long wavelength component image sensor. The combination of all 107 color filters covers the entire visible range (for example, 380 nm to 780 nm), and does not limit the spectral shape or peak wavelength. However, in order to avoid complication of signal processing, it is desirable that the color filter arrays of the short wavelength component image sensor 106 and the long wavelength component image sensor 107 are the same.
[0100]
Third, the subject spectral information estimation unit 110 will be described in detail. Here, the spectral reflectance will be described as the spectral information of the subject. Various methods for estimating the spectral reflectance of a subject from a multiband signal have been proposed. Since the present invention does not limit the spectral estimation method, any method can be applied. Therefore, here, a method based on winner estimation will be described. The output from the short wavelength component color signal processing unit 108 is the column vector V short = [V 1 , V 2 , V Three , V Four ] t , The output from the long wavelength component color signal processing unit 109 is the column vector V long = [V Five , V 6 , V 7 , V 8 ] t , The camera characteristics are the matrix S, and the spectral reflectance of the subject is the column vector R = [r 1 , R 2 , ..., r q ] t Then these have the following relationship.
[0101]
[Expression 1]
Figure 0003826174
However, the column vector V representing the sensor response is
[0102]
[Expression 2]
Figure 0003826174
Given in. The matrix S representing the camera characteristics is
[0103]
[Equation 3]
Figure 0003826174
Given in. Here, the matrix F represents the spectral transmittance of the color filter arranged in the light receiving cell, and is composed of 8 rows and q columns assuming that 8 color filters are used. For example, when 380 nm to 780 nm are taken every 10 nm, q = 41. The matrix E is a diagonal matrix representing the spectral distribution of illumination, and q components are arranged in the diagonal component.
[0104]
In the equation (1), if the dimension (8 in this case) of the sensor response V is the same as the dimension q of the wavelength, the camera characteristic matrix S is regular and the inverse matrix S -1 By
[0105]
[Expression 4]
Figure 0003826174
From this, the spectral reflectance of the subject can be obtained.
[0106]
However, if the band from 380 nm to 780 nm is quantized every 10 nm using eight types of color filters as in the present embodiment, q = 41 and the matrix S is not regular. In such a case, the winner estimation method is used. Now, the matrix R real , The estimated spectral reflectance is the matrix R est If the pseudo inverse matrix corresponding to the matrix S is G, Equation (1) is
[0107]
[Equation 5]
Figure 0003826174
Equation (4) is expressed as
[0108]
[Formula 6]
Figure 0003826174
It is expressed as Thus the matrix R given by real And matrix R est What is necessary is just to obtain the estimation matrix G that minimizes the least square error ε.
[0109]
[Expression 7]
Figure 0003826174
Here, t represents a transpose and <> represents an ensemble average. The estimation matrix that minimizes ε is given by the following equation from the Wiener estimation.
[0110]
[Equation 8]
Figure 0003826174
Here, the matrix ρ represents a correlation matrix. Matrix R samples And matrix V samples Is sample data for calculating the correlation matrix ρ, and the matrix R samples Is the spectral reflectance matrix of the sample, V samples Is R samples , Corresponding to the output signals of the short wavelength component color signal processing unit 108 and the long wavelength component color signal processing unit 109.
[0111]
Fourthly, the colorimetric value conversion unit 112 and the cell unit lightness signal replacement unit 114 will be described in detail with reference to FIG. FIG. 5 is a diagram for explaining operations of the colorimetric conversion unit, the illumination spectral information storage unit, the lightness signal conversion unit, and the cell unit lightness replacement unit according to the first embodiment.
[0112]
As shown in FIG. 5, the colorimetric value conversion unit 112 is supplied from the subject spectral information and illumination spectral information storage unit 113 estimated by the subject spectral information estimation unit 110 in block units of two vertical cells and two horizontal cells. CIEXYZ tristimulus values are calculated in block units from the illumination spectral information using the following equation.
[0113]
[Equation 9]
Figure 0003826174
Where r h Represents the spectral reflectance of the h-th subject. The colorimetric value conversion unit 112 converts the CIEXYZ tristimulus value into a colorimetric value further separated into a luminance component and a color component, for example, a CIELAB value using Equation (10).
[0114]
[Expression 10]
Figure 0003826174
Where X n , Y n , Z n Represents the reference white CIEXYZ tristimulus values. However, the luminance component is converted into a brightness signal having a proportional relationship with the brightness interval of the visual system as shown in Expression (10). In general, the luminance value given by Equation (9) does not have a linear relationship with the brightness interval of the visual system, and if the luminance value is converted by an exponential function of about 1/3 as shown in Equation (10), It is said that a linear relationship is established with the brightness interval of the system.
[0115]
On the other hand, the brightness signal conversion unit 105 uses the brightness signal L calculated by the brightness signal generation unit 104 for each light receiving cell unit using the formula (10). * Convert to The colorimetric value conversion unit 112 calculates colorimetric values in units of 2 vertical cells and 2 horizontal cells, whereas the lightness signal conversion unit 105 performs lightness signal L in cell units. * Is calculated.
[0116]
Therefore, the cell unit lightness signal replacement unit 114 includes the lightness component L of the colorimetric values output from the colorimetric value conversion unit 112. * Only the output from the lightness signal converter 105 is replaced.
[0117]
As described above, since the visual system has high resolution with respect to luminance modulation, the lightness component L of the CIELAB value calculated in units of blocks of 2 vertical cells and 2 horizontal cells. * Only the color component a * And b * The resolution is doubled in the vertical and horizontal directions.
[0118]
By the way, if the spectral distribution of illumination stored in the illumination spectral information storage unit 113 is replaced with a spectral distribution different from the illumination of the environment where the subject is photographed, the illumination conversion can be easily performed.
[0119]
For example, suppose that the reproduced image is printed on paper by a printer, the subject is illuminated with a tungsten lamp having a color temperature of about 4000K, and the reproduced image is observed with a daylight lamp of about 6500K. If it is desired to output CIEXYZ tristimulus values defined under the visual environment for photographing the subject (that is, 4000K tungsten lamp), e in equation (9) h Substituting the spectral distribution of a 4000K tungsten lamp for. If you want to output with CIEXYZ tristimulus values defined under the visual environment (ie 6500K daylight lamp) for observing the print, h Substituting the spectral distribution of the 6500K daylight lamp for. This is because the illumination conversion as described above is a function unique to the multiband camera, and the multiband camera can calculate the spectral reflectance of the subject. This is a feature that has colorimetric value information based on CIEXYZ tristimulus values and is greatly differentiated from a 3-band camera that does not have spectral information.
[0120]
In this way, the colorimetric value conversion unit 112 calculates the colorimetric value of the subject using the spectral information of the illumination held in the illumination spectral information storage unit 113, so that the colorimetric value is converted into the spectral information of the subject and the spectral of the illumination. It can be calculated from information.
[0121]
Fifth, the primary color conversion unit 116 will be described in detail. The primary color conversion unit 116 converts the colorimetric value into a signal depending on the video display device. The relationship between the colorimetric value and the device-dependent signal is determined by the colorimetric value of the primary color point of the display. For example, ITU-R Rec. BT. In 709-3, chromaticity values of three primary colors are defined as colorimetric parameters. That is, the R primary color is (x, y) = (0.64, 0.33), the G primary color is (x, y) = (0.30, 0.60), and the B primary color is (x, y) = ( 0.15, 0.06), and the relationship between the luminance linear device drive signals R, G, B and the CIEXYZ tristimulus values proportional to the luminance value of the display color is given below.
[0122]
[Expression 11]
Figure 0003826174
Where X R , Y R , Z R Represents the CIEXYZ tristimulus value of the R primary color, and X G , Y G , Z G Is the C primary colors of CIEXYZ for the primary color, X B , Y B , Z B Represents the CIEXYZ tristimulus values of the B primary color. The relationship between CIEXYZ tristimulus values and xy chromaticity coordinates is
[0123]
[Expression 12]
Figure 0003826174
Is given by the chromaticity coordinates of the R primary color (x R , Y R ), Chromaticity coordinates of the G primary color (x G , Y G ), Chromaticity coordinates of the B primary color (x B , Y B ) Can be rewritten as follows.
[0124]
[Formula 13]
Figure 0003826174
As described above, the primary color conversion unit 116 converts the CIEXYZ tristimulus values into luminance linear device drive signals R, G, and B according to the equation (13).
[0125]
Note that the present invention does not limit the number of primary colors of the video display device, and the three primary colors of Expression (11) and Expression (13) can be expanded to an arbitrary number.
[0126]
Sixth, the gamma correction unit 117 will be described in detail. Currently-distributed device-dependent RGB signals are subjected to a gamma correction process of a CRT display that goes through the NTSC concept. In the CRT display, as a comprehensive input / output characteristic of a display tube, a signal processing system, etc., the relationship between the device drive signal and the light emission luminance is expressed by an exponential function of 2.2. This is the so-called gamma characteristic. Therefore, a so-called gamma correction is performed so as to cancel the gamma characteristic of the CRT display by performing exponential function conversion of 1 / 2.2 on the transmission side in advance so that the relationship between the device drive signal and the emission luminance is linear. R signal, G signal, and B signal are transmitted. The gamma correction unit 117 converts the luminance linear device drive signals R, G, and B into gamma-corrected device drive signals R ′, G ′, and B ′ using Expression (14).
[0127]
[Expression 14]
Figure 0003826174
Note that the present invention does not limit the number of primary colors of the video display device, and the three primary colors of Expression (14) can be expanded to an arbitrary number.
[0128]
As described above, by providing the gamma correction unit 117, the colorimetric value in which the lightness is replaced for each light receiving cell of the image sensor can be converted into a luminance / color difference signal including the gamma correction processing of the display device.
[0129]
Seventh, the luminance / color difference signal conversion unit 119 will be described in detail. The device drive signals R ′, G ′, and B ′ are converted into luminance / color difference signals in the luminance / color difference signal conversion unit 119 so as to correspond to various transmission formats. For example, ITU-R Rec. BT. In the case of complying with 709-3, the device drive signals R ′, G ′, and B ′ are converted into luminance / color difference signals by Expression (15).
[0130]
[Expression 15]
Figure 0003826174
As described above, by providing the luminance / color difference signal conversion unit 119, the luminance / color difference signal can be converted into the luminance / color difference signal while maintaining the luminance linearity of the colorimetric value in which the brightness is replaced for each light receiving cell of the image sensor. Have.
[0131]
It should be noted that the present invention does not limit the method of converting the device drive signals R ′, G ′, and B ′ into luminance / color difference signals, and can be freely set according to the transmission format. .
[0132]
For example, the luminance signal is calculated by a linear sum where the contribution ratio of the R band is 0.30, the contribution ratio of the G band is 0.59, and the contribution ratio of the B band is 0.11, so that the EIA-RS 170A system is obtained. The image display device having the EIA-RS 170A decoder can be accurately reproduced.
[0133]
In addition, the luminance signal is calculated by a linear sum where the contribution rate of the R band is 0.299, the contribution rate of the G band is 0.587, and the contribution rate of the B band is 0.114, so that the SMPTE 170M decoder can be Enables accurate color reproduction with a video display device.
[0134]
Finally, a method corresponding to a difference in scanning method, a device drive signal line memory 118, and a luminance / color difference signal line memory 120 will be described in detail. In general, the video system includes an interlace system that performs interlaced scanning every other scanning line and a progressive system that performs scanning in the order of scanning lines without interlaced. In the present invention, the short wavelength component color signal processing unit 108 and the long wavelength component color signal processing unit 109 calculate colorimetric values in units of blocks in which light receiving cells are used as vertical 2 cells and horizontal 2 cells as unit blocks. Accordingly, when viewed in the scanning line direction, the colorimetric values for two lines are obtained in one operation. Therefore, in the case of the progressive method, it is necessary to hold the color measurement value data of the second line and send the held color measurement data of the second line in accordance with the scanning timing.
[0135]
The device drive signal line memory 118 in FIG. 1 holds the captured subject color information in a device drive signal format, and stores the device drive signal held in accordance with a read instruction in accordance with the scanning timing from the device drive signal transmitter 121. Output.
[0136]
Similarly, the luminance / color-difference signal line memory 120 holds the captured subject color information in the luminance / color-difference signal format, and holds the luminance information according to the read instruction in accordance with the scanning timing from the luminance / color-difference signal transmitter 122.・ Outputs color difference signals.
[0137]
In the case of the interlace method, the spectral information of the acquired subject may be output as it is without being stored in the line memory. That is, as shown in FIG. 3, the spectral reflectance of the subject is acquired by two vertical cells. Therefore, the subject spectral information estimation unit 110 outputs the same spectral reflectance regardless of whether the interlace scanning is scanning odd lines or even lines. For this reason, the colorimetric value converter 112 outputs the same colorimetric value for both odd and even lines, and there is no need to store data in the line memory.
[0138]
However, when the number of cells in the vertical direction of the unit block for estimating the spectral reflectance of the subject is 3 or more, it is necessary to retain data in both the progressive method and the interlace method. In the case of the progressive system, if the number of cells in the vertical direction of the unit block is n, (n-1) lines of line memory are required. In the case of the interlace method, a line memory corresponding to the quotient of (n-1) / 2 is required. The signal value held in the line memory is output according to the read timing instructed from the transmitter.
[0139]
Thus, when the unit block is composed of vertical n cells, the external output signal corresponding to the (n−1) line in the unit block is stored in the line memory, and the second and subsequent lines in the unit block. Is output from the line memory to the outside of the imaging device, and among the multiband images generated simultaneously for n lines in the light receiving cell unit, the first line is output without going through the line memory, and the second and subsequent lines are output. The (n-1) line can be output from the line memory in synchronization with the image scanning, and can cope with various scanning methods.
[0140]
On the other hand, when the unit block for estimating the spectral information of the subject moves for each scanning line, it is possible to cope with the progressive method and the interlace method with a minimum configuration. FIG. 6 is a diagram for explaining operations of the device drive signal line memory and the luminance / color difference signal line memory according to the first embodiment. FIG. 6 shows a case where the spectral information of a subject is estimated using vertical 2 cells and horizontal 2 cells as unit blocks, as in FIG. FIG. 6A is a diagram showing the operation of the device drive signal line memory and the luminance / color difference signal line memory according to the first embodiment during the first scan line scanning, and FIG. FIG. 4B is a diagram illustrating operations of the device drive signal line memory and the luminance / color difference signal line memory image according to the first embodiment during the second scan line scanning.
[0141]
When the imaging apparatus is scanning the first scan line of the image, as shown in FIG. 6A, the short wavelength component image sensor 106 and the long wavelength component image sensor 107 are connected to the first scan line and the second scan line of the element. The scanning line becomes active, and signals for two lines are simultaneously output to the subject spectral information estimation unit 110 to estimate the spectral information of the subject in units of two lines. Therefore, the imaging apparatus needs to hold the output signal of the second scan line until the image scan enters the second scan line, and the spectral information is converted into a colorimetric value, and then the line memory for one line. The colorimetric values of the second scanning line are stored in 601 (corresponding to the device drive signal line memory 118 and the luminance / color difference signal line memory 120 in FIG. 1). When the scanning of the image moves to the second scanning line, as shown in FIG. 6B, the line memory 602 is independent of the short wavelength component imaging device 106, the long wavelength component imaging device 107, and the subject spectral information estimation unit 110. (Substantially the same as the line memory 601), an already calculated output signal is output to the outside.
[0142]
FIG. 7 shows a case where the position of the unit block in the spectral information estimation of the subject is moved line by line in accordance with the scanning position of the image. FIG. 7A is a diagram illustrating the operation of the device drive signal line memory and the luminance / color difference signal line memory according to the first embodiment during the first scan line scanning. FIG. 6B is a diagram illustrating operations of the device drive signal line memory and the luminance / color difference signal line memory image according to the first embodiment during the second scanning line scanning.
[0143]
At the time of scanning the first scan line of the image, the first scan line and the second scan line of the short wavelength component image sensor 106 and the long wavelength component image sensor 107 become active, as in FIG. A signal is simultaneously output to the subject spectral information estimation unit 110 to estimate the subject spectral information in units of two lines. The spectral information is converted into a colorimetric value and output to the outside as it is. When the scanning of the image moves to the second scanning line, as shown in FIG. 7B, the short wavelength component imaging element 106 and the long wavelength component imaging element 107 are active in the second scanning line and the third scanning line of the element. Thus, signals for two lines are simultaneously output to the subject spectral information estimation unit 110 to estimate the spectral information of the subject in units of two lines. Subsequently, the spectral information is converted into colorimetric values and output to the outside as they are.
[0144]
As shown in FIG. 7, if the first line of the unit block on the image sensor that performs spectral estimation moves so as to coincide with the scanning line for image scanning, a line memory as shown in FIG. 6 is not necessary. Further, since the spectral information estimated in FIG. 7 moves the image sensor one line at a time, there is an advantage that the estimation accuracy is higher than that in FIG. 6 where spectral estimation is performed every two lines.
[0145]
That is, in the case of FIG. 6, two adjacent lines in the order of odd-numbered scan lines and even-numbered scan lines have the same spectral information. For example, the adjacent cells 603 and 604 in FIG. 11 have.
[0146]
On the other hand, in the case of FIG. 7, the cell 701 at the same position as the cell 604 scans the first scan line of the image. 11 However, when the second scanning line of the image is scanned, the spectral information R is shown in FIG. twenty one To be rewritten. Spectral information R twenty one Is subject information acquired from the second and third lines of the image sensor, and subject information R acquired from the first and second lines of the image sensor. 11 Is different.
[0147]
As described above, the first line of the unit block on the image sensor that performs spectral estimation is moved so as to coincide with the scanning line of the image scanning, so that it is possible to perform more accurate spectral estimation than when the unit block is fixed. In FIG. 5, it is added that the color estimation accuracy is further improved by the combination with the cell unit lightness signal replacement unit 114 which has already been described in detail.
[0148]
6 and FIG. 7, the unit block for performing spectral estimation has been described by taking 2 cells in the vertical direction and 2 cells in the horizontal direction as an example. However, the present invention is not limited to the number of cells in the unit block. Note that this can be done with.
[0149]
The device drive signal transmitter 121 and the luminance / color difference signal transmitter 122 can be adapted to any transmission format, such as ITU-R and SMPTE televisions, VTRs, disk recording formats, and many other standards. The sRGB signal used in other digital cameras can be arbitrarily supported.
[0150]
As described above, according to the first embodiment, brightness component information with high resolving power of the visual system is acquired by the luminance image sensor with high definition, and at the same time, the brightness of the colorimetric values acquired from the short wavelength component image sensor and the long wavelength component image sensor. By replacing only the component with the light-receiving cell unit of the image sensor with the lightness component information from the luminance image sensor, two types of color filters provided in the light-receiving cell of the short wavelength component image sensor and the long wavelength component image sensor are reduced. Multi-band images can be taken simultaneously with the image sensor, and still images and moving images can be taken of fast-moving subjects.
[0151]
In the first embodiment, the short wavelength component imaging device 106 and the long wavelength component imaging device 107 are different from each other, and the dichroic mirror 210 divides the short wavelength side and the long wavelength when all the color filters in the unit block are combined. Since it has a unit block consisting of a light receiving cell having a spectral transmittance distribution that covers the wavelength band of the light on the side, the light of the short wavelength component and the long wavelength component divided by the dichroic mirror 210 is received without waste, and the resolution of the visual system By acquiring low color component information for each unit block, a plurality of multiband images can be captured by one image sensor.
[0152]
Furthermore, in the first embodiment, since the unit block is composed of two vertical cells and two horizontal cells, the spectral information of the subject can be estimated for each unit block of two vertical cells and two horizontal cells. As a result, there is an effect that four multiband images can be simultaneously captured for each unit block by one image sensor. Therefore, by using two image pickup devices, the short wavelength component image pickup device 106 and the long wavelength component image pickup device 107, a 4 × 2 8-band image can be taken in the same manner.
[0153]
In the first embodiment, the vertical position of the unit block is determined so that the first line of the unit block coincides with the scanning line of the image scanning. Therefore, the output signal of the imaging device is temporarily sent to the line memory. Therefore, it is possible to output in a stream format without holding the target and to accurately estimate the spectral information of the subject for each scanning line.
[0154]
In the first embodiment, the color separation optical system 102 includes a first optical prism 202 including a half mirror 203 that divides incident light into two optical paths, and one of the lights divided by the first optical prism 202. The second optical prism 209 including the dichroic mirror 210 that reflects only the short wavelength component, the third optical prism 216 that transmits the long wavelength component transmitted through the second optical prism 209, and the air gap 208 are included. As a result, the color separation optical system 102 that divides the luminance component and the two color components of the short wavelength and the long wavelength can be downsized to the volume of the three optical prisms. In addition, the point to be noted here is that the color separation optical system 102 includes three optical prisms as in the conventional color separation optical system composed of RGB. That is, the color separation optical system 102 according to the present embodiment can be created by slightly improving the conventional color separation optical system. Therefore, the color separation optical system 102 according to the present embodiment can be created from an existing material and can be easily applied to an existing imaging apparatus.
[0155]
In the first embodiment, the second optical prism 209 includes an infrared absorption filter 215 on the boundary surface from which the long wavelength component is output from the inside of the prism to the outside of the prism, so that imaging having sensitivity to infrared light is performed. Noise from the element can be suppressed with a simple configuration.
[0156]
(Embodiment 2)
A multiband video camera that is an imaging apparatus according to the second embodiment of the present invention will be described below. First, a system of a multiband video camera that simultaneously captures a multiband image with three image sensors in Embodiment 2 will be described with reference to FIG. FIG. 8 is a system configuration diagram of a multiband video camera that simultaneously captures a multiband image with the three image sensors in the second embodiment. The difference between FIG. 8 and FIG. 1 is the following two points, and others have the same configuration and the same operation and function.
[0157]
The first difference is that FIG. 8 does not have the lightness signal conversion unit 105 of FIG. The second difference is that the cell unit lightness signal replacement unit 114 in FIG. 1 is changed to a cell unit colorimetric value scaling unit 801.
[0158]
As described in detail with reference to FIG. 5, the cell unit lightness signal replacement unit 114 in FIG. 1 converts only the lightness of the colorimetric value from the colorimetric value conversion unit 112 into the lightness signal conversion unit 105 in the light receiving cell unit of the image sensor. Replaced with the lightness signal from. On the other hand, the cell unit colorimetric value scaling unit 801 in FIG. 8 scales the colorimetric values supplied from the colorimetric value conversion unit 802 in FIG. 8 using the luminance signal from the luminance signal generation unit 803.
[0159]
Next, the operation of the cell unit colorimetric value scaling unit 801 will be described in detail with reference to FIG. FIG. 9 shows a case where the unit block for spectral estimation of the subject is 2 cells in the vertical direction and 2 cells in the horizontal direction, as in FIG. The colorimetric value conversion unit 802 supplies the spectral reflectance r of the subject supplied by the subject spectral information estimation unit 804 in FIG. h And the spectral distribution e of illumination supplied by the illumination spectral information storage unit 805 in FIG. h CIEXYZ tristimulus values are calculated using equation (9). The output (X′Y′Z ′) of the colorimetric value conversion unit 802 is given to the cell unit colorimetric value scaling unit 801, and the cell unit luminance signal Y generated by the luminance generation unit 803 is used to obtain an expression (16 ) Scaling processing is performed.
[0160]
[Expression 16]
Figure 0003826174
Therefore, the cell unit colorimetric value scaling unit 801 uses the cell unit scaling process to calculate the relative colorimetric value information (X′Y′Z ′) calculated for each unit block of spectral information estimation. It has a function of converting to absolute colorimetric value information (XYZ) in units.
[0161]
The primary color conversion unit 806 in FIG. 8 converts the CIEXYZ tristimulus value, which is the output of the cell unit colorimetric value scaling unit 801, into luminance linear device drive signals R, G, and B using Expression (13).
[0162]
As described above, according to the second embodiment, two types of color filters provided in the light receiving cells of the short wavelength component imaging device and the long wavelength component imaging device are reduced, while maintaining high resolution luminance component information with high resolution of the visual system. Multi-band images can be taken simultaneously with the image sensor, and still images and moving images can be taken of fast-moving subjects.
[0163]
(Embodiment 3)
Next, a multiband video camera that is an imaging apparatus according to the third embodiment of the present invention will be described.
[0164]
FIG. 10 shows a system configuration of a multiband video camera that simultaneously captures a multiband image with the three image sensors according to the third embodiment of the present invention, and will be described below in comparison with FIG. The difference between FIG. 1 and FIG. 10 is the following one point, and others have the same configuration and the same operation and function. 10 differs from FIG. 1 in that the gamma correction unit 117 of FIG. 1 is not provided in FIG.
[0165]
As described in detail with reference to FIG. 1, the gamma correction linearizes the non-linear characteristic between the device drive signal of the display device and the luminance of the display color. Since it is possible to cope with only the processing on the transmission side without mounting a special processing circuit on the display device, it is effective for simplification and cost reduction of the terminal device on the reception side.
[0166]
However, in recent years, high performance and cost reduction of electronic devices centering on semiconductor components have been greatly achieved, and it has become possible to provide various processing functions to the receiving terminal. In particular, display devices as computer terminals are utilized as video display devices for creating business graphics and computer graphics, and those having a function of generating a luminance linear signal by the display devices themselves have been increasing. The fusion of broadcasting and communications centering on the Internet has led to the demand for video display devices with two functions: televisions that display video with inverse gamma characteristics and computer visual terminals that display video with luminance linear signals. I made it.
[0167]
For this reason, when the receiving terminal has its own gamma correction function, the transmitting side does not need to perform gamma correction. The third embodiment is an imaging apparatus that outputs a video signal without applying gamma correction, and can supply accurate color information to a computer visual terminal or the like that performs gamma correction by the display device itself.
[0168]
As described above, according to the third embodiment, two types of color filters provided in the light receiving cells of the short wavelength component imaging device and the long wavelength component imaging device are reduced, while maintaining high resolution luminance component information with high resolving power in the visual system. Multi-band images can be taken simultaneously with the imaging device, still images and moving images can be taken of fast-moving subjects, and color signals without gamma correction can be supplied to image devices that do not require gamma correction.
[0169]
(Embodiment 4)
A multiband video camera that is an imaging apparatus according to Embodiment 4 of the present invention will be described below. FIG. 11 shows a system configuration of a multiband video camera that simultaneously captures a multiband image with two image sensors in Embodiment 4 of the present invention, and will be described below while comparing with the system configuration of FIG. The difference between FIG. 1 and FIG. 11 is the following three points, and others have the same configuration and the same operation and function.
[0170]
The first difference is in the color separation optical system. The color separation optical system 102 in FIG. 1 divides light from the subject incident from the imaging lens 101 into three optical paths, whereas the color separation optical system in FIG. Reference numeral 1101 denotes a point where light from a subject incident from the imaging lens 1102 is divided into two optical paths, and the light is distributed to a luminance imaging element 1103 and a color component imaging element 1104 described later.
[0171]
The second difference is an image sensor that captures the spectral information of the subject. In FIG. 1, the spectral information of the subject is estimated by two image sensors, the short wavelength component image sensor 106 and the long wavelength component image sensor 107 in FIG. In FIG. 11, the spectral information of the subject is estimated by one image sensor of the color component image sensor 1104.
[0172]
The third difference is the difference in the signal processing unit due to the single imaging device. The signal from the color component imaging device 1104 is input to the color component color signal processing unit 1105, and the subject spectral information estimation unit. The spectral estimation in 1106 is executed only by the output from the color component color signal processing unit 1105.
[0173]
Next, the color separation optical system 1101 will be described in detail with reference to FIG. A half mirror 1201 that divides incident light 1203 from the imaging lens 1102 into two optical paths is provided inside the color separation optical system 1101. The light in the first optical path divided by the half mirror 1201 is reflected light 1205 from the half mirror 1201. The half mirror 1201 is disposed so that the reflected light 1205 is perpendicularly incident on the luminance image sensor 1103. The light on the second optical path divided by the half mirror 1201 is transmitted light 1204 of the half mirror 1201. The half mirror 1201 is disposed so that the transmitted light 1204 is incident on the color component image sensor 1104 perpendicularly.
[0174]
As described above, the half mirror 1201 splits the incident light 1203 into the transmitted light 1204 and the reflected light 1205, the transmitted light 1204 enters the color component image sensor 1104, and the reflected light 1205 enters the luminance image sensor 1103.
[0175]
The half mirror 1201 has no wavelength selectivity, and the light 1204 and the light 1205 divided by the half mirror 1201 have the same spectral distribution.
[0176]
In addition, an infrared absorption filter 1202 is provided in parallel to the color component image sensor 1104 in the color component image sensor 1104 side with respect to the half mirror 1204 inside the color separation optical system 1101, that is, in the traveling direction of the transmitted light 1204. It has been. As a result, the transmitted light 1204 is noise-removed by the infrared absorption filter 1202 before being incident on the color component imaging device 1104.
[0177]
Next, the color component image sensor 1104 and the subject spectral information estimation unit 1106 will be described in detail. FIG. 13A is a diagram for explaining the arrangement of the color filters, and FIG. 13B is a diagram for explaining the arrangement of the color signals viewed in units of pixels.
[0178]
The color component imaging device 1104 is f 1 To f 9 Are provided in block units of 3 vertical cells and 3 horizontal cells. 9 color filters f 1 To f 9 Have different spectral transmittance distributions, for example, as shown in FIG. 14, nine have a relationship covering the visible region (from 380 nm to 780 nm in FIG. 14). That is, light in the entire visible range is received by the nine color filters.
[0179]
As described above, information for at least five bands is necessary for spectral estimation of a subject. For this reason, in order to form a band of five or more bands with the same number of square unit blocks in the vertical and horizontal directions, as shown in FIG. 13, three vertical cells and three horizontal cells are the minimum configuration.
[0180]
Then, the subject spectral information estimation unit 1106 receives the color filter f 1 To f 9 The spectral information of the subject is estimated based on these nine signals. Accordingly, the subject spectral estimation unit 1106 estimates and calculates the spectral information in units of blocks of 3 vertical cells and 3 horizontal cells.
[0181]
Compared with the configuration in which spectral estimation is performed with the two image sensors in FIG. 1, the spatial resolution of the color components drops to 1/3, but there is only one image sensor, and as shown in FIG. Since the system configuration is also simplified, it has significant advantages in terms of size and cost. In addition, as described above with reference to FIG. 7, if the spectral estimation unit block is moved in accordance with the image scanning, the influence of resolution reduction can be suppressed.
[0182]
As described above, according to the fourth embodiment, multiband images can be simultaneously obtained with one image sensor having fewer than the types of color filters provided in the light receiving cells of the color image sensor while maintaining high-resolution luminance component information with high resolving power in the visual system. It has the effect of being able to shoot still images and moving images of fast-moving subjects.
[0183]
Note that the lightness signal conversion unit 105 of the fourth embodiment may be omitted, and the cell unit lightness signal replacement unit 114 may be replaced with a cell unit colorimetric value scaling unit 801. With this configuration, luminance component information with high resolving power of the visual system is acquired with high definition by the luminance imaging device 1103, and colorimetric values acquired from the color component imaging device 1104 at the same time are obtained from the luminance component information from the luminance imaging device 1103. Can be scaled in units of light receiving cells. As a result, a multiband image can be simultaneously photographed with one image sensor that is smaller than the types of color filters provided in the light receiving cells of the color component image sensor 1104, and still images and moving images can be photographed for a fast-moving subject.
[0184]
(Embodiment 5)
A multiband video camera that is an imaging apparatus according to the fifth embodiment of the present invention will be described below with reference to FIG. FIG. 15 is a system configuration diagram of a multiband video camera that simultaneously captures a multiband image with the three image sensors in the fifth embodiment. The same parts as those already described are assigned the same reference numerals and the description thereof is omitted.
[0185]
The difference between the fifth embodiment and the first embodiment is that the luminance / color difference signal conversion unit 119 is changed to the brightness / color difference signal conversion unit 1501, and the luminance / color difference signal line memory 120 is changed to the brightness / color difference signal line memory 1502. The brightness / color difference signal transmitter 122 is a brightness / color difference signal transmitter 1503.
[0186]
The lightness / color difference signal converter 1501 converts the colorimetric value calculated by the cell unit lightness signal replacement unit 114 for each light receiving cell of the image sensor into a lightness component and a color difference component. Specifically, the lightness / color difference signal conversion unit 1501 first generates a luminance signal by a linear sum of a device drive signal or a luminance linear device drive signal that cancels the gamma characteristic of the video display device. Next, the lightness / color-difference signal conversion unit 1501 includes all the elements of the device drive signal or the luminance linear device drive signal except for the element that has the largest contribution rate to the luminance signal generation in the linear sum. The difference value obtained by subtracting the luminance signal is used as a color difference signal, the luminance signal is converted into a brightness signal by an exponential function, and the brightness signal and the color difference signal are output.
[0187]
Further, the brightness / color difference signal line memory 1502 and the brightness / color difference signal transmitter 1503 are used for the brightness / color difference signal line memory 120 and the brightness / color difference signal transmitter 122 of the first embodiment to handle the brightness signal. On the other hand, the brightness signal is handled, and the other operations are the same.
[0188]
As described above, according to the fifth embodiment, the colorimetric value in which the lightness is replaced in units of light receiving cells of the image sensor can be converted into lightness / color difference signals while maintaining the lightness linearity. In addition, the linearity of the brightness of the device drive signal and emission color is secured without providing a special processing unit in the video display device, and signal transmission with a brightness / color difference signal having a smaller band than the device drive signal is possible. Have the effect of
[0189]
In the fifth embodiment, the first embodiment has been described as a modified form. However, the luminance / color difference signal conversion unit 119 of the second to fourth embodiments is replaced with a brightness / color difference signal conversion unit 1501 for luminance / color difference signals. The line memory 120 may be modified to a brightness / color difference signal line memory 1502 and the luminance / color difference signal transmitter 122 may be modified to a brightness / color difference signal transmitter 1503.
[0190]
【The invention's effect】
As described above, the present invention estimates subject spectral information from one or two image sensors in which a plurality of color filters having different spectral transmittances are juxtaposed in units of light receiving cells, and acquires the subject in units of light receiving cells. An excellent imaging device that can output high-definition and high-color fidelity images by replacing or scaling the luminance information of the colorimetric values obtained from the spectral information of the subject in units of light-receiving cells. To do. In addition, by combining a half mirror and a dichroic mirror, light from the subject can be incident on one luminance image sensor and two color component image sensors with reduced light loss, and space is saved by combining three prisms. An excellent color separation optical system capable of realizing the above is provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a multiband video camera according to Embodiment 1 of the present invention.
FIG. 2 is a diagram for explaining the internal structure of the color separation optical system according to the first embodiment;
3A is a schematic structural view of a luminance imaging device, a short wavelength component imaging device, and a long wavelength component imaging device according to the first embodiment as viewed from the side surface. FIG.
(B) The conceptual diagram explaining the arrangement | sequence of the color filter of a brightness | luminance image sensor, a short wavelength component image sensor, and a long wavelength component image sensor concerning Embodiment 1. FIG.
(C) The arrangement of the color signal, the operation of the luminance conversion unit, and the operation of the subject spectral information estimation unit viewed from the luminance imaging device, the short wavelength component imaging device, and the long wavelength component imaging device according to the first embodiment. Conceptual diagram explaining
FIG. 4 is a diagram illustrating an example of spectral transmittance of the color filter according to the first embodiment;
FIG. 5 is a diagram for explaining operations of a colorimetric conversion unit, an illumination spectral information storage unit, a lightness signal conversion unit, and a cell unit lightness replacement unit according to the first embodiment;
FIG. 6A is a diagram showing the operation of the device drive signal line memory and the luminance / color difference signal line memory according to the first embodiment during scanning of the first scan line (unit block is fixed); If)
(B) The figure showing operation at the time of the second scanning line scan of the device drive signal line memory and the luminance / color difference signal line memory image according to the first embodiment (when the unit block is fixed)
FIG. 7A is a diagram showing the operation of the device drive signal line memory and the luminance / color difference signal line memory according to the first embodiment during the first scanning line scanning (unit blocks are used for image scanning); When moving accordingly)
FIG. 6B is a diagram illustrating the operation of the device drive signal line memory according to the first embodiment and the luminance / color difference signal line memory image during the second scan line scan (the unit block moves corresponding to the image scan). If)
FIG. 8 shows a configuration of a multiband video camera according to Embodiment 2 of the present invention.
FIG. 9 is a diagram for explaining the operation of the cell unit colorimetric value scaling unit according to the second embodiment;
10 shows a configuration of a multiband video camera according to Embodiment 3 of the present invention. FIG.
FIG. 11 is a diagram showing a configuration of a multiband video camera according to Embodiment 4 of the present invention.
FIG. 12 is a diagram showing an internal configuration of a color separation optical system according to a fourth embodiment.
FIG. 13A is a diagram for explaining a color filter array of a color component imaging device according to a fourth embodiment; FIG. 13B is a diagram illustrating an array of color signals in units of pixels and an operation of a subject spectral information estimation unit according to the fourth embodiment; Illustration
FIG. 14 shows nine color filters f according to the fourth embodiment. 1 To f 9 Of an example of spectral transmittance
FIG. 15 is a diagram showing a configuration of a multiband video camera according to Embodiment 5 of the present invention;
[Explanation of symbols]
101, 1102 Imaging lens
102, 1101 color separation optical system
103, 1103 luminance imaging device
104, 803, 1107 Luminance signal generator
105 Lightness signal converter
106 Short wavelength component image sensor
107 Long wavelength component image sensor
108 Short wavelength component color signal processing unit
109 Long wavelength component color signal processor
110, 804 Subject spectral information estimation unit
111 Spectral information output terminal
112, 802 Colorimetric value converter
113, 805 Illumination spectral information storage unit
114 cell unit lightness signal replacement unit
115 Colorimetric value output terminal
116, 806 Primary color conversion unit
117 Gamma correction unit
118 Line Memory for Device Drive Signal
119 Luminance / color difference signal converter
120 Line memory for luminance / color difference signals
121 Transmitter for device drive signal
122 Transmitter for luminance / color difference signal
201, 1203 Incident light from the imaging lens
202 1st optical prism
203, 1201 half mirror
204 First reflected light
205 First transmitted light
206 Surface of the first optical prism
207 Surface of the first optical prism
208 Air gap
209 Second optical prism
210 Long wavelength component reflection dichroic mirror
211 Second reflected light
212 Second transmitted light
213 Surface of the second optical prism
214 Surface of the second optical prism
215, 1202 Infrared absorption filter
216 Third optical prism
301 substrate
302 Light receiving cell
303 color filters
601 and 602 line memory
603, 604, 701 cells
801 Cell unit colorimetric scaling unit
1104 Color component imaging device
1105 Color component signal processing unit
1106 Subject spectral information estimation unit
1204 Transmitted light
1205 Reflected light
1501 Lightness / color difference signal converter

Claims (23)

撮像レンズからの光を2つの光路に分割するハーフミラーと、
前記ハーフミラーで分割された一方の光を受光して被写体の輝度情報を取得する輝度撮像素子と、
前記輝度情報から輝度信号を生成し出力する輝度信号生成部と、
前記輝度信号を明度信号に変換する明度信号変換部と、
前記ハーフミラーで分割された他方の光を短波長成分と長波長成分に分割するダイクロイックミラーと、
前記短波長成分の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する短波長成分撮像素子と、
前記長波長成分の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する長波長成分撮像素子と、
前記短波長成分撮像素子と前記長波長成分撮像素子出力する前記色信号から前記被写体の分光情報を推定する被写体分光情報推定部と、
前記分光情報から算出した測色値の明度情報を前記明度信号変換部変換した明度信号に前記受光セル単位で置換するセル単位明度信号置換部と、
を具備することを特徴とする撮像装置。
A half mirror that splits the light from the imaging lens into two optical paths;
A luminance imaging element that receives one light divided by the half mirror and obtains luminance information of a subject ;
A luminance signal generation unit that generates and outputs a luminance signal from the luminance information;
A lightness signal converter for converting the luminance signal into a lightness signal;
A dichroic mirror that divides the other light divided by the half mirror into a short wavelength component and a long wavelength component;
A short wavelength component image sensor that receives the light of the short wavelength component through a plurality of different color filters at different light receiving cells and outputs a color signal corresponding to the received light;
The long wavelength component image sensor that receives the light of the long wavelength component by different light receiving cells through different color filters and outputs a color signal corresponding to the received light;
And subject spectral information estimation unit for estimating spectral information of the object from the color signal in which the said short-wavelength component image pickup device long wavelength component image sensor outputs,
A cell unit value signal replacement unit for replacing at the light receiving cell unit brightness information of colorimetric values calculated from the spectral information to the lightness signal brightness signal converting unit is converted,
An imaging apparatus comprising:
撮像レンズからの光を2つの光路に分割するハーフミラーと、
前記ハーフミラーで分割された一方の光を受光して被写体の輝度情報を取得する輝度撮像素子と、
前記輝度情報から輝度信号を生成し出力する輝度信号生成部と、
前記輝度信号を明度信号に変換する明度信号変換部と、
前記ハーフミラーで分割された他方の光を短波長成分と長波長成分に分割するダイクロイックミラーと、
前記短波長成分の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する短波長成分撮像素子と、
前記長波長成分の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する長波長成分撮像素子と、
前記短波長成分撮像素子と前記長波長成分撮像素子出力する前記色信号から前記被写体の分光情報を推定する被写体分光情報推定部と、
前記分光情報から算出した測色値を前記輝度信号により前記受光セル単位でスケーリングするセル単位測色値スケーリング部と、
を具備することを特徴とする撮像装置。
A half mirror that splits the light from the imaging lens into two optical paths;
A luminance imaging element that receives one light divided by the half mirror and obtains luminance information of a subject ;
A luminance signal generation unit that generates and outputs a luminance signal from the luminance information;
A lightness signal converter for converting the luminance signal into a lightness signal;
A dichroic mirror that divides the other light divided by the half mirror into a short wavelength component and a long wavelength component;
A short wavelength component image sensor that receives the light of the short wavelength component through a plurality of different color filters at different light receiving cells and outputs a color signal corresponding to the received light;
The long wavelength component image sensor that receives the light of the long wavelength component by different light receiving cells through different color filters and outputs a color signal corresponding to the received light;
And subject spectral information estimation unit for estimating spectral information of the object from the color signal in which the said short-wavelength component image pickup device long wavelength component image sensor outputs,
A cell unit colorimetric value scaling unit for scaling the colorimetric value calculated from the spectral information in units of the light receiving cell by the luminance signal;
An imaging apparatus comprising:
前記短波長成分撮像素子全体の前記色フィルタの配置は隣接する複数の前記受光セルからなる単位ブロックの繰り返しパターンとなっており
前記短波長成分撮像素子の前記色フィルタは前記単位ブロック内で互いに異なる分光透過率分布を持ち、かつ前記単位ブロック内におけるすべての前記色フィルタの分光透過率分布を組み合わせると前記短波長成分の光の波長帯域をカバーする
ことを特徴とする請求項1または請求項2記載の撮像装置。
The arrangement of the color filter of the entire short-wavelength component image pickup device has a repeating pattern of unit block consisting of a plurality of adjacent light receiving cell,
The color filters of the short wavelength component image sensor have different spectral transmittance distributions in the unit block, and when the spectral transmittance distributions of all the color filters in the unit block are combined, the short wavelength component Covering the wavelength band of light ,
The imaging apparatus according to claim 1 or 2, wherein
前記長波長成分撮像素子全体の前記色フィルタの配置は隣接する複数の前記受光セルからなる単位ブロックの繰り返しパターンとなっており
前記長波長成分撮像素子の前記色フィルタは前記単位ブロック内で互いに異なる分光透過率分布を持ち、かつ前記単位ブロック内におけるすべての前記色フィルタの分光透過率分布を組み合わせると前記長波長成分の光の波長帯域をカバーする
ことを特徴とする請求項1または請求項2記載の撮像装置。
Arrangement of the color filter of the entire long-wavelength component image pickup device has a repeating pattern of unit block consisting of a plurality of adjacent light receiving cell,
The color filters of the long wavelength component image sensor have different spectral transmittance distributions in the unit block, and when the spectral transmittance distributions of all the color filters in the unit block are combined, the long wavelength component Covering the wavelength band of light ,
The imaging apparatus according to claim 1 or 2, wherein
撮像レンズからの光を2つの光路に分割するハーフミラーと、
前記ハーフミラーで分割された一方の光を受光して被写体の輝度情報を取得する輝度撮像素子と、
前記輝度情報から輝度信号を生成し出力する輝度信号生成部と、
前記輝度信号を明度信号に変換する明度信号変換部と、
前記ハーフミラーで分割された他方の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する色撮像素子と、
前記色信号から前記被写体の分光情報を推定する被写体分光情報推定部と、
前記分光情報から算出した測色値のうち、明度情報だけを前記明度信号変換部変換した明度情報に前記受光セル単位で置換するセル単位明度信号置換部と、
を具備することを特徴とする撮像装置。
A half mirror that splits the light from the imaging lens into two optical paths;
A luminance imaging element that receives one light divided by the half mirror and obtains luminance information of a subject ;
A luminance signal generation unit that generates and outputs a luminance signal from the luminance information;
A lightness signal converter for converting the luminance signal into a lightness signal;
A color imaging element that receives the other light divided by the half mirror by a plurality of different light receiving cells through different color filters and outputs a color signal corresponding to the received light;
And subject spectral information estimation unit for estimating spectral information of the object from the color signal,
Of the colorimetric value calculated from the spectral information, a cell unit value signal replacement portion only brightness information the lightness signal converting unit replaced with said receiving cell units converted brightness information,
An imaging apparatus comprising:
撮像レンズからの光を2つの光路に分割するハーフミラーと、
前記ハーフミラーで分割された一方の光を受光して被写体の輝度情報を取得する輝度撮像素子と、
前記輝度情報から輝度信号を生成し出力する輝度信号生成部と、
前記輝度信号を明度信号に変換する明度信号変換部と、
前記ハーフミラーで分割された他方の光を異なる複数の色フィルタを通して異なる複数の受光セルで受光し、受光した光に対応する色信号を出力する色撮像素子と、
前記色信号から前記被写体の分光情報を推定する被写体分光情報推定部と、
前記分光情報から算出した測色値を前記輝度信号により前記受光セル単位でスケーリングするセル単位測色値スケーリング部と、
を具備することを特徴とする撮像装置。
A half mirror that splits the light from the imaging lens into two optical paths;
A luminance imaging element that receives one light divided by the half mirror and obtains luminance information of a subject ;
A luminance signal generation unit that generates and outputs a luminance signal from the luminance information;
A lightness signal converter for converting the luminance signal into a lightness signal;
A color imaging element that receives the other light divided by the half mirror by a plurality of different light receiving cells through different color filters and outputs a color signal corresponding to the received light;
And subject spectral information estimation unit for estimating spectral information of the object from the color signal,
A cell unit colorimetric value scaling unit for scaling the colorimetric value calculated from the spectral information in units of the light receiving cell by the luminance signal;
An imaging apparatus comprising:
前記色撮像素子は、撮像素子の受光セルごとに色フィルタを通して光を受光し、
前記色フィルタは隣接する複数の受光セルを単位ブロックとして、前記単位ブロック内で互いに異なる分光透過率分布を持ち、かつ前記単位ブロック内のすべての色フィルタを組み合わせると撮像レンズから入射した波長帯域をカバーする分光透過率分布を持ち、
前記色撮像素子全体の前記色フィルタの配置は、前記単位ブロックの繰り返しパターンとなっている
ことを特徴とする請求項5または請求項6記載の撮像装置。
The color image sensor receives light through a color filter for each light receiving cell of the image sensor,
The color filter, as a plurality of adjacent light receiving cell unit blocks has a different spectral transmittance distribution in the unit block, and the wavelength band that is incident from all combining the imaging lens color filters of the unit block With spectral transmittance distribution covering
Arrangement of the color filter of the entire color image sensor has a repeating pattern of said unit blocks,
The imaging device according to claim 5 or 6, wherein
前記単位ブロックは、縦2セル、横2セルからなり、
前記被写体分光情報推定部は、前記単位ブロックごとに被写体の分光情報を推定する
ことを特徴とする請求項3、請求項4および請求項7のいずれかに記載の撮像装置。
The unit block consists of 2 vertical cells and 2 horizontal cells.
The subject spectral information estimation unit estimates spectral information of a subject for each unit block .
The imaging apparatus according to claim 3, wherein the imaging apparatus is characterized by that.
前記単位ブロックの縦方向の位置は、前記単位ブロックの1ライン目が画像走査の走査ラインと一致するように決定される
ことを特徴とする請求項3、請求項4および請求項7のいずれかに記載の撮像装置。
The vertical position of the unit block is determined so that the first line of the unit block coincides with the scanning line of image scanning .
The imaging apparatus according to claim 3, wherein the imaging apparatus is characterized by that.
前記単位ブロックは縦nセルから構成されており、
前記単位ブロック内の(n−1)ラインに相当する外部出力信号をラインメモリに記憶し、前記単位ブロック内の第2ライン以降の前記外部出力信号を前記ラインメモリから出力する
ことを特徴とする請求項3、請求項4および請求項7のいずれかに記載の撮像装置。
The unit block is composed of n vertical cell,
Storing an external output signal corresponding to (n-1) lines in the unit block in a line memory, and outputting the external output signals from the second line in the unit block from the line memory ;
The imaging apparatus according to claim 3, wherein the imaging apparatus is characterized by that.
照明の分光情報を記憶した照明分光情報記憶部と、
前記照明分光情報記憶部に保持した前記照明の分光情報を用いて前記被写体の測色値を算出する測色値変換部と、を具備し、
前記セル単位明度信号置換部あるいは前記セル単位測色値スケーリング部は、前記被写体分光情報推定部が推定した被写体の分光情報と、前記測色値変換部から測色値情報を入手する
ことを特徴とする請求項1、請求項2、請求項5および請求項6のいずれかに記載の撮像装置。
An illumination spectral information storage unit that stores illumination spectral information;
Anda colorimetric value conversion unit for calculating a colorimetric value of the object using the spectral information of the illumination that is held in the illumination spectral data storage unit,
The cell unit lightness signal replacement unit or the cell unit colorimetric value scaling unit obtains the spectral information of the subject estimated by the subject spectral information estimation unit and the colorimetric value information from the colorimetric value conversion unit .
The imaging apparatus according to any one of claims 1, 2, 5, and 6.
前記セル単位明度信号置換部あるいはセル単位測色値スケーリング部は、
前記受光セルごとに算出した測色値を表示デバイスの輝度リニアドライブレベルに変換する原色変換部と、
前記原色変換部の出力から前記表示デバイスのガンマ特性を補正するガンマ補正部と、
前記ガンマ補正部の出力から輝度・色差信号を算出する輝度・色差信号変換部と、
具備することを特徴とする請求項1、請求項2、請求項5および請求項6のいずれかに記載の撮像装置。
The cell unit lightness signal replacement unit or cell unit colorimetric value scaling unit is:
A primary color conversion unit that converts a colorimetric value calculated for each light receiving cell into a luminance linear drive level of a display device;
A gamma correction unit for correcting gamma characteristics of the display device from the output of the primary color conversion unit;
A luminance / color difference signal conversion unit for calculating a luminance / color difference signal from the output of the gamma correction unit;
Claim 1, characterized by comprising, claim 2, imaging device according to any one of claims 5 and 6.
前記セル単位明度信号置換部あるいはセル単位測色値スケーリング部は、
前記受光セルごとに算出した測色値を表示デバイスの輝度リニアドライブレベルに変換する原色変換部と、
前記原色変換部の出力から輝度・色差信号を算出する輝度・色差信号変換部と、
具備することを特徴とする請求項1、請求項2、請求項5および請求項6のいずれかに記載の撮像装置。
The cell unit lightness signal replacement unit or cell unit colorimetric value scaling unit is:
A primary color conversion unit that converts a colorimetric value calculated for each light receiving cell into a luminance linear drive level of a display device;
A luminance / color difference signal conversion unit for calculating a luminance / color difference signal from the output of the primary color conversion unit;
Claim 1, characterized by comprising, claim 2, imaging device according to any one of claims 5 and 6.
セル単位明度信号置換部あるいはセル単位測色値スケーリング部は、
前記受光セルごとに算出した測色値を明度成分と色差成分に変換する明度・色差信号変換部
具備することを特徴とする請求項1、請求項2、請求項5および請求項6のいずれかに記載の撮像装置。
Cell unit value signal replacement unit or units of cells colorimetric value scaling unit,
A lightness / color difference signal converter for converting the colorimetric value calculated for each light receiving cell into a lightness component and a color difference component ;
Claim 1, characterized by comprising, claim 2, imaging device according to any one of claims 5 and 6.
前記輝度・色差信号変換部は、映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号あるいは輝度リニアデバイスドライブ信号の線形和で輝度信号を生成し、前記デバイスドライブ信号あるいは前記輝度リニアデバイスドライブ信号の構成要素のうち、前記線形和において輝度信号生成への寄与率の最も大きい要素を除いた全ての要素のそれぞれから前記輝度信号を差し引いた差分値を色差信号とし、前記輝度信号と色差信号を出力する
ことを特徴とする請求項12または請求項13に記載の撮像装置。
The luminance / color difference signal conversion unit generates a luminance signal by a linear sum of a device drive signal or a luminance linear device drive signal that cancels gamma characteristics of the video display device, and configures the device drive signal or the luminance linear device drive signal. Among the elements, a difference value obtained by subtracting the luminance signal from each of the elements excluding the element having the largest contribution rate to luminance signal generation in the linear sum is used as a color difference signal, and the luminance signal and the color difference signal are output. ,
The imaging apparatus according to claim 12 or claim 13,
前記明度・色差信号変換部は、映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号あるいは輝度リニアデバイスドライブ信号の線形和で輝度信号を生成し、前記デバイスドライブ信号あるいは前記輝度リニアデバイスドライブ信号の構成要素のうち、前記線形和において輝度信号生成への寄与率の最も大きい要素を除いた全ての要素のそれぞれから前記輝度信号を差し引いた差分値を色差信号とし、前記輝度信号を指数関数によって明度信号に変換し、前記明度信号と前記色差信号を出力する
ことを特徴とする請求項14記載の撮像装置。
The brightness / color difference signal conversion unit generates a luminance signal by a linear sum of a device drive signal or a luminance linear device drive signal that cancels the gamma characteristic of the video display device, and configures the device drive signal or the luminance linear device drive signal. Among the elements, the difference value obtained by subtracting the luminance signal from each of the elements excluding the element having the largest contribution rate to the luminance signal generation in the linear sum is used as a color difference signal, and the luminance signal is represented by an exponential function. To output the lightness signal and the color difference signal ,
The imaging apparatus according to claim 14.
映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号がR、G、Bの3バンドからなるか、あるいは輝度リニアデバイスドライブ信号がR、G、Bの3バンドからなるとき、Rバンドの寄与率を0.30、Gバンドの寄与率を0.59、Bバンドの寄与率を0.11とした線形和で輝度信号を算出する
ことを特徴とする請求項15または請求項16記載の撮像装置。
When the device drive signal that cancels the gamma characteristics of the video display device consists of three bands of R, G, and B, or when the luminance linear device drive signal consists of three bands of R, G, and B, the contribution ratio of the R band is The luminance signal is calculated by a linear sum with 0.30, the G band contribution ratio of 0.59, and the B band contribution ratio of 0.11 .
The imaging apparatus according to claim 15 or claim 16, wherein
映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号がR、G、Bの3バンドからなるか、あるいは輝度リニアデバイスドライブ信号がR、G、Bの3バンドからなるとき、Rバンドの寄与率を0.299、Gバンドの寄与率を0.587、Bバンドの寄与率を0.114とした線形和で輝度信号を算出する
ことを特徴とする請求項15または請求項16記載の撮像装置。
When the device drive signal that cancels the gamma characteristic of the video display device consists of three bands of R, G, and B, or when the luminance linear device drive signal consists of three bands of R, G, and B, the contribution ratio of the R band is The luminance signal is calculated by a linear sum of 0.299, the contribution rate of the G band is 0.587, and the contribution rate of the B band is 0.114 .
The imaging apparatus according to claim 15 or claim 16, wherein
映像表示デバイスのガンマ特性を相殺するデバイスドライブ信号がR、G、Bの3バンドからなるか、あるいは輝度リニアデバイスドライブ信号がR、G、Bの3バンドからなるとき、Rバンドの寄与率を0.2126、Gバンドの寄与率を0.7152、Bバンドの寄与率を0.0722とした線形和で輝度信号を算出する
ことを特徴とする請求項15または請求項16記載の撮像装置。
When the device drive signal that cancels the gamma characteristics of the video display device consists of three bands of R, G, and B, or when the luminance linear device drive signal consists of three bands of R, G, and B, the contribution ratio of the R band is The luminance signal is calculated by a linear sum of 0.2126, the G band contribution ratio is 0.7152, and the B band contribution ratio is 0.0722 .
The imaging apparatus according to claim 15 or claim 16, wherein
前記ハーフミラーと前記ダイクロイックミラーは、色分解光学系に含まれており、
前記色分解光学系は、
入射光を2つの光路に分割する前記ハーフミラーを備えた第一の光学プリズムと、
前記第一の光学プリズムで分割された一方の光を短波長成分のみ反射する前記ダイクロイックミラーを備えた第二の光学プリズムと、
前記第二の光学プリズムで透過した長波長成分を透過する第三の光学プリズムと、
前記第一の光学プリズムと前記第二の光学プリズムとの間にエアギャップと、
を具備することを特徴とする請求項1または請求項2記載の撮像装置
The half mirror and the dichroic mirror are included in a color separation optical system,
The color separation optical system is
A first optical prism comprising the half mirror that divides incident light into two optical paths;
A second optical prism comprising the dichroic mirror that reflects only the short wavelength component of the one light split by the first optical prism;
A third optical prism that transmits the long wavelength component transmitted by the second optical prism;
An air gap between the first optical prism and the second optical prism;
The imaging apparatus according to claim 1 , further comprising:
前記第三の光学プリズムは、長波長成分がプリズム内部からプリズム外部へ出力される境界面に赤外吸収フィルタを具備する
ことを特徴とする請求項20記載の撮像装置
The third optical prism includes an infrared absorption filter on a boundary surface where a long wavelength component is output from the inside of the prism to the outside of the prism .
The imaging apparatus according to claim 20.
前記ハーフミラーと前記ダイクロイックミラーは、色分解光学系に含まれており、
前記色分解光学系は、
入射光を2つの光路に分割する前記ハーフミラーを備えた第一の光学プリズムと、
前記第一の光学プリズムで分割された一方の光を長波長成分のみ反射する前記ダイクロイックミラーを備えた第二の光学プリズムと、
前記第二の光学プリズムで透過した短波長成分を透過する第三の光学プリズムと、
前記第一の光学プリズムと前記第二の光学プリズムの間にエアギャップと、
を具備することを特徴とする請求項1または請求項2記載の撮像装置
The half mirror and the dichroic mirror are included in a color separation optical system,
The color separation optical system is
A first optical prism comprising the half mirror that divides incident light into two optical paths;
A second optical prism comprising the dichroic mirror that reflects only the long-wavelength component of one of the lights divided by the first optical prism;
A third optical prism that transmits the short wavelength component transmitted by the second optical prism;
An air gap between the first optical prism and the second optical prism;
The imaging apparatus according to claim 1 , further comprising:
前記第二の光学プリズムは、反射された長波長成分がプリズム内部からプリズム外部へ出力される境界面に赤外吸収フィルタを具備する
ことを特徴とする請求項22記載の撮像装置
The second optical prism includes an infrared absorption filter on a boundary surface where the reflected long wavelength component is output from the inside of the prism to the outside of the prism .
The imaging apparatus according to claim 22.
JP2001206991A 2001-07-06 2001-07-06 Imaging device Expired - Lifetime JP3826174B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001206991A JP3826174B2 (en) 2001-07-06 2001-07-06 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001206991A JP3826174B2 (en) 2001-07-06 2001-07-06 Imaging device

Publications (2)

Publication Number Publication Date
JP2003023643A JP2003023643A (en) 2003-01-24
JP3826174B2 true JP3826174B2 (en) 2006-09-27

Family

ID=19043043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001206991A Expired - Lifetime JP3826174B2 (en) 2001-07-06 2001-07-06 Imaging device

Country Status (1)

Country Link
JP (1) JP3826174B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1528380A4 (en) 2002-07-26 2009-12-09 Olympus Corp Image processing system
AU2003252253A1 (en) 2002-07-26 2004-02-16 Olympus Optical Co., Ltd. Image processing system
EP1686810A4 (en) * 2003-11-11 2009-06-03 Olympus Corp Multi-spectrum image pick up device
CN1910431A (en) 2004-01-23 2007-02-07 奥林巴斯株式会社 Image processing system and camera
JP2009100271A (en) * 2007-10-17 2009-05-07 Olympus Corp Image pickup device and display device
JP2009260411A (en) 2008-04-11 2009-11-05 Olympus Corp Image pickup apparatus
KR101681059B1 (en) * 2009-09-22 2016-12-01 삼성전자주식회사 Video signal generation apparatus and method for minimizing crosstalk between luminace signal and color difference signal
CN114397255B (en) * 2021-11-12 2023-09-01 中国科学院西安光学精密机械研究所 Wide-spectrum high-resolution video spectrum imaging system and method
JP2023099967A (en) * 2022-01-04 2023-07-14 ソニーセミコンダクタソリューションズ株式会社 Imaging device and electronic apparatus

Also Published As

Publication number Publication date
JP2003023643A (en) 2003-01-24

Similar Documents

Publication Publication Date Title
US11785170B2 (en) Combined HDR/LDR video streaming
US20090059046A1 (en) Field Sequential Color Camera System
EP3414890B1 (en) Devices and methods for high dynamic range video
JP2006148931A (en) SoC CAMERA SYSTEM EMPLOYING COMPLEMENTARY COLOR FILTER
JP4308473B2 (en) Image signal processing method, image signal processing apparatus, and image signal processing system
US8174585B2 (en) Color conversion coefficient calculation apparatus, computer readable recording medium for recording color conversion coefficient calculation program, and color conversion coefficient calculation method
JP3826174B2 (en) Imaging device
JPH0378388A (en) Color solid state image pickup element
JP2006311524A (en) Imaging apparatus
KR100267198B1 (en) Color image input device
JPH06133319A (en) Color image pickup device
JPH02214265A (en) Color picture reader
JP3406674B2 (en) Two-chip imaging device
JP2001186536A (en) Two-board type image pickup device
JP2008178010A (en) Imaging apparatus, and method of driving imaging apparatus
JPH06253318A (en) Color image pickup device
JPH05130622A (en) Image pickup device
JPH066814A (en) Image pickup device
JPH0694906A (en) Optical device with optical branching prism
JPH11239357A (en) Three-ccd line sensor camera
JP2014175731A (en) Imaging apparatus
JPH05244611A (en) Solid-state color image pickup device
JP2002315011A (en) Photographed image in single-plate type color digital camera, its producing method and equipment, digital camera, portable digital information device and digital video printer
JPH0686301A (en) Two-board type image pickup device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040517

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060529

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3826174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term