JP5056297B2 - IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD - Google Patents
IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD Download PDFInfo
- Publication number
- JP5056297B2 JP5056297B2 JP2007239241A JP2007239241A JP5056297B2 JP 5056297 B2 JP5056297 B2 JP 5056297B2 JP 2007239241 A JP2007239241 A JP 2007239241A JP 2007239241 A JP2007239241 A JP 2007239241A JP 5056297 B2 JP5056297 B2 JP 5056297B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- spectral
- image
- wavelength band
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、分光撮影機能を備えた撮像装置、及びこの撮像装置に用いられる撮像装置制御プログラム及び撮像装置制御方法に関する。 The present invention relates to an imaging apparatus having a spectral imaging function, an imaging apparatus control program used in the imaging apparatus, and an imaging apparatus control method.
従来、被写体を認識する機能を備えた撮像装置が提案されている。この機能を備えた撮像装置は、主被写体が人物か否かを判定し、人物であると判定されたときと、人物以外であると判定されたときとで、異なる露出設定を行う(特許文献1参照)。 Conventionally, an imaging apparatus having a function of recognizing a subject has been proposed. An imaging apparatus having this function determines whether or not the main subject is a person, and performs different exposure settings when it is determined that the main subject is a person and when it is determined that it is not a person (Patent Literature). 1).
主被写体が人物か否かの判定に際しては、撮像素子から出力された撮影映像信号から肌色を示す色度情報を抽出し、この抽出した肌色の色度情報の画像平面状での形状及び面積と人物の顔部を示すパラメータとの比較を行うことにより、主被写体が人物か否かを決定する。
しかしながら、従来においては撮像素子から出力された単一の画像に相当する撮影映像信号から、人物か否かを判定している。したがって、この判定に際して用いられる情報量は、単一の画像に相当する情報量に限られることから、判定精度には自ずと限界があり、結果的に精度の高い露出設定が行えないという問題がある。 However, conventionally, it is determined whether or not the person is a person from a captured video signal corresponding to a single image output from the image sensor. Therefore, since the amount of information used for this determination is limited to the amount of information corresponding to a single image, the determination accuracy is naturally limited, and as a result, there is a problem that exposure setting with high accuracy cannot be performed. .
本発明は、かかる従来の課題に鑑みてなされたものであり、撮像した画像情報に基づき、高精度で当該撮像装置の諸機能を制御することのできる撮像装置を提供することを目的とする。 The present invention has been made in view of such a conventional problem, and an object thereof is to provide an imaging apparatus capable of controlling various functions of the imaging apparatus with high accuracy based on captured image information.
前記課題を解決するために請求項1記載の発明に係る撮像装置にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、前記フィルタ手段の後方に配置され、該フィルタ手段が透過波長帯域を変化させる毎に撮像する撮像手段と、この撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別手段と、この判別手段により判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段とを備えることを特徴とする。 In order to solve the above-described problem, in the imaging apparatus according to the first aspect of the present invention, the filter means for changing the transmission wavelength band of the subject light according to the input drive signal, and the drive signal to the filter means , A spectral control means for changing the transmission wavelength band in a plurality of stages, an imaging means arranged behind the filter means for imaging each time the filter means changes the transmission wavelength band, and the imaging means and based on the continuous spectral information consisting of a sequence of information included in the spectral image for each transmission wavelength band taken by the discrimination means for discriminating the type of an object from among a plurality of types of object discriminated by the discriminating means According to the type, the image processing apparatus includes a function realizing unit that executes a process necessary for realizing a predetermined function of the imaging apparatus.
また、請求項2記載の発明に係る撮像装置にあっては、前記機能実現手段は、前記判別手段により判別された被写体の種別に基づいて、撮影シーンを判別する撮影シーン判別手段と、この撮影シーン判別手段により判別された撮影シーンに応じて撮影条件を設定する設定手段とを備えることを特徴とする。 In the image pickup apparatus according to the second aspect of the present invention, the function realizing unit includes a photographic scene determination unit that determines a photographic scene based on the type of the subject determined by the determination unit, and the photographic scene determination unit. And setting means for setting shooting conditions in accordance with the shooting scene determined by the scene determination means.
また、請求項3記載の発明に係る撮像装置にあっては、前記機能実現手段は、前記判別手段により判別された被写体の種別に基づいて、撮影シーンを判別する撮影シーン判別手段を備え、前記設定手段は、前記撮影シーン判別手段により判別された撮影シーンに応じて撮影条件を設定することを特徴とする。
Further, in the imaging apparatus according to the invention of
また、請求項3記載の発明に係る撮像装置にあっては、前記撮像手段により撮像された被写体像を表示する表示手段と、この表示手段に表示された被写体像において主要被写体を特定する特定手段と、この特定手段により特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報を記憶した記憶手段とを備え、前記判別手段は、前記記憶手段に記憶された前記判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別することを特徴とする。 In the image pickup apparatus according to the third aspect of the present invention, display means for displaying the subject image picked up by the image pickup means, and specifying means for specifying the main subject in the subject image displayed on the display means When the type of the main object, which is specified by the specifying unit, comprising materials, and remembers means for storing discrimination information for discriminating the type of an object, such as material, said determining means, stored in said Symbol憶means The type of the main subject is discriminated based on a comparison between the discriminated discrimination information and the continuous spectral information on the main subject.
また、請求項4記載の発明に係る撮像装置にあっては、前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする。 In the image pickup apparatus according to the fourth aspect , the determination information includes state change determination information for determining a state change of the subject including deterioration, maturation, and fading with time. The discriminating unit discriminates the state change of the subject based on the state change discriminating information stored in the storage unit and the continuous spectral information.
また、請求項5記載の発明に係る撮像装置制御プログラムにあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段の後方に配置された撮像手段とを備える撮像装置が有するコンピュータを、前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、前記撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別手段と、この判別手段により判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段として機能させることを特徴とする。
また、請求項6記載の発明に係る撮像装置制御プログラムにあっては、前記コンピュータを、前記撮像手段により撮像された被写体像を表示手段に表示させる表示制御手段と、この表示制御手段により表示された被写体像において主要被写体を特定する特定手段として更に機能させ、前記判別手段は、予め記憶手段に記憶されており、前記特定手段により特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別することを特徴とする。
また、請求項7記載の発明に係る撮像装置制御プログラムにあっては、前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする。
Further, in the imaging apparatus control program according to the fifth aspect of the present invention, the filter means for changing the transmission wavelength band of the subject light according to the input drive signal and the rear of the filter means are arranged. A computer having an image pickup apparatus including an image pickup means; a spectral control means for changing the transmission wavelength band into a plurality of stages by inputting a drive signal to the filter means; and a transmission wavelength band imaged by the image pickup means. and based on the continuous spectral information consisting of a sequence of information spectral image has a discriminating means for discriminating the type of an object from among a plurality of types, according to the type of object discriminated by the discriminating means, the imaging apparatus It is characterized by functioning as a function realizing means for executing processing necessary for realizing the predetermined function.
In the image pickup apparatus control program according to the sixth aspect of the invention, the computer displays the subject image picked up by the image pickup means on the display means, and is displayed by the display control means. The identification means further functions as identification means for specifying the main subject in the subject image, and the determination means is stored in advance in the storage means, and the type of the subject such as the type, material, material, etc. of the main subject specified by the identification means The type of the main subject is discriminated on the basis of a comparison between the discrimination information for discriminating and the continuous spectral information on the main subject.
In the imaging apparatus control program according to the invention of
また、請求項8記載の発明に係る撮像装置制御方法にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段の後方に配置された撮像手段とを備える撮像装置の制御方法であって、前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御ステップと、前記撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別ステップと、この判別ステップにより判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップとを含むことを特徴とする。
また、請求項9記載の発明に係る撮像装置制御方法にあっては、前記撮像手段により撮像された被写体像を表示手段に表示させる表示ステップと、この表示ステップにより表示された被写体像において主要被写体を特定する特定ステップとを更に含み、前記判別ステップは、予め記憶手段に記憶されており、前記特定ステップにより特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別することを特徴とする。
また、請求項10記載の発明に係る撮像装置制御方法にあっては、前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、前記判別ステップは、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする。
In the image pickup apparatus control method according to the eighth aspect of the present invention, the filter means for changing the transmission wavelength band of the subject light according to the input drive signal and the rear of the filter means are arranged. A control method of an imaging apparatus comprising an imaging means, wherein a spectral control step of inputting a drive signal to the filter means to change the transmission wavelength band in a plurality of stages, and a transmission wavelength band imaged by the imaging means and based on the continuous spectral information consisting of a sequence of information included in the spectral image for each, a discriminating step of discriminating the type of an object from among a plurality of types, according to the type of an object is determined by the determining step, the imaging And a function realization step for executing processing necessary for realizing a predetermined function of the apparatus.
In the image pickup apparatus control method according to the ninth aspect of the invention, a display step for displaying a subject image picked up by the image pickup means on a display means, and a main subject in the subject image displayed by the display step A determination step for determining the type of subject such as the type, material, material, etc. of the main subject specified in the specification step. The type of the main subject is determined based on a comparison between the information and the continuous spectral information on the main subject.
Further, in the imaging apparatus control method according to the invention of
本発明によれば、撮像した画像情報に基づき、より高精度で当該撮像装置の諸機能を制御することができる。 According to the present invention, various functions of the imaging device can be controlled with higher accuracy based on the captured image information.
以下、本発明の一実施の形態を図に従って説明する。
図1は、本発明の一実施の形態に係るデジタルカメラ(分光カメラ)1の回路構成を示すブロック図である。図に示すように、デジタルカメラ1は、制御回路2を有している。制御回路2には、CPU3とこのCPU3にデータバス4を介して各々接続されたインタフェース5、音声入出力回路6、入力回路7、メモリカード・IF8、USBコントローラ9、入出力インタフェース10、入出力回路11、入出力ポート12、13、HDD・IF14が設けられている。音声入出力回路6には、マイク16がアンプ17及びA/D変換器18を介して接続されているとともに、スピーカ19がアンプ20及びD/A変換器21を介して接続されている。入力回路7には、各種操作キー、スイッチ等が設けられた操作入力部22が接続され、メモリカード・IF8には脱着自在に設けられた画像メモリ媒体25が接続されている。USBコントローラ9はUSB端子26に接続されており、入出力インタフェース10はアンテナ27を有する無線LAN送受信部28に通信コントローラ29を介して接続されている。また、入出力回路11には、外部トリガー端子30がトリガー検出部31を介して接続されている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a circuit configuration of a digital camera (spectral camera) 1 according to an embodiment of the present invention. As shown in the figure, the
前記入出力ポート12には、分光フィルタ駆動部32、温度検出回路33、焦点レンズ駆動部34、ズーム駆動部35、ブレ補正駆動部36、絞り駆動部37及びシャッタ駆動部38が接続されているとともに、ストロボ39がストロボ駆動回路40を介して接続され、LED41がLED駆動回路42を介して接続されている。前記温度検出回路33は、分光フィルタ59近傍の温度を検出するものである。前記入出力ポート13には、当該デジタルカメラ1の上下方向のブレを検出する角速度センサ(Y/Pitch)43と、上下方向のブレを検出する角速度センサ(X/Yaw)とが各々検出回路44、46を介して接続されている。HDD・IF14には、HDD記憶装置47が接続されている。HDD記憶装置47は、ディスク媒体48を有するとともに、モータ49、モータドライバ50、マイコン部51、VCモータ52、ヘッドアンプ53、リード/ライトチャンネル+CODEC54、HDD制御部55等を有している。
A spectral
また、制御回路2には、電池56が電源制御部57を介して接続され、電源制御部57は制御回路2により制御されて各部に電池56からの電力を供給する。さらに、前記データバス4には音声CODEC(符号器/復号器)15、プログラムメモリ23及びデータメモリ24が接続されている。音声CODEC15は、音声信号を符号化するとともに音声データを復号化する。プログラムメモリ23は、後述するフローチャートに示す制御回路2が動作するためのプログラムを格納しており、データメモリ24は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。
A
一方、撮像光学系58は、前記焦点レンズ駆動部34、ズーム駆動部35、ブレ補正駆動部36により駆動されるレンズ群から構成され、前方光軸上には分光フィルタ59が配置されているとともに、後方光軸上には撮像素子60が配置されている。
On the other hand, the imaging optical system 58 includes a lens group driven by the focus
ところで、今日においては6百万画素の解像度で60フレーム/秒、VGAの低解像度でも300フレーム/秒以上など、高解像度かつ高フレームレートで撮影が可能なCMOSイメージセンサが開発され、実用化されるに至っている。本実施の形態は、このような既に開発、実用化されている高解像度かつ高フレームレート撮影可能なイメージセンサの存在を前提として、このイメージセンサを撮像素子60として用いるものである。また、撮像光学系58中には、前記絞り駆動部37により駆動される絞り61及び前記シャッタ駆動部38により駆動されるシャッタ62が介挿されている。
By the way, a CMOS image sensor capable of shooting at a high resolution and a high frame rate, such as 60 frames / second with a resolution of 6 million pixels and 300 frames / second or more with a low resolution of VGA, has been developed and put into practical use. Has reached the point. In the present embodiment, this image sensor is used as the
前記撮像素子60は、並列読み出しなどの前記高フレームレートでの撮影を行うための高速読み出しが可能なものであるが、一般的な撮像素子とは異なり、画素毎のベイヤー配列のRGBカラーフィルタ等は設けられていない。この撮像素子60は、イメージセンサ部63、水平走査部64、垂直走査部65、P/S変換部66を有している。水平走査部64は、信号読み出し、信号処理部、CDS(相関二重サンプル回路)/ADC(A/D変換器)を備えている。この撮像素子60には、DSP部67が接続されている。DSP部67には、撮像素子60のP/S変換部66から取り込んだ画像信号を処理するためのS/P変換部68、前処理部69、バッファメモリ(A)70、帯域別信号処理部71、マルチプレーン加算回路72、RGB変換部73、階調変換ガンマ補正部74、カラーマトリクス回路75、解像度変換部76を備えているとともに、前記垂直走査部65の周期を制御するためのコントローラ77や、画像特徴抽出処理・画像認識処理部78、測光処理/合焦検出/分光特性抽出処理部79を備えている。
The
前記解像度変換部76、画像特徴抽出処理・画像認識処理部78、測光処理/合焦検出/分光特性抽出処理部79は、画像データバス80を介してバッファメモリ(B)81、画像CODEC(符号器/復号器)82、動画像CODEC(符号器/復号器)83及び表示駆動回路84に接続され、画像データバス80は前記制御回路2のインタフェース5に接続されている。バッファメモリ(B)81は、画像CODEC82及び動画像CODEC83が符号化及び復号化処理する際の画像データを一時的に格納し、表示駆動回路84は、LCDからなる表示部85を駆動する。
The
前記分光フィルタ59は、狭帯域の透過波長特性を持つフィルタである。この狭帯域の透過波長特性を持つフィルタとしては、後述するリオ(Lyot)フィルタや、ファブリペロー(Fabry−Perot)干渉フィルタ等がある。また、LCTF(液晶チューナブルフィルタ)やLCFP(液晶ファブリペロー)エタロンなどの電子制御可能なフィルタも用いることができる。 The spectral filter 59 is a filter having a narrow band transmission wavelength characteristic. Examples of the filter having the narrow-band transmission wavelength characteristic include a riot filter and a Fabry-Perot interference filter described later. Also, an electronically controllable filter such as LCTF (liquid crystal tunable filter) or LCFP (liquid crystal Fabry-Perot) etalon can be used.
図2は、前記プログラム等とともにプログラムメモリ23に格納されているシーン別撮影データテーブル231に記憶されている設定データの例を示す図である。このシーン別撮影データテーブル231には、「人物」、「背景」、「花」等の認識されたシーン又は被写体に対応して、その画像例が記憶されているとともに、「撮影条件設定データ」と「撮影補正条件設定データ」が記憶されている。「撮影条件設定データ」としては、「EVシフト」、「ストロボ」、「ホワイトバランス」、「ISO感度」、「フォーカスモード」、「AFエリア」等が記憶されている。また、「撮影補正条件設定データ」としては、「フィルタ」、「色強調」、「シャープネス」、「彩度」、「コントラスト」等が記憶されている。
FIG. 2 is a diagram showing an example of setting data stored in the scene-specific shooting data table 231 stored in the
図3及び図4は、本実施の形態における処理手順を示す一連のフローチャートであり、分光特性を検出して、シーン又は被写体を識別し、撮影条件や補正条件を自動設定するようにしたものである。制御回路2はプログラムメモリ23に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザーによる操作入力部22での操作により、予めシーンの自動識別がONに設定されているか否かを判断する(ステップS1)。シーンの自動識別がONに設定されていない場合には、その他の撮影モード処理に移行する(ステップS2)。
FIG. 3 and FIG. 4 are a series of flowcharts showing processing procedures in the present embodiment, in which spectral characteristics are detected, a scene or subject is identified, and shooting conditions and correction conditions are automatically set. is there. The
自動識別がONに設定されている場合には、ユーザーによる操作入力部22での操作に応じて、スルー映像表示する波長帯域、シーン識別する際に使用する波長帯域(シーン識別の波長帯域)、後述する被写体追従において用いる被写体追従の波長帯域の選択を取り込む(ステップS3)。
When the automatic identification is set to ON, a wavelength band for displaying a through image, a wavelength band used for scene identification (scene identification wavelength band), according to an operation by the user on the
したがって、このステップS3の処理が実行されることにより、ユーザーは意図する主被写体の種別に応じて、スルー映像表示する波長帯域、シーン識別する際に使用する波長帯域(シーン識別の波長帯域)、後述する被写体追従において用いる被写体追従の波長帯域を選択することができる。 Therefore, by executing the processing of step S3, the user can select a wavelength band for displaying a through image, a wavelength band used for scene identification (a wavelength band for scene identification), according to the intended main subject type, It is possible to select a wavelength band for subject tracking used in subject tracking described later.
なお、このステップS3の処理を実行することなく、全波長帯域をスルー映像表示する波長帯域、シーン識別する際に使用する波長帯域(シーン識別の波長帯域)、後述する被写体追従において用いる被写体追従の波長帯域としてもよい。 It should be noted that without executing the processing of step S3, the wavelength band for displaying the entire video through the entire wavelength band, the wavelength band used for scene identification (scene identification wavelength band), and subject tracking used in subject tracking described later. A wavelength band may be used.
次に、分光スルー映像表示処理、及び分光特性データ取得処理を実行する(ステップS4)。この分光特性データ取得処理においては、図5のフローチャートにおいて後述するように、透過波長帯域の数(n)に分割された画像の波長帯域において、波長帯域毎に露出&撮影処理を実行して、イメージセンサ部63からの画像データをバッファメモリ(A)70に記憶する。したがって、このステップS4での分光特性データ取得処理により、バッファメモリ(A)70には分光フィルタ59を透過した波長帯域λ1〜n毎の分光画像及びこれら各分光画像の特性を示す連続分光情報である分光特性データVo(λ1〜n)が記憶される。
Next, spectral through video display processing and spectral characteristic data acquisition processing are executed (step S4). In this spectral characteristic data acquisition process, as will be described later in the flowchart of FIG. 5, in the wavelength band of the image divided into the number (n) of transmission wavelength bands, an exposure & photographing process is executed for each wavelength band, The image data from the
なお、本実施の形態において分光特性データは、後述するように分光反射率特性を示す分光反射率特性データである。 In the present embodiment, the spectral characteristic data is spectral reflectance characteristic data indicating spectral reflectance characteristics as will be described later.
引き続き、操作入力部22に設けられているレリーズ釦が半押し操作されたか否かを判断する(ステップS5)。レリーズ釦が半押し操作されない場合には、追従AFを解除するとともに、追従中フラグをリセットして(ステップS13)、ステップS4に戻る。レリーズ釦が半押し操作された場合には、後述するシーン又は被写体の自動識別処理を実行する(ステップS6)。
Subsequently, it is determined whether or not the release button provided in the
この被写体の自動識別処理に際しては、バッファメモリ(A)70に記憶されている各分光画像の特性を示す分光特性データVo(λ1〜n)、つまり透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報を用いればよいのであるから、従来のように情報量が多大な撮影映像信号から必要な画像情報を抽出する処理を行う必要はない。よって、撮像した画像情報に基づき、より高速かつ高精度で当該撮像装置の諸機能を制御することができ、シーン又は被写体の自動識別処理を実行することができる。 In this automatic object identification processing, spectral characteristic data Vo (λ 1 -n ) indicating the characteristics of each spectral image stored in the buffer memory (A) 70, that is, information of the spectral image for each transmission wavelength band is stored. Since it is sufficient to use continuous spectral information consisting of continuations, there is no need to perform a process of extracting necessary image information from a captured video signal having a large amount of information as in the prior art. Therefore, various functions of the imaging apparatus can be controlled at higher speed and higher accuracy based on the captured image information, and automatic scene or subject identification processing can be performed.
そして、このシーン又は被写体の自動識別処理により識別されたシーン又は被写体に基づいて、測光処理、AE処理、WB処理を実行する(ステップS7)。つまり、図2に示したシーン別撮影データテーブル231から、ステップS6で識別したシーン又は被写体に対応する「測光方式」、「ホワイトバランス」等の撮影条件データを読み出し、この読み出した撮影条件データに基づき測光処理、AE処理、WB処理を行う。 Then, based on the scene or subject identified by this scene or subject automatic identification processing, photometric processing, AE processing, and WB processing are executed (step S7). That is, the shooting condition data such as “photometry method” and “white balance” corresponding to the scene or subject identified in step S6 is read from the scene-specific shooting data table 231 shown in FIG. Based on this, photometric processing, AE processing, and WB processing are performed.
これにより、識別されたシーン又は被写体に応じて適切な測光処理、AE処理、WB処理を行うとができる。 Thereby, appropriate photometric processing, AE processing, and WB processing can be performed according to the identified scene or subject.
さらに、識別されたシーン又は被写体に基づいて、AF枠を設定する(ステップS8)。つまり、図2に示したシーン別撮影データテーブル231から、ステップS6で識別したシーン又は被写体に対応する「AFエリア」の撮影条件データを読み出して、この読み出した撮影条件データに基づきAF枠を設定する。引き続き、AF処理を実行して(ステップS9)、ステップS8で設定したAFエリア内の画像が合焦するように、焦点レンズ駆動部34を制御する。
Further, an AF frame is set based on the identified scene or subject (step S8). That is, the shooting condition data of the “AF area” corresponding to the scene or subject identified in step S6 is read from the shooting data table 231 by scene shown in FIG. 2, and the AF frame is set based on the read shooting condition data. To do. Subsequently, AF processing is executed (step S9), and the focus
このとき、前述のように、バッファメモリ(A)70に記憶されている各分光画像の特性を示す分光特性データVo(λ1〜n)、つまり透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報を用いて、「測光方式」、「ホワイトバランス」等の撮影条件データを読み出しやAF制御を行うことから、高速かつ高精度でAF制御を行うことができる。 At this time, as described above, the spectral characteristic data Vo (λ 1 -n ) indicating the characteristic of each spectral image stored in the buffer memory (A) 70, that is, the continuous information of the spectral image for each transmission wavelength band. By using the continuous spectroscopic information consisting of the above, the photographing condition data such as “photometry method” and “white balance” is read out and AF control is performed, so that the AF control can be performed at high speed and with high accuracy.
また、識別されたシーン又は被写体に応じて、その他の撮影条件、画像補正条件を設定する(ステップS10)。つまり、図2に示したシーン別撮影データテーブル231から、ステップS6で識別したシーン又は被写体に対応し、かつ、ステップS7、S8で設定した以外の他の「撮影条件データ」、及び「画像補正条件設定データ」を読み出し、これらデータに基づき対応する各部を制御する。 Further, other shooting conditions and image correction conditions are set according to the identified scene or subject (step S10). That is, from the scene-specific shooting data table 231 shown in FIG. 2, “shooting condition data” and “image correction” corresponding to the scene or subject identified in step S6 and other than those set in steps S7 and S8. "Condition setting data" is read out and the corresponding units are controlled based on these data.
次に、前記ステップS5で半押しが検出されているレリーズ釦の全押しが検出されたか否かを判断する(ステップS11)。レリーズ釦の全押しが検出されない場合には、レリーズ釦の半押しを継続しているか否かを判断する(ステップS12)。レリーズ釦の半押しが継続されずに、半押しが解除された場合には、前述したステップS13に進む。また、レリーズ釦の半押しが継続されている場合には、ユーザーによる操作入力部22での操作により予め、追従AFがON設定されているか否かを判断し(ステップS14)、ON設定されていない場合には、ステップS11に戻る。 Next, it is determined whether or not full release of the release button in which half pressing is detected in step S5 is detected (step S11). If the release button is not fully pressed, it is determined whether or not the release button is half-pressed (step S12). If the half-press of the release button is not continued and the half-press is released, the process proceeds to step S13 described above. In addition, when the release button is half-pressed continuously, it is determined whether or not the follow-up AF is set to ON in advance by the user's operation on the operation input unit 22 (step S14). If not, the process returns to step S11.
また、ON設定されている場合には、分光スルー表示処理、分光特性データ取得処理を実行するとともに(ステップS15)、被写体追従AF処理を実行して(ステップS16)、ステップS11に戻る。したがって、レリーズ釦が半押しされた後(ステップS5:YES)、全押しされるまで(ステップS11:NO)、レリーズ釦の半押しが継続していると、追従AFがON設定されていない場合には、S11→S12→S14→S14→S16→S11のループが繰り返されることとなる。したがって、レリーズ釦が半押しされた後(ステップS5:YES)、全押しされるまで(ステップS11:NO)の間において、予め追従AFがON設定されていると、分光スルー表示処理、分光特性データ取得処理(ステップS15)と被写体追従AF処理(ステップS16)とが実行される。 If ON is set, the spectral through display process and the spectral characteristic data acquisition process are executed (step S15), the subject tracking AF process is executed (step S16), and the process returns to step S11. Therefore, after the release button is half-pressed (step S5: YES) and until the release button is half-pressed until it is fully pressed (step S11: NO), the tracking AF is not set to ON. In this case, the loop of S11 → S12 → S14 → S14 → S16 → S11 is repeated. Therefore, if the follow-up AF is set to ON in advance after the release button is half-pressed (step S5: YES) and until it is fully pressed (step S11: NO), the spectral through display processing and spectral characteristics are performed. Data acquisition processing (step S15) and subject tracking AF processing (step S16) are executed.
なお、これら分光スルー表示処理、分光特性データ取得処理(ステップS15)と、被写体追従AF処理(ステップS16)の詳細については後述する。 The details of the spectral through display process, the spectral characteristic data acquisition process (step S15), and the subject tracking AF process (step S16) will be described later.
他方、レリーズ釦の全押しが検出されるとステップS11から図4のステップS17に進み、撮像素子60とDSP部67を高速連写&マルチプレーン加算モードに設定する(ステップS17)。次に、連写枚数でありかつ透過波長帯域数である(n)を設定し、1枚の画像を撮影するための露出時間tを設定し、これら(n)とtとを用いて波長帯域毎の露出時間t/nを設定するとともに、絞りを設定する(ステップS18)。つまり、設定した一枚の画像の撮影に要する露出時間t内において、設定したn個の透過波長帯域毎に露出及び撮影処理を行うと、透過波長帯域毎の露出時間はt/nとなるので、この露出時間(t/n)を設定する。
On the other hand, if the release button is fully pressed, the process proceeds from step S11 to step S17 in FIG. 4, and the
次に、透過波長帯域の数(n)に分割された画像の波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS19)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。そして、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS13で選択した波長帯域λ1に設定する(ステップS20)。引き続き、前記ステップS10で設定され撮影条件に従って露出&撮影処理を実行して、イメージセンサ部63からの画像データをバッファメモリ(A)70に記憶する(ステップS21)。したがって、このステップS21での処理により、バッファメモリ(A)70には分光フィルタ59を透過した波長帯域λiからなる分光画像データが記憶されることとなる。
Next, the first wavelength band (λi = λ1) is selected from the wavelength bands of the image divided into the number (n) of transmission wavelength bands (step S19). This first wavelength band (λi = λ1) may be the shortest wavelength side or the longest band side. Then, a predetermined drive signal is added to the electronic control filter (spectral filter 59), and the transmission wavelength band is set to the wavelength band λ1 selected in step S13 (step S20). Subsequently, the exposure & photographing process is executed according to the photographing conditions set in step S10, and the image data from the
次に、前記ステップS18で設定された各露出時間(t/n)が経過したか否かを判断し(ステップS22)、経過したならば露光を終了する(ステップS23)。したがって、ステップS20〜S29の処理は、各露出時間(t/n)毎に繰り返される。そして、ステップS23に続くステップS14では、前記ステップS21で撮影されてバッファメモリ(A)70に記憶された分光画像データを、該バッファメモリ(A)70から読み出す(ステップS24)。 Next, it is determined whether or not each exposure time (t / n) set in step S18 has elapsed (step S22). If it has elapsed, the exposure is terminated (step S23). Therefore, the processing of steps S20 to S29 is repeated for each exposure time (t / n). In step S14 following step S23, the spectral image data photographed in step S21 and stored in the buffer memory (A) 70 is read from the buffer memory (A) 70 (step S24).
引き続き、この読み出した分光画像データを、前記ステップS10で設定された画像補正条件に応じて、波長帯域(λi)毎に、フィルタの透過率T(λi)、撮影感度S(λi)などを補正する(ステップS25)。また、この補正した分光画像データをR,G,Bデータに変換する(ステップS26)。例えば、分光画像データの各画素の輝度値V(x,y;λi)に等色関数を乗算して、R,G,Bデータに変換する。さらに、撮影された各波長帯の分光画像の各画素のR,G,Bデータをマルチプレーン加算合成して、バッファメモリ(B)81に記憶する(ステップS27)。したがって、バッファメモリ(B)81には、t/n毎に撮影された分光画像の各画素のR,G,Bデータをマルチプレーン加算合成した合成画像が更新されつつ記憶される。 Subsequently, the read spectral image data is corrected for the filter transmittance T (λi), imaging sensitivity S (λi), etc. for each wavelength band (λi) in accordance with the image correction conditions set in step S10. (Step S25). Further, the corrected spectral image data is converted into R, G, B data (step S26). For example, the luminance value V (x, y; λi) of each pixel of the spectral image data is multiplied by a color matching function to be converted into R, G, B data. Further, the R, G, B data of each pixel of the captured spectral image of each wavelength band is subjected to multiplane addition synthesis and stored in the buffer memory (B) 81 (step S27). Therefore, in the buffer memory (B) 81, a composite image obtained by multi-plane addition synthesis of R, G, B data of each pixel of the spectral image photographed every t / n is updated and stored.
次に、帯域数n枚の分光画像を撮影済みか否か、つまりi≧nとなったか否かを判断する(ステップS28)。i≧nとなっておらず、帯域数n枚の分光画像を撮影済みでない場合には、iをインクリメントして(i=i+1)、このiの値により示される次の波長帯域(λi)を選択し(ステップS29)、ステップS20からの処理を繰り返す。したがって、ステップS20〜S28の処理は、t/nのタイミングでn回繰り返され、n回繰り返されると、ステップS28の判断がYESとなって、ステップS28からステップS30に進む。 Next, it is determined whether or not spectral images having n bands are captured, that is, whether i ≧ n is satisfied (step S28). If i ≧ n is not satisfied and n spectral images of the number of bands have not been captured, i is incremented (i = i + 1), and the next wavelength band (λi) indicated by the value of i is set. Select (step S29) and repeat the process from step S20. Therefore, the process of steps S20 to S28 is repeated n times at the timing of t / n. When the process is repeated n times, the determination in step S28 is YES and the process proceeds from step S28 to step S30.
また、ステップS27の処理がn回繰り返されることにより、バッファメモリ(B)81には、n個の各波長帯の分光画像の各画素のR,G,Bデータがマルチプレーン加算合成された単一の合成画像を記憶することができる。 Further, by repeating the process of step S27 n times, the buffer memory (B) 81 has a single plane in which R, G, B data of each pixel of the spectral image of each of the n wavelength bands is subjected to multiplane addition synthesis. One composite image can be stored.
そして、ステップS30においては、バッファメモリ(B)81に記憶されている前記マルチプレーン加算合成された単一の合成画像を、前記ステップS10で設定された画像補正条件に応じて、前記ステップS25で処理した補正以外のその他の画像補正処理する(ステップS30)。 In step S30, the multi-plane addition combined single composite image stored in the buffer memory (B) 81 is converted in step S25 in accordance with the image correction conditions set in step S10. Image correction processing other than the processed correction is performed (step S30).
これにより、画像メモリ媒体25に記録される撮影画像データも、図2に示したシーン別撮影データテーブル231から読み出した「画像補正条件設定データ」を用いて補正することができる。
Thereby, the captured image data recorded in the
引き続き、この補正処理されてバッファメモリ(B)81記憶されている撮影画像データの圧縮及び符号化処理を実行する(ステップS31)。さらに、この圧縮及び符号化処理した撮影画像データを画像メモリ媒体25に保存記録し(ステップS32)、この画像メモリ媒体25に保存記録した撮影画像データに基づく画像を表示部85にプレビュー表示する(ステップS33)。
Subsequently, compression and encoding processing of the captured image data that has been corrected and stored in the buffer memory (B) 81 is executed (step S31). Further, the compressed and encoded photographed image data is stored and recorded in the image memory medium 25 (step S32), and an image based on the photographed image data stored and recorded in the
したがって、撮影された各波長帯の分光画像の各画素のR,G,Bデータをマルチプレーン加算合成して生成された単一の画像が画像メモリ媒体25に記録されるとともに、プレビュー表示される。
Therefore, a single image generated by multi-plane addition synthesis of the R, G, B data of each pixel of the captured spectral image of each wavelength band is recorded in the
なお、本実施の形態においては、マルチプレーン加算合成された画像を最終的に画像メモリ媒体25に保存記録するようにしたが、ステップS3で撮影記録時における画像の波長帯域(撮影記録の波長帯域)も選択して、当該選択された波長帯域の画像を最終的に画像メモリ媒体25に保存記録するようにしてもよい。
In the present embodiment, the multi-plane addition combined image is finally stored and recorded in the
図5は、前記ステップS4及びステップS15で実行される分光スルー画像の映像処理、分光特性データの取得処理の処理例(1)を示すフローチャートである。先ず、ユーザーによる操作入力部22での操作に応じて、スルー表示及びシーン識別の(単数又は複数の)の波長帯域(λi)を選択する(ステップS101)。つまり、ユーザーが単数の波長帯域を選択した場合には、λi(i=1)であり、複数(n個)の波長帯域を選択した場合には、λi(i=1〜n)である。この波長帯域(λi)は、単数であってもよいし複数であってもよいが複数であることが好ましい。
FIG. 5 is a flowchart showing a processing example (1) of the spectral through image video processing and spectral characteristic data acquisition processing executed in steps S4 and S15. First, according to the operation of the
次に、スルー表示の波長帯域の数(n)と表示更新周期(Td)に応じて、読み出し更新周期(Tr)を設定する(ステップS102)。この読み出し周期(Tr)は、Tr≦Td×(1/n)となる値である。次に、n個の波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS103)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。 Next, a read update period (Tr) is set according to the number (n) of wavelength bands for through display and the display update period (Td) (step S102). This read cycle (Tr) is a value satisfying Tr ≦ Td × (1 / n). Next, the first wavelength band (λi = λ1) is selected from the n wavelength bands (step S103). This first wavelength band (λi = λ1) may be the shortest wavelength side or the longest band side.
そして、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS13で選択した波長帯域λ1に設定する(ステップS104)。引き続き、高速ドラフトモード又はスルー映像読み出しモードで撮像素子60を駆動する(ステップS105)。そして、設定された読み出し周期時間(Tr)が経過したか否かを判断し(ステップS106)、経過したならば次のステップS107に進む。したがって、ステップS104〜S115のループは、読み出し周期(Tr)毎に繰り返される。そして、ステップS106に続くステップS107では、透過波長帯域(λi)のスルー映像信号V(xy;λi)を読み出す(ステップS107)。
Then, a predetermined drive signal is added to the electronic control filter (spectral filter 59), and the transmission wavelength band is set to the wavelength band λ1 selected in step S13 (step S104). Subsequently, the
引き続き、スルー映像信号V(x,y;λi)を、波長帯域(λi)毎に、レンズやフィルタの透過率T(λi)、撮像素子の感度S(λ)などに応じて補正する(ステップS108)。この補正は、下記例次式により行う。
V(x,y;λi)=V(x,y;λi)×{T0(λi)/T(λi)}×{S0(λi)/S(λi)}
ここで
V(x,y;λi):輝度信号
T(λi):帯域毎の撮影レンズや干渉フィルタ等の分光透過率
S(λi):撮像センサの分光撮像感度
T0(λi):理想の分光特性(透過率100%)や標準の分光透過率
S0(λj):理想の分光感度や標準の分光感度。
Subsequently, the through video signal V (x, y; λi) is corrected for each wavelength band (λi) in accordance with the transmittance T (λi) of the lens or filter, the sensitivity S (λ) of the image sensor, etc. (step) S108). This correction is performed according to the following example.
V (x, y; λi) = V (x, y; λi) × {T 0 (λi) / T (λi)} × {S 0 (λi) / S (λi)}
Here, V (x, y; λi): Luminance signal T (λi): Spectral transmittance S (λi) of the imaging lens and interference filter for each band: Spectral imaging sensitivity T 0 (λi) of the image sensor: Ideal Spectral characteristics (
次に、各波長帯域(λi)の映像信号で、設定された被写体枠(K)(被写体枠については後述する。)の輝度値を、分光特性データVo(k;λi)、(k=1〜L)として、順次データメモリ24に記憶する(ステップS109)。また、疑似カラー表示に設定されているか否かを判断する(ステップS110)。疑似カラー表示に設定されている場合には、各画素の輝度値V(x,y;λi)に、設定された疑似カラー変換関数r′(λi)、g′(λi)、b′(λi)を乗算して、下記式に示すように、擬似的に3刺激値R,G,Bを得る(ステップS111)。
Ri(x、y)=r′(λi)・V(x,y;λi)、
Gi(x、y)=g′(λi)・V(x,y;λi)、
Bi(x、y)=b′(λi)・V(x,y;λi)。
Next, in the video signal of each wavelength band (λi), the luminance value of the set subject frame (K) (subject frame will be described later) is set as spectral characteristic data Vo (k; λi), (k = 1). To L) are sequentially stored in the data memory 24 (step S109). Further, it is determined whether or not the pseudo color display is set (step S110). When the pseudo color display is set, the pseudo color conversion functions r ′ (λi), g ′ (λi), b ′ (λi) set to the luminance value V (x, y; λi) of each pixel. ) To obtain tristimulus values R, G, and B in a pseudo manner as shown in the following equation (step S111).
Ri (x, y) = r ′ (λi) · V (x, y; λi),
Gi (x, y) = g ′ (λi) · V (x, y; λi),
Bi (x, y) = b ′ (λi) · V (x, y; λi).
また、疑似カラー表示が設定されておらず、トゥルーカラー表示が設定されている場合には、各画素の輝度値V(x,y;λi)に、等色関数r ̄(λi)、g ̄(λi)、b ̄(λi)を乗算して、下記式に示すように3刺激値R,G,Bを得る(ステップS112)。
Ri(x、y)=r ̄(λi)・V(x,y;λi)、
Gi(x、y)=g ̄(λi)・V(x,y;λi)、
Bi(x、y)=b ̄(λi)・V(x,y;λi)。
Further, when the pseudo color display is not set and the true color display is set, the luminance value V (x, y; λi) of each pixel is set to the color matching functions r ̄ (λi), g ̄. Multiplying (λi) and b ̄ (λi), tristimulus values R, G, and B are obtained as shown in the following equation (step S112).
Ri (x, y) = r ̄ (λi) · V (x, y; λi),
Gi (x, y) = g ̄ (λi) · V (x, y; λi),
Bi (x, y) = b ̄ (λi) · V (x, y; λi).
そして、ステップS111又はステップS112に続くステップS113では、各波長帯の分光画像の各画素のR,G,Bを下記式に示すように順次加算して、バッファメモリ(B)81に記憶する(ステップS113)。
R(x,y)=ΣiRi(x,y)、
G(x,y)=ΣiGi(x,y)、
B(x,y)=ΣiBi(x,y)。
したがって、バッファメモリ(B)81には、読み出し周期時間(Tr)毎に、各波長帯の分光画像の各画素のR,G,Bが順次加算されて更新されていく。
In step S113 following step S111 or step S112, R, G, and B of each pixel of the spectral image in each wavelength band are sequentially added as shown in the following formula and stored in the buffer memory (B) 81 ( Step S113).
R (x, y) = ΣiRi (x, y),
G (x, y) = ΣiGi (x, y),
B (x, y) = ΣiBi (x, y).
Therefore, in the buffer memory (B) 81, R, G, and B of each pixel of the spectral image in each wavelength band are sequentially added and updated every reading cycle time (Tr).
つまり、従来のモザイク状のRGBカラーフィルタ設けた3色カラー撮像素子の場合のマルチプレーン加算処理では、各連写画像のBayar配列データのうち、輝度成分や解像感をよく反映するG(緑)画像の相関度を求めて位置合わせを行い、またBayer配列データでは欠けている縦、横、斜め画素の補間処理を行い、フル画素のG(緑)データを生成する。R(赤)、B(青)データは、G(緑)データの位置合わせ結果に準じて、位置合わせとラー補間処理を行い、フルサイズのRGBデータに変換する。これに対して、本実施の形態のデジタルカメラ1におけるマルチプレーン加算回路72は、図6に示すように、速写撮像した波長帯域毎の分光画像Vを、分光特性バラツキなどを補正した後、全波長領域に渡って、マルチプレーン加算合成、RGBやYUVなど通常の広帯域カラー画像データに変換することができる。
That is, in the conventional multi-plane addition process in the case of a three-color image sensor provided with a mosaic RGB color filter, G (green) that reflects the luminance component and the resolution well in the Bayer array data of each continuous shot image. ) Image correlation is obtained and alignment is performed, and vertical, horizontal, and diagonal pixel interpolation processing that is missing in the Bayer array data is performed to generate full pixel G (green) data. R (red) and B (blue) data are converted into full-size RGB data by performing alignment and error interpolation processing according to the alignment result of G (green) data. On the other hand, as shown in FIG. 6, the
次に、帯域数n枚の分光画像を撮影済みか否か、つまりi≧nとなったか否かを判断する(ステップS114)。i≧nとなっていなければ、iをインクリメントして(i=i+1)、このiの値により示される次の波長帯域(λi)を選択し(ステップS115)、ステップS104からの処理を繰り返す。したがって、ステップS104〜S114の処理は、n回繰り返される。 Next, it is determined whether or not spectral images having n bands have been taken, that is, whether i ≧ n is satisfied (step S114). If i ≧ n is not satisfied, i is incremented (i = i + 1), the next wavelength band (λi) indicated by the value of i is selected (step S115), and the processing from step S104 is repeated. Therefore, the processes in steps S104 to S114 are repeated n times.
そして、ステップS114の判断がYESになると、RGB変換されたスルー映像信号を表示部85に出力する(ステップS116)。しかる後に被写体枠(K)(K個)の分光特性データ列Vo(k;λi)、(k=1〜L、i=1〜n)を出力する。 Then, if the determination in step S114 is YES, the RGB video-converted through video signal is output to the display unit 85 (step S116). Thereafter, spectral characteristic data strings Vo (k; λi), (k = 1 to L, i = 1 to n) of the subject frames (K) (K pieces) are output.
したがって、ユーザーが操作により、(単数又は複数の)狭帯域の波長帯域、あるいは、可視光(波長:約400〜700nm)だけでなく、近赤外線(波長:約700nm〜2500nm)や、近紫外線(波長:約200〜400nm)なども含む領域を選択すると、スルー映像表示中には、選択帯域における分光画像の連続映像が表示部85に表示される。このとき、近赤外や近紫外など可視光領域外の帯域が選択されている場合には、これら帯域成分が含まれる映像信号を、可視光領域側にシフト変換するか、若しくは、RGB変換式を変更して、所望の色データに変換して、擬似カラー表示を行い、撮影ユーザーが暗所における被写体や構図の確認が容易にできるようにする。
Therefore, by the user's operation, not only the narrow wavelength band (s) or visible light (wavelength: about 400 to 700 nm), but also near infrared (wavelength: about 700 nm to 2500 nm), near ultraviolet ( When a region including a wavelength: about 200 to 400 nm is selected, a continuous image of a spectral image in the selected band is displayed on the
これにより、可視光では観察しにくいシーンや夜間などでも、ユーザーが観察しやすい所望の波長帯を選択して、被写体像を観察しながら、分光撮影又は通常撮影ができるので、被写体を容易にまた確実に狙ったり、追従撮影したりすることができる。 This makes it possible to perform spectroscopic or normal photography while observing the subject image by selecting a desired wavelength band that is easy for the user to observe, such as in a scene that is difficult to observe with visible light, or at night. You can aim and follow shooting with certainty.
なお、ステップS109、被写体枠(K)毎であって波長帯域λ1〜λn毎に分光特性データVo(k;λi)順次データメモリ24に記憶することから、一画面内にL個の被写体枠(K)がある場合には、
第1の被写体枠K1における複数の波長帯域λ1〜λn毎の分光特性データが
Vo(k=1;λ1)、Vo(k=1;λ2)、・・・Vo(k=1;λn)と記憶され、
第2の被写体枠K2における複数の波長帯域λ1〜λn毎の分光特性データが
Vo(k=2;λ1)、Vo(k=2;λ2)、・・・Vo(k=2;λn)と記憶され、また、
第Lの被写体枠KLにおける複数の波長帯域λ1〜λn毎の分光特性データが
Vo(k=L;λ1)、Vo(k=L;λ2)、・・・Vo(k=L;λn)と記憶されることとなる。
また、一画面内に単一の被写体枠(K)のみがある場合には、
Vo(k=1;λ1)、Vo(k=1;λ2)、・・・Vo(k=1;λn)のみ記憶されることとなる。
In step S109, the spectral characteristic data Vo (k; λi) is sequentially stored in the
The spectral characteristic data for each of the plurality of wavelength bands λ1 to λn in the first subject frame K1 is Vo (k = 1; λ1), Vo (k = 1; λ2),... Vo (k = 1; λn). Remembered,
The spectral characteristic data for each of the plurality of wavelength bands λ1 to λn in the second subject frame K2 is Vo (k = 2; λ1), Vo (k = 2; λ2),... Vo (k = 2; λn). Remembered and also
Spectral characteristic data for each of a plurality of wavelength bands λ1 to λn in the Lth subject frame KL are Vo (k = L; λ1), Vo (k = L; λ2),... Vo (k = L; λn). It will be memorized.
If there is only a single subject frame (K) in one screen,
Only Vo (k = 1; λ1), Vo (k = 1; λ2),... Vo (k = 1; λn) are stored.
図7は、前記ステップS6のシーン又は被写体の自動識別処理の手順を示すフローチャートである。先ず、前記ステップS4での分光特性データ取得処理、より詳しくは前記ステップS109でデータメモリ24に記憶された被写体枠(K)領域におけるn個の分光特性データVo(λi:i=1〜n)、つまり分光特性データVo(λ1)〜Vo(λn)を読み出す(ステップS201)。
FIG. 7 is a flowchart showing the procedure of the automatic identification process of the scene or subject in step S6. First, spectral characteristic data acquisition processing in step S4, more specifically, n spectral characteristic data Vo (λi: i = 1 to n) in the subject frame (K) area stored in the
つまり、前述のようにデータメモリ24には、ステップS109での処理により、被写体枠(K)における波長帯域λ1〜n毎の輝度値である分光特性データVo(λ1〜n)が記憶されている。したがって、ステップS201においては、波長帯域λ1〜n毎の分光画像の中央又は所定の被写体枠(K)領域における各分光画像の分光特性データVo(λ1〜n)をデータメモリ24から読み出す。
That is, as described above, the
次に、カウンタJに初期値1を設定し(ステップS202)、予め記憶された複数の参照群の分光特性データにおいて、J番目の参照群の分光特性データVt(J)(λ1〜n)を読み出す(ステップS203)。
Next, the
すなわち、前記プログラムメモリ23には、図8(a)に例示する「人間の肌の分光反射率特性」、図9(a)に例示する「地表の材質や植生による分光反射率特性」、図9(b)に例示する「壁材や建材などの分光反射率特性」、図10(a)に例示する「各種フルーツ(果物の分光反射率特性」を各々一つの参照群の分光特性データとして、複数の参照群の分光特性データが予め記憶されている。したがって、ステップS203においては、J番目の参照群の分光特性データVt(J)(λ1〜n)を読み出し、これより、例えば図9(a)の「地表の材質や植生による分光反射率特性」が読み出されることとなる。
That is, in the
そして、前記被写体枠(K)等の分光特性データVo(λ1〜n)と前記読み出したJ番目の参照群の分光特性データVt(J)(λ1〜n)とを比較する(ステップS204)。この比較は、設定範囲と比較(ステップS205)、類似度/相関(ステップS206)、最小二乗法(ステップS207)、共分散行列(ステップS208)、主成分分析(ステップS210)により行う。 Then, the spectral characteristic data Vo (λ 1 -n ) of the subject frame (K) and the like are compared with the read spectral characteristic data Vt (J) (λ 1 -n ) of the J-th reference group (step S204). ). This comparison is performed by comparison with the set range (step S205), similarity / correlation (step S206), least square method (step S207), covariance matrix (step S208), and principal component analysis (step S210).
設定範囲と比較(ステップS205)においては、図8(a)の「人間の肌の分光反射率特性」に基づき、同図(b)の人間の肌(A)の判定範囲と、人間の肌(B)の判定範囲とを設定し、分光特性データVo(λ1〜n)である被写体の分光反射率の各波長帯域が、いずれも参照群(人間の肌(A)の判定範囲と、人間の肌(B)の判定範囲)の下限から上限の範囲内であるかを評価する。 In comparison with the set range (step S205), based on the “spectral reflectance characteristics of human skin” in FIG. 8A, the determination range of human skin (A) in FIG. The determination range of (B) is set, and each wavelength band of the spectral reflectance of the subject that is the spectral characteristic data Vo (λ 1 -n ) is the reference group (the determination range of the human skin (A), It is evaluated whether it is within the range from the lower limit to the upper limit range of human skin (B).
類似度/相関(ステップS206)においては、分光特性データVo(λ1〜n)と参照群の分光特性データVt(J)(λ1〜n)との類似度(又は相関係数)を順次算出する。最小二乗法(ステップS207)においては、分光特性データVo(λ1〜n)と参照群の分光特性データVt(J)(λ1〜n)との二乗誤差(差の二乗)を算出する。共分散行列(ステップS208)においては、n帯域の被写体の分光特性の共分散行列を算出し、参照群の分散行列を計算する(ステップS209)。主成分分析(ステップS210)においては、被写体の分光反射率(分光特性データVo(λ1〜n))を参照群の分光特性の(第1〜第3)主成分と比較し、参照群の主成分との類似度や累積寄与利率を計算する(ステップS211)。 In the similarity / correlation (step S206), the similarity (or correlation coefficient) between the spectral characteristic data Vo (λ 1- n ) and the spectral characteristic data Vt (J) (λ 1- n ) of the reference group is sequentially obtained. calculate. In the least square method (step S207), a square error (square of difference) between the spectral characteristic data Vo (λ 1 -n ) and the spectral characteristic data Vt (J) (λ 1 -n ) of the reference group is calculated. In the covariance matrix (step S208), the covariance matrix of the spectral characteristics of the n-band subject is calculated, and the dispersion matrix of the reference group is calculated (step S209). In the principal component analysis (step S210), the spectral reflectance of the subject (spectral characteristic data Vo (λ 1- n )) is compared with the (first to third) principal components of the spectral characteristics of the reference group, and the reference group The similarity with the principal component and the cumulative contribution interest rate are calculated (step S211).
しかる後に、以上のステップS205〜S211より算出された類似度、又は(相関条誤差、累積寄与率などの)評価値を一時データメモリ24に記憶する(ステップS212)。次に、最後の参照群と比較したか否か(J≧m?)を判断し、J≧mとなるまで、Jの値をインクリメントして(ステップS214)、ステップS203からの処理を繰り返す。したがって、ステップS203〜S213の処理はm回繰り返され、ステップS212での処理により、m個の算出された類似度、又は(相関条誤差、累積寄与率などの)評価値がデータメモリ24に記憶されることとなる。
After that, the degree of similarity calculated from the above steps S205 to S211 or the evaluation value (such as correlation error, cumulative contribution rate) is stored in the temporary data memory 24 (step S212). Next, it is determined whether or not it is compared with the last reference group (J ≧ m?), The value of J is incremented until J ≧ m is satisfied (step S214), and the processing from step S203 is repeated. Therefore, the processes in steps S203 to S213 are repeated m times, and m calculated similarities or evaluation values (such as correlation item error and cumulative contribution rate) are stored in the
次に、このデータメモリ24に記憶されたm個の類似度、又は(相関条誤差、累積寄与率などの)評価値において、最も類似度が又は評価値の高い参照群を、当該被写体の材質と判定し、判定結果を順次データメモリ24に記憶に記憶する。また、ユーザーによる操作入力部22での操作により、予め複数のスポット(被写体枠)で判定を行うが設定されていたか否かを判断する(ステップS216)。設定されていない場合には、ステップS215で判別された材質の種類に応じて、シーン又は被写体の種類を判定する(ステップS220)。例えば、人間の肌と判定された場合には、シーン又は被写体の種類として「人物」と判定する。そして、この判定された撮影シーン又は被写体の種類を出力する(ステップS222)
Next, in the m similarities stored in the
また、ステップS216の判断がYESであって、複数のスポット(被写体枠)で判定を行うが設定されている場合には、最後のスポット(被写体枠)か、又は、L個のスポットで判別済みかを判断する(ステップS217)。このステップS217の判断がNOであるならば、次の被写体枠に変更する(K=K+1)(ステップS218)。そして、次の被写体枠の領域の分光特性データVo(λ1〜n)を読み出して(ステップS219)、ステップS202からの処理を繰り返す。 In addition, when the determination in step S216 is YES and the determination is made with a plurality of spots (subject frames), the determination is made with the last spot (subject frame) or L spots. Is determined (step S217). If the determination in step S217 is NO, the next subject frame is changed (K = K + 1) (step S218). Then, spectral characteristic data Vo (λ 1 -n ) of the next subject frame region is read (step S219), and the processing from step S202 is repeated.
したがって、複数のスポット(被写体枠)で判定を行うが設定されている場合には、図11(a−1)に示す「人物」の撮影シーン、(b−1)に示す「風景+人物」の撮影シーン、(c−1)に示す「夕日」の撮影シーンにおいて、同図(a−2)(b−2)(c−2)に示すように複数の被写体枠でステップS202〜S217の処理が実行される。また、このように複数の被写体枠でステップS202〜S217の処理が実行された場合には、同図(a−2)(b−2)(c−2)に示すように被写体枠毎に「髪/Hair」「Sky」等のステップS215で判定した材質や分光放射率のグラフをステップS215内の処理で、表示させる。 Therefore, when the determination is made for a plurality of spots (subject frames), the “person” shooting scene shown in FIG. 11A-1 and the “landscape + person” shown in FIG. In the shooting scene of “Sunset” shown in (c-1), steps S202 to S217 are performed with a plurality of subject frames as shown in FIGS. (A-2), (b-2), and (c-2). Processing is executed. In addition, when the processing of steps S202 to S217 is executed with a plurality of subject frames in this way, as shown in (a-2), (b-2), and (c-2) in FIG. The material and spectral emissivity graphs determined in step S215 such as “hair / hair” and “sky” are displayed by the processing in step S215.
そして、ステップS217の判断がYESとなった時点で、判別された複数スポットの材質と分布から撮影シーン又は被写体の種類を判定する(ステップS221)。したがって、このように複数のスポットで材質判定を行うことにより、図11(a−1)に示した「人物」と、(b−1)に示した「風景+人物」とを区別した正確な判定結果が得られる。 When the determination in step S217 is YES, the type of shooting scene or subject is determined from the determined material and distribution of the plurality of spots (step S221). Therefore, by performing material determination with a plurality of spots in this way, an accurate distinction between the “person” shown in FIG. 11A-1 and the “landscape + person” shown in FIG. A determination result is obtained.
また、ステップS221に続くステップS222においては、前述のように判定された撮影シーン又は被写体の種類を出力する。このとき、図11(a−3)(b−3)(c−3)に示すように、シーン別撮影データテーブル231に記憶されている設定データに基づき、AF枠を表示し、また、シーン・被写体シーン別撮影データテーブル231に記憶されているシーン・被写体に対応する説明文「色強調が肌色に設定されます。・・・」を表示させる。これにより、ユーザーは、撮影される画像の特徴を予め知ることができる。 In step S222 following step S221, the type of photographic scene or subject determined as described above is output. At this time, as shown in FIGS. 11 (a-3), (b-3), and (c-3), an AF frame is displayed based on the setting data stored in the scene-specific shooting data table 231. Display the explanation “Color emphasis is set to skin color ...” corresponding to the scene / subject stored in the subject scene-specific shooting data table 231. Thereby, the user can know in advance the characteristics of the captured image.
図12は、前記ステップS16の被写体追従AF処理の手順を示すフローチャートである。先ず、追従中フラグが「1」となっているか否かにより、表示部85に被写体とともに表示されているフォーカス枠が被写体(主要被写体)に追従中であるか否かを判断する(ステップS301)。未だフォーカス枠が追従中でない場合には、表示部85の中央部に表示させてある単一のフォーカス枠内の被写体、又は表示部85の複数のフォーカス枠を表示あせてある場合には、ユーザーによる操作入力部22での操作により指定された指定フォーカス枠内の被写体を追従する被写体(主要被写体)として選択する(ステップS302)。
FIG. 12 is a flowchart showing the procedure of subject tracking AF processing in step S16. First, it is determined whether or not the focus frame displayed together with the subject on the
また、前記ステップS3においてユーザーによる操作入力部22での操作により予め選択された選択波長帯域における中高周波信号又はコントラスト信号に基づき、合焦評価値を検出し(ステップS303)、当該フォーカス枠の被写体に対して、AF処理を実行する(ステップS304)。つまり、当該フォーカス枠内の被写体が合焦するように、焦点レンズ駆動部34を動作せる。次に、選択波長帯域の映像信号において、当該フォーカス枠近傍の被写体像の特徴抽出処理を実行して、その特徴を抽出し(ステップS305)、この抽出した特徴をデータメモリ24に更新しつつ記録する(ステップS306)。
Further, a focus evaluation value is detected based on the medium-high frequency signal or the contrast signal in the selected wavelength band previously selected by the user's operation on the
なお、本実施の形態においては、このように当該フォーカス枠近傍の被写体像の特徴を抽出して、この抽出した特徴を更新しつつ記録するようにしたが、選択波長帯域の映像信号が示す分光特性情報から、後述する「(2)参照群との類似度/相関係数」に示すように、フォーカス枠近傍の被写体の素材、材質等を判別し、この判別した被写体の素材、材質等を更新しつつ記録するようにしてもよい。 In the present embodiment, the feature of the subject image in the vicinity of the focus frame is extracted in this way, and the extracted feature is recorded while being updated. However, the spectral characteristics indicated by the video signal in the selected wavelength band are recorded. From the characteristic information, as shown in “(2) Similarity / correlation coefficient with reference group” to be described later, the material, material, etc. of the subject in the vicinity of the focus frame are determined, and the determined material, material, etc. of the subject are determined. You may make it record, updating.
次に、被写体の像位置、及び当該フォーカス枠の次回位置を予測演算してデータメモリ24に記憶する(ステップS307)。さらに、フォーカス枠が被写体に追従中となったことを示す追従中フラグをセット(=1)して(ステップS308)、リターンする。したがって、再度ステップS301からの処理が実行されると、既に追従中フラグ=1の状態にあることから、ステップS301からステップS309に進む。そして、前記ステップS307で予測演算したフォーカス枠の近傍を特徴抽出領域に設定する(ステップS309)。 Next, the subject image position and the next position of the focus frame are predicted and stored in the data memory 24 (step S307). Further, a tracking flag indicating that the focus frame is following the subject is set (= 1) (step S308), and the process returns. Therefore, when the process from step S301 is executed again, the following flag is already in the state of 1, so that the process proceeds from step S301 to step S309. Then, the vicinity of the focus frame predicted and calculated in step S307 is set as a feature extraction region (step S309).
次に、当該フォーカス枠内の被写体像に対して、粗い精度でAF処理を実行する(ステップS310)。また、選択は超帯域の映像信号において、前記ステップS309で設定した設定抽出領域から被写体の特徴量を検出する(ステップS311)。そして、前記ステップS306で記録したフォーカス枠近傍の被写体像の特徴データと、前記ステップS311で検出した設定抽出領域における被写体の特徴データとを比較し、テンプレートマッチングにより類似度を算出する(ステップS312)。 Next, AF processing is executed with rough accuracy on the subject image within the focus frame (step S310). Further, in the selection, the feature amount of the subject is detected from the setting extraction area set in step S309 in the super-band video signal (step S311). Then, the feature data of the subject image near the focus frame recorded in step S306 is compared with the feature data of the subject in the setting extraction area detected in step S311 and the similarity is calculated by template matching (step S312). .
なお、前述のようにステップS305及びステップS306において、選択波長帯域の映像信号が示す分光特性情報から、フォーカス枠近傍の被写体の素材、材質等を判別し、この判別した被写体の素材、材質等を更新しつつ記録するようにした場合には、ステップS311でも同様に、選択波長帯域の映像信号が示す分光特性情報から、設定抽出領域における被写体の素材、材質等を判別する。そして、この判別した被写体の素材、材質等と、前記更新しつつ記録するようにした被写体の素材、材質等が一致するか否かをステップS312で判断するようにすればよい。 As described above, in steps S305 and S306, the material, material, and the like of the subject near the focus frame are determined from the spectral characteristic information indicated by the video signal in the selected wavelength band, and the determined material, material, etc. of the subject are determined. In the case where recording is performed while updating, similarly in step S311, the material, material, etc. of the subject in the setting extraction area are determined from the spectral characteristic information indicated by the video signal in the selected wavelength band. Then, it may be determined in step S312 whether or not the determined material, material and the like of the subject coincide with the material, material and the like of the subject to be recorded while being updated.
引き続き、この算出した類似度が所定以上であるか否かを判断し(ステップS313)、所定以上である場合には、前記ステップS309での予測位置である像位置に相当するフォーカス枠に更新する(ステップS314)。つまり、表示部85において前記予測位置にフォーカス枠を移動させて表示し、しかる後に前述したステップS303に進む。
Subsequently, it is determined whether or not the calculated similarity is greater than or equal to a predetermined value (step S313). If it is greater than or equal to the predetermined value, the focus frame corresponding to the image position that is the predicted position in step S309 is updated. (Step S314). That is, the focus frame is moved to the predicted position and displayed on the
また、ステップS313での判断の結果、類似度が所定値未満であった場合には、特徴抽出領域を所定の方向、距離だけ変更する(ステップS315)。そして、ステップS305による変更回数、変更距離が所定以上となったか否かを判断する(ステップS316)。所定以上となっていない場合には、前述したステップS311からの処理を繰り返し、このステップS311からの処理が繰り返されることによりステップS313の判断がYESとなった場合には、ステップS314からステップS303に進んでフォーカス枠の被写体追従を継続する。 If the result of determination in step S313 is that the degree of similarity is less than a predetermined value, the feature extraction area is changed by a predetermined direction and distance (step S315). And it is judged whether the frequency | count of change by step S305 and the change distance became more than predetermined (step S316). If not, the process from step S311 described above is repeated. If the process from step S311 is repeated and the determination in step S313 is YES, the process proceeds from step S314 to step S303. Continue to follow the subject in the focus frame.
したがって、追従AF撮影や追従フレーミング撮影などにおいては、ユーザーが狙った主要被写体像の(輪郭形状や色、輝度、コントラストなど)特徴量だけでなく、当該被写体像の分光反射率特性や、(例えば、近赤外線領域や紫外線領域など、肉眼では確認できないあるいは確認困難な波長帯域も含めて、)選択された被写体の分光特性情報や材質の種類などを追従目標の被写体の特徴量として登録しておき、以降、例えば、レリーズ釦を半押している間は、継続して、当該被写体と一致する分光特性情報や種類など、同じ特徴量を持つ被写体を識別して、追従AF処理したり、追従フレーミング撮影したりすることができる。 Therefore, in tracking AF shooting or tracking framing shooting, not only the feature amount (contour shape, color, brightness, contrast, etc.) of the main subject image aimed by the user, but also the spectral reflectance characteristics of the subject image (for example, The spectral characteristics information and material type of the selected subject are registered as the feature quantities of the tracking target subject (including the wavelength bands that cannot be confirmed or difficult to identify with the naked eye, such as the near infrared region and the ultraviolet region). Thereafter, for example, while the release button is half-pressed, the subject having the same feature amount such as spectral characteristic information and type matching the subject is continuously identified and the tracking AF processing or the tracking framing shooting is performed. You can do it.
他方、ステップS311からの処理を繰り返すことにより、変更回数、変更距離が所定以上となり、ステップS316の判断がYESとなった場合には、被写体の追従を解除すべく、追従中フラグをリセットし(ステップS317)、表示部85に追従失敗及び追従解除を警告表示する。したがって、ユーザーがこの警告表示を視認することにより、フォーカス枠を目標被写体に追従する機能が停止したことを知ることができる。
On the other hand, by repeating the processing from step S311, the number of changes and the change distance become equal to or greater than a predetermined value, and if the determination in step S316 is YES, the tracking flag is reset to release the subject tracking ( Step S317), warning failure and follow-up cancellation are displayed on the
次に、本実施の形態における構成上の詳細、動作及び作用上の詳細について説明する。
[分光フィルタ59]
前記分光フィルタ59としては、狭帯域の透過波長特性を持つフィルタを用いる。この狭帯域の透過波長特性を持つフィルタとしては、リオ(Lyot)フィルタや、ファブリペロー(Fabry−Perot)干渉フィルタ等がある。また、LCTF(液晶チューナブルフィルタ)やLCFP(液晶ファブリペロー)エタロンなどの電子制御可能なフィルタも用いることができる。
Next, structural details, operations, and operational details in the present embodiment will be described.
[Spectral filter 59]
As the spectral filter 59, a filter having a narrow band transmission wavelength characteristic is used. Examples of the filter having the narrow-band transmission wavelength characteristic include a Riot filter and a Fabry-Perot interference filter. Also, an electronically controllable filter such as LCTF (liquid crystal tunable filter) or LCFP (liquid crystal Fabry-Perot) etalon can be used.
(1)リオ・フィルタ
リオ・フィルタ(LyotFilter)は、複屈折性の結晶板による干渉を利用し、非常に狭い波長城の光を透過する光学フィルタであって、2枚の平行な偏光板の間に、方解石や水晶など複屈折性(birefringence)の結晶板を配したものである。複屈折性の結晶板(厚さd)を透過した光は、互いに垂直な振動方向の通常光と異常光の2光線に分離し、それぞれ異なる屈折率と位相速度を持つ。結晶のX軸方向に直線偏光した光に対して屈折率Ne、Y軸方向に直線偏光した光に対して屈折率Noの場合、
位相差δは、δ=(2π/λ)(Ne−No)d・・・式(1)
透過率Tは、T=cos2δ/2・・・式(2)
となり、分離した通常光と異常光は、同じ偏光状態で光路長の整数倍に等しい波長の光だけが、結晶板から出射される。2枚の平行な偏光板の間に、結晶板を45度回転させて配すると、全体の波長特性は、周期的に多数の透過ピークがある櫛歯状の透過波長特性となる。結晶板の角度をモータ等で回転させることにより、透過波長のピークを変えて、フィルタ特性をチューニングできる。
(1) Rio filter The Rio filter is an optical filter that transmits light of a very narrow wavelength using interference by a birefringent crystal plate, and is between two parallel polarizing plates. Birefringence crystal plates such as calcite and quartz are arranged. The light transmitted through the birefringent crystal plate (thickness d) is separated into two light beams of normal light and extraordinary light in vibration directions perpendicular to each other, and have different refractive indexes and phase velocities. In the case of a refractive index Ne for light linearly polarized in the X-axis direction of the crystal and a refractive index No for light linearly polarized in the Y-axis direction,
The phase difference δ is expressed as δ = (2π / λ) (Ne−No) d (1)
The transmittance T is T = cos 2 δ / 2 (2)
In the separated normal light and extraordinary light, only light having a wavelength equal to an integral multiple of the optical path length in the same polarization state is emitted from the crystal plate. If the crystal plate is rotated 45 degrees between two parallel polarizing plates, the entire wavelength characteristic becomes a comb-like transmission wavelength characteristic having a large number of transmission peaks periodically. By rotating the angle of the crystal plate with a motor or the like, the peak of the transmission wavelength can be changed and the filter characteristics can be tuned.
また、複数N枚の結晶板を、順次、次の結晶板より厚さdが2倍となるように、dk=2k−1×d(k=1、2・・・、N−1)として積層すると、透過波長の多数のピークから所望波長の光だけ選択できる。多層フィルタによる全体の透過率は、x=δ/2とおくと、次式となる。
T=T1T2T3・・・TN−1=cos2×(2x)cos2(4x)・・・cos2(2N−1x)・・・式(3)
Further, a plurality of N crystal plates are sequentially dk = 2 k−1 × d (k = 1, 2,..., N−1) so that the thickness d is twice that of the next crystal plate. As a result, it is possible to select only light having a desired wavelength from a number of peaks of the transmission wavelength. The total transmittance of the multilayer filter is expressed by the following equation when x = δ / 2.
T = T 1 T 2 T 3 ... T N-1 = cos 2 × (2x) cos 2 (4x)... Cos 2 (2 N−1 x) Expression (3)
(2)ファフリー・ペロー干渉フィルタ
ファブリ・ペロー干渉フィルタ(Fabry−PerotFilter、Fabry−PerotEtalon)は、多重反射光線の干渉効果を利用して、狭い波長城の光だけを透過する。水晶の平行平板の両面、若しくは、2枚のガラス板の内面に、金属薄膜や誘電体多層薄膜など反射膜をコートした単純な構造で、各種光学機器に広く利用されている。反射膜(半透鏡)を透過して内部に入射された光線は、2枚の面の間を多重反射する。透過光の波面は、その内、偶数回の反射を受けた後に透過する各成分波面の重畳となる。
位相差δ=(2π/λ)2ndcosθ=4πndcosθ/λ・・・式(4)
入射光Iinに対し、透過光Itは、It=Iin×(1−R2/{(1−R)2+4Rsin2(δ)}となるので、
透過率T=(1−R)2/{(1−R)2+4Rsin2(δ)・・・式(5)
ここで、δ:位相差、λ:波長、θ:入射角、d:ミラー間の物理的間隔、n:媒質の屈折率(空気の場合n=1)、R:ミラーの反射率。
(2) Fabry-Perot interference filter A Fabry-Perot interference filter (Fabry-Perot Filter, Fabry-PerotEtalon) transmits only light of a narrow wavelength castle using the interference effect of multiple reflected rays. It has a simple structure in which a reflective film such as a metal thin film or a dielectric multilayer thin film is coated on both surfaces of a parallel plate of quartz or the inner surfaces of two glass plates, and is widely used in various optical devices. A light beam that has passed through the reflective film (semi-transparent mirror) and entered the inside is subjected to multiple reflections between the two surfaces. The wavefront of the transmitted light is a superposition of the component wavefronts that are transmitted after receiving an even number of reflections.
Phase difference δ = (2π / λ) 2nd cos θ = 4πnd cos θ / λ Expression (4)
For the incident light Iin, the transmitted light It becomes It = Iin × (1−R 2 / {(1−R) 2 + 4Rsin 2 (δ)}.
Transmittance T = (1−R) 2 / {(1−R) 2 + 4Rsin 2 (δ) (5)
Here, δ: phase difference, λ: wavelength, θ: incident angle, d: physical distance between mirrors, n: refractive index of medium (n = 1 in the case of air), R: reflectance of mirror.
各成分波面間に位相差がないとき透過光が最大になり、このとき光学距離の差は、波長λの整数倍になる。mλ=2ndcosθ、(m=1,2,3,・・・)・・・式(6)
このとき、他の波長では、各透過成分波面間で打ち消し合いの干渉が起こり、透過光がゼロ近くまで減少する。ミラーは、可視光ではAg、Au、AI、Cr、Rhなどを蒸着した金属膜コーティングでも可能だが、吸収ロスが大きいために、主に、多層の誘電体薄膜等が用いられる。可視光域では、高屈折率のH膜(ZnS等)と低屈折率のL膜(MgF2等)を、λ/4厚ずつ交互に13層重ねた誘電体多層膜で、99.5%程度の反射率が得られる。
The transmitted light is maximized when there is no phase difference between the component wavefronts. At this time, the difference in optical distance is an integral multiple of the wavelength λ. mλ = 2nd cos θ, (m = 1, 2, 3,...) (6)
At this time, at other wavelengths, canceling interference occurs between the transmitted component wavefronts, and the transmitted light is reduced to near zero. Although the mirror can be a metal film coating in which Ag, Au, AI, Cr, Rh, etc. are vapor-deposited for visible light, a multilayer dielectric thin film or the like is mainly used because of a large absorption loss. In the visible light region, a dielectric multilayer film in which a high refractive index H film (ZnS or the like) and a low refractive index L film (MgF2 or the like) are alternately stacked by 13 layers each having a thickness of λ / 4 is about 99.5%. Is obtained.
ミラーの間隔dは、数ミクロン(μm)〜数センチ(cm)まで様々に設計でき、この間隔d、若しくは、媒質の屈折率nを変えることで、透過する波長を選択できる。また、フィルタの傾きを調整することで波長特性を微調整できる。プリズムや回折格子に比べ、分解能が非常に高く、偏光板を使用するリオ・フィルタ等に比べ、透過率が高く、吸収が少ない。隣のピーク波長との間隔FSR(Free Spectral Range)を、最小帯域幅となる透過ピークの半値全幅FWHM(Fu11 Width at Half Maximum)で割った値は、フィネス(Finesse)と呼ばれ、フィルタ性能を表す。
フィネスF=FSR/FWHM=Δλ/δλ=π√R/(1−R)・・・式(7)
The distance d between the mirrors can be designed variously from several microns (μm) to several centimeters (cm), and the wavelength to be transmitted can be selected by changing the distance d or the refractive index n of the medium. Further, the wavelength characteristics can be finely adjusted by adjusting the inclination of the filter. Compared to prisms and diffraction gratings, the resolution is very high, and the transmittance is high and absorption is low compared to Rio filters using polarizing plates. The value obtained by dividing the interval FSR (Free Spectral Range) between adjacent peak wavelengths by the full width at half maximum FWHM (Fu11 Width at Half Maximum) of the transmission peak, which is the minimum bandwidth, is called Finesse, and the filter performance is To express.
Finesse F = FSR / FWHM = Δλ / δλ = π√R / (1-R) (7)
ここで、フリースペクトラルレンジFSR=Δλ=δλ=λo2/(2nd)・・・式(8)
ピーク波長の半値全幅FWHM=δλ=FSR/F・・・式(9)
鏡面の反射率Rを上げるほど、フィネスFが高くなり、波長分解能であるFWHM=δλを狭くし、透過ピークを鋭くすることができる。
Here, free spectral range FSR = Δλ = δλ = λo 2 / (2nd) (8)
Full width at half maximum of peak wavelength FWHM = δλ = FSR / F (9)
As the reflectivity R of the mirror surface is increased, the finesse F is increased, the wavelength resolution FWHM = δλ can be narrowed, and the transmission peak can be sharpened.
また、入射角θで入射する波長λの透過光の強度It(θ,λ)は、次式で表される。
It(θ,λ)=Io(λ)/[1+{4R/(1−R)2}sin2(2πでnd・cosθ/λ)]=Io(λ)/{1+(F/π)2sin2(δ/2)}・・・式(10)
ここで、Io(λ)は、同心円状の干渉パターン(Hadinger fringe)の中心での透過光強度。
Further, the intensity It (θ, λ) of the transmitted light having the wavelength λ incident at the incident angle θ is expressed by the following equation.
It (θ, λ) = Io (λ) / [1+ {4R / (1-R) 2 } sin 2 (nd · cos θ / λ) at 2π] = Io (λ) / {1+ (F / π) 2sin 2 (Δ / 2)} Equation (10)
Here, Io (λ) is the transmitted light intensity at the center of a concentric interference pattern (Hadinger fringe).
光源が単色性(単一波長)ならば、エタロンは特定の条件を満たす入射角でのみ、光を透過させる。このため単色球面波を入射させると、同心円状の円環(干渉パターン)を生成する。なお、ファブリ・ペロー・エタロン(固定間隔のものはエタロン板と呼ばれる)をフィルタとして用いる際には、入射角θが、最も内側の干渉リング(円環)に相当する入射角よりも小さくなるよう、次式の視野角FOV(Field of view)を制限する必要がある。
視野角FOV=√{(8/λ)Xδλ}・・・式(11)
If the light source is monochromatic (single wavelength), the etalon will only transmit light at incident angles that meet certain conditions. For this reason, when a monochromatic spherical wave is incident, a concentric ring (interference pattern) is generated. When using a Fabry-Perot etalon (the one with a fixed interval is called an etalon plate) as a filter, the incident angle θ is made smaller than the incident angle corresponding to the innermost interference ring (ring). The viewing angle FOV (Field of view) of the following equation must be limited.
Viewing angle FOV = √ {(8 / λ) Xδλ} (11)
(3)電子制御可能な干渉フィルタ
前述のリオ・フィルタや、ファブリ・ペロー・フィルタに、液晶素子や電気光学結晶などの複屈折性要素を挿入して組み合わせると、透過波長特性を電子的に可変できる狭帯域フィルタを構成でき、選択された所望の波長帯域で分光撮影ができる。
(3) Electronically controllable interference filter When the above-mentioned Rio filter or Fabry-Perot filter is combined with a birefringent element such as a liquid crystal element or an electro-optic crystal, the transmission wavelength characteristic is electronically variable. A narrow band filter can be constructed, and spectroscopic imaging can be performed in a desired wavelength band selected.
液晶同調フィルタ(LCTF:Liquid Crystal Tunable Filter)は、前述のリオ・フィルタの各層において、入力偏光子と出力偏光子の2枚の偏光子の間に、複屈折性結晶板と液晶素子とを挟んでサンドイッチ構造とし、複数段積層したものである。入射光は、入力偏光子を通り、次に、偏光子の偏光輪に対し結晶軸が45度に設置された複屈折結晶板により、それぞれ位相速度の異なった常光、異常光の2成分に等量に分割される。液晶分子の長輪方向と短輪方向での屈折率の違いにより、長輪方向に偏光している光と、直交する偏光方向の光との間には光路長差(Δ1φ=2πΔz/λ)が生じる。液晶素子の電極間にかける電圧を変化させると、液晶分子の長輪方向が傾くので光路長差が小さくなる。液晶素子に加える電圧(V)により、液晶の結晶軸の一方の屈折係数が変化するので、一方の光は他方の光に比べ遅延する。このように、液晶素子は遅相器として働き、液晶素子を出た2つの成分は出力偏光子で合成されるが、干渉により波長に関して周期的な透過特性となる。 A liquid crystal tunable filter (LCTF) sandwiches a birefringent crystal plate and a liquid crystal element between two polarizers of an input polarizer and an output polarizer in each layer of the above-mentioned Rio filter. It has a sandwich structure and a plurality of layers. Incident light passes through the input polarizer, and then is divided into two components of ordinary light and extraordinary light having different phase velocities by a birefringent crystal plate whose crystal axis is set at 45 degrees with respect to the polarization ring of the polarizer. Divided into quantities. Due to the difference in refractive index between the long ring direction and the short ring direction of the liquid crystal molecules, the optical path length difference (Δ1φ = 2πΔz / λ) between the light polarized in the long ring direction and the light in the orthogonal polarization direction Occurs. When the voltage applied between the electrodes of the liquid crystal element is changed, the direction of the long ring of the liquid crystal molecules is inclined, so that the optical path length difference is reduced. The voltage (V) applied to the liquid crystal element changes the refractive index of one of the crystal axes of the liquid crystal, so that one light is delayed compared to the other light. In this way, the liquid crystal element functions as a phase retarder, and the two components exiting the liquid crystal element are synthesized by the output polarizer, but have periodic transmission characteristics with respect to wavelength due to interference.
これらを1段として、次々に、複屈折結晶板の厚さが前段の2倍になるようにして複数段重ねることで、入射光の最終的な透過特性を狭帯域にすることができる。したがって、リオ・フィルタのように結晶板を回転させる代りに、各層に挿入した液晶素子の透明電極間に印加する電圧を変えるだけで、各層の選択波長を連続して高速で可変して、その組合せにより、全ての層を透過する所望波長の光だけを選択的に透過させ、CCDなどで撮像すると、狭帯域の分光カメラが実現できる。 With these as one stage, the final transmission characteristic of incident light can be narrowed by stacking a plurality of stages so that the thickness of the birefringent crystal plate is twice that of the previous stage. Therefore, instead of rotating the crystal plate like a Rio filter, simply changing the voltage applied between the transparent electrodes of the liquid crystal elements inserted in each layer, the selected wavelength of each layer can be varied continuously at high speed, A narrow-band spectroscopic camera can be realized by selectively transmitting only light of a desired wavelength that is transmitted through all layers by combination and imaging with a CCD or the like.
(4)LCTFの透過波長の選択
所望の波長において、全フィルタにおける透過率のピークを揃えるためには、液晶にかけるAC(交流)若しくは直流(DC)矩形波の電圧を調整して、所望の狭帯域波長に各フィルタの透過率ピークを合わせる必要がある。
(4) Selection of transmission wavelength of LCTF In order to align the transmittance peak in all filters at a desired wavelength, the voltage of AC (alternating current) or direct current (DC) rectangular wave applied to the liquid crystal is adjusted, and the desired wavelength is selected. It is necessary to match the transmittance peak of each filter to a narrow band wavelength.
各層フィルタの各電圧における分光透過率の特性データ、又は各波長(λi)に調整する為に各層の液晶素子にかける電圧データを、参照テーブル(LUT)として予めメモリに記憶しておき、制御回路2では、それらを参照してフィルタの選択特性を自動調整できるように制御すればよい。 Characteristic data of spectral transmittance at each voltage of each layer filter or voltage data to be applied to the liquid crystal element of each layer for adjustment to each wavelength (λi) is stored in advance in a memory as a reference table (LUT), and the control circuit In 2, the control may be performed so that the selection characteristics of the filter can be automatically adjusted with reference to them.
なお、積層型のLCTFで、不要な方向の偏光を遮断する為に、液晶と結晶板の両側に偏光板が必要である。また、選択波長の帯域を5〜10nm程度の狭帯域だけの光で撮像して分光画像を得る為には、フィルタ層の数、すなわち、結晶板と液晶層の数を増やして、同時に透過する波長を分離する必要があり、偏光板の数が増えるので透過率が落ちる。特に短波長側(紫〜紫外線側)では透過率がかなり低下する(暗くなる)難点がある。中心部と周辺部とでも透過率が変わり、一様ではない。また、LCTFでは、液晶の立ち上がり時間や、波長特性の切り替え処理や調整処理に時間がかかると、高速撮影が制限される。例えば、可視光領域の400〜700nmを波長間隔10nm毎に撮影する場合、31枚撮影する必要があり、液晶の立ち上がり時間や波長の切り替えに約50ms以上かかるとすると、露出条件などが満たされたとしても、秒当たり20枚(帯域)程度しか撮影できないので、全帯域の撮影に、1.5秒以上かかってしまう等の制約がある。 Note that a polarizing plate is necessary on both sides of the liquid crystal and the crystal plate in order to block polarized light in an unnecessary direction with the laminated type LCTF. In addition, in order to obtain a spectral image by imaging a selected wavelength band with only a narrow band of about 5 to 10 nm, the number of filter layers, that is, the number of crystal plates and liquid crystal layers is increased and transmitted simultaneously. It is necessary to separate wavelengths, and the number of polarizing plates increases, so the transmittance decreases. In particular, on the short wavelength side (purple to ultraviolet side), there is a problem that the transmittance is considerably lowered (darkened). The transmittance varies between the central portion and the peripheral portion, and is not uniform. In addition, in the LCTF, high-speed imaging is limited if the rise time of the liquid crystal, the switching process of wavelength characteristics, and the adjustment process take time. For example, when photographing 400 to 700 nm in the visible light region at every wavelength interval of 10 nm, it is necessary to photograph 31 images, and if it takes about 50 ms or more for the liquid crystal rise time and wavelength switching, the exposure condition is satisfied. However, since only about 20 shots (bands) can be taken per second, there are restrictions such as taking 1.5 seconds or more to shoot all bands.
(5)液晶ファブリ・ペロー・エタロン(LCFP:Liquid Crysta1 Fabry−Perotetalon)
液晶ファブリ・ペロー・エタロン(LCFP)としては、米国SSI社(Scientific Solutions lnc.)のものが公知である。LCFPは、前述の多重反射を利用するファブリ・ペロー干渉フィルタの、薄膜ミラーが形成された2枚のガラス板(又は水晶板)等の間に、液晶層を封入し、両側に透明電極を形成したものである。所定の波長特性となるようにミラー間隔(ギャップ)を最適に設計するのに加え、エタロンのギャップ幅を埋める液晶層の両側電極に印加する電圧を変えることで、液晶層の屈折率nを変化させて、それまでピークではなかった波長に透過率ピークを与えるように変化させ、前述のファブリ・ペロー干渉フィルタにおける前述の式(4)、式(5)により、
間隔d、液晶層も含む屈折率nを式(4)に代入して、
位相差δ=4πndcosθ/λ・・・前述式(4)
を求め、当該位相差δを式(5)に代入して、
透過率T=(1−R)2/{(1−R)2+4Rsin2(δ)}・・・前述式(5)
を求めることができ、フィルタの各波長における分光透過率特性を求めることができる。 あるいは、これら理論式によるシミュレーション結果又は逆算結果と、液晶の駆動電圧−屈折率特性データから、所望の透過特性となる液晶の屈折率n、及び、所要の駆動電圧Vを求めることができ、各層フィルタを所望の分光透過率特性とすることができる。さらに、異なるミラー間隔のエタロンを多層に積層し、各層に設けた液晶層に印加する電圧を変えることで、複数層のフィルタ全てを透過する波長帯域を、所望の狭帯域の波長帯城λにチューニングすることができ、順次選択した波長帯域の光だけを撮像して、分光撮影に利用できる。ただし、液晶の特性として、この屈折率変化は偏光の直交2成分のうち、1成分のみにしか機能しないため、他方の成分はチューニングには寄与できず、この不要成分をブロックするためにLCFPと直列に偏光板を挿入する必要がある。
(5) Liquid crystal Fabry-Perot etalon (LCFP:
As a liquid crystal Fabry-Perot etalon (LCFP), one manufactured by SSI (Scientific Solutions Inc.) is known. LCFP encloses a liquid crystal layer between two glass plates (or crystal plates) on which thin film mirrors are formed, and forms transparent electrodes on both sides of the Fabry-Perot interference filter that uses multiple reflection. It is a thing. In addition to optimally designing the mirror interval (gap) so as to achieve a predetermined wavelength characteristic, the refractive index n of the liquid crystal layer can be changed by changing the voltage applied to the electrodes on both sides of the liquid crystal layer to fill the gap width of the etalon. Then, the wavelength is changed so as to give a transmittance peak to a wavelength that was not a peak until then, and according to the above formulas (4) and (5) in the Fabry-Perot interference filter,
Substituting the distance d and the refractive index n including the liquid crystal layer into the equation (4),
Phase difference δ = 4πnd cos θ / λ (formula 4)
And substituting the phase difference δ into equation (5),
Transmittance T = (1-R) 2 / {(1-R) 2 + 4Rsin 2 (δ)} (formula 5)
The spectral transmittance characteristics at each wavelength of the filter can be obtained. Alternatively, the refractive index n of the liquid crystal having the desired transmission characteristics and the required driving voltage V can be obtained from the simulation result or the reverse calculation result based on these theoretical formulas and the driving voltage-refractive index characteristic data of the liquid crystal. The filter can have a desired spectral transmittance characteristic. Furthermore, by stacking etalons with different mirror spacing in multiple layers and changing the voltage applied to the liquid crystal layer provided in each layer, the wavelength band that passes through all of the multiple layers of filters is changed to the desired narrowband wavelength band λ. Tuning is possible, and only light in the wavelength band selected in sequence can be imaged and used for spectroscopic imaging. However, as a characteristic of the liquid crystal, this refractive index change functions only in one of the two orthogonal components of polarized light, so the other component cannot contribute to tuning, and in order to block this unnecessary component, LCFP and It is necessary to insert a polarizing plate in series.
(6)液晶ファブリ・ペロー・エタロン(LCFP)の設計
分光撮影で利用するフィルタの動作波長範囲を、例えば、波長400nm〜700nmの可視光全域とする場合、その全域において高反射率となるコーティングを、平面度の高いエタロン基板上に蒸着する必要がある。また、コーティングの反射率と透過率との相反や、エタロン面の平坦度や間隔の平行精度などから、実用的に無理なく実現できるフィネスFには、例えば(SSI社製LCFPの標準品の場合)波長400nmでF≦8、600nmでF≦10、800nmでF≦12、i200nmでF≦15、1500nmでF≦20などと、ある程度の限界がある。
(6) Design of liquid crystal Fabry-Perot etalon (LCFP) When the operating wavelength range of a filter used in spectroscopic imaging is, for example, the entire visible light with a wavelength of 400 nm to 700 nm, a coating that provides high reflectivity in the entire region is applied. It is necessary to deposit on an etalon substrate with high flatness. In addition, Finesse F that can be practically and easily realized due to the conflict between the reflectance and transmittance of the coating, the flatness of the etalon surface, and the parallel accuracy of the intervals, for example (in the case of a standard product of LCFP manufactured by SSI) ) There are some limitations such as F ≦ 8 at a wavelength of 400 nm, F ≦ 10 at 600 nm, F ≦ 12 at 800 nm, F ≦ 15 at i200 nm, F ≦ 20 at 1500 nm, and the like.
所望の帯域における波長分解能(最小帯域幅)を、FWHM=δλ=50nm、あるいは、10nmに設定したい場合、例えば、400〜700nmの可視光域では、実現できるフィネスF=8〜10程度と考えると、前述の式(6)から、フィネスF=Δjλ/δλであるので、δλ=50nmの場合には、ピーク波長の間隔FSR=Δ1λ=δλ×F=50nm×8=400nmとなり、単一のエタロンでも可視光全域で利用できるが、δλ=10nmの場合、FSR=δλXF=10nm×8=80nmとなり、帯域内で3〜4個のピーク波長が同時に透過されてしまうことになり、3〜4個の次数分離フィルタを必要とする。また、フィネスの点からは所望のFSRが可能であっても、種々のギャップ幅(ミラー間隔)に対するFSRと波長λの関係から、例えば、実現できるエタロンの最小ギャップ幅が3μmの場合、単一エタロンでは、可視光全域ではFSRは30〜80nm程度しか得られないので、次数分離フィルタが4〜10個程度必要になることがわかる。このような場合、複数のエタロンを組み合わせた多層のLCFPを利用する。 When it is desired to set the wavelength resolution (minimum bandwidth) in a desired band to FWHM = δλ = 50 nm or 10 nm, for example, in the visible light range of 400 to 700 nm, it is considered that finesse F is about 8 to 10 From the above equation (6), since finesse F = Δjλ / δλ, when δλ = 50 nm, the peak wavelength interval FSR = Δ1λ = δλ × F = 50 nm × 8 = 400 nm, and a single etalon However, although it can be used in the entire visible light range, when δλ = 10 nm, FSR = δλXF = 10 nm × 8 = 80 nm, and 3 to 4 peak wavelengths are transmitted simultaneously within the band, and 3 to 4 Order separation filter. Further, even if a desired FSR is possible from the viewpoint of finesse, the relationship between the FSR and the wavelength λ with respect to various gap widths (mirror intervals), for example, when the minimum gap width of the etalon that can be realized is 3 μm, In the etalon, since the FSR is only about 30 to 80 nm in the entire visible light range, it is understood that about 4 to 10 order separation filters are required. In such a case, a multilayer LCFP in which a plurality of etalons are combined is used.
(7)多層のLCFP
複数のエタロンを直列に組み合わせて使う場合、ギャップ幅の大きな方の第1エタロン(波長分解エタロン)が、系全体の透過幅を規定し、ギャップ幅の小さな方の第2エタロン(次数抑制エタロン)がFSRを規定する。系全体のFSRは、両エタロンのFSRの比に依存する。第1エタロンのFSR1と、第2エタロンのFSR2との整数比が、B/Aで表現できるとすると、
FSR=A×FSR1=B×FSR2・・・式(12)
B=1の場合は、第2エタロンのFSR2そのものが全体系のFSRになる。それ以外なら、全体系のFSRは次数抑制エタロンのFSR2よりもB倍だけ大きくなる。式(12)から、2台のエタロンを組合せた系では、波長分解エタロンのFSRはA倍に拡大し、全体系のFSRの中に存在できる透過帯の総数も、A倍(FSR拡大係数)に拡大することができる。
(7) Multi-layer LCFP
When multiple etalons are used in combination, the first etalon with the larger gap width (wavelength-resolved etalon) defines the transmission width of the entire system, and the second etalon with the smaller gap width (order suppression etalon). Defines the FSR. The FSR of the entire system depends on the ratio of the FSRs of both etalons. If the integer ratio of FSR 1 of the first etalon and FSR 2 of the second etalon can be expressed in B / A,
FSR = A × FSR 1 = B × FSR 2 Formula (12)
When B = 1, the FSR 2 of the second etalon itself becomes the entire FSR. Otherwise, the overall FSR is B times larger than the FSR 2 of the order-suppressing etalon. From the equation (12), in the system combining two etalons, the FSR of the wavelength-resolved etalon is expanded A times, and the total number of transmission bands that can exist in the FSR of the entire system is also A times (FSR expansion coefficient). Can be expanded.
次数分離フィルタの数を最少にするためには、液晶のチューナブルレンジ(屈折率の変化範囲)よりも大きくならない範囲で、エタロンのFSRを最大化することが必要である。例えば、ギャップ幅3μmのエタロンでは、可視光域(4004m〜700n面が10個の次数で満たされるが、ギャップ幅6μmと、7.4μmのエタロンを組み合わせると、得られるFSRは、ギャップ幅3μmの単体エタロンの2倍、ギャップ幅1.5μmの単体エタロンに相当するものが実現できる。 In order to minimize the number of order separation filters, it is necessary to maximize the etalon FSR within a range that does not exceed the tunable range (refractive index change range) of the liquid crystal. For example, in an etalon with a gap width of 3 μm, the visible light region (4004 m to 700 n surfaces are filled with 10 orders, but when the gap width of 6 μm and an etalon of 7.4 μm are combined, the FSR obtained is A device equivalent to a single etalon having twice the single etalon and a gap width of 1.5 μm can be realized.
[撮像素子60]
従来のように、撮像素子60をCCDで構成する場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のCCD転送路によって順繰りに転送され、出力回路で初めてFD(Floating Diffusion)アンプにより信号電圧に増幅されて出力される。CCDから出力された撮像信号は、CDS(Correlated Double Sampling:相関二重サンプル)回路でノイズ除去及びサンプル&ホールド処理され、AGC(自動利得制御)アンプで増幅され、ADC(A/D変換器)でデジタル撮像信号に変換され、DSP(信号処理回路)に出力される。
[Image sensor 60]
When the
一方、撮像素子60をCMOSイメージセンサで構成する場合には、一般的なAPS(Active Pixe1 Sensor、増幅型画素センサ)型のCMOSセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内のアンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりXYアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧又は電流として取り出すことができる。CCDのように順番に取り出さなくとも、CMOSセンサでは、任意の画素や領域の撮像信号だけを任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合などに高速で読み出せる。また、CCDでは信号電荷をそのまま転送するのでスミアやノイズに弱いが、CMOSセンサでは、画素毎にランダムアクセスで読出せ、各面素回路は電気的に分離しているので伝送ノイズに強く、また同じCMOS製造プロセスにてイメージセンサの周辺に、加算演算回路など論理回路や信号処理回路を高集積化して一緒に作りこめる利点がある。
On the other hand, when the
反面、CMOSセンサでは、画素毎のアンプの闇値など、個々の素子バラツキによる固定パターンノイズ(FPN)や暗電流、kTC雑音が大きい難点があったが、今日においては、(CCDと同様に)埋め込みフォトダイオードとFDアンプを用いる構造にして、暗電流とKTC雑音を低減できるようになった。また、列信号線毎に並列に並んだ列回路に設けたColumn型CDS/ADC回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズ(FPN)を除去できるようになり、列回路毎に積分型や巡回型、逐次型などのAD変換器を組み込んで、デジタル信号での撮像信号出力もできるようになった。 On the other hand, in CMOS sensors, fixed pattern noise (FPN), dark current, and kTC noise due to variations in individual elements, such as the dark value of the amplifier for each pixel, have been difficult, but today, as with CCDs. A structure using an embedded photodiode and an FD amplifier can reduce dark current and KTC noise. Also, fixed pattern noise (FPN) can be removed by subtracting the signal before and after resetting the photodiode by a column type CDS / ADC circuit or the like provided in a column circuit arranged in parallel for each column signal line. Therefore, an integration type, a cyclic type, a sequential type or the like AD converter is incorporated in each column circuit, and an image pickup signal can be output as a digital signal.
(1)高速イメージセンサ
本実施の形態に係るデジタルカメラ1に用いる撮像素子では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるように、図13に示す撮像素子200を用いることが好ましい。すなわち、この撮像素子200は、タイミング発生回路201に接続された垂直走査回路202と水平走査回路203及び列回路部204を備えるとともに、並列直列変換部204、符号器205を有している。列回路部204には、CDS回路206、A/D変換回路207、画素加算回路208を一組とする回路が複数設けられて、各々列信号線209が接続されている。一方、垂直走査回路202には、行選択線(アドレス線)210と転送TC線(行読出し線)211及び行リセット線212とが接続されている。また、イメージセンサ部213には、複数の単位画素回路214が設けられており、各単位画素回路214は、前記列信号線209、行選択線(アドレス線)210、転送TC線(行読出し線)211、行リセット線212に接続されたフォトダイオード215等で構成されている。
(1) High-speed image sensor In the imaging device used in the
したがって、この撮像素子200においては、列回路部204のCDS回路206、A/D変換回路207の後段に隣接する同色(フィルタ)の複数の画素の信号同士をデジタル信号で加算する画素加算回路208を設けることにより、デジタルズーム時には、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号を読出しできるように構成し、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようにしてある。
Therefore, in this
なお、選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部204のCDS回路206、A/D変換回路207から水平走査回路203の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力するか、若しくは、並列のデジタル信号を符号化し、並列/直列変換回路により変換して、直列のデジタル撮像信号として出力して、高解像度の撮像信号を、DSPに高速フレームレートで転送出力することができる。
Note that the image signal of the selected region that has been selectively read and the image signal that has undergone pixel addition are the column selected by the column selection signal of the
(2)CDS/ADC回路と加算回路
特開2005−278135号公報には、積分型のADC回路を、列並列のADC比較器とアップ/ダウンカウンタを用いてCDS/ADC回路として構成して、デジタル衆値をメモリ部に書き込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせると目算器なしで画素加算演算を行えるようにしたCMOSイメージセンサが開示されている。したがって、本実施の形態におけるイメージセンサ部63として、前記CMOSイメージセンサを用いてもよい。
(2) CDS / ADC circuit and addition circuit Japanese Patent Application Laid-Open No. 2005-278135 discloses an integration type ADC circuit configured as a CDS / ADC circuit using a column parallel ADC comparator and an up / down counter, There has been disclosed a CMOS image sensor in which a pixel addition operation can be performed without an arithmetic unit when a digital public value is written in a memory unit and, for example, the next pixel value is continuously counted without resetting the counter. Therefore, the CMOS image sensor may be used as the
(3)撮像信号の高速読み出し
通常読み出し、又は加算読み出しされた撮像信号のデジタル信号は、並列/直列変換回路で順次シリアル(直列)のデジタル信号に変換されて出力されDSPに転送される。高解像度、高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でDSPに転送する必要がある。一般のCMOS入出力回では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなり転送できる速度も遅くなってしまう。これに対し、例えば、CML系(Cuent Mode Logic、電流モードロジック)の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をon/offさせる方法で、(vdd−0.4V)の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。また、LVDS系(Low−voltge Differential Signaling、小振幅差動信号方式)は、2本の信号線を使って情報を運ぶ差動信号式で、単一チャネルあたり数百〜数千Mbps(メガビット/秒)の高速度でデータ伝送でき、かつ、mWレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数も減らせるため、モニタ表示装置とPC本体等とのデジタル入出力インタフェースとして利用されている。
(3) High-speed reading of imaging signal The digital signal of the imaging signal that has been normally read or added and read is sequentially converted into a serial (serial) digital signal by a parallel / serial conversion circuit, and is output and transferred to the DSP. In order to capture an image with a high resolution and a high-speed frame, of course, it is necessary to transfer the imaging signal to the DSP at a high speed. In a general CMOS input / output cycle, the amplitude of the input / output signal is swung within the full range of the power supply voltage range, so that the power consumption increases and the transfer speed is also slowed down. On the other hand, for example, in an input / output circuit of a CML system (Cuent Mode Logic, current mode logic), the transistor is used in an unsaturated region, the impedance is lowered, and the current is turned on / off rather than the voltage is swung. In this way, the operation is performed with a low amplitude around the potential of (vdd−0.4V). High speed operation is possible because the amount of charge / discharge of stray capacitance is reduced. The LVDS system (Low-Voltage Differential Signaling) is a differential signal system that carries information using two signal lines, and is several hundred to several thousand Mbps (megabit / bit) per single channel. As a differential data transmission system that can transmit data at a high speed (mW level) and low power consumption at the mW level, the number of signal lines on the internal bus can be reduced. Used as an interface.
LVDS(小振幅差動信号方式)では、電流モード・ドライバの採用と、+1.2V電位を中心に0.3Vの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。CMOS回路でも、高速でシリアル伝送でるCML系やLVDS系など低振幅や差動信号方式の入出力インタフェースを用いて、また、直列(シリアル)信号に変換されたデジタル撮像信号を撮像素子の出力回路(トランシーバー)から出力して、少ない端子数でも後段のDSP(映像信号処理回路)へ高速で伝送し、DSP側の入力回路(レシーバー)では、受信した直列デジタル信号を並列/直列変換回路で並列デジタル信号に復変換して、デジタル撮像信号として映像信号処理に用いることができる。 In LVDS (small amplitude differential signal system), common mode noise can be removed by adopting a current mode driver and small amplitude that swings within the upper and lower amplitudes of 0.3V around the + 1.2V potential, and wide frequency range High noise resistance can be obtained. Even in CMOS circuits, digital imaging signals converted into serial (serial) signals using low-amplitude and differential signal input / output interfaces, such as CML and LVDS systems, which are serial transmission at high speed, are output circuits for imaging devices. Output from the (transceiver) and transmit to a subsequent DSP (video signal processing circuit) at high speed even with a small number of terminals. In the DSP input circuit (receiver), the received serial digital signal is parallelized by a parallel / serial converter circuit. The digital signal can be converted back and used as a digital imaging signal for video signal processing.
例えば、10ビットパラレルのLVDS出力を搭載すると、900×2200画素=約600万両素、各画素当たり10ビットの撮像信号も、画素レート約400MHzの速で転送出力すると、約600万両素の高解像度でも、秒当たり60フレーム(60fps)以上の高速で、DSPに転送出力できる。同様に、垂直5×加算読み出し、又は、垂直1/5間引を行なってデータ圧縮した場合(約600万÷5=約120万両素)には、同レートでは、約300fps当の高速で転送出力できることになる。 For example, when a 10-bit parallel LVDS output is installed, 900 × 2200 pixels = approximately 6 million pixels, and when a 10-bit imaging signal for each pixel is transferred and output at a speed of approximately 400 MHz, the pixel rate is approximately 6 million pixels. Even at high resolution, it can be transferred and output to the DSP at a high speed of 60 frames per second (60 fps) or more. Similarly, when data is compressed by performing vertical 5 × addition reading or vertical 1/5 decimation (approximately 6 million ÷ 5 = approximately 1.2 million rhodium), at the same rate, at a high speed of approximately 300 fps. Transfer output can be performed.
(4)高速DSP
図1に示したように、CMOイメージセンサ内蔵のCDS/ADC回路でデジタル変換され、並列又は直列のデジタル信号で高速転送された撮像信号を入力すると、DSP(デジタル信号処理回路)では、まずシェーディング正や黒レベル補正、欠陥画素補正など前処理を行った後、デジタルAGC回路で増幅するとともに、ホワイトバランス調整やカラーバランス調整を行う。通常のRGB3色カラーの撮像素子の場合には、撮像素子の前面に設けられたモザイク状のRGBカラーフィルタ配列に従って、画素毎には一つの色分しか持たないBayerデータから、他の色差成分の画素値も、近隣周辺の画素値等から画素関して求めて、面素毎にRGB各色差成分の階調値を持つデジタル画像データに変換するラー補間処理などを行うが、本例の高速度分光撮影カメラでは、撮像素子に画素のカラーフィルタを設けずに、撮像素子の全面素で同時に受光し、順次フィルタの透過波長特性を切り替えながら、高速で連続撮影した波長帯域毎の分光画像を撮影する。
(4) High speed DSP
As shown in FIG. 1, when an imaging signal that has been digitally converted by a CDS / ADC circuit with a built-in CMO image sensor and transferred at high speed in parallel or serial digital signals is input, the DSP (digital signal processing circuit) first performs shading. After pre-processing such as positive and black level correction and defective pixel correction, the digital AGC circuit amplifies and performs white balance adjustment and color balance adjustment. In the case of a normal RGB three-color image sensor, according to the mosaic RGB color filter array provided in front of the image sensor, from the Bayer data having only one color for each pixel, other color difference components The pixel value is also obtained from the neighboring peripheral pixel values, etc., and the pixel interpolation is performed for each surface element to convert it into digital image data having gradation values of RGB color difference components. In the spectral camera, the image sensor is not provided with a pixel color filter, but the entire surface of the image sensor simultaneously receives light, and sequentially switches the transmission wavelength characteristics of the filter while taking a spectral image for each wavelength band that is taken continuously at high speed. To do.
また、波長帯域毎の分光特性バラツキなどを補正した後、各面素の3刺激値R、G、Bを算出して、全波長帯域でマルチプレーン加算合成して、また、通常のRGBなどの空間座標の広帯域の画像信号に変換(RGB信号への変換処理)することができる。さらに、以降は、通常のカラーフィルタ付き撮像素子による撮像信号の信号処理と同様に、RGB系のデジタル画像信号は、階調補正やガンマ補正され、バッファメモリ(B)81に一時記憶された後、LCDモニタや電子ファインダ(EVF)に再生表示されるか、カラーマトリクス回路75でRGB系からYUV系/YCbCr系など所定の色空間の画像信号に変換され、画像CODEC82により、JPEG静止画像データやMPEG4や、H.264動画像データなどに圧縮/符号化処理され、メモリカード媒体25などに保存記録される。また、必要に応じて、表示サイズや所の記録画像サイズなどに応じて、リサイズ(Resize)、若しくは、補間処理(lnterpolation)、縮小/拡処理など、撮像画像サイズを異なる画像サイズに変換する解像度変換処理などを行う。
In addition, after correcting the spectral characteristic variation for each wavelength band, the tristimulus values R, G, B of each surface element are calculated, and multi-plane addition synthesis is performed in all wavelength bands. It can be converted into a wide-band image signal of spatial coordinates (conversion processing to RGB signal). Further, after the RGB digital image signal is subjected to gradation correction and gamma correction and temporarily stored in the buffer memory (B) 81, as in the case of image signal processing by a normal image sensor with a color filter. The image is reproduced and displayed on an LCD monitor or an electronic viewfinder (EVF), or is converted from an RGB system to an image signal of a predetermined color space such as a YUV system / YCbCr system by a
(5)カラー画像の撮影プロセス
一般に、波長(λ)における3次元空間座標(x,y,z)の時間(t)における、ある反射物体の分光反射率の関数をO(x,y,z,t,λ)で表すと、この物質を、分光放射率E(λ)の光源で照明して、分光透過率TL(λ)のレンズを通して結像し、分光透過率TFi(λ)のフィルタ、分光感度S(λ)を有する撮像素子のカメラで撮影するとき、カメラの撮像出力である2次元画像Vi(x,y)は、次式で表すことができる。
Vi(x,y)=∫∫∫TL(λ)TFi(λ)S(λ)t(t)A(z)O(x,y,z,t,λ)E(λ)dλdtdz・・・式(13)
(ただし、t(t):露光時間、A(z):レンズによる結像関数(3次元−2次元変換関数))。
(5) Color image capturing process Generally, a function of spectral reflectance of a certain reflecting object at time (t) of three-dimensional spatial coordinates (x, y, z) at wavelength (λ) is expressed as O (x, y, z , T, λ), the material is illuminated with a light source having a spectral emissivity E (λ), imaged through a lens having a spectral transmittance T L (λ), and the spectral transmittance T Fi (λ). When the image is taken with a camera of an image sensor having a filter and spectral sensitivity S (λ), a two-dimensional image Vi (x, y) that is an image output of the camera can be expressed by the following equation.
Vi (x, y) = ∫∫∫T L (λ) T Fi (λ) S (λ) t (t) A (z) O (x, y, z, t, λ) E (λ) dλdtdz · ..Formula (13)
(Where t (t): exposure time, A (z): imaging function by lens (3D-2D conversion function)).
カメラでは露出時間tも所定時間ON/OFFの矩形関数近似できるので、ここでは、色の再現性に注目して、座標軸や時間関数、レンズ結像関数などを略化して考えると、
Vi(x,y)=∫TL(λ)TFi(λ)S(λ)O(x,y,λ)(λ)dλ・・・式(14)
となる。
In the camera, the exposure time t can also be approximated by a rectangular function of ON / OFF for a predetermined time. Here, focusing on color reproducibility, the coordinate axis, time function, lens imaging function, etc. are simplified.
Vi (x, y) = ∫T L (λ) T Fi (λ) S (λ) O (x, y, λ) (λ) dλ (Equation 14)
It becomes.
従来の3原色に基づくRGBの3バンド画像の場合には、上記式で、i=R,G,Bで、分光透過率TFi(λ)は、それぞれ、TFR(λ),TFG(λ),TFB(λ)のカーフィルタである。 In the case of an RGB three-band image based on the conventional three primary colors, i = R, G, B and the spectral transmittance T Fi (λ) is T FR (λ), T FG ( λ) and T FB (λ).
本実施の形態に係る分光カメラ(デジタルカメラ1)や、狭帯域毎の分光画像の場合にはバンド番号i=1,2,・・・,nとすると、分光透過率T・(λ)が、それぞれ、TF1(λ),TF2,・・・,TFn(λ)の狭帯域バンド毎のフィルタに相当する。(なお上記式で、反射物体と光源のO(λ)E(λ)の代わりに、物体の分光放射輝度Oe(λ)に置き換えると、放射物体の場合にも同様に扱える。) In the case of the spectral camera (digital camera 1) according to the present embodiment or a spectral image for each narrow band, if the band number i = 1, 2,..., N, the spectral transmittance T · (λ) is , T F1 (λ), T F2 ,..., T Fn (λ), corresponding to filters for each narrow band. (In the above equation, if the object is replaced by the spectral radiance Oe (λ) of the object instead of O (λ) E (λ) of the reflecting object and the light source, the same can be applied to the case of the radiating object.)
(6)3原色による色再現
一般に、色再現では3色の分解像VR、VG,VBを、例えば、CIE−XYZ表色系における等色関数x ̄(λ),y ̄(λ),z ̄(λ)などを用いて、元の物体の3刺激値(Xi,Yi,Zi)が、下記の(XO,YO,ZO)と対応するような、所謂測色的な色再現が行われている。
XO=KO∫O(λ)E(λ)x ̄(λ)dλ、
YO=KO∫O(λ)E(λ)y ̄(λ)dλ、
ZO=KO∫O(λ)E(λ)z ̄(λ)dλ、・・・式(15)
ここで、KO=100[%]/{∫E(入)y ̄(λ)dλ}、
(6) Color reproduction by three primary colors Generally, in color reproduction, three color separation images V R , V G , and V B are converted into, for example, color matching functions x 関 数 (λ), y ̄ (λ) in the CIE-XYZ color system. ), Z ̄ (λ), etc., the so-called tristimulus values (X i , Y i , Z i ) of the original object correspond to the following (X O , Y O , Z O ) Colorimetric color reproduction is performed.
X O = K O ∫O (λ) E (λ) x ̄ (λ) dλ,
Y O = K O ∫O (λ) E (λ) y ̄ (λ) dλ,
Z O = K O ∫O (λ) E (λ) z ̄ (λ) dλ, Equation (15)
Here, K O = 100 [%] / {∫E (input) y ̄ (λ) dλ},
また、記録された画像をハードコピーとして、別の分光放射率の照明光源E′(λ)で観察する場合も、光源E(λ)をE′(λ)に、物体の分光反射率O(λ)を、画像の分光反射率(又は、分光濃度)O′(λ)に置き換えると、3刺激値(Xh,Yh,Zh)は次式で表される。
Xh=K∫O′(λ)E′(λ)x ̄(λ)dλ、
Yh=K∫O′(λ)E′(λ)y ̄(λ)dλ、
Zh=K∫O′(λ)E′(λ)z ̄(λ)dλ、・・・式(16)
ここで、K=100[%]/{∫E′(λ)y ̄(λ)dλ}、
Also, when a recorded image is used as a hard copy and observed with an illumination light source E ′ (λ) having a different spectral emissivity, the light source E (λ) is set to E ′ (λ), and the spectral reflectance O ( If λ) is replaced with the spectral reflectance (or spectral density) O ′ (λ) of the image, the tristimulus values (X h , Y h , Z h ) are expressed by the following equations.
X h = K∫O '(λ) E' (λ) x ̄ (λ) dλ,
Y h = K∫O ′ (λ) E ′ (λ) y ̄ (λ) dλ,
Z h = K∫O ′ (λ) E ′ (λ) z ̄ (λ) dλ, expression (16)
Here, K = 100 [%] / {∫E ′ (λ) y ̄ (λ) dλ},
フィルムや写真、印刷などのハードコピー、又は、電子ディスプレーなど、個々に表現形式や変換行列又はLUT(Lookup Table、変換表)は異なっても、上記と同様に考えることができる。このように、式(15)、(16)からも明らかなように、物体、画像の3刺激値は、照明光源の分光放射率E(λ)、E′(λ)などに依存することになる。 Even if the representation format, conversion matrix, or LUT (Lookup Table) is different, such as hard copy such as film, photograph, printing, or electronic display, it can be considered in the same manner as described above. Thus, as is clear from the equations (15) and (16), the tristimulus values of the object and the image depend on the spectral emissivity E (λ), E ′ (λ), etc. of the illumination light source. Become.
(7)分光画像の色表現
本実施の形態のような分光画像の場合も式(14)から、
Vi(x,y)=∫TL(λ)TFi(λ)S(λ)O(x,y,λ)(λ)dλ・・・前式(14)
(ただし、vi(x,y):2次元画像、E(λ):光源の分光放射率、TL(λ):撮影レンズの分光透過率、TFi(λ):i番目のフィルタの分光透過率、S(λ)撮像素子の分光感度、O(x,y,λ.):物体の分光反射率である。
(7) Color representation of spectral image In the case of a spectral image as in the present embodiment, the equation (14)
Vi (x, y) = ∫T L (λ) T Fi (λ) S (λ) O (x, y, λ) (λ) dλ (formula (14))
(Where vi (x, y): two-dimensional image, E (λ): spectral emissivity of light source, T L (λ): spectral transmittance of photographing lens, T Fi (λ): spectral of i-th filter Transmittance, spectral sensitivity of the S (λ) image sensor, O (x, y, λ.): Spectral reflectance of the object.
(8)広帯域画像への変換
得られた複数枚の分光画像データを高速で転送入力したDSPでは、各波長帯λiにおける画の輝度信号V(x,y;λi)を、帯域毎の撮影レンズや干渉フィルタ等の分光透過率T(λi)、撮像センサの分光撮像感度S(λi)など、実際のカメラの分光特性や固体バラツキデータ等予めカメラ内のメモリに記憶しておき、実際の分光特性T(λi)や、S(λi)と、理想の分光特性(透過率100%)や標準の分光透過率T0(λi)や分光感度S0(λj)との比率で除算する、又は、比率の逆数を波長帯域(λ)毎の変換係数として乗算することにより、波長帯域別の感度性バラツキが補正された分光画像V′(x,y;λi)を得る。つまり、
V′(x,y;λi)=V(x,y;λi)×{T0(λi)/T(λi)}×{S0(λi)/S(λi)}・・・式(17a)
又は、
V′(x,y;λi)=V(x,y;λi)×{1/T(λi)}×{1/S(λi)}・・・式(17b)
(8) Conversion to a wideband image In a DSP in which a plurality of obtained spectral image data is transferred and input at a high speed, an image luminance signal V (x, y; λi) in each wavelength band λi is converted into a photographing lens for each band. The spectral characteristics of the actual camera, such as the spectral transmittance T (λi) of the image sensor and the interference filter, and the spectral imaging sensitivity S (λi) of the imaging sensor, etc. Divide by the ratio of the characteristic T (λi) or S (λi) to the ideal spectral characteristic (
V ′ (x, y; λi) = V (x, y; λi) × {T 0 (λi) / T (λi)} × {S 0 (λi) / S (λi)} (17a) )
Or
V ′ (x, y; λi) = V (x, y; λi) × {1 / T (λi)} × {1 / S (λi)} (17b)
また、補正された分光画像V′(x,y;λi)に対して、さらに、各分光画像の波長帯域(λi)毎におけるr ̄(λi)、g(λi)b ̄(λi)など等色関数などを乗算して、各面素(x、y)毎のR、G、Bなどの3刺激値を求め、各分光画像をRGBカラーデタに変換し、
Ri(x、y)=V′(x,y;λi)×r ̄(λi)、
Gi(x、y)=V′(x,y;λi)×g ̄(λi)、
Bi(x、y)=V′(x,y;λi)×b ̄(λi)、・・・式(18)
In addition, for the corrected spectral image V ′ (x, y; λi), r ̄ (λi), g (λi) b ̄ (λi), etc. for each wavelength band (λi) of each spectral image, etc. Multiply the color function, etc., to obtain tristimulus values such as R, G, B, etc. for each surface element (x, y), convert each spectral image to RGB color data,
Ri (x, y) = V ′ (x, y; λi) × r ̄ (λi),
Gi (x, y) = V ′ (x, y; λi) × g ̄ (λi),
Bi (x, y) = V ′ (x, y; λi) × b ̄ (λi), formula (18)
さらに、DSP内のマルチプレーン加算回路により、各波帯域(λi)の各面素(x、y)のRGB値をそれぞれ加算合成して、RGBなど広帯域カラーの画データに変換することができる。
R(x,y)=ΣiRi(x,y)、
G(x,y)=ΣiGi(x,y)、
B(x,y)=ΣiBi(x,y)、・・・式(19)
Further, the RGB values of each surface element (x, y) in each wave band (λi) can be added and synthesized by a multi-plane addition circuit in the DSP, and converted into wideband color image data such as RGB.
R (x, y) = ΣiRi (x, y),
G (x, y) = ΣiGi (x, y),
B (x, y) = ΣiBi (x, y), Formula (19)
また、標準モニター等のガンマ特性に合わせて、諧調補正やガンマ補正を行ったり、各画素(x、y)毎のrgb色度値やYUV(YCrCb)信号など、他の色空間座標に変換して出力してもよい。このようにして、複数の波長帯域の殆ど同じタイミングとなる微小時間内で高速速写された分光画像を高速に読み出し、加算合成して、色再現性の高い高解像度からなる1枚の広帯域画像データを生成し、出力又は記録できる。 Also, tone correction and gamma correction are performed according to the gamma characteristics of standard monitors, etc., and converted to other color space coordinates such as rgb chromaticity values and YUV (YCrCb) signals for each pixel (x, y). May be output. In this way, a single broadband image data having a high color reproducibility and high resolution is obtained by quickly reading and adding and synthesizing a spectral image taken at a high speed within a minute time which is almost the same timing of a plurality of wavelength bands. Can be generated and output or recorded.
(他の実施の形態)
図14は、前記ステップS4及びステップS15で実行される分光スルー画像の映像処理、分光特性データの取得処理の他の実施の形態における処理例(処理例(2))を示すフローチャートである。先ず、ユーザーによる操作入力部22での操作に応じて、分光フィルタ59の波長帯域(λi)と、その帯域数(n)とを設定するとともに(ステップS401)、スルー映像の読み出し更新周期(Tr)を設定する(ステップS402)。次に、前記帯域数(n)からなるで構成される波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS403)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。
(Other embodiments)
FIG. 14 is a flowchart showing a processing example (processing example (2)) in another embodiment of the spectral through image video processing and spectral characteristic data acquisition processing executed in steps S4 and S15. First, the wavelength band (λi) of the spectral filter 59 and the number of bands (n) are set according to the operation of the
そして、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS43で選択した波長帯域λ1に設定する(ステップS404)。引き続き、高速ドラフトモード又はスルー映像読み出しモードで撮像素子60を駆動する(ステップS405)。そして、設定された読み出し周期時間(Tr)が経過したか否かを判断し(ステップS406)、経過したならば次のステップS407に進む。したがって、ステップS404〜S415のループは、読み出し周期(Tr)毎に繰り返される。そして、ステップS406に続くステップS407では、透過波長帯域(λi)のスルー映像信号V(xy;λi)を読み出す(ステップS407)。
Then, a predetermined drive signal is added to the electronic control filter (spectral filter 59), and the transmission wavelength band is set to the wavelength band λ1 selected in step S43 (step S404). Subsequently, the
引き続き、各波長帯域(λi)の映像信号における、設定被写体枠(K=1〜L)の輝度値を、被写体の分光特性データ列Vo(k;λi)、(k=1〜L)として、順次データメモリ24に記憶する(ステップS408)。また、スルー映像信号V(x,y;λi)を、波長帯域(λi)毎に、レンズやフィルタの透過率T(λi)、撮像素子の感度S(λ)などに応じて補正する(ステップS409)。この補正は、下記例次式により行う。
V(x,y;λi)=V(x,y;λi)×{T0(λi)/T(λi)}×{S0(λi)/S(λi)}
ここで
V(x,y;λi):輝度信号
T(λi):帯域毎の撮影レンズや干渉フィルタ等の分光透過率
S(λi):撮像センサの分光撮像感度
T0(λi):理想の分光特性(透過率100%)や標準の分光透過率
S0(λj):理想の分光感度や標準の分光感度。
Subsequently, the luminance value of the set subject frame (K = 1 to L) in the video signal of each wavelength band (λi) is set as the spectral characteristic data string Vo (k; λi) and (k = 1 to L) of the subject. The data is sequentially stored in the data memory 24 (step S408). Further, the through video signal V (x, y; λi) is corrected for each wavelength band (λi) in accordance with the transmittance T (λi) of the lens or filter, the sensitivity S (λ) of the image sensor, and the like (step) S409). This correction is performed according to the following example.
V (x, y; λi) = V (x, y; λi) × {T 0 (λi) / T (λi)} × {S 0 (λi) / S (λi)}
Here, V (x, y; λi): Luminance signal T (λi): Spectral transmittance S (λi) of the imaging lens and interference filter for each band: Spectral imaging sensitivity T 0 (λi) of the image sensor: Ideal Spectral characteristics (
次に、疑似カラー表示に設定されているか否かを判断する(ステップS410)。疑似カラー表示に設定されている場合には、各画素の輝度値V(x,y;λi)に、疑似カラー変換関数r′(λi)、g′(λi)、b′(λi)を乗算して、下記式に示すように、擬似的に3刺激値R,G,Bを得る(ステップS411)。
Ri(x、y)=r′(λi)・V(x,y;λi)、
Gi(x、y)=g′(λi)・V(x,y;λi)、
Bi(x、y)=b′(λi)・V(x,y;λi)。
Next, it is determined whether or not the pseudo color display is set (step S410). When the pseudo color display is set, the luminance value V (x, y; λi) of each pixel is multiplied by the pseudo color conversion functions r ′ (λi), g ′ (λi), and b ′ (λi). Then, as shown in the following expression, tristimulus values R, G, and B are obtained in a pseudo manner (step S411).
Ri (x, y) = r ′ (λi) · V (x, y; λi),
Gi (x, y) = g ′ (λi) · V (x, y; λi),
Bi (x, y) = b ′ (λi) · V (x, y; λi).
また、疑似カラー表示が設定されておらず、トゥルーカラー表示が設定されている場合には、前述したステップS112と同様にスルー映像の各画素の輝度値V(x,y;λi)に、等色関数を乗算して、3刺激値R,G,Bを得る(ステップS412)。 Further, when the pseudo color display is not set and the true color display is set, the luminance value V (x, y; λi) of each pixel of the through video is set to the same as in step S112 described above. The tristimulus values R, G, and B are obtained by multiplying the color functions (step S412).
そして、ステップS411又はステップS412に続くステップS413では、各波長帯の分光画像の各画素のR,G,Bを順次加算して、バッファメモリ(B)81に記憶する。 In step S413 following step S411 or step S412, R, G, and B of each pixel of the spectral image in each wavelength band are sequentially added and stored in the buffer memory (B) 81.
したがって、バッファメモリ(B)81には、読み出し周期時間(Tr)毎に、各波長帯の分光画像の各画素のR,G,Bが順次加算されて更新されていく。 Therefore, in the buffer memory (B) 81, R, G, and B of each pixel of the spectral image in each wavelength band are sequentially added and updated every reading cycle time (Tr).
次に、帯域数n枚の分光画像を撮影済みか否か、つまりi≧nとなったか否かを判断する(ステップS414)。i≧nとなっていなければ、iをインクリメントして(i=i+1)、このiの値により示される次の波長帯域(λi)を選択し(ステップS415)、ステップS404からの処理を繰り返す。したがって、ステップS404〜S414の処理は、n回繰り返される。 Next, it is determined whether or not spectral images having n bands have been captured, that is, whether or not i ≧ n is satisfied (step S414). If i ≧ n is not satisfied, i is incremented (i = i + 1), the next wavelength band (λi) indicated by the value of i is selected (step S415), and the processing from step S404 is repeated. Accordingly, the processes of steps S404 to S414 are repeated n times.
そして、ステップS414の判断がYESになると、被写体枠(k)の分光特性データ列Vo(k;λi)(k=1〜L、i=1〜n)を出力する(ステップS416)。また、RGB変換されたスルー映像信号を表示部85に出力する(ステップS417)。次に、分光特性の表示機能がオンとなっているか否かを判断する(ステップS418)。オンとなっている場合には、分光特性データ列Vo(k;λi)に基づいて、分光特性グラフを、OSD(on−screen display)レイヤーに描画し(ステップS419)、スルー映像の被写体像に重ねて、OSDレイヤーの分光特性グラフを重畳(又は合成)表示する(ステップS420)。 If the determination in step S414 is YES, the spectral characteristic data string Vo (k; λi) (k = 1 to L, i = 1 to n) of the subject frame (k) is output (step S416). In addition, the RGB video-converted through video signal is output to the display unit 85 (step S417). Next, it is determined whether or not the spectral characteristic display function is on (step S418). If it is on, a spectral characteristic graph is drawn on the OSD (on-screen display) layer based on the spectral characteristic data string Vo (k; λi) (step S419), and the subject image of the through video is displayed. The spectral characteristic graph of the OSD layer is superimposed (or synthesized) and displayed (step S420).
したがって、このステップS420での処理により、図15に示すように、表示部85には被写体のスルー映像851の一部に分光特性グラフ852が表示される。よって、ユーザーがこの分光特性グラフ852を視認することにより、撮影しようとしている被写体の分光特性を知ることができる。
Therefore, as a result of the processing in step S420, as shown in FIG. 15, a spectral
また、材質の判別及び表示機能がオンに設定されているか否かを判断する(ステップS421)。オンに設定されている場合には、被写体枠(k)の分光特性データ列Vo(k;λi)に基づいて、被写体枠(k)内の材質や被写体の種類を判別する(ステップS422)。なお、このステップS422の処理内容については、後述する。 Further, it is determined whether or not the material discrimination and display function is set to ON (step S421). If it is set to ON, the material in the subject frame (k) and the type of subject are determined based on the spectral characteristic data string Vo (k; λi) of the subject frame (k) (step S422). The processing content of step S422 will be described later.
次に、スルー映像の被写体像に重ねて、判別した材質や被写体の種類を重畳(又は合成)表示する(ステップS423)。したがって、このステップS423での処理により、図15に示すように、表示部85に複数の被写体枠853に各々対応して「髪/Hair」、「肌/Skin」等の判別した材質や被写体の種類の表示854がなされる。よって、ユーザーがこの判別した材質や被写体の種類の表示854を視認することにより、被写体の材質や種類に応じて構図を変更したり、撮影条件を手動設定することができる。
Next, the determined material and the type of the subject are superimposed (or synthesized) and displayed on the subject image of the through video (step S423). Accordingly, as a result of the processing in step S423, as shown in FIG. 15, the
次に、前記ステップS422で実行される被写体の材質や種類の判別について説明する。 Next, the determination of the material and type of the subject executed in step S422 will be described.
(1)参照群の分光特性の設定範囲と比較
長帯域における当該被写体の分光反射率が、いずれも参照群の下限〜上限の範囲内にあるか否か評価する。例えば、前記図8(a)に示す人間の肌の分光反射率特性をプログラムメモリ23に記憶しておき、被写体枠(k)の分光特性データ列Vo(k;λi)(k=1〜L、i=1〜n)が分光反射率の上限と下限の範囲内であれば、人の肌と判断する。これにより、迅速かつ精度よく人の肌を判断することができる。
(1) Comparison with reference group spectral characteristic setting range It is evaluated whether or not the spectral reflectance of the subject in the long band is within the lower limit to the upper limit of the reference group. For example, the spectral reflectance characteristics of human skin shown in FIG. 8A are stored in the
(2)参照群との類似度/相関係数
被写体の分光特性データ(分光特性データ列Vo(k;λi)(k=1〜L、i=1〜n)と、予めプログラムメモリ23に記憶させておいた複数の参照群の分光特性データとの類似度(又は相関係数)を順次算出して、最も類似度や相関の高かった参照群を、当該被写体や材質の種類と判別する。例えば、前記図9及び図10は、各種素材における分光反射率の例であり、これをプログラムメモリ23に記憶させておく。
(2) Similarity / correlation coefficient with reference group Spectral characteristic data of the subject (spectral characteristic data string Vo (k; λi) (k = 1 to L, i = 1 to n) and stored in the
図9(a)は、地表における(1)草原、(2)松林などの森林、(3)砂地、(4)泥水や河川湖沼の水、・・・などの各分光反射率特性の例で、被写体の分光分布と参照群の分光分布とを比較して、例えば、波長700〜750nmあたりから反射率に急な立上り領域(リモートセンシングでは「レッドエッジ」と呼ばれる)があれば、遠くの小さな被写体でも、植物や植生であると推定できるなど、被写体や素材、材質、植生の種類などを判別できる。あるいは、人工衛星からのリモートセンシング等で用いられる、次式のNDVI(Normalized Difference vegetation lndex、正規化植生指数)などの植生指数、若しくは、近赤外帯域の分光映像信号と赤色帯域の分光映像信号の差など、帯域別の分光輝度の差や比などを計算して、植生や素材を判別するようにしてもよい。 Fig.9 (a) is an example of each spectral reflectance characteristic such as (1) grassland, (2) forest such as pine forest, (3) sandy land, (4) muddy water, river lake water, etc. on the ground surface. If the spectral distribution of the subject and the spectral distribution of the reference group are compared, for example, if there is a sharp rising region (called “red edge” in remote sensing) from around 700 to 750 nm in wavelength, the distance is small The subject, the material, the material, the type of vegetation, and the like can be discriminated, for example, the subject can be estimated as a plant or vegetation. Alternatively, a vegetation index such as NDVI (Normalized Difference vegetation index) of the following formula used for remote sensing from an artificial satellite, or a spectral image signal in the near infrared band and a red band spectral image signal A difference or ratio of spectral luminance for each band such as a difference between the vegetation and the material may be determined.
また、9図(b)は、市街地における建造物や地面などの材質による分光反射率特性、すなわち、(1)壁面(白色塗装)、(2)壁面(RCコンクリート打ち放し)、(3)壁面(灰色タイル)、(4)壁面(灰色石材)、(5)地面(濃灰色タイル)、(6)壁面(レンガタイル)、(7)壁面(スチールパネル)、(8)壁面(アルミパネル)、(9)地面(黒色石材)、・・・などの分光反射率を示す。このような分光特性の参照群と比較することで、最も類似するパターンや相関の高い参照群の材質が、当該被写体の材質であると推定判別できる。 Fig. 9 (b) shows spectral reflectance characteristics depending on materials such as buildings and the ground in an urban area, that is, (1) wall surface (white paint), (2) wall surface (RC concrete exposed), (3) wall surface ( Gray tile), (4) wall surface (gray stone), (5) ground surface (dark gray tile), (6) wall surface (brick tile), (7) wall surface (steel panel), (8) wall surface (aluminum panel), (9) The spectral reflectance of the ground (black stone material),. By comparing with the reference group having such spectral characteristics, it is possible to estimate and determine that the material of the reference group having the most similar pattern or the highest correlation is the material of the subject.
図10(a)は、各種フルーツの分光反射率の例で、図10((b)は、ほぼ同じ「赤色」に見えるりんごと、パプリカ、トマトの分光反射率の比較である。RGBなど3原色では区別が難しいが、600〜650nm近辺における分光反射率の凹みの大きさ等から、このような類似色でも明確に識別できる。 Fig. 10 (a) is an example of spectral reflectances of various fruits, and Fig. 10 (b) is a comparison of spectral reflectances of apples, paprika and tomatoes that look almost the same "red". Although it is difficult to distinguish with the primary colors, such similar colors can be clearly identified from the size of the recesses in the spectral reflectance around 600 to 650 nm.
(3)最小二乗法
被写体の分光特性と参照群の分光特性との二乗誤差(誤差の二乗和)を算出して、違い(差の二乗誤差)の大きさで判別する。
(3) Least square method A square error (sum of squares of error) between the spectral characteristics of the subject and the spectral characteristics of the reference group is calculated and discriminated based on the magnitude of the difference (square error of the difference).
(4)共分散行列パターンの比較
n帯域の被写体の分光特性の共分散行列をの類似度や相関などを算出して、シーン識別することができる。例えば、図16は(a)絵の具、(b)人の肌、(C)花の各シーンにおける分光反射率(分光反射率の集合)と、分光反射率集合の共分散行列、主成分ベクトルの例である。図16の各シーンでは、異なる分光反射率の被写体が混在したり、異なるシーンでも類似する被写体が含まれたりするが、分光反射率集合の共分散行列パターンを見ると、シーン毎の特徴で区別できる場合が多いので、シーンの識別に利用できる。
(4) Comparison of Covariance Matrix Patterns The scenes can be identified by calculating the similarity and correlation of the covariance matrix of the spectral characteristics of the subject in the n band. For example, FIG. 16 shows (a) paint, (b) human skin, and (C) spectral reflectance (a set of spectral reflectances) in each scene, a covariance matrix of the spectral reflectance set, and principal component vectors. It is an example. In each scene of FIG. 16, subjects having different spectral reflectances are mixed, or similar subjects are included in different scenes. However, when the covariance matrix pattern of the spectral reflectance set is viewed, it is distinguished by the feature of each scene. In many cases, it can be used for scene identification.
(5)主成分分析法
シーンの分光反射率特性から、その共分散行列や相関行列などを用いて、主成分ベクトルを求め、参照群の主成分ベクトルと比較して類似度や相関を評価する。また、被写体の分光特性を図16のような各シーンの参照群の主成分ベクトルの合成で近似し、第1〜3次の)主成分による累積寄与率を算出して、累積寄与率の割合が大きい参照群が、当該被写体のシーンであろうと推定できる。
(5) Principal component analysis method The principal component vector is obtained from the spectral reflectance characteristics of the scene using its covariance matrix and correlation matrix, and the similarity and correlation are evaluated by comparing with the principal component vector of the reference group. . Further, the spectral characteristics of the subject are approximated by the synthesis of the principal component vectors of the reference group of each scene as shown in FIG. It can be estimated that the reference group having a large is the scene of the subject.
(6)分光放射率
図17は、「太陽光+天空光」の混合と見なせる日向と日陰の分光分布の例を示す。これをプログラムメモリ23に記憶させておくことにより、日向と日陰の分光分布から、太陽光と天空光の分光放射特性を推定算出できる。
・日向の分光分布:Csun(λ)=R(λ)(Esky(λ)+Esun(λ))、
・日陰の分光分布:Cshade(λ)=R(λ)Esky(λ)、とすると、
・天空光の分光放射特性:Esky(λ)=Esun(λ)・Cshade(λ)/{Csun(λ)−Cshade(λ)}
(6) Spectral Emissivity FIG. 17 shows an example of the spectral distribution of the sun and shade that can be regarded as a mixture of “sunlight + skylight”. By storing this in the
・ Hyuga's spectral distribution: Csun (λ) = R (λ) (Esky (λ) + Esun (λ)),
・ Shade spectral distribution: Cshade (λ) = R (λ) Esky (λ)
Spectral radiation characteristics of skylight: Esky (λ) = Esun (λ) Cshade (λ) / {Csun (λ) −Cshade (λ)}
また、図18に、各種の光源の分光放射率特性の例を示す。分光反射率の代りに、このような分光分布や分光放射率から、例えば、日向の領域、日陰の領域、天空(空)の領域などを識別したり、朝日、夕日、逆光などのシーンを識別するようにしてもよい。 FIG. 18 shows examples of spectral emissivity characteristics of various light sources. Instead of spectral reflectance, for example, identify areas of the sun, shade, sky (sky), and scenes such as the sun, sunset, and backlight from the spectral distribution and spectral emissivity. You may make it do.
また、図19に、各種劣化や退色による分光反射率の例として、(a)温州ミカンの分光反射率と熟成度、(b)豚肉の分光反射率と鮮度、(c)黄檗(きはだ)染色布の退色変化、(d)イチョウの枯葉の分光反射率を示す。 In addition, FIG. 19 shows examples of spectral reflectance due to various deteriorations and fading: (a) Spectral reflectance and ripening degree of Satsuma mandarin; (b) Spectral reflectance and freshness of pork; (1) Fading change of dyed cloth, (d) Spectral reflectance of ginkgo biloba leaves.
したがって、(a)温州ミカンの分光反射率と熟成度データをプログラムメモリ23に記憶させておくことにより、ステップS422の処理で温州ミカンの熟成度を表示部85に表示させることができる。また、(b)豚肉の分光反射率と鮮度データをプログラムメモリ23に記憶させておくことにより、ステップS422の処理で豚肉の鮮度を表示部85に表示させることができる。また、(c)黄檗(きはだ)染色布の退色変化データをプログラムメモリ23に記憶させておくことにより、ステップS422の処理で豚肉の黄檗(きはだ)染色布の退色変化を表示部85に表示させることができ、(d)イチョウの枯葉の分光反射率データをプログラムメモリ23に記憶させておくことにより、ステップS422の処理でイチョウの枯葉状態を表示部85に表示させることができる。
以上の方法により、当該被写体枠の分光特性と類似度や相関、評価値が高い参照群を、当該被写体やその材質の種類、あるいは、撮影シーンであると、推定や判別ができる。なお、分光特性に基づき参照群と比較する方法であれば、他の評価方法を用いてもよい。
Therefore, by storing (a) spectral reflectance and ripening degree data of Satsuma mandarin in the
According to the above method, it is possible to estimate and discriminate that the reference group having a high similarity, correlation, and evaluation value with the spectral characteristics of the subject frame is the subject, the material type, or the shooting scene. It should be noted that other evaluation methods may be used as long as the method is compared with the reference group based on the spectral characteristics.
次に、類似度の関数、共分散行列や主成分分析(PCA)について説明する。
(1)類似度(Similarity)、非類似度
2つの関数f(x)とg(x)の類似度や、画像f(x,y)と参照画像g(x,y)の類似度を求めるには、差の二乗和(残差の平方和、二乗誤差)が用いられる。
Next, the similarity function, covariance matrix, and principal component analysis (PCA) will be described.
(1) Similarity (Similarity), Dissimilarity The similarity between two functions f (x) and g (x) and the similarity between an image f (x, y) and a reference image g (x, y) are obtained. Is the sum of squares of the differences (residual sum of squares, square error).
差の二乗和S=∫[f(x)−g(x)2dx、あるいは、
S=∫[{f(x)−f〜}−{(x)−g〜}]2dx・・・(A1)
Sum of squared differences S = ∫ [f (x) −g (x) 2 dx, or
S = ∫ [{f (x ) -f ~} - {(x) -g ~}] 2 dx ··· (A1)
なお、残差の二乗和の場合は、小さいほど類似しているので、正確には「非類似度」という。撮影光学系の分光透過率、被写体の分光反射率、光源の分光放射率、撮像素子の分光撮像感度など、各波長帯域(λ)毎の分光特性を示すf(λ)と参照群のg(λ)との類似度についても、xを波長λに、dxをdλにそれぞれ置き換えれば、同様である(以下も、同様)。 In addition, in the case of the sum of squares of the residuals, the smaller the similarity, the more similar it is, so it is precisely called “dissimilarity”. F (λ) indicating spectral characteristics for each wavelength band (λ) such as spectral transmittance of the photographing optical system, spectral reflectance of the subject, spectral emissivity of the light source, spectral imaging sensitivity of the image sensor, and g ( Similarity to λ) is the same if x is replaced with wavelength λ and dx is replaced with dλ (the same applies to the following).
(2)内積(hmer Product)、相関係数(Correlation Coefficient)
上式を展開すると、
S=∫f2(x)dx+∫g2(x)dx−2∫f(x)g(x)dk・・・(A2)
もし、∫f2(x)dxと∫g2(x)dxが一定ならば、∫f(x)g(x)dxが大きいほど、f(x)とg(x)が一致することになるので、次式の内積(lnner Product)も、マッチングの尺度として使用できる。
内積S’=∫f(x)g(x)dx・・・(A3)
これを、大きさで正規化すると、次式の相関係数(Correlation Coefficieut)が得られる。
相関係数R=∫f(x)(x)dx/[√{∫f2(x)dx}・√{∫g2(x)dx}]・・・(A4)
(2) Inner product (hmer Product), correlation coefficient (Correlation Coefficient)
Expanding the above formula,
S = ∫f 2 (x) dx + ∫g 2 (x) dx−2∫f (x) g (x) dk (A2)
If ∫f 2 (x) dx and ∫g 2 (x) dx are constant, f (x) and g (x) match as ∫f (x) g (x) dx increases. Therefore, the inner product (lnner Product) of the following equation can also be used as a measure of matching.
Inner product S ′ = ∫f (x) g (x) dx (A3)
When this is normalized by the magnitude, the correlation coefficient (Correlation Coefficient) of the following equation is obtained.
Correlation coefficient R = ∫f (x) (x) dx / [√ {∫f 2 (x) dx} · √ {∫g 2 (x) dx}] (A4)
(3)分散、標準偏差
一般に、n個のサンプルに対して、平均値、分散、標準偏差、変動係数は、それぞれ、次式で表される。
平均値μσ=X〜=(1/n)・ΣkXk (Σkは、Σk=1〜nを表す。以下同様)
分散 σ2=(1/n)・Σk(Xk−X〜)2
標準偏差(7=√σ2}=√{(1/n)・Σk(Xk−X〜)2}
変動係数Cv=σ/X〜
(3) Variance and standard deviation Generally, for n samples, the average value, variance, standard deviation, and variation coefficient are respectively expressed by the following equations.
Average μσ = X ~ = (1 / n) · Σ k X k (Σ k represents the sigma k = 1 to n. Hereinafter the same)
Variance σ 2 = (1 / n) · Σ k (X k −X ˜ ) 2
The standard deviation (7 = √σ 2} = √ {(1 / n) · Σ k (X k -X ~) 2}
The coefficient of variation Cv = σ / X ~
(4)共分散と相関係数
2個の変数X,Yに対し、共分散、相関係数を次式で定義できる。
共分散 C(x,Y)=σXY=(1/n)・Σk(Xk−X〜)・(Yk−Y〜)・・・(A5)
相関係数R(X,Y)=ρXY=C(X,Y)/{σ(X)σ(Y)}
=Σk(Xk−X〜)・(Yk−Y〜)/[√{Σk(Xk−X〜)2}・√{Σk(Yk−Y〜)2}]・・・(A6)
R(X,Y)は、−1≦R(X,Y)≦1の値となる。
(4) Covariance and correlation coefficient For the two variables X and Y, the covariance and correlation coefficient can be defined by the following equations.
Covariance C (x, Y) = σ XY = (1 / n) · Σ k (X k -X ~) · (Y k -Y ~) ··· (A5)
Correlation coefficient R (X, Y) = ρ XY = C (X, Y) / {σ (X) σ (Y)}
= Σ k (X k -X ~ ) · (Y k -Y ~) / [√ {Σ k (X k -X ~) 2} · √ {Σ k (Y k -Y ~) 2}] ··・ (A6)
R (X, Y) has a value of −1 ≦ R (X, Y) ≦ 1.
(5)主成分分析
主成分分析(PCA、Principal Component Analysis)は、多変量解析の手法の一つで、多くの変数のデータをできるだけ情報の損失なしに少数個(m個)の総合的指標(主成分)で表現する手法である。P次元のデータを、m次元のデータに縮約するという意味で、次元圧縮に用いることもできる。主成分分析では、データの変数間の共分散行列または相関行列を用いて、この行列の固有値問題を解き、固有値の大きい方から第一主成分、第二主成分、・・・と主成分を求めていく。これにより、相関係数を最大化するような少数の合成変数を主成分として取り出す。主成分得点(スコア)は、元のデータをこの次元で表現したものである。
(5) Principal component analysis Principal component analysis (PCA) is one of the methods of multivariate analysis, and it is a comprehensive index of a small number (m) of data of many variables without loss of information as much as possible. It is a technique expressed in (principal component). P-dimensional data can also be used for dimensional compression in the sense that it is reduced to m-dimensional data. Principal component analysis solves the eigenvalue problem of this matrix using the covariance matrix or correlation matrix between the variables of the data, and calculates the first principal component, the second principal component, ... I will ask. As a result, a small number of synthetic variables that maximize the correlation coefficient are extracted as principal components. The principal component score (score) represents the original data in this dimension.
(6)主成分の求め方
通常、主成分を求めるには、例えば、多数の標本データの重心を通る直
線を引く場合を考えると、この直線は適当な重みaiをつけ、
合成変数Z=a1・x1+a2・x2a2・・・+xnan ・・・・(A8)
となるZを考えればよいが、各点から直線への距離が最小になるように直線を引く必要がある。このようにするには、
a1+a2+・・・+an=1 ・・・(A9)
の条件下で合成変数Zの分散が最大になるようにすればよい。
(6) How to find the principal component Usually, in order to find the principal component, for example, considering the case of drawing a straight line passing through the center of gravity of a large number of sample data, this straight line is given an appropriate weight a i ,
Composite variable Z = a 1 · x 1 + a 2 · x 2 a 2 ... + X n a n ... (A8)
However, it is necessary to draw a straight line so that the distance from each point to the straight line is minimized. To do this,
a 1 + a 2 +... + a n = 1 (A9)
The variance of the composite variable Z may be maximized under the conditions of
得られる合成変数Zのうち、分散が最大のものを第1主成分、その次に分散が大きく第1主成分とは無相関のものを2主成分、・・・、第P主成分、・・・という。変量がn個あれば、n個の主成分まで求めることができるが、一般には全てを求める必要はない。各主成分の固有値をΛp(ラムダ)とすると、各主成分の寄与率は、寄与率=Λp/ΣiΛiとなるが、第1主成分から当該主成分まで、寄与率を順に加えた累積寄与率が、60%以上になるまで主成分を求める等して、省略することができる。主成分得点(スコア)の分散Qを最大にするa1・a2を求めるには、いわゆる、「ラグランジュの未定乗数法」(又は、未定係数法、Lagrange −Multiplier Method)を用いるか、又は、分散共分散行列か、相関行列などを用いて求めることができる。 Among the obtained composite variables Z, the one with the largest variance is the first principal component, the second variance is the second principal component with the largest variance and is uncorrelated with the first principal component,. ···. If there are n variables, it is possible to obtain up to n principal components, but generally it is not necessary to obtain all of them. When the eigenvalue of each principal component is Λp (lambda), the contribution rate of each principal component is contribution rate = Λp / ΣiΛi, but the cumulative contribution rate is obtained by sequentially adding the contribution rate from the first principal component to the principal component. However, it can be omitted by obtaining the main component until it becomes 60% or more. In order to obtain a 1 · a 2 that maximizes the variance Q of the principal component score (score), the so-called “Lagrange's undetermined multiplier method” (or undetermined coefficient method, Lagrange-Multiplier Method) is used, or It can be obtained using a variance-covariance matrix or a correlation matrix.
(6−1)分散共分散行列から主成分を求める
変量が2個の時で、分散共分散行列から主成分を求める例を、以下に説明すると、標本データの分散共分散行列Cを、
|S11 S12|
C=|S21 S22| とすると、
CU=ΛU(Λ:実数) ・・・ (A10)
を満たす時、Λ(ラムダ)をCの固有値、UをΛに属する固有ベクトルという。
(6-1) Obtaining the principal component from the variance-covariance matrix An example of obtaining the principal component from the variance-covariance matrix when there are two variables is described below. The variance-covariance matrix C of the sample data is
| S 11 S 12 |
When C = | S 21 S 22 |
CU = ΛU (Λ: real number) (A10)
Is satisfied, Λ (lambda) is called the eigenvalue of C, and U is called the eigenvector belonging to Λ.
固有値Λは、主成分得点(スコア)の分散に一致する。
|a1|
U=|a2|とするとき、|C−ΛI|=O (I:単位行列) ・・・ (A11)
を固有方程式という。 この固有方程式から固有値Λを求める。
|C−Λ| I=0 ・・・ (A12)
|S11 S12| |10|
|S21 S22|−Λ・|01|=0 ・・・ (A13)
|S11−Λ S12 |
|S21 S22−Λ|=0 ・・・ (A14)
(S11−Λ)・(S22−Λ)−S12 2=0 ・・・ (A15)
となり、これから、固有値Λが求まる。
Λ=[(S11+S22)±√{(S11+S12)2−4・(S11S22−S12 2)}]/2 ・・・(A16)
The eigenvalue Λ matches the variance of the principal component score (score).
| A 1 |
When U = | a 2 |, | C−ΛI | = O (I: unit matrix) (A11)
Is called an eigen equation. The eigenvalue Λ is obtained from this eigen equation.
| C-Λ | I = 0 (A12)
| S 11 S 12 | | 10 |
| S 21 S 22 | −Λ · | 01 | = 0 (A13)
| S 11 −Λ S 12 |
| S 21 S 22 −Λ | = 0 (A14)
(S 11 -Λ) · (S 22 -Λ) -S 12 2 = 0 (A15)
From this, the eigenvalue Λ is obtained.
Λ = [(S 11 + S 22 ) ± √ {(S 11 + S 12 ) 2 −4 · (S 11 S 22 −S 12 2 )}] / 2 (A16)
第1主成分としては、大きい方のΛ値を採用する。
次に、固有ベクトルU=|a1|を求める。
|a2|
|S11 S12| |a1| |a1|
|S21 S22|・|a2|=Λ・0|a2| ・・・ (A17)
|S11・a1+S12・a2=Λ・a1
|S12・a1+S22・a2=Λ・a2
|a1 2+a2 2=1
よって、
a1=±S12/√{(S12)+(Λ−S11)}
a2=±(Λ−S11/√{(S12)+(Λ−S11)}2 ・・・・(A19)
第1主成分の式は、Z1=a1・x1+a2・x2 であるが、
原点を0からデータの重心(x1,x2)に移動すると、
Z1=a1・(x1−x〜)+a2・(x2−x〜) ・・・ (A20)
この式を用いて主成分得点(スコア)を求めることができる。
変量がP個ある場合も、同様に、
CU=ΛU(Λ:実数)、|C−ΛI|=0の固有方程式を解いて固有値Λを得て、
固有値ΛをΛ1≧Λ2≧・・・≧ΛP≧0とすると、
固有値の大きい方から順に、第1主成分、第2主成分、・・・、第p主成分となるので、
各Λ1に属する固有ベクトルUを求めると、同様に、各主成分の係数を得ることができる。
最大の固有値Λ1から、第1主成分が得られ、Λ1に属する固有ベクトルaiを求めて、第1主成分の式が求められる。
(第1主成分の式): Z=a1・x1+a2・x2+・・・ap・xp+a0 ・・・(A21)
The larger Λ value is adopted as the first principal component.
Next, the eigenvector U = | a 1 | is obtained.
| A 2 |
| S 11 S 12 | | a 1 | | a 1 |
| S 21 S 22 | · | a 2 | = Λ · 0 | a 2 | (A17)
| S 11 · a 1 + S 12 · a 2 = Λ · a 1
| S 12 · a 1 + S 22 · a 2 = Λ · a 2
| A 1 2 + a 2 2 = 1
Therefore,
a 1 = ± S 12 / √ {(S 12 ) + (Λ−S 11 )}
a 2 = ± (Λ−S 11 / √ {(S 12 ) + (Λ−S 11 )} 2 ... (A19)
The formula of the first principal component is Z 1 = a 1 · x 1 + a 2 · x 2 ,
When the origin is moved from 0 to the center of gravity (x 1 , x 2 ) of the data,
Z 1 = a 1 · (x 1 -x ~) + a 2 · (x 2 -x ~) ··· (A20)
The principal component score (score) can be obtained using this equation.
Similarly, if there are P variables,
Solve the eigen equation of CU = ΛU (Λ: real number), | C−ΛI | = 0 to obtain the eigenvalue Λ,
If the eigenvalue Λ is Λ 1 ≧ Λ 2 ≧ ・ ・ ・ ≧ Λ P ≧ 0,
In order from the largest eigenvalue, the first principal component, the second principal component, ..., the pth principal component.
When the eigenvector U belonging to each Λ 1 is obtained, the coefficient of each principal component can be obtained similarly.
A first principal component is obtained from the largest eigenvalue Λ 1, and an eigenvector ai belonging to Λ 1 is obtained to obtain an expression of the first principal component.
(Formula of the first principal component): Z = a 1 · x 1 + a 2 · x 2 + ... a p · x p + a 0 (A21)
同様にして、2番目に大きい固有値Λ2から第2主成分を得ることができる。Λ2に属する固有ベクトルajを求めて、第2主成分の式が求められる。
(第2主成分の式): Z2=a1′・x1+a2′・x2+・・・xP+aP+a0′ ・・・(A22)
以下、同様にして第p主成分まで求めることができる。
Similarly, it is possible from the eigenvalues lambda 2 is the second largest obtain a second principal component. Seeking eigenvectors aj belonging to lambda 2, wherein the second principal component is obtained.
(Expression of the second principal component): Z 2 = a 1 ′ · x 1 + a 2 ′ · x 2 +... X P + a P + a 0 ′ (A22)
Hereinafter, the p-th principal component can be similarly determined.
共分散行列の代りに、相関行列から求める場合や「Lagrangeの未定乗数法」で求める場合も、同様の結果を導出できる。 Similar results can be derived when the correlation matrix is used instead of the covariance matrix or when the “Langrange undetermined multiplier method” is used.
上記では、標本群の重心を通る直線を例に説明したが、多次元多変数空間上で標本群を要約するベクトルを求める場合も、また、本例のように、分光反射率集合において主成分ベクトルを求める場合も、同様の考え方で求めることができる。 In the above description, the straight line passing through the center of gravity of the sample group has been described as an example. However, when obtaining a vector summarizing the sample group in a multidimensional multivariable space, the principal component in the spectral reflectance set as in this example is also used. When obtaining a vector, it can be obtained in the same way.
(6−2)分光反射率集合における主成分ベクトルについて
参照群の分光反射率を、多変数r=[rl,r2 ・・・rL]tとすると、
分光反射率集合の平均ベクトル、及び共分散行列は、
平均ベクトルr〜=(1/n)・Σi・ri ・・・(A23)
共分散行列Crr= 集合平均<(r−r〜)・(r−r〜)T={1/(n−1}・Σ・(r−r〜)・(r−r〜)T ・・・ (A24)
(6-2) Principal Component Vector in Spectral Reflectance Set When the spectral reflectance of the reference group is multivariable r = [rl, r2... RL] t ,
The mean vector of the spectral reflectance set and the covariance matrix are
The average vector r ~ = (1 / n) · Σ i · r i ··· (A23)
Covariance matrix Crr = ensemble average <(r-r ~) · (r-r ~) T = {1 / (n-1} · Σ · (r-r ~) · (r-r ~) T ··・ (A24)
例えば、図18(a−2)〜(c−2)では、波長400〜700nmの帯域で、10nm間隔の31個(31次元)の狭帯域毎の分光放射率について、共分散行列を取ったものだが、図から分かるように、共分散行列の性質から対称行列となっているが、いずれも、対角成分だけでなく、非対角成分でも比較的大きな値となり、近い波長同士でも高い相関を持づている。このため、主成分分析の手法により、少ないパラメータに圧縮しても分光反射率を正確に記述することが可能である。 For example, in FIGS. 18 (a-2) to (c-2), a covariance matrix is taken for the spectral emissivities of 31 (31 dimensions) narrow bands at 10 nm intervals in the wavelength range of 400 to 700 nm. However, as can be seen from the figure, it is a symmetric matrix due to the nature of the covariance matrix, but both have relatively large values not only for the diagonal component but also for the non-diagonal component, and high correlations between close wavelengths. Have. For this reason, the spectral reflectance can be accurately described by the principal component analysis method even if it is compressed to a small number of parameters.
主成分分析は、互いに無相関な少数個の変数に要約するのが目的であるから、得られる新しい変数の共分散行列は対角行列となる。 つまり、元の変数の共分散行列を対角化するような直行変換行列を求めればよい。
上記のr=[rl,r2 ・・・rL]tを、互いに無関係な少数個の変数に換するための正規直交基底ベクトルをUI,U2,・・・,ULとすると、この2つの基底ベクトルを用いる座標変換は、
座標変換a=UT(r−r〜) ・・・(A25)
ただし、U=[u1,u2,・・・,uL]
無相関化によって、a=[al,a2 ・・・,aL]Tの共分散行列は対角化されるとすると、
|σ1 2 |
| σ2 2 |
共分散行列Caa=<a・aT>=| ・ | ・・・(A26)
| ・ |
| ・ |
|0 σL 2|
Since the principal component analysis is intended to summarize a small number of variables uncorrelated with each other, the covariance matrix of the obtained new variable is a diagonal matrix. That is, an orthogonal transformation matrix that diagonalizes the covariance matrix of the original variable may be obtained.
If the orthonormal basis vectors for converting the above r = [rl, r2... RL] t into a small number of variables unrelated to each other are represented by UI, U2,. The coordinate transformation using
Coordinate transformation a = U T (r-r ~) ··· (A25)
However, U = [u1, u2,..., UL]
If the covariance matrix of a = [al, a2..., AL] T is diagonalized by decorrelation,
| Σ 1 2 |
| Σ 2 2 |
Covariance matrix Caa = <a · a T> = | · | ··· (A26)
| ・ |
| ・ |
| 0 σ L 2 |
元の変数rの共分散行列Crrと、新しい変数aの共分散行列Caaとの関係は、
Caa=<UT(r−r〜)・(UT(r−r〜))T>=UT<(r−r〜)・(r−r〜))TU=UTCrrU ・・・(A27)
The relationship between the covariance matrix Crr of the original variable r and the covariance matrix Caa of the new variable a is
Caa = <U T (r- r ~) · (U T (r-r ~)) T> = U T <(r-r ~) · (r-r ~)) T U = U T CrrU ··・ (A27)
これは、元の変数rの共分散行列Crrに対する対角化に相当し、固有値問題に他ならない。つまり、ul u2,・・・,uLは行列Crrの固有ベクトル、σ1 2,σ2 2・・・,σL 2は各固有ベクトルに対応した固有値として求められる。固有値σ1 2,σ2 2・・・,σL 2は、対角化されたデータの各変数の分散に相当する。前述の例と同様に、この固有値問題を解いた後、固有値Λ1すなわち分散σi 2の大きな順に並べ替えて、第1次から、第2次、・・・と順に主成分ベクトルを求めることができる。 This corresponds to diagonalization of the original variable r with respect to the covariance matrix Crr, and is nothing but an eigenvalue problem. That is, ul u2,..., UL are obtained as eigenvectors of the matrix Crr, and σ 1 2 , σ 2 2 ..., Σ L 2 are obtained as eigenvalues corresponding to the eigenvectors. The eigenvalues σ 1 2 , σ 2 2 ..., Σ L 2 correspond to the variance of each variable of the diagonalized data. As in the previous example, after solving this eigenvalue problem, the eigenvalues Λ 1, that is, the variance σ i 2 are rearranged in descending order, and the principal component vectors are obtained in order from the first order to the second order,. Can do.
図20は、本発明の他の実施の形態における被写体像の特徴抽出による被写体追従AF処理の処理手順を示すフローチャートである。すなわち、表示部85に被写体像を表示させるとともにフォーカス枠を表示させる(ステップS501)。次に、前記フォーカス枠の周辺を特徴抽出領域として、撮像信号からフォーカス枠周辺の画像信号を取り込む(ステップS502)。引き続き、撮影シーン又は被写体の種別を選択する(ステップS503)。
FIG. 20 is a flowchart showing the processing procedure of subject tracking AF processing by subject image feature extraction according to another embodiment of the present invention. That is, the subject image is displayed on the
このステップS503の処理に際しては、図21(A)に示すように、表示部85に「人物」「ペット」「車」・・・等の被写体の種類855を表示させるとともに、カーソル856を表示させ、ユーザーによる操作入力部22でのカーソル856の移動操作と、決定操作と応じて被写体の種類855からいずれかを選択することにより行う。
In the process of step S503, as shown in FIG. 21A, the
次に、識別方法をマニュアルで選択するか否かを判断する(ステップS504)。ユーザーによる操作入力部22での操作によりマニュアルで選択するが決定された場合には、操作に応じて、特徴量の種別、抽出方法等を選択する(ステップS505)。このステップS505での処理に際しては、図21(A)に示すように、表示部85に「階調」「色・柄」「輪郭」・・・等の特徴量の種別、抽出方法等857を表示させるとともに、カーソル856を表示させ、ユーザーによる操作入力部22でのカーソル856の移動操作と、決定操作と応じて特徴量の種別、抽出方法等857からいずれかを選択することにより行う。また、ステップS504での判断の結果、マニュアルで選択するが決定されなかった場合には、撮影シーン、被写体の種別に応じて、抽出する特徴量を自動選択する。
Next, it is determined whether or not the identification method is selected manually (step S504). If it is determined that the user manually selects the
次に、前記ステップS505又はS506で選択された特徴量の抽出処理を実行する(ステップS507)。すなわち、図21(C)にも示すように、選択に応じて輝度、色差、階調の濃淡パターンを抽出し(ステップS508)、特定の色相、彩度等を抽出し(ステップS509)、特定の材質、分光反射率特性などを抽出する(ステップS510)。そして、この抽出した特徴データを被写体の特徴データとしてデータメモリ24に記憶する(ステップS511)。
Next, the extraction process of the feature amount selected in step S505 or S506 is executed (step S507). That is, as shown in FIG. 21C, luminance, color difference, and gradation pattern are extracted according to selection (step S508), specific hue, saturation, etc. are extracted (step S509) and specified. The material, spectral reflectance characteristics, etc. are extracted (step S510). The extracted feature data is stored in the
引き続き、ステップS507〜S510での処理と同様の特徴抽出処理により、フォーカス枠内の被写体の特徴を抽出する(ステップS512)。そして、このステップS512で抽出した被写体の特徴と、前記ステップS511で記憶したフォーカス枠周囲の特徴抽出領域における特徴とを比較しながら、特徴抽出領域において目標被写体を検索する(ステップS513)。 Subsequently, the feature of the subject in the focus frame is extracted by the feature extraction process similar to the process in steps S507 to S510 (step S512). Then, the target subject is searched in the feature extraction region while comparing the feature of the subject extracted in step S512 with the feature in the feature extraction region around the focus frame stored in step S511 (step S513).
また、このステップS513にて被写体の検索に成功したか否かを判断する(ステップS514)。被写体の検索に成功している場合には、被写体像の移動を検出し、次回の移動位置を予測する(ステップS516)。また、この予測した次回の移動位置に基づき、被写体の移動に応じて、フォーカス枠を移動させ(ステップS517)、レリーズ釦の操作に応じて撮影処理を実行する(ステップS518)。しかし、ステップS514での判断の結果、被写体の検索が不成功であった場合には、フォーカス枠の追従処理を解除する(ステップS519)。 In step S513, it is determined whether or not the subject has been successfully searched (step S514). If the subject search is successful, the movement of the subject image is detected and the next movement position is predicted (step S516). Further, based on the predicted next movement position, the focus frame is moved according to the movement of the subject (step S517), and the photographing process is executed according to the operation of the release button (step S518). However, as a result of the determination in step S514, if the subject search is unsuccessful, the focus frame tracking process is canceled (step S519).
1 デジタルカメラ
2 制御回路
3 CPU
22 操作入力部
24 データメモリ
25 メモリカード媒体
25 画像メモリ媒体
28 プログラムメモリ
32 分光フィルタ駆動部
34 焦点レンズ駆動部
35 ズーム駆動部
36 ブレ補正駆動部
38 シャッタ駆動部
39 ストロボ
40 ストロボ駆動回路
41 LED
42 LED駆動回路
44 検出回路
58 撮像光学系
59 分光フィルタ
60 撮像素子
63 イメージセンサ部
64 水平走査部
65 垂直走査部
67 DSP部
69 前処理部
71 帯域別信号処理部
72 マルチプレーン加算回路
73 RGB変換部
74 階調変換ガンマ補正部
75 カラーマトリクス回路
76 解像度変換部
77 コントローラ
78 画像認識処理部
79 測光処理/合焦検出/分光特性抽出処理部
80 画像データバス
84 表示駆動回路
85 表示部
1
DESCRIPTION OF
42
Claims (10)
このフィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、
前記フィルタ手段の後方に配置され、該フィルタ手段が透過波長帯域を変化させる毎に撮像する撮像手段と、
この撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別手段と、
この判別手段により判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と
を備えることを特徴とする撮像装置。 Filter means for changing the transmission wavelength band of the subject light in accordance with the input drive signal;
Spectral control means for inputting a drive signal to the filter means and changing the transmission wavelength band in a plurality of stages;
An imaging unit disposed behind the filter unit and capturing an image each time the filter unit changes a transmission wavelength band;
And based on the continuous spectral information consisting of a sequence of information included in the spectral image for each transmission wavelength band which is captured by the imaging means, and discriminating means for discriminating the type of an object from among a plurality of types,
An image pickup apparatus comprising: a function realization unit that executes a process necessary for realizing a predetermined function of the image pickup apparatus according to the type of the object determined by the determination unit.
前記判別手段により判別された被写体の種別に基づいて、撮影シーンを判別する撮影シーン判別手段と、
この撮影シーン判別手段により判別された撮影シーンに応じて撮影条件を設定する設定手段と
を備えることを特徴とする請求項1記載の撮像装置。 The function realizing means is
Based on the type of an object is determined by the Determination means, a photographic scene determination means for determining a photographic scene,
The photographic scene determination imaging apparatus according to claim 1, further comprising a setting means for setting a photographing condition according to the determined photographic scene by means.
この表示手段に表示された被写体像において主要被写体を特定する特定手段と、
この特定手段により特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報を記憶した記憶手段とを備え、
前記判別手段は、前記記憶手段に記憶された前記判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別することを特徴とする請求項1又は2記載の撮像装置。 Display means for displaying a subject image picked up by the image pickup means;
Specifying means for specifying the main subject in the subject image displayed on the display means;
Storage means for storing discrimination information for discriminating the type of subject such as the type, material, material, etc. of the main subject specified by the specifying means ,
Said determining means, said said determination information stored in the storage means, based on said comparison of the continuous spectral information in the main object, claim 1 or 2, wherein the determining the type of the main subject Imaging device.
前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする請求項3記載の撮像装置。 The determination information includes state change determination information for determining a state change of a subject including deterioration, maturation, and fading with time .
Said discriminating means, the SL based on the state change determination information stored in the previous SL continuous spectral information憶means, the imaging apparatus according to claim 3, wherein the determining the state change of the Utsushitai .
このフィルタ手段の後方に配置された撮像手段とを備える撮像装置が有するコンピュータを、
前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、
前記撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別手段と、
この判別手段により判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と
して機能させることを特徴とする撮像装置制御プログラム。 Filter means for changing the transmission wavelength band of the subject light in accordance with the input drive signal;
A computer having an image pickup apparatus including an image pickup means arranged behind the filter means;
Spectral control means for inputting a drive signal to the filter means and changing the transmission wavelength band in a plurality of stages;
A discriminating unit for discriminating the type of a subject from a plurality of types based on continuous spectral information including a series of information included in a spectral image for each transmission wavelength band imaged by the imaging unit;
Function realizing means for executing processing necessary for realizing a predetermined function of the imaging apparatus according to the type of the subject determined by the determining means;
IMAGING DEVICE control program for causing the to function.
前記撮像手段により撮像された被写体像を表示手段に表示させる表示制御手段と、
この表示制御手段により表示された被写体像において主要被写体を特定する特定手段と
して更に機能させ、
前記判別手段は、
予め記憶手段に記憶されており、前記特定手段により特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別する
ことを特徴とする請求項5記載の撮像装置制御プログラム。 The computer,
Display control means for displaying on the display means a subject image picked up by the image pickup means;
Specifying means for specifying a main subject in the subject image displayed by the display control means;
To further function ,
The discrimination means includes
For comparison between discrimination information that is stored in advance in the storage means and discriminates the type of the subject such as the type, material, and material of the main subject specified by the specifying means and the continuous spectral information of the main subject. 6. The imaging apparatus control program according to claim 5 , wherein the type of the main subject is determined based on the classification .
前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする請求項6記載の撮像装置制御プログラム。 The determination information includes state change determination information for determining a state change of a subject including deterioration, maturation, and fading with time.
It said determining means, based on a state change determination information stored and the continuous spectral information in the storage means, according to claim 6, wherein the imaging apparatus control program characterized that you determine the state change of the object.
このフィルタ手段の後方に配置された撮像手段とを備える撮像装置の制御方法であって、
前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御ステップと、
前記撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別ステップと、
この判別ステップにより判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと
を含むことを特徴とする撮像装置制御方法。 Filter means for changing the transmission wavelength band of the subject light in accordance with the input drive signal;
An image pickup apparatus control method comprising an image pickup means arranged behind the filter means,
A spectral control step of inputting a drive signal to the filter means and changing the transmission wavelength band in a plurality of stages;
A determination step of determining the type of subject from a plurality of types based on continuous spectral information including a continuation of information included in a spectral image for each transmission wavelength band imaged by the imaging means;
A function realization step for executing processing necessary for realizing a predetermined function of the imaging apparatus according to the type of the subject identified in the determination step;
IMAGING DEVICE control method characterized in that it comprises a.
この表示ステップにより表示された被写体像において主要被写体を特定する特定ステップと
を更に含み、
前記判別ステップは、
予め記憶手段に記憶されており、前記特定ステップにより特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別する
ことを特徴とする請求項8記載の撮像装置制御方法。 A display step of displaying on display means a subject image captured by the pre-Symbol image pickup means,
A specifying step for specifying a main subject in the subject image displayed by the display step;
Further including
The determination step includes
For comparison between discrimination information, which is stored in advance in the storage means, and discriminating information for discriminating the subject type such as the type, material, and material of the main subject specified in the specifying step, and the continuous spectral information in the main subject. based, imaging apparatus control method according to claim 8, wherein the you identify the type of the main subject.
前記判別ステップは、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする請求項9記載の撮像装置制御方法。 The determination information includes state change determination information for determining a state change of a subject including deterioration, maturation, and fading with time.
10. The imaging apparatus control method according to claim 9 , wherein the determination step determines the state change of the subject based on the state change determination information stored in the storage unit and the continuous spectral information .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007239241A JP5056297B2 (en) | 2007-09-14 | 2007-09-14 | IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007239241A JP5056297B2 (en) | 2007-09-14 | 2007-09-14 | IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009071676A JP2009071676A (en) | 2009-04-02 |
JP2009071676A5 JP2009071676A5 (en) | 2010-10-21 |
JP5056297B2 true JP5056297B2 (en) | 2012-10-24 |
Family
ID=40607461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007239241A Expired - Fee Related JP5056297B2 (en) | 2007-09-14 | 2007-09-14 | IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5056297B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10768097B2 (en) | 2017-03-15 | 2020-09-08 | Canon Kabushiki Kaisha | Analyzer, image capturing apparatus that acquires color information, analyzing method, and storage medium |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5481140B2 (en) * | 2009-09-28 | 2014-04-23 | 株式会社日立ソリューションズ | Spectrum analyzer |
JP2011193066A (en) * | 2010-03-12 | 2011-09-29 | Sanyo Electric Co Ltd | Image sensing device |
JP2012004716A (en) * | 2010-06-15 | 2012-01-05 | Sanyo Electric Co Ltd | Imaging apparatus and electronic apparatus |
JP5750692B2 (en) * | 2011-02-03 | 2015-07-22 | オリンパス株式会社 | Imaging apparatus, imaging program, and imaging method |
JP5822157B2 (en) * | 2011-07-15 | 2015-11-24 | 国立大学法人東京工業大学 | Noise reduction apparatus, noise reduction method, and program |
JP5879509B2 (en) * | 2011-10-19 | 2016-03-08 | パナソニックIpマネジメント株式会社 | Imaging device |
CN105103537B (en) * | 2013-02-27 | 2018-11-06 | 株式会社尼康 | Image-forming component and electronic equipment |
JP6330363B2 (en) | 2014-02-26 | 2018-05-30 | セイコーエプソン株式会社 | Electronic device and control method of electronic device |
JP7234720B2 (en) * | 2019-03-19 | 2023-03-08 | 富士フイルムビジネスイノベーション株式会社 | Information processing system and program |
EP4359864A1 (en) * | 2021-06-22 | 2024-05-01 | Hewlett-Packard Development Company, L.P. | Liquid crystal tunable polarization filters for color imagers |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3343921B2 (en) * | 1991-08-06 | 2002-11-11 | ミノルタ株式会社 | Person adaptive exposure control device |
JP3930164B2 (en) * | 1998-11-05 | 2007-06-13 | 日本放送協会 | Wavelength selective LCD camera device |
JP2005142938A (en) * | 2003-11-07 | 2005-06-02 | Casio Comput Co Ltd | Electronic camera, control program |
JP2007194917A (en) * | 2006-01-19 | 2007-08-02 | Seiko Epson Corp | Setting of effect processing suitable for photographing scene of image |
JP4894278B2 (en) * | 2006-02-03 | 2012-03-14 | カシオ計算機株式会社 | Camera apparatus and camera control program |
-
2007
- 2007-09-14 JP JP2007239241A patent/JP5056297B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10768097B2 (en) | 2017-03-15 | 2020-09-08 | Canon Kabushiki Kaisha | Analyzer, image capturing apparatus that acquires color information, analyzing method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2009071676A (en) | 2009-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5056297B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD | |
JP5082648B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD | |
JP5040600B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD | |
US8462238B2 (en) | Camera design for the simultaneous capture of near-infrared and visible images | |
WO2021238843A1 (en) | Multi-spectrum image detection technique-based ambient color temperature testing method and system | |
US9060110B2 (en) | Image capture with tunable polarization and tunable spectral sensitivity | |
US8063976B2 (en) | Image pick-up apparatus and method of controlling the image pick-up apparatus | |
US8803994B2 (en) | Adaptive spatial sampling using an imaging assembly having a tunable spectral response | |
WO2017023209A1 (en) | Hyperspectral imaging apparatus and method | |
US20120213407A1 (en) | Image capture and post-capture processing | |
WO2013120956A1 (en) | Method and device for measuring the colour of an object | |
US20090141974A1 (en) | Image processing apparatus and method, and program | |
US8836808B2 (en) | Adaptive color imaging by using an imaging assembly with tunable spectral sensitivities | |
US20190058837A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
US20120127301A1 (en) | Adaptive spectral imaging by using an imaging assembly with tunable spectral sensitivities | |
JP2009290694A (en) | Imaging device | |
US9432642B2 (en) | Imaging system and method having extended depth of field | |
US8654210B2 (en) | Adaptive color imaging | |
Trumpy et al. | A multispectral design for a new generation of film scanners | |
KR20150128002A (en) | An Acquisition apparatus and method of Iris image in outdoors and/or indoors | |
WO2018136732A1 (en) | Multiple band multiple polarizer optical device | |
US20120212636A1 (en) | Image capture and post-capture processing | |
JP5040628B2 (en) | Imaging apparatus, printing system, imaging apparatus control program, and imaging apparatus control method | |
CN212228729U (en) | Imaging system | |
EP2805514B1 (en) | Apparatus for ambient light spectrum detection in digital photography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120716 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5056297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |