JP5056297B2 - 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 - Google Patents

Description

本発明は、分光撮影機能を備えた撮像装置、及びこの撮像装置に用いられる撮像装置制御プログラム及び撮像装置制御方法に関する。

従来、被写体を認識する機能を備えた撮像装置が提案されている。この機能を備えた撮像装置は、主被写体が人物か否かを判定し、人物であると判定されたときと、人物以外であると判定されたときとで、異なる露出設定を行う（特許文献１参照）。

主被写体が人物か否かの判定に際しては、撮像素子から出力された撮影映像信号から肌色を示す色度情報を抽出し、この抽出した肌色の色度情報の画像平面状での形状及び面積と人物の顔部を示すパラメータとの比較を行うことにより、主被写体が人物か否かを決定する。
特開平０５−０４１８３０号公報

しかしながら、従来においては撮像素子から出力された単一の画像に相当する撮影映像信号から、人物か否かを判定している。したがって、この判定に際して用いられる情報量は、単一の画像に相当する情報量に限られることから、判定精度には自ずと限界があり、結果的に精度の高い露出設定が行えないという問題がある。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮像した画像情報に基づき、高精度で当該撮像装置の諸機能を制御することのできる撮像装置を提供することを目的とする。

前記課題を解決するために請求項１記載の発明に係る撮像装置にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、前記フィルタ手段の後方に配置され、該フィルタ手段が透過波長帯域を変化させる毎に撮像する撮像手段と、この撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別手段と、この判別手段により判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段とを備えることを特徴とする。

また、請求項２記載の発明に係る撮像装置にあっては、前記機能実現手段は、前記判別手段により判別された被写体の種別に基づいて、撮影シーンを判別する撮影シーン判別手段と、この撮影シーン判別手段により判別された撮影シーンに応じて撮影条件を設定する設定手段とを備えることを特徴とする。

また、請求項３記載の発明に係る撮像装置にあっては、前記機能実現手段は、前記判別手段により判別された被写体の種別に基づいて、撮影シーンを判別する撮影シーン判別手段を備え、前記設定手段は、前記撮影シーン判別手段により判別された撮影シーンに応じて撮影条件を設定することを特徴とする。

また、請求項３記載の発明に係る撮像装置にあっては、前記撮像手段により撮像された被写体像を表示する表示手段と、この表示手段に表示された被写体像において主要被写体を特定する特定手段と、この特定手段により特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報を記憶した記憶手段とを備え、前記判別手段は、前記記憶手段に記憶された前記判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別することを特徴とする。

また、請求項４記載の発明に係る撮像装置にあっては、前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする。

また、請求項５記載の発明に係る撮像装置制御プログラムにあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段の後方に配置された撮像手段とを備える撮像装置が有するコンピュータを、前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、前記撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別手段と、この判別手段により判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段として機能させることを特徴とする。
また、請求項６記載の発明に係る撮像装置制御プログラムにあっては、前記コンピュータを、前記撮像手段により撮像された被写体像を表示手段に表示させる表示制御手段と、この表示制御手段により表示された被写体像において主要被写体を特定する特定手段として更に機能させ、前記判別手段は、予め記憶手段に記憶されており、前記特定手段により特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別することを特徴とする。
また、請求項７記載の発明に係る撮像装置制御プログラムにあっては、前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする。

また、請求項８記載の発明に係る撮像装置制御方法にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段の後方に配置された撮像手段とを備える撮像装置の制御方法であって、前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御ステップと、前記撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別ステップと、この判別ステップにより判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップとを含むことを特徴とする。
また、請求項９記載の発明に係る撮像装置制御方法にあっては、前記撮像手段により撮像された被写体像を表示手段に表示させる表示ステップと、この表示ステップにより表示された被写体像において主要被写体を特定する特定ステップとを更に含み、前記判別ステップは、予め記憶手段に記憶されており、前記特定ステップにより特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別することを特徴とする。
また、請求項１０記載の発明に係る撮像装置制御方法にあっては、前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、前記判別ステップは、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする。

本発明によれば、撮像した画像情報に基づき、より高精度で当該撮像装置の諸機能を制御することができる。

以下、本発明の一実施の形態を図に従って説明する。
図１は、本発明の一実施の形態に係るデジタルカメラ（分光カメラ）１の回路構成を示すブロック図である。図に示すように、デジタルカメラ１は、制御回路２を有している。制御回路２には、ＣＰＵ３とこのＣＰＵ３にデータバス４を介して各々接続されたインタフェース５、音声入出力回路６、入力回路７、メモリカード・ＩＦ８、ＵＳＢコントローラ９、入出力インタフェース１０、入出力回路１１、入出力ポート１２、１３、ＨＤＤ・ＩＦ１４が設けられている。音声入出力回路６には、マイク１６がアンプ１７及びＡ／Ｄ変換器１８を介して接続されているとともに、スピーカ１９がアンプ２０及びＤ／Ａ変換器２１を介して接続されている。入力回路７には、各種操作キー、スイッチ等が設けられた操作入力部２２が接続され、メモリカード・ＩＦ８には脱着自在に設けられた画像メモリ媒体２５が接続されている。ＵＳＢコントローラ９はＵＳＢ端子２６に接続されており、入出力インタフェース１０はアンテナ２７を有する無線ＬＡＮ送受信部２８に通信コントローラ２９を介して接続されている。また、入出力回路１１には、外部トリガー端子３０がトリガー検出部３１を介して接続されている。

前記入出力ポート１２には、分光フィルタ駆動部３２、温度検出回路３３、焦点レンズ駆動部３４、ズーム駆動部３５、ブレ補正駆動部３６、絞り駆動部３７及びシャッタ駆動部３８が接続されているとともに、ストロボ３９がストロボ駆動回路４０を介して接続され、ＬＥＤ４１がＬＥＤ駆動回路４２を介して接続されている。前記温度検出回路３３は、分光フィルタ５９近傍の温度を検出するものである。前記入出力ポート１３には、当該デジタルカメラ１の上下方向のブレを検出する角速度センサ（Ｙ／Ｐｉｔｃｈ）４３と、上下方向のブレを検出する角速度センサ（Ｘ／Ｙａｗ）とが各々検出回路４４、４６を介して接続されている。ＨＤＤ・ＩＦ１４には、ＨＤＤ記憶装置４７が接続されている。ＨＤＤ記憶装置４７は、ディスク媒体４８を有するとともに、モータ４９、モータドライバ５０、マイコン部５１、ＶＣモータ５２、ヘッドアンプ５３、リード／ライトチャンネル＋ＣＯＤＥＣ５４、ＨＤＤ制御部５５等を有している。

また、制御回路２には、電池５６が電源制御部５７を介して接続され、電源制御部５７は制御回路２により制御されて各部に電池５６からの電力を供給する。さらに、前記データバス４には音声ＣＯＤＥＣ（符号器／復号器）１５、プログラムメモリ２３及びデータメモリ２４が接続されている。音声ＣＯＤＥＣ１５は、音声信号を符号化するとともに音声データを復号化する。プログラムメモリ２３は、後述するフローチャートに示す制御回路２が動作するためのプログラムを格納しており、データメモリ２４は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。

一方、撮像光学系５８は、前記焦点レンズ駆動部３４、ズーム駆動部３５、ブレ補正駆動部３６により駆動されるレンズ群から構成され、前方光軸上には分光フィルタ５９が配置されているとともに、後方光軸上には撮像素子６０が配置されている。

ところで、今日においては６百万画素の解像度で６０フレーム／秒、ＶＧＡの低解像度でも３００フレーム／秒以上など、高解像度かつ高フレームレートで撮影が可能なＣＭＯＳイメージセンサが開発され、実用化されるに至っている。本実施の形態は、このような既に開発、実用化されている高解像度かつ高フレームレート撮影可能なイメージセンサの存在を前提として、このイメージセンサを撮像素子６０として用いるものである。また、撮像光学系５８中には、前記絞り駆動部３７により駆動される絞り６１及び前記シャッタ駆動部３８により駆動されるシャッタ６２が介挿されている。

前記撮像素子６０は、並列読み出しなどの前記高フレームレートでの撮影を行うための高速読み出しが可能なものであるが、一般的な撮像素子とは異なり、画素毎のベイヤー配列のＲＧＢカラーフィルタ等は設けられていない。この撮像素子６０は、イメージセンサ部６３、水平走査部６４、垂直走査部６５、Ｐ／Ｓ変換部６６を有している。水平走査部６４は、信号読み出し、信号処理部、ＣＤＳ（相関二重サンプル回路）／ＡＤＣ（Ａ／Ｄ変換器）を備えている。この撮像素子６０には、ＤＳＰ部６７が接続されている。ＤＳＰ部６７には、撮像素子６０のＰ／Ｓ変換部６６から取り込んだ画像信号を処理するためのＳ／Ｐ変換部６８、前処理部６９、バッファメモリ（Ａ）７０、帯域別信号処理部７１、マルチプレーン加算回路７２、ＲＧＢ変換部７３、階調変換ガンマ補正部７４、カラーマトリクス回路７５、解像度変換部７６を備えているとともに、前記垂直走査部６５の周期を制御するためのコントローラ７７や、画像特徴抽出処理・画像認識処理部７８、測光処理／合焦検出／分光特性抽出処理部７９を備えている。

前記解像度変換部７６、画像特徴抽出処理・画像認識処理部７８、測光処理／合焦検出／分光特性抽出処理部７９は、画像データバス８０を介してバッファメモリ（Ｂ）８１、画像ＣＯＤＥＣ（符号器／復号器）８２、動画像ＣＯＤＥＣ（符号器／復号器）８３及び表示駆動回路８４に接続され、画像データバス８０は前記制御回路２のインタフェース５に接続されている。バッファメモリ（Ｂ）８１は、画像ＣＯＤＥＣ８２及び動画像ＣＯＤＥＣ８３が符号化及び復号化処理する際の画像データを一時的に格納し、表示駆動回路８４は、ＬＣＤからなる表示部８５を駆動する。

前記分光フィルタ５９は、狭帯域の透過波長特性を持つフィルタである。この狭帯域の透過波長特性を持つフィルタとしては、後述するリオ（Ｌｙｏｔ）フィルタや、ファブリペロー（Ｆａｂｒｙ−Ｐｅｒｏｔ）干渉フィルタ等がある。また、ＬＣＴＦ（液晶チューナブルフィルタ）やＬＣＦＰ（液晶ファブリペロー）エタロンなどの電子制御可能なフィルタも用いることができる。

図２は、前記プログラム等とともにプログラムメモリ２３に格納されているシーン別撮影データテーブル２３１に記憶されている設定データの例を示す図である。このシーン別撮影データテーブル２３１には、「人物」、「背景」、「花」等の認識されたシーン又は被写体に対応して、その画像例が記憶されているとともに、「撮影条件設定データ」と「撮影補正条件設定データ」が記憶されている。「撮影条件設定データ」としては、「ＥＶシフト」、「ストロボ」、「ホワイトバランス」、「ＩＳＯ感度」、「フォーカスモード」、「ＡＦエリア」等が記憶されている。また、「撮影補正条件設定データ」としては、「フィルタ」、「色強調」、「シャープネス」、「彩度」、「コントラスト」等が記憶されている。

図３及び図４は、本実施の形態における処理手順を示す一連のフローチャートであり、分光特性を検出して、シーン又は被写体を識別し、撮影条件や補正条件を自動設定するようにしたものである。制御回路２はプログラムメモリ２３に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザーによる操作入力部２２での操作により、予めシーンの自動識別がＯＮに設定されているか否かを判断する（ステップＳ１）。シーンの自動識別がＯＮに設定されていない場合には、その他の撮影モード処理に移行する（ステップＳ２）。

自動識別がＯＮに設定されている場合には、ユーザーによる操作入力部２２での操作に応じて、スルー映像表示する波長帯域、シーン識別する際に使用する波長帯域（シーン識別の波長帯域）、後述する被写体追従において用いる被写体追従の波長帯域の選択を取り込む（ステップＳ３）。

したがって、このステップＳ３の処理が実行されることにより、ユーザーは意図する主被写体の種別に応じて、スルー映像表示する波長帯域、シーン識別する際に使用する波長帯域（シーン識別の波長帯域）、後述する被写体追従において用いる被写体追従の波長帯域を選択することができる。

なお、このステップＳ３の処理を実行することなく、全波長帯域をスルー映像表示する波長帯域、シーン識別する際に使用する波長帯域（シーン識別の波長帯域）、後述する被写体追従において用いる被写体追従の波長帯域としてもよい。

次に、分光スルー映像表示処理、及び分光特性データ取得処理を実行する（ステップＳ４）。この分光特性データ取得処理においては、図５のフローチャートにおいて後述するように、透過波長帯域の数（ｎ）に分割された画像の波長帯域において、波長帯域毎に露出＆撮影処理を実行して、イメージセンサ部６３からの画像データをバッファメモリ（Ａ）７０に記憶する。したがって、このステップＳ４での分光特性データ取得処理により、バッファメモリ（Ａ）７０には分光フィルタ５９を透過した波長帯域λ_１〜ｎ毎の分光画像及びこれら各分光画像の特性を示す連続分光情報である分光特性データＶｏ（λ_１〜ｎ）が記憶される。

なお、本実施の形態において分光特性データは、後述するように分光反射率特性を示す分光反射率特性データである。

引き続き、操作入力部２２に設けられているレリーズ釦が半押し操作されたか否かを判断する（ステップＳ５）。レリーズ釦が半押し操作されない場合には、追従ＡＦを解除するとともに、追従中フラグをリセットして（ステップＳ１３）、ステップＳ４に戻る。レリーズ釦が半押し操作された場合には、後述するシーン又は被写体の自動識別処理を実行する（ステップＳ６）。

この被写体の自動識別処理に際しては、バッファメモリ（Ａ）７０に記憶されている各分光画像の特性を示す分光特性データＶｏ（λ_１〜ｎ）、つまり透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報を用いればよいのであるから、従来のように情報量が多大な撮影映像信号から必要な画像情報を抽出する処理を行う必要はない。よって、撮像した画像情報に基づき、より高速かつ高精度で当該撮像装置の諸機能を制御することができ、シーン又は被写体の自動識別処理を実行することができる。

そして、このシーン又は被写体の自動識別処理により識別されたシーン又は被写体に基づいて、測光処理、ＡＥ処理、ＷＢ処理を実行する（ステップＳ７）。つまり、図２に示したシーン別撮影データテーブル２３１から、ステップＳ６で識別したシーン又は被写体に対応する「測光方式」、「ホワイトバランス」等の撮影条件データを読み出し、この読み出した撮影条件データに基づき測光処理、ＡＥ処理、ＷＢ処理を行う。

これにより、識別されたシーン又は被写体に応じて適切な測光処理、ＡＥ処理、ＷＢ処理を行うとができる。

さらに、識別されたシーン又は被写体に基づいて、ＡＦ枠を設定する（ステップＳ８）。つまり、図２に示したシーン別撮影データテーブル２３１から、ステップＳ６で識別したシーン又は被写体に対応する「ＡＦエリア」の撮影条件データを読み出して、この読み出した撮影条件データに基づきＡＦ枠を設定する。引き続き、ＡＦ処理を実行して（ステップＳ９）、ステップＳ８で設定したＡＦエリア内の画像が合焦するように、焦点レンズ駆動部３４を制御する。

このとき、前述のように、バッファメモリ（Ａ）７０に記憶されている各分光画像の特性を示す分光特性データＶｏ（λ_１〜ｎ）、つまり透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報を用いて、「測光方式」、「ホワイトバランス」等の撮影条件データを読み出しやＡＦ制御を行うことから、高速かつ高精度でＡＦ制御を行うことができる。

また、識別されたシーン又は被写体に応じて、その他の撮影条件、画像補正条件を設定する（ステップＳ１０）。つまり、図２に示したシーン別撮影データテーブル２３１から、ステップＳ６で識別したシーン又は被写体に対応し、かつ、ステップＳ７、Ｓ８で設定した以外の他の「撮影条件データ」、及び「画像補正条件設定データ」を読み出し、これらデータに基づき対応する各部を制御する。

次に、前記ステップＳ５で半押しが検出されているレリーズ釦の全押しが検出されたか否かを判断する（ステップＳ１１）。レリーズ釦の全押しが検出されない場合には、レリーズ釦の半押しを継続しているか否かを判断する（ステップＳ１２）。レリーズ釦の半押しが継続されずに、半押しが解除された場合には、前述したステップＳ１３に進む。また、レリーズ釦の半押しが継続されている場合には、ユーザーによる操作入力部２２での操作により予め、追従ＡＦがＯＮ設定されているか否かを判断し（ステップＳ１４）、ＯＮ設定されていない場合には、ステップＳ１１に戻る。

また、ＯＮ設定されている場合には、分光スルー表示処理、分光特性データ取得処理を実行するとともに（ステップＳ１５）、被写体追従ＡＦ処理を実行して（ステップＳ１６）、ステップＳ１１に戻る。したがって、レリーズ釦が半押しされた後（ステップＳ５：ＹＥＳ）、全押しされるまで（ステップＳ１１：ＮＯ）、レリーズ釦の半押しが継続していると、追従ＡＦがＯＮ設定されていない場合には、Ｓ１１→Ｓ１２→Ｓ１４→Ｓ１４→Ｓ１６→Ｓ１１のループが繰り返されることとなる。したがって、レリーズ釦が半押しされた後（ステップＳ５：ＹＥＳ）、全押しされるまで（ステップＳ１１：ＮＯ）の間において、予め追従ＡＦがＯＮ設定されていると、分光スルー表示処理、分光特性データ取得処理（ステップＳ１５）と被写体追従ＡＦ処理（ステップＳ１６）とが実行される。

なお、これら分光スルー表示処理、分光特性データ取得処理（ステップＳ１５）と、被写体追従ＡＦ処理（ステップＳ１６）の詳細については後述する。

他方、レリーズ釦の全押しが検出されるとステップＳ１１から図４のステップＳ１７に進み、撮像素子６０とＤＳＰ部６７を高速連写＆マルチプレーン加算モードに設定する（ステップＳ１７）。次に、連写枚数でありかつ透過波長帯域数である（ｎ）を設定し、１枚の画像を撮影するための露出時間ｔを設定し、これら（ｎ）とｔとを用いて波長帯域毎の露出時間ｔ／ｎを設定するとともに、絞りを設定する（ステップＳ１８）。つまり、設定した一枚の画像の撮影に要する露出時間ｔ内において、設定したｎ個の透過波長帯域毎に露出及び撮影処理を行うと、透過波長帯域毎の露出時間はｔ／ｎとなるので、この露出時間（ｔ／ｎ）を設定する。

次に、透過波長帯域の数（ｎ）に分割された画像の波長帯域において、最初の波長帯域（λｉ＝λ１）を選択する（ステップＳ１９）。この最初の波長帯域（λｉ＝λ１）は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。そして、電子制御フィルタ（分光フィルタ５９）に、所定の駆動信号を加えて、透過波長帯域を前記ステップＳ１３で選択した波長帯域λ１に設定する（ステップＳ２０）。引き続き、前記ステップＳ１０で設定され撮影条件に従って露出＆撮影処理を実行して、イメージセンサ部６３からの画像データをバッファメモリ（Ａ）７０に記憶する（ステップＳ２１）。したがって、このステップＳ２１での処理により、バッファメモリ（Ａ）７０には分光フィルタ５９を透過した波長帯域λｉからなる分光画像データが記憶されることとなる。

次に、前記ステップＳ１８で設定された各露出時間（ｔ／ｎ）が経過したか否かを判断し（ステップＳ２２）、経過したならば露光を終了する（ステップＳ２３）。したがって、ステップＳ２０〜Ｓ２９の処理は、各露出時間（ｔ／ｎ）毎に繰り返される。そして、ステップＳ２３に続くステップＳ１４では、前記ステップＳ２１で撮影されてバッファメモリ（Ａ）７０に記憶された分光画像データを、該バッファメモリ（Ａ）７０から読み出す（ステップＳ２４）。

引き続き、この読み出した分光画像データを、前記ステップＳ１０で設定された画像補正条件に応じて、波長帯域（λｉ）毎に、フィルタの透過率Ｔ（λｉ）、撮影感度Ｓ（λｉ）などを補正する（ステップＳ２５）。また、この補正した分光画像データをＲ，Ｇ，Ｂデータに変換する（ステップＳ２６）。例えば、分光画像データの各画素の輝度値Ｖ（ｘ，ｙ；λｉ）に等色関数を乗算して、Ｒ，Ｇ，Ｂデータに変換する。さらに、撮影された各波長帯の分光画像の各画素のＲ，Ｇ，Ｂデータをマルチプレーン加算合成して、バッファメモリ（Ｂ）８１に記憶する（ステップＳ２７）。したがって、バッファメモリ（Ｂ）８１には、ｔ／ｎ毎に撮影された分光画像の各画素のＲ，Ｇ，Ｂデータをマルチプレーン加算合成した合成画像が更新されつつ記憶される。

次に、帯域数ｎ枚の分光画像を撮影済みか否か、つまりｉ≧ｎとなったか否かを判断する（ステップＳ２８）。ｉ≧ｎとなっておらず、帯域数ｎ枚の分光画像を撮影済みでない場合には、ｉをインクリメントして（ｉ＝ｉ＋１）、このｉの値により示される次の波長帯域（λｉ）を選択し（ステップＳ２９）、ステップＳ２０からの処理を繰り返す。したがって、ステップＳ２０〜Ｓ２８の処理は、ｔ／ｎのタイミングでｎ回繰り返され、ｎ回繰り返されると、ステップＳ２８の判断がＹＥＳとなって、ステップＳ２８からステップＳ３０に進む。

また、ステップＳ２７の処理がｎ回繰り返されることにより、バッファメモリ（Ｂ）８１には、ｎ個の各波長帯の分光画像の各画素のＲ，Ｇ，Ｂデータがマルチプレーン加算合成された単一の合成画像を記憶することができる。

そして、ステップＳ３０においては、バッファメモリ（Ｂ）８１に記憶されている前記マルチプレーン加算合成された単一の合成画像を、前記ステップＳ１０で設定された画像補正条件に応じて、前記ステップＳ２５で処理した補正以外のその他の画像補正処理する（ステップＳ３０）。

これにより、画像メモリ媒体２５に記録される撮影画像データも、図２に示したシーン別撮影データテーブル２３１から読み出した「画像補正条件設定データ」を用いて補正することができる。

引き続き、この補正処理されてバッファメモリ（Ｂ）８１記憶されている撮影画像データの圧縮及び符号化処理を実行する（ステップＳ３１）。さらに、この圧縮及び符号化処理した撮影画像データを画像メモリ媒体２５に保存記録し（ステップＳ３２）、この画像メモリ媒体２５に保存記録した撮影画像データに基づく画像を表示部８５にプレビュー表示する（ステップＳ３３）。

したがって、撮影された各波長帯の分光画像の各画素のＲ，Ｇ，Ｂデータをマルチプレーン加算合成して生成された単一の画像が画像メモリ媒体２５に記録されるとともに、プレビュー表示される。

なお、本実施の形態においては、マルチプレーン加算合成された画像を最終的に画像メモリ媒体２５に保存記録するようにしたが、ステップＳ３で撮影記録時における画像の波長帯域（撮影記録の波長帯域）も選択して、当該選択された波長帯域の画像を最終的に画像メモリ媒体２５に保存記録するようにしてもよい。

図５は、前記ステップＳ４及びステップＳ１５で実行される分光スルー画像の映像処理、分光特性データの取得処理の処理例（１）を示すフローチャートである。先ず、ユーザーによる操作入力部２２での操作に応じて、スルー表示及びシーン識別の（単数又は複数の）の波長帯域（λｉ）を選択する（ステップＳ１０１）。つまり、ユーザーが単数の波長帯域を選択した場合には、λｉ（ｉ＝１）であり、複数（ｎ個）の波長帯域を選択した場合には、λｉ（ｉ＝１〜ｎ）である。この波長帯域（λｉ）は、単数であってもよいし複数であってもよいが複数であることが好ましい。

次に、スルー表示の波長帯域の数（ｎ）と表示更新周期（Ｔｄ）に応じて、読み出し更新周期（Ｔｒ）を設定する（ステップＳ１０２）。この読み出し周期（Ｔｒ）は、Ｔｒ≦Ｔｄ×（１／ｎ）となる値である。次に、ｎ個の波長帯域において、最初の波長帯域（λｉ＝λ１）を選択する（ステップＳ１０３）。この最初の波長帯域（λｉ＝λ１）は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。

そして、電子制御フィルタ（分光フィルタ５９）に、所定の駆動信号を加えて、透過波長帯域を前記ステップＳ１３で選択した波長帯域λ１に設定する（ステップＳ１０４）。引き続き、高速ドラフトモード又はスルー映像読み出しモードで撮像素子６０を駆動する（ステップＳ１０５）。そして、設定された読み出し周期時間（Ｔｒ）が経過したか否かを判断し（ステップＳ１０６）、経過したならば次のステップＳ１０７に進む。したがって、ステップＳ１０４〜Ｓ１１５のループは、読み出し周期（Ｔｒ）毎に繰り返される。そして、ステップＳ１０６に続くステップＳ１０７では、透過波長帯域（λｉ）のスルー映像信号Ｖ（ｘｙ；λｉ）を読み出す（ステップＳ１０７）。

引き続き、スルー映像信号Ｖ（ｘ，ｙ；λｉ）を、波長帯域（λｉ）毎に、レンズやフィルタの透過率Ｔ（λｉ）、撮像素子の感度Ｓ（λ）などに応じて補正する（ステップＳ１０８）。この補正は、下記例次式により行う。
Ｖ（ｘ，ｙ；λｉ）＝Ｖ（ｘ，ｙ；λｉ）×｛Ｔ_０（λｉ）／Ｔ（λｉ）｝×｛Ｓ_０（λｉ）／Ｓ（λｉ）｝
ここで
Ｖ（ｘ，ｙ；λｉ）：輝度信号
Ｔ（λｉ）：帯域毎の撮影レンズや干渉フィルタ等の分光透過率
Ｓ（λｉ）：撮像センサの分光撮像感度
Ｔ_０（λｉ）：理想の分光特性（透過率１００％）や標準の分光透過率
Ｓ_０（λｊ）：理想の分光感度や標準の分光感度。

次に、各波長帯域（λｉ）の映像信号で、設定された被写体枠（Ｋ）（被写体枠については後述する。）の輝度値を、分光特性データＶｏ（ｋ；λｉ）、（ｋ＝１〜Ｌ）として、順次データメモリ２４に記憶する（ステップＳ１０９）。また、疑似カラー表示に設定されているか否かを判断する（ステップＳ１１０）。疑似カラー表示に設定されている場合には、各画素の輝度値Ｖ（ｘ，ｙ；λｉ）に、設定された疑似カラー変換関数ｒ′（λｉ）、ｇ′（λｉ）、ｂ′（λｉ）を乗算して、下記式に示すように、擬似的に３刺激値Ｒ，Ｇ，Ｂを得る（ステップＳ１１１）。
Ｒｉ（ｘ、ｙ）＝ｒ′（λｉ）・Ｖ（ｘ，ｙ；λｉ）、
Ｇｉ（ｘ、ｙ）＝ｇ′（λｉ）・Ｖ（ｘ，ｙ；λｉ）、
Ｂｉ（ｘ、ｙ）＝ｂ′（λｉ）・Ｖ（ｘ，ｙ；λｉ）。

また、疑似カラー表示が設定されておらず、トゥルーカラー表示が設定されている場合には、各画素の輝度値Ｖ（ｘ，ｙ；λｉ）に、等色関数ｒ￣（λｉ）、ｇ￣（λｉ）、ｂ￣（λｉ）を乗算して、下記式に示すように３刺激値Ｒ，Ｇ，Ｂを得る（ステップＳ１１２）。
Ｒｉ（ｘ、ｙ）＝ｒ￣（λｉ）・Ｖ（ｘ，ｙ；λｉ）、
Ｇｉ（ｘ、ｙ）＝ｇ￣（λｉ）・Ｖ（ｘ，ｙ；λｉ）、
Ｂｉ（ｘ、ｙ）＝ｂ￣（λｉ）・Ｖ（ｘ，ｙ；λｉ）。

そして、ステップＳ１１１又はステップＳ１１２に続くステップＳ１１３では、各波長帯の分光画像の各画素のＲ，Ｇ，Ｂを下記式に示すように順次加算して、バッファメモリ（Ｂ）８１に記憶する（ステップＳ１１３）。
Ｒ（ｘ，ｙ）＝ΣｉＲｉ（ｘ，ｙ）、
Ｇ（ｘ，ｙ）＝ΣｉＧｉ（ｘ，ｙ）、
Ｂ（ｘ，ｙ）＝ΣｉＢｉ（ｘ，ｙ）。
したがって、バッファメモリ（Ｂ）８１には、読み出し周期時間（Ｔｒ）毎に、各波長帯の分光画像の各画素のＲ，Ｇ，Ｂが順次加算されて更新されていく。

つまり、従来のモザイク状のＲＧＢカラーフィルタ設けた３色カラー撮像素子の場合のマルチプレーン加算処理では、各連写画像のＢａｙａｒ配列データのうち、輝度成分や解像感をよく反映するＧ（緑）画像の相関度を求めて位置合わせを行い、またＢａｙｅｒ配列データでは欠けている縦、横、斜め画素の補間処理を行い、フル画素のＧ（緑）データを生成する。Ｒ（赤）、Ｂ（青）データは、Ｇ（緑）データの位置合わせ結果に準じて、位置合わせとラー補間処理を行い、フルサイズのＲＧＢデータに変換する。これに対して、本実施の形態のデジタルカメラ１におけるマルチプレーン加算回路７２は、図６に示すように、速写撮像した波長帯域毎の分光画像Ｖを、分光特性バラツキなどを補正した後、全波長領域に渡って、マルチプレーン加算合成、ＲＧＢやＹＵＶなど通常の広帯域カラー画像データに変換することができる。

次に、帯域数ｎ枚の分光画像を撮影済みか否か、つまりｉ≧ｎとなったか否かを判断する（ステップＳ１１４）。ｉ≧ｎとなっていなければ、ｉをインクリメントして（ｉ＝ｉ＋１）、このｉの値により示される次の波長帯域（λｉ）を選択し（ステップＳ１１５）、ステップＳ１０４からの処理を繰り返す。したがって、ステップＳ１０４〜Ｓ１１４の処理は、ｎ回繰り返される。

そして、ステップＳ１１４の判断がＹＥＳになると、ＲＧＢ変換されたスルー映像信号を表示部８５に出力する（ステップＳ１１６）。しかる後に被写体枠（Ｋ）（Ｋ個）の分光特性データ列Ｖｏ（ｋ；λｉ）、（ｋ＝１〜Ｌ、ｉ＝１〜ｎ）を出力する。

したがって、ユーザーが操作により、（単数又は複数の）狭帯域の波長帯域、あるいは、可視光（波長：約４００〜７００ｎｍ）だけでなく、近赤外線（波長：約７００ｎｍ〜２５００ｎｍ）や、近紫外線（波長：約２００〜４００ｎｍ）なども含む領域を選択すると、スルー映像表示中には、選択帯域における分光画像の連続映像が表示部８５に表示される。このとき、近赤外や近紫外など可視光領域外の帯域が選択されている場合には、これら帯域成分が含まれる映像信号を、可視光領域側にシフト変換するか、若しくは、ＲＧＢ変換式を変更して、所望の色データに変換して、擬似カラー表示を行い、撮影ユーザーが暗所における被写体や構図の確認が容易にできるようにする。

これにより、可視光では観察しにくいシーンや夜間などでも、ユーザーが観察しやすい所望の波長帯を選択して、被写体像を観察しながら、分光撮影又は通常撮影ができるので、被写体を容易にまた確実に狙ったり、追従撮影したりすることができる。

なお、ステップＳ１０９、被写体枠（Ｋ）毎であって波長帯域λ１〜λｎ毎に分光特性データＶｏ（ｋ；λｉ）順次データメモリ２４に記憶することから、一画面内にＬ個の被写体枠（Ｋ）がある場合には、
第１の被写体枠Ｋ１における複数の波長帯域λ１〜λｎ毎の分光特性データが
Ｖｏ（ｋ＝１；λ１）、Ｖｏ（ｋ＝１；λ２）、・・・Ｖｏ（ｋ＝１；λｎ）と記憶され、
第２の被写体枠Ｋ２における複数の波長帯域λ１〜λｎ毎の分光特性データが
Ｖｏ（ｋ＝２；λ１）、Ｖｏ（ｋ＝２；λ２）、・・・Ｖｏ（ｋ＝２；λｎ）と記憶され、また、
第Ｌの被写体枠ＫＬにおける複数の波長帯域λ１〜λｎ毎の分光特性データが
Ｖｏ（ｋ＝Ｌ；λ１）、Ｖｏ（ｋ＝Ｌ；λ２）、・・・Ｖｏ（ｋ＝Ｌ；λｎ）と記憶されることとなる。
また、一画面内に単一の被写体枠（Ｋ）のみがある場合には、
Ｖｏ（ｋ＝１；λ１）、Ｖｏ（ｋ＝１；λ２）、・・・Ｖｏ（ｋ＝１；λｎ）のみ記憶されることとなる。

図７は、前記ステップＳ６のシーン又は被写体の自動識別処理の手順を示すフローチャートである。先ず、前記ステップＳ４での分光特性データ取得処理、より詳しくは前記ステップＳ１０９でデータメモリ２４に記憶された被写体枠（Ｋ）領域におけるｎ個の分光特性データＶｏ（λｉ：ｉ＝１〜ｎ）、つまり分光特性データＶｏ（λ１）〜Ｖｏ（λｎ）を読み出す（ステップＳ２０１）。

つまり、前述のようにデータメモリ２４には、ステップＳ１０９での処理により、被写体枠（Ｋ）における波長帯域λ_１〜ｎ毎の輝度値である分光特性データＶｏ（λ_１〜ｎ）が記憶されている。したがって、ステップＳ２０１においては、波長帯域λ_１〜ｎ毎の分光画像の中央又は所定の被写体枠（Ｋ）領域における各分光画像の分光特性データＶｏ（λ_１〜ｎ）をデータメモリ２４から読み出す。

次に、カウンタＪに初期値１を設定し（ステップＳ２０２）、予め記憶された複数の参照群の分光特性データにおいて、Ｊ番目の参照群の分光特性データＶｔ（Ｊ）（λ_１〜ｎ）を読み出す（ステップＳ２０３）。

すなわち、前記プログラムメモリ２３には、図８（ａ）に例示する「人間の肌の分光反射率特性」、図９（ａ）に例示する「地表の材質や植生による分光反射率特性」、図９（ｂ）に例示する「壁材や建材などの分光反射率特性」、図１０（ａ）に例示する「各種フルーツ（果物の分光反射率特性」を各々一つの参照群の分光特性データとして、複数の参照群の分光特性データが予め記憶されている。したがって、ステップＳ２０３においては、Ｊ番目の参照群の分光特性データＶｔ（Ｊ）（λ_１〜ｎ）を読み出し、これより、例えば図９（ａ）の「地表の材質や植生による分光反射率特性」が読み出されることとなる。

そして、前記被写体枠（Ｋ）等の分光特性データＶｏ（λ_１〜ｎ）と前記読み出したＪ番目の参照群の分光特性データＶｔ（Ｊ）（λ_１〜ｎ）とを比較する（ステップＳ２０４）。この比較は、設定範囲と比較（ステップＳ２０５）、類似度／相関（ステップＳ２０６）、最小二乗法（ステップＳ２０７）、共分散行列（ステップＳ２０８）、主成分分析（ステップＳ２１０）により行う。

設定範囲と比較（ステップＳ２０５）においては、図８（ａ）の「人間の肌の分光反射率特性」に基づき、同図（ｂ）の人間の肌（Ａ）の判定範囲と、人間の肌（Ｂ）の判定範囲とを設定し、分光特性データＶｏ（λ_１〜ｎ）である被写体の分光反射率の各波長帯域が、いずれも参照群（人間の肌（Ａ）の判定範囲と、人間の肌（Ｂ）の判定範囲）の下限から上限の範囲内であるかを評価する。

類似度／相関（ステップＳ２０６）においては、分光特性データＶｏ（λ_１〜ｎ）と参照群の分光特性データＶｔ（Ｊ）（λ_１〜ｎ）との類似度（又は相関係数）を順次算出する。最小二乗法（ステップＳ２０７）においては、分光特性データＶｏ（λ_１〜ｎ）と参照群の分光特性データＶｔ（Ｊ）（λ_１〜ｎ）との二乗誤差（差の二乗）を算出する。共分散行列（ステップＳ２０８）においては、ｎ帯域の被写体の分光特性の共分散行列を算出し、参照群の分散行列を計算する（ステップＳ２０９）。主成分分析（ステップＳ２１０）においては、被写体の分光反射率（分光特性データＶｏ（λ_１〜ｎ））を参照群の分光特性の（第１〜第３）主成分と比較し、参照群の主成分との類似度や累積寄与利率を計算する（ステップＳ２１１）。

しかる後に、以上のステップＳ２０５〜Ｓ２１１より算出された類似度、又は（相関条誤差、累積寄与率などの）評価値を一時データメモリ２４に記憶する（ステップＳ２１２）。次に、最後の参照群と比較したか否か（Ｊ≧ｍ？）を判断し、Ｊ≧ｍとなるまで、Ｊの値をインクリメントして（ステップＳ２１４）、ステップＳ２０３からの処理を繰り返す。したがって、ステップＳ２０３〜Ｓ２１３の処理はｍ回繰り返され、ステップＳ２１２での処理により、ｍ個の算出された類似度、又は（相関条誤差、累積寄与率などの）評価値がデータメモリ２４に記憶されることとなる。

次に、このデータメモリ２４に記憶されたｍ個の類似度、又は（相関条誤差、累積寄与率などの）評価値において、最も類似度が又は評価値の高い参照群を、当該被写体の材質と判定し、判定結果を順次データメモリ２４に記憶に記憶する。また、ユーザーによる操作入力部２２での操作により、予め複数のスポット（被写体枠）で判定を行うが設定されていたか否かを判断する（ステップＳ２１６）。設定されていない場合には、ステップＳ２１５で判別された材質の種類に応じて、シーン又は被写体の種類を判定する（ステップＳ２２０）。例えば、人間の肌と判定された場合には、シーン又は被写体の種類として「人物」と判定する。そして、この判定された撮影シーン又は被写体の種類を出力する（ステップＳ２２２）

また、ステップＳ２１６の判断がＹＥＳであって、複数のスポット（被写体枠）で判定を行うが設定されている場合には、最後のスポット（被写体枠）か、又は、Ｌ個のスポットで判別済みかを判断する（ステップＳ２１７）。このステップＳ２１７の判断がＮＯであるならば、次の被写体枠に変更する（Ｋ＝Ｋ＋１）（ステップＳ２１８）。そして、次の被写体枠の領域の分光特性データＶｏ（λ_１〜ｎ）を読み出して（ステップＳ２１９）、ステップＳ２０２からの処理を繰り返す。

したがって、複数のスポット（被写体枠）で判定を行うが設定されている場合には、図１１（ａ−１）に示す「人物」の撮影シーン、（ｂ−１）に示す「風景＋人物」の撮影シーン、（ｃ−１）に示す「夕日」の撮影シーンにおいて、同図（ａ−２）（ｂ−２）（ｃ−２）に示すように複数の被写体枠でステップＳ２０２〜Ｓ２１７の処理が実行される。また、このように複数の被写体枠でステップＳ２０２〜Ｓ２１７の処理が実行された場合には、同図（ａ−２）（ｂ−２）（ｃ−２）に示すように被写体枠毎に「髪／Ｈａｉｒ」「Ｓｋｙ」等のステップＳ２１５で判定した材質や分光放射率のグラフをステップＳ２１５内の処理で、表示させる。

そして、ステップＳ２１７の判断がＹＥＳとなった時点で、判別された複数スポットの材質と分布から撮影シーン又は被写体の種類を判定する（ステップＳ２２１）。したがって、このように複数のスポットで材質判定を行うことにより、図１１（ａ−１）に示した「人物」と、（ｂ−１）に示した「風景＋人物」とを区別した正確な判定結果が得られる。

また、ステップＳ２２１に続くステップＳ２２２においては、前述のように判定された撮影シーン又は被写体の種類を出力する。このとき、図１１（ａ−３）（ｂ−３）（ｃ−３）に示すように、シーン別撮影データテーブル２３１に記憶されている設定データに基づき、ＡＦ枠を表示し、また、シーン・被写体シーン別撮影データテーブル２３１に記憶されているシーン・被写体に対応する説明文「色強調が肌色に設定されます。・・・」を表示させる。これにより、ユーザーは、撮影される画像の特徴を予め知ることができる。

図１２は、前記ステップＳ１６の被写体追従ＡＦ処理の手順を示すフローチャートである。先ず、追従中フラグが「１」となっているか否かにより、表示部８５に被写体とともに表示されているフォーカス枠が被写体（主要被写体）に追従中であるか否かを判断する（ステップＳ３０１）。未だフォーカス枠が追従中でない場合には、表示部８５の中央部に表示させてある単一のフォーカス枠内の被写体、又は表示部８５の複数のフォーカス枠を表示あせてある場合には、ユーザーによる操作入力部２２での操作により指定された指定フォーカス枠内の被写体を追従する被写体（主要被写体）として選択する（ステップＳ３０２）。

また、前記ステップＳ３においてユーザーによる操作入力部２２での操作により予め選択された選択波長帯域における中高周波信号又はコントラスト信号に基づき、合焦評価値を検出し（ステップＳ３０３）、当該フォーカス枠の被写体に対して、ＡＦ処理を実行する（ステップＳ３０４）。つまり、当該フォーカス枠内の被写体が合焦するように、焦点レンズ駆動部３４を動作せる。次に、選択波長帯域の映像信号において、当該フォーカス枠近傍の被写体像の特徴抽出処理を実行して、その特徴を抽出し（ステップＳ３０５）、この抽出した特徴をデータメモリ２４に更新しつつ記録する（ステップＳ３０６）。

なお、本実施の形態においては、このように当該フォーカス枠近傍の被写体像の特徴を抽出して、この抽出した特徴を更新しつつ記録するようにしたが、選択波長帯域の映像信号が示す分光特性情報から、後述する「（２）参照群との類似度／相関係数」に示すように、フォーカス枠近傍の被写体の素材、材質等を判別し、この判別した被写体の素材、材質等を更新しつつ記録するようにしてもよい。

次に、被写体の像位置、及び当該フォーカス枠の次回位置を予測演算してデータメモリ２４に記憶する（ステップＳ３０７）。さらに、フォーカス枠が被写体に追従中となったことを示す追従中フラグをセット（＝１）して（ステップＳ３０８）、リターンする。したがって、再度ステップＳ３０１からの処理が実行されると、既に追従中フラグ＝１の状態にあることから、ステップＳ３０１からステップＳ３０９に進む。そして、前記ステップＳ３０７で予測演算したフォーカス枠の近傍を特徴抽出領域に設定する（ステップＳ３０９）。

次に、当該フォーカス枠内の被写体像に対して、粗い精度でＡＦ処理を実行する（ステップＳ３１０）。また、選択は超帯域の映像信号において、前記ステップＳ３０９で設定した設定抽出領域から被写体の特徴量を検出する（ステップＳ３１１）。そして、前記ステップＳ３０６で記録したフォーカス枠近傍の被写体像の特徴データと、前記ステップＳ３１１で検出した設定抽出領域における被写体の特徴データとを比較し、テンプレートマッチングにより類似度を算出する（ステップＳ３１２）。

なお、前述のようにステップＳ３０５及びステップＳ３０６において、選択波長帯域の映像信号が示す分光特性情報から、フォーカス枠近傍の被写体の素材、材質等を判別し、この判別した被写体の素材、材質等を更新しつつ記録するようにした場合には、ステップＳ３１１でも同様に、選択波長帯域の映像信号が示す分光特性情報から、設定抽出領域における被写体の素材、材質等を判別する。そして、この判別した被写体の素材、材質等と、前記更新しつつ記録するようにした被写体の素材、材質等が一致するか否かをステップＳ３１２で判断するようにすればよい。

引き続き、この算出した類似度が所定以上であるか否かを判断し（ステップＳ３１３）、所定以上である場合には、前記ステップＳ３０９での予測位置である像位置に相当するフォーカス枠に更新する（ステップＳ３１４）。つまり、表示部８５において前記予測位置にフォーカス枠を移動させて表示し、しかる後に前述したステップＳ３０３に進む。

また、ステップＳ３１３での判断の結果、類似度が所定値未満であった場合には、特徴抽出領域を所定の方向、距離だけ変更する（ステップＳ３１５）。そして、ステップＳ３０５による変更回数、変更距離が所定以上となったか否かを判断する（ステップＳ３１６）。所定以上となっていない場合には、前述したステップＳ３１１からの処理を繰り返し、このステップＳ３１１からの処理が繰り返されることによりステップＳ３１３の判断がＹＥＳとなった場合には、ステップＳ３１４からステップＳ３０３に進んでフォーカス枠の被写体追従を継続する。

したがって、追従ＡＦ撮影や追従フレーミング撮影などにおいては、ユーザーが狙った主要被写体像の（輪郭形状や色、輝度、コントラストなど）特徴量だけでなく、当該被写体像の分光反射率特性や、（例えば、近赤外線領域や紫外線領域など、肉眼では確認できないあるいは確認困難な波長帯域も含めて、）選択された被写体の分光特性情報や材質の種類などを追従目標の被写体の特徴量として登録しておき、以降、例えば、レリーズ釦を半押している間は、継続して、当該被写体と一致する分光特性情報や種類など、同じ特徴量を持つ被写体を識別して、追従ＡＦ処理したり、追従フレーミング撮影したりすることができる。

他方、ステップＳ３１１からの処理を繰り返すことにより、変更回数、変更距離が所定以上となり、ステップＳ３１６の判断がＹＥＳとなった場合には、被写体の追従を解除すべく、追従中フラグをリセットし（ステップＳ３１７）、表示部８５に追従失敗及び追従解除を警告表示する。したがって、ユーザーがこの警告表示を視認することにより、フォーカス枠を目標被写体に追従する機能が停止したことを知ることができる。

次に、本実施の形態における構成上の詳細、動作及び作用上の詳細について説明する。
［分光フィルタ５９］
前記分光フィルタ５９としては、狭帯域の透過波長特性を持つフィルタを用いる。この狭帯域の透過波長特性を持つフィルタとしては、リオ（Ｌｙｏｔ）フィルタや、ファブリペロー（Ｆａｂｒｙ−Ｐｅｒｏｔ）干渉フィルタ等がある。また、ＬＣＴＦ（液晶チューナブルフィルタ）やＬＣＦＰ（液晶ファブリペロー）エタロンなどの電子制御可能なフィルタも用いることができる。

（１）リオ・フィルタ
リオ・フィルタ（ＬｙｏｔＦｉｌｔｅｒ）は、複屈折性の結晶板による干渉を利用し、非常に狭い波長城の光を透過する光学フィルタであって、２枚の平行な偏光板の間に、方解石や水晶など複屈折性（ｂｉｒｅｆｒｉｎｇｅｎｃｅ）の結晶板を配したものである。複屈折性の結晶板（厚さｄ）を透過した光は、互いに垂直な振動方向の通常光と異常光の２光線に分離し、それぞれ異なる屈折率と位相速度を持つ。結晶のＸ軸方向に直線偏光した光に対して屈折率Ｎｅ、Ｙ軸方向に直線偏光した光に対して屈折率Ｎｏの場合、
位相差δは、δ＝（２π／λ）（Ｎｅ−Ｎｏ）ｄ・・・式（１）
透過率Ｔは、Ｔ＝ｃｏｓ^２δ／２・・・式（２）
となり、分離した通常光と異常光は、同じ偏光状態で光路長の整数倍に等しい波長の光だけが、結晶板から出射される。２枚の平行な偏光板の間に、結晶板を４５度回転させて配すると、全体の波長特性は、周期的に多数の透過ピークがある櫛歯状の透過波長特性となる。結晶板の角度をモータ等で回転させることにより、透過波長のピークを変えて、フィルタ特性をチューニングできる。

また、複数Ｎ枚の結晶板を、順次、次の結晶板より厚さｄが２倍となるように、ｄｋ＝２^ｋ−１×ｄ（ｋ＝１、２・・・、Ｎ−１）として積層すると、透過波長の多数のピークから所望波長の光だけ選択できる。多層フィルタによる全体の透過率は、ｘ＝δ／２とおくと、次式となる。
Ｔ＝Ｔ_１Ｔ_２Ｔ_３・・・Ｔ_Ｎ−１＝ｃｏｓ^２×（２ｘ）ｃｏｓ^２（４ｘ）・・・ｃｏｓ^２（２^Ｎ−１ｘ）・・・式（３）

（２）ファフリー・ペロー干渉フィルタ
ファブリ・ペロー干渉フィルタ（Ｆａｂｒｙ−ＰｅｒｏｔＦｉｌｔｅｒ、Ｆａｂｒｙ−ＰｅｒｏｔＥｔａｌｏｎ）は、多重反射光線の干渉効果を利用して、狭い波長城の光だけを透過する。水晶の平行平板の両面、若しくは、２枚のガラス板の内面に、金属薄膜や誘電体多層薄膜など反射膜をコートした単純な構造で、各種光学機器に広く利用されている。反射膜（半透鏡）を透過して内部に入射された光線は、２枚の面の間を多重反射する。透過光の波面は、その内、偶数回の反射を受けた後に透過する各成分波面の重畳となる。
位相差δ＝（２π／λ）２ｎｄｃｏｓθ＝４πｎｄｃｏｓθ／λ・・・式（４）
入射光Ｉｉｎに対し、透過光Ｉｔは、Ｉｔ＝Ｉｉｎ×（１−Ｒ^２／｛（１−Ｒ）^２＋４Ｒｓｉｎ^２（δ）｝となるので、
透過率Ｔ＝（１−Ｒ）^２／｛（１−Ｒ）^２＋４Ｒｓｉｎ^２（δ）・・・式（５）
ここで、δ：位相差、λ：波長、θ：入射角、ｄ：ミラー間の物理的間隔、ｎ：媒質の屈折率（空気の場合ｎ＝１）、Ｒ：ミラーの反射率。

各成分波面間に位相差がないとき透過光が最大になり、このとき光学距離の差は、波長λの整数倍になる。ｍλ＝２ｎｄｃｏｓθ、（ｍ＝１，２，３，・・・）・・・式（６）
このとき、他の波長では、各透過成分波面間で打ち消し合いの干渉が起こり、透過光がゼロ近くまで減少する。ミラーは、可視光ではＡｇ、Ａｕ、ＡＩ、Ｃｒ、Ｒｈなどを蒸着した金属膜コーティングでも可能だが、吸収ロスが大きいために、主に、多層の誘電体薄膜等が用いられる。可視光域では、高屈折率のＨ膜（ＺｎＳ等）と低屈折率のＬ膜（ＭｇＦ２等）を、λ／４厚ずつ交互に１３層重ねた誘電体多層膜で、９９．５％程度の反射率が得られる。

ミラーの間隔ｄは、数ミクロン（μｍ）〜数センチ（ｃｍ）まで様々に設計でき、この間隔ｄ、若しくは、媒質の屈折率ｎを変えることで、透過する波長を選択できる。また、フィルタの傾きを調整することで波長特性を微調整できる。プリズムや回折格子に比べ、分解能が非常に高く、偏光板を使用するリオ・フィルタ等に比べ、透過率が高く、吸収が少ない。隣のピーク波長との間隔ＦＳＲ（Ｆｒｅｅ Ｓｐｅｃｔｒａｌ Ｒａｎｇｅ）を、最小帯域幅となる透過ピークの半値全幅ＦＷＨＭ（Ｆｕ１１ Ｗｉｄｔｈ ａｔ Ｈａｌｆ Ｍａｘｉｍｕｍ）で割った値は、フィネス（Ｆｉｎｅｓｓｅ）と呼ばれ、フィルタ性能を表す。
フィネスＦ＝ＦＳＲ／ＦＷＨＭ＝Δλ／δλ＝π√Ｒ／（１−Ｒ）・・・式（７）

ここで、フリースペクトラルレンジＦＳＲ＝Δλ＝δλ＝λｏ^２／（２ｎｄ）・・・式（８）
ピーク波長の半値全幅ＦＷＨＭ＝δλ＝ＦＳＲ／Ｆ・・・式（９）
鏡面の反射率Ｒを上げるほど、フィネスＦが高くなり、波長分解能であるＦＷＨＭ＝δλを狭くし、透過ピークを鋭くすることができる。

また、入射角θで入射する波長λの透過光の強度Iｔ（θ，λ）は、次式で表される。
Iｔ（θ，λ）＝Ｉｏ（λ）／［１＋｛４Ｒ／（１−Ｒ）^２｝ｓｉｎ^２（２πでｎｄ・ｃｏｓθ／λ）］＝Ｉｏ（λ）／｛１＋（Ｆ／π）２ｓｉｎ２（δ／２）｝・・・式（１０）
ここで、Iｏ（λ）は、同心円状の干渉パターン（Ｈａｄｉｎｇｅｒ ｆｒｉｎｇｅ）の中心での透過光強度。

光源が単色性（単一波長）ならば、エタロンは特定の条件を満たす入射角でのみ、光を透過させる。このため単色球面波を入射させると、同心円状の円環（干渉パターン）を生成する。なお、ファブリ・ペロー・エタロン（固定間隔のものはエタロン板と呼ばれる）をフィルタとして用いる際には、入射角θが、最も内側の干渉リング（円環）に相当する入射角よりも小さくなるよう、次式の視野角ＦＯＶ（Ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を制限する必要がある。
視野角ＦＯＶ＝√｛（８／λ）Ｘδλ｝・・・式（１１）

（３）電子制御可能な干渉フィルタ
前述のリオ・フィルタや、ファブリ・ペロー・フィルタに、液晶素子や電気光学結晶などの複屈折性要素を挿入して組み合わせると、透過波長特性を電子的に可変できる狭帯域フィルタを構成でき、選択された所望の波長帯域で分光撮影ができる。

液晶同調フィルタ（ＬＣＴＦ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｔｕｎａｂｌｅ Ｆｉｌｔｅｒ）は、前述のリオ・フィルタの各層において、入力偏光子と出力偏光子の２枚の偏光子の間に、複屈折性結晶板と液晶素子とを挟んでサンドイッチ構造とし、複数段積層したものである。入射光は、入力偏光子を通り、次に、偏光子の偏光輪に対し結晶軸が４５度に設置された複屈折結晶板により、それぞれ位相速度の異なった常光、異常光の２成分に等量に分割される。液晶分子の長輪方向と短輪方向での屈折率の違いにより、長輪方向に偏光している光と、直交する偏光方向の光との間には光路長差（Δ１φ＝２πΔｚ／λ）が生じる。液晶素子の電極間にかける電圧を変化させると、液晶分子の長輪方向が傾くので光路長差が小さくなる。液晶素子に加える電圧（Ｖ）により、液晶の結晶軸の一方の屈折係数が変化するので、一方の光は他方の光に比べ遅延する。このように、液晶素子は遅相器として働き、液晶素子を出た２つの成分は出力偏光子で合成されるが、干渉により波長に関して周期的な透過特性となる。

これらを１段として、次々に、複屈折結晶板の厚さが前段の２倍になるようにして複数段重ねることで、入射光の最終的な透過特性を狭帯域にすることができる。したがって、リオ・フィルタのように結晶板を回転させる代りに、各層に挿入した液晶素子の透明電極間に印加する電圧を変えるだけで、各層の選択波長を連続して高速で可変して、その組合せにより、全ての層を透過する所望波長の光だけを選択的に透過させ、ＣＣＤなどで撮像すると、狭帯域の分光カメラが実現できる。

（４）ＬＣＴＦの透過波長の選択
所望の波長において、全フィルタにおける透過率のピークを揃えるためには、液晶にかけるＡＣ（交流）若しくは直流（ＤＣ）矩形波の電圧を調整して、所望の狭帯域波長に各フィルタの透過率ピークを合わせる必要がある。

各層フィルタの各電圧における分光透過率の特性データ、又は各波長（λｉ）に調整する為に各層の液晶素子にかける電圧データを、参照テーブル（ＬＵＴ）として予めメモリに記憶しておき、制御回路２では、それらを参照してフィルタの選択特性を自動調整できるように制御すればよい。

なお、積層型のＬＣＴＦで、不要な方向の偏光を遮断する為に、液晶と結晶板の両側に偏光板が必要である。また、選択波長の帯域を５〜１０ｎｍ程度の狭帯域だけの光で撮像して分光画像を得る為には、フィルタ層の数、すなわち、結晶板と液晶層の数を増やして、同時に透過する波長を分離する必要があり、偏光板の数が増えるので透過率が落ちる。特に短波長側（紫〜紫外線側）では透過率がかなり低下する（暗くなる）難点がある。中心部と周辺部とでも透過率が変わり、一様ではない。また、ＬＣＴＦでは、液晶の立ち上がり時間や、波長特性の切り替え処理や調整処理に時間がかかると、高速撮影が制限される。例えば、可視光領域の４００〜７００ｎｍを波長間隔１０ｎｍ毎に撮影する場合、３１枚撮影する必要があり、液晶の立ち上がり時間や波長の切り替えに約５０ｍｓ以上かかるとすると、露出条件などが満たされたとしても、秒当たり２０枚（帯域）程度しか撮影できないので、全帯域の撮影に、１．５秒以上かかってしまう等の制約がある。

（５）液晶ファブリ・ペロー・エタロン（ＬＣＦＰ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａ１ Ｆａｂｒｙ−Ｐｅｒｏｔｅｔａｌｏｎ）
液晶ファブリ・ペロー・エタロン（ＬＣＦＰ）としては、米国ＳＳＩ社（Ｓｃｉｅｎｔｉｆｉｃ Ｓｏｌｕｔｉｏｎｓ ｌｎｃ．）のものが公知である。ＬＣＦＰは、前述の多重反射を利用するファブリ・ペロー干渉フィルタの、薄膜ミラーが形成された２枚のガラス板（又は水晶板）等の間に、液晶層を封入し、両側に透明電極を形成したものである。所定の波長特性となるようにミラー間隔（ギャップ）を最適に設計するのに加え、エタロンのギャップ幅を埋める液晶層の両側電極に印加する電圧を変えることで、液晶層の屈折率ｎを変化させて、それまでピークではなかった波長に透過率ピークを与えるように変化させ、前述のファブリ・ペロー干渉フィルタにおける前述の式（４）、式（５）により、
間隔ｄ、液晶層も含む屈折率ｎを式（４）に代入して、
位相差δ＝４πｎｄｃｏｓθ／λ・・・前述式（４）
を求め、当該位相差δを式（５）に代入して、
透過率Ｔ＝（１−Ｒ）^２／｛（１−Ｒ）^２＋４Ｒｓｉｎ^２（δ）｝・・・前述式（５）
を求めることができ、フィルタの各波長における分光透過率特性を求めることができる。 あるいは、これら理論式によるシミュレーション結果又は逆算結果と、液晶の駆動電圧−屈折率特性データから、所望の透過特性となる液晶の屈折率ｎ、及び、所要の駆動電圧Ｖを求めることができ、各層フィルタを所望の分光透過率特性とすることができる。さらに、異なるミラー間隔のエタロンを多層に積層し、各層に設けた液晶層に印加する電圧を変えることで、複数層のフィルタ全てを透過する波長帯域を、所望の狭帯域の波長帯城λにチューニングすることができ、順次選択した波長帯域の光だけを撮像して、分光撮影に利用できる。ただし、液晶の特性として、この屈折率変化は偏光の直交２成分のうち、１成分のみにしか機能しないため、他方の成分はチューニングには寄与できず、この不要成分をブロックするためにＬＣＦＰと直列に偏光板を挿入する必要がある。

（６）液晶ファブリ・ペロー・エタロン（ＬＣＦＰ）の設計
分光撮影で利用するフィルタの動作波長範囲を、例えば、波長４００ｎｍ〜７００ｎｍの可視光全域とする場合、その全域において高反射率となるコーティングを、平面度の高いエタロン基板上に蒸着する必要がある。また、コーティングの反射率と透過率との相反や、エタロン面の平坦度や間隔の平行精度などから、実用的に無理なく実現できるフィネスＦには、例えば（ＳＳＩ社製ＬＣＦＰの標準品の場合）波長４００ｎｍでＦ≦８、６００ｎｍでＦ≦１０、８００ｎｍでＦ≦１２、ｉ２００ｎｍでＦ≦１５、１５００ｎｍでＦ≦２０などと、ある程度の限界がある。

所望の帯域における波長分解能（最小帯域幅）を、ＦＷＨＭ＝δλ＝５０ｎｍ、あるいは、１０ｎｍに設定したい場合、例えば、４００〜７００ｎｍの可視光域では、実現できるフィネスＦ＝８〜１０程度と考えると、前述の式（６）から、フィネスＦ＝Δｊλ／δλであるので、δλ＝５０ｎｍの場合には、ピーク波長の間隔ＦＳＲ＝Δ１λ＝δλ×Ｆ＝５０ｎｍ×８＝４００ｎｍとなり、単一のエタロンでも可視光全域で利用できるが、δλ＝１０ｎｍの場合、ＦＳＲ＝δλＸＦ＝１０ｎｍ×８＝８０ｎｍとなり、帯域内で３〜４個のピーク波長が同時に透過されてしまうことになり、３〜４個の次数分離フィルタを必要とする。また、フィネスの点からは所望のＦＳＲが可能であっても、種々のギャップ幅（ミラー間隔）に対するＦＳＲと波長λの関係から、例えば、実現できるエタロンの最小ギャップ幅が３μｍの場合、単一エタロンでは、可視光全域ではＦＳＲは３０〜８０ｎｍ程度しか得られないので、次数分離フィルタが４〜１０個程度必要になることがわかる。このような場合、複数のエタロンを組み合わせた多層のＬＣＦＰを利用する。

（７）多層のＬＣＦＰ
複数のエタロンを直列に組み合わせて使う場合、ギャップ幅の大きな方の第１エタロン（波長分解エタロン）が、系全体の透過幅を規定し、ギャップ幅の小さな方の第２エタロン（次数抑制エタロン）がＦＳＲを規定する。系全体のＦＳＲは、両エタロンのＦＳＲの比に依存する。第１エタロンのＦＳＲ_１と、第２エタロンのＦＳＲ_２との整数比が、Ｂ／Ａで表現できるとすると、
ＦＳＲ＝Ａ×ＦＳＲ_１＝Ｂ×ＦＳＲ_２・・・式（１２）
Ｂ＝１の場合は、第２エタロンのＦＳＲ_２そのものが全体系のＦＳＲになる。それ以外なら、全体系のＦＳＲは次数抑制エタロンのＦＳＲ_２よりもＢ倍だけ大きくなる。式（１２）から、２台のエタロンを組合せた系では、波長分解エタロンのＦＳＲはＡ倍に拡大し、全体系のＦＳＲの中に存在できる透過帯の総数も、Ａ倍（ＦＳＲ拡大係数）に拡大することができる。

次数分離フィルタの数を最少にするためには、液晶のチューナブルレンジ（屈折率の変化範囲）よりも大きくならない範囲で、エタロンのＦＳＲを最大化することが必要である。例えば、ギャップ幅３μｍのエタロンでは、可視光域（４００４ｍ〜７００ｎ面が１０個の次数で満たされるが、ギャップ幅６μｍと、７．４μｍのエタロンを組み合わせると、得られるＦＳＲは、ギャップ幅３μｍの単体エタロンの２倍、ギャップ幅１．５μｍの単体エタロンに相当するものが実現できる。

［撮像素子６０］
従来のように、撮像素子６０をＣＣＤで構成する場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のＣＣＤ転送路によって順繰りに転送され、出力回路で初めてＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）アンプにより信号電圧に増幅されて出力される。ＣＣＤから出力された撮像信号は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプル）回路でノイズ除去及びサンプル＆ホールド処理され、ＡＧＣ（自動利得制御）アンプで増幅され、ＡＤＣ（Ａ／Ｄ変換器）でデジタル撮像信号に変換され、ＤＳＰ（信号処理回路）に出力される。

一方、撮像素子６０をＣＭＯＳイメージセンサで構成する場合には、一般的なＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｅ１ Ｓｅｎｓｏｒ、増幅型画素センサ）型のＣＭＯＳセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内のアンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧又は電流として取り出すことができる。ＣＣＤのように順番に取り出さなくとも、ＣＭＯＳセンサでは、任意の画素や領域の撮像信号だけを任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合などに高速で読み出せる。また、ＣＣＤでは信号電荷をそのまま転送するのでスミアやノイズに弱いが、ＣＭＯＳセンサでは、画素毎にランダムアクセスで読出せ、各面素回路は電気的に分離しているので伝送ノイズに強く、また同じＣＭＯＳ製造プロセスにてイメージセンサの周辺に、加算演算回路など論理回路や信号処理回路を高集積化して一緒に作りこめる利点がある。

反面、ＣＭＯＳセンサでは、画素毎のアンプの闇値など、個々の素子バラツキによる固定パターンノイズ（ＦＰＮ）や暗電流、ｋＴＣ雑音が大きい難点があったが、今日においては、（ＣＣＤと同様に）埋め込みフォトダイオードとＦＤアンプを用いる構造にして、暗電流とＫＴＣ雑音を低減できるようになった。また、列信号線毎に並列に並んだ列回路に設けたＣｏｌｕｍｎ型ＣＤＳ／ＡＤＣ回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズ（ＦＰＮ）を除去できるようになり、列回路毎に積分型や巡回型、逐次型などのＡＤ変換器を組み込んで、デジタル信号での撮像信号出力もできるようになった。

（１）高速イメージセンサ
本実施の形態に係るデジタルカメラ１に用いる撮像素子では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるように、図１３に示す撮像素子２００を用いることが好ましい。すなわち、この撮像素子２００は、タイミング発生回路２０１に接続された垂直走査回路２０２と水平走査回路２０３及び列回路部２０４を備えるとともに、並列直列変換部２０４、符号器２０５を有している。列回路部２０４には、ＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７、画素加算回路２０８を一組とする回路が複数設けられて、各々列信号線２０９が接続されている。一方、垂直走査回路２０２には、行選択線（アドレス線）２１０と転送ＴＣ線（行読出し線）２１１及び行リセット線２１２とが接続されている。また、イメージセンサ部２１３には、複数の単位画素回路２１４が設けられており、各単位画素回路２１４は、前記列信号線２０９、行選択線（アドレス線）２１０、転送ＴＣ線（行読出し線）２１１、行リセット線２１２に接続されたフォトダイオード２１５等で構成されている。

したがって、この撮像素子２００においては、列回路部２０４のＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７の後段に隣接する同色（フィルタ）の複数の画素の信号同士をデジタル信号で加算する画素加算回路２０８を設けることにより、デジタルズーム時には、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号を読出しできるように構成し、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようにしてある。

なお、選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部２０４のＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７から水平走査回路２０３の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力するか、若しくは、並列のデジタル信号を符号化し、並列／直列変換回路により変換して、直列のデジタル撮像信号として出力して、高解像度の撮像信号を、ＤＳＰに高速フレームレートで転送出力することができる。

（２）ＣＤＳ／ＡＤＣ回路と加算回路
特開２００５−２７８１３５号公報には、積分型のＡＤＣ回路を、列並列のＡＤＣ比較器とアップ／ダウンカウンタを用いてＣＤＳ／ＡＤＣ回路として構成して、デジタル衆値をメモリ部に書き込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせると目算器なしで画素加算演算を行えるようにしたＣＭＯＳイメージセンサが開示されている。したがって、本実施の形態におけるイメージセンサ部６３として、前記ＣＭＯＳイメージセンサを用いてもよい。

（３）撮像信号の高速読み出し
通常読み出し、又は加算読み出しされた撮像信号のデジタル信号は、並列／直列変換回路で順次シリアル（直列）のデジタル信号に変換されて出力されＤＳＰに転送される。高解像度、高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でＤＳＰに転送する必要がある。一般のＣＭＯＳ入出力回では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなり転送できる速度も遅くなってしまう。これに対し、例えば、ＣＭＬ系（Ｃｕｅｎｔ Ｍｏｄｅ Ｌｏｇｉｃ、電流モードロジック）の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をｏｎ／ｏｆｆさせる方法で、（ｖｄｄ−０．４Ｖ）の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。また、ＬＶＤＳ系（Ｌｏｗ−ｖｏｌｔｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ、小振幅差動信号方式）は、２本の信号線を使って情報を運ぶ差動信号式で、単一チャネルあたり数百〜数千Ｍｂｐｓ（メガビット／秒）の高速度でデータ伝送でき、かつ、ｍＷレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数も減らせるため、モニタ表示装置とＰＣ本体等とのデジタル入出力インタフェースとして利用されている。

ＬＶＤＳ（小振幅差動信号方式）では、電流モード・ドライバの採用と、＋１．２Ｖ電位を中心に０．３Ｖの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。ＣＭＯＳ回路でも、高速でシリアル伝送でるＣＭＬ系やＬＶＤＳ系など低振幅や差動信号方式の入出力インタフェースを用いて、また、直列（シリアル）信号に変換されたデジタル撮像信号を撮像素子の出力回路（トランシーバー）から出力して、少ない端子数でも後段のＤＳＰ（映像信号処理回路）へ高速で伝送し、ＤＳＰ側の入力回路（レシーバー）では、受信した直列デジタル信号を並列／直列変換回路で並列デジタル信号に復変換して、デジタル撮像信号として映像信号処理に用いることができる。

例えば、１０ビットパラレルのＬＶＤＳ出力を搭載すると、９００×２２００画素＝約６００万両素、各画素当たり１０ビットの撮像信号も、画素レート約４００ＭＨｚの速で転送出力すると、約６００万両素の高解像度でも、秒当たり６０フレーム（６０ｆｐｓ）以上の高速で、ＤＳＰに転送出力できる。同様に、垂直５×加算読み出し、又は、垂直１／５間引を行なってデータ圧縮した場合（約６００万÷５＝約１２０万両素）には、同レートでは、約３００ｆｐｓ当の高速で転送出力できることになる。

（４）高速ＤＳＰ
図１に示したように、ＣＭＯイメージセンサ内蔵のＣＤＳ／ＡＤＣ回路でデジタル変換され、並列又は直列のデジタル信号で高速転送された撮像信号を入力すると、ＤＳＰ（デジタル信号処理回路）では、まずシェーディング正や黒レベル補正、欠陥画素補正など前処理を行った後、デジタルＡＧＣ回路で増幅するとともに、ホワイトバランス調整やカラーバランス調整を行う。通常のＲＧＢ３色カラーの撮像素子の場合には、撮像素子の前面に設けられたモザイク状のＲＧＢカラーフィルタ配列に従って、画素毎には一つの色分しか持たないＢａｙｅｒデータから、他の色差成分の画素値も、近隣周辺の画素値等から画素関して求めて、面素毎にＲＧＢ各色差成分の階調値を持つデジタル画像データに変換するラー補間処理などを行うが、本例の高速度分光撮影カメラでは、撮像素子に画素のカラーフィルタを設けずに、撮像素子の全面素で同時に受光し、順次フィルタの透過波長特性を切り替えながら、高速で連続撮影した波長帯域毎の分光画像を撮影する。

また、波長帯域毎の分光特性バラツキなどを補正した後、各面素の３刺激値Ｒ、Ｇ、Ｂを算出して、全波長帯域でマルチプレーン加算合成して、また、通常のＲＧＢなどの空間座標の広帯域の画像信号に変換（ＲＧＢ信号への変換処理）することができる。さらに、以降は、通常のカラーフィルタ付き撮像素子による撮像信号の信号処理と同様に、ＲＧＢ系のデジタル画像信号は、階調補正やガンマ補正され、バッファメモリ（Ｂ）８１に一時記憶された後、ＬＣＤモニタや電子ファインダ（ＥＶＦ）に再生表示されるか、カラーマトリクス回路７５でＲＧＢ系からＹＵＶ系／ＹＣｂＣｒ系など所定の色空間の画像信号に変換され、画像ＣＯＤＥＣ８２により、ＪＰＥＧ静止画像データやＭＰＥＧ４や、Ｈ．２６４動画像データなどに圧縮／符号化処理され、メモリカード媒体２５などに保存記録される。また、必要に応じて、表示サイズや所の記録画像サイズなどに応じて、リサイズ（Ｒｅｓｉｚｅ）、若しくは、補間処理（ｌｎｔｅｒｐｏｌａｔｉｏｎ）、縮小／拡処理など、撮像画像サイズを異なる画像サイズに変換する解像度変換処理などを行う。

（５）カラー画像の撮影プロセス
一般に、波長（λ）における３次元空間座標（ｘ，ｙ，ｚ）の時間（ｔ）における、ある反射物体の分光反射率の関数をＯ（ｘ，ｙ，ｚ，ｔ，λ）で表すと、この物質を、分光放射率Ｅ（λ）の光源で照明して、分光透過率Ｔ_Ｌ（λ）のレンズを通して結像し、分光透過率Ｔ_Ｆｉ（λ）のフィルタ、分光感度Ｓ（λ）を有する撮像素子のカメラで撮影するとき、カメラの撮像出力である２次元画像Ｖｉ（ｘ，ｙ）は、次式で表すことができる。
Ｖｉ（ｘ，ｙ）＝∫∫∫Ｔ_Ｌ（λ）Ｔ_Ｆｉ（λ）Ｓ（λ）ｔ（ｔ）Ａ（ｚ）Ｏ（ｘ，ｙ，ｚ，ｔ，λ）Ｅ（λ）ｄλｄｔｄｚ・・・式（１３）
（ただし、ｔ（ｔ）：露光時間、Ａ（ｚ）：レンズによる結像関数（３次元−２次元変換関数））。

カメラでは露出時間ｔも所定時間ＯＮ／ＯＦＦの矩形関数近似できるので、ここでは、色の再現性に注目して、座標軸や時間関数、レンズ結像関数などを略化して考えると、
Ｖｉ（ｘ，ｙ）＝∫Ｔ_Ｌ（λ）Ｔ_Ｆｉ（λ）Ｓ（λ）Ｏ（ｘ，ｙ，λ）（λ）ｄλ・・・式（１４）
となる。

従来の３原色に基づくＲＧＢの３バンド画像の場合には、上記式で、ｉ＝Ｒ，Ｇ，Ｂで、分光透過率Ｔ_Ｆｉ（λ）は、それぞれ、Ｔ_ＦＲ（λ），Ｔ_ＦＧ（λ），Ｔ_ＦＢ（λ）のカーフィルタである。

本実施の形態に係る分光カメラ（デジタルカメラ１）や、狭帯域毎の分光画像の場合にはバンド番号ｉ＝１，２，・・・，ｎとすると、分光透過率Ｔ・（λ）が、それぞれ、Ｔ_Ｆ１（λ），Ｔ_Ｆ２，・・・，Ｔ_Ｆｎ（λ）の狭帯域バンド毎のフィルタに相当する。（なお上記式で、反射物体と光源のＯ（λ）Ｅ（λ）の代わりに、物体の分光放射輝度Ｏｅ（λ）に置き換えると、放射物体の場合にも同様に扱える。）

（６）３原色による色再現
一般に、色再現では３色の分解像Ｖ_Ｒ、Ｖ_Ｇ，Ｖ_Ｂを、例えば、ＣＩＥ−ＸＹＺ表色系における等色関数ｘ￣（λ），ｙ￣（λ），ｚ￣（λ）などを用いて、元の物体の３刺激値（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）が、下記の（Ｘ_Ｏ，Ｙ_Ｏ，Ｚ_Ｏ）と対応するような、所謂測色的な色再現が行われている。
Ｘ_Ｏ＝Ｋ_Ｏ∫Ｏ（λ）Ｅ（λ）ｘ￣（λ）ｄλ、
Ｙ_Ｏ＝Ｋ_Ｏ∫Ｏ（λ）Ｅ（λ）ｙ￣（λ）ｄλ、
Ｚ_Ｏ＝Ｋ_Ｏ∫Ｏ（λ）Ｅ（λ）ｚ￣（λ）ｄλ、・・・式（１５）
ここで、Ｋ_Ｏ＝１００［％］／｛∫Ｅ（入）ｙ￣（λ）ｄλ｝、

また、記録された画像をハードコピーとして、別の分光放射率の照明光源Ｅ′（λ）で観察する場合も、光源Ｅ（λ）をＥ′（λ）に、物体の分光反射率Ｏ（λ）を、画像の分光反射率（又は、分光濃度）Ｏ′（λ）に置き換えると、３刺激値（Ｘ_ｈ，Ｙ_ｈ，Ｚ_ｈ）は次式で表される。
Ｘ_ｈ＝Ｋ∫Ｏ′（λ）Ｅ′（λ）ｘ￣（λ）ｄλ、
Ｙ_ｈ＝Ｋ∫Ｏ′（λ）Ｅ′（λ）ｙ￣（λ）ｄλ、
Ｚ_ｈ＝Ｋ∫Ｏ′（λ）Ｅ′（λ）ｚ￣（λ）ｄλ、・・・式（１６）
ここで、Ｋ＝１００［％］／｛∫Ｅ′（λ）ｙ￣（λ）ｄλ｝、

フィルムや写真、印刷などのハードコピー、又は、電子ディスプレーなど、個々に表現形式や変換行列又はＬＵＴ（Ｌｏｏｋｕｐ Ｔａｂｌｅ、変換表）は異なっても、上記と同様に考えることができる。このように、式（１５）、（１６）からも明らかなように、物体、画像の３刺激値は、照明光源の分光放射率Ｅ（λ）、Ｅ′（λ）などに依存することになる。

（７）分光画像の色表現
本実施の形態のような分光画像の場合も式（１４）から、
Ｖｉ（ｘ，ｙ）＝∫Ｔ_Ｌ（λ）Ｔ_Ｆｉ（λ）Ｓ（λ）Ｏ（ｘ，ｙ，λ）（λ）ｄλ・・・前式（１４）
（ただし、ｖｉ（ｘ，ｙ）：２次元画像、Ｅ（λ）：光源の分光放射率、Ｔ_Ｌ（λ）：撮影レンズの分光透過率、Ｔ_Ｆｉ（λ）：ｉ番目のフィルタの分光透過率、Ｓ（λ）撮像素子の分光感度、Ｏ（ｘ，ｙ，λ．）：物体の分光反射率である。

（８）広帯域画像への変換
得られた複数枚の分光画像データを高速で転送入力したＤＳＰでは、各波長帯λｉにおける画の輝度信号Ｖ（ｘ，ｙ；λｉ）を、帯域毎の撮影レンズや干渉フィルタ等の分光透過率Ｔ（λｉ）、撮像センサの分光撮像感度Ｓ（λｉ）など、実際のカメラの分光特性や固体バラツキデータ等予めカメラ内のメモリに記憶しておき、実際の分光特性Ｔ（λｉ）や、Ｓ（λｉ）と、理想の分光特性（透過率１００％）や標準の分光透過率Ｔ_０（λｉ）や分光感度Ｓ_０（λｊ）との比率で除算する、又は、比率の逆数を波長帯域（λ）毎の変換係数として乗算することにより、波長帯域別の感度性バラツキが補正された分光画像Ｖ′（ｘ，ｙ；λｉ）を得る。つまり、
Ｖ′（ｘ，ｙ；λｉ）＝Ｖ（ｘ，ｙ；λｉ）×｛Ｔ_０（λｉ）／Ｔ（λｉ）｝×｛Ｓ_０（λｉ）／Ｓ（λｉ）｝・・・式（１７ａ）
又は、
Ｖ′（ｘ，ｙ；λｉ）＝Ｖ（ｘ，ｙ；λｉ）×｛１／Ｔ（λｉ）｝×｛１／Ｓ（λｉ）｝・・・式（１７ｂ）

また、補正された分光画像Ｖ′（ｘ，ｙ；λｉ）に対して、さらに、各分光画像の波長帯域（λｉ）毎におけるｒ￣（λｉ）、ｇ（λｉ）ｂ￣（λｉ）など等色関数などを乗算して、各面素（ｘ、ｙ）毎のＲ、Ｇ、Ｂなどの３刺激値を求め、各分光画像をＲＧＢカラーデタに変換し、
Ｒｉ（ｘ、ｙ）＝Ｖ′（ｘ，ｙ；λｉ）×ｒ￣（λｉ）、
Ｇｉ（ｘ、ｙ）＝Ｖ′（ｘ，ｙ；λｉ）×ｇ￣（λｉ）、
Ｂｉ（ｘ、ｙ）＝Ｖ′（ｘ，ｙ；λｉ）×ｂ￣（λｉ）、・・・式（１８）

さらに、ＤＳＰ内のマルチプレーン加算回路により、各波帯域（λｉ）の各面素（ｘ、ｙ）のＲＧＢ値をそれぞれ加算合成して、ＲＧＢなど広帯域カラーの画データに変換することができる。
Ｒ（ｘ，ｙ）＝ΣｉＲｉ（ｘ，ｙ）、
Ｇ（ｘ，ｙ）＝ΣｉＧｉ（ｘ，ｙ）、
Ｂ（ｘ，ｙ）＝ΣｉＢｉ（ｘ，ｙ）、・・・式（１９）

また、標準モニター等のガンマ特性に合わせて、諧調補正やガンマ補正を行ったり、各画素（ｘ、ｙ）毎のｒｇｂ色度値やＹＵＶ（ＹＣｒＣｂ）信号など、他の色空間座標に変換して出力してもよい。このようにして、複数の波長帯域の殆ど同じタイミングとなる微小時間内で高速速写された分光画像を高速に読み出し、加算合成して、色再現性の高い高解像度からなる１枚の広帯域画像データを生成し、出力又は記録できる。

（他の実施の形態）
図１４は、前記ステップＳ４及びステップＳ１５で実行される分光スルー画像の映像処理、分光特性データの取得処理の他の実施の形態における処理例（処理例（２））を示すフローチャートである。先ず、ユーザーによる操作入力部２２での操作に応じて、分光フィルタ５９の波長帯域（λｉ）と、その帯域数（ｎ）とを設定するとともに（ステップＳ４０１）、スルー映像の読み出し更新周期（Ｔｒ）を設定する（ステップＳ４０２）。次に、前記帯域数（ｎ）からなるで構成される波長帯域において、最初の波長帯域（λｉ＝λ１）を選択する（ステップＳ４０３）。この最初の波長帯域（λｉ＝λ１）は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。

そして、電子制御フィルタ（分光フィルタ５９）に、所定の駆動信号を加えて、透過波長帯域を前記ステップＳ４３で選択した波長帯域λ１に設定する（ステップＳ４０４）。引き続き、高速ドラフトモード又はスルー映像読み出しモードで撮像素子６０を駆動する（ステップＳ４０５）。そして、設定された読み出し周期時間（Ｔｒ）が経過したか否かを判断し（ステップＳ４０６）、経過したならば次のステップＳ４０７に進む。したがって、ステップＳ４０４〜Ｓ４１５のループは、読み出し周期（Ｔｒ）毎に繰り返される。そして、ステップＳ４０６に続くステップＳ４０７では、透過波長帯域（λｉ）のスルー映像信号Ｖ（ｘｙ；λｉ）を読み出す（ステップＳ４０７）。

引き続き、各波長帯域（λｉ）の映像信号における、設定被写体枠（Ｋ＝１〜Ｌ）の輝度値を、被写体の分光特性データ列Ｖｏ（ｋ；λｉ）、（ｋ＝１〜Ｌ）として、順次データメモリ２４に記憶する（ステップＳ４０８）。また、スルー映像信号Ｖ（ｘ，ｙ；λｉ）を、波長帯域（λｉ）毎に、レンズやフィルタの透過率Ｔ（λｉ）、撮像素子の感度Ｓ（λ）などに応じて補正する（ステップＳ４０９）。この補正は、下記例次式により行う。
Ｖ（ｘ，ｙ；λｉ）＝Ｖ（ｘ，ｙ；λｉ）×｛Ｔ_０（λｉ）／Ｔ（λｉ）｝×｛Ｓ_０（λｉ）／Ｓ（λｉ）｝
ここで
Ｖ（ｘ，ｙ；λｉ）：輝度信号
Ｔ（λｉ）：帯域毎の撮影レンズや干渉フィルタ等の分光透過率
Ｓ（λｉ）：撮像センサの分光撮像感度
Ｔ_０（λｉ）：理想の分光特性（透過率１００％）や標準の分光透過率
Ｓ_０（λｊ）：理想の分光感度や標準の分光感度。

次に、疑似カラー表示に設定されているか否かを判断する（ステップＳ４１０）。疑似カラー表示に設定されている場合には、各画素の輝度値Ｖ（ｘ，ｙ；λｉ）に、疑似カラー変換関数ｒ′（λｉ）、ｇ′（λｉ）、ｂ′（λｉ）を乗算して、下記式に示すように、擬似的に３刺激値Ｒ，Ｇ，Ｂを得る（ステップＳ４１１）。
Ｒｉ（ｘ、ｙ）＝ｒ′（λｉ）・Ｖ（ｘ，ｙ；λｉ）、
Ｇｉ（ｘ、ｙ）＝ｇ′（λｉ）・Ｖ（ｘ，ｙ；λｉ）、
Ｂｉ（ｘ、ｙ）＝ｂ′（λｉ）・Ｖ（ｘ，ｙ；λｉ）。

また、疑似カラー表示が設定されておらず、トゥルーカラー表示が設定されている場合には、前述したステップＳ１１２と同様にスルー映像の各画素の輝度値Ｖ（ｘ，ｙ；λｉ）に、等色関数を乗算して、３刺激値Ｒ，Ｇ，Ｂを得る（ステップＳ４１２）。

そして、ステップＳ４１１又はステップＳ４１２に続くステップＳ４１３では、各波長帯の分光画像の各画素のＲ，Ｇ，Ｂを順次加算して、バッファメモリ（Ｂ）８１に記憶する。

したがって、バッファメモリ（Ｂ）８１には、読み出し周期時間（Ｔｒ）毎に、各波長帯の分光画像の各画素のＲ，Ｇ，Ｂが順次加算されて更新されていく。

次に、帯域数ｎ枚の分光画像を撮影済みか否か、つまりｉ≧ｎとなったか否かを判断する（ステップＳ４１４）。ｉ≧ｎとなっていなければ、ｉをインクリメントして（ｉ＝ｉ＋１）、このｉの値により示される次の波長帯域（λｉ）を選択し（ステップＳ４１５）、ステップＳ４０４からの処理を繰り返す。したがって、ステップＳ４０４〜Ｓ４１４の処理は、ｎ回繰り返される。

そして、ステップＳ４１４の判断がＹＥＳになると、被写体枠（ｋ）の分光特性データ列Ｖｏ（ｋ；λｉ）（ｋ＝１〜Ｌ、ｉ＝１〜ｎ）を出力する（ステップＳ４１６）。また、ＲＧＢ変換されたスルー映像信号を表示部８５に出力する（ステップＳ４１７）。次に、分光特性の表示機能がオンとなっているか否かを判断する（ステップＳ４１８）。オンとなっている場合には、分光特性データ列Ｖｏ（ｋ；λｉ）に基づいて、分光特性グラフを、ＯＳＤ（ｏｎ−ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）レイヤーに描画し（ステップＳ４１９）、スルー映像の被写体像に重ねて、ＯＳＤレイヤーの分光特性グラフを重畳（又は合成）表示する（ステップＳ４２０）。

したがって、このステップＳ４２０での処理により、図１５に示すように、表示部８５には被写体のスルー映像８５１の一部に分光特性グラフ８５２が表示される。よって、ユーザーがこの分光特性グラフ８５２を視認することにより、撮影しようとしている被写体の分光特性を知ることができる。

また、材質の判別及び表示機能がオンに設定されているか否かを判断する（ステップＳ４２１）。オンに設定されている場合には、被写体枠（ｋ）の分光特性データ列Ｖｏ（ｋ；λｉ）に基づいて、被写体枠（ｋ）内の材質や被写体の種類を判別する（ステップＳ４２２）。なお、このステップＳ４２２の処理内容については、後述する。

次に、スルー映像の被写体像に重ねて、判別した材質や被写体の種類を重畳（又は合成）表示する（ステップＳ４２３）。したがって、このステップＳ４２３での処理により、図１５に示すように、表示部８５に複数の被写体枠８５３に各々対応して「髪／Ｈａｉｒ」、「肌／Ｓｋｉｎ」等の判別した材質や被写体の種類の表示８５４がなされる。よって、ユーザーがこの判別した材質や被写体の種類の表示８５４を視認することにより、被写体の材質や種類に応じて構図を変更したり、撮影条件を手動設定することができる。

次に、前記ステップＳ４２２で実行される被写体の材質や種類の判別について説明する。

（１）参照群の分光特性の設定範囲と比較
長帯域における当該被写体の分光反射率が、いずれも参照群の下限〜上限の範囲内にあるか否か評価する。例えば、前記図８（ａ）に示す人間の肌の分光反射率特性をプログラムメモリ２３に記憶しておき、被写体枠（ｋ）の分光特性データ列Ｖｏ（ｋ；λｉ）（ｋ＝１〜Ｌ、ｉ＝１〜ｎ）が分光反射率の上限と下限の範囲内であれば、人の肌と判断する。これにより、迅速かつ精度よく人の肌を判断することができる。

（２）参照群との類似度／相関係数
被写体の分光特性データ（分光特性データ列Ｖｏ（ｋ；λｉ）（ｋ＝１〜Ｌ、ｉ＝１〜ｎ）と、予めプログラムメモリ２３に記憶させておいた複数の参照群の分光特性データとの類似度（又は相関係数）を順次算出して、最も類似度や相関の高かった参照群を、当該被写体や材質の種類と判別する。例えば、前記図９及び図１０は、各種素材における分光反射率の例であり、これをプログラムメモリ２３に記憶させておく。

図９（ａ）は、地表における（１）草原、（２）松林などの森林、（３）砂地、（４）泥水や河川湖沼の水、・・・などの各分光反射率特性の例で、被写体の分光分布と参照群の分光分布とを比較して、例えば、波長７００〜７５０ｎｍあたりから反射率に急な立上り領域（リモートセンシングでは「レッドエッジ」と呼ばれる）があれば、遠くの小さな被写体でも、植物や植生であると推定できるなど、被写体や素材、材質、植生の種類などを判別できる。あるいは、人工衛星からのリモートセンシング等で用いられる、次式のＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ ｖｅｇｅｔａｔｉｏｎ ｌｎｄｅｘ、正規化植生指数）などの植生指数、若しくは、近赤外帯域の分光映像信号と赤色帯域の分光映像信号の差など、帯域別の分光輝度の差や比などを計算して、植生や素材を判別するようにしてもよい。

また、９図（ｂ）は、市街地における建造物や地面などの材質による分光反射率特性、すなわち、（１）壁面（白色塗装）、（２）壁面（ＲＣコンクリート打ち放し）、（３）壁面（灰色タイル）、（４）壁面（灰色石材）、（５）地面（濃灰色タイル）、（６）壁面（レンガタイル）、（７）壁面（スチールパネル）、（８）壁面（アルミパネル）、（９）地面（黒色石材）、・・・などの分光反射率を示す。このような分光特性の参照群と比較することで、最も類似するパターンや相関の高い参照群の材質が、当該被写体の材質であると推定判別できる。

図１０（ａ）は、各種フルーツの分光反射率の例で、図１０（（ｂ）は、ほぼ同じ「赤色」に見えるりんごと、パプリカ、トマトの分光反射率の比較である。ＲＧＢなど３原色では区別が難しいが、６００〜６５０ｎｍ近辺における分光反射率の凹みの大きさ等から、このような類似色でも明確に識別できる。

（３）最小二乗法
被写体の分光特性と参照群の分光特性との二乗誤差（誤差の二乗和）を算出して、違い（差の二乗誤差）の大きさで判別する。

（４）共分散行列パターンの比較
ｎ帯域の被写体の分光特性の共分散行列をの類似度や相関などを算出して、シーン識別することができる。例えば、図１６は（ａ）絵の具、（ｂ）人の肌、（Ｃ）花の各シーンにおける分光反射率（分光反射率の集合）と、分光反射率集合の共分散行列、主成分ベクトルの例である。図１６の各シーンでは、異なる分光反射率の被写体が混在したり、異なるシーンでも類似する被写体が含まれたりするが、分光反射率集合の共分散行列パターンを見ると、シーン毎の特徴で区別できる場合が多いので、シーンの識別に利用できる。

（５）主成分分析法
シーンの分光反射率特性から、その共分散行列や相関行列などを用いて、主成分ベクトルを求め、参照群の主成分ベクトルと比較して類似度や相関を評価する。また、被写体の分光特性を図１６のような各シーンの参照群の主成分ベクトルの合成で近似し、第１〜３次の）主成分による累積寄与率を算出して、累積寄与率の割合が大きい参照群が、当該被写体のシーンであろうと推定できる。

（６）分光放射率
図１７は、「太陽光＋天空光」の混合と見なせる日向と日陰の分光分布の例を示す。これをプログラムメモリ２３に記憶させておくことにより、日向と日陰の分光分布から、太陽光と天空光の分光放射特性を推定算出できる。
・日向の分光分布：Ｃｓｕｎ（λ）＝Ｒ（λ）（Ｅｓｋｙ（λ）＋Ｅｓｕｎ（λ））、
・日陰の分光分布：Ｃｓｈａｄｅ（λ）＝Ｒ（λ）Ｅｓｋｙ（λ）、とすると、
・天空光の分光放射特性：Ｅｓｋｙ（λ）＝Ｅｓｕｎ（λ）・Ｃｓｈａｄｅ（λ）／｛Ｃｓｕｎ（λ）−Ｃｓｈａｄｅ（λ）｝

また、図１８に、各種の光源の分光放射率特性の例を示す。分光反射率の代りに、このような分光分布や分光放射率から、例えば、日向の領域、日陰の領域、天空（空）の領域などを識別したり、朝日、夕日、逆光などのシーンを識別するようにしてもよい。

また、図１９に、各種劣化や退色による分光反射率の例として、（ａ）温州ミカンの分光反射率と熟成度、（ｂ）豚肉の分光反射率と鮮度、（ｃ）黄檗（きはだ）染色布の退色変化、（ｄ）イチョウの枯葉の分光反射率を示す。

したがって、（ａ）温州ミカンの分光反射率と熟成度データをプログラムメモリ２３に記憶させておくことにより、ステップＳ４２２の処理で温州ミカンの熟成度を表示部８５に表示させることができる。また、（ｂ）豚肉の分光反射率と鮮度データをプログラムメモリ２３に記憶させておくことにより、ステップＳ４２２の処理で豚肉の鮮度を表示部８５に表示させることができる。また、（ｃ）黄檗（きはだ）染色布の退色変化データをプログラムメモリ２３に記憶させておくことにより、ステップＳ４２２の処理で豚肉の黄檗（きはだ）染色布の退色変化を表示部８５に表示させることができ、（ｄ）イチョウの枯葉の分光反射率データをプログラムメモリ２３に記憶させておくことにより、ステップＳ４２２の処理でイチョウの枯葉状態を表示部８５に表示させることができる。
以上の方法により、当該被写体枠の分光特性と類似度や相関、評価値が高い参照群を、当該被写体やその材質の種類、あるいは、撮影シーンであると、推定や判別ができる。なお、分光特性に基づき参照群と比較する方法であれば、他の評価方法を用いてもよい。

次に、類似度の関数、共分散行列や主成分分析（ＰＣＡ）について説明する。
（１）類似度（Ｓｉｍｉｌａｒｉｔｙ）、非類似度
２つの関数ｆ（ｘ）とｇ（ｘ）の類似度や、画像ｆ（ｘ，ｙ）と参照画像ｇ（ｘ，ｙ）の類似度を求めるには、差の二乗和（残差の平方和、二乗誤差）が用いられる。

差の二乗和Ｓ＝∫［ｆ（ｘ）−ｇ（ｘ）^２ｄｘ、あるいは、
Ｓ＝∫［｛ｆ（ｘ）−ｆ^〜｝−｛（ｘ）−ｇ^〜｝］^２ｄｘ・・・（Ａ１）

なお、残差の二乗和の場合は、小さいほど類似しているので、正確には「非類似度」という。撮影光学系の分光透過率、被写体の分光反射率、光源の分光放射率、撮像素子の分光撮像感度など、各波長帯域（λ）毎の分光特性を示すｆ（λ）と参照群のｇ（λ）との類似度についても、ｘを波長λに、ｄｘをｄλにそれぞれ置き換えれば、同様である（以下も、同様）。

（２）内積（ｈｍｅｒ Ｐｒｏｄｕｃｔ）、相関係数（Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）
上式を展開すると、
Ｓ＝∫ｆ^２（ｘ）ｄｘ＋∫ｇ^２（ｘ）ｄｘ−２∫ｆ（ｘ）ｇ（ｘ）ｄｋ・・・（Ａ２）
もし、∫ｆ^２（ｘ）ｄｘと∫ｇ^２（ｘ）ｄｘが一定ならば、∫ｆ（ｘ）ｇ（ｘ）ｄｘが大きいほど、ｆ（ｘ）とｇ（ｘ）が一致することになるので、次式の内積（ｌｎｎｅｒ Ｐｒｏｄｕｃｔ）も、マッチングの尺度として使用できる。
内積Ｓ’＝∫ｆ（ｘ）ｇ（ｘ）ｄｘ・・・（Ａ３）
これを、大きさで正規化すると、次式の相関係数（Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｕｔ）が得られる。
相関係数Ｒ＝∫ｆ（ｘ）（ｘ）ｄｘ／［√｛∫ｆ^２（ｘ）ｄｘ｝・√｛∫ｇ^２（ｘ）ｄｘ｝］・・・（Ａ４）

（３）分散、標準偏差
一般に、ｎ個のサンプルに対して、平均値、分散、標準偏差、変動係数は、それぞれ、次式で表される。
平均値μσ＝Ｘ^〜＝（１／ｎ）・Σ_ｋＸ_ｋ （Σ_ｋは、Σ_{ｋ＝１〜ｎ}を表す。以下同様）
分散 σ^２＝（１／ｎ）・Σ_ｋ（Ｘ_ｋ−Ｘ^〜）^２
標準偏差（７＝√σ^２｝＝√｛（１／ｎ）・Σ_ｋ（Ｘ_ｋ−Ｘ^〜）^２｝
変動係数Ｃｖ＝σ／Ｘ^〜

（４）共分散と相関係数
２個の変数Ｘ，Ｙに対し、共分散、相関係数を次式で定義できる。
共分散 Ｃ（ｘ，Ｙ）＝σ_ＸＹ＝（１／ｎ）・Σ_ｋ（Ｘ_ｋ−Ｘ^〜）・（Ｙ_ｋ−Ｙ^〜）・・・（Ａ５）
相関係数Ｒ（Ｘ，Ｙ）＝ρ_ＸＹ＝Ｃ（Ｘ，Ｙ）／｛σ（Ｘ）σ（Ｙ）｝
＝Σ_ｋ（Ｘ_ｋ−Ｘ^〜）・（Ｙ_ｋ−Ｙ^〜）／［√｛Σ_ｋ（Ｘ_ｋ−Ｘ^〜）^２｝・√｛Σ_ｋ（Ｙ_ｋ−Ｙ^〜）^２｝］・・・（Ａ６）
Ｒ（Ｘ，Ｙ）は、−１≦Ｒ（Ｘ，Ｙ）≦１の値となる。

（５）主成分分析
主成分分析（ＰＣＡ、Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）は、多変量解析の手法の一つで、多くの変数のデータをできるだけ情報の損失なしに少数個（ｍ個）の総合的指標（主成分）で表現する手法である。Ｐ次元のデータを、ｍ次元のデータに縮約するという意味で、次元圧縮に用いることもできる。主成分分析では、データの変数間の共分散行列または相関行列を用いて、この行列の固有値問題を解き、固有値の大きい方から第一主成分、第二主成分、・・・と主成分を求めていく。これにより、相関係数を最大化するような少数の合成変数を主成分として取り出す。主成分得点（スコア）は、元のデータをこの次元で表現したものである。

（６）主成分の求め方
通常、主成分を求めるには、例えば、多数の標本データの重心を通る直
線を引く場合を考えると、この直線は適当な重みａ_ｉをつけ、
合成変数Ｚ＝ａ_１・ｘ_１＋ａ_２・ｘ_２ａ_２・・・＋ｘ_ｎａ_ｎ ・・・・（Ａ８）
となるＺを考えればよいが、各点から直線への距離が最小になるように直線を引く必要がある。このようにするには、
ａ_１＋ａ_２＋・・・＋ａ_ｎ＝１ ・・・（Ａ９）
の条件下で合成変数Ｚの分散が最大になるようにすればよい。

得られる合成変数Ｚのうち、分散が最大のものを第１主成分、その次に分散が大きく第１主成分とは無相関のものを２主成分、・・・、第Ｐ主成分、・・・という。変量がｎ個あれば、ｎ個の主成分まで求めることができるが、一般には全てを求める必要はない。各主成分の固有値をΛｐ（ラムダ）とすると、各主成分の寄与率は、寄与率＝Λｐ／ΣｉΛｉとなるが、第１主成分から当該主成分まで、寄与率を順に加えた累積寄与率が、６０％以上になるまで主成分を求める等して、省略することができる。主成分得点（スコア）の分散Ｑを最大にするａ_１・ａ_２を求めるには、いわゆる、「ラグランジュの未定乗数法」（又は、未定係数法、Ｌａｇｒａｎｇｅ −Ｍｕｌｔｉｐｌｉｅｒ Ｍｅｔｈｏｄ）を用いるか、又は、分散共分散行列か、相関行列などを用いて求めることができる。

（６−１）分散共分散行列から主成分を求める
変量が２個の時で、分散共分散行列から主成分を求める例を、以下に説明すると、標本データの分散共分散行列Ｃを、
｜Ｓ_１１ Ｓ_１２｜
Ｃ＝｜Ｓ_２１ Ｓ_２２｜ とすると、
ＣＵ＝ΛＵ（Λ：実数） ・・・ （Ａ１０）
を満たす時、Λ（ラムダ）をＣの固有値、ＵをΛに属する固有ベクトルという。

固有値Λは、主成分得点（スコア）の分散に一致する。
｜ａ_１｜
Ｕ＝｜ａ_２｜とするとき、｜Ｃ−ΛＩ｜＝Ｏ （Ｉ：単位行列） ・・・ （Ａ１１）
を固有方程式という。 この固有方程式から固有値Λを求める。
｜Ｃ−Λ｜ Ｉ＝０ ・・・ （Ａ１２）

｜Ｓ_１１ Ｓ_１２｜ ｜１０｜
｜Ｓ_２１ Ｓ_２２｜−Λ・｜０１｜＝０ ・・・ （Ａ１３）

｜Ｓ_１１−Λ Ｓ_１２ ｜
｜Ｓ_２１ Ｓ_２２−Λ｜＝０ ・・・ （Ａ１４）

（Ｓ_１１−Λ）・（Ｓ_２２−Λ）−Ｓ_１２ ^２＝０ ・・・ （Ａ１５）
となり、これから、固有値Λが求まる。
Λ＝［（Ｓ_１１＋Ｓ_２２）±√｛（Ｓ_１１＋Ｓ_１２）^２−４・（Ｓ_１１Ｓ_２２−Ｓ_１２ ^２）｝］／２ ・・・（Ａ１６）

第１主成分としては、大きい方のΛ値を採用する。

次に、固有ベクトルＵ＝｜ａ_１｜を求める。
｜ａ_２｜

｜Ｓ_１１ Ｓ_１２｜ ｜ａ_１｜ ｜ａ_１｜
｜Ｓ_２１ Ｓ_２２｜・｜ａ_２｜＝Λ・０｜ａ_２｜ ・・・ （Ａ１７）

｜Ｓ_１１・ａ_１＋Ｓ_１２・ａ_２＝Λ・ａ_１
｜Ｓ_１２・ａ_１＋Ｓ_２２・ａ_２＝Λ・ａ_２
｜ａ_１ ^２＋ａ_２ ^２＝１
よって、
ａ_１＝±Ｓ_１２／√｛（Ｓ_１２）＋（Λ−Ｓ_１１）｝
ａ_２＝±（Λ−Ｓ_１１／√｛（Ｓ_１２）＋（Λ−Ｓ_１１）｝^２ ・・・・（Ａ１９）
第１主成分の式は、Ｚ_１＝ａ_１・ｘ_１＋ａ_２・ｘ_２ であるが、
原点を０からデータの重心（ｘ_１，ｘ_２）に移動すると、
Ｚ_１＝ａ_１・（ｘ_１−ｘ^〜）＋ａ_２・（ｘ_２−ｘ^〜） ・・・ （Ａ２０）
この式を用いて主成分得点（スコア）を求めることができる。
変量がＰ個ある場合も、同様に、
ＣＵ＝ΛＵ（Λ：実数）、｜Ｃ−ΛＩ｜＝０の固有方程式を解いて固有値Λを得て、
固有値ΛをΛ_１≧Λ_２≧・・・≧Λ_Ｐ≧０とすると、
固有値の大きい方から順に、第１主成分、第２主成分、・・・、第ｐ主成分となるので、
各Λ_１に属する固有ベクトルＵを求めると、同様に、各主成分の係数を得ることができる。
最大の固有値Λ_１から、第１主成分が得られ、Λ_１に属する固有ベクトルａｉを求めて、第１主成分の式が求められる。
（第１主成分の式）： Ｚ＝ａ_１・ｘ_１＋ａ_２・ｘ_２＋・・・ａ_p・ｘ_p＋ａ₀ ・・・（Ａ２１）

同様にして、２番目に大きい固有値Λ_２から第２主成分を得ることができる。Λ_２に属する固有ベクトルａｊを求めて、第２主成分の式が求められる。
（第２主成分の式）： Ｚ_２＝ａ_１′・ｘ_１＋ａ_２′・ｘ_２＋・・・ｘ_Ｐ＋ａ_Ｐ＋ａ_０′ ・・・（Ａ２２）
以下、同様にして第ｐ主成分まで求めることができる。

共分散行列の代りに、相関行列から求める場合や「Ｌａｇｒａｎｇｅの未定乗数法」で求める場合も、同様の結果を導出できる。

上記では、標本群の重心を通る直線を例に説明したが、多次元多変数空間上で標本群を要約するベクトルを求める場合も、また、本例のように、分光反射率集合において主成分ベクトルを求める場合も、同様の考え方で求めることができる。

（６−２）分光反射率集合における主成分ベクトルについて
参照群の分光反射率を、多変数ｒ＝［ｒｌ，ｒ２ ・・・ｒＬ］^ｔとすると、
分光反射率集合の平均ベクトル、及び共分散行列は、
平均ベクトルｒ^〜＝（１／ｎ）・Σ_ｉ・ｒ_ｉ ・・・（Ａ２３）
共分散行列Ｃｒｒ＝ 集合平均＜（ｒ−ｒ^〜）・（ｒ−ｒ^〜）^Ｔ＝｛１／（ｎ−１｝・Σ・（ｒ−ｒ^〜）・（ｒ−ｒ^〜）^Ｔ ・・・ （Ａ２４）

例えば、図１８（ａ−２）〜（ｃ−２）では、波長４００〜７００ｎｍの帯域で、１０ｎｍ間隔の３１個（３１次元）の狭帯域毎の分光放射率について、共分散行列を取ったものだが、図から分かるように、共分散行列の性質から対称行列となっているが、いずれも、対角成分だけでなく、非対角成分でも比較的大きな値となり、近い波長同士でも高い相関を持づている。このため、主成分分析の手法により、少ないパラメータに圧縮しても分光反射率を正確に記述することが可能である。

主成分分析は、互いに無相関な少数個の変数に要約するのが目的であるから、得られる新しい変数の共分散行列は対角行列となる。 つまり、元の変数の共分散行列を対角化するような直行変換行列を求めればよい。
上記のｒ＝［ｒｌ，ｒ２ ・・・ｒＬ］^ｔを、互いに無関係な少数個の変数に換するための正規直交基底ベクトルをＵＩ，Ｕ２，・・・，ＵＬとすると、この２つの基底ベクトルを用いる座標変換は、
座標変換ａ＝Ｕ^Ｔ（ｒ−ｒ^〜） ・・・（Ａ２５）
ただし、Ｕ＝［ｕ１，ｕ２，・・・，ｕＬ］
無相関化によって、ａ＝［ａｌ，ａ２ ・・・，ａＬ］^Ｔの共分散行列は対角化されるとすると、
｜σ_１ ^２ ｜
｜ σ_２ ^２ ｜
共分散行列Ｃａａ＝＜ａ・ａ^Ｔ＞＝｜ ・ ｜ ・・・（Ａ２６）
｜ ・ ｜
｜ ・ ｜
｜０ σ_Ｌ ^２｜

元の変数ｒの共分散行列Ｃｒｒと、新しい変数ａの共分散行列Ｃａａとの関係は、
Ｃａａ＝＜Ｕ^Ｔ（ｒ−ｒ^〜）・（Ｕ^Ｔ（ｒ−ｒ^〜））^Ｔ＞＝Ｕ^Ｔ＜（ｒ−ｒ^〜）・（ｒ−ｒ^〜））^ＴＵ＝Ｕ^ＴＣｒｒＵ ・・・（Ａ２７）

これは、元の変数ｒの共分散行列Ｃｒｒに対する対角化に相当し、固有値問題に他ならない。つまり、ｕｌ ｕ２，・・・，ｕＬは行列Ｃｒｒの固有ベクトル、σ_１ ^２，σ_２ ^２・・・，σ_Ｌ ^２は各固有ベクトルに対応した固有値として求められる。固有値σ_１ ^２，σ_２ ^２・・・，σ_Ｌ ^２は、対角化されたデータの各変数の分散に相当する。前述の例と同様に、この固有値問題を解いた後、固有値Λ_１すなわち分散σ_ｉ ^２の大きな順に並べ替えて、第１次から、第２次、・・・と順に主成分ベクトルを求めることができる。

図２０は、本発明の他の実施の形態における被写体像の特徴抽出による被写体追従ＡＦ処理の処理手順を示すフローチャートである。すなわち、表示部８５に被写体像を表示させるとともにフォーカス枠を表示させる（ステップＳ５０１）。次に、前記フォーカス枠の周辺を特徴抽出領域として、撮像信号からフォーカス枠周辺の画像信号を取り込む（ステップＳ５０２）。引き続き、撮影シーン又は被写体の種別を選択する（ステップＳ５０３）。

このステップＳ５０３の処理に際しては、図２１（Ａ）に示すように、表示部８５に「人物」「ペット」「車」・・・等の被写体の種類８５５を表示させるとともに、カーソル８５６を表示させ、ユーザーによる操作入力部２２でのカーソル８５６の移動操作と、決定操作と応じて被写体の種類８５５からいずれかを選択することにより行う。

次に、識別方法をマニュアルで選択するか否かを判断する（ステップＳ５０４）。ユーザーによる操作入力部２２での操作によりマニュアルで選択するが決定された場合には、操作に応じて、特徴量の種別、抽出方法等を選択する（ステップＳ５０５）。このステップＳ５０５での処理に際しては、図２１（Ａ）に示すように、表示部８５に「階調」「色・柄」「輪郭」・・・等の特徴量の種別、抽出方法等８５７を表示させるとともに、カーソル８５６を表示させ、ユーザーによる操作入力部２２でのカーソル８５６の移動操作と、決定操作と応じて特徴量の種別、抽出方法等８５７からいずれかを選択することにより行う。また、ステップＳ５０４での判断の結果、マニュアルで選択するが決定されなかった場合には、撮影シーン、被写体の種別に応じて、抽出する特徴量を自動選択する。

次に、前記ステップＳ５０５又はＳ５０６で選択された特徴量の抽出処理を実行する（ステップＳ５０７）。すなわち、図２１（Ｃ）にも示すように、選択に応じて輝度、色差、階調の濃淡パターンを抽出し（ステップＳ５０８）、特定の色相、彩度等を抽出し（ステップＳ５０９）、特定の材質、分光反射率特性などを抽出する（ステップＳ５１０）。そして、この抽出した特徴データを被写体の特徴データとしてデータメモリ２４に記憶する（ステップＳ５１１）。

引き続き、ステップＳ５０７〜Ｓ５１０での処理と同様の特徴抽出処理により、フォーカス枠内の被写体の特徴を抽出する（ステップＳ５１２）。そして、このステップＳ５１２で抽出した被写体の特徴と、前記ステップＳ５１１で記憶したフォーカス枠周囲の特徴抽出領域における特徴とを比較しながら、特徴抽出領域において目標被写体を検索する（ステップＳ５１３）。

また、このステップＳ５１３にて被写体の検索に成功したか否かを判断する（ステップＳ５１４）。被写体の検索に成功している場合には、被写体像の移動を検出し、次回の移動位置を予測する（ステップＳ５１６）。また、この予測した次回の移動位置に基づき、被写体の移動に応じて、フォーカス枠を移動させ（ステップＳ５１７）、レリーズ釦の操作に応じて撮影処理を実行する（ステップＳ５１８）。しかし、ステップＳ５１４での判断の結果、被写体の検索が不成功であった場合には、フォーカス枠の追従処理を解除する（ステップＳ５１９）。

本発明の一実施の形態に係るデジタルカメラの回路構成を示すブロック図である。 シーン別撮影データテーブルの構成を示す概念図である。 本実施の形態における撮影制御の処理手順を示すフローチャートである。 図３に続くフローチャートである。 分光スルー画像表示処理、分光データ取得処理の処理手順を示すフローチャートである。 マルチプレーン加算処理の処理手順を示す説明図である。 シーン又は被写体の自動識別処理の処理手順を示すフローチャートである。 人の肌の分光反射率特性を示す特性図である。 （ａ）は地表の材質や植生による分光反射率特性、（ｂ）は壁材や建材などの分光反射率特性を示す特性図である。 （ａ）は各種フルーツ（果物）の分光反射率特性、（ｂ）は赤いフルーツの分光反射率の比較例を示す特性図である。 複数スポットの分光特性から、シーンを自動識別する説明図である。 被写体枠追従ＡＦ処理の処理手順を示すフローチャートである。 撮像素子の構成例を示すブロック図である。 分光スルー映像表示処理、分光データ取得処理の処理手順を示すフローチャートである。 表示例を示す図である。 各種シーンにおける分光反射率特性、及び（分光反射率集合の）共分散行、主成分ベクトルの例を示す図である。 太陽光と天空光の分光分布と分光放射率を示す図である。 各種光源の分光放射率特性を示す図である。 （ａ）温州ミカンの分光反射率と熟成度、（ｂ）豚肉の分光反射率と鮮度、（ｃ）黄檗（きはだ）染色布の退色変化、（ｄ）イチョウの枯葉の分光反射率を示す図である。 本発明の他の実施の形態における被写体像の特徴抽出による被写体追従ＡＦ処理の処理手順を示すフローチャートである。 同フローチャートよる処理表示遷移及び動作を示す図である。

符号の説明

１ デジタルカメラ
２ 制御回路
３ ＣＰＵ
２２ 操作入力部
２４ データメモリ
２５ メモリカード媒体
２５ 画像メモリ媒体
２８ プログラムメモリ
３２ 分光フィルタ駆動部
３４ 焦点レンズ駆動部
３５ ズーム駆動部
３６ ブレ補正駆動部
３８ シャッタ駆動部
３９ ストロボ
４０ ストロボ駆動回路
４１ ＬＥＤ
４２ ＬＥＤ駆動回路
４４ 検出回路
５８ 撮像光学系
５９ 分光フィルタ
６０ 撮像素子
６３ イメージセンサ部
６４ 水平走査部
６５ 垂直走査部
６７ ＤＳＰ部
６９ 前処理部
７１ 帯域別信号処理部
７２ マルチプレーン加算回路
７３ ＲＧＢ変換部
７４ 階調変換ガンマ補正部
７５ カラーマトリクス回路
７６ 解像度変換部
７７ コントローラ
７８ 画像認識処理部
７９ 測光処理／合焦検出／分光特性抽出処理部
８０ 画像データバス
８４ 表示駆動回路
８５ 表示部

Claims (10)

1. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
   このフィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、
   前記フィルタ手段の後方に配置され、該フィルタ手段が透過波長帯域を変化させる毎に撮像する撮像手段と、
   この撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別手段と、
   この判別手段により判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と
   を備えることを特徴とする撮像装置。
2. 前記機能実現手段は、
   前記判別手段により判別された被写体の種別に基づいて、撮影シーンを判別する撮影シーン判別手段と、
   この撮影シーン判別手段により判別された撮影シーンに応じて撮影条件を設定する設定手段と
   を備えることを特徴とする請求項１記載の撮像装置。
3. 前記撮像手段により撮像された被写体像を表示する表示手段と、
   この表示手段に表示された被写体像において主要被写体を特定する特定手段と、
   この特定手段により特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報を記憶した記憶手段とを備え、
   前記判別手段は、前記記憶手段に記憶された前記判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別することを特徴とする請求項１又は２記載の撮像装置。
4. 前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、
   前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする請求項３記載の撮像装置。
5. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
   このフィルタ手段の後方に配置された撮像手段とを備える撮像装置が有するコンピュータを、
   前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、
   前記撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別手段と、
   この判別手段により判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と
   して機能させることを特徴とする撮像装置制御プログラム。
6. 前記コンピュータを、
   前記撮像手段により撮像された被写体像を表示手段に表示させる表示制御手段と、
   この表示制御手段により表示された被写体像において主要被写体を特定する特定手段と
   して更に機能させ、
   前記判別手段は、
   予め記憶手段に記憶されており、前記特定手段により特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別する
   ことを特徴とする請求項５記載の撮像装置制御プログラム。
7. 前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、
   前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする請求項６記載の撮像装置制御プログラム。
8. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
   このフィルタ手段の後方に配置された撮像手段とを備える撮像装置の制御方法であって、
   前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御ステップと、
   前記撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づいて、被写体の種別を複数種類の中から判別する判別ステップと、
   この判別ステップにより判別された被写体の種別に応じて、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと
   を含むことを特徴とする撮像装置制御方法。
9. 前記撮像手段により撮像された被写体像を表示手段に表示させる表示ステップと、
   この表示ステップにより表示された被写体像において主要被写体を特定する特定ステップと
   を更に含み、
   前記判別ステップは、
   予め記憶手段に記憶されており、前記特定ステップにより特定された主要被写体の種類、素材、材質等の被写体の種別を判別するための判別情報と、前記主要被写体における前記連続分光情報との比較に基づき、前記主要被写体の種別を判別する
   ことを特徴とする請求項８記載の撮像装置制御方法。
10. 前記判別情報には、時間経過に伴う劣化、成熟、退色を含む被写体の状態変化を判別するための状態変化判別情報が含まれ、
    前記判別ステップは、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする請求項９記載の撮像装置制御方法。

Images