JP7261192B2 - レンズ装置、撮像装置、撮像方法、及び撮像プログラム - Google Patents

レンズ装置、撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
JP7261192B2
JP7261192B2 JP2020032002A JP2020032002A JP7261192B2 JP 7261192 B2 JP7261192 B2 JP 7261192B2 JP 2020032002 A JP2020032002 A JP 2020032002A JP 2020032002 A JP2020032002 A JP 2020032002A JP 7261192 B2 JP7261192 B2 JP 7261192B2
Authority
JP
Japan
Prior art keywords
light
spectral
wavelength
optical
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020032002A
Other languages
English (en)
Other versions
JP2021135404A (ja
Inventor
友也 平川
和佳 岡田
慶延 岸根
睦 川中子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020032002A priority Critical patent/JP7261192B2/ja
Publication of JP2021135404A publication Critical patent/JP2021135404A/ja
Application granted granted Critical
Publication of JP7261192B2 publication Critical patent/JP7261192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Lens Barrels (AREA)
  • Stroboscope Apparatuses (AREA)

Description

本発明は、マルチスペクトル画像を撮像するためのレンズ装置、撮像装置、撮像方法、及び撮像プログラムに関する。
マルチスペクトル画像を撮像するための技術に関し、例えば特許文献1には、偏光カラーフィルタ板を用いて被写体の偏光情報を取得する撮像装置が記載されている。
特開2019-75703号公報
本開示の技術に係る一つの実施形態は、良好な画質のマルチスペクトル画像を容易に取得できるレンズ装置、撮像装置、撮像方法、及び撮像プログラムを提供する。
本発明の第1の態様に係るレンズ装置は、被写体の光学像を結像させるレンズを含む光学系と、光学系の瞳位置または瞳位置の近傍に配置された光学部材であって、複数の開口領域を備える枠体と、複数の開口領域に配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、複数の開口領域に配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタと、を有する光学部材と、照明光を被写体に照射する照射装置と、光学系と、光学部材と、照射装置と、のうち少なくとも1つを制御する制御部と、を備え、制御部は、光学系から出射される光の分光特性を複数の開口領域について変更する。
第2の態様に係るレンズ装置は第1の態様において、照射装置は、複数の光学フィルタの波長帯域を含む分光特性を有する。
第3の態様に係るレンズ装置は第1または第2の態様において、分光特性は、分光強度のピーク波長、分光強度の比、及び分光強度の波長幅のうち少なくとも1つを含む。
第4の態様に係るレンズ装置は第3の態様において、複数の開口領域の開口面積のうち少なくとも1つを調整する調整機構を備え、開口面積の調整により分光強度の比を変更する。
第5の態様に係るレンズ装置は第3の態様において、複数の開口領域の開口面積のうち少なくとも1つは調整可能であり、開口面積の調整により分光強度の比が調整されている。
第6の態様に係るレンズ装置は第3から第5の態様のいずれか1つにおいて、複数の開口領域のうち少なくとも1つの開口領域に配置され、少なくとも1つの開口領域を透過する光を減光する減光フィルタを備え、減光フィルタにより、分光強度の比を変更する。
第7の態様に係るレンズ装置は第3から第6の態様のいずれか1つにおいて、複数の光学フィルタのうち少なくとも1つの光学フィルタについて、光学系の光軸とのなす角度を調整する調整機構を備え、角度の調整により分光強度のピーク波長を変更する。
第8の態様に係るレンズ装置は第3から第7の態様のいずれか1つにおいて、光学系は、入射する光を分光する第1プリズムと、分光された光のうち一部の波長帯域の光を透過させるスリットであって、開口の位置及び/または幅が変更する第1スリットと、を備え、開口の位置及び/または幅の調整により、分光強度のピーク波長及び/または分光強度の波長幅を変更する。
第9の態様に係るレンズ装置は第3から第8の態様のいずれか1つにおいて、照射装置は、入射する光を分光する第2プリズムと、分光された光のうち一部の波長帯域の光を透過させるスリットであって、開口の位置及び/または幅が変更する第2スリットと、を備え、第2プリズム及び第2スリットを通過した光を照明光として被写体に照射し、開口の位置及び/または幅の調整により、分光強度のピーク波長及び/または分光強度の波長幅を変更する。
第10の態様に係るレンズ装置は第3から第9の態様のいずれか1つにおいて、照射装置よりも被写体に近い側に配置された可動の第3スリットと、照射装置よりも被写体に近い側に配置され、透過波長帯域が連続的に変化する可動のフィルタと、を備え、制御部は、第3スリットの開口幅と、第3スリットの開口位置と、第3スリットの開口位置とフィルタとの相対的な位置関係と、のうち少なくとも1つを変化させることで分光強度のピーク波長及び/または分光強度の波長幅を変更する。
第11の態様に係るレンズ装置は第3から第10の態様のいずれか1つにおいて、照射装置は、少なくとも一部の波長帯域が異なる複数の光を照明光として被写体に照射し、照射装置が複数の光のうち少なくとも1つについて照射強度を変更することにより、分光強度の比を変更する。
第12の態様に係るレンズ装置は第3から第11の態様のいずれか1つにおいて、光学系に入射する光を長軸と短軸の長さを変えた楕円偏光にする楕円偏光機構であって、長軸の方向を変更する楕円偏光機構を備え、楕円偏光機構で長軸の方向を変更することにより、分光強度の比を変更する。
本発明の第13の態様に係る撮像装置は、第1から第12の態様のいずれか1つに係るレンズ装置と、異なる偏光方向を有する複数の偏光素子を備え、複数の開口領域のいずれかを透過した光を選択的に受光する複数の画素群を含む撮像素子と、撮像素子から出力される複数の画像信号に基づいて、複数の光学フィルタの波長帯域にそれぞれ対応する複数の画像を生成するプロセッサと、を備える。プロセッサは、生成した複数の画像のうち一または複数を合成して1つの画像を生成してもよい。また、プロセッサは複数の画像を合成してカラー画像を生成してもよい。
第14の態様に係る撮像装置は第13の態様において、レンズ装置において、枠体は3つの開口領域を備え、それぞれが3つの波長帯域の光を透過させる3種類の光学フィルタが3つの開口領域に1つずつ配置されて、合計で9つの波長帯域の光を透過させ、3つの開口領域のうち少なくとも2つに、偏光方向が異なる偏光フィルタが配置され、撮像素子において、偏光方向が異なる3種類の偏光素子のいずれかが各画素に配置され、それぞれが9つの波長帯域のうちの3つと重複する波長帯域を有する3つの光学フィルタのいずれかが各画素に配置されて、撮像素子は9つの波長帯域の光を受光し、プロセッサは9つの波長帯域にそれぞれ対応する9つの画像を生成する。
第15の態様に係る撮像装置は第13または第14の態様において、プロセッサは、複数の画像信号の感度を出力する。
第16の態様に係る撮像装置は第15の態様において、プロセッサは、感度に基づいて、撮像装置のユーザに分光特性の調整を促す情報を出力する。
第17の態様に係る撮像装置は第15または第16の態様において、プロセッサは、感度に基づいて光学系及び/または照射装置を制御する。
第18の態様に係る撮像装置は第15から第17の態様のいずれか1つにおいて、感度は、複数の画像信号の出力強度と、撮像素子から出力されるノイズと出力強度との比であるノイズ比と、のうち少なくとも1つを含み、プロセッサは、複数の光学フィルタの分光特性と、光学系の分光特性と、撮像素子の分光特性と、照射装置の分光特性と、に基づいて感度を算出する。
本発明の第19の態様に係る撮像方法は、第1から第12の態様のいずれか1つに係るレンズ装置と、異なる偏光方向を有する複数の偏光素子を備え、複数の開口領域のいずれかを透過した光を選択的に受光する複数の画素群を含む撮像素子と、を備える撮像装置の撮像方法であって、撮像素子から出力される複数の画像信号に基づいて、複数の光学フィルタの波長帯域にそれぞれ対応する複数の画像を生成する画像生成工程を有する。
第20の態様に係る撮像方法は第19の態様において、複数の画像信号の感度を出力する感度出力工程を有する。
第21の態様に係る撮像方法は第20の態様において、感度に基づいて、撮像装置のユーザに分光特性の調整を促す情報を出力する調整要求工程を有する。
第22の態様に係る撮像方法は第20または第21の態様において、感度に基づいて光学系及び/または照射装置を制御する制御工程を有する。
本発明の第23の態様に係る撮像プログラムは、第19から第22の態様のいずれか1つに係る撮像方法をコンピュータに実行させる。斯かるプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。
図1は、第1の実施形態に係る撮像装置の概略構成を示す図である。 図2は、信号処理部及び照射装置の構成を示す図である。 図3は、撮像素子の概略構成を示す図である。 図4は、レンズ装置の構成を示す図である。 図5は、光学部材の構成例を示す図である。 図6は、3波長の場合の開口領域の配置例を示す図である。 図7は、分光特性の調整の様子を示す図である。 図8は、開口面積の変更による分光強度の調整の様子を示す図である。 図9は、可変開口部材による分光強度の調整の様子を示す図である。 図10は、可変減光フィルタによる分光強度の調整の様子を示す図である。 図11は、光学フィルタの傾きを変更して分光特性を調整する様子を示す図である。 図12は、光学フィルタの傾きを変更するための構成を示す図である。 図13は、光学フィルタの傾きを変更するための構成を示す他の図である。 図14は、レンズ側のプリズム及びスリットによる分光特性の調整の様子を示す図である。 図15は、楕円偏光機構を用いた分光特性の調整の様子を示す図である。 図16は、被写体の反射率と出力光の強度との関係を示す図である。 図17は、光源の分光強度比の変更による分光特性の調整を示す図である。 図18は、光源の分光強度比の変更による分光特性の調整を示す他の図である。 図19は、光源のピーク波長、波長幅を変更することによる分光特性の調整を示す図である。 図20は、照射装置側のプリズム及びスリットによる分光特性の調整の様子を示す図である。 図21は、照射装置側のスリット及びフィルタによる分光特性の調整の様子を示す図である。 図22は、枠体に遮蔽部材を装着する様子を示す図である。 図23は、分光特性の調整及び撮像の処理を示すフローチャートである。 図24は、分光特性の調整及び撮像の処理を示す他のフローチャートである。 図25は、第2の実施形態に係る光学系に備えられるバンドパスフィルタユニットの正面図である。 図26は、第1バンドパスフィルタの透過波長特性を示すグラフである。 図27は、第2バンドパスフィルタの透過波長特性を示すグラフである。 図28は、第3バンドパスフィルタの透過波長特性を示すグラフである。 図29は、第2の実施形態に係る光学系に備えられる偏光フィルタユニットの正面図である。 図30は、イメージセンサの画素の配列の概略構成を示す図である。 図31は、各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。 図32は、第1分光フィルタ素子の透過波長特性の一例を示すグラフである。 図33は、第2分光フィルタ素子の透過波長特性の一例を示すグラフである。 図34は、第3分光フィルタ素子の透過波長特性の一例を示すグラフである。 図35は、各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。 図36は、第2の実施形態に係る撮像装置の動作の概念図である。
本発明に係るレンズ装置、撮像装置、撮像方法、及び撮像プログラムの一つの実施形態は以下の通りである。説明においては、必要に応じて添付図面が参照される。
<第1の実施形態>
<撮像装置の構成>
図1は、第1の実施形態に係る撮像装置の概略構成を示す図である。第1の実施形態に係る撮像装置10(撮像装置)はマルチスペクトル画像を撮像する撮像装置であり、レンズ装置100(レンズ装置、光学系)と、撮像装置本体200(撮像装置、撮像素子、プロセッサ)と、を備える。レンズ装置100は、レンズ100Aと、照射装置100B(照射装置)と、を備える。撮像装置本体200は、撮像素子210(撮像素子)と、信号処理部230(信号処理部、制御部、プロセッサ)と、を備える。
<画像生成部の構成>
図2は信号処理部230及び照射装置100Bの構成を示す図である。信号処理部230は、撮像素子から出力される信号にアナログ信号処理を施すアナログ信号処理部232と、画像生成部234と、係数記憶部236と、を備える。画像生成部234(プロセッサ)は、本発明に係る撮像方法をコンピュータに実行させる撮像プログラムのコンピュータ読み取り可能なコードを記録したROM(Read Only Memory)等の非一時的記録媒体(不図示)及び作業用の一時的記憶領域(不図示)を備え、撮像素子210から出力される複数の画像信号(異なる偏光方向に対応する画像信号)に基づいて、レンズ100Aに配置された複数の光学フィルタの波長帯域にそれぞれ対応する複数の画像を生成する。画像生成部234は、波長帯域λ1,λ2,λ3の画像(3バンドのマルチスペクトル画像)を生成することができる。また、画像生成部234は、感度の算出、分光特性の調整を促すメッセージの出力、分光特性の調整等を行う(後述)。
上述した画像生成部234の機能は、各種のプロセッサ(processor)及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。各機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのコンピュータ(例えば、画像生成部234を構成する各種のプロセッサや電気回路、及び/またはそれらの組み合わせ)で読み取り可能なコードをROM等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。
撮像装置10は、不図示のシャッタレリーズスイッチ等から撮影指示入力を受け付けると、撮像素子210における露光制御を行う。この露光制御により撮像素子210の受光面に結像された被写体の光学像は、撮像素子210により電気信号に変換される。撮像素子210の各画素には、フォトダイオード212に入射する光の光量に応じた電荷が蓄積され、撮像素子210からは各画素に蓄積された電荷量に応じた電気信号が画像信号として読み出され、出力される。
<照射装置の構成>
照射装置100B(照射装置)は、上述したレンズ100Aに配置された複数の光学フィルタの波長帯域(上述した波長帯域λ1,λ2,λ3)を含む分光特性(波長帯域等)を有する照明光を被写体に照射する光源320,322,324と、これら光源による照明光の照射を制御する光源制御部310(制御部)と、を備える。光源320,322,324は画像生成部234(制御部、プロセッサ)の制御により分光特性(照明光の強度、ピーク波長、波長幅等)を変更できるものであることが好ましい。また、光源の数は4つ以上でもよい。
<撮像素子の構成>
図3は、撮像素子210の概略構成を示す図である。撮像素子210は、CMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子(イメージセンサ)であり、ピクセルアレイ層211、偏光フィルタ素子アレイ層213、及びマイクロレンズアレイ層215を有するモノクローム型の撮像素子である。各層は、像面側から物体側に向かって、ピクセルアレイ層211、偏光フィルタ素子アレイ層213(複数の偏光素子)、マイクロレンズアレイ層215の順で配置される。なお、撮像素子210は、CMOS型に限らず、XYアドレス型、またはCCD(Charge Coupled Device)型のイメージセンサでもよい。
ピクセルアレイ層211は、多数のフォトダイオード212(複数の画素群)を二次元的に配列して構成される。1つのフォトダイオード212は、1つの画素を構成する。各フォトダイオード212は、水平方向(x方向)及び垂直方向(y方向)に沿って規則的に配置される。
偏光フィルタ素子アレイ層213は、偏光方向(透過させる光の偏光方向)が異なる4種類の偏光フィルタ素子214A,214B,214C,214D(複数の偏光素子)を二次元的に配列して構成される。偏光フィルタ素子214A,214B,214C,214Dの偏光方向は、例えば0°,45°,90°,135°とすることができる。また、これらの偏光方向は、光学部材における偏光フィルタの偏光方向に対応させることができる。撮像素子210は、これら偏光フィルタ素子214A~214Dにより、複数の開口領域を透過した光のいずれかを選択的に受光する複数の画像群を含む。これらの偏光フィルタ素子214A~214Bはフォトダイオード212と同じ間隔で配置され、画素ごとに備えられる。
マイクロレンズアレイ層215は、各画素に配列されたマイクロレンズ216を備える。
<レンズ装置の構成>
図4はレンズ装置100の構成を示す図である。同図に示すように、レンズ装置100は、レンズ100Aと、照射装置100Bと、を備える。レンズ100Aには、レンズ鏡筒102に第1のレンズ110(レンズ、光学系)及び第2のレンズ120(レンズ、光学系)とから構成される単一の光学系が配置され、これら第1のレンズ110及び第2のレンズ120は、それぞれ第1レバー104,第2レバー106を回動させることにより光軸Lの方向に進退して、ズーム及び/またはフォーカスが調整される。また、これらレンズにより、被写体の光学像が撮像素子の受光面上に結像する。したがって、第1のレンズ110及び第2のレンズ120は撮像光学系を構成する。第1のレンズ110及び第2のレンズ120は、複数のレンズから構成されるレンズ群でもよい。また、レンズ鏡筒102には、レンズ100Aの瞳位置または瞳位置の近傍にスリット108が形成されており、このスリット108に光学部材130(光学部材)が挿入される。光学部材130は、その光軸が光学系の光軸Lと一致した状態で配置される。
<光学部材の構成>
後述するように、光学部材130は、枠体(枠体)と、光学フィルタ(カラーフィルタ、複数の光学フィルタ)と、偏光フィルタ(複数の偏光フィルタ)と、減光フィルタ(減光フィルタ)と、を備える。光学部材130はレンズ鏡筒102に挿入及び抜去が可能であり、光源(被写体)の特性に合わせて、特性が異なる光学部材を用いることができる。これにより、光学系から出射される光の分光特性が複数の開口領域のそれぞれについて可変となる(変更することができる)。なお、レンズ装置100が撮像装置本体200に装着された場合に、開口領域132A~132Dに対応して撮像素子210から出力される画像信号の感度を複数の波長帯域間で一定または指定された範囲の比率にすることを「調整」ということができる。
また、被写体(光源)のスペクトル、レンズ(第1のレンズ110、第2のレンズ120)の分光透過率、フィルタ(光学フィルタ、偏光フィルタ)の透過波長特性、及び波長帯域とイメージセンサ(撮像素子210)の出力との関係により定まる特性を「感度」ということができる。
一般に、偏光マルチスペクトルカメラでは、得られた偏光ごとの入力に対して混信除去を行うことにより、波長ごとの出力(画像信号)を得ている。このとき、波長ごとの出力強度に偏りがあると、強度が小さい波長の画像においてノイズが増大するという問題が生じる。この場合、強度の弱い信号にゲインを掛ける方法だとノイズまで増幅してしまい、SN比は改善しない。また、露光時間を長くするなど弱い信号強度を上げようとすると、元々強度が強い信号まで強度が上がってしまい、白飛びするという問題が生じる。さらに、一般に、イメージセンサ単体での感度は製造過程にて決定され、被写体のスペクトルもその物性に依存するから、これらを撮影時に変更することは困難である。
このような観点から、本発明ではレンズの瞳を波長帯域ごとに分割し、各波長帯域に紐付けられた偏光情報を元に分光画像(光学フィルタの波長帯域に対応する画像)を生成している。また、本発明では、光学系から出射される光の分光特性が、光学系及び/または照射装置を制御することにより、複数の開口領域について可変である(変更することができる)。このため、良好な画質のマルチスペクトル画像を容易に取得することができる(後述する態様の場合も同様である)。また、光軸(撮像方向)のズレがない分光画像を同時に取得することができ、複数回の撮影を行う必要がない。
図5は光学部材の構成例を示す図である。図5に示す光学部材130は枠体132を備え、枠体132は4つの開口領域132A~132D(複数の開口領域)を備える。開口領域132A~132Dの形状は扇型に限らず、円形や矩形、多角形等他の形状でもよい(後述する他の態様でも同様である)。これら開口領域(枠体132の裏面側)には、フィルタセット140A~140Dがそれぞれ配置される。フィルタセット140A~140Dは接着剤で固定してもよい。
例えば、フィルタセット140Aは、光学フィルタと、偏光フィルタと、減光フィルタと、を重ねて構成することができ、フィルタセット140B~140Dについても同様である。ただし、フィルタセット140A~140Dの構成はそれぞれ異なっていてもよい。例えば、一部の開口領域について光学フィルタ、偏光フィルタ、減光フィルタのうち1つ以上が配置されていなくてもよい。また、各フィルタの特性(波長帯域、偏光方向、減光度)は開口領域ごとに異なっていてもよい。
フィルタセット140A~140Dにおいて、光学フィルタは、少なくとも一部の波長帯域が異なる光を透過させる光学フィルタ(バンドパスフィルタ)を2つ以上含む複数の光学フィルタである。また、偏光フィルタは偏光方向が異なる複数の偏光フィルタであり、偏光方向は最大で4方向(開口領域の数と同じ;例えば0°,45°,90°,135°)とすることができる。なお、偏光フィルタは偏光フィルムにより偏光するフィルタでもよいし、ワイヤーグリッドあるいは複数のスリットにより偏光するフィルタでもよい。
また、減光フィルタは、開口領域132A~132Dを通過する光を減光する複数の減光フィルタであり、例えばNDフィルタ(ND:Neutral Density)を用いることができる。減光フィルタの減光度合いは一部、または全てのフィルタで違っていてもよく、ユーザは選択した減光度の減光フィルタを用いることにより、開口領域132A~132Dについての分光強度を調整することができる。
図5では、開口領域(波長帯域)及び偏光方向が4種類である場合について説明しているが、開口領域及び偏光方向は3種類以下でもよい。なぜなら、撮像素子210のようにモノクローム型(カラーフィルタなし)で偏光フィルタ素子の偏光方向が4方向の撮像素子を用いた場合、最大でも3つの偏光方向に対応した3つの波長帯域の画像しか分離できないからである。開口領域が3つの場合、4つの開口領域のうち2つに同じ波長帯域の光学フィルタ及び同じ偏光方向の偏光フィルタを配置してもよいし、1つの開口を遮蔽部材で遮蔽してもよい。また、3つの開口領域を備える枠体を用いてもよい。
図6は3波長の場合の開口領域の配置例を示す図である。図6の(a)部分は4つの開口領域131A~131Dのうち1つ(開口領域131D)を遮蔽部材131Eで遮蔽した状態の枠体131を示しており、同図の(b)部分は3つの開口領域133A~133Cを形成した枠体133を示している。なお、開口領域の間で開口面積が異なっていてもよい。これらの態様においても、上述した態様と同様に、光学フィルタ(カラーフィルタ)、偏光フィルタ、及び減光フィルタを開口領域に配置することができる。なお、使用する開口領域が4つである場合も3つ以下である場合も、光学フィルタは複数の開口領域の少なくとも1つに配置されていればよく、一部の開口領域が素通し(光学フィルタなし)でもよい。
<分光特性の調整>
図7は分光特性の調整の様子を示す図である。図7の(a)部分は、ある波長帯域において照射装置100B側の分光強度(スペクトル強度)を上げて分光特性160A(点線で示す状態)から分光特性160B(実線で示す状態)にし、光学系側の分光特性162との関係を変化させた状態を示す。分光特性160A,160Bと分光特性162との重なりの大きさが、この波長帯域における「感度」に対応する。所望の状態により、分光強度を上げてもよいし、下げてもよい。分光強度の調整は複数の波長帯域のうち1つ以上について行うことができ、これにより波長帯域間での分光強度の比を調整することができる。
また、図7の(b)部分は、照射装置100B側の分光強度(スペクトル強度)のピーク波長をシフトさせて分光特性160C(実線で示す状態)にし、光学系側の分光特性162との関係を変化させた状態を示す。同図ではピーク波長を長波長側にシフトさせているが、所望の分光特性によっては短波長側にシフトさせてもよい。
図7の(c)部分は、照射装置100B側の分光強度(スペクトル強度)の波長幅を変化させて分光特性160D(実線で示す状態)にした状態を示す。同図では波長幅を広げているが、所望の分光特性によっては狭めてもよい。
上述した分光特性の調整は、ピーク波長、分光強度、及び波長幅のうち1つ以上について行うことができる。また、分光特性の調整は、レンズ100Aの光学系と、光学部材130と、照射装置100Bと、のうち少なくとも1つを制御することにより行うことができる。分光特性の調整は、光学系と照射装置100Bとのうち一方について行ってもよいし、双方について行ってもよい。調整はユーザが行ってもよいし、撮像装置10が調整用の機構を有している場合は、撮像装置10自身(制御部、プロセッサ)が行ってもよい。また、以下で説明する開口面積の変更、減光フィルタの使用、光学フィルタの傾き角度の調整、プリズム及びスリットの使用、スリット及びフィルタの使用、光源の照射強度の変更、楕円偏光機構の使用等のうちいずれか1つを行ってもよいし、複数の手法を組み合わせて分光特性を調整してもよい。
<レンズ装置の制御による分光特性の調整>
<開口面積の調整>
図8は、開口面積の調整による分光強度の調整の様子を示す図である。図8の(a)部分は、波長帯域λ1~λ4にそれぞれ対応する開口領域180A~180Dと、これら開口領域を遮蔽する、光軸Lと直交する面内で独立して移動可能な遮蔽部材150A~150D(調整機構)を示している。
図8の(b)部分は、同図の(a)部分に示す状態(開口領域180A~180Dを遮蔽する前)における、照明側(照射装置100B;実線で図示)及びレンズ側(光学系、レンズ100A;点線で図示)の分光特性を示す図であり、同図の(c)部分は、同図の(a)部分及び(b)部分の状態において、光学系(レンズ100A)から出射される光の強度(分光強度)を示す図である。これらの図に示す例では、波長帯域λ1~λ4の出力強度に大きさ違いがある。このため、撮像装置10は、図示せぬ駆動機構により遮蔽部材150A~150Dを移動させて、出力強度に応じて開口領域180A~180Dを遮蔽する。この際、開口領域180A~180Dの開口面積を、例えば図8の(c)部分に示す出力強度の逆比となるように遮蔽する。図8の(d)部分はそのように遮蔽された状態の開口領域180A~180Dを示す図であり、同図の(e)部分は、遮蔽(開口面積の調整)によりレンズ側の分光特性が変化した状態を示す。これにより、図8の(f)部分に示すように、波長帯域λ1~λ4の間で出力強度を揃えることができる。
図9は、可変開口部材による分光強度の調整の様子を示す図である。開口面積の調整は、液晶表示素子を用いて行うこともでき、例えば図9に示すように、液晶表示素子の遮光領域の広さを変化させて開口領域138A~138Dの開口面積を変更することができる(調整可能である)光学部材138を用いてもよい。また、開口面積の調整は、瞳位置または瞳位置の近傍に絞り部材を挿入することにより行ってもよいし、分光特性に合わせて大きさが調整された開口領域を有する光学部材を使用することにより行ってもよい。
<減光フィルタの使用>
撮像装置10では、減光フィルタを用いて分光特性の調整を行うこともできる。この場合、複数の開口領域のうち少なくとも1つの開口領域にNDフィルタ(ND:Neutral Density)等の減光フィルタを配置し、開口領域を透過する光を減光する(分光強度を下げる)ことにより各波長帯域の分光強度及びその比を調整することができる。図10は減光フィルタによる分光強度の調整の様子を示す図であり、光学フィルタ142A及び偏光フィルタ144Aに加えて減光フィルタ147Aにより構成されるフィルタセット141Aを示している。このような減光フィルタは、一部の開口領域(例えば、図5に示す枠体132の開口領域132A)に配置してもよいし、全ての開口領域に配置してもよい。
減光フィルタを用いる場合、減光度合いが可変のフィルタを用いてもよい。例えば、複数の減光フィルタを重ねて可変減光フィルタを構成し、それら複数の減光フィルタを相対的に回転させることで減光度合いを調整することができる。また、液晶表示素子を用いて減光フィルタを構成し、液晶の透過率を変更することにより減光度合いを調整することもできる。
なお、上述した開口面積の調整はユーザが行ってもよいし、撮像装置10(具体的には、プロセッサとしての信号処理部230)が行ってもよい。
<光学フィルタの傾き角度の調整>
図11は、光学フィルタの傾きを変更して分光特性を調整する様子を示す図である。図11の(a)部分は、光学フィルタが、光軸Lと垂直な面内に配置された状態を示しており、同図の(b)部分は光学フィルタと光軸Lとの成す角度を調整した状態を示す。図11の(b)部分に示すように、少なくとも1つの光学フィルタ(バンドパスフィルタ)について光軸Lとのなす角度を調整することにより、光学フィルタの見かけの厚みが変化して光路長が変化する。この結果、図11の(c)部分に示すように、分光強度のピーク波長を点線で示す状態から実線で示す状態にシフトさせることができる。
図12は光学フィルタの傾きを変更するための構成(調整機構)を示す図である。これらの図に示す態様では、枠体20(調整機構)は光透過性で、矩形の斜面部22を複数有する(図12の例では4つ)。4つの斜面部22は、光軸L2と交わる点である光軸中心21を頂点とした多角錐状である。なお「光透過性」とは、所望の波長帯域(例えば、可視から近赤外の範囲内で決められた波長帯域)の光を透過させることを意味する。枠体20は、光軸L2をレンズ100Aの光軸Lと一致させた状態で、例えば上述した光学部材130に代えて光学系の瞳位置または瞳位置の近傍に配置される。
斜面部22には、バンドパスフィルタ50A~50D(光学フィルタ;図13参照)がそれぞれ設置される4つの窓部24A,24B,24C,24D(開口領域)が設けられる。窓部24A~24Dは光軸中心21の近傍に一つの角(頂点)が形成された矩形であり、窓部24A~24Dの側面に形成された壁部26が、バンドパスフィルタ50A~50Dの位置ズレを規制する。また、窓部24A~24Dの端部(光軸中心21と反対側の角)には挿入口28が設けられ、傾斜調整部材30(図13参照:調整機構)が挿入される。
なお、例えばワイヤーグリッドが形成された偏光フィルムを窓部24A~24Dに装着することにより、窓部24A~24Dを偏光部として機能させることができる。あるいは、バンドパスフィルタ50A~50Dに偏光フィルタを重ねてもよい。また、バンドパスフィルタ50A~50DにNDフィルタ等の減光フィルタを重ねてもよい。
図13は、光学フィルタの傾きを変更するための構成(調整機構)を示す他の図である。図13に示すように、斜面30Aを有するくさび形の傾斜調整部材30(調整機構)を挿入口28に挿入することにより、バンドパスフィルタ50Aの斜面部22に対する傾斜(バンドパスフィルタ50Aと光軸Lとの成す角度)を容易に調整することができる。バンドパスフィルタ50A~50Dは、所望の分光特性(ピーク波長)に応じた傾斜角度に調整され、斜面部22に設置される。
上述の調整により傾斜角度が変わると、バンドパスフィルタ50A~50Dに対する光の入射角が変わり、その結果光路長が変化する。これにより、図11の(c)部分に示すように、分光強度のピーク波長をシフトさせる(変更する)ことができる。
上述した枠体20において、バンドパスフィルタ50A~50Dは接着剤により枠体20に固定することができる。この際、不透明(光を透過しない)接着剤を用いて、接着剤の窓部24A~24Dへの充填量を調整することで窓部24A~24Dの開口面積を調整(変更)してもよい。
<プリズム及びスリットの使用>
撮像装置10において、レンズ100Aにプリズム及びスリットを設けて分光特性を調整してもよい。図14は、レンズ100A側のプリズム及びスリットによる分光特性の調整の様子を示す図である。図14に示す構成は、同図の(a)部分に示すように、入射する光を分光するプリズム170(第1プリズム)と、分光された光のうち一部の波長帯域の光を透過させるスリットであって、開口の位置及び/または幅が変更可能(可変)なスリット172(第1スリット)と、を備え、レンズ100Aの光路(瞳位置または瞳位置の近傍)に配置される。このような構成は、光学フィルタ(バンドパスフィルタ)に代えて配置することができる。また、1つのプリズムに対して複数のスリットを設けて複数の波長帯域の光を分光させてもよいし、それぞれが1つのスリットを備える複数のプリズムを用いてもよい。
このような構成を用いる場合、スリット172の開口の位置及び/または幅をユーザが手動で、またはプロセッサとしての信号処理部230が調整することにより、図14の(b)部分及び(c)部分に示すように、分光強度のピーク波長及び/または分光強度の波長幅を調整することができる。なお、図14の(c)部分は、光学系から出射される分光強度が波長帯域間で等しい(決められた範囲内である)状態を示す。
<楕円偏光機構の使用>
図15は、楕円偏光機構を用いた分光特性の調整の様子を示す図である。図15に示す構成では、レンズ100Aの前方(被写体側)に偏光フィルタ152(楕円偏光機構)及びλ/4波長板154(楕円偏光機構)を配置する。レンズ100Aの瞳位置または瞳位置の近傍には、上述した態様と同様に偏光方向が異なる複数の偏光フィルタを配置する。そして、図15の(b)部分~(d)部分に示すように、偏光フィルタ152の偏光方向とλ/4波長板154の遅相軸方向との成す角度を変化させることにより、長軸と短軸の長さを変えた楕円偏光を作ることができる。そして、偏光フィルタ152とλ/4波長板154とを光軸Lの回りに相対的に回転させることにより、楕円偏光の長軸の方向を変更することができ、これにより瞳近傍に配置された偏光フィルタを通る光量(各波長帯域の分光強度及びその比)を変えることができる。
<照射装置制御による分光特性の調整>
<照明光の分光強度の変更>
次に、照射装置の制御による分光特性の調整について説明する。図16は被写体の反射率と出力光の強度との関係を示す図であり、図17は光源の分光強度比の変更による分光特性の調整を示す図である。
被写体の反射率(光源の特性)が図16の(a)部分にフラット(波長によらずほぼ一定)であり、レンズ100Aの光学フィルタ(バンドパスフィルタ)の透過率(分光強度)がこのような被写体に対して波長帯域λ1~λ3で等しくなるように設定されていれば(同図の(b)部分参照)、光学系(レンズ100A)から出射される光の分光強度も波長帯域λ1~λ3で等しくなる(同図の(c)部分参照)。しかしながら、被写体が図17の(a)部分に示す反射スペクトルを持つ青色の物体だった場合、出射光の分光強度は同図の(b)部分に示すように長波長側が低くなってしまい、長波長側のマルチスペクトル画像でSN比が悪化する。
このため、照射装置100Bのスペクトル強度を、各波長の出力信号強度に反比例するように変化させる(図17の(c)部分参照)。このとき、複数の光源(光源320,322,324)のうち少なくとも1つについて照射強度を変更する(上げる、または下げる)ことにより、分光強度及びその比を調整することができる。これにより、図17の(d)部分に示すように、各波長の出力強度を揃えることができる。
このような分光特性の調整を行う状況としては、例えば光学フィルム等の工業製品や葉緑素の検査など、被写体があまり変化せず同じような物体の撮像を続ける場合が考えられる。この場合の検査のプロセスとしては、サンプルを一回撮影し、得られたマルチスペクトル画像の各波長の分光強度比から照射装置100Bのスペクトルを調整し、調整された照明光の下で検査を行う、という手順が考えられる。
図18は、光源の分光強度比の変更による分光特性の調整を示す他の図である。例えば葉緑素の検査のように、近赤外領域の分光強度を比較して物体の状態を調べる場合、図18の(a)部分,(b)部分のような2つの状態が検出される。このとき、図18の(a)部分における近赤外光(図中の波長帯域λ3)の強度に他の波長領域(同図の(a)部分における波長帯域λ1,λ2、及び同図の(b)部分における波長帯域λ1,λ2,λ3)の強度を合わせてしまうと、すなわち同図の(a)部分における波長帯域λ3の分光強度が大きくなるように照明光の強度を全体的に上げてしまうと、同図の(b)部分における近赤外光の強度(イメージセンサの出力)が飽和して画像を得ることができなくなる可能性がある。そこで、同図の(b)部分に対応するマルチスペクトル画像を取得して、強度が一番大きい波長(この場合、波長帯域λ3)の強度がイメージセンサの許容最大強度になるように、照射装置100B(光源320,322,324)のスペクトル強度を変化させることができる。
<照明光のピーク波長、波長幅の変更>
図19は光源のピーク波長、波長幅を変更することによる分光特性の調整を示す図である。このような調整は、照明光の波長及び/または強度が可変(変更可能)である複数の光源(例えば、光源320,322,324)を用いて行うことができる。同図において、実線は光源(照射装置100B)側の分光特性を示し、点線はレンズ装置側の分光特性を示す。
調整前の分光特性が図19の(a)部分に示す状態(光源側の分光特性がレンズ装置側に対し低波長側である)であったとすると、照明光のピーク波長をシフトさせる(この場合、波長帯域λ2,λ3のピークを長波長側にシフトさせる)ことにより、分光特性を同図の(b)部分に示す状態に調整することができる。また、照明光(この場合、波長帯域λ2,λ3)の波長幅を広げることにより、分光特性を同図の(c)部分に示す状態に調整することができる。
同様に、調整前の分光特性が図19の(d)部分に示す状態(波長帯域λ1,λ2については光源側の分光特性がレンズ装置側に対し低波長側であり、波長帯域λ3については光源側の分光特性がレンズ装置側に対し長波長側である)であったとすると、照明光のピーク波長をシフトさせる(この場合、波長帯域λ2のピークを長波長側にシフトさせ、波長帯域λ3のピークを短波長側にシフトさせる)ことにより、分光特性を同図の(e)部分に示す状態に調整することができる。また、照明光(この場合、波長帯域λ2,λ3)の波長幅を広げることにより、分光特性を同図の(f)部分に示す状態に調整することができる。
<プリズム及びスリットの使用>
上述した光源のピーク波長、波長幅の変更は、プリズム及びスリットを用いて行うこともできる。図20は、照射装置側のプリズム及びスリットによる分光特性の調整の様子を示す図である(光源制御部310の図示は省略)。同図に示す構成は、光源320(322,324)の前方に設けられ、入射する光を分光するプリズム330(第2プリズム)と、分光された光のうち一部の波長帯域の光を透過させるスリットであって、開口の位置及び/または幅が変更可能(可変)なスリット332(第2スリット)と、を備える。このような構成により、図14について上述したのと同様に、図20の(b)部分及び(c)部分に示すように、分光強度のピーク波長及び/または分光強度の波長幅を調整して各波長帯域の分光強度及びその比を調整することができる。1つのプリズムに対して複数のスリットを設けて複数の波長帯域の光を分光させてもよいし、それぞれが1つのスリットを備える複数のプリズムを用いてもよい。
光源のピーク波長、波長幅の変更は、プリズムなしで行うこともできる。図21は、照射装置側のスリット及びフィルタによる分光特性の調整の様子を示す図である(光源制御部310の図示は省略)。同図に示す構成は、スリット340(第3スリット)と、フィルタ342(フィルタ)と、を備える。スリット340は、光源320(322,324)の前方(被写体に近い側)に配置される可動のスリットである。また、フィルタ342は、光源320(322,324)の前方(被写体に近い側)に配置された可動のフィルタであり、フィルタ上の位置によって、透過波長帯域が例えば青色から赤色までの範囲で連続的に(または段階的に)変化する。信号処理部230及び光源制御部310は、スリット340の開口幅と、スリット340の開口位置と、スリット340の開口位置とフィルタ342との相対的な位置関係と、少なくとも1つを変化させることで、照射装置100B側の分光強度のピーク波長及び/または分光強度の波長幅を変更とする(図20の(b)部分及び(c)部分を参照)。なお、スリット340及びフィルタ342は、光源320,322,324のうちいずれか1つに対し配置してもよいし、複数に対し配置してもよい。
<画像生成処理>
次に、上述した構成の撮像装置10を用いた画像生成処理(撮像方法)について説明する。画像生成処理(撮像方法)は、本発明に係る撮像プログラムを用いて行うことができる。なお、ここでは光学部材において光学フィルタの波長帯域が3種類(λ1~λ3)で偏光方向も3種類(例えば0°,45°,90°)、撮像素子210の偏光方向は4種類(0°,45°,90°,135°)であるものとする。この場合、例えば図6の(a)部分に示す枠体131(開口領域131Dを遮蔽)を使用することができる。
<混信除去の係数群>
波長帯域(λ1~λ3)に対応した画像を得るには、撮像素子210の各画素から各波長帯域に対応した画素信号を分離して抽出する必要があるが、これらの画像データには混信(クロストーク)が生じている。すなわち、各画素には各波長帯域の光が入射するため、生成される画像は波長帯域λ1~λ3の画像が混合した画像となる。このため、画像生成部234は、混信除去処理を行って各波長帯域(λ1~λ3)の画像データを生成する。
レンズ100Aから出射した波長帯域λ1~λ3の光が各画素で受光される割合(混信比率)は、光学フィルタ142A~142Cが透過させる光の波長帯域λ1~λ3の設定、偏光フィルタ144A~144Cが透過させる光の偏光方向の設定、撮像素子210の各画素が受光する光の偏光方向(4方向)の設定から一意に定まり、事前に求めることができる。画像生成部234は、この混信比率を、複数の開口領域のうち特定の開口領域以外の開口領域を遮蔽する複数の遮蔽部材を用いて、複数の遮蔽部材のうちいずれかがレンズ装置に装着された状態で取得した複数の画像から算出することができる。
図22は、枠体132に遮蔽部材を装着する様子を示す図である。同図の(a)部分に示すように、遮蔽部材139は、枠体132の開口領域132A~132Dのうちいずれかを開放して残りを遮蔽する複数の遮蔽部材を備える。具体的には、遮蔽部材139A~139Dは、それぞれ開口領域132A,132B,132C,132D(特定の開口領域)以外の開口領域を遮蔽する。図22の(b)部分は、遮蔽部材139Aを装着した状態の枠体132を示す。なお、上述のように開口領域及び偏光方向が3種類以下である場合(例えば、4つの開口のうち1つ以上を遮蔽する場合、あるいは3つ以下の開口領域を有する光学部材を用いる場合)は、遮蔽部材も3種類以下でよい。以下、開口領域及び偏光方向が3種類である場合について説明する。
この場合、遮蔽部材139A~139Cを1つずつ用いて撮像することにより、3つの波長帯域にそれぞれ対応した3つの画像が得られる。画像生成部234は、これらの画像から混信除去処理のための係数群(混信除去行列の各要素)を算出し、係数記憶部236がこれら係数群を記憶する。また、画像生成部234は、これらの画像から光量比及びその最適値を算出することができる。
画像生成部234は、係数記憶部236から係数群を取得し、各画素から得られる画素信号から、上述の式1によって各波長帯域λ1~λ3に対応した画素信号を算出し、各波長帯域λ1~λ3の画像データを生成する。画像生成部234で生成された各波長帯域λ1~λ3の画像データは、外部に出力され、必要に応じて記憶装置(不図示)に記憶される。また、必要に応じてディスプレイ(不図示)に表示される。
<分光特性の調整及び撮像(手動制御の場合)>
次に、分光特性を調整してマルチスペクトル画像を生成する処理(撮像方法の各処理)について説明する。図23は分光特性の調整及び撮像の処理を示すフローチャートである。このフローチャートは、ユーザが自ら光量比を調整する場合の処理である。不図示のシャッターレリーズ等の操作により撮像(または分光特性や感度の算出)が指示されると、処理が開示される。なお、上述した遮蔽部材を使用して混信除去の係数群が取得されているものとする。
撮像が指示されると、画像生成部234(プロセッサ)は各波長帯域λ1~λ3の画像データ(複数の画像信号)から、波長帯域の間での感度(感度を示す情報)を算出し(ステップS100:感度算出工程)、不図示のモニタ(表示装置)やスピーカ(音声出力装置)を介して感度を出力する(ステップS105:感度出力工程)。ここで「感度」は、以下の式(1),(2)に示すように、画像信号の出力強度と、撮像素子210から出力されるノイズと出力強度との比であるノイズ比と、のうち少なくとも1つを含む。また、画像生成部234は、光学フィルタの分光特性と、光学系の分光特性と、撮像素子210の分光特性と、照射装置100Bの分光特性と、に基づいて感度を算出することができる。
Figure 0007261192000001
ただし、tl(λ)は光源の分光特性であり、tif(λ)は光学フィルタi(例えばi=R,G,B)の分光特性であり、tO(λ)は光学系の分光特性であり、ts(λ)は撮像素子の画素j(例えばj=R,G,B)の分光特性である。
Figure 0007261192000002
ただし、ejは撮像素子の画素jのノイズである。画素jのノイズは、図22について上述したように、特定の開口領域のみを残して残りの開口領域を遮蔽した状態で取得した画像信号から算出することができ、撮像前にあらかじめ取得されているものとする。
画像生成部234(プロセッサ)は、分光特性が決められた範囲であるか否か判断する。例えば、画像生成部234は、撮像素子210からの出力強度の最小値と最大値の比が1:1.2以下、1:1.5以下、1:2.0以下等であるか否かを判断することができる(これらの数値は例示であり、異なる値を基準としてもよい)。また、画像生成部234は、出力強度の比だけでなく、最小値及び/または最大値の絶対値が決められた範囲であるか否か(白飛びや黒つぶれの有無)を判断してもよい。画像生成部234はユーザの操作に基づいて分光特性の範囲を設定してもよいし、ユーザの操作によらずに設定してもよい。分光特性が決められた範囲である場合(ステップS110でYES)、画像生成部234は光学フィルタの波長帯域(λ1~λ3)にそれぞれ対応する複数の画像(3波長のマルチスペクトル画像)を生成する(ステップS140:画像生成工程)。
一方、分光特性が決められた範囲でない場合(ステップS110でNO)、画像生成部234は、撮像装置10のユーザに分光特性の調整を促すメッセージを出力する(ステップS120:調整要求工程)。画像生成部234は、図示せぬモニタやスピーカを介して、光学系及び/または照射装置100Bを制御する方法を出力することができる。具体的には、画像生成部234は、例えば「開口領域1番の光量を絞って下さい」、「赤色照明光の強度を下げて下さい」というメッセージを出力することができる。「開口領域2番の開口面積を1段階下げて下さい」、「開口領域3番の減光度を2段階弱めて下さい」等、具体的な調整方法を出力してもよい。あるいは、絞りすぎ、減光しすぎの場合等に「光源2番の光量を上げて下さい」というメッセージを出力してもよい。画像生成部234は、モニタやスピーカ等の装置を介して、文字、数字、図形、記号、色彩、音声、あるいはこれらの組合せ等により感度を示す情報を出力してもよい。
ユーザは、メッセージに応じて光学系及び/または照射装置100Bを制御して分光特性を調整することにより、レンズ装置100が撮像素子210を有する撮像装置本体200に装着された場合に、撮像素子210からの出力を波長帯域の間で一定(あるいは所望の範囲)にすることができる。
ユーザによって分光特性の調整がなされたら(ステップS130でYES)、画像生成部234は、再度、ステップS110で調整後の分光特性がしきい値以上であるか否か(あるいは、撮像素子210からの出力が波長帯域間で一定または指定された範囲であるか否か)を判断する。分光特性がしきい値以上である場合は、ステップS140で撮像(画像生成工程)を行う。
撮像装置10では、このような処理により、良好な画質のマルチスペクトル画像を容易に取得することができる。
<分光特性の調整及び撮像(自動制御の場合)>
図24は光量比の調整及び撮像の処理を示す他のフローチャートである。このフローチャートは、画像生成部234がユーザの操作によらずに分光特性を調整する場合の処理である。したがって画像生成部234は、照射装置100Bを制御して、及び/またはレンズ100A(具体的には、減光度可変の減光フィルタや開口面積が可変(変更可能、調整可能)の光学部材(図8等を参照)等)を制御して、図24のフローチャートに示す処理を行うことができる。
分光特性を手動調整する場合と同様に、不図示のシャッターレリーズ等の操作により撮像(あるいは分光特性、感度の算出)が指示されると、処理が開示される。また、上述した遮蔽部材を使用して混信除去の係数群が取得されているものとする。
ステップS100~S110の処理は図23のフローチャートと同様である。分光特性が決められた範囲である場合(ステップS110でNO)、画像生成部234は、レンズ100A及び/または照射装置100Bを制御して、分光特性を調整する(ステップS112:制御工程)。分光特性を手動調整する場合と同様に、画像生成部234は、撮像素子210からの出力強度の比を波長帯域の間で一定(あるいはユーザの操作に応じた範囲)にする調整や、出力強度の最小値及び/または最大値を所望の範囲にする調整を行うことができ、また感度を示す情報等を出力することができる。
以上説明したように、撮像装置10では、このような処理により、良好な画質のマルチスペクトル画像を容易に取得することができる。
<第2の実施形態>
<カラー撮像素子を備える撮像装置>
第2の実施形態に係る撮像装置は、9バンドのマルチスペクトル画像を撮像する。撮像装置が、光学系を含むレンズ装置と、撮像装置本体と、照射装置と、を備える点は第1の実施形態と同じである(図1,2参照)。しかしながら、第2の実施形態に係る撮像装置は、光学部材の構成及び撮像素子の構成が第1の実施形態と相違する。
<光学系>
<バンドパスフィルタユニット>
図25は、第2の実施形態に係る光学系に備えられるバンドパスフィルタユニットの正面図である。バンドパスフィルタユニット16(光学部材)は、枠体16A(枠体)に第1開口領域16A1、第2開口領域16A2、第3開口領域16A3(開口領域)を有する。
第1開口領域16A1~第3開口領域16A3は、同じ開口形状(矩形状)を有し、光軸Lを中心にして対称に配置される。具体的には、第2開口領域16A2が光軸上に配置され、その第2開口領域16A2を挟んで第1開口領域16A1及び第3開口領域16A3が対称に配置される。
第1開口領域16A1~第3開口領域16A3には、それぞれ透過波長特性の異なるバンドパスフィルタ(光学フィルタ)が備えられる。具体的には、第1開口領域16A1に第1バンドパスフィルタ16B1が備えられ、第2開口領域16A2に第2バンドパスフィルタ16B2が備えられ、第3開口領域16A3に第3バンドパスフィルタ16B3が備えられる。
図26は、第1バンドパスフィルタの透過波長特性を示すグラフである。同図に示すように、第1バンドパスフィルタ16B1はマルチバンドパスフィルタで構成され、3種類の波長帯域の光を透過させる。具体的には、波長帯域λ11の光、波長帯域λ12及び波長帯域λ13の光を透過させる。
図27は、第2バンドパスフィルタの透過波長特性を示すグラフである。同図に示すように、第2バンドパスフィルタ16B2もマルチバンドパスフィルタで構成され、3種類の波長帯域の光を透過させる。具体的には、波長帯域λ21の光、波長帯域λ22及び波長帯域λ23の光を透過させる。
図28は、第3バンドパスフィルタの透過波長特性を示すグラフである。同図に示すように、第3バンドパスフィルタ16B3も、マルチバンドパスフィルタで構成され、3種類の波長帯域の光を透過させる。具体的には、波長帯域λ31の光、波長帯域λ32及び波長帯域λ33の光を透過させる。
上述した第1~第3バンドパスフィルタにより、合計で9つの波長帯域の光を透過させることができる。
<偏光フィルタユニット>
図29は、第2の実施形態に係る光学系に備えられる偏光フィルタユニットの正面図である。同図に示すように、偏光フィルタユニット18(枠体、偏光フィルタ)は、枠体18A(枠体)に第1開口領域18A1、第2開口領域18A2、第3開口領域18A3(開口領域)を有する。
第1開口領域18A1~第3開口領域18A3は、バンドパスフィルタユニット16の第1開口領域16A1~第3開口領域16A3に対応し、同じ位置に重ねて配置される。すなわち、第1開口領域18A1は、バンドパスフィルタユニット16の第1開口領域16A1と同じ開口形状を有し、かつ、同じ位置に重ねて配置される。また、第2開口領域18A2は、バンドパスフィルタユニット16の第2開口領域16A2と同じ開口形状を有し、かつ、同じ位置に重ねて配置される。また、第3開口領域18A3は、バンドパスフィルタユニット16の第3開口領域16A3と同じ開口形状を有し、かつ、同じ位置に重ねて配置される。したがって、バンドパスフィルタユニット16の第1開口領域16A1を通過した光は第1開口領域18A1を通過し、バンドパスフィルタユニット16の第2開口領域16A2を通過した光は第2開口領域18A2を通過し、バンドパスフィルタユニット16の第3開口領域16A3を通過した光は第3開口領域18A3を通過する。
第2開口領域18A2及び第3開口領域18A3には、それぞれ透過偏光方向の異なる偏光フィルタ18B2、18B3が備えられる。具体的には、第2開口領域18A2には、偏光方向θ2(たとえば、方位角60°)の光を通過させる偏光フィルタ18B2が備えられる。第3開口領域18A3には、偏光方向θ3(たとえば、方位角150°)の通過させる偏光フィルタ18B3が備えられる。
偏光フィルタは、第2開口領域18A2及び第3開口領域18A3にのみ備えられる。したがって、第1開口領域18A1は、非偏光の光を透過させる。
第2の実施形態における光学系は、バンドパスフィルタユニット16及び偏光フィルタユニット18の組み合わせにより、瞳領域が3つの領域に分割される。すなわち、バンドパスフィルタユニット16の第1開口領域16A1と偏光フィルタユニット18の第1開口領域18A1とによって画定される第1の瞳領域と、バンドパスフィルタユニット16の第2開口領域16A2と偏光フィルタユニット18の第2開口領域18A2とによって画定される第2の瞳領域と、バンドパスフィルタユニット16の第3開口領域16A3と偏光フィルタユニット18の第3開口領域18A3とによって画定される第3の瞳領域とに分割される。各瞳領域からは、特性の異なる光が出射される。すなわち、非偏光の光であって波長帯域λ11の光(第1の光)、非偏光の光であって波長帯域λ12の光(第2の光)、非偏光の光であって波長帯域λ13の光(第3の光)、偏光方向θ2の光であって波長帯域λ21の光(第4の光)、偏光方向θ2の光であって波長帯域λ22の光(第5の光)、偏光方向θ2の光であって波長帯域λ23の光(第6の光)、偏光方向θ3の光であって波長帯域λ31の光(第7の光)、偏光方向θ3の光であって波長帯域λ32の光(第8の光)、及び、偏光方向θ3の光であって波長帯域λ33の光(第9の光)が出射する。
<イメージセンサ>
図30は、イメージセンサの画素の配列の概略構成を示す図である。同図に示すように、第2の実施形態に係る撮像装置のイメージセンサ220(撮像素子)は、隣接する9個(3個×3個)の画素で1つの画素ブロックPB(X,Y)が構成される。具体的には、画素ブロックPB(X,Y)は、第1画素P1、第2画素P2、第3画素P3、第4画素P4、第5画素P5、第6画素P6、第7画素P7、第8画素P8、第9画素P9により構成される。
イメージセンサ220がピクセルアレイ層211、偏光フィルタ素子アレイ層213、及びマイクロレンズアレイ層215を有する点は、第1の実施形態と同じである(図3参照)。第2の実施形態におけるイメージセンサ220は、偏光フィルタ素子アレイ層213とマイクロレンズアレイ層215との間に分光フィルタ素子アレイ層を備え、偏光フィルタ素子アレイ層213の構成が第1の実施形態と異なる。
<偏光フィルタ素子アレイ層>
偏光フィルタ素子アレイ層213には、透過偏光方向が異なる3種類の偏光フィルタ素子(偏光素子)が備えられる(以下の図31を参照)。具体的には、第1偏光フィルタ素子122A、第2偏光フィルタ素子122B、第3偏光フィルタ素子122Cが備えられる。第1偏光フィルタ素子122Aは、偏光方向Θ1(たとえば、方位角90°)の光を透過させる。第2偏光フィルタ素子122Bは、偏光方向Θ2(たとえば、方位角45°)の光を透過させる。第3偏光フィルタ素子122Cは、偏光方向Θ3(たとえば、方位角0°)の光を透過させる。
図31は、各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。同図に示すように、第1画素P1、第4画素P4及び第7画素P7には、第1偏光フィルタ素子122Aが備えられる。また、第2画素P2、第5画素P5及び第8画素P8には、第2偏光フィルタ素子122Bが備えられる。また、第3画素P3、第6画素P6及び第9画素P9に第3偏光フィルタ素子122Cが備えられる。
<分光フィルタ素子アレイ層>
分光フィルタ素子アレイ層には、互いに透過波長特性の異なる3種類の分光フィルタ素子、具体的には、第1分光フィルタ素子192A、第2分光フィルタ素子192B、第3分光フィルタ素子192Cが備えられる(図34参照)。
図32は、第1分光フィルタ素子の透過波長特性の一例を示すグラフである。同図に示すように、第1分光フィルタ素子192Aは、波長帯域λA(たとえば、赤色(Red,R)の波長帯域)の光を透過させる。光学系に備えられるバンドパスフィルタユニット16は、第1バンドパスフィルタ16B1が透過させる波長帯域λ11、第2バンドパスフィルタ16B2が透過させる波長帯域λ21、及び第3バンドパスフィルタ16B3が透過させる波長帯域λ31が、第1分光フィルタ素子192Aが透過させる波長帯域λAの範囲内で設定される。
図33は、第2分光フィルタ素子の透過波長特性の一例を示すグラフである。同図に示すように、第2分光フィルタ素子192Bは、波長帯域λB(たとえば、緑色(Green,G)の波長帯域)の光を透過させる。光学系に備えられるバンドパスフィルタユニット16は、第1バンドパスフィルタ16B1が透過させる波長帯域λ12、第2バンドパスフィルタ16B2が透過させる波長帯域λ22、及び第3バンドパスフィルタ16B3が透過させる波長帯域λ32が、第2分光フィルタ素子192Bが透過させる波長帯域λBの範囲内で設定される。
図34は、第3分光フィルタ素子の透過波長特性の一例を示すグラフである。同図に示すように、第3分光フィルタ素子192Cは、波長帯域λC(たとえば、青色(Blue,B)の波長帯域)の光を透過させる。光学系に備えられるバンドパスフィルタユニット16は、第1バンドパスフィルタ16B1が透過させる波長帯域λ13、第2バンドパスフィルタ16B2が透過させる波長帯域λ23、及び第3バンドパスフィルタ16B3が透過させる波長帯域λ33が、第3分光フィルタ素子192Cが透過させる波長帯域λCの範囲内で設定される。
図32~34に示すように、イメージセンサ220には、それぞれが9つの波長帯域のうちの3つと重複する波長帯域を有する3つの光学フィルタのいずれかが各画素に配置される。
図35は、各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。同図に示すように、第1画素P1、第2画素P2及び第3画素P3には、第1分光フィルタ素子192Aが備えられる。また、第4画素P4、第5画素P5及び第6画素P6には、第2分光フィルタ素子192Bが備えられる。また、第7画素P7、第8画素P8及び第9画素P9には、第3分光フィルタ素子192Cが備えられる。
以上のように構成されるイメージセンサ220は、各画素ブロックPB(X,Y)において、第1画素P1~第9画素P9が、次のように光学系(レンズ100A)からの光を受光する。すなわち、第1画素P1は、第1分光フィルタ素子192A及び第1偏光フィルタ素子122Aを介して、光学系からの光を受光する。第2画素P2は、第1分光フィルタ素子192A及び第2偏光フィルタ素子122Bを介して、光学系からの光を受光する。第3画素P3は、第1分光フィルタ素子192A及び第3偏光フィルタ素子122Cを介して、光学系からの光を受光する。第4画素P4は、第2分光フィルタ素子192B及び第1偏光フィルタ素子122Aを介して、光学系からの光を受光する。第5画素P5は、第2分光フィルタ素子192B及び第2偏光フィルタ素子122Bを介して、光学系からの光を受光する。第6画素P6は、第2分光フィルタ素子192B及び第2偏光フィルタ素子122Bを介して、光学系からの光を受光する。第7画素P7は、第3分光フィルタ素子192C及び第1偏光フィルタ素子122Aを介して、光学系からの光を受光する。第8画素P8は、第3分光フィルタ素子192C及び第2偏光フィルタ素子122Bを介して、光学系からの光を受光する。第9画素P9は、第3分光フィルタ素子192C及び第3偏光フィルタ素子122Cを介して、光学系からの光を受光する。このように、画素ブロックPB(X,Y)の第1画素P1~第9画素P9は、異なる組み合わせの第1分光フィルタ素子192A~第3分光フィルタ素子192Cと第1偏光フィルタ素子122A~第3偏光フィルタ素子122Cを有することにより、それぞれ異なる特性の光を受光する。
図32~35に示すように、それぞれが9つの波長帯域のうちの3つと重複する波長帯域を有する3つの光学フィルタのいずれかが、各画素に配置される。
<信号処理部>
信号処理部230は、イメージセンサ220から出力される信号を処理して、9バンドのマルチスペクトル画像の画像信号を生成する。すなわち、光学系のバンドパスフィルタユニット16を透過する9つの波長帯域λ11、λ12、λ13、λ21、λ22、λ23、λ31、λ32、λ33の画像信号を生成する。信号処理部230が混信除去処理を行って各波長帯域の画像信号を生成する点については、第1の実施形態における信号処理部230と同じである。
<撮像装置の作用>
図36は、第2の実施形態に係る撮像装置の動作の概念図である。光学系(レンズ100A)に入射した光は、特性の異なる9種類の光となってイメージセンサ220に入射する。具体的には、非偏光の光であって波長帯域λ11の光(第1の光)、非偏光の光であって波長帯域λ12の光(第2の光)、非偏光の光であって波長帯域λ13の光(第2の光)、偏光方向θ2の光であって波長帯域λ21の光(第4の光)、偏光方向θ2の光であって波長帯域λ22の光(第5の光)、偏光方向θ2の光であって波長帯域λ23の光(第6の光)、偏光方向θ3の光であって波長帯域λ31の光(第7の光)、偏光方向θ3の光であって波長帯域λ32の光(第8の光)、偏光方向θ3の光であって波長帯域λ33の光(第9の光)となって、イメージセンサ220に入射する。
イメージセンサ220の各画素ブロックPB(X,Y)では、第1画素P1~第9画素P9において、光学系から出射した光が所定の割合で受光される。すなわち、波長帯域λ11の光、波長帯域λ12の光、波長帯域λ13の光、波長帯域λ21の光、波長帯域λ22の光、波長帯域λ23の光、波長帯域λ31の光、波長帯域λ32の光、波長帯域λ33の光が、所定の割合で受光される。
信号処理部230は、イメージセンサ220の各画素ブロックPB(X,Y)の第1画素P1~第9画素P9から得られる画素信号α1~α9から各波長帯域λ11、λ12、λ13、λ21、λ22、λ23、λ31、λ32、λ33の光に対応した画素信号β1~β9を算出し、各波長帯域λ11、λ12、λ13、λ21、λ22、λ23、λ31、λ32、λ33の画像信号を生成する。
このように、第2の実施形態に係る撮像装置によれば、1つの光学系(レンズ100A)と1つのイメージセンサ220で9バンドのマルチスペクトル画像を撮像できる。なお、信号処理部230は、複数のマルチスペクトル画像を1つの画像に合成することができる。また、信号処理部230は、青色、緑色、赤色の波長帯域の画像を合成してカラー画像を生成してもよい。
<分光特性の調整及び撮像>
上述した第2の実施形態に係るレンズ装置及び撮像装置においても、第1の実施形態と同様に、光学系から出射される光の分光特性が、光学系及び/または照射装置を制御することにより、複数の開口領域について可変である(変更できる)。具体的には、図5~21について上述したのと同様に、開口面積の変更、減光フィルタの使用、光学フィルタの傾き角度の調整、プリズム及びスリットの使用、スリット及びフィルタの使用、光源の照射強度の変更、楕円偏光機構の使用等により、光学系及び/または照射装置を制御して分光強度のピーク波長、分光強度の比、及び分光強度の波長幅のうち少なくとも1つを変更することができ、これにより良好な画質のマルチスペクトル画像を容易に取得することができる。
また、感度の算出や出力、撮像等の処理についても、図22~24について上述したのと同様に、本発明に係る撮像方法及び撮像プログラムを用いて行うことができる。
<光学系等の他の構成>
本発明において、レンズ装置、照射装置、撮像素子等の構成は上述した第1,第2の実施形態と異なっていてもよい。例えば、光学部材における開口領域の数やカラーフィルタの波長帯域、偏光方向、光源の数や周波数帯域、撮像素子における分光フィルタ素子の波長帯域の数や値、偏光方向の数や偏光方向は第1,第2の実施形態と異なっていてもよい。ただし、光学系を瞳分割し、分割された瞳に対応する特定の波長帯域の画像信号を取得できる構成であることが好ましい。
以上で本発明の実施形態について説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10 撮像装置
16 バンドパスフィルタユニット
16A 枠体
16A1 第1開口領域
16A2 第2開口領域
16A3 第3開口領域
16B1 第1バンドパスフィルタ
16B2 第2バンドパスフィルタ
16B3 第3バンドパスフィルタ
18 偏光フィルタユニット
18A 枠体
18A1 第1開口領域
18A2 第2開口領域
18A3 第3開口領域
18B2 偏光フィルタ
18B3 偏光フィルタ
20 枠体
21 光軸中心
22 斜面部
24A 窓部
24B 窓部
24C 窓部
24D 窓部
26 壁部
28 挿入口
30 傾斜調整部材
30A 斜面
50A バンドパスフィルタ
50B バンドパスフィルタ
50C バンドパスフィルタ
50D バンドパスフィルタ
100 レンズ装置
100A レンズ
100B 照射装置
102 レンズ鏡筒
104 第1レバー
106 第2レバー
108 スリット
110 第1のレンズ
120 第2のレンズ
122A 第1偏光フィルタ素子
122B 第2偏光フィルタ素子
122C 第3偏光フィルタ素子
130 光学部材
131 枠体
131A 開口領域
131B 開口領域
131C 開口領域
131D 開口領域
131E 遮蔽部材
132 枠体
132A 開口領域
132B 開口領域
132C 開口領域
132D 開口領域
133 枠体
133A 開口領域
133B 開口領域
133C 開口領域
138 光学部材
138A 開口領域
138B 開口領域
138C 開口領域
138D 開口領域
139 遮蔽部材
139A 遮蔽部材
139B 遮蔽部材
139C 遮蔽部材
139D 遮蔽部材
140A フィルタセット
140B フィルタセット
140C フィルタセット
140D フィルタセット
141A フィルタセット
142A 光学フィルタ
142B 光学フィルタ
142C 光学フィルタ
144A 偏光フィルタ
144B 偏光フィルタ
144C 偏光フィルタ
147A 減光フィルタ
150A 遮蔽部材
150B 遮蔽部材
150C 遮蔽部材
150D 遮蔽部材
152 偏光フィルタ
160A 分光特性
160B 分光特性
160C 分光特性
160D 分光特性
162 分光特性
170 プリズム
172 スリット
180A 開口領域
180B 開口領域
180C 開口領域
180D 開口領域
192A 第1分光フィルタ素子
192B 第2分光フィルタ素子
192C 第3分光フィルタ素子
200 撮像装置本体
210 撮像素子
211 ピクセルアレイ層
212 フォトダイオード
213 偏光フィルタ素子アレイ層
214A 偏光フィルタ素子
214B 偏光フィルタ素子
214C 偏光フィルタ素子
214D 偏光フィルタ素子
215 マイクロレンズアレイ層
216 マイクロレンズ
220 イメージセンサ
230 信号処理部
232 アナログ信号処理部
234 画像生成部
236 係数記憶部
310 光源制御部
320 光源
322 光源
324 光源
330 プリズム
332 スリット
L 光軸
L2 光軸
P1 第1画素
P2 第2画素
P3 第3画素
P4 第4画素
P5 第5画素
P6 第6画素
P7 第7画素
P8 第8画素
P9 第9画素
PB 画素ブロック
α1 画素信号
α2 画素信号
α3 画素信号
α4 画素信号
α5 画素信号
α6 画素信号
α7 画素信号
α8 画素信号
α9 画素信号
β1 画素信号
β2 画素信号
β3 画素信号
β4 画素信号
β5 画素信号
β6 画素信号
β7 画素信号
β8 画素信号
β9 画素信号
Θ1 偏光方向
θ2 偏光方向
Θ2 偏光方向
θ3 偏光方向
Θ3 偏光方向
λ1 波長帯域
λ11 波長帯域
λ12 波長帯域
λ13 波長帯域
λ2 波長帯域
λ21 波長帯域
λ22 波長帯域
λ23 波長帯域
λ3 波長帯域
λ31 波長帯域
λ32 波長帯域
λ33 波長帯域
λ4 波長帯域
λA 波長帯域
λB 波長帯域
λC 波長帯域
S100~S140 撮像方法の各ステップ

Claims (20)

  1. 被写体の光学像を結像させるレンズを含む光学系と、
    前記光学系の瞳位置または瞳位置の近傍に配置された光学部材であって、
    複数の開口領域を備える枠体と、
    前記複数の開口領域に配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、
    前記複数の開口領域に配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタと、
    を有する光学部材と、
    照明光を前記被写体に照射する照射装置と、
    前記光学系と、前記光学部材と、前記照射装置と、のうち少なくとも1つを制御する制御部と、
    を備え、
    前記制御部は、前記光学系から出射される光の分光特性を前記複数の開口領域について変更し、
    前記分光特性は、分光強度のピーク波長、分光強度の比、及び分光強度の波長幅のうち少なくとも1つを含み、
    前記照射装置よりも前記被写体に近い側に配置された可動の第3スリットと、前記照射装置よりも前記被写体に近い側に配置され、透過波長帯域が連続的に変化する可動のフィルタと、を備え、
    前記制御部は、前記第3スリットの開口幅と、前記第3スリットの開口位置と、前記第3スリットの開口位置と前記フィルタとの相対的な位置関係と、のうち少なくとも1つを変化させることで前記分光強度のピーク波長及び/または前記分光強度の波長幅を変更するレンズ装置。
  2. 前記照射装置は、前記複数の光学フィルタの波長帯域を含む分光特性を有する請求項1に記載のレンズ装置。
  3. 前記複数の開口領域の開口面積のうち少なくとも1つを調整する調整機構を備え、前記開口面積の調整により前記分光強度の比を変更する請求項1または2に記載のレンズ装置。
  4. 前記複数の開口領域の開口面積のうち少なくとも1つは調整可能であり、前記開口面積の調整により前記分光強度の比が調整された請求項1または2に記載のレンズ装置。
  5. 前記複数の開口領域のうち少なくとも1つの開口領域に配置された減光フィルタであって、前記減光フィルタが配置された開口領域を透過する光を減光する減光フィルタを備え、前記減光フィルタにより、前記分光強度の比を変更する請求項1から4のいずれか1項に記載のレンズ装置。
  6. 前記複数の光学フィルタのうち少なくとも1つの光学フィルタについて、前記光学系の光軸とのなす角度を調整する調整機構を備え、前記角度の調整により前記分光強度のピーク波長を変更する請求項1から5のいずれか1項に記載のレンズ装置。
  7. 前記光学系は、入射する光を分光する第1プリズムと、前記分光された光のうち一部の波長帯域の光を透過させるスリットであって、開口の位置及び/または幅が変更する第1スリットと、を備え、
    前記開口の位置及び/または幅の調整により、前記分光強度のピーク波長及び/または前記分光強度の波長幅を変更する請求項1から6のいずれか1項に記載のレンズ装置。
  8. 前記照射装置は、
    入射する光を分光する第2プリズムと、前記分光された光のうち一部の波長帯域の光を透過させるスリットであって、開口の位置及び/または幅が変更する第2スリットと、を備え、
    前記第2プリズム及び前記第2スリットを通過した光を前記照明光として前記被写体に照射し、
    前記開口の位置及び/または幅の調整により、前記分光強度のピーク波長及び/または前記分光強度の波長幅を変更する請求項1から7のいずれか1項に記載のレンズ装置。
  9. 前記照射装置は、少なくとも一部の波長帯域が異なる複数の光を前記照明光として前記被写体に照射し、
    前記照射装置が前記複数の光のうち少なくとも1つについて照射強度を変更することにより、前記分光強度の比を変更する請求項1から8のいずれか1項に記載のレンズ装置。
  10. 前記光学系に入射する光を長軸と短軸の長さを変えた楕円偏光にする楕円偏光機構であって、前記長軸の方向を変更する楕円偏光機構を備え、
    前記楕円偏光機構で前記長軸の方向を変更することにより、前記分光強度の比を変更する請求項1から9のいずれか1項に記載のレンズ装置。
  11. 被写体の光学像を結像させるレンズを含む光学系と、
    前記光学系の瞳位置または瞳位置の近傍に配置された光学部材であって、
    複数の開口領域を備える枠体と、
    前記複数の開口領域に配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、
    前記複数の開口領域に配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタと、
    を有する光学部材と、
    照明光を前記被写体に照射する照射装置と、
    前記光学系と、前記光学部材と、前記照射装置と、のうち少なくとも1つを制御する制御部と、
    を備え、
    前記制御部は、前記光学系から出射される光の分光特性を前記複数の開口領域について変更するレンズ装置と、
    異なる偏光方向を有する複数の偏光素子を備え、前記複数の開口領域のいずれかを透過した光を選択的に受光する複数の画素群を含む撮像素子と、
    前記撮像素子から出力される複数の画像信号に基づいて、前記複数の光学フィルタの前記波長帯域にそれぞれ対応する複数の画像を生成するプロセッサと、
    を備える撮像装置であって、
    前記レンズ装置において、
    前記枠体は3つの開口領域を備え、
    それぞれが3つの波長帯域の光を透過させる3種類の光学フィルタが前記3つの開口領域に1つずつ配置されて、合計で9つの波長帯域の光を透過させ、
    前記3つの開口領域のうち少なくとも2つに、偏光方向が異なる偏光フィルタが配置され、
    前記撮像素子において、
    偏光方向が異なる3種類の偏光素子のいずれかが各画素に配置され、
    それぞれが前記9つの波長帯域のうちの3つと重複する波長帯域を有する3つの光学フィルタのいずれかが各画素に配置されて、
    前記撮像素子は前記9つの波長帯域の光を受光し、
    前記プロセッサは前記9つの波長帯域にそれぞれ対応する9つの画像を生成する、
    撮像装置。
  12. 前記プロセッサは、前記複数の画像信号の感度を出力する請求項11に記載の撮像装置。
  13. 前記プロセッサは、前記感度に基づいて、前記撮像装置のユーザに前記分光特性の調整を促す情報を出力する請求項12に記載の撮像装置。
  14. 前記プロセッサは、前記感度に基づいて前記光学系及び/または前記照射装置を制御する請求項12または13に記載の撮像装置。
  15. 前記感度は、前記複数の画像信号の出力強度と、前記撮像素子から出力されるノイズと前記出力強度との比であるノイズ比と、のうち少なくとも1つを含み、
    前記プロセッサは、前記複数の光学フィルタの分光特性と、前記光学系の分光特性と、前記撮像素子の分光特性と、前記照射装置の分光特性と、に基づいて前記感度を算出する請求項12から14のいずれか1項に記載の撮像装置。
  16. 請求項1から10のいずれか1項に記載のレンズ装置と、異なる偏光方向を有する複数の偏光素子を備え、前記複数の開口領域のいずれかを透過した光を選択的に受光する複数の画素群を含む撮像素子と、を備える撮像装置の撮像方法であって、
    前記撮像素子から出力される複数の画像信号に基づいて、前記複数の光学フィルタの前記波長帯域にそれぞれ対応する複数の画像を生成する画像生成工程を有する撮像方法。
  17. 前記複数の画像信号の感度を出力する感度出力工程を有する請求項16に記載の撮像方法。
  18. 前記感度に基づいて、前記撮像装置のユーザに前記分光特性の調整を促す情報を出力する調整要求工程を有する請求項17に記載の撮像方法。
  19. 前記感度に基づいて前記光学系及び/または前記照射装置を制御する制御工程を有する請求項17または18に記載の撮像方法。
  20. 請求項16から19のいずれか1項に記載の撮像方法をコンピュータに実行させる撮像プログラム。
JP2020032002A 2020-02-27 2020-02-27 レンズ装置、撮像装置、撮像方法、及び撮像プログラム Active JP7261192B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020032002A JP7261192B2 (ja) 2020-02-27 2020-02-27 レンズ装置、撮像装置、撮像方法、及び撮像プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020032002A JP7261192B2 (ja) 2020-02-27 2020-02-27 レンズ装置、撮像装置、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
JP2021135404A JP2021135404A (ja) 2021-09-13
JP7261192B2 true JP7261192B2 (ja) 2023-04-19

Family

ID=77661098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020032002A Active JP7261192B2 (ja) 2020-02-27 2020-02-27 レンズ装置、撮像装置、撮像方法、及び撮像プログラム

Country Status (1)

Country Link
JP (1) JP7261192B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047794A1 (ja) * 2021-09-22 2023-03-30 富士フイルム株式会社 情報処理方法、情報処理装置、情報処理プログラム、及び情報処理システム
CN117999793A (zh) * 2021-09-29 2024-05-07 富士胶片株式会社 数据处理装置、方法及程序以及多光谱相机
WO2023145444A1 (ja) * 2022-01-27 2023-08-03 ソニーグループ株式会社 撮像装置、および撮像装置の作動方法
WO2023145188A1 (ja) * 2022-01-31 2023-08-03 富士フイルム株式会社 撮像装置、処理装置、処理方法、プログラム、及び光学フィルタ
WO2023188512A1 (ja) * 2022-03-30 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264537A (ja) 2006-03-30 2007-10-11 Fujinon Corp 内視鏡装置
JP2010026065A (ja) 2008-07-16 2010-02-04 Olympus Corp 分光装置
JP2012037602A (ja) 2010-08-04 2012-02-23 Nikon Corp 光学ユニット、撮像装置および色むら調整方法
JP2012247645A (ja) 2011-05-27 2012-12-13 Fujifilm Corp 撮像装置
WO2013027320A1 (ja) 2011-08-25 2013-02-28 パナソニック株式会社 画像処理装置、3次元撮像装置、画像処理方法、および画像処理プログラム
WO2013114888A1 (ja) 2012-02-02 2013-08-08 パナソニック株式会社 撮像装置
JP2016036127A (ja) 2014-07-31 2016-03-17 パナソニックIpマネジメント株式会社 撮像装置および撮像システム
WO2021153473A1 (ja) 2020-01-31 2021-08-05 富士フイルム株式会社 レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264537A (ja) 2006-03-30 2007-10-11 Fujinon Corp 内視鏡装置
JP2010026065A (ja) 2008-07-16 2010-02-04 Olympus Corp 分光装置
JP2012037602A (ja) 2010-08-04 2012-02-23 Nikon Corp 光学ユニット、撮像装置および色むら調整方法
JP2012247645A (ja) 2011-05-27 2012-12-13 Fujifilm Corp 撮像装置
WO2013027320A1 (ja) 2011-08-25 2013-02-28 パナソニック株式会社 画像処理装置、3次元撮像装置、画像処理方法、および画像処理プログラム
WO2013114888A1 (ja) 2012-02-02 2013-08-08 パナソニック株式会社 撮像装置
JP2016036127A (ja) 2014-07-31 2016-03-17 パナソニックIpマネジメント株式会社 撮像装置および撮像システム
WO2021153473A1 (ja) 2020-01-31 2021-08-05 富士フイルム株式会社 レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム

Also Published As

Publication number Publication date
JP2021135404A (ja) 2021-09-13

Similar Documents

Publication Publication Date Title
JP7261192B2 (ja) レンズ装置、撮像装置、撮像方法、及び撮像プログラム
JP6455604B2 (ja) 撮像装置、撮像プログラムおよび撮像方法
JP6907389B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP7373592B2 (ja) レンズ装置、撮像装置、撮像方法、撮像プログラム、及び記録媒体
US20190230267A1 (en) Imaging apparatus
JP2015228641A (ja) 撮像装置、露光調整方法およびプログラム
US20230103720A1 (en) Lens device, imaging apparatus, and imaging method
US10874293B2 (en) Endoscope device
US11796722B2 (en) Optical element, optical device, and imaging apparatus for acquiring multispectral images
CN113966605B (zh) 摄像装置
US20220038613A1 (en) Imaging device
WO2016052101A1 (ja) 撮像装置および画像データ生成プログラム
JP2007054113A (ja) 電子内視鏡、内視鏡光源装置、内視鏡プロセッサ、および内視鏡システム
JP6642628B2 (ja) 撮像素子および撮像装置
CN114041085B (zh) 摄像装置
US20230106512A1 (en) Lens device and imaging apparatus
JP5414369B2 (ja) 眼底カメラ及び制御方法
JP4545418B2 (ja) 眼底カメラ
WO2020213418A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
JP6183482B2 (ja) 焦点検出装置および撮像装置
WO2023047794A1 (ja) 情報処理方法、情報処理装置、情報処理プログラム、及び情報処理システム
JP7399194B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US20240212107A1 (en) Information processing method, information processing apparatus, information processing program, and information processing system
JP6464228B2 (ja) 内視鏡装置
JP6332372B2 (ja) 焦点調節装置およびそれを備えた撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230407

R150 Certificate of patent or registration of utility model

Ref document number: 7261192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150