JP6931401B2

JP6931401B2 - 撮像装置及び画像処理装置

Info

Publication number: JP6931401B2
Application number: JP2019548154A
Authority: JP
Inventors: 小野　修司; 修司小野
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2017-10-11
Filing date: 2018-10-03
Publication date: 2021-09-01
Anticipated expiration: 2038-10-03
Also published as: US11460617B2; EP3697075A1; US20200233127A1; CN111149347A; JPWO2019073881A1; WO2019073881A1; EP3697075B1; CN111149347B; EP3697075A4

Description

本発明は特定の波長で画像を取得する撮像装置、及び取得した画像に基づいて被写体の計測を行う画像処理装置に関する。

撮像装置の分野では、特定の波長に対して画像を取得する技術が知られている。このような撮像装置では、所望の画像を取得するために、特定の波長を透過させる光学フィルタが用いられる。しかしながらこのような光学フィルタを用いると、光学フィルタの領域（例えば画角の中央と周辺）によって光線の入射角度が大きく異なり、その結果として透過波長がシフトする場合がある。このため、入射角度の差による透過波長のシフトを抑制する技術が知られている。例えば特許文献１では、光の入射角度が平面の場合よりも小さくなるように湾曲された光学フィルタを用いることにより、領域による透過特性の変化を抑制しようとしている。

特開２００６−２５４１３５号公報

しかしながら上述した特許文献１では、光学フィルタを湾曲させるので加工に手間が掛かる。特に、複数の波長で画像を取得する場合にこの問題が顕著となる。具体的には、特許文献１の技術ではそれぞれの波長に対応して湾曲度合いの異なる複数の光学フィルタを設けなければならず、加工に手間が掛かる上に光学系の構成が複雑になってしまう。

このように、従来の技術では複数の波長（特に、複数の狭帯域波長）で画像を取得し、取得した画像に基づいて被写体の計測を行うことが困難であった。

本発明はこのような事情に鑑みてなされたもので、透過波長シフトが少ない画像を複数の波長で取得できる撮像装置、及び複数の波長で取得した透過波長シフトが少ない画像に基づいて被写体の計測を精度良く行うことができる画像処理装置を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、第１の光学系と、第１の光学フィルタ及び第２の光学フィルタから構成される光学フィルタであって、第１の波長帯域の光を透過させる第１の光学フィルタ及び第１の波長帯域と異なる第２の波長帯域の光を透過させる第２の光学フィルタから構成される光学フィルタと、第２の光学系と、が被写体側から順に配列された撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、指向性センサから、第１の光学フィルタを介して受光した第１の画像と、第２の光学フィルタを介して受光した第２の画像と、をそれぞれ取得する画像取得部と、を有する撮像装置であって、第１の光学フィルタ及び第２の光学フィルタは撮像光学系の入射瞳の位置において撮像光学系の光軸に垂直な面内の異なる領域にそれぞれ配置され、第１の光学系は、指向性センサの撮像面において像高が高い位置に結像される高像高光束を、高像高光束の上光線と下光線とが平行な状態で第１の光学フィルタ及び第２の光学フィルタに入射させる。

像高が高い位置に結像される高像高光束は光軸に対し大きな角度で入射するので透過波長シフトが大きくなる。しかしながら第１の態様に係る撮像装置では、第１の光学系が、高像高光束を上光線と下光線とが平行な状態で第１の光学フィルタ及び第２の光学フィルタに入射させる。したがって第１，第２の光学フィルタにおいて高像高光束の入射角度差による透過波長シフトが抑制され、透過波長シフトが少ない画像を複数の波長で取得することができる。また第１の態様では、透過波長帯域が異なる光学フィルタの透過光を指向性センサにより瞳分割して受光するので、波長が異なる複数の画像を同時に取得することができる。

なお第１の態様において、上光線と下光線とが「平行」とは完全な平行に限らず、透過波長のシフトの影響が許容できる範囲で角度差があってもよい。また「像高が高い位置」は例えば像高が７割の位置とすることができるが、他の像高（８割、１０割等）で規定してもよい。

第２の態様に係る撮像装置は第１の態様において、第１の光学フィルタが光軸を中心とする第１の領域に配置され、第２の光学フィルタが第１の領域の外側の第２の領域に配置され、第１の光学系は、高像高光束を、高像高光束の上光線と下光線とが平行な状態で第２の光学フィルタに入射させる。第１の光学フィルタが光軸を中心とする領域に配置され、第２の光学フィルタが第１の光学フィルタの外側の領域に配置される場合、第２の光学フィルタに入射する高像高光束の上光線と下光線との入射角度差による影響（透過波長シフトの量及び差）が大きくなる。したがって第２の態様のように、第１の光学系が、高像高光束を、高像高光束の上光線と下光線とが平行な状態で第２の光学フィルタに入射させることが波長シフトを抑制するために効果的である。

第３の態様に係る撮像装置は第２の態様において、第１の光学系は、高像高光束と撮像面の中心に結像される中心光束とを、高像高光束の上光線と中心光束の上光線との成す角度が第１のしきい値以下であり、かつ高像高光束の下光線と中心光束の下光線との成す角度が第２のしきい値以下の状態で第２の光学フィルタに入射させる。第２の態様について上述したように、第２の光学フィルタに入射する高像高光束の上光線と下光線との入射角度差による影響（透過波長シフトの量及び差）が大きくなる。このため第３の態様では、第２の光学フィルタに入射する光束どうしの成す角度を規定することにより、入射角度差による影響を抑制している。なお、第１，第２のしきい値は許容される透過波長シフトに応じて設定することができる。

第４の態様に係る撮像装置は第２または第３の態様において、第１の光学系は、高像高光束と撮像面の中心に結像される中心光束とを、高像高光束の上光線と中心光束の上光線との成す角度が第３のしきい値以下であり、かつ高像高光束の下光線と中心光束の下光線との成す角度が第４のしきい値以下の状態で第１の光学フィルタに入射させる。第４の態様によれば、第１の光学フィルタに入射する光束どうしの成す角度を規定することにより、入射角度差による影響を抑制することができる。なお、第３，第４のしきい値は許容される透過波長シフトに応じて設定することができる。

第５の態様に係る撮像装置は第１から第４の態様のいずれか１つにおいて、第１の光学系はアフォーカル光学系を構成する。アフォーカル光学系とは、平行光束がレンズに入射し同じく平行光束が射出する非焦点光学系である。第５の態様では光学フィルタよりも被写体側に配置される第１の光学系がアフォーカル光学系なので、第１の光学系から平行光束が射出し、高像高光束の上光線と下光線とが光学フィルタに対し平行に入射して、透過波長シフトの差が少なくなる。なお第５の態様において、第１の光学系の構成が、透過角度及びこれに起因する透過波長シフトの影響が許容できる範囲でアフォーカル光学系と異なっていてもよい。

第６の態様に係る撮像装置は第５の態様において、アフォーカル光学系のアフォーカル倍率は１未満である。アフォーカル倍率とは、アフォーカル光学系に入射する平行光束と出射する平行光束とを瞳径の比率で表した数値である。第６の態様ではアフォーカル倍率が１未満なので、出射する光束の径は入射する光束の径より大きくなる。

第７の態様に係る撮像装置は第１から第６の態様のいずれか１つにおいて、指向性センサは、瞳分割部として機能する遮光マスクまたはマイクロレンズアレイを有する。第７の態様は、選択的受光のための具体的構成の一態様を示すものである。

第８の態様に係る撮像装置は第１から第７の態様のいずれか１つにおいて、第１の光学フィルタ及び第２の光学フィルタは、６５０ｎｍ以上７４０ｎｍ以下の波長帯域における互いに重複しない波長帯域の光を第１の波長帯域の光及び第２の波長帯域の光としてそれぞれ透過させる。第８の態様によれば、可視域赤色の波長帯域における２波長で画像を取得することができる。

上述した目的を達成するため、本発明の第９の態様に係る画像処理装置は第１から第８の態様のいずれか１つに係る撮像装置と、第１の画像及び第２の画像から被写体の計測を行う計測部と、を備える。第９の態様によれば、第１から第８の態様のいずれか１つに係る撮像装置で取得した第１，第２の画像を用いるので、複数の波長で取得した透過波長シフトが少ない画像に基づいて被写体の計測を精度良く行うことができる。

以上説明したように、本発明の撮像装置によれば透過波長シフトが少ない画像を複数の波長で取得することができ、本発明の画像処理装置によれば複数の波長で取得した透過波長シフトが少ない画像に基づいて被写体の計測を精度良く行うことができる。

図１は、第１の実施形態に係る画像処理装置の構成を示す図である。図２は、撮像光学系のレンズ配置を示す図である。図３は、撮像光学系のレンズデータを示す図である。図４は、光学フィルタの配置を示す図である。図５は、遮光マスクによる選択的受光の様子を示す図である。図６は、実施例における光線透過の様子を示す図である。図７は、比較例における光線透過の様子を示す図である。図８は、実施例及び比較例における入射角度及び透過波長を示す表である。図９は、実施例及び比較例における透過波長を示すグラフである。図１０は、透過波長の関係を模式的に示す図である。図１１は、実施例及び比較例における入射角度及び透過波長を示す他の表である。図１２は、実施例及び比較例における透過波長を示す他のグラフである。図１３は、光学フィルタの配置の変形例を示す図である。図１４は、富栄養水の分光反射率を示す図である。

以下、添付図面を参照しつつ、本発明に係る撮像装置及び画像処理装置の実施形態について、詳細に説明する。

＜第１の実施形態＞
＜画像処理装置の全体構成＞
図１は第１の実施形態に係る画像処理装置１０（画像処理装置）の構成を示す図である。図１に示すように、画像処理装置１０は撮像装置２０（撮像装置）と解析装置３０（計測部）とを備え、撮像装置２０で取得した画像を解析装置３０に入力して、解析装置３０で被写体の計測を行う。撮像装置２０と解析装置３０とを１つの筐体に収納してもよいし、別の筐体に収納してもよい。

＜撮像装置の構成＞
撮像装置２０は撮像光学系５０（撮像光学系）、受光ユニット２２（指向性センサ）、画像取得部２４（画像取得部）、及び画像記録部２６を備え、波長が異なる光を受光して複数の画像を撮像する機能を有する。なお、図１では撮像光学系５０の構成（レンズ枚数、形状、配置等）を簡略化して記載している。詳細な構成は以下で説明する。

＜撮像光学系の構成＞
撮像光学系５０は、第１の光学系５１、光学フィルタ５３、及び第２の光学系５２が、被写体側から順に共通の光軸ＡＸ１を中心として配置されており、光学フィルタ５３（光学フィルタ）により、光が透過する領域ごとに異なる透過波長特性を持つ。図２は撮像光学系５０のレンズ配置を示す図である。第１の光学系５１はレンズＬ１，Ｌ２から構成されるアフォーカル光学系である。第２の光学系５２はレンズＬ３〜Ｌ８から構成され、第１の光学系５１及び光学フィルタ５３を透過した光束を受光ユニット２２の撮像面２２Ａに結像させる。光学フィルタ５３は撮像光学系５０の入射瞳の位置において、平板５４の前面（被写体側）に配置される。

＜第１の光学系の構成＞
第１の実施形態に係る撮像装置２０では、撮像光学系５０の入射瞳の位置に光学フィルタ５３が配置され、第１の光学系５１を透過した光が光学フィルタ５３に入射する。光学フィルタ５３での透過波長シフトを抑制するためには、撮影倍率無限倍で考えた場合、まず絞り空間、すなわち光学フィルタ５３が配置される入射瞳の位置での軸上光束が光軸とできるだけ平行になっていることが望ましい。したがって第１の光学系５１はアフォーカル光学系を形成することが望ましい（アフォーカル光学系に対する忠実度は、光軸と光線の角度の許容範囲で考えればよい）。さらに、軸外光束もできるだけ光軸と平行であることが望ましい。

つまり、軸外光束は撮像光学系５０の絞り空間（入射瞳の位置）において入射角度よりかなり緩い角度であることが望まれるので、アフォーカル光学系の成立を前提とすればアフォーカル倍率Υ＜１である必要がある。Υはアフォーカル光学系においての入射光束の太さを射出光束の太さで割ったもので、同時に角倍率、アフォーカル軸外光の入射時と射出時の角度の差でもある。図６等に示すように、第１の実施形態に係る撮像装置２０では軸上光束が絞り空間（瞳位置）において太くなっている（すなわち、アフォーカル倍率が１未満）。なお、撮像光学系５０の全系の焦点距離は、このアフォーカル倍率と絞り以降（入射瞳位置より撮像素子側）の光学系の焦点距離を掛けたものになる。

したがって、撮像光学系５０の絞り空間（入射瞳の位置）に光学フィルタを配置する場合、撮影画角を広くしようとすると、アフォーカル倍率（角倍率）が１未満のアフォーカル系（あるいは、透過角度及び／または透過波長シフトが許容される範囲内でアフォーカル系的に挙動する光学系）を絞り（入射瞳）より前の光学系で構成することが必要である。図３は撮像光学系５０のレンズデータを示す図であり、矩形で囲んだ箇所が光学フィルタ５３が配置された面を示す。第１の光学系５１のアフォーカル倍率（角倍率）は０．６６８である。

＜光学フィルタの構成＞
光学フィルタ５３は第１の光学フィルタ５３Ａ（第１の光学フィルタ）及び第２の光学フィルタ５３Ｂ（第２の光学フィルタ）により構成され、撮像光学系５０の瞳位置において、光軸ＡＸ１と垂直な面内の異なる領域（平板５４の前面）にそれぞれ配置される（図２参照）。図４に示すように、第１の光学フィルタ５３Ａは光軸ＡＸ１を中心とする円形の領域（第１の領域）に配置され、第２の光学フィルタ５３Ｂは第１の領域の周辺（外側）の環状の領域（第２の領域）に配置される。第１の光学フィルタ５３Ａ及び第２の光学フィルタ５３Ｂは、誘電多層膜により形成することができる。

このような光学フィルタ５３により、撮像光学系５０を通過した被写体光のうち、第１の光学フィルタ５３Ａ（第１の瞳領域）を通過した光は第１の波長帯域、第２の光学フィルタ５３Ｂ（第２の瞳領域）を通過した光は第２の波長帯域を有する光となる。第１の光学フィルタ５３Ａ及び第２の光学フィルタ５３Ｂの透過波長の具体的な値については、後述する実施例により説明する。

＜受光ユニットの構成＞
撮像光学系５０を通過した被写体光は、受光ユニット２２に入射する。受光ユニット２２は２次元状に配列された光電変換素子により構成された複数の画素を有し、第１の光学フィルタ５３Ａ及び第２の光学フィルタ５３Ｂを介して入射する光束をそれぞれ瞳分割して選択的に受光する。また、マイクロレンズ１５２が１つの受光素子に対して１つ配設されている。マイクロレンズ１５２は光軸ＡＸ１に垂直な面内において規則的に配置され、それぞれのマイクロレンズ１５２には受光素子１６２が配置されている。受光素子１６２は、ＭＯＳ（Metal Oxide Semiconductor）またはＣＭＯＳ型撮像素子が用いられる。受光素子１６２としては、この他に、ＣＣＤ型撮像素子（ＣＣＤ：Charge Coupled Device）などの固体撮像素子を用いてもよい。

図５は、光軸ＡＸ１を含む面における受光ユニット２２の断面図である。図５において、光線１２２Ａ及び光線１２２Ｂは、それぞれ第１の光学フィルタ５３Ａ，第２の光学フィルタ５３Ｂを通過した光線を模式的に示す。受光素子１６２の受光面には光学フィルタの配置に対応して遮光マスク１６２Ａ（瞳分割部）または遮光マスク１６２Ｂ（瞳分割部）が配置されている。第１の光学フィルタ５３Ａ（円形）に対応した円環状の遮光マスク１６２Ａは光線１２２Ｂを遮光し、第２の光学フィルタ５３Ｂ（円環状）に対応した円形の遮光マスク１６２Ｂは光線１２２Ａを遮光する。これにより受光素子１６２は光線１２２Ａと光線１２２Ｂとを分離して受光する。受光ユニット２２は、それぞれ分離して受光した光による信号を、画像信号として画像取得部２４に供給する。

＜画像取得部及び画像記録部の構成＞
画像取得部２４は、第１の光学フィルタ５３Ａを介して受光した画像ｉ１（第１の画像）と第２の光学フィルタ５３Ｂを介して受光した画像ｉ２（第２の画像）とをそれぞれ取得する。すなわち画像取得部２４は、画像信号から、それぞれ波長の異なる２つの画像を取得する。画像記録部２６は、画像取得部２４が取得した画像ｉ１，ｉ２を記録する。画像記録部２６は不揮発性メモリに画像を記録してもよい。不揮発性メモリは画像記録部２６が有してもよい。また、不揮発性メモリは、撮像装置２０に対して着脱可能に設けられた外部メモリであってもよい。画像記録部２６は、撮像装置２０の外部（例えば解析装置３０）に画像を出力することができる。

＜解析装置の構成＞
解析装置３０は処理部１００（計測部）、記憶部２００、表示部３００、及び操作部４００を備え、互いに接続されて必要な情報が送受信される。これらの構成要素については各種の配置形態を採用することができ、各構成要素が１箇所（１筐体内、１室内等）に配置されていてもよいし、離れた場所に配置されネットワークを介して接続されていてもよい。

＜処理部の構成＞
処理部１００は画像入力部１１０及び計測部１２０（計測部）を備える。画像入力部１１０は図示せぬ記録媒体インタフェース、その制御回路、及び撮像装置２０との通信（無線、有線）を制御する通信制御部等により構成され、撮像装置２０で取得した画像を入力する。計測部１２０は、画像入力部１１０が入力した画像に基づいて被写体の計測を行う（後述）。

上述した制御回路、通信制御部、及び計測部１２０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力及び被写体の計測を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

＜記憶部の構成＞
記憶部２００は光磁気ディスク、半導体メモリ等の非一時的記録媒体及びその制御部により構成され、入力した画像、計測結果等が関連付けて記憶される。

＜表示部及び操作部の構成＞
表示部３００はモニタ３１０（表示装置）を備えており、入力した画像、記憶部２００に記憶された画像及び情報、処理部１００による処理の結果等を表示することができる。操作部４００は入力デバイス及び／またはポインティングデバイスとしてのキーボード４１０及びマウス４２０を含んでおり、ユーザはこれらのデバイス及びモニタ３１０の画面を介して、被写体の計測に必要な操作を行うことができる。

＜透過波長シフトの例（ケース１）＞
上述した構成の撮像装置２０における透過波長シフトの実施例について、比較例を参照しつつ説明する。

＜実施例の構成＞
本実施例において、第１の光学フィルタ５３Ａ、及び第２の光学フィルタ５３Ｂは可視域赤色の波長帯域における重複しない２波長の光をそれぞれ透過させる。具体的には、６５０ｎｍ以上７４０ｎｍ以下の波長帯域における互いに重複しない波長帯域をそれぞれ第１の波長帯域（垂直入射時の第１の光学フィルタ５３Ａの透過波長：６７０ｎｍ）、第２の波長帯域（垂直入射時の第２の光学フィルタ５３Ｂの透過波長：７１０ｎｍ）としている。図６は光学フィルタ５３に対する光線の入射の様子を示す図である。図６の（ａ）部分は第１の光学フィルタ５３Ａに対する高像高光束（像高７割）、中心光束の入射を示し、（ｂ）部分は第２の光学フィルタ５３Ｂに対する高像高光束（像高７割）、中心光束の入射を示す。図６では、光学フィルタ５３の配置を明示するため、厚みを強調して記載している。

なお、実施例における平板５４（基板）の屈折率は１．５であり、第１の光学フィルタ５３Ａ，第２の光学フィルタ５３Ｂの実効的屈折率はそれぞれ１．８３，２．０４である。

＜比較例の構成＞
比較例において、撮像光学系６０はダブルガウス型の光学系であり、図７に示すように第１の光学系６１及び第２の光学系６２により構成される。光学フィルタ６３は撮像光学系６０の入射瞳の位置に配置され、光軸ＡＸ２を中心とした円形の領域に配置された第１の光学フィルタ６３Ａと、その外側に配置された第２の光学フィルタ６３Ｂとにより構成される。また、実施例と同様に、撮像光学系６０に対応する撮像素子（不図示）の各受光素子には第１の光学フィルタ６３Ａ，第２の光学フィルタ６３Ｂの配置に対応して異なる形状の遮光マスク（不図示）が設けられる。

比較例においても、実施例と同様に第１の光学フィルタ６３Ａは波長が６７０ｎｍの光を透過させ、第２の光学フィルタ６３Ｂは波長が７１０ｎｍの光を透過させる。図７の（ａ）部分は第１の光学フィルタ６３Ａに対する高像高光束（像高７割）、中心光束の入射を示し、（ｂ）部分は第２の光学フィルタ６３Ｂに対する高像高光束（像高７割）、中心光束の入射を示す。なお図７では、光学フィルタ６３の配置を明示するため、厚みを強調して記載している。

なお比較例においても、光学フィルタ６３が配置される基板の屈折率は１．５であり、第１の光学フィルタ６３Ａ，第２の光学フィルタ６３Ｂの実効的屈折率はそれぞれ１．８３，２．０４である。

＜実施例及び比較例における光線の透過角度及び透過波長＞
上述した構成の実施例及び比較例について、光学フィルタへの入射角度を図８の（ａ）部分に、光学フィルタの透過波長を図８の（ｂ）部分に示す。また、図９の（ａ）部分は比較例についての透過波長のグラフであり、（ｂ）部分は実施例についての透過波長のグラフである。なお、図９に示す透過波長のグラフを概念的にまとめた様子を図１０に示す。

光学フィルタの透過波長λθ（入射角θの時の透過中心波長）は、垂直入射時の透過中心波長をλ０とし、基板の屈折率をＮｅとし、Ｎ＊を光学フィルタの実効的屈折率とした場合に、以下の式（１）で表すことができる。

＜比較例の評価＞
図８，９から分かるように、比較例においては第２の光学フィルタ６３Ｂを透過する高像高光束の上光線と下光線とで透過角度の差が９．８ｄｅｇ（＝２２．１ｄｅｇ−１２．３ｄｅｇ）と大きく、これにより透過波長の差が１８．９ｎｍとなっている。このため、取得される画像は画面の周辺部分（像高が高い位置）において広い波長帯域の透過光で構成されてしまい、狭帯域波長を用いる計測に適さない。また比較例では、第１の光学フィルタ６３Ａを透過する高像高光束と中心光束とで透過角度の差が１６．８ｄｅｇと大きく、得られる画像は周辺と中心とで大きく異なる透過波長（透過波長の差が１９．１ｎｍ）で構成された画像になってしまうので、特定波長を用いる計測に適さない。

＜実施例の評価＞
上述した比較例に対し実施例では、第２の光学フィルタ５３Ｂを透過する高像高光束の上光線と下光線とで透過角度の差が１．５８ｄｅｇ（実質的に平行）であり、これにより透過波長の差が２．１ｎｍと小さくなっているので、狭帯域波長を用いる計測に適している。透過波長の差が小さいのは、アフォーカル光学系である第１の光学系５１が、高像高光束と中心光束とを実質的に平行な状態で第２の光学フィルタ５３Ｂに入射させるためである。

また実施例では、第１の光学フィルタ５３Ａを透過する高像高光束と中心光束とで透過角度の差が１１．０４ｄｅｇと比較例より小さく、得られる画像は周辺と中心とで透過波長の差が小さい（８．２ｎｍ）ので、狭帯域（例えば１０ｎｍ以下）の波長を用いる計測に適している。透過波長の差が小さいのは、アフォーカル光学系である第１の光学系５１が、第２の光学フィルタ５３Ｂだけでなく第１の光学フィルタ５３Ａについても、高像高光束と中心光束とを実質的に平行な状態で入射させるためである。

＜入射角度に対するしきい値＞
実施例の結果より、透過波長のシフトを抑制して狭帯域波長に適した画像を取得するためには、第２の光学フィルタ５３Ｂに入射する高像高光束の上光線と高像高光束の下光線との成す角度との差は５ｄｅｇ以下（第１のしきい値以下）であることが好ましく、２ｄｅｇ以下であることがさらに好ましい。また、第２の光学フィルタ５３Ｂに入射する高像高光束の下光線と中心光束の下光線との成す角度との差は１５ｄｅｇ以下（第２のしきい値以下）であることが好ましく、１０ｄｅｇ以下であることがさらに好ましい。

また、第１の光学フィルタ５３Ａに入射する高像高光束の上光線と中心光束の上光線との成す角度との差は１５ｄｅｇ以下（第３のしきい値以下）であることが好ましく、同様に第１の光学フィルタ５３Ａに入射する高像高光束の下光線と中心光束の下光線との成す角度との差は１５ｄｅｇ以下（第４のしきい値以下）であることが好ましい。

なお、上述した第１〜第４のしきい値は、光線どうしの透過波長差がしきい値（例えば、１０ｎｍ、５ｎｍ等）以下となるように設定することができる。

＜透過波長シフトの例（ケース２）＞
上述した実施例では第１の光学フィルタ５３Ａ，第２の光学フィルタ５３Ｂがそれぞれ６１０ｎｍ、７１０ｎｍの波長の光（可視域赤色）を透過する場合について説明したが、これと異なる波長の光を透過する光学フィルタを用いてもよい。例えば、光軸を中心とする円形の領域に配置された第１の光学フィルタが１６９６ｎｍの光を透過させ，第１の光学フィルタの周辺の環状の領域に配置された第２の光学フィルタが１４２６ｎｍの光を透過させてもよい。このような配置の光学フィルタを用いた場合の透過波長を図１１に示す（入射角度は図８の（ａ）部分と同じである）。また、図１１の表をグラフ化して図１２に示す。

図１１，１２から分かるように、実施例では比較例に対して透過波長差が小さく、狭帯域波長、特定波長を用いる計測に適した画像を取得することができる。例えば、比較例においては、高像高光束に対する第２の光学フィルタ（周辺環状フィルタ）の透過波長は上光線と下光線とで４５．３ｎｍの差があるが、実施例においては４．９ｎｍの差しかない。また、比較例においては、第２の光学フィルタに対する高像高光束の下光線と中心光束の下光線とで透過波長に６２．５ｎｍの差があるが、実施例においては１５．０ｎｍの差しかない。なお、ケース２において光学系のレンズ構成及び配置は上述したケース１と同じであり、また光学フィルタは光学系の入射瞳の位置に配置される。

ケース２における光学フィルタへの入射角度はケース１と同じであるが、光学フィルタの透過波長がケース１と異なるため、入射角度差が同じでも波長シフト量が異なる。このためケース２では入射角度のしきい値をケース１と変えてもよいし、波長シフトに対するしきい値を設定してもよい。例えば、第２の光学フィルタに対する高像高光束の上光線と下光線との透過波長差のしきい値を１０ｎｍ（好ましくは５ｎｍ）とし、第２の光学フィルタに対する高像高光束の下光線と中心光束の下光線とで透過波長の差のしきい値が２０ｎｍとすることができる。

＜第１の実施形態の効果＞
以上説明したように、第１の実施形態に係る撮像装置２０では、アフォーカル光学系である第１の光学系５１が高像高光束と中心光束とを実質的に平行な状態で第２の光学フィルタ５３Ｂに入射させ、また第１の光学フィルタ５３Ａについても高像高光束と中心光束とを実質的に平行な状態で入射させる。これにより透過角度の差及び波長シフトを抑制することができ、複数の波長において、狭帯域波長を使う計測、特定波長を使う計測に適した画像を取得することができる。

＜光学フィルタの配置の他の例＞
本発明に係る撮像装置では、図１３の（ａ）部分に示すように、第１の光学フィルタ５６Ａ及び第２の光学フィルタ５６Ｂを光軸と垂直な面内において上下方向（左右方向、斜め方向でもよい）に分離して異なる領域に配置した光学フィルタ５６を用いてもよい。図１３の（ａ）部分に示す配置の場合、各光学フィルタの広がりは分割方向（図の上下方向）には半分になるが分割方向と直交する方向（図の左右方向）では全直径に渡って広がるので、上述した比較例のような構成の光学系では図の左右方向から入射する光線の角度差による透過波長の変動が大きくなってしまう。しかしながら上述した実施例のような構成の光学系（撮像光学系５０）では、入射する光線の角度差による透過波長の変動を抑制することができる。なぜならば第１の光学系５１が、第１の光学フィルタ５６Ａ及び第２の光学フィルタ５６Ｂに対して、高像高光束をその上光線と下光線とが平行な状態で入射させるからである。

また本発明に係る撮像装置では、図１３の（ｂ）部分に示すように、第１の光学フィルタ５７Ａ及び第２の光学フィルタ５７Ｂを光軸と垂直な面内において対向する扇型の領域に分離して異なる領域に配置した光学フィルタ５７を用いてもよい。このような配置においても、上述した比較例のような構成の光学系では入射する光線の角度差による透過波長の変動が大きくなってしまうが、図１３の（ｂ）部分に示す配置の場合と同様に、上述した実施例のような構成の光学系（撮像光学系５０）では、入射する光線の角度差による透過波長の変動を抑制することができる。また、図１３の（ｂ）部分に示す配置の場合、図１３の（ａ）部分に示す配置の場合と比較して光量バランスがとれ光量ムラ（シェーディング）を目立たなくすることができる。

なお、上述した光学フィルタ５６，５７も、第１の実施形態における光学フィルタ５３と同様に撮像光学系５０の入射瞳の位置に配置する。また光学フィルタ５６，５７を用いる場合も、受光素子１６２の受光面上に光学フィルタの配置に対応した配置の遮光マスクを設けることにより、第１，第２の光学フィルタを透過した光束をそれぞれ分離して受光することができる。

なお、上述した例では単一の光学フィルタ（光学フィルタ５３，５６，５７）を用いる場合について説明したが、透過波長特性の異なる複数の光学フィルタを切り替えて用いてもよい。例えば、ターレットのように回転する部材に複数の光学フィルタを設け、所望のフィルタを撮像光学系の光路（入射瞳の位置）に挿入してもよい。また、板状部材に複数の光学フィルタを設け、その板状部材を並進移動させることにより所望の光学フィルタを撮像光学系の光路（入射瞳の位置）に挿入してもよい。

＜マイクロレンズによる瞳分割＞
第１の実施形態に係る画像処理装置１０では瞳分割部として機能する遮光マスク１６２Ａ，１６２Ｂを受光素子１６２上に設けているが、瞳分割部としてマイクロレンズアレイを用いてもよい。具体的には互いに分離した複数の受光素子（例えば２つ）に対して１つのマイクロレンズを設け、個々の受光素子が異なる瞳領域（透過波長が異なる光学フィルタ）を通過した光を受光してもよい。

＜画像処理装置による計測＞
第１の実施形態に係る画像処理装置１０では、撮像装置２０で取得した画像を解析装置３０（画像入力部１１０）に入力し、計測部１２０により被写体の計測を行うことができる。このような計測の例を説明する。

＜水質検査への適用＞
一般に、海洋及び湖沼の水質をリモートセンシングにより検査する場合には、クロロフィルａ（Ｃｈｌ．ａ（Chlorophyll-a））、溶存有機物（ＤＯＭ：Dissolved organic matter）、または浮遊懸濁物質（ＳＳ：suspended solids）の水中の濃度を推定することにより行われる。溶存有機物としては、例えば有色溶存有機物（ＣＤＯＭ：Colored dissolved organic matter）が使われる。これらの物質の水中の濃度を推定する場合には、水質検査対象の水面での分光反射率を測定することにより行われ、濃度を推定する物質、その推定される物質の濃度、及び水質検査を行う場所（外洋、沿岸、湖沼、または河口付近）によって、最適な分光反射率を測定するための波長帯域が変化する。以下に、水質検査を行う場合に検出される代表的な物質とその検出に使用される波長帯域に関して説明する。

［クロロフィルａ］
クロロフィルａは、水質検査において水中の濃度が推定される代表的な物質の一つである。

図１４は、典型的な富栄養水の分光反射率に関して示す図である。同図では、Ｘ軸に波長が示されＹ軸に反射率が示されており、典型的な富栄養水の分光反射率のグラフが示されている。

典型的な富栄養水の分光反射率の特性は、波長が５７０ｎｍ付近に極大値を持つ。また、波長６７０ｎｍ付近の極小はクロロフィルａによる光の吸収が起因するものである。特に富栄養水の湖沼及び沿岸における水質検査においては、６５０ｎｍから７２０ｎｍまでの波長での反射率の最小値と最大値との比または差が、水中のクロロフィルａの濃度と相関が高いことが知られている。そこで、この波長帯域の反射率の最小値と最大値とを使用して、クロロフィルａの濃度の推定が行われる。なお、クロロフィルａの濃度の増加に伴い、最大値は高波長側へシフトしていくことが知られているが、撮像装置２０において第１の光学フィルタ及び第２の光学フィルタでの透過させる波長帯域を変化させることにより、この高波長側へのシフトにも対応することができる。

基本的なクロロフィルａの推定モデルとして、「Chl.a」をクロロフィルａの濃度とし、Ｒ(λ)を波長λの反射率とした場合に以下の式（２）で表される２波長のバンド比によるモデルが知られている。

上述の推定モデルにおいて使われる２波長は水域によって異なることが知られている。そこで、画像処理装置１０を使用してクロロフィルａの濃度に基づいて水質検査を行う場合には、例えば上述した第１の光学フィルタ及び第２の光学フィルタが６５０ｎｍ以上７４０ｎｍ以下の波長帯域内の互いに重複しない第１の波長帯域の光及び第２の波長帯域の光をそれぞれ透過させる光学フィルタを用いる。例えば、ケース１の実施例のように、第１の光学フィルタとして６７０ｎｍ（第１の波長帯域）の光を透過させる光学フィルタを用い、第２の光学フィルタが７１０ｎｍ（第２の波長帯域）の光を透過させる光学フィルタを用いる。これにより、第１の実施形態に係る撮像装置２０で波長シフトの少ない画像を取得して、解析装置３０（計測部１２０）でクロロフィルａの濃度を正確に計測することができる。

＜土壌検査への適用＞
２波長を用いた計測では、さまざまな対象物の性質を抽出する正規化指標を用いることが知られている。正規化指標は２つの波長λ１，λ２における反射率をＲ（λ１），Ｒ（λ２）として［Ｒ(λ１)−Ｒ(λ２)］／［Ｒ(λ１)＋Ｒ(λ２)］により定義することができ、例えば土壌水分比（単位重量の乾燥度に含まれる水分重量）の推定に適用することができる。［Ｒ(１６９６ｎｍ)−Ｒ(１４２６ｎｍ)］／［Ｒ(１６９６ｎｍ)＋Ｒ(１４２６ｎｍ)］で定義される正規化指標ＮＤＳＭＩ（Normalized Difference Soil Moisture Index）は、土壌水分比０％〜６０％の範囲において、良い近似を得ることができる。すなわちλ１＝１６９６ｎｍ，λ２＝１４２６ｎｍであり、ケース２について上述したように、第１の実施形態に係る撮像装置２０により波長シフトの少ない画像を取得して解析装置３０（計測部１２０）で土壌水分比を正確に計測することができる。

＜その他の計測例＞
本発明に係る画像処理装置１０（計測部１２０）では、透過波長が異なる光学フィルタを用いることで、上述した指標以外の指標を算出することができる。例えばλ１＝１０７０ｎｍ，λ２＝１５５０ｎｍとして人肌を検出する、λ１＝１４６０ｎｍ，λ２＝１２８０ｎｍとしてナラ枯れを検出する、等が可能である。また上述した指標に限らず、他の計測を行うことも可能である。

以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０画像処理装置
２０撮像装置
２２受光ユニット
２２Ａ撮像面
２４画像取得部
２６画像記録部
３０解析装置
５０撮像光学系
５１第１の光学系
５２第２の光学系
５３光学フィルタ
５３Ａ第１の光学フィルタ
５３Ｂ第２の光学フィルタ
５４平板
５６光学フィルタ
５６Ａ第１の光学フィルタ
５６Ｂ第２の光学フィルタ
５７光学フィルタ
５７Ａ第１の光学フィルタ
５７Ｂ第２の光学フィルタ
６０撮像光学系
６１第１の光学系
６２第２の光学系
６３光学フィルタ
６３Ａ第１の光学フィルタ
６３Ｂ第２の光学フィルタ
１００処理部
１１０画像入力部
１２０計測部
１２２Ａ光線
１２２Ｂ光線
１５２マイクロレンズ
１６２受光素子
１６２Ａ遮光マスク
１６２Ｂ遮光マスク
２００記憶部
３００表示部
３１０モニタ
４００操作部
４１０キーボード
４２０マウス
ＡＸ１光軸
ＡＸ２光軸
Ｌ１レンズ
Ｌ２レンズ
Ｌ３レンズ
Ｌ４レンズ
Ｌ５レンズ
Ｌ６レンズ
Ｌ７レンズ
Ｌ８レンズ
ｉ１画像
ｉ２画像

Claims

第１の光学系と、第１の光学フィルタ及び第２の光学フィルタから構成される光学フィルタであって、第１の波長帯域の光を透過させる前記第１の光学フィルタ及び前記第１の波長帯域と異なる第２の波長帯域の光を透過させる前記第２の光学フィルタから構成される前記光学フィルタと、第２の光学系と、が被写体側から順に配列された撮像光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
前記指向性センサから、前記第１の光学フィルタを介して受光した第１の画像と、前記第２の光学フィルタを介して受光した第２の画像と、をそれぞれ取得する画像取得部と、
を有する撮像装置であって、
前記第１の光学フィルタ及び前記第２の光学フィルタは前記撮像光学系の入射瞳の位置において前記撮像光学系の光軸に垂直な面内の異なる領域にそれぞれ配置され、
前記第１の光学系は、前記指向性センサの撮像面において像高が高い位置に結像される高像高光束を、前記高像高光束の上光線と下光線とが平行な状態で前記第１の光学フィルタ及び前記第２の光学フィルタに入射させる撮像装置。
前記第１の光学フィルタが前記光軸を中心とする第１の領域に配置され、
前記第２の光学フィルタが前記第１の領域の外側の第２の領域に配置され、
前記第１の光学系は、前記高像高光束を、前記高像高光束の前記上光線と前記下光線とが平行な状態で前記第２の光学フィルタに入射させる請求項１に記載の撮像装置。
前記第１の光学系は、前記高像高光束と前記撮像面の中心に結像される中心光束とを、前記高像高光束の前記上光線と前記高像高光束の前記下光線との成す角度が第１のしきい値以下であり、かつ前記高像高光束の前記下光線と前記中心光束の下光線との成す角度が第２のしきい値以下の状態で前記第２の光学フィルタに入射させる請求項２に記載の撮像装置。
前記第１の光学系は、前記高像高光束と前記撮像面の中心に結像される中心光束とを、前記高像高光束の前記上光線と前記中心光束の上光線との成す角度が第３のしきい値以下であり、かつ前記高像高光束の前記下光線と前記中心光束の下光線との成す角度が第４のしきい値以下の状態で前記第１の光学フィルタに入射させる請求項２または３に記載の撮像装置。
前記第１の光学系はアフォーカル光学系を構成する請求項１から４のいずれか１項に記載の撮像装置。
前記アフォーカル光学系のアフォーカル倍率は１未満である請求項５に記載の撮像装置。
前記指向性センサは、瞳分割部として機能する遮光マスクまたはマイクロレンズアレイを有する請求項１から６のいずれか１項に記載の撮像装置。
前記第１の光学フィルタ及び前記第２の光学フィルタは、６５０ｎｍ以上７４０ｎｍ以下の波長帯域における互いに重複しない波長帯域の光を前記第１の波長帯域の光及び前記第２の波長帯域の光としてそれぞれ透過させる請求項１から７のいずれか１項に記載の撮像装置。
請求項１から８のいずれか１項に記載の撮像装置と、
前記第１の画像及び前記第２の画像から被写体の計測を行う計測部と、
を備える画像処理装置。