JP7400971B2 - 撮像システム、校正方法及びプログラム - Google Patents

Description

この開示は撮像システム、校正方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

産業カメラや小型カメラの分野において、被写体に焦点を合わせる手段として、液体レンズを用いた焦点合わせの技術が用いられている。液体レンズは、与える電圧値によって液滴の曲率が変化するエレクトロウェッティングという技術を用いて焦点変更を行う方式のレンズである。光学系の光軸上に取り付けられた液体レンズは、与える電圧値を変更することによってレンズの曲率を変更させ、光学系への入射光線を屈折させることによって像の結像位置を変化させることができる。従って、この液体レンズを、焦点位置が可変な光学系として用いることが可能である。

産業用カメラもしくは生体認証等に、この液体レンズを含んだ光学系を用いる場合、光学系が焦点の合った画像を撮像するために、奥行位置の異なる被写体に液体レンズの焦点位置を走査させる必要がある。または、焦点の合った画像を撮像するために、光学系は被写体の奥行情報を計測し、焦点位置を被写体位置に合わせるようにレンズ電圧を変化させる必要がある。

特許文献１では、交流電圧が入力される液体レンズシステムが開示されている。このレンズシステムは、入力電圧振幅が正弦波であることによって常に焦点位置が変動しており、駆動信号の正弦波の位相に同期したパルス信号を用いることによって、複数の奥行位置に焦点が合った画像を生成する。そして、特許文献１開示の技術では、ある入力電圧に対する焦点深度（焦点が合う領域）を求めるために、表面の高さが異なる校正ツールを用いる。具体的には、レンズシステムの画像検出部が校正ツールの表面画像を検出し、その表面画像でコントラストが最大となる２位置を検出することで、焦点深度を求める。

特開２０１９－２０３９２８号公報

この開示は、希望の位置に焦点を合わせることが可能な撮像システム、校正方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを課題とする。

本実施形態にかかる撮像システムは、第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、複数回それぞれ異なる焦点位置で撮像する撮像手段と、前記撮像手段に対し、前記焦点位置を変更させるための制御値を設定する制御手段と、前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択する評価手段と、前記評価手段が選択した前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得する取得手段を備える。

本実施形態にかかる校正方法は、第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、撮像手段が複数回それぞれ異なる焦点位置で撮像するステップと、前記撮像手段に、前記焦点位置を変更させるための制御値を設定するステップと、前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するステップと、選択された前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得するステップとを備える。

本実施形態にかかる非一時的なコンピュータ可読媒体は、第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、撮像手段が複数回それぞれ異なる焦点位置で撮像するステップと、前記撮像手段に、前記焦点位置を変更させるための制御値を設定するステップと、前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するステップと、選択された前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得するステップとをコンピュータに実行させる校正プログラムが格納されたものである。

実施の形態１にかかる撮像システムの模式図である。 実施の形態１にかかる撮像装置のブロック図である。 実施の形態１にかかる屈折力Ｄと最適電圧値Ｖとの関係を示したグラフである。 実施の形態１にかかる校正処理を示したフローチャートである。 実施の形態２にかかる撮像システムの模式図である。 実施の形態２にかかる各パターンを示した図である。 実施の形態２にかかる撮像装置の構成を示すブロック図である。 実施の形態２にかかる撮像装置が撮像した画像を示す図である。 実施の形態２にかかる撮像装置が撮像した画像を示す図である。 実施の形態２にかかる撮像装置が撮像した画像を示す図である。 実施の形態２にかかる撮像装置が撮像した画像を示す図である。 実施の形態２にかかるパターンと合焦評価値の関係を示す図である。 実施の形態２にかかるパターンの最適電圧値と合焦評価値の関係を示す図である。 実施の形態２にかかる屈折力Ｄと最適電圧値Ｖとの関係を示したグラフである。 実施の形態２にかかる校正処理における撮像処理を示したフローチャートである。 実施の形態２にかかる校正処理におけるパラメータ検出処理を示したフローチャートである。 実施の形態２にかかる校正ボードの変形例を示した正面図である。 実施の形態２にかかる校正ボードの変形例を示した正面図である。 実施の形態２にかかる校正ボードの変形例を示した正面図である。 実施の形態２にかかる撮像装置の表示を示した図である。 実施の形態３にかかるウォークスルー虹彩認証システムの上面図である。 実施の形態３にかかるウォークスルー虹彩認証システムの側面図である。 撮像装置のハードウェア構成の一例を示すブロック図である。

実施の形態１
以下、図面を参照してこの開示の実施の形態について説明する。まず、実施の形態１について説明する。

図１は、実施の形態１における撮像システムの模式図である。図１は、撮像システム１００を上面視したものであり、撮像装置１０が、校正機器ＣＢ１のパターンＰ１及びＰ２をそれぞれ被写体として撮影する状態を示している。校正機器ＣＢ１は、パターンＰ１（第１パターン）と、撮像装置１０との被写体距離（光軸方向ＯＡにおける撮像装置１０からの距離）がパターンＰ１と異なるパターンＰ２（第２パターン）を有する。パターンＰ１とパターンＰ２は、異なるパターンであってもよいし、同じパターンであってもよい。

図１では、校正機器ＣＢ１は、パターンＰ１とパターンＰ２との間に、光軸方向ＯＡにおける段差を設けることにより、パターンＰ１と撮像装置１０との被写体距離と、パターンＰ２と撮像装置１０との被写体距離を異なるようにしている。ここで、パターンＰ１とパターンＰ２（及びそれらが形成されたボード）は、光軸方向ＯＡに垂直に設けられている。しかしながら、パターンＰ１と撮像装置１０との被写体距離と、パターンＰ２と撮像装置１０との被写体距離を変えるような校正機器ＣＢ１の構成は、これに限られない。例えば、パターンＰ１とパターンＰ２の少なくともいずれかは、光軸方向ＯＡに垂直に設けられていなくてもよい。パターンは、印刷物や電子的な表示等、任意のパターンを用いることができる。

次に、図２を用いて、撮像装置１０の構成について説明する。撮像装置１０は、撮像部１１、制御部１２、評価部１３及び取得部１４を備えており、静止画又は動画の少なくともいずれかの撮像が可能である。

撮像部１１は、焦点位置を変更可能な光学系を備えており、例えば可変焦点レンズを有する。可変焦点レンズは、レンズの焦点合わせが機械的になされるものであってもよいし、液体レンズでなされるものであってもよい。撮像部１１は、校正機器のパターンＰ１を異なる焦点位置で複数回撮像する。また、撮像部１１は、校正機器のパターンＰ２についても、異なる焦点位置で複数回撮像する。なお、「複数回」とは、２回以上の任意の回数をいう。

なお、撮像部１１は、１回の撮像で、パターンＰ１とパターンＰ２を同時に撮像してもよいし、パターンＰ１とパターンＰ２を個別に撮像してもよい。１回の撮像でパターンＰ１とパターンＰ２を同時に撮像する場合には、撮像を異なる焦点位置で複数回行うことにより、パターンＰ１とパターンＰ２について、異なる焦点位置で撮像された複数枚の画像を取得できる。また、パターンＰ１とパターンＰ２を個別に撮像する場合には、パターンＰ１の撮像回数とパターンＰ２の撮像回数は同じであってもよいし、異なっていてもよい。

制御部１２は、撮像部１１に対し、焦点位置を変更させるための制御値を設定する。撮像部１１は、その制御値に応じて焦点位置を変更して、撮像する。なお、撮像部１１が、１回の撮像でパターンＰ１とパターンＰ２を同時に撮像する場合には、パターンＰ１とパターンＰ２を同じ焦点位置で撮像することになる。制御値は、例えば電圧値、電流値及び周波数といったパラメータであり、そのパラメータが制御部１２からの制御信号で変更されることにより、撮像部１１の焦点位置が変更されるものである。

評価部１３は、撮像部１１が撮像したパターンＰ１の複数の画像及びパターンＰ２の複数の画像について、その合焦度（撮像されたパターンの焦点が合っている度合い）を評価する。撮像パターンの焦点が合っているほど、評価部１３は評価値を高く算出する。評価部１３は、パターンＰ１の複数の画像及びパターンＰ２の複数の画像のそれぞれについて、評価値が最大の画像を選択する。

取得部１４は、評価部１３が選択したパターンＰ１の画像の撮影及びパターンＰ２の画像の撮影に際して、制御部１２が用いた制御値を取得する。取得部１４は、パターンＰ１及びパターンＰ２の被写体距離の情報についても取得する。制御値の情報は、画像撮影時に、取得部１４又は記憶部（不図示）に格納されている。また、被写体距離の情報は、既知の情報として、取得部１４又は記憶部に格納されている。

取得部１４は、取得したこれらの情報に基づいて、光学系の焦点位置と制御値の対応関係を取得する。取得部１４は、パターンＰ１及びパターンＰ２に焦点が合った場合の制御値から、焦点位置と制御値の関係を算出することができる。また、パターンＰ１及びパターンＰ２について評価値が最大となった画像については、それらのパターンに焦点が合った状態とみなすことができる（換言すれば、評価値が最大となった画像撮影時の合焦位置が、パターンＰ１又はＰ２の被写体距離であるとみなすことができる。）。したがって、パターンＰ１の評価値が最大となった際の制御値は、撮像部１１の焦点位置をパターンＰ１に対応する焦点位置とするための制御値であり、パターンＰ２の評価値が最大となった際の制御値は、撮像部１１の焦点位置をパターンＰ２に対応する焦点位置とするための制御値であるといえる。以上のようにして、光学系の焦点位置と制御値の対応関係を取得することができる。

例えば、液体レンズは、入力電圧Ｖに対するレンズの屈折力Ｄ（焦点距離の逆数１／ｆ、かつここでのｆは焦点位置と同値である。）の関係が、実効領域間でほぼ一次線形になり、下記の数式（１）のようになることが知られている。
Ｄ＝１／ｆ＝ａＶ＋ｂ ・・・（１）
液体レンズは一般的な固定焦点レンズ等と組み合わせて用いられることが多く、総合的な焦点距離、屈折力は（１）式とは異なるが、液体レンズの屈折力をＤ、組み合わせたレンズの屈折力をＤ’とすると、総合的な屈折力はＤ＋Ｄ’と近似できる。
従って液体レンズを用いた光学系は、電圧に対して下記の関係となる。
Ｄ＝ａＶ＋ｂ‐Ｄ'・・・（２）
Ｄ’は固定値であるため、線形パラメータｂに統合することが可能である。
従って、希望の位置へ液体レンズの焦点を合わせるためには、入力電圧Ｖに対する屈折力Ｄの関係を決定するパラメータａ，ｂを算出することが必要である。

物体検出や生体認証等でエレクトロウェッティング方式の液体レンズを用いる場合、常に一つの固定電圧値に対して一か所（又は一平面）のみしか焦点が合わないことを前提に運用することが想定される。そのため、運用の際には、電圧値に対する焦点位置（レンズ系によって、イメージセンサ上で被写体が結像する位置）の対応関係を把握することが必要である。特許文献１に開示された方法は、焦点深度を求めるものではあるが、この対応関係を求めるものではない。

例えば、撮像部１１において、上述の（２）式に示した入力電圧Ｖに対するレンズの屈折力Ｄ（焦点位置の逆数１／ｆ）の関係があると仮定する。そして、制御値である電圧値Ｖ１における屈折力がＤ１（焦点位置がｆ１）、電圧値Ｖ２における屈折力がＤ２（焦点位置がｆ２）であるとする。この場合、光学系の焦点位置（の逆数）と制御値の対応は、図３に示したとおりになる。電圧値Ｖ１と屈折力Ｄ１、電圧値Ｖ２と屈折力Ｄ２の組により、取得部１４は一次関数ＬＦ１を算出する。この一次関数ＬＦ１により、任意の焦点位置に合わせた電圧値を、撮像装置１０は算出することができる。

図４は、撮像装置１０が焦点合わせのために実行する校正処理を示したフローチャートである。まず、撮像部１１は、校正機器ＣＢ１のパターンＰ１と、パターンＰ２とのそれぞれを、複数回それぞれ異なる焦点位置で撮像する（ステップＳ１１）。撮影の際に、制御部１２は、撮像部１１に対し、焦点位置を変更させるための制御値を設定する。

次に、評価部１３は、撮像部１１が撮像したパターンＰ１の複数の画像の合焦度を評価し、評価値が最大の画像を選択する。また、評価部１３は、撮像部１１が撮像した第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択する（ステップＳ１２）。

取得部１４は、評価部１３が選択したパターンＰ１の画像の撮影及びパターンＰ２の画像の撮影において用いられた制御値と、パターンＰ１及びパターンＰ２の被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得する（ステップＳ１３）。

以上のように、光学系の焦点位置と制御値の対応関係を取得することで、撮像装置１０は、任意の焦点位置についての制御値を求めることができる。そのため、希望の位置に焦点を合わせることが可能となる。

実施の形態２
次に、図面を参照して実施の形態２について説明する。図５は、実施の形態２における撮像システムの模式図である。図５は、撮像システム２００を上面視したものであり、レンズ部Ｌとカメラ本体ＭＢを有する撮像装置２０が、校正ボードＣＢ２のパターンＰ１～パターンＰ４をそれぞれ被写体として撮影する状態を示している。

校正ボードＣＢ２の各パターンは、撮像装置２０からの被写体距離が近い順に、パターンＰ１、パターンＰ２、パターンＰ３、パターンＰ４が設けられている。校正ボードＣＢ２には、段差面が形成され、これらの段差面が撮像装置２０の光軸方向ＯＡに対して垂直となるように設置される。そして、各段差の平面上に、撮像装置２０で識別可能なパターンＰ１～パターンＰ４が形成されている。そのため、撮像装置２０は、パターンＰ１～パターンＰ４をその正面から撮像できる。また、各パターンが形成された段差面は、水平方向に並べられている。

また、パターンＰ１とパターンＰ２とは光軸方向ＯＡにｒ１だけ離れており、パターンＰ２とパターンＰ３とは光軸方向ＯＡにｒ２だけ離れており、パターンＰ３とパターンＰ４とは光軸方向ＯＡにｒ３だけ離れている。なお、パターンＰ１と撮像装置２０のレンズ部Ｌは、光軸方向ＯＡにｒ０だけ離れている。これらの被写体距離ｒ０～ｒ３は、撮像装置２０が記憶しており、少なくとも撮像装置２０が各パターンを撮影する間、固定された値となる。

図６は、パターンＰ１～パターンＰ４を示した図面である。パターンＰ１～パターンＰ４は、それぞれ異なるパターンを有しており、ここでは、「１」～「４」の数字のパターンが記載されている。なお、記載されるパターンとしては、数字以外の文字であってもよいし、ＡＲ(Augmented Reality)マーカのようなパターンであってもよい。

次に、図７を用いて、撮像装置２０の構成について説明する。撮像装置２０は、画像撮像部２１、制御部２２、記録部２３、パターン検出部２４、合焦評価部２５、合焦画像抽出部２６及びパラメータ推定部２７を備える。

画像撮像部２１は、図５に示したレンズ部Ｌを構成する部分であり、可変焦点レンズとしての液体レンズを有する単一の撮像部である。画像撮像部２１は、制御部２２から出力された電圧値Ｖの制御信号に基づいて、液体レンズの焦点位置を制御する。電圧値Ｖが変更することに応じて、液体レンズの屈折力が変化することで、光学系の焦点位置が変更される。画像撮像部２１は、撮像した画像ＩＭを記録部２３に出力する。後述のとおり、画像撮像部２１は、それぞれ異なる焦点位置で複数回撮像した画像ＩＭ及びその画像番号を、記録部２３に出力する。

制御部２２は、電圧値Ｖの制御信号を画像撮像部２１の液体レンズに出力することにより、液体レンズの曲率を変化させて、屈折力を制御する。また、制御部２２は、電圧値Ｖの制御信号を記録部２３にも出力する。さらに、制御部２２は、撮像装置２０の他の各部を制御し、撮像に係る処理を実行させる。

記録部２３は、画像撮像部２１が撮影した画像ＩＭ及び画像番号と、その画像撮像時に制御部２２が出力した電圧値Ｖの制御信号（すなわち、光学系の焦点位置を示す信号）を紐付けて記録する。記録部２３は、画像ＩＭ及び画像番号のデータをパターン検出部２４に出力する。また、記録部２３は、パラメータ推定部２７からの要求に応じて、電圧値Ｖの情報をパラメータ推定部２７に出力する。

パターン検出部２４は、得られた複数の画像一枚一枚に対して、校正ボードＣＢ２上のパターンを検出する。パターンＰ１～パターンＰ４は、パターンを識別するＩＤ及び各パターンの被写体距離（奥行情報）に紐づけられて、既知のパターンとして図示しない撮像装置２０の記憶部に格納されている。パターン検出部２４は各画像について、格納されたパターンを用いて、撮影された全てのパターンを検出する。パターン検出方法は、公知の技術（例えばテンプレートマッチング）を用いることができる。パターン検出部２４は、検出したパターンＰのデータと、パターンが検出された画像番号と、パターンを識別するＩＤを紐付けて、合焦評価部２５に出力する。

なお、パターン検出部２４は、撮像されたパターン画像の焦点が完全に合っていない状態であっても、撮像した対象が静止している場合、パターンを検出することが可能である。また、焦点位置を変化させても、撮影の画角（カメラで撮影した際、実際に写る範囲を角度で表したもの）は変化しない。そのため、画像撮像部２１が撮像した画像中における各パターンの位置は変化しない。このことを利用して、あらかじめ画像上で各パターンに対応する領域を指定することで、画像上のパターンを検出してもよい。

合焦評価部２５は、パターン検出部２４によって検出されたパターンＰの領域内を合焦評価して、撮像されたパターンの焦点が合っている度合いを合焦評価値として計算する。合焦評価部２５は、画像間のコントラスト差や、各画像の高周波成分を見ることによって、合焦評価値を評価してもよい。合焦評価部２５は、算出した合焦評価値と、算出対象となったパターンが検出された画像番号と、パターンを識別するＩＤを紐付けて、合焦画像抽出部２６に出力する。

合焦画像抽出部２６は、各パターンＰで最も合焦評価値の高い画像番号を選択する。これにより、合焦画像抽出部は、各パターンＰについて、それぞれ異なる焦点位置で撮像された複数の画像の中から、合焦評価値が最も高い（すなわち、最も焦点が合っている）一の画像を選択する。このようにして、合焦画像抽出部２６は、各パターンと、合焦評価値が最も高い画像番号の組を抽出する。合焦画像抽出部２６は、抽出したパターンＩＤと画像番号Ｎの情報をパラメータ推定部２７に出力する。

パラメータ推定部２７は、合焦画像抽出部２６から、パターンＩＤと画像番号Ｎの情報を取得する。パラメータ推定部２７は、取得したパターンＩＤに基づいて、撮像装置２０の記憶部（不図示）から、取得したパターンＩＤに紐づけられた被写体距離の情報を取得する。

図５に示したとおり、パターンＰ１と撮像装置２０との被写体距離はｒ０である。また、パターンＰ２と撮像装置２０との被写体距離は（ｒ０＋ｒ１）であり、パターンＰ３と撮像装置２０との被写体距離は（ｒ０＋ｒ１＋ｒ２）であり、パターンＰ４と撮像装置２０との被写体距離は（ｒ０＋ｒ１＋ｒ２＋ｒ３）である。これらの被写体距離は、各パターンの焦点位置と置き換えることができる。

撮像装置２０は、これらの被写体距離及びパラメータを記憶部（不図示）に記憶する。なお、撮像装置２０は、被写体距離ｒ０～ｒ３の全てを記憶部に記憶していてもよいが、被写体距離ｒ０～ｒ３のうち２つ以上を記憶し、他は記憶していなくてもよい。異なるパターンを４パターン検出することにより、後述の焦点位置ｆの逆数とパラメータａ，ｂとの関係を４組得ることができる。そのため、例えば被写体距離ｒ０を記憶していなくても、撮像装置２０は、パラメータａ，ｂ及び被写体距離ｒ０（又は、被写体距離ｒ０に対応する焦点位置）を求めることができる。

また、パラメータ推定部２７は、取得した画像番号Ｎの画像を撮像した際の電圧値Ｖの情報を出力するよう、記録部２３に要求する。上述のとおり、要求に応じて、記録部２３は電圧値Ｖの情報をパラメータ推定部２７に出力する。

パラメータ推定部２７は、以上のようにして取得した画像番号Ｎに対する電圧値Ｖと、各パターンの焦点位置ｆの情報に基づいて、線形パラメータを推定する。線形パラメータは、例えば線形回帰法を用いて、推定することができる。

次に、図８～１１を用いて、撮像装置２０の撮像した画像の例について説明する。図８～１１は、画像撮像部２１が光学系の焦点位置が変更された状態でそれぞれ撮像した複数枚の画像（画像群）を示すものである。なお、図８～１１では、各パターンの焦点が合って明確に撮像されているほど、パターンを大きく表示し、各パターンの焦点が合わずにぼやけて撮像されているほど、パターンを小さく表示している。

図８に示された画像Ｉｐでは、パターンＰ４の焦点が合って撮像され、パターンＰ３、パターンＰ２となるに従い、焦点が合わない、ぼけた状態で撮像される。そして、パターンＰ１は焦点が最も合わない状態で撮像されている。図９に示された画像Ｉｎでは、パターンＰ３の焦点が合って撮像され、パターンＰ２、パターンＰ４は焦点がやや合わない状態で撮像されており、パターンＰ１は焦点が最も合わない状態で撮像されている。図１０に示された画像Ｉｍでは、パターンＰ２の焦点が合って撮像され、パターンＰ１、パターンＰ３は焦点がやや合わない状態で撮像されており、パターンＰ４は焦点が最も合わない状態で撮像されている。図１１に示された画像Ｉｋでは、パターンＰ１の焦点が合って撮像され、パターンＰ２、パターンＰ３となるに従い、焦点が合わなくなった状態で撮像される。そして、パターンＰ４は焦点が最も合わない状態で撮像されている。

画像Ｉｐ、Ｉｎ、Ｉｍ及びＩｋは、それぞれ電圧値Ｖｐ、Ｖｎ、Ｖｍ及びＶｋの制御信号を用いて撮像されたものであり、画像Ｉｐと電圧値Ｖｐ、画像Ｉｎと電圧値Ｖｎ、画像Ｉｍと電圧値Ｖｍ及び画像Ｉｋと電圧値Ｖｋは、それぞれ紐付けられて記録部２３に記録される。電圧値は、Ｖｐ、Ｖｎ、Ｖｍ、Ｖｋの順に、それぞれΔＶ（＞０）だけ増大している。ここから、制御信号の電圧値を上昇させるほど、被写体距離が長い（すなわち、奥側の）パターンに焦点が合っていることが分かる。

図１２は、図９～１１で示された画像群Ｉｎ～Ｉｋにおいて、それぞれのフレームで検出されたパターンＰ２と、合焦評価値の関係を示す説明図である。図１２下部のグラフは、同一パターンであるパターンＰ２について、電圧値ＶをＶｎ、Ｖｍ、Ｖｋと順番に上昇させた場合の取得画像順に合焦評価を行ったものである。このグラフで示されるとおり、合焦評価値の分布は、最も焦点が合って撮像された画像Ｉｍ（電圧Ｖｍ）をピークとした山型の構造となる。したがって、図１２からは、パターンＰ２の被写体距離に対応する電圧値がＶｍであることがわかる。このような電圧値を、以後、最適電圧値と記載する。合焦画像抽出部２６は、この電圧値Ｖｍに対応する画像Ｉｍを選択する。

図１３は、取得した各パターンの最適電圧値と合焦評価値の関係を示したグラフである。各パターンの被写体距離に応じて、最も焦点が合った状態で撮像された画像（及び最適電圧値）は異なる。また、最適電圧値の前後の電圧値においても、パターン検出部２４においてパターンの検出自体はなされる。そのため、各パターンの評価値は、それぞれ山なりにプロットされる。図１３に示されるとおり、パターンＰ１における山の頂点となるのが最適電圧値Ｖｋ、パターンＰ２における山の頂点となるのが最適電圧値Ｖｍ、パターンＰ３における山の頂点となるのが最適電圧値Ｖｎ、パターンＰ４における山の頂点となるのが最適電圧値Ｖｐとなる。

図１４は、取得した各パターンについて、焦点位置ｆの逆数である屈折力Ｄと最適電圧値Ｖとの関係を示したグラフである。上述の（１）式に示したように、屈折力Ｄと電圧値Ｖは一次線形の関係がある。そのため、パラメータ推定部２７は、求めたパターンの焦点位置ｆの逆数と、電圧値の対応を線形フィッティングして、一次関数ＬＦ２を求める。この一次関数ＬＦ２を用いて、容易にパラメータａ，ｂを推定することが可能である。これにより、撮像装置２０は、所定の位置へ液体レンズの焦点を合わせることが可能である。

次に、図１５、１６を参照して、撮像装置２０が焦点合わせのために実行する校正処理について説明する。図１５は、校正処理における撮像処理を示したフローチャートである。

まず、制御部２２は、撮像のために、画像撮像部２１に出力する電圧値Ｖを設定する（ステップＳ２１）。電圧値Ｖは、撮像スタート時は初期値Ｖ０に設定され、画像を繰り返して撮像する時は、直前の値から一定値ΔＶだけ増加された値に設定される。この電圧値Ｖの設定により、液体レンズの焦点位置が設定される。

次に、画像撮像部２１は、パターンＰ１～Ｐ４が全て撮像された画像ＩＭを一枚撮像する（ステップＳ２２）。画像一枚の撮像が終了した後、記録部２３は、画像撮像部２１が撮像した画像と、撮像時の電圧Ｖを記録する（ステップＳ２３）。

撮像装置２０は、現在の電圧値Ｖが所定の値Ｖｎを超えているか否かを判定する（ステップＳ２４）。電圧値Ｖが所定の値Ｖｎを超えていない場合には（ステップＳ２４のＮｏ）、撮像装置２０は、ステップＳ２１に戻り、電圧値をＶ＋ΔＶと設定して、画像ＩＭを撮像する。

電圧値Ｖが所定の値Ｖｎを超えている場合には（ステップＳ２４のＹｅｓ）、撮像装置２０は、撮像を終了する。この時点で、撮像装置２０は、焦点位置が一枚毎に連続的に変化した、一連の画像群を取得した状態になる。なお、ΔＶは、例えばＶ０とＶｎとの差分を任意の自然数で分割することで得られた値であり、ΔＶが小さい値になるほど、ステップＳ２１～Ｓ２４で撮像される撮像枚数（サンプル数）は多くなる。

図１６は、校正処理におけるパラメータ検出処理を示したフローチャートである。まず、パターン検出部２４は、取得した一連の画像群における一枚の画像において、パターンＰ１～Ｐ４を検出する（ステップＳ３１）。

ステップＳ３１において、対象となる画像中、パターンＰ１～Ｐ４の少なくともいずれかが検出された場合には（ステップＳ３１のＹｅｓ）、パターン検出部２４は、検出された全てのパターンを合焦評価部２５に出力する。合焦評価部２５は、検出された全てのパターンについて、合焦評価を行い、合焦評価値Ｆを算出する（ステップＳ３２）。合焦評価部２５は、算出した合焦評価値と、算出対象となったパターンが検出された画像番号と、パターンを識別するＩＤを紐付けて、合焦画像抽出部２６に出力する。

合焦評価終了後、パターン検出部２４は、一連の画像群における全ての画像について、パターンの検出処理が完了したか否かを判定する（ステップＳ３３）。パターン検出部２４は、ステップＳ３１において、対象となる画像中、パターンＰ１～Ｐ４のいずれも検出されかった場合にも（ステップＳ３２のＮｏ）、ステップＳ３３に係る判定処理を行う。

ステップＳ３３において、パターンの検出処理がされていない画像があると判定された場合には（ステップＳ３３のＮｏ）、パターン検出部２４は、パターンの検出が未処理な画像を選択し、ステップＳ３１に戻って処理を行う。

ステップＳ３３において、全ての画像についてパターンの検出処理がされたと判定された場合には（ステップＳ３３のＹｅｓ）、合焦画像抽出部２６は、パターンＰ１～Ｐ４のそれぞれにおいて、最も合焦評価値の高い画像番号を選択する（ステップＳ３４）。ここで、各パターンについて最も合焦評価値の高い画像は、撮像時の焦点位置が、各パターンの焦点位置又はその近傍にあると判断できる。合焦画像抽出部２６は、各パターンのパターンＩＤを取得した後、抽出したパターンＩＤと画像番号Ｎの情報を、パラメータ推定部２７に出力する。

パラメータ推定部２７は、取得したパターンＩＤに基づいて、撮像装置２０の記憶部（不図示）から、取得したパターンＩＤに紐づけられた被写体距離の情報を取得する。そして、パラメータ推定部２７は、各パターンＩＤの焦点位置ｆを算出する。また、パラメータ推定部２７は、画像番号Ｎの画像を撮像した際の電圧値Ｖの情報を、記録部２３から取得する。パラメータ推定部２７は、以上のようにして取得した画像番号Ｎに対する電圧値Ｖと、各パターンの焦点位置ｆの情報に基づき、線形回帰法を用いて、線形パラメータを推定する（ステップＳ３５）。

上述のパラメータａ，ｂを決定するためには、少なくとも２つの電圧値Ｖと焦点位置ｆの組を取得する必要がある。そのための処理として、上述の開示例のほか、以下の例が考えられる。まず、ユーザが、撮像装置の撮像対象が位置することが想定される、被写体距離が既知であり、かつ異なる二箇所にそれぞれ解像度チャート（校正機器の一例）を配置する。次に、二箇所の解像度チャートについて、電圧値を制御することで撮像装置の焦点をそれぞれ合わせた後、サンプルとして撮像する。その後、撮像の際の電圧値を用いることで、パラメータａ，ｂを求めることが可能である。

以上の処理では、被写体距離が異なる二箇所に関して、撮像処理とパラメータ検出処理がなされている。しかしながら、パラメータａ，ｂをより正確に（誤差を少なく）推定するためには、サンプル対象となる撮影箇所はより多い方が好ましい。

ただし、この場合には、撮像処理とパラメータ検出処理の回数が増加するという課題がある。具体的には、解像度チャートを多数の場所に設ける必要があるため、設置のための時間がかかってしまう。また、各設置場所の解像度チャートに対して焦点を合わせる作業を繰り返す必要がある。特に、複数の液体レンズを用いたカメラシステムの場合では、作業に時間がかかる上、手順が煩雑となってしまう。

これに対し、実施の形態２では、校正機器として、各パターンの被写体距離がそれぞれ異なり、かつ固定されている校正ボードＣＢ２を用いている。そして、撮像装置２０は、１回の撮像で、全てのパターンが撮像できる。したがって、校正処理に際しては校正機器を１回配置するだけで良いため、校正処理の手間を削減することができる。

また、被写体距離が異なるパターン毎にパターンを異なるものとすることにより、撮像装置２０は、パターンの形状を検出して異なるパターンを認識することで、被写体距離が異なるパターンを容易に判別することができる。そのため、被写体距離が異なるパターン毎の撮像画像を容易に区別できることから、撮像装置２０は校正処理を容易に行うことができる。

また、実施の形態２では、液体レンズを含む光学系において上述の校正処理がなされている。これにより、光学系の焦点位置を機械的に調節する（例えば、ガラスレンズの焦点位置を、ダイヤルを回すことにより調節する）場合と比較して、校正処理を早くかつ容易に行うことができる。

さらに、撮像装置２０は、一度の連続撮像で、電圧値Ｖを一定値ΔＶだけ増大させながら撮像処理を行い、各パターンについて、撮像された一連の画像群の中で最も焦点が合っている画像を検出している。そのため、撮像装置が自動で、又はユーザが手動で、撮像装置の焦点をパターン毎に合わせる作業を繰り返す必要がなく、校正処理にかかる時間を削減することができる。このように、液体レンズを用いた焦点位置が可変の光学系に対して、入力信号と焦点位置との対応関係を、迅速かつ簡易に取得することができる。それにより、希望の位置に撮像装置の焦点を合わせることが可能となる。

撮像装置２０は、例えば虹彩撮像装置に適用することができる。虹彩撮像装置で虹彩認証を行う際には、微細な虹彩パターンを撮像する必要があるため、撮像の被写界深度（合焦範囲）が狭い。例えば、撮像装置２０が静止した虹彩を撮像する場合、撮像装置２０から５０ｃｍ～７０ｃｍ離れた場所を被写界深度とすることにより、正確な虹彩の認証が可能となる。その場合、液体レンズに用いられる電圧値が制限された範囲内で適宜変更された上で、撮像の走査がなされる。

液体レンズに用いられる電圧値が制限された範囲内で変更されるため、式（１）に示したパラメータａ，ｂは、液体レンズの設置位置、温度又は個体差等の事情により、変化し易い。このため、適時、レンズの焦点調節が必要である。この焦点調節を、上述の実施の形態２に記載された方法で実現することができる。焦点調節後、撮像装置２０は、液体レンズを用いて、所定の範囲の合焦位置を走査させることにより、焦点が合った虹彩を確実に撮像することができる。

なお、以上に説明した実施の形態２においては、一例として以下の変更が可能である。図１５のステップＳ２１において、電圧値Ｖは、撮像スタート時は初期値Ｖ０に設定され、画像を繰り返して撮像する時は、直前の値から一定値ΔＶだけ減少された値に設定されてもよい。この場合、ステップＳ２４において、電圧値Ｖが所定の閾値未満になったら、撮像装置２０は撮像を停止する。

撮像に用いるパターンは、４種類に限られず、３種類又は５種類以上のパターンであってもよい。また、被写体距離に関して隣同士のパターンの距離（ｒ１、ｒ２及びｒ３）は、全て異なる値であってもよいし、少なくともいずれか２つが同じ値を有していてもよい。さらに、連続撮像の際に用いる電圧値ΔＶは、ΔＶがＮ倍（自然数倍）変化することにより、合焦位置がｒ１、ｒ２及びｒ３の少なくともいずれかだけ変化するようなものであってもよい。例えば、撮像距離がｒ０のパターンＰ１において焦点が合う電圧値をＶ１とし、電圧値をＶ１＋２ΔＶとした場合に、撮像距離が（ｒ０＋ｒ１）のパターンＰ２において焦点が合う状態とすることができる。このように電圧値を変化させることで、複数のパターンにおいて、合焦位置を正確に合わせた画像を撮像しやすくすることができるため、より正確に入力信号と焦点位置との対応関係を取得することができる。

実施の形態３
上述の（２）式に示したとおり、液体レンズにおいては、屈折力Ｄと電圧値Ｖとが一次線形の関係となる。そのため、物体検出や生体認証等で撮像装置に液体レンズを用いる場合、撮像装置は、屈折力Ｄが被写体の位置に適した値となるように、あらかじめ設定されたパラメータａ，ｂを用いて電圧値Ｖを変更する。しかしながら、撮像環境の変化により、撮像時における実際のパラメータａ，ｂが、あらかじめ設定されたパラメータａ，ｂからずれることが頻繁に発生する。

例えば、パラメータａ，ｂは、周囲の温度変化や、個体差、液体レンズ装着時のずれ等によって変化する。「液体レンズ装着時のずれ」とは、例えば小型カメラ等によく用いられるＳマウントレンズにおいて、液体レンズを組み込んだレンズをねじ式に装着する場合にねじを回す回数によってセンサ面とレンズ位置がずれる、微細なずれを指す。これ以外にも、液体レンズの追加による光学系の変化によって、パラメータａ，ｂが変化することが想定される。

したがって、撮像装置は、パラメータａ，ｂを適当なタイミングで取得し直す校正処理をする必要がある。特に複数のカメラを用いるカメラシステムにおいては、複数の液体レンズに対してパラメータを求める必要があり、校正処理がより煩雑となる。

撮像装置は、このような校正処理として、実施の形態２に記載された処理を行うことによって、正確なパラメータａ，ｂを取得し直すことができる。

実施の形態４
実施の形態２において、校正ボードＣＢ２は、各パターンが形成された段差面が水平方向に並べられる構造を有していた。しかしながら、撮像装置２０が校正ボードＣＢ２を撮像する際に、画像撮像部２１のレンズの結像点が光軸から離れるほど変化する（収差が生じる）可能性がある。このため、正面図である図１７に示すように、校正ボードＣＢ２の段差面を、撮像装置２０側から見た際に円形に形成してもよい。この校正ボードＣＢ２は、上面視において、らせん階段状に奥行が異なる形状を有する。また、校正ボードＣＢ２の円の中心は、画像撮像部２１と略正面に相対するように設けられ、各パターンが形成された段差面は、校正ボードＣＢ２の円の中心から放射状に形成される。

また、校正ボードＣＢ２は、正面図である図１８に示すように、四角形の角と中心を結ぶ線でパターン領域が分割されるものであってもよい。さらに、正面図である図１９に示すように、四角形の中心と辺の中点とを結ぶ線でパターン領域が分割されているものであってもよい。なお、校正ボードＣＢ２は、正面視において、四角形でなく、任意の多角形であってもよい。これらの校正ボードＣＢ２は、上面視において、らせん階段状に奥行が異なる形状を有する。このような、各パターンの奥行が段々変化するボードにより、異なる距離のキャリブレーションを一度に行うことができる（すなわち、キャリブレーションに際して、いちいちボードの位置を変えなくてもよい。）。

実施の形態５
実施の形態２では、撮像装置２０が、画像撮像部２１を１つのみ有する構成を説明した。しかしながら、撮像装置２０は、画像撮像部２１を複数有するマルチカメラシステムを構成していてもよい。この場合、複数の画像撮像部２１の画角がほとんど重ならないように設定し、各画像撮像部２１の画角範囲内に複数の異なるパターンを有する校正ボードを配置することによって、全ての画角において奥行位置が既知の異なるパターンを撮像することが可能である。各画像撮像部２１に関してなされる校正処理は、実施の形態２に詳述したものと同じであるため、説明を省略する。

また、マルチカメラシステムにて、実施の形態２と同様に、各々の画像撮像部２１から校正ボードを撮影し、検出できたパターンに係る焦点位置と最適電圧値を用いて、パラメータを推定することも可能である。

撮像装置２０は、静止した被写体向けのマルチカメラ認証システムに適用してもよいし、動的な被写体向けのマルチカメラ認証システムに適用してもよい。認証システムは、複数の撮像部により、虹彩、顔の輪郭、指紋、静脈、手形又は歩行動作といった生体を撮像対象とすることができる。複数の撮像部は、全て可視光の撮像部であってもよいし、赤外線（例えば近赤外線）の撮像部が設けられてもよい。赤外線の撮像部が設けられる場合、撮像する各パターンは、赤外線撮像された際に異なるパターンであると検出できるものになる。

実施の形態６
以降の実施の形態では、校正ボードで校正を行うタイミングやその際の報知についてさらに検討する。実施の形態６では、撮像システム２００が、空港のゲートや各種建物の入口に、ウォークスルー虹彩認証システムとして設けられる場合を想定する。撮像装置２０は、撮像装置２０に向かって歩いてくる人の虹彩を検出することで、人が通行の許可対象となっているか否かを判定する。

ここで、認証システムを設置後、所定のタイミングにおいて、撮像装置２０がその管理者に対し、撮像装置２０の校正処理を促す。所定のタイミングとは、例えば以下のタイミングが挙げられる。

撮像装置２０は、一試行の撮像で撮像対象となる人Ｈを複数枚撮像し、撮像した画像の合焦評価値Ｆを算出する。詳細には、画像撮像部２１が人Ｈを複数枚撮像し、記録部２３がその画像を記録する。パターン検出部２４は、記録部２３から複数枚の画像を取得し、複数枚の画像中に、検出対象となる虹彩のパターンが含まれるか否かを判定する。パターン検出部２４は、虹彩のパターンが含まれた全ての画像を、合焦評価部２５に出力する。合焦評価部２５は、取得した画像中における全ての虹彩のパターンにつき、合焦評価値を算出する。

算出された複数の合焦評価値のうち、少なくとも１つが基準値以上であった場合には、撮像装置２０は、撮像装置２０の校正処理をする必要はないと判定する。しかしながら、算出された複数の合焦評価値が全て基準値に満たなかった試行がＮ回（Ｎは１以上の任意の整数）生じた場合に、撮像装置２０は、その合焦位置（焦点位置）が適当でなく、撮像装置２０の校正処理をする必要があると判定する。この場合、制御部２２は、撮像装置２０の各部を制御して、実施の形態２に記載した校正処理を実行させる。

なお、算出された複数の合焦評価値のうち、基準値以上であったものが所定の閾値以下の枚数（例えば、１枚や２枚）であり、そのような試行がＮ回生じた場合でも、撮像装置２０は、同様に校正処理を実行してもよい。

さらに、撮像装置２０は、Ｎ回連続で上述の事象が生じた場合に、撮像装置２０の校正処理をする必要があると判定してもよい。または、撮像装置の使用開始時又は前回の校正処理終了時から積算でＮ回上述の事象が生じた場合に、撮像装置２０の校正処理をする必要があると判定してもよい。

また、撮像装置２０は、被写体となる人Ｈが、特定の範囲の奥行範囲にしかいないと仮定した上で、次の処理をしてもよい。撮像装置２０は、一試行の撮像で人Ｈを複数枚撮像し、撮像した画像の合焦評価値Ｆが時系列において正規分布（山なりの分布）となっているか否かを判定する。上述のとおり、人Ｈは撮像装置２０に向かって歩いてくるため、画像撮像部２１の合焦位置が、人Ｈがいると仮定される範囲内にあれば、人Ｈは歩行中に画像撮像部２１の合焦位置を通過することになる。その場合、複数の画像における合焦評価値Ｆは、人Ｈが合焦位置又はその近傍にいる際に最大値をとり、その最大値から時間が前又は後になるに従い、合焦評価値Ｆは正規分布に従って低下することが推測される。

したがって、撮像した画像の合焦評価値Ｆが時系列において正規分布となっている場合、撮像装置２０は、撮像装置２０の校正処理をする必要はないと判定する。しかしながら、合焦評価値Ｆが時系列において正規分布となっていない場合、撮像装置２０は、その合焦位置が適当でなく、撮像装置２０の校正処理をする必要があると判定する。この場合、制御部２２は、撮像装置２０の各部を制御して、実施の形態２に記載した校正処理を実行させる。

実施の形態７
また、撮像装置２０は、校正を行う際に、適切な校正用のパターンが撮影されるよう、ユーザに対して撮像の実行を予告する旨を報知することができる。例えば、撮像装置２０の校正処理をする必要があると判定した場合に、撮像装置２０はその表示部（報知部）に、図２０に示した表示をしてもよい。図２０の表示部Ｄでは、校正に用いるパターンが設けられたボード面が、カメラの光軸に対し垂直になるような、校正時のボードの配置図が表示されている。さらに、「ボードを、カメラに対して正面に向けてください。」という文字メッセージも表示部Ｄに表示されている。これらの表示により、パターンが撮像装置２０の正面から撮影されることで、パターンがより正確に検出できるように、ユーザに指示することができる。

表示部になされる表示は、図及び文字メッセージのいずれかのみであってもよい。また、スピーカー等の音声による指示も、それ単独、又は図及び文字メッセージの少なくともいずれかと併用されてなされてもよい。

実施の形態８
さらに、撮像装置２０は、撮像を行った後、ボード上のパターンを検出した際に、撮像画像から少なくとも１つのボード（パターン）の向きを検出して、そのボードが撮像装置２０の正面を向いているか否かを判定してもよい。ボードが撮像装置２０（特に画像撮像部２１）の正面を向いていると判定した場合には、撮像装置２０は、実施の形態２に詳述した校正処理を行う。ボードが撮像装置２０の正面を向いておらず、斜めを向いている場合には、撮像装置２０は、「正面を向けてください」といった指示を出力することができる。さらに、撮像装置２０が撮像画像から、ボードの撮像装置２０に対する傾き度合いを検出可能な場合には、撮像装置２０は、「ボードの右方向を少し傾けてください」等、ボードの傾き度合いに基づいて、ボードを正面に向かせるために具体的な指示を出力してもよい。これらの指示は、音声、図及び文字メッセージの少なくともいずれかによって出力される。なお、検出するボード（パターン）の向きは、１つに限られず、複数であってもよい。また、ボードの傾き度合いの検出は、公知の画像検出技術を用いることができる。

実施の形態９
また、撮像装置は、人Ｈの虹彩の撮像が終わるたびに、校正ボードに設けられたパターンを撮像して、実施の形態２に詳述した校正処理を行ってもよい。このような校正処理を行うものとして、例えば、ウォークスルー虹彩認証システム４００を以下に挙げる。図２１は、ウォークスルー虹彩認証システム４００の上面図であり、図２２は、ウォークスルー虹彩認証システム４００の人Ｈ、校正ボードＣＢ３及びＣＢ４を、撮像装置４０側から見た側面図である。ウォークスルー虹彩認証システム４００の撮像装置４０は、通路ＡＩを歩く人Ｈの虹彩を検出することで、人Ｈが許可対象となっているか否かを判定するものである。撮像装置４０は、実施の形態２に記載した撮像装置２０と同じ構成要素を備える。

通路ＡＩの両側には、撮像装置４０からの被写体距離が異なり、かつ、それぞれ異なるパターンが設けられた校正ボードＣＢ３及びＣＢ４が配置されている。撮像装置４０は、人Ｈの撮像処理が一試行終了した後、校正ボードＣＢ３及びＣＢ４に設けられたパターンを撮像して、実施の形態２に詳述した校正処理を行う。このようにして、ウォークスルー虹彩認証システム４００は、撮像装置４０が常に撮影可能な位置に校正ボードを配置することにより、管理者が校正ボードを準備することなく、校正処理を行うことができる。

実施の形態１０
実施の形態６～９では、撮像装置が校正の必要性を判断することで、校正処理をしていた。しかしながら、撮像装置は、記憶部にボード上のパターンを特定パターンとして記憶しておき、撮像装置が特定パターンを撮像したことを検知したら、自動的に上述の校正処理を開始してもよい。

具体的には、撮像システム２００において、撮像装置２０の画像撮像部２１が（校正処理をしていない状態で）通常の撮像をした際に、パターン検出部２４が、記録部２３から撮像した画像を取得し、その画像中に、特定パターンが２種類以上含まれるか否かを判定する。２種類以上の特定パターンが画像中に含まれないのであれば、撮像装置２０は校正処理を実行しない。

２種類以上の特定パターンが画像中に含まれるのであれば、撮像装置２０は、実施の形態１又は２に記載した校正処理を実行できることになる。そのため、制御部２２は装置の各部を制御して、第１の特定パターン及び第２の特定パターンのそれぞれを、複数回それぞれ異なる焦点位置で撮像することによって、上述の校正処理を実行する。この処理により、撮像装置の管理者が校正ボードを用意した場合に、撮像装置はすぐに校正処理をすることができるため、校正処理にかかる時間を削減することができる。

実施の形態１１
実施の形態６～１０では、撮像装置が自動的に校正処理の有無を判断する場合について説明した。しかしながら、撮像装置が運用開始後又は使用開始前に工場に出荷された後に、定期的に人の判断で撮像装置の校正処理がなされてもよい。

上述の実施の形態では、この開示をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、上述の実施形態において説明された処理（具体的には、図４、１５、１６のフローチャートに示された校正処理）を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

図２３は、以上に示した各実施の形態の撮像装置の処理が実行されるコンピュータのハードウェア構成例を示すブロック図である。図２３を参照すると、この情報処理装置９０は、プロセッサ９１及びメモリ９２を含む。

プロセッサ９１は、メモリ９２からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態において説明された装置の処理を行う。なお、プロセッサ９１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のうち一つを用いてもよいし、複数を並列で用いてもよい。

メモリ９２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ９２は、プロセッサ９１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ９１は、図示されていないＩ/Ｏ（Input / Output）インタフェースを介してメモリ９２にアクセスしてもよい。

図２３の例では、メモリ９２は、ソフトウェアモジュール群を格納するために使用される。プロセッサ９１は、これらのソフトウェアモジュール群をメモリ９２から読み出して実行することで、上述の実施形態において説明された処理を行うことができる。

以上に説明したように、上述の実施形態における撮像装置が有する１又は複数のプロセッサは、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。この処理により、各実施の形態に記載された処理が実現できる。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、複数回それぞれ異なる焦点位置で撮像する撮像手段と、
前記撮像手段に対し、前記焦点位置を変更させるための制御値を設定する制御手段と、
前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択する評価手段と、
前記評価手段が選択した前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得する取得手段と、
を備える撮像システム。
（付記２）
前記第１パターンと前記第２パターンは、それぞれ異なるパターンである、
付記１に記載の撮像システム。
（付記３）
前記撮像手段は、液体レンズを有し、
前記制御手段は、前記液体レンズの曲率を変化させる電圧を前記制御信号として出力する、
付記１又は２に記載の撮像システム。
（付記４）
前記撮像手段は、撮像対象を複数回撮像し、
前記評価手段は、前記撮像手段が撮像した前記撮像対象の複数の画像の合焦度を評価し、
前記制御手段は、前記撮像対象の複数の画像の合焦度の評価値に基づいて、校正処理として、前記撮像手段に、前記第１パターン及び前記第２パターンのそれぞれを、複数回それぞれ異なる焦点位置で撮像させ、前記評価手段に、前記第１パターンの複数の画像について前記評価値が最大の画像を選択させるとともに、前記第２パターンの複数の画像について前記評価値が最大の画像を選択させ、前記取得手段に、前記評価手段が選択した前記第１パターンの画像の撮影及び第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得させるように制御する、
付記１ないし３のいずれか１項に記載の撮像システム。
（付記５）
前記制御手段は、前記複数の画像の合焦度の評価値が全て所定の閾値以下であった場合に、前記校正処理を前記撮像手段、前記評価手段及び前記取得手段に実行させるように制御する、
付記４に記載の撮像システム。
（付記６）
前記制御手段は、前記複数の画像の合焦度の評価値が、時系列において正規分布となっていない場合に、前記校正処理を前記撮像手段、前記評価手段及び前記取得手段に実行させるように制御する、
付記４又は５に記載の撮像システム。
（付記７）
前記制御手段は、前記撮像手段が前記第１パターン及び前記第２パターンを撮像したことを検知した場合に、前記撮像手段に、前記第１パターン及び前記第２パターンのそれぞれを、複数回それぞれ異なる焦点位置で撮像することによって、前記取得手段に前記対応関係を取得させるように制御する、
請求項１ないし６のいずれか１項に記載の撮像システム。
（付記８）
前記撮像装置は、前記撮像手段に、前記第１パターン及び前記第２パターンのそれぞれを複数回それぞれ異なる焦点位置で撮像させる前に、撮像を予告する旨を報知する報知手段をさらに備える、
付記１ないし７のいずれか１項に記載の撮像システム。
（付記９）
前記撮像装置は、前記撮像手段が前記第１パターン及び前記第２パターンのそれぞれを撮像した場合に、それぞれの撮像画像に基づいて、前記第１パターン及び前記第２パターンの前記撮像手段に対する向きを変更するように報知する報知手段をさらに備える、
付記１ないし８のいずれか１項に記載の撮像システム。
（付記１０）
前記撮像装置は、前記撮像手段を複数有し、
前記制御手段は、前記複数の撮像手段に、前記第１パターン及び前記第２パターンのそれぞれを、複数回それぞれ異なる焦点位置で撮像させ、前記評価手段に、前記複数の撮像手段に関して、前記第１パターンの複数の画像について前記評価値が最大の画像を選択させるとともに、前記第２パターンの複数の画像について前記評価値が最大の画像を選択させ、前記取得手段に、前記評価手段が選択した前記第１パターンの画像の撮影及び第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び第２パターンの被写体距離に基づいて、前記複数の撮像手段について、光学系の焦点位置と制御値の対応関係を取得させるように制御する、
付記１ないし９のいずれか１項に記載の撮像システム。
（付記１１）
前記システムは、前記第１パターン及び前記第２パターンを有する校正機器をさらに備え、
前記校正機器の前記第１パターンと前記第２パターンは、前記撮像手段に対して、それぞれ異なる被写体距離だけ離れている、
付記１ないし１０のいずれか１項に記載の撮像システム。
（付記１２）
前記第１パターンは第１ボード上に設けられ、前記第２パターンは、前記第１ボードと段差ができるように配置された第２ボード上に設けられる、
付記１ないし１１のいずれか１項に記載の撮像システム。
（付記１３）
第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、撮像手段が複数回それぞれ異なる焦点位置で撮像するステップと、
前記撮像手段に、前記焦点位置を変更させるための制御値を設定するステップと、
前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するステップと、
選択された前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得するステップと、
を備える校正方法。
（付記１４）
第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、撮像手段が複数回それぞれ異なる焦点位置で撮像するステップと、
前記撮像手段に、前記焦点位置を変更させるための制御値を設定するステップと、
前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するステップと、
選択された前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得するステップと、
をコンピュータに実行させる校正プログラムが格納された非一時的なコンピュータ可読媒体。

以上、実施の形態を参照してこの開示を説明したが、この開示は上記によって限定されるものではない。この開示の構成や詳細には、開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０ 撮像装置
１１ 撮像部
１２ 制御部
１３ 評価部
１４ 取得部
２０ 撮像装置
２１ 画像撮像部
２２ 制御部
２３ 記録部
２４ パターン検出部
２５ 合焦評価部
２６ 合焦画像抽出部
２７ パラメータ推定部
１００ 撮像システム
２００ 撮像システム
ＣＢ１ 校正機器
ＣＢ２ 校正ボード

Claims (9)

1. 第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、複数回それぞれ異なる焦点位置で撮像する撮像手段と、
   前記撮像手段に対し、前記焦点位置を変更させるための制御値を設定する制御手段と、
   前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択する評価手段と、
   前記評価手段が選択した前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得する取得手段と、
   前記撮像手段が前記第１パターン及び前記第２パターンのそれぞれを撮像した場合に、それぞれの撮像画像に基づいて、前記第１パターン及び前記第２パターンの前記撮像手段に対する向きを変更するように報知する報知手段と、
   を備える撮像システム。
2. 前記撮像手段は、被写体を複数枚撮像し、
   前記制御手段は、前記撮像手段が撮像した前記複数枚の画像の合焦度の評価値が時系列において正規分布となっているか否かを判定し、
   前記制御手段は、前記複数枚の画像の合焦度の評価値が時系列において正規分布となっていない場合に、
   前記撮像手段に対し、焦点位置を変更させるための前記制御値を設定することで、前記第１パターンと、前記第１パターンと異なる被写体距離に設けられた前記第２パターンとのそれぞれを、複数回それぞれ異なる焦点位置で撮像させ、
   前記評価手段に対し、前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価することで評価値が最大の画像を選択させるとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価することで評価値が最大の画像を選択させ、
   前記取得手段に対し、前記評価手段が選択した前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得させる、
   請求項１に記載の撮像システム。
3. 前記第１パターンと前記第２パターンは、それぞれ異なるパターンである、
   請求項１又は２に記載の撮像システム。
4. 前記撮像手段は、液体レンズを有し、
   前記制御手段は、前記液体レンズの曲率を変化させる電圧を前記制御値として設定する、
   請求項１ないし３のいずれか１項に記載の撮像システム。
5. 前記制御手段は、前記撮像手段が前記第１パターン及び前記第２パターンを撮像したことを検知した場合に、前記撮像手段に、前記第１パターン及び前記第２パターンのそれぞれを、複数回それぞれ異なる焦点位置で撮像することによって、前記取得手段に前記対応関係を取得させるように制御する、
   請求項１ないし４のいずれか１項に記載の撮像システム。
6. 前記撮像システムは、前記撮像手段に、前記第１パターン及び前記第２パターンのそれぞれを複数回それぞれ異なる焦点位置で撮像させる前に、撮像を実行する旨を報知する報知手段をさらに備える、
   請求項１ないし５のいずれか１項に記載の撮像システム。
7. 前記撮像システムは、前記第１パターン及び前記第２パターンを有する校正機器をさらに備え、
   前記校正機器の前記第１パターンと前記第２パターンは、前記撮像手段に対して、それぞれ異なる被写体距離だけ離れている、
   請求項１ないし６のいずれか１項に記載の撮像システム。
8. 第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、撮像手段が複数回それぞれ異なる焦点位置で撮像し、
   前記撮像手段に、前記焦点位置を変更させるための制御値を設定し、
   前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択し、
   選択された前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得し、
   前記第１パターン及び前記第２パターンのそれぞれを撮像した場合に、それぞれの撮像画像に基づいて、前記第１パターン及び前記第２パターンの前記撮像手段に対する向きを変更するように報知する、
   ことを備える、コンピュータによって実行される校正方法。
9. 第１パターンと、前記第１パターンと異なる被写体距離に設けられた第２パターンとのそれぞれを、撮像手段が複数回それぞれ異なる焦点位置で撮像し、
   前記撮像手段に、前記焦点位置を変更させるための制御値を設定し、
   前記撮像手段が撮像した前記第１パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択するとともに、前記撮像手段が撮像した前記第２パターンの複数の画像の合焦度を評価し、評価値が最大の画像を選択し、
   選択された前記第１パターンの画像の撮影及び前記第２パターンの画像の撮影において用いられた前記制御値と、前記第１パターン及び前記第２パターンの被写体距離に基づいて、光学系の焦点位置と制御値の対応関係を取得し、
   前記第１パターン及び前記第２パターンのそれぞれを撮像した場合に、それぞれの撮像画像に基づいて、前記第１パターン及び前記第２パターンの前記撮像手段に対する向きを変更するように報知する、
   ことをコンピュータに実行させるプログラム。

Images