JP6149717B2

JP6149717B2 - 撮像装置及び撮像方法

Info

Publication number: JP6149717B2
Application number: JP2013258971A
Authority: JP
Inventors: 今野　雄介; 雄介今野
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2013-12-16
Filing date: 2013-12-16
Publication date: 2017-06-21
Anticipated expiration: 2033-12-16
Also published as: JP2015115918A

Description

本発明は、撮像装置及び撮像方法に関する。

近年、空間分解能等といった特性を犠牲にすることなく被写界深度を拡張する技術（拡張被写界深度（ＥｘｔｅｎｄｅｄＤｅｐｔｈＯｆＦｉｅｌｄ：ＥＤＯＦ）技術）について、様々な検討が行われている。

例えば、以下の特許文献１及び非特許文献１には、遅延積分型（ＴｉｍｅＤｅｌａｙＩｎｔｅｇｒａｔｉｏｎ：ＴＤＩ）カメラに設けられたＴＤＩセンサの積分方向にＴＤＩセンサを傾けることで、積分時間中に深度方向にピントの合う位置を変化させ、奥行き不変な点広がり関数（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ：ＰＳＦ）を得ることによって、単一のデコンボリューションフィルタによりＥＤＯＦ効果を実現する技術が開示されている。ここで、点広がり関数ＰＳＦとは、点物体を撮像した像における、エネルギー強度分布を表す関数であり、光学系におけるインパルス応答関数と捉えることができる。

また、下記の非特許文献２には、通常の２次元センサを、フレーム露光時間中に光軸方向に移動させ、積分時間中に深度方向にピントの合う位置を変化させ、奥行き不変なＰＳＦを得ることで、単一のデコンボリューションフィルタによりＥＤＯＦ効果を実現する技術（フォーカススイープ技術）が開示されている。

また、下記の特許文献２には、被写体を撮像するための光学系の瞳位置に対して特殊な波面変化を与える位相板を配設することで、奥行き不変なＰＳＦを得ることで、単一のデコンボリューションフィルタによりＥＤＯＦ効果を実現する技術（ウェーブフロントコーディング技術）が開示されている。

米国特許第６５８３８６５号明細書特開２００３−２３５７９４号公報

ＷｉｌｌｉａｍＥ．Ｏｒｔｙｎ，ＤａｖｉｄＪ．Ｐｅｒｒｙ，ＶｉｄｙａＶｅｎｋａｔａｃｈａｌａｍ，ＬｕｃｈｕａｎＬｉａｎｇ，ＢｒｉａｎＥ．Ｈａｌｌ，ＫｅｉｔｈＦｒｏｓｔ，ａｎｄＤａｖｉｄＡ．Ｂａｓｉｊｉ，ＣｙｔｏｍｅｔｒｙＰａｒｔＡ７１Ａ：２１５−２３１（２００７）Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，Ｈ．Ｎａｇａｈａｒａ，ＺｈｏｕＣｈａｎｇｙｉｎ，Ｓ．Ｋ．Ｎａｙａｒ，ＩＥＥＥＴｒａｎｓ．ｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌｕｍｅ：３３，Ｉｓｓｕｅ：１ＷｉｌｌｉａｍＨａｄｌｅｙＲｉｃｈａｒｄｓｏｎ，"Ｂａｙｅｓｉａｎ−ＢａｓｅｄＩｔｅｒａｔｉｖｅＭｅｔｈｏｄｏｆＩｍａｇｅＲｅｓｔｏｒａｔｉｏｎ"，ＪｏｕｎａｌｏｆｔｈｅＯｐｔｉｃａｌＳｏｃｉｅｔｙｏｆＡｍｅｒｉｃａ，Ｖｏｌ．６２，Ｎｕｍ．１．Ｊａｎｕａｒｙ１９７２

しかしながら、以下で詳述するように、上記特許文献１及び非特許文献１に開示の技術では、ＴＤＩセンサを傾けて設置していることに起因して、視野周辺部（視野の端部）ではＥＤＯＦ効果を得ることができないことが、本発明者により明らかとなった。

また、上記非特許文献２に開示のフォーカススイープ技術では、カメラの１フレーム時間内に撮像素子のシフトを行うため、高フレームレートの撮像ができず、また、撮像素子のシフト機構を実現するためにコストがかかり、移動物体には適用できないという問題があった。

更に、上記特許文献２に開示のウェーブフロントコーディング技術では、特殊な位相板の設計及び製作が困難である一方で、この位相板の表面は非球面形状となるため、通常のレンズ作製法では作製することができず、大きなコストアップの要因になるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、搬送経路上又は搬送経路中を高速で搬送されている物体の撮像が可能であり、視野全体にわたる拡張被写界深度効果をより簡便に実現することが可能な、撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、チルトレンズが装着された遅延積分型の撮像機器を有し、所定の搬送方向に搬送される撮像対象物からの光を撮像する撮像部と、前記撮像部により撮像された撮像データに対してデコンボリューション処理を施すデータ処理部と、を備え、前記撮像機器の受光面及びデータシフト方向は、前記撮像対象物の前記搬送方向に対して平行であり、前記チルトレンズの傾動軸は、前記撮像機器の前記受光面に対して平行であり、かつ、前記撮像対象物の前記搬送方向に対して直交しており、前記撮像機器におけるデータシフト速度が前記受光面における像の移動速度と一致するように設定される撮像装置が提供される。

撮像する前記撮像対象物における撮像面の法線方向に対応する奥行き範囲を、前記チルトレンズの焦点距離及びチルト角、前記チルトレンズから前記受光面までの距離並びに前記受光面の搬送方向の大きさに基づきシャインプルーフ条件により決まる前方側合焦可能範囲及び後方側合焦可能範囲で規定される被写界深度よりも狭くなるように制限して用いることが好ましい。

前記奥行き範囲を、前記被写界深度の１／２以下となるように制限して用いてもよい。

前記チルトレンズのチルト角を変更することで前記被写界深度を設定してもよく、前記チルトレンズ又は前記受光面の少なくとも何れかを前記搬送方向に対して平行にシフトさせることで、前記撮像面の法線と前記チルトレンズの主光軸とのなす角度である撮像角度を所定の値に設定してもよい。

前記撮像部による撮像処理を制御する撮像制御部を更に備え、前記撮像部は、前記撮像対象物における撮像面に対して照明光を照射する照明光源を更に有しており、前記撮像対象物の搬送速度が変化する場合、前記撮像制御部は、照明光の強度が前記搬送速度に比例するように前記照明光源を制御してもよい。

前記データ処理部は、前記撮像データと点広がり関数とに基づいてデコンボリューション処理を行い、前記点広がり関数として、予め実測された点広がり関数、シミュレーションにより得られた点広がり関数、又は、所定のモデルを用いて規定された点広がり関数の何れかを利用してもよい。

前記データ処理部は、半径ゼロの位置で強度が所定の定数となり、かつ、半径ゼロ以外の位置で半径に反比例する強度分布を持つようにした前記点広がり関数を利用してもよい。

前記所定の定数は、前記撮像対象物のエッジ部におけるリンギングが所定の閾値以下となるように設定されることが好ましい。

また、上記課題を解決するために、本発明の別の観点によれば、チルトレンズが装着された遅延積分型の撮像機器により、所定の搬送方向に搬送される撮像対象物からの光を撮像する撮像ステップと、前記撮像ステップにて撮像された撮像データに対してデコンボリューション処理を施すデータ処理ステップと、を含み、前記撮像ステップでは、前記撮像機器の受光面及びデータシフト方向を、前記撮像対象物の前記搬送方向に対して平行とし、前記チルトレンズの傾動軸を、前記撮像機器の前記受光面に対して平行であり、かつ、前記撮像対象物の前記搬送方向に対して直交するようにし、前記撮像機器におけるデータシフト速度が、前記受光面における像の移動速度と一致するように設定される撮像方法が提供される。

以上説明したように本発明によれば、搬送経路上又は搬送経路中を高速で搬送されている物体の撮像が可能であり、視野全体にわたる拡張被写界深度効果をより簡便に実現することが可能である。

本発明者によるＥＤＯＦ技術に関する検討結果について説明するための説明図である。本発明者によるＥＤＯＦ技術に関する検討結果について説明するための説明図である。本発明の第１の実施形態に係る撮像装置の構成例について示した説明図である。同実施形態に係る撮像装置の構成例について示した説明図である。同実施形態に係る撮像装置の撮像部について模式的に示した説明図である。同実施形態に係る撮像装置の撮像部を説明するための説明図である。同実施形態に係る撮像装置の撮像部を説明するための説明図である。同実施形態に係る撮像装置の撮像部を説明するための説明図である。同実施形態に係る撮像装置の演算処理部の構成の一例について説明するためのブロック図である。同実施形態に係るデータ処理部で実施されるデータ処理について説明するための説明図である。同実施形態に係るデータ処理部で実施されるデータ処理について説明するための説明図である。同実施形態に係るデータ処理部で実施されるデータ処理について説明するための説明図である。同実施形態に係るデータ処理部で実施されるデータ処理について説明するための説明図である。同実施形態に係るデータ処理部で実施されるデータ処理について説明するための説明図である。同実施形態に係る撮像方法の流れの一例について示した流れ図である。同実施形態に係る撮像装置の演算処理部のハードウェア構成の一例を示したブロック図である。実験例１について説明するための説明図である。実験例１について説明するための説明図である。実験例１について説明するための説明図である。実験例２について説明するための説明図である。実験例２について説明するための説明図である。実験例２について説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（ＥＤＯＦ技術に関する本発明者の検討結果について）
本発明の実施形態に係る撮像装置及び撮像方法について説明するに先立ち、本発明者が行った上記のＥＤＯＦ技術に関する検討結果について、図１及び図２を参照しながら説明する。図１及び図２は、本発明者によるＥＤＯＦ技術に関する検討結果について説明するための説明図である。

図１は、上記特許文献１及び非特許文献１に開示されているＥＤＯＦ技術における撮像装置の構成を模式的に示した説明図である。
図１に模式的に示したように、上記特許文献１及び非特許文献１に開示の技術では、ＴＤＩカメラに設けられているＴＤＩセンサ（撮像素子）の受光面を、撮像対象とする物体の撮像面に対して傾けている。そのため、撮像素子による積分時間中、撮像素子に対する像の合焦状態は、時間に応じて変化していく。各時刻でのＰＳＦが合成されることで、最終的なＰＳＦが生成されるが、生成されるＰＳＦでは、撮像対象の奥行きが多少変化したとしてもＰＳＦの形状はほとんど変化せず、被写界深度の広い範囲で奥行き不変となる。

ところで、図１に示したように、撮像対象とする物体が図中の左側から右側へと移動した場合、撮像面での正方形で囲まれた領域は、撮像素子の受光面では台形領域となったうえで、図中の右側から左側へと移動することとなる。この場合、視野の中央部分では、物体の移動方向とＴＤＩカメラの積分方向とは互いに略平行となる一方で、視野の周辺部分では、物体の移動方向とＴＤＩカメラの積分方向とは略平行とならず、像の移動方向にズレが生じてしまう。これは、視野の中央部分と視野の周辺部分とで、奥行き不変なＰＳＦが同一とならないことを意味している。その結果、上記特許文献１及び非特許文献１に開示の方向では、視野の中央部分ではＥＤＯＦ効果が得られるものの、視野の周辺ではＥＤＯＦ効果が得られないということが明らかとなった。

図２は、上記非特許文献２に開示のフォーカススイープ技術における撮像装置の構成を模式的に示した説明図である。
図２に模式的に示したように、フォーカススイープ技術では、撮像対象とする物体の撮像面とカメラ等の撮像機器における撮像素子とは、互いに平行となるように設定される。その上で、フォーカススイープ技術では、１フレーム中に撮像素子を光軸方向に一定速度で移動させるという操作が行われる。撮像素子の光軸方向へのシフト操作により、撮像素子に結像する像の合焦状態は、時間に応じて変化していく。各時刻でのＰＳＦが合成されることで、強度が結像円の半径ｒの逆数に比例する最終的なＰＳＦが生成される。フォーカススイープ技術においても、上記特許文献１及び非特許文献１の技術と同様に、生成されるＰＳＦでは、撮像対象の奥行きが多少変化したとしてもＰＳＦの形状はほとんど変化せず、被写界深度の広い範囲で奥行き不変となる。

しかしながら、上述のように、フォーカススイープ技術では、カメラの１フレーム時間内に撮像素子のシフトを行うため、高フレームレートの撮像ができず、また、撮像素子のシフト機構を実現するためにコストがかかり、移動物体には適用できない。また、搬送コンベアや搬送テーブル等の搬送経路上の搬送物や、搬送チューブ等の搬送経路中の搬送物を撮像するような場合では、ストロボ撮像又は電子シャッターを使用しなければならず、フォーカススイープ技術に要する露光時間を確保することができない。

このように、従来検討されてきたＥＤＯＦ技術では、高速に移動している物体を撮像することができず、また、視野全体にわたるＥＤＯＦ効果を得ることは出来なかった。そのため、搬送経路上又は搬送経路中を高速に移動している物体を、視野全体にわたるＥＤＯＦ効果を得ながら撮像する技術を、コスト面も含めてより簡便に実現可能な方法が希求されてきた。

本発明者は、上記のような技術について更なる検討を行った結果、以下で説明するような本発明の実施形態に係る撮像装置及び撮像方法に想到した。以下で説明する技術を用いることによって、搬送経路上又は搬送経路中を高速に移動している物体を、視野全体にわたるＥＤＯＦ効果を実現しつつ撮像することが、より簡便に実現できる。
以下、本発明の実施形態に係る撮像装置及び撮像方法について、詳細に説明する。

（実施形態）
＜撮像装置の全体的な構成について＞
まず、図３Ａ及び図３Ｂを参照しながら、本発明の実施形態に係る撮像装置の全体的な構成について説明する。図３Ａ及び図３Ｂは、本実施形態に係る撮像装置の全体的な構成を模式的に示した説明図である。

本実施形態に係る撮像装置１０は、搬送ラインなどにより所定の方向に移動している撮像対象物の表面の少なくとも一部を撮像し、撮像された撮像データに対してデコンボリューション処理を施すことにより、被写界深度が拡張された撮像画像を生成する装置である。本実施形態に係る撮像装置１０で撮像可能な撮像対象物は特に限定されるものではなく、例えば、製鉄ライン上を搬送される各種の鋼板のような工業製品から、一般的に利用されている各種の製品まで、各種のものを対象とすることが可能である。また、本実施形態に係る撮像装置１０を、例えばフローサイトメーターのように液体中を一定方向に搬送される細胞の観察に適用することも可能である。

以下の説明では、撮像装置１０が、撮像対象物から射出された可視光線又は撮像対象物で反射された可視光線を撮像する場合を例に挙げて説明を行うが、撮像装置１０は、撮像対象物を透過した各種波長帯域の光や、撮像対象物から射出された各種波長帯域の光や、撮像対象物が当該撮像対象物に入射したレーザ等の光と相互作用することで射出する蛍光・リン光等といった、撮像対象物からのあらゆる光に着目して撮像を行うことが可能である。

この撮像装置１０は、例えば図３Ａに示したように、撮像部１０１と、演算処理部１０３と、を主に備える。

撮像部１０１は、例えば搬送ライン等により所定の方向に搬送されている撮像対象物の表面の少なくとも一部を撮像して、撮像画像に対応する実体データ（以下、撮像データともいう。）を生成する。本実施形態に係る撮像部１０１の詳細な構成については、以下で改めて詳述する。撮像部１０１により生成された撮像データは、演算処理部１０３へと出力される。

演算処理部１０３は、撮像部１０１により生成された撮像データに対して、以下で詳述するようなデコンボリューション処理を施して、被写界深度が拡張された撮像画像を生成する。また、演算処理部１０３は、必要に応じて、撮像部１０１により実施される様々な撮像処理の制御を行うことも可能である。演算処理部１０３の詳細な構成については、以下で詳述する。

撮像部１０１及び演算処理部１０３を備える撮像装置１０は、図３Ａに示したように、ある筺体内に一体的に実装されて一つの撮像装置を形成してもよいが、例えば図３Ｂに示したように、撮像部１０１及び演算処理部１０３が互いに異なる機器や装置に分散して実装されていてもよい。

例えば図３Ｂに示した例では、撮像部１０１がレンズや撮像素子等を有する撮像機器に実装され、演算処理部１０３が、パーソナルコンピュータ、プロセスコンピュータ等といった演算処理装置に実装された例を図示している。このように、本実施形態に係る撮像装置１０は、複数の機器から構成される撮像システムとして実現されていてもよい。

なお、本実施形態に係る撮像装置１０では、演算処理部１０３の各機能が複数の機器に分散されて実現されていてもよい。すなわち、演算処理部１０３の機能の一部が撮像部１０１を有する撮像機器に実装され、かつ、演算処理部１０３の他の機能が演算処理装置に実装されるような態様であってもよい。

以上、図３Ａ及び図３Ｂを参照しながら、本実施形態に係る撮像装置１０の全体構成について説明した。

＜撮像部の構成について＞
次に、図４〜図７を参照しながら、本実施形態に係る撮像装置１０が備える撮像部１０１について、詳細に説明する。図４は、本実施形態に係る撮像装置の撮像部について模式的に示した説明図である。図５〜図７は、本実施形態に係る撮像装置の撮像部を説明するための説明図である。

図４に例示したように、本実施形態に係る撮像部１０１は、遅延積分型の撮像素子１１３（以下、単に撮像素子１１３ともいう。）を有する撮像機器（いわゆる、ＴＤＩカメラ）１１１と、ＴＤＩカメラ１１１に装着されたチルトレンズ１１５と、を主に備える。また、撮像部１０１は、撮像対象物の表面の少なくとも一部である撮像面に対し、所定の照明光を照射する照明光源１１７を、必要に応じて更に備えていても良い。

ＴＤＩカメラ１１１は、例えば図４に示したように、遅延積分型の撮像素子１１３の受光面が、測定対象物の撮像面と平行となるように設けられる。また、撮像素子１１３におけるデータシフト方向（画素値の積分方向）は、受光面における像の移動方向と一致するように設定され、かつ、データシフト速度（画素値をデータシフト方向に隣接する画素へと移動させる速度）は、受光面における像の移動速度と一致するように設定される。

ＴＤＩカメラ１１１によって撮像された撮像データは、撮像素子１１３から演算処理部１０３へと出力され、後述するデコンボリューション処理に利用される。

チルトレンズ１１５は、レンズ主面を撮像面に対して傾動させる操作（チルト操作）が可能なレンズである。チルトレンズ１１５の焦点距離や開放絞り値等といったレンズ特性は、特に限定されるものではなく、チルトレンズ１１５と撮像対象物との離隔距離や撮像対象物の周囲の明るさ等といった撮像条件に応じて、適宜設定すればよい。また、本実施形態では、チルトレンズ１１５として一枚の両凸レンズを代表させて便宜的に図示しているが、本実施形態に係るチルトレンズ１１５は、複数のレンズ群から構成されていてもよく、各レンズは、球面レンズであってもよいし非球面レンズであってもよい。

また、以下で改めて説明するように、チルトレンズ１１５として、レンズ又はレンズ群をチルトさせたまま水平方向に移動させる操作（シフト操作）が更に実施可能な、いわゆるチルトシフトレンズを使用することが更に好ましい。

本実施形態に係る撮像部１０１では、チルトレンズ１１５の受光傾動軸が撮像面に対して平行となり、かつ、ＴＤＩカメラ１１１のデータシフト方向に対して直交するように、ＴＤＩカメラ１１１に対して装着される。

撮像対象物の撮像面と、ＴＤＩカメラ１１１の撮像素子１１３と、チルトレンズ１１５との間の光学的な関係については、以下で図５〜図７を参照しながら改めて詳述する。

照明光源１１７は、撮像面に対して照射される照明光を射出する光源である。照明光源１１７からの照明光は、撮像対象物からのどのような光を撮像するのかに応じて適宜選択すればよい。例えば、撮像面における照明光の反射像に着目するのであれば、照明光として可視光帯域に属する光を用いればよく、照明光と撮像対象物との相互作用によって撮像対象物から射出される光に着目するのであれば、着目する光を射出させることが可能な波長帯域の光を用いればよい。従って、照明光源１１７としては、公知の様々な光源を利用することが可能であり、特に限定されるものではない。

また、照明光源１１７の設置位置についても特に限定されるものではなく、撮像対象物の撮像環境に応じて、適宜決定すればよい。

［撮像部の光学的な関係について］
次に、図５〜図７を参照しながら、撮像部１０１における撮像素子１１３及びチルトレンズ１１５と、撮像対象物の撮像面と、の間に成立する光学的な関係について、詳細に説明する。

先述のように、本実施形態に係る撮像部１０１では、撮像素子１１３の受光面と撮像対象物の撮像面とは互いに平行な位置関係になっており、かつ、撮像素子１１３の受光面とチルトレンズ１１５の主面とは互いに平行ではなく、交差するような位置関係となっている。このような光学的な位置関係での光学的な原理の一つに、シャインプルーフの原理（Ｓｃｈｅｉｍｐｆｌｕｇｐｒｉｎｃｉｐｌｅ）がある。この原理は、「フィルムの感光面とレンズ主面とがある１つの直線で交わるとき、合焦状態となる物体面もまた同一の直線で交わる」というものである。

このシャインプルーフの原理を本実施形態に係る撮像部１０１に対して適用すると、「撮像素子１１３の受光面（図５中の面Ｓ１に対応）とチルトレンズ１１５の主面（図５中の面Ｓ２に対応）とがある１つの直線（図５中の直線Ｐに対応）で交わるとき、合焦状態となる物体面（図５中のＳ３に対応）もまた同一の直線で交わる」となる。このようなシャインプルーフの原理に基づく条件（以下、シャインプルーフ条件ともいう。）は、図５中に示したように、「受光面Ｓ１、レンズ主面Ｓ２及び撮像面Ｓ３が同一直線Ｐ上で互いに交差する」ことである。更に、結像のためには、結像条件として「レンズの光軸（主光軸Ｌ１）と受光面面Ｓ１との交点、及び、レンズの光軸（主光軸Ｌ１）と撮像面Ｓ３との交点のそれぞれにおいて、結像関係（１／ａ）＋（１／ｂ）＝（１／ｆ）が成立する」ことが必要である。なお、この結像条件において、ｆは、チルトレンズの焦点距離を示し、ａは、レンズの主光軸Ｌ１と受光面Ｓ１との交点と、レンズの主点との離隔距離を示し、ｂは、レンズの主光軸Ｌ１と撮像面Ｓ３との交点と、レンズの主点との離隔距離を示している。

ここで、上記シャインプルーフ条件及び結像条件に加えて、チルトレンズ１１５の焦点距離及びチルト角（チルト操作の度合いを表す角）と、チルトレンズ１１５から撮像対象物までの離隔距離と、撮像素子１１３の搬送方向に沿った大きさ（撮像素子１１３のサイズ）を更に考慮する。これらの諸条件により、図５に示したような、撮像面の前方（チルトレンズ１１５側）で合焦状態となっている範囲（前方合焦可能範囲）と、撮像面の後方で合焦状態となっている範囲（後方合焦可能範囲）とが決まる。

前方合焦可能範囲及び後方合焦可能範囲で規定される合焦可能範囲（すなわち、被写界深度）をＤ_Ｂと表すこととすると、本実施形態では、撮像面の法線方向に対応する奥行き範囲Ｄ_Ａが被写界深度Ｄ_Ｂよりも狭くなるように制限して、撮像部１０１を利用することが好ましい。本実施形態に係る撮像部１０１の光学系において、ＰＳＦが奥行きに関係なく一定とみなすことができる範囲は、被写界深度Ｄ_Ｂ以内となるからである。ＰＳＦが奥行きに関係なく一定とみなすことができる範囲で撮像処理を行うことで、得られる撮像データは、奥行き範囲Ｄ_Ａに含まれる部分が合焦状態となった、被写界深度の拡張された画像を得ることが可能となる。

なお、奥行き範囲Ｄ_Ａを、被写界深度Ｄ_Ｂに対してどの程度小さくすれば良いかについては、公知のシミュレーション等を実施してＰＳＦが奥行き不変とみなすことができる範囲を特定することで、決定することができる。本実施形態に係る撮像部１０１では、例えば、奥行き範囲Ｄ_Ａを被写界深度Ｄ_Ｂの１／２以下程度に設定することが好ましい。

なお、上記のような奥行き範囲Ｄ_Ａと被写界深度Ｄ_Ｂとの間の条件を決めた上で、この条件を満たすようにチルトレンズ１１５のチルト角を決定するようにしてもよい。

一方、撮像対象物の撮像面と、チルトレンズ１１５の主面とに着目してシャインプルーフ条件を考えてみると、図６に示したように、撮像素子１１３の表面（すなわち、受光面）の全てがシャインプルーフ条件で決まる合焦面上に存在しているわけではない。その結果、撮像素子１１３の受光面上のある部分では、撮像対象物が合焦した状態で結像しており、他の部分では、合焦せずにボケた状態で撮像対象物が結像することとなる。従って、撮像素子１１３の受光面では、データシフト方向に沿って合焦状態が変化していくこととなる。また、本実施形態で利用するＴＤＩカメラ１１１は、元来データシフト方向に画像を積分することが可能なカメラである。そのため、本実施形態に係る撮像部１０１では、チルトレンズ１１５を利用することで、様々な合焦状態に関する情報を含む撮像データを、ＴＤＩカメラ１１１の元来のデータシフト機能を利用するという極めて簡便な方法により得ることが可能となる。また、ＴＤＩカメラ１１１の元来のデータシフト機能を利用するため、高速な撮像処理が可能となる。

図５からも明らかなように、本実施形態に係る撮像部１０１では、撮像素子１１３の受光面とチルトレンズ１１５の主面とのなす角として規定されるチルト角（図７における角度α）を変化させることで、被写界深度を制御することが可能である。また、図７からも明らかなように、撮像素子１１３とチルトレンズ１１５との水平方向における相対的な位置関係を変化させることで、撮像面の法線方向とチルトレンズ１１５の主光軸とのなす角として規定される撮像角度（図７における角度β）を制御することが可能である。撮像素子１１３とチルトレンズ１１５との水平方向における相対的な位置関係を変化させる操作は、先だって説明したシフト操作に対応する。従って、被写界深度を制御しつつ撮像角度を制御するためには、いわゆるチルトシフトレンズを利用することが好ましい。

図７に示したような方法で撮像角度βを所望の値に設定することで、例えば、照明光の正反射像や乱反射像を撮像する、結晶構造の特定の結晶面を撮像する、などのように、特定の角度からの撮像処理を簡便に実施することが可能となる。

以上、図４〜図７を参照しながら、本実施形態に係る撮像部１０１について、詳細に説明した。

＜演算処理部の構成について＞
次に、図８〜図１２Ｂを参照しながら、本実施形態に係る撮像装置１０が備える演算処理部１０３について、詳細に説明する。図８は、本実施形態に係る撮像装置の演算処理部の構成の一例について説明するためのブロック図である。図９〜図１２Ｂは、本実施形態に係るデータ処理部で実施されるデータ処理について説明するための説明図である。

本実施形態に係る演算処理部１０３は、図８に示したように、撮像制御部１５１と、データ取得部１５３と、データ処理部１５５と、処理結果出力部１５７と、表示制御部１５９と、記憶部１６１と、を主に備える。

撮像制御部１５１は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、通信装置等により実現される。撮像制御部１５１は、本実施形態に係る撮像部１０１による撮像対象物の撮像処理全般を制御することができる。例えば、撮像制御部１５１は、撮像対象物と撮像部１０１との間の相対的な位置を変化させる搬送ライン等の駆動機構から定期的に送出されるシフトパルス信号（例えば、撮像対象物が１ｍｍ移動する毎等に出力されるＰＬＧ信号）に基づいて、撮像部１０１に対して撮像を開始するためのトリガ信号を送出する。これにより、撮像部１０１は、撮像対象物の搬送方向の各位置における撮像データを随時生成することが可能となる。

また、撮像部１０１が照明光源１１７を有している場合には、撮像制御部１５１は、撮像対象物の撮像を開始する場合に、照明光源１１７に対して、照明光の照射を開始させるための制御信号を送出してもよい。なお、撮像対象物の搬送速度が変化する場合、撮像制御部１５１は、照明光の強度が搬送速度に比例するように、照明光源１１７を制御することが好ましい。ＴＤＩカメラ１１１の露光時間は、データシフト速度に反比例するため、得られる撮像データにおける像の明るさを一定にするためには、搬送速度にあわせて照明光の強度を制御することが求められるからである。この場合、撮像制御部１５１は、撮像対象物の搬送速度が上昇すると照明光を明るくし、搬送速度が低下すると照明光を暗くするように、照明光源１１７の制御を行う。

データ取得部１５３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。データ取得部１５３は、撮像部１０１によって生成され、撮像部１０１から出力された撮像データを取得して、後述するデータ処理部１５５へと伝送する。また、データ取得部１５３は、取得した撮像データに、当該データを取得した日時等に関する時刻情報を紐づけて、履歴情報として後述する記憶部１６１に格納してもよい。

データ処理部１５５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。データ処理部１５５は、撮像部１０１により生成された撮像データを利用し、この撮像データに対して以下で説明するようなデコンボリューション処理を施すことで、被写界深度が拡張された画像を生成する。データ処理部１５５は、デコンボリューション処理を終了すると、得られた処理結果に関する情報を、処理結果出力部１５７に伝送する。

なお、このデータ処理部１５５におけるデコンボリューション処理については、以下で詳述する。

処理結果出力部１５７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。処理結果出力部１５７は、データ処理部１５５から出力された被写界深度が拡張された画像に関する情報を、後述する表示制御部１５９に出力する。これにより、被写界深度が拡張された撮像対象物の画像に関する情報が、表示部（図示せず。）に出力されることとなる。また、処理結果出力部１５７は、得られた処理結果を、各種コンピュータ等の外部の装置に出力してもよく、得られた処理結果を利用して、製品に関する各種の帳票を作成してもよい。また、処理結果出力部１５７は、得られた画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部１６１等に履歴情報として格納してもよい。

表示制御部１５９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置等により実現される。表示制御部１５９は、処理結果出力部１５７から伝送された、被写界深度が拡張された撮像対象物の画像に関する情報を、撮像装置１０が備えるディスプレイ等の出力装置や撮像装置１０の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、撮像装置１０の利用者は、被写界深度が拡張された撮像対象物の画像等といった各種の処理結果を、その場で把握することが可能となる。

記憶部１６１は、例えば本実施形態に係る撮像装置１０が備えるＲＡＭやストレージ装置等により実現される。記憶部１６１には、本実施形態に係る撮像部１０１や演算処理部１０３が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部１６１は、撮像制御部１５１、データ取得部１５３、データ処理部１５５、処理結果出力部１５７、表示制御部１５９等が、自由にデータのリード／ライト処理を行うことが可能である。

［データ処理部におけるデコンボリューション処理について］
撮像部１０１から出力される撮像データに対応する画像は、様々な合焦状態に関する情報を含んだ画像である。この撮像データに対応する画像は、本来撮像されるはずの像に対して、ボケ関数として機能するＰＳＦがコンボリュートされ、場合によっては更にノイズが重畳した画像として捉えることができる。従って、ＰＳＦを利用して撮像データに対してデコンボリューション処理を施すことによって、本来撮像されるはずの、被写界深度が拡張された画像を復元することができる。本実施形態に係るデータ処理部１５５は、このような撮像データ及びＰＳＦを利用したデコンボリューション処理を実施する。

○利用する点広がり関数ＰＳＦについて
データ処理部１５５によって実施されるデコンボリューション処理で用いられる各種データのうち撮像データは、撮像部１０１によって生成されるデータである。従って、データ処理部１５５がデコンボリューション処理を行うためには、処理に利用するＰＳＦを決めることが求められる。

データ処理部１５５では、このようなＰＳＦとして、予め実測された点広がり関数（ＰＳＦ）、シミュレーションにより得られた点広がり関数（ＰＳＦ）、又は、所定のモデルを用いて規定された点広がり関数（ＰＳＦ）の何れかを利用することが可能である。

予め実測されたＰＳＦは、例えば点光源を撮像対象物とし、この点光源を撮像部１０１により撮像することで得ることができる。また、シミュレーションにより得られたＰＳＦは、撮像部１０１の光学系により点光源を撮像した場合にどのような画像が得られるかを、公知のシミュレーション方法によりシミュレートすることで得ることが可能であり、シミュレーション方法については、特に限定されるものではない。

また、所定のモデルを用いて規定されたＰＳＦについては、特に限定されるものではなく、公知のモデルを利用することが可能であるが、このようなモデルの具体例として、図９に例示した円柱モデル（ピルボックスモデルともいう。）や、図１０に例示したガウシアンモデルを挙げることができる。

図９に例示した円柱モデル（ピルボックスモデル）は、各時刻におけるエネルギー強度分布が半径ｒで規定される１つの円柱で表されるとするモデルである。各円柱におけるエネルギー強度の分布の様子は、以下の式１０１や図９中に示したように定義できる。

上記式１０１から明らかなように、各時刻におけるエネルギー強度分布は、円柱の内部に該当する部分では値を持ち、円柱の外部に該当する部分では値を持たないものとなっている。

このような円柱モデル（ピルボックスモデル）で表されるＰＳＦは、上記式１０１で表されるエネルギー強度の分布をｒについて積分することで得ることができる。積分により得られる関数ＰＳＦ_{ｐｉｌｌｂｏｘ}は、１／ｒ（ｒ＝（ｘ^２＋ｙ^２）^０．５）に比例するものとなり、図９下段に示したような分布を表すものとなる。すなわち、かかる関数ＰＳＦ_{ｐｉｌｌｂｏｘ}は、半径ゼロの位置で強度が所定の定数となり、かつ、半径ゼロ以外の位置で半径に反比例する強度分布を持つようにしたＰＳＦとなる。

図１０に例示したガウシアンモデルは、各時刻におけるエネルギー強度分布がガウス分布に従うとするモデルである。従って、各時刻におけるエネルギー強度の分布の様子は、以下の式１０２や図１０中に示したように定義できる。

このようなガウシアンモデルで表されるＰＳＦは、上記のような数１０２で表されるエネルギー強度の分布をｒについて積分することで得ることができる。積分により得られる関数ＰＳＦ_{Ｇａｕｓｓｉａｎ}は、図１０下段に示したような分布を表すものとなる。

以上例示したような、所定のモデルを用いて規定されたＰＳＦのうち、どのようなＰＳＦを利用するかについては、撮像部１０１として用いる光学系の特性に応じて適宜選択することが可能である。例えば、撮像部１０１として用いる光学系が、レンズ収差を無視することができ、幾何光学モデルが成立するような光学系であれば、図９に示したような円柱モデル（ピルボックスモデル）を用いることで、十分な画像精度を得ることができる。

以下では、図９下段に例示した円柱モデルに基づくＰＳＦを例に挙げて、図９下段に例示したＰＳＦがどのように定式化されるかについて、具体的に説明する。

いま、図９下段に示したＰＳＦにおいて、便宜的に、強度が一番大きくなっている点を（ｘ，ｙ）平面の原点として、定式化を行うものとする。ＰＳＦ_{ｐｉｌｌｂｏｘ}は、上述のように、円の半径ｒに反比例するものであるため、正規化定数Ａ及び正則化定数Ｋを用いて、以下の式１１０ａ、１１０ｂのように表すことができる。

ここで、式１１０ｂで用いられている正則化定数Ｋについては、ある程度の大きな値から次第に小さくしていき、物体のエッジ部を撮像した場合に、エッジ部にリンギングが出ないように決定すればよい。すなわち、図１１に例示したように、物体のエッジ部を撮像した場合に、観測されるオーバーシュートやアンダーシュートの大きさが所定の閾値以下となるように決定すればよい。正則化定数Ｋを決定する際の閾値は、求める画像精度に応じて適宜設定すればよい。

また、式１１０ａ及び式１１０ｂで用いられている正規化係数Ａについては、以下の式１１１で表される関係式が満たされるように決定すればよい。

○デコンボリューション処理で利用する点広がり関数ＰＳＦの範囲について
図９及び図１０に例示したように、本実施形態に係るデコンボリューション処理で利用するＰＳＦは、着目している撮像データの大きさで規定される領域の一部分にのみ値を有するものである。従って、ＰＳＦを利用する際に、着目する全ての領域に対してデコンボリューション処理を行っても良いが、有意な領域に対してのみデコンボリューション処理を実施することで、処理に要する演算リソースや演算時間等を削減することが可能となる。

例えば、処理に利用するＰＳＦを、各種のシミュレーションやモデルに基づいて決定する場合には、以下のようにして処理に利用するＰＳＦの範囲を制限することができる。すなわち、図９や図１０に例示したようなＰＳＦにおいて、原点でのＰＳＦのピーク値に対して、ＴＤＩカメラ１１１のＡＤ変換ビット数で決まるダイナミックレンジ以下までＰＳＦサイズ（すなわち積分範囲）を大きく取るのは意味が無い。従って、例えばＡＤ変換ビット数が８ｂｉｔである場合には、図１２Ａに例示したように、ピーク値の１／２５６以下になるところは無視してよい。従って、ＡＤ変換ビット数が８ｂｉｔである場合、ピーク値の１／２５６となるＰＳＦの裾野の広さを、ＰＳＦのサイズの最大値とすることができる。

一方、ＰＳＦのサイズの最小値は、通常撮影での合焦画像とデコンボリューションにより得られる像（デコンボリューション像）との輝度値の偏差の許容値から決めることができる。例えば、通常の合焦画像とデコンボリューション像との輝度値の偏差を８ビット画像で１０まで許容するのであれば、ＰＳＦのサイズがピーク値の１０／２５６のところまで小さくしてもよい。

また、処理に利用するＰＳＦを実測することで決定する場合には、例えば図１２Ｂに例示したように、点像を撮影して得られたＰＳＦ画像のうちノイズレベルより上となる値を有している部分で閾値を設けて、この閾値よりも大きな値となる部分を、デコンボリューション処理に利用するＰＳＦのサイズとすればよい。ここで、上記のノイズレベルは適宜設定すればよいが、例えば、信号が存在しないときの計測値をノイズレベルとして用いればよい。

○デコンボリューション処理の詳細について
次に、以上説明したようなＰＳＦを利用したデータ処理部１５５におけるデコンボリューション処理について説明する。
先だって説明したように、撮像部１０１により生成された撮像データに対応する画像は、本来撮像されるはずの像に対して、ボケ関数として機能するＰＳＦがコンボリュートされたものと捉えることができる。従って、撮像データとＰＳＦに対応するデータとをデコンボリューションすることで、最終的に生成したい画像である、被写界深度が拡張された画像（ＥＤＯＦ画像）を得ることができる。

データ処理部１５５は、撮像データとＰＳＦとのデコンボリューション処理を、空間領域において実施してもよいし、フーリエ変換を利用して周波数領域において実施してもよい。ここで、空間領域でのデコンボリューション処理は、上記２つのデータを利用して積分を行うという演算処理になるため、演算負荷や演算時間を要する処理となる。一方で、フーリエ変換により空間領域での処理を周波数領域での処理に変換することで、空間領域における積分処理が周波数領域での除算処理となり、演算負荷や演算時間の削減を図ることが可能となる。

以下の説明では、周波数領域におけるデコンボリューション処理を例に挙げて、データ処理部１５５におけるデコンボリューション処理について、詳細に説明する。

いま、撮像部１０１により生成され、データ取得部１５３から出力される撮像データ（空間領域における撮像データ、すなわち、撮像データの位置座標（ｘ，ｙ）における画素の輝度値）を、Ｉ（ｘ，ｙ）と表すこととし、点広がり関数（空間領域における点広がり関数）を、ＰＳＦ（ｘ，ｙ）と表すこととする。また、デコンボリューション処理により得られる画像（空間領域におけるＥＤＯＦ画像データ）を、Ｊ（ｘ，ｙ）と表すこととする。

データ処理部１５５は、データ取得部１５３から撮像データＩ（ｘ，ｙ）が伝送されると、記憶部１６１等にデータベースなどの形で保持されているＰＳＦ（ｘ，ｙ）を取得する。次に、データ処理部１５５は、撮像データＩ（ｘ，ｙ）及びＰＳＦ（ｘ，ｙ）をそれぞれフーリエ変換（より詳細には、高速フーリエ変換）して、周波数領域の撮像データＩ_ＦＦＴ（ｋｘ，ｋｙ）と、周波数領域の点広がり関数であるＰＳＦ_ＦＦＴ（ｋｘ，ｋｙ）と、を算出する。

上記のように、周波数領域でのデコンボリューションは、２つのデータの除算処理となる。従って、データ処理部１５５は、フーリエ変換により得られた２つのデータを利用して、周波数領域でのＥＤＯＦ画像データＪ_ＦＦＴ（ｋｘ，ｋｙ）を、以下の式１２１により算出する。

上記式１２１の形からも明らかなように、周波数領域でのデコンボリューション処理は、Ｉ_ＦＦＴ（ｋｘ，ｋｙ）に対して、逆フィルタ演算１／ＰＳＦ_ＦＦＴ（ｋｘ，ｋｙ）を実施する処理であるともいえる。

次に、データ処理部１５５は、算出したＪ_ＦＦＴ（ｋｘ，ｋｙ）を逆フーリエ変換（より詳細には、逆高速フーリエ変換）して、空間領域でのＥＤＯＦ画像データＪ（ｘ，ｙ）を算出する。これにより、データ処理部１５５は、被写界深度の拡張された最終画像を得ることができる。

なお、以上の説明では、逆フィルタ１／ＰＳＦ_ＦＦＴ（ｋｘ，ｋｙ）を利用して、最終画像を得る処理について説明したが、処理対象となる撮像データＩ（ｘ，ｙ）に対して、無視できないほどのノイズが重畳している場合も生じうる。この場合には、逆フィルタ１／ＰＳＦ_ＦＦＴ（ｋｘ，ｋｙ）に替えて、公知の有限インパルス応答（Ｆｉｎｉｔｅｉｍｐｕｌｓｅｒｅｓｐｏｎｓｅ：ＦＩＲ）フィルタ等を利用して、ノイズを除去しつつ最終画像を算出するようにしてもよい。このようなフィルタは特に限定されるものではないが、例えば、ウィーナー（Ｗｉｅｎｅｒ）フィルタ等を利用することが可能である。

また、ＰＳＦを陽に与えず、いわゆるブラインド・デコンボリューション（ＢｌｉｎｄＤｅｃｏｎｖｏｌｕｔｉｏｎ）により、デコンボリューション処理を行うことも可能である。この場合は、演算手法として、例えば、上記非特許文献３に記載の、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法等の公知の方法を用いればよい。

以上、図９〜図１２Ｂを参照しながら、データ処理部１５５におけるデコンボリューション処理について、詳細に説明した。

以上、本実施形態に係る演算処理部の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係る演算処理部の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

＜撮像方法の流れについて＞
続いて、図１３を参照しながら、本実施形態に係る撮像装置１０で実施される撮像方法の流れの一例について、簡単に説明する。図１３は、本実施形態に係る撮像方法の流れの一例を示した流れ図である。

まず、撮像装置１０による一連の撮像処理に先立って、撮像部１０１のチルトレンズ１１５のチルト角及び撮像角度が、撮像対象物の撮像条件等に応じて設定される（ステップＳ１０１）。チルト角及び撮像角度が撮像対象物の撮像に適した値に設定されると、演算処理部１０３の撮像制御部１５１による制御のもとで、撮像部１０１による撮像対象物の撮像処理が開始される。

撮像装置１０の撮像部１０１は、搬送ライン上などを所定の方向に搬送されている撮像対象物を撮像して撮像データを生成し、生成した撮像データを演算処理部１０３に出力する（ステップＳ１０３）。

演算処理部１０３のデータ取得部１５３は、撮像部１０１から出力された撮像データを取得すると、取得した撮像データをデータ処理部１５５に出力する。

データ処理部１５５は、データ取得部１５３から出力された撮像データと、点広がり関数ＰＳＦとを利用して、上記のようなデコンボリューション処理を実施し（ステップＳ１０５）、被写界深度が拡張された画像（ＥＤＯＦ画像）を生成する。生成されたＥＤＯＦ画像は、処理結果出力部１５７に出力される。

処理結果出力部１５７は、データ処理部１５５から出力された画像（ＥＤＯＦ画像）に対応するデータを、ユーザや外部に設けられた各種の機器に出力する（ステップＳ１０７）。これにより、ユーザは、撮像対象物に関するＥＤＯＦ画像を把握することが可能となる。

以上、図１３を参照しながら、本実施形態に係る撮像装置１０で実施される撮像方法の流れの一例について、簡単に説明した。

（ハードウェア構成について）
次に、図１４を参照しながら、本発明の実施形態に係る演算処理部１０３のハードウェア構成の一例について、詳細に説明する。図１４は、本発明の実施形態に係る演算処理部１０３のハードウェア構成の一例を説明するためのブロック図である。

演算処理部１０３は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、演算処理部１０３は、更に、バス９０７と、入力装置９０９と、出力装置９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２１に記録された各種プログラムに従って、撮像装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。

バス９０７は、ブリッジを介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バスに接続されている。

入力装置９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９０９は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、撮像装置１０の操作に対応したＰＤＡ等の外部接続機器９２３であってもよい。さらに、入力装置９０９は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。撮像装置１０のユーザは、この入力装置９０９を操作することにより、撮像装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１１は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１１は、例えば、撮像装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、撮像装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１３は、演算処理部１０３の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１３は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９１５は、記録媒体用リーダライタであり、撮像装置１０に内蔵、あるいは外付けされる。ドライブ９１５は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２１に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２１に記録を書き込むことも可能である。リムーバブル記録媒体９２１は、例えば、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２１は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（ＳｅｃｕｒｅＤｉｇｉｔａｌｍｅｍｏｒｙｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２１は、例えば、非接触型ＩＣチップを搭載したＩＣカード（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔｃａｒｄ）または電子機器等であってもよい。

接続ポート９１７は、機器を撮像装置１０に直接接続するためのポートである。接続ポート９１７の一例として、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅ）ポート、ＲＳ−２３２Ｃポート等がある。この接続ポート９１７に外部接続機器９２３を接続することで、撮像装置１０は、外部接続機器９２３から直接各種のデータを取得したり、外部接続機器９２３に各種のデータを提供したりする。

通信装置９１９は、例えば、通信網９２５に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２５は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。

以上、本発明の実施形態に係る演算処理部１０３の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

（まとめ）
以上説明したように、本発明の実施形態に係る撮像装置及び撮像方法では、ＴＤＩカメラの撮像素子の受光面が水平となっているため、視野全体にわたってＥＤＯＦ効果を得ることが可能となる。また、本発明の実施形態に係る撮像装置及び撮像方法では、露出中に撮像素子を可動させるための可動機構等といった可動部分が無く、装置そのものの信頼性が高い。また、本発明の実施形態に係る撮像装置及び撮像方法では、一般的に用いられるＴＤＩカメラと同じ処理速度で撮像が可能であるため、高速な撮像処理が可能となる。更に、本発明の実施形態に係る撮像装置及び撮像方法では、ＥＤＯＦ効果を得るために特殊な位相板を必要とせず、安価なシステムの構築が可能となる。

続いて、具体例を示しながら、本発明の実施形態に係る撮像装置及び撮像方法について、具体的に説明を行う。ここで、以下に示す実験例は、本発明の実施形態に係る撮像装置及び撮像方法のあくまでも一例であって、本発明の実施形態に係る撮像装置及び撮像方法が、以下に示す実験例に限定されるものではない。

（実験例１）
実験例１では、本発明の実施形態に係る撮像装置を利用して２種類の物体を撮像し、被写界深度拡張効果が得られているか否かについて、検証を行った。

なお、撮像部１０１として、焦点距離ｆ＝８５ｍｍ、Ｆ値＝２．８のチルトレンズを利用し、チルト角を８．５°に設定し、撮像倍率を０．５倍に設定した。また、ＴＤＩカメラの撮像素子は、幅方向１３４４画素×積分方向１０２４画素であり、画素サイズが６．３５μｍであった。以下に示す実験例では、撮像角度βは、図７の中段に示したような状態となる８．５°とした。

また、デコンボリューション処理に利用するＰＳＦとして、円柱モデルを用いて規定したＰＳＦを利用した。ここで、かかるＰＳＦにおいて、正規化定数Ａ＝５とし、正則化定数Ｋ＝２２．５とした。

また、上記の撮像装置を利用し、チルト角を０°に設定して一般的なＴＤＩカメラと同様の光学系とすることで同様に撮像を行い、比較例とした。

図１５は、半導体基板上に実装されたＩＣチップを撮像した例を示している。図面中央部分に位置しているＩＣチップの表面は、半導体基板上に約２ｍｍ程度の高さにある。

図１５左側に示した本発明例の撮像画像では、ＩＣチップの表面に印字されている文字と、半導体基板上に印字されている文字の双方にピントが合っており、双方の文字を明確に把握することが可能であることがわかる。一方で、比較例の撮像画像では、半導体基板上の文字にはピントが合っているものの、ＩＣチップの表面に印字されている文字にはピントが合っていないことがわかる。このように、本発明の実施形態に係る撮像装置を利用することで、被写界深度の拡張された画像を得ることが可能となる。

図１６Ａ及び図１６Ｂは、φ２０ｍｍの棒鋼に目印となるテープを巻き付けた上で、テープと棒鋼との境界部分を撮像した例を示している。図１６Ａにおいて左側の列に記載された画像群が本発明例の撮像画像に対応し、右側の列に記載された画像群が比較例の撮像画像に対応している。

図１６Ａに示した撮像処理では、棒鋼を寝かせて側面方向から撮像し、湾曲している側面の頂点にピントを合わせている。本発明例の撮像画像と比較例の撮像画像とを比較すると、比較例の撮像画像では、画像の左端及び右端で画像がぼやけているのに対し、本発明例に係る撮像画像では、画像の左端及び右端での画像のぼやけが少ないことがわかる。

図１６Ｂは、図１６Ａに示したシェーディング補正画像の棒鋼部分での輝度値の分布の状態を示したものである。図１６Ｂから明らかなように、本発明例では、画像の左端及び右端においても高周波成分を有しているが、比較例では、画像の左端及び右端では高周波成分が減衰していることがわかる。この結果からも、本発明の実施形態に係る撮像装置を利用することで、被写界深度の拡張された画像を得ることができることがわかる。

（実験例２）
実験例２では、円柱モデルによる幾何光学シミュレーションを利用して、上記特許文献１及び非特許文献１に記載の手法と、本発明の実施形態に係る撮像装置及び撮像方法との比較を行った。シミュレーション条件は、以下の通りである。

○共通する条件
撮像素子：幅方向８１９２画素×積分段数２５６段、素子サイズ７μｍ
撮像レンズ：焦点距離ｆ＝５０ｍｍ、Ｆ値＝１．４
撮像倍率：１：１
○本発明例
撮像素子の受光面が水平となる条件とし、撮像レンズのチルト角を２０°とした。
○比較例
チルト角を０°とし、撮像素子が水平面に対して２０°傾斜した条件とした。

以上のような条件で、視野の中心に存在する点像を撮像した場合について、視野の中央部分と視野の端部でのＰＳＦと、ＭＴＦ（ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ：変調伝達関数、周波数領域における応答関数に対応する。）と、をそれぞれ算出した。

得られた結果を、図１７及び図１８に示す。
なお、図１７及び図１８において、図中の左側の列に示した一連のグラフが本発明例に対応しており、右側の列に示した一連のグラフが比較例に対応している。また、ＰＳＦの幅方向及び積分方向の単位は、画素であり、ＭＴＦの幅方向及び積分方向の単位は、ナイキスト周波数である。

まず、図１７に示した、視野の中央部分でのシミュレーション結果に着目する。
本発明例に係るＰＳＦ及びＭＴＦは、水平な面上に鋭いピークを示す値が得られており、下段に示したＭＴＦの断面でも、積分方向と幅方向とで、異方性が無いことがわかる。一方、比較例に係るＭＴＦを見ると、本来水平面となるべき部分が波打っており、ＭＴＦの断面でも、幅方向と積分方向とで、関数の特性が異なっていることがわかる。これは、撮像素子の受光面が傾斜することによって、本来円形となるべきボケ像が、楕円形となるため、幅方向と積分方向とで解像力が変わってしまうためである。

次に、図１８に示した、視野の端部でのシミュレーション結果に着目する。
図１８から明らかなように、本発明例に係るＰＳＦ及びＭＴＦは、視野の中央部分と同様の形状を有しており、下段に示したＭＴＦの断面でも、積分方向と幅方向とで、異方性が無いことがわかる。一方、比較例に係るＰＳＦ及びＭＴＦを見ると、視野の中央部分とは大きく異なる形状を有しており、特に、ＭＴＦでは、本来水平面となるべき部分が大きく波打っており、ＭＴＦの断面でも、幅方向と積分方向とで、関数の特性が大きく異なっていることがわかる。

このような比較例でのシミュレーション結果は、図１９を参照しながら、以下のように説明することができる。
すなわち、比較例に対応する条件では、視野の中央部分では、ＴＤＩカメラによる積分方向と像の移動方向がほぼ一致しているため、本来のＰＳＦの形状を得ることができる。一方、視野の端部では、図１９上段に示したように、ＴＤＩカメラによる積分方向と像の移動方向がズレてしまうため、各瞬間でのＰＳＦを合成することで最終的に得られるＰＳＦの形状は、図１９右側に示したように、方向のズレを反映したものとなってしまう。そのため、比較例に対応する条件では、視野の中心部分でしかＥＤＯＦ効果を得ることができない。

この結果からも明らかなように、本発明の実施形態に係る撮像装置及び撮像方法では、視野全体にわたるＥＤＯＦ効果を、より簡便に得ることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０撮像装置
１０１撮像部
１０３演算処理部
１１１遅延積分型の撮像機器（ＴＤＩカメラ）
１１３撮像素子
１１５チルトレンズ
１１７照明光源
１５１撮像制御部
１５３データ取得部
１５５データ処理部
１５７処理結果出力部
１５９表示制御部
１６１記憶部

Claims

チルトレンズが装着された遅延積分型の撮像機器を有し、所定の搬送方向に搬送される撮像対象物からの光を撮像する撮像部と、
前記撮像部により撮像された撮像データに対してデコンボリューション処理を施すデータ処理部と、
を備え、
前記撮像機器の受光面及びデータシフト方向は、前記撮像対象物の前記搬送方向に対して平行であり、
前記チルトレンズの傾動軸は、前記撮像機器の前記受光面に対して平行であり、かつ、前記撮像対象物の前記搬送方向に対して直交しており、
前記撮像機器におけるデータシフト速度が前記受光面における像の移動速度と一致するように設定される
ことを特徴とする、撮像装置。
撮像する前記撮像対象物における撮像面の法線方向に対応する奥行き範囲を、前記チルトレンズの焦点距離及びチルト角、前記チルトレンズから前記受光面までの距離並びに前記受光面の搬送方向の大きさに基づきシャインプルーフ条件により決まる前方側合焦可能範囲及び後方側合焦可能範囲で規定される被写界深度よりも狭くなるように制限して用いる
ことを特徴とする、請求項１に記載の撮像装置。
前記奥行き範囲を、前記被写界深度の１／２以下となるように制限して用いる
ことを特徴とする、請求項２に記載の撮像装置。
前記チルトレンズのチルト角を変更することで前記被写界深度を設定し、
前記チルトレンズ又は前記受光面の少なくとも何れかを前記搬送方向に対して平行にシフトさせることで、前記撮像面の法線と前記チルトレンズの主光軸とのなす角度である撮像角度を所定の値に設定する
ことを特徴とする、請求項２又は３に記載の撮像装置。
前記撮像部による撮像処理を制御する撮像制御部を更に備え、
前記撮像部は、前記撮像対象物における撮像面に対して照明光を照射する照明光源を更に有しており、
前記撮像対象物の搬送速度が変化する場合、前記撮像制御部は、照明光の強度が前記搬送速度に比例するように前記照明光源を制御する
ことを特徴とする、請求項１〜４の何れか１項に記載の撮像装置。
前記データ処理部は、
前記撮像データと点広がり関数とに基づいてデコンボリューション処理を行い、
前記点広がり関数として、予め実測された点広がり関数、シミュレーションにより得られた点広がり関数、又は、所定のモデルを用いて規定された点広がり関数の何れかを利用する
ことを特徴とする、請求項１〜５の何れか１項に記載の撮像装置。
前記データ処理部は、半径ゼロの位置で強度が所定の定数となり、かつ、半径ゼロ以外の位置で半径に反比例する強度分布を持つようにした前記点広がり関数を利用する
ことを特徴とする、請求項６に記載の撮像装置。
前記所定の定数は、前記撮像対象物のエッジ部におけるリンギングが所定の閾値以下となるように設定される
ことを特徴とする、請求項７に記載の撮像装置。
チルトレンズが装着された遅延積分型の撮像機器により、所定の搬送方向に搬送される撮像対象物からの光を撮像する撮像ステップと、
前記撮像ステップにて撮像された撮像データに対してデコンボリューション処理を施すデータ処理ステップと、
を含み、
前記撮像ステップでは、前記撮像機器の受光面及びデータシフト方向を、前記撮像対象物の前記搬送方向に対して平行とし、前記チルトレンズの傾動軸を、前記撮像機器の前記受光面に対して平行であり、かつ、前記撮像対象物の前記搬送方向に対して直交するようにし、前記撮像機器におけるデータシフト速度が、前記受光面における像の移動速度と一致するように設定される
ことを特徴とする、撮像方法。