以下、図面を参照しながら、本発明の実施の形態について説明する。
図1は、本発明の実施の形態における撮影システムの構成の一例を示すブロック図である。図1に図示されている撮影システムは、偏光を用いて撮影を行う撮影系と、撮影系の動作を制御する撮影制御系と、撮影系における撮影によって得られた画像データの処理を行う画像処理系とに大別される。以下、撮影系、撮影制御系、画像処理系の各構成について順に説明する。
偏光を用いて撮影を行う撮影系は、透過照明用光源101、光源側光学素子102、回転テーブル103、反射照明用光源104、カメラ側光学素子105、カメラ106により構成される。
撮影系では、透過照明用光源101から発せられた光がカメラ106に到達する経路(図1に示す光の経路L1)上に、光源側光学素子102、回転テーブル103上の被写体10(偏光観察を行う対象となる物体)、カメラ側光学素子105がこの順で配置される。なお、後述するように、被写体10が回転テーブル103上に載置されない状態とすることも可能である。
なお、光源側光学素子102、回転テーブル103上の被写体10、カメラ側光学素子105は、透過照明用光源101から発せられた光がカメラ106に到達する経路上に配置されればよい。光の方向は、水平方向(重力方向に対して垂直な方向)であってもよく、重力方向又は重力と逆向きの方向であってもよく、さらには、重力方向に対して任意の角度方向であってもよい。
以下では、透過照明用光源101から発せられた光がカメラ106に到達する経路を光軸と呼ぶことがある。なお、光軸は、ある広がりを持って伝搬される光束の一部が通る経路を表しており、例えば、光束の断面の幾何学的な中心部が通る経路に限定されるものではない。
透過照明用光源101は、カメラ106の方向(光軸方向)に向けて光を発する光源である。透過照明用光源101は、例えばRGB(赤、緑、青)の各色の可視光をそれぞれ発するLED(Light Emission Diode:発光ダイオード)パネルが配列されており、RGBの各色の発光強度を制御することで、RGBの単色光だけではなく、任意のフルカラーの色の光を発することが可能である。また、LEDパネルを並べることで大型の面発光照明を構成可能であることから、透過照明用光源101として、例えば384mm×384mmの大型サイズで面発光する照明を実現することが可能である。透過照明用光源101を大型化することで、数十センチメートル程度の比較的大きな被写体10を偏光観察の対象とすることが可能となる。後述のように、透過照明用光源101の点灯/消灯や発光パターンは、撮影制御系の透過照明用光源制御部201によって制御可能である。
透過照明用光源101は、被写体10を偏光観察する際に用いられる光源であり、カメラ106から被写体10を見た場合に逆光(バックライト)となる位置に配置される透過照明としての役割を有する。
なお、透過照明用光源101は、可視光を発する光源に限定されるものではなく、用途に応じて、例えば赤外光や紫外光を発する光源であってもよい。特に、被写体10が可視光を通しにくい半透明や色付きの材料である場合に、透過照明用光源101として赤外光を発する光源を用いることが有効である。
光源側光学素子102は、偏光子102a、QWP(Quarter Wavelength Plate:1/4波長板)102bを有する光学素子であり、光軸方向に向かって偏光子102a、QWP102bの順に配置される。偏光子102a及びQWP102bは、偏光子102a及びQWP102bが例えばフィルム状の部材である場合には、フィルム状の面の法線の方向が光軸方向と略一致するように配置される。偏光子102aは、例えば直線偏光素子であり、透過軸方位を所望の角度へ回転させることが可能である。QWP102bは、直線偏光を円偏光とする1/4波長板であり、主軸方位を所望の角度へ回転させることが可能である。後述のように、偏光子102aの透過軸方位やQWP102bの主軸方位は、撮影制御系の光源側光学素子制御部202によって制御可能である。
回転テーブル103は、被写体10を載置するためのテーブル(台座)を有する。例えば光軸が略水平方向である場合、被写体10を載置するためのテーブル面は、略水平となるよう配置される。回転テーブル103に載置された被写体10は、透過照明用光源101からカメラ106を結ぶ光軸上に配置される。これにより、透過照明用光源101から発せられた光は、光源側光学素子102を透過した後、被写体10を透過し、さらに、カメラ側光学素子105を透過して、カメラ106に到達するように位置決めされるため、カメラ106から、2つの光学素子102、105に挟まれた被写体10を透過する偏光の様子を観察することが可能となる。また、回転テーブル103はモータを搭載し、光軸に対して垂直な方向を回転軸としてテーブルを回転させることが可能なよう構成されている。これにより、回転テーブル103を所望の角度となるよう回転させることで、回転テーブルに載置された被写体10の向きを所望の向きとすることが可能である。
なお、後述するキャリブレーション撮影時などのように、回転テーブル103に被写体10を載置しない状態で撮影システムを動作させることも可能である。後述のように、回転テーブル103に搭載されているモータは、撮影制御系の回転テーブル制御部203によって制御可能である。
さらに、複数の被写体10の偏光観察を同時に行えるように、複数の回転テーブル103を設けてもよい。例えば、2つの回転テーブル103を横に(すなわち、光軸に対して垂直な方向に)並べて設置し、それぞれの回転テーブル103に異なる被写体10を載置することで、異なる被写体10の偏光観察を同時に行うことが可能となる。この場合、複数の回転テーブル103が同期して回転できる構成としてもよく、それぞれ独立して回転できる構成としてもよい。
本明細書では、光軸上に被写体10を配置し、かつ、光軸に対する被写体10の向きを変更する装置(回転装置)として、テーブル(台座)で被写体10を支えるよう構成された回転テーブル103を用いる場合について説明している。しかしながら、回転装置は、光軸上に被写体10を配置でき、かつ、光軸に対する被写体10の向きを変更できる構成であればよく、回転テーブル103に限定されるものではない。回転装置は、例えば、被写体10を把持したり、針状部材を突き刺して被写体10を固定したりすることで、光軸上に被写体10を配置し、かつ、光軸に対する被写体10の向きを変更するよう構成されていてもよい。また、回転装置は、上述した複数の回転テーブル103を設ける場合と同様に、光軸上に複数の被写体10を配置し、光軸に対して各被写体10の向きを同期して又はそれぞれ独立して変更できるよう構成されていてもよい。
反射照明用光源104は、カメラ106側から被写体10に照明(順光)を当てるための光源であり、反射照明の役割を有する。反射照明用光源104は、カメラ106による撮影の邪魔にならないようにカメラ106による撮影範囲外に設けられ、例えば、被写体10に対して均一に照明を当てることが可能なリング形状(光軸と重ならないよう、光軸の円周方向に沿って光源が配列された形状)を有する。反射照明用光源104から発せられた光は、被写体10に反射してカメラ106に到達する(図1に示す光の経路L2)。なお、反射照明用光源104は、被写体10の色や形状を明確にするための白色光光源であることが望ましいが、任意の色の可視光光源、赤外光光源、紫外光光源などであってもよい。後述のように、反射照明用光源104の点灯/消灯は、撮影制御系の反射照明用光源制御部204によって制御可能である。
カメラ側光学素子105は、QWP105a、偏光子105bを有する光学素子である。QWP105a及び偏光子105bはフィルム状の部材であり、フィルム状の面の法線の方向が光軸方向と略一致するように、光軸方向に向かってQWP105a、偏光子105bの順に配置される。QWP105aは、直線偏光を円偏光とする1/4波長板であり、主軸方位を所望の角度へ回転させることが可能である。偏光子105bは、例えば直線偏光素子であり、透過軸方位を所望の角度へ回転させることが可能である。後述のように、QWP105aの主軸方位や偏光子105bの透過軸方位は、撮影制御系のカメラ側光学素子制御部205によって制御可能である。
カメラ106は、所定の撮影範囲を撮影する撮影装置であり、市販の一眼レフデジタルカメラを利用することが可能である。カメラ106は、カメラ側光学素子105を透過した光が入射される場所に設置され、カメラ側光学素子105を透過した光を受光して電気信号に変換する機能や、所定のシャッタータイミングにおいて得られた電気信号を画像データとして出力する写真撮影機能などを有している。カメラ106による写真撮影で得られた画像データは、記憶装置400に記憶される。なお、例えば透過照明用光源101が赤外光や紫外光を発する光源の場合には、カメラ106は、透過照明用光源101で用いられる光に対応していることが望ましい。後述のように、カメラ106による写真撮影は、撮影制御系のカメラ制御部206によって制御可能である。
また、カメラ106は、XYZ軸方向の回転や移動などの微調整ができる雲台にセットされる。さらに、雲台は前後に自由に移動可能なスライダーと呼ばれる台に乗っており、小さい/大きい被写体10を撮影する際に、被写体10に対して近づける/遠ざけることが可能なように構成されている。
なお、カメラ106による撮影時には、外部からの光を遮断して、被写体10の偏光観察を行うために充分な暗さを確保することが望ましく、例えば、撮影系の各機器(透過照明用光源101、光源側光学素子102、回転テーブル103、反射照明用光源104、カメラ側光学素子105、カメラ106)は、暗室内に設置されることが望ましい。
一方、撮影系の動作を制御する撮影制御系は、撮影制御装置200、PC(Personal Computer:パーソナルコンピュータ)300により構成される。
撮影制御装置200は、撮影系の各機器及びPC300に接続されている。撮影制御装置200は、マイコンボードを搭載し、撮影系の各機器の動作を集中制御することが可能である。具体的には、撮影制御装置200は、撮影系の各機器の動作を制御するために、透過照明用光源制御部201、光源側光学素子制御部202、回転テーブル制御部203、反射照明用光源制御部204、カメラ側光学素子制御部205、カメラ制御部206を有する。
透過照明用光源制御部201は、透過照明用光源101に係る動作を制御する機能を表している。透過照明用光源制御部201は、透過照明用光源101の点灯/消灯の制御、透過照明用光源101の発光色の制御(RGBの各色の可視光を発する各LEDパネルの光量制御)などを行うことが可能である。一例として、透過照明用光源制御部201は、透過照明用光源101をRGB発光させる場合、透過照明用光源101をRのみ発光(既知の波長を有する赤色光のみ発光)させる場合、透過照明用光源101を消灯させる場合の3パターンの異なる状態を制御することが可能である。
光源側光学素子制御部202は、光源側光学素子102に係る動作を制御する機能を表している。光源側光学素子102は、上述のように偏光子102aとQWP102bによって構成されており、光源側光学素子制御部202は、偏光子102aの透過軸方位、QWP102bの主軸方位をそれぞれ個別に変更することが可能である。また、光源側光学素子制御部202は、偏光子102aやQWP102bの有無(偏光子102aやQWP102bを配置する場合と配置しない場合)を制御することも可能である。
光源側光学素子制御部202は、光源側光学素子102を通る光を所望の偏光状態(複数の偏光状態)とするよう光源側光学素子102に係る設定を変更できればよく、所望の偏光状態を得るための構成や、所望の偏光状態のパターン数は、特に限定されない。一例として、偏光子102aを所定の透過軸方位(例えば45°)に固定するとともに、QWP102bを第1の主軸方位(例えば0°)、第2の主軸方位(例えば90°)、さらには、QWP102bを配置しない状態の3パターンとすることが可能である。この場合、例えば、第1の主軸方位のQWP102bと、第2の主軸方位のQWP102bとを用意し、光軸上に第1の主軸方位のQWP102bを配置する状態、光軸上に第2の主軸方位のQWP102bを配置する状態、光軸上にQWP102bを配置しない状態を機械的に切り替える機構を設ければよい。このとき、光源側光学素子制御部202は、QWP102bを機械的に切り替える切替駆動部を制御してQWP102bの配置を変更することで、光源側光学素子102を通る光について3パターンの異なる偏光状態を実現することが可能である。
なお、ここでは、QWP102bについて、主軸方位の異なる複数のQWP102bを用意して機械的に切り替える機構としているが、光軸方向を回転軸としてQWP102bを回転させる機構としてもよい。
回転テーブル制御部203は、回転テーブル103に係る動作を制御する機能を表している。回転テーブル制御部203は、回転テーブル103を回転させるモータを制御して、回転テーブル103が所望の角度となるよう回転させることで、回転テーブル103上に載置された被写体10がカメラ106に対して所望の向きとなるよう変更することが可能である。
回転テーブル制御部203は、被写体10がカメラ106に対して所望の向き(複数の向き)となるよう回転テーブル103の角度を変更できればよく、回転テーブル103の角度の数値及び範囲や回転ステップ数は、特に限定されない。一例として、回転テーブル103の角度の範囲を例えば120°とし、回転ステップ数を5(0°、30°、60°、90°、120°の5つの角度)とすることで、被写体10を異なる5方向(5パターンの撮影方向)から撮影することが可能となる。
反射照明用光源制御部204は、反射照明用光源104に係る動作を制御する機能を表している。反射照明用光源制御部204は、反射照明用光源104の点灯/消灯の制御、光量の制御などを行うことが可能である。一例として、反射照明用光源制御部204は、反射照明用光源104を発光させる場合、反射照明用光源104を消灯させる場合の2パターンの異なる状態を制御することが可能である。
カメラ側光学素子制御部205は、カメラ側光学素子105に係る動作を制御する機能を表している。カメラ側光学素子105は、上述のようにQWP105aと偏光子105bによって構成されており、カメラ側光学素子制御部205は、QWP105aの主軸方位、偏光子105bの透過軸方位をそれぞれ個別に変更することが可能である。また、カメラ側光学素子制御部205は、QWP105aや偏光子105bの有無(QWP105aや偏光子105bを配置する場合と配置しない場合)を制御することも可能である。
カメラ側光学素子制御部205は、カメラ側光学素子105を通る光が所望の偏光状態(複数の偏光状態)となるように、カメラ側光学素子105に係る設定を変更できればよく、所望の偏光状態を得るための構成や、所望の偏光状態のパターン数は、特に限定されない。
QWP105aについては、例えば、フィルム状の面の法線の方向が光軸方向と略一致した状態を維持したまま、光軸方向を回転軸としてQWP105aを機械的に回転させる機構を設ければよい。このとき、カメラ側光学素子制御部205は、光軸方向を回転軸としてQWP105aを機械的に回転させる回転駆動部を制御して、QWP105aの主軸方位を所望の角度に設定することが可能である。また、偏光子105bについては、例えば、上述した偏光子102aと同様の切り替え機構を用いて、それぞれ異なる透過軸方位に設定された複数の偏光子105b(及び偏光子105bを配置しない状態)を機械的に切り替える機構を設ければよい。一例として、QWP105aを主軸方位が45°、67.5°、90°、112.5°の4つの角度となる4パターンとし、偏光子105bを透過軸方位が45°、135°の2つの角度及び偏光子105bを配置しない状態の3パターンとすると、これらの組み合わせから、カメラ側光学素子105を通る光について12パターンの異なる偏光状態を実現することが可能である。
なお、ここでは、QWP105aについて、光軸方向を回転軸としてQWP105aを回転させる機構としているが、主軸方位の異なる複数のQWP105aを用意して機械的に切り替える機構としてもよい。また、偏光子105bについて、透過軸方位の異なる複数の偏光子105bを用意して機械的に切り替える機構としているが、光軸方向を回転軸として偏光子105bを回転させる機構としてもよい。
カメラ制御部206は、カメラ106に係る動作を制御する機能を表している。カメラ制御部206は、カメラ106の写真撮影動作、特に、カメラ106に対してシャッターを切るよう指示することで、カメラ106に写真撮影を行わせて画像データを出力させることが可能である。
また、撮影制御装置200は、上記の各制御部を通じて、撮影系の各機器に係る動作をそれぞれ独立して制御するとともに、撮影系の各機器に係る動作を統合的に制御することが可能である。具体的には、撮影制御装置200は、透過照明用光源101、光源側光学素子102、回転テーブル103、反射照明用光源104、カメラ側光学素子105のそれぞれの状態を所定の状態とし、各機器が所定の状態となった時点でカメラ106に撮影を行わせることが可能である。なお、以下では、この一連の動作を撮影ステップと呼ぶ。
さらに、撮影制御装置200は、ある撮影ステップが終了すると、各機器の一部の状態を変更して別の撮影ステップを行うよう制御することが可能である。具体的には、撮影制御装置200は、透過照明用光源101、光源側光学素子102、回転テーブル103、反射照明用光源104、カメラ側光学素子105のいずれか1つ又は複数の機器の状態を変更し、状態が変更された時点でカメラ106に撮影を行わせることが可能である。
撮影制御装置200は、各機器の状態を変更しながら上記のように撮影ステップを繰り返し行うよう制御することで、複数回の撮影ステップを実行させ、その結果、複数回の撮影ステップに対応した複数の画像データを記憶装置400に記憶させることが可能である。
なお、透過照明用光源101、光源側光学素子102、回転テーブル103、反射照明用光源104、カメラ側光学素子105のそれぞれの状態として、上記のように複数のパターンを設定することが可能であり、撮影系全体は、これらの複数のパターンの組み合わせの数だけ異なる状態となり得る。例えば、一例として上述したように、透過照明用光源101が3パターンの状態、光源側光学素子102が3パターンの状態、回転テーブル103が5パターンの状態、反射照明用光源104が2パターンの状態、カメラ側光学素子105が12パターンの状態となり得ると仮定すると、撮影系全体は、これらの複数のパターンの組み合わせの数(3×3×5×2×12=1080通り)の異なる状態となり得る。撮影制御装置200は、上記のすべての組み合わせ、又は、上記の組み合わせの中から選択された一部の所望の組み合わせ(各機器の状態のうちのいくつかの組み合わせのみ)について、撮影ステップを実行するよう制御することが可能である。
また、撮影制御系におけるPC300は、マウスやキーボードなどの入力装置(不図示)や表示装置500と接続されており、撮影制御装置200における処理の設定や指示などを入力するためのGUI(Graphical User Interface:グラフィカルユーザインタフェース)として機能する。PC300は、ユーザによる入力に基づき、撮影制御装置200に対して、撮影パターン(撮影制御装置200による各機器の制御パターン)の設定および指示、撮影開始指示、撮影中止指示などを行うことが可能である。
また、画像処理系は、PC300、記憶装置400、表示装置500により構成される。なお、図1には、撮影制御系と画像処理系において同一のPC300を用いるように図示されているが、異なるPC300が用いられてもよい。
画像処理系におけるPC300は、画像データが記憶された記憶装置400、マウスやキーボードなどの入力装置(不図示)や表示装置500と接続されており、記憶装置400に記憶されている画像データを読み出して、表示装置500上に表示することが可能である。画像処理系におけるPC300は、画像処理機能を有する。PC300は、記憶装置400に記憶されている画像データを読み出して画像加工処理を行い、画像加工処理後の画像データを表示装置500上に表示することが可能である。また、PC300は、記憶装置400に記憶されている画像データに含まれる情報に基づいて、偏光計算を行うことも可能である。画像処理については、後で詳細に説明する。
なお、撮影制御系及び画像処理系のPC300は、汎用のPCを用いることが可能であり、CPU(Central Processing Unit:中央演算処理装置)が、所望の動作を実現するために設計されたソフトウェア(プログラム言語によって記述されたプログラム)を実行することが可能である。また、記憶装置400は、カメラ106による撮影で得られた画像データの記憶や、画像処理系のPC300による画像データの読み出しなどが可能なデータストレージであり、例えば、フラッシュメモリやハードディスクなどの既存の補助記憶装置を用いることが可能である。
次に、本発明の実施の形態における撮影システムの動作の一例について説明する。本発明の実施の形態における撮影システムの動作は、偏光を用いて撮影を行う撮影動作と、撮影系における撮影によって得られた画像データの処理を行う画像処理動作とに大別される。
まず、偏光を用いて撮影を行う撮影動作について説明する。偏光を用いて撮影を行う撮影動作は、被写体10を回転テーブル103に載置しない状態で撮影を行うキャリブレーション撮影と、被写体10を回転テーブル103に載置した状態で撮影を行うサンプル撮影とを含む。
図2は、本発明の実施の形態における撮影システムに係るキャリブレーション撮影時の処理の一例を示すフローチャートである。なお、図2に示す各ステップは、図1の撮影制御装置200によって実行される処理を表している。
図2に示すキャリブレーション撮影に係る処理は、例えばユーザがPC300を用いて撮影開始指示を入力し、PC300から撮影制御装置200に対して撮影開始指示が行われることで開始される。撮影制御装置200は、キャリブレーション撮影における撮影系の各機器の動作が記述されたキャリブレーション撮影パターンパラメータ定義を読み込む(ステップS11)。このキャリブレーション撮影パターンパラメータ定義は、あらかじめプログラムに組み込まれていてもよく、あるいは、ユーザがPC300を用いて設定してもよい。
キャリブレーション撮影は、被写体10を回転テーブル103に載置しない状態で行われる。したがって、後述するサンプル撮影とは異なり、撮影制御装置200は、回転テーブル103の回転駆動制御を行う必要はない。
撮影制御装置200は、キャリブレーション撮影パターンパラメータ定義に基づき、撮影ステップのループ処理を開始する(ステップS12)。撮影ステップのループ処理は、キャリブレーション撮影パターンパラメータ定義に基づくキャリブレーション撮影がすべて終了するまで繰り返される。撮影ステップのループ処理は、キャリブレーション撮影パターンパラメータに従って、透過照明用光源101、光源側光学素子102、反射照明用光源104、カメラ側光学素子105のそれぞれを動作させて特定の状態とする処理(ステップS13)と、透過照明用光源101、光源側光学素子102、反射照明用光源104、カメラ側光学素子105のそれぞれが特定の状態となった時点で、カメラ106による撮影を行う処理(ステップS14)とを含む。
なお、キャリブレーション撮影を途中で中断することも可能であり、撮影制御装置200は、例えばユーザによる撮影中止指示をPC300から受けた場合には、撮影ステップのループ処理を終了する(ステップS15)。
撮影ステップのループ処理は、各機器の動作を制御して各機器の状態を変更する処理と、カメラ106による撮影を行う処理とを含んでいることから、キャリブレーション撮影パターンパラメータ定義に従って各機器の状態が変更されるたびに、カメラ106による撮影が行われることになる。これにより、各機器の状態の組み合わせがそれぞれ異なる複数枚の写真(画像データ)が得られる。
以下、キャリブレーション撮影に係る具体的な一例について、図3を参照しながら説明する。図3は、本発明の実施の形態における撮影システムに係るキャリブレーション撮影の具体的な一例を示す図である。
図3には、キャリブレーション撮影の各撮影ステップにおける各機器の状態が示されている。撮影制御装置200は、例えば、図3に示す撮影ステップ1~10を実現するために、以下のように撮影系の各機器の動作を制御する。撮影ステップ1の前は、透過照明用光源101をRのみ発光させ、偏光子102aの透過軸方位の角度を45°に設定し、QWP102bを光軸上から外し、反射照明用光源104を消灯し、QWP105aの主軸方位を90°とし、偏光子105bの透過軸方位を45°とする。なお、キャリブレーション撮影前にこの状態を設定しておいてもよく、撮影制御装置200が各機器の動作を制御してこの状態を作り出してもよい。撮影制御装置200は、この状態でカメラ106に撮影を行わせる(撮影ステップ1)。撮影ステップ1終了後、撮影制御装置200は、偏光子105bを透過軸方位が135°である偏光子に変更して、カメラ106に撮影を行わせる(撮影ステップ2)。
撮影ステップ2終了後、撮影制御装置200は、QWP102bを主軸方位が90°のQWPに変更し、QWP105aの主軸方位を45°に変更し、偏光子105bを透過軸方位が45°である偏光子に変更して、カメラ106に撮影を行わせる(撮影ステップ3)。撮影ステップ3終了後、撮影制御装置200は、QWP105aの主軸方位を67.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ4)。撮影ステップ4終了後、撮影制御装置200は、QWP105aの主軸方位を90°に変更して、カメラ106に撮影を行わせる(撮影ステップ5)。撮影ステップ5終了後、撮影制御装置200は、QWP105aの主軸方位を112.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ6)。
撮影ステップ6終了後、撮影制御装置200は、QWP102bを主軸方位が0°のQWPに変更し、QWP105aの主軸方位を45°に変更して、カメラ106に撮影を行わせる(撮影ステップ7)。撮影ステップ7終了後、撮影制御装置200は、QWP105aの主軸方位を67.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ8)。撮影ステップ8終了後、撮影制御装置200は、QWP105aの主軸方位を90°に変更して、カメラ106に撮影を行わせる(撮影ステップ9)。撮影ステップ9終了後、撮影制御装置200は、QWP105aの主軸方位を112.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ10)。
以上の撮影ステップ1~10は、キャリブレーション撮影パターンパラメータ定義に従って、連続して(ユーザにとっては自動的に)行われる。また、撮影ステップ1~10では、撮影系全体の状態(各機器の状態の組み合わせ)がそれぞれ異なっており、撮影系全体の条件がそれぞれ異なる10枚の写真(10個の画像データ)が得られる。このとき、各機器の状態と、カメラ106による撮影で得られた画像データとを関連付けておくことが望ましい。なお、キャリブレーション撮影パターンパラメータ定義の形式は、特に限定されるものではなく、例えば、数値や関数などで各機器の状態を指定することが可能である。
また、図4は、本発明の実施の形態における撮影システムに係るサンプル撮影時の処理の一例を示すフローチャートである。なお、図4に示す各ステップは、図1の撮影制御装置200によって実行される処理を表している。
図4に示すサンプル撮影に係る処理は、例えばユーザがPC300を用いて撮影開始指示を入力し、PC300から撮影制御装置200に対して撮影開始指示が行われることで開始される。撮影制御装置200は、サンプル撮影における撮影系の各機器の動作が記述されたサンプル撮影パターンパラメータ定義を読み込む(ステップS21)。このサンプル撮影パターンパラメータ定義は、あらかじめプログラムに組み込まれていてもよく、あるいは、ユーザがPC300を用いて設定してもよい。
サンプル撮影は、被写体10を回転テーブル103に載置した状態で行われる。したがって、上述したキャリブレーション撮影とは異なり、撮影制御装置200は、回転テーブル103の回転駆動制御を行う必要がある。例えばユーザがPC300を用いて回転テーブルのパラメータを入力すると、PC300から撮影制御装置200に対して回転テーブルのパラメータが供給される(ステップS22)。
撮影制御装置200は、サンプル撮影パターンパラメータ定義及び回転テーブルのパラメータに基づき、回転テーブル及び撮影ステップのループ処理を開始する(ステップS23)。回転テーブル及び撮影ステップのループ処理は、サンプル撮影パターンパラメータ定義及び回転テーブルのパラメータに基づくサンプル撮影がすべて終了するまで繰り返される。
回転テーブルのループ処理は、回転テーブルのパラメータに従って回転テーブル103の回転角度(すなわち、被写体10のカメラに対する向き)を特定の角度にする処理(ステップS24)と、撮影ステップのループ処理(ステップS25)とを含む。また、撮影ステップのループ処理は、サンプル撮影パターンパラメータに従って、透過照明用光源101、光源側光学素子102、反射照明用光源104、カメラ側光学素子105のそれぞれを動作させて特定の状態とする処理(ステップS26)と、透過照明用光源101、光源側光学素子102、反射照明用光源104、カメラ側光学素子105のそれぞれが特定の状態となった時点で、カメラ106による撮影を行う処理(ステップS27)とを含む。
なお、サンプル撮影を途中で中断することも可能であり、撮影制御装置200は、例えばユーザによる撮影中止指示をPC300から受けた場合には、撮影ステップのループ処理を終了する(ステップS28)。
回転テーブルのループ処理は、回転テーブルの角度を変更する処理と、撮影ステップのループ処理とを含み、さらに撮影ステップのループ処理は、各機器の動作を制御して各機器の状態を変更する処理と、カメラ106による撮影を行う処理とを含んでいることから、サンプル撮影パターンパラメータ定義及び回転テーブルのパラメータに従って各機器の状態が変更されるたびに、カメラ106による撮影が行われることになる。これにより、各機器の状態の組み合わせがそれぞれ異なる複数枚の写真(画像データ)が得られる。
以下、サンプル撮影に係る具体的な一例について、図5を参照しながら説明する。図5は、本発明の実施の形態における撮影システムに係るサンプル撮影の具体的な一例を示す図である。
図5には、サンプル撮影の各撮影ステップにおける各機器の状態が示されている。撮影制御装置200は、例えば、図5に示す撮影ステップ1~10を実現するために、以下のように撮影系の各機器の動作を制御する。撮影ステップ1の前は、透過照明用光源101をRのみ発光させ、偏光子102aの透過軸方位の角度を45°に設定し、QWP102bの主軸方位を90°に設定し、回転テーブルの回転角度を0°に設定し、反射照明用光源104を消灯し、QWP105aの主軸方位を45°とし、偏光子105bの透過軸方位を45°とする。なお、サンプル撮影前にこの状態を設定しておいてもよく、撮影制御装置200が各機器の動作を制御してこの状態を作り出してもよい。
撮影制御装置200は、この状態でカメラ106に撮影を行わせる(撮影ステップ1)。撮影ステップ1終了後、撮影制御装置200は、QWP105aの主軸方位を67.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ2)。撮影ステップ3終了後、撮影制御装置200は、QWP105aの主軸方位を90°に変更して、カメラ106に撮影を行わせる(撮影ステップ3)。撮影ステップ3終了後、撮影制御装置200は、QWP105aの主軸方位を112.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ4)。
撮影ステップ4終了後、撮影制御装置200は、QWP102bを主軸方位が0°のQWPに変更し、QWP105aの主軸方位を45°に変更して、カメラ106に撮影を行わせる(撮影ステップ5)。撮影ステップ5終了後、撮影制御装置200は、QWP105aの主軸方位を67.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ6)。撮影ステップ6終了後、撮影制御装置200は、QWP105aの主軸方位を90°に変更して、カメラ106に撮影を行わせる(撮影ステップ7)。撮影ステップ7終了後、撮影制御装置200は、QWP105aの主軸方位を112.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ8)。
撮影ステップ8終了後、撮影制御装置200は、透過照明用光源101をRGB発光させ、QWP102bを光軸上から外し、QWP105aの主軸方位を45°に変更し、偏光子105bを透過軸方位が135°である偏光子に変更して、カメラ106に撮影を行わせる(撮影ステップ9)。撮影ステップ9終了後、撮影制御装置200は、QWP105aの主軸方位を67.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ10)。撮影ステップ10終了後、撮影制御装置200は、QWP105aの主軸方位を90°に変更して、カメラ106に撮影を行わせる(撮影ステップ11)。撮影ステップ5終了後、撮影制御装置200は、QWP105aの主軸方位を112.5°に変更して、カメラ106に撮影を行わせる(撮影ステップ12)。
撮影ステップ12終了後、撮影制御装置200は、偏光子105bを光軸上から外して、カメラ106に撮影を行わせる(撮影ステップ13)。撮影ステップ13終了後、撮影制御装置200は、反射照明用光源104を点灯して、カメラ106に撮影を行わせる(撮影ステップ14)。撮影ステップ14終了後、撮影制御装置200は、透過照明用光源を消灯して、カメラ106に撮影を行わせる(撮影ステップ15)。以上の撮影ステップ1~15では、カメラ106及び被写体10は固定されており、各撮影ステップ1~15で撮影された画像内における被写体10は、同一の位置(同一のピクセル)に写っている。
撮影ステップ15終了後、撮影制御装置200は、回転テーブルの回転角度を30°に設定し、その他の条件を撮影ステップ1~15と同一にしてカメラ106に撮影を行わせる(撮影ステップ16~30)。撮影ステップ30終了後、撮影制御装置200は、回転テーブルの回転角度を60°に設定し、その他の条件を撮影ステップ1~15と同一にしてカメラ106に撮影を行わせる(撮影ステップ31~45)。撮影ステップ45終了後、撮影制御装置200は、回転テーブルの回転角度を90°に設定し、その他の条件を撮影ステップ1~15と同一にしてカメラ106に撮影を行わせる(撮影ステップ46~60)。撮影ステップ60終了後、撮影制御装置200は、回転テーブルの回転角度を120°に設定し、その他の条件を撮影ステップ1~15と同一にしてカメラ106に撮影を行わせる(撮影ステップ61~75)。
以上の撮影ステップ1~75は、サンプル撮影パターンパラメータ定義及び回転テーブルのパラメータに従って、連続した処理として(ユーザにとっては自動的に)行われる。また、撮影ステップ1~75では、撮影系全体の状態(各機器の状態の組み合わせ)がそれぞれ異なっており、撮影系の条件が全体としてそれぞれ異なる75枚の写真(75個の画像データ)が得られる。このとき、各機器の状態と、カメラ106による撮影で得られた画像データとを関連付けておくことが望ましい。なお、サンプル撮影パターンパラメータ定義の形式は、キャリブレーション撮影パターンパラメータ定義と同様に、特に限定されるものではなく、例えば、数値や関数などで各機器の状態を指定することが可能である。
次に、撮影系における撮影によって得られた画像データに係る画像処理について説明する。図6は、本発明の実施の形態における撮影システムによって得られる画像データの用途の一例を模式的に示す図である。
本発明の実施の形態における撮影システムは、上述のように、撮影系全体の状態がそれぞれ異なる大量の写真(画像データ)を得ることが可能である。特に、光軸上に配置された光源側光学素子102及びカメラ側光学素子105の条件を変更することで、様々な偏光状態を作り出せることから、様々な偏光状態において異なる見え方をする被写体10の写真を大量に得ることができる。具体的には、本発明の実施の形態における撮影システムによって、キャリブレーション用画像(例えば、図3の撮影ステップ1~10で取得可能)、偏光計算用画像(例えば、図5の撮影ステップ1~8で取得可能)、偏光可視化画像(例えば、図5の撮影ステップ9~12で取得可能)、反射照明画像(例えば、図5の撮影ステップ13で取得可能)、反射照明+透過照明画像(例えば、図5の撮影ステップ14で取得可能)、透過照明画像(例えば、図5の撮影ステップ15で取得可能)を得ることが可能である。
画像処理系におけるPC300は、例えば、複数の画像データのそれぞれに含まれる各ピクセルの輝度値を用いて、各ピクセルに対応した被写体の偏光特性を表す数値を計算する偏光計算部と、偏光計算部によって計算された各ピクセルに対応した被写体の偏光特性を表す数値を用いて、新たな画像データを生成する画像データ生成部とを有してもよい。偏光計算部は、キャリブレーション用画像及び偏光計算用画像のそれぞれに含まれるデータ(例えば、画像を構成する各ピクセル(画素)の輝度値)を用いた偏光計算を行うことで、被写体10の偏光特性(複屈折位相差や主軸方位)を求めることが可能である。
この偏光計算では、一例として、以下のような計算が行われる。例えば画像のあるピクセルに着目し、まず、カメラ側光学素子105の偏光子105bの条件を変えて得られた画像データ(例えば、図3の撮影ステップ1、2で得られた2つの画像データ)の輝度値から偏光子105bの位相差を求める。次に、偏光子105bの位相差と、被写体10が配置されていない状態で撮影された画像データ(例えば、図3の撮影ステップ3~10で得られた画像データ)の輝度値から、カメラ側光学素子105の光入射側における偏光状態を求めるとともに、被写体10が配置された状態で撮影された同一条件の画像データ(例えば、図5の撮影ステップ1~8で得られた画像データ)の輝度値についても同様に、カメラ側光学素子105の光入射側における偏光状態を求める。そして、被写体10が配置されていない状態に係る偏光状態と、被写体10が配置された状態に係る偏光状態との関係から、被写体10の偏光特性である複屈折位相差や主軸方位を求める。なお、被写体10が有する偏光特性を求めるための偏光計算は、上記の手法に限定されるものではない。
偏光計算によって得られる複屈折位相差や主軸方位は、ピクセル単位の数値データである。例えば、複屈折位相差については、LUT(Look Up Table:ルックアップテーブル)を用いて色や輝度などを設定することで、偏光計算によって得られた複屈折位相差を視覚的に認識しやすい画像(複屈折位相差可視化画像)を生成することが可能である。図7は、本発明の実施の形態における撮影システムで得られた複数の画像データを用いて生成された画像の一例を示す図であり、複数の画像データを用いた偏光計算によって得られた複屈折位相差を表す複屈折位相差可視化画像を示す図である。図7に示す画像は、2つの回転テーブル103のそれぞれにポリスチレン製のスプーンが載置された状態で撮影されたものである。図7に示す画像はカラー画像であり、LUTを用いて、各ピクセルにおける複屈折位相差の数値に対応する色が付けられている。このように、複屈折位相差の数値に対して擬似的に色付けを行うことで、偏光計算によって得られた被写体10の複屈折位相差を視覚的に把握しやすい画像を生成することが可能である。
また、主軸方位についても同様に、LUTを用いた画像を生成することが可能であるが、任意のピクセル数の画像領域の主軸方位を平均化して、偏光計算によって得られた主軸方位を表すベクトル(細い線などの表示要素によって、線の長さで主軸方位の大きさを表し、線の向きで主軸方位の方向を表す)を各画像領域内に描いた画像(主軸方位可視化画像)を生成することも可能である。図8は、本発明の実施の形態における撮影システムで得られた複数の画像データを用いて生成された画像の一例を示す図であり、複数の画像データを用いた偏光計算によって得られた主軸方位を表す主軸方位可視化画像を示す図である。図8に示す画像は、2つの回転テーブル103のそれぞれにポリスチレン製のスプーンが載置された状態で撮影されたものである。図8に示す画像では、画像領域が複数のピクセルを含む正方形の領域に分割されている。正方形の各領域に含まれるピクセルにおける主軸方位の大きさ及び方向の平均値を求め、主軸方位の平均値を各領域内に細い線で表すことで、偏光計算によって得られた被写体10の主軸方位を視覚的に把握しやすい画像を生成することが可能である。
また、キャリブレーション用画像、偏光計算用画像、偏光可視化画像、反射照明画像、反射照明+透過照明画像、透過照明画像、複屈折位相差可視化画像、主軸方位可視化画像を任意に組み合わせて可視化画像データを生成してもよく、あるいは、輝度値の加減乗除を計算して、画像を重ね合わせる処理を行ってもよい。画像を重ね合わせる処理によって得られた結果は、例えば、二値化(binarization)、ラベリング、領域抽出、カウント、明確化、判定などの用途に用いることが可能である。なお、画像データに係る処理を行う際に、例えば特定の関心領域(Region of Interest)を設定し、関心領域に含まれるピクセルについてのみ偏光計算を行ったり、画像の抽出及び加工などを行ったりしてもよい。
以下、様々な画像処理に係る具体的な例について説明する。
デジタル画像はピクセルの集合である。8ビットグレースケール画像の場合、0から255までの輝度値が各ピクセルに格納され、2次元配列として並んでいる。カラー画像の場合、RGBの各色が0から255までの値によって表され、RGBいずれかの値をそのピクセルの輝度値とするか、例えば輝度値=INT(0.299×(Rの値)+0.587×(Gの値)+0.114×(Bの値)+0.5)などの式に基づいて各ピクセルの輝度値を計算することによって、カラー情報を破棄してグレースケール画像に変換することが可能である。
図9は、本発明の実施の形態における撮影システムで得られた複数の画像データを用いて生成された画像の一例を示す図であり、ポリスチレン製のスプーンを被写体として撮影された画像を示す図である。図9に示す画像は、2つの回転テーブル103のそれぞれにポリスチレン製のスプーンが載置された状態で撮影されたものである。図9に示す画像はカラー画像であり、偏光によってスプーン上に虹色の縞模様が見えている状態が撮影されている。
画像解析の実務において、関心の対象となる画像領域は通常、限定的である。この場合、関心領域は、左右2つのスプーンのそれぞれの樹脂材料部分に限定され、下部に写っている台や背景部は画像解析において排除したい場合がある。
こうした場合に用いる典型的な画像処理手法は、二値化である。8ビットグレースケールの画素の輝度値に対して閾値(例えば、100)を設定すると、それより暗いピクセル(0から99までの輝度値を持つピクセル)や、それより明るいピクセル(0から99までの輝度値を持つピクセル)を選別することが可能となり、注目する画像領域/注目しない画像領域を任意に抽出することが可能となる。例えば、抽出された画像領域のみに対して、LUTを設定して着色を行うと、見やすい明瞭な画像を得ることが可能となり、目視で検査を行う場合など、可視化用途に有用である。
図10は、本発明の実施の形態における撮影システムで得られた複数の画像データに対して行われるラベリング処理を説明するための図である。図10には、横16ピクセル×縦15ピクセルの画像領域内に4つの関心領域が存在する画像(図10の左側の画像)と、この画像に対してラベリング処理が行われた状態の画像(図10の右側の画像)とが図示されている。
図10に示すように、関心領域内の画素のそれぞれに対してプログラム上で異なる番号を割り当てるラベリング処理を行うと、各関心領域に対応するピクセルを数えることで各関心領域の面積を求める、関心領域の数を数える、関心領域の有無を判定するなどの様々な数値化や自動処理が可能となる。また、ラベリング処理によって割り当てた番号ごとに異なる色を割り当てることで、領域の分布を視覚的に把握しやすい画像を生成することが可能である。ラベリング処理後の画像(図10の右側の画像)はカラー画像であり、例えば、番号0のピクセルに黒、番号1のピクセルに青色、番号2のピクセルに緑色、番号3のピクセルに橙色、番号4のピクセルに赤色がそれぞれ色付けされている。
また、画像の二値化処理は、画像データの質に依存する。図11は、本発明の実施の形態における撮影システムで得られた透過照明画像の一例を示す図である。図11に示すように、被写体10であるスプーンの樹脂を透過した光の明るさは、背景部(被写体10とは異なる部分)の光の明るさと近接しているため、画像内のスプーンに対応したピクセルは、背景部に対応したピクセルの輝度値と近接した明るい輝度値を持っている。そのため、単純な二値化処理でスプーンの画像領域のみを抽出することは容易ではない。
一方、図12は、本発明の実施の形態における撮影システムで得られた画像データをグレースケール変換し、さらにコントラストを調整する場合を説明するための図である。図12の左側の画像は、第1の光学素子102と第2の光学素子105とがクロスニコルの状態となるよう配置された状態で撮影されたものであり、背景部が暗くなっている。このような状態で撮影された画像は、画像内のスプーンに対応したピクセルの輝度値と比べて、背景部に対応するピクセルが暗い輝度値を持つ。そのため、画像をグレースケールに変換し(図12の中央の画像)、適切にコントラストを調整することで(図12の右側の画像)、被写体10であるスプーンに対応するピクセルの輝度値のみを高くする二値化処理を行うことが容易となり、スプーンに対応する部分が強調された画像を生成することが可能となる。
本発明の実施の形態における撮影システムは、異なる条件下で撮影された複数の画像データを任意に利用して、可視化や画像解析が可能である。図13は、本発明の実施の形態における撮影システムで得られた画像データに対して二値化処理を行い、二値化処理によって得られた画像をマスク情報として用いる場合を説明するための図である。
図13の左側の画像は、本発明の実施の形態における撮影システムで得られた複数の画像データを用いて生成された画像であり、複数の画像データを用いた偏光計算によって得られた複屈折位相差にLUTを設定して可視化した画像である。図13の左側の画像はカラー画像であり、背景部にも色が付いているが、被写体10であるスプーン以外の領域は意味がなく、関心もない。そこで、上述した二値化処理によって得られた画像をマスク情報として重ね合わせることで、図13の右側に示すように背景部を排除することが可能となる。マスク処理が施された画像は、被写体10に対応する関心領域内の各ピクセルのみ有効な数値を持っている。したがって、被写体10に対応する各ピクセルに係る数値の最大値、最小値、平均値、標準偏差を求めるなどの処理が容易となり、被写体10の特性を容易に評価することが可能となる。
また、異なる条件下で撮影された複数の画像データを任意に利用した可視化処理も可能である。図14は、本発明の実施の形態における撮影システムで得られた複数の画像データを用いた画像合成処理を説明するための図である。なお、図14(a)~(e)の画像は9個の領域に分かれており、各領域は、各ピクセルに対応するか、あるいは、複数のピクセルを含む領域に対応している。以下では、各領域が各ピクセルに対応しているものとして説明する。
偏光計算によって、各ピクセルについて複屈折位相差の数値を算出することが可能である。複屈折位相差の数値は、複数のキャリブレーション用画像及び偏光計算用画像に基づき偏光計算を行うことによって得られる。図14(a)には、偏光計算によって得られた各ピクセルの複屈折位相差の数値が示されている。各ピクセルが持つ複屈折位相差の数値に関してLUT処理を行うことで、図14(b)に示すように、複屈折位相差の数値に対応した色を各ピクセルに対して割り当てることが可能である。図14(b)はカラー画像であり、複屈折位相差の数値に対応して色付けされている。
一方、図14(c)の画像は反射照明画像であり、各ピクセルがカラー情報(例えばRGBの3色の数値の組み合わせ)を持つカラー画像である。この反射照明画像をクレースケール変換することで、図14(d)に示すような画像(グレー化画像)を得ることが可能である。
ここで、例えば、図14(b)の画像に対して閾値処理を行い、偏光計算によって得られた複屈折位相差の数値が所定の閾値以下(例えば、100以下)のピクセルのみ色情報をそのまま維持し、所定の閾値より大きいピクセルについては、図14(d)のグレー化画像のピクセルに置き換える(グレー化する)ように、図14(c)のカラー化画像と図14(d)のグレー化画像とを合成する。これにより、図14(e)に示すような画像を生成することが可能である。図14(e)の画像は、偏光計算によって得られた複屈折位相差の数値が所定の閾値以下のピクセルについては色付けされており、閾値より大きいピクセルについては、反射照明画像をグレースケール変換して得られた輝度値を持つ画像である。
画像処理系のPC300における画像処理は、上述の処理に限定されるものではなく、任意の手法による画像処理を行うことが可能である。上述の処理以外に、例えば、グレースケール変換した複数の画像の各ピクセルのうち最高輝度値を持つピクセルを投影したMIP(Max Intensity Projection)画像を生成する機能を有していてもよい。また、被写体が写っている領域のみを切り抜くクリッピング機能や、任意の画像を同一画像内に配置して合成するタイリング機能を有していてもよい。
さらに、画像処理系のPC300は、例えば、複数の画像データや、複数の画像データから生成された新たな画像データから選択された画像データ群について、N(Nは2以上の整数)次元配列フォーマットにおける配置位置を表すように定められる命名規則に従って、画像データ群に含まれる各画像データに対してファイル名を付け、各画像データにファイル名が付けられた画像データ群を含む表示用画像データファイルを生成する表示用画像データファイル生成部を有してもよい。
例えば、本発明の実施の形態における撮影システムで得られた画像データや、上述の様々な画像処理によって新たに生成された画像データなどから、所望の画像データを複数選択し、選択された複数の画像データに対して、所定の配列ルール(例えば、2次元配列フォーマット)に基づく一定の命名規則に従ってファイル名を付ける。そして、ファイル名が付けられた一連の画像データを読み込んで所定の配列ルールに従って動画フォーマットなどに変換することで、複数の画像データを含む1つの表示用画像データファイルを生成することが可能である。この場合、複数の画像データを読み込み、例えば、H.264を用いてデータの圧縮を行ってQuickTime(登録商標)VRフォーマット(オブジェクトムービー)として出力することで、複数の画像データを含む1つの表示用画像データファイルが生成することが可能である。
ここで、表示用画像データファイルに格納される複数の画像データの配列ルールの一例について説明する。選択された複数の画像データは、例えば、RowとColumnの2つの配列軸により構成される2次元配列フォーマット内の配置座標と関連付けられることで、当該2次元配列フォーマット内に仮想的に配置される。例えば、図15に図示されているように、RowにM枚、ColumnにN枚の画像が配置される2次元配列フォーマット(N×Mの2次元配列フォーマット)が設定され、この2次元配列フォーマット内の各配置座標(Rm,Cn)(m、nは整数、1≦m≦M、1≦n≦N)に各画像データが仮想的に配置される。このとき、2次元配列フォーマットに含まれる画像は、生成後の表示用画像データファイルを適切な再生環境(例えば、QuickTimeプレーヤ)で再生及び表示した際に、所定のユーザ操作に応じて、Row方向又はColumn方向に隣り合う画像間で表示が切り替わることを前提として配置される。
表示用画像データファイルの再生環境では、例えば、ユーザがマウスを上下方向に移動したり上下に対応するカーソルキーを押下したりすることによって、Row方向に隣り合う画像間で表示が切り替わり、マウスを左右方向に移動したり左右に対応するカーソルキーを押下したりすることによって、Column方向に隣り合う画像間で表示が切り替わる。なお、図15において、2次元配列フォーマット内のRowのM番目又はColumnのN番目が、Rowの1番目又はColumnの1番目と隣り合うように設定されてもよい。
図15に図示されているように2次元配列フォーマット内に仮想的に配置された複数の画像データは、図16に模式的に示されているように、所定の配列ルールに従って動画フォーマットなどに出力されることで、1つの表示用画像データファイル内に格納される。表示用画像データファイルに複数の画像データを格納する際に任意のファイルフォーマットを用いることが可能であるが、動画フォーマットを用いることで高能率のコーデックを適用することが可能となり、ファイルサイズを極めて小さく圧縮することが可能となる。
なお、図15に図示されている2次元配列フォーマットは一例であり、本発明は、この配列に限定されるものではない。また、現在のQuickTimeVRフォーマットは、2次元配列フォーマットを有しているが、これに限定されるものではなく、表示用画像をN(Nは3以上の整数)次元配列フォーマット内に配置してもよい。2次元配列フォーマットでは2本の配列軸が存在し、2次元配列フォーマット内において各配列軸に沿って隣接する表示用画像は4枚存在する。QuickTimeプレーヤは、これら4方向に対してマウスの上下左右の移動又は4方向のカーソルキーを関連付けることで各配列軸に沿って隣接した画像の表示切り替えを行っている。一方、N次元配列フォーマットが実現可能な場合、N次元配列フォーマットでは配列軸がN本存在し、N次元配列フォーマット内において各配列軸に沿って隣接する表示用画像は2×N枚となる。この場合、再生環境において2×N方向で隣接した画像の表示切り替えを行うプレーヤを準備することで、所望の画像切り替えを実現することが可能となる。
RowとColumnの2つの配列軸に割り当てられる情報は、選別された複数の画像データや、最終的に生成される表示用画像データファイルの用途などに応じて、ユーザが適宜定めることが可能である。一例として、Rowの配列軸を光軸に対する被写体の向きと定め、Columnの配列軸を光源素子や光源を組み合わせた条件と定めることが可能である。
例えば図5に示す各撮影ステップで撮影された画像データを利用する場合、図17に示されているように、Rowに5枚の画像、Columnに15枚の画像が配置された状態とすることが可能である。図17に示す仮想的な配置に基づいて表示用画像データファイルを生成した場合、表示用画像データファイルの再生環境では、Row方向に隣り合う画像を切り替えることで、同一の偏光条件下で被写体が回転するように見え、Column方向に隣り合う画像を切り替えることで、被写体が同一の向きを向いたまま偏光条件が変化するように見える表示を実現することが可能である。
上述した画像処理はそれぞれ独立して行われてもよく、あるいは、任意に組み合わせて可視化画像を生成してもよい。画像処理を組み合わせる場合としては、例えば、偏光計算によって得られた複屈折位相差を表す色付けされ、かつ、偏光計算によって得られた主軸方位を表す表示要素が描かれた画像を生成してもよい。
また特に、本発明の実施の形態における撮影システムは、偏光観察用の画像だけではなく、例えば、カメラ側光学素子105の偏光子105bを光軸上から外した状態で、透過照明用光源101が白色光(RGB発光)を発光して撮影される透過照明画像、及び、反射照明用光源104が白色光(RGB発光)を発光して撮影される反射照明画像を得ることができるという特徴を備えている。透過照明画像や反射照明画像は、発色に優れており、人間が視認する状態に極めて近い状態を撮影した画像である。こうした透過照明画像や反射照明画像をベースとして、偏光計算によって得られた偏光特性を表す画像や、偏光下において観察される画像などを合成することで、視認性の高い画像を生成することが可能である。
上述したように、本発明では、被写体10が有する偏光特性を求める偏光計算の手法は、特に限定されるものではないが、本発明の発明者のうちの一人を発明者とする特許出願(特願2017-98856号)に係る特許請求の範囲、明細書及び図面に記載された偏光測定及び偏光計算の手法を用いることが可能である。以下、この特許出願に含まれている、本発明に有用な技術的思想(以下、本関連技術と呼ぶ)の概要について記載する。なお、本願の出願時には、本関連技術はまだ公知技術とはなっていない。
以下、本関連技術の概要について説明する。以下では、図面ならびに数式において太字表記したベクトルを、『[]』を用いて表記する。
図18は、本関連技術による偏光特性測定装置の概略構成を示す説明図である。図示した測定装置901は、所定波長の光を試料913へ向けて出射する光源911、試料913へ入射させる光を変調する偏光変調部912を備えている。
また、測定装置901は、試料913から出射された光に所定の偏光等を施し、後述する演算に対応させる偏光解析部914、偏光解析部914から出射された光を入射し、所定の電気信号へ変換出力する検出器915、検出器915の出力信号を用いて所定演算を行う演算手段916を備えている。
なお、具体的な測定装置901として、例えば、光源911と偏光変調部912との間に、図示を省略したコリメータレンズユニット等を設置し、当該コリメータレンズユニット等と偏光解析部914との間に試料913を設置固定する試料ステージ(図示省略)を設置し、試料913と偏光解析部914との間に適当な対物レンズ(図示省略)を設置し、偏光解析部914と検出器915との間に無限遠補正が可能な鏡筒(図示省略)を設置し、また、上記の光源911から検出器915までの間に光導波路等(図示省略)を適当に設けて、顕微鏡型の偏光測定装置として構成してもよい。
光源911は、例えば、波長が780nmの光を発行するLED等の準単色発光体や光学フィルタなどを備え、一定の光強度で出射するように構成されている。
偏光変調部912は、偏光子P1と位相板R1を有し、偏光子P1は、例えば直線偏光素子であり、透過軸方位を所望の角度へ回転させて設定調整することを可能に構成された例えばホルダ等によって支持されている。位相板R1は、例えば波長633nmの入射光に関して、直線偏光を円偏光とするλ/4波長板であり、主軸方位を所望の角度へ回転させて設定調整することを可能に構成された例えばホルダ等によって支持されている。
偏光変調部912と偏光解析部914の間には、前述の図示を省略した試料ステージが設置されており、この試料ステージ等を用いて試料913が測定装置901の所定位置に固定されている。
偏光解析部914は、位相板R2と偏光子P2を有し、位相板R2は、例えば波長633nmの入射光に関して、直線偏光を円偏光とするλ/4波長板であり、主軸方位を所望の角度へ回転させて設置調整することを可能に構成された例えばホルダ等によって支持されている。また、偏光子P2は、例えば直線偏光素子であり、透過軸方位を所望の角度へ回転させて設定調整することを可能に構成された例えばホルダ等によって支持されている。
検出器915は、例えば、画像等を撮影可能な撮像素子や分光機構などを備えたCCDカメラ等であり、撮影したカラー画像を表す信号を出力するように構成されている。
なお、測定装置901は、例えば、前述の光導波路等によって接続された、光源911、偏光変調部912、偏光解析部914、検出器915などにより測定光学系を構成している。特に、検出器915に偏光解析部914から出射された光以外が入射しないように、測定装置901内部、もしくは当該測定装置901を設置する場所は、暗室環境とする必要がある。
演算手段916は、検出器915から出力された画像信号等を入力し、この画像信号に含まれる例えば光強度などに関する演算や取得したデータの処理などを行うプロセッサ、必要に応じて所定のデータ等を記憶するメモリ、演算処理結果などを出力表示するディスプレイ装置等を備えた、例えばパーソナルコンピュータなどの情報処理装置である。
なお、測定装置901の測定精度を高めるため、単色性の良好な光源911、ならびに波長分解能の良好な検出器915を使用することが好ましい。
偏光変調部912の偏光子P1および位相板R1、ならびに偏光解析部914の位相板R2および偏光子P2は、前述のようにホルダ等によって回転可能に支持されている。このホルダ等を回転駆動する機構部を設置し、当該機構部の動作を、例えば演算手段916によって制御するように構成してもよい。即ち、プロセッサやメモリなどを備えた演算手段916を、測定装置901の各部動作を制御する制御手段とし、あるいは演算手段916を制御手段に含めて構成し、例えば、この制御手段になされた入力操作等に応じて、あるいは予め設定されたデータ等に則して、上記の各光学素子の方位などを設定、ならびに変更するように構成してもよい。また、上記の制御手段等により、光源911、検出器915などの動作を併せて制御するように構成してもよい。
また、演算手段916は、偏光子P1、位相板R1、位相板R2、偏光子P2等の光学素子の方位角度等を示す値を取得するように構成されており、例えば、上記の各光学素子を支持するホルダ等にセンサを備え、このセンサの出力信号から方位角度等の値を表すデータを取得するように構成されている。
次に動作について説明する。
ここでは、
i)偏光変調部912について、
偏光子P1の透過軸方位をθP1、
位相板R1の主軸方位をθR1、位相差(任意)をδ1(δ1≠180×n度)
ii)偏光解析部914について、
位相板R2の主軸方位をθR2、位相差(任意)をδ2(δ2≠180×n度)
偏光子P2の透過軸方位をθP2、
と定義して説明する。
測定装置901による偏光特性の測定は、概ね次のように動作する。
初めに、偏光解析部914の位相板R2の位相差δ2を、測定光学系を稼働させて測定する(Step1)。
次に、Step1において測定した位相差δ2を示すデータを用いて、偏光解析部914の伝達行列(4×4)を求め、この伝達行列の逆行列と検出器915が検出した光強度とを用いて、偏光解析部914の光入射側における偏光特性(ストークスベクトル・4×1)を求める(Step2)。
また、試料913の偏光特性を測定する動作では、試料913がない状態で得られるストークスベクトル[Sin]と、試料913を透過したときのストークスベクトル[Sout]とをStep2の処理動作によって求める。これらから試料913の偏光特性を示すミュラー行列を求め、当該ミュラー行列の要素を用いて試料913の偏光特性を定量化する(Step3)。
次に各Stepの動作を説明する。
なお、下記のStep1およびStep2で説明する動作処理は、後述するStep3において行われる動作処理の一部分である。
<Step1>
1-1.例えば、偏光変調部912の偏光子P1の透過軸方位θP1に対して、位相板R1の主軸方位θR1および位相板R2の主軸方位θR2を、平行となる、または直交する方位に設定する。このとき、各位相板の主軸方位を進相軸あるいは遅相軸のどちらに設定してもよい。
1-2.偏光解析部914の位相板R2の主軸方位θR2を、例えば、上記の項目1-1で設定した状態から45×(2n+1)度回転させる。
1-3.偏光解析部914の主軸方位θR2を、上記の項目1-2で設定した状態としておき、当該偏光解析部914の偏光子P2の透過軸方位θP2を、偏光変調部912の偏光子P1の透過軸方位θP1に対して平行状態に設定したときの光強度と、直交状態に設定したときの光強度を、順次、演算手段916のメモリ等に記憶させる。
1-4.項目1-3にて記憶させた各光学素子の状態(方位角度)における光強度を用いて、偏光解析部914の位相板R2の位相差δ2を算出する。
例えば、偏光子P1の透過軸方位θP1=0度、位相板R1の主軸方位θR1=0度、位相板R2の主軸方位θR2=45度と設定し、偏光子P2の透過軸方位θP2=0度(θP1と並行状態)において検出器915が検出した光強度をI0、透過軸方位θP2=90度(θP1と直交状態)において検出器915が検出した光強度をI90としたとき、位相板R2の位相差δ2は、次の式(1)によって求められる。
Step1において、測定装置901は、試料913の偏光測定時と同じ状態とされ、例えば、図示を省略した各部レンズの倍率などは最適な値に設定されている。このように各部を設定した状態において、試料ステージ等に試料913を設置固定することなく、前述のように各光学素子(偏光子P1、位相板R1、位相板R2、偏光子P2)の方位等を設定し、例えば、上記の各光学素子を図26の表1に示した各値に設定して、偏光解析部914からの出射光を検出器915へ入射し、光強度を測定する。
検出器915は、撮影した画像を示す信号として、例えばRAWデータを出力し、演算手段916は、適宜、検出器915から出力されたRAW形式の画像ファイルを、自ら備えるメモリ等の記憶手段に保存する。即ち、Step1において、上記の記憶手段に記憶する画像ファイルは、前述の項目1-3にて説明した2つの状態(各光学素子の方位角度)において撮影されたものである。
演算手段916は、前述の記憶した2枚の(2つの状態で撮影された)画像ファイルについて、これら画像の各ピクセルに存在する光強度を抽出し、項目1-4で説明した式(1)の演算をピクセル毎に行って、位相板R2が有する位相差δ2の二次元分布を表す画像データを生成する。
<Step2>
2-1.偏光解析部914の直前(光入射側)の偏光状態をストークスベクトル[S]=(S0,S1,S2,S3)と表し、前述の各光学素子に対応するミュラー行列から、検出器5を用いた場合の光強度Iiを算出する式を生成する。ここで例示する測定装置901では、次の式(2)のように定められる。
2-2.偏光解析部914を構成する各光学素子(位相板R2、偏光子P1)の方位角度を任意の値に設定し、これら方位角度とStep1において求めた位相差δ2とを用いて、ストークスベクトル[S]の上位の係数Ai、Bi、Ci、Diを算出する。
2-3.偏光解析部914の各光学素子の方位θR2及び方位θP2の各角度を任意に設定し、ある射偏光状態の光が偏光解析部914を透過した後の光強度Iiを測定し、この測定値を例えば前述のメモリ等に記憶させる。
2-4.偏光解析部914の各光学素子の方位θR2及び方位θP2の角度設定を4回変更して、項目2-3で説明した動作処理を繰り返す(i=1~4)。
ここで、光学素子の方位角度を変更して光強度Iiを繰り返し測定するとき、方位θR2、θP2の各角度は、順次、任意に設定するが、上記のθaが同一とならないように設定する。
2-5.前述の項目2-1から項目2-4において、算出される係数Ai、Bi、Ci、Di、偏光解析部914直前(光入射側)におけるストークスベクトル[S]、測定・記憶される光強度Iiは、次の行列式(3)のように表記される。
上記の行列式(3)より、係数Ai、Bi、Ci、Diを行列の要素とする、偏光解析部914の伝達行列A、ならびに、その逆行列A-1と、各画像ファイルの光強度Iiを要素とする光強度行列Iとを用いて、次の式(4)に示したようにストークスベクトル[S]を求めることができる。
Step2において、測定装置901の演算手段916は、前述の項目2-1で説明したように光強度Iiを算出する式を定め、項目2-2で説明したようにストークスベクトル[S]の各係数Ai、Bi、Ci、Diを算出する。
また、演算手段916は、項目2-3で説明したように、偏光解析部914の各光学素子について、例えば、前述の機構部等を制御して当該光学素子を支持するホルダ等を回転させ、図27の表2に示すように方位角度を設定する。また、検出器915を用いて各方位角度における撮影を行い、撮影した各画像ファイルの光強度Iiを前述のメモリ等に記憶させ、これらの動作処理を項目2-4で説明したように繰り返して、伝達行列A、さらに逆行列A-1を求め、偏光解析部914直前の偏光状態を示すストークスベクトル[S]を求める。
測定装置901は、次に説明するStep3の動作処理によって試料913の偏光特性を測定する。Step3は、後述する各光学素子に設定された様々な方位角度等についてStep1ならびにStep2で説明した動作処理(演算処理)等を行うものである。
<Step3>
3-1.測定装置901に試料913を設置しない状態、例えば、前述の試料ステージを空の状態として光源911を発光させ、偏光変調部912の位相板R1の方位θR1を任意の角度に設定し、前述Step1ならびにStep2で説明した演算処理を行って入射ストークスベクトル[Sinj]を算出する。
3-2.上記の項目3-1で説明した動作ならびに演算処理は、偏光状態が重複しないように偏光変調部912の条件(方位θR1の設定角度)を変更して、入射ストークスベクトル[Sinj]の算出を4回繰り返し(j=1~4)、入射ストークスベクトル[Sin1]、[Sin2]、[Sin3]、[Sin4]を求める。
3-3.測定装置901に試料913を設置固定した状態で光源911を発光させ、項目3-1もしくは項目3-2と同一の条件下で試料913に入射光を照射し、この状態で検出した光強度を用いて前述のStep1ならびにStep2で説明した演算処理を行って、試料を透過した透過後ストークスベクトル[Soutj]を算出する。即ち、項目3-2の動作処理において設定した4つの方位θR1毎に(j=1~4)、透過後ストークスベクトル[Sout1]、[Sout2]、[Sout3]、[Sout4]を求める。
3-4.ここで、試料913の偏光特性をミュラー行列Mとして表す場合、入射ストークスベクトル[Sinj]と透過後ストークスベクトル[Soutj]との関係は、次の式(5)のように表記することができる。
上記の式(5)に基づき、項目3-1~項目3-3の各動作処理によって得られた入射ストークスベクトル[Sinj]と透過後ストークスベクトル[Soutj]を、それぞれ4×4の行列要素として、行列S’inおよび行列S’outに行列化すると、次の式(6)のように表記することができる。
上記の式(6)より、各入射ストークスベクトルからなる行列S’inの逆行列と、各透過後ストークスベクトルからなる行列S’outを用いて、試料913のミュラー行列Mの要素が、次の式(7)によって求められる。
Step3において、測定装置901の演算手段916は、項目3-1および項目3-2で説明したように、測定装置901に試料913を設置しない状態で入射ストークスベクトル[Sinj]を求めるとき、{偏光変調部912における4パターンの方位(θR1)の入射偏光}×{偏光解析部914直前の偏光状態を示す4つの要素(S0,S1,S2,S3)=16の要素を算出する。これは、前述のStep2で説明した偏光解析部914に関するストークスベクトル[S]が、4つの要素(S0,S1,S2,S3)で構成されていることと同義である。なお、これらの演算は、前述のStep1で説明したように、画像ファイルのピクセル毎に行われる。
図19は、図18の演算手段916が求める入射ストークスベクトルを示す説明図である。
演算手段916は、入射ストークスベクトル[Sinj]を求めるとき、前述の各光学素子を、例えば、図27の表2に示した、いずれかの方位角度(θP1,θR1,θR2,θP2)に設定し、設定した方位角度について、項目3-1で説明したようにStep1ならびにStep2の処理動作を行って、測定装置901に試料913を設置していないときの伝達行列A並びに逆行列A-1を求め、これを用いて入射ストークスベクトル[Sin1]、[Sin2]、[Sin3]、[Sin4]を求める。なお、これらの入射ストークスベクトルは、図19に示したように各々4つの要素からなるものである。
具体的には、演算処理16は、設定されている(例えば、図27の表2に示した入射パターン1の)位相板R2と偏光子P2の各方位θR2、θP2の値を示すデータを取得し、これらの値とStep1で求めた位相差δ2とを用いて、式(2)の演算を行う。また、式(2)の演算によって取得した光強度I1-1~I4-1を用いて伝達行列Aを求め、さらに逆行列A-1を求める。
次に、当該入射パターン1で取得した各光強度と逆行列A-1とを用いて、前述の式(4)から入射ストークスベクトル[Sin1]の要素(S0inl,S1inl,S2inl,S3inl)を算出する。
この後、項目3-2で説明したように偏光状態が重複しないように、各光学素子の方位角度等を設定し、例えば図27の表2に示した入射パターン2~4に示した各設定値についても、入射パターン1と同様な演算処理を行い、図19に示した4つのパターンの偏光状態を示す4つの入射ストークスベクトル[Sin1]、[Sin2]、[Sin3]、[Sin4]、もしくは、これらのベクトル要素を求める。
図20は、図18の演算処理16が求める透過後ストークスベクトルを示す説明図である。
演算手段916は、透過後ストークスベクトル[Soutj]を求めるとき、前述の各光学素子を、例えば、図27の表2に示したいずれかの方位角度(θP1,θR1,θR2,θP2)に設定し、設定した方位角度について、項目3-3で説明したようにStep1ならびにStep2の動作処理を行って、測定装置901に試料913を設置して光入射させたときの伝達行列Aならびに逆行列A-1を求め、これを用いて透過後ストークスベクトル[Sout1]、[Sout2]、[Sout3]、[Sout4]を求める。なお、これらの透過後ストークスベクトルは、図20に示したように各々4つの要素からなる。
図21は、図18の測定装置901に設置される試料913の一例を示す説明図である。図示した試料913は、例えば、2種類の位相差フィルムをガラス基板に貼り付け固定し、各位相差フィルムの主軸方位が直交するように構成されたものである。
具体的に透過後ストークスベクトル[Soutj]を求めるとき、測定装置901の試料ステージに、例えば、図21に示した試料913を設置固定し、光源911から光照射を行って、偏光変調部912を介して試料913へ入射させ、試料913の出射光を偏光解析部914を介して検出器915へ入射させる。このとき、偏光変調部912の偏光子P1と位相板R1、および偏光解析部914の位相板R2と偏光子P2の各方位角度等は、入射ストークスベクトル[Sinl]を求めたときと同様に、例えば図27の表2に示した値に設定され、演算手段916は、例えば入射パターン1の各値に設定されたときの各光強度を測定してメモリ等に記憶させる。
この後、メモリ等に記憶させた光強度を用いて、前述の入射ストークスベクトル[Sinl]の要素(S0inl,S1inl,S2inl,S3inl)を求めたときと同様な演算処理を行い、試料913を設置したとき、(試料913透過後)の透過後ストークスベクトル(S0out1)の要素(S0out1,S1out1,S2out1,S3out1)を算出する。
次に、前述の入射ストークスベクトル[Sinl]を求めたときと同様に、偏光状態が重複しないように各光学素子の方位角度等を設定し、例えば表2に示した入射パターン2~4に示した各設定値についても、入射パターン1と同様な演算処理を行い、図20に示した4つのパターンの偏光状態を示す4つの透過後ストークスベクトル[Sout1]、[Sout2]、[Sout3]、[Sout4]、もしくは、これらのベクトル要素を求める。
このように求めた入射ストークスベクトル[Sin1]、[Sin2]、[Sin3]、[Sin4]と透過後ストークスベクトル[Sout1]、[Sout2]、[Sout3]、[Sout4]を用いて、試料913のミュラー行列Mを式(7)の演算によって算出する。
図22は、演算手段916が算出した試料913のミュラー行列Mを示す説明図である。この図は、図21に示した試料913について、測定装置901を用いて求めたミュラー行列Mを示したものである。図22(a)はミュラー行列Mを構成する各要素の偏光状態をグラフィカルに示し、図22(b)は、当該ミュラー行列Mの各要素の大きさ、もしくは数値を示している。
次に、演算手段916は、算出したミュラー行列Mの要素から、各偏光状態を排出する。具体的には、式(6)に示したミュラー行列Mの各要素を用いて次の各式の演算を行い、試料913の偏光特性を定量化する。
図23は、ミュラー行列の要素から抽出した偏光状態を示す説明図である。この図は、上記の各式を用いて算出した、試料913の偏光特性の解析結果を示したもので、図23(a)は試料913の複屈折位相差を示し、図23(b)は試料913の主軸方位を示し、図23(c)は試料913の特性測定における偏光解消度を示している。
図24は、図18の測定装置901を用いて測定した偏光特性の一例を示す説明図である。例えば、設計波長が633nmの位相板(位相差90度のλ/4板)を試料913として偏光特性を測定したとき、測定装置901の光源911は波長が780nmなので、この試料913によって生じる位相差は約75度となり、上記のように光源911の波長と試料913の設計波長が異なる場合では、図24に示した程度の誤差が測定結果に生じる。
図25は、本関連技術を用いた測定結果と一般的な測定(解析)方法を用いた測定結果を示す説明図である。この図は、試料913(図中サンプルと表記)の複屈折位相差を測定したときの測定(解析)結果を示したもので、縦軸に解析結果(位相差の角度)を示し、横軸に試料913(サンプル)の位相差(角度)を示している。なお、この図に示した、一般的な解析方法を用いた測定装置の測定(解析)結果については、当該装置に備えられた、試料からの出射光を入射する位相板R2(本関連技術の測定装置901においては偏光解析部914の位相板R2に相当するもの)として、位相差60度~120度の範囲内において、位相板R2を理想的なλ/4波長板と仮定する一般的な解析法を用いた複屈折位相差の計算結果である。
図25に示した一般的な測定装置の測定(解析)結果は、複屈折率位相差の誤差が10~20%程度となる。これに対して、本関連技術の測定装置901の測定(解析)結果は、図28の表3に示したように誤差が約5%以内となる。
このことから、本関連技術の測定装置901は、演算手段916がミュラー行列Mと逆行列による補正を用いた演算処理を行うことにより、当該測定装置901に備えられた光学素子等に存在する非理想性を解消して試料913が有する本来の偏光特性に、より近い結果を得ることができる。換言すると、各光学素子等が持つ非理想性を補正して、当該光学素子等による偏光特性の誤差を解消することができるという効果が得られる。
また、光学素子等が有する偏光特性の誤差を解消することができるので、試料913と各光学素子等に設定されている光波長が異なっている場合でも、精度良く試料913の偏光特性を測定することができる。
また、偏光特性を測定するときのサンプリング数を16に抑制することができ、測定結果を算出するまでの時間を短時間に抑えることが可能になる。