JP7447916B2 - 撮像装置、情報処理装置、撮像方法、および情報処理方法 - Google Patents

Description

本開示は、撮像装置、情報処理装置、撮像方法、および情報処理方法に関する。

被写体の３次元形状を計測する方法の一つとして、照度差ステレオ法がある。照度差ステレオ法では、複数の方向から被写体へ順次個別に光を当て、その陰影の違いから被写体までの距離や被写体の３次元形状を測定する（例えば、特許文献１参照）。

特開２０１７－７２４９９号公報

しかしながら、上記の従来技術では、照明を切替えながらカメラによって順次被写体を撮像するため、被写体が動物体である場合、照明の切替え中に被写体の動きによる位置ずれが生じ、正確な測定を行うことができない。

そこで、本開示では、動物体の３次元形状を正確に測定することができる撮像装置、情報処理装置、撮像方法、および情報処理方法を提案する。

本開示によれば、撮像装置が提供される。撮像装置は、撮像部と、分離部と、算出部と、推定部とを有する。撮像部は、被写体へ照射する光の偏光方向が異なる複数の照明と偏光センサとを備え、前記複数の照明から同時に光が照射される前記被写体の画像を撮像する。分離部は、前記撮像部によって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成する。算出部は、前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する。推定部は、前記算出部によって算出される法線に基づいて前記被写体の形状を推定する。

本開示に係る撮像方法および情報処理方法の概要を示す説明図である。 本開示に係る撮像装置の構成例を示すブロック図である。 本開示に係るカメラの露光量と出力輝度との関係を示す説明図である。 本開示に係るシェーディングデータの取得方法の説明図である。 本開示に係るシェーディングデータの取得方法の説明図である。 本開示に係る光源方向の検出方法の説明図である。 本開示に係る光源方向の検出方法の説明図である。 本開示に係る光源方向の検出方法の説明図である。 本開示に係る光源方向／偏光方向対応表の一例を示す説明図である。 本開示に係る撮像部の説明図である。 本開示に係る撮像部の説明図である。 本開示に係る撮像部の説明図である。 本開示に係る信号分離部の構成例を示すブロック図である。 本開示に係る偏光デモザイク処理の説明図である。 本開示に係る偏光モデルの一例を示す説明図である。 本開示に係る法線算出方法の説明図である。 本開示に係る撮像装置が実行する処理を示すフローチャートである。 本開示に係る撮像装置が実行する処理を示すフローチャートである。 本開示に係る撮像装置が実行する処理を示すフローチャートである。 本開示に係るカメラの変形例を示す説明図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［１．本開示に係る課題］
基本的な照度差ステレオ法では、被写体に対する光の照射方向が異なる複数の照明を順次切替えながら被写体へ光を当て、各照明によって照らされた被写体の画像を撮像し、各画像における被写体の陰影の違いに基づいて被写体の３次元形状を測定する。

しかしながら、この方法では、照明の切替え中に被写体の動きによる位置ずれが生じ、正確な測定を行うことができないため、動物体の被写体に適用することが困難であり、静止物体の被写体しか正確な３次元形状を測定することができない。

このため、被写体へ照射する光の色の違いを用いて照明を多重化し、照明の切り替えを行わずに、１度の撮像で被写体の３次元形状を測定する波長多重方式の計測方法がある。波長多重方式では、複数の照明から同時に被写体に対して、それぞれ波長（色）が異なる光を照射して被写体を撮像し、撮影画像からそれぞれの色成分を抽出し、各照明単体で照明した場合の陰影を求めて被写体の３次元形状を測定する。

このように、波長多重方式では、照明を切替える必要がなく１度の撮像によって被写体の３次元形状を測定することが可能であるため、被写体が動物体である場合にも、被写体の３次元形状を測定することができる。

ただし、波長多重方式は、例えば、各照明に異なる狭帯域のバンドパスフィルタを適用することによって被写体へ照射する光の色を変えるので、狭帯域のバンドパスフィルタを透過することで光量が低下し、Ｓ/Ｎ比が劣化して測定精度が低下することがある。

また、照明の色と被写体の色との弁別が難しい場合は、測定誤差が発生することがある。さらに、被写体へ照射する光の色の数を増やす場合には、より狭帯域なバンドパスフィルタを用いたり、発色する色が異なるＬＥＤ（Light Emitting Diode）の数を増やしたりする必要があり、コストが増大する。そこで、本開示に係る撮像装置、情報処理装置、撮像方法、および情報処理方法は、コストを増大させることなく動物体の３次元形状を正確に測定する。

［２．撮像方法および情報処理方法の概要］
まず、図１を参照して本開示に係る撮像方法および情報処理方法の概要について説明する。図１は、本開示に係る撮像方法および情報処理方法の概要を示す説明図である。

本開示に係る撮像方法および情報処理方法では、偏光を用いた照明の多重化を行い、１度の撮像で複数の方向から偏光方向の異なる光を被写体へ同時に照射して撮像することによって、動物体の３次元形状の測定を可能にする。

例えば、図１に示すように、１つのカメラ１０と、複数（ここでは、４つ）の光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４を用意する。光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４は、被写体１００に対して異なる方向（以下、光源方向と記載する）Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４に配置される。なお、光源の数は、４つに限定されるものではない。

また、光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４は、光の照射部に偏光方向が異なる偏光フィルタＦ_１，Ｆ_２，Ｆ_３，Ｆ_４が設けられ、それぞれ偏光方向が異なる光を被写体１００へ照射する。また、光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４は、照射する光の偏光方向と光源方向（被写体に対する位置）が予め対応付けられる。

カメラ１０は、偏光センサ１１を備える。本開示に係る撮像方法および情報処理方法では、偏光センサ１１によって取得される画像データから信号分離処理によって各偏光方向成分を分離する。そして、予め対応付けた光の偏光方向と光源方向との対応関係に基づいて、各方向の光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４から単独に照射した場合に得られるであろう画像Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４を算出する。

その後、各画像Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４について法線算出処理を行うことによって、法線画像Ｉ_５を算出し、法線画像Ｉ_５を用いて距離推定処理を行うことによって被写体１００の表面３次元形状を推定する。これにより、本開示に係る撮像方法および情報処理方法では、動物体の３次元形状を正確に測定することができる。

この方法によれば、光源を増やす場合に、各照明に設ける偏光フィルタの方向を変えるだけで良いのでコストが増大することがなく、狭帯域なバンドパスフィルタを使用しないため光量が減少することもないので、３次元形状の測定精度を向上させることができる。

［３．撮像装置の構成］
次に、図２を参照して本開示に係る撮像装置の構成について説明する。図２は、本開示に係る撮像装置の構成例を示すブロック図である。図２に示すように、本開示に係る撮像装置１は、撮像部２と、情報処理装置３とを備える。

撮像部２は、図１に示した偏光フィルタＦ_１，Ｆ_２，Ｆ_３，Ｆ_４が設けられる光源Ｌ_１、Ｌ_２，Ｌ_３，Ｌ_４と、カメラ１０とを含む。撮像部２は、偏光フィルタＦ_１，Ｆ_２，Ｆ_３，Ｆ_４を介して各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４から偏光方向の異なる光が同時に照射された状態の被写体１００をカメラ１０によって撮像し、撮像画像の画像データを情報処理装置３へ出力する。

情報処理装置３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータや各種の回路を含む。

情報処理装置３は、ＣＰＵがＲＯＭに記憶された情報処理プログラムを、ＲＡＭを作業領域として使用して実行することにより機能するキャリブレーション部４と、信号分離部５と、法線算出部６と、距離推定部７とを備える。

なお、情報処理装置３が備えるキャリブレーション部４、信号分離部５、法線算出部６、および距離推定部７は、一部または全部がＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、信号分離部５、法線算出部６、および距離推定部７は、必ずしも情報処理装置３に設けられている必要はなく、例えば、クラウド上に設けられてもよい。

情報処理装置３が備えるキャリブレーション部４、信号分離部５、法線算出部６、および距離推定部７は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、情報処理装置３の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

［４．１．キャリブレーション部］
キャリブレーション部４は、記憶部を備えており、カメラ１０の出力輝度のリニア化に関する情報、各光源で照明した場合に生じるシェーディングデータの情報、光源方向と偏光方向とを対応付けした情報等を記憶する。

［４．１．１．カメラの出力輝度のリニア化］
図３は、本開示に係るカメラの露光量と出力輝度との関係を示す説明図である。図３に示すように、カメラ１０は、露光量ｉが多くなるほど、撮像画像における出力輝度ｉ´が高くなる。ただし、図３に実線で示すように、露光量ｉの変化に伴うカメラ１０の出力輝度ｉ´の変化は線形（リニア）ではない。

このため、キャリブレーション部４は、カメラ１０の露光量ｉを変化させながら順次撮像する画像の輝度を測定し、図３に実線で示すカメラ１０の露光量ｉと出力輝度ｉ´との関係を示す特性関数を算出し、特性関数の逆変換関数を記憶しておく。逆変換関数は、信号分離部５が備える後述の前処理部５１（図１３参照）が画像信号のリニア化を行う場合に使用される。これにより、カメラ１０の出力輝度ｉ´の特性が図３に点線で示すような線形（リニア）に補正される。

［４．１．２．シェーディングデータの記憶］
また、キャリブレーション部４は、各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４によって光を照射した場合に生じる陰影の状態を示すシェーディングデータを取得して記憶する。

図４および図５は、本開示に係るシェーディングデータの取得方法の説明図である。図４に示すように、シェーディングデータを取得する場合には、被写体１００（図１参照）が置かれる場所に、例えば、灰色板１０１を配置する。そして、各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４によって灰色板１０１へ順次光を照射し、カメラ１０によって灰色板１０１の画像を撮像する。

このとき、各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４は、それぞれ灰色板１０１に対する位置が異なる。このため、図４に示すように、例えば、光源Ｌ_１の点灯中には、画像の左下から右上へ向うにつれて陰影が濃くなる画像Ｉ_１１が撮像され、光源Ｌ_２の点灯中には、画像の左上から右下へ向うにつれて陰影が濃くなる画像Ｉ_１２が撮像される。

また、光源Ｌ_３の点灯中には、画像の右上から左下へ向うにつれて陰影が濃くなる画像Ｉ_１３が撮像され、光源Ｌ_４の点灯中には、画像の右下から左上へ向うにつれて陰影が濃くなる画像Ｉ_１４が撮像される。キャリブレーション部４は、これらの画像Ｉ_１１，Ｉ_１２，Ｉ_１３，Ｉ_１４の画像データをシェーディングデータとして取得して記憶する。

［４．１．３．光源方向の検出］
また、キャリブレーション部４は、各光源方向の検出を行う。図６～図８は、本開示に係る光源方向の検出方法の説明図である。図６に示すように、光源方向の検出を行う場合には、被写体１００（図１参照）が置かれる場所に、例えば、表面が鏡面仕上げされた形状が既知の球体１０２を配置する。そして、各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４によって球体１０２へ順次光を照射し、カメラ１０によって球体１０２の画像を撮像する。

このとき、各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４は、それぞれ球体１０２に対する位置が異なる。このため、図７に示すように、例えば、光源Ｌ_１の点灯中には、球体１０２の左下寄りの位置が輝度の高いハイライト部として映る画像Ｉ_２１が撮像され、光源Ｌ_２の点灯中には、球体１０２の左上寄りの位置がハイライト部として映る画像Ｉ_２２が撮像される。

また、光源Ｌ_３の点灯中には、球体１０２の右上寄りの位置がハイライト部として映る画像Ｉ_２３が撮像され、光源Ｌ_４の点灯中には、球体１０２の右下寄りの位置がハイライト部として映る画像Ｉ_２４が撮像される。

このとき、図８に示すように、ハイライト部の中心における法線方向ｎが、視線方向（カメラ１０の撮像方向）Ｖと光源方向Ｓのハーフベクトルとなる。このため、キャリブレーション部４は、下記式（１）によって各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４の光源方向を算出することができる。

［４．１．４．光源方向と偏光方向との対応付け］
また、キャリブレーション部４は、各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４の光源方向と照射する光の偏光方向との対応付けを行う。

光源方向と偏光方向との対応付けを行う場合、シェーディングデータを取得する場合と同様に、カメラ１０によって灰色板１０１（図４参照）を撮像する。キャリブレーション部４は、撮像された画像データのリニア化およびシェーディング補正を行い、後述する偏光モデルの推定を行って偏光角φ_ｉを求め、偏光角φ_ｉを偏光照明iの偏光方向とし、先に検出した光源方向と対応付け、光源方向／偏光方向対応表として記憶する。

図９は、本開示に係る光源方向／偏光方向対応表の一例を示す説明図である。図９に示す例では、光源番号（ｉ）が１の光源Ｌ_１に、偏光方向（φ_ｉ）としてφ_１が対応付けられ、光源方向（Ｓ_ｉ）としてＳ_１が対応付けられている。光源番号（ｉ）が２の光源Ｌ_２に、偏光方向（φ_ｉ）としてφ_２が対応付けられ、光源方向（Ｓ_ｉ）としてＳ_２が対応付けられている。

また、光源番号（ｉ）が３の光源Ｌ_３に、偏光方向（φ_ｉ）としてφ_３が対応付けられ、光源方向（Ｓ_ｉ）としてＳ_３が対応付けられている。光源番号（ｉ）が４の光源Ｌ_４に、偏光方向（φ_ｉ）としてφ_４が対応付けられ、光源方向（Ｓ_ｉ）としてＳ_４が対応付けられている。

［４．１．５．撮像部の構成］
ここで、信号分離部５の説明を行う前に、図１０～図１２を参照して撮像部２の構成について説明する。図１０～図１２は、本開示に係る撮像部の説明図である。図１０に示すように、撮像部２は、複数の偏光照明２１，２２，２３，２４と、カメラ１０と、撮影制御部１２とを含む。

各偏光照明２１，２２，２３，２４は、白色ＬＥＤである光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４と、それぞれ偏光方向が異なる偏光フィルタＦ_１，Ｆ_２，Ｆ_３，Ｆ_４とを含む。偏光フィルタＦ_１，Ｆ_２，Ｆ_３，Ｆ_４は、例えば、それぞれ偏光方向が０°，４５°，９０°，１３５°の光を選択的に透過させるフィルタである。

カメラ１０は、偏光センサ１１を備える。偏光センサ１１は、図１１に示すように、複数の撮像素子が行列状に配列される画素アレイ１３と、各撮像素子に対応付けられた異なる偏光方向の光を選択的に撮像素子へ入射させる偏光フィルタ１４と、撮像素子毎に設けられるマイクロレンズ１５とを備える。

偏光フィルタ１４には、図１２に示すように、各撮像素子と対向する位置に、４方向（０°，４５°，９０°，１３５°）のワイヤグリッドが配置された領域１４ａ，１４ｂ，１４ｃ，１４ｄが、例えば、ベイヤ配列と同様の配置で配列される。

図１０へ戻り、撮影制御部１２は、複数の偏光照明２１，２２，２３，２４を全て同時に点灯させ、その後、カメラ１０によって被写体１００（図１参照）を撮像させた後、偏光照明２１，２２，２３，２４を消灯させる。

また、撮影制御部１２は、動画撮像を行う場合には、複数の偏光照明２１，２２，２３，２４を全て同時に点灯させた状態で、カメラ１０による撮像を繰り返し行わせ、ユーザから撮像の停止指示があるまで、撮像を継続させる。撮影制御部１２は、動画撮像が終了した後に、偏光照明２１，２２，２３，２４を消灯させる。撮影制御部１２は、カメラ１０から撮像画像の画像データを取得して、後段の信号分離部５へ出力する。

［４．１．６．信号分離部］
次に、図１３を参照して信号分離部について説明する。図１３は、本開示に係る信号分離部の構成例を示すブロック図である。図１３に示すように、本開示に係る信号分離部５は、前処理部５１と、偏光デモザイク部５２と、偏光モデル推定部５３と、偏光輝度算出部５４とを備える。

前処理部５１は、カメラ１０から入力される画像データにおけるカメラ１０の出力輝度ｉ´のリニア化と、シェーディング補正とを行う。前処理部５１は、下記式（２）を使用して出力輝度ｉ´のリニア化を行う。

前処理部５１は、式（２）に示すように、各画素の出力輝度ｊ_ｘ，ｙに、カメラ１０の特性関数の逆変換関数を適用することによってリニア化した出力輝度ｊ´_ｘ，ｙを算出する。

また、前処理部５１は、下記式（３）を使用してシェーディング補正を行う。

前処理部５１は、式（３）に示すように、リニア化した各出力輝度ｊ´_ｘ，ｙを図５に示す画像Ｉ_１１，Ｉ_１２，Ｉ_１３，Ｉ_１４における対応する画素の輝度ｌ_１ｌ_２・・・ｌ_Ｍによって除算することによってシェーディング補正した出力輝度ｊ´´_ｘ，ｙを算出する。

偏光デモザイク部５２は、各画素に割り当てられた０°，４５°，９０°，１３５°の各方向のデータから、各画素ごとにこれら４方向のデータを求める（ｊ´´´_ｘ，ｙ（０），ｊ´´´_ｘ，ｙ（４５），ｊ´´´_ｘ，ｙ（９０），ｊ´´´_ｘ，ｙ（１３５））。

図１４は、本開示に係る偏光デモザイク処理の説明図である。例えば、図１４に示すように、偏光センサ１１によって撮像された画像Ｉ_３０における各９０°の偏光方向のデータを求める場合、下記式（４）を使用する。

偏光デモザイク部５２は、式（４）に示すように、９０°のワイヤグリッド（図１２参照）が設けられた撮像素子のデータａ，ｂ，ｃ，ｄを用いて、Ａ，Ｂ，Ｃのデータを算出して補完することにより、偏光デモザイク処理を行った画像Ｉ_３１のデータを算出する。

偏光デモザイク部５２は、０°，４５°，１３５°の偏光方向のデータについても同様の手法によって各画素毎のデータを算出する。図１３に戻り、偏光デモザイク部５２は、算出したデータ（ｊ´´´_ｘ，ｙ（０），ｊ´´´_ｘ，ｙ（４５），ｊ´´´_ｘ，ｙ（９０），ｊ´´´_ｘ，ｙ（１３５））を偏光モデル推定部５３へ出力する。

偏光モデル推定部５３は、偏向角と輝度との対応関係を示す偏光モデルを推定する。図１５は、本開示に係る偏光モデルの一例を示す説明図である。偏光モデル推定部５３は、各画素ごとに求められた偏光センサデータ（ｊ´´´_ｘ，ｙ（０），ｊ´´´_ｘ，ｙ（４５），ｊ´´´_ｘ，ｙ（９０），ｊ´´´_ｘ，ｙ（１３５））を用いて、図１５に示す偏光モデルを推定する。信号分離部５は、かかる偏光モデルを使用することによって、任意の偏向角（α）の場合の輝度I（α）を推定することができる。

図１５に示す偏光モデルは、式で表すと下記式（５）のようになる。

偏光モデル推定部５３は、撮影データであるI（α_１），・・・，I（α_M）から、上記式（５）における未知パラメータであるI_ｍａｘ，I_ｍｉｎ，ψを求める。

上記式（５）は、行列で表すと下記式（６）のようになる。

そして、式（６）における既知行列をＡ、未知パラメータをｘ、撮影データをｂとすると、式（６）は、下記式（７）のようになる。

そして、既知行列をＡの逆行列Ａ^－１を用いて式（７）を変形すると、下記（８）のようになり、

これにより、偏光モデル推定部５３は、下記式（９）によって未知パラメータI_ｍａｘ，I_ｍｉｎ，ψを求めることができる。

偏光輝度算出部５４は、偏光モデル推定部５３によって求められた未知パラメータI_ｍａｘ，I_ｍｉｎ，ψ、式（５）を用いて、各光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４に対応した偏光方向で照明した場合の画像輝度（ｉ＝Ｉ（φ_１）～（φ_４））を、画素毎に求める。このとき、偏光輝度算出部５４は、光源方向／偏光方向対応表５５内の偏光方向の角度を使用する。

［５．法線算出部］
次に、図１６を参照して法線算出部６による法線算出方法について説明する。図１６は、本開示に係る法線算出方法の説明図である。

法線算出部６は、図１６に示すように、例えば、３個の光源Ｌ_１，Ｌ_２，Ｌ_３がある場合、光源方向／偏光方向対応表５５内の光源方向に対応する光源ベクトルＳ_ｉ、および偏光輝度算出部５４から入力される各画素の輝度ｉを使用し、下記式（１０）、（１２）の演算を行うことによって、画素毎に法線ベクトルｎを算出する。

また、法線算出部６は、Ｍ個の光源Ｌ_１，・・・，Ｌ_Ｍがある場合、下記式（１１）、（１２）の演算を行うことによって、画素毎に法線ベクトルｎを算出する。

なお、本実施形態では、４個の光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４を使用しているため、式（１１）におけるＭは４となる。

［６．距離推定部］
次に、距離推定部７について説明する。距離推定部７は、各画素ごとに求められた法線情報を用いて、各画素ごとに、ある基準点から対応する被写体上の点までの距離Ｚを算出する。距離推定部７は、例えば、フーリエ基底を用いた下記式（１３）で表されるＦｒａｎｋｏｔ－Ｃｈｅｌｌａｐｐａアルゴリズムを用いて距離Ｚを算出する。

上記式（１３）におけるｐ，ｑは、法線算出部６によって算出された法線ベクトルｎのｘ成分，ｙ成分である。また、Ｆは、フーリエ変換、ξ_ｘは、空間周波数（ｘ）であり、ξ_ｘは、空間周波数（ｙ）である。

距離推定部７は、予めある基準点を設定し、そこから勾配場を積分して被写体の形状（距離Ｚ）を推定する。このとき、距離推定部７は、勾配場と形状との微分が一致するように距離Ｚを算出する。

［７．撮像装置が実行する処理］
次に、図１７～図１９を参照して本開示に係る撮像装置が実行する処理の一例について説明する。図１７～図１９は、本開示に係る撮像装置が実行する処理を示すフローチャートである。

なお、図１７には、キャリブレーション部４が実行するキャリブレーション処理の一例を示している。図１８には、撮像装置が行う３次元形状測定処理の一例を示している。図１９には、３次元形状測定処理における信号分離処理の一例を示している。

キャリブレーション処理を行う場合、図１７に示すように、キャリブレーション部４は、まず、カメラ特性（図３に示すカメラ１０の露光量と出力輝度との関係を示す特性関数）の逆変換関数を算出して記憶する（ステップＳ１０１）。続いて、キャリブレーション部４は、シェーディングデータ（図５参照）を取得して記憶する（ステップＳ１０２）。

その後、キャリブレーション部４は、各光源（光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４）の光源方向を算出し（ステップＳ１０３）、各光源（光源Ｌ_１，Ｌ_２，Ｌ_３，Ｌ_４）の偏光方向を算出する（ステップＳ１０４）。そして、キャリブレーション部４は、各光源方向と偏光方向とを対応付けて光源方向／偏光方向対応表５５として記憶し（ステップＳ１０５）、キャリブレーション処理を終了する。

３次元形状測定処理を行う場合、図１８に示すように、まず、撮像部２は、撮像処理を行う（ステップＳ２０１）。撮像処理では、撮像部２は、３次元形状の測定対象物に対して、複数の方向から偏光方向が異なる光を同時に照射し、偏光センサ１１によって測定対象物を撮像する。続いて、信号分離部５は、撮像部２によって撮像された画像から各偏光方向に対応する画像信号を分離する信号分離処理を行う（ステップＳ２０２）。

ここで、図１９を参照して信号分離処理について説明する。信号分離処理では、図１９に示すように、信号分離部５は、まず、前処理を行う（ステップＳ３０１）。前処理では、信号分離部５は、カメラ特性の逆変換関数を使用して撮像画像におけるカメラ１０の出力輝度をリニア化し、シェーディングデータを使用して撮像画像のシェーディング補正を行う。

続いて、信号分離部５は、偏光デモザイク処理を行う（ステップＳ３０２）。偏光デモザイク処理では、信号分離部５は、シェーディング補正後の撮像画像をデモザイク処理（図１４参照）して補完することにより、偏光方向毎の画像データを生成する。

その後、信号分離部５は、偏光モデル推定処理を行う（ステップＳ３０３）。偏光モデル推定処理では、信号分離部５は、偏光方向毎の画像データ（画素毎の輝度）から偏光モデル（式（５））における未知のパラメータ（I_ｍａｘ，I_ｍｉｎ，ψ）を算出することによって、偏光モデルを推定する。

続いて、信号分離部５は、偏光輝度算出処理を行う（ステップＳ３０４）。偏光輝度算出処理では、信号分離部５は、光源方向／偏光方向対応表５５に含まれる光源方向に対応する偏光方向と、偏光モデルとに基づいて、光源方向毎の画像における各画素の輝度を算出し、法線算出部６へ出力する。

図１８へ戻り、信号分離処理が終了すると、法線算出部６は、法線算出処理を行う（ステップＳ２０３）。法線算出処理では、法線算出部６は、信号分離処理によって算出された光源方向毎の画像における各画素の輝度と、既知の光源方向とに基づいて、画素毎に測定対象物の表面における法線ベクトルを算出する。

続いて、距離推定部７は、距離推定処理を行う（ステップＳ２０４）。距離推定処理では、距離推定部７は、法線算出処理によって算出された画素毎の法線ベクトルを用いて、画素毎に所定の基準点から測定対象物上の点までの距離を算出することによって、測定対象物の３次元形状を測定する。

［８．カメラの変形例］
次に、図２０を参照してカメラ１０の変形例について説明する。図２０は、本開示に係るカメラの変形例を示す説明図である。変形例に係るカメラは、図２０に示す偏光センサ１０Ａを備える。

偏光センサ１０Ａは、ビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄと、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄと、偏光フィルタ１１ａ，１１ｂ，１１ｃ，１１ｄとを備える。

ビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄは、入射光を複数の光線に分割する。イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄは、各光線を受光する。偏光フィルタ１１ａ，１１ｂ，１１ｃ，１１ｄは、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄとビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄとの間に設けられ、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄ毎に偏光方向が異なる。

偏光フィルタ１１ａは、例えば、偏光角度が０°の光を選択的に透過させる。偏光フィルタ１１ｂは、例えば、偏光角度が４５°の光を選択的に透過させる。偏光フィルタ１１ｃは、例えば、偏光角度が９０°の光を選択的に透過させる。偏光フィルタ１１ｄは、例えば、偏光角度が１３５°の光りを選択的に透過させる。

これにより、イメージセンサ１０ａは、偏光角度が０°の光だけが当てられた被写体の画像を撮像することができる。イメージセンサ１０ｂは、偏光角度が４５°の光だけが当てられた被写体の画像を撮像することができる。イメージセンサ１０ｃは、偏光角度が９０°の光だけが当てられた被写体の画像を撮像することができる。イメージセンサ１０ｄは、偏光角度が１３５°の光だけが当てられた被写体の画像を撮像することができる。

撮像装置１は、偏光センサ１１に代えて図２０に示す偏光センサ１０Ａを備えることにより、偏光デモザイク部５２が行う偏光デモザイク処理が不要となるため、処理負荷を低減することが可能となる。

［９．効果］
撮像装置は、撮像部２と、信号分離部５と、法線算出部６と、距離推定部７とを有する。撮像部２は、被写体１００へ照射する光の偏光方向が異なる複数の偏光照明２１，２２，２３，２４と偏光センサ１１とを備え、複数の偏光照明２１，２２，２３，２４から同時に光が照射される被写体１００の画像を撮像する。信号分離部５は、撮像部２によって撮像される画像から各偏光方向に対応する画素信号を分離して偏光方向毎の画像を生成する。法線算出部６は、偏光方向毎の画像から照度差ステレオ法によって被写体の表面における法線を算出する。距離推定部７は、法線算出部によって算出される法線に基づいて被写体の形状を推定する。これにより、撮像装置１は、動物体の３次元形状を正確に測定することができる。

撮像装置１は、各偏光照明２１，２２，２３，２４、当該偏光照明２１，２２，２３，２４によって照射される光の偏光方向、および当該偏光照明２１，２２，２３，２４の被写体１００に対する方向が対応付けられた対応情報である光源方向／偏光方向対応表５５を記憶する記憶部をさらに備える。信号分離部５は、偏光方向毎の画像における各画素の輝度に基づいて、任意の偏光方向と当該偏光方向の光が照射された被写体の画像における各画素の輝度との対応関係を示す偏光モデルを推定し、偏光モデルと対応情報とに基づいて偏光照明２１，２２，２３，２４毎の画像における各画素の輝度を算出する。これにより、撮像装置１は、各偏光照明２１，２２，２３，２４毎の画像における各画素の正確な輝度を算出することができる。

法線算出部６は、偏光照明２１，２２，２３，２４毎の画像における各画素の輝度と対応情報とに基づいて、被写体１００の表面における法線を算出する。これにより、撮像装置１は、より正確な法線を算出することができる。

複数の偏光照明２１，２２，２３，２４は、それぞれ偏光方向が異なる偏光フィルタＦ_１、Ｆ_２、Ｆ_３、Ｆ_４が光源Ｌ_１、Ｌ_２、Ｌ_３、Ｌ_４の光出射面に設けられる。これにより、撮像装置１は、例えば、白色に発光する光源と、光源に設ける偏光フィルタが透過させる光の偏向方向の数を増やすだけで、コストを増大させることなく、光源方向の数を増加させることができる。

偏光センサ１１は、画素アレイ１３と、偏光フィルタ１４とを有する。画素アレイ１３は、複数の撮像素子が行列状に配列される。偏光フィルタ１４は、撮像素子に対応付けられた異なる偏光方向の光を選択的に撮像素子へ入射させる。これにより、撮像装置１は、一つの画素アレイ１３によって、偏光方向が異なる複数の光毎の画像を撮像することができる。

偏光センサ１１は、ビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄと、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄと、偏光フィルタ１１ａ，１１ｂ，１１ｃ，１１ｄとを有する。ビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄは、入射光を複数の光線に分割する。イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄは、各光線を受光する。偏光フィルタ１１ａ，１１ｂ，１１ｃ，１１ｄは、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄとビームスプリッタ１５ａ，１５ｂ，１５ｃ，１５ｄとの間に設けられ、イメージセンサ１０ａ，１０ｂ，１０ｃ，１０ｄ毎に偏光方向が異なる。これにより、撮像装置１は、偏光デモザイク処理が不要となるため、処理負荷を低減することが可能となる。

撮像方法は、コンピュータが、被写体１００へ照射する光の偏光方向が異なる複数の照明から同時に光が照射される被写体の画像を偏光センサ１１によって撮像し、偏光センサ１１によって撮像される画像から各偏光方向に対応する画素信号を分離して偏光方向毎の画像を生成し、偏光方向毎の画像から照度差ステレオ法によって被写体の表面における法線を算出し、法線に基づいて被写体の形状を推定することを含む。これにより、撮像方法は、動物体の３次元形状を正確に測定することができる。

情報処理装置３は、記憶部と、信号分離部５と、法線算出部６と、距離推定部７とを有する。記憶部は、被写体１００へ照射する光の偏光方向が異なる複数の偏光照明２１，２２，２３，２４、当該偏光照明２１，２２，２３，２４によって照射される光の偏光方向、および当該偏光照明２１，２２，２３，２４の被写体に対する方向が対応付けられた対応情報である光源方向／偏光方向対応表５５を記憶する。信号分離部５は、複数の偏光照明２１，２２，２３，２４から同時に光が照射される被写体１００が偏光センサ１１によって撮像された画像から各偏光方向に対応する画素信号を分離して対応情報に基づいて照明毎の画像を生成する。法線算出部６は、偏光照明２１，２２，２３，２４毎の画像から照度差ステレオ法によって被写体１００の表面における法線を算出する。距離推定部７は、法線算出部６によって算出される法線に基づいて被写体１００の形状を推定する。これにより、情報処理装置３は、動物体の３次元形状を正確に測定することができる。

情報処理方法は、コンピュータが、被写体１００へ照射する光の偏光方向が異なる複数の照明２１，２２，２３，２４、当該照明２１，２２，２３，２４によって照射される光の偏光方向、および当該偏光照明２１，２２，２３，２４の被写体１００に対する方向が対応付けられた対応情報である光源方向／偏光方向対応表５５を記憶し、複数の偏光照明２１，２２，２３，２４から同時に光が照射される被写体１００が偏光センサ１１によって撮像された画像から各偏光方向に対応する画素信号を分離して対応情報に基づいて偏光照明２１，２２，２３，２４毎の画像を生成し、偏光照明２１，２２，２３，２４毎の画像から照度差ステレオ法によって被写体１００の表面における法線を算出し、法線に基づいて被写体１００の形状を推定することを含む。これにより、情報処理方法は、動物体の３次元形状を正確に測定することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
被写体へ照射する光の偏光方向が異なる複数の照明と偏光センサとを備え、前記複数の照明から同時に光が照射される前記被写体の画像を撮像する撮像部と、
前記撮像部によって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成する分離部と、
前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する算出部と、
前記算出部によって算出される法線に基づいて前記被写体の形状を推定する推定部と
を有する撮像装置。
（２）
各前記照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶する記憶部
をさらに備え、
前記分離部は、
前記偏光方向毎の画像における各画素の輝度に基づいて、任意の偏光方向と当該偏光方向の光が照射された被写体の画像における各画素の輝度との対応関係を示す偏光モデルを推定し、前記偏光モデルと前記対応情報とに基づいて前記照明毎の画像における各画素の輝度を算出する
前記（１）に記載の撮像装置。
（３）
前記算出部は、
前記照明毎の画像における各画素の輝度と前記対応情報とに基づいて、前記被写体の表面における法線を算出する
前記（２）に記載の撮像装置。
（４）
前記複数の照明は、
それぞれ偏光方向が異なる偏光フィルタが光源の光出射面に設けられる
前記（１）から（３）のいずれかに記載の撮像装置。
（５）
前記偏光センサは、
複数の撮像素子が行列状に配列される画素アレイと、
前記撮像素子に対応付けられた異なる偏光方向の光を選択的に前記撮像素子へ入射させる偏光フィルタと
を有する前記（１）から（４）のいずれかに記載の撮像装置。
（６）
前記偏光センサは、
入射光を複数の光線に分割するビームスプリッタと、
各光線を受光するイメージセンサと、
前記イメージセンサと前記ビームスプリッタとの間に設けられ、前記イメージセンサ毎に偏光方向が異なる偏光フィルタと
を有する前記（１）から（４）のいずれかに記載の撮像装置。
（７）
コンピュータが、
被写体へ照射する光の偏光方向が異なる複数の照明から同時に光が照射される前記被写体の画像を偏光センサによって撮像し、
前記偏光センサによって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成し、
前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出し、
前記法線に基づいて前記被写体の形状を推定する
ことを含む撮像方法。
（８）
被写体へ照射する光の偏光方向が異なる複数の照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶する記憶部と、
前記複数の照明から同時に光が照射される前記被写体が偏光センサによって撮像された画像から各前記偏光方向に対応する画素信号を分離して前記対応情報に基づいて前記照明毎の画像を生成する分離部と、
前記照明毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する算出部と、
前記算出部によって算出される法線に基づいて前記被写体の形状を推定する推定部と
を有する情報処理装置。
（９）
コンピュータが、
被写体へ照射する光の偏光方向が異なる複数の照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶し、
前記複数の照明から同時に光が照射される前記被写体が偏光センサによって撮像された画像から各前記偏光方向に対応する画素信号を分離して前記対応情報に基づいて前記照明毎の画像を生成し、
前記照明毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出し、
前記法線に基づいて前記被写体の形状を推定する
ことを含む情報処理方法。

１ 撮像装置
２ 撮像部
３ 情報処理装置
４ キャリブレーション部
５ 信号分離部
６ 法線算出部
７ 距離推定部
１０ カメラ
１１ 偏光センサ
１２ 撮影制御部
５１ 前処理部
５２ 偏光デモザイク部
５３ 偏光モデル推定部
５４ 偏光輝度算出部
５５ 光源方向／偏光方向対応表

Claims (9)

1. 被写体へ照射する光の偏光方向が異なる複数の照明と偏光センサとを備え、前記複数の照明から同時に光が照射される前記被写体の画像を撮像する撮像部と、
   前記撮像部によって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成する分離部と、
   前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する算出部と、
   前記算出部によって算出される法線に基づいて前記被写体の形状を推定する推定部と
   を有する撮像装置。
2. 各前記照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶する記憶部
   をさらに備え、
   前記分離部は、
   前記偏光方向毎の画像における各画素の輝度に基づいて、任意の偏光方向と当該偏光方向の光が照射された被写体の画像における各画素の輝度との対応関係を示す偏光モデルを推定し、前記偏光モデルと前記対応情報とに基づいて前記照明毎の画像における各画素の輝度を算出する
   請求項１に記載の撮像装置。
3. 前記算出部は、
   前記照明毎の画像における各画素の輝度と前記対応情報とに基づいて、前記被写体の表面における法線を算出する
   請求項２に記載の撮像装置。
4. 前記複数の照明は、
   それぞれ偏光方向が異なる偏光フィルタが光源の光出射面に設けられる
   請求項１に記載の撮像装置。
5. 前記偏光センサは、
   複数の撮像素子が行列状に配列される画素アレイと、
   前記撮像素子に対応付けられた異なる偏光方向の光を選択的に前記撮像素子へ入射させる偏光フィルタと
   を有する請求項１に記載の撮像装置。
6. 前記偏光センサは、
   入射光を複数の光線に分割するビームスプリッタと、
   各光線を受光するイメージセンサと、
   前記イメージセンサと前記ビームスプリッタとの間に設けられ、前記イメージセンサ毎に偏光方向が異なる偏光フィルタと
   を有する請求項１に記載の撮像装置。
7. コンピュータが、
   被写体へ照射する光の偏光方向が異なる複数の照明から同時に光が照射される前記被写体の画像を偏光センサによって撮像し、
   前記偏光センサによって撮像される画像から各前記偏光方向に対応する画素信号を分離して前記偏光方向毎の画像を生成し、
   前記偏光方向毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出し、
   前記法線に基づいて前記被写体の形状を推定する
   ことを含む撮像方法。
8. 被写体へ照射する光の偏光方向が異なる複数の照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶する記憶部と、
   前記複数の照明から同時に光が照射される前記被写体が偏光センサによって撮像された画像から各前記偏光方向に対応する画素信号を分離して前記対応情報に基づいて前記照明毎の画像を生成する分離部と、
   前記照明毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出する算出部と、
   前記算出部によって算出される法線に基づいて前記被写体の形状を推定する推定部と
   を有する情報処理装置。
9. コンピュータが、
   被写体へ照射する光の偏光方向が異なる複数の照明、当該照明によって照射される光の偏光方向、および当該照明の前記被写体に対する方向が対応付けられた対応情報を記憶し、
   前記複数の照明から同時に光が照射される前記被写体が偏光センサによって撮像された画像から各前記偏光方向に対応する画素信号を分離して前記対応情報に基づいて前記照明毎の画像を生成し、
   前記照明毎の画像から照度差ステレオ法によって前記被写体の表面における法線を算出し、
   前記法線に基づいて前記被写体の形状を推定する
   ことを含む情報処理方法。

Images