JPWO2019012858A1 - 撮像装置、画像生成方法、撮像システム - Google Patents

Abstract

一回の撮像により、例えば透明部分と不透明部分を表現できるような画像を容易に得ることができるようにする。撮像装置は撮像部と画像生成部を有する。撮像部は、第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する。画像生成部は、少なくとも第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも第二画素群を含む画素群の信号に基づいて、第一画像とは異なる第二画像を生成する処理を行う。

Description

本技術は撮像装置、画像生成方法、撮像システムに関するものであり、特には、任意偏光方向の直線偏光を選択的に受光して得られる偏光画像を信号処理により生成する場合に適用して好適な技術に関する。

例えば、撮像装置のレンズに取り付けた回転自在な偏光フィルタにより、水面やガラスの表面反射を抑えたり、空の青みを調整するといったことが可能とされる。使用者は、偏光フィルタの回転角度を調整することで、フィルタ効果の効き具合を調整することができる。

なお、関連する従来技術については下記特許文献１を挙げることができる。

特開２００３−９８０７２号公報

特許文献１に示されるように、透明なプラスチック成形品などを撮影するために、その複屈折の性質を利用し、偏光照明を用いて、それと直交する向きの偏光フィルタを装着したカメラで撮像することが行われている。
この場合、透明な部分と不透明な部分を持つワーク（被検査品）を撮像する場合には、ステージを別に設け、透明部分と不透明部分のそれぞれを別々のカメラで撮像を行うことになる。
このため、検査のための撮像システム構成の複雑化が生ずる。
また透明部分と不透明部分の撮像画像を合成することで、それらを含んだ被検査品の画像が得られるが、異なるカメラで撮像した複数の画像の合成の際には当然ながら位置合わせの処理が必要となり、画像合成処理の負担が大きい。

本技術は上記の事情に鑑み為されたものであり、１台の撮像装置による一度の撮像により、例えば透明部と不透明部が混在する被写体を適切に観察できる画像を得ることができるようにすることを目的とする。

本技術に係る撮像装置は、第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部と、少なくとも前記第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも前記第二画素群を含む画素群の信号に基づいて、前記第一画像とは異なる第二画像を生成する画像生成部と、を備える。
偏光方向に対応する画像とは、単一偏光方向の成分を有する偏光画像を意味する。上記構成によれば、共通の撮像部の信号に基づいて、第二の偏光方向としての所定の偏光方向に対応する第一画像と共に、第一画像とは異なる第二画像が得られる。

上記した本技術に係る撮像装置においては、前記撮像部は、光透過性を有し透過後の光に前記第二の偏光方向の光が含まれる被写体を撮像することが考えられる。
これにより、第一画像として、被写体の透明部を映し出す画像を得ることが可能とされる。

上記した本技術に係る撮像装置においては、前記第一の偏光方向と前記第二の偏光方向が同一方向とされることが考えられる。
これにより、第一画像は、後述する関数を用いず第一画素群の信号をそのまま用いて生成することが可能とされる。

上記した本技術に係る撮像装置においては、前記第一の偏光方向と前記第二の偏光方向が異方向とされることが考えられる。
これにより、第一画像として、第一の偏光方向（つまり第一画素群が受光可能な直線偏光の偏光方向）とは異なる偏光方向に対応する画像を得ることが可能とされる。換言すれば、第一画像を得るにあたり、該第一画像が対応する偏光方向と第一画素群が受光可能な直線偏光の偏光方向とを一致させる必要がなくなる。

上記した本技術に係る撮像装置においては、前記画像生成部は、前記第一画像と前記第二画像を同時に生成することが考えられる。
これにより、第一画像と第二画像が共通の撮像部の信号に基づいて同時に生成される。

上記した本技術に係る撮像装置においては、前記撮像部は、それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列されている構成とすることが考えられる。
これにより、各画素ユニットにおいては、画素毎に偏光方向の異なる直線偏光がそれぞれ受光される。

上記した本技術に係る撮像装置においては、回転自在な偏光フィルタを介した光を受光して撮像画像を得ると仮定した場合における前記偏光フィルタの回転角度を仮想フィルタ角度としたときに、前記画像生成部は、生成する画像データの一つとして、前記仮想フィルタ角度を、前記偏光部に入射する直線偏光の偏光方向に略直交する角度とした場合に得られる画像に相当する直交画像となる画像データを生成することが考えられる。
即ち透明部が映し出される直交画像を得る。

上記した本技術に係る撮像装置においては、前記画像生成部は、前記画素ユニットにおけるそれぞれ異なる直線偏光を受光する前記受光素子の受光信号値に基づき前記仮想フィルタ角度と受光信号値との関係を表す関数を取得し、前記関数を用いて、前記直交画像となる画像データを生成することが考えられる。
即ち仮想フィルタ角度と受光信号値との関係を表す関数を用いることで、透明部が映し出される直交画像を得る。

上記した本技術に係る撮像装置においては、前記画像生成部は、生成する画像データの一つとして、前記偏光フィルタ機能をキャンセルしたキャンセル画像となる画像データを生成することが考えられる。
即ち透明部が映し出される直交画像に加え、不透明部が映し出されるキャンセル画像を得るようにする。

上記した本技術に係る撮像装置においては、前記画像生成部は、前記直交画像と前記キャンセル画像の合成画像を生成する処理を行うことが考えられる。
即ち透明部が映し出される直交画像と不透明部が映し出されるキャンセル画像を合成した合成画像を生成する。

上記した本技術に係る撮像装置においては、前記画像生成部は、前記直交画像と前記キャンセル画像の差分に基づいて抽出した透明部の画像と、前記キャンセル画像から抽出した不透明部の画像の合成画像を生成する処理を行うことが考えられる。
直交画像と不透明部の差分に基づいて被写体の透明部分が抽出できる。キャンセル画像は通常の画像であるので、不透明部分が抽出できる。

上記した本技術に係る撮像装置においては、前記画像生成部は、透明被写体の輪郭を観察できる画像を生成することが考えられる。
即ち所定の偏光条件の画像、もしくは複数の所定の偏光条件の画像の合成等の演算により透明被写体の輪郭が観察できる画像を生成する。

上記した本技術に係る撮像装置においては、前記画像生成部は、不透明被写体の輪郭を観察できる画像を生成することが考えられる。
即ち所定の偏光条件の画像、もしくは複数の所定の偏光条件の画像の合成等の演算により不透明被写体の輪郭が観察できる画像を生成する。

上記した本技術に係る撮像装置においては、前記画像生成部は、被写体の輪郭を観察できる画像を生成するとともに、該画像から判定される輪郭の情報を用いて、回転補正を施した画像を生成することが考えられる。
透明被写体や不透明被写体の輪郭線により、傾きが検出できる。このように検出した傾きに基づき、被写体が映し出された画像の回転補正を行う。

上記した本技術に係る撮像装置においては、前記撮像部は、偏光スプリッタと、所定数の受光素子を有し該受光素子が前記偏光スプリッタの分離面を反射した反射光の光軸に略直交する受光面を有して前記反射光を受光する第一種の画素と、所定数の受光素子を有し該受光素子が前記分離面を透過した透過光の光軸に略直交する受光面を有して前記透過光を受光する第二種の画素と、を有した画素対を複数備え、隣接関係にある前記画素対において、前記偏光スプリッタにおける前記分離面の偏光軸の面内角度が異なっているようにすることが考えられる。
上記の撮像部においては、一つの画素対（一つの画素位置）につき、偏光方向が直交関係にある２種の直線偏光を選択的に受光可能とされ、また、隣接関係にある二つの画素対においては、偏光方向がそれぞれ異なる４種の直線偏光を選択的に受光可能とされる。

本技術に係る画像生成方法は、第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部により被写体を撮像し、少なくとも前記第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも前記第二画素群を含む画素群の信号に基づいて、前記第一画像とは異なる第二画像を生成する画像生成方法である。
この画像生成方法によっても、上記した本技術に係る撮像装置と同様の作用が得られる。

本技術に係る撮像システムは、直線偏光とされた光を照射する偏光照明と、第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部と、少なくとも前記第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも前記第二画素群を含む画素群の信号に基づいて、前記第一画像とは異なる第二画像を生成する画像生成部と、を備える。
偏光照明は、例えば照明装置と偏光フィルタを用いる構成等により所定角度の偏光を被写体に照射する照明をいう。

上記した本技術に係る撮像システムにおいては、前記偏光照明とは異なる方向から被写体に非偏光を照射する照明を備えることが考えられる。
例えば被写体の表面の画像光が撮像部に導かれるようにする照明を追加する。

上記した本技術に係る撮像システムにおいては、前記撮像部は、前記偏光照明を被写体の背面側から照射した状態で、被写体の前面側を撮像するように配置されることが考えられる。
この場合、被写体において偏光照明の複屈折が生じた部分が区別される画像を生成できる。

上記した本技術に係る撮像システムにおいては、前記撮像部は、前記偏光照明を被写体の背面側から照射した状態で、被写体の前面側を撮像するように配置されるとともに、被写体の正面側から非偏光を照射する照明を備えることが考えられる。
この場合、被写体において偏光照明の複屈折が生じた部分が区別される画像を生成できるとともに、被写体の表面を表現できる画像が生成できるような撮像が行われる。

本技術によれば、撮像装置による１回の撮像により、所定の偏光方向に対応する第一画像と該第一画像とは異なる第二画像とを得ることができる。従って、例えば被写体の透明部分、不透明部分の撮像画像などを一度の撮像により得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第一実施形態としての撮像システムの構成例を示した図である。 第一実施形態としての撮像装置の内部構成例を示したブロック図である。 第一実施形態としての撮像装置が備える撮像部の構造についての説明図である。 実施形態におけるキャンセル画像の生成手法についての説明図である。 実施形態における関数のフィッティングについての説明図である。 実施形態における関数の例の説明図である。 第一実施形態の画像取得手法についての説明図である。 第一実施形態におけるキャンセル画像と直交画像の合成についての説明図である。 第一実施形態としての画像取得手法を実現するために画像生成部が行う処理の手順を示したフローチャートである。 第二実施形態としての撮像システムの構成例を示した図である。 第二実施形態の撮像装置において被写体を撮像した際の作用についての説明図である。 第二実施形態における画像合成についての説明図である。 第二実施形態としての画像取得手法を実現するために画像生成部が行う処理の手順を示したフローチャートである。 第三実施形態としての撮像システムの構成例を示した図である。 第三実施形態における撮像装置の内部構成についての説明図である。 第三実施形態において前提とする被写体の例についての説明図である。 第三実施形態において透明用紙を撮像した場合に得られるキャンセル画像、直交画像、及び平行画像を例示した図である。 第三実施形態において不透明用紙を撮像した場合に得られるキャンセル画像、直交画像、及び平行画像を例示した図である。 用紙表示情報の取り込み時に対応して画像生成部が行う処理の手順を示したフローチャートである。 第三実施形態におけるマニュアルモードの設定下で行われるべき制御部の処理手順を示したフローチャートである。 第三実施形態における画像生成部が行う用紙判定のための処理を示したフローチャートである。 第三実施形態における自動選択モードの設定下で行われるべき制御部の処理手順を示したフローチャートである。 変形例としての撮像部の構造についての説明図である。 変形例としての撮像部を用いた場合における第一偏光画像〜第四偏光画像、及びキャンセル画像の生成手法の例について説明するための図である。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．第一実施形態＞
［1-1．撮像システムの構成概要］
［1-2．信号処理による仮想偏光画像の生成］
［1-3．第一実施形態の画像取得手法］
［1-4．処理手順］
＜２．第二実施形態＞
［2-1．撮像システムの構成概要］
［2-2．第二実施形態の画像取得手法］
［2-3．処理手順］
＜３．第三実施形態＞
［3-1．システム構成概要］
［3-2．透明用紙／不透明用紙の対応手法］
［3-3．処理例］
＜４．撮像部の変形例＞
＜５．実施形態のまとめ＞
＜６．本技術＞

＜１．第一実施形態＞
［1-1．撮像システムの構成概要］

図１に、本技術に係る第一実施形態としての撮像装置１を備えた撮像システム１０の構成例を示す。
撮像システム１０は、撮像装置１、発光部２、偏光フィルタ３、及びステージ４を備えている。
撮像装置１は、後述する撮像部１１を備え、ステージ４上に配置される透明部５ａと不透明部５ｂとを有する被写体５の撮像画像を得ることが可能とされる。
ここで、透明部５ａと不透明部５ｂとを有する被写体５の例としては、例えば、ペットボトル製品等を挙げることができる。例えば、透明部５ａが透明容器部分、不透明部５ｂが容器のキャップ部分や栓部分に相当する場合等である。

発光部２は、ステージ４を介して撮像装置１と対向して位置され、撮像装置１側に向けて光を出射する。発光部２は、光源として例えばＬＥＤ（発光ダイオード）や蛍光灯、白熱電球等の所要の発光素子が用いられ、非偏光（自然光）を出射する。

偏光フィルタ３は、発光部２の光出射面側に設けられ、発光部２からの出射光に含まれる特定偏光方向による直線偏光を選択的に透過する。この直線偏光は、偏光フィルタ３からステージ４上に配置された被写体５に向けて出射される。つまりは、偏光フィルタ３から見てステージ４の奥側に位置された撮像装置１側に出射されるとも換言できる。
発光部２と偏光フィルタ３は、撮像装置１側から見て、ステージ４上に配置された被写体５の背後から被写体５に特定偏光方向による直線偏光を照射する偏光照明として機能する。この意味で以下、発光部２と偏光フィルタ３による偏光照明を「偏光バックライト」と表記する。
また、上記のように被写体５を境に偏光バックライトと対向して位置された撮像装置１は、被写体５の背面側から偏光が照射された状態で、被写体５の前面側を撮像するように配置されていると換言できる。

図２は、撮像装置１の内部構成例を示したブロック図である。
撮像装置１は、撮像部１１、記憶部１４、通信部１５、表示部１６、操作部１７、光学系１８、光学系駆動部１９、デジタル信号処理部２０、及び制御部３０を有する。

光学系１８は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１８により、被写体からの光が、撮像部１１における撮像素子１２に集光される。

撮像部１１は、例えばＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal -Oxide Semiconductor）型など撮像素子１２（後述する）を有し、撮像素子１２での光電変換で得た電気信号について例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。
なお、本実施形態における撮像部１１の構造については後述する。

光学系駆動部１９は、制御部３０の制御に基づいて、光学系１８におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１９は、制御部３０の制御に基づいて、光学系１８における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１９は、制御部３０の制御に基づいて、光学系１８におけるズームレンズを駆動し、ズーム動作を実行する。

デジタル信号処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、撮像部１１からのデジタル信号（撮像画像データ）に対して、各種の信号処理を施す。
本実施形態におけるデジタル信号処理部２０は、偏光処理部２１、及びコーデック部２２を少なくとも有している。

偏光処理部２１は、本技術に係る「画像生成部」の一実施形態であり、撮像部１１からのデジタル信号に基づき、異なる偏光条件とされた複数の画像データを生成する。後述するように、偏光処理部２１が生成する画像の一つには、所定の偏光方向に対応する画像が含まれる。ここで、「偏光方向に対応する画像」とは、単一偏光方向の成分を有する偏光画像を意味する。換言すれば、単一偏光方向による直線偏光を選択的に受光して得られる画像を意味するものである。なお、当該「単一偏光方向による直線偏光を選択的に受光して得られる画像」には、後述する関数Ｆを用いた信号処理で生成される仮想偏光画像等、撮像部１１で得られた信号に対する処理によって生成される画像も含まれる。
なお、偏光処理部２１が行う処理については改めて説明する。

コーデック部２２は、偏光処理部２１により生成された画像データについて、例えば記録用や通信用の符号化処理を行う。

制御部３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、撮像装置１全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、使用者の操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

表示部１６は、使用者（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
表示部１６は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。

操作部１７は、使用者の操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部１７としては、例えば撮像装置１の筐体上に設けられた各種操作子や、表示部１６に形成されたタッチパネルなどとして実現される。

記憶部１４は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記憶部１４の実際の形態は多様に考えられる。例えば記憶部１４は、撮像装置１に内蔵されるフラッシュメモリでもよいし、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

通信部１５は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

［1-2．信号処理による仮想偏光画像の生成］

図３は、撮像装置１が備える撮像部１１の構造についての説明図であり、図３Ａは概略縦断面図、図３Ｂは概略正面図である。
撮像部１１においては、撮像素子１２の撮像面上に光学部材１３が配置されている。撮像素子１２においては、複数の受光素子１２ａが二次元（縦横方向）に配列されており、光学部材１３においては、受光素子１２ａごとに、受光面上に位置する偏光フィルタ１３ａが形成されている。

図３Ｂでは、各偏光フィルタ１３ａの偏光軸の向き（角度）を両矢印で模式的に示しているが、該両矢印を参照して分かるように、偏光フィルタ１３ａとしては偏光軸の角度が４５ｄｅｇずつ異なる４種が用いられている。
以下では仮に、紙面の横方向、つまり撮像素子１２の横方向（水平ライン方向）と一致する方向が水平方向（水平線）と一致するものとし、横向きの両矢印で表す偏光軸の角度を「０ｄｅｇ」、縦向きの両矢印で表す偏光軸の角度を「９０ｄｅｇ」、右上がり（左下がり）に傾斜した両矢印で表す偏光軸の角度を「４５ｄｅｇ」、左上がり（右下がり）に傾斜した両矢印で表す偏光軸の角度を「１３５ｄｅｇ」と表記する。

撮像素子１２において、各受光素子１２ａ（つまり本例では各画素）は、受光面上に配置された対応する偏光フィルタ１３ａの偏光軸角度に一致する角度の直線偏光を選択的に受光することになる。

本例では、縦２×横２＝４つの受光素子１２ａが一つの画素ユニットＵを構成し、画素ユニットＵにおいては、各受光素子１２ａ上の偏光フィルタ１３ａの偏光軸が４５ｄｅｇずつ異なっている。
撮像部１１においては、このような画素ユニットＵが縦方向及び横方向に複数配列されている。

上記のように偏光方向が異なる直線偏光を選択的に受光可能とした撮像部１１を用いることで、偏光の情報を得ることができる。
具体的に、偏光方向が異なる直線偏光をそれぞれ個別に受光した複数の受光信号値を用いることで、偏光フィルタの偏光軸の角度と受光素子１２ａで得られる受光信号値（輝度値）との関係を表す関数を求めることができる。これはすなわち、回転可能な偏光フィルタを介した光を受光して撮像画像を得ると仮定した際における、該偏光フィルタの回転角度と受光信号値（輝度値）との関係を表す関数が求まることを意味する。
ここで以下、上記のように回転可能な偏光フィルタを介した光を受光して撮像画像を得ると仮定した際における該偏光フィルタの回転角度のことを、「仮想フィルタ角度」と表示する。また、上記の関数を「関数Ｆ」と表記する。
関数Ｆは、具体的にはｃｏｓカーブとされる。このｃｏｓカーブを用いることで、仮想フィルタ角度を任意角度とした場合に得られる受光信号値を求めることができる。すなわち、任意の偏光フィルタ効果を与えた画像を得ることができる。

また、上記のような撮像部１１を用いた場合、互いの偏光方向が９０ｄｅｇ異なる二つの直線偏光の受光信号値同士を加算することで、光学部材１３による偏光の分離をキャンセルした撮像画像、すなわち、偏光フィルタ効果をキャンセルした通常の撮像画像に相当する画像を得ることができる。
以下、このように偏光フィルタ効果をゼロとした通常の撮像画像に相当する画像のことを「キャンセル画像」と表記する。

図２に示した偏光処理部２１が行うキャンセル画像の生成、及び関数Ｆのフィッティングについて図４乃至図６を参照して説明する。
図４は、キャンセル画像の生成手法についての説明図である。
図４Ａでは、撮像部１１における画素配列を各偏光フィルタ１３ａの偏光軸角度の表記と共に模式的に表している。

先ず、後述するように、本例のｃｏｓカーブのフィッティングでは、各画素位置において０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの４種の直線偏光の受光信号値を得ることを前提としている。
一方で、撮像部１１においては、偏光フィルタ１３ａの偏光軸が０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの画素は、図４Ｂで表すように縦方向及び横方向においてそれぞれ間欠的に配置されているため、そのままでは各画素位置について４種の直線偏光の受光信号値を得ることはできない。
このため、０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの各直線偏光について、図４Ｃに示すようにそれぞれ受光信号値が欠落する画素位置の受光信号値を対応する直線偏光が受光される画素の受光信号値を用いて補間し、各画素位置で０ｄｅｇの直線偏光を選択的に受光したことに相当する画像（以下「第一偏光画像」と表記）、各画素位置で９０ｄｅｇの直線偏光を選択的に受光したことに相当する画像（以下「第二偏光画像」と表記）、各画素位置で４５ｄｅｇの直線偏光を選択的に受光したことに相当する画像（以下「第三偏光画像」と表記）、各画素位置で１３５ｄｅｇの直線偏光を選択的に受光したことに相当する画像（以下「第四偏光画像」と表記）をそれぞれ生成する。

上述のようにキャンセル画像は、各画素位置において、偏光方向が９０ｄｅｇ異なる二つの直線偏光の受光信号値同士を加算することで得られる。
具体的には、第一偏光画像の各画素位置の受光信号値に対し、第二偏光画像におけるそれぞれ同一画素位置の受光信号値を加算するか、或いは、第三偏光画像の各画素位置の受光信号値に対し、第四偏光画像におけるそれぞれ同一画素位置の受光信号値を加算することにより得ることができる。
図４Ｄは、このように第一偏光画像と第二偏光画像、又は第三偏光画像と第四偏光画像から仮想通常画像が生成されることを模式的に表している。

図５は、関数Ｆ（ｃｏｓカーブ）のフィッティングについての説明図であり、図５Ａは撮像部１１の或る画素位置について得られた四つの直線偏光についての受光信号値（輝度値）の例を、図５Ｂはこれら四つの受光信号値（輝度値）とｃｏｓカーブとの関係を例示している。
これら図５Ａ、図５Ｂより、各画素位置において四つの直線偏光の受光信号値が得られることで、ｃｏｓカーブをフィッティングできることが分かる。

関数Ｆとしてのｃｏｓカーブは、図６に示すように受光信号値を「Ｉ」、受光信号値の最大値、最小値をそれぞれ「Ｉｍａｘ」「Ｉｍｉｎ」、仮想フィルタ角度を「θpol」、「θpol」のオフセットを「Φ」としたとき、以下の［式１］で表される。

［式１］は、次の［式２］に変換することができる。

［式２］において「Ａ」は振幅、「φ」は原点からの位相ずれ、「ｃ」は「ｙ」のオフセットである。

ｃｏｓカーブのフィッティングは、０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの直線偏光をそれぞれ受光した四つの受光信号値を用いて、次の「式３」に基づいて最小二乗法により行う。すなわち、「Ｊ」を最小とする「ｙ」を求める。

［式３］において、「Ｉｎ」は実測値、すなわち対象とする画素位置について得られた０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの直線偏光についての受光信号値である。
上記「式３」により求まった「Ｊ」を最小とする「ｙ」が実測値にフィッティングされたｃｏｓカーブである。

ｃｏｓカーブがフィッティングされれば、該ｃｏｓカーブに任意の仮想フィルタ角度の値を代入することで、対象とする画素位置について、任意回転角度による偏光フィルタを介して受光素子１２ａが光を受光したときの受光信号値（該画素位置の輝度値）が得られる。なお、［式２］において、「仮想フィルタ角度」に相当する項は「（π／２）＊ｎ」である。

上記のようなｃｏｓカーブのフィッティング、及びｃｏｓカーブと任意の仮想フィルタ角度とを用いた輝度値の計算を各画素位置について行うことで、任意回転角度の偏光フィルタを介して撮像素子１２により撮像を行って得られる画像に相当する画像を得ることができる。
以下、上記のようにフィッティングしたｃｏｓカーブと任意の仮想フィルタ角度とに基づいて生成される画像のことを「仮想偏光画像」と表記する。

偏光処理部２１は上記のような手法により、各受光素子１２ａの受光信号値に基づき、仮想フィルタ角度を任意とした仮想偏光画像の生成と、偏光フィルタ効果をキャンセルしたキャンセル画像の生成を行うことが可能とされている。

なお、上記説明では、仮想偏光画像の解像度の低下防止を図るため、補間画像としての第一偏光画像、第二偏光画像、第三偏光画像、第四偏光画像を生成する例を挙げたが、画素ユニットＵは同じ画素位置であるとみなして、画素ユニットＵごとに４種の受光信号値に基づくｃｏｓカーブのフィッティングを行うことも可能である。

また、ｃｏｓカーブのフィッティングは、画素位置ごとに４種の直線偏光の受光信号値を用いることは必須でなく、少なくとも３種の直線偏光の受光信号値を用いれば行うことが可能である。本例では、画素位置ごとに４種の直線偏光の受光信号値を用い上記のような最小二乗法を用いたフィッティングとしていることで、対ノイズ性を高めたより高精度なフィッティングを実現している。

［1-3．第一実施形態の画像取得手法］

上記説明から理解されるように、偏光処理部２１は、共通の撮像部１１で得られる信号に基づいて、仮想偏光画像とキャンセル画像を信号処理により生成可能とされる。本例では、これら仮想偏光画像とキャンセル画像は、撮像部１１における同一のフレーム期間で得られた各受光素子１２ａの受光信号（同一の露光期間に得られた各受光素子１２ａの受光信号）に基づいて生成している。つまりこの意味で、本例では、仮想偏光画像とキャンセル画像を同時に生成するものである。
なお、ここで言う「同時」の概念は、所定枚数以内のフレーム誤差を含み得るものであるが、同一のフレームであることが望ましい。

上記のような仮想偏光画像とキャンセル画像を生成することで、透明部５ａと不透明部５ｂを有する被写体５について、透明部５ａが映し出される画像と、不透明部５ｂが映し出される画像とを得ることができる。

図７は、この点についての説明図である。
撮像システム１０において、発光部２と偏光フィルタ３による偏光バックライトからの直線偏光が背後から照射された被写体５を撮像装置１が撮像し、その撮像画像に基づいてキャンセル画像を生成したとする。
この場合のキャンセル画像には、図示のように透明部５ａは（少なくとも明確には）映し出されず、不透明部５ｂが映し出される。キャンセル画像は、偏光フィルタ効果がキャンセルされた画像であるため、仮に被写体５が存在しなければ略全白の画像となる。不透明部５ｂは撮像装置１から見て偏光バックライトからの光を遮る遮蔽物となるため、キャンセル画像においていわば影の部分として映し出される。一方、透明部５ａは偏光バックライトからの光を透過するため、不透明部５のような（少なくとも明確な）影を形成することはなく、キャンセル画像には映し出されない。

一方で、上記の撮像画像に基づき、仮想フィルタ角度を、偏光バックライトが照射する直線偏光の偏光方向に略直交する角度として得られる仮想偏光画像（以下「直交画像」と表記する）を生成したとする。
なお、偏光バックライトが照射する直線偏光の偏光方向は、光学部材１３に入射する直線偏光の偏光方向と換言できる。つまり、上記の直交画像とは、仮想フィルタ角度を、光学部材１３に入射する直線偏光の偏光方向に略直交する角度とした場合に得られる画像に相当する画像と言うことができる。
この直交画像においては、図示のように、不透明部５ｂは映し出されず、透明部５ａが映し出される。仮想フィルタ角度が直線偏光の偏光方向に略直交する角度とされているため、仮に被写体５が存在しなければ、直交画像としては略全黒画像が得られる。被写体５が存在する場合、不透明部５ｂはそもそも偏光バックライトからの光を透過しないため、直交画像には写し出されない。
これに対し、透明部５ａは、偏光バックライトからの光を透過する。このとき、偏光バックライトからの偏光は、透明部５ａを透過する際の複屈折により、偏光方向が変化する。このため、透明部５ａを透過した偏光の少なくとも一部は、その偏光方向が、直交画像の生成に用いた仮想フィルタ角度に対して直交する関係とはならず、従って、この透過光の成分が直交画像において映し出される。すなわち、透明部５ａの像が写し出される。

上記のように、撮像部１１により得られる撮像画像に基づいてキャンセル画像と直交画像を信号処理により生成すれば、透明部５ａが映し出された画像と不透明部５ｂが写し出された画像とを得ることができる。

本実施形態の偏光処理部２１は、図８に示すように、不透明部５ｂが映し出されたキャンセル画像と、透明部５ａが写し出された直交画像とについて合成処理を行い、被写体の透明部と不透明部を同時に観察できる画像を得る。

具体的に、偏光処理部２１は、先ず、キャンセル画像から不透明部５ｂが映し出された画像部分（以下「不透明部分」と表記する）を抽出する。同様に、直交画像から透明部５ａが映し出された部分（以下「透明部分」と表記する）を抽出する。
その上で、これら抽出した不透明部分と透明部分を合成し、１枚の撮像画像を得る。

なお、直交画像とキャンセル画像の生成にあたって基とする撮像部１１からの信号（撮像画像データ）としては、ＲＡＷデータであってもよいし、ＲＡＷデータに所要の信号処理が施された信号であってもよい。
また、本明細書において、「撮像画像（撮像画像データ）」は、撮像に基づき得られる画像を広く意味するものであり、撮像部１１で得られる画像のみでなく、該画像から所要の信号処理を介して生成される上述した第一偏光画像〜第四偏光画像や仮想偏光画像、キャンセル画像等も含む語として用いている。
さらに、本明細書において「撮像」とは、撮像素子１２において受光信号を得るまでの動作を意味するものとする。

また、上記では、偏光バックライトからの偏光に関し、被写体５の透明部５ａにおける複屈折によって偏光方向が変化されることを述べたが、この際、偏光バックライトからの偏光の一部は、偏光方向の変化量（変化角度）が元の偏光方向に対し略９０ｄｅｇとされる。すなわち、該変化量が略９０ｄｅｇとされた一部の偏光は、偏光面の角度が直交画像の生成に用いた仮想フィルタ角度と略一致する。このため、直交画像に透明部５ａが映し出されることになる。
ここで、上記説明において、直交画像が対応する偏光方向、すなわち偏光バックライトの偏光方向に略直交する偏光方向を「第二の偏光方向」とすると、本実施形態の撮像部１１は、第二の偏光方向の光を透過させる被写体５を撮像するものと換言することができる。つまり、この場合の被写体５は、光透過性を有し透過後の光に第二の偏光方向の光が含まれる被写体と言うことができ、撮像部１１は、該被写体を撮像するものである。このような撮像を行うことで、直交画像としての、透明部５ａを映し出す画像を得ることができる。
なお、光透過性とは、入射した光のうち少なくとも一部の光を透過する性質を言う。

なお、上記により説明した第一実施形態としての画像取得手法は、本技術に係る「第一画像」「第二画像」の観点では、第一画像として直交画像を、第二画像としてキャンセル画像を生成する例に該当する。

［1-4．処理手順］

図９は、上記した第一実施形態としての画像取得手法を実現するために偏光処理部２１が行うべき処理の手順を示したフローチャートである。
先ず、偏光処理部２１はステップＳ１０１で、画像生成指示の有無を確認する。例えば、図１に示した制御部３０が、操作部１７を介した所定の操作入力に応じて偏光処理部２１に画像生成指示を行う。ステップＳ１０１では、例えばこのように制御部３０が行う画像生成指示の有無を確認する。
画像生成指示がない場合、偏光処理部２１はステップＳ１０１の処理を再度実行する。換言すれば、画像生成指示があるまでステップＳ１０１の処理を継続的に実行する。

画像生成指示があった場合、偏光処理部２１はステップＳ１０２で、撮像画像データの取込を行う。すなわち、撮像部１１で得られる１フレーム分の撮像画像データ（すなわち、各受光素子１２ａの受光信号値のデジタルサンプリング値）を得る。

続いて、偏光処理部２１はステップＳ１０３のキャンセル画像の生成処理を実行する。
キャンセル画像の生成処理は、ステップＳ１０２で取得した撮像画像データを用いて、例えば以下の手順で行う。
先ず、各角度の偏光画像生成処理を行う。具体的には、図４Ｃで説明した第一偏光画像、第二偏光画像、第三偏光画像、第四偏光画像を生成する。そして、画素位置ごとに、偏光方向が直交する二つの偏光画像の受光信号値を加算する。具体的には、第一偏光画像の各画素位置の受光信号値に対し、第二偏光画像におけるそれぞれ同一画素位置の受光信号値を加算する。或いは、第三偏光画像の各画素位置の受光信号値に対し、第四偏光画像におけるそれぞれ同一画素位置の受光信号値を加算する。
これにより、偏光フィルタ効果をキャンセルしたキャンセル画像が得られる。

次に、偏光処理部２１はステップＳ１０４で、不透明部分の抽出処理として、キャンセル画像から不透明部５ｂが映し出された画像部分を抽出する処理を実行する。

さらに、偏光処理部２１は続くステップＳ１０５で、直交画像の生成処理を実行する。
直交画像の生成処理は、ステップＳ１０２で取得した撮像画像データを用いて、例えば以下の手順で行う。
先ず、先のステップＳ１０３で得た第一偏光画像、第二偏光画像、第三偏光画像、第四偏光画像に基づき、画素位置ごとにｃｏｓカーブをフィッティングする。すなわち、第一偏光画像、第二偏光画像、第三偏光画像、第四偏光画像の生成によって画素位置ごとに四つ得られる受光信号値を用いて、画素位置ごとに前述した［式３］に基づいてｃｏｓカーブをフィッティングする。
そして、画素位置ごとに、ｃｏｓカーブに予め定められた仮想フィルタ角度を代入して輝度値を算出する。ここで用いる仮想フィルタ角度としては、発光部２と偏光フィルタ３による偏光バックライトが照射する直線偏光に対し略直交する（クロスニコルとなる）角度が用いられる。これにより、直交画像が得られる。なお、直交画像は、偏光バックライトが照射する偏光に対して偏光方向が直交する偏光を受光して得られる画像に相当する画像と換言できる。

そして、偏光処理部２１はステップＳ１０６で、透明部分の抽出処理として、キャンセル画像から透明部５ａが映し出された画像部分を抽出する処理を実行する。
最後に、偏光処理部２１はステップＳ１０７の合成処理として、抽出した不透明部分と透明部分とを１フレーム分の撮像画像データに合成する処理を行う。
ステップＳ１０７を実行したことに応じ、偏光処理部２１は図９に示す一連の処理を終了する。

なお、ステップＳ１０７の合成処理で得られた合成画像は、記憶部１４等の所定の記憶装置に静止画像データとして記憶させることができる。
或いは、動画像データとしての記憶も可能である。合成画像として動画像データを生成する場合は、ステップＳ１０２以降の処理を毎フレーム繰り返し実行すればよい。

静止画像データを得る限りにおいては、ｃｏｓカーブのフィッティング等、直交画像を生成するための処理は毎フレーム行う必要はなく、所定操作が行われたタイミングでのフレームについてのみ行うようにすることもできる。

また、上記では、説明上、本技術における「画素」を構成する受光素子１２ａの数が一つである場合を例示したが、撮像装置１による撮像画像（仮想偏光画像、仮想通常画像）としては、カラー画像を生成することもでき、その場合、「画素」には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の受光素子１２ａを少なくとも一つずつ設ける（例えばＲＧＧＢ型では４つの受光素子１２ａを設ける）。すなわち、所定数の受光素子１２ａを有した「画素」ごとに偏光フィルタ１３ａを設けることで、「画素」ごとに偏光方向が異なる直線偏光を選択的に受光させる。
カラー画像とする場合は、画素位置ごとにＲ、Ｇ、Ｂの各受光素子１２ａが存在するため、第一偏光画像〜第四偏光画像としてはＲ、Ｇ、Ｂそれぞれを生成することになる。そして、第一偏光画像〜第四偏光画像の各画素位置について行うｃｏｓカーブのフィッティング、及びｃｏｓカーブに基づく直交画像の生成は、Ｒ、Ｇ、Ｂのそれぞれについて行う。これにより、画素位置ごとにＲ、Ｇ、Ｂそれぞれの受光信号値（輝度値）を有した直交画像を得ることができる。また、キャンセル画像についても、同様にＲ、Ｇ、Ｂそれぞれの第一偏光画像〜第四偏光画像に基づき、Ｒ、Ｇ、Ｂそれぞれについて生成する。

ここで、上記では、直交画像の生成に関数Ｆを用いる例を挙げたが、直交画像の生成にあたり関数Ｆを用いることは必須ではない。
例えば、偏光バックライトに対し偏光方向が略直交する偏光を撮像部１１における０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの受光素子１２ａのうち何れかの受光素子１２ａで受光できれば、該受光素子１２ａの受光信号をそのまま用いて直交画像に相当する画像を得ることができる。この場合は、０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの受光素子１２ａのうち何れかの受光素子１２ａが上記略直交する偏光を受光できるように、撮像装置１（撮像部１１）の配置姿勢を調整する。
関数Ｆが不要となることで、直交画像の生成について処理負荷の軽減を図ることができる。

なお、上記のように関数Ｆを用いずに直交画像を得る手法は、本技術に係る「第一の偏光方向」「第二の偏光方向」の観点で捉えた場合には、第一の偏光方向と第二の偏光方向を同一方向とする手法と換言できる。すなわち、撮像部１１が、第一の偏光方向の光を受光可能な画素を含む第一画素群を有し、偏光処理部２１（画像生成部）が、少なくとも第一画素群を含む画素群の信号に基づいて所定の偏光方向である第二の偏光方向に対応する第一画像を生成する、と捉えた場合において、第一の偏光方向と第二の偏光方向を同一方向とする手法と換言できるものである。

ここで、上記第一の偏光方向、第二の偏光方向は異方向とすることもできる。
第一の偏光方向と第二の偏光方向が異方向である場合には、例えば直交画像等の第一画像として、第一の偏光方向（つまり第一画素群が受光可能な直線偏光の偏光方向）とは異なる偏光方向に対応する画像を得ることが可能とされる。換言すれば、第一画像を得るにあたり、該第一画像が対応する偏光方向と第一画素群が受光可能な直線偏光の偏光方向とを一致させる必要がなくなる。
この場合、第一画像の生成には関数Ｆの使用を要するが、第一画像を得るにあたっての撮像装置１（撮像部１１）の配置姿勢の自由度向上を図ることができる。

＜２．第二実施形態＞
［2-1．撮像システムの構成概要］

続いて、第二実施形態としての撮像システム１０Ａの構成例について図１０を参照して説明する。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号、同一ステップ番号を付して説明を省略する。

図１０において、撮像システム１０Ａは、撮像装置１に代えて撮像装置１Ａが設けられると共に、発光部６が追加された点が撮像システム１０の場合と異なる。
発光部６は、撮像装置１Ａから見て、被写体５の正面側から該被写体５に対して光を照射する。ここで、発光部６としては、光源に例えばＬＥＤや蛍光灯、白熱電球等の所要の発光素子が用いられ、発光部６の出射光は、発光部２の出射光と同様に非偏光（自然光）とされる。この点から以下、第二発光部６については「通常照明」とも表記する。

上記のような撮像システム１０Ａにおいては、撮像装置１Ａは、正面側から非偏光の光が照射され背面側から偏光が照射された状態の被写体５の前面側を撮像することになる。

なお、撮像装置１Ａの内部構成は撮像装置１の場合とほぼ同様となることから図示による説明は省略する。

［2-2．第二実施形態の画像取得手法］

第二実施形態の撮像装置１Ａにおいて被写体５を撮像した際の作用を図１１により説明する。
第二実施形態では、被写体５に正面側から通常照明からの非偏光が照射されるため、不透明部５ｂの正面側の表面から撮像装置１Ａ側に向けて、該非偏光の反射光が導かれる。このため、撮像部１１の撮像画像に基づきキャンセル画像を生成すると、この場合のキャンセル画像には、表面の状態が映し出された状態の不透明部５ｂが映し出される。一方、透明部５ａについては通常照明からの非偏光の反射はほぼ生じず、従ってこの場合のキャンセル画像には透明部５ａが映し出されない。

また、この場合において直交画像を生成すると、該直交画像においては第一実施形態の場合と同様の原理で透明部５ａが映し出される。また、この場合の直交画像において、不透明部５ｂは、図のようにキャンセル画像に映し出されるものとは輝度が異なる態様によって、表面の状態が表現された状態で映し出される。
これは、通常照明による非偏光が不透明部５ｂ表面で反射された際、その反射光の一部が、直交画像の生成に用いた仮想フィルタ角度に一致する偏光方向を有する直線偏光として撮像装置１Ａ側に導かれるためである。

第二実施形態の撮像装置１Ａでは、偏光処理部２１が上記のような直交画像とキャンセル画像とに基づき、透明部分と不透明分を合成した合成画像を生成する。
図１２は、第二実施形態における画像合成についての説明図である。
先ず、キャンセル画像については、第一実施形態と同様に不透明部分の抽出を行う。
この場合、透明部分の抽出は、キャンセル画像と直交画像との差分に基づいて抽出する。具体的には、例えばキャンセル画像と直交画像の差分値が一定値以上となる画像部分を抽出する処理とすることが考えられる。

偏光処理部２１は、上記のように抽出した不透明部分と透明部分を合成し、１枚の撮像画像を得る。

［2-3．処理手順］

図１３は、第二実施形態としての画像取得手法を実現するために偏光処理部２１が行うべき処理の手順を示したフローチャートである。
先の図７で説明した処理との差は、ステップＳ１０６の抽出処理に代えてステップＳ２０１の抽出処理を実行する点である。

ステップＳ２０１で偏光処理部２１は、透明部分の抽出処理として、ステップＳ１０３、ステップＳ１０５でそれぞれ生成したキャンセル画像、直交画像の差分に基づいて透明部分を抽出する処理を行う。
具体的には、上述のようにキャンセル画像と直交画像の差分値が一定値以上となる画像部分を抽出する処理とする。或いは、ステップＳ１０４でのキャンセル画像からの不透明部分の抽出結果を利用し、不透明部分に該当する画像部分を除いた画像部分について、差分値が一定値以上となる画像部分を抽出する処理することも考えられる。
この場合における透明部分の抽出処理手法としては多様に考えられ、特定手法に限定されるものではない。

上記のような第二実施形態の画像取得手法によれば、合成画像として、被写体５の透明部５ａと不透明部５ｂを同時に観察可能で、且つ被写体５の表面を表現できる画像を得ることができる。

＜３．第三実施形態＞
［3-1．システム構成概要］

第三実施形態は、複写機への適用を想定したものである。
図１４は、第三実施形態としての撮像システム１０Ｂの構成例を示している。
撮像システム１０Ｂは、第一発光部４１と、偏光フィルタ４２と、第二発光部４３と、撮像装置１Ｂとを有している。
第一発光部４１、及び第二発光部４３は、光源に例えばＬＥＤや蛍光灯、白熱電球等の所要の発光素子が用いられ、出射光は非偏光とされる。

第一発光部４１は、偏光フィルタ４２を介して撮像装置１Ｂ側に向けて光を照射する。撮像システム１０Ｂでは、撮像装置１Ｂと偏光フィルタ４２との間に、被写体５’として例えば複写元用紙やコピー用紙が配置される。ここで、複写元用紙は、複写のために取り込むべき画像や文字等の情報が印刷等により表示された用紙である。また、コピー用紙は、情報の複写先媒体として用いられる用紙を意味する。

撮像装置１Ｂは、背面側から偏光フィルタ４２より出射される偏光が照射された状態の被写体５’を、該被写体５’の正面側から撮像可能に位置されている。
なお以下、第一発光部４１と偏光フィルタ４２による偏光照明についても「偏光バックライト」と表記する。

第二発光部４３は、被写体５’の正面側から該被写体５’に対し非偏光を照射する。
以下、第二発光部４３についても、非偏光を照射する点から「通常照明」とも表記する。

図１５は、撮像装置１Ｂの内部構成についての説明図であり、撮像装置１Ｂの内部構成と共に図１に示した第一発光部４１と第二発光部４２を併せて示している。
撮像装置１Ｂは、制御部３０に代えて制御部３０Ｂが設けられ、またデジタル信号処理部２０において偏光処理部２１に代えて偏光処理部２１Ｂが設けられた点が撮像装置１の場合と異なる。

制御部３０Ｂは制御部３０との比較で、第一発光部４１と第二発光部４３の発光制御を行う点、及び後述する第三実施形態としての処理を行う点が異なる。
また、偏光処理部２１Ｂは、後述する第三実施形態としての処理を行う点が偏光処理部２１と異なる。

［3-2．透明用紙／不透明用紙の対応手法］

第三実施形態の撮像装置１Ｂは、上記した複写元用紙やコピー用紙として透明用紙、不透明用紙が混在して用いられる場合に対応した各種の処理を行う。
このために撮像装置１Ｂにおける偏光処理部２１Ｂは、先に説明したキャンセル画像、直交画像と共に、平行画像を生成する。
平行画像は、仮想フィルタ角度を、偏光バックライトが照射する直線偏光の偏光方向に略平行な角度として得られる仮想偏光画像である。これは、偏光バックライトが照射する直線偏光と偏光方向が略一致する直線偏光を選択的に受光して得られる画像相当の画像であると換言できる。

図１６乃至図１８を参照して、撮像システム１０Ｂにおいて撮像装置１Ｂが被写体５’を撮像した場合に得られるキャンセル画像、直交画像、及び平行画像の性質について考察する。
図１６は、以下の説明で前提とする被写体５’を例示している。
この場合の被写体５’は用紙とされ、紙面には図中「５’ａ」と示すような情報が印刷等されて表示されているとする。以下、このように用紙としての被写体５’における表示情報のことを「用紙表示情報５ａ’」と表記する。

図１７は、被写体５’として透明用紙を撮像した場合に得られるキャンセル画像（図１７Ａ）、直交画像（図１７Ｂ）、及び平行画像（図１７Ｃ）を例示している。
具体的に、図１７Ａ、図１７Ｂ、図１７Ｃでは、それぞれ偏光バックライトを照射状態としたとき（通常照明はＯＦＦ状態）に得られるキャンセル画像、直交画像、平行画像を示している。
なお、図１７では、用紙としての被写体５’が撮像装置１Ｂの撮像画枠に対して傾斜された状態で撮像が行われたことを前提としている。なおこの点は、後述する図１８についても同様である。

図１７Ａに示すキャンセル画像は、略白色の背景に用紙表示情報５’ａが映し出された画像として得られる。
また、図１７Ｂに示す直交画像としては、略黒色の背景に被写体５’の輪郭と用紙表示情報５’ａとが映し出された画像が得られる。この際、該直交画像に映し出される被写体５’中の用紙表示情報５’ａが表示されている以外の領域は、略グレーとなる。すなわち、透明用紙としての被写体５’における透明部が映し出されている部分は略グレーとなる。これは、該透明部の複屈折により偏光バックライトによる照明光の偏光方向が変化するたである。

さらに、図１７Ｃに示す平行画像は、略白色の背景に被写体５’の用紙表示情報５’ａが映し出される点は図１７Ａのキャンセル画像と同様であるが、被写体５’の輪郭が映し出され、且つ図１７Ｂと同様、画像内に映し出される被写体５’の透明部は略グレーとなる。

図１８は、被写体５’として不透明用紙を撮像した場合に得られるキャンセル画像（図１８Ａ）、直交画像（図１８Ｂ）、及び平行画像（図１８Ｃ）を例示している。
但し、図１８Ａに示すキャンセル画像は、通常照明を照射して得られる画像とされる（偏光バックライトはＯＦＦ状態）。図１８Ｂ、図１８Ｃの直交画像、平行画像は、図１７Ｂ、図１７Ｃの場合と同様に偏光バックライトを照射状態として得られる画像である。

被写体５’が不透明用紙の場合は、通常照明を照射状態としてキャンセル画像を得ることで、図１８Ａに示すように略白色の背景に用紙表示情報５’ａが映し出された画像が得られる。

図１８Ｂに示す直交画像では、略全黒の画像が得られる。これは、先の図７等で説明したように偏光バックライトを照射状態として得た直交画像には不透明部５ｂが映し出されないことと同様の原理による。

さらに、図１８Ｃに示す平行画像には、略白色の背景に略黒色で被写体５’のシルエットが映し出される。これは、撮像装置１Ｂ側から見て不透明用紙が偏光バックライトからの照明光を遮ることによる。

第三実施形態の撮像装置１Ｂでは、上記したキャンセル画像、直交画像、及び平行画像の性質を利用し、被写体５’が透明用紙又は不透明用紙であるかの判定、用紙の輪郭の抽出、及び用紙の傾き検出を行う。
具体的に、透明用紙か不透明用紙かの判定は、図１７Ｂ、図１８Ｂで説明した性質を利用し、偏光バックライトを照射状態として得た直交画像に基づいて行う。より具体的には、該直交画像が全黒画像であるか否かを判定することで行う。

また、用紙の輪郭抽出については、透明用紙、不透明用紙それぞれについて次のように行う。つまり、透明用紙については、偏光バックライトを照射状態とした場合の直交画像（図１７Ｂ）、又は平行画像（図１７Ｃ）に基づいて行う。
また、不透明用紙については、偏光バックライトを照射状態とした場合の平行画像（図１８Ｃ）に基づいて行う。

用紙の傾き検出は、上記手法により抽出した用紙の輪郭の情報に基づいて行う。

［3-3．処理例］

複写機への適用を考えた場合、上記のような用紙判定、輪郭抽出、傾き検出は、複写元用紙としての被写体５’における用紙表示情報５’ａを撮像画像として取り込み、取り込んだ用紙表示情報５’ａをコピー用紙に複写する際に行うことが想定される。
以下では、複写にあたっての用紙表示情報５’ａの取り込み時に対応して行われる処理を図１９のフローチャートを参照して説明する。

図１９は、用紙表示情報５’ａの取り込み時に対応して偏光処理部２１Ｂが行う処理の手順を示している。
前提として、図１９に示す処理が開始されるにあたっては、撮像システム５０Ｂにおいて用紙表示情報５’ａが表示された複写元用紙としての被写体５’が、撮像装置１Ｂが撮像可能な位置にセットされていることを前提とする。

図１９において、偏光処理部２１ＢはステップＳ３０１で、偏光バックライトをＯＮ、通常照明をＯＦＦの状態とさせるための指示を制御部３０Ｂに対して行う。
これにより、第一発光部４１がＯＮ、第二発光部４３がＯＦＦとされ、偏光バックライトによる照明光が被写体５’に照射、通常照明による照明光が被写体５’に照射の状態が得られる。

次に、偏光処理部２１ＢはステップＳ３０２で、直交画像の生成を行い、ステップＳ３０３で偏光バックライトをＯＦＦさせるための指示（ライトＯＦＦ指示）を制御部３０Ｂに行う。
その上で、偏光処理部２１ＢはステップＳ３０３で、全黒画像か否かについての判定を行う。具体的には、ステップＳ３０２で得た直交画像の輝度値が全体的に所定の輝度値以下となっているか否を判定する。これは、被写体５’が不透明用紙か否かの判定を行うことに相当する。例えば、該直交画像の全画素等、所定の画素について、輝度値が一定値以下か否かを判定する。或いは、該直交画像の輝度値の平均値が一定値以下か否かを判定してもよい。全黒画像か否かの判定手法は多様に考えられ、透明用紙か不透明用紙かの判定が可能であれば特定手法に限定されるものではない。

ステップＳ３０４において、偏光処理部２１Ｂは全黒画像でないと判定した場合には、ステップＳ３０５以降に続く、透明用紙についての用紙輪郭の抽出、用紙の傾き検出に係る処理を実行する。
先ず、ステップＳ３０５で偏光処理部２１Ｂは、キャンセル画像の生成を行う。この処理は、先の図９のステップＳ１０３の処理と同様の処理である。
次に、ステップＳ３０６で偏光処理部２１Ｂは、用紙表示情報５’ａを抽出する処理を実行する。すなわち、キャンセル画像において用紙表示情報５’ａが映し出された画像部分を抽出する処理である。
さらに、偏光処理部２１Ｂは続くステップＳ３０７で、直交画像から用紙輪郭を抽出する処理を実行する。つまり、ステップＳ３０２で得られた直交画像（この場合は図１７Ｂの態様となる）に基づき、該直交画像に映し出された透明用紙としての被写体５’の輪郭を抽出する。この場合の輪郭抽出としては、例えば、エッジ検出を行い、画像中心から最も外側で検出されるエッジを矩形状に結んで行うことが考えられる。

ステップＳ３０７の抽出処理を行ったことに応じ、偏光処理部２１ＢはステップＳ３１６に進み、傾き検出処理として、抽出した輪郭情報に基づく被写体５’の傾きを検出する。
さらに、偏光処理部２１Ｂは続くステップＳ３１７で、傾き情報、すなわちステップＳ３１６で検出した被写体５’の傾き情報に基づき、抽出済みとされた用紙表示情報５’ａ（ステップＳ３０６、又は以下で説明するステップＳ３１１で抽出済みとされる）の傾きを補正する。つまり、検出した傾きがキャンセルされるように用紙表示情報５’ａとしての画像データに対する画像回転処理を施す。

一方、先のステップＳ３０４で全黒画像であると判定した場合、偏光処理部２１ＢはステップＳ３０８以降に続く、不透明用紙についての用紙輪郭の抽出、及び傾き検出に係る処理を実行する。
すなわち、ステップＳ３０８で偏光処理部２１Ｂは、通常照明をＯＮさせるための指示を制御部３０Ｂに行い、続くステップＳ３０９でキャンセル画像の生成を行い、ステップＳ３１０で通常照明をＯＦＦさせるための指示（照明ＯＦＦ指示）を制御部３０Ｂに行った上で、ステップＳ３１１で用紙表示情報５’ａを抽出する処理を行う。つまり、ステップＳ３０９で生成したキャンセル画像（図１８Ａの態様となる）において、用紙表示情報５’ａが映し出された画像部分を抽出する。

さらに、偏光処理部２１Ｂは続くステップＳ３１２で、偏光バックライトをＯＮさせるための指示を制御部３０Ｂに行い、ステップＳ３１３で平行画像を生成する処理を行い、ステップＳ３１４でライトＯＦＦ指示を制御部３０Ｂに行う。
次に、偏光処理部２１ＢはステップＳ３１５で、平行画像から用紙輪郭を抽出する処理を実行する。つまり、ステップＳ３１３で得られた平行画像（図１８Ｃの態様となる）に基づき、該平行画像に映し出された不透明用紙としての被写体５’の輪郭を抽出する。この場合の輪郭抽出としても、例えば、エッジ検出を行い、画像中心から最も外側で検出されるエッジを矩形状に結んで行うことが考えられる。

ステップＳ３１５の抽出処理を行ったことに応じ、偏光処理部２１ＢはステップＳ３１６に処理を進める。これにより不透明用紙の場合も、前述した透明用紙の場合と同様に用紙表示情報５’ａの傾き補正が行われる。

ステップＳ３１７の補正処理を行ったことに応じ、偏光処理部２１Ｂはこの図に示す一連の処理を終える。

ここで、用紙判定については、例えば取り込んだ用紙表示情報５’ａをコピー用紙に複写する際、コピー用紙を対象として行うことも考えられる。すなわち、コピー用紙として不透明用紙のみでなく透明用紙が使用され得る場合である。

以下では、複写時のコピー用紙の選択モードとして、マニュアルモードと自動選択モードの切り替えが可能とされる例とする。マニュアルモードは、複写対象であるコピー用紙として不透明用紙、透明用紙の何れを用いるかを、使用者が操作部１７を介した操作入力により都度指定するモードであり、自動選択モードは、セットされたコピー用紙が不透明用紙、透明用紙の何れであるかを撮像装置１Ｂ側で都度、判別するモードである。

以下の説明では、マニュアルモード／自動選択モードの設定は、使用者が操作部１７を介した操作入力により予め行っていることとする。

図２０は、マニュアルモードの設定下で行われるべき制御部３０Ｂの処理手順を示したフローチャートである。
図２０において、制御部３０ＢはステップＳ４０１で、用紙を選択する操作の有無、すなわち不透明用紙、透明用紙を選択する操作の有無を判定する。用紙選択操作がない場合、制御部３０ＢはステップＳ４０１の処理を繰り返す。

用紙選択操作を受け付けた場合、制御部３０ＢはステップＳ４０２で選択された用紙の情報を記憶する処理を行った上で、ステップＳ４０３に進んで用紙がセットされているか否かを判定する。用紙がセットされていない場合、用紙がセットされるまでステップＳ４０３の処理を実行する。

ステップＳ４０３で用紙がセットされていることを確認した場合、制御部３０ＢはステップＳ４０４で、偏光バックライトがＯＮ、通常照明がＯＦＦの状態とするための処理、すなわち、第一発光部４１をＯＮ、第二発光部４３をＯＦＦの状態とするための処理を行う。

次に、制御部３０ＢはステップＳ４０５で、用紙判定実行指示を偏光処理部２１Ｂに対して行う。

ここで、図２１のフローチャートは、上記の用紙判定実行指示に関して偏光処理部２１Ｂが実行する処理を示している。
偏光処理部２１ＢはステップＳ５０１で、制御部３０Ｂからの判定指示、すなわち用紙判定実行指示の受信を待機しており、該判定指示を受信すると、偏光処理部２１Ｂは、ステップＳ５０２で直交画像を生成する処理を実行し、生成した直交画像が全黒画像あるか否かをステップＳ５０３で判定する。これらの処理は、図１９のステップＳ３０２、Ｓ３０４の処理と同様の処理である。

ステップＳ５０３で全黒画像でないと判定した場合、偏光処理部２１ＢはステップＳ５０４で透明用紙との判定結果を得、全黒画像であると判定した場合にはステップＳ５０５で不透明用紙との判定結果を得る。

ステップＳ５０４、Ｓ５０５の何れかの判定結果を得たことに応じ、偏光処理部２１ＢはステップＳ５０６で判定情報の出力処理、すなわち透明用紙／不透明用紙の判定結果を表す判定情報を制御部３０Ｂに出力する処理を行った後、図２１に示す一連の処理を終了する。

説明を図２０に戻す。
制御部３０Ｂは、上記の判定情報についての受信待機処理をステップＳ４０６で行い、判定情報が受信された場合はステップＳ４０７でマニュアル設定と一致するか否かを判定する。すなわち、先のステップＳ４０２で記憶された用紙情報が示す用紙種別と、ステップＳ４０６で受信した判定情報が示す用紙種別とが一致しているか否かを判定する。
マニュアル設定と一致していない場合、制御部３０ＢはステップＳ４０８でユーザへの確認処理を行う。該確認処理として、本例では使用者に表示部１６等を介して判定した用紙の種別を表す情報の通知、マニュアル設定と不一致である旨の通知、及び通知した種別のコピー用紙に複写を行うことの可否について指示する操作の受け付け等を行う。

制御部３０Ｂは、上記確認処理に対するユーザの応答をステップＳ４０９で確認する。確認処理の結果、上記の不一致に問題がある旨の応答があれば、制御部３０ＢはステップＳ４１０でエラー処理を実行し、図２０に示す一連の処理を終える。エラー処理では、少なくともエラーである旨の通知を表示部１６等を介して使用者に行う。
一方、上記の応答に問題がない旨の応答があれば、制御部３０ＢはステップＳ４１１でパラメータ設定処理を行って、図２０に示す一連の処理を終える。このパラメータ設定処理では、例えばコピー用紙としてセットされた不透明用紙、透明用紙の別に応じた印刷濃度等の所定パラメータが設定される。

図２２は、自動選択モードの設定下で行われるべき制御部３０Ｂの処理手順を示したフローチャートである。
図２２において、制御部３０ＢはステップＳ６０１で、用紙がセットされるまで待機する処理を行い、用紙がセットされた場合には、ステップＳ６０２で偏光バックライトをＯＮ、通常照明をＯＦＦとするための処理を行った上で、ステップＳ６０３で用紙判定実行指示を偏光処理部２１Ｂに対して行う。この用紙判定実行指示に応じても、偏光処理部２１Ｂにおいて図２１に示した処理が行われる。

制御部３０Ｂは、ステップＳ６０４で、偏光処理部２１Ｂからの判定情報を受信するまで待機し、該判定情報を受信すると、ステップＳ６０５で、透明用紙であるか否かを判定する。すなわち、判定情報が示す用紙種別が透明用紙であるか否かを判定する。
ステップＳ６０５で透明用紙であると判定した場合、制御部３０ＢはステップＳ６０６に進み、透明用パラメータ設定処理として、透明用紙に対応した例えば印刷濃度等の所定パラメータの設定を行い、図２２に示す一連の処理を終える。
一方、ステップＳ６０５で透明用紙でないと判定した場合、制御部３０ＢはステップＳ６０７の不透明用パラメータ設定処理として、不透明用紙に対応した例えば印刷濃度等の所定パラメータの設定を行い、図２２に示す一連の処理を終える。

上記した図１９乃至図２２の処理により、コピー用紙について透明用紙／不透明用紙の別に応じた適切な複写設定を行うことができる。

なお、回転補正について、上記した画像処理的な回転補正のみでなく、メカ的に用紙を回転させる補正手法を採ることもできる。

上記により説明した第三実施形態は、本技術に係る第一、第二画像の生成の観点では、第一画像として直交画像や平行画像を、第二画像としてキャンセル画像を生成するものであると言うことができる。

＜４．撮像部の変形例＞

図２３は、変形例としての撮像部１１Ａの構造についての説明図であり、図２３Ａは撮像部１１Ａが備える画素対５０の概略縦断面図、図２３Ｂは撮像部１１Ａにおける画素対５０の配列を正面視した図である。
変形例としての撮像部１１Ａは、画素対５０として２種の画素対５０（以下「画素対５０−１」「画素対５０−２」と表記する）を有する。画素対５０−１は、偏光スプリッタ５１−１と、画素５２及び画素５３とを有し、画素対５０−２は偏光スプリッタ５１−２と画素５２及び画素５３とを有している。

偏光スプリッタ５１−１、５１−２は、本例ではそれぞれ二つの直角プリズムを張り合わせたタイプのものが用いられ、これら直角プリズムが貼り合わされた部分に分離面５１ａが形成されている。偏光スプリッタ５１−１、５１−２においては、入射光に含まれる直線偏光のうち、偏光方向が分離面５１ａの偏光軸に略一致する直線偏光が分離面５１ａを透過し、偏光方向が上記偏光軸に略直交する直線偏光が分離面５１ａにおいて反射する。

画素５２、５３は、それぞれ所定数の受光素子１２ａを有している。ここでは説明上、画素５２、５３はそれぞれ一つの受光素子１２ａを有しているとする。なお、カラー画像の撮像に対応する場合には、画素５２、５３は、それぞれＲ、Ｇ、Ｂに対応した３以上の受光素子１２ａを有するようにする。

画素対５０−１における画素５２は、自身が有する受光素子１２ａの受光面が、偏光スプリッタ５１−１における分離面５１ａの反射光の光軸に略直交しており、該反射光を該受光素子１２ａにより受光する。また、画素対５０−１における画素５３は、自身が有する受光素子１２ａの受光面が偏光スプリッタ５１−１における分離面５１ａの透過光の光軸に略直交しており、該透過光を該受光素子１２ａにより受光する。
このような画素対５０−１における画素５２と画素５３は、偏光方向が９０ｄｅｇ異なる直線偏光をそれぞれが選択的に受光する。

また、画素対５０−２における画素５２は、自身が有する受光素子１２ａの受光面が偏光スプリッタ５１−２における分離面５１ａの反射光の光軸に略直交しており、該反射光を該受光素子１２ａにより受光する。さらに、画素対５０−２における画素５３は、自身が有する受光素子１２ａの受光面が偏光スプリッタ５１−２における分離面５１ａの透過光の光軸に略直交しており、該透過光を該受光素子１２ａにより受光する。
このような画素対５０−２における画素５２と画素５３としても、偏光方向が９０ｄｅｇ異なる直線偏光をそれぞれが選択的に受光することになる。

撮像部１１Ａにおいては、画素対５０−１と画素対５０−２が二次元に交互に配列されている。そして、隣接関係にある画素対５０−１と画素対５０−２においては、偏光スプリッタ５１−１における分離面５１ａの偏光軸の面内角度と、偏光スプリッタ５１−２における分離面５１ａの偏光軸の面内角度とが異なっている。具体的に、本例ではこれらの偏光軸の面内角度は４５ｄｅｇ異なっている。
これにより、画素対５０−１における画素５２、５３、画素対５０−２における画素５２、５３は、偏光方向が４５ｄｅｇずつ異なる直線偏光を選択的に受光することなる。

図２３Ｂに示すように、本例では、隣接関係にある画素対５０−１と画素対５０−２が一つの画素ユニットＵ’を構成している。撮像部１１Ａにおいては、このような画素ユニットＵ’が縦方向及び横方向に複数配列されている。
なお、図２３Ｂでは、各画素対５０で選択的に受光される直線偏光の偏光方向を、先の図３Ｂで偏光フィルタ１３ａの偏光軸の向きとして表した両矢印と同様の要領で表している。

図２４は、撮像部１１Ａを用いた場合における第一偏光画像〜第四偏光画像、及び仮想通常画像の生成手法についての説明図を先の図４と同様の要領で示している。
撮像部１１Ａにおいては、各画素対５０、すなわち各画素位置において偏光方向が直交する二つの直線偏光を受光することができる。このため、撮像部１１を用いた場合（図４参照）と比較して、第一偏光画像〜第四偏光画像の解像度感を高めることができる（図４Ｂ及び図４Ｃと図２４Ｂ及び図２４Ｃを参照）。なお、縦２×横２＝４つの画素対５０が一つの画素位置であるとみなして第一偏光画像〜第四偏光画像を画素補間せずに生成する場合は、解像度を高めることができる。
また、本例では、画素対５０−１と画素対５０−２を縦方向及び横方向に交互に配列しているため、縦横の解像度を等しくすることができる。さらには、第一偏光画像〜第四偏光画像の生成のための補間処理は、それぞれ同様の手法で行うことができる。例えば、画素対５０−１と画素対５０−２を線順次に配置した場合等では、縦方向と横方向とで補間処理の手法が異なり、また補間しない場合には得られる画像の解像度は縦方向と横方向で異なってしまうが、本例では、そのような問題が解消される。

なお、この場合もキャンセル画像は、画素位置ごとに偏光方向が直交する二つの直線偏光（０ｄｅｇと９０ｄｅｇの組、又は４５ｄｅｇと１３５ｄｅｇの組）の受光信号値を加算することで生成される。
この場合も、第一偏光画像〜第四偏光画像が得られた以降におけるｃｏｓカーブのフィッティングやｃｏｓカーブに基づく仮想偏光画像の生成処理については、これまでで説明したものと同様となることから重複説明は避ける。

上記した変形例としての撮像部１１Ａにおいては、一つの画素対５０（一つの画素位置）につき、偏光方向が直交関係にある２種の直線偏光を選択的に受光可能とされ、また、隣接関係にある二つの画素対５０においては、偏光方向がそれぞれ異なる４種の直線偏光を選択的に受光可能とされる。
従って、仮想偏光画像の解像度向上を図ることができる。また、一つの画素対５０に対する入射光を複数の受光素子１２ａで受光するため、画素位置ごとの受光感度の向上を図ることができる。

＜５．実施形態のまとめ＞

上記のように実施形態の撮像装置（１又は１Ａ又は１Ｂ）は、第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部（１１又は１１Ａ）と、少なくとも第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも第二画素群を含む画素群の信号に基づいて、第一画像とは異なる第二画像を生成する画像生成部（偏光処理部２１又は２１Ｂ）と、を備えている。

偏光方向に対応する画像とは、単一偏光方向の成分を有する偏光画像を意味する。上記構成によれば、共通の撮像部の信号に基づいて、第二の偏光方向としての所定の偏光方向に対応する第一画像と共に、第一画像とは異なる第二画像が得られる。
従って、実施形態によれば、撮像装置による１回の撮像により、所定の偏光方向に対応する第一画像と該第一画像とは異なる第二画像とを得ることができ、例えば被写体の透明部分、不透明部分の撮像画像などを一度の撮像により得ることができる。

また、実施形態の撮像装置においては、撮像部は、光透過性を有し透過後の光に第二の偏光方向の光が含まれる被写体を撮像している。

これにより、第一画像として、被写体の透明部を映し出す画像を得ることが可能とされる。
従って、透明部を有する被写体の撮像に好適となる。

さらに、実施形態の撮像装置においては、第一の偏光方向と第二の偏光方向が同一方向とされている。

これにより、第一画像は、関数を用いず第一画素群の信号をそのまま用いて生成することが可能とされる。
従って、第一画像の生成について処理負荷の軽減を図ることができる。

また、実施形態の撮像装置においては、第一の偏光方向と第二の偏光方向が異方向とされている。

これにより、第一画像として、第一の偏光方向（つまり第一画素群が受光可能な直線偏光の偏光方向）とは異なる偏光方向に対応する画像を得ることが可能とされる。換言すれば、第一画像を得るにあたり、該第一画像が対応する偏光方向と第一画素群が受光可能な直線偏光の偏光方向とを一致させる必要がなくなる。
従って、第一画像を得るにあたっての撮像部の配置姿勢の自由度向上を図ることができる。

また、実施形態の撮像装置においては、画像生成部は、第一画像と第二画像を同時に生成している。

これにより、第一画像と第二画像が共通の撮像部の信号に基づいて同時に生成される。
従って、第一画像と第二画像を１台の撮像装置による一度の撮像により生成することができる。

さらに、実施形態の撮像装置においては、撮像部は、それぞれが所定数の受光素子（１２ａ）を有した複数の画素と、画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部（光学部材１３、又は偏光スプリッタ５１−１、５１−２）とを有する画素ユニット（Ｕ又はＵ’）が複数配列されている。

これにより、各画素ユニットにおいては、画素毎に偏光方向の異なる直線偏光がそれぞれ受光される。
従って、各画素ユニットから、所定の直線偏光の受光信号を抽出したり、直線偏光の受光信号の演算を行うことで、任意の偏光条件の画像となる画像データを生成することができる。異なる偏光条件の画像を生成することで、一回の撮像で、被写体について偏光条件の異なる複数の画像を得ることができる。
ここで、「偏光条件」は、偏光（直線偏光）に関する条件を意味するものである。例えば、直交画像や平行画像のような、所定の偏光方向に対応する画像（所定の単一偏光方向による直線偏光を選択的に受光して得られる画像）と、キャンセル画像（非偏光を受光して得られる画像に相当する画像）との関係は、「偏光条件」の異なる画像の関係に該当する。また、直交画像と平行画像との関係のように、所定の偏光方向に対応する画像と該所定の偏光方向とは異なる偏光方向に対応する画像との関係も、「偏光条件」の異なる画像の関係に該当する。

また、実施形態の撮像装置においては、回転自在な偏光フィルタを介した光を受光して撮像画像を得ると仮定した場合における偏光フィルタの回転角度を仮想フィルタ角度としたときに、画像生成部は、生成する画像データの一つとして、仮想フィルタ角度を、偏光部に入射する直線偏光の偏光方向に略直交する角度とした場合に得られる画像に相当する直交画像となる画像データを生成している。

即ち透明部が映し出される直交画像を得る。
直交偏光の画像は偏光が透明部位を通過して複屈折を起こすことにより表現される透明部位の画像である。
このような直交画像は透明部分を有する被写体の撮像に好適となる。

さらに、実施形態の撮像装置においては、画像生成部は、画素ユニットにおけるそれぞれ異なる直線偏光を受光する受光素子の受光信号値に基づき仮想フィルタ角度と受光信号値との関係を表す関数（Ｆ）を取得し、関数を用いて、直交画像となる画像データを生成している。

即ち仮想フィルタ角度と受光信号値との関係を表す関数を用いることで、透明部が映し出される直交画像を得る。
これにより透明部分を観察できる被写体の画像が適正に得られる。

さらにまた、実施形態の撮像装置においては、画像生成部は、生成する画像データの一つとして、偏光フィルタの機能をキャンセルしたキャンセル画像となる画像データを生成している。

即ち透明部が映し出される直交画像に加え、不透明部が映し出されるキャンセル画像を得るようにする。
これにより、透明部が映し出される直交画像と不透明部が映し出されるキャンセル画像とが共通の撮像部による一度の撮像により得られる。
従って、透明部と不透明部の双方を有する被写体の撮像画像を得るにあたって、透明部撮像用の撮像装置と不透明部撮像用の撮像装置とを別々に設けて被写体を個別に撮像する必要がなくなり、作業効率の向上が実現される。

また、実施形態の撮像装置においては、画像生成部は、直交画像とキャンセル画像の合成画像を生成する処理を行っている。

即ち透明部が映し出される直交画像と不透明部が映し出されるキャンセル画像を合成した合成画像を生成する。
これにより合成画像として、被写体の透明部と不透明部を同時に観察できる画像を提供できる。
また、この場合、別々の撮像装置の撮像画像を合成する際に行われていた画像間の位置合わせを不要とできるため、合成画像の作業効率の向上が図られることになる。

さらに、実施形態の撮像装置においては、画像生成部は、直交画像とキャンセル画像の差分に基づいて抽出した透明部の画像と、キャンセル画像から抽出した不透明部の画像の合成画像を生成する処理を行っている。

直交画像と不透明部の差分に基づき被写体の透明部分が抽出できる。キャンセル画像は通常の画像であるので、不透明部分が抽出できる。
これにより被写体の透明部と不透明部を同時に観察できる合成画像を容易に生成できる。
この場合も、撮像装置での一度の撮像信号を用いるため、透明部と不透明部の画像間の位置合わせは不要である。

さらにまた、実施形態の撮像装置においては、画像生成部は、透明被写体の輪郭を観察できる画像を生成している。

即ち所定の偏光条件の画像、もしくは複数の所定の偏光条件の画像の合成等の演算により透明被写体の輪郭が観察できる画像を生成する。
これにより透明被写体の観察に適した撮像装置を提供できる。

また、実施形態の撮像装置においては、画像生成部は、不透明被写体の輪郭を観察できる画像を生成している。

即ち所定の偏光条件の画像、もしくは複数の所定の偏光条件の画像の合成等の演算により不透明被写体の輪郭が観察できる画像を生成する。
これにより不透明被写体の観察に適した撮像装置を提供できる。特に複写機における通常紙などの不透明用紙等の傾き検出に有用である。

さらに、実施形態の撮像装置においては、画像生成部は、被写体の輪郭を観察できる画像を生成するとともに、該画像から判定される輪郭の情報を用いて、回転補正を施した画像を生成している。

透明被写体や不透明被写体の輪郭線により、傾きが検出できる。このように検出した傾きに基づき、被写体が映し出された画像の回転補正を行う。
これにより被写体が傾いていた場合にも修正された画像を提供できる。例えば複写機や投影機等において、コピー用紙や複写元用紙が傾いていた場合に、正常な方向に修正したコピー画像を生成できる。

さらにまた、実施形態の撮像装置においては、撮像部は、偏光スプリッタと、所定数の受光素子を有し該受光素子が偏光スプリッタの分離面を反射した反射光の光軸に略直交する受光面を有して反射光を受光する第一種の画素と、所定数の受光素子を有し該受光素子が分離面を透過した透過光の光軸に略直交する受光面を有して透過光を受光する第二種の画素と、を有した画素対を複数備え、隣接関係にある画素対において、偏光スプリッタにおける分離面の偏光軸の面内角度が異なっている。

上記の撮像部においては、一つの画素対（一つの画素位置）につき、偏光方向が直交関係にある２種の直線偏光を選択的に受光可能とされ、また、隣接関係にある二つの画素対においては、偏光方向がそれぞれ異なる４種の直線偏光を選択的に受光可能とされる。
従って、仮想偏光画像の解像度向上を図ることができる。また、一つの画素対に対する入射光を複数の受光素子で受光するため、画素位置ごとの受光感度の向上を図ることができる。

また、実施形態の撮像システム（１０、１０Ａ、又は１０Ｂ）は、直線偏光とされた光を照射する偏光照明（発光部２と偏光フィルタ３、又は第一発光部４１と偏光フィルタ４２）と、第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部（１１又は１１Ａ）と、少なくとも第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも第二画素群を含む画素群の信号に基づいて、第一画像とは異なる第二画像を生成する画像生成部（偏光処理部２１又は２１Ｂ）と、を備えている。

偏光照明は、例えば照明装置と偏光フィルタを用いる構成等により、所定角度の偏光を被写体に照射する照明をいう。
この偏光照明を被写体の背後から照射し、被写体の前面側で撮像部により受光することで、画像生成部が第一画像として前記偏光の偏光方向に対し直交する偏光方向に対応する画像（直交画像）を生成すれば、透明被写体を観察できる画像を得ることができる。
この際、画像生成部が第二画像として例えば非偏光を受光して得られる画像に相当するキャンセル画像を生成すれば、被写体の透明部、不透明部の撮像画像を１回の撮像により得ることができる。

また、実施形態の撮像システム（１０Ａ又は１０Ｂ）においては、偏光照明とは異なる方向から被写体に非偏光を照射する照明（６又は４３）を備えている。

例えば被写体の表面の画像光が撮像部に導かれるようにする照明を追加する。
これにより被写体をより詳細に観察できる画像を得ることができる。

さらに、実施形態の撮像システムにおいては、撮像部は、偏光照明を被写体の背面側から照射した状態で、被写体の前面側を撮像するように配置されている。

この場合、被写体において偏光照明の複屈折が生じた部分が区別される画像を生成できる。
即ち、被写体における透明部分では、偏光は複屈折を起こす。例えば直交画像を生成すると、これが表現された画像となる。つまり透明部位を示す画像が得られる。

さらにまた、実施形態の撮像システムにおいては、撮像部は、偏光照明を被写体の背面側から照射した状態で、被写体の前面側を撮像するように配置されるとともに、被写体の正面側から非偏光を照射する照明を備えている。

この場合、被写体において偏光照明の複屈折が生じた部分が区別される画像を生成できるとともに、被写体の表面を表現できる画像が生成できるような撮像が行われる。
即ち、通常照明を被写体の正面側に照射することで、被写体の正面側の表面を表す画像を得ることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜６．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部と、
少なくとも前記第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも前記第二画素群を含む画素群の信号に基づいて、前記第一画像とは異なる第二画像を生成する画像生成部と、を備える
撮像装置。
（２）
前記撮像部は、
光透過性を有し透過後の光に前記第二の偏光方向の光が含まれる被写体を撮像する
前記（１）に記載の撮像装置。
（３）
前記第一の偏光方向と前記第二の偏光方向が同一方向とされた
前記（１）又は（２）に記載の撮像装置。
（４）
前記第一の偏光方向と前記第二の偏光方向が異方向とされた
前記（１）又は（２）に記載の撮像装置。
（５）
前記画像生成部は、
前記第一画像と前記第二画像を同時に生成する
前記（１）乃至（４）の何れかに記載の撮像装置。
（６）
前記撮像部は、
それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列されている
前記（１）乃至（５）の何れかに記載の撮像装置。
（７）
回転自在な偏光フィルタを介した光を受光して撮像画像を得ると仮定した場合における前記偏光フィルタの回転角度を仮想フィルタ角度としたときに、
前記画像生成部は、生成する画像データの一つとして、
前記仮想フィルタ角度を、前記偏光部に入射する直線偏光の偏光方向に略直交する角度とした場合に得られる画像に相当する直交画像となる画像データを生成する
前記（６）に記載の撮像装置。
（８）
前記画像生成部は、
前記画素ユニットにおけるそれぞれ異なる直線偏光を受光する前記受光素子の受光信号値に基づき前記仮想フィルタ角度と受光信号値との関係を表す関数を取得し、前記関数を用いて、前記直交画像となる画像データを生成する
前記（７）に記載の撮像装置。
（９）
前記画像生成部は、生成する画像データの一つとして、
前記偏光フィルタの機能をキャンセルしたキャンセル画像となる画像データを生成する
前記（８）に記載の撮像装置。
（１０）
前記画像生成部は、前記直交画像と前記キャンセル画像の合成画像を生成する処理を行う
前記（９）に記載の撮像装置。
（１１）
前記画像生成部は、前記直交画像と前記キャンセル画像の差分に基づいて抽出した透明部の画像と、前記キャンセル画像から抽出した不透明部の画像の合成画像を生成する処理を行う
前記（９）に記載の撮像装置。
（１２）
前記画像生成部は、
透明被写体の輪郭を観察できる画像を生成する
前記（１）乃至（１１）の何れかに記載の撮像装置。
（１３）
前記画像生成部は、
不透明被写体の輪郭を観察できる画像を生成する
前記（１）乃至（１１）の何れかに記載の撮像装置。
（１４）
前記画像生成部は、
被写体の輪郭を観察できる画像を生成するとともに、該画像から判定される輪郭の情報を用いて、回転補正を施した画像を生成する
前記（１）乃至（１１）の何れかに記載の撮像装置。
（１５）
前記撮像部は、
偏光スプリッタと、所定数の受光素子を有し該受光素子が前記偏光スプリッタの分離面を反射した反射光の光軸に略直交する受光面を有して前記反射光を受光する第一種の画素と、所定数の受光素子を有し該受光素子が前記分離面を透過した透過光の光軸に略直交する受光面を有して前記透過光を受光する第二種の画素と、を有した画素対を複数備え、
隣接関係にある前記画素対において、前記偏光スプリッタにおける前記分離面の偏光軸の面内角度が異なっている
前記（１）乃至（１４）の何れかに記載の撮像装置。
（１６）
直線偏光とされた光を照射する偏光照明と、
第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部と、
少なくとも前記第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも前記第二画素群を含む画素群の信号に基づいて、前記第一画像とは異なる第二画像を生成する画像生成部と、を備える
撮像システム。
（１７）
前記偏光照明とは異なる方向から被写体に非偏光を照射する照明を備えた
前記（１６）に記載の撮像システム。
（１８）
前記撮像部は、前記偏光照明を被写体の背面側から照射した状態で、被写体の前面側を撮像するように配置される
前（１６）又は（１７）に記載の撮像システム。
（１９）
前記撮像部は、前記偏光照明を被写体の背面側から照射した状態で、被写体の前面側を撮像するように配置されるとともに、
被写体の正面側から非偏光を照射する照明を備えた
前記（１６）に記載の撮像システム。

１、１Ａ、１Ｂ 撮像装置、２ 発光部、３ 偏光フィルタ、５ａ 透明部、５’ａ 用紙表示情報、５ｂ 不透明部、６ 発光部、１０、１０Ａ、１０Ｂ 撮像システム、１１、１１Ａ 撮像部、１２ 撮像素子、１２ａ 受光素子、１３ 光学部材、１３ａ 偏光フィルタ、２１、２１Ｂ 偏光処理部、３０、３０Ｂ 制御部、４１ 第一発光部、４２ 偏光フィルタ、４３ 第二発光部

Claims (20)

1. 第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部と、
   少なくとも前記第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも前記第二画素群を含む画素群の信号に基づいて、前記第一画像とは異なる第二画像を生成する画像生成部と、を備える
   撮像装置。
2. 前記撮像部は、
   光透過性を有し透過後の光に前記第二の偏光方向の光が含まれる被写体を撮像する
   請求項１に記載の撮像装置。
3. 前記第一の偏光方向と前記第二の偏光方向が同一方向とされた
   請求項１に記載の撮像装置。
4. 前記第一の偏光方向と前記第二の偏光方向が異方向とされた
   請求項１に記載の撮像装置。
5. 前記画像生成部は、
   前記第一画像と前記第二画像を同時に生成する
   請求項１に記載の撮像装置。
6. 前記撮像部は、
   それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列されている
   請求項１に記載の撮像装置。
7. 回転自在な偏光フィルタを介した光を受光して撮像画像を得ると仮定した場合における前記偏光フィルタの回転角度を仮想フィルタ角度としたときに、
   前記画像生成部は、生成する画像データの一つとして、
   前記仮想フィルタ角度を、前記偏光部に入射する直線偏光の偏光方向に略直交する角度とした場合に得られる画像に相当する直交画像となる画像データを生成する
   請求項６に記載の撮像装置。
8. 前記画像生成部は、
   前記画素ユニットにおけるそれぞれ異なる直線偏光を受光する前記受光素子の受光信号値に基づき前記仮想フィルタ角度と受光信号値との関係を表す関数を取得し、前記関数を用いて、前記直交画像となる画像データを生成する
   請求項７に記載の撮像装置。
9. 前記画像生成部は、生成する画像データの一つとして、
   前記偏光フィルタの機能をキャンセルしたキャンセル画像となる画像データを生成する
   請求項８に記載の撮像装置。
10. 前記画像生成部は、前記直交画像と前記キャンセル画像の合成画像を生成する処理を行う
    請求項９に記載の撮像装置。
11. 前記画像生成部は、前記直交画像と前記キャンセル画像の差分に基づいて抽出した透明部の画像と、前記キャンセル画像から抽出した不透明部の画像の合成画像を生成する処理を行う
    請求項９に記載の撮像装置。
12. 前記画像生成部は、
    透明被写体の輪郭を観察できる画像を生成する
    請求項１に記載の撮像装置。
13. 前記画像生成部は、
    不透明被写体の輪郭を観察できる画像を生成する
    請求項１に記載の撮像装置。
14. 前記画像生成部は、
    被写体の輪郭を観察できる画像を生成するとともに、該画像から判定される輪郭の情報を用いて、回転補正を施した画像を生成する
    請求項１に記載の撮像装置。
15. 前記撮像部は、
    偏光スプリッタと、所定数の受光素子を有し該受光素子が前記偏光スプリッタの分離面を反射した反射光の光軸に略直交する受光面を有して前記反射光を受光する第一種の画素と、所定数の受光素子を有し該受光素子が前記分離面を透過した透過光の光軸に略直交する受光面を有して前記透過光を受光する第二種の画素と、を有した画素対を複数備え、
    隣接関係にある前記画素対において、前記偏光スプリッタにおける前記分離面の偏光軸の面内角度が異なっている
    請求項１に記載の撮像装置。
16. 第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部により被写体を撮像し、
    少なくとも前記第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも前記第二画素群を含む画素群の信号に基づいて、前記第一画像とは異なる第二画像を生成する
    画像生成方法。
17. 直線偏光とされた光を照射する偏光照明と、
    第一の偏光方向の光を受光可能な画素を含む第一画素群と、第二画素群とを含む画素群を有する撮像部と、
    少なくとも前記第一画素群を含む画素群の信号に基づいて、所定の偏光方向である第二の偏光方向に対応する第一画像を生成し、少なくとも前記第二画素群を含む画素群の信号に基づいて、前記第一画像とは異なる第二画像を生成する画像生成部と、を備える
    撮像システム。
18. 前記偏光照明とは異なる方向から被写体に非偏光を照射する照明を備えた
    請求項１７に記載の撮像システム。
19. 前記撮像部は、前記偏光照明を被写体の背面側から照射した状態で、被写体の前面側を撮像するように配置される
    請求項１７に記載の撮像システム。
20. 前記撮像部は、前記偏光照明を被写体の背面側から照射した状態で、被写体の前面側を撮像するように配置されるとともに、
    被写体の正面側から非偏光を照射する照明を備えた
    請求項１７に記載の撮像システム。

Images