JP5503573B2 - 撮像装置および画像処理情報生成プログラム - Google Patents
撮像装置および画像処理情報生成プログラム Download PDFInfo
- Publication number
- JP5503573B2 JP5503573B2 JP2011034309A JP2011034309A JP5503573B2 JP 5503573 B2 JP5503573 B2 JP 5503573B2 JP 2011034309 A JP2011034309 A JP 2011034309A JP 2011034309 A JP2011034309 A JP 2011034309A JP 5503573 B2 JP5503573 B2 JP 5503573B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- subject
- depth
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Input (AREA)
- Studio Devices (AREA)
Description
によって、
本願第4発明によれば、奥行き抽出範囲を算出できるため、これを手動で設定する必要がなく、撮像装置の利便性をより向上させると共に、被写体の顔領域を正確に抽出することができる。
図1を参照して、本発明の実施形態に係る撮像装置1の構成について説明する。
撮像装置1は、照明(光源)Lで照らされる被写体Aを撮像して、奥行き情報と、反射特性情報と、照明情報(光源情報)とを画像処理情報として生成するものであって、カメラ(撮像手段)Cと、画像処理情報生成装置100とを備える。
照明Lは、被写体Aを照らす光源であり、カメラCの周囲に配置されるものである。この照明Lは、例えば、高速(1フレーム秒単位)で点灯および消灯が可能な白色LED(Light Emitting Diode)である。また、照明Lは、信号ケーブル9Cを介して、画像処理情報生成装置100に接続されている。
なお、本実施形態では、光源が照明Lであることから、後記する画像処理情報生成装置100は、光源情報として照明情報を生成することとした。
ここで、図2を参照して、カメラCの構成について説明する。
カメラCは、図2(a)に示すように、レンズ(光透過素子)11と、偏光BS(分光素子)12と、第1撮像素子13と、第2撮像素子14とを備える。
この図2(a)では、入射光における縦方向の偏光成分と、横方向の偏光成分とを矢印で図示した。
被写体からの入射光のうち、少なくとも拡散反射光成分は、偏光方向が分散される。この結果、拡散反射光成分は、偏光フィルタ11aまたは偏光フィルタ11bのみがレンズ11の開口形状と同等の条件で撮像される。言い換えるなら、拡散反射光成分は、その偏光方向が偏らないため、偏光フィルタ11aおよび偏光フィルタ11bで略均等に遮蔽される。
以後、レンズ11の焦点位置にある丸状の被写体を「○」とし、レンズ11の焦点位置より奥側にある三角状の被写体を「△」とし、レンズ11の焦点位置より手前側にある正方形状の被写体を「□」とする。
図4を参照して、画像処理情報生成装置100の構成について説明する(適宜図1,図2参照)。
この図4では、図面を見やすくするため、カメラCの一部構成を省略した。
なお、照明制御部180は、照明情報を絶対値で表すときに必要な構成であり、後記する変形例で説明する。
この勾配法は、例えば、文献「一般化勾配法によるオプティカルフローの検出:不均一照明下での物体運動の計測,社団法人情報処理学会,情報処理学会論文誌,コンピュータビジョンとイメージメディア49(SIG_6(CVIM_20)),1-12,2008-03-15,http://ci.nii.ac.jp/naid/110006684635」に記載されている。
図5,図6を参照して、奥行き値換算部110による換算の具体例について説明する(適宜図4参照)。
被写体のボケ中心位置は、レンズ11における開口(つまり、偏光フィルタ11aまたは偏光フィルタ11b)の重心位置となる。ここでは、レンズ11における開口を半円として説明する。
なお、換算式は、視差量と、カメラCからの距離である絶対的な奥行き値との関係がカメラCの設計および設定により異なるため、奥行き値換算部110に予め設定しておく。
続いて、図7,図8を参照して、奥行き値換算部110による法線方向の算出について説明する(適宜図4参照)。
なお、この手法は、例えば、ホームページ「http://nis-lab.is.s.u-tokyo.ac.jp/nis/CG/cgtxt/furoku/fu1.htm#Appendix%EF%BC%91」に記載されている。
カメラパラメータ算出部120は、奥行き値換算部110から奥行き情報が入力され、この奥行き情報が示す奥行き値に最適化処理を行って、カメラCの位置および方向を算出するものである。このカメラパラメータ算出部120は、例えば、最小二乗法などの最適化処理を行ってカメラCの位置および方向を、カメラパラメータとして算出する。そして、カメラパラメータ算出部120は、算出したカメラパラメータを、奥行き情報記憶部130および反射特性推定部140に出力する。
また、カメラパラメータ算出部120は、例えば、ニュートン法、Powell法、共役勾配法などの最適化手法を用いることも可能である。
図10を参照して、照明情報生成部144による照明情報の生成について説明する(適宜図4参照)。
ここで、照明情報生成部144は、最小輝度値と最大輝度値との差(=鏡面反射光成分画像が示す鏡面反射光成分の強度)と、照明Lの方向との関係より、被写体表面と照明Lの方向のなす線上における照明Lの光量を取得できる。計算を簡略化するため、図10に示すように、ある半径の仮想球Vbを予め設定し、その仮想球面を格子状に予め分割した場合を考える。この場合、照明情報生成部144は、各格子頂点に、取得した照明Lの光量を対応付けて記憶する。
なお、照明情報は、例えば、ホームページ「http://ict.debevec.org/~debevec/Research/HDR/」に詳細に記載されている。
反射係数算出部145は、照明情報生成部144が生成した照明情報と、鏡面反射光成分画像と、拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を反射特性情報として算出するものである。
なお、奥行き抽出範囲算出部160は、例えば、顔領域検出処理として、肌色領域を抽出する手法を利用することができる。
図11を参照して、図4の画像処理情報生成装置100の動作について説明する(適宜図4参照)。
ここで、画像処理情報生成装置100には、撮像画像1,2が入力されていることとする。
図1に示すように、撮像装置1は、撮像のタイミングに合わせて、照明Lの点灯および消灯を繰り返す制御を行い、照明点灯時および照明消灯時の照明情報を用いて、相対値で表された照明情報を絶対値に変換する。
以下、照明情報生成部144による照明情報の変換について、具体的に説明する。
ここで、予め測定した照明Lの光量実測値をIとし、照明Lから被写体Aまでの距離をLgとし、被写体表面の法線に対する反射光の入射角をθとし、被写体表面で反射光を反射した反射部分の反射係数をKdとする。この入射角θは、照明方向算出部143が算出済みのため、既知である。
なお、本変形例では、例えば、1フレーム秒(つまり、1/30秒)程度と、その時間差が極めて小さいため、この位置ずれが無いと仮定している。
なお、照明情報生成部144および照明制御部180以外、第1実施形態と同様のため、詳細な説明を省略した。
11 レンズ(光透過素子)
11a,11b 偏光フィルタ(偏光素子)
12 偏光BS(分光素子)
13 第1撮像素子
14 第2撮像素子
100 画像処理情報生成装置
101 視差量算出部
110 奥行き値換算部
120 カメラパラメータ算出部(撮像手段位置算出部)
130 奥行き情報記憶部
140 反射特性推定部
141 拡散反射光成分画像生成部
142 鏡面反射光成分画像生成部
143 照明方向算出部(光源方向算出部)
144 照明情報生成部(光源情報生成部)
145 反射係数算出部
150 パラメータ設定部
160 奥行き抽出範囲算出部
170 被写体領域抽出部
180 照明制御部
C カメラ(撮像手段)
L 照明(光源)
Claims (5)
- 光源で照らされる被写体を撮像して、前記被写体の奥行き値を示す奥行き情報と、前記被写体の反射特性を示す反射特性情報と、前記光源の方向および光量を示す光源情報とを生成する撮像装置であって、
偏光方向が互いに直交する2つの偏光素子からなる光透過素子と、前記偏光素子の一方からの入射光を透過させ、かつ、前記偏光素子の他方からの入射光を反射させる分光素子と、前記分光素子を透過した入射光を撮像する第1撮像素子と、前記分光素子で反射された入射光を撮像する第2撮像素子とを備える撮像手段と、
前記第1撮像素子および前記第2撮像素子で前記被写体を撮像した2つの撮像画像から、前記2つの撮像画像で対応する対応画素ごとの視差量を算出する視差量算出部と、
前記視差量算出部が算出した視差量を、予め設定された換算式で前記対応画素ごとの奥行き値に換算して前記奥行き情報を生成し、注目画素と当該注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する奥行き値換算部と、
前記奥行き値換算部が算出した奥行き値に最適化処理を行って、前記撮像手段の位置を算出する撮像手段位置算出部と、
前記2つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、前記対応画素ごとの前記最小輝度値を示す拡散反射光成分画像を生成する拡散反射光成分画像生成部と、
前記2つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、前記対応画素ごとの前記最大輝度値と前記最小輝度値との差分を示す鏡面反射光成分画像を生成する鏡面反射光成分画像生成部と、
前記奥行き値換算部が算出した法線方向および前記撮像手段の位置から、前記被写体での反射光の入射角を算出し、算出した当該入射角が示す方向を前記光源の方向として算出する光源方向算出部と、
前記鏡面反射光成分画像生成部が生成した鏡面反射光成分画像および前記光源の方向に基づいて前記光源の光量を算出し、算出した前記光源の光量および方向を前記光源情報として生成する光源情報生成部と、
前記光源情報生成部が生成した光源情報と、前記鏡面反射光成分画像と、前記拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を前記反射特性情報として算出する反射係数算出部と、
を備えることを特徴とする撮像装置。 - 前記光源を点灯および消灯させる光源制御部をさらに備え、
前記光源情報生成部は、
光源点灯時および光源消灯時に前記光源の光量をそれぞれ算出し、当該光源点灯時および光源消灯時の光量から所定の算出式によって重みを算出し、算出した当該重みを前記光源消灯時の光量に乗算することで、絶対値で表された前記光源情報を算出することを特徴とする請求項1に記載の撮像装置。 - 前記2つの撮像画像の一方から、前記対応画素の奥行き値が予め設定された奥行き抽出範囲に含まれる領域を被写体領域として抽出する被写体領域抽出部をさらに備えることを特徴とする請求項1または請求項2に記載の撮像装置。
- 前記2つの撮像画像の一方から顔領域検出処理により顔領域を検出し、検出した当該顔領域に含まれる全画素の奥行き値の平均値を算出し、算出した当該平均値に所定の値を加減算して前記奥行き抽出範囲を設定する奥行き抽出範囲算出部をさらに備えることを特徴とする請求項3に記載の撮像装置。
- 偏光方向が互いに直交する2つの偏光素子からなる光透過素子と、前記偏光素子の一方からの入射光を透過させ、かつ、前記偏光素子の他方からの入射光を反射させる分光素子と、前記分光素子を透過した入射光を撮像する第1撮像素子と、前記分光素子で反射された入射光を撮像する第2撮像素子とを備える撮像手段により、光源で照らされる被写体を撮像して、前記被写体の奥行き値を示す奥行き情報と、前記被写体の反射特性を示す反射特性情報と、前記光源の方向および光量を示す光源情報とを生成するために、コンピュータを、
前記第1撮像素子および前記第2撮像素子で前記被写体を撮像した2つの撮像画像から、前記2つの撮像画像で対応する対応画素ごとの視差量を算出する視差量算出部、
前記視差量算出部が算出した視差量を、予め設定された換算式で前記対応画素ごとの奥行き値に換算して前記奥行き情報を生成し、注目画素と当該注目画素の近傍画素との奥行き値で表される被写体表面に直交する法線方向を算出する奥行き値換算部、
前記奥行き値換算部が算出した奥行き値に最適化処理を行って、前記撮像手段の位置を算出する撮像手段位置算出部、
前記2つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、前記対応画素ごとの前記最小輝度値を示す拡散反射光成分画像を生成する拡散反射光成分画像生成部、
前記2つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、前記対応画素ごとの前記最大輝度値と前記最小輝度値との差分を示す鏡面反射光成分画像を生成する鏡面反射光成分画像生成部、
前記奥行き値換算部が算出した法線方向および前記撮像手段の位置から、前記被写体での反射光の入射角を算出し、算出した当該入射角が示す方向を前記光源の方向として算出する光源方向算出部、
前記鏡面反射光成分画像生成部が生成した鏡面反射光成分画像および前記光源の方向に基づいて前記光源の光量を算出し、算出した前記光源の光量および方向を前記光源情報として生成する光源情報生成部、
前記光源情報生成部が生成した光源情報と、前記鏡面反射光成分画像と、前記拡散反射光成分画像とに対して反射モデルを適用した最適化処理を行って、鏡面反射係数および拡散反射係数を前記反射特性情報として算出する反射係数算出部、
として機能させるための画像処理情報生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011034309A JP5503573B2 (ja) | 2011-02-21 | 2011-02-21 | 撮像装置および画像処理情報生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011034309A JP5503573B2 (ja) | 2011-02-21 | 2011-02-21 | 撮像装置および画像処理情報生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012173916A JP2012173916A (ja) | 2012-09-10 |
JP5503573B2 true JP5503573B2 (ja) | 2014-05-28 |
Family
ID=46976783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011034309A Active JP5503573B2 (ja) | 2011-02-21 | 2011-02-21 | 撮像装置および画像処理情報生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5503573B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6575999B2 (ja) * | 2015-10-01 | 2019-09-18 | 日本放送協会 | 照明情報取得装置、照明復元装置、およびこれらのプログラム |
WO2017149608A1 (ja) * | 2016-02-29 | 2017-09-08 | 富士通フロンテック株式会社 | 撮像装置及び撮像方法 |
CN114731368B (zh) * | 2019-12-13 | 2024-07-16 | 索尼集团公司 | 成像装置、信息处理装置、成像方法和信息处理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000200359A (ja) * | 1999-01-05 | 2000-07-18 | Olympus Optical Co Ltd | 画像処理装置及び画像処理方法及び画像処理プログラムを記録した記録媒体 |
JP2001016610A (ja) * | 1999-06-29 | 2001-01-19 | Fuji Photo Film Co Ltd | 視差画像入力装置及びカメラ |
JP4764963B2 (ja) * | 2004-07-21 | 2011-09-07 | 公立大学法人広島市立大学 | 画像処理装置 |
CN101044507B (zh) * | 2005-09-01 | 2010-08-18 | 松下电器产业株式会社 | 图像处理方法以及图像处理装置 |
WO2008026518A1 (fr) * | 2006-08-31 | 2008-03-06 | Panasonic Corporation | Dispositif, procédé et programme de traitement d'image |
JP2009168995A (ja) * | 2008-01-15 | 2009-07-30 | Nikon Corp | 測距装置および撮像装置 |
JP2011215545A (ja) * | 2010-04-02 | 2011-10-27 | Nippon Hoso Kyokai <Nhk> | 視差画像取得装置 |
-
2011
- 2011-02-21 JP JP2011034309A patent/JP5503573B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012173916A (ja) | 2012-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230154105A1 (en) | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function | |
JP6456156B2 (ja) | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム | |
CA2931529C (en) | 3d corrected imaging | |
US9392262B2 (en) | System and method for 3D reconstruction using multiple multi-channel cameras | |
CN104335005B (zh) | 3d扫描以及定位系统 | |
US9432655B2 (en) | Three-dimensional scanner based on contours from shadow images | |
CN109069132A (zh) | 用于辅助型3d扫描的系统和方法 | |
JP6112769B2 (ja) | 情報処理装置、情報処理方法 | |
JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2018514237A (ja) | 歯科用3dスキャナ用のテクスチャマッピングの装置及び方法 | |
CN105004324B (zh) | 一种具有三角测距功能的单目视觉传感器 | |
JP2016528972A5 (ja) | ||
JP2018518750A (ja) | 反射マップ表現による奥行きマップ表現の増補 | |
US20200175297A1 (en) | Information processing apparatus, information processing system, and material identification method | |
JP6556013B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
WO2014171418A1 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
Liao et al. | Light fall-off stereo | |
JP5503573B2 (ja) | 撮像装置および画像処理情報生成プログラム | |
US20240175677A1 (en) | Measuring system providing shape from shading | |
Smithwick et al. | Depth enhancement using a scanning fiber optical endoscope | |
WO2016035181A1 (ja) | 撮像装置、情報処理装置、及び撮像システム | |
CN208536839U (zh) | 图像采集设备 | |
JP4213327B2 (ja) | 光源方向と3次元形状の推定方法および装置並びに記録媒体 | |
JP2009236696A (ja) | 被写体の3次元画像計測方法、計測システム、並びに計測プログラム | |
Iwahori et al. | Extending fast marching method under point light source illumination and perspective projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5503573 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |