JP7409443B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP7409443B2 JP7409443B2 JP2022130760A JP2022130760A JP7409443B2 JP 7409443 B2 JP7409443 B2 JP 7409443B2 JP 2022130760 A JP2022130760 A JP 2022130760A JP 2022130760 A JP2022130760 A JP 2022130760A JP 7409443 B2 JP7409443 B2 JP 7409443B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- imaging
- imaging device
- optical elements
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 125
- 230000003287 optical effect Effects 0.000 claims description 59
- 230000010365 information processing Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 64
- 238000000034 method Methods 0.000 description 46
- 238000005259 measurement Methods 0.000 description 37
- 239000004065 semiconductor Substances 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 18
- 230000004048 modification Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- XWPCYYOZOJKYKQ-UHFFFAOYSA-N 1-(2-chloroethyl)-3-[2-[2-[[2-chloroethyl(nitroso)carbamoyl]amino]ethyldisulfanyl]ethyl]-1-nitrosourea Chemical compound ClCCN(N=O)C(=O)NCCSSCCNC(=O)N(N=O)CCCl XWPCYYOZOJKYKQ-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Automatic Focus Adjustment (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
図1および図2は、第1の実施の形態に係る撮像装置の構成の一例を示す図である。図1は、撮像装置の外観の一例を示す図である。図2は、撮像装置の構成を説明するための図である。図2には、図1の撮像装置の内部の構成を示している。さらに、図2には、光の経路を説明するための図を重ねて示している。先ず、図1および図2を参照して撮像装置の構成について説明する。
続いて、処理回路14の処理について説明する。TOFセンサ13aだけで得たTOF画像は、そのままでは解像度が低い。このため、本例では処理回路14により高解像度化し、高密度の3次元点群データを再構築する例を示す。なお、処理回路14における「情報処理手段」としての以下に示す処理の一部または全ては、外部装置で行ってもよい。
図7は、撮像装置1の処理回路14の動作の一例を示すフロー図である。処理回路14の制御部141は、ユーザにより撮影スイッチ15がONされ、撮影指示信号が入力されると、次のような方法で高密度3次元点群を生成する動作を行う。
実施の形態には、パルス方式で距離を計測する構成を示したが、この方式に限らず、適宜他の方式に変形してもよい。変形例1では、パルス方式以外の一例として位相差検出方式で距離を計測する場合の構成について示す。
図10は、MEMSミラー231の構成の一例を説明する図である。図10に示すMEMSミラー231は、支持基板131に、可動部132と二組の蛇行状梁部133とを有する。
制御部141は、撮影スイッチ15からON信号(撮影開始信号)を受けると撮像素子11a、光源部(半導体レーザ232とMEMSミラー231)、およびTOFセンサ13a(この例では位相差検出方式のTOFセンサ)に同期信号を出力して駆動し、処理回路14全体を制御する。変形例1では、制御部141は、光源部の複数の半導体レーザ232を駆動し、MEMSミラー231による一走査の間、強い光をMEMSミラー231に照射し続ける。MEMSミラー231は、半導体レーザ232の照射と共に走査を開始する。TOFセンサ13aは、走査期間中、測定範囲からの反射光を対応する受光素子で受光し、各画素のデータを処理回路14へ出力する。
実施の形態や変形例1には、RGB画像を取得する撮像部と、可視光領域以外の光を投射する投射部と、投射部が投射した光に基づいて距離情報を取得する距離情報取得部とを、それぞれを1組ずつ半天球(略180度、または180度以下)の測定範囲を対象に筐体10に設けたものを示した。各部の数は、1組ずつに限らず適宜増やしてもよい。例えば、半天球(略180度、または180度以下)の測定範囲を対象に、撮像部を同一基線上に2組設け、撮像部をステレオカメラ化してもよい。また、筐体10の正面側だけでなく背面側などにも、同じ数の撮像部、投射部、距離情報取得部を設けてもよい。このように、撮像部、投射部、および距離情報取得部を複数組設ける場合、複数組の一つの組(例えば正面側の組)と他の組(例えば背面側の組)とは計測範囲が互いに異なる計測範囲になる向きに設ける。
例えば次に示す式5のように、式2をベースとしてさらにエッジでのRGB画像を利用する比率を高くする。ここでCRGBは、RGB多眼画像による視差計算処理であり、MBSやEPIで計算されるコスト値である。w1はCwnccとCRGBのどちらを優先するかを決定する重み値であるが、式2で示したwをそのまま利用してもよい。
計測範囲についての3D復元技術は、Structure from Motonと呼ばれる手法や、複数の画像撮影手段を備えた機器を用いた、ステレオ法と呼ばれる手法をメインとしている。これらの手法は基本的な処理として、カメラによって異なる位置から撮影された画像中から、同じ箇所を撮影したとされる点を、画像の類似度に基づいて探索する。この処理は対応点探索などと呼ばれる。この対応点探索処理に引き続いて、場合によっては複雑な計算を施して、大規模な空間を可能な限り隙間なく滑らかに復元しようとするものである。
10 筐体
11 撮像部
11a 撮像素子
11b 魚眼レンズ
12 投射部
12a 光源部
12b 広角レンズ
13 距離情報取得部
13a TOFセンサ
13b 広角レンズ
14 処理回路
15 撮影スイッチ
L 同期信号線
Claims (10)
- 撮像素子と、各々異なる範囲を撮像範囲とする複数の撮像光学素子を含み、第1の軸の周囲の360度の範囲を撮像する撮像手段と、
光源と、互いに異なる方向に向けて配置された複数の投射光学素子を含み、前記光源から出射された光を前記360度の範囲に投射する投射手段と、
受光素子と、各々異なる範囲を受光範囲とする複数の受光光学素子を含み、前記360度の範囲から反射された前記光を受光する受光手段と、
を備え、
前記撮像手段と、前記投射手段と、前記受光手段とを、前記第1の軸方向を長手方向とする長手形状の筐体に一体的に備え、
前記筐体の長手方向において、互いに異なる位置に配置される前記投射光学素子と前記受光光学素子を含む
ことを特徴とする撮像装置。 - 撮像素子と、各々異なる範囲を撮像範囲とする複数の撮像光学素子を含み、第1の軸の周囲の360度の範囲を撮像する撮像手段と、
光源と、互いに異なる方向に向けて配置された複数の投射光学素子を含み、前記光源から出射された光を前記360度の範囲に投射する投射手段と、
受光素子と、各々異なる範囲を受光範囲とする複数の受光光学素子を含み、前記360度の範囲から反射された前記光を受光する受光手段と、
を備え、
前記撮像手段と、前記投射手段と、前記受光手段とを、前記第1の軸方向を長手方向とする長手形状の筐体に一体的に備え、
前記筐体の長手方向において、互いに異なる位置に配置される前記撮像光学素子と前記投射光学素子を含む
ことを特徴とする撮像装置。 - 撮像素子と、各々異なる範囲を撮像範囲とする複数の撮像光学素子を含み、第1の軸の周囲の360度の範囲を撮像する撮像手段と、
光源と、互いに異なる方向に向けて配置された複数の投射光学素子を含み、前記光源から出射された光を前記360度の範囲に投射する投射手段と、
受光素子と、各々異なる範囲を受光範囲とする複数の受光光学素子を含み、前記360度の範囲から反射された前記光を受光する受光手段と、
を備え、
前記撮像手段と、前記投射手段と、前記受光手段とを、前記第1の軸方向を長手方向とする長手形状の筐体に一体的に備え、
前記筐体の長手方向において、互いに異なる位置に配置される前記撮像光学素子と前記受光光学素子を含む
ことを特徴とする撮像装置。 - 前記受光光学素子は、前記筐体の長手方向において前記投射光学素子および前記撮像光学素子とは異なる位置に配置される、ことを特徴とする請求項1乃至3のうちの何れか一項に記載の撮像装置。
- 前記複数の撮像光学素子の少なくとも1つと、前記複数の投射光学素子の少なくとも1つと、前記複数の受光光学素子の少なくとも1つと、が共に前記筐体の一面側に設けられている、ことを特徴とする請求項1乃至4のうちの何れか一項に記載の撮像装置。
- 前記撮像光学素子と前記受光光学素子とはいずれもレンズであり、前記投射光学素子はレンズまたは光偏向素子である、ことを特徴とする請求項1乃至5のうちの何れか一項に記載の撮像装置。
- 前記複数の撮像光学素子、前記複数の投射光学素子及び前記複数の受光光学素子は前記筐体の前記長手方向の一方寄りに配置され、前記筐体は、前記筐体の前記長手方向の他方寄りに、前記複数の撮像光学素子、前記複数の投射光学素子及び前記複数の受光光学素子のいずれも配置されない部分を含む、ことを特徴とする請求項1乃至6のうちの何れか一項に記載の撮像装置。
- 前記複数の撮像光学素子は、前記筐体の長手方向において互いに異なる位置に配置される2つの撮像光学素子を含む、ことを特徴とする請求項1乃至7のうちの何れか一項に記載の撮像装置。
- 前記受光手段により受光した光に基づいて距離情報を取得する取得手段をさらに備える、ことを特徴とする請求項1乃至8のうちの何れか一項に記載の撮像装置。
- 前記取得手段によって取得された前記距離情報と、前記撮像手段によって撮像された画像と、に基づいて、3次元点群データを構成する情報処理手段をさらに備える、ことを特徴とする請求項9に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022130760A JP7409443B2 (ja) | 2018-10-01 | 2022-08-18 | 撮像装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186964A JP7131268B2 (ja) | 2018-10-01 | 2018-10-01 | 撮像装置および撮像処理方法 |
JP2022130760A JP7409443B2 (ja) | 2018-10-01 | 2022-08-18 | 撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018186964A Division JP7131268B2 (ja) | 2018-10-01 | 2018-10-01 | 撮像装置および撮像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022176974A JP2022176974A (ja) | 2022-11-30 |
JP7409443B2 true JP7409443B2 (ja) | 2024-01-09 |
Family
ID=70107983
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018186964A Active JP7131268B2 (ja) | 2018-10-01 | 2018-10-01 | 撮像装置および撮像処理方法 |
JP2022130760A Active JP7409443B2 (ja) | 2018-10-01 | 2022-08-18 | 撮像装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018186964A Active JP7131268B2 (ja) | 2018-10-01 | 2018-10-01 | 撮像装置および撮像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7131268B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7040660B1 (ja) | 2021-03-23 | 2022-03-23 | 株式会社リコー | 情報処理装置および情報処理方法 |
JP7006824B1 (ja) | 2021-03-23 | 2022-01-24 | 株式会社リコー | 情報処理装置 |
JP2023002982A (ja) * | 2021-06-23 | 2023-01-11 | 株式会社リコー | 測距装置および測距システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007187970A (ja) | 2006-01-16 | 2007-07-26 | Sumitomo Mitsui Construction Co Ltd | 広角撮影装置、及び画像処理方法 |
CN104567818A (zh) | 2014-12-31 | 2015-04-29 | 浙江工业大学 | 一种便携式全天候主动全景视觉传感器 |
WO2019229887A1 (ja) | 2018-05-30 | 2019-12-05 | マクセル株式会社 | カメラ装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002074346A (ja) | 2000-09-05 | 2002-03-15 | Asahi Optical Co Ltd | 3次元画像入力装置 |
JP2009047497A (ja) | 2007-08-17 | 2009-03-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
JP6822230B2 (ja) | 2017-03-09 | 2021-01-27 | 株式会社リコー | 撮像装置および撮像方法 |
JP6812862B2 (ja) | 2017-03-14 | 2021-01-13 | 株式会社リコー | 画像処理システム、撮像装置、画像処理方法及びプログラム |
-
2018
- 2018-10-01 JP JP2018186964A patent/JP7131268B2/ja active Active
-
2022
- 2022-08-18 JP JP2022130760A patent/JP7409443B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007187970A (ja) | 2006-01-16 | 2007-07-26 | Sumitomo Mitsui Construction Co Ltd | 広角撮影装置、及び画像処理方法 |
CN104567818A (zh) | 2014-12-31 | 2015-04-29 | 浙江工业大学 | 一种便携式全天候主动全景视觉传感器 |
WO2019229887A1 (ja) | 2018-05-30 | 2019-12-05 | マクセル株式会社 | カメラ装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7131268B2 (ja) | 2022-09-06 |
JP2022176974A (ja) | 2022-11-30 |
JP2020057924A (ja) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7409443B2 (ja) | 撮像装置 | |
CN103988048B (zh) | 在空间编码幻灯片图像上的模式的对准方法和系统 | |
US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
CN107370950B (zh) | 对焦处理方法、装置和移动终端 | |
JP2018152632A (ja) | 撮像装置および撮像方法 | |
JP7363068B2 (ja) | 3次元情報取得システム | |
Lanman et al. | Surround structured lighting for full object scanning | |
JP7414090B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP6868167B1 (ja) | 撮像装置および撮像処理方法 | |
Xu et al. | Trapping light for time of flight | |
CN109451294B (zh) | 3d显示方法、系统、装置、电子设备及存储介质 | |
JP7528485B2 (ja) | 撮像装置およびプログラム | |
JP6868168B1 (ja) | 撮像装置および撮像処理方法 | |
JP7120365B1 (ja) | 撮像装置、撮像方法および情報処理装置 | |
JP2004132759A (ja) | 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム | |
JP6966011B1 (ja) | 撮像装置、撮像方法および情報処理装置 | |
JP7040660B1 (ja) | 情報処理装置および情報処理方法 | |
JP7006824B1 (ja) | 情報処理装置 | |
US20230145521A1 (en) | Information processing apparatus and method of processing information | |
JP2021150880A (ja) | 撮像装置および撮像処理方法 | |
JP2022147012A (ja) | 情報処理装置および情報処理方法 | |
JP2022147087A (ja) | 撮像装置、撮像方法および情報処理装置 | |
JP2022147124A (ja) | 情報処理装置 | |
KR200354087Y1 (ko) | 3차원 촬영장치 | |
KR20050098401A (ko) | 3차원 촬영장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220916 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7409443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |