JPWO2017086027A1 - 撮像装置、および、撮像システム - Google Patents
撮像装置、および、撮像システム Download PDFInfo
- Publication number
- JPWO2017086027A1 JPWO2017086027A1 JP2017551755A JP2017551755A JPWO2017086027A1 JP WO2017086027 A1 JPWO2017086027 A1 JP WO2017086027A1 JP 2017551755 A JP2017551755 A JP 2017551755A JP 2017551755 A JP2017551755 A JP 2017551755A JP WO2017086027 A1 JPWO2017086027 A1 JP WO2017086027A1
- Authority
- JP
- Japan
- Prior art keywords
- pair
- distance
- imaging
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
Abstract
撮像装置は、一対の撮像素子と、測距部とを具備する。この撮像装置における一対の撮像素子について、それぞれの受光面に垂直な軸は互いに交差する。また、一対の撮像素子と測距部とを具備する撮像装置において、測距部は、それぞれの受光面に垂直な軸は互いに交差する一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する。
Description
1.第1の実施の形態(光軸が互いに交差する一対の撮像素子を設ける例)
2.第2の実施の形態(レンズが1つの光学系に光軸が互いに交差する一対の撮像素子を設ける例)
3.第3の実施の形態(光軸が互いに交差する一対の撮像素子を設けたカメラモジュールを装置の外部に配置する例)
[電子装置の構成例]
図1は、第1の実施の形態における電子装置100の外観図の一例である。この電子装置100としては、例えば、スマートフォンやタブレット端末などの、撮像機能を持つモバイル機器が想定される。電子装置100のディスプレイが設けられた正面には、一定の間隔を空けて標準レンズ121および122が配置される。なお、電子装置100の正面でなく、ディスプレイの設けられていない背面に標準レンズ121および122を配置してもよい。
図3は、第1の実施の形態における演算処理部150の一構成例を示すブロック図である。この演算処理部150は、特徴点抽出部151、像ずれ量取得部152、測距部153およびUI(User Interface)処理部154を備える。
図4は、第1の実施の形態における光学系の一構成例を示す上面図である。この光学系は、標準レンズ121および122と、撮像素子131および132と、鏡筒101および102を備える。鏡筒101の中に、標準レンズ121および撮像素子131が配置され、鏡筒102の中に、標準レンズ122および撮像素子132が配置される。同図は、この光学系を、電子装置100のディスプレイの面に平行な所定の方向から見た上面図である。
D=f×B/Z ・・・式1
上式において、fは、標準レンズ121および122の焦点距離を示す。また、距離D、焦点距離fおよび基線長Bの単位は、例えば、メートル(m)である。
D=f×B_para/Z ・・・式2
図9は、第1の実施の形態における電子装置100の動作の一例を示すフローチャートである。この動作は、例えば、ユーザインターフェース処理を行うための所定のアプリケーションが実行されたときに開始する。
上述の第1の実施の形態では、鏡筒101および102の底面に対して、撮像素子131および132の両方を傾斜させていた。しかし、傾斜させて配置するには、鏡筒と撮像素子との間に、傾斜した撮像素子を支持する支持部材などを設ける必要があり、部品点数が増大するおそれがある。また、傾斜させて配置する際に、位置ずれが生じるおそれがある。この第1の実施の形態の第1の変形例の電子装置100は、光学系の部品点数の増大や位置ずれを抑制する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、撮像素子131および132を傾斜させて、像ずれ量Zを相対的に大きくしていたが、距離Dが遠いと、像ずれ量Zを増大させても測距精度が不十分になるおそれがある。ここで、画角が比較的大きな広角レンズでは、画像データの周辺部分などで、実際の形状と比較して像が歪む現象(歪曲収差)が生じることが知られている。この歪曲収差による同一物体についての歪み量は、左側画像データと右側画像データとで異なることがある。これは、立体的な物体を異なる角度から見ると、その形状が変化するためである。この歪み量は、物体までの距離が近いほど大きくなるため、歪み量から距離を測定することができる。像ずれ量Zがほとんどなくとも、物体が立体的であれば、視差により左側画像データと右側画像データとで歪み量に差が生じることがあるため、この歪み量(視差)を考慮することにより、測距精度を向上させることができる。この第1の実施の形態の第2の変形例の電子装置100は、歪み量を用いて測距精度を向上させた点において第1の実施の形態と異なる。
上述の第1の実施の形態では、撮像素子131および132のそれぞれに、標準レンズを設ける必要があったため、一眼の構成と比較して光学系の部品点数が増大してしまう。この第2の実施の形態の電子装置100は、光学系の部品点数の増大を抑制する点において第1の実施の形態と異なる。
上述の第2の実施の形態では、鏡筒101の底面に対して、撮像素子131および132の両方を傾斜させていた。しかし、傾斜させて配置するには、鏡筒101と撮像素子131等との間に支持部材などを設ける必要があり、部品点数が増大するおそれがある。また、傾斜させて配置する際に、位置ずれが生じるおそれがある。この第1の実施の形態の第1の変形例の電子装置100は、光学系の部品点数の増大や位置ずれを抑制する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、カメラモジュール110および演算処理部150を、同一の装置(電子装置100)に配置していたが、これらを別々の装置に分散して配置することもできる。この第3の実施の形態のシステムは、カメラモジュールを演算処理部とは別の装置に配置した点において第1の実施の形態と異なる。なお、情報処理システムは、特許請求の範囲に記載の撮像システムの一例である。
上述の第3の実施の形態では、情報処理装置300が距離を測定する処理を行っていたが、その処理の分、情報処理装置300の処理負荷が増大してしまう。この第3の実施の形態の変形例の情報処理システムは、情報処理装置300の処理負荷を軽減した点において第3の実施の形態と異なる。
(1)それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、
前記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と
を具備する撮像装置。
(2)光を集光して前記一対の撮像素子に導く撮像レンズをさらに具備する
前記(1)記載の撮像装置。
(3)一対の撮像レンズをさらに具備し、
前記一対の撮像レンズの一方は、光を集光して前記一対の撮像素子の一方に導き、
前記一対の撮像レンズの他方は、光を集光して前記一対の撮像素子の他方に導く
前記(1)記載の撮像装置。
(4)鏡筒をさらに具備し、
前記一対の撮像素子の一方の前記受光面は、前記鏡筒の底面に平行である
前記(1)から(3)のいずれかに記載の撮像装置。
(5)前記測距部は、前記一対の画像の一方と他方との間の像ずれ量から前記距離を測定する
前記(1)から(4)のいずれかに記載の撮像装置。
(6)前記測距部は、前記一対の画像の一方の他方に対する歪み量から前記距離を測定する
前記(1)から(5)のいずれかに記載の撮像装置。
(7)それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、
前記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と、
前記測定された距離と前記一対の画像とに基づいて前記対象物の形状を認識する処理を行う処理部と
を具備する撮像システム。
101、102 鏡筒
110、210 カメラモジュール
121、122、221、222 標準レンズ
123、124 広角レンズ
131、132、231、232 撮像素子
140、240 同期制御部
150、310 演算処理部
151、251、311 特徴点抽出部
152、252、312 像ずれ量取得部
153、253、313 測距部
154、314 UI処理部
155 歪み量取得部
200 カメラユニット
300 情報処理装置
Claims (7)
- それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、
前記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と
を具備する撮像装置。 - 光を集光して前記一対の撮像素子に導く撮像レンズをさらに具備する
請求項1記載の撮像装置。 - 一対の撮像レンズをさらに具備し、
前記一対の撮像レンズの一方は、光を集光して前記一対の撮像素子の一方に導き、
前記一対の撮像レンズの他方は、光を集光して前記一対の撮像素子の他方に導く
請求項1記載の撮像装置。 - 鏡筒をさらに具備し、
前記一対の撮像素子の一方の前記受光面は、前記鏡筒の底面に平行である
請求項1記載の撮像装置。 - 前記測距部は、前記一対の画像の一方と他方との間の像ずれ量から前記距離を測定する
請求項1記載の撮像装置。 - 前記測距部は、前記一対の画像の一方の他方に対する歪み量から前記距離を測定する
請求項1記載の撮像装置。 - それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、
前記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と、
前記測定された距離と前記一対の画像とに基づいて前記対象物の形状を認識する処理を行う処理部と
を具備する撮像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015224023 | 2015-11-16 | ||
JP2015224023 | 2015-11-16 | ||
PCT/JP2016/078555 WO2017086027A1 (ja) | 2015-11-16 | 2016-09-28 | 撮像装置、および、撮像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017086027A1 true JPWO2017086027A1 (ja) | 2018-08-30 |
JP6831792B2 JP6831792B2 (ja) | 2021-02-17 |
Family
ID=58718991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017551755A Active JP6831792B2 (ja) | 2015-11-16 | 2016-09-28 | 撮像装置、および、撮像システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11143504B2 (ja) |
JP (1) | JP6831792B2 (ja) |
WO (1) | WO2017086027A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013146269A1 (ja) * | 2012-03-29 | 2013-10-03 | シャープ株式会社 | 画像撮像装置、画像処理方法およびプログラム |
WO2013165006A1 (ja) * | 2012-05-01 | 2013-11-07 | セントラルエンジニアリング株式会社 | ステレオカメラ及びステレオカメラシステム |
CN103780895A (zh) * | 2014-01-16 | 2014-05-07 | 天津大学 | 一种立体视频质量评价方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1984004160A1 (en) * | 1983-04-16 | 1984-10-25 | Naoki Shimizu | Three-dimensional distance-measuring device |
JP3255360B2 (ja) * | 1999-09-22 | 2002-02-12 | 富士重工業株式会社 | 距離データの検査方法およびその検査装置 |
US6876716B2 (en) * | 2003-02-19 | 2005-04-05 | Quipp Systems, Inc. | Method and apparatus for utilizing a shadow effect for counting newspapers, magazines, books, printed products, signatures and other like printed matter |
EP1816514B1 (en) | 2004-11-15 | 2012-06-20 | Hitachi, Ltd. | Stereo camera |
JP5054346B2 (ja) * | 2006-09-13 | 2012-10-24 | 株式会社トプコン | 回転レーザ測量機 |
WO2008153127A1 (ja) * | 2007-06-15 | 2008-12-18 | Kabushiki Kaisha Toshiba | 被測定物の検査測定装置 |
JP2011217103A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 複眼撮影方法および装置 |
JP5870510B2 (ja) * | 2010-09-14 | 2016-03-01 | 株式会社リコー | ステレオカメラ装置、校正方法およびプログラム |
JP6016226B2 (ja) | 2012-04-04 | 2016-10-26 | シャープ株式会社 | 測長装置、測長方法、プログラム |
JP2013258675A (ja) * | 2012-05-16 | 2013-12-26 | Canon Inc | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
WO2014002725A1 (ja) * | 2012-06-29 | 2014-01-03 | 富士フイルム株式会社 | 3次元測定方法、装置、及びシステム、並びに画像処理装置 |
-
2016
- 2016-09-28 US US15/772,666 patent/US11143504B2/en active Active
- 2016-09-28 JP JP2017551755A patent/JP6831792B2/ja active Active
- 2016-09-28 WO PCT/JP2016/078555 patent/WO2017086027A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013146269A1 (ja) * | 2012-03-29 | 2013-10-03 | シャープ株式会社 | 画像撮像装置、画像処理方法およびプログラム |
WO2013165006A1 (ja) * | 2012-05-01 | 2013-11-07 | セントラルエンジニアリング株式会社 | ステレオカメラ及びステレオカメラシステム |
CN103780895A (zh) * | 2014-01-16 | 2014-05-07 | 天津大学 | 一种立体视频质量评价方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6831792B2 (ja) | 2021-02-17 |
US20190154441A1 (en) | 2019-05-23 |
US11143504B2 (en) | 2021-10-12 |
WO2017086027A1 (ja) | 2017-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11272161B2 (en) | System and methods for calibration of an array camera | |
CN107079100B (zh) | 用于相机阵列的透镜移位校正的方法和系统 | |
JP6347675B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
JP2017022694A (ja) | ユーザのデバイスに明視野ベースの画像を表示するための方法および装置ならびに対応するコンピュータプログラム製品 | |
JP6570296B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20150120066A (ko) | 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 | |
JPWO2011096251A1 (ja) | ステレオカメラ | |
WO2013038833A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP5375531B2 (ja) | 距離画像取得装置及び距離画像取得処理方法 | |
JP2011149931A (ja) | 距離画像取得装置 | |
JP5857712B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
JP6153318B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6831792B2 (ja) | 撮像装置、および、撮像システム | |
JP2012182738A (ja) | ステレオ画像撮像装置 | |
JP6728020B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6648916B2 (ja) | 撮像装置 | |
JP6161874B2 (ja) | 撮像装置、長さ計測方法及びプログラム | |
JP6066765B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
WO2016047220A1 (ja) | 撮像装置及び撮像方法 | |
JP2015106168A (ja) | 視差測定装置、及び、視差測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6831792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |