JP5088973B2 - 立体撮像装置およびその撮像方法 - Google Patents
立体撮像装置およびその撮像方法 Download PDFInfo
- Publication number
- JP5088973B2 JP5088973B2 JP2010168145A JP2010168145A JP5088973B2 JP 5088973 B2 JP5088973 B2 JP 5088973B2 JP 2010168145 A JP2010168145 A JP 2010168145A JP 2010168145 A JP2010168145 A JP 2010168145A JP 5088973 B2 JP5088973 B2 JP 5088973B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- unit
- units
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
本発明の第一の実施形態について、図面を参照して詳細に説明する。本発明の実施形態に係る立体撮像装置10の概観を図1に、その機能構成を示す概略ブロック図を図2に示す。図1及び2に示すように、立体撮像装置10は、横並びに配置された撮像部101と撮像部102と、視差算出部21と、高解像度合成処理部20とを備える。撮像部101は、撮像レンズ11−1と撮像素子12−1を備える。撮像部102は、撮像レンズ11−2と撮像素子12−2を備える。なお、撮像部101と撮像部102とは、同じ被写体を撮像するように、光軸が平行になるように配置されている。
座標変換部31は、撮像部101と撮像部102の映像を同一平面上に乗せることを目的に、撮像部101が出力した映像信号Rが表す映像を公知の方法で幾何学変換(座標変換)してエピポーララインを平行化する。このとき、座標変換部31は、右カメラパラメータ記憶部30Rが記憶するカメラパラメータを用いる。座標変換部32は、撮像部101と撮像部102の映像を同一平面上に乗せることを目的に、撮像部102が出力した映像信号Lが表す映像を公知の方法で幾何学変換してエピポーララインを平行化する。このとき、座標変換部32は、左カメラパラメータ記憶部30Lが記憶するカメラパラメータを用いる。
なお、右目用合成部909の合成処理部906は、左目用合成部908の合成処理部906と同様に動作するが、撮像部101に由来する補正処理部903の画素cと同じ座標の画素であって、撮像部102に由来する位置合わせ補正処理部901の画素dを、画素cの下に配置する。
本発明の第二の実施形態について、図面を参照して詳細に説明する。なお、第一の実施形態と同じ機能の部分については同じ符号を用いて説明を省略する。図13は、本実施形態における立体撮像装置の概観を示す概観図である。図13に示すように、本実施形態における立体撮像装置111は、撮像部の数が第一の実施形態と異なり、2眼(符号101,102)から4眼(符号101,102,103,104)と増えている。すなわち、立体撮像装置111は、撮像部101、撮像部102、撮像部103、撮像部104を具備する。また、撮像部101は、撮像レンズ11−1、撮像素子12−1を具備する。同様に、撮像部102は、撮像レンズ11−2、撮像素子12−2を具備し、撮像部103は、撮像レンズ11−3、撮像素子12−3を具備し、撮像部104は、撮像レンズ11−4、撮像素子12−4を具備する。
なお、ここでは、撮像素子がずれて配置される例を示したが、第一の実施形態で示した図4のように、撮像レンズがずれて配置されていてもよい。
11−1、11−2、11−3、11−4…撮像レンズ
12−1、12−2、12−3、12−4…撮像素子
20…高解像度合成処理部
21…視差算出部
30R…右カメラパラメータ記憶部
30L…左カメラパラメータ記憶部
31、32…座標変換部
33…対応点探索部
34…R基準視差算出部
35…L基準視差算出部
101、102、103、104…撮像部
121…多眼高解像度合成処理部
131…多眼合成処理部
901…位置合わせ補正処理部
902…カメラパラメータ記憶部
902R…右カメラパラメータ記憶部
902L…左カメラパラメータ記憶部
903…補正処理部
904…縦横位置合わせ補正処理部
905…縦位置合わせ補正処理部
906…合成処理部
908、130…左目用合成部
909、132…右目用合成部
Claims (5)
- 同じ被写体を撮像する2つの撮像部と、
前記2つの撮像部の撮影映像の間で対応点を検出し、前記2つの撮像部の撮影映像の視差情報を算出する視差算出部と、
前記2つの撮像部それぞれの視点を基準として、前記視差情報および前記2つの撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、2系統の前記画素数の多い映像を生成する合成処理部と
を備え、
前記撮像部は、
被写体の像を撮像面に結像させる光学系と、
撮像面に結像した被写体の撮影映像の信号を生成する撮像素子と
を備え、
一方の前記撮像部は、他方の前記撮像部と比較して、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ前記2つの撮像部の並び方向に対して垂直な方向にずれていること
を特徴とする立体撮像装置。 - 前記撮像部を、3つ以上備え、
前記撮像部のうち、横並びの撮像部の間では、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ上下いずれかにずれており、
前記撮像部のうち、縦並びの撮像部の間では、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ左右いずれかにずれていること
を特徴とする請求項1に記載の立体撮像装置。 - 4つの前記撮像部が、各辺が水平または鉛直方向のいずれかに沿う正方形の頂点に配置され、
前記視差算出部は、前記4つの撮像部のうち、前記正方形の隣接する頂点に配置されている2つの撮像部の撮影映像の視差情報を算出し、
前記合成処理部は、前記映像の合成の際に行う前記撮影映像の水平方向および鉛直方向の視差補正に、前記視差情報を用いること
を特徴とする請求項1に記載の立体撮像装置。 - 少なくとも3つの前記撮像部を備え、
前記合成処理部は、少なくとも3つの前記撮像部それぞれの視点を基準として、前記視差情報および少なくとも2つの前記撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、少なくとも3系統の前記画素数の多い映像を生成すること
を特徴とする請求項1に記載の立体撮像装置。 - 被写体の像を撮像面に結像させる光学系と、撮像面に結像した被写体の撮影映像の信号を生成する撮像素子とを備える撮像部であって、同じ被写体を撮像する2つの撮像部を備え、一方の前記撮像部は、他方の前記撮像部と比較して、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ前記2つの撮像部の並び方向に対して垂直な方向にずれている立体撮像装置における撮像方法であって、
前記2つの撮像部の撮影映像の間で対応点を検出し、前記2つの撮像部の撮影映像の視差情報を算出する第1の過程と、
前記2つの撮像部それぞれの視点を基準として、前記視差情報および前記2つの撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、2系統の前記画素数の多い映像を生成する第2の過程と
を有することを特徴とする撮像方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010168145A JP5088973B2 (ja) | 2010-07-27 | 2010-07-27 | 立体撮像装置およびその撮像方法 |
| PCT/JP2011/066089 WO2012014695A1 (ja) | 2010-07-27 | 2011-07-14 | 立体撮像装置およびその撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010168145A JP5088973B2 (ja) | 2010-07-27 | 2010-07-27 | 立体撮像装置およびその撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012029199A JP2012029199A (ja) | 2012-02-09 |
| JP5088973B2 true JP5088973B2 (ja) | 2012-12-05 |
Family
ID=45529911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010168145A Expired - Fee Related JP5088973B2 (ja) | 2010-07-27 | 2010-07-27 | 立体撮像装置およびその撮像方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5088973B2 (ja) |
| WO (1) | WO2012014695A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013061440A (ja) * | 2011-09-13 | 2013-04-04 | Canon Inc | 撮像装置および撮像装置の制御方法 |
| CN102752616A (zh) * | 2012-06-20 | 2012-10-24 | 四川长虹电器股份有限公司 | 双目立体视频转换多目立体视频的方法 |
| WO2014192487A1 (ja) * | 2013-05-29 | 2014-12-04 | 日本電気株式会社 | 多眼撮像システム、取得画像の合成処理方法、及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0682608A (ja) * | 1992-07-14 | 1994-03-25 | Nippon Telegr & Teleph Corp <Ntt> | 光学素子とそれを用いた光軸変更素子及び投射型表示装置 |
| JPH0686332A (ja) * | 1992-09-04 | 1994-03-25 | Canon Inc | 複眼撮像方法 |
| JPH0815616A (ja) * | 1994-06-30 | 1996-01-19 | Olympus Optical Co Ltd | 立体内視鏡撮像装置 |
| JP4779904B2 (ja) * | 2006-09-19 | 2011-09-28 | 沖電気工業株式会社 | ステレオ映像処理装置及びステレオ映像処理方法のプログラム |
| JP4621214B2 (ja) * | 2007-01-17 | 2011-01-26 | 日本放送協会 | 立体画像撮像位置調整装置、立体画像撮像位置調整方法およびそのプログラムならびに立体画像撮影システム |
| JP4958233B2 (ja) * | 2007-11-13 | 2012-06-20 | 学校法人東京電機大学 | 多眼視画像作成システム及び多眼視画像作成方法 |
-
2010
- 2010-07-27 JP JP2010168145A patent/JP5088973B2/ja not_active Expired - Fee Related
-
2011
- 2011-07-14 WO PCT/JP2011/066089 patent/WO2012014695A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012014695A1 (ja) | 2012-02-02 |
| JP2012029199A (ja) | 2012-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5238429B2 (ja) | 立体映像撮影装置および立体映像撮影システム | |
| CN103595989B (zh) | 三维影像显示装置及三维影像处理方法 | |
| CN102428707B (zh) | 立体视用图像对位装置和立体视用图像对位方法 | |
| CN103188430B (zh) | 摄像装置及图像显示方法 | |
| CN102783162B (zh) | 摄像装置 | |
| JP5982751B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5320524B1 (ja) | ステレオ撮影装置 | |
| EP1836859B1 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
| JP5308523B2 (ja) | 立体画像表示装置 | |
| KR20110124473A (ko) | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 | |
| JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
| JP2017531976A (ja) | アレイカメラを動的に較正するためのシステム及び方法 | |
| EP2973476A1 (en) | Systems and methods for stereo imaging with camera arrays | |
| RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
| JP5267708B2 (ja) | 画像処理装置、撮像装置、画像生成方法、及びプログラム | |
| KR20150003576A (ko) | 삼차원 영상 생성 또는 재생을 위한 장치 및 방법 | |
| JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
| KR102112491B1 (ko) | 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결 | |
| KR101960577B1 (ko) | 뷰 공간에 관한 스테레오 정보를 송수신하는 방법 | |
| JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
| JP5704885B2 (ja) | 撮影機器、撮影方法及び撮影制御プログラム | |
| JP5453328B2 (ja) | 立体撮像システム、補正装置およびそのプログラム | |
| JP2011182325A (ja) | 撮像装置 | |
| JP2012146224A (ja) | 描画処理装置 | |
| JP4843640B2 (ja) | 立体情報生成装置および立体情報生成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120814 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120910 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |
