JP3564383B2 - 3次元動画入力装置 - Google Patents

3次元動画入力装置 Download PDF

Info

Publication number
JP3564383B2
JP3564383B2 JP2000348023A JP2000348023A JP3564383B2 JP 3564383 B2 JP3564383 B2 JP 3564383B2 JP 2000348023 A JP2000348023 A JP 2000348023A JP 2000348023 A JP2000348023 A JP 2000348023A JP 3564383 B2 JP3564383 B2 JP 3564383B2
Authority
JP
Japan
Prior art keywords
lens
openings
image
opening
shielding plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000348023A
Other languages
English (en)
Other versions
JP2002148732A (ja
Inventor
康雄 石榑
隆幸 沖村
肇 能登
員丈 上平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000348023A priority Critical patent/JP3564383B2/ja
Publication of JP2002148732A publication Critical patent/JP2002148732A/ja
Application granted granted Critical
Publication of JP3564383B2 publication Critical patent/JP3564383B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、3次元空間撮像技術の分野に属するものであり、特に、複数の視差画像から三角測量の原理に基づき対応点マッチングにより距離情報を得る3次元動画入力装置に関する。
【0002】
【従来の技術】
図7は距離情報を得るために従来から用いられている多眼ステレオ法の原理図である。図7において、101は左カメラ、102は右カメラであり、両カメラは平行に配置される。各カメラで被写体105を撮影して得られた画像が各々103,104である。ここで、被写体105中の一点をPとし、これが左右画像103,104中に撮影された位置は左画像103ではPL、右画像104ではPRとする。各々の画像上の座標を(x1,y1)、(xr,yr)とし、さらにカメラ間の距離をb、左右カメラレンズの焦点距離をfとすると、カメラからPまでの距離zは、
【0003】
【数1】
z=bf/λd
となる。ここで、dは左右画像上の視差(xr−x1)、λは撮像素子の画素サイズである。
【0004】
この方法は、2台以上のカメラを平行に並べるだけで撮像可能であるため簡便であり、さらに、動画を撮像できる特徴を有する。
【0005】
しかし、カメラやレンズを複数必要とするのでカメラ間のキャリブレーションを精密に行うことが困難であり、これが距離画像の誤差要因となる。さらに、被写体相互の遮蔽(以下、オクルージョン)により1台のカメラに撮影されている領域が他のカメラでは撮影されない領域が生じ、これを減少させるためにはさらに多くのカメラとレンズが必要となり、装置がより高価となる。この方法は、例えば下記文献1に開示されている。
【0006】
文献1「M.0kutomi and T.Kanade:A Multiple-Baseline Stereo,IEEE Trans.Pattern Analysis and Machine Intelligence,Vol.15,No.4,PP.353-363(1993)」
図8は距離情報が得られる単一レンズステレオ撮像法の原理図である。単一レンズステレオ撮像法は、例えば下記文献2,3,4に開示され、「撮影レンズの開口部をレンズの光軸に垂直な面内で移動させると視差の効果が得られる」という光学特性を利用するものである。
【0007】
図8(a)に示すように、レンズ116のピントが焦点面115に一致しており、その面上に物体Aとする111が配置され、より遠方に物体Bとする112が、より近方に物体Cとする113が配置される場合、開口部の位置を紙面に向かつてより上方114に移動させると、A’、B’、C’の位置に結像され、結果として、受光素子117面上ではA”、B”、C”の位置に写る。
【0008】
次に、開口部の位置を図8(b)のように、より下方118に移動させると、受光素子面上の位置がA”は図8(a)の場合と同じであるのに対して、B”、C”は図8(b)中の矢印119の方向に移動して写る。
【0009】
これは、撮像対象の距離によって変化するため、結果として視差と同一の効果となる。この原理を利用したものが、単一レンズステレオ撮像法である。この方法は単眼のレンズのみ用いて視差画像が得られるため、多眼ステレオ法のようなカメラ間のキャリブレーションの必要がなく、レンズのロストの削減にも繋がる。しかし、開口部を機械的に移動させる必要があるため、動画像は撮影できない。
【0010】
文献2「小野修司:単一レンズによる三次元イメージ撮像システム、三次元画像コンファレンス2000」
文献3「島田聡:立体テレビジョン装置、特開昭49−87223号公報」
文献4「E.Adelson and J.Wang:Single Lens Stereo with a Plenoptic Camera,IEEE Tras. Pattern Analyisis and Machine Intelligence,Vol.14,No.2,PP.99-106(1992)」
【0011】
【発明が解決しようとする課題】
前記のように、多眼ステレオ法では、各カメラ間を平行に精密に配置する必要があるが、実際には完全に平行に配置することは困難であり、距離画像の誤差要因となる。また、オクルージョンによる距離情報欠如の減少等のためにレンズ系を複数使用する必要が生じ、装置が高価になるという問題があった。
【0012】
これを回避する方法として、前記の単一レンズステレオ撮像法があるが、これも従来の方法では開口部を機械的に移動させる必要があるため、動画像を撮影できないという問題がある。
【0013】
それゆえに、本発明の主たる目的は、前記の多眼ステレオ法の問題を回避する単一レンズステレオ撮像の原理に基づく方法で、3次元情報の動画を撮像する手法を提供することである。
【0014】
【課題を解決するための手段】
本発明は、単一レンズステレオ撮像法を基本原理とした3次元動画入力装置を構成するために、レンズに複数の開口部を有する遮蔽板を装着し、各開口部を通過した光線をミラーにより開口部毎に独立に反射させ、各開口部に対応する複数の受光素子で各々独立に受光できるように構成されるものである。つまり、本発明は、従来の単一レンズステレオ撮像装置と異なる点は、複数の開口部を通過した光線をそれぞれ独立に取り出すため、1枚以上のミラーと複数の受光素子を配置し、動画の視差画像が得られるようにしたものである。
【0015】
【0016】
以上のように、本発明に係わる3次元動画入力装置は、レンズに複数の開口部を有する遮蔽板を付加し、各開口部を通過する光線をミラーを用いて反射させることにより、対応する複数の受光素子で独立に受光することにより、各開口部を通過する画像を各々独立に撮像することが可能となり、得られた複数の画像が視差を有することから三角測量の原理を用いれば、本発明の目的である単一レンズステレオ撮像法を基本原理とした3次元の動画撮像を、開口部を機械的に動かすことなく行うことができるようにするもので、以下の構成を特徴とする。
【0017】
1枚以上のレンズから成る1組のレンズ群と、
前記レンズ群の前部あるいは後部の該レンズ群の焦点距離以内に配した複数の開口部を有する遮蔽板と、
前記レンズ群および前記遮蔽板の後部に配置され、該レンズ群と該遮蔽板の前記複数の開口部を通過した複数の光線のうち少なくとも1つを該開口部毎に独立に反射させるための少なくとも1組のミラー群とを有し、
前記レンズ群と前記遮蔽板の前記複数の開口部を通過した複数の光線をそれぞれ前記開口部毎に分離して直接または前記ミラー群を介して、前記レンズ群および前記遮蔽板の後部に配した複数の受光素子またはフィルムに受光させるように構成されていることを特徴とする。
【0018】
【0019】
【発明の実施の形態】
(第1の実施形態)
図1は第1の実施形態を説明する斜視図であり、図2は図1の平面図であり符号の末尾を対応付けて示す。図1の11はレンズであり、12は2つの開口部をもつ遮蔽板、13はミラー、14は撮像素子(CCD,CMOSセンサ、フィルム等を含む)である。
【0020】
図1,2に示すように、レンズ後部に複数(図1,2では2つ)の開口部22をもつ遮蔽板を設けることにより、これらを通過する画像は、前記単一レンズステレオ撮像法の原理に基づき、カメラからの距離に応じて変化する視差画像となる。そのため、各開口部を通過する光線を各々独立に各開口部に対応する受光素子24により受光すれば、三角測量の原理で距離情報が得られる。
【0021】
これを実現するために、請求項1に関する発明では図1,2に示すように、各開口部を通過した光線をミラー23で反射させ、その後各開口部に対応する受光素子24で受光することにより、動画の視差画像が撮影できる。撮像中、または撮像後に三角測量の原理で左右画像間の対応点マッチングを取ることにより距離画像が生成される。
【0022】
この方法によれば、従来の技術に比べ、レンズ系が単眼で済むことから多眼ステレオ法で問題となっているキャリブレーションを必要としない簡便で安価な3次元動画像の撮像が可能となる。
【0023】
なお、図1,2ではレンズが1枚のみの例を示しているが、図3に示すようにレンズが複数枚から構成される場合でも同様の効果を奏する。また、図1,2,3では遮蔽板をレンズの光軸に対し垂直に配した例を示したが、図4に示すように、遮蔽板をレンズの光軸に対し垂直からある角度をもって配した場合も同様の効果を奏する。
【0024】
なお、開口部の設置位置は、レンズの焦点距離以内であれば、視差画像を撮影することができる。また、実際には、画像の明るさや撮影範囲に違いが画像に影響するが、レンズにできるだけ近いほうが好ましい。
【0025】
また、開口部の大きさ(上下限)は、上限では遮蔽板に複数の開口部を独立に作成できればよいが、実際には開口部が大きすぎると被写界深度の関係で画像がぼけるため、ピントが合っている距離から前後に離れるほどステレオマッチングが難しくなるため、これら条件との兼ね合いで制限する。また、基本的には制限がなく、下限は被写界深度が不覚なることから小さい方がよいが、各開口部を通過した光線が視差が検出できる程度に明るく受光できる大きさが好ましい。
【0026】
また、隣接する開口部との距離は、開口部が広いほど視差が大きくなり、同じ受光素子またはフィルムを用いた場合には検出距離の分解能を高くすることができる。
【0027】
また、遮蔽板をレンズの光軸に対し垂直からある角度をもって配する場合、その傾けを大きくするほど画像の明るさやぼけ方が変化するため、ステレオマッチングが困難となるが、視差を含んだ画像を得ることだけについては開口部の位置がレンズの光軸と垂直方向でずれてさえいればよいため、レンズに直角に遮蔽板が配置されていない限りは撮影可能である。
【0028】
上記までの開口部の設置位置や大きさ、距離、遮蔽板の角度等については、以後の実施形態でも同様になる。
【0029】
(第2の実施形態)
図5は、第2の実施形態を説明する図であり、第1の実施形態の開口部を有する遮蔽板の位置をレンズの前面に移動させたものである。開口部を通過した光線をミラー63を用いて確実に分離できれば、第1の実施形態と同様に単一レンズステレオ法の原理に基づき、ステレオ画像が撮像できる。レンズ構成や用途に応じて、遮蔽板の位置を変更させることが可能となる。
【0030】
【0031】
第3の実施形態)
図6は第3の実施形態を説明する図であり、81はレンズ、82はミラー(8枚)、83は受光素子(5つ)、84は開口部(5つ)である。図6は第1の実施形態において、開口部またはシャッターの数を5つにした場合の実施形態を示す。開口部の数を3つ以上として視差画像の対を複数得ることにより、距離画像の信頼度を向上できると共に、前記オクルージョンの問題を減少させることが可能となる。例えば、図1,2のように2つの開口部を有する場合は被写体間のオクルージョンにより片方の受光素子にのみ撮像される領域が生じるが、その領域については、図6において付加した開口部を通過した光線を受光する受光素子からの画像対において距離情報を得ることが可能となる。
【0032】
【0033】
【発明の効果】
以上のように、この発明によれば、単眼のレンズで視差画像が動画で得られるため、装置を小型化でき、キャリブレーションを必要とせず、安価に画像の3次元情報を得ることができる。
【0034】
また、この3次元動画像入力装置を応用することにより、既存の3次元ディスプレイの入力装置として利用でき、さらには工業用等の3次元情報計測装置としても利用できる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態を示す図(鳥瞰図)。
【図2】本発明の第1の実施形態を示す図(平面)。
【図3】本発明の第1の実施形態のレンズの数を増やした例を示す図(平面)。
【図4】本発明の第1の実施形態の遮蔽板の傾きを変えた例を示す図(平面)。
【図5】本発明の第2の実施形態を示す図。
【図6】本発明の第3の実施形態を示す図。
【図7】多眼ステレオ法の原理図。
【図8】単一レンズステレオ撮像法の原理図。
【符号の説明】
11、21、41、61、81、116…レンズ
12、22、32、42、62、84…開口部
13、23、33、43、63、82…ミラー
14、24、34、44、64、83、…受光素子
15、25、35、45、65、85、105…被写体
101…左カメラ
102…右カメラ
103…左画像
104…右画像
111…物体A(焦点)
112…物体B(遠)
113…物体C(近)
114…開口部(上)
115…焦点面
117…受光素子面
118…開口部(下)
119…視差

Claims (1)

  1. 1枚以上のレンズから成る1組のレンズ群と、
    前記レンズ群の前部あるいは後部の該レンズ群の焦点距離以内に配した複数の開口部を有する遮蔽板と、
    前記レンズ群および前記遮蔽板の後部に配置され、該レンズ群と該遮蔽板の前記複数の開口部を通過した複数の光線のうち少なくとも1つを該開口部毎に独立に反射させるための少なくとも1組のミラー群とを有し、
    前記レンズ群と前記遮蔽板の前記複数の開口部を通過した複数の光線をそれぞれ前記開口部毎に分離して直接または前記ミラー群を介して、前記レンズ群および前記遮蔽板の後部に配した複数の受光素子またはフィルムに受光させるように構成されていることを特徴とする3次元動画入力装置。
JP2000348023A 2000-11-15 2000-11-15 3次元動画入力装置 Expired - Fee Related JP3564383B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000348023A JP3564383B2 (ja) 2000-11-15 2000-11-15 3次元動画入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000348023A JP3564383B2 (ja) 2000-11-15 2000-11-15 3次元動画入力装置

Publications (2)

Publication Number Publication Date
JP2002148732A JP2002148732A (ja) 2002-05-22
JP3564383B2 true JP3564383B2 (ja) 2004-09-08

Family

ID=18821670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000348023A Expired - Fee Related JP3564383B2 (ja) 2000-11-15 2000-11-15 3次元動画入力装置

Country Status (1)

Country Link
JP (1) JP3564383B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781159B2 (en) 2009-05-13 2014-07-15 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8284988B2 (en) 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US9298078B2 (en) * 2009-07-10 2016-03-29 Steropes Technologies, Llc Method and apparatus for generating three-dimensional image information using a single imaging path
KR101701528B1 (ko) 2010-01-05 2017-02-01 파나소닉 아이피 매니지먼트 가부시키가이샤 3차원 촬상 장치
US8508591B2 (en) 2010-02-05 2013-08-13 Applied Vision Corporation System and method for estimating the height of an object using tomosynthesis-like techniques

Also Published As

Publication number Publication date
JP2002148732A (ja) 2002-05-22

Similar Documents

Publication Publication Date Title
JP5426174B2 (ja) 単眼三次元撮像
CN106412426B (zh) 全聚焦摄影装置及方法
US7819591B2 (en) Monocular three-dimensional imaging
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US7646550B2 (en) Three-channel camera systems with collinear apertures
US7372642B2 (en) Three-channel camera systems with non-collinear apertures
US9530213B2 (en) Single-sensor system for extracting depth information from image blur
JP2003143459A (ja) 複眼撮像系およびこれを備えた装置
WO1999044096A2 (en) Aperture coded camera for three-dimensional imaging
JP2015194706A5 (ja)
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
US11330161B2 (en) Device comprising a multi-aperture imaging device for accumulating image information
JP2011215545A (ja) 視差画像取得装置
JP3564383B2 (ja) 3次元動画入力装置
JP2002010126A (ja) 撮像装置
JP3678792B2 (ja) 立体画像撮像装置
TW448340B (en) Single-lens instantaneous three-dimensional image taking apparatus
JP2020193820A (ja) 計測装置、撮像装置、制御方法及びプログラム
JP2010231192A (ja) ステレオ撮像装置
KR102455520B1 (ko) 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법
JP2007057386A (ja) カメラ1台を用いたインライン3次元計測装置及び計測方法
Sütterlin et al. Generating a Totally Focused Colour Image from Recordings of a Plenoptic Camera
TW482939B (en) Single lens 3D real-time image capturing device and the method thereof

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040607

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140611

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees