JP4012752B2 - 複眼画像入力装置 - Google Patents

複眼画像入力装置 Download PDF

Info

Publication number
JP4012752B2
JP4012752B2 JP2002083714A JP2002083714A JP4012752B2 JP 4012752 B2 JP4012752 B2 JP 4012752B2 JP 2002083714 A JP2002083714 A JP 2002083714A JP 2002083714 A JP2002083714 A JP 2002083714A JP 4012752 B2 JP4012752 B2 JP 4012752B2
Authority
JP
Japan
Prior art keywords
eye image
image input
light receiving
compound
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002083714A
Other languages
English (en)
Other versions
JP2003283932A (ja
Inventor
純 谷田
大介 宮崎
憲嗣 山田
芳樹 一岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2002083714A priority Critical patent/JP4012752B2/ja
Publication of JP2003283932A publication Critical patent/JP2003283932A/ja
Application granted granted Critical
Publication of JP4012752B2 publication Critical patent/JP4012752B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は,複数のマイクロレンズを利用した複眼画像入力装置に係り,特にその画角を任意に調整可能なものに関する
【0002】
【従来の技術】
近年の情報処理技術の発展に伴う高度情報化社会の到来により,様々な分野で利用される情報のうち画像情報の占める割合が顕著に増加している。そこで従来より,様々な画像情報を効率的且つ高品質に取得する画像入力装置として,デジタルカメラ,ビデオカメラ等,被写体である物体に対向する単一の光学系によって物体像を取得する構成の画像入力装置が広く用いられていた。しかしながら,これらの画像入力装置では,その構成上,装置の小型軽量化には限界があるため,画像入力装置に対する更なる小型軽量化の要望に応じるものとして,昆虫等に見られる複眼構造を模倣した複眼画像入力装置が開発されている。このような複眼画像入力装置の一例としては,特開2001−61109号公報において開示された技術であって,図10に示す複眼画像入力装置Aがある。
上記複眼画像入力装置Aは,図10(a)に示すように,複数のマイクロレンズ1aを格子状に配列したマイクロレンズアレイ1と,複数の受光セル3aを平面状に形成した受光素子3と,上記マイクロレンズアレイ1と上記受光素子3との間に配置された格子状の隔壁2とを具備して概略構成される。ここで,上記マイクロレンズ1aに対しては,上記隔壁2の一格子部分が対応し,更には,複数の上記受光セル3aからなる受光セルアレイ3bが対応して構成され,破線による角柱で示すように,信号処理単位(ユニット)を形成している。該複眼画像入力装置Aでは,このユニット毎に結像される低解像度の被写体の縮小像(以下略して個眼像Yと称す)に基づいて,単一の高解像度の画像を得るものである。
ここで,上記複眼画像入力装置Aを用いて画像情報を取得するための処理の流れを,図10(b)を用いて説明する。
上記複眼画像入力装置Aに用いて被写体Xの画像情報を取得する場合には,先ず,各ユニット毎に被写体の個眼像Yが,上記受光セルアレイ3b上に結像される。結果として,上記受光素子3上には,低解像度の上記個眼像Yが,ユニット数に応じて複数結像される。
そして,結像された複数の上記個眼像Yに基づいて,所定の信号処理(再構成処理)を行うことにより,高解像度の再構成像Zが再構成される。ここで,上記個眼像Yは,複数のユニットによって被写体Xを異なる視点から撮像したものであり,その各個眼像Y間には視差が含まれている。上記再構成処理の際には,この視差により,これら低解像度の上記個眼像Yの画像情報に基づいて再構成される再構成像Zを高解像度なものとすることができる。
このように,上記複眼画像入力装置Aは,単一の光学系を用いた画像入力装置に較べて極めて小型,薄型の構成であるにも拘わらず,明るい光学系を実現すると共に,高解像度の被写体画像情報を取得し得るものである。
【0003】
【発明が解決しようとする課題】
しかしながら,上記複眼画像入力装置Aでは,上記マイクロレンズアレイ1及び上記受光素子3が平面状に形成されたものであるため,該複眼画像入力装置Aによって取得可能な画角は,上記マイクロレンズアレイ1によって定まる所定の画角とならざるを得ない。
そこで,本発明は上記課題に鑑みてなされたものであり,その目的とするところは,その画角を適切に定めることが可能であって,それにより解像度をより向上させることが可能な複眼画像入力装置を提供することにある。
【0004】
【課題を解決するための手段】
上記目的を達成するために本発明は,複数のマイクロレンズが格子状に配列されたマイクロレンズアレイにより平面状に形成された受光素子上に複数の物体縮小像を結像する複眼画像入力部が,凹形の湾曲面上にそれぞれの視野方向が内向きに集中して同一の被写体を異なる方向から撮像するよう複数配置されてなることを特徴とする複眼画像入力装置として構成される。
このように構成することによって,湾曲面上に複数配置された上記複眼画像入力部により得られる個眼像に基づいて再構成される再構成像の高解像度化を図ることができる。
更には,凹型に湾曲させて被写体を取り囲むように配置すれば,同時に被写体の全方位形状を撮像することも可能となる。
ここで,上記湾曲面の湾曲度が可変である形態も考えられ,その一例が,上記湾曲面を可撓性のフレキシブル基板により構成したものである。
これにより,使用者は,希望に応じて湾曲面の湾曲度を変化させることが可能となり,その湾曲度に応じた任意の画角で画像情報を取得することが可能となり,複眼画像入力装置としての使用性が著しく向上する
た,本構成は,例えば画像センサチップとして構成される上記複眼画像入力部を湾曲面上にマルチチップ化して配置したものと考えることができる。そのため,上記湾曲面上に配置される画像センサチップのチップ数に応じて,当該複眼画像入力装置としての画素数を任意に増加させることが可能となり,再構成処理後に得られる再構成画像を高精彩化することができる。
【0005】
また,上記受光素子としては,上記マイクロレンズにより物体縮小像が結像される所定の領域毎に独立して設けられた複数の受光セルアレイを格子状に配置したものも考えうる。
これにより,上記受光素子のうち,隔壁に隠れてしまう領域,或いは上記マイクロレンズの収差によって歪みの大きい画像が結像されるため,利用価値の低い画像情報しか得られない領域に受光セルが形成される不都合を回避し,無駄な受光セルを無くすことができる。更には,受光セルの形成されない領域を,配線や処理回路のために利用することが可能となり,装置設計上の自由度が向上するという副次的な効果も奏する。
【0006】
また,上記マイクロレンズ毎に独立して設けられる上記受光セルアレイの上記マイクロレンズに対する偏心量が,該受光セルアレイの上記複眼画像入力部に対する位置に応じて設定されても良い。
このような構成では,その偏心量に応じて,各ユニット毎の視野方向を任意に設定することが可能となり,当該画像入力部で撮像可能な画角を必要に応じて調整することができる。
例えば,上記受光セルアレイの上記マイクロレンズに対する偏心量は,上記画像入力部の周辺部にある受光セルアレイ程大きく設定されることが望ましく,更には,その上記受光セルアレイが,上記マイクロレンズに対して上記画像入力部の中心方向に偏心しているものが望ましい。
これにより,各ユニットの視野方向は周辺部に近付くほど外向きになるため,当該複眼画像入力部としての画角を広くすることができる。
一方,上記セル素子アレイが,上記マイクロレンズに対して上記画像入力部の中心方向と反対の方向に偏心しているものも考えられよう。
その場合には,各ユニットの視野方向は周辺部に近付くほど内向きになるため,当該複眼画像入力装置としての視野方向を集中させることが可能となり,被写体の画像情報をより詳細に取得できる。
【0007】
【発明の実施の形態】
以下添付図面を参照しながら,本発明の実施の形態及び実施例について説明し,本発明の理解に供する。尚,以下の実施の形態及び実施例は,本発明を具体化した一例であって,本発明の技術的範囲を限定する性格のものではない。
ここに,図1は本実施の形態に係る複眼画像入力装置の概略構成図,図2は複眼画像センサチップとフレキシブル基板との接続の詳細を示す図,図3はフレキシブル基板の湾曲と画角との関係を示す図,図4は受光素子の構造を示す図,図5は受光セルアレイの偏心と視野との関係を示す図,図6は画像情報の取得に係る処理の流れを模式的に示す図,図7は受光セルと被写体の画素との幾何光学的な関係を示す図,図8は本実施の形態に係る複眼画像入力装置により取得された画像の一例を示す図,図9は補間処理を施された画像の一例を示す図,図10は従来公知の複眼画像入力装置の概略構成図である。
【0008】
本発明の実施の形態に係る複眼画像入力装置Bは,図1に示す如く,複眼画像センサチップC(複眼画像入力部の一例に該当)をフレキシブル基板4上に複数配置して概略構成される。
上記フレキシブル基板4は,膜厚が約40μmのポリイミドフィルムと銅薄膜により構成されたものであり,任意に湾曲度が変更可能なものである。
また,上記複眼画像センサチップCは,上記特許公報(特開2001−61109号公報)により開示された複眼画像入力装置Aに基づくものであり,その構成は図2のようなものである。ここで,図2は,一つの上記複眼画像センサチップCについて,その構造を模式的に示した縦断面図である。
該複眼画像センサチップCは,複数のマイクロレンズ1aを格子状に配列したマイクロレンズアレイ1と,複数の受光セル3aを平面状に形成した受光素子3と,上記マイクロレンズアレイ1と上記受光素子3との間に配置された格子状の隔壁2とを具備して概略構成される。
即ち,該複眼画像センサチップCでは,上述説明した従来公知の複眼画像入力装置Aと同様,上記マイクロレンズ1aと,それに対応する上記隔壁2の一格子部分と,複数の上記受光セル3aによって構成される受光セルアレイ3bとによって形成されるユニット毎に個眼像が結像される。その結果,上記複眼画像センサチップCは,ユニット数に応じて結像された複数の個眼像を取得することができる。
ここで,上記マイクロレンズアレイ1としては,例えばサーマルリフロー法を利用して形成された屈折型マイクロレンズや,電子ビーム描画法を用いて形成された回折型マイクロレンズを用いることができる。
また,上記隔壁2としては,例えば板厚200μmのステンレス板をレーザ加工したもの,或いはペンタエリスリトールトリアクリレート(PETA)に光重合開始剤としてベンジル3%を添加した光硬化性樹脂を用い,レーザを走査することにより立体成形したものを用いることができる。
また,上記受光素子3としては,CCD素子や,CMOS型画像センサその他の固体撮像素子を用いることができる。
次に,上記複眼画像センサチップCを上記フレキシブル基板4に接続するための構造について説明する。
上記複眼画像センサチップCは,図2に示すように,接続ピン9により上記フレキシブル基板4上に固定されるプリント基板8を介して接続される。詳しくは,上記受光素子3は上記プリント基板8に対してワイヤーボンディング法を用いて固定され,上記マイクロレンズアレイ1は焦点距離に応じて形成されるレンズ固定用部材7により固定され,上記隔壁2は上記受光素子3の所定の位置に固着されている。
このような構成とすることにより,上記フレキシブル基板4を変形させた場合にも,上記複眼画像センサチップCに対して過大な応力が作用することを防止することが可能となり,特に接合力が脆弱であるボンディングワイヤー6の外れ,上記受光素子3の変形,或いは焦点距離その他の光学特性が変わることを防止することができる。
【0009】
次に,図3を用いて,上記フレキシブル基板4の湾曲による画角の変化について説明する。
ここで,図3は,上記フレキシブル基板4の凸型に湾曲させた上記複眼画像装置Bの上方向からの平面図を示す。
上記複眼画像センサチップCにおける各ユニットの画角をθとし,隣接する上記複眼画像センサチップC間の湾曲角をαとし,上記複眼画像センサチップCの個数をNとすると,当該複眼画像入力装置Bの画角Θは下式1のようになる。
【数1】
Figure 0004012752
このように,湾曲角α(湾曲度)に応じて,当該複眼画像入力装置Bの画角Θを任意に拡大することができる。
【0010】
次に,図4を用いて,上記複眼画像センサチップCに設けられる上記受光素子3の構造について説明する。ここで,図4は,上記受光素子3を上方向から見た平面図を表している。
本実施形態における上記受光素子3は,上記ユニット毎に形成される上記受光素子アレイ3bを分離して配置することにより,該受光セルアレイ3bを格子状に配置(以下ではクラスタ化と称する)したものである。
これにより,上記受光セル3a(図10(a))のうち,上記隔壁2に隠れてしまう領域,或いは上記マイクロレンズ1aの収差によって歪みの大きい画像が結像されるため利用価値の低い画像情報しか得られない領域に上記受光セル3aが形成される不都合を回避できる。
その結果として,上記受光セル3aの無い部分3cを,配線や処理回路を配置する領域として利用することが可能となり,装置設計上の自由度が向上する。
更には,クラスタ化された各受光セルアレイ3bの上記マイクロレンズ1aに対する偏心量を,該受光セルアレイ3bの位置に応じて設定することも可能である。
図4に示す本実施形態では,上記受光セルアレイ3bが,「+」で示す上記マイクロレンズ1aの光軸に対して,上記受光素子3の周辺部にあるもの程,上記受光素子3の中心方向に大きく偏心するように設定した場合を表している。
このように,受光セルアレイ3bを上記マイクロレンズ1aに対して偏心させた場合の視野に対する影響を図5に示す。
本実施形態のように,上記受光セルアレイ3bが,上記マイクロレンズ1aに対して上記画像入力部3の中心部Dの方向に偏心するようにクラスタ化すれば,図5(b)に示すように,各ユニットの視野方向は周辺部に近付くほど外向きになるため,上記受光セルアレイ3bと上記マイクロレンズ1aとが偏心していない図5(a)の場合と較べて,当該複眼画像センサチップC全体としての視野(画角)を広くすることが可能となる。
また,上述とは逆に,上記セル素子アレイ3bが,上記マイクロレンズ1aに対して上記受光素子3の中心方向と反対の方向に偏心する構成も考えられよう。
この場合には,各ユニットの視野方向は周辺部に近付くほど内向きになるため,当該複眼画像センサチップCとしての視野方向を集中させることが可能となることは理解に易しい。
【0011】
次に,本実施の形態に係る複眼画像入力装置Bを用いて画像情報を取得するための処理の流れを,図6を用いて説明する。
上記複眼画像入力装置Bに用いて被写体Yの画像情報を取得する場合には,上述説明した従来公知の上記複眼画像入力装置Aの場合と同様に,先ず,上記複眼画像センサチップC毎に,被写体Xの個眼像Yが複数結像される。ここで,本実施の形態に係る複眼画像入力装置Bでは,上記各複眼画像センサチップCが,上記フレキシブル基板4上に複数配置されたものであるため,それぞれの複眼画像センサチップCについて上記個眼像Yが取得される。
そして,全ての複眼画像センサチップCで所得された上記個眼像Yに基づいて,所定の信号処理(再構成処理)を行うことにより,高解像度の再構成像Zが再構成される。
ここで,上記個眼像Yは,上記フレキシブル基板4の湾曲度に応じた異なる視野方向により被写体Xを撮像したものであるため,その個眼像Y間には視差が含まれている。
そのため,従来の手法と同様に,上記再構成処理の際には,この視差により,これら低解像度の個眼像Yの画像情報に基づいて高解像度な再構成像Zを再構成することができる。
結果として,当該複眼画像入力装置Bにおいては,従来の構成の複眼画像入力装置Aに較べて,複数配置(マルチチップ化)した分だけ取得し得る被写体Xの画像情報(個眼像Y)が増加するため,その画像情報に基づいて再構成することにより得られる再構成像Zは,より高解像度なものとすることができる。
【0012】
更に,図7を用いて,上記複眼画像センサチップCにより取得された上記個眼像Yより,再構成像Zを再構成する処理の概要を説明する。
ここで,上記フレキシブル基板4の湾曲角α,被写体Xと当該複眼画像入力装置Bとの物体距離が分かれば,図7に示すように,光学系を幾何光学的に記述することが可能となり,ある受光セル3aが画像情報を取得している被写体Xの領域(図中には薄い網掛けで示す),及びその領域における中心点(画素)x1(図中には図中では濃い網掛けで示す)を特定することができる。
ここでは,このようにして特定された被写体Xにおけるx1の画素情報が,当該受光セル3aによって取得されたとみなす。即ち,再構成処理の際には,被写体Xにおけるx1に対応する再構成像Z上の位置の画素情報として,当該受光セル3aの画素値を代入(再配置)する処理を行う。
このような処理を全ての上記複眼画像センサチップCにおける全ての上記受光セル3aに対して順次実施すれば,マルチチップ化された上記複眼画像センサチップCにより得られる複数の個眼像Yが有する画像情報を利用して,単一の再構成画像Zを再構成できる。
ここで,上記手法によって再構成画像を取得するためには,上記フレキシブル基板4の湾曲角αを計測する必要がある。
その計測手法のうち,付加的な検出装置を付加するものとしては,圧電素子を該フレキシブル基板4に取り付け,その変位量に応じて発生する電気信号に応じて湾曲角度を算出する手法,光ファイバを該フレキシブル基板4に沿って取り付け,その光ファイバにおける光の損失量に応じて湾曲角度を算出する手法,或いは該フレキシブル基板4の所定の位置にLED,レーザその他の発光素子を取り付け,その発光素子から照射される光のズレ量に応じて湾曲角度を算出する手法が考え得る。
一方,付加的な検出装置を付加しないものとしては,取得された各個眼像間の相関演算を行い,その相関係数が極大となるシフト量に基づいて湾曲角度を算出することもできる。
【0013】
ここで,上記処理を行うことにより得られる単一の再構成画像Zは,上記受光セル3aの画像情報(画素値)を,その受光セル3aが対応する被写体Xの位置に応じて再配置しただけの画像であるため,どの上記受光セル3aにも対応していない位置にある被写体Xの画像情報は,再構成画像Z上においては画像情報(画素)の欠落した欠失画素となる。
そのため,上記のように欠失画素がある場合,その周辺の画素値を用いて補間する必要がある。このような場合,欠失画素の周辺では水平,或いは垂直方向に対して線形的に画素値が変化するものと仮定すれば,欠失画素がNdel個連続している場合,そのi番目の欠失画素に対して補間する画素値Pdel(i)は下式2を適用して算出可能である。但し,P1,P2は欠失画素に隣接する画素の画素値である。
【0014】
【数2】
Figure 0004012752
【0015】
ここでは,対象とする欠失画素に対して,上式2を水平及び垂直方向に適用し,得られた値の平均値を該欠失画素に対する画素値とする。
これにより,再構成画像Zに含まれる欠失画素に対して,上述した補間処理を施すことによって得られる画像は,より被写体Xに近い再構成画像Zとすることが出来る。
ここで,水平方向或いは垂直方向のある線上に,画素情報が一つも存在しない場合には,その線上では補間処理が行えず,欠失画素を補いきれないことになるが,同一の処理を再度行うことにより,それらの欠失画素も補間することが可能である。
【0016】
最後に,本実施形態に係る上記複眼画像入力装置Bを用いて取得された画像について以下に説明する。
図8は,上記複眼画像入力装置Bの湾曲角度αを変化させた場合の個眼像Yと,それら個眼像Yに基づいて再構成された再構成像Zを示す計算機シミュレーション結果である。
ここで,計算機シミュレーション条件としては,上記複眼画像入力装置Bを5×5のチップ構成とし,各複眼画像センサチップCは,2×2のユニットで構成され,各ユニットが32×32の受光セルを有するものとした。また,各ユニットの幅は2.40mm,各セルアレイの幅は1.92mm,更には,各セルの開口はセルの中心に位置するものであって,一辺が60μmの正方形であると仮定した。
一方,被写体Xとしては,凹凸の無い平面であって,画素数が512×512画素であり,グレースケール256階調の画像とした。
また,上記複眼画像入力装置Bは該複眼画像入力装置Bの中心線を軸として,横方向にだけ湾曲するものとし,被写体と最も近くに位置するのは中央に配置された上記各複眼画像センサチップCの物体距離は1mとした。
図8(a)は,上記複眼画像入力装置Bの湾曲角度αが0.0度のとき,即ち平面状の構成された複眼画像入力装置Bにより取得された個眼像Y,並びにそれに基づく再構成画像Zである。
図8(b)は,上記複眼画像入力装置Bの湾曲角度αを1.0度とした場合に取得された個眼像Y,並びにそれに基づく再構成画像Zである。
図8(c)は,上記複眼画像入力装置Bの湾曲角度αを2.0度とした場合に取得された個眼像Y,並びにそれに基づく再構成画像Zである。
このように,湾曲度αを大きくするに従って,取得され得る再構成画像Zの画角が大きくなっていることが読み取れる。
しかしながら,画角の広がりに伴って,欠失画素により構成される領域(図中では格子状の黒い部分)が増加し,画像品質の低下を招いている。
これに対しては,上述説明した補間処理を施すことにより,容易に画素を補間することができる。例えば,図8(a)に示す再構成画像Zに対して補間処理による画像の変化を図9に示す。
ここで,図9は,(a)は元の再構成画像Z,(b)は(a)の画像に対して上式2に基づく補間処理を実施した後の画像,(c)は(b)の画像に対して更に上式2に基づく補間処理を実施した後の画像を示している。
このように,従来公知である簡略な補間処理を行うことにより,欠失画像を補い,高解像度な再構成画像とすることが可能である。
従って,本実施の形態に係る上記複眼画像入力装置Bを用いることにより,使用者の希望する画角に応じて湾曲面の湾曲度を変化させることにより,その希望する画角で画像情報を取得することが可能となり,複眼画像入力装置としての使用性を著しく向上させることができる。
【0017】
【実施例】
上の実施形態では,上記フレキシブル基板4として,ポリイミドフィルムと銅薄膜を用いることを考えているが,伸縮性のあるゴム素材を用い,その基板上に配置される複眼画像入力装置Aをケーブルで接続する形態も考えうる。
このような形態によれば,上記フレキシブル基板4の湾曲度に対する自由度が向上し,例えば,該フレキシブル基板4を球面上に湾曲させて,その装置の周囲360度の画像情報を取得するような利用が可能となる。
更には,開口部の狭い容器状の被写体内部の画像情報を撮像するような情況では,先ず,上記フレキシブル基板4を,その開口部を通過し得る形状に変形して挿入し,挿入後に所定の形状に復元することにより,内部の画像情報を撮像するといった内視鏡としての利用が可能となる。
【0018】
【発明の効果】
以上説明したように,本発明は,複数のマイクロレンズが格子状に配列されたマイクロレンズアレイにより平面状に形成された受光素子上に複数の物体縮小像を結像する複眼画像入力部が,凹形の湾曲面上にそれぞれの視野方向が内向きに集中して同一の被写体を異なる方向から撮像するよう複数配置されてなることを特徴とする複眼画像入力装置として構成される。
このように構成することによって,湾曲面上に複数配置された上記複眼画像入力部により得られる個眼像に基づいて再構成される再構成像の高解像度化を図ることができる。
更には,凹型に湾曲させて被写体を取り囲むように配置すれば,同時に被写体の全方位形状を撮像することも可能となる。
ここで,上記湾曲面の湾曲度が可変である形態も考えられ,その一例が,上記湾曲面を可撓性のフレキシブル基板により構成したものである。
これにより,使用者は,希望に応じて湾曲面の湾曲度を変化させることが可能となり,その湾曲度に応じた任意の画角で画像情報を取得することが可能となり,複眼画像入力装置としての使用性が著しく向上する
た,本構成は,例えば画像センサチップとして構成される上記複眼画像入力部を湾曲面上にマルチチップ化して配置したものと考えることができる。そのため,上記湾曲面上に配置される画像センサチップのチップ数に応じて,当該複眼画像入力装置としての画素数を任意に増加させることが可能となり,再構成処理後に得られる再構成画像を高精彩化することができる。
【0019】
また,上記受光素子としては,上記マイクロレンズにより物体縮小像が結像される所定の領域毎に独立して設けられた複数の受光セルアレイを格子状に配置したものも考えうる。
これにより,上記受光素子のうち,隔壁に隠れてしまう領域,或いは上記マイクロレンズの収差によって歪みの大きい画像が結像されるため,利用価値の低い画像情報しか得られない領域に受光セルが形成される不都合を回避し,無駄な受光セルを無くすことができる。更には,受光セルの形成されない領域を,配線や処理回路のために利用することが可能となり,装置設計上の自由度が向上するという副次的な効果も奏する。
【0020】
また,上記マイクロレンズ毎に独立して設けられる上記受光セルアレイの上記マイクロレンズに対する偏心量が,該受光セルアレイの上記複眼画像入力部に対する位置に応じて設定されても良い。
このような構成では,その偏心量に応じて,各ユニット毎の視野方向を任意に設定することが可能となり,当該画像入力部で撮像可能な画角を必要に応じて調整することができる。
例えば,上記受光セルアレイの上記マイクロレンズに対する偏心量は,上記画像入力部の周辺部にある受光セルアレイ程大きく設定されることが望ましく,更には,その上記受光セルアレイが,上記マイクロレンズに対して上記画像入力部の中心方向に偏心しているものが望ましい。
これにより,各ユニットの視野方向は周辺部に近付くほど外向きになるため,当該複眼画像入力部としての画角を広くすることができる。
一方,上記セル素子アレイが,上記マイクロレンズに対して上記画像入力部の中心方向と反対の方向に偏心しているものも考えられよう。
その場合には,各ユニットの視野方向は周辺部に近付くほど内向きになるため,当該複眼画像入力装置としての視野方向を集中させることが可能となり,被写体の画像情報をより詳細に取得できる。
【図面の簡単な説明】
【図1】 本実施の形態に係る複眼画像入力装置の概略構成図。
【図2】 複眼画像センサチップとフレキシブル基板との接続の詳細を示す図。
【図3】 フレキシブル基板の湾曲と画角との関係を示す図。
【図4】 受光素子の構造を示す図。
【図5】 受光セルアレイとの偏心と視野との関係を示す図。
【図6】 画像情報の取得に係る処理の流れを模式的に示す図。
【図7】 受光セルと被写体の画素との幾何光学的な関係を示す図。
【図8】 本実施の形態に係る複眼画像入力装置により取得された画像の一例を示す図。
【図9】 補間処理を施された画像の一例を示す図。
【図10】 従来公知の複眼画像入力装置の概略構成図。
【符号の説明】
A …複眼画像入力装置
B …複眼画像入力装置
C …画像センサチップ
X …被写体
Y …個眼像
Z …再構成像
Θ …複眼画像入力装置の画角
θ …ユニットの画角
α …複眼画像入力装置の湾曲角度
1 …マイクロレンズアレイ
1a …マイクロレンズ
2 …隔壁
3 …受光素子
3a …受光セル
3b …受光セルアレイ
3c …受光セルの無い領域
4 …フレキシブル基板
6 …ボンディングワイヤー
7 …レンズ固定用部材
8 …プリント基板
9 …接続ピン

Claims (8)

  1. 複数のマイクロレンズが格子状に配列されたマイクロレンズアレイにより平面状に形成された受光素子上に複数の物体縮小像を結像する複眼画像入力部が,凹形の湾曲面上にそれぞれの視野方向が内向きに集中して同一の被写体を異なる方向から撮像するよう複数配置されてなることを特徴とする複眼画像入力装置。
  2. 上記湾曲面の湾曲度が可変である請求項1に記載の複眼画像入力装置。
  3. 上記湾曲面が,可撓性のフレキシブル基板により構成されてなる請求項1或いは2のいずれかに記載の複眼画像入力装置。
  4. 上記受光素子が,上記マイクロレンズにより物体縮小像が結像される所定の領域毎に独立して設けられた複数の受光セルアレイを格子状に配置したものである請求項1〜3のいずれかに記載の複眼画像入力装置。
  5. 上記マイクロレンズ毎に独立して設けられる上記受光セルアレイの上記マイクロレンズに対する偏心量が,該受光セルアレイの上記複眼画像入力部に対する位置に応じて設定されてなる請求項に記載の複眼画像入力装置。
  6. 上記受光セルアレイの上記マイクロレンズに対する偏心量が,上記画像入力部の周辺部にある受光セルアレイ程大きく設定されてなる請求項5に記載の複眼画像入力装置。
  7. 上記受光セルアレイが,上記マイクロレンズに対して上記画像入力部の中心方向に偏心してなる請求項5に記載の複眼画像入力装置。
  8. 上記受光セルアレイが,上記マイクロレンズに対して上記画像入力部の中心方向と反対の方向に偏心してなる請求項5に記載の複眼画像入力装置。
JP2002083714A 2002-03-25 2002-03-25 複眼画像入力装置 Expired - Lifetime JP4012752B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002083714A JP4012752B2 (ja) 2002-03-25 2002-03-25 複眼画像入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002083714A JP4012752B2 (ja) 2002-03-25 2002-03-25 複眼画像入力装置

Publications (2)

Publication Number Publication Date
JP2003283932A JP2003283932A (ja) 2003-10-03
JP4012752B2 true JP4012752B2 (ja) 2007-11-21

Family

ID=29231374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002083714A Expired - Lifetime JP4012752B2 (ja) 2002-03-25 2002-03-25 複眼画像入力装置

Country Status (1)

Country Link
JP (1) JP4012752B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4171786B2 (ja) 2002-10-25 2008-10-29 コニカミノルタホールディングス株式会社 画像入力装置
JP2007116208A (ja) 2005-10-17 2007-05-10 Funai Electric Co Ltd 複眼撮像装置
JP2007286521A (ja) * 2006-04-19 2007-11-01 Eyedentify:Kk 複数の撮像体の画像から裸眼立体視可能な立体画像を生成する簡易撮像装置
JP4306744B2 (ja) 2007-03-01 2009-08-05 ソニー株式会社 生体認証装置
JP4389957B2 (ja) 2007-04-11 2009-12-24 ソニー株式会社 生体認証装置
KR101410002B1 (ko) * 2007-11-19 2014-06-20 삼성전자주식회사 인공 낱눈을 구비한 이미지 검출장치 및 인공 낱눈 유닛의제조방법
DE102007062708A1 (de) * 2007-12-27 2009-07-02 Robert Bosch Gmbh Bildaufnehmer, sowie Verfahren und Verwendung
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US9432591B2 (en) 2009-01-05 2016-08-30 Duke University Multiscale optical system having dynamic camera settings
US8830377B2 (en) 2010-01-04 2014-09-09 Duke University Monocentric lens-based multi-scale optical systems and methods of use
US10725280B2 (en) 2009-01-05 2020-07-28 Duke University Multiscale telescopic imaging system
US9494771B2 (en) 2009-01-05 2016-11-15 Duke University Quasi-monocentric-lens-based multi-scale optical system
US8259212B2 (en) * 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system
US9635253B2 (en) 2009-01-05 2017-04-25 Duke University Multiscale telescopic imaging system
DE102009005092A1 (de) 2009-01-19 2010-09-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Navigation und dessen Verwendung
SG166690A1 (en) * 2009-05-13 2010-12-29 Sony Corp Camera for multiple perspective image capturing
ATE538406T1 (de) * 2009-09-30 2012-01-15 Fraunhofer Ges Forschung Verfahren zur herstellung eines künstliches facettenauges
JP5705140B2 (ja) 2011-09-27 2015-04-22 株式会社東芝 固体撮像装置及び固体撮像装置の製造方法
JP2013084880A (ja) * 2011-09-27 2013-05-09 Toshiba Corp 固体撮像装置、固体撮像素子及び固体撮像素子の製造方法
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras

Also Published As

Publication number Publication date
JP2003283932A (ja) 2003-10-03

Similar Documents

Publication Publication Date Title
JP4012752B2 (ja) 複眼画像入力装置
JP4275717B2 (ja) 撮像装置
JP4171786B2 (ja) 画像入力装置
US20070285553A1 (en) Method and apparatus for image capturing capable of effectively reproducing quality image and electronic apparatus using the same
JP4673202B2 (ja) 画像入力装置
JP5214754B2 (ja) 固体撮像装置および携帯情報端末
KR101605392B1 (ko) 디지탈 이미징 시스템, 플레놉틱 광학기구 및 이미지 데이타 처리방법
US8203644B2 (en) Imaging system with improved image quality and associated methods
US20100053600A1 (en) Optical Condition Design Method for a Compound-Eye Imaging Device
JP6189061B2 (ja) 固体撮像装置
EP0775414B1 (en) Apparatus and method for converting an optical image of an object into a digital representation
EP2770727A2 (en) Solid state imaging device, portable information terminal, and solid state imaging system
JP2013192182A (ja) 固体撮像装置および携帯情報端末
CN103685916A (zh) 具有摄像装置的摄像设备及其控制方法
CN110995968A (zh) 图像传感器、摄像装置、电子设备和成像方法
JPH08505953A (ja) 像形成装置
JP2002191060A (ja) 3次元撮像装量
CA2516939A1 (en) Microscopic imaging system having an optical correcting element
JP5488221B2 (ja) 撮像装置
CN111694183A (zh) 显示装置及其显示方法
JP5568150B2 (ja) 固体撮像装置および携帯情報端末
US7477312B2 (en) Photographing apparatus, photographing method, and method for measuring converted data representing a fiber-array image
JP2014157177A (ja) 撮像装置
CN213659066U (zh) 一种可延伸成像景深的拼接镜头
JPH01119178A (ja) 撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20031031

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070910

R150 Certificate of patent or registration of utility model

Ref document number: 4012752

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130914

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term