JP4171786B2 - 画像入力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は，複数のマイクロレンズにより取得した複数の低解像な物体縮小像から高解像な単一の物体像を再構成することが可能な画像入力装置に係り，詳しくは撮像距離の大きい（例えば無限遠）場合にも高解像な物体像を取得可能な画像入力装置に関する。
【０００２】
【従来の技術】
情報伝達メディアの発達に伴う高度情報化社会の到来により，様々な画像情報を，効率的且つ高品質に取得する画像入力装置として，デジタルカメラ，ビデオカメラ等，被写体である物体に対向する単一の光学系によって物体像を取得する構成の画像入力装置が広く用いられている。
しかし，近年，画像入力装置の更なる小型，薄型化が要求されており，そのような要求に応え得る画像入力装置として，昆虫等に見られる複眼構造を模倣した画像入力装置が開発されている（例えば，特許文献１参照。）。
上述の画像入力装置は，複数のマイクロレンズを配列したマイクロレンズアレイと，該マイクロレンズアレイに対向する平面状の受光素子とを具備して概略構成されており，前記マイクロレンズアレイによって，前記受光素子上の所定領域に複数の低解像な物体縮小像を結像させ，該物体縮小像を信号処理（再構成）することで単一の物体像を再構成するものである。
このような構成により，上述の画像入力装置では，単一の光学系を用いた画像入力装置に較べて小型，薄型の構成であるにも拘わらず，明るい光学系を実現し，更には取得（再構成）される物体像（以下，再構成画像という）を高詳細なものとし得る。
【０００３】
【特許文献】
特開２００１−６１１０９号公報
【０００４】
【発明が解決しようとする課題】
ところで，上述した複眼構造を有する画像入力装置においては，複数の前記マイクロレンズ間に視差を持たせ，異なる視点から被写体を撮像可能な点を特徴とする。この特徴点（マイクロレンズ間の視差）により，前記マイクロレンズにより前記受光素子上の所定領域に結像される物体縮小像を，マイクロレンズ毎に異なる画像（異なる画像情報を含む画像）とすることを可能とし，その結果，それら物体縮小像を再配置して得られる単一の再構成画像を，高詳細な（多くの画像情報を含む）な画像とし得るものである。
しかしながら，従来公知の画像入力装置では，被写体からの距離が大きくなる（例えば無限遠）と，上述した当該画像入力装置における特徴である，前記マイクロレンズ間の視差が無くなるため，物体縮小像間の差異が無くなり（同じ画像となり），近接した被写体を撮像した（前記マイクロレンズ間に視差がある）場合と比較して，画像の解像度が著しく低下するという問題が生じ得る。
また，画像入力装置により所得される画像情報としては，被写体の色を再現（カラー化）した画像であることが望ましい。そこで，上述した構成の画像入力装置における再構成画像をカラー化する技術として，各マイクロレンズ毎にカラーフィルタを配置することが提案され，本出願人らによって特願２００１−３６３１１７号として出願されている。しかしながら，カラー化を図る技術は，各マイクロレンズ毎にカラーフィルタを配置するという上述方式のみに限定されるものではなく，該方式とは異なる方式の開発が必要であり，また期待されている。
そこで，本発明は前記事情に鑑みて成されたものであり，その目的とするところは，前記マイクロレンズアレイによって前記受光素子上の所定領域に結像される複数の低解像度な物体縮小像から単一の再構成画像を再構成する画像入力装置において，被写体と前記マイクロレンズアレイとの距離が大きい（例えば，無限遠）場合にも，高解像な単一の再構成画像を取得可能な画像入力装置を提供することにある。
【０００５】
【課題を解決するための手段】
前記目的を達成するために本発明は，複数のマイクロレンズが配列されたマイクロレンズアレイと，該マイクロレンズアレイに対向する受光素子とを具備し，夫々の前記マイクロレンズにより前記受光素子に被写体の物体縮小像を結像させ，それら複数の物体縮小像の画像情報を再配置することで単一の物体像を取得する画像入力装置において，前記マイクロレンズの光軸と，該マイクロレンズに対応する物体縮小像が結像される前記受光素子の中心軸との間の相対位置が，前記マイクロレンズの配列における垂直方向及び水平方向に対して一端が最も小さく，他端が最も大きくなるように一定量づつ順次増加するよう配置されてなることを特徴とする画像入力装置として構成される。
ここで，前記一定量が，ｓ／Ｎである請求項１に記載の画像入力装置が考えられる。但し，ｓは前記受光素子の前記マイクロレンズの配列における垂直方向或いは水平方向のピッチ，Ｎは前記受光素子の前記ピッチ方向における前記マイクロレンズのユニット数である。
このように構成することによって，被写体が無限遠にある場合のように，前記マイクロレンズと被写体との距離が大きい場合であっても，前記受光素子上に結像される物体縮小像を前記マイクロレンズ毎に異ならせることが可能となり，ひいては，該物体縮小像の画素情報を再配置することで得られる再構成画像の解像度を向上させ得る。
【０００６】
また，前記マイクロレンズ毎に前記受光素子上の所定領域に結像される複数の前記物体縮小像の画素情報を再配置することで単一の物体像を取得する場合，前記物体縮小像の画素情報を再配置する前記物体像上の再配置位置は，前記相対位置に基づいて決定されることが望ましい。
【０００７】
このように前記物体縮小像の画素情報の再配置位置を決定することで，前記相対位置の違いにより生ずる前記物体縮小像の差異を利用し，前記前記物体像を解像度を向上させ得る。
【０００８】
【発明の実施の形態】
以下添付図面を参照しながら，本発明の実施の形態及び実施例について説明し，本発明の理解に供する。尚，以下の実施の形態及び実施例は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本実施の形態に係る画像入力装置Ａの概略構成を示す斜視図，図２は本実施の形態に係る画像入力装置Ａにおけるマイクロレンズアレイの配置を表す平面図，図３は本実施の形態に係る画像入力装置Ａにおける受光素子の配置を表す平面図，図４は本実施の形態に係る画像入力装置Ａにおけるマイクロレンズアレイと受光素子との位置関係の一例を模式的に示す断面図，図５は再配置（復元）された物体像の一例を模式的に示す図である。
【０００９】
本発明の実施形態に係る画像入力装置は図１に示す如く具現化される。
同図に示す如く，前記画像入力装置Ａは，複数のマイクロレンズ１ａを格子状に配列したマイクロレンズアレイ１と，複数の受光セル３ａを平面状に形成した受光素子３と，上記マイクロレンズアレイ１と上記受光素子３との間に配置された格子状の隔壁２とを具備して概略構成される。ここで，上記マイクロレンズ１ａには，図中に破線による角柱で示すように，上記隔壁２の一格子が対応し，その角柱（所定領域）内に含まれる複数の上記受光セル３ａが対応することで，信号処理単位（ユニットＵ）を形成している。
このように当該複眼画像入力装置Ａは，各ユニットＵ毎に被写体の物体縮小像を結像し，しかる後，それら物体縮小像を再構成することで，単一の高解像度の再構成画像を得るという基本的思想は従来公知の画像入力装置と同様である。
ここに，参考として，当該画像入力装置Ａの仕様の一例を以下に示す。無論，本実施形態は以下の仕様に限定されるものではない。
・マイクロレンズアレイ１
レンズ個数 １０×１０
レンズピッチ ４９９ミクロン×４９９ミクロン
レンズ焦点距離 １．０ｍｍ
・隔壁２
隔壁ピッチ ４９９ミクロン
隔壁高さ １．０ｍｍ
隔壁厚み ３９ミクロン
隔壁開口寸法 ４６０ミクロン×４６０ミクロン
・受光素子３
画素数 ５００×５００
画素寸法 １０×１０ミクロン
【００１０】
以下に，図２〜図４を参照しつつ，当該複眼画像入力装置Ａの特徴点である，前記マイクロレンズ１ａと，該マイクロレンズ１ａに対応する前記受光セル３ａとの間の相対位置を，該マイクロレンズ１ａ毎に異なるよう配置した構成，並びに前記受光セル３ａ上に結像された物体縮小像の画素情報から再構成画像を再構成する処理について説明する。
ここに，図２は，前記マイクロレンズアレイ１の平面図であり，マイクロレンズ１ａ（ユニットＵ）が水平方向にＮ個，垂直方向にＮ個である場合の全ユニットの配置例を示したものである。
図３は，前記受光素子３の平面図であり，各ユニットにおける前記受光セル３ａが水平方向にｎ個，垂直方向にｎ個である場合の配置例を示したものである。
図４は，ユニットの前記マイクロレンズ１ａと前記受光セル３ａとの位置関係を模式的に示した前記画像入力装置Ａの断面図であり，一例として，ユニット数Ｎ=４（Ｊ＝１〜４），受光セル数ｎ=６（ｊ＝１〜６）の場合を示したものである。尚，同図では，簡単のために垂直方向（図中には矢印ｙで示す）のみを代表させて描いているが，水平方向についても同様の位置関係を持っている。
図４に示す如く，本実施形態は，ユニット（即ち，前記マイクロレンズ１ａ）毎に，前記受光セル３ａと前記マイクロレンズ１ａとの相対位置が異なるよう配置されていることを特徴とする。具体的には，ユニット数をＮ，前記受光セル３ａのピッチをｓとした場合，その相対位置が，前記マイクロレンズ１ａの配列における垂直方向及び水平方向に対しユニット毎に順次ｓ／Ｎずつ順次増加するように配置される。
これにより，無限遠にある被写体を撮像した場合であっても，前記マイクロレンズ１ａにより前記受光セル３ａ上に結像される物体縮小像を，各ユニット毎に異ならせることが可能となり，ひいては，それら物体縮小像の画素情報を再配置することにより得られる再構成画像の解像度を向上させ得る。
【００１１】
次に，上述した図２〜図４に示す構成において，前記受光セル３ａ上に結像された異なるＮ個の物体縮小像から，水平方向Ｎ×ｎ，垂直方向Ｎ×ｎ画素に相当する単一の再構成画像を再構成する手順の一例を，図５を参照しつつ以下に説明する。
以下に説明する再構成の手順は，物体像を再構成する上で適用可能な手順の一例を示すものであって，本発明は本手順以外の種々の手順が適用可能である。
（再構成手順）
尚，ここでは，再構成される再構成画像の座標を（ｘ，ｙ）とし，簡単のために片方の座標（以下の説明では垂直方向ｙ）について説明する。
再構成画像における座標ｙの画素情報を再構成画像ｙとすると，該再構成画像ｙには，夫々，
再構成画像１ ← ユニット１における１番目の画素の信号
再構成画像２ ← ユニット２における１番目の画素の信号
：
：
再構成画像Ｎ ← ユニットＮにおける１番目の画素の信号
再構成画像Ｎ+１ ← ユニット１における２番目の画素の信号
再構成画像Ｎ+２ ← ユニット２における２番目の画素の信号
：
：
再構成画像２Ｎ ← ユニットＮにおける２番目の画素の信号
再構成画像２Ｎ+１ ← ユニット１における３番目の画素の信号
：
：
再構成画像３Ｎ ← ユニットＮにおける３番目の画素の信号
再構成画像３Ｎ+１ ← ユニット１における４番目の画素の信号
：
：
再構成画像(ｎ−１)×Ｎ+１ ← ユニット１におけるｎ番目の画素の信号
：
：
再構成画像ｎ×Ｎ ← ユニットＮにおけるｎ番目の画素の信号
が再配置される。
以上の再構成手順に従って，図４に示す各ユニット（Ｊ＝１〜４）毎に撮像された無限遠にある被写体の各ユニット毎の物体縮小像における画素情報（つまりは，受光セルｊ＝１〜ｊ＝６）を再配置した再構成画像の一例が図５である。図では，再構成画面の寸法をｎ×ｓとする場合を示している。尚，図中の各受光セル中に括弧付きで示す符号１〜２４は，再構成画像の座標ｙである。
つまり，無限遠にある被写体に対しては，全てのマイクロレンズ１ａが同一の画像情報を取り込むこととなるが，本実施形態によれば，前記受光セル３ａが，前記マイクロレンズ１ａに対し，ｓ／Ｎづつずれた相対位置に配置されているため，無限遠にある被写体であっても少しづつ異なる物体縮小像が前記受光セル３ａ上に結像される。
そこで，それら物体縮小像から再構成画像を再構成する際には，その相対位置の異なりを考慮し（即ち，上述した再構成手順の如く），Ｊ=１ユニットのｊ=１，Ｊ=２ユニットのｊ=１，．．，と順番に前記受光セル３ａをｓ／Ｎづつずらしつつ再配置することで，複数の物体縮小像から高精細な再構成画像を得ることが得られることが理解される。
【００１２】
【発明の効果】
以上説明したように，本発明によれば，当該画像入力装置と被写体との距離が大きい（例えば，無限遠）場合にも，各ユニット毎に異なる物体縮小像を取得可能であるため，それら物体縮小像に基づいて再構成される再構成画像を高解像なものとできる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像入力装置Ａの概略構成を示す斜視図。
【図２】本実施の形態に係る画像入力装置Ａにおけるマイクロレンズアレイの配置を表す平面図。
【図３】本実施の形態に係る画像入力装置Ａにおける受光素子の配置を表す平面図。
【図４】本実施の形態に係る画像入力装置Ａにおけるマイクロレンズアレイと受光素子との位置関係の一例を模式的に示す断面図。
【図５】再配置（復元）された物体像の一例を模式的に示す図。
【符号の説明】
Ａ …画像入力装置
１ …マイクロレンズアレイ
１ａ …マイクロレンズ
２ …隔壁
３ …受光素子
３ａ …受光セル

Claims (3)

1. 複数のマイクロレンズが配列されたマイクロレンズアレイと，該マイクロレンズアレイに対向する受光素子とを具備し，夫々の前記マイクロレンズにより前記受光素子に被写体の物体縮小像を結像させ，それら複数の物体縮小像の画像情報を再配置することで単一の物体像を取得する画像入力装置において，
   前記マイクロレンズの光軸と，該マイクロレンズに対応する物体縮小像が結像される前記受光素子の中心軸との間の相対位置が，前記マイクロレンズの配列における垂直方向及び水平方向に対して一端が最も小さく，他端が最も大きくなるように一定量づつ順次増加するよう配置されてなることを特徴とする画像入力装置。
2. 前記一定量が，ｓ／Ｎである請求項１に記載の画像入力装置。
   但し，ｓは前記受光素子の前記マイクロレンズの配列における垂直方向或いは水平方向のピッチ，Ｎは前記受光素子の前記ピッチ方向における前記マイクロレンズのユニット数である。
3. 前記マイクロレンズ毎に前記受光素子上の所定領域に結像される複数の前記物体縮小像の画素情報を再配置することで単一の物体像を取得するに当たり，
   前記物体縮小像の画素情報を再配置する前記物体像上の再配置位置が，前記相対位置に基づいて決定されてなる請求項１あるいは２のいずれかに記載の画像入力装置。

Images