JP3705766B2

JP3705766B2 - 画像入力装置

Info

Publication number: JP3705766B2
Application number: JP2001363117A
Authority: JP
Inventors: 純谷田; 茂博宮武; 勝宮本; 耕一石田; 隆史森本
Original assignee: Japan Science and Technology Agency; Konica Minolta Inc; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; Konica Minolta Inc; National Institute of Japan Science and Technology Agency
Priority date: 2001-11-28
Filing date: 2001-11-28
Publication date: 2005-10-12
Anticipated expiration: 2021-11-28
Also published as: JP2003163938A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の微小結像光学系により画像を形成する画像入力装置に関するものである。
【０００２】
【従来の技術】
近年、情報伝達メディアの発達に伴う高度情報社会の到来により、様々な情報を効率的且つ即時に取得することが強く望まれてきている。その中で、画像情報が占める割合は極めて大きく、その記録，保存が高度な情報処理活動を行う上において重要な役割を果たしている。そうした記録，保存は、従来より写真カメラ，ビデオカメラ等により行われているが、これらの各構成要素を小型化することによるそれぞれの装置の小型化には限界があるので、常時携帯を実現可能とするほど小型化するためには、新たな構成に基づく小型の画像入力装置の開発が必要であり、また期待されている。
【０００３】
このような画像入力装置の小型化を図る構成として、従来より、複数の微小レンズの集合によるレンズアレイを用いる方法が知られている。これは、昆虫の視覚系に見られるいわゆる複眼を応用した方式であり、単眼結像系に比べてより少ない占有体積で、広視野で且つ明るい光学系を実現できるものである。
【０００４】
このような従来の画像入力装置としては、例えば特開２００１−６１１０９号公報に記載されている如く、単一平面受光素子アレイを、各微小レンズに対応させた領域に分割し、各領域には複数の受光素子が含まれるようにして、更に各レンズからの光信号が混信しないように隔壁を設けた、薄型画像入力装置の構成のものが、本出願人らにより開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記特開２００１−６１１０９号公報に記載されている構成においては、入力される画像の色再現（カラー化）までは言及されていなかった。本発明は、このような点に鑑み、簡単な構成で、より小型，高精細でしかもカラー化を図った画像入力装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では、単一平面の光電変換素子と、複数の結像ユニットが配列された結像ユニットアレイとを有し、その結像ユニットアレイにより、前記光電変換素子上の異なる位置にそれぞれ前記結像ユニット毎に光束を結像する画像入力装置であって、前記結像ユニット毎に前記結像する光束の光路を規制する隔壁を備え、略同一範囲からの光束をその結像ユニット毎に異なる視点から見た状態で結像させる画像入力装置において、前記結像ユニットは各行或いは各列を半ピッチずらした千鳥状に配列し、前記各結像ユニットが前記光電変換素子上に光束を結像する範囲には複数の受光素子が含まれ、前記各結像ユニットに対応させて、且つ前記光電変換素子上の連続する所定範囲に対応させて、同一特性のカラーフィルタを配置したことを特徴とする。また、前記カラーフィルタを前記隔壁に設けたことを特徴とする。
【０００７】
また、前記所定範囲は前記各結像ユニットの結像範囲であることを特徴とする。
【０００８】
そして、前記各結像ユニット周辺の光束を遮光する遮光マスクを設けたことを特徴とする。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の画像入力装置は、基本的に微小レンズアレイ，隔壁，及び受光素子アレイで構成される。ここでの特徴は、微小レンズアレイの一つの微小レンズに対して、受光素子アレイの複数の受光素子が対応し、また、隔壁の一格子部分が対応していることである。そして、これらが信号処理単位（ユニット）を形成している。各ユニット間は、互いに隣接する微小レンズからの光信号の侵入を防ぐために、隔壁で分離され、光路を規制されている。ここでは微小レンズアレイにより、複数の個眼像を取得し、これらを電子的に後処理することで、解像度の高い再構成画像を得る。
【００１０】
図１は、ユニットの配置例を示す図である。同図はユニット数が画面上で水平方向にＭ個、垂直方向にＮ個の場合を示している。また図２は、各ユニットにおける受光セルの配置例を示す図である。同図は受光セル数が水平方向にｍ個、垂直方向にｎ個の場合を示している。各図に示した構成から、水平方向Ｍ×ｍ画素，垂直方向Ｎ×ｎ画素に相当する再構成画像を最も簡単に得るためには、例えば画素信号を以下の式に示すように並べ替えればよい。
【００１１】
即ち、再構成画像の座標を（ｘ，ｙ）とすれば、ユニット（Ｉ，Ｊ）における（ｉ，ｊ）画素の信号を、
ｘ＝Ｍ（ｉ−１）＋Ｉ
ｙ＝Ｎ（ｊ−１）＋Ｊ
に再配置すればよい。これについて以下に説明する。
【００１２】
図３は、被写体上での各ユニット及びその受光セルの対応関係を模式的に示す図である。同図では水平方向をｘ方向として代表させて描いてある。また、同図ではＭが４個即ちＩ＝１〜４までの場合を示している。同図に示すように、Ｉ＝１〜４の各ユニットの被写体における撮像範囲を、ピッチＤずつｘ方向にずらして配置し、各ユニットにおけるｉ＝１の受光セルの被写体上での対応位置をそれぞれｘ＝１〜４とする。ｘの値は各マス目中に記入している。
【００１３】
同様にして、各ユニットにおけるｉ＝２の受光セルの被写体上での対応位置をそれぞれｘ＝５〜８とする。このとき、ｘ＝４の受光セルの対応位置からｘ方向にＤピッチ進んだ位置が、Ｉ＝１，ｉ＝２、即ちｘ＝５となるように配置してある。以下、同様にして、ｘ＝９〜１２，ｘ＝１３〜１６，ｘ＝１７〜２０，…というように配置する。また、ｙ方向に関しても同様の配置となる。以上のような配置方法を一般的に示したものが上述の式である。これにより、最も簡単な信号処理で再構成画像を得ることができる。
【００１４】
ちなみに、ｘ或いはｙ方向における、ユニット即ち微小レンズの個数をμ（上記の例では４）、装置の倍率をｍ、画素ピッチをｓとおくと、以下の式が成り立つ（図３参照）。
μＤ＝ｍｓ
実際は、以上のような配置方法に限定されるものではなく、様々な画像再生アルゴリズムが使用可能である。
【００１５】
図４は、本発明の一実施形態の画像入力装置における、各ユニットに対応するカラーフィルタの配置例を示す図である。本実施形態では、原色フィルタを用いており、ユニットの半数が緑フィルタ（Ｇ）によって占められている。そして、残りの半数が赤フィルタ（Ｒ）と青フィルタ（Ｂ）に割り振られ、これらはいわゆる市松模様状を成している。
【００１６】
従来の単板カラーイメージセンサでは、各受光セルにカラーフィルタが配置されるが、本発明を用いたカラーイメージセンサでは、複数の受光セルからなる各ユニットにカラーフィルタが配置される。このように配置することによって、カラーフィルタの微細加工が不要になるのみならず、上記のような信号処理の結果、従来のカラーイメージセンサと同等の信号が得られることになる。従来では、カラーフィルタの大きさが画素ピッチに相当していたが、本発明では、カラーフィルタの大きさが微小レンズピッチに相当する。ちなみに、画素ピッチは数ミクロン程度であり、微小レンズピッチは数百ミクロン程度である。
【００１７】
即ち、上述したような再配置を行えば、再構成された画像では、いわゆるベイヤー配列を用いた原色単板カラーイメージセンサと同等の信号が得られることになる。このベイヤー配列とは、緑フィルタを通過した信号が市松模様状に存在し、残りを青フィルタを通過した信号と赤フィルタを通過した信号とが交互に水平に並ぶものである。
【００１８】
図５は、本発明の他の実施形態の画像入力装置における、各ユニットに対応するカラーフィルタの配置例を示す図である。本実施形態では、補色フィルタを用いており、各ユニットいずれかにシアン（Ｃｙ），黄（Ｙｅ），緑（Ｇ），及び透明（Ｗ）のフィルタがそれぞれ割り振られている。この場合も上記原色フィルタを用いた場合と同様にして、補色単板カラーイメージセンサと同等の信号が得られることになる。
【００１９】
図６は、カラーフィルタの配置状態を具体的に示した図である。同図（ａ）は、それぞれ円形をした原色フィルタを、市松模様状にベイヤー配列で配置した例である。また、同図（ｂ）は、同じくそれぞれ円形をした補色フィルタを、縦横に正方に配置した例である。さらに、同図（ｃ）は、原色フィルタを各行或いは各列を半ピッチずつずらした千鳥状に配置した例である。この場合は、各受光セルの配列も千鳥状にすることが望ましい。
【００２０】
図７は、カラーフィルタの組み付け例を模式的に示す断面図である。同図において、１は微小レンズアレイであり、その下に配置された２は、微小レンズアレイ１の各微小レンズ１ａ間下方に、格子状に隔壁２ａを施す隔壁層である。また、最も下に配置された３は受光素子アレイ、そして４はカラーフィルタである。同図（ａ）は、微小レンズアレイ１上にカラーフィルタ４を形成した状態である。また、同図（ｂ）は、カラーフィルタ４が形成されたガラス板を隔壁層２に貼り付けた状態である。また、同図（ｃ）は、受光素子アレイ３の画素（受光セル）上にカラーフィルタ４を形成した状態である。これらのようにして、本発明の画像入力装置を構成することができる。
【００２１】
図８は、微小レンズ周辺を遮光する遮光板について模式的に説明する図であり、同図（ａ）は遮光板の平面図、同図（ｂ）は遮光板を組み付けた状態の断面図、同図（ｃ）は隔壁と微小レンズアレイの関係を示す平面図である。同図（ａ）に示すように、遮光板５の微小レンズに対応する部分のみ、円形のヌキ部５ａとして配列し、それ以外の微小レンズ周辺を遮光することで、微小レンズ以外の部分を光が透過するのを防ぐことができる。これにより、余計な光の入射を防止することができ、画面上のフレアを無くすことができる。
【００２２】
具体的には、同図（ｂ）に示すように、遮光板５は例えば微小レンズアレイ１上に配設され、その下に隔壁層２が配置される。なお、同図（ｃ）に示すように、遮光板を設けずに、微小レンズアレイ１に隔壁層２を対応させただけの場合は、各微小レンズ１ａと隔壁層２の各隔壁２ａとの隙間１ｂから、余計な光が入射することとなる。
【００２３】
また、図９は、微小レンズを一つおきに使用する状態を示す断面図である。ここでは同図に示すように、微小レンズアレイ１の微小レンズ１ａを一つおき（飛び飛び）に使用する。そして、使用しない微小レンズ１ａを上面より遮光板５にて遮光し、また下面には隔壁層２を配置する。さらに、隔壁層２の下側に受光素子アレイ３を配置する。
【００２４】
このような構成によれば、隔壁２ａの高さｈを低く、即ち隔壁層２の厚さを薄くすることができ、隔壁２ａ下端と受光素子アレイ３の距離を長くすることができるので、これら各部品の実装を簡単に行うことが可能となる。また、隔壁２ａの厚さｔを厚くすることができるので、隔壁層２の製作加工が簡単となる。一方、使用する微小レンズ１ａは４個の内１個の割合となるが、１ユニットにおける受光素子アレイ３上の、その微小レンズ１ａからの光Ｌを受光する受光領域Ａの面積が４倍程度、即ち画素数が４倍程度に増えるので、解像度は殆ど変化しない。
【００２５】
図１０は、遮光板の組み付け例を具体的に示す断面図である。なお、断面の斜線は省略している。同図（ａ）は遮光板５が微小レンズアレイ１の真上にある場合、同図（ｂ）は遮光板５が微小レンズアレイ１の真下にある場合、同図（ｃ）は遮光板５が隔壁層２の真上にある場合をそれぞれ示している。各微小レンズ１ａによる像は、例えば厚さ１ｍｍの隔壁層２の先にある、受光素子アレイ３上の撮像面に形成される。
【００２６】
隔壁層２は、例えば、厚さ０．０５ｍｍのステンレス板をエッチング処理して、一辺０．４８ｍｍの矩形孔を０．５ｍｍピッチで開けたものを、２０枚積層したものである。また、迷光対策として、隔壁層２の表面には黒化処理を施している。さらに、隔壁２ａはエッチングによりその表面に凹凸が形成されており、また積層構造と相俟って乱反射するので、これが迷光防止に有効となる。一方、遮光板５には円形開口孔が多数開いた板部材を用いる。これも例えばステンレス板をエッチングにより孔加工するので、孔の内面には凹凸が形成されており、これにより乱反射するので、これが迷光防止に有効となる。また、遮光板５の表面にも黒化処理を施している。
【００２７】
なお、各部品の組立時の位置決めは以下のように行う。まず、隔壁層２と受光素子アレイ３との位置合わせは、相対位置を計測しつつ物理的に行う。そして、微小レンズアレイ１と受光素子アレイ３との位置合わせは、各微小レンズ１ａからの光が集光する受光素子アレイ上の画素による、出力のピークを検出することで焦点合わせを行った後、集光した画素の位置に基づいて位置決めを行う。なお、遮光板は精密な位置合わせを、特に必要としない。
【００２８】
ところで、同図（ａ）及び（ｂ）の構成においては、微小レンズアレイ１の下側或いは上側に上記カラーフィルタ４を形成することにより、微小レンズアレイ１，遮光板５，及びカラーフィルタ４を一体化することが可能である。また、同図（ｃ）の構成においては、カラーフィルタ４が形成されたガラス板を隔壁層２の下面に貼り付けることにより、隔壁層２，遮光板５，及びカラーフィルタ４を一体化することが可能である。
【００２９】
図１１は、隔壁層の具体的な形状の一例を示す図である。同図（ａ）は平面図、同図（ｂ）は右側面図を示している。ここでは、平面視略正方形の台板の中央に小さい略正方形の板を重ねた形状の二段構造となっている。本例では矩形孔２ｂを中央付近に所定のピッチで縦横に正方に配列し、格子状の隔壁２ａを形成している。この隔壁層２の全体の厚さ即ち矩形孔２ｂの長さは１ｍｍとなっている。
【００３０】
図１２は、隔壁層の具体的な形状の他の例を示す図である。同図（ａ）は平面図、同図（ｂ）は右側面図を示している。ここでも、平面視略正方形の台板の中央に小さい略正方形の板を重ねた形状の二段構造となっている。本例では矩形孔２ｂを、各行を半ピッチずつずらした千鳥状に配列している。これにより、隔壁２ａを上述したカラーフィルタの千鳥状配置に対応させている。
【００３１】
図１３は、隔壁層の具体的な形状の別の例を示す平面図である。ここでは小さい略正方形の板部分のみ描いてある。本例では六角形孔２ｃを密接させて配列している。これにより、隔壁２ａをいわゆるハニカム構造とし、上述したカラーフィルタの千鳥状配置に対応させている。
【００３２】
図１４は、遮光板の具体的な形状の一例を示す平面図である。本例の遮光板５では、円形のヌキ部５ａを所定のピッチで縦横に正方に配列している。図１５は、遮光板の具体的な形状の他の例を示す平面図である。本例の遮光板５では、円形のヌキ部５ａを、各行を半ピッチずつずらした千鳥状に配列している。これにより、上述したカラーフィルタの千鳥状配置に対応させている。図１６は、遮光板の具体的な形状の別の例を示す平面図である。本例の遮光板５では、六角形のヌキ部５ｂを密接させて配列している。これにより、遮光板５をいわゆるハニカム構造とし、上述したカラーフィルタの千鳥状配置に対応させている。
【００３３】
なお、上述した具体的実施形態には、以下の構成を有する発明が含まれている。
（１）単一平面の光電変換素子と、複数の結像ユニットが配列された結像ユニットアレイとを有し、該結像ユニットアレイにより、前記光電変換素子上の異なる位置にそれぞれ前記結像ユニット毎に光束を結像する画像入力装置であって、前記結像ユニット毎に前記結像する光束の光路を規制する隔壁を備え、略同一範囲からの光束を該結像ユニット毎に異なる視点から見た状態で結像させる画像入力装置において、
前記各結像ユニットに対応させてカラーフィルタを配置したことを特徴とする画像入力装置。
（２）前記カラーフィルタを前記隔壁に設けたことを特徴とする前記（１）に記載の画像入力装置。
（３）前記カラーフィルタを前記結像ユニットアレイに設けたことを特徴とする前記（１）に記載の画像入力装置。
（４）前記カラーフィルタを前記光電変換素子に設けたことを特徴とする前記（１）に記載の画像入力装置。
（５）単一平面の光電変換素子と、複数の結像ユニットが配列された結像ユニットアレイとを有し、該結像ユニットアレイにより、前記光電変換素子上の異なる位置にそれぞれ前記結像ユニット毎に光束を結像する画像入力装置において、
前記光電変換素子上の連続する所定範囲に対応させて、同一特性のカラーフィルタを配置したことを特徴とする画像入力装置。
（６）前記所定範囲は前記各結像ユニットの結像範囲であることを特徴とする前記（５）に記載の画像入力装置。
（７）前記各結像ユニット周辺の光束を遮光する遮光マスクを設けたことを特徴とする前記（１）又は（５）に記載の画像入力装置。
（８）前記カラーフィルタを前記遮光マスクに設けたことを特徴とする前記（７）に記載の画像入力装置。
【００３４】
なお、特許請求の範囲で言う光電変換素子は、実施形態における受光素子アレイに対応している。また、結像ユニットアレイは微小レンズアレイに、遮光マスクは遮光板にそれぞれ対応している。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、簡単な構成で、より小型，高精細でしかもカラー化を図った画像入力装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像入力装置におけるユニットの配置例を示す図。
【図２】各ユニットにおける受光セルの配置例を示す図。
【図３】被写体上での各ユニット及びその受光セルの対応関係を示す図。
【図４】各ユニットに対応するカラーフィルタの一配置例を示す図。
【図５】各ユニットに対応するカラーフィルタの他の配置例を示す図。
【図６】カラーフィルタの配置状態を具体的に示した図。
【図７】カラーフィルタの組み付け例を模式的に示す断面図。
【図８】微小レンズ周辺を遮光する遮光板について模式的に説明する図。
【図９】微小レンズを一つおきに使用する状態を示す断面図。
【図１０】遮光板の組み付け例を具体的に示す断面図。
【図１１】隔壁層の具体的な形状の一例を示す図。
【図１２】隔壁層の具体的な形状の他の例を示す図。
【図１３】隔壁層の具体的な形状の別の例を示す平面図。
【図１４】遮光板の具体的な形状の一例を示す平面図。
【図１５】遮光板の具体的な形状の他の例を示す平面図。
【図１６】遮光板の具体的な形状の別の例を示す平面図。
【符号の説明】
１微小レンズアレイ
２隔壁層
３受光素子アレイ
４カラーフィルタ
５遮光板

Claims

単一平面の光電変換素子と、複数の結像ユニットが配列された結像ユニットアレイとを有し、該結像ユニットアレイにより、前記光電変換素子上の異なる位置にそれぞれ前記結像ユニット毎に光束を結像する画像入力装置であって、
前記結像ユニット毎に前記結像する光束の光路を規制する隔壁を備え、略同一範囲からの光束を該結像ユニット毎に異なる視点から見た状態で結像させる画像入力装置において、
前記結像ユニットは各行或いは各列を半ピッチずらした千鳥状に配列し、
前記各結像ユニットが前記光電変換素子上に光束を結像する範囲には複数の受光素子が含まれ、
前記各結像ユニットに対応させて、且つ前記光電変換素子上の連続する所定範囲に対応させて、同一特性のカラーフィルタを配置したことを特徴とする画像入力装置。
前記カラーフィルタを前記隔壁に設けたことを特徴とする請求項１に記載の画像入力装置。
前記所定範囲は前記各結像ユニットの結像範囲であることを特徴とする請求項１に記載の画像入力装置。
前記各結像ユニット周辺の光束を遮光する遮光マスクを設けたことを特徴とする請求項１に記載の画像入力装置。