JP4402161B1 - 撮像装置、画像再生装置、及び撮像方法 - Google Patents
撮像装置、画像再生装置、及び撮像方法 Download PDFInfo
- Publication number
- JP4402161B1 JP4402161B1 JP2009082395A JP2009082395A JP4402161B1 JP 4402161 B1 JP4402161 B1 JP 4402161B1 JP 2009082395 A JP2009082395 A JP 2009082395A JP 2009082395 A JP2009082395 A JP 2009082395A JP 4402161 B1 JP4402161 B1 JP 4402161B1
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- receiving element
- light
- imaging
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
- H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Abstract
【課題】撮像時に撮像対象に対して焦点を合わせる必要のない撮像装置を提供する。
【解決手段】撮像装置１は、ｎ個の受光素子、及び受光素子に一対一に対応し、該対応する受光素子にのみ光が入射するように設けられたｎ個のレンズを含み、受光素子に対応する信号を出力する撮像ユニットと、受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、撮像ユニットが出力する信号と、感度係数記憶部に記憶された情報に基づき決定される感度係数とを用いて、画像を再生する画像再生部とを含む。画像再生部は、各受光素子でそれぞれ複数の仮想光点からの光を受光するというモデルにおいて、各受光素子に対応する出力信号と感度係数とを用いて各仮想光点の光束を推定し、これに対応する輝度値を、撮像領域に対応する画像の各画素の輝度値として用いることで画像を再生する。
【選択図】図１
【解決手段】撮像装置１は、ｎ個の受光素子、及び受光素子に一対一に対応し、該対応する受光素子にのみ光が入射するように設けられたｎ個のレンズを含み、受光素子に対応する信号を出力する撮像ユニットと、受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、撮像ユニットが出力する信号と、感度係数記憶部に記憶された情報に基づき決定される感度係数とを用いて、画像を再生する画像再生部とを含む。画像再生部は、各受光素子でそれぞれ複数の仮想光点からの光を受光するというモデルにおいて、各受光素子に対応する出力信号と感度係数とを用いて各仮想光点の光束を推定し、これに対応する輝度値を、撮像領域に対応する画像の各画素の輝度値として用いることで画像を再生する。
【選択図】図１
Description
本開示は、固体撮像素子を用いた撮像技術に関する。
従来の個体撮像素子（受光素子）を用いた複眼撮像装置は、例えば下記特許文献１に記載されているように、複数のレンズと、レンズごとに複数枚配置された受光素子のセットとを、レンズの焦点距離だけ離間して配置し、各受光素子のセットによって撮像された複数の画像から、各画像の視差情報を利用して一の画像を再生する構成を採用している。
しかしながら、このような構成の従来の複眼撮像装置には次のような問題がある。
１）受光素子をレンズから焦点距離だけ離間させて配置する必要があるため、撮像装置が"厚く"なってしまう。高屈折率レンズを用いることにより焦点距離を短くすることも可能であるが、そうすると不可避的に色収差等の収差が増大し、撮像画像の画質劣化を招いてしまう。
２）通常の撮像装置では、撮像時に撮像対象までの距離に応じて焦点を合わせる操作をしなければならないため、焦点を変えて連写することが困難である。例えばレンズ系が１枚のレンズで構成されている場合、焦点距離に応じてレンズを換えなければならない。また、レンズ系が複数枚のレンズで構成されている場合、レンズ間の距離を変えて焦点を合わせる必要がある。かかる点は、複眼撮像装置においても同様に問題となる。
３）撮像装置製造時にレンズ系と受光素子とを位置合わせする工程が必要となる。該工程は製品のコストアップの要因となっている。
そこで、これら課題を解決することが望まれている。
１）受光素子をレンズから焦点距離だけ離間させて配置する必要があるため、撮像装置が"厚く"なってしまう。高屈折率レンズを用いることにより焦点距離を短くすることも可能であるが、そうすると不可避的に色収差等の収差が増大し、撮像画像の画質劣化を招いてしまう。
２）通常の撮像装置では、撮像時に撮像対象までの距離に応じて焦点を合わせる操作をしなければならないため、焦点を変えて連写することが困難である。例えばレンズ系が１枚のレンズで構成されている場合、焦点距離に応じてレンズを換えなければならない。また、レンズ系が複数枚のレンズで構成されている場合、レンズ間の距離を変えて焦点を合わせる必要がある。かかる点は、複眼撮像装置においても同様に問題となる。
３）撮像装置製造時にレンズ系と受光素子とを位置合わせする工程が必要となる。該工程は製品のコストアップの要因となっている。
そこで、これら課題を解決することが望まれている。
本開示の撮像装置は、ｎ個の受光素子、及び前記受光素子に一対一に対応し、該対応する受光素子にのみ光が入射するように設けられたｎ（但しｎ＞＝２）個のレンズを含み、前記受光素子に対応する信号を出力する撮像ユニットと、前記受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、前記撮像ユニットが出力する信号と、前記感度係数記憶部に記憶された情報に基づき決定される感度係数とを用いて、画像を再生する画像再生部とを含み、前記画像再生部は、前記撮像ユニットが出力した信号を取得する手段と、撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎを満たすように設定する手段と、前記感度係数記憶部に記憶された情報に基づき、各受光素子について、各仮想光点に対応する感度係数を決定する手段と、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求める手段と、
前記求めたｕiを用いて画像を形成し、出力する手段とを含む。
本開示の撮像値は、ｎ個の受光素子、及び前記受光素子に一対一に対応して設けられたｎ（但しｎ＞＝２）個のレンズを含み、前記受光素子に対応する信号を出力する撮像ユニットを有するものとすることができる。
この場合において、前記レンズは、対応する受光素子にのみ光が入射するように、該対応する受光素子に重ね合わせられているものとすることができる。
別の実施形態では、さらに、前記受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、前記撮像ユニットが出力する信号と、前記感度係数記憶部に記憶された情報に基づき決定される感度係数とを用いて、画像を再生する画像再生部とを含み、前記画像再生部は、前記撮像ユニットが出力した信号を取得する手段と、撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎを満たすように設定する手段と、前記感度係数記憶部に記憶された情報に基づき、各受光素子について、各仮想光点に対応する感度係数を決定する手段と、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求める手段と、
前記求めたｕiを用いて画像を形成し、出力する手段とを含むものとすることができる。
この場合、さらに、前記出力された画像を表示する表示部を含み、前記受光素子は、前記表示部の表示画面に配置されていてもよい。
また別の実施形態では、前記感度係数決定部に記憶される情報は、少なくとも前記レンズの特性を表す関数ｆ（θ、φ）に関する情報を含み、ここで、θは、前記受光素子の受光平面をＸＹ平面に一致させた３次元座標系において、前記受光素子の中心から前記仮想光点への方向とＸＺ平面との角度であり、φは、前記受光素子の中心から仮想光点への方向とＹＺ平面との角度であるものとすることができる。
さらに別の実施形態では、前記仮想光点ｉを設定する手段は、ユーザからの入力に基づき前記撮像領域又は前記仮想光点を設定するものとしてもよい。
さらにまた別の実施形態では、さらに、前記撮像ユニットが出力した信号を格納する撮像信号記憶部を含み、前記信号を取得する手段は、ユーザから撮影指示があった場合に、前記撮像ユニットから取得した信号を前記撮像信号記憶部に記憶し、前記ｕiを求める手段は、ユーザから画像再生指示があった場合に、前記撮像信号記憶部から、前記撮像ユニットが出力した受光素子ｊに対応する信号Ｓjを読み出すものとすることができる。
本開示の画像再生装置は、ｎ（但しｎ＞＝２）個の受光素子及び前記受光素子に一対一に対応して設けられたｎ個のレンズを含む撮像ユニットから出力される前記受光素子に対応する信号を取得する手段と、前記受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、撮像領域に複数の仮想光点ｉを、仮想光点数ｍ≦受光素子数ｎを満たすように設定する手段と、前記感度係数記憶部に記憶された情報に基づき、各受光素子について、各仮想光点に対応する感度係数を決定する手段と、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求める手段と、
前記求めたｕiを用いて画像を形成し、出力する手段とを含む。
本開示の画像再生方法は、ｎ個の受光素子及び前記受光素子に一対一に対応して設けられたｎ（但しｎ＞＝２）個のレンズを含む撮像ユニットから出力される信号を取得し、撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎを満たすように設定し、各受光素子について、各仮想光点に対応する感度係数を決定し、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求め、
前記求めたｕiを用いて画像を形成し、出力する。
なお、本開示において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の手段や装置の機能が１つの物理的手段や装置により実現されても良い。
本開示の撮像値は、ｎ個の受光素子、及び前記受光素子に一対一に対応して設けられたｎ（但しｎ＞＝２）個のレンズを含み、前記受光素子に対応する信号を出力する撮像ユニットを有するものとすることができる。
この場合において、前記レンズは、対応する受光素子にのみ光が入射するように、該対応する受光素子に重ね合わせられているものとすることができる。
別の実施形態では、さらに、前記受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、前記撮像ユニットが出力する信号と、前記感度係数記憶部に記憶された情報に基づき決定される感度係数とを用いて、画像を再生する画像再生部とを含み、前記画像再生部は、前記撮像ユニットが出力した信号を取得する手段と、撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎを満たすように設定する手段と、前記感度係数記憶部に記憶された情報に基づき、各受光素子について、各仮想光点に対応する感度係数を決定する手段と、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求める手段と、
この場合、さらに、前記出力された画像を表示する表示部を含み、前記受光素子は、前記表示部の表示画面に配置されていてもよい。
また別の実施形態では、前記感度係数決定部に記憶される情報は、少なくとも前記レンズの特性を表す関数ｆ（θ、φ）に関する情報を含み、ここで、θは、前記受光素子の受光平面をＸＹ平面に一致させた３次元座標系において、前記受光素子の中心から前記仮想光点への方向とＸＺ平面との角度であり、φは、前記受光素子の中心から仮想光点への方向とＹＺ平面との角度であるものとすることができる。
さらに別の実施形態では、前記仮想光点ｉを設定する手段は、ユーザからの入力に基づき前記撮像領域又は前記仮想光点を設定するものとしてもよい。
さらにまた別の実施形態では、さらに、前記撮像ユニットが出力した信号を格納する撮像信号記憶部を含み、前記信号を取得する手段は、ユーザから撮影指示があった場合に、前記撮像ユニットから取得した信号を前記撮像信号記憶部に記憶し、前記ｕiを求める手段は、ユーザから画像再生指示があった場合に、前記撮像信号記憶部から、前記撮像ユニットが出力した受光素子ｊに対応する信号Ｓjを読み出すものとすることができる。
本開示の画像再生装置は、ｎ（但しｎ＞＝２）個の受光素子及び前記受光素子に一対一に対応して設けられたｎ個のレンズを含む撮像ユニットから出力される前記受光素子に対応する信号を取得する手段と、前記受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、撮像領域に複数の仮想光点ｉを、仮想光点数ｍ≦受光素子数ｎを満たすように設定する手段と、前記感度係数記憶部に記憶された情報に基づき、各受光素子について、各仮想光点に対応する感度係数を決定する手段と、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求める手段と、
本開示の画像再生方法は、ｎ個の受光素子及び前記受光素子に一対一に対応して設けられたｎ（但しｎ＞＝２）個のレンズを含む撮像ユニットから出力される信号を取得し、撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎを満たすように設定し、各受光素子について、各仮想光点に対応する感度係数を決定し、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求め、
なお、本開示において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の手段や装置の機能が１つの物理的手段や装置により実現されても良い。
以下、撮像装置１及び撮像方法の一実施形態を、図面を参照して説明する。
図１は、撮像装置１のハードウェア構成を示す。
本実施形態の撮像装置１は、撮像ユニット５と、撮像ユニット５が出力する出力信号に基づき画像を再生するコントローラ８と、再生された画像等の情報を表示する液晶モニタ９と、撮像ユニット５からの出力信号や再生された画像等のデータを格納する可搬型記憶媒体（例えば、メモリカードなど）１１とを含んで構成される。なお、撮像装置１は、従来の撮像装置が有する機構と同様の機構、例えば撮像するためのシャッター機構などを有するが、これらについては図示を省略する。
撮像ユニット５は、ｎ（但しｎ＞＝２）個の受光素子４と、受光素子４に一対一に対応して設けられたｎ個のレンズ２と、各受光素子４に対応する信号を出力するための機構とを含む。
受光素子４としては、従来のイメージセンサーと同様に、フォトダイオードなどを用いることができる。各受光素子４は、撮像ユニット５内のベース基板１２上に、平面的なアレイ状に配置される。このベース基板上には、受光素子４で受光した光量に基づく信号を出力するための機構として、受光素子４で光電変換された信号を転送する機構（ＣＣＤ（Charge Coupled Device）素子や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子）や、光電変換された信号をＡ／Ｄ変換する回路やノイズ除去する回路なども併せて配置することができる。
レンズ２は、受光素子４に１対１に対応して設けられる。具体的には、図２に示すように、レンズ２は、該レンズ２を通過する光が対応受光素子４にのみ入射するように、受光素子４に重ね合わせて配置される。例えば受光素子４が円形である場合、レンズ２として該円形に一致する平面を有する平凸レンズ又は半球レンズを用いれば、レンズ２の平面を受光素子４の表面に密着させて、レンズ２を通過する光が対応受光素子４にのみ入射するように配置することができる。
なお、レンズ２と受光素子４とを１対１に対応させる方法としては、受光素子４上にレンズ２を直接形成する方法や、受光素子アレイとレンズアレイとを形成しておき、受光素子とレンズとが１対１に対応するように両者を重ね合わせる方法などが考えられる。或いは、レンズ２と受光素子４とを所定の距離だけ離間して配置したうえで、受光素子４に、対応するレンズ２以外のレンズを透過した光が入射しないように、レンズ２と受光素子４との隙間を所定の部材（例えば、公知の遮光ブロックなど）で囲うことにより、レンズ２と受光素子４とを１対１に対応させる方法も考えられる。
コントローラ８は、ＣＰＵ１３、メモリ（ＲＡＭ（Random Access Memory）１４、ＲＯＭ（Read Only Member）１５、書き換え可能な不揮発性メモリ１６など）などを含む一般的な情報処理装置又は専用装置として構成できる。
図３は、コントローラ８の機能構成を示す。
コントローラ８は、その機能手段として、撮像ユニット５の各受光素子４の感度係数を決定するための情報を記憶する感度係数記憶部２１と、撮像ユニット５が出力した信号を格納する撮像信号記憶部２２と、撮像ユニット５が出力する信号及び感度係数記憶部２１に記憶された情報に基づき決定される感度係数とを用いて画像を再生する画像再生部２３とを含む。
感度係数記憶部２１は、例えばＲＯＭ１５によって機能的に実現される。一方、撮像信号記憶部２２は、例えば可搬型記憶媒体１１や不揮発性メモリ１６によって機能的に実現される。
画像再生部２３は、ＣＰＵ１３がＲＯＭ１５などに格納されたプログラムをＲＡＭ１４上に読み出して実行することにより機能的に実現される。
画像再生部２３は、撮像領域に複数の仮想光点が存在すると仮定し、各受光素子でそれぞれ該複数の仮想光点からの光を受光するというモデルを採用して、各受光素子に対応する出力信号と感度係数とを用いて各仮想光点の光束を推定し、これに対応する輝度値を、撮像領域に対応する画像の各画素の輝度値として用いることで画像を再生する。なお、光束と輝度値の対応関係には、線形又は非線形のガンマ曲線を用いることができる。
具体的には、画像再生部２３は、撮像ユニット５からの出力信号を取得するデータ取得手段２０１と、撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎとなるように、設定する光点設定手段２０２と、感度係数記憶部２１に記憶された情報に基づき、各受光素子４について、各仮想光点に対応する感度係数を決定する感度係数決定手段２０３と、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、撮像ユニット５から出力される受光素子ｊの出力信号をＳjとした場合に、以下の式１により求まるＥevの値が所定の閾値εより小さくなるようにｕiを求める光束算出手段２０４と、
求めたｕiを用いて画像を形成し、出力する画像出力手段２０５とを含む。
最初に、撮像領域への仮想光点の設定方法について説明する。
撮像領域４０１は、図４（Ａ）に示すように、撮像ユニット５が受光可能な領域全体（以下、「受光領域」という。）４０２のうち、画像再生の対象となる領域を表す。受光領域４０２内における撮像領域４０１の位置及び大きさは、予め決められていてもよいし、撮影の度に又は画像再生の度にユーザが指定してもよい。
撮像領域４０１への仮想光点の設定は、図４（Ａ）に示すように、撮像領域４０１を格子状に区画して再生画像の各画素に対応するセルＣを設定し、そのセルＣに対してそれぞれ設定することで行う。なお、セルＣの数（仮想光点の数）ｍは、受光素子数ｎ以下である必要がある。
更に、本実施形態では、仮想光点の撮像ユニット５からの距離についても複数パターンを考慮する。具体的には、図４（Ｂ）に示すように、セルＣごとに、撮像ユニット５の中心との距離が異なる複数の仮想光点候補を設定し、後述の方法により、仮想光点候補のうち最も評価関数Ｅevを小さくするものを当該セルＣの仮想光点として選択する。
次に、感度係数αijについて説明する。
受光素子４の感度係数αijは、光源とレンズ２及び受光素子４との相対的な位置関係によって定まる値であり、本実施形態では、光源と受光素子４との距離に依存する関数βと、受光素子４に対応するレンズ２への光の入射角度に関する関数ｆとの乗算項として定義される。
関数βは、光源からの距離の２乗に反比例して光の強さが弱まるという距離減衰を表すファクターであり、受光素子ｊの位置を原点とする三次元座標系において、仮想光点ｉの座標を（ｘｉj，ｙｉj，ｚｉj）とすると、以下の式
２により表わすことができる。なお、以下の式８において、Ｃは光減衰定数である。
関数ｆは、対応する各レンズ２の特性を表すファクターであり、例えば上記３次元座標系において受光平面をＸＹ平面に一致させた場合、受光素子ｊの中心から仮想光点ｉへの方向とＸＺ平面との角度θ、受光素子ｊの中心から仮想
光点ｉへの方向とＹＺ平面との角度φの関数として表すことができる。なお、
θ、φは、それぞれ以下の式３及び式４により表わされる。
従って、本実施形態における感度係数αijは、関数β及び関数ｆを用いて以下の式５のように表すことができる。
そこで、本実施形態では、各受光素子４の感度係数αijを決定するための情報として、関数β中のＣ及び関数ｆの情報を感度係数記憶部２１に記憶するものとする。Ｃ及び関数ｆは、予めキャリブレーションを行うことにより決定することができる。なお、各レンズ２について例えば製造元から予め関数ｆの情報が提供されている場合はその情報を記憶し用いてもよい。また、関数ｆの情報は、各受光素子４に対応するレンズ２が共通の特性を持つと考えられる場合は、各受光素子４に共通としてよいし、各受光素子４に対応するレンズ２が異なる特性を持つと考えられる場合は、受光素子４及びレンズ２のセットごとに異なる情報を用いてもよい。
次に、評価関数Ｅev及び基本評価関数Ｅついて説明する。
本実施形態では、上述したように、１つの受光素子４は、複数の仮想光点ｉ（１≦ｉ≦ｍ）からの光を受光するというモデルを採用するため、仮想光点ｉの光束をｕi、仮想光点ｉに対する受光素子ｊの感度係数をαijとすると、受光素子ｊに対応する理想出力信号Ｏjは、以下の式６により求めることができる。
従って、受光素子ｊに対応する出力信号Ｓjと理想出力信号Ｏjとの差を部分推定誤差ｅjとすると、ｎ個の受光素子に関する部分推定誤差の二乗の和を基本評価関数Ｅとして、以下の式７のように表わすことができる。
ここで、受光素子ｊに対応する出力信号Ｓjは、撮像ユニット５からの出力信号であり、感度係数αijは感度係数記憶部２１に記憶される情報及び仮想光点と受光素子との相対的な位置に基づいて求めることができるため、未知なのはｕiのみである。そこで、受光素子ｊに関する部分推定誤差ｅjに着目して、ｅjを未知数ｕiに関して整理すると、以下の式８のように未知数ｕiを含まない項と含む項とに分離することができる。
なお、この式において、（Ｓj−Ｏj＋αij・ｕi）の項は、理想出力信号Ｏjに含まれる未知数ｕi成分が相殺されているので、未知数ｕiを含まない項となっている。
かかるｅjについての式変形を基本評価関数Ｅに適用することで、以下の式９のように基本評価関数Ｅを未知数ｕiに関する下に凸の二次関数として表すことができる。
ここで、基本評価関数Ｅにおいてｕiを変数とみた場合、ｍ個の変数ｕiは１次独立な関係にあるので、ｍ個の変数ｕiがそれぞれ最小値を取る場合に基本評価関数Ｅは最小となる。従って、変数ｕiごとに独立して基本評価関数Ｅの最小化操作を行うことが可能である。
そこで、式９を以下の式１０のように変形する。
ここで、Ａｉ、Ｂｉ、Ｃｉは、それぞれ以下の式１１乃至１３のように表
される。
このとき、基本評価関数Ｅを最小化する変数ｕiの値、すなわち二次関数の軸値は、Ｂｉ／Ａｉとなる。さらに、このｕｉ＝Ｂｉ／Ａｉの式を、以下のよ
うに変形することにより、変数ｕiの更新式１４を求めることができる。
上記の更新式１４を用いて各仮想光点の光束であるｕiを計算する処理フローについては後述する。
ここで、本実施形態では、基本評価関数Ｅをそのまま用いるのではなく、式１に示すように、仮想光点ｉと受光素子ｊとの距離を表す変数ｒijの二乗項ｒij 2を導入した評価関数Ｅevを用いて、各仮想光点の光束であるｕiを計算する。
以下、評価関数Ｅevを用いる理由について説明する。
撮像ユニット５の近くに設定される仮想光点は、受光素子で受光する際の距離減衰が小さく、従って感度係数αijは大きくなる。式９に示される二次関数においてｕi 2の係数にαij 2の項が含まれることから、撮像ユニット５の近くに設定される仮想光点ほど、ｕi 2の係数が大きくなり、基本評価関数Ｅに対する感度が高くなる。このことは、仮想光点の光束の変化量が同じであっても、撮像ユニット５の近くに設定される仮想光点ほど、基本評価関数Ｅの値を大きく変化させることができることを意味する。そのため、撮像ユニット５の中心との距離が異なる複数の仮想光点候補を設定し、仮想光点候補のうち最も基本評価関数Ｅを小さくするものを当該セルＣの仮想光点として選択するアルゴリズムを採用した場合、撮像ユニット５の近くに設定される仮想光点候補ほど基本評価関数を容易に低下させることができるため選択されやすくなるという問題が生じる。
そこで、本実施形態では、このような距離減衰の影響を除くため、仮想光点と撮像ユニットとの間の距離に関して正規化した評価関数Ｅevを用いている。具体的には、評価関数Ｅevは、前記距離の二乗項ｒij 2を導入し、ｕi 2の係数がαij 2とｒij 2の乗算項を含むように構成している。撮像ユニット５の近くに設定される仮想光点は、感度係数αijが大きくなる一方距離ｒijが小さくなり、撮像ユニット５から遠くに設定される仮想光点は、感度係数αijが小さくなる一方距離ｒijは大きくなる。そのため、上記のように構成した評価関数Ｅevでは、ｕi 2の係数が正規化され、その結果、評価関数Ｅevに対するｕiの感度を平準化することができる。
なお、評価関数Ｅevを用いて前述と同様の式変形を行うことにより、以下の変数ｕiの更新式１５を求めることができる。
図５及び図６は、撮像装置１の画像再生部２３による処理の内容を表すフローチャートである。以下、このフローチャートに沿って、処理の内容を説明する。なお、本明細書において、フローチャート等に示す各工程（符号が付与されていない部分的な工程を含む）は処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
画像再生部２３のデータ取得手段２０１は、撮像装置１のシャッターボタンが押されるなどしてユーザから撮影指示があったことを検出すると、撮像ユニット５から各受光素子４に対応する出力信号を取得し（ＳＴ３０１）、撮像信号記憶部２２に格納する（ＳＴ３０２）。
次に、画像再生部２３の光点設定手段２０２は、図４（Ａ）に示すように、受光領域４０２中に撮像領域４０１を設定し、該撮像領域４０１を格子状に区画してｍ個のセルＣi（ｉ＝１〜ｍ）を設定する（ＳＴ３０３）。
次に、各セルＣiに対応して設定する仮想光点ｉについて、光束ｕiの初期値と、撮像ユニット５の中心からの基準距離Ｒiの初期値とを設定する（ＳＴ３０４）。各初期値は、セルＣiに共通としても良く、また異なる値であっても良い。例えば、光束ｕiの初期値を０とし、基準距離Ｒiの初期値を５［ｍ］とすることが考えられる。
次に、光点設定手段２０２は、変数ｐを初期化する（初期値＝１）（ＳＴ３０５）。
次に、光点設定手段２０２は、変数ｐにより特定されるセルＣpを選択する（ＳＴ３０６）。
次に、光点設定手段２０２は、該選択したセルＣpに対し、基準距離Ｒpを例えば中央値とするＫ個の候補距離を決定し、図４（Ｂ）に示すように、撮像ユニット５の中心とセルＣpとを結ぶ直線上において撮像ユニット５の中心から該決定した候補距離だけ離間した位置にＫ個の仮想光点候補ｉk（ｋ＝１〜Ｋ）を設定し、その光束ｕpkを全てｕpに設定する。また、セルＣp以外のセルＣiに対し、撮像ユニット５の中心とセルＣiとを結ぶ直線上において撮像ユニット５の中心から基準距離Ｒiだけ離間した位置に、仮想光点ｉを設定する（ＳＴ３０７）。なお、候補距離の間隔やＫの値はコントローラ８の演算能力に応じて定めればよい。また、候補距離が負となる場合は、対応する仮想光点候補は設定しないものとする。
次に、感度係数決定手段２０３は、セルＣpに対応するＫ個の仮想光点候補ｉk（ｋ＝１〜Ｋ）について、各受光素子ｊに対応する感度係数αpjkを決定する。また、セルＣp以外のセルＣiに対応する仮想光点ｉについて、各受光素子ｊに対応する感度係数αijを決定する（ＳＴ３０８）。
感度係数αpjkは、上述したように、感度係数記憶部２１を参照し、受光素子ｊと仮想光点候補ｉkとの間の距離ｒpjk及び光減衰定数Ｃを用いて関数βの値を決定し、受光素子ｊと仮想光点候補ｉkと相対的な位置関係に依存して定まるθ、φを用いて関数ｆの値を決定し、両者を乗算することにより求めることができる。また、感度係数αijは、同様に、受光素子ｊと仮想光点ｉとの間の距離ｒij及び光減衰定数Ｃを用いて関数βの値を決定し、受光素子ｊと仮想光点ｉと相対的な位置関係に依存して定まるθ、φを用いて関数ｆの値を決定し、両者を乗算することにより求めることができる。
次に、光束算出手段２０４は、Ｋ個の仮想光点候補ｉk（ｋ＝１〜Ｋ）それぞれについて、仮想光点候補ｉkの光束ｕpk、仮想光点ｉの光束ｕi、感度係数αpjk、αij、距離ｒpjk、及び、撮像信号記憶部２２に記憶される各受光素子ｊの出力信号Ｓjを用いて、以下の式１６により、光束ｕpkの更新値を求める（ＳＴ３０９）。上述したように、評価関数Ｅevはｕpkの二次関数とみなすことができるため、式１４をｕpkについて適用して得られる下記式１６に従ってｕpkの値を軸値をとるように更新することで、評価関数Ｅevを減少させることができる。なお、下記式１６において、Ｏjは、ｉ＝ｐについては、αij＝αpjk、ｕi＝ｕpkとして計算する。
次に、光束算出手段２０４は、Ｋ個の仮想光点候補ｉk（ｋ＝１〜Ｋ）それぞれについて、仮想光点候補ｉkの光束ｕpk、仮想光点ｉの光束ｕi、感度係数αpjk、αij、距離ｒpjk、及び各受光素子ｊの出力信号Ｓjを用いて、以下の式１７により、評価関数Ｅevの値を計算する（ＳＴ３１０）。
次に、光束算出手段２０４は、Ｋ個の仮想光点候補ｉk（ｋ＝１〜Ｋ）のうち前記計算した評価関数Ｅevの値が最小となるものを、セルＣpに対応する仮想光点ｉとして決定し（ＳＴ３１１）、該決定した仮想光点候補ｉkの光束ｕpkをｕpとして記憶するとともに、該決定した仮想光点候補ｉkに対応する距離ｒpjkをセルＣpに対応する基準距離Ｒpとして記憶する（ＳＴ３１２）。
次に、ｐの値を＋１インクリメントし（ＳＴ３１３）、ｐの値がｍ（セルＣの個数）より大きいかどうかを判断する（ＳＴ３１４）。
ｐの値がｍ以下の場合、画像再生部２３は、ＳＴ３０６へ移行し、次のセルＣについて、ＳＴ３０６〜ＳＴ３１４の処理を実行する。
一方、ｐの値がｍより大きい場合、すなわちｍ個のセルＣについて仮想光点ｉの決定が完了した場合、光束算出手段２０４は、直前のＳＴ３１１において最小値を与えた評価関数Ｅevの値が、終了条件として予め与えられる閾値εより小さいかどうかを判断する（ＳＴ３１５）。
直前のＳＴ３１１において最小値を与えた評価関数Ｅevの値が閾値ε以上である場合、画像再生部２３は、ＳＴ３０５へ移行し、ＳＴ３０５〜ＳＴ３１５の処理を実行する。
一方、直前のＳＴ３１１において最小値を与えた評価関数Ｅevの値が閾値εより小さい場合、画像出力手段２０５は、各セルＣに対応する仮想光点ｉの光束ｕiを用いて画像を形成し、例えば液晶モニタ９に出力して（ＳＴ３１６）、処理を終了する。なお、形成した画像をメモリ（可搬型記憶媒体１１又は不揮発性メモリ１６など）に記録（出力）してもよい。
本実施形態の撮像装置１によれば、レンズ２を、対応する受光素子４から焦点距離だけ離間させる必要がないため、従来の撮像装置のようにレンズと受光素子とを焦点距離だけ離間させる場合と比較して、撮像装置１（撮像ユニット５）を薄く作ることができる。
また、各受光素子でそれぞれ複数の仮想光点からの光を受光するというモデルを採用して、各受光素子に対応する出力信号と感度係数とを用いて各仮想光点の光束を推定し、これに対応する輝度値を、撮像領域に対応する画像の各画素の輝度値として用いることで画像を再生するため、撮像時に、撮像対象に焦点を合わせる操作が不要となり、その結果、連続撮影を高速に行うことが可能となる。この場合、連続撮影した画像を連続再生・表示すれば、動画の再生も可能である。
特に、画像再生部２３は、ユーザからの撮影指示を検出した場合に、撮像ユニット５から取得したデータをメモリ（可搬型記憶媒体１１又は不揮発性メモリ１６など）に記憶しておき、ユーザから画像再生の指示を受けた場合に、画像を再生することで、画像再生処理の処理時間にかかわらず、連続撮影を高速に行う（撮像ユニットの出力データを取得する）ことが可能となる。
さらに、レンズ２と受光素子４とが一対一に対応し、且つ両者を近接させて（接触させて）撮像ユニット５を構成できるので、レンズ系とイメージセンサーとの位置合わせに関する負担を大きく軽減することができる。
また、本実施形態によれば、画像再生処理において各仮想光点までの距離情報（ＳＴ３１２において記憶する距離ｒpjk）も併せて取得できるため、３次元距離センサーとしても利用することができる。
以上、本開示の一実施形態を説明したが、本開示は、上記実施形態に限定されることなく種々に変形して適用することが可能である。
［変形例］
例えば、撮像ユニット５について、カラーフィルタにより色分解された光がレンズ２を介して受光素子４で受光されるように構成すれば、カラー画像を撮像し再生することができる。
また、レンズ２の特性を表すファクターである関数ｆ（θ，φ）は、以下のキャリブレーションを行うことにより決定することができる。
例えば、図７（Ａ）に示すように、受光素子６０１の位置を原点とし、受光素子６０１の受光平面をｘｙ平面と一致させた三次元座標系に、光源Ｌを配置する。具体的には、光源Ｌを、受光素子６０１からの距離がｒ1、図７（Ｂ）に示すように受光素子６０１から光源Ｌへの方向とｘｚ平面との角度がθ1、受光素子６０１から光源Ｌへの方向とｙｚ平面との角度がφ1となる位置に、配置する。そして、光源Ｌにおいて光束ｕの光を発光させ、その光をレンズを介して受光素子６０１で受光する。
この場合、β1＝Ｃ／ｒ1 2、θ1、φ1である場合の感度係数αは、光束ｕ及び受光素子６０１に対応して出力される信号Ｓを用いて、以下の式１８により求めることができる。
ここで、前述のとおり、感度係数αは、βとｆ（θ，φ）との乗算項として定義されるので、関数ｆ（θ1，φ1）は、上記求めたαをβ1で除算することにより求められる。
そこで、光源Ｌの位置、又は受光素子６０１及びレンズ６０２の位置を変更して、種々のθ1、φ1に対応するｆ（θ1，φ1）を求め、例えばｆ（θ，φ）＝ｇ1（θ）ｇ2（φ）（ｇ1、ｇ2はガウス関数）のようにガウス関数の積を当てはめて、関数ｆ（θ，φ）を決定する。この場合、感度係数記憶部２１には、ｇ1（θ）及びｇ2（φ）それぞれのパラメータである平均値、分散を記憶しておけば良い。
このようにして関数ｆ（θ，φ）を決定し、そのパラメータを記憶しておくことで、画像再生処理を実行する際に、撮像領域やセルＣの設定に応じて定まる任意のθ、φについて関数ｆ（θ，φ）の値を求めることができる。
なお、感度係数記憶手段２１に、関数ｆ（θ，φ）のパラメータを記憶する代わりに、図７（Ｃ）に示すように、θ及びφの値に対応づけてｆ（θ，φ）の値を格納するテーブルを記憶するように構成してもよい。また、撮像装置１は、ユーザの指示に従って光減衰定数Ｃや関数ｆ（θ，φ）を決定し、その情報を感度係数記憶部２１に記憶するキャリブレーション機能を有していてもよい。
また、上述したように、撮像領域のへの仮想光点の設定は、撮影の度に又は画像再生の度にユーザが指定することができるが、更に、セルＣの設定（仮想光点の設定）についても、撮影の度に又は画像再生の度にユーザが指定する構成としてもよい。このように構成した場合、仮想光点数ｍ≦受光素子数ｎという条件を満たす範囲で、ユーザが解像度を自由に設定して画像を再生することが可能となる。
特に、撮像領域の設定、セルＣの設定はともに画像再生処理において必要となる情報であるから、撮像時にはこれらを設定せずに撮像ユニットの出力データを取得し、画像再生時にこれらをユーザが設定して画像を再生することが可能である。このように構成した場合、ユーザは、画像再生時に、受光領域中の任意の領域を撮像領域（画像再生領域）として選択し、該撮像領域に対し仮想光点数ｍ≦受光素子数ｎという条件を満たす範囲で任意の解像度を設定して、画像を再生することが可能となる。
また、本開示の撮像装置は、内視鏡カメラや、テレビ電話装置（テレビ会議装置）に適用することができる。テレビ電話装置に適用する場合、図８（Ａ）に示すように、通話先の画像（通話相手の顔の画像）を表示する表示装置７０１と本開示の撮像ユニット５とを組み合わせて一体化することができる。具体的には、本開示の撮像ユニット５のレンズ２と受光素子４の複数の組７０３が表示装置７０１の表示画面（液晶パネルなど）上に所定の間隔で（例えば、通話時に想定される人物表示領域に一様に分散して）配置されるように、撮像ユニット兼表示装置を構成する。従来のテレビ電話装置では、図８（Ｃ）に示すように、撮像ユニット８０１と表示装置８０２とが別体となっているため（例えば、液晶ディスプレイの上部にカメラが取り付けられるなど）、表示画面上に表示される人物と視線を合わせて通話することが難しいという問題がある。一方、上記のように、表示装置７０１と本開示の撮像ユニット５とを組み合わせて一体化する構成によれば、表示画面上に撮像ユニット５が配置されるので、図８（Ｂ）に示すように、表示画面上に表示される人物と視線を合わせて通話することが可能となる。
なお、当業者にとっては、明細書、請求の範囲、または図面のどれであるかにかかわらず複数の選択的な用語を提示している択一的な単語や句は実質的にすべて、その用語のうちどれか一つ、用語のいずれか、または両方の用語を含む可能性が意図されていると理解されるべきことが理解される。例えば、「Ａ又はＢ」という句は、「Ａ」または「Ｂ」または「Ａ及びＢ」の可能性が含まれる。
図１は、撮像装置１のハードウェア構成を示す。
本実施形態の撮像装置１は、撮像ユニット５と、撮像ユニット５が出力する出力信号に基づき画像を再生するコントローラ８と、再生された画像等の情報を表示する液晶モニタ９と、撮像ユニット５からの出力信号や再生された画像等のデータを格納する可搬型記憶媒体（例えば、メモリカードなど）１１とを含んで構成される。なお、撮像装置１は、従来の撮像装置が有する機構と同様の機構、例えば撮像するためのシャッター機構などを有するが、これらについては図示を省略する。
撮像ユニット５は、ｎ（但しｎ＞＝２）個の受光素子４と、受光素子４に一対一に対応して設けられたｎ個のレンズ２と、各受光素子４に対応する信号を出力するための機構とを含む。
受光素子４としては、従来のイメージセンサーと同様に、フォトダイオードなどを用いることができる。各受光素子４は、撮像ユニット５内のベース基板１２上に、平面的なアレイ状に配置される。このベース基板上には、受光素子４で受光した光量に基づく信号を出力するための機構として、受光素子４で光電変換された信号を転送する機構（ＣＣＤ（Charge Coupled Device）素子や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子）や、光電変換された信号をＡ／Ｄ変換する回路やノイズ除去する回路なども併せて配置することができる。
レンズ２は、受光素子４に１対１に対応して設けられる。具体的には、図２に示すように、レンズ２は、該レンズ２を通過する光が対応受光素子４にのみ入射するように、受光素子４に重ね合わせて配置される。例えば受光素子４が円形である場合、レンズ２として該円形に一致する平面を有する平凸レンズ又は半球レンズを用いれば、レンズ２の平面を受光素子４の表面に密着させて、レンズ２を通過する光が対応受光素子４にのみ入射するように配置することができる。
なお、レンズ２と受光素子４とを１対１に対応させる方法としては、受光素子４上にレンズ２を直接形成する方法や、受光素子アレイとレンズアレイとを形成しておき、受光素子とレンズとが１対１に対応するように両者を重ね合わせる方法などが考えられる。或いは、レンズ２と受光素子４とを所定の距離だけ離間して配置したうえで、受光素子４に、対応するレンズ２以外のレンズを透過した光が入射しないように、レンズ２と受光素子４との隙間を所定の部材（例えば、公知の遮光ブロックなど）で囲うことにより、レンズ２と受光素子４とを１対１に対応させる方法も考えられる。
コントローラ８は、ＣＰＵ１３、メモリ（ＲＡＭ（Random Access Memory）１４、ＲＯＭ（Read Only Member）１５、書き換え可能な不揮発性メモリ１６など）などを含む一般的な情報処理装置又は専用装置として構成できる。
図３は、コントローラ８の機能構成を示す。
コントローラ８は、その機能手段として、撮像ユニット５の各受光素子４の感度係数を決定するための情報を記憶する感度係数記憶部２１と、撮像ユニット５が出力した信号を格納する撮像信号記憶部２２と、撮像ユニット５が出力する信号及び感度係数記憶部２１に記憶された情報に基づき決定される感度係数とを用いて画像を再生する画像再生部２３とを含む。
感度係数記憶部２１は、例えばＲＯＭ１５によって機能的に実現される。一方、撮像信号記憶部２２は、例えば可搬型記憶媒体１１や不揮発性メモリ１６によって機能的に実現される。
画像再生部２３は、ＣＰＵ１３がＲＯＭ１５などに格納されたプログラムをＲＡＭ１４上に読み出して実行することにより機能的に実現される。
画像再生部２３は、撮像領域に複数の仮想光点が存在すると仮定し、各受光素子でそれぞれ該複数の仮想光点からの光を受光するというモデルを採用して、各受光素子に対応する出力信号と感度係数とを用いて各仮想光点の光束を推定し、これに対応する輝度値を、撮像領域に対応する画像の各画素の輝度値として用いることで画像を再生する。なお、光束と輝度値の対応関係には、線形又は非線形のガンマ曲線を用いることができる。
具体的には、画像再生部２３は、撮像ユニット５からの出力信号を取得するデータ取得手段２０１と、撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎとなるように、設定する光点設定手段２０２と、感度係数記憶部２１に記憶された情報に基づき、各受光素子４について、各仮想光点に対応する感度係数を決定する感度係数決定手段２０３と、仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、撮像ユニット５から出力される受光素子ｊの出力信号をＳjとした場合に、以下の式１により求まるＥevの値が所定の閾値εより小さくなるようにｕiを求める光束算出手段２０４と、
最初に、撮像領域への仮想光点の設定方法について説明する。
撮像領域４０１は、図４（Ａ）に示すように、撮像ユニット５が受光可能な領域全体（以下、「受光領域」という。）４０２のうち、画像再生の対象となる領域を表す。受光領域４０２内における撮像領域４０１の位置及び大きさは、予め決められていてもよいし、撮影の度に又は画像再生の度にユーザが指定してもよい。
撮像領域４０１への仮想光点の設定は、図４（Ａ）に示すように、撮像領域４０１を格子状に区画して再生画像の各画素に対応するセルＣを設定し、そのセルＣに対してそれぞれ設定することで行う。なお、セルＣの数（仮想光点の数）ｍは、受光素子数ｎ以下である必要がある。
更に、本実施形態では、仮想光点の撮像ユニット５からの距離についても複数パターンを考慮する。具体的には、図４（Ｂ）に示すように、セルＣごとに、撮像ユニット５の中心との距離が異なる複数の仮想光点候補を設定し、後述の方法により、仮想光点候補のうち最も評価関数Ｅevを小さくするものを当該セルＣの仮想光点として選択する。
次に、感度係数αijについて説明する。
受光素子４の感度係数αijは、光源とレンズ２及び受光素子４との相対的な位置関係によって定まる値であり、本実施形態では、光源と受光素子４との距離に依存する関数βと、受光素子４に対応するレンズ２への光の入射角度に関する関数ｆとの乗算項として定義される。
関数βは、光源からの距離の２乗に反比例して光の強さが弱まるという距離減衰を表すファクターであり、受光素子ｊの位置を原点とする三次元座標系において、仮想光点ｉの座標を（ｘｉj，ｙｉj，ｚｉj）とすると、以下の式
２により表わすことができる。なお、以下の式８において、Ｃは光減衰定数である。
光点ｉへの方向とＹＺ平面との角度φの関数として表すことができる。なお、
θ、φは、それぞれ以下の式３及び式４により表わされる。
次に、評価関数Ｅev及び基本評価関数Ｅついて説明する。
本実施形態では、上述したように、１つの受光素子４は、複数の仮想光点ｉ（１≦ｉ≦ｍ）からの光を受光するというモデルを採用するため、仮想光点ｉの光束をｕi、仮想光点ｉに対する受光素子ｊの感度係数をαijとすると、受光素子ｊに対応する理想出力信号Ｏjは、以下の式６により求めることができる。
かかるｅjについての式変形を基本評価関数Ｅに適用することで、以下の式９のように基本評価関数Ｅを未知数ｕiに関する下に凸の二次関数として表すことができる。
そこで、式９を以下の式１０のように変形する。
される。
うに変形することにより、変数ｕiの更新式１４を求めることができる。
ここで、本実施形態では、基本評価関数Ｅをそのまま用いるのではなく、式１に示すように、仮想光点ｉと受光素子ｊとの距離を表す変数ｒijの二乗項ｒij 2を導入した評価関数Ｅevを用いて、各仮想光点の光束であるｕiを計算する。
以下、評価関数Ｅevを用いる理由について説明する。
撮像ユニット５の近くに設定される仮想光点は、受光素子で受光する際の距離減衰が小さく、従って感度係数αijは大きくなる。式９に示される二次関数においてｕi 2の係数にαij 2の項が含まれることから、撮像ユニット５の近くに設定される仮想光点ほど、ｕi 2の係数が大きくなり、基本評価関数Ｅに対する感度が高くなる。このことは、仮想光点の光束の変化量が同じであっても、撮像ユニット５の近くに設定される仮想光点ほど、基本評価関数Ｅの値を大きく変化させることができることを意味する。そのため、撮像ユニット５の中心との距離が異なる複数の仮想光点候補を設定し、仮想光点候補のうち最も基本評価関数Ｅを小さくするものを当該セルＣの仮想光点として選択するアルゴリズムを採用した場合、撮像ユニット５の近くに設定される仮想光点候補ほど基本評価関数を容易に低下させることができるため選択されやすくなるという問題が生じる。
そこで、本実施形態では、このような距離減衰の影響を除くため、仮想光点と撮像ユニットとの間の距離に関して正規化した評価関数Ｅevを用いている。具体的には、評価関数Ｅevは、前記距離の二乗項ｒij 2を導入し、ｕi 2の係数がαij 2とｒij 2の乗算項を含むように構成している。撮像ユニット５の近くに設定される仮想光点は、感度係数αijが大きくなる一方距離ｒijが小さくなり、撮像ユニット５から遠くに設定される仮想光点は、感度係数αijが小さくなる一方距離ｒijは大きくなる。そのため、上記のように構成した評価関数Ｅevでは、ｕi 2の係数が正規化され、その結果、評価関数Ｅevに対するｕiの感度を平準化することができる。
なお、評価関数Ｅevを用いて前述と同様の式変形を行うことにより、以下の変数ｕiの更新式１５を求めることができる。
画像再生部２３のデータ取得手段２０１は、撮像装置１のシャッターボタンが押されるなどしてユーザから撮影指示があったことを検出すると、撮像ユニット５から各受光素子４に対応する出力信号を取得し（ＳＴ３０１）、撮像信号記憶部２２に格納する（ＳＴ３０２）。
次に、画像再生部２３の光点設定手段２０２は、図４（Ａ）に示すように、受光領域４０２中に撮像領域４０１を設定し、該撮像領域４０１を格子状に区画してｍ個のセルＣi（ｉ＝１〜ｍ）を設定する（ＳＴ３０３）。
次に、各セルＣiに対応して設定する仮想光点ｉについて、光束ｕiの初期値と、撮像ユニット５の中心からの基準距離Ｒiの初期値とを設定する（ＳＴ３０４）。各初期値は、セルＣiに共通としても良く、また異なる値であっても良い。例えば、光束ｕiの初期値を０とし、基準距離Ｒiの初期値を５［ｍ］とすることが考えられる。
次に、光点設定手段２０２は、変数ｐを初期化する（初期値＝１）（ＳＴ３０５）。
次に、光点設定手段２０２は、変数ｐにより特定されるセルＣpを選択する（ＳＴ３０６）。
次に、光点設定手段２０２は、該選択したセルＣpに対し、基準距離Ｒpを例えば中央値とするＫ個の候補距離を決定し、図４（Ｂ）に示すように、撮像ユニット５の中心とセルＣpとを結ぶ直線上において撮像ユニット５の中心から該決定した候補距離だけ離間した位置にＫ個の仮想光点候補ｉk（ｋ＝１〜Ｋ）を設定し、その光束ｕpkを全てｕpに設定する。また、セルＣp以外のセルＣiに対し、撮像ユニット５の中心とセルＣiとを結ぶ直線上において撮像ユニット５の中心から基準距離Ｒiだけ離間した位置に、仮想光点ｉを設定する（ＳＴ３０７）。なお、候補距離の間隔やＫの値はコントローラ８の演算能力に応じて定めればよい。また、候補距離が負となる場合は、対応する仮想光点候補は設定しないものとする。
次に、感度係数決定手段２０３は、セルＣpに対応するＫ個の仮想光点候補ｉk（ｋ＝１〜Ｋ）について、各受光素子ｊに対応する感度係数αpjkを決定する。また、セルＣp以外のセルＣiに対応する仮想光点ｉについて、各受光素子ｊに対応する感度係数αijを決定する（ＳＴ３０８）。
感度係数αpjkは、上述したように、感度係数記憶部２１を参照し、受光素子ｊと仮想光点候補ｉkとの間の距離ｒpjk及び光減衰定数Ｃを用いて関数βの値を決定し、受光素子ｊと仮想光点候補ｉkと相対的な位置関係に依存して定まるθ、φを用いて関数ｆの値を決定し、両者を乗算することにより求めることができる。また、感度係数αijは、同様に、受光素子ｊと仮想光点ｉとの間の距離ｒij及び光減衰定数Ｃを用いて関数βの値を決定し、受光素子ｊと仮想光点ｉと相対的な位置関係に依存して定まるθ、φを用いて関数ｆの値を決定し、両者を乗算することにより求めることができる。
次に、光束算出手段２０４は、Ｋ個の仮想光点候補ｉk（ｋ＝１〜Ｋ）それぞれについて、仮想光点候補ｉkの光束ｕpk、仮想光点ｉの光束ｕi、感度係数αpjk、αij、距離ｒpjk、及び、撮像信号記憶部２２に記憶される各受光素子ｊの出力信号Ｓjを用いて、以下の式１６により、光束ｕpkの更新値を求める（ＳＴ３０９）。上述したように、評価関数Ｅevはｕpkの二次関数とみなすことができるため、式１４をｕpkについて適用して得られる下記式１６に従ってｕpkの値を軸値をとるように更新することで、評価関数Ｅevを減少させることができる。なお、下記式１６において、Ｏjは、ｉ＝ｐについては、αij＝αpjk、ｕi＝ｕpkとして計算する。
次に、ｐの値を＋１インクリメントし（ＳＴ３１３）、ｐの値がｍ（セルＣの個数）より大きいかどうかを判断する（ＳＴ３１４）。
ｐの値がｍ以下の場合、画像再生部２３は、ＳＴ３０６へ移行し、次のセルＣについて、ＳＴ３０６〜ＳＴ３１４の処理を実行する。
一方、ｐの値がｍより大きい場合、すなわちｍ個のセルＣについて仮想光点ｉの決定が完了した場合、光束算出手段２０４は、直前のＳＴ３１１において最小値を与えた評価関数Ｅevの値が、終了条件として予め与えられる閾値εより小さいかどうかを判断する（ＳＴ３１５）。
直前のＳＴ３１１において最小値を与えた評価関数Ｅevの値が閾値ε以上である場合、画像再生部２３は、ＳＴ３０５へ移行し、ＳＴ３０５〜ＳＴ３１５の処理を実行する。
一方、直前のＳＴ３１１において最小値を与えた評価関数Ｅevの値が閾値εより小さい場合、画像出力手段２０５は、各セルＣに対応する仮想光点ｉの光束ｕiを用いて画像を形成し、例えば液晶モニタ９に出力して（ＳＴ３１６）、処理を終了する。なお、形成した画像をメモリ（可搬型記憶媒体１１又は不揮発性メモリ１６など）に記録（出力）してもよい。
本実施形態の撮像装置１によれば、レンズ２を、対応する受光素子４から焦点距離だけ離間させる必要がないため、従来の撮像装置のようにレンズと受光素子とを焦点距離だけ離間させる場合と比較して、撮像装置１（撮像ユニット５）を薄く作ることができる。
また、各受光素子でそれぞれ複数の仮想光点からの光を受光するというモデルを採用して、各受光素子に対応する出力信号と感度係数とを用いて各仮想光点の光束を推定し、これに対応する輝度値を、撮像領域に対応する画像の各画素の輝度値として用いることで画像を再生するため、撮像時に、撮像対象に焦点を合わせる操作が不要となり、その結果、連続撮影を高速に行うことが可能となる。この場合、連続撮影した画像を連続再生・表示すれば、動画の再生も可能である。
特に、画像再生部２３は、ユーザからの撮影指示を検出した場合に、撮像ユニット５から取得したデータをメモリ（可搬型記憶媒体１１又は不揮発性メモリ１６など）に記憶しておき、ユーザから画像再生の指示を受けた場合に、画像を再生することで、画像再生処理の処理時間にかかわらず、連続撮影を高速に行う（撮像ユニットの出力データを取得する）ことが可能となる。
さらに、レンズ２と受光素子４とが一対一に対応し、且つ両者を近接させて（接触させて）撮像ユニット５を構成できるので、レンズ系とイメージセンサーとの位置合わせに関する負担を大きく軽減することができる。
また、本実施形態によれば、画像再生処理において各仮想光点までの距離情報（ＳＴ３１２において記憶する距離ｒpjk）も併せて取得できるため、３次元距離センサーとしても利用することができる。
以上、本開示の一実施形態を説明したが、本開示は、上記実施形態に限定されることなく種々に変形して適用することが可能である。
［変形例］
例えば、撮像ユニット５について、カラーフィルタにより色分解された光がレンズ２を介して受光素子４で受光されるように構成すれば、カラー画像を撮像し再生することができる。
また、レンズ２の特性を表すファクターである関数ｆ（θ，φ）は、以下のキャリブレーションを行うことにより決定することができる。
例えば、図７（Ａ）に示すように、受光素子６０１の位置を原点とし、受光素子６０１の受光平面をｘｙ平面と一致させた三次元座標系に、光源Ｌを配置する。具体的には、光源Ｌを、受光素子６０１からの距離がｒ1、図７（Ｂ）に示すように受光素子６０１から光源Ｌへの方向とｘｚ平面との角度がθ1、受光素子６０１から光源Ｌへの方向とｙｚ平面との角度がφ1となる位置に、配置する。そして、光源Ｌにおいて光束ｕの光を発光させ、その光をレンズを介して受光素子６０１で受光する。
この場合、β1＝Ｃ／ｒ1 2、θ1、φ1である場合の感度係数αは、光束ｕ及び受光素子６０１に対応して出力される信号Ｓを用いて、以下の式１８により求めることができる。
そこで、光源Ｌの位置、又は受光素子６０１及びレンズ６０２の位置を変更して、種々のθ1、φ1に対応するｆ（θ1，φ1）を求め、例えばｆ（θ，φ）＝ｇ1（θ）ｇ2（φ）（ｇ1、ｇ2はガウス関数）のようにガウス関数の積を当てはめて、関数ｆ（θ，φ）を決定する。この場合、感度係数記憶部２１には、ｇ1（θ）及びｇ2（φ）それぞれのパラメータである平均値、分散を記憶しておけば良い。
このようにして関数ｆ（θ，φ）を決定し、そのパラメータを記憶しておくことで、画像再生処理を実行する際に、撮像領域やセルＣの設定に応じて定まる任意のθ、φについて関数ｆ（θ，φ）の値を求めることができる。
なお、感度係数記憶手段２１に、関数ｆ（θ，φ）のパラメータを記憶する代わりに、図７（Ｃ）に示すように、θ及びφの値に対応づけてｆ（θ，φ）の値を格納するテーブルを記憶するように構成してもよい。また、撮像装置１は、ユーザの指示に従って光減衰定数Ｃや関数ｆ（θ，φ）を決定し、その情報を感度係数記憶部２１に記憶するキャリブレーション機能を有していてもよい。
また、上述したように、撮像領域のへの仮想光点の設定は、撮影の度に又は画像再生の度にユーザが指定することができるが、更に、セルＣの設定（仮想光点の設定）についても、撮影の度に又は画像再生の度にユーザが指定する構成としてもよい。このように構成した場合、仮想光点数ｍ≦受光素子数ｎという条件を満たす範囲で、ユーザが解像度を自由に設定して画像を再生することが可能となる。
特に、撮像領域の設定、セルＣの設定はともに画像再生処理において必要となる情報であるから、撮像時にはこれらを設定せずに撮像ユニットの出力データを取得し、画像再生時にこれらをユーザが設定して画像を再生することが可能である。このように構成した場合、ユーザは、画像再生時に、受光領域中の任意の領域を撮像領域（画像再生領域）として選択し、該撮像領域に対し仮想光点数ｍ≦受光素子数ｎという条件を満たす範囲で任意の解像度を設定して、画像を再生することが可能となる。
また、本開示の撮像装置は、内視鏡カメラや、テレビ電話装置（テレビ会議装置）に適用することができる。テレビ電話装置に適用する場合、図８（Ａ）に示すように、通話先の画像（通話相手の顔の画像）を表示する表示装置７０１と本開示の撮像ユニット５とを組み合わせて一体化することができる。具体的には、本開示の撮像ユニット５のレンズ２と受光素子４の複数の組７０３が表示装置７０１の表示画面（液晶パネルなど）上に所定の間隔で（例えば、通話時に想定される人物表示領域に一様に分散して）配置されるように、撮像ユニット兼表示装置を構成する。従来のテレビ電話装置では、図８（Ｃ）に示すように、撮像ユニット８０１と表示装置８０２とが別体となっているため（例えば、液晶ディスプレイの上部にカメラが取り付けられるなど）、表示画面上に表示される人物と視線を合わせて通話することが難しいという問題がある。一方、上記のように、表示装置７０１と本開示の撮像ユニット５とを組み合わせて一体化する構成によれば、表示画面上に撮像ユニット５が配置されるので、図８（Ｂ）に示すように、表示画面上に表示される人物と視線を合わせて通話することが可能となる。
なお、当業者にとっては、明細書、請求の範囲、または図面のどれであるかにかかわらず複数の選択的な用語を提示している択一的な単語や句は実質的にすべて、その用語のうちどれか一つ、用語のいずれか、または両方の用語を含む可能性が意図されていると理解されるべきことが理解される。例えば、「Ａ又はＢ」という句は、「Ａ」または「Ｂ」または「Ａ及びＢ」の可能性が含まれる。
１ 撮像装置
２ レンズ
４ 受光素子
５ 撮像ユニット
８ 画像再生部
９ 液晶モニタ
１１ 可搬型記憶媒体
１２ ベース基板
１３ ＣＰＵ
１４ ＲＡＭ
１５ ＲＯＭ
１６ 不揮発性メモリ
２１ 感度係数記憶部
２２ 撮像信号記憶部
２３ 画像再生部
２０１ データ取得手段
２０２ 光点設定手段
２０３ 感度係数決定手段
２０４ 光束算出手段
２０５ 画像出力手段
４０１ 撮像領域
４０２ 受光領域
６０１ 受光素子
６０２ レンズ
２ レンズ
４ 受光素子
５ 撮像ユニット
８ 画像再生部
９ 液晶モニタ
１１ 可搬型記憶媒体
１２ ベース基板
１３ ＣＰＵ
１４ ＲＡＭ
１５ ＲＯＭ
１６ 不揮発性メモリ
２１ 感度係数記憶部
２２ 撮像信号記憶部
２３ 画像再生部
２０１ データ取得手段
２０２ 光点設定手段
２０３ 感度係数決定手段
２０４ 光束算出手段
２０５ 画像出力手段
４０１ 撮像領域
４０２ 受光領域
６０１ 受光素子
６０２ レンズ
Claims (10)
- ｎ個の受光素子、及び前記受光素子に一対一に対応し、該対応する受光素子にのみ光が入射するように設けられたｎ（但しｎ＞＝２）個のレンズを含み、前記受光素子に対応する信号を出力する撮像ユニットと、
前記受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、
前記撮像ユニットが出力する信号と、前記感度係数記憶部に記憶された情報に基づき決定される感度係数とを用いて、画像を再生する画像再生部とを含み、
前記画像再生部は、
前記撮像ユニットが出力した信号を取得する手段と、
撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎを満たすように設定する手段と、
前記感度係数記憶部に記憶された情報に基づき、各受光素子について、各仮想光点に
対応する感度係数を決定する手段と、
仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求める手段と、
- ｎ個の受光素子、及び前記受光素子に一対一に対応して設けられたｎ（但しｎ＞＝２）個のレンズを含み、前記受光素子に対応する信号を出力する撮像ユニットと、
撮像領域に複数の仮想光点を設定し、各受光素子でそれぞれ該複数の仮想光点からの光を受光するというモデルに基づいて、前記撮像ユニットが出力した各受光素子に対応する信号と、各仮想光点に対応する各受光素子の感度係数とを用いて各仮想光点の光束を求め、該求めた光束を用いて画像を形成し、出力する画像再生部と
を有する撮像装置。 - 前記レンズは、対応する受光素子にのみ光が入射するように、該対応する受光素子に重ね合わせられている、請求項２に記載の撮像装置。
- ｎ個の受光素子、及び前記受光素子に一対一に対応して設けられたｎ（但しｎ＞＝２）個のレンズを含み、前記受光素子に対応する信号を出力する撮像ユニットと、
前記受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、
前記撮像ユニットが出力する信号と、前記感度係数記憶部に記憶された情報に基づき決定される感度係数とを用いて、画像を再生する画像再生部とを含み、
前記画像再生部は、
前記撮像ユニットが出力した信号を取得する手段と、
撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎを満たすように設定する手段と、
前記感度係数記憶部に記憶された情報に基づき、各受光素子について、各仮想光点に対応する感度係数を決定する手段と、
仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求める手段と、
- さらに、前記出力された画像を表示する表示部を含み、
前記受光素子は、前記表示部の表示画面に配置される、請求項４に記載の撮像装置。 - 前記感度係数決定部に記憶される情報は、少なくとも前記レンズの特性を表す関数ｆ（θ、φ）に関する情報を含み、
ここで、θは、前記受光素子の受光平面をＸＹ平面に一致させた３次元座標系において、前記受光素子の中心から前記仮想光点への方向とＸＺ平面との角度であり、φは、前記受光素子の中心から仮想光点への方向とＹＺ平面との角度である、請求項４に記載の撮像装置。 - 前記仮想光点ｉを設定する手段は、ユーザからの入力に基づき前記撮像領域又は前記仮想光点を設定する、請求項４に記載の撮像装置。
- さらに、前記撮像ユニットが出力した信号を格納する撮像信号記憶部を含み、
前記信号を取得する手段は、ユーザから撮影指示があった場合に、前記撮像ユニットから取得した信号を前記撮像信号記憶部に記憶し、
前記ｕiを求める手段は、ユーザから画像再生指示があった場合に、前記撮像信号記憶部から、前記撮像ユニットが出力した受光素子ｊに対応する信号Ｓjを読み出す、請求項４に記載の撮像装置。 - ｎ（但しｎ＞＝２）個の受光素子及び前記受光素子に一対一に対応して設けられたｎ個のレンズを含む撮像ユニットから出力される前記受光素子に対応する信号を取得する手段と、
前記受光素子の感度係数を決定するための情報を記憶する感度係数記憶部と、
撮像領域に複数の仮想光点ｉを、仮想光点数ｍ≦受光素子数ｎを満たすように設定する手段と、
前記感度係数記憶部に記憶された情報に基づき、各受光素子について、各仮想光点に対応する感度係数を決定する手段と、
仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求める手段と、
- ｎ個の受光素子及び前記受光素子に一対一に対応して設けられたｎ（但しｎ＞＝２）個のレンズを含む撮像ユニットから出力される信号を取得し、
撮像領域に複数の仮想光点を、仮想光点数ｍ≦受光素子数ｎを満たすように設定し、
各受光素子について、各仮想光点に対応する感度係数を決定し、
仮想光点ｉの光束をｕi、仮想光点ｉに対応する受光素子ｊの感度係数をαij、仮想光点ｉと受光素子ｊとの距離をｒij、前記撮像ユニットが出力する受光素子ｊに対応する信号をＳjとした場合に、以下の式により求まるＥevが閾値ε以下となるようにｕiを求め、
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009082395A JP4402161B1 (ja) | 2009-03-30 | 2009-03-30 | 撮像装置、画像再生装置、及び撮像方法 |
| US12/640,986 US7898591B2 (en) | 2009-03-30 | 2009-12-17 | Method and apparatus for imaging using sensitivity coefficients |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009082395A JP4402161B1 (ja) | 2009-03-30 | 2009-03-30 | 撮像装置、画像再生装置、及び撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4402161B1 true JP4402161B1 (ja) | 2010-01-20 |
| JP2010239220A JP2010239220A (ja) | 2010-10-21 |
Family
ID=41706572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009082395A Expired - Fee Related JP4402161B1 (ja) | 2009-03-30 | 2009-03-30 | 撮像装置、画像再生装置、及び撮像方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7898591B2 (ja) |
| JP (1) | JP4402161B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015016459A1 (en) * | 2013-07-31 | 2015-02-05 | Samsung Electronics Co., Ltd. | Light field image capturing apparatus including shifted microlens array |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6185838B2 (ja) | 2011-04-27 | 2017-08-23 | エンパイア テクノロジー ディベロップメント エルエルシー | 送信機の３ｄ座標の測定 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6750437B2 (en) * | 2000-08-28 | 2004-06-15 | Canon Kabushiki Kaisha | Image pickup apparatus that suitably adjusts a focus |
| JP4574022B2 (ja) * | 2001-01-17 | 2010-11-04 | キヤノン株式会社 | 撮像装置及びシェーディング補正方法 |
| JP2004031532A (ja) | 2002-06-25 | 2004-01-29 | Toppan Printing Co Ltd | 固体撮像素子の製造方法 |
| JP4379006B2 (ja) * | 2003-06-04 | 2009-12-09 | 株式会社ニコン | 撮像装置 |
| US7236304B2 (en) * | 2003-11-04 | 2007-06-26 | Matsushita Electric Industrial Co., Ltd. | Imaging Device |
| JP2005197379A (ja) * | 2004-01-06 | 2005-07-21 | Sony Corp | 固体撮像装置および信号処理回路 |
| JP4579043B2 (ja) | 2005-04-21 | 2010-11-10 | 富士フイルム株式会社 | 固体撮像素子及び撮像装置 |
| JP2007096825A (ja) | 2005-09-29 | 2007-04-12 | Funai Electric Co Ltd | 複眼撮像装置 |
| KR100793369B1 (ko) | 2006-07-06 | 2008-01-11 | 삼성전자주식회사 | 분해능이 향상되는 이미지 센서 및 이를 이용한 이미지감지 방법 |
-
2009
- 2009-03-30 JP JP2009082395A patent/JP4402161B1/ja not_active Expired - Fee Related
- 2009-12-17 US US12/640,986 patent/US7898591B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015016459A1 (en) * | 2013-07-31 | 2015-02-05 | Samsung Electronics Co., Ltd. | Light field image capturing apparatus including shifted microlens array |
| US10348945B2 (en) | 2013-07-31 | 2019-07-09 | Samsung Electronics Co., Ltd. | Light field image capturing apparatus including shifted microlens array |
Also Published As
| Publication number | Publication date |
|---|---|
| US7898591B2 (en) | 2011-03-01 |
| US20100245654A1 (en) | 2010-09-30 |
| JP2010239220A (ja) | 2010-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105049702B (zh) | 焦点调节装置及其控制方法和摄像设备 | |
| JP4413261B2 (ja) | 撮像装置及び光軸制御方法 | |
| JP4620772B2 (ja) | 三角測量オートフォーカスシステムを有するデジタルカメラ、及び関連する方法 | |
| CN105933603B (zh) | 焦点检测装置、摄像装置、摄像系统及焦点检测方法 | |
| JP5157400B2 (ja) | 撮像装置 | |
| CN103837959B (zh) | 焦点检测设备、焦点检测方法及摄像设备 | |
| JP2010239290A (ja) | 撮像装置 | |
| JP5448621B2 (ja) | 撮像装置、及び撮像装置の制御方法 | |
| JP6220148B2 (ja) | 撮像装置およびその制御方法 | |
| JPWO2006035778A1 (ja) | カメラモジュールおよびそれを備えた電子機器 | |
| JP2012113171A (ja) | 撮像装置およびその制御方法 | |
| CN102811312A (zh) | 摄像设备及其控制方法 | |
| CN105391934B (zh) | 焦点检测设备、其控制方法以及摄像装置 | |
| JP6478534B2 (ja) | フォーカス制御装置、撮像装置、交換レンズ、フォーカス制御方法およびフォーカス制御プログラム | |
| KR20200034276A (ko) | 카메라 모듈 및 이의 동작 방법 | |
| JP2012141240A (ja) | 測距装置、測距方法および撮像装置、撮像方法 | |
| JP4402161B1 (ja) | 撮像装置、画像再生装置、及び撮像方法 | |
| KR102597470B1 (ko) | 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치 | |
| CN108540693A (zh) | 图像捕获装置和图像捕获单元 | |
| JP2015087543A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 | |
| JP2020187065A (ja) | 電子機器及びその制御方法、プログラム | |
| JP4838652B2 (ja) | 撮像装置 | |
| JP2020193820A (ja) | 計測装置、撮像装置、制御方法及びプログラム | |
| JP2016048825A (ja) | 撮像装置 | |
| JP6576114B2 (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091028 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |