JP7259757B2 - 撮像装置、並びに、画像処理装置および方法 - Google Patents

撮像装置、並びに、画像処理装置および方法 Download PDF

Info

Publication number
JP7259757B2
JP7259757B2 JP2019548815A JP2019548815A JP7259757B2 JP 7259757 B2 JP7259757 B2 JP 7259757B2 JP 2019548815 A JP2019548815 A JP 2019548815A JP 2019548815 A JP2019548815 A JP 2019548815A JP 7259757 B2 JP7259757 B2 JP 7259757B2
Authority
JP
Japan
Prior art keywords
pixel
output
image
incident angle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019548815A
Other languages
English (en)
Other versions
JPWO2019078340A1 (ja
Inventor
啓 松井
佳孝 宮谷
耕司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019078340A1 publication Critical patent/JPWO2019078340A1/ja
Application granted granted Critical
Publication of JP7259757B2 publication Critical patent/JP7259757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Description

本技術は、撮像装置、並びに、画像処理装置および方法に関し、特に、検出画像の解像度を制御することができるようにした撮像装置、並びに、画像処理装置および方法に関する。
従来、撮像素子は、撮像素子に集光する撮像レンズと組み合わせて用いることが一般的である。撮像レンズによって、被写体面からの光を、被写体面の光強度分布を再現するように、撮像素子の各画素に導くことにより、撮像素子は、各画素においてその光強度分布に応じたレベルの検出信号を得ることができ、全体として被写体の撮像画像を得ることができる。
しかしながら、この場合、物理的なサイズが大きくなってしまう。そこで、撮像レンズを用いない撮像素子が考えられた(例えば特許文献1参照、特許文献2、および非特許文献1)。
国際公開第2016/123529号 特表2016-510910号公報
しかしながら、特許文献1に記載の方法では、撮像素子の全ての画素より得られる情報からなる検出画像しか得ることができず、所望の解像度の検出画像を得ることができなかった。
本開示は、このような状況に鑑みてなされたものであり、検出画像の解像度を制御することができるようにするものである。
本技術の一側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、全体として前記撮像素子の全画素出力単位と同等の入射角指向性をもつように、前記撮像素子の前記複数の画素出力単位から任意の位置の一部の前記画素出力単位を選択し、選択した前記画素出力単位の出力画素値読み出す読み出し制御部とを備え、前記入射角指向性は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す撮像装置である。
前記読み出し制御部は、水平方向および垂直方向の前記入射角指向性の重心の角度範囲が前記撮像素子の全画素出力単位と同等となるように、前記画素出力単位を選択することができる。
本技術の他の側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、前記撮像素子の前記複数の画素出力単位において所定の規則性を有する位置関係にあり、かつ、全体として前記撮像素子の全画素出力単位と同等の入射角指向性をもつ一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出す読み出し制御部とを備え、前記入射角指向性は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す撮像装置である。
前記一部の画素出力単位の水平方向および垂直方向の前記入射角指向性の重心の角度範囲は、前記撮像素子の全画素出力単位と同等であるようにすることができる。
本技術のさらに他の側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、前記撮像素子の前記複数の画素出力単位が形成される領域の1つの部分領域内に形成され、かつ、全体として前記撮像素子の全画素出力単位と同等の入射角指向性をもつ一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出す読み出し制御部とを備え、前記入射角指向性は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す撮像装置である。
前記一部の画素出力単位の水平方向および垂直方向の前記入射角指向性の重心の角度範囲は、前記撮像素子の全画素出力単位と同等であるようにすることができる。
本技術のさらに他の側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、前記撮像素子の全ての前記画素出力単位の出力画素値を読み出し、入射角指向性が互いに類似する画素出力単位の出力画素値同士を所定数毎に加算する読み出し制御部とを備え、前記入射角指向性は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す撮像装置である。
前記入射角指向性の重心の角度範囲は、前記出力画素値の加算前と加算後において同等であるようにすることができる。
本技術のさらに他の側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部とを備え、前記複数の画素出力単位は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する撮像装置である。
前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出すことができる。
前記読み出し制御部は、前記撮像素子の全ての画素出力単位の出力画素値を読み出し、読み出した出力画素値所定数毎に加算することができる。
本技術のさらに他の側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部とを備え、前記複数の画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する撮像装置である。
前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出すことができる。
前記読み出し制御部は、前記撮像素子の全ての画素出力単位の出力画素値を読み出し、読み出した出力画素値を所定数毎に加算することができる。
本技術のさらに他の側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部とを備え、前記複数の画素出力単位は、出力に寄与するPD(Photo Diode)を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る構成を有する撮像装置である。
前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出すことができる。
本技術の他の側面の画像処理装置は、解像度を設定する解像度設定部と、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、複数の画素出力単位の出力画素値から復元画像を復元する際に用いられる係数からなる復元行列を、前記解像度設定部により設定された解像度に応じて設定する復元行列設定部とを備える画像処理装置である。
前記解像度設定部は、一部の画素出力単位の出力画素値を選択することにより、前記解像度を設定することができる。
前記解像度設定部は、画素出力単位の出力画素値を所定数毎に加算することにより、前記解像度を設定することができる。
本技術の他の側面の画像処理方法は、解像度を設定し、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、複数の画素出力単位の出力画素値から復元画像を復元する際に用いられる係数からなる復元行列を、設定された解像度に応じて設定する画像処理方法である。
本技術の一側面の撮像装置においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像され、全体としてその撮像素子の全画素出力単位と同等の入射角指向性をもつように、その撮像素子の複数の画素出力単位から任意の位置の一部の画素出力単位が選択され、その選択された画素出力単位の出力画素値読み出される。
本技術の他の側面の撮像装置においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像され、その撮像素子の複数の画素出力単位において所定の規則性を有する位置関係にあり、かつ、全体としてその撮像素子の全画素出力単位と同等の入射角指向性をもつ一部の画素出力単位が選択され、その選択された画素出力単位の出力画素値が読み出される。
本技術のさらに他の側面の撮像装置においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像され、その撮像素子の複数の画素出力単位が形成される領域の1つの部分領域内に形成され、かつ、全体としてその撮像素子の全画素出力単位と同等の入射角指向性をもつ一部の画素出力単位が選択され、その選択された画素出力単位の出力画素値が読み出される。
本技術のさらに他の側面の撮像装置においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像され、その撮像素子の全ての画素出力単位の出力画素値が読み出され、入射角指向性が互いに類似する画素出力単位の出力画素値同士が所定数毎に加算される。
本技術のさらに他の側面の撮像装置においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像され、その撮像素子の各画素出力単位の出力画素値が選択的に読み出される。複数の画素出力単位には、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成が設けられている。
本技術のさらに他の側面の撮像装置においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像され、その撮像素子の各画素出力単位の出力画素値が選択的に読み出される。複数の画素出力単位には、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成が設けられている。
本技術のさらに他の側面の撮像装置においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像され、その撮像素子の各画素出力単位の出力画素値が選択的に読み出される。複数の画素出力単位には、出力に寄与するPD(Photo Diode)を互いに異ならせることで、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得る構成が設けられている。
本技術の他の側面の画像処理装置および方法においては、解像度が設定され、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、複数の画素出力単位の出力画素値から復元画像を復元する際に用いられる係数からなる復元行列が、設定された解像度に応じて設定される。
本技術によれば、被写体を撮像する、または、画像を処理することができる。また本技術によれば、検出画像の解像度を制御することができる。
撮像装置の主な構成例を示すブロック図である。 本開示の技術を適用した撮像装置における撮像の原理を説明する図である。 従来の撮像素子と本開示の撮像素子との構成の違いを説明する図である。 撮像素子の第1の構成例を説明する図である。 撮像素子の第1の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 入射角指向性の設計を説明する図である。 被写体距離と入射角指向性を表現する係数との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 変形例を応用して画角を変化させる例を説明する図である。 変形例を応用して画角を変化させるとき、複数の画角の画素を組み合わせる例を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 遮光膜によるマスクパターンの例を示す図である。 全画素から読み出す方式の概要を説明するための図である。 任意の一部の画素から読み出す方式の概要を説明するための図である。 規則的に一部の画素から読み出す方式の概要を説明するための図である。 部分領域の画素から読み出す方式の概要を説明するための図である。 画素加算を行う方式の概要を説明するための図である。 各方式を比較して説明するための図である。 指向性を同等とする方法について説明するための図である。 復元行列について説明するための図である。 全画素から読み出す方式の復元行列について説明するための図である。 全画素から読み出す方式の復元行列について説明するための図である。 任意の一部の画素から読み出す方式の復元行列について説明するための図である。 任意の一部の画素から読み出す方式の復元行列について説明するための図である。 規則的に一部の画素から読み出す方式の復元行列について説明するための図である。 規則的に一部の画素から読み出す方式の復元行列について説明するための図である。 部分領域の画素から読み出す方式の復元行列について説明するための図である。 部分領域の画素から読み出す方式の復元行列について説明するための図である。 画素加算を行う方式の復元行列について説明するための図である。 画素加算を行う方式の復元行列について説明するための図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 撮像処理の流れの例を説明するフローチャートである。 カラー画像の場合の読み出し方式の概要を説明するための図である。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 撮像素子の主な構成例を示す図である。 白黒パターンマスクを用いた場合を示す図である。 光干渉マスクを用いた場合を示す図である。 撮像素子の変形例を示す図である。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(撮像装置)
2.第2の実施の形態(画像処理装置)
3.第3の実施の形態(撮像素子・撮像装置・画像処理装置の他の構成例)
4.その他
<1.第1の実施の形態>
<撮像装置>
図1は、本技術を適用した撮像装置または画像処理装置の一実施の形態である撮像装置の主な構成例を示す図である。図1に示される撮像装置100は、被写体を撮像し、その撮像画像に関する電子データを得る装置である。
図1に示されるように、撮像装置100は、制御部101、入力部111、出力部112、記憶部113、通信部114、および記録再生部115を有する。また撮像装置100は、撮像素子121、読み出し制御部122、復元行列設定部123、復元部124、関連付け部125、およびセンサ部126を有する。各処理部等は、バス110を介して互いに接続され、互いに情報や命令等を授受することができる。
なお、撮像素子121および読み出し制御部122は、一体化して撮像部120としてもよい。撮像部120は、どのような物理的構成により実現されるようにしてもよい。例えば、撮像部120が、システムLSI(Large Scale Integration)等としてのプロセッサとして実現されるようにしてもよい。また、撮像部120が、例えば複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実現されるようにしてもよい。また、撮像部120を装置として実現するようにしてもよい。
制御部101は、撮像装置100内の各処理部等の制御に関する処理を行うように構成される。例えば、制御部101は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
入力部111は、情報の入力に関する処理を行うように構成される。例えば、入力部111は、操作ボタン、ダイヤル、スイッチ、タッチパネル、リモートコントローラ、センサ等の入力デバイスや外部入力端子を有する。例えば、入力部111は、それらの入力デバイスによってユーザ等の外部からの指示(入力された操作に対応する情報)を受け付ける。また、例えば、入力部111は、外部入力端子を介して、外部の装置から供給される任意の情報(プログラム、コマンド、データ等)を取得する。また、例えば、入力部111は、その受け付けた情報(取得した情報)を、バス110を介して他の処理部等に供給する。
なお、入力部111が有するセンサは、例えば加速度センサ等、ユーザ等の外部からの指示を受け付けることができるものであれば、どのようなものであってもよい。また、入力部111が有する入力デバイスは任意であり、その数も任意である。入力部111が複数種類の入力デバイスを有するようにしてもよい。例えば、入力部111が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、入力部111が、上述した例以外の入力デバイスを有するようにしてもよい。さらに、例えば、入力部111が、バス110を介して供給される自身(入力デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
出力部112は、情報の出力に関する処理を行うように構成される。例えば、出力部112は、モニタ等の画像表示デバイス、プロジェクタ等の画像投影デバイス、スピーカ等の音声出力デバイス、外部出力端子等を有する。例えば、出力部112は、それらの出力デバイス等を用いて、バス110を介して他の処理部等から供給される情報を出力する。例えば、出力部112は、撮像画像(後述する復元画像)をモニタに表示したり、撮像画像(後述する復元画像)をプロジェクタから投影したり、音声(例えば入力操作や処理結果等に対応する音声)を出力したり、任意の情報(プログラム、コマンド、データ等)を外部(他の機器)に出力したりする。
なお、出力部112が有する出力デバイス等は任意であり、その数も任意である。出力部112が複数種類の出力デバイス等を有するようにしてもよい。例えば、出力部112が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、出力部112が、上述した例以外の出力デバイス等を有するようにしてもよい。さらに、例えば、出力部112が、バス110を介して供給される自身(出力デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
記憶部113は、情報の記憶に関する処理を行うように構成される。例えば、記憶部113は、ハードディスクや半導体メモリ等のような、任意の記憶媒体を有する。例えば、記憶部113は、バス110を介して他の処理部等から供給される情報(プログラム、コマンド、データ等)をその記憶媒体に記憶する。また、記憶部113は、出荷時において任意の情報(プログラム、コマンド、データ等)を記憶しているようにしてもよい。また、記憶部113は、任意のタイミングにおいて、または、他の処理部等からの要求に応じて、その記憶媒体に記憶されている情報を読み出し、読み出した情報を、バス110を介して他の処理部等に供給する。
なお、記憶部113が有する記憶媒体は任意であり、その数も任意である。記憶部113が複数種類の記憶媒体を有するようにしてもよい。例えば、記憶部113が、上述した記憶媒体の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、記憶部113が、上述した例以外の記憶媒体等を有するようにしてもよい。また、例えば、記憶部113が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
通信部114は、他の装置との通信に関する処理を行うように構成される。例えば、通信部114は、所定の通信媒体(例えばインターネット等の任意のネットワーク)を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを有する。例えば、通信部114は、他の装置と通信を行い、バス110を介して他の処理部等より供給される情報(プログラム、コマンド、データ等)を、その通信相手である他の装置に供給する。また、例えば、通信部114は、他の装置と通信を行い、その通信相手である他の装置から供給される情報を取得し、その情報を、バス110を介して他の処理部等に供給する。
通信部114が有する通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。通信方法や通信規格は任意である。例えば、通信部114が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。また、例えば、通信部114が、バス110を介して供給される自身(通信デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
記録再生部115は、自身に装着された記録媒体116を利用した情報の記録や再生に関する処理を行うように構成される。例えば、記録再生部115は、自身に装着された記録媒体116に記録されている情報(プログラム、コマンド、データ等)を読み出し、その情報を、バス110を介して他の処理部等に供給する。また、例えば、記録再生部115は、バス110を介して他の処理部等から供給される情報を取得し、その情報を、自身に装着された記録媒体116に書き込む(記録する)。なお、例えば、記録再生部115が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
なお、記録媒体116は、どのようなものであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。
撮像素子121は、被写体の撮像に関する処理を行うように構成される。例えば、撮像素子121は、被写体を撮像し、その撮像画像に関するデータ(電子データ)を得る。その際、撮像素子121は、撮像レンズ、回折格子等の光学フィルタ等やピンホール等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができる。例えば、撮像素子121は、被写体を撮像し、所定の演算によりその撮像画像のデータを得ることができるデータ(検出信号等)を得る。
なお、撮像画像は、被写体の像が結像された画素値により構成される、ユーザが目視して画像として認識できる画像である。これに対して撮像素子121の画素単位出力における入射光の検出結果である検出信号により構成される画像(検出画像と称する)は、被写体の像が結像されていないことにより、ユーザが目視しても画像として認識することができない(つまり、被写体を視認不可能な)画像である。つまり、検出画像は撮像画像とは異なる画像である。ただし、上述のように、この検出画像のデータに対して所定の演算を行うことにより、撮像画像、すなわち、被写体の像が結像された、ユーザが目視して画像として認識できる(つまり、被写体を視認可能な)画像を復元することができる。この復元された撮像画像を復元画像と称する。つまり、検出画像は復元画像とは異なる画像である。
なお、この復元画像を構成する画像であって、同時化処理や色分離処理等(例えば、デモザイク処理等)の前の画像をRaw画像と称する。このRaw画像も、撮像画像と同様に、ユーザが目視して画像として認識することができる(つまり、被写体を視認可能な)画像である。換言するに、検出画像は、色フィルタの配列に従った画像ではあるが、Raw画像とは異なる画像である。
ただし、撮像素子121が、例えば赤外光や紫外光等のような不可視光のみに感度を有する場合、復元画像(Raw画像や撮像画像)も、ユーザが目視して画像として認識することはできない(被写体を視認することができない)画像となる。ただし、これは検出した光の波長域によるものであるので、復元画像は、波長域を可視光域に変換することにより被写体を視認可能な画像とすることができる。これに対して検出画像は、被写体の像が結像されていないので、波長域を変換するだけでは被写体を視認可能な画像とすることはできない。したがって、撮像素子121が不可視光のみに感度を有する場合であっても、上述したように検出画像に対して所定の演算を行うことにより得られる画像を復元画像と称する。なお、以下において、特に言及しない限り、基本的に撮像素子121が可視光を受光する場合を例に用いて本技術を説明する。
つまり、撮像素子121は、被写体を撮像し、検出画像に関するデータを得ることができる。撮像素子121は、例えば、その検出画像に関するデータを読み出し制御部122を介して復元部124に供給し、復元画像を生成させることができる。また、撮像素子121は、例えば、その検出画像に関するデータを、読み出し制御部122を介して、関連付け部125等に供給し、メタデータ等を関連付けさせることができる。もちろん、撮像素子121は、この検出画像に関するデータを、任意の処理部等に供給することができる。また、例えば、撮像素子121が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
読み出し制御部122は、撮像素子121からのデータの読み出し制御に関する処理を行い、検出画像の解像度を制御するように構成される。例えば、読み出し制御部122は、撮像素子121からの検出画像の読み出しを制御し、撮像素子121の各画素出力単位からの出力である検出信号を選択的に読み出す。
例えば、読み出し制御部122は、撮像素子121の全ての画素出力単位から検出信号を読み出し、読み出した全ての画素出力単位の検出信号を、検出画像に含める検出信号として選択することができる。
例えば、読み出し制御部122は、撮像素子121の複数の画素出力単位のうち、一部の画素単位出力を選択し、選択した画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部122は、撮像素子121の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうちの一部を検出画像に含める検出信号として選択することができる。
例えば、読み出し制御部122は、撮像素子121の複数の画素出力単位のうち、任意の位置の一部の画素出力単位を選択することができる。つまり、例えば、読み出し制御部122は、撮像素子121の複数の画素出力単位のうち、任意の位置の一部の画素単位出力を選択し、選択した画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部122は、撮像素子121の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうち、任意の位置の一部の画素出力単位から読み出された検出信号を、検出画像に含める検出信号として選択することができる。
例えば、読み出し制御部122は、撮像素子121の複数の画素出力単位のうち、所定の規則性を有する位置関係にある一部の画素出力単位を選択することができる。つまり、例えば、読み出し制御部122は、撮像素子121の複数の画素出力単位のうち、所定の規則性を有する位置関係にある一部の画素単位出力を選択し、選択した画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部122は、撮像素子121の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうち、所定の規則性を有する位置関係にある一部の画素出力単位から読み出された検出信号を、検出画像に含める検出信号として選択することができる。
例えば、読み出し制御部122は、撮像素子121の複数の画素出力単位が形成される領域の、1つの部分領域内に形成される画素出力単位を選択することができる。つまり、例えば、読み出し制御部122は、上述の部分領域内に形成される画素単位出力を選択し、選択した画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部122は、撮像素子121の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうち、上述の部分領域内に形成される画素出力単位から読み出された検出信号を、検出画像に含める検出信号として選択することができる。
例えば、読み出し制御部122は、撮像素子121の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号を所定数毎に加算し、加算後の検出信号群を検出画像とすることができる。
検出画像に採用する検出信号を選択するということは、言い換えると、不採用の検出信号を選択するということでもある。つまり、読み出し制御部122は、検出信号を取捨選択する(全ての検出信号を選択する場合も含む)ことにより、検出画像の解像度を制御(設定)する。例えば、読み出し制御部122は、撮像素子121から全ての画素の検出信号を読み出したり、撮像素子121から検出信号を間引いて読み出したり、撮像素子121から読み出した検出信号を間引いたり、撮像素子121から読み出した検出信号を所定数毎に加算したりして、検出画像の解像度を制御(設定)する。
読み出し制御部122は、読み出した(解像度を設定した)検出画像(間引きや加算等を行う場合は処理後の検出画像)を、バス110を介して他の処理部等(例えば、復元行列設定部123、復元部124、関連付け部125等)に供給する。
復元行列設定部123は、復元行列の設定に関する処理を行うように構成される。検出画像は所定の演算を行うことにより復元画像に変換することができる。この所定の演算は、詳細については後述するが、検出画像に含まれる各検出信号に所定の係数を乗算して互いに加算することである。つまり、所定の行列演算を行うことにより、検出画像を復元画像に変換することができる。本明細書において、この行列演算に用いられる、上述の係数からなる行列を復元行列と称する。
復元行列設定部123は、例えば、読み出し制御部122により解像度が設定された検出画像に対応する復元行列(読み出し制御部122により選択的に読み出された検出信号から復元画像を復元する際に用いられる復元行列)を設定する。つまり、この復元行列は処理対象の検出画像の解像度に対応している。復元行列設定部123は、例えば、設定した復元行列を、バス110を介して他の処理部等(例えば、復元部124や関連付け部125等)に供給する。
なお、検出画像を復元画像に変換する所定の行列演算において、検出画像を任意の解像度の復元画像に変換するようにしてもよい。その場合、復元行列設定部123が、検出画像の解像度と目標とする復元画像の解像度とに応じた行数および列数の復元行列を設定するようにすればよい。
なお、例えば復元行列設定部123が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
復元部124は、復元画像の生成に関する処理を行うように構成される。例えば、復元部124は、所定の演算を行うことにより、撮像素子121から供給される検出画像に関するデータ(検出信号等)から復元画像を生成する。また、復元部124は、生成した復元画像に関するデータ(画素値等)を、バス110を介して他の処理部等に供給する。
なお、撮像素子121において、カラーフィルタを用いる等して複数の色成分が混在する検出画像が得られ、復元部124が、その検出画像に対して所定の演算を行うことにより、複数の色成分が混在するRaw画像が得られるようにしてもよい。そして、復元部124が、その複数の色成分が混在するRaw画像を復元画像として他の処理部等に供給するようにしてもよいし、そのRaw画像に対して同時化処理や色分離処理等(例えば、デモザイク処理等)を行い、その処理が施された画像を復元画像として他の処理部等に供給するようにしてもよい。もちろん、撮像素子121において、モノクロの検出画像や、色毎の検出画像が得られ、同時化処理や色分離処理等(例えば、デモザイク処理等)が不要であるようにしてもよい。
また、復元部124が、復元画像に対して、例えばガンマ補正(γ補正)やホワイトバランス調整等の任意の画像処理を施し、画像処理後の復元画像に関するデータを他の処理部等に供給するようにしてもよい。さらに、復元部124が、復元画像のデータのフォーマットを変換したり、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の所定の圧縮方式で圧縮したりし、その変換(圧縮)後のデータを他の処理部等に供給するようにしてもよい。
なお、例えば復元部124が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
関連付け部125は、データの関連付けに関する処理を行うように構成される。例えば、関連付け部125は、撮像素子121等から供給される検出画像に関するデータ(検出信号等)に、復元画像生成のための所定の演算に用いられるデータ(例えば係数等)を関連付ける。
ここで、「関連付ける」という用語は、例えば、一方の情報(データ、コマンド、プログラム等)を処理する際に他方の情報を利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられた情報は、1つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Aに関連付けられた情報Bは、その情報Aとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Aに関連付けられた情報Bは、その情報Aとは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
また、例えば、関連付け部125は、関連付けたデータを、バス110を介して他の処理部等に供給する。なお、例えば関連付け部125が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
センサ部126は、検出に関する処理を行うように構成される。例えば、センサ部126は、任意のセンサを有し、所定のパラメータについての検出を行う。例えば、センサ部126は、撮像装置100の周辺の状態に関するパラメータや、撮像装置100の状態に関するパラメータ等についての検出を行う。例えば、センサ部126は、撮像素子121の状態に関するパラメータについての検出を行う。また、例えば、センサ部126は、検出した情報を、バス110を介して他の処理部等に供給する。なお、例えばセンサ部126が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
<撮像素子について>
次に、撮像素子121について図2乃至図20を参照して説明する。
<画素と画素出力単位>
本明細書においては、「画素」(または「画素出力単位」)という用語を用いて、本技術を説明する。本明細書において「画素」(または「画素出力単位」)とは、撮像素子121の入射光を受光するための物理構成が形成される領域(画素領域とも称する)の、他の画素とは独立して受光することができる物理構成を少なくとも1つ含む分割単位を指すものとする。受光することができる物理構成とは、例えば光電変換素子であり、例えばフォトダイオード(PD(Photo Diode))である。1画素に形成されるこの物理構成(例えばフォトダイオード)の数は任意であり、単数であってもよいし、複数であってもよい。その種類、大きさ、形状等も任意である。
また、この「画素」単位の物理構成には、上述の「受光することができる物理構成」だけでなく、例えば、オンチップレンズ、遮光膜、カラーフィルタ、平坦化膜、反射防止膜等、入射光の受光に関する全ての物理構成を含む。さらに、読み出し回路等の構成も含まれる場合もある。つまり、この画素単位の物理構成はどのような構成であってもよい。
また、「画素」(つまり画素単位の物理構成)から読み出された検出信号を「画素単位(または画素出力単位)の検出信号」等と称する場合もある。さらに、この画素単位(または画素出力単位)の検出信号は、「画素単位検出信号(または画素出力単位検出信号)」とも称する。また、この画素単位検出信号は「画素出力」とも称する。さらに、その値を「出力画素値」とも称する。
撮像素子121の画素単位の検出信号の値(出力画素値)は、他と独立して被写体からの入射光の入射角に対する指向性を示す入射角指向性を有することができる。つまり、撮像素子121の各画素単位(画素出力単位)は、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有する。例えば、撮像素子121において、少なくとも2つの画素単位の出力画素値は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なるようにすることができる。
なお、上述したように「画素(または画素出力単位)」が有する「受光することができる物理構成」の数は任意であるので、画素単位検出信号は、単数の「受光することができる物理構成」により得られた検出信号であってもよいし、複数の「受光することができる物理構成」により得られた検出信号であってもよい。
また、この画素単位検出信号(出力画素値)は、任意の段階で複数をまとめて1つにすることもできる。例えば、複数の画素の出力画素値を、アナログ信号の状態において加算するようにしてもよいし、デジタル信号に変換してから加算するようにしてもよい。
また、この検出信号は、撮像素子121から読み出された後、すなわち、検出画像において、複数の検出信号をまとめて単数化したり、単数の検出信号を複数化したりすることもできる。つまり、検出画像の解像度(データ数)は可変である。
ところで、以下においては説明の便宜上、特に言及しない限り、撮像素子121が複数の画素が行列状に配置される(画素アレイが形成される)画素領域を有するものとして説明する。なお、撮像素子121の画素(または画素出力単位)の配列パターンは任意であり、この例に限定されない。例えば、画素(または画素出力単位)がハニカム構造状に配置されるようにしてもよい。また、例えば、画素(または画素出力単位)が1行(または1列)状に配置されるようにしてもよい。つまり、撮像素子121がラインセンサであってもよい。
なお、撮像素子121(の画素)が感度を有する波長域は任意である。例えば、撮像素子121(の画素)が、可視光に対して感度を有するようにしてもよいし、赤外光や紫外光のような不可視光に対して感度を有するようにしてもよいし、可視光と不可視光の両方に対して感度を有するようにしてもよい。例えば、撮像素子が不可視光である遠赤外光を検出する場合、その撮像素子において得られる撮像画像を用いてサーモグラフ(熱分布を表す画像)を生成することができる。ただし、撮像レンズを伴う撮像素子の場合、ガラスは遠赤外光を透過することが困難であるため、高価な特殊素材の撮像レンズが必要になり、製造コストが増大するおそれがある。撮像素子121は、撮像レンズ等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができるので、その画素が遠赤外光を検出可能とすることにより、製造コストの増大を抑制することができる。つまり、より安価に遠赤外光の撮像を行うことができる(より安価にサーモグラフを得ることができる)。なお、撮像素子121(の画素)が不可視光に対して感度を有する場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。換言するに、復元画像は、可視光の画像であってもよいし、不可視光(例えば、(遠)赤外光や紫外光等)の画像であってもよい。
<入射角指向性>
撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を有する。例えば、撮像素子121は、その複数の画素出力単位のうち、少なくとも2つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。つまりその場合、撮像素子121は、複数画素出力単位分の検出信号(複数の画素出力単位検出信号)を得ることができ、その内の少なくとも2つの画素出力単位検出信号の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる。
ここで「入射角指向性」とは、入射光の入射角度に応じた受光感度特性、すなわち、入射光の入射角度に対する検出感度を指す。例えば、同じ光強度の入射光であってもその入射角度によって検出感度が変化する場合がある。このような検出感度の偏り(偏りがない場合も含む)を「入射角指向性」と称する。
例えば、互いに同一の光強度の入射光が、互いに同一の入射角でその2つの画素出力単位の物理構成に入射すると、各画素出力単位の検出信号の信号レベル(検出信号レベル)は、互いに異なる値となり得る。撮像素子121(の各画素出力単位)は、このような特徴を持つ物理構成を有する。
この入射角指向性は、どのような方法により実現されるようにしてもよい。例えば、一般の、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子からなるものと同様の基本的な構造を有する撮像素子の光電変換素子(フォトダイオード等)の手前(光入射側)に遮光膜を設ける等して入射角指向性を実現するようにしてもよい。
一般的な入射角指向性が互いに同一の画素よりなる撮像素子のみで撮像を行うと、撮像素子の全画素に略同一の光強度の光が入射することになり、結像された被写体の画像を得ることができない。そこで、一般的には、撮像素子の前(光入射側)に撮像レンズやピンホールを設ける。例えば撮像レンズを設けることにより、被写体面からの光を撮像素子の撮像面に結像させることができる。したがって、撮像素子は、各画素においてその結像された被写体の画像に応じたレベルの検出信号を得ることができる(つまり、結像された被写体の撮像画像を得ることができる)。しかしながら、この場合、物理的にサイズが大きくなり、装置の小型化が困難になるおそれがあった。また、ピンホールを設ける場合、撮像レンズを設ける場合よりも小型化が可能になるが、撮像素子に入射する光量が低減するため、露光時間を長くする、または、ゲインを上げる等の対策が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなるおそれがあった。
これに対して撮像素子121は、例えば、その複数の画素出力単位のうちの少なくとも2つの画素出力単位の出力画素値の入射角指向性が互いに異なる特性となるようにするための構成を有する。このような構成により、例えば撮像素子121は、各画素の検出感度が互いに異なる入射角指向性を持つ。つまり、入射光の入射角度に応じた受光感度特性が画素毎に異なるということである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素に同一の受光感度特性を持つものが含まれていてもよいし、一部の画素が異なる受光感度特性を持つものであってもよい。
例えば、図2において、被写体面131を構成する光源が点光源であることを前提とした場合、撮像素子121においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射される。そして、撮像素子121の各画素は、互いに異なる入射角指向性を有しているので、その同一の光強度の光線を互いに異なる感度で検出する。つまり、画素毎に異なる信号レベルの検出信号が検出される。
より詳細には、撮像素子121の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角度に応じた入射角指向性は、入射角度に応じた受光感度を表す係数で表現するものとし、各画素における入射光に応じた検出信号の信号レベル(検出信号レベルとも称する)は、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められるものとなる。
より具体的には、図2の上段左部で示されるように、位置Pa,Pb,Pcにおける検出信号レベルDA,DB,DCは、それぞれ以下の式(1)乃至式(3)で表される。
DA=α1×a+β1×b+γ1×c
・・・(1)
DB=α2×a+β2×b+γ2×c
・・・(2)
DC=α3×a+β3×b+γ3×c
・・・(3)
ここで、α1は、撮像素子121上の位置Paにおける復元する被写体面131上の点光源PAからの光線の入射角度に応じて設定される係数である。また、β1は、撮像素子121上の位置Paにおける復元する被写体面131上の点光源PBからの光線の入射角度に応じて設定される係数である。さらに、γ1は、撮像素子121上の位置Paにおける復元する被写体面131上の点光源PCからの光線の入射角度に応じて設定される係数である。
式(1)に示されるように、位置Paにおける検出信号レベルDAは、位置Paにおける点光源PAからの光線の光強度”a”と係数α1との積と、位置Paにおける点光源PBからの光線の光強度”b”と係数β1との積と、位置Paにおける点光源PCからの光線の光強度”c”と係数γ1との積との和(合成値)により表現される。以下において、係数αx、βx、γx(xは自然数)を合わせて係数セットと称する。
同様に、式(2)の係数セットα2,β2,γ2は、撮像素子121上の位置Pbにおける復元する被写体面131上の点光源PA,PB,PCからの光線の入射角度に応じて設定される係数セットである。つまり、位置Pbにおける検出信号レベルDBは、上述の式(2)のように、位置Pbにおける点光源PAからの光線の光強度”a”と係数α2との積と、位置Pbにおける点光源PBからの光線の光強度”b”と係数β2との積と、位置Pbにおける点光源PCからの光線の光強度”c”と係数γ2との積との和(合成値)により表現される。また、式(3)の係数α3,β3,γ3は、撮像素子121上の位置Pcにおける復元する被写体面131上の点光源PA,PB,PCからの光線の入射角度に応じて設定される係数セットである。つまり、位置Pcにおける検出信号レベルDCは、上述の式(3)のように、位置Pcにおける点光源PAからの光線の光強度”a”と係数α3との積と、位置Pcにおける点光源PBからの光線の光強度”b”と係数β3との積と、位置Pcにおける点光源PCからの光線の光強度”c”と係数γ3との積との和(合成値)により表現される。
以上のように、これらの検出信号レベルは、点光源PA,PB,PCのそれぞれより発せられた光線の光強度が入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。つまり、図2の上段右部で示される検出信号レベルは、被写体の像が結像された画像(撮像画像)に対応する検出信号レベルではないので、図2の下部右部に示される画素値とは異なるものである(一般的に両者は一致しない)。
ただし、この係数セットα1,β1,γ1、係数セットα2,β2,γ2、係数セットα3,β3,γ3と、検出信号レベルDA,DB,DCを用いた連立方程式を構成し、a,b,cを変数として上述の式(1)乃至式(3)の連立方程式を解くことにより、図2の下段右部で示されるような各位置Pa,Pb,Pcの画素値を求めることができる。これにより画素値の集合である復元画像(被写体の像が結像された画像)が復元される。
撮像素子121は、このような構成により、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等を必要とせずに、各画素において、入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力することができる。結果として、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
<入射角指向性の形成>
図3の左部は、一般的な撮像素子の画素アレイ部の一部の正面図を示しており、図3の右部は、撮像素子121の画素アレイ部の一部の正面図を示している。尚、図3においては、画素アレイ部が水平方向×垂直方向のそれぞれの画素数が6画素×6画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。
入射角指向性は、例えば遮光膜により形成することができる。一般的な撮像素子151は、図3の左部の例のように、入射角指向性が同一の画素151aがアレイ状に配置されていることが示されている。これに対して図3の右部の例の撮像素子121は、画素121a毎に、そのフォトダイオードの受光領域の一部を覆うように変調素子の1つである遮光膜121bが設けられており、各画素121aに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素121a毎に異なる範囲に遮光膜121bを設けることにより、画素121a毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素121aが異なる入射角指向性を有するようになる。
例えば、画素121a-1と画素121a-2とでは、設けられている遮光膜121b-1と遮光膜121b-2とにより画素を遮光する範囲が異なる(遮光する領域(位置)、および遮光する面積の少なくともいずれかが異なる)。すなわち、画素121a-1においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜121b-1が設けられており、画素121a-2においては、受光領域における右側の一部を、遮光膜121b-1よりも水平方向に広い幅だけ遮光するように遮光膜121b-2が設けられている。その他の画素121aにおいても、同様に、遮光膜121bが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。
尚、遮光膜121bの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所望の光量が確保できる程度の面積とすることが望ましく、遮光膜121bの面積を、例えば、最大で受光可能な範囲の全体の3/4程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素(青色画素)の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
<撮像素子の構成例>
図4を参照して、この場合の撮像素子121の構成例について説明する。図4の上段は、撮像素子121の側面断面図であり、図4の中段は、撮像素子121の上面図である。また、図4の上段の側面断面図は、図4の中段におけるAB断面となる。さらに、図4の下段は、撮像素子121の回路構成例である。
図4に示される構成の撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える。例えば、この撮像素子121は、その複数の画素出力単位のうちの少なくとも2つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子121は、その複数の画素出力単位が、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有する。
図4の上段の撮像素子121においては、図中の上方から下方に向けて入射光が入射する。隣接する画素121a-15,121a-16は、それぞれ図中の最下層に配線層Z12が設けられており、その上に光電変換層Z11が設けられている、いわゆる、裏面照射型である。
尚、画素121a-15,121a-16を区別する必要がない場合、単に、画素121aと称し、他の構成についても、同様に称する。また、図4においては、撮像素子121の画素アレイを構成する2画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素121aが配置されているが図示が省略されている。
さらに、画素121a-15,121a-16は、それぞれ光電変換層Z11にフォトダイオード121e-15,121e-16を備えている。また、フォトダイオード121e-15,121e-16の上には、それぞれ上からオンチップレンズ121c-15,121c-16、およびカラーフィルタ121d-15,121d-16が構成されている。
オンチップレンズ121c-15,121c-16は、入射光をフォトダイオード121e―15,121e―16上に集光させる。
カラーフィルタ121d-15,121d-16は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ121d-15,121d-16は、透明のフィルタでもよいし、無くてもよい。
画素121a-15,121a-16の光電変換層Z11における、それぞれ画素間の境界には、遮光膜121p-15乃至121p-17が形成されており、隣接する画素間のクロストークを抑制する。
また、変調素子の1つである遮光膜121b-15,121b-16は、図4の上段および中段で示されるように、受光面Sの一部を遮光している。遮光膜121bにより受光面Sの一部が遮光されることにより、画素121aに入射する入射光が入射角度に応じて光学的に変調される。画素121aは、その光学的に変調された入射光を検出するので、入射角指向性を有するようになる。画素121a-15,121a-16におけるフォトダイオード121e-15,121e-16の受光面Sにおいては、遮光膜121b-15,121b-16により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定される。ただし、遮光される範囲は、撮像素子121の全画素121aのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素121aが存在していてもよい。
図4の上段で示されるような構成により、遮光膜121p-15の右端部と、遮光膜121b-15の上方端部とが接続されると共に、遮光膜121b-16の左端部と遮光膜121p-16の上方端部とが接続され、側面からみてL字型に構成されている。
さらに、遮光膜121b-15乃至121b-17、および遮光膜121p-15乃至121p-17は、金属により構成されており、例えば、タングステン(W)、アルミニウム(Al)、またはAlと銅(Cu)との合金より構成される。また、遮光膜121b-15乃至121b-17、および遮光膜121p-15乃至121p-17は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜121b-15乃至121b-17、および遮光膜121p-15乃至121p-17の膜厚は、位置に応じて同一の厚さにしなくてもよい。
また、図4の下段で示されるように、画素121aは、フォトダイオード161(フォトダイオード121eに対応する)、転送トランジスタ162、FD(Floating Diffusion:フローティングディフュージョン)部163、選択トランジスタ164、増幅トランジスタ165、およびリセットトランジスタ166を備えて構成され、垂直信号線167を介して電流源168に接続されている。
フォトダイオード161は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ162を介して増幅トランジスタ165のゲート電極にそれぞれ接続される構成となっている。
転送トランジスタ162は、転送信号TGに従ってそれぞれ駆動する。例えば、転送トランジスタ162のゲート電極に供給される転送信号TGがハイレベルになると、転送トランジスタ162はオンとなる。これにより、フォトダイオード161に蓄積されている電荷が転送トランジスタ162を介してFD部163に転送される。
増幅トランジスタ165は、フォトダイオード161での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、FD部163に蓄積されている電荷に応じたレベルの画素信号を垂直信号線23に出力する。すなわち、増幅トランジスタ165は、ドレイン端子が電源電圧VDDに接続され、ソース端子が選択トランジスタ164を介して垂直信号線167に接続されることで、垂直信号線167の一端に接続される電流源168とソースフォロワを構成する。
FD(Floating Diffusion:フローティングディフュージョン)部163は、転送トランジスタ162と増幅トランジスタ165との間に設けられる電荷容量C1を有する浮遊拡散領域であり、転送トランジスタ162を介してフォトダイオード161から転送される電荷を一時的に蓄積する。FD部163は、電荷を電圧に変換する電荷検出部であって、FD部163に蓄積されている電荷が増幅トランジスタ165において電圧に変換される。
選択トランジスタ164は、選択信号SELに従って駆動し、ゲート電極に供給される選択信号SELがハイレベルになるとオンとなって、増幅トランジスタ165と垂直信号線167とを接続する。
リセットトランジスタ166は、リセット信号RSTに従って駆動する。例えば、リセットトランジスタ166は、ゲート電極に供給されるリセット信号RSTがハイレベルになるとオンとなり、FD部163に蓄積されている電荷を電源電圧VDDに排出して、FD部163をリセットする。
以上のような回路構成により、図4の下段で示される画素回路は以下のように動作する。
すなわち、第一動作として、リセットトランジスタ166および転送トランジスタ162がオンにされ、FD部163に蓄積されている電荷を電源電圧VDDに排出して、FD部163をリセットする。
第二動作として、リセットトランジスタ166および転送トランジスタ162がオフにされ、露光期間となり、フォトダイオード161により、入射光の光量に応じた電荷が蓄積される。
第三動作として、リセットトランジスタ166がオンにされて、FD部163がリセットされた後、リセットトランジスタ166がオフにされる。この動作により、FD部163がリセットされて、基準電位に設定される。
第四動作として、リセットされた状態のFD部163の電位が、基準電位として増幅トランジスタ165より出力される。
第五動作として、転送トランジスタ162がオンにされて、フォトダイオード161に蓄積された電荷がFD部163に転送される。
第六動作として、フォトダイオードの電荷が転送されたFD部163の電位が、信号電位として増幅トランジスタ165より出力される。
以上の処理により、信号電位から基準電位が減算されて、CDS(相関二重サンプリング)により検出信号として出力される。この検出信号の値(出力画素値)は、被写体からの入射光の入射角に応じて変調されており、入射角により特性(指向性)が異なる(入射角指向性を有する)。
このように、図4の場合の画素121aは、1個についてフォトダイオード121eが1個設けられており、画素121a毎に異なる範囲が遮光膜121bにより遮光されており、遮光膜121bを用いた光学的な変調により、1個の画素121aで入射角指向性を備えた検出画像の1画素分の検出信号を表現することができる。
<撮像素子の他の構成例>
また、入射角指向性は、例えば受光素子(例えばフォトダイオード)の画素内における位置、大きさ、形状等により形成することができる。これらのパラメータが異なる画素同士では、同一方向からの同一の光強度の入射光に対する感度が異なる。つまり、これらのパラメータを画素毎に設定することにより、画素毎に入射角指向性を設定することができる。
例えば、画素内に複数の受光素子(例えばフォトダイオード)を設け、それらが選択的に用いられるようにしてもよい。このようにすることにより、その受光素子の選択によって画素毎に入射角指向性を設定することができるようになる。
図5は、撮像素子121の他の構成例を示す図である。図5の上段には、撮像素子121の画素121aの側面断面図が示されており、図5の中段には、撮像素子121の上面図が示されている。また、図5の上段の側面断面図は、図5の中段におけるAB断面となる。さらに、図5の下段は、撮像素子121の回路構成例である。
図5に示される構成の撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える。例えば、この撮像素子121は、その複数の画素出力単位のうちの少なくとも2つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子121は、その複数の画素出力単位が、出力に寄与するPD(Photo Diode)を互いに異ならせることで、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得る。
図5に示されるように、撮像素子121は、画素121aにおいて、4つのフォトダイオード121f-1乃至121f-4が形成され、遮光膜121pが、フォトダイオード121f-1乃至121f-4同士を分離する領域に形成されている点で、図5の撮像素子121と異なる構成となっている。即ち、図5の撮像素子121では、遮光膜121pは、上面から見て「+」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
図5のように構成された撮像素子121では、遮光膜121pによりフォトダイオード121f-1乃至121f-4に分離することによって、フォトダイオード121f-1乃至121f-4間の電気的および光学的なクロストークを防止することができる。即ち、図5の遮光膜121pは、図4の撮像素子121の遮光膜121pと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
詳細については後述するが、フォトダイオード121f-1乃至121f-4は、受光感度特性が高くなる入射角が互いに異なる。つまり、フォトダイオード121f-1乃至121f-4のいずれから電荷を読み出すかによって、画素121aの出力画素値に所望の入射角指向性を持たせることができる。つまり、画素121aの出力画素値の入射角指向性を制御することができる。
図5の撮像素子121の構成例においては、1個のFD部163を4個のフォトダイオード121f-1乃至121f-4で共有する。図5の下段は、1個のFD部163を4個のフォトダイオード121f-1乃至121f-4で共有するようにした回路構成例を示している。尚、図5の下段において、図4の下段と同一の構成については、その説明を省略する。
図5の下段において、図4の下段の回路構成と異なる点は、フォトダイオード161および転送トランジスタ162に代えて、フォトダイオード161-1乃至161-4(図5の上段におけるフォトダイオード121f-1乃至121f-4に対応する)および転送トランジスタ162-1乃至162-4を設け、FD部163を共有する構成としている点である。
図5の下段に示される回路において、フォトダイオード161-1乃至161-4を互いに区別して説明する必要がない場合、フォトダイオード161と称する。また、転送トランジスタ162-1乃至162-4を互いに区別して説明する必要がない場合、転送トランジスタ162と称する。
図5の下段に示される回路において、いずれかの転送トランジスタ162がオンされると、その転送トランジスタ162に対応するフォトダイオード161の電荷が読み出され、共通のFD部163に転送される。そして、FD部163に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。つまり、各フォトダイオード161の電荷は互いに独立に読み出すことができ、どの転送トランジスタ162をオンにするかによって、どのフォトダイオード161から電荷を読み出すかを制御することができる。換言するに、どの転送トランジスタ162をオンにするかによって、各フォトダイオード161による出力画素値への寄与の度合いを制御することができる。例えば、少なくとも2つの画素間において、電荷を読み出すフォトダイオード161を互いに異なるものとすることにより、出力画素値に寄与するフォトダイオード161を互いに異ならせることができる。つまり、電荷を読み出すフォトダイオード161の選択により、画素121aの出力画素値に所望の入射角指向性を持たせることができる。つまり、各画素121aから出力される検出信号を、被写体からの入射光の入射角に応じて変調された値(出力画素値)とすることができる。
例えば、図5において、フォトダイオード121f-1およびフォトダイオード121f-3の電荷をFD部163に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素121aの出力画素値に図中左右方向の入射角指向性を持たせることができる。同様に、フォトダイオード121f-1およびフォトダイオード121f-2の電荷をFD部163に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素121aの出力画素値に図中上下方向の入射角指向性を持たせることができる。
なお、図5の画素121aの各フォトダイオード121fのそれぞれの電荷に基づいて得られる信号は、画素から読み出された後に加算するようにしてもよいし、画素内(例えばFD部163)において加算するようにしてもよい。
また、電荷(またはその電荷に対応する信号)を加算するフォトダイオード121fの組み合わせは任意であり、上述の例に限定されない。例えば、3つ以上のフォトダイオード121fの電荷(またはその電荷に対応する信号)を加算するようにしてもよい。また、例えば、加算を行わずに、1つのフォトダイオード121fの電荷を読み出すようにしてもよい。
なお、電子シャッタ機能を用いて電荷のFD部163への読み出しの前にフォトダイオード161(フォトダイオード121f)に蓄積された検出値(電荷)をリセットすること等で、画素121a(の検出感度)に所望の入射角指向性を持たせるようにしてもよい。
例えば、電子シャッタ機能を用いる場合、フォトダイオード121fの電荷のFD部163への読み出しの直前にリセットをすれば、そのフォトダイオード121fは画素121aの検出信号レベルへの寄与が無い状態とすることができ、リセットとFD部163への読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。
以上のように、図5の画素121aは、1個について4個のフォトダイオード121fが設けられており、受光面に対して遮光膜121bが形成されていないが、遮光膜121pにより、複数の領域に分割され、4個のフォトダイオード121f-1乃至121f-4が形成されており、入射角指向性を備えた検出画像の1画素分の検出信号を表現している。換言するに、例えば、フォトダイオード121f-1乃至121f-4のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の1画素分の検出信号を表現している。尚、フォトダイオード121f-1乃至121f-4を用いて、1画素分の検出信号を表現する場合、遮光膜121bは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。
以上においては画素内に4個のフォトダイオードを配置する例について説明したが、画素内に配置するフォトダイオードの数は任意であり、上述の例に限定されない。つまり、画素内におけるフォトダイオードを配置する部分領域の数も任意である。
また、以上においては、画素内を4等分した4つの部分領域にフォトダイオードを配置するように説明したが、この部分領域は等分割されたものでなくてもよい。つまり、各部分領域の大きさや形状が全て統一されていなくてもよい(大きさや形状が他と異なる部分領域が含まれていてもよい)。または、各部分領域内に配置されるフォトダイオードの位置(部分領域内における位置)、大きさ、形状等が、フォトダイオード毎(部分領域毎)に異なるようにしてもよい。その際、各部分領域の大きさや形状は、全て統一されていてもよいし、統一されていなくてもよい。
さらに、撮像素子121の全画素において、これらのパラメータが統一されていなくてもよい。つまり、撮像素子121の1画素以上において、これらのパラメータの内の1つ以上のパラメータが、他の画素と異なっていてもよい。
例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割位置が他の画素と異なる画素が、撮像素子121の画素群に含まれるようにしてもよい。つまり、撮像素子121が、部分領域の大きさや形状が他の画素と異なる画素を1画素以上有するようにしてもよい。例えば、画素毎にこの分割位置を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
また例えば、画素内に配置される複数のフォトダイオードの位置、大きさ、形状等が他の画素と異なる画素が、撮像素子121の画素群に含まれるようにしてもよい。つまり、撮像素子121が、配置される複数のフォトダイオードの位置、大きさ、形状の内の少なくともいずれか1つが他の画素と異なる画素を1画素以上有するようにしてもよい。例えば、画素毎にフォトダイオードの位置、大きさ、形状等を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
さらに例えば、部分領域のパラメータ(大きさ、形状)と、フォトダイオードのパラメータ(位置、大きさ、形状)との両方が他の画素と異なる画素を1画素以上有するようにしてもよい。
また例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割数が他の画素と異なる画素が、撮像素子121の画素群に含まれるようにしてもよい。つまり、撮像素子121が、配置されるフォトダイオードの数が他の画素と異なる画素を1画素以上有するようにしてもよい。例えば、画素毎に分割数(フォトダイオードの数)を異ならせるようにすることにより、より自由に入射角指向性を設定することができる。
<入射角指向性を生じさせる原理について>
撮像素子121における各画素の入射角指向性は、例えば、図6で示されるような原理により発生する。尚、図6の左上部および右上部は、図4の撮像素子121における入射角指向性の発生原理を説明する図であり、図6の左下部および右下部は、図5の撮像素子121における入射角指向性の発生原理を説明する図である。
また、図6の左上部および右上部における1画素は、いずれも1個のフォトダイオード121eにより構成される。これに対して、図6の左下部および右下部における1画素は、いずれも2個のフォトダイオード121fにより構成される。尚、ここでは、1画素が2個のフォトダイオード121fにより構成される例について説明しているが、これは説明の便宜上であり、1画素を構成するフォトダイオード121fの数は、その他の個数であってもよい。
図6の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード121e-11の受光面の右半分を遮光するように遮光膜121b-11が形成されている。また、図6の右上部においては、フォトダイオード121e-12の受光面の左半分を遮光するように遮光膜121b-12が形成されている。尚、図中の一点鎖線は、フォトダイオード121eの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。
例えば、図6の左上部のような構成の場合、図中の一点鎖線に対して入射角θ1を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード121e-11の遮光膜121b-11により遮光されていない左半分の範囲では受光し易いが、図中の一点鎖線に対して入射角θ2を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード121e-11の遮光膜121b-11により遮光されていない左半分の範囲では受光し難い。したがって、図6の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低いといった入射角指向性を備えることになる。
これに対して、例えば、図6の右上部のような構成の場合、図中の一点鎖線に対して入射角θ11を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード121e-12の遮光膜121b-12により遮光されている左半分の範囲では受光し難いが、図中の一点鎖線に対して入射角θ12を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード121e-12の遮光膜121b-12により遮光されていない右半分の範囲で受光し易い。したがって、図6の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高いといった入射角指向性を備えることになる。
また、図6の左下部の場合、図中の左右にフォトダイオード121f-1,121f-2が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜121bを設けることなく入射角指向性を有する構成とされている。
すなわち、図6の左下部で示されるように、画素121aに2個のフォトダイオード121f-1,121f-2が形成されている場合、図中の左側に設けられたフォトダイオード121f-1の検出信号がこの画素121aの検出信号レベルに寄与するようにすることで、図6の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ21を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード121f-1に入射して受光され、その検出信号が読み出され、この画素121aの検出信号レベルに寄与する。これに対して、図中の一点鎖線に対して入射角θ22を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード121f-2に入射するが、その検出信号は読み出されず、この画素121aの検出信号レベルに寄与しない。
同様に、図6の右下部で示されるように、画素121aに2個のフォトダイオード121f-11,121f-12が形成されている場合、図中の左側に設けられたフォトダイオード121f-12の検出信号がこの画素121aの検出信号レベルに寄与するようにすることで、図6の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ31を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード121f-11に入射するが、その検出信号は読み出されず、この画素121aの検出信号レベルに寄与しない。これに対して、図中の一点鎖線に対して入射角θ32を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード121f-12に入射して受光され、その検出信号が読み出され、この画素121aの検出信号レベルに寄与する。
尚、図6においては、垂直方向の一点鎖線が、フォトダイオード121eの受光面の図中の水平方向の中心位置である例について説明してきたが、説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜121bの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。
<オンチップレンズを含む構成における入射角指向性について>
以上においては、入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ121cを含めた構成における入射角指向性について説明する。
すなわち、撮像素子121における各画素の入射角指向性は、上述した遮光膜121bによるものに加えて、オンチップレンズ121cを用いることにより、例えば、図7で示されるように設定される。すなわち、図7の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ121c-11、所定の波長の光を透過させるカラーフィルタ121d-11、および光電変換により画素信号を生成するフォトダイオード121e-11の順に積層され、図7の中段右部においては、図中上方の入射方向よりオンチップレンズ121c-12、カラーフィルタ121d-12、およびフォトダイオード121e-12の順に構成されている。
尚、オンチップレンズ121c-11,121c-12、カラーフィルタ121d-11,121d-12、およびフォトダイオード121e-11,121e-12の、それぞれを区別する必要がない場合、単に、オンチップレンズ121c、カラーフィルタ121d、およびフォトダイオード121eと称する。
撮像素子121においては、さらに、図7の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜121b-11,121b-12が設けられている。
図7の中段左部で示されるように、図中のフォトダイオード121e-11の右側半分を遮光するような遮光膜121b-11が設けられている場合、図7の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード121e-11の検出信号レベルが変化する。
すなわち、フォトダイオード121eおよびオンチップレンズ121cの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると(入射角度θが正の方向に大きくなると(図中の右方向に傾くと))、遮光膜121b-11が設けられていない範囲に光が集光されることで、フォトダイオード121e-11の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど(入射角度θが負の方向に大きいほど(図中の左方向に傾くと))、遮光膜121b-11が設けられている範囲に光が集光されることで、フォトダイオード121e-11の検出信号レベルが小さくなる。
尚、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を0度とし、図中の右上方からの入射光が入射する、図7の中段左側の入射角度θ21側の入射角度θを正の値とし、図7の中段右側の入射角度θ22側の入射角度θを負の値とする。したがって、図7においては、オンチップレンズ121cに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図7において、入射光の進行方向が右に傾くほど大きくなり(正の方向に大きくなり)、左に傾くほど小さくなる(負の方向に大きくなる)ものとする。
また、図7の中段右部で示されるように、図中のフォトダイオード121e-12の左側半分を遮光するような遮光膜121b-12が設けられている場合、図7の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード121e-12の検出信号レベルが変化する。
すなわち、図7の上段における点線の波形で示されるように、フォトダイオード121eおよびオンチップレンズ121cの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど(入射角度θが正の方向に大きいほど)、遮光膜121b-12が設けられている範囲に光が集光されることで、フォトダイオード121e-12の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、遮光膜121b-12が設けられていない範囲に光が入射することで、フォトダイオード121e-12の検出信号レベルが大きくなる。
尚、図7の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード121eにおける検出信号レベルを示している。
この図7の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜121bの範囲に応じて変化させることができるので、これにより画素単位で相互に異なる入射角指向性を持たせる(設定する)ことが可能となる。尚、図7の上段における実線の波形は、図7の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図7の上段における点線の波形は、図7の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。
ここでいう入射角指向性とは、入射角度θに応じた各画素の検出信号レベルの特性(受光感度特性)であるが、図7の中段の例の場合、これは入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜121bは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図7の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
さらに、図7の下段左部で示されるように、1個のオンチップレンズ121c-11に対して2個のフォトダイオード121f-1,121f-2が設けられる構成とする(画素出力単位が2個のフォトダイオード121f-1,121f-2から構成される)ことにより、図中左部のフォトダイオード121f-1のみの検出信号を用いるようにすることで、図7の中段左部におけるフォトダイオード121e-11の右側を遮光した状態と同じ検出信号レベルを求めるようにすることができる。
すなわち、オンチップレンズ121cの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると(入射角度θが正の方向に大きくなると)、検出信号が読み出されるフォトダイオード121f-1の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、検出値が読み出されないフォトダイオード121f-2の範囲に光が集光されることで、検出信号レベルが小さくなる。
また、同様に、図7の下段右部で示されるように、1個のオンチップレンズ121c-12に対して2個のフォトダイオード121f-11,121f-12が設けられる構成とすることにより、図中右部のフォトダイオード121f-12のみの検出信号を用いるようにすることで、図7の中段右部におけるフォトダイオード121e-12の左側を遮光した状態と同じ検出信号レベルの出力画素単位の検出信号を得るようにすることができる。
すなわち、オンチップレンズ121cの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると(入射角度θが正の方向に大きくなると)、検出信号が出力画素単位の検出信号に寄与しないフォトダイオード121f-11の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、検出信号が出力画素単位の検出信号に寄与するフォトダイオード121f-12の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが大きくなる。
尚、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式(1)乃至式(3)または、後述する式(4)乃至式(6)が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図7の中段で示される構成においては、画素121aに、1個のフォトダイオード121e-11およびフォトダイオード121e-12が形成されている。これに対して、図7の下段で示される構成においては、画素121aに、2個のフォトダイオード121f-1および121f-2、並びに、フォトダイオード121f-11および121f-12が形成されている。したがって、例えば、図7の下段においては、フォトダイオード121fの単体では、1画素は構成されない。
また、図7の下段で示されるように、複数のフォトダイオード121fから1画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性(入射角指向性)を画素出力単位で異ならせることが可能となり、1画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード121fから1画素出力単位が構成される場合、1画素出力単位での入射角指向性を生じさせる上で、1画素出力単位に対して1個のオンチップレンズ121cが必須構成となる。
また、図7の上段で示されるように、1個のフォトダイオード121e-11またはフォトダイオード121e-12のそれぞれが1画素出力単位を構成する場合、入射角度に応じて、1画素出力単位を構成する1個のフォトダイオード121e-11またはフォトダイオード121e-12への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性(入射角指向性)が異ならせることが可能となり、1画素出力単位での入射角指向性が設定される。さらに、1個のフォトダイオード121e-11またはフォトダイオード121e-12のそれぞれが1画素出力単位を構成する場合、入射角指向性は、1画素出力単位毎に設けられる遮光膜121bにより独立して製造時に設定される。
また、図7の下段で示されるように、複数のフォトダイオード121fから1画素出力単位が構成される場合、1画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード121fの数(1画素出力単位を構成するフォトダイオード121fの分割数)や位置については、1画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード121fを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。
<入射角指向性の設定>
例えば、図8の上段で示されるように、遮光膜121bの設定範囲が、画素121aにおける水平方向について、左端部から位置Aまでの範囲とし、垂直方向について、上端部から位置Bまでの範囲とする。
この場合、各画素の水平方向の中心位置からの入射角度θx(deg)に応じた、入射角指向性の指標となる水平方向の0乃至1の重みWxを設定する。より詳細には、位置Aに対応する入射角度θx=θaにおいて、重みWxが0.5になると仮定した場合、入射角度θx<θa-αにおいて重みWxが1となり、θa-α≦入射角度θx≦θa+αにおいて、重みWxが(-(θx-θa)/2α+1/2)となり、入射角度θx>θa+αにおいて重みWxが0となるように重みWhを設定する。尚、ここでは、重みWhが0,0.5,1である例について説明するが、重みWhが0,0.5,1となるのは、理想的な条件が満たされるときとなる。
同様に、各画素の垂直方向の中心位置からの入射角度θy(deg)に応じた、入射角指向性の指標となる垂直方向の0乃至1の重みWyを設定する。より詳細には、位置Bに対応する入射角度θy=θbにおいて、重みWvが0.5になると仮定した場合、入射角度θy<θb-αにおいて重みWyが0となり、θb-α≦入射角度θy≦θb+αにおいて、重みWyが((θy-θb)/2α+1/2)となり、入射角度θy>θb+αにおいて重みWyが1となるように重みWyを設定する。
そして、このようにして求められた重みWx,Wyを用いることにより、それぞれの画素121aの入射角指向性、すなわち、受光感度特性に対応する係数(係数セット)を求めることができる。
また、このとき、水平方向の重みWxおよび垂直方向の重みWyが0.5の前後となる範囲における重みの変化を示す傾き(1/2α)は、焦点距離の異なるオンチップレンズ121cを用いることで設定することができる。
すなわち、曲率の異なるオンチップレンズ121cを用いることで異なる焦点距離とすることができる。
例えば、曲率の異なるオンチップレンズ121cを用いることで、図8の下段における実線で示されるように、焦点距離が、遮光膜121b上になるように集光されるとき、傾き(1/2α)は、急峻になる。すなわち、図8の上段における、水平方向の重みWxおよび垂直方向の重みWyは、0.5付近となる水平方向の入射角度θx=θa、および、垂直方向の入射角度θy=θbの境界付近において、急激に0または1に変化する。
また、例えば、曲率の異なるオンチップレンズ121cを用いることで、図8の下段における点線で示されるように、焦点距離が、フォトダイオード121e上に集光されるとき、傾き(1/2α)は、緩くなる。すなわち、図8の上部における、水平方向の重みWxおよび垂直方向の重みWyが0.5付近となる水平方向の入射角度θx=θa、および、垂直方向の入射角度θy=θbの境界付近において、緩やかに0または1に変化する。
以上のように、曲率の異なるオンチップレンズ121cを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
したがって、画素121aの入射角指向性は、遮光膜121bによりフォトダイオード121eが遮光される範囲と、オンチップレンズ121cの曲率とが異なるようにすることで異なる値に設定することができる。尚、オンチップレンズの曲率は、撮像素子121における全ての画素で同一でもよいし、一部の画素において異なる曲率であってもよい。
<オンチップレンズと撮像レンズとの違い>
上述のように、撮像素子121は撮像レンズを必要としない。ただし、オンチップレンズ121cは、少なくとも、図5を参照して説明したような画素内の複数のフォトダイオードを用いて入射角指向性を実現する場合には必要である。オンチップレンズ121cと撮像レンズとは、物理的作用が異なるものである。
撮像レンズは、同じ方向から入射した入射光を、互いに隣接する複数の画素へ入射させるための集光機能を持つ。これに対して、オンチップレンズ121cを通る光は、対応する1画素を構成するフォトダイオード121eまたは121fの受光面のみに入射される。換言するに、オンチップレンズ121cは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ121cは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素へ入射させるための集光機能を持たない。
<被写体面と撮像素子との距離の関係>
次に、図9を参照して、被写体面と撮像素子121との距離の関係について説明する。
図9の上段左部で示されるように、撮像素子121と被写体面131までの被写体距離が距離d1である場合、例えば、被写体面131上の点光源PA,PB,PCを設定するとき、対応する撮像素子121上の位置Pa,Pb,Pcにおける検出信号レベルDA,DB,DCが、上述した式(1)乃至式(3)と同一の式で表現できるものとする。
DA=α1×a+β1×b+γ1×c
・・・(1)
DB=α2×a+β2×b+γ2×c
・・・(2)
DC=α3×a+β3×b+γ3×c
・・・(3)
これに対して、図9の下段左部で示されるように、撮像素子121との被写体距離が距離d1よりもdだけ大きな距離d2である被写体面131'である場合、すなわち、撮像素子121から見て、被写体面131よりも奥の被写体面131'の場合、検出信号レベルは、図9の上段中央部、および下段中央部で示されるように、検出信号レベルDA,DB,DCいずれも同様である。
しかしながら、この場合被写体面131'上の点光源PA',PB',PC'からの光強度がa',b',c'の光線が撮像素子121の各画素において受光される。この際、撮像素子121上で受光される、光強度がa',b',c'の光線の入射角度は異なる(変化する)ので、それぞれ異なる係数セットが必要となり、各位置Pa,Pb,Pcにおける検出信号レベルDA,DB,DCは、例えば、以下の式(4)乃至式(6)で示されるように表現されることになる。
DA=α11×a'+β11×b'+γ11×c'
・・・(4)
DB=α12×a'+β12×b'+γ12×c'
・・・(5)
DC=α13×a'+β13×b'+γ13×c'
・・・(6)
ここで、係数セットα11,β11,γ11、係数セットα12,β12,γ12、係数セットα13,β13,γ13からなる係数セット群は、それぞれ被写体面131における係数セットα1,β1,γ1、係数セットα2,β2,γ2、係数セットα3,β3,γ3に対応する被写体面131'の係数セット群である。
従って、式(4)乃至式(6)を、予め設定された係数セット群α11,β11,γ11,α12,β12,γ12,α13,β13,γ13を用いて解くことで、図9の上段右部で示される被写体面131における場合の点光源PA,PB,PCにおける光線の光強度(a,b,c)を求めた手法と同様の手法で、図9の下段右部で示されるように、点光源PA',PB',PC'からの光線の光強度(a',b',c')として求めることが可能となり、結果として、被写体面131'の被写体の復元画像を求めることが可能となる。
すなわち、図1の撮像装置100においては、撮像素子121からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、1個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。
つまり、検出画像を1回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することも可能である。
また、画像認識や可視画像や可視画像以外の被写体の特性を得たい場合は、復元画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対し、ディープラーニング等の機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。
また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができる。
例えば、図10の上段で示されるように、4辺のそれぞれの端部から幅d1だけ遮光膜121bにより遮光されている画素121aと、図10の下段で示されるように、4辺のそれぞれの端部から幅d2(>d1)だけ遮光膜121bにより遮光されている画素121a'とを考える。
画素121aは、例えば、図11の上段で示されるような、被写体となる人物H101の全体を含む画角SQ1に対応する、図10の画像I1を復元するために用いられる。これに対して、画素121a'は、例えば、図11の上段で示されるような、被写体となる人物H101の顔の周辺がズームアップされた画角SQ2に対応する、図10の画像I2を復元するために用いられる。
これは、図10の画素121aが、図12の左部で示されるように、撮像素子121に対して入射光の入射可能角度範囲Aとなるため、被写体面131上において、水平方向に被写体幅W1分の入射光を受光することができるからである。
これに対して、図10の画素121a'は、図10の画素121aよりも遮光される範囲が広いため、図12の左部で示されるように、撮像素子121に対して入射光の入射可能角度範囲B(<A)となるため、被写体面131上において、水平方向に被写体幅W2(<W1)分の入射光を受光するからである。
つまり、遮光範囲が狭い図10の画素121aは、被写体面131上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図10の画素121a'は、被写体面131上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図10の画素121a,121a'の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
尚、図12は、撮像素子121の中心位置C1に対する、被写体面131上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図12においては、被写体面131上の位置と、被写体面131上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図12の右部には、図10における画素121a,121a'が示されている。
このような構成により、図11の下段で示されるように、撮像素子121における、点線で囲まれた範囲ZAに図10の画素121aを、一点鎖線で囲まれた範囲ZBに図10の画素121a'を、それぞれ所定画素数ずつ集めて構成する場合、被写体幅W1に対応する画角SQ1の画像を復元しようとするときには、画角SQ1を撮像する図10の画素121aを用いるようにすることで、適切に被写体面131の被写体幅W1の画像を復元することができる。
同様に、被写体幅W2に対応する画角SQ2の画像を復元しようとするときには、画角SQ2を撮像する図10の画素121a'の検出信号レベルを用いるようにすることで、適切に被写体幅W2の画像を復元することができる。
尚、図11の下段においては、図中の左側に画素121a'が所定画素数だけ設けられ、右側に画素121aが所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素121aと画素121a'とは、ランダムに混在して配置されることが望ましい。
このように、画角SQ2は、画角SQ1よりも画角が狭いので、画角SQ2と画角SQ1の画像を同一の所定画素数で復元する場合、画角SQ1の画像よりも、より狭い画角となる画角SQ2の画像を復元する方が、より高画質な復元画像を得ることができる。
つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
尚、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
以上のような撮像素子121を用いることにより、結果として、撮像レンズ、回折格子等からなる光学素子や、ピンホールなどが不要となるため(撮像レンズフリーとなるので)、装置の設計の自由度を高めることが可能になると共に、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズも不要となる。
さらに、撮像素子121を用いることにより、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離や画角の復元画像を生成することが可能となる。
さらに、撮像素子121は、画素単位で入射角指向性を持つことができるので、回折格子からなる光学フィルタと従来の撮像素子等と比較して、多画素化を実現することができ、また、高解像度で、かつ、高角度分解能の復元画像を得ることができる。一方、光学フィルタと従来の撮像素子とからなる撮像装置では、画素を微細化しても、光学フィルタの微細化が難しいため、復元画像の高解像度化等の実現が難しい。
また、撮像素子121は、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって光学フィルタが熱で歪むといったことがない。したがって、このような撮像素子121を用いることにより、環境耐性の高い装置を実現することが可能となる。
<第1の変形例>
図3の右部においては、撮像素子121の各画素121aにおける遮光膜121bの構成として、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させることにより、水平方向の入射角指向性の違いを持たせる例を示したが、遮光膜121bの構成はこの例に限定されない。例えば、水平方向に対して全体として遮光し、垂直方向の幅(高さ)や位置を変化させるようにして、垂直方向の入射角指向性の違いを持たせるようにしてもよい。
なお、図3の右部で示される例のように、垂直方向に対しては画素121a全体を遮光し、かつ、水平方向に対して所定の幅で画素121aを遮光する遮光膜121bは、横帯タイプの遮光膜121bと称する。これに対して、水平方向に対しては画素121a全体を遮光し、かつ、垂直方向に対して所定の高さで画素121aを遮光する遮光膜121bは、縦帯タイプの遮光膜121bと称する。
また、図13の左部に示される例のように、縦帯タイプと横帯タイプの遮光膜121bを組み合わせて、画素121aをL字型の遮光膜121bを設けるようにしてもよい。図13の左部において、黒色で示される部分が遮光膜121bである。つまり、遮光膜121b-21乃至遮光膜121b-24は、それぞれ、画素121a-21乃至画素121a-24の遮光膜である。
これらの各画素(画素121a-21乃至画素121a-24)は、図13の右部に示されるような入射角指向性を有することになる。図13の右部に示されるグラフは、各画素における受光感度を示している。横軸が入射光の水平方向(x方向)の入射角度θxを表し、縦軸が入射光の垂直方向(y方向)の入射角度θyを表している。そして、範囲C4内の受光感度が、範囲C4の外よりも高く、範囲C3内の受光感度が、範囲C3の外よりも高く、範囲C2内の受光感度が、範囲C2の外よりも高く、範囲C1内の受光感度が、範囲C1の外よりも高い。
従って、各画素について、範囲C1内となる、水平方向(x方向)の入射角度θxと、垂直方向(y方向)の入射角度θyとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲C2内,範囲C3内,範囲C4内、および、範囲C4以外の範囲の条件の順に検出信号レベルが低くなることが示されている。このような受光感度の強度は、遮光膜121bにより遮光される範囲により決定される。
また、図13の左部において、各画素121a内のアルファベットは、カラーフィルタの色を示している(説明の便宜上記載したものであり、実際に表記されているものではない)。画素121a-21は緑色のカラーフィルタが配置されるG画素であり、画素121a-22は赤色のカラーフィルタが配置されるR画素であり、画素121a-23は青色のカラーフィルタが配置されるB画素であり、画素121a-24は緑色のカラーフィルタが配置されるG画素である。つまり、これらの画素は、ベイヤ配列を形成している。もちろん、これは一例であり、カラーフィルタの配列パターンは任意である。遮光膜121bの配置とカラーフィルタとは無関係である。例えば、一部または全部の画素において、カラーフィルタ以外のフィルタが設けられるようにしてもよいし、フィルタが設けられないようにしてもよい。
図13の左部においては、「L字型」の遮光膜121bが、画素121aの図中左辺と下辺の側を遮光する例が示されているが、この「L字型」の遮光膜121bの向きは任意であり、図13の例に限定されない。例えば、「L字型」の遮光膜121bが、画素121aの図中下辺と右辺の側を遮光するようにしてもよいし、画素121aの図中右辺と上辺の側を遮光するようにしてもよいし、画素121aの図中上辺と左辺の側を遮光するようにしてもよい。もちろん、この遮光膜121bの向きは、画素毎に独立に設定することができる。なお、この「L字型」の遮光膜121bを「L字タイプの遮光膜121b」とも総称する。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述のL字タイプの遮光膜121bによる入射光指向性と同等の入射光指向性を実現することができる。
<第2の変形例>
以上においては、横帯タイプ、縦帯タイプ、およびL字タイプの遮光膜について、遮光されている範囲がランダムに変化するように各画素に配置される例について説明してきたが、例えば、図14の撮像素子121'で示されるように、矩形開口を設けた場合に、個々の画素において光線が受光する位置の近傍の範囲以外を遮光する遮光膜121b(図中、黒色で示された範囲)を構成するようにしてもよい。
すなわち、各画素について、矩形開口を設けた場合に、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜121bを設けるようにしてもよい。
尚、図14においては、例えば、水平方向の画素配列に対して、遮光膜121bの水平方向の幅が幅dx1,dx2,・・・dxnと変化しており、これが、dx1<dx2<・・・<dxnの関係となる。同様に、垂直方向の画素配列に対して、遮光膜121bの垂直方向の高さが高さdy1,dy2,・・・dymと変化しており、これが、dy1<dy2<・・・<dxmの関係となる。また、遮光膜121bの水平方向の幅、および垂直方向の幅の、それぞれの変化の間隔は、復元する被写体分解能(角度分解能)に依るものである。
換言すれば、図14の撮像素子121'における各画素121aの構成は、水平方向および垂直方向に対して撮像素子121'内の画素配置に対応するように、遮光する範囲を変化させるような入射角指向性を持たせているといえる。
より詳細には、図14の各画素121aの遮光範囲は、例えば、図15の左部で示される画素121aを用いて説明される規則に従って決定される。
尚、図15の右部は、図14と同一の撮像素子121'の構成を示している。また、図15の左部は、図15(図14と同一)の右部における撮像素子121'の画素121aの構成を示している。
図15の左部で示されるように、画素121aの上辺および下辺の端部から画素121a内に向かって、それぞれ幅dx1だけ遮光膜121bにより遮光し、左辺および右辺の端部から画素121a内に向かって、それぞれ高さdy1だけ遮光膜121bにより遮光する。尚、図15,図16において、遮光膜121bは黒色で示された範囲である。
図15の左部において、遮光膜121bが、このように形成されることで遮光される範囲を、以降において、画素121aの主遮光部Z101(図15左部の黒色部)と称し、それ以外の方形状の範囲を範囲Z102と称する。
画素121aにおける、範囲Z102内に、遮光膜121bにより遮光されない矩形開口部Z111が設けられるものとする。したがって、範囲Z102において、矩形開口部Z111以外の範囲は、遮光膜121bにより遮光される。
図14の撮像素子121'内の画素配列は、図15の右部(図14と同一)で示されるように、左端部で、かつ、上端部の画素121a-1は、矩形開口部Z111を、その左辺が画素121aの左辺から幅dx1であって、その上辺が画素121aの上辺からdy1の距離に配置する構成とする。
同様に、画素121a-1の右隣の画素121a-2は、矩形開口部Z111を、その左辺が画素121aの左辺から幅dx2であって、その上辺が画素121aの上辺から高さdy1の距離に配置して、矩形開口部Z111以外の範囲を遮光膜121bにより遮光する構成とする。
以下同様に、水平方向に隣接する画素121aは、配置が図中の右側に進むにしたがって、矩形開口部Z111の右辺が、画素121aの右辺から幅dx1,dx2・・・dxnと移動する。尚、図15の範囲Z102における右上部の点線の方形部分が、矩形開口部Z111を、その左辺が画素121aの左辺から幅dxnであって、その上辺が画素121aの上辺から高さdy1の距離に配置したときの状態を示している。また、幅dx1,dx2・・・dxnのそれぞれの間隔は、範囲Z102の水平方向の幅から矩形開口部Z111の幅を引いた幅を水平方向の画素数nで割った値となる。すなわち、水平方向の画素数nで割ることにより水平方向の変化の間隔が決定される。
また、撮像素子121'における画素121a内の矩形開口部Z111の水平方向の位置は、撮像素子121'内における水平方向の位置が同一の画素121a(同一の列の画素121a)内において同一になる。
さらに、画素121a-1の直下に隣接する画素121a-3は、矩形開口部Z111を、その左辺が画素121aの左辺から幅dx1であって、その上辺が画素121aの上辺から高さdy2の距離に配置して、矩形開口部Z111以外の範囲を遮光膜121bにより遮光する構成とする。
以下同様に、垂直方向に隣接する画素121aは、配置が図中の下側に進むにしたがって、矩形開口部Z111の上辺が、画素121aの上辺から高さdy1,dy2・・・dynと移動する。尚、図15の範囲Z102における左下部の点線の方形部分が、矩形開口部Z111を、その左辺が画素121aの左辺から幅dx1であって、その上辺が画素121aの上辺から高さdymの距離に配置したときの状態を示している。また、高さdy1,dy2・・・dymのそれぞれの間隔は、範囲Z102の垂直方向の高さから矩形開口部Z111の高さを引いた高さを垂直方向の画素数mで割った値となる。すなわち、垂直方向の画素数mで割ることにより垂直方向の変化の間隔が決定される。
また、撮像素子121'における画素121a内の矩形開口部Z111の垂直方向の位置は、撮像素子121'内における垂直方向の位置が同一の画素121a(同一の行の画素121a)内において同一になる。
さらに、図15(図14)で示される撮像素子121'を構成する各画素121aの主遮光部Z101、および矩形開口部Z111を変化させることで、画角を変化させることができる。
図16の右部は、図15(図14)の撮像素子121'に対して画角を広くする場合の撮像素子121'の構成を示している。また、図16の左部は、図16の右部における撮像素子121'の画素121aの構成を示している。
すなわち、図16の左部で示されるように、例えば、画素121a内に、図15における主遮光部Z101よりも遮光範囲が狭い主遮光部Z151(図16左部の黒色部)を設定し、それ以外の範囲を範囲Z152に設定する。さらに、範囲Z152内に、矩形開口部Z111よりも開口面積が広い矩形開口部Z161を設定する。
より詳細には、図16の左部で示されるように、画素121aの上辺および下辺の端部から画素121a内に向かって、それぞれ幅dx1'(<dx1)だけ遮光膜121bにより遮光され、左辺および右辺の端部から画素121a内に向かって、それぞれ高さdy1'(<dy1)だけ遮光膜121bにより遮光されることで、矩形開口部Z161が形成される。
ここで、図16の右部で示されるように、左端部で、かつ、上端部の画素121a-1は、矩形開口部Z161を、その左辺が画素121aの左辺から幅dx1'であって、その上辺が画素121aの上辺から高さdy1'の距離に配置して、矩形開口部Z161以外の範囲を遮光膜121bにより遮光する構成とする。
同様に、画素121a-1の右隣の画素121a-2は、矩形開口部Z161を、その左辺が画素121aの左辺から幅dx2'であって、その上辺が画素121aの上辺から高さdy1'に配置して、矩形開口部Z161以外の範囲を遮光膜121bにより遮光する構成とする。
以下同様に、水平方向に隣接する画素121aは、配置が図中の右側に進むにしたがって、矩形開口部Z161の右辺が、画素121aの右辺から幅dx1'、dx2'・・・dxn'と移動する。ここで、幅dx1'、dx2'・・・dxn'のそれぞれの間隔は、範囲Z152の水平方向の幅から矩形開口部Z161の水平方向の幅を引いた幅を、水平方向の画素数nで割った値となる。すなわち、水平方向の画素数nで割ることにより垂直方向の変化の間隔が決定される。したがって、幅dx1'、dx2'・・・dxn'の変化の間隔は、幅dx1、dx2・・・dxnの変化の間隔より大きくなる。
また、図16の撮像素子121'における画素121a内の矩形開口部Z161の水平方向の位置は、撮像素子121'内における水平方向の位置が同一の画素121a(同一の列の画素121a)内において同一になる。
さらに、画素121a-1の直下に隣接する画素121a-3は、矩形開口部Z161を、その左辺が画素121aの左辺から幅dx1'であって、その上辺が画素121aの上辺から高さdy2'に配置して、矩形開口部Z161以外の範囲を遮光膜121bにより遮光する構成とする。
以下同様に、垂直方向に隣接する画素121aは、配置が図中の下側に進むにしたがって、矩形開口部Z161の上辺が、画素121aの上辺から高さdy1'、dy2'・・・dym'と変化する。ここで、高さdy1'、dy2'・・・dym'の変化の間隔は、範囲Z152の垂直方向の高さから矩形開口部Z161の高さを引いた高さを垂直方向の画素数mで割った値となる。すなわち、垂直方向の画素数mで割ることにより垂直方向の変化の間隔が決定される。したがって、高さdy1'、dy2'・・・dym'の変化の間隔は、幅高さdy1、dy2・・・dymの変化の間隔より大きくなる。
また、図16の撮像素子121'における画素121a内の矩形開口部Z161の垂直方向の位置は、撮像素子121'内における垂直方向の位置が同一の画素121a(同一の行の画素121a)内において同一になる。
このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の(様々な入射角指向性を持った)画素121aからなる撮像素子121'を実現することが可能となる。
さらに、同一の画角の画素121aのみならず、様々な画角の画素121aを組み合わせて撮像素子121を実現させるようにしてもよい。
例えば、図17で示されるように、点線で示される2画素×2画素からなる4画素を1個の単位Uとして、それぞれの単位Uが、広画角の画素121a-W、中画角の画素121a-M、狭画角の画素121a-N、極狭画角の画素121a-ANの4画素から構成されるようにする。
この場合、例えば、全画素121aの画素数がXである場合、4種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる4種類の係数セットが使用されて、4種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、4種類の画角に応じた適切な復元画像を復元することが可能となる。
また、4種類の画角の中間の画角や、その前後の画角の画像を、4種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した矩形開口を有する遮光膜121bによる入射光指向性と同等の入射光指向性を実現することができる。勿論、この場合も、様々な画角の画素121aを組み合わせて撮像素子121を実現させることもできる。また、中間の画角や、その前後の画角の画像を、複数種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
<第3の変形例>
ところで、撮像素子121における画素121aの遮光膜121bの遮光している範囲にランダム性を持たせている場合、遮光膜121bの遮光している範囲の違いの乱雑さが大きいほど、復元部124等による処理の負荷は大きなものとなる。そこで、画素121aの遮光膜121bの遮光している範囲の違いの一部を規則的なものとして、この違いの乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
例えば、縦帯タイプと横帯タイプとを組み合わせたL字タイプの遮光膜121bを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜121bを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜121bを組み合わせるようにする。このようにすることにより、各画素121aの遮光膜121bの遮光範囲が、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに異なる値に設定されるようになる。その結果、各画素121aの遮光膜121bの遮光範囲の違い、すなわち、各画素の入射角指向性の違いの乱雑さを低減させ、復元部124等の撮像素子121の外部の処理負荷を低減させることができる。
例えば、図18の撮像素子121''の場合、範囲Z130で示される同一列の画素については、いずれも同一の幅X0の横帯タイプの遮光膜121bが用いられ、範囲Z150で示される同一行の画素については、同一の高さY0の縦帯タイプの遮光膜121bが用いられ、各行列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが設定されている。
同様に、範囲Z130に隣接する範囲Z131で示される同一列の画素については、いずれも同一の幅X1の横帯タイプの遮光膜121bが用いられ、範囲Z150に隣接する範囲Z151で示される同一行の画素については、同一の高さY1の縦帯タイプの遮光膜121bが用いられ、各行列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが設定されている。
さらに、範囲Z131に隣接する範囲Z132で示される同一列の画素については、いずれも同一の幅X2の横帯タイプの遮光膜が用いられ、範囲Z151に隣接する範囲Z152で示される同一行の画素については、同一の高さY2の縦帯タイプの遮光膜が用いられ、各行列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが設定されている。
このようにすることで、遮光膜121bの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を異なる値に設定することができるので、入射角指向性の違いの乱雑さを抑え込むことができる。結果として、係数セットのパターンを低減させることが可能となり、後段(例えば、復元部124等)における演算処理の処理負荷を低減させることが可能となる。
<第4の変形例>
画素単位の遮光膜121bの形状のバリエーションは、任意であり、上述した各例に限定されない。例えば、遮光膜121bを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせる(設定する)ようにしてもよいし、遮光膜121bを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。また、例えば、斜め方向の線状の遮光膜などでも良い。
また、所定数の複数の画素からなるユニットを構成する複数の画素単位で遮光膜121bのバリエーション(パターン)を設定するようにしてもよい。この1ユニットはどのような画素により構成されるようにしてもよい。例えば、撮像素子121がカラーフィルタを備えるものとし、そのカラーフィルタの色配列の単位を構成する画素により構成されるようにしてもよい。また、露光時間の異なる画素を組み合わせた画素グループをユニットとするようにしてもよい。なお、ユニットを構成する各画素における遮光膜121bが遮光する範囲のパターンのランダム性が高い方が、すなわち、ユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。
また、ユニット間で遮光膜121bの配置パターンを設定するようにしてもよい。例えば、ユニット毎に、遮光膜の幅や位置を変えるようにしてもよい。さらに、異なるカテゴリで分類される複数の画素からなるユニット内やユニット間で遮光膜121bが遮光する範囲のパターンを設定するようにしてもよい。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素121aの遮光膜121bの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性の違いの乱雑さを低減させ、復元部122等の撮像素子121の外部の処理負荷を低減させることができる。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、例えば、三角形、円形、斜め方向の線状等の、任意の形状の遮光膜による入射光指向性と同等の入射光指向性を実現することができる。
また、例えば、分割位置(各部分領域の大きさや形状)の設定、各フォトダイオードの位置、大きさ、形状等の設定、およびフォトダイオードの選択等を、上述した遮光膜121bの場合と同様に、ユニット毎に設定するようにしてもよい。
<フォトダイオードの制御>
図5を参照して上述したような画素内に配置した複数のフォトダイオードを選択的に用いる場合、複数のフォトダイオード121fのそれぞれの画素出力単位の出力画素値への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角指向性を様々に変化させることができるようにしてもよい。
例えば、図19に示されるように、画素121aに、フォトダイオード121f-111乃至121f-119の9個(縦3個×横3個)のフォトダイオード121fが配置されているとする。この場合、この画素121aを、フォトダイオード121f-111乃至121f-119を有する画素121a-bとして用いるようにしてもよいし、フォトダイオード121f-111、121f-112、121f-114、および121f-115を有する画素121a-sとして用いるようにしてもよい。
例えば、画素121aを画素121a-bとする場合、フォトダイオード121f-111乃至121f-119の当該画素121aの出力画素値への寄与の有無や度合いを制御することによって出力画素値の入射角指向性が制御される。これに対して、画素121aを画素121a-sとする場合、フォトダイオード121f-111、121f-112、121f-114、および121f-115の当該画素121aの出力画素値への寄与の有無や度合を制御することによって出力画素値の入射角指向性が制御される。この場合、その他のフォトダイオード121f(フォトダイオード121f-113、121f-116、121f-117乃至121f-119)は、出力画素値に寄与しないように制御される。
つまり、例えば複数の画素121a-b間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード121f-111乃至121f-119の内の少なくともいずれか1つの出力画素値への寄与の有無や度合いが異なる。これに対して、例えば複数の画素121a-s間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード121f-111、121f-112、121f-114、および121f-115の内の少なくともいずれか1つの出力画素値への寄与の有無や度合いが異なり、その他のフォトダイオード121f-113、121f-116、121f-117乃至121f-119は、これらの画素間で共通して、出力画素値に寄与しない。
なお、画素121aを画素121a-bとするか画素121a-sとするかは、画素毎に設定することができる。また、この設定をユニット(複数画素)毎に行うことができるようにしてもよい。
また、上述したように撮像素子121の各画素(各画素出力単位)にはオンチップレンズが1つ形成される。つまり、画素121aが図19に示される例のような構成の場合、図20に示されるように、そのフォトダイオード121f-111乃至121f-119に対して1つのオンチップレンズ121cが設けられる。したがって、図19を参照して説明したように画素121aを画素121a-bとする場合も、画素121a-sとする場合も、1画素(1画素出力単位)と1つのオンチップレンズ121cとが1対1に対応する。
<検出画像の解像度制御>
以上においては撮像素子121について説明した。図1の撮像装置100においては、以上のような撮像素子121を用いる。上述したように、この撮像素子121は、画素(画素出力単位)毎に入射角指向性を有する。例えば図21に示されるように、遮光膜121bで画素121a(画素出力単位)の一部を遮光することによってこの入射角指向性が形成される。
従来の撮像素子では、検出画像の解像度を制御することができなかった。つまり、撮像素子のすべての画素(画素出力単位)の検出信号を読み出し、読み出したすべての検出信号を用いて検出画像が生成された。そして、検出画像をどのように処理すれば解像度を変換することができるかは開示されていない。特許文献1にもそのような旨は記載も示唆もされていない。
したがって、例えば、撮像画像を低解像度化するためには、検出画像を撮像画像に変換してから低解像度化を行わなければならなかった。つまり、低解像度化する場合であっても、撮像素子121からの検出画像の読み出しやその検出画像から撮像画像への変換(画像処理)は高解像度の状態で行わなければならなかった。そのため、不要に負荷が増大し、不要に消費電力が増大するおそれがあった。
これに対して撮像装置100は、撮像素子121が図21に示されるように画素(画素出力単位)毎に入射角指向性を有しているので、画素(画素出力単位)毎に検出信号を取捨選択することができる。読み出し制御部122が、このような撮像素子121からの検出画像の読み出しを制御し、撮像素子121の各画素出力単位において得られる入射光の検出結果である検出信号のうち、検出画像に含める検出信号を選択するので、検出画像の解像度を制御することができる。したがって、例えば、検出画像の解像度を撮像素子121の解像度よりも低減させることができる。つまり、不要な消費電力の増大を抑制することができる。
<全画素モード>
次に、この読み出し制御部122による制御について説明する。撮像装置100は、図22に示されるように、撮像素子121の全画素の検出信号を読み出し、すべての検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを全画素モードと称する。
図22において、撮像素子121内の各四角は画素121a(画素単位出力)を示しており、撮像素子121内にその画素アレイの様子が模式図として示されている。なお、図22においては、水平方向に8画素、垂直方向に6画素の画素アレイが示されているが、撮像素子121の画素数は任意である。本明細書では撮像素子121が水平方向にW画素、垂直方向にH画素の画素アレイを有するものとする。
全画素モードの場合、読み出し制御部122は、読み出し制御信号を撮像素子121に供給し、撮像素子121の全画素から検出信号を読み出させる。つまり、解像度(W×H)の検出画像が撮像素子121から読み出される。図22において画素121aの斜線模様は、検出信号が読み出される画素121aを示している。つまり、全画素モードの場合、撮像素子121の画素アレイの全画素から検出信号が読み出される。
また、読み出し制御部122は、その読み出し制御信号を復元行列設定部123にも供給する。解像度(W×H)の復元画像を生成するとすると、復元行列設定部123は、その読み出し制御信号に従って、解像度(W×H)の検出画像と解像度(W×H)の復元画像とに対応する、縦(W×H)個×横(W×H)個の係数からなる復元行列を設定する。
復元部124において復元画像を生成する場合、復元部124は、撮像素子121から読み出された解像度(W×H)の検出画像を取得し、復元行列設定部123において設定された縦(W×H)個×横(W×H)個の係数からなる復元行列を取得し、それらを用いて解像度(W×H)の復元画像を生成する。
この検出画像は、撮像素子121において得られたものであり、図1乃至図20を参照して上述した特徴を有する情報である。つまり、検出画像は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、画素出力単位において得られる検出信号からなる検出画像である。
そして、復元行列も、図1乃至図20を参照して上述した復元行列であり、上述した特徴を有する。つまりこの復元行列は、検出画像から復元画像を復元する際に用いられる係数からなる行列である。復元部124は、このような復元行列を用いて、検出画像から復元画像を復元する。
<画素任意間引きモード>
また、撮像装置100は、図23に示されるように、撮像素子121の任意の一部の画素の検出信号を読み出し、読み出した任意の一部の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを画素任意間引きモードと称する。
図23においても、図22の場合と同様に撮像素子121内の画素アレイが示されている。
画素任意間引きモードの場合、読み出し制御部122は、読み出し制御信号を撮像素子121に供給し、撮像素子121の画素アレイ(複数の画素出力単位)のうち、任意の位置の一部の画素121a(画素出力単位)を選択し、その選択した画素121a(図中斜線模様の画素)から検出信号を読み出させる。読み出し制御部122は任意の数の画素を選択することができる。例えば、T個の画素を選択することができる。つまり、T個の検出信号からなる検出画像が撮像素子121から読み出される。
なお、読み出し制御部122が、読み出し制御信号を撮像素子121に供給し、撮像素子121の画素アレイの全ての画素121aから検出信号を読み出させ、読み出した検出信号のうち、任意の一部の画素から読みだされた検出信号を検出画像に含める検出信号として選択するようにしてもよい。
もちろん図23において選択されている画素121aは一例であり、選択される画素121aはこの例に限定されない。どの画素(の検出信号)を選択するか(どの画素から検出信号を読み出すか、または、どの画素から読み出した検出信号を選択するか)は、予め定められていてもよい。また、どの画素を選択するかの設定(画素選択設定)の候補が予め複数用意され、読み出し制御部122がその複数の候補の中から選択するようにしてもよい。その場合、読み出し制御部122が、例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等、任意の条件に基づいてその選択を行うようにしてもよい。
なお、この画素選択設定の候補は、読み出し制御部122内のメモリ(図示せず)や記憶部113等、撮像装置100の任意の処理部等に記憶するようにしてもよい。その場合、その候補は、撮像装置100の工場出荷時に記憶されているようにしてもよいし、工場出荷後に記憶(または更新)することができるようにしてもよい。もちろん、画素選択設定の候補が撮像装置100の外部に用意され、読み出し制御部122がその外部の候補の中から選択するようにしてもよい。
また、読み出し制御部122が、どの画素(の検出信号)を選択するかを任意に設定することができるようにしてもよい。その場合、例えば、画素選択設定の初期値(初期設定)を用意し、読み出し制御部122が、その初期設定を任意の条件(例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等)に基づいて更新するようにしてもよい。また、例えば、読み出し制御部122が、選択する画素を、任意の情報に基づいて、または、ランダムに設定するようにしてもよい。
また、読み出し制御部122は、撮像素子121に供給する読み出し制御信号を復元行列設定部123にも供給する。解像度(W1×H1)の復元画像を生成するとすると、復元行列設定部123は、その読み出し制御信号に従って、T個の検出信号よりなる検出画像と解像度(W1×H1)の復元画像とに対応する、縦(W1×H1)個×横T個の係数からなる復元行列を設定する。
復元部124において復元画像を生成する場合、復元部124は、撮像素子121または読み出し制御部122からT個の検出信号からなる検出画像を取得し、復元行列設定部123において設定された縦(W1×H1)個×横T個の係数からなる復元行列を取得し、それらを用いて解像度(W1×H1)の復元画像を生成する。
<画素規則性間引きモード>
また、撮像装置100は、図24に示されるように、撮像素子121の所定の規則性を有する位置関係にある一部の画素の検出信号を読み出し、読み出した所定の規則性を有する位置関係にある一部の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを画素規則性間引きモードと称する。
図24においても、図22の場合と同様に撮像素子121内の画素アレイが示されている。
画素規則性間引きモードの場合、読み出し制御部122は、読み出し制御信号を撮像素子121に供給し、撮像素子121の画素アレイ(複数の画素出力単位)のうち、所定の規則性を有する位置関係にある位置の一部の画素121a(画素出力単位)を選択し、その選択した画素121a(図中斜線模様の画素)から検出信号を読み出させる。読み出し制御部122は任意の数の画素を選択することができる。例えば、横W2個×縦H2個の画素を選択することができる。つまり、解像度(W2×H2)の検出画像が撮像素子121から読み出される。
なお、読み出し制御部122が、読み出し制御信号を撮像素子121に供給し、撮像素子121の画素アレイの全ての画素121aから検出信号を読み出させ、読み出した検出信号のうち、所定の規則性を有する位置関係にある一部の画素から読み出された検出信号を検出画像に含める検出信号として選択するようにしてもよい。
図24においては、1画素おきに画素121aが選択されているが、この選択は一例であり、選択される画素121aはこの例に限定されない。どの画素を選択するかは、画素任意間引きモードの場合と同様に、予め定められていてもよいし、読み出し制御部122が複数の候補の中から選択するようにしてもよいし、読み出し制御部122が任意に設定するようにしてもよい。
また、読み出し制御部122は、撮像素子121に供給する読み出し制御信号を復元行列設定部123にも供給する。解像度(W2×H2)の復元画像を生成するとすると、復元行列設定部123は、その読み出し制御信号に従って、解像度(W2×H2)の検出画像と解像度(W2×H2)の復元画像とに対応する、縦(W2×H2)個×横(W2×H2)個の係数からなる復元行列を設定する。
復元部124において復元画像を生成する場合、復元部124は、撮像素子121または読み出し制御部122から解像度(W2×H2)の検出画像を取得し、復元行列設定部123において設定された縦(W2×H2)個×横(W2×H2)個の係数からなる復元行列を取得し、それらを用いて解像度(W2×H2)の復元画像を生成する。
<エリア駆動モード>
また、撮像装置100は、図25に示されるように、撮像素子121の画素アレイが形成される領域(画素領域)の、1つの部分領域内に形成される画素の検出信号を読み出し、読み出したその部分領域内の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードをエリア駆動モードと称する。
図25においても、図22の場合と同様に撮像素子121内の画素アレイが示されている。
エリア駆動モードの場合、読み出し制御部122は、読み出し制御信号を撮像素子121に供給し、撮像素子121の画素領域の1つの部分領域内に形成される画素121a(画素出力単位)を選択し、その選択した画素121a(図中斜線模様の画素)から検出信号を読み出させる。読み出し制御部122は任意の数の画素を選択することができる。例えば、横W3個×縦H3個の画素を選択することができる。つまり、解像度(W3×H3)の検出画像が撮像素子121から読み出される。
なお、読み出し制御部122が、読み出し制御信号を撮像素子121に供給し、撮像素子121の画素アレイの全ての画素121aから検出信号を読み出させ、読み出した検出信号のうち、画素領域の所定の部分領域内に形成される画素121aから読み出された検出信号を検出画像に含める検出信号として選択するようにしてもよい。
図25においては、水平方向に4画素、垂直方向に3画素の合計12画素が選択されているが、この選択は一例であり、選択される画素121aはこの例に限定されない。どの画素を選択するかは、画素任意間引きモードの場合と同様に、予め定められていてもよいし、読み出し制御部122が複数の候補の中から選択するようにしてもよいし、読み出し制御部122が任意に設定するようにしてもよい。
また、読み出し制御部122は、撮像素子121に供給する読み出し制御信号を復元行列設定部123にも供給する。解像度(W3×H3)の復元画像を生成するとすると、復元行列設定部123は、その読み出し制御信号に従って、解像度(W3×H3)の検出画像と解像度(W3×H3)の復元画像とに対応する、縦(W3×H3)個×横(W3×H3)個の係数からなる復元行列を設定する。
復元部124において復元画像を生成する場合、復元部124は、撮像素子121または読み出し制御部122から解像度(W3×H3)の検出画像を取得し、復元行列設定部123において設定された縦(W3×H3)個×横(W3×H3)個の係数からなる復元行列を取得し、それらを用いて解像度(W3×H3)の復元画像を生成する。
<画素加算モード>
また、撮像装置100は、図26に示されるように、撮像素子121の全ての画素121aの検出信号を読み出し、読み出した各画素の検出信号を所定数毎に加算することができる。このような動作モードを画素加算モードと称する。
図26においても、図22の場合と同様に撮像素子121内の画素アレイが示されている。
画素加算モードの場合、読み出し制御部122は、読み出し制御信号を撮像素子121に供給し、撮像素子121の画素アレイの全ての画素121aから検出信号を読み出させ、読み出した各画素の検出信号を所定数毎に加算する。加算は任意の画素数毎に行うようにすることができる。つまり、加算後の検出画像の解像度は任意である。例えば、読み出し制御部122は、撮像素子121から読み出された解像度(W×H)の検出画像を、解像度(W4×H4)の検出画像に変換することができる。
図26においては、縦2画素×横2画素ずつ検出信号が加算されている。これは一例であり、検出信号の加算の仕方(どのような関係の画素の検出信号をいくつ加算するか)は任意であり、この例に限定されない。この検出信号の加算の仕方(画素加算設定)は、予め定められていてもよい。また、画素加算設定の候補が予め複数用意され、読み出し制御部122がその複数の候補の中から選択するようにしてもよい。その場合、読み出し制御部122が、例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等、任意の条件に基づいて選択を行うようにしてもよい。
なお、画素加算設定の候補は、読み出し制御部122内のメモリ(図示せず)や記憶部113等、撮像装置100の任意の処理部等に記憶するようにしてもよい。その場合、この画素加算設定の候補は、撮像装置100の工場出荷時に記憶されているようにしてもよいし、工場出荷後に記憶(または更新)することができるようにしてもよい。もちろん、画素加算設定の候補が撮像装置100の外部に用意され、読み出し制御部122がその外部の候補の中から選択するようにしてもよい。
また、読み出し制御部122が、検出信号の加算の仕方を任意に設定することができるようにしてもよい。その場合、例えば、画素加算設定の初期値(初期設定)が予め用意され、読み出し制御部122が、その初期設定を任意の条件(例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等)に基づいて更新するようにしてもよい。また、例えば、読み出し制御部122が、どの画素の検出信号を加算するかを、任意の情報に基づいて、または、ランダムに設定するようにしてもよい。
また、読み出し制御部122は、その読み出し制御信号を復元行列設定部123にも供給する。解像度(W4×H4)の復元画像を生成するとすると、復元行列設定部123は、その読み出し制御信号に従って、解像度(W4×H4)の検出画像と解像度(W4×H4)の復元画像とに対応する、縦(W4×H4)個×横(W4×H4)個の係数からなる復元行列を設定する。
復元部124において復元画像を生成する場合、復元部124は、読み出し制御部122により変換された解像度(W4×H4)の検出画像を取得し、復元行列設定部123において設定された縦(W4×H4)個×横(W4×H4)個の係数からなる復元行列を取得し、それらを用いて解像度(W4×H4)の復元画像を生成する。
<各モードの比較>
各モードの比較例を図27の表に示す。動作モード(読み出し方式)が全画素モードの場合、撮像装置100は、撮像素子121の全ての画素の検出信号を含む検出画像を得ることができる。つまり、撮像装置100は、他のモードよりも高解像度の復元画像を得ることができる。
動作モードが画素任意間引きモードの場合、撮像装置100は、全画素モードの場合よりも低解像度の検出画像を得ることができる。したがって、撮像素子121や復元画像への変換処理等の負荷を低減させることができ、消費電力の増大を抑制することができる。また、どの画素の検出信号を検出画像に含めるかを設定することができるので、撮像装置100は、検出画像の解像度を、全画素モードの場合の検出画像の解像度以下の範囲で任意に設定する(制御する)ことができる。さらに、撮像素子121の一部の画素から検出信号を読み出すようにすることができるので、全画素モードの場合よりも、撮像素子121の撮像から検出信号の読み出しまでの動作を高速化することができる。例えば、撮像素子121により動画像を得る場合、その動画像のフレームレートを、全画素モードの場合よりも高くすることができる。
動作モードが画素規則性間引きモードの場合、撮像装置100は、画素任意間引きモードと同様の効果を得ることができる。なお、一般的に、画素規則性間引きモードの方が、画素任意間引きモードに比べて設計が容易である。逆に、一般的に、画素任意間引きモードの方が、画素規則性間引きモードに比べて設計の自由度が高い。
動作モードがエリア駆動モードの場合、撮像装置100は、画素任意間引きモードと同様の効果を得ることができる。なお、一般的に、エリア駆動モードの方が、画素規則性間引きモードに比べて設計が容易である。また、一般的に、画素任意間引きモードの方が、エリア駆動モードに比べて設計の自由度が高い。
動作モードが画素加算モードの場合、撮像装置100は、全画素モードの場合よりも低解像度の検出画像を得ることができる。したがって、復元画像への変換処理等の負荷を低減させることができ、消費電力の増大を抑制することができる。また、検出信号の加算の仕方を設定することができるので、撮像装置100は、検出画像の解像度を、全画素モードの場合の検出画像の解像度以下の範囲で任意に設定する(制御する)ことができる。さらに、全画素モードの場合よりも、撮像素子121の撮像から検出信号の読み出しまでの動作を高速化することができる。例えば、撮像素子121により動画像を得る場合、その動画像のフレームレートを、全画素モードの場合よりも高くすることができる。また、このモードの場合、複数の画素の検出信号が加算されるので、他のモードの場合に比べて、検出画像のS/N比を向上させることができる。つまり、復元画像の画質の低減を抑制することができる。
<画角設定>
なお、画素任意間引きモード、画素規則性間引きモード、エリア駆動モード、および画素加算モードの場合のように、検出画像の解像度を低減させる場合、解像度低減後の検出画像全体の入射角指向性が、解像度低減前の検出画像、すなわち、全画素モードの検出画像全体の入射角指向性と同等となるようにしてもよい。
入射角指向性が同等であるとは、被写体面の同じ範囲を撮像することができるということ、すなわち、画角が同等であるということである。例えば、図28の上側に示されるように、撮像素子121が画角313で被写体面311を撮像すると範囲312が撮像されるものとする。図中水平方向についてのみ考える場合、撮像素子121の各画素の入射角指向性の重心は、画角313の範囲に分布する。換言するに、撮像素子121の各画素の入射角指向性の重心の角度範囲が画角313となる。つまり、入射角指向性を同等とするように画素を選択する場合、各画素の入射角指向性の重心の角度範囲が、解像度低減前と後とで同等なるように画素(の検出信号)の選択が行われる。
範囲312の目標解像度が決まると画角の分解能314の大きさが決まる。この分解能314は、言い換えると、各画素の入射角指向性の重心の角度差である。つまり、解像度を低減させると、各画素の入射角指向性の重心の角度差を大きくする必要がある。
このことは、画角313を実現する画素数が低減することからも言える。例えば、図28の下側に示されるように、水平方向に8種類の位置に開口部が形成された画素(画素121a-1乃至画素121a-8)によって画角313が実現されるとする。画素121a-1の光入射面には開口部301-1が形成されている。同様に、画素121a-2乃至画素121a-8の光入射面には、それぞれ、開口部301-2乃至開口部301-8が形成されている。図28に示されるように、各画素における開口部301-1乃至開口部301-8の位置は、水平方向に左から右に向かうように互いにずれており、開口部301-1が画素内の最も左側に形成され、開口部301-8が画素内の最も右側に形成されている。ここから例えば画素121a-1、画素121a-3、画素121a-5、画素121a-7を選択するとすると、各画素の入射角指向性の重心の角度差が約2倍になり、画角313が略同等のまま、解像度を低減させることができる。
つまり、検出画像の各画素出力単位が表す入射角指向性の重心の角度差を大きくして、画角313を維持するように解像度を低減させることにより、解像度を低減させる前と後とで検出画像の入射角指向性を同等とすることができる。
以上においては水平方向について説明したが、垂直方向についても同様である。つまり、全ての方向について、検出画像の各画素出力単位が表す入射角指向性の重心の角度差を大きくして、画角を維持するように解像度を低減させることにより、解像度を低減させる前と後とで検出画像の入射角指向性を同等とすることができる。
このようにすることにより、復元画像の画角(FOV(Field Of View))を低減させずに解像度を低減させることができる。つまり、復元画像の内容を変えずに解像度を低減させることができる。
画素任意間引きモードでこのようなことを行うには、読み出し制御部122が、選択した画素出力単位の全体が、撮像素子121の全画素出力単位と同等の入射角指向性をもつように、画素出力単位を選択すればよい。
画素規則性間引きモードでこのようなことを行うには、撮像素子121の、所定の規則性を有する位置関係にある画素出力単位群全体が、撮像素子121の全画素出力単位と同等の入射角指向性をもつように設計されている必要がある。読み出し制御部122は、そのように設計された画素出力単位群を選択すればよい。
エリア駆動モードでこのようなことを行うには、撮像素子121の、画素領域の所定の部分領域内に形成される画素出力単位群全体が、撮像素子121の全画素出力単位と同等の入射角指向性をもつように設計されている必要がある。読み出し制御部122は、そのように設計された部分領域の画素出力単位群を選択すればよい。
画素加算モードでこのようなことを行うには、撮像素子121の各画素出力単位が、画素出力単位の加算前後において同等の入射角指向性をもつように設計されている必要がある。そして、読み出し制御部122は、その設計に従った加算の仕方で各画素出力単位を加算すればよい。
<画素加算の仕方>
なお、画素加算モードにおいて、読み出し制御部122が、入射角指向性が互いに類似する画素出力単位の検出信号同士を加算するようにしてもよい。
加算後の検出信号に含まれる入射角指向性は、検出信号が加算される各画素出力単位の入射角指向性の加算結果となる。したがって、一般的に、加算後の検出信号に含まれる入射角指向性は、検出信号を加算する画素出力単位の入射角指向性の差が大きいほど、その指向性が弱くなる。つまり、画素単位出力間の入射角指向性の差が少なくなるため、復元性能が低減し、復元画像の主観的画質が低減するおそれがある。換言するに、検出信号を加算する画素出力単位の入射角指向性の差が小さいほど、その指向性の低減を抑制することができる。
つまり、画素加算モードにおいて、読み出し制御部122が、入射角指向性がより類似する画素出力単位の検出信号同士を加算するようにすることにより、復元画像の主観的画質の低減を抑制することができる。
換言するに、画素加算モードにおいて読み出し制御部122により検出信号を加算させる画素出力単位の組み合わせにおいて、互いの入射角指向性がより類似するように撮像素子121を設計することにより、復元画像の主観的画質の低減を抑制することができる。
また、画素加算モードにおいて、読み出し制御部122が、互いに近接する画素出力単位同士で検出信号を加算するようにしてもよい。
入射角指向性を抜きにして考えると、画素出力単位で検出される入射光の光源位置は、その画素出力単位の位置に依存する。したがって、例えば、物理的な位置が近い画素出力単位同士程、近い位置の光源からの入射光を検出することができる。つまり、同じ対象を撮像している可能性が高くなる。したがって、検出信号の加算により、複数の対象の画像が混在することを抑制することができ、復元画像の画質の低減を抑制することができる。
つまり、画素加算モードにおいて、読み出し制御部122が、より近接する画素出力単位同士で検出信号を加算するようにすることにより、復元画像の主観的画質の低減を抑制することができる。
換言するに、画素加算モードにおいて読み出し制御部122により検出信号を加算させる画素出力単位の組み合わせにおいて、互いがより近接するように撮像素子121を設計することにより、復元画像の主観的画質の低減を抑制することができる。
<モード選択>
以上において、解像度制御の動作モードの例として、全画素モード、画素任意間引きモード、画素規則性間引きモード、エリア駆動モード、および画素加算モードを説明したが、解像度制御の動作モードは任意であり、この例に限定されない。
また、読み出し制御部122が、複数の動作モードの中からいずれかを選択することができるようにしてもよい。例えば、上述の全画素モード、画素任意間引きモード、画素規則性間引きモード、エリア駆動モード、および画素加算モードが候補として用意され、読み出し制御部122は、いずれかのモードを選択して適用し、その動作モードで解像度の制御を行うようにしてもよい。
このようにすることにより、撮像装置100は、読み出し制御部122の解像度制御の動作モードを切り替えるだけで、より容易に、より多様な仕様の検出画像(または復元画像)を得ることができる。
なお、このモード選択の根拠は任意である。例えば、撮像の動作モードに基づいて選択されるようにしてもよいし、ユーザによりモードが指定されるようにしてもよい。モードの切り替えタイミングも任意である。もちろん、候補とする動作モードは任意である。
<復元行列>
復元行列設定部123は、上述のように解像度が制御された検出画像と復元画像とに対応する復元行列を設定する。この設定方法は任意である。例えば、予め定められていてもよいし、復元行列設定部123が複数の候補の中から選択するようにしてもよいし、復元行列設定部123が任意に設定するようにしてもよい。
<復元行列の設計>
復元行列の設計方法は任意である。例えば、物理モデルに基づいて設計するようにしてもよい。撮像画像(復元画像と同一とする)は、被写体の像が結像された画素値により構成される、ユーザが目視して画像として認識できる画像である。撮像素子121では、この撮像画像が、各画素の入射角指向性や被写体距離等のパラメータによって検出画像に変換される。
つまり、全画素モードの場合、図29のAに示されるように、検出画像331の行列を、撮像行列332(A)と復元画像333の行列との積により表すことができる。ただし、この行列式において、検出画像331の行列は、解像度(W×H)の検出画像331の各列の検出信号を1列に並べ替えたものであり、縦(W×H)×横1の行列である。また、復元画像333の行列は、解像度(W×H)の復元画像333の各列の検出信号を1列に並べ替えたものであり、縦(W×H)×横1の行列である。撮像行列332(A)は、縦(W×H)個×横(W×H)個の係数からなる。各係数の値は、撮像素子121の各画素の入射角指向性や被写体距離等によって決まる。
換言するに、全画素モードの場合の復元処理は、図29のBに示されるような行列式により表すことができる。つまり、図29のBに示されるように、復元画像333の行列は、復元行列334と、検出画像331との積により表すことができる。この行列式において、検出画像331の行列は、縦(W×H)×横1の行列である。また、復元画像333の行列は、縦(W×H)×横1の行列である。復元行列334は、撮像行列332(A)の逆行列(Ainv)であり、縦(W×H)個×横(W×H)個の係数からなる。
以上のように、全画素モードの場合、撮像素子121の各画素の入射角指向性や被写体距離等に基づいて、撮像行列332を設計し、その逆行列を復元行列334としてもよい。
他のモードの場合も、基本的に同様の行列式が成立するが、検出画像や復元画像の解像度が全画素モードの場合と異なるので、それに応じて撮像行列332や復元行列334の行数および列数を設定する必要がある。
<全画素モードの場合>
全画素モードの場合についてより具体的な例を説明する。図30のAに示されるように、検出画像331が4×4画素出力単位であるものとし、図30のBに示されるように、復元画像333が4×4画素であるものとする。
全画素モードの場合、図29のAに示される行列式において、検出画像331と復元画像333は、それぞれ、図31に示されるように16×1の行列で表される。したがって、撮像行列332は、16×16の行列となる。したがって、復元行列も16×16の行列となる。
<画素任意間引きモードの場合>
次に画素任意間引きモードの場合について説明する。例えば、図32のAに示されるように、4×4画素出力単位の検出画像331から斜線模様の4画素出力単位を選択するものとする。また、図32のBに示されるように、復元画像333においては、4画素を均等に配置するものとする。
画素任意間引きモードの場合の撮像行列は、全画素モードの撮像行列を基に設計することができる。例えば、図31の全画素モードの行列式の各行列において、対応する係数を抽出すればよい。つまり、図32のAに示される検出画像331の斜線模様の各画素出力単位の検出信号は、図33に示されるように、全画素モードの場合の検出画像331の行列の斜線模様で示される係数に相当する。また、図32のBに示される復元画像333の斜線模様の各画素の画素値は、図33に示されるように、全画素モードの場合の復元画像333の行列の斜線模様で示される係数に相当する。
したがって、画素任意間引きモードの場合の撮像行列332は、図33に示されるように、全画素モードの場合の撮像行列の、検出画像331の行列の斜線模様で示される係数と、復元画像333の行列の斜線模様で示される係数とに対応する位置の係数(斜線模様で示される係数)に相当する。したがって、これらの係数を抽出する(選択して読み出す)ことにより、画素任意間引きモードの場合の撮像行列332を生成することができる。つまり、図33の場合、4×4の撮像行列332が得られる。
<画素規則性間引きモードの場合>
次に画素規則性間引きモードの場合について説明する。画素規則性間引きモードの場合も、基本的に画素任意間引きモードと同様の方法で撮像行列を設計することができる。例えば、図34のAに示されるように、4×4画素出力単位の検出画像331から等間隔に4画素出力単位(斜線模様)を選択するものとする。また、図34のBに示されるように、復元画像333においては、4画素を均等に配置するものとする。
つまりこの場合も、図31の全画素モードの行列式の各行列において、対応する係数を抽出すればよい。図35において、検出画像331の行列の斜線模様で示される係数は、図34のAに示される検出画像331の斜線模様の各画素出力単位の検出信号に相当する。また、図35において、復元画像333の行列の斜線模様で示される係数は、図34のBに示される復元画像333の斜線模様の各画素の画素値に相当する。画素規則性間引きモードの場合の撮像行列332は、図35に示されるように、これらの係数に対応する位置の係数(斜線模様で示される係数)に相当する。したがって、これらの係数を抽出する(選択して読み出す)ことにより、画素規則性間引きモードの場合の撮像行列332を生成することができる。つまり、図35の場合、4×4の撮像行列332が得られる。
<エリア駆動モードの場合>
次にエリア駆動モードの場合について説明する。エリア駆動モードの場合も、基本的に画素任意間引きモードと同様の方法で撮像行列を設計することができる。例えば、図36のAに示されるように、4×4画素出力単位の検出画像331から中央の2×2画素出力単位(斜線模様)を選択するものとする。また、図36のBに示されるように、復元画像333においては、4画素を均等に配置するものとする。
つまりこの場合も、図31の全画素モードの行列式の各行列において、対応する係数を抽出すればよい。図37において、検出画像331の行列の斜線模様で示される係数は、図36のAに示される検出画像331の斜線模様の各画素出力単位の検出信号に相当する。また、図37において、復元画像333の行列の斜線模様で示される係数は、図36のBに示される復元画像333の斜線模様の各画素の画素値に相当する。エリア駆動モードの場合の撮像行列332は、図37に示されるように、これらの係数に対応する位置の係数(斜線模様で示される係数)に相当する。したがって、これらの係数を抽出する(選択して読み出す)ことにより、エリア駆動モードの場合の撮像行列332を生成することができる。つまり、図37の場合、4×4の撮像行列332が得られる。
<画素加算モードの場合>
次に画素加算モードの場合について説明する。画素加算モードの場合も、基本的に画素任意間引きモードと同様の方法で撮像行列を設計することができる。例えば、図38のAに示されるように、4×4画素出力単位の検出画像331の検出信号を、2×2画素出力単位ずつ加算するものとする。この場合、図38のBに示されるように、復元画像333においても、4×4画素の画素値が2×2画素ずつ加算されたものと同等の画素値が得られる。
つまりこの場合も、図31の全画素モードの行列式の各行列において、対応する係数を抽出すればよい。図39において、検出画像331の行列の右上左下の斜線模様で示される係数は、図38のAに示される検出画像331の右上左下の斜線模様の各画素出力単位の検出信号に相当する。同様に図39の検出画像331の行列の左上右下の斜線模様で示される係数は、図38のAの検出画像331の左上右下の斜線模様の各画素出力単位の検出信号に相当する。また、図39の検出画像331の行列の網掛け模様で示される係数は、図38のAの検出画像331の網掛け模様の各画素出力単位の検出信号に相当する。また、図39の検出画像331の行列のグレーで示される係数は、図38のAの検出画像331のグレーの各画素出力単位の検出信号に相当する。
復元画像333についても同様である。図39において、復元画像333の行列の右上左下の斜線模様で示される係数は、図38のBに示される復元画像333の右上左下の斜線模様の各画素の画素値に相当する。同様に、図39の復元画像333の行列の左上右下の斜線模様で示される係数は、図38のBの復元画像333の左上右下の斜線模様の各画素の画素値に相当する。また、図39の復元画像333の行列の網掛け模様で示される係数は、図38のBの復元画像333の網掛け模様の各画素の画素値に相当する。また、図39の復元画像333の行列のグレーで示される係数は、図38のBの復元画像333のグレーの各画素の画素値に相当する。
画素加算モードの場合の撮像行列332は、図39に示されるように、これらの係数に対応する位置の係数(模様や色で示される係数)に相当する。したがって、これらの係数を抽出する(例えば、同じ模様の係数同士の平均値を算出する)ことにより、画素加算モードの場合の撮像行列332を生成することができる。
<撮像行列の逆行列>
上述のように、復元行列は、撮像行列の逆行列として求めることができる。つまり、図40の右上部で示されるように、N画素×N画素の検出画像PicからN×N画素の復元画像を求める場合、N×N行1列の復元画像の各画素の画素値を要素とするベクトルX、N×N行1列の検出画像の各画素の画素値を要素とするベクトルY、および、係数セットからなるN×N行N×N列の行列Aにより、図40の左部で示されるような関係が成立する。
すなわち、図40においては、係数セットからなるN×N行N×N列の行列A(撮像行列)の各要素と、復元画像を表すN×N行1列のベクトルXとを乗算した結果が、検出画像を表すN×N行1列のベクトルYとなることが示されており、この関係から連立方程式が構成される。
尚、図40においては、行列Aの範囲Z201で示される1列目の各要素が、ベクトルXの1行目の要素に対応しており、行列Aの範囲Z202で示されるN×N列目の各要素が、ベクトルXのN×N行目の要素に対応していることを示している。
換言すれば、図40で示される行列式に基づいた連立方程式を解くことにより、ベクトルXの各要素が求められることにより復元画像が求められる。また、ピンホールを用いた場合、および、撮像レンズ等の、同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Aは、正方行列であって対角成分((i,i)要素)が全て1からなり、対角成分以外が全て0からなる対角行列になる。逆に、図2の撮像素子121のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Aは対角行列にならない。
ところで、一般的に、図40の行列式は、両辺に行列Aの逆行列A-1(復元行列)を左から乗じることにより、図41で示されるように変形され、検出画像を表すベクトルYに逆行列A-1を右から乗じることで、復元画像を表すベクトルXの各要素が求められる。
しかしながら、現実の行列Aは、正確に求められない、正確に測定できない、行列Aの基底ベクトルが線形従属に近いケースで解けない、および、検出画像の各要素にノイズが含まれるといった理由のいずれか、または組み合わせで、連立方程式を解くことができないことがある。
そこで、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた、以下の式(7)をとる。
Figure 0007259757000001
・・・(7)
ここで、式(7)にxの上部に「^」が付されたものは、ベクトルXを、Aは、行列Aを、Yは、ベクトルYを、γはパラメータを、||A||はL2ノルム(二乗和平方根)を表している。ここで、第一項は、図40の両辺の差異を最小にするときのノルムであり、第二項は正則化項である。
この式(7)をxについて解くと、以下の式(8)で表現される。
Figure 0007259757000002
・・・(8)
しかしながら、例えば図31に示されるように、撮像行列Aは膨大なサイズであるので、計算時間や計算に大容量のメモリが必要になる。
そこで、例えば、図42で示されるように、行列Aを、N行N列の行列ALと、N行N列の行列ARとに分解し、それぞれ復元画像を表すN行N列の行列Xの前段と後段とから掛けた結果が、検出画像を表すN行N列の行列Yとなるようにすることを考える。これにより、要素数(N×N)×(N×N)の行列Aに対して、要素数が(N×N)の行列AL、ARとなるので、要素数を1/(N×N)に小さくすることができる。結果として、要素数が(N×N)からなる2個の行列AL,ARを用いるだけで済むので、計算量とメモリの容量を低減させることができる。
ここで、Aは、行列Aの転置行列であり、γはパラメータであり、Iは、単位行列である。式(8)におけるカッコ内の行列を行列ALとし、行列Aの転置行列の逆行列を行列ARとすることで。図42で示される行列式を実現する。
このように図42で示されるような計算は、図43で示されるように、行列Xにおける注目要素Xpに対しては、行列ALの対応する列の各要素群Z221を乗算することで、要素群Z222が求められる。さらに、要素群Z222と行列ARの注目要素Xpに対応する行の要素とを乗算することで、注目要素Xpに対応する2次元応答Z224が求められる。そして、行列Xの全要素に対応する2次元応答Z224が積算されることで行列Yが求められる。
そこで、行列ALの各行に対応する要素群Z221には、図18で示される撮像素子121の列毎に同一の幅に設定される横帯タイプの画素121aの入射角指向性に対応する係数セットを持たせる。
同様に、行列ARの各行の要素群Z223には、図18で示される撮像素子121の行毎に設定される同一の高さに設定される縦帯タイプの画素121aの入射角指向性に対応する係数セットを持たせる。
この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくさせることが可能となるので、計算量が低減することで、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
尚、図18の例においては、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光される範囲(受光できる範囲)を変化させる例が示されているが、本開示の技術においては、このように画素単位で遮光される範囲(受光できる範囲)が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光される範囲(受光できる範囲)が完全にランダムに設定される場合のみならず、ある程度ランダムなもの(例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合)、または、ある程度規則性がなさそうなもの(全画素のうち、図18を参照して説明したような規則に従って配置されていることが確認できない配置の場合)についてもランダムであるものとみなす。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素121aの遮光膜121bの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性の違いの乱雑さを低減させ、復元部122等の撮像素子121の外部の処理負荷を低減させることができる。
<撮像処理の流れ>
以上のような撮像装置100により実行される撮像処理の流れの例を、図44のフローチャートを参照して説明する。
撮像処理が開始されると、ステップS101において、読み出し制御部122は、撮像素子121の、検出信号を読み出す画素を設定する。読み出し制御部122は、例えば、上述の動作モードを選択することにより、検出信号を読み出す画素を設定する。
ステップS102において、撮像素子121は、被写体を撮像する。
ステップS103において、読み出し制御部122は、ステップS101において設定した画素から、ステップS102の撮像により得られた検出信号(検出画像)を読み出す。
ステップS104において、復元行列設定部123は、ステップS101において設定された画素に対応する復元行列を設定する。
ステップS105において、復元部124または関連付け部125は、ステップS103において読み出された検出画像と、ステップS104において設定された復元行列とを用いて、出力データを生成する。
例えば、復元部124は、復元係数を用いて検出画像を復元画像に変換する。復元部124は、この復元画像のデータを出力データとする。また、例えば、関連付け部125は、検出画像のデータに復元係数のデータを関連付けて、出力データとする。
ステップS107において、出力データが出力される。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体116への記録等が含まれるようにしてもよい。
まず、Raw画像(同時化処理や色分離処理等(例えば、デモザイク処理等)が施された復元画像でもよい)を出力する場合について説明する。例えば、出力が「表示」の場合、復元部124は、Raw画像のデータ等を出力部112に供給する。出力部112は、そのRaw画像を、画像表示デバイス(例えばLCD(Liquid Crystal Display)等)に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、復元部124は、Raw画像のデータ等を出力部112に供給する。出力部112は、そのRaw画像のデータ等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、復元部124は、Raw画像のデータ等を記憶部113に供給する。記憶部113は、そのRaw画像のデータ等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、復元部124は、Raw画像のデータ等を通信部114に供給する。通信部114は、所定の通信方式で他の装置と通信を行い、そのRaw画像のデータ等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、復元部124は、Raw画像のデータ等を記録再生部115に供給する。記録再生部115は、そのRaw画像のデータ等を、自身に装着された記録媒体116に記録する。
次に、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力する場合について説明する。例えば、出力が「表示」の場合、関連付け部125は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部112に供給する。出力部112は、その検出画像のデータおよび画像復元係数等に関する画像や文字などの情報を、画像表示デバイス(例えばLCD(Liquid Crystal Display)等)に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、関連付け部125は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部112に供給する。出力部112は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、関連付け部125は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記憶部113に供給する。記憶部113は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、関連付け部125は、互いに関連付けられた検出画像のデータおよび画像復元係数等を通信部114に供給する。通信部114は、所定の通信方式で他の装置と通信を行い、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、関連付け部125は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記録再生部115に供給する。記録再生部115は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身に装着された記録媒体116に記録する。
出力データが出力されると、撮像処理が終了する。以上のように撮像処理を行うことにより、検出画像の解像度を制御することができる。
<カラー画像>
本技術は、カラー画像にも適用することができる。その場合、図45に示されるように、色成分毎に上述の場合と同様の処理を行うようにすればよい。つまり、検出画像が色成分毎に読み出され、復元行列が色成分毎に算出され、それらを用いて復元画像が色成分毎に生成されるようにする。その場合、例えば、RGB結合部401を設け、そのRGB結合部401により、色成分毎の復元画像が結合され、カラー画像の復元画像が得られるようにしてもよい。
<2.第2の実施の形態>
<画像処理装置>
本技術は、上述の撮像装置100以外の任意の装置に適用することができる。例えば、本技術は、画像処理装置500に適用することができる。図46は、本技術を適用した画像処理装置の一実施の形態である画像処理装置の主な構成例を示す図である。図46に示される画像処理装置500は、入力された検出画像の解像度を制御する装置である。
図46に示されるように、画像処理装置500は、制御部501、入力部511、出力部512、記憶部513、通信部514、および記録再生部515を有する。また画像処理装置500は、バッファ521、読み出し制御部522、復元行列設定部523、復元部524、関連付け部525、およびセンサ部526を有する。各処理部等は、バス510を介して互いに接続され、互いに情報や命令等を授受することができる。
なお、バッファ521および読み出し制御部522は、一体化して解像度処理部520としてもよい。解像度処理部520は、どのような物理的構成により実現されるようにしてもよい。例えば、解像度処理部520が、システムLSI等としてのプロセッサとして実現されるようにしてもよい。また、解像度処理部520が、例えば複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実現されるようにしてもよい。また、解像度処理部520を装置として実現するようにしてもよい。
制御部501は、画像処理装置500内の各処理部等の制御に関する処理を行うように構成される。例えば、制御部501は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
入力部511は、情報の入力に関する処理を行うように構成される。例えば、入力部511は、操作ボタン、ダイヤル、スイッチ、タッチパネル、リモートコントローラ、センサ等の入力デバイスや外部入力端子を有する。例えば、入力部511は、それらの入力デバイスによってユーザ等の外部からの指示(入力された操作に対応する情報)を受け付ける。また、例えば、入力部511は、外部入力端子を介して、外部の装置から供給される任意の情報(プログラム、コマンド、データ等)を取得する。また、例えば、入力部511は、その受け付けた情報(取得した情報)を、バス510を介して他の処理部等に供給する。
なお、入力部511が有するセンサは、例えば加速度センサ等、ユーザ等の外部からの指示を受け付けることができるものであれば、どのようなものであってもよい。また、入力部511が有する入力デバイスは任意であり、その数も任意である。入力部511が複数種類の入力デバイスを有するようにしてもよい。例えば、入力部511が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、入力部511が、上述した例以外の入力デバイスを有するようにしてもよい。さらに、例えば、入力部511が、バス510を介して供給される自身(入力デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
出力部512は、情報の出力に関する処理を行うように構成される。例えば、出力部512は、モニタ等の画像表示デバイス、プロジェクタ等の画像投影デバイス、スピーカ等の音声出力デバイス、外部出力端子等を有する。例えば、出力部512は、それらの出力デバイス等を用いて、バス510を介して他の処理部等から供給される情報を出力する。例えば、出力部512は、撮像画像(後述する復元画像)をモニタに表示したり、撮像画像(後述する復元画像)をプロジェクタから投影したり、音声(例えば入力操作や処理結果等に対応する音声)を出力したり、任意の情報(プログラム、コマンド、データ等)を外部(他の機器)に出力したりする。
なお、出力部512が有する出力デバイス等は任意であり、その数も任意である。出力部512が複数種類の出力デバイス等を有するようにしてもよい。例えば、出力部512が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、出力部512が、上述した例以外の出力デバイス等を有するようにしてもよい。さらに、例えば、出力部512が、バス510を介して供給される自身(出力デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
記憶部513は、情報の記憶に関する処理を行うように構成される。例えば、記憶部513は、ハードディスクや半導体メモリ等のような、任意の記憶媒体を有する。例えば、記憶部513は、バス510を介して他の処理部等から供給される情報(プログラム、コマンド、データ等)をその記憶媒体に記憶する。また、記憶部513は、出荷時において任意の情報(プログラム、コマンド、データ等)を記憶しているようにしてもよい。また、記憶部513は、任意のタイミングにおいて、または、他の処理部等からの要求に応じて、その記憶媒体に記憶されている情報を読み出し、読み出した情報を、バス510を介して他の処理部等に供給する。
なお、記憶部513が有する記憶媒体は任意であり、その数も任意である。記憶部513が複数種類の記憶媒体を有するようにしてもよい。例えば、記憶部513が、上述した記憶媒体の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、記憶部513が、上述した例以外の記憶媒体等を有するようにしてもよい。また、例えば、記憶部513が、バス510を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
通信部514は、他の装置との通信に関する処理を行うように構成される。例えば、通信部514は、所定の通信媒体(例えばインターネット等の任意のネットワーク)を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを有する。例えば、通信部514は、他の装置と通信を行い、バス510を介して他の処理部等より供給される情報(プログラム、コマンド、データ等)を、その通信相手である他の装置に供給する。また、例えば、通信部514は、他の装置と通信を行い、その通信相手である他の装置から供給される情報を取得し、その情報を、バス510を介して他の処理部等に供給する。
通信部514が有する通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。通信方法や通信規格は任意である。例えば、通信部514が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。また、例えば、通信部514が、バス510を介して供給される自身(通信デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
記録再生部515は、自身に装着された記録媒体516を利用した情報の記録や再生に関する処理を行うように構成される。例えば、記録再生部515は、自身に装着された記録媒体516に記録されている情報(プログラム、コマンド、データ等)を読み出し、その情報を、バス510を介して他の処理部等に供給する。また、例えば、記録再生部515は、バス510を介して他の処理部等から供給される情報を取得し、その情報を、自身に装着された記録媒体516に書き込む(記録する)。なお、例えば、記録再生部515が、バス510を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
なお、記録媒体516は、どのようなものであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。
バッファ521は、所定の記憶領域を有する。例えば、バッファ521は、読み出し制御部522の制御に従って駆動する。例えば、バッファ521は、外部から入力される検出画像(すなわち、他の装置等において撮像された検出画像)のデータをその記憶領域に記憶する。
この検出画像は、他の装置の、上述した撮像素子121と同様の撮像素子において得られたものであり、図1乃至図20を参照して上述した特徴を有する情報である。つまり、検出画像は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、画素出力単位において得られる検出信号からなる検出画像である。
また、バッファ521は、記憶している検出画像のデータ等を読み出し、バス510を介して他の処理部等に供給する。
読み出し制御部522は、バッファ521からのデータの読み出し制御に関する処理を行い、検出画像の解像度を制御するように構成される。例えば、読み出し制御部522は、バッファ521からの検出画像の読み出しを制御し、その検出画像に含まれる検出信号の一部を間引くことにより、その検出画像の解像度を制御する。
例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の全ての画素出力単位の検出信号を選択して読み出すことにより、それらの全ての検出信号からなる検出画像、すなわち「バッファ521から読み出した検出画像」を得ることができる。
また、例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の一部の画素出力単位の検出信号を選択して読み出すことにより、それらの全ての検出信号からなる検出画像、すなわち、「バッファ521から読み出して解像度を低減させた検出画像」を得ることができる。
例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の任意の一部の画素出力単位の検出信号を選択して読み出すことにより、それらの全ての検出信号からなる検出画像、すなわち、「バッファ521から読み出して解像度を低減させた検出画像」を得ることができる。また、例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の全ての画素出力単位の検出信号を選択して読み出し、その検出信号のうち、任意の位置の一部の画素出力単位の検出信号からなる検出画像を生成するようにしてもよい。
例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の所定の規則性を有する位置関係にある一部の画素出力単位の検出信号を選択して読み出すことにより、それらの全ての検出信号からなる検出画像、すなわち、「バッファ521から読み出して解像度を低減させた検出画像」を得ることができる。また、例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の全ての画素出力単位の検出信号を選択して読み出し、その検出信号のうち、所定の規則性を有する位置関係にある一部の画素出力単位の検出信号からなる検出画像を生成するようにしてもよい。
例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の1つの部分領域内に形成される一部の画素出力単位の検出信号を選択して読み出すことにより、それらの全ての検出信号からなる検出画像、すなわち、「バッファ521から読み出して解像度を低減させた検出画像」を得ることができる。また、例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の全ての画素出力単位の検出信号を選択して読み出し、その検出信号のうち、検出画像の1つの部分領域内に形成される一部の画素出力単位の検出信号からなる検出画像を生成するようにしてもよい。
例えば、読み出し制御部522は、バッファ521に記憶されている検出画像の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号を所定数毎に加算し、加算後の検出信号群を「バッファ521から読み出して解像度を低減させた検出画像」としてもよい。
検出画像に採用する検出信号を選択するということは、言い換えると、不採用の検出信号を選択するということでもある。つまり、読み出し制御部522は、検出信号を取捨選択することにより、検出画像の解像度を制御する。例えば、読み出し制御部522は、バッファ521から検出信号を間引いて読み出させたり、バッファ521から読み出された検出信号を間引いたり、バッファ521から読み出された検出信号を所定数毎に加算したりして、検出画像の解像度を制御する。
読み出し制御部522において検出画像に含まれる検出信号の間引きや加算を行う場合、読み出し制御部522は、処理後の検出画像に関するデータ(検出信号等)を、バス510を介して他の処理部等(例えば、復元行列設定部523、復元部524、関連付け部525等)に供給する。
復元行列設定部523は、復元行列の設定に関する処理を行うように構成される。検出画像は所定の演算を行うことにより復元画像に変換することができる。この所定の演算は、詳細については後述するが、検出画像に含まれる各検出信号に所定の係数を乗算して互いに加算することである。つまり、所定の行列演算を行うことにより、検出画像を復元画像に変換することができる。本明細書において、この行列演算に用いられる、上述の係数からなる行列を復元行列と称する。
復元行列設定部523は、例えば、読み出し制御部522により解像度が制御された検出画像に対応する復元行列を設定する。この復元行列は、図1乃至図20を参照して上述した復元行列であり、上述した特徴を有する。つまりこの復元行列は、検出画像から復元画像を復元する際に用いられる係数からなる行列である。復元行列設定部523は、例えば、設定した復元行列を、バス510を介して他の処理部等(例えば、復元部524や関連付け部525等)に供給する。
なお、検出画像を復元画像に変換する所定の行列演算において、検出画像を任意の解像度の復元画像に変換するようにしてもよい。その場合、復元行列設定部523が、検出画像の解像度と目標とする復元画像の解像度とに応じた行数および列数の復元行列を設定するようにすればよい。
なお、例えば復元行列設定部523が、バス510を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
復元部524は、復元画像の生成に関する処理を行うように構成される。例えば、復元部524は、所定の演算を行うことにより、バッファ521から読み出された検出画像に関するデータ(検出信号等)から復元画像を生成する。また、復元部524は、生成した復元画像に関するデータ(画素値等)を、バス510を介して他の処理部等に供給する。
なお、バッファ521に複数の色成分が混在する検出画像が記憶され、復元部524が、その検出画像に対して所定の演算を行うことにより、複数の色成分が混在するRaw画像が得られるようにしてもよい。そして、復元部524が、その複数の色成分が混在するRaw画像を復元画像として他の処理部等に供給するようにしてもよいし、そのRaw画像に対して同時化処理や色分離処理等(例えば、デモザイク処理等)を行い、その処理が施された画像を復元画像として他の処理部等に供給するようにしてもよい。もちろん、バッファ521にモノクロの検出画像や、色毎の検出画像が得られ、同時化処理や色分離処理等(例えば、デモザイク処理等)が不要であるようにしてもよい。
また、復元部524が、復元画像に対して、例えばガンマ補正(γ補正)やホワイトバランス調整等の任意の画像処理を施し、画像処理後の復元画像に関するデータを他の処理部等に供給するようにしてもよい。さらに、復元部524が、復元画像のデータのフォーマットを変換したり、例えばJPEG、GIF等の所定の圧縮方式で圧縮したりし、その変換(圧縮)後のデータを他の処理部等に供給するようにしてもよい。
なお、例えば復元部524が、バス510を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
<画像処理の流れ>
この場合の画像処理装置500により実行される画像処理の流れの例を、図47のフローチャートを参照して説明する。
画像処理が開始されると、ステップS501において、読み出し制御部522は、バッファ521に記憶されている検出画像の、検出信号を読み出す画素出力単位を設定する。読み出し制御部522は、例えば、上述の動作モードを選択することにより、検出信号を読み出す画素を設定する。
ステップS502において、バッファ521は、検出画像とその検出画像に対応する復元行列を記憶する。
ステップS503において、読み出し制御部522は、ステップS501において設定された画素の検出信号をバッファ521から読み出す。
ステップS504において、復元行列設定部523は、バッファ521に記憶されている検出画像に対応する復元行列を、ステップS501において設定された画素に対応するように更新する。
ステップS505において、復元部524または関連付け部525は、ステップS503において読み出された検出画像と、ステップS504において設定された復元行列とを用いて、出力データを生成する。
例えば、復元部524は、復元係数を用いて検出画像を復元画像に変換する。復元部524は、この復元画像のデータを出力データとする。また、例えば、関連付け部525は、検出画像のデータに復元係数のデータを関連付けて、出力データとする。
ステップS506において、出力データが出力される。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体116への記録等が含まれるようにしてもよい。
まず、Raw画像(同時化処理や色分離処理等(例えば、デモザイク処理等)が施された復元画像でもよい)を出力する場合について説明する。例えば、出力が「表示」の場合、復元部524は、Raw画像のデータ等を出力部512に供給する。出力部512は、そのRaw画像を、画像表示デバイス(例えばLCD等)に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、復元部524は、Raw画像のデータ等を出力部512に供給する。出力部512は、そのRaw画像のデータ等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、復元部524は、Raw画像のデータ等を記憶部513に供給する。記憶部513は、そのRaw画像のデータ等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、復元部524は、Raw画像のデータ等を通信部514に供給する。通信部514は、所定の通信方式で他の装置と通信を行い、そのRaw画像のデータ等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、復元部524は、Raw画像のデータ等を記録再生部515に供給する。記録再生部515は、そのRaw画像のデータ等を、自身に装着された記録媒体516に記録する。
次に、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力する場合について説明する。例えば、出力が「表示」の場合、関連付け部525は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部512に供給する。出力部512は、その検出画像のデータおよび画像復元係数等に関する画像や文字などの情報を、画像表示デバイス(例えばLCD等)に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、関連付け部525は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部512に供給する。出力部512は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、関連付け部525は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記憶部513に供給する。記憶部513は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、関連付け部525は、互いに関連付けられた検出画像のデータおよび画像復元係数等を通信部514に供給する。通信部514は、所定の通信方式で他の装置と通信を行い、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、関連付け部525は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記録再生部515に供給する。記録再生部515は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身に装着された記録媒体516に記録する。
出力データが出力されると、画像処理が終了する。以上のように画像処理を行うことにより、検出画像の解像度を制御することができる。
<3.第3の実施の形態>
<撮像素子の他の構成例>
以上においては撮像素子121の例について説明したが、撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備えていればよく、その構成は任意である。
例えば、変調素子としてランダムな白黒パターンマスクまたは光干渉マスクを用いて、撮像素子121の撮像面に入射される光を白黒パターンまたは光の干渉に応じて変調してもよい。
図48は、撮像素子の他の構成を示している。撮像素子621は、撮像素子622の撮像面IPに対して所定間隔を有するように変調素子であるマスク623が撮像素子622に固定されており、被写体面OPからの光は、マスク623で変調されたのち撮像素子622の撮像面IPに入射するように構成されている。
図49は、白黒パターンマスクを用いた場合を示している。図49のAは、白黒パターンマスクを例示している。白黒パターンマスク623BWは、光を透過する白パターン部と光を遮光する黒パターン部をランダムに配置した構成であり、パターンサイズは撮像素子622の画素サイズと独立に設定されている。図49のBは点光源PAから出射された光と点光源PBから出射された光について、撮像面IPに対する照射状態を模式的に示している。また、図49のBには、白黒パターンマスク623BWを用いた場合の撮像素子の応答の例も、点光源PAから出射された光と点光源PBから出射された光について個々に模式的に示している。被写体面OPからの光は、白黒パターンマスク623BWで変調されたのち撮像素子622の撮像面IPに入射する。したがって、被写体面OPの点光源PAから出射された光に対応する撮像素子の応答はSbwaとなる。また、被写体面OPの点光源PBから出射された光に対応する撮像素子の応答はSbwbとなる。したがって、撮像素子622から出力される画素出力情報は、画素出力単位毎に各点光源の応答を合成した1画像の情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
図50は、光干渉マスクを用いた場合を示している。図50のAに示すように、被写体面OPの点光源PA,PBから出射された光は、光干渉マスク623LFを介して撮像素子622の撮像面IPに照射される。光干渉マスク623LFの例えば光入射面には、図50のAに示すように光の波長程度の凹凸が設けられている。また、光干渉マスク623LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面OPの点光源PA,PBから出射された特定波長の光の光干渉マスク623LFに対する入射角の変化(鉛直方向に対する傾き)が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源PA,PBから出射されて光干渉マスク623LFを透過した特定波長の透過光の強度は、図50のBに示すように、光干渉マスク623LFに対する入射角に応じて変調されて撮像素子622の撮像面IPに入射する。したがって、撮像素子622の各出力画素単位から出力される画素出力情報は、光干渉マスク823LFを透過した各点光源の変調後の光強度を合成した情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
なお、光学フィルタ623BWの代わりに、図51の光学フィルタ623HWを用いるようにしてもよい。光学フィルタ623HWは、互いに偏光方向が等しい直線偏光素子631Aと直線偏光素子631B、及び、1/2波長板632を備え、1/2波長板632は、直線偏光素子631Aと直線偏光素子631Bの間に挟まれている。1/2波長板632には、光学フィルタ623BWの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
直線偏光素子631Aは、点光源PAから出射されたほぼ無偏光の光のうち、所定の偏光方向の光成分のみを透過する。以下、直線偏光素子631Aが、偏光方向が紙面に平行な光成分のみを透過するものとする。直線偏光素子631Aを透過した偏光光のうち、1/2波長板632の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が紙面に垂直な方向に変化する。一方、直線偏光素子631Aを透過した偏光光のうち、1/2波長板632の白パターン部を透過した偏光光は、偏光方向が紙面に平行な方向のまま変化しない。そして、直線偏光素子631Bは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタ623BWを用いた場合とほぼ同様の濃淡のパターンが、撮像素子622の受光面(撮像面)IP上に生じる。
ただし、これらの構成の場合、撮像素子にマスク等の他の構成を付加する必要があるので、第1の実施の形態において説明した構成例の撮像素子121の方が、より小型化することができる。
以上のように、本技術は、撮像素子121が、図4を参照して説明したような構成であってもよいし、図5を参照して説明したような構成であってもよいし、図48や図49を参照して説明したような構成であってもよいし、図50を参照して説明したような構成であってもよい。つまり、撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備えるものであればよい。
また、本技術は、図4を参照して説明したような構成、または、図5を参照して説明したような構成の撮像素子121に適用することができるようにしてもよい。つまり、撮像素子121の複数の画素出力単位が、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
また、本技術は、図4を参照して説明したような構成の撮像素子に適用することができるようにしてもよい。つまり、撮像素子121の複数の画素出力単位が、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
また、本技術は、図5を参照して説明したような構成の撮像素子に適用することができるようにしてもよい。つまり、撮像素子121の複数の画素出力単位が、出力に寄与するPD(Photo Diode)を互いに異ならせることで、出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得るようにしてもよい。
<撮像装置・画像処理装置の他の構成例>
以上において、撮像装置100が撮像素子121を有するように説明したが、撮像装置100が有する撮像素子121の数は任意である。撮像装置100が単数の撮像素子121を有するようにしてもよいし、複数の撮像素子121を有するようにしてもよい。また、撮像装置100が複数の撮像素子121を有する場合、その複数の撮像素子121の性能(例えば画素数、形状、画素構造、撮像特性、撮像方式等)が全て統一されていてもよいし、異なるものが含まれていてもよい。
また、撮像装置100が、その他の処理部を複数有するようにしてもよい。例えば、読み出し制御部122が複数設けられ、それぞれ、独立に検出画像の解像度を設定して読み出すようにしてもよい。このようにすることにより、例えば、複数の解像度の検出画像を並行して得ることができる。また、それに応じて復元行列設定部123を複数備えるようにしてもよい。
また、以上において画像処理装置500がバッファ521を有するように説明したが、画像処理装置500が有するバッファ521の数は任意である。画像処理装置500が単数のバッファ521を有するようにしてもよいし、複数のバッファ521を有するようにしてもよい。また、画像処理装置500が複数のバッファ521を有する場合、その複数のバッファ521の性能(例えば、記憶媒体、容量、読み出し速度、書き込み速度等)が全て統一されていてもよいし、異なるものが含まれていてもよい。
また、画像処理装置500が、その他の処理部を複数有するようにしてもよい。例えば、読み出し制御部522が複数設けられ、それぞれ、独立に検出画像の解像度を設定して読み出すようにしてもよい。このようにすることにより、例えば、複数の解像度の検出画像を並行して得ることができる。また、それに応じて復元行列設定部523を複数備えるようにしてもよい。
<4.その他>
<適用例>
本技術は、撮像機能を有する装置であればどのような装置にも適用することができる。また、本技術は、撮像機能により得られた画像を処理する装置やシステムであれば、どのような装置やシステムにも適用することができる。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に用いられる装置やシステムに適用することができる。
例えば、本技術は、ディジタルカメラやカメラ機能付きの携帯機器等、鑑賞の用に供される画像を取り扱う装置やシステムに適用することができる。また、本技術は、例えば監視カメラのような、防犯、監視、観測等の用途に用いられる画像を取り扱う装置やシステムに適用することもできる。また、本技術は、例えば、人物認証、画像解析、測距等の用途に用いられる画像を取り扱う装置やシステムに適用することもできる。また、本技術は、例えば自動車やロボット等の自動運転のような、機械等の制御に用いられる画像を取り扱う装置やシステムに適用することもできる。
<ソフトウエア>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムがインストールされる。
このプログラムは、例えば、記録媒体からインストールすることができる。例えば図1の撮像装置100の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている記録媒体116により構成される。その場合、例えば、記録媒体116を記録再生部115に装着することにより、その記録媒体116に記憶されているこのプログラムを読み出させ、記憶部113にインストールさせることができる。また、例えば図46の画像処理装置500の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている記録媒体516により構成される。その場合、例えば、記録媒体516を記録再生部515に装着することにより、その記録媒体516に記憶されているこのプログラムを読み出させ、記憶部513にインストールさせることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図1の撮像装置100の場合、プログラムは、通信部114で受信し、記憶部113にインストールすることができる。また、例えば図46の画像処理装置500の場合、プログラムは、通信部514で受信し、記憶部513にインストールすることができる。
その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図1の撮像装置100の場合、プログラムは、記憶部113や制御部101内のROM(図視せず)等に予めインストールしておくこともできる。また、例えば図46の画像処理装置500の場合、プログラムは、記憶部513や制御部501内のROM(図視せず)等に予めインストールしておくこともできる。
<補足>
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
また、上述した各処理部は、任意の構成により実現することができる。例えば、回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。その際、例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
本技術は以下のような構成も取ることができる。
(1) 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、
前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部と
を備える撮像装置。
(2) 前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、一部の画素単位出力を選択し、選択した前記画素出力単位の出力画素値を読み出す
(1)に記載の撮像装置。
(3) 前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、任意の位置の一部の画素出力単位を選択する
(2)に記載の撮像装置。
(4) 前記読み出し制御部は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性について、選択した画素出力単位の全体が、前記撮像素子の全画素出力単位と同等の前記入射角指向性をもつように、画素出力単位を選択する
(3)に記載の撮像装置。
(5) 前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、所定の規則性を有する位置関係にある一部の画素出力単位を選択する
(2)に記載の撮像装置。
(6) 前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性について、前記撮像素子の、前記読み出し制御部により選択される前記規則性を有する位置関係にある前記一部の画素出力単位の全体が、前記撮像素子の全画素出力単位と同等の前記入射角指向性を持つ
(5)に記載の撮像装置。
(7) 前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位が形成される領域の、1つの部分領域内に形成される画素出力単位を選択する
(2)に記載の撮像装置。
(8) 前記撮像素子の、前記読み出し制御部により選択される前記部分領域内に形成される画素出力単位の全体が、前記撮像素子の全画素出力単位と同等の前記入射角指向性を持つ
(7)に記載の撮像装置。
(9) 前記読み出し制御部は、前記撮像素子の全ての画素出力単位から前記出力画素値を読み出し、読み出した出力画素値のうちの一部を選択する
(1)に記載の撮像装置。
(10) 前記読み出し制御部は、前記撮像素子の全ての画素出力単位の出力画素値を読み出し、読み出した出力画素値を所定数毎に加算する
(1)に記載の撮像装置。
(11) 前記読み出し制御部は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに類似する画素出力単位の出力画素値同士を加算する
(10)に記載の撮像装置。
(12) 前記読み出し制御部は、互いに近接する画素出力単位の出力画素値同士を加算する
(10)に記載の撮像装置。
(13) 前記複数の画素出力単位は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
(1)乃至(12)のいずれかに記載の撮像装置。
(14) 前記複数の画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
(1)乃至(13)のいずれかに記載の撮像装置。
(15) 前記複数の画素出力単位は、出力に寄与するPD(Photo Diode)を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る構成を有する
(1)乃至(14)のいずれかに記載の撮像装置。
(16) 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により被写体を撮像し、
前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す
撮像方法。
(17) 解像度を設定する解像度設定部と、
撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、複数の画素出力単位の出力画素値から復元画像を復元する際に用いられる係数からなる復元行列を、前記解像度設定部により設定された解像度に応じて設定する復元行列設定部と
を備える画像処理装置。
(18) 前記解像度設定部は、一部の画素出力単位の出力画素値を選択することにより、前記解像度を設定する
(17)に記載の画像処理装置。
(19) 前記解像度設定部は、画素出力単位の出力画素値を所定数毎に加算することにより、前記解像度を設定する
(17)に記載の画像処理装置。
(20) 解像度を設定し、
撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、複数の画素出力単位の出力画素値から復元画像を復元する際に用いられる係数からなる復元行列を、設定された解像度に応じて設定する
画像処理方法。
100 撮像装置, 120 撮像部, 121 撮像素子, 122 読み出し制御部, 123 復元行列設定部, 124 復元部, 125 関連付け部, 126 センサ部, 500 画像処理装置, 520 解像度処理部, 521 バッファ, 522 読み出し制御部, 523 復元行列設定部, 524 復元部, 525 関連付け部, 526 センサ部

Claims (20)

  1. 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、
    全体として前記撮像素子の全画素出力単位と同等の入射角指向性をもつように、前記撮像素子の前記複数の画素出力単位から任意の位置の一部の前記画素出力単位を選択し、選択した前記画素出力単位の出力画素値読み出す読み出し制御部と
    を備え
    前記入射角指向性は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す
    撮像装置。
  2. 前記読み出し制御部は、水平方向および垂直方向の前記入射角指向性の重心の角度範囲が前記撮像素子の全画素出力単位と同等となるように、前記画素出力単位を選択する
    請求項1に記載の撮像装置。
  3. 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、
    前記撮像素子の前記複数の画素出力単位において所定の規則性を有する位置関係にあり、かつ、全体として前記撮像素子の全画素出力単位と同等の入射角指向性をもつ一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出す読み出し制御部と
    を備え、
    前記入射角指向性は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す
    撮像装置。
  4. 前記一部の画素出力単位の水平方向および垂直方向の前記入射角指向性の重心の角度範囲は、前記撮像素子の全画素出力単位と同等である
    請求項3に記載の撮像装置。
  5. 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、
    前記撮像素子の前記複数の画素出力単位が形成される領域の1つの部分領域内に形成され、かつ、全体として前記撮像素子の全画素出力単位と同等の入射角指向性をもつ一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出す読み出し制御部と
    を備え、
    前記入射角指向性は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す
    撮像装置。
  6. 前記一部の画素出力単位の水平方向および垂直方向の前記入射角指向性の重心の角度範囲は、前記撮像素子の全画素出力単位と同等である
    請求項5に記載の撮像装置。
  7. 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、
    前記撮像素子の全ての前記画素出力単位の出力画素値を読み出し、入射角指向性が互いに類似する画素出力単位の出力画素値同士を所定数毎に加算する読み出し制御部と
    を備え、
    前記入射角指向性は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す
    撮像装置。
  8. 前記入射角指向性の重心の角度範囲は、前記出力画素値の加算前と加算後において同等である
    請求項7に記載の撮像装置。
  9. 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、
    前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部と
    を備え、
    前記複数の画素出力単位は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
    撮像装置。
  10. 前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出
    請求項9に記載の撮像装置。
  11. 前記読み出し制御部は、前記撮像素子の全ての画素出力単位の出力画素値を読み出し、読み出した出力画素値を所定数毎に加算する
    請求項9に記載の撮像装置。
  12. 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、
    前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部と
    を備え、
    前記複数の画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
    撮像装置。
  13. 前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出す
    請求項12に記載の撮像装置。
  14. 前記読み出し制御部は、前記撮像素子の全ての画素出力単位の出力画素値を読み出し、読み出した出力画素値を所定数毎に加算する
    請求項12に記載の撮像装置。
  15. 撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と、
    前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部と
    を備え、
    前記複数の画素出力単位は、出力に寄与するPD(Photo Diode)を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る構成を有する
    撮像装置。
  16. 前記読み出し制御部は、前記撮像素子の前記複数の画素出力単位のうち、一部の画素出力単位を選択し、選択した前記画素出力単位の出力画素値を読み出す
    請求項15に記載の撮像装置。
  17. 解像度を設定する解像度設定部と、
    撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、複数の画素出力単位の出力画素値から復元画像を復元する際に用いられる係数からなる復元行列を、前記解像度設定部により設定された解像度に応じて設定する復元行列設定部と
    を備える画像処理装置。
  18. 前記解像度設定部は、一部の画素出力単位の出力画素値を選択することにより、前記解像度を設定する
    請求項17に記載の画像処理装置。
  19. 前記解像度設定部は、画素出力単位の出力画素値を所定数毎に加算することにより、前記解像度を設定する
    請求項17に記載の画像処理装置。
  20. 解像度を設定し、
    撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、複数の画素出力単位の出力画素値から復元画像を復元する際に用いられる係数からなる復元行列を、設定された解像度に応じて設定する
    画像処理方法。
JP2019548815A 2017-10-19 2018-10-19 撮像装置、並びに、画像処理装置および方法 Active JP7259757B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017202891 2017-10-19
JP2017202891 2017-10-19
PCT/JP2018/038948 WO2019078340A1 (ja) 2017-10-19 2018-10-19 撮像装置および方法、並びに、画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2019078340A1 JPWO2019078340A1 (ja) 2020-11-05
JP7259757B2 true JP7259757B2 (ja) 2023-04-18

Family

ID=66173329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548815A Active JP7259757B2 (ja) 2017-10-19 2018-10-19 撮像装置、並びに、画像処理装置および方法

Country Status (6)

Country Link
US (2) US11290664B2 (ja)
EP (1) EP3700194A1 (ja)
JP (1) JP7259757B2 (ja)
CN (1) CN111201780B (ja)
RU (1) RU2020112458A (ja)
WO (1) WO2019078340A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368609B2 (en) * 2017-10-19 2022-06-21 Sony Corporation Electronic apparatus
EP3720116A4 (en) 2017-11-30 2020-10-07 Sony Corporation IMAGING DEVICE, IMAGING PROCESS, AND IMAGING ELEMENT
CN112106343A (zh) 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
EP3674973A1 (en) * 2018-12-28 2020-07-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection and object recognition
US11889199B2 (en) 2019-06-04 2024-01-30 Sony Group Corporation Imaging device, signal processing device, signal processing method, program, and imaging apparatus
JPWO2023139629A1 (ja) * 2022-01-18 2023-07-27

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165136A (ja) 2000-11-29 2002-06-07 Canon Inc 撮像装置及び撮像システム
JP2016092413A (ja) 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148897B2 (en) * 2005-07-20 2018-12-04 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
GB0510470D0 (en) * 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
GB0615040D0 (en) * 2006-07-28 2006-09-06 Qinetiq Ltd Processing method for coded apperture sensor
JP5682473B2 (ja) * 2011-06-21 2015-03-11 コニカミノルタ株式会社 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
JP5775976B2 (ja) * 2012-11-22 2015-09-09 富士フイルム株式会社 撮像装置、デフォーカス量演算方法、及び撮像光学系
EP2965134A1 (en) * 2013-03-05 2016-01-13 Rambus Inc. Phase gratings with odd symmetry for high-resoultion lensless optical sensing
US9110240B2 (en) * 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US10488535B2 (en) * 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
WO2018012492A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 撮像装置、撮像素子、および画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165136A (ja) 2000-11-29 2002-06-07 Canon Inc 撮像装置及び撮像システム
JP2016092413A (ja) 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Also Published As

Publication number Publication date
WO2019078340A1 (ja) 2019-04-25
US20200275038A1 (en) 2020-08-27
US20220182562A1 (en) 2022-06-09
JPWO2019078340A1 (ja) 2020-11-05
EP3700194A4 (en) 2020-08-26
RU2020112458A3 (ja) 2022-03-23
CN111201780A (zh) 2020-05-26
EP3700194A1 (en) 2020-08-26
US11290664B2 (en) 2022-03-29
US11659289B2 (en) 2023-05-23
RU2020112458A (ru) 2021-09-27
CN111201780B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
JP7259757B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP7290159B2 (ja) 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム
JP7192778B2 (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP7238887B2 (ja) 情報処理装置、プログラム、及び、情報処理システム
JP7259756B2 (ja) 撮像装置および信号処理装置
KR20200074101A (ko) 촬상 장치 및 방법, 및, 화상 처리 장치 및 방법
JP7156297B2 (ja) 撮像素子、画像処理装置、画像処理方法、および、プログラム
JP2023041751A (ja) 撮像装置及び信号処理装置
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
KR20200135305A (ko) 촬상 소자, 촬상 장치, 및 정보 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R151 Written notification of patent or utility model registration

Ref document number: 7259757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151