JP6915615B2 - 撮像素子、撮像装置、電子機器 - Google Patents

撮像素子、撮像装置、電子機器 Download PDF

Info

Publication number
JP6915615B2
JP6915615B2 JP2018522407A JP2018522407A JP6915615B2 JP 6915615 B2 JP6915615 B2 JP 6915615B2 JP 2018522407 A JP2018522407 A JP 2018522407A JP 2018522407 A JP2018522407 A JP 2018522407A JP 6915615 B2 JP6915615 B2 JP 6915615B2
Authority
JP
Japan
Prior art keywords
phase difference
pixel
light receiving
light
difference detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018522407A
Other languages
English (en)
Other versions
JPWO2017212909A1 (ja
Inventor
真彦 中村
真彦 中村
赤松 範彦
範彦 赤松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017212909A1 publication Critical patent/JPWO2017212909A1/ja
Application granted granted Critical
Publication of JP6915615B2 publication Critical patent/JP6915615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14623Optical shielding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本技術は、撮像素子、撮像装置、電子機器に関し、例えば、より精度良く焦点を検出する撮像素子、撮像装置、電子機器に関する。
デジタルカメラにおけるオートフォーカス方式には、主に、コントラスト方式と位相差方式がある。コントラスト方式はレンズを動かし、一番コントラストの高いところを焦点が合ったところとする方法である。デジタルカメラの場合、撮像素子の画像の一部を読み出すことでオートフォーカスができ、他にオートフォーカス用の光学系を必要としない。
位相差方式は、いわゆる三角測量の技術を適用した方式であり、異なる2点から同一の被写体を見たときの角度差で距離を求める方式である。位相差方式の場合、レンズの異なる部分を通ってきた光での像、例えばレンズの右側と左側、それぞれの光束が用いられる。位相差方式では、測距することで、ピントの合っている位置まで、レンズをどれだけ動かす必要があるかが求められる。
像面位相差オートフォーカスは、撮像素子を用いて位相差方式でオートフォーカスを行う。撮像素子には、集光用のマイクロレンズが設けられており、このマイクロレンズに入射する光を制限する絞り部材を追加することで位相差オートフォーカス用の撮像素子とすることができる(例えば、特許文献1参照)。
また、像面位相差オートフォーカスを実現する手法として、特許文献2では、1個の撮像素子を複数個に分割し、それぞれを焦点検出用の素子として使用することが提案されている。
特開2011−165736号公報 特開2001−250931号公報
特許文献1で提案されている方式では、遮光された画素の出力は、感度が低く、撮影用の通常画素としては使用できない。位相差検出用画素も、撮影用の画素として用いるようにする場合、得られた信号を一定量増幅してから用いる必要がある。または、位相差検出用画素の画素値は、位相差検出用画素周辺の通常画素からの信号を用いて補完する必要がある。
このようなことから、撮影された画像の品質に影響を与える可能性があり、位相差検出用画素を多く埋め込むことができず、焦点検出の精度を向上させることは困難であった。
特許文献2で提案されている方式では、全画素を位相差検出用画素と通常画素に使用できるため、焦点検出の精度や撮影画像の品質に影響を与えない反面、製造上、画素の特性を均一に作る必要があるため、全部の画素を同じサイズに分割することが望ましい。
光学中心付近と光学中心から離れた位置では、入射光線の角度が異なるため、光学中心から離れた位置でも効率よく入射光束をとらえるためには、入射する角度に応じて、マイクロレンズや、画素のサイズなどを調整する必要がある。特許文献2では、全部の画素を同じサイズで分割する必要があり、入射光線の角度の違いを調整するために、画素のサイズを調整したりすることは困難であった。
本技術は、このような状況に鑑みてなされたものであり、入射光線の角度の違いによらず、効率よく入射光束をとらえ、位相差検出の精度を向上させることができるようにするものである。
本技術の一側面の撮像素子は、第1のオンチップレンズを介して入射された光を受光する第1の受光部と、前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素とを備え、前記第1の位相差検出用画素は、画素アレイ部の周辺領域に配置され、前記第2の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている
本技術の一側面の撮像装置は、第1のオンチップレンズを介して入射された光を受光する第1の受光部と、前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素とを備え、前記第1の位相差検出用画素は、画素アレイ部の周辺領域に配置され、前記第2の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている撮像素子を含む。
本技術の一側面の電子機器は、第1のオンチップレンズを介して入射された光を受光する第1の受光部と、前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素とを備え、前記第1の位相差検出用画素は、画素アレイ部の周辺領域に配置され、前記第2の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている撮像素子を含む。
本技術の一側面の撮像素子においては、第1のオンチップレンズを介して入射された光を受光する第1の受光部と、第1のオンチップレンズと第1の受光部との間に設けられ、第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素とが備えられている。第1の位相差検出用画素は、画素アレイ部の周辺領域に配置され、第2の位相差検出用画素は、画素アレイ部の周辺領域以外の領域に配置されている。
本技術の一側面の撮像装置においては、前記撮像素子を含む構成とされている。
本技術の一側面の電子機器においては、前記撮像素子を含む構成とされている。
本技術の一側面によれば、入射光線の角度の違いによらず、効率よく入射光束をとらえ、位相差検出の精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
撮像装置の構成を示す図である。 撮像素子の構成を示す図である。 第1の実施の形態における画素配置について説明するための図である。 分割画素の平面構成を示す図である。 画素分割方式による位相差検出について説明するための図である。 画素の回路図である。 画素分割方式による位相差検出用画素の平面と断面を表す図である。 遮光画素方式による位相差検出用画素の平面と断面を表す図である。 遮光画素方式による位相差検出について説明するための図である。 入射角度による画素配置について説明するための図である。 分割画素の他の分割例を示す図である。 カラーフィルタの色配置について説明するための図である。 カラーフィルタの他の色配置について説明するための図である。 第2の実施の形態における画素配置について説明するための図である。 第3の実施の形態における画素配置について説明するための図である。 焦点調整処理について説明するためのフローチャートである。 内視鏡手術システムの一実施の形態の構成を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。 イメージセンサの使用例について説明するための図である。
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
<撮像機器の構成>
以下に説明する本技術は、デジタルカメラなどのオートフォーカス機構に適用できる。またオートフォーカスの方式として、主にコントラスト方式と位相差方式があるが、本技術は、位相差方式に適用でき、以下の説明においては、像面位相差オートフォーカスを例にあげて説明を行う。
像面位相差オートフォーカスは、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部に撮像装置を用いる複写機など、画像取込部(光電変換部)に半導体パッケージを用いる電子機器全般に対して適用可能である。
図1は、本技術に係る電子機器、例えば撮像装置の構成の一例を示すブロック図である。図1に示すように、本技術に係る撮像装置10は、レンズ群21等を含む光学系、撮像素子(撮像デバイス)22、DSP(Digital Signal Processor)回路23、フレームメモリ24、表示部25、記録部26、操作部27及び電源部28等を有する。そして、DSP回路23、フレームメモリ24、表示部25、記録部26、操作部27および電源部28がバスライン29を介して相互に接続されている。
レンズ群21は、被写体からの入射光(像光)を取り込んで撮像素子22の撮像面上に結像する。撮像素子22は、レンズ群21によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
DSP回路23は、撮像素子22からの信号を処理する。例えば、詳細は後述するが、撮像素子22には、焦点を検出するための画素があり、そのような画素からの信号を処理し、焦点を検出する処理を行う。また、撮像素子22には、撮影された被写体の画像を構築するための画素があり、そのような画素からの信号を処理し、フレームメモリ24に展開するといった処理も行う。
表示部25は、液晶表示装置や有機EL(electro luminescence)表示装置等のパネル型表示装置からなり、撮像素子22で撮像された動画または静止画を表示する。記録部26は、撮像素子22で撮像された動画または静止画を記録媒体に記録する。
操作部27は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源部28は、DSP回路23、フレームメモリ24、表示部25、記録部26及び操作部27の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
上記の構成の撮像装置は、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置として用いることができる。そして、当該撮像装置において、撮像素子22として、以下に説明する位相差画素を含む半導体パッケージを用いることができる。
<撮像素子の構成>
図2は、撮像素子22の構成を示す図であり、例えばX−Yアドレス方式撮像装置の一種であるCMOSイメージセンサの構成の概略を示すシステム構成図である。ここで、CMOSイメージセンサとは、CMOSプロセスを応用して、または、部分的に使用して作成されたイメージセンサである。
図2のCMOSイメージセンサ100は、図示せぬ半導体基板上に形成された画素アレイ部111と、当該画素アレイ部111と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば、垂直駆動部112、カラム処理部113、水平駆動部114及びシステム制御部115から構成されている。
CMOSイメージセンサ100は更に、信号処理部118及びデータ格納部119を備えている。信号処理部118及びデータ格納部119については、CMOSイメージセンサ100と同じ基板上に搭載しても構わないし、CMOSイメージセンサ100とは別の基板上に配置するようにしても構わない。また、信号処理部118及びデータ格納部119の各処理については、CMOSイメージセンサ100とは別の基板に設けられる外部信号処理部、例えば、DSP(Digital Signal Processor)回路やソフトウエアによる処理でも構わない。
画素アレイ部111は、受光した光量に応じた光電荷を生成しかつ蓄積する光電変換部を有する単位画素(以下、単に「画素」と記述する場合もある)が行方向及び列方向に、即ち、行列状に2次元配置された構成となっている。ここで、行方向とは画素行の画素の配列方向(即ち、水平方向)を言い、列方向とは画素列の画素の配列方向(即ち、垂直方向)を言う。
画素アレイ部111において、行列状の画素配列に対して、画素行ごとに画素駆動線116が行方向に沿って配線され、画素列ごとに垂直信号線117が列方向に沿って配線されている。画素駆動線116は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。図1では、画素駆動線116について1本の配線として示しているが、1本に限られるものではない。画素駆動線116の一端は、垂直駆動部112の各行に対応した出力端に接続されている。
垂直駆動部112は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部111の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部112は、当該垂直駆動部112を制御するシステム制御部115と共に、画素アレイ部111の各画素を駆動する駆動部を構成している。この垂直駆動部112はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の2つの走査系を有する構成となっている。
読出し走査系は、単位画素から信号を読み出すために、画素アレイ部111の単位画素を行単位で順に選択走査する。単位画素から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
この掃出し走査系による掃出し走査により、読出し行の単位画素の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す(リセットする)ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する(光電荷の蓄積を開始する)動作のことを言う。
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の露光期間となる。
垂直駆動部112によって選択走査された画素行の各単位画素から出力される信号は、画素列ごとに垂直信号線117の各々を通してカラム処理部13に入力される。カラム処理部113は、画素アレイ部111の画素列ごとに、選択行の各画素から垂直信号線117を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
具体的には、カラム処理部113は、信号処理として少なくとも、ノイズ除去処理、例えばCDS(Correlated Double Sampling;相関二重サンプリング)処理を行う。このカラム処理部113によるCDS処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム処理部113にノイズ除去処理以外に、例えば、AD(アナログ−デジタル)変換機能を持たせ、アナログの画素信号をデジタル信号に変換して出力することも可能である。
水平駆動部114は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部113の画素列に対応する単位回路を順番に選択する。この水平駆動部114による選択走査により、カラム処理部113において単位回路ごとに信号処理された画素信号が順番に出力される。
システム制御部115は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部112、カラム処理部113、及び、水平駆動部114などの駆動制御を行う。
信号処理部118は、少なくとも演算処理機能を有し、カラム処理部113から出力される画素信号に対して演算処理等の種々の信号処理を行う。データ格納部119は、信号処理部118での信号処理に当たって、その処理に必要なデータを一時的に格納する。
<第1の実施の形態における画素配置>
図3は、本技術を適用した画素アレイ部111の画素の配置の一実施の形態の構成を示す図である。画素アレイ部111には、受光した光量に応じた光電荷を生成しかつ蓄積する光電変換部を有する単位画素(以下、単に「画素」と記述する)が行方向及び列方向に、即ち、行列状に2次元配置されている。
以下の説明においては、画素アレイ部111を、光学中心付近の領域(以下、中心領域201と記述する)と、光学中心から離れた位置の領域(以下、周辺領域202と記述する)に分けて説明する。
例えば、画素アレイ部111の長辺の長さが25nmであった場合、中心領域201は、中央部分の5nmとし、周辺領域202は、5nmの中心領域201を除いた20nmとすることができる。換言すれば、画素アレイ部111の20%以上を、中心領域201とし、画素アレイ部111の80%以下を周辺領域202とする。なお、ここでの数値は一例であり、限定を示す記載ではない
画素アレイ部111内の1つの画素211は、図4を参照して後述するように、2つの受光領域を有する構成とされている。中心領域201には、画素211−1が配置され、周辺領域202には、画素211−2が配置されている。この画素211−1と画素211−2は、2つの受光領域を有する構成とされている。
中心領域201と周辺領域202では、それぞれ異なる方式で、位相差が検出される。中心領域201では、1つの画素211が、2つの受光領域を有し、その2つの受光領域でそれぞれ受光される光量が用いられて位相差が検出される。以下、この方式を、画素分割方式と記述する。この画素分割方式に関しては、図7を参照して後述する。
周辺領域202では、1つの画素211が、2つの受光領域を有し、その2つの受光領域の一部が遮光され、2つの受光領域からの光量と、他の画素211で、同じく一部遮光された2つの受光領域からの光量とが用いられて位相差が検出される。以下、この方式を、遮光画素方式として記述する。この遮光画素方式に関しては、図8、図9を参照して後述する。
<1画素の構造>
次に、画素211の構成について説明する。図4は、画素211の平面レイアウトを示す図であり、図5は画素211の断面を示す図である。
1個の画素211は、受光領域231と受光領域232の2つの受光領域を備える。換言すれば、画素211は、受光領域231と受光領域232に分割されている。この受光領域231と受光領域232を覆うように1個のオンチップレンズ251が備えられている。換言すれば、1個の画素には、1個のオンチップレンズ251が備えられている。
このように、2つの受光領域231,232を有する画素211には、図5に示すように光が入射する。図5中、符号271は視点Aと呼ぶ領域を通過する光束の代表とし、符号272は、視点Bと呼ぶ領域を通過する光束の代表とする。
視点Aからの光束271は、オンチップレンズ251を介して、受光領域232に入射する。同様に、視点Bからの光束272は、オンチップレンズ251を介して、受光領域231に入射する。
受光領域231から得られる視点Bの光束を捕らえた像データと、受光領域232から得られる視点Aの光束を捕らえた像データが得られ、それらの相関演算を行うことで、デフォーカス量を検出することができる。また、デフォーカス量から、光学系を所望の状態に変化させることで、焦点検出を行うことができる。
また、受光領域231から得られる視点Bの光束を捕らえた像データと、受光領域232から得られる視点Aの光束を捕らえた像データを用いる(加算する)ことで、通常の撮像画素として、画素211を機能させることもできる。すなわち、画素211は、位相差検出用の画素として機能し、通常の撮像画素としても機能する。
図6は、図4、図5に示した画素211の等価回路を示した図である。受光領域231には、転送トランジスタ301が接続され、受光領域232には、転送トランジスタ302が接続されている。FD(フローティングディフュージョン)部303は、2つの受光領域231と受光領域232に共通に設けられている拡散領域である。
受光領域231,232は、受光した光量に応じた電荷(信号電荷)を生成し、かつ、蓄積する。受光領域231,232は、アノード端子が接地されているとともに、カソード端子が転送トランジスタ301,302を介して、FD部303に接続されている。
転送トランジスタ301は、信号線312を介して供給される転送信号TX1によりオンされたとき、受光領域231で生成された電荷を読み出し、FD部303に転送する。また、転送トランジスタ302は、信号線313を介して供給される転送信号TX2によりオンされたとき、受光領域232で生成された電荷を読み出し、FD部303に転送する。
FD部303は、受光領域231,232から読み出された電荷を保持する。リセットトランジスタ305は、信号線314を介して供給されるリセット信号RSTによりオンされたとき、FD部303に蓄積されている電荷がドレイン(定電圧源Vdd)に排出されることで、FD部303の電位をリセットする。
増幅トランジスタ304は、FD部303の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ304は、垂直信号線117を介して接続されている定電流源としての負荷MOS(不図示)とソースフォロワ回路を構成し、FD部303に蓄積されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ304から選択トランジスタ306を介して、垂直信号線117に出力される。
選択トランジスタ306は、信号線315を介して供給される選択信号SELにより画素211が選択されたときオンされ、画素211の画素信号を、垂直信号線117に出力する。
この等価回路による実施の形態においては、2つの受光領域に、読み出し回路307が共通化されており、FD部303に受光領域231,232のどちらの光電変換結果を転送するかで、どちらの受光領域の結果を読み出すかを選択することができる構成とされている。また、受光領域231,232の、光電変換結果の和を出力するときは、両者の転送用トランジスタを活性化し、二つの受光領域に蓄積された電荷を拡散領域において足しあわせるようにすることができる。
なお、画素211は、以上のように構成することができるが、この構成に限定されるものではなく、その他の構成を採用することもできる。
図4乃至図6を参照して説明した画素211が、画素アレイ部111の中心領域201と周辺領域202に配置されている。すなわち、画素アレイ部111には、2つの受光領域231と受光領域232を有する画素211が配置されている。
画素アレイ部111の中心領域201に配置されている画素211−1は、通常の撮影用の画素(通常撮影用画素)として機能するとともに、位相差を検出するための画素(位相差検出用画素)としても機能する。
画素アレイ部111の周辺領域202に配置されている画素211−2は、通常撮影用画素として機能する。また画素アレイ部111の周辺領域202に配置されている画素211−2のうちの複数の画素は、位相差検出用画素として、上記した構成とは異なる構成とされている。
<画素分割方式について>
画素アレイ部111の中心領域201に配置されている画素211−1についてさらに詳細に説明を加える。また画素211−1で行われる画素分割方式による位相差検出についても説明を加える。
図7は、画素211−1の平面図と断面図を示す図である。図7の上図が、画素211−1の平面図であり、下図が画素211−1の断面図である。また、図7では、隣接する3個の画素211を記載している。
図7の上図に示した画素211−1の平面図は、基本的に、図4に示した画素211の平面図と同様の構成を有しているが、遮光膜331を追加したレイアウトとしてある。また図7の下図に示した画素211−1の断面図は、基本的に、図5に示した画素211の断面図と同様の構成を有しているが、遮光膜331を追加したレイアウトとしてある。
図7に示すように、1個のオンチップレンズ251は、受光領域231−1、231−2を覆うように設けられており、遮光膜331は、受光領域231−1、231−2を避けるように配置されている。また遮光膜331は、受光領域231−1と受光領域231−2との間には設けられていない。直線A〜Bの断面図が、図7の上図の平面に対応して、下図に描かれており、同じ部位には同じ番号が付してある。
画素211−1間に、遮光膜331を設けることで、隣接する画素211−1に光が漏れ込むようなことを防ぐことが可能となる。また、図7に示したような構成を有する画素211−1においては、図5を参照して説明したように、例えば、オンチップレンズ251に対して左方向からの光束は、受光領域232−1に入射され、右方向からの光束は、受光領域231−1に入射される。
そして、受光領域231−1から得られた像データと、受光領域232−1から得られる像データを用い、それらの相関演算を行うことで、デフォーカス量を検出することができる。また、デフォーカス量から、光学系を所望の状態に変化させることで、焦点検出を行うことができる。
このように、画素211−1は、2つの受光領域231−1と受光領域232−1を有し、それぞれの受光領域から得られるデータを用いて、位相差を検出する。すなわち、1つの画素211−1で、位相差を検出することができる構成とされている。
<遮光画素方式について>
次に、画素アレイ部111の周辺領域202に配置されている画素211−2についてさらに詳細に説明を加える。また画素211−2で行われる遮光画素方式による位相差検出についても説明を加える。
周辺領域202においては、2個の画素211−2を1組として、位相差の検出が行われる。図3を再度参照する。図3において、画素211−2Aと画素211−2Bが1組とされ、この2個の画素211−2で、位相差が検出される。また、図3に示したように、対とされている画素211−2は、周辺領域202内に複数組配置されている。
この1組とされている画素211−2Aと画素211−2Bは、位相差検出用画素であり、通常撮影用画素としては用いられない。例えば、後段の処理で信号を増幅するといった処理が行われるようにすることで、1組とされている画素211−2Aと画素211−2Bを、通常撮影用画素としても用いられるようにすることも可能ではある。
周辺領域202内の画素211−2のうち、位相差検出用画素以外の画素211−2は、中心領域201内の画素211−1と同じ構造を有し、通常撮影用画素として機能する。
このように、周辺領域202内の画素には、位相差検出用画素と通常撮影用画素が混在している。また位相差検出用画素は、2個の画素211−2が1組とされ、位相差を検出するように構成されている。
図8は、図3中から、位相差検出用画素とされた1組の画素211−2を含む3個の画素を抽出した図である。また図8は、画素211−2の平面図と断面図を示す図である。図8の上図が、画素211−2の平面図であり、下図が画素211−2の断面図である。
図8の上図に示した画素211−2の平面図は、基本的に、図7に示した画素211−1の平面図と同様の構成を有しているが、位相差検出用画素に架かる遮光膜331の長さが異なる。また図8の下図に示した画素211−2の断面図は、基本的に、図7に示した画素211−1の断面図と同様の構成を有しているが、位相差検出用画素に架かる遮光膜331の長さが異なる。
図8に示した画素211−2のうち、中央に位置している画素211−2は、通常撮影用画素であり、その通常撮影用画素の両隣(図中左側に位置する画素211−2Aと右側に位置する画素211−2B)は、位相差検出用画素である。
上記したように、位相差検出用画素は、2個の画素211−2が1組とされ、図8では、左側に位置する画素211−2Aと右側に位置する画素211−2Bが1組とされている。
画素211−2Aは、受光領域231−2Aと受光領域232−2Aを有している。この2つの受光領域231−2のうち、左側の一部が遮光され、光が入射しないように構成されている。
画素211−2Bは、受光領域231−2Bと受光領域232−2Bを有している。この2つの受光領域231−2のうち、右側の一部が遮光され、光が入射しないように構成されている。
このように、1組の位相差検出用画素とされた一方の画素211−2は、左側が遮光され、他方の画素211−2は、右側が遮光されている。このように遮光されている2個の画素211−2には、図9に示すように光が入射する。
図9中、符号271は、視点Aと呼ぶ領域を通過する光束の代表とし、符号272は、視点Bと呼ぶ領域を通過する光束の代表とする。
視点Aからの光束271は、画素211−2A上に設けられているオンチップレンズ251を介して、受光領域231−2Aと232−2Aに入射する。画素211−2Aは、左側が遮光膜311Aにより遮光されているため、画素211−2Aの右側から来る光(視点B方向から来る光)は、遮光膜311Aにより遮光され、受光領域231−2Aおよび232−2Aには入射されない。
視点Bからの光束272は、画素211−2B上に設けられているオンチップレンズ251を介して、受光領域231−2Bと受光領域232−2Bに入射する。画素211−2Bは、右側が遮光膜311Bにより遮光されているため、画素211−2Bの左側から来る光(視点A方向から来る光)は、遮光膜311Bにより遮光され、受光領域231−2Bおよび232−2Bには入射されない。
このように、画素211−2Aは、視点Aからの光を受光し、画素211−2Bは、視点Bからの光を受光する。すなわち、画素211−2Aと画素211−2Bは、異なる方向からの光をそれぞれ受光する。
画素211−2Aの受光領域231−2Aと232−2Aから得られる視点Aの光束を捕らえた像データを加算し、画素211−2Bの受光領域231−2Bと232−2Bから得られる視点Bの光束を捕らえた像データを加算して用い、それらの相関演算を行うことで、デフォーカス量を検出することができる。また、デフォーカス量から、光学系を所望の状態に変化させることで、焦点検出を行うことができる。
このように、遮光画素方式による位相差の検出は、2個の画素211−2を1組として行われる。
図3を再度参照するに、画素アレイ部111の中心領域201においては、画素分割方式で位相差が検出され、周辺領域202においては、遮光画素方式で位相差が検出される。このように、本技術を適用した画素アレイ部111の構成では、異なる方式で位相差を検出する画素が混在している構成とされている。
このように異なる方式で位相差を検出するようにすることで、より精度良く位相差を検出したり、検出時間を短くしたりすることが可能となる。また、位相差の検出の精度が高くなり、検出時間が短くなることで、焦点を合わせる精度を高め、焦点を合わせるまでの時間を短くすることが可能となる。
このように、画素アレイ部111の中心領域201と周辺領域202に、異なる方式で位相差を検出する画素を配置することで、より精度良く位相差を検出したり、検出時間を短くしたりすることが可能となることについて図10を参照して説明を加える。
図10のAは、画素アレイ部111の中心領域201(光学中心に近い領域)にある画素211を示している。図10のAに示した状態は、図5に示した状態と同じである。光学中心に近い領域では、視点A側からの光束と、視点B側からの光束の2つの入射光束の角度、光量が、略対称である。よって、オンチップレンズ251の中心を通る軸と、受光領域231と受光領域232の境界線を略一致させ、受光領域231と受光領域232のそれぞれの大きさを同じ大きさで構成すれば、最適に受光することができる。
図10のBは、画素アレイ部111の周辺領域202(光学中心から遠い領域)にある画素211を示している。図10のBに示した光学中心から離れた領域では、視点A側からの光束と、視点B側からの光束の2つの入射光束の角度、光量が対称ではない。このため、受光領域231での受光量と受光領域232での受光量が不均一となる可能性がある。不均一が生じないように、オンチップレンズ251の中心を通る軸と、受光領域231と受光領域232の境界線がずれた位置に、オンチップレンズ251と受光領域231、受光領域232が配置される。
このように、画素アレイ部111の周辺領域202においては、受光領域での受光量にアンバランスを生じさせないように、オンチップレンズ251などの光学系の配置位置が調整される。
さらに、交換レンズ型のカメラの場合、レンズが交換されると、入射角度も変わるため、より複雑な調整が必要となる。図10のBに示したように、オンチップレンズ251などの光学系の配置位置を調整だけでは、特定の入射角度条件しか対応できず、入射角度によっては受光量のアンバランスが生じてしまう。
このようなオンチップレンズ251などの光学系の配置調整だけでは、受光量のアンバランスは生じてしまうが、遮光画素方式においては、遮光膜311の長さを調整することで、遮光される光束を調整することができ、配置される位置と装着されるレンズの入射角度条件に適した長さに、遮光膜311の長さを調整(設定)しておくことで、受光量のアンバランスを回避することができる。
例えば、図10のCに示したように、受光領域231を、受光領域232よりも小さく構成することで、受光量のバランスをとる構造とすることもできる。
一方で、受光領域231と受光領域232とを異なる大きさで構成すると、画素アレイ部111内の画素211の特性を均一にすることが困難であり、画質品質が劣化してしまう可能性がある。すなわち、上記したように、1個の画素211が、受光領域231と受光領域232を有するような場合、それらの受光領域は、均一の大きさで構成されていると、画素アレイ部111内の画素211の特性を均一にすることができ、画質品質を保つことができる。
また、上記したように、受光領域231と受光領域232を有する画素211は、通常撮影用画素としても用いられるため、撮影された画像の画質を劣化させないためにも、画素アレイ部111内の画素211の特性は均一にされるのが良い。
このようなことから、例えば、図3に示したように、本技術を適用した画素アレイ部111の画素の配置においては、同一の大きさの受光領域231,232を有する画素211が、全面にわたって配置されている。
また、上記したように、画素アレイ部111の中心領域201においては、画素分割方式で位相差が検出される。中心領域201は、図10のAに示したような状態であり、視点A側からの光束と、視点B側からの光束の2つの入射光束の角度、光量が、略対称であるため、換言すれば入射光線の角度が浅いため、受光領域231と受光領域232を、同一の大きさで構成し、オンチップレンズ251の中心を通る軸と受光領域231と受光領域232の境界線を一致させた配置とし、そのような画素211−1で位相差を検出しても、画質品質を劣化させることなく、位相差を検出することができる。
また、画素アレイ部111の周辺領域202は、図8を参照して説明したように遮光画素方式で位相差を検出するため、入射光線の角度が深い状態であっても、位相差を精度良く検出することができる。
例えば、画素アレイ部111の端に近い側に配置された位相差検出用画素の遮光膜311は、長めに構成し、周辺領域202内であるが、中心に近い側に配置された位相差検出用画素の遮光膜311は、短めに構成するといったように、画素の配置位置により遮光膜311の長さを異なるようにすることもできる。すなわち、遮光膜311の長さを調整することで、画素の配置位置に応じて、適切な位相差検出ができるように調整することができる。
仮に、画素アレイ部111の中心領域201にも、遮光画素方式で位相差を検出する画素を配置した場合を考える。遮光画素方式で位相を検出する画素は、図8などを参照して説明したように、2個の画素211が1組とされ、また位相差検出用の画素専用として設けられる。よって、中心領域201にも、そのような画素を配置した場合、中心領域201内の、通常撮影用画素が減ることになる。
また、位相差検出の精度を上げるためには、位相差検出用画素を、多く配置する必要があるが、そのように多く配置すると、通常撮影用画素が減ることになり、画質が劣化してしまう可能性がある。
しかしながら、本技術を適用した画素アレイ部111における画素の配置によれば、遮光画素方式で位相差を検出する位相差検出用画素を少なくすることができ、通常撮影用画素が減るようなことをできる限り抑えることが可能となる。また、上記したように、中心領域201と周辺領域202には、それぞれの領域に適した方式で位相差を検出する画素を配置したため、画像品質を劣化させることなく、位相差を検出することができる。
また、画素211の構造は、画素アレイ部111内で全て同一であり、製造時に中心領域201と周辺領域202との画素を分けて製造することなく、一括して製造することができるため、製造時の工程などを増やすことなく製造することができる。
また、周辺領域202に配置される位相差検出用画素は、遮光膜311A,B(図8)を製造するだけで対応できるため、例えば、マスク形状を遮光膜311A,Bを含むマスク形状にすれば良く、この点でも、製造時の工程などを増やすことなく製造することができる。
上記したように、位相差を検出する方式として、画素分割方式と遮光画素方式があり、それぞれの方式で位相差を検出する画素が混在しているが、画素分割方式の信号処理と遮光画素方式の信号処理とで、それぞれ処理することができる。すなわち、画素211の構造を同一としても、信号処理でそれぞれの方式に対応することができる。
なお、上記した実施の形態においては、画素アレイ部111を、中心領域201と周辺領域202の2領域に分けて説明したが、複数の領域を設けても良い。例えば、中心領域201、周辺領域202、および中心領域201と周辺領域202の間の中間領域(不図示)を設け、中心領域201には、上記した実施の形態のように、画素分割方式で位相差を検出する画素が配置される。
中間領域と周辺領域202には、それぞれ遮光画素方式で位相差を検出する画素が配置されるが、その配置される密度が異なるようにされ、例えば、中間領域に配置される位相差検出用画素の密度は、周辺領域202に配置される位相差検出用画素の密度よりも疎になるように構成されるようにしても良い。
なお、上記した実施の形態に限定されるわけではなく、中心領域201や周辺領域202といった領域を設けず、画素アレイ部111の中央から周辺にかけて、徐々に、遮光画素方式で位相差を検出する画素の配置が、密になるようにしても良い。換言すれば、画素アレイ部111の中央から周辺にかけて、徐々に、画素分割方式で位相差を検出する画素の配置が、疎になるようにしても良い。
また、上述した実施の形態、例えば図3に示した形態においては、画素211は、横方向に受光領域が分割されている例を挙げて説明した。図3を再度参照するに、画素211の受光領域231(受光領域232)の長辺方向は、画素アレイ部111の短辺方向と一致するように配置されている。
本技術が適用されるのは、このような受光領域の配置(分割)に限定されずに、適用することができる。例えば、4つの受光領域に分割されるような場合にも、本技術を適用することはできる。すなわち、複数の受光領域に分割されているような場合にも、本技術を適用することはできる。
また、図11に示すように、受光領域は、縦方向に分割されていても良い。図11を参照するに、画素211の受光領域231(受光領域232)の長辺方向は、画素アレイ部111の長辺方向と一致するように配置されている。このような縦方向に受光領域が分割された画素に対しても、本技術は適用できる。
受光領域は、縦方向に分割されている場合、上側方向からの光束を捉えた像データと、下側方向からの光束を捉えた像データとが得られ、それらの相関演算が行われることで、デフォーカス量が検出される。また、図11に示したように、遮光画素方式で位相差を検出する画素、例えば、画素211−2Aと画素211−2Bは、それぞれ、上側または下側に遮光膜を備えた構成とされる。
図11に示したように、受光領域が、縦方向に分割されている場合、上下方向(垂直方向)の位相差が検出される。このような縦方向に受光領域が分割された画素に対しても、本技術は適用できる。
<カラーフィルタの色配置>
次に、カラーフィルタの色配置について説明する。カラーフィルタは、オンチップレンズ251と受光領域231,232との間に設けられている。カラーフィルタの色は、例えばRGB(Red,Green,Blue)のベイヤー配列で配置される。
図12は、カラーフィルタの色配置の一例を示す図である。図12では、RGBのベイヤー配列を適用したときの色配置を示している。また図12は、図3に示した画素アレイ部111に、カラーフィルタの色配置を重畳して記載した図である。図中、Rは、赤色を表し、Gは、緑色を表し、Bは、青色を表している。
図12に示した例では、2×2の画素を単位とし、左上がR画素、右上と左下がG画素、右下がB画素とされている。
画素分割方式にて位相差検出する場合、色収差によるピント誤差の影響を小さくするため、視感度の違う緑(G)のフィルタの出力のみ、もしくは重みをつけて使うことが望ましい。このとき、画素分割方式と遮光画素方式の出力レベルが揃うように、遮光画素方式の位相差検出画素も、緑(G)のフィルタの場所に埋め込まれることが望ましい。
図12では、周辺領域202に配置されている遮光画素方式で位相差を検出する位相差検出用画素のカラーフィルタの色は、G(緑色)とされている。換言すれば、2×2の4画素を単位としたとき、G画素が配置される位置に位置する画素が、位相差検出用画素に設定されている。
図13に、他の色配置を示す。図13も、図12と同じく、RGBのベイヤー配列を適用したときの色配置を示しているが、位相差検出用画素が配置されているのが、本来、B画素が配置されている位置にG画素の位相差検出用画素が配置されている点が異なる。
図13に示した色配置は、遮光画素方式の位相差検出用画素を、本来、緑(G)のフィルタ以外の画素(図13では青(B))の位置に埋め込み、カラーフィルタを緑にした例である。このようにすれば、本来の緑(G)の画素を遮光しないため、通常画像の品質をより高くすることが可能となる。
このような色配置は、一例であり、限定を示すものではない。RGB以外の色配置、例えば、白(W)またはC(透明)を追加した、RGBW、RGBCなどの色配置に対しても本技術は適用できる。また、RCCCといった色配置に対しても本技術は適用できる。
<第2の実施の形態における画素配置>
次に、第2の実施の形態における画素配置について説明する。図14は、第2の実施の形態における画素配置の一例を示す図である。
図14に示した第2の実施の形態においても、図3に示した第1の実施の形態と同じく、画素アレイ部111内の画素211は、全て分割画素とされ、それぞれ2つの受光領域を有する構成とされている。図14に示した第2の実施の形態においても、図3に示した第1の実施の形態と同じ部分には同じ符号を付し、その説明は適宜省略する。
画素アレイ部111内の画素は、基本的に、受光領域が横方向に分割された画素か、縦方向に分割された画素のどちらかに統一される。これは、画素アレイ部111内に、受光領域が横方向に分割された画素と、縦方向に分割された画素を混在させた構成とすると、製造上複雑になる可能性があるからである。
そこで、ここでは、第1の実施の形態として説明したように、画素アレイ部111内の画素の受光領域は、横方向に分割されている場合(図3)か、縦方向に分割されている場合(図11)である場合を例に挙げて説明した。なお以下の説明では、画素アレイ部111内の画素の受光領域は、横方向に分割されている場合を例に挙げて説明を続ける。
画素アレイ部111内の画素の受光領域が横方向に分割されている場合、位相差は、左側から入射された光を捉えた像データと、右側から入射された光を捉えた像データが用いられて検出される。換言すれば、左右方向、さらに換言すれば、水平方向に関しての像データが用いられて位相差が検出されるため水平方向に関する位相差が検出される。
上下方向、換言すれば、垂直方向に関しての像データが用いられ、垂直方向に関する位相差が検出されるようにする場合、例えば、上記した、受光領域が横方向に分割された画素ではなく、受光領域が縦方向に分割された画素、例えば、図11に示したような画素211が用いられる。
よって、水平方向と垂直方向の両方向の位相差を検出するようにする場合、図3に示した横方向に受光領域が分割された画素と、図11に示した縦方向に受光領域が分割された画素を混在させる必要がある。
しかしながら、上記したように、横方向に受光領域が分割された画素と、縦方向に受光領域が分割された画素を混在させる、換言すれば、例えば、横方向に受光領域が分割された画素群のなかに、縦方向に受光領域が分割された画素を点在させるのは、製造上、煩雑になる可能性があり、生産効率が低下する可能性がある。
そこで、図14に示すように、位相差検出用画素を配置するようにする。図14に示した画素アレイ部111内の画素211は、全て横方向に受光領域が分割され、2つの受光領域を有する画素とされている。
画素アレイ部111内の所定の画素を、遮光画素方式で位相差を検出する位相差検出用画素とする。例えば、図14においては、画素211−3Aと画素211−3Bが、1組の位相差検出用画素とされている。
この画素211−3Aは、図中下方向が遮光膜311Cで遮光されている。このように遮光されているため、画素211−3Aは、図中上側の方向から入射された光を受光し、下側から入射された光は遮光される構成となる。よって、画素211−3Aからは、上方向からの光を捉えた像データが得られる。
また画素211−3Bは、図中上方向が遮光膜311Dで遮光されている。このように遮光されているため、画素211−3Bは、図中下側の方向から入射された光を受光し、上側から入射された光は遮光される構成となる。よって、画素211−3Bからは、下方向からの光を捉えた像データが得られる。
画素211−3Aから得られた上方向からの光を捉えた像データと、画素211−3Bから得られた下方向からの光を捉えた像データを用いて、上下方向(垂直方向)に関する位相差が検出される。
このように、遮光画素方式で垂直方向に関する位相差を検出するようにする。一方で、遮光画素方式で位相差を検出する位相差検出用画素以外の画素は、画素分割方式で位相差を検出する位相差検出用画素として用いることができる。画素分割方式で位相差を検出する位相差検出用画素は、横方向に受光領域が分割された画素であり、第1の実施の形態で説明したように、左右方向(水平方向)に関する位相差を検出することができる。
すなわち、図14に示した画素配置によると、遮光画素方式で垂直方向に関する位相差を検出し、画素分割方式で水平方向に関する位相差を検出することができる。
遮光画素方式で水平方向に関する位相差を検出する位相差検出用画素は、第1の実施の形態と異なり、周辺領域202(図3)に限らず、中心領域201にも配置することが可能である。中心領域201にも配置することで、中心領域201においても、水平方向と垂直方向の両方向において位相差を検出することができる構成とすることができる。
なおここでは、横方向に受光領域が分割された分割画素を例に挙げて説明したが、図11に示した縦方向に受光領域が分割された分割画素に対しても第2の実施の形態を適用することはできる。この場合、遮光画素方式で水平方向に関する位相差を検出し、画素分割方式で垂直方向に関する位相差を検出することができる。
なお、第2の実施の形態においても、図12、図13を参照して説明したように、位相差検出用画素上のカラーフィルタの色は、同一色となるような色配置とされている。
<第3の実施の形態における画素配置>
次に、第3の実施の形態における画素配置について説明する。図15は、第3の実施の形態における画素配置の一例を示す図である。
図15に示した第3の実施の形態は、図3に示した第1の実施の形態と同じく、中心領域201には、画素分割方式で位相差を検出する位相差検出用画素が配置され、周辺領域202には、遮光画素方式で位相差を検出する位相差検出用画素が配置されている。また、図15に示した第3の実施の形態においても、図3に示した第1の実施の形態と同じく、中心領域201に配置されている画素は、通常撮影用の画素としても機能する。
図15に示した第3の実施の形態においては、図3に示した第1の実施の形態と異なり、周辺領域202には、受光領域が分割された画素が配置されているのではなく、受光領域が分割されていない画素が配置されている。
図15に示した画素アレイ部111内の中心領域201には、受光領域が分割された画素(図15では、2分割された画素)が配置され、周辺領域202には、受光領域が分割されていない画素(以下、非分割画素と適宜記述する)が配置されている。
周辺領域202に配置されている非分割画素211−4は、画素211−1の受光領域231と受光領域232を加算した領域と略同等の大きさを有する画素とされている。非分割画素211−4のうち、位相差検出用画素とされた画素の一部は、遮光膜で遮光され、所定の方向から入射された光を効率良く受光する構成とされている。
例えば、非分割画素211−4Aと非分割画素211−4Bは、遮光画素方式で位相差を検出する1組の位相差検出用画素とされている。
この画素211−4Aは、図中左方向が遮光膜311Eで遮光されている。このように遮光されているため、画素211−4Aは、図中右側の方向から入射された光を受光し、左側から入射された光は遮光される構成となる。よって、画素211−4Aからは、右方向からの光を捉えた像データが得られる。
また画素211−4Bは、図中右方向が遮光膜311Fで遮光されている。このように遮光されているため、画素211−4Bは、図中左側の方向から入射された光を受光し、右側から入射された光は遮光される構成となる。よって、画素211−4Bからは、左方向からの光を捉えた像データが得られる。
画素211−4Aから得られた右方向からの光を捉えた像データと、画素211−4Bから得られた左方向からの光を捉えた像データが用いられて、左右方向(水平方向)に関する位相差が検出される。
このような構造における受光状態は、図8、図9に示したような構造での受光状態と基本的に同じ状態とすることができる。よって、図8、図9を参照して説明したように、遮光画素方式による位相差検出を実現できる。
なお、周辺領域202に配置される位相差検出用画素は、図15に示した例では、水平方向の位相差を検出する画素が配置されている例を示したが、図14を参照して説明した垂直方向の位相差を検出する画素(遮光膜が上側または下側に配置されている画素)が配置されているようにしても良い。
また、周辺領域202には、遮光画素方式で水平方向の位相差を検出する位相差検出用画素と、垂直方向の位相差を検出する位相差検出用画素が混在して配置されているようにしても良い。
また、第2の実施の形態と第3の実施の形態を組み合わせ、周辺領域202には、非分割画素211−4を配置し、遮光画素方式で水平方向の位相差を検出する位相差検出用画素を配置し、中心領域201には、分割画素を配置し、遮光画素方式で垂直方向の位相差を検出する位相差検出用画素を配置するようにしても良い。
また、第2の実施の形態と第3の実施の形態を組み合わせ、周辺領域202には、非分割画素211−4を配置し、遮光画素方式で垂直方向の位相差を検出する位相差検出用画素を配置し、中心領域201には、受光領域が横方向に分割された分割画素を配置し、遮光画素方式で水平方向の位相差を検出する位相差検出用画素を配置するようにしても良い。
第3の実施の形態においても、第1の実施の形態と同じく、画素アレイ部111の中心領域201は、画素分割方式で位相差を検出する構成とする。中心領域201は、入射光線の角度が浅いため、受光領域231と受光領域232を、同一の大きさで構成し、オンチップレンズ251の中心を通る軸と受光領域231と受光領域232の境界線を一致させた配置とし、そのような画素211で位相差を検出することで、画質品質を劣化させることなく、位相差を検出することができる。
また第3の実施の形態においても、第1の実施の形態と同じく、画素アレイ部111の周辺領域202は、遮光画素方式で位相差を検出する構成とする。周辺領域202は、例えば図10のBを参照して説明したように、視点A側からの光束と、視点B側からの光束の2つの入射光束の角度、光量が、対称ではない状態、換言すれば、入射光線の角度が深い状態である。
第3の実施の形態においても、入射光線の角度が深い状態であっても、位相差を精度良く検出することができる。また、遮光膜311E,311Fの長さを調整することで、より適切に位相差を検出することができる。
また、レンズ交換型のカメラの場合、レンズが交換される可能性がある。そこで、装着されたレンズにより遮光膜311の長さが適切な位相差検出用画素が選択されて用いられるようにしても良い。例えば、所定のラインAには、レンズAに対応する遮光膜311が配置された位相差検出用画素が配置され、所定のラインBには、レンズBに対応する遮光膜311が配置された位相差検出用画素が配置されているようにする。
このような場合、レンズAが装着されたと判定された場合には、ラインAに配置されている位相差検出用画素が用いられて位相差が検出される。また、レンズBが装着されたと判定された場合には、ラインBに配置されている位相差検出用画素が用いられて位相差が検出される。このように、レンズに応じた位相差検出用画素を選択できる構成とすることも可能であり、より精度良く位相差を検出することができる構成とすることも可能である。
また第3の実施の形態においても、遮光画素方式で位相差を検出する位相差検出用画素を少なくすることができ、通常撮影用画素が減るようなことをできる限り抑えることが可能となる。また、上記したように、中心領域201と周辺領域202には、それぞれの領域に適した方式で位相差を検出する画素を配置したため、画像品質を劣化させることなく、位相差を検出することができる。
なお、上記した第3の実施の形態においては、画素アレイ部111を、中心領域201と周辺領域202の2領域に分けて説明したが、複数の領域を設けても良い。例えば、中心領域201、周辺領域202、および中心領域201と周辺領域202の間の中間領域(不図示)を設け、中心領域201は、上記した実施の形態のように、画素分割方式で位相差を検出する画素が配置される。
中間領域と周辺領域202には、それぞれ遮光画素方式で位相差を検出する画素が配置されるが、その配置される密度が異なるようにされ、例えば、中間領域に配置される位相差検出用画素の密度は、周辺領域202に配置される位相差検出用画素の密度よりも疎になるように構成される。
また、中央から周辺にかけて、徐々に、遮光画素方式で位相差を検出する画素の配置が、密になるようにしても良い。
また、上述した第3の実施の形態、例えば図15に示した形態においては、画素211のうちの分割画素は、横方向に受光領域が分割されている例を挙げて説明したが、図11を参照して説明したように、横方向に受光領域が分割されている画素を、本技術に適用することも可能である。
なお、第3の実施の形態においても、図12、図13を参照して説明したように、位相差検出用画素上のカラーフィルタの色は、同一色となるような色配置とされている。
<焦点調整処理>
上記したように、本実施の形態における画素アレイ部111は、異なる方式で位相差を検出する位相差検出用画素が混在した構成とされている。常に異なる方式で位相差を検出するようにしても良いし、所定の条件に応じて、どちらか一方の方式、または両方の方式を選択して位相差を検出するようにしても良い。
例えば、レンズの種類により、画素分割方式で位相差を検出する、遮光画素方式で位相差を検出する、または、画素分割方式と遮光画素方式で位相差を検出するようにすることができる。すなわち、レンズの種類という条件により、どの方式で位相差を検出するかを設定し、その設定された方式に対応した位相差検出用画素で位相差を検出するようにすることができる。
また画素分割方式で位相差を検出する位相差検出用画素と、遮光画素方式で位相差を検出する位相差検出用画素が混在するような領域で位相差を検出する(焦点を調整する)場合、例えば、遮光画素方式による情報のみを用いて焦点が調整されるようにすることができる。すなわち、焦点を合わせる領域に基づき、どの方式で位相差を検出するかを設定し、その設定された方式に対応した位相差検出用画素で位相差を検出するようにすることができる。
ここで、図16に示したフローチャートを参照し、焦点調整処理の一例を説明する。
ステップS11において、撮像装置10の操作部27(図1)が操作され、メインのスイッチがオンの状態にされる。ステップS12において、表示部25に画像を表示するための(ライブビュー表示を行うための)撮像素子22の露光と読み出しが開始される。ステップS13において、露光値や読み出された像データなどが格納される。そして、ステップS14において、ライブビュー表示が開始される。
なお、ライブビュー表示用の出力と一緒に位相差検出用画素からの出力も読み出されるが、高速に焦点検出を行うために、ライブビュー表示用の出力と位相差検出用画素の出力を別々に読み出すような回路構成とすることも可能であり、そのような回路構成とした場合、ライブビュー表示用の出力と位相差検出用画素の出力は、別々に読み出される。
ステップS15において、ユーザにより操作部27のシャッターボタンが、例えば半押しされるなどの所定の操作が行われることで、焦点調整動作の開始が指示されたか否かが判定される。ステップS15において、焦点調整動作は指示されていないと判定された場合、ステップS12に処理が戻され、それ以降の処理が繰り返される。
一方、ステップS15において、焦点調整動作が指示されたと判定された場合、ステップS16に処理は進められる。ステップS16以降の処理で、焦点調整動作に関する処理が開始される。ステップS16において、レンズの光学条件、例えば、焦点距離や、フォーカス位置などの条件が、取得される。
ステップS17において、画素分割方式による焦点検出(位相差の検出)が、画面中心からどの領域まで使用できるか(有効エリア)が設定される。例えば、周辺領域202でも、入射角度が浅いような光学条件では、画素分割方式により位相差を検出する領域を広めに設定することができる。
なお、図15を参照して説明した第3の実施の形態のように、画素分割方式の領域と遮光画素方式の領域が分割されている場合(領域により、分割画素または非分割画素が配置されている場合)や、処理を簡略化する場合などには、レンズの光学条件にはよらず、それぞれの位相差検出方式で予め設定されている領域でのみ検出を行うといった設定にしておくことも可能である。
ステップS18において、ステップS17において設定された画素分割方式の有効エリアに基づき、処理対象とされたエリアは、画素分割方式の有効エリア内であるか否かが判定される。画素アレイ部111を複数のエリアに分け、換言すれば、撮像される画像を複数のエリアに分け、分割されたエリア毎に位相差が検出される。
ステップS18において、処理対象とされたエリアは、画素分割方式の有効エリア内であると判定された場合、ステップS19に処理が進められる。ステップS19において、画素分割方式で位相差を検出する位相差検出用画素からの出力データが用いられ、位相差が検出される。
一方、処理対象とされたエリアは、画素分割方式の有効エリア内ではないと判定された場合、ステップS20に処理が進められる。ステップS20において、遮光画素方式で位相差を検出する位相差検出用画素からの出力データが用いられ、位相差が検出される。
ステップS21において、全エリアにおいて、位相差を検出したか否かが判定され、全エリアにおいて位相差を検出したと判定されるまで、ステップS18に処理が戻され、順次処理対象のエリアが変更され、そのエリアに対して、ステップS18以降の処理が繰り返される。
一方、ステップS21において、全エリアにおいて、位相差を検出したと判定された場合、ステップS22に処理が進められる。
このように、焦点検出の処理は、撮像素子22(イメージセンサ)の中で複数のエリアに分割して行われる。上記領域設定で設定された位相差検出方式の画素からの出力が用いられて、全エリアが計算される。各々の方式とも、基本的な位相差検出の計算を行うが、画素の配置・画素密度・1エリアの画素数などが異なるため、計算過程のフィルタ処理・計算パラメータなどは異ならせて行われる。
ステップS22において、計算が終了された全エリアの中から、目標位置へ焦点調節(レンズ駆動)するために採用する位相差検出量(ピントずれ量)が選択される。そして、ステップS23において、選択されたピントずれ量をなくすように焦点調節が行われる。
ステップS22における全エリアの中から採用する位相差検出量の選択は、例えば、複数のエリアから、一番近い距離のエリアを選択するなどの方法により行われる。またユーザが特定の焦点検出エリアを設定した場合などには、その設定された一部のエリアのみが計算されるようにしても良い。
このような処理は、最終的な焦点位置が決まるまで繰り返し行われる。
なおここでは、ステップS15において、焦点調整動作の開始が指示されたと判定された後、ステップS16以降で、焦点調整動作に関する処理が実行されるとしたが、焦点調整動作の開始の指示がなくても、焦点調整動作が行われるようにしても良い。
焦点調整動作の指示に係わらず、ステップS16乃至S22までの焦点検出までの処理は行われ、焦点調整動作(レンズ駆動)のみ行われずに、シャッターボタンが操作されたら、すぐに焦点調節動作に入って、高速なオートフォーカスが実現されるようにすることも可能である。
<内視鏡システムの構成>
本開示に係る技術は、上記した撮像装置10以外にも、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。またここでは、内視鏡手術システムを例に挙げて説明をするが、本技術は、外科手術システム、顕微鏡下手術システムなどにも適用できる。
また、例えば、図3に示した画素アレイ部111を有するCMOSイメージセンサ100は、画像を撮像する撮像部1027(図18)に適用できる。本技術を適用したCMOSイメージセンサ100は、上記したように、画像品質を劣化させることなく、精度良く位相差を検出することができ、焦点を合わせることができる。よって、内視鏡のように、術部を撮像するような装置に対して本技術を適用した場合、術部の画像品質を劣化させることなく、精度良く位相差を検出することができ、焦点を合わせることができる。
図17は、本開示に係る技術が適用され得る内視鏡手術システム1010の概略的な構成の一例を示す図である。図17では、術者(医師)1071が、内視鏡手術システム1010を用いて、患者ベッド1073上の患者1075に手術を行っている様子が図示されている。図示するように、内視鏡手術システム1010は、内視鏡1020と、その他の術具1030と、内視鏡1020を支持する支持アーム装置1040と、内視鏡下手術のための各種の装置が搭載されたカート1050と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ1037a〜1037dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ1037a〜1037dから、内視鏡1020の鏡筒1021や、その他の術具1030が患者1075の体腔内に挿入される。図示する例では、その他の術具1030として、気腹チューブ1031、エネルギー処置具1033及び鉗子1035が、患者1075の体腔内に挿入されている。また、エネルギー処置具1033は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具1030はあくまで一例であり、術具1030としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡1020によって撮影された患者1075の体腔内の術部の画像が、表示装置1053に表示される。術者1071は、表示装置1053に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具1033や鉗子1035を用いて、例えば患部を切除する等の処置を行う。なお、気腹チューブ1031、エネルギー処置具1033及び鉗子1035は、手術中に、術者1071又は助手等によって支持される。
(支持アーム装置)
支持アーム装置1040は、ベース部1041から延伸するアーム部1043を備える。図示する例では、アーム部1043は、関節部1045a、1045b、1045c、及びリンク1047a、1047bから構成されており、アーム制御装置1057からの制御により駆動される。アーム部1043によって内視鏡1020が支持され、その位置及び姿勢が制御される。これにより、内視鏡1020の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡1020は、先端から所定の長さの領域が患者1075の体腔内に挿入される鏡筒1021と、鏡筒1021の基端に接続されるカメラヘッド1023と、から構成される。図示する例では、硬性の鏡筒1021を有するいわゆる硬性鏡として構成される内視鏡1020を図示しているが、内視鏡1020は、軟性の鏡筒1021を有するいわゆる軟性鏡として構成されてもよい。
鏡筒1021の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡1020には光源装置1055が接続されており、当該光源装置1055によって生成された光が、鏡筒1021の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者1075の体腔内の観察対象に向かって照射される。なお、内視鏡1020は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド1023の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)1051に送信される。なお、カメラヘッド1023には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド1023には撮像素子が複数設けられてもよい。この場合、鏡筒1021の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU1051は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡1020及び表示装置1053の動作を統括的に制御する。具体的には、CCU1051は、カメラヘッド1023から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU1051は、当該画像処理を施した画像信号を表示装置1053に提供する。また、CCU1051は、カメラヘッド1023に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置1053は、CCU1051からの制御により、当該CCU1051によって画像処理が施された画像信号に基づく画像を表示する。内視鏡1020が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置1053としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置1053として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置1053が設けられてもよい。
光源装置1055は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡1020に供給する。
アーム制御装置1057は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置1040のアーム部1043の駆動を制御する。
入力装置1059は、内視鏡手術システム1010に対する入力インタフェースである。ユーザは、入力装置1059を介して、内視鏡手術システム1010に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置1059を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置1059を介して、アーム部1043を駆動させる旨の指示や、内視鏡1020による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具1033を駆動させる旨の指示等を入力する。
入力装置1059の種類は限定されず、入力装置1059は各種の公知の入力装置であってよい。入力装置1059としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ1069及び/又はレバー等が適用され得る。入力装置1059としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置1053の表示面上に設けられてもよい。
あるいは、入力装置1059は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置1059は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。
更に、入力装置1059は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置1059が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者1071)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置1061は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具1033の駆動を制御する。気腹装置1063は、内視鏡1020による視野の確保及び術者の作業空間の確保の目的で、患者1075の体腔を膨らめるために、気腹チューブ1031を介して当該体腔内にガスを送り込む。レコーダ1065は、手術に関する各種の情報を記録可能な装置である。プリンタ1067は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム1010において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置1040は、基台であるベース部1041と、ベース部1041から延伸するアーム部1043と、を備える。図示する例では、アーム部1043は、複数の関節部1045a、1045b、1045cと、関節部1045bによって連結される複数のリンク1047a、1047bと、から構成されているが、図17では、簡単のため、アーム部1043の構成を簡略化して図示している。
実際には、アーム部1043が所望の自由度を有するように、関節部1045a〜1045c及びリンク1047a、1047bの形状、数及び配置、並びに関節部1045a〜1045cの回転軸の方向等が適宜設定され得る。例えば、アーム部1043は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部1043の可動範囲内において内視鏡1020を自由に移動させることが可能になるため、所望の方向から内視鏡1020の鏡筒1021を患者1075の体腔内に挿入することが可能になる。
関節部1045a〜1045cにはアクチュエータが設けられており、関節部1045a〜1045cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置1057によって制御されることにより、各関節部1045a〜1045cの回転角度が制御され、アーム部1043の駆動が制御される。これにより、内視鏡1020の位置及び姿勢の制御が実現され得る。この際、アーム制御装置1057は、力制御又は位置制御等、各種の公知の制御方式によってアーム部1043の駆動を制御することができる。
例えば、術者1071が、入力装置1059(フットスイッチ1069を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置1057によってアーム部1043の駆動が適宜制御され、内視鏡1020の位置及び姿勢が制御されてよい。当該制御により、アーム部1043の先端の内視鏡1020を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部1043は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部1043は、手術室から離れた場所に設置される入力装置1059を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置1057は、ユーザからの外力を受け、その外力にならってスムーズにアーム部1043が移動するように、各関節部1045a〜1045cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部1043に触れながらアーム部1043を移動させる際に、比較的軽い力で当該アーム部1043を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡1020を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡1020が支持されていた。これに対して、支持アーム装置1040を用いることにより、人手によらずに内視鏡1020の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置1057は必ずしもカート1050に設けられなくてもよい。また、アーム制御装置1057は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置1057は、支持アーム装置1040のアーム部1043の各関節部1045a〜1045cにそれぞれ設けられてもよく、複数のアーム制御装置1057が互いに協働することにより、アーム部1043の駆動制御が実現されてもよい。
(光源装置)
光源装置1055は、内視鏡1020に術部を撮影する際の照射光を供給する。光源装置1055は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置1055において撮像画像のホワイトバランスの調整を行うことができる。
また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド1023の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置1055は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド1023の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置1055は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。
あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注すると共に当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置1055は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図18を参照して、内視鏡1020のカメラヘッド1023及びCCU1051の機能についてより詳細に説明する。図18は、図17に示すカメラヘッド1023及びCCU1051の機能構成の一例を示すブロック図である。
図18を参照すると、カメラヘッド1023は、その機能として、位相差検出部1024、レンズユニット1025、撮像部1027、駆動部1029、通信部1026、およびカメラヘッド制御部1028を有する。また、CCU1051は、その機能として、通信部1081、画像処理部1083、および制御部1085を有する。カメラヘッド1023とCCU1051とは、伝送ケーブル1091によって双方向に通信可能に接続されている。
まず、カメラヘッド1023の機能構成について説明する。レンズユニット1025は、鏡筒1021との接続部に設けられる光学系である。鏡筒1021の先端から取り込まれた観察光は、カメラヘッド1023まで導光され、当該レンズユニット1025に入射する。レンズユニット1025は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット1025は、撮像部1027の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部1027は撮像素子によって構成され、レンズユニット1025の後段に配置される。レンズユニット1025を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部1027によって生成された画像信号は、通信部1026に提供される。
撮像部1027を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者1071は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部1027を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1組の撮像素子を有するように構成される。3D表示が行われることにより、術者1071は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部1027が多板式で構成される場合には、各撮像素子に対応して、レンズユニット1025も複数系統設けられる。
また、撮像部1027は、必ずしもカメラヘッド1023に設けられなくてもよい。例えば、撮像部1027は、鏡筒1021の内部に、対物レンズの直後に設けられてもよい。
駆動部1029は、アクチュエータによって構成され、カメラヘッド制御部1028からの制御により、レンズユニット1025のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部1027による撮像画像の倍率及び焦点が適宜調整され得る。
カメラヘッド制御部1028は、位相差検出部1024からのデータを用いて、焦点調整のための制御を行う。撮像部1027は、上記したように、図3に示した画素アレイ部111を有するCMOSイメージセンサ100を含む構成とすることができる。このような構成とした場合、撮像部1027には、位相差検出用画素が含まれ、位相差検出部1024は、撮像部1027に含まれる位相差検出画素からのデータの供給を受ける。
位相差検出部1024は、位相差検出用画素からのデータを用いて、位相差を検出し、その情報を、カメラヘッド制御部1028に供給する。カメラヘッド制御部1028は、位相差検出部1024からの位相差に関する情報を用いて、レンズユニット1025を制御し、焦点を合わせるための制御を行う。なお、位相差検出部1024は、CC宇1051に含まれる構成とすることもできる。また、画像処理部1083における画像処理の一処理として、位相差検出が行われるように構成することもできる。
通信部1026は、CCU1051との間で各種の情報を送受信するための通信装置によって構成される。通信部1026は、撮像部1027から得た画像信号をRAWデータとして伝送ケーブル1091を介してCCU1051に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。
手術の際には、術者1071が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部1026には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル1091を介してCCU1051に送信される。
また、通信部1026は、CCU1051から、カメラヘッド1023の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部1026は、受信した制御信号をカメラヘッド制御部1028に提供する。
なお、CCU1051からの制御信号も、光通信によって伝送されてもよい。この場合、通信部1026には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部1028に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU1051の制御部1085によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡1020に搭載される。
カメラヘッド制御部1028は、通信部1026を介して受信したCCU1051からの制御信号に基づいて、カメラヘッド1023の駆動を制御する。例えば、カメラヘッド制御部1028は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部1027の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部1028は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部1029を介してレンズユニット1025のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部1028は、更に、鏡筒1021やカメラヘッド1023を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット1025や撮像部1027等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド1023について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU1051の機能構成について説明する。通信部1081は、カメラヘッド1023との間で各種の情報を送受信するための通信装置によって構成される。通信部1081は、カメラヘッド1023から、伝送ケーブル1091を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部1081には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部1081は、電気信号に変換した画像信号を画像処理部1083に提供する。
また、通信部1081は、カメラヘッド1023に対して、カメラヘッド1023の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部1083は、カメラヘッド1023から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部1083は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部1083は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部1083が複数のGPUによって構成される場合には、画像処理部1083は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部1085は、内視鏡1020による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部1085は、カメラヘッド1023の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部1085は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡1020にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部1085は、画像処理部1083による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部1085は、画像処理部1083によって画像処理が施された画像信号に基づいて、術部の画像を表示装置1053に表示させる。この際、制御部1085は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。
例えば、制御部1085は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具1033使用時のミスト等を認識することができる。制御部1085は、表示装置1053に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者1071に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド1023及びCCU1051を接続する伝送ケーブル1091は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル1091を用いて有線で通信が行われていたが、カメラヘッド1023とCCU1051との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル1091を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル1091によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム1010の一例について説明した。
なお、ここでは、一例として内視鏡手術システム1010について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
<イメージセンサの使用例>
図19は、上述のCMOSイメージセンサ100を使用する使用例を示す図である。
CMOSイメージセンサ100は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
撮像装置1は、電子を信号電荷とするもの、正孔を信号電荷とするものの両方に適用できる。
また、本開示は、可視光の入射光量の分布を検知して画像として撮像する撮像装置への適用に限らず、赤外線やX線、あるいは粒子等の入射量の分布を画像として撮像する撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の撮像装置(物理量分布検知装置)全般に対して適用可能である。
また、本開示は、撮像装置に限らず、他の半導体集積回路を有する半導体装置全般に対して適用可能である。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本開示は以下のような構成も取ることができる。
(1)
第1のオンチップレンズを介して入射された光を受光する第1の受光部と、
前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、
第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素と
を備える撮像素子。
(2)
前記第1の位相差検出用画素は、画素アレイ部の周辺領域に配置され、
前記第2の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている
前記(1)に記載の撮像素子。
(3)
前記第1の位相差検出用画素は、画素アレイ部の中央から周辺にかけて、配置密度が高くなるように配置されている
前記(1)に記載の撮像素子。
(4)
前記第1の受光部は、前記第2の受光部と同じく、複数の受光領域に分割されている
前記(1)乃至(3)のいずれかに記載の撮像素子。
(5)
前記受光領域は、縦方向または横方向に分割された受光領域である
前記(4)に記載の撮像素子。
(6)
前記第1の位相差検出用画素で検出される位相差と、前記第2の位相差検出用画素で検出される位相差は、異なる方向の位相差である
前記(1)乃至(5)のいずれかに記載の撮像素子。
(7)
前記第1の位相差検出用画素は、水平方向の位相差を検出する画素と、垂直方向の位相差を検出する画素が、それぞれ配置されている
前記(1)乃至(5)のいずれかに記載の撮像素子。
(8)
前記第1の受光部は、1つの受光領域を有する
前記(1)乃至(3)のいずれかに記載の撮像素子。
(9)
前記第1の位相差検出用画素上のカラーフィルタの色と、前記第2の位相差検出用画素上のカラーフィルタの色は、同一色である
前記(1)乃至(8)のいずれかに記載の撮像素子。
(10)
前記カラーフィルタの色配置は、赤、緑、青のベイヤー配列であり、
ベイヤー配列で、前記第2の位相差検出用画素の青が配置される位置に、前記第1の位相差検出用画素が配置され、その色は、緑とされている
前記(9)に記載の撮像素子。
(11)
レンズの光学条件により、前記第2の位相差検出用画素で位相差を検出するエリアが設定され、
前記設定されたエリア内では、前記第2の位相差検出用画素で位相差が検出され、
前記設定されたエリア外では、前記第1の位相差検出用画素で位相が検出される
前記(1)乃至(10)のいずれかに記載の撮像素子。
(12)
第1のオンチップレンズを介して入射された光を受光する第1の受光部と、
前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、
第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素と
を備える撮像素子を含む
撮像装置。
(13)
第1のオンチップレンズを介して入射された光を受光する第1の受光部と、
前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、
第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素と
を備える撮像素子を含む
電子機器。
100 CMOSイメージセンサ, 111 画素アレイ部, 201 中心領域, 202 周辺領域, 211 画素, 231,232 受光領域, 251 オンチップレンズ, 311 遮光膜, 1010 内視鏡手術システム, 1027 撮像部, 1030 術部, 1083 画像処理部, 1085 制御部

Claims (12)

  1. 第1のオンチップレンズを介して入射された光を受光する第1の受光部と、
    前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、
    第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素と
    を備え
    前記第1の位相差検出用画素は、画素アレイ部の周辺領域に配置され、
    前記第2の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている
    撮像素子。
  2. 前記第1の位相差検出用画素は、前記画素アレイ部の中央から周辺にかけて、配置密度が高くなるように配置されている
    請求項1に記載の撮像素子。
  3. 前記第1の受光部は、前記第2の受光部と同じく、複数の受光領域に分割されている
    請求項1または2に記載の撮像素子。
  4. 前記受光領域は、縦方向または横方向に分割された受光領域である
    請求項に記載の撮像素子。
  5. 前記第1の位相差検出用画素で検出される位相差と、前記第2の位相差検出用画素で検出される位相差は、異なる方向の位相差である
    請求項1乃至のいずれかに記載の撮像素子。
  6. 前記第1の位相差検出用画素は、水平方向の位相差を検出する画素と、垂直方向の位相差を検出する画素が、それぞれ配置されている
    請求項1乃至のいずれかに記載の撮像素子。
  7. 前記第1の受光部は、1つの受光領域を有する
    請求項1または2に記載の撮像素子。
  8. 前記第1の位相差検出用画素上のカラーフィルタの色と、前記第2の位相差検出用画素上のカラーフィルタの色は、同一色である
    請求項1乃至のいずれかに記載の撮像素子。
  9. 前記カラーフィルタの色配置は、赤、緑、青のベイヤー配列であり、
    ベイヤー配列で、前記第2の位相差検出用画素の青が配置される位置に、前記第1の位相差検出用画素が配置され、その色は、緑とされている
    請求項に記載の撮像素子。
  10. レンズの光学条件により、前記第2の位相差検出用画素で位相差を検出するエリアが設定され、
    設定された前記エリア内では、前記第2の位相差検出用画素で位相差が検出され、
    設定された前記エリア外では、前記第1の位相差検出用画素で位相が検出される
    請求項1乃至のいずれかに記載の撮像素子。
  11. 第1のオンチップレンズを介して入射された光を受光する第1の受光部と、
    前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、
    第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素と
    を備え
    前記第1の位相差検出用画素は、画素アレイ部の周辺領域に配置され、
    前記第2の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている
    撮像素子を含む
    撮像装置。
  12. 第1のオンチップレンズを介して入射された光を受光する第1の受光部と、
    前記第1のオンチップレンズと前記第1の受光部との間に設けられ、前記第1の受光部への光量を制限する遮光膜と、を備える第1の位相差検出用画素と、
    第2のオンチップレンズを介して入射された光を受光する第2の受光部を備え、前記第2の受光部が複数の受光領域に分割されている第2の位相差検出用画素と
    を備え
    前記第1の位相差検出用画素は、画素アレイ部の周辺領域に配置され、
    前記第2の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている
    撮像素子を含む
    電子機器。
JP2018522407A 2016-06-06 2017-05-23 撮像素子、撮像装置、電子機器 Active JP6915615B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016112845 2016-06-06
JP2016112845 2016-06-06
PCT/JP2017/019144 WO2017212909A1 (ja) 2016-06-06 2017-05-23 撮像素子、撮像装置、電子機器

Publications (2)

Publication Number Publication Date
JPWO2017212909A1 JPWO2017212909A1 (ja) 2019-04-04
JP6915615B2 true JP6915615B2 (ja) 2021-08-04

Family

ID=60578643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018522407A Active JP6915615B2 (ja) 2016-06-06 2017-05-23 撮像素子、撮像装置、電子機器

Country Status (3)

Country Link
US (1) US11064144B2 (ja)
JP (1) JP6915615B2 (ja)
WO (1) WO2017212909A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212909A1 (ja) * 2016-06-06 2017-12-14 ソニー株式会社 撮像素子、撮像装置、電子機器
WO2020230675A1 (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器
US20230040322A1 (en) * 2020-01-16 2023-02-09 Sony Group Corporation Imaging apparatus and defocus amount calculation method
KR20210106122A (ko) 2020-02-20 2021-08-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 안티-스푸핑 방법
JP2022105820A (ja) * 2021-01-05 2022-07-15 ソニーセミコンダクタソリューションズ株式会社 受光素子、撮像装置及び補正処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4807131B2 (ja) 2006-04-05 2011-11-02 株式会社ニコン 撮像素子および撮像装置
JP5825817B2 (ja) 2011-04-01 2015-12-02 キヤノン株式会社 固体撮像素子及び撮像装置
JP2016082133A (ja) * 2014-10-20 2016-05-16 ソニー株式会社 固体撮像素子及び電子機器
JP2016099432A (ja) * 2014-11-19 2016-05-30 キヤノン株式会社 焦点検出装置及び方法、プログラム、記憶媒体
WO2017212909A1 (ja) * 2016-06-06 2017-12-14 ソニー株式会社 撮像素子、撮像装置、電子機器

Also Published As

Publication number Publication date
JPWO2017212909A1 (ja) 2019-04-04
WO2017212909A1 (ja) 2017-12-14
US20190289235A1 (en) 2019-09-19
US11064144B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
US20230124400A1 (en) Imaging device and electronic device
JP6915615B2 (ja) 撮像素子、撮像装置、電子機器
JP7439214B2 (ja) 固体撮像素子および電子機器
JP7230808B2 (ja) 撮像素子および撮像装置
US20190246875A1 (en) Endoscope system and endoscope
JP7095693B2 (ja) 医療用観察システム
WO2022044897A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
KR20200073211A (ko) 전자 기기
JPWO2019078339A1 (ja) 電子機器
WO2021002213A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
JP2023181289A (ja) 固体撮像装置及び固体撮像装置の製造方法、並びに電子機器
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
US20200059608A1 (en) Image processing device, control method, and program
US12102296B2 (en) Medical imaging system, medical imaging device, and operation method
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal
TWI853915B (zh) 攝像元件及電子機器
US11357388B2 (en) Medical imaging system, method and computer program
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2023174229A (ja) 光電変換装置
JP2020088729A (ja) 固体撮像装置、固体撮像装置の駆動方法、及び電子機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210628

R151 Written notification of patent or utility model registration

Ref document number: 6915615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151