JPWO2017212909A1 - 撮像素子、撮像装置、電子機器 - Google Patents

撮像素子、撮像装置、電子機器 Download PDF

Info

Publication number
JPWO2017212909A1
JPWO2017212909A1 JP2018522407A JP2018522407A JPWO2017212909A1 JP WO2017212909 A1 JPWO2017212909 A1 JP WO2017212909A1 JP 2018522407 A JP2018522407 A JP 2018522407A JP 2018522407 A JP2018522407 A JP 2018522407A JP WO2017212909 A1 JPWO2017212909 A1 JP WO2017212909A1
Authority
JP
Japan
Prior art keywords
pixel
phase difference
light receiving
light
difference detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018522407A
Other languages
English (en)
Other versions
JP6915615B2 (ja
Inventor
真彦 中村
真彦 中村
赤松　範彦
範彦 赤松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017212909A1 publication Critical patent/JPWO2017212909A1/ja
Application granted granted Critical
Publication of JP6915615B2 publication Critical patent/JP6915615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)
  • Color Television Image Signal Generators (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、位相差を精度良く検出できるようにする撮像素子、撮像装置、電子機器に関する。
第１のオンチップレンズを介して入射された光を受光する第１の受光部と、第１のオンチップレンズと第１の受光部との間に設けられ、第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素とを備える。本技術は、オートフォーカス機能を有する撮像装置に適用できる。

Description

本技術は、撮像素子、撮像装置、電子機器に関し、例えば、より精度良く焦点を検出する撮像素子、撮像装置、電子機器に関する。
デジタルカメラにおけるオートフォーカス方式には、主に、コントラスト方式と位相差方式がある。コントラスト方式はレンズを動かし、一番コントラストの高いところを焦点が合ったところとする方法である。デジタルカメラの場合、撮像素子の画像の一部を読み出すことでオートフォーカスができ、他にオートフォーカス用の光学系を必要としない。
位相差方式は、いわゆる三角測量の技術を適用した方式であり、異なる２点から同一の被写体を見たときの角度差で距離を求める方式である。位相差方式の場合、レンズの異なる部分を通ってきた光での像、例えばレンズの右側と左側、それぞれの光束が用いられる。位相差方式では、測距することで、ピントの合っている位置まで、レンズをどれだけ動かす必要があるかが求められる。
像面位相差オートフォーカスは、撮像素子を用いて位相差方式でオートフォーカスを行う。撮像素子には、集光用のマイクロレンズが設けられており、このマイクロレンズに入射する光を制限する絞り部材を追加することで位相差オートフォーカス用の撮像素子とすることができる（例えば、特許文献１参照）。
また、像面位相差オートフォーカスを実現する手法として、特許文献２では、１個の撮像素子を複数個に分割し、それぞれを焦点検出用の素子として使用することが提案されている。
特開２０１１−１６５７３６号公報 特開２００１−２５０９３１号公報
特許文献１で提案されている方式では、遮光された画素の出力は、感度が低く、撮影用の通常画素としては使用できない。位相差検出用画素も、撮影用の画素として用いるようにする場合、得られた信号を一定量増幅してから用いる必要がある。または、位相差検出用画素の画素値は、位相差検出用画素周辺の通常画素からの信号を用いて補完する必要がある。
このようなことから、撮影された画像の品質に影響を与える可能性があり、位相差検出用画素を多く埋め込むことができず、焦点検出の精度を向上させることは困難であった。
特許文献２で提案されている方式では、全画素を位相差検出用画素と通常画素に使用できるため、焦点検出の精度や撮影画像の品質に影響を与えない反面、製造上、画素の特性を均一に作る必要があるため、全部の画素を同じサイズに分割することが望ましい。
光学中心付近と光学中心から離れた位置では、入射光線の角度が異なるため、光学中心から離れた位置でも効率よく入射光束をとらえるためには、入射する角度に応じて、マイクロレンズや、画素のサイズなどを調整する必要がある。特許文献２では、全部の画素を同じサイズで分割する必要があり、入射光線の角度の違いを調整するために、画素のサイズを調整したりすることは困難であった。
本技術は、このような状況に鑑みてなされたものであり、入射光線の角度の違いによらず、効率よく入射光束をとらえ、位相差検出の精度を向上させることができるようにするものである。
本技術の一側面の撮像素子は、第１のオンチップレンズを介して入射された光を受光する第１の受光部と、前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素とを備える。
本技術の一側面の撮像装置は、第１のオンチップレンズを介して入射された光を受光する第１の受光部と、前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素とを備える撮像素子を含む。
本技術の一側面の電子機器は、第１のオンチップレンズを介して入射された光を受光する第１の受光部と、前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素とを備える撮像素子を含む。
本技術の一側面の撮像素子においては、第１のオンチップレンズを介して入射された光を受光する第１の受光部と、第１のオンチップレンズと第１の受光部との間に設けられ、第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素とが備えられている。
本技術の一側面の撮像装置においては、前記撮像素子を含む構成とされている。
本技術の一側面の電子機器においては、前記撮像素子を含む構成とされている。
本技術の一側面によれば、入射光線の角度の違いによらず、効率よく入射光束をとらえ、位相差検出の精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
撮像装置の構成を示す図である。 撮像素子の構成を示す図である。 第１の実施の形態における画素配置について説明するための図である。 分割画素の平面構成を示す図である。 画素分割方式による位相差検出について説明するための図である。 画素の回路図である。 画素分割方式による位相差検出用画素の平面と断面を表す図である。 遮光画素方式による位相差検出用画素の平面と断面を表す図である。 遮光画素方式による位相差検出について説明するための図である。 入射角度による画素配置について説明するための図である。 分割画素の他の分割例を示す図である。 カラーフィルタの色配置について説明するための図である。 カラーフィルタの他の色配置について説明するための図である。 第２の実施の形態における画素配置について説明するための図である。 第３の実施の形態における画素配置について説明するための図である。 焦点調整処理について説明するためのフローチャートである。 内視鏡手術システムの一実施の形態の構成を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 イメージセンサの使用例について説明するための図である。
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
＜撮像機器の構成＞
以下に説明する本技術は、デジタルカメラなどのオートフォーカス機構に適用できる。またオートフォーカスの方式として、主にコントラスト方式と位相差方式があるが、本技術は、位相差方式に適用でき、以下の説明においては、像面位相差オートフォーカスを例にあげて説明を行う。
像面位相差オートフォーカスは、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部に撮像装置を用いる複写機など、画像取込部（光電変換部）に半導体パッケージを用いる電子機器全般に対して適用可能である。
図１は、本技術に係る電子機器、例えば撮像装置の構成の一例を示すブロック図である。図１に示すように、本技術に係る撮像装置１０は、レンズ群２１等を含む光学系、撮像素子（撮像デバイス）２２、ＤＳＰ（Digital Signal Processor）回路２３、フレームメモリ２４、表示部２５、記録部２６、操作部２７及び電源部２８等を有する。そして、ＤＳＰ回路２３、フレームメモリ２４、表示部２５、記録部２６、操作部２７および電源部２８がバスライン２９を介して相互に接続されている。
レンズ群２１は、被写体からの入射光（像光）を取り込んで撮像素子２２の撮像面上に結像する。撮像素子２２は、レンズ群２１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
ＤＳＰ回路２３は、撮像素子２２からの信号を処理する。例えば、詳細は後述するが、撮像素子２２には、焦点を検出するための画素があり、そのような画素からの信号を処理し、焦点を検出する処理を行う。また、撮像素子２２には、撮影された被写体の画像を構築するための画素があり、そのような画素からの信号を処理し、フレームメモリ２４に展開するといった処理も行う。
表示部２５は、液晶表示装置や有機ＥＬ（electro luminescence）表示装置等のパネル型表示装置からなり、撮像素子２２で撮像された動画または静止画を表示する。記録部２６は、撮像素子２２で撮像された動画または静止画を記録媒体に記録する。
操作部２７は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源部２８は、ＤＳＰ回路２３、フレームメモリ２４、表示部２５、記録部２６及び操作部２７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
上記の構成の撮像装置は、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置として用いることができる。そして、当該撮像装置において、撮像素子２２として、以下に説明する位相差画素を含む半導体パッケージを用いることができる。
＜撮像素子の構成＞
図２は、撮像素子２２の構成を示す図であり、例えばＸ−Ｙアドレス方式撮像装置の一種であるＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。ここで、ＣＭＯＳイメージセンサとは、ＣＭＯＳプロセスを応用して、または、部分的に使用して作成されたイメージセンサである。
図２のＣＭＯＳイメージセンサ１００は、図示せぬ半導体基板上に形成された画素アレイ部１１１と、当該画素アレイ部１１１と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば、垂直駆動部１１２、カラム処理部１１３、水平駆動部１１４及びシステム制御部１１５から構成されている。
ＣＭＯＳイメージセンサ１００は更に、信号処理部１１８及びデータ格納部１１９を備えている。信号処理部１１８及びデータ格納部１１９については、ＣＭＯＳイメージセンサ１００と同じ基板上に搭載しても構わないし、ＣＭＯＳイメージセンサ１００とは別の基板上に配置するようにしても構わない。また、信号処理部１１８及びデータ格納部１１９の各処理については、ＣＭＯＳイメージセンサ１００とは別の基板に設けられる外部信号処理部、例えば、ＤＳＰ（Digital Signal Processor）回路やソフトウエアによる処理でも構わない。
画素アレイ部１１１は、受光した光量に応じた光電荷を生成しかつ蓄積する光電変換部を有する単位画素（以下、単に「画素」と記述する場合もある）が行方向及び列方向に、即ち、行列状に２次元配置された構成となっている。ここで、行方向とは画素行の画素の配列方向（即ち、水平方向）を言い、列方向とは画素列の画素の配列方向（即ち、垂直方向）を言う。
画素アレイ部１１１において、行列状の画素配列に対して、画素行ごとに画素駆動線１１６が行方向に沿って配線され、画素列ごとに垂直信号線１１７が列方向に沿って配線されている。画素駆動線１１６は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素駆動線１１６について１本の配線として示しているが、１本に限られるものではない。画素駆動線１１６の一端は、垂直駆動部１１２の各行に対応した出力端に接続されている。
垂直駆動部１１２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１１の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部１１２は、当該垂直駆動部１１２を制御するシステム制御部１１５と共に、画素アレイ部１１１の各画素を駆動する駆動部を構成している。この垂直駆動部１１２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。
読出し走査系は、単位画素から信号を読み出すために、画素アレイ部１１１の単位画素を行単位で順に選択走査する。単位画素から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
この掃出し走査系による掃出し走査により、読出し行の単位画素の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の露光期間となる。
垂直駆動部１１２によって選択走査された画素行の各単位画素から出力される信号は、画素列ごとに垂直信号線１１７の各々を通してカラム処理部１３に入力される。カラム処理部１１３は、画素アレイ部１１１の画素列ごとに、選択行の各画素から垂直信号線１１７を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
具体的には、カラム処理部１１３は、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated Double Sampling;相関二重サンプリング）処理を行う。このカラム処理部１１３によるＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム処理部１１３にノイズ除去処理以外に、例えば、ＡＤ（アナログ−デジタル）変換機能を持たせ、アナログの画素信号をデジタル信号に変換して出力することも可能である。
水平駆動部１１４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１１３の画素列に対応する単位回路を順番に選択する。この水平駆動部１１４による選択走査により、カラム処理部１１３において単位回路ごとに信号処理された画素信号が順番に出力される。
システム制御部１１５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部１１２、カラム処理部１１３、及び、水平駆動部１１４などの駆動制御を行う。
信号処理部１１８は、少なくとも演算処理機能を有し、カラム処理部１１３から出力される画素信号に対して演算処理等の種々の信号処理を行う。データ格納部１１９は、信号処理部１１８での信号処理に当たって、その処理に必要なデータを一時的に格納する。
＜第１の実施の形態における画素配置＞
図３は、本技術を適用した画素アレイ部１１１の画素の配置の一実施の形態の構成を示す図である。画素アレイ部１１１には、受光した光量に応じた光電荷を生成しかつ蓄積する光電変換部を有する単位画素（以下、単に「画素」と記述する）が行方向及び列方向に、即ち、行列状に２次元配置されている。
以下の説明においては、画素アレイ部１１１を、光学中心付近の領域(以下、中心領域２０１と記述する)と、光学中心から離れた位置の領域(以下、周辺領域２０２と記述する)に分けて説明する。
例えば、画素アレイ部１１１の長辺の長さが２５ｎｍであった場合、中心領域２０１は、中央部分の５ｎｍとし、周辺領域２０２は、５ｎｍの中心領域２０１を除いた２０ｎｍとすることができる。換言すれば、画素アレイ部１１１の２０％以上を、中心領域２０１とし、画素アレイ部１１１の８０％以下を周辺領域２０２とする。なお、ここでの数値は一例であり、限定を示す。
画素アレイ部１１１内の１つの画素２１１は、図４を参照して後述するように、２つの受光領域を有する構成とされている。中心領域２０１には、画素２１１−１が配置され、周辺領域２０２には、画素２１１−２が配置されている。この画素２１１−１と画素２１１−２は、２つの受光領域を有する構成とされている。
中心領域２０１と周辺領域２０２では、それぞれ異なる方式で、位相差が検出される。中心領域２０１では、１つの画素２１１が、２つの受光領域を有し、その２つの受光領域でそれぞれ受光される光量が用いられて位相差が検出される。以下、この方式を、画素分割方式と記述する。この画素分割方式に関しては、図７を参照して後述する。
周辺領域２０２では、１つの画素２１１が、２つの受光領域を有し、その２つの受光領域の一部が遮光され、２つの受光領域からの光量と、他の画素２１１で、同じく一部遮光された２つの受光領域からの光量とが用いられて位相差が検出される。以下、この方式を、遮光画素方式として記述する。この遮光画素方式に関しては、図８、図９を参照して後述する。
＜１画素の構造＞
次に、画素２１１の構成について説明する。図４は、画素２１１の平面レイアウトを示す図であり、図５は画素２１１の断面を示す図である。
１個の画素２１１は、受光領域２３１と受光領域２３２の２つの受光領域を備える。換言すれば、画素２１１は、受光領域２３１と受光領域２３２に分割されている。この受光領域２３１と受光領域２３２を覆うように１個のオンチップレンズ２５１が備えられている。換言すれば、１個の画素には、１個のオンチップレンズ２５１が備えられている。
このように、２つの受光領域２３１，２３２を有する画素２１１には、図５に示すように光が入射する。図５中、符号２７１は視点Ａと呼ぶ領域を通過する光束の代表とし、符号２７２は、視点Ｂと呼ぶ領域を通過する光束の代表とする。
視点Ａからの光束２７１は、オンチップレンズ２５１を介して、受光領域２３２に入射する。同様に、視点Ｂからの光束２７２は、オンチップレンズ２５１を介して、受光領域２３１に入射する。
受光領域２３１から得られる視点Ｂの光束を捕らえた像データと、受光領域２３２から得られる視点Ａの光束を捕らえた像データが得られ、それらの相関演算を行うことで、デフォーカス量を検出することができる。また、デフォーカス量から、光学系を所望の状態に変化させることで、焦点検出を行うことができる。
また、受光領域２３１から得られる視点Ｂの光束を捕らえた像データと、受光領域２３２から得られる視点Ａの光束を捕らえた像データを用いる（加算する）ことで、通常の撮像画素として、画素２１１を機能させることもできる。すなわち、画素２１１は、位相差検出用の画素として機能し、通常の撮像画素としても機能する。
図６は、図４、図５に示した画素２１１の等価回路を示した図である。受光領域２３１には、転送トランジスタ３０１が接続され、受光領域２３２には、転送トランジスタ３０２が接続されている。ＦＤ(フローティングディフュージョン)部３０３は、２つの受光領域２３１と受光領域２３２に共通に設けられている拡散領域である。
受光領域２３１，２３２は、受光した光量に応じた電荷（信号電荷）を生成し、かつ、蓄積する。受光領域２３１，２３２は、アノード端子が接地されているとともに、カソード端子が転送トランジスタ３０１，３０２を介して、ＦＤ部３０３に接続されている。
転送トランジスタ３０１は、信号線３１２を介して供給される転送信号TX1によりオンされたとき、受光領域２３１で生成された電荷を読み出し、ＦＤ部３０３に転送する。また、転送トランジスタ３０２は、信号線３１３を介して供給される転送信号TX2によりオンされたとき、受光領域２３２で生成された電荷を読み出し、ＦＤ部３０３に転送する。
ＦＤ部３０３は、受光領域２３１，２３２から読み出された電荷を保持する。リセットトランジスタ３０５は、信号線３１４を介して供給されるリセット信号RSTによりオンされたとき、ＦＤ部３０３に蓄積されている電荷がドレイン（定電圧源Vdd）に排出されることで、ＦＤ部３０３の電位をリセットする。
増幅トランジスタ３０４は、ＦＤ部３０３の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ３０４は、垂直信号線１１７を介して接続されている定電流源としての負荷MOS（不図示）とソースフォロワ回路を構成し、ＦＤ部３０３に蓄積されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ３０４から選択トランジスタ３０６を介して、垂直信号線１１７に出力される。
選択トランジスタ３０６は、信号線３１５を介して供給される選択信号SELにより画素２１１が選択されたときオンされ、画素２１１の画素信号を、垂直信号線１１７に出力する。
この等価回路による実施の形態においては、２つの受光領域に、読み出し回路３０７が共通化されており、ＦＤ部３０３に受光領域２３１，２３２のどちらの光電変換結果を転送するかで、どちらの受光領域の結果を読み出すかを選択することができる構成とされている。また、受光領域２３１，２３２の、光電変換結果の和を出力するときは、両者の転送用トランジスタを活性化し、二つの受光領域に蓄積された電荷を拡散領域において足しあわせるようにすることができる。
なお、画素２１１は、以上のように構成することができるが、この構成に限定されるものではなく、その他の構成を採用することもできる。
図４乃至図６を参照して説明した画素２１１が、画素アレイ部１１１の中心領域２０１と周辺領域２０２に配置されている。すなわち、画素アレイ部１１１には、２つの受光領域２３１と受光領域２３２を有する画素２１１が配置されている。
画素アレイ部１１１の中心領域２０１に配置されている画素２１１−１は、通常の撮影用の画素（通常撮影用画素）として機能するとともに、位相差を検出するための画素（位相差検出用画素）としても機能する。
画素アレイ部１１１の周辺領域２０２に配置されている画素２１１−２は、通常撮影用画素として機能する。また画素アレイ部１１１の周辺領域２０２に配置されている画素２１１−２のうちの複数の画素は、位相差検出用画素として、上記した構成とは異なる構成とされている。
＜画素分割方式について＞
画素アレイ部１１１の中心領域２０１に配置されている画素２１１−１についてさらに詳細に説明を加える。また画素２１１−１で行われる画素分割方式による位相差検出についても説明を加える。
図７は、画素２１１−１の平面図と断面図を示す図である。図７の上図が、画素２１１−１の平面図であり、下図が画素２１１−１の断面図である。また、図７では、隣接する３個の画素２１１を記載している。
図７の上図に示した画素２１１−１の平面図は、基本的に、図４に示した画素２１１の平面図と同様の構成を有しているが、遮光膜３３１を追加したレイアウトとしてある。また図７の下図に示した画素２１１−１の断面図は、基本的に、図５に示した画素２１１の断面図と同様の構成を有しているが、遮光膜３３１を追加したレイアウトとしてある。
図７に示すように、１個のオンチップレンズ２５１は、受光領域２３１−１、２３１−２を覆うように設けられており、遮光膜３３１は、受光領域２３１−１、２３１−２を避けるように配置されている。また遮光膜３３１は、受光領域２３１−１と受光領域２３１−２との間には設けられていない。直線Ａ〜Ｂの断面図が、図７の上図の平面に対応して、下図に描かれており、同じ部位には同じ番号が付してある。
画素２１１−１間に、遮光膜３３１を設けることで、隣接する画素２１１−１に光が漏れ込むようなことを防ぐことが可能となる。また、図７に示したような構成を有する画素２１１−１においては、図５を参照して説明したように、例えば、オンチップレンズ２５１に対して左方向からの光束は、受光領域２３２−１に入射され、右方向からの光束は、受光領域２３１−１に入射される。
そして、受光領域２３１−１から得られた像データと、受光領域２３２−１から得られる像データを用い、それらの相関演算を行うことで、デフォーカス量を検出することができる。また、デフォーカス量から、光学系を所望の状態に変化させることで、焦点検出を行うことができる。
このように、画素２１１−１は、２つの受光領域２３１−１と受光領域２３２−１を有し、それぞれの受光領域から得られるデータを用いて、位相差を検出する。すなわち、１つの画素２１１−１で、位相差を検出することができる構成とされている。
＜遮光画素方式について＞
次に、画素アレイ部１１１の周辺領域２０２に配置されている画素２１１−２についてさらに詳細に説明を加える。また画素２１１−２で行われる遮光画素方式による位相差検出についても説明を加える。
周辺領域２０２においては、２個の画素２１１−２を１組として、位相差の検出が行われる。図３を再度参照する。図３において、画素２１１−２Ａと画素２１１−２Ｂが１組とされ、この２個の画素２１１−２で、位相差が検出される。また、図３に示したように、対とされている画素２１１−２は、周辺領域２０２内に複数組配置されている。
この１組とされている画素２１１−２Ａと画素２１１−２Ｂは、位相差検出用画素であり、通常撮影用画素としては用いられない。例えば、後段の処理で信号を増幅するといった処理が行われるようにすることで、１組とされている画素２１１−２Ａと画素２１１−２Ｂを、通常撮影用画素としても用いられるようにすることも可能ではある。
周辺領域２０２内の画素２１１−２のうち、位相差検出用画素以外の画素２１１−２は、中心領域２０１内の画素２１１−１と同じ構造を有し、通常撮影用画素として機能する。
このように、周辺領域２０２内の画素には、位相差検出用画素と通常撮影用画素が混在している。また位相差検出用画素は、２個の画素２１１−２が１組とされ、位相差を検出するように構成されている。
図８は、図３中から、位相差検出用画素とされた１組の画素２１１−２を含む３個の画素を抽出した図である。また図８は、画素２１１−２の平面図と断面図を示す図である。図８の上図が、画素２１１−２の平面図であり、下図が画素２１１−２の断面図である。
図８の上図に示した画素２１１−２の平面図は、基本的に、図７に示した画素２１１−１の平面図と同様の構成を有しているが、位相差検出用画素に架かる遮光膜３３１の長さが異なる。また図８の下図に示した画素２１１−２の断面図は、基本的に、図７に示した画素２１１−１の断面図と同様の構成を有しているが、位相差検出用画素に架かる遮光膜３３１の長さが異なる。
図８に示した画素２１１−２のうち、中央に位置している画素２１１−２は、通常撮影用画素であり、その通常撮影用画素の両隣（図中左側に位置する画素２１１−２Ａと右側に位置する画素２１１−２Ｂ）は、位相差検出用画素である。
上記したように、位相差検出用画素は、２個の画素２１１−２が１組とされ、図８では、左側に位置する画素２１１−２Ａと右側に位置する画素２１１−２Ｂが１組とされている。
画素２１１−２Ａは、受光領域２３１−２Ａと受光領域２３２−２Ａを有している。この２つの受光領域２３１−２のうち、左側の一部が遮光され、光が入射しないように構成されている。
画素２１１−２Ｂは、受光領域２３１−２Ｂと受光領域２３２−２Ｂを有している。この２つの受光領域２３１−２のうち、右側の一部が遮光され、光が入射しないように構成されている。
このように、１組の位相差検出用画素とされた一方の画素２１１−２は、左側が遮光され、他方の画素２１１−２は、右側が遮光されている。このように遮光されている２個の画素２１１−２には、図９に示すように光が入射する。
図９中、符号２７１は、視点Ａと呼ぶ領域を通過する光束の代表とし、符号２７２は、視点Ｂと呼ぶ領域を通過する光束の代表とする。
視点Ａからの光束２７１は、画素２１１−２Ａ上に設けられているオンチップレンズ２５１を介して、受光領域２３１−２Ａと２３２−２Ａに入射する。画素２１１−２Ａは、左側が遮光膜３１１Ａにより遮光されているため、画素２１１−２Ａの右側から来る光（視点Ｂ方向から来る光）は、遮光膜３１１Ａにより遮光され、受光領域２３１−２Ａおよび２３２−２Ａには入射されない。
視点Ｂからの光束２７２は、画素２１１−２Ｂ上に設けられているオンチップレンズ２５１を介して、受光領域２３１−２Ｂと受光領域２３２−２Ｂに入射する。画素２１１−２Ｂは、右側が遮光膜３１１Ｂにより遮光されているため、画素２１１−２Ｂの左側から来る光（視点Ａ方向から来る光）は、遮光膜３１１Ｂにより遮光され、受光領域２３１−２Ｂおよび２３２−２Ｂには入射されない。
このように、画素２１１−２Ａは、視点Ａからの光を受光し、画素２１１−２Ｂは、視点Ｂからの光を受光する。すなわち、画素２１１−２Ａと画素２１１−２Ｂは、異なる方向からの光をそれぞれ受光する。
画素２１１−２Ａの受光領域２３１−２Ａと２３２−２Ａから得られる視点Ａの光束を捕らえた像データを加算し、画素２１１−２Ｂの受光領域２３１−２Ｂと２３２−２Ｂから得られる視点Ｂの光束を捕らえた像データを加算して用い、それらの相関演算を行うことで、デフォーカス量を検出することができる。また、デフォーカス量から、光学系を所望の状態に変化させることで、焦点検出を行うことができる。
このように、遮光画素方式による位相差の検出は、２個の画素２１１−２を１組として行われる。
図３を再度参照するに、画素アレイ部１１１の中心領域２０１においては、画素分割方式で位相差が検出され、周辺領域２０２においては、遮光画素方式で位相差が検出される。このように、本技術を適用した画素アレイ部１１１の構成では、異なる方式で位相差を検出する画素が混在している構成とされている。
このように異なる方式で位相差を検出するようにすることで、より精度良く位相差を検出したり、検出時間を短くしたりすることが可能となる。また、位相差の検出の精度が高くなり、検出時間が短くなることで、焦点を合わせる精度を高め、焦点を合わせるまでの時間を短くすることが可能となる。
このように、画素アレイ部１１１の中心領域２０１と周辺領域２０２に、異なる方式で位相差を検出する画素を配置することで、より精度良く位相差を検出したり、検出時間を短くしたりすることが可能となることについて図１０を参照して説明を加える。
図１０のＡは、画素アレイ部１１１の中心領域２０１（光学中心に近い領域）にある画素２１１を示している。図１０のＡに示した状態は、図５に示した状態と同じである。光学中心に近い領域では、視点Ａ側からの光束と、視点Ｂ側からの光束の２つの入射光束の角度、光量が、略対称である。よって、オンチップレンズ２５１の中心を通る軸と、受光領域２３１と受光領域２３２の境界線を略一致させ、受光領域２３１と受光領域２３２のそれぞれの大きさを同じ大きさで構成すれば、最適に受光することができる。
図１０のＢは、画素アレイ部１１１の周辺領域２０２（光学中心から遠い領域）にある画素２１１を示している。図１０のＢに示した光学中心から離れた領域では、視点Ａ側からの光束と、視点Ｂ側からの光束の２つの入射光束の角度、光量が対称ではない。このため、受光領域２３１での受光量と受光領域２３２での受光量が不均一となる可能性がある。不均一が生じないように、オンチップレンズ２５１の中心を通る軸と、受光領域２３１と受光領域２３２の境界線がずれた位置に、オンチップレンズ２５１と受光領域２３１、受光領域２３２が配置される。
このように、画素アレイ部１１１の周辺領域２０２においては、受光領域での受光量にアンバランスを生じさせないように、オンチップレンズ２５１などの光学系の配置位置が調整される。
さらに、交換レンズ型のカメラの場合、レンズが交換されると、入射角度も変わるため、より複雑な調整が必要となる。図１０のＢに示したように、オンチップレンズ２５１などの光学系の配置位置を調整だけでは、特定の入射角度条件しか対応できず、入射角度によっては受光量のアンバランスが生じてしまう。
このようなオンチップレンズ２５１などの光学系の配置調整だけでは、受光量のアンバランスは生じてしまうが、遮光画素方式においては、遮光膜３１１の長さを調整することで、遮光される光束を調整することができ、配置される位置と装着されるレンズの入射角度条件に適した長さに、遮光膜３１１の長さを調整（設定）しておくことで、受光量のアンバランスを回避することができる。
例えば、図１０のＣに示したように、受光領域２３１を、受光領域２３２よりも小さく構成することで、受光量のバランスをとる構造とすることもできる。
一方で、受光領域２３１と受光領域２３２とを異なる大きさで構成すると、画素アレイ部１１１内の画素２１１の特性を均一にすることが困難であり、画質品質が劣化してしまう可能性がある。すなわち、上記したように、１個の画素２１１が、受光領域２３１と受光領域２３２を有するような場合、それらの受光領域は、均一の大きさで構成されていると、画素アレイ部１１１内の画素２１１の特性を均一にすることができ、画質品質を保つことができる。
また、上記したように、受光領域２３１と受光領域２３２を有する画素２１１は、通常撮影用画素としても用いられるため、撮影された画像の画質を劣化させないためにも、画素アレイ部１１１内の画素２１１の特性は均一にされるのが良い。
このようなことから、例えば、図３に示したように、本技術を適用した画素アレイ部１１１の画素の配置においては、同一の大きさの受光領域２３１，２３２を有する画素２１１が、全面にわたって配置されている。
また、上記したように、画素アレイ部１１１の中心領域２０１においては、画素分割方式で位相差が検出される。中心領域２０１は、図１０のＡに示したような状態であり、視点Ａ側からの光束と、視点Ｂ側からの光束の２つの入射光束の角度、光量が、略対称であるため、換言すれば入射光線の角度が浅いため、受光領域２３１と受光領域２３２を、同一の大きさで構成し、オンチップレンズ２５１の中心を通る軸と受光領域２３１と受光領域２３２の境界線を一致させた配置とし、そのような画素２１１−１で位相差を検出しても、画質品質を劣化させることなく、位相差を検出することができる。
また、画素アレイ部１１１の周辺領域２０２は、図８を参照して説明したように遮光画素方式で位相差を検出するため、入射光線の角度が深い状態であっても、位相差を精度良く検出することができる。
例えば、画素アレイ部１１１の端に近い側に配置された位相差検出用画素の遮光膜３１１は、長めに構成し、周辺領域２０２内であるが、中心に近い側に配置された位相差検出用画素の遮光膜３１１は、短めに構成するといったように、画素の配置位置により遮光膜３１１の長さを異なるようにすることもできる。すなわち、遮光膜３１１の長さを調整することで、画素の配置位置に応じて、適切な位相差検出ができるように調整することができる。
仮に、画素アレイ部１１１の中心領域２０１にも、遮光画素方式で位相差を検出する画素を配置した場合を考える。遮光画素方式で位相を検出する画素は、図８などを参照して説明したように、２個の画素２１１が１組とされ、また位相差検出用の画素専用として設けられる。よって、中心領域２０１にも、そのような画素を配置した場合、中心領域２０１内の、通常撮影用画素が減ることになる。
また、位相差検出の精度を上げるためには、位相差検出用画素を、多く配置する必要があるが、そのように多く配置すると、通常撮影用画素が減ることになり、画質が劣化してしまう可能性がある。
しかしながら、本技術を適用した画素アレイ部１１１における画素の配置によれば、遮光画素方式で位相差を検出する位相差検出用画素を少なくすることができ、通常撮影用画素が減るようなことをできる限り抑えることが可能となる。また、上記したように、中心領域２０１と周辺領域２０２には、それぞれの領域に適した方式で位相差を検出する画素を配置したため、画像品質を劣化させることなく、位相差を検出することができる。
また、画素２１１の構造は、画素アレイ部１１１内で全て同一であり、製造時に中心領域２０１と周辺領域２０２との画素を分けて製造することなく、一括して製造することができるため、製造時の工程などを増やすことなく製造することができる。
また、周辺領域２０２に配置される位相差検出用画素は、遮光膜３１１Ａ，Ｂ（図８）を製造するだけで対応できるため、例えば、マスク形状を遮光膜３１１Ａ，Ｂを含むマスク形状にすれば良く、この点でも、製造時の工程などを増やすことなく製造することができる。
上記したように、位相差を検出する方式として、画素分割方式と遮光画素方式があり、それぞれの方式で位相差を検出する画素が混在しているが、画素分割方式の信号処理と遮光画素方式の信号処理とで、それぞれ処理することができる。すなわち、画素２１１の構造を同一としても、信号処理でそれぞれの方式に対応することができる。
なお、上記した実施の形態においては、画素アレイ部１１１を、中心領域２０１と周辺領域２０２の２領域に分けて説明したが、複数の領域を設けても良い。例えば、中心領域２０１、周辺領域２０２、および中心領域２０１と周辺領域２０２の間の中間領域（不図示）を設け、中心領域２０１には、上記した実施の形態のように、画素分割方式で位相差を検出する画素が配置される。
中間領域と周辺領域２０２には、それぞれ遮光画素方式で位相差を検出する画素が配置されるが、その配置される密度が異なるようにされ、例えば、中間領域に配置される位相差検出用画素の密度は、周辺領域２０２に配置される位相差検出用画素の密度よりも疎になるように構成されるようにしても良い。
なお、上記した実施の形態に限定されるわけではなく、中心領域２０１や周辺領域２０２といった領域を設けず、画素アレイ部１１１の中央から周辺にかけて、徐々に、遮光画素方式で位相差を検出する画素の配置が、密になるようにしても良い。換言すれば、画素アレイ部１１１の中央から周辺にかけて、徐々に、画素分割方式で位相差を検出する画素の配置が、疎になるようにしても良い。
また、上述した実施の形態、例えば図３に示した形態においては、画素２１１は、横方向に受光領域が分割されている例を挙げて説明した。図３を再度参照するに、画素２１１の受光領域２３１（受光領域２３２）の長辺方向は、画素アレイ部１１１の短辺方向と一致するように配置されている。
本技術が適用されるのは、このような受光領域の配置（分割）に限定されずに、適用することができる。例えば、４つの受光領域に分割されるような場合にも、本技術を適用することはできる。すなわち、複数の受光領域に分割されているような場合にも、本技術を適用することはできる。
また、図１１に示すように、受光領域は、縦方向に分割されていても良い。図１１を参照するに、画素２１１の受光領域２３１（受光領域２３２）の長辺方向は、画素アレイ部１１１の長辺方向と一致するように配置されている。このような縦方向に受光領域が分割された画素に対しても、本技術は適用できる。
受光領域は、縦方向に分割されている場合、上側方向からの光束を捉えた像データと、下側方向からの光束を捉えた像データとが得られ、それらの相関演算が行われることで、デフォーカス量が検出される。また、図１１に示したように、遮光画素方式で位相差を検出する画素、例えば、画素２１１−２Ａと画素２１１−２Ｂは、それぞれ、上側または下側に遮光膜を備えた構成とされる。
図１１に示したように、受光領域が、縦方向に分割されている場合、上下方向（垂直方向）の位相差が検出される。このような縦方向に受光領域が分割された画素に対しても、本技術は適用できる。
＜カラーフィルタの色配置＞
次に、カラーフィルタの色配置について説明する。カラーフィルタは、オンチップレンズ２５１と受光領域２３１，２３２との間に設けられている。カラーフィルタの色は、例えばＲＧＢ（Red，Green，Blue）のベイヤー配列で配置される。
図１２は、カラーフィルタの色配置の一例を示す図である。図１２では、ＲＧＢのベイヤー配列を適用したときの色配置を示している。また図１２は、図３に示した画素アレイ部１１１に、カラーフィルタの色配置を重畳して記載した図である。図中、Ｒは、赤色を表し、Ｇは、緑色を表し、Ｂは、青色を表している。
図１２に示した例では、２×２の画素を単位とし、左上がＲ画素、右上と左下がＧ画素、右下がＢ画素とされている。
画素分割方式にて位相差検出する場合、色収差によるピント誤差の影響を小さくするため、視感度の違う緑（Ｇ）のフィルタの出力のみ、もしくは重みをつけて使うことが望ましい。このとき、画素分割方式と遮光画素方式の出力レベルが揃うように、遮光画素方式の位相差検出画素も、緑（Ｇ）のフィルタの場所に埋め込まれることが望ましい。
図１２では、周辺領域２０２に配置されている遮光画素方式で位相差を検出する位相差検出用画素のカラーフィルタの色は、Ｇ（緑色）とされている。換言すれば、２×２の４画素を単位としたとき、Ｇ画素が配置される位置に位置する画素が、位相差検出用画素に設定されている。
図１３に、他の色配置を示す。図１３も、図１２と同じく、ＲＧＢのベイヤー配列を適用したときの色配置を示しているが、位相差検出用画素が配置されているのが、本来、Ｂ画素が配置されている位置にＧ画素の位相差検出用画素が配置されている点が異なる。
図１３に示した色配置は、遮光画素方式の位相差検出用画素を、本来、緑（Ｇ）のフィルタ以外の画素(図１３では青（Ｂ）)の位置に埋め込み、カラーフィルタを緑にした例である。このようにすれば、本来の緑（Ｇ）の画素を遮光しないため、通常画像の品質をより高くすることが可能となる。
このような色配置は、一例であり、限定を示すものではない。ＲＧＢ以外の色配置、例えば、白（Ｗ）またはＣ（透明）を追加した、ＲＧＢＷ、ＲＧＢＣなどの色配置に対しても本技術は適用できる。また、ＲＣＣＣといった色配置に対しても本技術は適用できる。
＜第２の実施の形態における画素配置＞
次に、第２の実施の形態における画素配置について説明する。図１４は、第２の実施の形態における画素配置の一例を示す図である。
図１４に示した第２の実施の形態においても、図３に示した第１の実施の形態と同じく、画素アレイ部１１１内の画素２１１は、全て分割画素とされ、それぞれ２つの受光領域を有する構成とされている。図１４に示した第２の実施の形態においても、図３に示した第１の実施の形態と同じ部分には同じ符号を付し、その説明は適宜省略する。
画素アレイ部１１１内の画素は、基本的に、受光領域が横方向に分割された画素か、縦方向に分割された画素のどちらかに統一される。これは、画素アレイ部１１１内に、受光領域が横方向に分割された画素と、縦方向に分割された画素を混在させた構成とすると、製造上複雑になる可能性があるからである。
そこで、ここでは、第１の実施の形態として説明したように、画素アレイ部１１１内の画素の受光領域は、横方向に分割されている場合（図３）か、縦方向に分割されている場合（図１１）である場合を例に挙げて説明した。なお以下の説明では、画素アレイ部１１１内の画素の受光領域は、横方向に分割されている場合を例に挙げて説明を続ける。
画素アレイ部１１１内の画素の受光領域が横方向に分割されている場合、位相差は、左側から入射された光を捉えた像データと、右側から入射された光を捉えた像データが用いられて検出される。換言すれば、左右方向、さらに換言すれば、水平方向に関しての像データが用いられて位相差が検出されるため水平方向に関する位相差が検出される。
上下方向、換言すれば、垂直方向に関しての像データが用いられ、垂直方向に関する位相差が検出されるようにする場合、例えば、上記した、受光領域が横方向に分割された画素ではなく、受光領域が縦方向に分割された画素、例えば、図１１に示したような画素２１１が用いられる。
よって、水平方向と垂直方向の両方向の位相差を検出するようにする場合、図３に示した横方向に受光領域が分割された画素と、図１１に示した縦方向に受光領域が分割された画素を混在させる必要がある。
しかしながら、上記したように、横方向に受光領域が分割された画素と、縦方向に受光領域が分割された画素を混在させる、換言すれば、例えば、横方向に受光領域が分割された画素群のなかに、縦方向に受光領域が分割された画素を点在させるのは、製造上、煩雑になる可能性があり、生産効率が低下する可能性がある。
そこで、図１４に示すように、位相差検出用画素を配置するようにする。図１４に示した画素アレイ部１１１内の画素２１１は、全て横方向に受光領域が分割され、２つの受光領域を有する画素とされている。
画素アレイ部１１１内の所定の画素を、遮光画素方式で位相差を検出する位相差検出用画素とする。例えば、図１４においては、画素２１１−３Ａと画素２１１−３Ｂが、１組の位相差検出用画素とされている。
この画素２１１−３Ａは、図中下方向が遮光膜３１１Ｃで遮光されている。このように遮光されているため、画素２１１−３Ａは、図中上側の方向から入射された光を受光し、下側から入射された光は遮光される構成となる。よって、画素２１１−３Ａからは、上方向からの光を捉えた像データが得られる。
また画素２１１−３Ｂは、図中上方向が遮光膜３１１Ｄで遮光されている。このように遮光されているため、画素２１１−３Ｂは、図中下側の方向から入射された光を受光し、上側から入射された光は遮光される構成となる。よって、画素２１１−３Ｂからは、下方向からの光を捉えた像データが得られる。
画素２１１−３Ａから得られた上方向からの光を捉えた像データと、画素２１１−３Ｂから得られた下方向からの光を捉えた像データを用いて、上下方向（垂直方向）に関する位相差が検出される。
このように、遮光画素方式で垂直方向に関する位相差を検出するようにする。一方で、遮光画素方式で位相差を検出する位相差検出用画素以外の画素は、画素分割方式で位相差を検出する位相差検出用画素として用いることができる。画素分割方式で位相差を検出する位相差検出用画素は、横方向に受光領域が分割された画素であり、第１の実施の形態で説明したように、左右方向（水平方向）に関する位相差を検出することができる。
すなわち、図１４に示した画素配置によると、遮光画素方式で垂直方向に関する位相差を検出し、画素分割方式で水平方向に関する位相差を検出することができる。
遮光画素方式で水平方向に関する位相差を検出する位相差検出用画素は、第１の実施の形態と異なり、周辺領域２０２（図３）に限らず、中心領域２０１にも配置することが可能である。中心領域２０１にも配置することで、中心領域２０１においても、水平方向と垂直方向の両方向において位相差を検出することができる構成とすることができる。
なおここでは、横方向に受光領域が分割された分割画素を例に挙げて説明したが、図１１に示した縦方向に受光領域が分割された分割画素に対しても第２の実施の形態を適用することはできる。この場合、遮光画素方式で水平方向に関する位相差を検出し、画素分割方式で垂直方向に関する位相差を検出することができる。
なお、第２の実施の形態においても、図１２、図１３を参照して説明したように、位相差検出用画素上のカラーフィルタの色は、同一色となるような色配置とされている。
＜第３の実施の形態における画素配置＞
次に、第３の実施の形態における画素配置について説明する。図１５は、第３の実施の形態における画素配置の一例を示す図である。
図１５に示した第３の実施の形態は、図３に示した第１の実施の形態と同じく、中心領域２０１には、画素分割方式で位相差を検出する位相差検出用画素が配置され、周辺領域２０２には、遮光画素方式で位相差を検出する位相差検出用画素が配置されている。また、図１５に示した第３の実施の形態においても、図３に示した第１の実施の形態と同じく、中心領域２０１に配置されている画素は、通常撮影用の画素としても機能する。
図１５に示した第３の実施の形態においては、図３に示した第１の実施の形態と異なり、周辺領域２０２には、受光領域が分割された画素が配置されているのではなく、受光領域が分割されていない画素が配置されている。
図１５に示した画素アレイ部１１１内の中心領域２０１には、受光領域が分割された画素（図１５では、２分割された画素）が配置され、周辺領域２０２には、受光領域が分割されていない画素（以下、非分割画素と適宜記述する）が配置されている。
周辺領域２０２に配置されている非分割画素２１１−４は、画素２１１−１の受光領域２３１と受光領域２３２を加算した領域と略同等の大きさを有する画素とされている。非分割画素２１１−４のうち、位相差検出用画素とされた画素の一部は、遮光膜で遮光され、所定の方向から入射された光を効率良く受光する構成とされている。
例えば、非分割画素２１１−４Ａと非分割画素２１１−４Ｂは、遮光画素方式で位相差を検出する１組の位相差検出用画素とされている。
この画素２１１−４Ａは、図中左方向が遮光膜３１１Ｅで遮光されている。このように遮光されているため、画素２１１−４Ａは、図中右側の方向から入射された光を受光し、左側から入射された光は遮光される構成となる。よって、画素２１１−４Ａからは、右方向からの光を捉えた像データが得られる。
また画素２１１−４Ｂは、図中右方向が遮光膜３１１Ｆで遮光されている。このように遮光されているため、画素２１１−４Ｂは、図中左側の方向から入射された光を受光し、右側から入射された光は遮光される構成となる。よって、画素２１１−４Ｂからは、左方向からの光を捉えた像データが得られる。
画素２１１−４Ａから得られた右方向からの光を捉えた像データと、画素２１１−４Ｂから得られた左方向からの光を捉えた像データが用いられて、左右方向（水平方向）に関する位相差が検出される。
このような構造における受光状態は、図８、図９に示したような構造での受光状態と基本的に同じ状態とすることができる。よって、図８、図９を参照して説明したように、遮光画素方式による位相差検出を実現できる。
なお、周辺領域２０２に配置される位相差検出用画素は、図１５に示した例では、水平方向の位相差を検出する画素が配置されている例を示したが、図１４を参照して説明した垂直方向の位相差を検出する画素（遮光膜が上側または下側に配置されている画素）が配置されているようにしても良い。
また、周辺領域２０２には、遮光画素方式で水平方向の位相差を検出する位相差検出用画素と、垂直方向の位相差を検出する位相差検出用画素が混在して配置されているようにしても良い。
また、第２の実施の形態と第３の実施の形態を組み合わせ、周辺領域２０２には、非分割画素２１１−４を配置し、遮光画素方式で水平方向の位相差を検出する位相差検出用画素を配置し、中心領域２０１には、分割画素を配置し、遮光画素方式で垂直方向の位相差を検出する位相差検出用画素を配置するようにしても良い。
また、第２の実施の形態と第３の実施の形態を組み合わせ、周辺領域２０２には、非分割画素２１１−４を配置し、遮光画素方式で垂直方向の位相差を検出する位相差検出用画素を配置し、中心領域２０１には、受光領域が横方向に分割された分割画素を配置し、遮光画素方式で水平方向の位相差を検出する位相差検出用画素を配置するようにしても良い。
第３の実施の形態においても、第１の実施の形態と同じく、画素アレイ部１１１の中心領域２０１は、画素分割方式で位相差を検出する構成とする。中心領域２０１は、入射光線の角度が浅いため、受光領域２３１と受光領域２３２を、同一の大きさで構成し、オンチップレンズ２５１の中心を通る軸と受光領域２３１と受光領域２３２の境界線を一致させた配置とし、そのような画素２１１で位相差を検出することで、画質品質を劣化させることなく、位相差を検出することができる。
また第３の実施の形態においても、第１の実施の形態と同じく、画素アレイ部１１１の周辺領域２０２は、遮光画素方式で位相差を検出する構成とする。周辺領域２０２は、例えば図１０のＢを参照して説明したように、視点Ａ側からの光束と、視点Ｂ側からの光束の２つの入射光束の角度、光量が、対称ではない状態、換言すれば、入射光線の角度が深い状態である。
第３の実施の形態においても、入射光線の角度が深い状態であっても、位相差を精度良く検出することができる。また、遮光膜３１１Ｅ，３１１Ｆの長さを調整することで、より適切に位相差を検出することができる。
また、レンズ交換型のカメラの場合、レンズが交換される可能性がある。そこで、装着されたレンズにより遮光膜３１１の長さが適切な位相差検出用画素が選択されて用いられるようにしても良い。例えば、所定のラインＡには、レンズＡに対応する遮光膜３１１が配置された位相差検出用画素が配置され、所定のラインＢには、レンズＢに対応する遮光膜３１１が配置された位相差検出用画素が配置されているようにする。
このような場合、レンズＡが装着されたと判定された場合には、ラインＡに配置されている位相差検出用画素が用いられて位相差が検出される。また、レンズＢが装着されたと判定された場合には、ラインＢに配置されている位相差検出用画素が用いられて位相差が検出される。このように、レンズに応じた位相差検出用画素を選択できる構成とすることも可能であり、より精度良く位相差を検出することができる構成とすることも可能である。
また第３の実施の形態においても、遮光画素方式で位相差を検出する位相差検出用画素を少なくすることができ、通常撮影用画素が減るようなことをできる限り抑えることが可能となる。また、上記したように、中心領域２０１と周辺領域２０２には、それぞれの領域に適した方式で位相差を検出する画素を配置したため、画像品質を劣化させることなく、位相差を検出することができる。
なお、上記した第３の実施の形態においては、画素アレイ部１１１を、中心領域２０１と周辺領域２０２の２領域に分けて説明したが、複数の領域を設けても良い。例えば、中心領域２０１、周辺領域２０２、および中心領域２０１と周辺領域２０２の間の中間領域（不図示）を設け、中心領域２０１は、上記した実施の形態のように、画素分割方式で位相差を検出する画素が配置される。
中間領域と周辺領域２０２には、それぞれ遮光画素方式で位相差を検出する画素が配置されるが、その配置される密度が異なるようにされ、例えば、中間領域に配置される位相差検出用画素の密度は、周辺領域２０２に配置される位相差検出用画素の密度よりも疎になるように構成される。
また、中央から周辺にかけて、徐々に、遮光画素方式で位相差を検出する画素の配置が、密になるようにしても良い。
また、上述した第３の実施の形態、例えば図１５に示した形態においては、画素２１１のうちの分割画素は、横方向に受光領域が分割されている例を挙げて説明したが、図１１を参照して説明したように、横方向に受光領域が分割されている画素を、本技術に適用することも可能である。
なお、第３の実施の形態においても、図１２、図１３を参照して説明したように、位相差検出用画素上のカラーフィルタの色は、同一色となるような色配置とされている。
＜焦点調整処理＞
上記したように、本実施の形態における画素アレイ部１１１は、異なる方式で位相差を検出する位相差検出用画素が混在した構成とされている。常に異なる方式で位相差を検出するようにしても良いし、所定の条件に応じて、どちらか一方の方式、または両方の方式を選択して位相差を検出するようにしても良い。
例えば、レンズの種類により、画素分割方式で位相差を検出する、遮光画素方式で位相差を検出する、または、画素分割方式と遮光画素方式で位相差を検出するようにすることができる。すなわち、レンズの種類という条件により、どの方式で位相差を検出するかを設定し、その設定された方式に対応した位相差検出用画素で位相差を検出するようにすることができる。
また画素分割方式で位相差を検出する位相差検出用画素と、遮光画素方式で位相差を検出する位相差検出用画素が混在するような領域で位相差を検出する（焦点を調整する）場合、例えば、遮光画素方式による情報のみを用いて焦点が調整されるようにすることができる。すなわち、焦点を合わせる領域に基づき、どの方式で位相差を検出するかを設定し、その設定された方式に対応した位相差検出用画素で位相差を検出するようにすることができる。
ここで、図１６に示したフローチャートを参照し、焦点調整処理の一例を説明する。
ステップＳ１１において、撮像装置１０の操作部２７（図１）が操作され、メインのスイッチがオンの状態にされる。ステップＳ１２において、表示部２５に画像を表示するための（ライブビュー表示を行うための）撮像素子２２の露光と読み出しが開始される。ステップＳ１３において、露光値や読み出された像データなどが格納される。そして、ステップＳ１４において、ライブビュー表示が開始される。
なお、ライブビュー表示用の出力と一緒に位相差検出用画素からの出力も読み出されるが、高速に焦点検出を行うために、ライブビュー表示用の出力と位相差検出用画素の出力を別々に読み出すような回路構成とすることも可能であり、そのような回路構成とした場合、ライブビュー表示用の出力と位相差検出用画素の出力は、別々に読み出される。
ステップＳ１５において、ユーザにより操作部２７のシャッターボタンが、例えば半押しされるなどの所定の操作が行われることで、焦点調整動作の開始が指示されたか否かが判定される。ステップＳ１５において、焦点調整動作は指示されていないと判定された場合、ステップＳ１２に処理が戻され、それ以降の処理が繰り返される。
一方、ステップＳ１５において、焦点調整動作が指示されたと判定された場合、ステップＳ１６に処理は進められる。ステップＳ１６以降の処理で、焦点調整動作に関する処理が開始される。ステップＳ１６において、レンズの光学条件、例えば、焦点距離や、フォーカス位置などの条件が、取得される。
ステップＳ１７において、画素分割方式による焦点検出（位相差の検出）が、画面中心からどの領域まで使用できるか（有効エリア）が設定される。例えば、周辺領域２０２でも、入射角度が浅いような光学条件では、画素分割方式により位相差を検出する領域を広めに設定することができる。
なお、図１５を参照して説明した第３の実施の形態のように、画素分割方式の領域と遮光画素方式の領域が分割されている場合（領域により、分割画素または非分割画素が配置されている場合）や、処理を簡略化する場合などには、レンズの光学条件にはよらず、それぞれの位相差検出方式で予め設定されている領域でのみ検出を行うといった設定にしておくことも可能である。
ステップＳ１８において、ステップＳ１７において設定された画素分割方式の有効エリアに基づき、処理対象とされたエリアは、画素分割方式の有効エリア内であるか否かが判定される。画素アレイ部１１１を複数のエリアに分け、換言すれば、撮像される画像を複数のエリアに分け、分割されたエリア毎に位相差が検出される。
ステップＳ１８において、処理対象とされたエリアは、画素分割方式の有効エリア内であると判定された場合、ステップＳ１９に処理が進められる。ステップＳ１９において、画素分割方式で位相差を検出する位相差検出用画素からの出力データが用いられ、位相差が検出される。
一方、処理対象とされたエリアは、画素分割方式の有効エリア内ではないと判定された場合、ステップＳ２０に処理が進められる。ステップＳ２０において、遮光画素方式で位相差を検出する位相差検出用画素からの出力データが用いられ、位相差が検出される。
ステップＳ２１において、全エリアにおいて、位相差を検出したか否かが判定され、全エリアにおいて位相差を検出したと判定されるまで、ステップＳ１８に処理が戻され、順次処理対象のエリアが変更され、そのエリアに対して、ステップＳ１８以降の処理が繰り返される。
一方、ステップＳ２１において、全エリアにおいて、位相差を検出したと判定された場合、ステップＳ２２に処理が進められる。
このように、焦点検出の処理は、撮像素子２２（イメージセンサ）の中で複数のエリアに分割して行われる。上記領域設定で設定された位相差検出方式の画素からの出力が用いられて、全エリアが計算される。各々の方式とも、基本的な位相差検出の計算を行うが、画素の配置・画素密度・１エリアの画素数などが異なるため、計算過程のフィルタ処理・計算パラメータなどは異ならせて行われる。
ステップＳ２２において、計算が終了された全エリアの中から、目標位置へ焦点調節（レンズ駆動）するために採用する位相差検出量（ピントずれ量）が選択される。そして、ステップＳ２３において、選択されたピントずれ量をなくすように焦点調節が行われる。
ステップＳ２２における全エリアの中から採用する位相差検出量の選択は、例えば、複数のエリアから、一番近い距離のエリアを選択するなどの方法により行われる。またユーザが特定の焦点検出エリアを設定した場合などには、その設定された一部のエリアのみが計算されるようにしても良い。
このような処理は、最終的な焦点位置が決まるまで繰り返し行われる。
なおここでは、ステップＳ１５において、焦点調整動作の開始が指示されたと判定された後、ステップＳ１６以降で、焦点調整動作に関する処理が実行されるとしたが、焦点調整動作の開始の指示がなくても、焦点調整動作が行われるようにしても良い。
焦点調整動作の指示に係わらず、ステップＳ１６乃至Ｓ２２までの焦点検出までの処理は行われ、焦点調整動作（レンズ駆動）のみ行われずに、シャッターボタンが操作されたら、すぐに焦点調節動作に入って、高速なオートフォーカスが実現されるようにすることも可能である。
＜内視鏡システムの構成＞
本開示に係る技術は、上記した撮像装置１０以外にも、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。またここでは、内視鏡手術システムを例に挙げて説明をするが、本技術は、外科手術システム、顕微鏡下手術システムなどにも適用できる。
また、例えば、図３に示した画素アレイ部１１１を有するＣＭＯＳイメージセンサ１００は、画像を撮像する撮像部１０２７（図１８）に適用できる。本技術を適用したＣＭＯＳイメージセンサ１００は、上記したように、画像品質を劣化させることなく、精度良く位相差を検出することができ、焦点を合わせることができる。よって、内視鏡のように、術部を撮像するような装置に対して本技術を適用した場合、術部の画像品質を劣化させることなく、精度良く位相差を検出することができ、焦点を合わせることができる。
図１７は、本開示に係る技術が適用され得る内視鏡手術システム１０１０の概略的な構成の一例を示す図である。図１７では、術者（医師）１０７１が、内視鏡手術システム１０１０を用いて、患者ベッド１０７３上の患者１０７５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１０１０は、内視鏡１０２０と、その他の術具１０３０と、内視鏡１０２０を支持する支持アーム装置１０４０と、内視鏡下手術のための各種の装置が搭載されたカート１０５０と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ１０３７ａ〜１０３７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１０３７ａ〜１０３７ｄから、内視鏡１０２０の鏡筒１０２１や、その他の術具１０３０が患者１０７５の体腔内に挿入される。図示する例では、その他の術具１０３０として、気腹チューブ１０３１、エネルギー処置具１０３３及び鉗子１０３５が、患者１０７５の体腔内に挿入されている。また、エネルギー処置具１０３３は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具１０３０はあくまで一例であり、術具１０３０としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡１０２０によって撮影された患者１０７５の体腔内の術部の画像が、表示装置１０５３に表示される。術者１０７１は、表示装置１０５３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１０３３や鉗子１０３５を用いて、例えば患部を切除する等の処置を行う。なお、気腹チューブ１０３１、エネルギー処置具１０３３及び鉗子１０３５は、手術中に、術者１０７１又は助手等によって支持される。
（支持アーム装置）
支持アーム装置１０４０は、ベース部１０４１から延伸するアーム部１０４３を備える。図示する例では、アーム部１０４３は、関節部１０４５ａ、１０４５ｂ、１０４５ｃ、及びリンク１０４７ａ、１０４７ｂから構成されており、アーム制御装置１０５７からの制御により駆動される。アーム部１０４３によって内視鏡１０２０が支持され、その位置及び姿勢が制御される。これにより、内視鏡１０２０の安定的な位置の固定が実現され得る。
（内視鏡）
内視鏡１０２０は、先端から所定の長さの領域が患者１０７５の体腔内に挿入される鏡筒１０２１と、鏡筒１０２１の基端に接続されるカメラヘッド１０２３と、から構成される。図示する例では、硬性の鏡筒１０２１を有するいわゆる硬性鏡として構成される内視鏡１０２０を図示しているが、内視鏡１０２０は、軟性の鏡筒１０２１を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１０２１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０２０には光源装置１０５５が接続されており、当該光源装置１０５５によって生成された光が、鏡筒１０２１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１０７５の体腔内の観察対象に向かって照射される。なお、内視鏡１０２０は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１０２３の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１０５１に送信される。なお、カメラヘッド１０２３には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１０２３には撮像素子が複数設けられてもよい。この場合、鏡筒１０２１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
ＣＣＵ１０５１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１０２０及び表示装置１０５３の動作を統括的に制御する。具体的には、ＣＣＵ１０５１は、カメラヘッド１０２３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１０５１は、当該画像処理を施した画像信号を表示装置１０５３に提供する。また、ＣＣＵ１０５１は、カメラヘッド１０２３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置１０５３は、ＣＣＵ１０５１からの制御により、当該ＣＣＵ１０５１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１０２０が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置１０５３としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置１０５３として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１０５３が設けられてもよい。
光源装置１０５５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡１０２０に供給する。
アーム制御装置１０５７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１０４０のアーム部１０４３の駆動を制御する。
入力装置１０５９は、内視鏡手術システム１０１０に対する入力インタフェースである。ユーザは、入力装置１０５９を介して、内視鏡手術システム１０１０に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１０５９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１０５９を介して、アーム部１０４３を駆動させる旨の指示や、内視鏡１０２０による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具１０３３を駆動させる旨の指示等を入力する。
入力装置１０５９の種類は限定されず、入力装置１０５９は各種の公知の入力装置であってよい。入力装置１０５９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１０６９及び／又はレバー等が適用され得る。入力装置１０５９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置１０５３の表示面上に設けられてもよい。
あるいは、入力装置１０５９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置１０５９は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。
更に、入力装置１０５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置１０５９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１０７１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置１０６１は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１０３３の駆動を制御する。気腹装置１０６３は、内視鏡１０２０による視野の確保及び術者の作業空間の確保の目的で、患者１０７５の体腔を膨らめるために、気腹チューブ１０３１を介して当該体腔内にガスを送り込む。レコーダ１０６５は、手術に関する各種の情報を記録可能な装置である。プリンタ１０６７は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム１０１０において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置１０４０は、基台であるベース部１０４１と、ベース部１０４１から延伸するアーム部１０４３と、を備える。図示する例では、アーム部１０４３は、複数の関節部１０４５ａ、１０４５ｂ、１０４５ｃと、関節部１０４５ｂによって連結される複数のリンク１０４７ａ、１０４７ｂと、から構成されているが、図１７では、簡単のため、アーム部１０４３の構成を簡略化して図示している。
実際には、アーム部１０４３が所望の自由度を有するように、関節部１０４５ａ〜１０４５ｃ及びリンク１０４７ａ、１０４７ｂの形状、数及び配置、並びに関節部１０４５ａ〜１０４５ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部１０４３は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部１０４３の可動範囲内において内視鏡１０２０を自由に移動させることが可能になるため、所望の方向から内視鏡１０２０の鏡筒１０２１を患者１０７５の体腔内に挿入することが可能になる。
関節部１０４５ａ〜１０４５ｃにはアクチュエータが設けられており、関節部１０４５ａ〜１０４５ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置１０５７によって制御されることにより、各関節部１０４５ａ〜１０４５ｃの回転角度が制御され、アーム部１０４３の駆動が制御される。これにより、内視鏡１０２０の位置及び姿勢の制御が実現され得る。この際、アーム制御装置１０５７は、力制御又は位置制御等、各種の公知の制御方式によってアーム部１０４３の駆動を制御することができる。
例えば、術者１０７１が、入力装置１０５９（フットスイッチ１０６９を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置１０５７によってアーム部１０４３の駆動が適宜制御され、内視鏡１０２０の位置及び姿勢が制御されてよい。当該制御により、アーム部１０４３の先端の内視鏡１０２０を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部１０４３は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部１０４３は、手術室から離れた場所に設置される入力装置１０５９を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置１０５７は、ユーザからの外力を受け、その外力にならってスムーズにアーム部１０４３が移動するように、各関節部１０４５ａ〜１０４５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部１０４３に触れながらアーム部１０４３を移動させる際に、比較的軽い力で当該アーム部１０４３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡１０２０を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡１０２０が支持されていた。これに対して、支持アーム装置１０４０を用いることにより、人手によらずに内視鏡１０２０の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置１０５７は必ずしもカート１０５０に設けられなくてもよい。また、アーム制御装置１０５７は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置１０５７は、支持アーム装置１０４０のアーム部１０４３の各関節部１０４５ａ〜１０４５ｃにそれぞれ設けられてもよく、複数のアーム制御装置１０５７が互いに協働することにより、アーム部１０４３の駆動制御が実現されてもよい。
（光源装置）
光源装置１０５５は、内視鏡１０２０に術部を撮影する際の照射光を供給する。光源装置１０５５は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１０５５において撮像画像のホワイトバランスの調整を行うことができる。
また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１０２３の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１０５５は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０２３の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１０５５は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。
あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注すると共に当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置１０５５は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
図１８を参照して、内視鏡１０２０のカメラヘッド１０２３及びＣＣＵ１０５１の機能についてより詳細に説明する。図１８は、図１７に示すカメラヘッド１０２３及びＣＣＵ１０５１の機能構成の一例を示すブロック図である。
図１８を参照すると、カメラヘッド１０２３は、その機能として、位相差検出部１０２４、レンズユニット１０２５、撮像部１０２７、駆動部１０２９、通信部１０２６、およびカメラヘッド制御部１０２８を有する。また、ＣＣＵ１０５１は、その機能として、通信部１０８１、画像処理部１０８３、および制御部１０８５を有する。カメラヘッド１０２３とＣＣＵ１０５１とは、伝送ケーブル１０９１によって双方向に通信可能に接続されている。
まず、カメラヘッド１０２３の機能構成について説明する。レンズユニット１０２５は、鏡筒１０２１との接続部に設けられる光学系である。鏡筒１０２１の先端から取り込まれた観察光は、カメラヘッド１０２３まで導光され、当該レンズユニット１０２５に入射する。レンズユニット１０２５は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット１０２５は、撮像部１０２７の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部１０２７は撮像素子によって構成され、レンズユニット１０２５の後段に配置される。レンズユニット１０２５を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部１０２７によって生成された画像信号は、通信部１０２６に提供される。
撮像部１０２７を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者１０７１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部１０２７を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１組の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者１０７１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１０２７が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１０２５も複数系統設けられる。
また、撮像部１０２７は、必ずしもカメラヘッド１０２３に設けられなくてもよい。例えば、撮像部１０２７は、鏡筒１０２１の内部に、対物レンズの直後に設けられてもよい。
駆動部１０２９は、アクチュエータによって構成され、カメラヘッド制御部１０２８からの制御により、レンズユニット１０２５のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１０２７による撮像画像の倍率及び焦点が適宜調整され得る。
カメラヘッド制御部１０２８は、位相差検出部１０２４からのデータを用いて、焦点調整のための制御を行う。撮像部１０２７は、上記したように、図３に示した画素アレイ部１１１を有するＣＭＯＳイメージセンサ１００を含む構成とすることができる。このような構成とした場合、撮像部１０２７には、位相差検出用画素が含まれ、位相差検出部１０２４は、撮像部１０２７に含まれる位相差検出画素からのデータの供給を受ける。
位相差検出部１０２４は、位相差検出用画素からのデータを用いて、位相差を検出し、その情報を、カメラヘッド制御部１０２８に供給する。カメラヘッド制御部１０２８は、位相差検出部１０２４からの位相差に関する情報を用いて、レンズユニット１０２５を制御し、焦点を合わせるための制御を行う。なお、位相差検出部１０２４は、ＣＣ宇１０５１に含まれる構成とすることもできる。また、画像処理部１０８３における画像処理の一処理として、位相差検出が行われるように構成することもできる。
通信部１０２６は、ＣＣＵ１０５１との間で各種の情報を送受信するための通信装置によって構成される。通信部１０２６は、撮像部１０２７から得た画像信号をＲＡＷデータとして伝送ケーブル１０９１を介してＣＣＵ１０５１に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。
手術の際には、術者１０７１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部１０２６には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル１０９１を介してＣＣＵ１０５１に送信される。
また、通信部１０２６は、ＣＣＵ１０５１から、カメラヘッド１０２３の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部１０２６は、受信した制御信号をカメラヘッド制御部１０２８に提供する。
なお、ＣＣＵ１０５１からの制御信号も、光通信によって伝送されてもよい。この場合、通信部１０２６には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部１０２８に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ１０５１の制御部１０８５によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１０２０に搭載される。
カメラヘッド制御部１０２８は、通信部１０２６を介して受信したＣＣＵ１０５１からの制御信号に基づいて、カメラヘッド１０２３の駆動を制御する。例えば、カメラヘッド制御部１０２８は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部１０２７の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部１０２８は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部１０２９を介してレンズユニット１０２５のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部１０２８は、更に、鏡筒１０２１やカメラヘッド１０２３を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット１０２５や撮像部１０２７等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド１０２３について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ１０５１の機能構成について説明する。通信部１０８１は、カメラヘッド１０２３との間で各種の情報を送受信するための通信装置によって構成される。通信部１０８１は、カメラヘッド１０２３から、伝送ケーブル１０９１を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部１０８１には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部１０８１は、電気信号に変換した画像信号を画像処理部１０８３に提供する。
また、通信部１０８１は、カメラヘッド１０２３に対して、カメラヘッド１０２３の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部１０８３は、カメラヘッド１０２３から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部１０８３は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部１０８３は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部１０８３が複数のＧＰＵによって構成される場合には、画像処理部１０８３は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部１０８５は、内視鏡１０２０による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部１０８５は、カメラヘッド１０２３の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部１０８５は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡１０２０にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部１０８５は、画像処理部１０８３による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部１０８５は、画像処理部１０８３によって画像処理が施された画像信号に基づいて、術部の画像を表示装置１０５３に表示させる。この際、制御部１０８５は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。
例えば、制御部１０８５は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１０３３使用時のミスト等を認識することができる。制御部１０８５は、表示装置１０５３に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者１０７１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド１０２３及びＣＣＵ１０５１を接続する伝送ケーブル１０９１は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル１０９１を用いて有線で通信が行われていたが、カメラヘッド１０２３とＣＣＵ１０５１との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル１０９１を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル１０９１によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム１０１０の一例について説明した。
なお、ここでは、一例として内視鏡手術システム１０１０について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
＜イメージセンサの使用例＞
図１９は、上述のＣＭＯＳイメージセンサ１００を使用する使用例を示す図である。
CMOSイメージセンサ１００は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
撮像装置１は、電子を信号電荷とするもの、正孔を信号電荷とするものの両方に適用できる。
また、本開示は、可視光の入射光量の分布を検知して画像として撮像する撮像装置への適用に限らず、赤外線やX線、あるいは粒子等の入射量の分布を画像として撮像する撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の撮像装置（物理量分布検知装置）全般に対して適用可能である。
また、本開示は、撮像装置に限らず、他の半導体集積回路を有する半導体装置全般に対して適用可能である。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本開示は以下のような構成も取ることができる。
（１）
第１のオンチップレンズを介して入射された光を受光する第１の受光部と、
前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、
第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素と
を備える撮像素子。
（２）
前記第１の位相差検出用画素は、画素アレイ部の周辺領域に配置され、
前記第２の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている
前記（１）に記載の撮像素子。
（３）
前記第１の位相差検出用画素は、画素アレイ部の中央から周辺にかけて、配置密度が高くなるように配置されている
前記（１）に記載の撮像素子。
（４）
前記第１の受光部は、前記第２の受光部と同じく、複数の受光領域に分割されている
前記（１）乃至（３）のいずれかに記載の撮像素子。
（５）
前記受光領域は、縦方向または横方向に分割された受光領域である
前記（４）に記載の撮像素子。
（６）
前記第１の位相差検出用画素で検出される位相差と、前記第２の位相差検出用画素で検出される位相差は、異なる方向の位相差である
前記（１）乃至（５）のいずれかに記載の撮像素子。
（７）
前記第１の位相差検出用画素は、水平方向の位相差を検出する画素と、垂直方向の位相差を検出する画素が、それぞれ配置されている
前記（１）乃至（５）のいずれかに記載の撮像素子。
（８）
前記第１の受光部は、１つの受光領域を有する
前記（１）乃至（３）のいずれかに記載の撮像素子。
（９）
前記第１の位相差検出用画素上のカラーフィルタの色と、前記第２の位相差検出用画素上のカラーフィルタの色は、同一色である
前記（１）乃至（８）のいずれかに記載の撮像素子。
（１０）
前記カラーフィルタの色配置は、赤、緑、青のベイヤー配列であり、
ベイヤー配列で、前記第２の位相差検出用画素の青が配置される位置に、前記第１の位相差検出用画素が配置され、その色は、緑とされている
前記（９）に記載の撮像素子。
（１１）
レンズの光学条件により、前記第２の位相差検出用画素で位相差を検出するエリアが設定され、
前記設定されたエリア内では、前記第２の位相差検出用画素で位相差が検出され、
前記設定されたエリア外では、前記第１の位相差検出用画素で位相が検出される
前記（１）乃至（１０）のいずれかに記載の撮像素子。
（１２）
第１のオンチップレンズを介して入射された光を受光する第１の受光部と、
前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、
第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素と
を備える撮像素子を含む
撮像装置。
（１３）
第１のオンチップレンズを介して入射された光を受光する第１の受光部と、
前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、
第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素と
を備える撮像素子を含む
電子機器。
１００ ＣＭＯＳイメージセンサ， １１１ 画素アレイ部， ２０１ 中心領域， ２０２ 周辺領域， ２１１ 画素， ２３１，２３２ 受光領域， ２５１ オンチップレンズ， ３１１ 遮光膜， １０１０ 内視鏡手術システム， １０２７ 撮像部， １０３０ 術部， １０８３ 画像処理部， １０８５ 制御部

Claims (13)

  1. 第１のオンチップレンズを介して入射された光を受光する第１の受光部と、
    前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、
    第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素と
    を備える撮像素子。
  2. 前記第１の位相差検出用画素は、画素アレイ部の周辺領域に配置され、
    前記第２の位相差検出用画素は、前記画素アレイ部の前記周辺領域以外の領域に配置されている
    請求項１に記載の撮像素子。
  3. 前記第１の位相差検出用画素は、画素アレイ部の中央から周辺にかけて、配置密度が高くなるように配置されている
    請求項１に記載の撮像素子。
  4. 前記第１の受光部は、前記第２の受光部と同じく、複数の受光領域に分割されている
    請求項１に記載の撮像素子。
  5. 前記受光領域は、縦方向または横方向に分割された受光領域である
    請求項４に記載の撮像素子。
  6. 前記第１の位相差検出用画素で検出される位相差と、前記第２の位相差検出用画素で検出される位相差は、異なる方向の位相差である
    請求項１に記載の撮像素子。
  7. 前記第１の位相差検出用画素は、水平方向の位相差を検出する画素と、垂直方向の位相差を検出する画素が、それぞれ配置されている
    請求項１に記載の撮像素子。
  8. 前記第１の受光部は、１つの受光領域を有する
    請求項１に記載の撮像素子。
  9. 前記第１の位相差検出用画素上のカラーフィルタの色と、前記第２の位相差検出用画素上のカラーフィルタの色は、同一色である
    請求項１に記載の撮像素子。
  10. 前記カラーフィルタの色配置は、赤、緑、青のベイヤー配列であり、
    ベイヤー配列で、前記第２の位相差検出用画素の青が配置される位置に、前記第１の位相差検出用画素が配置され、その色は、緑とされている
    請求項９に記載の撮像素子。
  11. レンズの光学条件により、前記第２の位相差検出用画素で位相差を検出するエリアが設定され、
    設定された前記エリア内では、前記第２の位相差検出用画素で位相差が検出され、
    設定された前記エリア外では、前記第１の位相差検出用画素で位相が検出される
    請求項１に記載の撮像素子。
  12. 第１のオンチップレンズを介して入射された光を受光する第１の受光部と、
    前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、
    第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素と
    を備える撮像素子を含む
    撮像装置。
  13. 第１のオンチップレンズを介して入射された光を受光する第１の受光部と、
    前記第１のオンチップレンズと前記第１の受光部との間に設けられ、前記第１の受光部への光量を制限する遮光膜と、を備える第１の位相差検出用画素と、
    第２のオンチップレンズを介して入射された光を受光する第２の受光部を備え、前記第２の受光部が複数の受光領域に分割されている第２の位相差検出用画素と
    を備える撮像素子を含む
    電子機器。
JP2018522407A 2016-06-06 2017-05-23 撮像素子、撮像装置、電子機器 Active JP6915615B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016112845 2016-06-06
JP2016112845 2016-06-06
PCT/JP2017/019144 WO2017212909A1 (ja) 2016-06-06 2017-05-23 撮像素子、撮像装置、電子機器

Publications (2)

Publication Number Publication Date
JPWO2017212909A1 true JPWO2017212909A1 (ja) 2019-04-04
JP6915615B2 JP6915615B2 (ja) 2021-08-04

Family

ID=60578643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018522407A Active JP6915615B2 (ja) 2016-06-06 2017-05-23 撮像素子、撮像装置、電子機器

Country Status (3)

Country Link
US (1) US11064144B2 (ja)
JP (1) JP6915615B2 (ja)
WO (1) WO2017212909A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212909A1 (ja) * 2016-06-06 2017-12-14 ソニー株式会社 撮像素子、撮像装置、電子機器
TW202044566A (zh) 2019-05-10 2020-12-01 日商索尼半導體解決方案公司 攝像元件及電子機器
CN114930220A (zh) * 2020-01-16 2022-08-19 索尼集团公司 成像装置和散焦量计算方法
KR20210106122A (ko) 2020-02-20 2021-08-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 안티-스푸핑 방법
JP2022105820A (ja) * 2021-01-05 2022-07-15 ソニーセミコンダクタソリューションズ株式会社 受光素子、撮像装置及び補正処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279312A (ja) * 2006-04-05 2007-10-25 Nikon Corp 撮像素子、イメージセンサーおよび撮像装置
JP2012215785A (ja) * 2011-04-01 2012-11-08 Canon Inc 固体撮像素子及び撮像装置
JP2016082133A (ja) * 2014-10-20 2016-05-16 ソニー株式会社 固体撮像素子及び電子機器
JP2016099432A (ja) * 2014-11-19 2016-05-30 キヤノン株式会社 焦点検出装置及び方法、プログラム、記憶媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212909A1 (ja) * 2016-06-06 2017-12-14 ソニー株式会社 撮像素子、撮像装置、電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279312A (ja) * 2006-04-05 2007-10-25 Nikon Corp 撮像素子、イメージセンサーおよび撮像装置
JP2012215785A (ja) * 2011-04-01 2012-11-08 Canon Inc 固体撮像素子及び撮像装置
JP2016082133A (ja) * 2014-10-20 2016-05-16 ソニー株式会社 固体撮像素子及び電子機器
JP2016099432A (ja) * 2014-11-19 2016-05-30 キヤノン株式会社 焦点検出装置及び方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JP6915615B2 (ja) 2021-08-04
US11064144B2 (en) 2021-07-13
US20190289235A1 (en) 2019-09-19
WO2017212909A1 (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
US20230124400A1 (en) Imaging device and electronic device
JP7439214B2 (ja) 固体撮像素子および電子機器
JP6915615B2 (ja) 撮像素子、撮像装置、電子機器
JP7230808B2 (ja) 撮像素子および撮像装置
WO2018016345A1 (ja) 検出装置及び電子機器
JP7095693B2 (ja) 医療用観察システム
US20190246875A1 (en) Endoscope system and endoscope
JP7160044B2 (ja) 電子機器
WO2022044897A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
JP7247890B2 (ja) 電子機器及び信号処理装置
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
EP3598732B1 (en) Imaging device and video signal processing method
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal
WO2022044898A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
JP2019154734A (ja) 医療用画像処理装置、医療用観察装置、および画像処理方法
JP2023174229A (ja) 光電変換装置
JP2016043187A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210628

R151 Written notification of patent or utility model registration

Ref document number: 6915615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151