JPWO2018101077A1 - 撮像素子および撮像方法、並びに電子機器 - Google Patents

撮像素子および撮像方法、並びに電子機器 Download PDF

Info

Publication number
JPWO2018101077A1
JPWO2018101077A1 JP2018553777A JP2018553777A JPWO2018101077A1 JP WO2018101077 A1 JPWO2018101077 A1 JP WO2018101077A1 JP 2018553777 A JP2018553777 A JP 2018553777A JP 2018553777 A JP2018553777 A JP 2018553777A JP WO2018101077 A1 JPWO2018101077 A1 JP WO2018101077A1
Authority
JP
Japan
Prior art keywords
imaging
pixel array
array unit
blur
eis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018553777A
Other languages
English (en)
Other versions
JP7118893B2 (ja
Inventor
圭一 千田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2018101077A1 publication Critical patent/JPWO2018101077A1/ja
Application granted granted Critical
Publication of JP7118893B2 publication Critical patent/JP7118893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本開示は、より良好な手振れ補正効果を得ることができるようにする撮像素子および撮像方法、並びに電子機器に関する。複数の画素がアレイ状に配置される画素アレイ部は、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する。そして、露光制御部は、画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて画素アレイ部のブレが規定値を超えるか否かを判定し、画素アレイ部のブレが規定値を超えると判定したタイミングまで、画素アレイ部がEIS撮像を行うように制御する。本技術は、例えば、電子式手振れ補正機能を備えたCMOSイメージセンサに適用できる。

Description

本開示は、撮像素子および撮像方法、並びに電子機器に関し、特に、より良好な手振れ補正効果を得ることができるようにした撮像素子および撮像方法、並びに電子機器に関する。
従来、画像を撮像する際における手振れにより画像に発生するブレを補正する技術として、一般的に、光学式手振れ補正（OIS：Optical Image Stabilization）および電子式手振れ補正（EIS：Electronic Image Stabilization）が用いられている。
例えば、光学式手振れ補正は、ジャイロセンサなどにより検出される動きに対して反対の方向にレンズを移動させ、撮像素子に結像される像をシフトさせることで、画像のブレを補正することができる。
ところが、光学式手振れ補正においては、例えば、レンズを移動させるためのシステムが複雑化したり、消費電力が増加したりするだけでなく、手振れ補正の制御系と撮像素子とが個別部品で構成されているため、それらを連動した制御が困難であった。さらに、光学式手振れ補正では、補正方向それぞれに対して駆動部分を備える構成とする必要があり、システムの複雑さを回避するために、小型機器においてはヨー方向およびピッチ方向のブレのみの補正を行い、ロール方向のブレの補正は行われていなかった。
一方、電子式手振れ補正では、ブレの少ない短時間露光による撮像を連続して高速で行って得られる複数枚の画像を重ね合わせる画像処理を行うことで、画像のブレを補正することができる。
例えば、特許文献１には、適正露出におけるシャッター速度よりも高速に撮像された複数枚の画像から、適正露出と同一の明るさに変換された鮮明な画像を出力することができる画像処理方法が開示されている。また、特許文献２には、ジャイロセンサにより検出されたブレ角と、画像を構成する画素の配置位置とに基づいた補正量に従って、手振れにより画像に発生する歪を効果的に補正することができる固体撮像素子が開示されている。
国際公開第２０１４／１５６７３１号 特開２００５−３８３９６号公報
しかしながら、従来の電子式手振れ補正は、光学式手振れ補正と比較して手振れ補正効果が低いため、より良好な手振れ補正効果を得ることができる電子式手振れ補正が求められていた。
本開示は、このような状況に鑑みてなされたものであり、より良好な手振れ補正効果を得ることができるようにするものである。
本開示の一側面の撮像素子は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部と、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部とを備える。
本開示の一側面の撮像方法は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する。
本開示の一側面の電子機器は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部と、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部とを有する撮像素子を備える。
本開示の一側面においては、複数の画素がアレイ状に配置される画素アレイ部により、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームが出力される。そして、画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて画素アレイ部のブレが規定値を超えるか否かを判定し、画素アレイ部のブレが規定値を超えると判定したタイミングまで、画素アレイ部がEIS撮像を行うように制御される。
本開示の一側面によれば、より良好な手振れ補正効果を得ることができる。
本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。 従来のOIS撮像およびEIS撮像について説明する図である。 本技術を適用したEIS撮像について説明する図である。 本技術を適用したEIS撮像について説明する図である。 画像とジャイロデータとの同期について説明する図である。 ストロボ発光を組み合わせたEIS撮像について説明する図である。 撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜撮像素子の構成例＞
図１は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
図１に示されている撮像素子１１は、センサ基板および信号処理基板の積層構造からなる撮像チップ１２に、メモリチップ１３が積層されて構成されており、撮像チップ１２にジャイロセンサ１４および発光装置１５が接続されている。
撮像チップ１２は、画素アレイ部２１、ＡＤＣ（Analog to Digital Converter）部２２、ジャイロインタフェース部２３、露光制御部２４、画像合成部２５、出力フレーム構成部２６、出力部２７、および入力部２８を備えて構成される。
画素アレイ部２１は、複数の画素がアレイ状に配置されて構成される撮像面であり、図示しない光学系により集光される光を受光して、それぞれの画素が受光した光の光量に応じたレベルの画素信号を出力する。例えば、画素アレイ部２１は、露光制御部２４による制御に従って、ブレの少ない短時間の露光時間の撮像を高速で連続的に行うEIS撮像を行い、複数枚のフレームを構成する画素信号を出力する。
ＡＤＣ部２２は、画素アレイ部２１から出力される画素信号に対して、例えば、CDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。
ジャイロインタフェース部２３は、ジャイロセンサ１４から出力されるジャイロデータ（ブレ情報）を取得し、適宜、露光制御部２４、画像合成部２５、および出力フレーム構成部２６に供給する。また、ジャイロインタフェース部２３は、図５を参照して後述するように、画像とジャイロデータとが同期されるように、ジャイロデータの供給を管理する。
露光制御部２４は、ジャイロインタフェース部２３から供給されるジャイロデータ、および、図示しない外部のプロセッサから入力部２８を介して供給される制御情報（露光時間やゲインなど）に基づいた露光制御を行う。例えば、露光制御部２４は、プロセッサから与えられた露光時間を、ブレの少ない短時間の露光時間に分割してEIS撮像を行うように画素アレイ部２１に対する制御を行う。また、露光制御部２４は、画素アレイ部２１によるEIS撮像が終了すると、画像合成を行うように画像合成部２５に対する制御を行う。さらに、露光制御部２４は、所定のタイミングでストロボ発光を行うように発光装置１５に対する制御を行う。
画像合成部２５にはＡＤＣ部２２から画素信号が供給され、画像合成部２５は、露光制御部２４による制御に従って、画素アレイ部２１により撮像された複数枚のフレームを合成する画像合成を行い、出力フレーム構成部２６に供給する。例えば、画像合成部２５は、ジャイロインタフェース部２３から供給されるジャイロデータから求められる動きベクトルに基づいて、複数枚のフレームそれぞれを、画像に発生する手振れを補正する方向にずらしながら合成する画像処理を行う。
出力フレーム構成部２６は、画像合成部２５から供給される画像にエンベデッドデータなどを付加した出力フォーマットに構成して、出力部２７を介して出力する。
出力部２７は、出力フレーム構成部２６から供給される出力フレームを、例えば、CSI-2（Camera Serial Interface）に準拠して撮像素子１１の外部に出力するインタフェースである。
入力部２８は、図示しないプロセッサからの制御情報を、例えば、CCI（Camera Control Interface）に準拠して受け取って、露光制御部２４に供給するインタフェースである。
メモリチップ１３は、画像データバッファ２９を備えて構成され、画像データバッファ２９は、例えば、画像合成部２５が画像合成を行うのに用いる複数枚のフレームを一時的に記憶する。
ジャイロセンサ１４は、撮像素子１１の近傍に実装され、撮像素子１１が振れた際のブレ角を物理的に（画像処理的にではなく）検出する。例えば、ジャイロセンサ１４は、角速度を検出する検出部であり、一定のタイミングで、検出した角速度から求められるブレ角により表される手振れ量を示すジャイロデータを出力する。
発光装置１５は、露光制御部２４による制御に従って、被写体に対して強力な明るさのストロボ光を発光する。
このように撮像素子１１は構成されており、露光制御部２４は、ジャイロセンサ１４から出力されるジャイロデータに基づいて、画素アレイ部２１のブレが規定値（例えば、角速度：２度／秒）を超えるか否かを判定し、そのブレが規定値を超えると判定したタイミングまで、画素アレイ部２１がEIS撮像を行うように制御することができる。これにより、撮像素子１１は、EIS画像の総露光時間を、プロセッサから与えられた露光時間よりも延長して、より高画質なEIS画像を取得することができる。または、撮像素子１１は、プロセッサから与えられた露光時間内であっても、EIS画像にブレが発生することを回避することができる。
なお、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサは、一般的に、画素の行ごとに順次、露光が開始されるとともに画素信号の読み出しが行われるフォーカルプレーンシャッタにより画像が撮像される。以下の図面を参照した説明では、このようなフォーカルプレーンシャッタにより取得される画像が平行四辺形で表されている。
＜従来のOIS撮像およびEIS撮像＞
図２を参照して、従来のOIS撮像およびEIS撮像について説明する。
例えば、OIS撮像では、プロセッサから与えられた露光時間およびゲインに従って、OISにより手振れ補正された画像が取得される通常の撮像が行われる。
また、EIS撮像では、プロセッサから与えられた露光時間（OIS撮像における露光時間と同等）を、手振れが発生しない程度の短時間に分割して複数枚のフレームが撮像され、それらのフレームを合成することで手振れ補正された１枚のEIS画像が取得される。
このようなOIS撮像およびEIS撮像では、プロセッサから与えられた撮像条件（露光時間やゲインなど）に従った撮像が行われる。この撮像条件は、OIS性能などから推定された最長露光時間に基づいて制御されていることより、手振れ補正特性が許容される範囲内で、さらなる長時間露光による撮像を行うことで、高画質化を図ることができると考えられる。
＜本技術を適用したEIS撮像＞
図３および図４を参照して、図１の撮像素子１１によるEIS撮像について説明する。
例えば、図３および図４において、破線の平行四辺形は、プロセッサから与えられた露光時間を表しており、従来においては、EIS撮像の露光時間の総和が、プロセッサから与えられた露光時間と同等となるような制御が行われる。
これに対し、撮像素子１１では、露光制御部２４は、ジャイロインタフェース部２３を介してジャイロセンサ１４から出力されるジャイロ情報を直接的に観測して、ジャイロデータが規定値（破線の直線）を超えるほど大きなブレが発生したか否かを判定する。そして、露光制御部２４は、ジャイロデータが規定値を超えるほど大きなブレが発生したと判定するまで、EIS撮像を継続するように画素アレイ部２１に対する制御を行う。
例えば、図３に示すように、プロセッサから与えられた露光時間を経過した後に、ジャイロデータが規定値を超えるほど大きなブレが発生すると、そのタイミングで、露光制御部２４は、EIS撮像を終了するように画素アレイ部２１に対する制御を行う。そして、露光制御部２４は、そのブレが発生する直前までのフレームを用いて、画像合成するように画像合成部２５に対する制御を行い、画像合成部２５は、それらのフレームを合成することで手振れ補正された１枚のEIS画像を出力する。
これにより、撮像素子１１は、プロセッサから与えられた露光時間よりも、EIS撮像における露光時間の総和を延長することができる。一般的に、特に低照度環境下においては、露光時間の総和が長いほど画質を向上させることができるため、撮像素子１１は、より良好な手振れ補正効果が得られる高画質な画像を取得することができる。
一方、図４に示すように、プロセッサから与えられた露光時間が経過する前に、ジャイロデータが規定値を超えるほど大きなブレが発生すると、そのタイミングで、露光制御部２４は、EIS撮像を終了するように画素アレイ部２１に対する制御を行う。そして、露光制御部２４は、そのブレが発生する直前までのフレームを用いて、画像合成するように画像合成部２５に対する制御を行い、画像合成部２５は、それらのフレームを合成することで手振れ補正された１枚のEIS画像を出力する。
これにより、撮像素子１１は、画像にブレが発生する前にEIS撮像を打ち切ることができ、そのようなブレが発生した画像が画像合成に用いられないように排除することができる。この場合、撮像素子１１は、図３を参照して説明したような高画質な画像を取得することはできないが、手振れにより撮像が失敗することを回避することができる。
このように、撮像素子１１は、撮像チップ１２がジャイロセンサ１４から出力されるジャイロデータを直接的に取得して、可能な限り長時間露光を行うことにより、例えば、低照度環境下における撮像で、従来よりも画質の向上を図ることができる。さらに、撮像素子１１は、プロセッサから与えられた露光時間中に予期しない大きな手振れが起きたとしても、撮像が失敗することを回避することができる。
また、OIS撮像では、例えば、手振れを打ち消す方向に光学部品および撮像素子の一方を動かすことにより手振れ補正機能を実現しているため、補正軸ごとに駆動部品を備える必要がある。従って、一般的に、いわゆるスマートフォンなどの小型機器に採用される撮像装置では、ヨー方向およびピッチ方向のブレのみの補正が行われていた。これに対し、撮像素子１１は、EIS撮像による利点を生かし、駆動部品などを追加する必要なく、ヨー方向およびピッチ方向に加えてロール方向のブレの補正を行うことができる。
＜ジャイロデータの同期＞
図５を参照して、撮像素子１１における画像とジャイロデータとの同期について説明する。
一般的に、EIS撮像において複数枚のフレームを合成する際のフレーム間のズレ情報が重要であり、ズレを打ち消すことによって手振れを補正することができる。さらに、撮像素子１１に用いられるCMOSイメージセンサにおいては電子シャッターの方式としてフォーカルプレーンシャッタを用いることより、画像内での読み出し時間ずれが生じることになる。このため、フォーカルプレーンシャッタによる画像内での読み出し時間ずれと、手振れによるフレーム間の位置ズレとが重なることにより、さらなる画質の劣化が発生することになる。
そこで、撮像素子１１は、画像とジャイロデータとを同期させて、それぞれのフレームにおける垂直方向の位置ごとにブレ量を正確に認識することによって、それらのズレを正しく補正することで、画像に発生する手振れに対する補正を効果的に行うことができる。
図５の上側には、画素アレイ部２１がEIS撮像を行って得られる複数枚のフレームが示されており、図５の下側には、それらのフレームの行ごとの露光開始タイミングおよび読み出しタイミングが示されている。
例えば、１枚目のフレーム１と２枚目のフレーム２において破線で囲われた垂直方向の位置における露光について考える。このとき、フレーム１において破線で囲われた位置の露光中心は、時刻Ｔ１＋（（時刻Ｔ２−Ｔ１）／２となる。また、フレーム２において破線で囲われた位置の露光中心は、時刻Ｔ３＋（（時刻Ｔ４−Ｔ３）／２となる。そして、EIS撮像でのフレーム重ね合わせに使用する動きベクトルは、フレーム１の露光中心からフレーム２の露光中心までの移動量ということになる。
そして、撮像素子１１は、露光制御部２４が、ジャイロインタフェース部２３から供給されるジャイロデータを、画素アレイ部２１による撮像タイミングに同期させることができるので、フレーム１の露光中心からフレーム２の露光中心までの動きベクトルを正確に取得することができる。
即ち、撮像素子１１は、画像読み出しとジャイロデータの読み出しとを同期させることにより、フレーム間の垂直方向の各位置でのズレ量を正確に認識することができる。これにより、画像合成部２５は、それぞれのフレームの垂直方向の位置ごとに同期されているズレ量を用いて、フレームを合成することができる。従って、撮像素子１１は、フォーカルプレーンシャッタによる画像内での読み出し時間ずれと、手振れによるフレーム間の位置ズレとが重なることに起因する画質の劣化を抑制して、より効果的な手振れ補正を行うことができる。即ち、撮像素子１１は、高精度かつ詳細にズレ量に基づく手振れ補正を行うことができるので、フレームの合成を高品質に行うことができ、複数枚のフレームを合成したEIS画像の高画質化を図ることができる。
また、撮像素子１１は、撮像チップ１２およびジャイロセンサ１４が連動した制御を行うことができるため、そのような連動した制御が困難な従来の撮像素子よりも、手振れ補正を搭載することによる露光時間延長の効果を最大化することができる。
＜ストロボ発光を組み合わせたEIS撮像＞
図６を参照して、ストロボ発光を組み合わせたEIS撮像について説明する。
図６に示すように、まず、露光制御部２４は、発光装置１５に供給する発光信号をＨレベルにして、発光装置１５がストロボ光を発光するように制御する。そして、露光制御部２４は、発光信号と同期して、被写体にストロボ光が照射されている間に、ストロボが発光する期間内に収まるようにEIS撮像を行うように画素アレイ部２１に対する制御を行う。これにより、ストロボ光が照射された被写体が撮像されたEIS画像が取得される。
その後、露光制御部２４は、発光装置１５に供給する発光信号をＬレベルにして、発光装置１５によるストロボ光の発光を終了させる。そして、露光制御部２４は、ストロボの発光が終了するタイミングを回避して、再度、画素アレイ部２１によるEIS撮像を行わせ、図３および図４を参照して上述したように、ジャイロデータに基づいた長時間のEIS撮像を行わせる。これにより、ストロボ光が届かない背景が撮像されたEIS画像が取得される。
このように、撮像素子１１では、発光装置１５に供給する発光信号（外部に対する制御信号）と連動させて、画素アレイ部２１によるEIS撮像を制御し、被写体が撮像されたEIS画像と、背景が撮像されたEIS画像とが取得された後、それらを合成する。これにより、撮像素子１１は、ストロボ光がある環境での画像と、ストロボ光がない環境での画像とを１枚のEIS画像に収めることができる。これは、撮像技法のひとつであるスローシンクロ撮像と同じ効果を得ることができる。なお、図６には、先幕シンクロが採用された一例が示されているが、後幕シンクロを採用してもよい。
さらに、撮像素子１１は、被写体が撮像されたEIS画像と、背景が撮像されたEIS画像とを合成する際にも、ジャイロデータを活用して、ズレが発生しないようなEIS画像を取得することができる。
なお、上述したように撮像素子１１の内部で処理を行う他、例えば、複数枚のフレームにジャイロデータに基づいた動きベクトルを付加して後段のプロセッサに出力し、そのプロセッサにおいて合成処理を行わせるような構成としてもよい。
例えば、従来のEIS撮像では、１回の撮像で１つの連続するフレームのみを使用していたため、ストロボ光を使用した撮像では、複数の短時間露光のフレームに対しても画面内の輝度均一性を保つために、同期をとる必要があった。しかしながら、従来、短時間露光の複数のフレームに対してこのような制御を行うことは困難であった。
これに対し、撮像素子１１では、EIS撮像を高速で２回連続で行い、かつ、その間の動きベクトル情報を保持、利用することにより、見かけ上の撮像時間を伸ばしつつ、ストロボ発光などによる撮像環境の変化にも対応できるようになる。これにより、撮像素子１１は、低照度環境下における高画質化を図ることができる。
以上のように、撮像素子１１は、EIS撮像により複数枚のフレームを連続して取得することにより、ストロボ発光などと組み合わせて低照度環境下であっても、より良好なEIS画像を取得することができる。
なお、上述したような撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
＜撮像装置の構成例＞
図７は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
図７に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。
撮像素子１０３としては、上述した撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
このように構成されている撮像装置１０１では、上述した撮像素子１１を適用することで、例えば、低照度環境下であっても高画質な画像を撮像することができる。
＜イメージセンサの使用例＞
図８は、上述のイメージセンサ（撮像素子１１）を使用する使用例を示す図である。
上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
を備える撮像素子。
（２）
前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
上記（１）に記載の撮像素子。
（３）
前記露光制御部は、外部のプロセッサから与えられた露光時間未満の場合であっても、前記画素アレイ部のブレが規定値を超えると判定すると、前記画素アレイ部がEIS撮像を終了するように制御する
上記（１）に記載の撮像素子。
（４）
前記画素アレイ部から出力される複数枚の前記フレームを、前記ブレ情報に従ってブレを補正する方向にずらして合成する画像処理を行う画像合成部
をさらに備える上記（１）から（３）までのいずれかに記載の撮像素子。
（５）
前記画像合成部は、前記画素アレイ部により撮像されるフレームにおける位置ごとに同期されている前記ブレ情報を用いて、前記フレームを合成する画像処理を行う
上記（４）に記載の撮像素子。
（６）
前記露光制御部は、外部に対する所定の制御を行う制御信号と連動させて、前記画素アレイ部のEIS撮像を制御する
上記（１）から（５）までのいずれかに記載の撮像素子。
（７）
複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
撮像方法。
（８）
複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
を有する撮像素子を備える電子機器。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 撮像素子， １２ 撮像チップ， １３ メモリチップ， １４ ジャイロセンサ， １５ 発光装置， ２１ 画素アレイ部， ２２ ＡＤＣ部， ２３ ジャイロインタフェース部， ２４ 露光制御部， ２５ 画像合成部， ２６ 出力フレーム構成部， ２７ 出力部， ２８ 入力部， ２９ 画像データバッファ

Claims (8)

  1. 複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
    前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
    を備える撮像素子。
  2. 前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
    請求項１に記載の撮像素子。
  3. 前記露光制御部は、外部のプロセッサから与えられた露光時間未満の場合であっても、前記画素アレイ部のブレが規定値を超えると判定すると、前記画素アレイ部がEIS撮像を終了するように制御する
    請求項１に記載の撮像素子。
  4. 前記画素アレイ部から出力される複数枚の前記フレームを、前記ブレ情報に従ってブレを補正する方向にずらして合成する画像処理を行う画像合成部
    をさらに備える請求項１に記載の撮像素子。
  5. 前記画像合成部は、前記画素アレイ部により撮像されるフレームにおける位置ごとに同期されている前記ブレ情報を用いて、前記フレームを合成する画像処理を行う
    請求項４に記載の撮像素子。
  6. 前記露光制御部は、外部に対する所定の制御を行う制御信号と連動させて、前記画素アレイ部のEIS撮像を制御する
    請求項１に記載の撮像素子。
  7. 複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、
    前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
    撮像方法。
  8. 複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
    前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
    を有する撮像素子を備える電子機器。
JP2018553777A 2016-12-02 2017-11-17 撮像素子および撮像方法、並びに電子機器 Active JP7118893B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016235132 2016-12-02
JP2016235132 2016-12-02
PCT/JP2017/041418 WO2018101077A1 (ja) 2016-12-02 2017-11-17 撮像素子および撮像方法、並びに電子機器

Publications (2)

Publication Number Publication Date
JPWO2018101077A1 true JPWO2018101077A1 (ja) 2019-10-24
JP7118893B2 JP7118893B2 (ja) 2022-08-16

Family

ID=62242576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018553777A Active JP7118893B2 (ja) 2016-12-02 2017-11-17 撮像素子および撮像方法、並びに電子機器

Country Status (5)

Country Link
US (1) US11095816B2 (ja)
JP (1) JP7118893B2 (ja)
KR (1) KR102423991B1 (ja)
CN (1) CN109983758B (ja)
WO (1) WO2018101077A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983758B (zh) 2016-12-02 2021-11-16 索尼半导体解决方案公司 成像元件、成像方法以及电子设备
CN111193866B (zh) * 2020-01-08 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111193867B (zh) * 2020-01-08 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111246088A (zh) * 2020-01-13 2020-06-05 Oppo广东移动通信有限公司 防抖方法、电子设备和计算机可读存储介质
EP4135311A4 (en) 2021-06-29 2023-05-03 Samsung Electronics Co., Ltd. METHOD OF IMAGE STABILIZATION AND ELECTRONIC DEVICE THEREFOR
KR20230001760A (ko) * 2021-06-29 2023-01-05 삼성전자주식회사 이미지 안정화 방법 및 이를 위한 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228297A (ja) * 2006-02-23 2007-09-06 Olympus Imaging Corp 電子的ぶれ補正装置
JP2008219124A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
JP2015220690A (ja) * 2014-05-20 2015-12-07 株式会社東芝 カメラモジュール及びイメージセンサ

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326978A (ja) * 1998-05-08 1999-11-26 Olympus Optical Co Ltd ブレ補正カメラ
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP4613510B2 (ja) 2003-06-23 2011-01-19 ソニー株式会社 画像処理方法および装置、並びにプログラム
KR20050038396A (ko) 2003-10-22 2005-04-27 주식회사 대우일렉트로닉스 영상 기기의 오디오 출력 제한방법
EP1684506A4 (en) * 2003-11-11 2008-06-04 Seiko Epson Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM THEREFOR AND RECORDING MEDIUM
US7457789B2 (en) * 2005-08-17 2008-11-25 Tacton Systems Ab Configuration assistance for complex products
US7952612B2 (en) 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
JP5024520B2 (ja) * 2006-10-03 2012-09-12 コニカミノルタアドバンストレイヤー株式会社 手振れ補正装置及びレンズユニット並びに撮像装置
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
KR101371775B1 (ko) * 2007-07-09 2014-03-24 삼성전자주식회사 카메라의 손떨림 보정 방법 및 장치
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5290834B2 (ja) * 2009-03-30 2013-09-18 住友精密工業株式会社 ホスト機器
CN101692692A (zh) * 2009-11-02 2010-04-07 彭健 电子稳像方法及系统
JP5121911B2 (ja) 2010-10-19 2013-01-16 キヤノン株式会社 防振制御装置、撮像装置、及び防振制御方法
JP5569357B2 (ja) 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
US9332192B2 (en) * 2012-02-07 2016-05-03 Seiko Epson Corporation Image generating device and exposure start timing adjustment method
JP2015097301A (ja) * 2012-03-09 2015-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN105191283B (zh) 2013-03-29 2019-10-22 索尼公司 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法
JP6209002B2 (ja) * 2013-07-16 2017-10-04 キヤノン株式会社 撮像装置およびその制御方法
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
CN108322655A (zh) 2015-06-12 2018-07-24 青岛海信电器股份有限公司 一种拍照方法
CN109983758B (zh) 2016-12-02 2021-11-16 索尼半导体解决方案公司 成像元件、成像方法以及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228297A (ja) * 2006-02-23 2007-09-06 Olympus Imaging Corp 電子的ぶれ補正装置
JP2008219124A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
JP2015220690A (ja) * 2014-05-20 2015-12-07 株式会社東芝 カメラモジュール及びイメージセンサ

Also Published As

Publication number Publication date
WO2018101077A1 (ja) 2018-06-07
US11095816B2 (en) 2021-08-17
JP7118893B2 (ja) 2022-08-16
CN109983758A (zh) 2019-07-05
KR102423991B1 (ko) 2022-07-25
CN109983758B (zh) 2021-11-16
KR20190089855A (ko) 2019-07-31
US20190281220A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
WO2018101077A1 (ja) 撮像素子および撮像方法、並びに電子機器
US9185308B2 (en) Imaging apparatus and imaging method
JP2011135152A (ja) 撮像装置及び撮像方法
JP2009124661A (ja) 撮像装置
JP6947590B2 (ja) 撮像装置、撮像装置の制御方法
JP5199736B2 (ja) 画像撮像装置
JP6261397B2 (ja) 撮像装置及びその制御方法
WO2019151030A1 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP6517573B2 (ja) 画像処理装置および内視鏡装置
JP2006148550A (ja) 画像処理装置及び撮像装置
JP6393091B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2006074693A (ja) 撮像装置
JP4834406B2 (ja) 撮像装置
JP2010093451A (ja) 撮像装置および撮像装置用プログラム
JP2006135501A (ja) 撮像装置
JP4682010B2 (ja) 撮像装置
WO2017163925A1 (ja) 半導体装置、固体撮像装置、および電子機器
JP6079196B2 (ja) 撮像装置
JP4662835B2 (ja) 撮像装置
JP2022187873A (ja) 撮像装置
JP6797566B2 (ja) 撮像装置、撮像装置の制御方法、および、画像処理装置
JP2016187072A (ja) イメージセンサ、処理方法、及び、電子機器
JP2011234279A (ja) 撮像システムおよびその動作制御方法
JP2007110347A (ja) カメラ装置
JP2007235247A (ja) 電子的ぶれ補正装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220803

R150 Certificate of patent or registration of utility model

Ref document number: 7118893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150