JP7166920B2 - 撮像装置、固体撮像素子、カメラモジュール、および撮像方法 - Google Patents

撮像装置、固体撮像素子、カメラモジュール、および撮像方法 Download PDF

Info

Publication number
JP7166920B2
JP7166920B2 JP2018531833A JP2018531833A JP7166920B2 JP 7166920 B2 JP7166920 B2 JP 7166920B2 JP 2018531833 A JP2018531833 A JP 2018531833A JP 2018531833 A JP2018531833 A JP 2018531833A JP 7166920 B2 JP7166920 B2 JP 7166920B2
Authority
JP
Japan
Prior art keywords
image
imaging unit
unit
information
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531833A
Other languages
English (en)
Other versions
JPWO2018025659A1 (ja
Inventor
宗市 桑原
裕二 為則
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018025659A1 publication Critical patent/JPWO2018025659A1/ja
Application granted granted Critical
Publication of JP7166920B2 publication Critical patent/JP7166920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本開示は、撮像装置、固体撮像素子、カメラモジュール、および撮像方法に関し、特に、動きにより画像が受ける影響を確実に補正することができるようにした撮像装置、固体撮像素子、カメラモジュール、および撮像方法に関する。
従来、撮像装置において手振れを補正する技術として、光学式手振れ補正(OIS:Optical Image Stabilizer)または電子式手振れ補正(EIS:Electronic Image Stabilization)が利用されている。光学式手振れ補正では、ブレ量に応じてレンズまたは撮像素子を相対的に平行に移動させて、撮像素子上の画像の位置をずらすことによりブレを補正することができる。電子式手振れ補正では、撮像素子により撮像された画像を切り出して出力画像とし、その切り出し位置をブレ量に応じてずらすことによりブレを補正することができる。
ところで、実際の手振れの主な原因は回転の動きであり、平行移動による影響は小さく、特に、被写体までの距離が遠くなればなるほど、平行移動による影響は小さくなる。光学式手振れ補正技術においては、この回転の動きをレンズまたは撮像素子の平行移動で補正するため、周辺が変形してしまうことがあった。同様に、電子式手振れ補正においても、切り出し位置を平行に移動させる補正であるため、周辺が変形してしまうという問題があった。
また、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサのようなローリングシャッタを用いた撮像素子で発生する画素のラインごとの露光時間のズレによる一画面内での移動量の違いによる変形(フォーカルプレーン現象)に対する対応は行われていなかった。
そこで、特許文献1に開示されているように、画像面内での位置による移動量の違いや、一画面内での露光時間のズレによる移動量の違いに対応して手振れ補正を行うことができる撮像装置が提案されている。この手振れ補正を採用することで、中央から周辺まで非常に精度良く手振れを補正することができるのに加え、フォーカルプレーン現象による変形も補正することができる。
国際公開第2014/156731号パンフレット
ところで、日中の屋外などにおいて短い露光時間で撮像が行われる場合には、上述した特許文献1の手振れ補正を行うことで、手振れによる影響をほぼ完全に補正して、画像にブレおよび変形が発生することを抑制することができる。しかしながら、暗所や夜間などにおいて長い露光時間で撮像が行われる場合には、上述した特許文献1の手振れ補正を行うことで、画像にブレおよび変形が発生することを補正することはできるものの、露光中の点像のブレ(以下、露光時間内ブレと称する)の発生を抑制することは困難であった。
本開示は、このような状況に鑑みてなされたものであり、露光時間内ブレの発生を抑制し、動きにより画像が受ける影響を確実に補正することができるようにするものである。
本開示の一側面の撮像装置は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力するロジック部と、前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部とを備え、前記撮像部および前記ロジック部が積層されてイメージセンサが構成されており、前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
本開示の一側面の固体撮像素子は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報をとともに出力し、前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部とを備え、前記撮像部および前記ロジック部が積層されて構成されており、前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
本開示の一側面のカメラモジュールは、被写体からの光を集光する光学系と、前記光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力し、前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記位置情報および前記動き情報、並びに、前記タイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部とを備え、前記撮像部および前記ロジック部が積層されてイメージセンサが構成されており、前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
本開示の一側面の撮像方法は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力し、前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施すステップを含み、前記撮像部、および、前記タイミング情報を出力するロジック部が積層されてイメージセンサが構成されており、前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
本開示の一側面においては、被写体からの光を集光する光学系を介して、被写体を撮像する撮像部の物理的に検出される動きに基づいて、光学系および撮像部の少なくとも一方を相対的に移動させて撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、光学系および撮像部の少なくとも一方の駆動が制御される。そして、その制御に従って駆動された光学系または撮像部の位置が検出された位置情報、および、物理的に検出される撮像部の動きを表す動き情報が、位置情報および前記動き情報を取得したタイミングで露光されていた画像の垂直方向位置を示すタイミング情報とともに出力され、タイミング情報に従って画像の垂直方向位置と位置情報および動き情報とが同期されて、それぞれ垂直方向位置に応じた位置情報および動き情報に基づいて、画像上の座標ごとに位置を変換する関数に従って、撮像部の動きが画像に与える影響を補正する信号処理が施される。さらに、撮像部およびロジック部が積層されてイメージセンサが構成されており、ロジック部から、撮像部が露光を行う露光タイミングに従って、光学的な補正の実行または停止を指示する制御情報が生成されて駆動制御部に供給され、駆動制御部において、制御情報に基づいて、光学的な補正が実行中である期間において、光学系および撮像部の少なくとも一方の駆動が制御されて、撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、光学的な補正が停止中である期間において、光学系または撮像部をセンタ位置に引き戻すように駆動が制御される。
本開示の一側面によれば、動きにより画像が受ける影響を確実に補正することができる。
レンズ歪の影響を受けることによって画像に発生する歪の例を示す図である。 撮像装置に与える振動条件を示す図である。 ブレを補正せずに出力される画像の一例を示す図である。 通常の電子式手振れ補正による補正処理が施された画像の一例を示す図である。 光学式手振れ補正による補正処理が施された画像の一例を示す図である。 特許文献1で提案されている手振れ補正による補正処理が施された画像の一例を示す図である。 特許文献2で提案されている手振れ補正による補正処理が施され、レンズ歪そのものに対する補正が行われない画像の一例を示す図である。 特許文献2で提案されている手振れ補正による補正処理が施され、レンズ歪そのものに対する補正が行われる画像の一例を示す図である。 長い露光時間で撮像が行われる場合に、ブレを補正せずに出力される画像の一例を示す図である。 長い露光時間で撮像が行われる場合に、特許文献2で提案されている手振れ補正による補正処理が施され、レンズ歪に対する補正のある画像の一例を示す図である。 長い露光時間で撮像が行われる場合に、光学式手振れ補正による補正処理が施された画像の一例を示す図である。 本技術を適用した撮像装置による手振れ補正による補正処理が施された画像の一例を示す図である。 本技術を適用した撮像装置の第1の実施の形態の構成例を示すブロック図である。 信号処理回路による電子式手振れ補正による補正処理を説明する図である。 撮像装置による撮像方法において実行される手振れ補正処理を説明するフローチャートである。 画像の補正結果について説明する図である。 本技術を適用した撮像装置の第2の実施の形態の構成例を示すブロック図である。 OIS制御情報について説明する図である。 フレーム間で光学式手振れ補正の制御位置をセンタに戻す処理について説明する図である。 フレーム間で光学式手振れ補正の制御位置をセンタ方向に戻す処理について説明する図である。 静止画像に発生するブレについて説明する図である。 特許文献2で提案されている手振れ補正による補正処理が施された画像の一例を示す図である。 図13の撮像装置による手振れ補正による補正処理が施された画像の一例を示す図である。 より大きな振動によって静止画像に発生するブレについて説明する図である。 特許文献2で提案されている手振れ補正による補正処理が施された画像の一例を示す図である。 図13の撮像装置による手振れ補正による補正処理が施された画像の一例を示す図である。 図17の撮像装置による手振れ補正による補正処理が施された画像の一例を示す図である。 ピッチ方向、ヨー方向、およびロール方向の定義を示す図である。 イメージセンサを使用する使用例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
まず、本技術を適用した撮像装置について説明する前に、図1乃至図12を参照して、撮像装置の振動および手振れ補正処理について説明する。
<撮像装置の振動および手振れ補正処理について>
図1には、撮像装置により被写体を撮像したときに、レンズ歪の影響を受けることによって画像に発生する歪の例が示されている。
例えば、図1のAに示すような格子状の模様を被写体として撮像を行うと、図1のBに示すように、周辺部分が内側に縮むような糸巻き型の歪が発生したり、図1のCに示すように、周辺部分が外側に伸びるような樽型の歪が発生したりする。
以下では、図1のBに示すような糸巻き型のレンズ歪のある撮像装置において、図2に示すような振動条件(ヨー方向の振り角:1.5度、ピッチ方向の振り角:1.2度)で振動を与えながら撮像を行ったときに画像に発生するブレについて説明する。図3乃至図12の左側には、図2に示す振動の1周期において、振り角が最小となる付近(例えば、振り角が0度となる2点)、および、振り角が最大となる付近(例えば、ヨー方向の振り角が1.5度および-1.5度となる2点)で撮像される4枚の画像が示されている。また、図3乃至図12の右側には、それらの4枚の画像を重ね合わせた画像が示されている。
図3には、振動に対するブレを補正する補正処理が施されずに出力される画像の一例が示されている。
図3に示すように、撮像装置の振動によって、位置ズレや、周辺変形、ローリングシャッタの影響を受けることにより、画像面内の位置に応じた様々な変形が発生している。
図4には、通常の電子式手振れ補正による補正処理が施された画像の一例が示されている。ここで、通常の電子式手振れ補正とは、撮像素子により撮像された画像を切り出して出力画像とし、その切り出し位置をブレ量に応じてずらすことによりブレを補正するものであり、後述する特許文献1および特許文献2の補正処理とは異なるものである。
図4の左側に示すように、通常の電子式手振れ補正による補正処理を施すことによって、ブレ量に応じて切り出し位置がずらされた画像が出力される。従って、これらの画像を重ね合わせたとき、図4の右側に示すように、フレーム間の画像の画面中央の位置が一致するように画像が補正される。しかしながら、通常の電子式手振れ補正による補正処理では、ローリングシャッタや手振れによる周辺変形を補正することはできなかった。
図5には、光学式手振れ補正による補正処理が施された画像の一例が示されている。
図5の左側に示すように、光学式手振れ補正による補正処理を施すことによって、ブレ量に応じてレンズまたは撮像素子を相対的に平行に移動させて撮像された画像が出力される。従って、これらの画像を重ね合わせたとき、図5の右側に示すように、フレーム間の画像の画面中央の位置を補正することができるとともに、ローリングシャッタの影響も補正することができる。しかしながら、この場合、手振れによる周辺変形を補正することはできなかった。
なお、光学式手振れ補正(バレルシフト方式またはセンサシフト方式)では、周辺変形やレンズ歪の影響は残ってしまうものの、露光中も振動に対して追従するように補正処理が施されることより、露光時間内ブレの発生は抑制される。
図6には、上述した特許文献1で提案されている手振れ補正による補正処理が施された画像の一例が示されている。特許文献1の手振れ補正では、通常の電子式手振れ補正のように切り出し位置をずらすだけでなく、画像面内での位置による移動量の違いや、一画面内での露光時間のズレによる移動量の違いに対応して、画素位置ごとに変形が行われる。
図6に示すように、特許文献1で提案されている手振れ補正による補正処理を施すことによって、画像の中央から周辺まで確実にブレが補正される。なお、この補正処理では、レンズ歪の影響を考慮していないため、実際の撮影結果ではレンズ歪の影響による誤差があり、周辺部で多少の位置ズレが発生している。なお、この位置ズレは、レンズ歪の形によって様々なものとなる。
そこで、PCT/JP2016/070261(以下、特許文献2と称する)で先に出願したように、レンズ歪の影響も考慮して手振れ補正を行うことができる補正処理を提案している。
図7および図8を参照して、特許文献2で提案されている手振れ補正による補正処理が行われた画像について説明する。
図7には、特許文献2の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れのよる変形に対する補正を行う一方で、レンズ歪そのものに対する補正を行わない画像の一例が示されている。
図7に示すように、特許文献2で提案されている手振れ補正による補正処理を施すことによって、画像の中央から周辺まで確実にブレが補正される。
図8には、特許文献2の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れのよる変形に対する補正を行うとともに、レンズ歪そのものに対する補正を行った画像が示されている。
図8に示すように、特許文献2で提案されている手振れ補正による補正処理を施すことによって、レンズ歪が補正されたうえで、画像の中央から周辺まで確実にブレが補正される。
ところで、日中の屋外などにおいて短い露光時間で撮像が行われる場合には、特許文献2で提案されている手振れ補正による補正処理によって、ほぼ完璧に手振れ補正を行うことができる。これに対し、暗所や夜間などにおいて長い露光時間で撮像が行われる場合には、露光時間内ブレが発生する。
図9には、長い露光時間で撮像が行われる場合に、図3と同様に、ブレを補正せずに出力される画像が示されている。
図9に示すように、長い露光時間で撮像が行われることにより、位置ズレや、周辺変形、ローリングシャッタの影響を受けることにより、画像面内の位置に応じた様々な変形が発生しているのに加えて、露光時間内ブレが発生している。
図10には、長い露光時間で撮像が行われる場合に、特許文献2の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れのよる変形に対する補正を行うとともに、レンズ歪に対する補正を行った画像が示されている。
特許文献2で提案されている手振れ補正による補正処理によっても、補正後の画像それぞれで位置は一致しているものの、露光時間内ブレが発生することより、手振れが確実には補正されていないような画像となってしまう。即ち、レンズ歪が補正されたうえで、中央から周辺までブレが補正できている一方で、露光時間内ブレがある画像となっている。
また、図11には、長い露光時間で撮像が行われる場合に、光学式手振れ補正(バレルシフト方式またはセンサシフト方式)による補正処理が施された画像が示されている。
図11に示すように、光学式手振れ補正による補正処理では、手振れによる周辺変形を補正することはできないが、露光時間中にもレンズおよび撮像素子が相対的に移動されることより、露光時間内ブレの発生は抑制することができる。
そこで、本願出願人は、後述する図13の撮像装置11および図17の撮像装置11Aのように、露光時間が長い場合であっても、手振れが画像に与える影響を抑制して、より確実に画像のブレを補正する補正処理を提案する。この補正処理により、レンズ歪も補正されたうえで、中央から周辺まで確実にブレを補正することができ、かつ、露光時間内ブレの発生を抑制することができる。
即ち、図12に示すように、本技術を適用した補正処理を施すことによって、レンズ歪も補正されたうえで、中央から周辺まで確実にブレが補正できており、かつ、露光時間内ブレの発生も抑制することができる。なお、露光時間中の周辺変形による露光ブレは光学式手振れ補正では抑制することができないため、振動条件と露光時間によっては、画像の周辺に若干の露光時間内ブレが残ってしまうことが想定されるが、通常の撮影であればほとんど目立たない程度に露光時間内ブレを抑制することができる。
また、図12には、図8と同様に、レンズ歪そのものに対する補正を行った画像が示されている。なお、図示しないが、図7と同様に、レンズ歪そのものに対する補正を行わない場合にも、中央から周辺まで確実にブレが補正でき、かつ、露光時間内ブレの発生も抑制することができる。
<本技術を適用した撮像装置の構成例>
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図13は、本技術を適用した撮像装置の第1の実施の形態の構成例を示すブロック図である。
図13に示すように、撮像装置11は、レンズユニット12、イメージセンサ13、モーションセンサ14、OISドライバ15、OISアクチュエータ16、信号処理回路17、ディスプレイ18、および記録媒体19を備えて構成される。
レンズユニット12は、1枚または複数枚のレンズを有して構成され、被写体からの光を集光して、イメージセンサ13が有する撮像部21のセンサ面に被写体の像を結像する。
イメージセンサ13は、撮像部21が形成される半導体チップと、ロジック部22が形成される半導体チップとが積層されて構成されており、OISドライバ15からの出力を取り込むためのインタフェースが実装されている。
撮像部21は、レンズユニット12により被写体からの光が集光され、複数の画素が行列状に配置されたセンサ面に結像される被写体の像を撮像し、その撮像により取得される画像を出力する。
ロジック部22は、撮像部21により撮像される画像に、OISドライバ15から出力されるレンズユニット12の位置情報および角速度データを、それらを画像上の座標と同期させるタイミングを示すタイミング情報とともに付加した画像データを、信号処理回路17に供給する。
具体的には、ロジック部22は、OISドライバ15から所定のサンプリング周波数(例えば、1kHz)で、モーションセンサ14により検出される角速度データと、OISアクチュエータ16による駆動に従ったレンズユニット12の位置情報を受け取る。そして、ロジック部22は、レンズユニット12の位置情報および角速度データ、並びに、それらを受け取ったタイミングにおける画像データのHラインカウンタを、画像データに付加して出力する。もちろん、レンズユニット12の位置情報、角速度データ、およびHラインカウンタを画像に付加せずに、それらを個別に画像とともに出力してもよい。このように、画像データの水平方向の1ライン単位で、レンズユニット12の位置情報および角速度データが対応付けられることで、信号処理回路17において、角速度データおよび位置情報と、画像の垂直方向の位置との同期をとることができる。即ち、Hラインカウンタは、それらの同期を取るためのタイミング情報として利用される。
ここで、画像データのHラインカウンタは、例えば、決められたタイミングでフレームごとにリセットし、水平方向の1ラインを読む時間ごとに1増えるようなカウンタであり、画像の垂直方向位置のタイミング合わせに利用される。なお、このHラインカウンタは、画像を読み込んでいないブランク区間においてもカウントされる。また、タイミング情報としては、画像データのHラインカウンタを利用する他、例えば、タイムスタンプなどの時刻情報を利用してもよい。なお、角速度データおよび位置情報と、画像の垂直方向の位置との同期を取る方法については、上述の特許文献2で詳細に説明されている。
モーションセンサ14は、撮像部21の動きを物理的に(画像処理によるのではなく)検出して、その動きを表す情報を出力する。例えば、モーションセンサ14は、3軸方向の角速度を検出可能なジャイロセンサにより構成される場合、撮像装置11の動きを表す情報として、それらの角速度により表される角速度データを出力する。
なお、モーションセンサ14としてOIS制御用のものを用いる他、例えば、単体のジャイロセンサや、OIS制御用と共用のジャイロセンサ(即ち、2つのポートを有するもの)などを用いることができる。また、モーションセンサ14は、ジャイロセンサに限定されることなく、3軸方向の角速度データに加え、加速度データを出力可能な6軸センサなどを使用することができる。
OISドライバ15は、モーションセンサ14から出力される角速度データに基づいて、撮像部21により撮像される画像におけるブレの発生を、光学的に打ち消すようにレンズユニット12を移動させる移動量を算出する。そして、OISドライバ15は、算出した移動量をOISアクチュエータ16に供給し、移動量に従った所定位置にレンズユニット12が配置されるように制御を行う。さらに、OISドライバ15は、OISアクチュエータ16による駆動に従ったレンズユニット12の位置情報を取得し、レンズユニット12の位置情報および角速度データを、イメージセンサ13に出力する。
OISアクチュエータ16は、OISドライバ15から供給される移動量に従って、レンズユニット12を駆動することで、イメージセンサ13により撮像される画像に発生する手振れを光学的に補正する。そして、OISアクチュエータ16は、その駆動に従ったレンズユニット12の位置を検出し、レンズユニット12の位置情報をOISドライバ15に供給する。
信号処理回路17は、レンズユニット12の位置情報を考慮に入れながら、特許文献2で提案されている電子式手振れ補正と同様の補正処理を行うように構成されている。即ち、信号処理回路17は、イメージセンサ13から供給される画像データに付加されているレンズユニット12の位置情報および角速度データに基づいて、画像上の座標ごとに同期させたレンズユニット12の位置情報および角速度データを基に補正する関数に従って、撮像部21の動きが画像に与える影響(例えば、位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形など)を補正する信号処理を施す。なお、信号処理回路17による補正処理については、図14を参照して後述する。
ディスプレイ18は、例えば、液晶パネルや有機EL(Electro Luminescence)パネルなどの表示部を有して構成され、信号処理回路17から出力される画像を表示する。
記録媒体19は、撮像装置11に内蔵型、または、撮像装置11に着脱可能なリムーバブル型のメモリ(例えば、EEPROM(Electronically Erasable and Programmable Read Only Memory))であり、信号処理回路17から出力される画像を記録する。
このように撮像装置11は構成されており、光学的にブレの発生が抑制されるようにイメージセンサ13により撮像された画像に対して、信号処理回路17において電子式手振れ補正による補正処理を施すことができる。これにより、撮像装置11は、上述の図12に示したように、露光時間内ブレの発生を抑制して、より確実に画像のブレ(手振れによって発生する位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形など)を補正することができる。
なお、本実施の形態では、OISアクチュエータ16によりレンズユニット12が駆動されるバレルシフト型の光学式手振れ補正について説明するが、撮像装置11は、OISアクチュエータ16によりイメージセンサ13が駆動されるセンサシフト型の光学式手振れ補正を採用してもよい。この場合、OISアクチュエータ16は、レンズユニット12の位置情報に替えて、イメージセンサ13の位置情報をOISドライバ15に供給する。
また、図13の撮像装置11では、モーションセンサ14から出力される角速度データがOISドライバ15を介してイメージセンサ13に供給されるように構成されている。これに対し、撮像装置11は、例えば、モーションセンサ14が角速度データの出力に用いられる出力ポートを2つ備え、モーションセンサ14からイメージセンサ13およびOISドライバ15それぞれに角速度データが供給されるような構成としてもよい。この場合、OISドライバ15からイメージセンサ13への角速度データの供給は行われない。
または、例えば、撮像装置11は、2つのモーションセンサ14を備えて構成してもよく、この場合、2つのモーションセンサ14からイメージセンサ13およびOISドライバ15それぞれに角速度データが供給されるような構成となる。また、この場合も、OISドライバ15からイメージセンサ13への角速度データの供給は行われない。
さらに、図13の撮像装置11において、イメージセンサ13および信号処理回路17は異なるブロックで示されているが、例えば、イメージセンサ13の内部で、信号処理回路17による処理を行うような構成を採用してもよい。即ち、イメージセンサ13は、信号処理回路17が形成される半導体チップが積層された積層構造とすることができる。
図14を参照して、信号処理回路17による電子式手振れ補正による補正処理について説明する。
図14に示すように、イメージセンサ13の出力画像中の光学中心を位置O(0,0)とする。そして、イメージセンサ13が、ピッチ方向に回転角-θp(rad)で回転し、ヨー方向に回転角-θy(rad)で回転し、ロール方向に回転角-θr(rad)で回転したとする。このような回転によって、イメージセンサ13上で撮像された点p(x,y)が、点P(X,Y)に移動するものとする。
さらに、点p0(x0,y0)を、点p(x,y)の歪みを補正した点の座標とし、点P0(X0,Y0)を、点P(X,Y)の歪み補正した点の座標とすると、上述した特許文献1に開示されている手振れ補正関係式、即ち、次の式(1)が成り立つ。
Figure 0007166920000001
なお、式(1)において、焦点距離Lは、イメージセンサ13の光学中心位置での焦点距離を画素数に換算したものであり、ピッチ方向またはヨー方向に回転角-θで回転したときの光学中心の位置O(0,0)の移動量dを用いて、次の式(2)を満たす値となる。
Figure 0007166920000002
また、上述した式(1)の手振れ補正関係式、即ち、点p0(x0,y0)から点P0(X0,Y0)を求める計算を関数Tとすると、点P0(X0,Y0)は、次の式(3)で表される。
Figure 0007166920000003
さらに、点p(x,y)から点p0(x0,y0)を求める計算、即ち、レンズ歪の影響を受けた画像上の点が、レンズ歪がなかった場合にどの位置にあるかを求める計算を関数Uとすると、点p0(x0,y0)は、次の式(4)で表される。
Figure 0007166920000004
また、点P0(X0,Y0)から点P(X,Y)を求める計算、即ち、レンズ歪がなかった場合の画像上の点が、レンズ歪の影響を受けた画像上のどの位置にあるかを求める計算を関数Dとすると、点P(X,Y)は、次の式(5)で表される。
Figure 0007166920000005
そして、例えば、信号処理回路17による補正処理によって、上述の図8に示したようなレンズ歪が補正された結果を出力する場合、出力画像上の点が、点p0(x0,y0)であると考えればよい。即ち、出力画像中の各点に対して、その点p0(x0,y0)の画素値として、点P(X,Y)の画素値を用いることで、手振れ補正が施され、かつ、レンズ歪が補正された画像を得ることができる。
このとき、上述した式(3)の関数Tおよび式(5)の関数Dを用いて、点p0(x0,y0)から点P(X,Y)を求めることができる。即ち、式(3)の関数Tを用いて、点p0(x0,y0)から点P0(X0,Y0)を求め、さらに、式(5)の関数Dを用いて点P0(X0,Y0)から点P(X,Y)を求めることができる。ここで、関数Tおよび関数Dの合成関数を関数Fとすると、点P(X,Y)は、次の式(6)で表される。
Figure 0007166920000006
一方、例えば、信号処理回路17による補正処理によって、上述の図7に示したようなレンズ歪が補正されない結果を出力する場合、出力画像上の点が、点p(x,y)であると考えればよい。即ち、出力画像中の各点に対して、その点p(x,y)の画素値として、点P(X,Y)の画素値を用いることで、手振れ補正が施され、かつ、レンズ歪が補正されない画像を得ることができる。
このとき、上述した式(3)の関数T、式(4)の関数U、および式(5)の関数Dを用いて、点p(x,y)から点P(X,Y)を求めることができる。即ち、式(4)の関数Uを用いて、点p(x,y)から点p0(x0,y0)を求め、式(3)の関数Tを用いて、点p0(x0,y0)から点P0(X0,Y0)を求め、さらに、式(5)の関数Dを用いて点P0(X0,Y0)から点P(X,Y)を求めることができる。ここで、関数T、関数U、および関数Dの合成関数を関数Gとすると、点P(X,Y)は、次の式(7)で表される。
Figure 0007166920000007
なお、式(6)や式(7)で求められる点P(X,Y)の座標値は、整数値になることは稀であるが、出力画像の画素値は近傍の座標の画素値から補間により算出することができる。また、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。
なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、1画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角-θp(rad)、ヨー方向回転角-θy(rad)、および、ロール方向回転角-θr(rad)を用いて、それぞれの画素で画素値が算出される。
ところで、上述した式(6)の関数Fおよび式(7)の関数Gによる補正処理に、OISアクチュエータ16がレンズユニット12を移動させる移動量を加えることにより、光学式手振れ補正および電子式手振れ補正の補正処理が実現される。以下では、式(6)の関数Fを用いた補正処理について説明するが、式(7)の関数Gを用いた補正処理も、式(6)の関数Fを用いた補正処理と同様に実施することができる。
まず、光学式手振れ補正および電子式手振れ補正の補正処理が施された出力画像上の点p0(x0,y0)の座標に対応する入力画像上(光学式手振れ補正がない場合の手振れ画像)上の座標を点P0(X0,Y0)とする。このとき、上述したように、電子式手振れ補正により座標を計算する関数Fは、式(6)で表される。
また、光学式手振れ補正(バレルシフト方式またはセンサシフト方式)による補正処理は、画像の平行移動と考えてよい。このことより、画素ごとの光学式手振れ補正によるシフト量(xois,yois)を用いて、出力画像上の座標p0(x0,y0)に対応する入力画像上の座標(Xois,Yois)は、次の式(8)により求められる。
Figure 0007166920000008
従って、出力画像上の座標(x0,y0)の画素値として、入力画像上の座標(Xois,Yois)の画素値を出力することにより、光学式手振れ補正および電子式手振れ補正の補正処理が施された画像を出力することができる。
なお、式(8)で求められる座標(Xois,Yois)の座標値は、整数値になることは稀であるが、出力画像の画素値は近傍の座標の画素値から補間により算出することができる。また、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。
なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、1画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角-θp(rad)、ヨー方向回転角-θy(rad)、ロール方向回転角-θr(rad)、および、光学式手振れ補正によるシフト量を用いて、それぞれの画素で画素値が算出される。
ここで、光学式手振れ補正において駆動されるレンズユニット12の位置情報として、ホール素子を用いてレンズユニット12の位置を読み出したホールデータを用いた場合について説明する。例えば、ロジック部22は、モーションセンサ14により検出される角速度データ、および、レンズユニット12の位置を読み出したホールデータを、画像データのHラインカウンタとともに画像データに付加して出力することができる。このとき、ロジック部22は、モーションセンサ14が角速度データを検出したタイミング、ホール素子がレンズユニット12の位置を読み出したタイミングに対して、角速度データおよびホールデータを取得したタイミングまでのディレイ時間や、画素(Hライン)ごとの露光終了時間および露光時間の関係などに基づいて、それらを同期させるタイミングを調整する。
この場合、出力画像(手振れ補正後画像)上の座標(x0,y0)は、光学式手振れ補正によるシフト量(xois,yois)、ホールデータの値(hx,hy)、光学式手振れ補正でレンズユニット12がセンタにいるときのホールデータ(hx0,hy0)、および、画素数換算係数(kx,ky)を用いて、次の式(9)により求められる。
Figure 0007166920000009
そして、式(9)により求められるシフト量(xois,yois)を、上述した式(8)に入力することで、出力画像(手振れ補正後画像)上の座標p0(x0,y0)に対応する入力画像(OIS出力画像)上の座標(Xois,Yois)が定まる。これにより、その座標の画素値を用いることによって手振れ補正画像を作成することができる。ここで、式(9)は、ホールデータ(hx0,hy0)の変化量と画素位置の移動量とが直線関係にあるものとして変換処理が行われる一例を示している。これに対し、例えば、それらが直線関係にない場合においては、ホールデータ(hx0,hy0)の変化量と画素位置の移動量との関係に応じた変換処理が行われる。
なお、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。
なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、1画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角-θp(rad)、ヨー方向回転角-θy(rad)、ロール方向回転角-θr(rad)、および、光学式手振れ補正によるシフト量(ホールデータの値(hx,hy))を用いて、それぞれの画素で画素値が算出される。
<撮像装置の手振れ補正処理>
図15のフローチャートを参照して、撮像装置11による撮像方法において実行される手振れ補正処理の一例について説明する。
例えば、撮像装置11では、撮像部21により1フレームの撮像が開始されると手振れ補正処理が開始され、ステップS11において、OISドライバ15は、モーションセンサ14から出力される角速度データを取得する。
ステップS12において、OISドライバ15は、ステップS11で取得した角速度データに基づいて、レンズユニット12を移動させる移動量を算出し、OISアクチュエータ16に供給する。
ステップS13において、OISアクチュエータ16は、ステップS12でOISドライバ15から供給された移動量に従って、レンズユニット12を駆動することにより、光学的な手振れ補正を行う。
ステップS14において、OISアクチュエータ16は、ステップS13で駆動したレンズユニット12の位置を検出し、レンズユニット12の位置情報をOISドライバ15に供給する。そして、OISドライバ15は、レンズユニット12の位置情報と、ステップS11で取得した角速度データとを、イメージセンサ13のロジック部22に供給する。
ステップS15において、ロジック部22は、ステップS14でOISドライバ15から供給されたレンズユニット12の位置情報および角速度データを、それらを受け取ったタイミングに対応する画像データのHラインカウンタとともに、撮像部21から出力される画像データに付加して、信号処理回路17に供給する。
ステップS16において、信号処理回路17は、ステップS15で供給された画像データに対して、レンズユニット12の位置情報および角速度データを用いて、それらに同期した画像データの座標ごとに位置を変換する関数に従って、電子的な手振れ補正処理を行う。その後、処理は終了され、撮像部21により次の1フレームの撮像が開始されるたびに、同様の処理が繰り返して行われる。なお、連続して手ぶれ補正を行う動画等の撮影やプレビュー画面、静止画の連続撮影などでは、補正処理は終了することなく連続して行われる。また、ステップS11からステップS14までの処理は、あらかじめ設定されたサンプリング周波数で連続して行われる。
以上のように、撮像装置11は、OISドライバ15の制御に従った光学的な手振れ補正によって露光時間内ブレの発生を抑制し、信号処理回路17による電子的な手振れ補正処理によって、手振れが画像に与える影響を抑制し、確実にブレを補正することができる。
図16を参照して、このような撮像方法により撮像装置11により撮像される画像の補正結果について説明する。
例えば、光学式手振れ補正により補正可能な角度が±1.5度であって、電子式手振れ補正により補正可能な角度が±6度であるとする。このとき、図16に示すような振動に対し、光学式手振れ補正(OIS)による補正結果は、周波数の高い成分のみ補正することにより露光時間内ブレを抑制することができる。そして、光学式手振れ補正(OIS)および電子式手振れ補正(EIS)による補正結果は、低周波成分を補正することにより、ほぼ0度のままとすることができる。
このように、撮像装置11は、光学式手振れ補正による補正処理を行いながら撮像し、その撮像された画像に対して、レンズユニット12の位置情報(光学式手振れ補正の情報)および角速度データを用いて電子式手振れ補正を行うことができる。これにより、撮像装置11は、画像面内での位置による移動量の違いや、一画面内での露光タイミングのズレによる移動量の違いに対応して、手振れ補正を行うことができる。
従って、撮像装置11は、日中の屋外などにおいて短い露光時間で行われる撮像だけでなく、暗所や夜間などにおいて長い露光時間で行われる撮像であっても、露光時間内ブレの発生を抑制しつつ、周辺変形やレンズ歪、ローリングシャッタの影響を補正して、中央から周辺まで精度良く手振れを補正することができる。
また、一般的に、光学式手振れ補正において補正範囲を大きくするためには、装置を大きくする必要があったり、制御に大きなパワーが必要となったりすることより、補正範囲を大きくすることは困難であった。これに対し、撮像装置11は、光学式手振れ補正において補正できない範囲を電子式手振れ補正により補うことによって、より広範囲の補正を行うことができる。さらに、光学式手振れ補正では、ローテーション方向の補正に対応することは困難であるのに対し、撮像装置11は、ローテーション方向の補正も行うことができる。
<撮像装置の第2の実施の形態>
図17は、本技術を適用した撮像装置の第2の実施の形態の構成例を示すブロック図である。なお、図17に示す撮像装置11Aにおいて、図13の撮像装置11と共通する構成については同一の符号を付し、その詳細な説明は省略する。
図17に示すように、撮像装置11Aは、図13の撮像装置11と同様に、レンズユニット12、モーションセンサ14、OISアクチュエータ16、信号処理回路17、ディスプレイ18、記録媒体19、撮像部21を備えて構成される。
そして、撮像装置11Aは、イメージセンサ13Aのロジック部22Aと、OISドライバ15Aが、図13の撮像装置11と異なる構成となっている。
ロジック部22Aは、撮像部21が露光を行っている露光タイミングに従って、光学式手振れ補正の実行または停止を指示するOIS制御情報を生成して、OISドライバ15Aに供給する。このように、撮像部21の露光タイミングに従ったOIS制御情報を発生する処理は、イメージセンサ13Aに内蔵されているロジック部22Aにおいて行うことが好適である。
例えば、ロジック部22Aは、撮像部21の露光終了(読出し終了)タイミングと、次のフレームの露光開始タイミングとに基づいて、OIS制御情報を生成する。また、ロジック部22Aは、フレーム間の時間や、次のフレームの露光時間(自動露光機能などにより撮影条件で変化する)などの情報に基づいて、次のフレームの露光開始タイミングを特定することができる。これらのタイミングは、イメージセンサ13Aの内部で決定されて動作させているので、イメージセンサ13Aの外部でOIS制御情報を生成する構成と比較して、ロジック部22AにおいてOIS制御情報を容易に生成することができる。
OISドライバ15Aは、ロジック部22Aから供給されるOIS制御情報に基づいて、OIS制御情報が光学式手振れ補正の停止を指示している場合には、レンズユニット12をセンタ位置に引き戻す動作を行う。
または、OISドライバ15Aは、OIS制御情報が光学式手振れ補正の停止を指示するのに従って、レンズユニット12をセンタ位置に引き戻す動作を行っている途中、レンズユニット12がセンタ位置に戻り切っていない状態で、OIS制御情報が光学式手振れ補正の実行に切り替わった場合、その途中のレンズユニット12の位置から光学式手振れ補正を行うことができる。
このように構成される撮像装置11Aは、ロジック部22AがOIS制御情報をOISドライバ15Aに供給することで、フレーム間で、光学式手振れ補正のセンタ戻し処理を行うことができる。これにより、撮像装置11Aは、各フレームの間で、レンズ位置をリセットしながら光学式手振れ補正を行うことができるので、各フレームにおいて常に、光学式手振れ補正により補正可能な角度の全範囲を用いた補正を行うことができる。
即ち、図13の撮像装置11では、光学式手振れ補正により補正可能な角度を超えた振幅の振動が発生した場合、その超えた範囲の振動中において露光時間内ブレを抑制することができなかった。これに対し、撮像装置11Aは、光学式手振れ補正のセンタ戻し処理を行うことで、大きな振幅の振動が発生しても、1フレーム内の振動が光学式手振れ補正の補正可能な角度以内であれば、露光時間内ブレの発生を抑制することができる。
図18を参照して、ロジック部22Aが生成するOIS制御情報について説明する。
なお、図18乃至図20に示したグラフの横軸は時間であり、時間に伴った変化を示している。また、図中の平行四辺形は、CMOSイメージセンサで画像を撮影する際に、画像の上から下まで(撮影の設定によっては、下から上までになる場合がある)露光しながら画像データを読み出すまでの時間を模式的に表したものである。図示する例では、画像の上から順番に電子シャッタが開き、一定時間露光した後に上から順番に読み出しを行っている。
図18のAに示すように、画像の一番下の読み出しが終了してから、次のフレームの画像の一番上の電子シャッタが開くまでの間に、フレーム間で露光が重複しない時間がある場合に、ロジック部22Aは、露光が行われている期間で、光学式手振れ補正の実行を指示するOIS制御情報(OIS enable)を出力する。また、ロジック部22Aは、露光が行われていない期間で、光学式手振れ補正の停止を指示するOIS制御情報(OIS disable)を出力する。例えば、ロジック部22Aは、露光終了から次の露光開始までの時間が、設定された所定時間以上である場合、光学式手振れ補正の停止を指示するOIS制御情報(OIS disable)を出力する。
なお、実際の制御の遅延を考慮して、読出し終了タイミングや、露光開始タイミングから、おのおの設定されたオフセット時間分(図18に示すオフセット1およびオフセット2)だけ、ロジック部22Aは、光学式手振れ補正の実行および停止とを切り替えるタイミングをずらすことができる。
一方、図18のBに示すように、フレーム間で露光が重複しない期間が発生しない場合、または、フレーム間で露光が重複しない期間が設定した所定時間より短い場合、ロジック部22Aは、常に、光学式手振れ補正の実行を指示するOIS制御情報(OIS enable)を出力する。即ち、フレーム間で露光が常に重複している場合には、光学式手振れ補正が連続的に行われ、光学式手振れ補正のセンタ戻し処理は行われない。
図19を参照して、フレーム間で光学式手振れ補正の制御位置をセンタに戻す処理について説明する。
図19のAには、露光が開始される直前に、光学式手振れ補正の制御位置がセンタに戻っている例が示されている。
このように、露光が開始される直前に光学式手振れ補正の制御位置がセンタに戻っている場合には、レンズユニット12をセンタ位置から移動させて光学式手振れ補正を行うことができる。なお、露光時間が、図19のAに示す例よりも長くなり、光学式手振れ補正の制御が安定しない状態で次のフレームの露光が始まる場合には、画像に振動の影響が現れることになる。これを避けるために、フレーム間で露光が重複しない期間が設定した所定時間より短い場合、常に、光学式手振れ補正の実行を指示するOIS制御情報(OIS enable)を出力するよう所定時間を設定できるようにしている。
一方、図19のBに示すように、露光時間が、図19のAに示す例よりも短くなる場合には、画像に振動の影響が現れることは回避され、光学式手振れ補正の制御位置を確実にセンタに戻すことができる。
ところで、図19のAおよび図19のBに示したように、レンズユニット12をセンタ位置に戻す際にハンチングがあると、制御不能となる期間が発生する。このため、レンズユニット12をセンタ位置に戻す際にハンチングは発生しないように、光学式手振れ補正のセンタ戻し処理を実行することが好ましい。
このように、フレーム間でレンズユニット12をセンタ位置にリセットすることができる場合には、常に、光学式手振れ補正の補正範囲を広く確保することができる。これに対し、フレーム間でレンズユニット12をセンタ位置にリセットするのに十分な時間がない場合には、光学式手振れ補正のセンタ戻し処理を実行することができない。また、フレーム間で露光が重複しない期間が、常に、レンズユニット12の移動量が最大の位置からセンタ位置まで戻って安定するまでの時間以上とならない場合にも、光学式手振れ補正のセンタ戻し処理を実行することができない。
そこで、レンズユニット12をセンタ位置に必ず戻すのではなく、レンズユニット12をセンタ方向に戻す処理、即ち、レンズユニット12をセンタ位置に引き戻す動作を行っている途中から光学式手振れ補正を行うような処理を採用することもできる。
図20を参照して、フレーム間で光学式手振れ補正の制御位置をセンタ方向に戻す処理について説明する。
図20のAに示すように、レンズユニット12をセンタ位置に戻す際にハンチングは発生しないように制御を行う。また、図20のAでは、図19のAおよび図19のBと同様に、露光が開始される前に、光学式手振れ補正の制御位置がセンタに戻っている例が示されている。
これに対し、図20のBに示すように、露光が開始されるときに、光学式手振れ補正の制御位置がセンタに戻り切れてなくても、その戻り途中の位置から光学式手振れ補正による補正処理を行う。このような制御を行っても、レンズユニット12の移動がセンタから開始されるのではないが、露光期間中には、光学式手振れ補正による補正処理を実行することができるので、画像に悪影響を及ぼすことはない。
このように、フレーム間で露光が重複しない期間が、レンズユニット12をセンタまで戻すのに必要な時間未満である場合でも、ある程度だけでもセンタ方向にレンズユニット12を戻すことで、次のフレームの補正可能範囲を少しでも拡大することができる。即ち、この場合、レンズユニット12をセンタ方向に戻す制御を行うことで、このような制御を行わないときよりも、次のフレームで光学式手振れ補正に用いることができる移動量を大きくすることができ、露光時間内ブレの発生を少しでも抑制することができる。
なお、フレーム内の露光中に、光学式手振れ補正の補正可能な角度を超えた振幅の振動が発生した場合、露光時間内ブレを十分に抑制することができなくても、電子式手振れ補正は有効に行うことができるので、画像のブレは補正することができる。
また、撮像装置11Aでは、画像上の座標ごとに、モーションセンサ14から出力される角速度データ、および、レンズユニット12の位置情報に基づいて補正を行う信号処理が施される。このため、例えば、レンズユニット12がセンタまで戻った場合、レンズユニット12がセンタに戻り切れていない場合、通常の光学式手振れ補正が適用されている場合、レンズユニット12が常にセンタ位置に固定されている場合のいずれであっても、信号処理回路17は、全て同じアルゴリズムで処理を施すことができる。
<静止画像に対する適用>
撮像装置11は、動画像の撮像時における手振れ補正処理だけではなく、静止画像を撮像する際の手振れにも有効に用いることができるが、さらに静止画像の手ブレ抑制性能を向上させる方法がある。
例えば、暗所や夜間などの暗い環境において静止画像を撮像する際、露光時間が短くなるため光量が不足し、高ゲインで撮像を行っても、ノイズが多い画像が撮像されることになる。このようなノイズの発生を抑制するためには、露光時間を長く設定する必要があるが、手振れの影響を受けやすくなり、画像にブレが発生することが多くなる。
そこで、光学式手振れ補正を用いて露光中に発生するブレを抑制することにより、長時間露光で撮像された静止画像のブレを抑制することができる。しかしながら、上述したように、光学式手振れ補正では、レンズ歪の影響や周辺変形の補正を行うことができないため、画面の中央にブレは発生しないものの、周辺部分にブレが発生するような画像が撮像される。また、露光中に、光学式手振れ補正の補正範囲を超えた振幅の振動が発生した場合には、画面のブレを抑制することができない。
これに対し、撮像装置11は、動画像の撮像時における手振れ補正処理だけではなく、静止画像を撮像する際の手振れにも有効に適用することができ、長時間露光が必要な静止画像の撮像においても、画像の中央から周辺まで確実にブレを補正することができる。
図21を参照して、静止画像に発生するブレについて説明する。
図21のAに示すような振動条件で、1周期Aの露光を行ったときに撮像される静止画像が、図21のBおよび図21のCに示されている。図21のBには、振動に対するブレを補正する補正処理が施されずに出力される静止画像が示されており、図21のCには、光学式手振れ補正による補正処理が施された静止画像が示されている。
図21のCに示すように、光学式手振れ補正による補正処理を施すことによって、ブレを抑制することができるが、周辺変形の影響によって、静止画像の周辺部分にブレが残っている。
図22を参照して、特許文献2で提案されている手振れ補正による補正処理が行われた静止画像について説明する。
図22のAには、特許文献2の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
図22のBには、特許文献2の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
図22のAおよび図22のBに示すように、特許文献2の手振れ補正による補正処理を施すことにより、画像の中央から周辺まで、ほとんど位置ずれなく連続画像を重ねることができる。つまり、特許文献2の手振れ補正による補正処理を施し、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせることで、ブレの発生を抑制し、かつ、露光時間を短くしたことによる露光時間内ブレを抑制した画像を得ることができる。なお、露光時間を短くした場合、ノイズの発生が増加することが懸念されるが、複数枚の画像を重ね合わせることによって、ノイズが軽減される。
しかしながら、特許文献2の手振れ補正による補正処理を施すだけでは、画面の全体的に露光時間内ブレの影響が残ってしまい、より露光時間内ブレが目立たないようにするためには、露光時間をさらに短縮する必要がある。
図23を参照して、図13の撮像装置11の手振れ補正による補正処理が行われた静止画像について説明する。
図23のAには、撮像装置11の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
図23のBには、撮像装置11の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
上述したように、撮像装置11では、光学的にブレの発生が抑制されるようにイメージセンサ13により撮像された画像に対して、信号処理回路17において電子式手振れ補正による補正処理が行われる。
図23のAおよび図23のBに示すように、撮像装置11の手振れ補正による補正処理を施し、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせることで、露光時間内ブレの発生を抑制したうえで、画像の中央から周辺まで確実にブレが発生することなく連続画像を重ねることができる。
図24を参照して、より大きな振動によって静止画像に発生するブレについて説明する。
図24のAに示すように、光学式手振れ補正の補正範囲を±1.5度とした際に、光学式手振れ補正の補正範囲を超えた振動条件で、1周期Aの露光を行ったときに撮像される静止画像が、図24のBおよび図24のCに示されている。図24のBには、振動に対するブレを補正する補正処理が施されずに出力される静止画像が示されており、図24のCには、光学式手振れ補正による補正処理が施された静止画像が示されている。
図24のAに示すように、ヨー方向の振動波は光学式手振れ補正の補正範囲(±1.5度)を超える程に大きく、図24のCに示すように、光学式手振れ補正による補正処理によっても静止画像に発生するブレを抑制することができない。
図25を参照して、図24に示したような振動に対し、特許文献2で提案されている手振れ補正による補正処理が行われた静止画像について説明する。
図25のAには、特許文献2の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
図25のBには、特許文献2の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
図25のAおよび図25のBに示すように、特許文献2の手振れ補正による補正処理を施すことにより、画像の中央から周辺まで、ほとんど位置ずれなく連続画像を重ねることができる。しかしながら、露光時間内ブレの影響が残っており、全体的にブレているような画像となっている。
図26を参照して、図24のAに示したような振動に対し、図13の撮像装置11の手振れ補正による補正処理が行われた静止画像について説明する。
図26のAには、撮像装置11の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
図26のBには、撮像装置11の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
上述したように、撮像装置11では、光学的にブレの発生が抑制されるようにイメージセンサ13により撮像された画像に対して、信号処理回路17において電子式手振れ補正による補正処理が行われる。
図26のAおよび図26のBに示すように、撮像装置11の手振れ補正による補正処理を施し、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせることで、露光時間内ブレの発生を抑制したうえで、画像の中央から周辺まで位置ずれなく連続画像を重ねることができる。しかしながら、発生する振動の振幅が光学式手ブレ補正の補正範囲を超えた分だけ、露光時間内ブレの影響が残っており、図25の例よりはブレは少ないが、全体的にブレているような画像となっている。
図27を参照して、図24のAに示したような振動に対し、図17の撮像装置11Aの手振れ補正による補正処理が行われた静止画像について説明する。
図27のAには、撮像装置11Aの手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
図27のBには、撮像装置11Aの手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の1/8の露光時間で連続的に撮像した8枚の連続画像を重ね合わせた画像の一例が示されている。
上述したように、撮像装置11Aでは、光学式手振れ補正のセンタ戻し処理を行いながら光学的にブレの発生が抑制されるようにイメージセンサ13により撮像された画像に対して、信号処理回路17において電子式手振れ補正による補正処理が行われる。
図27のAおよび図27のBに示すように、撮像装置11Aの手振れ補正による補正処理を施し、光学式手振れ補正のセンタ戻し処理を行いながら、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせることで、画像の中央から周辺まで位置ずれなく連続画像を重ねることができ、かつ、露光時間内ブレの影響をほぼ抑制することができる。
図21乃至図27を参照して説明したように、本技術を適用した手振れ補正処理は、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせる処理を組み合わせることで、さらに静止画像のブレを補正するのに有効である。
また、本実施の形態の撮像装置11は、例えば、光学式手振れ補正が施された画像を用いて、画像データを比較することにより移動ベクトルを検出して電子式手振れ補正を施すような構成と比較して、画像データを比較する処理が不要なっている。このため、撮像装置11は、より負荷の少ない処理で、高精度にブレを補正することができる。
また、本実施の形態の撮像装置11は、例えば、上述した特許文献1で開示されている処理と比較して、光学式手振れ補正の制御において誤差が発生しても、モーションセンサ14から出力される角速度データ、および、レンズユニット12の位置情報に基づいて補正を行うことより、その誤差の影響を受けることを回避することができる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した実施の形態では、撮像装置11の構成について説明したが、本発明は、イメージセンサ13、モーションセンサ14、OISドライバ15、OISアクチュエータ16、および信号処理回路17を少なくとも備えたカメラモジュールや、そのカメラモジュールを搭載した各種の電子機器に適用することができる。
さらに、撮像装置11が、イメージセンサ13から出力される画像に対して電子式手振れ補正を施すロジック部22を備えていなくてもよい。即ち、ロジック部22の機能を、撮像装置11とは別のユニットに備え、そのユニットに、画像上の位置と同期がとれているレンズユニット12の位置情報および角速度データが付加された画像データが出力されていればよい。もちろん、撮像装置11がロジック部22を備える構成、より好適には、積層型のイメージセンサ13の半導体チップに信号処理回路17を備える構成を採用することで、手振れ補正処理を高精度に実行することができ、容易にシステムを構築することができる。
なお、上述した本実施の形態において、撮像装置11に発生する手振れ(つまり、撮像装置11に内蔵されるイメージセンサ13の振動)は、図28に示すように、ピッチ方向、ヨー方向、およびロール方向の回転で定義される。
<イメージセンサの使用例>
図29は、上述のイメージセンサを使用する使用例を示す図である。
上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
<内視鏡手術システムへの応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図30は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図30では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図31は、図30に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡11100や、カメラヘッド11102(の撮像部11402)、CCU11201(の画像処理部11412)等に適用され得る。このように本開示に係る技術を適用することにより、確実にブレを補正した画像を得ることができるため、術者が術部を確実に確認することが可能になる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
<移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図32は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図32に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図32の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図33は、撮像部12031の設置位置の例を示す図である。
図33では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図33には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031等に適用され得る。このように本開示に係る技術を適用することにより、確実にブレを補正した画像を得ることができる。
なお、本技術は以下のような構成も取ることができる。
(1)
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と
を備える撮像装置。
(2)
前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部
をさらに備える上記(1)に記載の撮像装置。
(3)
前記ロジック部は、前記位置情報および前記動き情報を、前記タイミング情報とともに前記画像に付加して出力する
上記(2)に記載の撮像装置。
(4)
前記ロジック部は、前記タイミング情報として、前記画像の垂直方向位置を示す情報を、その垂直方向位置の1ライン単位で前記位置情報および前記動き情報に対応付けて出力する
上記(2)に記載の撮像装置。
(5)
前記撮像部および前記ロジック部が積層されて構成されるイメージセンサ
をさらに備え、
前記イメージセンサから前記信号処理部に、前記画像とともに、前記位置情報、前記動き情報、および前記タイミング情報が供給される
上記(2)から(4)までのいずれかにに記載の撮像装置。
(6)
前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記位置情報を前記駆動制御部に供給する駆動部
をさらに備える上記(1)から(5)までのいずれかにに記載の撮像装置。
(7)
前記撮像部の動きを物理的に検出し、前記動き情報を前記駆動制御部に供給する検出部
をさらに備え、
前記駆動制御部から前記ロジック部に、前記位置情報および前記動き情報が供給される
上記(2)から(6)までのいずれかにに記載の撮像装置。
(8)
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中であるにおいて、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
上記(2)から(5)までのいずれかに記載の撮像装置。
(9)
前記駆動制御部は、前記制御情報が前記光学的な補正の停止を指示している期間が、前記光学系または前記撮像部をセンタ位置まで引き戻すのに必要な時間より短い場合、その期間内で移動させることができる範囲で前記光学系または前記撮像部をセンタの方向に移動させるように駆動を制御する
上記(8)に記載の撮像装置。
(10)
前記信号処理部は、短い露光時間で連続的に撮像された複数枚の連続画像が重ね合わされた静止画像を出力する処理を行う際に前記信号処理を施す
上記(1)から(9)までのいずれかに記載の撮像装置。
(11)
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部と
を備える固体撮像素子。
(12)
被写体からの光を集光する光学系と、
前記光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と
を備えるカメラモジュール。
(13)
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部に、前記位置情報および前記動き情報を供給する
駆動制御部。
(14)
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す
ステップを含む撮像方法。
(15)
前記位置情報および前記動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに、前記撮像部により撮像された画像に付加する処理を行うステップ
を含む上記(14)に記載の撮像方法。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
11 撮像装置, 12 レンズユニット, 13 イメージセンサ, 14 モーションセンサ, 15 OISドライバ, 16 OISアクチュエータ, 17 信号処理回路, 18 ディスプレイ, 19 記録媒体, 21 撮像部, 22 ロジック部

Claims (12)

  1. 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
    物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
    前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力するロジック部と、
    前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と
    を備え
    前記撮像部および前記ロジック部が積層されてイメージセンサが構成されており、
    前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
    前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
    撮像装置。
  2. 前記ロジック部は、前記位置情報および前記動き情報を、前記タイミング情報とともに前記画像に付加して前記信号処理部に供給する
    請求項1に記載の撮像装置。
  3. 前記ロジック部は、前記タイミング情報として、前記画像の垂直方向位置を示す情報を、その垂直方向位置の1ライン単位で前記位置情報および前記動き情報に対応付けて出力する
    請求項1に記載の撮像装置。
  4. 前記イメージセンサ
    をさらに備え、
    前記イメージセンサから前記信号処理部に、前記画像とともに、前記位置情報、前記動き情報、および前記タイミング情報が供給される
    請求項1に記載の撮像装置。
  5. 前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記位置情報を前記駆動制御部に供給する駆動部
    をさらに備える請求項1に記載の撮像装置。
  6. 前記撮像部の動きを物理的に検出し、前記動き情報を前記駆動制御部に供給する検出部
    をさらに備え、
    前記駆動制御部から前記ロジック部に、前記位置情報および前記動き情報が供給される
    請求項1に記載の撮像装置。
  7. 前記駆動制御部は、前記制御情報が前記光学的な補正の停止を指示している期間が、前記光学系または前記撮像部をセンタ位置まで引き戻すのに必要な時間より短い場合、その期間内で移動させることができる範囲で前記光学系または前記撮像部をセンタの方向に移動させるように駆動を制御する
    請求項1に記載の撮像装置。
  8. 前記信号処理部は、短い露光時間で連続的に撮像された複数枚の連続画像が重ね合わされた静止画像を出力する処理を行う際に前記信号処理を施す
    請求項1に記載の撮像装置。
  9. 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
    物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報をとともに出力し、前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部と
    を備え
    前記撮像部および前記ロジック部が積層されて構成されており、
    前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
    前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
    固体撮像素子。
  10. 被写体からの光を集光する光学系と、
    前記光学系を介して、前記被写体を撮像する撮像部と、
    物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
    前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力し、前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記位置情報および前記動き情報、並びに、前記タイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と
    を備え
    前記撮像部および前記ロジック部が積層されてイメージセンサが構成されており、
    前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
    前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
    カメラモジュール。
  11. 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
    その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力し、
    前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す
    ステップを含み、
    前記撮像部、および、前記タイミング情報を出力するロジック部が積層されてイメージセンサが構成されており、
    前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して、前記駆動を制御する駆動制御部に供給し、
    前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
    撮像方法。
  12. 前記位置情報および前記動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに、前記撮像部により撮像された画像に付加する処理を行うステップ
    をさらに含む請求項11に記載の撮像方法。
JP2018531833A 2016-08-05 2017-07-21 撮像装置、固体撮像素子、カメラモジュール、および撮像方法 Active JP7166920B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016154248 2016-08-05
JP2016154248 2016-08-05
PCT/JP2017/026410 WO2018025659A1 (ja) 2016-08-05 2017-07-21 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Publications (2)

Publication Number Publication Date
JPWO2018025659A1 JPWO2018025659A1 (ja) 2019-05-30
JP7166920B2 true JP7166920B2 (ja) 2022-11-08

Family

ID=61072679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531833A Active JP7166920B2 (ja) 2016-08-05 2017-07-21 撮像装置、固体撮像素子、カメラモジュール、および撮像方法

Country Status (3)

Country Link
US (1) US10868961B2 (ja)
JP (1) JP7166920B2 (ja)
WO (1) WO2018025659A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095069A (ja) 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
JP2019106656A (ja) * 2017-12-14 2019-06-27 ルネサスエレクトロニクス株式会社 半導体装置および電子機器
US10764501B2 (en) * 2018-10-30 2020-09-01 Qualcomm Incorporated Optical image stabilization techniques
US10999507B2 (en) * 2018-10-30 2021-05-04 Qualcomm Incorporated Optical image stabilization techniques
JP2020107036A (ja) * 2018-12-27 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 画像処理装置
JP7197785B2 (ja) * 2019-01-28 2022-12-28 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
JP6746857B2 (ja) * 2019-01-31 2020-08-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像処理装置、撮像装置、無人航空機、画像処理方法、及びプログラム
JP7152588B2 (ja) * 2019-02-20 2022-10-12 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
US10609288B1 (en) * 2019-03-04 2020-03-31 Qualcomm Incorporated Roll compensation and blur reduction in tightly synchronized optical image stabilization (OIS)
WO2020189224A1 (ja) * 2019-03-15 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
WO2021152974A1 (ja) * 2020-01-31 2021-08-05 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
CN113660408B (zh) * 2020-05-12 2022-11-11 华为技术有限公司 一种视频拍摄防抖方法与装置
NL2025869B1 (en) * 2020-06-19 2022-02-17 Microsoft Technology Licensing Llc Video pass-through computing system
CN113418933B (zh) * 2021-08-23 2021-11-09 常州微亿智造科技有限公司 用于检测大尺寸物体的飞拍视觉成像检测系统及方法
CN114500995B (zh) * 2022-04-15 2022-06-21 北原科技(深圳)有限公司 制造端的usb摄像头个性化配置系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156731A1 (ja) 2013-03-29 2014-10-02 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP2015022027A (ja) 2013-07-16 2015-02-02 キヤノン株式会社 撮像装置およびその制御方法
US20150350550A1 (en) 2014-05-30 2015-12-03 Apple Inc. Video rolling shutter correction for lens movement in optical image stabilization cameras
JP2016024235A (ja) 2014-07-16 2016-02-08 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101230A (en) 1987-11-16 1992-03-31 Canon Kabushiki Kaisha Image stabilization device for a camera
JP2820254B2 (ja) * 1988-05-27 1998-11-05 キヤノン株式会社 カメラの像ブレ防止装置
US7720302B2 (en) * 2003-09-25 2010-05-18 Fujifilm Corporation Method, apparatus and program for image processing
JP4509925B2 (ja) * 2005-12-27 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US9270906B2 (en) * 2012-05-02 2016-02-23 Semiconductor Components Industries, Llc Exposure time selection using stacked-chip image sensors
JP5984574B2 (ja) * 2012-08-14 2016-09-06 キヤノン株式会社 撮像システム及びその制御方法、撮像装置
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
JP6489879B2 (ja) * 2015-03-09 2019-03-27 キヤノン株式会社 画像再生装置及び画像再生方法
KR20160140193A (ko) * 2015-05-29 2016-12-07 삼성전기주식회사 영상 보정 회로 및 그 보정 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156731A1 (ja) 2013-03-29 2014-10-02 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP2015022027A (ja) 2013-07-16 2015-02-02 キヤノン株式会社 撮像装置およびその制御方法
US20150350550A1 (en) 2014-05-30 2015-12-03 Apple Inc. Video rolling shutter correction for lens movement in optical image stabilization cameras
JP2016024235A (ja) 2014-07-16 2016-02-08 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
WO2018025659A1 (ja) 2018-02-08
US10868961B2 (en) 2020-12-15
JPWO2018025659A1 (ja) 2019-05-30
US20190281221A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP7166920B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、および撮像方法
CN110249237B (zh) 传感器芯片、电子设备和装置
JP7449317B2 (ja) 撮像装置
WO2020050289A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10915009B2 (en) Compound-eye camera module and electronic device
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
WO2019049662A1 (ja) センサチップおよび電子機器
WO2017169889A1 (ja) カメラモジュール、およびカメラモジュールの製造方法、撮像装置、および電子機器
JP6869717B2 (ja) 撮像装置および撮像装置の製造方法、並びに、電子機器
US11785321B2 (en) Imaging device
JP2023061999A (ja) 画像処理装置、画像処理方法、および撮像装置
JP6976751B2 (ja) 撮像装置および撮像装置の製造方法、並びに、電子機器
WO2017169822A1 (ja) 固体撮像素子、撮像装置、内視鏡装置、および電子機器
WO2018066348A1 (ja) 固体撮像装置および撮像方法、並びに電子機器
US11838656B2 (en) Imaging device and correction method for reducing image height dependency of a depth
US20240145506A1 (en) Semiconductor package and electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7166920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150