JP7166920B2 - 撮像装置、固体撮像素子、カメラモジュール、および撮像方法 - Google Patents
撮像装置、固体撮像素子、カメラモジュール、および撮像方法 Download PDFInfo
- Publication number
- JP7166920B2 JP7166920B2 JP2018531833A JP2018531833A JP7166920B2 JP 7166920 B2 JP7166920 B2 JP 7166920B2 JP 2018531833 A JP2018531833 A JP 2018531833A JP 2018531833 A JP2018531833 A JP 2018531833A JP 7166920 B2 JP7166920 B2 JP 7166920B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging unit
- unit
- information
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 382
- 238000012937 correction Methods 0.000 claims description 262
- 230000003287 optical effect Effects 0.000 claims description 220
- 238000012545 processing Methods 0.000 claims description 182
- 230000033001 locomotion Effects 0.000 claims description 181
- 238000000034 method Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 15
- 239000000725 suspension Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 55
- 230000006641 stabilisation Effects 0.000 description 43
- 238000011105 stabilization Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 36
- 238000005516 engineering process Methods 0.000 description 26
- 210000003128 head Anatomy 0.000 description 26
- 238000004891 communication Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 11
- 238000002674 endoscopic surgery Methods 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 11
- 238000005096 rolling process Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
(1)
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と
を備える撮像装置。
(2)
前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部
をさらに備える上記(1)に記載の撮像装置。
(3)
前記ロジック部は、前記位置情報および前記動き情報を、前記タイミング情報とともに前記画像に付加して出力する
上記(2)に記載の撮像装置。
(4)
前記ロジック部は、前記タイミング情報として、前記画像の垂直方向位置を示す情報を、その垂直方向位置の1ライン単位で前記位置情報および前記動き情報に対応付けて出力する
上記(2)に記載の撮像装置。
(5)
前記撮像部および前記ロジック部が積層されて構成されるイメージセンサ
をさらに備え、
前記イメージセンサから前記信号処理部に、前記画像とともに、前記位置情報、前記動き情報、および前記タイミング情報が供給される
上記(2)から(4)までのいずれかにに記載の撮像装置。
(6)
前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記位置情報を前記駆動制御部に供給する駆動部
をさらに備える上記(1)から(5)までのいずれかにに記載の撮像装置。
(7)
前記撮像部の動きを物理的に検出し、前記動き情報を前記駆動制御部に供給する検出部
をさらに備え、
前記駆動制御部から前記ロジック部に、前記位置情報および前記動き情報が供給される
上記(2)から(6)までのいずれかにに記載の撮像装置。
(8)
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中であるにおいて、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
上記(2)から(5)までのいずれかに記載の撮像装置。
(9)
前記駆動制御部は、前記制御情報が前記光学的な補正の停止を指示している期間が、前記光学系または前記撮像部をセンタ位置まで引き戻すのに必要な時間より短い場合、その期間内で移動させることができる範囲で前記光学系または前記撮像部をセンタの方向に移動させるように駆動を制御する
上記(8)に記載の撮像装置。
(10)
前記信号処理部は、短い露光時間で連続的に撮像された複数枚の連続画像が重ね合わされた静止画像を出力する処理を行う際に前記信号処理を施す
上記(1)から(9)までのいずれかに記載の撮像装置。
(11)
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部と
を備える固体撮像素子。
(12)
被写体からの光を集光する光学系と、
前記光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と
を備えるカメラモジュール。
(13)
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部に、前記位置情報および前記動き情報を供給する
駆動制御部。
(14)
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す
ステップを含む撮像方法。
(15)
前記位置情報および前記動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに、前記撮像部により撮像された画像に付加する処理を行うステップ
を含む上記(14)に記載の撮像方法。
Claims (12)
- 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力するロジック部と、
前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と
を備え、
前記撮像部および前記ロジック部が積層されてイメージセンサが構成されており、
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
撮像装置。 - 前記ロジック部は、前記位置情報および前記動き情報を、前記タイミング情報とともに前記画像に付加して前記信号処理部に供給する
請求項1に記載の撮像装置。 - 前記ロジック部は、前記タイミング情報として、前記画像の垂直方向位置を示す情報を、その垂直方向位置の1ライン単位で前記位置情報および前記動き情報に対応付けて出力する
請求項1に記載の撮像装置。 - 前記イメージセンサ
をさらに備え、
前記イメージセンサから前記信号処理部に、前記画像とともに、前記位置情報、前記動き情報、および前記タイミング情報が供給される
請求項1に記載の撮像装置。 - 前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記位置情報を前記駆動制御部に供給する駆動部
をさらに備える請求項1に記載の撮像装置。 - 前記撮像部の動きを物理的に検出し、前記動き情報を前記駆動制御部に供給する検出部
をさらに備え、
前記駆動制御部から前記ロジック部に、前記位置情報および前記動き情報が供給される
請求項1に記載の撮像装置。 - 前記駆動制御部は、前記制御情報が前記光学的な補正の停止を指示している期間が、前記光学系または前記撮像部をセンタ位置まで引き戻すのに必要な時間より短い場合、その期間内で移動させることができる範囲で前記光学系または前記撮像部をセンタの方向に移動させるように駆動を制御する
請求項1に記載の撮像装置。 - 前記信号処理部は、短い露光時間で連続的に撮像された複数枚の連続画像が重ね合わされた静止画像を出力する処理を行う際に前記信号処理を施す
請求項1に記載の撮像装置。 - 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報をとともに出力し、前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部と
を備え、
前記撮像部および前記ロジック部が積層されて構成されており、
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
固体撮像素子。 - 被写体からの光を集光する光学系と、
前記光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力し、前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記位置情報および前記動き情報、並びに、前記タイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と
を備え、
前記撮像部および前記ロジック部が積層されてイメージセンサが構成されており、
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
カメラモジュール。 - 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに出力し、
前記タイミング情報に従って前記画像の垂直方向位置と前記位置情報および前記動き情報とを同期させ、それぞれ垂直方向位置に応じた前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す
ステップを含み、
前記撮像部、および、前記タイミング情報を出力するロジック部が積層されてイメージセンサが構成されており、
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して、前記駆動を制御する駆動制御部に供給し、
前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中である期間において、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
撮像方法。 - 前記位置情報および前記動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに、前記撮像部により撮像された画像に付加する処理を行うステップ
をさらに含む請求項11に記載の撮像方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016154248 | 2016-08-05 | ||
JP2016154248 | 2016-08-05 | ||
PCT/JP2017/026410 WO2018025659A1 (ja) | 2016-08-05 | 2017-07-21 | 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018025659A1 JPWO2018025659A1 (ja) | 2019-05-30 |
JP7166920B2 true JP7166920B2 (ja) | 2022-11-08 |
Family
ID=61072679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018531833A Active JP7166920B2 (ja) | 2016-08-05 | 2017-07-21 | 撮像装置、固体撮像素子、カメラモジュール、および撮像方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10868961B2 (ja) |
JP (1) | JP7166920B2 (ja) |
WO (1) | WO2018025659A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020095069A (ja) | 2017-03-31 | 2020-06-18 | 株式会社ニコン | 撮像装置 |
JP2019106656A (ja) * | 2017-12-14 | 2019-06-27 | ルネサスエレクトロニクス株式会社 | 半導体装置および電子機器 |
US10764501B2 (en) * | 2018-10-30 | 2020-09-01 | Qualcomm Incorporated | Optical image stabilization techniques |
US10999507B2 (en) * | 2018-10-30 | 2021-05-04 | Qualcomm Incorporated | Optical image stabilization techniques |
JP2020107036A (ja) * | 2018-12-27 | 2020-07-09 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置 |
JP7197785B2 (ja) * | 2019-01-28 | 2022-12-28 | 日本電信電話株式会社 | 映像処理装置、映像処理方法、及び映像処理プログラム |
JP6746857B2 (ja) * | 2019-01-31 | 2020-08-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像処理装置、撮像装置、無人航空機、画像処理方法、及びプログラム |
JP7152588B2 (ja) * | 2019-02-20 | 2022-10-12 | 富士フイルム株式会社 | ぶれ補正装置、撮像装置、監視システム、及びプログラム |
US10609288B1 (en) * | 2019-03-04 | 2020-03-31 | Qualcomm Incorporated | Roll compensation and blur reduction in tightly synchronized optical image stabilization (OIS) |
WO2020189224A1 (ja) * | 2019-03-15 | 2020-09-24 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 |
WO2021152974A1 (ja) * | 2020-01-31 | 2021-08-05 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム |
CN113660408B (zh) * | 2020-05-12 | 2022-11-11 | 华为技术有限公司 | 一种视频拍摄防抖方法与装置 |
NL2025869B1 (en) * | 2020-06-19 | 2022-02-17 | Microsoft Technology Licensing Llc | Video pass-through computing system |
CN113418933B (zh) * | 2021-08-23 | 2021-11-09 | 常州微亿智造科技有限公司 | 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 |
CN114500995B (zh) * | 2022-04-15 | 2022-06-21 | 北原科技(深圳)有限公司 | 制造端的usb摄像头个性化配置系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014156731A1 (ja) | 2013-03-29 | 2014-10-02 | ソニー株式会社 | 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法 |
JP2015022027A (ja) | 2013-07-16 | 2015-02-02 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US20150350550A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Video rolling shutter correction for lens movement in optical image stabilization cameras |
JP2016024235A (ja) | 2014-07-16 | 2016-02-08 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5101230A (en) | 1987-11-16 | 1992-03-31 | Canon Kabushiki Kaisha | Image stabilization device for a camera |
JP2820254B2 (ja) * | 1988-05-27 | 1998-11-05 | キヤノン株式会社 | カメラの像ブレ防止装置 |
US7720302B2 (en) * | 2003-09-25 | 2010-05-18 | Fujifilm Corporation | Method, apparatus and program for image processing |
JP4509925B2 (ja) * | 2005-12-27 | 2010-07-21 | 株式会社メガチップス | 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法 |
US8068140B2 (en) * | 2006-08-07 | 2011-11-29 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Still image stabilization suitable for compact camera environments |
US9270906B2 (en) * | 2012-05-02 | 2016-02-23 | Semiconductor Components Industries, Llc | Exposure time selection using stacked-chip image sensors |
JP5984574B2 (ja) * | 2012-08-14 | 2016-09-06 | キヤノン株式会社 | 撮像システム及びその制御方法、撮像装置 |
US9596411B2 (en) * | 2014-08-25 | 2017-03-14 | Apple Inc. | Combined optical and electronic image stabilization |
JP6489879B2 (ja) * | 2015-03-09 | 2019-03-27 | キヤノン株式会社 | 画像再生装置及び画像再生方法 |
KR20160140193A (ko) * | 2015-05-29 | 2016-12-07 | 삼성전기주식회사 | 영상 보정 회로 및 그 보정 방법 |
-
2017
- 2017-07-21 WO PCT/JP2017/026410 patent/WO2018025659A1/ja active Application Filing
- 2017-07-21 JP JP2018531833A patent/JP7166920B2/ja active Active
- 2017-07-21 US US16/319,376 patent/US10868961B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014156731A1 (ja) | 2013-03-29 | 2014-10-02 | ソニー株式会社 | 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法 |
JP2015022027A (ja) | 2013-07-16 | 2015-02-02 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US20150350550A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Video rolling shutter correction for lens movement in optical image stabilization cameras |
JP2016024235A (ja) | 2014-07-16 | 2016-02-08 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018025659A1 (ja) | 2018-02-08 |
US10868961B2 (en) | 2020-12-15 |
JPWO2018025659A1 (ja) | 2019-05-30 |
US20190281221A1 (en) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7166920B2 (ja) | 撮像装置、固体撮像素子、カメラモジュール、および撮像方法 | |
CN110249237B (zh) | 传感器芯片、电子设备和装置 | |
JP7449317B2 (ja) | 撮像装置 | |
WO2020050289A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US10915009B2 (en) | Compound-eye camera module and electronic device | |
US11750932B2 (en) | Image processing apparatus, image processing method, and electronic apparatus | |
WO2019049662A1 (ja) | センサチップおよび電子機器 | |
WO2017169889A1 (ja) | カメラモジュール、およびカメラモジュールの製造方法、撮像装置、および電子機器 | |
JP6869717B2 (ja) | 撮像装置および撮像装置の製造方法、並びに、電子機器 | |
US11785321B2 (en) | Imaging device | |
JP2023061999A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP6976751B2 (ja) | 撮像装置および撮像装置の製造方法、並びに、電子機器 | |
WO2017169822A1 (ja) | 固体撮像素子、撮像装置、内視鏡装置、および電子機器 | |
WO2018066348A1 (ja) | 固体撮像装置および撮像方法、並びに電子機器 | |
US11838656B2 (en) | Imaging device and correction method for reducing image height dependency of a depth | |
US20240145506A1 (en) | Semiconductor package and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7166920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |