JP6815747B2 - 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体 - Google Patents
画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体 Download PDFInfo
- Publication number
- JP6815747B2 JP6815747B2 JP2016092724A JP2016092724A JP6815747B2 JP 6815747 B2 JP6815747 B2 JP 6815747B2 JP 2016092724 A JP2016092724 A JP 2016092724A JP 2016092724 A JP2016092724 A JP 2016092724A JP 6815747 B2 JP6815747 B2 JP 6815747B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- main subject
- subject
- display
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 84
- 238000000034 method Methods 0.000 title claims description 64
- 238000003384 imaging method Methods 0.000 title claims description 30
- 238000012937 correction Methods 0.000 claims description 103
- 238000004091 panning Methods 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 3
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101:光学系
102:撮像素子
103:中央演算装置(CPU)
104:一次記憶装置
105:角速度センサ
106:画像処理装置
107:記録媒体
108:二次記憶装置
109:表示部
110:操作部
Claims (19)
- 表示手段を備えた撮像装置により取得された静止画像を前記表示手段に表示させる処理を行う画像処理装置であって、
前記撮像装置により取得される画像から主被写体の領域を抽出して前記表示手段に表示するように制御する制御手段と、
前記撮像装置に加わる振れを検出する第1の検出手段にて検出された振れと前記画像から動きベクトルを検出する第2の検出手段にて検出された動きベクトルに基づいて、前記主被写体の動きに関する情報を算出する算出手段と、
前記静止画像を取得するための撮影中において、前記主被写体の動きに関する情報を示す動きベクトルに基づいて、前記撮像装置に搭載された光学的補正手段を制御する補正制御手段と、を備え、
前記制御手段は、前記表示手段に表示される前記主被写体の領域を、前記静止画像を取得するための撮影開始前に、前記主被写体の動きに関する情報を示す動きベクトルに基づいて電子的な補正手段により変更し、
前記静止画像を取得するための撮影中において、前記静止画像を取得するための撮影開始直前の前記主被写体の領域を固定したまま、前記主被写体の動きに関する情報を示す動きベクトルに基づいて、前記撮像装置に搭載された前記光学的補正手段を制御することを特徴とする画像処理装置。 - 前記画像は、移動する前記主被写体を追ってパンニング中の前記撮像装置により取得される、前記表示手段に表示される表示用画像であることを特徴とする請求項1に記載の画像処理装置。
- 前記主被写体の動きを被写体ブレ成分と手ブレ成分に分離する分離手段を更に有することを特徴とする請求項1または2に記載の画像処理装置。
- 前記制御手段は、移動する前記主被写体を追うパンニング中における、前記被写体ブレ成分の補正量と前記手ブレ成分の補正量の少なくとも一方を表示するよう、前記表示手段を制御することを特徴とする請求項3に記載の画像処理装置。
- 前記抽出して表示された主被写体の領域は、前記撮像装置が取得する画像のうち前記主被写体を含む領域であることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
- 前記手ブレ成分の補正量は、前記表示手段において、ゲージの増減、あるいは、ゲージ内のマークの移動で表現されることを特徴とする請求項4に記載の画像処理装置。
- 前記被写体ブレ成分の補正量は、前記表示手段において、矩形の移動で表現されることを特徴とする請求項4または6に記載の画像処理装置。
- 前記主被写体の位置を算出する被写体位置算出手段を更に有し、
前記制御手段は、
現在の主被写体の位置と所定時間前の主被写体の位置との差が第1の閾値以上であって、所定の最大移動量以上であるときは、前記矩形の表示位置を前記所定の最大移動量だけ移動するよう変更し、
前記差が前記第1の閾値以上であって、前記所定の最大移動量より小さいときは、前記矩形の表示位置を前記現在の主被写体の位置まで移動するよう変更し、
前記差が前記第1の閾値より小さいときは、前記矩形の表示位置を移動しないことを特徴とする請求項7に記載の画像処理装置。 - 前記表示手段は、前記手ブレ成分が第2の閾値以上のとき、明滅する領域を表示することを特徴とする請求項4に記載の画像処理装置。
- 前記表示手段は、前記被写体ブレ成分の絶対値が第3の閾値以上であり、かつ、前記被写体ブレ成分がゼロ以上のとき、正の方向に被写体ブレが発生していることを示す領域を表示し、
前記被写体ブレ成分の絶対値が前記第3の閾値以上であり、かつ、前記被写体のブレ成分がゼロより小さいとき、負の方向に被写体ブレが発生していることを示す領域を表示する、ことを特徴とする請求項4または9に記載の画像処理装置。 - 前記撮像装置の振れから手ブレ成分を抽出する抽出手段を更に有し、
前記分離手段は、ローパスフィルタであることを特徴とする請求項3に記載の画像処理装置。 - 前記撮像装置の振れから手ブレ成分を抽出する抽出手段を更に有し、
前記制御手段は、前記静止画像を取得するための撮影中において、前記撮像装置の振れと前記主被写体の動きに基づいて算出される補正量とに基づいて前記撮像装置が有する補正手段を駆動する制御を行い、
前記撮影開始前に、前記抽出手段により抽出された前記手ブレ成分を用いて、前記補正手段を駆動する制御を行い、
前記抽出手段は、ハイパスフィルタであり、
前記補正手段は、シフトレンズまたは撮像素子であることを特徴とする請求項1に記載の画像処理装置。 - 前記制御手段は、前記静止画像を取得するための撮影中において、前記撮像装置の振れと前記主被写体の動きに基づいて算出される補正量とに基づいて前記撮像装置が有する補正手段を駆動する制御を行い、
前記補正手段は、シフトレンズまたは撮像素子であることを特徴とする請求項1に記載の画像処理装置。 - 前記制御手段は、前記静止画像を取得するための撮影開始前に、前記主被写体の領域を、前記主被写体の動きに関する情報を示す動きベクトルに基づいて電子的補正手段により変更することを特徴とする請求項1に記載の画像処理装置。
- 前記電子的補正手段は、手ブレを補正する手段であることを特徴とする請求項14に記載の画像処理装置。
- 被写体の画像を撮像する撮像素子と、
前記画像を表示する表示手段と、
請求項1乃至15のうちいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像装置。 - 表示手段を備えた撮像装置により取得された静止画像を前記表示手段に表示させる処理を行う画像処理装置の制御方法であって、
前記撮像装置により取得される画像から主被写体の領域を抽出して前記表示手段に表示するように制御する制御ステップと、
前記撮像装置に加わる振れと前記画像から検出される動きベクトルに基づいて、前記主被写体の動きに関する情報を算出する算出ステップと、
前記静止画像を取得するための撮影中において、前記主被写体の動きに関する情報を示す動きベクトルに基づいて、前記撮像装置に搭載された光学的補正手段を制御するステップとを有し、
前記制御ステップにおいて、前記表示手段に表示される前記主被写体の領域は、前記静止画像を取得するための撮影開始前に、前記主被写体の動きに関する情報を示す動きベクトルに基づいて電子的な補正手段により変更され、
前記静止画像を取得するための撮影中において、前記静止画像を取得するための撮影開始直前の前記主被写体の領域を固定したまま、前記主被写体の動きに関する情報を示す動きベクトルに基づいて、前記撮像装置に搭載された前記光学的補正手段を制御することを特徴とする画像処理装置の制御方法。 - 表示手段を備えた撮像装置のコンピュータに、前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行わせるコンピュータプログラムであって、
前記処理は、
前記撮像装置により取得される画像から主被写体の領域を抽出して前記表示手段に表示するように制御する処理と、
前記撮像装置に加わる振れと前記画像から検出される動きベクトルに基づいて、前記主被写体の動きに関する情報を算出する処理と、
前記静止画像を取得するための撮影中において、前記主被写体の動きに関する情報を示す動きベクトルに基づいて、前記撮像装置に搭載された光学的補正手段を制御する処理とを有し、
前記表示手段に表示するように制御する処理において、前記表示手段に表示される前記主被写体の領域は、前記静止画像を取得するための撮影開始前に、前記主被写体の動きに関する情報を示す動きベクトルに基づいて電子的な補正手段により変更し、
前記静止画像を取得するための撮影中において、前記静止画像を取得するための撮影開始直前の前記主被写体の領域を固定したまま、前記主被写体の動きに関する情報を示す動きベクトルに基づいて、前記撮像装置に搭載された前記光学的補正手段を制御することを特徴とするコンピュータプログラム。 - 請求項18に記載のコンピュータプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016092724A JP6815747B2 (ja) | 2016-05-02 | 2016-05-02 | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体 |
US15/498,944 US10212348B2 (en) | 2016-05-02 | 2017-04-27 | Image processing apparatus, its control method, image capturing apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016092724A JP6815747B2 (ja) | 2016-05-02 | 2016-05-02 | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017201356A JP2017201356A (ja) | 2017-11-09 |
JP2017201356A5 JP2017201356A5 (ja) | 2019-05-30 |
JP6815747B2 true JP6815747B2 (ja) | 2021-01-20 |
Family
ID=60157067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016092724A Active JP6815747B2 (ja) | 2016-05-02 | 2016-05-02 | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10212348B2 (ja) |
JP (1) | JP6815747B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6821358B2 (ja) * | 2016-08-31 | 2021-01-27 | キヤノン株式会社 | 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体 |
JP6746473B2 (ja) * | 2016-11-14 | 2020-08-26 | キヤノン株式会社 | 撮像装置および制御方法 |
JP6995561B2 (ja) * | 2017-10-23 | 2022-01-14 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置 |
JP7296750B2 (ja) * | 2019-03-14 | 2023-06-23 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
CN112204943B (zh) * | 2019-07-16 | 2022-05-20 | 深圳市大疆创新科技有限公司 | 拍摄方法、设备、系统及计算机可读存储介质 |
JP7209305B2 (ja) * | 2021-01-27 | 2023-01-20 | 株式会社モルフォ | 制御装置、制御方法、プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1164917A (ja) * | 1997-08-15 | 1999-03-05 | Canon Inc | 画像振れ補正装置及びパンニング判定装置 |
JP2000122159A (ja) * | 1998-10-19 | 2000-04-28 | Canon Inc | 光学機器 |
JP2005114889A (ja) * | 2003-10-06 | 2005-04-28 | Nikon Corp | カメラシステム |
US8331723B2 (en) * | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
JP4655708B2 (ja) * | 2004-11-09 | 2011-03-23 | カシオ計算機株式会社 | カメラ、カメラの手ブレ状態表示方法、及びプログラム |
JP2006243615A (ja) * | 2005-03-07 | 2006-09-14 | Fuji Photo Film Co Ltd | 振れ状態報知方法及びその装置並びに振れ状態報知装置を搭載したカメラ |
JP2006317848A (ja) * | 2005-05-16 | 2006-11-24 | Canon Inc | 静止画撮像装置 |
KR100775104B1 (ko) * | 2006-02-27 | 2007-11-08 | 삼성전자주식회사 | 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법 |
JP4274233B2 (ja) * | 2006-11-30 | 2009-06-03 | ソニー株式会社 | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
ATE531196T1 (de) * | 2007-08-03 | 2011-11-15 | Panasonic Corp | Bilderzeugungsvorrichtung, bilderzeugungsverfahren und entsprechendes programm |
JP2009063896A (ja) * | 2007-09-07 | 2009-03-26 | Olympus Corp | 撮像装置 |
JP2009246468A (ja) * | 2008-03-28 | 2009-10-22 | Fujifilm Corp | 撮影装置及び撮影装置の制御方法 |
JP5274130B2 (ja) * | 2008-07-15 | 2013-08-28 | キヤノン株式会社 | 像振れ補正装置及び光学機器、撮像装置並びに像振れ補正装置の制御方法 |
EP2487894A4 (en) * | 2009-10-07 | 2014-07-09 | Panasonic Corp | IMAGE CAPTURE DEVICE, METHOD, PROGRAM, AND CIRCUIT |
JP5600516B2 (ja) * | 2010-08-09 | 2014-10-01 | キヤノン株式会社 | 撮像装置 |
JP6157242B2 (ja) * | 2013-06-28 | 2017-07-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6486087B2 (ja) * | 2014-12-03 | 2019-03-20 | キヤノン株式会社 | 像ブレ補正装置、撮像装置および制御方法 |
JP6579807B2 (ja) * | 2015-06-08 | 2019-09-25 | キヤノン株式会社 | 撮像制御装置、撮像装置および撮像制御プログラム |
JP6727791B2 (ja) * | 2015-11-05 | 2020-07-22 | キヤノン株式会社 | 追尾制御装置および追尾制御方法、撮像装置 |
JP6725979B2 (ja) * | 2015-11-27 | 2020-07-22 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、記憶媒体 |
-
2016
- 2016-05-02 JP JP2016092724A patent/JP6815747B2/ja active Active
-
2017
- 2017-04-27 US US15/498,944 patent/US10212348B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017201356A (ja) | 2017-11-09 |
US10212348B2 (en) | 2019-02-19 |
US20170318224A1 (en) | 2017-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6815747B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体 | |
US9865064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6512907B2 (ja) | シフト素子制御装置、シフト素子制御プログラムおよび光学機器 | |
CN107040711B (zh) | 图像稳定设备及其控制方法 | |
JP6776062B2 (ja) | 撮像装置およびその制御方法 | |
JP2016201662A (ja) | 撮像装置およびその制御方法 | |
JP6818473B2 (ja) | ブレ補正装置およびその制御方法、撮像装置 | |
JP2018185357A (ja) | 像ブレ補正装置およびその制御方法、撮像装置 | |
JP6579807B2 (ja) | 撮像制御装置、撮像装置および撮像制御プログラム | |
JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
JP6525724B2 (ja) | パンニング情報表示装置、パンニング情報の表示処理を実行する方法およびパンニング情報表示プログラム | |
JP6700874B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
JP6746473B2 (ja) | 撮像装置および制御方法 | |
CN111953891B (zh) | 控制设备、镜头设备、摄像设备、控制方法和存储介质 | |
JP2011066828A (ja) | 撮像装置、撮像方法及びプログラム | |
JP6833381B2 (ja) | 撮像装置、制御方法、プログラム、および、記憶媒体 | |
US10681274B2 (en) | Imaging apparatus and control method thereof | |
JP2012195804A (ja) | 撮像装置 | |
JP6833607B2 (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP6415279B2 (ja) | 撮像制御装置、撮像装置および撮像制御プログラム | |
JP6584280B2 (ja) | 撮像装置及びその制御方法 | |
JP2007208767A (ja) | ぶれ補正装置、表示装置、撮影装置、電子機器、ぶれ補正方法、プログラムおよび記録媒体 | |
JP2021164087A (ja) | 撮像装置およびその制御方法 | |
JP2015158627A (ja) | 撮像装置およびその制御方法 | |
JP2020056962A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190416 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201223 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6815747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |