JP6577703B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents
画像処理装置及び画像処理方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP6577703B2 JP6577703B2 JP2014159766A JP2014159766A JP6577703B2 JP 6577703 B2 JP6577703 B2 JP 6577703B2 JP 2014159766 A JP2014159766 A JP 2014159766A JP 2014159766 A JP2014159766 A JP 2014159766A JP 6577703 B2 JP6577703 B2 JP 6577703B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- main subject
- subject
- shake
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
上式において、W1,W2,W3は重み付け定数、画像中心からの距離は画面中心と領域の重心位置との距離であり、また平均距離は領域内の全ブロックの平均距離(被写体距離)を表す。距離はAFの測距機能を用いブロックごとに算出してもよいし、各グループ内に含まれるAF測距点の値を代表値として用いてもよい。図4に特性値をマップ化した様子を示す。画像に占める面積が大きく、画像の中央に近く、距離も近い被写体領域のスコアが高くなっている。一方、面積が小さく、画像の周辺部にあり、遠くに存在する被写体領域のスコアは小さくなる。図中の番号は特性値の高い順を表す。
θγは光学振れ補正機構のヨー方向の補正相当角である。当然、ずれが垂直方向(例えばy[pixel])の場合は、ピッチ方向の補正相当角θpだけ補正する。または、撮像面上での像の平行移動量 [mm]が制御量の場合は、焦点距離f[pixel]、センサピッチp[mm ]を用いて画像上での位置変化量x[pixel]から変換して制御する。
光学振れ補正制御監視部7は、ホール素子またはエンコーダ等により構成され、光学振れ補正を行う補正レンズ11の平行移動量を正確に計測する。もしくは撮像素子2が移動する場合は撮像素子2の平行移動量を計測する。また光学振れ補正制御監視部7は、光学振れ補正制御部6の制御情報を代わりに取得しても良い。
…(4)
θ_add_X(X:Y,P)分の振れおよび振れにより生じるローリングシャッタ(RS)歪を補正する必要がある。故に、非主被写体領域についての振れ補正は、この振れ補正情報および、主被写体領域情報を用いて補正する。振れについては(2)式の逆、
x or y=ftanθ_add_X …(5)
により求められる水平および垂直方向の並進移動量分、非主被写体領域を平行移動させて振れ補正する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (12)
- 被写体像を撮像する撮像素子により撮像された画像から主被写体を検出する検出手段と、
前記主被写体の画面上での位置を検出する位置検出手段と、
前記位置検出手段により検出された前記主被写体の位置に基づいて、前記主被写体の像の前記画面上での振れを光学的に補正する光学振れ補正手段により前記主被写体の像の振れを補正したことにより生ずる、前記主被写体の像の前記画面上での振れが光学的に補正された画像における前記主被写体以外の被写体の像の歪みを補正する補正手段と、
を備えることを特徴とする画像処理装置。 - 前記光学振れ補正手段は、光学系に設けられた振れ補正レンズであることを特徴とする請求項1に記載の画像処理装置。
- 前記光学振れ補正手段は、前記撮像素子を光軸とは異なる方向に移動させる駆動手段であることを特徴とする請求項1に記載の画像処理装置。
- 前記補正手段は、画像を幾何変形させることにより前記主被写体以外の被写体の像の歪みを補正することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記検出手段は、画像の階調、色、被写体距離、被写体の画面上での大きさ、被写体の位置の少なくとも1つに基づいて、前記主被写体を検出することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記補正手段は、前記主被写体の大きさの画面の大きさに対する比率が所定の値以下の場合には、前記主被写体以外の被写体の像の歪みを補正し、前記主被写体の大きさの画面の大きさに対する比率が所定の値より大きい場合には、前記主被写体以外の被写体の像の歪みを補正しないことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記補正手段は、前記主被写体以外の被写体が静止している被写体である場合には、前記主被写体以外の被写体の像の歪みを補正し、前記主被写体以外の被写体が動いている被写体である場合には、前記主被写体以外の被写体の像の歪みを補正しないことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記画像処理装置の振れを検出する振れ検出手段をさらに備えることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記主被写体領域と主被写体以外の領域の境界において、前記主被写体以外の領域から前記主被写体の領域に向けて、前記主被写体以外の被写体の像の歪みを補正する補正量を連続的に軽減することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 被写体像を撮像する撮像素子により撮像された画像から主被写体を検出する検出工程と、
前記主被写体の画面上での位置を検出する位置検出工程と、
前記位置検出工程により検出された前記主被写体の位置に基づいて、前記主被写体の像の前記画面上での振れを光学的に補正したことにより生ずる、前記主被写体の像の前記画面上での振れが光学的に補正された画像における前記主被写体以外の被写体の像の歪みを補正する補正工程と、
を有することを特徴とする画像処理方法。 - 請求項10に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項10に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014159766A JP6577703B2 (ja) | 2014-08-05 | 2014-08-05 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
US14/814,761 US9674441B2 (en) | 2014-08-05 | 2015-07-31 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014159766A JP6577703B2 (ja) | 2014-08-05 | 2014-08-05 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016038415A JP2016038415A (ja) | 2016-03-22 |
JP2016038415A5 JP2016038415A5 (ja) | 2017-09-07 |
JP6577703B2 true JP6577703B2 (ja) | 2019-09-18 |
Family
ID=55268402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014159766A Expired - Fee Related JP6577703B2 (ja) | 2014-08-05 | 2014-08-05 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9674441B2 (ja) |
JP (1) | JP6577703B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6725979B2 (ja) * | 2015-11-27 | 2020-07-22 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、記憶媒体 |
JP6700831B2 (ja) * | 2016-02-12 | 2020-05-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
US10453200B2 (en) | 2016-11-02 | 2019-10-22 | General Electric Company | Automated segmentation using deep learned priors |
JP6820074B2 (ja) * | 2017-07-19 | 2021-01-27 | 日本電気株式会社 | 乗員数検知システム、乗員数検知方法、およびプログラム |
JP7098332B2 (ja) * | 2018-01-15 | 2022-07-11 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP7189230B2 (ja) | 2018-04-09 | 2022-12-13 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ニューラルネットワークマッピングを用いるhdr画像表現 |
KR102545667B1 (ko) | 2018-10-30 | 2023-06-21 | 삼성전자주식회사 | 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치 |
US10290084B1 (en) * | 2018-11-14 | 2019-05-14 | Sonavista, Inc. | Correcting image blur in medical image |
US10681277B1 (en) * | 2019-03-07 | 2020-06-09 | Qualcomm Incorporated | Translation compensation in optical image stabilization (OIS) |
WO2021144924A1 (ja) * | 2020-01-16 | 2021-07-22 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
US20230128043A1 (en) * | 2020-01-24 | 2023-04-27 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3653769B2 (ja) | 1995-02-07 | 2005-06-02 | 朝日航洋株式会社 | 流れ計測方法及び装置 |
JP4018218B2 (ja) | 1997-12-25 | 2007-12-05 | キヤノン株式会社 | 光学装置及び測距点選択方法 |
US6282317B1 (en) | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
US8331723B2 (en) * | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
JP2007096437A (ja) | 2005-09-27 | 2007-04-12 | Seiko Epson Corp | 画像生成者の意図の判定 |
JP4766320B2 (ja) * | 2006-02-06 | 2011-09-07 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
JP2007215114A (ja) | 2006-02-13 | 2007-08-23 | Sony Corp | 撮像画像の歪み補正方法、撮像画像の歪み補正装置および撮像装置 |
JP2009017223A (ja) * | 2007-07-04 | 2009-01-22 | Sony Corp | 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム |
JP5111088B2 (ja) * | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | 撮像装置及び画像再生装置 |
JP5173549B2 (ja) * | 2008-04-17 | 2013-04-03 | キヤノン株式会社 | 画像処理装置及び撮像装置 |
JP2011155582A (ja) * | 2010-01-28 | 2011-08-11 | Sanyo Electric Co Ltd | 撮像装置 |
JP5791336B2 (ja) | 2011-04-01 | 2015-10-07 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5488558B2 (ja) | 2011-10-04 | 2014-05-14 | カシオ計算機株式会社 | カメラ、及びカメラ制御プログラム |
JP5983737B2 (ja) * | 2012-04-03 | 2016-09-06 | ソニー株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
JP5984574B2 (ja) * | 2012-08-14 | 2016-09-06 | キヤノン株式会社 | 撮像システム及びその制御方法、撮像装置 |
JP5997557B2 (ja) * | 2012-09-20 | 2016-09-28 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6178572B2 (ja) * | 2012-12-27 | 2017-08-09 | キヤノン株式会社 | 撮像装置、像ブレ補正装置及びその制御方法 |
JP5794705B2 (ja) | 2013-02-01 | 2015-10-14 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
JP6261205B2 (ja) * | 2013-06-28 | 2018-01-17 | キヤノン株式会社 | 画像処理装置 |
US9432575B2 (en) * | 2013-06-28 | 2016-08-30 | Canon Kabushiki Kaisha | Image processing apparatus |
JP6178646B2 (ja) | 2013-07-10 | 2017-08-09 | キヤノン株式会社 | 撮像装置及び像振れ補正処理方法 |
-
2014
- 2014-08-05 JP JP2014159766A patent/JP6577703B2/ja not_active Expired - Fee Related
-
2015
- 2015-07-31 US US14/814,761 patent/US9674441B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160044245A1 (en) | 2016-02-11 |
JP2016038415A (ja) | 2016-03-22 |
US9674441B2 (en) | 2017-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6577703B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
US9361680B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP6570327B2 (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP6395506B2 (ja) | 画像処理装置および方法、プログラム、並びに撮像装置 | |
JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
US9294675B2 (en) | Image pickup apparatus capable of detecting motion vector, method of controlling the same, and storage medium | |
JP6961797B2 (ja) | プレビュー写真をぼかすための方法および装置ならびにストレージ媒体 | |
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
US8417059B2 (en) | Image processing device, image processing method, and program | |
US8224069B2 (en) | Image processing apparatus, image matching method, and computer-readable recording medium | |
JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
KR102452575B1 (ko) | 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법 | |
WO2012029658A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
US8542312B2 (en) | Device having image reconstructing function, method, and storage medium | |
JP2016208075A (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
GB2553447A (en) | Image processing apparatus, control method thereof, and storage medium | |
JP6513941B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6739955B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体 | |
JP2018148513A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170731 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170731 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190823 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6577703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |