JP6980480B2 - 撮像装置および制御方法 - Google Patents
撮像装置および制御方法 Download PDFInfo
- Publication number
- JP6980480B2 JP6980480B2 JP2017195893A JP2017195893A JP6980480B2 JP 6980480 B2 JP6980480 B2 JP 6980480B2 JP 2017195893 A JP2017195893 A JP 2017195893A JP 2017195893 A JP2017195893 A JP 2017195893A JP 6980480 B2 JP6980480 B2 JP 6980480B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- video signal
- image
- captured image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000003384 imaging method Methods 0.000 title claims description 22
- 239000013598 vector Substances 0.000 claims description 117
- 238000012937 correction Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 39
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000005096 rolling process Methods 0.000 claims description 11
- 238000011161 development Methods 0.000 claims description 5
- 230000004075 alteration Effects 0.000 description 9
- 238000002955 isolation Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
図1は、本実施形態の撮像装置の構成を示す図である。
図1に示す撮像装置は、撮像光学系0101乃至表示手段0111を備える。撮像光学系0101を通過して、撮像素子0102に結像された光学像(被写体光)は、撮像素子(センサ)0102によって光電変換される。センサ補正手段0103は、撮像素子0102から出力される画像信号に対して、固定パターンノイズや欠陥画素の補正を施す。現像手段0104は、センサ補正手段0103から出力される画像信号に対して、ホワイトバランスの調整や輝度・色差信号への変換、シャープネス調整などの現像処理を施して、メモリ0107へ出力する。図1に示すように、画像信号(映像信号)が未現像のまま、メモリ0107に出力される系もある。以降、未現像の画像信号データを、RAWデータと記述する。現像された画像信号は、メモリ0107から表示手段0111へ出力され、表示用画像信号として用いられる。メモリ0107は、例えば、DRAMで構成されており、記録用の画像信号、表示用の画像信号、画像処理に必要となる中間信号を保持する。
図2(A)は、幾何変形処理前(歪み補正前)の画像を示す。図2(B)は、幾何変形処理前(歪み補正後)の画像を示す。領域0201は、撮像領域を示す。領域0202は、出画領域を示す。テンプレート0203は、テンプレートを示す。重心0204は、枠0203のベクトルの重心(起点)を示す。ベクトル0205は、テンプレート0203の動きベクトルを示す。本実施形態では、防振処理を行うための手振れ量を、リアルタイムで算出することを目的として、図2(A)に示す歪み補正前の画像から動きベクトルが検出される。しかし、実際の出画は、図2(B)に示す歪み補正後の画像となる。歪み補正後の画像では、テンプレート0203、重心0204、動きベクトル0205が歪んでしまうので、動きベクトルの精度が低下する。つまり、歪み補正後の画像から検出される動きベクトルは、歪み補正における画像の変形量を考慮していない。したがって、歪み補正後の画像から検出される動きベクトルを画像の幾何変形による防振処理に用いると、良好な防振結果を得ることができない。したがって、本実施形態の撮像装置は、動きベクトルデータに対し、画像の変形量を考慮した座標変換処理を施して、歪補正後の画像を考慮した動きベクトルデータに変換する。
動きベクトルデータ演算手段0106は、歪曲収差補正座標演算手段0301と、RS歪座標演算手段0302と、座標合成手段0303とを有する。歪曲収差補正座標演算手段0301は、歪曲収差を補正するための座標を演算する。RS歪座標演算手段0302は、撮像素子0102のローリングシャッタ駆動に起因した図形歪(以下、「ローリングシャッタ歪」と記述)を補正するための座標を演算する。歪曲収差補正座標演算手段0301と、RS歪座標演算手段0302による座標演算処理、並びに、座標演算結果の座標合成手段0303による合成処理については、例えば、特許文献3に開示される方法を適用する。この例では、動きベクトルデータ演算手段0106は、歪曲収差補正とローリングシャッタ歪補正を対象として座標(パラメータ)を演算するが、例えば、あおりに起因した図形歪を補正するための射影変換パラメータを演算してもよい。
S401において、CPU0108が、撮像画像に係る映像信号を取得する。具体的には、CPU0108は、撮像素子0102が出力する撮像画像に係る映像信号を未現像のままRAWデータとしてメモリ0107へ書き出す。続いて、S402において、CPU0108が、メモリ0107から、画像信号と、1フレーム前に生成したテンプレートマッチング用の画像信号とを読み出す。そして、動きベクトル検出手段0105が、ベクトル算出手段として機能し、読み出した画像信号から動きベクトルを検出する。検出された動きベクトルデータは、メモリ0107に書き込まれる。
図5(A)に示すデータは、フレーム毎に、RAWデータ0501と動きベクトルデータ0502とが交互に配置され、画像情報として関連付けられている。動きベクトルデータ0502は、図5(B)のデータ0502−1,0502−2で示すように、動きベクトルの重心位置の起点座標(STARTX、STARTY)と、終点座標(ENDX、ENDY)で表現される。
図6は、実施例2の撮像装置の構成を示す図である。
図6に示す撮像装置は、撮像光学系0601乃至表示手段0611を備える。図6に示す撮像装置が備える構成のうち、幾何変形手段0606以外は、図1に示す撮像装置の構成と同様であるので、説明を割愛する。また、撮像装置の撮像から記録までの動作処理も共通である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
0108 CPU
Claims (9)
- 撮像画像に係る映像信号を取得する取得手段と、
前記映像信号に基づいて、動きベクトルを算出するベクトル算出手段と、
振れ検出信号または撮像光学系に関する情報に基づいて、前記動きベクトルの補正に用いる補正パラメータを算出するパラメータ算出手段と、
前記補正パラメータを用いて、前記動きベクトルを補正するベクトル補正手段と、
未現像の前記映像信号に対して、前記補正された動きベクトルを関連付けて記憶する制御を行う制御手段とを備え、
前記制御手段は、前記撮像画像の画素座標の変換による前記撮像画像の幾何変形を行わない場合に、前記未現像の前記映像信号に対して前記補正された動きベクトルを関連付けて記憶する制御を行う
ことを特徴とする撮像装置。 - 撮像画像に係る映像信号を取得する取得手段と、
前記映像信号に基づいて、動きベクトルを算出するベクトル算出手段と、
前記撮像画像の画素座標を変換する座標変換手段を有し、前記座標変換手段を用いた画素座標の変換によって、前記撮像画像を幾何変形する幾何変形手段と、
未現像の前記映像信号を記憶する制御を行う制御手段とを備え、
前記制御手段が前記未現像の映像信号を記憶する制御を行わない場合に、前記幾何変形手段は、前記撮像画像の幾何変形を行い、
前記幾何変形手段が、前記撮像画像の幾何変形を行わない場合に、
前記座標変換手段は、振れ検出信号または撮像光学系に関する情報に基づいて、前記動きベクトルの補正に用いる補正パラメータを算出し、前記補正パラメータを用いて、前記動きベクトルを補正し、前記制御手段は、前記未現像の映像信号に対して、前記補正された動きベクトルを関連付けて記憶する制御を行う
ことを特徴とする撮像装置。 - 前記制御手段は、前記映像信号に対して、前記補正された動きベクトルを画像情報として関連付ける
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 前記制御手段は、前記映像信号に対するヘッダ情報またはメタ情報として前記補正された動きベクトルを関連付ける
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 - 被写体光を光電変換する撮像素子を備え、
前記補正パラメータは、前記振れ検出信号に基づいて、前記撮像素子のローリングシャッタ駆動に起因する図形歪を補正するためのパラメータである
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 - 前記補正パラメータは、前記撮像光学系に関する情報に基づいて、歪曲収差を補正するためのパラメータである
ことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 - 未現像の前記映像信号は、幾何変形とは異なる現像処理の一部が行われた画像信号を含むことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
- 撮像画像に係る映像信号を取得する工程と、
前記映像信号に基づいて、動きベクトルを算出する工程と、
振れ検出信号または撮像光学系に関する情報に基づいて、前記動きベクトルの補正に用いる補正パラメータを算出する工程と、
前記補正パラメータを用いて、前記動きベクトルを補正する工程と、
未現像の前記映像信号に対して、前記補正された動きベクトルを関連付けて記憶する制御を行う制御工程とを有し、
前記制御工程では、前記撮像画像の画素座標の変換による前記撮像画像の幾何変形を行わない場合に、前記未現像の前記映像信号に対して前記補正された動きベクトルを関連付けて記憶する制御を行う
ことを特徴とする撮像装置の制御方法。 - 撮像画像に係る映像信号を取得する工程と、
前記映像信号に基づいて、動きベクトルを算出する工程と、
前記撮像画像の画素座標の変換によって、前記撮像画像を幾何変形する工程と、
未現像の前記映像信号を記憶する制御を行う制御工程とを有し、
前記未現像の映像信号を記憶する制御を行わない場合に、前記撮像画像の幾何変形を行い、
前記撮像画像の幾何変形を行わない場合に、振れ検出信号または撮像光学系に関する情報に基づいて、前記動きベクトルの補正に用いる補正パラメータを算出し、前記補正パラメータを用いて前記動きベクトルを補正し、前記未現像の映像信号に対して、前記補正された動きベクトルを関連付けて記憶する制御を行う
ことを特徴とする撮像装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017195893A JP6980480B2 (ja) | 2017-10-06 | 2017-10-06 | 撮像装置および制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017195893A JP6980480B2 (ja) | 2017-10-06 | 2017-10-06 | 撮像装置および制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019071522A JP2019071522A (ja) | 2019-05-09 |
JP6980480B2 true JP6980480B2 (ja) | 2021-12-15 |
Family
ID=66441356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017195893A Active JP6980480B2 (ja) | 2017-10-06 | 2017-10-06 | 撮像装置および制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6980480B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827194A (zh) * | 2019-10-25 | 2020-02-21 | 北京迈格威科技有限公司 | 图像处理的方法、装置及计算机存储介质 |
JP2022037781A (ja) * | 2020-08-25 | 2022-03-09 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および画像処理システム |
-
2017
- 2017-10-06 JP JP2017195893A patent/JP6980480B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019071522A (ja) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5906493B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
JP5997645B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP5531194B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP4719553B2 (ja) | 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体 | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2012199752A (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP2010062952A (ja) | 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2018107526A (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
JP2010193058A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP2006229868A (ja) | 画像処理装置及び方法、動き検出装置及び方法 | |
JP6980480B2 (ja) | 撮像装置および制御方法 | |
JP4953770B2 (ja) | 撮像装置 | |
JP2016010014A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5149861B2 (ja) | 中間画像生成装置およびその動作制御方法 | |
WO2018066027A1 (ja) | 画像処理装置、撮像システム、画像処理方法および画像処理プログラム | |
JP6415330B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP2009027437A (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP5645704B2 (ja) | 画像処理装置、及びその制御方法 | |
JP2008235958A (ja) | 撮像装置 | |
JP2009021929A (ja) | 撮像装置及び撮像方法 | |
JP2019208214A (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP2004229084A (ja) | 手振れ補正装置、手振れ補正方法及び撮像装置 | |
JP5641127B2 (ja) | 撮像装置と振れ補正方法 | |
JP5401696B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6980480 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |