JP5701733B2 - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents
画像処理装置、画像処理システムおよび画像処理方法 Download PDFInfo
- Publication number
- JP5701733B2 JP5701733B2 JP2011225660A JP2011225660A JP5701733B2 JP 5701733 B2 JP5701733 B2 JP 5701733B2 JP 2011225660 A JP2011225660 A JP 2011225660A JP 2011225660 A JP2011225660 A JP 2011225660A JP 5701733 B2 JP5701733 B2 JP 5701733B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- horizontal
- vertical
- correction amount
- scanning line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 43
- 238000003672 processing method Methods 0.000 title description 3
- 239000013598 vector Substances 0.000 claims description 173
- 238000012937 correction Methods 0.000 claims description 120
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 7
- 101150096886 sft-1 gene Proteins 0.000 description 7
- 101000608154 Homo sapiens Peroxiredoxin-like 2A Proteins 0.000 description 6
- 102100039896 Peroxiredoxin-like 2A Human genes 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Systems (AREA)
Description
図1は、動きベクトルを用いてフォーカルプレーン歪みを補正する原理を説明する図である。図1は、ローリングシャッタ方式のCMOSセンサで撮影された時間的に連続する2枚のフレームF1,F2を示している。
MVx2=MVx1*H/(MVy1+H) ・・・(1)
MVy2=MVy1*H/(MVy1+H) ・・・(2)
これにより、フレーム間での移動量を示す動きベクトルMVx1,MVy1は、1フレームを撮像する時間あたりの移動量を示す動きベクトルMVx2,MVy2に変換される。
MVy3[y]={MVy2b*y+MVy2a*(H−y)}/H ・・・(4)
上記(3),(4)式は、y番目の走査線における動きベクトルMVx3[y],MVy3[y]を、2フレームの動きベクトルを用いて線形補間して算出する例である。その他、3フレーム以上の動きベクトルMVx3[y],MVy3[y]を用いて2次補間、3次補間、スプライン補間等により算出してもよい。
第1の実施形態の動きベクトル補間部25および補正量生成部26は、外部から全走査線数Hのみが設定されて、動きベクトルMVx3[y],MVy3[y]および補正量MODx[y],MODy[y]をそれぞれ生成した。これに対し、第2の実施形態の動きベクトル補間部25aおよび補正量生成部26aは、さらに多くのパラメータが設定されて、動きベクトルMVx3[y],MVy3[y]および補正量MODx[x],MODy[y]を生成するものである。
MVy3[y]={MVy2b*y+MVy2a*(H−y)}*a>>Sft1 ・・・(8)
ここで、>>Sftは右にビットシフト量Sft1だけビットシフトすることを示し、2のSft1乗で除すことと等価である。
第1および第2の実施形態は、補正量MODx[y],MODy[y]を整数精度とし、補正対象の画素をフレーム内に存在するいずれかの画素で置き換えて補正するものであった。これに対し、第3の実施形態は、補正量MODx[y],MODy[y]を小数精度とし、フレーム内の1または複数の画素から生成される画素で置き換えて補正するものである。
このように、第3の実施形態では、補正量MODx[y],MODy[y]を小数点以下まで算出し、1または複数の画素から補間されるRGB値を用いて補正を行う。そのため、補正量をより細かく制御でき、補正の精度が向上する。
各実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
2,2a 画像処理装置
3 外部機器
21 前処理部
22 フレームメモリ
23 動きベクトル生成部
24 動きベクトル変換部
25,25a 動きベクトル補間部
26,26a 補正量生成部
27,27a 補正部
Claims (6)
- 走査線順に撮像して入力映像信号を生成する撮像装置と、
前記入力映像信号におけるフレーム間の対応点の水平方向および垂直方向の移動量をそれぞれ示す第1の水平方向動きベクトルおよび第1の垂直方向動きベクトルを生成する動きベクトル生成部と、
前記第1の水平方向動きベクトルおよび前記第1の垂直方向動きベクトルを、前記第1の垂直方向動きベクトルを考慮して、1フレームを撮像する時間あたりの対応点の水平方向および垂直方向の移動量を示す第2の水平方向動きベクトルおよび第2の垂直方向動きベクトルにそれぞれ変換する動きベクトル変換部と、
少なくとも2つのフレームについての前記第2の水平方向動きベクトルおよび前記第2の垂直方向動きベクトルを用いて補間処理を行い、前記走査線毎の、前記1フレームを撮像する時間あたりの対応点の水平方向および垂直方向の移動量を示す第3の水平方向動きベクトルおよび第3の垂直方向動きベクトルをそれぞれ生成する動きベクトル補間部と、
前記第3の水平方向動きベクトルおよび前記第3の垂直方向動きベクトルに基づいて、前記走査線毎に水平方向補正量および垂直方向補正量をそれぞれ生成する補正量生成部と、
前記水平方向補正量および前記垂直方向補正量に基づいて、前記入力映像信号を補正して出力映像信号を生成する補正部と、を備えることを特徴とする画像処理システム。 - 前記水平方向および垂直方向補正量が小数点以下の精度を有する場合、
前記補正部は、補正対象の画素から前記水平方向補正量および垂直方向補正量だけずれた位置の画素を、その周囲の1または複数の画素を用いて生成し、前記補正対象の画素を前記生成された画素に置き換えることを特徴とする請求項1に記載の画像処理システム。 - 走査線順に撮像された入力映像信号における1フレームでの対応点の移動量を示す第1の水平方向動きベクトルおよび第1の垂直方向動きベクトルを生成する動きベクトル生成部と、
前記第1の水平方向動きベクトルおよび前記第1の垂直方向動きベクトルを、前記第1の垂直方向動きベクトルを考慮して、1フレームを撮像する時間あたりの対応点の水平方向および垂直方向の移動量を示す第2の水平方向動きベクトルおよび第2の垂直方向動きベクトルにそれぞれ変換する動きベクトル変換部と、
少なくとも2つのフレームについての前記第2の水平方向動きベクトルおよび前記第2の垂直方向動きベクトルを用いて補間処理を行い、前記走査線毎の、前記1フレームを撮像する時間あたりの対応点の水平方向および垂直方向の移動量を示す第3の水平方向動きベクトルおよび第3の垂直方向動きベクトルをそれぞれ生成する動きベクトル補間部と、
前記第3の水平方向動きベクトルおよび前記第3の垂直方向動きベクトルに基づいて、前記走査線毎に水平方向補正量および垂直方向補正量をそれぞれ生成する補正量生成部と、
前記水平方向補正量および前記垂直方向補正量に基づいて、前記入力映像信号を補正して出力映像信号を生成する補正部と、を備えることを特徴とする画像処理装置。 - 走査線順に撮像された入力映像信号における1フレームでの対応点の移動量を示す第1の水平方向動きベクトルおよび第1の垂直方向動きベクトルを生成するステップと、
前記第1の水平方向動きベクトルおよび前記第1の垂直方向動きベクトルを、前記第1の垂直方向動きベクトルを考慮して、1フレームを撮像する時間あたりの対応点の水平方向および垂直方向の移動量を示す第2の水平方向動きベクトルおよび第2の垂直方向動きベクトルにそれぞれ変換するステップと、
少なくとも2つのフレームについての前記第2の水平方向動きベクトルおよび前記第2の垂直方向動きベクトルを用いて補間処理を行い、前記走査線毎の、前記1フレームを撮像する時間あたりの対応点の水平方向および垂直方向の移動量を示す第3の水平方向動きベクトルおよび第3の垂直方向動きベクトルをそれぞれ生成するステップと、
前記第3の水平方向動きベクトルおよび前記第3の垂直方向動きベクトルに基づいて、前記走査線毎に水平方向補正量および垂直方向補正量をそれぞれ生成するステップと、
前記水平方向補正量および前記垂直方向補正量に基づいて、前記入力映像信号を補正して出力映像信号を生成するステップと、を備えることを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011225660A JP5701733B2 (ja) | 2011-10-13 | 2011-10-13 | 画像処理装置、画像処理システムおよび画像処理方法 |
US13/420,092 US8780216B2 (en) | 2011-10-13 | 2012-03-14 | Image processing device, image processing system and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011225660A JP5701733B2 (ja) | 2011-10-13 | 2011-10-13 | 画像処理装置、画像処理システムおよび画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013089989A JP2013089989A (ja) | 2013-05-13 |
JP5701733B2 true JP5701733B2 (ja) | 2015-04-15 |
Family
ID=48085755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011225660A Expired - Fee Related JP5701733B2 (ja) | 2011-10-13 | 2011-10-13 | 画像処理装置、画像処理システムおよび画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8780216B2 (ja) |
JP (1) | JP5701733B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102551362B1 (ko) * | 2018-02-28 | 2023-07-04 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
KR20040049214A (ko) * | 2002-12-05 | 2004-06-11 | 삼성전자주식회사 | 고속 모션벡터 추정장치 및 방법 |
KR100767593B1 (ko) | 2004-09-13 | 2007-10-17 | 조위수 | 발가락지압기의 제조방법 |
JP2006148496A (ja) | 2004-11-18 | 2006-06-08 | Sony Corp | フォーカルプレーン歪みの補正回路および補正方法、並びに電子機器、プログラム、記録媒体 |
JP4509917B2 (ja) * | 2005-11-21 | 2010-07-21 | 株式会社メガチップス | 画像処理装置及びカメラシステム |
JP4340915B2 (ja) | 2006-02-01 | 2009-10-07 | ソニー株式会社 | 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置 |
JP5365687B2 (ja) * | 2009-03-26 | 2013-12-11 | 富士通株式会社 | 情報処理装置およびプログラム |
JP2011114649A (ja) * | 2009-11-27 | 2011-06-09 | Sanyo Electric Co Ltd | 撮像装置 |
-
2011
- 2011-10-13 JP JP2011225660A patent/JP5701733B2/ja not_active Expired - Fee Related
-
2012
- 2012-03-14 US US13/420,092 patent/US8780216B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8780216B2 (en) | 2014-07-15 |
JP2013089989A (ja) | 2013-05-13 |
US20130093926A1 (en) | 2013-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP5531194B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2014068779A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
JP6326180B1 (ja) | 画像処理装置 | |
US20090273717A1 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
US8928782B2 (en) | Image processing device and image capture device | |
US10095919B2 (en) | Image processing apparatus, image processing method and storage medium to suitably clip a subject region from a moving image | |
JP2015053614A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2016152358A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5424068B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
JP5351200B2 (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP5701733B2 (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP2017022597A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6604783B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
CN110692235B (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
KR101823077B1 (ko) | 고해상도 영상 획득 장치 및 방법 | |
JP2013126123A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP6257289B2 (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP2012150614A (ja) | 自由視点画像生成装置 | |
JP2015148965A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2008067176A (ja) | 画像補正装置および画像補正方法 | |
JP5401696B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2018084051A1 (ja) | 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 | |
KR101854354B1 (ko) | 다중센서 기반 영상보정 방법 | |
JP2011199712A (ja) | 映像処理装置および映像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150218 |
|
LAPS | Cancellation because of no payment of annual fees |