JP5654867B2 - 映像信号処理装置及び映像信号処理方法 - Google Patents
映像信号処理装置及び映像信号処理方法 Download PDFInfo
- Publication number
- JP5654867B2 JP5654867B2 JP2010289911A JP2010289911A JP5654867B2 JP 5654867 B2 JP5654867 B2 JP 5654867B2 JP 2010289911 A JP2010289911 A JP 2010289911A JP 2010289911 A JP2010289911 A JP 2010289911A JP 5654867 B2 JP5654867 B2 JP 5654867B2
- Authority
- JP
- Japan
- Prior art keywords
- cut
- image
- distortion correction
- coordinate conversion
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 119
- 238000012937 correction Methods 0.000 claims description 85
- 238000000034 method Methods 0.000 claims description 56
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000008707 rearrangement Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
図3に、本実施の形態の映像信号処理装置の構成を示す。映像信号処理装置100は、フレーム中での切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得るようになっている。
次に、切出し領域決定部121での領域切出について説明する。本実施の形態では、図4に示すように、<方式1>、<方式2>、<方式3>の3つの領域切出の方式を提示する。
この方式は、複数フレーム#1〜#nで同一の切出領域を設定する方式である。この方式は、人間等のターゲットの移動速度はあまり大きくなく、隣接する複数フレームでは、ターゲットは同一の切出領域内に収まっているであろうという仮定に基づく。なお、この方式での切出領域は、後述する<方式2>及び<方式3>の切出領域よりも広く設定される。
この方式は、ターゲットトラッキング方式と呼ぶことができるものである。この方式は、ターゲットをフレーム毎にトラッキングし、ターゲットの移動に応じて各クレーム#1〜#nでの切出領域を変更するものである。
この方式は、フレーム間マッチング方式と呼ぶことができるものである。この方式は、隣接フレームの切出領域は同一としつつ、マッチング結果に応じて切出領域を変更するものである。例えば、フレーム#1と#2では同一の切出領域を設定し、フレーム#2と#3では同一の切出領域を設定する。ここで、フレーム#2と#3の切出領域は、フレーム#1と#2の切出領域の画像と、テンプレート画像と、のマッチング結果に応じて、被写体(人物)が切出領域のほぼ中央に位置するように設定される。
次に、図5及び図6を用いて、映像信号処理装置100によって行われる処理イメージを説明する。図5は、歪補正及び位置合せ処理のイメージを示し、図6は、画素の再配置及び合成処理のイメージを示す。
次に、本実施の形態の映像信号処理装置100の動作を、フローチャートを用いて説明する。
以上説明したように、本実施の形態によれば、各フレーム画像の切出し領域の非線形歪みを補正するための歪補正変換式(第1の座標変換式)をフレーム毎に得る歪補正変換式算出部123と、各切出し領域に対して歪補正及び補間処理を行う歪補正・補間処理部101と、歪補正及び補間処理後の各切出し画像間での位置合せを行うための位置合せ変換式(第2の座標変換式)を得る位置合せ変換式算出部104と、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する歪補正変換式及び位置合せ変換式を用いて、画素座標の再配置を行う画素座標変換部111と、画素座標変換部111により得られた複数フレーム分の再配置された切出し画像を合成する画像合成部112と、を有する。
101 歪補正・補間処理部
102 位置合せ処理部
103 テンプレート格納部
104 位置合せ変換式算出部
105 画像変換式算出部
111 画素座標変換部
112 画像合成部
113 画像補間部
121 切出し領域決定部
122 射影方式格納部
123 歪補正変換式算出部
S1 入力画像
Cn 歪補正変換式
Hn 位置合せ変換式
Claims (4)
- 切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理装置であって、
各フレーム画像の切出し領域の非線形歪みを補正するための第1の座標変換式を各フレーム毎に得る第1の座標変換式算出部と、
前記各切出し領域に対して、前記各切出し領域に対応する前記第1の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理部と、
前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第2の座標変換式を得る第2の座標変換式算出部と、
前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第1及び第2の座標変換式を用いて、画素座標の再配置を行う画素座標変換部と、
前記画素座標変換部により得られた複数フレーム分の再配置された切出し画像を合成する合成部と、
を具備する映像信号処理装置。 - 前記合成部により得られた合成画像に対して補間処理を施す補間処理部を、さらに具備する、
請求項1に記載の映像信号処理装置。 - 非線形歪みのある画像を撮影するカメラと、
撮影された画像を処理する請求項1または2記載の映像信号処理装置と、
を有するカメラシステム。 - 切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理方法であって、
各フレーム画像の切出し領域の非線形歪みを補正するための第1の座標変換式を各フレーム毎に得る第1の座標変換式算出ステップと、
前記各切出し領域に対して、前記各切出し領域に対応する前記第1の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理ステップと、
前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第2の座標変換式を得る第2の座標変換式算出ステップと、
前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第1及び第2の座標変換式を用いて、画素座標の再配置を行う画素座標変換ステップと、
前記画素座標変換ステップで得られた複数フレーム分の再配置された切出し画像を合成する合成ステップと、
を含む映像信号処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010289911A JP5654867B2 (ja) | 2010-12-27 | 2010-12-27 | 映像信号処理装置及び映像信号処理方法 |
PCT/JP2011/007107 WO2012090434A1 (ja) | 2010-12-27 | 2011-12-20 | 映像信号処理装置及び映像信号処理方法 |
US13/992,807 US9609181B2 (en) | 2010-12-27 | 2011-12-20 | Image signal processor and method for synthesizing super-resolution images from non-linear distorted images |
EP11852336.4A EP2661071B1 (en) | 2010-12-27 | 2011-12-20 | Image signal processor and image signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010289911A JP5654867B2 (ja) | 2010-12-27 | 2010-12-27 | 映像信号処理装置及び映像信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012138771A JP2012138771A (ja) | 2012-07-19 |
JP5654867B2 true JP5654867B2 (ja) | 2015-01-14 |
Family
ID=46382575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010289911A Active JP5654867B2 (ja) | 2010-12-27 | 2010-12-27 | 映像信号処理装置及び映像信号処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9609181B2 (ja) |
EP (1) | EP2661071B1 (ja) |
JP (1) | JP5654867B2 (ja) |
WO (1) | WO2012090434A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5962428B2 (ja) * | 2012-10-22 | 2016-08-03 | セイコーエプソン株式会社 | 画像処理装置の調整方法、調整装置、画像処理装置、及び表示モジュール |
JP6274744B2 (ja) * | 2013-05-02 | 2018-02-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US9741143B2 (en) | 2013-05-29 | 2017-08-22 | Nec Corporation | Multocular imaging system, synthesis process method of acquired images, and program |
CN108388005A (zh) | 2013-07-04 | 2018-08-10 | 核心光电有限公司 | 小型长焦透镜套件 |
CN109120823B (zh) | 2013-08-01 | 2020-07-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
JP6160357B2 (ja) * | 2013-08-15 | 2017-07-12 | 株式会社リコー | 画像処理装置、画像処理方法、および画像通信システム |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
JP2018022932A (ja) * | 2014-12-08 | 2018-02-08 | 株式会社ジャパンディスプレイ | 表示システム及び表示装置 |
US10853680B2 (en) | 2015-07-14 | 2020-12-01 | Panasonic Intellectual Property Management Co., Ltd. | Identification medium recognition device and identification medium recognition method |
KR102263924B1 (ko) | 2015-08-13 | 2021-06-11 | 코어포토닉스 리미티드 | 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라 |
JP2017146704A (ja) * | 2016-02-16 | 2017-08-24 | 沖電気工業株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN111965919B (zh) | 2016-05-30 | 2022-02-08 | 核心光电有限公司 | 旋转滚珠引导音圈电动机 |
WO2018007981A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
JP6936958B2 (ja) * | 2017-11-08 | 2021-09-22 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
KR102261024B1 (ko) | 2017-11-23 | 2021-06-04 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
KR102091369B1 (ko) | 2018-02-05 | 2020-05-18 | 코어포토닉스 리미티드 | 폴디드 카메라에 대한 감소된 높이 페널티 |
JP7076131B2 (ja) * | 2018-03-23 | 2022-05-27 | カムイ・イノベーション株式会社 | 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法 |
CN111936908B (zh) | 2018-04-23 | 2021-12-21 | 核心光电有限公司 | 具有扩展的两个自由度旋转范围的光路折叠元件 |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
BR112022008918A2 (pt) * | 2019-11-08 | 2022-08-02 | Op Solutions Llc | Métodos e sistemas para corte adaptável |
KR20240001277A (ko) | 2020-05-30 | 2024-01-03 | 코어포토닉스 리미티드 | 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법 |
EP4202521A1 (en) * | 2020-07-15 | 2023-06-28 | Corephotonics Ltd. | Point of view aberrations correction in a scanning folded camera |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
KR102442980B1 (ko) | 2020-12-31 | 2022-09-13 | 이화여자대학교 산학협력단 | Erp 기반 다시점 360도 영상의 초해상화 방법 및 영상처리장치 |
WO2022259154A2 (en) | 2021-06-08 | 2022-12-15 | Corephotonics Ltd. | Systems and cameras for tilting a focal plane of a super-macro image |
CN117612046B (zh) * | 2024-01-23 | 2024-04-26 | 青岛云世纪信息科技有限公司 | 一种基于ai和gis交互实现目标区域地物识别的方法和系统 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5696848A (en) | 1995-03-09 | 1997-12-09 | Eastman Kodak Company | System for creating a high resolution image from a sequence of lower resolution motion images |
JPH0918685A (ja) * | 1995-06-29 | 1997-01-17 | Ricoh Co Ltd | 画像合成方法 |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
JP3428589B2 (ja) * | 2001-03-30 | 2003-07-22 | ミノルタ株式会社 | 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置 |
US6833843B2 (en) * | 2001-12-03 | 2004-12-21 | Tempest Microsystems | Panoramic imaging and display system with canonical magnifier |
US7202888B2 (en) * | 2002-11-19 | 2007-04-10 | Hewlett-Packard Development Company, L.P. | Electronic imaging device resolution enhancement |
JP2008117416A (ja) | 2003-01-14 | 2008-05-22 | Tokyo Institute Of Technology | 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法 |
US7576767B2 (en) * | 2004-07-26 | 2009-08-18 | Geo Semiconductors Inc. | Panoramic vision system and method |
US7643064B1 (en) * | 2005-06-21 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Predictive video device system |
JP4600209B2 (ja) * | 2005-08-18 | 2010-12-15 | ソニー株式会社 | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
US8503817B2 (en) * | 2006-03-01 | 2013-08-06 | Panasonic Corporation | Apparatus, method and imaging apparatus for correcting distortion of image data using interpolation |
JP2007293457A (ja) * | 2006-04-21 | 2007-11-08 | Yamaha Corp | 画像処理装置 |
US8131116B2 (en) * | 2006-08-31 | 2012-03-06 | Panasonic Corporation | Image processing device, image processing method and image processing program |
JP2008091979A (ja) * | 2006-09-29 | 2008-04-17 | Hitachi Ltd | 画像高画質化装置、及びその方法、並びに画像表示装置 |
US8306121B2 (en) | 2008-03-17 | 2012-11-06 | Ati Technologies Ulc | Method and apparatus for super-resolution of images |
EP2291822A1 (en) * | 2008-05-21 | 2011-03-09 | Koninklijke Philips Electronics N.V. | Image resolution enhancement |
TWI441514B (zh) * | 2008-11-12 | 2014-06-11 | Avisonic Technology Corp | 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置 |
US8233747B2 (en) * | 2009-04-03 | 2012-07-31 | Sony Corporation | Method and apparatus for forming super resolution images from raw data representative of color filter array images |
US8724000B2 (en) * | 2010-08-27 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for super-resolution in integral photography |
US8896703B2 (en) * | 2011-03-31 | 2014-11-25 | Fotonation Limited | Superresolution enhancment of peripheral regions in nonlinear lens geometries |
-
2010
- 2010-12-27 JP JP2010289911A patent/JP5654867B2/ja active Active
-
2011
- 2011-12-20 EP EP11852336.4A patent/EP2661071B1/en active Active
- 2011-12-20 US US13/992,807 patent/US9609181B2/en active Active
- 2011-12-20 WO PCT/JP2011/007107 patent/WO2012090434A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US9609181B2 (en) | 2017-03-28 |
US20130258048A1 (en) | 2013-10-03 |
JP2012138771A (ja) | 2012-07-19 |
EP2661071B1 (en) | 2019-03-20 |
EP2661071A1 (en) | 2013-11-06 |
EP2661071A4 (en) | 2015-01-21 |
WO2012090434A1 (ja) | 2012-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5654867B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP3930898B2 (ja) | 画像合成装置および画像合成方法 | |
JP4832878B2 (ja) | 画像合成処理装置及び方法 | |
WO2014068779A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
JP5906028B2 (ja) | 画像処理装置、画像処理方法 | |
JP4196216B2 (ja) | 画像合成システム、画像合成方法及びプログラム | |
CN113436113B (zh) | 防抖动的图像处理方法、装置、电子设备和存储介质 | |
JP2012249070A (ja) | 撮像装置及び撮像方法 | |
JP2009033392A (ja) | パノラマ画像生成装置およびプログラム | |
JP5704984B2 (ja) | 撮像装置 | |
JP6518115B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム | |
TWI459325B (zh) | 數位影像處理裝置及其處理方法 | |
JP2007266667A (ja) | カメラ付き携帯機器、その制御方法及びその撮影支援方法 | |
JP2013020527A (ja) | 画像処理装置および方法、並びにプログラム | |
JP7118729B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2007184720A (ja) | 画像撮影装置 | |
WO2009090727A1 (ja) | 表示装置 | |
JP2005045513A (ja) | 画像処理装置及び歪補正方法 | |
JP6513941B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP4128123B2 (ja) | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP6711670B2 (ja) | 情報処理装置、画像表示装置、画像表示システム、および情報処理方法 | |
JP2008003683A (ja) | 画像生成装置及びその方法並びに記録媒体 | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
WO2011024249A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP4624802B2 (ja) | 内視鏡装置、及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131202 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141008 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20141024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5654867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |