WO2016204382A1 - 모션 블러 이미지 복원 방법 및 장치 - Google Patents

모션 블러 이미지 복원 방법 및 장치 Download PDF

Info

Publication number
WO2016204382A1
WO2016204382A1 PCT/KR2016/002513 KR2016002513W WO2016204382A1 WO 2016204382 A1 WO2016204382 A1 WO 2016204382A1 KR 2016002513 W KR2016002513 W KR 2016002513W WO 2016204382 A1 WO2016204382 A1 WO 2016204382A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
motion blur
trajectory
camera
image
Prior art date
Application number
PCT/KR2016/002513
Other languages
English (en)
French (fr)
Inventor
백준기
이은성
채은정
정혜진
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to US15/029,618 priority Critical patent/US9826162B2/en
Publication of WO2016204382A1 publication Critical patent/WO2016204382A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to a motion blur image reconstruction method and apparatus.
  • CCD image sensors or CMOS image sensors included in digital cameras or camera phones can read out the charge collected by the optoelectronic device at a constant rate during the exposure time.
  • a CCD image sensor or a CMOS image sensor used in a general popular digital camera or a camera phone may have a small size. Therefore, when shooting indoors or at night when the amount of light is relatively low, the lead-out speed may be slowed down. In this case, the image sensor needs to increase the exposure time to obtain sufficient charge, which results in it being sensitive to motion such as hand shake and object movement.
  • the focal length becomes longer and the angle of view becomes narrower, so that even a small shake may appear in the motion of the image in large motion.
  • Such motion may cause motion blur in the image. If the exposure time of the camera is arbitrarily reduced to eliminate such motion blur, the motion blur is reduced but the image may be much noisy and the brightness may be dark.
  • the conventional method of reconstructing a motion blur image is performed by estimating and reconstructing a point spread function, and an iterative error minimization method and a method of comparing and analyzing several images are used.
  • the present invention is to propose a method and apparatus for reconstructing a motion blur image which is high speed and can minimize the occurrence of artifacts.
  • a method for restoring a motion blur image comprising: calculating a motion trajectory and a projection trajectory of a camera using a built-in sensor; Estimating a point spread function according to camera motion using the motion trajectory and the projection trajectory; And restoring a motion blur image using the estimated point spread function and the spatially variable activity map.
  • Data sensed by the built-in sensor is gyro data for angular velocity estimation according to camera shake, and the projection trajectory may be assumed to follow a Gaussian distribution.
  • the point spread function may be defined as an accumulation of reweighted trajectories using the Gaussian distribution.
  • the motion blur image reconstruction step may remove motion blur without artifacts using local statistics that minimize energy functions.
  • the energy function can be defined using a motion blur image, a degradation matrix, an ideal image without motion blur, the spatially variable activity map, a high pass filter, horizontal and vertical normalization variables, horizontal and vertical differential operators.
  • the spatially variable activity map can be used to remove ringing artifacts while maintaining the edges in the motion blur image.
  • an apparatus for reconstructing a motion blur image comprising: a processor; And a memory coupled to the processor, wherein the memory calculates a motion trajectory and a projection trajectory of the camera using a built-in sensor, estimates a point spread function according to the camera motion using the motion trajectory and the projection trajectory,
  • a motion blur image reconstruction apparatus stores program instructions executable by the processor to reconstruct a motion blur image using the estimated point spread function and the spatially variable activity map.
  • the point spread function of the image is estimated using the built-in sensor and the stochastic distribution, the point spread function can be estimated quickly in a single image and the artifacts can be minimized by spatially variable image reconstruction. There is this.
  • 1 is a view for explaining a motion trajectory generation process.
  • FIG. 2 is a view showing a motion trajectory according to the movement of a camera.
  • 3 shows gyro data and projected trajectories.
  • FIG. 4 is a diagram illustrating an estimation process of a motion point spread function.
  • FIG. 1 is a diagram illustrating a general motion trajectory generation process.
  • an image point on an image plane is associated with an object point by a Homogeneous vector.
  • the K points in the image plane produce a corresponding point-spread-function (PSF) of motion blur as follows.
  • the point spread function h (m, n) is moved by x k and y k for an arbitrary coordinate m, n. It is defined as the sum of.
  • the image degradation model of motion blur is given by the following vector-matrix form.
  • g is a motion blur image
  • H is a degradation matrix
  • f is an ideal image without motion blur
  • a motion trajectory is analyzed using a built-in sensor, and a projection matrix is calculated.
  • the points of each scene are projected onto the image plane according to the projection matrix.
  • the point diffusion function is a sum of reflected intensities from the first position to the last position according to the movement of the camera.
  • the position of each camera is projected onto the image plane and can be expressed as follows using planar homography.
  • C is an intrinsic matrix of the camera
  • R is a rotation matrix
  • d is a scene depth
  • t is a translation vector
  • n v is a normal vector in the image plane.
  • Equation 4 is simplified as follows.
  • Camera coordinates are assumed to be aligned at global coordinates lying on the optical axis of the camera.
  • the camera matrix C is determined by the focal length as in the following equation.
  • the rotation matrix using small-angle approximation and spatial invariant motion blur is calculated by the following equation.
  • the projection matrix can be expressed as follows.
  • the gyro data is used for angular velocity estimation according to the motion of the camera, and the corresponding projected position (projection trajectory) on the image plane is calculated.
  • the projected trajectory is equal to the point spread function of the camera motion.
  • gyro data contains noise in real environments. More specifically, noisy gyro data results in a false match between the projected position on the image plane and the actual point spread function sample.
  • the projected trajectory consists of the sum of the Gaussian distributions.
  • the point spread function of the camera motion results in the accumulation of reweighted trajectories using a Gaussian distribution.
  • the Gaussian distribution is estimated by analysis of the gyro data of the fixed camera.
  • Gyro data and corresponding blur frames are time stamped, and both the open and close times of the shutter are recorded to analyze the delay.
  • the image reconstruction method according to the present embodiment is represented using local statistics that minimize the energy function defined by the equation below.
  • Is an element-wise multiplication operator Is a spatially variable activity map
  • C is a highpass filter
  • D 1 and D 2 are horizontal and vertical differential operators, respectively.
  • D 1 f has a sharp transition, thus Becomes large.
  • the solution of the minimization problem is obtained by solving the equation that makes the derivative of Equation 11 zero.
  • a spatially adaptive activity map is used to remove ringing artifacts while the edges are maintained.
  • the best p t 1500 was used empirically for 5 ⁇ 5 blocks for local dispersion.
  • Equation 12 Since matrix T is a block circulant for the spatial invariant motion point spread function as in Equation 13, the equation in Equation 12 can be solved using a two-dimensional discrete Fourier transform.
  • Restore image here silver Inverse is a discrete Fourier transform.
  • the method according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed through various electronic means for processing information.
  • Motion blur image restoration apparatus may include a processor and a memory.
  • the processor may include a central processing unit (CPU) or other virtual machine capable of executing a computer program.
  • CPU central processing unit
  • the memory may include nonvolatile storage devices such as fixed hard drives or removable storage devices.
  • the removable storage device may include a compact flash unit, a USB memory stick, or the like.
  • Memory 502 may also include volatile memory, such as various random access memories.
  • the memory 502 stores program instructions executable by the processor 500.
  • the program instructions recorded in the memory may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the software art.
  • Examples of program instructions include not only machine code generated by a compiler, but also devices that process information electronically using an interpreter, for example, high-level language code that can be executed by a computer.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

모션 블러 이미지 복원 방법 및 장치가 개시된다. 본 발명에 따르면, 내장 센서를 이용하여 카메라의 모션 궤도 및 투사 궤도를 계산하는 단계, 상기 모션 궤도 및 투사 궤도를 이용하여 카메라 모션에 따른 점확산함수를 추정하는 단계 및 상기 추정된 점확산함수 및 공간 가변 액티비티 맵을 이용하여 모션 블러 이미지를 복원하는 단계를 포함하는 모션 블러 이미지 복원 방법이 제공된다. 본 발명에 의하면 내장 센서와 확률적 분포를 이용하여 이미지의 점확산함수를 추정하기 때문에 단일 이미지에서 빠르게 점확산함수를 추정할 수 있다.

Description

모션 블러 이미지 복원 방법 및 장치
본 발명은 모션 블러 이미지 복원 방법 및 장치에 관한 것이다.
디지털 카메라나 카메라폰에 포함된 CCD 이미지 센서 또는 CMOS 이미지 센서는 노출 시간 동안 광전 소자에 의해 모인 전하를 일정한 속도로 리드 아웃(read-out)할 수 있다.
이때, 일반적인 보급형 디지털 카메라나 카메라폰에 쓰이는 CCD 이미지 센서나 CMOS 이미지 센서는 크기가 작을 수 있다. 따라서, 빛의 양이 상대적으로 적은 실내에서 촬영하거나 밤에 촬영하는 경우, 리드 아웃 속도가 느려질 수 있다. 이 경우, 이미지 센서가 충분한 전하를 얻기 위해 노출 시간을 늘려야 하는데, 그 결과 손 떨림이나 사물의 움직임과 같은 모션에 민감하게 된다.
또한, 카메라의 줌 기능을 사용하는 경우 초점거리가 길어지고 화각이 좁아지므로, 작은 흔들림에도 이미지의 결과물에 큰 모션으로 나타날 수 있다.
이러한 모션에 의하여 이미지에 모션 블러가 발생될 수 있다. 이러한 모션 블러를 제거하기 위해 카메라의 노출 시간을 임의로 줄이는 경우, 모션 블러는 줄어들지만 이미지에 많은 노이즈가 생기고 밝기가 어두워질 수 있다.
종래의 모션 블러 이미지를 복원하는 방법은 점확산함수를 추정하고 복원하는 방식으로 이루어지며, 반복적인 에러 최소화 방법과 여러 이미지들을 비교 분석하는 방법 등이 이용되고 있다.
그러나 기존의 방법들은 많은 반복과 계산량 또는 서로 다른 화각에서 촬영된 여러 장의 이미지가 있어야 하는 문제점이 있다.
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 고속이며, 아티펙트 발생을 최소화할 수 있는 모션 블러 이미지 복원 방법 및 장치를 제안하고자 한다.
상기한 기술적 과제를 해결하기 위해, 본 발명의 바람직한 일 실시예에 따르면, 모션 블러 이미지를 복원하는 방법으로서, 내장 센서를 이용하여 카메라의 모션 궤도 및 투사 궤도를 계산하는 단계; 상기 모션 궤도 및 투사 궤도를 이용하여 카메라 모션에 따른 점확산함수를 추정하는 단계; 및 상기 추정된 점확산함수 및 공간 가변 액티비티 맵을 이용하여 모션 블러 이미지를 복원하는 단계를 포함하는 모션 블러 이미지 복원 방법이 제공된다.
상기 내장 센서에서 센싱된 데이터는 카메라의 흔들림에 따른 각속도 추정을 위한 자이로 데이터이고, 상기 투사 궤도는 가우시안 분포를 따르는 것으로 가정될 수 있다.
상기 점확산함수는 상기 가우시안 분포를 이용하여 재가중화된 궤도의 누적으로 정의될 수 있다.
상기 모션 블러 이미지 복원 단계는, 에너지 함수를 최소화하는 국부 통계를 이용하여 아티팩트 없이 모션 블러를 제거할 수 있다.
상기 에너지 함수는, 모션 블러 이미지, 열화 매트릭스, 모션 블러가 없는 이상적인 이미지, 상기 공간 가변 액티비티 맵, 하이패스 필터, 수평 및 수직 정규화 변수, 수평 및 수직 미분 연산자를 이용하여 정의될 수 있다.
상기 공간 가변 액티비티 맵은 모션 블러 이미지에서 엣지가 유지되는 동안 링잉 아티팩트를 제거하기 위해 사용될 수 있다.
본 발명의 다른 측면에 따르면, 모션 블러 이미지를 복원하는 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하며, 상기 메모리는, 내장 센서를 이용하여 카메라의 모션 궤도 및 투사 궤도를 계산하고, 상기 모션 궤도 및 투사 궤도를 이용하여 카메라 모션에 따른 점확산함수를 추정하며, 상기 추정된 점확산함수 및 공간 가변 액티비티 맵을 이용하여 모션 블러 이미지를 복원하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 모션 블러 이미지 복원 장치가 제공된다.
본 발명에 따르면, 내장 센서와 확률적 분포를 이용하여 이미지의 점확산함수를 추정하기 때문에 단일 이미지에서 빠르게 점확산함수를 추정할 수 있고, 공간가변적인 이미지 복원으로 아티펙트 발생을 최소화할 수 있는 장점이 있다.
도 1은 모션 궤도 생성 과정을 설명하기 위한 도면.
도 2는 카메라의 이동에 따른 모션 궤도를 나타낸 도면.
도 3은 자이로 데이터 및 투사된 궤도를 나타낸 도면.
도 4는 모션 점확산함수의 추정 과정을 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 일반적인 모션 궤도 생성 과정(Motion trajectory generation process)을 도시한 도면이다.
도 1에 도시된 바와 같이, 카메라의 노출 기간 동안, 내장 센서가 카메라의 흔들림에 의한 K개의 다른 자세(xk, yk, k=1,...,K)를 샘플링하는 경우, 3축 객체 공간상에서 객체 포인트는 2차원 상의 K개의 다른 위치로 투사된다.
보다 상세하게, 다음의 수학식 1과 같이 이미지 평면(Image plane)상에서 이미지 포인트는 Homogeneous 벡터에 의해 객체 포인트와 연관된다.
수학식 1
Figure PCTKR2016002513-appb-M000001
여기서,
Figure PCTKR2016002513-appb-I000001
는 k번째 카메라의 투사 매트릭스를 나타낸다.
만일 모션 궤도가 공간불변 방식으로 생성된다면, 이미지 평면에서 K 포인트들은 다음과 같이 이에 상응하는 모션 블러의 점확산함수(point-spread-function: PSF)를 생성한다.
수학식 2
Figure PCTKR2016002513-appb-M000002
임의의 좌표 m,n에 대하여 점확산함수 h(m,n)은 xk, yk만큼 이동된 임펄스 함수(impulse function)
Figure PCTKR2016002513-appb-I000002
의 합으로 정의된다.
주어진 공간불변 점확산함수에서, 모션 블러의 이미지 열화 모델(image degradation model)은 다음과 벡터-매트릭스 형태로 주어진다.
수학식 3
Figure PCTKR2016002513-appb-M000003
여기서, g는 모션 블러 이미지, H는 열화 매트릭스, f는 모션 블러가 없는 이상적인 이미지이고,
Figure PCTKR2016002513-appb-I000003
은 가산 노이즈이다.
이미지 사이즈가
Figure PCTKR2016002513-appb-I000004
이라 할 때, g, f 및
Figure PCTKR2016002513-appb-I000005
은
Figure PCTKR2016002513-appb-I000006
사전식(lexicographically) 차수 벡터로 표현되고, H는 점확산함수에 의해 정의되는
Figure PCTKR2016002513-appb-I000007
의 블록 순환 매트릭스(block circulant matrix)이다.
본 발명의 일 실시예에서는 내장 센서를 이용하여 모션 궤도를 분석하고, 투사 매트릭스를 계산한다.
모션 점확산함수를 추정하기 위해, 각 장면(scene)의 포인트들은 투사 매트릭스에 따라 이미지 평면으로 투사된다.
이하에서는 카메라 모션 추적을 이용한 점확산함수의 추정을 설명한다.
모션 점확산함수의 사이즈 및 모양을 추정함에 있어 단지 카메라의 상대적인 위치만이 필요하다.
이는 상기한 수학식 2에 나타난 바와 같이, 점확산함수가 카메라의 움직임에 따른 첫 번째 위치에서 마지막 위치까지의 반사된 밝기(reflected intensities)의 총합이기 때문이다.
각 카메라의 위치는 이미지 평면에 투사되고, planar homography를 이용하여 다음과 같이 표현될 수 있다.
수학식 4
Figure PCTKR2016002513-appb-M000004
여기서, C는 카메라의 고유(intrinsic) 매트릭스, R은 회전(rotation) 매트릭스, d는 장면 뎁스(scene depth), t는 변환 벡터(translation vector), nv는 이미지 평면에서 정규 벡터이다.
모션 궤도 및 카메라 이동(translation) 사이의 관계가 도 2에 도시되고, 이미지 평면에서 모션 궤도 는 수학식 5에 의해 계산된다.
수학식 5
Figure PCTKR2016002513-appb-M000005
여기서,
Figure PCTKR2016002513-appb-I000009
및
Figure PCTKR2016002513-appb-I000010
는 각각 초점 거리(focal length) 및 카메라의 이동을 나타낸다.
만일, 장면 뎁스가 초점 거리보다 충분히 큰 것으로 가정할 때, 모션 궤도는 무시될 수 있다. 이러한 이유 때문에, 카메라 이동은 장면 뎁스가 큰 조건 하에서는 모션 점확산함수에 영향을 미치지 않는다. 따라서 수학식 4는 아래와 같이 간략화된다.
수학식 6
Figure PCTKR2016002513-appb-M000006
카메라 좌표는 카메라의 광학 축에 놓여진 글로벌 좌표에서 정렬된 것으로 가정된다.
이러한 상황에서, 카메라 매트릭스 C는 아래의 식과 같이 초점 거리에 의해 결정된다.
수학식 7
Figure PCTKR2016002513-appb-M000007
작은 각도 근사(small-angle approximation) 및 공간불변 모션 블러를 이용한 회전 매트릭스는 다음 식을 통해 계산된다.
수학식 8
Figure PCTKR2016002513-appb-M000008
여기서,
Figure PCTKR2016002513-appb-I000011
및
Figure PCTKR2016002513-appb-I000012
는 x축 및 y축 주변의 i번째 각속도를 나타낸다.
여기서, 작은
Figure PCTKR2016002513-appb-I000013
에 대해
Figure PCTKR2016002513-appb-I000014
이므로 투사 매트릭스는 다음과 같이 표현될 수 있다.
수학식 9
Figure PCTKR2016002513-appb-M000009
본 발명의 일 실시예에 따르면, 도 3에 도시된 바와 같이, 카메라의 모션에 따른 각속도 추정을 위해 자이로 데이터를 이용하고, 이미지 평면 상에서 이에 상응하게 투사된 위치(투사 궤도)를 계산한다.
이상적인 조건 하에서, 투사된 궤도는 카메라 모션의 점확산함수와 같다.
그러나, 자이로 데이터는 실제 환경에서는 노이즈를 포함한다. 보다 상세하게, 노이즈가 있는 자이로 데이터는 이미지 평면 상에서 투사된 위치와 실제 점확산함수 샘플 사이에 잘못된 매칭을 초래한다.
노이즈를 포함하는 자이로 데이터를 이용하여 점확산함수의 강인한 추정을 위해, 본 실시예에서는 투사된 궤도가 가우시안 분포를 따르는 것으로 가정한다.
그 결과, 투사된 궤도는 가우시안 분포의 합으로 구성된다.
수학식 10
Figure PCTKR2016002513-appb-M000010
도 4a에 도시된 바와 같이, 결과적으로 카메라 모션의 점확산함수는 가우시안 분포를 이용하여 재가중화된(reweighted) 궤도의 누적이 된다.
도 4b에 도시된 바와 같이, 가우시안 분포는 고정된 카메라의 자이로 데이터의 분석에 의해 추정된다.
본 발명에서, 블러 프레임과 동기화된 자이로 데이터를 얻기 위해, C. Jia and B. Evans, “Probabilistic 3-D motion estimation for rolling shutter video rectification from visual and inertial measurements,” in Proceedings of the IEEE 14th International Workshop onMultimedia Signal Processing(MMSP ’12), pp. 203-208, September 2012.에서 제안된 Sensor Data Logger를 사용한다.
자이로 데이터 및 이에 상응하는 블러 프레임은 타임스탬프되고, 셔터의 열림 및 닫힘 시간 모두는 지연을 분석하기 위해 기록된다.
이하에서는 국부 통계를 이용하여 공간 적응적(가변적)으로 이미지를 복원하는 과정을 설명한다.
모션 점확산함수가 추정되면, 모션 블러가 있는 이미지의 복원이 간단해 진다.
최근 많은 이미지 복원 방법이 이미지 열화 변수의 다양한 타입을 제거하기 위해 제안되고 있다 이미지 복원은 불량조건문제이기 때문에 규격화된 솔루션은 종종 복잡한 계산을 요구한다.
원하지 않는 아티팩트 없이 모션 블러를 제거하기 위해, 본 실시예에 따른 이미지 복원 방법은 아래의 식으로 정의되는 에너지 함수를 최소화하는 국부 통계를 이용하여 표현된다.
수학식 11
Figure PCTKR2016002513-appb-M000011
여기서,
Figure PCTKR2016002513-appb-I000015
은 유클리디언 놈(norm)이고, "
Figure PCTKR2016002513-appb-I000016
"은 element-wise multiplication 연산자이고,
Figure PCTKR2016002513-appb-I000017
은 공간 가변 액티비티 맵이고, C는 하이패스필터이고,
Figure PCTKR2016002513-appb-I000018
는 각각 수평 및 수직 정규화(regularization) 변수이고, D1 및 D2는 각각 수평 및 수직 미분 연산자이다.
만일 추정된 f가 링잉(ringing) 또는 노이즈 증폭과 같은 아티팩트를 가진다면, D1f는 뚜렷한 전이(sharp transition)를 가지고, 이에 따라
Figure PCTKR2016002513-appb-I000019
는 커지게 된다.
최소화 문제의 해는 아래와 같이 수학식 11의 미분을 0으로 만드는 식을 풀어서 얻어진다.
수학식 12
Figure PCTKR2016002513-appb-M000012
수학식 13
Figure PCTKR2016002513-appb-M000013
수학식 14
Figure PCTKR2016002513-appb-M000014
링잉 아티팩트는 엣지 및 경계 근처에서 나타나기 때문에, 엣지가 유지되는 동안 공간 적응적 액티비티 맵이 링잉 아티팩트를 제거하기 위해 사용된다.
수학식 15
Figure PCTKR2016002513-appb-M000015
여기서,
Figure PCTKR2016002513-appb-I000020
은 입력 이미지에서 (x,y) 이웃의 국부적 분산을 나타내고, pt는 액티비티 맵이 가능한 [0,1]에 분포되도록 조절 가능한 변수이다.
본 실시예에서는 국부적 분산을 위해 5×5 블록에 대해 가장 좋은 pt=1500이 경험적으로 사용되었다.
매트릭스 T는 수학식 13에서와 같이 공간 불변 모션 점확산함수를 위한 블록-순환(block circulant)이기 때문에, 수학식 12에서 선형식은 2차원 이산 퓨리에 변환을 이용하여 풀어질 수 있다.
여기서,
Figure PCTKR2016002513-appb-I000021
,
Figure PCTKR2016002513-appb-I000022
,
Figure PCTKR2016002513-appb-I000023
,
Figure PCTKR2016002513-appb-I000024
Figure PCTKR2016002513-appb-I000025
및
Figure PCTKR2016002513-appb-I000026
은 추정된 이미지, 관측 이미지, 점확산함수, 미분 필터, 액티비티 맵 및 하이패스 필터의 이산 퓨리에 변환들이다. 따라서, 복원 문제는 다음과 같이 주어진다.
수학식 16
Figure PCTKR2016002513-appb-M000016
여기서 복원 이미지
Figure PCTKR2016002513-appb-I000027
은
Figure PCTKR2016002513-appb-I000028
의 역 이산 퓨리에 변환이다.
한편, 본 발명의 실시예에 따른 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다.
본 발명의 일 실시예에 따른 모션 블러 이미지 복원 장치는 프로세서 및 메모리를 포함할 수 있다.
프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(502)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(502)에는 프로세서(500)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
메모리에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (7)

  1. 모션 블러 이미지를 복원하는 방법으로서,
    내장 센서를 이용하여 카메라의 모션 궤도 및 투사 궤도를 계산하는 단계;
    상기 모션 궤도 및 투사 궤도를 이용하여 카메라 모션에 따른 점확산함수를 추정하는 단계; 및
    상기 추정된 점확산함수 및 공간 가변 액티비티 맵을 이용하여 모션 블러 이미지를 복원하는 단계를 포함하는 모션 블러 이미지 복원 방법.
  2. 제1항에 있어서,
    상기 내장 센서에서 센싱된 데이터는 카메라의 흔들림에 따른 각속도 추정을 위한 자이로 데이터이고,
    상기 투사 궤도는 가우시안 분포를 따르는 것으로 가정되는 모션 블러 이미지 복원 방법.
  3. 제2항에 있어서,
    상기 점확산함수는 상기 가우시안 분포를 이용하여 재가중화된 궤도의 누적으로 정의되는 모션 블러 이미지 복원 방법.
  4. 제1항에 있어서,
    상기 모션 블러 이미지 복원 단계는 에너지 함수를 최소화하는 국부 통계를 이용하여 아티팩트 없이 모션 블러를 제거하는 모션 블러 이미지 복원 방법.
  5. 제4항에 있어서,
    상기 에너지 함수는, 모션 블러 이미지, 열화 매트릭스, 모션 블러가 없는 이상적인 이미지, 상기 공간 가변 액티비티 맵, 하이패스 필터, 수평 및 수직 정규화 변수, 수평 및 수직 미분 연산자를 이용하여 정의되는 모션 블러 이미지 복원 방법.
  6. 제5항에 있어서,
    상기 공간 가변 액티비티 맵은 모션 블러 이미지에서 엣지가 유지되는 동안 링잉 아티팩트를 제거하기 위해 사용되는 모션 블러 이미지 복원 방법.
  7. 모션 블러 이미지를 복원하는 장치로서,
    프로세서; 및
    상기 프로세서에 연결된 메모리를 포함하며, 상기 메모리는,
    내장 센서를 이용하여 카메라의 모션 궤도 및 투사 궤도를 계산하고,
    상기 모션 궤도 및 투사 궤도를 이용하여 카메라 모션에 따른 점확산함수를 추정하고,
    상기 추정된 점확산함수 및 공간 가변 액티비티 맵을 이용하여 모션 블러 이미지를 복원하도록
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 모션 블러 이미지 복원 장치.
PCT/KR2016/002513 2015-06-16 2016-03-14 모션 블러 이미지 복원 방법 및 장치 WO2016204382A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/029,618 US9826162B2 (en) 2015-06-16 2016-03-14 Method and apparatus for restoring motion blurred image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0085274 2015-06-16
KR1020150085274A KR101596203B1 (ko) 2015-06-16 2015-06-16 모션 블러 이미지 복원 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016204382A1 true WO2016204382A1 (ko) 2016-12-22

Family

ID=55445581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/002513 WO2016204382A1 (ko) 2015-06-16 2016-03-14 모션 블러 이미지 복원 방법 및 장치

Country Status (3)

Country Link
US (1) US9826162B2 (ko)
KR (1) KR101596203B1 (ko)
WO (1) WO2016204382A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485685A (zh) * 2016-08-30 2017-03-08 重庆大学 一种基于两步复原的车载高质量成像方法
CN108305230A (zh) * 2018-01-31 2018-07-20 上海康斐信息技术有限公司 一种模糊图像综合处理方法和系统
KR102518373B1 (ko) 2019-02-12 2023-04-06 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
CN114354634B (zh) * 2022-01-17 2024-07-26 中国人民解放军空军勤务学院 基于磨粒图像自动采集与分析的磨损快速检测装置和方法
CN114565522A (zh) * 2022-01-24 2022-05-31 中国人民解放军战略支援部队航天工程大学 一种融合载体姿态运动信息的图像去模糊算法
KR102552683B1 (ko) 2023-01-05 2023-07-06 국방과학연구소 적외선 영상에 관한 블러 커널 생성 방법 및 장치
CN118552443B (zh) * 2024-07-25 2024-10-29 天津大学 运动图像点扩散函数的构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090027493A (ko) * 2007-09-12 2009-03-17 삼성전자주식회사 영상 복원 장치 및 방법
KR20100079658A (ko) * 2008-12-31 2010-07-08 포항공과대학교 산학협력단 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체
KR101181161B1 (ko) * 2011-05-19 2012-09-17 한국과학기술원 카메라 자체 움직임에 의한 이미지 블러를 제거하는 장치 및 방법, 그리고 그러한 방법이 컴퓨터상에서 실행하는 프로그램이 수록된 컴퓨터로 판독 가능한 기록매체
JP5596138B2 (ja) * 2010-05-21 2014-09-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4152398B2 (ja) * 2005-05-26 2008-09-17 三洋電機株式会社 手ぶれ補正装置
US8229244B2 (en) * 2009-03-30 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Multi-image deblurring
US8264553B2 (en) * 2009-11-12 2012-09-11 Microsoft Corporation Hardware assisted image deblurring
JP5237978B2 (ja) * 2010-02-12 2013-07-17 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5523231B2 (ja) * 2010-07-16 2014-06-18 オリンパス株式会社 撮像装置
WO2012140869A1 (ja) * 2011-04-12 2012-10-18 パナソニック株式会社 動き推定装置、奥行き推定装置、及び動き推定方法
US20150195461A1 (en) * 2014-01-03 2015-07-09 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for image correction
EP3117597A1 (en) * 2014-03-12 2017-01-18 Sony Corporation Method, system and computer program product for debluring images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090027493A (ko) * 2007-09-12 2009-03-17 삼성전자주식회사 영상 복원 장치 및 방법
KR20100079658A (ko) * 2008-12-31 2010-07-08 포항공과대학교 산학협력단 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체
JP5596138B2 (ja) * 2010-05-21 2014-09-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
KR101181161B1 (ko) * 2011-05-19 2012-09-17 한국과학기술원 카메라 자체 움직임에 의한 이미지 블러를 제거하는 장치 및 방법, 그리고 그러한 방법이 컴퓨터상에서 실행하는 프로그램이 수록된 컴퓨터로 판독 가능한 기록매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHUNG-ANG UNIVERSITY INDUSTRY-ACADEMY COOPERATION FOUNDATION: "Fast Motion Deblurring Using Sensor-Aided Motion Trajectory Estimation", THE SCIENTIFIC WORLD JOURNAL, 4 November 2014 (2014-11-04), pages 1 - 8, XP055337734 *

Also Published As

Publication number Publication date
US9826162B2 (en) 2017-11-21
US20170104933A1 (en) 2017-04-13
KR101596203B1 (ko) 2016-02-22

Similar Documents

Publication Publication Date Title
WO2016204382A1 (ko) 모션 블러 이미지 복원 방법 및 장치
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN108447097B (zh) 深度相机标定方法、装置、电子设备及存储介质
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
CN112369009B (zh) 用于创建场景的超分辨率图像的光学图像稳定移动
US10007990B2 (en) Generating composite images using estimated blur kernel size
GB2407226A (en) Preserving intentional movement information while correcting for unintentional movement of an imaging device
WO2013168998A1 (en) Apparatus and method for processing 3d information
JPH1124122A (ja) 手ぶれ画像補正方法および手ぶれ画像補正装置並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN111383282B (zh) 位姿信息确定方法及装置
CN108933896B (zh) 基于惯性测量单元的全景视频稳像的方法及系统
CN103402056A (zh) 应用于图像捕获设备的补偿处理方法和系统
CN105069753A (zh) 一种面向移动终端的抖动模糊图像复原方法
WO2016021830A1 (ko) Nui 장치에 의해 수집된 동작정보의 보정 방법 및 장치
Zhang et al. Combining inertial measurements with blind image deblurring using distance transform
WO2013047954A1 (ko) 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법
WO2014157765A1 (ko) 왜곡 영상 보정 장치 및 방법
Sindelar et al. Space-variant image deblurring on smartphones using inertial sensors
CN116934654B (zh) 图像模糊度的确定方法及其相关设备
CN117876287A (zh) 一种成像模糊度的测量方法及相关装置
WO2022250267A1 (ko) 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치
Li et al. An LMI approach for reliable PTZ camera self-calibration
JP6301202B2 (ja) 撮影条件設定装置および撮影条件設定方法
O'Sullivan et al. Empirical modelling of rolling shutter effect
WO2023239096A1 (en) Restoring images using deconvolution

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15029618

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811795

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16811795

Country of ref document: EP

Kind code of ref document: A1