KR20100077551A - 동영상의 흔들림 보정 장치 및 동영상의 흔들림 보정 방법 - Google Patents
동영상의 흔들림 보정 장치 및 동영상의 흔들림 보정 방법 Download PDFInfo
- Publication number
- KR20100077551A KR20100077551A KR1020080135518A KR20080135518A KR20100077551A KR 20100077551 A KR20100077551 A KR 20100077551A KR 1020080135518 A KR1020080135518 A KR 1020080135518A KR 20080135518 A KR20080135518 A KR 20080135518A KR 20100077551 A KR20100077551 A KR 20100077551A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- motion vector
- parameter
- image
- local motion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 41
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000007704 transition Effects 0.000 claims description 8
- 230000006641 stabilisation Effects 0.000 claims description 4
- 238000011105 stabilization Methods 0.000 claims description 4
- 239000003381 stabilizer Substances 0.000 claims 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
실시예에 따른 동영상의 흔들림 보정 장치는 현재 프레임과 이전 프레임을 선택하는 이미지 선택부; 상기 프레임의 소정 영역을 샘플링하는 전처리부; 및
실시예에 의하면, 동영상의 흔들림을 영상처리를 통하여 보정함에 있어서, 불필요한 연산을 배제함으로써 연산량을 최소화할 수 있고, 모션 벡터의 정확도를 높일 수 있다.
동영상 프레임, 흔들림 보정, FOV, 모션 벡터, 블록 매칭, 가우시언 피라미 드
Description
실시예는 동영상의 흔들림 보정 장치 및 동영상의 흔들림 보정 방법에 관한 것이다.
카메라폰, 디지털 카메라, 디지털 캠코더 등을 이용하여 동영상을 촬영하는 경우 손떨림에 의하여 동영상이 흔들리고 열화되기 쉽다. 이러한 동영상 흔들림 보정 기술로는 다음과 같은 예를 들 수 있다.
첫째, 카메라에 자이로(Gyroscope)와 가속도계 등 관성계측계(IMU, Inertial Measurement Unit)와 이미지 센서 혹은 렌즈/센서 유닛을 움직이게 하는 액츄에이터를 장착하여 관성계측계로부터 움직임(각가속도, 가속도 등)이 감지되면 움직임만큼 액츄에이터로 보정하는 기술이 있다. 이와 같은 기계적 보정 방법은 높은 정확도를 가지나 제작이 어렵고 생산 비용이 증가되는 단점이 있다.
둘째, 촬영된 영상의 움직임을 이미지 프로세서를 통하여 판단하고, 영상 처리를 통하여 움직임을 보정하는 기술이 있다. 이와 같은 소프트웨어적 보정 방법은 그레이 코드 비트 평면 마스크(Gray-coded Bit plane Mask)를 이용하는 방법, 블록 매칭(block matching)을 이용하는 방법 등이 있으며, 기계적 보정 방법에 비하여 구현이 용이하고 생산 비용이 적게 들며, 카메라 사이즈를 최소화할 수 있는 장점이 있다. 예를 들어, 상기 블록 매칭을 이용하는 방법에 대하여 간략히 살펴보면 다음과 같다.
첫째, 동영상을 구성하는 다수의 프레임 중 이전 프레임과 현재 프레임을 소정 크기의 블록으로 분할한다. 둘째, 블록을 이루는 각 화소의 기울기를 구하고, 블록 단위로 기울기의 합을 계산한다. 셋째, 이전 프레임의 어느 블록을 지정하고, 지정된 블록에 대응되는 현재 프레임의 블록 및 주변 블록을 선별한다. 넷째, 이전 프레임의 지정된 블록 및 현재 프레임의 선별된 블록들의 기울기의 합을 비교한다. 다섯째, 비교 결과, 가장 유사한 수치를 가진 이전 프레임의 블록과 현재 프레임의 블록을 추출하고, 추출된 이전 프레임의 블록이 현재 프레임의 블록으로 이동한 것으로 가정한다. 여섯째, 추출된 이전 프레임의 블록과 현재 프레임의 블록의 위치로부터 로컬 모션 벡터(motion vector; "optical flow"라고도 지칭됨)를 구한다. 일곱째, 셋째 단계 내지 여섯째 단계를 반복하여 다수의 로컬 모션 벡터를 구하고, 다수의 로컬 모션 벡터로부터 전체 이미지의 이동도, 즉 전체 모션 벡터를 계산한다. 여덟째, 전체 모션 벡터의 반대 방향으로 현재 프레임을 이동시킴으로써 이미지 흔들림을 보상한다.
이와 같은 과정에서, 블록의 크기가 클수록 모션 벡터의 정확도는 저하되고, 블록의 크기가 클수록 연산량은 많아진다. 또한, 비교를 위하여 선별되는 주변 블록들의 거리가 멀수록 연산량이 증가되고, 로컬 모션 벡터를 구하기 위해서는 블록 의 크기를 소정 수치 이상으로 크게 해야 하므로, 필연적으로 수반되는 오차를 감수해야 하는 문제점이 있다.
또한, 흔들림 보상을 위하여 프레임을 이동시키는 경우, 이미지 둘레의 영역은 원래의 이미지 영역을 벗어나게 되므로 손실되고, 결국 중앙부의 이미지 만이 보정된다. 이는 최초 촬영된 영상 전체를 동영상 프레임으로 이용할 수 없음을 의미한다.
실시예는 불필요한 연산을 배제하여 연산량을 최소화하면서도 모션 벡터의 정확도를 높일 수 있는 동영상의 흔들림 보정 장치 및 동영상의 흔들림 보정 방법을 제공한다.
실시예에 따른 동영상의 흔들림 보정 장치는 현재 프레임과 이전 프레임을 선택하는 이미지 선택부; 상기 프레임의 소정 영역을 샘플링하는 전처리부; 및
실시예에 따른 동영상의 흔들림 보정 방법은 현재 프레임과 이전 프레임이 선택되는 단계; 상기 프레임의 소정 영역이 샘플링되는 단계; 및
실시예에 의하면, 다음과 같은 효과가 있다.
첫째, 동영상의 흔들림을 영상처리를 통하여 보정함에 있어서, 불필요한 연산을 배제함으로써 연산량을 최소화할 수 있고, 모션 벡터의 정확도를 높일 수 있다.
둘째, 이전 프레임과 현재 프레임의 시야각 변화를 제거하며, 과도한 전단 변형(shearing)으로 인한 이미지 왜곡 현상을 방지할 수 있다.
셋째, 흔들림 보정 모델을 단순화하여 칩제조 시의 로직의 크기를 감소시킬 수 있고, 불필요한 트랜지션(transition), 로테이션(rotation) 등의 처리를 배제시킴으로써 보정된 프레임의 FOV(Field Of View)를 일정하게 유지할 수 있다.
첨부된 도면을 참조하여, 실시예에 따른 동영상의 흔들림 보정 장치 및 흔들림 보정 방법에 대하여 설명한다.
이하, 실시예를 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되므로 본 발명의 기 술적 사상과 직접적인 관련이 있는 핵심적인 구성부만을 언급하기로 한다.
도 1은 실시예에 따른 동영상의 흔들림 보정 장치(100)의 구성요소를 개략적으로 도시한 블록도이고, 도 2는 실시예에 따른 동영상의 흔들림 보정 방법을 도시한 흐름도이다.
이하, 도 1 및 도 2를 참조하여, 실시예에 따른 동영상의 흔들림 보정 장치 및 흔들림 보정 방법을 함께 설명하기로 한다.
도 1을 참조하면, 실시예에 따른 동영상의 흔들림 보정 장치(100)는 이미지 센서(200)와 연결된 이미지 선택부(110), 전처리부(120), 파라미터처리부(130), 문턱치(thresholding) 처리부(140) 및 보정부(150)를 포함하여 구성된다.
상기 이미지 선택부(110)는 상기 이미지 센서(200)로부터 촬영된 다수의 동영상 프레임을 전달받고, 이들 중 흔들림이 발생된 것으로 예상된 현재 프레임과 이전 프레임을 선택한다(S100).
상기 전처리부(120)는 상기 선택된 각 프레임의 소정 영역을 샘플링(subsampling)하고, 노이즈를 제거한다. 이때, 가우시안 피라미드(Gaussian Pyramid)가 이용될 수 있다(S105).
상기 파라미터처리부(130)는 어파인 트랜스폼(affine transform)을 처리하여 모션 벡터를 구하는데, 어파인 파라미터(affine parameter)를 찾기 위하여 다음과 같은 2-파라미터 모델을 사용한다(S110).
여기서, m1, m2는 각각 x축 트래지션(transition), y축 트랜지션을 위한 어파인 파라미터를 의미하고, x, y는 프레임의 x축 화소, y축 화소를 의미하며, t-1은 이전 프레임이 촬영된 시간, t는 현재 프레임이 촬영된 시간을 의미한다.
즉, 상기 파라미터처리부(130)는 이전 샘플링 프레임과 현재 샘플링 프레임이 동일하다는 가정 아래, 상기 수학식 1 모델을 사용하여 상기 어파인 파라미터를 결정한다.
상기 수학식 2는 테일러(taylor) 전개식으로 전개되면 다음과 같이 선형화된 어파인 모델로 정의된다(S120).
상기 파라미터처리부(130)는 이전 샘플링 프레임과 현재 샘플링 프레임이 동일하다는 가정 아래 상기 오차항()을 최소로 하는, 즉 ≒0을 만족하는 상기 어파인 파라미터들을 찾는다.
상기 파리미터처리부(130)는 상기 수학식 3을 다음과 같이 정리하여 모션 벡터를 구한다(S125).
따라서, 상기 파라미터처리부(130)는 불필요한 트랜지션(transition), 로테이션(rotation) 등의 처리를 배제시킴으로써 연산량을 최소화할 수 있고, 상기 모션 벡터의 정확도를 높일 수 있다.
이와 같이, 상기 모션 벡터가 구해지면, 상기 문턱치(thresholding) 처리부(140)는 상기 모션 벡터의 어파인 파라미터가 일정 범위 내에 존재하는지의 여부를 판단한다(S130).
판단 결과, 상기 어파인 파라미터가 일정 범위를 초과하는 것으로 판단되면(S130의 "아니오"), 상기 문턱치 처리부(140)는 상기 어파인 파라미터를 초기화한다(S135).
이는 흔들림 보상을 위하여 현재 프레임을 이동시키는 경우, 프레임이 너무 많이 이동하게 되면 원래의 이미지 영역을 벗어나는 이미지 둘레의 영역이 손실 허 용 범위를 초과하게 되므로 보정된 프레임의 FOV를 일정하게 유지할 수 없기 때문이다.
따라서, 상기 문턱치처리부(140)는 일정 범위를 초과한 어파인 파라미터는 무시하고, 상기 파라미터처리부(130)는 다음 샘플링 프레임에 대한 어파인 파라미터를 찾게 된다.
이후, 상기 전처리부(120), 상기 파라미터처리부(130), 상기 문턱치 처리부(140)가 동작되어 상기 샘플링 프레임들에 대한 다수의 모션벡터를 구하는 과정을 반복한다(S140의 "아니오").
샘플링 프레임들에 대한 다수의 로컬 모션벡터가 모두 구해지면(S140의 "예"), 상기 보정부(150)는 로컬 모션벡터를 취합하여 전체 프레임의 이동도, 즉 전체 모션 벡터를 결정한다(S145).
상기 보정부(150)는 상기 전체 모션 벡터의 반대 방향으로 현재 프레임을 이동시킴으로써 동영상의 흔들림을 보정한다(S150).
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 실시예에 따른 동영상의 흔들림 보정 장치의 구성요소를 개략적으로 도시한 블록도.
도 2는 실시예에 따른 동영상의 흔들림 보정 방법을 도시한 흐름도.
Claims (12)
- 제1항에 있어서,상기 프레임이 샘플링되는 단계 내지 상기 로컬 모션 벡터가 구해지는 단계가 반복처리되어 다수의 상기 로컬 모션 벡터가 구해지는 단계;상기 다수의 로컬 모션 벡터에 의하여 전체 모션 벡터가 결정되는 단계; 및상기 전체 모션 벡터에 의하여 현재 프레임이 보정되는 단계를 포함하는 것을 특징으로 하는 동영상의 흔들림 보정 방법.
- 제1항에 있어서,상기 로컬 모션 벡터가 구해진 후, 상기 어파인 파라미터가 일정 범위 내에 존재하는지 여부를 판단하는 단계; 및판단 결과, 상기 어파인 파라미터가 일정 범위 내에 존재하지 않으면 상기 어파인 파라미터가 초기화되는 단계를 포함하는 것을 특징으로 하는 동영상의 흔들림 보정 방법.
- 제1항에 있어서,상기 프레임의 소정 영역이 샘플링되는 단계는 가우시안 피라미드를 이용하는 것을 특징으로 하는 동영상의 흔들림 보정 방법.
- 제6항에 있어서, 상기 이미지 선택부는이미지 센서로부터 촬영된 다수의 동영상 프레임을 전달받는 것을 특징으로 하는 동영상의 흔들림 보정 장치.
- 제6항에 있어서, 상기 전처리부는가우시안 피라미드를 이용하여 상기 프레임의 소정 영역을 샘플링하는 것을 특징으로 하는 동영상의 흔들림 보정 장치.
- 제6항에 있어서, 상기 전처리부는상기 샘플링된 프레임의 노이즈를 제거하는 것을 특징으로 하는 동영상의 흔들림 보정 장치.
- 제6항에 있어서,상기 전처리부 및 상기 파라미터처리부가 순차적으로 반복동작되어 다수의 상기 로컬 모션 벡터가 구해지면, 상기 다수의 로컬 모션 벡터에 의하여 전체 모션 벡터를 결정하고, 상기 전체 모션 벡터에 의하여 현재 프레임을 보정하는 보정부를 더 포함하는 것을 특징으로 하는 동영상의 흔들림 보정 장치.
- 제6항에 있어서,상기 로컬 모션 벡터가 구해진 후, 상기 어파인 파라미터가 일정 범위 내에 존재하는지 여부를 판단하고, 상기 어파인 파라미터가 일정 범위 내에 존재하지 않으면 상기 어파인 파라미터를 초기화시키는 문턱치 처리부를 더 포함하는 것을 특징으로 하는 동영상의 흔들림 보정 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080135518A KR20100077551A (ko) | 2008-12-29 | 2008-12-29 | 동영상의 흔들림 보정 장치 및 동영상의 흔들림 보정 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080135518A KR20100077551A (ko) | 2008-12-29 | 2008-12-29 | 동영상의 흔들림 보정 장치 및 동영상의 흔들림 보정 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20100077551A true KR20100077551A (ko) | 2010-07-08 |
Family
ID=42638887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080135518A KR20100077551A (ko) | 2008-12-29 | 2008-12-29 | 동영상의 흔들림 보정 장치 및 동영상의 흔들림 보정 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20100077551A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101502864B1 (ko) * | 2013-07-01 | 2015-03-17 | 경희대학교 산학협력단 | 가속도 센서를 사용한 비디오 카메라의 앵글 흔들림 보정 장치 및 그 방법과, 그 장치를 포함하는 휴대용 단말 |
CN112352433A (zh) * | 2018-12-28 | 2021-02-09 | Jvc建伍株式会社 | 动图像编码装置、动图像编码方法以及动图像编码程序、动图像解码装置、动图像解码方法以及动图像解码程序 |
-
2008
- 2008-12-29 KR KR1020080135518A patent/KR20100077551A/ko not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101502864B1 (ko) * | 2013-07-01 | 2015-03-17 | 경희대학교 산학협력단 | 가속도 센서를 사용한 비디오 카메라의 앵글 흔들림 보정 장치 및 그 방법과, 그 장치를 포함하는 휴대용 단말 |
CN112352433A (zh) * | 2018-12-28 | 2021-02-09 | Jvc建伍株式会社 | 动图像编码装置、动图像编码方法以及动图像编码程序、动图像解码装置、动图像解码方法以及动图像解码程序 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2849428B1 (en) | Image processing device, image processing method, image processing program, and storage medium | |
JP5414405B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US8274570B2 (en) | Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program | |
US7605845B2 (en) | Motion stabilization | |
JP4926920B2 (ja) | 防振画像処理装置及び防振画像処理方法 | |
JP6202879B2 (ja) | ローリングシャッタ歪み補正と映像安定化処理方法 | |
KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
CN102318334B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
WO2004056089A2 (en) | Image stabilisation system and method | |
CN109618103B (zh) | 无人机图传视频的防抖方法及无人机 | |
CN106550187B (zh) | 用于图像稳定的设备和方法 | |
KR20150011938A (ko) | 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치 | |
JP2008042874A (ja) | 画像処理装置、画像復元方法およびプログラム | |
KR101202642B1 (ko) | 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치 | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
KR20100077551A (ko) | 동영상의 흔들림 보정 장치 및 동영상의 흔들림 보정 방법 | |
US10422634B2 (en) | Estimating device and estimating program | |
JP6505501B2 (ja) | ローリングシャッタ回転歪み補正と映像安定化処理方法 | |
US9324160B2 (en) | System and method for stabilizing digital image sequences | |
KR101636233B1 (ko) | 카메라 촬영영상 안정화장치 및 그 방법 | |
CN108632528B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP5511403B2 (ja) | 画像処理装置およびその制御方法 | |
KR101429509B1 (ko) | 손떨림 보정 장치 | |
Battiato et al. | Video Stabilization. | |
JP2021044653A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |