KR20070061157A - 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템 - Google Patents

모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템 Download PDF

Info

Publication number
KR20070061157A
KR20070061157A KR1020060052758A KR20060052758A KR20070061157A KR 20070061157 A KR20070061157 A KR 20070061157A KR 1020060052758 A KR1020060052758 A KR 1020060052758A KR 20060052758 A KR20060052758 A KR 20060052758A KR 20070061157 A KR20070061157 A KR 20070061157A
Authority
KR
South Korea
Prior art keywords
camera
image
motion blur
motion
external
Prior art date
Application number
KR1020060052758A
Other languages
English (en)
Other versions
KR100805802B1 (ko
Inventor
유정재
박창준
이인호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20070061157A publication Critical patent/KR20070061157A/ko
Application granted granted Critical
Publication of KR100805802B1 publication Critical patent/KR100805802B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 영화 제작이나 컴퓨터 그래픽스(CG: Computer Graphics) 광고 등의 영상물 제작시에 사용되는 증강현실에 이용하기 위해 모션 블러(Motion Blur)가 심한 영상에서 카메라의 정확한 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 획득하기 위한, 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 카메라 자동보정 장치에 있어서, 영상 입력수단을 통해 입력된 모션 블러(Motion Blur)가 심한 영상을 가우시안 스무딩시켜 카메라 모션(이동)에 의해 명암도(Intensity)가 번지는 현상을 제거하기 위한 가우시안 스무딩수단; 상기 가우시안 스무딩된 영상에서 카메라 모션의 외부변수 및 내부변수를 획득하기 위한 카메라 정보 획득수단; 및 상기 획득된 외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생한 영상을 복원 필터를 이용하여 필터링하기 위한 복원 필터수단을 포함하되, 복원된 영상의 모션 블러 정도에 따라 가우시안 스무딩 수단 및 카메라 정보 획득수단에서 가우시안 스무딩 과정 및 내/외부변수 획득과정을 반복 수행하는 것을 특징으로 한다.
4. 발명의 중요한 용도
본 발명은 모션 블러 현상이 발생한 영상에서의 증강현실 등에 이용됨.
모션 블러, 가우시안 스무딩, 카메라 자동보정, 특징점, 외부변수, 내부변수, 증강현실

Description

모션 블러가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템{Apparatus and method for camera auto-calibration in motion blurred sequence, Augmented reality system using it}
도 1 은 종래의 카메라 보정에 사용되는 직육면체 보정물체의 형상을 보여주는 설명도,
도 2 는 종래의 모션 블러(Motion Blur) 현상으로 인하여 시스템 성능의 저하를 초래하는 특징점(Natural Feature Point)들이 검출되는 영상을 보여주는 설명도,
도 3 은 본 발명에 따른 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그를 이용한 증강현실 시스템에 대한 일실시예 구성도,
도 4 는 본 발명에 따라 가우시안 스무딩(Gaussian Smoothing)으로 인하여 모션 블러(Motion Blur) 현상이 제거된 영상을 보여주는 일실시예 설명도,
도 5 는 본 발명에 따른 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 방법에 대한 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호 설명
10 : 카메라 자동보정 장치 11 : 영상 입력부
12 : 가우시안 스무딩부 13 : 카메라 정보 획득부
14 : 복원 필터링부 20 : 증강현실 시스템
본 발명은 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템에 관한 것으로, 더욱 상세하게는 영화 제작이나 컴퓨터 그래픽스(CG: Computer Graphics) 광고 등의 영상물 제작시에 사용되는 증강현실에 이용하기 위해 모션 블러(Motion Blur)가 심한 영상에서 카메라의 정확한 외부변수 및 내부변수의 값을 획득하는, 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템에 관한 것이다.
본 발명에서 '증강현실'이란, 실사영상에 그래픽 객체를 삽입하는 기술을 의미하고, '외부변수'는 카메라의 움직임정보를 나타내며, '내부변수'는 카메라의 초점거리(Focal Length), 빗살무늬(Skew), 영상비(Aspect Ratio), 주점(Principal Point)을 포함하는 카메라의 상태정보를 나타낸다.
일반적으로, 카메라를 통해 획득한 동영상으로부터 피사체의 기하학적인 정보와 촬영시 카메라의 움직임정보(외부변수) 및 상태정보(내부변수)의 값을 획득하 고자 할 경우에는, 카메라로부터 획득한 영상정보 및 피사체의 실질적인 기하학정보 사이의 변수를 추정하는 카메라 보정과정이 필수적으로 요구된다. 영상 촬영시 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 획득하고자 할 경우, 가장 쉽고 정확하게 사용될 수 있는 방법은 움직임 제어 카메라(Motion Control Camera)를 이용하여 하드웨어적으로 카메라의 정보를 얻는 방법인데, 이 방법은 기 촬영된 영상에 대해서는 적용이 불가능하고, 움직임 제어 카메라(MCC)의 장비가 매우 고가라는 문제점이 있다. 따라서, 영상처리 기법에 기반해서 소프트웨어적으로 카메라 자동보정을 수행하는 방법들이 연구되어 왔는데, 이들은 크게 '인공보정 물체를 이용하는 방법'과 '특징점(Natural Feature)을 이용하는 자율보정 방법'으로 구분되어 진다.
여기서, '인공보정 물체를 이용하는 방법'은, 도 1과 같은 3차원 직육면체 모양의 보정기구를 촬영하여 그 직육면체의 기하학적인 관계를 풀어냄으로써, 자동보정을 수행하는 방법이다. 이 방법은 현재까지 가장 널리 사용되어 왔으며, 비교적 정확한 결과를 배출하는 장점이 있지만, 보정 물체가 전형적인 직육면체의 특성을 갖고 있어야 하며, 자동보정을 수행하려는 영상 시퀀스(sequence)에 반드시 보정 물체의 모습이 잡혀야 한다는 한계가 있어, 실사 합성을 위한 카메라 자동보정 방법으로는 적합하지 않다.
한편, '자율보정 방법'은, 여러 각도에서 촬영된 영상으로부터 특징점(Natural Feature Point)을 추출하고 각각의 대응점의 정보만을 이용하여 보정을 수행하는 방법으로, 일단 각각의 프레임에서 대응점들의 위치가 확인되면 모든 프 레임을 두 장씩 짝을 지어 기초행렬(Fundamental Matrix) 또는 필수행렬(Essential Matrix)을 이용하거나, 세 장씩 짝을 지어 삼중텐서(Trifocal Tensor)를 이용하여 사영복원(Projective Reconstruction)을 수행한 후, "Richard Hartley"가 제안한 방법인 "IAC(Image of Absolute Conic)"에 대한 가정을 두고, 이를 바탕으로 카메라 내부변수 행렬을 구하고 카메라 사영행렬(Projection Matrix)을 사영공간(Projective Space)에서 거리공간(Metric Space)으로 변형시켜 주는 변환 행렬을 구하는 방법이다. 이 방법은, 상기 '인공보정 물체를 이용하는 방법'에서와 같이 인공보정 물체를 사용하지 않기 때문에 실사 합성을 위해서 유용하게 이용될 수 있지만, 각각의 프레임에서 대응점들간의 연결관계를 찾는 과정에서 노이즈가 첨가되어 성능의 열화를 초래할 위험이 크며, 실제로 노이즈에 강한(robust) 시스템을 만들기 위해 많은 부분에 LM(Levenberg Marquardt)알고리즘이 삽입되어야 한다. 한편, 특징점 추출 단계에서는 현재까지 KLT 특징 트래커(Kanade-Lucas-Tomasi Feature Tracker)가 대응점들의 관계를 일관성 있게 추출하는데 가장 우수한 성능을 보이는 것으로 알려졌지만, 이 방법 역시 카메라의 빠른 움직임으로 인해 모션 블러(Motion Blur)가 발생하는 경우, 도 2와 같이 성능 열화를 초래할 수 있는 잘못된 특징점들을 상당수 추출하여, 이 방법 또한 실사 합성을 위한 카메라 자동보정 방법으로는 적합하지 않다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 영화 제작이나 컴 퓨터 그래픽스(CG: Computer Graphics) 광고 등의 영상물 제작시에 사용되는 증강현실에 이용하기 위해 모션 블러(Motion Blur)가 심한 영상에서 카메라의 정확한 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 획득하기 위한, 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 카메라 자동보정 장치에 있어서, 영상 입력수단을 통해 입력된 모션 블러(Motion Blur)가 심한 영상을 가우시안 스무딩시켜 카메라 모션(이동)에 의해 명암도(Intensity)가 번지는 현상을 제거하기 위한 가우시안 스무딩수단; 상기 가우시안 스무딩된 영상에서 카메라 모션의 외부변수 및 내부변수를 획득하기 위한 카메라 정보 획득수단; 및 상기 획득된 외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생한 영상을 복원 필터를 이용하여 필터링하기 위한 복원 필터수단을 포함하되, 복원된 영상의 모션 블러 정도에 따라 가우시안 스무딩 수단 및 카메라 정보 획득수단에서 가우시안 스무딩 과정 및 내/외부변수 획득과정을 반복 수행하는 것을 특징으로 한다.
그리고, 본 발명은, 상기 카메라 자동 보정 장치에 의해 획득된 내/외부변수를 이용하여 영상을 제작하는 증강 현실 시스템에 있어서, 상기 카메라 자동 보정 장치를 통해 획득된 카메라의 움직임 정보를 나타내는 외부변수와 카메라의 상태정보를 나타내는 내부변수를 바탕으로, 모션 블러가 심한 영상에 그래픽 객체를 삽입하는 것을 특징으로 한다.
한편, 본 발명은, 카메라 자동보정 방법에 있어서, 영상 입력수단을 통해 입력된 모션 블러가 심한 영상을 가우시안 스무딩시켜 카메라 모션(이동)에 의해 명암도(Intensity)가 번지는 현상을 제거하는 가우시안 스무딩 단계; 상기 가우시안 스무딩된 영상에서 카메라의 외부변수 및 내부변수를 획득하는 카메라 정보 획득 단계; 상기 획득된 외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생된 영상을 복원 필터를 이용하여 필터링하는 복원 필터링 단계; 및 복원된 영상의 모션 블러 정도에 따라, 상기 가우시안 스무딩 단계 및 상기 카메라 정보 획득 단계를 반복 수행하는 단계를 포함하여 이루어진 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 3 은 본 발명에 따른 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그를 이용한 증강현실 시스템에 대한 일실시예 구성도이다.
도 3에 도시된 바와 같이, 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치(10)는, 영상을 입력받기 위한 영상 입력부(11)와, 영상 입력부(11)에 입력된 영상을 가우시안 스무딩(Gaussian Smooting)시켜 카메라 모션(이동)에 의한 명암도(Intensity)가 번지는 현상을 제거하기 위한 가우시안 스무딩부(12)와, 가우시안 스무딩부(12)에 의해 가우시안 스무딩(Gaussian Smoothing)된 영상으로부터 카메라 모션의 외부변수(카메라의 움직임정보) 및 내부변수(카메라 상태정보)를 획득하기 위한 카메라 정보 획득부(13)와, 카메라 정보 획득부(13)에 의해 획득된 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 바탕으로, 모션 블러(Motion Blur)가 심한 원 영상으로부터 모션 블러(Motion Blur) 현상을 제거하기 위해 복원 필터(Restoration Filter)를 이용하여 필터링하기 위한 복원 필터링부(14)를 포함하되, 복원된 영상의 모션 블러 정도에 따라 가우시안 스무딩부(12) 및 카메라 정보 획득부(13)에서 가우시안 스무딩 과정 및 내/외부변수 획득과정을 반복 수행한다.
한편, 증강현실 시스템(20)은 카메라 자동보정 장치(10)에 의해 획득된 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)를 이용하여, 모션 블러(Motion Blur)가 심한 영상에 그래픽 객체를 삽입한다.
여기서, 가우시안 스무딩부(12)는 하기의 [수학식 1]과 같은 필터를 사용하여 입력된 영상을 가우시안 스무딩(Gaussian Smoothing)시킨다. 하기의 [수학식 1] 은 가우시안 함수를 이용한 일종의 저대역 통과 필터(Low Pass Filter)를 나타낸다.
Figure 112006041142484-PAT00001
상기 [수학식 1]에서,
Figure 112006041142484-PAT00002
는 2차원 영상에 대응되는 주파수 영역의 2차원 공간에서의 좌표를 나타내고,
Figure 112006041142484-PAT00003
는 해당 주파수 위치에서의 명암도(Intensity)를 나타낸다. 그리고,
Figure 112006041142484-PAT00004
는 가우시안 함수의 폭을 조절하는 파라미터로서, 스무딩(Smoothing)되는 정도를 조절하는데, 이때
Figure 112006041142484-PAT00005
는 입력 영상의 모션 블러(Motion Blur)의 정도에 따라 적절하게 설정한다. 다만, 도 4에서는 5 픽셀(pixel)로 설정하였다.
상기 [수학식 1]의 가우시안 함수를 이용한 저대역 통과 필터(Low Pass Filter)에 영상 입력부(11)에 입력된 영상을 통과시킴으로써, 빗살무늬로 나타나던 모션 블러 현상(Motion Blur Artifact)이 제거됨을 확인할 수 있다(하기의 도 4 참조).
한편, 카메라 정보 획득부(13)는 기본적으로 "Richard Hartley"가 제안한 "Metric Reconstruction" 방법을 이용하여 가우시안 스무딩(Gaussian Smoothing)된 영상에서 카메라의 외부변수(카메라의 움직임정보)와 내부변수(카메라의 상태정보) 의 값을 획득한다. 하지만, "Richard Hartley"가 제안한 "Metric Reconstruction" 방법 대신, "Marc Polleyfeys"가 제안한 방법 등의 다른 보정 방법을 사용하여 카메라의 외부변수(카메라의 움직임정보)와 내부변수(카메라의 상태정보)의 값을 획득할 수 있다(하기의 도 5 참조).
이하, 카메라 정보 획득부(13)의 동작 과정에 대해 더욱 상세하게 살펴보기로 한다.
하기 [수학식 2]는 본 발명에서 가정하고 있는 카메라 사영행렬(Projection Matrix)을 나타낸다.
Figure 112006041142484-PAT00006
상기 [수학식 2]에서,
Figure 112006041142484-PAT00007
는 카메라 내부변수를 나타내는 3 * 3 행렬이고,
Figure 112006041142484-PAT00008
는 카메라의 회전을 나타내는 3 * 3 행렬이고,
Figure 112006041142484-PAT00009
는 단위행렬(Identity Matrix)이며,
Figure 112006041142484-PAT00010
는 카메라의 초점 위치를 나타내는 벡터이다.
카메라 정보 획득부(13)는 KLT 특징 트래커(Kanade-Lucas-Tomasi Feature Tracker)를 사용하여 각각의 프레임에서 특징점들의 대응관계를 추출한 후, 추출된 특징점들의 대응관계에 따라 프레임 간격으로 두 장씩 추출해서 8-포인트(point) 알고리즘을 통해 기초행렬(Fundamental Matrix)을 계산한다. 그리고, 이 기초행 렬(Fundamental Matrix)로부터 하기의 [수학식 3]과 같이 사영공간(Projective Space)에서 사영행렬(Projection Matrix)을 계산한다.
Figure 112006041142484-PAT00011
상기 [수학식 3]에서, 기초행렬(Fundamental Matrix)을 나타내는
Figure 112006041142484-PAT00012
는 두 영상 위의 특징점들 간의 대응관계로부터 사영공간(Projective Space)상의 기하학적인 관계를 설정해주는 3 * 3 행렬로서, 공간상의 한 점이 영상 1, 영상 2 위에서 좌표
Figure 112006041142484-PAT00013
를 갖는 경우에
Figure 112006041142484-PAT00014
Figure 112006041142484-PAT00015
Figure 112006041142484-PAT00016
Figure 112006041142484-PAT00017
으로 성립된다. 또한,
Figure 112006041142484-PAT00018
는 한 영상 위의 특징점 좌표를 다른 영상 위의 단일 직선(Epipolar Line)으로 매핑(mapping)시키는 것을 나타낼 수도 있다. 또한,
Figure 112006041142484-PAT00019
는 한 쪽의 카메라 초점을 다른 쪽의 카메라 영상 위로 사영시켰을 경우의 좌표(epipole)를 나타내는 벡터이고,
Figure 112006041142484-PAT00020
는
Figure 112006041142484-PAT00021
와
Figure 112006041142484-PAT00022
를 외적시키는 연산이며,
Figure 112006041142484-PAT00023
는 도 5의 카메라 정보 획득 단계(103)에서 양정부호(Positive Definite) 문제를 해결하기 위해서 행렬의 계수(rank)를 늘려주기 위한 3 * 1 임의의 값을 갖는 벡터이고,
Figure 112006041142484-PAT00024
은 임의의 상수(스칼라)이다.
이러한 방식으로 두 프레임씩 짝을 지어 사영복원(Projective Reconstruction)을 수행한 결과로부터 각각 특징점의 사영공간(Projective Space) 상에서의 3D 좌표인
Figure 112006041142484-PAT00025
를 계산하고, 이렇게 구한
Figure 112006041142484-PAT00026
들의 집합(set)이 일관되게 위치하도록 사영공간(Projective Space)의 축을 맞추어준다. 이때, 사영복원(Projective Reconstruction)된 결과에서는 도형의 직선성만 보존되고, 평행성, 길이비율 및 크기는 보존되지 않는다.
하기의 [수학식 4]를 SVD(Singular Value Decomposition)를 이용하여 절대 2차 곡면(Absolute Quadric) Q를 구하고, 이로부터 사영공간(Projective Space)에서의 사영행렬(Projection Matrix)을 거리공간(Metric Space)에서의 사영행렬(Projection Matrix)로 변환해 주는 사영변환(Projective Transform)
Figure 112006041142484-PAT00027
를 하기의 [수학식 5]에 따라 구한다.
Figure 112006041142484-PAT00028
Figure 112006041142484-PAT00029
상기 [수학식 4]에서,
Figure 112006041142484-PAT00030
는 i번째 카메라의 내부변수를 나타내는 행렬이며,
Figure 112006041142484-PAT00031
는 i번째 카메라의 사영행렬(Projection Matrix)을 나타낸다. 사영변 환(Projective Transform)
Figure 112006041142484-PAT00032
를
Figure 112006041142484-PAT00033
에 곱하면 직선성 뿐 아니라 평행성, 길이비율까지 보존되는 거리복원(Metric Reconstruction)이 수행된다. 이때, 크기는 보존되지 않으므로 대상물체의 모양은 알 수 있지만 실제 길이의 척도는 알 수 없다.
카메라 정보 획득부(13)는 이와 같은 과정([수학식 2] 내지 [수학식 5])을 통해 카메라의 외부변수(카메라의 움직임정보)와 내부변수(카메라의 상태정보)의 값을 획득한다.
한편, 복원 필터링부(14)는 카메라의 빠른 움직임으로 인하여 모션 블러(Motion Blur) 현상이 발생된 영상을 하기의 [수학식 6]과 같이 모델링한다.
Figure 112006041142484-PAT00034
상기 [수학식 6]에서,
Figure 112006041142484-PAT00035
는 모션 블러(Motion Blur) 현상으로 인한 필터효과를 나타내고,
Figure 112006041142484-PAT00036
값은 현재부터 과거
Figure 112006041142484-PAT00037
시간까지 카메라 평면상에서 고정된 사물의 위치점 (x, y)가 이동한 값이며, 이는
Figure 112006041142484-PAT00038
시간동안 카메라의 움직임에 의해 결정되므로 (
Figure 112006041142484-PAT00039
)에 대한 정보는 상기 카메라 정보 획득 부(13)에 의해 획득한 카메라의 움직임에 대한 근사값(카메라의 움직임정보(외부변수))을 이용하여 획득한다. 이렇게 모션 블러링(Motion Blurring), 가우시안 스무딩(Gaussian Smoothing) 과정을 거친 영상의 주파수 응답을 하기의 [수학식 7]과 같이 모델링한다.
Figure 112006041142484-PAT00040
상기 [수학식 7]에서,
Figure 112006041142484-PAT00041
는 모션 블러링(Motion Blurring)과 가우시안 스무딩(Gaussian Smooting)을 모두 거쳤을 경우의 주파수 응답을 나타내고,
Figure 112006041142484-PAT00042
는 모션 블러링(Motion Blurring)과 가우시안 스무딩(Gaussian Smooting)을 하나로 묶은 필터로 보았을 경우의 주파수 응답을 나타낸다.
상기 [수학식 7]로부터 하기의 [수학식 8]과 같이 간략화된 최소 평균 제곱 오차(Minimum Mean Square Error)의 응답을 구한다. 여기서, 최소 평균 제곱 오차(Minimum Mean Square Error)는 위너필터(Wiener Filter)를 나타내지만, 이때 위너필터(Wiener Filter)가 아닌 다른 복원 필터(Restoration Filter)를 사용할 수도 있다.
Figure 112006041142484-PAT00043
복원 필터링부(14)에 의해 복원 필터링된 영상에 여전히 남아있는 모션 블러(Motion Blur) 현상을 제거하기 위해 가우시안 스무딩부(12)는 복원 필터링된 영상을 다시 가우시안 스무딩(Gaussian Smoothing)시킨다. 이때,
Figure 112006041142484-PAT00044
는 더 작은 값으로 설정한다.
도 5 는 본 발명에 따른 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 방법에 대한 일실시예 흐름도이다.
먼저, 카메라 자동보정 장치(10)의 영상 입력부(11)를 통해 카메라로부터 모션 블러(Motion Blur)가 심한 영상을 입력받아(101), 가우시안 스무딩부(12)에서 영상 입력부(11)에 입력된 영상을 가우시안 함수를 이용한 저대역 통과 필터(Low Pass Filter)에 통과시킴으로써, 가우시안 스무딩(Gaussian Smoothing)을 수행한다(102).
이후, 카메라 정보 획득부(13)에서 가우시안 스무딩부(12)에 의해 가우시안 스무딩(Gaussian smooting)된 영상을 "Richard Hartley"가 제안한 "Metric Reconstruction" 방법을 이용하여 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 초기값을 획득한다(103).
그리고, 복원 필터링부(14)는 카메라 정보 획득부(13)에 의해 획득된 카메라 의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 바탕으로 모션 블러(Motion Blur)가 심한 영상을 복원 필터(Restoration Filter)를 이용하여 필터링한다(104).
다음으로, 가우시안 스무딩부(12)가 복원 필터링부(14)에 의해 필터링된 영상에 가우시안 스무딩(Gaussian Smoothing)을 재수행하고(105), 카메라 정보 획득부(13)가 가우시안 스무딩(Gaussian Smoothin)된 영상으로부터 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 획득한 후(106), 사용자는 가우시안 스무딩(Gaussian Smoothing)된 영상에서 모션 블러(Motion Blur) 현상이 충분히 제거되었는지 판단한다(107).
상기 판단 결과(107), 모션 블러(Motion Blur) 현상이 충분히 제거되지 않은 경우에는 상기“104”단계로 진행하여, 가우시안 스무딩(Gaussian Smoothing) 단계(105) 및 카메라 정보 획득 단계(106)를 반복 수행한다.
이와 같이 함으로써, 모션 블러(Motion Blur) 현상이 충분히 제거되었을 경우에는 증강현실 시스템(20)으로 카메라 정보 획득 단계(106)에서 획득된 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)를 전달한다(108).
그러면, 증강현실 시스템(20)에서는 영화 제작이나 컴퓨터 그래픽스(GC) 광고 등의 영상물 제작시, 카메라 정보 획득 단계(106)에서 획득된 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)를 바탕으로 모션 블러(Motion Blur)가 심한 영상에 그래픽 객체를 삽입한다.
이와 같이 본 발명에서는 비록 모션 블러(Motion Blur)가 심한 영상에서 정 확한 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)를 획득하여 증강현실에 이용하는 일예를 들었지만, 이에 한정하지 않고 다른 영상 분야에도 응용될 수 있음을 밝혀둔다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 모션 블러(Motion Blur)가 심한 영상에서 카메라의 정확한 외부변수 및 내부변수의 값을 획득함으로써, 액션 장면 등의 실사영상과 그래픽 객체의 합성 작업을 하는데 있어서 영상 배경의 변화 및 어색함이 없는 증강현실을 적용시킬 수 있는 효과가 있다.

Claims (9)

  1. 카메라 자동보정 장치에 있어서,
    영상 입력수단을 통해 입력된 모션 블러(Motion Blur)가 심한 영상을 가우시안 스무딩시켜 카메라 모션(이동)에 의해 명암도(Intensity)가 번지는 현상을 제거하기 위한 가우시안 스무딩수단;
    상기 가우시안 스무딩된 영상에서 카메라 모션의 외부변수 및 내부변수를 획득하기 위한 카메라 정보 획득수단; 및
    상기 획득된 외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생한 영상을 복원 필터를 이용하여 필터링하기 위한 복원 필터수단
    을 포함하되, 복원된 영상의 모션 블러 정도에 따라 가우시안 스무딩 수단 및 카메라 정보 획득수단에서 가우시안 스무딩 과정 및 내/외부변수 획득과정을 반복 수행하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 장치.
  2. 제 1 항에 있어서,
    상기 카메라 정보 획득수단은,
    상기 가우시안 스무딩된 영상에 "Richard Hartley"가 제안한 "Metric Reconstruction" 방법을 이용하여 상기 외부변수 및 내부변수의 값을 계산하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 장치.
  3. 제 1 항에 있어서,
    상기 복원 필터는,
    상기 획득된 외부변수를 활용하여 하기의 [수학식]의 (
    Figure 112006041142484-PAT00045
    )를 결정하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 장치.
    [수학식]
    Figure 112006041142484-PAT00046
    (여기서,
    Figure 112006041142484-PAT00047
    는 모션 블러 현상으로 인한 필터효과를 나타내고,
    Figure 112006041142484-PAT00048
    값은 현재부터 과거
    Figure 112006041142484-PAT00049
    시간까지 카메라 평면상에서 고정된 사물의 위치점 (x, y)가 이동한 값이다.)
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 외부변수는 카메라의 움직임정보를 나타내고, 상기 내부변수는 카메라의 상태정보를 나타내는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동 보정 장치.
  5. 제 4 항에 있어서,
    상기 카메라의 상태정보는,
    카메라의 초점거리, 빗살무늬, 영상비, 주점정보를 포함하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 장치.
  6. 제 1 항의 카메라 자동 보정 장치에 의해 획득된 내/외부변수를 이용하여 영상을 제작하는 증강 현실 시스템에 있어서,
    상기 카메라 자동 보정 장치를 통해 획득된 카메라의 움직임 정보를 나타내는 외부변수와 카메라의 상태정보를 나타내는 내부변수를 바탕으로, 모션 블러가 심한 영상에 그래픽 객체를 삽입하는 것을 특징으로 하는 증강 현실 시스템.
  7. 카메라 자동보정 방법에 있어서,
    영상 입력수단을 통해 입력된 모션 블러가 심한 영상을 가우시안 스무딩시켜 카메라 모션(이동)에 의해 명암도(Intensity)가 번지는 현상을 제거하는 가우시안 스무딩 단계;
    상기 가우시안 스무딩된 영상에서 카메라의 외부변수 및 내부변수를 획득하는 카메라 정보 획득 단계;
    상기 획득된 외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생된 영상을 복원 필터를 이용하여 필터링하는 복원 필터링 단계; 및
    복원된 영상의 모션 블러 정도에 따라, 상기 가우시안 스무딩 단계 및 상기 카메라 정보 획득 단계를 반복 수행하는 단계
    를 포함하는 모션 블러가 심한 영상의 카메라 자동보정 방법.
  8. 제 7 항에 있어서,
    상기 외부변수는 카메라의 움직임정보를 나타내고, 상기 내부변수는 카메라의 상태정보를 나타내는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 방법.
  9. 제 8 항에 있어서,
    상기 카메라의 상태정보는,
    카메라의 초점거리, 빗살무늬, 영상비, 주점을 포함하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 방법.
KR1020060052758A 2005-12-09 2006-06-12 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템 KR100805802B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050121115 2005-12-09
KR1020050121115 2005-12-09

Publications (2)

Publication Number Publication Date
KR20070061157A true KR20070061157A (ko) 2007-06-13
KR100805802B1 KR100805802B1 (ko) 2008-02-21

Family

ID=38357093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060052758A KR100805802B1 (ko) 2005-12-09 2006-06-12 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템

Country Status (1)

Country Link
KR (1) KR100805802B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954776B1 (ko) * 2008-01-03 2010-04-28 상명대학교 산학협력단 지정맥을 이용한 생체 인식 방법
WO2012176945A1 (ko) * 2011-06-21 2012-12-27 (주)베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
US8995781B2 (en) 2012-03-13 2015-03-31 Samsung Electronics Co., Ltd. Method and apparatus for deblurring non-uniform motion blur using multi-frame including blurred image and noise image
US9030599B2 (en) 2011-11-14 2015-05-12 Samsung Electronics Co., Ltd. Photographing apparatus and image processing apparatus using coded light, and method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05142615A (ja) * 1991-11-22 1993-06-11 Canon Inc 像振れ防止装置
JP3266416B2 (ja) * 1994-04-18 2002-03-18 ケイディーディーアイ株式会社 動き補償フレーム間符号化復号装置
KR100815209B1 (ko) * 2001-05-09 2008-03-19 주식회사 씨알이에스 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
KR20050117173A (ko) * 2004-06-10 2005-12-14 엘지전자 주식회사 적응적 화질 보상기법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954776B1 (ko) * 2008-01-03 2010-04-28 상명대학교 산학협력단 지정맥을 이용한 생체 인식 방법
WO2012176945A1 (ko) * 2011-06-21 2012-12-27 (주)베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
US9451236B2 (en) 2011-06-21 2016-09-20 Vadas, Ltd. Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
US9030599B2 (en) 2011-11-14 2015-05-12 Samsung Electronics Co., Ltd. Photographing apparatus and image processing apparatus using coded light, and method thereof
US8995781B2 (en) 2012-03-13 2015-03-31 Samsung Electronics Co., Ltd. Method and apparatus for deblurring non-uniform motion blur using multi-frame including blurred image and noise image

Also Published As

Publication number Publication date
KR100805802B1 (ko) 2008-02-21

Similar Documents

Publication Publication Date Title
US8754963B2 (en) Processing images having different focus
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
US20140254951A1 (en) Deblurring of an image from a sequence of images
KR20110136016A (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
KR102187211B1 (ko) 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
Kim et al. Dynamic scene deblurring using a locally adaptive linear blur model
KR100805802B1 (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
JP2019169000A (ja) 画像処理装置、画像処理方法、およびプログラム
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
CN117173232A (zh) 深度图像的获取方法、装置及设备
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
KR101803139B1 (ko) 3d 홀로그램 왜곡 보정 방법 및 장치
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
KR101124878B1 (ko) 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치
CN115205346A (zh) 事件相机到帧相机的逐像素配准的方法
Lee et al. Real-time correction of wide-angle lens distortion for images with GPU computing
Oyamada et al. Defocus blur correcting projector-camera system
CN113393408A (zh) 一种基于双树复数小波和卷积神经网络的多聚焦图像处理方法
Paramanand et al. Unscented transformation for depth from motion-blur in videos
Balure et al. A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images
Kim et al. Multi-frame depth super-resolution for tof sensor with total variation regularized l1 function
Chandramouli et al. Inferring Image Transformation and Structure from Motion-Blurred Images.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110131

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20111208

Year of fee payment: 20