KR20140122959A - 초점 조절 영상 생성 장치 및 방법 - Google Patents

초점 조절 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20140122959A
KR20140122959A KR20130040071A KR20130040071A KR20140122959A KR 20140122959 A KR20140122959 A KR 20140122959A KR 20130040071 A KR20130040071 A KR 20130040071A KR 20130040071 A KR20130040071 A KR 20130040071A KR 20140122959 A KR20140122959 A KR 20140122959A
Authority
KR
South Korea
Prior art keywords
matching
image
point
images
reference feature
Prior art date
Application number
KR20130040071A
Other languages
English (en)
Other versions
KR102101661B1 (ko
Inventor
조아영
신윤섭
이창환
김성민
정용우
이만형
양선호
권영만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130040071A priority Critical patent/KR102101661B1/ko
Publication of KR20140122959A publication Critical patent/KR20140122959A/ko
Application granted granted Critical
Publication of KR102101661B1 publication Critical patent/KR102101661B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시 예에 따른 초점 조절 영상 생성 장치는 기준 촬영 영상 및 복수의 일반 촬영 영상을 획득하는 카메라 모듈과 상기 복수의 촬영 영상 각각에서 상기 기준 촬영 영상의 기준 특징점과 매칭되는 각각의 매칭점을 검출하는 매칭점 검출부와 상기 기준 특징점을 기준으로 상기 검출된 각각의 매칭점이 이동되도록 상기 복수의 촬영 영상의 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성하는 영상 평행 이동부 및 상기 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성하는 영상 합성부를 포함한다.

Description

초점 조절 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING FOCUS-ADJUSTED IMAGE}
본 발명은 초점 조절 영상 생성 장치 및 방법에 관한 것이다.
이미 찍혀진 영상의 초점을 변경하여 재초점된 영상(refocused image)을 얻기 위한 요구가 있다.
하나의 영상을 이용하여 재초점 영상을 얻기 위한 한 종래 기술에 따른 초점 조절 영상 생성 장치는 spot의 퍼진 정도에 기초하여 깊이 지도를 생성한 후, 이 깊이 지도에 기초하여 블러링을 통해 재초점 영상을 획득한다. 그러나, 하나의 영상을 이용하는 경우, 깊이 지도의 오차가 심하고, 자연적인 블러인지 재초점에 의한 블러인지 구별되기 쉽지 않다.
두개의 영상을 이용하여 재초점 영상을 얻기 위한 한 종래 기술에 따른 초점 조절 영상 생성 장치는 양안 영상의 특징점을 기반으로 디스패러티를 구하고, 이 디스패러티에 기초하여 깊이 지도를 생성한 후, 이 깊이 지도에 기초하여 블러링을 통해 재초점 영상을 획득한다. 그러나, 특징이 없는 영역이나 미세한 특징이 반복되는 영역에서 오류가 발생할 수 있다. 또한 수평 방향의 parallax만을 이용하기 때문에 수직 방향의 차이에 의한 경계를 구분하기 어렵다.
이를 개선하기 위해 다수의 카메라 모듈을 가지는 어레이 카메라로부터 얻어진 영상을 이용하여 재초점 영상을 얻기 위한 기술이 제안되었다. 이는 재초점 면을 기초로 다수의 영상을 평행이동한 후 중첩을 통해 재초점 영상이 얻어질 수 있다.
하지만, 카메라 모듈의 개수가 늘어날수록 재초점 영상의 퀄리티가 향상되지만, 제품의 가격이 올라가고 처리의 부하가 증가하는 문제가 있다.
이와 관련된 선행특허문헌으로는 대한민국공개특허 특2001-0075948호가 있다.
본 발명이 이루고자 하는 기술적 과제는 하나의 카메라 모듈의 이동으로 시차가 다르게 획득된 복수의 촬영 영상을 이용하여 손쉽게 재초점 영상을 생성하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 하나의 기준 특징점을 중심으로 복수의 매칭점을 검출하고, 각 매칭점에 대응하는 복수의 촬영 영상을 합성하여 재초점 영상을 생성하는 것이다.
본 발명의 일 실시 예에 따른 초점 조절 영상 생성 장치는 기준 촬영 영상 및 복수의 일반 촬영 영상을 획득하는 카메라 모듈과 상기 복수의 촬영 영상 각각에서 상기 기준 촬영 영상의 기준 특징점과 매칭되는 각각의 매칭점을 검출하는 매칭점 검출부와 상기 기준 특징점을 기준으로 상기 검출된 각각의 매칭점이 이동되도록 상기 복수의 촬영 영상의 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성하는 영상 평행 이동부 및 상기 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성하는 영상 합성부를 포함할 수 있다.
본 발명의 또 다른 실시 예에 따른 초점 조절 영상 생성 방법은 기준 촬영 영상 및 복수의 일반 촬영 영상을 획득하는 단계와 상기 복수의 촬영 영상 각각에서 상기 기준 촬영 영상의 기준 특징점과 매칭되는 각각의 매칭점을 검출하는 단계와 상기 기준 특징점을 기준으로 상기 검출된 각각의 매칭점이 이동되도록 상기 복수의 촬영 영상 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성하는 단계 및 상기 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 사용자의 손쉬운 스윕 모션을 통해 재초점 영상을 획득할 수 있다.
또한, 하나의 카메라 모듈을 통해 재초점 영상을 획득할 수 있어, 비용상의 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 초점 조절 영상 생성 방법의 흐름도이다.
도 3은 본 발명의 실시 예에 따라 복수의 촬영 영상을 획득하는 다양한 스윕 모션을 보여준다.
도 4는 본 발명의 실시 예에 따라 기준 촬영 영상에서 피사체의 기준 특징점을 선택하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따라 모션 벡터를 획득하는 과정을 설명하기 위한 도면이다.
도 6 내지 도 9는 본 발명의 실시 예에 따라 매칭점을 샘플링하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따라 영상을 합성하는 원리를 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따라 매칭점을 제거하는 과정을 설명하기 위한 도면이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
다음은 도 1을 참고하여 본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치의 구조를 설명한다.
도 1은 본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치(100)는 카메라 모듈(110), 매칭점 검출부(120), 모션 벡터 획득부(130), 매칭점 샘플링부(140), 영상 평행 이동부(150), 영상 합성부(160), 디스플레이부(170), 저장부(180) 및 제어부(190)를 포함한다.
카메라 모듈(110)은 복수의 촬영 영상을 획득할 수 있다. 카메라 모듈(110)은 스윕 모션을 통해 복수의 촬영 영상을 획득할 수 있다.
매칭점 검출부(120)는 기준 특징점을 이용하여 획득한 복수의 촬영 영상 각각에서 기준 특징점과 매칭되는 매칭점을 검출할 수 있다.
모션 벡터 획득부(130)는 기준 특징점과 획득한 복수의 매칭점을 이용하여 모션 벡터(motion vector)를 획득할 수 있다.
매칭점 샘플링부(140)는 기준 특징점의 기준 초점면을 기준으로 남겨진 매칭점에 대응하는 복수의 복수의 촬영 영상 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성할 수 있다.
영상 평행 이동부(150)는 기준 초점 면을 기준으로 복수의 촬영 영상의 각각을 평행 이동하여, 복수의 평행 이동된 촬영 영상을 생성할 수 있다.
영상 합성부(160)는 보간 정보를 이용하여 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상(refocused image)을 생성한다.
디스플레이부(170)는 카메라 모듈(110)이 획득한 촬영 영상을 표시할 수 있다.
디스플레이부(170)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
저장부(180)는 카메라 모듈(100)이 촬영한 영상 및 재초점 영상을 저장할 수 있다.
제어부(190)는 이동 단말기(100)의 전반적인 동작을 제어할 수 있다.
다음으로 도 2 내지 도 11을 참조하여, 본 발명의 실시 예에 따른 초점 조절 영상 생성 방법을 설명한다.
도 2는 본 발명의 일 실시 예에 따른 초점 조절 영상 생성 방법의 흐름도이다.
도 2를 참조하면, 이동 단말기(100)의 카메라 모듈(110)은 복수의 촬영 영상을 각각 획득한다( S101 ). 일 실시 예에서 복수의 촬영 영상 각각은 사용자의 스윕 모션(sweep motion)을 통해 획득될 수 있다. 스윕 모션은 사용자가 이동 단말기(100)에 구비된 하나의 카메라 모듈(110)을 다양한 방향으로 이동하여 피사체를 촬영하는 모션일 수 있다. 스윕 모션에 대해서는 도 3을 참조하여 설명한다.
도 3은 본 발명의 실시 예에 따라 복수의 촬영 영상을 획득하는 다양한 스윕 모션을 보여준다.
도 3의 (a) 및 도 3의 (b)는 카메라 모듈(110)이 수평 또는 수직 방향으로 이동하면서 피사체를 촬영하여 복수의 촬영 영상을 획득하는 스윕 모션을 보여준다. 특히, 도 3의 (a)는 카메라 모듈(110)이 수평 방향으로 먼저 이동한 다음, 수직 방향으로 이동함을 반복하는 스윕 모션이고, 도 3의 (b)는 카메라 모듈(110)이 수직 방향으로 먼저 이동한 다음, 수평 방향으로 이동함을 반복하는 스윕 모션이다.
도 3의 (c)는 카메라 모듈(110)이 하나의 촬영 영상을 기준으로 외곽으로 회전이동을 하면서 복수의 촬영 영상을 획득하는 스윕 모션이다. 이 스윕 모션의 경우, 도 3의 (a) 및 (b)에 비해 사용자에게 자연스러운 움직임을 요구하므로, 사용자는 보다 자연스러운 움직임을 통해 피사체를 촬영 할 수 있다.
도 3의 (d)는 카메라 모듈(110)이 수평방향으로 이동한 다음, 대각선 방향으로 이동하면서 피사체를 촬영하여 복수의 촬영 영상을 획득하는 스윕 모션을 보여준다.
도 3의 (e)는 도 3의 (c)의 스윕 모션에 비해 카메라 모듈(110)의 회전수를 증가시킨 경우의 스윕 모션이다.
다시 도 2를 설명한다.
이동 단말기(100)의 디스플레이부(170)는 복수의 촬영 영상 중 적어도 하나를 디스플레이 한다( S103 ).
이동 단말기(100)의 제어부(190)는 디스플레이된 복수의 촬영 영상 중 기준 촬영 영상의 선택을 수신한다( S105 ). 일 실시 예에서 기준 촬영 영상은 획득된 복수의 촬영 영상 중 사용자의 입력을 통해 선택 받은 영상일 수 있다. 또 다른 실시 예에서 기준 촬영 영상은 카메라 모듈(110)이 특정 피사체에 대해 첫번째로 획득한 촬영 영상일 수 있다. 또한, 이하에서는 복수의 촬영 영상 중 사용자의 입력을 통해 선택 받은 영상을 기준 촬영 영상이라 하고, 기준 촬영 영상을 제외한 나머지 촬영 영상을 일반 촬영 영상이라 가정한다.
이동 단말기(100)의 제어부(190)는 선택된 기준 촬영 영상에서 피사체의 기준 특징점 선택을 수신한다( S107 ). 일 실시 예에서 제어부(190)는 기준 촬영 영상의 특정 위치의 터치에 대한 위치 정보를 감지하고, 터치된 위치에 해당하는 지점을 기준 특징점으로 설정할 수 있다. 또한, 제어부(190)는 설정된 기준 특징점에 해당하는 초점 면을 초점 조정을 위한 기준 초점 면으로 선택할 수 있다. 즉, 기준 특징점은 기준 촬영 영상에서 사용자에 의해 터치된 지점이고, 추후, 재초점 영상을 생성하기 위해 기준이 되는 피사체의 일지점 일 수 있다. 단계 S105 및 단계 S107을 도 4를 참조하여 설명한다.
도 4는 본 발명의 실시 예에 따라 기준 촬영 영상에서 피사체의 기준 특징점을 선택하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 이동 단말기(100)의 디스플레이부에 표시된 기준 촬영 영상(1), 피사체(2) 및 기준 특징점(3)이 도시되어 있다. 기준 촬영 영상(1)은 카메라 모듈(110)이 획득한 복수의 촬영 영상 중 사용자의 선택에 의해 선택된 촬영 영상이고, 피사체(2)는 촬영의 대상이 되는 객체, 사물 등일 수 있고, 기준 특징점(3)은 사용자에 의해 터치된 지점으로, 추후 재초점 영상을 생성하기 위해 기준이 되는 피사체(2)의 일지점일 수 있다.
다시 도 2를 설명한다.
이동 단말기(100)의 매칭점 검출부(120)는 기준 특징점을 이용하여 획득한 복수의 촬영 영상 각각에서 기준 특징점과 매칭되는 매칭점을 검출한다( S109 ). 일 실시 예에서 매칭점은 기준 촬영 영상을 제외한 나머지 복수의 촬영 영상 각각에서 상기 피사체의 일지점에 대응되는 지점을 의미할 수 있다. 일 실시 예에서 매칭점 검출부(120)는 패턴 매칭 기법을 통해 상기 복수의 촬영 영상 각각에서 기준 특징점과 매칭되는 매칭점을 검출할 수 있다. 패턴 매칭 기법은 기준 촬영 영상과 스윕 모션을 통해 획득한 일반 촬영 영상 간의 밝기를 이용하여 매칭점을 검출하는 방법이다. 구체적으로, 패턴 매칭 기법은 기준 촬영 영상과 일반 촬영 영상 간의 밝기를 비교하여 밝기 차이가 임계 밝기 미만인 경우, 매칭점 검출부(120)는 해당 일반 촬영 영상을 매칭점을 검출하기 위한 영상으로 설정하고, 해당 일반 촬영 영상에서 기준 특징점에 해당하는 피사체의 일지점을 매칭점으로 검출하는 기법일 수 있다. 만약, 기준 촬영 영상과 일반 촬영 영상 간의 밝기를 비교하여 밝기 차이가 임계 밝기 이상인 경우, 매칭점 검출부(120)는 해당 일반 촬영 영상에서는 매칭점을 검출하지 않을 수 있다.
이동 단말기(100)의 모션 벡터 획득부(130)는 기준 특징점과 검출된 복수의 매칭점을 이용하여 모션 벡터( motion vector )를 획득한다( S111 ). 모션 벡터는 움직이는 영상에 대해 방향과 크기를 갖는 벡터를 의미하는 것으로, 모션 벡터 획득부(130)는 기준 특징점과 복수의 매칭점 각각 간의 모션 벡터를 획득하여 기준 특징점으로부터 각 매칭점이 어느 방향으로 어느 정도 거리만큼 떨어져 있는지 확인할 수 있다. 이에 대해서는 도 5를 참조하여 설명한다.
도 5는 본 발명의 실시 예에 따라 모션 벡터를 획득하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 기준 특징점(3)과 스윕 모션을 통해 획득한 일반 촬영 영상의 매칭점(5)이 도시되어 있다. 모션 벡터 획득부(130)는 기준 특징점과 매칭점(5) 사이의 모션 벡터(k)를 획득할 수 있고, 획득한 모션 벡터(k)를 통해 기준 특징점(3)을 기준으로 x축 방향으로 변화된 x축 변화량의 크기와 y축 방향으로 변화된 y축 변화량의 크기 및 모션 벡터(k)의 크기를 획득할 수 있다.
다시 도 2를 설명한다.
이동 단말기(100)의 제어부(190)는 획득한 모션 벡터를 이용하여 검출된 복수의 매칭점 중 기준 특징점과 매칭점 사이의 거리가 기 설정된 거리 내에 존재하지 않는 매칭점이 있는지를 확인한다( S113 ). 일 실시 예에서 기 설정된 거리는 사용자의 설정에 따라 달라질 수 있는 거리로 매칭점을 통해 재초점 영상을 생성하기 위해 필요한 최소한의 거리를 의미할 수 있다. 기 설정된 거리는 도 5에서 설명한 기준 특징점(3)과 매칭점(5)간의 모션 벡터(k)의 크기, 기준 특징점(3)을 기준으로 x축 방향으로 변화된 x축 변화량의 크기, y축 방향으로 변화된 y축 변화량의 크기 중 적어도 어느 하나를 의미할 수 있다.
일 실시 예에서 제어부(190)는 기준 특징점과 매칭점 사이의 x축 변화량의 크기와 y축 변화량의 크기가 중 어느 하나가 기 설정된 거리보다 크다면, 해당 매칭점이 기준 특징점으로부터 기 설정된 거리 내에 존재하지 않는 것으로 판단할 수 있다. 예를 들어, 제어부(190)는 기준 특징점과 매칭점 사이의 x축 변화량의 크기가 기 설정된 거리 내에 있더라도 y축 변화량의 크기가 기 설정된 거리 내에 있지 않다면, 제어부(190)는 해당 매칭점이 기준 특징점으로부터 기 설정된 거리 내에 존재하지 않는 것으로 판단할 수 있다. 마찬가지로, 제어부(190)는 기준 특징점과 매칭점 사이의 y축 변화량의 크기가 기 설정된 거리 내에 있더라도 x축 변화량의 크기가 기 설정된 거리 내에 있지 않다면, 제어부(190)는 해당 매칭점이 기준 특징점으로부터 기 설정된 거리 내에 존재하지 않는 것으로 판단할 수 있다. 즉, 제어부(190)는 기준 특징점과 매칭점 사이의 x축 변화량의 크기 및 y축 변화량의 크기가 기 설정된 거리 내에 있는 경우에 해당 매칭점이 기준 특징점으로부터 기 설정된 거리 내에 존재하는 것으로 판단할 수 있다.
만약, 기준 특징점과 검출된 복수의 매칭점 사이의 거리가 기 설정된 거리 내에 존재하지 않는 매칭점이 없는 경우, 매칭점 샘플링부(140)는 검출된 복수의 매칭점에서 일부 매칭점을 남기고, 남겨진 일부 매칭점을 제외한 나머지 매칭점을 제거한다( S115 ). 즉, 매칭점 샘플링부(140)는 검출된 복수의 매칭점 각각과 기준 특징점 간의 거리가 기 설정된 거리 내에 있는 경우, 재초점 영상을 생성하기 위해 검출된 복수의 매칭점 중 필요한 최소한의 일부 매칭점만을 남기고, 남겨진 일부 매칭점을 제외한 나머지 매칭점을 제거할 수 있다. 이에 대해서는 도 6 내지 도 9를 참조하여 설명한다.
도 6 내지 도 9는 본 발명의 실시 예에 따라 매칭점을 샘플링하는 과정을 설명하기 위한 도면이다.
이하에서, 뷰어(10,20)는 카메라 모듈(110)을 통해 피사체의 영상으로 실시간으로 확인할 수 있는 보기화면일 수 있다. 또한, 매칭점 샘플링부(140)는 뷰어(10,20)를 복수의 서브 영역으로 분할하여 매칭점을 샘플링할 수 있다.
도 6 내지 도 7은 디스플레이부에 표시된 뷰어(10)를 복수의 사각 영역(11_1 내지 11_9)으로 구분지어 매칭점(7)을 샘플링하는 과정을 설명하기 위한 도면이고, 도 8 내지 도 9는 디스플레이부에 표시된 뷰어(20)를 복수의 도형 영역(21_1 내지 21_13)으로 구분지어 매칭점(7)을 샘플링하는 과정을 설명하기 위한 도면이다.
먼저, 도 6을 참조하면, 뷰어(10)는 복수의 사각 영역(11-1 내지 11_9)을 포함할 수 있다. 복수의 사각 영역은 9개의 영역일 수 있으나, 이는 예시에 불과하다. 제1 사각 영역(11_1)에는 매칭점(7)이 3개 존재한다. 매칭점 샘플링부(140)는 복수의 사각 영역의 각각에서 매칭점을 1개 또는 2개만을 남기고, 나머지 매칭점을 제거할 수 있다. 즉, 도 6에서 제1 사각 영역(11_1)은 3개의 매칭점을 포함하기 때문에 매칭점 샘플링부(140)는 매칭점을 2개만 남기고, 1개의 매칭점을 제거할 수 있다. 각 사각 영역에서 2개의 매칭점을 남기고, 2개를 초과하는 매칭점이 제거된 상태가 도 7에 도시되어 있다. 여기서, 2개는 예시에 불과하다.
다음으로, 도 8을 참조하면, 뷰어(20)는 복수의 도형 영역(21_1 내지 21_13)을 포함할 수 있다. 복수의 도형 영역은 13개의 영역으로 구분될 수 있으나, 이는 예시에 불과하다. 복수의 도형 영역은 원 영역 및 반 부채꼴 영역을 포함할 수 있다.
도 6의 실시 예와 마찬가지로, 매칭점 샘플링부(140)는 복수의 도형 영역의 각각에서 매칭점을 1개 또는 2개만을 남기고, 나머지 매칭점을 제거할 수 있다. 2개를 초과하는 매칭점이 제거된 상태가 도 9에 도시되어 있다.
다시 도 2를 설명한다.
영상 평행 이동부(150)는 기준 특징점을 기준으로 남겨진 매칭점이 이동되도록 복수의 촬영 영상 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성한다( S117 ).
영상 합성부(160)는 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상( refocused image )을 생성한다( S119 ). 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성하는 원리는 도 10에서 설명한다.
도 10은 본 발명의 실시 예에 따라 영상을 합성하는 원리를 설명하기 위한 도면이다.
도 10을 참조하면, P1은 기준 촬영 영상이고, C1은 기준 특징점이고, P2 내지 P5는 기준 특징점 C1을 기준으로 평행 이동된 일반 촬영 영상이고, C2 내지 C5는 각 일반 촬영 영상에 대응하는 매칭점이다.
피사체의 기준 특징점에 초점을 맞춘 재초점 영상을 생성하기 위해 영상 평행 이동부는 기준 촬영 영상의 기준 특징점을 기준으로 일반 촬영 영상 P2 내지 P5를 평행 이동시킬 수 있다. 즉, 도 10에 도시된 바와 같이, 영상 평행 이동부는 기준 촬영 영상(P1)의 기준 특징점(C1)을 기준으로 일반 촬영 영상 P2 내지 P5를 평행 이동시켜 일반 촬영 영상 P2 내지 P5 각각의 매칭점(C2 내지 C5)이 기준 특징점(C1)에 위치할 수 있도록 한다.
영상 합성부(160)는 기준 촬영 영상 P1 및 평행 이동된 촬영 영상 P2 내지 P5를 합성하여 재초점 영상(P6)을 생성할 수 있다.
다시 도 2를 설명한다.
제어부(190)는 생성된 재초점 영상을 디스플레이부 (170) 또는 저장부(180)에 출력한다( S121 ).
한편, 단계 S113 에서 기준 특징점과 검출된 매칭점 사이의 거리가 기 설정된 거리 내에 존재하지 않는 매칭점이 있는 경우, 제어부(190)는 기 설정된 거리 내에 존재하지 않는 매칭점을 제거한다( S123 ). 이에 대해서는 도 11을 참조하여 설명한다.
도 11은 본 발명의 실시 예에 따라 매칭점을 제거하는 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 디스플레이부는 뷰어(10)가 형성하는 영역 안 및 뷰어(10)가 형성하는 영역의 밖에 존재하는 매칭점을 표시하고 있다. 특히, 뷰어(10) 안에는 기준 특징점(3)도 표시하고 있다. 제어부는 기준 특징점(3)과 매칭점 사이의 거리가 기 설정된 거리 내에 존재하고 있지 않은 매칭점(9)을 제거할 수 있다. 즉, 제어부는 뷰어(10)가 형성하는 영역을 벗어난 범위에 존재하는 매칭점(9)을 제거할 수 있고, 뷰어(10)가 형성하는 영역을 벗어나지 않는 범위에 존재하는 매칭점(7)은 남겨둘 수 있다. 이 경우, 도 8과 같은 상태로 된다. 이로 인해, 재초점 영상을 생성하기 위해 불필요한 촬영 영상이 제거될 수 있고, 재초점 영상을 생성하는 시간이 감소될 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자는 이동 단말기에 장착된 카메라 모듈이 하나이더라도 스윕 모션 및 간단한 터치 동작을 통해 재초점 영상을 손쉽게 얻을 수 있다. 또한, 기준 특징점을 기준으로 제한된 범위 내에 존재하는 매칭점을 이용하여 복수의 촬영 영상을 합성하므로 보다 빠르게 재초점 영상을 획득할 수 있다.
본 발명의 실시 예에 따르면, 미세한 카메라 모듈의 이동을 통해서도 화질이높은 재초점 영상을 획득할 수 있다. 피사체가 카메라 모듈과 근거리 내에 위치한 경우에는 카메라 모듈의 이동 거리에 따른 시차가 크게 발생하나, 본 발명의 실시 예에 따르면, 이동 단말기를 살짝 흔드는 정도의 미세한 이동으로도 고화질의 재초점 영상을 획득할 수 있다.
또한, 본 발명의 실시 예에 따르면, 카메라 모듈을 전후로 이동하는 경우, 피사체의 기준 특징점을 중심으로 재초점 영상을 획득할 수 있어 주밍효과를 얻을 수 있고, 카메라 모듈을 회전하는 경우에도 피사체의 기준 특징점을 기준으로 재초점 영상을 획득할 수 있어 회전 효과도 얻을 수 있다.
또한, 본 발명의 실시 예에 따르면, 카메라 모듈을 고정시키고, 움직이는 피사체를 빠른 연사로 촬영 영상을 획득하는 경우, 움직이는 피사체 또는 배경물체를 기준으로 재초점 영상을 생성하여 패닝효과도 얻을 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (10)

  1. 기준 촬영 영상 및 복수의 일반 촬영 영상을 획득하는 카메라 모듈;
    상기 복수의 촬영 영상 각각에서 상기 기준 촬영 영상의 기준 특징점과 매칭되는 각각의 매칭점을 검출하는 매칭점 검출부;
    상기 기준 특징점을 기준으로 상기 검출된 각각의 매칭점이 이동되도록 상기 복수의 촬영 영상의 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성하는 영상 평행 이동부; 및
    상기 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성하는 영상 합성부를 포함하는
    초점 조절 영상 생성 장치.
  2. 제1항에 있어서,
    상기 기준 특징점과 상기 검출된 각각의 매칭점을 이용하여 모션 벡터를 획득하는 모션 벡터 획득부를 더 포함하는
    초점 조절 영상 생성 장치.
  3. 제2항에 있어서,
    상기 획득한 모션 벡터를 통해 상기 기준 특징점과 상기 검출된 각각의 매칭점 사이의 거리가 기 설정된 거리 내에 있는지를 확인하는 제어부를 더 포함하는
    초점 조절 영상 생성 장치.
  4. 제3항에 있어서,
    상기 기준 특징점과 검출된 복수의 매칭점이 상기 기 설정된 거리 내에 존재하는 경우, 상기 복수의 매칭점 중 일부 매칭점을 남기고, 상기 일부 매칭점을 제외한 나머지 매칭점을 제거하는 매칭점 샘플링부를 더 포함하는
    초점 조절 영상 생성 장치.
  5. 제4항에 있어서,
    상기 매칭점 샘플링부는
    상기 복수의 촬영 영상을 보여주는 화면인 뷰어를 복수의 서브 영역으로 구분하여 검출된 복수의 매칭점을 샘플링하는
    초점 조절 영상 생성 장치.
  6. 제3항에 있어서,
    상기 제어부는
    상기 기준 특징점과 검출된 복수의 매칭점 중 상기 기 설정된 거리 내에 존재하지 않는 매칭점이 있는 경우, 상기 기 설정된 거리 내에 존재하지 않는 매칭점을 제거하는
    초점 조절 영상 생성 장치.
  7. 기준 촬영 영상 및 복수의 일반 촬영 영상을 획득하는 단계;
    상기 복수의 촬영 영상 각각에서 상기 기준 촬영 영상의 기준 특징점과 매칭되는 각각의 매칭점을 검출하는 단계;
    상기 기준 특징점을 기준으로 상기 검출된 각각의 매칭점이 이동되도록 상기 복수의 촬영 영상 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성하는 단계; 및
    상기 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성하는 단계를 포함하는
    초점 조절 영상 생성 방법.
  8. 제7항에 있어서,
    상기 기준 특징점과 상기 검출된 각각의 매칭점을 이용하여 모션 벡터를 획득하는 단계를 더 포함하는
    초점 조절 영상 생성 방법.
  9. 제8항에 있어서,
    상기 획득한 모션 벡터를 통해 상기 기준 특징점과 상기 검출된 각각의 매칭점 사이의 거리가 기 설정된 거리 내에 있는지를 확인하는 단계를 더 포함하는
    초점 조절 영상 생성 방법.
  10. 제9항에 있어서,
    상기 기준 특징점과 검출된 복수의 매칭점이 상기 기 설정된 거리 내에 존재하는 경우, 상기 복수의 매칭점 중 일부 매칭점을 남기고, 상기 일부 매칭점을 제외한 나머지 매칭점을 제거하는 단계를 더 포함하는
    초점 조절 영상 생성 방법.
KR1020130040071A 2013-04-11 2013-04-11 초점 조절 영상 생성 장치 및 방법 KR102101661B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130040071A KR102101661B1 (ko) 2013-04-11 2013-04-11 초점 조절 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130040071A KR102101661B1 (ko) 2013-04-11 2013-04-11 초점 조절 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140122959A true KR20140122959A (ko) 2014-10-21
KR102101661B1 KR102101661B1 (ko) 2020-04-17

Family

ID=51993866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130040071A KR102101661B1 (ko) 2013-04-11 2013-04-11 초점 조절 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102101661B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322403A (ja) * 2006-06-05 2007-12-13 Topcon Corp 画像処理装置及びその処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322403A (ja) * 2006-06-05 2007-12-13 Topcon Corp 画像処理装置及びその処理方法

Also Published As

Publication number Publication date
KR102101661B1 (ko) 2020-04-17

Similar Documents

Publication Publication Date Title
CN109565551B (zh) 对齐于参考帧合成图像
CN107409166B (zh) 摇摄镜头的自动生成
JP6730690B2 (ja) シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成
KR102618495B1 (ko) 영상 처리 장치 및 방법
KR101803712B1 (ko) 화상처리장치, 제어 방법, 프로그램 및 기록 매체
US10970915B2 (en) Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
CN109076160B (zh) 用于视频内容稳定的方法和装置
US9746319B2 (en) Generation of depth data based on spatial light pattern
US20130089301A1 (en) Method and apparatus for processing video frames image with image registration information involved therein
JP2017022694A (ja) ユーザのデバイスに明視野ベースの画像を表示するための方法および装置ならびに対応するコンピュータプログラム製品
KR20200079353A (ko) 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
CN106101522A (zh) 使用非光场成像设备获得光场数据的方法和设备
US8542289B1 (en) Mapping a two-dimensional image to a cylindrical surface using a tuned distortion curve
CN104253939A (zh) 调整对焦位置的方法及电子装置
CN104603796A (zh) 在图像中交互式调焦的系统、方法和媒体
US20160050372A1 (en) Systems and methods for depth enhanced and content aware video stabilization
CN103702032A (zh) 图像处理方法、装置和终端设备
WO2013179560A1 (ja) 画像処理装置および画像処理方法
US20240348928A1 (en) Image display method, device and electronic device for panorama shooting to improve the user's visual experience
EP3262606A1 (en) An image processing method and apparatus for determining depth within an image
CN114390201A (zh) 对焦方法及其装置
US20190370937A1 (en) Image processing apparatus, non-transitory computer-readable recording medium storing computer program, and image processing method
Lee et al. Fast-rolling shutter compensation based on piecewise quadratic approximation of a camera trajectory
KR102101661B1 (ko) 초점 조절 영상 생성 장치 및 방법
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130411

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180411

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130411

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190711

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200120

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200410

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200413

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240308

Start annual number: 5

End annual number: 5