KR101954435B1 - 초점 조절 영상 생성 장치 및 방법 - Google Patents

초점 조절 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101954435B1
KR101954435B1 KR1020120127738A KR20120127738A KR101954435B1 KR 101954435 B1 KR101954435 B1 KR 101954435B1 KR 1020120127738 A KR1020120127738 A KR 1020120127738A KR 20120127738 A KR20120127738 A KR 20120127738A KR 101954435 B1 KR101954435 B1 KR 101954435B1
Authority
KR
South Korea
Prior art keywords
image
focus adjustment
camera modules
parallel
blurring
Prior art date
Application number
KR1020120127738A
Other languages
English (en)
Other versions
KR20140060861A (ko
Inventor
조아영
신윤섭
이창환
김성민
정용우
양선호
권영만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120127738A priority Critical patent/KR101954435B1/ko
Publication of KR20140060861A publication Critical patent/KR20140060861A/ko
Application granted granted Critical
Publication of KR101954435B1 publication Critical patent/KR101954435B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

복수의 카메라 모듈은 복수의 촬영 영상을 각각 생성한다. 영상 평행 이동부는 선택 초점 면을 기준으로 상기 복수의 촬영 영상의 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성한다. 영상 합성부는 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성한다. 복수의 카메라 모듈은 카메라 배치 행렬 상에서 소정의 개수의 엘리먼트들을 제외하고서 나머지 엘리먼트들에 배치된다.

Description

초점 조절 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING FOCUS-ADJUSTED IMAGE}
본 발명은 초점 조절 영상 생성 장치 및 방법에 관한 것이다.
이미 찍혀진 영상의 초점을 변경하여 재초점된 영상(refocused image)을 얻기 위한 요구가 있다.
하나의 영상을 이용하여 재초점 영상을 얻기 위한 한 종래 기술에 따른 초점 조절 영상 생성 장치는 spot의 퍼진 정도에 기초하여 깊이 지도를 생성한 후, 이 깊이 지도에 기초하여 블러링을 통해 재초점 영상을 획득한다. 그러나, 하나의 영상을 이용하는 경우, 깊이 지도의 오차가 심하고, 자연적인 블러인지 재초점에 의한 블러인지 구별되기 쉽지 않다.
두개의 영상을 이용하여 재초점 영상을 얻기 위한 한 종래 기술에 따른 초점 조절 영상 생성 장치는 양안 영상의 특징점을 기반으로 디스패러티를 구하고, 이 디스패러티에 기초하여 깊이 지도를 생성한 후, 이 깊이 지도에 기초하여 블러링을 통해 재초점 영상을 획득한다. 그러나, 특징이 없는 영역이나 미세한 특징이 반복되는 영역에서 오류가 발생할 수 있다. 또한 수평 방향의 parallax만을 이용하기 때문에 수직 방향의 차이에 의한 경계를 구분하기 어렵다.
이를 개선하기 위해 다수의 카메라 모듈을 가지는 어레이 카메라로부터 얻어진 영상을 이용하여 재초점 영상을 얻기 위한 기술이 제안되었다. 이는 재초점 면을 기초로 다수의 영상을 평행이동한 후 중첩을 통해 재초점 영상이 얻어질 수 있다.
하지만, 카메라 모듈의 개수가 늘어날수록 재초점 영상의 퀄리티가 향상되지만, 제품의 가격이 올라가고 처리의 부하가 증가하는 문제가 있다. 또한, 카메라 모듈의 개수가 늘어난다 하더라도 디스패러티가 큰 위치에서는 계단 현상이 나타날 수 있다.
본 발명이 이루고자 하는 기술적 과제는 어레이 카메라의 카메라 모듈의 수를 줄이더라도 계단 현상이 완화된 재초점 영상을 생성하는 것이다.
본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치는 복수의 촬영 영상을 각각 생성하는 복수의 카메라 모듈; 선택 초점 면을 기준으로 상기 복수의 촬영 영상의 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성하는 영상 평행 이동부; 및 상기 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성하는 영상 합성부를 포함한다.
상기 복수의 카메라 모듈은 카메라 배치 행렬 상에서 소정의 개수의 엘리먼트들을 제외하고서 나머지 엘리먼트들에 배치될 수 있다.
초점 조절 영상 생성 장치는 복수의 촬영 영상 중에서 인접하는 복수의 촬영 영상 사이에서 상기 선택 초점 면을 기준으로 한 디스패러티가 소정의 기준치보다 큰 위치의 보간 정보를 생성하는 보간 정보 생성부를 더 포함할 수 있다.
상기 영상 합성부는 상기 보간 정보를 이용하여 상기 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 초점 조절 영상 생성 방법은 복수의 촬영 영상을 생성하는 단계; 복수의 촬영 영상의 일부 또는 전부를 이용하여 복수의 촬영 영상 중 기준 영상의 깊이 지도를 생성하는 단계; 기준 영상을 블러링하여 재초점 영상을 생성하는 단계를 포함한다.
상기 복수의 촬영 영상은 카메라 배치 행렬 상에서 소정의 개수의 엘리먼트들을 제외하고서 나머지 엘리먼트들에 배치되는 복수의 카메라 모듈에 의해 생성될 수 있다.
상기 기준 영상을 블러링하는 단계는 상기 깊이 지도를 참조하여 상기 기준 영상의 각 위치와 선택 초점 면 사이의 거리를 구하는 단계와, 구해진 거리에 따라 블러링 강도를 결정하는 단계와, 결정된 블러링 강도를 이용하여 상기 기준 영상을 블러링하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 어레이 카메라의 카메라 모듈의 수를 줄이더라도 계단 현상이 완화된 재초점 영상이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치의 블록도이다.
도 2는 본 발명의 다양한 실시예에 따른 복수의 카메라 모듈의 배치를 보여준다.
도 3은 본 발명의 다양한 실시예에 따른 복수의 카메라 모듈의 배치를 보여준다.
도 4는 본 발명의 다양한 실시예에 따른 복수의 카메라 모듈의 배치를 보여준다.
도 5를 참고하여 본 발명의 일 실시예에 따른 초점 조절 영상 생성 방법의 흐름도이다.
도 6은 보간 정보를 이용하지 않은 경우의 영상 합성의 원리를 보여준다.
도 7은 보간 정보를 이용하는 경우의 영상 합성의 원리를 보여준다.
도 8은 본 발명의 실시예에 따른 영상 합성의 결과를 보여주는 그래프이다.
도 9는 본 발명의 또 다른 실시예에 따른 초점 조절 영상 생성 장치의 블록도이다.
도 10은 본 발명의 또 다른 실시예에 따른 초점 조절 영상 생성 방법을 보여주는 흐름도이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
다음은 도 1을 참고하여 본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치의 구조를 설명한다.
도 1은 본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 초점 조절 영상 생성 장치(100)는 복수의 카메라 모듈(110), 보간 영상 생성부(130), 영상 평행 이동부(140), 영상 합성부(150), 디스플레이부(170), 제어부(190)를 포함한다.
복수의 카메라 모듈(110)은 복수의 촬영 영상을 생성한다.
보간 정보 생성부(130)는 복수의 촬영 영상 중에서 인접하는 2개의 촬영 영상 사이에서 선택 초점 면을 기준으로 한 디스패러티가 소정의 기준치보다 큰 위치의 보간 정보를 생성한다.
영상 평행 이동부(140)는 선택 초점 면을 기준으로 복수의 촬영 영상의 각각을 평행 이동하여, 복수의 평행 이동된 촬영 영상을 생성한다.
영상 합성부(150)는 보간 정보를 이용하여 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상(refocused image)을 생성한다.
디스플레이부(170)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
복수의 카메라 모듈(110)의 배치에 대하여 도 2 내지 도 4를 참고하여 설명한다.
도 2는 본 발명의 다양한 실시예에 따른 복수의 카메라 모듈의 배치를 보여준다.
특히, 도 2는 복수의 카메라 모듈(110)이 3x3 행렬 상에 배치되는 모습을 보여준다.
도 2의 (A)에서 보여지는 바와 같이, 9개의 카메라 모듈(110)은 3x3 행렬의 모든 엘리먼트에 배치될 수 있다.
도 2의 (B)에서 보여지는 바와 같이, 5개의 카메라 모듈(110)은 3x3 행렬의 홀수번째 엘리먼트들에 배치될 수 있다. 이때, 홀수번째 엘리먼트들은 3x3 행렬의 3개의 행을 일렬로 배치하였을 때 홀수번째에 속하는 엘리먼트를 의미한다.
도 2의 (C)에서 보여지는 바와 같이, 4개의 카메라 모듈(110)은 3x3 행렬의 짝수번째 엘리먼트들에 배치될 수 있다. 이때, 짝수번째 엘리먼트들은 3x3 행렬의 3개의 행을 일렬로 배치하였을 때 짝수번째에 속하는 엘리먼트를 의미한다.
도 3은 본 발명의 다양한 실시예에 따른 복수의 카메라 모듈의 배치를 보여준다.
특히, 도 3은 복수의 카메라 모듈(110)이 5x5 행렬 상에 배치되는 모습을 보여준다.
도 3의 (A)에서 보여지는 바와 같이, 25개의 카메라 모듈(110)은 5x5 행렬의 모든 엘리먼트에 배치될 수 있다.
도 3의 (B)에서 보여지는 바와 같이, 13개의 카메라 모듈(110)은 5x5 행렬의 홀수번째 엘리먼트들에 배치될 수 있다. 이때, 홀수번째 엘리먼트들은 5x5 행렬의 5개의 행을 일렬로 배치하였을 때 홀수번째에 속하는 엘리먼트를 의미한다.
도 3의 (C)에서 보여지는 바와 같이, 12개의 카메라 모듈(110)은 5x5 행렬의 짝수번째 엘리먼트들에 배치될 수 있다. 이때, 짝수번째 엘리먼트들은 5x5 행렬의 5개의 행을 일렬로 배치하였을 때 짝수번째에 속하는 엘리먼트를 의미한다.
도 3의 (D)에서 보여지는 바와 같이, 9개의 카메라 모듈(110)은 5x5 행렬의 대각선에 속하는 엘리먼트들에 배치될 수 있다.
도 3의 (E)에서 보여지는 바와 같이, 9개의 카메라 모듈(110)은 5x5 행렬의 꼭지점에 속하는 엘리먼트들을 제외하고서 5x5 행렬의 홀수번째 엘리먼트들에 배치될 수 있다.
도 2와 도 3의 실시예는 복수의 카메라 모듈(110)이 배치되는 행렬로 3x3 행렬과 5x5 행렬을 이용하였지만, 이에 한정될 필요는 없다. 예컨데, NxN 행렬이 이용될 수도 있고, NxM 행렬이 이용될 수도 있다. 복수의 카메라 모듈(110)은 카메라 배치 행렬 상의 모든 엘리먼트들에 배치될 수도 있고, 카메라 배치 행렬 상의 소정의 개수의 엘리먼트들을 제외하고서 나머지 엘리먼트들에 배치될 수도 있다. 복수의 카메라 모듈(110)은 카메라 배치 행렬의 홀수번째 엘리먼트들에 배치될 수도 있고, 짝수번째 엘리먼트들에 배치될 수도 있으며, 복수의 카메라 모듈(110)은 카메라 배치 행렬의 대각선에 속하는 엘리먼트들에 배치될 수도 있다.
도 2와 도 3의 실시예에서, 복수의 카메라 모듈(110)의 각각에 대하여, 한 카메라 모듈 및 이 카메라 모듈의 상/하/좌/우 방향으로 직접적으로 인접하는 카메라 모듈 사이의 거리(baseline)는 일정하다. 그러나, 이 거리에 변화를 줄 수 있다. 이를 도 4를 참고하여 설명한다.
도 4는 본 발명의 다양한 실시예에 따른 복수의 카메라 모듈의 배치를 보여준다.
도 4에 도시된 바와 같이, 복수의 카메라 모듈(110)은 복수의 베이스라인을 가질 수 있다. 특히, 도 4에서는, 복수의 카메라 모듈(110)은 값이 a인 베이스라인과 값이 b인 베이스라인을 가진다. 이 경우, 값이 a인 베이스라인인 카메라 모듈 조합과 값이 b인 베이스라인인 카메라 모듈 조합이 생긴다.
즉, 복수의 카메라 모듈(110)이 복수의 베이스라인을 가지는 경우에, 복수의 카메라 모듈(110)은 복수의 베이스라인에 각각 대응하는 복수의 카메라 모듈 조합으로 분류될 수 있다.
다음은 도 5를 참고하여 본 발명의 일 실시예에 따른 초점 조절 영상 생성 방법을 설명한다.
도 5를 참고하여 본 발명의 일 실시예에 따른 초점 조절 영상 생성 방법의 흐름도이다.
복수의 카메라 모듈(110)은 복수의 촬영 영상을 각각 생성한다(S101).
제어부(190)는 디스플레이부(170)에 복수의 촬영 영상 중 적어도 하나를 디스플레이한다(S103).
제어부(190)는 초점 조정을 위한 초점 면에 대한 선택 정보를 수신한다(S105). 제어부(190)는 디스플레이된 촬영 영상의 특정 위치의 터치에 대한 위치 정보를 감지하고, 터치된 위치에 해당하는 초점 면을 초점 조정을 위한 초점 면으로 선택할 수 있다.
보간 정보 생성부(130)는 복수의 촬영 영상 중에서 인접하는 2개의 촬영 영상 사이에서 선택 초점 면을 기준으로 한 디스패러티가 소정의 기준치보다 큰 위치의 보간 정보를 생성한다(S107). 보간 정보 생성부(130)는 해당 위치의 디스패러티를 소정의 스텝 사이즈에 따라 복수의 스텝으로 나누고, 복수의 스텝에 각각 대응하는 복수의 보간 픽셀 값을 포함하는 보간 정보를 생성할 수 있다. 소정의 기준치는 1픽셀일 수 있다. 보간 정보 생성부(130)는 복수의 촬영 영상의 복수의 인접 촬영 영상 조합의 각각에 대하여, 보간 정보를 생성할 수도 있다.
예컨데, 디스패러티가 10픽셀인 위치가 있고, 소정의 스텝 사이즈가 2펙셀이면, 해당 위치의 디스패러티는 2픽셀, 4픽셀, 6픽셀, 8픽셀의 4개의 스텝으로 나뉠 수 있다. 이 경우, 보간 정보 생성부(130)는 2픽셀의 디스패러티에 해당하는 보간 픽셀 값, 4픽셀의 디스패러티에 해당하는 보간 픽셀 값, 6픽셀의 디스패러티에 해당하는 보간 픽셀 값, 8픽셀의 디스패러티에 해당하는 보간 픽셀 값을 보간 정보로서 생성할 수 있다.
일 실시예에서, 복수의 촬영 영상을 합성할 때의 계단 현상을 1 픽셀 단위로까지 스무딩하기 위하여 소정의 기준치를 1픽셀로 하고, 소정의 스텝 사이즈를 1픽셀로 할 수 있다.
보간 정보 생성부(130)는 아래의 수학식 1을 이용하여 특정 위치의 픽셀 단위의 디스패러티를 구할 수 있다.
Figure 112012092942777-pat00001
수학식 1에서, disparity[m]는 해당 위치의 미터 단위의 디스패러티를 나타내고, pixelSize[m]는 1픽셀 당 미터 단위의 길이를 나타내며, disparity[pixels]는 픽셀 단위의 디스패러티를 나타낸다.
영상 평행 이동부(140)는 선택 초점 면을 기준으로 복수의 촬영 영상의 각각을 평행 이동하여, 복수의 평행 이동된 촬영 영상을 생성한다(S109).
영상 합성부(150)는 보간 정보를 이용하여 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상(refocused image)을 생성한다(S111). 영상 합성부(150)는 보간 정보와 복수의 평행 이동된 촬영 영상을 평균 또는 가중 평균하여 재초점 영상을 생성할 수 있다.
이처럼 보간 정보를 이용하여 복수의 촬영 영상을 합성하면, 도 2의 (B), (C) 또는 도 3의 (B), (C), (D), (E)에서 보여지는 바와 같은 카메라 모듈 배치가 이용되더라도 비어있는 영역에 카메라 모듈이 추가되는 효과를 얻을 수 있다. 또한, 2개의 카메라 모듈이 도 2의 (A)나 도 3의 (A)에서 보여지는 바와 같이 인접하고 있더라도, 그 2개의 카메라 모듈 사이에 하나 이상의 가상 카메라 모듈이 추가되는 효과를 얻을 수 있다. 복수의 촬영 영상을 합성한다는 것은 복수의 촬영 영상을 평균화 또는 가중 평균화하는 것을 나타낼 수 있다. 이는 아래의 수학식 2를 통해 알 수 있다.
Figure 112012092942777-pat00002
수학식 2에서, depth[m]은 영상의 한 위치의 미터 단위의 깊이를 나타내고, disparity[m]는 해당 위치의 미터 단위의 디스패러티를 나타내고, baseline[m]은 2개의 카메라 모듈 사이의 미터 단위의 거리를 나타내며, focalLength[m]은 카메라 모듈의 초점 거리를 나타낸다.
수학식 2에서 보는 바와 같이, 베이스라인은 디스패러티에 비례한다. 따라서, 디스패러티를 조정하여 얻을 수 있는 보간 정보는 베이스라인을 조정하여 얻을 수 있는 영상 정보에 해당한다.
제어부(190)는 생성된 재초점 영상을 디스플레이부(170) 또는 저장부(180)에 출력한다(S113).
다음은 도 6 내지 도 8을 참고하여 본 발명의 실시예에 따른 보간 정보를 이용한 영상 합성에 대해 설명한다.
도 6은 보간 정보를 이용하지 않은 경우의 영상 합성의 원리를 보여준다.
도 6에서, 카메라(C1)은 물체(O1)과 물체(O2)를 촬영하여 촬영 영상(P1)을 생성하고, 카메라(C2)는 물체(O1)과 물체(O2)를 촬영하여 촬영 영상(P2)를 생성한다.
물체(O2)에 초점을 맞춘 재초점 영상을 생성하기 위하여 촬영 영상(P1)과 촬영 영상(P2)을 평행 이동하면, 물체(O1)에는 도 6에 도시된 바와 같은 디스패러티가 나타난다.
한편, 평행 이동된 촬영 영상(P1)과 촬영 영상(P2)을 합성하면, 재초점 영상(P3)이 생성된다. 재초점 영상(P3)에서, 물체(O2)는 더욱 뚜렷하게 보여지고, 물체(P1)은 블러링된다. 그러나, 예컨데 디스패러티가 12픽셀이라면, 도 6에 도시된 바와 같이, 블러링된 물체(P1)에는 계단 현상이 나타난다.
도 7은 보간 정보를 이용하는 경우의 영상 합성의 원리를 보여준다.
도 7에서 보여지는 바와 같이, 디스패러티가 5픽셀에 해당하는 보간 영상을 이용하여 평행 이동된 촬영 영상(P1)과 촬영 영상(P2)을 합성하면 물체(P1)에는 나타나는 계단 현상이 완화되는 것을 알 수 있다.
따라서, 1 픽셀 단위로 생성된 보간 영상을 이용하여 촬영 영상들을 합성하면, 계단 현상을 거의 없앨 수 있다.
도 8은 본 발명의 실시예에 따른 영상 합성의 결과를 보여주는 그래프이다.
도 8의 (A)는 보간 영상을 이용하지 않은 경우의 물체(O1)의 픽셀값을 이미지의 X축 상으로의 픽셀 증가에 따라 보여준다.
도 8의 (B)는 1개의 보간 영상을 이용하는 경우의 물체(O1)의 픽셀값을 이미지의 X축 상으로의 픽셀 증가에 따라 보여준다.
도 8의 (C)는 11개의 보간 영상을 이용하는 경우의 물체(O1)의 픽셀값을 이미지의 X축 상으로의 픽셀 증가에 따라 보여준다.
도 8의 (A), (B), (C)에 도시된 바와 같이, 보간 영상의 개수를 증가시킬 수록 계단 현상은 완화될 수 있다.
또한, 수직축 상으로 배치된 카메라 모듈의 촬영 영상을 이용한다면 수직축상으로의 계단 현상도 완화될 수 있다.
다음은 도 9와 도 10을 참고하여 본 발명의 또 다른 실시예에 따른 초점 조절 영상 생성 장치의 구조를 설명한다.
도 9는 본 발명의 또 다른 실시예에 따른 초점 조절 영상 생성 장치의 블록도이다.
도 9에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따른 초점 조절 영상 생성 장치(200)는 복수의 카메라 모듈(210), 깊이 지도 생성부(230), 블러링 필터(250), 디스플레이부(270), 저장부(280), 제어부(290)를 포함한다.
도 10은 본 발명의 또 다른 실시예에 따른 초점 조절 영상 생성 방법을 보여주는 흐름도이다.
복수의 카메라 모듈(210)은 복수의 촬영 영상을 각각 생성한다(S201).
제어부(290)는 디스플레이부(270)에 복수의 촬영 영상 중 적어도 하나를 디스플레이한다(S203).
제어부(290)는 초점 조정을 위한 초점 면에 대한 선택 정보를 수신한다(S205). 제어부(290)는 디스플레이된 촬영 영상의 특정 위치의 터치에 대한 위치 정보를 감지하고, 터치된 위치에 해당하는 초점 면을 초점 조정을 위한 초점 면으로 선택할 수 있다.
깊이 지도 생성부(230)는 복수의 카메라 모듈(210)이 생성한 복수의 촬영 영상의 일부 또는 전부를 이용하여 복수의 촬영 영상 중 기준 영상의 깊이 지도를 생성한다(S207). 깊이 지도 생성부(230)는 수학식 2를 이용하여 깊이 지도를 생성할 수 있다. 깊이 지도 생성부(230)는 최대 수평, 수직의 parallax를 가지는 촬영 영상을 이용하여 디스패터티를 구한 후, 수학식2를 이용하여 보다 정확한 깊이 지도를 획득할 수 있다.
또한, 도 4에 도시된 바와 같이 2개 이상의 베이스라인을 가지는 카메라 모듈 배치를 이용하여 깊이 지도 생성부(230)는 보다 정확한 깊이 지도를 획득할 수 있다. 수학식 2를 통해 알 수 있듯이, 깊이는 베이스라인에 비례한다. 예컨데, 베이스라인이 2cm일 때, 깊이의 해상도가 2m이라고 가정하면, 깊이는 2, 4, 6, 8m와 같이 측정될 수 있다. 또, 베이스라인이 3cm일 때, 깊이의 해상도가 3m이라고 가정하면, 깊이는 3, 6, 9, 12m와 같이 측정될 수 있다. 따라서, 값이 2츠인 베이스라인인 카메라 모듈 조합과 값이 3cm인 베이스라인인 카메라 모듈 조합을 이용하면, 깊이는 2, 3, 4, 6, 8, 9, 12와 같이 측정될 수 있으므로, 더욱 정확한 깊이 지도가 획득될 수 있다.
블러링 필터(250)는 기준 영상을 블러링하여 재초점 영상을 생성한다(S209). 이때, 블러링 필터(250)는 깊이 지도를 참조하여 기준 영상의 각 위치와 선택 초점 면 사이의 거리를 구하고, 구해진 거리에 따라 블러링 필터의 커널에 해당하는 블러링 강도를 결정하여, 결정된 블러링 강도를 이용하여 기준 영상을 블러링할 수 있다. 블러링 필터(250)는 기준 영상의 각 위치와 선택 초점 면 사이의 거리가 클수록, 블러링 강도를 크게 할 수 있다.
제어부(290)는 생성된 재초점 영상을 디스플레이부(270) 또는 저장부(280)에 출력한다(S211).
본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (7)

  1. 복수의 촬영 영상을 각각 생성하는 복수의 카메라 모듈;
    선택 초점 면을 기준으로 상기 복수의 촬영 영상의 각각을 평행 이동하여 복수의 평행 이동된 촬영 영상을 생성하는 영상 평행 이동부;
    상기 복수의 촬영 영상 중에서 인접하는 복수의 촬영 영상 사이에서 상기 선택 초점 면을 기준으로 한 디스패러티가 소정의 기준치보다 큰 위치의 보간 정보를 생성하는 보간 정보 생성부; 및
    상기 보간 정보를 이용하여 상기 복수의 평행 이동된 촬영 영상을 합성하여 재초점 영상을 생성하는 영상 합성부를 포함하고,
    상기 복수의 카메라 모듈은 카메라 배치 행렬 상에서 소정의 개수의 엘리먼트들을 제외하고서 나머지 엘리먼트들에 배치되는
    초점 조절 영상 생성 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 보간 정보 생성부는 상기 위치의 디스패러티를 소정의 스텝 사이즈에 따라 복수의 스텝으로 나누고, 복수의 스텝에 각각 대응하는 복수의 보간 픽셀 값을 포함하는 보간 정보를 생성하는
    초점 조절 영상 생성 장치.
  4. 제3항에 있어서,
    상기 재초점 영상을 출력하는 제어부를 더 포함하는
    초점 조절 영상 생성 장치.
  5. 제1항에 있어서,
    상기 복수의 촬영 영상의 일부 또는 전부를 이용하여 복수의 촬영 영상 중 기준 영상의 깊이 지도를 생성하는 깊이 지도 생성부; 및
    상기 기준 영상을 블러링하여 재초점 영상을 생성하는 블러링 필터를 더 포함하는
    초점 조절 영상 생성 장치.
  6. 제5항에 있어서,
    상기 블러링 필터는
    상기 깊이 지도를 참조하여 상기 기준 영상의 각 위치와 선택 초점 면 사이의 거리를 산출하고, 산출된 거리에 따라 블러링 강도를 결정하고, 결정된 블러링 강도를 이용하여 상기 기준 영상을 블러링하는
    초점 조절 영상 생성 장치.
  7. 제6항에 있어서,
    상기 복수의 카메라 모듈은 복수의 베이스라인을 가지는
    초점 조절 영상 생성 장치.
KR1020120127738A 2012-11-12 2012-11-12 초점 조절 영상 생성 장치 및 방법 KR101954435B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120127738A KR101954435B1 (ko) 2012-11-12 2012-11-12 초점 조절 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120127738A KR101954435B1 (ko) 2012-11-12 2012-11-12 초점 조절 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140060861A KR20140060861A (ko) 2014-05-21
KR101954435B1 true KR101954435B1 (ko) 2019-03-05

Family

ID=50890048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120127738A KR101954435B1 (ko) 2012-11-12 2012-11-12 초점 조절 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101954435B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101025405B1 (ko) * 2009-11-02 2011-03-28 중앙대학교 산학협력단 초점 조절 영상 생성 시스템, 방법 및 이를 채용한 촬영 장치
JP2012147088A (ja) * 2011-01-07 2012-08-02 Nikon Corp 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101025405B1 (ko) * 2009-11-02 2011-03-28 중앙대학교 산학협력단 초점 조절 영상 생성 시스템, 방법 및 이를 채용한 촬영 장치
JP2012147088A (ja) * 2011-01-07 2012-08-02 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
KR20140060861A (ko) 2014-05-21

Similar Documents

Publication Publication Date Title
JP4529010B1 (ja) 撮像装置
US9412151B2 (en) Image processing apparatus and image processing method
US8743245B2 (en) Image processing method, image pickup apparatus, image processing apparatus, and non-transitory computer-readable storage medium
WO2011065738A2 (en) Image processing apparatus and method
JP2012123296A (ja) 電子機器
US20150054986A1 (en) Image processing apparatus, imaging apparatus, and image processing method
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
US10957021B2 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
CN103702032A (zh) 图像处理方法、装置和终端设备
JP6486603B2 (ja) 画像処理装置
US10154205B2 (en) Electronic device and image processing method thereof
JP5631935B2 (ja) 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置
US20190370937A1 (en) Image processing apparatus, non-transitory computer-readable recording medium storing computer program, and image processing method
JP2014164574A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6162971B2 (ja) 画像処理装置、画像処理方法、撮像装置及びその制御方法
KR101954435B1 (ko) 초점 조절 영상 생성 장치 및 방법
JP2019175283A (ja) 認識装置、認識システム、プログラムおよび位置座標検出方法
US20150271470A1 (en) Method of using a light-field camera to generate a full depth-of-field image, and light field camera implementing the method
WO2010141533A1 (en) Generating images with different fields of view
JP2020009099A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7211271B2 (ja) 画像選択方法、画像選択プログラム、および画像選択装置
JP5906848B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5636966B2 (ja) 誤差検出装置及び誤差検出プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121112

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170914

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20121112

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180528

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181128

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190226

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190227

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220107

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230109

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20241209