KR20160049371A - 이미지 생성 장치 및 이미지 생성 방법 - Google Patents

이미지 생성 장치 및 이미지 생성 방법 Download PDF

Info

Publication number
KR20160049371A
KR20160049371A KR1020140146388A KR20140146388A KR20160049371A KR 20160049371 A KR20160049371 A KR 20160049371A KR 1020140146388 A KR1020140146388 A KR 1020140146388A KR 20140146388 A KR20140146388 A KR 20140146388A KR 20160049371 A KR20160049371 A KR 20160049371A
Authority
KR
South Korea
Prior art keywords
image
pixel
reference image
cost volume
depth map
Prior art date
Application number
KR1020140146388A
Other languages
English (en)
Other versions
KR102232524B1 (ko
Inventor
이태희
전해곤
권인소
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020140146388A priority Critical patent/KR102232524B1/ko
Publication of KR20160049371A publication Critical patent/KR20160049371A/ko
Application granted granted Critical
Publication of KR102232524B1 publication Critical patent/KR102232524B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

이미지 생성 방법을 개시한다. 본 발명의 일 실시 예에 따른 이미지 생성 방법은, 기준 영상과 시점이 상이한 비교 영상을 주파수 도메인으로 변환하는 단계와, 상기 주파수 도메인으로 변환된 비교 영상의 위상을 변화시키는 단계와, 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변환하는 단계와, 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어 별로 비용체적(cost volume)을 계산하는 단계와, 상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하는 단계와, 상기 설정된 뎁스값을 기초로 뎁스맵을 생성하는 단계를 포함한다.

Description

이미지 생성 장치 및 이미지 생성 방법{IMAGE GENERATING APPARATUS AND METHOD FOR GENERATING IMAGE}
본 발명은 이미지 생성 장치에 관한 것으로, 좀더 상세하게는 정확한 뎁스 정보를 얻을 수 있는 이미지 생성 장치 및 이미지 생성 방법에 관한 것이다.
최근 마이크로 렌즈 어레이를 이용한 집적 영상(Integral photography) 기술이 개발되고 있다. 이렇게 집적 영상을 생성할 수 있는 카메라를 라이트 필드 카메라(Light Field Camera)라고 한다.
라이트 필드 카메라는 풍부한 4D(4-Dimension) 광 정보를 생성하므로 한번의 촬영으로 다양한 영상 효과를 얻을 수 있는 특징이 있다. 즉, 메인 렌즈를 통한 2D 광 정보와 마이크로 렌즈 어레이를 투과하여 이미지 센서에 집적되는 2D 광 정보의 조합을 통해 4D 광 정보 획득이 가능하므로, 한번의 촬영으로 뎁스 처리, 디지털 리포커싱(refocusing), 구면 수차 보정(spherical aberration correction) 등 다양한 영상 효과를 얻을 수 있게 된다. 특히, 라이트 필드 카메라는 한번의 촬영으로 시점이 다른 영상들(Sub-aperture image)을 획득할 수 있는 특징이 있다.
하지만, 라이트 필드 카메라에서 나온 영상간의 거리가 좁아 정확한 깊이 정보를 파악하는데 어려움이 있다. 게다가 라이트 필드 정보를 획득하기 위해 사용된 카메라 센서 앞단의 마이크로 렌즈 어레이(micro lens array)나 투명 마스크는 광량의 손실을 유발해 라이트 필드 영상의 광잡음(photon noise) 수치를 증가시키는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 영상간의 거리가 좁은 경우도 밀도가 높은 뎁스맵을 생성하여 정확한 깊이 정보를 얻을 수 있고 광잡음을 줄일 수 있는 다시점 영상 생성 기술을 제공하기 위함이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 생성 방법은, 기준 영상과 시점이 상이한 비교 영상을 주파수 도메인으로 변환하는 단계, 상기 주파수 도메인으로 변환된 비교 영상의 위상을 변화시키는 단계, 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변환하는 단계, 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어 별로 비용체적(cost volume)을 계산하는 단계, 상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하는 단계, 상기 설정된 뎁스값을 기초로 최적화된 뎁스맵을 생성하는 단계를 포함한다.
또한, 상기 이미지 생성 방법은, 이미지 센서를 이용하여 마이크로 렌즈를 투과한 광을 방향별로 감지하는 단계와, 상기 방향 별로 감지된 광 센싱값을 이용하여 상기 기준 영상과 상기 비교 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 주파수 도메인으로 변환하는 단계는, 푸리에 변환을 이용하여 상기 비교 영상을 주파수 도메인으로 변경할 수 있다.
또한, 상기 픽셀 도메인으로 변환하는 단계는 역 푸리에 변환을 이용하여 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변경할 수 있다.
또한, 상기 비용체적을 계산하는 단계는, 상기 기준 영상의 픽셀과 상기 비교 영상의 픽셀의 픽셀값 차이 및 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 이용하여 상기 레이어 별로 상기 비용체적(cost volume)을 계산할 수 있다.
또한, 상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하는 단계는, WTA(Winner-Take-All) 방식으로 수행될 수 있다.
또한, 상기 이미지 생성 방법은, 상기 생성된 뎁스맵에 대해서 모서리 보존 필터링(edge-preserving filtering)을 수행할 수 있다.
또한, 상기 이미지 생성 방법은, 상기 생성된 뎁스맵을 다층 최적화 방법(multi-label optimization)으로 보정하는 단계를 더 포함할 수 있다.
또한, 상기 보정된 뎁스맵의 뎁스값에 대해 중간값 필터링을 수행하는 반복적인 정제 과정(interative refinement)을 수행하는 단계를 더 포함할 수 있다.
또한, 상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 생성 장치는, 기준 영상과 시점이 상이한 비교 영상을 주파수 도메인으로 변환시켜 위상을 변화시고 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어 별로 비용체적(cost volume)을 계산하는 비용체적 산출부와, 상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하고 이를 기초로 뎁스맵을 생성하는 뎁스맵 생성부를 포함한다.
또한, 상기 이미지 생성 장치는, 메인 렌즈와, 상기 메인 렌즈를 통해 입사된 광을 투과시키는 마이크로 렌즈 어레이(Micro Lens Array)와, 상기 마이크로 렌즈 어레이를 투과한 광을 방향 별로 감지하는 이미지 센서(Image Sensor)와, 상기 방향 별로 감지된 광 센싱값을 이용하여 상기 기준 영상과 상기 비교 영상을 생성하는 이미지 생성부를 더 포함할 수 있다.
또한, 상기 비용체적 산출부는, 푸리에 변환을 이용하여 상기 비교 영상을 주파수 도메인으로 변경할 수 있다.
또한, 상기 비용체적 산출부는, 역 푸리에 변환을 이용하여 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변경하여, 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어 별로 비용체적(cost volume)을 계산할 수 있다.
이때, 상기 비용체적 산출부는, 상기 기준 영상의 픽셀과 상기 비교 영상의 픽셀의 픽셀값 차이 및 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 이용하여 상기 레이어 별로 상기 비용체적(cost volume)을 계산할 수 있다.
또한, 상기 이미지 생성 장치는, 상기 생성된 뎁스맵에 대해서 모서리 보존 필터링(edge-preserving filtering)을 수행하는 모서리 보존 필터링부를 더 포함할 수 있다.
또한, 상기 이미지 생성 장치는, 상기 생성된 뎁스맵을 다층 최적화 방법(multi-label optimization)으로 보정하는 다층 최적화부를 더 포함할 수 있다.
또한, 상기 이미지 생성 장치는, 상기 보정된 뎁스맵의 뎁스값에 대해 중간값 필터링을 수행하는 반복적인 정제 과정(interative refinement)을 수행하는 반복적 정제부를 더 포함할 수 있다.
상기 뎁스맵 생성부는, WTA(Winner-Take-All) 방식으로 상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은 영상간의 거리가 좁은 경우도 밀도가 높은 뎁스맵을 생성하여 정확한 깊이 정보를 얻을 수 있다.
도 1은 종래의 라이트 필드 카메라를 통해 생성한 뎁스맵을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 이미지 생성 장치의 구성을 도시한 블록도,
도 3은 본 발명의 일 실시 예에 따른 이미지 생성 장치의 마이크로 렌즈 구조를 도시한 도면,
도 4는 본 발명의 일 실시 에에 따른 다시점 영상을 도시한 도면,
도 5는 본 발명의 다른 실시 예에 따른 이미지 생성 장치의 구성을 도시한 블록도,
도 6은 본 발명의 다른 실시 예에 따른 이미지 생성 장치가 생성하는 뎁스맵을 처리 단계별로 도시한 도면,
도 7은 반복적 정제 과정을 도시한 블록도,
도 8은 반복적인 정제 과정이 이루어진 후의 뎁스맵을 도시한 도면, 그리고,
도 9는 본 발명의 일 실시 예에 따른 이미지 생성 방법의 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.
도 1은 종래의 라이트 필드 카메라를 통해 생성한 뎁스맵을 도시한 도면이다.
라이트 필드 카메라는 한번의 촬영으로 시점이 다른 영상들(Sub-aperture image)을 얻을 수 있고, 그 중에서 두 영상을 선택하여 뎁스맵을 생성한다. 이때, 두 영상간의 거리에서 깊이 정보를 획득하는데 이를 위해서는 두 영상에서 서로 대응되는 픽셀을 찾아야 한다. 종래의 스테레오 카메라는 서로 대응되는 픽셀을 찾아서 픽셀간 거리 정보를 계산하고 이를 기초로 뎁스맵을 생성한다.
하지만, 종래의 라이트 필드 카메라는 다시점 영상간의 거리가 좁아 정확한 깊이 정보를 파악하는데 어려움이 있다. 게다가 라이트 필드 정보를 획득하기 위해 사용된 카메라 센서 앞단의 마이크로 렌즈 어레이(micro lens array)나 투명 마스크는 광량의 손실을 유발해 라이트 필드 영상의 광잡음(photon noise) 수치를 증가시킨다. 그 결과 도 1의 (B)와 같이 생성된 뎁스맵은 뎁스 정보를 정확하게 반영하지 못하고, 잡음을 많이 포함하게 된다.
도 2는 본 발명의 일 실시 예에 따른 이미지 생성 장치(100-1)의 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 이미지 생성 장치(100-1)는 비용체적 산출부(150), 뎁스맵 생성부(160)를 포함한다.
비용체적 산출부(150)는 다시점 영상의 픽셀을 서브 픽셀 단위로 뎁스맵을 구성하기 위해 비용체적을 산출하는 구성이다. 이를 위해 비용체적 산출부(150)는 우선, 기준 영상과 시점이 상이한 비교 영상을 주파수 도메인으로 변환시킨다. 기준 영상은 뎁스 판단의 기준이 되는 영상으로 복수의 다시점 영상 중에서 선택된다. 비교 영상은 복수의 다시점 영상 중 기준 영상을 제외한 영상으로 하나의 영상씩 선택되어 하기의 과정이 수행된다. 비용체적 산출부(150)는 푸리에 변환을 이용하여 상기 비교 영상을 주파수 도메인으로 변경할 수 있다. 이처럼 영상을 주파수 도메인으로 변경하면 위상 변화를 통해 신뢰도가 높은 시프트 영상을 얻을 수 있는 장점이 있다.
비용체적 산출부(150)는 상기 주파수 도메인으로 변환된 비교 영상의 위상을 변화시킬 수 있다. 구체적으로 비용체적 산출부(150)는 상기 주파수 도메인으로 변환된 비교 영상의 위상을 기 설정된 변위만큼 쉬프트시킬 수 있다. 이를 통해 영상의 픽셀을 서브 픽셀 단위로 신뢰도 높게 쉬프트시킬 수 있는 것이다.
그리고, 비용체적 산출부(150)는, 역 푸리에 변환을 이용하여 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변경할 수 있다.
비용체적 산출부(150)는 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어(layer=label)별로 비용체적(cost volume)을 계산한다. 비용체적 산출부(150)는 기준 영상의 각 픽셀에 대해서 이에 대응되는 쉬프트된 비교 영상의 픽셀(대응점)을 식별하고, 일정한 레이어 범위에 대해서 순차적으로 비용체적을 계산한다.
뎁스맵 생성부(160)는 상기 계산된 비용체적이 최소인 레이어를 선택한다. 그리고, 선택된 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하고 이를 기초로 뎁스맵을 생성한다. 이는 WTA(Winner-Take-All) 방식으로 수행될 수 있다.
상기 과정은 비교 영상의 모든 픽셀에 대해서 이루어지며, 복수의 비교 영상과 기준 영상에 대해서 이루어진다.
비용체적(cost volume)C는 아래의 수식으로 구할 수 있다. 아래의 수식과 같이 비용체적 산출부(150)는, 상기 기준 영상의 픽셀과 상기 비교 영상의 픽셀의 픽셀값 차이 및 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 이용하여 상기 레이어 별로 상기 비용체적(cost volume)을 계산할 수 있다.
Figure pat00001
이때, x는 기준 영상의 픽셀 좌표이고, l은 레이어값이고, CSAD 는 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀의 픽셀값 차이를 저장하는 비용체적이고, CGARD 는 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 저장하는 비용체적이다. α는 이 두 개의 비용체적의 균형을 잡는 상수이고, 0에서 1사이의 값을 갖는다. Csad 와 Cgard 는 아래와 같이 구해진다.
Figure pat00002

Figure pat00003

Figure pat00004

벡터
Figure pat00005
는 시점이 다른 영상들의 인덱스이고,
Figure pat00006
는 레퍼런스 시점의 영상을 나타내는 인덱스이다. |?|는 절대값을 나타내고,
Figure pat00007
는 아웃라이어(outlier)를 줄이기 위한 픽셀간의 차와 그레디언트 차가 일정 범위를 넘어서면 그 값을 절삭해주는 상수이다. 또한
Figure pat00008
는 픽셀
Figure pat00009
의 인접한 픽셀 값들을 의미한다.
Figure pat00010
는 서브픽셀 이동의 단위를 나타내는 것으로, 서브픽셀 이동은 정확도를 극대화하기 위해 주파수 도메인에서 이루어진다.
본 발명의 다양한 실시 예에 따른 이미지 생성 장치(100-1)는 다시점 영상을 얻을 수 있는 구성을 더 포함할 수 있다. 도 3은 이러한 구성을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 이미지 생성 장치(100-1)의 마이크로 렌즈 구조를 도시한 도면이고, 도 4는 본 발명의 일 실시 에에 따른 다시점 영상을 도시한 도면이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 이미지 생성 장치(100-1)는 메인 렌즈(110), 마이크로 렌즈(120), 이미지 센서(130), 이미지 생성부(140)를 포함한다.
메인 렌즈(110)는 피사체로부터 반사되는 반사광을 투과시킨다. 메인 렌즈(110)는 일반적인 범용 렌즈나 광각 렌즈 등으로 구현될 수 있다. 도 3에서는 하나의 렌즈로 이루어진 것으로 도시하였으나, 메인 렌즈(110)는 복수 개의 렌즈의 집합으로 이루어질 수도 있다.
마이크로 렌즈(120)는 상기 메인 렌즈(110)를 통해 입사된 광을 투과시키는 구성이다. 마이크로 렌즈 (120)는 도 3에 도시된 것처럼 복수 개의 마이크로 렌즈(120)가 수평으로 연결되어 마이크로 렌즈 어레이를 형성할 수 있다. 마이크로 렌즈 어레이를 구성하는 각 마이크로 렌즈는 개별적으로 메인 렌즈(110)를 투과한 광을 재투과시킨다. 재투과된 광은 이미지 센서(130)로 입사된다.
이미지 센서(130)는 상기 마이크로 렌즈(120)를 투과한 광을 감지하는 구성이다. 특히, 이미지 센서(130)는 상기 마이크로 렌즈 (120)를 투과한 광을 방향 별로 감지하여 감지된 센싱 값을 출력한다. 이미지 센서(130)는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS) 또는 전하결합소자(Charge Coupled Device: CCD)로 구성될 수 있다. 이미지 센서(130)는 픽셀 어레이의 포토 다이오드(PD)를 통해 광을 축적하고 축적된 광량에 따라 전기 신호를 출력한다.
이미지 센서(130)는 포토 다이오드(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 플로우팅 확산 노드(FD)를 포함할 수 있다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성하여 축적한다. 전송 트랜지스터(TX)는 전송 신호에 응답하여 포토 다이오드(PD)에 생성된 광전화를 플로우팅 확산 노드(FD)로 전송한다. 리셋 트랜지스터는 리셋 신호에 응답하여 플로우팅 확산 노드(FD)에 저장된 전하를 배출한다. 리셋 신호가 인가되기 전에 플로우팅 확산 노드(FD)에 저장된 전하가 출력되는데, CDS 이미지 센서의 경우 CDS(Correlated Double Sampling) 처리를 수행한다. 그리고, ADC가 CDS 처리가 수행된 아날로그 신호를 디지털 신호로 변환한다.
피사체를 반사하여 메인 렌즈(110)로 입사한 광은 다시 마이크로 렌즈(120)로 입사되고, 마이크로 렌즈(120)를 투과한 광은 이미지 센서(130)에서 감지되어 전기 신호로 출력된다. 각 마이크로 렌즈(120)를 투과한 광은 이미지 센서(130)의 대응되는 센싱 영역에서 감지된다. 메인 렌즈(110)의 동일 영역을 통과하는 복수의 피사체로부터 반사되는 각각의 광은 동일한 시점의 영상 정보를 포함한다. 따라서, 복수의 피사체로부터 반사되는 각각의 광이 메인 렌즈(110)의 동일 영역을 통과하여 입사되는 이미지 센서(130)의 영역의 센싱값을 독출하여 조합하면 동일한 시점을 갖는 하나의 영상을 생성할 수 있게 된다. 메인 렌즈(110)는 복수의 상이한 영역을 포함하므로 이미지 생성부(140)는 도 4와 같은 복수의 상이한 시점을 갖는 영상을 생성할 수 있다. 이미지 생성부(140)는 상기와 같은 원리를 이용하여 복수의 다시점 영상을 생성한다. 특히, 이미지 생성부(140)는 방향 별로 감지된 광 센싱값을 이용하여 기준 영상과 비교 영상을 생성한다.
또한, 도면에선 도시되지 않았지만, 이미지 생성 장치(100)는 변환된 신호를 처리하는 이미지 처리부(미도시)를 더 포함할 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 이미지 생성 장치(100-2)의 구성을 도시한 블록도이고, 도 6은 상기 이미지 생성 장치(100-2)가 생성하는 뎁스맵을 처리 단계별로 도시한 도면이다.
도 5를 참조하면, 본 발명의 다른 실시 예에 따른 이미지 생성 장치(100-2)는 메인 렌즈(110), 마이크로 렌즈(120), 이미지 센서(130), 이미지 생성부(140), 비용체적 산출부(150), 뎁스맵 생성부(160) 외에 모서리보전 필터링부(170), 다층 최적화부(180), 반복적 정제부(190)를 포함한다.
메인 렌즈(110), 마이크로 렌즈(120), 이미지 센서(130), 이미지 생성부(140), 비용체적 산출부(150), 뎁스맵 생성부(160)에 대해서는 상술하였으므로 중복 설명은 생략한다.
모서리보전 필터링부(170)는 상기 생성된 뎁스맵에 대해서 모서리 보존 필터링(edge-preserving filtering)을 수행하는 구성이다. 뎁스맵 생성부(160)가 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하여 초기 뎁스맵을 생성하는 경우, 생성된 초기 뎁스맵은 도 6의 (A)와 같이 일부 픽셀의 뎁스값이 존재하지 않거나 엣지 영역에서 다소 거친 특징을 갖는다. 모서리 보존 필터링부(170)는 이러한 픽셀에 대해서 근접 픽셀의 뎁스값을 이용하여 보간한다. 그 결과, 도 6의 (B)와 같이 뎁스값의 손실이 없는 뎁스맵을 얻을 수 있다.
다층 최적화부(180)는, 상기 생성된 뎁스맵을 다층 최적화 방법(multi-label optimization)으로 보정하는 구성이다. 뎁스맵 생성부(160)가 계산된 비용체적에 기초하여 뎁스맵을 생성하는 경우(모서리 보존 필터링이 수행된 경우도), 픽셀갑과 뎁스값이 일치하지 않는 픽셀이 존재하는 경우가 있다. 예를 들어, 픽셀 1과 픽셀 2는 픽셀값이 같지만 뎁스값이 다르거나 뎁스값이 같지만 픽셀값이 다른 경우가 존재할 수 있다. 이러한 픽셀들은 정확한 뎁스 정보를 갖는다고 보기 어려우므로 불일치하는 픽셀 중 하나의 픽셀의 뎁스값에 가중치를 주어 불일치를 해결할 수 있다. 다층 최적화는 이러한 픽셀들간의 불일치 문제를 해결하여 뎁스맵을 보정하는 과정이다. 또한, 다층 최적화는 뎁스맵에서 뎁스값이 존재하지 않는 부분을 메워 주는 작업도 수행한다. 비용체적을 구하는 과정에서 비교 영상의 위상을 변화시켜 기준 영상과의 대응점을 찾아 비용 체적을 구하는 과정을 설명했다. 상기 과정은 기준 영상의 위상을 변화시켜 비교 영상과의 대응점을 찾아 비용 체적을 구하는 과정이 더 포함될 수 있다. 각각의 계산된 비용 체적을 비교하여 다른 디스페리티(disparity)가 존재하면 아웃라이어로 판단하여 해당 픽셀의 뎁스값은 제거할 수 있다. 이 경우 뎁스값의 공백이 생기는데, 상기와 같은 다층 최적화를 통해 공백이 생긴 뎁스값이 메워진다.
다층 최적화 방법를 수행하기 위해 아래와 같은 식을 최소화 한다.
Figure pat00011

Figure pat00012
는 비용체적에서 WTA(Winner-Take-All)방식으로 나온 깊이 정보이고,
Figure pat00013
는 비용체적에 모서리 보존 필터링을 한 후 WTA방식으로 구한 깊이 정보이다.
Figure pat00014
는
Figure pat00015
의 인접 픽셀이다. 본 발명에서는 위의 식을 Graph-cuts 방법으로 최소화 한다.
도 6의 (C)는 다층 최적화가 이루어진 뎁스맵을 보여준다. 뎁스값이 좀더 매끄러워지고 공백도 메워졌음을 알 수 있다.
반복적 정제부(190)는 상기 보정된 뎁스맵의 뎁스값에 대해 중간값 필터링을 수행하는 반복적인 정제 과정(interative refinement)을 수행하는 구성이다. 반복적 정제부(190)는 Graph-cuts에서 발생한 에러를 보정한다. 이를 통해 서브 픽셀의 정확도(sub-pixel precision)를 갖는 연속적인 깊이 정보를 만든다.
도 7은 반복적 정제 과정을 도시한 블록도이다.
도 7에 도시된 것처럼 반복적 정제부(190)는 Dopt 를 이용하여 하나의 새로운 비용체적을 만들고(새로운 비용 체적은 만들지 않을 수도 있다.), 각 층을 가중 중간값 필터링을 수행한다(S710). 그리고, 인접한 뎁스값에 대한 2차원 폴리노미얼 피팅(polynomial fitting)을 하고 다시 뎁스맵을 만든다(S720). 비용체적을 구성하고(S730) 서브 픽셀을 정제(S740)하는 과정을 수행한다. 이러한 과정을 약 3~4회정도 반복하면 연속적이면서 서브픽셀의 정확도를 갖는 깊이 지도를 구할 수 있다. 도 6의 (D)는 반복적 정제 과정을 거친 뎁스맵을 보여준다.
도 8은 반복적인 정제 과정이 이루어진 후의 뎁스맵을 도시한 도면이다.
도 8에 도시된 것처럼 다층 최적화 방법이 수행된 뎁스맵(도 8의 (B))은 스무스한 뎁스 정보를 표현하고 있지 않음을 알 수 있다. 또한, 부분적으로 오차를 갖을 수 있다. 반복적인 정제 과정이 수행된 후 도 8의 (C)와 같이 매끄러운 뎁스 정보를 얻을 수 있다.
한편, 도면에는 도시되지 않았으나, 본 발명의 다양한 실시 예에 따른 이미지 생성 장치(100-1, 100-2)는 제어부, 저장부 등을 더 포함할 수 있다.
제어부(미도시)는 이미지 생성 장치(100-1, 100-2)의 동작 전반을 제어하는 구성이다. 제어부는 CPU, 캐쉬 메모리 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 상술한 동작을 위한 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다.
제어부는 전술한 이미지 생성부(140), 비용체적 산출부(150), 뎁스맵 생성부(160), 모서리 보전 필터링부(170), 다층 최적화부(180), 반복적 정제부(190) 중 적어도 하나의 기능을 대신할 수 있다.
이하에서는 본 발명의 다양한 실시 예에 따른 이미지 생성 방법을 설명한다.
도 9는 본 발명의 일 실시 예에 따른 이미지 생성 방법의 흐름도이다.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 이미지 생성 방법은, 기준 영상과 시점이 상이한 비교 영상을 주파수 도메인으로 변환하는 단계(S910), 상기 주파수 도메인으로 변환된 비교 영상의 위상을 변화시키는 단계(S920), 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변환하는 단계(S930), 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어 별로 비용체적(cost volume)을 계산하는 단계(S940), 상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하는 단계(S950), 상기 설정된 뎁스값을 기초로 뎁스맵을 생성하는 단계(S960)를 포함한다.
또한, 상기 이미지 생성 방법은, 이미지 센서를 이용하여 마이크로 렌즈를 투과한 광을 방향별로 감지하는 단계와, 상기 방향 별로 감지된 광 센싱값을 이용하여 상기 기준 영상과 상기 비교 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 주파수 도메인으로 변환하는 단계는, 푸리에 변환을 이용하여 상기 비교 영상을 주파수 도메인으로 변경할 수 있다.
또한, 상기 픽셀 도메인으로 변환하는 단계는 역 푸리에 변환을 이용하여 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변경할 수 있다.
또한, 상기 비용체적을 계산하는 단계는, 상기 기준 영상의 픽셀과 상기 비교 영상의 픽셀의 픽셀값 차이 및 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 이용하여 상기 레이어 별로 상기 비용체적(cost volume)을 계산할 수 있다.
또한, 상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하는 단계는, WTA(Winner-Take-All) 방식으로 수행될 수 있다.
또한, 상기 이미지 생성 방법은, 상기 생성된 뎁스맵에 대해서 모서리 보존 필터링(edge-preserving filtering)을 수행할 수 있다.
또한, 상기 이미지 생성 방법은, 상기 생성된 뎁스맵을 다층 최적화 방법(multi-label optimization)으로 보정하는 단계를 더 포함할 수 있다.
또한, 상기 보정된 뎁스맵의 뎁스값에 대해 중간값 필터링을 수행하는 반복적인 정제 과정(interative refinement)을 수행하는 단계를 더 포함할 수 있다.
한편, 이상과 같은 다양한 실시 예에 따른 이미지 생성 방법을 수행하기 위한 프로그램 코드는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 전술한 이미지 생성 방법은 임베디드 소프트웨어 또는 펌웨어 형태로 CISC(Complex Instruction Set Computer) 칩, RISC(Reduced Instruction Set Computer) 칩, 비트 스라이스 MPU(Micro Processing Unit) 중 어느 하나로 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100-1, 100-2 : 이미지 생성 장치
110 : 메인 렌즈 120 : 마이크로 렌즈
130 : 이미지 센서 140 : 이미지 생성부
150 : 비용체적 산출부 160 : 뎁스맵 생성부
170 : 모서리보존 필터링부 180 : 다층 최적화부
190 : 반복적 정제부

Claims (20)

  1. 이미지 생성 방법에 있어서,
    기준 영상과 시점이 상이한 비교 영상을 주파수 도메인으로 변환하는 단계;
    상기 주파수 도메인으로 변환된 비교 영상의 위상을 변화시키는 단계;
    상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변환하는 단계;
    상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어 별로 비용체적(cost volume)을 계산하는 단계;
    상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하는 단계;및
    상기 설정된 뎁스값을 기초로 뎁스맵을 생성하는 단계;를 포함하는 이미지 생성 방법.
  2. 제1항에 있어서,
    이미지 센서를 이용하여 마이크로 렌즈를 투과한 광을 방향별로 감지하는 단계; 및
    상기 방향 별로 감지된 광 센싱값을 이용하여 상기 기준 영상과 상기 비교 영상을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 주파수 도메인으로 변환하는 단계는,
    푸리에 변환을 이용하여 상기 비교 영상을 주파수 도메인으로 변경하는 것을 특징으로 하는 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 픽셀 도메인으로 변환하는 단계는
    역 푸리에 변환을 이용하여 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변경하는 것을 특징으로 하는 이미지 생성 방법.
  5. 제1항에 있어서,
    상기 비용체적을 계산하는 단계는,
    상기 기준 영상의 픽셀과 상기 비교 영상의 픽셀의 픽셀값 차이 및 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 이용하여 상기 레이어 별로 상기 비용체적(cost volume)을 계산하는 것을 특징으로 하는 이미지 생성 방법.
  6. 제1항에 있어서,
    상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하는 단계는,
    WTA(Winner-Take-All) 방식으로 수행되는 것을 특징으로 하는 이미지 생성 방법.
  7. 제1항에 있어서,
    상기 생성된 뎁스맵에 대해서 모서리 보존 필터링(edge-preserving filtering)을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  8. 제1항에 있어서,
    상기 비용 체적은 아래의 식으로 구하는 것을 특징으로 하는 이미지 생성 방법.
    C(x,l)=αCSAD (x,l)+(1-α)CGARD (x,l),
    여기서,
    C(x,l) : 비용체적,
    x : 기준 영상의 픽셀 좌표,
    l : 레이어,
    α: 균형 상수,
    CSAD : 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀의 픽셀값 차이를 저장하는 비용체적,
    CGARD : 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 저장하는 비용 체적.
  9. 제1항에 있어서,
    상기 생성된 뎁스맵을 다층 최적화 방법(multi-label optimization)으로 보정하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  10. 제9항에 있어서,
    상기 보정된 뎁스맵의 뎁스값에 대해 중간값 필터링을 수행하는 반복적인 정제 과정(interative refinement)을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  11. 이미지 생성 장치에 있어서,
    기준 영상과 시점이 상이한 비교 영상을 주파수 도메인으로 변환시켜 위상을 변화시고 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어 별로 비용체적(cost volume)을 계산하는 비용체적 산출부;
    상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하고 이를 기초로 뎁스맵을 생성하는 뎁스맵 생성부;를 포함하는 이미지 생성 장치.
  12. 제11항에 있어서,
    메인 렌즈;
    상기 메인 렌즈를 통해 입사된 광을 투과시키는 마이크로 렌즈 어레이(Micro Lens Array);
    상기 마이크로 렌즈 어레이를 투과한 광을 방향 별로 감지하는 이미지 센서(Image Sensor); 및
    상기 방향 별로 감지된 광 센싱값을 이용하여 상기 기준 영상과 상기 비교 영상을 생성하는 이미지 생성부;를 더 포함하는 것을 특징으로 하는 이미지 생성 장치.
  13. 제11항에 있어서,
    상기 비용체적 산출부는,
    푸리에 변환을 이용하여 상기 비교 영상을 주파수 도메인으로 변경하는 것을 특징으로 하는 이미지 생성 장치.
  14. 제11항에 있어서,
    상기 비용체적 산출부는,
    역 푸리에 변환을 이용하여 상기 위상이 변화된 비교 영상을 픽셀 도메인으로 변경하여, 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀에 대해서 레이어 별로 비용체적(cost volume)을 계산하는 것을 특징으로 하는 이미지 생성 장치.
  15. 제11항에 있어서,
    상기 비용체적 산출부는,
    상기 기준 영상의 픽셀과 상기 비교 영상의 픽셀의 픽셀값 차이 및 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 이용하여 상기 레이어 별로 상기 비용체적(cost volume)을 계산하는 것을 특징으로 하는 이미지 생성 장치.
  16. 제11항에 있어서,
    상기 비용 체적은 아래의 식으로 구하는 것을 특징으로 하는 이미지 생성 장치.
    C(x,l)=αCSAD (x,l)+(1-α)CGARD (x,l),
    여기서,
    C(x,l) : 비용체적,
    x : 기준 영상의 픽셀 좌표,
    l : 레이어,
    α: 균형 상수,
    CSAD : 상기 기준 영상의 픽셀과 이에 대응되는 상기 비교 영상의 픽셀의 픽셀값 차이를 저장하는 비용 체적,
    CGARD : 상기 기준 영상과 상기 비교 영상의 그래디언트(gradient) 차이를 저장하는 비용 체적.
  17. 제11항에 있어서,
    상기 생성된 뎁스맵에 대해서 모서리 보존 필터링(edge-preserving filtering)을 수행하는 모서리 보존 필터링부;를 더 포함하는 것을 특징으로 하는 이미지 생성 장치.
  18. 제11항에 있어서,
    상기 생성된 뎁스맵을 다층 최적화 방법(multi-label optimization)으로 보정하는 다층 최적화부;를 더 포함하는 것을 특징으로 하는 이미지 생성 장치.
  19. 제17항에 있어서,
    상기 보정된 뎁스맵의 뎁스값에 대해 중간값 필터링을 수행하는 반복적인 정제 과정(interative refinement)을 수행하는 반복적 정제부;를 더 포함하는 것을 특징으로 하는 이미지 생성 장치.
  20. 제11항에 있어서,
    상기 뎁스맵 생성부는,
    WTA(Winner-Take-All) 방식으로 상기 계산된 비용체적이 최소인 레이어를 상기 기준 영상의 픽셀에 대한 뎁스값으로 설정하는 것을 특징으로 하는 이미지 생성 장치.
KR1020140146388A 2014-10-27 2014-10-27 이미지 생성 장치 및 이미지 생성 방법 KR102232524B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140146388A KR102232524B1 (ko) 2014-10-27 2014-10-27 이미지 생성 장치 및 이미지 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140146388A KR102232524B1 (ko) 2014-10-27 2014-10-27 이미지 생성 장치 및 이미지 생성 방법

Publications (2)

Publication Number Publication Date
KR20160049371A true KR20160049371A (ko) 2016-05-09
KR102232524B1 KR102232524B1 (ko) 2021-03-26

Family

ID=56020404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140146388A KR102232524B1 (ko) 2014-10-27 2014-10-27 이미지 생성 장치 및 이미지 생성 방법

Country Status (1)

Country Link
KR (1) KR102232524B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018021657A1 (ko) * 2016-07-26 2018-02-01 연세대학교 산학협력단 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
KR20190113226A (ko) * 2018-03-28 2019-10-08 현대모비스 주식회사 실시간 3차원 지도 구축 장치 및 방법
KR20200068624A (ko) * 2018-03-28 2020-06-15 현대모비스 주식회사 3차원 지도 구축에 있어 3차원 거리정보의 실시간 업데이트 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김민정 외 2인. 다중 정보 융합 비용 체적을 이용한 라이트 필드 카메라에서의 깊이지도 추정. 2014년 제26회 영상처리 워크샵(2014.2.13.)* *
윤승옥 외 1인. 다시점 동영상의 계층적 깊이 영상 기반 표현, 부호화 및 중간 시점 보간 기법. Telecommunications Review 제17권 6호, 2007.12.31* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018021657A1 (ko) * 2016-07-26 2018-02-01 연세대학교 산학협력단 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
KR20190113226A (ko) * 2018-03-28 2019-10-08 현대모비스 주식회사 실시간 3차원 지도 구축 장치 및 방법
KR20200068624A (ko) * 2018-03-28 2020-06-15 현대모비스 주식회사 3차원 지도 구축에 있어 3차원 거리정보의 실시간 업데이트 장치 및 방법

Also Published As

Publication number Publication date
KR102232524B1 (ko) 2021-03-26

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
US10582180B2 (en) Depth imaging correction apparatus, imaging apparatus, and depth image correction method
WO2011158498A1 (ja) 撮像装置及び撮像方法
JP2017040642A (ja) 画像処理装置及び撮影装置
KR20140094395A (ko) 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
JP2011171858A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
CN104427251A (zh) 焦点检测设备、其控制方法、以及摄像设备
JP6144878B2 (ja) 画像処理装置およびそれを備える撮像装置、ならびに画像処理方法およびそのプログラム
CN103516979A (zh) 摄像装置及其控制方法
WO2019048904A1 (en) STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
KR102232524B1 (ko) 이미지 생성 장치 및 이미지 생성 방법
JP6544978B2 (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
JP2015106925A (ja) プレンオプティックカメラにより捕捉されたシーンのビューと関連する視差を推定する方法及び装置
US10084978B2 (en) Image capturing apparatus and image processing apparatus
US9710913B2 (en) Image processing apparatus that forms distance image and control method thereof, as well as storage medium
US10339665B2 (en) Positional shift amount calculation apparatus and imaging apparatus
JP2015185998A (ja) 画像処理方法および撮像装置
JP6362070B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP5673764B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US9769358B2 (en) Information processing apparatus, information processing method, and storage medium
US11070715B2 (en) Image shift amount calculation apparatus and method, image capturing apparatus, defocus amount calculation apparatus, and distance calculation apparatus
WO2016056202A1 (en) Image processing apparatus, image processing method, and program
KR101839357B1 (ko) 촬상 장치 및 촬상 방법
JP6117734B2 (ja) 画像補正装置及び画像補正プログラム
JP2019121972A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant