KR102400412B1 - 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 방법 및 장치 - Google Patents

Abstract

초점 스택으로부터 도출된 올-인-포커스 (all-in-focus) 이미지를 사용하여 리포커싱된 이미지들의 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 방법은: 초점 스택에서 슬라이스 이미지를 선택하는 단계 (S725); 적응된 슬라이스 이미지에 포커싱될 올-인-포커스 이미지에서 적어도 하나의 오브젝트를 선택하는 단계 (S730); 및 선택된 슬라이스 이미지 상으로 올-인-포커스 이미지에서의 선택된 적어도 하나의 오브젝트를 결합함으로써 적응된 슬라이스 이미지를 생성하는 단계 (S735) 를 포함한다.

Description

초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING AN ADAPTED SLICE IMAGE FROM A FOCAL STACK}

본 개시는 일반적으로 이미지들의 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 방법 및 장치에 관한 것이다.

플렌옵틱 (plenoptic) 카메라는 메인 렌즈와 센서 사이에 마이크로렌즈 어레이를 배열함으로써, 센서와 교차하는 광선들의 각각의 번들을 따라 이동하는 광의 양을 측정할 수 있다. 광계 (light field) 는 상이한 뷰포인트들로부터의 장면의 이미지들을 재구성하기 위해 사후-프로세싱될 수 있다. 광계는 상이한 깊이를 갖는 이미지들을 압축하는 초점 스택을 생성하기 위해 사용될 수 있다. 결과적으로, 사용자는 이미지들의 초점을 변경할 수 있다. 종래의 카메라에 비해, 플렌옵틱 카메라는 사후-프로세싱에 의해 상이한 뷰포인트들 및 깊이로부터 장면의 이미지들의 재구성을 달성하기 위한 추가적인 광학 정보 컴포넌트들을 획득할 수 있다.

리트로사 (Lytro, Inc.) 로부터 이용가능한 리트로 광계 카메라와 같은 플렌옵틱 타입 1 에서, 마이크로렌즈들의 배열은 센서의 전방에 배치된다. 마이크로렌즈 어레이의 모든 마이크로렌즈들은 동일한 초점 길이를 갖고 마이크로렌즈 어레이는 센서로부터 1 초점 길이 떨어져 배치된다. 이러한 구성은 최대 각도 해상도 및 낮은 공간 해상도를 획득하는 것을 가능하게 한다.

(예를 들어, 플렌옵틱 카메라, 카메라 어레이에 의해 획득되거나 CGI (Computer Generated Imagery) 로 시뮬레이팅된) 광계 이미지 또는 비디오의 데이터세트는 그의 초점 평면 근처에서 렌즈에 의해 생성된 광계와 유사한 전방 렌즈의 초점 평면 근처에서 광 데이터 볼륨을 형성하도록 재조직화된다. 그러한 초점 스택이 도 1 에 개략적으로 도시된다.

카메라로의 종래의 포커싱은 카메라의 메인 광학 축에 수직으로 초점화 평면을 이동시키는 것에 대응하는 초점 스택 내의 이미지들 중 하나를 선택함으로써 시뮬레이팅된다. 대조적으로, 광계 카메라는 상이한 관점들 및 상이한 초점들로부터의 화상들을 탐험하는 능력을 제공한다. 따라서, 광계 카메라의 사용자는 통상적인 방법으로 초점을 제어할 수 있으며, 예를 들어 초점 스택을 가로지르는 교차 평면이 도 1 에 도시된 바와 같이 초점 스택 내의 슬라이스 이미지를 추출하기 위해 정의될 수 있다. 그러한 슬라이스 이미지는 그 교차 평면을 따라 "올-인-포커스 (all-in-focus)" 이미지를 제공할 수도 있다.

J. P. Luke et al., "Near Real-Time Estimation of Super-Resolved Depth and All-in-Focus Images from a Plenoptic Camera Using Graphics Processing Units", International Journal of Digital Multimedia Broadcasting Volume 2010 은 초점 스택이 광계 이미지를 사용하여 생성될 수 있다고 언급하며, 플렌옵틱 카메라로부터 올-인-포커스 이미지를 생성할 것을 제안한다.

그러나, 오브젝트가 초점 스택 내의 초점 평면 상에 위치되는 경우, 교차 평면이 도 2 에 도시된 바와 같이 오브젝트를 횡단한다면, 오브젝트의 좌측 단부의 전방 표면은 거리 (d1) 만큼 교차 평면 뒤에 있을 것이고, 오브젝트의 우측 단부의 전방 표면은 거리 (d2) 만큼 교차 평면 앞에 있을 것이다. 초점 평면 상의 오브젝트와 교차 평면 사이의 이들 거리들로 인해, 오브젝트의 양 단부들은 슬라이스 이미지에 대한 재포커싱 프로세스가 행해진 후에 슬라이스 이미지에 포커싱된 이미지에서 블러링될 것이다.

본 개시의 양태에 따르면, 초점 스택으로부터 도출된 올-인-포커스 이미지를 사용하여 재포커싱된 이미지들의 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 장치는, 초점 스택에서 슬라이스 이미지를 선택하고; 적응된 슬라이스 이미지에서 포커싱될 올-인-포커스 이미지에서의 적어도 하나의 오브젝트를 선택하며; 올-인-포커스 이미지에서의 선택된 적어도 하나의 오브젝트를 선택된 슬라이스 이미지상으로 결합함으로써 적응된 슬라이스 이미지를 생성하도록 구성된 프로세서를 포함할 수도 있다.

본 개시의 다른 양태에 따르면, 초점 스택으로부터 도출되는, 오브젝트들이 초점이 맞아 보이는 올-인-포커스 이미지를 사용하여 재포커싱된 이미지들의 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 방법은, 초점 스택에서 슬라이스 이미지를 선택하는 단계; 적응된 슬라이스 이미지에서 포커싱될 올-인-포커스 이미지에서의 적어도 하나의 오브젝트를 선택하는 단계; 및 올-인-포커스 이미지에서의 선택된 적어도 하나의 오브젝트를 선택된 슬라이스 이미지상으로 결합함으로써 적응된 슬라이스 이미지를 생성하는 단계를 포함할 수도 있다.

본 개시의 다른 양태에 따르면, 컴퓨터에 의해 판독가능하고 및/또는 프로세서에 의해 실행가능한 통신 네트워크로부터 다운로드가능하고 및/또는 매체상에 기록된 컴퓨터 프로그램 제품은, 본 개시에 따른 방법을 구현하기 위한 프로그램 코드 명령들을 포함할 수도 있다.

본 개시의 또 다른 양태에 따르면, 비일시적 컴퓨터 판독가능 매체는, 본 개시에 따른 방법을 구현하기 위한 프로그램 코드 명령들을 포함하는, 그것에 기록되고 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 제품을 포함할 수도 있다.

본 개시의 목적 및 이점들은 청구범위에서 특정적으로 지적된 엘리먼트들 및 조합들에 의해 실현되고 달성될 것이다.

상기의 일반적 설명 및 다음의 상세할 설명 양자 모두는 예시적이고 설명적이며, 청구된 바와 같이, 본 발명을 제한하지 않는다는 것이 이해되어야 한다.

도 1 은 초점 스택 내의 슬라이스 이미지의 예를 도시하는 다이어그램이다.
도 2 는 초점 스택 내의 초점 평면에 위치된 오브젝트 및 그 오브젝트를 횡단하는 슬라이스 이미지를 도시하는 다이어그램이다.
도 3 은 플렌옵틱 카메라 및 멀티-어레이 카메라의 예들을 도시하는 다이어그램이다.
도 4 는 이미지 센서의 감지 표면에 배열된 센서 영역들의 예를 개략적으로 도시하는 평면도이다.
도 5 는 이상적인, 완전한 얇은 렌즈 모델을 포함하는 개략적인 광계 카메라를 도시한다.
도 6 은 본 개시의 실시형태에 따른 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 장치의 예를 도시하는 개략 블록도이다.
도 7 은 본 개시의 실시형태에 따른 초점 스택으로부터 적응된 슬라이스 이미지를 획득하는 프로세서를 설명하는 플로우 챠트이다.
도 8 은 본 개시의 실시형태에 따른 초점 스택으로부터 생성된 적응된 슬라이스 이미지의 예를 도시하는 다이어그램이다.

본 개시의 실시형태들이 첨부하는 도면을 참조하여 기술될 것이다.

본 개시에 따른 각각의 실시형태에서, 초점 스택으로부터 적응된 슬라이스 이미지를 획득하기 위한 방법, 장치, 및 컴퓨터 판독가능 저장 매체에 대한 설명이 이제 주어질 것이다.

1) 광계 카메라들:

도 3 은 플렌옵틱 카메라 및 멀티-어레이 카메라의 예들을 도시하는 다이어그램이다. 광계 카메라들은 4D 광계 데이터를 기록할 수 있다. 예를 들어, 4D 광계 카메라들은: 메인 렌즈 (305), 마이크로렌즈 어레이 (310) 및 이미지 센서 (315) 를 포함하는 플렌옵틱 카메라 (300) (도 3(a)); 또는 렌즈 어레이 (355) 및 단일 이미지 센서 (360) 를 포함하는 멀티-어레이 카메라 (350) (도 3(b)) 일 수도 있다.

도 3(a) 에 도시된 바와 같은 플렌옵틱 카메라 (300) 의 예에서, 메인 렌즈 (305) 는 그 메인 렌즈 (305) 의 오브젝트 필드 내의 오브젝트 (도시하지 않음) 로부터 광을 수광하고 그 메인 렌즈 (305) 의 이미지 필드를 통해 그 광을 통과시킨다. 마이크로렌즈 어레이 (310) 는 2차원 어레이로 배열된 복수의 마이크로렌즈들 (315) 을 포함한다.

도 4 는 이미지 센서의 감지 표면상에 배열된 센서 영역들의 예를 개략적으로 도시하는 평면도이다. 도 4 에 도시된 바와 같이, 이미지 센서 (400) 는 2차원 어레이로 배열된 복수의 화소들 (405) 을 포함하고, 마이크로렌즈 어레이 (410) 를 통해 오브젝트로부터 광을 수신한다. 마이크로렌즈 어레이 (410) 의 마이크로렌즈들 (411) 각각은 이미지 센서 (400) 상의 원형 영역 (415) 으로 광을 지향시키는 렌즈 특성들을 갖는다. 원형 영역 (415) 의 외곽선은 이미지 센서 (400) 상에 형성되고 캡쳐된 마이크로렌즈 이미지의 형상을 나타낼 수도 있으며, 그 형상은 마이크로렌즈 (411) 의 형상에 의존한다. 이미지 센서 (400) 상의 모든 화소들 (405) 중에서, 실질적으로 원형 영역 (415) 내부에 위치된 화소들 (405) 만이 촬상에 기여한다. 즉, 촬상에 기여하는 각각의 화소 (405) 의 화소 영역 (또는 감지 영역) 은 실질적으로 원형 영역 (415) 내부에 위치된다.

광계 카메라의 이미지 센서 (400) 는 2D 이미지 내에 배열된 2D 마이크로렌즈 이미지들의 집합을 포함하는 이미지를 기록한다. 마이크로렌즈 어레이 (410) 의 각 마이크로렌즈 (411) 는 원형 영역 (415) 에 의해 표현된 마이크로렌즈 이미지를 형성한다. 센서 (400) 상의 화소들 (405) 의 좌표들은 도 4 에 도시된 바와 같이 이미지 센서 (400) 의 표면 상의 x-y 좌표 시스템에서 (x, y) 로 표시된다. 도 4 에서 도시된 거리 (p) 는 2 개의 연속적인 마이크로렌즈 이미지들 사이의 거리이다. 마이크로렌즈들 (411) 은 거리 (p) 가 화소 (405) 의 사이즈보다 크도록 선택된다. 도 4 에 도시된 거리 (w) 는 2 개의 연속적인 마이크로렌즈 이미지들 사이의 디스패리티 거리이다. 마이크로렌즈 이미지들은 도 4 에 도시된 이미지 센서 (400) 의 표면 상의 i-j 좌표 시스템에서 그들의 각각의 좌표 (i, j) 에 의해 참조된다.

상술된 바와 같이, 실질적으로 원형 영역 (415) 내부에 위치된 화소들 (405) 만이 마이크로렌즈들 (411) 을 통해 광을 수광한다. 마이크로렌즈간 (inter microlens) 공간은 광자들이 마이크로렌즈들 (411) 외부를 통과하는 것을 방지하기 위해 마스킹 아웃될 수도 있다 (마이크로렌즈들 (411) 이 정사각형 형상을 가지고 마이크로렌즈간 공간이 형성되지 않는 경우, 그러한 마스킹은 필요하지 않다).

마이크로렌즈 이미지 (i, j) 의 중심은 좌표 (x_i,j, y_i,j) 에서 이미지 센서 (400) 상에 위치된다. 도 4 에서의 θ 는 화소들 (405) 의 정사각형 격자와 마이크로렌즈들 (411) 의 정사각형 격자 사이의 각도를 나타낸다. 좌표 (x_i,j, y_i,j) 는 마이크로렌즈 이미지 (0, 0) 의 화소 좌표인 (x_0,0, y_0,0) 을 고려하는 다음의 식 (1) 에 의해 추론될 수 있다:

거리들 (p 및 w) 은 화소의 단위로 주어진다. 그것들은 화소 사이즈 (δ) 를 곱함으로써, 각각 거리 (미터들) P 및 W: W = δw 및 P = δp 의 물리적 단위로 변환된다. 이들 거리들은 광계 카메라의 특징들에 의존한다.

2) 광계 카메라의 광학적 특성들:

여기서, 광계 카메라의 예시적인 광학적 특성들이 이상적인, 완전한 얇은 렌즈 모델을 포함하는 개략적인 광계 카메라를 도시하는 도 5 를 참조하여 논의될 것이다.

메인 렌즈는 초점 길이 (F) 및 애퍼쳐 (Φ) 를 갖는다. 마이크로렌즈 어레이는 초점 길이 (f) 를 갖는 마이크로렌즈들을 포함한다. 마이크로렌즈 어레이의 피치는 φ 이다. 마이크로렌즈 어레이는 메인 렌즈로부터 거리 (D) 에 및 센서로부터 거리 (d) 에 위치된다. 오브젝트 (도시하지 않음) 는 메인 렌즈로부터 거리 (z) 에 위치된다. 이러한 오브젝트는 메인 렌즈로부터 거리 (z') 에서 메인 렌즈에 의해 포커싱된다. 도 5 는 D > z' 인 경우를 도시한다. 이러한 경우에, 마이크로렌즈 이미지들은 d 및 f 에 의존하여 센서 상에서 초점이 맞을 수 있다.

디스패리티 (W) 는 오브젝트 (도시하지 않음) 와 메인 렌즈 사이의 거리 (z) 에 따라 변한다. W 와 z 사이의 관계를 확립하기 위해, 얇은 렌즈 방정식 (2) 및 테일즈 (Thales) 법칙 방정식 (3) 에 의존할 수도 있다:

그 후, 다음의 식 (4) 가 식들 (2 및 3) 을 혼합함으로써 추론된다.

W 와 z 사이의 관계는 마이크로렌즈 이미지들이 초점이 맞는다는 가정에 있지 않다. 마이크로렌즈 이미지들은 얇은 렌즈 방정식에 따라 엄격히 초점이 맞는다:

3) 이미지 재포커싱 :

광계 카메라의 주요 특성은 2D 재포커싱된 이미지들을 컴퓨팅할 가능성이며, 여기서 재초점화 거리는 이미지들의 쇼트 (shot) 후에 자유롭게 조정가능하다. 사이즈 [N_x, N_y] 의 4D 광계 이미지 (L) 는 마이크로렌즈 이미지들을 단지 시프팅하고 주밍 (zooming) 하며, 그 후 그것들을 2D 이미지로 합산함으로써 2D 이미지로 투영된다. 마이크로렌즈 이미지들의 시프트의 양은 재초점화 거리를 제어한다. 4D 광계 화소 L(x, y, i, j) 의 재포커싱된 2D 이미지 좌표 (X, Y) 로의 투영은:

에 의해 정의되며, 여기서 s 는 2D 재포커싱된 이미지의 사이즈를 제어하고, g 는 재포커싱된 이미지의 초점화 거리를 제어한다. 이러한 식 (6) 은 식 (1) 을 고려함으로써 식 (7) 로서 다시 쓰여질 수 있다:

파라미터 (g) 는 식 (8) 과 같이 p 및 w 의 함수로서 표현될 수 있다. 파라미터터 (g) 는 동일한 오브젝트들의 여러 주밍된 뷰들이 중첩되도록 그들의 중심들을 참조로서 사용하여 마이크로렌즈 이미지들 상에 수행되어야만 하는 줌을 나타낸다.

식 (7) 은:

가 된다.

4D 광계 화소들 (x, y, i, j) 은 2D 재포커싱된 이미지로 투영된다. 사전에, 재포커싱된 이미지 (R) 및 재포커싱된 이미지 가중치 (R_weight) 는 0 으로 설정된다. 재포커싱된 이미지들의 사이즈 [N_X, N_Y] = [sN_x, sN_y] 는 4D 광계 이미지의 사이즈의 s 배로 설정된다. 투영은 좌표 (X, Y) 에서의 투영된 화소들을 재포커싱된 이미지로 합산함으로써 수행된다. 각각의 투영된 4D 광계 화소들의 경우, 재포커싱된 이미지 가중치는 화소 좌표 (X, Y) 에서 1 을 가산함으로써 업데이트된다:

재포커싱된 이미지 가중치는 다수의 4D 광계 화소들이 좌표 (X, Y) 에 대해 투영된 방법을 나타낸다. L 의 모든 4D 광계 화소들을 투영한 후, 재포커싱된 이미지 (R) 는 재포커싱된 이미지 가중치 (R_weight) 에 의해 분할된다. 이러한 마지막 단계는 좌표 (X, Y) 에 대해 수신된 화소들의 수와 조화를 이룬다.

투영된 좌표들 (X, Y) 이 반드시 정수 좌표들은 아니기 때문에, 보간 기법이 비정수 화소 좌표 (X, Y) 를 재포커싱된 이미지 (R) 및 재포커싱된 이미지 가중치 (R_weight) 의 그리드로 맵핑하기 위해 선택적으로 사용될 수 있다. 보간 기법들이 통상적으로 사용되고, 예시적인 설명이 예를 들어 위키피디아에서 "이중 선형 보간" 의 페이지에서 발견될 수 있다. 따라서, 보간 기법에 대한 상세한 설명은 본 상세한 설명에서 생략된다.

4) 초점 스택:

초점 스택은 이미지들의 큐브 (cube) 를 정의하는 N 개의 재포커싱된 이미지들 (R_n) (n ∈ [1, N]) 의 집합이며, 여기서 N 은 이미지들의 사용자 선택된 수이다. N 개의 재포커싱된 이미지들은 식들 (4 및 8) 에 의해 정의된 z_min 과 z_max 사이의 초점화 거리들의 범위에 대응하는 g_min 과 g_max 사이의 선형으로 변화하는 g 에 대해 컴퓨팅된다. 다른 옵션은 식 (4) 에 의해 정의된 z_min 과 z_max 사이의 초점화 거리들의 범위에 대응하는 w_min 과 w_max 사이의 선형으로 변화하는 w 를 갖는 초점 스택을 컴퓨팅하는 것이다. g 또는 w 의 min max 경계들은 z_min 과 z_max 내의 초점화 거리를 갖는 재포커싱된 이미지들을 포함하기 위해 사용자에 의해 정의된다.

이러한 실시형태에서 기술된 초점 스택의 계산은 4D 광계가 렌즈 어레이 및 선택적으로 메인 렌즈를 갖는 단일의 이미지 센서에 의해 기록된다는 가정 위에 있다. 그러나, 초점 스택의 계산은 그러한 타입의 광계 카메라에 의해 기록되는 4D 광계에 제한되지 않으며, 따라서 임의의 타입들의 광계 카메라들에 의해 기록되는 4D 광계에 기초하여 재포커싱된 이미지들의 초점 스택을 컴퓨팅하는 것이 가능하다는 것을 유의하여야 한다.

5) 깊이-맵 추정:

초점 스택을 사용하여, 이미지에서 관찰되는 오브젝트의 거리를 추정하는 것이 가능하다. 깊이-맵 이미지 (Z) 는 재포커싱된 이미지들 (R_n) 의 사이즈를 갖는다. 깊이-맵 이미지 (Z) 는 재포커싱된 이미지 R_n(X, Y) 로부터의 화소 (x, y) 의 선명도를 이전 및 다음의 재포커싱된 이미지들 (R_{n -1} 및 R_{n +1}) 과 비교함으로써 초점 스택으로 추정된다. 예를 들어, 화소 R_n(X, Y) 가 이전의 재포커싱된 이미지 (R_{n -1}) 및 다음의 재포커싱된 이미지 (R_{n +1}) 내의 화소들보다 더 선명한 경우, 깊이-맵 이미지는 재포커싱된 이미지 R_n(X, Y) 로부터의 화소 (x, y) 에 기초하여 Z(X,Y) = n 에 의해 실현된다. 깊이-맵은 (N_X, N_Y) 에 속하는 모든 화소들 (X, Y) 에 대해 추정된다.

화소 R_n(X, Y) 의 선명도 S_n(X, Y) 는 예를 들어 R_n(X, Y) 주위의 화소들에 대한 고주파수들에서의 에너지의 양을 컴퓨팅함으로써 추정된다. 선명도 S_n(X, Y) 는:

로서 표현될 수 있다.

6) 올-인- 포커스 이미지

올-인-포커스 이미지 (R_all) 는 깊이 맵 이미지 (Z) 에 의해 획득될 수 있다. 올-인-포커스 이미지 (R_all) 는 모든 오브젝트들이 초점이 맞아 보이는 재포커싱된 이미지에 대응한다. 올-인-포커스 이미지 (R_all) 는 주어진 화소 로케이션 (x, y) 에서 깊이 맵 이미지 (Z) 에 의해 주어진 인덱스들을 고려함으로써 초점 스택 내의 화소들을 수집함으로써 획득된다, 즉: R_all(X, Y) = R_Z(X,Y)(X, Y).

7) 슬라이스 이미지:

재포커싱될 2D 슬라이스 이미지 (R_slice) 는 초점 스택에서의 적어도 2 개의 이미지들을 가로지르는 교차 평면을 정의함으로써 획득될 수 있다. 슬라이스 이미지의 좌표는 초점 스택의 좌표 시스템에서 그의 법선에 의해 특정되고, 그 법선은 재포커싱된 슬라이스 이미지 (R_slice) 를 선택하기 위해 사용자에 의해 주어진다.

8) 슬라이스 이미지 및 올-인- 포커스 이미지로부터 포커싱될 오브젝트 (들) 의 선택

본 개시의 실시형태에 따르면, 재포커싱된, 적응된 슬라이스 이미지를 획득하기 위한 접근법이 사용자에 의해 제공되며, 그 재포커싱된 이미지는 장치의 디스플레이 상의 그래픽 사용자 인터페이스 (GUI) 를 사용하여 올-인-포커스 이미지 (R_all) 로부터 포커싱될 적어도 하나의 오브젝트를 선택함으로써 만들어진다.

도 6 은 본 개시의 실시형태에 따른 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 장치의 예를 도시하는 개략 블록도이다.

도 6 에 도시된 장치 (60) 는 버스 (66) 에 의해 연결되는 프로세서 (61), 저장 유닛 (62), 입력 디바이스 (63), 디스플레이 디바이스 (64), 및 인터페이스 유닛 (65) 을 포함한다. 물론, 컴퓨터 장치 (60) 의 구성원 엘리먼트들은 버스 (66) 를 사용하는 버스 연결 이외의 연결에 의해 연결될 수도 있다.

프로세서 (61) 는 장치 (60) 의 동작들을 제어한다. 저장 유닛 (62) 은 프로세서 (61) 에 의해 실행될 적어도 하나의 프로그램, 및 광계 카메라에 의해 캡쳐되고 제공되는 4D 광계 이미지들의 데이터, 프로세서 (61) 에 의해 수행되는 계산들에 의해 사용되는 파라미터들, 프로세서 (61) 에 의해 수행되는 계산들의 중간 데이터 등을 포함하는 여러 데이터를 저장한다. 프로세서 (61) 는 임의의 기지의 및 적합한 하드웨어, 또는 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 형성될 수도 있다. 예를 들어, 프로세서 (61) 는 프로세싱 회로와 같은 전용 하드웨어에 의해, 또는 그의 메모리에 저장된 프로그램을 실행하는 CPU (중앙 프로세싱 유닛) 과 같은 프로그램가능 프로세싱 유닛에 의해 형성될 수도 있다.

저장 유닛 (62) 은 컴퓨터-판독가능한 방식으로 프로그램, 데이터 등을 저장할 수 있는 임의의 적합한 스토리지 또는 수단에 의해 형성될 수도 있다. 저장 유닛 (62) 의 예들은 반도체 메모리 디바이스들과 같은 비일시적 컴퓨터 판독가능 저장 매체들, 및 판독 및 기입 유닛으로 로딩되는 자기, 광학 또는 자기-광학 기록 매체들을 포함한다. 프로그램은 프로세서 (61) 로 하여금 도 7 을 참조하여 이하에 기술되는 바와 같은 본 개시의 실시형태에 따라 초점 스택으로부터 적응된 슬라이스 이미지를 획득하기 위한 프로세스를 수행하게 한다.

입력 디바이스 (63) 는 포커싱될 이미지들 내의 부분들에 대한 사용자의 선택들을 행하기 위해, 커맨드들을 입력하게 하기 위해 사용자에 의한 사용을 위해 키보드, 마우스와 같은 포인팅 디바이스 등에 의해 형성될 수도 있다. 출력 디바이스 (64) 는 예를 들어 그래픽 사용자 인터페이스 (GUI), 초점 스택의 이미지들, 슬라이스 이미지 및 깊이 맵 이미지를 디스플레이하는 디스플레이 디바이스에 의해 형성될 수도 있다. 입력 디바이스 (63) 및 출력 디바이스 (64) 는 예를 들어 터치스크린 패널에 의해 일체로 형성될 수도 있다.

인터페이스 유닛 (65) 은 장치 (60) 와 외부 장치 사이의 인터페이스를 제공한다. 인터페이스 유닛 (65) 은 케이블 또는 무선 통신을 통해 외부 장치와 통신가능할 수도 있다. 이러한 실시형태에서, 외부 장치는 광계 카메라일 수도 있다. 이러한 경우에, 광계 카메라에 의해 캡쳐된 4D 광계 이미지들의 데이터는 광계 카메라로부터 인터페이스 유닛 (65) 을 통해 장치 (60) 로 입력되고, 그 후 저장 유닛 (62) 에 저장될 수 있다.

이러한 실시형태에서, 장치 (60) 는 그것이 광계 카메라로부터 분리되어 있고, 그것들이 케이블 또는 무선 통신을 통해 서로 통신가능한 것으로서 예시적으로 논의되지만, 장치 (60) 가 그러한 광계 카메라와 통합될 수 있다는 것을 유의해야 한다.

도 7 은 본 개시의 실시형태에 따라 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 프로세스를 설명하는 플로우 챠트이다.

도 7 에 도시된 단계 (S705) 에서, 장면의 4D 광계 이미지가 광계 카메라로 사용자에 의해 캡쳐된다. 캡쳐된 4D 광계 이미지 데이터는 광계 카메라로부터 인터페이스 유닛 (65) 을 통해 장치 (60) (도 6) 로 전송되고, 그 후 장치의 저장 유닛 (62) 으로 저장된다. 그러한 데이터 전송은 장치 (60) 의 프로세서 (61) 에 의해 제어될 수도 있다. 장치 (60) 가 광계 카메라와 통합되는 경우, 캡쳐된 광계 이미지 데이터는 저장 유닛 (62) 으로 직접 저장될 수도 있다.

단계 (S710) 에서, 장치 (60) 의 프로세서 (61) 는, 4D 광계 이미지 데이터에 기초하여, N 개의 재포커싱될 이미지들 (R) 의 초점 스택을 구축하기 위해 장면 내에서 상이한 재초점화 거리를 갖는 2D 재포커싱된 이미지들 (R_n) 을 컴퓨팅한다. 2D 재포커싱된 이미지들 (R) 및 재포커싱된 이미지들 (R_n) 의 초점 스택을 생성하는 것은 "3) 이미지 재포커싱" 및 "4) 초점 스택" 의 섹션들에서 상술된 바와 같이 수행될 수 있다. 생성된 초점 스택 데이터는 저장 유닛 (62) 에 저장된다.

단계 (S715) 에서, 프로세서 (61) 는 섹션 "5) 깊이-맵 측정" 에서 기술된 바와 같은 재포커싱된 이미지들 (R_n) 의 초점 스택을 사용하여 장면의 깊이-맵 이미지 (Z) 를 생성한다. 깊이 맵의 계산은 또한 N. Sabater et al., "Accurate Disparity Estimation for Plenoptic Images", ICCP 2014 에 의해 알려져 있다. 깊이-맵 이미지 (Z) 내의 오브젝트들의 세그멘테이션이 또한 이러한 단계 (S715) 에서 수행된다는 것을 유의해야 한다. 이러한 세그멘테이션 프로세스에 따라, 깊이-맵 이미지 (Z) 에서 그들 각각의 깊이들을 갖는 오브젝트들이 세그멘팅된다. 각각의 오브젝트에 속하는 화소들 (G) 의 그룹들은 각각의 오브젝트들로 그룹핑되고 연관된다. 그러한 오브젝트 세그멘테이션 프로세스는 Nathan Silberman et al., "Indoor Segmentation and Support Inference from RGBD Images", ECCV-12 에 의해 알려져 있고, 따라서 세그멘테이션 프로세스의 상세들은 본 개시에서 논의되지 않는다. 깊이-맵 이미지 (Z) 데이터 및 오브젝트 세그멘테이션 정보는 저장 유닛 (62) 에 저장된다.

단계 (S720) 에서, 프로세서 (61) 는 섹션 "6) 올-인-포커스 이미지" 에서 기술된 바와 같은 깊이-맵 이미지 (Z) 에 기초하여 올-인-포커스 이미지 (R_all) 를 생성한다. 올-인-포커스 이미지 (R_all) 에서, 그 이미지 내의 모든 오브젝트들은 초점이 맞아 보이며, 그 오브젝트들은 상술된 바와 같이 세그멘팅되었다. 생성된 올-인-포커스 이미지 (R_all) 데이터는 저장 유닛 (62) 에 저장된다.

단계들 (S705 내지 S720) 은 4D 광계 이미지 데이터가 장치 (60) 에 제공된 후 프로세서 (61) 에 의해 자동적으로 수행될 수 있다.

단계 (S725) 에서, 프로세서 (61) 는 디스플레이 (64) 상에서 제 1 GUI (Graphical User Interface) 기능을 실행하고 재포커싱된 이미지들의 초점 스택을 추가적으로 디스플레이할 수도 있다. 제 1 GUI 기능은 사용자가 초점 스택을 가로지르는 슬라이스 이미지 (R_slice) 를 선택하는 것을 허용한다. 슬라이스 이미지 (R_slice) 는 GUI 상에서 초점 스택 내의 적어도 2 개의 이미지들을 가로지르는 교차 평면을 정의함으로써 선택될 수 있다. 섹션 "7) 슬라이스 이미지" 에서 기술된 바와 같이, 슬라이스 이미지 (R_slice) 의 좌표는 초점 스택의 좌표 시스템 내의 그것의 법선에 의해 특정되며, 그 법선은 재포커싱된 슬라이스 이미지 (R_slice) 를 선택하기 위해 사용자에 의해 주어진다. 선택된 슬라이스 이미지 (R_slice) 데이터는 저장 유닛 (62) 에 저장된다.

단계 (S730) 에서, 프로세서 (61) 는 디스플레이 (64) 상에서 제 2 GUI 기능을 실행하고 디스플레이 (64) 상에서 올-인-포커스 이미지 (R_all) 를 디스플레이한다. 제 2 GUI 기능은 사용자가 재포커싱된 슬라이스 이미지 (R_slice) 에 포커싱되어야 하는, 디스플레이된 올-인-포커스 이미지 (R_all) 내의 오브젝트(들) 을 선택하는 것을 허용한다. 단계 (S715) 에 대해 상술된 바와 같이, 오브젝트들이 세그멘팅되었고, 각각의 오브젝트들에 속하는 화소들은 각각의 오브젝트들로 그룹핑되고 연관되기 때문에, 디스플레이 (64) 의 GUI 상의 오브젝트의 사용자 선택은 입력 디바이스 (63) 를 사용하여 오브젝트와 연관된 화소들 (G) 의 그룹 내의 임의의 화소를 포인팅함으로써 행해질 수 있다. 오브젝트(들)의 선택 정보는 저장 유닛 (62) 에 저장된다.

단계 (S735) 에서, 프로세서 (61) 는 단계 (S725) 에서 선택된 슬라이스 이미지 (R_slice) 상으로 단계 (S730) 에서 선택된 오브젝트(들) 의 인-포커스 이미지를 결합함으로써 재포커싱된, 적응된 슬라이스 이미지 (R_user) 를 생성한다. 재포커싱된 적응된 슬라이스 이미지 (R_user) 는 화소들 (G) 에 속하지 않는 화소들 (X, Y) 에 대한 슬라이스 이미지 (R_slice) 에 대응할 수도 있고, 그 밖에,

도 8 은 본 개시의 실시형태에 따른 초점 스택으로부터 생성된 적응된 슬라이스 이미지의 예를 도시하는 다이어그램이다. 도 8 에 도시된 바와 같이, 원래 선택된 슬라이스 이미지는 선택된 오브젝트가 적응된 슬라이스 이미지상에 초점이 맞아 보이도록 적응된 슬라이스 이미지를 생성하도록 변경되었다. 이러한 의미에서, 본 개시에서 사용되는 용어 "적응된 슬라이스 이미지" 는 선택된 오브젝트가 초점이 맞아 보이는 원래 선택된 슬라이스 이미지의 변경된 이미지로서 해석될 수 있다는 것을 유의해야 한다.

여기에 기재된 모든 예들 및 조건적 언어는 독자가 본 발명 및 본 기술을 증진시키는데 발명자들에 의해 기여된 개념들을 이해하는 것을 돕기 위한 교육적 목적들을 위해 의도되며, 그러한 특정적으로 기재된 예들 및 조건들로의 제한이 없는 것으로서 해석되어야 하고, 본 명세서 내의 그러한 예들의 편성은 본 원리들의 우수성 및 열등성을 보여주는 것과 관련되지 않는다. 본 개시의 실시형태들이 상세하게 기술되었지만, 여러 변화들, 치환들, 및 변경들이 본 개시의 범위로부터 일탈하지 않고 여기에 행해질 수 있을 것이라는 것이 이해되어야 한다.

Claims (12)

1. 초점 스택으로부터 도출된 올-인-포커스 이미지를 사용하여 재포커싱된 이미지들의 상기 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 장치로서,
   상기 초점 스택에서 슬라이스 이미지를 선택하고;
   상기 적응된 슬라이스 이미지에서 포커싱될 상기 올-인-포커스 이미지에서의 적어도 하나의 오브젝트를 선택하며;
   상기 올-인-포커스 이미지에서의 선택된 상기 적어도 하나의 오브젝트를 선택된 상기 슬라이스 이미지 상으로 결합함으로써 상기 적응된 슬라이스 이미지를 생성하도록
   구성된 프로세서를 포함하는, 적응된 슬라이스 이미지를 생성하는 장치.
2. 제 1 항에 있어서,
   상기 프로세서는 또한 상기 초점 스택을 사용하여 깊이 맵 이미지를 추정함으로써 상기 올-인-포커스 이미지를 생성하도록 구성되는, 적응된 슬라이스 이미지를 생성하는 장치.
3. 제 2 항에 있어서,
   상기 프로세서는 또한 상기 깊이 맵 이미지에서 상기 적어도 하나의 오브젝트를 세그멘팅하도록 구성되고,
   상기 적어도 하나의 오브젝트는 상기 깊이 맵 이미지에서 각각의 깊이들을 갖는, 적응된 슬라이스 이미지를 생성하는 장치.
4. 제 3 항에 있어서,
   상기 프로세서는 또한 화소들의 그룹을 오브젝트와 연관시키기 위해 상기 오브젝트에 속하는 화소들을 그룹핑하도록 구성되는, 적응된 슬라이스 이미지를 생성하는 장치.
5. 제 4 항에 있어서,
   상기 프로세서는 또한 상기 오브젝트에 속하는 상기 화소들의 그룹에서 임의의 화소를 선택함으로써 상기 적어도 하나의 오브젝트를 선택하도록 구성되는, 적응된 슬라이스 이미지를 생성하는 장치.
6. 초점 스택으로부터 도출되는 올-인-포커스 이미지를 사용하여 재포커싱된 이미지들의 상기 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 방법으로서,
   상기 초점 스택에서 슬라이스 이미지를 선택하는 단계;
   상기 적응된 슬라이스 이미지에서 포커싱될 상기 올-인-포커스 이미지에서의 적어도 하나의 오브젝트를 선택하는 단계; 및
   상기 올-인-포커스 이미지에서의 선택된 상기 적어도 하나의 오브젝트를 선택된 상기 슬라이스 이미지상으로 결합함으로써 상기 적응된 슬라이스 이미지를 생성하는 단계를 포함하는, 적응된 슬라이스 이미지를 생성하는 방법.
7. 제 6 항에 있어서,
   상기 방법은 상기 초점 스택을 사용하여 깊이 맵 이미지를 추정하는 단계 및 상기 깊이 맵 이미지에 기초하여 상기 올-인-포커스 이미지를 생성하는 단계를 더 포함하는, 적응된 슬라이스 이미지를 생성하는 방법.
8. 제 7 항에 있어서,
   상기 추정하는 단계는 상기 깊이 맵 이미지에서 상기 적어도 하나의 오브젝트를 세그멘팅하는 단계를 더 포함하고,
   상기 적어도 하나의 오브젝트는 상기 깊이 맵 이미지에서 각각의 깊이들을 갖는, 적응된 슬라이스 이미지를 생성하는 방법.
9. 제 8 항에 있어서,
   상기 세그멘팅하는 단계는 화소들의 그룹을 오브젝트와 연관시키기 위해 상기 오브젝트에 속하는 화소들을 그룹핑하는 단계를 더 포함하는, 적응된 슬라이스 이미지를 생성하는 방법.
10. 제 9 항에 있어서,
    상기 올-인-포커스 이미지에서의 적어도 하나의 오브젝트를 선택하는 단계는 상기 적어도 하나의 오브젝트에 속하는 상기 화소들의 그룹에서 임의의 화소를 선택하는 단계를 더 포함하는, 적응된 슬라이스 이미지를 생성하는 방법.
11. 컴퓨터에 의해 판독가능한 저장 매체상에 기록된 컴퓨터 프로그램으로서,
    제 6 항 내지 제 10 항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램 코드 명령들을 포함하는, 컴퓨터 프로그램.
12. 비일시적 컴퓨터 판독가능 매체로서,
    제 6 항 내지 제 10 항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램 코드 명령들을 포함하는, 상기 비일시적 컴퓨터 판독가능 매체에 기록되고 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 제품을 포함하는, 비일시적 컴퓨터 판독가능 매체.

Images