KR20160004912A

KR20160004912A - 영상 획득 및 동시의 깊이 추출을 위한 장치 및 방법

Info

Publication number: KR20160004912A
Application number: KR1020150083666A
Authority: KR
Inventors: 블라디미르 페트로비치 파라모노브; 이반 안드레비치 판첸코; 빅토르 발렌티노비치 부차
Original assignee: 삼성전자주식회사
Priority date: 2014-07-04
Filing date: 2015-06-12
Publication date: 2016-01-13
Also published as: EP3164992A4; EP3164992A1; CN106471804B; RU2014127469A; CN106471804A; RU2595759C2

Abstract

영상 획득 및 깊이 추출하는 시스템은, 렌즈 시스템, 서로 다른 스펙트럼 대역폭을 가지는 일련의 적어도 두 개의 영역을 포함하는 스펙트럼 부호화된 조리개 및 센서 기저에서 획득된 영상을 형성하기 위하여 라이트 필드의 스펙트럼 채널을 적어도 두 개 기록하기 위한 센서를 포함하는 것을 특징으로 하는 이미징부, 상기 센서 기저에서 획득된 영상을 처리 기저에서의 영상으로 변환하기 위한 전처리부, 상기 처리 기저에서의 영상으로부터 변이를 추출하기 위한 변이 추정부, 영상 복원부, 및 변이를 깊이로 변환하기 위한 변환부를 포함하는 것을 특징으로 하는 정보처리부를 포함할 수 있다.

Description

영상 획득 및 동시의 깊이 추출을 위한 장치 및 방법{METHOD AND APPARATUS FOR IMAGE CAPTURING AND SIMULTANEOUS DEPTH EXTRACTION}

다양한 실시예들은 계산사진학(computational photography)의 장치 및 방법에 관한 것으로서, 더욱 상세하게는 라이트 필드 획득 및 처리(light field capturing and processing)에 관한 장치 및 방법에 관한 것이다.

라이트 필드 포토그래피(light field photography)의 주된 응용분야 중 하나는, 영상의 깊이 정보를 알아내는 것이다. 라이트 필드를 획득하거나 영상의 깊이 정보를 알아내는 장치에는 스테레오 카메라, 플래놉틱(plenoptic) 카메라, 이진 부호화된 조리개(binary coded aperture)를 가지는 카메라, 또는 칼라의 부호화된 조리개(color coded aperture)를 가지는 카메라 등이 있다. 그러나, 이러한 장치들은 추가적인 공간, 카메라 비용, 또는 낮은 광효율 등이 발생할 수 있는 문제가 있었다.

다양한 실시예들은, 이미징부 및 정보처리부에서의 정보를 이용하여 라이트 필드 획득 및 처리에 관한 장치 및 방법을 제공할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 영상 획득 및 깊이 추출하는 시스템에 있어서, 이미징부는, 렌즈 시스템; 서로 다른 스펙트럼 대역폭을 가지는 일련의 적어도 두 개의 영역을 포함하는 스펙트럼 부호화된 조리개; 및 센서 기저에서 획득된 영상을 형성하기 위하여 라이트 필드의 스펙트럼 채널을 적어도 두 개 기록하기 위한 센서를 포함하는 것을 특징으로 하고, 정보처리부는, 상기 센서 기저에서 획득된 영상을 처리 기저에서의 영상으로 변환하기 위한 전처리부; 상기 처리 기저에서의 영상으로부터 변이를 추출하기 위한 변이 추정부; 영상 복원부; 및 변이를 깊이로 변환하기 위한 변환부를 포함하는 것을 특징으로 하는, 시스템.

일 실시예에 따른 상기 스펙트럼 부호화된 조리개의 상기 일련의 적어도 두 개의 영역에 대응하는 일련의 스펙트럼 대역폭은, 스펙트럼 부호화된 조리개 기저를 형성할 수 있다.

일 실시예에 따른, 상기 처리 기저는, 상기 센서 기저 및 상기 스펙트럼 부호화된 조리개 기저와 다를 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 세 개의 영역을 구비하고, 상기 세 개의 영역은 중앙에 투명한 영역과, 노란색 및 시안색에 대응되는 스펙트럼 대역폭을 가지는 두 개의 영역을 포함할 수 있다.

일 실시예에 따른, 상기 처리 기저는, 세 개의 벡터를 포함하고, 상기 세 개의 벡터는 노란색에 대응하는 벡터, 시안색에 대응하는 벡터, 그리고 상기 두 벡터에 직교하는 벡터를 포함할 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 노란색 및 시안색에 대응하는 스펙트럼 대역폭을 가지는 두 개의 영역을 포함할 수 있다.

일 실시예에 따른, 상기 처리 기저는, 세 개의 벡터를 포함하고, 상기 세 개의 벡터는 노란색에 대응하는 벡터, 시안색에 대응하는 벡터, 그리고 상기 두 벡터에 직교하는 벡터일 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 노란색, 시안색 및 자주색(magenta)에 대응하는 스펙트럼 대역폭을 갖는 세 개의 합동의 영역을 포함할 수 있다.

일 실시예에 따른, 상기 처리 기저는, 노란색, 시안색 및 자주색에 대응하는 벡터를 포함할 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 노란색, 시안색 및 자주색에 대응하는 스펙트럼 대역폭을 갖는 세 개의 합동이 아닌 영역을 포함할 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 상기 조리개 영역에 걸쳐 평탄한 대역폭 변화를 포함할 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 상기 렌즈 시스템에 고정될 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 상기 렌즈 시스템에 고정되지 않을 수 있다.

일 실시예에 따른, 상기 스텍트럼 부호화된 조리개는, 영상 형성에 참여하지 않는 옵티칼 트레인(optical train)으로부터 이동될 수 있다.

일 실시예에 따른, 상기 획득된 영상은, 영상 비디오 시퀀스로부터 선택된 영상일 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 영상 비디오 시퀀스에서 선택적인 영상에 대해 렌즈 시스템으로 삽입될 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 렌즈 시스템 조리개 멈춤쇠(aperture stop)로 삽입될 수 있다.

일 실시예에 따른, 상기 렌즈 시스템은, 하나의 렌즈를 포함하고, 상기 스펙트럼 부호화된 조리개는, 상기 렌즈에 위치할 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 상기 센서로부터 획득된 영상 비디오 시퀀스의 이전 비디오 영상에 관하여 보정될 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 불투명한 영역과 합동인 영역의 조합으로 구성되고, 상기 합동인 영역은 투명하거나 자외선, 적외선 또는 다른 가시광선을 통과시킬 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, 불투명한 영역과 합동이 아닌 영역의 조합으로 구성되고, 상기 합동이 아닌 영역은 투명하거나 자외선, 적외선 또는 다른 가시광선을 통과시킬 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는 SLM(Spatial Light Modulator)일 수 있다.

또한, 본 개시의 제 2 측면은, 영상 획득 및 깊이 추출하는 방법에 있어서, 비디오에서 획득된 영상 내지 영상 시퀀스를 형성하기 위한 라이트 필드의 적어도 두 개의 시프트 된 스펙트럼 채널을 기록하는 단계; 상기 획득된 영상을 처리 기저에서 영상으로 변환하는 단계; 상기 처리 기저에서 스펙트럼 채널의 화소간 상관관계에 기반한 변이 추정하는 단계; 상기 추출된 변이 맵을 기반으로 상기 획득된 영상을 복원하는 단계; 및 상기 변이 맵을 깊이 맵으로 변환하는 단계를 포함할 수 있다.

일 실시예에 따른, 상기 변이 추정하는 단계는, 스펙트럼 채널에서 각각의 시프트를 가진 후보 영상들을 생성하는 단계; 스펙트럼 채널에서 상기 후보 영상들에 관한 매칭 비용(matching cost)을 계산하는 단계; 로우 텍스쳐(low textured) 영역에 관한 매칭 비용을 누적시키는(propagating) 단계; 및 부화소 정확도를 가진 매칭 비용을 추정하는 단계를 포함할 수 있다.

일 실시예에 따른, 상기 변이 추정을 요청하기 위한 스펙트럼 채널의 화소간 상관관계는, 희소(sparse) 무빙 윈도우에서 계산되는 연관 함수(correlation metric)를 포함할 수 있다.

일 실시예에 따른, 상기 변이 추정을 요청하기 위한 스펙트럼 채널의 화소간 상관관계는, 적어도 하나의 스테레오 매칭 알고리듬을 이용하여 계산하는 단계를 포함할 수 있다.

일 실시예에 따른, 상기 스테레오 매칭 알고리듬을 이용하여 계산하는 단계는, SAD(Sum of Absolute Differences), NCC(Normalized Cross Correlation) 또는 LIC(Laplacian Image Contrast)를 포함할 수 있다.

일 실시예에 따른, 상기 연관 함수는, FFT(Fast Fourier Transform)를 포함할 수 있다.

일 실시예에 따른, 상기 연관 함수는, REF(Recursive Exponential Filter)를 포함할 수 있다.

일 실시예에 따른, 상기 획득된 영상을 복원하는 단계는, 영상 블러링 단계를 포함할 수 있다.

일 실시예에 따른, 상기 획득된 영상을 복원하는 단계는, 상기 처리 기저에서 스펙트럼 채널 정열(alignment)하는 단계를 포함할 수 있다.

또한, 본 개시의 제 3 측면은, 자외선, 적외선 또는 가시광선에서의 영상 획득 및 깊이 추출을 위한 카메라 모듈을 가지는 모바일 디바이스에 있어서, 이미징부는, 렌즈 시스템; 서로 다른 스펙트럼 대역폭을 가지는 일련의 적어도 두 개의 영역을 포함하는 적어도 하나의 스펙트럼 부호화된 조리개; 센서 기저에서 획득된 영상을 형성하기 위하여 라이트 필드의 스펙트럼 채널을 적어도 두 개 기록하기 위한 센서; 및 렌즈 시스템과 상대적으로 적어도 하나의 스펙트럼 부호화된 조리개를 이동하기 위한 부호화된 조리개 장치(fixture)를 포함하는 것을 특징으로 하고, 정보처리부는, 상기 센서 기저에서 획득된 영상을 처리 기저에서의 영상으로 변환하기 위한 전처리부; 상기 처리 기저에서의 영상으로부터 변이를 추출하기 위한 변이 추정부; 영상 복원부; 및 변이를 깊이로 변환하기 위한 변환부를 포함하는 것을 특징으로 할 수 있다.

일 실시예에 따른, 상기 부호화된 조리개 장치는, 옵티칼 트레인(optical train)에서 적어도 두 개의 스펙트럼 부호화된 조리개의 각각을 대신하도록 구성될 수 있다.

일 실시예에 따른, 상기 부호화된 조리개 장치는, 옵티칼 트레인으로부터 모든 스펙트럼 부호화된 조리개를 이동시키도록 구성될 수 있다.

일 실시예에 따른, 상기 부호화된 조리개 장치는, 이미징부의 조리개 멈춤쇠(aperture stop)로 삽입될 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개 장치는, 불투명한 영역과 합동인 영역의 조합으로 구성되고, 상기 합동인 영역은 투명하거나 자외선, 적외선 또는 다른 가시광선을 통과시킬 수 있다.

일 실시예에 따른, 상기 스펙트럼 부호화된 조리개는, SLM(spatial light modulator)일 수 있다.

또한, 본 개시의 제 4 측면은, 자외선, 적외선 또는 가시광선 스펙트럼에서 영상 획득 및 깊이 추출을 휘한 이미징 시스템에 있어서, 이미징부는 렌즈 시스템; 서로 다른 스펙트럼 대역폭을 가지는 일련의 적어도 두 개의 영역을 포함하는 적어도 하나의 스펙트럼 부호화된 조리개; 및 센서 기저에서 획득된 영상을 형성하기 위하여 라이트 필드의 스펙트럼 채널을 적어도 두 개 기록하기 위한 센서;를 포함하는 것을 특징으로 하고, 정보처리부는, 상기 센서 기저에서 획득된 영상을 처리 기저에서의 영상으로 변환하기 위한 전처리부; 상기 처리 기저에서의 영상으로부터 변이를 추출하기 위한 변이 추정부; 및 변이를 깊이로 변환하기 위한 변환부를 포함하는 것을 특징으로 할 수 있다.

도 1은 일 실시예에 따른, 깊이 추출 및 영상 복원 장치의 개요도이다.
도 2는 일 실시예에 따른, 스펙트럼 부호화된 조리개의 일례를 도시한 도면이다.
도 3은 일 실시예에 따른, 채널 이동을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른, 깊이 정보 추출 및 영상 복원 방법의 high-level 개요도이다.
도 5는 일 실시예에 따른, 파라볼라 피팅(parabola fitting)을 설명하기 위한 도면이다.
도 6은 일 실시예를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 깊이 추출 및 영상 복원 장치(101)의 개요도이다. 본 장치는 이미징부(102)와 정보처리부(103)를 포함할 수 있다. 이미징부(102)는 렌즈 옵틱스(optics)(104, 대물렌즈), 광학 시스템으로 삽입될 수 있는 스펙트럼 부호화된 조리개(105, 다이아프램 평면(diaphragm plane)이 바람직하다), 그리고 다른 스펙트럼 대역폭을 구별할 수 있는 센서(106, 예를 들어 모자익 컬러/스펙트럼 필터 어레이(array)로 덮인 센서 또는 컬러 스택 포토다이오드(color stacked photodiodes) 센서)로 구성된다. 정보처리부(103)는 이미징부(102)에서 획득된 raw 이미지(107)를 가진다. 전처리부(108)에서, 획득된 영상은 센서 기저(basis)에서, 일반적으로 스펙트럼 부호화된 조리개 필터가 없을 수 있는, 처리 기저로 변환된다. 둘째, 변이 추정(109)이 수행된다. 셋째, 영상 복원(110)이 수행된다. 마지막으로, 변이를 깊이로 변환하기 위한 변환(111)이 광학 시스템 파라미터에 관해서 수행된다.

스펙트럼 부호화된 조리개(105)는 각각의 스펙트럼 통과대역을 가지고 있는 각각의 서브영역으로 나눠진다. 서브영역의 개수, 기하학적 구조 그리고 스펙트럼 통과대역은 광 효율성, 깊이 맵, 그리고 칼라 영상 복원 화질 면에서 응용에 따라 달라진다. 그 중 일부는 도 2에 나타나 있다.

도 2는 광 효율성, 깊이 맵, 그리고 칼라 영상 복원 화질간 트레이드 오프를 가지는 다양한 스펙트럼 부호화된 조리개 디자인을 나타내었다. 라이트 필드 코딩을 위해 스펙트럼 필터

,...을 사용할 수 있다(예를 들어, 육안으로 볼 수 있는 칼라 필터, 적외선 및 자외선 필터, 두 개 이상의 통과대역을 가지고 있는 멀티 패스 필터 등이 있다).

스펙트럼 부호화된 조리개의 주요 특징은 광 효율성, 깊이 분별 능력, 그리고 칼라 영상 복원 화질이다. 가장 높은 깊이 분별 지수는 다른 스펙트럼 영역에 대응하는 조리개 서브영역 중심간의 가장 큰 거리를 가지는 스펙트럼 부호화된 조리개 기하학적 구조로부터 얻을 수 있다. 이 요건은 조리개 디자인이 그들간 큰 거리를 갖는 반면 서브영역에 대해 이 작은 필터 사이즈를 갖도록 한다(도면 2(a) 참조). 결과적으로 광학 시스템의 감소된 광 효율성을 갖도록 부호화된 조리개의 불투명한 영역은 증가한다. 조리개 디자인의 광 효율성 있는 변형은 전형적으로 추출된 변이 정확성 손실을 발생시킨다(도 2(b) 참조).

특정한 응용분야를 위해 광 효율성과 깊이 차별 능력간 트레이드 오프가 있을 필요가 있다. 예를 들어,

,

를 절반씩 가지는 조리개 디자인은(도 2(c)의 조리개 기하학적 구조 참조), 투명한 서브영역으로서

를 가지고

,

를 가지는 조리개 디자인(도 2(d)의 조리개 기하학적 구조 참조)보다 더 좋은 깊이 맵을 가지나, 광 효율성은 후자가 우수하다. 노란색(yellow) 필터는 녹색과 적색 광 스펙트럼을 포함하는 통과대역을 가진다. 시안색(cyan) 필터는 녹색과 파란색 광 스펙트럼을 포함하는 통과대역을 가진다. 투명한 영역은 들어오는 빛을 필터링 하지 못한다. 녹색 채널은 이러한 필터들에 의해 왜곡되지 않고 영상 복원 과정에서 기준으로 사용될 수 있음을 주의하여야 한다. 빛이 과다한 경우에, 원형 필터 및 불투명한 영역을 포함하는 조리개(도 2(a) 참조)는 가장 우수한 깊이 맵 화질을 위해 사용될 수 있다. 적외선 및 자외선을 절반씩 가지는 조리개 디자인(도 2(c) 참조)은 이론적으로 완전히 열린(opened) 전통적인 조리개로서 동일한 광 효율성을 가지고 깊이 추출에 대해서 우수한 가능성을 가지나, 영상 복원 내지 사진 배열 보정을 위해 추가적인 처리가 필요하다. 세 개 이상의 스펙트럼 서브영역을 가지는 스펙트럼 부호화된 조리개(도 2(e) 참조) 내지 조리개 영역에 걸쳐 평탄한 대역폭 변화를 가지는 스펙트럼 부호화된 조리개(도 2(f) 참조)도 가능하다.

스펙트럼 부호화된 조리개(105)에 의해 보정된 라이트 필드는 획득된 raw 이미지(107)를 생성하는 영상 센서(106)로 들어간다.

스펙트럼 부호화된 조리개(105)를 통과한 라이트 필드는 부호화된다. 즉, 다른 스펙트럼 부분은 각자 대응하는 조리개 서브영역으로부터 오는 것을 의미한다. 따라서, 하나의 획득한 영상을 스펙트럼 부호화된 조리개에 대해 대응되게 스펙트럼 채널로 나눔으로써, 하나의 획득한 영상을 동일한 장면에 대한 다른 뷰(view)를 추출하는 것이 가능하다.

도 3(a)는 도 2(b)에서 설명한 스펙트럼 부호화된 조리개에 관하여 획득된 이미지(107) 및 대응되는 스펙트럼 대역폭을 구별할 수 있는 센서를 나타낸다. 광학 시스템에서 스펙트럼 부호화된 조리개의 존재로 인해 디포커스된 물체(도 3(a)의 302)의 위치는 포커스된 물체(도 3(a)의 301)에 비해 비교적 대응되는 스펙트럼 필터 위치(도 3(d), 3(e), 3(f))에 관하여 달라진다. 이러한 뷰는 변이 맵 추출과 원본 영상 복원에 사용된다. 각각의 스펙트럼 채널에 대한 영상 디블러링 결과는 도 3(g), 3(h), 3(i)에 나타내었다. 디블러링된 컬러 영상은 도 3(b)에 나타내었다. 스펙트럼 채널에 정열된(aligned) 디블러링된 영상(복원 영상)은 도 3(c)에 나타내었다.

도 4는 정보처리부(103)의 하이레벨(high-level) 개요도이다. 시스템 입력은 이미징부(102)에서 획득한 raw 이미지(107)이다. 첫 번째 단계(108)에서, 획득한 영상

은 디노이징 및 디모자익 기술들이 전처리 되고 센서 스펙트럼 기저에서 처리 기저(일반적으로 스펙트럼 필터가 아닐 수도 있다)로 변환된다. 여기서 Is _i 는 광학 시스템 센서에 의해 획득된 영상 컬러 채널을 말한다. 이러한 변환을 수행하기 위해 변환 행렬(matrix) Π가 우선적으로 추정되어야 한다. 도 2(c)에서 살펴본 시안색 및 노란색 필터에 대응하는

,

를 가진 조리개 디자인과 RGB 모자익 컬러 필터 어레이 단순화를 위해 고려된다.

는 RGB 컬러 공간에서 시안색 및 노란색 필터 각각을 나타내는 컬러 벡터이다. 양호한 조건수(condition number)를 가진 비퇴화적(non-degenerate) 역변환이 가능한 변환 행렬을 구성하기 위해 세 번째 기저 vector

는 벡터 곱

으로 정의한다.

및

는 카메라 센서에서 각각 적색, 녹색, 파란색의 기저다. 센서 스펙트럼 기저에서

보조(auxiliary) 행렬 Π는 다음과 같다.

행렬 Π를 이용하면 임의의 관찰된 컬러 w는 조리개 필터 응답으로 분해될 수 있다.

는 스펙트럼 필터 기저 (시안색, X, 노란색)에서 채널 강도를 의미한다. 행렬 Π는 역변환이 가능하다.

는 처리 기저에서의 획득된 영상 채널을 나타낸다. 센서 기저 및 처리 기저에서 다른 수의 기저(basic) 벡터인 경우에 의사(pseudo) 역변환 행렬이 사용될 수 있다(좌측 역변환(left inverse) 내지 우측 역변환(right inverse) 행렬).

두 번째 단계(109)에서, 변이

는 영상의 모든 화소에 대해서 추정된다.

는 변이 추정을 위한 매칭 비용(matching cost)으로서 쉬프트된 스펙트럼 채널

의 전통적인 교차상관(cross-correlation) 방법을 사용한다.

일반화된 상호 상관 함수(mutual correlation meric)는 스펙트럼 채널의 임의의 수를 처리하기 위해 변이 추정부(109)에서 사용된다.

은 다소 상이한 뷰포인트로부터 동일한 장면에 관하여 n번째 획득한 스펙트럼 채널에서의 n번째 획득한 뷰의 집합을 나타낸다. 한편

는

프레임을 나타낸다. 전통적인 상관(correlation) 행렬

는

집합과 변이 d 값에 의해 표현된다.

여기서,

는 대응하는 채널에서의 평행으로의 이동을 의미한다.

행렬

의 행렬식은 상호 상관

의 좋은 측정자(measure)이다. 실제로, 모든 채널이 완전히 상관된(correlated) 경우, 행렬

는 특이(singular) 행렬이고 행렬식은 0이다. 다른 측면에서, 데이터가 완전히 비상관된(uncorrelated) 경우 형렬식은 1이 된다. 이러한 연산자를 이용하여 깊이 맵을 추출하기 위해

의 가장 작은 값에 대응되는 변이 값 d 는 영상의 각각의 화소에서 찾아야 한다.

비용 계산 매칭(cost computation matching)을 위한 다른 연산자도 가능하다. 예를 들어 전통적인 스테레오 매칭 함수(conventional stereo matching metrics), 라플라시안 대비 함수(Laplacian contrast metric) 또는 특징 기반 함수(feature based metric) 등이 있다.

모든 통계학의 계산은 전통적인 로컬 무빙 윈도우(conventional local moving window)를 사용한다. 그러나, 본 발명에서는 지수형(exponential) 무빙 윈도우가 사용된다. 왜냐하면 이것은 자연스럽게(naturally) 희소 그래디언트 사전(sparse gradient prior)을 따르고 저 텍스쳐(low textured) 영역에 대해 매칭 비용을 누적시키기(propagate) 때문이다. 나아가 지수형 커널(kernel) 필터링은 스펙트럼 도메인에서의 곱셈 내지 재귀적인

컨벌루션(recursive

convolution)을 이용하는 것이 효율적으로 계산될 수 있다.

여기서

은 n 번째 화소에서의 영상 I 에 대한 컨벌루션의 결과이고,

는 다음과 같다.

여기서

는 화면내(spatial) 도메인에서 필요한 영상 유사 정도를 나타내는 지수형 댐플링 팩터(dampling factor)이다.

이 방정식은 또한 적은 텍스쳐 영역에 대한 변이 정보의 전파를 위한 결합형 양방향(joint bilateral) 필터의 효과적인 근사값 계산에 사용될 수 있다.

여기서

는 n 번째 화소에서의 변이이고

는 영상 컬러 유사 정도를 나타내는 함수이다.

여기서

는 레인지(range) 도메인에서 컬러 영상간 유사 정도를 나타낸다.

부화소 추정은 파라볼라 피팅(parabola fitting) 알고리듬(도 5 참조)을 이용하여 수행된다. 전통적인 파라볼라 피팅에서는 세 개의 주어진 점이 고려된다.

및

를 각각 이전 및 다음 인수(arguments) 값으로 놓는다.

,

및

을 만족하는 유일한 파라볼라의 최대값의 변수는 분석적으로 다음의 공식에서 구해질 수 있다.

여기서

이다.

영상 복원부(110)는 변이 추정에 기반한 예비 영상 복원

이다. 첫 번째, 획득된 영상(도 3(a))은 디블러링 된다(도 3(b)). 두 번째, 디블러링된 영상의 컬러 정열(alignment)이 수행된다(도 3(c)). 도 3(a)은 시스템에서 획득된 영상의 예를 보여준다. 도 2(b)는 스펙트럼 부호화된 조리개의 기하학적 구조를 나타낸다. 시스템은 어느 한 물체(301)에 포커스 되어 있고 다른 물체(302)는 디포커스 되어 있다. 시스템에서 획득한 디포커스 된 물체(302)는 전통적인 이미징 시스템에 대한 블러링된 영상(도 3(d)의 305, 도 3(e)의 306, 도 3(f)의 307)만큼 포토 어레이(photo array)에서 스펙트럼 채널 어긋남으로 이어진다. 영상 디블러링은 전통적인 디컨볼루션(deconvolution) 기술을 기초로 하고 다른 변이값에 대응하는 영상 영역에 각각 적용된다. 예를 들어, 포커스된 물체(301)는 디블러링이 요구되지 않는 반면 각각의 스펙트럼 채널에서 디포커스된 물체(302)의 영상들(305, 306, 307)은 그들의 변이 레벨에 대해서 디블러링 된다. 도 3(b)의 디블러링 된 영상은 여전히 그들의 스팩트럼 채널들(도 3(g), 3(h), 3(i))에 대해서 어긋나 있다. 스팩트럼 채널

에 대응되는 어긋남(misalignment) 벡터

는 획득된 영상(302)의 각각의 지점에서 추정된다. 이들 벡터에 기반하여 정열된 스팩트럼 채널에 의해 복원된 영상

(304)이 얻어진다.

여기서 i는 스팩트럼 채널 수

는 벡터

의 각각 x축 및 y축 방향으로의 프로젝션을 의미한다.

마지막으로, 이미지는 스펙트럼 필터 기저

에서 장치플레이 단위 기저(unit basis)

로 변환된다. 이미징 시스템은 영상 센터와 비교하여 가장자리에서의 영상의 밝기가 저하되는 비네팅(vignetting) 효과의 문제가 있다. 이러한 시스템에서 이러한 효과는 다음의 식에 의해 수학적으로 완화된다.

여기서

및

는 각각

번째 화소에서의 획득 및 복원된 영상이다. 그리고

는 광학 시스템 캘리브레이션(calibration)하는 동안 한번 미리 계산되어진 언비네팅(unvignetting) 계수이다.

여기서

및

는 각각

번째 화소에서의 알려진 실험 영상의 획득 및 비네팅이 없는 영상이다.

부호화된 조리개가 있는 경우에 언비네팅 계수

는 각각의 스펙트럼 채널에 대해 독립적으로 계산되어야 한다. 이 과정은 영상 복원부(110)에서 수행된다.

최종 영상 개선(refinement) 절차는 부정확한 변이 추정에 의해 야기된 아티팩트(artifact)를 감소시키는데 사용된다. 인간의 시각적 인지력에 기반을 둔 기술들(예를 들어, 양방향 필터링(bilateral filtering), 미디안 필터링(median filtering) 등) 및 natural image priors들(예를 들어, 희소 그래디언트 사전(sparse gradient prior), 컬러 라인 사전(color lines prior) 등이 이용된다.

하나의 렌즈 광학 시스템에 대해 변이

는 변이를 깊이로 변환하기 위한 변환부(111)에서 얇은(thin) 렌즈 공식에서 일반화된 옵티칼(optical) 시스템 파라미터들(112)을 이용하여 깊이 맵

(114)로 변환된다.

여기서

는 렌즈 중심 거리,

및

는 각각 렌즈로부터 물체 평면 및 영상 평면까지의 거리이다.

복합적인 물체에 대해 이 공식은 광학 시스템의 설계에 의존한다.

상기 기술한 이미지 획득 장치는 화면간(temporal) 및 스펙트럼(spectral) 코딩을 수행하기 위해 확장될 수 있다. 화면간 코딩은 영상 획득 장치에 대해서 스펙트럼 부호화된 조리개를 이동하면서 수행된다. 이러한 확장은 알려진 부호화된 조리개 움직임에 의해 발생하는 디포커스 블러 뿐만 아니라 움직임 블러도 제거할 수 있다.

상기 기술한 영상 획득 장치는 부호화된 조리개에 의해 적절하게 암호화 되고 검출자 어레이(detector array)에 의해 적절하게 등록된 비디오 스트림으로부터 뿐만 아니라 사진으로부터 깊이 정보를 추출할 수 있다. 뿐만 아니라, 스펙트럼 부호화된 조리개는 사진과 스펙트럼 부호화된 조리개의 유무에 따라 획득된 영상에 대한 깊이 정보를 혼합할 수 있도록 변경 가능하다. 예를 들어, 깊이 맵 추출 과정은 비디오 시퀀스의 키 프레임(예를 들어, 매 N번째 프레임)만으로도 수행될 수 있고, 키 프레임의 깊이 맵과 영상 정보를 이용하여 다른 프레임이 복원될 수 있다. 이 과정은 시간 효율 및 시스템의 영상 화질이 증가시킨다.

더 나아가, 스펙트럼 부호화된 조리개 유형 및 기하학적 구조는 자동적으로 검출자 어레이에 획득된 영상에 따라 달라질 수 있다. 예를 들어, 빛이 과다한 경우에, 노출 시간을 줄이거나 광학 시스템의 f수(f-number)를 증가시키는 대신 원형 필터 및 불투명한 영역(도 2(a))으로 구성된 조리개가 이용될 수 있다.

본 발명은 모마일 폰 카메라 또는 웹 카메라 장비를 포함하며 이에 한정되지 않고 컴팩트(compact) 광학 카메라에 사용 가능한 다양한 실시 예가 가능하다.

도 6(a)는 일 실시예에 따른, 카메라의 광학 시스템에서 영구적으로 고정된 컬러 부호화된 조리개이다. 빛이 고정된 컬러 필터 조리개를 통과하므로 컬러 영상은 화질 열화(degraded)된다. 각각의 컬러 대역은 고스트 이미지 효과(ghost image effect)를 야기하는 사진 어레이의 다른 위치에 프로젝션 된다. 깊이 추정 및 컬러 영상 복원은 본 발명에서 기술한 깊이 추출 방법에 의해 수행된다.

도 6(b)는 일 실시예에 따른, 기계적인 또는 전자기계적인 수단에 의해 광학 시스템이 이동할 수 있는 컬러 부호화된 조리개이다. 3D 모드에서, 컬러 부호화된 조리개는 장면(scene) 및 계산적으로 복원된 컬러 영상에 관한 깊이 정보를 얻기 위해 허용되는 광학 시스템에 존재된다. 2D 모드에서, 컬러 부호화된 조리개는 왜곡이 없는 원래의 2D 영상 획득을 이끄는 광학 시스템에 존재하지 않는다.

도 6(c)는 일 실시예에 따른, 시간에 맞춰 부호화된 컬러 조리개 부분의 스펙트럼 통과대역을 변경할 수 있는 SLM(spatial light modulator)을 가진 스펙트럼 부호화된 조리개이다. 도 6(c)의 장치는 도 6(b)의 실시예에서 기술한 바와 같이, 2D 또는 3D 모드에서 동작할 수 있다.

또한, 도 6(b) 및 도 6(c)의 장치는 교차(alternating) 비디오 프레임의 획득도 가능하다. 프레임 녹화 전에 조리개를 변경함으로써 하나의 프레임은 2D 모드에서, 다른 프레임은 3D 모드에서 구해진다. 결국 시스템은 두 개의 비디오 스트림을 획득할 수 있게 된다. 하나의 비디오 스트림은 2D 모드에서 획득한 원래의 컬러 프레임을 포함하고, 다른 비디오 스트림은 깊이 추출에 적합한 프레임을 포함한다.

도 6(d)는 일 실시예에 따른, 스마트폰 렌즈에 붙일 수 있는(attachable) 스펙트럼 부호화된 조리개이다. 도 6(d)의 장치는 광학 시스템의 더 큰 크기 때문에 장착된 스펙트럼 부호화된 조래개를 가진 장치들과 비교하여 더 우수한 광 효율성 및 영상 화질뿐만 아니라 더 우수한 깊이 맵 화질을 가진다.

본 발명의 일 실시예에 따를 때, 스펙트럼 필터된 조리개 및 RGB, RGBW, CMY, CMYG, RGB(IR) 등을 포함하나 이에 한정되지는 않는 컬러/스펙트럼 공간(space)을 가진 센서의 조합도 가능하다.

본 발명은 모바일 폰 카메라를 포함하여 어떠한 디지털 카메라에도 사소한(minor) 하드웨어 변경 및 저비용 알고리듬을 가진 변이/깊이 맵을 생성하기 위해 적용될 수 있다. 획득된 변이 맵은 영상 분할, 커스텀 블러 타입(custom blur type)(보케(bokeh)), 계산적인 뷰포인트 변위(computational viewpoint displacement), 영상 필터링, 그리고 다른 특별한 효과를 가진 디지털 포스트-리포커싱(post-refocusing)에 이용될 수 있다.

일 실시예에 따른, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

101 : 깊이 추출 및 영상 복원 장치
102 : 이미징부
103 : 정보 처리부

Claims

영상 획득 및 깊이 추출하는 시스템에 있어서,
이미징부는,
렌즈 시스템;
서로 다른 스펙트럼 대역폭을 가지는 일련의 적어도 두 개의 영역을 포함하는 스펙트럼 부호화된 조리개; 및
센서 기저에서 획득된 영상을 형성하기 위하여 라이트 필드의 스펙트럼 채널을 적어도 두 개 기록하기 위한 센서를 포함하는 것을 특징으로 하고
정보처리부는,
상기 센서 기저에서 획득된 영상을 처리 기저에서의 영상으로 변환하기 위한 전처리부;
상기 처리 기저에서의 영상으로부터 변이를 추출하기 위한 변이 추정부;
영상 복원부; 및
변이를 깊이로 변환하기 위한 변환부;
를 포함하는 것을 특징으로 하는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개의 상기 일련의 적어도 두 개의 영역에 대응하는 일련의 스펙트럼 대역폭은, 스펙트럼 부호화된 조리개 기저를 형성하는, 시스템.
제 2 항에 있어서,
상기 처리 기저는,
상기 센서 기저 및 상기 스펙트럼 부호화된 조리개 기저와 다른, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는,
세 개의 영역을 구비하고,
상기 세 개의 영역은 중앙에 투명한 영역과, 노란색 및 시안색에 대응되는 스펙트럼 대역폭을 가지는 두 개의 영역을 포함하는, 시스템.
제 4 항에 있어서,
상기 처리 기저는, 세 개의 벡터를 포함하고,
상기 세 개의 벡터는 노란색에 대응하는 제1 벡터, 시안색에 대응하는 제2 벡터, 그리고 상기 제1 벡터 및 제2 벡터에 직교하는 제3 벡터를 포함하는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 노란색 및 시안색에 대응하는 스펙트럼 대역폭을 가지는 두 개의 영역을 포함하는, 시스템.
제 6 항에 있어서,
상기 처리 기저는, 세 개의 벡터를 포함하고,
상기 세 개의 벡터는 노란색에 대응하는 제1 벡터, 시안색에 대응하는 제2 벡터, 그리고 상기 제1 벡터 및 제2 벡터에 직교하는 제3 벡터를 포함하는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 노란색, 시안색 및 자주색(magenta)에 대응하는 스펙트럼 대역폭을 갖는 세 개의 합동의 영역을 포함하는, 시스템.
제 8 항에 있어서,
상기 처리 기저는, 노란색, 시안색 및 자주색에 대응하는 벡터를 포함하는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 노란색, 시안색 및 자주색에 대응하는 스펙트럼 대역폭을 갖는 세 개의 합동이 아닌 영역을 포함하는, 시스템.
제 10 항에 있어서,
상기 처리 기저는, 노란색, 시안색 및 자주색에 대응하는 벡터를 포함하는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 조리개 영역에 걸쳐 평탄한 대역폭 변화를 포함하는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 상기 렌즈 시스템에 고정된, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 상기 렌즈 시스템에 고정되지 않은, 시스템.
제 14 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 영상 형성에 참여하지 않는 옵티칼 트레인(optical train)으로부터 이동된, 시스템.
제 1 항에 있어서,
상기 획득된 영상은, 영상 비디오 시퀀스로부터 선택된 영상인, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 영상 비디오 시퀀스에서 선택적인 영상에 대해 렌즈 시스템으로 삽입되는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 렌즈 시스템 조리개 멈춤쇠(aperture stop)로 삽입되는, 시스템.
제 1 항에 있어서,
상기 렌즈 시스템은,
하나의 렌즈를 포함하고,
상기 스펙트럼 부호화된 조리개는, 상기 렌즈에 위치하는, 시스템.
제 17 항에 있어서,
상기 스펙트럼 부호화된 조리개는,
상기 센서로부터 획득된 영상 비디오 시퀀스의 이전 비디오 영상에 관하여 보정되는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는,
불투명한 영역과 합동인 영역의 조합으로 구성되고,
상기 합동인 영역은 투명하거나 자외선, 적외선 또는 다른 가시광선을 통과시킬 수 있는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는, 불투명한 영역과 합동이 아닌 영역의 조합으로 구성되고,
상기 합동이 아닌 영역은 투명하거나 자외선, 적외선 또는 다른 가시광선을 통과시킬 수 있는, 시스템.
제 1 항에 있어서,
상기 스펙트럼 부호화된 조리개는 SLM(Spatial Light Modulator)인, 시스템.
영상 획득 및 깊이 추출하는 방법에 있어서,
비디오에서 획득된 영상 내지 영상 시퀀스를 형성하기 위한 라이트 필드의 적어도 두 개의 시프트 된 스펙트럼 채널을 기록하는 단계;
상기 획득된 영상을 처리 기저에서 영상으로 변환하는 단계;
상기 처리 기저에서 스펙트럼 채널의 화소간 상관관계에 기반한 변이 추정하는 단계;
상기 추출된 변이 맵을 기반으로 상기 획득된 영상을 복원하는 단계; 및
상기 변이 맵을 깊이 맵으로 변환하는 단계;
를 포함하는 방법.
제 24 항에 있어서,
상기 변이 추정하는 단계는,
스펙트럼 채널에서 각각의 시프트를 가진 후보 영상들을 생성하는 단계;
스펙트럼 채널에서 상기 후보 영상들에 관한 매칭 비용(matching cost)을 계산하는 단계;
로우 텍스쳐(low textured) 영역에 관한 매칭 비용을 누적시키는(propagating) 단계; 및
부화소 정확도를 가진 매칭 비용을 추정하는 단계;
를 포함하는, 방법.
제 24 항에 있어서,
상기 변이 추정을 요청하기 위한 스펙트럼 채널의 화소간 상관관계는,
희소(sparse) 무빙 윈도우에서 계산되는 연관 함수(correlation metric)를 포함하는, 방법.
제 24 항에 있어서,
상기 변이 추정을 요청하기 위한 스펙트럼 채널의 화소간 상관관계는,
적어도 하나의 스테레오 매칭 알고리듬을 이용하여 계산하는 단계를 포함하는, 방법.
제 27 항에 있어서,
상기 스테레오 매칭 알고리듬을 이용하여 계산하는 단계는,
SAD(Sum of Absolute Differences), NCC(Normalized Cross Correlation) 또는 LIC(Laplacian Image Contrast)를 포함하는, 방법.
제 26 항에 있어서,
상기 연관 함수는,
FFT(Fast Fourier Transform)를 포함하는, 방법.
제 26 항에 있어서,
상기 연관 함수는,
REF(Recursive Exponential Filter)를 포함하는, 방법.
제 24 항에 있어서,
상기 획득된 영상을 복원하는 단계는,
영상 블러링 단계를 포함하는, 방법.
제 24 항에 있어서,
상기 획득된 영상을 복원하는 단계는,
상기 처리 기저에서 스펙트럼 채널 정열(alignment)하는 단계를 포함하는, 방법.
자외선, 적외선 또는 가시광선에서의 영상 획득 및 깊이 추출을 위한 카메라 모듈을 가지는 모바일 디바이스에 있어서,
이미징부는,
렌즈 시스템;
서로 다른 스펙트럼 대역폭을 가지는 일련의 적어도 두 개의 영역을 포함하는 적어도 하나의 스펙트럼 부호화된 조리개;
센서 기저에서 획득된 영상을 형성하기 위하여 라이트 필드의 스펙트럼 채널을 적어도 두 개 기록하기 위한 센서; 및
렌즈 시스템과 상대적으로 적어도 하나의 스펙트럼 부호화된 조리개를 이동하기 위한 부호화된 조리개 장치(fixture)를 포함하는 것을 특징으로 하고,
정보처리부는,
상기 센서 기저에서 획득된 영상을 처리 기저에서의 영상으로 변환하기 위한 전처리부;
상기 처리 기저에서의 영상으로부터 변이를 추출하기 위한 변이 추정부;
영상 복원부; 및
변이를 깊이로 변환하기 위한 변환부;
를 포함하는 것을 특징으로 하는, 모바일 디바이스.
제 33 항에 있어서,
상기 부호화된 조리개 장치는,
옵티칼 트레인(optical train)에서 적어도 두 개의 스펙트럼 부호화된 조리개의 각각을 대신하도록 구성되는, 모바일 디바이스.
제 33 항에 있어서,
상기 부호화된 조리개 장치는,
옵티칼 트레인으로부터 모든 스펙트럼 부호화된 조리개를 이동시키도록 구성되는, 모바일 디바이스.
제 33 항에 있어서,
상기 부호화된 조리개 장치는,
이미징부의 조리개 멈춤쇠(aperture stop)로 삽입되는, 모바일 디바이스.
제 33 항에 있어서,
상기 스펙트럼 부호화된 조리개 장치는,
불투명한 영역과 합동인 영역의 조합으로 구성되고,
상기 합동인 영역은 투명하거나 자외선, 적외선 또는 다른 가시광선을 통과시킬 수 있는, 모바일 디바이스.
제 33 항에 있어서,
상기 스펙트럼 부호화된 조리개는,
불투명한 영역과 합동이 아닌 영역의 조합으로 구성되고,
상기 합동이 아닌 영역은 투명하거나 자외선, 적외선 또는 다른 가시광선을 통과시킬 수 있는, 모바일 디바이스.
제 33 항에 있어서,
상기 스펙트럼 부호화된 조리개는,
SLM(spatial light modulator)인, 모바일 디바이스.
자외선, 적외선 또는 가시광선 스펙트럼에서 영상 획득 및 깊이 추출을 휘한 이미징 시스템에 있어서,
이미징부는
렌즈 시스템;
서로 다른 스펙트럼 대역폭을 가지는 일련의 적어도 두 개의 영역을 포함하는 적어도 하나의 스펙트럼 부호화된 조리개; 및
센서 기저에서 획득된 영상을 형성하기 위하여 라이트 필드의 스펙트럼 채널을 적어도 두 개 기록하기 위한 센서;
를 포함하는 것을 특징으로 하고
정보처리부는,
상기 센서 기저에서 획득된 영상을 처리 기저에서의 영상으로 변환하기 위한 전처리부;
상기 처리 기저에서의 영상으로부터 변이를 추출하기 위한 변이 추정부; 및
변이를 깊이로 변환하기 위한 변환부;
를 포함하는 것을 특징으로 하는, 시스템.