KR20180066479A - 플렌옵틱 재초점을 이용한 자동 객체 분리 방법 및 장치 - Google Patents

Abstract

플렌옵틱 영상에서 사용자가 원하는 객체를 자동으로 분리하는 방법이 개시된다. 자동 객체 분리 방법은, 플렌옵틱(Plenoptic) 영상에서 다중초점 영상 스택을 생성하는 단계, 사용자 입력이나 미리 저장된 설정에 따라 원하는 위치로 초점을 조정하는 단계, 플렌옵틱 영상에서 깊이정보를 계산하는 단계, 다중초점영상 스택의 각 초점영상과 깊이정보 간 대응테이블을 생성하는 단계, 다중초점영상 스택에서 상기 조정된 초점에 대응하는 제1 초점영상을 획득하는 단계, 대응테이블에 기초하여 제1 초점영상의 전경과 배경영역을 구분하는 단계, 및 미리 설정된 사이즈로 제1 초점영상을 분할하는 단계를 포함한다.

Description

플렌옵틱 재초점을 이용한 자동 객체 분리 방법 및 장치{AUTOMATIC OBJECT SEPARATION METHOD AND APPARATUS USING PLENOPTIC REFOCUS}

본 발명은 플렌옵틱 영상에서 사용자가 원하는 객체를 자동으로 분리하는 방법 및 장치에 관한 것이다.

객체분할은 영상에서 사용자가 원하는 객체를 분리하는 작업이다. 일반적으로 영상분할의 결과는 각 픽셀을 전경인지 배경인지로 구분한다. 그리고 전경과 배경을 좀더 정확하게 분할하기 위해 사용자가 손으로 전경과 배경을 대략적으로 표시해주는 작업이 필요하다. 대략적이라는 것이 애매한 것이어서 사용자가 좀더 정확하게 표시해주면, 분할결과도 좋아지고, 덜 정확하게 표시해주면, 분할결과가 나빠진다. 그래서 사용자의 표시 없이 자동으로 분할하는 기술들도 있는데, 결과가 좋지 않다.

기존 카메라로부터 획득된 영상은 한 개의 시점에 대한 영상이지만, 플렌옵틱 카메라로부터 획득된 플렌옵틱 영상은 한 지점에 대한 다양한 방향에 대한 빛을 획득하여, 결국 다양한 시점에서의 영상을 획득할 수 있다. 플렌옵틱 영상은 시점이동이 광학적으로 계산되고, 다양한 위치에서 초점을 맞출 수 있는 재초점 기능도 제공한다. 또한, 다시점 영상을 통하여 깊이정보도 획득할 수 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 플렌옵틱 카메라로부터 획득된 플렌옵틱 영상에서 다중시점 영상과 다중초점 영상 및 깊이정보를 이용하여 사용자가 원하는 객체를 자동으로 분할하는 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 자동 객체 분리 방법은, 플렌옵틱(Plenoptic) 영상에서 다중초점 영상 스택을 생성하는 단계, 사용자 입력이나 미리 저장된 설정에 따라 원하는 위치로 초점을 조정하는 단계, 플렌옵틱 영상에서 깊이정보를 계산하는 단계, 다중초점영상 스택의 각 초점영상과 깊이정보 간 대응테이블을 생성하는 단계, 다중초점영상 스택에서 상기 조정된 초점에 대응하는 제1 초점영상을 획득하는 단계, 대응테이블에 기초하여 제1 초점영상의 전경과 배경영역을 구분하는 단계, 및 미리 설정된 사이즈로 제1 초점영상을 분할하는 단계를 포함한다.

여기서, 대응테이블을 생성하는 단계는, 다중초점영상 스택과 초점영상-깊이 테이블에 기초하여 깊이 척도 변환을 수행하고, 깊이 척도 변환을 수행한 후 초점영상-깊이 테이블을 계산할 수 있다.

여기서, 전경과 배경영역을 구분하는 단계는 제1 초점영상에 해당하는 깊이값과 깊이영상에서 깊이값이 동일한 픽셀을 전경으로, 깊이값 차이가 많이 나는 픽셀을 배경영역으로 구분할 수 있다.

여기서, 분할하는 단계는 전경 배경 마스크 영상을 이용하여 제1 초점영상을 미리 정해진 사이즈로 분할한 최종 분할결과 영상을 생성할 수 있다.

여기서, 구분하는 단계는 픽셀단위로 전경과 배경영역을 구분할 수 있다.

상기와 같은 본 발명에 따른 플렌옵틱 재초점을 이용한 자동 객체 분리 방법 및 장치를 이용하는 경우에는, 플렌옵틱 영상이 가지는 장점을 모두 이용하여 사용자의 개입 없이 자동으로 객체를 분할할 수 있다.

또한, 본 발명에 의하면, 사용자가 초점을 맞춤과 동시에 전경과 배경영역을 구분하고, 이를 기반으로 자동으로 사용자가 원하는 객체를 분리할 수 있다.

또한, 사용자가 특정 위치에 재초점을 시도하면 그 위치에서의 초점영상을 계산하고, 초점이 맞는 위치를 자동으로 분할할 수 있다.

또한, 본 발명에 의하면, 사용자가 손으로 전경과 배경을 표시하여야 하고 이 표시에 따라서 객체분할 결과에 많은 차이가 나며, 전경과 배경을 잘 표시할수록 분할 결과는 좋아지지만 사용자가 정확히 표시해야 하므로 시간과 노력이 많이 들어가며 전경과 배경을 대략적으로 표시할수록 사용자의 노력은 적게 들어가지만 분할결과가 좋지 않은 종래 기술과 달리, 사용자가 전경과 배경을 표시할 필요가 없이 자동으로 전경과 배경영역을 구분할 수 있는 장점이 있다. 특히, 재초점 기술과 결합하는 방식을 사용함으로써 사용자가 초점을 맞춤과 동시에 실시간 분할이 가능하여 자동 객체 분리에 있어 종래 대비 향상된 정확성과 신속성을 제공할 수 있는 장점이 있다.

도 1은 본 발명의 일실시예에 따른 자동 객체 분할 장치에 대한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 자동 객체 분할 방법에 대한 순서도이다.
도 3은 본 발명의 또 다른 실시예에 따른 자동 객체 분할 방법에 대한 순서도이다.
도 4는 본 실시예에 채용할 수 있는 플렌옵틱 영상으로부터 특정 위치에서의 재초점 영상을 생성하는 과정을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 자동 객체 분할 장치에 대한 블록도이다.

도 1을 참조하면, 본 실시예에 따른 자동 개체 분할 장치(100)는 다중 초점 영상 및 깊이 정보 생성부(10), 전경 배경영역 구분부(20) 및 객체 분할부(30)를 포함한다.

다중 초점 영상 및 깊이 정보 생성부(이하, 간략히 '생성부'라고 한다)(10)는, 플렌옵틱(plenoptic) 카메라에서 물체나 피사체를 촬영한 후 획득할 수 있는 플렌옵틱 영상을 이용하여 다중초점 영상 스택, 깊이영상, 초점영상-깊이 테이블을 생성할 수 있다. 즉, 생성부(10)에서는 최종적으로 초점영상과 깊이간 테이블을 생성한다.

전경 배경영역 구분부(이하, 간략히 '구분부'라고 한다)(20)는, 생성부(10)의 출력단에 연결되며, 사용자가 재초점을 시도하면, 그에 대응되는 초점영상과 초점영상-깊이 테이블을 이용하여 전경과 배경영역을 구분할 수 있다.

객체 분할부(이하, 간략히 '분할부'라고 한다)(30)는, 구분부(20)의 출력단에 연결되며, 전경 배경 마스크 영상을 이용하여 사용자에 의해 선택된 재초점영상을 분할하고 분할결과 영상을 출력할 수 있다.

전술한 생성부(10), 구분부(20) 및 분할부(30)는 메모리 또는 메모리 시스템에 탑재되는 프로그램이나 소프트웨어 모듈 형태를 구비할 수 있다. 또한, 구현에 따라서 생성부(10), 구분부(20) 및 분할부(30)는 메모리 시스템에 연결되어 프로그램이나 소프트웨어 모듈을 실행하는 프로세서에 탑재될 수 있다. 이와 같이, 본 실시예에 따른 자동 개체 분할 장치(100)는 메모리 시스템, 프로세서 또는 이들의 조합을 포함할 수 있다.

메모리는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리를 포함할 수 있다. 메모리는 운영체제, 소프트웨어, 프로그램, 명령어 집합 또는 이들의 조합을 저장할 수 있다.

프로세서는 적어도 하나 이상의 중앙 처리 장치를 포함할 수 있고, 중앙처리장치(CPU)는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다. 코어는 처리할 명령어를 저장하는 레지스터(register), 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU), 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어부(control unit), 내부 버스 등을 구비할 수 있다.

또한, 프로세서는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 데이터 프로세서, 이미지 프로세서 또는 코덱은 별도로 구성될 수도 있다. 또한, 프로세서는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있고, 그 경우 주변장치 인터페이스는 프로세서와 입출력 시스템 및 여러 다른 주변 장치를 연결하는데 이용되고, 메모리 인터페이스는 프로세서와 메모리를 연결하는데 이용될 수 있다.

도 2는 본 발명의 다른 실시예에 따른 자동 객체 분할 방법에 대한 순서도이다.

도 2를 참조하면, 본 실시예에 따른 자동 객체 분할 방법은 다중초점 영상 및 깊이 정보 생성부(10), 전격 배경영역 구분부(20) 및 객체 분할부(30)의 세 가지 기능부들이나 이러한 기능부들에 상응하는 기능을 수행하는 적어도 하나의 구성부를 구비하는 자동 객체 분할 장치 또는 자동 객체 분할 장치에 의해 수행될 수 있다.

먼저, 플렌옵틱 카메라를 이용하여 물체 또는 피사체를 촬영할 수 있다(S11).

플렌옵틱 카메라는 사진을 먼저 찍고 나중에 초점을 조정할 수 있는 기술로서, 무한초점 렌즈를 N×M(여기서, N, M은 2 이상의 자연수) 격자로 배치하여 동시에 N×M 개수의 사진을 찍고, 조금씩 다른 각도에서 피사체를 촬영한 영상들을 이용하여 사용자가 원하는 초점이나 심도를 표현하는 사진을 합성해 내는 카메라를 말한다.

다음, 플렌옵틱 카메라에서 획득한 플렌옵틱 영상(S12)을 이용하여 다중초점영상 스택을 생성한다(S14).

다음, 플렌옵틱 카메라에서 획득한 플렌옵틱 영상(S12)에서 각 영상의 깊이 정보를 계산한다(S16).

다음, 다중초점영상 스택과 깊이정보에 기초하여 초점영상과 깊이정보 간 대응테이블을 생성한다(S18).

다음, 사용자가 원하는 초점영상(이하, '제1 초점영상'이라 한다)을 획득한다(S22)

다음, 초점영상과 깊이정보 간 대응테이블 및 제1 초점영상에 기초하여 다중초점영상의 전경과 배경영역을 구분한다(S24).

다음, 제1 초점영상에 기초하여 전경과 배경영역이 구분된 다중초점영상에서 초점영상을 분할한다(S32).

다음, 분할된 초점영상을 포함하는 분할 결과 영상을 출력할 수 있다(S34).

위에서 설명한 바와 같이, 구분부(20)에서는 사용자의 전경 배경 표시 없이 자동으로 전경과 배경을 구분해주는 기능을 수행할 수 있다. 즉, 우선 사용자가 플렌옵틱 카메라로 촬영 후, 원하는 위치에 초점을 맞추게 된다. 이때, 생성부(10)에서 만들어진 다중초점 영상 스택에서 사용자 입력에 따라 초점영상 1개를 찾게 된다. 이렇게 선택된 초점영상과 생성부(10)에서 생성된 초점영상-깊이 테이블을 이용하여 전경과 배경영역을 구분할 수 있다. 초점영상에 해당하는 깊이값과 깊이영상에서 깊이값이 동일한 픽셀이 전경을, 깊이값 차이가 많이 나는 픽셀이 배경영역이 된다.

분할부(30)에서는 구분부(20)에서 선택된 초점영상과 전경배경 마스크 영상을 이용하여 최종 분할결과 영상을 생성할 수 있다.

도 3은 본 발명의 또 다른 실시예에 따른 자동 객체 분할 방법에 대한 순서도이다.

도 3을 참조하면, 본 실시예에 따른 자동 객체 분할 방법은, 플렌옵틱 영상(S12)으로부터 다중시점영상을 생성(S16a)여 다중시점영상 스택을 생성(S16b)한 후, 깊이영상을 계산(S16c)하여 깊이영상 스택을 생성(S16d)하고, 특정깊이에서의 초점영상을 생성(S13)하여 다중초점영상 스택을 생성(S14)하고, 특정깊이에서의 재초점기술을 통하여 다중초점영상에 대한 초점영상-깊이 테이블을 생성(S15)한 후, 깊이영상을 참조하는 깊이 척도변환 과정(S17)을 수행한 후, 최종적으로 초점영상-깊이 테이블 계산을 수행 혹은 갱신하도록 이루어질 수 있다(S19).

여기서, 플렌옵틱 카메라로 촬영을 하면 플렌옵틱 영상이 자동 획득될 수 있다(S12). 플렌옵틱 영상에 재초점기술을 이용하여 다중초점영상 스택을 생성할 수 있다(S14). 또한, 플렌옵틱 영상을 다중시점으로 변환(S16a, S16b)한 후, 이를 이용하여 깊이영상을 계산할 수 있다(S16c, S16d).

다중초점영상을 생성하기 위하여 특정 깊이를 기준으로 재초점을 수행하면, 특정깊이에서의 초점영상들이 생성(S13)되고, 초점영상-깊이간 테이블이 생성된다(S15). 이때, 계산된 깊이는 깊이영상에 나타난 깊이와 동일한 척도를 가지지 못한다. 깊이영상에서의 깊이는 실제 깊이값이 아니라 디스패리티(disparity)이고, 초점영상-깊이간 테이블의 깊이는 원래 마이크로렌즈 어레이가 놓여있는 초점거리(focal length)를 0으로 놓고, 얼마나 앞뒤로 떨어져 있는지 임의로 조정한 수치이다. 따라서 이 둘 간의 깊이 척도를 맞추는 작업이 필요하다.

위의 단계들 S16a 내지 S16d를 포함하는 일련의 제1 절차(S16A)는 도 2를 참조하여 앞서 설명한 특정 단계(S16)에 대응될 수 있고, 위의 단계들 S15, S17 및 S19를 포함하는 일련의 제2 절차(S18A)는 도 2를 참조하여 앞서 설명한 다른 특정 단계(S18)에 대응될 수 있다.

도 4는 본 실시예에 채용할 수 있는 플렌옵틱 영상으로부터 특정 위치에서의 재초점 영상을 생성하는 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 본 실시예에 따른 자동 객체 분할 장치에서, 도 3에서 설명한 바와 같이 깊이가 다른 3개의 물체(51, 52, 53)에 대해 재초점기술을 이용하여 다중초점영상을 생성하면, 물체1(51)은 초점영상1에서, 물체2(52)는 초점영상2에서, 물체3(53)은 초점영상3에서 각각의 초점이 잘 맞게 된다. 여기서, 초점영상1은 물체1의 깊이와 대응되고, 초점영상2는 물체2의 깊이와 대응되며, 초점영상3은 물체3의 깊이와 대응된다.

따라서, 본 실시예에 따른 자동 객체 분할 장치는 전술한 물체들과 이러한 대응 관계를 나타내는 초점영상-깊이 테이블을 생성할 수 있다. 자동 객체 분할 장치는 무한초점 렌즈(60)를 구비할 수 있다.

전술한 실시예에 의하면, 초점측도를 기반으로 전경과 배경을 분리하지 않고, 깊이정보를 기반으로 전경과 배경을 구분할 수 있다. 또한, 슈퍼픽셀 단위가 아니라 픽셀 단위로 전경과 배경영역을 구분하므로, 슈퍼픽셀의 정확도를 고려할 필요가 없는 장점이 있다. 또한, 분할과정에 사용자가 개입하지 않고, 단지 재초점에 대한 설정이나 입력(자동입력)에 따라 자동으로 초점이 맞는 물체를 분할할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 플렌옵틱(Plenoptic) 영상에서 다중초점 영상 스택을 생성하는 단계;
   사용자 입력이나 미리 저장된 설정에 따라 원하는 위치로 초점을 조정하는 단계;
   상기 플렌옵틱 영상에서 깊이정보를 계산하는 단계;
   상기 다중초점 영상 스택의 각 초점영상과 상기 깊이정보 간 대응테이블을 생성하는 단계;
   상기 다중초점 영상 스택에서 상기 조정된 초점에 대응하는 제1 초점영상을 획득하는 단계;
   상기 대응테이블에 기초하여 상기 제1 초점영상의 전경과 배경영역을 구분하는 단계; 및
   미리 설정된 사이즈로 제1 초점영상을 분할하는 단계를 포함하는, 자동 객체 분리 방법.

Images