KR20160120533A - 라이트 필드 영상에서 객체 분할방법 - Google Patents

Abstract

라이트 필드 영상에서 객체 분할방법이 개시된다. 본 발명의 일 면에 따른 라이트 필드 영상에서 객체 분할방법은, 상이한 시점의 영상정보를 포함하는 라이트 필드 영상을 획득하는 단계; 상기 라이트 필드 영상으로부터 제1 시점에 해당하는 재초점 영상을 획득하는 단계; 상기 재초점 영상에서 전경과 배경을 분리하는 단계; 및 상기 재초점 영상에서 전경과 배경을 분리한 결과를 상기 라이트 필드 영상에 반영하는 단계를 포함한다.

Description

라이트 필드 영상에서 객체 분할방법{IMAGE SEMENTATION METHOD IN LIGHT FIELD IMAGE}

본 발명은 라이트 필드 영상에서 객체 분할방법에 관한 것으로서, 보다 상세하게는 라이트 필드 영상으로부터 획득한 2차원의 재초점 영상에서의 객체 분할 결과를 라이트 필드 영상에 반영하는 객체 분할방법에 관한 것이다.

깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 다양한 3차원 영상 획득 장치가 연구되고 있다.

3차원 영상 획득 장치에서 물체까지의 거리 정보를 얻는 방법으로는 크게 능동(active) 방식과 수동(passive) 방식으로 나눌 수 있다. 능동 방식은, 예를 들어, 물체에 빛을 조사하고 물체로부터 반사되어 돌아온 빛을 감지하여 빛의 이동 시간을 알아내는 광시간비행법(Time-of-Flight; TOF)과 센서로부터 일정 거리에 있는 다수의 광원에 의해 조사되고 물체로부터 반사된 빛의 위치를 감지하여 거리를 계산하는 삼각 측량법(triangulation)이 대표적이다. 또한, 수동 방식으로는, 예를 들어, 빛을 조사하지 않고 2대 이상의 카메라로 촬영한 영상 정보만 을 이용하여 물체까지의 거리를 계산하는 스테레오 카메라 방식이 대표적이다. 그런데, 능동 방식은 빛을 물체에 조사하기 위한 별도의 광원과 광학계가 필요하고 스테레오 카메라 방식은 정확한 거리 정보를 얻기가 어렵다.

최근에는, 별도의 광원과 광학계를 사용하지 않으면서 정확한 거리 정보를 얻기 위하여 라이트 필드 영상 획득 방식이 제안되고 있다. 라이트 필드 영상 획득 방식은 다수의 마이크로 렌즈들을 이용하여 많은 시점의 영상들을 한꺼번에 취득한 후에, 각각의 영상들을 분석하여 깊이 정보를 추출하는 방식이다.

예를 들어, 마이크로 렌즈 어레이 내의 다수의 마이크로 렌즈들은 그 상대적인 위치에 따라 조금씩 서로 다른 시점들을 가지므로, 각각의 마이크로 렌즈들로부터 얻은 다수의 영상들은 서로 다른 깊이감을 가질 수 있다.

이렇게 획득된 영상을 기존 카메라와 같이 (x,y)평면에 방향성을 갖는 (u,v)정보를 포함하여 4D영상이라고 부른다. 따라서, 획득한 영상에서의 시점이동이 광학적으로 계산되고, 초점을 촬영 후에 맞출 수 있고, 다양한 위치에 초점을 맞출 수 있는 재초점 기능도 제공한다.

한편, 객체분할은 영상 내 객체들을 의미가 있는 여러 영역으로 나누는 과정이다. 일반적으로 영상분할의 결과는 영상의 모든 픽셀에 어떤 라벨을 붙이고, 동일한 라벨을 갖는 것은 동일한 의미를 가진 영역임을 뜻한다. 객체분할은 영상분석과 패턴인식의 다양한 분야, 특히 물체 인식 및 트래킹, 의료영상분석 등에서 많이 사용된다.

특히, 라이트 필드 카메라에서 획득된 영상에서 객체를 분할하는 것은 한 시점에서만 객체를 분할 하는 것이 아니라 모든 시점영상에서 분할해야 한다. 이는 사용자의 입력을 많이 필요로 하고, 수행시간도 많이 필요로 할 뿐만 아니라, 모든 시점에서 분할된 객체들간 일관성도 유지해야 한다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 다양한 시점 영상 정보를 포함하고 있는 라이트 필드 영상을 어느 한 시점의 영상으로 재초점한 재초점 영상에서 객체를 분할한 결과를 라이트 필드 영상에 반영하여 객체 분할의 수행속도를 향상시킬 수 있는 라이트 필드 영상에서 객체 분할방법을 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 라이트 필드 영상에서 객체 분할방법은, 상이한 시점의 영상정보를 포함하는 라이트 필드 영상을 획득하는 단계; 상기 라이트 필드 영상으로부터 제1 시점에 해당하는 재초점 영상을 획득하는 단계; 상기 재초점 영상에서 전경과 배경을 분리하는 단계; 및 상기 재초점 영상에서 전경과 배경을 분리한 결과를 상기 라이트 필드 영상에 반영하는 단계를 포함한다.

이상 상술한 바와 같은 본 발명에 따르면, 라이트 필드 영상에서 어느 한 시점의 재초점 영상의 객체 분할 결과를 주변 시점 영상에 반영함으로써, 객체 분할의 일관성을 유지할 수 있다.

또한, 라이트 필드 영상의 모든 시점영상에서 객체분할 알고리즘을 적용할 필요 없이, 재초점 영상에만 객체분할 알고리즘을 적용하면 되기 때문에 객체 분할의 수행속도를 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 라이트 필드 영상에서 객체 분할방법의 흐름도.
도 2는 본 발명의 실시예에 따라 라이트 필드 카메라에서 라이트 필드 영상을 획득하는 과정을 설명하기 위한 개념도.
도 3은 본 발명의 실시예에 따른 마이크로렌즈 어레이와 이미지 센서와의 관계를 설명하기 위한 개념도.
도 4는 본 발명의 실시예에 따른 마이크로렌즈 어레이에서 획득한 재초점 영상과, 상기 재초점 영상에서 객체를 분할한 결과를 설명하기 위한 개념도.
도 5는 본 발명의 실시예에 따른 재초점 영상에서 객체를 분할한 결과를 라이트 필드 영상에 반영하는 과정을 설명하기 위한 개념도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 라이트 필드 영상에서 객체 분할방법의 흐름도이다.

먼저, 라이트 필드 카메라로부터 라이트 필드 영상을 획득한다(S100).

일반적으로, 라이트 필드 카메라는 외부의 피사체로부터 입사하는 광을 포커싱하는 메인 렌즈와, 입사광을 감지하여 영상 신호를 출력하는 다수의 화소들을 구비하는 이미지 센서와, 상기 메인 렌즈와 상기 이미지 센서 사이에 배치되는 것으로, 상기 다수의 화소들과 각각 대응하는 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈 어레이를 포함하여 구성된다.

도 2에는 본 발명의 실시예에 따라 라이트 필드 카메라에서 라이트 필드 영상을 획득하는 과정을 설명하기 위한 개념도가 예시적으로 도시된다.

도 2를 참조하면, 메인 렌즈(미도시)는 이미지 센서(20)를 향해 입사광을 집광시킨다. 메인 렌즈와 이미지 센서(20) 사이의 거리는 메인 렌즈의 초점 거리보다 짧을 수 있다. 즉, 이미지 센서(20)는 메인 렌즈와 상기 메인 렌즈의 초점 사이에 위치할 수 있다.

마이크로 렌즈 어레이(10)는 메인 렌즈에 의해 집광되는 빛을 이미지 센서(20) 상에 포커싱한다. 메인 렌즈를 통해 여러 방향으로 입사되는 빛은 마이크로 렌즈 어레이(10), 보다 상세하게는 마이크로 렌즈 어레이 중 어느 하나의 렌즈를 통과해서 이미지 센서(20)의 여러 개의 셀(cell)에 포커싱된다.

여기서, 마이크로 렌즈 어레이(10)의 다수의 마이크로 렌즈들과 이미지 센서(20)의 다수의 셀(cell)을이 각각 1:1로 대응할 수 있다. 예를 들어, 각각의 화소마다 그에 대응하는 마이크로 렌즈가 하나씩 배치될 수 있다.

다른 예로, 마이크로 렌즈 어레이(10)의 마이크로 렌즈들과 다수의 셀은 n:1의 관계를 가질 수 있다. 이는 하나의 마이크로 렌즈를 중심으로 이미지 센서(20)의 상대적인 셀의 위치에 따라 빛이 들어오는 각도(방향 벡터)를 연산할 수 있다는 것을 의미한다. 빛이 들어오는 각도를 알 수 있으면, 다양한 초점에서의 이미지를 역으로 계산할 수 있게 된다.

이와 같이, 라이트 필드 카메라는 하나의 화소에 대응하는 이미지 센서의 셀을 다수 사용함으로써 전체적인 이미지의 해상도는 낮아지지만, 빛의 벡터 값을 보존하게 되어 다양한 초점의 이미지를 재구성할 수 있게 된다.

도 3에는 본 발명의 실시예에 따른 마이크로렌즈 어레이와 이미지 센서와의 관계를 설명하기 위한 개념도가 예시적으로 도시된다.

도 3에 도시된 바와 같이, 마이크로 렌즈 어레이는 25개의 마이크로 렌즈가 2차원으로 배열되고, 이미지 센서는 6x6으로 36개의 셀이 2차원으로 배열된 것을 가정하자. 어느 하나의 마이크로 렌즈를 통과한 빛은 이미지 센서를 구성하는 다수 개의 셀에 포커싱된다. 도 3에는 제1 마이크로 렌즈를 통과한 빛이 이미지 센서의 모든 셀에 포커싱되는 것이 예시적으로 도시되었으나, 반드시 이에 한정되어 실시되는 것은 아니다.

예컨대, 제1 마이크로 렌즈를 통과한 빛은 이미지 센서의 특정 셀 그룹으로 형성된 제1 영역에 포커싱되어, 이에 해당하는 제1 시점 영상을 생성하고, 제2 마이크로 렌즈를 통과한 빛은 이미지 센서의 다른 셀 그룹으로 형성된 제2 영역에 포커싱되어, 이에 해당하는 제2 시점 영상을 생성할 수도 있다.

전술한 바와 같이 다양한 시점 영상정보를 포함하는 라이트 필드 영상을 획득하면, 상기 라이트 필드 영상으로부터 제1 시점에 해당하는 재초점 영상을 획득하고(S200), 상기 재초점 영상에서 전경과 배경을 분리한다(S300).

도 4에는 본 발명의 실시예에 따른 마이크로렌즈 어레이에서 획득한 재초점 영상과, 상기 재초점 영상에서 객체를 분할한 결과를 설명하기 위한 개념도가 예시적으로 도시된다.

상기 마이크로렌즈 어레이는 통과하는 빛의 위치정보를, 상기 마이크로렌즈 어레이의 마이크로 렌즈를 통과한 빛이 포커싱되는 이미지 센서는 빛의 방향정보를 가지고 있다. 따라서, 제1 시점에 대해 재초점 영상을 획득하면, 빛의 방향정보와 위치정보를 모두 포함하는 컬러 값을 각 화소 별로 획득하게 된다.

도 4의 좌측에는 제1 시점의 빛의 위치에서 각 화소 별로 방향정보를 갖는 재초점 영상이 예시적으로 도시되고, 우측에는 상기 재초점 영상에서 전경과 배경을 분리한 결과가 예시적으로 도시된다. 여기서, 전경으로 분할된 부분은 녹색으로 표시되고, 배경으로 분할된 부분은 흰색으로 표시된다.

단계 S200에서 획득되는 재초점 영상은 일반적인 컬러 카메라에서 획득할 수 있는 이차원 영상에 빛의 위치정보와 방향정보가 포함된 것이다. 객체분할은 위치정보에 따라서 전경과 배경이 분할되는 것이기 때문에 이차원 영상에 적용할 수 있는 영상분할 알고리즘을 적용하여 전경과 배경을 분할할 수 있으며, 이때 그래프 컷, 레벨 셋, 활성외곡선 모델, 워터쉐드, 영상임계값, 영역확장법 등과 같은 다양한 알고리즘이 적용될 수 있다.

이어, 단계 S200 및 단계 S300을 통해 제1 시점에 대한 재초점 영상에서 전경과 배경을 분할한 결과를 라이트필드 영상에 반영하여 4차원 영상에 대한 객체분할을 수행한다(S400).

도 5에는 본 발명의 실시예에 따른 재초점 영상에서 객체를 분할한 결과를 라이트 필드 영상에 반영하는 과정을 설명하기 위한 개념도가 예시적으로 도시된다.

도 5를 참조하면, 재초점 영상의 전경객체에 해당하는 제1 영역(1)이 6x6 이미지 센서의 모든 셀에 포커싱되고, 배경객체에 해당하는 제2 영역(5)이 6x6 이미지 센서의 모든 셀에 포커싱된다.

이상 상술한 바와 같은 본 발명에 따르면, 라이트 필드 영상에서 어느 한 시점의 재초점 영상의 객체 분할 결과를 주변 시점 영상에 반영함으로써, 객체 분할의 일관성을 유지할 수 있다.

또한, 라이트 필드 영상의 모든 시점영상에서 객체분할 알고리즘을 적용할 필요 없이, 재초점 영상에만 객체분할 알고리즘을 적용하면 되기 때문에 객체 분할의 수행속도를 향상시킬 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (1)

1. 상이한 시점의 영상정보를 포함하는 라이트 필드 영상을 획득하는 단계;
   상기 라이트 필드 영상으로부터 제1 시점에 해당하는 재초점 영상을 획득하는 단계;
   상기 재초점 영상에서 전경과 배경을 분리하는 단계; 및
   상기 재초점 영상에서 전경과 배경을 분리한 결과를 상기 라이트 필드 영상에 반영하는 단계
   를 포함하는 라이트 필드 영상에서 객체 분할방법.

Images