KR20160034513A - Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법 - Google Patents

Abstract

RGB-D 영상을 이용한 실감형 증강현실 구현 장치 및 방법이 개시된다. RGB-D 영상을 이용한 실감형 증강현실 구현 장치는 컬러 영상 및 깊이 영상을 입력받는 입력부, 컬러 영상 및 깊이 영상의 합성 영상을 생성하는 합성영상 생성부, 합성 영상에서 공간 및 객체를 인식하는 객체 인식부, 인식한 객체의 3차원 객체 정보를 추출하는 객체정보 추출부 및 3차원 객체 정보 및 컬러 영상을 이용하여 객체가 사라지거나 변형된 증강 영상을 생성하고 출력하는 증강영상 생성부를 포함한다.

Description

RGB-D 영상을 이용한 실감형 증강현실 구현 장치 및 방법{Apparatus and method for implementing immersive augmented reality with RGB-D data}

본 발명은 RGB-D 영상을 이용한 실감형 증강현실 구현 장치 및 방법에 관한 것이다.

증강현실 기술은 카메라로부터 들어오는 영상에서 정의된 마커나 학습된 자연 영상 정보를 추출하여 증강할 물체의 위치와 자세를 추정하고, 이를 이용해 3차원의 가상 콘텐츠, 그림, 동영상 등의 멀티미디어 콘텐츠를 덧입혀 보여주는 기술이다. 종래의 증강현실 기술은 인식한 위치와 자세 정보를 이용하여 실사 영상에 미리 만들어진 가상 콘텐츠를 정합하여 보여준다. 이는 실제 현실의 영상에 가상의 콘텐츠를 덧입히기 때문에, 사용자로 하여금 혼합 현실의 이질감을 느끼게 하여 몰입도를 떨어드리는 문제점이 있으며, 더불어, 현재 출시되는 증강현실 서비스는 증강현실 서비스마다 실제 물체에 증강할 가상 콘텐츠를 제작해야 하기 때문에 많은 비용이 소모되는 문제점이 있다.

본 발명은 가상의 콘텐츠가 아닌, 촬영된 영상에서 인식한 실제 물체를 변형한 영상을 증강하여 물체가 없어지거나 변형되는 영상을 생성하는 RGB-D 영상을 이용한 실감형 증강현실 구현 장치 및 방법을 제안하는 것이다.

본 발명의 일 측면에 따르면, RGB-D 영상을 이용한 실감형 증강현실 구현 장치가 개시된다.

본 발명의 실시예에 따른 RGB-D 영상을 이용한 실감형 증강현실 구현 장치는 컬러 영상 및 깊이 영상을 입력받는 입력부, 상기 컬러 영상 및 상기 깊이 영상의 합성 영상을 생성하는 합성영상 생성부, 상기 합성 영상에서 공간 및 객체를 인식하는 객체 인식부, 상기 인식한 객체의 3차원 객체 정보를 추출하는 객체정보 추출부 및 상기 3차원 객체 정보 및 상기 컬러 영상을 이용하여 상기 객체가 사라지거나 변형된 증강 영상을 생성하고 출력하는 증강영상 생성부를 포함한다.

본 발명은 가상의 콘텐츠가 아닌, 촬영된 영상에서 인식한 실제 물체를 변형한 영상을 증강함으로써, 실제로 사용자가 보는 영상과 증강현실 영상 사이의 이질감을 없애고, 사용자가 실제 환경에 알맞게 변화된 증강현실을 체험하게 할 수 있으며, 가상 콘텐츠 제작이 필요치 않아 비용을 줄일 수 있다.

도 1은 증강현실 구현 장치에서 RGB-D 영상을 이용한 실감형 증강현실 구현 방법을 나타낸 흐름도.
도 2 내지 도 5는 도 1의 각 단계를 구체적으로 나타낸 흐름도.
도 6은 RGB-D 영상을 이용한 실감형 증강현실 구현 장치의 구성을 개략적으로 예시한 도면.
도 7은 합성 영상으로부터 공간을 인식하고 영역을 분리한 결과를 예시한 도면.
도 8은 3차원 모델을 재구성하고 컬러맵을 추출한 결과를 예시한 도면.
도 9는 객체 영역의 영상 제거 및 객체 변형 효과를 적용한 결과를 예시한 도면.
도 10은 실사를 변형하여 증강 영상을 생성한 예를 나타낸 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

도 1은 증강현실 구현 장치에서 RGB-D 영상을 이용한 실감형 증강현실 구현 방법을 나타낸 흐름도이고, 도 2 내지 도 5는 도 1의 각 단계를 구체적으로 나타낸 흐름도이다. 이하에서는, RGB-D 영상을 이용한 실감형 증강현실 구현 방법을 도 1을 중심으로 설명하되, 도 2 내지 도 5를 참조하기로 한다.

S100 단계에서, 증강현실 구현 장치는 컬러 영상 및 깊이 영상을 입력받는다. 여기서, 증강현실 구현 장치는 컬러 영상과 깊이 영상을 획득하는 장치를 구비할 수 있다. 예를 들어, 증강현실 구현 장치는 키넥트(Kinect) 장치와 같은 RGB-D 영상 입력 장치를 이용하여 컬러 영상 및 깊이 영상을 획득할 수 있다.

S200 단계에서, 증강현실 구현 장치는 입력된 컬러 영상과 깊이 영상의 합성 영상을 생성한다. 이에 대하여 이하에서 도 2를 참조하여 설명한다.

S210 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 동기화 여부를 판단한다.

S220 단계에서, 증강현실 구현 장치는 동기화되지 않은 경우, 컬러 영상과 깊이 영상을 동기화한다. 예를 들어, 증강현실 구현 장치는 컬러 영상과 깊이 영상에 시간차가 있는 경우, 느리게 입력되는 영상에 동기화를 맞추어 준다. 키넥트 장치의 경우, 컬러 영상이 느리게 입력될 수 있다.

S230 단계에서, 증강현실 구현 장치는 깊이 영상의 노이즈를 제거하고, 해상도를 보정한다. 예를 들어, 증강현실 구현 장치는 입력된 깊이 영상에 포함된 노이즈를 Bilateral filter, Median filter 등을 이용하여 제거할 수 있다. 또한, 증강현실 구현 장치는 컬러 영상에 비하여 낮은 깊이 영상의 해상도를 Markov Random Field나 Spatiotemporal filter, 에지를 보존하는 Bilateral filter 등을 이용한 upsampling 방법을 통해 높여줄 수 있다.

S240 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 픽셀을 매핑하여 합성 영상을 생성한다. 예를 들어, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 해상도가 동일해지면, 카메라 파라미터간의 호모그래피를 이용하여 컬러 영상과 깊이 영상의 픽셀을 매핑할 수 있다.

다시, 도 1을 참조하면, S300 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 합성 영상에서 공간 및 객체를 인식한다. 이에 대하여 이하에서 도 3을 참조하여 설명한다.

S310 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 합성 영상에서 선분을 검출한다. 예를 들어, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 합성 영상에서 3D Hough transform, Canny edge detector 등의 방법을 이용하여 선분을 검출할 수 있다.

S320 단계에서, 증강현실 구현 장치는 추출한 선분을 이용하여 합성 영상에서의 공간 정보를 인식한다. 예를 들어, 증강현실 구현 장치는 추출한 선분을 이용하여 합성 영상에서 소실점 후보를 찾고, 평면들의 방향 정보, 위치 정보 등을 종합하여 벽면, 바닥, 천장 등과 같은 공간의 정보를 인식할 수 있다.

S330 단계에서, 증강현실 구현 장치는 합성 영상에서 각 객체의 영역을 분리한다. 예를 들어, 증강현실 구현 장치는 합성 영상의 각 픽셀간 컬러 및 깊이값 차이를 이용하여 물체의 영역을 분리할 수 있으며, 이때, 분리한 각 영역을 바닥과 벽면에 평행한 직육면체로 표현하여 영역의 위치와 회전값을 계산할 수 있다. 영역 분리 알고리즘은 Graph-based algorithm, Conditional random field model 등의 세그멘테이션 알고리즘이 사용될 수 있다.

예를 들어, 도 7은 합성 영상으로부터 공간을 인식하고 영역을 분리한 결과를 예시한 도면이다. 도 7에 도시된 바와 같이, 증강현실 구현 장치는 벽면 및 바닥의 정보를 인식하고, 객체의 영역을 직육면체로 분리할 수 있다.

S340 단계에서, 증강현실 구현 장치는 객체 인식을 위하여, 분리한 각 영역에서 특징점을 추출한다. 예를 들어, 증강현실 구현 장치는 특징점 추출을 위하여 RGB-SIFT(Scale-invariant feature transform), Depth-SIFT 등의 알고리즘을 이용할 수 있다.

S350 단계에서, 증강현실 구현 장치는 각 영역의 특징점과 공간 상에서의 위치 정보를 이용하여 영역이 나타내는 객체를 인식한다. 예를 들어, 증강현실 구현 장치는 Constrained parametric min-cut 알고리즘과 Joint boost 알고리즘과 같은 다중분류 알고리즘을 이용하여 객체를 인식할 수 있다.

S360 단계에서, 증강현실 구현 장치는 인식한 객체를 등록한다. 예를 들어, 증강현실 구현 장치는 인식한 객체가 새롭게 인식된 객체인 경우, 객체 추적 및 실사의 3차원 정보 추출을 위하여 객체 데이터베이스에 새롭게 인식한 객체를 등록할 수 있다. 만약, 영역의 객체 인식이 실패하는 경우, 해당 영역은 이후 프로세스에 사용되지 않는다.

다시, 도 1을 참조하면, S400 단계에서, 증강현실 구현 장치는 인식한 객체의 3차원 객체 정보를 추출한다. 이에 대하여 이하에서 도 4를 참조하여 설명한다.

S410 단계에서, 증강현실 구현 장치는 인식한 객체 영역의 깊이 영상을 이용하여 3차원 포인트 클라우드(3D point cloud)를 생성한다.

S420 단계에서, 증강현실 구현 장치는 생성한 3차원 포인트 클라우드를 이용하여 자세 변화를 추정한다. 예를 들어, 증강현실 구현 장치는 이전 프레임에 대한 해당 객체의 3차원 포인트 클라우드와의 자세 변화를 Iterative closest points 알고리즘을 이용하여 추정할 수 있다.

S430 단계에서, 증강현실 구현 장치는 생성한 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성한다. 예를 들어, 증강현실 구현 장치는 3차원 포인트 클라우드를 Truncated signed distance function과 같은 객체 표면 표현 방식으로 변환한 후 Raycasting을 통하여 3차원 모델을 재구성할 수 있다.

S440 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 매핑을 이용하여, 재구성한 3차원 모델의 컬러맵을 추출한다.

예를 들어, 도 8은 3차원 모델을 재구성하고 컬러맵을 추출한 결과를 예시한 도면이다. 도 8에 도시된 바와 같이, 증강현실 구현 장치는 실제 객체의 3차원 모델을 재구성하고, 재구성한 3차원 모델의 실사와 같은 컬러맵을 추출할 수 있다.

S450 단계에서, 증강현실 구현 장치는 기존에 추출된 3차원 모델 및 컬러맵이 존재하는지 여부를 판단한다.

S460 단계에서, 증강현실 구현 장치는 기존에 추출된 3차원 모델 및 컬러맵이 존재하는 경우, 기존 및 새롭게 추출된 3차원 모델 및 컬러맵을 합성한다. 예를 들어, 증강현실 구현 장치는 이전 모델 및 컬러맵과의 가중치합을 통하여 합성할 수 있다.

S470 단계에서, 증강현실 구현 장치는 컬러맵을 보정한다. 예를 들어, 증강현실 구현 장치는 노이즈에서 비롯된 오류를 제거하고, Photometric consistency를 최대화하는 Color map optimization을 통하여 컬러맵을 실사와 같게 보정할 수 있다.

다시, 도 1을 참조하면, S500 단계에서, 증강현실 구현 장치는 입력된 영상 및 추출한 3차원 객체 정보를 이용하여 증강 영상을 생성하고 출력한다. 이에 대하여 이하에서 도 5를 참조하여 설명한다.

S510 단계에서, 증강현실 구현 장치는 입력된 컬러 영상에서 선택된 객체의 영역의 영상을 제거한다.

S520 단계에서, 증강현실 구현 장치는 제거된 부분의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 추정한 배경 영상으로 제거된 부분을 채워준다. 예를 들어, 증강현실 구현 장치는 주변 배경 정보를 사용하는 Example-based texture synthesis, 이미지 데이터베이스를 사용하는 Image-based scene completion와 같은 영상 완성 알고리즘을 이용하여 배경 영상을 추정하고, 자연스러운 합성을 위하여 Poisson blending과 같은 방법을 이용하여 접합 부위를 매끄럽게 처리할 수 있다.

S530 단계에서, 증강현실 구현 장치는 증강 영상에 객체가 나타나는 효과가 적용되는지 여부를 판단한다.

S540 단계에서, 증강현실 구현 장치는 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 배경 영상이 채워진 영상에 변형 객체를 합성한다. 예를 들어, 증강현실 구현 장치는 배경 영상이 자연스럽게 채워진 부분 위에 크기, 모양, 재질, 위치, 자세 등의 변화가 가해진 물체의 영상을 실사로 렌더링하여 합성할 수 있다.

S550 단계에서, 증강현실 구현 장치는 객체가 사라지거나 변형된 증강 영상을 출력한다. 예를 들어, 증강현실 구현 장치는 증강 영상을 TV나 모니터, 태블릿, 대형 스크린 등의 영상 출력장치를 통하여 출력할 수 있다.

예를 들어, 도 9는 객체 영역의 영상 제거 및 객체 변형 효과를 적용한 결과를 예시한 도면이다. 도 9에 도시된 바와 같이, 증강현실 구현 장치는 객체가 사라지거나 변형된 증강 영상을 생성할 수 있다.

예를 들어, 도 10은 실사를 변형하여 증강 영상을 생성한 예를 나타낸 도면이다. 도 10에 도시된 바와 같이, 증강현실 구현 장치는 촬영된 영상에서 인식한 실제 물체를 변형한 영상을 증강하여 물체가 없어지거나 변형되는 영상을 생성할 수 있다.

도 6은 RGB-D 영상을 이용한 실감형 증강현실 구현 장치의 구성을 개략적으로 예시한 도면이다.

도 6을 참조하면, 증강현실 구현 장치는 영상 입력부(10), 합성영상 생성부(20), 객체 인식부(30), 객체정보 추출부(40) 및 증강영상 생성부(50)를 포함한다.

영상 입력부(10)는 컬러 영상 및 깊이 영상을 입력받는다. 예를 들어, 영상 입력부(10)는 컬러 영상과 깊이 영상을 획득하는 장치로, 키넥트(Kinect) 장치와 같은 RGB-D 영상 입력 장치를 구비할 수 있다.

합성영상 생성부(20)는 입력된 컬러 영상과 깊이 영상의 합성 영상을 생성한다. 예를 들어, 합성영상 생성부(20)는 컬러 영상과 깊이 영상을 동기화하고, 깊이 영상의 노이즈를 제거하고, 해상도를 보정한 후, 컬러 영상과 깊이 영상의 픽셀을 매핑하여 합성 영상을 생성할 수 있다.

객체 인식부(30)는 컬러 영상과 깊이 영상의 합성 영상에서 공간 및 객체를 인식한다. 예를 들어, 객체 인식부(30)는 선분 추출을 통해 합성 영상에서 공간을 인식하고, 분리한 객체에서 추출된 특징점을 이용하여 객체를 인식할 수 있다.

객체정보 추출부(40)는 인식한 객체의 3차원 객체 정보를 추출한다. 예를 들어, 객체정보 추출부(40)는 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성하고, 컬러 영상과 깊이 영상의 매핑을 이용하여, 재구성한 3차원 모델의 컬러맵을 추출할 수 있다.

증강영상 생성부(50)는 입력된 영상 및 추출한 3차원 객체 정보를 이용하여 증강 영상을 생성하고 출력한다. 예를 들어, 증강영상 생성부(50)는 입력된 컬러 영상에서 선택된 객체의 영역의 영상을 제거하고, 제거된 부분의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 추정한 배경 영상으로 제거된 부분을 채워 증강 영상을 생성하거나, 배경 영상이 채워진 영상에 변형 객체를 합성하여 증강 영상을 생성할 수 있다.

예를 들어, 증강영상 생성부(50)는 TV나 모니터, 태블릿, 대형 스크린 등과 같은 영상 출력장치를 구비할 수 있다.

한편, 본 발명의 실시예에 따른 증강현실 구현 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 영상 입력부
20: 합성영상 생성부
30: 객체 인식부
40: 객체정보 추출부
50: 증강영상 생성부

Claims (1)

1. 컬러 영상 및 깊이 영상을 입력받는 입력부;
   상기 컬러 영상 및 상기 깊이 영상의 합성 영상을 생성하는 합성영상 생성부;
   상기 합성 영상에서 공간 및 객체를 인식하는 객체 인식부;
   상기 인식한 객체의 3차원 객체 정보를 추출하는 객체정보 추출부; 및
   상기 3차원 객체 정보 및 상기 컬러 영상을 이용하여 상기 객체가 사라지거나 변형된 증강 영상을 생성하고 출력하는 증강영상 생성부를 포함하는 RGB-D 영상을 이용한 실감형 증강현실 구현 장치.
   
   
   

Images