KR102515405B1 - Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치 - Google Patents

Abstract

본 발명은 제1 키넷 장치를 이용하여 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하는 단계, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하는 단계, 상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하는 단계, 상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하는 단계를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치를 개시한다.

Description

Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치{Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same}

본 발명은 3D 공간 맵 지원에 관한 것으로서, 더욱 상세하게는 Kinect을 이용하여 AR 콘텐츠로 이용할 수 있는 3D 공간 맵을 제공할 수 있는 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치에 관한 것이다.

가상현실(Virtual Reality: VR) 및 증강현실(Augmented Reality: AR)이 등장한 이후, 스마트폰 애플리케이션을 다양한 관심이 증가하는 가운데, 증강현실과 관련한 기술은 다양한 분야 예컨대, 교육 및 상업적으로 활용되고 있다.

한편, 증강 현실의 경우, 카메라가 촬영한 영상을 이용하여 AR 콘텐츠를 생성하기 때문에, 카메라가 촬영한 영상을 기반으로 정밀한 3D 공간 맵을 구축할 필요가 있다. 그리고 정밀한 3D 공간 맵을 구축하기 위해서는 거리 검출이 가능한 디바이스로 공간 스캔을 진행해야 한다. 현재 이런 정밀한 3D 공간 맵을 구축하기 위해서는, 라이다 센서나 레이저 스캐너 등, 정밀한 거리 검출이 가능한 장치가 필요하다. 그런데 이러한 장치들은 고가에 부피가 크고, 운용을 위해서 전문 지식이 필요하다. 또한, 해당 장비들의 설치와 운용에 있어서, 많은 시간과 노력이 필요하기 때문에, 가벼운 AR 콘텐츠 사용을 위한 일상 공간 지도 작성에는 적합하지 않다.

상술한 문제점을 해결하기 위하여, 본 발명은 AR 콘텐츠용 3D 공간 지도 작성을 위해 2대의 Kinect 장치들을 이용하여 쉽고 빠르게 공간 정보를 추출할 수 있도록 하는 Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치를 제공함에 있다.

한편, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치는 제1 키넷 장치 및 제2 키넷 장치와 연결되는 카메라 인터페이스, 상기 제1 키넷 장치 및 상기 제2 키넷 장치가 전달하는 이미지들을 저장하는 메모리, 상기 카메라 인터페이스 및 상기 메모리와 기능적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 제1 키넷 장치로부터 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하고, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하고, 상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하고, 상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하여 상기 메모리에 저장하도록 설정된 것을 특징으로 한다.

여기서, 상기 프로세서는 상기 공간 정보를 추출하는 과정 중에 상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하고, 상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하고, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하고, 이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하고, 상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하도록 설정된 것을 특징으로 한다.

추가로, 상기 프로세서는 상기 특징점을 추출하는 과정 중에 상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하도록 설정된 것을 특징으로 한다.

또한, 상기 프로세서는 상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하도록 설정될 수 있다.

추가로, 상기 프로세서는 상기 깊이 오차를 검출하는 과정에서 중에 상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하고, 상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하도록 설정된 것을 특징으로 한다.

본 발명의 키넷(Kinect) 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법은, 제1 키넷 장치를 이용하여 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하는 단계, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하는 단계, 상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하는 단계, 상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 공간 정보를 추출하는 단계는 상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하는 단계, 상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하는 단계, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하는 단계, 이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하는 단계, 상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 특징점을 추출하는 단계는 상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하는 단계를 포함하는 것을 특징으로 한다.

추가로, 상기 방법은 상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하는 단계를 더 포함하는 것을 특징으로 한다.

한편, 상기 깊이 오차를 검출하는 단계는 상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하는 단계 및 상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 본 발명은 여러 위치에 대한 깊이 카메라 출력 결과들의 오차들을 최소화 하는 알고리즘을 이용하여 평균 오차를 줄이고 Stereo 카메라의 중앙에 가상의 카메라 위치에서 검출한 깊이 정보처럼 2장의 Depth 이미지를 병합하여 카메라의 정밀 위치 및 그 위치에서의 깊이 정보를 통해 주변 공간에 대한 3D 공간 지도를 작성할 수 있도록 지원한다.

아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.

도 1은 본 발명의 실시 예에 따른 Kinect을 이용한 AR 콘텐츠용 3D 공간 맵 구성 환경의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 키넷 장치들 중 적어도 하나의 키넷 장치의 세부 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 키넷 장치들을 통해 획득되는 이미지들의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 3D 공간 맵 구성을 위한 정보 처리의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출을 설명하는 도면이다.
도 6은 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출에 따른 오차 보정을 설명하는 도면이다.
도 7은 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법의 한 예를 나타낸 도면이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.

이하 설명에서 키넷 장치들은 예컨대, MS Kinect 장치들일 수 있다. MS 키넷 장치들은 RGB 카메라와 Depth 카메라가 합쳐진 형태로 자체 소프트웨어를 통해 두 종류의 카메라를 통해 얻은 정보를 동일한 스케일로 보정한 출력 이미지를 얻을 수 있다. 따라서 본 발명에서는, 2대의 Kinect를 이용하여 이미지 기반의 3D 위치 검출 알고리즘을 이용해 현재 카메라의 정밀 위치를 계산하고 2대의 Depth 카메라를 통해 얻은 깊이 값을 보정하여 해당 위치에서의 정밀 깊이 결과물로 합치는 기술을 제공한다.

이하, 각 도면들을 통하여, 본 발명을 구성하는 시스템과 장치 및 방법 등에 대해서 보다 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 Kinect을 이용한 AR 콘텐츠용 3D 공간 맵 구성 환경의 한 예를 나타낸 도면이다.

도 1을 참조하면, 본 발명의 AR 콘텐츠용 3D 공간 맵 구성 환경(10)은 피사체(11) 및 전자 장치(100)를 포함할 수 있다.

상기 피사체(11)는 상기 전자 장치(100)에 의하여 촬영되고, AR 콘텐츠용으로 사용될 수 있는 물체나 배경, 인물, 동물, 구조물 등 다양한 실물 객체를 포함할 수 있다. 도시된 도면에서 피사체(11)는 의자 형상으로 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 또한, 본 발명의 피사체(11)는 하나의 실물 객체뿐만 아니라 복수개의 실물 객체를 포함할 수 있다.

상기 전자 장치(100)는 상기 피사체(11)에 관한 영상을 획득하고, 획득된 영상에 대한 특징점 추출 및 좌표 산출을 수행하고, 이를 기반으로 적어도 피사체(11)를 포함하는 AR 콘텐츠용 3D 공간 맵을 구성할 수 있다. 이 과정에서 상기 전자 장치(100)는 피사체(11)에 관한 상대적으로 정밀한 3D 공간 맵을 구성하기 위하여 복수개의 키넷(Kinect) 장치들(121, 122)을 이용하여, 오차 보정을 수행할 수 있다. 이러한 전자 장치(100)는 예컨대, 제1 키넷 장치(121) 및 제2 키넷 장치(122), 카메라 인터페이스(120), 통신 인터페이스(), 디스플레이(130), 메모리(140) 및 프로세서(160)를 포함할 수 있다. 한편, 상기 전자 장치(100) 구성에서 상기 제1 키넷 장치(121)와 제2 키넷 장치(122)는 탈착 가능한 구성으로 마련되거나 또는 별도의 구성으로 마련될 수 있다. 이 경우, 상기 전자 장치(100) 구성은 상기 제1 키넷 장치(121) 및 상기 제2 키넷 장치(122)를 제외한 구성을 포함할 수도 있다.

상기 제1 키넷 장치(121)는 적어도 피사체(11)를 포함하는 복수의 촬영 이미지를 획득할 수 있다. 상기 복수의 촬영 이미지는 예컨대, 상기 피사체(11)에 대한 RGB 이미지 및 상기 피사체(11)에 대한 깊이 정보를 포함하는 Depth 이미지를 포함할 수 있다. 상기 제1 키넷 장치(121)는 획득된 복수의 촬영 이미지들을 카메라 인터페이스(120)를 통하여 프로세서(160)에 전달할 수 있다.

상기 제2 키넷 장치(122)는 지정된 위치(예: 제1 키넷 장치(121)가 피사체(11)를 촬영할 수 있는 제1 위치에 배치되는 경우, 상기 제1 위치와 일정 거리 이격된 지정된 제2 위치 또는 제1 위치에 인접된 위치)에 배치될 수 있다. 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 동일한 피사체(11)에 대한 복수의 촬영 이미지를 획득할 수 있다. 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 실질적으로 동일한 또는 유사한 카메라 모듈들을 포함할 수 있다. 이에 따라, 제2 키넷 장치(122)는 피사체(11)에 대한 RGB 이미지 및 Depth 이미지를 획득하고, 카메라 인터페이스(120)를 통하여 상기 프로세서(160)에 전달할 수 있다.

상기 카메라 인터페이스(120)는 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)와 프로세서(160)를 연결하는 인터페이싱 역할을 수행할 수 있다. 또한, 카메라 인터페이스(120)는 프로세서(160)의 제어 신호를 제1 키넷 장치(121) 및 제2 키넷 장치(122)에 전달할 수 있다. 상기 카메라 인터페이스(120)는 상기 프로세서(160) 제어에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 턴-온/턴-오프를 제어하고, 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 동기화를 제어할 수 있다.

상기 통신 인터페이스(110)는 상기 전자 장치(100)의 통신 기능을 지원할 수 있다. 예컨대, 상기 통신 인터페이스(110)는 상기 프로세서(160) 제어(또는 사용자 입력)에 대응하여 특정 서버 장치와 통신 채널을 형성할 수 있다. 상기 통신 인터페이스(110)는 프로세서(160) 제어에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득한 이미지들을 기반으로 생성된 3D 공간 맵을 지정된 서버 장치 또는 다른 전자 장치에 전송할 수 있다.

상기 디스플레이(130)는 상기 전자 장치(100)의 화면 표시 기능을 지원할 수 있다. 예컨대, 상기 디스플레이(130)는 상기 제1 키넷 장치(121) 및 상기 제2 키넷 장치(122)로부터 획득된 복수의 이미지들 중 적어도 일부를 출력할 수 있다. 또한, 상기 디스플레이(130)는 상기 복수의 이미지들을 기반으로 생성된 3D 공간 맵의 적어도 일부를 출력할 수 있다. 추가로, 상기 디스플레이(130)는 제1 키넷 장치(121) 및 제2 키넷 장치(122) 제어를 위한 제어 화면을 출력할 수 있다. 상기 디스플레이(130)는 출력된 제어 화면을 통해 사용자 입력을 수신할 수 있도록 터치스크린으로 형성될 수 있다.

상기 메모리(140)는 상기 전자 장치(100) 운용과 관련한 데이터 및 프로그램을 저장할 수 있다. 예컨대, 상기 메모리(140)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득된 복수의 이미지들을 기반으로 3D 공간 맵을 구성하는 알고리즘(또는 프로그램)을 저장할 수 있다. 특히, 본 발명의 메모리(140)는 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 통해 획득된 복수의 이미지들 사이의 오차를 보정하는 보정 알고리즘(141)을 저장할 수 있다. 또한, 메모리(140)는 상기 보정 알고리즘(141)에 의해 보정된 보정 이미지(142)(예: 보정된 3D 공간 맵)를 저장할 수 있다.

상기 프로세서(160)는 상기 전자 장치(100) 운용과 관련한 신호의 전달 또는 신호의 처리를 담당할 수 있다. 예컨대, 프로세서(160)는 사전 저장된 스케줄링 정보 또는 사용자 입력에 대응하여, 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 턴-온시키고, 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 획득한 복수의 이미지들 중 적어도 일부를 수집하여 메모리(140)에 저장할 수 있다. 상기 프로세서(160)는 상기 복수의 이미지들에 대해 보정 알고리즘(141)을 적용하여 오차 보정을 수행하고, 오차 보정된 이미지들을 기반으로 3D 공간 맵을 구성할 수 있다. 상기 프로세서(160)는 3D 공간 맵을 지정된 서버 장치 또는 타 전자 장치에 전송하도록 제어할 수 있다.

추가로, 상기 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 오디오 장치(예: 마이크)를 포함하고, 피사체(11) 촬영 시 마이크를 이용하여 오디오 신호를 획득하여 전달하는 경우, 상기 프로세서(160)는 오디오 신호를 상기 3D 공간 맵에 매핑하여 함께 저장할 수 있다. 이후, 상기 3D 공간 맵 재생을 요청하는 입력에 대응하여 상기 3D 공간 맵을 디스플레이(130)에 출력하면서, 상기 오디오 신호를 스피커를 통해 출력할 수 있다. 이를 위하여 상기 전자 장치(100)는 상기 오디오 신호 출력을 위한 스피커를 더 포함할 수 있다.

도 2는 본 발명의 실시 예에 따른 키넷 장치들 중 적어도 하나의 키넷 장치의 세부 구성의 한 예를 나타낸 도면이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 제1 키넷 장치(121)는 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b), 인쇄회로기판(121c), 연결 인터페이스(121d), 마이크 장치(121e) 및 케이스(121f)를 포함할 수 있다. 추가적으로 상기 제2 키넷 장치(122)는 상기 제1 키넷 장치(121)와 동일 또는 유사하게, 제2 RGB 카메라 및 제2 깊이 카메라, 인쇄회로기판, 연결 인터페이스, 마이크 장치 및 케이스를 포함할 수 있다. 상기 제2 RGB 카메라 및 상기 제2 깊이 카메라는 앞서 설명한 제1 키넷 장치(121)의 제1 RGB 카메라 및 제1 깊이 카메라와 실질적으로 동일한 특성을 가지는 카메라일 수 있다.

상기 제1 RGB 카메라(121a)는 상기 제1 깊이 카메라(121b)에 인접되게 배치되고, 피사체(11)에 대한 RGB 이미지를 획득할 수 있다. 상기 제1 RGB 카메라(121a)는 제어에 대응하여 상기 제1 깊이 카메라(121b)와 동시 턴-온 및 동시 턴-오프될 수 있다. 상기 제1 RGB 카메라(121a)는 획득한 RGB 이미지를 카메라 인터페이스(120)를 통하여 전자 장치(100)에 전달할 수 있다. 상기 제1 RGB 카메라(121a)는 상기 제2 키넷 장치(122)의 제2 RGB 카메라와 동시 턴-온되고, 제2 RGB 카메라와 다른 위치 또는 다른 각도에서 피사체(11)에 대한 RGB 이미지를 획득할 수 있다. 이에 따라, 제1 RGB 카메라(121a)가 획득한 제1 RGB 이미지와 제2 키넷 장치(122)의 제2 RGB 카메라가 획득한 제2 RGB 이미지에서의 특정 피사체는 각도 차이 또는 위치 차이가 발생한다.

상기 제1 깊이 카메라(121b)는 상기 제1 RGB 카메라(121a)에 인접되게 배치되고, 피사체(11)에 대한 깊이 정보(또는 Depth 이미지)를 획득할 수 있다. 상기 제1 깊이 카메라(121b)는 제어에 대응하여 상기 제1 RGB 카메라(121a)와 동시 턴-온 및 동시 턴-오프될 수 있다. 상기 제1 깊이 카메라(121b)는 획득한 Depth 이미지를 카메라 인터페이스(120)를 통하여 전자 장치(100)에 전달할 수 있다. 상기 제1 깊이 카메라(121b)는 상기 제2 키넷 장치(122)의 제2 깊이 카메라와 동시 턴-온되고, 제2 깊이 카메라와 다른 위치 또는 다른 각도에서 피사체(11)에 대한 Depth 이미지를 획득할 수 있다. 이에 따라, 제1 깊이 카메라(121b)가 획득한 제1 Depth 이미지와 제2 키넷 장치(122)의 제2 깊이 카메라가 획득한 제2 Depth 이미지에서의 특정 피사체와 깊이 차이가 발생한다. 한편, 상기 제1 RGB 카메라(121a), 제1 깊이 카메라(121b), 제2 RGB 카메라 및 제2 깊이 카메라는 3D 공간 맵 구성을 위해서 피사체(11)에 대한 영상을 촬영하는 과정에서 동기화되어, 동시 턴-온 및 동시 턴-오프될 수 있다.

상기 인쇄회로기판(121c)은 상기 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b) 제어를 위한 다양한 회로 소자들이 실장될 수 있다. 상기 인쇄회로기판(121c) 일측에는 연결 인터페이스(121d)가 실장될 수 있다. 또한, 상기 인쇄회로기판(121c)은 상기 마이크 장치(121e) 구동을 위한 다양한 회로 소자들이 배치될 수 있다.

상기 연결 인터페이스(121d)는 상기 인쇄회로기판(121c) 일측에 실장되고, 케이블이나 무선 신호를 통해 전자 장치(100)의 카메라 인터페이스(120)와 연결될 수 있다. 상기 연결 인터페이스(121d)는 전자 장치(100)의 프로세서(160)가 전달하는 제어 신호를 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)에 전달하고, 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)가 획득한 제1 RGB 이미지 및 깊이 정보(또는 Depth 이미지)를 전자 장치(100)의 프로세서(160)에 전달할 수 있다.

상기 마이크 장치(121e)는 상기 제1 키넷 장치(121)에서 생략될 수도 있다. 상기 마이크 장치(121e)는 사용자 설정에 따라 또는 프로세서(160) 제어에 대응하여 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b) 중 적어도 하나와 동기화되어 활성화되고, 제1 RGB 카메라(121a) 및 제1 깊이 카메라(121b)가 피사체(11)에 대한 영상을 촬영하는 동안 주변 오디오 신호를 수집할 수 있다. 상기 마이크 장치(121e)가 획득한 오디오 신호는 상기 제1 RGB 이미지 및 상기 제1 깊이 정보와 동기화되어 프로세서(160)에 전달될 수 있다.

상기 케이스(121f)는 상기 제1 키넷 장치(121)의 외관 및 내관 중 적어도 일부를 형성할 수 있다. 상기 케이스(121f) 내에는 상기 인쇄회로기판(121c)과 마이크 장치(121e), 제1 RGB 카메라(121a)의 적어도 일부 및 제1 깊이 카메라(121b)의 적어도 일부가 안착될 수 있다. 상기 연결 인터페이스(121d)의 적어도 일부는 케이스(121f) 내에 배치되고, 연결 인터페이스(121d)의 다른 일부는 케이스(121f)의 개구된 일측을 통해 외부에 노출될 수 있다. 또는, 상기 연결 인터페이스(121d)가 무선 방식으로 전자 장치(100)와 연결되는 경우, 상기 연결 인터페이스(121d)(예: 연결 잭)는 상기 케이스(121f) 내에 별도의 노출 없이 배치될 수 있다.

도 3은 본 발명의 실시 예에 따른 키넷 장치들을 통해 획득되는 이미지들의 한 예를 나타낸 도면이다.

도 3을 참조하면, 제1 키넷 장치(121)(또는 제2 키넷 장치(122))에 포함된 제1 RGB 카메라(121a)가 지정된 피사체에 대한 영상을 촬영할 경우, 301 이미지에서와 같이, 제1 RGB 이미지를 획득할 수 있다. 또한, 제1 키넷 장치(121)에 포함된 제1 깊이 카메라(121b)가 지정된 피사체에 대한 영상을 촬영할 경우, 302 이미지에서와 같이 제1 Depth 이미지(또는 제1 깊이 정보, 제1 깊이 이미지)를 획득할 수 있다.

303 이미지는 제1 깊이 이미지를 RGB 이미지로 변환한 이미지이며, 304 이미지는 제1 RGB 이미지를 Depth 이미지로 변환한 이미지이다. 이와 관련하여, 제1 키넷 장치(121)는 제1 Depth 이미지에 포함된 각 객체들의 깊이 정보를 추출하고, 추출된 깊이 정보를 제1 RGB 이미지에 포함된 각 객체들에 매핑하거나, 제1 RGB 이미지에 포함된 각 객체들의 색 정보(또는 RGB 정보)를 추출하고, 추출된 RGB 정보를 제1 Depth 이미지에 포함된 각 객체들에 매칭할 수 있다. 상기 제1 키넷 장치(121)는 도시된 바와 같이, 301 이미지 내지 304 이미지 중 적어도 하나를 전자 장치(100)의 프로세서(160)에 전달할 수 있다. 추가로, 제2 키넷 장치(122)가 제1 키넷 장치(121)와 동일한 피사체를 촬영하도록 설치 및 설정된 경우, 제2 키넷 장치(122)도 301 이미지 내지 304 이미지에 대응하는 이미지들 중 적어도 일부를 전자 장치(100)의 프로세서(160)에 전달할 수 있다.

도 4는 본 발명의 실시 예에 따른 3D 공간 맵 구성을 위한 정보 처리의 한 예를 나타낸 도면이다.

도 4를 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)의 프로세서(160)는 401 단계에서, 제1 키넷 장치) 및 제2 키넷 장치(122)들로부터 피사체(11)에 대한 촬영 이미지들을 수집할 수 있다. 이와 관련하여, 프로세서(160)는 사용자 입력 또는 사전 설정된 프로그램의 스케줄링 정보에 대응하여 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 활성화하고, 활성화된 제1 키넷 장치(121) 및 제2 키넷 장치(122)로부터 촬영 이미지들을 수집할 수 있다. 이 과정에서 상기 프로세서(160)는 앞서 도 3에서 설명한 바와 같은 301 이미지 내지 304 이미지들 중 적어도 일부를 수집할 수 있다. 예컨대, 상기 프로세서(160)는 Stereo RGB 이미지들(예: 제1 키넷 장치(121)에서 획득한 301 이미지 및 제2 키넷 장치(122)에서 획득한 301 이미지)을 수집할 수 있다.

402 단계에서, 프로세서(160)는 획득된 이미지들에서 노이즈 제거를 수행할 수 있다. 이와 관련하여, 전자 장치(100)는 노이즈 필터를 마련하고, 수집된 이미지들에 대한 노이즈 필터링을 수행할 수 있다. 다른 예시로서, 상기 401 단계 및 403 단계는 상기 키넷 장치들(121, 122)에서 처리될 수도 있다.

403 단계에서, 프로세서(160)는 필터링된 RGB 이미지들에 대한 이미지 변화량을 계산할 수 있다. 404a 단계에서, 프로세서(160)는 이미지 변화량이 일정 값 이상인 객체들에 대하여, 특징점 추출을 수행할 수 있다. 또는, 프로세서(160)는 필터링된 RGB 이미지들에서, 배경과 피사체를 분리하고, 피사체에 해당하는 객체들 간의 이미지 변화량을 계산하고, 이미지 변화량이 일정 값 이상인 객체들을 기준으로 특징점 추출을 수행할 수도 있다.

한편, 404b 단계에서, 프로세서(160)는 405 단계에서 특징점 매칭 작업을 위해 이전 이미지를 로딩할 수 있다. 이와 관련하여, 프로세서(160)는 메모리(140)에 이전 이미지를 저장할 수 있다.

405 단계에서, 프로세서(160)는 메모리(140)에 저장된 이전 이미지와 특징점 추출을 수행한 현재 이미지들 간의 특징점 매칭 작업을 수행할 수 있다. 이 과정에서, 상기 프로세서(160)는 최초 촬영된 이미지에서는 특징점 매칭 작업을 수행하지 않고, 이후 촬영된 이미지들에 대하여 직전 촬영한 이미지들과의 특징점 매칭을 수행할 수 있다.

406a 단계에서, 프로세서(160)는 특징점 매칭을 통해 객체에 대한 공간 정보 추출을 수행할 수 있다. 또한, 406b 단계에서, 프로세서(160)는 특징점 매칭을 통해 객체에 대한 움직임 추적을 수행할 수 있다.

407a 단계에서, 프로세서(160)는 추출된 공간 정보를 토대로 실공간 정보를 산출할 수 있다. 407b 단계에서, 프로세서(160)는 산출된 움직임 추적 정보를 이용하여 실공간 위치를 산출할 수 있다. 상기 프로세서(160)는 실공간 정보 및 실공간 위치를 이용하여 피사체(11)(또는 피사체(11)에 포함된 적어도 일부 객체, 예컨대 이미지 변화량이 일정 값 이상인 객체)의 공간 좌표를 산출할 수 있다. 또는, 프로세서(160)는 움직임 추적을 통한 실공간 위치 값을 이용하여 실공간 정보의 오차 보정을 수행할 수도 있다. 상기 공간 좌표(예: 제1 RGB 이미지에서의 객체의 공간 좌표, 제2 RGB 이미지에서의 객체의 공간 좌표)는 깊이 오차 보정에 있어서, 제1 키넷 장치(121)가 촬영한 물체의 위치 및 제2 키넷 장치(122)가 촬영한 물체의 위치 값으로 이용될 수 있다.

한편, 상술한 스테레오 RGB 이미지들을 이용한 특징점 추출과 매칭 작업을 통한 공간 정보 추출과 움직임 추적 시, 키넷 장치들(121, 122)의 위치 차이로 인한 오차가 발생할 수 있다. 이와 관련하여, 전자 장치(100)의 프로세서(160)는 깊이 검출을 기반으로 오차 값 산출을 수행할 수 있다.

도 5는 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출을 설명하는 도면이다.

도 5를 참조하면, 501 상태에서와 같이, 제1 키넷 장치(121) 및 제2 키넷 장치(122)는 피사체(11)에 대한 영상을 수집하여 프로세서(160)에 전달할 수 있다. 이때, 제1 키넷 장치(121) 및 제2 키넷 장치(122)는 일정 거리 이내에 인접되게 배치되어 동일한 피사체(11)에 대한 영상을 수집할 수 있다.

영상이 수집되면, 503 상태에서와 같이, 프로세서(160)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 촬영하여 전달한 이미지들 중 제1 키넷 장치(121)가 전달한 제1 Depth 이미지와 제2 키넷 장치(122)가 전달한 제2 Depth 이미지를 이용하여 깊이 오차 검출을 수행할 수 있다. 즉, 도시된 바와 같이, 물체의 실제 위치를 기준으로, 제1 위치에 배치된 제1 키넷 장치(121)가 피사체(11)에 대해 촬영한 제1 Depth 이미지는 물체의 실제 위치에서 제1 키넷 장치(121)에 가까운 위치에 형성될 수 있다. 또한, 제2 위치에 배치된 제2 키넷 장치(122)가 피사체(11)에 대해 촬영한 제2 Depth 이미지는 물체의 실제 위치에서 제2 키넷 장치(122)에 가까운 위치에 형성될 수 있다. 이에 따라, 물체의 실제 위치를 기준으로 키넷 장치들(121, 122)을 바라보는 방향으로의 측정 오차와 키넷 장치들(121, 122) 사이를 잇는 방향으로의 측정 오차가 발생할 수 있다. 상기 프로세서(160)는 제1 Depth 이미지 및 제2 Depth 이미지들을 비교하여 도시된 바와 같이 물체의 실제 위치를 기준으로 수평 방향 및 수직 방향의 측정 오차들을 검출할 수 있다.

도 6은 본 발명의 실시 예에 따른 전자 장치의 깊이 오차 검출에 따른 오차 보정을 설명하는 도면이다.

도 6을 참조하면, 앞서 도 5에서 설명한 바와 같이, 제1 키넷 장치(121) 및 제2 키넷 장치(122)가 피사체(11)에 대한 Depth 이미지들을 프로세서(160)에 전달하면, 601 상태에서와 같이, 프로세서(160)는 물체의 실제 위치를 기준으로 제1 키넷 장치(121)가 측정한 위치 및 제2 키넷 장치(122)가 측정한 위치들 사이의 카메라 측정 오차들을 검출할 수 있다.

상기 프로세서(160)는 603 상태에서와 같이, 카메라 측정 오차들을 최소화하는 방향으로 물체의 보정된 측정 위치를 산정할 수 있다. 보정된 측정 위치는, 제1 키넷 장치(121) 및 제2 키넷 장치(122)의 중간 가상의 지점에 위치한 새로운 키넷 장치에서 물체를 촬영한 위치가 될 수 있다. 또는, 상기 보정된 측정 위치는 상기 (수직 및 수평) 측정 오차들의 중간 값이 될 수 있다.

상술한 오차 보정을 통하여, 도시된 바와 같이, 제1 키넷 장치(121)에서 제공한 촬영 이미지와 물체의 실제 위치 값과의 차이 및 제2 키넷 장치(122)에서 제공한 촬영 이미지와 물체의 실제 위치 값과의 차이에 비하여, 보정된 측정 위치에서 물체의 실체 위치까지의 차이 값이 저감될 수 있다. 이를 기반으로, 프로세서(160)는 보다 정밀한 물체의 공간 정보를 추출하여, 이를 기반으로 물체에 대한 3D 공간 맵을 구성할 수 있다.

도 7은 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법의 한 예를 나타낸 도면이다.

도 7을 참조하면, 본 발명의 실시 예에 따른 AR 콘텐츠용 3D 공간 맵 구성 방법과 관련하여, 701 단계에서, 전자 장치(100)의 프로세서(160)는, 복수의 키넷 장치(예: 제1 키넷 장치(121) 및 제2 키넷 장치(122))를 이용한 복수의 이미지 수집을 수행할 수 있다. 이와 관련하여, 피사체(11)를 촬영하기 위하여 일정 거리 이내에 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 위치시키거나, 또는 일정 거리를 유지하도록 마련된 제1 키넷 장치(121) 및 제2 키넷 장치(122)를 이용하여 피사체(11)에 대한 영상을 촬영하도록 제어할 수 있다. 이 과정에서, 프로세서(160)는 제1 키넷 장치(121) 및 제2 키넷 장치(122)에 대한 턴-온 동작을 제어할 수 있다.

703 단계에서, 전자 장치(100)의 프로세서(160)는, RGB 이미지들을 이용한 공간 정보 추출을 수행할 수 있다. 이와 관련하여, 제1 키넷 장치(121)는 피사체(11)에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 프로세서(160)에 전달하고, 제2 키넷 장치(122)는 동일한 피사체(11)에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 프로세서(160)에 전달할 수 있다. 상기 프로세서(160)는 제1 RGB 이미지 및 제2 RGB 이미지들에 대한 노이즈 필터링을 수행한 후, 제1 RGB 및 제2 RGB 이미지들 간의 이미지 변화량을 확인한 후, 이미지 변화량이 일정 값 이상인 객체에 대한 특징점 추출을 수행할 수 있다. 상기 프로세서(160)는 이전 촬영된 이미지들과 현재 이미지들 간의 특징점 매칭을 수행하고, 특징점 매칭 값을 이용하여 피사체(11)(또는 이미지에 포함된 적어도 일부 객체 또는 이미지 변화량이 일정 값 이상인 객체)에 대한 공간 정보 추출을 수행할 수 있다. 여기서, 상기 프로세서(160)는 제1 RGB 이미지 및 제2 RGB 이미지 각각에서 객체에 대한 공간 정보들을 추출할 수 있다.

705 단계에서, 전자 장치(100)의 프로세서(160)는 Depth 이미지들을 이용한 깊이 오차 검출을 수행할 수 있다. 이와 관련하여, 상기 프로세서(160)는 제1 키넷 장치(121)가 제공한 제1 Depth 이미지 및 제2 키넷 장치(122)가 제공한 제2 Depth 이미지를 이용하여 실제 피사체(11)(또는 이미지 변화량이 일정 값 이상인 객체) 기준 깊이 오차 검출을 수행할 수 있다.

707 단계에서, 전자 장치(100)의 프로세서(160)는 오차 보정 후 3D 지도(또는 3D 공간 맵) 생성을 수행할 수 있다.

한편, 상술한 설명에서는, 703 단계 및 705 단계가 시계열적으로 처리되는 것을 나타내었으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 703 단계와 상기 705 단계는 동시 시작할 수도 있다.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다.

또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안 되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

10: 3D 공간 맵 구성 환경
100: 전자 장치

Claims (10)

1. 제1 키넷 장치 및 제2 키넷 장치와 연결되는 카메라 인터페이스;
   상기 제1 키넷 장치 및 상기 제2 키넷 장치가 전달하는 이미지들을 저장하는 메모리;
   상기 카메라 인터페이스 및 상기 메모리와 기능적으로 연결되는 프로세서;를 포함하고,
   상기 프로세서는
   제1 키넷 장치로부터 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하고,
   상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하고,
   상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하고,
   상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하여 상기 메모리에 저장하도록 설정되고,
   상기 프로세서는
   상기 공간 정보를 추출하는 과정에서,
   상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하고,
   상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하고,
   상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하고,
   이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하고,
   상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하도록 설정되며,
   상기 프로세서는
   상기 특징점을 추출하는 과정에서,
   상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 프로세서는
   상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.
5. 제1항에 있어서,
   상기 프로세서는
   상기 깊이 오차를 검출하는 과정에서,
   상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하고,
   상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하도록 설정된 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵을 지원하는 전자 장치.
6. 키넷(Kinect) 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법에 있어서,
   제1 키넷 장치를 이용하여 피사체에 대한 제1 RGB 이미지 및 제1 Depth 이미지를 획득하면서, 제2 키넷 장치를 이용하여 상기 피사체와 동일한 피사체에 대한 제2 RGB 이미지 및 제2 Depth 이미지를 획득하는 단계;
   상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 이용하여 상기 피사체에 대한 공간 정보를 추출하는 단계;
   상기 제1 Depth 이미지 및 상기 제2 Depth 이미지를 이용하여 상기 피사체에 대한 깊이 오차를 검출하는 단계;
   상기 검출된 깊이 오차를 이용하여 상기 공간 정보를 보정하여 상기 피사체에 대한 3D 공간 맵을 구성하는 단계;를 포함하되,
   상기 공간 정보를 추출하는 단계는
   상기 제1 RGB 이미지와 상기 제2 RGB 이미지에 대한 노이즈 필터링을 수행하는 단계;
   상기 제1 RGB 이미지와 상기 제2 RGB 이미지를 이용하여 이미지 변화량을 산출하는 단계;
   상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 대한 특징점을 추출하는 단계;
   이전 저장된 이미지와 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지들을 비교하여 특징점 매칭을 수행하는 단계;
   상기 특징점 매칭을 기반으로 상기 피사체에 대한 공간 정보를 추출하는 단계;를 포함하고,
   상기 특징점을 추출하는 단계는
   상기 이미지 변화량을 산출하는 단계에서 이미지 변화량이 지정된 크기 이상인 객체에 대한 특징점을 추출하는 단계;를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.
7. 삭제
8. 삭제
9. 제6항에 있어서,
   상기 특징점 매칭을 기반으로 상기 피사체의 움직임을 추적하고, 이전 이미지에서 추적된 움직임을 기반으로 실공간 위치를 산출하는 단계;를 더 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.
10. 제6항에 있어서,
    상기 깊이 오차를 검출하는 단계는
    상기 피사체 기준 수평 방향의 측정 오차와 상기 피사체 기준 수직 방향의 측정 오차를 산출하는 단계;
    상기 측정 오차들의 중간 값을 상기 오차에 대한 보정값으로 적용하는 단계;를 포함하는 것을 특징으로 하는 키넷 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법.

Images