KR101846311B1 - 공간증강현실 기반의 샌드테이블 시스템 - Google Patents

공간증강현실 기반의 샌드테이블 시스템 Download PDF

Info

Publication number
KR101846311B1
KR101846311B1 KR1020160184494A KR20160184494A KR101846311B1 KR 101846311 B1 KR101846311 B1 KR 101846311B1 KR 1020160184494 A KR1020160184494 A KR 1020160184494A KR 20160184494 A KR20160184494 A KR 20160184494A KR 101846311 B1 KR101846311 B1 KR 101846311B1
Authority
KR
South Korea
Prior art keywords
image
depth
unit
sand table
corresponding point
Prior art date
Application number
KR1020160184494A
Other languages
English (en)
Inventor
김성우
심형석
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020160184494A priority Critical patent/KR101846311B1/ko
Application granted granted Critical
Publication of KR101846311B1 publication Critical patent/KR101846311B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템은 3차원 공간 상을 촬영하여 깊이 영상을 생성하는 깊이측정부; 3차원 영상이 투영되는 샌드테이블; 및 상기 깊이측정부로부터 수신한 상기 3차원 영상을 상기 샌드테이블로 투영하는 프로젝터부;를 포함하고, 상기 깊이측정부는, 깊이 영상을 취득하는 영상취득부; 배경깊이영상과 현재깊이영상을 차연산하여 차영상을 생성하는 이진화부; 상기 차영상을 레이블링하는 레이블링부; 상기 차영상으로부터 대응점을 추출하는 대응점추출부; 및 상기 대응점에 기초하여 평면 호모그래피를 수행하는 평면호모그래피연산부;를 포함하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수 있다.

Description

공간증강현실 기반의 샌드테이블 시스템{Sand Table System Based on Spatial Augmented Reality}
본 발명은 공간증강현실 기반의 샌드테이블 시스템에 관한 것으로 깊이 정보 카메라를 이용하여 샌드테이블 내의 대응점을 추출하여 기준을 설정하고 이에 기초하여 영상을 투사하는 기술이다.
디지털 시대가 도래된 이래로 다양한 멀티미디어 기술들이 급속히 발전하고 있으며 이를 바탕으로 디지털 콘텐츠 시장도 해마다 그 규모가 급속도로 성장하고 있다. 또한 인터넷과 같은 다양한 통신 수단과 전송 기술의 발달은 다양한 멀티미디어 콘텐츠 산업의 활성화를 이끌고 있다. 이러한 흐름 속에서 최근에는 사용자들의 요구가 단순 소비 형태의 콘텐츠 이용에서 대화형 콘텐츠, 실감 콘텐츠의 이용을 요구하는 수준으로 변화하고 있다. 디지털 영상 분야의 경우 과거의 흑백 아날로그 TV에서부터 최근의 UHD 디지털 TV까지 관련 기술이 끊임없이 발전하고 있으며 최근에는 3차원 영상에 대한 관심이 높아지면서 3차원 입체 영상 제작을 위해 다양한 깊이 카메라가 개발되었고, 이와 더불어 고품질의 3차원 입체 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다.
최근 3차원 기술 중 하나인 공간증강현실(Spatial Augmented Reality, SAR)은 증강현실(Augmented Reality, AR)에서 파생된 개념으로서 디스플레이 장치를 통해 영상을 보는 AR과 달리 영사기를 사용하여 사물에 영상을 투사하게 된다. 따라서 공간증강현실을 활용하면 사용자의 시각적 효과를 극대화 시킬 수 있으며 더 나은 인터페이스 환경을 만들 수 있다. 기존의 연구에서는 사람의 손이나 가상공간을 생성하여 3D 컨텐츠를 제작하려는 시도가 있었다.
대한민국등록특허공보(등록번호: 10-0577118)
본 발명의 일 목적은 깊이 카메라와 같은 깊이 검출부를 이용하여 아이들이 놀이용으로 모래를 통해 지각의 모양을 상상한 대로 자유롭게 바꾸는 샌드 테이블(sand table)에 공간증강현실을 적용한 시스템을 제안함에 있다.
또한 본 발명의 일 목적은 깊이측정장치와 프로젝터의 수평이 유지 되지 않는 상태에서도 샌드테이블에 정밀한 3차원 영상을 투영할 수 있는 공간증강현실을 적용한 시스템을 제안함에 있다.
본 발명의 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템은 3차원 공간 상을 촬영하여 깊이 영상을 생성하는 깊이측정부; 3차원 영상이 투영되는 샌드테이블; 및 상기 깊이측정부로부터 수신한 상기 3차원 영상을 상기 샌드테이블로 투영하는 프로젝터부;를 포함하고, 상기 깊이측정부는, 깊이 영상을 취득하는 영상취득부; 배경깊이영상과 현재깊이영상을 차연산하여 차영상을 생성하는 이진화부; 상기 차영상을 레이블링하는 레이블링부; 상기 차영상으로부터 대응점을 추출하는 대응점추출부; 및 상기 대응점에 기초하여 평면 호모그래피를 수행하는 평면호모그래피연산부;를 포함하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수 있다.
또한 본 발명의 다른 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템은 상기 샌드테이블 상에 위치한 대응점제공부를 촬영하여 상기 현재깊이영상을 취득하는 것을 특징으로 하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수도 있다.
또한 본 발명의 또 다른 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템의 상기 대응점제공부는 제1 내지 제4 대응점제공부를 포함하는 것을 특징으로 하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수도 있다.
또한 본 발명의 또 다른 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템의 상기 이진화부는 상기 배경깊이영상과 상기 현재깊이영상의 화소 값 중에서 임계값 이상의 차이가 나는 화소를 추출하는 것을 특징으로 하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수도 있다.
또한 본 발명의 또 다른 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템의 상기 임계값은 20mm인 것을 특징으로 하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수도 있다.
또한 본 발명의 또 다른 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템의 상기 깊이측정부는 평면 호모그래피가 수행된 깊이 영상을 3차원 모델링하여 매핑 영상을 생성하는 3차원 모델링부;를 더 포함하는 것을 특징으로 하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수도 있다.
또한 본 발명의 또 다른 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템의 상기 3차원 모델링부는 상기 제1 내지 제4 대응점제공부의 높이의 평균값을 기준으로 3차원 영상이 움직일 수 있도록 하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수도 있다.
또한 본 발명의 또 다른 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템의 상기 깊이측정부는, 상기 배경깊이영상 또는 상기 현재깊이영상 내의 화소들을 일 방향으로 탐색하여 화소들의 깊이 값을 검출하는 화소탐색부, 상기 일 방향으로의 화소들 중 어느 하나의 화소와 다음 화소의 깊이 값의 차이를 검출 비교부, 기 설정치 이내의 차이를 가진 화소들을 직선화보정대상화소들로 구분하는 직선화보정대상화소들 검출부 및 상기 직선화보정대상화소들의 깊이 값을 보정하는 깊이정보보정부를 포함하는 보정부;를 더 포함하는 것을 특징으로 하는 공간증강현실 기반의 샌드테이블 시스템을 제공할 수도 있다.
본 발명의 실시예는 깊이측정부를 이용하여 아이들이 놀이용으로 모래를 통해 지각의 모양을 상상한 대로 자유롭게 바꾸는 샌드 테이블에 공간증강현실을 적용한 시스템을 제공할 수 있다.
또한 본 발명의 실시예는 깊이측정부와 프로젝터부의 수평이 유지 되지 않는 상황에서도 샌드테이블에 정밀한 3차원 영상을 투영할 수 있는 공간증강현실을 적용한 시스템을 제공할 수 있다.
또한 본 발명의 실시예는 샌드 테이블의 최초 설치나 설치 후 위치를 옮길 때, 한 번의 교정 작업 만으로도 샌드 테이블 상에 정밀한 3차원 영상을 투영할 수 있는 효과를 가진다.
또한 본 발명의 실시예는 깊이 영상 내에 포함된 잡음을 효과적으로 제거하여 깊이 영상 내의 대응점을 정확히 추출할 수 있어 정밀한 3차원 영상을 샌드테이블에 투영할 수 있는 효과를 가진다.
도 1은 본 발명의 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템의 블록도이다.
도 2는 깊이측정부를 구성하는 구성들의 블록도이다.
도 3은 임의의 물체와 대응점제공부를 포함한 공간을 촬영한 영상에 대한 이진화된 영상이다.
도 4는 대응점제공부만이 추출된 영상이다.
도 5는 3차원 모델링된 외각선 데이터의 영상이다.
도 6은 외각선에 색상을 입힌 영상이다.
도 7은 샌드테이블 상에 투영된 3차원 영상이다.
도 8은 보정부를 더 포함하는 깊이측정부의 블록도이다.
도 9는 보정부의 블록도이다.
도 10은 깊이 영상의 배경 영역 상의 잡음이 포함된 깊이 값과 이상적인 깊이 값에 대한 그래프이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 공간증강현실 기반의 샌드테이블 시스템(10)는 깊이측정부(200), 프로젝터부(300), 샌드테이블(400), 대응점제공부(500)를 포함할 수 있다.
깊이측정부(200)는 샌드테이블(400)이 위치한 3차원 공간 상에 광을 조사하고 3차원 공간 상의 물체로부터 반사되어 되돌아오는 반사광을 수신할 수 있다. 그리고 광의 출사 후 반사광의 수신 시점까지의 시간 정보를 이용하여 물체의 깊이 정보를 검출할 수 있다. 보다 상세하게는 깊이측정부(200)는 TOF(Time Of Flight) 카메라를 구비하고, TOF의 카메라는 in phase receptor와 out phase receptor로 구성된 이미지센서와 광을 출사하는 발광다이오드로 구성될 수 있다. 또한 발광다이오드로부터 모듈레이션(modulation)되며 출사된 광에 동기하여 이미지센서가 활성화되는데, 발광다이오드가 턴온된 상태에서는 in phase receptor가 활성화되고, 발광다이오드가 턴오프된 상태에서는 out phase receptor가 활성화 될 수 있다. 그리고 in phase receptor와 out phase receptor 들은 시간차를 두고 서로 다른 시점에 활성화되므로 물체와의 거리에 따라서 수신되는(누적되는) 광량에 차이가 발생하게 되고 이러한 광량에 차이를 비교하여 물체와의 거리를 측정할 수 있다.
또한 깊이측정부(200)가 3차원 공간을 촬영하여 생성한 깊이 영상은 일 예로 그레이 레벨(grey level)로 표현될 수 있으나 이에 한정하는 것은 아니다. 또한 깊이 영상에 속한 각각의 화소는 깊이 값을 가질 수 있으며, 깊이 값은 카메라가 촬영한 장면의 해당 화소에 대응되는 지점에서 카메라까지의 거리를 의미할 수 있다. 전술한 바에 기초하여 깊이 영상을 다시 정의하면, 깊이측정부(200)를 기준으로 깊이측정부(200)의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라고 할 수 있고, 이는 영상 단위, 슬라이스 단위 등으로 표현될 수 있으며, 깊이 영상 내에서의 깊이 정보는 화소 단위로 표현될 수 있다.
또한 깊이측정부(200)는 샌드테이블(400) 상의 모래의 깊이를 감지할 수 있고, 프로젝터부(300)는 감지된 모래의 깊이 정보에 기초하여 생성된 화상을 샌드테이블(400) 상에 제공할 수 있다.
프로젝터부(300)는 도면에 도시된 바와 같이 깊이측정부(200)와 일체로 이루어진 장치가 될 수 있고, 서로 독립된 장치가 될 수 있다. 그리고 프로젝터부(300)는 디지털 빔 프로젝터가 될 수 있으나 이에 한정하는 것은 아니다.
또한 깊이측정부(200)는 샌드테이블(400) 상에 적외선패턴을 조사하여 반사된 적외선 정보를 수신하여 샌드테이블(400) 상의 모래의 높낮이에 따른 거리 정보를 측정하여 깊이 영상을 생성할 수 있다. 그리고 프로젝터부(300)는 깊이 정보를 이용하여 생성된 영상을 샌드테이블(400) 상에 조사하게 되고, 이러한 과정을 반복하여 실시각전으로 모래의 움직임에 따라 변화하는 영상이 생성될 수 있다.
깊이측정부(200)와 프로젝터부(300)는 동일한 위치에 존재할 수 없고, 따라서 깊이측정부(200)가 샌드테이블(400)의 상부측에서 샌드테이블(400) 중심 영역에 위치한다면, 샌드테이블(400) 중심 영역으로부터 프로젝터부(300)는 한쪽으로 치우치게 설치될 수 있다. 그리고 프로젝터부(300)로부터의 영상이 샌드테이블(400)에 조사되기 위해서는 위치상으로 깊이측정부(200)와 프로젝터부(300)는 동일 평면, 즉 수평을 유지하기 어렵다. 이에 깊이데이터를 프로젝터부(300)의 FOV(Field of view)에 맞은 영상으로 이용하기 위해서는 기하학적 변환 및 깊이 정보 보정을 통해 깊이데이터의 보정 및 영상의 가공이 필요하다.
또한 대응점제공부(500)의 높이는 3차원 모델링 영상의 색상 및 모델링 비율 결정에 기준이 되도록 할 수 있다. 그리고 대응점제공부(500)는 제1 내지 제4 대응점제공부를 포함할 수 있다.
도 2는 깊이측정부를 구성하는 구성들의 블록도이다. 그리고 도 3은 임의의 물체와 대응점제공부를 포함한 공간을 촬영한 영상에 대한 이진화된 영상이다. 또한 도 4는 대응점제공부만이 추출된 영상이다.
도 2를 참조하면, 깊이측정부(200)는 영상취득부(210), 차영상추출부(230), 이진화부(240), 레이블링(labeling)부(250), 대응점추출부(260), 평면호모그래피연산부(270) 및 3차원모델링부(280)를 포함할 수 있다.
영상취득부(210)는 적외선 전송 및 수신된 적외선에 기초하여 깊이 영상을 생성할 수 있다. 그리고 차영상추출부(230)는 저장된 샌드테이블(400)의 배경깊이영상과 현재 검출된 현재깊이영상을 차연산하여 차영상을 추출하고 이를 이진화부(240)로 전송할 수 있다. 이 경우 배경깊이영상은 샌드테이블(400) 상에 모래를 제외한 다른 물체가 존재하지 않는 상태에서 검출된 깊이 영상이고, 현재깊이영상은 샌드테이블(400) 상에 대응점제공부(500)가 위치한 상태에서 검출된 깊이 영상이 될 수 있다.
이진화부(240)는 수신된 차영상을 이진화하여 레이블링부(250)로 전송하고, 레이블링부(250)는 수신된 이진화 영상에 대해 레이블링할 수 있다.
이진화부(240)는 기 설정된 임계값(threshold)보다 밝은 화소들은 모두 ture로 처리하고 그렇지 않은 화소들은 모두 false로 변경할 수 있다. 그리고 본 발명의 실시예에 따른 임계값은 배경깊이영상의 화소 데이터와 현재깊이영상의 화소 데이터의 차이 값이 20mm 이상으로 한다. 또한 20mm 미만의 경우 잡음과 대응점제공부의 인식에 부적합하였고, 20mm 이상이 인식 면에서 더 좋은 성능을 보인 실험 결과에 따라 임계값으로써의 20mm가 결정된 것이다.
또한 도 3을 참조하면 200mm의 임계값을 기준으로 이진화부(240)가 이진화한 영상에서 20mm 이상인 물체는 녹색으로 표현한 것이고, 영상의 모서리 주변에 보이는 녹색점들은 잡음에 기인한 것이다.
레이블링이만 이진화 영상에 복수의 물체가 존재하는 경우 해당 물체를 이루는 화소끼리 같은 라벨(label)을 부여하는 것이다. 레이블링은 이진화된 영상에서 흰 화소을 하나 찾고 이에 연결된 화소들을 찾음으로써 수행될 수 있고, 레이블링의 결과로 화소들은 라벨을 가지게 되며 배경 화소는 라벨 0을 가질 수 있다.
보다 상세하게는 레이블링부(250)는 이진화된 영상에서 1) 화소 값(255)이 있는 지점까지 탐색하고 2) 이미 레이블링된 화소인지 확인할 수 있고, 3) 이미 레이블링된 화소가 아닌 경우 메모리의 스택(stack) 공간에 현재 화소의 좌표를 저장할 수 있고, 4) 인접한 화소를 탐색하면서 화소가 255이면서 레이블링이 안된 지역을 탐색하여 위치 좌표를 모두 스택(stack) 공간에 저장할 수 있다. 그리고 5) 스택의 맨 위 좌표를 받아 전술한 4)의 과정을 반복할 수 있다. 또한 6) 더 이상의 그룹핑할 행렬이 없을 때, 즉 스택이 비었을 때까지 수행할 수 있고, 7) 영상의 다음 화소 값이 있는 곳까지 탐색하는 1)의 과정을 다시 수행할 수 있다.
도 4를 참조하면, 이진화후 레이블리된 영상으로써 대응점제공부만 추출할 수 있음을 알 수 있다. 그리고 댕응점제공부의 중심을 최종 대응 점으로 사용할 수 있다.
또한 평면호모그래피연산부(270)는 8방향 레이블링으로 대응점제공부(500)의 중심을 최종 대응점으로 사용할 수 있다. 대응점제공부(500)의 중심 좌표는 영역의 width/2, heigh/2의 좌표로 결정할 수 있다.
또한 대응점제공부(500)는 제1 내지 제4 대응점제공부로 이루어지고, 제1 내지 제4 대응점제공부의 대응점을 4회 검출함으로써 평면의 호모그래피를 계산할 수 있다. 또한 대응점제공부를 4개로 결정하는 것은 평면 호모그래피 연산의 효율성이 가장 우수하기 때문이다.
도 5는 3차원 모델링된 외각선 데이터의 영상이고, 도 6은 외각선에 색상을 입힌 영상이다. 그리도 도 7은 샌드테이블 상에 투영된 3차원 영상이다.
또한 3차원모델링부(280)는 교정이 완료되면 모래로 형성한 샌드테이블(400)의 관심영역에 대한 깊이 영상을 앞에서 구한 평면호모그래피연산부(270)로부터의 호모그래피 행렬을 통해 변형시킨 후에 3차원으로 모델링하여 매핑 영상을 생성할 수 있고, 3차원의 외각선 데이터에 색상을 입힐 수 있혀 프로젝터부(300)로 전송할 수 있다.
프로젝터부(300)는 수신한 매핑 영상 샌드테이블(400)로 투영함으로써 공간증강현실을 시작적으로 볼 수 있도록 한다. 또한 샌드테이블(400) 상의 모래의 높이에 따라 지형 등고선처럼 높 낮이를 쉽게 구분할 수 있도록 나누어 색을 다르게 하여 시각적으로 보기 좋은 지형 맵을 만들 수도 있다.
3차원모델링부(280)에 따른 3차원 모델링 과정에서는 지형 맵 외에도 물 및 비오는 등의 다양한 효과 등을 추가할 수 있다. 또한 물이 출렁이는 효과를 모델링하여 보다 실감있는 증강현실을 구현할 수 있고, 전술한 제1 내지 제4 대응점제공부들의 높이 값의 평균값을 기준으로 3차원 영상이 움직일 수 있도록 할 수 있다.
본 발명의 실시예에 따르면 샌드테이블(400)을 최초 설치나 설치 후 위치를 옮긴 경우 한번의 교정 작업만으로도 정확한 3차원 영상을 샌드테이블(400)로 투영할 수 있는 장점을 가진다.
이하 도 3에서 설명한 녹색점으로 표현된 잡음을 제거할 수 있는 실시예에 대해서 상술한다.
도 8은 보정부를 더 포함하는 깊이측정부의 블록도이고, 도 9는 보정부의 블록도이다. 그리고 도 10은 깊이 영상의 배경 영역 상의 잡음이 포함된 깊이 값과 이상적인 깊이 값에 대한 그래프이다.
도 8 및 도 9를 참조하면 본 발명의 실시예에 따른 깊이측정부(200)는 보정부(220)를 더 포함할 수 있다.
보정부(220)는 깊이 영상 내의 화소들의 깊이 값들을 탐색하는 화소탐색부(221), 깊이 영상 내의 화소들의 깊이 값들의 차이 값을 기 설정치와 비교하는 비교부(222), 기 설정치 이내의 차이를 가진 화소들을 직선화보정대상화소들로 구분하는 직선화보정대상화소들 검출부(223) 및 상기 직선화보정대상화소들의 깊이 값을 보정하는 깊이정보보정부(224)을 포함할 수 있다.
도 10을 참조하면, 깊이 값에는 각종 원인에 따른 잡음이 포함될 수 있다. 이러한 잡음에 따른 깊이 값의 오차로 인하여 깊이 영상의 배경 영역에서는 도 10의 실선과 같이 수평 방향으로의 화소들의 깊이 값이 나타날 수 있다. 이와 달리 배경 영역의 이상적인 깊이 값은 도 10의 점선과 나타난다.
이 때 깊이 영상 내의 화소들의 깊이 값에는 대응점제공부(500)의 표면 깊이 정보가 있거나, 대응점제공부(500)와 배경 영역 사이의 경계가 포함된 깊이 값이 존재할 수 있다. 이 경우 대응점제공부(500) 내에서는 표면이 거의 평면에 가깝다고 볼 수 있다. 또한 대응점제공부(500)와 배경 영역 간에는 일정 크기의 깊이 T 이상의 차이가 날 수 있다. 이 때 T는 깊이 값의 오차 범위
Figure 112016129831083-pat00001
보다 현저하게 큰 특징을 가진다. 따라서 이러한 특징을 이용하여 깊이 영상 내의 잡음에 따른 오차를 제거할 수 있다.
화소탐색부(221)는 현재깊이영상 내의 화소들을 일 방향으로 탐색할 수 있고, 탐색하면서 화소들의 깊이 값을 검출하여 비교부(222)로 제공할 수 있다.
비교부(222)는 화소들 간의 깊이 값을 비교하고, 비교 결과를 직선화보정대상화소들 검출부(223)로 제공할 수 있다.
또한 직선화보정대상화소들 검출부(223)는 첫번째 화소부터 n번째 화소까지는 탐색한 임의의 화소와 탐색한 그 다음 화소와의 깊이 값의 차이가 기 설정치(T) 미만이나, n+1번째 화소의 깊이 값을 이전 화소인 n번째 화소의 깊이 값과 비교하여 기 설정치(T) 이상의 차이가 나는 경우 탐색된 첫번째 화소에서부터 상기 n(n은 2 이상의 자연수)번째 화소들을 제1 직선화보정대상화소들로 구분하고 제1 직선화보정대상화소들 각각의 깊이 값의 정보 및 n 값(제1 직선화보정대상화소들 내의 화소들의 개수)을 깊이정보보정부(224)로 제공할 수 있다.
또한 n+1번째 화소부터 n+k번째 화소까지는 탐색한 임의의 화소와 탐색한 그 다음 화소와의 깊이 값의 차이가 기 설정치(T) 미만이나, n+k+1번째 화소의 깊이 값을 n+k번째 화소의 깊이 값과 비교하였을 때 기 설정치(T) 이상의 차이가 나는 경우 탐색된 n+1번째 화소에서부터 n+k번째 화소들을 제2 직선화보정대상화소들로 구분하고 제2 직선화보정대상화소들 각각이 깊이 값의 정보와 k 값(제2 직선화보정대상화소들 내의 화소들의 개수)을 깊이정보보정부(224)로 제공할 수 있다.
또한 일 방향으로 n+k+1 다음 번의 화소가 존재하는 경우 계속 탐색을 진행하면서 전술한 바와 같이 직선화보정대상화소들을 분류하고 이에 대한 깊이 값과 화소들의 개수 정보를 깊이정보보정부(224)로 제공할 수 있다.
또한 탐색 영역 내에서 일 방향으로의 마지막 화소인 m(m은 2 이상의 자연수)번째 화소까지 탐색하였음에도 현재 화소의 깊이 값과 이전 화소의 깊이 값이 기 설정치(T) 이상의 차이가 나지 않는 경우 첫번째 화소에서부터 마지막 화소들을 직선화보정대상화소들로 구분하고 직선화보정대상화소들 내의 화소들 각각의 깊이 값과 m 값(직선화보정대상화소들 내의 화소들의 개수)을 깊이정보보정부(224)로 제공할 수 있다.
또한 깊이정보보정부(224)는 직선화보정대상화소들의 내의 복수의 화소들을 구분하는 화소 번호(j)와 직선화보정대상화소들 내의 화소들 각각의 깊이 값을 이용하여 수학식
Figure 112016129831083-pat00002
을 충족하는 j개(예를 들어 n개 또는 k개 또는 m개가 될 수 있다)의 일차 방정식을 생성하고, j개의 일차 방정식에 최소자승법을 적용하여 연산함에 따라 일차 방정식의 매개 변수
Figure 112016129831083-pat00003
를 결정할 수 있다.
또한 깊이정보보정부(224)는 결정된
Figure 112016129831083-pat00004
를 이용하여 전술한 수학식과 같은 형식의 일차 방정식을 결정하고 j 값을 1씩 증가시키며 각 j 값에 대응하는 화소의 깊이 값을 결정할 수 있다. 예를 들어 직선화보정대상화소들에 첫번째 화소부터 3번째 화소까지 존재하는 경우 j에는 1, 2, 3 각각을 대입 연산하게 되고, 연산에 따라 결정된 깊이 값은 상기 첫번째 화소 내지 3번째 화소들 각각의 보정된 깊이 값이 된다.
이와 같이 대응점제공부(500)의 화소의 깊이 정보와 배경 영역의 화소의 깊이 정보에 포함된 잡음을 제거함으로써, 배경깊이영상의 잡음을 제거할 수 있고, 현재깊이영상에서도 잡음을 제거하여 현재깊이영상에서 대응점제공부와 배경 영역을 정확히 구분할 수 있다.
또한 전술한 임계값을 낮출 수 있고, 보다 정확한 이진화가 가능한 이점이 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
10: 공간증강현실 기반의 샌드테이블 시스템
200: 깊이측정부
210: 영상취득부
220: 보정부
221: 화소탐색부
222: 비교부
223: 검출부
224: 깊이정보보정부
230: 차영상추출부
240: 이진화부
250: 레이블링부
260: 대응점추출부
270: 평면호모그래피연산부
280: 3차원모델링부
300: 프로젝터부
400: 샌드테이블
500: 대응점제공부

Claims (8)

  1. 소정의 높이를 가지는 제1 내지 제4 대응점제공부가 위치한 3차원 공간 상을 촬영하여 깊이 영상을 생성하는 깊이측정부;
    3차원 영상이 투영되는 샌드테이블; 및
    상기 깊이측정부로부터 수신한 상기 3차원 영상을 상기 샌드테이블로 투영하는 프로젝터부;를 포함하고,
    상기 깊이측정부는,
    깊이 영상을 취득하는 영상취득부;
    배경깊이영상과 현재깊이영상을 차연산하여 차영상을 생성하는 차영상추출부;
    상기 차영상을 상기 제1 내지 제4 대응점제공부의 높이를 기준으로 이진화하는 이진화부;
    상기 차영상을 레이블링하는 레이블링부; 및
    상기 차영상으로부터 상기 제1 내지 제4 대응점제공부 각각의 중심 좌표인 대응점을 추출하고, 상기 대응점에 기초하여 평면 호모그래피를 수행하는 평면호모그래피연산부;를 포함하고,
    상기 제1 내지 제4 대응점제공부의 높이 값의 평균값을 기준으로 3차원 영상이 움직일 수 있도록 하고
    상기 샌드테이블 상에 위치한 상기 제1 내지 제4 대응점제공부를 촬영하여 상기 현재깊이영상을 취득하는
    공간증강현실 기반의 샌드테이블 시스템.
  2. 제1 항에 있어서,
    상기 샌드테이블 상에 위치한 대응점제공부를 촬영하여 상기 현재깊이영상을 취득하는 것을 특징으로 하는
    공간증강현실 기반의 샌드테이블 시스템.
  3. 제2 항에 있어서,
    상기 대응점제공부는 제1 내지 제4 대응점제공부를 포함하는 것을 특징으로 하는
    공간증강현실 기반의 샌드테이블 시스템.
  4. 제3 항에 있어서,
    상기 이진화부는 상기 배경깊이영상과 상기 현재깊이영상의 화소 값 중에서 임계값 이상의 차이가 나는 화소를 추출하는 것을 특징으로 하는
    공간증강현실 기반의 샌드테이블 시스템.
  5. 제1 항에 있어서,
    상기 제1 내지 제4 대응점제공부의 높이는 20mm인 것을 특징으로 하는
    공간증강현실 기반의 샌드테이블 시스템.
  6. 제5 항에 있어서,
    상기 깊이측정부는 평면 호모그래피가 수행된 깊이 영상을 3차원 모델링하여 매핑 영상을 생성하는 3차원 모델링부;를 더 포함하는 것을 특징으로 하는
    공간증강현실 기반의 샌드테이블 시스템.
  7. 삭제
  8. 제1 항에 있어서,
    상기 깊이측정부는,
    상기 배경깊이영상 또는 상기 현재깊이영상 내의 화소들을 일 방향으로 탐색하여 화소들의 깊이 값을 검출하는 화소탐색부, 상기 일 방향으로의 화소들 중 어느 하나의 화소와 다음 화소의 깊이 값의 차이를 검출하는 비교부, 기 설정치 이내의 차이를 가진 화소들을 직선화보정대상화소들로 구분하는 직선화보정대상화소들 검출부 및 상기 직선화보정대상화소들의 깊이 값을 보정하는 깊이정보보정부를 포함하는 보정부;를 더 포함하고,
    상기 깊이정보보정부는, 상기 직선화보정대상화소들의 내의 복수의 화소들을 구분하는 화소 번호(j)와 상기 직선화보정대상화소들 내의 화소들 각각의 깊이 값을 이용하여 수학식
    Figure 112017111294437-pat00015
    을 충족하는 j개의 일차 방정식에 최소자승법을 적용하여 상기 일차 방정식의 매개 변수
    Figure 112017111294437-pat00016
    를 결정하고, 결정된 매개 변수로 이루어진 일차 방정식을 결정하여 각 j값에 대응하는 화소들 각각의 보정된 깊이 값을 생성하는 것을 특징으로 하는
    공간증강현실 기반의 샌드테이블 시스템.
KR1020160184494A 2016-12-30 2016-12-30 공간증강현실 기반의 샌드테이블 시스템 KR101846311B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160184494A KR101846311B1 (ko) 2016-12-30 2016-12-30 공간증강현실 기반의 샌드테이블 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184494A KR101846311B1 (ko) 2016-12-30 2016-12-30 공간증강현실 기반의 샌드테이블 시스템

Publications (1)

Publication Number Publication Date
KR101846311B1 true KR101846311B1 (ko) 2018-04-06

Family

ID=61973689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184494A KR101846311B1 (ko) 2016-12-30 2016-12-30 공간증강현실 기반의 샌드테이블 시스템

Country Status (1)

Country Link
KR (1) KR101846311B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102074519B1 (ko) * 2018-10-05 2020-02-06 엔컴주식회사 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
CN111652984A (zh) * 2020-06-10 2020-09-11 上海商汤智能科技有限公司 一种沙盘演示方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253713A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
KR101408295B1 (ko) * 2013-05-31 2014-06-17 (주)린소프트 비평면 스크린을 이용한 프로젝션 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253713A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
KR101408295B1 (ko) * 2013-05-31 2014-06-17 (주)린소프트 비평면 스크린을 이용한 프로젝션 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102074519B1 (ko) * 2018-10-05 2020-02-06 엔컴주식회사 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
CN111652984A (zh) * 2020-06-10 2020-09-11 上海商汤智能科技有限公司 一种沙盘演示方法、装置、计算机设备及存储介质
CN111652984B (zh) * 2020-06-10 2024-03-22 上海商汤智能科技有限公司 一种沙盘演示方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
EP3491332B1 (en) Reflectivity map estimate from dot based structured light systems
US9836645B2 (en) Depth mapping with enhanced resolution
JP6244407B2 (ja) 深度測定の品質の向上
JP5587137B2 (ja) 測定装置及び測定方法
US9488483B2 (en) Localization using road markings
US9245344B2 (en) Method and apparatus for acquiring geometry of specular object based on depth sensor
CN107532885B (zh) 光图案中的强度变化用于体积中的物体的深度绘制
Van Der Mark et al. Real-time dense stereo for intelligent vehicles
JP6125188B2 (ja) 映像処理方法及び装置
US20190073796A1 (en) Method and Image Processing System for Determining Parameters of a Camera
Weinmann et al. Preliminaries of 3D point cloud processing
KR101846311B1 (ko) 공간증강현실 기반의 샌드테이블 시스템
Lv et al. Automatic registration of airborne LiDAR point cloud data and optical imagery depth map based on line and points features
Parmehr et al. Automatic registration of optical imagery with 3d lidar data using local combined mutual information
Crabb et al. Probabilistic phase unwrapping for single-frequency time-of-flight range cameras
KR20110112143A (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
Zhang et al. Multi-FEAT: Multi-feature edge alignment for targetless camera-LiDAR calibration
US7440636B2 (en) Method and apparatus for image processing
CN105930813B (zh) 一种在任意自然场景下检测行文本的方法
KR101907057B1 (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
KR101357581B1 (ko) 깊이 정보 기반 사람의 피부 영역 검출 방법
KR101904170B1 (ko) 구면 모델링을 통한 깊이 정보 보정 및 부호화 방법과 부호화장치
Long et al. Robust and efficient decoding scheme for line structured light
Suliman et al. Optical-elevation data co-registration and classification-based height normalization for building detection in stereo vhr images
KR101904128B1 (ko) 구면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant