KR102168318B1 - 혼합현실용 디스플레이 장치 및 방법 - Google Patents

혼합현실용 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR102168318B1
KR102168318B1 KR1020180153789A KR20180153789A KR102168318B1 KR 102168318 B1 KR102168318 B1 KR 102168318B1 KR 1020180153789 A KR1020180153789 A KR 1020180153789A KR 20180153789 A KR20180153789 A KR 20180153789A KR 102168318 B1 KR102168318 B1 KR 102168318B1
Authority
KR
South Korea
Prior art keywords
image display
display device
mixed reality
coordinate system
image
Prior art date
Application number
KR1020180153789A
Other languages
English (en)
Other versions
KR20200067306A (ko
Inventor
박상훈
김종용
윤승현
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020180153789A priority Critical patent/KR102168318B1/ko
Publication of KR20200067306A publication Critical patent/KR20200067306A/ko
Application granted granted Critical
Publication of KR102168318B1 publication Critical patent/KR102168318B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 혼합현실용 디스플레이 장치 및 방법에 관한 것으로, 보다 상세하게는 혼합현실에서 복수의 2D 영상 표시 장치와 3D 영상 표시 장치를 연동하여 동시에 다인이 체험할 수 있는 2D-3D 공간 동적 변환 디스플레이 장치 및 방법을 제공한다. 본 발명의 일 실시 예에 따르면 혼합현실용 디스플레이 장치 및 방법은 2D영상 표시 장치 영상의 2D 오브젝트가 3D 영상 표시 장치 장치의 3D 오브젝트로 벽에서 투과되어 나오는 것처럼 연출하여 콘텐츠적으로나 기술적으로 더욱 극대화된 경험을 제공한다.

Description

혼합현실용 디스플레이 장치 및 방법 { DISPLAY DEVICE AND METHOD FOR MIXED REALITY}
본 발명은 혼합현실 공간에서 다인 체험을 위한 복수의 2D 영상 표시 장치와 3D영상 표시 장치를 연동하여 다인이 동시에 체험 가능한 혼합현실용 디스플레이 장치 및 방법에 관한 것이다.
기존에 많이 알려져 있던 VR(Virtual Reality)/AR(Argumented Reality)에 이은 혼합현실(Mixed Reality) 기반의 디바이스가 출시되고 있다. 기존 VR은 차폐된 HMD(Head-mounted Display)를 착용하고 완전한 가상공간을 사용자가 체험하는 시스템이었다. 또한 AR은 대표적인 AR 콘텐츠였던 포켓몬고(Pocketmon Go)처럼 스마트폰 화면 위에 카메라로 찍은 실제 이미지 위에 3D 렌더링 이미지가 증강되어 사용자 디스플레이 화면을 보고 체험하는 것이다. 하지만 혼합현실 기반 디바이스는 현실 세계가 보이는 광학투시로 현실세계와 가상세계간의 상호작용을 적용하여 현실세계에 있는 물체에 의해 가상세계의 물체가 가려지거나 벽에 3D 오브젝트가 부딪혀 떨어지는 등의 상호작용 표현이 가능하다. 하지만 혼합현실 기반 디바이스의 큰 단점으로 렌더링된 영상이 출력되는 디스플레이 영역이 한정되어 있어 착용자의 시야각이 매우 좁다는 한계를 갖는다. 혼합현실 기반 디바이스는 아직까지 가로 40도, 세로 30도로 4:3 비율의 해상도를 지니고 있어 사용자가 만족할 만한 시야각 영역을 충족시키지 못하며 이는 보편적인 VR 기기의 100도가 넘는 시야각에 비해 턱없이 부족하다. 이러한 좁은 시야각의 한계로 일반 사용자들은 혼합현실 기반 디바이스에 대한 체험을 아직까지 꺼리고 있다.
본 발명의 배경기술은 대한민국 등록특허 제10-1827221호에 개시되어 있다.
본 발명은 혼합현실 기반 디바이스인 헤드 마운티드 디스플레이(Head Mounted Display, HMD)와 다양한 2D 영상 표시 장치를 연동하여 좁은 시야각 문제를 해결하고, 평면적인 2D 영상 장치에서의 2D 오브젝트가 HMD와 같은 3D영상 표시 장치에서 벽을 투과하여 나오는3D 오브젝트로 자연스럽게 연결되도록 하는 다인 체험을 위한 복수의 2D 영상 표시 장치와 3D 영상 표시 장치를 연동하여 2D-3D 공간 동적 변환이 가능한 혼합현실용 디스플레이 장치 및 방법을 제공한다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 다인 체험을 위한 복수의 2D영상 표시 장치와 3D 영상 표시 장치를 연동하여 2D-3D 공간의 동적 변환이 가능한 혼합현실용 디스플레이 장치 및 방법이 제공된다.
본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 장치는 복수의 2D 영상 표시 장치 간의 캘리브레이션을 하는 2D 교정부, 2D 영상 표시 장치와 3D 영상 표시 장치 간의 캘리브레이션을 하는 3D 교정부, 2D 영상 표시 장치의 영상과 3D 영상 표시 장치의 영상 간의 클리핑 평면을 설정하는 클리핑 평면 설정부, 2D 영상 표시 장치 간에 렌더링 영역의 경계를 일치시키는 렌더링부 및 복수의 3D 영상 표시 장치가 각각 표시하는 영상에서 오브젝트 위치를 동일하게 유지하기 위한 3D 영상 표시 장치 간의 좌표계를 보정하는 좌표계 보정부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 프로그램 실행 제어 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 일 실시 예에 따른 프로그램 실행 제어 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체는 복수의 2D 영상 표시 장치 간의 캘리브레이션을 하는 2D 영상 표시 장치 교정단계, 2D 영상 표시 장치와 3D 영상 표시 장치 간의 캘리브레이션을 하는 3D 영상 표시 장치 교정단계, 2D 영상 표시 장치와 3D 영상 표시 장치 간의 클리핑 평면을 설정하는 클리핑 평면 설정 단계, 영상 표시 장치들 간에 표출되는 영상에 단락이 생기지 않도록 하는 렌더링 단계 및 다인 체험을 위한 복수의 3D 영상 표시 장치에서 오브젝트 위치를 동일하게 유지시켜주는 3D 영상 표시 장치 간의 좌표계를 보정하는 좌표계 보정 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 평면 2D 영상 표시 장치 영상에서의 2D 오브젝트가 3D영상 표시 장치에서 3D 오브젝트로 벽에서 투과되어 나오는 것처럼 연출하여 콘텐츠적으로나 기술적으로 더욱 극대화된 경험을 제공할 수 있다.
또한 본 발명의 일 실시 예에 따르면, 복수의 2D 영상 표시 장치를 유기적으로 연결하여 더욱 넓은 범위를 디스플레이할 수 있으므로 더욱 몰입감있고 압도적인 장면을 연출할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템을 설명하기 위한 구성도.
도 2는 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템의 혼합현실용 디스플레이 장치를 설명하기 위한 블록도.
도 3은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템에서 2D 영상 표시 장치의 예시 도면.
도 4내지 도6은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 장치가 클리핑 평면을 설정하여 2D와 3D의 동적 변화를 예시한 도면들.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 장치가 렌더링 영역 경계를 일치시키는 예시 도면들.
도 9는 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 장치의 좌표계 보정부에 대한 블록도.
도 10은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템에서 복수의 2D 영상 표시 장치와 3D 영상 표시 장치들 간의 좌표계 공유를 위한 흐름도.
도 11은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 방법에 관한 순서도.
도 12는 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템의 예시도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템을 설명하기 위한 구성도이다.
도 1을 참조하면, 혼합현실용 디스플레이 시스템(10)은 혼합현실용 디스플레이 장치(100), 2D 영상 표시 장치(200) 및 3D 영상 표시 장치(300)를 포함한다.
혼합현실용 디스플레이 장치(100)는 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300)가 같은 장면을 공유하고 오브젝트를 동기화하도록 하기 위해 표시 장치들과 정보를 송수신한다.
2D 영상 표시 장치(200)는 2D 평면 영상을 표시할 수 있는 장치이다. 2D 영상 표시 장치(200)는 예를 들면, 프로젝터, TV, LED 전광판 일 수 있지만 이에 한정하지 않는다.
3D 영상 표시 장치(300)는 3D 영상 처리가 가능한 장치이다. 3D 영상 표시 장치(300)는 예를 들면, 홀로 렌즈와 같은 헤드 마운티드 디스플레이(Head Mounted Display, HMD)일 수 있다.
도 2는 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템의 혼합현실용 디스플레이 장치를 설명하기 위한 블록도이다.
도2를 참조하면, 혼합현실용 디스플레이 장치(100)는 2D 교정부(110), 3D 교정부(120), 클리핑 평면 설정부(130), 복수의 영상 표시 장치들 간에 표출되는 영상에 단락이 생기지 않도록 하는 렌더링부(140) 및 다인 체험을 위한 복수의 3D 영상 표시 장치에서 오브젝트 위치를 동일하게 유지시켜주는 3D 영상 표시 장치 간의 좌표계를 보정하는 좌표계 보정부(150)를 포함한다.
2D 교정부(110)는 복수의 2D 영상 표시 장치(200)들 간의 캘리브레이션을 할 수 있다. 원하는 영역을 2D 영상 표시 장치(200)로 표현하기 위해 복수의 2D 영상 표시 장치(200)를 설치하고 영상을 정렬한다. 복수의 2D 영상 표시 장치(200)들 간 겹치는 영상영역을 최소화한다
3D 교정부(120)는 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300)의 캘리브레이션을 수행한다. 2D 영상 표시 장치(200)는 영상이 표출되는 공간과의 떨어진 거리만큼 영상의 크기가 달라진다. 그래서 캘리브레이션을 위한 소프트웨어 단위 1의 오브젝트가 2D 영상 표시 장치에서의 단위1의 오브젝트와 동일하지 않다. 2D 영상 표시 장치(200)의 설치 위치에 따른 변화된 단위 크기를 실제 크기로 조절하여 3D 영상 표시 장치(300)와 2D 영상 표시 장치(200)의 오브젝트의 크기를 동일하게 맞춘다. 예를 들어 Unity3d 소프트웨어를 이용해 2D 영상 표시 장치(200)와 HMD 장치와 같은 3D 영상 표시 장치(300)의 캘리브레이션을 한다고 가정하면, Unity3d의 단위1은 HMD 장치에서 사용하는 현실 공간의 1m를 나타낸다. 하지만 2D 영상 표시 장치는 영상이 표출되는 공간과의 떨어진 거리만큼 영상의 크기가 달라지므로 캘리브레이션을 위한 Unity3d에서의 단위1의 오브젝트가 HMD 장치에서의 단위1의 오브젝트와 크기가 동일하지 않다. 그래서 HMD 장치와 2D 영상 표시 장치 간의 단위를 맞추기 위해 2D 영상 표시 장치에서 표출되는 최대 크기의 영역에서 Unity3d에서의 가상 카메라의 위치를 변경하여 실제 단위와 일치하도록 영상의 크기를 조절한다. 이런 식으로 2D 영상 표시 장치의 설치 위치에 따라 변화된 실제로 보이는 단위 크기를 실제 크기로 조절하여 HMD 장치와 2D 영상 표시 장치의 오브젝트 크기를 동일하게 맞춘다.
클리핑 평면 설정부(130)는 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300) 간의 클리핑 평면을 설정한다. 클리핑 평면은 2D 영상 표시 장치(200)를 기준으로 뒤쪽은 2D 영상 표시 장치(200)에서 2D 오브젝트로 보여지고 앞쪽은 3D 영상 표시 장치(300)에서 3D 오브젝트로 보여지도록 공간을 분리하여 영상을 표시하도록 하는 기준이다. 또한 클리핑 평면은 가상 카메라에서 어떤 거리 이상부터 렌더링할지 결정하는 속성으로, 이를 조절하여 벽에서 벽 앞쪽으로 나오는 물체를 잘라내는 정도를 조절한다. 즉 , 3D 영상 표시 장치(300)에서 클리핑 평면을 기준으로 평면 앞쪽으로 나오면 가상 오브젝트가 보이게 되고 평면 뒤로 가면 보이지 않게 된다. 클리핑 평면을 둠으로써 보이지 않던 가상 오브젝트가 벽 안쪽에서 점점 나타난다.
렌더링부(140)는 클리핑 평면 안쪽 영상은 2D 영상 표시 장치(200)에서는 표출하지 않도록 렌더링 영역을 정한다.
좌표계 보정부(150)는 다인 체험을 위한 복수의 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300)를 동일한 좌표계로 설정하여 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300)의 오브젝트 위치도 동일하게 유지시키는 기능을 수행한다.
도 3는 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템에서 2D 영상 표시 장치의 예시 도면이다.
도 3을 참고하면, 예를 들어 혼합현실용 디스플레이 시스템(10)은 2D 영상 표시 장치(200)로 2대의 빔프로젝터를 사용하고, 바닥의 개념으로 사용할 책상과 책상 끈(끝) 가장자리와 만나는 벽면을 두었다. 2개의 빔프로젝터는 벽와 책상의 모서리가 만나는 부분을 경계로 겹치는 부분을 최소화 하면서 가장 큰 화면을 표현할 수 있도록 설치한다. 도 3a는 빔프로젝터 1(201)이 벽 영역에 콘텐츠와 맞는 배경을 표시하는 예시화면이고, 도 3b는 빔프로젝터 2(202)가 책상 영역에 콘텐츠와 맞는 지형이미지를 표시하는 예시화면이다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 장치가 클리핑 평면을 설정하여 2D와 3D의 동적 변화를 예시한 도면들이다.
도 4를 참조하면, 혼합현실용 디스플레이 시스템(10)은 벽을 기준으로 벽 바깥쪽은 2D 영상 표시 장치(200)에서 보여지고 벽 안쪽은 3D 영상 표시 장치(300)에서 보여진다. 도 4b를 더 자세히 설명하면, 예를 들어 벽 앞으로 나오는 비행기의 앞부분은 3D 영상 표시 장치(300)에서 3D 오브젝트로 보여지고, 벽 바깥쪽에 있는 비행기의 뒷부분은 2D 영상 표시 장치(200)에서 2D 오브젝트 구현되며, 비행기가 벽을 기준으로 앞뒤로 움직임에 따라 2D에서 3D로, 3D에서 2D로 동적으로 변한다. 이러한 공간 분리를 위해 벽 바깥쪽(뒤쪽) 공간에서 벽 안쪽(앞쪽) 공간인 실제 공간에 돌출하는 가상의 오브젝트를 벽면을 잘라(Clipping) 주어야 한다. 즉, 벽 바깥쪽에서 벽 안쪽으로 나오는 오브젝트를 벽을 기준으로 구분하여야 하며, 이때 2D 영상 표시 장치(200)를 위해 렌더링되는 가상 카메라의 가까운 클리핑 평면(near clipping plane) 속성을 변경해야 한다. 클리핑 평면은 가상 카메라에서 어떤 거리 이상부터 렌더링할지 결정하는 속성으로, 이를 조절하여 벽에서 벽 앞쪽(안쪽)으로 나오는 오브젝트를 잘라내는 정보를 조절한다.
도 5를 참조하면, 혼합현실용 디스플레이 시스템(10)은 벽 바깥쪽은 2D 영상표시 장치(200)가 구현하고, 벽 안쪽은 3D 영상 표시 장치(300)가 구현하여 2D 오브젝트가 3D 오브젝트로 변환된다.
도 6을 참조하면, 혼합현실용 디스플레이 장치(100)는 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300)에서 보여주는 화면이 분리되어 있다. 도 6a는 3D 영상 표시 장치(300)에서 구현되는 화면으로 클리핑 평면을 기준으로 앞쪽으로 나오면 오브젝트가 보이게 되고 뒤쪽은 보이지 않는다. 클리핑 평면을 기준으로 보이지 않던 오브젝트가 점점 나타나게 되는 것이다. 도6b는 2D 영상 표시 장치에서 보여지는 화면으로 3D 영상 표시 장치의 클리핑 평면 안쪽 영상을 보여주는 것과 반대로 클리핑 평면 뒤쪽 화면을 표출하기 때문이 클리핑 평면이 존재하지 않는다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 장치가 렌더링 영역 경계를 일치시키는 예시 도면들이다.
도 7 을 참조하면, 혼합현실용 디스플레이 장치(100)의 렌더링부(140)는 클리핑 평면 안쪽 영상은 2D 영상 표시 장치(200)에서는 표출하지 않도록 렌더링 영역을 정한다. 예를 들면 복수의 2D 영상 표시 장치(200)에서 영상을 표출하기 위해 가상 카메라를 위치시킨 것으로 2대의 2D 영상 표시 장치(200)를 사용하기 때문에 카메라 아이콘 2개가 존재한다. 도 7a에서 카메라 아이콘에서부터 뻗어나가는 삼각형의 형태는 가상 카메라의 렌더링 영역을 표현한 것이다. 2D 영상 표시 장치(200)에서 벽 바깥쪽의 영역만 표출하려면 도 7b처럼 카메라부터 렌더링 영역에 클리핑 평면 옵션을 조절하여 벽 안쪽 영역을 렌더링 하지 말아야한다. 도 7a는 2D 영상 표시 장치의 클리핑 평면 설정 전의 도면이고, 도 7b는 클리핑 평면 설정한 후의 도면이다. 혼합현실용 디스플레이 장치(100)는 3D 영상 표시 장치(300)와 2D 영상 표시 장치(200)의 클리핑 평면을 동일한 거리와 형태로 구성하면 2D 영상 표시 장치(200)에서 표출되는 2D 오브젝트가 3D 영상 표시 장치(300)에서 3D 로 돌출되어 나오도록 한다.
도 7을 더 자세히 설명하면, 혼합현실용 디스플레이 시스템(10)은 가상 카메라의 렌더링 영역 사이에 사각지대가 존재한다. 이 부분은 각 가상 카메라 간의 렌더링 영역이 정확하게 겹치지 않아 생기는 영역으로 두 가상 카메라의 영역을 정확하게 일치시키지 않으면 2D 영상 표시 장치(200)에서 표출하는 영상에 단락이 생기게 된다. 이런 문제는 2D 영상이 표출된 실제 벽의 각도와 관련이 높으며, 벽의 각도에 따라 생기는 사각지대의 범위가 달라진다. 사각지대를 없애기 위해서는 가상 카메라들의 렌더링 영역의 경계가 일치해야 한다. 경계를 일치시키기 위해 표출되는 영상의 종횡비(aspect ratio)를 변경하여 가상 카메라의 경계를 평행하게 맞춘다.
도 8을 참조하면, 도 8a는 종횡비를 변경한 2D 영상 표시 장치(200)에서 클리핑 평면 설정 전의 예시 도면이고, 도8b는 클리핑 평면 설정 후에 예시 도면이다.
혼합현실용 디스플레이 시스템(10)은 도 8b는 도7b와는 다른 카메라의 종횡비를 가진다. 이러한 종횡비 설정으로 인해 가상 카메라의 위치와 클리핑 평면의 거리가 변경되는 것이다.
도 9는 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 장치의 좌표계 보정부에 대한 블록도이다.
도 9를 참조하면, 좌표계 보정부(150)는 기본 좌표계 선정부(151), 마커 좌표계 선정부(153) 및 공유 좌표계 선정부(155)를 포함한다.
좌표계 보정부(150)는 다인 체험을 위한 복수의 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300)를 동일한 좌표계로 설정하여 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300)의 오브젝트 위치도 동일하게 유지시키는 기능을 수행한다. 좌표계 보정부(150)는 기준 3D 영상 표시 장치(300)의 좌표계를 공유하여 복수의 3D 영상 표시 장치(300)가 공통적으로 사용하는 좌표계를 생성한다.
기본 좌표계 선정부(151)는 처음 어플리케이션이 실행된 위치를 기준으로 월드 좌표계를 초기화한다. 따라서 복수의 3D 영상 표시 장치(300)가 개별적으로 어플리케이션을 실행하면 각자의 월드 좌표계를 확정되기 때문에 같은 좌표 값으로 오브젝트를 위치시켜도 각 3D 영상 표시 장치(300)는 현실 공간의 다른 곳에 오브젝트를 렌더링 할 것이다. 그러므로 이를 위해 모든 3D 영상 표시 장치(300)가 공통적으로 사용하는 좌표계를 생성해야 한다.
일반적으로 우리가 사용하는 가상 세계의 3차원 월드 좌표계는 수학식 1처럼 어파인 행렬(affine matrix)로 표현된다. F는 x y z 축으로 길이가 1이면서 모든 축이 수직 관계이고 원점이 (0, 0, 0)을 지닌 행렬을 사용한다. 기본 좌표계 선정부(151)는 이런 행렬을 사용하여 처음 3D 영상 표시 장치(300)가 실행되었을 때 원점을 잡는다. 마커 좌표계 선정부(153)는 M을 새로운 좌표계를 확립하기 위한 행렬로 회전정보 R과 이동정보 T로 정의하고 이를 F에 곱해주어 새로운 좌표계를 생성한다. c는 FM으로 표현되는 좌표계에서의 점의 위치를 의미한다. F와 M으로 생성된 새로운 좌표계는 F’으로 표현할 수 있다. F'은 마커 좌표계 선정부(153)가 새롭게 선정한 좌표계이다.
Figure 112018120935014-pat00001
각각의 3D 영상 표시 장치(300)가 처음 실행되었을 때 기본 좌표계 선정부(153)는 F인 월드 좌표계를 생성된다. 마커 좌표계 선정부(153)는 기준이 되는 3D 영상 표시 장치(300)의 좌표계를 공유하기 위해 기준 3D 영상 표시 장치(300)의 월드 좌표계와 동일한 위치와 회전 정보를 가지는 새로운 좌표계인 F’을 생성한다. 공유 좌표계 선정부(155)는 각각의 3D 영상 표시 장치(300)의 고유한 월드 좌표계 F에 기준 3D 영상 표시 장치(300)의 F 좌표로 변환할 행렬 M을 찾아 곱해주어 3D 영상 표시 장치(300) 간의 좌표계를 일치시킨다. 공유 좌표계 선정부(155)는3D 영상 표시 장치(300) 간의 좌표계를 동일화하는 행렬을 찾았다면 3D 영상 표시 장치(300)와 2D 영상 표시 장치(200)의 물리적인 좌표계를 확립하기 위해 추가적으로 새로운 행렬을 찾아야 한다. 수학식 2에서 공유 좌표계 선정부(155)는 3D 영상 표시 장치(300) 간의 좌표계인 F’에 새로운 이동 회전 행렬인 P를 곱하여 2D 영상 표시 장치(200)의 영상이 맺히는 물리적인 공간 위치와 좌표계를 계산한다. 공유 좌표계 선정부(155)는 기준점이 되는 행렬 P를 찾기 위해 2D 영상 표시 장치(200)에서 마커를 표출하여 3D 영상 표시 장치(300)의 카메라로 마커를 인식하여 행렬 P를 구한다.
Figure 112018120935014-pat00002
이렇게 공유 좌표계 선정부(155)가 선정한 좌표계를 모든 3D 영상 표시 장치(300)의 기본 좌표계로 사용하면 오브젝트의 위치와 회전 정보를 공유할 수 있다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 혼합현실에서 다인 체험을 위한 복수의 2D 영상 표시 장치(200)와 3D 영상 표시 장치(300)를 연동하는 2D-3D 공간 동적 변환 디스플레이 장치(100)가 3D 영상 표시 장치(300) 간의 좌표계 공유와 2D 영상 표시 장치(200) 표출 영상의 물리적인 좌표를 계산하기 위한 방법을 순서대로 설명하는 그림이다.
혼합현실용 디스플레이 장치(100)가 3D 영상 표시 장치(200)와 2D 영상 표시 장치(300)의 좌표계 공유를 위해 사용하는 방법을 다음의3단계로 설명할 수 있다.
첫 번째 단계는 기본 좌표계 선정부(151)가 기본 좌표계를 확인하는 단계로 혼합현실용 디스플레이 장치(100)는 처음 접속한 3D 영상 표시 장치(300)의 월드 좌표계를 전달받아 저장한다. 이렇게 저장된 정보를 나머지 3D 영상 표시 장치(300)가 다운로드하여 지역좌표계를 생성한다.
두 번째 단계는 마커 좌표계 선정부(153)가 마커 좌표를 설정하는 단계로 본 발명의 일 실시예에 따른 혼합현실용 디스플레이 장치(100)는 기준이 되는 2D 영상 표시 장치(200)의 월드 좌표계의 원점에 마커를 출력하였다. 마커를 인식해 새로운 좌표계를 만들기 위해 3D 영상 표시 장치(300)의 좌표계 설정용 어플리케이션을 실행하여 혼합현실용 디스플레이 장치(100)에 월드 좌표계를 먼저 업로드 한다. 그 후에 3D 영상 표시 장치(300)에 내장된 RGB 카메라로 마커를 인식하여 새로운 하위 좌표계인 마커 좌표계를 생성한다. 이렇게 생성된 좌표계의 정보를 혼합현실용 디스플레이 장치(100)에서 저장한다. 이렇게 되면 3D 영상 표시 장치(300)의 마커 좌표계와 2D 영상 표시 장치(200)가 출력하는 영상의 원점이 동일한 위치와 회전 정보를 가지게 된다.
세 번째 단계는 공유 좌표계 선정부(153)가 3D 영상 표시 장치(300)와 3D 영상 표시 장치(300) 간 공유 좌표계 확립하는 것으로, 본 발명의 일 실시예에 따른 혼합현실용 디스플레이 장치(10)는 마커의 좌표계를 혼합현실용 디스플레이 장치(100)에 업로드 하였으면 좌표 확립용 어플리케이션을 종료하고 시연용 콘텐츠를 실행한다. 그러면 3D 영상 표시 장치(300)는 혼합현실용 디스플레이 장치(100)에 업로드 되어 있는 월드 좌표계를 다운로드하고 3D 영상 표시 장치(300)끼리 지역 좌표계가 설정된다. 그 후에 마커 좌표계를 혼합현실용 디스플레이 장치(100)로부터 다운로드 받아 2D 영상 표시 장치 장치(200)의 원점과 동일한 좌표계를 설정한다. 이렇게 되면 3D 영상 표시 장치(300)와 2D 영상 표시 장치(200)의 좌표계가 동일화 됨과 동시에 오브젝트의 위치도 동일하게 유지된다.
도 11는 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 방법을 나타낸 블록도이다.
도 11을 참조하면, 혼합현실용 디스플레이 방법은 복수의 2D 영상 표시 장치 간의 캘리브레이션을 하는 2D 영상 표시 장치 교정단계 S111, 2D 영상 표시 장치와 3D 영상 표시 장치 간의 캘리브레이션을 하는 3D 영상 표시 장치 교정단계 S112, 2D 영상 표시 장치와 3D 영상 표시 장치 간의 클리핑 평면을 설정하는 클리핑 평면 설정 단계 S113, 영상 표시 장치들 간에 표출되는 영상에 중복 또는 단락이 생기지 않도록 하는 렌더링 단계 S114 및 다인 체험을 위한 복수의 3D 영상 표시 장치에서 오브젝트 위치를 동일하게 유지시켜주는 3D 영상 표시 장치 간의 좌표계를 보정하는 좌표계 보정 단계 S115를 포함한다. 좌표계 보정 단계 S115는 3D 영상 표시 장치 중에 하는 선정하여 기본 좌표계를 선정하는 단계, 선정된 기본 좌표계를 기준으로 2D 영상 표시 장치의 마커 좌표를 보정하는 단계, 지정된 마커 좌표계를 공유하여 복수의 3D 영상 표시 장치의 좌표계를 보정하는 단계를 포함한다.
도 12는 본 발명의 일 실시 예에 따른 혼합현실용 디스플레이 시스템의 예시도면이다.
도 12를 참조하면, 혼합현실용 디스플레이 시스템(10)은 복수의 2D 영상 표시 장치(200)와 3D영상 표시 장치(300)로 다인이 동시에 체험할 수 있다.
다인 체험을 위한 복수의 2D 영상 표시 장치와 3D 영상 표시 장치의 2D-3D 공간 동적 변환을 제공하는 혼합현실용 디스플레이 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 혼합현실용 디스플레이 시스템
100: 혼합현실용 디스플레이 장치
200: 3D 영상 표시 장치
300: 2D 영상 표시 장치
110: 2D 교정부
120: 3D 교정부
130: 클리핑 평면 설정부
140: 렌더링부
150: 좌표계 보정부
151: 기본 좌표계 선정부
153: 마커 좌표계 선정부
155: 공유 좌표계 선정부

Claims (6)

  1. 혼합현실용 디스플레이 시스템에 있어서,
    복수의 2D 영상 표시 장치 간의 캘리브레이션을 하는 2D 교정부;
    상기 2D 영상 표시 장치와 3D 영상 표시 장치 간의 캘리브레이션을 하는 3D 교정부;
    상기 2D 영상 표시 장치의 영상과 상기 3D 영상 표시 장치의 영상 간의 클리핑 평면을 설정하는 클리핑 평면 설정부;
    상기 영상 표시 장치들 간에 렌더링 영역의 경계를 일치시키는 렌더링부; 및
    복수의 3D 영상 표시 장치가 각각 표시하는 영상에서 오브젝트 위치를 동일하게 유지하기 위한 3D 영상 표시 장치 간의 좌표계를 보정하는 좌표계 보정부를 포함하되,
    상기 클리핑 평면 설정부는,
    상기2D 영상 표시 장치가 표현하는 2D오브젝트와 3D 영상 표시 장치가 표현하는 3D오브젝트가 연결되도록 클리핑 평면을 설정하는 혼합현실용 디스플레이 장치.
  2. 제1 항에 있어서,
    상기 3D 교정부는,
    상기 2D 영상 표시 장치의 설치 위치에 따라 변화된 단위 크기를 실제 크기로 조절하여 상기 3D 영상 표시 장치와 상기 2D 영상 표시 장치 간의 오브젝트 크기를 동일하게 맞추어 캘리브레이션을 수행하는 혼합현실용 디스플레이 장치.
  3. 삭제
  4. 제1 항에 있어서,
    상기 렌더링부는,
    상기 2D 영상 표시 장치의 위치와 클리핑 평면으로 인해 화면이 중복 또는 단락이 생기지 않도록 상기 2D 영상 표시 장치의 렌더링 영역을 지정하는 혼합현실용 디스플레이 장치.
  5. 혼합현실용 디스플레이 방법에 있어서,
    복수의 2D 영상 표시 장치 간의 캘리브레이션을 하는 2D 영상 표시 장치 교정단계;
    상기 2D 영상 표시 장치와 3D 영상 표시 장치 간의 캘리브레이션을 하는 3D 영상 표시 장치 교정단계;
    상기 2D 영상 표시 장치와 3D 영상 표시 장치 간의 클리핑 평면을 설정하는 클리핑 평면 설정 단계;
    상기 영상 표시 장치들 간에 표출되는 영상에 중복 또는 단락이 생기지 않도록 하는 렌더링 단계; 및
    다인 체험을 위한 복수의 3D 영상 표시 장치에서 오브젝트 위치를 동일하게 유지시켜주는 3D 영상 표시 장치 간의 좌표계를 보정하는 좌표계 보정 단계를 포함하되,
    상기 2D 영상 표시 장치와 3D 영상 표시 장치 간의 클리핑 평면을 설정하는 클리핑 평면 설정 단계는
    상기 2D 영상 표시 장치가 표현하는 2D오브젝트와 3D 영상 표시 장치가 표현하는 3D오브젝트가 연결되도록 클리핑 평면을 설정하는 혼합현실용 디스플레이 방법.
  6. 제5항에서 혼합현실용 디스플레이 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
KR1020180153789A 2018-12-03 2018-12-03 혼합현실용 디스플레이 장치 및 방법 KR102168318B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180153789A KR102168318B1 (ko) 2018-12-03 2018-12-03 혼합현실용 디스플레이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180153789A KR102168318B1 (ko) 2018-12-03 2018-12-03 혼합현실용 디스플레이 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200067306A KR20200067306A (ko) 2020-06-12
KR102168318B1 true KR102168318B1 (ko) 2020-10-22

Family

ID=71088307

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153789A KR102168318B1 (ko) 2018-12-03 2018-12-03 혼합현실용 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102168318B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220169262A (ko) * 2021-06-18 2022-12-27 (주)이머시브캐스트 비콘 기반의 멀티플레이어 인터랙션을 위한 클라우드 vr 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858720B2 (en) * 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
KR101944050B1 (ko) * 2015-05-27 2019-04-17 구글 엘엘씨 파노라마 가상 현실 콘텐츠의 캡쳐 및 렌더링

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220169262A (ko) * 2021-06-18 2022-12-27 (주)이머시브캐스트 비콘 기반의 멀티플레이어 인터랙션을 위한 클라우드 vr 장치
KR102599862B1 (ko) * 2021-06-18 2023-11-08 (주)이머시브캐스트 비콘 기반의 멀티플레이어 인터랙션을 위한 클라우드 vr 장치

Also Published As

Publication number Publication date
KR20200067306A (ko) 2020-06-12

Similar Documents

Publication Publication Date Title
US11257233B2 (en) Volumetric depth video recording and playback
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
JP6643357B2 (ja) 全球状取込方法
EP2160714B1 (en) Augmenting images for panoramic display
US11423626B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US20180130264A1 (en) Virtual reality editor
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
US11494528B2 (en) Tool bridge
US20120032951A1 (en) Apparatus and method for rendering object in 3d graphic terminal
JP6126271B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP2020525902A (ja) 画像を生成する装置および方法
US11170563B2 (en) Immersive environment with digital environment to enhance depth sensation
US20220248162A1 (en) Method and apparatus for providing audio content in immersive reality
CN111095348A (zh) 基于摄像头的透明显示器
US11386529B2 (en) Virtual, augmented, and mixed reality systems and methods
US20230005101A1 (en) Information processing apparatus, information processing method, and recording medium
US10684678B1 (en) Method and apparatus for generating mixed reality environment using drone equipped with stereo camera
WO2020166376A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
KR102168318B1 (ko) 혼합현실용 디스플레이 장치 및 방법
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
US11150470B2 (en) Inertial measurement unit signal based image reprojection
JP2017208808A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
KR102061812B1 (ko) Vr 컨텐츠 제작 방법
CN115244494A (zh) 用于处理扫描对象的系统和方法
JP2017208809A (ja) 仮想空間を提供する方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant