KR101779390B1 - 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법 - Google Patents

고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법 Download PDF

Info

Publication number
KR101779390B1
KR101779390B1 KR1020160010723A KR20160010723A KR101779390B1 KR 101779390 B1 KR101779390 B1 KR 101779390B1 KR 1020160010723 A KR1020160010723 A KR 1020160010723A KR 20160010723 A KR20160010723 A KR 20160010723A KR 101779390 B1 KR101779390 B1 KR 101779390B1
Authority
KR
South Korea
Prior art keywords
model
dimensional
image
control computer
camera
Prior art date
Application number
KR1020160010723A
Other languages
English (en)
Other versions
KR20170090181A (ko
Inventor
허상훈
Original Assignee
허상훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 허상훈 filed Critical 허상훈
Priority to KR1020160010723A priority Critical patent/KR101779390B1/ko
Publication of KR20170090181A publication Critical patent/KR20170090181A/ko
Application granted granted Critical
Publication of KR101779390B1 publication Critical patent/KR101779390B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H04N13/0203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개시된 내용은 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법에 관한 것으로서, 테이블과, 테이블의 중앙에 고정 배치되는 조형물과, 조형물과 테이블의 가장자리 사이 공간에 구비되는 3차원 모형과, 테이블에 구비되는 조형물과 3차원 모형을 촬영하는 3차원 카메라와, 조형물 및 3차원 모형에 사전에 설정되어 있는 영상을 투사하는 프로젝터, 그리고 장치 구동시 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 프로젝터와 동기화하고, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성한 후 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하며, 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터를 통해 조형물과 3차원 모형에 투사하도록 제어하되, 조형물에는 기 설정되어 있는 변화되지 않는 영상을 투사하도록 제어함과 동시에 3차원 모형에는 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 투사하도록 제어하는 제어 컴퓨터로 구성된다.
따라서, 본 발명은 작은 공간에서 이루어지던 증강현실 환경을 대단위 공간으로 확장시킬 수 있고, 이에 따라 변화되는 영상과 고정된 영상이 모두 포함된 다양한 증강현실 환경을 구현할 수 있다.

Description

고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법{Apparatus and method for realizing augmented reality using fixed sculpture and flow type three-dimensional model}
본 발명은 사용자의 손이 닿는 위치에서는 자유롭게 유동형 3차원 모형을 실시간으로 변경시켜 변화되는 영상을 증강현실로 구현하고, 손이 닿지 않는 위치에서는 고정된 조형물을 통해 정해진 영상을 증강현실로 구현하는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법에 관한 것이다.
최근 들어 영상산업의 비약적 발전으로 인해 3차원 영상을 이용한 기술의 개발이 활발하게 이루어지고 있다. 즉 텔레비전이나 스크린을 통한 2차원 평면이 아닌 3차원으로 영상을 확인할 수 있게 된 것이다.
3차원 영상을 위한 장치로는 홀로그래피, 3차원 디스플레이 장치(예를 들어, 3D 안경), 증강현실(Augmented Reality) 등이 대표적이다.
홀로그래피는 위상이 갖추어진 레이저 광선을 이용하여 렌즈 없이 한 장의 사진으로 입체상을 촬영, 재생하는 방법 또는 이것을 응용한 광학 기술이고, 3차원 디스플레이 장치는 인간의 양안 시차를 이용하여 3차원 영상을 감상하도록 하는 장치이며, 증강 현실은 실제환경과 가상의 객체가 혼합되어 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로서 가상현실 기술에 비하여 보다 나은 현실감과 부가 정보를 제공한다.
이 중에서 홀로그래피나 3차원 디스플레이 장치는 영상이 표시되는 영역의 깊이, 모양 등의 지형정보를 참조하여 영상을 입체적으로 표시하는 기술이 아니기 때문에 사용자가 자유롭게 영상이 표시되는 3차원 영역을 생성하고, 이렇게 생성된 3차원 영역에 원하는 영상을 투사하여 표시하는 형태의 3차원 영상 구현방식을 얻을 수 없었다.
또한, 실제환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제환경을 볼 수 있게 하여 홀로그래피나 3차원 디스플레이 장치에서 얻을 수 없는 현실감을 제공할 수 있지만, 사용자와의 상호 작용(interaction)을 토대로 증강현실로 구현되는 공간이 제한되었기 때문에 대규모 공간에서 많은 사용자가 동시에 이용하기 어려웠다.
그리고 증강현실 구현공간을 대규모로 확장할 경우, 증강현실 구현공간의 외곽에서는 사용자가 자유롭게 상호 작용을 토대로 변화되는 영상을 증강현실로 확인할 수 있지만, 사람의 손이 닿지 않는 증강현실 구현공간의 중심부에서 변화되는 영상을 구현하고자 할 경우에는 사람이 직접 들어가서 조작하여야 하는 불편함이 있었다.
대한민국 등록특허공보 제10-1299191호 대한민국 공개특허공보 제10-1998-0050467호
본 발명은, 손이 닿는 위치에서는 사용자가 자유롭게 모래와 같은 입상물(粒狀物)인 유동형 3차원 모형을 실시간으로 이동시키거나 변경시켜 변화되는 영상이 증강현실로 구현되도록 하고, 손이 닿지 않는 위치에서는 고정된 조형물을 통해 정해진 영상이 증강현실로 구현되도록 하는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법을 제공한다.
본 발명의 일 실시예에 따른 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치는, 테이블과, 테이블의 중앙에 고정 배치되는 조형물과, 조형물과 테이블의 가장자리 사이 공간에 구비되는 3차원 모형과, 테이블에 구비되는 조형물과 3차원 모형을 촬영하는 3차원 카메라와, 조형물 및 3차원 모형에 사전에 설정되어 있는 영상을 투사하는 프로젝터, 그리고 장치 구동시 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 프로젝터와 동기화하고, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스(vertex) 데이터를 생성한 후 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하며, 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터를 통해 조형물과 3차원 모형에 투사하도록 제어하되, 조형물에는 기 설정되어 있는 변화되지 않는 영상을 투사하도록 제어함과 동시에 3차원 모형에는 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 투사하도록 제어하는 제어 컴퓨터를 포함할 수 있다.
이때 상술한 제어 컴퓨터는, 3차원 카메라 및 OpenGL 초기화를 처리하고, 3차원 카메라로부터 입력되는 촬영 데이터와 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하고, 생성된 3차원 버텍스 데이터와 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하며, 렌더링될 색상 및 밝기정보를 토대로 조형물 및 3차원 모형에 투사될 영상을 렌더링하여 프로젝터로 출력하되, 조형물에는 기 설정되어 있는 변화되지 않는 영상을 렌더링하여 프로젝터로 출력하고 3차원 모형에는 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 렌더링하여 프로젝터로 출력하는 영상 처리부와, 테이블에 구비되는 조형물 및 3차원 모형에 대한 정보, 프로젝터를 통해 조형물 및 3차원 모형에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있는 데이터베이스, 그리고 영상 처리부에서의 3차원 카메라 및 OpenGL 초기화 처리, 3차원 카메라로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 조형물에 투사될 기 설정된 변화되지 않는 영상의 렌더링, 3차원 모형에 투사될 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상의 렌더링을 제어하는 제어부를 포함할 수 있다.
그리고 3차원 모형은, 모래를 포함한 입상물로서 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 프로젝터를 통해 변화되는 영상이 투사되는 것이 바람직하다.
그리고 제어 컴퓨터에서 수행하는 OpenGL 초기화는, 시야각(field of view), 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 한 프로젝터와의 동기화이다.
또한, 본 발명의 일 실시예에 따른 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현방법은, (1) 제어 컴퓨터는, 장치의 구동이 이루어지면 조형물과 3차원 모형을 촬영하는 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 조형물과 3차원 모형에 영상을 투사하는 프로젝터를 동기화하는 단계와, (2) 제어 컴퓨터는, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하는 단계와, (3) 제어 컴퓨터는, (2) 단계에서 결정된 렌더링될 색상 및 밝기에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터를 통해 조형물과 3차원 모형에 투사하되, 조형물에는 기 설정되어 있는 변화되지 않는 영상을 투사하며, 3차원 모형에는 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 투사하는 단계, 그리고 (4) 제어 컴퓨터는, 조형물과 3차원 모형에 투사중인 영상 컨텐츠가 종료될 때까지 (2) 단계 이후를 반복 처리하는 단계를 포함할 수 있다.
그리고 (1) 단계는, (1-1) 장치가 구동되면, 제어 컴퓨터는 조형물과 3차원 모형을 촬영하는 3차원 카메라를 초기화하는 단계와, (1-2) 제어 컴퓨터는, 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하는 단계와, (1-3) 제어 컴퓨터는, 시야각, 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화하는 단계, 그리고 (1-4) 제어 컴퓨터는, 3차원 카메라로부터의 상대적 위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화하는 단계를 포함할 수 있다.
그리고 (2) 단계는, (2-1) 제어 컴퓨터는, 3차원 카메라로부터 조형물과 3차원 모형을 촬영한 촬영 데이터를 수신하는 단계와, (2-2) 제어 컴퓨터는, (2-1) 단계를 통해 수신한 3차원 카메라의 촬영 데이터와 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하는 단계, 그리고 (2-3) 제어 컴퓨터는, (2-2) 단계에서 생성된 3차원 버텍스 데이터와 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하는 단계를 포함할 수 있다.
그리고 (3) 단계는, (3-1) 제어 컴퓨터는, 조형물과 3차원 모형에 투사할 영상을 확인하는 단계와, (3-2) 제어 컴퓨터는, (3-1) 단계에서 확인된 조형물에 투사할 변화되지 않는 영상을 (2) 단계에서 결정된 렌더링될 색상 및 밝기를 토대로 렌더링하는 단계와, (3-3) 제어 컴퓨터는, (3-1) 단계에서 확인된 3차원 모형에 투사할 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 (2) 단계에서 결정된 렌더링될 색상 및 밝기를 토대로 렌더링하는 단계, 그리고 (3-4) 제어 컴퓨터는, (3-2) 단계에서 렌더링한 변화되지 않는 영상과 (3-3) 단계에서 렌더링한 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 프로젝터를 통해 조형물과 3차원 모형에 투사하는 단계를 포함할 수 있다.
이상에서와 같이 본 발명의 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법에 따르면, 사용자의 손길이 닿는 공간에는 유동형 3차원 모형을 배치하여 사용자와의 상호 작용을 통해 변화되는 영상이 증강현실로 구현되도록 하고, 사용자의 손길이 닿지 않는 공간에는 고정된 조형물을 배치하여 항상 고정된 영상이 증강현실로 구현되도록 함으로써, 종래와 같이 작은 공간에서 이루어지던 증강현실 환경을 대단위 공간으로 확장시킬 수 있으며, 이에 따라 변화되는 영상과 고정된 영상이 모두 포함된 다양한 증강현실 환경을 구현할 수 있는 효과가 있다.
또한, 소규모의 제한된 인원이 이용할 수 있었던 증강현실 환경에서 벗어나 대규모의 인원이 하나의 공간에서 동시에 증강현실 환경을 이용할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1의 제어 컴퓨터의 구성을 상세하게 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현방법의 동작과정을 나타낸 순서도이다.
도 4 내지 도 6은 도 3의 각 서브루틴의 동작과정을 상세하게 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법을 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.
본 발명은 프로젝션 매핑을 통한 대형 증강현실 구현을 수행할 때, 사용자의 손이 닿아 마음껏 상호 작용(interaction)할 수 있는 영역과 손에 닿지 않아 상호 작용을 할 수 없는 영역을 구분하고, 상호 작용이 불가한 영역에는 대형 조형물을 위치시키며, 이 조형물을 상단에 있는 프로젝터에서 투사되는 영상의 변화에 따라 그 전체적인 세계의 컨셉을 표현하도록 한 것이다.
도 1은 본 발명의 일 실시예에 따른 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치의 구성을 개략적으로 나타낸 도면이다.
도시된 바와 같이 본 발명의 장치는, 테이블(100), 조형물(200), 3차원 모형(300), 3차원 카메라(400), 프로젝터(500), 제어 컴퓨터(600) 등으로 구성된다.
테이블(100)은 상부의 중앙 부분에 형태가 고정된 조형물(200)이 구비되며, 조형물(200)과 가장자리 사이의 공간에는 형태가 변화될 수 있는 3차원 모형(300)이 구비된다.
예를 들어, 테이블(100)은 상부가 개방되고, 하부에 다수 개의 다리가 구비된 형태로 구현되어, 다수의 사용자가 테이블(100)에 붙어서 3차원 모형(300)을 자유롭게 변형시키면서 프로젝터(500)로 조형물(200)과 3차원 모형(300)에 증강현실을 통해 투사되는 영상을 확인할 수 있다.
조형물(200)은 테이블(100) 상부의 중앙 부분에 고정 배치되는 구조물(예를 들어 도 1에서와 같이 섬 형태의 구조물)로서, 변형되지 않는 재질로 형성되는 것이 바람직하다.
3차원 모형(300)은 조형물(200)과 테이블(100)의 가장자리 사이 공간에 구비된다.
이때 3차원 모형(300)은 모래를 포함한 입상물로서, 사용자의 조작에 따라 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 프로젝터(500)를 통해 변화되는 영상이 투사된다.
3차원 카메라(400)는 테이블(100)에 구비되는 조형물(200)과 3차원 모형(300)을 촬영하고, 촬영 데이터를 제어 컴퓨터(600)로 출력한다.
프로젝터(500)는 제어 컴퓨터(600)의 제어를 토대로 조형물(200) 및 3차원 모형(300)에 사전에 설정되어 있는 영상을 투사한다.
이때 프로젝터(500)는 영상을 투사할 때 조형물(200)에는 고정된 영상을 투사하며, 3차원 모형(300)에는 3차원 모형(300)의 실시간 이동이나 변경에 따라 변화되는 영상을 투사한다.
제어 컴퓨터(600)는 장치 구동시 3차원 카메라(400)를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 프로젝터(500)와 동기화한다. 그리고 3차원 카메라(400)로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성한 후 3차원 버텍스 데이터와 3차원 카메라(400)와의 거리를 토대로 렌더링될 색상 및 밝기를 결정(예를 들어, 촬영 데이터를 각 픽셀별로 사전에 정해진 영상 데이터에 따라 깊이, 모양, 색상 등으로 치환하는 작업)한다.
그리고 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터(500)를 통해 조형물(200)과 3차원 모형(300)에 투사하도록 제어하되, 조형물(200)에는 기 설정되어 있는 변화되지 않는 영상을 투사하도록 제어함과 동시에 3차원 모형(300)에는 3차원 모형(300)의 실시간 이동이나 변경에 따라 변화되는 영상을 투사하도록 제어한다.
이때 제어 컴퓨터(600)에서 수행하는 OpenGL 초기화는, 시야각, 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 한 프로젝터(500)와의 동기화이다.
이와 같이 OpenGL 초기화를 수행하는 이유는 프로젝터(500)의 광축이 3차원 카메라(400)의 광축에 대비하여 뒤틀려 있기 때문이다. 즉 프로젝터(500)는 수평방향의 광축을 기준으로 할 때 상부 방향으로 치우쳐 영상을 투사하는 반면, 3차원 카메라(400)는 수평방향의 광축을 기준으로 상하 일정한 폭으로 영상을 촬영하기 때문에 광축의 차이가 발생되어 이를 조정하기 위한 것이다.
도 2는 상술한 도 1의 제어 컴퓨터(600)의 구성을 보다 상세하게 나타낸 도면이다.
도시된 바와 같이 본 발명의 제어 컴퓨터(600)는, 영상 처리부(610), 데이터베이스(620), 제어부(630) 등으로 구성된다.
영상 처리부(610)는 3차원 카메라(400) 및 OpenGL 초기화를 처리하고, 3차원 카메라(400)로부터 입력되는 촬영 데이터와 3차원 카메라(400)의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성한다. 그리고 생성된 3차원 버텍스 데이터와 3차원 카메라(400)로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하며, 렌더링될 색상 및 밝기정보를 토대로 테이블(100) 상에 구비된 조형물(200) 및 3차원 모형(300)에 투사될 영상을 렌더링하여 프로젝터(400)로 출력한다.
이때 영상 처리부(610)는 조형물(200)에 투사될 영상은 기 설정되어 있는 변화되지 않는 영상이 되도록 렌더링하여 프로젝터(500)로 출력하고, 3차원 모형(300)에 투사될 영상은 3차원 모형(300)의 실시간 이동이나 변경에 따라 변화되는 영상이 되도록 렌더링하여 프로젝터(500)로 출력한다.
데이터베이스(620)는 테이블(100)에 구비되는 조형물(200) 및 3차원 모형(300)에 대한 정보, 프로젝터(500)를 통해 조형물(200) 및 3차원 모형(300)에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있다.
제어부(630)는 영상 처리부(610)에서의 3차원 카메라(400) 및 OpenGL 초기화 처리, 3차원 카메라(400)로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 조형물(200)에 투사될 기 설정된 변화되지 않는 영상의 렌더링, 3차원 모형(300)에 투사될 3차원 모형(300)의 실시간 이동이나 변경에 따라 변화되는 영상의 렌더링을 총괄적으로 제어한다.
다음에는, 이와 같이 구성된 본 발명에 따른 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현방법의 일 실시예를 도 3 내지 도 6을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현방법의 동작과정을 상세하게 나타낸 순서도이다.
우선, 제어 컴퓨터(600)는 장치의 구동이 이루어지면 테이블(100)에 위치된 조형물(200)과 3차원 모형(300)을 촬영하는 3차원 카메라(400)를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 조형물(200)과 3차원 모형(300)에 영상을 투사하는 프로젝터(500)를 동기화한다(S100).
이를 도 4를 참조하여 구체적으로 설명하면, 전원공급을 토대로 장치가 구동을 시작하면 제어 컴퓨터(600)는 조형물(200)과 3차원 모형(300)을 촬영하는 3차원 카메라(400)를 초기화한다(S110).
그리고 제어 컴퓨터(600)는 기 저장되어 있는 3차원 엔진 구동용 프로그램인 OpenGL을 초기화한다(S120).
OpenGL을 초기화할 때 제어 컴퓨터(600)는 시야각, 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화한 후(S130), 3차원 카메라(400)로부터의 상대적위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화한다(S140).
S100 단계를 통해 3차원 카메라(400) 및 OpenGL을 초기화한 이후, 제어 컴퓨터(600)는 3차원 카메라(400)로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 3차원 버텍스 데이터와 3차원 카메라(400)와의 거리를 토대로 렌더링될 색상 및 밝기를 결정한다(S200).
이를 도 5를 참조하여 구체적으로 설명하면, 제어 컴퓨터(600)는 3차원 카메라(400)로부터 조형물(200)과 3차원 모형(300)을 촬영한 촬영 데이터를 수신하고(S210), S210 단계를 통해 수신한 3차원 카메라(400)의 촬영 데이터와 3차원 카메라(400)의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성한다(S220).
이후 제어 컴퓨터(600)는 S220 단계에서 생성된 3차원 버텍스 데이터와 3차원 카메라(400)로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정한다(S230).
S200 단계를 통해 3차원 버텍스 데이터의 생성 및 렌더링될 색상/밝기를 결정한 이후, 제어 컴퓨터(600)는 S200 단계에서 결정된 렌더링될 색상 및 밝기에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터(500)를 통해 조형물(200)과 3차원 모형(300)에 투사하되, 조형물(200)에는 기 설정되어 있는 변화되지 않는 영상을 투사하며, 3차원 모형(300)에는 3차원 모형(300)의 실시간 이동이나 변경에 따라 변화되는 영상을 투사한다(S300).
이를 도 6을 참조하여 구체적으로 설명하면, 제어 컴퓨터(600)는 조형물(200)과 3차원 모형(300)에 투사할 영상을 확인한다(S310).
그리고 제어 컴퓨터(600)는 S310 단계에서 확인된 조형물(200)에 투사할 변화되지 않는 영상을 S200 결정된 렌더링될 색상 및 밝기를 토대로 렌더링한다(S320).
또한, 제어 컴퓨터(600)는 S310 단계에서 확인된 3차원 모형(300)에 투사할 3차원 모형(300)의 실시간 이동이나 변경에 따라 변화되는 영상을 S200 단계에서 결정된 렌더링될 색상 및 밝기를 토대로 렌더링한다(S330).
그리고 제어 컴퓨터(600)는 S320 단계에서 렌더링한 변화되지 않는 영상과 S330 단계에서 렌더링한 3차원 모형(300)의 실시간 이동이나 변경에 따라 변화되는 영상을 프로젝터(500)를 통해 조형물(200)과 3차원 모형(300)에 투사한다(S340).
마지막으로, 제어 컴퓨터(600)는 조형물(200)과 3차원 모형(300)에 투사중인 영상 컨텐츠가 종료될 때까지 S200 단계 이후를 반복 처리한다(S400).
이처럼, 본 발명은 고정된 조형물과 유동형 3차원 모형을 통해 변화되는 영상과 고정된 영상이 모두 포함된 다양한 증강현실 환경을 구현할 수 있으며, 작은 공간에서 이루어지던 증강현실 환경을 대단위 공간으로 확장시킬 수 있다.
또한, 본 발명은 소규모의 제한된 인원이 이용하였던 환경에서 벗어나 대규모의 인원이 하나의 공간에서 동시에 증강현실 환경을 이용할 수 있다.
여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.
100 : 테이블
200 : 조형물
300 : 3차원 모형
400 : 3차원 카메라
500 : 프로젝터
600 : 제어 컴퓨터
610 : 영상 처리부
620 : 데이터베이스
630 : 제어부

Claims (8)

  1. 테이블;
    상기 테이블의 중앙에 고정 배치되는 조형물;
    상기 조형물과 상기 테이블의 가장자리 사이 공간에 구비되는 3차원 모형;
    상기 테이블에 구비되는 상기 조형물과 상기 3차원 모형을 촬영하는 3차원 카메라;
    상기 조형물 및 상기 3차원 모형에 사전에 설정되어 있는 영상을 투사하는 프로젝터; 및
    장치 구동시 상기 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 상기 프로젝터와 동기화하고, 상기 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스(vertex) 데이터를 생성한 후 상기 3차원 버텍스 데이터와 상기 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하며, 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 상기 프로젝터를 통해 상기 조형물과 상기 3차원 모형에 투사하도록 제어하되, 상기 조형물에는 기 설정되어 있는 변화되지 않는 영상을 투사하도록 제어함과 동시에 상기 3차원 모형에는 상기 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 투사하도록 제어하는 제어 컴퓨터;를 포함하며,
    상기 제어 컴퓨터에서 수행하는 OpenGL 초기화는 시야각(field of view), 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 상기 프로젝터와 동기화하는 것임을 특징으로 하는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치.
  2. 제 1 항에 있어서,
    상기 제어 컴퓨터는,
    상기 3차원 카메라 및 OpenGL 초기화를 처리하고, 상기 3차원 카메라로부터 입력되는 촬영 데이터와 상기 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하고, 생성된 상기 3차원 버텍스 데이터와 상기 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하며, 렌더링될 색상 및 밝기정보를 토대로 상기 조형물 및 상기 3차원 모형에 투사될 영상을 렌더링하여 상기 프로젝터로 출력하되, 상기 조형물에는 기 설정되어 있는 변화되지 않는 영상을 렌더링하여 상기 프로젝터로 출력하고 상기 3차원 모형에는 상기 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 렌더링하여 상기 프로젝터로 출력하는 영상 처리부,
    상기 테이블에 구비되는 상기 조형물 및 상기 3차원 모형에 대한 정보, 상기 프로젝터를 통해 상기 조형물 및 상기 3차원 모형에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있는 데이터베이스, 그리고
    상기 영상 처리부에서의 상기 3차원 카메라 및 OpenGL 초기화 처리, 상기 3차원 카메라로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 상기 조형물에 투사될 기 설정된 변화되지 않는 영상의 렌더링, 상기 3차원 모형에 투사될 상기 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상의 렌더링을 제어하는 제어부
    를 포함하는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치.
  3. 제 1 항에 있어서,
    상기 3차원 모형은,
    모래를 포함한 입상물로서 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 상기 프로젝터를 통해 변화되는 영상이 투사되는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치.
  4. 삭제
  5. (1) 제어 컴퓨터는, 장치의 구동이 이루어지면 조형물과 3차원 모형을 촬영하는 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 상기 조형물과 상기 3차원 모형에 영상을 투사하는 프로젝터를 동기화하는 단계,
    (2) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 상기 3차원 버텍스 데이터와 상기 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하는 단계,
    (3) 상기 제어 컴퓨터는, 상기 (2) 단계에서 결정된 렌더링될 색상 및 밝기에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 상기 프로젝터를 통해 상기 조형물과 상기 3차원 모형에 투사하되, 상기 조형물에는 기 설정되어 있는 변화되지 않는 영상을 투사하며, 상기 3차원 모형에는 상기 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 투사하는 단계, 그리고
    (4) 상기 제어 컴퓨터는, 상기 조형물과 상기 3차원 모형에 투사중인 영상 컨텐츠가 종료될 때까지 상기 (2) 단계 이후를 반복 처리하는 단계
    를 포함하는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현방법.
  6. 제 5 항에 있어서,
    상기 (1) 단계는,
    (1-1) 장치가 구동되면, 상기 제어 컴퓨터는 상기 조형물과 상기 3차원 모형을 촬영하는 상기 3차원 카메라를 초기화하는 단계,
    (1-2) 상기 제어 컴퓨터는, 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하는 단계,
    (1-3) 상기 제어 컴퓨터는, 시야각(field of view), 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화하는 단계, 그리고
    (1-4) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터의 상대적 위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화하는 단계
    를 포함하는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현방법.
  7. 제 5 항에 있어서,
    상기 (2) 단계는,
    (2-1) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터 상기 조형물과 상기 3차원 모형을 촬영한 촬영 데이터를 수신하는 단계,
    (2-2) 상기 제어 컴퓨터는, 상기 (2-1) 단계를 통해 수신한 상기 3차원 카메라의 촬영 데이터와 상기 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하는 단계, 그리고
    (2-3) 상기 제어 컴퓨터는, 상기 (2-2) 단계에서 생성된 상기 3차원 버텍스 데이터와 상기 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하는 단계
    를 포함하는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현방법.
  8. 제 5 항에 있어서,
    상기 (3) 단계는,
    (3-1) 상기 제어 컴퓨터는, 상기 조형물과 상기 3차원 모형에 투사할 영상을 확인하는 단계,
    (3-2) 상기 제어 컴퓨터는, 상기 (3-1) 단계에서 확인된 상기 조형물에 투사할 변화되지 않는 영상을 상기 (2) 단계에서 결정된 렌더링될 색상 및 밝기를 토대로 렌더링하는 단계,
    (3-3) 상기 제어 컴퓨터는, 상기 (3-1) 단계에서 확인된 상기 3차원 모형에 투사할 상기 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 상기 (2) 단계에서 결정된 렌더링될 색상 및 밝기를 토대로 렌더링하는 단계, 그리고
    (3-4) 상기 제어 컴퓨터는, 상기 (3-2) 단계에서 렌더링한 변화되지 않는 영상과 상기 (3-3) 단계에서 렌더링한 상기 3차원 모형의 실시간 이동이나 변경에 따라 변화되는 영상을 상기 프로젝터를 통해 상기 조형물과 상기 3차원 모형에 투사하는 단계
    를 포함하는 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현방법.
KR1020160010723A 2016-01-28 2016-01-28 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법 KR101779390B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160010723A KR101779390B1 (ko) 2016-01-28 2016-01-28 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160010723A KR101779390B1 (ko) 2016-01-28 2016-01-28 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170090181A KR20170090181A (ko) 2017-08-07
KR101779390B1 true KR101779390B1 (ko) 2017-09-18

Family

ID=59654110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160010723A KR101779390B1 (ko) 2016-01-28 2016-01-28 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101779390B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765539B (zh) * 2018-05-24 2022-05-13 武汉斗鱼网络科技有限公司 基于OpenGLES的图像渲染方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100577118B1 (ko) * 2005-11-08 2006-05-04 (주)미디어스페이스 프로젝터 영상을 이용한 모형 연동 인터렉티브 장치 및방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100577118B1 (ko) * 2005-11-08 2006-05-04 (주)미디어스페이스 프로젝터 영상을 이용한 모형 연동 인터렉티브 장치 및방법

Also Published As

Publication number Publication date
KR20170090181A (ko) 2017-08-07

Similar Documents

Publication Publication Date Title
US10652522B2 (en) Varying display content based on viewpoint
Agrawala et al. Artistic multiprojection rendering
KR101793192B1 (ko) 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법
US7796134B2 (en) Multi-plane horizontal perspective display
US8947422B2 (en) Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
CN106027855B (zh) 一种虚拟摇臂的实现方法和终端
US11514654B1 (en) Calibrating focus/defocus operations of a virtual display based on camera settings
JP2007531951A (ja) 水平遠近法ディスプレイ
US20060221071A1 (en) Horizontal perspective display
KR20200043458A (ko) 3d 장면의 이미지를 생성 및 수정하기 위한 방법
US20060250390A1 (en) Horizontal perspective display
CN105389846A (zh) 一种三维模型的展示方法
JP2021527252A (ja) 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
US9454845B2 (en) Shadow contouring process for integrating 2D shadow characters into 3D scenes
KR101757627B1 (ko) 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법
KR101779390B1 (ko) 고정된 조형물과 유동형 3차원 모형을 이용한 증강현실 구현장치 및 그 방법
KR101895284B1 (ko) 3차원 모형을 이용한 증강현실 환경에서의 테이블 자동구동장치 및 그 방법
KR101860680B1 (ko) 3d 증강 프리젠테이션 구현 방법 및 장치
KR101895281B1 (ko) 증강현실 환경에서의 막대형 물체를 캡처하기 위한 장치 및 그 방법
KR101800612B1 (ko) 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치 및 그 방법
KR20170090600A (ko) 증강현실 구현을 위한 입체형상 구축장치 및 그 방법
JP6601392B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
Booth et al. Computers: Computers animate films and video: Computers permit spectacular visual effects and take the drudgery out of film cartooning
KR20170090192A (ko) 증강현실 환경에서의 시력보호장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant