KR101757627B1

KR101757627B1 - 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법

Info

Publication number: KR101757627B1
Application number: KR1020160010707A
Authority: KR
Inventors: 허상훈
Original assignee: 허상훈
Priority date: 2016-01-28
Filing date: 2016-01-28
Publication date: 2017-07-14

Abstract

개시된 내용은 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법에 관한 것으로서, 3차원 모형과, 3차원 모형이 수납되는 테이블과, 사용자의 이동조작을 토대로 테이블에 수납된 3차원 모형 상부에 위치되는 하나 이상의 마커와, 테이블에 수납된 3차원 모형을 촬영하거나, 또는 3차원 모형과 마커를 촬영하는 3차원 카메라와, 마커를 촬영하는 적외선 카메라와, 마커를 촬영하는 컬러 카메라와, 3차원 모형에 사전에 설정되어 있는 영상을 투사하며, 마커에 3차원 모형에 투사되는 영상과 다른 영상이나 텍스트를 투사하는 프로젝터, 그리고 장치 구동시 3차원 카메라, 적외선 카메라, 컬러 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 프로젝터와 동기화하고, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스(vertex) 데이터를 생성한 후 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하고, 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터를 통해 3차원 모형에 투사하도록 제어하고, 증강현실을 통한 영상의 투사 과정에서 마커의 사용이 확인되면 3차원 카메라로부터 입력되는 촬영 데이터, 적외선 카메라로부터 입력되는 적외선 데이터, 컬러 카메라로부터 입력되는 RGB(Red, Green, Blue) 데이터를 토대로 마커의 3차원 위치를 트래킹하되, 3차원 카메라로부터 입력되는 촬영 데이터와 적외선 카메라로부터 입력되는 적외선 데이터를 이용하여 마커의 x축, y축, z축의 3차원 좌표를 확인함과 동시에 컬러 카메라로부터 입력되는 RGB 데이터를 이용하여 하나 이상의 마커 중 어느 마커인지를 확인하며, 트래킹된 마커에 각각의 마커별로 특정된 영상이나 텍스트를 프로젝터를 통해 투사하도록 제어하는 제어 컴퓨터로 구성된다.
따라서, 본 발명은 사용자가 특정 위치에 마커를 이동시키는 단순한 동작만으로 증강현실을 통해 투사되는 영상과 다른 영상이나 텍스트를 해당 마커 위치에 표시할 수 있고, 별도의 표시장치를 사용할 필요가 없어 증강현실 구현을 위한 비용지출을 줄일 수 있으며, 하나 이상의 마커를 사용하더라도 각각의 마커별 위치를 정확하게 트래킹하여 여러 개의 영상이나 텍스트를 동시에 표시할 수 있다.

Description

3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법{Marker tracking apparatus for projection area in augmented reality environment using three-dimensional model and marker tracking method thereof}

본 발명은 프로젝터를 통해 영상이 투사되는 영역 위에서 프로젝터의 빛의 간섭으로부터 자유롭게 마커의 3차원 위치를 트래킹할 수 있는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법에 관한 것이다.

최근 들어 영상산업의 비약적 발전으로 인해 3차원 영상을 이용한 기술의 개발이 활발하게 이루어지고 있다. 즉 텔레비전이나 스크린을 통한 2차원 평면이 아닌 3차원으로 영상을 확인할 수 있게 된 것이다.

3차원 영상을 위한 장치로는 홀로그래피, 3차원 디스플레이 장치(예를 들어, 3D 안경), 증강현실(Augmented Reality) 등이 대표적이다.

홀로그래피는 위상이 갖추어진 레이저 광선을 이용하여 렌즈 없이 한 장의 사진으로 입체상을 촬영, 재생하는 방법 또는 이것을 응용한 광학 기술이고, 3차원 디스플레이 장치는 인간의 양안 시차를 이용하여 3차원 영상을 감상하도록 하는 장치이며, 증강 현실은 실제환경과 가상의 객체가 혼합되어 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로서 가상현실 기술에 비하여 보다 나은 현실감과 부가 정보를 제공한다.

이 중에서 홀로그래피나 3차원 디스플레이 장치는 영상이 표시되는 영역의 깊이, 모양 등의 지형정보를 참조하여 영상을 입체적으로 표시하는 기술이 아니기 때문에 사용자가 자유롭게 영상이 표시되는 3차원 영역을 생성하고, 이렇게 생성된 3차원 영역에 원하는 영상을 투사하여 표시하는 형태의 3차원 영상 구현방식을 얻을 수 없었다.

또한, 실제환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제환경을 볼 수 있게 하여 홀로그래피나 3차원 디스플레이 장치에서 얻을 수 없는 현실감을 제공할 수 있었다.

그러나, 종래의 증강현실 기술은 증강현실을 통해 영상이 투사되고 있는 프로젝션 영역에 현재 투사되는 영상 이외의 다른 영상이나 텍스트를 표시하고자 할 경우, 별도의 표시장치를 프로젝션 영역의 표시 위치에 구비시켜야 하기 때문에 증강현실 구현에 따른 비용이 많이 소모되는 문제점이 있었다.

또한, 프로젝션 영역에 현재 투사되는 영상 이외의 다른 영상이나 텍스트를 표시하기 위해 사용되는 표시장치 이외에, 별개의 하드웨어장치를 사용하여 그 위치를 찾은 후 원하는 영상이나 텍스트를 표시하는 방식을 사용할 수 있으나, 이 방식을 적용할 경우 프로젝터에서 투사되는 빛의 간섭으로 인해 하드웨어장치의 위치를 정확하게 찾아내기 어려운 문제점이 있었다.

대한민국 등록특허공보 제10-1299191호 대한민국 공개특허공보 제10-1998-0050467호

본 발명은, 증강현실을 통해 3차원 모형에 영상을 투사하는 과정에서 사용자가 임의로 이동시킬 수 있는 마커의 위치를 프로젝터에서 투사되는 빛에 영향을 받지 않고 자유롭게 트래킹할 수 있는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법을 제공한다.

본 발명은, 프로젝터를 통해 영상이 투사되는 영역 위에서 사용자가 이동시키는 마커의 3차원 위치를 트래킹하고, 트래킹된 마커의 위치에 증강현실을 통해 투사되는 영상과 다른 영상이나 텍스트를 중첩하여 표시할 수 있는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법을 제공한다.

본 발명은, 프로젝터를 통해 영상이 투사되는 영역 위에 하나 이상의 마커가 동시에 사용될 때 각각의 마커별로 고유하게 설정된 색의 감지를 토대로 각각의 마커별 3차원 위치를 정확하게 트래킹할 수 있는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법을 제공한다.

본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치는, 3차원 모형과, 3차원 모형이 수납되는 테이블과, 사용자의 이동조작을 토대로 테이블에 수납된 3차원 모형 상부에 위치되는 하나 이상의 마커와, 테이블에 수납된 3차원 모형을 촬영하거나, 또는 3차원 모형과 마커를 촬영하는 3차원 카메라와, 마커를 촬영하는 적외선 카메라와, 마커를 촬영하는 컬러 카메라와, 3차원 모형에 사전에 설정되어 있는 영상을 투사하며, 마커에 3차원 모형에 투사되는 영상과 다른 영상이나 텍스트를 투사하는 프로젝터, 그리고 장치 구동시 3차원 카메라, 적외선 카메라, 컬러 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 프로젝터와 동기화하고, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스(vertex) 데이터를 생성한 후 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하고, 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터를 통해 3차원 모형에 투사하도록 제어하고, 증강현실을 통한 영상의 투사 과정에서 마커의 사용이 확인되면 3차원 카메라로부터 입력되는 촬영 데이터, 적외선 카메라로부터 입력되는 적외선 데이터, 컬러 카메라로부터 입력되는 RGB(Red, Green, Blue) 데이터를 토대로 마커의 3차원 위치를 트래킹하되, 3차원 카메라로부터 입력되는 촬영 데이터와 적외선 카메라로부터 입력되는 적외선 데이터를 이용하여 마커의 x축, y축, z축의 3차원 좌표를 확인함과 동시에 컬러 카메라로부터 입력되는 RGB 데이터를 이용하여 하나 이상의 마커 중 어느 마커인지를 확인하며, 트래킹된 마커에 각각의 마커별로 특정된 영상이나 텍스트를 프로젝터를 통해 투사하도록 제어하는 제어 컴퓨터를 포함할 수 있다.

이때 상술한 마커는, 3차원 모형에 투사되는 영상과 다른 영상이나 텍스트가 투사되는 본체와, 본체의 일측에 연장 형성되는 손잡이와, 본체의 중앙부에 위치하며 적외선 신호를 방출하는 적외선 LED와, 본체의 중앙부에 위치하며 RGB 신호를 방출하는 컬러 LED, 그리고 적외선 LED와 컬러 LED의 상부에 구비되며 적외선 LED에서 방출되는 적외선 신호와 컬러 LED에서 방출되는 RGB 신호를 확산시켜 출력하는 확산부재를 포함할 수 있다.

그리고 상술한 제어 컴퓨터는, 3차원 카메라, 적외선 카메라, 컬러 카메라 및 OpenGL 초기화를 처리하고, 3차원 카메라로부터 입력되는 촬영 데이터와 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하고, 생성된 3차원 버텍스 데이터와 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하고, 렌더링될 색상 및 밝기정보를 토대로 3차원 모형에 투사될 영상을 렌더링하여 프로젝터로 출력하며, 증강현실을 통해 영상을 투사할 때 마커가 트래킹되면 트래킹된 마커에 투사될 특정 영상이나 텍스트를 렌더링하여 프로젝터로 출력하는 영상 처리부와, 테이블에 수납되는 3차원 모형에 대한 정보, 프로젝터를 통해 3차원 모형에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있으며, 하나 이상의 마커의 구분을 위한 RGB 값 정보, 각각의 마커별로 투사할 영상이나 텍스트 정보를 저장하고 있는 데이터베이스와, 적외선 카메라로부터 입력되는 적외선 데이터를 이진화 처리한 후 블롭(binary large object)을 검색하여 적외선 카메라 좌표에서 3차원 카메라 좌표로 변환하고, 3차원 카메라 좌표로 변환한 적외선 카메라 좌표와 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 카메라 좌표를 월드좌표로 변환하여 마커의 x축, y축, z축의 3차원 좌표를 확인하고, 블롭과 컬러 카메라로부터 입력되는 RGB 데이터를 토대로 적외선 카메라 좌표를 컬러 카메라 좌표로 변환한 후 변환된 컬러 카메라 좌표의 RGB 값을 추출하여 하나 이상의 마커 중 어느 마커인지를 확인하는 마커 트래킹부, 그리고 영상 처리부에서의 3차원 카메라, 적외선 카메라, 컬러 카메라 및 OpenGL 초기화 처리, 3차원 카메라로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 3차원 모형에 투사될 영상의 렌더링, 트래킹된 마커에 투사될 특정 영상이나 텍스트의 렌더링을 제어하며, 마커 트래킹부에서의 적외선 데이터 이진화 처리, 블롭 검색, 적외선 카메라 좌표의 3차원 카메라 좌표 변환, 3차원 카메라 좌표의 월드좌표 변환, 적외선 카메라 좌표의 컬러 카메라 좌표 변환, 컬러 카메라 좌표의 RGB 값 추출과 마커 확인을 제어하는 제어부를 포함할 수 있다.

그리고 3차원 모형은, 모래를 포함한 입상물로서 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 프로젝터를 통해 변화되는 영상이 투사되는 것이 바람직하다.

그리고 제어 컴퓨터에서 수행하는 OpenGL 초기화는, 시야각(field of view), 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 한 프로젝터와의 동기화이다.

또한, 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 방법은, (1) 제어 컴퓨터는, 장치의 구동이 이루어지면 3차원 모형을 촬영하는 3차원 카메라를 초기화하고, 3차원 모형 상에 이동 배치되는 마커를 촬영하는 적외선 카메라 및 컬러 카메라를 초기화하며, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 3차원 모형에 영상을 투사하는 프로젝터를 동기화하는 단계와, (2) 제어 컴퓨터는, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하는 단계와, (3) 제어 컴퓨터는, (2) 단계에서 결정된 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터를 통해 3차원 모형에 투사하는 단계와, (4) 제어 컴퓨터는, (3) 단계를 통해 3차원 모형에 영상이 투사되는 프로젝션 영역에 마커가 위치하는지를 판단하는 단계와, (5) (4) 단계의 판단결과 프로젝션 영역에 마커가 위치하면, 제어 컴퓨터는 3차원 카메라로부터 입력되는 촬영 데이터, 적외선 카메라로부터 입력되는 적외선 데이터, 컬러 카메라로부터 입력되는 RGB 데이터를 토대로 마커의 3차원 위치를 트래킹하되, 3차원 카메라로부터 입력되는 촬영 데이터와 적외선 카메라로부터 입력되는 적외선 데이터를 이용하여 마커의 x축, y축, z축의 3차원 좌표를 확인함과 동시에 컬러 카메라로부터 입력되는 RGB 데이터를 이용하여 하나 이상의 마커 중 어느 마커인지를 확인하는 단계와, (6) 제어 컴퓨터는, (5) 단계를 통해 트래킹된 마커에 각각의 마커별로 특정된 영상이나 텍스트를 렌더링하여 프로젝터를 통해 투사하는 단계, 그리고 (7) 제어 컴퓨터는, 3차원 모형에 투사중인 영상 컨텐츠가 종료될 때까지 (2) 단계 이후를 반복 처리하는 단계를 포함할 수 있다.

그리고 상술한 (1) 단계는, (1-1) 장치가 구동되면, 제어 컴퓨터는 3차원 모형을 촬영하는 3차원 카메라를 초기화하는 단계와, (1-2) 제어 컴퓨터는, 3차원 모형에 이동 배치되는 마커를 촬영하는 적외선 카메라를 초기화하는 단계와, (1-3) 제어 컴퓨터는, 3차원 모형에 이동 배치되는 마커를 촬영하는 컬러 카메라를 초기화하는 단계와, (1-4) 제어 컴퓨터는, 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 프로젝터와 동기화하는 단계와, (1-5) 제어 컴퓨터는, 시야각, 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화하는 단계, 그리고 (1-6) 제어 컴퓨터는, 3차원 카메라로부터의 상대적 위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화하는 단계를 포함할 수 있다.

그리고 상술한 (2) 단계는, (2-1) 제어 컴퓨터는, 3차원 카메라로부터 3차원 모형을 촬영한 촬영 데이터를 수신하는 단계와, (2-2) 제어 컴퓨터는, (2-1) 단계를 통해 수신한 3차원 카메라의 촬영 데이터와 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하는 단계, 그리고 (2-3) 제어 컴퓨터는, (2-2) 단계에서 생성된 3차원 버텍스 데이터와 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하는 단계를 포함할 수 있다.

그리고 상술한 (5) 단계는, (5-1) (4) 단계의 판단결과 프로젝션 영역에 마커가 위치하면, 제어 컴퓨터는, 3차원 카메라로부터 입력되는 촬영 데이터, 적외선 카메라로부터 입력되는 적외선 데이터 및 컬러 카메라로부터 입력되는 RGB 데이터를 수신하는 단계와, (5-2) 제어 컴퓨터는, (5-1) 단계를 통해 적외선 카메라로부터 수신한 적외선 데이터를 이진화 처리하는 단계와, (5-3) 제어 컴퓨터는, (5-2) 단계에서 이진화 처리한 데이터에서 블롭이 검색되는지를 판단하는 단계와, (5-4) (5-3) 단계의 판단결과 블롭이 검색되면, 제어 컴퓨터는 검색된 블롭을 토대로 적외선 카메라 좌표를 3차원 카메라 좌표로 변환하는 단계와, (5-5) 제어 컴퓨터는, (5-1) 단계를 통해 3차원 카메라로부터 수신한 촬영 데이터와 (5-4) 단계를 통해 3차원 카메라 좌표로 변환한 적외선 카메라 좌표를 토대로 3차원 카메라 좌표를 월드좌표로 변환하여 마커의 x축, y축, z축의 3차원 좌표를 확인하는 단계와, (5-6) 제어 컴퓨터는, (5-1) 단계를 통해 컬러 카메라로부터 수신한 RGB 데이터와 (5-3) 단계에서 검색된 블롭을 토대로 적외선 카메라 좌표를 컬러 카메라 좌표로 변환하는 단계, 그리고 (5-7) 제어 컴퓨터는, (5-6) 단계에서 변환된 컬러 카메라 좌표의 RGB 값을 추출하여 하나 이상의 마커 중 어느 마커인지를 확인하는 단계를 포함할 수 있다.

이상에서와 같이 본 발명의 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법에 따르면, 증강현실을 통해 3차원 모형에 영상을 투사하는 과정에서 사용자가 임의로 이동시킬 수 있는 마커의 위치를 프로젝터에서 투사되는 빛에 영향을 받지 않고 자유롭게 트래킹하고 트래킹된 마커의 위치에 증강현실을 통해 투사되는 영상과 다른 영상이나 텍스트를 표시할 수 있기 때문에 사용자가 특정 위치에 마커를 이동시키는 단순한 동작만으로 증강현실을 통해 투사되는 영상과 다른 영상이나 텍스트를 해당 위치에 중첩하여 표시할 수 있는 효과가 있다.

또한, 프로젝션 영역에 투사되는 영상 이외의 다른 영상이나 텍스트 표시를 위해 종래와 같이 별도의 표시장치를 사용할 필요가 없으므로 증강현실 구현비용을 줄일 수 있는 효과가 있다.

또한, 프로젝션 영역에 하나 이상의 마커를 동시에 사용하더라도 각각의 마커별 위치를 정확하게 트래킹할 수 있으므로 여러 개의 다른 영상이나 텍스트를 동시에 중첩하여 표시할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1의 마커의 구성을 상세하게 나타낸 도면이다.
도 3은 도 1의 제어 컴퓨터의 구성을 상세하게 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 방법의 동작과정을 나타낸 순서도이다.
도 5 내지 도 7은 도 4의 각 서브루틴의 동작과정을 상세하게 나타낸 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치 및 그 방법을 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.

도 1은 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치의 구성을 개략적으로 나타낸 도면이다.

도시된 바와 같이 본 발명의 장치는, 3차원 모형(100), 테이블(200), 마커(300), 3차원 카메라(400), 적외선 카메라(500), 컬러 카메라(600), 프로젝터(700), 제어 컴퓨터(800) 등으로 구성된다.

3차원 모형(100)은 모래를 포함한 입상물로서, 사용자의 조작에 따라 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 프로젝터(700)를 통해 변화되는 영상이 투사된다.

테이블(200)은 상부가 개방된 형태로 되어 있고, 내부에 3차원 모형(100)이 수납되어 있으며, 하나 이상의 마커(300)가 3차원 모형(100) 상에 이동 배치된다.

마커(300)는 사용자의 이동조작을 토대로 테이블(200)에 수납된 3차원 모형(100)의 상부에 위치되며, 하나 이상 동시에 사용될 수 있다.

3차원 카메라(400)는 테이블(200)에 수납된 3차원 모형(100)을 촬영하여 촬영 데이터를 제어 컴퓨터(800)로 출력하거나, 또는 증강현실 구현 과정에서 하나 이상의 마커(300)가 사용되는 경우 3차원 모형(100)과 마커(300)를 촬영하여 촬영 데이터를 제어 컴퓨터(800)로 출력한다.

적외선 카메라(500)는 증강현실 구현 과정에서 하나 이상의 마커(300)가 사용되는 경우 마커(300)에서 방출되는 적외선 신호를 촬영하여 제어 컴퓨터(800)로 출력한다.

컬러 카메라(600)는 증강현실 구현 과정에서 하나 이상의 마커(300)가 사용되는 경우 마커(300)에서 방출되는 RGB 신호를 촬영하여 제어 컴퓨터(800)로 출력한다.

프로젝터(700)는 제어 컴퓨터(800)의 제어를 토대로 3차원 모형(100)에 사전에 설정되어 있는 영상을 투사하며, 마커(300)가 사용되는 경우에는 마커(300)에 3차원 모형(100)에 투사되는 영상과 다른 영상이나 텍스트를 투사한다.

제어 컴퓨터(800)는 장치 구동시 3차원 카메라(400), 적외선 카메라(500), 컬러 카메라(600)를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 프로젝터와 동기화한다. 그리고 3차원 카메라(400)로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성한 후 3차원 버텍스 데이터와 3차원 카메라(400)와의 거리를 토대로 렌더링될 색상 및 밝기를 결정결정(예를 들어, 촬영 데이터를 각 픽셀별로 사전에 정해진 영상 데이터에 따라 깊이, 모양, 색상 등으로 치환하는 작업)하고, 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터(700)를 통해 3차원 모형(100)에 투사하도록 제어한다.

또한, 제어 컴퓨터(800)는 증강현실을 통한 영상의 투사 과정에서 3차원 모형(100)의 특정 위치에 사용자의 이동조작을 토대로 마커(300)가 위치되면, 3차원 카메라(400)로부터 입력되는 촬영 데이터, 적외선 카메라(500)로부터 입력되는 적외선 데이터, 컬러 카메라(600)로부터 입력되는 RGB 데이터를 토대로 마커(300)의 3차원 위치를 트래킹하되, 3차원 카메라(400)로부터 입력되는 촬영 데이터와 적외선 카메라(500)로부터 입력되는 적외선 데이터를 이용하여 마커(300)의 x축, y축, z축의 3차원 좌표를 확인함과 동시에 컬러 카메라(600)로부터 입력되는 RGB 데이터를 이용하여 하나 이상의 마커(300) 중 어느 마커(300)인지를 확인한다. 그리고 트래킹된 마커(300)에 각각의 마커별로 특정된 영상이나 텍스트를 프로젝터(700)를 통해 투사하도록 제어한다.

이때 제어 컴퓨터(800)에서 수행하는 OpenGL 초기화는, 시야각, 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라(400)로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 한 프로젝터(700)와의 동기화이다. 이와 같이 OpenGL 초기화를 수행하는 이유는 프로젝터(700)의 광축이 3차원 카메라(300)의 광축에 대비하여 뒤틀려 있기 때문이다. 즉 프로젝터(700)는 수평방향의 광축을 기준으로 할 때 상부 방향으로 치우쳐 영상을 투사하는 반면, 3차원 카메라(400)는 수평방향의 광축을 기준으로 상하 일정한 폭으로 영상을 촬영하기 때문에 광축의 차이가 발생되어 이를 조정하기 위함이다.

도 2는 상술한 도 1의 마커(300)의 구성을 상세하게 나타낸 도면으로서, 본체(310), 손잡이(320), 적외선 LED(330), 컬러 LED(340), 확산부재(350) 등으로 구성된다.

본체(310)는 3차원 모형(100)에 투사되는 영상과 다른 영상이나 텍스트가 투사되는 부분이다.

손잡이(320)는 사용자가 파지하여 마커(300)의 위치를 자유롭게 이동시기 위한 부분으로서, 본체(310)의 일측에 연장 형성된다.

적외선 LED(330)는 본체(310)의 중앙부에 위치하며, 상부로 적외선 신호를 방출한다.

컬러 LED(340)는 본체(310)의 중앙부에 위치하며, 상부로 RGB 신호를 방출한다.

확산부재(diffuse shell)(350)는 적외선 LED(330)와 컬러 LED(340)의 상부에 구비되며, 적외선 LED(330)에서 방출되는 적외선 신호와 컬러 LED(340)에서 방출되는 RGB 신호를 확산시켜 출력한다.

도 3은 상술한 도 1의 제어 컴퓨터(800)의 구성을 보다 상세하게 나타낸 도면으로서, 영상 처리부(810), 마커 트래킹부(820), 데이터베이스(830), 제어부(840) 등으로 구성된다.

영상 처리부(810)는 3차원 카메라(400), 적외선 카메라(500), 컬러 카메라(600) 및 OpenGL 초기화를 처리하고, 3차원 카메라(400)로부터 입력되는 촬영 데이터와 3차원 카메라(400)의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하고, 생성된 3차원 버텍스 데이터와 3차원 카메라(400)로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하고, 렌더링될 색상 및 밝기정보를 토대로 3차원 모형(100)에 투사될 영상을 렌더링하여 프로젝터(700)로 출력한다.

또한, 영상 처리부(810)는 증강현실을 통해 영상을 투사할 때 마커(300)가 사용되어 마커 트래킹부(820)를 통해 트래킹되면 트래킹된 마커(300)에 투사될 특정 영상이나 텍스트를 렌더링하여 프로젝터(700)로 출력한다.

마커 트래킹부(820)는 증강현실을 통해 3차원 모형(100)에 영상이 투사되는 과정에서 사용자의 조작에 의해 마커(300)가 사용되면, 적외선 카메라(500)로부터 입력되는 적외선 데이터를 이진화 처리한 후 블롭을 검색하여 적외선 카메라 좌표에서 3차원 카메라 좌표로 변환하고, 3차원 카메라 좌표로 변환한 적외선 카메라 좌표와 3차원 카메라(400)로부터 입력되는 촬영 데이터를 토대로 3차원 카메라 좌표를 월드좌표로 변환하여 마커의 x축, y축, z축의 3차원 좌표를 확인한다. 이와 동시에 마커 트래킹부(820)는 적외선 데이터에서 확인된 블롭과 컬러 카메라(600)로부터 입력되는 RGB 데이터를 토대로 적외선 카메라 좌표를 컬러 카메라 좌표로 변환한 후 변환된 컬러 카메라 좌표의 RGB 값을 추출하여 하나 이상의 마커(300) 중 어느 마커(300)인지를 확인한다.

데이터베이스(830)는 테이블(200)에 수납되는 3차원 모형(100)에 대한 정보, 프로젝터(700)를 통해 3차원 모형(100)에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있으며, 하나 이상의 마커(300)의 구분을 위한 RGB 값 정보, 각각의 마커(300)별로 투사할 영상이나 텍스트 정보를 저장하고 있다.

제어부(840)는 영상 처리부(810)에서의 3차원 카메라(400), 적외선 카메라(500), 컬러 카메라(600) 및 OpenGL 초기화 처리, 3차원 카메라(400)로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 3차원 모형(100)에 투사될 영상의 렌더링, 트래킹된 마커에 투사될 특정 영상이나 텍스트의 렌더링을 제어한다.

또한, 제어부(840)는 마커 트래킹부(820)에서의 적외선 데이터 이진화 처리, 블롭 검색, 적외선 카메라 좌표의 3차원 카메라 좌표 변환, 3차원 카메라 좌표의 월드좌표 변환, 적외선 카메라 좌표의 컬러 카메라 좌표 변환, 컬러 카메라 좌표의 RGB 값 추출과 마커 확인을 제어한다.

다음에는, 이와 같이 구성된 본 발명에 따른 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 방법의 일 실시예를 도 4 내지 도 7을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.

도 4 내지 도 7은 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 방법의 동작과정을 상세하게 나타낸 순서도이다.

우선, 제어 컴퓨터(800)는 장치의 구동이 이루어지면 3차원 모형(100)을 촬영하는 3차원 카메라(400)를 초기화하고, 3차원 모형(100) 상에 이동 배치되는 마커(300)를 촬영하는 적외선 카메라(500) 및 컬러 카메라(600)를 초기화하며, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 3차원 모형(100)에 영상을 투사하는 프로젝터(700)를 동기화한다(S100).

도 5를 참조하여 이를 구체적으로 설명하면, 전원공급 등을 토대로 장치가 구동을 시작하면 제어 컴퓨터(800)는 3차원 모형(100)을 촬영하는 3차원 카메라(400)를 초기화한다(S110).

그리고 제어 컴퓨터(800)는 3차원 모형(100)에 이동 배치되는 마커(300)를 촬영하는 적외선 카메라(500)를 초기화한 후(S120), 마커(300)를 촬영하는 컬러 카메라(600)를 초기화한다(S130).

그리고 제어 컴퓨터(800)는 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 프로젝터(700)와 동기화한다(S140).

OpenGL을 초기화할 때 제어 컴퓨터(800)는 시야각, 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화한 후(S150), 3차원 카메라(400)로부터의 상대적 위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화한다(S160).

S100 단계를 통해 3차원 카메라(400), 적외선 카메라(500), 컬러 카메라(600) 및 OpenGL을 초기화한 이후, 제어 컴퓨터(800)는 3차원 카메라(400)로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 3차원 버텍스 데이터와 3차원 카메라(400)와의 거리를 토대로 렌더링될 색상 및 밝기를 결정한다(S200).

이를 도 6을 참조하여 구체적으로 설명하면, 제어 컴퓨터(800)는 3차원 카메라(400)로부터 3차원 모형(100)을 촬영한 촬영 데이터를 수신하고(S210), S210 단계를 통해 수신한 3차원 카메라(400)의 촬영 데이터와 3차원 카메라(400)의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성한다(S220).

이후 제어 컴퓨터(800)는 S220 단계에서 생성된 3차원 버텍스 데이터와 3차원 카메라(400)로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정한다(S230).

S200 단계를 통해 3차원 버텍스 데이터의 생성 및 렌더링될 색상/밝기를 결정한 이후, 제어 컴퓨터(800)는 S200 단계에서 결정된 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터(700)를 통해 3차원 모형(100)에 투사한다(S300).

이후, 제어 컴퓨터(800)는 S300 단계를 통해 3차원 모형(100)에 영상이 투사되는 프로젝션 영역에 마커(300)가 위치하는지를 판단한다(S400). 즉 프로젝션 영역에 현재 투사되는 영상 이외의 다른 영상이나 텍스트를 표시하기 위해 이동 가능한 마커(300)가 사용되는지를 판단하는 것이다.

S400 단계의 판단결과 프로젝션 영역에 마커(300)가 위치하면, 제어 컴퓨터(800)는 3차원 카메라(400)로부터 입력되는 촬영 데이터, 적외선 카메라(500)로부터 입력되는 적외선 데이터, 컬러 카메라(600)로부터 입력되는 RGB 데이터를 토대로 마커(300)의 3차원 위치를 트래킹한다(S500). 즉 3차원 카메라(400)로부터 입력되는 촬영 데이터와 적외선 카메라(500)로부터 입력되는 적외선 데이터를 이용하여 마커의 x축, y축, z축의 3차원 좌표를 확인함과 동시에 컬러 카메라(600)로부터 입력되는 RGB 데이터를 이용하여 기 설정되어 있는 하나 이상의 마커(300) 중 어느 마커(300)인지를 확인하는 것이다.

이를 도 7을 참조하여 구체적으로 설명하면, 제어 컴퓨터(800)는 3차원 카메라(400)로부터 입력되는 촬영 데이터, 적외선 카메라(500)로부터 입력되는 적외선 데이터 및 컬러 카메라(600)로부터 입력되는 RGB 데이터를 수신한다(S510).

그리고 제어 컴퓨터(800)는 S510 단계를 통해 적외선 카메라(500)로부터 수신한 적외선 데이터를 이진화 처리한 후(S520), 이진화 처리한 데이터에서 블롭이 검색되는지를 판단한다(S530).

S530 단계의 판단결과 블롭이 검색되면, 제어 컴퓨터(800)는 검색된 블롭을 토대로 적외선 카메라 좌표를 3차원 카메라 좌표로 변환한다(S540).

이후, 제어 컴퓨터(800)는 S510 단계를 통해 3차원 카메라(400)로부터 수신한 촬영 데이터와 S540 단계를 통해 3차원 카메라 좌표로 변환한 적외선 카메라 좌표를 토대로 3차원 카메라 좌표를 월드좌표로 변환하여 마커의 x축, y축, z축의 3차원 좌표를 확인한다(S550).

그리고 제어 컴퓨터(800)는 S510 단계를 통해 컬러 카메라(600)로부터 수신한 RGB 데이터와 S530 단계에서 검색된 블롭을 토대로 적외선 카메라 좌표를 컬러 카메라 좌표로 변환하고(S560), S560 단계에서 변환된 컬러 카메라 좌표의 RGB 값을 추출하여 하나 이상의 마커(300) 중 어느 마커인지를 확인한다(S570).

이처럼, S50 단계를 통해 마커(300)의 3차원 위치가 트래킹되면, 제어 컴퓨터(800)는 트래킹된 마커(300)에 기 설정되어 있는 각각의 마커별로 특정된 영상이나 텍스트를 렌더링하여 프로젝터(700)를 통해 투사한다(S600). 즉 제어 컴퓨터(800)에서 마커(300)에서 방출되는 신호를 수신하고, 이를 처리한 데이터(영상이나 텍스트 형태)를 다시 마커(300) 위에 투사함으로써 사용자에게 피드백을 줄 수 있는 것이다.

마지막으로, 제어 컴퓨터(800)는 3차원 모형(100)에 투사중인 영상 컨텐츠가 종료될 때까지 S200 단계 이후를 반복 처리한다(S700).

이처럼, 본 발명은 증강현실을 통해 3차원 모형에 영상을 투사하는 과정에서 사용자가 특정 위치에 마커를 이동시키는 단순한 동작만으로 증강현실을 통해 투사되는 영상과 다른 영상이나 텍스트를 해당 마커 위치에 손쉽게 중첩하여 표시할 수 있다.

또한, 프로젝션 영역에 투사되는 영상 이외의 다른 영상이나 텍스트 표시를 위해 별도의 표시장치를 사용할 필요가 없으므로 증강현실 구현을 위한 비용지출을 줄일 수 있다.

또한, 본 발명은 하나 이상의 마커를 동시에 사용하더라도 각각의 마커별 위치를 정확하게 트래킹할 수 있으므로 여러 개의 영상이나 텍스트를 동시에 중첩하여 표시할 수 있다.

여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.

100 : 3차원 모형
200 : 테이블
300 : 마커
310 : 본체
320 : 손잡이
330 : 적외선 LED
340 : 컬러 LED
350 : 확산부재
400 : 3차원 카메라
500 : 적외선 카메라
600 : 컬러 카메라
700 : 프로젝터
800 : 제어 컴퓨터
810 : 영상 처리부
820 : 마커 트래킹부
830 : 데이터베이스
840 : 제어부

Claims

3차원 모형,
상기 3차원 모형이 수납되는 테이블,
사용자의 이동조작을 토대로 상기 테이블에 수납된 상기 3차원 모형 상부에 위치되는 하나 이상의 마커,
상기 테이블에 수납된 상기 3차원 모형을 촬영하거나, 또는 상기 3차원 모형과 상기 마커를 촬영하는 3차원 카메라,
상기 마커를 촬영하는 적외선 카메라,
상기 마커를 촬영하는 컬러 카메라,
상기 3차원 모형에 사전에 설정되어 있는 영상을 투사하며, 상기 마커에 상기 3차원 모형에 투사되는 영상과 다른 영상이나 텍스트를 투사하는 프로젝터,
장치 구동시 상기 3차원 카메라, 상기 적외선 카메라, 상기 컬러 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 상기 프로젝터와 동기화하고, 상기 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스(vertex) 데이터를 생성한 후 상기 3차원 버텍스 데이터와 상기 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하고, 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 상기 프로젝터를 통해 상기 3차원 모형에 투사하도록 제어하고, 증강현실을 통한 영상의 투사 과정에서 상기 마커의 사용이 확인되면 상기 3차원 카메라로부터 입력되는 촬영 데이터, 상기 적외선 카메라로부터 입력되는 적외선 데이터, 상기 컬러 카메라로부터 입력되는 RGB(Red, Green, Blue) 데이터를 토대로 상기 마커의 3차원 위치를 트래킹하되, 상기 3차원 카메라로부터 입력되는 촬영 데이터와 상기 적외선 카메라로부터 입력되는 적외선 데이터를 이용하여 상기 마커의 x축, y축, z축의 3차원 좌표를 확인함과 동시에 상기 컬러 카메라로부터 입력되는 RGB 데이터를 이용하여 하나 이상의 마커 중 어느 마커인지를 확인하며, 트래킹된 상기 마커에 각각의 마커별로 특정된 영상이나 텍스트를 상기 프로젝터를 통해 투사하도록 제어하는 제어 컴퓨터,
상기 마커는 상기 3차원 모형에 투사되는 영상과 다른 영상이나 텍스트가 투사되는 본체,
상기 본체의 일측에 연장 형성되는 손잡이,
상기 본체의 중앙부에 위치하며, 적외선 신호를 방출하는 적외선 LED,
상기 본체의 중앙부에 위치하며, RGB 신호를 방출하는 컬러 LED, 그리고
상기 적외선 LED와 상기 컬러 LED의 상부에 구비되며, 상기 적외선 LED에서 방출되는 적외선 신호와 상기 컬러 LED에서 방출되는 RGB 신호를 확산시켜 출력하는 확산부재
를 포함하는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치.
삭제
제 1 항에 있어서,
상기 제어 컴퓨터는,
상기 3차원 카메라, 상기 적외선 카메라, 상기 컬러 카메라 및 OpenGL 초기화를 처리하고, 상기 3차원 카메라로부터 입력되는 촬영 데이터와 상기 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하고, 생성된 상기 3차원 버텍스 데이터와 상기 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하고, 렌더링될 색상 및 밝기정보를 토대로 상기 3차원 모형에 투사될 영상을 렌더링하여 상기 프로젝터로 출력하며, 증강현실을 통해 영상을 투사할 때 상기 마커가 트래킹되면 트래킹된 상기 마커에 투사될 특정 영상이나 텍스트를 렌더링하여 상기 프로젝터로 출력하는 영상 처리부,
상기 테이블에 수납되는 상기 3차원 모형에 대한 정보, 상기 프로젝터를 통해 상기 3차원 모형에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있으며, 상기 하나 이상의 마커의 구분을 위한 RGB 값 정보, 각각의 마커별로 투사할 영상이나 텍스트 정보를 저장하고 있는 데이터베이스,
상기 적외선 카메라로부터 입력되는 적외선 데이터를 이진화 처리한 후 블롭(binary large object)을 검색하여 적외선 카메라 좌표에서 3차원 카메라 좌표로 변환하고, 3차원 카메라 좌표로 변환한 적외선 카메라 좌표와 상기 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 카메라 좌표를 월드좌표로 변환하여 상기 마커의 x축, y축, z축의 3차원 좌표를 확인하고, 상기 블롭과 상기 컬러 카메라로부터 입력되는 RGB 데이터를 토대로 적외선 카메라 좌표를 컬러 카메라 좌표로 변환한 후 변환된 컬러 카메라 좌표의 RGB 값을 추출하여 하나 이상의 마커 중 어느 마커인지를 확인하는 마커 트래킹부, 그리고
상기 영상 처리부에서의 상기 3차원 카메라, 상기 적외선 카메라, 상기 컬러 카메라 및 OpenGL 초기화 처리, 상기 3차원 카메라로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 상기 3차원 모형에 투사될 영상의 렌더링, 트래킹된 마커에 투사될 특정 영상이나 텍스트의 렌더링을 제어하며, 상기 마커 트래킹부에서의 적외선 데이터 이진화 처리, 블롭 검색, 적외선 카메라 좌표의 3차원 카메라 좌표 변환, 3차원 카메라 좌표의 월드좌표 변환, 적외선 카메라 좌표의 컬러 카메라 좌표 변환, 컬러 카메라 좌표의 RGB 값 추출과 마커 확인을 제어하는 제어부
를 포함하는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치.
제 1 항에 있어서,
상기 3차원 모형은,
모래를 포함한 입상물로서 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 상기 프로젝터를 통해 변화되는 영상이 투사되는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치.
제 1 항에 있어서,
상기 제어 컴퓨터에서 수행하는 OpenGL 초기화는,
시야각(field of view), 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 상기 프로젝터와 동기화하는 것임을 특징으로 하는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 장치.
(1) 제어 컴퓨터는, 장치의 구동이 이루어지면 3차원 모형을 촬영하는 3차원 카메라를 초기화하고, 상기 3차원 모형 상에 이동 배치되는 마커를 촬영하는 적외선 카메라 및 컬러 카메라를 초기화하며, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 상기 3차원 모형에 영상을 투사하는 프로젝터를 동기화하는 단계,
(2) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 상기 3차원 버텍스 데이터와 상기 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하는 단계,
(3) 상기 제어 컴퓨터는, 상기 (2) 단계에서 결정된 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 상기 프로젝터를 통해 상기 3차원 모형에 투사하는 단계,
(4) 상기 제어 컴퓨터는, 상기 (3) 단계를 통해 상기 3차원 모형에 영상이 투사되는 프로젝션 영역에 마커가 위치하는지를 판단하는 단계,
(5) 상기 (4) 단계의 판단결과 프로젝션 영역에 마커가 위치하면, 상기 제어 컴퓨터는 상기 3차원 카메라로부터 입력되는 촬영 데이터, 상기 적외선 카메라로부터 입력되는 적외선 데이터, 상기 컬러 카메라로부터 입력되는 RGB(Red, Green, Blue) 데이터를 토대로 상기 마커의 3차원 위치를 트래킹하되, 상기 3차원 카메라로부터 입력되는 촬영 데이터와 상기 적외선 카메라로부터 입력되는 적외선 데이터를 이용하여 상기 마커의 x축, y축, z축의 3차원 좌표를 확인함과 동시에 상기 컬러 카메라로부터 입력되는 RGB 데이터를 이용하여 하나 이상의 마커 중 어느 마커인지를 확인하는 단계,
(6) 상기 제어 컴퓨터는, 상기 (5) 단계를 통해 트래킹된 상기 마커에 각각의 마커별로 특정된 영상이나 텍스트를 렌더링하여 상기 프로젝터를 통해 투사하는 단계, 그리고
(7) 상기 제어 컴퓨터는, 상기 3차원 모형에 투사중인 영상 컨텐츠가 종료될 때까지 상기 (2) 단계 이후를 반복 처리하는 단계
를 포함하는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 방법.
제 6 항에 있어서,
상기 (1) 단계는,
(1-1) 장치가 구동되면, 상기 제어 컴퓨터는 상기 3차원 모형을 촬영하는 상기 3차원 카메라를 초기화하는 단계,
(1-2) 상기 제어 컴퓨터는, 상기 3차원 모형에 이동 배치되는 상기 마커를 촬영하는 적외선 카메라를 초기화하는 단계,
(1-3) 상기 제어 컴퓨터는, 상기 3차원 모형에 이동 배치되는 상기 마커를 촬영하는 컬러 카메라를 초기화하는 단계,
(1-4) 상기 제어 컴퓨터는, 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 상기 프로젝터와 동기화하는 단계,
(1-5) 상기 제어 컴퓨터는, 시야각, 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화하는 단계, 그리고
(1-6) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터의 상대적 위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화하는 단계
를 포함하는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 방법.
제 6 항에 있어서,
상기 (2) 단계는,
(2-1) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터 상기 3차원 모형을 촬영한 촬영 데이터를 수신하는 단계,
(2-2) 상기 제어 컴퓨터는, 상기 (2-1) 단계를 통해 수신한 상기 3차원 카메라의 촬영 데이터와 상기 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하는 단계, 그리고
(2-3) 상기 제어 컴퓨터는, 상기 (2-2) 단계에서 생성된 상기 3차원 버텍스 데이터와 상기 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하는 단계
를 포함하는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 방법.
제 6 항에 있어서,
상기 (5) 단계는,
(5-1) 상기 (4) 단계의 판단결과 프로젝션 영역에 마커가 위치하면, 상기 제어 컴퓨터는, 상기 3차원 카메라로부터 입력되는 촬영 데이터, 상기 적외선 카메라로부터 입력되는 적외선 데이터 및 상기 컬러 카메라로부터 입력되는 RGB 데이터를 수신하는 단계,
(5-2) 상기 제어 컴퓨터는, 상기 (5-1) 단계를 통해 상기 적외선 카메라로부터 수신한 적외선 데이터를 이진화 처리하는 단계,
(5-3) 상기 제어 컴퓨터는, 상기 (5-2) 단계에서 이진화 처리한 데이터에서 블롭이 검색되는지를 판단하는 단계,
(5-4) 상기 (5-3) 단계의 판단결과 블롭이 검색되면, 상기 제어 컴퓨터는 검색된 블롭을 토대로 적외선 카메라 좌표를 3차원 카메라 좌표로 변환하는 단계,
(5-5) 상기 제어 컴퓨터는, 상기 (5-1) 단계를 통해 상기 3차원 카메라로부터 수신한 촬영 데이터와 상기 (5-4) 단계를 통해 3차원 카메라 좌표로 변환한 적외선 카메라 좌표를 토대로 3차원 카메라 좌표를 월드좌표로 변환하여 상기 마커의 x축, y축, z축의 3차원 좌표를 확인하는 단계,
(5-6) 상기 제어 컴퓨터는, 상기 (5-1) 단계를 통해 상기 컬러 카메라로부터 수신한 RGB 데이터와 상기 (5-3) 단계에서 검색된 블롭을 토대로 적외선 카메라 좌표를 컬러 카메라 좌표로 변환하는 단계, 그리고
(5-7) 상기 제어 컴퓨터는, 상기 (5-6) 단계에서 변환된 컬러 카메라 좌표의 RGB 값을 추출하여 하나 이상의 마커 중 어느 마커인지를 확인하는 단계
를 포함하는 3차원 모형을 이용한 증강현실 환경의 프로젝션 영역에서의 마커 트래킹 방법.