KR102221898B1 - 가이드 도구 기반의 가상 객체 시각화 방법 - Google Patents

Abstract

실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 테이블탑(Tabletop)의 프로세서에서 수행하는 가이드 도구 기반의 가상객체 시각화 방법으로서, 외부 단말에서 촬영된 기초 촬영영상을 획득하고 표시하는 단계; 카메라를 통해 상기 표시된 기초 촬영영상 상에서의 가이드 도구를 촬영하는 단계; 상기 가이드 도구를 촬영한 영상을 분석하여 상기 가이드 도구 이미지를 검출하는 단계; 상기 검출된 가이드 도구 이미지에 대응되는 적어도 하나 이상의 가상객체를 추출하는 단계; 상기 추출된 가상객체를 상기 가이드 도구 이미지에 따라서 상기 기초 촬영영상에 중첩한 증강현실 영상을 생성하는 단계; 상기 생성된 증강현실 영상을 표시하는 단계를 포함한다.

Description

가이드 도구 기반의 가상 객체 시각화 방법{METHOD FOR VISUALIZATION IN VIRTUAL OBJECT BASED ON REAL OBJECT}

본 발명은 실제 객체에 기반하여 가상 객체를 시각화하는 방법에 관한 것이다. 보다 상세하게는, 실제 객체인 가이드 도구를 기반으로 가상 객체를 시각화하여 생성된 증강현실 영상을 원격의 단말과 공유하는 방법에 관한 것이다.

일반적으로, 장비를 이용한 유지관리를 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 장비 도입시 이를 숙지하는데 오랜 시간이 소요된다.

또한, 아무리 숙련자라 할지라도 모든 정비 절차를 숙지하고 있을 수가 없고, 언제 어떤 정비 요구가 발생할지 예측하기가 어렵다.

이에 따라, 작업자들은 장비를 이용한 유지 보수를 위한 매뉴얼을 항상 휴대하여, 유지보수 업무를 수행하여 왔다.

유지 보수를 위한 매뉴얼은 일반적으로 책으로 제작되어 있거나, 2D 이미지로 제작되어 있다. 책으로 제작된 매뉴얼의 문제점은 해결해야하는 문제(예컨대, 특정 장치의 고장)에 대한 해당 페이지를 일일이 찾아야 하고, 매뉴얼이 오래되면 해당 책에서 제시하는 방법이 해결책이 되지 못하는 경우가 빈번하게 발생할 수 있다는 점이다. 또한, 항공기 등과 같이 복잡한 형태의 기계 장비의 경우에는 수십만 가지 상의 매뉴얼이 필요하기 때문에, 그 양이 방대하여 휴대 또한 불가능하다.

이러한 유지 보수 등의 문제는 비단 산업현장에만 한정되는 것은 아니다. 예를 들어, 가정집에서 냉장고가 고장난 경우 소비자는 스스로 고칠 수 없는 경우가 대부분이어서, 별도의 전문가를 불러 수리해야 하는 경우가 많다. 이때, 문제 해결까지 시간, 비용 등이 많이 소요되어 비효율적이다.

한편, 최근 들어 증강 현실(AR: Augmented Reality)에 기반한 다양한 기술이 개발되고 있다.

증강 현실(AR)이란, 가상 현실의 한 분야로서 실제 환경에 가상 사물이나 정보를 합성하는 컴퓨터 그래픽 기법이다.

증강 현실(AR) 서비스는, 가상의 공간과 사물만을 대상으로 하는 가상 현실과 달리 실제 환경이라는 기반 위에 가상의 사물이나 정보를 합성함으로써, 현실 세계만으로는 얻기 어려운 부가 정보를 보강하여 제공할 수 있다.

다른 한편, 정보화 사회가 발전함에 따라 임의의 컴퓨터가 다른 장소에 존재하는 컴퓨터를 용이하게 제어할 수 있는 원격 컴퓨터 제어 기술이 개발되고 있다.

이러한 원격 컴퓨터 제어 기술에 따르면, 임의의 컴퓨터는, 원격 제어의 대상이 되는 컴퓨터로부터 독립적으로 떨어진 장소에서도 용이하게 정보를 처리할 수 있다.

하지만, 종래의 원격 컴퓨터 제어 기술은, 대부분이 이를 수행하는 컴퓨터에 연결된 키보드나 마우스와 같은 주변 입력장치를 통하여 구현되고, 모니터와 같은 출력장치를 통해 그 결과를 확인하는 등의 단순한 원격 제어 기능에 머물러 있다는 한계가 있다.

10-2012-0017297 A

본 발명은, 원격의 단말로부터 획득되는 영상 상에, 현재 위치에서 획득되는 영상의 실제 객체를 기반으로 생성된 가상 객체를 표시하여 제공하는 가이드 도구 기반의 가상 객체 시각화 방법을 구현하는데 그 목적이 있다.

자세히, 본 발명의 일 실시예는, 증강 현실(AR) 영상에 표시되는 가상객체를 이용하여 원격의 작업자에게 작업 가이던스(guidance)를 제공하는 가이드 도구 기반의 가상 객체 시각화 방법을 제공하고자 한다.

또한, 본 발명의 일 실시예는, 원격의 단말에 의해 촬영된 영상을 공유받고 증강 현실(AR)에 기반한 작업 가이던스를 제공하여, 작업자와 사용자 간의 양방향 증강 현실(AR) 서비스를 구현하는 가이드 도구 기반의 가상 객체 시각화 방법을 제공하고자 한다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 테이블탑(Tabletop)의 프로세서에서 수행하는 가이드 도구 기반의 가상객체 시각화 방법으로서, 외부 단말에서 촬영된 기초 촬영영상을 획득하고 표시하는 단계; 카메라를 통해 상기 표시된 기초 촬영영상 상에서의 가이드 도구를 촬영하는 단계; 상기 가이드 도구를 촬영한 영상을 분석하여 상기 가이드 도구 이미지를 검출하는 단계; 상기 검출된 가이드 도구 이미지에 대응되는 적어도 하나 이상의 가상객체를 추출하는 단계; 상기 추출된 가상객체를 상기 가이드 도구 이미지에 따라서 상기 기초 촬영영상에 중첩한 증강현실 영상을 생성하는 단계; 상기 생성된 증강현실 영상을 표시하는 단계를 포함한다.

이때, 상기 가이드 도구를 촬영한 영상을 분석하여 상기 가이드 도구 이미지를 검출하는 단계는, 상기 가이드 도구를 촬영한 영상의 실제 객체의 특징 정보를 검출하는 단계와, 상기 검출한 특징 정보와 매칭되는 식별정보를 검색하는 단계와, 상기 검색된 식별정보에 매칭된 가이드 도구 및 상기 가이드 도구 식별정보에 매칭되는 상기 적어도 하나 이상의 가상객체를 검출하는 단계를 포함할 수 있다.

또한, 상기 가이드 도구를 촬영한 영상을 분석하여 상기 가이드 도구 이미지를 검출하는 단계는, 상기 가이드 도구의 움직임에 따라 변화하는 가이드 도구의 6 자유도를 추적하는 단계를 더 포함할 수 있다.

또한, 상기 증강현실 영상을 생성하는 단계는, 상기 추적하여 획득된 상기 가이드 도구의 6 자유도 변화에 따라서 상기 가상객체 이미지를 변화시켜 상기 기초 촬영영상에 중첩시키는 단계를 더 포함할 수 있다.

또한, 상기 검출된 가이드 도구 이미지에 대응되는 적어도 하나 이상의 가상객체를 추출하는 단계는, 상기 가이드 도구의 외형에 대해 매칭되는 복수의 가상객체를 추출하는 단계를 더 포함할 수 있다.

또한, 상기 추출된 복수의 가상객체를 포함하는 가상객체 리스트를 제공하는 단계; 상기 가상객체 리스트에서 선택된 제 1 가상객체를 상기 가이드 도구 상에 중첩하여 표시하고자 하는 메인 가상객체를 결정하는 단계를 더 포함할 수 있다.

또한, 상기 1 가상객체에서 제 2 가상객체를 선택하는 사용자 입력을 수신하는 단계와, 상기 제 2 가상객체를 메인 가상객체로 결정하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말로부터 획득되는 영상 상에 현재 위치에서 획득되는 영상의 실제 객체를 기반으로 생성되는 가상 객체를 표시하여 제공함으로써, 원격의 작업자에게 보다 쉽고 명확하게 작업 가이던스(guidance)를 실시간으로 제공할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 증강 현실(AR) 영상에 표시되는 가상객체를 이용하여 원격의 작업자에게 작업 가이던스를 제공함으로써, 복잡한 구조의 장비일지라도 또는 숙련된 작업자가 아닐지라도 증강 현실(AR)에 기반하여 제공되는 사용자의 지시에 따라 쉽고 빠르게 작업을 수행하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말과 통신하여 작업 가이던스를 제공함으로써, 작업자가 작업 현장에서 단말만 소지하고 있으면, 별도의 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있는 효과가 있다.

또한, 또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말과 연동하여 증강 현실(AR)에 기반한 작업 가이던스를 제공함으로써, 스마트 글래스(smart glass)와 같은 별도의 몰입형 하드웨어 없이도 정확한 작업 가이던스를 제공할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말과 통신하여 증강 현실(AR) 영상에 기반한 작업 가이던스를 제공함으로써, 실감나는 화면을 통해 작업 가이던스를 제공할 수 있고, 이를 통해 작업자가 보다 직관적으로 작업을 수행할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 산업 현장의 단말 뿐만 아니라 다양한 레거시 기기(legacy device), 스마트 빌딩, 스마트 팩토리, 스마트 홈 등에서 사용하는 다양한 IoT 기기에까지도 확장될 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말에 의해 촬영된 영상을 공유받고 증강 현실(AR)에 기반한 작업 가이던스를 제공하여 작업자와 사용자 간의 양방향 증강 현실(AR) 서비스를 구현함으로써, 증강 현실(AR) 서비스의 컨텐츠를 보강할 수 있고, 증강 현실(AR) 서비스의 양방향화에 의한 품질 향상을 도모할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 실제 객체를 바라보는 사용자의 시선과, 실제 객체를 촬영하는 테이블탑 카메라의 시선이 대응되도록 하여, 테이블탑 카메라에 의해 감지되는 실제 객체의 형상과 움직임을 보다 편리하게 제공할 수 있는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 실제 객체 기반의 가상 객체 시각화 시스템을 설명하기 위한 개념도이다.
도 2a는 본 발명의 실시예에 따른 테이블탑(Tabletop) 디바이스의 사시도이고, 도 2b는 본 발명의 실시예에 따른 테이블탑 디바이스의 평면도이다.
도 3은 본 발명의 실시예에 따른 테이블탑 디바이스의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 단말 및 테이블탑 디바이스에서 기초 촬영영상이 공유되는 모습을 나타내는 개념도이다.
도 6은 본 발명의 실시예에 따른 테이블탑에서 검출된 가이드 도구가 기초 촬영영상 상에 표시되는 모습의 일례이다.
도 7은 본 발명의 실시예에 따른 테이블탑 디바이스에서 가상객체 리스트가 표시되는 모습의 일례이다.
도 8은 본 발명의 실시예에 따른 테이블탑 디바이스에서 결정된 메인 가상객체가 렌더링되어 증강현실 영상으로 표시되는 모습의 일례이다.
도 9는 본 발명의 실시예에 따른 단말 및 테이블탑 디바이스에서 증강현실 영상이 공유되는 모습을 나타내는 개념도이다.
도 10은 본 발명의 실시예에 따른 단말 및 테이블탑 디바이스에서 증강현실 영상이 공유되는 모습을 나타내는 일례이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 실제 객체 기반의 가상 객체 시각화 시스템을 설명하기 위한 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 테이블탑 증강 시스템을 기반으로 구현될 수 있다.

여기서, 본 발명의 실시예에 따른 테이블탑 증강 시스템은, 테이블탑(Tabletop) 디바이스, 가이드 도구 및 단말을 포함할 수 있다.

본 발명의 실시예에서 테이블탑(Tabletop) 디바이스, 가이드 도구 및 단말은, 상호 연동하여, 단말로부터 획득되는 촬영 영상과, 테이블탑으로부터 획득되는 촬영 영상실제 객체에 대응되는 가상 객체를 통해 구현된 증강현실 환경을 사용자에게 제공할 수 있다.

여기서, 증강현실 환경은, 상기 촬영영상의 물리적 공간에 연관된 가상 컨텐츠가 삽입되어 생성된 환경을 의미하며, 증강현실(AR) 환경뿐만 아니라 실감형 가상 컨텐츠가 삽입된 혼합현실 환경(MR)을 포함할 수 있다.그리고 상기 가상 컨텐츠는, 컴퓨팅 디바이스에서 생성된 가상의 컨텐츠로, 라벨, 텍스트 정보, 이미지, 드로잉 객체 및 3 차원 엔티티를 포함할 수 있다.　

한편, 본 발명의 실시예에서 작업이란, 수리, 정비, 유지 보수, 조정 또는 조작 등의 행위를 포함할 수 있다.

예를 들어, 작업은, 문제가 발생한 장비에 대한 정비나, 문제가 발생할 가능성이 있는 장비에 대해 문제 발생 이전에 이를 조치하는 것일 수 있다.

또한, 본 발명의 실시예에서 장비란, 작업 현장에 설치된 기계, 설비, 장치 등을 포함하며, 하나의 장비를 구성하는 부품, 모듈 등을 포함할 수 있다.

또한, 본 발명의 실시예에서 작업 현장이란, 공장이나 빌딩과 같은 산업현장이 될 수도 있으며, 가정 집이 될 수도 있다.

예를 들면, 산업현장인 경우, 공장 내 에어컨, 환기, 공조기, 팬, 보일러, 냉각탑, 펌프, 온/습도센서, 냉동기, 조명기기, 전력기기 및/또는 화재 시스템 등을 대상으로 원격 작업 가이던스를 제공할 수 있다.

다른 예로, 가정현장인 경우, 가정 내 TV, 에어컨, 냉장고 같은 가전제품이나 수도, 전기, 냉난방과 같은 에너지 소비장치나, 도어락 및/또는 감시 카메라 등과 같은 보안기기나, 고가의 자동차와 전기 자동차 등의 기기를 모니터링 및 제어하면서, 원격 작업 가이던스를 제공할 수 있다.

또 다른 예로, 스마트 기기, 스마트 빌딩, 스마트 팩토리 등에서 사용하는 다수의 IoT 기기들을 대상으로 원격 작업 가이던스를 제공할 수도 있으며, IoT 기기는 디지털 사이니지(digital signage), 스마트 TV, 스마트 워치, 스마트 CE 및/또는 드론(drone) 등일 수 있다.

또 다른 예로, IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)를 대상으로 작업 가이던스를 제공할 수도 있으며, 레거시 기기는 디바이스에 내장 또는 장착되는 IoT 센서가 없어서 디바이스와 그 주변환경의 정보를 센싱할 수 없는 기기 등일 수 있다.

다시 돌아와서, 본 발명의 실시예에 따른 테이블탑 증강 시스템의 테이블탑(Tabletop) 디바이스 및 단말은, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 테이블탑(Tabletop) 디바이스 및 단말 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

- 테이블탑 증강 시스템

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 테이블탑 증강 시스템의 구성요소에 대해 상세히 설명하고자 한다.

도 1을 더 참조하면, 본 발명의 실시예에 따른 테이블탑 증강 시스템은, 테이블탑 디바이스(100), 가이드 도구(200) 및 단말(300)을 포함할 수 있다.

도 2는 본 발명의 실시예에 따른 테이블탑 디바이스 외형의 일례이고, 도 3은 본 발명의 실시예에 따른 테이블탑 디바이스의 내부 블록도이다.

자세히, 도 2 및 3을 참조하면, 본 발명의 실시예에에 따른 테이블탑 디바이스(100)는, 실제 객체 기반의 가상 객체 시각화 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.

보다 상세히, 테이블탑 디바이스(100)의 증강현실 어플리케이션은, 가이드 도구 기반의 가상 객체 시각화 서비스에 필요한 가이드 도구 정보를 생성하고 관리할 수 있다.

여기서, 가이드 도구 정보란, 본 발명의 실시예에 따른 가이드 도구(200)에 대한 식별정보(예컨대, 외형 또는 마커) 및 해당 가이드 도구(200) 식별정보에 매칭된 적어도 하나 이상의 가상객체 정보를 포함하는 정보일 수 있다.

이때, 본 발명의 실시예에서 가이드 도구(200: Guide tool)란, 테이블탑 디바이스의 디스플레이에서 표시되는 촬영영상에 대응하여 가상객체를 증강하기 위한 매개체일 수 있다.

자세히, 가이드 도구(200)는, 외형 또는 가이드 도구에 배치된 마커등의 식별정보와 매칭된 특정 가상객체(예컨대, 드라이버, 스패너 또는 플라이어 등과 같은 각종 공구를 나타내는 가상객체)와 매칭되는 실제 객체일 수 있다.

이러한 가이드 도구(200)는, 특정하려는 가상객체의 종류에 따라서 다양한 형상으로 구현될 수 있다.

예를 들면, 제 1 가이드 도구는 '드라이버' 형상, 제 2 가이드 도구는 '스패너' 형상 그리고 제 3 가이드 도구는 '플라이어' 형상을 가지도록 구현될 수 있다.

실시예에서, 위와 같은 가이드 도구(200)는, 테이블탑 디바이스(100)의 카메라에 의하여 실제 객체로서 검출될 수 있다. 그리고 검출된 가이드 도구(200)의 형상, 자세 및 촬영영상과의 위치관계에 따라 상호작용되며 증강된 가상객체가 생성될 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.

다시 돌아와서, 실시예에서 가이드 도구 정보를 생성하기 위해 테이블탑 디바이스(100)는, 먼저 가이드 도구(200)의 식별정보를 메모리 상에 기저장할 수 있다.

여기서, 식별정보란, 가이드 도구(200)를 식별하기 위한 정보로서, 가이드 도구(200)의 외형을 이미지 학습하여 획득된 특징 정보 또는/및 가이드 도구(200)에 부착된 마커의 특징 정보일 수 있다.

예를 들면, 테이블탑 디바이스(100)는, 메모리 상에, '드라이버' 형상을 가지는 제 1 가이드 도구의 식별정보, '스패너' 형상을 가지는 제 2 가이드 도구의 식별정보 또는 '플라이어' 형상을 가지는 제 3 가이드 도구의 식별정보를 획득하여 저장할 수 있다.

이를 위해, 테이블탑 디바이스(100)은, 카메라를 통해 가이드 도구(200)을 촬영하여 외형의 특징 정보를 학습하여 획득하거나, 가이드 도구(200) 상에 배치된 마커의 특징 정보를 학습하여 획득할 수 있다.

또한, 테이블탑 디바이스(100)는, 가이드 도구(200) 식별정보에 매칭되는 적어도 하나 이상의 가상객체 정보를 메모리 상에 기저장할 수 있다.

여기서, 가상객체란, 가이드 도구(200)의 형상이 상징하는 특정 객체(예컨대, 드라이버, 스패너 또는 플라이어 등과 같은 각종 공구의 가상 형상)에 관련된 실제 형상을 기반으로 모델링되어 가상으로 시각화된 객체일 수 있다.

이러한 가상객체는, 해당하는 가이드 도구(200) 식별정보에 매칭되어 메모리 상에 저장 및 관리될 수 있다.

예를 들면, 테이블탑 디바이스(100)는, 제 1 가이드 도구 식별정보에 매칭되는 제 1 가상객체, 제 2 가상객체 및 제 3 가상객체를 저장할 수 있다.

이때, 제 1 가이드 도구가 '플라이어' 형상인 경우, 제 1 가상객체는 플라이어의 일 종류인 '펜치'의 실제 형상에 기초하여 모델링된 가상객체, 제 2 가상객체는 플라이어의 다른 일 종류인 '롱로우즈 플라이어'의 실제 형상에 기초하여 모델링된 가상객체, 제 3 가상객체는 플라이어의 또 다른 일 종류인 '바이스플라이어'의 실제 형상에 기초하여 모델링된 가상객체일 수 있다.

또한, 테이블탑 디바이스(100)는, 위와 같은 가이드 도구(200) 식별정보 및 해당 가이드 도구(200) 식별정보에 매칭되는 가상객체 정보를 포함하여 가이드 도구 정보를 생성할 수 있다. 그리고 테이블탑 디바이스(100)는, 생성된 가이드 도구 정보를 메모리에 저장 및 관리할 수 있다.

이와 같이, 실시예에서 테이블탑 디바이스(100)는, 다양한 형상을 가지는 가이드 도구(200)에 매칭되는 복수의 가상객체를 저장해 놓음으로써, 추후 가이드 도구(200)에 기반한 가상객체를 영상 상에 시각화하여 제공하는 서비스를 구현할 수 있다.

또한, 본 발명의 실시예에서 테이블탑 디바이스(100)는, 단말(300)로부터 촬영된 영상을 네트워크를 통해 수신할 수 있다.

여기서, 본 발명의 실시예에 따른 단말(300: Terminal)은, 카메라를 통해 주변 물리적 공간에 대한 영상을 촬영하여 획득할 수 있고, 획득된 영상을 테이블탑 디바이스(100)로 송신할 수 있다.

또한, 실시예에서 단말(300)은, 테이블탑 디바이스(100)로부터 상기 영상에 연관되어 생성된 가상객체 데이터를 수신할 수 있다.

그리고 단말(300)은, 수신된 가상객체 데이터를 기초로 상기 영상 상에 가상객체를 오버레이 한 증강현실 영상을 디스플레이로 출력하여 작업자에게 제공할 수 있다.

또한, 실시예에서 이러한 단말(300)은, 휴대용 단말(300)인 스마트 폰, 디지털방송용 단말(300)기, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 및 스마트 글라스(smart glass), 헤드 마운티드 디스플레이(HMD) 등을 포함할 수 있다.

또한, 단말(300)은, 고정형 단말(300)인 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신에 기반한 장치를 더 포함할 수 있다.

다시 돌아와서, 또한 테이블탑 디바이스(100)는, 테이블탑 디바이스(100)의 카메라를 기반으로 단말로부터 수신한 영상 상에서 사용자가 가이드 도구를 사용하는 영상을 촬영할 수 있고, 촬영된 영상으로부터 가이드 도구(200)(실제 객체)를 검출할 수 있다.

또한, 실시예에서 테이블탑 디바이스(100)는, 검출된 가이드 도구(200)에 매칭되는 가상객체를 상기 단말(300)로부터 수신된 영상 상에 중첩하여 표시할 수 있다.

또한, 테이블탑 디바이스(100)는, 검출된 가이드 도구(200) 에 매칭된 적어도 하나 이상의 가상객체를 군집화하여 제공하는 가상객체 리스트를 생성해 표시할 수 있다.

또한, 테이블탑 디바이스(100)는, 가상객체 리스트를 기반으로 제공된 적어도 하나 이상의 가상객체 중 어느 하나를, 상기 영상에 표시된 가이드 도구(200)에 중첩하여 증강해 증강현실 영상을 생성할 수 있고, 생성된 영상을 단말(300)로 송신할 수 있다.

도 3을 더 참조하면, 본 발명의 실시예에서 위와 같은 테이블탑 디바이스(100)는, 입력부(110), 디스플레이부(120), 카메라(130), 통신부(140), 메모리(150) 및 프로세서(160)를 포함할 수 있다.

먼저, 입력부(110)는, 실제 객체 기반의 가상 객체 시각화 서비스와 관련된 사용자의 입력을 감지할 수 있다.

실시예로, 입력부(110)는, 가상객체 리스트에 기반하여 증강시킬 가상객체를 선택하는 사용자의 입력 등을 감지할 수 있다.

다음으로, 디스플레이부(120)는, 실제 객체 기반의 가상 객체 시각화 서비스와 관련된 다양한 정보를 그래픽 이미지를 출력할 수 있다.

실시예로, 디스플레이부(120)는, 단말(300)로부터 획득된 기초 촬영영상, 테이블탑 디바이스(100)의 카메라(130)로부터 획득된 가이드 도구(200), 적어도 하나 이상의 가상객체를 제공하는 가상객체 리스트 및/또는 증강된 가상객체를 포함하는 증강현실 영상 등을 출력할 수 있다.

이러한 디스플레이부(120)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

또한, 상기 입력부(110) 및 상기 디스플레이부(120)가 결합되어 터치 스크린(125)으로 구현될 수 있다.

다음으로, 실시예에서 카메라(130)는, 이미지 센서와 영상 처리 모듈을 포함할 수 있고, 이를 통해 영상을 획득할 수 있다.

자세히, 카메라(130)는, 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.

또한, 카메라(130)는, 영상 처리 모듈을 이용하여 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서(160)에 전달할 수 있다.

이때, 카메라(130)를 통해 영상을 획득한 테이블탑 디바이스(100)는, 획득된 영상을 기반으로 해당 영상의 가이드 도구(200)에 매칭되어 있는 적어도 하나 이상의 가상객체 정보를 획득하여 활용할 수 있다.

또한, 실시예에서 카메라(130)는, 디스플레이부(120)를 마주보는 위치 즉, 사용자의 시선을 반영 가능한 위치 상에 배치될 수 있다.

자세히, 카메라(130)는, 카메라 렌즈부(131) 및 카메라 지지부(132)를 포함할 수 있다.

여기서, 카메라 지지부(132)의 일단은, 테이블탑 디바이스(100) 몸체 상에 연결되고, 타단에는 카메라 렌즈부(131)가 형성될 수 있다.

이때, 카메라 렌즈부(131)와 디스플레이부(120)가 평행하게 마주보도록 하기 위하여, 카메라 지지부(132)는, 디스플레이부(120) 측으로 소정의 각도(예컨대, 90도)를 형성하여 배치될 수 있다.

다음으로, 통신부(140)는, 실제 객체 기반의 가상 객체 시각화 서비스를 제공하기 위한 각종 데이터 및/또는 정보 등을 송수신할 수 있다.

실시예에서, 통신부(140)는, 외부의 단말(300) 및/또는 서버 등과 통신하여, 실제 객체 기반의 가상 객체 시각화 서비스와 관련된 각종 데이터를 송수신할 수 있다.

이러한 통신부(140)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말(300), 임의의 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.

다음으로, 메모리(150)는, 실제 객체 기반의 가상 객체 시각화 서비스를 제공하는 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.

실시예로 메모리(150)는, 가이드 도구(200) 식별정보 및 매칭되는 가상객체 정보를 포함하는 가이드 도구 정보를 저장하고 관리할 수 있다.

이러한 메모리(150)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet) 상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

마지막으로, 프로세서(160)는, 실제 객체 기반의 가상 객체 시각화 서비스를 수행하기 위하여 상술된 요소들을 제어해 일련의 데이터 처리를 수행할 수 있다.

이러한 프로세서(160)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

- 가이드 도구에 기반한 가상 객체 시각화 방법

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 실제 객체에 기반하여 가상 객체를 시각화하는 방법에 대해 상세히 설명하고자 한다.

도 4는 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 본 발명의 실시예에서 테이블탑(100: Tabletop)은, 단말(300)로부터 기초 촬영영상을 획득하여 표시할 수 있다. (S101)

도 5는 본 발명의 실시예에 따른 단말(300) 및 테이블탑 디바이스(100)에서 기초 촬영영상이 공유되는 모습을 나타내는 개념도이다.

자세히, 도 5를 참조하면, 테이블탑 디바이스(100)는, 원격에 위치하는 작업자의 단말(300)로부터 촬영된 기초 촬영영상(10)을 수신하여 출력할 수 있다. 사용자의 테이블탑 디바이스(100)의 디스플레이를 통해 출력되는 기초 촬영영상(10)과, 작업자의 단말(300)에서 출력되는 기초 촬영영상(10)은 실시간으로 공유될 수 있다.

여기서, 실시예에 따른 작업자란, 추후 생성되는 증강현실 영상에 기초하여 사용자로부터 작업 가이던스(guidance)를 제공받고, 실제 작업을 수행하는 자일 수 있다.

또한, 실시예에 따른 사용자란, 추후 생성되는 증강현실 영상에 기초하여 수행해야할 작업에 대한 작업 가이던스를 제공하는 자일 수 있다.

이때, 작업 가이던스란, 단말(300)을 통해 획득된 영상 환경에서, 작업자가 수행하도록 요구되는 작업에 대한 사용자의 지시를 의미할 수 있다.

따라서, 상기 기초 촬영영상(10)은, 작업자가 사용자로부터의 작업 가이던스(guidance)를 필요로 하는 환경(상황)을 단말(300)의 카메라를 기반으로 촬영한 영상일 수 있다.

본 발명의 실시예에서 테이블탑 디바이스(100)는, 이러한 기초 촬영영상(10) 상에서 가이드 도구(200)를 이용하여 가상객체를 생성할 수 있고, 기초 촬영영상(10) 상에 오버레이된 가상객체를 통해 사용자는 작업자에게 증강현실 환경 내에서 작업 가이던스(guidance)를 전달할 수 있다.

테이블탑 디바이스(100)는, 기초 촬영영상(10)에 대응된 가상객체를 생성하여 증강현실 영상을 생성하기 위하여, 기초 촬영영상(10)을 디스플레이부(120)에 표시하고, 가이드 도구를 통해 기초 촬영영상(10)에 대해 입력하는 직관적인 입출력 인터페이스를 제공할 수 있다.

도 6은 본 발명의 실시예에 따른 테이블탑 디바이스(100)에서 검출된 가이드 도구(200)가 기초 촬영영상(10) 상에 표시되는 모습의 일례이다.

또한, 도 6을 참조하면 테이블탑 디바이스(100)는, 테이블탑 디바이스(100)의 카메라(130)를 제어하여 가이드 도구(200)(실제 객체)를 검출할 수 있고, 검출된 가이드 도구에 대응되는 가상객체를 기초 촬영영상(10)에 중첩하여 표시할 수 있다. (S103)

자세히, 테이블탑 디바이스(100)는, 카메라(130)를 통해 디스플레이부(120) 상에서 사용자가 가이드 도구를 조작하는 촬영 영상을 획득할 수 있다.

또한, 테이블탑 디바이스(100)는, 촬영된 영상으로부터 적어도 하나 이상의 실제 객체를 검출할 수 있다.

예를 들면, 테이블탑 디바이스(100)는, 카메라(130)를 통해 촬영된 영상에 대한 영상 전처리(preprocessing)를 수행할 수 있으며, 세그먼트(segment) 및 클러스터링(clustering)을 수행하여, 배경(background)과 전경(foreground)을 분리할 수 있다. 이후, 테이블탑 디바이스(100)는, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트(즉, 실제 객체)를 검출할 수 있다.

또한, 실시예에서 테이블탑 디바이스(100)는, 검출된 실제 객체가 가이드 도구(200)인지 여부를 판단할 수 있다.

예를 들어, 테이블탑 디바이스(100)는, 이미지 세그먼트에 의해 분리된 오브젝트(즉, 실제 객체)를 분류하고(classify), 확인할 수 있다(verify). 자세히, 테이블탑 디바이스(100)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용하여, 검출된 적어도 하나 이상의 실제 객체로부터 가이드 도구(200)를 식별할 수 있다.

이후, 실시예에서 테이블탑 디바이스(100)는, 검출된 실제 객체가 가이드 도구(200)로 판단된 경우, 단말(300)로부터 획득된 기초 촬영영상(10) 상에 해당 가이드 도구(200)에 대응되는 가상객체를 중첩하여 표시할 수 있다.

이때, 테이블탑 디바이스(100)는, 카메라(130)를 기반으로 촬영되는 가이드 도구(200)의 움직임(예컨대, 위치 이동, 제스처(gesture) 및/또는 모션(motion) 등)을 지속적으로 추적할 수 있다.

이를 통해, 테이블탑 디바이스(100)는, 추후 가이드 도구(200)의 움직임에 따라서 해당 가이드 도구(200)에 중첩되어 표시되는 가상객체 또한 대응되는 움직임을 수행하게 할 수 있다.

테이블탑 디바이스(100)는, 정확한 가이던스를 전달하기 위해, 디스플레이에 표시되는 기초 촬영영상에 대한 가이드 도구의 위치를 반영하여 가상객체의 중첩 위치를 결정할 수 있다.

자세히, 테이블탑 디바이스(100)는, 기초 촬영영상(10) 상에서의 가이드 도구의 2차원 좌표(x, y)를 결정한 후, 기초 촬영영상(10)의 이미지 좌표와 매칭시켜 가상객체의 오버레이 위치를 결정할 수 있다.

또한, 테이블탑 디바이스(100)는, 기초 촬영영상(10)과 가이드 도구(200)사이의 거리(z)에 따라서, 가이드 도구에 대응된 가상객체의 크기를 변경시킴으로써, 가상객체의 원근감을 조절 가능한 증강현실 인터페이스 환경을 제공할 수 있다.

도 7은 본 발명의 실시예에 따른 테이블탑 디바이스(100)에서 가상객체 리스트가 표시되는 모습의 일례이다.

또한, 도 7을 참조하면 테이블탑 디바이스(100)는, 검출된 가이드 도구(200)의 형상에 따른 가상객체 리스트(20)를 표시할 수 있다. (S105)

여기서, 가상객체란, 가이드 도구(200)의 형상이 상징하는 특정 객체(예컨대, 드라이버, 스패너 또는 플라이어 등과 같은 각종 공구)에 관련된 실제 형상을 기반으로 모델링되어 가상으로 시각화된 객체일 수 있다.

이러한 가상객체는, 해당하는 가이드 도구(200) 식별정보에 매칭되어 메모리 상에 기저장 및 관리될 수 있다.

또한, 가상객체 리스트(20)란, 검출된 가이드 도구(200)의 형상에 따라서 획득되는 적어도 하나 이상의 가상객체를 군집화하여 제공하는 인터페이스일 수 있다.

즉, 가상객체 리스트(20)는, 검출된 가이드 도구(200)의 형상에 매칭되어 메모리로부터 독출되는 적어도 하나 이상의 가상객체를 군집화하여 리스트의 형식으로 제공하는 인터페이스일 수 있다.

자세히, 테이블탑 디바이스(100)는, 먼저 검출된 가이드 도구(200)의 형상을 감지할 수 있다.

예를 들어, 테이블탑 디바이스(100)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등의 이미지 처리 알고리즘을 사용하여, 검출된 가이드 도구(200)의 형상의 특징정보를 검출할 수 있다.

그리고 테이블탑 디바이스(100)는, 감지된 가이드 도구(200)의 형상의 특징정보에 매칭되는 식별정보를 메모리 상에서 탐색함으로써, 상기 카메라에서 촬영된 실제 객체가 가이드 도구(200)임을 검출할 수 있다.

즉, 테이블탑 디바이스(100)는, 카메라(130)를 통해 감지된 가이드 도구(200)의 형상(예컨대, 외형 또는 마커)을 기반으로, 메모리에 기저장되어 있는 복수의 가이드 도구 식별정보 중, 상기 감지된 가이드 도구(200)의 형상과 매칭되는 식별정보를 가지는 가이드 도구 식별정보를 검출할 수 있다.

또한, 테이블탑 디바이스(100)는, 검출된 가이드 도구(200) 식별정보에 매칭되어 있는 적어도 하나 이상의 가상객체 정보를 메모리에서 추출할 수 있다.

그리고 테이블탑 디바이스(100)는, 독출된 적어도 하나 이상의 가상객체 중 하나의 가상객체 이미지를, 기초 촬영영상(10) 상에 중첩하여 출력할 수 있다.

이때, 테이블탑 디바이스(100)는, 추출된 적어도 하나 이상의 가상객체를 군집화하여 리스트의 형식으로 제공하는 가상객체 리스트(20)를 생성할 수 있고, 생성된 가상객체 리스트(20)를 기초 촬영영상(10)에 중첩하여 디스플레이부로 출력할 수 있다.

예를 들어, 테이블탑 디바이스(100)는, 감지된 가이드 도구(200)의 형상을 기반으로, 해당 가이드 도구(200)의 형상에 대응하는 식별정보를 가지는 제 1 가이드 도구 식별정보를 획득할 수 있다.

또한, 테이블탑 디바이스(100)는, 제 1 가이드 도구 식별정보에 매칭되어 메모리에 기저장되어 있는 제 1 가상객체, 제 2 가상객체 및 제 3 가상객체를 검출할 수 있다.

이때, 테이블탑 디바이스(100)는, 제 1 가이드 도구의 식별정보를 ‘플라이어’형 가이드 도구임을 확인하면, 플라이어형 가이드 도구에 매칭된 제 1 가상객체로 '펜치'의 실제 형상에 기초하여 모델링된 가상객체, 제 2 가상객체로 ‘롱로우즈 플라이어'의 실제 형상에 기초하여 모델링된 가상객체, 제 3 가상객체로 '바이스플라이어'의 실제 형상에 기초하여 모델링된 가상객체를 검출할 수 있다.

그리고 테이블탑 디바이스(100)는, 제 1 내지 3 가상객체를 포함하는 가상객체 리스트(20)를 생성할 수 있고, 생성된 가상객체 리스트(20)를 기초 촬영영상(10)에 중첩하여 출력할 수 있다.

이와 같이, 본 발명의 실시예에서 테이블탑 디바이스(100)는, 가이드 도구(200)에 매칭되는 복수의 가상객체를 리스트를 통해 제공함으로써, 하나의 가이드 도구만으로 여러 작업도구를 통한 작업 가이던스를 현장 작업자에게 전달할 수 있으며, 요구되는 작업에 따라 가장 적절한 가상객체가 선택되어 영상에 증강되게 할 수 있다.

계속해서, 실시예에서 테이블탑 디바이스(100)는, 표시된 가상객체 리스트(20)에 기반하여 메인(main) 가상객체를 결정할 수 있다. (S107)

여기서, 메인 가상객체란, 가이드 도구(200)의 형상에 기초하여 제공된 적어도 하나 이상의 가상객체들 중, 가이드 도구(200) 상에 중첩하여 표시하고자 하는 가상객체일 수 있다.

실시예에서, 테이블탑 디바이스(100)는, 사용자의 선택 입력을 기반으로 메인 가상객체 결정하거나, 또는 소정의 기준(예컨대, 최고 선택 빈도수를 가지는 가상객체 등)에 따라서 메인 가상객체를 자동으로 결정할 수 있다.

예를 들면, 테이블탑 디바이스(100)는, 사용자 입력 또는 소정의 기준에 따라서, 제 1 가이드 도구 식별정보에 매칭되는 제 1 가상객체, 제 2 가상객체 및 제 3 가상객체 중, 제 1 가상객체를 메인 가상객체로 결정할 수 있다.

도 8은 본 발명의 실시예에 따른 테이블탑 디바이스(100)에서 결정된 메인 가상객체가 렌더링되어 증강현실 영상으로 표시되는 모습의 일례이다.

또한, 도 8을 참조하면 테이블탑 디바이스(100)는, 결정된 메인 가상객체(30)를 렌더링(rendering)하여 증강현실 영상(40)을 생성할 수 있다. (S109)

여기서, 증강현실 영상(40)이란, 기초 촬영영상(10) 상에 가이드 도구(200)를 기반으로 증강되는 가상객체가 더 포함됨으로써 생성되는 영상일 수 있다.

자세히, 테이블탑 디바이스(100)는, 결정된 메인 가상객체(30)를 기초 촬영영상(10)에 표시된 가이드 도구(200) 상에 중첩하여 렌더링할 수 있다.

이때, 예컨대 테이블탑 디바이스(100)는, 촬영영상에 표시되는 가이드 도구(200)와, 해당 가이드 도구(200)에 중첩하여 표시되는 메인 가상객체(30)가 정확히 맵핑(mapping)될 수 있도록, 객체 정점 연산(Point Calculation on object) 및/또는 객체 회전 연산(Rotation Calculation on Object) 등을 수행할 수 있다.

또한, 테이블탑 디바이스(100)는, 기초 촬영영상(10)의 가이드 도구(200) 상에 선택된 메인 가상객체(30)를 중첩 표시함으로써 증강현실 영상(40)을 생성할 수 있다.

이때, 실시예에서 테이블탑 디바이스(100)는, 증강현실 영상(40)에 표시되는 가이드 도구(200)의 움직임(예컨대, 위치 이동, 제스처(gesture) 및/또는 모션(motion) 등)을 지속적으로 추적할 수 있고, 증강현실 영상(40)에서 가이드 도구(200)가 소정의 방식으로 동작하면, 해당 가이드 도구(200)에 중첩되어 표시된 메인 가상객체(30) 또한 동일한 방식으로 동작되게 할 수 있다.

예를 들면, 테이블탑 디바이스(100)는, 가이드 도구(200)가 회전 모션을 수행하는 경우, 해당 가이드 도구(200)에 매칭된 메인 가상객체(30)도 동일한 방식으로 회전 모션을 수행하게 할 수 있다.

이를 위해, 테이블탑 디바이스(100)는, 가이드 도구(200)를 촬영한 영상을 분석하여 가이드 도구(200)의 6 자유도 정보를 획득할 수 있다. 그리고 기 저장된 가상객체는 가이드 도구(200)의 6 자유도 변화에 대응되어 형상이 변화하도록 기 설계되어 있을 수 있다. 6 자유도란, 3차원 공간에서 운동하는 오브젝트의 여섯 가지 회전 및 병진 동작 요소를 측정한 자세 추정 정보일 수 있다.

또한, 테이블탑 디바이스(100)는, 가이드 도구 별 특징 동작들에 대한 가상객체의 이미지 변화를 매칭하여 저장할 수 있다.

예를 들어, 플라이어형 가이드 도구의 경우, 집게 형상으로 집는 상태와 푸는 상태를 외형이 가능하며, 두 상태로 이동하는 특징 동작이 가능할 수 있다.

테이블탑 디바이스(100)는, 플라이어형 가이드 도구를 학습하여 식별정보를 획득할 때, 상기 특징 동작에 대한 정보를 획득할 수 있다.

그리고 테이블탑 디바이스(100)는, 가이드 도구의 특징 동작에 따라서 가상객체 이미지가 변화하도록 저장할 수 있다.

이를 통해, 테이블탑 디바이스(100)는, 가이드 도구(200) 촬영 영상에서 가이드 도구(200)의 특징 동작이 검출되면, 상기 특징 동작에 따라서 가상객체의 이미지 또한 매칭되어 변화되도록 가상객체를 생성할 수 있다.

또한, 테이블탑 디바이스(100)는, 가이드 도구 별 기준 포인트를 지정하고, 상기 기준 포인트에 대응한 가상객체 이미지 변화를 저장할 수 있다.

여기서, 기준 포인트란, 가이드 도구의 자세를 추정하기 위한 기준이 되는 가이드 도구 상의 적어도 하나 이상의 지점을 의미한다. 이러한 기준 포인트는, 가이드 도구에 기초하여 증강현실을 구현할 때 해당 가이드 도구(500)와 상호작용하는 가상객체 증강을 위한 기준으로 이용될 수 있다.

예를 들어, 기준 포인트는, 가이드 도구가 '펜(pen)' 형상일 경우, 펜 촉 지점을 기준 포인트로 지정하고, 펜 촉의 움직임에 따른 가상의 선을 가상객체로 증강하는 방식으로 가상 드로잉 증강현실 환경을 제공할 수 있다. 다른 예로, 기준 포인트는, 가이드 도구가 '드라이버' 형상일 경우, 드라이버의 끝(tip) 지점에 위치를 기준 포인트로 지정하고, 드라이버의 회전에 따라 끝 부분이 함께 회전하도록 하는 증강현실 환경을 제공할 수 있다.

이러한 테이블탑 디바이스(100)는, 가이드 도구의 기준 포인트의 6 자유도를 영상에서 직접 인식하기 어려우므로, 가이드 도구 상에 마커를 인식하고 마커와 기준 포인트 사이의 위치관계에 따라 기준 포인트의 6 자유도를 추정할 수 있다.

이를 통해, 테이블탑 디바이스(100)는, 펜형 가이드 도구를 촬영영상 상에서 움직이는 경우, 가이드 도구의 기준 포인트의 6 자유도를 추정하고, 추정된 기준 포인트으 6자유도에 따라 가상 선분을 생성하여, 가이드 도구에 따른 증강현실 가상객체를 생성할 수 있다.

이와 같이, 본 발명의 실시예에서 테이블탑 디바이스(100)는, 사용자가 증강현실 영상(40)에 기반하여 원격에서 작업을 수행하는 작업자에게 가이드 도구(200)가 특정하는 객체(예컨대, 드라이버 등)를 이용한 작업 방식 등을 쉽고 명확하게 가이던스(guidance)하도록 할 수 있다.

도 9는 본 발명의 실시예에 따른 단말(300) 및 테이블탑 디바이스(100)에서 증강현실 영상(40)이 공유되는 모습을 나타내는 개념도이고, 도 10은 본 발명의 실시예에 따른 단말(300) 및 테이블탑 디바이스(100)에서 증강현실 영상(40)이 공유되는 모습을 나타내는 일례이다.

또한, 도 9 및 10을 참조하면, 본 발명의 실시예에서 테이블탑 디바이스(100)는, 생성된 증강현실 영상(40)을 단말(300)로 송신하여 시각화할 수 있다. (S111)

자세히, 테이블탑 디바이스(100)는, 생성된 증강현실 영상(40)을 네트워크를 통해 작업자의 단말(300)로 송신할 수 있고, 이를 수신한 단말(300)은, 수신된 증강현실 영상(40)을 출력하여 작업자에게 제공할 수 있다.

이와 같이, 테이블탑 디바이스(100)는, 원격의 단말(300)로 가이드 도구(200)의 움직임에 따라 생성된 메인 가상객체(30)의 움직임을 포함하는 증강현실 영상(40)을 송신하여 작업 가이던스를 제공함으로써, 실감나는 증강현실 화면을 기반으로 실시간 작업 가이던스를 제공할 수 있고, 이를 통해 작업자가 보다 쉽고 직관적으로 작업을 수행하게 할 수 있다.

또한, 본 발명의 실시예에서 테이블탑 디바이스(100)는, 가상객체 리스트(20)를 기반으로 메인 가상객체(30)를 결정하고 시각화하는 프로세스를 반복 수행할 수 있다. (S113)

자세히, 테이블탑 디바이스(100)는, 가상객체 리스트(20)에 기초하여 메인 가상객체(30)가 선택되고 렌더링된 이후, 가상객체 리스트(20)에 대한 사용자의 재선택 입력을 감지할 수 있다.

예를 들면, 테이블탑 디바이스(100)는, 가상객체 리스트(20)로 제공된 제 1 가이드 도구에 대한 제 1 가상객체, 제 2 가상객체 및 제 3 가상객체 중, 사용자의 선택 또는 소정의 기준에 따라서 제 1 가상객체가 메인 가상객체(30)로 결정된 이후, 메인 가상객체(30)의 교체를 요청하는 사용자의 메인 가상객체(30) 재선택 입력을 가상객체 리스트(20)를 기초로 획득할 수 있다.

그리고 테이블탑 디바이스(100)는, 획득된 메인 가상객체(30) 재선택 입력에 기초하여 메인 가상객체(30)를 교체할 수 있다.

예컨대, 테이블탑 디바이스(100)는, 재선택 입력에 의해 제 2 가상객체가 선택되면, 제 1 가이드 도구에 대한 메인 가상객체(30)를 제 1 가상객체에서 제 2 가상객체로 변경할 수 있다.

또한, 테이블탑 디바이스(100)는, 변경된 메인 가상객체(30)를 기반으로 렌더링을 수행할 수 있고, 이를 통해 증강현실 영상(40)을 생성할 수 있으며, 생성된 증강현실 영상(40)을 단말(300)로 송신할 수 있다.

즉, 테이블탑 디바이스(100)는, 가상객체 리스트(20)에 대한 사용자의 메인 가상객체(30) 재선택 입력이 있을 경우, 재선택된 메인 가상객체(30)를 기반으로 렌더링을 수행하고, 증강현실 영상(40)을 생성하고, 생성된 증강현실 영상(40)을 단말(300)로 송신하는 일련의 프로세스(S107 ~ S113)를 반복 수행할 수 있다.

이와 같이, 본 발명의 실시예에서 테이블탑 디바이스(100)는, 가이드 도구(200)에 매칭되는 적어도 하나 이상의 가상객체를 리스트를 통해 제공하고, 리스트로 제공된 복수의 가상객체 중 어느 하나를 선택하여 사용할 수 있도록 넓은 선택지를 제공함으로써, 요구되는 작업 환경에 가장 적합한 형상을 가지는 가상객체를 기반으로 작업 가이던스를 제공하게 할 수 있다.

이와 같은 방법으로, 테이블탑 디바이스(100)는, 촬영 영상에서 가이드 도구가 제 1 가이드 도구에서 제 2 가이드 도구로 교체되는 경우, 제 2 가이드 도구 촬영 이미지의 특징 정보를 식별정보에서 검출하여, 제 2 가이드 도구로 변경된 것을 검출할 수 있다.

그리고 테이블탑 디바이스(100)는, 제 2 가이드 도구에 매칭되는 복수의 가상객체를 리스트로 제공하고, 리스트 중 선택된 가상객체를 기초로 단말의 영상에 대한 가상객체 이미지를 생성할 수 있다.

이상, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말(300)로부터 획득되는 영상 상에 현재 위치에서 획득되는 영상의 실제 객체를 기반으로 생성되는 가상 객체를 표시하여 제공함으로써, 원격의 작업자에게 보다 쉽고 명확하게 작업 가이던스(guidance)를 실시간으로 제공할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 증강 현실(AR) 영상에 표시되는 가상객체를 이용하여 원격의 작업자에게 작업 가이던스를 제공함으로써, 복잡한 구조의 장비일지라도 또는 숙련된 작업자가 아닐지라도 증강 현실(AR)에 기반하여 제공되는 사용자의 지시에 따라 쉽고 빠르게 작업을 수행하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말(300)과 통신하여 작업 가이던스를 제공함으로써, 작업자가 작업 현장에서 단말(300)만 소지하고 있으면, 별도의 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있는 효과가 있다.

또한, 또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말(300)과 연동하여 증강 현실(AR)에 기반한 작업 가이던스를 제공함으로써, 스마트 글래스(smart glass)와 같은 별도의 몰입형 하드웨어 없이도 정확한 작업 가이던스를 제공할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말(300)과 통신하여 증강 현실(AR) 영상에 기반한 작업 가이던스를 제공함으로써, 실감나는 화면을 통해 작업 가이던스를 제공할 수 있고, 이를 통해 작업자가 보다 직관적으로 작업을 수행할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 산업 현장의 단말(300) 뿐만 아니라 다양한 레거시 기기(legacy device), 스마트 빌딩, 스마트 팩토리, 스마트 홈 등에서 사용하는 다양한 IoT 기기에까지도 확장될 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 원격의 단말(300)에 의해 촬영된 영상을 공유받고 증강 현실(AR)에 기반한 작업 가이던스를 제공하여 작업자와 사용자 간의 양방향 증강 현실(AR) 서비스를 구현함으로써, 증강 현실(AR) 서비스의 컨텐츠를 보강할 수 있고, 증강 현실(AR) 서비스의 양방향화에 의한 품질 향상을 도모할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 가이드 도구 기반의 가상 객체 시각화 방법은, 실제 객체를 바라보는 사용자의 시선과, 실제 객체를 촬영하는 테이블탑 디바이스(100)의 카메라(130)의 시선이 대응되도록 하여, 테이블탑 디바이스(100)의 카메라(130)에 의해 감지되는 실제 객체의 형상과 움직임을 보다 편리하게 제공할 수 있는 효과가 있다.

또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (7)

1. 테이블탑(Tabletop)의 프로세서에서 수행하는 가이드 도구 기반의 가상객체 시각화 방법으로서,
   외부 단말에서 촬영된 기초 촬영영상을 획득하고 표시하는 단계;
   카메라를 통해 상기 표시된 기초 촬영영상 상에서의 가이드 도구를 촬영하는 단계;
   상기 가이드 도구를 촬영한 영상을 분석하여 상기 가이드 도구 이미지를 검출하는 단계;
   상기 검출된 가이드 도구 이미지에 대응되는 적어도 하나 이상의 가상객체를 추출하는 단계;
   상기 추출된 가상객체를 상기 가이드 도구 이미지에 따라서 상기 기초 촬영영상에 중첩한 증강현실 영상을 생성하는 단계;
   상기 생성된 증강현실 영상을 표시하는 단계를 포함하고,
   상기 검출된 가이드 도구 이미지에 대응되는 적어도 하나 이상의 가상객체를 추출하는 단계는, 상기 가이드 도구를 촬영한 영상의 실제 객체의 특징 정보를 검출하는 단계와, 상기 검출한 특징 정보와 매칭되는 식별정보를 검색하여 상기 가이드 도구의 외형에 대해 매칭되는 복수의 가상객체를 추출하는 단계를 포함하고,
   상기 추출된 가상객체를 상기 가이드 도구 이미지에 따라서 상기 기초 촬영영상에 중첩한 증강현실 영상을 생성하는 단계는, 상기 추출된 복수의 가상객체를 포함하는 가상객체 리스트를 선택 가능하도록 제공하는 단계와, 상기 가상객체 리스트에서 선택된 제 1 가상객체를 상기 가이드 도구 상에 중첩하여 표시하고자 하는 메인 가상객체를 결정하는 단계와, 상기 제 1 가상객체의 기준 포인트를 상기 메인 가상객체의 기준 포인트로 결정하는 단계와, 상기 가이드 도구의 6 자유도에 기초하여 상기 메인 가상객체의 기준 포인트의 6 자유도를 획득하는 단계와, 상기 기준 포인트의 6 자유도 변화에 따라서 상기 메인 가상객체의 이미지를 생성하는 단계를 포함하는
   가이드 도구 기반의 가상 객체 시각화 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 가이드 도구를 촬영한 영상을 분석하여 상기 가이드 도구 이미지를 검출하는 단계는,
   상기 가이드 도구의 움직임에 따라 변화하는 가이드 도구의 6 자유도를 추적하는 단계를 더 포함하는
   가이드 도구 기반의 가상 객체 시각화 방법.
4. 삭제
5. 삭제
6. 삭제
7. 제 1 항에 있어서,
   상기 1 가상객체에서 제 2 가상객체를 선택하는 사용자 입력을 수신하는 단계와, 상기 제 2 가상객체를 메인 가상객체로 결정하는 단계를 더 포함하는
   가이드 도구 기반의 가상 객체 시각화 방법.
   

Images