KR20110136040A - 사용자 시선 기반 증강현실 기능이 구비된 단말 - Google Patents

Abstract

본 발명은 사용자 시선 기반 증강현실 기능이 구비된 단말에 관한 것으로서, 증강현실 서비스에 대응하는 각종 증강현실 모델을 출력하는 기능이 구비된 증강현실 서비스를 제공하는 단말에 있어서, 사용자의 시선 방향을 트래킹하고, 상기 사용자의 시선 방향에 대응하여, 상기 사용자의 시선이 상기 증강현실 서비스를 제공하는 단말을 통해 출력되는 증강현실 모델에 대한 응시 여부를 확인하는 시선 확인부와, 상기 시선의 방향에 따라 상기 출력되는 증강현실 모델의 그래픽 품질의 수준을 제어하는 증강현실 모델 제어부를 구비한다.

Description

사용자 시선 기반 증강현실 기능이 구비된 단말{Terminal with Augmented Reality based on Customer's Eye}

본 발명은 사용자의 이용 상황에 따라 증강현실 모델의 그래픽 품질의 수준을 조절해 제공하는 모델이다. 네비게이션 유형의 도로정보, 길 찾기 서비스분야는 사용자가 모니터를 계속 응시하는 비율보다, 전방의 도로상황이나 목표지점을 바라보는 비율이 높은 행동 패턴을 보인다. 사용자가 응시하지 않는 동안 사용자의 진행방향에 따라 계속적으로 생성되어야 할 모델(정보)의 그래픽 모델은 일시적으로 저품질로 생성해 출력하고, 사용자가 모니터를 응시할 경우(사용자의 시선을 인식하거나, 버튼을 조작하고 있는 동안에) 고품질로 제공하는 방법이다.

3D그래픽은 교육, 산업, 엔터테인먼트 등의 분야로 이미 일반화되어 사용되고 있고, 휴대용 게임기와 같은 소형 장치에서도 3D그래픽 기술이 적용되고 있는 등 3D기술은 매우 보편화되어 있다고 볼 수 있다. 이렇게 일반화 되어 있는 3D기술이라도 한 가지 분명한 것은 3D모델을 생성하거나 3D그래픽을 이용하는 데는 평균 이상의 처리 능력을 가진 H/W및 S/W환경이 필요하다는 점이다.

모바일 폰의 이용 환경 또한 3D모델을 생성하거나 이용하기 위해서는 현재 판매되는 제품 중에서도 최고 수준의 CPU성능이나 메모리 공간을 필요로 한다. 하지만 최고 수준의 스펙을 갖춘 모바일 폰 장치라고 하더라도 증강현실 서비스에 따라 많은 수의 3D모델을 생성해야 하거나 복잡한 3D모델을 생성해야 할 경우 프로세스에 부하가 걸리게 되고, 상황에 따라서는 증강현실을 원활하게 이용하지 못하는 경우가 발생할 수 있다.

증강현실의 대중화를 위해서는 일반적인 스펙의 모바일 폰 사용자들도 증강현실 이용에 무리가 없도록 서비스의 ‘특성’과 ‘상황’에 따라 적합하게 3D모델 생성 빈도수를 줄여서 제공할 수 있는 탄력적인 적용 방법이 필요하다.

상기 문제점을 해결하기 위한 본 발명은, 증강현실 장치를 통해 제공되는 증강현실 모델에 대한 그래픽 생성에 소요되는 많은 시스템 자원이, 실제 사용되고 있지 않은 상태에서 낭비되는 것을 방지하기 위한 것이다.

본 발명에 따른 증강현실 서비스에 대응하는 각종 증강현실 모델을 출력하는 기능이 구비된 증강현실 서비스를 제공하는 단말에 있어서, 사용자의 시선 방향을 트래킹하는 시선 확인부와, 상기 사용자의 시선 방향 트래킹을 통해, 상기 사용자의 시선이 상기 증강현실 서비스를 제공하는 단말을 통해 출력되는 증강현실 모델에 대한 응시 여부를 확인하는 시선 확인부와, 상기 시선의 방향에 따라 상기 출력되는 증강현실 모델의 그래픽 품질의 수준을 제어하는 증강현실 모델 제어부를 구비하는 사용자 시선 기반 증강현실 기능이 구비된 단말에 관한 것이다.

본 발명은 사용자가 화면에 시선을 응시하고 있지 않는 경우 저품질의 그래픽 모델을 제공해 증강현실 장치의 그래픽 생성에 따른 부하를 줄일 수 있다.

또한, 본 발명은 증강현실 서비스가 처리해야 할 데이터 양이 늘어나게 될 경우에 적합한 처리 방식으로, 저품질의 모델(정보)이 제공되지만, 사용상의 문제는 최소화시킬 수 있는 장점이 있다.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 증강현실 장치(100)를 통해 출력되는 증강현실 모델에 대한 품질을 제어하는 과정을 도시한 도면이다.
도 3과 도 4는 본 발명의 실시 방법에 따라 증강현실 장치(100)를 통해 증강현실 모델을 제공하는 실시예를 도시한 도면이다.

본 발명에 따른 증강현실 서비스에 대응하는 각종 증강현실 모델을 출력하는 기능이 구비된 증강현실 서비스를 제공하는 단말은, 사용자의 시선 방향을 트래킹하고, 상기 사용자의 시선 방향에 대응하여, 상기 사용자의 시선이 상기 증강현실 서비스를 제공하는 단말을 통해 출력되는 증강현실 모델에 대한 응시 여부를 확인하는 시선 확인부와, 상기 시선의 방향에 따라 상기 출력되는 증강현실 모델의 그래픽 품질의 수준을 제어하는 증강현실 모델 제어부를 구비하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 사용자 시선 기반 증강현실 기능이 구비된 단말에 있어서, 상기 모델 제어부는, 사용자의 시선이 증강현실 모델을 응시하는 경우, 증강현실 모델에 포함된 하나 이상의 컨텐츠에 대한 고품질 수준의 그래픽을 제공하거나, 또는 사용자의 시선이 증강현실 모델을 응시하지 않는 경우, 증강현실 모델에 포함된 하나 이상의 컨텐츠에 대한 저품질 수준의 그래픽을 제공하는 것을 특징으로 한다.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성요소와 본 발명을 위해 추가된 구성요소 사이의 관계도 명백하게 이해할 수 있을 것이다.

또한, 이하 실시예는 본 발명의 핵심적인 기술적 특징을 효율적으로 설명하기 위해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명백하게 이해할 수 있도록 용어를 적절하게 변형하여 사용할 것이나, 이에 의해 본 발명이 한정되는 것은 결코 아니다.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.

보다 상세하게 본 도면1은 사용자의 시선에 따른 증강현실 모델에 대한 품질을 제어하여 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

본 발명의 증강현실 장치(100)는 상기 증강현실 장치(100) 앞쪽에 위치하여 증강현실 장치(100)에 대한 응시가 가능한지 여부를 확인하기 위한 사용자의 위치를 추적하는 기능, 상기 사용자의 시선을 추적하는 기능, 상기 증강현실 장치(100)를 통해 출력되는 증강현실 모델의 품질을 제어하는 기능을 구비한 장치의 총칭으로서, 상기 사용자의 위치를 추적하는 방식, 사용자의 시선을 추적하는 방식, 상기 증강현실 모델의 품질을 제어하는 기능에 의해 한정되지 아니한다. 예를들어, 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다.

또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(140), 메모리부(130), 출력부(120), 센서부(115)를 구비하며, 가상현실 데이터를 획득하는 방식에 따라 통신부(125)와, 사용자 조작을 위한 조작부(135)를 더 구비하는 것이 가능하다.

상기 제어부(140)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(140) 내에 도시하여 설명하기로 한다.

상기 메모리부(130)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(140)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.

본 발명의 실시 방법에 따르면, 상기 메모리부(130)는 상기 증강현실 장치(100)를 통해 제공할 증강현실 모델에 대한 가상현실 데이터와, 상기 가상현실 데이터의 품질 조정을 위한 품질조정 기준정보를 저장하며, 이 경우 상기 메모리부(130)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행하는 것이 가능하다.

상기 출력부(120)는 증강현실 장치(100)가 제공하는 증강현실 모델에 대응하는 가상현실 데이터를 출력시키기 위한 출력모듈을 포함하며, 상기 사용자의 시선 위치에 따라 상기 증강현실 장치(100)를 응시하는 경우, 고품질의 증강현실 모델을 제공하고, 사용자의 시선 위치가 증강현실 장치(100)를 응시하지 않는 경우, 저품질의 증강현실 모델을 제공한다.

상기 카메라부는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 독출하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 본 발명에 따르면, 상기 카메라부는 상기 획득되는 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 센서부(115)의 기능을 더 수행할 수 있다.

상기 통신부(125)는 하나 이상의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 하나 이상의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 통해 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 제공한다.

본 발명의 실시 방법에 따르면, 상기 통신부(125)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 제공하는 것이 가능하다.

상기 센서부(115)는 사용자의 위치를 추적하는 위치 추적 센서(110) 및 상기 사용자의 시선방향을 추적하는 시선 추적 센서(105)로부터 센싱되는 센서신호를 획득하는 장치를 포함한다.

본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(110)와 시선 추적 센서(105)는 하나의 센서로 통합되어 구성되는 것이 가능하다.

본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(110)는 광학 방식, 화상 입력 방식, 전자파 방식, 사운드 판독 방식 중 어느 하나의 센서 방식을 통해 사용자의 위치를 추적한다.

여기서, 상기 광학 방식 위치 추적은 상기 위치 추적 센서(110)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 주사하고, 상기 사용자를 통해 반사되는 광선을 인식하여 사용자의 위치를 추적하는 방식이다.

상기 화상 입력 방식 위치 추적은 상기 위치 추적 센서(110)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 위치를 추적하는 방식이다.

상기 전자파 방식 위치 추적은 상기 사용자가 소지한 전자파 송출장치에서 송출되는 전자파 신호를 수신하고, 삼각측량 방식으로 상기 사용자의 위치를 추적하는 방식이다.

상기 사운드 판독 방식 위치 추적은 사람의 귀에는 들리지 않는 사운드(예컨대, 초음파)를 주사하고, 상기 사용자를 통해 반사되는 사운드를 인식하여 사용자의 위치를 추적하는 방식이다.

그러나, 상기 위치 추적 센서(110)가 사용자의 위치를 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시방법를 포함한다.

본 발명의 실시 방법에 따르면, 상기 시선 추적 센서(105)는 광학 방식과 화상 입력 방식 중 어느 하나의 센서 방식을 통해 사용자의 시선을 추적한다.

여기서, 상기 광학 방식 위치 추적은 상기 시선 추적 센서(105)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 사용자에게 선택적으로 주사하고, 상기 사용자로부터 반사되는 광선을 인식하여 사용자의 시선을 추적하는 방식이다.

상기 화상 입력 방식 시선 추적은 상기 시선 추적 센서(105)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 사용자에 대한 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 시선을 추적하는 방식이다.

그러나, 상기 시선 추적 센서(105)가 사용자의 시선을 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시방법을 포함한다.

상기 조작부(135)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함하며, 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(120)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈 중 하나 이상을 포함하며, 상기 카메라부 또는 센서부(115)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.

도면x를 참조하면, 상기 증강현실 장치(100)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(145)와, 상기 실제현실 데이터로부터 가상현실 데이터를 출력할 객체를 인식하는 객체 인식부(150)와, 상기 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(155)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가사현실 데이터를 입력하는 가상현실 입력부(160)를 구비한다.

상기 실제현실 입력부(145)는 상기 카메라부를 통해 입력되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(120)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 메모리부(130)에 저장되어 있거나 또는 상기 메모리부(130)로 실시간 저장되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(120)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 통신부(125)를 통해 수신되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(120)를 통해 출력할 실제현실 데이터로 입력한다.

상기 실제현실 데이터가 입력되면, 상기 객체 인식부(150)는 상기 실제현실 데이터를 판독하여 가상현실 데이터를 출력할 하나 이상의 객체를 인식한다.

본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(150)는 상기 실제현실 데이터를 판독하여 마커를 검출하고, 상기 마커가 검출된 위치를 가상현실 데이터를 출력할 객체로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.

본 발명의 다른 일 실시 방법에 따르면, 상기 객체 인식부(150)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 기준으로 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기 설정된 기하학 구조를 갖는 하나 이상의 객체 영역을 인식하고, 상기 객체 영역을 가상현실 데이터를 출력할 객체를 인식할 수 있다. 여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 카메라부를 통해 실시간 입력되는 경우, 상기 객체 인식부(150)는 상기 센서부(115)와 카메라부의 시선 방향을 일치시킨 후, 상기 카메라부를 통해 입력되는 데이터의 좌표계와 상기 센서부(115)를 통해 센싱되는 센싱신호의 좌표계를 매칭하여 특정 센서신호가 검출되는 좌표 값을 가상현실 데이터를 출력할 객체로 인식할 수 있다. 또는 상기 실제현실 데이터에 객체 위치를 판별하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 메타 데이터를 참조하여 상기 가상현실 데이터를 출력할 객체로 인식할 수 있다.

상기 가상현실 결정부(155)는 상기 실제현실 데이터로부터 검출된 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가사현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(155)는 상기 고정된 상기 객체 인식부(150)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.

본 발명의 일 실시 방법에 따르면, 상기 객체가 마커를 통해 인식된 경우, 상기 가상현실 결정부(155)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상현실 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상현실 결정부(155)는 상기 객체 인식부(150)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다.

본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 결정부(155)는 상기 객체 인식부(150)를 통해 인식된 객체의 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상현실 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(150)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 메모리부(130)에 저장되어 있거나 또는 통신부(125)를 통해 수신되는 데이터이고, 상기 실제현실 데이터에 가상현실 데이터를 결정하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 가상현실 결정부(155)는 상기 메타 데이터를 참조하여 상기 객체 인식부(150)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.

상기 가상현실 입력부(160)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(155)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 위치 추적 센서(110)를 통해 사용자의 위치를 추적하여, 사용자가 증강현실 장치(100) 전면에 위치하는지 여부를 확인하는 사용자 위치 추적부(165)와, 상기 시선 추적 센서(105)를 통해 상기 사용자의 시선이 증강현실 장치(100)의 출력모듈을 응시하는지 여부를 확인하는 시선 확인부(170)와, 상기 사용자의 위치가 출력모듈의 전면(즉, 출력모듈을 통해 출력되는 증강현실 모델의 확인이 가능한 측면)에 위치하는 경우, 상기 사용자의 시선이 출력모듈을 응시하면, 증강현실 모델에 대한 그래픽 품질을 제어하여 고품질 그래픽을 제공하도록 제어하고, 상기 사용자의 시선이 출력모듈을 응시하지 않으면, 증강현실 모델에 대한 그래픽 품질을 제어하여 저품질 그래픽을 제공하도록 제어하는 증강현실 모델 제어부(175)와, 상기 증강현실 제어부를 통해 그래픽 품질이 제어된 증강현실 모델에 대한 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(120)를 통해 출력하는 증강현실 출력부(180)를 구비한다.

본 발명의 실시 방법에 따르면, 상기 사용자 위치 추적부(165), 시선 확인부(170), 증강현실 모델 제어부(175), 증강현실 출력부(180) 중 하나 이상의 구성부는 상기 제어부(140), 메모리부(130), 출력부(120), 센서부(115) 및 통신부(125)를 구비한 증강현실 장치(100)와 연결된 서버(또는 장치)에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소 중 일부는 증강현실 장치(100)에 구비되고 나머지 구성부는 서버(또는 장치)에 구비될 수 있다.

상기 사용자 위치 추적부(165)는 상기 위치 추적 센서(110)를 통해 상기 증강현실 장치(100)의 출력모듈을 통해 증강현실 모듈이 디스플레이 되는 방향을 기준으로 사용자가 전면에 위치하여 출력모듈을 통해 제공되는 증강현실 모듈 응시가 가능한지 여부를 확인한다.

또는, 상기 카메라부를 통해 사용자 위치를 인식하여, 사용자가 전면에 위치하여 출력모듈을 통해 제공되는 증강현실 모델 응시가 가능한지 여부를 확인하는 것이 가능하다.

즉, 상기 위치 추적 센서(110)를 상기 카메라부를 통해 획득되는 사용자에 대한 이미지를 인식하여, 사용자의 위치를 확인한다.

상기 시선 확인부(170)는 상기 시선 추적 센서(105)를 통해 상기 사용자의 시선이 증강현실 장치(100)의 출력모듈을 응시하는지 주기적으로 확인한다.

또는, 상기 카메라부를 통해 사용자의 시선을 인식하여, 사용자의 시선이 증강현실 장치(100)의 출력모듈을 응시하는지 주기적으로 확인한다.

여기서, 상기 사용자의 시선 확인 이외에, 상기 조작부(135)를 통해 입력되는 조작에 따라 증강현실 장치(100)를 응시하는지 여부를 입력(또는 선택)하는 것이 가능하다.

즉, 사용자가 터치스크린을 터치하거나, 또는 키 입력을 통해 특정 버튼을 입력하면, 증강현실 장치(100)를 응시하는 것으로 설정하여 고품질 그래픽을 제공하고, 그 이외의 경우는 저품질 그래픽을 제공하는 것이 가능하다.

상기 사용자의 시선 방향이 확인되면, 상기 증강현실 모델 제어부(175)는 상기 사용자의 위치가 출력모듈의 전면(즉, 출력모듈을 통해 출력되는 증강현실 모델의 확인이 가능한 측면)에 위치하는 경우, 상기 사용자의 시선이 출력모듈을 응시하면, 증강현실 모델에 대한 그래픽 품질을 제어하여 고품질 그래픽을 제공하도록 제어하고, 상기 사용자의 시선이 출력모듈을 응시하지 않으면, 증강현실 모델에 대한 그래픽 품질을 제어하여 저품질 그래픽을 제공하도록 제어한다.

본 발명의 실시 방법에 따르면, 상기 증강현실 모델에 대한 그래픽 품질 제어는, 상기 출력모듈을 통해 출력되는 증강현실 모델에 품질조정 기준정보를 기반으로 품질을 조정한다.

예컨대, 증강현실 모델에 대한 품질조정 기준정보는, 제공되는 증강현실 모델이 네비게이션 서비스인 경우, 증강현실 모델을 통해 출력되는 건물 각각에 대한 상세도를 낮추거나, 중요정보를 제외한 나머지 정보를 출력되지 않도록 처리하거나, 또는 제공되는 그래픽에 대한 해상도를 조정하는 정보를 포함한다.

본 발명의 다른 실시 방법에 따르면, 상기 증강현실 모델에 대한 그래픽 품질 제어는, 상기 출력모듈을 통해 출력되는 증강현실 모델에 대한 고품질 그래픽에 대응되는 가상현실 데이터와 저품질 그래픽에 대응되는 가상현실 데이터가 증강현실 장치(100) 내의 메모리 상에 저장된 경우, 각각에 그래픽 품질에 대응되는 가상현실 데이터를 선택적으로 추출하여, 상기 증강현실 모델에 대한 그래픽 품질을 제어한다.

상기 출력될 증강현실 모델에 대한 그래픽 품질의 조정이 완료되어 증강현실 모델에 대한 그래픽이 생성(또는 추출)되면, 상기 증강현실 출력부(180)는 상기 생성(또는 추출)된 증강현실 모델에 대한 그래픽 데이터(즉, 상기 실제현실 입력부(145)를 통해 입력되는 실제현실 데이터 상의 객체에 상기 가상현실 입력부(160)를 통해 입력되는 가상현실 데이터를 표기한 데이터)를 상기 출력부(120)를 통해 출력되도록 처리한다.

본 발명의 일 실시 방법에 따르면, 상기 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성하되, 상기 증강현실 모델 제어부(175)를 통해 제어되는 그래픽 품질을 기반으로 생성(또는 추출)한 후, 상기 생성(또는 추출)된 증강현실 데이터를 상기 출력부(120)를 통해 출력하는 것이 가능하다.

본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(180)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성하되, 상기 증강현실 모델 제어부(175)를 통해 제어되는 그래픽 품질을 기반으로 생성(또는 추출)한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(120)를 통해 출력할 수 있다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(120)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(180)는 상기 객체 인식부(150)를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력하는 것이 가능하며, 상기 가상현실 데이터에 대한 상기 증강현실 모델 제어부(175)를 통해 제어되는 그래픽 품질을 기반으로 생성(또는 추출)하여 출력한다.

도면2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 증강현실 장치(100)를 통해 출력되는 증강현실 모델에 대한 품질을 제어하는 과정을 도시한 도면이다.

보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에 구비된 센서를 통해 사용자의 위치 및 사용자의 시선을 기반으로 증강현실 모델에 대한 그래픽 품질을 제어하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 사용자 위치와 시선을 추적하여 증강현실 장치(100)를 통해 출력되는 증강현실 모델에 대한 품질을 제어하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면2를 참조하면, 증강현실 장치(100)에서 사용자 위치를 확인하여, 사용자가 증강현실 장치(100)를 통해 제공되는 증강현실 모델 확인이 가능한 위치인지 여부를 확인한다(x00).

즉, 사용자가 증강현실 장치(100)에서 출력되는 증강현실 모델 확인이 가능한 위치(즉, 증강현실 장치(100)에 구비된 출력모듈을 통해 출력되는 전면에 위치) 상에 사용자가 위치하고 있는지 여부를 확인한다.

만약, 상기 사용자가 증강현실 장치(100)를 통해 제공되는 증강현실 모델 확인이 가능한 위치로 확인되면(x05), 상기 증강현실 장치(100)는 사용자의 시선이 출력중인 증강현실 모델을 응시하는지 여부를 확인한다(x10).

만약, 상기 사용자의 시선이 출력중인 증강현실 모델을 응시하지 않는 것으로 확인되면(x15), 증강현실 장치(100)는 출력될 증강현실 모델을 저품질 그래픽으로 제어하고(x20), 상기 제어에 따라 저품질 그래픽으로 설정된 증강현실 모델에 대한 그래픽을 생성(또는 추출)하여(x30), 출력모듈을 통해 출력되도록 처리한다(x35).

예컨대, 증강현실 모델에 대한 품질조정 기준정보는, 제공되는 증강현실 모델이 네비게이션 서비스인 경우, 증강현실 모델을 통해 출력되는 건물 각각에 대한 상세도를 낮추거나, 중요정보를 제외한 나머지 정보를 출력되지 않도록 처리하거나, 또는 제공되는 그래픽에 대한 해상도를 조정하는 정보를 포함한다.

반면, 상기 사용자의 시선이 출력중인 증강현실 모델을 응시하는 것으로 확인되면(x15), 증강현실 장치(100)는 출력될 증강현실 모델을 고품질 그래픽으로 제어하고(x25), 상기 제어에 따라 고품질 그래픽으로 설정된 증강현실 모델에 대한 그래픽을 생성(또는 추출)하여(x30), 출력모듈을 통해 출력되도록 처리한다(x35).

도면3과 도면4는 본 발명의 실시 방법에 따라 증강현실 장치(100)를 통해 증강현실 모델을 제공하는 실시예를 도시한 도면이다.

구체적으로 도면3은 사용자의 위치가 증강현실 장치(100)를 통해 출력중인 증강현실 모델 확인이 가능한 위치인지 여부를 확인하고, 사용자의 시선을 확인하여, 사용자가 출력중인 증강현실 모델을 응시하는 경우에 대한 예시 화면에 대한 것이고, 도면4는 사용자의 위치가 증강현실 장치(100)를 통해 출력중인 증강현실 모델 확인이 불가능한 위치이거나, 또는 출력중인 증강현실 모델을 응시하지 않는 경우에 대한 예시 화면에 대한 것이다.

즉, 차량운행에 편의를 주는 네비게이션 장치는 장치의 특성상 운전하는 내내 운전자(즉, 사용자)가 네비게이션 안내 화면(즉, 증강현실 모델)을 응시하기 보다, 음성안내를 위주로 운전하게 되며, 이 경우 내비게이션 안내를 위해 사용자가 응시하지 않는 상태에서도 고품질의 그래픽을 제공하는 것은, 네비게이션 장치에 대한 자원의 낭비가 된다.

또한, 차량 운전자(즉, 사용자)가 네비게이션 화면을 응시하지 않을 경우, 네비게이션 화면을 통해 출력되는 정보는 사실상 불필요한 정보가 된다.

이러한 상황에 네비게이션 화면을 통해 제공되는 그래픽 품질을 제어함으로써, 증강현실 장치(100)의 자원에 대한 효과적인 활용이 가능해지고, 네비게이션 장치의 동작을 위해 불필요하게 소모되는 전력을 줄이는 것이 가능하다.

도면3과 도면4를 참조하면, 네비게이션 장치(즉, 증강현실 장치(100))를 통해 증강현실을 이용한 네비게이션 서비스를 예시로 표현한 것으로서, 도로상의 방향 표시 정보, 주위 건물들에 대한 정보를 3D기반의 증강현실 모델로 표시하고 있으며, 차량의 이동 방향에 따라 계속적으로 주변을 인식하여 증강현실 모델이 생성/출력된다.

여기서, 일반적으로 네비게이션 장치(즉, 증강현실 장체)를 이용하는 운전 상황에서, 사용자는 주로 전방의 실제 교통상황에 집중하게 되며, 네비게이션 장치를 통해 출력되는 화면을 보는 경우는, 특별한 경우(예컨대, 음성안내로 인식하기에 난해하고 복잡한 돌로 등의 경우) 내지 목적지에 근접하거나 도착한 후, 화면을 응시하는 행동 패턴을 보이는 경우가 대부분이며, 이러한 네비게이션 서비스의 특성 상 자동차로 주행 중이거나, 사용자가 이동할 때 새로운 모델을 생성해야 하는 데이터 양이 늘어나게 되는 특징이 있어, 빠른 속도로 이동 내지 주행할 경우 제공해야 할 많은 정보의 처리 및 3D 모델 생성에 많은 부하가 따르게 된다.

이러한 이유로, 증강현실 장치(100)의 카메라(또는 각종 센서)를 이용해 운전자(즉, 사용자)의 시선을 트래킹하여 증강현실 모델의 응시 여부 감지를 통해, 또는 사용자의 별도로 버튼 조작을 통해, 저품질 또는 고품질 그래픽 모델을 선택적으로 제공하여, 일반적인 성능을 가진 증강현실 장치(100)에서 연산처리에 대한 부하를 제거한다.

100 : 증강현실 장치 105 : 시선 추적 센서
110 : 위치 추적 센서 115 : 센서부
120 : 출력부 125 : 통신부
130 : 메모리부 135 : 조작부
140 : 제어부 145 : 실제현실 입력부
150 : 객체 인식부 155 : 가상현실 결정부
160 : 가상현실 입력부 165 : 사용자 위치 추적부
170 : 시선 확인부 175 : 증강현실 모델 제어부
180 : 증강현실 출력부

Claims (2)

1. 증강현실 서비스에 대응하는 각종 증강현실 모델을 출력하는 기능이 구비된 증강현실 서비스를 제공하는 단말에 있어서,
   사용자의 시선 방향을 트래킹하고, 상기 사용자의 시선 방향에 대응하여, 상기 사용자의 시선이 상기 증강현실 서비스를 제공하는 단말을 통해 출력되는 증강현실 모델에 대한 응시 여부를 확인하는 시선 확인부;
   상기 시선의 방향에 따라 상기 출력되는 증강현실 모델의 그래픽 품질의 수준을 제어하는 증강현실 모델 제어부;를 구비하여 이루어지는 것을 특징으로 하는 사용자 시선 기반 증강현실 기능이 구비된 단말.
   
2. 제 1항에 있어서, 상기 모델 제어부는,
   사용자의 시선이 증강현실 모델을 응시하는 경우, 증강현실 모델에 포함된 하나 이상의 컨텐츠에 대한 고품질 수준의 그래픽을 제공하거나, 또는
   사용자의 시선이 증강현실 모델을 응시하지 않는 경우, 증강현실 모델에 포함된 하나 이상의 컨텐츠에 대한 저품질 수준의 그래픽을 제공하는 것을 특징으로 하는 사용자 시선 기반 증강현실 기능이 구비된 단말.
   

Images