KR20150085610A - 포터블 디바이스 및 그 제어 방법 - Google Patents

포터블 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20150085610A
KR20150085610A KR1020140005455A KR20140005455A KR20150085610A KR 20150085610 A KR20150085610 A KR 20150085610A KR 1020140005455 A KR1020140005455 A KR 1020140005455A KR 20140005455 A KR20140005455 A KR 20140005455A KR 20150085610 A KR20150085610 A KR 20150085610A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality image
display
target object
portable device
Prior art date
Application number
KR1020140005455A
Other languages
English (en)
Other versions
KR102114618B1 (ko
Inventor
김용신
김종호
이도영
김지환
천시내
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140005455A priority Critical patent/KR102114618B1/ko
Priority to US14/190,769 priority patent/US9423872B2/en
Priority to PCT/KR2014/001949 priority patent/WO2015108232A1/en
Publication of KR20150085610A publication Critical patent/KR20150085610A/ko
Application granted granted Critical
Publication of KR102114618B1 publication Critical patent/KR102114618B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Abstract

본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법은 복수의 증강현실 이미지를 디스플레이하는 단계, 사용자의 시선을 디텍트하는 단계, 사용자의 시선에 기초하여 타겟 오브젝트를 결정하는 단계, 복수의 증강현실 이미지로부터 타겟 오브젝트에 연관되는 연관 증강현실 이미지 및 타겟 오브젝트에 연관되지 않는 비연관 증강현실 이미지를 식별하는 단계, 및 타겟 오브젝트가 이동 오브젝트인 경우, 연관 증강현실 이미지의 디스플레이를 유지하고 비연관 증강현실 이미지의 디스플레이를 종료하는 단계를 포함할 수 있다.

Description

포터블 디바이스 및 그 제어 방법{PORTABLE AND METHOD FOR CONTROLLING THE SAME}
본 명세서는 포터블 디바이스에 관한 것으로, 보다 상세하게는 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법에 관한 것이다.
리얼 오브젝트와 버추얼 오브젝트가 혼합된 증강현실기술은 사용자가 증강현실 이미지와 함께 현실 이미지를 볼 수 있게 하여 현실감과 함께 부가 정보를 제공한다. 예를 들어 스마트폰의 카메라로 주변을 비추면 현실 이미지와 함께 인근에 있는 상점의 위치, 전화번호 등의 증강현실 이미지가 입체영상으로 표기된다. 증강현실기술은 포터블 디바이스에도 적용될 수 있다.
종래의 증강현실 서비스를 제공하는 포터블 디바이스는 제한된 디스플레이 화면에 다수의 증강현실 이미지를 디스플레이하므로, 사용자가 증강현실 이미지로부터 원하는 정보를 쉽게 획득하기 어렵다.
본 명세서는, 사용자의 시선을 고려하여 증강현실 이미지를 디스플레이하는 방법을 변경함으로써, 사용자 친화적인 증강현실 서비스를 제공하는 포터블 디바이스 및 그 제어 방법을 제공하고자 한다.
본 명세서의 일 실시예에 따른 포터블 디바이스는 사용자의 시선을 디텍트하는 시선 디텍트 유닛; 이미지를 디스플레이하는 디스플레이 유닛; 및 상기 시선 디텍트 유닛 및 상기 디스플레이 유닛을 제어하는 프로세서를 포함할 수 있다. 프로세서는 복수의 증강현실 이미지를 디스플레이하고, 상기 사용자의 시선에 기초하여 타겟 오브젝트(target object)를 결정하고, 상기 복수의 증강현실 이미지로부터, 상기 타겟 오브젝트에 연관되는 연관 증강현실 이미지(associated AR image) 및 상기 타겟 오브젝트에 연관되지 않는 비연관 증강현실 이미지(non-associated AR image)를 식별하고, 상기 타겟 오브젝트가 이동 오브젝트(moving object)인 경우, 상기 연관 증강현실 이미지의 디스플레이를 유지하고 상기 비연관 증강현실 이미지의 디스플레이를 종료할 수 있다.
또한, 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법은 적어도 하나의 증강현실 이미지를 디스플레이하는 단계; 사용자의 시선을 디텍트하는 단계; 상기 사용자의 시선에 기초하여 타겟 오브젝트를 결정하는 단계; 상기 적어도 하나의 증강현실 이미지로부터, 상기 타겟 오브젝트에 연관되는 연관 증강현실 이미지 및 상기 타겟 오브젝트에 연관되지 않는 비연관 증강현실 이미지를 식별하는 단계; 및 상기 타겟 오브젝트가 이동 오브젝트인 경우, 상기 연관 증강현실 이미지의 디스플레이를 유지하고 상기 비연관 증강현실 이미지의 디스플레이를 종료하는 단계를 포함할 수 있다.
본 명세서에 따르면, 포터블 디바이스는 사용자의 시선에 기초하여 타겟 오브젝트를 결정할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 디스플레이 유닛에 디스플레이된 복수의 증강현실 이미지로부터 타겟 오브젝트에 연관된 연관 증강현실 이미지 및 타겟 오브젝트에 연관되지 않는 비연관 증강현실 이미지를 식별할 수 있다.
또한, 본 명세서에 따르면, 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스는 연관 증강현실 이미지의 디스플레이를 유지하고 비연관 증가현실 이미지의 디스플레이를 종료시킴으로써, 사용자가 관심 있는 증강현실 이미지만을 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 타겟 오브젝트가 정지 오브젝트인 경우, 포터블 디바이스는 연관 증강현실 이미지 및 비연관 증강현실 이미지의 디스플레이를 유지하고, 연관 증강현실 이미지의 디스플레이 속성 및 비연관 증강현실 이미지의 디스플레이 속성 중 적어도 하나를 조정함으로써, 제한된 디스플레이 화면 내에 디스플레이된 복수의 증강현실 이미지에 대한 가시성을 높여 줄 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스의 구성도이다.
도 2는 본 명세서의 일 실시예에 따른 포터블 디바이스를 나타낸 도면이다.
도 3은 본 명세서의 일 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 5는 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 6은 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 7은 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 8은 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 9는 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법의 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 포터블 디바이스는 증강현실 이미지를 디스플레이할 수 있는 다양한 형태의 휴대 가능한 디바이스를 의미할 수 있다. 예를 들면, 포터블 디바이스는 헤드 마운티드 디스플레이, 스마트폰, 스마트 패드, 태블릿 컴퓨터, 노트북, 뮤직 플레이어 또는 폴더블 디스플레이 디바이스일 수 있다. 또한 본 명세서에서 증강현실 이미지는 현실 환경에 대한 부가 정보를 제공하는 가상 이미지일 수 있다. 이때, 증강현실 이미지는 그래픽 이미지, 텍스트, 기호 및 이모티콘을 포함할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스의 구성도이다.
도 1을 참조하면, 포터블 디바이스(100)는 카메라 유닛(110), 시선 디텍트 유닛(120), 디스플레이 유닛(130) 및 프로세서(140)를 포함할 수 있다.
카메라 유닛(110)은 포터블 디바이스(100)의 전방의 이미지를 캡쳐링할 수 있다. 이때, 캡쳐링된 이미지는 적어도 하나의 리얼 오브젝트를 포함할 수 있고, 리얼 오브젝트는 증강현실 이미지의 마커를 포함할 수 있다. 여기서, 리얼 오브젝트는 현실공간에 존재하는 오브젝트를 의미할 수 있다. 여기서, 마커는 리얼 오브젝트의 표면에 구비된 약속된 패턴 또는 코드이거나, 리얼 오브젝트의 형상 자체일 수 있다.
시선 디텍트 유닛(120)은 사용자의 시선을 디텍팅할 수 있다. 또한, 시선 디텍트 유닛(120)은 사용자의 시선 변화를 디텍팅할 수 있다. 이를 통해, 포터블 디바이스(100)는 사용자가 어느 방향 또는 어느 오브젝트를 응시하는지 디텍트할 수 있다. 이때, 시선 디텍트 유닛(120)은 포터블 디바이스(100)의 일면에 구비되고 시선 이미지를 캡쳐링하는 카메라 유닛(110)으로 구성될 수 있다. 예를 들면, 포터블 디바이스(100)가 헤드 마운티드 디스플레이인 경우, 시선 디텍트 유닛(120)은 헤드 마운티드 디스플레이의 후면에 구비되고 시선 이미지를 캡쳐링하는 후면 카메라 유닛으로 구성될 수 있다. 다른 예를 들면, 포터블 디바이스(100)가 스마트 폰인 경우, 시선 디텍트 유닛(120)은 스마트 폰의 전면에 구비되고 시선 이미지를 캡쳐링하는 전면 카메라 유닛으로 구성될 수 있다.
디스플레이 유닛(130)은 이미지를 디스플레이할 수 있다. 디스플레이 유닛(130)은 카메라 유닛(110)에 의해 캡쳐링된 이미지를 디스플레이할 수 있다. 다만, 포터블 디바이스(100)가 헤드 마운티드 디스플레이인 경우, 디스플레이 유닛(130)은 카메라 유닛(110)에 의해 캡쳐링된 이미지를 디스플레이하지 않을 수 있다.
또한, 디스플레이 유닛(130)은 적어도 하나의 증강현실 이미지를 디스플레이할 수 있다. 예를 들면, 디스플레이 유닛(130)은 카메라 유닛(110)에 의해 캡쳐링된 이미지로부터 디텍팅된 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 다른 예를 들면, 디스플레이 유닛(130)은 포터블 디바이스의 위치 정보 및 방향 정보에 기초하여 획득된 증강현실 이미지를 디스플레이할 수 있다. 이때, 포터블 디바이스(100)는 GPS에 기반하여 디바이스의 위치 정보 및 방향 정보를 획득할 수 있다. 이를 통해, 포터블 디바이스(100)는 카메라 유닛(110)을 통한 마커의 디텍팅 없이 포터블 디바이스의 주변의 현실 환경에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 또한, 본 명세서의 일 실시예 따른 포터블 디바이스(100)가 헤드 마운티드 디스플레이인 경우, 디스플레이 유닛(130)은 씨스루 디스플레이 패널로 구성되고, 사용자가 씨스루 디스플레이 패널을 통해 바라보는 현실 세계의 리얼 오브젝트 상에 증강현실 이미지를 디스플레이할 수 있다.
프로세서(140)는 포터블 디바이스(100)에 구비된 적어도 하나의 유닛을 제어할 수 있다. 보다 상세하게는, 프로세서(140)는 상술한 각 유닛들을 제어하며, 각 유닛들간의 데이터 송신 및/또는 수신을 제어할 수 있다.
또한, 프로세서(140)는 적어도 하나의 증강현실 이미지를 디스플레이할 수 있다. 예를 들면, 프로세서(140)는 카메라 유닛(110)에 의해 캡쳐링된 이미지 또는 디스플레이 유닛(130)에 의해 디스플레이된 이미지로부터 마커를 디텍팅하고, 디텍팅된 마커에 대응하는 증강현실 이미지를 획득하고, 획득된 증강현실 이미지를 디스플레이할 수 있다. 복수의 마커가 디텍팅된 경우, 프로세서(140)는 복수의 마커 각각에 대응하는 복수의 증강현실 이미지를 획득하고, 획득된 증강현실 이미지를 디스플레이할 수 있다. 또한, 프로세서(140)는 포터블 디바이스(100)의 위치 정보 및 방향 정보에 기초하여 적어도 하나의 증강현실 이미지를 획득하고, 획득된 증강현실 이미지를 디스플레이할 수 있다. 나아가, 본 명세서의 포터블 디바이스는 상술한 실시예에 의해 제한되지 않고, 다양한 방법으로 증강현실 이미지를 획득하고, 획득된 증강현실 이미지를 디스플레이할 수 있다.
프로세서(140)는 사용자의 시선에 기초하여 타겟 오브젝트를 결정할 수 있다. 여기서, 타겟 오브젝트는 리얼 오브젝트로서, 사용자의 시선 위치에 기초하여 결정된 리얼 오브젝트를 의미할 수 있다. 프로세서(140)는 시선 디텍트 유닛(120)로부터 전달된 디텍팅 결과에 기초하여 타겟 오브젝트를 결정할 수 있다. 이때, 프로세서(140)는 사용자의 시선이 제 1 시간 이상 동안 응시하는 리얼 오브젝트를 타겟 오브젝트로 결정할 수 있다. 여기서, 제 1 시간은 사용자에 의해 포터블 디바이스에 입력되거나, 또는 포터블 디바이스의 제조 과정에서 제조사에 의해 설정된 시간일 수도 있다. 예를 들면, 프로세서(140)는 사용자의 시선이 1초 이상 응시하는 리얼 오브젝트를 타겟 오브젝트로 결정할 수 있다.
프로세서(140)는 디스플레이된 증강현실 이미지로부터 연관 증강현실 이미지 및 비연관 증강현실 이미지 중 적어도 하나를 식별할 수 있다. 여기서, 연관 증강현실 이미지는 타겟 오브젝트에 연관되는 증강현실 이미지를 의미할 수 있고, 비연관 증강현실 이미지는 타겟 오브젝트에 연관되지 않는 증강현실 이미지를 의미할 수 있다. 또한, 프로세서(140)는 디스플레이된 증강현실 이미지로부터 복수의 연관 증강현실 이미지를 식별할 수 있다. 또한, 프로세서(140)는 디스플레이된 증강현실 이미지로부터 복수의 비연관 증강현실 이미지를 식별할 수 있다. 이때, 프로세서(140)는 사용자에 의해 입력된 알고리즘 또는 증강현실 서비스 제공자에 의해 제공된 기 설정된 알고리즘에 기초하여 타겟 오브젝트와 증강현실 이미지의 연관 여부를 판단함으로써, 연관 증강현실 이미지 및 비연관 증강현실 이미지를 식별할 수 있다.
예를 들면, 타겟 오브젝트가 자동차인 경우, 프로세서는 자동차에 연관된 정보(예를 들면, 주차장 위치 정보)를 포함하는 증강현실 이미지를 연관 증강현실 이미지로 식별하고, 자동차와 연관 없는 정보(예를 들면, 인물 정보)만을 포함하는 증강현실 이미지를 비연관 증강현실 이미지로 식별할 수 있다. 다른 예를 들면, 타겟 오브젝트가 사람인 경우, 프로세서는 사람에 연관된 정보(예를 들면, 인물 정보)를 포함하는 증강현실 이미지를 연관 증강현실 이미지로 식별하고, 사람과 연관 없는 정보(예를 들면, 건물 정보)만을 포함하는 증강현실 이미지를 비연관 증강현실 이미지로 식별할 수 있다.
또한, 프로세서(140)는 타겟 오브젝트가 이동 오브젝트인지 또는 정지 오브젝트인지를 결정할 수 있다. 여기서, 이동 오브젝트는 위치 이동이 가능한 리얼 오브젝트를 의미할 수 있고, 정지 오브젝트는 위치 이동이 불가능한 리얼 오브젝트를 의미할 수 있다. 예를 들면, 자동차, 버스 등은 이동 오브젝트일 수 있고, 건물 등은 정지 오브젝트일 수 있다. 다만, 실시예에 따라, 이동 오브젝트는 위치 이동이 가능한 리얼 오브젝트로서 현재 이동 상태인 리얼 오브젝트를 의미할 수도 있고, 정지 오브젝트는 위치 이동이 불가능한 리얼 오브젝트 또는 위치 이동이 가능한 리얼 오브젝트로서 현재 정지 상태인 리얼 오브젝트를 의미할 수도 있다.
이때, 프로세서(140)는 GPS에 의해 획득된 정보에 기초하여 타겟 오브젝트가 이동 오브젝트인지 여부를 결정할 수 있다. 또한, 프로세서(140)는 카메라 유닛(110)에 의해 캡쳐링된 이미지 또는 디스플레이 유닛(130)에 의해 디스플레이된 이미지에 기초하여 타겟 오브젝트가 이동 오브젝트인지 여부를 결정할 수 있다. 또한, 프로세서(140)는 시선 디텍트 유닛(120)에 의해 디텍트된 타겟 오브젝트를 응시하는 사용자의 시선의 변화에 기초하여 타겟 오브젝트가 이동 오브젝트인지 여부를 디텍트할 수 있다.
또한, 프로세서(140)는 타겟 오브젝트가 이동 오브젝트 또는 정지 오브젝트인지 여부에 따라 증강현실 이미지의 디스플레이 방법을 변경할 수 있다.
이러한 프로세서(140)의 동작들은 이하에서 각 도면들을 참조하여 자세히 설명하도록 한다. 이하에서는, 프로세서(140)가 포터블 디바이스(100) 또는 포터블 디바이스(100)에 포함된 적어도 하나의 유닛을 제어한다고 표현할 수 있으며, 프로세서(140)와 포터블 디바이스(100)를 동일시하여 설명할 수 있다.
도 1은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 포터블 디바이스(100)의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 포터블 디바이스(100)의 엘러먼트들은 포터블 디바이스(100)의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
이하에서는 헤드 마운티드 디스플레이인 포터블 디바이스를 중심으로 각 실시예들을 설명하지만, 다른 형태의 포터블 디바이스(예를 들면, 스마트 폰)의 경우에도 동일한 설명이 적용될 수 있을 것이다.
도 2는 본 명세서의 일 실시예에 따른 포터블 디바이스를 나타낸 도면이다.
도 2a는 전방의 이미지를 캡쳐링하는 포터블 디바이스를 나타내고, 도 2b는 증강현실 이미지를 디스플레이하는 포터블 디바이스를 나타낸다.
도 2a를 참조하면, 포터블 디바이스(100)는 카메라 유닛(110)을 이용하여 전방의 이미지를 캡쳐링할 수 있다. 카메라 유닛(110)은 화각(111) 내에서 포터블 디바이스(100)의 전방의 이미지를 캡쳐링할 수 있다. 여기서, 화각(111)은 카메라 유닛(110)에 포함된 이미지 센서가 디텍팅할 수 있는 영역을 의미할 수 있다. 이때, 캡쳐링된 이미지는 적어도 하나의 리얼 오브젝트를 포함할 수 있고, 리얼 오브젝트는 증강현실 이미지의 마커를 포함할 수 있다. 따라서, 포터블 디바이스(100)는 카메라 유닛(110)을 이용하여 화각(111) 내에서 마커를 디텍팅할 수도 있다.
도 2b를 참조하면, 포터블 디바이스(100)는 디스플레이 유닛(130)을 이용하여 적어도 하나의 증강현실 이미지를 디스플레이할 수 있다. 이때, 포터블 디바이스(100)는 사용자가 씨스루 디스플레이 패널을 통해 바라보는 현실 세계의 리얼 오브젝트 상에 적어도 하나의 증강현실 이미지를 디스플레이할 수 있다. 이를 통해, 포터블 디바이스(100)는 사용자의 시야 내에 적어도 하나의 증강현실 이미지를 디스플레이할 수 있다. 또한, 포터블 디바이스(100)는 시선 디텍트 유닛(120)을 이용하여 사용자의 시선(30)에 기초하여 타겟 오브젝트를 결정할 수 있다. 예를 들면, 포터블 디바이스(100)는 사용자의 시선(30)이 1초 이상 응시하는 리얼 오브젝트(50)를 타겟 오브젝트로 결정할 수 있다.
도 3은 본 명세서의 일 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 보다 상세하게, 도 3은 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법에 대한 제 1 실시예를 나타낸 도면이다. 도 3 내지 도 6에서, 타겟 오브젝트는 이동 오브젝트이고, 제 1 증강현실 이미지는 연관 증강현실 이미지로 식별되고, 제 2 증강현실 이미지는 비연관 증강현실 이미지로 식별된다.
도 3의 시간 t1에서처럼, 포터블 디바이스(100)는 디스플레이 유닛(130)을 통해 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)를 디스플레이할 수 있다. 또한, 포터블 디바이스(100)는 시선 디텍트 유닛을 통해 사용자의 시선(30)을 디텍트하고, 디텍트된 사용자의 시선(30)에 기초하여 타겟 오브젝트를 결정할 수 있다. 이때, 포터블 디바이스(100)는 사용자의 시선(30)이 제 1 시간 이상 동안 응시하는 리얼 오브젝트를 타겟 오브젝트로 결정할 수 있다. 여기서, 제 1 시간은 사용자에 의해 포터블 디바이스(100)에 입력되거나, 또는 포터블 디바이스(100)의 제조 과정에서 제조사에 의해 설정된 시간일 수도 있다.
도 3의 시간 t1에서처럼, 사용자의 시선이 제 1 시간 이상 동안 응시하는 오브젝트가 없는 경우, 포터블 디바이스(100)는 타겟 오브젝트를 결정할 수 없다. 타겟 오브젝트가 결정되지 않는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)의 디스플레이를 유지할 수 있다.
도 3의 시간 t2에서처럼, 사용자의 시선(30)이 제 1 시간 이상 동안 리얼 오브젝트(50)를 응시하는 경우, 포터블 디바이스(100)는 사용자가 응시하는 리얼 오브젝트(50)를 타겟 오브젝트로 결정할 수 있다. 또한, 타겟 오브젝트가 결정된 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)로부터 연관 증강현실 이미지 및 비연관 증강현실 이미지 중 적어도 하나를 식별할 수 있다. 또한, 포터블 디바이스(100)는 타겟 오브젝트가 이동 오브젝트인지 여부를 결정할 수 있다. 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스(100)는 연관 증강현실 이미지의 디스플레이를 유지하고 비연관 증강현실 이미지의 디스플레이를 종료할 수 있다.
도 3의 시간 t3에서처럼, 타겟 오브젝트가 이동 오브젝트이고, 제 1 증강현실 이미지(11)가 연관 증강현실 이미지로 식별되고, 제 2 증강현실 이미지가 비연관 증강현실 이미지로 식별된 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 디스플레이를 유지하고 비연관 증강현실 이미지로 식별된 제 2 증강현실 이미지(12)의 디스플레이를 종료할 수 있다. 이를 통해, 포터블 디바이스(100)는 복수의 증강현실 이미지 중 사용자가 응시하는 타겟 오브젝트에 연관된 연관 증강현실 이미지의 디스플레이만을 유지시킴으로써, 사용자가 관심이 있는 증강현실 이미지에 대한 정보를 더 쉽게 획득할 수 있도록 만든다.
또한, 연관 증강현실 이미지의 디스플레이를 유지하는 경우, 포터블 디바이스(100)는 연관 증강현실 이미지의 디스플레이 타이머를 조정할 수 있다. 예를 들면, 포터블 디바이스는 연관 증강현실 이미지의 디스플레이 시간이 연장되도록 디스플레이 타이머를 조정할 수 있다. 이를 통해, 포터블 디바이스(100)는 사용자가 관심있는 증강현실 이미지를 더 오래 볼 수 있도록 만든다.
또한, 도 3의 시간 t3와 달리, 타겟 오브젝트가 이동 오브젝트이고, 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12) 모두가 연관 증강현실 이미지로 식별되는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12) 모두의 디스플레이를 유지할 수 있다. 또한, 타겟 오브젝트가 이동 오브젝트이고, 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12) 모두가 비연관 증강현실 이미지로 식별되는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12) 모두의 디스플레이를 종료할 수 있다.
나아가, 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스(100)는 타겟 오브젝트의 이동 방향을 더 디텍트할 수 있다. 예를 들면, 포터블 디바이스(100)는 카메라 유닛에 의해 캡쳐링된 이미지 또는 디스플레이 유닛(130)에 의해 디스플레이된 이미지에 기초하여 타겟 오브젝트의 이동 방향을 디텍트할 수 있다. 다른 예를 들면, 포터블 디바이스(100)는 시선 디텍트 유닛에 의해 디텍트된 타겟 오브젝트를 응시하는 사용자의 시선(30)의 변화에 기초하여 타겟 오브젝트의 이동 방향을 디텍트할 수 있다.
또한, 포터블 디바이스(100)는 비연관 증강현실 이미지로 식별된 증강현실 이미지가 타겟 오브젝트의 이동 방향에 위치하는지 여부를 결정할 수 있다. 비연관 증강현실 이미지가 타겟 오브젝트의 이동 방향에 위치하는 경우, 포터블 디바이스(100)는 비연관 증강현실 이미지의 디스플레이를 종료할 수 있다. 예를 들면, 타겟 오브젝트가 왼쪽에서 오른쪽 방향으로 이동하고, 비연관 증강현실 이미지가 타겟 오브젝트의 예상 이동 경로 상에 위치하는 경우, 포터블 디바이스(100)는 비연관 증강현실 이미지의 디스플레이를 종료할 수 있다. 비연관 증강현실 이미지가 타겟 오브젝트의 이동 방향의 반대 방향에 위치하는 경우, 포터블 디바이스(100)는 비연관 증강현실 이미지의 디스플레이를 종료하지 않을 수 있다. 예를 들면, 타겟 오브젝트가 왼쪽에서 오른쪽 방향으로 이동하고, 비연관 증강현실 이미지가 타겟 오브젝트의 예상 이동 경로의 반대 방향에 위치하는 경우, 포터블 디바이스(100)는 비연관 증강현실 이미지의 디스플레이를 유지할 수 있다. 이를 통해, 포터블 디바이스(100)는 타겟 오브젝트의 이동 방향을 더 고려하여 비연관 증강현실 이미지의 디스플레이 종료 여부를 결정함으로써, 불필요한 비연관 증강현실 이미지의 디스플레이의 종료를 막을 수 있다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 보다 상세하게, 도 4는 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법에 대한 제 2 실시예를 나타낸 도면이다. 이하에서는 도 1 내지 3에서 설명된 내용과 유사하거나 중복된 부분에 대한 상세한 설명은 생략하도록 한다.
도 4의 시간 t1에서처럼, 포터블 디바이스(100)는 디스플레이 유닛(130)을 통해 제 1 증강현실 이미지(11)를 제 1 위치에 디스플레이하고 제 2 증강현실 이미지(12)를 제 2 위치에 디스플레이할 수 있다. 또한, 포터블 디바이스(100)는 사용자의 시선을 디텍트하고, 사용자의 시선에 기초하여 타겟 오브젝트를 결정할 수 있다.
도 4의 시간 t1에서처럼, 타겟 오브젝트가 결정되지 않는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)의 디스플레이를 유지할 수 있다.
도 4의 시간 t2에서처럼, 타겟 오브젝트가 결정된 경우, 포터블 디바이스(100)는 리얼 오브젝트(50)가 타겟 오브젝트로 결정되었음을 알리는 인디케이터(51)를 추가적으로 디스플레이할 수 있다. 이를 통해, 사용자는 응시하고 있는 리얼 오브젝트가 타겟 오브젝트로 결정되었음을 시각적으로 확인할 수 있다. 또한, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)로부터 연관 증강현실 이미지 및 비연관 증강현실 이미지 중 적어도 하나를 식별할 수 있다. 또한, 포터블 디바이스(100)는 타겟 오브젝트가 이동 오브젝트인지 여부를 결정할 수 있다.
도 4의 시간 t3에서처럼, 타겟 오브젝트가 이동 오브젝트이고, 제 1 증강현실 이미지(11)가 연관 증강현실 이미지로 식별되고, 제 2 증강현실 이미지가 비연관 증강현실 이미지로 식별된 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 디스플레이를 유지하고 비연관 증강현실 이미지로 식별된 제 2 증강현실 이미지(12)의 디스플레이를 종료할 수 있다. 또한, 포터블 디바이스(100)는 타겟 오브젝트의 위치에 기초하여 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지의 위치를 변경할 수 있다. 포터블 디바이스(100)는 연관 증강현실 이미지가 타겟 오브젝트로부터 제 1 거리 이내에 위치하도록 연관 증강현실 이미지의 디스플레이 위치를 변경할 수 있다. 여기서, 제 1 시간은 사용자에 의해 포터블 디바이스(100)에 입력되거나, 또는 포터블 디바이스(100)의 제조 과정에서 제조사에 의해 설정된 시간일 수도 있다.
즉, 포터블 디바이스(100)는 연관 증강현실 이미지가 타겟 오브젝트에 인접하도록 연관 증강현실 이미지의 위치를 변경할 수 있다. 예를 들면, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 위치를 제 1 위치에서 제 3 위치로 변경할 수 있다. 이때, 제 3 위치는 타겟 오브젝트로부터 제 1 거리 이내의 위치로서, 타겟 오브젝트의 위치 변화에 따라 변경될 수 있다. 이를 통해, 포터블 디바이스(100)는 사용자의 시선이 응시하는 위치에 연관 증강현실 이미지를 위치시킴으로써 연관 증강현실 이미지에 대한 가시성을 높일 수 있다.
도 5는 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 보다 상세하게, 도 5는 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법에 대한 제 3 실시예를 나타낸 도면이다. 이하에서는 도 1 내지 5에서 설명된 내용과 유사하거나 중복된 부분에 대한 상세한 설명은 생략하도록 한다.
포터블 디바이스(100)는 전방의 이미지를 캡처링하는 카메라 유닛을 더 포함할 수 있다. 상술한 바와 같이, 캡쳐링된 이미지는 적어도 하나의 리얼 오브젝트를 포함할 수 있고, 리얼 오브젝트는 증강현실 이미지의 마커를 포함할 수 있다. 여기서, 마커는 리얼 오브젝트의 표면에 구비된 약속된 패턴 또는 코드이거나, 리얼 오브젝트의 형상 자체일 수 있다. 또한, 포터블 디바이스(100)는 카메라 유닛에 의해 캡쳐링된 이미지로부터 적어도 하나의 마커를 디텍트하고, 적어도 하나의 마커에 대응하는 증강현실 이미지를 획득할 수 있다.
도 5의 시간 t0에서처럼, 캡쳐링된 이미지로부터 마커가 디텍팅되지 않는 경우, 포터블 디바이스(100)는 증강현실 이미지를 디스플레이하지 않을 수 있다. 이 경우, 포터블 디바이스(100)는 계속하여 캡쳐링된 이미지로부터 마커를 디텍트할 수 있다.
도 5의 시간 t1에서처럼, 캡쳐링된 이미지로부터 마커가 디텍팅된 경우, 포터블 디바이스(100)는 디텍팅된 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 예를 들면, 캡쳐링된 이미지로부터 제 1 리얼 오브젝트(51)에 포함된 제 1 마커 및 제 2 리얼 오브젝트(52)에 포함된 제 2 마커가 디텍팅된 경우, 포터블 디바이스는 제 1 마커에 대응하는 제 1 증강현실 이미지(11) 및 제 2 마커에 대응하는 제 2 증강현실 이미지(12)를 디스플레이할 수 있다. 또한, 디텍팅된 마커에 대응하는 증강현실 이미지를 디스플레이하는 경우, 포터블 디바이스(100)는 디바이스의 위치 정보 및 방향 정보에 기초하여 획득된 증강현실 이미지를 마커에 대응하는 증강현실 이미지와 함께 디스플레이할 수 있다. 또한, 포터블 디바이스(100)는 사용자의 시선(30)을 디텍트하고, 사용자의 시선(30)에 기초하여 타겟 오브젝트를 결정할 수 있다.
도 5의 시간 t1에서처럼, 타겟 오브젝트가 결정되지 않는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)의 디스플레이를 유지할 수 있다.
도 5의 시간 t2에서처럼, 타겟 오브젝트가 결정된 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)로부터 연관 증강현실 이미지 및 비연관 증강현실 이미지 중 적어도 하나를 식별할 수 있다. 예를 들면, 제 1 리얼 오브젝트(51)가 타겟 오브젝트로 결정된 경우, 포터블 디바이스(100)는 제 1 리얼 오브젝트(51)에 포함된 제 1 마커에 대응하는 제 1 증강현실 이미지(11)를 연관 증강현실 이미지로 식별하고, 제 2 리얼 오브젝트(52)에 포함된 제 2 마커에 대응하는 제 2 증강현실 이미지(11)를 비연관 증강현실 이미지로 식별할 수 있다. 또한, 포터블 디바이스(100)는 타겟 오브젝트가 이동 오브젝트인지 여부를 결정할 수 있다.
도 5의 시간 t3에서처럼, 타겟 오브젝트가 이동 오브젝트이고, 제 1 증강현실 이미지(11)가 연관 증강현실 이미지로 식별되고, 제 2 증강현실 이미지가 비연관 증강현실 이미지로 식별된 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 디스플레이를 유지하고 비연관 증강현실 이미지로 식별된 제 2 증강현실 이미지(12)의 디스플레이를 종료할 수 있다.
도 6은 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 보다 상세하게, 도 6은 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법에 대한 제 4 실시예를 나타낸 도면이다. 이하에서는 도 1 내지 5에서 설명된 내용과 유사하거나 중복된 부분에 대한 상세한 설명은 생략하도록 한다.
도 6의 시간 t2에서처럼, 타겟 오브젝트가 결정된 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)로부터 연관 증강현실 이미지 및 비연관 증강현실 이미지 중 적어도 하나를 식별할 수 있다. 또한, 포터블 디바이스(100)는 타겟 오브젝트가 이동 오브젝트인지 여부를 결정할 수 있다.
도 6의 시간 t3에서처럼, 타겟 오브젝트가 이동 오브젝트이고, 제 1 증강현실 이미지(11)가 연관 증강현실 이미지로 식별되고, 제 2 증강현실 이미지가 비연관 증강현실 이미지로 식별된 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 디스플레이를 유지하고 비연관 증강현실 이미지로 식별된 제 2 증강현실 이미지(12)의 디스플레이를 종료할 수 있다. 또한, 포터블 디바이스(100)는 시선 디텍트 유닛을 통해 사용자의 시선(30)이 계속하여 타겟 오브젝트를 응시하는지 여부를 디텍트할 수 있다. 또한, 포터블 디바이스(100)는 사용자의 시선(10)이 타겟 오브젝트로부터 제 2 시간 이상 동안 벗어나는지 여부를 결정할 수 있다. 여기서, 제 2 시간은 사용자에 의해 포터블 디바이스(100)에 입력되거나, 또는 포터블 디바이스(100)의 제조 과정에서 제조사에 의해 설정된 시간일 수도 있다.
도 6의 시간 t3에서처럼, 사용자의 시선이 계속하여 타겟 오브젝트를 응시하는 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 디스플레이를 계속하여 유지할 수 있다. 즉, 사용자의 시선(10)이 타겟 오브젝트로부터 제 2 시간 이상 동안 벗어나지 않는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11)의 디스플레이를 계속하여 유지할 수 있다.
도 6의 시간 t4에서처럼, 사용자의 시선이 타겟 오브젝트로부터 제 2 시간 이상 동안 벗어나는 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 디스플레이를 종료하고 비연관 증강현실 이미지로 식별된 제 2 증강현실 이미지(12)를 다시 디스플레이할 수 있다. 이를 통해, 포터블 디바이스는 사용자 관심도가 떨어진 연관 증강현실 이미지를 제거하고, 사용자가 관심을 가지지 않았던 비연관 증강현실 이미지를 다시 디스플레이함으로써 사용자에게 다양한 정보를 제공할 수 있다. 또한, 사용자의 시선이 타겟 오브젝트로부터 제 2 시간 이상 동안 벗어나는 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 디스플레이를 계속하여 유지하고 비연관 증강현실 이미지로 식별된 제 2 증강현실 이미지(12)를 다시 디스플레이할 수 있다.
도 7은 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 보다 상세하게, 도 7은 타겟 오브젝트가 정지 오브젝트인 경우, 포터블 디바이스가 타겟 오브젝트에 연관된 증강현실 이미지 및 타겟 오브젝트에 연관되지 않은 증강현실 이미지를 디스플레이하는 방법에 대한 제 1 실시예를 나타낸 도면이다. 도 7 내지 도 8에서, 타겟 오브젝트는 정지 오브젝트이고, 제 1 증강현실 이미지는 연관 증강현실 이미지로 식별되고, 제 2 증강현실 이미지는 비연관 증강현실 이미지로 식별된다.
도 7의 시간 t1에서처럼, 포터블 디바이스(100)는 디스플레이 유닛(130)을 통해 제 1 증강현실 이미지(11)를 제 1 위치에 디스플레이하고, 제 2 증강현실 이미지(12)를 제 2 위치에 디스플레이할 수 있다. 예를 들면, 포터블 디바이스(100)는 제 1 리얼 오브젝트(81)에 포함된 제 1 마커에 대응하는 제 1 증강현실 이미지(11)를 제 1 위치에 디스플레이하고, 제 2 리얼 오브젝트(82)에 포함된 제 2 마커에 대응하는 제 2 증강현실 이미지(12)를 제 2 위치에 디스플레이할 수 있다. 또한, 포터블 디바이스(100)는 사용자의 시선(30)을 디텍트하고, 사용자의 시선(30)에 기초하여 타겟 오브젝트를 결정할 수 있다. 이때, 포터블 디바이스(100)는 사용자의 시선(30)이 제 1 시간 이상 동안 응시하는 리얼 오브젝트를 타겟 오브젝트로 결정할 수 있다. 여기서, 제 1 시간은 사용자에 의해 포터블 디바이스(100)에 입력되거나, 또는 포터블 디바이스(100)의 제조 과정에서 제조사에 의해 설정된 시간일 수도 있다.
도 7의 시간 t1에서처럼, 타겟 오브젝트가 결정되지 않는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)의 디스플레이를 유지할 수 있다.
도 7의 시간 t2에서처럼, 타겟 오브젝트가 결정된 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)로부터 연관 증강현실 이미지 및 비연관 증강현실 이미지 중 적어도 하나를 식별할 수 있다. 예를 들면, 제 1 리얼 오브젝트(51)가 타겟 오브젝트로 결정된 경우, 포터블 디바이스(100)는 제 1 리얼 오브젝트(51)에 포함된 제 1 마커에 대응하는 제 1 증강현실 이미지(11)를 연관 증강현실 이미지로 식별하고, 제 2 리얼 오브젝트(52)에 포함된 제 2 마커에 대응하는 제 2 증강현실 이미지(11)를 비연관 증강현실 이미지로 식별할 수 있다. 또한, 포터블 디바이스(100)는 타겟 오브젝트가 정지 오브젝트인지 여부를 결정할 수 있다.
도 7의 시간 t3에서처럼, 타겟 오브젝트가 정지 오브젝트이고, 제 1 증강현실 이미지(11)가 비연관 증강현실 이미지로 식별되고, 제 2 증강현실 이미지가 연관 증강현실 이미지로 식별된 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11) 및 비연관 증강현실 이미지로 식별된 제 2 증강현실 이미지(12)의 디스플레이를 유지하고, 제 1 증강현실 이미지(11)의 제 1 디스플레이 속성 및 제 2 증강현실 이미지(12)의 제 2 디스플레이 속성 중 적어도 하나를 조정할 수 있다.
여기서, 제 1 디스플레이 속성은 연관 증강현실 이미지의 디스플레이 위치, 디스플레이 크기, 디스플레이 색상, 디스플레이 시간 및 디스플레이 투명도 중 적어도 하나일 수 있다. 제 2 디스플레이 속성은 비연관 증강현실 이미지의 디스플레이 위치, 디스플레이 크기, 디스플레이 색상, 디스플레이 시간 및 디스플레이 투명도 중 적어도 하나일 수 있다.
예를 들면, 포터블 디바이스(100)는 제 1 증강현실 이미지(11)의 디스플레이 크기를 유지하거나 더 크게 조정하고, 제 2 증강현실 이미지(12)의 디스플레이 크기를 작게 조정할 수 있다. 다른 예를 들면, 제 1 증강현실 이미지의 제 1 위치가 타겟 오브젝트에 인접하지 않는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11)의 디스플레이 위치를 타겟 오브젝트에 인접한 제 3 위치로 변경할 수 있다. 즉, 포터블 디바이스(100)는 제 1 증강현실 이미지(11)를 타겟 오브젝트에 인접한 위치에 디스플레이할 수 있다. 이를 통해, 포터블 디바이스(100)는 연관 증강현실 이미지에 대한 가시성을 높일 수 있다.
도 8은 본 명세서의 다른 실시예에 따른 포터블 디바이스가 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 보다 상세하게, 도 8은 타겟 오브젝트가 정지 오브젝트인 경우, 포터블 디바이스가 타겟 오브젝트에 연관된 증강현실 이미지 및 타겟 오브젝트에 연관되지 않은 증강현실 이미지를 디스플레이하는 방법에 대한 제 2 실시예를 나타낸 도면이다.
도 8의 시간 t1에서처럼, 포터블 디바이스(100)는 디스플레이 유닛(130)을 통해 제 1 증강현실 이미지(11)를 제 1 위치에 디스플레이하고, 제 2 증강현실 이미지(12)를 제 2 위치에 디스플레이할 수 있다. 또한, 포터블 디바이스(100)는 사용자의 시선(30)을 디텍트하고, 사용자의 시선(30)에 기초하여 타겟 오브젝트를 결정할 수 있다.
도 8의 시간 t1에서처럼, 타겟 오브젝트가 결정되지 않는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)의 디스플레이를 유지할 수 있다.
도 8의 시간 t2에서처럼, 타겟 오브젝트가 결정된 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11) 및 제 2 증강현실 이미지(12)로부터 연관 증강현실 이미지 및 비연관 증강현실 이미지 중 적어도 하나를 식별할 수 있다.
도 8의 시간 t3에서처럼, 타겟 오브젝트가 정지 오브젝트이고, 제 1 증강현실 이미지(11)가 비연관 증강현실 이미지로 식별되고, 제 2 증강현실 이미지가 연관 증강현실 이미지로 식별된 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11) 및 비연관 증강현실 이미지로 식별된 제 2 증강현실 이미지(12)의 디스플레이를 유지하고, 제 1 증강현실 이미지(11)의 제 1 디스플레이 속성 및 제 2 증강현실 이미지(12)의 제 2 디스플레이 속성 중 적어도 하나를 조정할 수 있다.
예를 들면, 제 2 증강현실 이미지의 제 2 위치가 타겟 오브젝트에 인접하는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11)의 디스플레이 위치를 타겟 오브젝트에 인접한 제 2 위치로 변경하고, 제 2 증강현실 이미지(12)의 디스플레이 위치를 제 2 위치에서 제 1 위치로 변경할 수 있다. 이를 통해, 포터블 디바이스(100)는 연관 증강현실 이미지에 대한 가시성을 높일 수 있다. 또한, 포터블 디바이스(100)는 사용자의 시선(10)이 타겟 오브젝트로부터 제 3 시간 이상 동안 벗어나는지 여부를 결정할 수 있다. 여기서, 제 3 시간은 사용자에 의해 포터블 디바이스(100)에 입력되거나, 또는 포터블 디바이스(100)의 제조 과정에서 제조사에 의해 설정된 시간일 수도 있다. 이때, 제 3 시간은 도 6에서 상술한 제 2 시간과 동일한 시간으로 설정될 수도 있다.
도 8의 시간 t3에서처럼, 사용자의 시선이 계속하여 타겟 오브젝트를 응시하는 경우, 포터블 디바이스(100)는 연관 증강현실 이미지로 식별된 제 1 증강현실 이미지(11)의 디스플레이를 계속하여 유지할 수 있다. 즉, 사용자의 시선(10)이 타겟 오브젝트로부터 제 2 시간 이상 동안 벗어나지 않는 경우, 포터블 디바이스(100)는 제 1 증강현실 이미지(11)의 디스플레이를 계속하여 유지할 수 있다.
도 8의 시간 t4에서처럼, 사용자의 시선이 타겟 오브젝트로부터 제 2 시간 이상 동안 벗어나는 경우, 포터블 디바이스(100)는 조정된 제 1 디스플레이 속성을 조정 전 제 1 디스플레이 속성으로 재조정하고, 조정된 제 2 디스플레이 속성을 조정 전 제 1 디스플레이 속성으로 재조정할 수 있다. 예를 들면, 포터블 디바이스(100)는 제 1 증강현실 이미지(11)의 디스플레이 위치를 제 2 위치에서 제 1 위치로 재조정하고, 제 2 증강현실 이미지(12)의 디스플레이 위치를 제 1 위치에서 제 2 위치로 재조정할 수 있다. 이를 통해, 포터블 디바이스(100)는 사용자 관심도가 떨어진 연관 증강현실 이미지를 제거하고, 사용자가 관심을 가지지 않았던 비연관 증강현실 이미지를 다시 디스플레이함으로써 사용자에게 다양한 정보를 제공할 수 있다.
또한, 도 3 내지 도 8에서는 포터블 디바이스가 복수의 증강현실 이미지를 디스플레이하는 경우에 대하여 설명하고 있으나, 포터블 디바이스는 하나의 증강현실 이미지만을 디스플레이할 수도 있다. 이처럼, 하나의 증강현실 이미지가 디스플레이되는 경우, 포터블 디바이스는 하나의 증강현실 이미지가 연관 증강현실 이미지인지 또는 비연관 증강현실 이미지인지 여부를 식별할 수 있다. 또한, 포터블 디바이스는 도 3 내지 도 8에서 상술한 증강현실 이미지 디스플레이 방법에 따라 하나의 증강현실 이미지를 디스플레이할 수 있다.
도 9는 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법의 순서도이다. 본 순서도에서 도 1 내지 도 8에서 상술한 설명과 유사하거나 중복되는 부분에 관한 상세한 설명은 생략하기로 한다.
우선, 포터블 디바이스는 디스플레이 유닛을 통해 복수의 증강현실 이미지를 디스플레이할 수 있다(S910). 예를 들면, 포터블 디바이스는 카메라 유닛에 의해 캡쳐링된 이미지 또는 디스플레이 유닛에 의해 디스플레이된 이미지로부터 마커를 디텍팅하고, 디텍팅된 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 다른 예를 들면, 포터블 디바이스는 디바이스의 위치 정보 및 방향 정보에 기초하여 획득된 증강현실 이미지를 디스플레이할 수 있다. 또한, 실시예에 따라서, 포터블 디바이스는 하나의 증강현실 이미지만을 디스플레할 수도 있다.
다음으로, 포터블 디바이스는 시선 디텍트 유닛을 통해 사용자의 시선을 디텍트할 수 있다(S920). 또한, 포터블 디바이스는 시선 디텍트 유닛을 통해 사용자의 시선의 변화를 디텍트할 수 있다.
다음으로, 포터블 디바이스는 디텍트된 사용자의 시선에 기초하여 타겟 오브젝트를 결정할 수 있다(S930). 여기서, 타겟 오브젝트는 리얼 오브젝트로서, 사용자의 시선 위치에 기초하여 결정된 리얼 오브젝트를 의미할 수 있다. 이때, 포터블 디바이스는 사용자의 시선이 제 1 시간 이상 동안 응시하는 리얼 오브젝트를 타겟 오브젝트로 결정할 수 있다. 여기서, 제 1 시간은 사용자에 의해 포터블 디바이스에 입력되거나, 또는 포터블 디바이스의 제조 과정에서 제조사에 의해 설정된 시간일 수도 있다. 사용자의 시선이 제 1 시간 이상 동안 응시하는 리얼 오브젝트가 없는 경우, 포터블 디바이스는 타겟 오브젝트를 결정할 수 없다. 타겟 오브젝트가 결정되지 않는 경우, 포터블 디바이스는 복수의 증강현실 이미지의 디스플레이를 유지할 수 있다. 사용자의 시선이 제 1 시간 이상 동안 리얼 오브젝트를 응시하는 경우, 포터블 디바이스는 리얼 오브젝트를 타겟 오브젝트로 결정할 수 있다.
다음으로, 포터블 디바이스는 디스플레이된 복수의 증강현실 이미지로부터 적어도 하나의 연관 증강현실 이미지 및 적어도 하나의 비연관 증강현실 이미지를 식별할 수 있다(S940). 여기서, 연관 증강현실 이미지는 타겟 오브젝트에 연관되는 증강현실 이미지를 의미할 수 있고, 비연관 증강현실 이미지는 타겟 오브젝트에 연관되지 않는 증강현실 이미지를 의미할 수 있다. 또한, 포터블 디바이스는 타겟 오브젝트가 이동 오브젝트인지 여부를 결정할 수 있다. 여기서, 이동 오브젝트는 위치 이동이 가능한 리얼 오브젝트를 의미할 수 있고, 정지 오브젝트는 위치 이동이 불가능한 리얼 오브젝트를 의미할 수 있다. 다만, 포터블 디바이스가 하나의 증강현실 이미지만을 디스플레이한 경우, 포터블 디바이스는 하나의 증강현실 이미지가 연관 증강현실 이미지인지 또는 비연관 증강현실 이미지인지 여부를 식별할 수 있다.
다음으로, 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스는 연관 증강현실 이미지의 디스플레이를 유지하고 비연관 증강현실 이미지의 디스플레이를 종료할 수 있다(S950). 이를 통해, 포터블 디바이스는 복수의 증강현실 이미지 중 사용자가 응시하는 타겟 오브젝트에 연관된 연관 증강현실 이미지의 디스플레이만을 유지시킴으로써, 사용자가 관심이 있는 증강현실 이미지에 대한 정보를 더 쉽게 획득할 수 있도록 만든다.
나아가, 타겟 오브젝트가 이동 오브젝트인 경우, 포터블 디바이스는 타겟 오브젝트의 이동 방향을 더 디텍트할 수 있다. 또한, 포터블 디바이스는 비연관 증강현실 이미지로 식별된 증강현실 이미지가 타겟 오브젝트의 이동 방향에 위치하는지 여부를 결정할 수 있다. 비연관 증강현실 이미지가 타겟 오브젝트의 이동 방향에 위치하는 경우, 포터블 디바이스는 비연관 증강현실 이미지의 디스플레이를 종료할 수 있다. 비연관 증강현실 이미지가 타겟 오브젝트의 이동 방향의 반대 방향에 위치하는 경우, 포터블 디바이스는 비연관 증강현실 이미지의 디스플레이를 종료하지 않을 수 있다. 통해, 포터블 디바이스는 타겟 오브젝트의 이동 방향을 더 고려하여 비연관 증강현실 이미지의 디스플레이 종료 여부를 결정함으로써, 불필요한 비연관 증강현실 이미지의 디스플레이의 종료를 막을 수 있다.
타겟 오브젝트가 정지 오브젝트인 경우, 포터블 디바이스는 연관 증강현실 이미지 및 비연관 증강현실 이미지의 디스플레이를 유지하고, 연관 증강현실 이미지의 제 1 디스플레이 속성 및 비연관 증강현실 이미지의 제 2 디스플레이 속성 중 적어도 하나를 조정할 수 있다. 여기서, 제 1 디스플레이 속성은 연관 증강현실 이미지의 디스플레이 위치, 디스플레이 크기, 디스플레이 색상, 디스플레이 시간 및 디스플레이 투명도 중 적어도 하나일 수 있다. 제 2 디스플레이 속성은 비연관 증강현실 이미지의 디스플레이 위치, 디스플레이 크기, 디스플레이 색상, 디스플레이 시간 및 디스플레이 투명도 중 적어도 하나일 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 권리범위에 속한다.
또한, 포터블 디바이스 및 그의 제어 방법은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서의 포터블 디바이스 및 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 본 명세서에서의 거리, 반경 및 방향은 정확한 값을 의미할 뿐 아니라, 일정 범위의 실질적인 거리, 반경 및 방향을 포함하는 것으로 볼 수 있다. 즉, 본 명세서의 거리, 반경 및 방향은 실질적인 거리, 반경 및 방향을 나타낼 수 있고, 일정 범위의 오차가 존재할 수 있다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
100: 포터블 디바이스 110: 카메라 유닛
120: 시선 디텍트 유닛 130: 디스플레이 유닛
140: 프로세서

Claims (20)

  1. 포터블 디바이스에 있어서,
    사용자의 시선(gaze)을 디텍트하는 시선 디텍트 유닛(gaze detection unit);
    이미지를 디스플레이하는 디스플레이 유닛; 및
    상기 시선 디텍트 유닛 및 상기 디스플레이 유닛을 제어하는 프로세서를 포함하며,
    상기 프로세서는,
    복수의 증강현실 이미지를 디스플레이하고,
    상기 사용자의 시선에 기초하여 타겟 오브젝트(target object)를 결정하고,
    상기 복수의 증강현실 이미지로부터, 상기 타겟 오브젝트에 연관되는 연관 증강현실 이미지(associated AR image) 및 상기 타겟 오브젝트에 연관되지 않는 비연관 증강현실 이미지(non-associated AR image)를 식별하고,
    상기 타겟 오브젝트가 이동 오브젝트(moving object)인 경우, 상기 연관 증강현실 이미지의 디스플레이를 유지하고 상기 비연관 증강현실 이미지의 디스플레이를 종료하는, 포터블 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선이 제 1 시간(first time period) 이상 동안 응시하는 리얼 오브젝트를 상기 타겟 오브젝트로 결정하는, 포터블 디바이스.
  3. 제 1 항에 있어서,
    상기 타겟 오브젝트가 결정된 경우, 상기 타겟 오브젝트를 나타내는 인디케이터를 추가적으로 디스플레이하는, 포터블 디바이스.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 타겟 오브젝트의 위치에 기초하여 상기 연관 증강현실 이미지의 디스플레이 위치를 변경하는, 포터블 디바이스.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 연관 증강현실 이미지가 상기 타겟 오브젝트로부터 제 1 거리 이내에 위치하도록 상기 연관 증강현실 이미지의 디스플레이 위치를 변경하는, 포터블 디바이스.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 연관 증강현실 이미지의 디스플레이를 유지하는 경우, 상기 연관 증강현실 이미지의 디스플레이 타이머를 조정하는, 포터블 디바이스.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 연관 증강현실 이미지의 디스플레이 시간이 연장되도록 상기 디스플레이 타이머를 조정하는, 포터블 디바이스.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 타겟 오브젝트의 이동 방향을 디텍트하고,
    상기 비연관 증강현실 이미지가 상기 이동 방향에 위치하는 경우, 상기 식별된 비연관 증강현실 이미지의 디스플레이를 종료하는, 포터블 디바이스.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    상기 타겟 오브젝트를 응시하는 상기 사용자의 시선의 변화에 기초하여 상기 타겟 오브젝트의 이동 방향을 디텍트하는, 포터블 디바이스.
  10. 제 1 항에 있어서,
    상기 포터블 디바이스의 전방의 이미지를 캡처링하는 카메라 유닛을 더 포함하는, 포터블 디바이스.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    상기 카메라 유닛에 의해 캡처된 이미지로부터 적어도 하나의 마커를 디텍트하고,
    상기 적어도 하나의 마커에 대응하는 상기 적어도 하나의 증강현실 이미지를 디스플레이하는, 포터블 디바이스.
  12. 제 1 항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선이 상기 타겟 오브젝트로부터 제 2 시간(second time period) 이상 동안 벗어나는 경우, 상기 연관 증강현실 이미지의 디스플레이를 종료하고 상기 비연관 증강현실 이미지를 다시 디스플레이하는, 포터블 디바이스.
  13. 제 1 항에 있어서,
    상기 프로세서는,
    상기 타겟 오브젝트가 정지 오브젝트(stationary object)인 경우, 상기 연관 증강현실 이미지 및 상기 비연관 증강현실 이미지의 디스플레이를 유지하고,
    상기 연관 증강현실 이미지의 제 1 디스플레이 속성 및 상기 비연관 증강현실 이미지의 제 2 디스플레이 속성 중 적어도 하나를 조정하는, 포터블 디바이스.
  14. 제 13 항에 있어서,
    상기 제 1 디스플레이 속성은 상기 연관 증강현실 이미지의 디스플레이 위치, 디스플레이 크기, 디스플레이 색상, 디스플레이 시간 및 디스플레이 투명도 중 적어도 하나인, 포터블 디바이스.
  15. 제 13 항에 있어서,
    상기 제 2 디스플레이 속성은 상기 비연관 증강현실 이미지의 디스플레이 위치, 디스플레이 크기, 디스플레이 색상, 디스플레이 시간 및 디스플레이 투명도 중 적어도 하나인, 포터블 디바이스.
  16. 제 13 항에 있어서,
    상기 사용자의 시선이 상기 타겟 오브젝트로부터 제 3 시간(third time period) 이상 동안 벗어나는 경우, 상기 조정된 제 1 디스플레이 속성을 상기 제 1 디스플레이 속성으로 재조정하고, 상기 조정된 제 2 디스플레이 속성을 상기 제 2 디스플레이 속성으로 재조정하는, 포터블 디바이스.
  17. 제 1 항에 있어서,
    상기 포터블 디바이스는 헤드 마운티드 디스플레이인, 포터블 디바이스.
  18. 제 17 항에 있어서,
    상기 디스플레이 유닛은 광학적 씨스루 디스플레이 패널로 구성되는, 포터블 디바이스.
  19. 복수의 증강현실 이미지를 디스플레이하는 단계;
    사용자의 시선을 디텍트하는 단계;
    상기 사용자의 시선에 기초하여 타겟 오브젝트를 결정하는 단계;
    상기 복수의 증강현실 이미지로부터, 상기 타겟 오브젝트에 연관되는 연관 증강현실 이미지 및 상기 타겟 오브젝트에 연관되지 않는 비연관 증강현실 이미지를 식별하는 단계; 및
    상기 타겟 오브젝트가 이동 오브젝트인 경우, 상기 연관 증강현실 이미지의 디스플레이를 유지하고 상기 비연관 증강현실 이미지의 디스플레이를 종료하는 단계를 포함하는, 포터블 디바이스의 제어 방법.
  20. 제 19 항에 있어서,
    상기 타겟 오브젝트가 정지 오브젝트인 경우, 상기 연관 증강현실 이미지 및 상기 비연관 증강현실 이미지의 디스플레이를 유지하고, 상기 식별된 연관 증강현실 이미지의 제 1 디스플레이 속성 및 상기 식별된 비연관 증강현실 이미지의 제 2 디스플레이 속성 중 적어도 하나를 조정하는 단계를 더 포함하는, 포터블 디바이스의 제어 방법.
KR1020140005455A 2014-01-16 2014-01-16 포터블 디바이스 및 그 제어 방법 KR102114618B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140005455A KR102114618B1 (ko) 2014-01-16 2014-01-16 포터블 디바이스 및 그 제어 방법
US14/190,769 US9423872B2 (en) 2014-01-16 2014-02-26 Portable device for tracking user gaze to provide augmented reality display
PCT/KR2014/001949 WO2015108232A1 (en) 2014-01-16 2014-03-10 Portable device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140005455A KR102114618B1 (ko) 2014-01-16 2014-01-16 포터블 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150085610A true KR20150085610A (ko) 2015-07-24
KR102114618B1 KR102114618B1 (ko) 2020-05-25

Family

ID=53521831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140005455A KR102114618B1 (ko) 2014-01-16 2014-01-16 포터블 디바이스 및 그 제어 방법

Country Status (3)

Country Link
US (1) US9423872B2 (ko)
KR (1) KR102114618B1 (ko)
WO (1) WO2015108232A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023080419A1 (ko) * 2021-11-04 2023-05-11 삼성전자주식회사 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US20170097656A1 (en) * 2014-03-18 2017-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Controlling a target device
CN109219789A (zh) * 2016-05-04 2019-01-15 深圳脑穿越科技有限公司 虚拟现实的显示方法、装置及终端
US10057511B2 (en) 2016-05-11 2018-08-21 International Business Machines Corporation Framing enhanced reality overlays using invisible light emitters
CN106599893B (zh) * 2016-12-22 2020-01-24 深圳大学 基于增强现实的物体偏离识别图后的处理方法及装置
US10841724B1 (en) * 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6885179B2 (ja) * 2017-04-20 2021-06-09 富士通株式会社 撮影装置、撮影制御プログラム、及び撮影管理システム
CN108875460B (zh) * 2017-05-15 2023-06-20 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
EP3920083A1 (en) * 2020-06-05 2021-12-08 Aptiv Technologies Limited Pointing to non-mapped objects outside a vehicle
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
KR20110136012A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 위치와 시선방향을 추적하는 증강현실 장치
KR20120062427A (ko) * 2010-12-06 2012-06-14 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20120106519A (ko) * 2011-03-16 2012-09-26 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8316450B2 (en) 2000-10-10 2012-11-20 Addn Click, Inc. System for inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content
JP3972366B2 (ja) 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
JP5104679B2 (ja) 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
US8913085B2 (en) * 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
KR101923177B1 (ko) 2012-04-04 2019-02-27 삼성전자주식회사 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
KR101320683B1 (ko) 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
KR20110136012A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 위치와 시선방향을 추적하는 증강현실 장치
KR20120062427A (ko) * 2010-12-06 2012-06-14 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20120106519A (ko) * 2011-03-16 2012-09-26 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023080419A1 (ko) * 2021-11-04 2023-05-11 삼성전자주식회사 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법

Also Published As

Publication number Publication date
KR102114618B1 (ko) 2020-05-25
US9423872B2 (en) 2016-08-23
WO2015108232A1 (en) 2015-07-23
US20150199848A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
KR20150085610A (ko) 포터블 디바이스 및 그 제어 방법
US9501873B2 (en) Indicating out-of-view augmented reality images
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9361733B2 (en) Portable device and method of controlling therefor
WO2015145544A1 (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
US20170242480A1 (en) Docking system
EP3001289A1 (en) Display controller
KR20150098361A (ko) Hmd 및 그 제어 방법
KR20150026375A (ko) 포터블 디바이스 및 그 제어 방법
JP6978701B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム
WO2017098822A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US8884988B1 (en) Portable device displaying an augmented reality image and method of controlling therefor
GB2540032A (en) Data browse apparatus, data browse method, program, and storage medium
JP6506832B2 (ja) セルフバランスカーの制御方法、装置、プログラム及び記録媒体
US20180150931A1 (en) Screen zoom feature for augmented reality applications
WO2018198503A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101109670B1 (ko) 파노라마 이미지를 디스플레이하는 방법
US9269325B2 (en) Transitioning peripheral notifications to presentation of information
WO2018037645A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018200699A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
US20180329664A1 (en) Methods, systems, and computer readable media for controlling virtual image scenarios in plurality display devices
TWI736214B (zh) 顯示控制裝置、顯示控制方法、程式及非暫時性電腦可讀取資訊記錄媒體
US11269183B2 (en) Display information on a head-mountable apparatus corresponding to data of a computing device
WO2018037641A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019219514A (ja) 表示制御装置、表示制御方法、及び表示制御プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant