KR20150025114A - 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법 - Google Patents

증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20150025114A
KR20150025114A KR20130102323A KR20130102323A KR20150025114A KR 20150025114 A KR20150025114 A KR 20150025114A KR 20130102323 A KR20130102323 A KR 20130102323A KR 20130102323 A KR20130102323 A KR 20130102323A KR 20150025114 A KR20150025114 A KR 20150025114A
Authority
KR
South Korea
Prior art keywords
augmented reality
marker
portable device
reality image
area
Prior art date
Application number
KR20130102323A
Other languages
English (en)
Inventor
김지환
김종호
천시내
조은형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20130102323A priority Critical patent/KR20150025114A/ko
Priority to US14/080,355 priority patent/US20150062162A1/en
Priority to PCT/KR2013/010495 priority patent/WO2015030305A1/en
Publication of KR20150025114A publication Critical patent/KR20150025114A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서의 일 실시예에 따른 포터블 디바이스를 제어하는 방법은 마커를 디텍팅하는 단계, 마커가 포터블 디바이스의 제1 영역 내에서 디텍팅되면, 제1 증강현실 모드로 디텍팅된 마커의 위치에 기초하여 마커에 대응하고 제1 위치에 할당된 증강현실 이미지의 적어도 일부를 디스플레이하는 단계, 및 디텍팅된 마커가 제1 영역에서 벗어나면, 제2 증강현실 모드로 제1 위치에 할당된 증강현실 이미지를 디스플레이하는 단계를 포함하고, 제1 증강현실 모드는 마커가 제1 영역 내에 존재하는 동안에 마커에 대응하는 증강현실 이미지를 디스플레이하고, 제2 증강현실 모드는 마커가 제1 영역 외로 벗어난 경우에 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다.

Description

증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법{Apparatus and Method for Portable Device displaying Augmented Reality image}
본 명세서는 포터블 디바이스에 대한 것으로, 특히 대형 증강현실 이미지를 디스플레이하는 포터블 디바이스에 대한 것이다.
리얼 오브젝트와 버추얼 오브젝트가 혼합된 증강현실기술은 사용자가 증강현실 이미지와 함께 현실 이미지를 볼 수 있게 하여 현실감과 함께 부가 정보를 제공한다. 예를 들어 스마트폰의 카메라로 주변을 비추면 현실 이미지와 함께 인근에 있는 상점의 위치, 전화번호 등의 증강현실 이미지가 입체영상으로 표기된다. 증강현실기술은 착용식 컴퓨터(wearable computer)에도 적용될 수 있다. 특히 헤드 마운티드 디스플레이와 같이 머리에 쓰는 형태의 디스플레이는 사용자가 보는 실제환경에 증강현실 이미지 또는 문자 등을 오버랩하여 실시간으로 보여줌으로써 사용자에게 증강현실을 제공한다.
증강현실 이미지는 카메라에 디텍팅된 마커에 대응하여 생성된다. 따라서 디바이스가 증강현실 이미지를 디스플레이하는 중에 마커가 더이상 디텍팅되지 않는 경우, 더 이상 증강현실 이미지를 디스플레이할 수 없다. 따라서 카메라에 마커가 디텍팅되지 않는 상황에서 증강현실 이미지를 디스플레이하는 방법이 요구된다.
본 명세서는, 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 포터블 디바이스가 증강현실 이미지를 디스플레이하는 중에 마커가 더이상 디텍팅되지 않더라도 디스플레이된 증강현실 이미지를 유지하는 방법을 제공할 필요가 있다.
본 명세서의 일 실시예에 따른 포터블 디바이스는 마커를 디텍팅하는 카메라 유닛, 디텍팅된 마커에 대응하는 증강현실 이미지의 적어도 일부를 디스플레이하는 디스플레이 유닛, 및 카메라 유닛 및 디스플레이 유닛을 제어하는 컨트롤러를 포함하고, 컨트롤러는 마커가 제1 영역 내에서 디텍팅되면, 제1 증강현실 모드로 디텍팅된 마커의 위치에 기초하여 마커에 대응하고 제1 위치에 할당된 증강현실 이미지를 디스플레이하고, 디텍팅된 마커가 제1 영역에서 벗어나면, 제2 증강현실 모드로 제1 위치에 할당된 증강현실 이미지를 디스플레이하며, 제1 증강현실 모드는 마커가 제1 영역 내에 위치하는 동안에 마커에 대응하는 증강현실 이미지를 디스플레이하고, 제2 증강현실 모드는 마커가 제1 영역 외로 벗어난 경우에 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다.
또한 본 명세서의 일 실시예에 따른 포터블 디바이스 제어 방법은 마커를 디텍팅하는 단계, 마커가 포터블 디바이스의 제1 영역 내에서 디텍팅되면, 제1 증강현실 모드로 디텍팅된 마커의 위치에 기초하여 마커에 대응하고 제1 위치에 할당된 증강현실 이미지를 디스플레이하는 단계, 및 디텍팅된 마커가 제1 영역에서 벗어나면, 제2 증강현실 모드로 제1 위치에 할당된 증강현실 이미지를 디스플레이하는 단계를 포함하고, 제1 증강현실 모드는 마커가 제1 영역 내에 존재하는 동안에 마커에 대응하는 증강현실 이미지를 디스플레이하고, 제2 증강현실 모드는 마커가 제1 영역 외로 벗어난 경우에 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다.
본 명세서에 따르면, 포터블 디바이스는 마커가 디텍팅되지 않는 경우에도 증강현실 이미지를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 디스플레이 유닛의 크기를 초과하는 증강현실 이미지를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 증강현실 이미지 중 디스플레이되지 않은 부분에 대한 인디케이터를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 마커의 위치를 인디케이트하는 인디케이터를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 디텍팅 영역을 벗어난 마커를 복사하여 마커의 이미지를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 대형 증강현실 이미지를 축소하여 인디케이터로 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 증강현실 이미지의 위치를 나타내는 인디케이터를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 마커가 디텍팅되지 않은 상황에서 디스플레이된 증강현실 이미지를 시간에 따라 페이드 아웃할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제1 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 2는 본 명세서의 일 실시예에 따른 포터블 디바이스의 제2 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 3은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제2 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제2 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 5는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제2 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다.
도 7은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 포터블 디바이스는 헤드 마운티드 디스플레이, 스마트폰, 스마트 패드, 태블릿 컴퓨터, 노트북, 뮤직 플레이어 또는 폴더블 디스플레이 디바이스를 포함할 수 있다. 또한 본 명세서에서 증강현실 이미지는 그래픽 이미지, 텍스트, 기호 및 이모티콘을 포함할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제1 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 포터블 디바이스는 제1 영역 내에서 마커를 디텍팅하고, 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 여기서 제1 영역이란 포터블 디바이스의 디스플레이 유닛에 디스플레이되는 영역을 의미할 수 있다. 또한 실시예에 따라 제1 영역이란 포터블 디바이스의 카메라 유닛이 촬영하는 영역을 의미할 수 있다. 포터블 디바이스는 마커를 디텍팅하면 제1 증강현실 모드로 동작할 수 있다. 제1 증강현실 모드에서 포터블 디바이스는 마커가 디텍팅되는 동안 증강현실 이미지를 디스플레이할 수 있다. 제1 증강현실 모드에서 포터블 디바이스는 마커가 더 이상 디텍팅되지 않는 경우, 디스플레이된 증강현실 이미지를 디스플레이 영역에서 제거할 수 있다. 즉, 포터블 디바이스는 디스플레이 유닛에 마커가 디스플레이되는 동안 제1 증강현실 모드를 유지할 수 있다. 또는 포터블 디바이스는 카메라 유닛의 디텍팅 영역에 마커가 포함되는 동안 제1 증강현실 모드를 유지할 수 있다.
도 1에서 포터블 디바이스(10)는 마커를 디스플레이하는 디스플레이 유닛(11)을 포함할 수 있다. 또한 마커를 디텍팅하는 카메라 유닛을 포함할 수 있다. 포터블 디바이스는 카메라 유닛을 이용하여 리얼 오브젝트(12)를 촬영할 수 있다. 포터블 디바이스는 촬영된 리얼 오브젝트의 이미지를 디스플레이 유닛에 디스플레이할 수 있다. 리얼 오브젝트(12)는 표면에 제1 증강현실 이미지 및 제2 증강현실 이미지에 각각 대응하는 제1 마커(13) 및 제2 마커(14)를 포함할 수 있다.
도 1의 좌측하단에서 포터블 디바이스는 제1 마커(13)를 디텍팅할 수 있다. 포터블 디바이스(10)는 카메라 유닛을 이용하여 제1 마커(13)를 촬영함으로써 제1 마커를 디텍팅하거나, 디스플레이 유닛(11)에 제1 마커를 디스플레이함으로써 제1 마커를 디텍팅할 수 있다. 제1 마커를 디텍팅한 포터블 디바이스(10)는 제1 마커에 대응하는 제1 증강현실 이미지(15)를 디스플레이할 수 있다. 제1 증강현실 이미지(15)의 크기가 포터블 디바이스의 디스플레이 유닛(11)의 디스플레이 영역보다 작은 경우, 포터블 디바이스(10)는 제1 증강현실 이미지(15)의 전체 영역을 디스플레이할 수 있다.
도 1의 우측하단에서 포터블 디바이스는 제2 마커(14)를 디텍팅할 수 있다. 포터블 디바이스(10)는 카메라 유닛을 이용하여 제2 마커(14)를 촬영하거나, 디스플레이 유닛(11)에 제2 마커를 디스플레이함으로써 제2 마커를 디텍팅할 수 있다. 제2 마커를 디텍팅한 포터블 디바이스(10)는 제2 마커에 대응하는 제2 증강현실 이미지(16)를 디스플레이할 수 있다. 제2 마커에 대응하는 제2 증강현실 이미지(16)는 포터블 디바이스의 디스플레이 영역의 크기를 초과할 수 있다. 본 명세서는 포터블 디바이스의 디스플레이 영역의 크기를 초과하는 증강현실 이미지를 대형 증강현실 이미지로 정의할 수 있다.
제2 증강현실 이미지(16)의 크기가 포터블 디바이스의 디스플레이 유닛(11)의 디스플레이 영역을 초과하는 경우, 포터블 디바이스(10)는 제2 증강현실 이미지(16)의 일부 영역을 디스플레이할 수 있다. 또한 포터블 디바이스(10)는 디스플레이된 제2 증강현실 이미지(16)의 일부 영역 외에 나머지 영역이 존재함을 가리키는 인디케이터(17)를 더 디스플레이할 수 있다. 사용자는 인디케이터(17)를 확인하고, 디스플레이된 제2 증강현실 이미지(16)가 전체 중 일부분이며, 제2 증강현실 이미지의 디스플레이되지 않은 일부 영역이 존재함을 인지할 수 있다.
인디케이터(17)는 제2 증강현실 이미지(16) 중 디스플레이 않은 일부 영역이 존재하는 방향을 가리킬 수 있다. 도 2의 우측하단에서 인디케이터(17)는 상향을 가리키므로 포터블 디바이스(10)가 상향으로 이동되는 경우 증강현실 이미지의 디스플레이되지 않은 나머지 영역이 디스플레이될 수 있다.
포터블 디바이스는 제1 증강현실 모드에서 제1 타이머를 활성화할 수 있다. 포터블 디바이스는 제1 타이머가 활성화된 때부터 제1 시간 이후에, 디스플레이된 증강현실 이미지를 제1 영역에서 제거할 수 있다. 포터블 디바이스는 제1 증강현실 모드에서 제1 시간 동안 증강현실 이미지를 점진적으로 소멸시킬 수 있다. 아래에서 설명할 제2 증강현실 모드에서 포터블 디바이스는 제2 타이머를 활성화하고, 제2 타이머가 활성화된 때부터 제2 시간 이후에, 디스플레이된 증강현실 이미지를 제1 영역에서 제거할 수 있다. 여기서, 제1 시간은 제2 시간을 초과할 수 있다.
또한 포터블 디바이스는, 포터블 디바이스의 위치가 이동함에 따라 디스플레이된 증강현실 이미지가 제1 영역 내에서 이동하는 것을 디텍팅할 수 있다. 제1 증강현실 모드에서 증강현실 이미지가 제1 영역 내에서 이동하는 것을 디텍팅한 경우, 포터블 디바이스는 제3 타이머를 활성화하고, 제3 타이머가 활성화된 때부터 제3 시간 이후에, 디스플레이된 증강현실 이미지를 제1 영역에서 제거할 수 있다. 또한 제2 증강현실 모드에서 증강현실 이미지가 제1 영역 내에서 이동하는 것을 디텍팅한 경우, 포터블 디바이스는 제4 타이머를 활성화하고, 제4 타이머가 활성화된 때부터 제4 시간 이후에, 디스플레이된 증강현실 이미지를 제1 영역에서 제거할 수 있다.
여기서, 제3 시간은 제1 시간을 초과할 수 있다. 또한 제4 시간은 제2 시간을 초과할 수 있다. 또한 제3 시간은 제4 시간을 초과할 수 있다.
도 2는 본 명세서의 일 실시예에 따른 포터블 디바이스의 제2 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 사용자는 포터블 디바이스에 디스플레이된 증강현실 이미지의 일부 영역을 확인하고, 디스플레이되지 않은 나머지 영역을 확인하기 위해 포터블 디바이스를 이동시킬 수 있다. 이에 따라, 포터블 디바이스는 증강현실 이미지의 나머지 영역을 디스플레이할 수 있다. 포터블 디바이스의 위치가 이동되면, 포터블 디바이스는 더 이상 마커를 디텍팅하지 못할 수 있다. 포터블 디바이스가 제1 영역 내에서 마커를 디텍팅하지 못하는 경우, 포터블 디바이스는 제2 증강현실 모드로 동작할 수 있다. 여기서 제1 영역이란 포터블 디바이스의 디스플레이 유닛에 디스플레이되는 영역을 의미할 수 있다. 또한 실시예에 따라 제1 영역이란 포터블 디바이스의 카메라 유닛이 촬영하는 영역을 의미할 수 있다.
포터블 디바이스는 제1 증강현실 모드에서 디텍팅된 마커가 사라졌음을 디텍팅한 후 제2 증강현실 모드를 시작할 수 있다. 제2 증강현실 모드에서, 포터블 디바이스는 마커가 제1 영역에서 벗어난 경우에도 증강현실 이미지를 디스플레이할 수 있다. 즉, 제1 증강현실 모드에서와 달리, 제2 증강현실 모드의 포터블 디바이스는 마커가 더 이상 디텍팅되지 않는 경우, 디스플레이된 증강현실 이미지를 디스플레이 영역에 유지할 수 있다.
도 1의 우측하단에서 제2 마커를 디텍팅하고, 제2 마커에 대응하는 제2 증강현실 이미지의 일부 영역을 디스플레이한 포터블 디바이스(10)는 제2 증강현실 이미지의 나머지 영역을 디스플레이하도록 상향으로 이동될 수 있다. 도 2와 같이 포터블 디바이스(10)는 이동된 위치에서 제2 증강현실 이미지(16)의 나머지 영역을 디스플레이할 수 있다. 이동된 위치에서 포터블 디바이스(10)는 제1 영역 내에서 제2 마커(14)를 디텍팅할 수 없다. 즉, 포터블 디바이스(10)는 디스플레이 유닛(11)에 제2 마커를 디스플레이할 수 없다. 또는 포터블 디바이스(10)는 카메라 유닛이 촬영하는 영역에서 제2 마커를 촬영할 수 없다. 제2 마커(14)를 디텍팅하지 못한 포터블 디바이스는 제2 증강현실 모드로 동작할 수 있다. 제2 증강현실 모드에서 포터블 디바이스(10)는 제2 마커가 제1 영역 내에서 벗어난 경우, 디스플레이된 제2 증강현실 이미지(16)를 유지할 수 있다.
또한 포터블 디바이스(10)는 제2 마커(14)의 위치를 나타내는 인디케이터(17)를 디스플레이할 수 있다. 도 2에서 포터블 디바이스는 제2 마커의 위치로부터 상향으로 이동되었으므로, 포터블 디바이스는 하향을 나타내는 인디케이터(17)를 디스플레이할 수 있다.
또한 포터블 디바이스(10)는 제2 증강현실 모드임을 인디케이트하는 인디케이터를 디스플레이할 수 있다. 포터블 디바이스는 제2 증강현실 이미지(16)에 대한 이미지 효과를 인디케이터로써 디스플레이할 수 있다. 포터블 디바이스는 제2 증강현실 이미지(16)를 하이라이트하거나 블러링하는 이미지 처리를 인디케이터로써 디스플레이할 수 있다.
위에서 설명한 바와 같이 포터블 디바이스는 제2 증강현실 모드를 이용하여 제2 마커가 디텍팅되지 않는 상황에서도 제2 마커에 대응하는 제2 증강현실 이미지를 디스플레이하고 유지할 수 있다. 또한 포터블 디바이스는 제2 증강현실 모드에서 제2 마커의 위치를 나타내는 인디케이터를 디스플레이함으로써 디스플레이된 제2 증강현실 이미지에 대응하는 제2 마커가 어느 방향에 위치하는지 사용자에게 알려줄 수 있다.
사용자는 제1 영역 내에서 제2 마커를 디텍팅하도록 제2 증강현실 모드인 포터블 디바이스를 이동시킬 수 있다. 만약 포터블 디바이스가 동일한 제2 마커를 다시 디텍팅하면 포터블 디바이스는 제2 증강현실 모드를 제1 증강현실 모드로 전환할 수 있다. 포터블 디바이스는 제2 마커에 대응하는 제2 증강현실 이미지를 디스플레이할 수 있다.
만약 포터블 디바이스가 디텍팅한 마커가 동일한 제2 마커가 아닌 제3 마커를 디텍팅한 경우, 포터블 디바이스는 제2 증강현실 모드를 제1 증강현실 모드로 전환하고 제3 마커에 대응하는 제3 증강현실 이미지를 디스플레이할 수 있다. 이 때, 포터블 디바이스는 디스플레이되었던 제2 증강현실 이미지를 디스플레이 영역에서 제거할 수 있다.
포터블 디바이스는 제2 증강현실 모드에서 제2 타이머를 활성화할 수 있다. 포터블 디바이스는 제2 타이머가 활성화된 때부터 제2 시간 이후에 디스플레이된 증강현실 이미지를 제1 영역에서 제거할 수 있다. 도 1에서 설명한 제1 시간은 제2 시간을 초과할 수 있다. 제2 타이머에 대한 실시예는 도 5에서 자세히 설명한다.
도 3은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제2 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 포터블 디바이스(10)는 제2 증강현실 모드에서 마커의 카피 이미지를 디스플레이할 수 있다. 포터블 디바이스는 제2 증강현실 모드일 때, 제1 영역 내에서 마커를 디텍팅할 수 없다. 즉, 제2 증강현실 모드에서 포터블 디바이스는 카메라 유닛으로 마커를 디텍팅하거나 디스플레이 유닛에 마커의 이미지를 디스플레이할 수 없다. 따라서, 포터블 디바이스는 제1 증강현실 모드로 동작하는 동안 마커의 이미지를 저장하고, 제2 증강현실 모드로 동작할 때 저장된 마커의 이미지를 로딩하여, 마커의 카피 이미지로 디스플레이할 수 있다.
도 1의 우측하단에서 제2 마커를 디텍팅하고, 제2 마커에 대응하는 제2 증강현실 이미지의 일부 영역을 디스플레이한 포터블 디바이스(10)는 제2 증강현실 이미지의 디스플레이되지 않은 나머지 영역을 디스플레이하도록 상향으로 이동될 수 있다. 도 3과 같이 포터블 디바이스(10)는 이동된 위치에서 제2 증강현실 이미지(16)의 나머지 영역을 디스플레이할 수 있다. 이동된 위치에서 포터블 디바이스(10)는 제1 영역 내에서 제2 마커(14)를 디텍팅할 수 없다. 즉, 포터블 디바이스(10)는 디스플레이 유닛(11)에 제2 마커를 디스플레이할 수 없다. 또는 포터블 디바이스(10)는 카메라 유닛이 촬영하는 영역에서 제2 마커를 촬영할 수 없다. 제2 마커(14)를 디텍팅하지 못한 포터블 디바이스는 제2 증강현실 모드로 동작할 수 있다. 제2 증강현실 모드에서, 포터블 디바이스(10)는 제2 마커가 제1 영역 내에서 벗어난 경우에도 디스플레이된 제2 증강현실 이미지(16)를 유지할 수 있다.
포터블 디바이스(10)는 이동되기 전의 위치에서 디텍팅했던 제2 마커(14)의 카피 이미지(31)를 이동된 후에 디스플레이할 수 있다. 즉, 포터블 디바이스(10)는 제1 증강현실 모드에서 제2 마커를 디텍팅하고 제2 마커의 이미지를 저장할 수 있으며, 제2 증강현실 모드에서 저장된 제2 마커의 이미지를 제2 마커의 카피 이미지(31)로 디스플레이할 수 있다. 포터블 디바이스(10)는 제2 마커의 카피 이미지(31)를 디스플레이하여, 디스플레이된 제2 증강현실 이미지(16)에 대응하는 마커가 어느 것인지 인디케이트할 수 있다. 이를 통해 사용자는 마커와 이에 대응하는 증강현실 이미지의 상관관계를 인지할 수 있다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제2 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 포터블 디바이스는 제2 증강현실 모드에서 디스플레이된 증강현실 이미지로부터 벗어난 정도에 따라 제2 증강현실 모드를 유지하거나 해제할 수 있다. 또한 포터블 디바이스는 제2 증강현실 모드에서 디스플레이된 증강현실 이미지가 계속하여 디스플레이되는지 여부에 따라 증강현실 이미지를 디스플레이할 것인지 또는 증강현실 이미지의 인디케이터를 디스플레이할 것인지를 결정할 수 있다. 실시예에 따라 포터블 디바이스는 제2 증강현실 모드에서 디스플레이된 증강현실 이미지로부터 벗어난 정도에 따라 증강현실 이미지를 디스플레이할 것인지 또는 증강현실 이미지의 인디케이터를 디스플레이할 것인지를 결정할 수 있다.
포터블 디바이스(10)는 마커의 위치에 따라 증강현실 이미지의 위치를 결정할 수 있다. 따라서 마커의 위치가 고정된 상황에서 포터블 디바이스(10)의 위치가 이동한 경우, 포터블 디바이스(10)에 디스플레이된 증강현실 이미지의 부분이 변경될 수 있다.
도 4의 중앙하단에서 포터블 디바이스(10)는 제2 증강현실 모드로 제2 증강현실 이미지(16)를 디스플레이할 수 있다. 포터블 디바이스는 마커의 위치를 나타내는 인디케이터(17)를 더 디스플레이할 수 있다. 도 1의 우측하단과 비교할 때, 제2 마커는 포터블 디바이스의 하향에 위치하므로, 포터블 디바이스(10)는 하향을 나타내는 화살표를 인디케이터로 디스플레이할 수 있다.
포터블 디바이스(10)는 제2 마커(14)의 위치에 따라 제2 증강현실 이미지의 위치를 결정할 수 있다. 따라서 제2 마커의 위치가 고정된 상황에서 포터블 디바이스(10)의 위치가 이동한 경우, 포터블 디바이스(10)에 디스플레이된 제2 증강현실 이미지의 영역이 변경될 수 있다.
도 4의 좌측하단과 같이, 포터블 디바이스(10)가 이동한 후에도 제2 증강현실 이미지(16)의 일부가 여전히 디스플레이되는 경우, 포터블 디바이스는 제2 증강현실 모드를 유지할 수 있다. 포터블 디바이스(10)가 좌측으로 이동한 경우, 제2 증강현실 이미지(16)는 우측으로 이동되어 디스플레이될 수 있다. 포터블 디바이스(10)의 이동된 위치를 기준으로 제2 마커(14)는 포터블 디바이스의 우측하향에 위치할 수 있다. 따라서 포터블 디바이스(10)는 우측하향을 나타내는 화살표를 인디케이터(17)로 디스플레이할 수 있다.
도 4의 우측하단과 같이, 포터블 디바이스(10)가 제1 각도 또는 제1 거리 이내로 이동하여 제2 증강현실 이미지가 더 이상 디스플레이되지 않는 경우에도 포터블 디바이스는 제2 증강현실 모드를 유지할 수 있다. 이 경우, 포터블 디바이스(10)는 제2 증강현실 이미지의 인디케이터(41)를 디스플레이할 수 있다. 포터블 디바이스는 인디케이터(41)로써 제2 증강현실 이미지를 나타내는 그래픽 이미지 및 제2 증강현실 이미지의 위치를 나타내는 그래픽 이미지 중 적어도 하나를 디스플레이할 수 있다. 예를 들어, 포터블 디바이스(10)는 제2 증강현실 이미지를 축소한 이미지 및 제2 증강현실 이미지가 위치한 방향을 나타내는 이미지 중 적어도 하나를 제2 증강현실 이미지의 인디케이터(41)로 디스플레이할 수 있다. 제2 증강현실 모드가 유지되는 상태에서 포터블 디바이스(10)가 제2 증강현실 이미지가 위치한 곳으로 이동하면, 포터블 디바이스(10)는 제2 증강현실 이미지를 디스플레이할 수 있다. 즉, 제1 각도 또는 제1 거리 이내로 이동한 제2 증강현실 모드의 포터블 디바이스(10)는 제2 증강현실 이미지(16)에 대응하는 제2 마커(14)를 디텍팅하지 않아도, 제2 증강현실 이미지를 디스플레이할 수 있다.
만약 포터블 디바이스(10)가 제1 각도 또는 제1 거리를 초과하여 이동하는 경우, 포터블 디바이스는 제2 증강현실 모드를 해제할 수 있다. 다시 말하면, 포터블 디바이스가 제1 각도 또는 제1 거리를 각각 초과하는 제2 각도 또는 제2 거리로 이동하는 경우, 포터블 디바이스는 제2 증강현실 모드를 해제할 수 있다. 여기서, 제1 각도는 제2 각도 미만일 수 있다.
제2 증강현실 모드가 해제된 상태에서 포터블 디바이스(10)가 제2 증강현실 이미지가 위치한 곳으로 이동하는 경우, 포터블 디바이스(10)는 제2 증강현실 이미지를 디스플레이할 수 없다. 제2 증강현실 모드가 해제된 포터블 디바이스(10)는 제2 증강현실 이미지(16)에 대응하는 제2 마커(14)를 다시 디텍팅하기 전까지 제2 증강현실 이미지를 디스플레이할 수 없다.
도 5는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제2 증강현실 모드로 증강현실 이미지를 디스플레이하는 방법을 나타낸 도면이다. 포터블 디바이스는 제2 증강현실 모드에서 디스플레이된 증강현실 이미지를 기설정된 제2 시간 이후에 디스플레이 유닛에서 제거할 수 있다. 포터블 디바이스는 타이머를 이용하여 제2 증강현실 모드가 시작된 후 제2 시간이 지나면 디스플레이된 증강현실 이미지를 디스플레이 유닛에서 제거할 수 있다.
도 5의 좌측상단에서 제2 증강현실 모드의 포터블 디바이스는 제2 증강현실 이미지(16)를 디스플레이할 수 있다. 포터블 디바이스는 제2 시간인 t2 시간이 지나면 도 5의 우측 상단과 같이 제2 증강현실 이미지를 디스플레이 유닛에서 제거할 수 있다. 또한 포터블 디바이스는 0부터 t2 시간이 흐름에 따라 제2 증강현실 이미지에 이미지 효과를 부가할 수 있다. 예를 들어, 포터블 디바이스는 0부터 t2 시간까지 제2 증강현실 이미지를 점진적으로 페이드 아웃할 수 있다. 즉, 0과 t2 시간 사이의 t1 시간에서 포터블 디바이스는 제2 증강현실 이미지를 도 5의 중앙상단과 같이 흐릿하게 디스플레이할 수 있다. 다른 실시예로, 포터블 디바이스는 시간이 0에서 t2까지 지나감에 따라 디스플레이된 제2 증강현실 이미지를 블러링하거나 다른 이미지로 전환할 수 있다.
포터블 디바이스는 디스플레이된 제2 증강현실 이미지를 시간의 흐름에 따라 디스플레이 유닛에서 제거함으로써 사용자에게 제2 증강현실 이미지가 제2 증강현실 모드에 의해 디스플레이된 것임을 인폼할 수 있다. 또한 포터블 디바이스는 제2 증강현실 이미지를 점진적으로 페이드 아웃시킴으로써 사용자에게 제2 증강현실 이미지가 제거될 예정임을 알려줄 수 있다. 사용자는 제2 증강현실 이미지가 제거되기 전에, 포터블 디바이스가 제2 증강현실 이미지에 대응하는 제2 마커를 제1 영역 내에서 디텍팅하도록 포터블 디바이스를 이동시킴으로써 제2 증강현실 이미지가 제거되는 것을 방지할 수 있다.
타이머가 활성화된 이후에 제1 영역 내에서 제2 마커가 디텍팅되는 경우, 포터블 디바이스는 타이머를 리셋할 수 있다. 실시예에 따라 포터블 디바이스는 타이머를 리셋하는 대신 타이머를 비활성화할 수 있다. 리셋되거나 비활성화된 타이머는 제2 마커가 제1 영역 내에서 벗어난 때 다시 활성화된다.
포터블 디바이스는 제2 증강현실 모드가 시작된 후 제2 시간이 경과하여 제2 증강현실 이미지가 제거된 경우, 제2 증강현실 모드를 종료할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다. 포터블 디바이스는 디스플레이 유닛(101), 카메라 유닛(102) 및 컨트롤러(103)를 포함할 수 있다.
디스플레이 유닛(101)은 마커 및 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 디스플레이 유닛(101)은 카메라 유닛에 의해 디텍팅된 리얼 오브젝트의 이미지를 디스플레이할 수 있다. 리얼 오브젝트는 마커를 포함할 수 있다. 디스플레이 유닛은 마커에 대응하는 증강현실 이미지를 리얼 오브젝트의 이미지에 추가하여 디스플레이할 수 있다. 포터블 디바이스가 헤드 마운티드 디스플레이인 경우, 리얼 오브젝트의 이미지는 디스플레이되지 않을 수 있다. 포터블 디바이스가 헤드 마운티드 디스플레이인 경우, 포터블 디바이스는 사용자가 씨스루 글래스를 통해 바라보는 현실 세계의 오브젝트 상에 증강현실 이미지를 디스플레이할 수 있다.
디스플레이 유닛(101)은 실시예에 따라 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD), 전자잉크, 프로젝터 및 플렉서블 디스플레이 중 적어도 하나를 포함할 수 있다.
카메라 유닛(102)은 포터블 디바이스의 주변 환경을 촬영하여 리얼 오브젝트의 이미지로 생성할 수 있다. 리얼 오브젝트의 이미지는 마커를 포함할 수 있으며, 카메라 유닛(102)은 리얼 오브젝트의 이미지에 포함된 마커를 디텍팅하여 컨트롤러에 전달할 수 있다. 카메라 유닛(102)은 리얼 오브젝트의 이미지에 복수의 마커가 포함된 경우, 복수의 마커를 디텍팅하고, 디텍팅된 복수의 마커에 대한 정보를 컨트롤러에 전달할 수 있다.
컨트롤러(103)는 카메라 유닛(102)으로부터 전달받은 정보를 이용하여 디스플레이 유닛(101) 및 카메라 유닛(102)을 제어할 수 있다. 컨트롤러(103)는 디스플레이 유닛(101)에 디스플레이된 리얼 오브젝트의 이미지 또는 카메라 유닛(102)이 생성한 리얼 오브젝트의 이미지에서 마커를 디텍팅할 수 있다.
컨트롤러(103)는 마커가 디텍팅되면 포터블 디바이스의 제1 증강현실 모드를 활성화할 수 있다. 컨트롤러(103)는 디텍팅된 마커에 대응하는 증강현실 이미지를 리얼 오브젝트의 이미지에 추가하여 디스플레이할 수 있다. 제1 증강현실 모드에서 컨트롤러(103)는 마커가 디텍팅되는 경우에 증강현실 이미지를 디스플레이할 수 있다. 즉, 마커가 더이상 디텍팅되지 않는 경우에는 디스플레이된 증강현실 이미지를 제거할 수 있다.
컨트롤러(103)는 디텍팅되었던 마커가 더이상 디텍팅되지 않은 경우, 포터블 디바이스의 제2 증강현실 모드를 활성화할 수 있다. 제2 증강현실 모드에서, 컨트롤러(103)는 마커가 더이상 디텍팅되지 않더라도 디스플레이되었던 증강현실 이미지를 디스플레이 유닛에 유지할 수 있다. 컨트롤러(103)는 제2 증강현실 모드에서 디스플레이된 증강현실 이미지를 제2 시간 이후에 제거할 수 있다.
컨트롤러(103)는 증강현실 이미지의 위치와 포터블 디바이스의 위치를 고려하여 제2 증강현실 모드에서 증강현실 이미지를 디스플레이하는 방법을 다르게 할 수 있다. 제2 증강현실 모드에서 컨트롤러(103)는 마커가 더 이상 디텍팅되지 않더라도 디스플레이 유닛에 증강현실 이미지의 적어도 일부분이 디스플레이될 수 있으면 디스플레이된 증강현실 이미지를 유지할 수 있다. 컨트롤러(103)는 포터블 디바이스가 이동하여 증강현실 이미지의 어느 부분도 디스플레이되지 않는 경우, 인디케이터를 디스플레이할 수 있다. 컨트롤러(103)는 증강현실 이미지를 축소하여 인디케이터로써 디스플레이할 수 있고, 증강현실 이미지의 위치를 나타내는 이미지도 인디케이터에 포함시킬 수 있다.
컨트롤러(103)는 각도 스레시홀드 이상 또는 거리 스레시홀드 이상으로 포터블 디바이스의 위치와 증강현실 이미지의 위치가 상이한 경우, 제2 증강현실 모드를 해제할 수 있다. 컨트롤러(103)는 제2 증강현실 모드가 해제된 경우, 디스플레이 유닛에 유지되었던 증강현실 이미지를 제거할 수 있다.
도 6은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 포터블 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 포터블 디바이스의 엘러먼트들은 포터블 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 7은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다. 포터블 디바이스는 제1 영역 내에서 마커를 디텍팅할 수 있다(S10). 여기서 제1 영역이란 포터블 디바이스의 디스플레이 유닛이 디스플레이하는 영역을 의미할 수 있다. 또한 실시예에 따라 제1 영역이란 포터블 디바이스의 카메라 유닛이 촬영하는 영역을 의미할 수 있다. 도 1에서 설명한 바와 같이, 포터블 디바이스는 카메라 유닛을 이용하여 마커를 촬영하거나, 디스플레이 유닛에 마커를 디스플레이함으로써 마커를 디텍팅할 수 있다.
포터블 디바이스는 제1 증강현실 모드로 마커에 대응하고 제1 위치에 할당된 증강현실 이미지를 디스플레이할 수 있다(S20). 도 1에서 설명한 바와 같이, 포터블 디바이스는 마커를 디텍팅하면 제1 증강현실 모드로 동작할 수 있다. 제1 증강현실 모드에서 포터블 디바이스는 마커가 디텍팅되는 동안 제1 위치에 할당된 증강현실 이미지를 디스플레이할 수 있다. 제1 증강현실 모드에서 포터블 디바이스는 마커가 더 이상 디텍팅되지 않는 경우, 디스플레이된 증강현실 이미지를 디스플레이 영역에서 제거할 수 있다.
증강현실 이미지의 크기가 포터블 디바이스의 디스플레이 유닛의 디스플레이 영역을 초과하는 경우, 포터블 디바이스는 증강현실 이미지의 일부 영역을 디스플레이할 수 있다. 또한 포터블 디바이스는 디스플레이된 증강현실 이미지의 일부 영역 외에 나머지 영역이 존재함을 가리키는 인디케이터를 더 디스플레이할 수 있다. 사용자는 인디케이터를 확인하고, 포터블 디바이스에 디스플레이된 증강현실 이미지가 전체 중 일부분이며, 증강현실 이미지의 디스플레이되지 않은 일부 영역이 존재함을 인지할 수 있다. 사용자는 인디케이터의 방향에 따라 포터블 디바이스를 이동시킬 수 있으며, 포터블 디바이스는 그 위치가 이동함에 따라 제1 위치에 할당된 증강현실 이미지 중 디스플레이되지 않은 일부 영역을 디스플레이할 수 있다.
포터블 디바이스는 마커가 제1 영역 내에 유지되는지 결정할 수 있다(S30). 도 2에서 설명한 바와 같이, 포터블 디바이스의 위치가 변경되면 카메라 유닛의 디텍팅 영역 및 디스플레이 유닛에 디스플레이되는 영역도 변경될 수 있다. 즉, 포터블 디바이스의 제1 영역이 변경될 수 있다.
포터블 디바이스는 변경된 제1 영역 내에서 마커가 디텍팅되는지 결정할 수 있다. 포터블 디바이스는 카메라 유닛의 디텍팅 영역 내에서 마커가 디텍팅되는지 결정할 수 있다. 또는 포터블 디바이스는 디스플레이 유닛의 디스플레이 영역 내에 마커가 디스플레이되는지 결정할 수 있다. 만약 카메라 유닛에 의해 마커가 디텍팅되거나 디스플레이 유닛에 의해 마커가 디스플레이되는 경우, 포터블 디바이스는 제1 증강현실 모드를 유지할 수 있다.
포터블 디바이스는 마커가 제1 영역 내에 유지되지 않으면, 제2 증강현실 모드로 제1 위치에 할당된 증강현실 이미지를 디스플레이할 수 있다(S40). 도 2에서 설명한 바와 같이, 포터블 디바이스가 제1 영역 내에서 마커를 디텍팅하지 못하는 경우, 포터블 디바이스는 제2 증강현실 모드로 동작할 수 있다. 여기서 제1 영역이란 포터블 디바이스의 디스플레이 유닛이 디스플레이하는 영역을 의미할 수 있다. 또한 실시예에 따라 제1 영역이란 포터블 디바이스의 카메라 유닛이 촬영하는 영역을 의미할 수 있다.
제2 증강현실 모드에서, 포터블 디바이스는 마커가 제1 영역에서 벗어난 경우에도 증강현실 이미지를 디스플레이할 수 있다. 즉, 제1 증강현실 모드에서와 달리, 포터블 디바이스는 마커가 더 이상 디텍팅되지 않는 경우에도 디스플레이된 증강현실 이미지를 디스플레이 영역에 유지할 수 있다.
또한 포터블 디바이스는 마커의 위치를 나타내는 인디케이터를 디스플레이할 수 있다. 포터블 디바이스의 위치함에 따라 디스플레이 유닛에 마커가 더이상 디스플레이되지 않으므로, 포터블 디바이스는 인디케이터를 디스플레이하여 마커의 위치를 사용자에게 알려줄 수 있다. 또한 포터블 디바이스는 마커의 카피 이미지를 증강현실 이미지와 함께 디스플레이할 수 있다.
포터블 디바이스는 증강현실 이미지가 디스플레이 영역 내에 유지되는지 결정할 수 있다(S50). 도 4에서 설명한 바와 같이,포터블 디바이스는 제2 증강현실 모드에서 디스플레이된 증강현실 이미지가 계속하여 디스플레이되는지 여부에 따라 증강현실 이미지를 디스플레이할 것인지 또는 제2 증강현실 모드를 해제할 것인지를 결정할 수 있다. 포터블 디바이스는 제1 위치에 할당된 증강현실 이미지가 디스플레이 유닛에 디스플레이되는 동안에는 제2 증강현실 모드를 유지할 수 있다. 포터블 디바이스는 그 위치가 이동함에 따라 제1 위치에 할당된 증강현실 이미지의 적어도 일부분을 디스플레이할 수 있다.
포터블 디바이스는 증강현실 이미지가 디스플레이 영역 내에 유지되지 않으면, 제2 증강현실 모드를 해제할 수 있다(S60). 도 4에서 설명한 바와 같이, 포터블 디바이스는 제2 증강현실 이미지의 어떠한 일부분도 디스플레이되지 않는 경우, 제2 증강현실 모드를 해제할 수 있다. 제2 증강현실 모드가 해제되면, 포터블 디바이스의 카메라 유닛이 다시 제1 위치를 촬영하더라도 증강현실 이미지는 디스플레이되지 않는다. 제2 증강현실 모드가 해제된 포터블 디바이스가 증강현실 이미지를 디스플레이하려면, 제1 영역 내에서 마커를 디텍팅해야 한다.
다른 실시예에서 포터블 디바이스는 제2 증강현실 이미지의 어떠한 일부분도 디스플레이되지 않는 경우, 제2 증강현실 이미지의 인디케이터를 디스플레이할 수 있다. 인디케이터는 제2 증강현실 이미지를 축소한 것일 수 있으며, 제2 증강현실 이미지가 할당된 제1 위치를 가리킬 수 있다. 포터블 디바이스는 인디케이터를 디스플레이한 후 포터블 디바이스와 제1 위치 사이의 거리나 각도가 더 이격되면 비로소 제2 증강현실 모드를 해제할 수 있다.
상술한 바와 같이 본 명세서의 포터블 디바이스는 마커가 디텍팅되지 않는 상황에서도 일정 시간 이상 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다.
10: 포터블 디바이스 11: 디스플레이 유닛
13,14: 마커 15,16: 증강현실 이미지
17: 인디케이터

Claims (20)

  1. 포터블 디바이스에 있어서,
    마커를 디텍팅하는 카메라 유닛;
    상기 디텍팅된 마커에 대응하는 증강현실 이미지의 적어도 일부를 디스플레이하는 디스플레이 유닛; 및
    상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 컨트롤러를 포함하는 포터블 디바이스로써,
    상기 컨트롤러는
    상기 마커가 제1 영역 내에서 디텍팅되면, 제1 증강현실 모드로 상기 디텍팅된 마커의 위치에 기초하여 상기 마커에 대응하고 제1 위치에 할당된 상기 증강현실 이미지를 디스플레이하고,
    상기 디텍팅된 마커가 상기 제1 영역에서 벗어나면, 제2 증강현실 모드로 상기 제1 위치에 할당된 상기 증강현실 이미지를 디스플레이하는 포터블 디바이스로써,
    상기 제1 증강현실 모드는 상기 마커가 상기 제1 영역 내에 위치하는 동안에 상기 마커에 대응하는 상기 증강현실 이미지를 디스플레이하고,
    상기 제2 증강현실 모드는 상기 마커가 상기 제1 영역 외로 벗어난 경우에 상기 마커에 대응하는 상기 증강현실 이미지를 디스플레이하는 포터블 디바이스.
  2. 제 1 항에 있어서,
    상기 컨트롤러는,
    상기 증강현실 이미지가 상기 제1 영역에서 제1 각도만큼 벗어나면 상기 제2 증강현실 모드를 유지하고, 상기 제1 영역에 상기 증강현실 이미지에 대응하는 제1 인디케이터를 추가로 디스플레이하는 포터블 디바이스.
  3. 제 2 항에 있어서,
    상기 제1 위치에 존재하는 상기 증강현실 이미지가 상기 제1 영역에서 제2 각도만큼 벗어나면 상기 제2 증강현실 모드를 해제하는 포터블 디바이스.
  4. 제 3 항에 있어서,
    상기 제1 인디케이터는 상기 증강현실 이미지를 축소한 이미지이고,
    상기 제1 각도는 상기 제2 각도 미만인 포터블 디바이스.
  5. 제 1 항에 있어서,
    상기 제1 영역은 상기 디스플레이 유닛의 디스플레이 영역이고,
    상기 제1 증강현실 모드는 상기 마커가 상기 디스플레이 유닛에 디스플레이되는 동안 유지되는 포터블 디바이스.
  6. 제 1 항에 있어서,
    상기 제1 영역은 상기 카메라 유닛의 디텍팅 영역이고,
    상기 제1 증강현실 모드는 상기 마커가 상기 카메라 유닛의 디텍팅 영역에 포함되는 동안 유지되는 포터블 디바이스.
  7. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 제2 증강현실 모드임을 인디케이트하는 제2 인디케이터를 더 디스플레이하는 포터블 디바이스.
  8. 제 7 항에 있어서,
    상기 제2 인디케이터는 상기 증강현실 이미지를 하이라이트하거나, 블러링하는 이미지 처리를 포함하는 포터블 디바이스.
  9. 제 7 항에 있어서,
    상기 제2 인디케이터는 상기 마커의 위치를 나타내는 포터블 디바이스.
  10. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 제1 증강현실 모드에서 제1 타이머를 활성화하고, 상기 타이머가 활성화된 때부터 제1 시간 이후에 상기 디스플레이된 증강현실 이미지를 상기 제1 영역에서 제거하고,
    상기 제2 증강현실 모드에서 제2 타이머를 활성화하고, 상기 타이머가 활성화된 때부터 제2 시간 이후에 상기 디스플레이된 증강현실 이미지를 상기 제1 영역에서 제거하는 포터블 디바이스.
  11. 제 10 항에 있어서,
    상기 컨트롤러는
    상기 제2 증강현실 모드에서 상기 제1 영역에서 벗어난 마커가 상기 제1 영역에 다시 디텍팅되면, 상기 제2 타이머를 비활성화하는 포터블 디바이스.
  12. 제 10 항에 있어서,
    상기 디스플레이된 증강현실 이미지는 상기 제1 증강현실 모드에서 상기 제1 시간 동안, 상기 제2 증강현실 모드에서 상기 제2 시간 동안 각각 점진적으로 소멸되는 포터블 디바이스.
  13. 제 12 항에 있어서,
    상기 제1 시간은 상기 제2 시간을 초과하는 포터블 디바이스.
  14. 제 10 항에 있어서,
    상기 컨트롤러는
    상기 증강현실 이미지가 상기 제1 영역 내에서 이동함을 디텍팅하고,
    상기 제1 증강현실 모드에서 제3 타이머를 활성화하고, 상기 타이머가 활성화된 때부터 제3 시간 이후에 상기 디스플레이된 증강현실 이미지를 상기 제1 영역에서 제거하고,
    상기 제2 증강현실 모드에서 제4 타이머를 활성화하고, 상기 타이머가 활성화된 때부터 제4 시간 이후에 상기 디스플레이된 증강현실 이미지를 상기 제1 영역에서 제거하고,
    상기 제3 시간은 상기 제1 시간을 초과하고 상기 제4 시간은 상기 제2 시간을 초과하는 포터블 디바이스.
  15. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 제1 증강현실 모드에서, 상기 증강현실 이미지의 크기가 상기 제1 영역의 크기를 초과하는 경우, 제3 인디케이터를 더 디스플레이하고,
    상기 제3 인디케이터는 상기 증강현실 이미지 중 상기 디스플레이 유닛에 디스플레이되지 않은 부분의 존재를 나타내는 포터블 디바이스.
  16. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 마커가 디텍팅되었던 위치에서 상기 마커와 다른 제1 마커가 디텍팅되면, 상기 마커에 대응하는 상기 증강현실 이미지를 제거하는 포터블 디바이스.
  17. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 제2 증강현실 모드에서, 상기 디텍팅된 마커의 이미지를 카피하여 상기 증강현실 이미지와 함께 디스플레이하는 포터블 디바이스.
  18. 제 1 항에 있어서,
    상기 증강현실 이미지의 크기는 상기 디스플레이 영역의 크기를 초과하고, 상기 디스플레이 유닛은 상기 증강현실 이미지의 일부분을 디스플레이하는 포터블 디바이스.
  19. 제 1 항에 있어서,
    상기 제2 증강현실 모드는 상기 제1 증강현실 모드에서 상기 마커가 사라졌음을 디텍팅한 후 시작되는 포터블 디바이스.
  20. 포터블 디바이스를 제어하는 방법에 있어서,
    마커를 디텍팅하는 단계;
    상기 마커가 상기 포터블 디바이스의 제1 영역 내에서 디텍팅되면, 제1 증강현실 모드로 상기 디텍팅된 마커의 위치에 기초하여 상기 마커에 대응하고 제1 위치에 할당된 상기 증강현실 이미지의 적어도 일부를 디스플레이하는 단계; 및
    상기 디텍팅된 마커가 상기 제1 영역에서 벗어나면, 제2 증강현실 모드로 상기 제1 위치에 할당된 상기 증강현실 이미지를 디스플레이하는 단계를 포함하는 포터블 디바이스 제어 방법으로써,
    상기 제1 증강현실 모드는 상기 마커가 상기 제1 영역 내에 존재하는 동안에 상기 마커에 대응하는 상기 증강현실 이미지를 디스플레이하고,
    상기 제2 증강현실 모드는 상기 마커가 상기 제1 영역 외로 벗어난 경우에 상기 마커에 대응하는 상기 증강현실 이미지를 디스플레이하는 포터블 디바이스 제어 방법.
KR20130102323A 2013-08-28 2013-08-28 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법 KR20150025114A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130102323A KR20150025114A (ko) 2013-08-28 2013-08-28 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US14/080,355 US20150062162A1 (en) 2013-08-28 2013-11-14 Portable device displaying augmented reality image and method of controlling therefor
PCT/KR2013/010495 WO2015030305A1 (en) 2013-08-28 2013-11-19 Portable device displaying augmented reality image and method of controlling therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130102323A KR20150025114A (ko) 2013-08-28 2013-08-28 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20150025114A true KR20150025114A (ko) 2015-03-10

Family

ID=52582576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130102323A KR20150025114A (ko) 2013-08-28 2013-08-28 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20150062162A1 (ko)
KR (1) KR20150025114A (ko)
WO (1) WO2015030305A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870276B1 (ko) * 2016-12-30 2018-06-22 주식회사 픽스게임즈 마커를 이용한 증강현실 콘텐츠 제공 시스템 및 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6421670B2 (ja) * 2015-03-26 2018-11-14 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
US10163198B2 (en) 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
JP2018078475A (ja) * 2016-11-10 2018-05-17 富士通株式会社 制御プログラム、制御方法および制御装置
KR102005437B1 (ko) * 2017-10-23 2019-10-01 (주)에스오피에스 증강현실 기반 아동용 컬러링북을 이용한 심리분석 시스템 및 그 시스템을 이용한 분석방법
CN107957781B (zh) * 2017-12-13 2021-02-09 北京小米移动软件有限公司 信息显示方法及装置
US10818089B2 (en) * 2018-09-25 2020-10-27 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices
US10918949B2 (en) 2019-07-01 2021-02-16 Disney Enterprises, Inc. Systems and methods to provide a sports-based interactive experience
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) * 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11360733B2 (en) * 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US12051163B2 (en) 2022-08-25 2024-07-30 Snap Inc. External computer vision for an eyewear device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040177325A1 (en) * 2003-03-07 2004-09-09 Keane Robert S. Edit location indicator
JP3972366B2 (ja) * 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
US7614011B2 (en) * 2004-10-21 2009-11-03 International Business Machines Corporation Apparatus and method for display power saving
US20060136839A1 (en) * 2004-12-22 2006-06-22 Nokia Corporation Indicating related content outside a display area
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2010094065A1 (en) * 2009-02-17 2010-08-26 Jumbuck Entertainment Limited Augmented reality system and method
US20100316259A1 (en) * 2009-06-16 2010-12-16 Wu Liu Using a moving imaging system to monitor anatomical position as a function of time
US9430923B2 (en) * 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
EP2405402A1 (en) * 2010-07-06 2012-01-11 EADS Construcciones Aeronauticas, S.A. Method and system for assembling components
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
KR101056418B1 (ko) * 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870276B1 (ko) * 2016-12-30 2018-06-22 주식회사 픽스게임즈 마커를 이용한 증강현실 콘텐츠 제공 시스템 및 방법

Also Published As

Publication number Publication date
US20150062162A1 (en) 2015-03-05
WO2015030305A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
KR20150025114A (ko) 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR102165444B1 (ko) 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US10585473B2 (en) Visual gestures
US10916057B2 (en) Method, apparatus and computer program for displaying an image of a real world object in a virtual reality enviroment
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
CN108604175B (zh) 装置和关联方法
US9274608B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
KR102138511B1 (ko) 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
US20160292922A1 (en) Display control device, display control method, and recording medium
US20160291687A1 (en) Display control device, display control method, and recording medium
WO2015094785A1 (en) Trimming content for projection onto a target
KR20150026375A (ko) 포터블 디바이스 및 그 제어 방법
WO2013046596A1 (ja) 携帯型情報処理端末
US20170046879A1 (en) Augmented reality without a physical trigger
CN105607792A (zh) 一种分层截图的方法、装置及终端
CN106815809B (zh) 一种图片处理方法和装置
KR20150089527A (ko) 플립 커버를 포함하는 포터블 디바이스 및 그 제어 방법
CN109448050A (zh) 一种目标点的位置的确定方法及终端
JP6428020B2 (ja) Ｇｕｉ装置
JP6686319B2 (ja) 画像投影装置及び画像表示システム
WO2019058641A1 (ja) 電子機器、プログラム、制御装置および制御方法
US11100903B2 (en) Electronic device and control method for controlling a display range on a display
US20160350895A1 (en) Translation device
KR102086495B1 (ko) 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
JP2016110349A (ja) 情報処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid