KR20180035243A - 가상 현실 어플리케이션 - Google Patents

가상 현실 어플리케이션 Download PDF

Info

Publication number
KR20180035243A
KR20180035243A KR1020187008632A KR20187008632A KR20180035243A KR 20180035243 A KR20180035243 A KR 20180035243A KR 1020187008632 A KR1020187008632 A KR 1020187008632A KR 20187008632 A KR20187008632 A KR 20187008632A KR 20180035243 A KR20180035243 A KR 20180035243A
Authority
KR
South Korea
Prior art keywords
applications
detected
scene
component
routine
Prior art date
Application number
KR1020187008632A
Other languages
English (en)
Inventor
로이 레비언
마크 말라무드
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20180035243A publication Critical patent/KR20180035243A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Abstract

증강 현실 기술이 설명된다. 본 기술은 장면에서 오브젝트를 검출하고, 검출된 오브젝트에 기초하여 하나 이상의 설치되거나 이용 가능한 어플리케이션을 식별하며, 식별된 어플리케이션을 나타내는 아이콘을 장면의 디스플레이 내 검출된 오브젝트에 근접하여 배치하여, 예컨대 사용자가 식별된 어플리케이션을 시작하거나 설치할 수 있도록 한다. 본 기술은 또한 식별된 오브젝트와의 상호작용을 용이하게 하여, 예컨대, 원격으로 인식된 오브젝트를 제어할 수 있다.

Description

가상 현실 어플리케이션 {VIRTUAL REALITY APPLICATIONS}
사용되는 모바일 컴퓨팅 장치의 수는 지난 10년 동안 극적으로 증가해 왔으며 계속해서 증가한다. 모바일 컴퓨팅 장치의 예시는 모바일 전화, 디지털 카메라 및 GPS(global positioning system) 수신기이다. 한 연구에 따르면, 세계 인구의 60%가 모바일 전화에 액세스한다. 증가하는 수의 사람들은 디지털 카메라를 사용하며 디지털 카메라의 일부 제조자들은 현재 매해 수백억의 미국 달러의 수익을 본다. 디지털 카메라는 이미지를 캡처, 저장 및 공유하는 데 이용된다. 종종, 이미지는 캡처된 거의 직후에 예컨대, 디지털 카메라와 연관된 디스플레이 장치 상에서 보여진다. 이미지가 캡처되면, 컴퓨팅 장치에 의해 처리될 수 있다. 이미지 인식은 이미지에서의 오브젝트를 인식하고 식별하는 데 이용될 수 있는 하나의 그러한 프로세스다. 예컨대, 이미지 인식 기법은 이미지가 사람의 얼굴, 특정 오브젝트 또는 모양 등을 포함하는지 여부를 결정할 수 있다.
증강 현실은 사용자가 실세계에서 관찰하는 시각적 또는 청각적 정보를 디지털적으로 증강하도록 컴퓨팅 장치에 의해 향상되는 물리적인, 실세계 환경의 뷰(view)이다. 예컨대, 증강 현실 시스템은 장면 정보를 디지털 카메라 및 GPS로부터 수신하고, 장면에서 오브젝트(예컨대, 사람, 동물, 건축물, 등)를 식별하며 식별된 오브젝트에 관한 추가적인 정보를 제공할 수 있다. 그러한 시스템의 사용자는 모바일 컴퓨팅 장치(예컨대, 디지털 카메라, 휴대 전화, "스마트폰", 등)를 이용하여 장면의 사진을 찍으며, 증강 현실 시스템이 사진 찍힌(즉, 디지털화된) 장면에서 인식하는 하나 이상의 오브젝트에 대한 정보를 자동적으로 수신할 수 있다.
현재 모바일 장치에 이용 가능한 수십만 개의 어플리케이션이 있다. 사용자는 그들에게 유용하거나 흥미 있는 어플리케이션("앱")을 다운로드하고 설치할 수 있다. 그러나, 그러한 어플리케이션을 찾는 것은 힘이 들 수 있다.
도 1은 다양한 실시예에서 개시된 기술에 의해 적용된 루틴을 예시하는 흐름도이고;
도 2는 다양한 실시예에서, 개시된 기술의 이용을 예시하는 환경도이고;
도 3은 다양한 실시예에서 개시된 기술에 의해 사용된 컴포넌트를 예시하는 블록도이고;
도 4는 다양한 실시예에서 개시된 기술에 의해 적용된 루틴을 예시하는 흐름도이고;
도 5는 다양한 실시예에서 개시된 기술에 의해 적용된 루틴을 예시하는 흐름도이고;
도 6a 및 도 6b는 다양한 실시예에서 개시된 기술의 이용을 예시하는 환경도이고;
도 7은 다양한 실시예에서 개시된 기술에 의해 적용된 루틴을 예시하는 흐름도이며;
도 8은 본 개시의 적어도 일부 실시예에 따라 배열되는 컴퓨팅 장치의 예시적인 실시예의 블록도이다.
이하의 상세한 설명에서 본 개시의 일부를 이루는 첨부된 도면이 참조된다. 문맥에서 달리 지시하고 있지 않은 한, 통상적으로, 도면에서 유사한 부호는 유사한 컴포넌트를 나타낸다. 상세한 설명, 도면, 그리고 청구범위에 설명되는 예시적인 실시예는 제한적으로 여겨지지 않는다. 본 개시에서 제시되는 대상의 범위에서 벗어나지 않으면서도 다른 실시예가 이용되거나, 다른 변경이 이루어질 수 있다. 여기에서 일반적으로 설명되고, 도면에 도시되는 본 개시의 양태는 다양한 다른 구성으로 배열, 대체, 조합, 분리, 및 설계될 수 있음과 이 모두가 여기에서 명백히 고려됨이 기꺼이 이해될 것이다.
증강 현실 기술("본 기술")이 설명된다. 다양한 실시예에서, 본 기술은 장면 내 오브젝트를 검출하고, 적어도 하나의 검출된 오브젝트에 기초하여 하나 이상의 설치된 어플리케이션을 식별하며, 식별된 하나 이상의 어플리케이션을 나타내는 아이콘을, 예컨대, 장면의 디스플레이에서 검출된 오브젝트에 근접하여 디스플레이한다. 본 기술은 오브젝트 인식, 예컨대, 이미지 인식, 패턴 인식 등을 위한 다양한 기법을 이용할 수 있다. 사용자가 디스플레이된 아이콘을 선택하면, 선택된 아이콘에 대응하는 어플리케이션이 시작할 수 있다. 다양한 실시예에서, 본 기술은 대신에 (또는 추가적으로), 적어도 하나의 검출된 오브젝트에 기초하여 이용 가능하지만 아직 설치되지 않은 어플리케이션을 식별할 수 있다. 사용자가 디스플레이된 아이콘을 선택하면, 선택된 아이콘에 대응하는 어플리케이션이 설치될 수 있으며 선택적으로 시작될 수 있다. 따라서, 본 기술은 사용자로 하여금, 사용자가 스스로 찾는 맥락 또는 환경에 적합할 수 있는 어플리케이션을 빠르게 식별할 수 있게 한다.
본 기술은 사용자가 장면을 디지털화하도록 사용하고 있는 모바일 장치와의 이용을 위해 구성된 디지털 카메라를 사용할 수 있다. 모바일 장치는 또한 맥락 정보(contextual information), 예컨대, GPS 좌표를 처리할 수 있다. 일부 어플리케이션은 맥락 정보에 대응할 수 있다. 예컨대, 장면이 특정 레스토랑을 포함하면, 식별된 어플리케이션은 레스토랑에 대응하는 어플리케이션일 수 있다. 복수의 어플리케이션이 오브젝트(예컨대, 레스토랑, 가게 또는 다른 시설 또는 오브젝트)에 대응하는 경우, 본 기술은 현재 위치(예컨대, GPS 좌표)에 적합한 어플리케이션을 식별할 수 있다. 대안적으로, 사용자는 맥락 정보를 특정하여 사용할 수 있다. 예컨대, 본 기술은 현재 시간에 개장한 시설에 대한 어플리케이션을 식별할 수 있으나, 사용자가 그날은 더 늦은 저녁식사에 개장하는 시설에 대응하는 어플리케이션에만 관심이 있을 수 있다.
본 기술은 예컨대, 매칭된 오브젝트의 속성에 기초하여, 예컨대, 설치된 (또는 이용 가능한) 어플리케이션에 대응하는 속성을 현재 맥락 또는 환경에 매칭함으로써, 어플리케이션을 식별할 수 있다. 속성은 모바일 장치 상에 로컬로 저장되거나 서버에 저장될 수 있다. 또한 사용자는 어플리케이션을 인식된 오브젝트와 연관시키거나 분리(disassociate)시켜, 예컨대, 오브젝트가 디지털화된 장면에 있는 다음 번에는 특정 어플리케이션의 아이콘이 가시적이거나 제거되도록 할 수 있다.
다양한 실시예에서, 본 기술은 또한 저장된 어플리케이션 "선호"에 기초하여 어플리케이션을 식별할 수 있다. 이러한 선호는 어플리케이션 개발자에 의해 나타낼 수 있다. 예컨대, 사용자가 특정 지리적 영역에 있으면, "스폰서 어플리케이션(sponsored application)"이 본 기술에 의해 식별될 수 있다.
복수의 어플리케이션 아이콘이 식별되면, 본 기술은 다양한 기법을 이용하여 사용자 인터페이스를 변경할 수 있다. 예컨대, 아이콘들이 스택(stack)될 수 있고; 일부 아이콘은 스택에서 다른 어플리케이션 앞에 나타날 수 있고; 일부 아이콘(예컨대, 스폰서 어플리케이션)은 다른 아이콘 보다 클 수 있다.
또한, 본 기술은, 예컨대, 아이콘이 기초적인 정보의 대표이도록, 어플리케이션에 대한 아이콘을 조정할 수 있다. 예컨대, 레스토랑 리뷰 어플리케이션의 아이콘이 많은 레스토랑에 대하여 식별될 수 있으며, 아이콘은 인식된 레스토랑에 대한 리뷰를 나타내도록 변경할 수 있다.
다양한 실시예에서, 본 기술은 장면에서 오브젝트를 검출하고, 검출된 오브젝트를 검출된 오브젝트와의 상호 작용을 위한 방법과 연관시키고, 연관된 방법을 이용하여 검출된 오브젝트와의 상호 작용을 위한 명세(specification)를 획득하며; 검출된 오브젝트를 제어하기 위한 사용자 인터페이스를 제공할 수 있다. 예컨대, 시청각 장치(예컨대, 텔레비전, DVD 플레이어, 등)가 장면에서 검출되면, 본 기술은 (예컨대, WiFi, 무선 주파수, 적외선 또는 기타 통신 수단을 이용하여) 검출된 장치와 통신하며 장치와의 상호 작용을 위한 명세를 획득할 수 있다. 명세는 정보, 예컨대, 이용가능 명령, 명령이 어떻게 송신될 것인지, 명령에 대한 형식, 등을 제공할 수 있다. 명세는 또한 사용자 인터페이스 요소에 대한 정보를 제공할 수 있다. 명세를 수신하면, 본 기술은 사용자가 장치를 제어하는 데 이용할 수 있는 사용자 인터페이스를 제공할 수 있다. 사용자가 사용자 인터페이스를 통하여 상호 작용하는 경우, 본 기술은 명령을 장치에 전송할 수 있다. 다양한 실시예에서, 본 기술은 무선 주파수 식별 태그, 무선 네트워크, 적외선 신호, 등을 사용함으로써 검출된 오브젝트와 통신할 수 있다.
다양한 실시예에서, 본 기술은 컴퓨팅 장치로부터 신호를 수신하고, 장치를 제어하도록 동작 가능한 하나 이상의 방법의 식별을 제공하고, 하나 이상의 방법에서 식별된 명령을 컴퓨팅 장치로부터 수신하며, 수신된 명령에 따라 장치를 제어하는 장치를 이용하기 위해 구성된 컴포넌트를 포함한다. 명령은 미디어를 제어 (예컨대, 재생, 정지, 일시정지, 되감기, 빨리 감기, 등), 전력 회로를 제어(예컨대, 켜기/끄기), 등을 위한 것일 수 있다. 컴포넌트는 또한 하나 이상의 방법에 대한 명세, 예컨대, 사용자 인터페이스 컴포넌트를 제공하기 위한 힌트를 제공할 수 있다.
도면으로 이제 돌아가면, 도 1은 다양한 실시예에서의 개시된 기술에 의해 적용된 루틴(100)을 예시하는 흐름도이다. 루틴(100)은 블록(102)에서 시작한다. 루틴(100)은 이후, 장면의 디지털화된 영상을 수신하는 블록(104)에서 계속된다. 루틴(100)은 이후 장면 내 오브젝트를 검출하는 블록(106)에서 계속된다. 다양한 실시예에서, 루틴(100)은 오브젝트를 인식하도록 다양한 이미지 인식 기법을 사용할 수 있다. 루틴(100)은 이후 맥락 정보를 수신하는 블록(108)에서 계속된다. 맥락 정보의 예시는 위치 정보(GPS 좌표, 길 주소, 도시, 등), 시각, 등이다. 루틴(100)은 이후 검출된 오브젝트에 기초하여 어플리케이션을 식별하는 블록(110)에서 계속된다. 예컨대, 본 기술이 텔레비전을 인식하면, 본 기술은 현재 텔레비전 목록을 제공하는 어플리케이션을 나타낼 수 있다. 다른 예시로서, 본 기술이 레스토랑을 인식하면, 본 기술은, 예컨대, 메뉴 제공, 자리 예약, 등을 위한 레스토랑과 연관되는 어플리케이션을 식별할 수 있다. 루틴(100)은 맥락 정보에 기초하여 오브젝트를 식별하는 블록(112)에서 계속된다. 예컨대, 장면에서 식별된 두 개의 레스토랑이 있고, 레스토랑 중 하나는 점심 및 저녁 식사에만 열리는 경우, 본 기술은 현재 시간이 보통 아침 식사 시간으로 고려되는 시간 내에 있는 경우, 아침 식사 동안 열리는 레스토랑만 식별할 수 있다. 루틴(100)은 이후, 식별된 어플리케이션을 나타내는 아이콘을 검출된 오브젝트 가까이에 배치하는 블록(114)에서 계속된다. 루틴은 이후, 블록(116)으로 복귀한다.
당업자는 도 1에서 예시되고 상술되고 그리고 이하에서 논의된 흐름도 각각에서 예시된 로직은 다양한 방식으로 변경될 수 있다는 점을 인정할 것이다. 예컨대, 로직의 순서가 재배열될 수 있거나, 하위 단계가 병렬로 수행될 수 있거나, 예시된 로직이 생략될 수 있거나, 다른 로직이 포함될 수 있거나 하는 등이다.
도 2는 다양한 실시예에서 개시된 기술의 이용을 예시하는 환경도이다. 장면(200)은 제1 오브젝트(202), 제2 오브젝트(204) 및 제3 오브젝트(206)의 3 개의 오브젝트를 포함한다. 모바일 컴퓨팅 장치(208)의 디스플레이는 제1 오브젝트의 디지털화된 표현(210), 제2 오브젝트의 디지털화된 표현(212) 및 제3 오브젝트의 디지털화된 표현(214)으로서 오브젝트의 디지털화된 표현을 디스플레이한다. 제1 오브젝트의 디지털화된 표현(210)은 제1 아이콘(216A) 및 제2 아이콘(216B)과 연관된다. 제2 오브젝트의 디지털화된 표현(212)은 제3 아이콘(218)과 연관된다. 상술된 바와 같이, 아이콘은 설치된 어플리케이션 또는 이용가능 어플리케이션을 나타낼 수 있다. 사용자가, 예컨대, 모바일 장치의 터치 스크린 상의 아이콘 가까이 영역을 터치함으로써, 아이콘을 선택하면, 본 기술은 (이미 설치되어 있는 경우) 나타낸 어플리케이션을 시작할 수 있거나, 나타낸 어플리케이션을 설치할 수 있다. 일부 실시예에서, 본 기술은 설치되는 어플리케이션을 자동적으로 개시할 수 있다.
도 3은 다양한 실시예에서 개시된 기술에 의해 사용된 컴포넌트를 예시하는 블록도이다. 컴포넌트(300)는 디지털화기(digitizer)(302), 인식기(304), 어플리케이션 속성(306) 및 식별기(308)를 포함할 수 있다. 다양한 실시예에서, 추가적인 컴포넌트(도시되지 않음) 또는 예시된 컴포넌트(300)의 서브세트가 청구된 기술의 범위로부터 벗어나지 않으면서 사용될 수 있다. 디지털화기 컴포넌트(302)는 장면, 예컨대, 이미지 캡처 장치(도시되지 않음)를 통하여 수신된 장면을 디지털화할 수 있다. 인식기 컴포넌트(304)는 디지털화된 장면에서 오브젝트를 인식할 수 있다. 다양한 실시예에서, 인식기 컴포넌트는 디지털화된 장면에서 오브젝트를 인식하도록 다양한 인식 기법을 이용할 수 있다. 인식기 컴포넌트(308)는, 예컨대, 저장된 어플리케이션 속성(306)을 이용하여, 인식된 오브젝트와 연관될 설치된 어플리케이션을 식별할 수 있다. 속성은, 예컨대, 어플리케이션이 연관되는 오브젝트에 대한 정보, 시각, 위치, 등을 나타낼 수 있다. 식별기 컴포넌트(308)는 또한, 예컨대, 현재 설치되지는 않았지만 인식된 오브젝트와 연관될 수 있는 어플리케이션을 식별하도록 서버 컴퓨팅 장치(도시되지 않음)를 사용할 수 있다.
도 4는 다양한 실시예에서 개시된 기술에 의해 적용된 루틴(400)을 예시하는 흐름도이다. 루틴(400)은 블록(402)에서 시작한다. 루틴(400)은 장면의 디지털화된 영상을 수신하는 블록(404)에서 계속된다. 루틴(400)은 이후, 디지털화된 장면에서 오브젝트를 검출하는 블록(406)에서 계속된다. 루틴(400)은 오브젝트를 인식하도록 다양한 이미지 인식 기법을 사용할 수 있다. 루틴(400)은 이후, 예컨대, 루틴이 수행하는 모바일 컴퓨팅 장치 상에 로컬로 설치되지 않은 어플리케이션을 식별하는 블록(408)에서 계속된다. 루틴(400)은 이후, 어플리케이션에 대한 아이콘을 인식된 오브젝트 가까이에 배치하는 블록(410)에서 계속된다. 예컨대, 루틴(400)이 디지털화된 장면에서 커피숍을 인식하고 사용자의 모바일 장치가 인식된 커피숍에 대응하는 어플리케이션을 설치하지 않은 경우, 루틴(400)은, 선택될 경우, 어플리케이션이 설치되도록 하는, 인식된 커피숍에 대응하는 어플리케이션에 대한 아이콘을 배치할 수 있다. 루틴(400)은 이후 블록(412)에서 복귀한다.
도 5는 다양한 실시예에서 개시된 기술에 의해 적용된 루틴(500)을 예시하는 흐름도이다. 루틴(500)은 블록(502)에서 시작한다. 루틴은 이후, 장면에서 오브젝트를 검출하는 블록(504)에서 계속된다. 루틴(500)은 이후, 인식된 오브젝트로부터 제1 오브젝트를 선택하는 블록(506)에서 계속된다. 루틴(500)은 이후 선택된 오브젝트가 상호 작용될 수 있는지 여부를 결정하는 결정 블록(508)에서 계속된다. 루틴(500)은, 예컨대, 데이터 베이스(예컨대, 루틴(500)을 적용하는 컴퓨팅 장치에 저장된 로컬 데이터베이스 또는 서버 컴퓨팅 장치에 저장된 원격 데이터베이스)를 쿼리(query)함으로써, 이러한 결정을 할 수 있다. 선택된 오브젝트가 상호 작용될 수 있는 경우, 루틴(500)은 블록(510)에서 계속된다. 아니면, 루틴(500)은 블록(514)에서 계속된다. 블록(510)에서, 루틴(500)은 선택된 오브젝트와 상호 작용하기 위한 명세를 획득한다. 다양한 실시예에서, 루틴(500)은 로컬로 저장된 데이터베이스로부터, 오브젝트로부터 직접적으로 (예컨대, 무선으로), 또는 원격 컴퓨팅 장치로부터 명세를 획득할 수 있다. 루틴(500)은 이후, 사용자가 선택된 오브젝트와 상호 작용할 수 있도록 사용자 인터페이스를 사용자에게 제공할 수 있다. 예컨대, 인식된 오브젝트가 텔레비전 또는 다른 시청각 장치인 경우, 루틴(500)은 사용자가 시청각 장치를 제어할 수 있게 하는 사용자 인터페이스를 제공할 수 있다. 수신된 명세는 사용자 인터페이스의 양상을 제공하기 위한 명령어를 포함할 수 있다. 루틴(500)은 이후, 블록(504)에 관하여 위에서 검출된 오브젝트의 세트로부터 다음 오브젝트를 선택하는 블록(514)에서 계속된다. 루틴(500)은 이후 다음 오브젝트가 선택되었는지 여부를 결정하는 결정 블록(516)에서 계속된다. 선택될 오브젝트가 더 이상 없는 경우, 루틴(500)은 블록(518)에서 복귀한다. 아니면, 루틴(500)은 선택된 오브젝트를 분석하도록 결정 블록(508)에서 계속된다.
도 6a 및 도 6b는 다양한 실시예에서 개시된 기술의 이용을 예시하는 환경도이다. 도 6a는 장면(600) 및 컴퓨팅 장치(606)에 디스플레이된 장면(600)의 디지털화된 버전을 포함한다. 장면(600)은 텔레비전(602) 및 다른 오브젝트(604)를 포함한다. 모바일 컴퓨팅 장치(606)에서 디스플레이된 장면(600)의 디지털화된 버전은 텔레비전의 디지털화된 표현(608) 및 다른 오브젝트의 디지털화된 표현(610)을 포함한다. 모바일 컴퓨팅 장치(606)는 또한 텔레비전의 디지털화된 표현(608)과 연관된 아이콘(612)을 디스플레이한다. 예컨대, 본 기술은 텔레비전(602)을 인식했고, 텔레비전(602)에 대응하는 어플리케이션을 식별했고, 아이콘(612)에 의해 나타내었을 수 있다. 사용자가 아이콘(612)을 선택하면, 본 기술은 대응하는 어플리케이션을 개시 (또는 대응하는 어플리케이션을 설치)할 수 있다. 다양한 실시예에서, 본 기술은, 예컨대, 텔레비전(602)과 연관된 명세를 수신하기 위한 네트워크 컴퓨팅 장치(도시되지 않음) 또는 텔레비전(602)과 통신하도록 모바일 컴퓨팅 장치(606)와 연관된 안테나(614)를 사용할 수 있다. 다양한 실시예에서, 모바일 컴퓨팅 장치(606)는 적외선, 무선 주파수, Wi-Fi, 등과 통신할 수 있다. 도 6b는, 예컨대, 사용자가 아이콘(612)을 선택함으로써 어플리케이션을 개시하는 경우, 모바일 컴퓨팅 장치(606)에 의해 디스플레이된 사용자 인터페이스(620)를 예시한다.
도 7은 다양한 실시예에서 개시된 기술에 의해 적용된 루틴(700)을 예시하는 흐름도이다. 루틴(700)은 블록(702)에서 시작한다. 루틴(700)은 이후 신호를 수신하는 블록(704)에서 계속될 수 있다. 다양한 실시예에서, 루틴(700)은 사용자가 루틴(700)이 수행하는 장치에 명령하도록 동작하고 있는 모바일 컴퓨팅 장치로부터 신호를 수신할 수 있다. 루틴(700)은 이후 작업이 장치를 제어하도록 동작 가능한 방법을 제공하는 블록(706)에서 계속된다. 예컨대, 루틴(700)은 장치를 제어하기 위한 명세를 제공할 수 있다. 명세는 사용자 인터페이스, 이용가능 명령, 주파수, 등의 표시를 포함할 수 있다. 루틴(700)은 이후 명령을 수신하는 블록(708)에서 계속된다. 다양한 실시예에서, 루틴은 루틴(700)이 명세를 제공한 모바일 컴퓨팅 장치로부터 명령을 수신할 수 있다. 루틴은 이후 수신된 명령에 따라 장치를 제어하는 블록(710)에서 계속된다. 루틴은 이후 블록(712)에서 복귀한다.
도 8은 본 개시의 적어도 일부 실시예에 따라 배열되는 예시적인 컴퓨팅 장치(800)를 예시하는 블록도이다. 매우 기본적인 구성(802)에서, 컴퓨팅 장치(800)는 보통 하나 이상의 프로세서(804) 및 시스템 메모리(806)를 포함한다. 메모리 버스(808)는 프로세서(804) 및 시스템 메모리(806) 사이에서 통신하기 위해 이용될 수 있다.
요구되는 구성에 따라, 프로세서(804)는 마이크로프로세서(μP), 마이크로컨트롤러(μC), 디지털 신호 프로세서(DSP) 또는 그 임의의 조합을 포함하는 임의의 유형일 수 있지만, 이에 한정되는 것은 아니다. 프로세서(810)는 레벨 1 캐시(810) 및 레벨 2 캐시(812)와 같은 하나 이상의 레벨의 캐싱, 프로세서 코어(814) 및 레지스터(816)를 포함할 수 있다. 예시적인 프로세서 코어(814)는 ALU(arithmetic logic unit), FPU(floating point unit), DSP 코어(digital signal processing core), 또는 그 임의의 조합을 포함할 수 있다. 예시적인 메모리 컨트롤러(818)는 또한 프로세서(804)와 사용될 수 있거나, 또는 일부 구현예에서, 메모리 컨트롤러(818)는 프로세서(804)의 내부 부품일 수 있다.
요구되는 구성에 따라, 시스템 메모리(806)는 (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리, 또는 그 임의의 조합을 포함할 수 있지만, 이에 한정되지 않는 임의의 유형일 수 있다. 시스템 메모리(806)는 운영 체제(820), 하나 이상의 어플리케이션(822) 및 프로그램 데이터(824)를 포함할 수 있다. 어플리케이션(822)은 인식된 오브젝트에 대응하는 어플리케이션을 식별하도록 배열되는 어플리케이션 식별기 컴포넌트(826)를 포함할 수 있다. 프로그램 데이터(824)는, 여기에서 설명되는 바와 같이, 어플리케이션 속성 정보(828)를 포함할 수 있다. 일부 실시예에서, 어플리케이션(822)은 어플리케이션이 식별될 수 있도록 운영 체제(820) 상에서 프로그램 데이터(824)로 동작하도록 배열될 수 있다. 이러한 기술된 기본 구성(802)은 파선 내의 컴포넌트에 의해 도 8에 도시된다.
컴퓨팅 장치(800)는 추가적인 특징 또는 기능, 및 기본 구성(802)과 임의의 요구되는 장치와 인터페이스 간 통신을 용이하게 하기 위한 추가적인 인터페이스를 가질 수 있다. 예를 들면, 버스/인터페이스 컨트롤러(830)는 저장 인터페이스 버스(834)를 통한 기본 구성(802)과 하나 이상의 데이터 저장 장치(832) 간의 통신을 용이하게 하는데 사용될 수 있다. 데이터 저장 장치(832)는 분리형 저장 장치(836), 비분리형 저장 장치(838), 또는 그들의 조합일 수 있다. 분리형 저장 장치 및 비분리형 저장 장치의 예로는, 몇 가지 말하자면, 플렉서블 디스크 드라이브 및 하드 디스크 드라이브(HDD)와 같은 자기 디스크 장치, 컴팩트 디스크(CD) 드라이브 또는 디지털 다기능 디스크(DVD) 드라이브와 같은 광 디스크 드라이브, 고체 상태 드라이브(solid state drive; SSD), 및 테이프 드라이브가 포함된다. 예시적인 컴퓨터 저장 매체는, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성의, 분리형 및 비분리형 매체를 포함할 수 있다.
시스템 메모리(806), 분리형 저장 장치(836) 및 비분리형 저장 장치(838)는 모두 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 장치(800)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되는 것은 아니다. 그러한 임의의 컴퓨터 저장 매체는 컴퓨팅 장치(800)의 일부일 수 있다.
컴퓨팅 장치(800)는 버스/인터페이스 컨트롤러(830)를 통한 다양한 인터페이스 장치(예를 들면, 출력 장치(8442), 주변 인터페이스(844) 및 통신 장치(846))로부터 기본 구성(802)으로의 통신을 용이하게 하기 위한 인터페이스 버스(840)도 포함할 수 있다. 예시적인 출력 장치(842)는 그래픽 처리 유닛(848) 및 오디오 처리 유닛(850)을 포함하며, 이는 하나 이상의 A/V 포트(852)를 통해 디스플레이 또는 스피커와 같은 다양한 외부 장치로 통신하도록 구성될 수 있다. 예시적인 주변 인터페이스(844)는 직렬 인터페이스 컨트롤러(854) 또는 병렬 인터페이스 컨트롤러(856)를 포함하며, 이는 하나 이상의 I/O 포트(858)를 통해 입력 장치(예를 들면, 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등) 또는 다른 주변 장치(예를 들면, 프린터, 스캐너 등)와 같은 외부 장치와 통신하도록 구성될 수 있다. 예시적인 통신 장치(846)는 네트워크 컨트롤러(860)를 포함하며, 이는 하나 이상의 통신 포트(864)를 통해 네트워크 통신 상에서의 하나 이상의 다른 컴퓨팅 장치(864)와의 통신을 용이하게 하도록 배치될 수 있다.
컴퓨팅 장치(800)는, 휴대 전화, PDA(personal data assistant), 개인용 미디어 플레이어 장치, 무선 웹-워치(web-watch) 장치, 개인용 헤드셋 장치, 특수 용도 장치, 또는 위 기능 중 임의의 것을 포함하는 하이브리드 장치 같은 소형 폼 팩터(small-form factor)의 휴대용(또는 모바일) 전자 장치의 일부로서 구현될 수 있다. 컴퓨팅 장치(800)는 또한 랩톱 컴퓨터 및 랩톱이 아닌 컴퓨터 구성을 모두 포함하는 개인용 컴퓨터로서 구현될 수 있다.
구조적인 특징 및/또는 방법론적인 작용에 특정한 언어로 대상이 기술되었으나, 첨부된 청구항에서 정의된 대상은 전술된 특정 특징 또는 작용에 반드시 제한되는 것은 아님이 이해될 것이다. 오히려 전술된 특정 특징 및 작용은 청구항을 구현하는 것의 예시적인 형태로서 개시된다. 따라서 발명은 첨부된 청구항에 의한 것 외에는 제한되지 않는다.

Claims (25)

  1. 프로세서에 의해 수행되는 방법으로서,
    장면(scene) 내 복수의 오브젝트(object) 중 적어도 하나의 오브젝트를 검출하는 단계;
    상기 검출된 적어도 하나의 오브젝트에 기초하여, 모바일 컴퓨팅 장치에서 설치될 수 있는 하나 이상의 어플리케이션을 식별하는 단계; 및
    상기 식별된 하나 이상의 어플리케이션을 나타내는 하나 이상의 아이콘을 상기 장면의 디스플레이에서 상기 검출된 적어도 하나의 오브젝트에 근접하여 배치하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 오브젝트를 검출하는 단계는 디지털 카메라를 사용하는 단계를 포함하는 것인, 방법.
  3. 제1항에 있어서,
    상기 장면은 출력 장치 상에 디스플레이되는 것인, 방법.
  4. 제1항에 있어서,
    맥락 정보(contextual information)를 수신하는 단계
    를 더 포함하고,
    상기 하나 이상의 어플리케이션을 식별하는 단계는 상기 수신된 맥락 정보에 더 기초하여 상기 하나 이상의 어플리케이션을 식별하는 단계를 포함하는 것인, 방법.
  5. 제4항에 있어서,
    상기 맥락 정보를 수신하는 단계는 사용자로부터의 입력을 통하여 상기 맥락 정보를 수신하는 단계를 포함하는 것인, 방법.
  6. 제4항에 있어서,
    상기 수신된 맥락 정보는 위치 정보에 기초하는 것인, 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 오브젝트를 검출하는 단계는 하나 이상의 이미지 인식 방법을 사용하는 단계를 포함하는 것인, 방법.
  8. 제1항에 있어서,
    상기 하나 이상의 어플리케이션을 식별하는 단계는 상기 검출된 적어도 하나의 오브젝트와 연관된 속성에 대하여, 복수의 어플리케이션과 연관된 속성의 목록을 검색하는 단계를 포함하는 것인, 방법.
  9. 제1항에 있어서,
    상기 하나 이상의 아이콘 중 특정 아이콘에 대한 사용자의 선택을 수신하는 단계; 및
    상기 사용자가 선택한 특정 아이콘과 연관된 어플리케이션을 상기 모바일 컴퓨팅 장치에 설치하는 단계
    를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 식별된 하나 이상의 어플리케이션 중의 어플리케이션을 상기 검출된 적어도 하나의 오브젝트로부터 분리(disassociate)시키기 위한 입력을 수신하는 단계
    를 더 포함하는 방법.
  11. 제1항에 있어서,
    상기 하나 이상의 아이콘을 상기 장면의 상기 디스플레이에서 상기 검출된 적어도 하나의 오브젝트에 근접하여 배치하는 단계 이전에, 상기 검출된 적어도 하나의 오브젝트에 기초하여 상기 하나 이상의 아이콘을 조정하는 단계
    를 더 포함하는 방법.
  12. 프로세서에 의한 실행에 응답하여, 상기 프로세서로 하여금,
    장면(scene) 내 복수의 오브젝트(object) 중 적어도 하나의 오브젝트를 검출하기 위한 동작;
    상기 검출된 적어도 하나의 오브젝트에 기초하여, 모바일 컴퓨팅 장치에서 설치될 수 있는 하나 이상의 어플리케이션을 식별하기 위한 동작; 및
    상기 식별된 하나 이상의 어플리케이션을 나타내는 하나 이상의 아이콘을 상기 장면의 디스플레이에서 상기 검출된 적어도 하나의 오브젝트에 근접하여 배치하기 위한 동작
    의 수행을 수행 또는 제어하도록 하는 명령어를 저장하는, 컴퓨터 판독가능 저장 장치.
  13. 제12항에 있어서,
    상기 적어도 하나의 오브젝트를 검출하기 위한 동작은 디지털 카메라를 사용하기 위한 동작을 포함하는 것인, 컴퓨터 판독가능 저장 장치.
  14. 제12항에 있어서,
    상기 장면은 출력 장치 상에 디스플레이되는 것인, 컴퓨터 판독가능 저장 장치.
  15. 제12항에 있어서,
    상기 저장된 명령어는, 컴퓨터에 의한 실행에 응답하여, 상기 컴퓨터로 하여금 맥락 정보(contextual information)를 획득하기 위한 적어도 하나의 동작의 수행을 수행 또는 제어하도록 하고,
    상기 하나 이상의 어플리케이션의 식별은 상기 획득된 맥락 정보에 더 기초한 상기 하나 이상의 어플리케이션의 식별을 포함하는 것인, 컴퓨터 판독가능 저장 장치.
  16. 제15항에 있어서,
    상기 맥락 정보는 사용자로부터의 입력을 통하여 수신되는 것인, 컴퓨터 판독가능 저장 장치.
  17. 제15항에 있어서,
    상기 맥락 정보는 위치 정보에 기초하는 것인, 컴퓨터 판독가능 저장 장치.
  18. 장면(scene) 내 복수의 오브젝트(object) 중 적어도 하나의 오브젝트를 검출하도록 구성된 제1 컴포넌트;
    상기 제1 컴포넌트에 동작적으로 결합되고, 상기 검출된 적어도 하나의 오브젝트에 기초하여, 모바일 컴퓨팅 장치에서 설치될 수 있는 하나 이상의 어플리케이션을 식별하도록 구성된 제2 컴포넌트; 및
    상기 제2 컴포넌트에 동작적으로 결합되고, 상기 식별된 하나 이상의 어플리케이션을 나타내는 하나 이상의 아이콘을 상기 장면의 디스플레이에서 상기 검출된 적어도 하나의 오브젝트에 근접하여 배치하도록 구성된 제3 컴포넌트
    를 포함하는 시스템.
  19. 제18항에 있어서,
    상기 제1 컴포넌트는 디지털 카메라의 사용에 의해 상기 적어도 하나의 오브젝트를 검출하도록 구성되는 것인, 시스템.
  20. 제18항에 있어서,
    상기 장면은 출력 장치 상에 디스플레이되는 것인, 시스템.
  21. 제18항에 있어서,
    상기 제2 컴포넌트에 동작적으로 결합되는 다른 컴포넌트
    를 더 포함하고,
    상기 다른 컴포넌트는 맥락 정보(contextual information)를 수신하도록 구성되고, 상기 제2 컴포넌트는 상기 다른 컴포넌트에 의해 수신된 상기 맥락 정보에 더 기초하여 상기 하나 이상의 어플리케이션을 식별하도록 구성되는 것인, 시스템.
  22. 제18항에 있어서,
    상기 제1 컴포넌트는 하나 이상의 이미지 인식 방법의 사용에 의해 상기 적어도 하나의 오브젝트를 검출하도록 구성되는 것인, 시스템.
  23. 제18항에 있어서,
    상기 제2 컴포넌트는 상기 검출된 적어도 하나의 오브젝트와 연관된 속성에 대하여, 복수의 어플리케이션과 연관된 속성의 목록의 검색에 의해 상기 하나 이상의 어플리케이션을 식별하도록 구성되는 것인, 시스템.
  24. 제18항에 있어서,
    상기 검출된 적어도 하나의 오브젝트에 근접한 상기 하나 이상의 아이콘의 배치는 상기 하나 이상의 아이콘이 상기 검출된 적어도 하나의 오브젝트에 근접하여 스택(stack)되는 것을 포함하는 시스템.
  25. 제18항에 있어서,
    상기 제2 컴포넌트는 상기 하나 이상의 어플리케이션을 식별하도록 상기 하나 이상의 어플리케이션에 의해 제공되는 특징(feature)을 이용하도록 구성되는 것인, 시스템.
KR1020187008632A 2012-08-24 2012-08-24 가상 현실 어플리케이션 KR20180035243A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/052320 WO2014031126A1 (en) 2012-08-24 2012-08-24 Virtual reality applications

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157007310A Division KR101844395B1 (ko) 2012-08-24 2012-08-24 가상 현실 어플리케이션

Publications (1)

Publication Number Publication Date
KR20180035243A true KR20180035243A (ko) 2018-04-05

Family

ID=50149152

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157007310A KR101844395B1 (ko) 2012-08-24 2012-08-24 가상 현실 어플리케이션
KR1020187008632A KR20180035243A (ko) 2012-08-24 2012-08-24 가상 현실 어플리케이션

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157007310A KR101844395B1 (ko) 2012-08-24 2012-08-24 가상 현실 어플리케이션

Country Status (4)

Country Link
US (2) US9690457B2 (ko)
JP (1) JP6289468B2 (ko)
KR (2) KR101844395B1 (ko)
WO (1) WO2014031126A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924102B2 (en) * 2013-03-14 2018-03-20 Qualcomm Incorporated Image-based application launcher
JP6297540B2 (ja) * 2013-04-22 2018-03-20 富士通株式会社 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法
KR102178892B1 (ko) * 2014-09-15 2020-11-13 삼성전자주식회사 정보 제공 방법 및 그 전자 장치
US10181219B1 (en) 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
KR102063895B1 (ko) * 2015-04-20 2020-01-08 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US20170242675A1 (en) * 2016-01-15 2017-08-24 Rakesh Deshmukh System and method for recommendation and smart installation of applications on a computing device
WO2018118657A1 (en) 2016-12-21 2018-06-28 Pcms Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
US10909371B2 (en) * 2017-01-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for contextual driven intelligence
CN110249304B (zh) 2017-01-19 2023-05-23 三星电子株式会社 电子设备的视觉智能管理
EP3583579A1 (en) * 2017-02-20 2019-12-25 PCMS Holdings, Inc. Dynamically presenting augmented reality information for reducing peak cognitive demand
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
KR101932008B1 (ko) * 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법
US11200402B2 (en) 2018-01-26 2021-12-14 GICSOFT, Inc. Application execution based on object recognition
US11157130B2 (en) * 2018-02-26 2021-10-26 Adobe Inc. Cursor-based resizing for copied image portions
US10878037B2 (en) 2018-06-21 2020-12-29 Google Llc Digital supplement association and retrieval for visual search
US10579230B2 (en) 2018-06-21 2020-03-03 Google Llc Digital supplement association and retrieval for visual search
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
EP3892069B1 (en) 2018-12-03 2023-06-07 Signify Holding B.V. Determining a control mechanism based on a surrounding of a remote controllable device
US20220057636A1 (en) * 2019-01-24 2022-02-24 Maxell, Ltd. Display terminal, application control system and application control method
CN109814800A (zh) * 2019-01-25 2019-05-28 努比亚技术有限公司 角标清除方法、移动终端及计算机可读存储介质
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US11089109B1 (en) * 2019-11-20 2021-08-10 Sprint Communications Company L.P. Smart device management via a mobile communication device based on privacy preferences
US20230177188A1 (en) * 2021-12-06 2023-06-08 Sap Se Transitioning from an integrated end-of-purpose protocol to an aligned purpose disassociation protocol

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012090077A (ja) * 2010-10-20 2012-05-10 Konica Minolta Business Technologies Inc 携帯端末及び処理装置の操作方法

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1215601A (en) 1915-12-16 1917-02-13 Cora Belle Williams Corset.
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US5874966A (en) 1995-10-30 1999-02-23 International Business Machines Corporation Customizable graphical user interface that automatically identifies major objects in a user-selected digitized color image and permits data to be associated with the major objects
US5835094A (en) 1996-12-31 1998-11-10 Compaq Computer Corporation Three-dimensional computer environment
US6252597B1 (en) 1997-02-14 2001-06-26 Netscape Communications Corporation Scalable user interface for graphically representing hierarchical data
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US8341553B2 (en) * 2000-02-17 2012-12-25 George William Reed Selection interface systems and methods
US7076503B2 (en) 2001-03-09 2006-07-11 Microsoft Corporation Managing media objects in a database
JP3871904B2 (ja) 2001-06-07 2007-01-24 日立ソフトウエアエンジニアリング株式会社 樹状図表示方法
US7653212B2 (en) 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
WO2004003705A2 (en) * 2002-06-27 2004-01-08 Small World Productions, Inc. System and method for locating and notifying a user of a person, place or thing having attributes matching the user's stated prefernces
US20050039133A1 (en) * 2003-08-11 2005-02-17 Trevor Wells Controlling a presentation of digital content
US7313574B2 (en) 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US20050289158A1 (en) * 2004-06-25 2005-12-29 Jochen Weiss Identifier attributes for product data stored in an electronic database
US20060047704A1 (en) 2004-08-31 2006-03-02 Kumar Chitra Gopalakrishnan Method and system for providing information services relevant to visual imagery
US8370769B2 (en) * 2005-06-10 2013-02-05 T-Mobile Usa, Inc. Variable path management of user contacts
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US20070050468A1 (en) 2005-08-09 2007-03-01 Comverse, Ltd. Reality context menu (RCM)
US7836065B2 (en) * 2005-11-01 2010-11-16 Sap Ag Searching multiple repositories in a digital information system
US7725077B2 (en) 2006-03-24 2010-05-25 The Invention Science Fund 1, Llc Wireless device with an aggregate user interface for controlling other devices
US7913192B2 (en) * 2006-03-31 2011-03-22 Research In Motion Limited Methods and apparatus for retrieving and displaying map-related data for visually displayed maps of mobile communication devices
US7752207B2 (en) * 2007-05-01 2010-07-06 Oracle International Corporation Crawlable applications
US8290513B2 (en) * 2007-06-28 2012-10-16 Apple Inc. Location-based services
US8281240B2 (en) 2007-08-23 2012-10-02 International Business Machines Corporation Avatar aggregation in a virtual universe
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8762285B2 (en) 2008-01-06 2014-06-24 Yahoo! Inc. System and method for message clustering
US9503562B2 (en) * 2008-03-19 2016-11-22 Universal Electronics Inc. System and method for appliance control via a personal communication or entertainment device
US20090262084A1 (en) * 2008-04-18 2009-10-22 Shuttle Inc. Display control system providing synchronous video information
US9311115B2 (en) * 2008-05-13 2016-04-12 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US9870130B2 (en) * 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US8711176B2 (en) * 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8260320B2 (en) 2008-11-13 2012-09-04 Apple Inc. Location specific content
US9342231B2 (en) * 2008-12-29 2016-05-17 Apple Inc. Remote control of a presentation
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US20130124311A1 (en) * 2009-03-23 2013-05-16 Sujai Sivanandan System and Method for Dynamic Integration of Advertisements in a Virtual Environment
US8818930B2 (en) * 2009-05-18 2014-08-26 Takatoshi Yanase Knowledge base system, logic operation method, program, and recording medium
US9430570B2 (en) 2009-07-01 2016-08-30 Matthew Jeremy Kapp Systems and methods for determining information and knowledge relevancy, relevant knowledge discovery and interactions, and knowledge creation
KR101595762B1 (ko) * 2009-11-10 2016-02-22 삼성전자주식회사 휴대 단말기의 원격 제어 방법 및 이를 위한 시스템
US8850342B2 (en) 2009-12-02 2014-09-30 International Business Machines Corporation Splitting avatars in a virtual world
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
US20110161875A1 (en) 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US8725706B2 (en) * 2010-03-26 2014-05-13 Nokia Corporation Method and apparatus for multi-item searching
US8990702B2 (en) * 2010-09-30 2015-03-24 Yahoo! Inc. System and method for controlling a networked display
US9021354B2 (en) * 2010-04-09 2015-04-28 Apple Inc. Context sensitive remote device
US9361729B2 (en) 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
US20110316845A1 (en) 2010-06-25 2011-12-29 Palo Alto Research Center Incorporated Spatial association between virtual and augmented reality
US9936333B2 (en) * 2010-08-10 2018-04-03 Microsoft Technology Licensing, Llc Location and contextual-based mobile application promotion and delivery
KR101329882B1 (ko) 2010-08-12 2013-11-15 주식회사 팬택 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
US20120075433A1 (en) 2010-09-07 2012-03-29 Qualcomm Incorporated Efficient information presentation for augmented reality
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US20120212405A1 (en) * 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
KR101357260B1 (ko) 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US8952983B2 (en) 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8913085B2 (en) 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
US20120173979A1 (en) * 2010-12-31 2012-07-05 Openpeak Inc. Remote control system and method with enhanced user interface
US20120182205A1 (en) * 2011-01-18 2012-07-19 Schlumberger Technology Corporation Context driven heads-up display for efficient window interaction
US8929591B2 (en) * 2011-03-08 2015-01-06 Bank Of America Corporation Providing information associated with an identified representation of an object
KR101829063B1 (ko) 2011-04-29 2018-02-14 삼성전자주식회사 지도서비스에서 마커 표시방법
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
TWI452527B (zh) * 2011-07-06 2014-09-11 Univ Nat Chiao Tung 基於擴增實境與雲端計算之應用程式執行方法與系統
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
KR101343609B1 (ko) * 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
JP5987299B2 (ja) * 2011-11-16 2016-09-07 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US20130155108A1 (en) * 2011-12-15 2013-06-20 Mitchell Williams Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
US20130201215A1 (en) * 2012-02-03 2013-08-08 John A. MARTELLARO Accessing applications in a mobile augmented reality environment
US9607436B2 (en) 2012-08-27 2017-03-28 Empire Technology Development Llc Generating augmented reality exemplars
US10001918B2 (en) * 2012-11-21 2018-06-19 Algotec Systems Ltd. Method and system for providing a specialized computer input device
US10025486B2 (en) * 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012090077A (ja) * 2010-10-20 2012-05-10 Konica Minolta Business Technologies Inc 携帯端末及び処理装置の操作方法

Also Published As

Publication number Publication date
US9690457B2 (en) 2017-06-27
JP6289468B2 (ja) 2018-03-07
US20140059458A1 (en) 2014-02-27
JP2015531135A (ja) 2015-10-29
KR101844395B1 (ko) 2018-04-02
US20170308272A1 (en) 2017-10-26
KR20150046258A (ko) 2015-04-29
WO2014031126A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
KR101844395B1 (ko) 가상 현실 어플리케이션
KR102074516B1 (ko) 폴더블 디바이스 및 그 제어 방법
KR101753031B1 (ko) 이동 단말기 및 이것의 메타데이터 설정 방법
CN107430482B (zh) 用于显示的显示设备和方法
JP6487149B2 (ja) 携帯端末機のアプリ提供方法、そのための電子装置及びそれを実行するためのプログラムを記録したコンピュータ読み取り可能な記憶媒体
US9852491B2 (en) Objects in screen images
US9904906B2 (en) Mobile terminal and data provision method thereof
US9207902B2 (en) Method and apparatus for implementing multi-vision system by using multiple portable terminals
EP2753065B1 (en) Method and apparatus for laying out image using image recognition
EP2654019B1 (en) Method for displaying augmented reality image and electronic device thereof
US20160266742A1 (en) Electronic device and method for operating notification bar thereof
US9430806B2 (en) Electronic device and method of operating the same
US20130335450A1 (en) Apparatus and method for changing images in electronic device
US20120133650A1 (en) Method and apparatus for providing dictionary function in portable terminal
CN110865756B (zh) 图像标注方法、装置、设备及存储介质
JP2013206274A (ja) 携帯型電子機器および表示制御方法
CN110991491A (zh) 图像标注方法、装置、设备及存储介质
US20150067398A1 (en) Method, apparatus, and recording medium for interworking with external terminal
KR20160118000A (ko) 위젯 제공 시스템 및 방법
US20140221047A1 (en) Method and apparatus for providing short-cut number in user device
US10162898B2 (en) Method and apparatus for searching
JP6356869B2 (ja) バーチャルリアリティアプリケーション
US9900731B2 (en) Method of providing location based service and electronic device thereof
KR102092023B1 (ko) 라디오 기능을 구비한 전자 장치 및 그 운영 방법
US10395132B2 (en) Electronic device for extracting distance of object and displaying information and method thereof

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment