KR20150071594A - Augmented reality overlay for control devices - Google Patents

Augmented reality overlay for control devices Download PDF

Info

Publication number
KR20150071594A
KR20150071594A KR1020130158799A KR20130158799A KR20150071594A KR 20150071594 A KR20150071594 A KR 20150071594A KR 1020130158799 A KR1020130158799 A KR 1020130158799A KR 20130158799 A KR20130158799 A KR 20130158799A KR 20150071594 A KR20150071594 A KR 20150071594A
Authority
KR
South Korea
Prior art keywords
transmissive display
image
control device
information
display device
Prior art date
Application number
KR1020130158799A
Other languages
Korean (ko)
Other versions
KR102104136B1 (en
Inventor
아론 크라우스
스티븐 라타
마이크 스카브제
다니엘 맥컬로치
브라이언 마운트
케빈 게이스너
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Priority to KR1020130158799A priority Critical patent/KR102104136B1/en
Publication of KR20150071594A publication Critical patent/KR20150071594A/en
Application granted granted Critical
Publication of KR102104136B1 publication Critical patent/KR102104136B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

An embodiment of the present invention discloses a method for providing educational information for a control device. According to the embodiment of the present invention, the method, which is used in a transmissive display device including a transmissive display unit and an outward image sensor, includes the steps of: obtaining an image of a scene seen through the transmissive display unit; and detecting a control device in the scene. The method also includes the steps of: searching for the information relevant to the functions of a bidirectional element of the control device; and displaying the image on the transmissive display unit to enhance the appearance of the bidirectional element of the control device as the image data relevant to the functions of the bidirectional element.

Description

제어 장치를 위한 증강 현실 오버레이{AUGMENTED REALITY OVERLAY FOR CONTROL DEVICES}[0001] AUGMENTED REALITY OVERLAY FOR CONTROL DEVICES FOR CONTROL DEVICES [0002]

제어 장치 사용 시, 사용자가 버튼과 같이 상호 작용을 하는 제어 장치의 요소들의 기능을 잘 모를 수 있다. 이러한 입력 기능에 대한 정보는 시행착오를 통하여, 웹 검색을 통하여, 스크린상의 매뉴얼을 통하여 또는 출력된 매뉴얼을 통하여 얻을 수 있다. 그러나, 이러한 방법들이 여의치 않는 경우가 있다. 예컨대, 어떤 제어 장치에 있어서는 온라인의 정보 또는 사용자 매뉴얼을 찾을 수 없거나, 이용할 수 없다. 나아가, 시행착오를 거치는 경우 제어 장치에서 제어 대상 장치로 원치 않는 명령이 전달될 수도 있다.
When using the control device, the user may not be aware of the functions of the elements of the control device interacting with the button. Information about these input functions can be obtained through trial and error, through web search, through manuals on the screen, or through output manuals. However, there are cases where such methods are not feasible. For example, on some control devices, online information or user manuals can not be found or used. Furthermore, in the case of trial and error, an undesired command may be transmitted from the control device to the control target device.

본원에 개시된 실시예는 투과형(see-through) 디스플레이 장치상의 제어 장치를 위한 교육용 정보 제공과 관련된 것이다. 예컨대, 일 실시예는 투과형 디스플레이를 통하여 보이는 장면의 이미지를 획득하는 단계, 상기 장면에서 제어 장치를 감지하는 단계, 상기 제어 장치의 쌍방향 요소의 기능과 관련된 정보를 검색하는 단계 및 상기 제어 장치의 쌍방향 요소의 외관(appearance)을 증강한 투과형 디스플레이 상에 상기 쌍방향 요소의 기능과 관련된 이미지 데이터와 함께 이미지를 디스플레이한다.The embodiments disclosed herein relate to providing educational information for a control device on a see-through display device. For example, one embodiment includes obtaining an image of a scene viewed through a transmissive display, sensing a control device in the scene, retrieving information related to the function of the bi-directional element of the control device, Displays an image on the transmissive display that enhances the appearance of the element with image data associated with the function of the bi-directional element.

이 요약은 아래 기재된 발명의 상세한 설명을 단순화한 형식으로 본원의 개념 선택을 소개하는 것이다. 이 요약은 청구 대상의 주요 특징 또는 핵심 특징을 나타내고자 하는 것이 아니며, 청구 대상 발명의 범위를 한정하고자 하는 것도 아니다. 나아가, 청구 대상 발명은 이 명세서에 언급된 일부 또는 모든 난점을 해결하는 구현으로 한정되지 않는다.
This summary is an introduction to our concept selection in a simplified form of the detailed description of the invention described below. This summary is not intended to represent key features or key features of the claimed subject matter and is not intended to limit the scope of the claimed subject matter. Further, the claimed subject matter is not limited to implementations that solve some or all of the difficulties mentioned in this specification.

도 1은 제어 장치의 일 실시예를 포함하는 예시적인 물리적 공간을 개략적으로 나타낸다.
도 2는 본 발명의 일 실시예에 따른 투과형 디스플레이 장치의 예시적인 실시예를 나타낸다.
도 3은 도 2의 실시예의 블록 다이어그램을 나타낸다.
도 4a는 제어 장치의 다른 실시예를 나타낸다.
도 4b는 본 발명의 일 실시예에 따른 도 4a의 제어 장치의 예시적인 증강을 나타낸다.
도 5는 도 4a의 제어 장치의 다른 예시적인 증강을 나타낸다.
도 6a 내지 6c는 도 4a의 제어 장치의 예시적인 다단계 증강을 나타낸다.
도 7a는 제어 장치의 다른 실시예를 나타낸다.
도 7b는 도 7a의 제어 장치의 예시적인 증강을 나타낸다.
도 8a는 제어 장치의 다른 실시예를 나타낸다.
도 8b는 도 8a의 제어 장치의 예시적인 증강을 나타낸다.
도 9는 차량 계기판의 일 실시예의 예시적인 증강을 나타낸다.
도 10은 제어 장치의 일 실시예를 포함하는 다른 예시적인 물리적 공간을 개략적으로 나타낸다.
도 11은 투과형 디스플레이 장치를 통한 제어 장치의 교육용 정보의 제공 방법의 일 실시예를 나타내는 플로 차트다.
도 12는 투과형 디스플레이 장치로 제어 장치의 동작에 관한 교육용 정보를 제공하는 방법의 일 실시예를 나타내는 플로 차트다.
도 13은 컴퓨팅 시스템의 예시적인 실시예의 블록 다이어그램이다.Figure 1 schematically shows an exemplary physical space comprising an embodiment of a control device.
2 shows an exemplary embodiment of a transmissive display device according to an embodiment of the present invention.
Figure 3 shows a block diagram of the embodiment of Figure 2;
4A shows another embodiment of the control device.
Figure 4b illustrates an exemplary enhancement of the control apparatus of Figure 4a in accordance with one embodiment of the present invention.
Fig. 5 shows another exemplary enhancement of the control device of Fig. 4a.
Figures 6a to 6c illustrate an exemplary multistage enhancement of the control device of Figure 4a.
7A shows another embodiment of the control device.
Fig. 7b shows an exemplary enhancement of the control device of Fig. 7a.
8A shows another embodiment of the control device.
Figure 8b shows an exemplary enhancement of the control device of Figure 8a.
9 shows an exemplary enhancement of an embodiment of a vehicle instrument panel.
Figure 10 schematically illustrates another exemplary physical space comprising an embodiment of a control device.
11 is a flowchart showing an embodiment of a method of providing educational information of a control apparatus through a transmissive display device.
12 is a flowchart showing an embodiment of a method for providing education information on the operation of the control apparatus to the transmissive display apparatus.
13 is a block diagram of an exemplary embodiment of a computing system.

상기 기재된 바와 같이, 제어 장치의 사용자는 제어 장치 상의 상호 작용 요소의 기능에 대한 정보를 얻고자 한다. 따라서, 본원에 기재된 실시예는 투과형 디스플레이 장치를 통하여 이러한 정보를 제공하는 것에 관련된다. 예컨대, 아래 구체적으로 기재되어 있듯이, 투과형 디스플레이 장치는 제어 장치의 쌍방향 요소의 기능에 대한 정보를 제어 장치의 사용자의 시야 상에 디스플레이되는 증강 현실 이미지로 제공하도록 구성된다.As described above, the user of the control device wishes to obtain information on the function of the interaction element on the control device. Thus, the embodiments described herein relate to providing such information through a transmissive display device. For example, as described in detail below, the transmissive display device is configured to provide information on the function of the bi-directional element of the control device to the augmented reality image displayed on the user's view of the control device.

도 1은 제어 장치(102)를 포함하는 물리적 공간(100)의 예시적인 실시예를 나타내며, 사용자(104)가 제어 장치(102)와 상호 작용하여 연관된 컴퓨팅 장치(106)를 제어하는 것을 보여준다. 이러한 예시는 제한적인 것이 아니며, 제어 장치(102)는 비디오 게임 제어기일 수 있으며, 컴퓨팅 장치(106)는 비디오 게임 콘솔일 수 있다. 제어 장치와 이와 연관된 컴퓨팅 장치의 다른 예시로는 키보드 및 PC의 다른 입력 장치들, 오디오/비디오 장치를 위한 원격 제어들, 차량을 위한 계기판 제어, TV를 위한 원격 제어, 키오스크(kiosk)를 위한 다른 전자 아이템 키패드 등이 있으나, 이들로 한정되는 것은 아니다. Figure 1 illustrates an exemplary embodiment of a physical space 100 that includes a control device 102 and illustrates that a user 104 interacts with a control device 102 to control an associated computing device 106. [ Such an example is not limiting, the control device 102 may be a video game controller, and the computing device 106 may be a video game console. Other examples of control devices and associated computing devices include keyboard and other input devices of the PC, remote controls for audio / video devices, instrument panel control for vehicles, remote control for TV, other for kiosk An electronic item keypad, and the like, but are not limited thereto.

사용자(104)는 제어 장치(102)를 투과형 디스플레이 장치를 통하여 볼 수 있으며, 이러한 실시 예는(108)로 도시되어 있다. 묘사된 투과형 디스플레이 장치(108)는 사용자(104)의 두 손이 자유롭게 다른 객체 (예컨대, 제어 장치(102))와 상호 작용 가능하도록 하는 헤드 마운트 디스플레이(HMD)의 형식을 취한 것이다. 투과형 디스플레이 장치(108)은 사용자(104)에게 물리적 공간(100)의 외관의 시각적인 정보 증강이 가능하도록 구성된 투과형 디스플레이 시스템을 포함한다. 다시 말하면, 투과형 디스플레이는 물리적 공간(100)으로부터 나온 빛이 투과형 디스플레이를 통과하도록 하여, 사용자(104)가 실제 물리적 공간(100)을 직접적으로 보면서, 동시에 실제 물리적 공간(100)으로 오버레이된 하나 이상의 가상 객체를 볼 수 있도록 한다. The user 104 can view the control device 102 through the transmissive display device, and this embodiment is shown at 108. The depicted transmissive display device 108 takes the form of a head-mounted display (HMD) that allows both hands of the user 104 to freely interact with other objects (e.g., the control device 102). The transmissive display device 108 includes a transmissive display system configured to allow the user 104 to visually enhance the appearance of the physical space 100. In other words, the transmissive display allows light from the physical space 100 to pass through the transmissive display so that the user 104 can see one or more of the actual physical space 100 while simultaneously viewing the actual physical space 100, Allows viewing of virtual objects.

제한적이지 않은 일 실시예에서, 사용자(104)의 시선(110)이 제어 장치(102)를 곧바로 향할 때, 투과형 디스플레이 장치(108)는 제어 장치의 하나 이상의 기능에 대한 정보의 형식으로 하나 이상의 가상 객체를 디스플레이한다. 디스플레이된 정보는 적절한 방식으로 취득된다. 예컨대, 디스플레이된 정보는 컴퓨팅 장치(106)로부터, 네트워크(110)를 통하여 원격 컴퓨팅 장치(107)로부터(원격 제어 장치는 제어 장치 기능에 대한 정보를 저장한 데이터베이스(107a)와 통신함), 또는 제어 장치(102) 등으로부터 수신된다. In one non-limiting embodiment, when the user 110's gaze 110 directs the control device 102, the transmissive display device 108 may display one or more virtual < RTI ID = 0.0 > Display the object. The displayed information is acquired in an appropriate manner. For example, the displayed information may be received from the computing device 106, from the remote computing device 107 via the network 110 (the remote control device communicates with the database 107a that stores information about the controller function), or The control device 102 or the like.

본원 발명에 따른 투과형 디스플레이 장치는 도 1의 헤드 마운트 투과형 디스플레이 장치(108)와 같은 HMD (head mounted device)로 구현가능하나 그 구현 방식을 한정하는 것은 아니며, 다른 어떤 적절한 형식으로도 구현 가능하다. 도 2는 투과형 디스플레이 시스템(200)을 포함하는 투과형 디스플레이 장치(108)의 예시적인 실시예를 나타내며, 도 3은 투과형 디스플레이 시스템(200)의 블록 다이어그램을 나타낸다. The transmissive display device according to the present invention can be implemented as an HMD (head mounted device) such as the head mount transmissive display device 108 of FIG. 1, but the present invention is not limited thereto and can be implemented in any other suitable format. FIG. 2 shows an exemplary embodiment of a transmissive display device 108 including a transmissive display system 200, and FIG. 3 shows a block diagram of a transmissive display system 200.

투과형 디스플레이 시스템(200)은 투과형 디스플레이 서브시스템(204)의 일 부분을 구성하는 하나 이상의 렌즈(202)를 포함하며, 이미지들은 렌즈(202) 상에 투영되거나 렌즈에 병합된 투과형 이미지 생성 요소 (예컨대, 투명 OLED 디스플레이)에 의하여 생성된다. 투과형 디스플레이 시스템(200)은 사용자가 보는 배경 장면 및/또는 물리적 공간의 이미지를 취득하도록 구성된 하나 이상의 외향 이미지 센서(outward-facing image sensor)(206)를 더 포함하며, 사용자의 음성 명령과 같은 소리를 감지하는 하나 이상의 마이크(208)도 포함할 수 있다. 외향 이미지 센서(206)는 하나 이상의 깊이 센서 및/또는 하나 이상의 2차원 이미지 센서를 포함할 수 있다. The transmissive display system 200 includes one or more lenses 202 that constitute a portion of the transmissive display subsystem 204 and the images are projected onto the lens 202 or transmitted through a transmissive image- , A transparent OLED display). The transmissive display system 200 further includes one or more outward-facing image sensors 206 configured to acquire an image of a background scene and / or a physical space viewed by a user, (Not shown). The outward image sensor 206 may include one or more depth sensors and / or one or more two-dimensional image sensors.

투과형 디스플레이 시스템(200)은 기재된 바와 같이 사용자의 눈 각각의 시선 방향을 감지하도록 구성된 시선 감지 서브시스템(210)을 더 포함할 수 있다. 시선 감지 서브시스템(210)은 적절한 방법으로 사용자의 눈 각각의 시선 방향을 결정하도록 구성된다. 예컨대, 묘사된 실시예에서 시선 감지 서브시스템(210)은 적외선 광 소스와 같은 하나 이상의 글린트 소스(glint source)와 내향 센서(inward-facing sensor)와 같은 하나 이상의 이미지 센서(214)를 포함하며, 상기 글린트 소스는 사용자의 안구 각각으로부터 반사된 빛의 글린트를 일으키도록 구성되고, 상기 이미지 센서는 사용자의 안구 각각의 이미지를 수집한다. 이미지 센서(214)를 통하여 모여진 이미지 데이터로부터 판정된 사용자의 안구로부터의 글린트 내의 변경을 사용하여 시선 방향을 결정할 수 있다. 나아가, 사용자로부터 투영된 시선이 외부 디스플레이와 교차하는 위치를 이용하여 사용자가 바라보는 객체 (예컨대, 외부 디스플레이 상에 디스플레이된 가상 객체)를 결정할 수 있다. 시선 감지 서브시스템(210)은 적절한 수의 광 소스와 이미지 센서를 적절히 배열하여 구현된다. The transmissive display system 200 may further include a line of sight sensing subsystem 210 configured to sense a line of sight of each of the user's eyes as described. The line of sight detection subsystem 210 is configured to determine the line of sight of each of the user's eyes in an appropriate manner. For example, in the depicted embodiment, the line of sight subsystem 210 includes one or more image sensors 214, such as one or more glint sources and an inward-facing sensor, such as an infrared light source The glint source is configured to cause a glint of light reflected from each of the user's eyes, and the image sensor collects an image of each of the user's eyes. A change in the glint from the user ' s eye, determined from the image data gathered through the image sensor 214, can be used to determine the gaze direction. Further, a position at which a line of sight projected from the user intersects the external display can be used to determine an object the user is viewing (e.g., a virtual object displayed on the external display). The line of sight detection subsystem 210 is implemented by properly arranging the appropriate number of light sources and image sensors.

투과형 디스플레이 시스템(200)은 추가적인 센서를 더 포함할 수 있다. 예컨대, 투과형 디스플레이 시스템(200)은 투과형 디스플레이 시스템(200)의 위치를 결정하기 위하여 위성 위치확인 서브시스템 (GPS 서브시스템)(216)을 포함할 수 있다. 예컨대, 투과형 디스플레이 시스템(200)의 위치는 사용자의 시선 필드 내의 제어 장치를 식별하기 위하여 사용될 수 있다. The transmissive display system 200 may further include additional sensors. For example, the transmissive display system 200 may include a satellite positioning subsystem (GPS subsystem) 216 to determine the position of the transmissive display system 200. For example, the position of the transmissive display system 200 may be used to identify a control device within the user's field of view.

투과형 디스플레이 시스템(200)은 사용자가 투과형 디스플레이 시스템(200)을 착용 중인 때 사용자의 머리의 움직임을 검지하는 하나 이상의 모션 센서(218)를 포함할 수 있다. 모션 데이터는 시선 감지를 위하여 시선 감지 글린트 데이터 및 외향 이미지 데이터와 함께 잠재적으로 사용 가능하며, 나아가 외향 이미지 센서(206)로부터의 이미지 내의 흐릿한 부분을 수정하는 이미지 안정화 (image stabilization)를 위하여도 사용 가능하다. 모션 데이터의 사용은 외향 이미지 센서(206)로부터의 이미지 데이터가 분석 불가능한 경우에도 검지될 시선 위치의 변경을 허용한다. 마찬가지로, 모션 센서(218), 마이크(208) 및 시선 감지 서브시스템(210)은 사용자 입력 장치로도 사용가능하며, 사용자는 음성 명령은 물론이고 눈, 목 및/또는 머리를 사용한 제스쳐를 통하여 투과형 디스플레이 시스템(200)과 쌍방향할 수 있다. 이는 예시적인 목적으로 도시된 도 2 및 도 3에 묘사된 센서로부터 이해가능하며, 다른 어떠한 적절한 센서 및/또는 센서의 조합 역시 사용가능하다. The transmissive display system 200 may include one or more motion sensors 218 that detect movement of the user's head when the user wears the transmissive display system 200. The motion data is potentially usable with eye-gaze glint data and extrinsic image data for line of sight detection, and is also used for image stabilization to modify fog in the image from the outward image sensor 206 It is possible. The use of motion data allows a change in the position of the eye to be detected even if the image data from the extrinsic image sensor 206 can not be analyzed. Similarly, the motion sensor 218, the microphone 208 and the line of sight subsystem 210 may also be used as a user input device, and the user may use a voice command as well as a gesture using an eye, neck and / And can be bidirectional with the display system 200. This is understandable from the sensors depicted in FIGS. 2 and 3 for illustrative purposes, and any other suitable sensor and / or combination of sensors may be used.

투과형 디스플레이 시스템(200)은 센서와 통신하는 로직 서브시스템(222)과 데이터 홀딩 서브시스템(224)을 포함하는 제어부(220), 시선 감지 서브시스템(210) 및 투과형 디스플레이 서브시스템(204)을 포함한다. 데이터 홀딩 서브시스템은 로직 서브시스템(222)에 의하여 실행가능한 명령어들을 저장하며, 상기 명령어들은 예컨대, 센서로부터 입력을 수신하고 이를 해석하며, (예컨대, 통신 서브시스템(226)을 통하여 제어 장치, 제어 장치에 의하여 제어되는 컴퓨팅 장치 또는 다른 컴퓨팅 장치와 통신하여) 사용자가 응시하는 위치의 제어 장치 및/또는 컴퓨팅 장치의 존재를 인식하고 이를 식별하고, 제어 장치 및/또는 컴퓨팅 장치에 대한 정보를 수신하고 이를 투과형 디스플레이 서브시스템(204), 하나 이상의 스피커(228) 및/또는 다른 출력 장치를 통하여 나타낸다. The transmissive display system 200 includes a controller 220, a line of sight sensing subsystem 210 and a transmissive display subsystem 204, including a logic subsystem 222 and a data holding subsystem 224, do. The data holding subsystem stores executable instructions by the logic subsystem 222, which may, for example, receive and interpret the input from the sensor and provide instructions (e.g., via the communications subsystem 226 to the controller, (E.g., by communicating with a computing device or other computing device controlled by the device), recognizes and identifies the presence of a control device and / or computing device at a location where the user is staring, receives information about the controlling device and / Through the transmissive display subsystem 204, the one or more speakers 228, and / or other output devices.

묘사된 투과형 디스플레이 장치(108)는 예시의 목적으로 도시된 것이며 이를 한정하는 것은 아니다. 따라서, 투과형 디스플레이 장치는 본 발명의 범위를 크게 벗어나지 않는 한 추가적인 및/또는 대체적인 센서, 카메라, 마이크, 입력 장치, 출력 장치 등을 포함가능하다는 것을 알 수 있을 것이다. 나아가, 투과형 디스플레이 장치의 물리적인 구성 및 이의 다양한 센서 및 서브 구성요소는 본 발명의 범위를 크게 벗어나지 않는 한 다양한 다른 형식을 취할 수 있다. The depicted transmissive display device 108 is shown for illustrative purposes and is not limiting. Accordingly, it will be appreciated that the transmissive display device may include additional and / or alternative sensors, cameras, microphones, input devices, output devices, etc., without departing greatly from the scope of the present invention. Further, the physical configuration of the transmissive display device and its various sensors and subcomponents may take a variety of other forms, unless the scope of the present invention is greatly changed.

도 4a를 보면, 예시적인 제어 장치가 비디오 게임 제어기로 도시되어 있다. 비디오 게임 제어기(400)는 하나 이상의 쌍방향 요소(402) (이 중 두 개가 402a, 402b임)를 포함할 수 있다. 쌍방향 요소(402)는 눌리면 비디오 게임 콘솔 (도 4a에 도시되지 않음) 상에서 실행중인 비디오 게임 애플리케이션으로 명령을 전달하는 사용자 작동가능 하드웨어 버튼 (user-actuatable hardware button)일 수 있으나, 예시를 제한하는 것은 아니다. 쌍방향 요소(402)는 조이 스틱(joystick), 방향제어 패드(directional pad), 소프트웨어 버튼, 터치 감응식 입력 장치, 다이얼, 트리거, 스위치(knob), 모션 센서 등을 포함할 수도 있다. 쌍방향 요소(402)의 묘사된 배열은 예시의 목적으로 도시된 것으로, 비디오 게임 제어기(400)는 다른 어떠한 적절한 수, 배열, 형식의 쌍방향 요소를 포함할 수 있다. 4A, an exemplary control device is shown as a video game controller. Video game controller 400 may include one or more bi-directional elements 402 (two of which are 402a, 402b). The bi-directional element 402 may be a user-actuatable hardware button that pushes the command to a video game application running on the video game console (not shown in FIG. 4A), but limiting the example no. The bi-directional element 402 may include a joystick, a directional pad, a software button, a touch sensitive input device, a dial, a trigger, a knob, a motion sensor, and the like. The depicted arrangement of the interactive elements 402 is shown for illustrative purposes, and the video game controller 400 may include any other suitable number, arrangement, format of interactive elements.

도 4b는 투과형 디스플레이 장치를 통하여 비디오 게임 제어기(400)를 보는 사용자의 시각으로부터의 비디오 게임 제어기(400)를 도시한 것이다. 파선(404)은 투과형 디스플레이 장치의 시야의 예시적인 필드를 나타낸다. 투과형 디스플레이 장치를 통하여 볼 때의 쌍방향 요소의 외관은 쌍방향 요소의 하나 이상의 기능과 연관된 정보를 제공하기 위하여 증강된다. 도 4b에서, 이러한 증강은 제어 장치의 쌍방향 요소를 오버레이하는 이미지(406)로 도시되었다. 이미지(406) 각각은 ---를 제공한다. 4B shows the video game controller 400 from the viewpoint of the user viewing the video game controller 400 through the transmissive display device. Dashed line 404 represents an exemplary field of view of the transmissive display device. The appearance of the bi-directional element as viewed through the transmissive display device is enhanced to provide information associated with one or more functions of the bi-directional element. In Fig. 4B, this enhancement is shown as an image 406 overlaying the bi-directional element of the control device. Each of the images 406 provides ---.

임의의 적절한 정보가 쌍방향 요소(interactive elements)를 오버레이하는 이미지들에 표시될 수 있다. 도시된 실시예에서, 이미지들(406)의 일부는 이미지 아래에 위치한 쌍방향 버튼과 연관된 공격 유형 또는 무기의 그래픽 표현을 포함한다. 예컨대, 406a에 표시된 바와 같이, 검에 대한 그래픽 표현은, 관련 버튼을 누르는 것이 사용자로 하여금 게임 애플리케이션 상에서 검 공격을 수행할 수 있도록 한다는 점을 알려줄 수 있다. 이미지들(406)은 추가적으로 또는 대안적으로 텍스트를 포함할 수도 있다. 예컨대, 406b에 표시된 바와 같이, 단어 "이동"은, 조이스틱(402b)과 연관된 상호작용이 사용자로 하여금 비디오 게임 애플리케이션의 캐릭터를 다양한 방향으로 이동시킬 수 있도록 한다는 점을 알려줄 수 있다. Any suitable information may be displayed on the images overlaying the interactive elements. In the illustrated embodiment, a portion of the images 406 includes a graphical representation of an attack type or weapon associated with a bi-directional button located below the image. For example, as indicated at 406a, a graphical representation of the sword may indicate that pressing a related button allows the user to perform a sword attack on the game application. Images 406 may additionally or alternatively comprise text. For example, as indicated at 406b, the word "move" may indicate that the interaction associated with the joystick 402b allows the user to move the character of the video game application in various directions.

도 4b에 표시되고 앞서 설명된 이미지들은 예시적인 목적으로 제시되었으며, 임의의 적합한 그래픽 표현이 표시되어 비디오 게임 컨트롤러(400)의 쌍방향 요소(402)에 관한 정보를 제공할 수 있다는 점이 이해될 것이다. 예를 들어, 이미지들에는 아이콘, 그림, 비디오 등이 포함될 수 있으며, 이들은 비디오 게임 컨트롤러의 쌍방향 요소에 관한 정보를 제공한다. 또한, 이미지들은 쌍방향 요소(402)에 관련된 오디오 또는 비디오 클립의 존재를 나타낼 수도 있다. 이러한 실시예에서, 사용자는 플레이 백을 시작하기 위해 오디오 또는 비디오 클립을 선택할 수 있으며, 또는 오디오 또는 비디오 클립이 자동으로 시작할 수도 있다.It will be appreciated that the images depicted in FIG. 4B and described above are presented for illustrative purposes, and that any suitable graphical representation may be displayed to provide information regarding the interactive elements 402 of the video game controller 400. For example, images may include icons, pictures, video, etc., which provide information about the interactive elements of the video game controller. The images may also indicate the presence of an audio or video clip associated with the interactive element 402. In such an embodiment, the user can select an audio or video clip to begin playback, or the audio or video clip may automatically start.

도 5는 도 4a의 제어 장치의 또 다른 예시적인 증강(augmentation)을 보여준다. 도시된 실시예에서, 이미지들(506)은 텍스트-기반 플라이-아웃(fly-outs) 또는 도구들(tooltips)의 형식을 취한다. 이러한 플라이-아웃 또는 도구들은 관련 쌍방향 요소 및/또는 임의의 기타 적절한 정보를 설명하는 텍스트 정보를 가지는 텍스트 상자들을 포함할 수 있다. 다른 예로서, 아이콘, 그림, 애니메이션, 비디오가 포함될 수 있으나, 이에 제한되는 것은 아니다. Figure 5 shows another exemplary augmentation of the control device of Figure 4a. In the illustrated embodiment, images 506 take the form of text-based fly-outs or tooltips. These fly-outs or tools may include text boxes with textual information describing the relevant interactive elements and / or any other suitable information. Other examples include, but are not limited to, icons, pictures, animations, and video.

일부 실시예에서, 비디오 게임 컨트롤러(400)가 제어하고 있는 애플리케이션은 게임 중에 상태를 변경할 수 있다. 이러한 상태 변경은 비디오 게임 컨트롤러(400)의 쌍방향 요소들의 기능에 영향을 줄 수 있다. 예컨대, 쌍방향 요소들은 서로 다른 게임 장면에서 서로 다른 기능을 가질 수도 있다. 유사하게, 단일 장면에서조차, 단일로 작동하는 경우와 다른 제어와 함께 조합되어 작동하는 경우에 따라 하나의 쌍방향 요소가 서로 다른 기능을 가질 수도 있다. 한 게임에서 다른 게임으로의 변경은, 비디오 게임 컨트롤러(400)의 쌍방향 요소들의 기능에 영향을 주는 상태 변경의 또 다른 예시이다. In some embodiments, an application that the video game controller 400 is controlling may change state during a game. This state change may affect the functionality of the interactive elements of the video game controller 400. [ For example, the interactive elements may have different functions in different game scenes. Similarly, even in a single scene, one bi-directional element may have different functions depending on whether the bi-directional element operates in a single operation or in combination with another control. The change from one game to another is yet another example of a state change that affects the functionality of the interactive elements of the video game controller 400. [

이에 따라, 투과형 디스플레이 장치는 이러한 상태 변경에 응답하여 증강 이미지(augmenting imagery)를 변경함으로써, 쌍방향 요소의 현재 기능들이 올바르게 표시되도록 할 수 있다. 일부 실시예에서, 이러한 갱신은 에니메이션화 될 수 있고, 다른 구현예에서 임의의 다른 적절한 변환이 이용될 수도 있다. Accordingly, the transmissive display device can change the augmenting imagery in response to this state change so that the current functions of the bi-directional element are correctly displayed. In some embodiments, such an update may be animated, and in other implementations any other suitable transformation may be used.

이미지 증강은 멀티-단계 입력을 어떻게 수행할지에 대해 설명하고, 이를 명령하기 위해 이용될 수 있다. 도 6a 내지 6c는 이러한 증강에 대한 디스플레이의 예시적인 실시예를 보여준다. 도 6a에 도시된 바와 같이, 플라이-아웃(608)이 표시되고, 이는 (예컨대, 특정 순서의 사용자 입력들, 게임 애플리케이션에서의 특정 가상 위치로의 입장, 게임 애플리케이션에서의 새로운 가상 아이템을 획득으로 인한) 특수한 공격이 이용가능함을 나타낸다.Image enhancement can be used to describe and command how to perform multi-step input. Figures 6A-6C show an exemplary embodiment of a display for this enhancement. As shown in FIG. 6A, a fly-out 608 is displayed, which may include, for example, user inputs in a particular order, entry into a particular virtual location in the game application, acquisition of a new virtual item in the game application, Indicates that a particular attack is available.

플라이-아웃(608)을 표시한 이후, 도 6b에 도시된 바와 같이, 투과형 디스플레이 장치는 멀티-단계 입력에서의 다음 단계를 보여줄 수 있다. 일부 실시예에서, 다음 단계에 대한 설명은 첫 번째 프레임(예컨대, 도 6a에 도시된 프레임)이 표시되고 소정의 시간이 지난 후에 자동으로 표시된다. 다른 실시예에서는, 다음 단계에 대한 설명이 사용자 동작이 있은 후에 표시될 수 있으며, 가령, 쌍방향 요소를 작동시킴(예컨대, 버튼을 누름), 해당 요소로의 응시를 지시(directing a gaze to the element), 음성 명령을 제공함, 제스처를 수행함 등이 있다. After displaying the fly-out 608, as shown in FIG. 6B, the transmissive display device may show the next step in the multi-step input. In some embodiments, the description of the next step is automatically displayed after the first frame (e.g., the frame shown in FIG. 6A) is displayed and after a predetermined time. In another embodiment, a description of the next step may be displayed after a user action, such as by activating an interactive element (e.g., depressing a button), directing a gaze to the element ), Providing voice commands, and performing gestures.

도 6b는 멀티-단계 입력 중 두 번째 단계에 대한 디스플레이를 나타낸다. 이 단계에서, 화살표(610)가 표시되고, 이는 사용자로 하여금 좌측 조이스틱을 시계 반대 방향으로 원형 이동시키라고 지시한다. 일부 실시예에서, 화살표(610) 및/또는 좌측 조이스틱 상에 표시되는 임의의 증강은 애니메이션화되어 동작이 입력 조합의 일 단계에 포함되어 있다는 추가 지시를 제공할 수 있다. 계속해서, 도 6c는, 특정 쌍방향 요소(402)를 누르는 것을 지시하는 흐려진 오버레이 이미지(612)로서, 멀티-단계의 입력 중 최종 단계에 대한 디스플레이를 도시한다. 6B shows a display for the second stage of multi-step input. At this stage, an arrow 610 is displayed, which instructs the user to circularize the left joystick counterclockwise. In some embodiments, the arrow 610 and / or any enhancements displayed on the left joystick may be animated to provide additional indication that the operation is included in one stage of the input combination. 6C shows a display for the final step of the multi-step input, with the blurred overlay image 612 indicating that the particular interactive element 402 is to be pressed.

각 단계 및/또는 멀티-단계 입력에 대한 추가적인 정보가 기타 이미지 증강을 통해 표시될 수 있다. 예를 들어, 도 6c에서, 플라이-아웃(614)은 애니메이션 및/또는 입력 조합에 대한 추가적인 정보를 표시하는 비활성화 가능한 (retractable) 텍스트 상자 확장(616)을 포함한다. 도시된 실시예에서, 텍스트 상자 확장(616)은 특수한 공격의 예시적인 실행을 보여주는 비디오로의 하이퍼링크를 포함할 수 있다. 다른 실시예에서, 텍스트 상자 확장(616)은 특수한 공격을 수행하기 위한 하나 이상의 추가적인 명령, 추가적인 공격에 관련된 임베디드된 비디오 또는 오디오 클립을 포함할 수도 있다. 일부 실시예에서, 이러한 텍스트 상자 확장(616)은 플라이-아웃(614)과 연관된 대응 제어의 선택에 기초하여 확장되거나 비활성화될 수 있다. Additional information about each step and / or multi-step input may be displayed through other image enhancements. For example, in FIG. 6C, the fly-out 614 includes a retractable text box extension 616 that displays additional information about the animation and / or input combination. In the illustrated embodiment, the text box extension 616 may include a hyperlink to the video showing an exemplary implementation of a particular attack. In another embodiment, the text box extension 616 may include one or more additional commands to perform a particular attack, an embedded video or audio clip related to an additional attack. In some embodiments, this text box extension 616 may be expanded or deactivated based on the selection of the corresponding control associated with the fly-out 614.

도 7a는 복수의 키들(702)을 가지는 키보드(700)의 형태로 제어 장치의 또 다른 예시적인 실시예를 보여준다. 키들(702)은 물리적 버튼 또는 터치-민감성 입력 장치상의 소프트웨어-기반 "소프트 키"일 수 있다. 하나 이상의 키들(702)은 제어되고 있는 특정 애플리케이션 및 컴퓨팅 장치 등에 따라 서로 다른 기능을 가질 수 있다. 예를 들어, 일부 사용에서, 키(702a)는 키보드(700)의 제어키가 될 수 있고, 키들(702b)은 키보드(700)의 문자키들이 될 수 있으며, 키들(702c)은 키보드(700)의 방향키들이 될 수 있다.7A shows yet another exemplary embodiment of a control device in the form of a keyboard 700 having a plurality of keys 702. In FIG. The keys 702 may be a physical button or a software-based "soft key" on a touch-sensitive input device. The one or more keys 702 may have different functions depending on the specific application being controlled and the computing device. For example, in some uses, the key 702a may be the control key of the keyboard 700, the keys 702b may be the character keys of the keyboard 700, and the keys 702c may be the keyboard 700 As shown in FIG.

다른 사용에서, 이러한 키들은 다른 기능을 가질 수 있다. 예컨대, 문자키들(702b)이 비디오 게임에서 방향키로 이용될 수 있다. 따라서, 도 7b는 키보드(700)의 예시적인 증강을 이러한 다른 기능에 대한 정보를 제공하는 증강 이미지와 함께 보여준다. 예를 들어, 제어키(702a)상의 "CTRL" 표시는 "RUN"과 같은 오버레이 텍스트를 표시하기 위해 보이지 않을 수 있다. 유사하게, "W", "A", "S", 및 "D" 키들(702b)은 방향키들(702c)과 동일한 색 오버레이를 가질 수 있고, 이는 이러한 키들이 방향키들과 같은 관련 기능(예컨대, 상, 좌, 하, 우)을 가진다는 것을 알려준다. 이미지 증강은 아래에 있는 키보드 표시를 완전히 보이지 않게 할 수도 있고, 아니면 부분적으로 투명하게 하여 아래에 있는 키보드 표시가 보일 수 있도록 남겨둘 수도 있다. 이미지 증강의 이러한 구체적인 실시예들은 예를 위해 제시되는 것이며, 어떠한 방식으로도 제한을 위해 의도된 것이 아니고, 기타 임의의 적절한 이미지 증강이 이용될 수 있다는 점이 이해될 것이다. In other uses, these keys may have different functions. For example, character keys 702b may be used as direction keys in a video game. Thus, FIG. 7B shows an exemplary enhancement of the keyboard 700 with an enhancement image providing information about these other features. For example, the "CTRL" indication on control key 702a may not be visible to indicate overlay text, such as "RUN ". Similarly, the "W", "A", "S", and "D" keys 702b may have the same color overlay as the directional keys 702c, , Upper, left, lower, right). Image enhancement can make the keyboard display below completely invisible, or partially transparent, leaving the keyboard display below visible. It will be appreciated that these specific embodiments of image enhancement are provided for the sake of example and are not intended to be limiting in any way and that any other suitable image enhancement may be used.

이미지 증강은 또한 하나 이상의 사용자 선호에 의해 제어가능할 수 있다. 예를 들어, 사용자는 이미지가 증강될 때 사용을 위해 설정되는 언어 및/또는 캐릭터를 선택할 수 있다. 이러한 설정은 또한 선호되는 언어로 되어 있지 않은 투과형 디스플레이 장치에 의해 감지된 임의의 텍스트를 자동으로 번역하기 위해 이용될 수 있다. 사용자 선호는 또한 색 오버레이를 위해 이용되는 색 스킴(color schemes) 및/또는 선호 색 또는 다른 증강 이미지를 선택하기 위해 이용될 수 있다. 예를 들어, 색맹(color blind) 모드는 색을 보는데 결함이 있는 사용자에 의해 감지가능한 색의 변화를 표시하기 위해 선택될 수 있다. 이러한 실시예들은 예시를 위해 제시되는 것이고 사용자 선호는 이미지 증강의 임의의 적절한 형태를 제어하기 위해 이용될 수 있다는 점이 이해될 것이다. Image enhancement may also be controllable by one or more user preferences. For example, the user can select the language and / or character set for use when the image is enhanced. This setting can also be used to automatically translate any text sensed by a transmissive display device that is not in the preferred language. User preferences can also be used to select color schemes and / or preferred colors or other enhancement images used for color overlay. For example, a color blind mode may be selected to indicate a change in color that is detectable by a user having a defect in viewing the color. It will be appreciated that these embodiments are presented for illustrative purposes and user preferences can be used to control any suitable form of image enhancement.

도 8a는 텔레비전, 오디오 수신기, 멀티미디어 장치 등에 사용자 입력을 제공하기 위해 이용가능한 리모트 컨트롤(800)의 형태로 제어 장치의 또 다른 실시예를 도시한다. 이러한 리모트 컬트롤 장치(800)는 버튼(802)과 같이, 복수의 사용자-작동가능한 쌍방향 요소들을 포함할 수 있고, 이들은 제어중인 컴퓨팅 장치, 제어중인 애플리케이션, 제어중인 애플리케이션의 상태 등에 따라 서로 다른 기능을 가질 수 있다. 8A illustrates another embodiment of a control device in the form of a remote control 800 that is available to provide user input to a television, audio receiver, multimedia device, and the like. Such a remote cult roll device 800 may include a plurality of user-actuatable bi-directional elements, such as button 802, which may have different functions depending on the computing device being controlled, the application being controlled, Lt; / RTI >

도 8b는 투과형 디스플레이 장치를 통해 리모트 컨트롤 장치(800)상에 표시되는 이미지 증강의 예시를 보여준다. 도 8b에 도시된 바와 같이, 버튼들(802)은 리모트 컨트롤 장치(800)의 버튼들의 기능과 관련된 정보를 표시하는 증강 이미지들(804, 806, 808)과 함께 증강된다. 예컨대, 리모트 컨트롤 장치(800)는 제어되는 서로 다른 장치에 대응하는 복수의 모드를 가질 수 있다. 따라서, 도시된 바와 같이, 각각의 모드는 804에서 "TV"로 표시되는 것과 같이, 그래픽 오버레이에 의해 지정될 수 있다. 또한, DVD 플레이어 제어 표시(806)에 의해 표시된 바와 같이, 각각의 모드 내에서 쌍방향 요소들의 기능을 나타내는 표시들이 표시될 수 있다. 음량 및 채널 변경 기능을 나타내는 플라이-아웃들(808)이 또한 표시된다. 또한, 증강 이미지들(804, 806, 808)은 모드의 변경에 반응하여 동적으로 갱신될 수 있다. 8B shows an example of image enhancement displayed on the remote control device 800 through the transmissive display device. 8B, the buttons 802 are augmented with the augmented images 804, 806, 808 indicating information related to the function of the buttons of the remote control device 800. For example, the remote control device 800 may have a plurality of modes corresponding to different controlled devices. Thus, as shown, each mode may be specified by a graphic overlay, such as "TV" in 804. Also, as indicated by the DVD player control indication 806, indications indicative of the function of the bi-directional elements within each mode may be displayed. Fly-outs 808 indicating volume and channel changing functions are also displayed. Further, the enhancement images 804, 806, 808 can be dynamically updated in response to a change in mode.

도 9는 투과형 디스플레이 장치를 통해 볼 수 있는 사용자-작동가능한 제어들(902) 및 디스플레이들(904)을 포함하여, 차량용 계기판(vehicle dashboard)(900)의 제어 형태로 제어 장치의 또 다른 실시예를 표시한다. 때때로, 사용자는 제어 또는 디스플레이의 기능에 관한 정보를 희망할 수 있다. 따라서, 사용자는 예컨대 음성 명령, 제스처(즉, 요소를 터치 또는 포인팅), 응시(라인 906에 따라 응시), 또는 기타 적합한 방식을 통해, 어떠한 정보(예컨대, 특정 지시등)가 더 필요한지에 대하여 계기판 요소에 알려줄 수 있다. 이에 응답하여, 908에 표시된 바와 같이, 투과형 디스플레이 장치는 특정된 요소의 기능을 도시할 수 있다. 일부 실시예에서, 증강 이미지(908)는 자동차 및/또는 운전자의 상태(예컨대, 자동차가 이동하기로 결정된 경우 또는 임계 속도 이상으로 이동하는 경우)에 따라 표시되지 않을 수 있다. 임의의 적합한 자동차 및/또는 기타 기계적 장치를 위한 제어의 외관이 유사하게 증강될 수 있다는 점이 이해될 것이다.9 shows another embodiment of a control device in the form of a control of a vehicle dashboard 900, including user-actuatable controls 902 and displays 904 visible through a transmissive display device . From time to time, the user may desire information about the function of the control or display. Thus, the user may be able to determine what information (e.g., a particular indicator) is needed, such as a voice command, a gesture (i.e. touching or pointing an element), a gaze . In response, as indicated at 908, the transmissive display device may show the function of the specified element. In some embodiments, the augmented image 908 may not be displayed depending on the state of the vehicle and / or the driver (e.g., when the vehicle is determined to travel or moves beyond a critical velocity). It will be appreciated that the appearance of the control for any suitable automotive and / or other mechanical device may similarly be enhanced.

도 10은 키오스크(kiosk)(1002) 형태의 제어 장치를 포함하고 있는 환경의 형태로 또 다른 물리적인 공간(1000)을 도시한다. 키오스크(1002)는 사용자(1006)에 의해 작동가능한 버튼들(1004)과 같은 쌍방향 요소들을 포함할 수 있고, 이러한 버튼들은 키오스크(1002)의 상태에 따라 서로 다른 기능들을 가질 수 있다. 예를 들어, 키오스크(1002)는 ATM일 수 있으며, 버튼(1004)은 메뉴 시스템의 현재 위치에 따라 서로 다른 기능을 제공할 수 있다. 10 shows yet another physical space 1000 in the form of an environment containing a control device in the form of a kiosk 1002. The kiosk 1002 may include interactive elements such as buttons 1004 that are operable by the user 1006 and these buttons may have different functions depending on the status of the kiosk 1002. For example, the kiosk 1002 may be an ATM, and the button 1004 may provide different functions depending on the current position of the menu system.

투과형 디스플레이 장치(1008)는 사용자(1006) 및/또는 투과형 디스플레이 장치(1008)의 시야에서 키오스크(1002)의 존재를 감지할 수 있고, 이에 응답하여 키오스크(1002)를 식별하기 위한 정보를 요청하거나 수집할 수 있다. 추가적으로 또는 대안적으로, 투과형 디스플레이 장치(1008)는 키오스크(1002)에 의해 방출되는 비콘(beacon) 신호를 식별, 키오스크(1002) 또는 그 근처에 위치한 바코드 또는 Q 코드를 스캐닝 및 식별, 투과형 디스플레이 장치의 이미징 센서 또는 뎁스(depth)에 의해 획득되는 키오스크(1002)의 이미지를 인식, 키오스크(1002)에 관련된 정보를 포함하는 사용자 입력을 수신, 및/또는 기타 임의의 적절한 방법을 통해 키오스크(1002)를 감지할 수 있다. The transmissive display device 1008 may sense the presence of the kiosk 1002 in the field of view of the user 1006 and / or the transmissive display device 1008 and may request information for identifying the kiosk 1002 in response thereto Can be collected. Additionally or alternatively, the transmissive display device 1008 can identify a beacon signal emitted by the kiosk 1002, scan and identify a bar code or Q code located at or near the kiosk 1002, And / or any other suitable method to recognize the image of the kiosk 1002 acquired by the imaging sensor or depth of the kiosk 1002, receive user input including information related to the kiosk 1002, and / Can be detected.

투과형 디스플레이 장치(1008)는 피어-투-피어 연결을 통해, 네트워크 액세스 포인트를 통해, 또는 기타 적합한 방법으로 키오스크(1002)에 직접 접속될 수 있다. 일단 접속되면, 키오스크(1002)는 투과형 디스플레이 장치(1008)로 버튼들(1004)의 기능을 식별할 수 있는 정보를 전송할 수 있다. 키오스크(1002)에 의해 전송된 정보는 키오스크(1002)의 상태 변화에 응답하여 동적으로 갱신될 수 있다. 이러한 방식으로, 투과형 디스플레이 장치(1008)는 현재 버튼 기능들이 올바르게 표시되는 것을 보장하기 위해 증강 이미지를 갱신할 수 있다. The transmissive display device 1008 can be connected directly to the kiosk 1002 via a peer-to-peer connection, through a network access point, or in any other suitable manner. Once connected, the kiosk 1002 may send information identifying the function of the buttons 1004 to the transmissive display device 1008. The information sent by the kiosk 1002 can be dynamically updated in response to a change in status of the kiosk 1002. In this manner, the transmissive display device 1008 can update the augmented image to ensure that the current button functions are displayed correctly.

도 11은 투과형 디스플레이 장치를 통해 제어 장치에 대한 교육용 정보를 표시하기 위한 방법(1100)의 일 실시예를 도시하는 흐름도이다. 1102에서는, 예컨대, 앞서 도 1 내지 3과 관련하여 보다 상세하게 논의된 이미지 센서들을 사용하여, 투과형 디스플레이 장치는 투과형 디스플레이 장치를 통해 볼 수 있는 장면의 이미지를 획득한다. 1104에서는, 예컨대, 장면의 획득된 이미지 데이터의 분석을 통해, 투과형 디스플레이 장치는 장면에서 제어 장치를 감지한다. 예컨대, 분류 기능을 통해, 투과형 디스플레이 장치는 또한 1106에서 제어 장치를 식별할 수 있다. 일부 실시예에서, 이러한 식별 및/또는 본 명세서에서 개시된 기타 프로세스들은 원격 서비스를 통해 수행될 수 있다는 점이 이해될 것이다. 11 is a flow chart illustrating an embodiment of a method 1100 for displaying educational information for a control device via a transmissive display device. In 1102, for example, using the image sensors discussed above in more detail with respect to Figures 1-3, the transmissive display device obtains an image of the scene viewable through the transmissive display device. In 1104, for example, through the analysis of the acquired image data of the scene, the transmissive display device senses the control device in the scene. For example, through the classification function, the transmissive display device can also identify the control device at 1106. In some embodiments, it will be appreciated that such identification and / or other processes described herein may be performed through a remote service.

제어 장치를 감지 및 식별한 후, 투과형 디스플레이 장치는 단계 1108에서 제어 장치의 쌍방향 요소의 기능과 관련된 정보를 수집한다. 이러한 정보는 임의의 적절한 방식으로 수집될 수 있다. 예를 들어, 일부 예에서는, 가령 제어 장치가 알려진 제어 장치(예컨대, 사용자 리모트 컨트롤 장치)이거나 및/또는 제어되는 애플리케이션이 알려진 애플리케이션 경우, 이러한 정보가 로컬로 저장될 수 있다. 이러한 경우, 투과형 디스플레이 장치는 로컬 저장소로부터 정보를 수집할 수 있다. 다른 경우에서는, 투과형 디스플레이 장치가 제어 장치, 네트워크-기반 서비스, 및/또는 임의의 기타 적절한 위치로부터 정보를 수집할 수도 있다. After sensing and identifying the control device, the transmissive display device collects information relating to the function of the bi-directional element of the control device at step 1108. This information can be collected in any suitable manner. For example, in some instances, this information may be stored locally, e.g., if the control device is a known control device (e.g., a user remote control device) and / or the application being controlled is a known application. In this case, the transmissive display device can collect information from the local storage. In other cases, the transmissive display device may collect information from a controller, a network-based service, and / or any other suitable location.

일부 실시예에서, 제어 장치의 쌍방향 요소들의 서브셋에 대한 정보가 획득될 수 있다. 예컨대, 일부 실시예에서, 투과형 디스플레이 장치는 1110에서 선택된 쌍방향 요소로의 사용자 시선을 감지하고 이러한 요소에 대한 정보를 획득할 수 있다. 응시 감지는 다른 요소들에 대한 정보가 획득된 경우에도, 다른 요소들을 제외하고 선택된 요소에 대한 정보를 디스플레이하기 위해 이용될 수 있다(예컨대, 자동차 계기판의 경우).In some embodiments, information about a subset of the bi-directional elements of the control device may be obtained. For example, in some embodiments, the transmissive display device may detect the user's gaze from 1110 to the selected interactive element and obtain information about such element. The gaze detection can be used to display information about a selected element except for other elements (e.g., in the case of a car dashboard), even when information about other elements is obtained.

단계(112)에서, 투과형 디스플레이 장치는 쌍방향 요소의 기능과 관련된 이미지 데이터로 쌍방향 요소를 증강시키는 이미지를 표시한다. 그러한 이미지 데이터는 그래픽 요소, 텍스트, 애니메이션 등을 포함하지만 이에 제한되지 않는 임의의 적절한 정보를 포함할 수 있다. 또한, 전술한 바와 같이, 어떤 실시예에서, 투과형 디스플레이 장치는 현재 관심이 없는 정보를 표시하는 것에 의해 야기될 수 있는 부주의를 감소시키기 위하여, 단계(1114)에서 표시된 바와 같이, 다른 쌍방향 요소는 제외하고 선택된 쌍방향 요소를 증강하도록 구성될 수 있다. At step 112, the transmissive display device displays an image that augments the bi-directional element with image data associated with the function of the bi-directional element. Such image data may include any suitable information, including, but not limited to, graphic elements, text, animation, and the like. Also, as noted above, in some embodiments, the transmissive display device may be configured to display the information that is not currently of interest, as indicated in step 1114, to reduce negligence that may be caused by displaying information that is not currently of interest, And to augment the selected bi-directional element.

전술한 바와 같이, 어떤 실시예에서, 제어 장치의 쌍방향 요소의 기능은 변화될 수 있다. 따라서, 단계(1116)에서, 방법(1110)은 쌍방향 요소의 기능 변화를 감지하는 것을 포함한다. 이러한 변화는 제어되고 있는 애플리케이션에서의 변화, 제어되고 있는 애플리케이션의 상태에서의 변화, 및/또는 임의의 다른 적절한 변화로부터 발생할 수 있다. 이에 응답하여, 단계(1118)에서, 투과형 디스플레이 장치는 새로운 기능에 관련된 수정된 정보를 제공하는 수정된 이미지를 표시할 수 있다. 예를 들어, 투과형 디스플레이 장치는 수정된 정보를 전송 및/또는 검색하거나 수정된 정보를 하나 이상의 추가된 또는 대체된 증강 이미지로서 표시할 수 있다. 이것은 현재 정보가 표시되고 있는 것을 확인할 수 있도록 도움을 준다.As described above, in some embodiments, the functionality of the bi-directional element of the control device may be varied. Thus, at step 1116, the method 1110 includes sensing a change in function of the bi-directional element. Such changes may result from changes in the application being controlled, changes in the state of the application being controlled, and / or any other appropriate change. In response, in step 1118, the transmissive display device may display a modified image that provides modified information related to the new function. For example, the transmissive display device can transmit and / or retrieve modified information or display the modified information as one or more added or replaced augmented images. This will help you to ensure that the current information is being displayed.

전술한 바와 같이, 어떤 실시예에서는, 투과형 디스플레이 장치는 제어 장치의 쌍방향 요소의 현재 기능에 관한 정보를 수신할 수 있다. 도12는 그러한 정보를 제어 장치로부터 투과형 디스플레이 장치와 같은 다른 컴퓨팅 장치로 제공하기 위한 방법(1200)의 실시예를 도시하는 플로우 차트를 도시한다. 단계(1202)에서, 방법(1200)은 투과형 표시 장치와 통신을 수립하는 단계를 포함한다. 임의의 적절한 타입의 연결이 수립될 수 있다. 이러한 예는, 제한되지는 않지만, 직접 유선 및/또는 무선 연결 (예를 들어, WiFi direct, 블루투스 등) 및 네트워크 액세스 포인트를 통한 연결을 포함할 수 있다.As described above, in some embodiments, the transmissive display device may receive information regarding the current function of the bi-directional element of the control device. Figure 12 shows a flowchart depicting an embodiment of a method 1200 for providing such information from a control device to another computing device, such as a transmissive display device. In step 1202, the method 1200 includes establishing communication with the transmissive display. Any suitable type of connection can be established. Examples include, but are not limited to, direct wired and / or wireless connections (e.g., WiFi direct, Bluetooth, etc.) and connections through network access points.

단계(1204)에서, 방법(1200)은 제 2 컴퓨팅 장치로부터 제어 장치의 하나 이상의 사용자 작동가능 컴포넌트의 현재 기능에 관한 정보에 대한 요청을 수신하는 것을 포함한다. 단계(1206)에서, 본 방법은 요청과 함께 제어 장치 ID 정보를 수신하는 것을 포함한다. 단계(1207)에서, 본 방법은 알려지지 않은 제어 장치를 캡쳐한 이미지 데이터 또는 다른 데이터 및 그 데이터로부터 제어 장치를 식별하라는 요청을 수신하는 것을 포함한다.In step 1204, the method 1200 includes receiving a request from the second computing device for information about the current functionality of the one or more user-enabled components of the control device. In step 1206, the method includes receiving controller ID information with the request. In step 1207, the method includes receiving image data or other data that has captured an unknown control device and a request to identify the control device from the data.

단계(1208)에서, 그 요청에 응답하여 제 1 컴퓨팅 장치는 그 정보를 제 2 컴퓨팅 장치로 송신한다. 또한, 단계(1209)에서, 요청된 제어 장치 기능 정보를 전송하는 것을 보조하기 위하여, (예를 들어, 하나 이상의 분류 기능을 통한 이미지 데이터의 분류를 통해) 제어 장치를 식별하는 것을 포함한다. 또한, 어떤 실시예에서, 단계(1210)에서, 제어 장치의 사용자 작동가능 컴포넌트를 위한 복수의 매핑을 전송할 수도 있고, 복수의 매핑의 각각은 단계(1206)에서 수신된 애플리케이션 정보와 연관된 애플리케이션의 상이한 상태에 대응한다. 이러한 접속을 수립하고 투과형 디스플레이 장치와 통신하는 컴퓨팅 장치는 제한되지는 않지만 원력 서비스를 수행하는 서버, 키오스크 등을 포함하는 임의의 적절한 컴퓨팅 장치일 수 있다는 것을 이해할 것이다.In step 1208, the first computing device sends the information to the second computing device in response to the request. Also, at step 1209, identifying the control device (e.g., via classification of the image data via one or more sorting functions) to assist in transmitting the requested control device function information. Further, in some embodiments, at step 1210, a plurality of mappings for a user-enabled component of the control device may be transmitted, and each of the plurality of mappings may include at least one of a different ≪ / RTI > A computing device that establishes such connections and communicates with a transmissive display device will be understood to be any suitable computing device including, but not limited to, a server, a kiosk, etc. performing a power service.

어떤 실시예에서, 전술된 방법 및 프로세스는 들은 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템에 연관될 수 있다. 보다 구체적으로, 본 명세서에 기술된 방법 및 프로세스는 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수도 있다.In certain embodiments, the above-described methods and processes may be associated with a computing system that includes one or more computers. More specifically, the methods and processes described herein may be implemented as computer applications, computer services, computer APIs, computer libraries, and / or other computer program products.

도13은 전술된 하나 이상의 방법 및 프로세스를 수행할 수 있는 비제한적인 컴퓨팅 시스템(1300)을 개략적으로 도시한다. 컴퓨팅 시스템(1300)은 단순화된 형태로 도시되었다. 사실상 임의의 컴퓨터 아키텍처가 본 발명의 범위로부터 벗어나지 않고 사용될 수 있음을 이해할 것이다. 다른 실시예에서, 컴퓨팅 시스템(1300)은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치, 게임 장치, 헤드-탑재형 디스플레이 장치, 투과형 디스플레이 장치 등의 형태를 가질 수 있다.FIG. 13 schematically illustrates a non-limiting computing system 1300 capable of performing one or more of the methods and processes described above. The computing system 1300 is shown in simplified form. It will be understood that virtually any computer architecture can be used without departing from the scope of the present invention. In another embodiment, the computing system 1300 may be a mainframe computer, a server computer, a desktop computer, a laptop computer, a tablet computer, a home entertainment computer, a network computing device, a mobile computing device, a mobile communication device, A display device, a transmissive display device, and the like.

컴퓨팅 시스템(1300)은 로직 서브시스템(1302) 및 데이터 홀딩 서브시스템(1304)을 포함한다. 컴퓨팅 시스템(1300)은 디스플레이 서브시스템(1306), 센서 서브시스템(1308), 통신 서브시스템(1310) 및/또는 도 13 에 도시되지 않은 다른 구성요소를 선택적으로 포함될 수 있다. 또한, 컴퓨팅 시스템(1300)은 또한 예를 들어 키보드, 마우스, 게임 컨트롤러, 카메라, 마이크, 및/또는 터치 스크린과 같은 사용자 입력 장치도 선택적으로 포함할 수 있다.The computing system 1300 includes a logic subsystem 1302 and a data holding subsystem 1304. The computing system 1300 may optionally include a display subsystem 1306, a sensor subsystem 1308, a communication subsystem 1310, and / or other components not shown in FIG. In addition, the computing system 1300 may also optionally include user input devices such as, for example, a keyboard, a mouse, a game controller, a camera, a microphone, and / or a touch screen.

로직 서브시스템(1302)은 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 다른 논리 구조의 일부인 하나 이상의 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 동작을 수행하고, 데이터 타입을 구현하고, 하나 이상의 장치 상태를 변환하거나, 또는 그외 다른 결론에 도달하도록 구현될 수 있다. The logic subsystem 1302 may include one or more physical devices configured to execute one or more instructions. For example, a logic subsystem may be configured to execute one or more instructions that are part of one or more applications, services, programs, routines, libraries, objects, components, data structures, or other logical structures. These instructions may be implemented to perform operations, implement data types, convert one or more device states, or otherwise arrive at a conclusion.

로직 서브시스템은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가로 또는 이와 달리, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 단일 코어 또는 멀티코어일 수 있으며, 실행되는 프로그램은 병렬 또는 분산 프로세싱을 위해 구성될 수 있다. 로직 서브시스템은 계획된 프로세싱을 위해 원거리에 위치하거나 및/또는 구성될 수 있는 둘 이상의 장치를 통해 분산된 개별적인 구성요소를 선택적으로 포함할 수 있다. 로직 서브시스템의 하나 이상의 측면은 클라우드 컴퓨팅 구성에서 구성된 원격 접근가능한 네트워킹 컴퓨팅 장치에 의해 가상화되고 실행될 수 있다.The logic subsystem may include one or more processors configured to execute software instructions. Additionally or alternatively, the logic subsystem may include one or more hardware or firmware logic machines configured to execute hardware or firmware instructions. The processor of the logic subsystem may be a single core or a multicore, and the executed program may be configured for parallel or distributed processing. The logic subsystem may optionally include discrete components distributed over two or more devices that may be located and / or configured remotely for planned processing. One or more aspects of the logic subsystem may be virtualized and executed by a remotely accessible networking computing device configured in a cloud computing configuration.

데이터 홀딩 서브시스템(1304)은 본 명세서에 기술된 방법 및 프로세스를 구현하도록 로직 서브시스템에 의해 실행가능한 데이터 및/또는 명령어를 홀딩하도록 구성된 하나 이상의 물리적이고 비일시적인(non-transitory) 장치를 포함할 수 있다. 이러한 방법 및 프로세스가 구현될 때, 데이터 홀딩 서브시스템(504)의 상태는 (예컨대, 다른 데이터를 홀딩하기 위해서) 변형될 수 있다.Data holding subsystem 1304 may include one or more physical and non-transitory devices configured to hold data and / or instructions executable by a logic subsystem to implement the methods and processes described herein . When such methods and processes are implemented, the state of the data holding subsystem 504 may be modified (e.g., to hold other data).

데이터 홀딩 서브시스템(1304)은 제거가능한 미디어 및/또는 내장 장치를 포함할 수 있다. 데이터 홀딩 서브시스템(1304)은 특히 광학적 메모리 장치 (예를 들어, CD, DVD, HD-DVD, Blu-Ray Disc 등), 반도체 메모리 장치(예를 들어, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 장치(예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 데이터 홀딩 서브시스템(1304)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스 가능, 파일 어드레스 가능 및 콘텐츠 어드레스 가능과 같은 특징들 중 하나 이상을 갖는 장치를 포함할 수 있다. 일부 실시예에서, 로직 서브시스템(1302) 및 데이터 홀딩 서브시스템(1304)은 애플리케이션 특정 집적 회로 또는 SOC(system on a chip)과 같은 하나 이상의 공통의 장치에 집적될 수도 있다.Data holding subsystem 1304 may include removable media and / or embedded devices. The data holding subsystem 1304 may be implemented in a computer-readable medium such as, but not limited to, an optical memory device (e.g., CD, DVD, HD-DVD, Blu-Ray Disc, etc.), a semiconductor memory device (e.g. RAM, EPROM, EEPROM, etc.) Magnetic memory devices (e.g., hard disk drives, floppy disk drives, tape drives, MRAM, etc.). The data holding subsystem 1304 may have one or more of the following characteristics: volatile, nonvolatile, dynamic, static, read / write, read only, random access, sequential access, location addressable, file addressable and content addressable Device. In some embodiments, the logic subsystem 1302 and data holding subsystem 1304 may be integrated into one or more common devices, such as application specific integrated circuits or system on a chip (SOC).

또한 도13은 제거가능한 컴퓨터 판독가능 저장 매체(1312)의 형태 측면에서 데이터 홀딩 서브시스템을 도시하며, 이 컴퓨터 판독가능 저장 매체는 본 명세서에 기술된 방법 및 프로세스를 구현하도록 실행가능한 데이터 및/또는 명령어를 저장 및/또는 전송하기 위해 사용될 수 있다. 제거가능한 컴퓨터 판독가능 저장 매체(1312)는 특히 CD, DVD, HD-DVD, Blu-Ray Disc, EEPROM, 및/또는 플로피 디스크의 형태를 가질 수 있다.Figure 13 also illustrates a data holding subsystem in terms of the form of removable computer readable storage medium 1312 that may contain executable data and / or instructions to implement the methods and processes described herein May be used to store and / or transmit instructions. Removable computer readable storage medium 1312 may be in the form of a CD, DVD, HD-DVD, Blu-Ray Disc, EEPROM, and / or floppy disk, among others.

데이터 홀딩 서브시스템(1304)은 하나 이상의 물리적인 비일시적 장치를 포함한다는 것을 이해해야 한다. 반면에, 어떤 실시예에서, 본 명세서에 기술된 명령어는 적어도 한정된 기간 동안 물리적 장치에 의해 홀딩되지 않는 순수한 신호(예를 들어, 전자기 신호, 광학 신호 등)에 의해 일시적인 방식으로 전파될 수 있다. 또한, 본 발명과 관련된 데이터 및/또는 정보의 다른 형태가 순수한 신호에 의해 전파될 수도 있다.It should be appreciated that the data holding subsystem 1304 includes one or more physical non-volatile devices. On the other hand, in some embodiments, the instructions described herein may be propagated in a temporal manner by pure signals (e.g., electromagnetic signals, optical signals, etc.) that are not held by the physical device for at least a limited period of time. Other forms of data and / or information associated with the present invention may also be propagated by pure signals.

"프로그램"이라는 용어는 하나 이상의 특정 기능을 수행하기 위해 구현되는 컴퓨팅 시스템(1300)의 측면을 기술하는데 사용될 수 있다. 어떤 경우에, 프로그램은 데이터 홀딩 서브시스템(1304)에 의해 홀딩되는 명령어를 실행하는 로직 서브시스템(1302)을 통해 인스턴스화(instantiated) 될 수 있다. 상이한 프로그램이 동일한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등으로부터 인스턴스화 될 수 있음을 이해할 것이다. 마찬가지로, 동일한 프로그램이 상이한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등에 의해 인스턴스화 될 수 있다. "프로그램"이라는 용어는 개인 또는 그룹의 실행가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등을 포함하는 것을 의미할 수 있다.The term "program" can be used to describe aspects of computing system 1300 that are implemented to perform one or more specific functions. In some cases, the program may be instantiated through a logic subsystem 1302 that executes the instructions held by the data holding subsystem 1304. It will be appreciated that different programs may be instantiated from the same application, service, code block, object, library, routine, API, function, Likewise, the same program may be instantiated by different applications, services, code blocks, objects, libraries, routines, APIs, functions, The term "program" may include an executable file, data file, library, driver, script, database record, etc., of an individual or group.

본 명세서에서 사용된 "서비스"는 다수의 사용자 세션에 대해 실행가능하고 하나 이상의 시스템 컴포넌트, 프로그램, 및/또는 다른 서비스에 사용가능한 애플리케이션 프로그램일 수도 있다. 어떤 실시예에서, 서비스는 클라이언트로부터의 요청에 반응하여 서버에서 실행될 수 있다.As used herein, a "service" may be an application program executable for a plurality of user sessions and usable for one or more system components, programs, and / or other services. In some embodiments, the service may be executed at the server in response to a request from the client.

디스플레이 서브시스템(1306)이 포함되는 경우, 디스플레이 서브시스템(1306)은 데이터 홀딩 서브시스템(1304)에 의해 홀딩되는 데이터의 시각적 표현을 나타내는데에 사용될 수 있다. 예를 들어, 디스플레이 서브시스템(1306)은 상술한 바와 같이 투과형 디스플레이가 될 수 있다. 본 명세서에 기술된 방법 및 프로세스가 데이터 홀딩 서브시스템에 의해 홀딩되는 데이터를 변경하고, 그에 따라 데이터 홀딩 서브시스템의 상태를 변형하기 때문에, 디스플레이 서브시스템(1306)의 상태는 하부(underlying) 데이터에서의 변화를 시각적으로 표현하도록 유사하게 변형될 수 있다. 디스플레이 서브시스템(1306)은 임의의 형태의 기술을 가상적으로 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 공유된 범위에서 로직 서브시스템(1302) 및/또는 데이터 홀딩 서브시스템(1304)과 결합될 수 있거나, 또는 이러한 디스플레이 장치는 주변 디스플레이 장치일 수 있다.When the display subsystem 1306 is included, the display subsystem 1306 may be used to represent a visual representation of the data held by the data holding subsystem 1304. For example, the display subsystem 1306 may be a transmissive display as described above. Because the methods and processes described herein alter data that is held by the data holding subsystem and thus modify the state of the data holding subsystem, the state of the display subsystem 1306 is changed from the underlying data Lt; RTI ID = 0.0 & Display subsystem 1306 may include one or more display devices that virtually utilize any type of technology. Such a display device may be combined with the logic subsystem 1302 and / or the data holding subsystem 1304 in a shared range, or such a display device may be a peripheral display device.

통신 서브시스템(1310)이 포함되는 경우, 통신 서브시스템은 하나 이상의 다른 컴퓨팅 장치와 컴퓨팅 시스템(1300)을 통신적으로 연결하도록 구성될 수 있다. 예를 들어, 투과형 디스플레이의 경우, 통신 서브시스템(1310)은 통신 시스템(1300)을 하나 이상의 다른 투과형 디스플레이, 게임 콘솔, 키오스크, 제어 장치 및/또는 다른 컴퓨팅 장치와 통신적으로 연결하도록 구성될 수 있다. 통신 서브시스템(1310)은 하나 이상의 상이한 통신 프로토콜과 상호호환가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예시로서, 통신 서브시스템은 무선 전화 네트워크, 무선 로컬 영역 네트워크, 유선 로컬 영역 네트워크, 무선 광역 네트워크, 유선 광역 네트워크 등을 통해 통신하도록 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(1300)이 인터넷과 같은 네트워크를 통해서 다른 장치로 및/또는 다른 장치로부터 메시지를 송신 및/또는 수신하는 것을 가능케 할 수 있다.When a communications subsystem 1310 is included, the communications subsystem may be configured to communicatively connect the computing system 1300 to one or more other computing devices. For example, in the case of a transmissive display, the communication subsystem 1310 may be configured to communicatively connect the communication system 1300 to one or more other transmissive displays, game consoles, kiosks, control devices, and / or other computing devices have. Communication subsystem 1310 may include wired and / or wireless communication devices that are interoperable with one or more different communication protocols. By way of example and not limitation, the communication subsystem may be configured to communicate via a wireless telephone network, a wireless local area network, a wired local area network, a wireless wide area network, a wired wide area network, or the like. In some embodiments, the communications subsystem may enable the computing system 1300 to send and / or receive messages to and / or from other devices over a network such as the Internet.

센서 서브시스템(1308)은 전술한 상이한 물리적 현상(예를 들어, 가시광, 적외선, 가속, 배향, 위치 등)을 센싱하도록 구성된 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 서브시스템(1308)은 하나 이상의 이미지 센서, 가속도와 같은 모션 센서, 터치 패드, 터치 스크린 및/또는 다른 적절한 센서를 포함할 수 있다. 따라서, 센서 서브시스템(1308)은, 예를 들어, 로직 서브시스템(1302)으로 관찰 정보를 제공하도록 구성될 수 있다. 전술한 바와 같이, 이미지 데이터, 모션 센서 데이터 및/또는 다른 적절한 센서 데이터와 같은 관찰 정보는 사용자에 의해 수행되는 특정 제스쳐를 결정하는 것, 사용자의 시선을 감지하는 것, 물체 인식을 수행하는 것 등과 같은 동작을 수행하기 위해 사용될 수 있다.The sensor subsystem 1308 may include one or more sensors configured to sense the different physical phenomena (e.g., visible light, infrared, acceleration, orientation, position, etc.) described above. For example, the sensor subsystem 1308 may include one or more image sensors, a motion sensor such as an acceleration, a touchpad, a touch screen, and / or other suitable sensors. Thus, the sensor subsystem 1308 can be configured to provide observation information, for example, to the logic subsystem 1302. [ As discussed above, observation information, such as image data, motion sensor data, and / or other appropriate sensor data, can be used to determine a specific gesture performed by a user, to sense a user's gaze, to perform object recognition, Can be used to perform the same operation.

일부 실시예에서, 센서 서브시스템(1308)은 구조 광 카메라, 경과 시간(time-of flight) 카메라, 스테레오 카메라 시스템 또는 임의의 다른 적절한 깊이-해상 카메라를 포함하되 이에 한정되지 않는 깊이 카메라(예를 들어, 도 2의 외부를 향하는 센서 206)를 포함할 수 있다.In some embodiments, the sensor subsystem 1308 may be a depth camera (e.g., a digital camera), including but not limited to a structural light camera, a time-of-flight camera, a stereo camera system or any other suitable depth- For example, an outward facing sensor 206 of FIG. 2).

어떤 실시예에서, 센서 서브시스템(1308)은 가시광선 카메라를 포함할 수 있다. 사실상 임의의 타입의 디지털 카메라 기술이 본 발명의 범위를 벗어나지 않으면서 사용될 수 있다. 비제한적인 예시로서, 가시광선 카메라는 전하 결합 디바이스 이미지 센서를 포함할 수 있다. In some embodiments, the sensor subsystem 1308 may include a visible light camera. Virtually any type of digital camera technology can be used without departing from the scope of the present invention. As a non-limiting example, a visible light camera may include a charge coupled device image sensor.

다양한 변형이 가능하기 때문에, 본 명세서에 기술된 구성 및/또는 접근법은 예시적인 것이며, 이러한 특정 실시예 또는 예시들은 제한적인 의미로 간주되어서는 안 된다는 것을 이해할 것이다. 본 명세서에 기술된 특정 루틴 또는 방법은 하나 이상의 임의의 수의 프로세싱 전략을 나타낼 수도 있다. 이와 같이, 앞서 설명된 다양한 동작들은 설명된 것과 같이 순차적으로, 또는 다른 순서로, 동시에, 또는 일부는 생략되어 수행될 수도 있다. 유사하게, 전술된 프로세스의 순서가 변경될 수도 있다.It is to be understood that the configurations and / or approaches described herein are exemplary and that the specific embodiments or examples should not be construed as limiting in any way. The particular routine or method described herein may represent one or more any number of processing strategies. As such, the various operations described above may be performed sequentially, in a different order, concurrently, or partially omitted, as described. Similarly, the order of the processes described above may be changed.

본 발명의 청구물은 본 명세서에 개시된 다양한 프로세스, 시스템 및 구성과, 그 외의 특징, 기능, 동작, 및/또는 특성의 신규하고 진보한 모든 조합 및 그 서브조합은 물론 이들의 임의의 모든 균등물을 포함한다.The claims of the present invention are intended to encompass all such novel and advanced combinations and subcombinations of the various processes, systems and configurations described herein as well as other features, functions, operations, and / or characteristics as well as any and all equivalents thereof .

Claims (10)

투과형 디스플레이(a see-through display) 및 외향 이미지 센서(outward-facing image sensor)를 포함하는 투과형 디스플레이 장치상에 제어 장치를 위한 교육용 정보를 제공하는 방법으로서,
상기 투과형 디스플레이를 통해 보이는 장면(scene)의 이미지를 획득하는 단계와,
상기 장면내의 제어 장치를 감지하는 단계와,
상기 제어 장치의 쌍방향 요소(interactive element)의 기능에 관한 정보를 검색하는 단계와,
상기 투과형 디스플레이상에 상기 제어 장치의 상기 쌍방향 요소의 외관(appearance)을 상기 쌍방향 요소의 기능과 관련된 이미지 데이터로 증강시키는 이미지를 표시하는 단계를 포함하는
교육용 정보를 제공하는 방법.
A method of providing training information for a control device on a transmissive display device including a see-through display and an outward-facing image sensor,
Obtaining an image of a scene viewed through the transmissive display;
Detecting a control device in the scene,
Retrieving information about a function of an interactive element of the control device;
Displaying an image on the transmissive display that enhances the appearance of the bi-directional element of the control device to image data associated with the function of the bi-directional element
How to provide educational information.
제 1 항에 있어서,
상기 이미지는 상기 쌍방향 요소의 기능에 관련된 그래픽 요소를 포함하되, 상기 그래픽 요소는 상기 쌍방향 요소 위의 상기 투과형 디스플레이 상에 표시되는
교육용 정보를 제공하는 방법.
The method according to claim 1,
Wherein the image includes a graphical element related to the function of the bi-directional element, the graphical element being displayed on the transmissive display on the bi-
How to provide educational information.
제 1 항에 있어서,
상기 이미지는 상기 쌍방향 요소를 기술하는 텍스트 정보를 포함하는 텍스트 상자를 포함하는
교육용 정보를 제공하는 방법.
The method according to claim 1,
Wherein the image comprises a text box containing textual information describing the interactive element
How to provide educational information.
제 3 항에 있어서,
상기 텍스트 상자의 선택을 수신하고 그에 응답하여 상기 투과형 디스플레이 장치상에 부가 정보를 표시하는 단계를 더 포함하는
교육용 정보를 제공하는 방법.
The method of claim 3,
Receiving the selection of the text box and displaying additional information on the transmissive display device in response thereto
How to provide educational information.
제 1 항에 있어서,
상기 이미지는 애니메이션을 포함하는
교육용 정보를 제공하는 방법.
The method according to claim 1,
The image may include animation
How to provide educational information.
제 1 항에 있어서,
상기 정보를 검색하는 단계는 상기 제어 장치 및 네트워크 기반 서비스 중 하나 이상으로부터 상기 정보를 검색하는 단계를 포함하는
교육용 정보를 제공하는 방법.
The method according to claim 1,
Wherein retrieving the information comprises retrieving the information from at least one of the control device and the network-based service
How to provide educational information.
휴대용 투과형 디스플레이 장치(a portable see-through display device)로서,
이미지 센서와,
투과형 디스플레이와,
로직 서브시스템(logic subsystem)과,
상기 로직 서브시스템에 의해 실행가능한 명령어를 포함하는 데이터 홀딩 서브시스템 (data-holding subsystem)을 포함하되,
상기 명령어는,
상기 투과형 디스플레이를 통해 보이는 장면의 이미지를 획득하고,
상기 장면내의 제어 장치를 감지하고,
상기 제어 장치의 쌍방향 요소의 기능에 관한 정보를 검색하고,
상기 투과형 디스플레이상에 상기 제어 장치의 상기 쌍방향 요소의 외관을 증강시키는 이미지를 표시-상기 이미지는 상기 쌍방향 요소의 기능에 관련됨-하고,
상기 쌍방향 요소의 기능의 변화를 감지하고,
상기 기능의 변화에 관련된 수정된 정보를 제공하는 수정된 이미지를 표시하도록 실행가능한,
휴대용 투과형 디스플레이 장치
A portable see-through display device,
An image sensor,
A transmissive display,
A logic subsystem,
A data-holding subsystem comprising instructions executable by the logic subsystem,
Wherein the command comprises:
Acquiring an image of a scene viewed through the transmissive display,
Detecting a control device in the scene,
Retrieves information on the function of the bi-directional element of the control device,
Wherein the image is indicative of an enhancement of the appearance of the bi-directional element of the control device on the transmissive display, the image being related to a function of the bi-
Detecting a change in the function of the bi-directional element,
Executable to display a modified image providing modified information related to a change in the function,
Portable transmissive display device
제 7 항에 있어서,
상기 명령어는,
상기 제어 장치에 의해 제어되고 있는 애플리케이션의 현재 상태의 변화를 감지함으로써 상기 쌍방향 요소의 기능의 변화를 감지하도록 실행가능한
휴대용 투과형 디스플레이 장치
8. The method of claim 7,
Wherein the command comprises:
To detect a change in the function of the bi-directional element by sensing a change in the current state of the application being controlled by the control device
Portable transmissive display device
제 7 항에 있어서,
상기 명령어는,
상기 장면내에서 키보드를 감지하고,
상기 투과형 디스플레이 상에 상기 키보드에 의해 제어되고 있는 애플리케이션에 따라 상기 키보드의 키의 외관을 증강시키는 이미지를 표시하도록 실행가능한
휴대용 투과형 디스플레이 장치
8. The method of claim 7,
Wherein the command comprises:
Detecting a keyboard in the scene,
And to display an image that enhances the appearance of the keys of the keyboard in accordance with the application being controlled by the keyboard on the transmissive display
Portable transmissive display device
제 7 항에 있어서,
상기 제어 장치의 선택된 쌍방향 요소로의 상기 투과형 디스플레이 장치의 사용자의 시선을 감지하도록 구성된 내향 센서(inward-facing sensor)를 더 포함하되,
상기 명령어는
다른 쌍방향 요소가 아닌 상기 선택된 쌍방향 요소의 외관을 증강시키는 이미지를 표시하도록 더 수행가능한
휴대용 투과형 디스플레이 장치8. The method of claim 7,
Further comprising an inward-facing sensor configured to sense a user's gaze of the transmissive display device to a selected bi-directional element of the control device,
The command
Further performing to display an image that enhances the appearance of the selected bi-directional element other than the other bi-directional element
Portable transmissive display device
KR1020130158799A 2013-12-18 2013-12-18 Augmented reality overlay for control devices KR102104136B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130158799A KR102104136B1 (en) 2013-12-18 2013-12-18 Augmented reality overlay for control devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130158799A KR102104136B1 (en) 2013-12-18 2013-12-18 Augmented reality overlay for control devices

Publications (2)

Publication Number Publication Date
KR20150071594A true KR20150071594A (en) 2015-06-26
KR102104136B1 KR102104136B1 (en) 2020-05-29

Family

ID=53517841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130158799A KR102104136B1 (en) 2013-12-18 2013-12-18 Augmented reality overlay for control devices

Country Status (1)

Country Link
KR (1) KR102104136B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068615A (en) * 2016-10-27 2019-06-18 알리바바 그룹 홀딩 리미티드 User interface for inputting information in virtual reality environment
CN110134197A (en) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 Wearable control equipment, virtual/augmented reality system and control method
KR20200075115A (en) * 2018-12-12 2020-06-26 한국광기술원 Apparatus and Method for Editing Files Anywhere Using Augmented Reality

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241792A1 (en) * 2004-12-22 2006-10-26 Abb Research Ltd. Method to generate a human machine interface
US7814122B2 (en) * 1999-03-25 2010-10-12 Siemens Aktiengesellschaft System and method for documentation processing with multi-layered structuring of information
KR20100130102A (en) * 2009-06-02 2010-12-10 엘지전자 주식회사 Mobile terminal and control method thereof
US20110221672A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Hand-worn control device in an augmented reality eyepiece
KR20110118421A (en) * 2010-04-23 2011-10-31 엘지전자 주식회사 Augmented remote controller, augmented remote controller controlling method and the system for the same
KR20120132096A (en) * 2011-05-27 2012-12-05 엘지전자 주식회사 Mobile terminal and operation control method thereof
US9329678B2 (en) * 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7814122B2 (en) * 1999-03-25 2010-10-12 Siemens Aktiengesellschaft System and method for documentation processing with multi-layered structuring of information
US20060241792A1 (en) * 2004-12-22 2006-10-26 Abb Research Ltd. Method to generate a human machine interface
KR20100130102A (en) * 2009-06-02 2010-12-10 엘지전자 주식회사 Mobile terminal and control method thereof
US20110221672A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Hand-worn control device in an augmented reality eyepiece
KR20110118421A (en) * 2010-04-23 2011-10-31 엘지전자 주식회사 Augmented remote controller, augmented remote controller controlling method and the system for the same
KR20120132096A (en) * 2011-05-27 2012-12-05 엘지전자 주식회사 Mobile terminal and operation control method thereof
US9329678B2 (en) * 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068615A (en) * 2016-10-27 2019-06-18 알리바바 그룹 홀딩 리미티드 User interface for inputting information in virtual reality environment
KR20200075115A (en) * 2018-12-12 2020-06-26 한국광기술원 Apparatus and Method for Editing Files Anywhere Using Augmented Reality
CN110134197A (en) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 Wearable control equipment, virtual/augmented reality system and control method

Also Published As

Publication number Publication date
KR102104136B1 (en) 2020-05-29

Similar Documents

Publication Publication Date Title
US9329678B2 (en) Augmented reality overlay for control devices
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
US10705602B2 (en) Context-aware augmented reality object commands
US10222981B2 (en) Holographic keyboard display
KR102473259B1 (en) Gaze target application launcher
US10120454B2 (en) Gesture recognition control device
US9024844B2 (en) Recognition of image on external display
JP2015118556A (en) Augmented reality overlay for control devices
US9977492B2 (en) Mixed reality presentation
CN111566596B (en) Real world portal for virtual reality displays
US20180150997A1 (en) Interaction between a touch-sensitive device and a mixed-reality device
CN111475059A (en) Gesture detection based on proximity sensor and image sensor
US20200142495A1 (en) Gesture recognition control device
US20180005440A1 (en) Universal application programming interface for augmented reality
CN103752010B (en) For the augmented reality covering of control device
KR102104136B1 (en) Augmented reality overlay for control devices
US9414051B2 (en) Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
EP2886173B1 (en) Augmented reality overlay for control devices
CN113220110A (en) Display system and method

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right