KR20050083908A - Body-centric virtual interactive apparatus and method - Google Patents
Body-centric virtual interactive apparatus and method Download PDFInfo
- Publication number
- KR20050083908A KR20050083908A KR1020057009061A KR20057009061A KR20050083908A KR 20050083908 A KR20050083908 A KR 20050083908A KR 1020057009061 A KR1020057009061 A KR 1020057009061A KR 20057009061 A KR20057009061 A KR 20057009061A KR 20050083908 A KR20050083908 A KR 20050083908A
- Authority
- KR
- South Korea
- Prior art keywords
- tactile
- display
- information interface
- individual
- virtual image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
Abstract
Description
본 발명은 일반적으로 가상 현실 디스플레이들(virtual reality displays)과 사용자 개시 입력(user initiated input)에 관한 것이다.The present invention relates generally to virtual reality displays and user initiated input.
당업계에 있어 가상 현실 디스플레이들은 증강 현실 디스플레이들(augmented reality displays)과 혼합 현실 디스플레이들(mixed reality displays)이 알려져 있다(본원에 있어서, "가상 현실"은 일반적으로 문맥이 특히 다른 것을 나타내지 않는다면 상기 관련된 개념들 중 일부 또는 모두를 언급하는 것으로 이해될 것이다). 일반적으로, 상기 디스플레이들은, 사용자가 관심을 갖고 상호작용하게 되는 원하는 환경을 나타내는 방식으로 사용자에게 시각적 정보(때때로 대응하는 음성 정보로 달성됨)를 제공한다. 상기 디스플레이들은 종종 사용자의 눈에 비교적 가깝게 설치된 디스플레이 장치를 고려하게 된다. 사용자에게 제공된 정보는 전적으로 가상일 수 있거나, 가상과 실세계의 시각적 정보의 혼합으로 구성될 수 있다.Virtual reality displays are known in the art for augmented reality displays and mixed reality displays (herein, "virtual reality" is generally referred to above unless the context indicates particularly different). It will be understood to refer to some or all of the related concepts). In general, the displays provide visual information (sometimes achieved with corresponding voice information) to the user in a manner that indicates the desired environment in which the user is interested and will interact. Such displays often take into account display devices installed relatively close to the eyes of a user. The information provided to the user may be entirely virtual, or may consist of a mixture of virtual and real world visual information.
상기 디스플레이 기술은 현재 시각적으로 호소력 있는(compelling) 및/또는 설득력 있는 가상 현실을 사용자에게 비교적 잘 제공한다. 불행히도, 적어도 일부 애플리케이션들에 대해, 상기 가상 현실들과 설득력 있게 상호 작용하는 사용자의 능력은 상기 디스플레이 기술에 뒤진다. 예를 들어, 소위 원격 현장감(telepresence)을 위한 가상 현실 디스플레이들은 실제로 사용자와 거리를 두고 위치된 다른 개인들과의 대면 회의(face-to-face conference)시 외관상으로 사용자를 배치하는데 사용될 수 있다. 사용자는 다른 개인들과의 가상 표현을 보고 들을 수 있고, 일상적인 담화(verbal discourse)를 실현하기 위해 비교적 설득력 있고 직관적인 방식으로 상기 가상 표현들과 상호 작용할 수 있지만, 기존의 가상 현실 시스템들은 유사한 수준의 촉각적-입력 정보 인터페이스 기회들(tactile-entry information interface opportunities)을 반드시 제공하지 않는다.The display technology presently provides the user with a relatively visually compelling and / or convincing virtual reality. Unfortunately, for at least some applications, the user's ability to convincingly interact with the virtual realitys lags behind the display technology. For example, so-called virtual reality displays for remote telepresence can be used to visually locate a user in a face-to-face conference with other individuals who are actually located at a distance from the user. Users can see and hear virtual representations with other individuals and interact with the virtual representations in a relatively compelling and intuitive way to realize everyday verbal discourse, but existing virtual reality systems are similar. It does not necessarily provide a level of tactile-entry information interface opportunities.
예를 들어, 사용자의 시야 내에서 일반적인 컴퓨터 디스플레이의 가상 뷰를 본질적으로 중지시키는 것은 알려져 있다. 사용자는 예를 들어, 일반적인 실세계 마우스 또는 다른 실세계 커서 제어 장치(예를 들어, 조이스틱들(joysticks), 트랙볼들(trackballs), 및 다른 위치/방향 센서들을 포함함)를 사용하여 이 정보 포털(portal)과 상호 작용한다. 어떤 상황들에는 적합하지만, 상기 시나리오는 종종 아쉬운 점이 많이 남는다. 예를 들어, 어떤 사용자들은 성가시고, 직관적이지 않으며, 및/또는 집중을 흩뜨리는 공간에서 배회하는(특히, 실질적으로 응시 방향에 상관없이 시야 내에 계속 남아있는) 디스플레이 스크린을 고려할 수 있다.For example, it is known to essentially stop a virtual view of a typical computer display within the user's field of view. The user may use this information portal using, for example, a common real world mouse or other real world cursor control device (e.g., including joysticks, trackballs, and other position / direction sensors). ) To interact with. While suitable for some situations, this scenario often leaves much to be desired. For example, some users may consider a display screen that is cumbersome, unintuitive, and / or roaming in a distracting space (in particular, remains substantially in view, regardless of gaze direction).
다른 기존의 접근법들은, 가상 공간에서 사용자가 상호작용할 수 있는 가상 입력-인터페이스 메커니즘의 규정을 포함한다. 예를 들어, 가상 "터치-센서티브(touch-sensitive)" 키패드(keypad)는 사용자 앞의 공간에서 유동하는 것처럼 디스플레이될 수 있다. 적절한 추적 메커니즘들을 통해, 시스템은 사용자가 특정한 키를 "터치"하기 위해 물체(가상 포인터 또는 실세계 손가락 등)를 이동시키는 때를 검출할 수 있다. 그러나, 상기 해결책들이 갖는 한가지 특정한 문제는 상기 접근법을 사용할 때 사용자에 대한 촉각적 피드백의 부족이었다. 예를 들어, 터치-센서티브 표면과의 접촉을 시뮬레이션하는 촉각적 피드백이 없다면, 그 프로세스는 적어도 일부 사용자들에 대해 상당히 덜 직관적이고 및/또는 덜 정확하게 될 수 있다. 어떤 종래의 제안들에서는 명령에 필요한 촉각적 감각을 생성할 수 있는 부가적인 장치들(특수 장갑 등)의 사용을 통해 필요할 때 상기 촉각적 피드백을 제공하는 방식들이 있었다. 그러나, 상기 접근법들은 모든 애플리케이션들에 적합하지 않고, 또한 잠재적으로 상당히 부가적인 비용을 수반한다.Other existing approaches include the definition of a virtual input-interface mechanism that a user can interact in virtual space. For example, a virtual “touch-sensitive” keypad can be displayed as it floats in space in front of the user. With appropriate tracking mechanisms, the system can detect when the user moves an object (such as a virtual pointer or real world finger) to “touch” a particular key. However, one particular problem with the solutions was the lack of tactile feedback to the user when using the approach. For example, without tactile feedback simulating contact with a touch-sensitive surface, the process can be significantly less intuitive and / or less accurate for at least some users. In some conventional proposals there have been ways of providing the tactile feedback when needed through the use of additional devices (such as special gloves) that can produce the tactile sensation required for the command. However, the above approaches are not suitable for all applications and also potentially involve a considerable additional cost.
도 1은 본 발명의 실시예에 따라 구성된 블록도를 포함하는 도면.1 includes a block diagram constructed in accordance with an embodiment of the invention.
도 2는 본 발명의 실시예에 따라 구성된 투-아이 두부 장착형 디스플레이 장치(two-eye head-mounted display device)를 착용한 사용자의 정면도를 포함하는 도면.FIG. 2 includes a front view of a user wearing a two-eye head-mounted display device constructed in accordance with an embodiment of the invention.
도 3은 본 발명의 실시예에 따라 구성된 원-아이 두부 장착형 디스플레이 장치(one-eye head-mounted display device)를 착용한 사용자의 정면도를 포함하는 도면.3 includes a front view of a user wearing a one-eye head-mounted display device constructed in accordance with an embodiment of the invention.
도 4는 본 발명의 실시예에 따라 구성된 흐름도를 포함하는 도면.4 includes a flow chart constructed in accordance with an embodiment of the invention.
도 5는 본 발명의 실시예에 따라 구성된 가상 키패드 촉각적-입력 정보 인터페이스의 투시도를 포함하는 도면.5 includes a perspective view of a virtual keypad tactile-input information interface constructed in accordance with an embodiment of the invention.
도 6은 본 발명의 실시예에 따라 구성된 가상 조이스틱 촉각적-입력 정보 인터페이스의 투시도를 포함하는 도면.6 includes a perspective view of a virtual joystick tactile-input information interface constructed in accordance with an embodiment of the invention.
도 7은 본 발명의 실시예에 따라 구성된 가상 드로잉 영역 촉각적-입력 정보 인터페이스의 투시도를 포함하는 도면.7 includes a perspective view of a virtual drawing area tactile-input information interface constructed in accordance with an embodiment of the invention.
도 8은 본 발명의 실시예에 따라 구성된 가상 스위치 촉각적-입력 정보 인터페이스의 투시도를 포함하는 도면.8 includes a perspective view of a virtual switch tactile-input information interface configured in accordance with an embodiment of the invention.
도 9는 본 발명의 실시예에 따라 구성된 가상 휠 촉각적-입력 정보 인터페이스의 투시도를 포함하는 도면.9 includes a perspective view of a virtual wheel tactile-input information interface constructed in accordance with an embodiment of the invention.
도 10은 본 발명의 또다른 실시예에 따라 구성된 블록도를 포함하는 도면.10 includes a block diagram constructed in accordance with another embodiment of the present invention.
상기 필요성들은 특히 도면들과 관련하여 검토된 이하의 상세한 설명에 기술된 신체-중심의 가상 상호작용 장치 및 방법의 규정을 통해 적어도 부분적으로 합치하게 된다.The above needs are at least partly met through the definition of a body-centric virtual interaction device and method described in the following detailed description, particularly with reference to the drawings.
당업자들은 도면들의 요소들이 간단함과 명료함을 위해 도시되고 있고 반드시 비율에 따라 도시된 것이 아니라는 점을 인식할 것이다. 예를 들어, 도면들에서 일부 요소들의 크기는 본 발명의 다양한 실시예들의 이해를 향상시키는데 도움이 되도록 다른 요소들에 비해 과장될 수 있다. 또한, 상업적으로 가능한 실시예에서 유용하거나 필요한 일반적이지만 잘 이해되는 요소들은 일반적으로 본 발명의 상기 다양한 실시예들에 대한 관점을 방해하지 않도록 기술되지 않을 것이다.Those skilled in the art will appreciate that elements of the figures are shown for simplicity and clarity and are not necessarily drawn to scale. For example, the size of some elements in the figures may be exaggerated relative to other elements to help improve understanding of various embodiments of the present invention. In addition, general but well understood elements that are useful or necessary in commercially possible embodiments will not generally be described so as not to obscure the aspects of the various embodiments of the present invention.
대체로, 상기 다양한 실시예들에 따라, 신체-중심의 가상 상호작용 장치는 신체 부분 위치 검출기, 상기 위치 검출기에 결합되어 미리 결정된 신체 부분에 대해 가깝고 실질적으로 고정된 관계의 촉각적-입력 정보 인터페이스의 출력을 제공하는 가상 이미지 촉각적-입력 정보 인터페이스 발생기, 및 사용자가 미리 결정된 신체 부분과 그것과 가깝고 실질적으로 고정된 관계의 촉각적-입력 정보 인터페이스를 보게 되도록 가상 이미지를 제공하는 디스플레이 중 적어도 하나를 포함한다. In general, according to the various embodiments above, the body-centered virtual interaction device is coupled to a body part position detector, the tactile-input information interface of a near and substantially fixed relationship to a predetermined body part coupled to the position detector. At least one of a virtual image tactile-input information interface generator providing an output and a display providing a virtual image such that the user sees a tactile-input information interface of a predetermined body part and a close and substantially fixed relationship therewith. Include.
신체 부분 위치 검출기는 주어진 애플리케이션에 적절한 하나 이상의 다양한 종류의 마커-기반(marker-based) 및/또는 인식/매칭-기반(recognition/matching-based) 엔진들(engines)을 포함할 수 있다. 실시예에 따라, 미리 결정된 신체 부분 그 자체의 사용자의 뷰는 실제, 가상, 또는 그것들의 조합일 수 있다. 가상 정보 인터페이스는 주어진 설정의 환경들에 어울리게 사용자의 피부, 의복, 또는 그것들의 조합에서 부분적으로 또는 전적으로 오버레이(overlay)될 수 있다.The body part position detector may include one or more various kinds of marker-based and / or recognition / matching-based engines suitable for a given application. According to an embodiment, the user's view of the predetermined body part itself may be real, virtual, or a combination thereof. The virtual information interface can be partially or wholly overlaid on the user's skin, clothing, or a combination thereof to suit the environments of a given setting.
다수의 상기 실시예들에서, 사용자에 아주 근접하게(및 양호하게는 실질적으로 등각인) 정보 인터페이스의 가상 이미지를 제공함으로써, 사용자가 예를 들어 특정한 키를 선택하도록 가상 이미지와 상호작용할 때, 사용자가 사용자 자신의 피부 또는 의복과의 촉각적 접촉에 따라 발생하는 대응하는 촉각적 피드백 수신할 것이다. 상기 접촉은 특히 예를 들어 드로잉 표면의 가상 이미지를 그릴 때 유용한 촉각적 기준 프레임을 제공하는데 도움이 될 수 있다.In many of the above embodiments, the user is provided with a virtual image of the information interface in close proximity (and preferably substantially conformal) to the user, such as when the user interacts with the virtual image to select a particular key, for example. Will receive corresponding tactile feedback that occurs upon tactile contact with the user's own skin or clothing. The contact can be particularly helpful in providing a tactile reference frame that is useful, for example, when drawing a virtual image of the drawing surface.
그렇게 구성되면, 상기 실시예들은 일반적으로 개인 신체 중 적어도 미리 결정된 부분의 현재 위치를 결정하고, 촉각적-입력 정보 인터페이스의 가상 이미지를 형성하며, 개인 신체 중 미리 결정된 부분에 관해 가깝고 실질적으로 고정된 관계의 촉각적-입력 정보 인터페이스의 가상 이미지를 포함하는 디스플레이를 형성하는 것을 제공한다.If so configured, the embodiments generally determine the current location of at least a predetermined portion of the individual body, form a virtual image of the tactile-input information interface, and are closely and substantially fixed relative to the predetermined portion of the individual body. It provides forming a display comprising a virtual image of a tactile-input information interface of a relationship.
이제 도면들, 특히 도 1을 참조하면, 신체 부분 위치 검출기(1)는 미리 결정된 뷰어(viewer)의 뷰 포인트(point of view)에 대해 개인의 미리 결정된 신체 부분의 현재 위치를 검출한다. 미리 결정된 신체 부분은 몸통이나 손가락, 손, 팔, 또는 다리와 같은 부속지지나 그것들의 임의 결합 또는 부분을 포함하지만 이에 한정되지 않는 임의의 신체 부분일 수 있다. 또한, 미리 결정된 신체 부분은 주어진 상황에 적절하게 부분적으로 또는 전적으로 의복을 입을 수 있거나 그렇지 않을 수 있다. 뷰어는 일반적으로 신체 부분 위치 검출기가 검출하는 개인의 신체 부분을 적어도 포함할 것이다. 그러나, 실시예에 따라, 뷰어는 다른 개인을 포함할 수 있고, 및/또는 각각이 신체 부분에 대해 그 자신의 대응하는 뷰 포인트를 갖는 다수의 뷰어들이 있을 수 있다.Referring now to the drawings, and in particular to FIG. 1, the body part position detector 1 detects the current position of an individual's predetermined body part with respect to a point of view of the predetermined viewer. The predetermined body part can be any body part, including but not limited to an appendage, such as a torso or finger, hand, arm, or leg, or any combination or part thereof. In addition, the predetermined body part may or may not be partially or wholly dressed as appropriate for a given situation. The viewer will generally include at least the body part of the individual that the body part position detector detects. However, depending on the embodiment, the viewer may include other individuals, and / or there may be multiple viewers, each with its own corresponding viewpoint to the body part.
개인의 신체 부분의 위치를 검출하기 위해 다수의 알려진 방법들이 있고, 상기 실시예들은 이 점에 있어서는 특히 제한되지 않는다. 대신, 상기 실시예들은 이하를 사용하는 검출 시스템들을 포함하지만 이에 한정되지 않는 하나 이상의 상기 알려져 있는 또는 차후에 개발될 검출 기술들 정도로 구현될 수 있다:There are a number of known methods for detecting the position of an individual's body part, and the embodiments are not particularly limited in this respect. Instead, the embodiments may be implemented to one or more of the above known or later developed detection techniques, including but not limited to detection systems using:
시각적 위치 마커들(Visual position markers);Visual position markers;
자기 위치 마커들(Magnetic position markers);Magnetic position markers;
무선 주파수 위치 마커들(Radio frequency position markers);Radio frequency position markers;
패턴-기반 위치 마커들(Pattern-based position markers);Pattern-based position markers;
형상 인식 엔진들(Shape recognition engines);Shape recognition engines;
제스처 인식 엔진들(Gesture recognition engines); 및Gesture recognition engines; And
패턴 인식 엔진들(Pattern recognition engines).Pattern recognition engines.
상황 및 애플리케이션에 따라, 예를 들어 위치 결정의 증가된 정확도, 위치 달성의 속도, 및/또는 증가된 모니터링 범위를 허용하도록 하나 이상의 상기 검출기(검출기 결합을 용이하게 하도록 동일한 종류의 더 많은 검출기 또는 검출기들의 혼합)를 사용하는 것이 바람직할 수 있다.Depending on the situation and the application, for example, one or more such detectors (more detectors or detectors of the same kind to facilitate detector coupling) to allow for increased accuracy of positioning, speed of position attainment, and / or increased monitoring range. May be preferred).
가상 이미지 촉각적-입력 정보 인터페이스 발생기(12)는 신체 부분 위치 검출기(들)로부터 정보를 수신한다. 상기 발생기는 이하의 기능으로서 적어도 일부의 촉각적-입력 정보 인터페이스의 가상 이미지를 발생한다:The virtual image tactile-input information interface generator 12 receives information from the body part position detector (s). The generator generates a virtual image of at least some tactile-input information interface with the following functions:
- 신체 부분과 정보 인터페이스의 가상 이미지 사이에서 원하는 실질적으로 고정된 미리 결정된 공간과 방향 관계; 및A substantially fixed predetermined space and orientation relationship desired between the body part and the virtual image of the information interface; And
- 미리 결정된 뷰어의 뷰 포인트.-Viewpoint of the predetermined viewer.
그렇게 구성되면, 인터페이스 발생기의 가상 이미지는 촉각적-입력 정보 인터페이스가 사실상 개인에 의해 착용된 것처럼 미리 결정된 신체 부분에 가깝고 본질적으로 부착되어 뷰어에게 나타날 것이다.If so configured, the virtual image of the interface generator will appear to the viewer as close to and essentially attached to the predetermined body part as if the tactile-input information interface was actually worn by the individual.
디스플레이(13)는 발생된 이미지 정보를 수신하고, 결과로서 발생한 이미지들을 뷰어에게 제공한다. 양호한 실시예에서, 디스플레이(13)는 두부 장착형 디스플레이(head-mounted display)를 포함할 것이다. 일시적으로 도 2를 참조하면, 두부 장착형 디스플레이(13)는 뷰어의 양쪽 눈을 위한 시각적 인터페이스(21)를 포함한다. 도시된 특정한 실시예에서, 아이 인터페이스(eye interface;21)는 실질적으로 불투명하다. 그 결과로, 뷰어(22)는 디스플레이(13)가 제공하는 것만을 본다. 그러므로, 상기 디스플레이(13)에서, 촉각적-입력 정보 인터페이스의 가상 이미지 뿐만 아니라 대응하는 신체 부분을 발생하는 것이 필요할 것이다. 일시적으로 도 3을 참조하면, 두부 장착형 디스플레이(13)는 또한 뷰어(22)의 오직 한쪽 눈을 위한 시각적 인터페이스(31)를 포함할 수 있다. 도시된 특정한 실시예에서, 아이 인터페이스(31)는 적어도 부분적으로 투명하다. 그 결과로, 뷰어(22)는 적어도 어느 정도까지는 실세계 뿐만 아니라 디스플레이(13)가 제공하는 가상 세계 이미지들을 볼 수 있다. 그렇게 구성되면, 디스플레이(13)는 단지 촉각적-입력 정보 인터페이스를 그리는 것이 필요할 수 있다. 뷰어의 시각과 지각의 감각은 이 후 원하는 시각적 결과를 생성하도록 정보 인터페이스의 가상 이미지와 신체 부분의 실세계 뷰를 통합할 것이다.The display 13 receives the generated image information and provides the resulting images to the viewer. In a preferred embodiment, the display 13 will comprise a head-mounted display. Referring temporarily to FIG. 2, the head mounted display 13 includes a visual interface 21 for both eyes of the viewer. In the particular embodiment shown, the eye interface 21 is substantially opaque. As a result, viewer 22 sees only what display 13 provides. Therefore, in the display 13 it will be necessary to generate not only a virtual image of the tactile-input information interface but also the corresponding body part. With temporary reference to FIG. 3, the head mounted display 13 may also include a visual interface 31 for only one eye of the viewer 22. In the particular embodiment shown, the eye interface 31 is at least partially transparent. As a result, the viewer 22 can at least to some extent view the real world as well as the virtual world images provided by the display 13. If so configured, the display 13 may only need to draw the tactile-input information interface. The viewer's sense of sight and perception will then integrate the virtual image of the information interface with the real world view of the body part to produce the desired visual result.
상기 디스플레이(13) 예들은 단지 예시적인 것으로 의도되고, 다른 디스플레이 메커니즘들도 물론 호환적으로 사용될 수 있다. 예를 들어, 헬멧-장착형 디스플레이들(helmet-mounted displays)과 다른 헤드기어-장착형 디스플레이들(headgear-mounted displays)은 유사한 방식으로 작용할 것이다. 가상 현실 이미지들을 위해 의도된 투명 및 불투명 디스플레이들 모두를 포함하는 상기 디스플레이들은 당업계에 잘 알려져 있다는 점이 또한 인식될 것이다. 그러므로, 부가적인 상세한 설명들은 간결함과 집중의 보존을 위해 본원에서 제공될 필요가 없다.The display 13 examples are intended to be illustrative only, and other display mechanisms may of course be used interchangeably. For example, helmet-mounted displays and other headgear-mounted displays will work in a similar manner. It will also be appreciated that such displays, including both transparent and opaque displays intended for virtual reality images, are well known in the art. Therefore, additional details need not be provided herein for the sake of brevity and concentration.
이제 도 4를 참조하면, 전술된 플랫폼(flatform)이나 임의의 다른 적합한 플랫폼 또는 시스템을 사용하여, 프로세스는 손이나 손목 영역과 같은 미리 결정된 신체 부분의 현재 위치를 결정한다(41)(물론, 원한다면, 하나 이상이 신체 부분들이 사용자 신체의 다양한 부분들에 위치된 다수의 촉각적-입력 정보 인터페이스들의 사용을 지원하는 방식으로 모니터링될 수 있다). 프로세스는 이 후 대응하는 촉각적-입력 정보 인터페이스 가상 이미지를 형성한다(42). 예를 들어, 정보 인터페이스가 키패드를 포함할 때, 주어진 신체 부분에 대해 가깝고 부착되어 나타나도록 가상 이미지는 특정한 크기, 분명한 공간적 위치, 및 방향을 갖는 상기 키패드를 포함할 것이다. 실시예에 따라, 가상 이미지는 개인 신체의 미리 결정된 부분의 물리적 표면(일반적으로 개인의 피부 및/또는 옷, 다른 의복, 또는 겉옷)에 실질적으로 등각으로, 또는 적어도 실질적으로 그것과 일치하여 나타날 수 있다.Referring now to FIG. 4, using the platform described above or any other suitable platform or system, the process determines 41 the current position of a predetermined body part, such as a hand or wrist region (if desired, of course). One or more body parts may be monitored in a manner that supports the use of multiple tactile-input information interfaces located in various parts of the user's body). The process then forms 42 a corresponding tactile-input information interface virtual image. For example, when the information interface includes a keypad, the virtual image will include the keypad with a particular size, apparent spatial position, and orientation so that it appears close and attached to a given body part. According to an embodiment, the virtual image may appear substantially conformal to, or at least substantially coincident with, the physical surface of the predetermined portion of the individual's body (generally the skin and / or clothing, other clothing, or outerwear of the individual). have.
프로세스가 가상 이미지를 신체 부분에 닿지 않고 가깝게 배치할 때 일부 이점들이 달성될 것이다. 그러나, 다수의 애플리케이션들에 대해, 가상 이미지로 하여금 신체 부분 표면과 일치하여 나타나게 하는 것이 양호할 것이다. 그렇게 구성되면, 사용자가 그것이 전달하는 촉각적-입력 정보 인터페이스로서 가상 이미지와 상호 작용할 때 촉각적 피드백은 본질적으로 사용자에게 이용 가능하다.Some advantages will be achieved when the process places the virtual image close without touching the body part. However, for many applications, it would be desirable to have the virtual image appear consistent with the body part surface. If so configured, tactile feedback is essentially available to the user when the user interacts with the virtual image as the tactile-input information interface it conveys.
프로세스는 이 후 신체 부분과 결합하여 가상 이미지의 디스플레이를 형성한다(43). 이미 언급된 바와 같이, 사용하는 디스플레이(13)의 종류 뿐만 아니라 다른 요소들(운용자가 설립하고자 하는 가상-세계 이머젼(immersion)의 의도된 레벨 등)에 부분적으로 의존하여, 신체 부분은 전적으로 실제, 부분적으로 실제 및 부분적으로 가상, 또는 전적으로 가상일 수 있다. 신체 부분이 전적으로 실-세계인 경우, 디스플레이는 두개의 이미지들을 분명한 하나의 이미지로 결합하도록 사용자의 시각 및 시각 지각을 허용하는 방식으로 가상 이미지를 단지 제공해야 한다. 결과로서 발생한 이미지는 이 후 선택된 뷰어에게 선택된 디스플레이 상에서 제공된다(44).The process then combines with the body part to form a display of the virtual image (43). As already mentioned, depending on the type of display 13 used as well as other factors (such as the intended level of virtual-world immersion the operator wishes to establish, etc.), the body part is entirely real, It may be partially real and partially virtual, or entirely virtual. If the body part is wholly real-world, the display should only present the virtual image in a manner that allows the user's visual and visual perception to combine the two images into one distinct image. The resulting image is then presented 44 to the selected viewer on the selected display.
가상적으로 무한한 수의 정보 인터페이스들은 이런 식으로 성공적으로 그려질 수 있다. 예를 들어, 도 5를 참조하면, 다중-키 키패드(52)가 그려질 수 있다(상기 도면에서, 뷰어의 손의 손바닥(51)에). 물론, 캐패드(52)는 실제로 존재하지 않는다. 그것은 단지 디스플레이(13)를 통해 뷰어에게 나타날 것이다. 뷰어가 이 손을 돌리면, 키패드(52)가 착용되어 있었던 것처럼 또는 그렇지 않으면 뷰어의 부분이었던 것처럼 키패드(52)도 또한 돌 것이다. 유사하게, 뷰어가 손을 눈에 더 가깝게 이동시킴에 따라, 키패드(52)는 손의 증가한 비율을 매칭하도록 크기를 증가시킬 것이다. 또한, 가상 키패드(52)를 신체 부분에 가깝게 배치시킴으로써, 뷰어는 반대 손(도시되지 않음)의 손가락으로 키들 중 하나를 주장하는 것처럼 보이는 적절한 대응하는 촉각적 감각을 경험할 것이다. 예를 들어, 그것에 의해 키를 선택 및 주장하도록 숫자 "1"을 갖는 키 상에 손가락을 놓으면, 사용자는 그 손가락과 손의 손바닥(51) 사이의 접촉으로 인해 진짜 촉각적 감각을 느낄 것이다. 많은 사용자들에 대해, 상기 촉각적 감각은 아마도 그것에 의해 가상 현실 경험을 높이기 위해 상당한 현실 감각을 더할 것이다.A virtually infinite number of information interfaces can be successfully drawn in this way. For example, referring to FIG. 5, a multi-key keypad 52 may be drawn (in the palm 51 of the viewer's hand, in the figure above). Of course, the pad 52 does not actually exist. It will only appear to the viewer via the display 13. When the viewer turns this hand, the keypad 52 will also turn as if the keypad 52 had been worn or otherwise part of the viewer. Similarly, as the viewer moves his hand closer to the eye, the keypad 52 will increase in size to match the increased proportion of the hand. Also, by placing the virtual keypad 52 close to the body part, the viewer will experience the appropriate corresponding tactile sensation that appears to assert one of the keys with the finger of the opposite hand (not shown). For example, placing a finger on a key with the number "1" to select and claim a key by it, the user will feel a real tactile sensation due to the contact between the finger and the palm 51 of the hand. For many users, the tactile sensation will probably add a significant sense of reality to thereby enhance the virtual reality experience.
이미 언급된 바와 같이, 다른 정보 인터페이스들이 또한 가능하다. 도 5은 조이스틱(61) 메커니즘을 그린다. 도 7은 기록 영역(71)을 도시한다. 예를 들어, 후자는 소위 그래피티-기반 필적 인식(grafiti-based handwriting recognition) 또는 다른 형태의 필적 인식 입력을 허용하는데 사용될 수 있다. 필적을 추적하는 것은 적절한 메커니즘들을 사용하여 가상 상황에서 달성되지만, 손바닥(51)(상기 예에서)은 기록(예를 들어 스타일러스(stylus)로)이 발생할 수 있는 진짜 실-세계 표면을 제공한다. 또한, 이런 식으로 신체 부분 상에 기록할 때의 사용자에 의한 촉각적 감각 경험은 적은 공기에서 동일한 동작들을 달성하고자 할 때보다 상당히 보다 호소력 있는 경험을 제공하는 경향이 있을 것이다.As already mentioned, other information interfaces are also possible. 5 depicts a joystick 61 mechanism. 7 shows the recording area 71. For example, the latter can be used to allow so-called graffiti-based handwriting recognition or other forms of handwriting recognition input. Tracking handwriting is accomplished in a virtual situation using appropriate mechanisms, but the palm 51 (in this example) provides a real real-world surface where recording (eg with a stylus) can occur. Also, the tactile sensory experience by the user when recording on the body part in this way will tend to provide a significantly more compelling experience than when trying to achieve the same actions in less air.
도 8은 또다른 정보 인터페이스 예를 도시한다. 여기서, 제1 스위치(81)는 임의의 많은 동작들(예를 들어, 가상 또는 실-세계 환경에서 조명 기구(light fixture) 또는 다른 장치를 제어하는 것 등)을 초래하도록 제공될 수 있고, 제2 슬라이딩 스위치(82)는 다양한 종류의 비례 제어(proportional control)(가상 또는 실-세계 환경에서 조명을 흐릿하게 하는 것 등)를 초래하도록 제공될 수 있다. 그리고 도 9는 모두 휠 인터페이스에 기초한 두개의 다른 인터페이스 예들을 도시한다. 제1 휠 인터페이스(91)는 신체 부분 표면에 수직으로 회전하여 실장되어 일부 대응하는 제어를 초래하도록 회전될 수 있는 휠을 포함한다. 제2 휠 인터페이스(92)는 신체 부분 표면에 본질적으로 평행으로 회전하여 실장되어 일부 대응하는 제어를 초래하도록 또한 회전될 수 있는 휠을 포함한다. 8 shows another information interface example. Here, the first switch 81 can be provided to effect any number of operations (eg, controlling a light fixture or other device in a virtual or real-world environment, etc.), and The two sliding switches 82 may be provided to effect various kinds of proportional control (such as blurring lighting in a virtual or real-world environment). 9 shows two different interface examples, all based on the wheel interface. The first wheel interface 91 includes a wheel that can be rotated to be mounted perpendicular to the body part surface and rotated to result in some corresponding control. The second wheel interface 92 includes a wheel that can also be rotated to be mounted essentially parallel to the body part surface, resulting in some corresponding control.
상기 예들은 단지 예시적인 것이고 잠재적인 인터페이스들과 애플리케이션들의 모든 리스트인 것으로 보여지지 않도록 의도된다. 실제로, 매우 다양한 인터페이스 설계들(단독 또는 결합)은 본원에서 기술된 실시예들과 쉽게 호환 가능하다.The above examples are illustrative only and are not intended to be viewed as a list of all potential interfaces and applications. Indeed, a wide variety of interface designs (alone or in combination) are readily compatible with the embodiments described herein.
이제 도 10을 참조하면, 특정한 실시예의 보다 상세한 예는 신체 부분 위치 검출기(11)를 포함하도록 모션 추적 센서(101)와 모션 추적 서브시스템(102)(당업계에 이해되는 바와 같이 둘 다)을 사용한다. 상기 센서(101)와 대응하는 추적 서브시스템(102)은 매우 적합하고, 실질적으로 연속적으로 기초하여 주어진 팔의 손목 영역과 같이 주어진 신체 부분의 위치를 추적 및 결정할 수 있다. 가상 이미지 발생기(12)는 결과로서 발생한 좌표 데이터를 수신한다. 상기 실시예에서, 가상 이미지 발생기(12)는 원하는 상호작용 장치(상기 예에서, 키패드)의 3차원 그래픽 모델을 지원하는 컴퓨터와 같은 프로그램 가능한 플랫폼을 포함한다. 전술된 바와 같이, 상호작용 장치의 가상 이미지를 규정하는 파라미터들은 흥미있는 신체 부분에 본질적으로 부착되는 것과 같이, 그렇지 않으면 뷰어의 관점으로부터 적절하게 나타나도록 신체 부분에 대해 크기 및 방향 형성되도록 처리된다. 결과적인 가상 이미지(104)는 이 후 환경(106)의 뷰어의 뷰와 결합된다(105)(이것은 주어진 레벨의 가상 이머젼과 디스플레이 메커니즘 그 자체에 적절한 임의의 전술된 방식들로 달성된다). 사용자(22)는 이 후 디스플레이 메커니즘(상기 실시예에서, 안경 디스플레이(13))을 통해 의도된 인터페이스 장치의 이미지를 본다.Referring now to FIG. 10, a more detailed example of a specific embodiment includes motion tracking sensor 101 and motion tracking subsystem 102 (both as understood in the art) to include body part position detector 11. use. The sensor 101 and corresponding tracking subsystem 102 are very suitable and can track and determine the location of a given body part, such as a wrist region of a given arm, on a substantially continuous basis. The virtual image generator 12 receives the resulting coordinate data. In this embodiment, the virtual image generator 12 includes a programmable platform, such as a computer, that supports a three-dimensional graphical model of the desired interaction device (in this example, a keypad). As described above, the parameters defining the virtual image of the interaction device are processed to be sized and oriented with respect to the body part so that it appears otherwise properly from the viewer's point of view, as is essentially attached to the body part of interest. The resulting virtual image 104 is then combined 105 with the viewer's view of the environment 106 (this is accomplished in any of the above described manners appropriate for the given level of virtual immersion and the display mechanism itself). The user 22 then sees an image of the intended interface device via the display mechanism (in the embodiment, the spectacle display 13).
많은 예들에서, 가상 현실 경험의 일반적인 지원 성분들 중 대부분은 이 새로운 결과들을 달성하도록 다소 재이용되기 때문에, 상기 시사들은 부가적인 비용 없이 또는 아주 적은 비용으로 구현될 수 있다. 또한, 상기 실시예들 중 대부분에서, 부가적인 장치의 사용 없이 가상의 촉각적 상호작용과 일치하는 진짜 촉각적 감각의 규정은 중요하고 가치있는 부가적인 이점을 포함한다.In many instances, since most of the general support components of the virtual reality experience are somewhat reused to achieve these new results, the previews can be implemented at no additional cost or at very little cost. In addition, in most of the above embodiments, the definition of genuine tactile sensations consistent with virtual tactile tactile interactions without the use of additional devices includes significant and valuable additional advantages.
당업자는 매우 다양한 변경들, 교대들, 및 조합들이 본 발명의 의도와 범위를 벗어나지 않고 전술된 실시예들에 관해 형성될 수 있고, 상기 변경들, 교대들, 및 조합들은 본 발명에 따른 개념의 범위 내인 것으로 보여진다. 예를 들어, 상기 가르침들은 터치 및/또는 압력 센서(즉, 예를 들어, 사용자의 손가락과 사용자의 인터페이스-타겟된(interface-targeted) 피부 영역 사이의 물리적 접촉을 감지할 수 있는(및/또는 물리적 접촉의 정도를 변경할 수 있는) 센서)의 사용을 통해 확장될 수 있다. 상기 확장은 적절한 설정으로 향상된 해상도 및/또는 폴스 트리거링(false triggering)의 삭제를 유발할 수 있다.Those skilled in the art can make various modifications, alterations, and combinations with respect to the above-described embodiments without departing from the spirit and scope of the present invention, and the alterations, alterations, and combinations of the concept according to the present invention. It is shown to be in range. For example, the teachings can detect (and / or detect) physical contact between a touch and / or pressure sensor (ie, for example, a user's finger and the user's interface-targeted skin area). Through the use of sensors) which can change the degree of physical contact. The extension may cause the enhanced resolution and / or false triggering to be eliminated with appropriate settings.
Claims (23)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/299,289 | 2002-11-19 | ||
| US10/299,289 US20040095311A1 (en) | 2002-11-19 | 2002-11-19 | Body-centric virtual interactive apparatus and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050083908A true KR20050083908A (en) | 2005-08-26 |
Family
ID=32297660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020057009061A KR20050083908A (en) | 2002-11-19 | 2003-11-06 | Body-centric virtual interactive apparatus and method |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20040095311A1 (en) |
| EP (1) | EP1579416A1 (en) |
| JP (1) | JP2006506737A (en) |
| KR (1) | KR20050083908A (en) |
| CN (1) | CN1714388A (en) |
| AU (1) | AU2003287597A1 (en) |
| WO (1) | WO2004047069A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9377858B2 (en) | 2009-10-27 | 2016-06-28 | Samsung Electronics Co., Ltd. | Three-dimensional space interface apparatus and method |
| KR20170095199A (en) * | 2014-12-19 | 2017-08-22 | 인텔 코포레이션 | Virtual wearables |
| US10698535B2 (en) | 2015-05-21 | 2020-06-30 | Nec Corporation | Interface control system, interface control apparatus, interface control method, and program |
Families Citing this family (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| JP4054585B2 (en) * | 2002-02-18 | 2008-02-27 | キヤノン株式会社 | Information processing apparatus and method |
| KR100486739B1 (en) * | 2003-06-27 | 2005-05-03 | 삼성전자주식회사 | Wearable phone and method using the same |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| KR100958491B1 (en) * | 2004-07-30 | 2010-05-17 | 애플 인크. | Mode-based graphical user interfaces for touch sensitive input devices |
| US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| CN1993688B (en) * | 2004-08-03 | 2012-01-18 | 西尔弗布鲁克研究有限公司 | Printing shortening starting time |
| JP2006154901A (en) * | 2004-11-25 | 2006-06-15 | Olympus Corp | Spatial hand-writing device |
| TWI316195B (en) * | 2005-12-01 | 2009-10-21 | Ind Tech Res Inst | Input means for interactive devices |
| JP4883774B2 (en) * | 2006-08-07 | 2012-02-22 | キヤノン株式会社 | Information processing apparatus, control method therefor, and program |
| JP5119636B2 (en) * | 2006-09-27 | 2013-01-16 | ソニー株式会社 | Display device and display method |
| US7835999B2 (en) * | 2007-06-27 | 2010-11-16 | Microsoft Corporation | Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights |
| JP4989383B2 (en) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | Information processing apparatus and information processing method |
| WO2010024029A1 (en) * | 2008-08-29 | 2010-03-04 | 日本電気株式会社 | Command input device, mobile information device, and command input method |
| US20100225588A1 (en) * | 2009-01-21 | 2010-09-09 | Next Holdings Limited | Methods And Systems For Optical Detection Of Gestures |
| US8745494B2 (en) * | 2009-05-27 | 2014-06-03 | Zambala Lllp | System and method for control of a simulated object that is associated with a physical location in the real world environment |
| US20100306825A1 (en) * | 2009-05-27 | 2010-12-02 | Lucid Ventures, Inc. | System and method for facilitating user interaction with a simulated object associated with a physical location |
| US20110199387A1 (en) * | 2009-11-24 | 2011-08-18 | John David Newton | Activating Features on an Imaging Device Based on Manipulations |
| WO2011069152A2 (en) * | 2009-12-04 | 2011-06-09 | Next Holdings Limited | Imaging methods and systems for position detection |
| US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
| US20120249797A1 (en) * | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| WO2011106797A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| US8540571B2 (en) * | 2010-03-31 | 2013-09-24 | Immersion Corporation | System and method for providing haptic stimulus based on position |
| JP2012043194A (en) * | 2010-08-19 | 2012-03-01 | Sony Corp | Information processor, information processing method, and program |
| US10061387B2 (en) * | 2011-03-31 | 2018-08-28 | Nokia Technologies Oy | Method and apparatus for providing user interfaces |
| JP5765133B2 (en) * | 2011-08-16 | 2015-08-19 | 富士通株式会社 | Input device, input control method, and input control program |
| US10030931B1 (en) * | 2011-12-14 | 2018-07-24 | Lockheed Martin Corporation | Head mounted display-based training tool |
| TWI436251B (en) * | 2012-04-30 | 2014-05-01 | Univ Nat Taiwan | Touch type control equipment and method thereof |
| US20130297460A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for facilitating transactions of a physical product or real life service via an augmented reality environment |
| EP2975492A1 (en) | 2013-03-11 | 2016-01-20 | NEC Solution Innovators, Ltd. | Three-dimensional user interface device and three-dimensional operation processing method |
| US9189932B2 (en) * | 2013-11-06 | 2015-11-17 | Andrew Kerdemelidis | Haptic notification apparatus and method |
| KR102096146B1 (en) | 2014-09-02 | 2020-04-28 | 애플 인크. | Semantic framework for variable haptic output |
| CN107209561A (en) * | 2014-12-18 | 2017-09-26 | 脸谱公司 | For the method, system and equipment navigated in reality environment |
| CN104537401B (en) * | 2014-12-19 | 2017-05-17 | 南京大学 | Reality augmentation system and working method based on technologies of radio frequency identification and depth of field sensor |
| GB2535730B (en) * | 2015-02-25 | 2021-09-08 | Bae Systems Plc | Interactive system control apparatus and method |
| US10296359B2 (en) | 2015-02-25 | 2019-05-21 | Bae Systems Plc | Interactive system control apparatus and method |
| CN105630162A (en) * | 2015-12-21 | 2016-06-01 | 魅族科技（中国）有限公司 | Method for controlling soft keyboard, and terminal |
| JP6341343B2 (en) * | 2016-02-08 | 2018-06-13 | 日本電気株式会社 | Information processing system, information processing apparatus, control method, and program |
| JP6256497B2 (en) * | 2016-03-04 | 2018-01-10 | 日本電気株式会社 | Information processing system, information processing apparatus, control method, and program |
| US10643390B2 (en) | 2016-03-30 | 2020-05-05 | Seiko Epson Corporation | Head mounted display, method for controlling head mounted display, and computer program |
| JP2017182460A (en) * | 2016-03-30 | 2017-10-05 | セイコーエプソン株式会社 | Head-mounted type display device, method for controlling head-mounted type display device, and computer program |
| DK179657B1 (en) | 2016-06-12 | 2019-03-13 | Apple Inc. | Devices, methods and graphical user interfaces for providing haptic feedback |
| DK179823B1 (en) | 2016-06-12 | 2019-07-12 | Apple Inc. | Devices, methods, and graphical user interfaces for providing haptic feedback |
| KR102427212B1 (en) * | 2016-07-07 | 2022-07-29 | 소니그룹주식회사 | Information processing devices, information processing methods and programs |
| DK201670720A1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs |
| DK179278B1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, methods and graphical user interfaces for haptic mixing |
| JP6820469B2 (en) * | 2016-12-14 | 2021-01-27 | キヤノンマーケティングジャパン株式会社 | Information processing equipment, information processing system, its control method and program |
| JP6834620B2 (en) * | 2017-03-10 | 2021-02-24 | 株式会社デンソーウェーブ | Information display system |
| US10698488B2 (en) * | 2017-03-31 | 2020-06-30 | VRgluv LLC | Haptic interface devices |
| DK201770372A1 (en) | 2017-05-16 | 2019-01-08 | Apple Inc. | Tactile feedback for locked device user interfaces |
| JP7247519B2 (en) * | 2018-10-30 | 2023-03-29 | セイコーエプソン株式会社 | DISPLAY DEVICE AND CONTROL METHOD OF DISPLAY DEVICE |
| US11137908B2 (en) * | 2019-04-15 | 2021-10-05 | Apple Inc. | Keyboard operation with head-mounted device |
| US20220244788A1 (en) * | 2019-05-22 | 2022-08-04 | Maxell, Ltd. | Head-mounted display |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5381158A (en) * | 1991-07-12 | 1995-01-10 | Kabushiki Kaisha Toshiba | Information retrieval apparatus |
| US5491510A (en) * | 1993-12-03 | 1996-02-13 | Texas Instruments Incorporated | System and method for simultaneously viewing a scene and an obscured object |
| JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
| US6278418B1 (en) * | 1995-12-29 | 2001-08-21 | Kabushiki Kaisha Sega Enterprises | Three-dimensional imaging system, game device, method for same and recording medium |
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
-
2002
- 2002-11-19 US US10/299,289 patent/US20040095311A1/en not_active Abandoned
-
2003
- 2003-11-06 CN CNA2003801036833A patent/CN1714388A/en active Pending
- 2003-11-06 WO PCT/US2003/035680 patent/WO2004047069A1/en active Application Filing
- 2003-11-06 JP JP2004553552A patent/JP2006506737A/en active Pending
- 2003-11-06 EP EP03781842A patent/EP1579416A1/en not_active Withdrawn
- 2003-11-06 KR KR1020057009061A patent/KR20050083908A/en not_active Application Discontinuation
- 2003-11-06 AU AU2003287597A patent/AU2003287597A1/en not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9377858B2 (en) | 2009-10-27 | 2016-06-28 | Samsung Electronics Co., Ltd. | Three-dimensional space interface apparatus and method |
| US9880698B2 (en) | 2009-10-27 | 2018-01-30 | Samsung Electronics Co., Ltd. | Three-dimensional space interface apparatus and method |
| KR20170095199A (en) * | 2014-12-19 | 2017-08-22 | 인텔 코포레이션 | Virtual wearables |
| US10698535B2 (en) | 2015-05-21 | 2020-06-30 | Nec Corporation | Interface control system, interface control apparatus, interface control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040095311A1 (en) | 2004-05-20 |
| JP2006506737A (en) | 2006-02-23 |
| EP1579416A1 (en) | 2005-09-28 |
| CN1714388A (en) | 2005-12-28 |
| WO2004047069A1 (en) | 2004-06-03 |
| AU2003287597A1 (en) | 2004-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20050083908A (en) | Body-centric virtual interactive apparatus and method | |
| Grubert et al. | Effects of hand representations for typing in virtual reality | |
| CN109564472B (en) | Method, medium, and system for selecting an interaction method with a virtual object | |
| TW202105133A (en) | Virtual user interface using a peripheral device in artificial reality environments | |
| CN114637376A (en) | Device, method and graphical user interface for interacting with a three-dimensional environment | |
| US11954245B2 (en) | Displaying physical input devices as virtual objects | |
| US10591988B2 (en) | Method for displaying user interface of head-mounted display device | |
| EP1779369A2 (en) | Audio-visual three-dimensional input/output | |
| US20210004133A1 (en) | Remote touch detection enabled by peripheral device | |
| US20100039377A1 (en) | System and Method for Controlling a Virtual Reality Environment by an Actor in the Virtual Reality Environment | |
| EP3591503B1 (en) | Rendering of mediated reality content | |
| US20240103712A1 (en) | Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments | |
| EP4064211A2 (en) | Indicating a position of an occluded physical object | |
| US11641460B1 (en) | Generating a volumetric representation of a capture region | |
| US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20240103716A1 (en) | Methods for interacting with user interfaces based on attention | |
| EP4254143A1 (en) | Eye tracking based selection of a user interface element based on targeting criteria | |
| US20240036699A1 (en) | Devices, Methods, and Graphical User Interfaces for Processing Inputs to a Three-Dimensional Environment | |
| WO2024064231A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| WO2023049111A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| WO2024064229A1 (en) | Devices, methods, and graphical user interfaces for tabbed browsing in three-dimensional environments | |
| CN116888562A (en) | Mapping a computer-generated touch pad to a content manipulation area | |
| Weber et al. | Advanced Hands and Eyes Interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |