KR20140071365A - 3차원 가상 시나리오와의 상호작용 - Google Patents

3차원 가상 시나리오와의 상호작용 Download PDF

Info

Publication number
KR20140071365A
KR20140071365A KR1020147006702A KR20147006702A KR20140071365A KR 20140071365 A KR20140071365 A KR 20140071365A KR 1020147006702 A KR1020147006702 A KR 1020147006702A KR 20147006702 A KR20147006702 A KR 20147006702A KR 20140071365 A KR20140071365 A KR 20140071365A
Authority
KR
South Korea
Prior art keywords
selection
scenario
virtual
dimensional
display
Prior art date
Application number
KR1020147006702A
Other languages
English (en)
Inventor
리온하드 보겔미어
데이비드 위트만
Original Assignee
이에이디에스 도이치란트 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이에이디에스 도이치란트 게엠베하 filed Critical 이에이디에스 도이치란트 게엠베하
Publication of KR20140071365A publication Critical patent/KR20140071365A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/06Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/20Stereoscopic displays; Three-dimensional displays; Pseudo-three-dimensional displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Abstract

본 발명은 물체에 대한 성공적인 선택이 있을 때 그와 같은 피드백으로 가상의 시나리오 내 물체(301)를 선택하기 위한 3차원 가상 시나리오를 위한 디스플레이 장치(100)에 대한 것이며, 그리고 그와 같은 디스플레이 장치가 있는 작업공간 장치에 대한 것이다. 상기 디스플레이 장치는 가상의 물체에 대한 선택이 있을 때 촉각의 또는 촉각을 이용한, 광학의 또는 음향의 피드백을 출력하도록 디자인된다.

Description

3차원 가상 시나리오와의 상호작용{Interaction with a three-dimensional virtual scenario}
본 발명은 3차원 가상의 시나리오를 위한 디스플레이 장치에 대한 것이다. 특히, 본 발명은 물체들 중 하나를 선택하는 때 피드백으로 가상의 시나리오에서 물체를 선택하기 위한 3차원 가상의 시나리오를 위한 디스플레이 장치, 3차원 가상의 시나리오를 모니터링하고 3차원 가상의 시나리오와 상호작용을 모니터링하기 위한 작업공간 장치(workplace device), 영공의 모니터링을 위해 3차원 가상의 시나리오를 모니터링 하기 위한 작업공간 장치의 사용, 그리고 3차원 시나리오 내 물체들을 선택하기 위한 방법에 대한 것이다.
종래의 디스플레이에서는, 영공의 모니터링을 위한 시스템이 모니터될 영공의 한 영역에 대한 2차원 표현을 제공한다. 이 같은 디스플레이는 지도와 유사한 평면도의 형태로 수행된다. 세 번째 차원(입체)과 관련한 정보, 가령 비행기 또는 다른 비행체의 날아가는 고도는 기록으로 또는 숫자 표시의 형태로 묘사된다.
본 발명의 목적은 관찰자 도는 디스플레이 장치의 오퍼레이터에 의해 가상의 시나리오와 용이하게 상호작용하는 것을 가능하게 하는 3차원 가상의 시나리오를 위한 디스플레이 장치를 제공하는 것이다.
디스플레이 장치, 작업공간 장치, 작업공간 장치의 사용, 방법, 컴퓨터 프로그램 요소 그리고 컴퓨터-판독가능 매체가 독립 청구항 특징에 따라 표시된다. 본 발명의 수정은 종속 청구항과 다음 상세한 설명으로부터 이해될 수 있다.
상기 디스플레이 그리고 작업공간 장치와 관련하여 하기에서 설명된 많은 특징은 방법 단계들로 실시될 수 있기도 하며, 그 반대도 마찬가지이다.
본 발명의 한 특징에 따라, 한 물체를 선택하는 때 피드백으로 가상의 시나리오에서 물체를 선택하기 위한 3차원 가상의 시나리오를 위한 디스플레이 장치가 제공되며, 가상의 시나리오를 위한 표현 유닛(representation unit); 가상의 시나리오 내 한 물체의 터치-조정 선택을 위한 터치 유닛; 상기 가상의 시나리오의 디스플레이 표면에 배치된 터치 유닛을 포함한다. 상기 터치 유닛이 가상의 시나리오의 디스플레이 표면에 배치되며, 3차원 가상의 시나리오에서 물체의 선택이 있을 때 상기 디스플레이 장치의 오퍼레이터로 이에 대한 피드백을 출력한다.
상기 표현 유닛은 입체 디스플레이 기술에 기초할 수 있으며, 이는 특히 3차원 모델 및 데이터 세트의 평가를 위해 사용된다. 입체 디스플레이 기술은 3차원 가상의 시나리오 관찰자가 공간 데이터에 대한 직관적인 이해를 할 수 있도록 한다. 그러나, 상호작용에 대한 제한된 그리고 정교한 구성 가능성으로 인해, 그리고 사용자의 신속한 피로로 인해, 이들 기술은 장시간 활동을 위해서는 현재 사용되지 않는다.
3차원 가상의 시나리오를 관찰하는 때, 수렴(서로에 대한 안구 축의 위치) 그리고 수용(관찰자 눈 렌즈의 굴절력 조정) 사이 충돌이 발생할 수 있다. 자연적인 비젼 중에, 수렴과 수용은 서로 결합 되며, 그리고 이 같은 커플링은 3차원 가상의 시나리오를 관찰하는 때 제거되어야 한다.
이는 눈이 이미지 표현 유닛에 초점이 맞추어 지지만, 안구 축들은 가상의 물체를 조준하여야 하고, 이들 물체들은 공간 도는 가상의 3차원 시나리오에서 상기 이미지 표현 유닛 전방 또는 후방에 위치하기 때문이다. 수렴과 수용 결합의 제거는 3차원 가상의 장면 관찰자에게 두통과 어지럼을 일으키는 포인트로 가시적인 장치에 긴장을 줄 수 있으며, 이 같은 장치에 대하여 싫증을 느끼게 할 수 있다. 특히, 수렴과 수용 사이의 충돌은 또한 상기 가상의 시나리오와 직접 상호작용하는 동안, 가령 손의 실제 위치가 상기 가상의 물체와 겹쳐지는 손을 사용하여 가상의 시나리오의 물체와 상호작용하는 동안 오퍼레이터의 결과로 발생 된다. 이 같은 경우, 수용과 수렴 사이 충돌은 강화될 수 있다.
종래 3차원 가상의 시나리오와 사용자의 직접적인 상호작용은 가령 특수한 장갑이 착용될 것을 필요로 할 수 있다. 이들 장갑은 한편으로 사용자 손의 위치 검출을 가능하게 하고 다른 한편으로 가령 가상의 물체와 접촉하게 되는 때 해당하는 진동이 트리거될 수 있도록 한다. 이와 같은 경우, 손의 위치는 대개 광학적 검출 시스템을 사용하여 검출된다. 상기 가상의 시나리오와 상호작용하기 위해, 사용자는 전형적으로 공간에 있는 이들 손을 사용자 정면으로 이동시킨다. 팔의 고유한 무게 그리고 장갑의 추가 무게는 사용 시간을 제한할 수 있는데, 이는 사용자가 빠르게 피로를 느끼기 때문이다.
특히 영공 감시 그리고 항공 분야에서, 현재의 영공 상황 그리고 앞으로의 진행을 잘 이해하기 위해 두 종류의 정보가 요구되는 상황이 있다. 이들은 한편으로 전체 상황에 대한 전체적인 관측이고 다른 한편으로 잠정적인 충돌 상황과 관련된 요소들에 대한 더욱 세부 관측이 있다. 예를 들면, 두 비행체 사이 충돌 상황을 해결할 필요가 있는 에어 트래픽 제어기는 현재 충돌 해결이 새로운 충돌을 발생시키는 것을 막기 위해 환경의 다른 기본 컨디션들을 이들 솔루션에 통합하면서 두 비행체 궤적을 상세하게 분석해야 한다.
공간 시나리오를 표현하기 위한 각각의 디스플레이는 가령 영공의 3차원 시나리오에 대한 그래픽 표현을 가능하게 하는 동안, 그 같은 표현의 모호함으로 인해 보안이 중요한 애플리케이션에는 적합하지 않다.
본 발명의 한 특징에 따라, 전체 및 세부 표현 모두를 동시에 가능하게 하는 3차원 시나리오의 표현이 제공되며, 이는 사용자가 3차원 가상의 시나리오와 상호작용하는 간단하고 직접적인 방법을 가능하게 하며, 거의 피로를 일으키지 않으며 사용자의 가시적인 장치를 보호하는 사용을 가능하게 한다.
상기 표현 유닛은 사용자에게 3차원 시나리오의 인상을 주도록 디자인된다. 그와 같이 함에 있어, 상기 표현 유닛은 관찰자의 개별적인 눈 각각에 대한 각기 다른 이미지를 투영하는 적어도 두 개의 투영 장치를 가질 수 있다. 그러나, 이 같은 투영 유닛은 또한 각기 다르게 편광된 이미지를 디스플레이하도록 디자인될 수 있으며, 관찰자의 안경이 적절히 편광된 렌즈를 가져서 눈 각각이 한 이미지를 인식할 수 있도록 하고, 이는 관찰자에게 3차원 인상을 발생시킨다. 3차원 시나리오 표현을 위한 어떠한 기술도 본 발명의 맥락에 비추어 표현 유닛으로 사용될 수 있는 것임을 주목하여야 한다.
터치 유닛은 상기 3차원 가상의 시나리오 내 물체에 대한 터치-제어 선택을 위한 입력 유닛이다.이 같은 터치 유닛은 가령 투명할 수 있으며, 상기 가상의 시나리오의 3차원 표현 공간에 배치되며, 사용자가 한 손 또는 두 손을 사용하여 3차원 표현 공간에 도달하여 터치 유닛을 터치하는 때 상기 가상의 시나리오 물체가 선택되도록 한다. 상기 터치 유닛은 3차원 표현 공간 내 또는 3차원 표현 공간 바깥 어떠한 위치에도 배치될 수 있다. 상기 터치 유닛은 평면으로 또는 어떠한 기하학적 형상 표면으로도 디자인될 수 있다. 특히 상기 터치 유닛은 유연하게 형상될 수 있는 요소로 구체화되어 상기 터치 유닛이 3차원 가상의 시나리오에 적응될 수 있도록 할 수 있다.
예를 들면, 상기 터치 유닛은 사용자가 터치 유닛을 터치할 수 있는 하나 또는 그 이상의 접촉 포인트 좌표를 결정하기 위한 용량성 또는 저항성 측정 시스템 또는 적외선-기반 래티스를 가질 수 있다. 예를 들면, 접촉 포인트의 좌표에 따라, 상기 접촉 포인트 가장 가까이에 있는 3차원 가상의 시나리오 내 물체가 선택된다.
본 발명의 한 실시 예에 따라, 상기 터치 유닛은 상기 물체에 대한 선택 영역을 표현하도록 디자인된다. 그와 같은 겨우, 상기 물체가 상기 선택 영역을 터치함에 의해 선택된다.
가령, 컴퓨터 장치는 3차원 가상의 시나리오 내 상기 선택 영역의 위치를 계산하여, 상기 선택 영역이 터치 유닛 상에서 표현되도록 한다. 따라서, 가상의 시나리오 내 해당하는 위치에서 사용자에 의해 상기 터치 유닛이 터치 되는 결과로 한 선택 영역이 활성화된다.
용이하게 이해되는 바와 같이, 상기 터치 유닛은 다수의 물체를 위한 다수의 선택 영역을 대표하도록 디자인될 수 있으며, 각 선택 영역은 가상의 시나리오 내 물체로 할당된다.
장갑과 같은 보조 기구를 사용하지 않고 사용자와 가상의 시나리오의 직접적인 상호작용이 단순한 동작을 가능하게 하며 사용자가 피로해지는 것을 막는다.
본 발명의 또 다른 실시 예에 따라, 가상의 시나리오로부터 물체 중 하나를 선택하는 때 피드백이 터치 유닛의 진동을 통하여 또는 작업 손을 목표로 초점을 갖는 초음파를 통하여 적어도 부분적으로 발생 된다.
상기 가상 시나리오의 한 물체에 대한 선택 영역이 가상의 시나리오 내 터치 유닛 상에 놓이기 때문에, 상기 선택은 단지 사용자가 이미 존재하는 물체를 터치함을 통해, 즉 손으로 터치 유닛을 터치함을 통해, 사용자에게 신호가 보내진다. 가상의 시나리오 내 물체의 선택이 있는 때, 그 같은 물체가 성공적으로 선택되는 때 터치 유닛의 진동으로 추가의 피드백이 제공될 수 있다.
상기 터치 유닛이 모터, 특히 진동 모터의 도움으로 완전히 진동할 수 있도록 될 수 있으며, 혹은 터치 유닛의 개별 영역이 진동하도록 될 수 있다.
또한, 압전 액추에이터가 또한 진동 요소로서 사용될 수 있으며, 상기 압전 액추에이터 각각은 가상의 시나리오 내 물체의 선택이 있는 때 접촉 포인트에서 진동하도록 되고, 따라서 사용자에게 성공적인 선택 신호를 보낸다.
본 발명의 또 다른 실시 예에 따라, 상기 터치 유닛은 가상의 시나리오 내 물체의 선택을 통해 촉각 피드백을 위해 선택될 수 있는 다수의 영역을 갖는다.
상기 터치 유닛은 동시에 여러 물체의 선택을 허용하도록 실시될 수 있다. 예를 들면, 한 물체가 사용자 제1 손으로 선택되고 다른 한 물체는 사용자 제2 손으로 선택될 수 있다. 사용자에게 할당 가능한 피드백을 제공하기 위해, 상기 터치 유닛은 촉각 피드백의 출력을 위해, 즉 예를 들면 진동을 실행하기 위해, 한 물체를 위한 선택 영역에서 선택될 수 있다. 이는 특히 여러 물체를 선택하는 때, 물체 중 어느 것이 선택되고 어느 것이 선택되지 않았는지를 사용자가 인식하도록 함이 가능하게 한다.
또한, 상기 터치 유닛은 맵 스케일의 변경이 가능하도록 구체화될 수 있으며 상기 맵 영역의 이동이 표현된다.
촉각 피드백은 예를 들면 압전 액추에이터의 진동인 것으로 이해된다.
본 발명의 또 다른 실시 예에 따라, 3차원 시나리오 내 몰체의 성공적인 선택의 결과로서 피드백이 적어도 부분적으로 광학 신호의 출력을 통하여 발생 된다.
상기 광학적 신호는 물체의 선택이 있게 되는 때 촉각 피드백에 추가하여 또는 선택적으로 발생 될 수 있다.
광학적 신호에 의한 피드백은 여기서 선택 인디케이터(indicator)의 강조 또는 표현으로서 이해된다. 예를 들면, 상기 선택된 물체의 밝기는 변경되거나, 또는 상기 선택된 물체에는 프레임 또는 에징(edging)이 제공될 수 있고, 또는 이 같은 물체를 지시하는 인디케이터 요소가 가상의 시나리오 내 상기 선택된 물체 옆에 디스플레이된다.
본 발명의 또 다른 실시 예에 따라, 가상의 시나리오 내 한 물체의 선택 결과로서 피드백이 적어도 부분적으로 한 음향 신호의 출력을 통하여 발생 된다.
이와 같은 경우에, 상기 촉각 신호가 선택적으로, 또는 촉각 피드백 및/또는 광학 신호에 추가하여 촉각 피드백 및/또는 광학 신호로 출력될 수 있다.
한 음향 신호가 여기서 가령 스피커와 같은 한 출력 유닛을 통하여 짧은 톤의 출력으로서 이해된다.
본 발명에 대한 또 다른 실시 예에 따라, 상기 표현 유닛은 전체 영역 및 세부 영역을 가지며, 세부 영역은 전체 영역의 가상의 장면에 대한 선택가능한 섹션을 표현한다.
이 같은 구조가 사용자로 하여금 더욱 상세히 세부 영역 내 사용자-선택가능한 더욱 작은 영역을 관찰하는 동안, 전체 영역 내 전체 시나리오를 관찰할 수 있도록 한다.
상기 전체 영역은 가령, 2차원 디스플레이로서 표현될 수 있으며, 세부 영역은 공간 표현으로서 표현될 수 있다. 상기 세부 영역으로 표현된 가상의 시나리오 선택은 이동되고, 회전되며 또는 크기가 조정될 수 있다.
예를 들면, 이는 영공을 모니터하는 에어 트래픽 제어기가 세부 영역 내 잠정적인 충돌 상황에 대한 관측을 하면서, 전체 영역 내 전체 영공 상황에 대하여 명백하고 단순한 방법으로 관측할 수 있도록 함을 가능하게 한다. 본 발명은 각각의 필요에 따라 오퍼레이터가 세부 영역을 변경할 수 있도록 하며, 즉 전체 표현에 대한 어떠한 영역도 세부 표현을 위해 선택될 수 있도록 한다. 이 같은 선택은 또한 세부 표현에 대한 선택된 영역이 전체 표현으로 디스플레이될 수 있도록 만들어질 수 있음을 이해할 것이다.
공간 표현에서 추가 수신된 깊이 정보에 의해, 에어 트래픽 제어기가 직관적인 방법으로, 비행 고도와 같은 추가의 기록 및 수치 정보를 갖는 2차원 표현을 통해 더욱 많은 정보를 수신할 수 있다.
상기 전체 영역과 세부 영역의 묘사는 전체 시나리오의 동시 모니터링 그리고 한 눈에 세부 표현의 처리를 가능하게 한다. 이는 가상의 시나리오를 처리하는 사람의 상황 인식을 개선 시키며, 따라서 처리 성능을 증가시킨다.
본 발명의 또 다른 특징에 따라, 상기 그리고 하기에서 설명되는 바와 같이, 물체의 하나를 선택하는 때 피드백으로 가상의 시나리오 내 물체의 선택을 위해 3차원 가상 시나리오를 위한 디스플레이 장치로 3차원 가상의 시나리오를 모니터하기 위한 작업공간 장치가 제공된다.
예를 들면, 상기 작업공간 장치는 또한 하나 또는 그 이상의 사용자에 의해 무인 비행체를 제어하도록 사용되거나 어떠한 시나리오도 모니터할 수 있도록 한다.
상기 그리고 다음에 설명되는 바와 같이, 작업공간 장치는 물론 추가의 2차원 정보를 디스플레이하기 위해 다수의 디스플레이 장치 및 하나 또는 그 이상의 종래의 디스플레이를 가질 수 있다. 예를 들면, 이들 디스플레이들은 디스플레이 장치와 결합될 수 있어서, 표현된 정보의 상호 영향을 미치도록 함이 가능하도록 한다. 예를 들면, 비행 계획이 한 디스플레이에서 디스플레이될 수 있으며, 이 같은 비행 계획으로부터 한 엔트리를 선택하면, 해당하는 비행체가 상기 전체 영역에서 디스플레이 될 수 있으며, 또한 세부 영역에서 표현될 수 있다. 디스플레이들은 특히 모든 디스플레이의 디스플레이 영역들이 서로 통합되거나 혹은 여러 디스플레이 영역들이 한 물리적인 디스플레이 상에서 디스플레이될 수 있도록 배열될 수 있다.
특히, 상기 작업공간 장치는 선택적으로 또는 3차원 가상의 시나리오와의 직접적인 상호작용에 추가하여 사용될 수 있는 입력 요소를 가질 수 있다.
상기 작업공간 장치는 소위 컴퓨터 마우스, 키보드 또는 에어 트래픽 제어 작업공간(관제소)에서의 애플리케이션과 같은, 애플리케이션에서 전형적인 상호작용 장치를 가질 수 있다,
마찬가지로, 모든 디스플레이 그리고 표현 유닛은 종래의 디스플레이 또는 터치-민감 디스플레이 그리고 표현 유닛(소위 터치 스크린)일 수 있다.
본 발명의 또 다른 특징에 따라, 한 작업공간 장치가 상기 그리고 다음에 설명되는 바와 같은 비행체를 모니터링하기 위해 제공된다.
상기 작업공간 장치는 또한 무인 비행체를 모니터링하고 제어하기 위하여 사용될 수 있거나, 또한 예를 들면 교육 목적을 위해, 기록된 3차원 시나리오의 분석을 위해 사용될 수 있기도 하다.
마찬가지로, 상기 작업공간 장치는 또한 무인 비행체의 컴포넌트인 카메라 또는 다른 센서와 같은 컴포넌트를 제어하기 위해 사용될 수 있기도 하다.
상기 작업공간 장치는 예를 들면 3차원 시나리오 내 제한 구역 또는 위험 영역을 나타내도록 구체화될 수 있다. 그와 같이 함에 있어서, 영공의 상기 3차원 표현은 가령 비행체가 위협하고 있는가를 쉽고 신속하게 인식할 수 있도록 하며, 제한 구역 또는 위험 영역을 통과하는 것을 가능하게 하도록 한다. 한 제한 구역 또는 위험 영역은 가령 제한 구역 또는 위험 영역에 대한 크기를 갖는 가상의 물체(virtual body)로서 표현될 수 있다.
본 발명의 또 다른 특징에 따라, 3차원 시나리오에서 물체를 선택하기 위한 방법이 제공된다.
여기서, 첫 번째 단계에서, 가상의 물체의 한 선택 영역이 3차원 가상의 시나리오의 디스플레이 표면에서 터치 된다. 뒤 이은 단계에서, 상기 가상의 물체의 성공적인 선택이 있은 후에 피드백이 오퍼레이터에게 출력된다.
본 발명의 한 실시 예에 따라, 본 방법은 다음의 단계를 더욱 포함한다:
상기 3차원 가상의 시나리오에서 한 선택 요소를 디스플레이하고; 상기 선택 요소를 상기 디스플레이 표면에서의 오퍼레이터 손가락 이동에 따라 이동시키며; 그리고 상기 선택 요소가 선택될 물체와 중첩되도록 함에 의해 상기 3차원 시나리오에서 한 물체를 선택하는 단계. 여기서, 상기 선택 요소를 디스플레이하고, 상기 선택 요소를 이동시키며, 그리고 상기 물체를 선택함이 상기 선택 표면을 터치한 후 발생 된다.
상기 선택 요소는 예를 들면 오퍼레이터가 상기 터치 유닛을 터치한다면, 가상의 시나리오에서 표현될 수 있다. 여기서 상기 선택 요소는 예를 들면 수직으로 연장되는 라이트 콘 또는 라이트 실린더(light cone or light cylinder)로서 상기 가상의 시나리오에서 표현되며, 터치 유닛에서 오퍼레이터의 손가락 이동에 따라 3차원 가상의 시나리오를 통하여 이동한다. 상기 선택 요소가 3차원 가상의 시나리오 내 한 물체와 만나면, 그러면 사용자가 안정된 상태로 3차원 가상의 시나리오의 물체에서 일정 시간 동안 선택 요소에 남아 있는 한, 이 같은 물체는 추가 동작을 위해 선택된다. 예를 들면, 가상의 시나리오 내 물체의 선택은 상기 선택 요소가 이동 없이 1초 동안 한 물체와 겹쳐져 있은 후에 발생 된다. 이와 같은 대기 시간의 목적은 상기 가상 시나리오 내 물체가 선택 요소가 단지 이들을 지나갈 뿐인 때에도 선택되는 것을 막기 위한 것이다.
가상의 시나리오 내 한 선택 요소에 대한 표현은 한 물체의 선택을 단순하게 하고 오퍼레이터가 가상의 시나리오 내 이들의 손의 위치를 관찰할 필요없이 한 물체를 선택할 수 있도록 한다.
따라서 한 물체의 선택은 손의 이동을 통해 선택 요소가 선택될 물체와 겹쳐져 놓이도록 함에 의해 달성되며, 이는 상기 선택 요소가 가령 라이트 실린더 형태로, 가상의 시나리오를 통해 수직으로 진행된다는 사실에 의해 가능하게 한다.
상기 가상의 시나리오에서 선택 요소가 한 물체와 겹쳐지도록 하는 것은 선택 요소의 가상의 공간 확장이 선택될 가상의 물체의 좌표와 적어도 한 포인트에서 일치함을 의미하는 것이다.
본 발명의 다른 한 특징에 따라, 한 컴퓨터 프로그램 요소가 제공되어, 물체의 하나를 선택하는 때 피드백으로 가상의 시나리오 내 물체의 선택을 위해 3차원 가상의 시나리오를 위한 디스플레이 장치를 제어하도록 하며, 컴퓨터 프로그램 요소가 컴퓨터 유닛의 처리기에서 실행되는 때 상기 그리고 다음에서 설명되는 바와 같이 3차원 가상의 시나리오 내 가상의 물체를 선택하기 위한 방법을 실행하도록 디자인된다.
상기 컴퓨터 프로그램 요소는 처리기 또는 컴퓨터 유닛을 지시하도록 사용되어, 3차원 가상의 시나리오에서 가상의 물체들을 선택하기 위한 방법을 실행하도록 한다.
본 발명의 한 특징에 따라, 컴퓨터 프로그램 요소를 갖는 컴퓨터-판독 가능 매체가 상기 그리고 다음에 설명되는 바와 같이 제공된다.
컴퓨터-판독 가능 매체는 가령 하드 드라이브, CD, DVD, 디스켓, 메모리 카드 또는 다른 컴퓨터-판독 가능 매체 또는 저장 매체와 같은 휘발성 또는 비휘발성 저장 매체일 수 있다.
도 1은 본 발명의 예시적 실시 예에 따른 작업공간 장치의 측면도.
도 2는 본 발명의 또 다른 예시적 실시 예에 따른 작업공간 장치의 사시도.
도 3은 본 발명의 한 예시적 실시 예에 따른 디스플레이 장치의 개략적 도면.
도 4는 본 발명의 또 다른 예시적 실시 예에 따른 디스플레이 장치의 개략적 도면.
도 5는 본 발명의 한 예시적 실시 예에 따른 작업공간 장치의 측면도.
도 6은 본 발명의 한 예시적 실시 예에 따른 디스플레이 장치의 개략적 도면.
도 7은 본 발명의 한 예시적 실시 예에 따른 3차원 시나리오에서 물체를 선택하기 위한 방법에 대한 개략적 도면.
도 1은 3차원 시나리오의 오퍼레이터를 위한 작업공간 장치(200)를 도시한 도면이다.
상기 작업공간 장치(200)는 표현 유닛(110) 그리고 터치 유닛(120)을 갖는 디스플레이 장치(100)를 갖는다. 상기 터치 유닛(120)은 특히 상기 표현 유닛(110) 한 부분과 겹쳐질 수 있다. 그러나, 상기 터치 유닛은 전체 표현 유닛(110)과 겹쳐질 수 있다. 잘 이해되는 바와 같이, 상기 터치 유닛은 그와 같은 경우 투명하여, 작업공간 장치 오퍼레이터 또는 디스플레이 장치 관찰자가 계속해서 상기 표현 유닛을 관츨할 수 있다. 다시 말해서, 상기 표현 유닛(110) 그리고 터치 유닛(120)은 한 터치-민감 디스플레이를 형성한다.
상기 그리고 다음에 설명될 실시 예들은 따라서 상기 표현 유닛(110)과 터치 유닛(120)의 구성 및 배치와 관련하여 상기 터치 유닛(120)으로 그리고 표현 유닛(110)으로도 마찬가지로 적용된다. 상기 터치 유닛은 상기 표현 유닛을 커버하도록 삽입될 수 있으며, 따라서 전체 표현 유닛에는 한 터치-민감 터치 유닛이 제공되며, 그러나 상기 표현 유닛은 표현 유닛의 일부만이 터치-민감 터치 유닛을 제공받을 뿐 이도록 삽입될 수 있기도 하다.
상기 표현 유닛(110)은 제1 디스플레이 영역(111) 그리고 제2 디스플레이 영역(112)을 가지며, 상기 제2 디스플레이 영역은 상기 제1 디스플레이 영역과 관련하여 사용자의 방향으로 각이지며, 두 디스플레이 영역들이 내부 각도 α(115)를 갖도록 한다.
이들 서로에 대한 각이 진 위치 그리고 관찰자의 위치(195) 결과로, 상기 표현 유닛(110)의 제1 디스플레이 영역(111) 그리고 상기 표현 유닛(110)의 제2 디스플레이 영역(112)이 3차원 가상의 시나리오를 위한 디스플레이 공간(130)에 걸쳐있다. 상기 디스플레이 공간(130)은 따라서 가시적인 3차원 가상의 장면이 표현되는 공간 체적이다.
상기 3차원 가상의 시나리오를 위한 디스플레이 공간(130)에 추가하여, 상기 작업공간 장치(200)의 사용 중 좌석(190)을 사용하는 오퍼레이터는, 작업공간 영역(140)을 또한 사용할 수 있으며, 이 같은 영역에는 추가의 터치-민감 또는 통상의 디스플레이가 위치할 수 있다.
상기 내부 각도 α는 상기 디스플레이 공간(130) 내 가상의 물체 모두가 작업공간 장치(200) 사용자의 손 닿는 곳에 있을 수 있도록 결정될 수 있다. 상기 90도와 150도 사이의 내부 각도 α는 결국 사용자의 손이 닿는 곳에 특히 잘 적응될 수 있도록 한다. 상기 내부 각도 α는 또한 개별적이 사용자의 개별적인 필요에 적응될 수 있으며 90도 내지 150도 범위 이상 또는 이하로 연장될 수 있기도 하다. 한 예시적인 실시 예에서, 상기 내부 각도 α는 120도이다.
오퍼레이터의 손이 닿는 공간과 상기 디스플레이 공간(130)이 겹침으로써 작업공간 장치(200)의 직관적이고, 낮은 피로와 인체공학적인 작업을 지원한다.
특히, 상기 표현 유닛(10)의 각이진 기하 구조는 입체 디스플레이 기술의 사용 중에 수렴과 수용 사이의 충돌을 줄일 수 있다.
상기 표시 유닛의 각이진 기하구조는 상기 각이진 기하 구조 결과로서 상기 이미지 표현 유닛에 가능한 한 가깝게 상기 가상의 물체들을 위치시킴으로써 한 가상의 3α차원 장면에 대한 관찰자 수렴과 수용 사이의 충돌을 최소로 할 수 있다.
상기 가상의 물체들 위치와 상기 가상의 시나리오 전체 기하 구조의 위치가 특수한 애플리케이션 각 각으로부터 발생 되기 때문에, 예를 들면 상기 표현 유닛의 기하 구조는 내부 각도 α는 각 각의 애플리케이션으로 적용될 수 있다.
영공 감시를 위해, 상기 3차원 가상의 시나리오가 제공되어, 예를 들면, 상기 표현 유닛(110)의 제2 디스플레이 영역(112)이 공간에서 지면의 가상적으로 표현된 표면 또는 기준 표면에 해당한다.
따라서 본 발명에 따른 상기 작업공간 장치는 전체 영역과 세부 영역에 대한 동시 표현으로, 예를 들면 항공기, 웨이포인트(waypoint), 제어 존, 위협 공간, 지형 그리고 기상 현상과 같은 지리적으로 참조 되는 데이터의 집적된 공간 표현으로 3차원 가상 시나리오에 대한 장시간, 낮은 피로도 처리에 특히 적합하다.
쉽게 이해될 수 있는 바와 같이, 상기 표현 유닛(110)은 또한 제1 디스플레이 영역(111)으로부터 제2 디스플레이 영역(112)으로 둥근 변환을 가질 수 있다. 결과적으로, 가상 시나리오의 상기 3차원 표현에 대한 상기 제1 디스플레이 영역과 제2 디스플레이 영역 사이의 실제 가시적 에지의 방해 영향은 배제되거나 줄어든다.
물론, 상기 표현 유닛(110)은 또한 원형 아크의 형태로 실시될 수 있기도 하다.
따라서 상기에서 그리고 앞으로 설명될 작업공간 장치는 큰 입체 디스플레이 체적 또는 디스플레이 공간을 가능하게 한다. 또한, 상기 작업공간 장치는 가상의 기준 표면이, 예를 들면, 실제로 존재하는 표현 유닛과 터치 유닛과 같은, 상기 가상의 3차 시나리오 내 동일한 면 상에 위치하는 것을 가능하게 한다.
결과적으로, 상기 표현 유닛 표면으로부터 상기 가상 물체까지의 거리는 줄어들 수 있으며, 따라서 관찰자 내 수렴과 수용 사이의 충돌을 줄인다. 더욱이, 상기 3차원 인상에 대한 방해 영향은 따라서 줄어들며, 이는 오퍼레이터가 이들의 손으로 디스플레이 공간 내로 파악하는 것으로부터 기인 되며 그리고 따라서 상기 오퍼레이터는 실제 물체, 즉 오퍼레이터의 손 그리고 동시에 가상의 물체를 관찰한다.
상기 터치 유닛(120)은 상기 오퍼레이터의 손으로 터치 유닛을 터치하는 때 오퍼레이터에게 피드백을 출력하도록 디자인된다.
특히, 상기 오퍼레이터에게 광학적인 또는 음향적인 피드백을 제공하는 경우, 상기 피드백은 검출 유닛(도시되지 않음)이 터치 유닛에서 접촉 좌표를 검출하게 함에 의해 그리고, 가령, 상기 표현 유닛이 광학적 피드백을 출력하게 하거나 음성 출력 유닛(도시되지 않음)이 음향 피드백을 출력하게 하여, 수행될 수 있다.
상기 터치 유닛은 압전 액추에이터의 진동에 의해 촉각의 또는 촉각을 이용한(haptic or tactile) 피드백을 출력할 수 있다.
도 2는 3차원 가상의 시나리오를 표현하도록 디자인된 디스플레이 장치(100), 그리
고 또한 그래픽 및 정보의 2차원 표현을 위한 3개의 종래 디스플레이 요소(210,
211, 212), 뿐만 아니라 컴퓨터 마우스(171) 및 소위 공간 마우스(170)와 같은 2개
의 종래 입력 및 상호작용 장치를 갖는 작업공간 장치(200)를 도시하며, 이는 6 자유도계(six degrees of freedom)를 갖는 상호작용 장치이고, 이와 같은 장치로 가령 3차원 시나리오에서 공간 내에서 요소들이 제어될 수 있다.
상기 3차원의 디스플레이 장치(100)에 의해 표현된 시나리오의 인상은 적절한 안경(160)을 착용함에 의해 관찰자에게서 발생 된다.
입체 디스플레이 기술에서 일반적인 것처럼, 상기 안경(glasses)은 관찰자의 눈에 다른 이미지를 공급하여서, 관찰자가 3차원 시나리오의 인상을 받도록 한다. 상기 안경(160)은 상기 디스플레이 장치(100) 정면에서 관찰자의 눈 위치를 검출하도록 하는 다수의 소위 반사경(161)을 가지며, 따라서 상기 3차원 가상의 장면의 재생을 관찰자의 위치에 적응시킨다. 이를 위하여, 상기 작업공간 장치(200)는 예를 들면, 다수의 카메라를 갖는 카메라 시스템에 의해 반사경(161)의 위치에 기초하여 눈 위치를 검출하는 위치 검출 유닛(도시되지 않음)을 가질 수 있다.
도 3은 표현 유닛(110) 그리고 터치 유닛(120)을 갖는 디스플레이 장치(100)의 사시도이며, 상기 표현 유닛(110)이 제1 디스플레이 영역(111) 그리고 제2 디스플레이 영역(112)을 갖는다.
상기 디스플레이 공간(130)에서, 3차원의 가상의 시나리오는 여러 수직 물체(301)들로 표시된다. 가상의 디스플레이 표면(310)에서, 한 선택 영역(302)이 상기 디스플레이 공간(130)에서 가상의 물체 각각에 대하여 표시된다. 선택 영역(302) 각각은 한 선택 요소(303)를 통하여 이 같은 선택 영역으로 할당된 가상의 영역(301)으로 연결될 수 있다.
이 같은 선택 요소(303)는 한 사용자를 위하여 한 가상의 물체(301)로 선택 영역(302)의 할당을 용이하게 한다. 따라서 한 가상 물체의 선택을 위한 절차가 가속되며 간단해진다.
상기 디스플레이 표면(310)은 공간적으로 3차원의 가상의 시나리오로 배치될 수 있으며, 따라서 상기 디스플레이 표면(310)이 상기 터치 유닛(120)과 겹쳐지도록 하다. 이 결과는 상기 선택 영역(302) 또한 상기 터치 유닛 위에 놓일 수 있다는 것이다. 따라서 3차원 가상의 장면에서 한 가상 물체(301)의 선택은 상기 가상 물체의 선택 영역(302)이 놓이는 장소에서 이들의 손가락으로 상기 터치 유닛(120)을 오퍼레이터가 터치하는 결과로서 발생 된다.
상기 터치 유닛(120)은 오퍼레이터의 접촉 좌표를 한 평가 유닛으로 보내도록 디자인되며, 상기 평가 유닛은 상기 접촉 좌표를 상기 선택 영역(302)의 디스플레이 좌표와 조화시키며 따라서 상기 선택된 가상의 물체를 결정할 수 있다.
상기 터치 유닛(120)은 특히 이것이 선택 영역이 디스플레이된 장소에서만 오퍼레이터의 터치에 반작용하도록 구체화된다. 이와 같이 함으로써, 오퍼레이터가 이들의 손을 상기 터치 유닛 위에 올려놓고 어떠한 선택 영역도 터치 되지 않도록 하고, 그와 같이 손을 내려놓는 것이 오퍼레이터 입장에서 피로를 막도록 하며 가상의 시나리오와의 용이한 상호작용을 지원하도록 한다.
따라서 상기 디스플레이 장치(100)의 설명된 구성은 오퍼레이터가 가상의 3차원 장면과 상호작용할 수 있도록 하며, 그와 같은 사실만의 결과로, 가상의 물체를 선택함에 있어서, 상기 터치 유닛(120)과 이들의 손 또는 손가락 접촉을 통하여 실제로 존재하는 터치 유닛(120) 상에 놓인 선택 영역(302)을 사실상 실제로 이들이 느끼는 실제 피드백을 수신한다.
한 선택 영역(302)이 터치 되는 때, 가상의 물체(301)에 대한 성공적인 선택이 가령 상기 터치 유닛(120)의 진동을 통하여, 상기 오퍼레이터에게 신호가 보내질 수 있다.
전체 터치 유닛(120) 모두가 진동하거나, 혹은 터치 유닛의 영역만이 진동한다. 예를 들면, 상기 터치 유닛(120)은 상기 선택된 선택 영역(302)의 크기 영역에서만 진동하도록 된다. 예를 들면, 이는 상기 터치 유닛 내 진동하는 압전 액추에이터를 사용하여 달성될 수 있으며, 이 같은 압전 액추에이터는 상기 터치 유닛의 접촉 좌표 검출 이후에 해당하는 위치에서 진동하도록 된다.
한 선택 영역(302)을 통하여 상기 가상의 물체(301)의 선택 이외에도, 상기 가상의 물체들은 다음과 같이 선택될 수 있기도 하다: 터치 유닛(120)이 상기 접촉 위치에서 터치 되는 때, 한 선택 요소가 가상의 3차원 장면에서 수직으로 연장된 라이트 실린더 또는 라이트 원뿔 형태로 디스플레이되며, 이 같은 선택 요소는 상기 터치 유닛(120)에서 손가락의 이동으로 안내된다. 다음에 한 가상의 물체(301)가 상기 선택 요소가 선택될 가상의 물체와 중복되도록 함에 의해 선택된다.
가상의 물체의 부주의한 선택을 막기 위해, 선택 요소가 일정 시간 동안 해당하는 가상의 물체와 중복되어 있으면 비로써 가상의 물체가 선택되도록, 일정 지연이 있은 후 상기 선택이 발생 될 수 있다. 여기서 마찬가지로, 상기 성공적인 선택인 것은 터치 유닛의 진동을 통해 또는 압전 액추에이터의 진동을 통하여 광학적으로 또는 음향학적으로 신호가 보내질 수 있다.
도 4는 표현 유닛(110) 그리고 터치 유닛(120)을 갖는 디스플레이 장치(100)를 도시한다. 제1 디스플레이 영역(111)에서, 전체 영역이 2차원 형태로 표현되며, 디스플레이 공간(130)에서, 전체 영역의 부분 섹션(401)이 3차원 시나리오로서 상세히 재생된다.
상기 세부 영역(402)에서, 상기 전체 영역의 부분 섹션에 위치한 물체들이 가상의 3차원 물체(301)로서 표현된다.
상기에서 그리고 다음에서 설명되는 디스플레이 장치(100)는 전체 영역(401) 내 부분 섹션을 이동시킴으로써 또는 세부 영역(402) 내 3차원 표현 내 전체 영역의 개요를 적어도 도시된 x, y, z의 3 좌표 중 하나 이상의 방향으로 변경시킴으로써 상기 오퍼레이터가 세부 영역(402)을 변경시킬 수 있도록 한다.
도 5는 디스플레이 장치(100)를 갖는 작업공간 장치(200) 그리고 도시된 3차원 가상 시나리오와 상호작용하는 사용자(501)를 도시한다. 상기 디스플레이 장치(100)는 표현 유닛(110) 그리고 터치 유닛(120)을 가지며, 이들은 오퍼레이터(501)의 눈들과 함께, 3차원 가상의 시나리오의 가상의 물체(301)가 위치하는 디스플레이 공간(130)을 걸쳐 가로지른다.
상기 디스플레이 장치(100)로부터의 사용자(501)의 거리는 사용자가 하나 이상의 팔로 대부분의 디스플레이 공간(130) 대부분 또는 전체에 도달하는 것이 가능하도록 그 길이가 정해진다. 결과적으로, 사용자 손(502)의 실제 위치, 디스플레이 장치(100)의 실제 위치, 그리고 가상의 3차원 시나리오 내 가상의 물체(301)의 가상의 위치가 가능하면 서로 적게 이탈되어서, 사용자의 가시적 장치 내 수렴과 수용 사이 충돌이 최소로 줄어들 수 있도록 한다. 이 같은 구성은 두통 및 메스꺼움과 같은, 수렴과 수용 사이의 충돌에 대하여 사용자의 부작용을 줄임에 의해 상기 그리고 다음에서 설명되는 작업공간 장치의 장시간, 집중된 사용을 지원할 수 있도록 한다.
상기 그리고 다음에 설명되는 상기 디스플레이 장치는 물론 사용자의 관점으로부터 그 가상의 위치가 상기 표현 유닛의 디스플레이 유닛 뒤에 위치하는 가상의 물체를 디스플레이하도록 디자인될 수 있기도 하다. 그러나 이 경우, 사용자와 가상의 물체사이의 어떠한 직접적인 상호작용이 가능하지 않으며,이는 사용자가 상기 표현 유닛을 통하여 닿을 수 없기 때문이다.
도 6은 한 표현 유닛(110) 그리고 한 터치 유닛(120)을 갖는 3차원 가상의 시나리오를 위한 디스플레이 장치(100)를 도시한다. 가상의 3차원 물체(301)는 디스플레이 공간(130) 내에 디스플레이된다.
한 가상의 표면(601)이 3차원 가상의 장면 내에 배치되며, 상기 가상의 표면상에서 마킹 요소(602)가 이동될 수 있다. 상기 마킹 요소(602)는 상기 가상의 표면(601) 상에서만 이동될 수 있으며, 이에 의해 상기 마킹 요소(602)가 그 이동과 관련하여 2 자유도계(two degrees of freedom)를 갖는다. 다시 말해서, 상기 마킹 요소(602)는 2차원 이동을 수행하도록 디자인된다. 따라서 상기 마킹 요소는 예를 들면 종래의 컴퓨터 마우스에 의해 제어될 수 있다.
상기 3차원 시나리오에서의 가상의 물체 선택은 사용자의 적어도 한 눈(503)이 사용자가 착용한 안경에서 반사기(161)의 도움으로 검출된다는 사실에 의해 달성되며, 그리고 상기 마킹 요소(602)를 통하여 눈(503)의 검출된 위치로부터 그리고 상기 디스플레이 공간(130) 내 가상의 3차원 시나리오 내로의 한 연결 라인(504)이 계산된다.
상기 연결 라인은 물론 관찰자의 두 눈의 검출된 위치에 기초하여 계산될 수 있기도 하다. 또한, 사용자 눈의 위치는 적절한 반사기가 있는 경우 안경을 착용하거나 착용하지 않고 검출될 수 있다. 본 발명과 관련하여, 상기 눈들의 위치를 검출하기 위한 어떠한 메카니즘 그리고 방법도 사용될 수 있다.
3차원 시나리오에서 가상의 물체(3010)의 선택은 상기 연결 라인(504)이 디스플레이 공간(130) 내로 연장된다는 사실에 기초하여 발생 되며, 상기 가상의 물체가 선택되고 그 가상의 좌표들이 상기 연결 라인(504)에 의해 크로스(cross)된다. 다음에 상기 가상의 물체(301)의 선택이 예를 들면 선택 인디케이터(603)에 의해 지정된다.
물론, 상기 마킹 요소(602)가 이동하게 되는 가상의 표면(601)이 또한 상기 디스플레이 공간(130) 내 가상의 시나리오에 배치될 수 있으며, 사용자의 관점으로부터, 사용자의 물체(301)가 상기 가상의 표면(601) 정면 및/또는 뒤에 위치하도록 한다.
상기 마킹 요소(602)가 상기 가상의 표면(601)에서 이동하여 상기 연결 라인(504)이 가상의 물체(301)의 좌표들을 크로스하도록 하며, 상기 마킹 요소(602)는 상기 3차원 시나리오에서 표현되어 추가의 깊이 정보 또는 깊이 정보의 변경으로 선택된 물체의 가상의 3차원 좌표들을 표시하도록 한다. 사기 사용자 관점으로부터, 이 같은 변경이 표현되어, 한 가상의 물체(301)가 선택되자마자 상기 마킹 요소(602)가 사용자를 향하거나 사용자로부터 멀어져 공간 이동을 할 수 있도록 한다.
이는 예를 들면, 컴퓨터 마우스와 같은 다루기 쉬운 2차원 상호작용 장치에 의해 3차원 시나리오 내 가상의 물체와 상호작용할 수 있도록 한다. 3 자유도계를 갖는 특수한 3차원 상호작용 장치와는 달리, 이는 더욱 단순하고 더욱 간편하게 습득되는 3차원 시나리오와의 상호작용을 의미하는데, 이는 더욱 적은 자유도계를 갖는 입력 장치가 상기 상호작용을 위해 사용될 수 있기 때문이다.
도 7은 본 발명의 한 예시적 실시 예에 따른 방법에 대한 개략적 도면이다.
첫 번째 단계(701)에서 가상의 물체의 선택 표면 터치가 3차원 가상의 시나리오 디스플레이 표면에서 발생 된다.
상기 선택 표면은 가상의 물체에 결합 되어 선택 표면의 터치가 적절하게 선택된 가상의 물체의 명확한 결정을 가능하게 한다.
두 번째 단계(702)에서, 상기 선택 요소의 디스플레이가 3차원 가상의 시나리오에서 발생 된다.
예를 들면, 상기 선택 요소는 3차원 가상의 시나리오에서 수직방향으로 연장되는 라이트 실린더(light cylinder)일 수 있다. 상기 선택 요소는 상기 선택 표면의 접촉 시간의 함수로서 디스플레이될 수 있다. 즉, 상기 선택 요소는 사용자가 상기 선택 표면을 접촉하자마자 디스플레이되며 사용자가 상기 선택 표면으로부터 이들의 손가락을 제거하자마자 다시 제거될 수 있다. 결과적으로, 사용자가 가상의 물체를 선택하는 과정을 방해하거나 종료하는 것이 가능한데, 이는 가령 사용자가 또 다른 가상의 물체를 선택할 것을 결정하기 때문이다.
세 번째 단계(703)에서, 상기 선택 요소의 이동은 상기 디스플레이 표면에서 오퍼레이터의 손가락 이동에 따라 발생 된다.
사용자가 상기 디스플레이 표면 또는 터치 유닛으로부터 이들의 손가락을 이동시키지 않는 한, 상기 한번-디스플레이된 선택된 요소는 가상의 시나리오 내에 남아 있으며 상기 디스플레이 표면에서 또는 터치 유닛에서 손가락을 이동시키어 상기 가상의 시나리오에 이동될 수 있다.
이와 같이 함에 의해 사용자는 정확히 선택될 가상의 물체로 상기 선택 요소를 서서히 이동시킴에 의해 가상의 물체를 사용자가 선택할 수 있도록 한다.
네 번째 단계(704)에서, 3차원 시나리오에서 물체의 선택은 상기 선택 요소가 선택될 물체와 겹쳐지도록 되는 사실에 의해 달성된다.
상기 물체의 선택은 예를 들면, 1초와 같은 일정한 시간 동안 상기 선택 요소가 선택될 물체와 겹쳐지게 함에 의해 달성된다. 물론, 그와 같은 시간이 흐른 뒤에는, 가상의 물체가 임의로 정해져 디스플레이된다.
다섯 번째 단계(705)에서, 오퍼레이터로 피드백을 출력하는 것은 가상의 물체에 대한 성공적인 선택이 있을 때 발생한다.
앞서 상기 설명된 바와 같이, 상기 피드백은 촉각의/촉각을 이용한, 광학적 또는 음향학적일 수 있다.
마지막으로, 본 발명의 특징은 작업공간 장치에서 조인트 사용을 위해 상호 배타적인 것이 아니며, 보완 조합이 3차원 가상의 시나리오를 표현하기 위한 작업공간 장치에서 사용될 수 있음을 이해하여야 한다.

Claims (14)

  1. 물체들 중 하나를 선택하는 때 피드백으로 가상의 시나리오에서 물체를 선택하기 위한 3차원 가상의 시나리오를 위한 디스플레이 장치(100)로서,
    가상의 시나리오를 위한 표현 유닛(representation unit) (110) ;
    가상의 시나리오 내 한 물체의 터치-조정 선택을 위한 터치 유닛(120);
    상기 가상의 시나리오의 디스플레이 표면(310)에 배치된 터치 유닛을 포함하며;
    상기 터치 유닛이 물체의 성공적인 선택이 있을 때 상기 디스플레이 장치의 오퍼레이터로 피드백을 출력하는 3차원 가상의 시나리오를 위한 디스플레이 장치.
  2. 제1항에 있어서, 상기 터치 유닛이 상기 물체를 위한 선택 영역(302)을 표현하도록 디자인되고; 상기 물체의 선택이 상기 선택 영역을 터치함에 의해 발생 됨을 특징으로 하는 3차원 가상의 시나리오를 위한 디스플레이 장치.
  3. 제2 항에 있어서, 상기 피드백이 상기 터치 유닛의 진동을 통하여 적어도 부분적으로 발생됨을 특징으로 하는 3차원 가상의 시나리오를 위한 디스플레이 장치.
  4. 제3항에 있어서, 상기 터치 유닛이 촉각을 이용한 피드팩을 위해 선택적으로 선택될 수 있는 다수의 영역을 가짐을 특징으로 하는 3차원 가상의 시나리오를 위한 디스플레이 장치.
  5. 전술한 항 중 어느 한 항에 있어서, 상기 피드백이 적어도 부분적으로 광학적 신호 출력을 통해 발생 됨을 특징으로 하는 3차원 가상의 시나리오를 위한 디스플레이 장치.
  6. 전술한 항 중 어느 한 항에 있어서, 상기 피드백이 적어도 부분적으로 응향적 신호 출력을 통해 발생 됨을 특징으로 하는 3차원 가상의 시나리오를 위한 디스플레이 장치.
  7. 전술한 항 중 어느 한 항에 있어서,
    상기 표현 유닛이 전체 영역(401)과 세부 영역(402)을 가지며;
    상기 세부 영역이 상기 전체 영역의 가상 장면 중 선택가능한 선택을 표현함을 특징으로 하는 3차원 가상의 시나리오를 위한 디스플레이 장치.
  8. 제1항 내지 7항 중 어느 한 항에서의 디스플레이 장치로 3차원 가상의 시나리오를 모니터하기 위한 작업공간 장치(200).
  9. 제8항에서의 작업공간 장치를 영공의 조사를 위하여 사용하는 작업공간 장치.
  10. 제8항에서의 작업공간 장치를 무인 비행체 모니터링 및 조정을 위해 사용하는 작업공간 장치.
  11. 3차원 시나리오에서 물체를 선택하기 위한 방법으로서,
    3차원 가상 시나리오(701)의 디스플레이 표면에서 가상의 물체 선택 표면을 터치하고;
    상기 가상의 물체(705)의 성공적인 선택이 있는 때 한 오퍼레이터에게 피드백을 출력시키는 단계를 포함하는 3차원 시나리오에서 물체를 선택하기 위한 방법.
  12. 제11항에 있어서, 상기 3차원 가상의 시나리오(702)에서 한 선택 요소를 디스플레이하고;
    상기 선택 요소를 상기 디스플레이 표면(703)에서의 오퍼레이터 손가락 이동에 따라 이동시키며;
    상기 선택 요소(703)가 선택될 물체(704)와 중첩되도록 함에 의해 상기 3차원 시나리오에서 한 물체를 선택하는 단계를 더욱 포함하며,
    상기 선택 요소(702)를 디스플레이하고, 상기 선택 요소(703)를 이동시키며, 그리고 상기 물체(704)를 선택함이 상기 선택 표면(701)을 터치한 후 발생 됨을 특징으로 하는 3차원 시나리오에서 물체를 선택하기 위한 방법.
  13. 제1항 내지 7항 중 어느 한 항에서의 디스플레이 장치를 제어하기 위한 컴퓨터 프로그램요소로서, 처리기 또는 컴퓨터 유닛에서 실행되는 때 제 11항 또는 12항 중 한 항에서의 방법으로 실행하도록 디자인되는 컴퓨터 프로그램 요소.
  14. 제13항에서의 컴퓨터 프로그램 요소가 저장되는 컴퓨터 판독가능 매체.
KR1020147006702A 2011-09-08 2012-09-06 3차원 가상 시나리오와의 상호작용 KR20140071365A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011112618.3 2011-09-08
DE102011112618A DE102011112618A1 (de) 2011-09-08 2011-09-08 Interaktion mit einem dreidimensionalen virtuellen Szenario
PCT/DE2012/000892 WO2013034133A1 (de) 2011-09-08 2012-09-06 Interaktion mit einem dreidimensionalen virtuellen szenario

Publications (1)

Publication Number Publication Date
KR20140071365A true KR20140071365A (ko) 2014-06-11

Family

ID=47115084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147006702A KR20140071365A (ko) 2011-09-08 2012-09-06 3차원 가상 시나리오와의 상호작용

Country Status (7)

Country Link
US (1) US20140282267A1 (ko)
EP (1) EP2753951A1 (ko)
KR (1) KR20140071365A (ko)
CA (1) CA2847425C (ko)
DE (1) DE102011112618A1 (ko)
RU (1) RU2604430C2 (ko)
WO (1) WO2013034133A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
JP2015132888A (ja) * 2014-01-09 2015-07-23 キヤノン株式会社 表示制御装置及び表示制御方法、プログラム、並びに記憶媒体
DE102014107220A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Eingabevorrichtung, Rechner oder Bedienanlage sowie Fahrzeug
US10140776B2 (en) 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
DE102017117223A1 (de) * 2017-07-31 2019-01-31 Hamm Ag Arbeitsmaschine, insbesondere Nutzfahrzeug

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5394202A (en) * 1993-01-14 1995-02-28 Sun Microsystems, Inc. Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6302542B1 (en) * 1996-08-23 2001-10-16 Che-Chih Tsao Moving screen projection technique for volumetric three-dimensional display
JP2985847B2 (ja) * 1997-10-17 1999-12-06 日本電気株式会社 入力装置
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6377229B1 (en) * 1998-04-20 2002-04-23 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6373463B1 (en) * 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US6727924B1 (en) * 2000-10-17 2004-04-27 Novint Technologies, Inc. Human-computer interface including efficient three-dimensional controls
US20020175911A1 (en) * 2001-05-22 2002-11-28 Light John J. Selecting a target object in three-dimensional space
US7190365B2 (en) * 2001-09-06 2007-03-13 Schlumberger Technology Corporation Method for navigating in a multi-scale three-dimensional scene
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
US6753847B2 (en) * 2002-01-25 2004-06-22 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
GB0204652D0 (en) * 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US6968511B1 (en) * 2002-03-07 2005-11-22 Microsoft Corporation Graphical user interface, data structure and associated method for cluster-based document management
JP2004199496A (ja) * 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
JP4576131B2 (ja) * 2004-02-19 2010-11-04 パイオニア株式会社 立体的二次元画像表示装置及び立体的二次元画像表示方法
KR20050102803A (ko) * 2004-04-23 2005-10-27 삼성전자주식회사 가상입력장치, 시스템 및 방법
US20050275915A1 (en) * 2004-06-01 2005-12-15 Vesely Michael A Multi-plane horizontal perspective display
US7348997B1 (en) * 2004-07-21 2008-03-25 United States Of America As Represented By The Secretary Of The Navy Object selection in a computer-generated 3D environment
JP2006053678A (ja) * 2004-08-10 2006-02-23 Toshiba Corp ユニバーサルヒューマンインタフェースを有する電子機器
EP1667088B1 (en) * 2004-11-30 2009-11-04 Oculus Info Inc. System and method for interactive 3D air regions
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
US20060267927A1 (en) * 2005-05-27 2006-11-30 Crenshaw James E User interface controller method and apparatus for a handheld electronic device
US20070064199A1 (en) * 2005-09-19 2007-03-22 Schindler Jon L Projection display device
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
JP4111231B2 (ja) * 2006-07-14 2008-07-02 富士ゼロックス株式会社 立体表示システム
JP4880693B2 (ja) * 2006-10-02 2012-02-22 パイオニア株式会社 画像表示装置
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8434872B2 (en) * 2007-07-30 2013-05-07 National Institute Of Information And Communications Technology Multi-viewpoint floating image display device
RU71008U1 (ru) * 2007-08-23 2008-02-20 Дмитрий Анатольевич Орешин Оптическая система объемного изображения
WO2009044437A1 (ja) * 2007-10-01 2009-04-09 Pioneer Corporation 画像表示装置
US20090112387A1 (en) * 2007-10-30 2009-04-30 Kabalkin Darin G Unmanned Vehicle Control Station
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
JP4719929B2 (ja) * 2009-03-31 2011-07-06 Necカシオモバイルコミュニケーションズ株式会社 表示装置、および、プログラム
US8896527B2 (en) * 2009-04-07 2014-11-25 Samsung Electronics Co., Ltd. Multi-resolution pointing system
US8760391B2 (en) * 2009-05-22 2014-06-24 Robert W. Hawkins Input cueing emersion system and method
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
EP2489195A1 (en) * 2009-10-14 2012-08-22 Nokia Corp. Autostereoscopic rendering and display apparatus
US20110205186A1 (en) * 2009-12-04 2011-08-25 John David Newton Imaging Methods and Systems for Position Detection
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
US9693039B2 (en) * 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US8643569B2 (en) * 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
US8970484B2 (en) * 2010-07-23 2015-03-03 Nec Corporation Three dimensional display device and three dimensional display method
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
US8836755B2 (en) * 2010-10-04 2014-09-16 Disney Enterprises, Inc. Two dimensional media combiner for creating three dimensional displays
US9001053B2 (en) * 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5671349B2 (ja) * 2011-01-06 2015-02-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US8319746B1 (en) * 2011-07-22 2012-11-27 Google Inc. Systems and methods for removing electrical noise from a touchpad signal

Also Published As

Publication number Publication date
RU2604430C2 (ru) 2016-12-10
EP2753951A1 (de) 2014-07-16
DE102011112618A1 (de) 2013-03-14
CA2847425A1 (en) 2013-03-14
US20140282267A1 (en) 2014-09-18
CA2847425C (en) 2020-04-14
RU2014113395A (ru) 2015-10-20
WO2013034133A1 (de) 2013-03-14

Similar Documents

Publication Publication Date Title
CN110476142B (zh) 显示虚拟内容的计算设备、方法和头戴式显示器设备
EP3172644B1 (en) Multi-user gaze projection using head mounted display devices
EP3532177B1 (en) Virtual object movement
CN107810465B (zh) 用于产生绘制表面的系统和方法
KR102389738B1 (ko) 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치
EP3092546B1 (en) Target positioning with gaze tracking
EP3321777B1 (en) Dragging virtual elements of an augmented and/or virtual reality environment
CA2730379C (en) Vehicle user interface unit for a vehicle electronic device
US11340695B2 (en) Converting a 2D positional input into a 3D point in space
US9448687B1 (en) Zoomable/translatable browser interface for a head mounted device
US20180143693A1 (en) Virtual object manipulation
KR20170036710A (ko) 실세계 오브젝트를 갖는 가상 현실 환경
CN114945947A (zh) 可通行世界的映射和定位
KR20140071365A (ko) 3차원 가상 시나리오와의 상호작용
EP2741171A1 (en) Method, human-machine interface and vehicle
WO2019010337A1 (en) VOLUMETRIC MULTI-SELECTION INTERFACE FOR SELECTING MULTIPLE ENTITIES IN A 3D SPACE
US20210081051A1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
JP7119384B2 (ja) 情報処理装置、情報処理システム及びプログラム
US20070200847A1 (en) Method And Device For Controlling A Virtual Reality Graphic System Using Interactive Techniques
WO2021085028A1 (ja) 画像表示装置
EP3534241B1 (en) Method, apparatus, systems, computer programs for enabling mediated reality
TWI836680B (zh) 立體影像互動模擬系統與運作方法
CN113196212A (zh) 作为用于交互的物理接口的移动平台
JP2020204873A (ja) 仮想空間内で操作オブジェクトが対象オブジェクトを選択するための情報処理方法、プログラム、システム
JP2002297310A (ja) 力覚グリッドを備えた三次元形状描画システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application