KR20150131399A - 특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치 - Google Patents

특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20150131399A
KR20150131399A KR1020157031832A KR20157031832A KR20150131399A KR 20150131399 A KR20150131399 A KR 20150131399A KR 1020157031832 A KR1020157031832 A KR 1020157031832A KR 20157031832 A KR20157031832 A KR 20157031832A KR 20150131399 A KR20150131399 A KR 20150131399A
Authority
KR
South Korea
Prior art keywords
display
graphic
area
intention
stereoscopically
Prior art date
Application number
KR1020157031832A
Other languages
English (en)
Inventor
하이노 벤젤니크
마시아스 쿤
구스타프 호프만
안드레아스 메들러
프랑크 알토프
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20150131399A publication Critical patent/KR20150131399A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/211—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/02—Arrangement of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B60K2350/1004—
    • B60K2360/11—
    • B60K2360/141—
    • B60K2360/1438—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

본 발명은 특히 차량(1)에서 유저 인터페이스를 제공하기 위한 방법에 관한 것으로, 상기 방법에서 하나 이상의 그래픽 객체(100 - 120)가 접촉 감응면을 가진 디스플레이(2)에 디스플레이되고, 디스플레이(2)의 조작 영역(10)에 할당될 수 있는 조작 의도가 시선 방향으로 디스플레이(2)의 전방 공간에서 무접촉으로 검출되고, 조작 행위가 디스플레이(2)의 조작 영역(10) 내의 그래픽 객체들(100 - 120) 중 하나를 접촉함에 의해 실행된다. 본 발명에 따른 방법은, 3차원 그래픽 데이터가 디스플레이(2)의 조작 영역(10) 내의 그래픽 객체(100 -120)를 위해 계산되고, 조작 의도가 검출된 경우에, 조작 영역(10) 내의 그래픽 객체는, 디스플레이(2)의 평면 내에 평면적으로 인지할 수 있는 표시(100 - 120)로부터 입체적으로 인지할 수 있는 표시(100' - 120')로 변경됨으로써, 시각적으로 강조되는 것을 특징으로 한다. 또한, 본 발명은 유저 인터페이스를 제공하기 위한 연관된 장치(2, 3, 4) 및 상기 유저 인터페이스를 포함하는 차량(1)에 관한 것이다.

Description

특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치{METHOD AND DEVICE FOR MAKING AVAILABLE A USER INTERFACE, IN PARTICULAR IN A VEHICLE}
본 발명은, 접촉 감응면을 가진 디스플레이에 하나 이상의 그래픽 객체가 디스플레이되고, 디스플레이의 조작 영역에 할당될 수 있는 조작 의도가 시선 방향으로 디스플레이의 전방 공간에서 무접촉으로 검출되고, 조작 행위가 디스플레이의 조작 영역 내의 그래픽 객체들 중 하나를 접촉함에 의해 실행되는, 특히 차량에서, 유저 인터페이스를 제공하기 위한 방법에 관한 것이다. 또한, 본 발명은 유저 인터페이스를 제공하기 위한 연관된 장치 및 상기 유저 인터페이스를 포함하는 차량에 관한 것이다.
최근에 조작 가능한 그래픽 객체를 포함하는 인터페이스, 소위 그래픽 유저 인터페이스가 다양하게 사용된다. 이용 분야는 컴퓨터 및 가전제품과 기술 장비, 예컨대 전기적, 기계적 및/또는 광학적으로 작동하는 기계 또는 개인용, 상업용 또는 산업용 자동 장치를 제어하기 위한 조작 시스템이다.
사용 환경에 따라 상당한 양의 정보가 생길 수 있고, 상기 정보는 양 자체만으로 또는 조작하는 유저의 추가적인 작업과 관련 시 조작을 혼란스럽게 만들 수 있다.
최근의 차량 정보 시스템은 차량 승객에게 대량의 정보를 제공한다. 그러나, 이러한 다양성은 대개, 복잡한 메뉴 구조 내에서 소정의 기능을 찾고 호출하는데 너무 긴 조작 과정을 야기한다. 이는 특히, 주행 중에 특정 조작 기능을 호출하고자 하는 경우에, 운전자의 부주의를 야기할 수 있다. 따라서, 차량의 다양한 기능의 조작과 신속하고 간단하게 구현될 수 있고 차량에서 조작 가능한 정보 시스템을 제공하는 것이 바람직하다. 이를 위해 정보 제시와 그와 관련된 조작 기능의 입력이 중요하다.
WO 2006/127378 A1호에 유저의 주의를 끌기 위해, 디스플레이된 2개의 디스플레이 객체들 중 제1 디스플레이 객체가, 규정된 이벤트에 기초해서, 시각적으로 강조되는, 다양한 차량 시스템, 예컨대 네비게이션 시스템 또는 오디오 시스템의 정보들을 디스플레이하기 위한 장치가 기술되어 있다. 다른 디스플레이 객체는 동시에 시각적으로 약화될 수 있다. 규정된 이벤트는 시스템측에서 유발될 수 있거나 또는 유저의 조작 의도에 의해 결정되고, 상기 조작 의도는 제1 디스플레이 객체에 유저가 접근함으로써 검출된다. 제1 디스플레이 객체의 시각적 강조는 상기 디스플레이 객체의 크기, 색상 또는 명도의 변화를 포함할 수 있다.
본 발명의 과제는, 특히 차량에서 이용하기 위한 유저 인터페이스의 조작 편의성을 높이고 입력 오류 위험을 줄일 수 있는 전술한 방식의 방법 및 연관된 장치를 제공하는 것이다.
상기 과제는 본 발명에 따라 청구범위 제 1항의 특징을 포함하는 방법 및 청구범위 제 10항의 특징을 포함하는 장치에 의해 해결된다. 바람직하게 실시예 및 개선예는 종속 청구항에 제시된다.
본 발명에 따른 방법은, 디스플레이의 조작 영역 내의 그래픽 객체를 위해 3차원 그래픽 데이터가 계산되고, 조작 의도가 검출된 경우에, 조작 영역 내의 그래픽 객체는 디스플레이의 영역에서 평면적으로 인지할 수 있는 표시로부터 입체적으로 인지할 수 있는 표시로 변화됨으로써, 시각적으로 강조된다. 평면적 인지에서 입체적 인지로 변경은 일단 그렇게 변경된 그래픽 객체로 유저의 주의를 끈다.
또한, 이러한 변경은 시스템측에서 해당 조작 영역에 대해 조작 의도가 검출었다는 것을 유저에게 직관적으로 인식하도록 제공된다. 상기 방식으로 변경된 가능한 한 다수의 그래픽 객체들이 디스플레이되는 조작 영역에서, 평면적으로 인지할 수 있는 표시에서 입체적으로 인지할 수 있는 표시로 변경은, 유저가 상기 조작 영역에 아직 시각적으로 집중하지 않은 경우에 유저에 의해 여전히 전체적으로 불명료하게 인지될 수 있다. 따라서 본 발명에 따른 방법은 차량에서 디스플레이 모드로부터 조작 모드로 전환에 특히 적합하고, 상기 방법에서 운전자는 조작 행위 시 가능한 한 짧은 시간 동안만 교통 상황으로부터 시선을 뺏길 수 있다.
평면적으로 인지할 수 있는 표시에서 입체적으로 인지할 수 있는 표시로의 변경은 다양한 방식으로 이루어질 수 있다. 이에 기초가 되는 것은 항상 3차원 그래픽 데이터의 사전 계산이다. 이때 전체 그래픽 객체가 완전히 3차원으로 인지될 수 있어야 하는 것이 아니라, 경우에 따라서 객체의 부분만 3차원으로 인지될 수 있어야 한다. 예를 들어 그래픽 객체의 경계 또는 프레임만이 3차원으로 인지될 수 있게 디스플레이되거나 또는 그것에 속하는 3차원 그래픽 데이터가 계산된다.
본 발명에 따른 방법의 실시예에서, 3차원으로 계산된 그래픽 데이터로부터 2차원 원근법적 표시를 위한 2차 그래픽 데이터가 계산될 수 있고, 그래픽 객체는 2차 그래픽 데이터에 기초해서 2차원 원근법적으로 표시된다. 이러한 표시는 비교적 낮은 성능의 프로세서로 계산될 수 있고, 더 간단한 디스플레이에 표시될 수 있으므로, 본 발명에 따른 방법을 위해 경우에 따라서 구 버전의 하드웨어가 이용될 수 있다. 2차원 원근법적 표시는 예를 들어 에지 또는 쉐도우(shadow)로서 간단하게 그리고 운전자에게 직관적으로 검출 가능하게 재현될 수 있다.
또한, 그래픽 객체의 입체적 인지를 위해 디스플레이는 공간적으로 앞뒤로 배치된 적어도 2개의 디스플레이 영역을 포함하고, 시각적으로 강조된 적어도 2개의 상이한 화소의 그래픽 객체가 디스플레이 영역에 표시될 수 있다. 이는 예를 들어 투영 방법에 바람직할 수 있고, 상기 방법에서 적어도 하나의 디스플레이 영역에 이미지가 투영될 수 있다.
다른 실시예에서, 3차원 그래픽 데이터의 계산은 그래픽 객체의 다중 입체 화상(view)의 계산을 포함하고, 시각적으로 강조된 그래픽 객체는 입체적으로 표시된다. 소위 자동 입체 디스플레이의 사용 하에 이러한 변형예는 간단하게 이용될 수 있다.
자동 입체 디스플레이 장치의 경우, 2차원 원근법적 표시와 달리 하나의 눈은 다른 하나의 눈과 약간 다른 이미지를 본다. 이로써 3차원 실사 표시가 달성된다. 이를 위해, 다양한 시야 각도를 위해 약간 다른 이미지들이 계산된다. 그렇게 계산된 이미지의 개수는 적어도 2개이지만, 공지된 시스템에서 20개 이상일 수도 있다. 일반적으로, 5개 내지 9개의 화상은 계산 능력과 이미지 품질에 대한 요구 사이에 양호한 절충을 제공한다. 자동 입체 디스플레이의 경우, 디스플레이를 주시할 때 3차원 효과를 일으키기 위한, 예컨대 안경 또는 그와 같은 특수한 장치를 필요로 하지 않는다. 자동 입체 디스플레이 장치는 예를 들어 DE 102 25 385 A1호 및 DE 10 2005 017 313 A1호에 공개되어 있다.
자동 입체 표시에 대한 대안으로서 다른 3차원 표시, 예를 들어 홀로그래픽 디스플레이가 이용될 수도 있다. 이러한 것들은 예를 들어 DE 37 40 557 A1호, DE 197 04 740 A1호, GB 2 212 964 A호 및 EP 0 891 887 B1호에 기술되어 있다.
지금까지 설명한 모든 변형예에서, 평면적으로 인지할 수 있는 표시로부터 입체적으로 인지할 수 있는 표시로의 변경은 여러 중간 단계에서 이루어진다. 이러한 애니메이션은, 조작 의도가 할당된 조작 영역으로, 더욱 유저의 주의력을 끌 수 있다.
중간 단계들은 시간에 따라 그리고 범위에 따라 상이하게 형성될 수 있다. 상기 중간 단계들은 특히, 조작 행위의 실행이 디스플레이 상의 조작 영역 내의 조작 가능한 그래픽 객체의 접촉에 의해서는 불가능한 매우 짧은 시간 안에 종료될 수 있다. 예컨대 조작 의도는 예를 들어 유저의 조작하는 손이 디스플레이의 조작 영역에 도달하지 않았을 수도 있을 정도로 적시에 검출되고 중간 단계들이 연속해서 디스플레이된다. 그러나 애니메이션은 더 긴 시간 동안에 실시될 수도 있으므로, 유저는 입력 중에 방해가 되면, 조작 영역에 주목한다. 특히 3차원 효과로 버튼이 나오고 들어가는 것 또는 객체의 입체적 회전이 애니메이팅(animating)될 수 있다.
본 발명에 따른 방법의 개선예에서, 조작 영역 내의 다수의 객체들은 각각 상이한 등급에 할당되고, 할당된 등급에 따라서 시각적 변경이 실시될 수 있다. 다양한 등급으로의 이러한 분류에 의해, 유저는 경우에 따라서 더 양호하게 가능한 또는 가능할 수 있는 유저 입력으로 안내될 수 있다.
특히, 조작 의도의 검출 도중에 조작 영역 내의 그래픽 객체가 조작 가능한지 그리고 조작 가능성에 따라서 그래픽 객체가 시각적으로 변경될 수 있는지 여부가 결정될 수 있다. 이로 인해, 유저는 주어진 상황에서 또는 일반적으로 조작 불가능한 객체를 쓸데없이 조작하고자 하는 것이 방지될 수 있다. 조작 행위는 조작 가능한 객체로 의도하여 안내함으로써 가속화될 수 있다. 이는 유저가 운전자인 경우에 주행 안전성을 지원한다.
조작 영역 내의 조작 가능한 객체는, 시선 방향으로 입체적으로 변경되어 인지되도록 시각적으로 강조될 수 있다. 대안으로서 또는 추가로 조작 영역 내의 조작 불가능한 객체는, 시선 방향으로부터 멀어지게 입체적으로 변경되어 인지되도록 시각적으로 변경될 수 있다. 이러한 표시는, 유저가 주의력이 분산되어 디스플레이를 주시할 수 없는 경우에도, 특히 직관적으로 인지될 수 있다.
시선 방향으로 디스플레이의 전방 공간에서 조작 의도의 무접촉 검출은 예를 들어 공간 해상도를 갖는 접근 검출 수단에 의해, 특히 광 배리어 및/또는 카메라 시스템에 의해 이루어질 수 있다. 이로써 디스플레이의 전방 공간은 양호하게 상 분해될 수 있고, 그래픽 데이터는 이러한 공간 해상도에 의존해서 3차원으로 계산될 수 있다. 대안으로서 조작 의도의 무접촉 검출은 용량성 검출 또는 유저의 시선 방향의 검출에 의해서도 가능할 수 있다.
시각적으로 강조된 그래픽 객체의 3차원 그래픽 데이터의 계산은 조작 의도가 무접촉으로 검출된 디스플레이의 전방 공간과 원근법적으로 관련된다. 이로 인해 매우 실사에 가까운 조작 과정이 달성될 수 있고, 상기 조작 과정에서 유저의 손의 움직임은 지금 막 조작 의도가 검출된 경우에, 조작 영역 내의 조작 가능한 객체에 대해 직선으로 연장되므로, 상기 객체는 예컨대 가상적으로 유저의 손을 향해 다가간다.
특히 차량에서, 유저 인터페이스를 제공하기 위한 본 발명에 따른 장치는, 그래픽 객체를 표시하고 그래픽 객체들 중 하나를 접촉함에 의한 조작 행위를 검출하기 위한 접촉 감응면을 가진 디스플레이 및 시선 방향으로 디스플레이의 전방 공간에서 조작 의도를 무접촉으로 검출하기 위한 검출 수단을 포함한다. 또한, 상기 장치는 디스플레이와 검출 수단에 연결된 제어 유닛을 포함하고, 상기 제어 유닛에 의해 조작 의도가 검출된 공간이 디스플레이 상의 조작 영역에 관련될 수 있다. 본 발명에 따른 장치는, 제어 유닛에 의해 그래픽 객체를 위한 3차원 그래픽 데이터가 계산될 수 있고, 조작 의도가 검출된 경우에, 조작 영역 내의 그래픽 객체는 평면적으로 인지할 수 있는 표시로부터 입체적으로 인지할 수 있는 표시로 변경됨으로써, 시각적으로 강조될 수 있는 것을 특징으로 한다. 유저 인터페이스를 제공하기 위한 본 발명에 따른 장치는 특히 본 발명에 따른 방법을 실시하는데 적합하다. 따라서 상기 장치는 본 발명에 따른 방법의 장점들도 포함한다.
접근 검출 수단은 예를 들어 반사광 배리어를 포함할 수 있고, 상기 반사광 배리어는 검출 영역으로 전자기 검출 복사를 방출하기 위한 적어도 하나의 발광 수단 및 예를 들어 유저의 손가락과 같은 조작 물체에서 산란되고 및/또는 반사된 검출 복사의 양을 검출하기 위한 수신 소자를 포함한다. 상기 수단은 특히, 검출 영역 내의 조작 물체가 수신된 검출 복사의 강도에 의해 식별되도록 형성될 수 있다. 또한, 접근 검출 수단은 검출 영역 내의 개별 구역을 위한 다양한 발광 수단을 포함할 수 있고, 상기 발광 수단은 각각 전자기 검출 복사를 관련 구역으로 방출한다. 또한, 방출된 검출 복사의 변조를 위한 변조 장치가 제공될 수 있으므로, 개별 구역으로 방출된 검출 복사는 각각 변조와 관련해서 구별된다. 이러한 경우에 접근 검출 수단은 분석 유닛도 포함할 수 있고, 상기 분석 유닛은 어떤 구역에서 검출 복사가 조작 물체에서 산란 또는 반사되었는지 결정하기 위해, 수신된 반사 및/또는 산란 검출 복사가 그 변조와 관련해서 분석될 수 있도록 형성된다. 검출 구역은 특히 조작 소자들의 어셈블리에 대해 평행하게 연장될 수 있다. 검출 구역들은 조작 소자들에 대해 수직으로 상기 조작 소자들과의 간격과 관련해서 구분된다. 접근 검출 수단에 의해 각각의 구역마다 별도로 조작 물체의 체류가 결정될 수 있으므로, 조작 물체와 조작 소자의 간격이 간단하게 결정될 수 있다.
또한, 본 발명에 따라 차량에는 유저 인터페이스를 제공하기 위한 상기 장치가 설치된다.
본 발명은 도면과 관련한 실시예를 참고로 설명된다.
도 1은 유저 인터페이스를 제공하기 위한 본 발명에 따른 장치가 배치된 차량의 운전석을 도시한 도면.
도 2는 유저 인터페이스를 제공하기 위한 본 발명에 따른 장치의 제1 실시예의 구성을 개략적으로 도시한 도면.
도 3A - 도 3B는 본 발명에 따른 방법의 실시예에 따라 평면적으로 인지할 수 있는 표시로부터 입체적으로 인지할 수 있는 표시로 변경된 디스플레이 상의 그래픽 객체를 개략적으로 도시한 도면.
도 4A - 도 4E는 평면적으로 인지할 수 있는 다양한 그래픽 객체를 도시한 도면.
도 5A - 도 5E는 본 발명에 따른 방법의 실시예에 따라 평면적으로 인지할 수 있는 표시에서 입체적으로 인지할 수 있는 표시로 변경된 도 4A - 도 4E의 그래픽 객체를 도시한 도면.
본 발명에 따른 장치 및 본 발명에 따른 방법은 계속해서 차량 내의 유저 인터페이스에 대한 실시예를 참고로 설명된다. 그러나, 유저 인터페이스는 정보를 디스플레이하고 그것에 속하는 기능을 조작하기 위한 다른 수단에도 동일하게 이용될 수 있다.
도 1에는 차량(1)의 운전석이 도시되고, 상기 운전석에서 중앙 콘솔의 상부 영역에 접촉 감응면을 가진 디스플레이, 소위 터치 스크린(2)이 배치되고, 따라서 상기 터치 스크린(2)에 표시된 그래픽 객체(100 - 102)는 운전자 및 동승자에게 양호하게 인식되고 경우에 따라서 조작될 수 있다. 터치 스크린(2)은 다른 적절한 위치에 배치될 수도 있다.
터치 스크린(2)은 유저 인터페이스를 제공하기 위한 본 발명에 따른 장치에 포함되고, 상기 터치 스크린의 구조는 도 2에서 실시예를 참고로 간단히 설명된다. 터치 스크린(2) 옆에 접근 검출 수단(3)이 배치되고, 상기 수단은 시선 방향으로 터치 스크린(2)의 전방 공간을 모니터링한다. 접근 검출 수단(3)에 의해 특히 터치 스크린(2) 상의 조작 영역(10)에 할당된 조작 의도가 무접촉으로 검출될 수 있고, 즉 예를 들어 터치 스크린(2)의 전방 공간으로 다가오는 터치 스크린(2)의 그래픽 인터페이스를 조작하기 위한 물체, 예를 들어 유저의 손가락이 검출된다. 접근 검출 수단은 예를 들어 공지된 구역 해상도를 갖는 적외선 배리어이다.
터치 스크린(2)과 접근 검출 수단(3)은 제어 유닛(4)에 연결된다. 또한, 제어 유닛(4)은 차량 내의 데이터 버스(5)를 통해 다양한 기능성 디바이스들(6)에 연결되고, 상기 기능성 디바이스들은 그래픽 객체(100 - 102)에 대한 데이터를 제공하고 상기 소자들의 실행 가능한 기능들은 그래픽 유저 인터페이스에 의해 제어될 수 있다. 기능성 디바이스들(6)은 예를 들어 네비게이션 장치, 운전자 보조 시스템, 예를 들어 정보 재현 또는 음악 또는 오락 프로그램의 재생을 위한 정보 기기 및 특히 차량(1) 내의 공조 장치의 조절을 위한 차량 편의 장치를 포함한다.
제어 유닛(4)은 접근 검출 수단(3)의 신호를 수신하고, 조작 의도에 조작 영역(10)이 할당됨으로써 상기 신호를 평가한다. 이러한 할당은 다양한 공지된 방식으로 이루어질 수 있다. 예를 들어 유저의 손가락(11)이 터치 스크린(2)의 전방 구역에 도달하는 것이 검출되고, 시선 방향으로 터치 스크린(2)의 후방 영역은 조작 영역(10)으로 파악된다. 할당은, 검출된 물체의 움직임으로부터 터치 스크린(2)의 표면과의 교차점 주변으로 연장되어 이동 방향의 연장선으로 형성된 조작 영역(10)에 대해 조작 의도가 할당되도록 이루어진다.
조작 영역(10)에 디스플레이된 그래픽 객체는 조작 의도의 검출 시 그래픽 객체를 위해 3차원 그래픽 데이터가 계산되고, 그래픽 객체는 평면적으로 인지할 수 있는 표시(100)로부터 입체적으로 인지할 수 있는 표시(100')로 변경됨으로써, 시각적으로 강조되고, 이는 계속해서 도 3A - 도 5E를 참고로 본 발명에 따른 방법과 관련해서 설명된다.
본 발명에 따른 방법은 도 3A - 도 5E와 관련한 실시예를 참고로 설명된다. 이를 위해 도 1 및 도 2와 관련해서 설명된 유저 인터페이스를 제공하기 위한 장치가 사용될 수 있다.
도 3A - 도 3B에 조작 과정의 시작이 도시되고, 상기 조작 과정에서 유저는 기능성 디바이스(6)를 본 발명에 따른 그래픽 유저 인터페이스를 통해 조작하고자 한다. 유저에게 다수의 그래픽 객체가 평면적으로 인지할 수 있는 표시(103 - 111)로 디스플레이된다. 유저의 손가락(11)이 터치 스크린(2)의 전방 검출 구역에 들어오면, 먼저 일반적인 조작 의도가 검출된다. 손가락(11)의 위치가 시간적으로 연속해서 여러 번 검출됨으로써 조작 방향(12)이 결정되고, 이는 도 3A에 도시된다.
조작 방향(12)으로부터 조작 의도에 할당된 조작 영역(10)이 결정된다. 상기 조작 영역(10)에 표시된 그래픽 객체는 상이한 등급으로 분류되고, 즉 적어도 해당 그래픽 객체가 주어진 조작 상황에서 조작될 수 있는지 아닌지 여부의 기준에 따라서 분류된다. 조작 가능한 그래픽 객체(106, 109)를 위해 3차원 그래픽 데이터가 계산되고, 평면적으로 인지할 수 있는 표시로부터 입체적으로 인지할 수 있는 표시(106', 109')로 변경되며, 이는 도 3B에 도시된다.
입체적으로 인지할 수 있는 표시를 달성하기 위해, 실시예에서 3차원 그래픽 데이터로부터 원근법적 2차원 표시를 위한 2차 그래픽 데이터가 계산될 수 있고, 해당 그래픽 객체는 2차 그래픽 데이터에 기초해서 2차원 원근법적으로 표시되므로, 사람의 눈에는 입체적으로 인지할 수 있는 표시로 형성된다. 이에 대한 대안으로서 예컨대 입체, 자동 입체 또는 홀로그래픽 이미지 형성처럼 3차원 실사 표시들이 이용될 수도 있다. 다른 실시예에서 입체적으로 인지할 수 있는 표시는, 그래픽 객체의 각각의 부분 이미지가 시선 방향으로 앞뒤로 놓인 적어도 하나의 반투명 영역에 형성됨으로써 달성될 수 있다. 예를 들어 제1 부분 이미지를 표시하기 위한 제1 이미지 영역과 그 위에 놓이고 다른 부분 이미지가 투영될 수 있는 반투명 플레이트를 포함하는 일반적인 그래픽 디스플레이일 수 있다.
본 발명에 따른 방법의 실시예에서 실제 상황에서 조작 불가능한 그래픽 객체(107, 108)는 변경되지 않고 평면적으로 표시된다. 이에 대한 대안적인 실시예에서 조작 불가능한 그래픽 객체들은 다른 방식으로 그래픽으로 변경된다. 평면적으로 인지할 수 있는 표시로부터 입체적으로 인지할 수 있는 표시로의 변경을 위한 다양한 변형예들은 계속해서 도 4A - 도 4E 및 도 5A - 도 5E와 관련해서 도시된다. 이 경우 도 4A - 도 4E는 평면적으로 인지할 수 있는 표시를 도시하고, 도 5A - 도 5E는 입체적으로 인지할 수 있는 관련 표시를 도시한다.
도 4A에서 평면적으로 인지할 수 있는 표시(112)의 그래픽 객체는, 디스플레이 영역으로부터 입체적으로 인지할 수 있는 표시(112')로 돌출해 보이도록(도 5A) 변경된다. 입체적으로 인지할 수 있는 표시(112')가 돌출하는 방향은 조작 방향(12)과 동일할 수 있으므로, 그래픽 객체는 검출된 조작 의도에 의해 조작하는 손가락을 향해 가는 것처럼 보인다.
도 4B에는 나란히 디스플레이된 다수의 그래픽 객체(113 - 115)가 평면적으로 도시된다. 입체적으로 인지할 수 있는 표시(113' - 115')로 전환 시 그래픽 객체는 처음의 이미지 영역으로부터 돌출하고, 그래픽 객체의 프레임은 윤곽선을 갖고, 상기 윤곽선은 입체적으로 특히 잘 인식될 수 있다.
도 4C에는 기준선(17) 위에 다수의 선형 그래픽 객체(116 - 118)가 도시되고, 상기 그래픽 객체들은 입체적으로 인지할 수 있는 표시(116' - 118')로 전환 시, 상기 기준선(17) 위에 직육면체로 나타나도록 변경된다. 직육면체들은 그러나 상이한 방향으로 돌출하고, 직육면체(116')는 기준선(17)으로부터 애니메이션 방향(13)에 따른 방향과 두께로 약간 위로 이동되어 표시되고, 직육면체(118')는 동일한 방식으로, 그러나 더 두껍게 애니메이션 방향(15)으로 변경된다. 직육면체(117')는 그와 달리 반대 애니메이션 방향(14)으로 아래로 내려가 표시된다.
이러한 표시는 특히 다양한 등급의 그래픽 객체를 시각화하는데 적합하다. 그래픽 객체(117)는 예를 들어 실제 상황에서 조작 불가능하다. 직육면체(117')가 아래로 내려가는 것은 유저가, 주어진 상황에서 상기 그래픽 객체의 조작이 제공되지 않는다는 것을 인식하는데 유용하다. 다른 객체(116, 118)는 관련 상황에서 조작 가능한 등급에 속한다. 예를 들어 유저는 관련 객체를 조작할 것이라는 가능성 또는 관련 객체를 조작하라는 유저를 위한 시스템측의 추천을 함께 등급에 포함시킬 수 있음으로써, 이러한 조작 가능한 객체들의 다수의 등급이 형성될 수 있다. 객체(118')의 심한 애니메이션은 예를 들어 유저에게 상기 객체에 의한 조작이 주어진 상황에서 가장 적절하다는 것을 가리킬 수 있다.
도 4D에는 2차원으로 인지할 수 있는 표시(119)의 원형 객체가 도시되고, 상기 객체는 입체적으로 인지할 수 있는 표시(119')로 꼭지 또는 돌출하는 드롭(drop)처럼 보인다.
도 4E에는 그래픽 객체가 평면적 표시(120)로 도시되고, 상기 표시는 공간적 회전(16) 시 그래픽 객체의 입체적으로 인지할 수 있는 다수의 표시들(120')을 연속해서 실행하도록 애니메이팅되고, 따라서 그래픽 객체보다 더 잘 인지될뿐만 아니 아니라, 상기 객체 그래픽으로 유저의 주의를 끌게 된다.
1: 차량 2: 터치 스크린
3: 접근 검출 수단 4: 제어 유닛
5: 차량 내의 데이터 버스 6: 기능성 디바이스
10: 조작 영역 11: 유저의 손가락
12: 조작 방향 13 - 16: 애니메이션 방향
17: 기준 라인
100 - 120: 평면적으로 인지할 수 있는 표시의 그래픽 객체
100' -120': 입체적으로 인지할 수 있는 표시의 그래픽 객체

Claims (8)

  1. - 접촉 감응면을 가진 디스플레이(2)에 하나 이상의 그래픽 객체(100 - 120)가 디스플레이되고,
    - 시선 방향으로 상기 디스플레이(2)의 전방 공간에서, 상기 디스플레이(2)의 조작 영역(10)에 할당될 수 있는 조작 의도가 무접촉으로 검출되고,
    - 상기 디스플레이(2)의 상기 조작 영역(10) 내의 상기 그래픽 객체들(100 - 120) 중 하나를 접촉함에 의해 조작 행위가 실행되는,
    차량(1)에서 유저 인터 페이스를 제공하기 위한 방법으로서,
    - 상기 디스플레이(2)의 상기 조작 영역(10) 내의 그래픽 객체(100 - 120)를 위해 3차원 그래픽 데이터가 계산되고,
    - 조작 의도가 검출된 경우에, 상기 조작 영역(10) 내의 그래픽 객체는 상기 디스플레이(2)의 영역에서 평면적으로 인지할 수 있는 표시(100 - 120)로부터 입체적으로 인지할 수 있는 표시(100' - 120')로 변경됨으로써, 시각적으로 강조되며,
    - 조작 의도의 검출 도중에 상기 조작 영역(10) 내의 그래픽 객체(106 - 109)가 조작 가능한지 여부가 결정되고,
    - 조작 가능성에 따라서 상기 그래픽 객체(106 - 109)는 시각적으로 변경되며,
    조작 영역 내의 조작 가능한 객체는, 시선 방향으로 입체적으로 변경되어 인지되도록(116', 118') 시각적으로 강조되고, 및/또는
    상기 조작 영역 내의 조작 불가능한 객체는, 시선 방향으로부터 멀어지게 변경되어 입체적으로 인지되도록(117') 시각적으로 변경되는 것을 특징으로 하는 유저 인터 페이스를 제공하기 위한 방법.
  2. 제 1항에 있어서,
    - 3차원으로 계산된 그래픽 데이터로부터 2차원 원근법적 표시를 위한 2차 그래픽 데이터가 계산되고,
    - 그래픽 객체가 2차 그래픽 데이터에 기초해서 2차원 원근법적으로 표시되는 것을 특징으로 하는 유저 인터 페이스를 제공하기 위한 방법.
  3. 제 1항에 있어서,
    - 3차원 그래픽 데이터의 계산은 그래픽 객체의 다중 입체 화상의 계산을 포함하고,
    - 시각적으로 강조된 그래픽 객체는 입체적으로 표시되는 것을 특징으로 하는 유저 인터 페이스를 제공하기 위한 방법.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    평면적으로 인지할 수 있는 표시(100 - 120)로부터 입체적으로 인지할 수 있는 표시(100' - 120')로의 변경은 여러 중간 단계에서 이루어지는 것을 특징으로 하는 유저 인터 페이스를 제공하기 위한 방법.
  5. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    - 상기 조작 영역(10) 내의 다수의 객체(106 - 109)는 각각 상이한 등급에 할당되고,
    - 할당된 등급에 따라서 시각적 변경이 실시되는 것을 특징으로 하는 유저 인터 페이스를 제공하기 위한 방법.
  6. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    시선 방향으로 상기 디스플레이(2)의 전방 공간에서 조작 의도의 무접촉 검출은 공간적 해상도를 갖는 접근 검출 수단(3)에 의해, 이루어지는 것을 특징으로 하는 유저 인터 페이스를 제공하기 위한 방법.
  7. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    시각적으로 강조된 그래픽 객체의 3차원 그래픽 데이터의 계산은, 조작 의도가 무접촉으로 검출되는 상기 디스플레이(2)의 전방 공간과 원근법적으로 관련되는 것을 특징으로 하는 유저 인터 페이스를 제공하기 위한 방법.
  8. - 그래픽 객체(100 - 120)를 디스플레이하고 그래픽 객체들 중 하나를 접촉함에 의한 조작 행위를 검출하기 위한 감응면을 가진 디스플레이(2),
    - 시선 방향으로 상기 디스플레이(2)의 전방 공간에서 조작 의도를 무접촉으로 검출하기 위한 검출 수단(3),
    - 상기 디스플레이(2)와 상기 검출 수단(3)에 연결된 제어 유닛(4)을 포함하고,
    상기 제어 유닛에 의해 조작 의도가 검출되는 공간이 상기 디스플레이(2) 상의 조작 영역(10)에 연관될 수 있는, 차량(1)에서 유저 인터 페이스를 제공하기 위한 장치로서, 제어 유닛(4)에 의해,
    - 그래픽 객체(100 - 120)를 위해 3차원 그래픽 데이터가 계산될 수 있고,
    - 조작 의도가 검출된 경우에, 상기 조작 영역(10) 내의 그래픽 객체가 평면적으로 인지할 수 있는 표시(100 - 120)로부터 입체적으로 인지할 수 있는 표시(100' - 120')로 변경됨으로써, 시각적으로 강조될 수 있으며,
    - 조작 의도의 검출 도중에 상기 조작 영역(10) 내의 그래픽 객체(106 - 109)가 조작 가능한지 여부가 결정되고,
    - 조작 가능성에 따라서 상기 그래픽 객체(106 - 109)는 시각적으로 변경되며,
    조작 영역 내의 조작 가능한 객체는, 시선 방향으로 입체적으로 변경되어 인지되도록(116', 118') 시각적으로 강조되고, 및/또는
    상기 조작 영역 내의 조작 불가능한 객체는, 시선 방향으로부터 멀어지게 변경되어 입체적으로 인지되도록(117') 시각적으로 변경되는 것을 특징으로 하는 유저 인터 페이스를 제공하기 위한 장치.
KR1020157031832A 2011-09-03 2012-08-28 특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치 KR20150131399A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011112448.2 2011-09-03
DE102011112448A DE102011112448A1 (de) 2011-09-03 2011-09-03 Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug
PCT/EP2012/003602 WO2013029773A1 (de) 2011-09-03 2012-08-28 Verfahren und vorrichtung zum bereitstellen einer nutzerschnittstelle, insbesondere in einem fahrzeug

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147008807A Division KR20140060336A (ko) 2011-09-03 2012-08-28 특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150131399A true KR20150131399A (ko) 2015-11-24

Family

ID=46851382

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157031832A KR20150131399A (ko) 2011-09-03 2012-08-28 특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치
KR1020147008807A KR20140060336A (ko) 2011-09-03 2012-08-28 특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147008807A KR20140060336A (ko) 2011-09-03 2012-08-28 특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US10261653B2 (ko)
EP (1) EP2750914B1 (ko)
KR (2) KR20150131399A (ko)
CN (2) CN109572429B (ko)
DE (1) DE102011112448A1 (ko)
WO (1) WO2013029773A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180008314A (ko) * 2016-07-14 2018-01-24 폭스바겐 악티엔 게젤샤프트 정보 시스템을 작동시키는 방법 및 정보 시스템
WO2019107832A1 (en) * 2017-11-29 2019-06-06 Samsung Electronics Co., Ltd. Method and apparatus for adaptively providing indication associated with input in vehicle

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203177A (ja) * 2013-04-02 2014-10-27 株式会社デンソー 入力装置
KR101664038B1 (ko) 2014-12-09 2016-10-10 현대자동차 주식회사 차량의 집중 조작 시스템
US20160216858A1 (en) * 2015-01-22 2016-07-28 Manzurul Khan Method and program product for an interactive e-book
DE102015113072A1 (de) * 2015-08-07 2017-02-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Anzeige- und Instrumententafel eines Kraftfahrzeugs
US10607485B2 (en) * 2015-11-11 2020-03-31 Sony Corporation System and method for communicating a message to a vehicle
DE102016121561A1 (de) * 2016-11-10 2018-05-17 Volkswagen Ag Verfahren zum Betreiben eines Bediensystems und Bediensystem
US10877643B2 (en) * 2018-03-15 2020-12-29 Google Llc Systems and methods to increase discoverability in user interfaces
FR3080465B1 (fr) * 2018-04-24 2022-05-27 Valeo Comfort & Driving Assistance Guide de lumiere pour module d'interface a detection de gestes
DE102018209400A1 (de) 2018-06-13 2019-12-19 Audi Ag Verfahren zum Betreiben einer Anzeige- und Bedienvorrichtung, Anzeige- und Bedienvorrichtung, und Kraftfahrzeug

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2212964B (en) 1987-11-30 1991-12-04 Yazaki Corp Holographic display apparatus for automotive vehicle
DE19704740B4 (de) 1997-02-13 2006-07-13 Eads Deutschland Gmbh Holografischer Bildschirm und Herstellungsverfahren
DE19730563A1 (de) 1997-07-17 1999-02-11 Daimler Benz Ag Verwendung eines holographischen Bildschirmes als Darstellungsfläche in einem Fahrzeug
JP2002362184A (ja) 2001-06-11 2002-12-18 Honda Motor Co Ltd 車両用表示装置
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP4351599B2 (ja) 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
EP1804112B1 (en) * 2004-09-08 2016-11-30 Nippon Telegraph And Telephone Corporation Three-dimensional display method, apparatus and program
DE102005017313A1 (de) 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
US7415352B2 (en) 2005-05-20 2008-08-19 Bose Corporation Displaying vehicle information
JP4605170B2 (ja) 2007-03-23 2011-01-05 株式会社デンソー 操作入力装置
DE102007034273A1 (de) * 2007-07-19 2009-01-22 Volkswagen Ag Verfahren zur Bestimmung der Position eines Fingers eines Nutzers in einem Kraftfahrzeug und Positionsbestimmungsvorrichtung
US8239087B2 (en) 2008-02-14 2012-08-07 Steering Solutions Ip Holding Corporation Method of operating a vehicle accessory
US9791918B2 (en) * 2008-03-26 2017-10-17 Pierre Bonnat Breath-sensitive digital interface
DE102008034507A1 (de) 2008-07-24 2010-01-28 Volkswagen Ag Verfahren zum Anzeigen eines zweiseitigen flächigen Objekts auf einem Display in einem Kraftfahrzeug und Anzeigeeinrichtung für ein Kraftfahrzeug
DE102008050803A1 (de) * 2008-10-08 2010-04-15 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
DE102008052485A1 (de) * 2008-10-21 2010-04-22 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von in Listen geordneter Information
DE102009048834A1 (de) 2009-10-09 2011-04-14 Volkswagen Ag Verfahren und Anzeigeeinrichtung zum Anzeigen von Informationen
DE102009051202A1 (de) 2009-10-29 2011-05-12 Volkswagen Ag Verfahren zum Betreiben einer Bedienvorrichtung und Bedienvorrichtung
JP5898842B2 (ja) * 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
EP2355526A3 (en) * 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
WO2011097306A1 (en) * 2010-02-04 2011-08-11 Sony Corporation 2d to 3d image conversion based on image content
US8700318B2 (en) * 2010-03-10 2014-04-15 Nissan North America, Inc. System and method for selective cancellation of navigation lockout
JP5800501B2 (ja) * 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US8826184B2 (en) * 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
KR20120000663A (ko) * 2010-06-28 2012-01-04 주식회사 팬택 3ｄ 객체 처리 장치
US10976784B2 (en) * 2010-07-01 2021-04-13 Cox Communications, Inc. Mobile device user interface change based on motion
US20120050478A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
KR101841121B1 (ko) * 2011-02-17 2018-05-04 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
US20130212487A1 (en) * 2012-01-09 2013-08-15 Visa International Service Association Dynamic Page Content and Layouts Apparatuses, Methods and Systems
US9377860B1 (en) * 2012-12-19 2016-06-28 Amazon Technologies, Inc. Enabling gesture input for controlling a presentation of content
JP6232804B2 (ja) * 2013-07-25 2017-11-22 株式会社デンソー 車両用ユーザインタフェースシステム
KR102091161B1 (ko) * 2013-12-05 2020-03-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180008314A (ko) * 2016-07-14 2018-01-24 폭스바겐 악티엔 게젤샤프트 정보 시스템을 작동시키는 방법 및 정보 시스템
WO2019107832A1 (en) * 2017-11-29 2019-06-06 Samsung Electronics Co., Ltd. Method and apparatus for adaptively providing indication associated with input in vehicle
KR20190069635A (ko) * 2017-11-29 2019-06-20 삼성전자주식회사 차량 내에서 입력과 관련된 인디케이션을 적응적으로 제공하기 위한 장치 및 방법
US10732737B2 (en) 2017-11-29 2020-08-04 Samsung Electronics Co., Ltd. Method and apparatus for adaptively providing indication associated with input in vehicle

Also Published As

Publication number Publication date
DE102011112448A1 (de) 2013-03-07
EP2750914B1 (de) 2019-04-17
EP2750914A1 (de) 2014-07-09
US20140215403A1 (en) 2014-07-31
WO2013029773A1 (de) 2013-03-07
US10261653B2 (en) 2019-04-16
CN104024023A (zh) 2014-09-03
CN109572429B (zh) 2022-09-13
CN109572429A (zh) 2019-04-05
KR20140060336A (ko) 2014-05-19

Similar Documents

Publication Publication Date Title
KR20150131399A (ko) 특히 차량에서 유저 인터페이스를 제공하기 위한 방법 및 장치
KR101845185B1 (ko) 성공적 제스처 입력을 시그널링 하기 위한 장치 및 방법
CA2730379C (en) Vehicle user interface unit for a vehicle electronic device
CN109643219B (zh) 用于与在车辆中的显示设备上呈现的图像内容进行交互的方法
KR101503108B1 (ko) 사용자가 디스플레이 객체의 표시에 영향을 미칠 수 있는 자동차의 디스플레이 및 조작 시스템과 그 디스플레이 및 조작 시스템을 작동하는 방법
US20100026723A1 (en) Image magnification system for computer interface
US20180210551A1 (en) Display manipulation device
WO2013136333A1 (en) Touch free user interface
US20060164387A1 (en) Input apparatus and touch-reading character/symbol input method
EP2788839A1 (en) Method and system for responding to user's selection gesture of object displayed in three dimensions
US20140089859A1 (en) Equipment control device, operation reception method, and program
KR101675228B1 (ko) 3차원 터치스크린 장치, 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
JP4789885B2 (ja) インタフェース装置、インタフェース方法及びインタフェースプログラム
KR101809678B1 (ko) 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
JP2022007868A (ja) 空中像表示入力装置及び空中像表示入力方法
JP2022130496A (ja) 入力装置
EP2634671B1 (en) Device and method for exchanging information between at least one operator and a machine
WO2021260989A1 (ja) 空中像表示入力装置及び空中像表示入力方法
JP2020064631A (ja) 入力装置
WO2016189413A1 (en) Hybrid-image display device
WO2019244437A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR100926348B1 (ko) 무안경식 3ｄ 온라인 쇼핑몰 구현을 위한 단말 장치 및 이에 의한 디스플레이 방법
KR20180092570A (ko) 3차원 가상 버튼을 이용한 포인팅 장치
NL2004333C2 (en) Method and apparatus for touchlessly inputting information into a computer system.
KR20190076416A (ko) 인터랙션을 통한 3d 영상 컨텐츠 커스터마이징 시스템

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101004843; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20171011

Effective date: 20190521