KR102349649B1 - 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법 - Google Patents

그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법 Download PDF

Info

Publication number
KR102349649B1
KR102349649B1 KR1020217003337A KR20217003337A KR102349649B1 KR 102349649 B1 KR102349649 B1 KR 102349649B1 KR 1020217003337 A KR1020217003337 A KR 1020217003337A KR 20217003337 A KR20217003337 A KR 20217003337A KR 102349649 B1 KR102349649 B1 KR 102349649B1
Authority
KR
South Korea
Prior art keywords
image symbols
applications
display
user
selection
Prior art date
Application number
KR1020217003337A
Other languages
English (en)
Other versions
KR20210016642A (ko
Inventor
조하네스 레데
카르스텐 테밍
조하네스 튐러
Original Assignee
폭스바겐 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔게젤샤프트 filed Critical 폭스바겐 악티엔게젤샤프트
Publication of KR20210016642A publication Critical patent/KR20210016642A/ko
Application granted granted Critical
Publication of KR102349649B1 publication Critical patent/KR102349649B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04114—Touch screens adapted for alternating or simultaneous interaction with active pens and passive pointing devices like fingers or passive pens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

그래픽 사용자 인터페이스의 표현과 조작을 조정하기 위한 방법은 하기 단계들을 포함한다. 먼저 제 1 단계(1)에서 복수의 애플리케이션에 상응하는 복수의 이미지 심볼(6)이 표시되고, 이 경우 이미지 심볼은 각각 애플리케이션을 위한 식별자로서 이용되고, 이러한 표시에서 개별 애플리케이션들은 사용자에 의해 조작될 수 없다. 제 2 단계(2)에서 이미지 심볼에 의해 식별된 애플리케이션들 중 일부의 선택을 위한 사용자 입력이 검출된다. 이어서 제 3 단계(3)에서 선택된 애플리케이션들에 대해 확대된 이미지 심볼들(7)이 표시되고, 이 경우 선택된 애플리케이션들의 포괄적인 조작 기능은 제공되지 않지만 적어도 하나의 애플리케이션에서 조작 동작이 수행될 수 있다. 제 4 단계(4)에서 확대된 이미지 심볼들에 의해 식별된 애플리케이션들 중 하나의 선택을 위한 추가 사용자 입력이 검출된다. 계속해서 제 5 단계(5)에서 선택된 애플리케이션의 콘텐츠가 표시되고, 이 경우 애플리케이션의 포괄적인 조작 기능에 액세스될 수 있다.

Description

그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법{THE METHOD FOR CONTROLLING DISPLAY AND OPERATION OF THE GRAPHIC USER INTERFACE}
본 발명은 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법 및 상기 방법을 수행하도록 구성된 그래픽 사용자 인터페이스에 관한 것이다.
기계 및 장치와의 상호 작용은 사용자 인터페이스(영어 "Human Machine Interface"의 HMI로 약칭함)의 사용을 필요로 하고, 이 경우 점차 그래픽 사용자 표면 또는 사용자 인터페이스(영어 "Graphical User Interface"의 GUI로 약칭함)가 널리 사용된다. 그래픽 사용자 인터페이스에 의해 복잡한 그래픽 요소들이 스크린 표면에 표시되고, 선택되며 조작될 수 있다. 조작은 여러 다양한 입력 장치에 의해 수행될 수 있다. 즉, 예를 들어, 입력 장치로서 컴퓨터 기술의 분야에서 주로 컴퓨터 마우스가 사용되고, 소위 스마트폰과 같은 모바일 장치에서 및 소위 태블릿 컴퓨터에서 조작은 대개 터치 감응형 디스플레이 표면, 소위 터치 스크린을 터치함으로써 이루어진다. 이러한 입력 장치를 사용하는 대신 음성 입력 또는 제스처 제어에 의한 조작과 같은 입력 기술도 사용될 수 있다.
상호 작용을 위해 GUI에서 주로 이미지 심볼, 소위 아이콘 형태의 조작 요소들이 표시된다. 또한, 조작 요소들로서 버튼(button), 심볼바 또는 툴바(Toolbar), 슬라이드 조절기, 선택 목록 또는 대화 상자도 사용될 수 있다. 사용자에 의해 이러한 조작 요소들 중 하나가 선택될 수 있고, 다음 입력을 위해 초점을 맞춘다. 선택된 조작 요소가 그래픽으로 강조됨으로써, 사용자에게 이러한 조작 요소가 보일 수 있고, 이는 특히, 선택 가능한 복수의 조작 요소가 디스플레이되는 경우에 바람직하다. 더 높은 세부 수준을 갖는 더 큰 이미지 심볼들은 종종 타일이라고도 하고, 이러한 타일은 일반적으로 직사각형으로 형성되고, 작업 표면 또는 소위 홈 스크린에서 복수의 타일이 타일 표면 위에 배치될 수 있다. 아이콘 및 타일은 일반적으로 컴퓨터 응용프로그램, 간단하게 애플리케이션(영어로 "Apps")에 연결되고, 상기 응용 프로그램은 아이콘 또는 타일을 선택함으로써 시작되고 조작될 수 있다.
또한, GUI는 스케일링 가능하게 형성될 수 있으므로, 개별 요소들 또는 전체 표면도 다양한 스케일링 단계로 디스플레이될 수 있다. 이 경우 의미론적 스케일링 시에는 개별 요소들은 스케일링 단계에 따라 상이한 세부 단계로 표시된다. 이는 한편으로는 양호한 전체 개관을 제공하고, 다른 한편으로 자세히 보기 시 요소가 더 상세히 표시되고, 이 경우 추가 정보가 화면에 나타난다. 따라서 DE 10 2014 211 342 A1호에 사용자 인터페이스의 디스플레이 유닛 상의 타일 기반 메뉴를 포함하는 사용자 인터페이스가 공개되어 있고, 이러한 사용자 인터페이스에서 타일의 의미론적 스케일링은, 상기 타일이 먼저 복수의 제 1 버튼으로 디스플레이되도록 및 사용자 명령에 의해 트리거되어 복수의 제 2 버튼으로 확대되어 표시되도록 이루어진다.
본 발명의 과제는 사용자에게 선행기술과 달리 개선된 사용자 경험을 제공하도록 그래픽 사용자 인터페이스와의 상호 작용을 구현하는 것이다.
상기 과제는 청구항 제 1 항의 특징들을 갖는 방법 및 청구항 제 10 항에 따른 그래픽 사용자 인터페이스에 의해 해결된다. 본 발명의 바람직한 실시예들은 종속 청구항들의 대상이다.
그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 본 발명에 따른 방법은 하기 단계들을 포함한다. 먼저 제 1 단계에서 복수의 애플리케이션에 상응하는 복수의 이미지 심볼이 표시되고, 이 경우 이미지 심볼은 각각 애플리케이션을 위한 식별자로서 이용되고, 이러한 표시에서 개별 애플리케이션들은 사용자에 의해 조작될 수 없다. 제 2 단계에서 이미지 심볼들에 의해 식별된 애플리케이션들 중 일부의 선택을 위한 사용자 입력이 검출된다. 이어서 제 3 단계에서 선택된 애플리케이션들에 대해 확대된 이미지 심볼들이 표시되고, 이 경우 선택된 애플리케이션들의 포괄적인 조작 기능은 제공되지 않지만 적어도 하나의 애플리케이션에서 조작 동작은 수행될 수 있다. 제 4 단계에서 확대된 이미지 심볼들에 의해 식별된 애플리케이션들 중 하나의 선택을 위한 추가 사용자 입력이 검출된다. 계속해서 제 5 단계에서 선택된 애플리케이션의 콘텐츠가 표시되고, 이 경우 애플리케이션의 포괄적인 조작 기능에 액세스될 수 있다.
그래픽 사용자 인터페이스와의 본 발명에 따른 상호 작용은 오조작을 줄이는 동시에 편리하고 직관적인 조작을 가능하게 한다. 여러 이용 분야에서 조작할 애플리케이션의 수는 꾸준히 증가하여, 아이콘 또는 타일과 같은 이미지 심볼에 의해 이러한 애플리케이션들을 가능한 한 완전하게 표시하는 경우에 스크린상의 개별 이미지 심볼들의 표시는 매우 작게만 가능하다. 이것은, 사용자가 신속하게 특정 애플리케이션을 확실하게 선택하여 조작할 수 없게 할 수 있다. 그렇기 때문에 본 발명에 따라 먼저, 오조작을 방지하기 위해, 특정 애플리케이션의 어떠한 기능도 직접 조작될 수 없는 개관이 이루어진다. 이미지 심볼에 의해 식별된 애플리케이션들 중 일부가 사용자 입력에 의해 선택되면, 이미지 심볼의 확대 표시가 이루어지고, 이 경우 이제 적어도 하나의 애플리케이션에 대해 하나의 메인 기능 또는 소수의 메인 기능의 조작이 가능하다. 따라서 가장 중요한 기능들은 사용자에 의해 조작될 수 있고, 이때 추가 선택 및 확대는 필요하지 않다. 애플리케이션의 전체 기능 범위에 액세스 되어야 하는 경우, 이러한 애플리케이션은 추가 사용자 입력에 의해 선택될 수 있으므로, 포괄적인 정보와 다수의 조작 요소를 포함하는 이러한 애플리케이션을 풀스크린으로 확대한 표시가 이루어진다.
본 발명의 실시예에 따라 이미지 심볼들에 의해 식별된 애플리케이션들 중 일부의 선택을 위한 사용자 입력과 확대된 이미지 심볼들에 의해 식별된 애플리케이션들 중 하나의 선택을 위한 추가 사용자 입력은 동일하다.
이는, 그래픽 사용자 인터페이스와의 상호 작용이 사용자에게 특히 직관적이라는 장점을 갖는다. 따라서 이러한 메뉴-상호 작용에 대한 사용자의 승인이 높아진다. 또한, 이것은 조작 시 사용자의 주의를 덜 필요로 하며, 이는 예를 들어 자동차에서 사용 시, 운전자에 의한 조작의 경우에 산만함을 감소시켜 교통 안전성을 높이기 때문에 바람직하다.
본 발명의 바람직한 실시예에 따라 선택을 위한 사용자 입력으로서 사용자의 조작 제스처가 검출된다. 조작 제스처는 이 경우 사용자의 손 또는 개별 손가락으로 수행될 수 있다.
이 경우, 반대의 조작 제스처에 의해 선택의 취소가 트리거되는 것이 특히 바람직하다. 이로써 사용자에게 조작은 훨씬 더 직관적이고 간단해진다.
특히 바람직하게 그래픽 사용자 인터페이스의 표시와 조작은 디스플레이의 터치 감응형 디스플레이 표면을 이용해서 이루어질 수 있는데, 그 이유는 사용자 입력의 검출을 위한 추가 수단이 불필요하기 때문이다.
이러한 경우에 선택을 위한 조작 제스처로서 터치 감응형 디스플레이 표면상에서 사용자의 2개의 손가락을 벌리는 것과 상응하게 선택 취소를 위한 조작 제스처로서 사용자의 2개의 손가락을 다시 모으는 것이 검출될 수 있다.
본 발명의 이러한 실시예의 바람직한 개선예에 따라 애플리케이션들 중 일부만의 이미지 심볼들 및/또는 확대된 이미지 심볼들을 표시하는 경우 표시는, 애플리케이션들 중 다른 일부의 이미지 심볼들 및/또는 확대된 이미지 심볼들이 표시되도록 사용자 입력에 의해 이동될 수 있다.
이 경우, 이미지 심볼들 및/또는 확대된 이미지 심볼들의 표시를 위한 스냅 인(snap in) 위치가 제공되어, 이동 시 이미지 심볼들 및/또는 확대된 이미지 심볼들이 상기 스냅 인 위치로 정렬되어 완전하게 표시되는 경우에, 특히 바람직하다.
본 발명의 실시예에 따라 본 발명에 따른 방법은 디스플레이 유닛과 입력 유닛을 구비하고 표시 및 조작의 조정을 위해 구성된 그래픽 사용자 인터페이스에 의해 수행된다.
또한, 본 발명은 본 발명에 따른 방법을 구현하도록 구성되거나 본 발명에 따른 그래픽 사용자 디스플레이를 포함하는 자동차도 포함한다.
본 발명의 다른 특징들은 도면과 관련하여 다음의 설명 및 청구범위에 제시된다.
도 1은 본 발명에 따른 방법의 실시예를 위한 흐름도를 개략적으로 도시한 도면.
도 2는 다양한 세부 수준을 갖는 예시적인 3개의 표시 단계 사이의 이행을 개략적으로 도시한 도면.
도 3은 이미지 심볼들의 이동 전후에 스크린상의 복수의 이미지 심볼의 다양한 표시를 개략적으로 도시한 도면.
본 발명의 원리의 이해를 돕기 위해, 이하에서 본 발명의 실시예들은 도면을 참고로 더 상세히 설명된다. 물론, 본 발명은 이러한 실시예들에 제한되는 것이 아니라, 청구범위에 규정된 본 발명의 보호 범위를 벗어나지 않으면서, 설명된 특징들은 조합 또는 변경될 수 있다.
도 1은 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 본 발명에 따른 방법의 실시예를 개략적으로 도시한다.
방법 단계(1)에 따라 먼저 디스플레이 장치의 스크린상에 아이콘과 같은 복수의 이미지 심볼의 표시가 이루어진다. 이 경우 개별 이미지 심볼들에 각각 애플리케이션이 할당된다. 존재하는 애플리케이션의 수와 스크린의 크기에 따라 모든 애플리케이션에 대해 또는 애플리케이션들의 일부에 대해서만 이미지 심볼이 표시될 수 있다. 또한, 예를 들어 이미 존재하는 애플리케이션들 외에, 예를 들어 애플리케이션 소프트웨어를 위한 디지털 유통 플랫폼, 소위 앱 스토어(App Store)에서 이용 가능하고, 이것으로부터 다운 로드될 수 있는 추가 애플리케이션도 이미지 심볼로 표시하는 것이 가능하다. 이를 위해, 한편으로는 이미 존재하는 애플리케이션들 및 다른 한편으로는 앱 스토어에서 이용 가능한 애플리케이션들에 대해 이미지 심볼들을 다르게 형성하여, 애플리케이션에 직접적으로 액세스될 수 있는지 여부를 사용자가 쉽게 알 수 있도록 하는 것이 바람직할 수 있다. 이러한 표시에서 개별 애플리케이션들의 직접 조작은 불가능하다. 그러나 필요한 경우에, 이러한 표시에서 이미 애플리케이션을 켜거나 시작할 수 있는 것이 제공될 수 있다.
방법 단계(2)에서 사용자의 제 1 입력이 검출되고, 상기 입력에 의해 이미지 심볼들에 의해 식별된 원래 존재하거나 이용 가능한 애플리케이션들의 일부가 선택된다.
방법 단계(3)에 따라 선택된 애플리케이션들에 대한 확대된 이미지 심볼들의 디스플레이 표시가 이루어진다. 이러한 중간 단계에서 또한 복수의 애플리케이션에 대해, 예를 들어 타일 형태의 이미지 심볼들이 표시되고, 이 경우 이미지 심볼들은 각각의 애플리케이션의 식별자로서 이용될 뿐만 아니라, 애플리케이션의 가장 중요한 정보와 현재 상태도 이미 재현한다. 이 경우에도 선택된 애플리케이션들의 포괄적인 조작 기능은 제공되지 않지만, 적어도 하나의 애플리케이션에서 하나 이상의 메인 기능의 직접적인 조작 행위가 수행될 수 있다. 따라서 예를 들어 전화 애플리케이션에서 통화 수락 또는 통화 종료가 가능할 수 있다.
애플리케이션의 전체 콘텐츠를 디스플레이하여 애플리케이션의 전체 기능을 제공하기 위해, 다음 방법 단계(4)에서 확대된 이미지 심볼들에 의해 식별된 애플리케이션들 중 하나를 선택하는 사용자의 추가 입력이 검출된다.
그리고 나서 방법 단계(5)에서는 선택된 애플리케이션이 열리고, 애플리케이션의 콘텐츠가 디스플레이된다. 이제 애플리케이션의 전체 기능에 액세스될 수 있다.
본 발명에 따른 방법의 전술한 실시예에서 다양한 애플리케이션들의 최소 세부 수준을 갖는 개관 디스플레이 표시와 선택된 애플리케이션의 최대 세부 수준을 갖는 디스플레이 표시 사이에서 하나의 중간 디스플레이 표시가 이루어진다. 또한, 이미지 심볼의 상이한 개수와 크기 및 상이한 세부 수준을 갖는 다수의 중간 디스플레이 표시가 사용자에 의해 선택되어 표시될 수 있는 것도 고려될 수 있다.
또한, 본 발명에 따라 세부 수준의 변화가 반대 방향으로, 즉 애플리케이션의 전체 기능을 포함한 하나의 애플리케이션의 전체 디스플레이 표시로부터 시작해서 하나 이상의 중간 단계를 거쳐 개별 애플리케이션의 직접 조작 가능성이 없는 다양한 애플리케이션들의 개관 디스플레이 표시에 이르기까지 이루어질 수 있다.
도 2는 자동차에서 본 발명의 이용을 위해 상이한 세부 수준을 갖는 3개의 표시 단계로 스크린(10) 상의 디스플레이 표시 및 이러한 표시 단계들 사이의 이행을 개략적으로 도시한다. 스크린(10)은 예를 들어 중앙 콘솔에 배치될 수 있고, 터치스크린 디스플레이로서 형성되므로, 사용자의 손(9)의 하나 이상의 손가락으로 디스플레이 표면의 터치는 애플리케이션의 조작 또는 제어를 가능하게 한다. 부분도 2a에서 존재하는, 경우에 따라서는 추가로 제공될 수도 있는 애플리케이션들의 개관이 아이콘(6)으로 상징적으로 표시된다. 여기에서는 예시적으로 9개의 다양한 애플리케이션에 대해 9개의 아이콘이 표시된다.
아이콘(6) 또는 이것으로 상징되는 애플리케이션들은 이 경우 다양한 기능 또는 테마 분야와 관련된다. 즉, 애플리케이션들은 예를 들어, 오디오 재생, 일기 예보, 전화 통신, 에어 컨디셔닝 또는 내비게이션에 이용될 수 있거나, 차량 관련 정보도 재현할 수 있다. 개관 보기에서 아이콘(6)의 디스플레이 표시는 변하지 않게 구성될 수 있지만, 특히 애플리케이션의 개수가 더 많은 경우에는 사용자에 의해 사용자에게 가장 중요한 애플리케이션들에 대한 아이콘이 선택될 수도 있고, 경우에 따라서는 스크린(10) 상의 임의의 위치에 위치 설정될 수 있다.
사용자가 그의 손(9)의 2개의 손가락, 바람직하게는 엄지손가락과 집게손가락으로 터치스크린의 터치 감응형 표면을 터치하고, 2개의 손가락을 벌리면[언핀치(Unpinch)-제스처], 부분도 2b에 도시된 바와 같이, 손가락 범위 내에서 아이콘(6)에 의해 상징되는 애플리케이션들에 대해 확대된 이미지 심볼들(7)의 표시가 이루어진다. 예시적으로 4개의 응용 프로그램에 대해 4개의 더 큰 아이콘 또는 타일이 풀스크린으로 표시된다. 이제 표시들의 세부 수준이 높아졌으므로, 예를 들어 전화 통신 애플리케이션에 대해 이전 통화 시간과 통화 상대 이름이 통화 상대의 이미지와 함께 제시된다. 또한, 통화를 종료하기 위한 조작 요소가 디스플레이되며, 이러한 표시에서 상기 조작 요소는 사용자에 의해 직접 조작될 수 있다.
확대된 이미지 심볼들 중 하나의 영역에서 2개의 손가락을 다시 벌림으로써, 부분도 2c에 도시된 바와 같이, 상기 이미지 심볼과 관련된 애플리케이션에 대해 전체적인 정보 콘텐츠(8)가 디스플레이된다. 조작은 이제 더 이상 몇몇 메인 기능에 제한되는 것이 아니라, 전체 기능 범위를 포함한다.
확대된 표시를 다시 취소하고 반대 방향으로 다른 세부 수준을 갖는 표시들을 진행할 수 있기 위해, 바람직하게 사용자에 의해 반대의 제스처가 구현되어 검출되며, 즉 사용자는 이를 위해 손가락을 다시 모은다[소위 핀치(pinch)-제스처].
애플리케이션의 수가 더 많으면 중간 단계에서 경우에 따라서는 이용 가능한 애플리케이션들의 모든 이미지 심볼이 디스플레이되지 않을 수 있다. 이러한 경우에 사용자에 의한 디스플레이 표시의 이동이 이루어질 수 있다. 따라서 디스플레이된 이미지 심볼들은 하나 이상의 손가락으로 스와이핑 동작에 의해 수평, 수직 또는 다른 이동 방향으로 이동될 수 있다.
예시적으로 이는 도 3에서 9개의 다양한 애플리케이션에 할당된 9개의 더 큰 이미지 심볼에 대해 도시된다. 사각형 이미지 심볼들은 이 경우 3 x 3 격자로 배열된다. 이미지 심볼들의 확대 표시로 인해 그 중 4개만이 스크린에 표시될 수 있으며, 추가 아이콘 또는 타일(11)은 스크린의 표시 영역 외부에 있으므로 보이지 않는다. 부분도 3a에 먼저 중간 및 하부 열에서 좌측과 중앙에 배치된 이미지 심볼들이 디스플레이되고, 경우에 따라서 사용자에 의해 조작된다. 중앙 및 하부 열에서 우측에 나란히 위치한 이미지 심볼들을 디스플레이하고 조작할 수 있기 위해, 사용자는 집게손가락으로 스와이핑 동작을 좌측으로 수행한다. 이러한 스와이핑 동작이 검출되어 평가된 후에, 원하는 이미지 심볼들이 디스플레이되도록 표시가 조정된다.
제한된 스크린 크기로 인해 그리고 디스플레이 표시를 더 눈에 띄도록 만들기 위해, 이 경우 이미지 심볼을 위해 스냅 인 위치가 사용되고, 이로써 이미지 심볼들의 불완전한 표시는 디스플레이될 수 없다. 따라서 이미지 심볼들의 이동은 스와이핑 동작에 직접 비례해서 이루어지는 것이 아니라, 이산 단계들로, 즉 스크린의 표면에서 손가락으로 이동된 거리가 특정 길이에 도달하였을 때, 스크린상에 재현되지 않은 격자 내의 모든 이미지 심볼이 스와이핑 동작의 방향으로 일정 위치만큼 이동되어 표시된다.
스와이핑 동작에 의해 이미지 심볼들의 이동을 일으키는 것은, 세부 수준의 변경도 손가락 제스처에 의해 제어되는 경우에 특히 바람직한데, 그 이유는 사용자가 이해하기 쉬운 통일된 조작 개념이 제공되기 때문이다.
터치스크린을 통해 사용자 입력을 수행하는 대신, 사용자 입력은 다른 방식으로도 검출될 수 있다. 따라서 예를 들어 상응하는 제스처가 스크린 전방의 공간에서 사용자에 의해 수행될 수 있고, 적절한 제스처 센서에 의해 감지될 수 있다. 제스처 센서는 예를 들어 카메라에 의해 사용자의 손 또는 손가락의 위치를 감지할 수 있고, 이 경우 적외선으로 조명이 이루어질 수 있다.
본 발명은 바람직하게 차량 기술의 분야에서 이용될 수 있지만, 결코 이에 제한되지 않는다. 오히려 본 발명은 복수의 애플리케이션을 위한 메뉴 구조를 갖는 그래픽 사용자 인터페이스를 포함하는 임의의 컴퓨터 기반 시스템에서 이용될 수 있다.
1 조작 가능성이 없는 복수의 이용 가능한 애플리케이션에 대한 이미지 심볼들을 표시하는 방법 단계
2 애플리케이션들 중 일부를 선택하기 위한 사용자 입력을 검출하는 방법 단계
3 제한적인 조작 가능성이 있는 선택된 애플리케이션에 대한 확대된 이미지 심볼을 표시하는 방법 단계
4 하나의 애플리케이션을 선택하기 위한 사용자 입력을 검출하는 방법 단계
5 포괄적인 조작 가능성이 있는 선택된 애플리케이션의 콘텐츠를 표시하는 방법 단계
6 아이콘
7 타일
8 애플리케이션의 풀스크린 디스플레이 표시
9 사용자의 손
10 스크린
11 스크린 위에 표시되지 않은 타일

Claims (10)

  1. 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법으로서,
    - 복수의 애플리케이션에 상응하는 복수의 이미지 심볼들(6)을 표시하는 단계(1) - 상기 이미지 심볼들(6)은 사용자에 의해 위치 결정되며, 상기 이미지 심볼들(6)은 각각 애플리케이션을 위한 식별자로서 이용되고, 상기 표시에서 개별 애플리케이션들은 사용자에 의해 조작될 수 없음 -;
    - 이미지 심볼들에 의해 식별된 애플리케이션들 중 일부의 선택을 위한 사용자 입력을 검출하는 단계(2);
    - 선택된 애플리케이션들에 대해 확대된 이미지 심볼들(7)을 표시하는 단계(3) - 선택된 애플리케이션들의 포괄적인 조작 기능은 제공되지 않지만 적어도 하나의 애플리케이션에서 조작 동작은 수행될 수 있음 -;
    - 확대된 이미지 심볼들에 의해 식별된 애플리케이션들 중 하나의 선택을 위한 추가 사용자 입력을 검출하는 단계(4); 및
    - 선택된 애플리케이션의 콘텐츠(8)를 표시하여 애플리케이션의 포괄적인 조작 기능에 액세스할 수 있는 단계(5)
    를 포함하고,
    상기 확대된 이미지 심볼들(7)은 사용자의 핀치 제스처에 의해 상기 이미지 심볼들(6)로 전환될 수 있으며,
    애플리케이션들 중 일부만의 이미지 심볼들(6) 및 확대된 이미지 심볼들(7) 중 적어도 하나를 표시하는 경우, 상기 표시는, 애플리케이션들 중 다른 일부의 이미지 심볼들 및 확대된 이미지 심볼들 중 적어도 하나가 표시되도록 사용자 입력에 의해 이동될 수 있는 것인 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법.
  2. 제 1 항에 있어서, 상기 이미지 심볼들(6)에 의해 식별된 애플리케이션들 중 일부의 선택을 위한 사용자 입력과, 상기 확대된 이미지 심볼들(7)에 의해 식별된 애플리케이션들 중 하나의 선택을 위한 추가 사용자 입력은 동일한 것인 방법.
  3. 제 2 항에 있어서, 선택을 위한 사용자 입력으로서 사용자의 조작 제스처가 검출되는 것인 방법.
  4. 제 3 항에 있어서, 반대의 조작 제스처에 의해 선택의 취소가 트리거(trigger)되는 것인 방법.
  5. 제 3 항 또는 제 4 항에 있어서, 상기 그래픽 사용자 인터페이스의 표시와 조작은 디스플레이의 터치 감응형 디스플레이 표면(10)을 이용해서 이루어지는 것인 방법.
  6. 제 5 항에 있어서, 상기 터치 감응형 디스플레이 표면(10) 상에서 선택을 위한 조작 제스처로서 사용자의 2개의 손가락을 벌리는 것이 검출되는 것인 방법.
  7. 제 5 항에 있어서, 상기 터치 감응형 디스플레이 표면 상에서 선택의 취소를 위한 조작 제스처로서 사용자의 2개의 손가락을 모으는 것이 검출되는 것인 방법.
  8. 제 1 항에 있어서, 상기 이미지 심볼들(6) 및 확대된 이미지 심볼들(7) 중 적어도 하나의 표시를 위한 스냅 인 위치가 제공되어, 이동 시 이미지 심볼들 및 확대된 이미지 심볼들 중 적어도 하나는 상기 스냅 인 위치로 정렬되어 완전하게 표시되는 것인 방법.
  9. 디스플레이 유닛과 입력 유닛을 구비하고, 표시 및 조작의 조정을 위해 제 1 항에 따른 방법을 수행하도록 구성된 그래픽 사용자 인터페이스.
  10. 자동차로서,
    제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 구현하도록 구성되거나 제 9 항에 따른 그래픽 사용자 인터페이스를 포함하는 것을 특징으로 하는 자동차.
KR1020217003337A 2016-10-10 2016-10-10 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법 KR102349649B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020197012776A KR20190061053A (ko) 2016-10-10 2016-10-10 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법
PCT/EP2016/074239 WO2018068821A1 (de) 2016-10-10 2016-10-10 Verfahren zur anpassung der darstellung und bedienung einer grafischen benutzerschnittstelle

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197012776A Division KR20190061053A (ko) 2016-10-10 2016-10-10 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법

Publications (2)

Publication Number Publication Date
KR20210016642A KR20210016642A (ko) 2021-02-16
KR102349649B1 true KR102349649B1 (ko) 2022-01-11

Family

ID=57144957

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197012776A KR20190061053A (ko) 2016-10-10 2016-10-10 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법
KR1020217003337A KR102349649B1 (ko) 2016-10-10 2016-10-10 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197012776A KR20190061053A (ko) 2016-10-10 2016-10-10 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법

Country Status (5)

Country Link
US (1) US10936161B2 (ko)
EP (1) EP3523714A1 (ko)
KR (2) KR20190061053A (ko)
CN (1) CN109804342B (ko)
WO (1) WO2018068821A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3523714A1 (de) * 2016-10-10 2019-08-14 Volkswagen Aktiengesellschaft Verfahren zur anpassung der darstellung und bedienung einer grafischen benutzerschnittstelle

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1910933A4 (en) * 2005-07-15 2009-10-28 Accenture Global Services Gmbh PRESENTATION LAYER APPLICATION INTEGRATION
JP4285500B2 (ja) * 2006-04-25 2009-06-24 トヨタ自動車株式会社 操作装置
KR20080073868A (ko) * 2007-02-07 2008-08-12 엘지전자 주식회사 단말기 및 메뉴표시방법
DE102008021186A1 (de) 2008-04-28 2009-10-29 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
DE102009058145A1 (de) * 2009-12-12 2011-06-16 Volkswagen Ag Bedienverfahren für eine Anzeigevorrichtung eines Fahrzeugs
DE102009059868A1 (de) 2009-12-21 2011-06-22 Volkswagen AG, 38440 Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle
US9823831B2 (en) * 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US10853319B2 (en) * 2010-11-29 2020-12-01 Workshare Ltd. System and method for display of document comparisons on a remote device
KR101890135B1 (ko) * 2011-03-18 2018-08-23 삼성전자주식회사 잔상 감소를 위한 ｇｕｉ 제공 방법 및 표시 장치
KR20130052753A (ko) * 2011-08-16 2013-05-23 삼성전자주식회사 터치스크린을 이용한 어플리케이션 실행 방법 및 이를 지원하는 단말기
KR101326994B1 (ko) 2011-10-05 2013-11-13 기아자동차주식회사 이동단말기의 화면출력 최적화를 위한 컨텐츠 제어 방법 및 그 시스템
JP6159078B2 (ja) * 2011-11-28 2017-07-05 京セラ株式会社 装置、方法、及びプログラム
KR20130064458A (ko) 2011-12-08 2013-06-18 삼성전자주식회사 복수 개의 영역으로 구분된 화면을 디스플레이하는 디스플레이 장치 및 그 방법
CN103377180A (zh) * 2012-04-28 2013-10-30 国际商业机器公司 数据粘贴的方法及装置
KR20130123251A (ko) * 2012-05-02 2013-11-12 삼성전자주식회사 웹 브라우저를 위한 키 보드 구성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
EP2863297A4 (en) * 2012-06-18 2016-03-30 Yulong Computer Telecomm Tech TERMINAL AND METHOD FOR MANAGING INTERFACE OPERATION
CN102830921B (zh) * 2012-08-06 2016-09-28 广东欧珀移动通信有限公司 一种触摸屏解锁方法及移动终端
KR101393794B1 (ko) * 2012-08-17 2014-05-12 주식회사 팬택 입력기의 종류를 결정하는 단말기 및 방법
DE102012020607B4 (de) 2012-10-19 2015-06-11 Audi Ag Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
US9542548B2 (en) * 2013-01-17 2017-01-10 Carl J. Conforti Computer application security
US9535809B2 (en) * 2013-01-22 2017-01-03 General Electric Company Systems and methods for implementing data analysis workflows in a non-destructive testing system
US9217999B2 (en) * 2013-01-22 2015-12-22 General Electric Company Systems and methods for analyzing data in a non-destructive testing system
US9641569B2 (en) * 2013-01-22 2017-05-02 General Electric Company Systems and methods for collaborating in a non-destructive testing system using location information
US9537907B2 (en) * 2013-01-22 2017-01-03 General Electric Company Systems and methods for sharing data in a non-destructive testing system
US9954908B2 (en) * 2013-01-22 2018-04-24 General Electric Company Systems and methods for collaborating in a non-destructive testing system
CN103150116A (zh) * 2013-03-05 2013-06-12 福建升腾资讯有限公司 一种基于rdp协议对云桌面进行放大显示的方法
DE102014209247B4 (de) 2013-06-06 2021-06-10 Volkswagen Aktiengesellschaft Verfahren zur Herbeiführung einer gewünschten Komforteinstellung in einem Kraftfahrzeug
US20150339285A1 (en) * 2014-04-22 2015-11-26 Aman Safaei Methods and Systems for Batch Generation and Delivery of Customized Documents
DE102014211342A1 (de) 2014-06-13 2015-12-17 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Anpassen einer semantischen Skalierung einer Kachel
JP2016004070A (ja) 2014-06-13 2016-01-12 キヤノン株式会社 画像形成装置
KR102152819B1 (ko) * 2014-07-08 2020-09-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20160063451A (ko) * 2014-11-26 2016-06-07 현대모비스 주식회사 차량용 화면 표시장치 및 그 제어방법
US9703472B2 (en) * 2015-03-18 2017-07-11 Alpine Electronics, Inc. Method and system for operating console with touch screen
KR102400899B1 (ko) * 2015-07-15 2022-05-23 엘지전자 주식회사 차량 제어 장치 및 그 방법
KR102292985B1 (ko) * 2015-08-10 2021-08-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP3523714A1 (de) * 2016-10-10 2019-08-14 Volkswagen Aktiengesellschaft Verfahren zur anpassung der darstellung und bedienung einer grafischen benutzerschnittstelle
WO2018133194A1 (zh) * 2017-01-22 2018-07-26 华为技术有限公司 基于手势显示图形用户界面的方法及电子设备

Also Published As

Publication number Publication date
US20200050325A1 (en) 2020-02-13
CN109804342B (zh) 2022-08-05
US10936161B2 (en) 2021-03-02
EP3523714A1 (de) 2019-08-14
WO2018068821A1 (de) 2018-04-19
KR20190061053A (ko) 2019-06-04
CN109804342A (zh) 2019-05-24
KR20210016642A (ko) 2021-02-16

Similar Documents

Publication Publication Date Title
KR102176305B1 (ko) 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치
KR101675188B1 (ko) 차량의 디스플레이 장치를 위한 작동 방법
EP1962480B1 (en) A method of displaying menu in a mobile communication terminal
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
EP2657811B1 (en) Touch input processing device, information processing device, and touch input control method
JP4849412B2 (ja) 情報入力表示装置
KR101998941B1 (ko) 사용자 인터페이스 및 타일의 의미 스케일을 조정하기 위한 방법
EP1835385A2 (en) Method and device for fast access to application in mobile communication terminal
KR20130080179A (ko) 휴대용 단말기에서 아이콘 관리 방법 및 장치
US20140340204A1 (en) Interactive multi-touch remote control
KR20120121149A (ko) 터치스크린 단말기에서 아이콘 배치 방법 및 장치
KR20130005300A (ko) 정보처리 시스템, 조작입력장치, 정보처리장치, 정보처리방법, 프로그램 및 정보기억매체
US10921982B2 (en) Device and method for operating a device
CN103513914B (zh) 应用对象的触摸控制方法与装置
WO2012160829A1 (ja) タッチスクリーン装置、タッチ操作入力方法及びプログラム
US10139988B2 (en) Method and device for displaying information arranged in lists
US20150169122A1 (en) Method for operating a multi-touch-capable display and device having a multi-touch-capable display
JP2017173989A (ja) 画像表示装置
JP2016206930A (ja) 入力表示装置
KR102349649B1 (ko) 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법
JP2018010472A (ja) 車内電子機器操作装置及び車内電子機器操作方法
US20140240270A1 (en) Method For Providing An Individual Increased Accessibility To A Touch Screen
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR20160107139A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant