WO2023128613A1 - 차량에 탑재된 전자 장치 및 그 동작 방법 - Google Patents

차량에 탑재된 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023128613A1
WO2023128613A1 PCT/KR2022/021518 KR2022021518W WO2023128613A1 WO 2023128613 A1 WO2023128613 A1 WO 2023128613A1 KR 2022021518 W KR2022021518 W KR 2022021518W WO 2023128613 A1 WO2023128613 A1 WO 2023128613A1
Authority
WO
WIPO (PCT)
Prior art keywords
function
input
input event
touch screen
points
Prior art date
Application number
PCT/KR2022/021518
Other languages
English (en)
French (fr)
Inventor
한상현
김혜원
신승우
이영식
최대수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220004735A external-priority patent/KR20230103755A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023128613A1 publication Critical patent/WO2023128613A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

차량에 탑재된 전자 장치 및 그 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치는, 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하고, 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별하고, 터치스크린을 통해 제스처 입력이 인식됨에 따라 식별된 기능에 대한 기능 값을 변경하고, 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이할 수 있다.

Description

차량에 탑재된 전자 장치 및 그 동작 방법
본 개시는 차량에 탑재된 전자 장치 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시는 사용자의 터치스크린 상의 특정 위치에 대한 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 관련 기능을 수행하는 전자 장치 및 그 동작 방법을 제공한다.
최근에는 차량이 단순 운송 수단으로 한정되지 않고, 탑승자에게 다양한 정보를 제공하며 멀티미디어 컨텐트를 출력하는 인포테인먼트 시스템(infotainment system)을 포함하고 있다. '인포테인먼트 시스템'은 차량의 운전과 네비게이션을 통한 길 안내 등 필요한 정보를 의미하는 인포메이션(information)과 다양한 오락 거리와 멀티미디어 컨텐트 재생, 인공지능 비서 서비스 등을 제공하는 엔터테인먼트(entertainment)을 통합한 시스템이다. 인포테인먼트 시스템은 사용자의 터치 입력을 수신할 수 있는 터치스크린을 포함하고, 터치스크린은 점점 대형화되고 있다.
일반적인 인포테인먼트 시스템에서, 터치스크린에 대한 터치 입력을 통해 특정 기능을 수행하고자 하는 경우, 사용자는 계층화된 메뉴에 따라 여러 번 터치 입력을 해야 하는 번거로움이 있다. 예를 들어, 터치스크린으로 구성된 인포테인먼트 시스템을 통해 차량의 에어컨 설정 온도 조절을 하기 위해서는, 사용자는 에어컨을 선택하는 제1 터치 입력, 에어컨의 설정 온도를 조절하기 위한 제2 터치 입력을 포함하는 총 2번의 터치를 하여야 한다. 사용자는 에어컨을 선택하기 위하여 에어컨 UI가 표시되는 영역을 정확하게 터치하여야 하고, 이후 설정 온도를 조절하기 위하여 온도 UI가 표시되는 영역을 다시 확인한 이후, 온도 UI의 표시 영역을 정확하게 터치하여야 하므로, 사용자 편의성이 낮다.
또한, 일반적인 인포테인먼트 시스템은 특정 기능을 수행하기 위한 사용자의 터치 입력이 수신되는 경우 사용자에 의해 선택된 기능을 제외한 다른 기능을 선택할 수 없도록 다른 기능을 위한 UI가 비활성화되므로, 사용자가 불편함을 느낄 수 있다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 일 측면(aspect)은 차량에 탑재된 전자 장치를 제공한다. 본 개시의 일 실시예에 따른 전자 장치는 터치스크린, 적어도 하나의 명령어들(instructions)을 저장하는 메모리, 및 상기 메모리에 저장된 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식할 수 있다. 상기 적어도 하나의 프로세서는 상기 터치스크린에서 상기 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 상기 복수의 포인트의 위치 정보에 기초하여, 상기 입력 이벤트에 대응되는 기능을 식별할 수 있다. 상기 적어도 하나의 프로세서는 상기 터치스크린을 통해 제스처 입력이 인식됨에 따라 상기 식별된 기능에 대한 기능 값을 변경할 수 있다. 상기 적어도 하나의 프로세서는 상기 변경된 기능 값을 나타내는 UI(User Interface)를 상기 터치스크린 상에 디스플레이할 수 있다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 다른 측면(another aspect) 은, 차량에 탑재된 전자 장치의 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치의 동작 방법은, 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 상기 터치스크린에서 상기 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 상기 복수의 포인트의 위치 정보에 기초하여, 상기 입력 이벤트에 대응되는 기능을 식별하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 상기 터치스크린을 통해 제스처 입력이 인식됨에 따라 상기 식별된 기능에 대한 기능 값을 변경하는 단계를 포함할 수 있다. 전자 장치의 동작 방법은 상기 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 측면(another aspect)은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)을 제공한다. 상기 저장매체는 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 동작; 상기 터치스크린에서 상기 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 상기 복수의 포인트의 위치 정보에 기초하여, 상기 입력 이벤트에 대응되는 기능을 식별하는 동작; 상기 터치스크린을 통해 제스처 입력이 인식됨에 따라, 상기 식별된 기능에 대한 기능 값을 변경하는 동작; 및 상기 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 동작을 수행하기 위하여 상기 전자 장치가 읽을 수 있는 명령어들(instructions)을 포함할 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 전자 장치가 입력 이벤트를 인식하고, 인식된 입력 이벤트에 대응되는 기능을 수행하는 동작을 도시한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 4a는 본 개시의 전자 장치가 인식하는 입력 이벤트와 그에 대응되는 기능의 예시를 도시한 도면이다.
도 4b는 본 개시의 전자 장치가 인식하는 입력 이벤트와 그에 대응되는 기능의 예시를 도시한 도면이다.
도 5a는 본 개시의 전자 장치가 터치스크린 상의 입력 이벤트가 인식된 영역에 기초하여 입력 이벤트에 대응되는 기능을 수행하는 실시예를 도시한 도면이다.
도 5b는 본 개시의 전자 장치가 터치스크린 상의 입력 이벤트가 인식된 영역에 기초하여 입력 이벤트에 대응되는 기능을 수행하는 실시예를 도시한 도면이다.
도 6은 본 개시의 전자 장치가 복수의 터치스크린 중 입력 이벤트가 인식된 터치스크린의 위치에 기초하여 입력 이벤트에 대응되는 기능을 수행하는 실시예를 도시한 도면이다.
도 7은 본 개시의 전자 장치가 복수의 터치스크린 각각에 의해 입력 이벤트가 인식된 영역 및 입력 이벤트가 인식된 터치스크린의 위치에 기초하여 입력 이벤트에 대응되는 기능을 수행하는 실시예를 도시한 도면이다.
도 8은 본 개시의 전자 장치가 동작 상태 정보에 기초하여 입력 이벤트에 따른 기능을 식별하고, 기능을 수행하는 실시예를 도시한 도면이다.
도 9는 본 개시의 전자 장치가 입력 이벤트가 인식됨에 따라 기능에 관한 기능 값을 변경하는 실시예를 도시한 도면이다.
도 10은 본 개시의 전자 장치가 복수의 디스플레이 중 기 설정된 디스플레이부 상에 기능 정보 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 11은 본 개시의 전자 장치가 인공 지능 기술을 이용하여 수행하는 동작을 설명하기 위한 도면이다.
도 12는 본 개시의 전자 장치가 서버와 연동하여 동작하는 개시된 실시예를 도시한 도면이다.
도 13은 도 12를 상세하게 설명하기 위한 도면이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
또한, 본 개시에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 본 개시의 전자 장치(1000)가 입력 이벤트를 인식하고, 인식된 입력 이벤트에 대응되는 기능을 수행하는 동작을 도시한 개념도이다.
도 1을 참조하면, 전자 장치(1000)는 차량 내에 배치되고, 터치스크린(1100)을 포함할 수 있다. 본 개시의 일 실시예에서, 터치스크린(1100)은 차량 내의 CID(Center Information Display)일 수 있으나, 이에 한정되는 것은 아니다. 터치스크린(1100)은 예를 들어, 네비게이션 장치 또는 인포테인먼트 시스템으로 구성될 수도 있다. 전자 장치(1000)는 터치스크린(1100) 이외에 계기판 디스플레이, HUD(Head Up Display), 또는 조수석 디스플레이 중 적어도 하나를 더 포함할 수 있다.
전자 장치(1000)는 터치스크린(1100)을 통해 사용자로부터 터치 입력을 수신할 수 있다. 본 개시의 일 실시예에서, 터치스크린(1100)은 하나의 터치 포인트만을 터치하는 싱글 터치 입력 뿐만 아니라, 2개 이상의 복수의 터치 포인트를 터치하는 멀티 터치 입력을 수신할 수도 있다. 본 개시의 다른 실시예에서, 터치스크린(1100)은 터치 입력 뿐만 아니라, 터치스크린(1100)으로부터 기 설정된 간격만큼 이격된 위치에서의 입력인 호버(hover) 입력을 수신할 수도 있다.
전자 장치(1000)는 터치스크린(1100)에 통해 수신된 사용자의 멀티 터치 입력을 인식하고, 멀티 터치 입력이 인식된 복수의 포인트(101, 102, 103)의 위치 및 형태에 관한 정보에 기초하여 멀티 터치 입력에 대응되는 기능을 식별할 수 있다. 복수의 포인트(101, 102, 103)의 형태는, 복수의 포인트(101, 102, 103)의 개수 및 복수의 포인트(101, 102, 103) 각각의 이격된 간격에 관한 정보를 포함할 수 있다. 멀티 터치 입력에 따른 복수의 포인트(101, 102, 103)의 위치 및 형태에 따라 대응되는 기능이 미리 설정되어 있을 수 있다. 본 개시의 일 실시예에서, 전자 장치(1000)에 의해 제공되는 적어도 하나의 기능들은 복수의 포인트(101, 102, 103)의 위치 및 형태의 조합에 따라 각각 매핑되어 메모리(1300, 도 2 참조) 또는 데이터베이스 내에 저장될 수 있다.
도 1에 도시된 실시예에서, 터치스크린(1100)의 디스플레이 스크린 영역은 제1 영역(1101) 및 제2 영역(1102)으로 구획되고, 사용자의 멀티 터치 입력이 제1 영역(1101) 상에 입력됨에 따라 복수의 포인트(101, 102, 103)는 제1 영역에서 인식될 수 있다. 또한, 복수의 포인트(101, 102, 103) 중 제1 포인트(101)와 제2 포인트(102)는 인접하게 인식되고, 제3 포인트(103)는 제1 포인트(101) 및 제2 포인트(103)와는 일정 거리만큼 이격된 위치에서 인식될 수 있다. 이 경우, 전자 장치(1000)는 터치스크린(1100) 내의 제1 영역(1101)에서 인식된 복수의 포인트(101, 102, 103)의 위치 및 형태에 관한 정보를 획득하고, 복수의 포인트(101, 102, 103)의 위치 및 형태에 관한 정보에 기초하여 멀티 터치 입력에 대응되는 기능인 '운전석 에어컨 세기 조절 기능'을 식별할 수 있다.
전자 장치(1000)는 식별된 기능을 나타내는 UI(User Interface)(110, 120)를 디스플레이할 수 있다. 기능 정보 UI(110)는 멀티 터치 입력에 대응되는 기능에 관한 정보를 문자, 숫자, 도형, 아이콘, 또는 이미지로 나타내는 그래픽 UI(Graphic User Interface)일 수 있다. 본 개시의 일 실시예에서, 기능 정보 UI(110)는 기능 정보를 나타내는 문자(112), 아이콘(114), 및 기능 값을 나타내는 기능 값 UI(116)를 포함할 수 있다. 여기서, '기능 값'은 기능에 의해 변경 또는 조절되는 상태를 나타내는 수치 값을 의미한다. 도 1에 도시된 실시예에서, 기능 정보 UI(110)는 '운전석'을 나타내는 문자 UI(112)인 'Driver'와 에어컨 세기를 바람개비 형태의 아이콘(114), 및 에어컨의 세기의 값(예를 들어, '2')을 나타내는 기능 값 UI(116)를 포함할 수 있다.
전자 장치(1000)는 사용자의 제스처 입력을 수신할 수 있다. 본 개시의 일 실시예에서, 사용자는 3개의 손가락을 터치스크린(1100) 상에 터치하고 있는 상태에서 위아래로 움직이거나, 또는 좌우 방향으로 회전 이동하는 제스처를 입력하고, 전자 장치(1000)는 사용자의 제스처 입력을 인식할 수 있다.
전자 장치(1000)는 제스처 입력이 인식됨에 따라 식별된 기능에 관한 기능 값을 변경할 수 있다. 예를 들어, '운전석 에어컨의 세기 조절'이라는 기능에 관한 기능 값은 현재 동작 중인 에어컨의 세기를 나타내는 수치 값일 수 있다. 도 1에 도시된 실시예에서, 기능 값은 2일 수 있다. 다른 예를 들어, '에어컨 온도 조절 조절' 기능에 관한 기능 값은 현재 에어컨에 의한 차량 내부의 온도를 나타내는 수치값(예를 들어, 25˚C)일 수 있다. 전자 장치(1000)는 터치스크린(1100) 상에서 복수의 포인트(101, 102, 103)의 위치를 이동시키는 사용자의 제스처 입력에 따라 기능 값을 변경할 수 있다. 본 개시의 일 실시예에서, 전자 장치(1000)는 사용자의 제스처 입력의 이동 방향 및 이동 간격에 따라 기능 값의 크기의 변경 정도를 조절할 수 있다. 예를 들어, 복수의 포인트(101, 102, 103)를 시계 방향으로 일정 거리만큼 회전시키는 제스처 입력이 인식되는 경우, 전자 장치(1000)는 운전석 에어컨의 세기를 2에서 3으로 증가시킬 수 있다. 다른 예를 들어, 복수의 포인트(101, 102, 103)를 반시계 방향으로 일정 거리만큼 회전시키는 제스처 입력이 인식되는 경우, 전자 장치(1000)는 운전석 에어컨 세기를 2에서 1로 감소시킬 수 있다.
전자 장치(1000)는 변경된 기능 값을 기능 값 UI(116)를 통해 디스플레이할 수 있다. 전자 장치(1000)는 제스처 입력에 따라 기능 값 UI(116)의 수치를 실시간으로 변경할 수 있다. 도 1에 도시된 실시예에서, 전자 장치(1000)는 제스처 입력의 회전 정도에 따라 기능 값 UI(116)의 수치 값을 2에서 3(또는 4, 5)으로 변경하여 디스플레이할 수 있다.
일반적인 인포테인먼트 시스템에서, 터치스크린(1100)에 대한 터치 입력을 통해 특정 기능을 수행하고자 하는 경우, 사용자는 계층화된 메뉴에 따라 여러 번 터치 입력을 해야 하는 번거로움이 있다. 예를 들어, 터치스크린(1100)을 통해 차량의 운전석 에어컨 세기 조절을 하기 위해서는, 사용자는 에어컨을 선택하는 제1 터치 입력, 에어컨의 송풍 세기를 선택하는 제2 터치 입력, 및 에어컨 송풍 세기를 증가 또는 감소시키기 위한 제3 터치 입력(또는 제스처 입력)을 포함하는 총 3번의 터치를 하여야 한다. 사용자는 에어컨을 선택하기 위하여 터치스크린(1100) 상에서 에어컨 UI가 표시되는 영역을 정확하게 터치하여야 하고, 이후 송풍 세기를 조절하기 위하여 세기 UI가 표시되는 영역을 다시 확인한 이후, 송풍 세기 UI의 표시 영역을 정확하게 터치하여야 하므로, 사용자 편의성이 낮고, 활용도가 떨어지는 문제점이 있다. 또한, 사용자가 차량의 운전자인 경우 터치 영역을 확인하기 위하여 터치스크린(1100) 상에서 에어컨 UI가 표시되는 위치를 바라봐야만 하고, 운전 중에 터치스크린(1100) 상의 특정 위치를 응시하는 것은 집중력 하락을 유발한다. 운전자는 터치스크린(1100) 상의 특정 위치를 응시하다가 집중력 하락으로 인하여 교통 사고가 발생시킬 수도 있다.
본 개시는 사용자가 차량 내의 터치스크린(1100) 상의 정확한 위치를 터치하거나, 계층적 메뉴를 이동하기 위하여 복수 회 터치하지 않더라도 차량의 특정 기능을 수행할 수 있도록 함으로써, 조작성 및 사용자 편의성을 향상시키는 전자 장치(1000) 및 그 동작 방법을 제공하는 것을 목적으로 한다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 터치스크린(1100) 상에서 특정 UI가 디스플레이되는 영역과는 상관없이, 멀티 터치 입력 또는 호버 입력이 인식되는 복수의 포인트(101, 102, 103)의 위치 및 형태에 관한 정보에 기초하여 복수의 포인트(101, 102, 103)에 대응되는 기능을 식별하고, 식별된 기능을 수행할 수 있다. 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자가 정확한 영역을 터치하거나, 계층화된 메뉴 항목을 따라 복수의 터치 입력을 하지 않아도 사용자가 원하는 기능을 편리하게 실행할 수 있도록 함으로써, 조작성 및 사용자 편의성을 향상시키는 기술적 효과를 제공한다. 또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자가 운전자인 경우 운전을 방해받지 않고, 원하는 기능을 실행할 수 있도록 함으로써, 운전자의 집중력 저하에 따른 사고 발생을 미연에 방지하고, 운전자 및 탑승자의 안전을 향상시킬 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성 요소를 도시한 블록도이다.
전자 장치(1000)는 차량의 내부에 탑재되거나, 또는 차량의 외부 구조물에 장착될 수 있다. 일 실시예에서, 전자 장치(1000)는 차량 내부의 ECU(Electonic Control Unit)를 구성하는 하나 이상의 전자 회로를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다.
도 2를 참조하면, 전자 장치(1000)는 터치스크린(1100), 프로세서(1200), 및 메모리(1300)를 포함할 수 있다. 터치스크린(1100), 프로세서(1200), 및 메모리(1300)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
도 2에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 전자 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 전자 장치(1000)는 서버 또는 외부의 다른 디바이스와 데이터 통신을 수행하기 위한 통신 모듈을 더 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치(1000)는 터치스크린(1100) 외에 하나 또는 복수의 디스플레이부를 더 포함할 수 있다. 복수의 디스플레이부는 예를 들어, 계기판 디스플레이, HUD(Head Up Display), 조수석 디스플레이, 또는 후석 디스플레이 중 적어도 하나를 더 포함할 수 있다.
터치스크린(1100)은 CID(Center Information Display)일 수 있으나, 이에 한정되는 것은 아니다. 터치스크린(1100)은 예를 들어, 네비게이션 장치 또는 인포테인먼트 시스템으로 구성될 수도 있다. 터치스크린(1100)은 디스플레이 스크린(1110) 및 터치 패널(1120)을 포함할 수 있다. 본 개시의 일 실시예에서, 디스플레이 스크린(1110)과 터치 패널(1120)은 하나의 구성 요소로 결합될 수 있다.
디스플레이 스크린(1110)은 애플리케이션의 실행 화면, 차량 정보, 및 기능 정보 UI, 및 기능 값 UI 중 적어도 하나를 디스플레이할 수 있다. 디스플레이 스크린(1110)은 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 또는 전기영동 디스플레이(electrophoretic display) 중 적어도 하나로 구성될 수 있다. 그러나, 이에 한정되는 것은 아니다.
터치 패널(1120)은 사용자의 터치 입력을 수신하고, 터치 입력이 수신된 터치 포인트에 대응되는 터치 신호를 생성하도록 구성된다. 터치 패널(1120)은 투명한 패널로서, 후방에 배치된 디스플레이 스크린(1110)에 의해 표시되는 이미지를 투과시킴으로써, 사용자가 이미지를 시각적으로 식별할 수 있도록 한다. 터치 패널(1120)은 터치 포인트의 위치를 감지하는 방식에 따라, 저항막 방식(Resistive type), 정전 용량 방식(Capacitive type), 전자 유도 방식(Electro Magnetic type), 초음파 방식(SAW Type, Surface Acoustic Wave Type) 및 적외선 방식(Infrared Type) 등으로 구분될 수 있다.
본 개시의 일 실시예에서, 터치 패널(1120)은 두 개 이상의 복수의 위치 또는 영역을 터치하는 멀티 터치 입력을 수신할 수 있다. 멀티 터치 입력이 수신되는 경우, 터치 패널(1120)은 멀티 터치 입력이 수신된 복수의 포인트를 인식하며, 인식된 복수의 포인트의 위치 정보를 획득할 수 있다. 터치 패널(1120)은 획득된 복수의 포인트의 위치 정보를 프로세서(1200)에 제공할 수 있다.
터치 패널(1120)은 사용자의 제스처 입력을 수신할 수 있다. '제스처 입력'은 사용자가 복수의 손가락을 통해 터치스크린(1100)을 터치한 상태에서 상하 방향으로 스크롤하거나, 좌우 방향으로 스와이프(swipe)하거나, 시계 방향 또는 반시계 방향으로 회전하는 모션 입력을 의미한다. 제스처 입력은 예를 들어, 핀치 인(pinch in) 또는 핀치 아웃(pinch out) 입력을 더 포함할 수 있다. 본 개시의 일 실시예에서, 터치 패널(1120)은 복수의 포인트의 개수 및 위치 정보를 획득하고, 시간의 흐름에 따라 이동하거나 터치가 해제됨으로써 변경되는 복수의 포인트의 개수 및 위치 이동 정보에 기초하여 사용자의 제스처 입력을 인식할 수 있다.
터치 패널(1120)은 제스처 입력이 인식된 복수의 포인트 중 1개 이상의 포인트가 터치스크린(1100) 상에 터치된 상태로 유지되는 동안에는 동일 제스처로 인식할 수 있다. 터치 패널(1120)은 복수의 포인트가 모두 터치스크린(1100)으로부터 일정 거리만큼 이격되는 경우, 제스처 입력이 종료된 것으로 인식할 수 있다. 복수의 포인트가 모두 터치스크린(1100)으로부터 이격됨으로써 터치 상태가 해제된 이후 터치 및 제스처 입력이 수신되는 경우, 터치 패널(1120)은 제스처 입력을 기존 제스처 입력과 구분되는 신규 제스처 입력으로 인식할 수 있다.
도면에는 도시되지 않았지만, 터치스크린(1100)은 호버(hover) 입력을 수신하는 호버 센서를 더 포함할 수 있다. 호버 센서는 터치스크린(1100)으로부터 기 설정된 간격만큼 이격된 손가락 또는 입력 디바이스(예를 들어, 스타일러스 펜, S펜 등)에 의한 호버 입력을 수신할 수 있다. 본 개시의 일 실시예에서, 호버 센서는 전기장을 발생시켜 터치 패널(1120) 상에 전기장을 형성하는 드라이버 컨트롤 시스템을 포함하고, 손가락 또는 입력 디바이스가 전기장을 통과할 때 센서 어레이 추적선(trace line)을 통해 정전 용량 변화를 인식하고, 인식된 정전 용량의 변화량에 기초하여 호버 입력을 인식할 수 있다.
프로세서(1200)는 메모리(1300)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 한정되는 것은 아니다.
도 2에는 프로세서(1200)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 일 실시예에서, 프로세서(1200)는 하나 또는 하나 이상의 복수 개로 구성될 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 AI 프로세서를 포함할 수 있다. 이 경우, AI 프로세서는 인공지능 모델을 이용하는 추론을 수행할 수 있다. AI 프로세서는, 인공 지능(AI)을 위한 전용 하드웨어 칩 형태(예를 들어, NPU(Neural Processing Unit))로 제작될 수도 있고, 또는 기존의 범용 프로세서(예를 들어, CPU 또는 application processor) 또는 그래픽 전용 프로세서(예를 들어, GPU)의 일부로 제작될 수 있다. 본 개시의 다른 실시예에서, AI 프로세서는 외부 서버에 탑재될 수도 있다.
메모리(1300)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 또는 광 디스크 중 적어도 하나의 타입의 저장매체로 구성될 수 있다.
메모리(1300)에는 프로세서(1200)가 판독할 수 있는 명령어들, 알고리즘(algorithm), 데이터 구조, 프로그램 코드(program code), 및 애플리케이션 프로그램(application program) 중 적어도 하나가 저장될 수 있다. 메모리(1300)에 저장되는 명령어들, 알고리즘, 데이터 구조, 및 프로그램 코드는 예를 들어, C,　C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.　
메모리(1300)는 입력 이벤트 인식 모듈(1310), 기능 식별 모듈(1320), 및 기능 제어 모듈(1330)을 포함할 수 있다. 메모리(1300)에 포함되는 입력 이벤트 인식 모듈(1310), 기능 식별 모듈(1320), 및 기능 제어 모듈(1330)은 프로세서(1200)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.
이하의 실시예에서, 프로세서(1200)는 메모리(1300)에 저장된 프로그램의 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
입력 이벤트 인식 모듈(1310)은 터치스크린(1100)을 통해 멀티 터치 입력 또는 호버 입력이 수신됨에 따라 입력 이벤트를 인식하도록 구성되는 모듈이다. 본 개시의 일 실시예에서, 입력 이벤트 인식 모듈(1310)은 프로세서(1200)에 의해 실행되는 적어도 하나의 애플리케이션 내에 구현되고, 실행 중인 애플리케이션을 통해 멀티 터치 입력 또는 호버 입력을 통한 입력 이벤트를 인식할 수 있다. 입력 이벤트 인식 모듈(1310)은 애플리케이션을 통해 인식된 입력 이벤트의 인식 정보를 기능 식별 모듈(1320)에 제공할 수 있다. 그러나, 이에 한정되는 것은 아니고, 본 개시의 다른 실시예에서, 입력 이벤트 인식 모듈(1310)은 운영 체제(Operating System)(예를 들어, 안드로이드, 윈도우 등)에 결합되는 소프트웨어 모듈로 구현되고, 애플리케이션과는 관계없이 운영 체제에 의해 멀티 터치 입력 또는 호버 입력을 통한 입력 이벤트를 인식할 수 있다. 프로세서(1200)는 입력 이벤트 인식 모듈(1310)과 관련된 명령어들 또는 프로그램 코드를 실행함으로써, 터치스크린(1100)에 의해 수신된 멀티 터치 입력 또는 호버 입력에 따른 입력 이벤트를 인식할 수 있다.
기능 식별 모듈(1320)은 입력 이벤트의 인식 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하도록 구성되는 모듈이다. 기능 식별 모듈(1320)은 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하도록 구성될 수 있다. 프로세서(1200)는 기능 식별 모듈(1320)과 관련된 명령어들 또는 프로그램 코드를 실행함으로써, 입력 이벤트에 대응되는 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 입력 이벤트가 인식된 복수의 포인트의 개수 및 복수의 포인트들 간의 간격에 관한 정보를 포함하는 복수의 포인트의 형태 정보를 획득하고, 획득된 복수의 포인트의 형태 정보를 분석함으로써 입력 이벤트의 종류(type)를 판단할 수 있다. 프로세서(1200)는 입력 이벤트에 종류에 대응되도록 설정된 기능을 식별할 수 있다. 예를 들어, 입력 이벤트가 인식된 복수의 포인트의 개수가 3개이고, 복수의 포인트들 간의 간격이 기 설정된 임계치 이하인 경우, 프로세서(1200)는 입력 이벤트의 종류가 상하 스크롤 입력이고, 입력 이벤트에 대응되는 기능이 차량 에어컨의 온도 조절 기능임을 식별할 수 있다. 다른 예를 들어, 입력 이벤트가 인식된 복수의 포인트의 개수가 3개이고, 복수의 포인트들 간의 간격이 임계치를 초과하며, 복수의 포인트의 배치 관계가 원 형태인 경우, 프로세서(1200)는 입력 이벤트의 종류가 회전 입력이고, 입력 이벤트의 종류에 대응되는 기능이 차량 에어컨의 팬(fan) 세기 조절 기능임을 식별할 수 있다. 프로세서(1200)가 입력 이벤트가 인식된 복수의 포인트의 형태 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별하는 구체적인 실시예에 대해서는 도 4a 및 도 4b에서 상세하게 설명하기로 한다.
본 개시의 일 실시예에서, 프로세서(1200)는 터치스크린(1100) 상에서 복수 개로 분할된 복수의 영역 중 입력 이벤트가 인식된 영역의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 예를 들어, 터치스크린(1100)은 제1 영역 및 제2 영역을 포함하는 2개의 영역으로 분할되고, 제1 영역은 운전석에 인접하게 위치하고, 제2 영역은 조수석에 인접하게 위치하는 경우, 입력 이벤트가 제1 영역에서 인식되면 프로세서(1200)는 입력 이벤트에 대응되는 기능이 운전석 에어컨의 온도 조절 또는 운전석 에어컨의 팬(fan) 세기 조절 기능임을 식별할 수 있다. 여기서, 프로세서(1200)는 제1 영역에서 인식된 입력 이벤트에 따른 복수의 포인트의 형태 정보에 기초하여 운전석 에어컨 온도 조절 기능과 운전석 에어컨의 팬 세기 조절 기능 중 어느 하나의 기능을 식별할 수 있다. 다른 예를 들어, 입력 이벤트가 터치스크린(1100)의 제2 영역에서 인식되는 경우, 프로세서(1200)는 입력 이벤트에 대응되는 기능이 조수석 에어컨의 온도 조절 또는 조수석 에이컨의 팬 세기 조절 기능임을 식별할 수 있다. 프로세서(1200)가 터치스크린(1100)의 복수의 영역 중 입력 이벤트가 인식된 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별하는 구체적인 실시예에 대해서는 도 5a 및 도 5b에서 상세하게 설명하기로 한다.
본 개시의 일 실시예에서, 전자 장치(1000)는 복수의 터치스크린(1100)을 포함할 수 있다. 프로세서(1200)는 복수의 터치스크린(1100) 중 입력 이벤트가 인식된 터치스크린(1100)의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다. 예를 들어, 복수의 터치스크린(1100) 중 제1 터치스크린이 운전석과 인접하게 배치되고, 제2 터치스크린이 조수석과 인접하게 배치될 수 있다. 일 실시예에서, 제1 터치스크린을 통해 입력 이벤트가 인식되면, 프로세서(1200)는 입력 이벤트에 대응되는 기능이 운전석 에어컨의 온도 조절 또는 운전석 에어컨의 팬(fan) 세기 조절 기능임을 식별할 수 있다. 여기서, 프로세서(1200)는 제1 터치스크린을 통해 인식된 입력 이벤트에 따른 복수의 포인트의 형태 정보에 기초하여 운전석 에어컨 온도 조절 기능과 운전석 에어컨의 팬 세기 조절 기능 중 어느 하나의 기능을 식별할 수 있다. 다른 실시예에서, 입력 이벤트가 제2 터치스크린을 통해 인식되는 경우, 프로세서(1200)는 입력 이벤트에 대응되는 기능이 조수석 에어컨의 온도 조절 또는 조수석 에이컨의 팬 세기 조절 기능임을 식별할 수 있다. 프로세서(1200)가 복수의 터치스크린(1100) 중 입력 이벤트가 인식된 터치스크린(1100)의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별하는 구체적인 실시예에 대해서는 도 6 및 도 7에서 상세하게 설명하기로 한다.
본 개시의 일 실시예에서, 전자 장치(1000) 또는 차량에 의해 실행되는 적어도 하나의 기능은, 터치스크린(1100) 상에서 입력 이벤트가 인식된 복수의 포인트들의 위치 및 형태의 조합에 따라 각각 대응되도록 매핑될 수 있다. 적어도 하나의 기능과 복수의 포인트들의 위치 및 형태의 조합에 관한 매핑 관계는 LUT 형태(Look-Up table)로 메모리(1300)에 저장될 수 있다.
그러나, 이에 한정되는 것은 아니고, 상기 적어도 하나의 기능과 입력 이벤트의 위치 및 형태 간의 매핑 관계는 사용자 입력에 의해 결정될 수도 있다. 이 경우, 적어도 하나의 기능은 사용자의 입력에 의해 입력 이벤트가 인식된 터치스크린(1100)의 위치, 입력 이벤트가 인식된 터치스크린(1100) 내의 영역, 및 입력 이벤트의 형태 중 적어도 하나에 대하여 매핑될 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 전자 장치(1000)의 동작 상태 정보를 획득하고, 입력 이벤트가 인식된 복수의 포인트의 형태, 위치, 및 동작 상태 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다. '동작 상태 정보'는, 전자 장치(1000)에 의해 수행 중인 기능, 동작, 및 실행 중인 애플리케이션 중 적어도 하나에 관한 정보를 포함할 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 실행 중인 애플리케이션에 의해 제공되는 적어도 하나의 기능 중 입력 이벤트에 대응되도록 기 설정된 기능을 식별할 수 있다. 예를 들어, 실행 중인 애플리케이션이 음악 애플리케이션인 경우, 프로세서(1200)는 터치스크린(1100)을 통해 수신된 멀티 터치 입력 또는 호버 입력에 따라 입력 이벤트가 인식되면 '다음 곡', '이전 곡', 또는 '음악 볼륨 제어' 중 어느 하나의 기능을 입력 이벤트에 대응되는 기능으로서 식별할 수 있다. 프로세서(1200)가 동작 상태 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별하는 구체적인 실시예에 대해서는 도 8에서 상세하게 설명하기로 한다.
프로세서(1200)는 식별된 기능에 따른 동작을 수행하도록 전자 장치(1000) 또는 차량의 구성 요소들의 동작을 제어할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI를 터치스크린(1100) 상에 디스플레이할 수 있다. 기능 정보 UI는 프로세서(1200)에 의해 식별된 기능에 관한 정보를 문자, 숫자, 도형, 아이콘, 또는 이미지로 나타내는 그래픽 UI(Graphic User Interface)일 수 있다.
기능 제어 모듈(1330)은 입력 이벤트 인식 모듈(1310)에 의해 제스처 입력이 인식되는 경우, 기능에 관한 기능 값을 변경하도록 구성된다. 터치스크린(1100)은 제스처 입력을 수신하고, 입력 이벤트 인식 모듈(1310)은 제스처 입력을 인식하며, 제스처 입력 인식 결과에 관한 정보를 기능 제어 모듈(1330)에 제공할 수 있다. 프로세서(1200)는 기능 제어 모듈(1330)과 관련된 명령어들 또는 프로그램 코드를 실행함으로써, 제스처 입력에 따라 기능 값을 변경할 수 있다. 여기서, '기능 값'은 기능에 의해 변경 또는 조절되는 상태를 나타내는 수치 값을 의미한다. 예를 들어, '운전석 에어컨의 세기 조절'이라는 기능에 관한 기능 값은 현재 동작 중인 에어컨의 세기를 나타내는 수치값 또는 에어컨의 설정 온도를 나타내는 온도일 수 있다.
프로세서(1200)는 제스처 입력에 의해 변경되는 복수의 포인트들 각각의 위치 변화에 기초하여 기능 값을 변경할 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 복수의 포인트들의 위치 변화량의 평균값을 산출하고, 산출된 평균값에 따라 기능 값을 조절할 수 있다.
프로세서(1200)는 제스처 입력에 의해 변경된 기능 값을 나타내는 UI를 터치스크린(1100)을 통해 디스플레이할 수 있다. 프로세서(1200)는 제스처 입력에 따라 기능 값을 나타내는 UI의 수치 값을 실시간으로 변경할 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 기능 값을 나타내는 UI를 제스처 입력이 인식된 터치스크린(1100) 상에 디스플레이할 수 있지만, 이에 한정되는 것은 아니다. 다른 실시예에서, 전자 장치(1000)는 복수의 디스플레이부를 더 포함하고, 프로세서(1200)는 제스처 입력이 인식된 터치스크린(1100)과는 관계없이, 복수의 디스플레이부 중 미리 지정된 디스플레이부 상에 기능 값을 나타내는 UI를 디스플레이할 수 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다.
단계 S310에서, 전자 장치(1000)는 터치스크린(1100, 도 2 참조)에 대한 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식한다. 본 개시의 일 실시예에서, 터치스크린(1100)은 두 개 이상의 복수의 위치 또는 영역을 터치하는 멀티 터치 입력을 수신할 수 있다. 멀티 터치 입력이 수신되는 경우, 전자 장치(1000)는 터치스크린(1100) 상에서 멀티 터치 입력이 수신된 복수의 포인트를 인식하고, 인식된 복수의 포인트의 위치 정보를 획득할 수 있다. 다른 실시예에서, 터치스크린(1100)은 호버 센서를 포함하고, 전자 장치(1000)는 호버 센서를 이용하여 터치스크린(1100)으로부터 기 설정된 간격만큼 이격된 손가락 또는 입력 디바이스(예를 들어, 스타일러스 펜, S펜 등)에 의한 호버 입력을 수신할 수 있다. 전자 장치(1000)는 호버 입력이 수신된 복수의 포인트를 인식하고, 인식된 복수의 포인트의 위치 정보를 획득할 수 있다.
단계 S320에서, 전자 장치(1000)는 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별한다.
본 개시의 일 실시예에서, 전자 장치(1000) 또는 차량에 의해 실행되는 기능은, 터치스크린(1100) 상에서 입력 이벤트가 인식된 복수의 포인트들의 위치 및 형태의 조합에 대응되도록 매핑될 수 있다. 기능과 복수의 포인트들의 위치 및 형태의 조합에 관한 매핑 관계는 LUT 형태로 전자 장치(1000)의 메모리(1300, 도 2 참조)에 저장될 수 있다.
복수의 포인트의 형태 정보는 입력 이벤트가 인식된 복수의 포인트의 개수 및 복수의 포인트들 간의 간격에 관한 정보를 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치(1000)는 복수의 포인트의 개수 및 복수의 포인트들 간의 간격에 관한 정보에 기초하여 복수의 포인트의 형태 정보를 획득하고, 획득된 복수의 포인트의 형태 정보를 분석함으로써 입력 이벤트의 종류(type)를 판단할 수 있다.
본 개시의 일 실시예에서, 전자 장치(1000)는 터치스크린(1100) 상에서 복수 개로 분할된 복수의 영역 중 입력 이벤트가 인식된 영역의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 예를 들어, 터치스크린(1100)은 제1 영역 및 제2 영역을 포함하는 2개의 영역으로 분할될 수 있다. 전자 장치(1000)는 터치스크린(1100)의 제1 영역 및 제2 영역 중 입력 이벤트가 인식된 영역의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 전자 장치(1000)는 복수의 터치스크린(1100)을 포함하고, 복수의 터치스크린(1100) 중 입력 이벤트가 인식된 터치스크린(1100)의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
단계 S330에서, 전자 장치(1000)는 터치스크린을 통해 제스처 입력이 인식됨에 따라 식별된 기능에 대한 기능 값을 변경한다.
터치스크린(1100)은 제스처 입력을 수신하고, 전자 장치(1000)는 터치스크린(1100)으로부터 제스처 입력에 관한 정보를 획득함으로써 제스처 입력을 인식할 수 있다. '제스처 입력'은 사용자가 복수의 손가락을 통해 터치스크린(1100)을 터치한 상태에서 상하 방향으로 스크롤하거나, 좌우 방향으로 스와이프(swipe)하거나, 시계 방향 또는 반시계 방향으로 회전하는 모션 입력을 의미한다. 전자 장치(1000)는 터치스크린(1100) 상에 입력 이벤트가 인식된 복수의 포인트의 개수 및 위치 정보를 획득하고, 시간의 흐름에 따라 이동하거나 터치가 해제됨으로써 변경되는 복수의 포인트의 개수 및 위치 이동 정보에 기초하여 사용자의 제스처 입력을 인식할 수 있다.
본 개시의 일 실시예에서, 전자 장치(1000)는 제스처 입력에 따라 기능 값을 변경할 수 있다. 제스처 입력에 따라 기능 값을 변경할 수 있다. 여기서, '기능 값'은 기능에 의해 변경 또는 조절되는 상태를 나타내는 수치 값을 의미한다. 예를 들어, '운전석 에어컨의 세기 조절'이라는 기능에 관한 기능 값은 현재 동작 중인 에어컨의 세기를 나타내는 수치값 또는 에어컨의 설정 온도를 나타내는 온도일 수 있다. 전자 장치(1000)는 제스처 입력에 의해 변경되는 복수의 포인트들 각각의 위치 변화에 기초하여 기능 값을 변경할 수 있다. 본 개시의 일 실시예에서, 전자 장치(1000)는 복수의 포인트들의 위치 변화량의 평균값을 산출하고, 산출된 평균값에 따라 기능 값을 조절할 수 있다.
단계 S340에서, 전자 장치(1000)는 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이한다. 본 개시의 일 실시예에서, 전자 장치(1000)는 기능 값을 나타내는 UI를 제스처 입력이 인식된 터치스크린(1100) 상에 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니다. 다른 실시예에서, 전자 장치(1000)는 터치스크린(1100) 외에 복수의 디스플레이부를 더 포함하고, 제스처 입력이 인식된 터치스크린(1100)과는 관계없이, 복수의 디스플레이부 중 미리 지정된 디스플레이부 상에 기능 값을 나타내는 UI를 디스플레이할 수 있다.
도 4a는 본 개시의 전자 장치(1000)가 인식하는 입력 이벤트와 그에 대응되는 기능의 예시를 도시한 도면이다.
도 4a를 참조하면, 전자 장치(1000)는 터치스크린(1100, 도 2 참조)을 통해 멀티 터치 입력을 수신하고, 멀티 터치 입력에 따라 입력 이벤트를 인식할 수 있다. 도 4a에 도시된 실시예에서, 전자 장치(1000)는 터치스크린(1100) 상의 복수의 포인트(401 내지 403, 404 내지 406)를 터치하는 멀티 터치 입력으로부터 입력 이벤트를 인식할 수 있다. 전자 장치(1000)는 멀티 터치 입력이 인식된 복수의 포인트(401 내지 406)의 개수 및 복수의 포인트(401 내지 406) 간의 간격에 관한 정보를 획득할 수 있다. 전자 장치(1000)는 복수의 포인트(401 내지 406)의 개수 및 간격 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다.
도 4a의 왼쪽에 도시된 제1 실시예(400-1)를 참조하면, 터치스크린(1100) 상에서 입력 이벤트가 인식된 복수의 포인트(401, 402, 403)의 개수는 3개이고, 복수의 포인트들(401, 402, 403) 간의 간격은 제1 거리(d1)만큼 이격될 수 있다. 전자 장치(1000)는 복수의 포인트(401, 402, 403)의 개수(예를 들어, 3개) 및 복수의 포인트(401, 402, 403) 간의 간격(예를 들어, d1)에 관한 정보를 획득하고, 획득된 복수의 포인트(401, 402, 403)의 개수 및 간격에 관한 정보에 기초하여 입력 이벤트에 대응되는 기능으로서 에어컨의 온도 조절 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 복수의 포인트들(401, 402, 403) 간의 간격이 기 설정된 임계 거리 이하인 경우, 전자 장치(1000)는 입력 이벤트의 종류(type)가 상하 방향의 스크롤 입력이라고 인식할 수 있다. 제1 실시예(400-1)에서 제1 포인트(401)와 제2 포인트(402) 간의 간격, 제2 포인트(402)와 제3 포인트(403) 간의 간격, 및 제1 포인트(401)와 제3 포인트(403) 간의 간격이 모두 제1 거리(d1)이고, 제1 거리(d1)는 기 설정된 임계 거리 이하이므로, 전자 장치(1000)는 입력 이벤트의 종류가 상하 방향의 스크롤 입력이라고 인식할 수 있다.
본 개시의 일 실시예에서, 전자 장치(1000)는 복수의 포인트(404, 405, 406) 간의 이격된 간격에 기초하여 복수의 포인트(404, 405, 406)가 배치된 형태 정보를 획득하고, 형태 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다. 도 4a의 오른쪽에 도시된 제2 실시예(400-2)를 참조하면, 터치스크린(1100) 상에서 입력 이벤트가 인식된 복수의 포인트(404, 405, 406)의 개수는 3개이고, 복수의 포인트들(404, 405, 406) 간의 간격은 제2 거리(d2)만큼 이격되며, 나란히 배치되지 않고 반원 형태로 배치될 수 있다. 전자 장치(1000)는 복수의 포인트(404, 405, 406)의 개수(예를 들어, 3개), 복수의 포인트(404, 405, 406) 간의 간격(예를 들어, d2), 및 복수의 포인트(404, 405, 406)의 배치 형태에 관한 정보를 획득하고, 획득된 복수의 포인트(404, 405, 406)의 개수, 간격, 및 배치 형태에 관한 정보에 기초하여 입력 이벤트에 대응되는 기능으로서 에어컨의 팬(fan) 세기 조절 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 복수의 포인트들(404, 405, 406) 간의 간격이 기 설정된 임계 거리를 초과하는 경우, 전자 장치(1000)는 입력 이벤트의 종류가 시계 방향 또는 반시계 방향의 회전 입력이라고 인식할 수 있다. 제2 실시예(400-2)에서 제4 포인트(404)와 제5 포인트(405) 간의 간격 및 제5 포인트(405)와 제6 포인트(406) 간의 간격은 모두 제2 거리(d2)이고, 제2 거리(d2)의 크기는 기 설정된 임계 거리를 초과하므로, 전자 장치(1000)는 입력 이벤트의 종류가 회전 입력이라고 인식할 수 있다.
도 4b는 본 개시의 전자 장치(1000)가 인식하는 입력 이벤트와 그에 대응되는 기능의 예시를 도시한 도면이다.
제3 실시예(400-3)를 참조하면, 입력 이벤트가 인식된 복수의 포인트(407, 408, 409)의 개수는 3개이고, 복수의 포인트들(407, 408, 409) 간의 간격은 서로 다를 수 있다. 예를 들어, 제7 포인트(407)와 제8 포인트(408) 간의 간격은 제3 거리(d3)만큼 이격되고, 제7 포인트(407)와 제9 포인트(409) 간의 간격은 제4 거리(d4)만큼 이격되어 배치될 수 있다. 예를 들어, 사용자가 오른손으로 터치스크린(1100, 도 2 참조)을 터치한다고 가정하는 경우, 제7 포인트(407)는 사용자의 검지 손가락에 의해, 제8 포인트(408)는 사용자의 중지 손가락에 의해, 제9 포인트(409)는 사용자의 엄지 손가락에 의해 터치될 수 있다. 전자 장치(1000)는 복수의 포인트(407, 408, 409)의 개수(예를 들어, 3개), 복수의 포인트(407, 408, 409) 간의 간격(예를 들어, d3, d4), 및 복수의 포인트(407, 408, 409)의 배치 형태에 관한 정보를 획득하고, 획득된 복수의 포인트(407, 408, 409)의 개수, 간격, 및 배치 형태에 관한 정보에 기초하여 입력 이벤트의 종류를 판단할 수 있다. 전자 장치(1000)는 입력 이벤트의 종류에 대응되는 기능으로서 음악 애플리케이션의 볼륨 제어 기능을 식별할 수 있다.
제4 실시예(400-4)를 참조하면, 입력 이벤트가 인식된 복수의 포인트(410, 411, 412)의 개수는 3개이고, 복수의 포인트들(410, 411, 412) 간의 간격은 서로 다를 수 있다. 예를 들어, 제10 포인트(410)와 제11 포인트(411) 간의 간격은 제5 거리(d5)만큼 이격되고, 제11 포인트(411)와 제12 포인트(412) 간의 간격은 제6 거리(d6)만큼 이격되어 배치될 수 있다. 예를 들어, 제5 거리(d5)의 크기는 제6 거리(d6)의 크기 보다 클 수 있다. 또한, 복수의 포인트(410, 411, 412)는 높이의 차이가 없이, 나란히 배치될 수 있다. 전자 장치(1000)는 복수의 포인트(410, 411, 412)의 개수(예를 들어, 3개), 복수의 포인트(410, 411, 412) 간의 간격(예를 들어, d5, d6), 및 복수의 포인트(410, 411, 412)의 배치 형태에 관한 정보를 획득하고, 획득된 복수의 포인트(410, 411, 412)의 개수, 간격, 및 배치 형태에 관한 정보에 기초하여 입력 이벤트의 종류를 판단할 수 있다. 전자 장치(1000)는 입력 이벤트의 종류에 대응되는 기능으로서 음악 애플리케이션의 다음 곡 플레이 기능을 식별할 수 있다.
제5 실시예(400-5)를 참조하면, 입력 이벤트가 인식된 복수의 포인트(413, 414, 415)의 개수는 3개이고, 복수의 포인트들(413, 414, 415) 간의 간격은 서로 다를 수 있다. 제5 실시예(400-5)에서 복수의 포인트(413, 414, 415) 간의 간격이 제4 실시예(400-4)와는 다르다. 예를 들어, 제13 포인트(413)와 제14 포인트(414) 간의 간격은 제6 거리(d6)만큼 이격되고, 제14 포인트(414)와 제15 포인트(415) 간의 간격은 제5 거리(d5)만큼 이격되어 배치될 수 있다. 전자 장치(1000)는 복수의 포인트(413, 414, 415)의 개수(예를 들어, 3개), 복수의 포인트(413, 414, 415) 간의 간격(예를 들어, d5, d6), 및 복수의 포인트(413, 414, 415)의 배치 형태에 관한 정보를 획득하고, 획득된 복수의 포인트(413, 414, 415)의 개수, 간격, 및 배치 형태에 관한 정보에 기초하여 입력 이벤트에 대응되는 기능으로서 음악 애플리케이션의 이전 곡 플레이 기능을 식별할 수 있다.
도 4a 및 도 4b에 도시된 실시예에 따른 전자 장치(1000)는 사용자의 멀티 터치 입력 또는 호버 입력이 인식되는 복수의 포인트의 개수 및 형태 정보에 기초하여 해당 기능을 자동으로 식별하는 바, 사용자가 실행하고자 하는 기능을 나타내는 UI를 찾아서 UI가 디스플레이되는 위치를 정확하게 터치하지 않더라도 기능을 실행할 수 있다. 따라서, 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자의 조작 편의성을 향상시키고, 사용자가 운전자인 경우 집중력을 해치지 않음으로써 교통 사고 발생을 미연에 방지할 수 있는 기술적 효과를 제공한다.
도 5a는 본 개시의 전자 장치(1000)가 터치스크린(1100) 상의 입력 이벤트가 인식된 영역에 기초하여 입력 이벤트에 대응되는 기능을 수행하는 실시예를 도시한 도면이다.
도 5a를 참조하면, 터치스크린(1100)은 제1 영역(1101) 및 제2 영역(1102)을 포함하는 복수의 영역을 포함할 수 있다. 도 5a에서 제1 영역(1101) 및 제2 영역(1102)은 물리적으로 분할된 것은 아니고, 멀티 터치 입력 또는 호버 입력이 수신됨에 따라 복수의 포인트(501, 502, 503)가 인식되는 위치를 기반으로 구획된 영역이다. 그러나, 이에 한정되는 것은 아니고, 터치스크린(1100)은 3개 이상의 복수의 영역을 포함할 수 있다.
본 개시의 일 실시예에서, 제1 영역(1101)은 운전석에 인접하도록 배치되고, 제2 영역(1102)은 조수석에 인접하도록 배치될 수 있다.
전자 장치(1000)는 터치스크린(1100) 상의 복수의 영역(1101, 1102) 중 사용자로부터 멀티 터치 입력 또는 호버 입력이 수신됨에 따라 입력 이벤트가 인식된 영역의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 도 5a에 도시된 실시예에서, 사용자의 멀티 터치 입력 또는 호버 입력에 의한 입력 이벤트가 터치스크린(1100)의 제1 영역(1101)에서 복수의 포인트(501, 502, 503)가 인식되는 경우, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 복수의 포인트(501, 502, 503)의 위치 좌표 정보를 획득할 수 있다. 프로세서(1200)는 복수의 포인트(501, 502, 503) 각각의 위치 좌표의 중심점의 위치를 식별하고, 중심점의 위치가 터치스크린(1100) 상의 어느 위치인지를 식별할 수 있다. 식별 결과, 복수의 포인트(501, 502, 503)의 위치 좌표의 중심점의 위치가 제1 영역(1101)인 경우, 프로세서(1200)는 제1 영역(1101)에서 인식된 입력 이벤트에 대응되는 기능을 식별할 수 있다. 도 5a에 도시된 실시예에서, 프로세서(1200)는 제1 영역(1101)에서 인식된 입력 이벤트에 대응되는 기능으로 운전석 에어컨 설정 온도 조절 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 터치스크린(1100) 상에서 복수의 포인트(501, 502, 503)가 인식된 영역의 위치 정보를 획득하고, 복수의 포인트(501, 502, 503)의 형태 정보를 획득할 수 있다. 프로세서(1200)는 터치스크린(1100) 상에서 입력 이벤트가 인식된 복수의 포인트(501, 502, 503)의 위치 정보 및 형태 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 도면에는 도시되지 않았지만, 제1 영역(1101)에서 인식된 복수의 포인트(501, 502, 503)의 형태가 도 4a에 도시된 제2 실시예(400-2, 도 4a 참조)와 같은 형태인 경우, 프로세서(1200)는 입력 이벤트에 대응되는 기능으로서 운전석 에어컨 팬(fan) 세기 조절 기능을 식별할 수 있다.
프로세서(1200)는 식별된 기능을 수행하도록 전자 장치(1000) 또는 차량의 구성을 제어할 수 있다. 예를 들어, 식별된 기능이 에어컨의 온도 조절 또는 팬 세기 조절인 경우, 프로세서(1200)는 온도 조절 또는 팬 세기 조절에 관한 기능을 실행하도록 기능에 관한 동작 정보를 차량의 에어컨에 전송할 수 있다.
프로세서(1200)는 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI(510)를 터치스크린(1100)에 디스플레이할 수 있다. '기능 정보 UI(510)'는 프로세서(1200)에 의해 식별된 기능에 관한 정보를 문자, 숫자, 도형, 아이콘, 또는 이미지로 나타내는 그래픽 UI(Graphic User Interface)일 수 있다. 본 개시의 일 실시예에서, 기능 정보 UI(510)는 기능 정보를 나타내는 문자(512), 아이콘(514), 및 기능 값을 나타내는 기능 값 UI(516)를 포함할 수 있다. 도 5a에 도시된 실시예에서, 기능 정보 UI(510)는 운전석을 의미하는 'Driver'라는 문자(512)와 운전석 에어컨의 온도를 나타내는 온도계 형상의 아이콘(514), 및 에어컨의 설정 온도값인 '21.5'라는 숫자를 나타내는 기능 값 UI(516)를 포함할 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 터치스크린(1100) 상의 복수의 영역(1101, 1102) 중 입력 이벤트가 인식된 영역인 제1 영역(1101)에 기능 정보 UI(510)를 디스플레이할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 사용자의 제스처 입력을 유도하기 위한 제스처 UI(520)를 터치스크린(1100) 상에 디스플레이할 수 있다. 제스처 UI(520)는 복수의 포인트(501, 502, 503)에 대한 터치 입력 또는 호버 입력을 유지한 상태에서 상하 방향 또는 좌우 방향으로 이동, 또는 시계 방향, 반시계 방향으로 회전하는 사용자의 제스처 입력을 유도하기 위한 그래픽 UI일 수 있다. 도 5a에 도시된 실시예에서, 제스처 UI(520)는 복수의 포인트(501, 502, 503)의 상하 방향 스크롤 입력을 유도하기 위한 UI일 수 있다.
도 5b는 본 개시의 전자 장치(1000)가 터치스크린(1100) 상의 입력 이벤트가 인식된 영역에 기초하여 입력 이벤트에 대응되는 기능을 수행하는 실시예를 도시한 도면이다.
도 5b에 도시된 실시예는, 터치스크린(1100) 상의 제2 영역(1102)에서 입력 이벤트가 인식된 것 이외에는 도 5a의 실시예와 동일하므로, 도 5a의 설명과 중복되는 설명은 생략한다.
도 5b를 참조하면, 사용자의 멀티 터치 입력 또는 호버 입력에 의한 입력 이벤트가 터치스크린(1100)의 제2 영역(1102)에서 복수의 포인트(504, 505, 506)가 인식되는 경우, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 복수의 포인트(504, 505, 506)의 위치 좌표 정보를 획득하고, 복수의 포인트(504, 505, 506) 각각의 위치 좌표의 중심점의 위치를 식별하며, 식별된 중심점의 위치에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다. 도 5b에 도시된 실시예에서, 프로세서(1200)는 제2 영역(1102)에서 인식된 입력 이벤트에 대응되는 기능으로 조수석 에어컨 설정 온도 조절 기능을 식별할 수 있다.
프로세서(1200)는 식별된 기능을 수행하도록 전자 장치(1000) 또는 차량의 구성을 제어할 수 있다. 예를 들어, 식별된 기능이 에어컨의 온도 조절 또는 팬 세기 조절인 경우, 프로세서(1200)는 온도 조절 또는 팬 세기 조절에 관한 기능을 실행하도록 기능에 관한 동작 정보를 차량의 에어컨에 전송할 수 있다.
프로세서(1200)는 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI(530)를 터치스크린(1100)에 디스플레이할 수 있다. 도 5b에 도시된 실시예에서, 프로세서(1200)는 조수석을 의미하는 'Passenger'라는 문자(532)와 조수석 에어컨의 온도를 나타내는 온도계 형상의 아이콘(534), 및 에어컨의 설정 온도값인 '23.5'라는 숫자를 나타내는 기능 값 UI(516)를 포함하는 기능 정보 UI(530)를 디스플레이할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 사용자의 제스처 입력을 유도하기 위한 제스처 UI(540)를 터치스크린(1100) 상에 디스플레이할 수 있다. 도 5b에 도시된 실시예에서, 제스처 UI(540)는 복수의 포인트(504, 505, 506)의 상하 방향 스크롤 입력을 유도하기 위한 UI일 수 있다.
도 5a 및 도 5b에 도시된 실시예에 따른 전자 장치(1000)는 하나의 터치스크린(1100) 내의 복수의 영역(1101, 1102)을 통해 인식된 입력 이벤트의 위치 정보에 따라 서로 다른 기능을 식별할 수 있다. 예를 들어, 터치스크린(1100)의 복수의 영역(1101, 1102) 중 운전석과 인접한 제1 영역(1101)에서 입력 이벤트가 인식되는 경우 운전석과 관련된 기능이 식별되고, 조수석과 인접한 제2 영역(1102)에서 입력 이벤트가 인식되는 경우 조수석과 관련된 기능이 식별되며, 식별된 기능이 자동으로 실행될 수 있다. 따라서, 본 개시의 일 실시예에 따른 전자 장치(1000)는, 운전자 또는 조수석 탑승자가 운전석 또는 조수석과 관련된 기능을 실행하기 위하여 해당 기능에 관한 UI를 찾아서 UI가 디스플레이되는 위치를 정확하게 터치하지 않더라도 직관적으로 기능을 실행할 수 있는 바, 사용자 편의성을 향상시킬 수 있다.
도 6은 본 개시의 전자 장치(1000)가 복수의 터치스크린(1100-1, 1100-2) 중 입력 이벤트가 인식된 터치스크린의 위치에 기초하여 입력 이벤트에 대응되는 기능을 수행하는 실시예를 도시한 도면이다.
도 6을 참조하면, 전자 장치(1000)는 복수의 터치스크린(1100-1, 1100-2)을 포함할 수 있다. 도 6에 도시된 실시예에서, 제1 터치스크린(1100-1)은 운전석에 인접하게 배치되고, 제2 터치스크린(1100-2)은 조수석에 인접하게 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 3개 이상의 터치스크린을 포함할 수도 있다.
전자 장치(1000)는 복수의 터치스크린(1100-1, 1100-2) 중 입력 이벤트가 인식된 터치스크린의 위치에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 본 개시의 일 실시예에서, 사용자의 멀티 터치 입력 또는 호버 입력에 의해 제1 터치스크린(1100-1)에서 입력 이벤트가 인식된 경우, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 제1 터치스크린(1100-1)에 대응되도록 설정된 기능을 식별할 수 있다. 도 6에 도시된 실시예에서, 프로세서(1200)는 제1 터치스크린(1100-1)에 대한 멀티 터치 입력 또는 호버 입력에 의해 인식된 입력 이벤트에 대응되는 기능으로서 운전석 에어컨 온도 조절 기능을 식별할 수 있다.
제2 터치스크린(1100-2)에서 입력 이벤트가 인식된 경우, 프로세서(1200)는 제2 터치스크린(1100-2)에 대응되도록 설정된 기능을 식별할 수 있다. 도 6에 도시된 실시예에서, 프로세서(1200)는 제2 터치스크린(1100-2)에 대한 멀티 터치 입력 또는 호버 입력에 의해 인식된 입력 이벤트에 대응되는 기능으로서 조수석 에어컨 온도 조절 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI(610, 630)를 복수의 터치스크린(1100-1, 1100-2)에 각각 디스플레이할 수 있다. '기능 정보 UI(610, 630)'는 프로세서(1200)에 의해 식별된 기능에 관한 정보를 문자, 숫자, 도형, 아이콘, 또는 이미지로 나타내는 그래픽 UI(Graphic User Interface)일 수 있다. 프로세서(1200)는 복수의 터치스크린(1100-1, 1100-2) 중 입력 이벤트가 인식된 영역에 해당되는 기능 정보 UI(610, 630)를 디스플레이할 수 있다. 도 6에 도시된 실시예에서, 프로세서(1200)는 운전석 온도 조절 기능에 관한 기능 정보 UI(610)를 제1 터치스크린(1100-1) 상에 디스플레이하고, 조수석 온도 조절 기능에 관한 기능 정보 UI(630)를 제2 터치스크린(1100-2) 상에 디스플레이할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 사용자의 제스처 입력을 유도하기 위한 제스처 UI(620, 640)를 복수의 터치스크린(1100-1, 1100-2) 상에 디스플레이할 수 있다. 도 6에 도시된 실시예에서, 프로세서(1200)는 운전석 온도 조절 기능과 관련된 제스처 입력을 유도하는 제스처 UI(620)를 제1 터치스크린(1100-1) 상에 디스플레이하고, 조수석 온도 조절 기능과 관련된 제스처 입력을 유도하는 제스처 UI(640)를 제2 터치스크린(1100-2) 상에 디스플레이할 수 있다.
도 6에 도시된 실시예에 따른 전자 장치(1000)는 복수의 터치스크린(1100-1, 1100-2) 중 사용자의 멀티 터치 입력 또는 호버 입력에 의한 입력 이벤트가 인식된 터치스크린의 위치에 기초하여 서로 다른 기능을 식별하고, 식별된 기능을 자동으로 실행할 수 있다. 본 개시의 일 실시예에 따른 전자 장치(1000)는, 멀티 스크린 환경에서 운전석 또는 조수석과 인접한 위치에 배치된 터치스크린을 통해 원하는 기능을 자동으로 실행할 수 있도록 함으로써, 사용자의 조작 편의성을 향상시킬 수 있다.
도 7은 본 개시의 전자 장치(1000)가 복수의 터치스크린(1100-1, 1100-2) 각각에 의해 입력 이벤트가 인식된 영역 및 입력 이벤트가 인식된 터치스크린의 위치에 기초하여 입력 이벤트에 대응되는 기능을 수행하는 실시예를 도시한 도면이다.
도 7을 참조하면, 전자 장치(1000)는 복수의 터치스크린(1100-1, 1100-2)을 포함할 수 있다. 제1 터치스크린(1100-1)은 제1 영역(1101) 및 제2 영역(1102)을 포함하는 복수의 영역으로 구분될 수 있다. 제1 영역(1101) 및 제2 영역(1102)은 물리적으로 분할된 것은 아니고, 멀티 터치 입력 또는 호버 입력에 의한 입력 이벤트가 인식되는 위치를 기반으로 구획된 영역이다. 제2 터치스크린(1100-2)은 제3 영역(1103) 및 제4 영역(1104)을 포함하는 복수의 영역으로 구분될 수 있다. 도 7에 도시된 실시예에서, 제1 터치스크린(1100-1) 및 제2 터치스크린(1100-2)은 모두 두 개의 영역을 각각 포함하는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 제1 터치스크린(1100-1) 및 제2 터치스크린(1100-2)은 각각 3개 이상의 복수의 영역을 포함할 수도 있다.
전자 장치(1000)는 복수의 터치스크린(1100-1, 1100-2)에 포함되는 복수의 영역(1101, 1102, 1103, 1104) 중 입력 이벤트가 인식된 위치에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 본 개시의 일 실시예에서, 복수의 터치스크린(1100) 중 제1 터치스크린(1100-1)은 운전석과 인접하게 배치되고, 제2 터치스크린(1100-2)은 조수석과 인접하게 배치될 수 있다. 본 개시의 일 실시예에서, 사용자의 멀티 터치 입력 또는 호버 입력에 의해 제1 터치스크린(1100-1) 내의 복수의 영역(1101, 1102)에서 입력 이벤트가 인식된 경우, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 운전석 또는 운전자와 관련된 기능들 중 복수의 영역(1101, 1102)에 각각 대응되도록 설정된 기능을 식별할 수 있다. 도 7에 도시된 실시예에서, 제1 터치스크린(1100-1)의 제1 영역(1101)에서 입력 이벤트가 인식된 경우, 프로세서(1200)는 입력 이벤트에 대응되는 기능으로서 운전석 에어컨 온도 조절 기능을 식별할 수 있다. 다른 실시예에서, 사용자의 멀티 터치 입력 또는 호버 입력에 의해 제1 터치스크린(1100-1) 내의 제2 영역(1102)에서 입력 이벤트가 인식된 경우, 프로세서(1200)는 제2 영역(1102)에 대응되도록 설정된 기능을 식별할 수 있다. 도 7에 도시된 실시예에서, 제2 영역(1102)에서 입력 이벤트가 인식된 경우, 프로세서(1200)는 입력 이벤트에 대응되는 기능으로서 운전석 에어컨의 팬(fan) 세기 조절 기능을 식별할 수 있다.
마찬가지로, 사용자의 멀티 터치 입력 또는 호버 입력에 의해 제2 터치스크린(1100-2) 내의 복수의 영역(1103, 1104)에서 입력 이벤트가 인식된 경우, 전자 장치(1000)는 조수석 또는 조수석 탑승자와 관련된 기능들 중 복수의 영역(1103, 1104)에 각각 대응되도록 설정된 기능을 식별할 수 있다. 도 7에 도시된 실시예에서, 제2 터치스크린(1100-2)의 제3 영역(1103)에서 입력 이벤트가 인식된 경우, 프로세서(1200)는 입력 이벤트에 대응되는 기능으로서 조수석 에어컨 온도 조절 기능을 식별할 수 있다. 다른 실시예에서, 사용자의 멀티 터치 입력 또는 호버 입력에 의해 제2 터치스크린(1100-2) 내의 제4 영역(1104)에서 입력 이벤트가 인식된 경우, 프로세서(1200)는 제4 영역(1104)에 대응되도록 설정된 기능을 식별할 수 있다. 도 7에 도시된 실시예에서, 제4 영역(1104)에서 입력 이벤트가 인식된 경우, 프로세서(1200)는 입력 이벤트에 대응되는 기능으로서 조수석 에어컨의 팬(fan) 세기 조절 기능을 식별할 수 있다.
프로세서(1200)는 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI(710, 730, 750, 770)를 터치스크린(1100)에 디스플레이할 수 있다.
프로세서(1200)는 사용자의 제스처 입력을 유도하기 위한 제스처 UI(720, 780)를 터치스크린(1100-1, 1100-2) 상에 디스플레이할 수 있다. 제스처 UI(720, 780)는 복수의 포인트에 대한 멀티 터치 입력 또는 호버 입력을 유지한 상태에서 상하 방향 또는 좌우 방향으로 이동, 또는 시계 방향, 반시계 방향으로 회전하는 사용자의 제스처 입력을 유도하기 위한 그래픽 UI일 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 터치스크린 내의 복수의 영역 중 사용자의 터치 입력 또는 호버 입력이 유지되고 있는 영역에 제스처 UI(720, 780)를 디스플레이할 수 있다. 도 7에 도시된 실시예에서, 운전자가 제1 터치스크린(1100-1)의 제1 영역(1101)을 터치하고 있는 경우, 프로세서(1200)는 제1 영역(1101)에 대한 터치 입력을 인식하고, 터치가 유지되고 있는 제1 영역(1101)에 제스처 UI(720)를 디스플레이할 수 있다. 마찬가지로, 조수석 탑승자가 제2 터치스크린(1100-2)의 제4 영역(1104)을 터치하고 있는 경우, 프로세서(1200)는 제4 영역(1104)에 대한 터치 입력을 인식하고, 터치가 유지되고 있는 제4 영역(1104)에 제스처 UI(780)를 디스플레이할 수 있다.
도 8은 본 개시의 전자 장치(1000)가 동작 상태 정보에 기초하여 입력 이벤트에 따른 기능을 식별하고, 기능을 수행하는 실시예를 도시한 도면이다.
도 8을 참조하면, 전자 장치(1000)는 수행 중인 기능, 동작, 또는 실행 중인 애플리케이션 중 적어도 하나에 관한 정보를 포함하는 동작 상태 정보를 획득하고, 터치스크린(1100)을 통해 인식된 입력 이벤트의 위치, 형태 정보, 및 동작 상태 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
전자 장치(1000)의 프로세서(1200, 도 2 참조)는 현재 실행 중인 애플리케이션에 관한 정보를 획득하고, 애플리케이션에 의해 제공되는 적어도 하나의 기능 중 입력 이벤트에 대응되도록 기 설정된 기능을 식별할 수 있다. 도 8에 도시된 실시예에서, 전자 장치(1000)는 현재 음악 애플리케이션을 실행하고 있고, 터치스크린(1100)을 통해 수신된 사용자의 멀티 터치 입력에 의해 복수의 포인트(801, 802, 803)에서 입력 이벤트가 인식되는 경우, 프로세서(1200)는 음악 애플리케이션에 의해 제공되는 볼륨 조절, 다음 곡 플레이, 또는 이전 곡 플레이 중 입력 이벤트에 대응되는 기능을 식별할 수 있다. 프로세서(1200)는 입력 이벤트가 인식된 복수의 포인트(810, 802, 803)의 개수 및 복수의 포인트(801, 802, 803) 간의 간격에 관한 정보에 기초하여, 입력 이벤트에 대응되는 기능으로서 볼륨 조절 기능을 식별할 수 있다.
프로세서(1200)는 식별된 기능에 관한 정보를 나타내는 기능 정보 UI(810)를 디스플레이할 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 터치스크린(1100) 상의 복수의 영역(1101, 1102) 중 입력 이벤트가 인식된 영역인 제2 영역(1102)에 기능 정보 UI(810)를 디스플레이할 수 있다. 도 8에 도시된 실시예에서, 기능 정보 UI(810)는 음악 애플리케이션의 볼륨 조절 기능을 시각적으로 나타내는 아이콘을 포함할 수 있다.
프로세서(1200)는 식별된 기능에 따른 동작을 수행할 수 있다. 예를 들어, 프로세서(1200)는 음악 애플리케이션에서 플레이되는 음악의 볼륨을 조절하는 동작을 수행할 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 음악의 볼륨을 조절하기 위한 사용자의 제스처 입력을 유도하는 제스처 UI(820)를 디스플레이할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 애플리케이션의 실행 화면이 디스플레이되는 터치스크린(1100) 상의 위치에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 도 8에 도시된 실시예에서, 터치스크린(1100)은 제1 영역(1101) 및 제2 영역(1102)을 포함하고, 제1 영역(1101)에는 네비게이션 애플리케이션의 실행 화면이 디스플레이되고, 제2 영역(1102)에는 음악 애플리케이션의 실행 화면이 디스플레이될 수 있다. 사용자의 멀티 터치 입력이 음악 애플리케이션의 실행 화면이 디스플레이되는 제2 영역(1102)에서 인식되었으므로, 프로세서(1200)는 음악 애플리케이션에 의해 제공되는 기능을 식별하였지만, 본 개시의 실시예가 도 8에 도시된 바와 같이 한정되는 것은 아니다. 다른 실시예에서, 네비게이션 애플리케이션의 실행 화면이 디스플레이되는 제1 영역(1101)에서 멀티 터치 입력이 인식되는 경우, 프로세서(1200)는 네비게이션 애플리케이션에 의해 제공되는 기능을 식별할 수 있다.
도 8에 도시된 실시예에 따른 전자 장치(1000)는 현재 수행 중인 기능, 동작 또는 실행 중인 애플리케이션에 따라 컨텍스트(context)를 반영하여 관련 기능을 식별하고, 식별된 기능을 실행하는 바, 사용자가 직관적으로 애플리케이션과 관련된 기능을 실행하도록 하고, 따라서 사용자 편의성을 향상시킬 수 있다.
도 9는 본 개시의 전자 장치(1000)가 입력 이벤트가 인식됨에 따라 기능에 관한 기능 값을 변경하는 실시예를 도시한 도면이다.
도 9를 참조하면, 전자 장치(1000)는 터치스크린(1100)을 통해 사용자의 멀티 터치 입력 또는 호버 입력을 수신함에 따라 입력 이벤트를 인식할 수 있다. 본 개시의 일 실시예에서, 전자 장치(1000)는 터치스크린(1100) 상의 복수의 포인트(901, 902, 903)를 터치하는 사용자의 멀티 터치 입력을 인식할 수 있다.
전자 장치(1000)는 입력 이벤트에 대응되도록 설정된 기능을 식별할 수 있다. 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 입력 이벤트가 인식된 복수의 포인트(901, 902, 903)의 위치 및 형태에 관한 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 복수의 포인트(901, 902, 903)의 개수 및 복수의 포인트(901, 902, 903) 간의 간격에 기초하여 복수의 포인트(901, 902, 903)의 형태 정보를 획득하고, 복수의 포인트(901, 902, 903)의 위치 좌표의 중심점의 위치에 기초하여 입력 이벤트가 인식된 위치 정보를 획득할 수 있다. 도 9에 도시된 실시예에서, 프로세서(1200)는 복수의 포인트(901, 902, 903)의 위치 및 형태에 관한 정보에 기초하여, 입력 이벤트에 대응되는 기능으로서 운전석 에어컨 팬(fan) 세기 조절 기능을 식별할 수 있다.
전자 장치(1000)는 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI(910)를 터치스크린(1100)에 디스플레이할 수 있다. '기능 정보 UI(910)'는 프로세서(1200)에 의해 식별된 기능에 관한 정보를 문자, 숫자, 도형, 아이콘, 또는 이미지로 나타내는 그래픽 UI(Graphic User Interface)일 수 있다. 도 9에 도시된 실시예에서, 기능 정보 UI(910)는 운전석을 의미하는 'Driver'라는 문자, 운전석 에어컨의 팬 세기를 나타내는 아이콘, 및 기능 값을 나타내는 숫자 '2'를 포함할 수 있다.
본 개시의 일 실시예에서, 프로세서(1200)는 기능 정보 UI(910) 뿐만 아니라, 제스처 UI(920)를 터치스크린(1100) 상에 디스플레이할 수 있다. 제스처 UI(920)는 복수의 포인트(901, 902, 903)에 대한 터치 입력 또는 호버 입력을 유지한 상태에서 상하 방향 또는 좌우 방향으로 이동, 또는 시계 방향, 반시계 방향으로 회전하는 사용자의 제스처 입력을 유도하기 위한 그래픽 UI일 수 있다.
전자 장치(1000)는 제스처 UI(920)에 따라 복수의 포인트(901, 902, 903)에 관한 터치 입력 또는 호버 입력을 유지한 상태에서 상하, 좌우 방향으로 이동하거나, 시계 방향, 반시계 방향으로 회전하는 사용자의 제스처 입력을 수신할 수 있다. 프로세서(1200)는 터치스크린(1100)을 통해 수신된 제스처 입력을 인식하고, 제스처 입력에 따라 기능에 관한 기능 값을 변경할 수 있다. '기능 값'은 기능에 의해 변경 또는 조절되는 상태를 나타내는 수치 값을 의미한다. 예를 들어, '운전석 에어컨의 팬 세기 조절'이라는 기능에 관한 기능 값은 현재 동작 중인 에어컨의 세기를 나타내는 수치값 또는 에어컨의 설정 온도를 나타내는 온도일 수 있다.
프로세서(1200)는 제스처 입력에 의해 변경되는 복수의 포인트(901, 902, 903) 각각의 위치 변화에 기초하여 기능 값을 변경할 수 있다. 본 개시의 일 실시예에서, 프로세서(1200)는 복수의 포인트(901, 902, 903)의 위치 변화량의 평균값을 산출하고, 산출된 평균값에 따라 기능 값을 조절할 수 있다.
프로세서(1200)는 제스처 입력에 의해 변경된 기능 값을 나타내는 UI를 디스플레이할 수 있다. 도 9에 도시된 실시예에서, 프로세서(1200)는 운전석 에어컨 팬 세기의 수치 값을 나타내는 숫자를 포함하는 기능 정보 UI(910)를 디스플레이할 수 있다. 기능 정보 UI(910)에 포함되는 수치 값은 사용자의 제스처 입력에 따라 변경될 수 있다. 예를 들어, 기능 정보 UI(910)가 표시하는 수치 값은 사용자의 제스처 입력에 따라 2에서 5로 변경될 수 있다.
도 10은 본 개시의 전자 장치(1000)가 복수의 디스플레이(1100-1 내지 1100-5) 중 사전에 지정된 디스플레이부 상에 기능 정보 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 10을 참조하면, 전자 장치(1000)는 복수의 디스플레이(1100-1 내지 1100-5)를 포함할 수 있다. 예를 들어, 복수의 디스플레이(1100-1 내지 1100-5) 중 제1 디스플레이(1100-1)는 CID(Center Information Display)로 구성되고, 제2 디스플레이(1100-2)는 조수석 디스플레이로 구성되며, 제3 디스플레이(1100-3) 및 제4 디스플레이(1100-4)는 후석 디스플레이로 구성될 수 있다. 제5 디스플레이(1100-5)는 후석의 팔걸이에 배치되는 디스플레이일 수 있다.
복수의 디스플레이(1100-1 내지 1100-5) 중 적어도 하나의 디스플레이는 터치스크린으로 구현될 수 있다. 도 10에 도시된 실시예에서, 제5 디스플레이(1100-5)는 사용자의 멀티 터치 입력 또는 호버 입력을 수신하는 터치스크린으로 구성될 수 있다.
전자 장치(1000)는 입력 이벤트가 감지된 터치스크린과는 관계없이, 복수의 디스플레이(1100-1 내지 1100-5) 중 사전에 지정된 디스플레이 상에 기능 정보 UI(110)를 디스플레이할 수 있다. 도 9에 도시된 실시예에서, 전자 장치(1000)는 제5 디스플레이(1100-5)를 통해 사용자의 멀티 터치 입력을 수신하고, 수신된 멀티 터치 입력에 따라 입력 이벤트를 인식할 수 있다. 본 개시의 일 실시예에서, 복수의 디스플레이(1100-1 내지 1100-5) 중 기능 정보 UI(110)가 디스플레이되는 디스플레이는 디폴트(default)로 사전에 미리 지정되어 있을 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 사용자 입력에 따라 복수의 디스플레이(1100-1 내지 1100-5) 중 기능 정보 UI(110)가 디스플레이되는 적어도 하나의 디스플레이를 지정할 수 있다. 예를 들어, 복수의 디스플레이(1100-1 내지 1100-5) 중 제1 디스플레이(1100-1)가 기능 정보 UI(110)를 디스플레이하도록 사전에 설정될 수 있다. 전자 장치(1000)는 입력 이벤트가 인식된 제5 디스플레이(1100-5)가 아닌, 제1 디스플레이(1100-1) 상에 기능 정보 UI(110)를 디스플레이할 수 있다.
도 10에 도시된 실시예에 따른 전자 장치(1000)는 사용자의 멀티 터치 입력 또는 호버 입력이 인식된 제5 디스플레이(1100-5)가 아니라, 사전에 지정된 제1 디스플레이(1100-1) 상에 기능 정보 UI(110)를 디스플레이할 수 있다. 따라서, 본 개시의 일 실시예에 따른 전자 장치(1000)는, 후석 탑승자가 기능 값을 변경하더라도 운전자 또는 조수석 탑승자가 변경된 기능 값을 직관적으로 확인할 수 있도록 하는 기술적 효과를 제공할 수 있다.
도 11은 본 개시의 일 실시예에 따른 전자 장치(1000)가 인공 지능 기술을 이용하여 수행되는 동작을 설명하기 위한 도면이다.
구체적으로, 전자 장치(1000)에 의해 수행되는 i) 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 동작, ii) 터치스크린에서 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하는 동작, iii) 터치스크린을 통해 제스처 입력이 인식됨에 따라, 식별된 기능에 대한 기능 값을 변경하는 동작, 및 iv) 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 동작 중 적어도 하나는, 신경망(neural network)을 통한 연산을 수행하는 인공지능(AI: Artificial Intelligence) 기술을 이용하여 수행될 수 있다.
인공 지능 기술(이하, 'AI 기술')은 신경망(Neural Network)을 통한 연산을 기반으로 입력 데이터를 분석 및/또는 분류 등과 같은 처리를 하여 목적하는 결과를 획득하는 기술이다.
이러한 AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network)이라 한다. 여기서, 신경망은 입력 데이터를 입력받고, 전술한 분석 및/또는 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다. 신경망이 입력 데이터에 대응되는 결과 데이터를 정확하게 출력하기 위해서는, 신경망을 학습(training)시킬 필요가 있다. 여기서, '학습(training)'은 신경망에 대한 입력 데이터들을 분석하는 방법, 입력 데이터들을 분류하는 방법, 및/또는 입력 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 신경망이 스스로 발견 또는 터득할 수 있도록 훈련시키는 것을 의미할 수 있다. 구체적으로, 학습 과정을 통하여, 신경망은 학습 데이터(예를 들어, 서로 다른 복수의 이미지들)를 학습(training)하여 신경망 내부의 가중치(weight) 값들을 최적화할 수 있다. 그리고, 최적화된 가중치 값을 가지는 신경망을 통하여, 입력 데이터를 처리함으로써, 목적하는 결과를 출력한다.
신경망은 연산을 수행하는 내부의 레이어(layer)인 은닉 레이어(hidden layer)의 개수가 복수일 경우, 즉 연산을 수행하는 신경망의 심도(depth)가 증가하는 경우, 심층 신경망으로 분류될 수 있다. 신경망은 예를 들어, CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 등을 포함하고, 전술한 예시에 한정되지 않는다. 또한, 신경망은 세분화될 수 있다. 예를 들어, CNN 신경망은 D-CNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망(미도시) 등으로 세분화 될 수 있다.
'AI 모델'은 입력 데이터를 수신하고 목적하는 결과를 출력하도록 동작하는 적어도 하나의 레이어를 포함하는 신경망을 의미할 수 있다. 또한, 'AI 모델'은 신경망을 통한 연산을 수행하여 목적하는 결과를 출력하는 알고리즘, 복수의 알고리즘의 집합, 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 프로세서(processor), 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 소프트웨어, 또는 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 하드웨어를 의미할 수 있다.
전술한 i) 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 동작, ii) 터치스크린에서 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하는 동작, iii) 터치스크린을 통해 제스처 입력이 인식됨에 따라, 식별된 기능에 대한 기능 값을 변경하는 동작, 및 iv) 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 동작 중 적어도 하나는 AI 모델 기반으로 수행될 수 있다.
도 11을 참조하면, 신경망(10)은 학습 데이터(training data)를 입력받아 트레이닝(training)될 수 있다. 그리고, 학습된 신경망(10)은 입력단(12)으로 입력 데이터(11)를 입력받고, 입력단(12), 은닉 레이어(hidden layer)(13) 및 출력단(14)은 입력 데이터(11) 및 이전 레이어로부터 전달된 데이터를 분석하여 출력 데이터(15)를 출력하기 위한 연산을 수행할 수 있다. 도 11에서는 은닉 레이어(13)가 1개의 계층인 것으로 도시되어 있으나, 이는 예시일 뿐이고, 은닉 레이어(13)는 복수의 계층으로 이루어질 수도 있다.
개시된 실시예에서 신경망(10)은, 복수의 포인트의 형태 정보를 분석함으로써, 입력 이벤트의 종류를 판단하고, 입력 이벤트의 종류에 대응되도록 설정된 기능을 식별하도록 학습될 수 있다.
개시된 실시예에서 신경망(10)은, 터치스크린에서 복수 개로 분할된 복수의 영역 중 입력 이벤트가 인식된 영역의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별하도록 학습될 수 있다.
개시된 실시예에서 신경망(10)은, 복수의 터치스크린 중 입력 이벤트가 인식된 터치스크린의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별하도록 학습될 수 있다.
개시된 실시예에서 신경망(10)은, 전자 장치(1000)에 의해 수행 중인 기능, 동작, 및 전자 장치(1000)에 의해 실행 중인 애플리케이션 중 적어도 하나에 관한 정보를 포함하는 동작 상태 정보를 획득하고, 복수의 포인트의 형태 정보, 복수의 포인트의 위치 정보, 및 동작 상태 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별하도록 학습될 수 있다.
개시된 실시예에서 신경망(10)은, 실행 중인 애플리케이션에 의해 제공되는 적어도 하나의 기능 중 입력 이벤트에 대응되도록 기 설정된 기능을 식별하도록 학습될 수 있다.
개시된 실시예에서 신경망(10)은, 멀티 터치 입력 또는 호버 입력의 인식에 응답하여, 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(10)은, 입력 이벤트가 인식된 복수의 포인트의 위치 정보에 기초하여 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(10)은, 입력 이벤트가 인식된 터치스크린과는 관계없이, 복수의 디스플레이부 중 사전에 지정된 디스플레이부 상에 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서, 전술한 i) 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 동작, ii) 터치스크린에서 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하는 동작, iii) 터치스크린을 통해 제스처 입력이 인식됨에 따라, 식별된 기능에 대한 기능 값을 변경하는 동작, 및 iv) 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 동작 중 적어도 하나를 수행하는 신경망(10)과 관련된 데이터 또는 프로그램 코드는 메모리(1300, 도 2 참조)에 저장되고, 신경망(10)을 이용하는 학습은 프로세서(1200, 도 2 참조)에 의해 수행될 수 있다. 이 경우, 프로세서(1200)는 인공지능 프로세서(AI processor)를 포함할 수 있다.
또는, 전술한 i) 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 동작, ii) 터치스크린에서 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하는 동작, iii) 터치스크린을 통해 제스처 입력이 인식됨에 따라, 식별된 기능에 대한 기능 값을 변경하는 동작, 및 iv) 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 동작 중 적어도 하나를 수행하는 신경망(10)은 전자 장치(1000)와 구별된 별도의 디바이스(미도시) 또는 프로세서(미도시) 내에 구현될 수 있다.
전술한 신경망(10)을 통한 연산은 일 실시예에 따른 전자 장치(1000)와 무선 통신 네트워크를 통해 통신할 수 있는 서버(2000, 도 12 및 도 13 참조)에 의해 수행될 수도 있다. 전자 장치(1000)와 서버(2000) 간의 통신은 도 12 및 도 13을 참조하여 설명한다.
도 12는 서버(2000)와 연동하여 동작하는 개시된 실시예에 따른 전자 장치(1000)를 나타내는 도면이다.
서버(2000)는 통신 네트워크(3000)를 통하여 전자 장치(1000)와 데이터를 송수신하며 데이터를 처리할 수 있다.
도 13을 함께 참조하면, 서버(2000)는 전자 장치(1000)와 통신하는 통신 인터페이스(2100), 적어도 하나의 인스트럭션을 수행하는 프로세서(2200), 및 데이터베이스(2300)를 포함할 수 있다.
서버(2000)는 AI 모델을 훈련시키고, 훈련된 AI 모델을 저장하고 있을 수 있다. 그리고, 서버(2000)는 훈련된 AI 모델을 이용하여 전술한 i) 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 동작, ii) 터치스크린에서 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하는 동작, iii) 터치스크린을 통해 제스처 입력이 인식됨에 따라, 식별된 기능에 대한 기능 값을 변경하는 동작, 및 iv) 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 동작 중 적어도 하나를 수행할 수 있다.
일반적으로, 전자 장치(1000)는 메모리 저장 용량, 연산의 처리 속도, 학습 데이터 셋의 수집 능력 등이 서버(2000)에 비하여 제한적일 수 있다. 따라서, 대용량 데이터의 저장 및 대용량의 연산량이 필요한 동작은 서버(2000)에서 수행한 후, 통신 네트워크를 통하여 필요한 데이터 및/또는 AI 모델을 전자 장치(1000)에 전송할 수 있다. 그러면, 전자 장치(1000)는 대용량의 메모리 및 빠른 연산 능력을 갖는 프로세서 없이도, 서버(2000)를 통하여 필요한 데이터 및/또는 AI 모델을 수신하여 이용함으로써, 빠르고 용이하게 필요한 동작을 수행할 수 있다.
개시된 실시예에서, 서버(2000)는 도 11에서 설명한 신경망(10)을 포함할 수 있다.
도 13은 도 12를 상세하게 설명하기 위한 도면이다.
도 13을 참조하면, 서버(2000)는 통신 인터페이스(2100), 프로세서(2200), 및 데이터베이스(2300)를 포함할 수 있다.
통신 인터페이스(2100)는 무선 통신 네트워크를 통해서 외부 장치와 통신을 수행한다. 여기서, 외부 장치(미도시)는 전자 장치(1000)가 필요로 하는 연산 중 적어도 하나를 수행하거나, 전자 장치(1000)가 필요로 하는 데이터 등을 송신할 수 있는 서버를 포함할 수 있다.
통신 인터페이스(2100)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 적어도 하나의 통신 모듈은 방송 수신을 수행하는 튜너, 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), WiMAX(World Interoperability for Microwave Access), CDMA, WCDMA, 인터넷, 3G, 4G, 5G 및/또는 밀리미터 파(mmWave)를 이용한 통신 방식과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 의미한다.
통신 인터페이스(2100)에 포함되는 이동 통신 모듈은 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 원거리에 위치하는 다른 장치(예를 들어, 전자 장치(1000))와 통신을 수행할 수 있다. 여기서, 원거리에 위치하는 다른 장치와 통신을 수행하는 통신 모듈을 '원거리 통신 모듈'이라 칭할 수 있다. 도 13에 도시된 실시예에서, 전자 장치(1000)는 도 2에 도시된 전자 장치(1000)와는 달리, 통신 인터페이스(1400)를 더 포함할 수 있다. 일 실시예에서, 서버(2000)의 통신 인터페이스(2100)는 전자 장치(1000)의 통신 인터페이스(1400)와 유선 또는 무선으로 데이터를 송수신할 수 있다.
프로세서(2200)는 서버(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2200)는, 서버(2000)의 적어도 하나의 인스트럭션(instructions), 및 프로그램들 중 적어도 하나를 실행함으로써, 요구되는 동작들을 수행할 수 있다.
데이터베이스(2300)는 메모리(미도시)를 포함할 수 있으며, 메모리(미도시) 내에 서버(2000)가 소정 동작을 수행하기 위해서 필요한 적어도 하나의 인스트럭션, 프로그램, 데이터 중 적어도 하나를 저장할 수 있다. 또한, 데이터베이스(2300)는 서버(2000)가 신경망에 따른 연산을 수행하기 위해서 필요한 데이터들을 저장할 수 있다.
개시된 실시예에서, 서버(2000)는 도 11에서 설명한 신경망(10)을 저장하고 있을 수 있다. 신경망(10)은 프로세서(2200) 및 데이터베이스(2300) 중 적어도 하나에 저장될 수 있다. 서버(2000)가 포함하는 신경망(10)은 학습이 완료된 신경망이 될 수 있다.
또한, 서버(2000)는 학습이 완료된 신경망을 통신 인터페이스(2100)를 통하여 전자 장치(1000)의 통신 인터페이스(1400)로 전송할 수 있다. 전자 장치(1000)는 학습이 완료된 신경망을 획득 및 저장하고, 신경망을 통하여 목적하는 출력 데이터를 획득할 수 있다.
본 개시는 차량에 탑재된 전자 장치(1000)를 제공한다. 본 개시의 일 실시예에 따른 전자 장치(1000)는 터치스크린(1100), 적어도 하나의 명령어들(instructions)을 저장하는 메모리(1300), 및 메모리(1300)에 저장된 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서(1200)는 터치스크린(1100)에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식할 수 있다. 상기 적어도 하나의 프로세서(1200)는 터치스크린(1100)에서 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별할 수 있다. 상기 적어도 하나의 프로세서(1200)는 터치스크린(1100)을 통해 제스처 입력이 인식됨에 따라 식별된 기능에 대한 기능 값을 변경할 수 있다. 상기 적어도 하나의 프로세서(1200)는 변경된 기능 값을 나타내는 UI(User Interface)를 터치스크린(1100) 상에 디스플레이할 수 있다.
본 개시의 일 실시예에서, 상기 복수의 포인트의 형태 정보는 복수의 포인트의 개수 및 복수의 포인트 간의 간격에 관한 정보를 포함하고, 상기 적어도 하나의 프로세서(1200)는 복수의 포인트의 형태 정보를 분석함으로써 입력 이벤트의 종류를 판단하고, 입력 이벤트의 종류에 대응되도록 설정된 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1200)는 터치스크린(1100)에서 복수 개로 분할된 복수의 영역 중 입력 이벤트가 인식된 영역의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 터치스크린(1100)은 복수 개로 구성되고, 상기 적어도 하나의 프로세서(1200)는 복수의 터치스크린(1100) 중 입력 이벤트가 인식된 터치스크린(1100)의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1200)는 수행 중인 기능, 동작, 및 실행 중인 애플리케이션 중 적어도 하나에 관한 정보를 포함하는 동작 상태 정보를 획득하고, 복수의 포인트의 형태 정보, 복수의 포인트의 위치 정보, 및 동작 상태 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1200)는 실행 중인 애플리케이션에 의해 제공되는 적어도 하나의 기능 중 입력 이벤트에 대응되도록 기 설정된 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1200)는 멀티 터치 입력 또는 호버 입력의 인식에 응답하여, 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI를 터치스크린(1100) 상에 디스플레이할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1200)는 복수의 포인트의 위치 정보에 기초하여 UI를 디스플레이하도록 터치스크린(1100)을 제어할 수 있다.
본 개시의 일 실시예에서, 전자 장치(1000)는 복수의 디스플레이부를 더 포함하고, 상기 적어도 하나의 프로세서(1200)는 입력 이벤트가 인식된 터치스크린(1100)과는 관계없이, 복수의 디스플레이부 중 사전에 지정된 디스플레이부 상에 UI를 디스플레이할 수 있다.
본 개시의 일 실시예에서, 기능은 사용자 입력에 의해 입력 이벤트가 인식된 터치스크린(1100)의 위치, 터치스크린(1100)의 복수의 영역, 및 입력 이벤트의 형태 중 적어도 하나에 대하여 매핑될 수 있다.본 개시는 차량에 탑재된 전자 장치(1000)의 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법은, 터치스크린(1100)에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 단계를 포함할 수 있다. 상기 전자 장치(1000)의 동작 방법은 터치스크린(1100)에서 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하는 단계를 포함할 수 있다. 전자 장치(1000)의 동작 방법은 터치스크린(1100)을 통해 제스처 입력이 인식됨에 따라 식별된 기능에 대한 기능 값을 변경하는 단계를 포함할 수 있다. 전자 장치(1000)의 동작 방법은 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 방법은 복수의 포인트의 형태 정보는 복수의 포인트의 개수 및 복수의 포인트 간의 간격에 관한 정보를 포함하고, 입력 이벤트에 대응되는 기능을 식별하는 단계는 복수의 포인트의 형태 정보를 분석함으로써, 입력 이벤트의 종류를 판단하는 단계, 및 입력 이벤트의 종류에 대응되도록 설정된 기능을 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 입력 이벤트에 대응되는 기능을 식별하는 단계에서, 전자 장치(1000)는 터치스크린(1100)에서 복수 개로 분할된 복수의 영역 중 입력 이벤트가 인식된 영역의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 터치스크린(1100)은 복수 개로 구성되고, 입력 이벤트에 대응되는 기능을 식별하는 단계에서는 복수의 터치스크린(1100) 중 입력 이벤트가 인식된 터치스크린(1100)의 위치 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 상기 방법은 전자 장치(1000)에 의해 수행 중인 기능, 동작, 및 전자 장치(1000)에 의해 실행 중인 애플리케이션 중 적어도 하나에 관한 정보를 포함하는 동작 상태 정보를 획득하는 단계를 더 포함할 수 있다. 상기 입력 이벤트에 대응되는 기능을 식별하는 단계에서, 전자 장치(1000)는 복수의 포인트의 형태 정보, 복수의 포인트의 위치 정보, 및 동작 상태 정보에 기초하여 입력 이벤트에 대응되는 기능을 식별할 수 있다.
본 개시의 일 실시예에서, 상기 입력 이벤트에 대응되는 기능을 식별하는 단계는 실행 중인 애플리케이션에 의해 제공되는 적어도 하나의 기능 중 입력 이벤트에 대응되도록 기 설정된 기능을 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 방법은 멀티 터치 입력 또는 호버 입력의 인식에 응답하여, 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI를 디스플레이하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에서, 상기 UI를 디스플레이하는 단계에서, 전자 장치(1000)는 복수의 포인트의 위치 정보에 기초하여 UI를 디스플레이할 수 있다.
본 개시의 일 실시예에서, 전자 장치(1000)는 복수의 디스플레이부를 더 포함하고, 상기 UI를 디스플레이하는 단계에서, 전자 장치(1000)는 입력 이벤트가 인식된 터치스크린(1100)과는 관계없이, 복수의 디스플레이부 중 사전에 지정된 디스플레이부 상에 UI를 디스플레이할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 측면은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)을 제공한다. 상기 저장 매체는 터치스크린(1100)에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 동작; 터치스크린(1100)에서 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 복수의 포인트의 위치 정보에 기초하여, 입력 이벤트에 대응되는 기능을 식별하는 동작; 터치스크린(1100)을 통해 제스처 입력이 인식됨에 따라 식별된 기능에 대한 기능 값을 변경하는 동작; 및 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 동작을 수행하기 위하여 전자 장치(1000)가 읽을 수 있는 명령어들(instructions)을 포함할 수 있다.
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어TM, 구글 플레이 스토어TM)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버(2000, 도 12 및 도 13 참조), 및 타 전자 장치로 구성되는 시스템에서, 서버(2000)의 저장매체 또는 전자 장치의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 장치(예를 들어, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(1000), 전자 장치, 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 전자 장치, 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(1000)가 메모리(1300, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 전자 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 차량에 탑재된 전자 장치에 있어서,
    터치스크린;
    적어도 하나의 명령어들(instructions)을 저장하는 메모리; 및
    상기 메모리에 저장된 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하고,
    상기 터치스크린에서 상기 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 상기 복수의 포인트의 위치 정보에 기초하여, 상기 입력 이벤트에 대응되는 기능을 식별하고,
    상기 터치스크린을 통해 제스처 입력이 인식됨에 따라, 상기 식별된 기능에 대한 기능 값을 변경하고,
    상기 변경된 기능 값을 나타내는 UI(User Interface)를 상기 터치스크린 상에 디스플레이하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 복수의 포인트의 형태 정보는 상기 복수의 포인트의 개수 및 상기 복수의 포인트 간의 간격에 관한 정보를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 복수의 포인트의 형태 정보를 분석함으로써 상기 입력 이벤트의 종류를 판단하고,
    상기 입력 이벤트의 종류에 대응되도록 설정된 기능을 식별하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 터치스크린에서 복수 개로 분할된 복수의 영역 중 상기 입력 이벤트가 인식된 영역의 위치 정보에 기초하여 상기 입력 이벤트에 대응되는 기능을 식별하는, 전자 장치.
  4. 제1 항에 있어서,
    상기 터치스크린은 복수 개로 구성되고,
    상기 적어도 하나의 프로세서는,
    복수의 터치스크린 중 상기 입력 이벤트가 인식된 터치스크린의 위치 정보에 기초하여 상기 입력 이벤트에 대응되는 기능을 식별하는, 전자 장치.
  5. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    수행 중인 기능, 동작, 및 실행 중인 애플리케이션 중 적어도 하나에 관한 정보를 포함하는 동작 상태 정보를 획득하고,
    상기 복수의 포인트의 형태 정보, 상기 복수의 포인트의 위치 정보, 및 상기 동작 상태 정보에 기초하여 상기 입력 이벤트에 대응되는 기능을 식별하는, 전자 장치.
  6. 제5 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 실행 중인 애플리케이션에 의해 제공되는 적어도 하나의 기능 중 상기 입력 이벤트에 대응되도록 기 설정된 기능을 식별하는, 전자 장치.
  7. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 터치스크린을 통해 상기 멀티 터치 입력 또는 상기 호버 입력의 인식됨에 따라, 상기 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI를 상기 터치스크린 상에 디스플레이하는, 전자 장치.
  8. 차량에 탑재된 전자 장치의 동작 방법에 있어서,
    터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 단계;
    상기 터치스크린에서 상기 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 상기 복수의 포인트의 위치 정보에 기초하여, 상기 입력 이벤트에 대응되는 기능을 식별하는 단계;
    상기 터치스크린을 통해 제스처 입력이 인식됨에 따라, 상기 식별된 기능에 대한 기능 값을 변경하는 단계; 및
    상기 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 단계;
    를 포함하는, 방법.
  9. 제8 항에 있어서,
    상기 복수의 포인트의 형태 정보는 상기 복수의 포인트의 개수 및 상기 복수의 포인트 간의 간격에 관한 정보를 포함하고,
    상기 입력 이벤트에 대응되는 기능을 식별하는 단계는,
    상기 복수의 포인트의 형태 정보를 분석함으로써, 상기 입력 이벤트의 종류를 판단하는 단계; 및
    상기 입력 이벤트의 종류에 대응되도록 설정된 기능을 식별하는 단계;
    를 포함하는, 방법.
  10. 제8 항에 있어서,
    상기 입력 이벤트에 대응되는 기능을 식별하는 단계는,
    상기 터치스크린에서 복수 개로 분할된 복수의 영역 중 상기 입력 이벤트가 인식된 영역의 위치 정보에 기초하여 상기 입력 이벤트에 대응되는 기능을 식별하는, 방법.
  11. 제8 항에 있어서,
    상기 터치스크린은 복수 개로 구성되고,
    상기 입력 이벤트에 대응되는 기능을 식별하는 단계는,
    복수의 터치스크린 중 상기 입력 이벤트가 인식된 터치스크린의 위치 정보에 기초하여 상기 입력 이벤트에 대응되는 기능을 식별하는, 방법.
  12. 제8 항에 있어서,
    상기 전자 장치에 의해 수행 중인 기능, 동작, 및 상기 전자 장치에 의해 실행 중인 애플리케이션 중 적어도 하나에 관한 정보를 포함하는 동작 상태 정보를 획득하는 단계;
    를 더 포함하고,
    상기 입력 이벤트에 대응되는 기능을 식별하는 단계는,
    상기 복수의 포인트의 형태 정보, 상기 복수의 포인트의 위치 정보, 및 상기 동작 상태 정보에 기초하여 상기 입력 이벤트에 대응되는 기능을 식별하는, 방법.
  13. 제12 항에 있어서,
    상기 입력 이벤트에 대응되는 기능을 식별하는 단계는,
    상기 실행 중인 애플리케이션에 의해 제공되는 적어도 하나의 기능 중 상기 입력 이벤트에 대응되도록 기 설정된 기능을 식별하는 단계;
    를 포함하는, 방법.
  14. 제8 항에 있어서,
    상기 멀티 터치 입력 또는 상기 호버 입력의 인식에 응답하여, 상기 식별된 기능에 관한 정보를 그래픽으로 나타내는 기능 정보 UI를 디스플레이하는 단계;
    를 더 포함하는, 방법.
  15. 컴퓨터로 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)에 있어서,
    상기 저장 매체는,
    터치스크린에 대한 사용자의 멀티 터치 입력 또는 호버(hover) 입력을 수신함에 따라 입력 이벤트를 인식하는 동작;
    상기 터치스크린에서 상기 입력 이벤트가 인식된 복수의 포인트의 형태 정보 및 상기 복수의 포인트의 위치 정보에 기초하여, 상기 입력 이벤트에 대응되는 기능을 식별하는 동작;
    상기 터치스크린을 통해 제스처 입력이 인식됨에 따라, 상기 식별된 기능에 대한 기능 값을 변경하는 동작; 및
    상기 변경된 기능 값을 나타내는 UI(User Interface)를 디스플레이하는 동작;
    을 수행하기 위하여 상기 전자 장치가 읽을 수 있는 명령어들(instructions)을 포함하는, 컴퓨터 프로그램 제품.
PCT/KR2022/021518 2021-12-31 2022-12-28 차량에 탑재된 전자 장치 및 그 동작 방법 WO2023128613A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0194553 2021-12-31
KR20210194553 2021-12-31
KR10-2022-0004735 2022-01-12
KR1020220004735A KR20230103755A (ko) 2021-12-31 2022-01-12 차량에 탑재된 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2023128613A1 true WO2023128613A1 (ko) 2023-07-06

Family

ID=86999600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021518 WO2023128613A1 (ko) 2021-12-31 2022-12-28 차량에 탑재된 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2023128613A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110112980A (ko) * 2010-04-08 2011-10-14 삼성전자주식회사 터치 감지 장치 및 방법
KR20130081183A (ko) * 2012-01-06 2013-07-16 엘지전자 주식회사 서비스 처리 장치 및 서비스 처리 방법
KR20160022651A (ko) * 2014-08-20 2016-03-02 엘지전자 주식회사 차량 내 영상표시장치 및 그것의 제어 방법
KR101818748B1 (ko) * 2016-09-01 2018-01-15 주식회사 서연전자 차량용 터치패드의 터치 제스처 감지 시스템 및 제어방법
KR20190111095A (ko) * 2017-01-27 2019-10-01 베체에스 오토모티브 인터페이스 솔루션스 게엠베하 사람 장치간 인터페이스를 조작하기 위한 방법 및 사람 장치간 인터페이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110112980A (ko) * 2010-04-08 2011-10-14 삼성전자주식회사 터치 감지 장치 및 방법
KR20130081183A (ko) * 2012-01-06 2013-07-16 엘지전자 주식회사 서비스 처리 장치 및 서비스 처리 방법
KR20160022651A (ko) * 2014-08-20 2016-03-02 엘지전자 주식회사 차량 내 영상표시장치 및 그것의 제어 방법
KR101818748B1 (ko) * 2016-09-01 2018-01-15 주식회사 서연전자 차량용 터치패드의 터치 제스처 감지 시스템 및 제어방법
KR20190111095A (ko) * 2017-01-27 2019-10-01 베체에스 오토모티브 인터페이스 솔루션스 게엠베하 사람 장치간 인터페이스를 조작하기 위한 방법 및 사람 장치간 인터페이스

Similar Documents

Publication Publication Date Title
US10359932B2 (en) Method and apparatus for providing character input interface
WO2019168336A1 (en) Autonomous driving apparatus and method thereof
EP3237256A1 (en) Controlling a vehicle
WO2016093506A1 (ko) 이동 단말기 및 그 제어 방법
WO2015023136A1 (ko) 전자장치에서 그립상태를 인지하기 위한 방법 및 장치
WO2016052876A1 (en) Display apparatus and controlling method thereof
WO2015072787A1 (ko) 전자 장치가 외부 디스플레이 장치와 화면을 공유하는 방법 및 전자 장치
WO2014092451A1 (en) Information search method and device and computer readable recording medium thereof
WO2014088310A1 (en) Display device and method of controlling the same
WO2014017841A1 (en) User terminal apparatus and control method thereof cross-reference to related applications
WO2014088253A1 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
WO2015182811A1 (ko) 사용자 인터페이스 제공 장치 및 방법
WO2016129923A1 (ko) 디스플레이 장치 및 디스플레이 방법 및 컴퓨터 판독가능 기록매체
WO2017126741A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2019112235A1 (en) Electronic apparatus, control method thereof, and computer readable recording medium
WO2019139367A1 (en) Display device and method for touch interface
WO2019124841A1 (ko) 전자 장치 및 스트로크 입력에 따른 기능 실행 방법
WO2016076568A1 (en) Display apparatus and control method thereof
JP2014153986A (ja) 表示装置、および、表示方法
WO2019050137A1 (en) SYSTEM AND METHOD FOR DETERMINING INPUT CHARACTERS BASED ON SCAN INPUT
WO2018124823A1 (en) Display apparatus and controlling method thereof
WO2016080662A1 (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
WO2016076561A2 (en) Method of controlling device and device for performing the method
WO2023128613A1 (ko) 차량에 탑재된 전자 장치 및 그 동작 방법
WO2019103350A1 (ko) 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916754

Country of ref document: EP

Kind code of ref document: A1