KR102389782B1 - Apparatus and method for displaying user interface menu using multi touch pattern - Google Patents

Apparatus and method for displaying user interface menu using multi touch pattern Download PDF

Info

Publication number
KR102389782B1
KR102389782B1 KR1020210131550A KR20210131550A KR102389782B1 KR 102389782 B1 KR102389782 B1 KR 102389782B1 KR 1020210131550 A KR1020210131550 A KR 1020210131550A KR 20210131550 A KR20210131550 A KR 20210131550A KR 102389782 B1 KR102389782 B1 KR 102389782B1
Authority
KR
South Korea
Prior art keywords
touch
input
user interface
display
display unit
Prior art date
Application number
KR1020210131550A
Other languages
Korean (ko)
Other versions
KR20210123273A (en
Inventor
장원일
신덕문
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020210131550A priority Critical patent/KR102389782B1/en
Publication of KR20210123273A publication Critical patent/KR20210123273A/en
Application granted granted Critical
Publication of KR102389782B1 publication Critical patent/KR102389782B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 디스플레이 장치는 디스플레이부, 상기 디스플레이부 상의 터치 입력을 인식하는 터치 인식부 및 상기 터치 인식부가 멀티 터치 입력을 인식하는 경우, 상기 멀티 터치 입력이 상기 디스플레이부 상에서 미리 정해진 형상 위에 위치하는지 판단하는 제어부를 포함한다. 상기 미리 정해진 형상은 타원 또는 포물선이고, 상기 제어부는, 상기 멀티 터치 입력이 상기 미리 정해진 형상 위에 위치하는 경우, 상기 디스플레이부 상에서 상기 멀티 터치 입력에 대응하는 위치 각각에 서로 다른 서비스를 제공하는 유저 인터페이스 메뉴들을 동시에 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 멀티 터치 입력 중에서 다른 터치 입력들로부터 가장 멀리 떨어져 있는 터치 입력의 상기 다른 터치 입력들에 대한 상대적인 위치에 따라 상기 멀티 터치 입력을 왼손 입력 또는 오른손 입력으로 구분하고, 상기 왼손에 따라 디스플레이되는 제 1 유저 인터페이스 메뉴들과 상기 오른손에 따라 디스플레이되는 제 2 유저 인터페이스 메뉴가 서로 상이하도록 상기 디스플레이부를 제어하되, 상기 미리 정해진 형상의 크기에 따라 상기 디스플레이 상에 상이한 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어한다.The display device according to an embodiment of the present invention includes a display unit, a touch recognition unit recognizing a touch input on the display unit, and when the touch recognition unit recognizes a multi-touch input, the multi-touch input is determined in advance on the display unit. It includes a control unit that determines whether it is located on the shape. The predetermined shape is an ellipse or a parabola, and when the multi-touch input is located on the predetermined shape, the user interface for providing different services to each position corresponding to the multi-touch input on the display unit The display unit is controlled to simultaneously display menus, and the multi-touch input is converted into a left-hand input or a right-hand input according to a relative position of a touch input farthest from the other touch inputs among the multi-touch inputs. and control the display unit so that the first user interface menus displayed according to the left hand and the second user interface menus displayed according to the right hand are different from each other, but different on the display according to the size of the predetermined shape The display unit is controlled to display user interface menus.

Description

멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING USER INTERFACE MENU USING MULTI TOUCH PATTERN}Apparatus and method for displaying a user interface menu using a multi-touch pattern

본 발명은 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법에 관한 것이며, 보다 자세하게는 대형 터치스크린을 통해 입력되는 복수개의 터치 입력을 인식하고 이를 분석하여 유저 인터페이스 메뉴를 디스플레이하는 디스플레이 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for displaying a user interface menu using a multi-touch pattern, and more particularly, to a display apparatus and method for recognizing and analyzing a plurality of touch inputs input through a large touch screen to display a user interface menu. it's about

터치스크린상의 터치 입력을 기초로 유저 인터페이스 메뉴를 디스플레이하는 기술이 널리 사용되고 있다. 예를 들어, 사용자가 터치 수단(손가락 또는 터치펜)을 이용하여 스마트폰 또는 태블릿 PC와 같은 전자기기의 터치스크린을 터치하는 경우, 해당 전자 기기는 유저 인터페이스 메뉴를 디스플레이한다. 그러면, 사용자는 디스플레이된 메뉴 중에서 하나를 선택하고, 전자 기기는 선택된 메뉴에 따른 동작을 실행한다.A technique for displaying a user interface menu based on a touch input on a touch screen is widely used. For example, when a user touches a touch screen of an electronic device such as a smart phone or a tablet PC using a touch means (a finger or a touch pen), the corresponding electronic device displays a user interface menu. Then, the user selects one of the displayed menus, and the electronic device executes an operation according to the selected menu.

한편, 상면이 터치스크린으로 이루어진 테이블(스마트 테이블)과 같이 대형 터치스크린을 포함하는 전자기기에서도 사용자의 터치 입력에 기초하여 유저 인터페이스 메뉴가 디스플레이될 수 있다. 그런데, 스마트폰이나 태블릿 PC와 같은 소형 전자 기기는 기기를 손으로 쥔 채로 손가락만 움직이면서 터치스크린을 터치함으로써 유저 인터페이스 메뉴들을 불러오고 선택할 수 있지만, 대형 터치스크린을 포함하는 전자기기의 경우, 많은 수의 유저 인터페이스 메뉴가 대형 터치스크린에 흩어져서 디스플레이되면 사용자는 원하는 유저 인터페이스 메뉴를 선택하기 위해 자리를 이동해야 할 수도 있다. 따라서, 대형 터치스크린을 포함하는 전자기기에서 보다 공간 효율적으로 유저 인터페이스 메뉴를 디스플레이하는 방법 및 그 방법을 구현하기 위한 장치가 필요하다.Meanwhile, even in an electronic device including a large touch screen, such as a table (smart table) whose upper surface is made of a touch screen, a user interface menu may be displayed based on a user's touch input. However, in small electronic devices such as smartphones or tablet PCs, user interface menus can be called up and selected by touching the touch screen while holding the device with a hand and moving only a finger, but in the case of an electronic device including a large touch screen, a large number of If the user interface menu of the user interface is scattered and displayed on a large touch screen, the user may have to move around to select a desired user interface menu. Accordingly, there is a need for a method for more space-efficiently displaying a user interface menu in an electronic device including a large touch screen, and an apparatus for implementing the method.

한국공개특허공보, 2015-0059915 (2015.06.03.공개)Korea Patent Publication, 2015-0059915 (published on 06.03.2015)

본 발명은 대형 터치스크린을 포함하는 전자기기에서 보다 공간 효율적으로 유저 인터페이스 메뉴를 디스플레이하는 방법 및 그 방법을 구현하기 위한 장치를 제공하고자 한다.An object of the present invention is to provide a method for more space-efficiently displaying a user interface menu in an electronic device including a large touch screen, and an apparatus for implementing the method.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved of the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.

본 발명의 일 실시예에 따른 디스플레이 장치는 디스플레이부; 상기 디스플레이부 상의 터치 입력을 인식하는 터치 인식부; 및 상기 터치 인식부가 멀티 터치 입력을 인식하는 경우, 상기 멀티 터치 입력이 상기 디스플레이부 상에서 미리 정해진 형상 위에 위치하는지 판단하는 제어부를 포함하고, 상기 미리 정해진 형상은 타원 또는 포물선이고, 상기 제어부는, 상기 멀티 터치 입력이 상기 미리 정해진 형상 위에 위치하는 경우, 상기 디스플레이부 상에서 상기 멀티 터치 입력에 대응하는 위치 각각에 서로 다른 서비스를 제공하는 유저 인터페이스 메뉴들을 동시에 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 멀티 터치 입력 중에서 다른 터치 입력들로부터 가장 멀리 떨어져 있는 터치 입력의 상기 다른 터치 입력들에 대한 상대적인 위치에 따라 상기 멀티 터치 입력을 왼손 입력 또는 오른손 입력으로 구분하고, 상기 왼손에 따라 디스플레이되는 제 1 유저 인터페이스 메뉴들과 상기 오른손에 따라 디스플레이되는 제 2 유저 인터페이스 메뉴가 서로 상이하도록 상기 디스플레이부를 제어하되, 상기 미리 정해진 형상의 크기에 따라 상기 디스플레이 상에 상이한 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어한다.A display apparatus according to an embodiment of the present invention includes a display unit; a touch recognition unit for recognizing a touch input on the display unit; and a control unit configured to determine whether the multi-touch input is positioned on a predetermined shape on the display unit when the touch recognition unit recognizes a multi-touch input, wherein the predetermined shape is an ellipse or a parabola, and the control unit comprises: When the multi-touch input is positioned on the predetermined shape, the display unit is controlled to simultaneously display user interface menus that provide different services at positions corresponding to the multi-touch input on the display unit, Among the first user interface menus, the multi-touch input is divided into a left-hand input or a right-hand input according to a relative position of a touch input farthest from other touch inputs to the other touch inputs, and displayed according to the left hand The display unit is controlled so that the second user interface menu displayed according to the right hand and the right hand are different from each other, and the display unit is controlled to display different user interface menus on the display according to the size of the predetermined shape.

상기 가장 멀리 떨어져 있는 입력은 엄지손가락에 의한 터치 입력이고, 상기 제어부는, 상기 미리 정해진 형상 위에서 상기 다른 터치 입력들에 의한 터치 입력들로부터 상기 엄지손가락에 의한 터치 입력에 도달하기 위한 경로가 상기 미리 정해진 형상에서 시계 방향으로 이동하는 것인 경우, 왼손 입력으로 판단하고, 반 시계방향으로 이동하는 것인 경우 오른손 입력으로 판단할 수 있다.The farthest input is a touch input by a thumb, and the controller is configured to determine a path for reaching the touch input by the thumb from touch inputs by the other touch inputs on the predetermined shape in advance. When moving in a clockwise direction in a predetermined shape, it is determined as a left-hand input, and when moving in a counterclockwise direction, it can be determined as a right-hand input.

상기 제어부는 상기 복수개의 터치 입력의 개수가 미리 정해진 개수 이상인 경우, 상기 복수개의 터치 입력 중에서 동시에 상기 디스플레이 장치에 터치된 터치 입력들 또는 통일된 움직임을 갖는 터치 입력들을 하나의 그룹으로 설정하고, 상기 그룹이 상기 멀티 터치 패턴을 만족하는지 판단할 수 있다.When the number of the plurality of touch inputs is equal to or greater than a predetermined number, the control unit sets, among the plurality of touch inputs, touch inputs simultaneously touched on the display device or touch inputs having a unified movement into one group, and It may be determined whether the group satisfies the multi-touch pattern.

상기 터치 인식부가 상기 유저 인터페이스 메뉴들 중 어느 하나에 대한 터치 입력을 인식하면, 상기 제어부는 터치 입력이 인식된 유저 인터페이스 메뉴의 하위 메뉴를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.When the touch recognition unit recognizes a touch input for any one of the user interface menus, the controller may control the display unit to display a sub-menu of the user interface menu for which the touch input is recognized.

본 발명의 다른 측면에 따른 디스플레이 방법은 디스플레이부에 입력된 멀티 터치 입력을 인식하는 단계; 상기 멀티 터치 입력이 상기 디스플레이부 상에서 미리 정해진 형상인 타원 또는 포물선 위에 위치 하는지 판단하는 단계; 상기 멀티 터치 입력이 상기 미리 정해진 형상위에 위치하는 경우, 상기 디스플레이부 상에서 상기 멀티 터치 입력에 대응하는 위치 각각에 서로 다른 서비스를 제공하는 유저 인터페이스 메뉴들을 동시에 디스플레이하는 단계; 상기 멀티 터치 입력이 상기 미리 정해진 형상위에 위치하는 경우, 상기 멀티 터치 입력 중에서 다른 터치 입력들로부터 가장 멀리 떨어져 있는 터치 입력의 상기 다른 터치 입력들에 대한 상대적인 위치에 따라 상기 멀티 터치 입력을 왼손 입력 또는 오른손 입력으로 구분하고, 상기 왼손에 따라 디스플레이되는 제 1 유저 인터페이스 메뉴들과 상기 오른손에 따라 디스플레이되는 제 2 유저 인터페이스 메뉴가 서로 상이하도록 상기 디스플레이부를 제어하는 단계; 및 상기 미리 정해진 형상의 크기에 따라 상기 디스플레이 상에 상이한 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어하는 단계를 포함한다.A display method according to another aspect of the present invention includes recognizing a multi-touch input input to a display unit; determining whether the multi-touch input is located on an ellipse or a parabola having a predetermined shape on the display unit; simultaneously displaying, on the display unit, user interface menus providing different services at positions corresponding to the multi-touch input when the multi-touch input is positioned on the predetermined shape; When the multi-touch input is positioned on the predetermined shape, the multi-touch input is applied as a left hand input or controlling the display unit such that first user interface menus displayed according to the left hand and second user interface menus displayed according to the right hand are different from each other by dividing the input into a right-hand input; and controlling the display unit to display different user interface menus on the display according to the size of the predetermined shape.

본 발명의 일 실시예에 따르면, 복수개의 터치 입력(예를 들면, 다섯 손가락을 이용한 경우 5개)이 미리 정해진 멀티 터치 패턴을 만족하는지 여부에 따라 복수개의 터치 입력 각각에 대응하는 위치에 서로 다른 유저 인터페이스 메뉴들을 디스플레이함으로써, 사용자의 손보다 큰 대형 터치스크린을 갖는 전자 기기에서 보다 공간 효율적으로 유저 인터페이스 메뉴들을 디스플레이할 수 있다.According to an embodiment of the present invention, a plurality of touch inputs (eg, five when using five fingers) are different at positions corresponding to each of the plurality of touch inputs according to whether or not a predetermined multi-touch pattern is satisfied. By displaying the user interface menus, it is possible to more space-efficiently display the user interface menus in an electronic device having a large touch screen larger than a user's hand.

도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록구성도이다.
도 2는 복수개의 터치 입력이 머리 정해진 터치 패턴을 만족하는지 확인하는 과정을 설명하는 도면이다.
도 3은 유저 인터페이스 메뉴가 디스플레이되는 모습을 도시한 도면이다.
도 4는 어른의 손과 아이의 손 각각에 대해 서로 다른 유저 인터페이스 메뉴가 디스플레이되는 모습을 도시한 도면이다.
도 5는 왼손과 오른손을 구별하여 인식하는 과정을 설명하기 위한 도면이다.
도 6은 두 명의 사용자가 터치 입력을 실시하였을 경우의 터치 입력 그룹화를 도시하는 도면이다.
도 7은 터치 입력 그룹화를 위한 사용자의 동작을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 방법을 나타내는 순서도이다.
도 9는 터치 입력 그룹화 과정을 상세히 나타내는 순서도이다.1 is a block diagram of a display device according to an embodiment of the present invention.
FIG. 2 is a view for explaining a process of confirming whether a plurality of touch inputs satisfy a predetermined touch pattern.
3 is a diagram illustrating a state in which a user interface menu is displayed.
4 is a diagram illustrating a state in which different user interface menus are displayed for each of an adult's hand and a child's hand.
5 is a diagram for explaining a process of distinguishing and recognizing a left hand and a right hand.
6 is a diagram illustrating touch input grouping when two users perform a touch input.
7 is a diagram illustrating a user's operation for grouping a touch input.
8 is a flowchart illustrating a display method according to an embodiment of the present invention.
9 is a flowchart illustrating in detail a process of grouping touch inputs.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록구성도이다.1 is a block diagram of a display device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 디스플레이부(110), 터치 인식부(120) 및 제어부(130)를 포함한다.Referring to FIG. 1 , a display apparatus 100 according to an embodiment of the present invention includes a display unit 110 , a touch recognition unit 120 , and a control unit 130 .

디스플레이부(110)는 제어부(130)의 제어에 따라 유저 인터페이스 메뉴 등 다양한 영상을 디스플레이한다.The display 110 displays various images, such as a user interface menu, under the control of the controller 130 .

터치 인식부(120)는 디스플레이부(110)상의 사용자의 터치 입력을 인식하고 제어부(130)에 터치 입력에 관한 정보(예를 들면, 터치된 위치 정보)를 전송한다. 터치 인식부(120)는 디스플레이부(110)와 일체로 형성될 수 있으며, 디스플레이부(110) 및 터치 인식부(120)을 합하여 터치스크린이라 할 수 있다. 터치 입력은 하나의 터치에 의한 것(싱글 터치)일 수도 있고 복수개의 터치에 의한 것(멀티 터치)일 수도 있다.The touch recognition unit 120 recognizes a user's touch input on the display unit 110 and transmits information about the touch input (eg, touched location information) to the control unit 130 . The touch recognition unit 120 may be formed integrally with the display unit 110 , and the display unit 110 and the touch recognition unit 120 may be combined to form a touch screen. The touch input may be by one touch (single touch) or by a plurality of touches (multi-touch).

제어부(130)는 터치 인식부(120)로부터 수신한 터치 입력에 관한 정보를 기초로 적절한 영상을 디스플레이하도록 디스플레이부(110)를 제어한다.The control unit 130 controls the display unit 110 to display an appropriate image based on the information about the touch input received from the touch recognition unit 120 .

도 2는 복수개의 터치 입력이 머리 정해진 터치 패턴을 만족하는지 확인하는 과정을 설명하는 도면이다.FIG. 2 is a view for explaining a process of confirming whether a plurality of touch inputs satisfy a predetermined touch pattern.

도 2의 (a)는 사용자가 손(210)의 다섯 손가락을 이용하여 디스플레이부(110)를 터치하는 모습을 도시한 것이다. 그러면, 도 2의 (b)와 같이 다섯 손가락이 디스플레이부(110)와 접촉하는 위치에 대한 다섯 개의 터치 입력(220)이 터치 인식부(120)에 의해 인식된다. 그러면 제어부(130)는 다섯 개의 터치 입력(220)이 미리 정해진 터치 패턴을 만족하는지 판단한다. 미리 정해진 터치 패턴은 m개(예를 들어, m은 5이고, 실시예에 따라 4일 수도 있음)의 터치 입력이 타원(혹은 포물선)상에 위치하는 패턴일 수 있다. 여기서, 타원의 둘레는 소정의 폭을 가질 수 있다. 도 2의 (c)의 경우, 다섯 개의 터치 입력(220)이 타원(230)상에 위치하므로, 제어부(130)는 다섯 개의 터치 입력(220)이 미리 정해진 터치 패턴을 만족하는 것으로 판단한다. 또한, 제어부(130)는 타원(230)상의 다섯 개의 터치 입력(220)의 분포를 기초로 사용자의 손(210)의 길이방향(231) 및 폭방향(230)을 판단할 수 있다.FIG. 2A illustrates a state in which the user touches the display unit 110 using five fingers of the hand 210 . Then, as shown in (b) of FIG. 2 , the five touch inputs 220 with respect to the position where the five fingers contact the display unit 110 are recognized by the touch recognition unit 120 . Then, the controller 130 determines whether the five touch inputs 220 satisfy a predetermined touch pattern. The predetermined touch pattern may be a pattern in which m touch inputs (eg, m is 5 and may be 4 according to an embodiment) are located on an ellipse (or parabola). Here, the circumference of the ellipse may have a predetermined width. In the case of (c) of FIG. 2 , since the five touch inputs 220 are located on the ellipse 230 , the controller 130 determines that the five touch inputs 220 satisfy a predetermined touch pattern. Also, the controller 130 may determine the length direction 231 and the width direction 230 of the user's hand 210 based on the distribution of the five touch inputs 220 on the ellipse 230 .

도 3은 유저 인터페이스 메뉴가 디스플레이되는 모습을 도시한 도면이다.3 is a diagram illustrating a state in which a user interface menu is displayed.

제어부(130)가 복수의 터치 입력이 미리 정해진 터치 패턴을 만족하는 것으로 판단하면, 제어부(130)는 도 3의 (a)와 같이 디스플레이부(110)상의 복수개의 터치 입력(310)에 대응하는 위치 각각에 서로 다른 유저 인터페이스 메뉴들(320)(예컨대, '종료', '탐색', '공유', '3D뷰어' 및 '쇼핑')을 디스플레이하도록 디스플레이부(110)를 제어한다. 유저 인터페이스 메뉴들(320)은 디스플레이 장치(100)가 제공할 수 있는 유저 인터페이스 메뉴들을 카테고리별로 분류 했을 때 가장 상위 카테고리에 해당하는 메뉴들일 수 있으며, 도 3의 (a)는 그 예시일 뿐, 이에 한정되지 않는다.When the controller 130 determines that the plurality of touch inputs satisfy the predetermined touch pattern, the controller 130 controls the plurality of touch inputs 310 on the display 110 as shown in FIG. 3A . The display unit 110 is controlled to display different user interface menus 320 (eg, 'exit', 'search', 'share', '3D viewer' and 'shopping') at each location. The user interface menus 320 may be menus corresponding to the highest category when the user interface menus that can be provided by the display apparatus 100 are classified by category, and (a) of FIG. 3 is only an example, However, the present invention is not limited thereto.

도 3의 (a)와 같은 상태에서 사용자가 유저 인터페이스 메뉴들(320) 중 어느 하나(예를 들어, '탐색')를 터치하면, 도 3의 (b)와 같이 제어부(130)의 제어 하에 해당 유저 인터페이스 메뉴의 하위 메뉴들(330)이 디스플레이부(110)에 디스플레이된다. 그러면, 사용자는 하위 메뉴들(330) 중에서 원하는 메뉴를 선택할 수 있다. 만약, 선택된 유저 인터페이스 메뉴(320)가 더 이상 하위 메뉴를 갖지 않는 경우, 제어부(130)는 해당 유저 인터페이스 메뉴에 따른 작업을 실행한다. 예를 들어 '종료' 메뉴가 하위 메뉴를 갖지 않는다고 했을 때, '종료' 메뉴가 선택된 경우, 제어부(130)는 디스플레이 장치(100)의 전원을 오프('종료' 메뉴에 따른 작업)시킬 수 있다.When the user touches any one (eg, 'search') of the user interface menus 320 in the state as shown in (a) of FIG. 3, under the control of the controller 130 as shown in (b) of FIG. Submenus 330 of the corresponding user interface menu are displayed on the display unit 110 . Then, the user may select a desired menu from among the sub-menus 330 . If the selected user interface menu 320 no longer has a sub-menu, the controller 130 executes an operation according to the user interface menu. For example, when it is said that the 'exit' menu does not have a sub-menu and the 'exit' menu is selected, the controller 130 may turn off the power of the display apparatus 100 (operation according to the 'exit' menu). .

도 4는 어른의 손과 아이의 손 각각에 대해 서로 다른 유저 인터페이스 메뉴가 디스플레이되는 모습을 도시한 도면이다.4 is a diagram illustrating a state in which different user interface menus are displayed for each of an adult's hand and a child's hand.

디스플레이 장치(100)는 어른의 손과 아이의 손을 구별하여 인식할 수 있다. 구체적으로, 도 4의 (a)는 어른의 손(410)이 디스플레이부(110)에 터치된 모습을 나타내고, 도 4의 (c)는 아이의 손(460)이 디스플레이부(110)에 터치된 모습을 나타낸다. 어른의 손(410)에 의한 터치 입력에 대응하는 타원(420)의 크기는 아이의 손(460)에 의한 터치 입력에 대응하는 타원의 크기(470)보다 크다. 따라서, 제어부(130)는 터치 입력에 대응하는 타원의 크기가 임계 크기 이상인 경우 어른의 손(410)에 의한 터치 입력이 있다고 판단하고, 임계 크기 미만인 경우, 아이의 손(460)에 의한 터치 입력이 있다고 판단한다. 제어부(130)는 어른의 손(410)에 의한 터치 입력이 있는 경우에 디스플레이되는 유저 인터페이스 메뉴(430)(도 4의 (b))와 아이의 손(460)에 의한 터치 입력이 있는 경우에 디스플레이되는 유저 인터페이스 메뉴(480)(도 4의 (d))가 서로 상이하도록 디스플레이부(110)를 제어한다. 어른과 아이는 선호하는 유저 인터페이스 메뉴가 다를 수 있다. 따라서, 이와 같이 함으로써, 어른이든 아이든 희망하는 최종 메뉴를 선택하기까지의 과정을 단축할 수 있다.The display apparatus 100 may distinguish and recognize an adult's hand and a child's hand. Specifically, FIG. 4(a) shows an adult's hand 410 touching the display unit 110, and FIG. 4(c) shows a child's hand 460 touching the display unit 110. shows how it has been The size of the ellipse 420 corresponding to the touch input by the adult's hand 410 is larger than the size 470 of the ellipse corresponding to the touch input by the child's hand 460 . Accordingly, the controller 130 determines that there is a touch input by the adult's hand 410 when the size of the ellipse corresponding to the touch input is equal to or greater than the threshold size, and when the size of the ellipse corresponding to the touch input is less than the threshold size, the touch input by the child's hand 460 . judge that there is When there is a touch input by the user's hand 460 and the user interface menu 430 (FIG. 4 (b)) displayed when there is a touch input by the adult's hand 410, the control unit 130 The display unit 110 is controlled so that the displayed user interface menus 480 ((d) of FIG. 4) are different from each other. Adults and children may have different user interface menu preferences. Therefore, by doing this, it is possible to shorten the process of selecting a desired final menu for both adults and children.

도 5는 왼손과 오른손을 구별하여 인식하는 과정을 설명하기 위한 도면이다.5 is a diagram for explaining a process of distinguishing and recognizing a left hand and a right hand.

도 5의 (a)와 (b)는 각각 왼손(510)과 오른손(520)을 이용하여 디스플레이부(110)를 터치한 모습을 도시한 도면이다. 도 5의 (a) 및 (b)와 같이 엄지손가락에 의한 터치 입력(511, 521)이 나머지 손가락에 의한 터치 입력들(512, 522)로부터 가장 멀리 떨어져 있다는 점을 이용하여 제어부(130)는 엄지손가락에 의한 터치 입력(511, 521)을 식별할 수 있다. 5A and 5B are diagrams illustrating a state in which the display unit 110 is touched using the left hand 510 and the right hand 520, respectively. As shown in FIGS. 5A and 5B , the controller 130 uses the fact that the touch inputs 511 and 521 by the thumb are farthest from the touch inputs 512 and 522 by the other fingers. Touch inputs 511 and 521 by the thumb may be identified.

또한, 제어부(130)는 나머지 손가락에 의한 터치 입력들(512, 522)과 엄지손가락에 의한 터치 입력(511, 521)의 상대적인 위치를 기초로, 왼손(510)과 오른손(520) 중 어느 손이 사용되었는지를 판단할 수 있다. 예를 들어, 제어부(130)는 미리 정해진 멀티 터치 패턴을 만족하는 타원상에서 나머지 손가락에 의한 터치 입력들(512, 522)로부터 엄지손가락에 의한 터치 입력(511, 521)에 도달하기 위한 가장 빠른 경로가 해당 타원상에서 시계 방향으로 이동하는 것인 경우 왼손(510)이 사용되었다고 판단하고, 반 시계방향으로 이동하는 것인 경우 오른손(520)이 사용되었다고 판단할 수 있다. 판단 방법은 이에 한정되지 않는다.Also, based on the relative positions of the touch inputs 512 and 522 by the remaining fingers and the touch inputs 511 and 521 by the thumb, the controller 130 controls which hand of the left hand 510 and the right hand 520 It can be determined whether this has been used. For example, the controller 130 may control the fastest path for reaching the touch inputs 511 and 521 by the thumb from the touch inputs 512 and 522 by the remaining fingers on an ellipse that satisfies a predetermined multi-touch pattern. When is moving in the clockwise direction on the ellipse, it is determined that the left hand 510 is used, and when moving in the counterclockwise direction, it can be determined that the right hand 520 is used. The determination method is not limited thereto.

제어부(130)는 왼손(510)이 사용된 경우와 오른손(510)이 사용된 경우 각각에 대해 디스플레이되는 유저 인터페이스 메뉴가 서로 상이하도록 디스플레이부(110)를 제어한다. 즉, 제어부(130)는 복수개의 터치 입력의 상대적인 위치를 기초로 복수개의 터치 입력을 제 1 패턴(왼손이 사용된 경우) 또는 제 2 패턴(오른손이 사용된 경우)으로 구분하고, 해당되는 패턴에 따라 복수개의 터치 입력 각각에 대해 매핑되어 있는 유저 인터페이스 메뉴를 디스플레이하도록 디스플레이부(110)를 제어한다.The controller 130 controls the display 110 so that the user interface menus displayed for each of the case where the left hand 510 is used and the case where the right hand 510 is used are different from each other. That is, the controller 130 divides the plurality of touch inputs into a first pattern (when a left hand is used) or a second pattern (when a right hand is used) based on the relative positions of the plurality of touch inputs, and the corresponding pattern Accordingly, the display unit 110 is controlled to display the user interface menu mapped to each of the plurality of touch inputs.

즉, 디스플레이 장치(100)가 터치 입력에 사용된 손이 왼손인지 오른손인지에 따라 다른 유저 인터페이스를 디스플레이함으로써, 사용자는 원하는 유저 인터페이스 메뉴를 보다 신속하게 선택할 수 있다. 이는, 컴퓨터상에서 마우스의 오른쪽 버튼과 왼쪽 버튼을 클릭했을 때 서로 다른 유저 인터페이스가 실행됨으로써 사용자의 사용 편이성이 증가는 것과 유사하다.That is, since the display apparatus 100 displays a different user interface depending on whether the hand used for the touch input is the left hand or the right hand, the user can more quickly select a desired user interface menu. This is similar to the fact that different user interfaces are executed when the right button and the left button of the mouse are clicked on the computer, so that the user's convenience is increased.

도 6은 두 명의 사용자가 터치 입력을 실시하였을 경우의 터치 입력 그룹화를 도시하는 도면이다.6 is a diagram illustrating touch input grouping when two users perform a touch input.

도 6의 (a)는 두 명의 사용자가 디스플레이부(110)를 터치하는 모습을 도시한 것이다. 이 경우, 두 명의 사용자를 구분할 필요가 있다. 따라서, 제어부(130)는 N개 이상(예를 들어, N은 6이고, 실시예에 따라 5일 수도 있음)의 터치 입력이 존재하는 경우, N개의 터치 입력 중에서 동시(혹은, 소정 시간 범위 이내)에 터치된 터치 입력들을 하나의 그룹으로 설정하고, 해당 그룹이 미리 정해진 터치 패턴을 만족하는지 판단한다. 예를 들어, 제 1 사용자의 손(610)의 손가락들이 먼저 디스플레이부(110)에 터치되고 그 후에 제 2 사용자의 손(620)의 손가락들이 디스플레이부(110)에 터치되는 경우, 제어부(130)는 터치 입력들(611)을 제 1 그룹으로 설정하고, 터치 입력들(621)을 제 2 그룹으로 설정한다. 제어부(130)는 제 1 그룹 및 제 2 그룹을 구분하여 디스플레이(예를 들어, 색상을 다르게 표시)하도록 디스플레이부(110)를 제어하고, 그룹 분류가 올바르게 되었는지에 대한 사용자의 피드백을 수신할 수 있다. 제어부(130)는 제 1 그룹 및 제 2 그룹 각각이 미리 정해진 멀티 터치 패턴을 만족하는지 여부에 따라 해당되는 유저 인터페이스 메뉴를 디스플레이하도록 디스플레이부(110)를 제어한다.6A illustrates a state in which two users touch the display unit 110 . In this case, it is necessary to distinguish the two users. Accordingly, when there are N or more (eg, N is 6 and may be 5 according to an embodiment) touch inputs, the controller 130 simultaneously (or within a predetermined time range) among the N touch inputs. ) is set as one group, and it is determined whether the corresponding group satisfies a predetermined touch pattern. For example, when the fingers of the first user's hand 610 first touch the display unit 110 and then the fingers of the second user's hand 620 touch the display unit 110 , the controller 130 ) sets the touch inputs 611 as the first group and sets the touch inputs 621 as the second group. The control unit 130 controls the display unit 110 to display the first group and the second group separately (for example, to display different colors), and to receive the user's feedback on whether the group classification is correct. there is. The controller 130 controls the display 110 to display a corresponding user interface menu according to whether each of the first group and the second group satisfies a predetermined multi-touch pattern.

이와 같은 방식에 따라, 3명 이상의 사용자 함께 디스플레이 장치(100)를 이용하는 경우에도 각 사용자의 터치 입력이 구분될 수 있다. 따라서, 디스플레이 장치(100)는 둘 이상의 사용자가 함께 디스플레이 장치(100)를 사용하는 경우에도, 각 사용자를 구별할 수 있고, 각 사용자의 조작에 따른 유저 인터페이스 메뉴들을 디스플레이할 수 있다.According to this method, even when three or more users use the display apparatus 100 together, each user's touch input may be distinguished. Accordingly, even when two or more users use the display apparatus 100 together, the display apparatus 100 may distinguish each user and display user interface menus according to the manipulation of each user.

도 7은 터치 입력 그룹화를 위한 사용자의 동작을 도시한 도면이다.7 is a diagram illustrating a user's operation for grouping a touch input.

도 6과 함께 설명한 방법으로 복수개의 터치 입력들에 대한 그룹화가 불가능하거나 실패한 경우, 제어부(130)는 통일된 움직임을 갖는 터치 입력들을 하나의 그룹으로 설정할 수 있다. 예를 들어, 사용자가 손을 디스플레이부(110)에 터치한 상태에서 도 7의 (a)처럼 손을 상하방향으로 움직이거나 도 7의 (b)처럼 각 손가락이 동일한 방향으로 원을 그리도록 움직이는 경우, 각 손가락에 의한 터치 입력들은 공통된 움직임을 갖는다. 제어부(130)는 이러한 움직임을 기초로 터치 입력들을 그룹화할 수 있다. 도면에 도시되지는 않았지만, 손가락을 벌렸다가 오므리는 동작이 수행되었을 때에도 해당 터치 입력들이 하나의 그룹으로 분류될 수 있다.When grouping of a plurality of touch inputs is impossible or fails by the method described with reference to FIG. 6 , the controller 130 may set the touch inputs having a unified motion into one group. For example, in a state where the user touches the display unit 110 with the hand, the user moves the hand up and down as shown in (a) of FIG. 7 or moves each finger to draw a circle in the same direction as shown in (b) of FIG. In this case, touch inputs by each finger have a common motion. The controller 130 may group the touch inputs based on the movement. Although not shown in the drawings, even when an operation of opening and closing a finger is performed, corresponding touch inputs may be classified into one group.

도 8은 본 발명의 일 실시예에 따른 디스플레이 방법을 나타내는 순서도이다.8 is a flowchart illustrating a display method according to an embodiment of the present invention.

도 8을 참조하면, 우선, 터치 인식부(120)는 디스플레이부(110)에 입력된 복수개의 터치 입력을 인식한다(단계 810). 제어부(130)는 터치 입력의 수가 N개(N=6) 이상인지 판단한다(단계 820). 판단 결과, N개 이상인 경우, 제어부(130)는 복수개의 터치 입력에 대해 그룹화를 수행한다(단계 830). N개 미만인 경우, 제어부(130)는 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는지 여부를 판단한다(단계 840). 미리 정해진 멀티 터치 패턴이 만족되지 않는 경우, 디스플레이 장치(100)는 단계 810으로 돌아가서 새로운 터치 입력을 기다린다. 미리 정해진 멀티 터치 패턴이 만족된 경우, 제어부(130)는 터치 입력 각각에 대해 매핑된 유저 인터페이스 메뉴들을 디스플레이하도록 디스플레이부(110)를 제어한다(단계 850). 사용자로부터 디스플레이된 유저 인터페이스 메뉴들 중 하나에 대한 터치 입력을 수신하면(단계 860), 제어부(130)는 해당 메뉴가 하위 메뉴를 갖는지 여부를 판단한다(단계 870). 하위 메뉴를 갖는 경우, 제어부(130)는 하위 메뉴들을 디스플레이하도록 디스플레이부(110)를 제어한다(단계 880). 하위 메뉴가 존재하지 않는 경우, 제어부(130)는 해당 메뉴에 따른 작업을 수행한다(단계 890).Referring to FIG. 8 , first, the touch recognition unit 120 recognizes a plurality of touch inputs input to the display unit 110 (step 810 ). The controller 130 determines whether the number of touch inputs is N (N=6) or more (step 820). As a result of the determination, if there are N or more, the controller 130 groups the plurality of touch inputs (step 830). If the number is less than N, the controller 130 determines whether a plurality of touch inputs satisfy a predetermined multi-touch pattern (step 840). If the predetermined multi-touch pattern is not satisfied, the display apparatus 100 returns to step 810 and waits for a new touch input. When the predetermined multi-touch pattern is satisfied, the controller 130 controls the display 110 to display user interface menus mapped to each touch input (step 850). Upon receiving a touch input for one of the displayed user interface menus from the user (step 860), the controller 130 determines whether the corresponding menu has a sub-menu (step 870). When there is a sub-menu, the controller 130 controls the display 110 to display the sub-menus (step 880). If there is no sub-menu, the controller 130 performs an operation according to the corresponding menu (step 890).

도 9는 터치 입력 그룹화 과정(도 8의 단계 830)을 상세히 나타내는 순서도이다.9 is a flowchart illustrating in detail a process of grouping touch inputs (step 830 of FIG. 8 ).

도 9를 참조하면, 제어부(130)는 복수개의 터치 입력들을 터치 시점(즉, 동시에 터치되었는지 여부)을 기초로 하나 이상의 그룹으로 그룹화한다(단계 910). 제어부(130)는 그룹화 결과를 표시하도록 디스플레이부(110)를 제어한다(단계 920). 디스플레이 장치(100)는 디스플레이부(110)를 통해 사용자로부터 그룹화 결과가 올바른지에 대한 피드백을 수신한다(단계 930). 제어부(130)는 사용자의 피드백이 그룹화가 적절하다는 내용인 것인지 판단한다(940). 사용자의 피드백이 그룹화가 적절하지 않다는 내용인 경우, 제어부(130)는 도 7과 함께 설명된 것과 같은 방법으로 복수개의 터치 입력의 움직임에 기반하여 복수개의 터치 입력에 대해 다시 그룹화를 실시하고 단계 920으로 돌아간다(단계 950). 사용자의 피드백이 그룹화가 적절하다는 내용인 경우, 터치 입력 그룹화 과정이 종료된다.Referring to FIG. 9 , the controller 130 groups a plurality of touch inputs into one or more groups based on a touch time point (ie, whether they are touched at the same time) (step 910 ). The controller 130 controls the display 110 to display the grouping result (step 920). The display apparatus 100 receives feedback from the user on whether the grouping result is correct through the display unit 110 (step 930). The controller 130 determines whether the user's feedback indicates that grouping is appropriate ( S940 ). If the user's feedback indicates that grouping is not appropriate, the controller 130 performs grouping again on the plurality of touch inputs based on the movement of the plurality of touch inputs in the same manner as described with reference to FIG. 7 , and in step 920 . return to (step 950). When the user's feedback indicates that grouping is appropriate, the touch input grouping process is terminated.

한편, 상술한 바와 같이 실시 예를 제시하고 있는 본 발명에 따른 디스플레이 방법은 컴퓨터(또는 휴대용 컴퓨터)로 판독 가능한 기록 매체에 컴퓨터가 실행할 수 있는 코드(컴퓨터 프로그램 코드)로서 구현될 수 있는데, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 이러한 컴퓨터 판독 가능의 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치, 모바일 앱 등이 있다.On the other hand, as described above, the display method according to the present invention, which has presented the embodiment, may be implemented as computer-executable code (computer program code) on a computer-readable recording medium (or a portable computer). The readable recording medium may include any type of recording device in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, mobile app, and the like.

그리고, 본 발명에 첨부된 블록도의 각 블록과 순서도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.In addition, combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in a processor of a general-purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the processor of the computer or other programmable data processing equipment may be configured in the respective blocks of the block diagram or of the flowchart. Each step creates a means for performing the described functions. These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing a function described in each block of the block diagram or each step of the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and in each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code comprising one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. Accordingly, the protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

본 발명의 실시예에 따르면 복수개의 터치 입력(예를 들면, 다섯 손가락을 이용한 경우 5개)이 미리 정해진 멀티 터치 패턴을 만족하는지 여부에 따라 복수개의 터치 입력 각각에 대응하는 위치에 서로 다른 유저 인터페이스 메뉴들을 디스플레이함으로써, 사용자의 손보다 큰 대형 터치스크린을 갖는 전자 기기에서 보다 공간 효율적으로 유저 인터페이스 메뉴들을 디스플레이할 수 있다.According to an embodiment of the present invention, a different user interface is located at a location corresponding to each of the plurality of touch inputs according to whether a plurality of touch inputs (eg, five when five fingers are used) satisfy a predetermined multi-touch pattern. By displaying the menus, it is possible to more space-efficiently display user interface menus in an electronic device having a large touch screen larger than a user's hand.

100: 디스플레이 장치 110: 디스플레이부
120: 터치 인식부 130: 제어부100: display device 110: display unit
120: touch recognition unit 130: control unit

Claims (5)

디스플레이부;
상기 디스플레이부 상의 터치 입력을 인식하는 터치 인식부; 및
상기 터치 인식부가 멀티 터치 입력을 인식하는 경우, 상기 멀티 터치 입력이 상기 디스플레이부 상에서 미리 정해진 형상 위에 위치하는지 판단하는 제어부를 포함하고,
상기 미리 정해진 형상은 타원 또는 포물선이고,
상기 제어부는, 상기 멀티 터치 입력이 상기 미리 정해진 형상 위에 위치하는 경우, 상기 디스플레이부 상에서 상기 멀티 터치 입력에 대응하는 위치 각각에 서로 다른 서비스를 제공하는 유저 인터페이스 메뉴들을 동시에 디스플레이하도록 상기 디스플레이부를 제어하며,
상기 멀티 터치 입력 중에서 다른 터치 입력들로부터 가장 멀리 떨어져 있는 터치 입력의 상기 다른 터치 입력들에 대한 상대적인 위치에 따라 상기 멀티 터치 입력을 왼손 입력 또는 오른손 입력으로 구분하고, 상기 왼손에 따라 디스플레이되는 제 1 유저 인터페이스 메뉴들과 상기 오른손에 따라 디스플레이되는 제 2 유저 인터페이스 메뉴가 서로 상이하도록 상기 디스플레이부를 제어하되,
상기 미리 정해진 형상의 크기에 따라 상기 디스플레이 상에 상이한 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어하는
디스플레이 장치.display unit;
a touch recognition unit for recognizing a touch input on the display unit; and
a control unit configured to determine whether the multi-touch input is positioned on a predetermined shape on the display unit when the touch recognition unit recognizes a multi-touch input;
the predetermined shape is an ellipse or a parabola,
When the multi-touch input is located on the predetermined shape, the control unit controls the display unit to simultaneously display user interface menus that provide different services to each position corresponding to the multi-touch input on the display unit, ,
Among the multi-touch inputs, the multi-touch input is divided into a left-hand input or a right-hand input according to a position of a touch input furthest away from the other touch inputs with respect to the other touch inputs, and the first displayed according to the left hand Controlling the display unit so that the user interface menus and the second user interface menu displayed according to the right hand are different from each other,
controlling the display unit to display different user interface menus on the display according to the size of the predetermined shape
display device. 제 1 항에 있어서,
상기 가장 멀리 떨어져 있는 입력은 엄지손가락에 의한 터치 입력이고,
상기 제어부는,
상기 미리 정해진 형상 위에서 상기 다른 터치 입력들에 의한 터치 입력들로부터 상기 엄지손가락에 의한 터치 입력에 도달하기 위한 경로가 상기 미리 정해진 형상에서 시계 방향으로 이동하는 것인 경우, 왼손 입력으로 판단하고, 반 시계방향으로 이동하는 것인 경우 오른손 입력으로 판단하는
디스플레이 장치.The method of claim 1,
The farthest input is a touch input by a thumb,
The control unit is
If the path for reaching the touch input by the thumb from the touch inputs by the other touch inputs on the predetermined shape moves clockwise in the predetermined shape, it is determined as a left hand input, If the movement is clockwise, it is determined by right-hand input.
display device. 제 1 항에 있어서,
상기 제어부는,
상기 멀티 터치 입력의 개수가 미리 정해진 개수 이상인 경우, 상기 멀티 터치 입력 중에서 동시에 상기 디스플레이 장치에 터치된 터치 입력들 또는 통일된 움직임을 갖는 터치 입력들을 하나의 그룹으로 설정하고, 상기 그룹이 상기 미리 정해진 형상을 만족하는지 판단하는
디스플레이 장치.The method of claim 1,
The control unit is
When the number of the multi-touch inputs is equal to or greater than a predetermined number, among the multi-touch inputs, touch inputs simultaneously touched on the display device or touch inputs having a unified motion are set as one group, and the group is set to the predetermined number. to determine whether the shape is satisfied
display device. 제 1 항에 있어서,
상기 터치 인식부가 상기 유저 인터페이스 메뉴들 중 어느 하나에 대한 터치 입력을 인식하면, 상기 제어부는 터치 입력이 인식된 유저 인터페이스 메뉴의 하위 메뉴를 디스플레이하도록 상기 디스플레이부를 제어하는
디스플레이 장치.The method of claim 1,
When the touch recognition unit recognizes a touch input for any one of the user interface menus, the control unit controls the display unit to display a sub-menu of the user interface menu for which the touch input is recognized
display device. 디스플레이부에 입력된 멀티 터치 입력을 인식하는 단계;
상기 멀티 터치 입력이 상기 디스플레이부 상에서 미리 정해진 형상인 타원 또는 포물선 위에 위치 하는지 판단하는 단계;
상기 멀티 터치 입력이 상기 미리 정해진 형상위에 위치하는 경우, 상기 디스플레이부 상에서 상기 멀티 터치 입력에 대응하는 위치 각각에 서로 다른 서비스를 제공하는 유저 인터페이스 메뉴들을 동시에 디스플레이하는 단계;
상기 멀티 터치 입력이 상기 미리 정해진 형상위에 위치하는 경우, 상기 멀티 터치 입력 중에서 다른 터치 입력들로부터 가장 멀리 떨어져 있는 터치 입력의 상기 다른 터치 입력들에 대한 상대적인 위치에 따라 상기 멀티 터치 입력을 왼손 입력 또는 오른손 입력으로 구분하고, 상기 왼손에 따라 디스플레이되는 제 1 유저 인터페이스 메뉴들과 상기 오른손에 따라 디스플레이되는 제 2 유저 인터페이스 메뉴가 서로 상이하도록 상기 디스플레이부를 제어하는 단계; 및
상기 미리 정해진 형상의 크기에 따라 상기 디스플레이 상에 상이한 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어하는 단계를 포함하는 디스플레이 방법.recognizing a multi-touch input input to a display unit;
determining whether the multi-touch input is located on an ellipse or a parabola having a predetermined shape on the display unit;
simultaneously displaying, on the display unit, user interface menus providing different services at positions corresponding to the multi-touch input when the multi-touch input is positioned on the predetermined shape;
When the multi-touch input is positioned on the predetermined shape, the multi-touch input is applied to the left hand input or controlling the display unit such that first user interface menus displayed according to the left hand and second user interface menus displayed according to the right hand are different from each other by dividing the input into a right-hand input; and
and controlling the display unit to display different user interface menus on the display according to the size of the predetermined shape.
KR1020210131550A 2015-11-02 2021-10-05 Apparatus and method for displaying user interface menu using multi touch pattern KR102389782B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210131550A KR102389782B1 (en) 2015-11-02 2021-10-05 Apparatus and method for displaying user interface menu using multi touch pattern

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150153246A KR102324716B1 (en) 2015-11-02 2015-11-02 Apparatus and method for displaying user interface menu using multi touch pattern
KR1020210131550A KR102389782B1 (en) 2015-11-02 2021-10-05 Apparatus and method for displaying user interface menu using multi touch pattern

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150153246A Division KR102324716B1 (en) 2015-11-02 2015-11-02 Apparatus and method for displaying user interface menu using multi touch pattern

Publications (2)

Publication Number Publication Date
KR20210123273A KR20210123273A (en) 2021-10-13
KR102389782B1 true KR102389782B1 (en) 2022-04-22

Family

ID=58741708

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150153246A KR102324716B1 (en) 2015-11-02 2015-11-02 Apparatus and method for displaying user interface menu using multi touch pattern
KR1020210131550A KR102389782B1 (en) 2015-11-02 2021-10-05 Apparatus and method for displaying user interface menu using multi touch pattern

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020150153246A KR102324716B1 (en) 2015-11-02 2015-11-02 Apparatus and method for displaying user interface menu using multi touch pattern

Country Status (1)

Country Link
KR (2) KR102324716B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102026615B1 (en) * 2017-09-11 2019-09-30 (주)컴버스테크 Gesture recognition based touch display apparatus
KR20230109407A (en) 2022-01-13 2023-07-20 경북대학교 산학협력단 Vision-based tactile sensor capable of random pattern and multi-touch

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702959B2 (en) 2005-03-28 2011-06-15 パナソニック株式会社 User interface system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101586627B1 (en) * 2008-10-06 2016-01-19 삼성전자주식회사 A method for controlling of list with multi touch and apparatus thereof
KR101576292B1 (en) * 2009-05-21 2015-12-09 엘지전자 주식회사 The method for executing menu in mobile terminal and mobile terminal using the same
CN101937313B (en) * 2010-09-13 2019-11-12 中兴通讯股份有限公司 A kind of method and device of touch keyboard dynamic generation and input
KR102026882B1 (en) * 2012-09-10 2019-09-30 삼성전자주식회사 Method and apparatus for distinguishing five fingers in electronic device including touch screen
KR101560352B1 (en) 2013-11-25 2015-10-19 동서대학교산학협력단 Interactive image contents display system using smart table device on large wall surface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702959B2 (en) 2005-03-28 2011-06-15 パナソニック株式会社 User interface system

Also Published As

Publication number Publication date
KR102324716B1 (en) 2021-11-10
KR20170050997A (en) 2017-05-11
KR20210123273A (en) 2021-10-13

Similar Documents

Publication Publication Date Title
KR102389782B1 (en) Apparatus and method for displaying user interface menu using multi touch pattern
US8810509B2 (en) Interfacing with a computing application using a multi-digit sensor
US20140351758A1 (en) Object selecting device
JP6073863B2 (en) Item display control method and apparatus
JP5102412B1 (en) Information terminal, information terminal control method, and program
US11301120B2 (en) Display apparatus and controlling method thereof
US20140218315A1 (en) Gesture input distinguishing method and apparatus in touch input device
US10025484B2 (en) Method and device for controlling user interface
KR102302233B1 (en) Method and apparatus for providing user interface
WO2016035323A1 (en) Information processing device, information processing method, and program
KR102205283B1 (en) Electro device executing at least one application and method for controlling thereof
US10430071B2 (en) Operation of a computing device functionality based on a determination of input means
KR101392936B1 (en) User Customizable Interface System and Implementing Method thereof
CN105117056A (en) Method and equipment for operating touch screen
KR20140046557A (en) Method for sensing multiple-point inputs of terminal and terminal thereof
US20180210597A1 (en) Information processing device, information processing method, and program
CN103927114A (en) Display method and electronic equipment
US20150242107A1 (en) Device control
KR102265143B1 (en) Apparatus and method for processing input
JP6000553B2 (en) Information processing apparatus and control method thereof
KR102238697B1 (en) A table top interface apparatus, a multi touch object and method thereof
KR101898162B1 (en) Apparatus and method of providing additional function and feedback to other apparatus by using information of multiple sensor
US20160334971A1 (en) Object Manipulation System and Method
CN106033293B (en) A kind of information processing method and electronic equipment
Lu et al. Realizing multi-touch-like gestures in 3d space

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant