KR20230071865A - Non-contact spatial touch type tactile display and control method - Google Patents

Non-contact spatial touch type tactile display and control method Download PDF

Info

Publication number
KR20230071865A
KR20230071865A KR1020210157124A KR20210157124A KR20230071865A KR 20230071865 A KR20230071865 A KR 20230071865A KR 1020210157124 A KR1020210157124 A KR 1020210157124A KR 20210157124 A KR20210157124 A KR 20210157124A KR 20230071865 A KR20230071865 A KR 20230071865A
Authority
KR
South Korea
Prior art keywords
display
module
tactile
touch pad
contact
Prior art date
Application number
KR1020210157124A
Other languages
Korean (ko)
Inventor
신덕식
이상택
조주희
김수용
조현창
조영찬
오국환
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210157124A priority Critical patent/KR20230071865A/en
Publication of KR20230071865A publication Critical patent/KR20230071865A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

본 발명의 일 실시예에 따른 디스플레이 제어 모듈은 터치패드; 상기 터치패드와 연결되는 스캐닝 모듈; 상기 터치패드와 연결되는 촉감 모듈; 및 상기 스캐닝 모듈에서 수신한 입력 신호를 통해 디스플레이의 화면을 제어하는 제어 모듈을 포함한다.A display control module according to an embodiment of the present invention includes a touch pad; a scanning module connected to the touch pad; a tactile module connected to the touch pad; and a control module controlling the screen of the display through an input signal received from the scanning module.

Description

비접촉식 공간 터치 방식의 촉감 디스플레이 및 제어 방법{Non-contact spatial touch type tactile display and control method}Non-contact spatial touch type tactile display and control method

본 발명은 비접촉식 공간 터치 방식의 촉감 디스플레이 및 제어 방법에 관한 것이다.The present invention relates to a non-contact spatial touch type tactile display and control method.

전 세계는 코로나바이러스 감염증(이하 코로나19)으로 인해 식당, 병원 등 다수가 이용하는 공공장소에서 이전보다 청결한 위생환경이 요구되고 있으며, 무인 주문기(키오스크)를 터치하는 방식에서 비접촉 Touchless 기술에 관한 관심이 증가하고 있다.Due to the coronavirus infection (hereinafter referred to as COVID-19), a cleaner sanitary environment is required than before in public places such as restaurants and hospitals, and interest in non-contact touchless technology in the way of touching unmanned ordering machines (kiosks) this is increasing

최근 패스트푸드 업계에 무인화가 가속화되면서 무인 주문기의 시장은 2006년 600억에서 2018년 3,000억까지 5배 이상 커지고 있으나, 공동으로 사용하기 때문에 위생 문제에 대한 경각심이 증가하고 있다.With the recent acceleration of unmanned fast food industry, the market for unmanned ordering machine is growing more than 5 times from 60 billion won in 2006 to 300 billion won in 2018.

언택트 또는 논콘택트 시대라고 표현할 만큼 원격회의, 온라인교육, 매장의 키오스크, 자율계산대 등 비대면 서비스와 산업이 성장하고 있고 위생에 관한 관심도 높아지고 있으며, IT와 디스플레이 기술의 발달로 사회의 비대면 서비스에 대한 수요는 현재 나와 있는 기술로 어느 정도 대응해 나가고 있으나, 키오스크 화면을 터치해야 하거나 엘리베이터의 버튼을 눌러야 하는 등 다중 이용 시설물에 대한 직접 접촉을 피할 수는 없어 비접촉 기술에 대해 지속해서 요구되고 있다.Non-face-to-face services and industries such as remote meetings, online education, store kiosks, and self-checkout counters are growing to the extent that it can be described as an untact or non-contact era, and interest in hygiene is increasing. Although the demand for is being addressed to some extent with existing technologies, it is impossible to avoid direct contact with multi-use facilities, such as touching a kiosk screen or pressing an elevator button, so there is a continuous demand for non-contact technology. .

따라서 사용자가 스크린을 직접 터치하지 않아도, 원거리에서 사용자의 손 또는 손가락을 인식하여 정밀 터치가 가능한 기술로 불특정 다수의 사용자가 직접 터치하는 스크린의 사용으로 인한 파손을 방지하고, 교차 감염과 위생 문제를 사전 예방이 가능한 기술이다.Therefore, even if the user does not directly touch the screen, this technology enables precise touch by recognizing the user's hand or finger from a distance. It is a preventive technology.

본 발명이 해결하고자 하는 기술적 과제는, 접촉식 공간 터치 방식의 촉감 디스플레이 및 제어 방법을 제공하는 것이다.A technical problem to be solved by the present invention is to provide a tactile display and control method of a tactile space touch method.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디스플레이 제어 모듈은 비접촉 터치패드; 상기 비접촉 터치패드와 연결되는 스캐닝 모듈; 상기 비접촉 터치패드와 연결되는 촉감 모듈; 및 상기 스캐닝 모듈에서 수신한 입력 신호를 통해 디스플레이의 화면을 제어하는 제어 모듈을 포함할 수 있다.In order to solve the above technical problem, the display control module according to an embodiment of the present invention is a non-contact touch pad; a scanning module connected to the non-contact touch pad; a tactile module connected to the non-contact touch pad; and a control module controlling the screen of the display through an input signal received from the scanning module.

상기 스캐닝 모듈은 상기 비접촉 터치패드에 배치되는 레이저 송신부와 레이저 수신부를 포함할 수 있다. The scanning module may include a laser transmitter and a laser receiver disposed on the non-contact touch pad.

상기 촉감 모듈은 상기 비접촉 터치패드의 하부에 배치되는 복수의 촉감셀을 포함할 수 있다.The tactile module may include a plurality of tactile cells disposed below the non-contact touch pad.

상기 촉감 모듈의 상기 촉감셀은 초음파 스피커로 이루어질 수 있다.The tactile cell of the tactile module may be formed of an ultrasonic speaker.

상기 제어 모듈은 상기 스캐닝 모듈에서 수신한 입력 신호의 제스처에 따라 상기 디스플레이의 화면을 제어할 수 있다.The control module may control the screen of the display according to the gesture of the input signal received from the scanning module.

상기 디스플레이 제어 모듈은 상기 디스플레이에 탈부착되며, 상기 디스플레이 제어 모듈은 상기 디스플레이와 통신하는 통신 모듈을 포함할 수 있다.The display control module is detachable from the display, and the display control module may include a communication module communicating with the display.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디스플레이 제어 방법은 스캐닝 모듈을 통해 비접촉 터치패드 상에서 사용자의 움직임을 감지하는 단계; 촉감 모듈이 상기 사용자의 움직임에 따라 촉감을 제공하는 단계; 및상기 감지된 사용자의 움직임에 따라 디스플레이 화면을 제어하는 단계를 포함할 수 있다.In order to solve the above technical problem, a display control method according to an embodiment of the present invention includes detecting a user's motion on a non-contact touchpad through a scanning module; providing a sense of touch according to the motion of the user by a tactile sensory module; and controlling a display screen according to the detected movement of the user.

상기 비접촉 터치패드는 레이저 송신부와 레이저 수신부를 포함하는 스캐닝 모듈과, 상기 비접촉 터치패드 하부에 배치되는 촉감 모듈을 포함할 수 있다.The non-contact touch pad may include a scanning module including a laser transmitter and a laser receiver, and a tactile module disposed under the non-contact touch pad.

상기 디스플레이 화면을 제어하는 단계는 상기 감지된 사용자의 움직임의 제스처에 따라 상기 디스플레이 화면을 제어할 수 있다.In the controlling of the display screen, the display screen may be controlled according to the detected gesture of the user's movement.

본 발명의 실시예들에 따르면, 공공장소에 설치된 키오스크 등 대형 디스플레이를 접촉 없이 공간상에서 제어할 수 있다. According to embodiments of the present invention, a large display such as a kiosk installed in a public place can be controlled in space without contact.

또한, 디스플레이 제어를 위해 라이다 센서로 원하는 크기만큼 영역을 설정하여 비접촉으로 메뉴 또는 마우스 포인트를 제어할 수 있다.In addition, it is possible to control a menu or a mouse point in a non-contact manner by setting an area as large as a desired size with a lidar sensor for display control.

또한, 대형 디스플레이에서부터 소형 디스플레이까지 연동 가능하며, 초음파 센서를 사용하여 촉감을 느낄 수 있어 메뉴 선택에 직관적으로 느낄 수 있다.In addition, it can be linked from a large display to a small display, and an ultrasonic sensor can be used to feel the touch, so you can intuitively feel the menu selection.

또한, 비접촉 방식의 촉감 디스플레이 제어 기술은 초음파를 이용하여 사람에게 촉감을 느낄 수 있으며, 레이저 센서를 이용하여 대형 디스플레이나, 시스템 교체 없이 터치할 수 있다.In addition, the non-contact type tactile display control technology allows a person to feel a sense of touch using ultrasonic waves, and can touch a large display or a system using a laser sensor without replacing the system.

도 1은 본 발명의 일 실시예에 따른 디스플레이 제어 모듈을 도시한 것이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 디스플레이 제어 모듈의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 제어 방법에 대한 흐름도이다.1 illustrates a display control module according to an embodiment of the present invention.
2 and 3 are block diagrams of a display control module according to an embodiment of the present invention.
4 is a flowchart of a display control method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합 또는 치환하여 사용할 수 있다.However, the technical idea of the present invention is not limited to some of the described embodiments, but may be implemented in a variety of different forms, and if it is within the scope of the technical idea of the present invention, one or more of the components among the embodiments can be selectively implemented. can be used in combination or substitution.

또한, 본 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.In addition, terms (including technical and scientific terms) used in this embodiment have meanings that can be generally understood by those of ordinary skill in the art to which this embodiment belongs, unless explicitly specifically defined and described. The meaning of commonly used terms, such as terms defined in a dictionary, can be interpreted in consideration of the contextual meaning of related technology.

또한, 본 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. In addition, terms used in the present embodiment are for describing the embodiments and are not intended to limit the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.In this specification, the singular form may also include the plural form unless otherwise specified in the phrase, and when described as "at least one (or more than one) of A and (and) B and C", A, B, and C are combined. may include one or more of all possible combinations.

또한, 본 실시예의 구성 요소를 설명하는데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.In addition, in describing the components of this embodiment, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the term is not limited to the nature, order, or order of the corresponding component.

그리고, 어떤 구성 요소가 다른 구성 요소에 '연결', '결합', 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 '연결', '결합', 또는 '접속'되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합', 또는 '접속'되는 경우도 포함할 수 있다.And, when a component is described as being 'connected', 'coupled', or 'connected' to another component, the component is directly 'connected', 'coupled', or 'connected' to the other component. In addition to the case, it may include cases where the component is 'connected', 'combined', or 'connected' due to another component between the component and the other component.

또한, 각 구성 요소의 "상(위)" 또는 "하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, "상(위)" 또는 "하(아래)"는 두 개의 구성 요소들이 서로 직접 접촉되는 경우 뿐만 아니라, 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위)" 또는 "하(아래)"로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함될 수 있다. In addition, when it is described as being formed or disposed on the "upper (above)" or "lower (below)" of each component, "upper (above)" or "lower (below)" means that two components are directly connected to each other. It includes not only the case of being in contact, but also the case where one or more other components are formed or disposed between two components. In addition, when expressed as "upper (above)" or "lower (down)", the meaning of not only an upward direction but also a downward direction may be included based on one component.

종래의 기술은 공공장소에 설치되어있는 키오스크, 박람회 안내를 위한 터치 디스플레이, 무인민원발급기 등 공공으로 사용하고 있는 터치 디스플레이로 누르는 방식의 감압방식과 만지는 방식의 정전용량 방식으로 나눌 수 있으며, 최근에는 고감도 적외선 센서 기술을 활용하여 비접촉 상태에서 터치가 가능한 기술 등이 있다.Conventional technology can be divided into a pressure-sensitive method and a capacitance method by touching a touch display used in public, such as a kiosk installed in a public place, a touch display for information on exhibitions, and an unmanned civil application issuing machine. Recently, There is a technology that enables touch in a non-contact state by utilizing high-sensitivity infrared sensor technology.

하지만, 이러한 방식은 터치스크린에서 일정한 거리(2cm)에서 인식이 되는 방식과 터치 영역 양쪽으로 IR 센서를 사용하여 센서의 감지로 터치를 할 수 있는 방식이 주류를 이루고 있다.However, in this method, a method that is recognized at a certain distance (2 cm) from the touch screen and a method that can be touched by sensor detection using IR sensors in both touch areas are mainstream.

본 발명은 디스플레이의 대형화로 인하여 비접촉 터치스크린에 메뉴를 구성할 시 닿지 않는 부분이 발생하게 되는데, 시스템의 변경 또는 모니터를 변경하지 않고 화면을 그대로 모사하여 마우스 패드 형태 개발하여 손가락의 움직임만으로 대형 화면을 제어할 수 있는 기술이다.In the present invention, when configuring a menu on a non-contact touch screen due to the large size of the display, an unreachable part occurs. Instead of changing the system or monitor, the screen is copied as it is and developed in the form of a mouse pad to develop a large screen with only the movement of a finger. It is a technology that can control

또한, 기존의 Touchless 디스플레이는 사람 손가락의 촉감이 느껴지지 않지만, 본 기술은 레이저 센서를 통하여 디스플레이를 모사하고 촉감 재현을 위해 초음파 센서를 사용하여 보다 직관적으로 디스플레이를 제어할 수 있다.In addition, the existing touchless display does not feel the touch of a human finger, but this technology can more intuitively control the display by imitating the display through a laser sensor and using an ultrasonic sensor to reproduce the tactile sensation.

또한, 공공장소에 설치된 키오스크등의 접촉형 터치스크린 표면상의 오염으로 인한 코로나 19 교차 감염 예방을 위한 공간상의 터치만으로 손가락의 감각을 느낄 수 있는 초음파를 이용한 비접촉식 촉감 디스플레이를 제어할 수 있다.In addition, it is possible to control a non-contact tactile display using ultrasonic waves that can feel the sensation of a finger only with a touch in space to prevent cross-contamination of Corona 19 due to contamination on the surface of a contact-type touch screen such as a kiosk installed in a public place.

도 1은 본 발명의 일 실시예에 따른 디스플레이 제어 모듈을 도시한 것이고, 도 2 및 도 3은 본 발명의 일 실시예에 따른 디스플레이 제어 모듈의 블록도이다.1 illustrates a display control module according to an embodiment of the present invention, and FIGS. 2 and 3 are block diagrams of the display control module according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 디스플레이 제어 모듈(10)은 비접촉 터치패드(11), 비접촉 터치패드(11)와 연결되는 스캐닝 모듈(12), 비접촉 터치패드(11)와 연결되는 촉감 모듈(13), 스캐닝 모듈(12)에서 수신한 입력 신호를 통해 디스플레이(20)의 화면을 제어하는 제어 모듈(14)을 포함하고, 디스플레이(20)와 통신하는 통신 모듈(15)을 포함할 수 있다. The display control module 10 according to an embodiment of the present invention includes a non-contact touch pad 11, a scanning module 12 connected to the non-contact touch pad 11, and a tactile module 13 connected to the non-contact touch pad 11. ), a control module 14 for controlling the screen of the display 20 through an input signal received from the scanning module 12, and a communication module 15 communicating with the display 20.

디스플레이 제어 모듈(10)은 디스플레이(20)와 일체로 형성될 수 있다. 디스플레이 제어 모듈(10)은 디스플레이(20)와 탈부착되어 연결될 수 있다. 디스플레이 제어 모듈(10)은 디스플레이(20)에 플러그앤플레이(Plug & Play) 방식으로 연결되어 디스플레이(20)를 제어할 수 있다. 디스플레이 제어 모듈(10)은 디스플레이(20)의 화면의 정보를 제어할 수 있다. The display control module 10 may be integrally formed with the display 20 . The display control module 10 may be detachably connected to the display 20 . The display control module 10 may be connected to the display 20 in a plug & play manner to control the display 20 . The display control module 10 may control screen information of the display 20 .

디스플레이(20)는 소형 디스플레이, 대형 디스플레이 중 어느 하나일 수 있다. 디스플레이(20)가 포함된 장치는 휴대전화, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3(MPEG Audio Layer-3) player 등과 같은 휴대용 전자기기, 네비게이션, 모니터, ATM(Auto Teller Machine), 게임기, 키오스크(무인 단말기) 등과 같은 전자기기 중 어느 하나일 수 있다.The display 20 may be any one of a small display and a large display. Devices including the display 20 include portable electronic devices such as mobile phones, personal digital assistants (PDAs), portable multimedia players (PMPs), MPEG Audio Layer-3 (MP3) players, navigation devices, monitors, and auto teller machines (ATMs). ), a game machine, a kiosk (unmanned terminal), and the like.

디스플레이 제어 모듈(10)은 디스플레이(20)와 통신하는 통신 모듈(15)을 포함할 수 있다. 통신 모듈(15)은 제어 모듈(14)로부터 입출력되는 신호를 처리하고, 연동 통신 보드 및 디스플레이 연동 프로그램을 통해 레이저 센서의 위치동작정보, 초음파 트랜스듀서 출력신호, 디스플레이 화면 정보가 상호 연동되어 구동될 수 있다.The display control module 10 may include a communication module 15 that communicates with the display 20 . The communication module 15 processes signals input and output from the control module 14, and the position operation information of the laser sensor, the ultrasonic transducer output signal, and the display screen information are interlocked and driven through an interlocking communication board and a display interlocking program. can

비접촉 터치패드(11)는 평평한 모양의 패드 형태일 수 있다. 비접촉 터치패드(11)에 사용자의 손가락과 같은 신체 일부의 접근을 통해 입력신호가 생성될 수 있다. 비접촉 터치패드(11)에 도전 특성을 갖는 수단(ex. 터치펜)이 접근할 때 입력신호가 생성될 수 있다. 상기와 같이 비접촉 터치패드(11) 상에 사용자의 손가락이 접근하여 입력신호 생성되는 과정은 아래에서 설명한다. The non-contact touch pad 11 may be in the form of a flat pad. An input signal may be generated through an approach of a body part such as a user's finger to the non-contact touch pad 11 . An input signal may be generated when a means having conductive characteristics (eg, a touch pen) approaches the non-contact touch pad 11 . The process of generating an input signal by the user's finger approaching the non-contact touch pad 11 as described above will be described below.

스캐닝 모듈(12)은 비접촉 터치패드(11)와 연결될 수 있다. 스캐닝 모듈(12)은 비접촉 터치패드(11)에 배치되는 레이저 송신부와 레이저 수신부를 포함할 수 있다. 레이저 송신부는 비접촉 터치패드(11)의 양 단에 배치되어 비접촉 터치패드(11) 상에 레이저를 송신할 수 있다. 레이저 수신부는 레이저 송신부에서 출력된 레이저가 비접촉 터치패드(11) 상에 근접한 사용자의 손가락에 의해 반사된 광을 수신할 수 있다. The scanning module 12 may be connected to the non-contact touch pad 11 . The scanning module 12 may include a laser transmitter and a laser receiver disposed on the non-contact touch pad 11 . The laser transmitter may be disposed at both ends of the non-contact touch pad 11 to transmit a laser onto the non-contact touch pad 11 . The laser receiving unit may receive light reflected by a user's finger that is adjacent to the non-contact touch pad 11 to the laser output from the laser transmitting unit.

제어 모듈(14)은 스캐닝 모듈(12)에서 수신한 입력 신호를 통해 디스플레이(20)의 화면을 제어할 수 있다. 제어 모듈(14)은 스캐닝 모듈(12)에서 수신한 입력 신호의 제스처에 따라 디스플레이(20)의 화면을 제어할 수 있다.The control module 14 may control the screen of the display 20 through an input signal received from the scanning module 12 . The control module 14 may control the screen of the display 20 according to the gesture of the input signal received from the scanning module 12 .

제어 모듈(14)은 스캐닝 모듈(12)로부터 감지된 사용자의 손의 위치 및 움직임을 감지하여 디스플레이 제어를 위한 입력신호를 제공한다. 스캐닝 모듈(12)이 감지하는 영역은 마우스 패드와 같은 역할을 하며 마우스 커서를 이동시키거나 메뉴 버튼을 클릭하는 등의 행위와 같은 동작 정보를 입력해준다. 제어 모듈(14)은 포인트 클라우드 데이터(Point Cloud Data)를 바탕으로 손가락의 위치를 트래킹하며 수집된 위치 정보를 바탕으로 설정된 제스처(Gesture) 알고리즘에 따라 화면 제어를 위한 동작을 분류 인식하게 된다. The control module 14 detects the position and movement of the user's hand detected by the scanning module 12 and provides an input signal for controlling the display. The area detected by the scanning module 12 serves as a mouse pad and inputs motion information such as moving a mouse cursor or clicking a menu button. The control module 14 tracks the position of the finger based on point cloud data, and classifies and recognizes motions for screen control according to a set gesture algorithm based on the collected positional information.

예를 들어, 제어 모듈(14)은 스캐닝 모듈(12)로부터 감지된 신호가 원 모양인 경우, 이를 해당 부분을 클릭하는 제어 신호로 출력할 수 있다. 제어 모듈(14)은 스캐닝 모듈(12)로부터 감지된 신호가 왼쪽 화살표 모양인 경우, 이전 페이지로 돌아가는 제어 신호로 출력할 수 있다. 제어 모듈(14)은 스캐닝 모듈(12)로부터 감지된 신호가 오른쪽 화살표 모양인 경우, 다음 페이지로 넘어가는 제어 신호로 출력할 수 있다. 이는 예시적인 것에 불과하며 특별히 이에 한정하는 것은 아니다. For example, if the signal detected by the scanning module 12 is circular, the control module 14 may output it as a control signal for clicking the corresponding part. The control module 14 may output a control signal to return to the previous page when the signal detected by the scanning module 12 is in the shape of a left arrow. The control module 14 may output a control signal to move to the next page when the signal detected by the scanning module 12 has a right arrow shape. This is only exemplary and is not particularly limited thereto.

촉감 모듈(13)은 비접촉 터치패드(11)와 연결될 수 있다. 촉감 모듈(13)은 스캐닝 모듈(12)로부터 감지된 신호에 따라 비접촉 터치패드(11) 상에 근접한 사용자의 손가락에 촉감을 제공할 수 있다. 촉감 모듈(13)은 비접촉 터치패드(11)의 하부에 배치될 수 있다. 촉감 모듈(13)은 비접촉 터치패드(11)의 하부에 배치되는 복수의 촉감셀을 포함할 수 있다. 복수의 촉감셀은 다양한 형태로 형상화(Patterning) 될 수 있다. 복수의 촉감셀은 복수의 행과 열에 따라 매트릭스 형태로 배열될 수 있다. 매트릭스 형태는 도트 매트릭스 형태이거나, 선형의 패턴이 종방향 및/또는 횡방향으로 배열도리 수 있다. 촉감셀은 초음파 스피커로 이루어질 수 있다. The tactile module 13 may be connected to the non-contact touch pad 11 . The tactile module 13 may provide a tactile feeling to a user's finger approaching the non-contact touch pad 11 according to a signal detected by the scanning module 12 . The tactile module 13 may be disposed below the non-contact touch pad 11 . The tactile module 13 may include a plurality of tactile cells disposed under the non-contact touch pad 11 . A plurality of tactile cells may be patterned in various shapes. A plurality of tactile cells may be arranged in a matrix form according to a plurality of rows and columns. The matrix form may be a dot matrix form, or a linear pattern may be arranged in a longitudinal direction and/or a transverse direction. The tactile cell may be made of an ultrasonic speaker.

촉감 모듈(13)은 디스플레이 화면의 정보를 초음파를 통한 촉감으로 전달하며 다수의 초음파 스피커의 배열로 구성되어 있다. 각 스피커의 위상 및 진폭을 제어하여 사람이 인식할 수 있는 촉감을 형성하며 디스플레이 제어를 위한 중요 정보를 촉감을 통해 사용자의 손에 전달할 수 있다.The tactile sensory module 13 transmits information on the display screen as a tactile sensation through ultrasonic waves and is composed of an array of multiple ultrasonic speakers. By controlling the phase and amplitude of each speaker, a human-recognizable tactile sensation is formed, and important information for display control can be transmitted to the user's hand through tactile sensation.

이를 통해, 기존의 비접촉 디스플레이들과 달리 디스플레이 화면의 시각 정보 외에 촉감정보를 추가로 제공함으로써 보다 신속하고 정확한 화면 조작이 가능하게 한다.Through this, unlike conventional non-contact displays, tactile information is additionally provided in addition to visual information on the display screen, enabling more rapid and accurate screen manipulation.

촉감 모듈(13)은 디스플레이(20) 화면의 구성에 따라 다양한 촉감을 제공할 수 있다. 예를 들어, 디스플레이(20) 화면에서 클릭으로 확인하는 영역에 사용자의 손가락이 위치하는 경우, 촉감 모듈(13)은 다른 영역보다 더 강한 진동이 느껴지는 촉감을 제공할 수 있다. 또는, 디스플레이(20) 화면에서 클릭으로 확인하는 영역에 사용자의 손가락이 위치하는 경우, 촉감 모듈(13)은 해당 영역에서 반복되는 진동이 느껴지는 촉감을 제공할 수 있다. The tactile sensation module 13 may provide various tactile sensations according to the configuration of the screen of the display 20 . For example, when the user's finger is located in an area to be confirmed by clicking on the screen of the display 20, the tactile sensory module 13 may provide a tactile sensation in which stronger vibration is felt than other areas. Alternatively, when the user's finger is located in an area to be confirmed by clicking on the screen of the display 20, the tactile sensory module 13 may provide a tactile sensation in which vibration is felt repeatedly in the corresponding area.

도 4는 본 발명의 실시예에 따른 디스플레이 제어 방법에 대한 흐름도이다. 도 4의 각 단계에 대한 상세한 설명은 도 1 내지 도 3의 디스플레이 제어 모듈에 대한 상세한 설명에 대응되는바, 이하 중복되는 설명은 생략하도록 한다.4 is a flowchart of a display control method according to an embodiment of the present invention. The detailed description of each step of FIG. 4 corresponds to the detailed description of the display control module of FIGS. 1 to 3, and thus, redundant descriptions will be omitted.

본 발명의 일 실시예에 따른 디스플레이를 제어하는 방법에 있어서, S11 단계에서 비접촉 터치패드 상에서 사용자의 움직임을 감지하고, S12 단계에서 상기 사용자의 움직임에 따라 촉감을 제공하고, S13 단계에서 상기 감지된 사용자의 움직임에 따라 디스플레이 화면을 제어한다. S13 단계인 상기 디스플레이 화면을 제어하는 단계는 상기 감지된 사용자의 움직임의 제스처에 따라 상기 디스플레이 화면을 제어할 수 있다.In the method for controlling a display according to an embodiment of the present invention, a user's movement is sensed on a non-contact touchpad in step S11, a tactile sensation is provided according to the user's movement in step S12, and the detected The display screen is controlled according to the user's movement. In step S13, controlling the display screen, the display screen may be controlled according to the detected gesture of the user's movement.

본 발명의 실시예들에 따르면, 공공장소에 설치된 키오스크 등 대형 디스플레이를 접촉 없이 공간상에서 제어할 수 있다. 또한, 디스플레이 제어를 위해 라이다 센서로 원하는 크기만큼 영역을 설정하여 비접촉으로 메뉴 또는 마우스 포인트를 제어할 수 있다. 또한, 대형 디스플레이에서부터 소형 디스플레이까지 연동 가능하며, 초음파 센서를 사용하여 촉감을 느낄 수 있어 메뉴 선택에 직관적으로 느낄 수 있다. 또한, 비접촉 방식의 촉감 디스플레이 제어 기술은 초음파를 이용하여 사람에게 촉감을 느낄 수 있으며, 레이저 센서를 이용하여 대형 디스플레이나, 시스템 교체 없이 터치할 수 있다.According to embodiments of the present invention, a large display such as a kiosk installed in a public place can be controlled in space without contact. In addition, it is possible to control a menu or a mouse point in a non-contact manner by setting an area as large as a desired size with a lidar sensor for display control. In addition, it can be linked from a large display to a small display, and an ultrasonic sensor can be used to feel the touch, so you can intuitively feel the menu selection. In addition, the non-contact type tactile display control technology allows a person to feel a sense of touch using ultrasonic waves, and can touch a large display or a system using a laser sensor without replacing the system.

본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Those skilled in the art related to the present embodiment will be able to understand that it may be implemented in a modified form within a range that does not deviate from the essential characteristics of the above description. Therefore, the disclosed methods are to be considered in an illustrative rather than a limiting sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.

10: 디스플레이 제어 모듈 11: 비접촉 터치패드
12: 스캐닝 모듈 13: 촉감 모듈
14: 제어 모듈 15: 통신 모듈
20: 디스플레이10: display control module 11: non-contact touch pad
12: scanning module 13: tactile module
14: control module 15: communication module
20: display

Claims (9)

비접촉 터치패드;
상기 비접촉 터치패드와 연결되는 스캐닝 모듈;
상기 비접촉 터치패드와 연결되는 촉감 모듈; 및
상기 스캐닝 모듈에서 수신한 입력 신호를 통해 디스플레이의 화면을 제어하는 제어 모듈을 포함하는 디스플레이 제어 모듈.non-contact touchpad;
a scanning module connected to the non-contact touch pad;
a tactile module connected to the non-contact touch pad; and
A display control module including a control module for controlling a screen of a display through an input signal received from the scanning module. 제1항에 있어서,
상기 스캐닝 모듈은 상기 비접촉 터치패드에 배치되는 레이저 송신부와 레이저 수신부를 포함하는 디스플레이 제어 모듈.According to claim 1,
The scanning module includes a laser transmitter and a laser receiver disposed on the non-contact touch pad. 제1항에 있어서,
상기 촉감 모듈은 상기 비접촉 터치패드의 하부에 배치되는 복수의 촉감셀을 포함하는 디스플레이 제어 모듈.According to claim 1,
The tactile module includes a plurality of tactile cells disposed below the non-contact touch pad. 제3항에 있어서,
상기 촉감 모듈의 상기 촉감셀은 초음파 스피커로 이루어지는 디스플레이 제어 모듈.According to claim 3,
The tactile cell of the tactile module is a display control module comprising an ultrasonic speaker. 제1항에 있어서,
상기 제어 모듈은 상기 스캐닝 모듈에서 수신한 입력 신호의 제스처에 따라 상기 디스플레이의 화면을 제어하는 디스플레이 제어 모듈.According to claim 1,
The control module controls the screen of the display according to the gesture of the input signal received from the scanning module. 제1항에 있어서,
상기 디스플레이 제어 모듈은 상기 디스플레이에 탈부착되며,
상기 디스플레이 제어 모듈은 상기 디스플레이와 통신하는 통신 모듈을 포함하는 디스플레이 제어 모듈.According to claim 1,
The display control module is detachable from the display,
The display control module includes a communication module communicating with the display. 스캐닝 모듈을 통해 비접촉 터치패드 상에서 사용자의 움직임을 감지하는 단계;
촉감 모듈이 상기 사용자의 움직임에 따라 촉감을 제공하는 단계; 및
상기 감지된 사용자의 움직임에 따라 디스플레이 화면을 제어하는 단계를 포함하는 디스플레이 제어 방법.detecting a user's movement on the non-contact touch pad through a scanning module;
providing a sense of touch according to the motion of the user by a tactile sensory module; and
and controlling a display screen according to the detected motion of the user. 제7항에 있어서,
상기 촉감 모듈은 상기 비접촉 터치패드는 레이저 송신부와 레이저 수신부를 포함하는 스캐닝 모듈과, 상기 비접촉 터치패드 하부에 배치되는 디스플레이 제어 방법.According to claim 7,
The tactile module is disposed under a scanning module, wherein the non-contact touch pad includes a laser transmitter and a laser receiver, and a lower portion of the non-contact touch pad. 제7항에 있어서,
상기 디스플레이 화면을 제어하는 단계는 상기 감지된 사용자의 움직임의 제스처에 따라 상기 디스플레이 화면을 제어하는 디스플레이 제어 방법.According to claim 7,
In the controlling of the display screen, the display control method controls the display screen according to the detected gesture of the user's movement.
KR1020210157124A 2021-11-15 2021-11-15 Non-contact spatial touch type tactile display and control method KR20230071865A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210157124A KR20230071865A (en) 2021-11-15 2021-11-15 Non-contact spatial touch type tactile display and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210157124A KR20230071865A (en) 2021-11-15 2021-11-15 Non-contact spatial touch type tactile display and control method

Publications (1)

Publication Number Publication Date
KR20230071865A true KR20230071865A (en) 2023-05-24

Family

ID=86540830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210157124A KR20230071865A (en) 2021-11-15 2021-11-15 Non-contact spatial touch type tactile display and control method

Country Status (1)

Country Link
KR (1) KR20230071865A (en)

Similar Documents

Publication Publication Date Title
AU2018282404B2 (en) Touch-sensitive button
KR101924131B1 (en) Electrical device having multi-functional human interface
JP3800984B2 (en) User input device
KR101766187B1 (en) Method and apparatus for changing operating modes
US11586299B2 (en) Electronic device having multi-functional human interface
KR101180218B1 (en) Hand-held Device with Touchscreen and Digital Tactile Pixels
CN103092406A (en) Systems and methods for multi-pressure interaction on touch-sensitive surface
CN102204101A (en) Curved surface input device with normalized capacitive sensing
WO2010026395A2 (en) Machine interfaces
TW200846990A (en) Flexible multi-touch screen
CN102414645B (en) Apparatus including a sensor arrangement and methods of operating the same
JP4720568B2 (en) User input device and user input method
KR20230071865A (en) Non-contact spatial touch type tactile display and control method
KR101082289B1 (en) Touch Signal Generator
KR101375072B1 (en) A touch sensing apparatus for remote control of an electronic device
EP2431844B1 (en) Correlated sensor system
Barde et al. A dynamic touch screen interface like Tactus for mobile and automotive devices