KR20220053945A - Server, user device and method for providing virtual tactility service - Google Patents

Server, user device and method for providing virtual tactility service Download PDF

Info

Publication number
KR20220053945A
KR20220053945A KR1020200138318A KR20200138318A KR20220053945A KR 20220053945 A KR20220053945 A KR 20220053945A KR 1020200138318 A KR1020200138318 A KR 1020200138318A KR 20200138318 A KR20200138318 A KR 20200138318A KR 20220053945 A KR20220053945 A KR 20220053945A
Authority
KR
South Korea
Prior art keywords
tactile
information
user terminal
virtual
content
Prior art date
Application number
KR1020200138318A
Other languages
Korean (ko)
Other versions
KR102468585B1 (en
Inventor
이재은
Original Assignee
주식회사 비트센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비트센싱 filed Critical 주식회사 비트센싱
Priority to KR1020200138318A priority Critical patent/KR102468585B1/en
Publication of KR20220053945A publication Critical patent/KR20220053945A/en
Application granted granted Critical
Publication of KR102468585B1 publication Critical patent/KR102468585B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

A server for providing a virtual tactile service comprises: a receiving unit configured to receive, from a user terminal, tactile sensation generation request information related to content being executed in a user terminal; a virtual tactile information generating unit configured to generate virtual tactile information including an electrical signal sequence based on the received tactile sensation generation request information; and a transmitting unit for transmitting the generated virtual tactile information to the user terminal. A virtual tactile sensation generated from the virtual tactile sensation information is provided together with the content being executed in the user terminal.

Description

가상 촉각 서비스를 제공하는 서버, 사용자 단말 및 방법{SERVER, USER DEVICE AND METHOD FOR PROVIDING VIRTUAL TACTILITY SERVICE}Server, user terminal and method for providing virtual tactile service

본 발명은 가상 촉각 서비스를 제공하는 서버, 사용자 단말 및 방법에 관한 것이다.The present invention relates to a server, a user terminal and a method for providing a virtual tactile service.

다중 실감 미디어 기술은 텍스트나 영상과 같은 정보를 전달할 뿐 아니라, 정보를 둘러싼 환경, 분위기, 맥락, 심지어 냄새, 촉감, 맛과 같은 오감 정보를 사용자에게 제공하여 미디어의 실감 효과를 극대화하고자 한다.Multi-sensory media technology not only delivers information such as text or video, but also seeks to maximize the sensory effect of media by providing users with information about the five senses, such as the environment, atmosphere, context, and even smell, touch, and taste surrounding the information.

가상 촉각은 압력 센서, 접촉 센서, 압력 센서, 미끄러짐 센서, 온도 센서 등을 이용하여 생체로부터 유추되는 피부감각과 역각(力覺)을 재현함으로써 전달된다. 그러나, 종래의 가상 촉각을 제공하는 서비스는 인간의 고도화된 촉각 시스템을 구현하는 데에 한계가 있었다.The virtual tactile sense is transmitted by reproducing the skin sense and force sense inferred from the living body using a pressure sensor, a contact sensor, a pressure sensor, a slip sensor, a temperature sensor, and the like. However, the conventional service providing virtual tactile sense has limitations in realizing an advanced human tactile system.

또한, 실감 미디어 기술이 발달하면서, 콘텐츠와의 상호작용을 통해 가상 촉각을 느낄 수 있도록 하는 서비스가 요구되고 있다. 따라서, 콘텐츠와의 상호작용을 실시간으로 반영하면서 실제 감각과 유사한 가상 촉각을 제공하는 방법이 필요하다.In addition, with the development of sensory media technology, there is a demand for a service that allows users to feel virtual tactile sensation through interaction with content. Therefore, there is a need for a method for providing a virtual tactile sense similar to the real sense while reflecting the interaction with the content in real time.

한국공개특허 제 2018-0002182호 (2018.01.08. 공개)Korea Patent Publication No. 2018-0002182 (published on Jan. 8, 2018)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자 단말에서 실행 중인 콘텐츠와 관련된 촉각 생성 요청 정보를 사용자 단말로부터 수신하고, 수신된 촉각 생성 요청 정보에 기초하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 생성하고, 생성한 가상 촉각 정보를 사용자 단말로 전송하는 서버를 제공하고자 한다.The present invention is to solve the problems of the prior art described above, and receives tactile sense generation request information related to content being executed in the user terminal from the user terminal, and based on the received tactile sense generation request information, a virtual device including an electrical signal sequence An object of the present invention is to provide a server that generates tactile information and transmits the generated virtual tactile information to a user terminal.

또한, 사용자 단말에서 실행 중인 콘텐츠와 관련하여 촉각 생성 요청 정보를 생성하고, 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버로 전송하고, 촉각 생성 요청 정보에 응답하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 가상 촉각 서비스 제공 서버로부터 수신하고, 수신한 가상 촉각 정보에 기초하여 사용자 단말에서 실행 중인 콘텐츠와 함께 가상 촉각을 출력하는 사용자 단말을 제공하고자 한다.In addition, the user terminal generates tactile sense generation request information in relation to the content being executed, transmits the tactile sense generation request information to the virtual tactile service providing server, and receives virtual tactile information including an electrical signal sequence in response to the tactile sense generation request information. An object of the present invention is to provide a user terminal that is received from a virtual tactile service providing server and outputs a virtual tactile sense together with content being executed in the user terminal based on the received virtual tactile information.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the present embodiment are not limited to the technical problems described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 가상 촉각 서비스를 제공하는 서버에 있어서, 사용자 단말에서 실행 중인 콘텐츠와 관련된 촉각 생성 요청 정보를 상기 사용자 단말로부터 수신하는 수신부, 상기 수신된 촉각 생성 요청 정보에 기초하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 생성하는 가상 촉각 정보 생성부 및 상기 생성한 가상 촉각 정보를 사용자 단말로 전송하는 전송부를 포함하고, 상기 가상 촉각 정보로부터 생성되는 가상 촉각은 상기 사용자 단말에서 실행 중인 상기 콘텐츠와 함께 제공될 수 있다.As a means for achieving the above-described technical problem, an embodiment of the present invention provides a server for providing a virtual tactile service, comprising: a receiver configured to receive tactile sense generation request information related to content being executed in a user terminal from the user terminal; a virtual tactile information generator generating virtual tactile information including an electrical signal sequence based on the received tactile sensation generation request information, and a transmitting unit transmitting the generated virtual tactile information to a user terminal, from the virtual tactile information The generated virtual tactile sense may be provided together with the content being executed in the user terminal.

일 실시예에서, 상기 콘텐츠는 상기 콘텐츠를 구성하는 복수의 픽셀의 각각에 대응하는 촉각 구성 정보를 포함하고, 상기 촉각 생성 요청 정보는 상기 복수의 픽셀 중 하나 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 생성될 수 있다.In an embodiment, the content includes tactile configuration information corresponding to each of a plurality of pixels constituting the content, and the tactile sense generation request information is based on tactile configuration information corresponding to one or more pixels among the plurality of pixels can be created by

일 실시예에서, 상기 촉각 구성 정보는 상기 복수의 픽셀의 각각에 대응하는 오브젝트 정보 또는 상기 오브젝트 정보에 대응하는 촉각을 나타내는 압감 및 거칠기에 관한 정보를 포함할 수 있다.In an embodiment, the tactile configuration information may include object information corresponding to each of the plurality of pixels or information on a pressure sensation and roughness indicating a tactile sense corresponding to the object information.

일 실시예에서, 상기 전기 신호 시퀀스는 주기 시퀀스 정보 또는 비주기 시퀀스 정보를 포함하고, 상기 가상 촉각 정보 생성부는 상기 촉각 생성 요청 정보에 기초하여 주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 펄스 발화 시점 및 펄스 반복 횟수에 관한 정보를 포함하는 상기 주기 시퀀스 정보를 생성하거나, 상기 촉각 생성 요청 정보에 기초하여 비주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 에폭(epoch) 폭, 에폭 주기 및 에폭 주기의 반복 횟수에 관한 정보를 포함하는 상기 비주기 시퀀스 정보를 생성할 수 있다.In an embodiment, the electrical signal sequence includes periodic sequence information or aperiodic sequence information, and the virtual tactile information generator includes a pulse width, a pulse magnitude, a pulse period, and a pulse of a periodic electrical signal based on the tactile sensation generation request information. Generates the periodic sequence information including information on the ignition timing and the number of pulse repetitions, or based on the tactile generation request information, pulse width, pulse size, pulse period, epoch width, and epoch period of the aperiodic electrical signal and the aperiodic sequence information including information on the number of repetitions of the epoch cycle.

일 실시예에서, 상기 전기 신호 시퀀스는 상기 사용자 단말과 연결된 복수의 전극 중 적어도 하나의 전극을 활성화시킴으로써 상기 가상 촉각을 출력할 수 있다.In an embodiment, the electrical signal sequence may output the virtual tactile sense by activating at least one of a plurality of electrodes connected to the user terminal.

일 실시예에서, 상기 사용자 단말과 연결된 복수의 전극 중 활성화되는 전극의 위치는 상기 콘텐츠를 구성하는 복수의 픽셀 중 서로 다른 둘 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 변경될 수 있다.In an embodiment, a position of an activated electrode among a plurality of electrodes connected to the user terminal may be changed based on tactile configuration information corresponding to two or more different pixels among a plurality of pixels constituting the content.

일 실시예에서, 상기 가상 촉각 정보 생성부는 상기 촉각 생성 요청 정보에 기초하여 상기 사용자 단말의 온도 제어 정보 및 진동 정보를 상기 가상 촉각 정보로써 더 생성할 수 있다.In an embodiment, the virtual tactile information generating unit may further generate temperature control information and vibration information of the user terminal as the virtual tactile information based on the tactile sensation generation request information.

본 발명의 다른 실시예는, 가상 촉각 서비스를 제공하는 사용자 단말에 있어서, 상기 사용자 단말에서 실행 중인 콘텐츠와 관련하여 촉각 생성 요청 정보를 생성하는 생성부, 상기 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버로 전송하는 전송부, 상기 촉각 생성 요청 정보에 응답하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 상기 가상 촉각 서비스 제공 서버로부터 수신하는 수신부 및 상기 수신한 가상 촉각 정보에 기초하여 상기 사용자 단말에서 실행 중인 상기 콘텐츠와 함께 가상 촉각을 출력하는 출력부를 포함할 수 있다.According to another embodiment of the present invention, in a user terminal providing a virtual tactile service, a generating unit generating tactile sense generation request information in relation to content being executed in the user terminal, and providing the tactile sense generation request information to a virtual tactile sense service providing server a transmitter that transmits to the tactile sense, a receiver that receives virtual tactile information including an electric signal sequence from the virtual tactile service providing server in response to the tactile sense generation request information, and a receiver that receives the virtual tactile sense information that is being executed in the user terminal based on the received virtual tactile sense information It may include an output unit for outputting a virtual tactile sense together with the content.

본 발명의 또 다른 실시예는, 사용자 단말에서 가상 촉각 서비스를 제공하는 방법에 있어서, 상기 사용자 단말에서 콘텐츠를 실행하는 단계, 상기 콘텐츠의 실행 화면 중 어느 영역을 선택받는 단계, 상기 선택받은 영역에 기초하여 촉각 생성 요청 정보를 생성하는 단계, 상기 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버로 전송하는 단계, 상기 촉각 생성 요청 정보에 응답하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 상기 가상 촉각 서비스 제공 서버로부터 수신하는 단계 및 상기 수신한 가상 촉각 정보에 기초하여 상기 사용자 단말에서 실행 중인 상기 콘텐츠와 함께 가상 촉각을 출력하는 단계를 포함할 수 있다.Another embodiment of the present invention provides a method for providing a virtual tactile service in a user terminal, the method comprising: executing content in the user terminal; receiving a selection from an area of an execution screen of the content; generating tactile sense generation request information based on the tactile sense generation request information; transmitting the tactile sense generation request information to a virtual tactile sense service providing server; and providing virtual tactile information including an electrical signal sequence in response to the tactile sense generation request information to provide the virtual tactile sense service The method may include receiving from a server and outputting a virtual tactile sense together with the content being executed in the user terminal based on the received virtual tactile information.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary, and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 단말에서 실행 중인 콘텐츠와 관련된 촉각 생성 요청 정보를 사용자 단말로부터 수신하고, 수신된 촉각 생성 요청 정보에 기초하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 생성하고, 생성한 가상 촉각 정보를 사용자 단말로 전송할 수 있다.According to any one of the above-described problem solving means of the present invention, virtual tactile sense including an electrical signal sequence by receiving tactile sense generation request information related to content being executed in the user terminal from the user terminal, and based on the received tactile sense generation request information The information may be generated and the generated virtual tactile information may be transmitted to the user terminal.

또한, 사용자 단말에서 실행 중인 콘텐츠와 관련하여 촉각 생성 요청 정보를 생성하고, 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버로 전송하고, 촉각 생성 요청 정보에 응답하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 가상 촉각 서비스 제공 서버로부터 수신하고, 수신한 가상 촉각 정보에 기초하여 사용자 단말에서 실행 중인 콘텐츠와 함께 가상 촉각을 출력할 수 있다.In addition, the user terminal generates tactile sense generation request information in relation to the content being executed, transmits the tactile sense generation request information to the virtual tactile service providing server, and receives virtual tactile information including an electrical signal sequence in response to the tactile sense generation request information. It is received from the virtual tactile service providing server, and based on the received virtual tactile information, the virtual tactile sense may be output together with the content being executed in the user terminal.

도 1은 본 발명의 일 실시예에 따른 가상 촉각 서비스를 제공하는 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 가상 촉각 서비스를 제공하는 서버의 구성도이다.
도 3은 본 발명의 일 실시예에 따라 사용자 단말에서 실행되는 콘텐츠의 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 전기 신호 시퀀스를 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상 촉각을 출력하는 방법을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 가상 촉각 서비스를 제공하는 사용자 단말의 구성도이다.
도 7은 본 발명의 일 실시예에 따른 사용자 단말에서 가상 촉각 서비스를 제공하는 방법의 순서도이다.
도 8은 본 발명의 일 실시에에 따른 가상 촉각 제공 서비스가 적용되는 예를 도시한다.1 is a block diagram of a system for providing a virtual tactile service according to an embodiment of the present invention.
2 is a block diagram of a server providing a virtual tactile service according to an embodiment of the present invention.
3 is an exemplary diagram of content executed in a user terminal according to an embodiment of the present invention.
4 is an exemplary diagram for explaining an electrical signal sequence according to an embodiment of the present invention.
5 is an exemplary diagram for explaining a method of outputting a virtual tactile sense according to an embodiment of the present invention.
6 is a block diagram of a user terminal providing a virtual tactile service according to an embodiment of the present invention.
7 is a flowchart of a method for providing a virtual tactile service in a user terminal according to an embodiment of the present invention.
8 illustrates an example to which a virtual tactile providing service according to an embodiment of the present invention is applied.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a component, it means that other components may be further included, rather than excluding other components, unless otherwise stated, and one or more other features However, it is to be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded in advance.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In this specification, a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware. Meanwhile, '~ unit' is not limited to software or hardware, and '~ unit' may be configured to be in an addressable storage medium or to reproduce one or more processors. Accordingly, as an example, '~' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'. In addition, components and '~ units' may be implemented to play one or more CPUs in a device or secure multimedia card.

이하에서 언급되는 "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.The "network" referred to below means a connection structure capable of exchanging information between each node, such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN). , the Internet (WWW: World Wide Web), wired and wireless data networks, telephone networks, wired and wireless television networks, and the like. Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.Some of the operations or functions described as being performed by the terminal or device in this specification may be instead performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 가상 촉각 서비스를 제공하는 시스템의 구성도이다. 도 1을 참조하면, 가상 촉각 서비스 제공 시스템(100)은, 가상 촉각 서비스 제공 서버(110) 및 사용자 단말(120)을 포함할 수 있다.1 is a block diagram of a system for providing a virtual tactile service according to an embodiment of the present invention. Referring to FIG. 1 , the virtual tactile service providing system 100 may include a virtual tactile service providing server 110 and a user terminal 120 .

가상 촉각 서비스 제공 서버(110) 및 사용자 단말(120)은 네트워크를 통해 연결될 수 있고, 네트워크를 통해 서로 데이터를 송수신할 수 있다.The virtual tactile service providing server 110 and the user terminal 120 may be connected through a network, and may transmit/receive data to and from each other through the network.

가상 촉각 서비스 제공 시스템(100)은, 사용자 단말(120)에서 실행되는 콘텐츠와 함께 사용자 및 콘텐츠 간의 상호작용을 실시간으로 반영하여 생성되는 가상 촉각을 제공할 수 있다.The virtual tactile service providing system 100 may provide a virtual tactile sense generated by reflecting the interaction between the user and the content together with the content executed in the user terminal 120 in real time.

도 2는 본 발명의 일 실시예에 따른 가상 촉각 서비스 제공 서버(110)의 구성도이다. 도 2를 참조하면, 가상 촉각 서비스 제공 서버(110)는 수신부(111), 가상 촉각 정보 생성부(112) 및 전송부(113)를 포함할 수 있다.2 is a block diagram of a virtual tactile service providing server 110 according to an embodiment of the present invention. Referring to FIG. 2 , the virtual tactile service providing server 110 may include a receiving unit 111 , a virtual tactile information generating unit 112 , and a transmitting unit 113 .

가상 촉각 서비스 제공 서버(110)는 사용자 단말(120)로부터 전송받은 요청에 기초하여 가상 촉각 서비스를 제공하기 위한 가상 촉각 정보를 생성할 수 있다. 가상 촉각 정보로부터 생성되는 가상 촉각은 사용자 단말(120)에서 실행 중인 콘텐츠와 함께 제공될 수 있다.The virtual tactile service providing server 110 may generate virtual tactile information for providing a virtual tactile service based on a request received from the user terminal 120 . The virtual tactile sense generated from the virtual tactile information may be provided together with the content being executed in the user terminal 120 .

수신부(111)는 사용자 단말(120)에서 실행 중인 콘텐츠와 관련된 촉각 생성 요청 정보를 사용자 단말(120)로부터 수신할 수 있다.The receiver 111 may receive the tactile sense generation request information related to the content being executed in the user terminal 120 from the user terminal 120 .

사용자 단말(120)에서 실행 중인 콘텐츠는, 콘텐츠를 구성하는 복수의 픽셀의 각각에 대응하는 촉각 구성 정보를 포함할 수 있다. 촉각 구성 정보는 예를 들어, 복수의 픽셀의 각각에 대응하는 오브젝트 정보 또는 오브젝트 정보에 대응하는 촉각을 나타내는 압감 및 거칠기에 관한 정보를 포함할 수 있다.The content being executed in the user terminal 120 may include tactile configuration information corresponding to each of a plurality of pixels constituting the content. The tactile configuration information may include, for example, object information corresponding to each of a plurality of pixels or information about a pressure sensation and roughness indicating a tactile sense corresponding to the object information.

예를 들어, 콘텐츠에서 파인애플 이미지를 구성하는 픽셀에 대응하는 촉각 구성 정보는, 픽셀에 대응하는 오브젝트 정보인 파인애플 촉각 구성 정보를 포함할 수 있다.For example, the tactile configuration information corresponding to the pixels constituting the pineapple image in the content may include pineapple tactile configuration information that is object information corresponding to the pixels.

다른 예를 들어, 콘텐츠에서 파인애플 이미지를 구성하는 픽셀에 대응하는 촉각 구성 정보는, 오브젝트 정보에 대응하는 파인애플의 촉각을 나타내는 2 레벨의 압감 및 3 레벨의 거칠기 정보를 포함할 수 있다.As another example, the tactile configuration information corresponding to the pixels constituting the pineapple image in the content may include 2 levels of pressure sensation and 3 levels of roughness information indicating the tactile sensation of a pineapple corresponding to the object information.

촉각 생성 요청 정보는 콘텐츠를 구성하는 복수의 픽셀 중 하나 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 생성된 것일 수 있다. 촉각 생성 요청 정보는 사용자 단말(120)에서 실행 중인 콘텐츠의 실행 화면 중 선택받은 영역에 기초하여 생성된 것일 수 있다.The tactile sense generation request information may be generated based on tactile sense configuration information corresponding to one or more pixels among a plurality of pixels constituting the content. The tactile sense generation request information may be generated based on a selected area of the execution screen of the content being executed in the user terminal 120 .

도 3은 본 발명의 일 실시예에 따라 사용자 단말(120)에서 실행되는 콘텐츠의 예시적인 도면이다. 예를 들어, 사용자 단말(120)은 사용자 단말(120)에서 실행되는 콘텐츠의 실행 화면(30)에서, A 영역을 사용자 입력에 의해 선택받을 수 있다. 촉각 생성 요청 정보는 A 영역의 각 픽셀에 대응하는 촉각 구성 정보에 기초하여 생성된 것일 수 있다.3 is an exemplary diagram of content executed in the user terminal 120 according to an embodiment of the present invention. For example, the user terminal 120 may receive selection of area A in the execution screen 30 of the content executed in the user terminal 120 by a user input. The tactile sense generation request information may be generated based on tactile sense configuration information corresponding to each pixel of the area A.

A 영역의 각 픽셀에 대응하는 촉각 구성 정보는, A 영역의 각 픽셀에 대응하는 오브젝트 정보인 강아지의 촉감 정보, 또는 강아지의 촉감 정보에 대응하는 압감의 레벨 및 거칠기의 레벨에 관한 정보를 포함할 수 있다.The tactile configuration information corresponding to each pixel in the area A may include dog tactile information, which is object information corresponding to each pixel in region A, or information about the level of pressure and roughness corresponding to the tactile information of the dog. can

다른 예를 들어, 사용자 단말(120)에서 실행되는 콘텐츠의 실행 화면(30)에서, B 영역을 선택받은 경우에는, B 영역의 각 픽셀에 대응하는 촉각 구성 정보에 기초하여 촉각 생성 요청 정보가 생성될 수 있다.As another example, when region B is selected on the execution screen 30 of the content executed in the user terminal 120 , tactile sense generation request information is generated based on tactile sense configuration information corresponding to each pixel of the B region. can be

B 영역의 각 픽셀에 대응하는 촉각 구성 정보는, B 영역의 각 픽셀에 대응하는 오브젝트 정보인 티셔츠의 촉감 정보, 또는 티셔츠의 촉감 정보에 대응하는 압감의 레벨 및 거칠기의 레벨에 관한 정보를 포함할 수 있다.The tactile configuration information corresponding to each pixel in the B region may include tactile information of a T-shirt, which is object information corresponding to each pixel in the B region, or information about a pressure level and roughness level corresponding to the tactile information of the T-shirt. can

가상 촉각 정보 생성부(112)는 수신된 촉각 생성 요청 정보에 기초하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 생성할 수 있다. 여기서 전기 신호 시퀀스는 주기 시퀀스 정보 또는 비주기 시퀀스 정보를 포함할 수 있다.The virtual tactile information generator 112 may generate virtual tactile information including an electrical signal sequence based on the received tactile sensation generation request information. Here, the electrical signal sequence may include periodic sequence information or aperiodic sequence information.

전기 신호 시퀀스는 촉각 수용기에 따른 전기 신호의 발화 특성을 모방함으로써 인공 촉감을 유도할 수 있다. 전기 신호의 발화 특성은 예를 들어, 전기 신호의 발화 시점, 뉴럴 스파이크 트레인(spike train) 등을 포함할 수 있다. 서로 다른 촉각 수용기는 다른 패턴의 스파이크 트레인을 갖는 자극 신호를 수용할 수 있다.The electrical signal sequence can induce artificial tactile sensations by mimicking the firing characteristics of electrical signals according to tactile receptors. The ignition characteristic of the electrical signal may include, for example, an ignition timing of the electrical signal, a neural spike train, and the like. Different tactile receptors can receive stimulus signals with different patterns of spike trains.

가상 촉각 정보 생성부(112)는 예를 들어, 촉각 생성 요청 정보에 기초하여 주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 펄스 발화 시점 및 펄스 반복 횟수에 관한 정보를 포함하는 주기 시퀀스 정보를 생성할 수 있다.The virtual tactile information generating unit 112 generates periodic sequence information including, for example, information on the pulse width, pulse size, pulse period, pulse ignition timing, and number of pulse repetitions of the periodic electrical signal based on the tactile sensation generation request information. can create

가상 촉각 정보 생성부(112)는 예를 들어, 촉각 생성 요청 정보에 기초하여 비주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 에폭(epoch) 폭, 에폭 주기 및 에폭 주기의 반복 횟수에 관한 정보를 포함하는 비주기 시퀀스 정보를 생성할 수 있다. 에폭은 펄스열의 한 묶음의 단위를 나타낼 수 있다.The virtual tactile information generating unit 112 relates to, for example, the pulse width, the pulse size, the pulse period, the epoch width, the epoch period, and the number of repetitions of the epoch period of the aperiodic electrical signal based on the tactile sensation generation request information. Aperiodic sequence information including information may be generated. An epoch may represent a unit of a bundle of a pulse train.

도 4는 본 발명의 일 실시예에 따른 전기 신호 시퀀스를 설명하기 위한 예시적인 도면이다. 도 4의 (a)는 주기 시퀀스 정보를 포함하는 전기 신호 시퀀스를 도시하고, (b)는 비주기 시퀀스 정보를 포함하는 전기 신호 시퀀스를 도시한 것이다.4 is an exemplary diagram for explaining an electrical signal sequence according to an embodiment of the present invention. 4 (a) illustrates an electrical signal sequence including periodic sequence information, and (b) illustrates an electrical signal sequence including aperiodic sequence information.

도 4의 (a)를 참조하면, 주기 시퀀스 정보는 주기 전기 신호의 펄스 폭(T1), 펄스 크기(A), 펄스 주기(T2), 펄스 발화 시점 및 펄스 반복 횟수에 관한 정보를 포함할 수 있다.Referring to (a) of FIG. 4 , the periodic sequence information includes information on the pulse width (T 1 ), the pulse size (A), the pulse period (T 2 ), the pulse firing time, and the number of pulse repetitions of the periodic electrical signal can do.

도 4의 (b)를 참조하면, 비주기 시퀀스 정보는 비주기 전기 신호의 펄스 폭(T3), 펄스 크기(B), 펄스 주기(T4), 에폭(epoch) 폭(T5), 에폭 주기(T6) 및 에폭 주기의 반복 횟수에 관한 정보를 포함할 수 있다. 여기서 에폭은 펄스 열의 한 묶음의 단위를 의미한다.Referring to (b) of FIG. 4 , the aperiodic sequence information includes a pulse width (T 3 ), a pulse size (B), a pulse period (T 4 ), an epoch width (T 5 ) of an aperiodic electrical signal, Information about the epoch period T 6 and the number of repetitions of the epoch period may be included. Here, epoch means a unit of a bundle of pulse trains.

전기 신호 시퀀스는 사용자 단말(120)과 연결된 복수의 전극 중 적어도 하나의 전극을 활성화시킴으로써 가상 촉각을 출력하는 것일 수 있다. 사용자 단말(120)과 연결된 복수의 전극의 각각은 주기 시퀀스 정보 또는 비주기 시퀀스 정보에 기초하여 활성화 여부가 결정될 수 있다.The electrical signal sequence may output a virtual tactile sense by activating at least one of the plurality of electrodes connected to the user terminal 120 . Whether to activate each of the plurality of electrodes connected to the user terminal 120 may be determined based on periodic sequence information or aperiodic sequence information.

사용자 단말(120)과 연결된 복수의 전극 중 활성화되는 전극의 위치는 콘텐츠를 구성하는 복수의 픽셀 중 서로 다른 둘 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 변경될 수 있다.The position of the activated electrode among the plurality of electrodes connected to the user terminal 120 may be changed based on tactile configuration information corresponding to two or more different pixels among the plurality of pixels constituting the content.

예를 들어, 사용자 단말(120)에서 실행 중인 콘텐츠의 실행 화면에서, 선택받은 영역이 이동함에 따라 가상 촉각을 출력하는 복수의 전극 중 활성화되는 전극의 위치가 이동할 수 있다.For example, on the execution screen of the content being executed in the user terminal 120 , as the selected area moves, the position of the activated electrode among the plurality of electrodes outputting the virtual tactile sense may move.

도 5는 본 발명의 일 실시예에 따른 가상 촉각을 출력하는 방법을 설명하기 위한 예시적인 도면이다. 도 5는 3×3 배열된 복수의 전극(50)에 있어서, 활성화된 전극은 검은색으로 도시하고, 비활성화된 전극은 하얀색으로 도시한다.5 is an exemplary diagram for explaining a method of outputting a virtual tactile sense according to an embodiment of the present invention. In FIG. 5 , in the plurality of electrodes 50 arranged in a 3×3 arrangement, an activated electrode is shown in black, and an inactive electrode is shown in white.

도 5의 (a)는 복수의 전극(50) 중 제 1 열의 전극들이 활성화되고 나머지 전극들은 비활성화된 상태를 도시하고, 도 5의 (b)는 제 2 열의 전극들만 활성화된 상태를 도시하고, 도 5의 (c)는 제 3 열의 전극들만 활성화된 상태를 도시한다. Fig. 5 (a) shows a state in which the electrodes in the first column of the plurality of electrodes 50 are activated and the remaining electrodes are inactive, and Fig. 5 (b) shows a state in which only the electrodes in the second column are activated, FIG. 5C shows a state in which only the electrodes in the third row are activated.

예를 들어, 사용자 단말(120)은 콘텐츠의 실행 화면 내에서 콘텐츠를 구성하는 복수의 픽셀 중 하나 이상의 픽셀을 연속적으로 또는 불연속적으로 선택받을 수 있다.For example, the user terminal 120 may continuously or discontinuously select one or more pixels among a plurality of pixels constituting the content in the execution screen of the content.

도 5의 (a) 내지 (c)에 도시된 예와 같이, 사용자 단말(120)과 연결된 복수의 전극(50) 중 활성화되는 전극의 위치는 콘텐츠를 구성하는 복수의 픽셀 중 서로 다른 둘 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 변경될 수 있다. As in the example shown in (a) to (c) of FIG. 5 , the positions of the activated electrodes among the plurality of electrodes 50 connected to the user terminal 120 are different from each other among the plurality of pixels constituting the content. may be changed based on tactile configuration information corresponding to .

가상 촉각 정보 생성부(112)는 촉각 생성 요청 정보에 기초하여 사용자 단말(120)의 온도 제어 정보 및 진동 정보를 가상 촉각 정보로써 더 생성할 수 있다.The virtual tactile information generator 112 may further generate temperature control information and vibration information of the user terminal 120 as virtual tactile information based on the tactile sense generation request information.

전송부(113)는 생성한 가상 촉각 정보를 사용자 단말(120)로 전송할 수 있다.The transmitter 113 may transmit the generated virtual tactile information to the user terminal 120 .

도 6은 본 발명의 일 실시예에 따른 가상 촉각 서비스를 제공하는 사용자 단말의 구성도이다. 도 6을 참조하면, 가상 촉각 서비스를 제공하는 사용자 단말(120)은 생성부(121), 전송부(122), 수신부(123) 및 출력부(124)를 포함할 수 있다.6 is a block diagram of a user terminal providing a virtual tactile service according to an embodiment of the present invention. Referring to FIG. 6 , the user terminal 120 providing the virtual tactile service may include a generator 121 , a transmitter 122 , a receiver 123 , and an output unit 124 .

생성부(121)는 사용자 단말(120)에서 실행 중인 콘텐츠와 관련하여 촉각 생성 요청 정보를 생성할 수 있다. 사용자 단말(120)에서 실행 중인 콘텐츠는 콘텐츠를 구성하는 복수의 픽셀의 각각에 대응하는 촉각 구성 정보를 포함할 수 있다.The generator 121 may generate tactile sense generation request information in relation to the content being executed in the user terminal 120 . The content being executed by the user terminal 120 may include tactile configuration information corresponding to each of a plurality of pixels constituting the content.

사용자 단말(120)에 실행되는 콘텐츠는 사용자 단말(120)과 연결된 디스플레이, 홀로그램 장치, 헤드 마운티드 디스플레이, 헤드업 디스플레이 등의 표시 수단을 통해 표시될 수 있다.The content executed on the user terminal 120 may be displayed through display means such as a display connected to the user terminal 120 , a hologram device, a head mounted display, and a head-up display.

사용자 단말(120)은 사용자 단말(120)과 연결된 마우스, 터치패드, 웨어러블 기기, 음성 인식 장치, 동작 인식 장치, 리모콘 등의 입력 수단을 통해 콘텐츠를 구성하는 복수의 픽셀 중 하나 이상의 픽셀을 선택받을 수 있다.The user terminal 120 receives selection of one or more pixels from among a plurality of pixels constituting the content through an input means such as a mouse, a touchpad, a wearable device, a voice recognition device, a motion recognition device, and a remote control connected to the user terminal 120 . can

생성부(121)는 콘텐츠를 구성하는 복수의 픽셀 중 하나 이상의 픽셀을 선택받는 경우, 선택받은 하나 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 촉각 생성 요청 정보를 생성할 수 있다.When one or more pixels from among a plurality of pixels constituting content are selected, the generator 121 may generate tactile sense generation request information based on tactile sense configuration information corresponding to the selected one or more pixels.

생성부(121)는 콘텐츠의 실행 화면 내에서 콘텐츠를 구성하는 상기 복수의 픽셀 중 하나 이상의 픽셀을 연속적으로 또는 불연속적으로 선택받을 수 있다.The generator 121 may continuously or discontinuously select one or more pixels from among the plurality of pixels constituting the content in the execution screen of the content.

촉감 구성 정보는 복수의 픽셀의 각각에 대응하는 오브젝트 정보 또는 오브젝트 정보에 대응하는 촉각을 나타내는 압감 및 거칠기에 관한 정보를 포함할 수 있다.The tactile configuration information may include object information corresponding to each of a plurality of pixels or information about a feeling of pressure and roughness indicating a tactile sense corresponding to the object information.

다시 도 3을 참조하면, 사용자 단말(120)에서 실행 중인 콘텐츠는, 콘텐츠의 실행 화면(30)에 포함되는 복수의 픽셀의 각각에 대응하는 촉각 구성 정보를 포함할 수 있다.Referring back to FIG. 3 , the content being executed in the user terminal 120 may include tactile configuration information corresponding to each of a plurality of pixels included in the content execution screen 30 .

예를 들어, 콘텐츠의 실행 화면(30)에 있어서, 사용자 단말(120)이 A 영역을 선택받은 경우, 생성부(121)는 A 영역에 포함되는 하나 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 촉각 생성 요청 정보를 생성할 수 있다. A 영역의 각 픽셀에 대응하는 촉각 구성 정보는, A 영역의 각 픽셀에 대응하는 오브젝트 정보인 강아지의 촉감 정보, 또는 강아지의 촉감 정보에 대응하는 압감의 레벨 및 거칠기의 레벨에 관한 정보를 포함하는 촉감할 수 있다.For example, in the content execution screen 30 , when the user terminal 120 receives the selection of area A, the generator 121 based on the tactile configuration information corresponding to one or more pixels included in area A It is possible to generate the tactile sense generation request information. The tactile configuration information corresponding to each pixel in the A region includes information on the dog's tactile sense, which is object information corresponding to each pixel in the A region, or the level of pressure and the level of roughness corresponding to the tactile information of the dog. can be tactile.

전송부(122)는 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버(110)로 전송할 수 있다. 가상 촉각 서비스 제공 서버(110)는 사용자 단말(120)로부터 수신한 촉각 생성 요청 정보에 기초하여 가상 촉각 정보를 생성할 수 있다.The transmitter 122 may transmit the tactile sense generation request information to the virtual tactile service providing server 110 . The virtual tactile service providing server 110 may generate virtual tactile information based on the tactile sense generation request information received from the user terminal 120 .

수신부(123)는 촉각 생성 요청 정보에 응답하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 가상 촉각 서비스 제공 서버(110)로부터 수신할 수 있다. 여기서 전기 신호 시퀀스는 주기 시퀀스 정보 또는 비주기 시퀀스 정보를 포함할 수 있다.The receiver 123 may receive virtual tactile information including an electrical signal sequence from the virtual tactile service providing server 110 in response to the tactile sense generation request information. Here, the electrical signal sequence may include periodic sequence information or aperiodic sequence information.

주기 신호 시퀀스 정보는 촉각 생성 요청 정보에 기초하여 생성된 주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 펄스 발화 시점 및 펄스 반복 횟수에 관한 정보를 포함할 수 있다.The periodic signal sequence information may include information on a pulse width, a pulse size, a pulse period, a pulse firing time, and a number of pulse repetitions of a periodic electrical signal generated based on the tactile sense generation request information.

비주기 신호 시퀀스 정보는 촉각 생성 요청 정보에 기초하여 생성된 비주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 에폭(epoch) 폭, 에폭 주기 및 에폭 주기의 반복 횟수에 관한 정보를 포함할 수 있다.The aperiodic signal sequence information may include information about a pulse width, a pulse size, a pulse period, an epoch width, an epoch period, and the number of repetitions of the epoch period of the aperiodic electrical signal generated based on the tactile sense generation request information. there is.

수신부(123)는 도 4의 (a)에 도시된 예와 같은 주기 시퀀스 정보를 포함하는 전기 신호 시퀀스, 또는 도 4의 (b)에 도시된 예와 같은 비주기 시퀀스 정보를 포함하는 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 수신할 수 있다.The receiving unit 123 includes an electrical signal sequence including periodic sequence information as in the example shown in FIG. 4(a), or an electrical signal sequence including aperiodic sequence information as in the example shown in FIG. may receive virtual tactile information including

수신부(123)는 촉각 생성 요청 정보에 기초하여 생성된 사용자 단말(120)의 온도 제어 정보 및 진동 정보를 더 수신할 수 있다.The receiver 123 may further receive temperature control information and vibration information of the user terminal 120 generated based on the tactile sense generation request information.

온도 제어 정보는 예를 들어, 발열 위치, 발열 시점, 발열 패턴에 관한 정보를 포함할 수 있다. 진동 정보는 예를 들어, 진동 위치, 진동 주기, 진동 강도에 관한 정보를 포함할 수 있다.The temperature control information may include, for example, information about a heating position, a heating time, and a heating pattern. The vibration information may include, for example, information about a vibration position, a vibration period, and a vibration intensity.

예를 들어, 사용자 단말(120)은 가상 촉각 서비스 제공 서버(110)로 촉각 생성 요청 정보를 전송하고, 이에 대한 응답으로 전기 신호 시퀀스, 온도 제어 정보 및 진동 정보를 포함하는 가상 촉각 정보를 수신할 수 있다.For example, the user terminal 120 transmits the tactile sense generation request information to the virtual tactile service providing server 110, and in response thereto receives virtual tactile information including an electrical signal sequence, temperature control information, and vibration information. can

출력부(124)는 수신한 가상 촉각 정보에 기초하여 사용자 단말(120)에서 실행 중인 콘텐츠와 함께 가상 촉각을 출력할 수 있다. 출력부(124)로부터 출력되는 가상 촉각에 의해, 사용자의 뇌는 실제 촉각을 느끼는 것처럼 유도될 수 있다.The output unit 124 may output a virtual tactile sense together with the content being executed in the user terminal 120 based on the received virtual tactile information. By the virtual tactile sense output from the output unit 124 , the user's brain may be induced to feel the real tactile sense.

출력부(124)는 전기 신호 시퀀스에 기초하여 사용자 단말(120)과 연결된 복수의 전극 중 적어도 하나의 전극을 활성화시킴으로써 가상 촉각을 출력할 수 있다.The output unit 124 may output a virtual tactile sense by activating at least one of the plurality of electrodes connected to the user terminal 120 based on the electrical signal sequence.

출력부(124)는 콘텐츠를 구성하는 복수의 픽셀 중 서로 다른 둘 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 복수의 전극 중 활성화하는 전극의 위치를 변경할 수 있다.The output unit 124 may change the position of the activated electrode among the plurality of electrodes based on tactile configuration information corresponding to two or more different pixels among the plurality of pixels constituting the content.

출력부(124)는 온도 제어 정보에 기초하여 사용자 단말(120)과 연결된 발열체를 제어함으로써 가상 촉각을 출력할 수 있다. 또한, 출력부(124)는 진동 정보에 기초하여 사용자 단말(120)과 연결된 진동 액츄에이터를 제어함으로써 가상 촉각을 출력할 수 있다.The output unit 124 may output a virtual tactile sense by controlling a heating element connected to the user terminal 120 based on the temperature control information. Also, the output unit 124 may output a virtual tactile sense by controlling a vibration actuator connected to the user terminal 120 based on the vibration information.

도 7은 본 발명의 일 실시예에 따른 사용자 단말(120)에서 가상 촉각 서비스를 제공하는 방법의 순서도이다. 도 7에 도시된 사용자 단말(120)에서 수행되는 가상 촉각 서비스를 제공하는 방법(700)은 도 6에 도시된 실시예에 따라 사용자 단말(120)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 6에 도시된 실시예에 따라 사용자 단말(120)에서 수행되는 동작을 검출하는 방법에도 적용된다.7 is a flowchart of a method for providing a virtual tactile service in the user terminal 120 according to an embodiment of the present invention. The method 700 of providing a virtual tactile service performed in the user terminal 120 illustrated in FIG. 7 includes steps that are time-series processed by the user terminal 120 according to the embodiment illustrated in FIG. 6 . Therefore, even if omitted below, it is also applied to the method of detecting an operation performed by the user terminal 120 according to the embodiment shown in FIG. 6 .

단계 S710에서 사용자 단말(120)은 콘텐츠를 실행할 수 있다.In step S710, the user terminal 120 may execute content.

단계 S720에서 사용자 단말(120)은 콘텐츠의 실행 화면 중 어느 영역을 선택받을 수 있다.In step S720, the user terminal 120 may receive a selection of any area of the execution screen of the content.

단계 S730에서 사용자 단말(120)은 선택받은 영역에 기초하여 촉각 생성 요청 정보를 생성할 수 있다.In operation S730, the user terminal 120 may generate tactile sense generation request information based on the selected region.

단계 S740에서 사용자 단말(120)은 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버(110)로 전송할 수 있다.In operation S740 , the user terminal 120 may transmit the tactile sense generation request information to the virtual tactile service providing server 110 .

단계 S750에서 사용자 단말(120)은 촉각 생성 요청 정보에 응답하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 가상 촉각 서비스 제공 서버(110)로부터 수신할 수 있다.In operation S750 , the user terminal 120 may receive virtual tactile information including an electrical signal sequence from the virtual tactile service providing server 110 in response to the tactile sense generation request information.

단계 S760에서 사용자 단말(120)은 수신한 가상 촉각 정보에 기초하여 사용자 단말(120)에서 실행 중인 콘텐츠와 함께 가상 촉각을 출력할 수 있다.In operation S760 , the user terminal 120 may output a virtual tactile sense together with the content being executed in the user terminal 120 based on the received virtual tactile information.

상술한 설명에서, 단계 S710 내지 S760은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the above description, steps S710 to S760 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted as needed, and the order between the steps may be switched.

도 8은 본 발명의 일 실시에에 따른 가상 촉각 제공 서비스가 적용되는 예를 도시한다. 사용자 단말(120)의 출력부(124)는, 예를 들어, 촉각 글로브(810), 촉각 마우스(820) 등을 포함할 수 있다. 8 illustrates an example to which a virtual tactile providing service according to an embodiment of the present invention is applied. The output unit 124 of the user terminal 120 may include, for example, a tactile glove 810 and a tactile mouse 820 .

구체적으로, 도 8의 (a)는 가상 촉각 서비스를 제공하는 촉각 글로브(810)를 도시한 것으로, 복수의 전극(811)이 배열되어 있다. 도 8의 (b)는 가상 촉각 서비스를 제공하는 촉각 마우스(820)를 도시한 것으로, 복수의 전극(821)이 배열되어 있다.Specifically, FIG. 8A illustrates a tactile glove 810 that provides a virtual tactile service, in which a plurality of electrodes 811 are arranged. 8B illustrates a tactile mouse 820 that provides a virtual tactile service, in which a plurality of electrodes 821 are arranged.

촉각 글로브(810) 또는 촉각 마우스(820)는 가상 촉각 서비스 제공 서버(110)에서 생성된 가상 촉각 정보에 기초하여 복수의 전극(811 또는 821) 중 적어도 하나의 전극을 활성화시킴으로써 가상 촉각을 출력할 수 있다.The tactile glove 810 or the tactile mouse 820 may output a virtual tactile sense by activating at least one of the plurality of electrodes 811 or 821 based on the virtual tactile information generated by the virtual tactile service providing server 110. can

본 발명에 따른 가상 촉각을 제공하는 방법은 교육 콘텐츠, 게임 콘텐츠, 쇼핑몰 등 다양한 분야에서 활용될 수 있다.The method for providing a virtual tactile sense according to the present invention can be utilized in various fields such as educational content, game content, shopping mall, and the like.

이하에서는, 본 발명에 따른 가상 촉각을 제공하는 방법이 적용된 서비스의 시나리오를 예시적으로 설명하기로 한다.Hereinafter, a scenario of a service to which the method for providing a virtual tactile sense according to the present invention is applied will be described as an example.

예를 들어, 사용자는 사용자 단말(120)과 연결된 디스플레이(표시 수단)를 통해 강아지의 이미지를 포함하는 콘텐츠를 보고, 사용자 단말(120)과 연결된 아이 트래킹 장치(입력 수단)를 통해 강아지의 이미지에 해당하는 픽셀을 선택할 수 있다.For example, the user sees content including an image of a dog through a display (display means) connected to the user terminal 120, and to the image of a dog through an eye tracking device (input means) connected to the user terminal 120 You can select the corresponding pixel.

사용자 단말(120)은 선택받은 픽셀에 대응하는 촉각 구성 정보에 기초하여 촉각 생성 요청 정보를 생성하고, 생성된 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버(110)로 전송할 수 있다. 가상 촉각 서비스 제공 서버(110)는 수신한 촉각 생성 요청 정보에 기초하여 가상 촉각 정보를 생성할 수 있다. 가상 촉각 서비스 제공 서버(110)는 생성된 가상 촉각 정보를 사용자 단말(120)로 전송할 수 있다.The user terminal 120 may generate tactile sense generation request information based on the tactile sense configuration information corresponding to the selected pixel, and transmit the generated tactile sense generation request information to the virtual tactile sense service providing server 110 . The virtual tactile service providing server 110 may generate virtual tactile information based on the received tactile sense generation request information. The virtual tactile service providing server 110 may transmit the generated virtual tactile information to the user terminal 120 .

사용자 단말(120)은 수신한 가상 촉각 정보에 기초하여 촉각 글로브(출력부)를 통해 강아지의 촉감을 재현하는 가상 촉각을 출력할 수 있다. 사용자는 촉각 글로브로부터 출력되는 가상 촉각을 통해 강아지의 촉감을 느낄 수 있다.The user terminal 120 may output a virtual tactile sense that reproduces the touch of a dog through a tactile glove (output unit) based on the received virtual tactile information. The user may feel the dog's touch through the virtual tactile sense output from the tactile glove.

서비스 시나리오의 다른 예를 들어, 사용자는 사용자 단말(120)과 연결된 모니터(표시 수단)를 통해 티셔츠의 이미지를 포함하는 콘텐츠를 보고, 사용자 단말(120)과 연결된 마우스(입력 수단)를 통해 티셔츠의 이미지에 해당하는 픽셀을 선택할 수 있다.As another example of the service scenario, a user views content including an image of a T-shirt through a monitor (display means) connected to the user terminal 120, and displays the content of the T-shirt through a mouse (input means) connected to the user terminal 120 You can select the pixels corresponding to the image.

사용자 단말(120)은 가상 촉각 서비스 제공 서버(110)로부터 수신한 가상 촉각 정보에 기초하여 마우스(출력부)를 통해 티셔츠의 촉감을 재현하는 가상 촉각을 출력할 수 있다. 사용자는 마우스로부터 출력되는 가상 촉각을 통해 티셔츠의 촉감을 느낄 수 있다.The user terminal 120 may output a virtual tactile sense that reproduces the touch of a T-shirt through a mouse (output unit) based on the virtual tactile information received from the virtual tactile service providing server 110 . The user may feel the touch of the T-shirt through the virtual tactile sense output from the mouse.

상술한 시나리오에서, 마우스는 일반적인 마우스의 기능을 수행할 수 있으면서, 사용자의 요청이 있는 경우 가상 촉각을 출력하는 기능을 구비하여, 사용자의 편의를 도모할 수 있다.In the above-described scenario, the mouse can perform the function of a general mouse, and has a function of outputting a virtual tactile sense when the user requests it, so that the user's convenience can be promoted.

서비스 시나리오의 또 다른 예를 들어, 사용자는 사용자 단말(120)과 연결된 VR 기기(표시 수단)를 통해 게임 콘텐츠를 보고, 사용자 단말(120)과 연결된 촉각 글로브(입력 수단)를 통해 게임 내 조작을 수행할 수 있다. 사용자는 촉각 글로브로부터 출력되는 가상 촉각을 통해 게임에서의 무기, 아이템. 장애물 등을 잡거나 조작할 때의 느낌, 사격시의 반동 등의 촉감을 느낄 수 있다. 본 발명에 따른 가상 촉각을 제공하는 방법은 FPS 게임, 롤플레잉 게임 등 다양한 게임 콘텐츠에서 활용될 수 있다.As another example of the service scenario, a user views game content through a VR device (display means) connected to the user terminal 120 and performs in-game manipulations through a tactile glove (input means) connected to the user terminal 120 can be done The user can use the virtual tactile sense output from the tactile globe to view weapons and items in the game. You can feel the tactile sensations of grabbing or manipulating obstacles, and recoil when shooting. The method for providing a virtual tactile sense according to the present invention can be utilized in various game contents, such as an FPS game and a role-playing game.

서비스 시나리오의 또 다른 예를 들어, 사용자는 사용자 단말(120)과 연결된 모니터(표시 수단)를 통해 의류 이미지를 보고, 사용자 단말(120)과 연결된 촉각 글로브(입력 수단) 및 촉각 글로브에 포함된 자이로 센서를 통해 의류 이미지를 선택할 수 있다. 사용자가 촉각 글로브를 통해 의류를 쓸어내리는 제스쳐를 취함으로써, 선택받은 픽셀의 위치가 이동할 수 있다. 사용자는 촉각 글로브로부터 출력되는 가상 촉각을 통해 원단을 쓸어내리는 경우의 촉감을 느낄 수 있다. 이를 통해, 해당 의류를 구매하려는 사용자가 오프라인 매장에서 해당 의류를 직접 만져보거나 피팅하지 않더라고 가상 촉각을 통해 해당 의류를 경험할 수 있으므로, 사용자의 취향에 맞는 구매를 위해 도움을 줄 수 있다. As another example of the service scenario, a user views a clothing image through a monitor (display means) connected to the user terminal 120 , and a tactile glove (input means) connected to the user terminal 120 and a gyro included in the tactile glove The sensor can select clothing images. The position of the selected pixel may be moved by the user swiping the garment down through the tactile glove. The user may feel the tactile sensation of sweeping down the fabric through the virtual tactile sense output from the tactile glove. Through this, a user who wants to purchase the corresponding clothing can experience the corresponding clothing through virtual tactile sense even if they do not directly touch or fit the corresponding clothing in an offline store, thereby helping to make a purchase that suits the user's taste.

도 1 내지 도 8을 통해 설명된 가상 촉각 서비스 제공 시스템에서 가상 촉각 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다.The method of providing a virtual tactile service in the system for providing a virtual tactile service described with reference to FIGS. 1 to 8 is also implemented in the form of a recording medium including a computer program stored in a medium executed by a computer or instructions executable by the computer. can be

컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

100: 가상 촉각 서비스 제공 시스템
110: 서버
111: 수신부
112: 가상 촉각 정보 생성부
113: 전송부
120: 사용자 단말
121: 생성부
122: 전송부
123: 수신부
124: 출력부100: virtual tactile service providing system
110: server
111: receiver
112: virtual tactile information generating unit
113: transmission unit
120: user terminal
121: generator
122: transmission unit
123: receiver
124: output unit

Claims (16)

가상 촉각 서비스를 제공하는 서버에 있어서,
사용자 단말에서 실행 중인 콘텐츠와 관련된 촉각 생성 요청 정보를 상기 사용자 단말로부터 수신하는 수신부;
상기 수신된 촉각 생성 요청 정보에 기초하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 생성하는 가상 촉각 정보 생성부; 및
상기 생성한 가상 촉각 정보를 사용자 단말로 전송하는 전송부
를 포함하고,
상기 가상 촉각 정보로부터 생성되는 가상 촉각은 상기 사용자 단말에서 실행 중인 상기 콘텐츠와 함께 제공되는 것인, 서버.
A server providing a virtual tactile service, comprising:
a receiving unit for receiving tactile generation request information related to content being executed in the user terminal from the user terminal;
a virtual tactile information generator configured to generate virtual tactile information including an electrical signal sequence based on the received tactile sense generation request information; and
Transmission unit for transmitting the generated virtual tactile information to the user terminal
including,
The server, wherein the virtual tactile sense generated from the virtual tactile information is provided together with the content being executed in the user terminal.
 제 1 항에 있어서,
상기 콘텐츠는 상기 콘텐츠를 구성하는 복수의 픽셀의 각각에 대응하는 촉각 구성 정보를 포함하고,
상기 촉각 생성 요청 정보는 상기 복수의 픽셀 중 하나 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 생성되는 것인, 서버.
The method of claim 1,
The content includes tactile configuration information corresponding to each of a plurality of pixels constituting the content,
The server, wherein the tactile sense generation request information is generated based on tactile configuration information corresponding to one or more pixels among the plurality of pixels.
 제 2 항에 있어서,
상기 촉각 구성 정보는 상기 복수의 픽셀의 각각에 대응하는 오브젝트 정보 또는 상기 오브젝트 정보에 대응하는 촉각을 나타내는 압감 및 거칠기에 관한 정보를 포함하는 것인, 서버.
3. The method of claim 2,
The server, wherein the tactile configuration information includes object information corresponding to each of the plurality of pixels or information about a pressure sensation and roughness indicating a tactile sense corresponding to the object information.
 제 1 항에 있어서,
상기 전기 신호 시퀀스는 주기 시퀀스 정보 또는 비주기 시퀀스 정보를 포함하고,
상기 가상 촉각 정보 생성부는 상기 촉각 생성 요청 정보에 기초하여 주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 펄스 발화 시점 및 펄스 반복 횟수에 관한 정보를 포함하는 상기 주기 시퀀스 정보를 생성하거나,
상기 촉각 생성 요청 정보에 기초하여 비주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 에폭(epoch) 폭, 에폭 주기 및 에폭 주기의 반복 횟수에 관한 정보를 포함하는 상기 비주기 시퀀스 정보를 생성하는 것인, 서버.
The method of claim 1,
The electrical signal sequence includes periodic sequence information or aperiodic sequence information,
The virtual tactile information generating unit generates the periodic sequence information including information on a pulse width, a pulse size, a pulse period, a pulse firing time, and a number of pulse repetitions of a periodic electrical signal based on the tactile sensation generation request information;
Generating the aperiodic sequence information including information on the pulse width, pulse size, pulse period, epoch width, epoch period, and repetition number of the epoch period of the aperiodic electrical signal based on the tactile sense generation request information that is, the server.
 제 1 항에 있어서,
상기 전기 신호 시퀀스는 상기 사용자 단말과 연결된 복수의 전극 중 적어도 하나의 전극을 활성화시킴으로써 상기 가상 촉각을 출력하는 것인, 서버.
The method of claim 1,
wherein the electrical signal sequence outputs the virtual tactile sense by activating at least one of the plurality of electrodes connected to the user terminal.
 제 5 항에 있어서,
상기 사용자 단말과 연결된 복수의 전극 중 활성화되는 전극의 위치는 상기 콘텐츠를 구성하는 복수의 픽셀 중 서로 다른 둘 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 변경되는 것인, 서버.
6. The method of claim 5,
The position of the activated electrode among the plurality of electrodes connected to the user terminal is changed based on tactile configuration information corresponding to two or more different pixels among the plurality of pixels constituting the content.
 제 1 항에 있어서,
상기 가상 촉각 정보 생성부는 상기 촉각 생성 요청 정보에 기초하여 상기 사용자 단말의 온도 제어 정보 및 진동 정보를 상기 가상 촉각 정보로서 더 생성하는 것인, 서버.
The method of claim 1,
The server, wherein the virtual tactile information generating unit further generates the temperature control information and vibration information of the user terminal as the virtual tactile information based on the tactile sensation generation request information.
 가상 촉각 서비스를 제공하는 사용자 단말에 있어서,
상기 사용자 단말에서 실행 중인 콘텐츠와 관련하여 촉각 생성 요청 정보를 생성하는 생성부;
상기 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버로 전송하는 전송부;
상기 촉각 생성 요청 정보에 응답하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 상기 가상 촉각 서비스 제공 서버로부터 수신하는 수신부; 및
상기 수신한 가상 촉각 정보에 기초하여 상기 사용자 단말에서 실행 중인 상기 콘텐츠와 함께 가상 촉각을 출력하는 출력부
를 포함하는 것인, 사용자 단말.
A user terminal providing a virtual tactile service, comprising:
a generation unit for generating tactile generation request information in relation to the content being executed in the user terminal;
a transmission unit which transmits the tactile sense generation request information to a virtual tactile service providing server;
a receiving unit configured to receive virtual tactile information including an electrical signal sequence from the virtual tactile service providing server in response to the tactile sense generation request information; and
An output unit for outputting a virtual tactile sense together with the content being executed in the user terminal based on the received virtual tactile information
That comprising a, the user terminal.
 제 8 항에 있어서,
상기 콘텐츠는 상기 콘텐츠를 구성하는 복수의 픽셀의 각각에 대응하는 촉각 구성 정보를 포함하고,
상기 생성부는 상기 콘텐츠를 구성하는 복수의 픽셀 중 하나 이상의 픽셀을 선택받는 경우, 상기 선택받은 하나 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 상기 촉각 생성 요청 정보를 생성하는 것인, 사용자 단말.
9. The method of claim 8,
The content includes tactile configuration information corresponding to each of a plurality of pixels constituting the content,
The generating unit generates the tactile sense generation request information based on tactile configuration information corresponding to the selected one or more pixels when one or more pixels from among the plurality of pixels constituting the content are selected.
 제 9 항에 있어서,
상기 촉각 구성 정보는 상기 복수의 픽셀의 각각에 대응하는 오브젝트 정보 또는 상기 오브젝트 정보에 대응하는 촉각을 나타내는 압감 및 거칠기에 관한 정보를 포함하는 것인, 사용자 단말.
10. The method of claim 9,
The tactile configuration information includes object information corresponding to each of the plurality of pixels or information on a pressure sensation and roughness indicating a tactile sense corresponding to the object information.
 제 8 항에 있어서,
상기 전기 신호 시퀀스는 주기 시퀀스 정보 또는 비주기 시퀀스 정보를 포함하고,
상기 주기 시퀀스 정보는 상기 촉각 생성 요청 정보에 기초하여 생성된 주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 펄스 발화 시점 및 펄스 반복 횟수에 관한 정보를 포함하고,
상기 비주기 시퀀스 정보는 상기 촉각 생성 요청 정보에 기초하여 생성된 비주기 전기 신호의 펄스 폭, 펄스 크기, 펄스 주기, 에폭(epoch) 폭, 에폭 주기 및 에폭 주기의 반복 횟수에 관한 정보를 포함하는 것인, 사용자 단말.
9. The method of claim 8,
The electrical signal sequence includes periodic sequence information or aperiodic sequence information,
The periodic sequence information includes information on a pulse width, a pulse size, a pulse period, a pulse firing time, and a number of pulse repetitions of a periodic electrical signal generated based on the tactile sensation generation request information,
The aperiodic sequence information includes information on a pulse width, a pulse size, a pulse period, an epoch width, an epoch period, and the number of repetitions of the aperiodic electrical signal generated based on the tactile sensation generation request information That is, the user terminal.
 제 8 항에 있어서,
상기 출력부는 상기 전기 신호 시퀀스에 기초하여 상기 사용자 단말과 연결된 복수의 전극 중 적어도 하나의 전극을 활성화시킴으로써 상기 가상 촉각을 출력하는 것인, 사용자 단말.
9. The method of claim 8,
The output unit outputs the virtual tactile sense by activating at least one of the plurality of electrodes connected to the user terminal based on the electrical signal sequence.
 제 12 항에 있어서,
상기 출력부는 상기 콘텐츠를 구성하는 복수의 픽셀 중 서로 다른 둘 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 상기 복수의 전극 중 활성화하는 전극의 위치를 변경하는 것인, 사용자 단말.
13. The method of claim 12,
Wherein the output unit changes the position of the electrode to be activated among the plurality of electrodes based on tactile configuration information corresponding to two or more different pixels among the plurality of pixels constituting the content.
 제 8 항에 있어서,
상기 수신부는 상기 촉각 생성 요청 정보에 기초하여 생성된 상기 사용자 단말의 온도 제어 정보 및 진동 정보를 더 수신하는 것인, 사용자 단말.
9. The method of claim 8,
The receiving unit further receives temperature control information and vibration information of the user terminal generated based on the tactile sense generation request information.
 사용자 단말에서 가상 촉각 서비스를 제공하는 방법에 있어서,
상기 사용자 단말에서 콘텐츠를 실행하는 단계;
상기 콘텐츠의 실행 화면 중 어느 영역을 선택받는 단계;
상기 선택받은 영역에 기초하여 촉각 생성 요청 정보를 생성하는 단계;
상기 촉각 생성 요청 정보를 가상 촉각 서비스 제공 서버로 전송하는 단계;
상기 촉각 생성 요청 정보에 응답하여 전기 신호 시퀀스를 포함하는 가상 촉각 정보를 상기 가상 촉각 서비스 제공 서버로부터 수신하는 단계; 및
상기 수신한 가상 촉각 정보에 기초하여 상기 사용자 단말에서 실행 중인 상기 콘텐츠와 함께 가상 촉각을 출력하는 단계
를 포함하는 것인, 방법.
A method for providing a virtual tactile service in a user terminal, the method comprising:
executing content in the user terminal;
receiving a selection of an area of the execution screen of the content;
generating tactile sense generation request information based on the selected region;
transmitting the tactile sense generation request information to a virtual tactile service providing server;
receiving virtual tactile information including an electrical signal sequence from the virtual tactile service providing server in response to the tactile sense generation request information; and
outputting a virtual tactile sense together with the content being executed in the user terminal based on the received virtual tactile information
A method comprising:
 제 15 항에 있어서,
상기 콘텐츠의 실행 화면 중 어느 영역을 선택받는 단계는,
상기 콘텐츠의 실행 화면 내에서 상기 콘텐츠를 구성하는 복수의 픽셀 중 하나 이상의 픽셀을 연속적으로 또는 불연속적으로 선택받는 것이고,
상기 촉각 생성 요청 정보를 생성하는 단계는,
상기 촉각 생성 요청 정보를 생성하는 단계는 상기 선택받은 하나 이상의 픽셀에 대응하는 촉각 구성 정보에 기초하여 상기 촉각 생성 요청 정보를 생성하는 것인, 방법.16. The method of claim 15,
The step of receiving a selection of an area of the execution screen of the content comprises:
One or more pixels among a plurality of pixels constituting the content in the execution screen of the content are continuously or discontinuously selected,
The step of generating the tactile sense generation request information includes:
The generating of the tactile sense generation request information comprises generating the tactile sense generation request information based on tactile sense configuration information corresponding to the selected one or more pixels.
KR1020200138318A 2020-10-23 2020-10-23 Server, user device and method for providing virtual tactility service KR102468585B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200138318A KR102468585B1 (en) 2020-10-23 2020-10-23 Server, user device and method for providing virtual tactility service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200138318A KR102468585B1 (en) 2020-10-23 2020-10-23 Server, user device and method for providing virtual tactility service

Publications (2)

Publication Number Publication Date
KR20220053945A true KR20220053945A (en) 2022-05-02
KR102468585B1 KR102468585B1 (en) 2022-11-22

Family

ID=81593525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200138318A KR102468585B1 (en) 2020-10-23 2020-10-23 Server, user device and method for providing virtual tactility service

Country Status (1)

Country Link
KR (1) KR102468585B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052216A (en) * 2006-12-05 2008-06-11 한국전자통신연구원 Tactile and visual display device
KR20080072332A (en) * 2007-02-02 2008-08-06 한국전자통신연구원 System and method for haptic experience service
KR20110066894A (en) * 2009-12-11 2011-06-17 광주과학기술원 Method for representing haptic information and system for transmitting haptic information through defining the haptic property of virtual environment
KR20140064682A (en) * 2012-11-20 2014-05-28 임머숀 코퍼레이션 Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
KR20150029557A (en) * 2013-09-09 2015-03-18 임머숀 코퍼레이션 Electrical stimulation haptic feedback interface
KR20160135552A (en) * 2015-05-18 2016-11-28 삼성전자주식회사 Virtual reality device, Feedback device, System and Method for providing realistic service
KR20180002182A (en) 2016-06-29 2018-01-08 엘지전자 주식회사 Head mounted display and method for controlling the same
KR20190122559A (en) * 2018-04-20 2019-10-30 임머숀 코퍼레이션 Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052216A (en) * 2006-12-05 2008-06-11 한국전자통신연구원 Tactile and visual display device
KR20080072332A (en) * 2007-02-02 2008-08-06 한국전자통신연구원 System and method for haptic experience service
KR20110066894A (en) * 2009-12-11 2011-06-17 광주과학기술원 Method for representing haptic information and system for transmitting haptic information through defining the haptic property of virtual environment
KR20140064682A (en) * 2012-11-20 2014-05-28 임머숀 코퍼레이션 Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
KR20150029557A (en) * 2013-09-09 2015-03-18 임머숀 코퍼레이션 Electrical stimulation haptic feedback interface
KR20160135552A (en) * 2015-05-18 2016-11-28 삼성전자주식회사 Virtual reality device, Feedback device, System and Method for providing realistic service
KR20180002182A (en) 2016-06-29 2018-01-08 엘지전자 주식회사 Head mounted display and method for controlling the same
KR20190122559A (en) * 2018-04-20 2019-10-30 임머숀 코퍼레이션 Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments

Also Published As

Publication number Publication date
KR102468585B1 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
JP7089846B2 (en) Systems and methods for tactile neural interfaces
Pan et al. Why and how to use virtual reality to study human social interaction: The challenges of exploring a new research landscape
US20220404916A1 (en) Minimized Bandwidth Requirements for Transmitting Mobile HMD Gaze Data
Kim et al. Multisensory integration and the experience of scene instability, presence and cybersickness in virtual environments
Lotte et al. Combining BCI with virtual reality: towards new applications and improved BCI
Sra et al. Adding proprioceptive feedback to virtual reality experiences using galvanic vestibular stimulation
Noë et al. Perception, attention, and the grand illusion
Kim A SWOT analysis of the field of virtual reality rehabilitation and therapy
Adhanom et al. Eye tracking in virtual reality: a broad review of applications and challenges
Jeunet et al. Continuous tactile feedback for motor-imagery based brain-computer interaction in a multitasking context
Van der Wel et al. Action perception from a common coding perspective
JP2020042807A (en) Foveated rendering system and method
KR102516096B1 (en) Information processing system and information processing method
Steptoe et al. Acting rehearsal in collaborative multimodal mixed reality environments
US20220404620A1 (en) Methods and devices related to extended reality
JP6822413B2 (en) Server equipment, information processing methods, and computer programs
Moskvitch Tactile Internet: 5G and the Cloud on steroids
Borghesi et al. From virtual reality to 360 videos: Upgrade or downgrade? The multidimensional healthcare VR technology
WO2019087502A1 (en) Information processing device, information processing method, and program
KR102468585B1 (en) Server, user device and method for providing virtual tactility service
Onuki et al. Reorient the gazed scene towards the center: Novel virtual turning using head and gaze motions and blink
KR20120133347A (en) Rehabilitation training system
Maeda et al. Immersive tele-collaboration with Parasitic Humanoid: how to assist behavior directly in mutual telepresence
Baweja Haptic Glove Display: Enabling Sensory Substitution
Mercier Contribution to the study of the use of brain-computer interfaces in virtual and augmented reality

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant