KR20190057937A - Multiple focuses generating apparatus and method using multi-ultrasonic transducer array in non-contact ultrasonic tactile display system - Google Patents

Multiple focuses generating apparatus and method using multi-ultrasonic transducer array in non-contact ultrasonic tactile display system Download PDF

Info

Publication number
KR20190057937A
KR20190057937A KR1020170155436A KR20170155436A KR20190057937A KR 20190057937 A KR20190057937 A KR 20190057937A KR 1020170155436 A KR1020170155436 A KR 1020170155436A KR 20170155436 A KR20170155436 A KR 20170155436A KR 20190057937 A KR20190057937 A KR 20190057937A
Authority
KR
South Korea
Prior art keywords
tactile
ultrasonic
ultrasonic transducer
focus
foci
Prior art date
Application number
KR1020170155436A
Other languages
Korean (ko)
Other versions
KR102409934B1 (en
Inventor
황인욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170155436A priority Critical patent/KR102409934B1/en
Publication of KR20190057937A publication Critical patent/KR20190057937A/en
Application granted granted Critical
Publication of KR102409934B1 publication Critical patent/KR102409934B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

The present invention relates to a method for generating a multi-focus using a multi-ultrasonic transducer array in a non-contact ultrasonic haptic display system, which comprises the steps of: determining an attribute of a haptic effect to be generated; determining a plurality of haptic focuses to be generated at predetermined time intervals on the basis of the determined attribute of the haptic effect; determining a cost function for each of the haptic focuses separately determined for a plurality of ultrasonic transducer arrays; matching the haptic focuses not to overlap each other with respect to each of the ultrasonic transducer arrays using the determined cost function in accordance with a focus assignment order of a predetermined ultrasonic transducer array; and generating, with respect to each of the haptic focuses, ultrasonic waves for generating a haptic sense by using the ultrasonic transducer arrays corresponding to each of the haptic focuses. Each of the ultrasonic transducer arrays includes an array of a plurality of ultrasonic speakers.

Description

비접촉식 초음파 촉감 디스플레이 시스템에 있어서 다중 초음파 변환기 배열을 이용한 다중 초점 생성 장치 및 방법{MULTIPLE FOCUSES GENERATING APPARATUS AND METHOD USING MULTI-ULTRASONIC TRANSDUCER ARRAY IN NON-CONTACT ULTRASONIC TACTILE DISPLAY SYSTEM}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an apparatus and a method for generating a multi-focus using a multi-ultrasound transducer array in a non-contact ultrasonic tactile display system,

본 개시는 비접촉식 초음파 촉감 디스플레이 시스템에 있어서 다중 초음파 변환기 배열을 이용한 다중 초점 생성 방법에 관한 것으로, 보다 구체적으로는 촉감 효과를 생성시킬 복수의 촉감 초점들 각각의 비용 함수를 이용하여 복수의 촉감 초점들 각각을 대응시킨 복수의 초음파 변환기 배열들로부터 촉감 생성을 위한 복수의 초점들을 생성하는 초점 생성 방법에 관한 것이다.The present disclosure relates to a method of generating a multi-focus using a multi-ultrasound transducer array in a non-contact ultrasonic tactile display system, and more particularly, to a method and apparatus for generating a plurality of tactile foci using a cost function of each of a plurality of tactile foci to generate a tactile effect To a focus generation method for generating a plurality of focuses for tactile generation from a plurality of ultrasound transducer arrays, each of which is associated with each other.

종래의 촉감 디스플레이는 물리적 전달 매개체를 필요로 하는 촉감의 특성에 따라, 사용자가 거치된 장치에 신체를 접촉하거나 사용자가 장갑, 손목 밴드, 외골격 등의 장치를 직접 착용하는 형태로 구현되었다. 이러한 접촉식 촉감 디스플레이는 사람에게 독립적으로 촉감을 전달하는 작용점마다 기계적 연결을 위한 구조물과 구동기를 필요로 하기 때문에 작용점의 개수가 늘어날수록 장치 구조가 복잡해지고 비용이 상승하며, 또한 착용이 불편하기 때문에 사용자의 자연스러운 동작과 시야가 제한되는 문제가 있다.Conventional tactile displays have been implemented in such a manner that the user touches the body of the user or a user directly wears a device such as a glove, a wrist band, or an exoskeleton, depending on the characteristics of the tactile sensation requiring a physical transmission medium. Such a touch-sensitive tactile display requires structures and actuators for mechanical connection for each point of action independently transmitting tactile sensation to a person, so that the more the number of the action points increases, the more complicated the device structure becomes, the higher the cost, There is a problem that the user's natural motion and view are limited.

이러한 문제를 극복하기 위해 최근 구동기와 작용점과의 직접적 연결이 없는 비접촉식 촉감 디스플레이가 제시되었으며, 그 중 초음파를 이용한 비접촉식 촉감 디스플레이는 복수의 초음파 변환기 배열에서 생성되는 위상이 제어된 초음파의 공기압 초점이 피부를 자극하여 촉감을 생성하는 디스플레이 기술이다. 도 1은 일 실시예에 따른 비접촉식 초음파 촉감 디스플레이 시스템에서 촉감 생성을 위한 초점을 생성하는 과정을 나타내는 도면으로서, 도 1을 참조하면, 복수의 초음파 스피커 배열로 구성된 다수의 초음파 변환기 배열은 초음파 신호의 위상과 진폭을 각각 제어하여 신호의 중첩으로 공기중의 원하는 위치에 한 개 이상의 공기압 초점을 만들어낼 수 있다. 이러한 공기압 초점은 사람이 피부의 촉감 수용체 (mechanoreceptor)를 통해 느낄 수 있다. 한편, 초음파의 진폭 변조(amplitude modulation, AM)는 일반적으로 초점에서 사람이 느끼는 촉감의 세기를 향상시키고 진동 효과를 전달하기 위해 사용된다. 진폭 변조 시 사용되는 변조 주파수는 캐리어 신호인 초음파 대역(20kHz 이상)보다 크게 낮고 사람의 촉감으로 인지 가능한 범위인 1kHz 이하에서 결정될 수 있다.In order to overcome this problem, recently, a non-contact type tactile display having no direct connection between a driver and a point of operation has been proposed. Among them, a non-contact tactile display using an ultrasonic wave has been proposed in which a phase- To generate tactile sensation. 1 is a view illustrating a process of generating a focus for tactile feedback in a non-contact type ultrasonic tactile display system according to an exemplary embodiment. Referring to FIG. 1, a plurality of ultrasonic transducer arrays, each including a plurality of ultrasonic speaker arrays, By controlling the phase and amplitude respectively, it is possible to create one or more air pressure focal points at desired positions in the air by overlapping signals. This air pressure focus can be felt by a person through the skin's mechanoreceptor. On the other hand, the amplitude modulation (AM) of an ultrasonic wave is generally used to improve the strength of the touch felt by a person in focus and to transmit the vibration effect. The modulation frequency used in the amplitude modulation can be determined to be lower than 1 kHz, which is considerably lower than the ultrasonic band (20 kHz or more) which is the carrier signal and is recognizable by human touch.

초음파 촉감 디스플레이의 경우, 사용자는 기계적 장치를 착용하지 않으므로 움직임에 방해를 받지 않는 장점이 있으나 공기를 매질로 이용하여 촉감을 전달하는 방식의 특성상 에너지의 확산, 감쇠, 간섭 등의 영향을 크게 받아 강한 자극을 생성하기 어렵고, 특히 동시에 여러 개의 초점 생성시 전체 변환기 배열에서 생성 가능한 초음파 출력은 시간적으로 또는 공간적으로 분할되어 각 초점의 생성에 사용되기 때문에 사용자가 느낄 수 있는 촉감의 세기가 변환기 배열을 통해 생성되는 촉감 작용점, 즉 초음파 초점의 개수에 반비례하는 문제가 있다. 또한 초음파 신호의 조사각, 공기 중 감쇠, 촉감 초점과 초음파 변환기의 위치관계, 변조주파수 등의 요인에 따라 생성 가능한 자극의 강도가 달라지는 문제가 있다.In the case of ultrasonic tactile display, the user does not need to wear a mechanical device, so it is advantageous not to be disturbed by movement. However, due to the characteristic of transmitting the tactile sensation by using air as medium, it is strongly influenced by energy diffusion, Since the ultrasonic output, which can be generated in the entire transducer array, is divided temporally or spatially and used for generating each focus when generating multiple focuses at the same time, the intensity of the tactile sensation that the user can feel is determined by the transducer array There is a problem in inverse proportion to the number of tactile action points, i.e., the number of ultrasonic foci generated. In addition, there is a problem that intensity of a stimulus that can be generated varies depending on such factors as an irradiation angle of an ultrasonic signal, attenuation in air, a positional relationship between a tactile focus and an ultrasonic transducer, and a modulation frequency.

본 개시의 기술적 과제는 비접촉식 초음파 촉감 디스플레이 시스템에서 독립적으로 구동 가능한 복수의 초음파 변환기 배열들을 초점 별로 효율적으로 대응시킴으로써 보다 사용자에게 인지 가능한 촉감 생성을 위한 복수의 초점들을 생성하는 초점 생성 장치 및 방법을 제공하는 것이다.Disclosure of Invention Technical Problem [8] The present invention provides a focus generating apparatus and method for generating a plurality of focuses for generating a perceptible tactile sensation by effectively matching a plurality of independently driven ultrasonic transducer arrays in a non-contact ultrasonic tactile display system .

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical objects to be achieved by the present disclosure are not limited to the above-mentioned technical subjects, and other technical subjects which are not mentioned are to be clearly understood from the following description to those skilled in the art It will be possible.

본 개시의 일 양상에 따르면, 비접촉식 초음파 촉감 디스플레이 시스템에 있어서 다중 초음파 변환기 배열을 이용한 다중 초점 생성 방법에 있어서, 생성하고자 하는 촉감 효과의 속성을 결정하는 단계; 상기 결정된 촉감 효과의 속성을 기초로 미리 정해진 시간 간격마다 생성시킬 복수의 촉감 초점들을 결정하는 단계; 복수의 초음파 변환기 배열들 각각에 대해 상기 결정된 복수의 촉감 초점들 각각의 비용 함수를 결정하는 단계; 미리 결정된 초음파 변환기 배열의 초점 할당 순서에 따라, 상기 결정된 비용 함수를 이용하여 상기 복수의 초음파 변환기 배열들 각각에 대해 상기 복수의 촉감 초점들 각각이 서로 중복되지 않도록 상기 복수의 촉감 초점들을 대응시키는 단계; 및 상기 복수의 촉감 초점들 각각에 대해 상기 복수의 촉감 초점들 각각에 대응되는 초음파 변환기 배열을 이용하여 촉감 생성을 위한 초음파를 생성하는 단계를 포함하고, 상기 복수의 초음파 변환기 배열들 각각은 복수의 초음파 스피커들의 배열로 구성되는 것을 특징으로 하는, 다중 초점 생성 방법이 제공될 수 있다.According to one aspect of the present disclosure, there is provided a method of generating a multi-focus using a multi-ultrasonic transducer array in a non-contact ultrasonic tactile display system, the method comprising: determining an attribute of a tactile effect to be generated; Determining a plurality of tactile foci to be generated at predetermined time intervals based on the attribute of the determined tactile effect; Determining a cost function of each of the determined plurality of tactile foci for each of a plurality of ultrasonic transducer arrangements; Mapping the plurality of tactile foci to each of the plurality of ultrasonic transducer arrays using the determined cost function in accordance with a focus allocation order of a predetermined ultrasonic transducer array so that the plurality of tactile foci do not overlap each other ; And generating an ultrasonic wave for tactile generation using an ultrasonic transducer array corresponding to each of the plurality of tactile foci for each of the plurality of tactile foci, wherein each of the plurality of ultrasonic transducer arrays includes a plurality of A method of generating a multi-focus, which is characterized in that it is constituted by an array of ultrasonic speakers.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above for this disclosure are only exemplary aspects of the detailed description of the disclosure which follow, and are not intended to limit the scope of the disclosure.

본 개시에 따르면, 비접촉식 초음파 촉감 디스플레이 시스템에서 독립적으로 구동 가능한 복수의 초음파 변환기 배열들을 초점 별로 효율적으로 대응시킴으로써 보다 사용자에게 인지 가능한 촉감 생성을 위한 복수의 초점들을 생성하는 초점 생성 장치 및 방법이 제공될 수 있다.According to the present disclosure, there is provided a focus generating apparatus and method for generating a plurality of focuses for generating a user-perceptible tactile sensation by effectively matching a plurality of independently operable ultrasonic transducer arrays in a non-contact ultrasonic tactile display system by focus .

또한, 본 개시에 따르면, 여러 개의 촉감 작용점을 생성하는 경우에도 기존의 비접촉식 초음파 촉감 디스플레이에 비해 더 강한 촉감 자극이 생성될 수 있기 때문에, 생성된 여러 개의 촉감 작용점을 통해 여러 손가락을 동시에 이용하는 촉감 상호작용이 가능하며, 또한 손바닥 전체에 가상의 표면 또는 부피감 등이 전달될 수 있다.Further, according to the present disclosure, even when a plurality of tactile action points are generated, a stronger tactile stimulus can be generated as compared with a conventional non-contact ultrasonic tactile display. Therefore, And a virtual surface or a bulkiness can be transmitted to the entire palm.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable from the present disclosure are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below will be.

도 1은 일 실시예에 따른 비접촉식 초음파 촉감 디스플레이 시스템에서 촉감 생성을 위한 초점을 생성하는 과정을 나타내는 도면이다.
도 2 및 3은 일 실시예에 따른 다중 초음파 변환기 배열을 이용한 다중 초점 생성 장치의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 다중 초음파 변환기 배열을 이용한 다중 초점 생성 장치의 동작방법을 나타내는 흐름도이다.1 is a view illustrating a process of generating a focus for tactile feedback in a non-contact type ultrasonic tactile display system according to an exemplary embodiment of the present invention.
FIGS. 2 and 3 are block diagrams showing a configuration of a multi-focus generating apparatus using a multi-ultrasonic transducer array according to an embodiment.
4 is a flowchart illustrating an operation method of a multi-focus generating apparatus using a multi-ultrasound transducer array according to an exemplary embodiment.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, which will be easily understood by those skilled in the art. However, the present disclosure may be embodied in many different forms and is not limited to the embodiments described herein.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear. Parts not related to the description of the present disclosure in the drawings are omitted, and like parts are denoted by similar reference numerals.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present disclosure, when an element is referred to as being "connected", "coupled", or "connected" to another element, it is understood that not only a direct connection relationship but also an indirect connection relationship May also be included. Also, when an element is referred to as " comprising " or " having " another element, it is meant to include not only excluding another element but also another element .

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다. In the present disclosure, the terms first, second, etc. are used only for the purpose of distinguishing one element from another, and do not limit the order or importance of elements, etc. unless specifically stated otherwise. Thus, within the scope of this disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly a second component in one embodiment may be referred to as a first component .

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components that are distinguished from each other are intended to clearly illustrate each feature and do not necessarily mean that components are separate. That is, a plurality of components may be integrated into one hardware or software unit, or a single component may be distributed into a plurality of hardware or software units. Thus, unless otherwise noted, such integrated or distributed embodiments are also included within the scope of this disclosure.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components described in the various embodiments are not necessarily essential components, and some may be optional components. Thus, embodiments consisting of a subset of the components described in one embodiment are also included within the scope of the present disclosure. Also, embodiments that include other elements in addition to the elements described in the various embodiments are also included in the scope of the present disclosure.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings.

도 2 및 3은 일 실시예에 따른 다중 초음파 변환기(transducer) 배열을 이용한 다중 초점 생성 장치의 구성을 나타내는 블록도이다.2 and 3 are block diagrams showing a configuration of a multi-focus generating apparatus using a multi-ultrasonic transducer array according to an embodiment.

도 2를 참조하면, 일 실시예에 다중 초음파 변환기 배열을 이용한 다중 초점 생성 장치(200)는 초음파 변환기 배열(210), 제어부(220) 및 저장부(230)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 다중 초점 생성 장치(200)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.Referring to FIG. 2, an apparatus 200 for generating a multi-focus image using an ultrasound transducer array may include an ultrasound transducer array 210, a controller 220, and a storage unit 230. However, only the components necessary for explaining the present embodiment are shown, and the components included in the multi-focus generating apparatus 200 are not limited to the above-described examples.

예를 들어, 도 3을 참조하면, 다중 초점 생성 장치(300)는 촉감 효과 생성부(310), 초점 생성 제어부(320), 초음파 스피커 드라이버(330) 및 초음파 스피커(340)를 더 포함할 수 있다. 도 3의 다중 초점 생성 장치(300)는 도 2의 다중 초점 생성 장치(200)에 대응될 수 있다.3, the multi-focus generating apparatus 300 may further include a tactile effect generating unit 310, a focus generating control unit 320, an ultrasonic speaker driver 330, and an ultrasonic speaker 340, for example. have. The multipoint generating apparatus 300 of FIG. 3 may correspond to the multipoint generating apparatus 200 of FIG.

다중 초점 생성 장치(200)는 촉감 효과를 생성시킬 복수의 촉감 초점들 각각의 비용 함수를 이용하여 복수의 촉감 초점들 각각을 대응시킨 복수의 초음파 변환기 배열들로부터 촉감 생성을 위한 복수의 초점들을 생성할 수 있다.The multi-focus generating apparatus 200 generates a plurality of focuses for tactile generation from a plurality of ultrasound transducer arrays that correspond to each of a plurality of tactile foci using a cost function of each of a plurality of tactile foci to generate a tactile effect can do.

일 실시예에 따를 때, 비접촉식 초음파 촉감 디스플레이 시스템에 있어서 다중 초음파 변환기 배열을 이용한 다중 초점 생성 장치(200)는 생성하고자 하는 촉감 효과의 속성을 결정하고, 결정된 촉감 효과의 속성을 기초로 미리 정해진 시간 간격마다 생성시킬 복수의 촉감 초점들을 결정하고, 복수의 초음파 변환기 배열들 각각에 대해 결정된 복수의 촉감 초점들 각각의 비용 함수를 결정하고, 복수의 초음파 변환기 배열들의 초점 할당 순서에 따라, 결정된 비용 함수를 이용하여 복수의 초음파 변환기 배열들 각각에 대해 복수의 촉감 초점들 각각이 서로 중복되지 않도록 복수의 촉감 초점들을 대응시키고, 복수의 초음파 변환기 배열 각각에 대응되는 복수의 촉감 초점들 각각에 대해 촉감 생성을 위한 초음파를 생성할 수 있다.According to one embodiment, in the non-contact ultrasonic tactile display system, the multi-focus generating apparatus 200 using the multi-ultrasonic transducer array determines the attribute of the tactile effect to be generated and, based on the attribute of the determined tactile effect, Determining a plurality of tactile foci to be generated for each interval, determining a cost function of each of the plurality of tactile foci determined for each of the plurality of ultrasonic transducer arrays, and determining, based on the focus allocation order of the plurality of ultrasonic transducer arrays, A plurality of tactile foci are associated with each of the plurality of ultrasonic transducer arrays so that a plurality of tactile foci are not overlapped with each other, and a plurality of tactile foci are generated for each of the plurality of tactile foci corresponding to each of the plurality of ultrasonic transducer arrays To generate ultrasound waves.

도 2를 참조하면, 초음파 변환기 배열(210)은 복수의 초음파 스피커들의 배열로 구성될 수 있다. 한편, 초음파 스피커는 2차원 평면 또는 곡면에 배열될 수 있으며 각각의 초음파 변환기 배열에 입력되는 전압 파형에 따라 공중을 향해 초점을 생성하기 위한 초음파를 출력할 수 있다. 일 실시예에 따를 때, 초음파 변환기 배열(210)은 복수의 변환기 배열들로 구성될 수 있다. 도 2의 초음파 변환기 배열(210)은 도 3의 초음파 스피커 드라이버(330) 및 초음파 스피커(340)를 포함할 수 있으나, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 초음파 변환기 배열(210)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.Referring to FIG. 2, the ultrasonic transducer array 210 may include an array of a plurality of ultrasonic speakers. On the other hand, the ultrasonic loudspeaker can be arranged in a two-dimensional plane or a curved surface, and can output an ultrasonic wave for generating a focus toward the air according to a voltage waveform inputted to each ultrasonic transducer array. According to one embodiment, the ultrasonic transducer array 210 may be comprised of a plurality of transducer arrays. The ultrasonic transducer array 210 of FIG. 2 may include the ultrasonic speaker driver 330 and the ultrasonic speaker 340 of FIG. 3, but only some of the components necessary for explaining the present embodiment are shown. The components included in the transducer array 210 are not limited to the above-described examples.

제어부(220)는 다중 초음파 변환기 배열을 이용한 다중 초점 생성 장치(200)의 전반적인 동작 및 다중 초점 생성 장치(200)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(220)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 저장부(230)에 저장된 다양한 애플리케이션을 실행할 수 있다. 도 2의 제어부(220)는 도 3의 촉감 효과 생성부(310) 및 초점 생성 제어부(320)를 포함할 수 있으나, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 제어부(220)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.The controller 220 controls the overall operation of the multi-focus generator 200 using the multi-ultrasound transducer array and the signal flow between the internal components of the multi-focus generator 200, and processes the data . The control unit 220 can execute various applications stored in the storage unit 230 when the user has an input or predefined conditions. The control unit 220 of FIG. 2 may include the tactile effect generating unit 310 and the focus generating control unit 320 of FIG. 3. However, only the components necessary for explaining the present exemplary embodiment are shown, The constituent elements included in the memory unit 220 are not limited to the above-described examples.

일 실시예에 따른 제어부(220)는 생성하고자 하는 촉감 효과의 속성을 결정하고, 결정된 촉감 효과의 속성을 기초로 미리 정해진 시간 간격마다 생성시킬 복수의 촉감 초점들을 결정하고, 복수의 초음파 변환기 배열들 각각에 대해 결정된 복수의 촉감 초점들 각각의 비용 함수를 결정하고, 복수의 초음파 변환기 배열들의 초점 할당 순서에 따라, 결정된 비용 함수를 이용하여 복수의 초음파 변환기 배열들 각각에 대해 복수의 촉감 초점들 각각이 서로 중복되지 않도록 복수의 촉감 초점들을 대응시키고, 복수의 초음파 변환기 배열 각각에 대응되는 복수의 촉감 초점들 각각에 대해 촉감 생성을 위한 초음파를 생성할 수 있다.The controller 220 determines the tactile effect to be generated, determines a plurality of tactile foci to be generated at predetermined time intervals based on the determined tactile attribute, Determining a cost function for each of the plurality of tactile focuses determined for each of the plurality of tactile focuses and for each of the plurality of ultrasound transducer arrangements using the determined cost function according to the focus allocation order of the plurality of ultrasound transducer arrangements It is possible to correspond a plurality of tactile foci so as not to overlap with each other and generate an ultrasonic wave for tactile generation for each of the plurality of tactile foci corresponding to each of the plurality of ultrasonic transducer arrays.

저장부(230)는 제어부(220)의 제어에 의해 다중 초점 생성 장치(200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 애플리케이션을 저장할 수 있다The storage unit 230 may store various data, programs, or applications for driving and controlling the multi-focus generating apparatus 200 under the control of the control unit 220

일 실시예에 따른 저장부(230)는 복수의 초음파 변환기 배열들의 초점 할당 순서를 저장하는 것을 비롯하여, 촉감 효과 생성부(310), 초점 생성 제어부(320), 초음파 스피커 드라이버(330) 및 초음파 스피커(340)의 구동에 대응되는 입/출력되는 신호 또는 데이터를 저장할 수 있다.The storage unit 230 according to an exemplary embodiment includes a tactile effect generating unit 310, a focus generating control unit 320, an ultrasonic speaker driver 330, and an ultrasonic speaker Output signals or data corresponding to the driving of the controller 340.

후술하는 바와 같이 도 3을 참조하여 다중 초음파 변환기 배열을 이용한 다중 초점 생성 장치(300)의 동작을 살펴보도록 하겠다.3, the operation of the multi-focus generator 300 using the multi-ultrasound transducer array will be described.

도 3을 참조하면, 촉감 효과 생성부(310)는 사용자에게 전달할 촉감 효과의 모델을 포함하고 있으며 프로그램이나 사용자의 명령에 따라 생성할 촉감 효과의 속성을 결정하여 초점 생성 제어기에 전달할 수 있다. 일 실시예에 따른 촉감 효과의 속성에는 진동 주파수(frequency), 진폭(amplitude), 위치(position), 영역(area), 지속시간(duration) 등 촉감 작용점에서 직접적으로 제어할 수 있는 저수준의 속성과 마찰(friction), 표면강도(stiffness), 점탄성(visco-elasticity) 등 물리적 수식의 연산을 거쳐 표현할 수 있는 중간 수준의 속성, 거칠기, 날카로움 등 사람이 촉각으로 자극을 받아들였을 때의 감성을 나타내는 고수준의 속성 및 저수준/중간 수준/고수준의 속성들을 포함하는 종합적인 재질감(texture)의 종류가 수치화 혹은 단계화되어 포함될 수 있다.Referring to FIG. 3, the tactile effect generating unit 310 includes a model of a tactile effect to be delivered to a user. The tactile effect generating unit 310 may determine attributes of a tactile effect to be generated according to a command of a program or a user, The attributes of the tactile effect according to an exemplary embodiment include low-level attributes that can be directly controlled at tactile action points such as frequency, amplitude, position, area, duration, High level indicating the emotions when the human receives the tactile stimulus such as medium level property, roughness, and sharpness that can be expressed through computation of physical equation such as friction, surface stiffness, visco-elasticity And a type of comprehensive texture including low level / medium level / high level attributes may be included in the form of numerical value or stepped.

일 실시예에 따른 초점 생성 제어부(320)는 촉감 효과 생성부(310)로부터 전달받은 촉감 속성에 기반하여 미리 정해진 시간마다 생성할 촉감 초점의 개수와 각각의 위치, 진폭, 파형 및 지속시간 등을 결정하고 결정된 정보를 이용하여 복수의 촉감들 각각을 복수의 초음파 변환기 배열들에 대응시킬 수 있다.The focus generation control unit 320 according to the embodiment calculates the number of tactile foci to be generated at predetermined time intervals and the respective positions, amplitudes, waveforms, and durations, etc. based on the tactile properties received from the tactile effect generation unit 310 The plurality of tactile senses can be associated with the plurality of ultrasonic transducer arrays using the determined and determined information.

구체적으로, 촉감 생성 제어부(320)는 각각의 초음파 변환기 배열의 특성에 따른 비용 함수에 따라 개별 촉감 초점의 출력 효율을 계산할 수 있다. 일 실시예에 따를 때, 비용 함수는 초점과 초음파 변환기 배열의 상대적 위치 관계, 변조 주파수, 출력 강도, 생성 우선 순위 등을 입력 인자(input parameter)로 가질 수 있으며, 입력 인자별 함수의 결과를 가중합(weighted sum)한 형태, 논리함수의 형태 또는 두 개 이상의 입력 인자를 동시에 받는 형태의 함수로 정의될 수 있다. 수학식 1은 일 실시예에 따른 비용 함수를 나타낸다.Specifically, the tactile generation control section 320 can calculate the output efficiency of the individual tactile focus according to the cost function according to the characteristics of the respective ultrasonic transducer arrays. According to one embodiment, the cost function can have an input parameter as a relative positional relationship between the focus and the ultrasonic transducer array, a modulation frequency, an output intensity, a generation priority, and the like, It can be defined as a weighted sum form, a form of a logical function, or a function that receives two or more input arguments at the same time. Equation 1 represents the cost function according to one embodiment.

Figure pat00001
Figure pat00001

수학식 1을 참조하면, 가중합에 포함되는 가중치 wi는 촉감 생성 여건에 따라 달라질 수 있으며 fi는 미리 정해진 초점의 특성에 따라 적응적(adaptive)으로 변화될 수 있다.Referring to Equation (1), the weight w i included in the weighted sum may be changed according to the tactile generation conditions, and f i may be adaptively changed according to a predetermined focus characteristic.

일 실시예에 따를 때 다중 초점 생성 장치(300)는 미리 결정된 초음파 변환기 배열의 초점 할당 순서에 따라, 각 초점의 비용 함수의 결과를 이용하여 복수의 초음파 변환기 배열들 각각에 대해 복수의 촉감 초점들 각각이 서로 중복되지 않도록 복수의 촉감 초점들을 대응시킬 수 있다. 각각의 초음파 변환기 배열마다 각각의 초점별 비용이 계산되면 예를 들어, 초음파 변환기 배열들이 n개가 있는 경우, 미리 결정된 순서에 따라, 각각의 초음파 변환기 배열은 자신의 순서가 되면 아직 할당되지 않은 초점들 중 가장 낮은 비용을 가진 초점에 대응될 수 있다. 즉, 각각의 초음파 변환기 배열은 자신의 순서가 되면 아직 할당되지 않은 초점들 중 가장 낮은 비용을 가진 초점을 할당 받을 수 있다. 초음파 변환기 배열들 모두 하나씩 초점을 할당 받은 뒤에도 할당되지 않은 초점이 있는 경우, 처음 순서의 역순, 초음파 변환기 배열 비용의 총 합이 큰 순서, 각각의 초음파 변환기 배열이 가진 유휴 동작시간이 긴 순서 등에 따라 할당 과정을 반복하며, 이 과정은 모든 초점이 초음파 변환기 배열들에 할당되어 할당되지 않은 초점이 없을 때까지 반복될 수 있다. 이 방법은 모든 가능한 할당 방법(즉, 초음파 변환기 배열의 수를 m, 초점의 수를 p라 하면, mp가지 경우의 수)을 비교하여 전체 비용의 합을 최소화하는 방법에 비해 더 적은 O(p2)의 비교 연산을 사용하기 때문에, 초점과 초음파 변환기 배열의 개수가 많은 경우에도 실시간으로 초점이 할당될 수 있다.According to one embodiment, the multi-focus generator 300 may generate a plurality of tactile foci for each of the plurality of ultrasound transducer arrangements using the result of the cost function of each focus, in accordance with a predetermined order of focus of the ultrasound transducer array A plurality of tactile foci can be matched so that they do not overlap each other. For example, if there are n ultrasound transducer arrays for each ultrasound transducer array, each ultrasound transducer array, according to a predetermined order, if the ultrasound transducer array is in its own order, Which is the lowest cost of any of the above. That is, each of the ultrasonic transducer arrays can be assigned a focus having the lowest cost among the unassigned foci when they are in their own order. If the ultrasound transducer arrays are all unfocused after the focus has been assigned to one of them, the reverse order of the initial sequence, the order of the total sum of the ultrasonic transducer array costs, the order of the idle operation time of each ultrasonic transducer array, The procedure is repeated, and this process can be repeated until all focuses are assigned to the ultrasound transducer arrays and there is no unassigned focus. This method can be compared with a method that minimizes the sum of all costs by comparing all possible allocation methods (ie, the number of ultrasonic transducer arrays is m, the number of focal points is p, the number of m p cases) p 2 ), the focus can be assigned in real time even when the number of focal points and the number of ultrasonic transducer arrays is large.

일 실시예에 따를 때, 각각의 초음파 변환기 배열에 할당된 촉감 초점의 수가 2개 이상인 경우, 초점 생성 신호는 출력 효율을 향상시키기 위해 초점 별로 변조되는 진폭 파형을 전체 변환기의 이용률(duty rate)이 최대화되도록 각 초점의 변조 주파수에 따라 조절하여 초음파 스피커 드라이버(330)에 전달될 수 있다.According to one embodiment, when the number of tactile foci assigned to each ultrasonic transducer array is two or more, the focus generating signal may have a duty ratio of the entire transducer, And may be transmitted to the ultrasonic speaker driver 330 according to the modulation frequency of each focus so as to be maximized.

일 실시예에 따른 초음파 스피커 드라이버(330)는 개별 초음파 초점을 생성하기 위해 각 초음파 스피커(340)에 전달할 전압 신호의 파형을 생성할 수 있다. 또한 초음파 스피커 드라이버(330)는 각 초점 위치에서 신호의 중첩 동작을 위해 초음파 스피커(340)의 위치 배열을 고려하여 각 스피커의 위상을 조절할 수 있다. 상기의 위상 조절 동작은 종래의 위상 조절 동작과 유사할 수 있다.The ultrasonic speaker driver 330 according to an exemplary embodiment may generate a waveform of a voltage signal to be transmitted to each ultrasonic speaker 340 to generate an individual ultrasonic focus. The ultrasonic speaker driver 330 may adjust the phase of each speaker in consideration of the positional arrangement of the ultrasonic speaker 340 in order to superimpose the signals at each focus position. The above-described phase adjustment operation may be similar to the conventional phase adjustment operation.

일 실시예에 따른 초음파 스피커(340)는 2차원 평면 또는 곡면에 배열될 수 있으며 각각의 초음파 변환기 배열에 입력되는 전압 파형에 따라 공중을 향해 초점을 생성하기 위한 초음파를 출력할 수 있다. 일 실시예에 따를 때, 초음파 변환기 배열은 복수의 변환기 배열들로 구성될 수 있다.The ultrasonic speaker 340 according to an exemplary embodiment may be arranged in a two-dimensional plane or a curved surface, and may output ultrasonic waves for generating a focus toward the air according to a voltage waveform input to each of the ultrasonic transducer arrays. According to one embodiment, the ultrasonic transducer array may be comprised of a plurality of transducer arrays.

상술한 바와 같이 편의상 촉감 효과 생성부(310), 초점 생성 제어부(320), 초음파 스피커 드라이버(330) 및 초음파 스피커(340)로 구분하여 각 구성요소에서의 동작을 설명하였으나, 이에 제한되지 않으며, 다중 초점 생성 장치(300)에서 상술한 각 구성요소별 동작들이 모두 수행될 수 있다.As described above, the operation of each component has been described for the sake of simplicity, but the present invention is not limited thereto. For example, the tactile effect generating unit 310, the focus generating control unit 320, the ultrasonic speaker driver 330, and the ultrasonic speaker 340, All operations described above for each component can be performed in the multi-focus generating apparatus 300. [

도 4는 일 실시예에 따른 다중 초음파 변환기 배열을 이용한 다중 초점 생성 장치의 동작방법을 나타내는 흐름도이다.4 is a flowchart illustrating an operation method of a multi-focus generating apparatus using a multi-ultrasonic transducer array according to an exemplary embodiment.

도 4를 참조하면, S400 단계에서 다중 초점 생성 장치는 생성하고자 하는 촉감 효과의 속성을 결정할 수 있다.Referring to FIG. 4, in step S400, the multi-focus generating apparatus can determine the attribute of the tactile effect to be generated.

일 실시예에 따른 촉감 효과의 속성에는 진동 주파수, 진폭, 위치, 영역, 지속시간 등 촉감 작용점에서 직접적으로 제어할 수 있는 저수준의 속성과 마찰, 표면강도, 점탄성 등 물리적 수식의 연산을 거쳐 표현할 수 있는 중간 수준의 속성, 거칠기, 날카로움 등 사람이 촉각으로 자극을 받아들였을 때의 감성을 나타내는 고수준의 속성 및 저수준/중간 수준/고수준의 속성들을 포함하는 종합적인 재질감의 종류가 수치화 혹은 단계화되어 포함될 수 있다.The attributes of the tactile effect according to one embodiment can be expressed through computations of physical properties such as vibration frequency, amplitude, position, area, duration, etc., which can be directly controlled at the tactile action point, and friction, surface strength and viscoelasticity The type of comprehensive texture that includes the high level attributes and the low level / medium level / high level attributes that represent the emotion when the human accepts stimulation by the tactile sense such as the middle level property, roughness, sharpness, etc., .

S410 단계에서 다중 초점 생성 장치는 S400 단계에서 결정된 촉감 효과의 속성을 기초로 미리 정해진 시간 간격마다 생성시킬 복수의 촉감 초점들을 결정할 수 있다.In step S410, the multi-focus generating apparatus may determine a plurality of tactile foci to be generated at predetermined time intervals based on the attribute of the tactile effect determined in step S400.

일 실시예에 따를 때, 다중 초점 생성 장치는 촉감 속성에 기반하여 미리 정해진 시간마다 생성할 촉감 초점의 개수와 각각의 위치, 진폭, 파형 및 지속시간 등을 결정할 수 있다. 또한, 일 실시예에 따를 때, 프로그램이나 사용자의 명령에 의해 시간 간격이 결정될 수 있다.According to one embodiment, the multi-focus generating apparatus can determine the number of tactile foci to be generated at predetermined time intervals and the respective positions, amplitudes, waveforms, and duration times based on the tactile property. Also, according to one embodiment, a time interval may be determined by a program or user's command.

S420 단계에서 다중 초점 생성 장치는 복수의 초음파 변환기 배열들 각각에 대해 S410 단계에서 결정된 복수의 촉감 초점들 각각의 비용 함수(cost function)를 결정할 수 있다.In step S420, the multi-focus generation apparatus may determine a cost function of each of the plurality of tactile foci determined in step S410 for each of the plurality of ultrasound transducer arrays.

일 실시예에 따를 때, 비용 함수는 초점과 초음파 변환기 배열의 상대적 위치 관계, 변조 주파수, 출력 강도, 생성 우선 순위 등을 입력 인자로 가질 수 있으며, 입력 인자별 함수의 결과를 가중합한 형태, 논리함수의 형태 또는 두 개 이상의 입력 인자를 동시에 받는 형태의 함수로 정의될 수 있다.According to one embodiment, the cost function can have input factors such as the relative positional relationship between the focus and the ultrasonic transducer array, the modulation frequency, the output intensity, the generation priority, and the like, It can be defined as a type of function or a function that takes two or more input arguments at the same time.

일 실시예에 따른 복수의 초음파 변환기 배열들 각각은 복수의 초음파 스피커들의 배열로 구성될 수 있다. 일 실시예에 따를 때, 초음파 스피커는 2차원 평면 또는 곡면에 배열될 수 있으며 각각의 초음파 변환기 배열에 입력되는 전압 파형에 따라 공중을 향해 초점을 생성하기 위한 초음파를 출력할 수 있다.Each of the plurality of ultrasonic transducer arrangements according to an embodiment may be configured as an array of a plurality of ultrasonic speakers. According to one embodiment, the ultrasonic loudspeaker may be arranged in a two-dimensional plane or a curved surface, and may output an ultrasonic wave for generating a focus toward the air according to a voltage waveform input to each of the ultrasonic transducer arrays.

S430 단계에서 다중 초점 생성 장치는 미리 결정된 초음파 변환기 배열의 초점 할당 순서에 따라, S420 단계에서 결정된 비용 함수를 이용하여 복수의 초음파 변환기 배열들 각각에 대해 복수의 촉감 초점들 각각이 서로 중복되지 않도록 복수의 촉감 초점들을 대응시킬 수 있다.In step S430, the multi-focus generator generates a plurality of tactile foci for each of the plurality of ultrasound transducer arrays using a cost function determined in step S420 according to a predetermined focus allocation order of the ultrasound transducer array It is possible to correspond the tactile foci of the tactile sensation.

각각의 초음파 변환기 배열마다 각각의 초점별 비용이 계산되면 미리 결정된 순서에 따라, 각각의 초음파 변환기 배열은 자신의 순서가 되면 아직 할당되지 않은 초점들 중 가장 낮은 비용을 가진 초점에 대응될 수 있다. 초음파 변환기 배열들 모두 하나씩 초점을 할당 받은 뒤에도 할당되지 않은 초점이 있는 경우, 처음 순서의 역순, 초음파 변환기 배열 비용의 총 합이 큰 순서, 각각의 초음파 변환기 배열이 가진 유휴 동작시간이 긴 순서 등에 따라 할당 과정을 반복하며, 이 과정은 모든 초점이 초음파 변환기 배열들에 할당되어 할당되지 않은 초점이 없을 때까지 반복될 수 있다.According to a predetermined order, each ultrasonic transducer array can correspond to a focus having the lowest cost among the unassigned ultrasonic transducer arrays when the order of ultrasonic transducers is in its own order, when the cost of each ultrasonic transducer array is calculated for each ultrasonic transducer array. If the ultrasound transducer arrays are all unfocused after the focus has been assigned to one of them, the reverse order of the initial sequence, the order of the total sum of the ultrasonic transducer array costs, the order of the idle operation time of each ultrasonic transducer array, The procedure is repeated, and this process can be repeated until all focuses are assigned to the ultrasound transducer arrays and there is no unassigned focus.

S440 단계에서 다중 초점 생성 장치는 복수의 촉감 초점들 각각에 대해 복수의 촉감 초점들 각각에 대응되는 초음파 변환기 배열을 이용하여 촉감 생성을 위한 초음파를 생성할 수 있다.In step S440, the multi-focus generating apparatus may generate ultrasonic waves for tactile generation by using the ultrasonic transducer array corresponding to each of the plurality of tactile foci with respect to each of the plurality of tactile foci.

이상 도 1 내지 도 4를 참고하여, 본 개시의 일 실시 예에 따른 비접촉식 초음파 촉감 디스플레이 시스템에 있어서 다중 초음파 변환기 배열을 이용한 다중 초점 생성 방법에 대해 설명하였다.With reference to FIGS. 1 to 4, a multi-focus generation method using a multi-ultrasonic transducer array in the non-contact ultrasonic tactile display system according to an embodiment of the present disclosure has been described.

본 개시에 따르면, 비접촉식 초음파 촉감 디스플레이 시스템에서 독립적으로 구동 가능한 복수의 초음파 변환기 배열들을 초점 별로 효율적으로 대응시킴으로써 보다 사용자에게 인지 가능한 촉감 생성을 위한 복수의 초점들을 생성하는 초점 생성 장치 및 방법이 제공될 수 있다.According to the present disclosure, there is provided a focus generating apparatus and method for generating a plurality of focuses for generating a user-perceptible tactile sensation by effectively matching a plurality of independently operable ultrasonic transducer arrays in a non-contact ultrasonic tactile display system by focus .

또한, 본 개시에 따르면, 여러 개의 촉감 작용점을 생성하는 경우에도 기존의 비접촉식 초음파 촉감 디스플레이에 비해 더 강한 촉감 자극이 생성될 수 있기 때문에, 생성된 여러 개의 촉감 작용점을 통해 여러 손가락을 동시에 이용하는 촉감 상호작용이 가능하며, 또한 손바닥 전체에 가상의 표면 또는 부피감 등이 전달될 수 있다.Further, according to the present disclosure, even when a plurality of tactile action points are generated, a stronger tactile stimulus can be generated as compared with a conventional non-contact ultrasonic tactile display. Therefore, And a virtual surface or a bulkiness can be transmitted to the entire palm.

또한, 본 개시에 따르면, 초점과 초음파 변환기 배열의 개수가 많은 경우에도 실시간으로 초점이 할당될 수 있다.Further, according to the present disclosure, even when the number of focal points and the number of ultrasonic transducer arrays is large, focus can be assigned in real time.

한편, 본 개시의 일 양상에 따르면 다중 초점 생성 장치의 동작방법을 수행하기 위해 실행가능한 명령들(executable instructions)을 가지는 소프트웨어 또는 컴퓨터-판독가능한 매체(computer-readable medium)가 제공될 수 있다. 상기 실행가능한 명령들은, 비접촉식 초음파 촉감 디스플레이 시스템에 있어서 다중 초음파 변환기 배열을 이용한 다중 초점 생성 방법에 있어서, 생성하고자 하는 촉감 효과의 속성을 결정하는 단계, 상기 결정된 촉감 효과의 속성을 기초로 미리 정해진 시간 간격마다 생성시킬 복수의 촉감 초점들을 결정하는 단계, 복수의 초음파 변환기 배열들 각각에 대해 상기 결정된 복수의 촉감 초점들 각각의 비용 함수를 결정하는 단계, 미리 결정된 초음파 변환기 배열의 초점 할당 순서에 따라, 상기 결정된 비용 함수를 이용하여 상기 복수의 초음파 변환기 배열들 각각에 대해 상기 복수의 촉감 초점들 각각이 서로 중복되지 않도록 상기 복수의 촉감 초점들을 대응시키는 단계 및 상기 복수의 촉감 초점들 각각에 대해 상기 복수의 촉감 초점들 각각에 대응되는 초음파 변환기 배열을 이용하여 촉감 생성을 위한 초음파를 생성하는 단계를 포함하고, 상기 복수의 초음파 변환기 배열들 각각은 복수의 초음파 스피커들의 배열로 구성되는 것을 특징으로 할 수 있다.On the other hand, according to one aspect of the present disclosure, software or a computer-readable medium having executable instructions for performing the method of operation of the multi-focus generating device may be provided. The method comprising: determining attributes of a tactile effect to be generated in a multi-focal generation method using a multi-ultrasonic transducer arrangement in a non-contact ultrasonic tactile display system; determining, based on a property of the determined tactile effect, Determining a plurality of tactile foci to be generated for each interval, determining a cost function of each of the determined plurality of tactile foci for each of the plurality of ultrasonic transducer arrangements, Associating the plurality of tactile foci with each other so that each of the plurality of tactile foci is not overlapped with each other for each of the plurality of ultrasonic transducer arrays using the determined cost function; Corresponding to each tactile focus of Are each of a step of generating ultrasonic waves for soft generated using the ultrasound transducer array, and the plurality of ultrasonic transducer array may be characterized in that it consists of an array of a plurality of ultrasonic speakers.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Although the exemplary methods of this disclosure are represented by a series of acts for clarity of explanation, they are not intended to limit the order in which the steps are performed, and if necessary, each step may be performed simultaneously or in a different order. In order to implement the method according to the present disclosure, the illustrative steps may additionally include other steps, include the remaining steps except for some steps, or may include additional steps other than some steps.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.The various embodiments of the disclosure are not intended to be all-inclusive and are intended to illustrate representative aspects of the disclosure, and the features described in the various embodiments may be applied independently or in a combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. In the case of hardware implementation, one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays A general processor, a controller, a microcontroller, a microprocessor, and the like.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present disclosure is to be accorded the broadest interpretation as understanding of the principles of the invention, as well as software or machine-executable instructions (e.g., operating system, applications, firmware, Instructions, and the like are stored and are non-transitory computer-readable medium executable on the device or computer.

300 : 다중 초점 생성 장치
310 : 촉감 효과 생성부
320 : 초점 생성 제어부
330 : 초음파 스피커 드라이버
340 : 초음파 스피커300: Multi-focus generating device
310: tactile effect generating unit
320: Focus generation control unit
330: Ultrasonic speaker driver
340: Ultrasonic speaker

Claims (1)

비접촉식 초음파 촉감 디스플레이 시스템에 있어서 다중 초음파 변환기 배열을 이용한 다중 초점 생성 방법에 있어서,
생성하고자 하는 촉감 효과의 속성을 결정하는 단계;
상기 결정된 촉감 효과의 속성을 기초로 미리 정해진 시간 간격마다 생성시킬 복수의 촉감 초점들을 결정하는 단계;
복수의 초음파 변환기 배열들 각각에 대해 상기 결정된 복수의 촉감 초점들 각각의 비용 함수(cost function)를 결정하는 단계;
미리 결정된 초음파 변환기 배열의 초점 할당 순서에 따라, 상기 결정된 비용 함수를 이용하여 상기 복수의 초음파 변환기 배열들 각각에 대해 상기 복수의 촉감 초점들 각각이 서로 중복되지 않도록 상기 복수의 촉감 초점들을 대응시키는 단계; 및
상기 복수의 촉감 초점들 각각에 대해 상기 복수의 촉감 초점들 각각에 대응되는 초음파 변환기 배열을 이용하여 촉감 생성을 위한 초음파를 생성하는 단계를 포함하고,
상기 복수의 초음파 변환기 배열들 각각은 복수의 초음파 스피커들의 배열로 구성되는 것을 특징으로 하는, 다중 초점 생성 방법.A multi-focus generation method using a multi-ultrasonic transducer array in a non-contact ultrasonic tactile display system,
Determining an attribute of a tactile effect to be generated;
Determining a plurality of tactile foci to be generated at predetermined time intervals based on the attribute of the determined tactile effect;
Determining a cost function of each of the determined plurality of tactile foci for each of a plurality of ultrasonic transducer arrangements;
Mapping the plurality of tactile foci to each of the plurality of ultrasonic transducer arrays using the determined cost function in accordance with a focus allocation order of a predetermined ultrasonic transducer array so that the plurality of tactile foci do not overlap each other ; And
And generating ultrasonic waves for tactile generation using the ultrasonic transducer array corresponding to each of the plurality of tactile foci for each of the plurality of tactile foci,
Wherein each of the plurality of ultrasound transducer arrangements comprises an array of a plurality of ultrasonic speakers.
KR1020170155436A 2017-11-21 2017-11-21 Multiple focuses generating apparatus and method using multi-ultrasonic transducer array in non-contact ultrasonic tactile display system KR102409934B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170155436A KR102409934B1 (en) 2017-11-21 2017-11-21 Multiple focuses generating apparatus and method using multi-ultrasonic transducer array in non-contact ultrasonic tactile display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170155436A KR102409934B1 (en) 2017-11-21 2017-11-21 Multiple focuses generating apparatus and method using multi-ultrasonic transducer array in non-contact ultrasonic tactile display system

Publications (2)

Publication Number Publication Date
KR20190057937A true KR20190057937A (en) 2019-05-29
KR102409934B1 KR102409934B1 (en) 2022-06-16

Family

ID=66673047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170155436A KR102409934B1 (en) 2017-11-21 2017-11-21 Multiple focuses generating apparatus and method using multi-ultrasonic transducer array in non-contact ultrasonic tactile display system

Country Status (1)

Country Link
KR (1) KR102409934B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160006708A (en) * 2013-05-08 2016-01-19 울트라햅틱스 리미티드 Method and apparatus for producing an acoustic field
KR20170054394A (en) * 2014-09-09 2017-05-17 울트라햅틱스 아이피 엘티디 Method and apparatus for modulating haptic feedback
KR20170116161A (en) * 2015-02-20 2017-10-18 울트라햅틱스 아이피 엘티디 Recognition in the haptic system
KR20170116162A (en) * 2015-02-20 2017-10-18 울트라햅틱스 아이피 엘티디 Improvement of algorithm in haptic system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160006708A (en) * 2013-05-08 2016-01-19 울트라햅틱스 리미티드 Method and apparatus for producing an acoustic field
KR20170054394A (en) * 2014-09-09 2017-05-17 울트라햅틱스 아이피 엘티디 Method and apparatus for modulating haptic feedback
KR20170116161A (en) * 2015-02-20 2017-10-18 울트라햅틱스 아이피 엘티디 Recognition in the haptic system
KR20170116162A (en) * 2015-02-20 2017-10-18 울트라햅틱스 아이피 엘티디 Improvement of algorithm in haptic system

Also Published As

Publication number Publication date
KR102409934B1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US20230259213A1 (en) Method and Apparatus for Modulating Haptic Feedback
KR102515997B1 (en) Perception in haptic systems
Long et al. Rendering volumetric haptic shapes in mid-air using ultrasound
JP6712843B2 (en) System and method for generating haptic feedback for skin-mediated interactions
Altinsoy et al. Electrotactile feedback for handheld devices with touch screen and simulation of roughness
Huisman et al. The TaSSt: Tactile sleeve for social touch
CN110515459B (en) Ultrasonic tactile feedback system and method for assisting blind person to perceive
JP2016035646A (en) Tactile device, and tactile display including the same
JPWO2013057894A1 (en) Electronics
JP2021084074A (en) Driving apparatus, vibration generating apparatus, electronic apparatus, and driving method
Dandu et al. Rendering spatiotemporal haptic effects via the physics of waves in the skin
KR20190057937A (en) Multiple focuses generating apparatus and method using multi-ultrasonic transducer array in non-contact ultrasonic tactile display system
US10551925B2 (en) Method and apparatus for generating tactile sensation
Wöckel et al. Haptics by time reversal of elastic waves
KR102419106B1 (en) Tactile display apparatus and method using non-contact ultrasonic tactile display
KR101563256B1 (en) Apparatus for driving actuator
US20240184366A1 (en) Tactile Sensation Generation Method, Haptic Reproduction Device and Computer Storage Medium
CN116360636A (en) Method, device, medium and electronic equipment for feeding back ultrasonic waves
Vatavu Touch, Movement and Vibration: User Perception of Vibrotactile Feedback for Touch and Mid-Air Gestures
Kim et al. A Feasibility Study on Tactile Enhancement of Mid-Air Ultrasonic Stimulation by Wrist Vibration
BR112017017869B1 (en) TACTILE SYSTEM, RELATED METHODS AND PROCESSES

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant