WO2020111558A1 - 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법 - Google Patents

패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법 Download PDF

Info

Publication number
WO2020111558A1
WO2020111558A1 PCT/KR2019/015011 KR2019015011W WO2020111558A1 WO 2020111558 A1 WO2020111558 A1 WO 2020111558A1 KR 2019015011 W KR2019015011 W KR 2019015011W WO 2020111558 A1 WO2020111558 A1 WO 2020111558A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
data
information
pattern data
haptic
Prior art date
Application number
PCT/KR2019/015011
Other languages
English (en)
French (fr)
Inventor
김형준
손기석
이종훈
Original Assignee
주식회사 씨케이머티리얼즈랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨케이머티리얼즈랩 filed Critical 주식회사 씨케이머티리얼즈랩
Priority to CN201980076210.XA priority Critical patent/CN113168222A/zh
Priority to US17/298,596 priority patent/US11914779B2/en
Publication of WO2020111558A1 publication Critical patent/WO2020111558A1/ko
Priority to US18/418,512 priority patent/US20240160290A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission

Definitions

  • the following embodiments relate to pattern data generation technology and pattern data generation technology.
  • the haptic device may control the amount of current flowing through the haptic device and the magnitude of the voltage applied to the haptic device to adjust the haptic stimulation provided by the haptic device.
  • An apparatus for generating pattern data may include an input data receiver configured to receive input data according to user selection; A controller which determines pattern information based on the input data and generates pattern data including the determined pattern information; And it may include a communication unit for transmitting the generated pattern data to the pattern data reproduction device.
  • the pattern data may include pattern information for at least one of a haptic pattern applied to the actuator and an illumination pattern applied to the lighting unit.
  • the controller may analyze the input data and determine pattern time interval information indicating a time interval at which a pattern is to be output and pattern level information indicating a strength of the pattern based on the analysis result.
  • the input data receiving unit may receive any one of sound data, touch input data, and user pattern setting data according to the user selection.
  • the controller determines a target frequency band among frequency bands constituting the sound data, filters sound data of the target frequency band using a bandpass filter, and sets the threshold data to a threshold value. Based on the filtered sound data, pattern level information of a haptic pattern and pattern time interval information of the haptic pattern may be determined.
  • the controller When the input data is the touch input data, the controller extracts time information for holding time of the touch input and time interval information of the touch input from the touch input data, and based on the holding time information and the time interval information. Pattern data of a haptic pattern can be generated.
  • the controller determines pattern level information and pattern time interval information based on the user pattern setting data, and based on the determined pattern level information and the pattern time interval information.
  • the pattern data can be generated.
  • the pattern data is included in a message and transmitted to the pattern data reproducing apparatus, and the message includes: a first element indicating the type of data included in the message; A second element including message information; And a third element indicating the size of the message information.
  • the pattern data reproducing apparatus includes: a communication unit that receives pattern data from a pattern data generating apparatus, wherein the pattern data includes pattern information determined based on input data according to a user's selection; A controller that extracts pattern information from the received pattern data; And a haptic pattern reproducing unit reproducing a haptic pattern based on the extracted pattern information.
  • the haptic pattern reproducing unit may reproduce a haptic pattern by driving an actuator based on pattern level information indicating the intensity of the pattern and time interval information indicating a time interval at which the pattern is to be output, included in the pattern information.
  • the pattern data reproducing apparatus may further include an illumination pattern reproducing unit for reproducing an illumination pattern based on the extracted pattern information.
  • the lighting pattern reproduction unit may reproduce the lighting pattern by driving the lighting unit based on the lighting color information of the lighting pattern included in the pattern information and the output time information of the lighting pattern.
  • a method of generating pattern data may include receiving input data according to a user selection; Determining pattern information based on the input data; Generating pattern data including the determined pattern information; And transmitting the generated pattern data to a pattern data reproduction device.
  • the method for reproducing a pattern data includes receiving pattern data from a pattern data generating apparatus, wherein the pattern data includes pattern information determined based on input data according to a user's selection; Extracting pattern information from the received pattern data; And reproducing a haptic pattern based on the extracted pattern information.
  • the pattern data reproducing method may further include reproducing an illumination pattern based on the pattern information for the illumination pattern when the pattern data includes pattern information for the illumination pattern.
  • FIG. 1 is a diagram illustrating a pattern data providing system according to an embodiment.
  • FIG. 2 is a flowchart illustrating an operation of a method for generating pattern data according to an embodiment.
  • FIG. 3 is a flowchart illustrating a process of generating pattern data according to a type of input data according to an embodiment.
  • FIG. 4 is a flowchart illustrating a process of generating pattern data based on sound data according to an embodiment.
  • 5 and 6 are diagrams for explaining an example of generating pattern data based on sound data according to an embodiment.
  • FIG. 7 is a diagram for describing user pattern setting data according to an embodiment.
  • FIG. 8 is a diagram illustrating elements of a message including pattern data according to an embodiment.
  • FIG. 9 is a flowchart illustrating an operation of a pattern data reproduction method according to an embodiment.
  • FIG. 1 is a diagram illustrating a pattern data providing system according to an embodiment.
  • the pattern data providing system 100 is a system that provides a user with a haptic stimulus (haptic effect) and/or a lighting stimulus (lighting effect) to the user based on the pattern data.
  • the pattern data providing system 100 may generate pattern data corresponding to a bit pattern of content to be provided to visitors at places such as a concert hall, a movie theater, and a performance hall, and transmit the generated pattern data to the viewers.
  • Visitors wear a wearable device, and the wearable device may receive pattern data.
  • the wearable device may reproduce pattern data to provide haptic stimuli and/or lighting stimuli suitable for the content to viewers. Visitors can feel a higher level of immersion through haptic stimulation and/or lighting stimulation, and the effect of providing content (performance) can be maximized.
  • the pattern data providing system 100 analyzes music content to generate pattern data suitable for the music content, and plays the pattern data using an accessory device that can be wired or wirelessly connected to the above driving device to provide music to the user.
  • a haptic stimulus and/or lighting stimulus corresponding to the content may be provided.
  • the user may directly produce pattern data through the pattern data providing system 100.
  • the user can generate unique pattern data by setting the time interval and pattern intensity at which a pattern of a haptic stimulus or a lighting stimulus occurs.
  • the user may generate his/her own unique pattern data through touch input such as tapping or rubbing.
  • the generated pattern data can be stored and transmitted to a device or another user.
  • the pattern data providing system 100 includes a pattern data generating device 110 and a pattern data reproducing device 150.
  • the pattern data generating apparatus 110 is an apparatus for generating pattern data, and may be, for example, a personal computer, a mobile device such as a smartphone, or the like.
  • the pattern data generation device 110 may generate pattern data and transfer the generated pattern data.
  • the pattern data generation device 110 analyzes the content (eg, sound data such as music) to generate pattern data corresponding to the content or based on touch input data or user pattern setting data input by the user To generate pattern data.
  • the pattern data generated in this way may include pattern information defining a pattern of haptic stimuli and/or illumination stimuli to be provided to the user.
  • the pattern data reproducing apparatus 150 is a device that provides a haptic stimulus and/or lighting stimulus to a user based on the pattern data received from the pattern data generating apparatus 110.
  • the pattern data reproduction device 150 may also be referred to as a'haptic device'.
  • the pattern data reproducing apparatus 150 may provide pattern haptic stimulation to a user by reproducing pattern data to generate vibration or tapping.
  • the pattern data reproducing apparatus 150 may provide a visual stimulus of a specific pattern to the user by reproducing the pattern data to adjust the illumination color and intensity of the lighting unit such as an LED.
  • the pattern data reproducing apparatus 150 may take the form of, for example, a wearable device, an accessory device of a mobile device, or a portable electronic device, but the form is not limited thereto.
  • the pattern data generating device 110 and the pattern data reproducing device 150 may be wirelessly connected through the network 105 or wired through a cable.
  • the pattern data generation device 110 includes an input data receiving unit 120, a controller 130, and a communication unit 140.
  • the input data receiving unit 120 receives input data according to a user selection.
  • the input data receiving unit 120 may receive any one of sound data such as music, touch input data, and user pattern setting data according to user selection.
  • touch input data it may be obtained by sensing a touch input such as a tap or rub applied by a user on a touch screen display or the like.
  • User pattern setting data can be obtained by a user directly setting a pattern level or a pattern time interval through an interface such as an equalizer. The user can select which of the sound data, touch input data, and user pattern setting data to generate the pattern data.
  • the controller 130 controls the operation of the pattern data generation device 110 and may include one or more processors.
  • the controller 130 may determine pattern information based on the input data received through the input data receiving unit 120 and generate pattern data including the determined pattern information.
  • the controller 130 may analyze the input data and determine pattern time interval information indicating a time interval at which the pattern is to be output and pattern level information indicating the intensity of the pattern based on the analysis result.
  • the pattern data may include pattern information for at least one of a haptic pattern applied to the actuator and an illumination pattern applied to the lighting unit.
  • the controller 130 may determine pattern level information of a haptic pattern, pattern time interval information of a haptic pattern, illumination color information of an illumination pattern, and output time information of an illumination pattern based on input data, and determined information You can control to save them.
  • the controller 130 may automatically extract pattern information from sound data.
  • the controller 130 determines a target frequency band among frequency bands constituting the input sound data, and filters sound data of a target frequency band using a bandpass filter to extract sound data in the audible region. Can be.
  • the controller 130 may determine pattern level information and pattern time interval information of the haptic pattern from the filtered sound data based on the threshold.
  • the controller 130 plays an electric pole part (eg, about 1 minute) that is played in the first half of the sound data.
  • the target frequency band is the most repetitive frequency band (the frequency band having the largest FFT value) by performing a fast Fourier transform (FFT) on a constant time period (e.g., 200 ms) and analyzing it in the frequency domain. You can decide.
  • the controller 130 may determine a target frequency band to form pattern data in the first half of the sound data such as music. Thereafter, the controller 130 performs band pass filtering and an inverse fast Fourier transform (IFFT) to output the filtered sound data to the time domain.
  • FFT fast Fourier transform
  • the controller 130 may determine the pattern level information and the pattern time interval information by comparing the signal value of the sound data that has been IFFT-converted and converted into a time domain to a certain threshold (user-configurable). For example, if the signal value of the IFFT-processed sound data is greater than or equal to a threshold, the controller 130 determines the pattern level based on the difference between the signal value and the threshold, and if the signal value is less than the threshold, processes the pattern level to zero. Can be.
  • the pattern level can be determined, for example, by a digital value between 0 and 10.
  • the controller 130 may detect times when the signal value is greater than or equal to a threshold, and determine pattern time interval information based on the intervals between the detected times.
  • the controller 130 may determine illumination color information of the illumination pattern based on the target frequency band, and may also determine output time information of the illumination pattern indicating a time point at which the illumination pattern is output based on the pattern time interval information.
  • the color of the lighting pattern may be differently determined according to the value of the target frequency band, and the time at which the lighting pattern is to be output may be determined based on the pattern time interval derived by analyzing sound data.
  • the input data is touch input data.
  • the user can simply generate the pattern data through the touch input, and the generated touch input data includes time interval information indicating the time interval at which the touch is input, hold time information that is a time period in which the touch is maintained, and input of the touch.
  • Century information The controller 130 may automatically extract pattern information from the touch input data.
  • the controller 130 may extract hold time information of the touch input and time interval information of the touch input from the touch input data, and generate pattern data of a haptic pattern based on the extracted hold time information and the time interval information.
  • the controller 130 may set a play start time of the haptic pattern based on the holding time information, and set a play stop time of the haptic pattern based on the time interval information.
  • the controller 130 may determine output time information of the lighting pattern based on the retention time information and the time interval information extracted through the analysis of the touch input data. Then, the controller 130 may determine illumination color information of the illumination pattern based on the intensity of the touch input. For example, the controller 130 may determine illumination color information in the same way as increasing the proportion of blue when the intensity of the touch input is weak and increasing the proportion of red when the intensity of the touch input is strong.
  • the input data is user pattern setting data.
  • the controller 130 may determine pattern level information and pattern time interval information based on the user pattern setting data, and generate pattern data based on the determined pattern level information and pattern time interval information. For example, a user may input setting information for generating pattern data using a pattern input program having a form such as an equalizer, and the input setting information is input to the input data receiving unit 120 as user pattern setting data. Can be.
  • the controller 130 may convert the user pattern setting data to a pattern level of digital values and determine a time interval of the pattern. For example, when a user sets a pattern level value for each frequency band, the controller 130 generates pattern data so that a haptic pattern of a pattern level value set in the corresponding frequency band occurs for each time period corresponding to each frequency band. can do.
  • the controller 130 may determine illumination color information and output time information of the illumination pattern based on the pattern level information and the pattern time interval information determined through analysis of the user pattern setting data. For example, the controller 130 may determine an illumination color based on the determined size of the pattern level, and determine a time at which the illumination pattern is to be output based on the pattern time interval information.
  • the communication unit 140 may transmit the generated pattern data to the pattern data reproduction device 150.
  • the pattern data may be included in the message and transmitted to the pattern data reproduction device 150.
  • the communication unit 140 for example, Bluetooth (Bluetooth), BLE (Bluetooth Low Energy), Wi-Fi (Wi-Fi), LTE (Long Term Evolution), such as through the network 105 pattern data reproduction device ( 150).
  • the user may select the type of the network 105 to which the pattern data is to be transmitted, in which case the communication unit 140 may transmit the pattern data through the network 105 selected by the user.
  • the pattern data generation device 110 may notify the user of the completion of the pattern data transmission when the pattern data transmission is completed.
  • the pattern data generation device 110 may store the transmitted pattern data and generate and manage history information. The stored pattern data can be transmitted to another device or another user later.
  • the pattern data reproducing apparatus 150 receives pattern data from the pattern data generating apparatus 110 and reproduces the received pattern data.
  • the pattern data reproducing apparatus 150 includes a communication unit 160, a controller 170, and a haptic pattern reproducing unit 180.
  • the pattern data reproducing apparatus 150 may further include an illumination pattern reproducing unit 190.
  • the communication unit 160 receives the pattern data from the pattern data generation device 110.
  • the pattern data may include pattern information determined based on input data according to user selection.
  • the received pattern data may be stored in a storage unit (not shown), and the user of the pattern data reproducing apparatus 150 may be notified of the reception of the pattern data. have.
  • the controller 170 controls the operation of the pattern data reproducing apparatus 150 and may include one or more processors.
  • the controller 170 may analyze the received pattern data and extract pattern information from the pattern data. For example, the controller 170 may extract pattern level information of the haptic pattern, pattern time interval information of the haptic pattern, lighting color information of the lighting pattern, and output time information of the lighting pattern from the pattern data.
  • the haptic pattern reproducing unit 180 reproduces the haptic pattern based on the extracted pattern information.
  • the haptic pattern reproducing unit 180 includes a haptic pattern by driving an actuator (such as a tactile actuator) based on pattern level information indicating the intensity of the pattern and time interval information indicating the time interval at which the pattern is to be output, included in the pattern information. Can play.
  • the actuator may generate a haptic stimulus according to the haptic pattern based on the control signal transmitted from the haptic pattern reproduction unit 180.
  • the actuator may be included in the haptic pattern reproduction unit 180.
  • the lighting pattern reproducing unit 190 reproduces the lighting pattern based on the extracted pattern information.
  • the lighting pattern reproduction unit 190 may reproduce the lighting pattern by driving the lighting unit based on the lighting color information of the lighting pattern included in the pattern information and the output time information of the lighting pattern.
  • an illumination unit such as an LED may be mounted on the wearable device, and the illumination unit may generate illumination stimulation according to the illumination pattern based on a control signal transmitted from the illumination pattern reproduction unit 190.
  • the lighting unit may be included in the lighting pattern reproduction unit 190.
  • the pattern data generation method may be performed by the pattern data generation device described herein.
  • the apparatus for generating pattern data may receive input data according to a user selection.
  • the pattern data generating apparatus may receive one of sound data such as music, touch input data, and user pattern setting data according to a user's selection.
  • the pattern data generating apparatus determines pattern information based on the input data in step 220 and generates pattern data including the pattern information determined in step 230.
  • the pattern data generation apparatus may determine pattern time interval information indicating a time interval at which the pattern is to be output and pattern level information indicating the intensity of the pattern based on the analysis result of the input data.
  • the pattern data may include pattern information for at least one of a haptic pattern applied to the actuator and an illumination pattern applied to the lighting unit.
  • the pattern data may include both information about the haptic pattern and information about the lighting pattern, or may include only one information.
  • the haptic pattern and the illumination pattern may be synchronized in time of occurrence, or there may be a difference in time of occurrence between each other.
  • the pattern data generation device may transmit the generated pattern data to the pattern data reproduction device.
  • the pattern data generation device may transmit the pattern data to the pattern data reproduction device through a wired network such as a cable or a wireless network such as Bluetooth, BLE, Wi-Fi, LTE, etc.
  • FIG. 3 is a flowchart illustrating a process of generating pattern data according to a type of input data according to an embodiment.
  • the pattern data generating apparatus may receive input data to be used to generate pattern data, and check the type of the input data.
  • the apparatus for generating pattern data may perform the processes of steps 322, 324, and 326.
  • the pattern data generating apparatus may receive an input frequency band.
  • the input frequency band is a frequency band to be used to form a haptic pattern in an initial part, for example, an electric pole of music content.
  • the pattern data generating apparatus may perform FFT processing, filtering processing, and IFFT processing on the sound data based on the input frequency band.
  • the pattern data generating apparatus may perform FFT processing on sound data and perform filtering based on an input frequency band in the result of performing the FFT processing.
  • the apparatus for generating pattern data may perform filtering on the input frequency band by using a bandpass filter, and perform IFFT processing on sound data of the input frequency band on which filtering is performed.
  • the pattern data generation apparatus may determine pattern level information and pattern time interval information for a haptic pattern based on a threshold value from the result of performing IFFT processing.
  • the apparatus for generating pattern data determines illumination color information of the illumination pattern based on the input frequency band, and determines output time information of the illumination pattern based on the pattern time interval information determined in step 326. It might be.
  • the pattern data generation device may store pattern level information, pattern time interval information, lighting color information, and output time information.
  • the pattern data generating apparatus may perform the processes of steps 332 and 334.
  • the pattern data generation device may extract information regarding the duration of the touch input, which is a time period during which the touch is maintained, from the touch input data.
  • the pattern data generating apparatus may set a reproduction start time of the haptic pattern based on the extracted holding time information.
  • the pattern data generating apparatus may extract time interval information indicating a time interval at which a touch is input from the touch input data.
  • the pattern data generation device may set a playback stop time of the haptic pattern based on the extracted time interval information.
  • the pattern data generating device determines illumination color information of the illumination pattern based on the intensity of the touch input, and holds time information and time interval information extracted in steps 332 and 334, respectively. It is also possible to determine the output time information of the lighting pattern based on.
  • the pattern data generation device may store pattern level information, pattern time interval information, lighting color information, and output time information.
  • the pattern data generating device performs the processes of steps 342, 344, and 346. It can be done.
  • the pattern data generating device may extract pattern level setting information and output time setting information from the user pattern setting data.
  • the user can input pattern level setting information, output time setting information, and setting information by using a pattern input program to generate pattern data.
  • the pattern level setting information may include information on the pattern level set by the user
  • the output time setting information may include information on an output time period determined for each frequency band or an output time period set by the user.
  • the pattern data generation device may perform filtering processing on the input data.
  • the pattern data generating apparatus may determine pattern level information and pattern time interval information for the haptic pattern based on the pattern level setting information and output time setting information.
  • the pattern data generating device determines illumination color information of the illumination pattern based on the pattern level information, and determines output time information of the illumination pattern based on the pattern time interval information determined in step 344. It might be.
  • the pattern data generation device may store pattern level information, pattern time interval information, lighting color information, and output time information.
  • FIG. 4 is a flowchart illustrating a process of generating pattern data based on sound data according to an embodiment.
  • the apparatus for generating pattern data receives sound data.
  • the pattern data generation apparatus may perform pre-processing such as noise removal to remove a bouncing signal value for the received sound data.
  • the pattern data generating apparatus may extract a portion to be used to determine a target frequency band from sound data.
  • the pattern data generating apparatus may extract an initial electric pole part from the sound data, and perform the following steps 420 to 470 on the sound data of the extracted part.
  • the pattern data generation apparatus may convert the sound data from the time domain to the frequency domain by performing FFT processing on the sound data at regular intervals.
  • the pattern data generating apparatus may select a target frequency band from sound data in the frequency domain and store information on the selected target frequency band. For example, the pattern data generating apparatus may select a frequency band that is repeated many times as a target frequency band. The pattern data generation apparatus may divide sound data for each frequency band, and select a frequency band including a frequency having the largest FFT processing value as a target frequency band. The stored target frequency band information can be used later to determine the pattern information of the illumination pattern.
  • the pattern data generating apparatus may perform filtering processing based on the target frequency band. For example, the pattern data generating apparatus may extract an audible sound region (eg, a region of 10 to 500 Hz) by performing a filtering process using a band pass filter based on a target frequency band.
  • the apparatus for generating pattern data may convert the filtered sound data into IF domain data by IFFT processing. The sound data can be converted from the frequency domain to the time domain through IFFT processing.
  • the pattern data generation device may perform threshold processing.
  • the threshold used here can be determined by the user.
  • the pattern data generating apparatus may extract signal values above a threshold from sound data converted into a time domain.
  • the pattern data generating apparatus may determine the pattern level and the pattern time interval based on the difference between the signal value and the threshold extracted in step 460. For example, the pattern data generating apparatus may allocate a large pattern level when the difference between the signal value and the threshold is large, and a small pattern level when the difference is small. The pattern data generating apparatus may set the level of signal values smaller than a threshold in the sound data to zero. According to an embodiment, the user may designate a reference time interval, and in this case, the pattern data generating device may determine the pattern time interval based on the reference time interval.
  • the pattern data generating apparatus may determine the illumination color of the illumination pattern based on the target frequency band selected in step 430, and determine the output time of the illumination pattern based on the pattern time interval determined in step 470.
  • 5 and 6 are diagrams for explaining an example of generating pattern data based on sound data according to an embodiment.
  • sound data 510 is input to generate pattern data.
  • the x-axis represents'time'
  • the y-axis represents the'signal size' or'signal value' of the sound data 510.
  • FFT processing is performed on the sound data 510, and sound data 520 in the frequency domain is obtained by the FFT processing.
  • the x-axis represents the'frequency band'
  • the y-axis represents the'FFT value'.
  • the frequency band having the largest FFT value in the sound data 520 of the frequency domain is '484.00 Hz'. This means that the frequency band of 484.00 Hz is most repeated.
  • a frequency band of 484.00 Hz is selected as a target frequency band, and bandpass filtering processing is performed based on the target frequency band to obtain filtered sound data 530. Thereafter, IFFT processing is performed on the filtered sound data 530 to obtain sound data 540 converted into a time domain.
  • the x-axis represents'time
  • the y-axis represents'signal size' or'signal value' of the sound data 540.
  • threshold processing as illustrated in FIG. 6 may be performed on the sound data converted to the time domain.
  • a pattern level for a haptic pattern may be determined based on a difference between a signal size of the sound data 610 and a threshold value. For example, if the difference between the signal size and the threshold is large, a large pattern level may be allocated, and if the difference is small, a small pattern level may be allocated.
  • the threshold can be specified by the user. The user can also specify a reference time interval, and the time interval of the pattern can be determined in proportion to the designated reference time interval.
  • FIG. 7 is a diagram for describing user pattern setting data according to an embodiment.
  • a user may input setting information for generating pattern data using a pattern input program having an equalizer shape as shown, and the input setting information generates pattern data as user pattern setting data Can be delivered to the device. Users can create their own pattern data through the pattern input program.
  • the pattern input program can be driven, for example, on a personal computer or a smartphone.
  • "1 to 10" may correspond to different frequency bands or times. Each frequency band has a corresponding time period, and pattern time interval information of a haptic pattern may be determined based on the corresponding time period. In another embodiment, the pattern time interval information of the haptic pattern may be determined based on time information specified by a user. The user may set a level value (eg, level A to level D) for each frequency band, and pattern level information of a haptic pattern may be determined based on the level value set for each frequency band. Further, illumination color information of the illumination pattern may be determined based on a level value set for each frequency band, and output new information of the illumination pattern may be determined based on a time period corresponding to each frequency band.
  • a level value eg, level A to level D
  • FIG. 8 is a diagram illustrating elements of a message including pattern data according to an embodiment.
  • the pattern data may be included in the message according to a message format as shown in FIG. 8 and transmitted to the pattern data reproduction device.
  • An example in which the pattern data is composed of a basic encoding rule (BER) method (TLV notation) that is an encoding rule of ASN.1 (Abstract Syntax Notation Number One) is shown.
  • the message includes a tag field as a first element indicating the type of data included in the message, a value field as a second element including message information, and a length as a third element indicating the size of the message information (length) ) Field.
  • the second element may include one or more of haptic pattern information and illumination pattern information.
  • the tag field indicates the type of message. In one embodiment, if the tag field is 0x43 (ASCII code'C', a randomly determined value), it may be recognized that the message includes haptic pattern information and lighting pattern information.
  • the length field may indicate the size of the message value in bytes. When the size of the message value exceeds 255 (0xFF) bytes, the value of 0x81 may be added according to the BER method. For example, in the case of 260 bytes,'length' may be designated as '0x81 0x01 0x04'.
  • the value field contains the information of the message. In some cases, information on tags, lengths, and values may all be included in the value field.
  • the second element which is the value field, includes tag information for distinguishing data included in the message from haptic pattern data, lighting pattern data, sound data, and emoticon data. Can be. Table 2 below shows an example of the corresponding tag information.
  • the pattern data reproducing method may be performed by the pattern data reproducing apparatus described herein.
  • the pattern data reproducing apparatus receives pattern data from the pattern data generating apparatus.
  • the pattern data includes pattern information determined based on input data according to user selection.
  • the pattern information may include one or more of haptic pattern information for a haptic pattern and illumination pattern information for a lighting pattern.
  • the pattern data reproducing apparatus analyzes the received pattern data and extracts pattern information from the pattern data.
  • the pattern data reproducing apparatus may extract pattern level information of the haptic pattern, pattern time interval information of the haptic pattern, lighting color information of the lighting pattern, and output time information of the lighting pattern from the pattern data.
  • the pattern data reproducing apparatus When the pattern data includes pattern information for a haptic pattern, the pattern data reproducing apparatus reproduces the haptic pattern based on the pattern information in step 930.
  • the pattern data reproducing apparatus extracts pattern level information and pattern time interval information of the haptic pattern from the pattern information.
  • the pattern data reproducing apparatus may convert the pattern level into a voltage signal to be applied to the actuator based on the pattern level information.
  • the pattern data reproducing apparatus may set the pattern time interval indicated in the pattern time interval information as delay information to be applied to the generation of the haptic pattern. Accordingly, a time point at which the haptic pattern is generated may be determined.
  • the pattern data reproducing apparatus may drive the actuator to generate a haptic stimulus corresponding to the pattern level at each point in time at which the haptic pattern will be generated.
  • the pattern data reproducing apparatus reproduces the lighting pattern in step 940 based on the pattern information.
  • the pattern data reproducing apparatus extracts illumination color information and output time information of the illumination pattern from the pattern information.
  • the pattern data reproducing apparatus may set an output time point of the lighting pattern based on the extracted output time information.
  • the pattern data reproducing apparatus may drive an illumination unit such as an LED based on information about the set output time point and illumination color information.
  • the pattern data reproduction apparatus reproduces the haptic pattern reproduction process in step 930 and the lighting pattern in step 940 The process can be performed simultaneously in parallel.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded in the medium may be specially designed and configured for the embodiments or may be known and usable by those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks.
  • -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • the software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device.
  • Software and/or data may be interpreted by a processing device, or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodied in the transmitted signal wave.
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법이 개시된다. 패턴 데이터 생성 장치는 사용자 선택에 따른 입력 데이터를 수신하는 입력 데이터 수신부, 입력 데이터에 기초하여 패턴 정보를 결정하고, 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 콘트롤러와 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 통신부를 포함한다.

Description

패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
아래의 실시예들은 패턴 데이터 생성 기술 및 패턴 데이터 제생 기술에 관한 것이다.
문화 산업이 발달함에 따라 콘서트, 비디오 게임 등 사용자가 즐길 수 있는 컨텐츠의 종류가 다양화되고, VR(Virtual Reality), 3D 영상, 4D 체험과 같은 몰입감이 높은 컨텐츠를 제공하는 방법에 대한 소비자의 수요가 점차 증대되고 있다. 이러한 경향에 따라 사용자에게 햅틱 피드백을 제공하는 햅틱 장치에 대한 관심도 나날이 증가하고 있다. 햅틱 장치는 햅틱 장치에 흐르는 전류량, 햅틱 장치에 인가되는 전압의 크기를 조절하여 햅틱 장치가 제공하는 햅틱 자극을 조절할 수 있다.
일 실시예에 따른 패턴 데이터 생성 장치는, 사용자 선택에 따른 입력 데이터를 수신하는 입력 데이터 수신부; 상기 입력 데이터에 기초하여 패턴 정보를 결정하고, 상기 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 콘트롤러; 및 상기 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 통신부를 포함할 수 있다.
상기 패턴 데이터는, 액추에이터에 적용되는 햅틱 패턴 및 조명부에 적용되는 조명 패턴 중 적어도 하나에 대한 패턴 정보를 포함할 수 있다.
상기 콘트롤러는, 상기 입력 데이터를 분석하고, 상기 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정할 수 있다.
상기 입력 데이터 수신부는, 상기 사용자 선택에 따라 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중 어느 하나를 수신할 수 있다.
상기 콘트롤러는, 상기 입력 데이터가 상기 사운드 데이터인 경우, 상기 사운드 데이터를 구성하는 주파수 대역들 중에서 타겟 주파수 대역을 결정하고, 밴드패스 필터를 이용하여 상기 타겟 주파수 대역의 사운드 데이터를 필터링하고, 임계치에 기초하여 상기 필터링된 사운드 데이터로부터 햅틱 패턴의 패턴 레벨 정보 및 상기 햅틱 패턴의 패턴 시간 간격 정보를 결정할 수 있다.
상기 콘트롤러는, 상기 입력 데이터가 상기 터치 입력 데이터인 경우, 상기 터치 입력 데이터로부터 터치 입력의 유지 시간 정보 및 상기 터치 입력의 시간 간격 정보를 추출하고, 상기 유지 시간 정보 및 상기 시간 간격 정보에 기초하여 햅틱 패턴의 패턴 데이터를 생성할 수 있다.
상기 콘트롤러는, 상기 입력 데이터가 상기 사용자 패턴 설정 데이터인 경우, 상기 사용자 패턴 설정 데이터에 기초하여 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정하고, 상기 결정된 패턴 레벨 정보 및 상기 패턴 시간 간격 정보에 기초하여 상기 패턴 데이터를 생성할 수 있다.
상기 패턴 데이터는, 메시지에 포함되어 상기 패턴 데이터 재생 장치에 전송되고, 상기 메시지는, 상기 메시지에 포함된 데이터의 종류를 나타내는 제1 엘리먼트; 메시지 정보를 포함하는 제2 엘리먼트; 및 상기 메시지 정보의 크기를 나타내는 제3 엘리먼트를 포함할 수 있다.
일 실시예에 따른 패턴 데이터 재생 장치는, 패턴 데이터 생성 장치로부터 패턴 데이터를 수신하는 통신부 - 상기 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함함 -; 상기 수신한 패턴 데이터로부터 패턴 정보를 추출하는 콘트롤러; 및 상기 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생하는 햅틱 패턴 재생부를 포함할 수 있다.
상기 햅틱 패턴 재생부는, 상기 패턴 정보에 포함된, 패턴의 세기를 나타내는 패턴 레벨 정보 및 패턴이 출력될 시간 간격을 나타내는 시간 간격 정보에 기초하여 액추에이터를 구동하는 것에 의해 햅틱 패턴을 재생할 수 있다.
일 실시예에 따른 패턴 데이터 재생 장치는, 상기 추출한 패턴 정보에 기초하여 조명 패턴을 재생하는 조명 패턴 재생부를 더 포함할 수 있다.
상기 조명 패턴 재생부는, 상기 패턴 정보에 포함된 조명 패턴의 조명 컬러 정보 및 상기 조명 패턴의 출력 시간 정보에 기초하여 조명부를 구동하는 것에 의해 조명 패턴을 재생할 수 있다.
일 실시예에 따른 패턴 데이터 생성 방법은, 사용자 선택에 따른 입력 데이터를 수신하는 단계; 상기 입력 데이터에 기초하여 패턴 정보를 결정하는 단계; 상기 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 단계; 및 상기 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 단계를 포함할 수 있다.
일 실시예에 따른 패턴 데이터 재생 방법은, 패턴 데이터 생성 장치로부터 패턴 데이터를 수신하는 단계 - 상기 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함함 -; 상기 수신한 패턴 데이터로부터 패턴 정보를 추출하는 단계; 및 상기 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생하는 단계를 포함할 수 있다.
일 실시예에 따른 패턴 데이터 재생 방법은, 상기 패턴 데이터에 조명 패턴에 대한 패턴 정보가 포함된 경우, 상기 조명 패턴에 대한 패턴 정보에 기초하여 조명 패턴을 재생하는 단계를 더 포함할 수 있다.
도 1은 일 실시예에 따른 패턴 데이터 제공 시스템을 도시하는 도면이다.
도 2는 일 실시예에 따른 패턴 데이터 생성 방법의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 입력 데이터의 타입에 따라 패턴 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 사운드 데이터에 기초하여 패턴 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
도 5 및 도 6은 일 실시예에 따른 사운드 데이터에 기초하여 패턴 데이터를 생성하는 일례를 설명하기 위한 도면들이다.
도 7은 일 실시예에 따른 사용자 패턴 설정 데이터를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 패턴 데이터를 포함하는 메시지의 엘리먼트들을 도시하는 도면이다.
도 9는 일 실시예에 따른 패턴 데이터 재생 방법의 동작을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 패턴 데이터 제공 시스템을 도시하는 도면이다.
패턴 데이터 제공 시스템(100)은 패턴 데이터에 기초하여 사용자에게 햅틱 자극(햅틱 효과) 및/또는 조명 자극(조명 효과)을 사용자에게 제공하는 시스템이다. 예를 들어, 패턴 데이터 제공 시스템(100)은 콘서트장, 영화관, 공연장 등과 같은 장소에서 관람객들에게 제공될 콘텐츠의 비트 패턴에 대응하는 패턴 데이터를 생성하고, 생성된 패턴 데이터를 관람객들에게 전송할 수 있다. 관람객들은 웨어러블 디바이스를 착용하고, 웨어러블 디바이스는 패턴 데이터를 수신할 수 있다. 웨어러블 디바이스는 패턴 데이터를 재생하여 관람객들에게 콘텐츠에 어울리는 햅틱 자극 및/또는 조명 자극을 제공할 수 있다. 관람객들은 햅틱 자극 및/또는 조명 자극을 통해 더 높은 차원의 몰입감을 느낄 수 있으며, 콘텐츠의 제공 효과(공연 효과)가 극대화될 수 있다.
다른 예로, 사용자가 음악 재생 애플리케이션이 실행되는 구동 디바이스를 이용하여 음악 콘텐츠를 듣는 경우를 가정한다. 이 경우, 패턴 데이터 제공 시스템(100)은 음악 콘텐츠를 분석하여 음악 콘텐츠에 어울리는 패턴 데이터를 생성하고, 위 구동 디바이스에 유선 또는 무선으로 연결될 수 있는 액세서리 디바이스를 이용하여 패턴 데이터를 재생함으로써 사용자에게 음악 콘텐츠에 대응하는 햅틱 자극 및/또는 조명 자극을 제공할 수 있다.
또 다른 예로, 사용자는 패턴 데이터 제공 시스템(100)을 통해 패턴 데이터를 직접 제작할 수도 있다. 사용자는 햅틱 자극이나 조명 자극의 패턴이 발생하는 시간 간격과 패턴의 세기를 설정하는 것에 의해 개성 있는 패턴 데이터를 생성할 수 있다. 사용자는, 예를 들어 두드림, 문지름 등의 터치 입력을 통해 자신만의 개성 있는 패턴 데이터를 생성할 수 있다. 생성된 패턴 데이터는 저장되고, 디바이스나 다른 사용자에게 전달될 수 있다.
도 1을 참고하면, 일 실시예에 따른 패턴 데이터 제공 시스템(100)은 패턴 데이터 생성 장치(110) 및 패턴 데이터 재생 장치(150)를 포함한다. 패턴 데이터 생성 장치(110)는 패턴 데이터를 생성하는 장치로서, 예를 들어 퍼스널 컴퓨터, 스마트폰과 같은 모바일 디바이스 등에 해당될 수 있다. 패턴 데이터 생성 장치(110)는 패턴 데이터를 생성하고, 생성된 패턴 데이터를 전달할 수 있다. 예를 들어, 패턴 데이터 생성 장치(110)는 콘텐츠(예, 음악과 같은 사운드 데이터)를 분석하여 해당 콘텐츠에 대응하는 패턴 데이터를 생성하거나 또는 사용자에 의해 입력된 터치 입력 데이터나 사용자 패턴 설정 데이터 기초하여 패턴 데이터를 생성할 수 있다. 이렇게 생성된 패턴 데이터는 사용자에게 제공될 햅틱 자극 및/또는 조명 자극의 패턴을 정의하는 패턴 정보를 포함할 수 있다.
패턴 데이터 재생 장치(150)는 패턴 데이터 생성 장치(110)로부터 전달 받은 패턴 데이터에 기초하여 사용자에게 햅틱 자극 및/또는 조명 자극을 제공하는 장치이다. 패턴 데이터 재생 장치(150)는 '햅틱 장치'로도 지칭될 수 있다. 일 실시예에서, 패턴 데이터 재생 장치(150)는 패턴 데이터를 재생하여 진동이나 두드림 등을 발생시킴으로써 사용자에게 특정한 패턴의 햅틱 자극을 제공할 수 있다. 또한, 패턴 데이터 재생 장치(150)는 패턴 데이터를 재생하여 LED와 같은 조명부의 조명 컬러와 조명 세기를 조절함으로써 사용자에게 특정한 패턴의 시각 자극을 제공할 수 있다. 패턴 데이터 재생 장치(150)는, 예를 들어 웨어러블 디바이스, 모바일 디바이스의 액세서리 디바이스, 휴대 가능한 전자 디바이스 등의 형태를 가질 수 있으나, 그 형태가 이들에 한정되는 것은 아니다.
도 1에 도시된 것과 같이, 패턴 데이터 생성 장치(110)와 패턴 데이터 재생 장치(150)는 네트워크(105)를 통해 무선으로 연결되거나 또는 케이블을 통해 유선으로도 연결될 수 있다.
패턴 데이터 생성 장치(110)는 입력 데이터 수신부(120), 콘트롤러(130) 및 통신부(140)를 포함한다. 입력 데이터 수신부(120)는 사용자 선택에 따른 입력 데이터를 수신한다. 입력 데이터 수신부(120)는 사용자 선택에 따라 음악과 같은 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중 어느 하나를 수신할 수 있다. 터치 입력 데이터의 경우, 터치 스크린 디스플레이 등에 사용자가 가하는 두드림이나 문지름 등의 터치 입력을 센싱하는 것에 의해 획득될 수 있다. 사용자 패턴 설정 데이터는 이퀄라이저와 같은 인터페이스를 통해 사용자가 패턴 레벨이나 패턴 시간 간격을 직접 설정하는 것에 의해 획득될 수 있다. 사용자는 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중에서 어느 것을 이용하여 패턴 데이터를 생성할 지를 선택할 수 있다.
콘트롤러(130)는 패턴 데이터 생성 장치(110)의 동작을 제어하고, 하나 이상의 프로세서를 포함할 수 있다. 콘트롤러(130)는 입력 데이터 수신부(120)를 통해 수신한 입력 데이터에 기초하여 패턴 정보를 결정하고, 결정된 패턴 정보를 포함하는 패턴 데이터를 생성할 수 있다. 콘트롤러(130)는 입력 데이터를 분석하고, 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정할 수 있다. 패턴 데이터는 액추에이터에 적용되는 햅틱 패턴 및 조명부에 적용되는 조명 패턴 중 적어도 하나에 대한 패턴 정보를 포함할 수 있다. 일 실시예에서, 콘트롤러(130)는 입력 데이터에 기초하여 햅틱 패턴의 패턴 레벨 정보, 햅틱 패턴의 패턴 시간 간격 정보, 조명 패턴의 조명 컬러 정보 및 조명 패턴의 출력 시간 정보를 결정할 수 있고, 결정된 정보들을 저장하도록 제어할 수 있다.
일 실시예에서, 입력 데이터가 사운드 데이터인 경우를 가정한다. 이 경우, 콘트롤러(130)는 사운드 데이터로부터 자동으로 패턴 정보를 추출할 수 있다. 콘트롤러(130)는 입력된 사운드 데이터를 구성하는 주파수 대역들 중에서 타겟 주파수 대역을 결정하고, 밴드패스 필터(bandpass filter)를 이용하여 타겟 주파수 대역의 사운드 데이터를 필터링하여 가청음 영역의 사운드 데이터를 추출할 수 있다. 콘트롤러(130)는 임계치에 기초하여 필터링된 사운드 데이터로부터 햅틱 패턴의 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정할 수 있다.
예를 들어, 입력 데이터 수신부(120)가 웨이브(wave)나 MP3 파일의 사운드 데이터를 입력 데이터로서 수신한 경우, 콘트롤러(130)는 사운드 데이터의 전반부에 재생되는 전주 부분(예, 약 1분 정도 부분)을 일정한 시간 주기(예, 200 ms)로 고속 푸리에 변환(Fast Fourier Transform; FFT)을 수행하여 주파수 도메인에서 분석하여 가장 많이 반복되는 주파수 대역(FFT 값이 가장 큰 주파수 대역)을 타겟 주파수 대역으로 결정할 수 있다. 이와 같이, 콘트롤러(130)는 음악과 같은 사운드 데이터의 초기 전반부에서 패턴 데이터를 형성할 타겟 주파수 대역을 결정할 수 있다. 이후에, 콘트롤러(130)는 밴드패스 필터링과 역 고속 푸리에 변환(Inverse Fast Fourier Transform; IFFT)을 수행하여 필터링된 사운드 데이터를 시간 도메인으로 출력한다. 콘트롤러(130)는 IFFT가 수행되어 시간 도메인으로 변환된 사운드 데이터의 신호 값을 일정한 임계치(사용자가 설정 가능)와 비교하여 패턴 레벨 정보와 패턴 시간 간격 정보를 결정할 수 있다. 예를 들어, 콘트롤러(130)는 IFFT 처리된 사운드 데이터의 신호 값이 임계치 이상이면, 신호 값과 임계치 간의 차이에 기초하여 패턴 레벨을 결정하고, 신호 값이 임계치 미만이면 패턴 레벨을 0으로 처리할 수 있다. 패턴 레벨은, 예를 들어 0과 10 사이의 디지털 값으로 결정될 수 있다. 콘트롤러(130)는 신호 값이 임계치 이상인 시간들을 탐지하고, 탐지된 시간들 사이의 간격에 기초하여 패턴 시간 간격 정보를 결정할 수 있다.
또한, 콘트롤러(130)는 타겟 주파수 대역에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 패턴 시간 간격 정보에 기초하여 조명 패턴이 출력되는 시점을 나타내는 조명 패턴의 출력 시간 정보를 결정할 수도 있다. 예를 들어, 타겟 주파수 대역의 값에 따라 조명 패턴의 컬러가 다르게 결정될 수 있고, 사운드 데이터를 분석하여 도출된 패턴 시간 간격에 기초하여 조명 패턴이 출력될 시간이 결정될 수 있다.
다른 실시예에서, 입력 데이터가 터치 입력 데이터인 경우를 가정한다. 사용자는 터치 입력을 통해 간단하게 패턴 데이터를 생성할 수 있고, 이렇게 생성된 터치 입력 데이터는 터치가 입력된 시간 간격을 나타내는 시간 간격 정보, 터치가 유지된 시간 구간인 유지 시간 정보 및 입력된 터치의 세기 정보를 포함할 수 있다. 콘트롤러(130)는 터치 입력 데이터로부터 자동으로 패턴 정보를 추출할 수 있다. 콘트롤러(130)는 터치 입력 데이터로부터 터치 입력의 유지 시간 정보 및 터치 입력의 시간 간격 정보를 추출하고, 추출된 유지 시간 정보 및 시간 간격 정보에 기초하여 햅틱 패턴의 패턴 데이터를 생성할 수 있다. 콘트롤러(130)는 해당 유지 시간 정보에 기초하여 햅틱 패턴의 재생 시작 시간을 설정하고, 해당 시간 간격 정보에 기초하여 햅틱 패턴의 재생 멈춤 시간을 설정할 수 있다.
또한, 콘트롤러(130)는 터치 입력 데이터의 분석을 통해 추출된 유지 시간 정보와 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정할 수 있다. 그리고, 콘트롤러(130)는 터치 입력의 세기에 기초하여 조명 패턴의 조명 컬러 정보를 결정할 수 있다. 예를 들어, 콘트롤러(130)는 터치 입력의 세기가 약하면 파란색의 비율을 높이고, 터치 입력의 세기가 강하면 빨간색의 비율을 높이는 것과 같은 방식으로 조명 컬러 정보를 결정할 수 있다.
또 다른 실시예에서, 입력 데이터가 사용자 패턴 설정 데이터인 경우를 가정한다. 콘트롤러(130)는 사용자 패턴 설정 데이터에 기초하여 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정하고, 결정된 패턴 레벨 정보 및 패턴 시간 간격 정보에 기초하여 패턴 데이터를 생성할 수 있다. 예를 들어, 사용자는 이퀄라이저 등의 형태를 가지는 패턴 입력 프로그램을 이용하여 패턴 데이터의 생성을 위한 설정 정보를 입력할 수 있고, 입력된 설정 정보는 사용자 패턴 설정 데이터로서 입력 데이터 수신부(120)에 입력될 수 있다. 콘트롤러(130)는 사용자 패턴 설정 데이터를 디지털 값의 패턴 레벨로 변환하고, 패턴의 시간 간격을 결정할 수 있다. 예를 들어, 사용자가 각 주파수 대역별로 패턴 레벨 값을 설정한 경우, 콘트롤러(130)는 각 주파수 대역에 대응하는 시간 주기별로 해당 주파수 대역에 설정된 패턴 레벨 값의 햅틱 패턴이 발생하도록 패턴 데이터를 생성할 수 있다.
또한, 콘트롤러(130)는 사용자 패턴 설정 데이터로의 분석을 통해 결정된 패턴 레벨 정보 및 패턴 시간 간격 정보에 기초하여 조명 패턴의 조명 컬러 정보와 출력 시간 정보를 결정할 수 있다. 예를 들어, 콘트롤러(130)는 결정된 패턴 레벨의 크기에 기초하여 조명 컬러를 결정하고, 패턴 시간 간격 정보에 기초하여 조명 패턴이 출력될 시간을 결정할 수 있다.
통신부(140)는 생성된 패턴 데이터를 패턴 데이터 재생 장치(150)에 전송할 수 있다. 이 때, 패턴 데이터는 메시지에 포함되어 패턴 데이터 재생 장치(150)에 전송될 수 있다. 통신부(140)는, 예를 들어 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 와이파이(Wi-Fi), LTE(Long Term Evolution) 등과 같은 네트워크(105)를 통해 패턴 데이터를 패턴 데이터 재생 장치(150)에 전송할 수 있다. 일 실시예에서, 사용자는 패턴 데이터가 전송될 네트워크(105)의 종류를 선택할 수 있고, 이 경우 통신부(140)는 사용자에 의해 선택된 네트워크(105)를 통해 패턴 데이터를 전송할 수 있다.
실시예에 따라, 패턴 데이터 생성 장치(110)는 패턴 데이터의 전송이 완료되면, 사용자에게 패턴 데이터의 전송 완료를 통지할 수도 있다. 또한, 패턴 데이터 생성 장치(110)는 전송된 패턴 데이터를 저장하고, 히스토리 정보를 생성하여 관리할 수 있다. 저장된 패턴 데이터는 이후에 다른 디바이스나 다른 사용자에게 전송될 수 있다.
패턴 데이터 재생 장치(150)는 패턴 데이터 생성 장치(110)로부터 패턴 데이터를 전달받고, 전달받은 패턴 데이터를 재생한다. 이러한 패턴 데이터 재생 장치(150)는 통신부(160), 콘트롤러(170) 및 햅틱 패턴 재생부(180)를 포함한다. 실시예에 따라, 패턴 데이터 재생 장치(150)는 조명 패턴 재생부(190)를 더 포함할 수 있다.
통신부(160)는 패턴 데이터 생성 장치(110)로부터 패턴 데이터를 수신한다. 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함할 수 있다. 실시예에 따라, 패턴 데이터의 수신이 완료되는 경우, 수신된 패턴 데이터는 저장부(미도시)에 저장될 수 있고, 패턴 데이터 재생 장치(150)의 사용자에게 패턴 데이터의 수신 완료를 통지할 수 있다.
콘트롤러(170)는 패턴 데이터 재생 장치(150)의 동작을 제어하고, 하나 이상의 프로세서를 포함할 수 있다. 콘트롤러(170)는 수신한 패턴 데이터를 분석하여 패턴 데이터로부터 패턴 정보를 추출할 수 있다. 예를 들어, 콘트롤러(170)는 패턴 데이터로부터 햅틱 패턴의 패턴 레벨 정보, 햅틱 패턴의 패턴 시간 간격 정보, 조명 패턴의 조명 컬러 정보, 조명 패턴의 출력 시간 정보 등을 추출할 수 있다.
햅틱 패턴 재생부(180)는 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생한다. 햅틱 패턴 재생부(180)는 패턴 정보에 포함된, 패턴의 세기를 나타내는 패턴 레벨 정보 및 패턴이 출력될 시간 간격을 나타내는 시간 간격 정보에 기초하여 액추에이터(촉각 액추에이터 등)를 구동하는 것에 의해 햅틱 패턴을 재생할 수 있다. 액추에이터는 햅틱 패턴 재생부(180)로부터 전달되는 제어 신호에 기초하여 햅틱 패턴에 따라 햅틱 자극을 발생시킬 수 있다. 실시예에 따라, 액추에이터는 햅틱 패턴 재생부(180)에 포함될 수도 있다.
조명 패턴 재생부(190)는 추출한 패턴 정보에 기초하여 조명 패턴을 재생한다. 조명 패턴 재생부(190)는 패턴 정보에 포함된 조명 패턴의 조명 컬러 정보 및 조명 패턴의 출력 시간 정보에 기초하여 조명부를 구동하는 것에 의해 조명 패턴을 재생할 수 있다. 예를 들어, LED와 같은 조명부는 웨어러블 디바이스에 장착되어 있을 수 있고, 조명부는 조명 패턴 재생부(190)로부터 전달되는 제어 신호에 기초하여 조명 패턴에 따라 조명 자극을 발생시킬 수 있다. 실시예에 따라, 조명부는 조명 패턴 재생부(190)에 포함될 수도 있다.
도 2는 일 실시예에 따른 패턴 데이터 생성 방법의 동작을 설명하기 위한 흐름도이다. 패턴 데이터 생성 방법은 본 명세서에서 설명되는 패턴 데이터 생성 장치에 의해 수행될 수 있다.
도 2를 참조하면, 단계(210)에서 패턴 데이터 생성 장치는 사용자 선택에 따른 입력 데이터를 수신할 수 있다. 패턴 데이터 생성 장치는 사용자 선택에 따라 음악과 같은 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중 어느 하나를 수신할 수 있다.
패턴 데이터 생성 장치는, 단계(220)에서 입력 데이터에 기초하여 패턴 정보를 결정하고, 단계(230)에서 결정된 패턴 정보를 포함하는 패턴 데이터를 생성한다. 패턴 데이터 생성 장치는 입력 데이터의 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정할 수 있다. 패턴 데이터는 액추에이터에 적용되는 햅틱 패턴 및 조명부에 적용되는 조명 패턴 중 적어도 하나에 대한 패턴 정보를 포함할 수 있다
패턴 데이터에 포함되는 정보의 일례는 다음의 표 1과 같다. 실시예에 따라, 패턴 데이터는 햅틱 패턴에 대한 정보와 조명 패턴에 대한 정보를 모두 포함하거나 또는 어느 하나의 정보만을 포함할 수도 있다. 패턴 데이터의 구조에 의해 햅틱 패턴과 조명 패턴은 발생 시간이 동기화될 수도 있고, 아니면 서로 간에 발생 시간에 차이가 존재할 수도 있다.
Figure PCTKR2019015011-appb-img-000001
단계(240)에서, 패턴 데이터 생성 장치는 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송할 수 있다. 패턴 데이터 생성 장치는, 예를 들어 케이블과 같은 유선, 또는 블루투스, BLE, 와이파이, LTE 등과 같은 무선 네트워크를 통해 패턴 데이터를 패턴 데이터 재생 장치에 전송할 수 있다
도 3은 일 실시예에 따른 입력 데이터의 타입에 따라 패턴 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
도 3을 참조하면, 단계(310)에서 패턴 데이터 생성 장치는 패턴 데이터를 생성하는데 이용될 입력 데이터를 수신하고, 입력 데이터의 타입을 검사할 수 있다.
검사 결과, 입력 데이터가 사운드 데이터인 것으로 식별되면, 패턴 데이터 생성 장치는 단계(322), 단계(324) 및 단계(326)의 과정을 수행할 수 있다. 단계(322)에서, 패턴 데이터 생성 장치는 입력 주파수 대역을 수신할 수 있다. 입력 주파수 대역은, 예를 들어 음악 콘텐츠의 전주 등 초기 부분에서 햅틱 패턴을 형성하는데 이용될 주파수 대역이다.
단계(324)에서, 패턴 데이터 생성 장치는 입력 주파수 대역에 기초하여 사운드 데이터에 대해 FFT 처리, 필터링 처리 및 IFFT 처리를 수행할 수 있다. 패턴 데이터 생성 장치는 사운드 데이터에 FFT 처리를 수행하고, FFT 처리를 수행한 결과에서 입력 주파수 대역에 기초하여 필터링을 수행할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 밴드패스 필터를 이용하여 입력 주파수 대역에 필터링을 수행하고, 필터링이 수행된 입력 주파수 대역의 사운드 데이터에 IFFT 처리를 수행할 수 있다. 패턴 데이터 생성 장치는 IFFT 처리를 수행한 결과에서 임계치에 기초하여 햅틱 패턴을 위한 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정할 수 있다.
이후에, 단계(340)에서 패턴 데이터 생성 장치는 입력 주파수 대역에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 단계(326)에서 결정된 패턴 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정할 수도 있다. 단계(350)에서 패턴 데이터 생성 장치는 패턴 레벨 정보, 패턴 시간 간격 정보, 조명 컬러 정보 및 출력 시간 정보를 저장할 수 있다.
단계(310)에서 수신한 입력 데이터의 종류를 검사한 결과, 입력 데이터가 터치 입력 데이터인 것으로 식별되면, 패턴 데이터 생성 장치는 단계(332) 및 단계(334)의 과정을 수행할 수 있다. 단계(332)에서, 패턴 데이터 생성 장치는 터치 입력 데이터로부터 터치가 유지된 시간 구간인 터치 입력의 유지 시간 정보를 추출할 수 있다. 패턴 데이터 생성 장치는 추출된 유지 시간 정보에 기초하여 햅틱 패턴의 재생 시작 시간을 설정할 수 있다. 단계(334)에서, 패턴 데이터 생성 장치는 터치 입력 데이터로부터 터치가 입력된 시간 간격을 나타내는 시간 간격 정보를 추출할 수 있다. 패턴 데이터 생성 장치는 추출된 시간 간격 정보에 기초하여 햅틱 패턴의 재생 멈춤 시간을 설정할 수 있다.
이후에, 단계(340)에서 패턴 데이터 생성 장치는 터치 입력의 세기에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 단계(332) 및 단계(334)에서 각각 추출된 유지 시간 정보와 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정할 수도 있다. 단계(350)에서 패턴 데이터 생성 장치는 패턴 레벨 정보, 패턴 시간 간격 정보, 조명 컬러 정보 및 출력 시간 정보를 저장할 수 있다.
단계(310)에서 수신한 입력 데이터의 종류를 검사한 결과, 입력 데이터가 사용자 패턴 설정 데이터인 것으로 식별되면, 패턴 데이터 생성 장치는 단계(342), 단계(344) 및 단계(346)의 과정을 수행할 수 있다. 단계(342)에서, 패턴 데이터 생성 장치는 사용자 패턴 설정 데이터로부터 패턴 레벨 설정 정보 및 출력 시간 설정 정보를 추출할 수 있다. 사용자는 패턴 데이터의 생성을 위해 패턴 입력 프로그램을 이용하여 패턴 레벨 설정 정보 및 출력 시간 설정 정보와 설정 정보를 입력할 수 있다. 여기서, 패턴 레벨 설정 정보는 사용자가 직접 설정한 패턴 레벨에 대한 정보를 포함하고, 출력 시간 설정 정보는 주파수 대역별로 정해진 출력 시간 주기 또는 사용자가 직접 설정한 출력 시간 주기에 대한 정보를 포함할 수 있다. 실시예에 따라, 패턴 데이터 생성 장치는 입력 데이터에 대해 필터링 처리를 수행할 수도 있다. 단계(344)에서, 패턴 데이터 생성 장치는 패턴 레벨 설정 정보 및 출력 시간 설정 정보에 기초하여 햅틱 패턴을 위한 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정할 수 있다.
이후에, 단계(340)에서 패턴 데이터 생성 장치는 패턴 레벨 정보에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 단계(344)에서 결정된 패턴 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정할 수도 있다. 단계(350)에서 패턴 데이터 생성 장치는 패턴 레벨 정보, 패턴 시간 간격 정보, 조명 컬러 정보 및 출력 시간 정보를 저장할 수 있다.
도 4는 일 실시예에 따른 사운드 데이터에 기초하여 패턴 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
도 4를 참조하면, 단계(410)에서 패턴 데이터 생성 장치는 사운드 데이터를 수신한다. 실시예에 따라, 패턴 데이터 생성 장치는 수신한 사운드 데이터에 대해 튀는 신호 값을 제거하는 노이즈 제거 등의 전처리를 수행할 수 있다. 또한, 패턴 데이터 생성 장치는 사운드 데이터에서 타겟 주파수 대역을 결정하는데 이용될 부분을 추출할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 사운드 데이터에서 초반의 전주 부분을 추출하고, 추출된 부분의 사운드 데이터에 대해 다음의 단계(420) 내지 단계(470)의 과정을 수행할 수 있다.
단계(420)에서, 패턴 데이터 생성 장치는 일정 주기로 사운드 데이터에 대해 FFT 처리를 수행하여 사운드 데이터를 시간 도메인에서 주파수 도메인으로 변환시킬 수 있다. 단계(430)에서, 패턴 데이터 생성 장치는 주파수 도메인의 사운드 데이터에서 타겟 주파수 대역을 선택하고, 선택된 타겟 주파수 대역에 대한 정보를 저장할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 많이 반복되는 주파수 대역을 타겟 주파수 대역으로 선택할 수 있다. 패턴 데이터 생성 장치는 사운드 데이터를 주파수 대역별로 분할하고, FFT 처리가 수행된 값이 가장 큰 주파수를 포함하는 주파수 대역을 타겟 주파수 대역으로 선택할 수 있다. 저장된 타겟 주파수 대역에 대한 정보는 나중에 조명 패턴의 패턴 정보를 결정하는데 이용될 수 있다.
단계(440)에서, 패턴 데이터 생성 장치는 타겟 주파수 대역에 기초하여 필터링 처리를 수행할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 타겟 주파수 대역을 기초로 밴드패스 필터를 이용한 필터링 처리를 수행함으로써, 가청음 영역(예, 10~500Hz의 영역)을 추출할 수 있다. 단계(450)에서, 패턴 데이터 생성 장치는 필터링 처리된 사운드 데이터를 IFFT 처리하여 시간 도메인의 데이터로 변환시킬 수 있다. IFFT 처리를 통해 사운드 데이터가 주파수 도메인에서 시간 도메인으로 변환될 수 있다.
단계(460)에서, 패턴 데이터 생성 장치는 임계치 처리를 수행할 수 있다. 여기서 이용되는 임계치는 사용자에 의해 결정될 수 있다. 패턴 데이터 생성 장치는 IFFT 처리 수행 결과 시간 도메인으로 변환된 사운드 데이터에서 임계치 이상의 신호 값들을 추출할 수 있다.
단계(470)에서, 패턴 데이터 생성 장치는 단계(460)에서 추출된 신호 값과 임계치 간의 차이에 기초하여 패턴 레벨을 결정하고, 패턴 시간 간격을 결정할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 신호 값과 임계치 간의 차이가 크면 큰 패턴 레벨을 할당하고, 해당 차이가 작으면 작은 패턴 레벨을 할당할 수 있다. 패턴 데이터 생성 장치는 사운드 데이터에서 임계치보다 작은 신호 값들은 레벨을 0으로 설정할 수 있다. 실시예에 따라, 사용자는 기준 시간 간격을 지정할 수 있고, 이 경우 패턴 데이터 생성 장치는 기준 시간 간격에 기초하여 패턴 시간 간격을 결정할 수 있다.
패턴 데이터 생성 장치는 단계(430)에서 선택된 타겟 주파 대역에 기초하여 조명 패턴의 조명 컬러를 결정하고, 단계(470)에서 결정된 패턴 시간 간격에 기초하여 조명 패턴의 출력 시간을 결정할 수 있다.
도 5 및 도 6은 일 실시예에 따른 사운드 데이터에 기초하여 패턴 데이터를 생성하는 일례를 설명하기 위한 도면들이다.
도 5를 참조하면, 패턴 데이터의 생성을 위해 사운드 데이터(510)가 입력되었다고 가정한다. 사운드 데이터(510)에서 x축은 '시간'을 나타내고, y축은 사운드 데이터(510)의 '신호 크기' 또는 '신호 값'을 나타낸다. 사운드 데이터(510)에 대해 FFT 처리가 수행되고, FFT 처리에 의해 주파수 도메인의 사운드 데이터(520)가 획득된다. 주파수 도메인의 사운드 데이터(520)에서 x축은 '주파수 대역'을 나타내고, y축은 'FFT 값'을 나타낸다. 본 실시예에서는 주파수 도메인의 사운드 데이터(520)에서 FFT 값이 가장 큰 주파수 대역이 '484.00 Hz'라고 가정한다. 이는 484.00 Hz의 주파수 대역이 가장 많이 반복된다는 것을 의미한다. 484.00 Hz의 주파수 대역이 타겟 주파수 대역으로 선택되며, 타겟 주파수 대역에 기초하여 밴드패스 필터링 처리가 수행되어 필터링 처리된 사운드 데이터(530)가 획득된다. 이후에, 필터링 처리된 사운드 데이터(530)에 대해 IFFT 처리가 수행되어 시간 도메인으로 변환된 사운드 데이터(540)가 획득된다. 시간 도메인으로 변환된 사운드 데이터(540)에서 x축은 '시간을 나타내고, y축은 사운드 데이터(540)의 ''신호 크기' 또는 '신호 값'을 나타낸다.
이후에 시간 도메인으로 변환된 사운드 데이터에 대해 도 6에 도시된 것과 같은 임계치 처리가 수행될 수 있다. 도 6을 참조하면, 사운드 데이터(610)의 신호 크기와 임계치 간의 차이에 기초하여 햅틱 패턴을 위한 패턴 레벨이 결정될 수 있다. 예를 들어, 신호 크기와 임계치 간의 차이가 크면 큰 패턴 레벨이 할당되고, 해당 차이가 작으면 작은 패턴 레벨이 할당될 수 있다. 여기서, 임계치는 사용자에 의해 지정이 가능하다. 사용자는, 또한 기준 시간 간격을 지정할 수 있고, 지정된 기준 시간 간격에 비례하여 패턴의 시간 간격이 결정될 수 있다.
도 7은 일 실시예에 따른 사용자 패턴 설정 데이터를 설명하기 위한 도면이다.
도 7을 참조하면, 사용자는 도시된 것과 같은 이퀄라이저의 형태를 가지는 패턴 입력 프로그램을 이용하여 패턴 데이터의 생성을 위한 설정 정보를 입력할 수 있고, 입력된 설정 정보는 사용자 패턴 설정 데이터로서 패턴 데이터 생성 장치에 전달될 수 있다. 사용자는 패턴 입력 프로그램을 통해 자신만의 패턴 데이터를 제작할 수 있다. 패턴 입력 프로그램은, 예를 들어 퍼스널 컴퓨터나 스마트폰에서 구동될 수 있다.
도시된 패턴 입력 프로그램에서 "1~10"은 서로 다른 주파수 대역이나 시간에 대응할 수 있다. 각 주파수 대역은 대응되는 시간 주기가 존재하고, 해당 시간 주기에 기초하여 햅틱 패턴의 패턴 시간 간격 정보가 결정될 수 있다. 다른 실시예에서, 햅틱 패턴의 패턴 시간 간격 정보는 사용자가 지정한 시간 정보에 기초하여 결정될 수도 있다. 사용자는 각 주파수 대역별로 레벨 값(예, 레벨 A~레벨 D)을 설정할 수 있고, 각 주파수 대역별로 설정된 레벨 값에 기초하여 햅틱 패턴의 패턴 레벨 정보가 결정될 수 있다. 또한, 각 주파수 대역별로 설정된 레벨 값에 기초하여 조명 패턴의 조명 컬러 정보가 결정되고, 각 주파수 대역에 대응되는 시간 주기에 기초하여 조명 패턴의 출력 신간 정보가 결정될 수 있다.
도 8은 일 실시예에 따른 패턴 데이터를 포함하는 메시지의 엘리먼트들을 도시하는 도면이다.
일 실시예에서, 패턴 데이터는 도 8에 도시된 것과 같은 메시지 포맷에 따라 메시지에 포함되어 패턴 데이터 재생 장치에 전송될 수 있다. 패턴 데이터가 ASN.1(Abstract Syntax Notation Number One)의 인코딩 규칙인 BER(Basic Encoding Rules) 방식(TLV 표기법)으로 구성된 예를 도시한다.
메시지는 해당 메시지에 포함된 데이터의 종류를 나타내는 제1 엘리먼트인 태그(tag) 필드, 메시지 정보를 포함하는 제2 엘리먼트인 값(value) 필드 및 메시지 정보의 크기를 나타내는 제3 엘리먼트인 길이(length) 필드를 포함할 수 있다. 여기서, 제2 엘리먼트는 햅틱 패턴 정보 및 조명 패턴 정보 중 하나 이상을 포함할 수 있다. 태그 필드는 메시지의 종류를 나타낸다. 일 실시예에서, 태그 필드에 0x43(ASCII 코드 'C', 임의로 정한 값)이면, 메시지에 햅틱 패턴 정보와 조명 패턴 정보가 수록된 것으로 인식될 수 있다. 길이 필드는 메시지 값의 크기를 바이트(bytes)로 표시할 수 있다. 메시지 값의 크기가 255(0xFF) 바이트를 초과하는 경우에는 BER 방식에 따라 0x81의 값이 앞에 추가될 수 있다. 예를 들어, 260 바이트인 경우, '길이'는 '0x81 0x01 0x04'로 지정될 수 있다.
값 필드는 메시지의 정보를 포함한다. 경우에 따라, 값 필드에 태그, 길이, 값의 정보가 모두 포함될 수도 있다. 값 필드에 태그, 길이, 값의 정보가 모두 포함되는 경우, 값 필드인 제2 엘리먼트에는 햅틱 패턴 데이터, 조명 패턴 데이터, 사운드 데이터 및 이모티콘 데이터 중에서 메시지에 포함된 데이터를 구분하기 위한 태그 정보가 포함될 수 있다. 해당 태그 정보의 예는 다음의 표 2와 같다.
Figure PCTKR2019015011-appb-img-000002
도 9는 일 실시예에 따른 패턴 데이터 재생 방법의 동작을 설명하기 위한 흐름도이다. 패턴 데이터 재생 방법은 본 명세서에서 설명되는 패턴 데이터 재생 장치에 의해 수행될 수 있다.
도 9를 참조하면, 단계(910)에서 패턴 데이터 재생 장치는 패턴 데이터 생성 장치로부터 패턴 데이터를 수신한다. 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함한다. 해당 패턴 정보는 햅틱 패턴에 대한 햅틱 패턴 정보 및 조명 패턴에 대한 조명 패턴 정보 중 하나 이상을 포함할 수 있다.
단계(920)에서, 패턴 데이터 재생 장치는 수신한 패턴 데이터를 분석하고 패턴 데이터로부터 패턴 정보를 추출한다. 패턴 데이터 재생 장치는 패턴 데이터로부터 햅틱 패턴의 패턴 레벨 정보, 햅틱 패턴의 패턴 시간 간격 정보, 조명 패턴의 조명 컬러 정보, 조명 패턴의 출력 시간 정보 등을 추출할 수 있다.
패턴 데이터가 햅틱 패턴에 대한 패턴 정보를 포함하는 경우, 패턴 데이터 재생 장치는 단계(930)에서 해당 패턴 정보에 기초하여 햅틱 패턴을 재생한다. 단계(932)에서, 패턴 데이터 재생 장치는 패턴 정보로부터 햅틱 패턴의 패턴 레벨 정보와 패턴 시간 간격 정보를 추출한다. 단계(934)에서, 패턴 데이터 재생 장치는 패턴 레벨 정보에 기초하여, 패턴 레벨을 액추에이터에 적용될 전압 신호로 변환할 수 있다. 단계(936)에서, 패턴 데이터 재생 장치는 패턴 시간 간격 정보에 나타난 패턴 시간 간격을 햅틱 패턴의 발생에 적용될 지연 정보로 설정할 수 있다. 이에 따라, 햅틱 패턴이 발생될 시점이 결정될 수 있다. 단계(938)에서, 패턴 데이터 재생 장치는 햅틱 패턴이 발생될 각 시점에서 패턴 레벨에 대응하는 햅틱 자극이 발생하도록 액추에이터를 구동시킬 수 있다.
패턴 데이터가 조명 패턴에 대한 패턴 정보를 포함하는 경우, 패턴 데이터 재생 장치는 단계(940)에서 해당 패턴 정보에 기초하여 조명 패턴을 재생한다. 단계(942)에서, 패턴 데이터 재생 장치는 패턴 정보로부터 조명 패턴의 조명 컬러 정보와 출력 시간 정보를 추출한다. 단계(944)에서, 패턴 데이터 재생 장치는 추출된 출력 시간 정보를 기초로 조명 패턴의 출력 시점을 설정할 수 있다. 단계(946)에서, 패턴 데이터 재생 장치는 설정된 출력 시점에 대한 정보와 조명 컬러 정보에 기초하여 LED와 같은 조명부를 구동시킬 수 있다.
일 실시예에서, 패턴 데이터가 햅틱 패턴에 대한 패턴 정보와 조명 패턴에 대한 패턴 정보를 모두 포함하는 경우, 패턴 데이터 재생 장치는 단계(930)의 햅틱 패턴 재생 과정과 단계(940)의 조명 패턴 재생 과정을 병렬적으로 동시에 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (23)

  1. 사용자 선택에 따른 입력 데이터를 수신하는 입력 데이터 수신부;
    상기 입력 데이터에 기초하여 패턴 정보를 결정하고, 상기 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 콘트롤러; 및
    상기 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 통신부
    를 포함하는 패턴 데이터 생성 장치.
  2. 제1항에 있어서,
    상기 패턴 데이터는,
    액추에이터에 적용되는 햅틱 패턴 및 조명부에 적용되는 조명 패턴 중 적어도 하나에 대한 패턴 정보를 포함하는,
    패턴 데이터 생성 장치.
  3. 제1항에 있어서,
    상기 콘트롤러는,
    상기 입력 데이터를 분석하고, 상기 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정하는,
    패턴 데이터 생성 장치.
  4. 제1항에 있어서,
    상기 입력 데이터 수신부는,
    상기 사용자 선택에 따라 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중 어느 하나를 수신하는,
    패턴 데이터 생성 장치.
  5. 제4항에 있어서,
    상기 콘트롤러는,
    상기 입력 데이터가 상기 사운드 데이터인 경우, 상기 사운드 데이터를 구성하는 주파수 대역들 중에서 타겟 주파수 대역을 결정하고,
    밴드패스 필터(bandpass filter)를 이용하여 상기 타겟 주파수 대역의 사운드 데이터를 필터링하고,
    임계치에 기초하여 상기 필터링된 사운드 데이터로부터 햅틱 패턴의 패턴 레벨 정보 및 상기 햅틱 패턴의 패턴 시간 간격 정보를 결정하는,
    패턴 데이터 생성 장치.
  6. 제5항에 있어서,
    상기 콘트롤러는,
    상기 타겟 주파수 대역에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고,
    상기 패턴 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정하는,
    패턴 데이터 생성 장치.
  7. 제4항에 있어서,,
    상기 콘트롤러는,
    상기 입력 데이터가 상기 터치 입력 데이터인 경우, 상기 터치 입력 데이터로부터 터치 입력의 유지 시간 정보 및 상기 터치 입력의 시간 간격 정보를 추출하고,
    상기 유지 시간 정보 및 상기 시간 간격 정보에 기초하여 햅틱 패턴의 패턴 데이터를 생성하는,
    패턴 데이터 생성 장치.
  8. 제7항에 있어서,
    상기 콘트롤러는,
    상기 유지 시간 정보에 기초하여 상기 햅틱 패턴의 재생 시작 시간을 설정하고, 상기 시간 간격 정보에 기초하여 상기 햅틱 패턴의 재생 멈춤 시간을 설정하는,
    패턴 데이터 생성 장치.
  9. 제7항에 있어서,
    상기 콘트롤러는,
    상기 유지 시간 정보와 상기 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정하는,
    패턴 데이터 생성 장치.
  10. 제4항에 있어서,,
    상기 콘트롤러는,
    상기 입력 데이터가 상기 터치 입력 데이터인 경우, 터치 입력의 세기에 기초하여 조명 패턴의 조명 컬러 정보를 결정하는,
    패턴 데이터 생성 장치.
  11. 제4항에 있어서,
    상기 콘트롤러는,
    상기 입력 데이터가 상기 사용자 패턴 설정 데이터인 경우, 상기 사용자 패턴 설정 데이터에 기초하여 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정하고, 상기 결정된 패턴 레벨 정보 및 상기 패턴 시간 간격 정보에 기초하여 상기 패턴 데이터를 생성하는,
    패턴 데이터 생성 장치.
  12. 제1항에 있어서,
    상기 패턴 데이터는, 메시지에 포함되어 상기 패턴 데이터 재생 장치에 전송되고,
    상기 메시지는,
    상기 메시지에 포함된 데이터의 종류를 나타내는 제1 엘리먼트;
    메시지 정보를 포함하는 제2 엘리먼트; 및
    상기 메시지 정보의 크기를 나타내는 제3 엘리먼트
    를 포함하는,
    햅틱 데이터 생성 장치.
  13. 제12항에 있어서,
    제2 엘리먼트는,
    햅틱 패턴 정보 및 조명 패턴 정보 중 적어도 하나를 포함하는,
    패턴 데이터 생성 장치.
  14. 제12항에 있어서,
    제2 엘리먼트는,
    햅틱 패턴 데이터, 조명 패턴 데이터, 사운드 데이터 및 이모티콘 데이터 중에서 상기 메시지에 포함된 데이터를 구분하기 위한 태그(tag) 정보를 포함하는,
    패턴 데이터 생성 장치.
  15. 패턴 데이터 생성 장치로부터 패턴 데이터를 수신하는 통신부 - 상기 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함함 -;
    상기 수신한 패턴 데이터로부터 패턴 정보를 추출하는 콘트롤러; 및
    상기 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생하는 햅틱 패턴 재생부
    를 포함하는 패턴 데이터 재생 장치.
  16. 제15항에 있어서,
    상기 햅틱 패턴 재생부는,
    상기 패턴 정보에 포함된, 패턴의 세기를 나타내는 패턴 레벨 정보 및 패턴이 출력될 시간 간격을 나타내는 시간 간격 정보에 기초하여 액추에이터를 구동하는 것에 의해 햅틱 패턴을 재생하는,
    패턴 데이터 재생 장치.
  17. 제15항에 있어서,
    상기 추출한 패턴 정보에 기초하여 조명 패턴을 재생하는 조명 패턴 재생부
    를 더 포함하는 패턴 데이터 재생 장치.
  18. 제17항에 있어서,
    상기 조명 패턴 재생부는,
    상기 패턴 정보에 포함된 조명 패턴의 조명 컬러 정보 및 상기 조명 패턴의 출력 시간 정보에 기초하여 조명부를 구동하는 것에 의해 조명 패턴을 재생하는,
    패턴 데이터 재생 장치.
  19. 패턴 데이터 생성 장치에 의해 수행되는 패턴 데이터 생성 방법에 있어서,
    사용자 선택에 따른 입력 데이터를 수신하는 단계;
    상기 입력 데이터에 기초하여 패턴 정보를 결정하는 단계;
    상기 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 단계; 및
    상기 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 단계
    를 포함하는 패턴 데이터 생성 방법.
  20. 제19항에 있어서,
    상기 패턴 정보를 결정하는 단계는,
    상기 입력 데이터의 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정하는 단계
    를 포함하는 패턴 데이터 생성 방법.
  21. 패턴 데이터 재생 장치에 의해 수행되는 패턴 데이터 재생 방법에 있어서,
    패턴 데이터 생성 장치로부터 패턴 데이터를 수신하는 단계 - 상기 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함함 -;
    상기 수신한 패턴 데이터로부터 패턴 정보를 추출하는 단계; 및
    상기 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생하는 단계
    를 포함하는 패턴 데이터 재생 방법.
  22. 제21항에 있어서,
    상기 패턴 데이터에 조명 패턴에 대한 패턴 정보가 포함된 경우, 상기 조명 패턴에 대한 패턴 정보에 기초하여 조명 패턴을 재생하는 단계
    를 더 포함하는 패턴 데이터 재생 방법.
  23. 제19항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2019/015011 2018-11-30 2019-11-07 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법 WO2020111558A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980076210.XA CN113168222A (zh) 2018-11-30 2019-11-07 模式数据生成装置及方法、模式数据再现装置及方法
US17/298,596 US11914779B2 (en) 2018-11-30 2019-11-07 Apparatus and method for generating pattern data, and apparatus and method for reproducing pattern data
US18/418,512 US20240160290A1 (en) 2018-11-30 2024-01-22 Apparatus and method for generating pattern data, and apparatus and method for reproducing pattern data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0151680 2018-11-30
KR1020180151680A KR102656636B1 (ko) 2018-11-30 2018-11-30 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/298,596 A-371-Of-International US11914779B2 (en) 2018-11-30 2019-11-07 Apparatus and method for generating pattern data, and apparatus and method for reproducing pattern data
US18/418,512 Continuation US20240160290A1 (en) 2018-11-30 2024-01-22 Apparatus and method for generating pattern data, and apparatus and method for reproducing pattern data

Publications (1)

Publication Number Publication Date
WO2020111558A1 true WO2020111558A1 (ko) 2020-06-04

Family

ID=70854127

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015011 WO2020111558A1 (ko) 2018-11-30 2019-11-07 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법

Country Status (4)

Country Link
US (2) US11914779B2 (ko)
KR (1) KR102656636B1 (ko)
CN (1) CN113168222A (ko)
WO (1) WO2020111558A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170120473A (ko) * 2016-04-21 2017-10-31 주식회사 씨케이머티리얼즈랩 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치
US20180108225A1 (en) * 2016-10-17 2018-04-19 At&T Intellectual Property I, Lp. Wearable ultrasonic sensors with haptic signaling for blindside risk detection and notification
KR20180097382A (ko) * 2017-02-23 2018-08-31 삼성전자주식회사 전자 장치에서 진동 제공 방법 및 장치
KR20180112137A (ko) * 2017-03-30 2018-10-12 주식회사 리얼햅틱스 가상현실 환경 기반의 햅틱 효과 제공 장치 및 시스템
KR101901364B1 (ko) * 2017-09-18 2018-11-22 주식회사 씨케이머티리얼즈랩 햅틱 장치를 위한 무선 제어 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8000825B2 (en) * 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7839269B2 (en) * 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
EP3557388A1 (en) * 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
JP6469963B2 (ja) * 2013-04-22 2019-02-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚対応トリガーを有するゲーミング装置
US10599218B2 (en) * 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
KR101641418B1 (ko) * 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
US9691238B2 (en) * 2015-07-29 2017-06-27 Immersion Corporation Crowd-based haptics
US11349793B2 (en) * 2017-10-25 2022-05-31 Meta Platforms, Inc. Enforcing messaging policies using tags
KR20200057549A (ko) * 2018-11-16 2020-05-26 주식회사 씨케이머티리얼즈랩 햅틱 데이터 생성 장치 및 방법, 햅틱 효과 제공 장치 및 방법
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170120473A (ko) * 2016-04-21 2017-10-31 주식회사 씨케이머티리얼즈랩 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치
US20180108225A1 (en) * 2016-10-17 2018-04-19 At&T Intellectual Property I, Lp. Wearable ultrasonic sensors with haptic signaling for blindside risk detection and notification
KR20180097382A (ko) * 2017-02-23 2018-08-31 삼성전자주식회사 전자 장치에서 진동 제공 방법 및 장치
KR20180112137A (ko) * 2017-03-30 2018-10-12 주식회사 리얼햅틱스 가상현실 환경 기반의 햅틱 효과 제공 장치 및 시스템
KR101901364B1 (ko) * 2017-09-18 2018-11-22 주식회사 씨케이머티리얼즈랩 햅틱 장치를 위한 무선 제어 장치 및 방법

Also Published As

Publication number Publication date
US20220011866A1 (en) 2022-01-13
KR102656636B1 (ko) 2024-04-12
KR20200065325A (ko) 2020-06-09
CN113168222A (zh) 2021-07-23
US20240160290A1 (en) 2024-05-16
US11914779B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
WO2017111229A1 (ko) 터치 디스플레이를 포함하는 스피커 장치
WO2014107076A1 (en) Display apparatus and method of controlling a display apparatus in a voice recognition system
WO2015068927A1 (en) Hearing device and external device based on life pattern
WO2009123409A2 (ko) 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
WO2013168988A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
WO2015008931A1 (ko) 감정 분석을 통한 선호 음원 관리 장치 및 방법
WO2020085814A1 (ko) 비접촉 방식의 사용자 인증 방법
WO2018058776A1 (zh) 应用程序的分身功能启动方法、分身功能启动装置和终端
WO2014175603A1 (ko) 음악 컨텐츠 이용 서비스 제공 방법 및 서버
WO2019054549A1 (ko) 햅틱 장치를 위한 무선 제어 장치 및 방법
WO2020101256A1 (ko) 햅틱 데이터 생성 장치 및 방법, 햅틱 효과 제공 장치 및 방법
WO2011055926A2 (en) Apparatus and method for reproducing multi-sound channel contents using dlna in mobile terminal
US10937429B1 (en) Voice-based interactive network monitor system
WO2012165761A2 (ko) 집단지성 서비스 시스템 및 그 방법
WO2020111558A1 (ko) 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
CN109743658A (zh) 一种信息处理方法及电子设备
EP2820558A1 (en) Remote user interface providing apparatus and method
WO2015093754A1 (ko) 전자 장치에서 연결 정보를 공유하는 방법 및 장치
CN207541948U (zh) 音频播放器和音频播放装置
WO2019164029A1 (ko) 복수의 채널을 통한 오디오 재생 방법 및 시스템
WO2020246752A1 (ko) 초음파를 이용한 사용자 인증 방법
WO2016072699A1 (ko) 사물인터넷 기반의 스마트 음향장치
CN113225660A (zh) 一种基于pc软件的麦克风与扬声器测试分析系统及方法
WO2020171612A1 (ko) 사용자 입력신호를 고려한 햅틱 모터 구동 방법
WO2015190786A1 (ko) 이어폰을 이용한 입력 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19890578

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19890578

Country of ref document: EP

Kind code of ref document: A1