WO2014038750A1 - 사운드 기반 인터페이스 장치 및 방법 - Google Patents

사운드 기반 인터페이스 장치 및 방법 Download PDF

Info

Publication number
WO2014038750A1
WO2014038750A1 PCT/KR2012/009307 KR2012009307W WO2014038750A1 WO 2014038750 A1 WO2014038750 A1 WO 2014038750A1 KR 2012009307 W KR2012009307 W KR 2012009307W WO 2014038750 A1 WO2014038750 A1 WO 2014038750A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
unit
information
interface device
based interface
Prior art date
Application number
PCT/KR2012/009307
Other languages
English (en)
French (fr)
Inventor
김정헌
양태현
정혁
안승현
양동언
이중기
Original Assignee
Kim Jeong Heon
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Jeong Heon filed Critical Kim Jeong Heon
Publication of WO2014038750A1 publication Critical patent/WO2014038750A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization

Definitions

  • the present invention relates to a sound-based interface device and method, and more particularly, to set coordinates according to positions in a virtual space with respect to a first object and a second object, and position information between the first object and the second object.
  • the present invention relates to a sound-based interface device and method that can enhance the sense of reality.
  • the user should always keep an eye on the display and cause problems such as eye fatigue and deterioration of eyesight when used for a long time.
  • the present inventors unlike the existing game that requires a visual element by converting a paradigm like "Egg of Columbus", that is, a new concept that can proceed the game using only hearing (except visual elements). Recognizing the necessity of a mobile game, the inventors came to invent the technology.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a sound-based interface device and method that can proceed the game using only audible sound without visually looking at the screen. .
  • the object of the present invention is to (1) switch the conventional basic concept of playing a game using time (paradigm shift), and (2) those who have a slightly low or invisible time without the help of a third party. (3) It is to provide a sound-based interface device and method that can enhance the immersion by mobilizing the imagination of the individual by proceeding the game only by hearing except for the visual element that can proceed.
  • an object of the present invention is to set the coordinates according to the position in the virtual space with respect to the first object and the second object, and to output the information of the sound output corresponding to the position information between the first object and the second object
  • the user can determine where the first object and the second object are located in the virtual space by using only audible sound without visually seeing the screen, thereby increasing the realism.
  • a sound based interface device and method are provided.
  • the coordinate setting unit for setting the coordinates according to the position in the virtual space with respect to the first object and the second object;
  • a calculator configured to calculate positional information between the first object and the second object;
  • a sound output unit configured to output a sound generated in the second object;
  • a sound controller for controlling the information of the sound output from the sound output unit based on the calculated position information.
  • the location information is information about any one or more of coordinate information, direction information, and distance information of the second object with respect to the first object and / or coordinates of the first object with respect to the second object. And information on any one or more of information, direction information, and distance information.
  • the information of the sound characterized in that it comprises any one or more of the signal size of the sound, the duration of the sound, the location of the sound and the type of sound.
  • the apparatus further includes an operation unit for manipulating the first object, wherein the calculation unit is configured to move the first object according to an operation of the operation unit or the second object in the virtual space. And repositioning location information between the first object and the second object.
  • the sound control unit is configured to change the information of the sound output from the sound output unit based on the positional information recalculated by the calculation unit.
  • the operation unit is characterized in that for performing one or more operations of moving, walking, running, jumping, hiding, flying, picking up items, and using items on the first object.
  • the sound control unit controls the information of the sound output from the sound output unit in response to any one or more of the surrounding environment on the virtual space of the first object and the operation of the operation unit. do.
  • the sound control unit controls the sound generated at each crossroads in response to the direction and the situation of the crossroads. It features.
  • the operation unit is characterized in that it comprises one or more of a joystick, joypad, keyboard, keypad, mouse, gravity sensor and touch input panel.
  • the apparatus further includes a voice recognition unit recognizing the voice of the user, wherein the operation unit is configured to perform an operation according to a voice recognition result of the voice recognition unit.
  • the display apparatus may further include a display unit configured to display a description of the situation of the first object in the virtual space.
  • the display unit may include a touch input panel for manipulating the first object and display a user interface for manipulating the first object.
  • the apparatus may further include a distance measuring unit configured to emit a virtual sound wave from a position of the first object to a position of the second object and receive a reflected wave to measure a distance between the first object and the second object. It features.
  • a sound-based interface method includes: setting coordinates according to positions of a first object and a second object corresponding to a user in a virtual space; Calculating a distance and a direction of the second object with respect to the first object based on the coordinates of the first object and the coordinates of the second object; A sound output unit outputting a sound generated in the second object; And controlling the size or position of the sound output from the sound output unit in response to the distance and direction of the second object with respect to the first object.
  • the sound based interface method may further include: manipulating a first object by an operation unit; And the second object with respect to the first object according to a coordinate change of the first object or the second object when the first object moves or the second object moves in the virtual space. And recalculating the distance and direction of the object.
  • the sound-based interface method at the sound output unit corresponding to the distance and direction of the second object with respect to the first object recalculated according to the coordinate change of the first object or the second object And changing the size or position of the output sound.
  • manipulating the first object comprises performing one or more operations of moving, walking, running, jumping, hiding, picking up items, and using items with the first object. do.
  • the controlling of the size or position of the sound may include controlling a sound output from the sound output unit in response to an operation of the operation unit and a surrounding environment of the virtual space of the first object. It is characterized by including.
  • the sound-based interface method by emitting a virtual sound wave from the position of the first object to the position of the second object and receiving the reflected wave, measuring the distance between the first object and the second object It further comprises a step.
  • the coordinates according to the position in the virtual space with respect to the first object and the second object controls the information of the sound output corresponding to the position information between the first object and the second object This allows the user to grasp where the first object and the second object are located in the virtual space by using only sound that is audible and not visually, so that the sound can be enhanced.
  • An interface device and method can be provided.
  • the user can feel the enhanced reality with only the auditory effect without the visual effect, thereby immersing in the game more. This can be seen by reading much more immersive than a movie by imagining the contents of a book using his imagination.
  • the game can be performed only for hearing, so there is a difference (conversion of ideas) from the existing game.
  • FIG. 1 is a view schematically showing a sound-based interface device according to an embodiment of the present invention
  • FIG. 2 is a view for explaining a virtual space applied in the sound-based interface device according to an embodiment of the present invention
  • 3 to 7 are views for explaining examples in which the sound control unit of the sound-based interface device according to an embodiment of the present invention controls the sound
  • FIG 8 and 9 are views for explaining examples in which a display unit of a sound based interface device according to an embodiment of the present invention displays a user interface.
  • FIG. 10 is a view for explaining a process of measuring a distance by a distance measuring unit of a sound based interface device according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a sound-based interface method according to an embodiment of the present invention.
  • FIG. 1 is a view schematically showing a sound-based interface device 100 according to an embodiment of the present invention.
  • the sound-based interface device 100 may include a coordinate setting unit 101, a calculating unit 102, a sound output unit 103, a sound control unit 104, and an operation unit ( 105, the voice recognition unit 106, the display unit 107, and the distance measuring unit 108 may be configured.
  • the sound-based interface device 100 shown in FIG. 1 is according to an embodiment, and its components are not limited to the embodiment shown in FIG. 1, and some components may be added, changed, or deleted as necessary. Can be.
  • the sound-based interface device 100 is included in one or more of a personal computer, a smartphone, personal digital assistants (PDAs), and a tablet computer as needed, or a personal computer, a smartphone. , PDA, and tablet computer.
  • a personal computer a smartphone, personal digital assistants (PDAs), and a tablet computer as needed, or a personal computer, a smartphone. , PDA, and tablet computer.
  • the coordinate setting unit 101 sets coordinates according to positions of the first object and the second object in the virtual space.
  • the first object may be set to correspond to the user.
  • An example of setting the coordinates of the first object and the second object by the first object coordinate setting unit 101 will be described with reference to FIG. 2.
  • FIG. 2 is a view for explaining a virtual space applied in the sound-based interface device according to an embodiment of the present invention.
  • the virtual space 200 applied in the sound-based interface device may be displayed in a (x, y) coordinate system.
  • the virtual space 200 is represented by a two-dimensional coordinate system, but according to an embodiment, in another embodiment, the virtual space is a one-dimensional coordinate system such as an x coordinate system or an (x, y, z) coordinate system. It may be a three-dimensional coordinate system such as.
  • the first object 1 may correspond to a user, and may correspond to a game character and a simulation character that the user manipulates.
  • the second object 2 may be objects such as a car, an animal, a river, a waterfall, etc. except for the first object 1 located on the virtual space 200.
  • the coordinate setting unit 101 sets coordinates according to positions of the first object 1 and the second object 2 in the virtual space 200 as shown in FIG. 2. .
  • the calculator 102 calculates position information between the first object 1 and the second object 2 based on the coordinates of the first object 1 and the coordinates of the second object 2.
  • the location information may be any one or more of coordinate information, direction information, and distance information of the second object 2 with respect to the first object 1, and the first object with respect to the second object 2. Note that one or more of coordinate information, direction information, and distance information in (1) may be used.
  • the calculator 102 calculates the distance and direction of the second object 2 with respect to the first object 1. Since the distance and direction between two known coordinates in the (x, y) coordinate system can be easily obtained through various known methods, detailed description thereof will be omitted.
  • the sound output unit 103 outputs a sound generated from the second object 2.
  • the sound output unit 103 may output other sounds around the first object 1 in addition to the sound generated by the second object 2.
  • the sound output unit 103 may include one or more of a speaker, headphones, and earphones.
  • the sound controller 104 corresponds to the position information calculated by the calculator 102 (for example, the distance and direction information of the second object 2 with respect to the first object 1). Controls the information of the sound output from.
  • the information of the sound may include any one or more of a signal size, a duration of the sound, a location of the sound, and a type of sound.
  • the sound controller 104 controls the size or position of the sound.
  • the operation unit 105 manipulates the first object 1.
  • the manipulation unit 105 may perform one or more operations of moving, walking, running, jumping, hiding, flying, picking up items, and using items with respect to the first object 1.
  • the manipulation unit 105 may include one or more of a joystick, a joypad, a keyboard, a keypad, a mouse, a gravity sensor, and a touch input panel.
  • the operation unit 105 may perform an operation according to a voice recognition result of the voice recognition unit 106 that recognizes the user's voice.
  • the sound controller 104 may control the sound of the sound output unit 103 in various aspects according to the manipulation of the manipulation unit 105 or the surrounding situation of the first object 1, which is described with reference to FIGS. 3 to 7. It will be described in detail.
  • 3 to 7 are diagrams for describing examples in which a sound controller of a sound-based interface device according to an embodiment of the present invention controls sound.
  • the sound controller 104 maintains the position of the sound of the sound output unit 103 in front of the user and controls the size of the sound to be larger than before the movement of the first object 1. In this case, the sound controller 104 may control the first object 1 to become larger as the second object 2 approaches.
  • the sound controller 104 maintains the position of the sound of the sound output unit 103 in front of the user and controls the size of the sound to be smaller than before the movement of the first object 1. In this case, the sound controller 104 may control the first object 1 to become smaller as it moves away from the second object 2.
  • the sound controller 104 maintains the position of the sound of the sound output unit 103 in front of the user and controls the size of the sound to be larger than before the movement of the second object 2. In this case, the sound controller 104 may control the second object 2 to become larger as the first object 1 gets closer to the first object 1.
  • the sound controller 104 maintains the position of the sound of the sound output unit 103 in front of the user and controls the sound size to be smaller than before the movement of the second object 2. In this case, the sound controller 104 may control the second object 2 to become smaller as it moves away from the first object 1.
  • FIG. 5 illustrates an example in which the distance of the second object 2 to the first object 1 is not changed but the direction is changed by rotating the first object 1 clockwise while maintaining the distance to the second object 2.
  • Figure is a diagram. According to this, the first object 1 before the movement can hear the sound generated by the second object 2 from the front. After the first object 1 rotates to the current position in the clockwise direction while maintaining the distance to the second object 2 according to the operation of the manipulation unit 105, the second object for the first object 1 The magnitude of the sound produced by (2) will not change, but the direction of the sound will change clockwise.
  • the sound controller 104 maintains the sound level of the sound output unit 103 to be the same as before the movement of the first object 1 and controls the position of the sound to change clockwise from the front to the upper right.
  • the sound control unit 104 may control the position of the sound to be gradually changed in the clockwise direction while the first object 1 rotates in the clockwise direction.
  • the first object 1 rotates counterclockwise while maintaining the distance from the second object 2 so that the distance of the second object 2 with respect to the first object 1 is not changed but the direction is changed.
  • the sound control unit 104 maintains the sound level of the sound output unit 103 to be the same as before the movement of the first object 1 and controls the position of the sound to change from the front to the counterclockwise direction of the upper left. .
  • the sound controller 104 may control the position of the sound to be gradually changed in the counterclockwise direction while the first object 1 rotates in the counterclockwise direction.
  • FIG. 6 illustrates an example in which the second object 2 rotates in a clockwise direction while maintaining a distance from the first object 1 so that the distance of the second object 2 with respect to the first object 1 is not changed but the direction is changed.
  • Figure is a diagram. According to this, the first object 1 before the second object 2 moves can hear the sound generated by the second object 2 from the front. After the second object 2 rotates clockwise to the current position while maintaining the distance from the first object 1, the sound of the sound generated by the second object 2 for the first object 1 is generated. The magnitude will not change, but the direction of the sound will change clockwise.
  • the sound control unit 104 maintains the sound level of the sound output unit 103 to be the same as before the movement of the second object 2 and controls the position of the sound to be changed clockwise from the front to the upper right.
  • the sound controller 104 may control the position of the sound to be gradually changed in the clockwise direction while the second object 2 is rotated in the clockwise direction.
  • the second object 2 rotates counterclockwise while maintaining the distance from the first object 1 so that the distance of the second object 2 with respect to the first object 1 is not changed but the direction is changed.
  • the sound control unit 104 maintains the sound level of the sound output unit 103 to be the same as before the movement of the second object 2 and controls the position of the sound to change from the front to the counterclockwise direction of the upper left. .
  • the sound controller 104 may control the position of the sound to be gradually changed in the counterclockwise direction while the first object 1 rotates in the counterclockwise direction.
  • the sound control unit 104 may generate a sound volume generated by the sound output unit 103. To control the position. According to the examples described with reference to FIGS. 3 to 6, the sound control unit 104 may generate a sound level at the sound output unit 103 no matter in which direction the first object 1 or the second object 2 moves. Or how to control the position can be described, it will be apparent to those skilled in the art.
  • the sound control unit 104 controls the sound output from the sound output unit 103 in response to the surrounding environment on the virtual space 200 of the first object 1 and the manipulation of the manipulation unit 105. can do.
  • the sound controller 104 may include a sound output unit according to a material such as soil, gravel, or water.
  • the sound output from the 103 may be controlled to be changed.
  • the sound controller 104 may control the sound output from the sound output unit 103 to be changed depending on whether the first object 1 walks or runs by the manipulation unit 105.
  • the sound control unit 104 occurs at each crossroad in response to the direction and the situation of the crossroad. You can control the sound. This will be described with reference to FIG. 7.
  • FIG. 7 is a diagram illustrating an example in which the first object 1 is located at a crossroad 300 of a crossroad while moving according to an operation of the manipulation unit 105.
  • a sound generated at each cross road until the crossroad 300 of the cross road is reached that is, the second object 2 and the third object 3 are generated.
  • the sound cannot be heard, and the sound generated at each crossroad can be heard only when the first object 1 reaches the street. That is, when the first object 1 approaches the crossroad 300 of the crossroad, the sound of the car, which is the second object 2, can be heard from the upper right, and the sound of the waterfall, which is the third object 3, is left. You can hear it from the top.
  • the display unit 107 displays a description of the situation of the first object 1 in the virtual space 200.
  • the display unit 107 may include a touch input panel, which is a kind of the manipulation unit 105, and display a user interface for manipulating the first object 1.
  • An embodiment of the display unit 107 will be described with reference to FIGS. 8 and 9.
  • FIGS. 8 and 9 are diagrams for describing examples in which a display unit of a sound based interface device according to an embodiment of the present invention displays a user interface.
  • the sound-based interface device 100 is implemented in the form of a smart phone.
  • the display unit 107 includes a touch input panel for manipulating the first object 1.
  • the display unit 107 currently displays the situation 401 of the first object 1, and arrow buttons 402, 403, 404 and 405, which are user interfaces for manipulating the first object 1, are displayed. .
  • the user presses any one of the arrow buttons 402, 403, 404, and 405 the first object 1 moves in the direction corresponding to the pressed button.
  • the manipulation of the first object 1 may be performed using only the arrow buttons 402, 403, 404, and 405, but may also be a gravity sensor included in the sound-based interface device 100.
  • the sound-based interface device 100 is implemented in the form of a smartphone.
  • the display unit 107 includes a touch input panel for manipulating the first object 1.
  • the display unit 107 currently displays the situation 406 of the first object, and the situation 406 of the first object includes a question as to whether to open the door.
  • a Yes button 407 and a No button 408, which are user interfaces for manipulating the first object 1 are provided.
  • the Yes button 407 the first object 1 opens the door
  • the No button 408 the first object 1 does not open the door.
  • the distance measuring unit 108 emits a virtual sound wave from the position of the first object 1 to the position of the second object 2 and receives the reflected wave to generate the first object 1 and the first object. Measure the distance between the two objects (2). Since the user using the sound-based interface device 100 according to an embodiment of the present invention should judge the situation only with the audio data without the visual data, it is difficult to know exactly how the distance from the second object 2 becomes. There will be times when you want to. To this end, the distance measurer 108 measures distance between the first object 1 and the second object 2 according to a user's request. An example in which the distance measurer 108 measures the distance between the first object 1 and the second object 2 will be described with reference to FIG. 10.
  • FIG. 10 is a diagram illustrating a process of measuring a distance by a distance measurer of a sound-based interface device according to an exemplary embodiment of the present invention.
  • the first object 1 is a virtual sound wave 500.
  • the reflected wave is reflected from the second object 2 and received by the first object 1.
  • the distance between the first object 1 and the second object 2 may be measured using the time when the sound wave 500 is emitted and the reflected wave is returned and the wavelength of the sound wave 500.
  • the distance between the first object 1 and the second object 2 measured as described above may be displayed through the display unit 107, and the user may confirm this.
  • FIG. 11 is a flowchart illustrating a sound-based interface method according to an embodiment of the present invention.
  • a sound-based interface method when a sound-based interface method according to an embodiment of the present invention is started, first, coordinates according to positions in a virtual space of a first object and a second object corresponding to a user are set (S601). In operation S602, a distance and a direction of the second object with respect to the first object are calculated based on the coordinates of the first object and the coordinates of the second object.
  • the sound output unit outputs the sound generated from the second object (S603), and controls the size or position of the sound output from the sound output unit in response to the distance and the direction of the second object with respect to the first object. (S604).
  • the operation unit manipulates the first object (S605).
  • operation S605 one or more operations of moving, walking, running, jumping, hiding, picking up items, and using items may be performed on the first object. If the first object moves in accordance with the manipulation of the manipulation unit or the second object moves in the virtual space, the second object with respect to the first object according to a coordinate change of the first object or the second object. Recalculates the distance and direction of the sound output unit in response to the distance and the direction of the second object with respect to the first object recalculated according to the coordinate change of the first object or the second object. Change the size or position of the sound output from the (S607).
  • step S604 may include controlling a sound output from the sound output unit in response to the surrounding environment of the virtual space of the first object and the manipulation of the manipulation unit.
  • step S604 when the first object is located at a crossroad of a crossroad while moving according to an operation of the manipulation unit, controlling the sound generated at each crossroad according to a direction and a situation of each crossroad. can do.
  • the sound-based interface method emits a virtual sound wave from the position of the first object to the position of the second object and receives the reflected wave, between the first object and the second object
  • the method may further include measuring a distance.
  • the sound-based interface process proceeds similarly to the sound-based interface device shown in FIG. 1. As it is applied as is, a detailed description thereof will be omitted.
  • the method is shown and described in a series of blocks for the sake of simplicity, the invention is not limited to the order of the blocks, and some blocks may occur in different order or simultaneously with other blocks than those shown and described herein.
  • Various other branches, flow paths, and blocks may be implemented in order to achieve the same or similar results.
  • not all illustrated blocks may be required for the implementation of the methods described herein.
  • the present invention relates to a sound-based interface device and method, there is an advantage that can proceed to the game using only sound that is audible sound without seeing the screen visually, and thus can be industrially used and applied in various mobile game market have.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 제1 객체 및 제2 객체에 대하여 가상 공간 상에서 위치에 따른 좌표를 설정하고, 제1 객체와 상기 제2 객체 상호간의 위치 정보에 대응하여 출력되는 사운드의 정보를 제어함으로써, 사용자가 시각적으로 화면을 보지 않고 단지 청각적으로 들리는 사운드만을 이용하여 가상의 공간 상에서 제1 객체 및 제2 객체가 어느 위치에 있는지 파악할 수 있고, 그로 인해 보다 강화된 현실감을 느낄 수 있는 사운드 기반 인터페이스 장치 및 방법에 관한 것이다.

Description

사운드 기반 인터페이스 장치 및 방법
본 발명은 사운드 기반 인터페이스 장치 및 방법에 관한 것으로서, 보다 상세하게는, 제1 객체 및 제2 객체에 대하여 가상 공간 상에서 위치에 따른 좌표를 설정하고, 제1 객체와 상기 제2 객체 상호간의 위치 정보에 대응하여 출력되는 사운드의 정보를 제어함으로써, 사용자가 시각적으로 화면을 보지 않고 단지 청각적으로 들리는 사운드만을 이용하여 가상의 공간 상에서 제1 객체 및 제2 객체가 어느 위치에 있는지 파악할 수 있고, 그로 인해 보다 강화된 현실감을 느낄 수 있는 사운드 기반 인터페이스 장치 및 방법에 관한 것이다.
기술의 발달에 따라 여러 가지 형태의 인터페이스 장치를 이용한 시뮬레이션 기술 또는 게임 기술이 개발되고 있다.
최근에는 중력 센서, 가속도 센서 등의 각종 센서를 이용하여 화면에 표시된 객체를 조작하는 기술이나, 사람의 동작을 인식하여 인식 결과에 따라 객체를 조작하는 기술 등이 개발되고 있으며, 이러한 기술은 모바일 장치에도 적용되어 모바일 장치에 구비된 각종 장치, 센서 등을 활용한 시뮬레이션 어플리케이션, 게임 어플리케이션 등이 개발되고 있다.
그러나, 이러한 종래의 기술들은 모두 디스플레이를 통해 객체를 표시하고 사용자가 이를 시각을 통하여 인식하고 이를 바탕으로 게임을 조작한다는 기본적인 개념을 이루어져 있었다.
그로 인해, 사용자는 항상 디스플레이를 주시하고 있어야 되며 장시간 이용할 경우 눈의 피로를 유발하고 시력 저하를 가져올 수 있게 된다는 문제가 발생하게 된다.
더욱이, 상술된 시각을 이용하여 게임을 진행한다는 기본적인 개념은 다양한 종류의 게임에 있어서 변화지 않는 일종의 패러다임과 같았다.
이에, 본 발명자는 "콜럼버스의 달걀"과 같이 패러다임을 변환하여 시각적인 요소가 반드시 필요한 기존의 게임과는 달리 즉, 청각만(시각적인 요소를 제외함)을 이용하여 게임을 진행할 수 있는 새로운 개념의 모바일 게임의 필요성을 인식하여 본 기술을 발명하기에 이르렀다.
본 발명은 상술된 문제점들을 해결하기 위해 안출된 것으로서, 본 발명의 목적은, 시각적으로 화면을 보지 않고 단지 청각적으로 들리는 사운드만을 이용하여 게임을 진행할 수 있는 사운드 기반 인터페이스 장치 및 방법을 제공하는 것이다.
즉, 본 발명의 목적은, (1) 시각을 이용하여 게임을 진행한다는 종래의 기본적인 개념을 전환(패러다임의 전환)시키고 (2) 시각이 다소 낮거나 보이지 않는 사람들도 제3자의 도움 없이 충분히 게임을 진행할 수 있는, (3) 시각적인 요소를 제외하고 청각에 의해서만 게임을 진행함으로써 개개인의 상상려을 동원하여 몰입감을 강화시킬 수 있는 사운드 기반 인터페이스 장치 및 방법을 제공하는 것이다.
구체적으로 살펴보면, 본 발명의 목적은 제1 객체 및 제2 객체에 대하여 가상 공간 상에서 위치에 따른 좌표를 설정하고, 제1 객체와 상기 제2 객체 상호간의 위치 정보에 대응하여 출력되는 사운드의 정보를 제어함으로써, 사용자가 시각적으로 화면을 보지 않고 단지 청각적으로 들리는 사운드만을 이용하여 가상의 공간 상에서 제1 객체 및 제2 객체가 어느 위치에 있는지 파악할 수 있고, 그로 인해 보다 강화된 현실감을 느낄 수 있는 사운드 기반 인터페이스 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치는, 제1 객체와 제2 객체에 대하여 가상 공간 상에서 위치에 따른 좌표를 설정하는 좌표 설정부; 상기 제1 객체와 상기 제2 객체 상호간의 위치 정보를 산출하는 산출부; 상기 제2 객체에서 발생하는 사운드를 출력하는 사운드 출력부; 및 상기 산출된 위치 정보에 근거하여 상기 사운드 출력부에서 출력되는 상기 사운드의 정보를 제어하는 사운드 제어부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 위치 정보는, 상기 제1 객체에 대한 제2 객체의 좌표 정보, 방향 정보, 및 거리 정보 중 어느 하나 이상에 대한 정보 및/또는 상기 제2 객체에 대한 상기 제1 객체의 좌표 정보, 방향 정보, 및 거리 정보 중 어느 하나 이상에 대한 정보를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 사운드의 정보는, 상기 사운드의 신호 크기, 사운드의 지속 시간, 사운드의 발생 위치 및 사운드 종류 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
바람직하게는, 상기 제1 객체를 조작하는 조작부를 더 포함하되, 상기 산출부는, 상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하는 경우, 상기 제1 객체와 상기 제2 객체 상호간의 위치 정보를 재산출하는 것을 특징으로 한다.
바람직하게는, 상기 사운드 제어부는, 상기 산출부에서 재산출된 상기 위치 정보에 근거하여 상기 사운드 출력부에서 출력되는 사운드의 정보를 변경하는 것을 특징으로 한다.
바람직하게는, 상기 조작부는, 상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 날기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행하는 것을 특징으로 한다.
바람직하게는, 상기 사운드 제어부는, 상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작 중 어느 하나 이상에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 정보를 제어하는 것을 특징으로 한다.
바람직하게는, 상기 사운드 제어부는, 상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어하는 것을 특징으로 한다.
바람직하게는, 상기 조작부는, 조이스틱, 조이패드, 키보드, 키패드, 마우스, 중력 센서 및 터치 입력 패널 중 하나 이상을 포함하는 것을 특징으로 한다.
바람직하게는, 상기 사용자의 음성을 인식하는 음성 인식부를 더 포함하되, 상기 조작부는, 상기 음성 인식부의 음성 인식 결과에 따라 조작을 수행하는 것을 특징으로 한다.
바람직하게는, 상기 가상의 공간 상에서의 상기 제1 객체의 상황에 대한 설명을 표시하는 표시부를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 표시부는, 상기 제1 객체를 조작하는 터치 입력 패널을 포함하고 상기 제1 객체를 조작하기 위한 사용자 인터페이스를 표시하는 것을 특징으로 한다.
바람직하게는, 상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 거리 측정부를 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법은, 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하는 단계; 상기 제1 객체의 좌표 및 상기 제2 객체의 좌표에 근거하여 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 산출하는 단계; 사운드 출력부가 상기 제2 객체에서 발생하는 사운드를 출력하는 단계; 및 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 제어하는 단계를 포함하여 구성되는 것을 특징으로 한다.
상기 사운드 기반 인터페이스 방법은, 조작부가 상기 제1 객체를 조작하는 단계; 및 상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하면, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 재산출하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 사운드 기반 인터페이스 방법은, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 재산출된 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 변경하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 제1 객체를 조작하는 단계는, 상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 사운드의 크기 또는 위치를 제어하는 단계는, 상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작에 대응하여 상기 사운드 출력부에서 출력되는 사운드를 제어하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 사운드의 크기 또는 위치를 제어하는 단계는, 상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 사운드 기반 인터페이스 방법은, 상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 제1 객체 및 제2 객체에 대하여 가상 공간 상에서 위치에 따른 좌표를 설정하고, 제1 객체와 상기 제2 객체 상호간의 위치 정보에 대응하여 출력되는 사운드의 정보를 제어함으로써, 사용자가 시각적으로 화면을 보지 않고 단지 청각적으로 들리는 사운드만을 이용하여 가상의 공간 상에서 제1 객체 및 제2 객체가 어느 위치에 있는지 파악할 수 있고, 그로 인해 보다 강화된 현실감을 느낄 수 있는 사운드 기반 인터페이스 장치 및 방법을 제공할 수 있다.
구체적으로 본 발명에 따르면, (1) 사용자는 시각적 효과 없이 오직 청각적 효과만으로 보다 강화된 현실감을 느낄 수 있으며, 그로 인해 보다 게임에 몰입할 수 있게 된다. 이는 독서를 하는 경우 자신의 상상력을 이용하여 책의 내용을 상상하게 됨으로써 영화보다 훨씬 몰입이 잘 되는 것을 보면 알 수 있다.　
또한, 본 발명에 따르면, (2) 화면 등의 시각적인 요소가 반드시 필요한 기존의 게임과는 달리 청각만을 위하여 게임을 진행할 수 있으므로 기존의 게임과 차별성(발상의 전환)이 있게 된다.
또한, 본 발명에 따르면, (3) 시각이 다소 낮거나 보이지 않는 사람들도 충분히 게임을 진행할 수 있다는 효과가 발생한다.
도 1은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치를 개략적으로 도시한 도면이며,
도 2는 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치에서 적용되는 가상의 공간을 설명하기 위한 도면이며,
도 3 내지 도 7은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 사운드 제어부가 사운드를 제어하는 예들을 설명하기 위한 도면이며,
도 8 및 도 9는 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 표시부가 사용자 인터페이스를 표시하는 예들을 설명하기 위한 도면이며,
도 10은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 거리 측정부가 거리를 측정하는 과정을 설명하기 위한 도면이며,
도 11은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법을 설명하기 위한 순서도이다.
본 발명에 따른 사운드 기반 인터페이스 장치 및 방법의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 고안에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 기술되어야 할 것이다.
<실시예>
도 1은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)를 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)는 좌표 설정부(101), 산출부(102), 사운드 출력부(103), 사운드 제어부(104), 조작부(105), 음성 인식부(106), 표시부(107) 및 거리 측정부(108)를 포함하여 구성될 수 있다. 도 1에 도시된 사운드 기반 인터페이스 장치(100)는 일 실시예에 따른 것이고, 그 구성요소들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 사운드 기반 인터페이스 장치(100)는 필요에 따라 개인용 컴퓨터, 스마트폰, 개인용 휴대 단말기(personal digital assistants; PDA) 및 태블릿(tablet) 컴퓨터 중 하나 이상에 포함되거나, 개인용 컴퓨터, 스마트폰, PDA, 및 태블릿 컴퓨터의 형태로 구현될 수 있다.
좌표 설정부(101)는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정한다. 이때, 제1 객체는 사용자에 대응하도록 설정될 수 있음을 유의한다. 제1 객체좌표 설정부(101)가 제1 객체 및 제2 객체의 좌표를 설정하는 일 예는 도 2를 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치에서 적용되는 가상의 공간을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치에서 적용되는 가상의 공간(200)은 (x, y) 좌표계로 표시될 수 있다. 도 2에서는 가상의 공간(200)이 2차원 좌표계로 표시되었으나, 이는 일 실시예에 따른 것이고, 다른 실시예에서, 가상의 공간은 x 좌표계와 같은 1차원 좌표계 또는 (x, y, z) 좌표계와 같은 3차원 좌표계일 수 있다. 도 2 에서 제1 객체(1)는 사용자에 대응하는 객체로서, 사용자가 조작하기 위한 게임 캐릭터, 시뮬레이션 케릭터가 이에 해당할 수 있다. 그리고 제2 객체(2)는 가상의 공간(200) 상에 위치한 제1 객체(1)를 제외한 자동차, 동물, 강, 폭포 등의 객체들일 수 있다.
도 1 및 도 2를 참조하면, 좌표 설정부(101)는 도 2에 표시된 것과 같은 가상의 공간(200) 상에서 제1 객체(1) 및 제2 객체(2)의 위치에 따른 좌표를 설정한다.
산출부(102)는 제1 객체(1)의 좌표 및 제2 객체(2)의 좌표에 근거하여 제1 객체(1)와 제2 객체(2) 상호간의 위치 정보를 산출한다.
이때, 이러한 위치 정보는 제1 객체(1)에 대한 제2 객체(2)의 좌표 정보, 방향 정보, 및 거리 정보 중 어느 하나 이상이 될 수도 있으며, 제2 객체(2)에 대한 제1 객체(1)의 좌표 정보, 방향 정보, 및 거리 정보 중 어느 하나 이상이 될 수도 있음을 유의한다.
바람직하게는, 산출부(102)는 제1 객체(1)에 대한 제2 객체(2)의 거리 및 방향을 산출한다. (x, y) 좌표계에서 좌표가 알려진 두 점 사이의 거리 및 방향을 구하는 것은 공지된 여러 가지 방식을 통해 쉽게 구할 수 있으므로, 이에 대한 자세한 설명은 생략하도록 한다.
사운드 출력부(103)는 제2 객체(2)에서 발생하는 사운드를 출력한다. 일 실시에에서, 사운드 출력부(103)는 제2 객체(2)에서 발생하는 사운드 이외에도, 제1 객체(1) 주변의 다른 사운드도 출력할 수 있다. 사운드 출력부(103)는 스피커, 헤드폰 및 이어폰 중 하나 이상을 포함할 수 있다.
사운드 제어부(104)는 산출부(102)에서 산출된 위치 정보(예를 들면, 제1 객체(1)에 대한 제2 객체(2)의 거리 및 방향 정보)에 대응하여 사운드 출력부(103)에서 출력되는 사운드의 정보를 제어한다.
이때, 이러한 사운드의 정보는 사운드의 신호 크기, 지속 시간, 사운드의 발생 위치 및 사운드 종류 중 어느 하나 이상을 포함할 수 있음을 유의한다. 바람직하게는, 사운드 제어부(104)는 사운드의 크기 또는 위치를 제어하게 된다.
조작부(105)는 제1 객체(1)를 조작한다. 일 실시예에서, 조작부(105)는 제1 객체(1)에 대해 이동, 걷기, 달리기, 점프, 숨기, 날기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행할 수 있다. 조작부(105)는 조이스틱, 조이패드, 키보드, 키패드, 마우스, 중력 센서 및 터치 입력 패널 중 하나 이상을 포함할 수 있다. 또는, 조작부(105)는 사용자의 음성을 인식하는 음성 인식부(106)의 음성 인식 결과에 따라 조작을 수행할 수 있다.
사운드 제어부(104)는 조작부(105)의 조작이나 제1 객체(1)의 주변 상황에 따라 다양한 양상으로 사운드 출력부(103)의 사운드를 제어할 수 있는데, 이는 도 3 내지 도 7을 참조하여 구체적으로 설명하도록 한다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 사운드 제어부가 사운드를 제어하는 예들을 설명하기 위한 도면이다.
도 3은 제1 객체(1)가 제2 객체(2)로 접근하여 제1 객체(1)에 대한 제2 객체(2)의 방향은 변하지 않았지만 거리가 가까워지는 예를 도시한 도면이다. 이에 따르면, 이동 전의 제1 객체(1)는 전방에서 제2 객체(2)가 발생하는 사운드를 들을 수 있다. 제1 객체(1)가 조작부(105)의 조작에 따라 제2 객체(2)의 앞으로 이동하고 나면, 제1 객체(1)에게 있어서 제2 객체(2)가 발생하는 사운드의 방향은 바뀌지 않겠지만, 사운드는 크게 들릴 것이다. 따라서, 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 위치는 사용자의 전방으로 유지하고 사운드의 크기는 제1 객체(1)의 이동 전보다 커지도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 제2 객체(2)에 가까워질수록 점점 커지도록 제어할 수 있다.
이와는 반대로, 제1 객체(1)가 제2 객체(2)로부터 떨어져서 제1 객체(1)에 대한 제2 객체(2)의 방향은 변하지 않았지만 거리가 멀어지는 예를 고려해 볼 수 있다. 이 경우에는 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 위치는 사용자의 전방으로 유지하고 사운드의 크기는 제1 객체(1)의 이동 전보다 작아지도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 제2 객체(2)로부터 멀어질수록 점점 작아지도록 제어할 수 있다.
도 4는 제2 객체(2)가 제1 객체(1)로 접근하여 제1 객체(1)에 대한 제2 객체(2)의 방향은 변하지 않았지만 거리가 가까워지는 예를 도시한 도면이다. 이에 따르면, 제2 객체(2)가 이동하기 전의 제1 객체(1)는 전방에서 제2 객체(2)가 발생하는 사운드를 들을 수 있다. 제2 객체(2)가 제1 객체(1)의 앞으로 이동하고 나면, 제1 객체(1)에게 있어서 제2 객체(2)가 발생하는 사운드의 방향은 바뀌지 않겠지만, 사운드는 크게 들릴 것이다. 따라서, 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 위치는 사용자의 전방으로 유지하고 사운드의 크기는 제2 객체(2)의 이동 전보다 커지도록 제어한다. 이 때, 사운드 제어부(104)는 제2 객체(2)가 제1 객체(1)에 가까워질수록 점점 커지도록 제어할 수 있다.
이와는 반대로, 제2 객체(2)가 제1 객체(1)로부터 떨어져서 제1 객체(1)에 대한 제2 객체(2)의 방향은 변하지 않았지만 거리가 멀어지는 예를 고려해 볼 수 있다. 이 경우에는 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 위치는 사용자의 전방으로 유지하고 사운드의 크기는 제2 객체(2)의 이동 전보다 작아지도록 제어한다. 이 때, 사운드 제어부(104)는 제2 객체(2)가 제1 객체(1)로부터 멀어질수록 점점 작아지도록 제어할 수 있다.
도 5는 제1 객체(1)가 제2 객체(2)와의 거리를 유지한 채 시계 방향으로 회전 이동하여 제1 객체(1)에 대한 제2 객체(2)의 거리는 변하지 않았지만 방향이 바뀌는 예를 도시한 도면이다. 이에 따르면, 이동 전의 제1 객체(1)는 전방에서 제2 객체(2)가 발생하는 사운드를 들을 수 있다. 제1 객체(1)가 조작부(105)의 조작에 따라 제2 객체(2)와의 거리를 유지한 채 시계 방향으로 현재의 위치로 회전 이동하고 나면, 제1 객체(1)에게 있어서 제2 객체(2)가 발생하는 사운드의 크기는 바뀌지 않겠지만, 사운드의 방향은 시계 방향으로 변경될 것이다. 따라서, 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 크기는 제1 객체(1)의 이동 전과 동일하게 유지하고 사운드의 위치는 전방에서 우측 상단의 시계 방향으로 변경되도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 시계 방향으로 회전 이동하면서 점차로 시계 방향으로 사운드의 위치가 변경되도록 제어할 수 있다.
이와는 반대로, 제1 객체(1)가 제2 객체(2)와의 거리를 유지한 채 반시계 방향으로 회전 이동하여 제1 객체(1)에 대한 제2 객체(2)의 거리는 변하지 않았지만 방향이 바뀌는 예를 고려해 볼 수 있다. 이 경우에는 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 크기는 제1 객체(1)의 이동 전과 동일하게 유지하고 사운드의 위치는 전방에서 좌측 상단의 반시계 방향으로 변경되도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 반시계 방향으로 회전 이동하면서 점차로 반시계 방향으로 사운드의 위치가 변경되도록 제어할 수 있다.
도 6은 제2 객체(2)가 제1 객체(1)와의 거리를 유지한 채 시계 방향으로 회전 이동하여 제1 객체(1)에 대한 제2 객체(2)의 거리는 변하지 않았지만 방향이 바뀌는 예를 도시한 도면이다. 이에 따르면, 제2 객체(2)가 이동하기 전의 제1 객체(1)는 전방에서 제2 객체(2)가 발생하는 사운드를 들을 수 있다. 제2 객체(2)가 제1 객체(1)와의 거리를 유지한 채 시계 방향으로 현재의 위치로 회전 이동하고 나면, 제1 객체(1)에게 있어서 제2 객체(2)가 발생하는 사운드의 크기는 바뀌지 않겠지만, 사운드의 방향은 시계 방향으로 변경될 것이다. 따라서, 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 크기는 제2 객체(2)의 이동 전과 동일하게 유지하고 사운드의 위치는 전방에서 우측 상단의 시계 방향으로 변경되도록 제어한다. 이 때, 사운드 제어부(104)는 제2 객체(2)가 시계 방향으로 회전 이동하면서 점차로 시계 방향으로 사운드의 위치가 변경되도록 제어할 수 있다.
이와는 반대로, 제2 객체(2)가 제1 객체(1)와의 거리를 유지한 채 반시계 방향으로 회전 이동하여 제1 객체(1)에 대한 제2 객체(2)의 거리는 변하지 않았지만 방향이 바뀌는 예를 고려해 볼 수 있다. 이 경우에는 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 크기는 제2 객체(2)의 이동 전과 동일하게 유지하고 사운드의 위치는 전방에서 좌측 상단의 반시계 방향으로 변경되도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 반시계 방향으로 회전 이동하면서 점차로 반시계 방향으로 사운드의 위치가 변경되도록 제어할 수 있다.
도 3 내지 도 6을 참조하여 설명한 바와 같이 제1 객체(1) 또는 제2 객체(2)가 이동, 회전 이동함에 따라 사운드 제어부(104)는 사운드 출력부(103)에서 발생되는 사운드의 크기 또는 위치를 제어한다. 도 3 내지 도 6을 참조하여 설명한 예들을 종합하면 제1 객체(1) 또는 제2 객체(2)가 어떠한 방향으로 이동하더라도 사운드 제어부(104)가 사운드 출력부(103)에서 발생되는 사운드의 크기 또는 위치를 어떻게 제어할지는 설명될 수 있고, 당업자에게 자명하게 도출될 수 있는 내용이다.
일 실시예에서, 사운드 제어부(104)는 제1 객체(1)의 가상의 공간(200) 상에서의 주변 환경 및 조작부(105)의 조작에 대응하여 사운드 출력부(103)에서 출력되는 사운드를 제어할 수 있다. 예를 들어, 제1 객체(1)가 위치한 가상의 공간(200)에서 제1 객체(1)가 이동할 때 땅이 흙, 자갈, 물 등 어떠한 재질이냐에 따라 사운드 제어부(104)는 사운드 출력부(103)에서 출력되는 사운드가 변경되도록 제어할 수 있다. 또는, 제1 객체(1)가 조작부(105)의 조작에 의해 걷느냐, 달리느냐에 따라 사운드 제어부(104)는 사운드 출력부(103)에서 출력되는 사운드가 변경되도록 제어할 수 있다.
일 실시예에서, 사운드 제어부(104)는 제1 객체(1)가 조작부(105)의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어할 수 있다. 이를 도 7을 참조하여 설명하도록 한다.
도 7은 제1 객체(1)가 조작부(105)의 조작에 따라 이동하는 중 갈림길의 길목(300)에 위치한 예를 도시한 도면이다. 도 7을 참조하면, 제1 객체(1)가 이동할 때, 갈림길의 길목(300)에 다다를 때까지는 각 갈림길에서 발생하는 사운드 즉, 제2 객체(2) 및 제3 객체(3)가 발생하는 소리를 들을 수 없다가, 제1 객체(1)가 길목에 도달하였을 때만 각 갈림길에서 발생하는 사운드를 들을 수 있다. 즉, 제1 객체(1)가 갈림길의 길목(300)에 다다르면, 제2 객체(2)인 자동차가 내는 소리를 우측 상단에서 들을 수 있고, 제3 객체(3)인 폭포가 내는 소리를 좌측 상단에서 들을 수 있다. 이는 사용자가 제1 객체(1)를 조작하여 이동시킬 때, 제1 객체(1)가 갈림길의 길목(300)에 다다랐음을 명확히 알 수 있도록 하기 위한 것이다. 만약, 제1 객체(1)가 갈림길의 길목(300)에 다다르기 전부터 제2 객체(2) 및 제3 객체(3)가 발생하는 소리가 들린다면, 사용자는 제1 객체(1)가 갈림길의 길목(300)에 벌써 다다랐다고 착각할 수 있을 것이다. 따라서, 이와 같은 상황을 막기 위하여 제1 객체(1)가 갈림길의 길목(300)에 다다랐을 때만 각 갈림길에서 발생하는 사운드를 들을 수 있도록 하는 것이다.
다시 도 1로 돌아와서, 표시부(107)는 가상의 공간(200) 상에서의 제1 객체(1)의 상황에 대한 설명을 표시한다. 일 실시예에서, 표시부(107)는 조작부(105)의 일종인 터치 입력 패널을 포함하고 제1 객체(1)를 조작하기 위한 사용자 인터페이스를 표시할 수 있다. 표시부(107)의 구현예는 도 8 및 도 9를 참조하여 설명하도록 한다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 표시부가 사용자 인터페이스를 표시하는 예들을 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)는 스마트폰의 형태로 구현이 되어 있다. 그리고 표시부(107)는 제1 객체(1)를 조작하기 위한 터치 입력 패널을 포함하고 있다. 표시부(107)에는 현재 제1 객체(1)의 상황(401)을 표시하고 있고, 제1 객체(1)를 조작하기 위한 사용자 인터페이스인 화살표 버튼(402, 403, 404 및 405)이 표시되어 있다. 사용자가 화살표 버튼(402, 403, 404 및 405) 중 어느 하나를 누르게 되면, 제1 객체(1)는 누른 버튼에 대응하는 방향으로 이동하게 된다.
이 때, 제1 객체(1)의 조작은 화살표 버튼(402, 403, 404 및 405)만으로도 가능하지만, 사운드 기반 인터페이스 장치(100)에 포함된 중력 센서로도 가능하다.
도 9에서는 도 8에서와 마찬가지로 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)가 스마트폰의 형태로 구현이 되어 있다. 그리고 표시부(107)는 제1 객체(1)를 조작하기 위한 터치 입력 패널을 포함하고 있다. 표시부(107)에는 현재 제1 객체의 상황(406)을 표시하고 있고, 제1 객체의 상황(406)에는 문을 열 것인지 여부에 관한 질문을 포함하고 있다. 그리고 하단에는 제1 객체(1)를 조작하기 위한 사용자 인터페이스인 Yes 버튼(407)과 No 버튼(408)이 구비되어 있다. 사용자가 Yes 버튼(407)을 누르게 되면 제1 객체(1)가 문을 열고 No 버튼(408)을 누르게 되면 제1 객체(1)가 문을 열지 않는다.
다시 도 1로 돌아와서, 거리 측정부(108)는 제1 객체(1)의 위치에서 제2 객체(2)의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 제1 객체(1)와 제2 객체(2) 간의 거리를 측정한다. 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)를 이용하는 사용자는 시각적 자료 없이 청각적 자료로만 상황을 판단하여야 하기 때문에, 제2 객체(2)와의 거리가 정확히 어떻게 되는지 알기 어렵고, 이를 알고 싶을 때가 있을 것이다. 이를 위하여, 거리 측정부(108)는 사용자의 요청에 따라 제1 객체(1)와 제2 객체(2) 간의 거리 측정을 수행한다. 거리 측정부(108)가 제1 객체(1)와 제2 객체(2) 간의 거리를 측정하는 일 예는 도 10을 참조하여 설명하도록 한다.
도 10은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 거리 측정부가 거리를 측정하는 과정을 설명하기 위한 도면이다.
도 10을 참조하면, 사용자가 조작부(105)의 조작 등을 통하여, 제1 객체(1)와 제2 객체(2) 간의 거리 측정을 요청할 경우, 제1 객체(1)는 가상의 음파(500)를 제2 객체(2)로 발사한다. 그리고 제2 객체(2)로부터 반사파가 반사되어 제1 객체(1)로 수신된다. 이 때, 음파(500)가 발사되고 반사파가 되돌아온 시간과 음파(500)의 파장을 이용하여 제1 객체(1) 및 제2 객체(2) 간의 거리를 측정할 수 있다. 이와 같이 측정된 제1 객체(1) 및 제2 객체(2) 간의 거리는 표시부(107)를 통해 표시될 수 있고, 사용자가 이를 확인할 수 있다.
도 11은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법을 설명하기 위한 순서도이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법이 시작되면, 먼저 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하고(S601), 상기 제1 객체의 좌표 및 상기 제2 객체의 좌표에 근거하여 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 산출한다(S602). 그리고 사운드 출력부가 상기 제2 객체에서 발생하는 사운드를 출력하고(S603), 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 제어한다(S604).
그리고 조작부가 상기 제1 객체를 조작한다(S605). 이 때, 단계(S605)에서 상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행할 수 있다. 상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하면, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 재산출하고(S606), 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 재산출된 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 변경한다(S607).
여기서, 단계(S604)는 상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작에 대응하여 상기 사운드 출력부에서 출력되는 사운드를 제어하는 단계를 포함할 수 있다. 또는, 단계(S604)는 상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법은 상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 단계를 더 포함할 수 있다.
도 11에 도시된 사운드 기반 인터페이스 방법은 도 1에 도시된 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치와 유사하게 사운드 기반 인터페이스 과정이 진행되므로 특별한 언급이 없는 한 도 1 내지 도 10에의 설명이 그대로 적용되므로 상세한 설명은 생략하도록 한다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
이상 본 발명의 특정 실시예를 도시하고 설명하였으나, 본 발명의 기술사상은 첨부된 도면과 상기한 설명내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형이 가능함은 이 분야의 통상의 지식을 가진 자에게는 자명한 사실이며, 이러한 형태의 변형은, 본 발명의 정신에 위배되지 않는 범위 내에서 본 발명의 특허청구범위에 속한다고 볼 것이다.
본 발명은 사운드 기반 인터페이스 장치 및 방법에 관한 것으로서, 시각적으로 화면을 보지 않고 단지 청각적으로 들리는 사운드만을 이용하여 게임을 진행할 수 있는 장점이 있으며, 그로 인해 다양한 모바일 게임 시장에서 산업적으로 이용 및 적용될 수 있다.

Claims (13)

  1. 제1 객체와 제2 객체에 대하여 가상 공간 상에서 위치에 따른 좌표를 설정하는 좌표 설정부;
    상기 제1 객체와 상기 제2 객체 상호간의 위치 정보를 산출하는 산출부;
    상기 제2 객체에서 발생하는 사운드를 출력하는 사운드 출력부; 및
    상기 산출된 위치 정보에 근거하여 상기 사운드 출력부에서 출력되는 상기 사운드의 정보를 제어하는 사운드 제어부를 포함하는 것을 특징으로 하는,
    사운드 기반 인터페이스 장치.
  2. 제1항에 있어서,
    상기 위치 정보는,
    상기 제1 객체에 대한 제2 객체의 좌표 정보, 방향 정보, 및 거리 정보 중 어느 하나 이상에 대한 정보 및/또는 상기 제2 객체에 대한 상기 제1 객체의 좌표 정보, 방향 정보, 및 거리 정보 중 어느 하나 이상에 대한 정보를 포함하는 것을 특징으로 하는,
    사운드 기반 인터페이스 장치.
  3. 제1항에 있어서,
    상기 사운드의 정보는,
    상기 사운드의 신호 크기, 사운드의 지속 시간, 사운드의 발생 위치 및 사운드 종류 중 어느 하나 이상을 포함하는 것을 특징으로 하는,
    사운드 기반 인터페이스 장치.
  4. 제1항에 있어서,
    상기 제1 객체를 조작하는 조작부를 더 포함하되,
    상기 산출부는,
    상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하는 경우, 상기 제1 객체와 상기 제2 객체 상호간의 위치 정보를 재산출하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.
  5. 제4항에 있어서,
    상기 사운드 제어부는,
    상기 산출부에서 재산출된 상기 위치 정보에 근거하여 상기 사운드 출력부에서 출력되는 사운드의 정보를 변경하는 것을 특징으로 하는, 사운드 기반 인터페이스 장치.
  6. 제4항에 있어서,
    상기 조작부는,
    상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 날기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.
  7. 제4항에 있어서,
    상기 사운드 제어부는,
    상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작 중 어느 하나 이상에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 정보를 제어하는 것을 특징으로 하는, 사운드 기반 인터페이스 장치.
  8. 제4항에 있어서,
    상기 사운드 제어부는,
    상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어하는 것을 특징으로 하는, 사운드 기반 인터페이스 장치.
  9. 제4항에 있어서,
    상기 조작부는,
    조이스틱, 조이패드, 키보드, 키패드, 마우스, 중력 센서 및 터치 입력 패널 중 하나 이상을 포함하는 것을 특징으로 하는, 사운드 기반 인터페이스 장치.
  10. 제4항에 있어서,
    상기 사용자의 음성을 인식하는 음성 인식부를 더 포함하되,
    상기 조작부는,
    상기 음성 인식부의 음성 인식 결과에 따라 조작을 수행하는 것을 특징으로 하는, 사운드 기반 인터페이스 장치.
  11. 제1항에 있어서,
    상기 가상의 공간 상에서의 상기 제1 객체의 상황에 대한 설명을 표시하는 표시부를 더 포함하는 것을 특징으로 하는, 사운드 기반 인터페이스 장치.
  12. 제11항에 있어서,
    상기 표시부는,
    상기 제1 객체를 조작하는 터치 입력 패널을 포함하고 상기 제1 객체를 조작하기 위한 사용자 인터페이스를 표시하는 것을 특징으로 하는, 사운드 기반 인터페이스 장치.
  13. 제1항에 있어서,
    상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 거리 측정부를 더 포함하는 것을 특징으로 하는, 사운드 기반 인터페이스 장치.
PCT/KR2012/009307 2012-09-10 2012-11-07 사운드 기반 인터페이스 장치 및 방법 WO2014038750A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120099683A KR101374961B1 (ko) 2012-09-10 2012-09-10 사운드 기반 인터페이스 장치 및 방법
KR10-2012-0099683 2012-09-10

Publications (1)

Publication Number Publication Date
WO2014038750A1 true WO2014038750A1 (ko) 2014-03-13

Family

ID=50237342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/009307 WO2014038750A1 (ko) 2012-09-10 2012-11-07 사운드 기반 인터페이스 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101374961B1 (ko)
WO (1) WO2014038750A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265931B1 (ko) 2014-08-12 2021-06-16 삼성전자주식회사 음성 인식을 이용하는 통화 수행 방법 및 사용자 단말
KR101588409B1 (ko) * 2015-01-08 2016-01-25 (주)천일전자 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법
KR20180041464A (ko) * 2016-10-14 2018-04-24 주식회사 디이씨코리아 가상현실 게임의 사운드 처리 방법 및 어플리케이션
KR102057281B1 (ko) * 2017-06-30 2019-12-18 이종환 기록매체에 기록된 사운드 가상현실 기반 게임 어플리케이션 프로그램, 이를 이용한 게임 시스템 및 제공 방법
CA2998918A1 (en) * 2018-03-20 2019-09-20 John Kyle Varley Method and system for generating a user-perceived structure of an audible sound in dependence upon user action within a virtual environment
CN111111167B (zh) * 2019-12-05 2021-01-05 腾讯科技（深圳）有限公司 游戏场景中的音效播放方法和装置、电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004195210A (ja) * 2002-12-04 2004-07-15 Nintendo Co Ltd ゲームサウンド制御プログラム、ゲームサウンド制御方法およびゲーム装置
JP2004313218A (ja) * 2003-04-11 2004-11-11 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2009247405A (ja) * 2008-04-01 2009-10-29 Sega Corp 仮想空間音声録音システム
KR20110025674A (ko) * 2008-05-30 2011-03-10 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 영상 분석 및 초음파 통신을 사용하여 컨트롤러의 3 차원 위치 판단

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004195210A (ja) * 2002-12-04 2004-07-15 Nintendo Co Ltd ゲームサウンド制御プログラム、ゲームサウンド制御方法およびゲーム装置
JP2004313218A (ja) * 2003-04-11 2004-11-11 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2009247405A (ja) * 2008-04-01 2009-10-29 Sega Corp 仮想空間音声録音システム
KR20110025674A (ko) * 2008-05-30 2011-03-10 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 영상 분석 및 초음파 통신을 사용하여 컨트롤러의 3 차원 위치 판단

Also Published As

Publication number Publication date
KR101374961B1 (ko) 2014-03-18

Similar Documents

Publication Publication Date Title
WO2014038750A1 (ko) 사운드 기반 인터페이스 장치 및 방법
CN107469354A (zh) 补偿声音信息的视觉方法及装置、存储介质、电子设备
WO2009108029A2 (ko) 모바일 가상 기타의 지판 표시 장치 및 방법
WO2016159461A1 (ko) 증강현실 기반 인터렉티브 저작 서비스 제공 시스템
KR20130050251A (ko) 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들
WO2014098305A1 (en) Touch sensitive device for providing mini-map of tactile user interface and method of controlling the same
WO2013118987A1 (en) Control method and apparatus of electronic device using control device
WO2014061931A1 (ko) 음향 재생 장치 및 음향 재생 방법
EP2997448A1 (en) Method and apparatus for using electronic device
CN205302186U (zh) 一种基于外部输入的虚拟现实控制系统
WO2017150947A1 (ko) 반응형 유저 인터페이스 제공 장치 및 방법
WO2020122282A1 (ko) 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
WO2009104933A2 (ko) 포켓피아노
WO2014042379A1 (ko) 미디어 플레이어를 제어하는 방법 및 이를 적용한 정보기기
KR102201678B1 (ko) 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들
WO2019156263A1 (ko) 대화방을 3차원 형태로 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
WO2018124397A1 (ko) 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법
WO2018038337A1 (ko) Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법
WO2020040447A1 (ko) 센서를 이용한 음악 출력 장치 및 그 방법
WO2020096121A1 (ko) 밀도를 이용한 포스 피드백 방법 및 시스템
CN101957631A (zh) 将输入与显示置于相对两面的可携式装置及其操作方法
WO2022249970A1 (ja) 装置又は方法
WO2024071733A1 (ko) 식별자 인식 기반 위치 결정 방법 및 장치
CN111182344B (zh) 显示界面控制方法、装置、电子设备及介质
WO2024085701A1 (ko) 스케치되는 탈것의 구동 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12884129

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/07/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 12884129

Country of ref document: EP

Kind code of ref document: A1