KR101374961B1 - Sound based interface apparatus and method - Google Patents

Sound based interface apparatus and method Download PDF

Info

Publication number
KR101374961B1
KR101374961B1 KR1020120099683A KR20120099683A KR101374961B1 KR 101374961 B1 KR101374961 B1 KR 101374961B1 KR 1020120099683 A KR1020120099683 A KR 1020120099683A KR 20120099683 A KR20120099683 A KR 20120099683A KR 101374961 B1 KR101374961 B1 KR 101374961B1
Authority
KR
South Korea
Prior art keywords
sound
unit
distance
sound output
based interface
Prior art date
Application number
KR1020120099683A
Other languages
Korean (ko)
Inventor
김정헌
양태현
정혁
안승현
양동언
이중기
Original Assignee
김정헌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김정헌 filed Critical 김정헌
Priority to KR1020120099683A priority Critical patent/KR101374961B1/en
Priority to PCT/KR2012/009307 priority patent/WO2014038750A1/en
Application granted granted Critical
Publication of KR101374961B1 publication Critical patent/KR101374961B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A sound-based interface apparatus and method thereof are disclosed. According to the present invention, the sound-based interface apparatus includes: a coordinates setting unit which sets coordinates according to the virtual location of a first object and a second object that responds to a user; a calculating unit which calculates a distance and direction from the first object to the second object based on the coordinates of the first and second objects; a sound outputting unit which outputs sounds generated from the second object; and a controlling unit which controls the volume or the location of the sounds outputted from the sound outputting unit according to the distance and direction from the first object to the second object. [Reference numerals] (101) Coordinates setting unit; (102) Calculating unit; (104) Sound control unit; (105) Operation unit; (106) Sound recognition unit; (107) Display unit; (108) Distance measuring unit

Description

사운드 기반 인터페이스 장치 및 방법{Sound based interface apparatus and method}Sound based interface apparatus and method

본 발명은 사운드 기반 인터페이스 장치 및 방법에 관한 것으로서, 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하고, 제1 객체에 대한 제2 객체의 거리 및 방향에 대응하여 출력되는 사운드의 크기 또는 위치를 제어함으로써, 사용자가 가상의 공간 상에서 제2 객체가 어느 위치에 있는지를 파악할 수 있고 사용자는 시각적 효과 없이도 청각적 효과만으로 현실감을 느낄 수 있으며, 눈의 피로 및 이에 따른 시력 저하를 막을 수 있는 사운드 기반 인터페이스 장치 및 방법에 관한 것이다.The present invention relates to a sound-based interface device and method, comprising setting coordinates according to positions of a first object and a second object corresponding to a user in a virtual space, and determining a distance and a direction of the second object with respect to the first object. By controlling the size or position of the sound output in response to the user, the user can determine where the second object is located in the virtual space, the user can feel the reality with only the auditory effect without the visual effect, eye fatigue And it relates to a sound-based interface device and method that can prevent the deterioration of vision accordingly.

기술의 발달에 따라 여러 가지 형태의 인터페이스 장치를 이용한 시뮬레이션 기술 또는 게임 기술이 개발되고 있다.With the development of technology, simulation technology or game technology using various types of interface devices is being developed.

최근에는 중력 센서, 가속도 센서 등의 각종 센서를 이용하여 화면에 표시된 객체를 조작하는 기술이나, 사람의 동작을 인식하여 인식 결과에 따라 객체를 조작하는 기술 등이 개발되고 있으며, 이러한 기술은 모바일 장치에도 적용되어 모바일 장치에 구비된 각종 장치, 센서 등을 활용한 시뮬레이션 어플리케이션, 게임 어플리케이션 등이 개발되고 있다.Recently, technologies for manipulating objects displayed on the screen using various sensors such as gravity sensors and acceleration sensors, and technologies for manipulating objects according to a recognition result by recognizing human motion have been developed. In addition, simulation applications, game applications, etc. utilizing various devices, sensors, and the like provided in the mobile devices are being developed.

하지만 이러한 종래의 기술들은 모두 디스플레이를 통해 객체를 표시하고, 사용자가 표시된 객체를 조작하여야 하므로, 항상 디스플레이를 주시하고 있어야 하므로, 장시간 이용할 경우, 눈의 피로를 유발하고 시력 저하를 가져올 수 있는 문제점이 있다.However, all of these conventional technologies display an object through a display, and the user must manipulate the displayed object. Therefore, the user must always watch the display. Therefore, when using for a long time, there is a problem that may cause eye fatigue and result in deterioration of vision. have.

본 발명의 목적은, 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하고, 제1 객체에 대한 제2 객체의 거리 및 방향에 대응하여 출력되는 사운드의 크기 또는 위치를 제어함으로써, 사용자가 가상의 공간 상에서 제2 객체가 어느 위치에 있는지를 파악할 수 있고 사용자는 시각적 효과 없이도 청각적 효과만으로 현실감을 느낄 수 있으며, 눈의 피로 및 이에 따른 시력 저하를 막을 수 있는 사운드 기반 인터페이스 장치 및 방법을 제공하는 것이다.An object of the present invention is to set coordinates according to positions of a first object and a second object corresponding to a user in a virtual space, and to output a sound corresponding to a distance and a direction of a second object with respect to the first object. By controlling the size or position, the user can determine where the second object is located in the virtual space, and the user can feel the reality with only the auditory effect without the visual effect, and prevent eye fatigue and consequent deterioration of eyesight. It is to provide a sound-based interface device and method that can be.

본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치는, 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하는 좌표 설정부; 상기 제1 객체의 좌표 및 상기 제2 객체의 좌표에 근거하여 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 산출하는 산출부; 상기 제2 객체에서 발생하는 사운드를 출력하는 사운드 출력부; 및 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 제어하는 사운드 제어부를 포함하여 구성된다.According to an embodiment of the present invention, a sound-based interface device includes: a coordinate setting unit configured to set coordinates according to positions of a first object and a second object corresponding to a user in a virtual space; A calculator configured to calculate a distance and a direction of the second object with respect to the first object based on the coordinates of the first object and the coordinates of the second object; A sound output unit configured to output a sound generated in the second object; And a sound controller for controlling the size or position of the sound output from the sound output unit in response to the distance and direction of the second object with respect to the first object.

상기 사운드 기반 인터페이스 장치는, 상기 제1 객체를 조작하는 조작부를 더 포함할 수 있다. 이 때, 상기 산출부는, 상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하면, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 재산출할 수 있다.The sound-based interface device may further include an operation unit for manipulating the first object. In this case, when the first object moves in response to the manipulation of the manipulation unit or the second object moves in the virtual space, the calculator calculates the first object according to the coordinate change of the first object or the second object. The distance and direction of the second object relative to the object can be recalculated.

상기 사운드 제어부는, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 재산출된 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 변경할 수 있다.The sound controller may be configured to output a sound output from the sound output unit corresponding to a distance and a direction of the second object with respect to the first object recalculated according to the coordinate change of the first object or the second object, or You can change the location.

상기 조작부는, 상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행할 수 있다.The operation unit may perform one or more operations of moving, walking, running, jumping, hiding, picking up items, and using items with respect to the first object.

상기 사운드 제어부는, 상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작에 대응하여 상기 사운드 출력부에서 출력되는 사운드를 제어할 수 있다.The sound controller may control a sound output from the sound output unit in response to an environment of the first object in the virtual space and an operation of the manipulation unit.

상기 사운드 제어부는, 상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어할 수 있다.When the first object is located at a crossroad of a crossroad while the first object moves according to an operation of the manipulation unit, the sound controller may control a sound generated at each crossroad according to a direction and a situation of each crossroad.

상기 조작부는, 조이스틱, 조이패드, 키보드, 키패드, 마우스, 중력 센서 및 터치 입력 패널 중 하나 이상을 포함할 수 있다.The operation unit may include one or more of a joystick, a joy pad, a keyboard, a keypad, a mouse, a gravity sensor, and a touch input panel.

상기 사운드 기반 인터페이스 장치는, 상기 사용자의 음성을 인식하는 음성 인식부를 더 포함할 수 있다. 이 때, 상기 조작부는, 상기 음성 인식부의 음성 인식 결과에 따라 조작을 수행할 수 있다.The sound-based interface device may further include a voice recognition unit for recognizing the voice of the user. In this case, the operation unit may perform an operation according to a voice recognition result of the voice recognition unit.

상기 사운드 기반 인터페이스 장치는, 상기 가상의 공간 상에서의 상기 제1 객체의 상황에 대한 설명을 표시하는 표시부를 더 포함할 수 있다.The sound-based interface device may further include a display unit that displays a description of a situation of the first object in the virtual space.

상기 표시부는, 상기 제1 객체를 조작하는 터치 입력 패널을 포함하고 상기 제1 객체를 조작하기 위한 사용자 인터페이스를 표시할 수 있다.The display unit may include a touch input panel for manipulating the first object and display a user interface for manipulating the first object.

상기 사운드 기반 인터페이스 장치는, 상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 거리 측정부를 더 포함할 수 있다.The sound based interface device may further include a distance measuring unit configured to emit a virtual sound wave from a position of the first object to a position of the second object and receive a reflected wave to measure a distance between the first object and the second object. It may include.

본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법은, 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하는 단계; 상기 제1 객체의 좌표 및 상기 제2 객체의 좌표에 근거하여 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 산출하는 단계; 사운드 출력부가 상기 제2 객체에서 발생하는 사운드를 출력하는 단계; 및 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 제어하는 단계를 포함하여 구성된다.According to one or more exemplary embodiments, a sound-based interface method includes: setting coordinates according to positions of a first object and a second object corresponding to a user in a virtual space; Calculating a distance and a direction of the second object with respect to the first object based on the coordinates of the first object and the coordinates of the second object; A sound output unit outputting a sound generated in the second object; And controlling a size or position of a sound output from the sound output unit in response to a distance and a direction of the second object with respect to the first object.

상기 사운드 기반 인터페이스 방법은, 조작부가 상기 제1 객체를 조작하는 단계; 및 상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하면, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 재산출하는 단계를 더 포함할 수 있다.The sound based interface method may further include: manipulating a first object by an operation unit; And the second object with respect to the first object according to a coordinate change of the first object or the second object when the first object moves or the second object moves in the virtual space. The method may further include recalculating a distance and a direction of the object.

상기 사운드 기반 인터페이스 방법은, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 재산출된 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 변경하는 단계를 더 포함할 수 있다.The sound-based interface method may include a sound output from the sound output unit corresponding to a distance and a direction of the second object with respect to the first object recalculated according to the coordinate change of the first object or the second object. It may further comprise the step of changing the size or position.

상기 제1 객체를 조작하는 단계는, 상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행하는 단계를 포함할 수 있다.Manipulating the first object may include performing one or more operations of moving, walking, running, jumping, hiding, picking up items, and using items on the first object.

상기 사운드의 크기 또는 위치를 제어하는 단계는, 상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작에 대응하여 상기 사운드 출력부에서 출력되는 사운드를 제어하는 단계를 포함할 수 있다.The controlling of the size or position of the sound may include controlling a sound output from the sound output unit in response to an operation of the operation unit and a surrounding environment of the virtual space of the first object. .

상기 사운드의 크기 또는 위치를 제어하는 단계는, 상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어하는 단계를 포함할 수 있다.The controlling of the size or position of the sound may include: when the first object is located at a crossroad of a crossroad while moving according to a manipulation of the manipulation unit, a sound generated at each crossroad according to the direction and situation of each crossroad; It may include the step of controlling.

상기 사운드 기반 인터페이스 방법은, 상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 단계를 더 포함할 수 있다.The sound-based interface method further comprises the steps of: firing a virtual sound wave from a position of the first object to a position of the second object and receiving a reflected wave to measure a distance between the first object and the second object can do.

본 발명의 일 측면에 따르면, 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하고, 제1 객체에 대한 제2 객체의 거리 및 방향에 대응하여 출력되는 사운드의 크기 또는 위치를 제어함으로써, 사용자가 가상의 공간 상에서 제2 객체가 어느 위치에 있는지를 파악할 수 있고 사용자는 시각적 효과 없이도 청각적 효과만으로 현실감을 느낄 수 있으며, 눈의 피로 및 이에 따른 시력 저하를 막을 수 있는 사운드 기반 인터페이스 장치 및 방법을 제공할 수 있다.According to an aspect of the present invention, the coordinates according to the position of the first object and the second object corresponding to the user in the virtual space, and is output in correspondence with the distance and direction of the second object with respect to the first object By controlling the size or position of the sound, the user can determine where the second object is located in the virtual space, and the user can feel the reality with only the auditory effect without the visual effect. It is possible to provide a sound-based interface device and method that can prevent the.

도 1은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치에서 적용되는 가상의 공간을 설명하기 위한 도면이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 사운드 제어부가 사운드를 제어하는 예들을 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 표시부가 사용자 인터페이스를 표시하는 예들을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 거리 측정부가 거리를 측정하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법을 설명하기 위한 순서도이다.1 is a view schematically showing a sound-based interface device according to an embodiment of the present invention.
2 is a view for explaining a virtual space applied in the sound-based interface device according to an embodiment of the present invention.
3 to 7 are diagrams for describing examples in which a sound controller of a sound-based interface device according to an embodiment of the present invention controls sound.
8 and 9 are diagrams for describing examples in which a display unit of a sound based interface device according to an embodiment of the present invention displays a user interface.
FIG. 10 is a diagram illustrating a process of measuring a distance by a distance measurer of a sound-based interface device according to an exemplary embodiment of the present invention.
11 is a flowchart illustrating a sound-based interface method according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

도 1은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치를 개략적으로 도시한 도면이다.1 is a view schematically showing a sound-based interface device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)는 좌표 설정부(101), 산출부(102), 사운드 출력부(103), 사운드 제어부(104), 조작부(105), 음성 인식부(106), 표시부(107) 및 거리 측정부(108)를 포함하여 구성될 수 있다. 도 1에 도시된 사운드 기반 인터페이스 장치(100)는 일 실시예에 따른 것이고, 그 구성요소들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다.Referring to FIG. 1, the sound-based interface device 100 according to an embodiment of the present invention may include a coordinate setting unit 101, a calculating unit 102, a sound output unit 103, a sound control unit 104, and an operation unit ( 105, the voice recognition unit 106, the display unit 107, and the distance measuring unit 108 may be configured. The sound-based interface device 100 shown in FIG. 1 is according to an embodiment, and its components are not limited to the embodiment shown in FIG. 1, and some components may be added, changed, or deleted as necessary. Can be.

일 실시예에서, 사운드 기반 인터페이스 장치(100)는 필요에 따라 개인용 컴퓨터, 스마트폰, 개인용 휴대 단말기(personal digital assistants; PDA) 및 태블릿(tablet) 컴퓨터 중 하나 이상에 포함되거나, 개인용 컴퓨터, 스마트폰, PDA, 및 태블릿 컴퓨터의 형태로 구현될 수 있다.In one embodiment, the sound-based interface device 100 is included in one or more of a personal computer, a smartphone, personal digital assistants (PDAs), and a tablet computer as needed, or a personal computer, a smartphone. , PDA, and tablet computer.

좌표 설정부(101)는 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정한다. 좌표 설정부(101)가 제1 객체 및 제2 객체의 좌표를 설정하는 일 예는 도 2를 참조하여 설명하도록 한다.The coordinate setting unit 101 sets coordinates according to positions of the first object and the second object corresponding to the user in the virtual space. An example of setting the coordinates of the first object and the second object by the coordinate setting unit 101 will be described with reference to FIG. 2.

도 2는 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치에서 적용되는 가상의 공간을 설명하기 위한 도면이다.2 is a view for explaining a virtual space applied in the sound-based interface device according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치에서 적용되는 가상의 공간(200)은 (x, y) 좌표계로 표시될 수 있다. 도 2에서는 가상의 공간(200)이 2차원 좌표계로 표시되었으나, 이는 일 실시예에 따른 것이고, 다른 실시예에서, 가상의 공간은 x 좌표계와 같은 1차원 좌표계 또는 (x, y, z) 좌표계와 같은 3차원 좌표계일 수 있다. 도 2 에서 제1 객체(1)는 사용자에 대응하는 객체로서, 사용자가 조작하기 위한 게임 캐릭터, 시뮬레이션 케릭터가 이에 해당할 수 있다. 그리고 제2 객체(2)는 가상의 공간(200) 상에 위치한 제1 객체(1)를 제외한 자동차, 동물, 강, 폭포 등의 객체들일 수 있다.Referring to FIG. 2, the virtual space 200 applied in the sound-based interface device according to an embodiment of the present invention may be displayed in a (x, y) coordinate system. In FIG. 2, the virtual space 200 is represented by a two-dimensional coordinate system, but according to an embodiment, in another embodiment, the virtual space is a one-dimensional coordinate system such as an x coordinate system or an (x, y, z) coordinate system. It may be a three-dimensional coordinate system such as. In FIG. 2, the first object 1 may correspond to a user, and may correspond to a game character and a simulation character that the user manipulates. The second object 2 may be objects such as a car, an animal, a river, a waterfall, etc. except for the first object 1 located on the virtual space 200.

도 1 및 도 2를 참조하면, 좌표 설정부(101)는 도 2에 표시된 것과 같은 가상의 공간(200) 상에서 제1 객체(1) 및 제2 객체(2)의 위치에 따른 좌표를 설정한다.1 and 2, the coordinate setting unit 101 sets coordinates according to positions of the first object 1 and the second object 2 in the virtual space 200 as shown in FIG. 2. .

산출부(102)는 제1 객체(1)의 좌표 및 제2 객체(2)의 좌표에 근거하여 제1 객체(1)에 대한 제2 객체(2)의 거리 및 방향을 산출한다. (x, y) 좌표계에서 좌표가 알려진 두 점 사이의 거리 및 방향을 구하는 것은 공지된 여러 가지 방식을 통해 쉽게 구할 수 있으므로, 이에 대한 자세한 설명은 생략하도록 한다.The calculator 102 calculates a distance and a direction of the second object 2 with respect to the first object 1 based on the coordinates of the first object 1 and the coordinates of the second object 2. Since the distance and direction between two known coordinates in the (x, y) coordinate system can be easily obtained through various known methods, detailed description thereof will be omitted.

사운드 출력부(103)는 제2 객체(2)에서 발생하는 사운드를 출력한다. 일 실시에에서, 사운드 출력부(103)는 제2 객체(2)에서 발생하는 사운드 이외에도, 제1 객체(1) 주변의 다른 사운드도 출력할 수 있다. 사운드 출력부(103)는 스피커, 헤드폰 및 이어폰 중 하나 이상을 포함할 수 있다.The sound output unit 103 outputs a sound generated from the second object 2. In an embodiment, the sound output unit 103 may output other sounds around the first object 1 in addition to the sound generated by the second object 2. The sound output unit 103 may include one or more of a speaker, headphones, and earphones.

사운드 제어부(104)는 산출부(102)에서 산출된 제1 객체(1)에 대한 제2 객체(2)의 거리 및 방향에 대응하여 사운드 출력부(103)에서 출력되는 사운드의 크기 또는 위치를 제어한다. The sound controller 104 may determine the size or position of the sound output from the sound output unit 103 corresponding to the distance and direction of the second object 2 with respect to the first object 1 calculated by the calculator 102. To control.

조작부(105)는 제1 객체(1)를 조작한다. 일 실시예에서, 조작부(105)는 제1 객체(1)에 대해 이동, 걷기, 달리기, 점프, 숨기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행할 수 있다. 조작부(105)는 조이스틱, 조이패드, 키보드, 키패드, 마우스, 중력 센서 및 터치 입력 패널 중 하나 이상을 포함할 수 있다. 또는, 조작부(105)는 사용자의 음성을 인식하는 음성 인식부(106)의 음성 인식 결과에 따라 조작을 수행할 수 있다.The operation unit 105 manipulates the first object 1. In one embodiment, the manipulation unit 105 may perform one or more operations of moving, walking, running, jumping, hiding, picking up items, and using items with respect to the first object 1. The manipulation unit 105 may include one or more of a joystick, a joypad, a keyboard, a keypad, a mouse, a gravity sensor, and a touch input panel. Alternatively, the operation unit 105 may perform an operation according to a voice recognition result of the voice recognition unit 106 that recognizes the user's voice.

사운드 제어부(104)는 조작부(105)의 조작이나 제1 객체(1)의 주변 상황에 따라 다양한 양상으로 사운드 출력부(103)의 사운드를 제어할 수 있는데, 이는 도 3 내지 도 7을 참조하여 구체적으로 설명하도록 한다.The sound controller 104 may control the sound of the sound output unit 103 in various aspects according to the manipulation of the manipulation unit 105 or the surrounding situation of the first object 1, which is described with reference to FIGS. 3 to 7. It will be described in detail.

도 3 내지 도 7은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 사운드 제어부가 사운드를 제어하는 예들을 설명하기 위한 도면이다.3 to 7 are diagrams for describing examples in which a sound controller of a sound-based interface device according to an embodiment of the present invention controls sound.

도 3은 제1 객체(1)가 제2 객체(2)로 접근하여 제1 객체(1)에 대한 제2 객체(2)의 방향은 변하지 않았지만 거리가 가까워지는 예를 도시한 도면이다. 이에 따르면, 이동 전의 제1 객체(1)는 전방에서 제2 객체(2)가 발생하는 사운드를 들을 수 있다. 제1 객체(1)가 조작부(105)의 조작에 따라 제2 객체(2)의 앞으로 이동하고 나면, 제1 객체(1)에게 있어서 제2 객체(2)가 발생하는 사운드의 방향은 바뀌지 않겠지만, 사운드는 크게 들릴 것이다. 따라서, 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 위치는 사용자의 전방으로 유지하고 사운드의 크기는 제1 객체(1)의 이동 전보다 커지도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 제2 객체(2)에 가까워질수록 점점 커지도록 제어할 수 있다.3 illustrates an example in which the first object 1 approaches the second object 2 and the distance of the second object 2 with respect to the first object 1 does not change but the distance is closer. According to this, the first object 1 before the movement can hear the sound generated by the second object 2 from the front. After the first object 1 moves in front of the second object 2 according to the operation of the manipulation unit 105, the direction of the sound in which the second object 2 occurs for the first object 1 will not change. Only the sound will sound louder. Therefore, the sound controller 104 maintains the position of the sound of the sound output unit 103 in front of the user and controls the size of the sound to be larger than before the movement of the first object 1. In this case, the sound controller 104 may control the first object 1 to become larger as the second object 2 approaches.

이와는 반대로, 제1 객체(1)가 제2 객체(2)로부터 떨어져서 제1 객체(1)에 대한 제2 객체(2)의 방향은 변하지 않았지만 거리가 멀어지는 예를 고려해 볼 수 있다. 이 경우에는 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 위치는 사용자의 전방으로 유지하고 사운드의 크기는 제1 객체(1)의 이동 전보다 작아지도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 제2 객체(2)로부터 멀어질수록 점점 작아지도록 제어할 수 있다.On the contrary, an example may be considered in which the first object 1 is separated from the second object 2 so that the direction of the second object 2 with respect to the first object 1 is not changed but the distance is farther away. In this case, the sound controller 104 maintains the position of the sound of the sound output unit 103 in front of the user and controls the size of the sound to be smaller than before the movement of the first object 1. In this case, the sound controller 104 may control the first object 1 to become smaller as it moves away from the second object 2.

도 4는 제2 객체(2)가 제1 객체(1)로 접근하여 제1 객체(1)에 대한 제2 객체(2)의 방향은 변하지 않았지만 거리가 가까워지는 예를 도시한 도면이다. 이에 따르면, 제2 객체(2)가 이동하기 전의 제1 객체(1)는 전방에서 제2 객체(2)가 발생하는 사운드를 들을 수 있다. 제2 객체(2)가 제1 객체(1)의 앞으로 이동하고 나면, 제1 객체(1)에게 있어서 제2 객체(2)가 발생하는 사운드의 방향은 바뀌지 않겠지만, 사운드는 크게 들릴 것이다. 따라서, 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 위치는 사용자의 전방으로 유지하고 사운드의 크기는 제2 객체(2)의 이동 전보다 커지도록 제어한다. 이 때, 사운드 제어부(104)는 제2 객체(2)가 제1 객체(1)에 가까워질수록 점점 커지도록 제어할 수 있다.4 illustrates an example in which the second object 2 approaches the first object 1 so that the direction of the second object 2 with respect to the first object 1 is not changed but the distance is closer. According to this, the first object 1 before the second object 2 moves can hear the sound generated by the second object 2 from the front. After the second object 2 moves in front of the first object 1, the direction of the sound in which the second object 2 is generated for the first object 1 will not change, but the sound will be loud. Therefore, the sound controller 104 maintains the position of the sound of the sound output unit 103 in front of the user and controls the size of the sound to be larger than before the movement of the second object 2. In this case, the sound controller 104 may control the second object 2 to become larger as the first object 1 gets closer to the first object 1.

이와는 반대로, 제2 객체(2)가 제1 객체(1)로부터 떨어져서 제1 객체(1)에 대한 제2 객체(2)의 방향은 변하지 않았지만 거리가 멀어지는 예를 고려해 볼 수 있다. 이 경우에는 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 위치는 사용자의 전방으로 유지하고 사운드의 크기는 제2 객체(2)의 이동 전보다 작아지도록 제어한다. 이 때, 사운드 제어부(104)는 제2 객체(2)가 제1 객체(1)로부터 멀어질수록 점점 작아지도록 제어할 수 있다.On the contrary, an example may be considered in which the second object 2 is separated from the first object 1 so that the direction of the second object 2 with respect to the first object 1 does not change but the distance is farther away. In this case, the sound controller 104 maintains the position of the sound of the sound output unit 103 in front of the user and controls the sound size to be smaller than before the movement of the second object 2. In this case, the sound controller 104 may control the second object 2 to become smaller as it moves away from the first object 1.

도 5는 제1 객체(1)가 제2 객체(2)와의 거리를 유지한 채 시계 방향으로 회전 이동하여 제1 객체(1)에 대한 제2 객체(2)의 거리는 변하지 않았지만 방향이 바뀌는 예를 도시한 도면이다. 이에 따르면, 이동 전의 제1 객체(1)는 전방에서 제2 객체(2)가 발생하는 사운드를 들을 수 있다. 제1 객체(1)가 조작부(105)의 조작에 따라 제2 객체(2)와의 거리를 유지한 채 시계 방향으로 현재의 위치로 회전 이동하고 나면, 제1 객체(1)에게 있어서 제2 객체(2)가 발생하는 사운드의 크기는 바뀌지 않겠지만, 사운드의 방향은 시계 방향으로 변경될 것이다. 따라서, 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 크기는 제1 객체(1)의 이동 전과 동일하게 유지하고 사운드의 위치는 전방에서 우측 상단의 시계 방향으로 변경되도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 시계 방향으로 회전 이동하면서 점차로 시계 방향으로 사운드의 위치가 변경되도록 제어할 수 있다.5 illustrates an example in which the distance of the second object 2 to the first object 1 is not changed but the direction is changed by rotating the first object 1 clockwise while maintaining the distance to the second object 2. It is a figure which shows. According to this, the first object 1 before the movement can hear the sound generated by the second object 2 from the front. After the first object 1 rotates to the current position in the clockwise direction while maintaining the distance to the second object 2 according to the operation of the manipulation unit 105, the second object for the first object 1 The magnitude of the sound produced by (2) will not change, but the direction of the sound will change clockwise. Therefore, the sound controller 104 maintains the sound level of the sound output unit 103 to be the same as before the movement of the first object 1 and controls the position of the sound to change clockwise from the front to the upper right. In this case, the sound control unit 104 may control the position of the sound to be gradually changed in the clockwise direction while the first object 1 rotates in the clockwise direction.

이와는 반대로, 제1 객체(1)가 제2 객체(2)와의 거리를 유지한 채 반시계 방향으로 회전 이동하여 제1 객체(1)에 대한 제2 객체(2)의 거리는 변하지 않았지만 방향이 바뀌는 예를 고려해 볼 수 있다. 이 경우에는 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 크기는 제1 객체(1)의 이동 전과 동일하게 유지하고 사운드의 위치는 전방에서 좌측 상단의 반시계 방향으로 변경되도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 반시계 방향으로 회전 이동하면서 점차로 반시계 방향으로 사운드의 위치가 변경되도록 제어할 수 있다.On the contrary, the first object 1 rotates counterclockwise while maintaining the distance from the second object 2 so that the distance of the second object 2 with respect to the first object 1 is not changed but the direction is changed. You can consider an example. In this case, the sound control unit 104 maintains the sound level of the sound output unit 103 to be the same as before the movement of the first object 1 and controls the position of the sound to change from the front to the counterclockwise direction of the upper left. . At this time, the sound controller 104 may control the position of the sound to be gradually changed in the counterclockwise direction while the first object 1 rotates in the counterclockwise direction.

도 6은 제2 객체(2)가 제1 객체(1)와의 거리를 유지한 채 시계 방향으로 회전 이동하여 제1 객체(1)에 대한 제2 객체(2)의 거리는 변하지 않았지만 방향이 바뀌는 예를 도시한 도면이다. 이에 따르면, 제2 객체(2)가 이동하기 전의 제1 객체(1)는 전방에서 제2 객체(2)가 발생하는 사운드를 들을 수 있다. 제2 객체(2)가 제1 객체(1)와의 거리를 유지한 채 시계 방향으로 현재의 위치로 회전 이동하고 나면, 제1 객체(1)에게 있어서 제2 객체(2)가 발생하는 사운드의 크기는 바뀌지 않겠지만, 사운드의 방향은 시계 방향으로 변경될 것이다. 따라서, 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 크기는 제2 객체(2)의 이동 전과 동일하게 유지하고 사운드의 위치는 전방에서 우측 상단의 시계 방향으로 변경되도록 제어한다. 이 때, 사운드 제어부(104)는 제2 객체(2)가 시계 방향으로 회전 이동하면서 점차로 시계 방향으로 사운드의 위치가 변경되도록 제어할 수 있다.6 illustrates an example in which the second object 2 rotates in a clockwise direction while maintaining a distance from the first object 1 so that the distance of the second object 2 with respect to the first object 1 is not changed but the direction is changed. It is a figure which shows. According to this, the first object 1 before the second object 2 moves can hear the sound generated by the second object 2 from the front. After the second object 2 rotates clockwise to the current position while maintaining the distance from the first object 1, the sound of the sound generated by the second object 2 for the first object 1 is generated. The magnitude will not change, but the direction of the sound will change clockwise. Therefore, the sound control unit 104 maintains the sound level of the sound output unit 103 to be the same as before the movement of the second object 2 and controls the position of the sound to be changed clockwise from the front to the upper right. In this case, the sound controller 104 may control the position of the sound to be gradually changed in the clockwise direction while the second object 2 is rotated in the clockwise direction.

이와는 반대로, 제2 객체(2)가 제1 객체(1)와의 거리를 유지한 채 반시계 방향으로 회전 이동하여 제1 객체(1)에 대한 제2 객체(2)의 거리는 변하지 않았지만 방향이 바뀌는 예를 고려해 볼 수 있다. 이 경우에는 사운드 제어부(104)는 사운드 출력부(103)의 사운드의 크기는 제2 객체(2)의 이동 전과 동일하게 유지하고 사운드의 위치는 전방에서 좌측 상단의 반시계 방향으로 변경되도록 제어한다. 이 때, 사운드 제어부(104)는 제1 객체(1)가 반시계 방향으로 회전 이동하면서 점차로 반시계 방향으로 사운드의 위치가 변경되도록 제어할 수 있다.On the contrary, the second object 2 rotates counterclockwise while maintaining the distance from the first object 1 so that the distance of the second object 2 with respect to the first object 1 is not changed but the direction is changed. You can consider an example. In this case, the sound control unit 104 maintains the sound level of the sound output unit 103 to be the same as before the movement of the second object 2 and controls the position of the sound to change from the front to the counterclockwise direction of the upper left. . At this time, the sound controller 104 may control the position of the sound to be gradually changed in the counterclockwise direction while the first object 1 rotates in the counterclockwise direction.

도 3 내지 도 6을 참조하여 설명한 바와 같이 제1 객체(1) 또는 제2 객체(2)가 이동, 회전 이동함에 따라 사운드 제어부(104)는 사운드 출력부(103)에서 발생되는 사운드의 크기 또는 위치를 제어한다. 도 3 내지 도 6을 참조하여 설명한 예들을 종합하면 제1 객체(1) 또는 제2 객체(2)가 어떠한 방향으로 이동하더라도 사운드 제어부(104)가 사운드 출력부(103)에서 발생되는 사운드의 크기 또는 위치를 어떻게 제어할지는 설명될 수 있고, 당업자에게 자명하게 도출될 수 있는 내용이다.As described with reference to FIGS. 3 to 6, as the first object 1 or the second object 2 moves and rotates, the sound control unit 104 may generate a sound volume generated by the sound output unit 103. To control the position. According to the examples described with reference to FIGS. 3 to 6, the sound control unit 104 may generate a sound level at the sound output unit 103 no matter in which direction the first object 1 or the second object 2 moves. Or how to control the position can be described, it will be apparent to those skilled in the art.

일 실시예에서, 사운드 제어부(104)는 제1 객체(1)의 가상의 공간(200) 상에서의 주변 환경 및 조작부(105)의 조작에 대응하여 사운드 출력부(103)에서 출력되는 사운드를 제어할 수 있다. 예를 들어, 제1 객체(1)가 위치한 가상의 공간(200)에서 제1 객체(1)가 이동할 때 땅이 흙, 자갈, 물 등 어떠한 재질이냐에 따라 사운드 제어부(104)는 사운드 출력부(103)에서 출력되는 사운드가 변경되도록 제어할 수 있다. 또는, 제1 객체(1)가 조작부(105)의 조작에 의해 걷느냐, 달리느냐에 따라 사운드 제어부(104)는 사운드 출력부(103)에서 출력되는 사운드가 변경되도록 제어할 수 있다.In one embodiment, the sound control unit 104 controls the sound output from the sound output unit 103 in response to the surrounding environment on the virtual space 200 of the first object 1 and the manipulation of the manipulation unit 105. can do. For example, when the first object 1 moves in the virtual space 200 in which the first object 1 is located, the sound controller 104 may include a sound output unit according to a material such as soil, gravel, or water. The sound output from the 103 may be controlled to be changed. Alternatively, the sound controller 104 may control the sound output from the sound output unit 103 to be changed depending on whether the first object 1 walks or runs by the manipulation unit 105.

일 실시예에서, 사운드 제어부(104)는 제1 객체(1)가 조작부(105)의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어할 수 있다. 이를 도 7을 참조하여 설명하도록 한다.In one embodiment, when the first object 1 is located at the crossroad of the crossroad while the first object 1 moves according to the manipulation of the manipulation unit 105, the sound control unit 104 occurs at each crossroad in response to the direction and the situation of the crossroad. You can control the sound. This will be described with reference to FIG. 7.

도 7은 제1 객체(1)가 조작부(105)의 조작에 따라 이동하는 중 갈림길의 길목(300)에 위치한 예를 도시한 도면이다. 도 7을 참조하면, 제1 객체(1)가 이동할 때, 갈림길의 길목(300)에 다다를 때까지는 각 갈림길에서 발생하는 사운드 즉, 제2 객체(2) 및 제3 객체(3)가 발생하는 소리를 들을 수 없다가, 제1 객체(1)가 길목에 도달하였을 때만 각 갈림길에서 발생하는 사운드를 들을 수 있다. 즉, 제1 객체(1)가 갈림길의 길목(300)에 다다르면, 제2 객체(2)인 자동차가 내는 소리를 우측 상단에서 들을 수 있고, 제3 객체(3)인 폭포가 내는 소리를 좌측 상단에서 들을 수 있다. 이는 사용자가 제1 객체(1)를 조작하여 이동시킬 때, 제1 객체(1)가 갈림길의 길목(300)에 다다랐음을 명확히 알 수 있도록 하기 위한 것이다. 만약, 제1 객체(1)가 갈림길의 길목(300)에 다다르기 전부터 제2 객체(2) 및 제3 객체(3)가 발생하는 소리가 들린다면, 사용자는 제1 객체(1)가 갈림길의 길목(300)에 벌써 다다랐다고 착각할 수 있을 것이다. 따라서, 이와 같은 상황을 막기 위하여 제1 객체(1)가 갈림길의 길목(300)에 다다랐을 때만 각 갈림길에서 발생하는 사운드를 들을 수 있도록 하는 것이다.FIG. 7 is a diagram illustrating an example in which the first object 1 is located at a crossroad 300 of a crossroad while moving according to an operation of the manipulation unit 105. Referring to FIG. 7, when the first object 1 moves, a sound generated at each cross road until the crossroad 300 of the cross road is reached, that is, the second object 2 and the third object 3 are generated. The sound cannot be heard, and the sound generated at each crossroad can be heard only when the first object 1 reaches the street. That is, when the first object 1 approaches the crossroad 300 of the crossroad, the sound of the car, which is the second object 2, can be heard from the upper right, and the sound of the waterfall, which is the third object 3, is left. You can hear it from the top. This is to make it clear that when the user manipulates and moves the first object 1, the first object 1 has reached the crossroad 300 of the crossroad. If the sound of the second object 2 and the third object 3 is heard before the first object 1 reaches the crossroad 300 of the crossroad, the user may hear that the first object 1 crosses the road. You may be mistaken that the road 300 has already reached. Therefore, in order to prevent such a situation, the sound generated at each crossroad can be heard only when the first object 1 approaches the crossroad 300 of the crossroad.

다시 도 1로 돌아와서, 표시부(107)는 가상의 공간(200) 상에서의 제1 객체(1)의 상황에 대한 설명을 표시한다. 일 실시예에서, 표시부(107)는 조작부(105)의 일종인 터치 입력 패널을 포함하고 제1 객체(1)를 조작하기 위한 사용자 인터페이스를 표시할 수 있다. 표시부(107)의 구현예는 도 8 및 도 9를 참조하여 설명하도록 한다.Returning to FIG. 1 again, the display unit 107 displays a description of the situation of the first object 1 in the virtual space 200. In one embodiment, the display unit 107 may include a touch input panel, which is a kind of the manipulation unit 105, and display a user interface for manipulating the first object 1. An embodiment of the display unit 107 will be described with reference to FIGS. 8 and 9.

도 8 및 도 9는 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 표시부가 사용자 인터페이스를 표시하는 예들을 설명하기 위한 도면이다.8 and 9 are diagrams for describing examples in which a display unit of a sound based interface device according to an embodiment of the present invention displays a user interface.

도 8을 참조하면, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)는 스마트폰의 형태로 구현이 되어 있다. 그리고 표시부(107)는 제1 객체(1)를 조작하기 위한 터치 입력 패널을 포함하고 있다. 표시부(107)에는 현재 제1 객체(1)의 상황(401)을 표시하고 있고, 제1 객체(1)를 조작하기 위한 사용자 인터페이스인 화살표 버튼(402, 403, 404 및 405)이 표시되어 있다. 사용자가 화살표 버튼(402, 403, 404 및 405) 중 어느 하나를 누르게 되면, 제1 객체(1)는 누른 버튼에 대응하는 방향으로 이동하게 된다.Referring to FIG. 8, the sound-based interface device 100 according to an embodiment of the present invention is implemented in the form of a smartphone. The display unit 107 includes a touch input panel for manipulating the first object 1. The display unit 107 currently displays the situation 401 of the first object 1, and arrow buttons 402, 403, 404 and 405, which are user interfaces for manipulating the first object 1, are displayed. . When the user presses any one of the arrow buttons 402, 403, 404, and 405, the first object 1 moves in the direction corresponding to the pressed button.

이 때, 제1 객체(1)의 조작은 화살표 버튼(402, 403, 404 및 405)만으로도 가능하지만, 사운드 기반 인터페이스 장치(100)에 포함된 중력 센서로도 가능하다.In this case, the manipulation of the first object 1 may be performed using only the arrow buttons 402, 403, 404, and 405, but may also be a gravity sensor included in the sound-based interface device 100.

도 9에서는 도 8에서와 마찬가지로 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)가 스마트폰의 형태로 구현이 되어 있다. 그리고 표시부(107)는 제1 객체(1)를 조작하기 위한 터치 입력 패널을 포함하고 있다. 표시부(107)에는 현재 제1 객체의 상황(406)을 표시하고 있고, 제1 객체의 상황(406)에는 문을 열 것인지 여부에 관한 질문을 포함하고 있다. 그리고 하단에는 제1 객체(1)를 조작하기 위한 사용자 인터페이스인 Yes 버튼(407)과 No 버튼(408)이 구비되어 있다. 사용자가 Yes 버튼(407)을 누르게 되면 제1 객체(1)가 문을 열고 No 버튼(408)을 누르게 되면 제1 객체(1)가 문을 열지 않는다.In FIG. 9, as in FIG. 8, the sound-based interface device 100 according to an exemplary embodiment of the present invention is implemented in the form of a smartphone. The display unit 107 includes a touch input panel for manipulating the first object 1. The display unit 107 currently displays the situation 406 of the first object, and the situation 406 of the first object includes a question as to whether to open the door. At the bottom, a Yes button 407 and a No button 408, which are user interfaces for manipulating the first object 1, are provided. When the user presses the Yes button 407, the first object 1 opens the door, and when the user presses the No button 408, the first object 1 does not open the door.

다시 도 1로 돌아와서, 거리 측정부(108)는 제1 객체(1)의 위치에서 제2 객체(2)의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 제1 객체(1)와 제2 객체(2) 간의 거리를 측정한다. 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치(100)를 이용하는 사용자는 시각적 자료 없이 청각적 자료로만 상황을 판단하여야 하기 때문에, 제2 객체(2)와의 거리가 정확히 어떻게 되는지 알기 어렵고, 이를 알고 싶을 때가 있을 것이다. 이를 위하여, 거리 측정부(108)는 사용자의 요청에 따라 제1 객체(1)와 제2 객체(2) 간의 거리 측정을 수행한다. 거리 측정부(108)가 제1 객체(1)와 제2 객체(2) 간의 거리를 측정하는 일 예는 도 10을 참조하여 설명하도록 한다.1 again, the distance measuring unit 108 emits a virtual sound wave from the position of the first object 1 to the position of the second object 2 and receives the reflected wave to generate the first object 1 and the first object. Measure the distance between the two objects (2). Since the user using the sound-based interface device 100 according to an embodiment of the present invention should judge the situation only with the audio data without the visual data, it is difficult to know exactly how the distance from the second object 2 becomes. There will be times when you want to. To this end, the distance measurer 108 measures distance between the first object 1 and the second object 2 according to a user's request. An example in which the distance measurer 108 measures the distance between the first object 1 and the second object 2 will be described with reference to FIG. 10.

도 10은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치의 거리 측정부가 거리를 측정하는 과정을 설명하기 위한 도면이다.FIG. 10 is a diagram illustrating a process of measuring a distance by a distance measurer of a sound-based interface device according to an exemplary embodiment of the present invention.

도 10을 참조하면, 사용자가 조작부(105)의 조작 등을 통하여, 제1 객체(1)와 제2 객체(2) 간의 거리 측정을 요청할 경우, 제1 객체(1)는 가상의 음파(500)를 제2 객체(2)로 발사한다. 그리고 제2 객체(2)로부터 반사파가 반사되어 제1 객체(1)로 수신된다. 이 때, 음파(500)가 발사되고 반사파가 되돌아온 시간과 음파(500)의 파장을 이용하여 제1 객체(1) 및 제2 객체(2) 간의 거리를 측정할 수 있다. 이와 같이 측정된 제1 객체(1) 및 제2 객체(2) 간의 거리는 표시부(107)를 통해 표시될 수 있고, 사용자가 이를 확인할 수 있다.Referring to FIG. 10, when a user requests a distance measurement between the first object 1 and the second object 2 through an operation of the manipulation unit 105, the first object 1 is a virtual sound wave 500. ) To the second object (2). The reflected wave is reflected from the second object 2 and received by the first object 1. In this case, the distance between the first object 1 and the second object 2 may be measured using the time when the sound wave 500 is emitted and the reflected wave is returned and the wavelength of the sound wave 500. The distance between the first object 1 and the second object 2 measured as described above may be displayed through the display unit 107, and the user may confirm this.

도 11은 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법을 설명하기 위한 순서도이다.11 is a flowchart illustrating a sound-based interface method according to an embodiment of the present invention.

도 11을 참조하면, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법이 시작되면, 먼저 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하고(S601), 상기 제1 객체의 좌표 및 상기 제2 객체의 좌표에 근거하여 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 산출한다(S602). 그리고 사운드 출력부가 상기 제2 객체에서 발생하는 사운드를 출력하고(S603), 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 제어한다(S604).Referring to FIG. 11, when a sound-based interface method according to an embodiment of the present invention is started, first, coordinates according to positions in a virtual space of a first object and a second object corresponding to a user are set (S601). In operation S602, a distance and a direction of the second object with respect to the first object are calculated based on the coordinates of the first object and the coordinates of the second object. The sound output unit outputs the sound generated from the second object (S603), and controls the size or position of the sound output from the sound output unit in response to the distance and the direction of the second object with respect to the first object. (S604).

그리고 조작부가 상기 제1 객체를 조작한다(S605). 이 때, 단계(S605)에서 상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행할 수 있다. 상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하면, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 재산출하고(S606), 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 재산출된 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 변경한다(S607).The operation unit manipulates the first object (S605). At this time, in operation S605, one or more operations of moving, walking, running, jumping, hiding, picking up items, and using items may be performed on the first object. If the first object moves in accordance with the manipulation of the manipulation unit or the second object moves in the virtual space, the second object with respect to the first object according to a coordinate change of the first object or the second object. Recalculates the distance and direction of the sound output unit in response to the distance and the direction of the second object with respect to the first object recalculated according to the coordinate change of the first object or the second object. Change the size or position of the sound output from the (S607).

여기서, 단계(S604)는 상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작에 대응하여 상기 사운드 출력부에서 출력되는 사운드를 제어하는 단계를 포함할 수 있다. 또는, 단계(S604)는 상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어하는 단계를 포함할 수 있다.Here, step S604 may include controlling a sound output from the sound output unit in response to the surrounding environment of the virtual space of the first object and the manipulation of the manipulation unit. Alternatively, in operation S604, when the first object is located at a crossroad of a crossroad while moving according to an operation of the manipulation unit, controlling the sound generated at each crossroad according to a direction and a situation of each crossroad. can do.

또한, 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 방법은 상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 단계를 더 포함할 수 있다.In addition, the sound-based interface method according to an embodiment of the present invention emits a virtual sound wave from the position of the first object to the position of the second object and receives the reflected wave, between the first object and the second object The method may further include measuring a distance.

도 11에 도시된 사운드 기반 인터페이스 방법은 도 1에 도시된 본 발명의 일 실시예에 따른 사운드 기반 인터페이스 장치와 유사하게 사운드 기반 인터페이스 과정이 진행되므로 특별한 언급이 없는 한 도 1 내지 도 10에의 설명이 그대로 적용되므로 상세한 설명은 생략하도록 한다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
In the sound-based interface method shown in FIG. 11, the sound-based interface process proceeds similarly to the sound-based interface device shown in FIG. 1. As it is applied as is, a detailed description thereof will be omitted. While the above method has been shown and described as a series of blocks for purposes of simplicity, it is to be understood that the invention is not limited to the order of the blocks, and that some blocks may be present in different orders and in different orders from that shown and described herein And various other branches, flow paths, and sequences of blocks that achieve the same or similar results may be implemented. Also, not all illustrated blocks may be required for implementation of the methods described herein.

이상 본 발명의 특정 실시예를 도시하고 설명하였으나, 본 발명의 기술사상은 첨부된 도면과 상기한 설명내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형이 가능함은 이 분야의 통상의 지식을 가진 자에게는 자명한 사실이며, 이러한 형태의 변형은, 본 발명의 정신에 위배되지 않는 범위 내에서 본 발명의 특허청구범위에 속한다고 볼 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken as limitations. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

100 사운드 기반 인터페이스 장치
101 좌표 설정부
102 산출부
103 사운드 출력부
104 사운드 제어부
105 조작부
106 음성 인식부
107 표시부100 sound-based interface device
101 coordinate setting unit
102 calculator
103 Sound Output
104 sound control
105 Control Panel
106 Speech Recognition
107 display unit

Claims (18)

사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하는 좌표 설정부;
상기 제1 객체의 좌표 및 상기 제2 객체의 좌표에 근거하여 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 산출하는 산출부;
상기 제2 객체에서 발생하는 사운드를 출력하는 사운드 출력부;
상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 제어하는 사운드 제어부; 및
상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 거리 측정부를 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.A coordinate setting unit configured to set coordinates according to positions of a first object and a second object corresponding to a user in a virtual space;
A calculator configured to calculate a distance and a direction of the second object relative to the first object based on the coordinates of the first object and the coordinates of the second object;
A sound output unit configured to output a sound generated in the second object;
A sound control unit controlling a size or position of a sound output from the sound output unit in response to a distance and a direction of the second object with respect to the first object; And
And a distance measuring unit configured to emit a virtual sound wave from a position of the first object to a position of the second object and receive a reflected wave to measure a distance between the first object and the second object. Interface device. 청구항 1에 있어서,
상기 제1 객체를 조작하는 조작부를 더 포함하되,
상기 산출부는,
상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하면, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 재산출하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method according to claim 1,
Further comprising a manipulation unit for manipulating the first object,
The calculating unit calculates,
If the first object moves in accordance with the manipulation of the manipulation unit or the second object moves in the virtual space, the second object with respect to the first object according to a coordinate change of the first object or the second object. Sound-based interface device, characterized in that re-determining the distance and direction of. 청구항 2에 있어서,
상기 사운드 제어부는,
상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 재산출된 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 변경하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method according to claim 2,
The sound control unit,
Changing the size or position of the sound output from the sound output unit in response to the distance and direction of the second object with respect to the first object recalculated according to the coordinate change of the first object or the second object. A sound based interface device. 청구항 2에 있어서,
상기 조작부는,
상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method according to claim 2,
Wherein,
And perform one or more operations of moving, walking, running, jumping, hiding, picking up items, and using items with respect to the first object. 청구항 2에 있어서,
상기 사운드 제어부는,
상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작에 대응하여 상기 사운드 출력부에서 출력되는 사운드를 제어하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method according to claim 2,
The sound control unit,
And a sound output from the sound output unit in response to an operation of the operation unit and a surrounding environment of the virtual object of the first object. 청구항 2에 있어서,
상기 사운드 제어부는,
상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method according to claim 2,
The sound control unit,
The sound-based interface device, characterized in that for controlling the sound generated in each crossroads in response to the direction and the situation of each crossroads, when the first object is located at the crossroads of the crossroads while moving according to the operation of the operation unit. 청구항 2에 있어서,
상기 조작부는,
조이스틱, 조이패드, 키보드, 키패드, 마우스, 중력 센서 및 터치 입력 패널 중 하나 이상을 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method according to claim 2,
Wherein,
A sound based interface device comprising at least one of a joystick, joypad, keyboard, keypad, mouse, gravity sensor, and touch input panel. 청구항 2에 있어서,
상기 사용자의 음성을 인식하는 음성 인식부를 더 포함하되,
상기 조작부는,
상기 음성 인식부의 음성 인식 결과에 따라 조작을 수행하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method according to claim 2,
Further comprising a voice recognition unit for recognizing the voice of the user,
Wherein,
And perform an operation according to a voice recognition result of the voice recognition unit. 청구항 1에 있어서,
상기 가상의 공간 상에서의 상기 제1 객체의 상황에 대한 설명을 표시하는 표시부를 더 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method according to claim 1,
And a display unit for displaying a description of a situation of the first object in the virtual space. 청구항 9에 있어서,
상기 표시부는,
상기 제1 객체를 조작하는 터치 입력 패널을 포함하고 상기 제1 객체를 조작하기 위한 사용자 인터페이스를 표시하는 것을 특징으로 하는 사운드 기반 인터페이스 장치.The method of claim 9,
The display unit includes:
And a touch input panel for manipulating the first object and displaying a user interface for manipulating the first object. 삭제delete 사용자에 대응하는 제1 객체 및 제2 객체의 가상의 공간 상에서의 위치에 따른 좌표를 설정하는 단계;
상기 제1 객체의 좌표 및 상기 제2 객체의 좌표에 근거하여 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 산출하는 단계;
사운드 출력부가 상기 제2 객체에서 발생하는 사운드를 출력하는 단계;
상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 제어하는 단계; 및
상기 제1 객체의 위치에서 상기 제2 객체의 위치까지 가상의 음파를 발사하고 반사파를 수신하여, 상기 제1 객체와 상기 제2 객체 간의 거리를 측정하는 단계를 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 방법.Setting coordinates according to positions of a first object and a second object corresponding to a user in a virtual space;
Calculating a distance and a direction of the second object with respect to the first object based on the coordinates of the first object and the coordinates of the second object;
A sound output unit outputting a sound generated in the second object;
Controlling the size or position of the sound output from the sound output unit in correspondence with the distance and direction of the second object with respect to the first object; And
Launching a virtual sound wave from a position of the first object to a position of the second object and receiving a reflected wave to measure a distance between the first object and the second object; Way. 청구항 12에 있어서,
조작부가 상기 제1 객체를 조작하는 단계; 및
상기 가상의 공간 상에서 상기 제1 객체가 상기 조작부의 조작에 따라 이동하거나 상기 제2 객체가 이동하면, 상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향을 재산출하는 단계를 더 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 방법.The method of claim 12,
Manipulating the first object by an operation unit; And
If the first object moves in accordance with the manipulation of the manipulation unit or the second object moves in the virtual space, the second object with respect to the first object according to a coordinate change of the first object or the second object. And recalculating the distance and direction of the sound-based interface. 청구항 13에 있어서,
상기 제1 객체 또는 상기 제2 객체의 좌표 변화에 따라 재산출된 상기 제1 객체에 대한 상기 제2 객체의 거리 및 방향에 대응하여 상기 사운드 출력부에서 출력되는 사운드의 크기 또는 위치를 변경하는 단계를 더 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 방법.The method according to claim 13,
Changing the size or position of the sound output from the sound output unit in response to the distance and direction of the second object with respect to the first object recalculated according to the coordinate change of the first object or the second object Sound-based interface method characterized in that it further comprises. 청구항 13에 있어서,
상기 제1 객체를 조작하는 단계는,
상기 제1 객체에 대해 이동, 걷기, 달리기, 점프, 숨기, 아이템 줍기 및 아이템 사용하기 중 하나 이상의 조작을 수행하는 단계를 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 방법.The method according to claim 13,
Manipulating the first object,
And performing one or more operations of moving, walking, running, jumping, hiding, picking up items, and using items on the first object. 청구항 13에 있어서,
상기 사운드의 크기 또는 위치를 제어하는 단계는,
상기 제1 객체의 상기 가상의 공간 상에서의 주변 환경 및 상기 조작부의 조작에 대응하여 상기 사운드 출력부에서 출력되는 사운드를 제어하는 단계를 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 방법.The method according to claim 13,
Controlling the size or position of the sound,
And controlling a sound output from the sound output unit in response to an operation of the operation unit and a surrounding environment on the virtual space of the first object. 청구항 13에 있어서,
상기 사운드의 크기 또는 위치를 제어하는 단계는,
상기 제1 객체가 상기 조작부의 조작에 따라 이동하는 중 갈림길의 길목에 위치하는 경우, 각 갈림길의 방향 및 상황에 대응하여 각 갈림길에서 발생하는 사운드를 제어하는 단계를 포함하는 것을 특징으로 하는 사운드 기반 인터페이스 방법.The method according to claim 13,
Controlling the size or position of the sound,
When the first object is located at the crossroads of the crossroads during the movement according to the operation of the operation unit, controlling the sound generated in each crossroads in response to the direction and the situation of each crossroads Interface method. 삭제delete
KR1020120099683A 2012-09-10 2012-09-10 Sound based interface apparatus and method KR101374961B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120099683A KR101374961B1 (en) 2012-09-10 2012-09-10 Sound based interface apparatus and method
PCT/KR2012/009307 WO2014038750A1 (en) 2012-09-10 2012-11-07 Device and method for sound-based interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120099683A KR101374961B1 (en) 2012-09-10 2012-09-10 Sound based interface apparatus and method

Publications (1)

Publication Number Publication Date
KR101374961B1 true KR101374961B1 (en) 2014-03-18

Family

ID=50237342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120099683A KR101374961B1 (en) 2012-09-10 2012-09-10 Sound based interface apparatus and method

Country Status (2)

Country Link
KR (1) KR101374961B1 (en)
WO (1) WO2014038750A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101588409B1 (en) * 2015-01-08 2016-01-25 (주)천일전자 Method for providing stereo sound onto the augmented reality object diplayed by marker
US9781240B2 (en) 2014-08-12 2017-10-03 Samsung Electronics Co., Ltd. Method and user terminal for performing call using voice recognition
KR20180041464A (en) * 2016-10-14 2018-04-24 주식회사 디이씨코리아 Method for processing a sound in virtual reality game and application
KR20190110422A (en) * 2018-03-20 2019-09-30 존 케일 발레이 Method and system for generating a user-perceived structure of an audible sound in dependence upon user action within a virtual environment
KR102057281B1 (en) * 2017-06-30 2019-12-18 이종환 Game application program based on sound effect on virtual reality recorded in recording media, system and method for providing game using the same
CN111111167A (en) * 2019-12-05 2020-05-08 腾讯科技（深圳）有限公司 Sound effect playing method and device in game scene and electronic device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004195210A (en) * 2002-12-04 2004-07-15 Nintendo Co Ltd Game sound control program, game sound control method, and game device
KR20110025674A (en) * 2008-05-30 2011-03-10 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 Determination of controller three-dimensional location using image analysis and ultrasonic communication

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4054708B2 (en) * 2003-04-11 2008-03-05 任天堂株式会社 GAME DEVICE AND GAME PROGRAM
JP2009247405A (en) * 2008-04-01 2009-10-29 Sega Corp System for recording sound in virtual space

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004195210A (en) * 2002-12-04 2004-07-15 Nintendo Co Ltd Game sound control program, game sound control method, and game device
KR20110025674A (en) * 2008-05-30 2011-03-10 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 Determination of controller three-dimensional location using image analysis and ultrasonic communication

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9781240B2 (en) 2014-08-12 2017-10-03 Samsung Electronics Co., Ltd. Method and user terminal for performing call using voice recognition
KR101588409B1 (en) * 2015-01-08 2016-01-25 (주)천일전자 Method for providing stereo sound onto the augmented reality object diplayed by marker
KR20180041464A (en) * 2016-10-14 2018-04-24 주식회사 디이씨코리아 Method for processing a sound in virtual reality game and application
KR102057281B1 (en) * 2017-06-30 2019-12-18 이종환 Game application program based on sound effect on virtual reality recorded in recording media, system and method for providing game using the same
KR20190110422A (en) * 2018-03-20 2019-09-30 존 케일 발레이 Method and system for generating a user-perceived structure of an audible sound in dependence upon user action within a virtual environment
KR102135117B1 (en) * 2018-03-20 2020-08-26 존 케일 발레이 Method and system for generating a user-perceived structure of an audible sound in dependence upon user action within a virtual environment
CN111111167A (en) * 2019-12-05 2020-05-08 腾讯科技（深圳）有限公司 Sound effect playing method and device in game scene and electronic device

Also Published As

Publication number Publication date
WO2014038750A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
KR101374961B1 (en) Sound based interface apparatus and method
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
CN103261997B (en) Apparatus and method for user input for controlling displayed information
KR101628782B1 (en) Apparatus and method for providing haptic function using multi vibrator in portable terminal
US10665014B2 (en) Tap event location with a selection apparatus
CN107930119B (en) Information processing method, information processing device, electronic equipment and storage medium
EP3088996A1 (en) Systems and methods for tactile guidance
US11379040B2 (en) Touch display device with tactile feedback
KR20120112720A (en) Simulation of three dimensional motion using haptic actuators
US10943395B1 (en) Dynamic integration of a virtual environment with a physical environment
CN107469354A (en) Visible sensation method and device, storage medium, the electronic equipment of compensating sound information
US20140232648A1 (en) Display apparatus and contents display method
JP6429886B2 (en) Touch control system and touch control method
KR20140008637A (en) Method using pen input device and terminal thereof
US11010051B2 (en) Virtual sound mixing environment
JP2019519856A (en) Multimodal haptic effect
WO2012133226A1 (en) Electronic apparatus, control method, and control program
EP3591491A1 (en) Dynamic control of hovering drone
CN110809751B (en) Methods, apparatuses, systems, computer programs for implementing mediated real virtual content consumption
KR102201678B1 (en) Systems and methods for integrating haptics overlay in augmented reality
JP6387239B2 (en) Program and server
CN113243000A (en) Capture range for augmented reality objects
JP4185019B2 (en) Display device with audio output
KR20190122570A (en) Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
Tanaka et al. Proposal of virtual musical instrument using single camera and verification of playability

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee