WO2014178480A1 - 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법 - Google Patents

헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법 Download PDF

Info

Publication number
WO2014178480A1
WO2014178480A1 PCT/KR2013/004991 KR2013004991W WO2014178480A1 WO 2014178480 A1 WO2014178480 A1 WO 2014178480A1 KR 2013004991 W KR2013004991 W KR 2013004991W WO 2014178480 A1 WO2014178480 A1 WO 2014178480A1
Authority
WO
WIPO (PCT)
Prior art keywords
hmd
external device
information
audio signal
present
Prior art date
Application number
PCT/KR2013/004991
Other languages
English (en)
French (fr)
Inventor
김홍국
전찬준
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020157031077A priority Critical patent/KR20160013853A/ko
Publication of WO2014178480A1 publication Critical patent/WO2014178480A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Definitions

  • the present invention relates to a head mounted display (HMD) and a method for providing an audio signal using the same, and more particularly, to an HMD for adaptively providing an audio signal of an external device in consideration of a relative position between devices.
  • the present invention relates to an audio signal providing method using the same.
  • Head mounted display refers to various digital devices that can be worn on the head like glasses to provide multimedia content.
  • various wearable computers have been developed, and the HMD is also widely used.
  • HMD can provide various convenience to users by combining with augmented reality technology and N screen technology beyond simple display function.
  • augmented reality technologies are mostly visual aspects of synthesizing virtual images with real images of the real world.
  • the HMD when equipped with an audio output unit, it can provide not only the existing visually oriented augmented reality but also the auditory centric augmented reality. At this time, a technique for realistically augmenting a virtual audio signal to a user is needed.
  • An object of the present invention is to obtain augmented reality information by using a variety of information detected by the digital device, and to provide the user with the obtained augmented reality information.
  • the present invention has an object to adaptively provide an audio signal of an external device in consideration of the relative position between the devices.
  • an audio signal providing method using a head mounted display according to an embodiment of the present invention, the step of connecting with at least one external device; Receiving an audio signal of the external device and location information of the external device; Obtaining location information of the HMD; Detecting orientation information of the HMD; Outputting the audio signal based on direction information of the external device with respect to the HMD and orientation information of the HMD; Characterized in that it comprises a.
  • the augmented reality providing method using a digital device the step of detecting at least one object; Receiving real sound using the microphone unit; Acquiring augmented reality information using the detected object and the received real sound; And displaying the obtained augmented reality information on a display unit.
  • a method for providing augmented reality using a digital device comprising: obtaining location information of the digital device; Obtaining orientation information of the digital device; Receiving real sound using the microphone unit; Acquiring augmented reality information using the acquired position information, orientation information, and the received real sound of the digital device; And displaying the obtained augmented reality information on a display unit.
  • a user wearing an HMD may receive an audio signal of an external device as if the external device is actually located.
  • an audio signal may be provided so that each user wearing the HMD can easily identify each other's location in an indoor environment.
  • a user wearing an HMD can selectively provide an audio signal to users located in a specific area.
  • augmented reality information corresponding to various real sounds may be mapped, and various augmented reality information may be provided corresponding to the real sound received by the digital device.
  • FIG. 1 is a block diagram illustrating a digital device according to an embodiment of the present invention.
  • Figure 2 is a flow chart showing a method for providing augmented reality according to a first embodiment of the present invention.
  • Figure 3 is a flow chart showing a method for providing augmented reality according to a second embodiment of the present invention.
  • FIG. 4 and 6 illustrate a specific method for providing augmented reality information by a digital device according to an embodiment of the present invention.
  • FIG. 7 is a schematic diagram illustrating an HMD according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating an HMD according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of providing an audio signal according to an embodiment of the present invention.
  • FIG 10 and 12 illustrate specific embodiments in which an HMD provides an audio signal according to the present invention.
  • FIG. 1 is a block diagram illustrating a digital device 100 according to an embodiment of the present invention.
  • the digital device 100 of the present invention may include a processor 110, a display unit 120, a camera unit 130, a communication unit 140, a sensor unit 150, and a storage unit 160. It may include.
  • the display unit 120 outputs an image on the display screen.
  • the display unit 120 outputs content executed in the processor 110 or outputs an image based on a control command of the processor 110.
  • the display unit 120 may display an image based on a control command of an external digital device (not shown) connected to the digital device 100.
  • the display unit 120 may display content being executed by an external digital device connected to the digital device 100.
  • the digital device 100 may receive data from the external digital device 200 through the communication unit 140 and output an image based on the received data.
  • the camera unit 130 senses an image and transmits the sensed image to the processor.
  • the digital device 100 may detect at least one object by using the image sensed by the camera unit 130.
  • the digital device 100 may detect the relative position of each object with respect to the digital device 100 by analyzing the sensed image.
  • the camera unit 130 may further include at least one camera for detecting the gaze of the user who is using the digital device 100.
  • the camera unit 130 includes various types of imaging devices such as a depth camera module and an infrared camera module, as well as a general charge coupled device (CCD) or complementary metal-oxide semiconductor (CMOS) camera module.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the camera unit 130 may be selectively provided in the digital device 100.
  • the communication unit 140 may communicate with the server or the cloud by using various protocols to transmit / receive data.
  • the communication unit 140 may access a server or a cloud through a network, and transmit / receive digital data, for example, content.
  • the digital device 100 may connect with an external digital device using the communication unit 140. In this case, the digital device 100 may receive display output information of content being executed by the connected external digital device in real time and output an image to the display unit 120 using the received information.
  • the sensor unit 150 may transmit a user input or an environment recognized by the digital device 100 to the processor 110 using at least one sensor mounted on the digital device 100.
  • the sensor unit 150 may include a plurality of sensing means.
  • the plurality of sensing means includes a gravity sensor, a geomagnetic sensor, a motion sensor, a gyro sensor, an acceleration sensor, an infrared sensor, an inclination sensor, an illuminance sensor, a proximity sensor, an altitude sensor, an olfactory sensor, a temperature Sensing means such as a sensor, a depth sensor, a pressure sensor, a bending sensor, an audio sensor, a video sensor, a microphone, a microphone array, a global positioning system (GPS) sensor, and a touch sensor may be included.
  • GPS global positioning system
  • the sensor unit 150 collectively refers to the various sensing means described above, and may sense various inputs of the user and the environment of the user, and may transmit a sensing result to allow the processor 110 to perform an operation accordingly.
  • the above-described sensors may be included in the digital device 100 as a separate element or integrated into at least one or more elements.
  • the sensor unit 150 may include a microphone unit (not shown).
  • the microphone unit receives the real sound around the digital device 100 and delivers it to the processor 110.
  • the microphone unit may convert the real sound into an audio signal and transmit the converted sound to the processor 110.
  • the microphone unit may include a microphone array having a plurality of microphones.
  • the storage unit 160 may store digital data including various contents such as video, audio, photographs, documents, applications, and the like.
  • the storage unit 150 may include various digital data storage media such as flash memory, random access memory (RAM), and solid state drive (SSD).
  • the storage unit 150 may store content received by the communication unit 140 from an external digital device or server.
  • the processor 110 of the present invention may execute content of the digital device 100 itself or content received through data communication. It can also run various applications and process data inside the device. In addition, the processor 110 may control each unit of the digital device 100 described above, and may control data transmission and reception between the units.
  • the digital device 100 illustrated in FIG. 1 is a block diagram according to an exemplary embodiment of the present invention, in which the blocks marked separately represent logically distinguishing elements of the device. Therefore, the elements of the above-described device may be mounted in one chip or in a plurality of chips according to the design of the device.
  • FIG. 2 is a flowchart illustrating a method of providing augmented reality according to a first embodiment of the present invention.
  • Each step of FIG. 2 described below may be performed by the digital device 100 of the present invention. That is, the processor 110 of the digital device 100 illustrated in FIG. 1 may control each step of FIG. 2.
  • the digital device of the present invention detects at least one object (S210).
  • the object includes various types of objects having augmented reality information such as a specific building, a road, a place name, a tag, a marker, and a device.
  • the digital device may detect the object using various methods. If the digital device provides an LBS based augmented reality service, the digital device may detect the object using the sensing value of the GPS sensor and the sensing value of the gyro sensor. In addition, when the digital device provides a marker-based augmented reality service, the object may be detected based on the detected marker.
  • the marker is an identifier representing the object, and may include a barcode, a QR code, a color code, an image code, and the like.
  • the digital device may detect the object by using an image acquired by the provided camera unit.
  • the digital device may detect the object by using tagging information such as Near Field Communication (NFC) or Radio Frequency Identification (RFID). That is, when the digital device of the present invention approaches the object, tagging is performed using a means such as NFC or RFID, and the digital device may identify that the real object is detected.
  • NFC Near Field Communication
  • RFID Radio Frequency Identification
  • the digital device of the present invention receives the real sound using the microphone unit (S220).
  • said microphone unit comprises a single microphone or microphone array.
  • the microphone unit converts the received real sound into an audio signal and delivers it to the processor.
  • the digital device of the present invention acquires augmented reality information using the object detected in step S210 and the real sound received in step S220 (S230).
  • the digital device may acquire corresponding augmented reality information.
  • the digital device may acquire augmented reality information based on the pitch information of the real sound received in operation S220.
  • the pitch information of the real sound may indicate whether the real sound is a sound generated from a preset person or object. Therefore, the digital device according to the embodiment of the present invention can provide augmented reality information only in a situation where real sound is received from an approved person or object.
  • the digital device may extract voice data from the real sound received in operation S220 and obtain augmented reality information based on the extracted voice data.
  • the voice data may include a specific word, phrase, or sentence.
  • the digital device may acquire augmented reality information when it is possible to extract voice data of preset pitch information from the received real sound.
  • the digital device may acquire the augmented reality information when a preset word spoken by a preset person is received in real sound.
  • the digital device according to the embodiment of the present invention may acquire augmented reality information only when both the detected object and the received real sound satisfy a preset condition.
  • the digital device of the present invention may receive the augmented reality information through a communication unit. Alternatively, the digital device may acquire augmented reality information previously stored in the storage unit.
  • the digital device of the present invention displays the acquired augmented reality information on the display unit (S240).
  • the digital device may display augmented reality information at a location corresponding to the detected object.
  • the digital device may display augmented reality information in association with the position of the object. For example, when the position of the object appearing on the display unit of the digital device is moved, the display position of the augmented reality information corresponding to the object may be moved together.
  • the digital device may acquire the position information of the object using the camera unit. That is, the digital device may detect an image of an object located in an angle of view area by using a camera unit, and obtain position information of the object by using the detected image.
  • the digital device may detect a marker corresponding to the object by using the camera unit, and obtain position information of the object by using the detected marker.
  • the marker is an identifier indicating an object, and as described above, may include a barcode, a QR code, a color code, an image code, and the like.
  • FIG. 3 is a flowchart illustrating a method of providing augmented reality according to a second embodiment of the present invention.
  • Each step of FIG. 3 described below may be performed by the digital device 100 of the present invention. That is, the processor 110 of the digital device 100 illustrated in FIG. 1 may control each step of FIG. 3. Meanwhile, in the embodiment of FIG. 3, the same or corresponding parts as those of the embodiment of FIG. 2 will be omitted.
  • the digital device of the present invention obtains location information of the digital device (S310).
  • the digital device of the present invention can acquire the location information by using a sensor unit provided, for example, a GPS sensor.
  • the digital device may obtain location information based on a network service such as Wi-Fi.
  • the digital device of the present invention obtains the orientation information of the digital device (S312).
  • the digital device of the present invention can obtain the orientation information by using various sensor units, for example, a gyro sensor.
  • the digital device may know the current location and the target direction of the digital device using the location information acquired in step S310 and the orientation information obtained in step S312.
  • the digital device of the present invention receives the real sound using the microphone unit (S320).
  • a specific embodiment of the step S320 is as described above in step S220 of FIG.
  • the digital device of the present invention obtains augmented reality information by using the acquired position information, orientation information, and the received real sound of the digital device (S330). If the digital device of the present invention provides an LBS-based augmented reality service, the digital device may detect an object using the location information and orientation information. In this case, when the received real sound satisfies a preset condition, the digital device may acquire corresponding augmented reality information. A specific embodiment thereof is as described above in step S230 of FIG. 2.
  • the digital device of the present invention displays the acquired augmented reality information on the display unit (S340).
  • FIG. 4 and 6 illustrate a specific method for providing augmented reality information by the digital device 100 according to an exemplary embodiment of the present invention.
  • FIG. 4 illustrates a state in which the digital device 100 of the present invention detects the bell tower 40a of the Duomo cathedral and the leaning tower 40a of Pisa.
  • the bell tower 40a of the Duomo cathedral and the leaning tower 40a of Pisa may each be an object of the present invention.
  • the digital device 100 may acquire an image located in the angle of view area 102 using a camera unit, and detect the object using the acquired image.
  • the digital device 100 may acquire location information and orientation information of the digital device 100 by using a GPS sensor and a gyro sensor, and detect the object by using the same. .
  • the digital device 100 receives the bell 30a coming from the bell tower 40a of the Duomo Cathedral using the microphone unit.
  • the bell 30a may be included in the real sound of the present invention received by the digital device 100.
  • the digital device 100 of the present invention may analyze the pitch information of the received bells 30a and identify the bells 30a coming from the bell tower 40a of the Duomo Cathedral.
  • the digital device 100 obtains augmented reality information 530a based on the bell tower 40a and the received bell 30a of the detected Duomo cathedral, and displays the augmented reality information 530a in the display unit 120. Display on the screen.
  • the augmented reality information 530a may include information indicating that the current sound is a bell 30a coming from the bell tower 40a of the Duomo cathedral.
  • the digital device 100 of the present invention may provide the augmented reality information 530 when both the detected object 40a and the received real sound 30a satisfy a preset condition.
  • FIG. 5 illustrates a case in which the digital device 100 according to the embodiment of the present invention detects the digital door lock 42.
  • the digital door lock 42 may be an object of the present invention.
  • the digital device 100 may acquire an image located in an angle of view area using a camera unit, and detect the digital door lock 42 using the acquired image.
  • the digital device 100 may detect a specific marker by using a camera unit and detect the digital door lock 42 based on the detected marker.
  • tagging between the digital device 100 and the digital door lock 42 may be performed, and the digital device 100 detects the digital door lock 42 using the obtained tagging information. can do.
  • the digital device 100 receives the voice 32 of the user 10 using the microphone unit.
  • the voice 32 of the user 10 may be included in the real sound of the present invention received by the digital device 100.
  • the digital device 100 of the present invention may analyze the pitch information of the voice 32 of the user 10 received and identify that the voice 32 is the voice 32 of the preset user 10. .
  • the digital device 100 obtains augmented reality information 532 based on the detected digital door lock 42 and the received voice 32 of the user 10, and displays the augmented reality information 532. Display on 120.
  • the augmented reality information 532 may include a security code (Secret Code) of the digital door lock 42.
  • the digital device 100 may include a voice recognition module, and may extract voice data from the voice 32 of the user 10 using the voice recognition module.
  • the digital device 100 may obtain augmented reality information 532 based on the detected digital door lock 42 and the extracted voice data. For example, when the user 10 says "What is a password?", The digital device 100 extracts voice data of "password" from the voice 32 of the user 10.
  • the digital device 100 may recognize that the user 10 wants to know the security code of the digital door lock 42 and may provide the security code to the display unit 120 as the augmented reality information 532.
  • the digital device 100 may determine whether the pitch of the voice 32 of the user 10 satisfies preset pitch information. You can detect it. Accordingly, the digital device 100 may provide the augmented reality information 532 only to the authorized user 10.
  • FIG. 6 illustrates a state in which the digital device 100 according to an embodiment of the present invention detects an ATM 44.
  • the same or corresponding parts as the embodiment of FIG. 5 will be omitted.
  • ATM 44 may be an object of the present invention.
  • the digital device 100 receives the voice 34 of the user 10 using the microphone unit, and the voice 34 of the user 10 may be included in the real sound of the present invention.
  • the digital device 100 may analyze the received pitch information of the voice 34 of the user 10 and identify that the corresponding voice 34 is the voice 34 of the preset user 10.
  • the digital device 100 obtains augmented reality information 534 based on the detected ATM 44 and the received voice of the user 10, and displays the augmented reality information 534 as a display unit ( 120).
  • the augmented reality information 534 may include a personal password (PIN No.) of the user 10.
  • the digital device 100 may include a voice recognition module, and may extract voice data from the voice 34 of the user 10 using the voice recognition module.
  • the digital device 100 may obtain augmented reality information 534 based on the detected ATM 44 and the extracted voice data. Specific embodiments thereof are as described above with reference to FIG. 5.
  • the HMD 200 according to the embodiment of the present invention includes a display unit 220 and an audio output unit 230.
  • the display unit 220 displays an image based on a control command of a processor (not shown) of the HMD 200.
  • the display unit 220 may include a display screen to allow an image to be formed on the display screen.
  • the display unit 220 may project an image at a specific position in the front direction of the HMD 200 without having a separate display screen.
  • the audio output unit 230 of the HMD 200 includes a left channel output unit 230a and a right channel output unit 230b.
  • the left channel output unit 230a and the right channel output unit 230b output left and right channels of an audio signal, respectively.
  • the audio output unit 230 may include an output unit such as a speaker, earphone, etc. for outputting an audio signal at an audible frequency and a control module for controlling the same.
  • the HMD 200 according to an embodiment of the present invention may provide a binaural audio signal to a user using the left channel output unit 230a and the right channel output unit 230b.
  • FIG. 8 is a block diagram illustrating an HMD 200 according to an embodiment of the present invention.
  • the HMD 200 of the present invention includes a processor 210, a display unit 220, an audio output unit 230, a communication unit 240, a sensor unit 250, and a power unit 260. It may include.
  • the audio output unit 230 includes audio output means such as speakers, earphones, and the like, and a control module for controlling them.
  • the audio output unit 230 outputs a voice based on content executed in the processor 210 or a control command of the processor 210.
  • the audio output unit 230 of the HMD 200 includes a left channel output unit L and 130a and a right channel output unit R and 130b.
  • the left channel output unit 230a and the right channel output unit 230b output left and right channels of an audio signal, respectively.
  • the audio output unit 230 may output an audio signal of an external device connected to the HMD 200.
  • the communication unit 240 may communicate with the server, the cloud, or an external device using various protocols to transmit / receive data.
  • the communication unit 240 may be connected to a network by wire or wirelessly to transmit / receive digital data such as content.
  • the HMD 200 may connect with an external device using the communication unit 240, and may transmit / receive data with the connected external device.
  • the sensor unit 250 may transmit a user input or an environment recognized by the HMD 200 to the processor 210 using a plurality of sensors mounted in the HMD 200.
  • the sensor unit 250 may include a plurality of sensing means.
  • the plurality of sensing means includes a gravity sensor, a geomagnetic sensor, a motion sensor, a gyro sensor, an acceleration sensor, an infrared sensor, an inclination sensor, a brightness sensor, an altitude sensor, an olfactory sensor, a temperature sensor, a depth Sensing means such as a sensor, a pressure sensor, a bending sensor, an audio sensor, a video sensor, a global positioning system (GPS) sensor, and a touch sensor may be included.
  • GPS global positioning system
  • the sensor unit 250 collectively refers to the various sensing means described above, may sense various inputs of a user and an environment of the user, and may transmit a sensing result to allow the processor 210 to perform an operation according to the various sensing means.
  • the above-described sensors may be included in the HMD 200 as a separate element or integrated into at least one or more elements.
  • the power unit 260 may supply power to the HMD 200 as a power source connected to a battery or an external power source inside the device.
  • the processor 210 of the present invention may execute content of the HMD 200 itself or content received through data communication. It can also run various applications and process data inside the device. In addition, the processor 210 may control each unit of the HMD 200 described above, and may control data transmission and reception between the units.
  • the HMD 200 illustrated in FIG. 8 is a block diagram according to an embodiment of the present invention, in which the blocks marked separately represent logical elements of devices. Therefore, the elements of the above-described device may be mounted in one chip or in a plurality of chips according to the design of the device.
  • FIG. 9 is a flowchart illustrating a method of providing an audio signal according to an embodiment of the present invention.
  • Each step of FIG. 9 described below may be performed by the HMD of the present invention. That is, the processor 210 of the HMD 200 illustrated in FIG. 8 may control each step of FIG. 9.
  • the HMD of the present invention connects to at least one external device (S910).
  • the HMD can be connected to an external device using various communication means.
  • the usable communication means include NFC (Near Field Communication), Zigbee, infrared communication, Bluetooth, wireless LAN communication, the present invention is not limited thereto.
  • the HMD 200 may be connected to an external device to perform communication by using any one of the above-mentioned communication means or a combination thereof.
  • the HMD and the external device may be connected to each other in an infrastructure environment including a plurality of access points (APs).
  • APs access points
  • the HMD and the external device may be connected to each other in a cellular network environment including a plurality of base stations.
  • the HMD of the present invention receives the audio signal of the external device and the location information of the external device (S920).
  • the HMD can receive an audio signal from an external device using the various communication means listed above.
  • the external device may receive the real sound using the microphone unit, convert the received real sound into an audio signal, and transmit it to the HMD.
  • the HMD may further receive additional data corresponding to the received audio signal.
  • the additional data may include location information of an external device transmitting an audio signal.
  • the location information of the external device may be obtained using wireless LAN access information of the external device.
  • the HMD can receive the information of the AP with which the external device has communicated for network access together with the audio signal. Meanwhile, when an external device uses a cellular network according to another embodiment of the present invention, the HMD can receive base station information communicated with the corresponding external device together with the audio signal. According to another embodiment of the present invention, the external device may acquire location information of the corresponding external device using a GPS sensor and transmit the acquired location information together with the audio signal.
  • the HMD of the present invention acquires position information of the HMD (S930).
  • the HMD of the present invention can obtain the position information of the HMD by the method described above in step S920. That is, according to an embodiment of the present invention, the location information of the HMD may be obtained using the WLAN access information of the HMD.
  • the HMD can obtain the location information of the HMD by using the information of the AP communicated to access the network.
  • the HMD when the HMD uses a cellular network, the HMD may obtain location information of the HMD using the base station information communicated with the HMD.
  • the HMD may acquire location information of the HMD using a GPS sensor.
  • the HMD of the present invention detects orientation information of the HMD (S940).
  • the HMD can detect the orientation information of the HMD using a sensor unit, for example a gyro sensor.
  • the HMD of the present invention outputs an audio signal based on direction information of the external device with respect to the HMD and orientation information of the HMD (S950).
  • the HMD may acquire direction information of the external device with respect to the HMD using the location information of the external device acquired in step S920 and the location information of the HMD obtained in step S930.
  • the direction information may include at least one of azimuth information and altitude information. Therefore, the HMD of the present invention can know where the external device is located on the three-dimensional (or two-dimensional) based on the HMD.
  • the HMD can use the orientation information of the HMD to know in which direction the external device is located with respect to the head (or both ears) of the user wearing the HMD.
  • the HMD may convert an audio signal into a 3D audio signal based on the orientation information of the external device and the orientation information of the HMD, and output the converted 3D audio signal.
  • the 3D audio signal includes a binaural audio signal having a 3D effect.
  • the HMD can generate Head Related Transfer Function (HRTF) information based on the direction information and orientation information, and convert the audio signal into a 3D audio signal using the generated HRTF information.
  • HRTF refers to a transfer function between a sound wave coming from a sound source having an arbitrary position and a sound wave reaching the eardrum, and varying in accordance with azimuth information and altitude information of the sound source.
  • the 3D audio signal includes a left channel output and a right channel output, and at least one of the left channel output and the right channel output is adjusted based on the HRTF information.
  • the HMD may acquire orientation information of the external device.
  • the HMD may output an audio signal based on the obtained orientation information of the external device and direction information of the external device with respect to the HMD.
  • the HMD may adjust the output level of the audio signal based on orientation information of the external device and direction information of the external device with respect to the HMD.
  • an audio signal of an external device may be provided only to devices located in a specific area with respect to the external device. In this case, the specific region in which the audio signal is to be provided may be determined based on orientation information of the external device.
  • FIG 10-12 illustrate specific embodiments in which the HMD 200 of the present invention provides an audio signal.
  • the HMD 200 and the external device 300 of the present invention are located in a library.
  • the library is equipped with at least one AP 50a, 50b, 50c, 50d for communication between devices.
  • Each device in the library may access a network and transmit / receive data using at least one of the APs 50a, 50b, 50c, and 50d.
  • the HMD 200 and the external device 300 of the present invention may obtain location information of each device by using wireless LAN connection information of each device.
  • the HMD 200 and the external device 300 may obtain location information using information of an AP to which each device communicates among the APs 50a, 50b, 50c, and 50d of FIG. 10.
  • the HMD 200 and the external device 300 may communicate with a plurality of APs, respectively, and use the triangulation method or the like based on the plurality of AP information for communicating with each other to precisely determine the accuracy of each device.
  • Location information can be obtained.
  • the external device 300 of the present invention may transmit the audio signal 60 to the HMD 200 connected through the network.
  • the external device 300 may receive a real sound including a voice of a user wearing the external device 300 and convert the received real sound into an audio signal 60. .
  • the external device 300 may transmit the converted audio signal 60 by communicating with the AP 50a.
  • the HMD 200 of the present invention may receive the audio signal 60 transmitted by the external device 300 through the AP 50c.
  • the HMD 200 may receive location information of the external device 300 together with the audio signal 60. The location information may be obtained using information of the AP 50a communicated with the external device 300.
  • the HMD 200 may obtain location information of the HMD 200 by using the information of the AP 50c communicated with the HMD 200.
  • the HMD 200 may obtain direction information of the external device 300 with respect to the HMD 200 by using the acquired location information of the external device 300 and the location information of the HMD 200.
  • the HMD 200 of the present invention may further detect the orientation information of the HMD 200.
  • the HMD 200 uses the detected orientation information and the direction information of the external device 300 with respect to the HMD 200, so that the external device 300 wears the head of the user wearing the HMD 200 (or both sides). You can see in which direction you are located.
  • the HMD 200 converts the audio signal 60 into a 3D audio signal based on the orientation information of the external device 300 and the orientation information of the HMD 200 with respect to the HMD 200, and converts the converted audio signal 60 into a 3D audio signal.
  • 3D audio signals can be output.
  • the 3D audio signal includes a binaural audio signal having a 3D effect.
  • the audio output unit of the HMD 200 includes a stereo output unit of two channels
  • the HMD 200 is arranged such that the sound image of the audio signal 60 is positioned at the position of the external device 300. can do.
  • the external device 300 is located in front of the left side of the HMD 200, and thus the HMD 200 may output the audio signal 60 to be heard in front of the left side of the HMD 200.
  • the external device 300 may include the same kind of device as the HMD 200, and may also include various kinds of devices capable of transmitting audio signals through a communication unit. .
  • the HMDs 200a and 200b and the external device 300 of the present invention are located on different floors of a building, respectively. 11 and 12, parts identical or corresponding to those of FIG. 10 will be omitted.
  • the HMD 200 and the external device 300 of the present invention may obtain location information of each device by using wireless LAN connection information of each device.
  • the acquired location information may include the step information where each device is located.
  • the HMD 200a communicates with the AP 50b
  • the HMD 200b communicates with the AP 50e
  • the external device 300 is communicating with the AP 50c.
  • the HMD 200b is positioned on the upper stairs of the external device 300
  • the HMD 200a is positioned on the lower stairs.
  • the HMDs 200a and 200b and the external device may identify relative position information and direction information between the devices using AP information communicated by each device.
  • the external device 300 of the present invention may transmit the audio signal 60 to at least one of the plurality of HMDs 200a and 200b connected through the network.
  • the HMDs 200a and 200b may acquire orientation information of the external device 300.
  • Each HMD 200a or 200b may output an audio signal based on the obtained orientation information of the external device 300 and direction information of the external device 300 for each HMD 200a or 200b.
  • the external device 300 transmits an audio signal 60 while looking downward.
  • the HMD 200a positioned below the external device 300 may receive the audio signal 60 through the AP 50b and output the received audio signal 60.
  • the HMD 200b positioned above the external device 300 may receive the audio signal 60 through the AP 50e, but does not output the audio signal 60. Meanwhile, in FIG. 12, the external device 300 transmits the audio signal 60 while looking upward. In this case, the HMD 200b positioned on the external device 300 may receive the audio signal 60 through the AP 50e and output the received audio signal 60. However, the HMD 200a located below the external device 300 may receive the audio signal 60 through the AP 50b, but does not output the audio signal 60.
  • the audio signal 60 of the external device 300 may be provided only to the HMD located in a specific region with respect to the external device 300.
  • the specific region in which the audio signal 60 is to be provided may be determined based on orientation information of the external device 300.
  • the HMD described in the present invention can be changed and replaced with various devices according to the purpose of the present invention.
  • the HMD of the present invention includes various devices capable of providing a display by being worn by a user, such as eye mounted display (EMD), eyeglass, eyepiece, eye wear, HWD (Head Worn Display), and used in the present invention. It is not limited to the said term.
  • the digital device includes a display unit such as a TV, a computer, a laptop, a mobile phone, a portable device, a head mounted display (HMD), and the like, and includes various kinds of devices capable of outputting content to the display unit.
  • the present invention may be applied, in whole or in part, to various digital devices including HMDs.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디바이스 간의 상대적인 위치를 고려하여 외부 디바이스의 오디오 신호를 적응적으로 제공하기 위한 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 이를 이용한 오디오 신호 제공 방법에 관한 것이다. 이를 위해 본 발명은, HMD의 작동을 제어하는 프로세서; 상기 프로세서의 명령에 기초하여 서버, 클라우드 또는 외부 디바이스와 데이터를 송/수신하는 커뮤니케이션 유닛; 및 상기 프로세서의 명령에 기초하여 사운드를 출력하는 오디오 출력 유닛을 포함하되, 상기 프로세서는, 적어도 하나의 외부 디바이스와 커넥팅 하고, 상기 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신하고, 상기 HMD의 위치 정보 및 오리엔테이션 정보를 디텍트 하고, 상기 HMD에 대한 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 상기 오디오 신호를 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 제공한다.

Description

[규칙 제26조에 의한 보정 05.08.2013]　헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법
본 발명은, 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 이를 이용한 오디오 신호 제공 방법에 관한 것으로, 더욱 상세하게는 디바이스 간의 상대적인 위치를 고려하여 외부 디바이스의 오디오 신호를 적응적으로 제공하기 위한 HMD 및 이를 이용한 오디오 신호 제공 방법에 관한 것이다.
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강현실 기술, N 스크린 기술 등과 조합 되어 유저에게 각종 편의를 제공할 수 있다.
기존의 증강현실 기술은 대부분 현실 세계의 실제 이미지에 가상 이미지를 합성하는 시각적인 측면의 기술이 대부분이었다. 그러나 HMD가 오디오 출력 유닛을 구비할 경우, 기존의 시각 중심의 증강현실뿐만 아니라 청각 중심의 증강현실을 제공할 수 있다. 이때, 가상 오디오 신호를 유저에게 실감나게 증강시키기 위한 기술이 필요하다.
본 발명은 디지털 디바이스가 디텍트 한 다양한 정보를 이용하여 증강현실 정보를 획득하고, 획득된 증강현실 정보를 유저에게 제공하기 위한 목적을 가지고 있다.
또한, 본 발명은 디바이스 간의 상대적인 위치를 고려하여 외부 디바이스의 오디오 신호를 적응적으로 제공하기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법은, 적어도 하나의 외부 디바이스와 커넥팅 하는 단계; 상기 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신하는 단계; 상기 HMD의 위치 정보를 획득하는 단계; 상기 HMD의 오리엔테이션 정보를 디텍트 하는 단계; 상기 HMD에 대한 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 상기 오디오 신호를 출력하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 디지털 디바이스를 이용한 증강현실 제공 방법은, 적어도 하나의 오브젝트를 디텍트 하는 단계; 마이크 유닛을 이용하여 리얼 사운드를 수신하는 단계; 상기 디텍트 된 오브젝트 및 상기 수신된 리얼 사운드를 이용하여 증강현실 정보를 획득하는 단계; 및 상기 획득된 증강현실 정보를 디스플레이 유닛에 디스플레이 하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 디지털 디바이스를 이용한 증강현실 제공 방법은, 상기 디지털 디바이스의 위치 정보를 획득하는 단계; 상기 디지털 디바이스의 오리엔테이션 정보를 획득하는 단계; 마이크 유닛을 이용하여 리얼 사운드를 수신하는 단계; 상기 획득된 디지털 디바이스의 위치 정보, 오리엔테이션 정보 및 상기 수신된 리얼 사운드를 이용하여 증강현실 정보를 획득하는 단계; 및 상기 획득된 증강현실 정보를 디스플레이 유닛에 디스플레이 하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, HMD를 착용한 유저는 외부 디바이스의 오디오 신호를 해당 외부 디바이스가 실제 위치한 곳에서 들리는 것처럼 제공받을 수 있다.
본 발명의 일 실시예에 따르면, 실내 환경에서 HMD를 착용한 각 유저가 서로의 위치를 쉽게 파악할 수 있도록 오디오 신호를 제공해 줄 수 있다.
본 발명의 다른 실시예에 따르면, HMD를 착용한 유저가 오디오 신호를 특정 영역에 위치한 유저들에게 선택적으로 제공할 수 있다.
본 발명의 실시예에 따르면, 다양한 리얼 사운드에 대응하는 증강현실 정보를 맵핑(mapping)할 수 있고, 디지털 디바이스가 수신한 리얼 사운드에 대응하여 다양한 증강현실 정보를 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 증강현실 정보를 제공하기 위한 조건으로 기 설정된 리얼 사운드를 필요로 하므로, 증강현실 정보의 제공 시 보안을 유지할 수 있다.
도 1은 본 발명의 실시예에 따른 디지털 디바이스를 나타낸 블록도.
도 2는 본 발명의 제 1 실시예에 따른 증강현실 제공 방법을 나타낸 순서도.
도 3은 본 발명의 제 2 실시예에 따른 증강현실 제공 방법을 나타낸 순서도.
도 4 및 도 6은 본 발명의 실시예에 따른 디지털 디바이스가 증강현실 정보를 제공하는 구체적인 방법을 나타낸 도면.
도 7은 본 발명의 실시예에 따른 HMD를 나타낸 개략도.
도 8은 본 발명의 실시예에 따른 HMD를 나타낸 블록도.
도 9는 본 발명의 실시예에 따른 오디오 신호 제공 방법을 나타낸 순서도.
도 10 내지 도 12는 본 발명에 따른 HMD가 오디오 신호를 제공하는 구체적인 실시예를 나타낸 도면.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 실시예에 따른 디지털 디바이스(100)를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 디지털 디바이스(100)는 프로세서(110), 디스플레이 유닛(120), 카메라 유닛(130), 커뮤니케이션 유닛(140), 센서 유닛(150) 및 스토리지 유닛(160)을 포함할 수 있다.
먼저, 디스플레이 유닛(120)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(120)은 프로세서(110)에서 실행되는 콘텐츠를 출력하거나, 프로세서(110)의 제어 명령에 기초하여 이미지를 출력한다. 또한, 본 발명의 실시예에 따르면 디스플레이 유닛(120)은 디지털 디바이스(100)와 커넥팅 된 외부 디지털 디바이스(미도시)의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(120)은 디지털 디바이스(100)와 커넥팅 된 외부 디지털 디바이스가 실행중인 콘텐츠를 디스플레이 할 수 있다. 이때, 디지털 디바이스(100)는 커뮤니케이션 유닛(140)을 통해 상기 외부 디지털 디바이스(200)로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 이미지를 출력할 수 있다.
다음으로, 카메라 유닛(130)은 이미지를 센싱하고, 센싱된 이미지를 상기 프로세서에 전달한다. 본 발명의 일 실시예에 따르면, 디지털 디바이스(100)는 상기 카메라 유닛(130)이 센싱한 이미지를 이용하여 적어도 하나의 오브젝트를 디텍트 할 수 있다. 이때, 디지털 디바이스(100)는 상기 센싱된 이미지를 분석하여 디지털 디바이스(100)에 대한 각 오브젝트의 상대적인 위치를 디텍트 할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 상기 카메라 유닛(130)은 디지털 디바이스(100)를 사용중인 유저의 시선을 디텍트 하기 위한 적어도 하나의 카메라를 더 구비할 수 있다. 본 발명의 실시예에서 상기 카메라 유닛(130)은 일반적인 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 모듈뿐만 아니라 뎁스 카메라 모듈, 적외선 카메라 모듈 등 다양한 종류의 촬상 장치를 포함한다. 한편, 본 발명의 실시예에 따르면 상기 카메라 유닛(130)은 디지털 디바이스(100)에 선택적으로 구비될 수 있다.
다음으로, 커뮤니케이션 유닛(140)은 서버 또는 클라우드와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 본 발명에서 커뮤니케이션 유닛(140)은 네트워크를 통해 서버 또는 클라우드에 접속할 수 있으며, 디지털 데이터, 예를 들면 콘텐츠를 송/수신할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 디지털 디바이스(100)는 커뮤니케이션 유닛(140)을 이용하여 외부 디지털 디바이스와 커넥팅을 수행할 수 있다. 이때, 디지털 디바이스(100)는 상기 커넥팅 된 외부 디지털 디바이스가 실행중인 콘텐츠의 디스플레이 출력 정보를 실시간으로 수신하고, 수신된 정보를 이용하여 디스플레이 유닛(120)에 이미지를 출력할 수 있다.
센서 유닛(150)은 디지털 디바이스(100)에 장착된 적어도 하나의 센서를 사용하여 유저 입력 또는 상기 디지털 디바이스(100)가 인식하는 환경을 프로세서(110)로 전달할 수 있다. 이때, 상기 센서 유닛(150)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 조도 센서, 근접 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, 마이크로폰, 마이크 어레이, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(150)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 디지털 디바이스(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
본 발명의 실시예에 따르면, 상기 센서 유닛(150)은 마이크 유닛(미도시)을 포함할 수 있다. 상기 마이크 유닛은 디지털 디바이스(100) 주변의 리얼 사운드를 수신하여 이를 프로세서(110)에 전달한다. 이때, 마이크 유닛은 상기 리얼 사운드를 오디오 신호로 변환하여 프로세서(110)에 전달할 수 있다. 본 발명의 실시예에 따르면, 상기 마이크 유닛은 복수의 마이크를 구비한 마이크 어레이를 포함할 수 있다.
다음으로, 스토리지 유닛(160)은, 비디오, 오디오, 사진, 문서, 애플리케이션 등 다양한 콘텐츠를 포함하는 디지털 데이터를 저장할 수 있다. 스토리지 유닛(150)은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 매체를 포함한다. 또한, 스토리지 유닛(150)은 커뮤니케이션 유닛(140)이 외부 디지털 디바이스 또는 서버로부터 수신한 콘텐츠를 저장할 수 있다.
본 발명의 프로세서(110)는 디지털 디바이스(100) 자체의 콘텐츠 또는 데이터 통신을 통해 수신된 콘텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(110)는 상술한 디지털 디바이스(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.
도 1에 도시된 디지털 디바이스(100)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 2는 본 발명의 제 1 실시예에 따른 증강현실 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 2의 각 단계는 본 발명의 디지털 디바이스(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 디지털 디바이스(100)의 프로세서(110)가 도 2의 각 단계를 제어할 수 있다.
먼저, 본 발명의 디지털 디바이스는 적어도 하나의 오브젝트를 디텍트 한다(S210). 본 발명의 실시예에서 상기 오브젝트는 특정 건물, 도로, 지명, 태그, 마커, 디바이스 등 증강현실 정보를 갖는 다양한 형태의 오브젝트를 포함한다. 본 발명의 실시예에 따르면, 디지털 디바이스는 다양한 방법을 이용하여 오브젝트를 디텍트 할 수 있다. 만약 디지털 디바이스가 LBS(Location Based Service) 기반의 증강현실 서비스를 제공할 경우, 상기 디지털 디바이스는 GPS 센서의 센싱값 및 자이로 센서의 센싱값을 이용하여 오브젝트를 디텍트 할 수 있다. 또한 디지털 디바이스가 마커 기반의 증강현실 서비스를 제공할 경우, 디텍트 된 마커에 기초하여 상기 오브젝트를 디텍트 할 수 있다. 본 발명의 실시예에서 마커는 상기 오브젝트를 나타내는 식별자로서, 바코드, QR 코드, 컬러 코드, 이미지 코드 등을 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스는 구비된 카메라 유닛이 획득한 이미지를 이용하여 오브젝트를 디텍트 할 수 있다. 본 발명의 또 다른 실시예에 따르면, 디지털 디바이스는 NFC(Near Field Communication) 또는 RFID(Radio Frequency Identification) 등의 태깅(tagging) 정보를 이용하여 상기 오브젝트를 디텍트 할 수 있다. 즉, 본 발명의 디지털 디바이스가 상기 오브젝트에 근접하게 되면 NFC 또는 RFID 등의 수단을 이용하여 태깅이 이루어지며, 디지털 디바이스는 리얼 오브젝트가 디텍트 되었음을 식별할 수 있다.
다음으로, 본 발명의 디지털 디바이스는 마이크 유닛을 이용하여 리얼 사운드를 수신한다(S220). 본 발명의 실시예에서 상기 마이크 유닛은 단일의 마이크 또는 마이크 어레이를 포함한다. 상기 마이크 유닛은 수신된 리얼 사운드를 오디오 시그널로 변환하여 프로세서에 전달한다.
다음으로, 본 발명의 디지털 디바이스는 S210 단계에서 디텍트 된 오브젝트 및 S220 단계에서 수신된 리얼 사운드를 이용하여 증강현실 정보를 획득한다(S230). 본 발명의 실시예에 따르면, 디지털 디바이스는 오브젝트를 디텍트 한 상태에서 수신된 리얼 사운드가 기 설정된 조건을 만족할 경우, 해당 증강현실 정보를 획득할 수 있다. 본 발명의 일 실시예에 따르면, 디지털 디바이스는 S220 단계에서 수신된 리얼 사운드의 피치 정보에 기초하여 증강현실 정보를 획득할 수 있다. 리얼 사운드의 피치 정보는 상기 리얼 사운드가 기 설정된 사람 또는 물체에서 발생하는 사운드인지 여부를 알려줄 수 있다. 따라서 본 발명의 실시예에 따른 디지털 디바이스는 승인된 사람 또는 물체로부터 리얼 사운드가 수신되는 상황에서만 증강현실 정보를 제공할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스는 S220 단계에서 수신된 리얼 사운드로부터 보이스 데이터를 추출하고, 추출된 보이스 데이터에 기초하여 증강현실 정보를 획득할 수 있다. 상기 보이스 데이터는 특정 단어, 구 또는 문장 등을 포함할 수 있다. 본 발명의 실시예에 따르면, 디지털 디바이스는 수신된 리얼 사운드에서 기 설정된 피치 정보의 보이스 데이터를 추출 가능할 경우에 증강현실 정보를 획득할 수 있다. 예를 들어, 디지털 디바이스는 기 설정된 사람이 말하는 기 설정된 단어가 리얼 사운드로 수신되는 경우, 상기 증강현실 정보를 획득할 수 있다. 이와 같이 본 발명의 실시예에 따른 디지털 디바이스는 디텍트 된 오브젝트 및 수신된 리얼 사운드가 모두 기 설정된 조건을 만족할 경우에만 증강현실 정보를 획득할 수 있다. 본 발명의 디지털 디바이스는 커뮤니케이션 유닛을 통해 상기 증강현실 정보를 수신할 수 있다. 또는, 디지털 디바이스는 스토리지 유닛에 기 저장된 증강현실 정보를 획득할 수 있다.
다음으로, 본 발명의 디지털 디바이스는 획득된 증강현실 정보를 디스플레이 유닛에 디스플레이 한다(S240). 이때, 상기 디지털 디바이스는 디텍트 된 오브젝트에 대응하는 위치에 증강현실 정보를 디스플레이 할 수 있다. 본 발명의 실시예에 따르면, 디지털 디바이스는 오브젝트의 위치에 연동하여 증강현실 정보를 디스플레이 할 수 있다. 예를 들어, 디지털 디바이스의 디스플레이 유닛 상에 나타나는 오브젝트의 위치가 이동될 경우, 해당 오브젝트에 대응하는 증강현실 정보의 디스플레이 위치를 함께 이동 시킬 수 있다.
본 발명의 일 실시예에 따르면, 디지털 디바이스는 카메라 유닛을 이용하여 오브젝트의 위치 정보를 획득할 수 있다. 즉, 디지털 디바이스는 카메라 유닛을 이용하여 화각 영역 내에 위치한 오브젝트의 이미지를 디텍트하고, 디텍트 된 이미지를 이용하여 오브젝트의 위치 정보를 획득할 수 있다. 또한, 디지털 디바이스는 카메라 유닛을 이용하여 오브젝트에 대응하는 마커를 디텍트하고, 디텍트 된 마커를 이용하여 상기 오브젝트의 위치 정보를 획득할 수 있다. 본 발명의 실시예에서 마커는 오브젝트를 나타내는 식별자로서, 바코드, QR 코드, 컬러 코드, 이미지 코드 등을 포함할 수 있음은 전술한 바와 같다.
도 3은 본 발명의 제 2 실시예에 따른 증강현실 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 3의 각 단계는 본 발명의 디지털 디바이스(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 디지털 디바이스(100)의 프로세서(110)가 도 3의 각 단계를 제어할 수 있다. 한편, 도 3의 실시예에서 도 2의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
먼저, 본 발명의 디지털 디바이스는 상기 디지털 디바이스의 위치 정보를 획득한다(S310). 본 발명의 디지털 디바이스는 구비된 센서 유닛, 예를 들면 GPS 센서를 이용하여 상기 위치 정보를 획득할 수 있다. 또는 디지털 디바이스는 와이파이 등의 네트워크 서비스를 기반으로 위치 정보를 획득할 수도 있다.
다음으로, 본 발명의 디지털 디바이스는 상기 디지털 디바이스의 오리엔테이션 정보를 획득한다(S312). 본 발명의 디지털 디바이스는 다양한 센서 유닛, 예를 들면 자이로 센서를 이용하여 상기 오리엔테이션 정보를 획득할 수 있다. 디지털 디바이스는 S310 단계에서 획득된 위치 정보 및 S312 단계에서 획득된 오리엔테이션 정보를 이용하여 디지털 디바이스의 현재 위치 및 타겟 방향을 알 수 있게 된다.
다음으로, 본 발명의 디지털 디바이스는 마이크 유닛을 이용하여 리얼 사운드를 수신한다(S320). 상기 S320 단계의 구체적인 실시예는 도 2의 S220 단계에서 상술한 바와 같다.
다음으로, 본 발명의 디지털 디바이스는 상기 획득된 디지털 디바이스의 위치 정보, 오리엔테이션 정보 및 상기 수신된 리얼 사운드를 이용하여 증강현실 정보를 획득한다(S330). 만약 본 발명의 디지털 디바이스가 LBS(Location Based Service) 기반의 증강현실 서비스를 제공할 경우, 상기 디지털 디바이스는 상기 위치 정보 및 오리엔테이션 정보를 이용하여 오브젝트를 디텍트 할 수 있다. 이때, 디지털 디바이스는 수신된 리얼 사운드가 기 설정된 조건을 만족할 경우, 해당 증강현실 정보를 획득할 수 있다. 이에 대한 구체적인 실시예는 도 2의 S230 단계에서 상술한 바와 같다.
다음으로, 본 발명의 디지털 디바이스는 획득된 증강현실 정보를 디스플레이 유닛에 디스플레이 한다(S340).
도 4 및 도 6은 본 발명의 실시예에 따른 디지털 디바이스(100)가 증강현실 정보를 제공하는 구체적인 방법을 나타낸 도면이다.
먼저 도 4는 본 발명의 디지털 디바이스(100)가 두오모 성당의 종탑(40a)과 피사의 사탑(40b)을 디텍트 한 모습을 나타내고 있다. 상기 두오모 성당의 종탑(40a)과 피사의 사탑(40b)은 각각 본 발명의 오브젝트가 될 수 있다. 본 발명의 일 실시예에 따르면, 디지털 디바이스(100)는 카메라 유닛을 이용하여 화각 영역(102) 내에 위치한 이미지를 획득하고, 획득된 이미지를 이용하여 상기 오브젝트를 디텍할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스(100)는 GPS 센서 및 자이로 센서를 이용하여 상기 디지털 디바이스(100)의 위치 정보 및 오리엔테이션 정보를 획득하고, 이를 이용하여 상기 오브젝트를 디텍트 할 수 있다.
도 4의 실시예에 따르면, 디지털 디바이스(100)는 마이크 유닛을 이용하여 두오모 성당의 종탑(40a)에서 나오는 종소리(30a)를 수신한다. 상기 종소리(30a)는 디지털 디바이스(100)가 수신하는 본 발명의 리얼 사운드에 포함될 수 있다. 본 발명의 디지털 디바이스(100)는 수신된 종소리(30a)의 피치 정보 등을 분석하여, 해당 사운드가 두오모 성당의 종탑(40a)에서 나오는 종소리(30a)임을 식별할 수 있다.
디지털 디바이스(100)는 상기 디텍트 된 두오모 성당의 종탑(40a) 및 수신된 종소리(30a)에 기초하여 증강현실 정보(530a)를 획득하고, 상기 증강현실 정보(530a)를 디스플레이 유닛(120)에 디스플레이 한다. 상기 증강현실 정보(530a)는 현재 들리는 사운드가 두오모 성당의 종탑(40a)에서 나오는 종소리(30a)임을 나타내는 정보를 포함할 수 있다. 이와 같이 본 발명의 디지털 디바이스(100)는 디텍트 된 오브젝트(40a) 및 수신된 리얼 사운드(30a)가 모두 기 설정된 조건을 만족할 경우에 증강현실 정보(530)를 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 디지털 디바이스(100)가 디지털 도어락(42)을 디텍트 한 모습을 나타내고 있다. 상기 디지털 도어락(42)은 본 발명의 오브젝트가 될 수 있다. 본 발명의 일 실시예에 따르면, 디지털 디바이스(100)는 카메라 유닛을 이용하여 화각 영역 내에 위치한 이미지를 획득하고, 획득된 이미지를 이용하여 상기 디지털 도어락(42)을 디텍할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스(100)는 카메라 유닛을 이용하여 특정 마커를 디텍트하고, 디텍트 된 마커를 기초로 하여 상기 디지털 도어락(42)을 디텍트 할 수 있다. 본 발명의 또 다른 실시예에 따르면, 디지털 디바이스(100)와 디지털 도어락(42) 간의 태깅이 이루어질 수 있으며, 디지털 디바이스(100)는 획득한 태깅 정보를 이용하여 상기 디지털 도어락(42)을 디텍트 할 수 있다.
도 5의 실시예에서, 디지털 디바이스(100)는 마이크 유닛을 이용하여 유저(10)의 보이스(32)를 수신한다. 상기 유저(10)의 보이스(32)는 디지털 디바이스(100)가 수신하는 본 발명의 리얼 사운드에 포함될 수 있다. 본 발명의 디지털 디바이스(100)는 수신된 유저(10)의 보이스(32)의 피치 정보 등을 분석하여, 해당 보이스(32)가 기 설정된 유저(10)의 보이스(32)임을 식별할 수 있다. 디지털 디바이스(100)는 상기 디텍트 된 디지털 도어락(42) 및 수신된 유저(10)의 보이스(32)에 기초하여 증강현실 정보(532)를 획득하고, 상기 증강현실 정보(532)를 디스플레이 유닛(120)에 디스플레이 한다. 상기 증강현실 정보(532)는 디지털 도어락(42)의 보안코드(Secret Code)를 포함할 수 있다.
한편 본 발명의 다른 실시예에 따르면, 디지털 디바이스(100)는 보이스 인식 모듈을 구비할 수 있으며, 상기 보이스 인식 모듈을 이용하여 유저(10)의 보이스(32)에서 보이스 데이터를 추출할 수 있다. 디지털 디바이스(100)는 상기 디텍트 된 디지털 도어락(42) 및 추출된 보이스 데이터에 기초하여 증강현실 정보(532)를 획득할 수 있다. 예를 들어, 유저(10)가 “비밀번호가 뭐야?”라고 말할 경우, 디지털 디바이스(100)는 해당 유저(10)의 보이스(32)에서 “비밀번호”라는 보이스 데이터를 추출한다. 디지털 디바이스(100)는 유저(10)가 디지털 도어락(42)의 보안코드를 알고 싶어함을 인식하고, 디스플레이 유닛(120)으로 해당 보안코드를 증강현실 정보(532)로 제공할 수 있다. 본 발명의 실시예에 따르면, 승인되지 않은 유저가 보안 코드를 가로채는 것을 방지하기 위해, 디지털 디바이스(100)는 유저(10)의 보이스(32)의 피치가 기 설정된 피치 정보를 만족하는지 여부를 함께 디텍트 할 수 있다. 따라서, 디지털 디바이스(100)는 승인된 유저(10)에게만 증강현실 정보(532)를 제공할 수 있다.
도 6은 본 발명의 실시예에 따른 디지털 디바이스(100)가 현금 자동 입출금기(ATM, 44)를 디텍트 한 모습을 나타내고 있다. 도 6의 실시예에서, 도 5의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
도 6에서 ATM(44)은 본 발명의 오브젝트가 될 수 있다. 디지털 디바이스(100)는 마이크 유닛을 이용하여 유저(10)의 보이스(34)를 수신하며, 상기 유저(10)의 보이스(34)는 본 발명의 리얼 사운드에 포함될 수 있다. 디지털 디바이스(100)는 수신된 유저(10)의 보이스(34)의 피치 정보 등을 분석하여, 해당 보이스(34)가 기 설정된 유저(10)의 보이스(34)임을 식별할 수 있다. 디지털 디바이스(100)는 상기 디텍트 된 ATM(44) 및 수신된 유저(10)의 보이스(34)에 기초하여 증강현실 정보(534)를 획득하고, 상기 증강현실 정보(534)를 디스플레이 유닛(120)에 디스플레이 한다. 상기 증강현실 정보(534)는 상기 유저(10)의 개인 비밀번호(PIN No.)를 포함할 수 있다.
한편 본 발명의 다른 실시예에 따르면, 디지털 디바이스(100)는 보이스 인식 모듈을 구비할 수 있으며, 상기 보이스 인식 모듈을 이용하여 유저(10)의 보이스(34)에서 보이스 데이터를 추출할 수 있다. 디지털 디바이스(100)는 상기 디텍트 된 ATM(44) 및 추출된 보이스 데이터에 기초하여 증강현실 정보(534)를 획득할 수 있다. 이에 대한 구체적인 실시예는 도 5에서 상술한 바와 같다.
도 7은 본 발명의 실시예에 따른 HMD(200)를 나타낸 개략도이다. 본 발명의 실시예에 따른 HMD(200)는 디스플레이 유닛(220) 및 오디오 출력 유닛(230)을 구비한다.
상기 디스플레이 유닛(220)은 HMD(200)의 프로세서(미도시)의 제어 명령에 기초하여 이미지를 디스플레이 한다. 본 발명의 실시예에서 디스플레이 유닛(220)은 디스플레이 스크린을 구비하여, 상기 디스플레이 스크린에 이미지가 맺히도록 할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 디스플레이 유닛(220)은 별도의 디스플레이 스크린을 구비하지 않고, HMD(200)의 전방 방향의 특정 위치에 이미지를 투영할 수 있다.
본 발명의 실시예에 따른 HMD(200)의 오디오 출력 유닛(230)은 좌 채널 출력 유닛(230a) 및 우 채널 출력 유닛(230b)을 포함한다. 상기 좌 채널 출력 유닛(230a) 및 우 채널 출력 유닛(230b)은 각각 오디오 신호의 좌 채널 및 우 채널을 출력 한다. 본 발명의 실시예에서 오디오 출력 유닛(230)은 오디오 신호를 가청 주파수로 출력하는 스피커, 이어폰 등의 출력 유닛과 이를 제어하는 제어 모듈을 포함할 수 있다. 본 발명의 실시예에 따른 HMD(200)는 상기 좌 채널 출력 유닛(230a) 및 우 채널 출력 유닛(230b)을 이용하여 바이노럴(binaural) 오디오 신호를 유저에게 제공할 수 있다.
도 8은 본 발명의 실시예에 따른 HMD(200)를 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 HMD(200)는 프로세서(210), 디스플레이 유닛(220), 오디오 출력 유닛(230), 커뮤니케이션 유닛(240), 센서 유닛(250) 및 파워 유닛(260)을 포함할 수 있다.
먼저, 디스플레이 유닛(220)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(220)은 프로세서(210)에서 실행되는 콘텐츠 또는 프로세서(210)의 제어 명령에 기초하여 이미지를 출력한다. 또한, 본 발명의 실시예에 따르면 디스플레이 유닛(220)은 HMD(200)와 커넥팅 된 외부 디바이스의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(220)은 HMD(200)와 커넥팅 된 외부 디바이스가 실행중인 콘텐츠를 디스플레이 할 수 있다. 이때, HMD(200)는 커뮤니케이션 유닛(240)을 통해 상기 외부 디바이스로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 이미지를 출력할 수 있다. 본 발명의 실시예에서, HMD(200)는 상기 디스플레이 유닛(220)을 선택적으로 구비할 수 있다.
다음으로, 오디오 출력 유닛(230)은 스피커, 이어폰 등의 오디오 출력 수단과 이들을 제어하는 제어 모듈을 포함한다. 상기 오디오 출력 유닛(230)은 프로세서(210)에서 실행되는 콘텐츠 또는 프로세서(210)의 제어 명령에 기초하여 음성을 출력한다. 본 발명의 실시예에 따른 HMD(200)의 오디오 출력 유닛(230)은 좌 채널 출력 유닛(L, 130a) 및 우 채널 출력 유닛(R, 130b)을 포함한다. 상기 좌 채널 출력 유닛(230a) 및 우 채널 출력 유닛(230b)은 각각 오디오 신호의 좌 채널 및 우 채널을 출력 한다. 또한, 본 발명의 실시예에 따르면 오디오 출력 유닛(230)은 HMD(200)와 커넥팅 된 외부 디바이스의 오디오 신호를 출력할 수 있다.
다음으로, 커뮤니케이션 유닛(240)은 서버, 클라우드 또는 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛(240)은 유선 또는 무선으로 네트워크에 접속하여, 콘텐츠 등의 디지털 데이터를 송/수신할 수 있다. 본 발명에서 HMD(200)는 커뮤니케이션 유닛(240)을 이용하여 외부 디바이스와 커넥팅을 수행할 수 있으며, 상기 커넥팅 된 외부 디바이스와 데이터를 송/수신할 수 있다.
센서 유닛(250)은 HMD(200)에 장착된 복수의 센서를 사용하여 유저 인풋 또는 상기 HMD(200)가 인식하는 환경을 프로세서(210)로 전달할 수 있다. 이때, 상기 센서 유닛(250)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(250)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(210)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(200)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
다음으로, 파워 유닛(260)은 디바이스 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로, HMD(200)에 파워를 공급할 수 있다.
본 발명의 프로세서(210)는 HMD(200) 자체의 콘텐츠 또는 데이터 통신을 통해 수신된 콘텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(210)는 상술한 HMD(200)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.
도 8에 도시된 HMD(200)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 9는 본 발명의 실시예에 따른 오디오 신호 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 9의 각 단계는 본 발명의 HMD에 의해 수행될 수 있다. 즉, 도 8에 도시된 HMD(200)의 프로세서(210)가 도 9의 각 단계를 제어할 수 있다.
먼저, 본 발명의 HMD는 적어도 하나의 외부 디바이스와 커넥팅 한다(S910). 상기 HMD는 다양한 통신 수단을 이용하여 외부 디바이스와 커넥트 될 수 있다. 이때, 이용 가능한 통신 수단으로는 NFC(Near Field Communication), Zigbee, 적외선 통신, 블루투스, 무선 랜 통신 등이 있으며, 본 발명은 이에 한정하지 않는다. 본 발명에서 HMD(200)는 앞서 열거된 통신 수단 중 어느 하나, 또는 이들 간의 조합을 이용하여 외부 디바이스와 커넥트 되어 통신을 수행할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 HMD와 외부 디바이스는 복수의 액세스 포인트(Access Point, AP)가 포함된 인프라 스트럭쳐(infrastructure) 환경에서 서로 커넥트 될 수 있다. 본 발명의 다른 실시예에 따르면, 상기 HMD와 외부 디바이스는 복수의 기지국이 포함된 셀룰러 네트워크 환경에서 서로 커넥트 될 수 있다.
다음으로, 본 발명의 HMD는 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신한다(S920). 본 발명에서 HMD는 앞서 열거한 다양한 통신 수단을 이용하여 외부 디바이스로부터 오디오 신호를 수신할 수 있다. 본 발명의 실시예에 따르면, 외부 디바이스는 마이크 유닛을 이용하여 리얼 사운드를 수신하고, 수신된 리얼 사운드를 오디오 신호로 변환하여 HMD에 전송할 수 있다. 한편 본 발명의 일 실시예에 따르면, HMD는 상기 수신되는 오디오 신호에 대응하는 부가 데이터를 더 수신할 수 있다. 이때, 상기 부가 데이터는 오디오 신호를 전송하는 외부 디바이스의 위치 정보를 포함할 수 있다. 일 실시예에 따르면, 상기 외부 디바이스의 위치 정보는 외부 디바이스의 무선 랜 접속 정보를 이용하여 획득될 수 있다. 즉, HMD는 상기 외부 디바이스가 네트워크 접속을 위해 교신한 AP의 정보를 상기 오디오 신호와 함께 수신할 수 있다. 한편 본 발명의 다른 실시예에 따라 외부 디바이스가 셀룰러 네트워크를 이용할 경우, HMD는 해당 외부 디바이스가 교신한 기지국 정보를 상기 오디오 신호와 함께 수신할 수 있다. 본 발명의 또 다른 실시예에 따르면, 외부 디바이스는 GPS 센서를 이용하여 해당 외부 디바이스의 위치 정보를 획득하고, 획득된 위치 정보를 오디오 신호와 함께 전송할 수 있다.
다음으로, 본 발명의 HMD는 상기 HMD의 위치 정보를 획득한다(S930). 본 발명의 HMD는 상기 S920 단계에서 상술한 방법으로 HMD의 위치 정보를 획득할 수 있다. 즉, 본 발명의 일 실시예에 따르면 HMD의 위치 정보는 상기 HMD의 무선 랜 접속 정보를 이용하여 획득될 수 있다. HMD는 네트워크 접속을 위해 교신한 AP의 정보를 이용하여 상기 HMD의 위치 정보를 획득할 수 있다. 본 발명의 다른 실시예에 따라 HMD가 셀룰러 네트워크를 이용할 경우, HMD는 상기 HMD가 교신한 기지국 정보를 이용하여 해당 HMD의 위치 정보를 획득할 수 있다. 본 발명의 또 다른 실시예에 따르면, HMD는 GPS 센서를 이용하여 HMD의 위치 정보를 획득할 수 있다.
다음으로, 본 발명의 HMD는 상기 HMD의 오리엔테이션 정보를 디텍트 한다(S940). HMD는 센서 유닛, 예를 들면 자이로 센서를 이용하여 HMD의 오리엔테이션 정보를 디텍트 할 수 있다.
다음으로, 본 발명의 HMD는 상기 HMD에 대한 외부 디바이스의 방향 정보 및 HMD의 오리엔테이션 정보에 기초하여 오디오 신호를 출력한다(S950). 먼저, HMD는 S920 단계에서 획득된 외부 디바이스의 위치 정보와 S930 단계에서 획득된 HMD의 위치 정보를 이용하여 HMD에 대한 외부 디바이스의 방향 정보를 획득할 수 있다. 상기 방향 정보는 방위각 정보 및 고도 정보 중 적어도 하나를 포함할 수 있다. 따라서 본 발명의 HMD는 상기 HMD를 기준으로 외부 디바이스가 3차원(또는, 2차원) 상의 어느 곳에 위치해 있는지를 알 수 있다. 이에 더하여, HMD는 상기 HMD의 오리엔테이션 정보를 이용하여, 외부 디바이스가 HMD를 착용한 유저의 머리(또는, 양쪽 귀)를 기준으로 어느 방향에 위치해 있는지를 알 수 있다.
본 발명의 실시예에 따른, HMD는 상기 HMD에 대한 외부 디바이스의 방향 정보 및 HMD의 오리엔테이션 정보에 기초하여 오디오 신호를 3D(3 Dimensional) 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 이때, 상기 3D 오디오 신호는 3D 효과를 갖는 바이노럴(binaural) 오디오 신호를 포함한다. 더욱 구체적으로, HMD는 상기 방향 정보 및 오리엔테이션 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하고, 생성된 HRTF 정보를 이용하여 오디오 신호를 3D 오디오 신호로 변환할 수 있다. 상기 HRTF는 임의의 위치를 갖는 음원에서 나오는 음파와 귀의 고막에 도달하는 음파 사이의 전달 함수(transfer function)를 의미하며, 상기 음원의 방위 정보 및 고도 정보에 따라 그 값을 달리한다. 방향성(즉, 지향성)이 없는 오디오 신호를 특정 방향의 HRTF로 필터링하면, HMD를 착용한 유저가 들었을 때 마치 상기 특정 방향에서 소리가 들리는 것처럼 느끼게 된다. 본 발명의 실시예에 따르면, 상기 3D 오디오 신호는 좌 채널 출력 및 우 채널 출력을 포함하며, 상기 좌 채널 출력 및 우 채널 출력 중 적어도 하나는 상기 HRTF 정보에 기초하여 조절된다.
한편 본 발명의 다른 실시예예 따르면, HMD는 외부 디바이스의 오리엔테이션 정보를 획득할 수 있다. 또한, HMD는 상기 획득된 외부 디바이스의 오리엔테이션 정보와 HMD에 대한 외부 디바이스의 방향 정보에 기초하여 오디오 신호를 출력할 수 있다. 이때, HMD는 외부 디바이스의 오리엔테이션 정보 및 HMD에 대한 외부 디바이스의 방향 정보에 기초하여 오디오 신호의 출력 레벨을 조절할 수 있다. 본 발명의 실시예에 따르면, 외부 디바이스의 오디오 신호는 외부 디바이스를 기준으로 특정 영역에 위치한 디바이스들에게만 제공될 수 있다. 이때, 오디오 신호가 제공될 상기 특정 영역은 외부 디바이스의 오리엔테이션 정보에 기초하여 결정될 수 있다.
도 10 내지 도 12는 본 발명의 HMD(200)가 오디오 신호를 제공하는 구체적인 실시예를 나타내고 있다.
먼저 도 10을 참조하면, 도서관 내부에 본 발명의 HMD(200)와 외부 디바이스(300)가 각각 위치하고 있다. 도서관에는 디바이스들 간의 통신을 위한 적어도 하나의 AP(50a, 50b, 50c, 50d)가 구비되어 있다. 도서관 내부의 각 디바이스들은 상기 AP(50a, 50b, 50c, 50d) 중 적어도 하나를 이용하여 네트워크에 접속하고, 데이터를 송/수신할 수 있다. 본 발명의 HMD(200) 및 외부 디바이스(300)는 각 디바이스의 무선 랜 접속 정보를 이용하여 각 디바이스의 위치 정보를 획득할 수 있다. 예를 들어, HMD(200)및 외부 디바이스(300)는 도 10의 AP(50a, 50b, 50c, 50d) 중 각 디바이스가 교신을 수행한 AP의 정보를 이용하여 위치 정보를 획득할 수 있다. 본 발명의 실시예에 따르면, HMD(200) 및 외부 디바이스(300)는 각각 복수의 AP와 교신할 수 있으며, 교신을 수행한 복수의 AP 정보에 기초하여 삼각 측량법 등을 이용하여 각 디바이스의 정확한 위치 정보를 획득할 수 있다.
본 발명의 외부 디바이스(300)는 네트워크를 통해 커넥팅 된 HMD(200)로 오디오 신호(60)를 전송할 수 있다. 본 발명의 일 실시예에 따르면, 외부 디바이스(300)는 외부 디바이스(300)를 착용한 유저의 보이스를 포함하는 리얼 사운드를 수신하고, 수신된 리얼 사운드를 오디오 신호(60)로 변환할 수 있다. 외부 디바이스(300)는 변환된 오디오 신호(60)를 AP 50a와 통신하여 전송할 수 있다. 본 발명의 HMD(200)는 외부 디바이스(300)가 전송한 오디오 신호(60)를 AP 50c을 통해 수신할 수 있다. 본 발명의 실시예에 따르면, HMD(200)는 상기 오디오 신호(60)와 함께 외부 디바이스(300)의 위치 정보를 수신할 수 있다. 상기 위치 정보는 외부 디바이스(300)가 교신한 AP 50a의 정보를 이용하여 획득될 수 있다. 또한, HMD(200)는 상기 HMD(200)가 교신한 AP 50c의 정보를 이용하여 HMD(200)의 위치 정보를 획득할 수 있다. HMD(200)는 획득된 외부 디바이스(300)의 위치 정보와 HMD(200)의 위치 정보를 이용하여, HMD(200)에 대한 외부 디바이스(300)의 방향 정보를 획득할 수 있다. 또한, 본 발명의 HMD(200)는 HMD(200)의 오리엔테이션 정보를 더 디텍트 할 수 있다. HMD(200)는 디텍트 된 오리엔테이션 정보와 상기 HMD(200)에 대한 외부 디바이스(300)의 방향 정보를 이용하여, 외부 디바이스(300)가 HMD(200)를 착용한 유저의 머리(또는, 양쪽 귀)를 기준으로 어느 방향에 위치해 있는지 알 수 있다.
HMD(200)는 상기 HMD(200)에 대한 외부 디바이스(300)의 방향 정보 및 HMD(200)의 오리엔테이션 정보에 기초하여 오디오 신호(60)를 3D(3 Dimensional) 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 이때, 상기 3D 오디오 신호는 3D 효과를 갖는 바이노럴(binaural) 오디오 신호를 포함한다. 본 발명의 실시예에서 HMD(200)의 오디오 출력 유닛이 2채널의 스테레오 출력 유닛을 포함할 경우, HMD(200)는 오디오 신호(60)의 음상이 상기 외부 디바이스(300)의 위치에 정위 되도록 할 수 있다. 도 10에서 외부 디바이스(300)는 HMD(200)의 좌측 전방에 위치하며, 따라서 HMD(200)는 오디오 신호(60)가 HMD(200)의 좌측 전방에서 들려오도록 출력할 수 있다.
본 발명의 실시예에 따르면, 외부 디바이스(300)는 HMD(200)와 동일한 종류의 디바이스를 포함할 수 있으며, 이 외에도 커뮤니케이션 유닛을 통해 오디오 신호를 전송할 수 있는 다양한 종류의 디바이스를 포함할 수 있다.
다음으로 도 11 및 도 12를 참조하면, 빌딩의 서로 다른 층에 본 발명의 HMD(200a, 200b) 및 외부 디바이스(300)가 각각 위치하고 있다. 도 11 및 도 12의 실시예에서, 도 10의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
도 11 및 도 12에서 빌딩의 각 층계에는 디바이스들 간의 통신을 위한 적어도 하나의 AP(50a, 50b, 50c, 50d, 50e)가 구비되어 있다. 본 발명의 HMD(200) 및 외부 디바이스(300)는 각 디바이스의 무선 랜 접속 정보를 이용하여 각 디바이스의 위치 정보를 획득할 수 있다. 이때, 획득되는 위치 정보에는 각 디바이스가 위치한 층계 정보가 포함될 수 있다. 도 11 및 도 12의 실시예에서 HMD 200a는 AP 50b와 교신을 수행하고 있으며, HMD 200b는 AP 50e와 교신을 수행하고 있다. 또한, 외부 디바이스(300)는 AP 50c와 교신을 수행하고 있다. 외부 디바이스(300)의 위쪽 층계에는 HMD 200b가 위치하고 있으며, 아래쪽 층계에는 HMD 200a가 위치하고 있다. 본 발명의 실시예에 따르면 HMD(200a, 200b) 및 외부 디바이스는 각 디바이스가 교신하는 AP 정보를 이용하여, 각 디바이스 간의 상대적인 위치 정보 및 방향 정보를 식별할 수 있다.
전술한 바와 같이, 본 발명의 외부 디바이스(300)는 네트워크를 통해 커넥팅 된 복수의 HMD(200a, 200b) 중 적어도 하나의 HMD에 오디오 신호(60)를 전송할 수 있다. 본 발명의 일 실시예에 따르면, HMD(200a, 200b)는 외부 디바이스(300)의 오리엔테이션 정보를 획득할 수 있다. 각 HMD(200a, 200b)는 획득된 외부 디바이스(300)의 오리엔테이션 정보 및 각 HMD(200a, 200b)에 대한 외부 디바이스(300)의 방향 정보에 기초하여 오디오 신호를 출력할 수 있다. 예를 들어, 도 11에서 외부 디바이스(300)는 아래쪽을 바라보며 오디오 신호(60)를 전송하고 있다. 이때, 외부 디바이스(300)의 아래에 위치하는 HMD 200a는 AP 50b를 통해 오디오 신호(60)를 수신하고, 수신된 오디오 신호(60)를 출력할 수 있다. 그러나 외부 디바이스(300)의 위에 위치하는 HMD 200b는 AP 50e를 통해 오디오 신호(60)를 수신할 수 있지만, 상기 오디오 신호(60)를 출력하지 않는다. 한편, 도 12에서 외부 디바이스(300)는 위쪽을 바라보며 오디오 신호(60)를 전송하고 있다. 이때, 외부 디바이스(300)의 위에 위치하는 HMD 200b는 AP 50e를 통해 오디오 신호(60)를 수신하고, 수신된 오디오 신호(60)를 출력할 수 있다. 그러나 외부 디바이스(300)의 아래에 위치하는 HMD 200a는 AP 50b를 통해 오디오 신호(60)를 수신할 수 있지만, 상기 오디오 신호(60)를 출력하지 않는다.
이와 같이 발명의 실시예에 따르면, 외부 디바이스(300)의 오디오 신호(60)는 외부 디바이스(300)를 기준으로 특정 영역에 위치한 HMD에만 제공될 수 있다. 이때, 오디오 신호(60)가 제공될 상기 특정 영역은 외부 디바이스(300)의 오리엔테이션 정보에 기초하여 결정될 수 있다.
본 발명에서 설명한 HMD는 본 발명의 목적에 따라 다양한 디바이스로 변경 및 대체 가능하다. 예를 들어, 본 발명의 HMD는 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스를 포함하며, 본 발명에서 사용된 용어에 한정되지 않는다. 또한 본 발명에서, 디지털 디바이스는 TV, 컴퓨터, 노트북, 핸드폰, 포터블 디바이스, HMD(Head Mounted Display) 등, 디스플레이 유닛을 구비하며 상기 디스플레이 유닛으로 콘텐츠를 출력할 수 있는 다양한 종류의 디바이스를 포함한다. 이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
전술한 바와 같이, 발명의 실시를 위한 최선의 형태에서 관련 사항을 기술하였다.
전술한 바와 같이, 본 발명은 HMD를 포함하는 다양한 디지털 디바이스에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (8)

  1. 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법으로써,
    적어도 하나의 외부 디바이스와 커넥팅 하는 단계;
    상기 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신하는 단계;
    상기 HMD의 위치 정보를 획득하는 단계;
    상기 HMD의 오리엔테이션 정보를 디텍트 하는 단계;
    상기 HMD에 대한 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 상기 오디오 신호를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  2. 제 1항에 있어서,
    상기 외부 디바이스의 위치 정보는 상기 외부 디바이스의 무선 랜 접속 정보를 이용하여 획득되는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  3. 제 1항에 있어서,
    상기 HMD의 위치 정보는 상기 HMD의 무선 랜 접속 정보를 이용하여 획득되는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  4. 제 1항에 있어서,
    상기 오디오 콘텐츠를 출력하는 단계는, 상기 HMD에 대한 상기 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 변환된 3D(3 Dimensional) 오디오 신호로 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  5. 제 4항에 있어서,
    상기 HMD에 대한 상기 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하는 단계;
    상기 생성된 HRTF 정보를 이용하여 상기 오디오 신호를 3D 오디오 신호로 변환하는 단계;
    를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  6. 제 1항에 있어서,
    상기 외부 디바이스의 오리엔테이션 정보를 획득하는 단계를 더 포함하며,
    상기 오디오 신호를 출력하는 단계는, 상기 외부 디바이스의 오리엔테이션 정보 및 HMD에 대한 상기 외부 디바이스의 방향 정보에 기초하여 오디오 신호를 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  7. 제 6항에 있어서,
    상기 오디오 신호를 출력하는 단계는, 상기 외부 디바이스의 오리엔테이션 정보 및 HMD에 대한 상기 외부 디바이스의 방향 정보에 기초하여 상기 오디오 신호의 출력 레벨을 조절하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  8. 헤드 마운트 디스플레이(Head Mounted Display, HMD)로써,
    상기 HMD의 작동을 제어하는 프로세서;
    상기 프로세서의 명령에 기초하여 서버, 클라우드 또는 외부 디바이스와 데이터를 송/수신하는 커뮤니케이션 유닛; 및
    상기 프로세서의 명령에 기초하여 사운드를 출력하는 오디오 출력 유닛을 포함하되,
    상기 프로세서는, 적어도 하나의 외부 디바이스와 커넥팅 하고, 상기 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신하고, 상기 HMD의 위치 정보 및 오리엔테이션 정보를 획득하고, 상기 HMD에 대한 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 상기 오디오 신호를 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD).
PCT/KR2013/004991 2013-04-30 2013-06-05 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법 WO2014178480A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020157031077A KR20160013853A (ko) 2013-04-30 2013-06-05 증강현실 제공 방법 및 이를 위한 디지털 디바이스

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20130048241 2013-04-30
KR20130048236 2013-04-30
KR10-2013-0048236 2013-04-30
KR10-2013-0048241 2013-04-30

Publications (1)

Publication Number Publication Date
WO2014178480A1 true WO2014178480A1 (ko) 2014-11-06

Family

ID=51843593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/004991 WO2014178480A1 (ko) 2013-04-30 2013-06-05 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법

Country Status (1)

Country Link
WO (1) WO2014178480A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165776A (ja) * 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
KR20090085326A (ko) * 2008-02-04 2009-08-07 삼성전자주식회사 가상 현실 시스템의 음향 처리 장치 및 방법
JP4373517B2 (ja) * 1999-03-04 2009-11-25 富士通コンポーネント株式会社 情報処理装置および情報処理方法
KR20110080915A (ko) * 2010-01-07 2011-07-13 엘지전자 주식회사 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기
WO2013000288A1 (zh) * 2011-06-29 2013-01-03 中兴通讯股份有限公司 链路切换方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4373517B2 (ja) * 1999-03-04 2009-11-25 富士通コンポーネント株式会社 情報処理装置および情報処理方法
JP2005165776A (ja) * 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
KR20090085326A (ko) * 2008-02-04 2009-08-07 삼성전자주식회사 가상 현실 시스템의 음향 처리 장치 및 방법
KR20110080915A (ko) * 2010-01-07 2011-07-13 엘지전자 주식회사 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기
WO2013000288A1 (zh) * 2011-06-29 2013-01-03 中兴通讯股份有限公司 链路切换方法、装置及系统

Similar Documents

Publication Publication Date Title
WO2014069776A1 (en) Head mounted display and method of outputting audio signal using the same
WO2016099052A1 (ko) 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
WO2015072633A1 (en) Glass type terminal
CN111601199A (zh) 无线耳机盒及系统
WO2014104521A1 (en) Image transformation apparatus and method
WO2015046677A1 (en) Head-mounted display and method of controlling the same
WO2020185029A1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
EP3039476A1 (en) Head mounted display device and method for controlling the same
WO2022116930A1 (zh) 内容共享方法、电子设备及存储介质
WO2014109434A1 (en) Device for transmitting and receiving data using earphone and method for controlling the same
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
KR101784095B1 (ko) 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
WO2020197070A1 (en) Electronic device performing function according to gesture input and operation method thereof
WO2022121629A1 (zh) 一种图像的显示方法和电子设备
KR20140129936A (ko) 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
WO2016140380A1 (ko) 셀피 스틱을 이용한 고음질 녹화영상 생성 장치 및 방법
WO2015108401A1 (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
CN110349527B (zh) 虚拟现实显示方法、装置及系统、存储介质
WO2020145653A1 (ko) 이미지의 촬영 장소를 추천하는 전자 장치 및 방법
WO2014178480A1 (ko) 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법
KR20160013853A (ko) 증강현실 제공 방법 및 이를 위한 디지털 디바이스
WO2022177299A1 (ko) 통화 기능의 제어 방법 및 이를 지원하는 전자 장치
WO2013180354A1 (en) Method and home device for outputting response to user input
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법
WO2017204598A1 (ko) 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13883401

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157031077

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13883401

Country of ref document: EP

Kind code of ref document: A1