WO2014178476A1 - 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법 - Google Patents

디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법 Download PDF

Info

Publication number
WO2014178476A1
WO2014178476A1 PCT/KR2013/004987 KR2013004987W WO2014178476A1 WO 2014178476 A1 WO2014178476 A1 WO 2014178476A1 KR 2013004987 W KR2013004987 W KR 2013004987W WO 2014178476 A1 WO2014178476 A1 WO 2014178476A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
hmd
user
digital device
present
Prior art date
Application number
PCT/KR2013/004987
Other languages
English (en)
French (fr)
Inventor
박수왕
Original Assignee
인텔렉추얼디스커버리 주식회사
(주)소셜네트워크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사, (주)소셜네트워크 filed Critical 인텔렉추얼디스커버리 주식회사
Publication of WO2014178476A1 publication Critical patent/WO2014178476A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present invention relates to a digital device and a content providing method using the same. More particularly, the present invention relates to a digital device for adaptively providing augmented reality information on a digital device or an HMD according to a user's situation, and a content providing method using the same.
  • Augmented reality is a technology that shows the virtual information superimposed on the image or background of reality.
  • augmented reality technology allows a user to be provided with more realistic information in a real environment by mixing virtual objects in a real environment. For example, when the user goes along the road and illuminates the surroundings with a camera of the digital device, the user may be provided with building information and road information included in the image collected by the camera.
  • Such augmented reality technology is receiving more attention as the spread of portable devices in recent years.
  • HMD head mounted displays
  • the present invention has an object to provide augmented reality information adaptively by recognizing the situation of the user.
  • an object of the present invention is to enable a user to easily select a display object (eg, augmented reality information) corresponding to the real object through the digital device even if the relative position of the real object with respect to the digital device changes.
  • a display object eg, augmented reality information
  • the present invention has an object to adaptively adjust the augmented reality information provided through the HMD.
  • the step of detecting at least one real object the step of detecting at least one real object; Obtaining a display object corresponding to the detected real object; Displaying the display object on a display unit, the display object being displayed at a position corresponding to the real object; Sensing a proximity touch of the user to the display unit; Fixing a display position of at least one of the display objects in response to a proximity touch of the user; Characterized in that it comprises a.
  • a user interface providing method using a head mounted display (HMD) comprising: detecting the gaze of the user wearing the HMD; Receiving a voice of the user; Acquiring a voice command for the HMD from the received voice when the detected user's gaze is directed to a preset area; Performing an operation corresponding to the voice command; Characterized in that it comprises a.
  • HMD head mounted display
  • the content providing method using a head-mounted display according to an embodiment of the present invention, the step of detecting at least one object; Acquiring augmented reality information of the detected object; Obtaining location information of the object with respect to the HMD; Detecting the gaze of a user wearing the HMD; And providing augmented reality information of the object based on whether the gaze of the detected user is directed to the position of the detected object.
  • a display object (eg, augmented reality information) may be adaptively provided to a user of the digital device.
  • the digital device recognizes the user's situation to select the display object (for example, augmented reality information), and correspondingly fixed the display position of the display object, thereby allowing the user to conveniently display the display object. Make a choice.
  • the display object for example, augmented reality information
  • the present invention can be usefully used as a method for providing augmented reality information through a digital device in a situation where a real object moves in real time.
  • the present invention can be usefully used as a method for providing augmented reality information in a moving digital device (for example, a car, etc.).
  • a smart situation recognition service can be provided by discriminating whether the voice of the user is a voice command for the HMD or a conversation with the counterpart.
  • augmented reality information for various objects in a situation where augmented reality information for various objects is mixed, only augmented reality information of an object desired by a user may be extracted and provided.
  • FIG. 1 is a block diagram illustrating an HMD according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram illustrating an HMD according to an embodiment of the present invention.
  • FIG. 3 is a schematic view showing an HMD according to another embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a user interface providing method according to an exemplary embodiment of the present invention.
  • FIG 5 and 6 are views illustrating an embodiment in which the HMD of the present invention determines whether a user's gaze is directed to a preset area.
  • FIG. 7 illustrates another embodiment in which the HMD of the present invention determines whether a user's gaze is directed to a preset area.
  • FIG. 8 is a flowchart illustrating a content providing method according to an embodiment of the present invention.
  • FIG. 9 is a view showing a state in which the HMD of the present invention provides augmented reality information of the object.
  • FIG. 10 is a diagram for one embodiment of providing augmented reality information of an object based on a user's gaze
  • FIG. 11 illustrates another embodiment of providing augmented reality information of an object based on a user's gaze
  • FIG. 12 is a view showing a content providing method according to another embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a digital device according to an embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating a content providing method according to an embodiment of the present invention.
  • 15 and 16 illustrate how a digital device provides a display object corresponding to a real object.
  • 17-19 illustrate a digital device providing a display object in accordance with an embodiment of the invention.
  • 20 to 21 illustrate a method of providing a display object in a car window according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an HMD 100 according to an embodiment of the present invention.
  • the HMD 100 of the present invention includes a processor 110, a display unit 120, a camera unit 130, a communication unit 140, a sensor unit 150, and a storage unit 160. can do.
  • the display unit 120 outputs an image on the display screen.
  • the display unit 120 outputs content executed in the processor 110 or outputs an image based on a control command of the processor 110.
  • the display unit 120 may display an image based on a control command of the external digital device 200 connected to the HMD 100.
  • the display unit 120 may display content being executed by the external digital device 200 connected to the HMD 100.
  • the HMD 100 may receive data from the external digital device 200 through the communication unit 140 and output an image based on the received data.
  • the camera unit 130 senses an image and transmits the sensed image to the processor 110.
  • the camera unit 130 may include a front camera unit (not shown) and an eye tracking camera unit (not shown).
  • the front camera unit may detect an image of the front direction of the HMD and provide it to the processor.
  • the eye tracking camera unit may detect the pupil position of the user wearing the HMD 100 to track the eyes of the user.
  • the camera unit 130 includes various types of imaging devices such as a depth camera module and an infrared camera module, as well as a general charge coupled device (CCD) or complementary metal-oxide semiconductor (CMOS) camera module.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the communication unit 140 may communicate with the external digital device 200 or the server using various protocols to transmit / receive data.
  • the communication unit 140 may access a server or a cloud through a network, and transmit / receive digital data, for example, content.
  • the HMD 100 may connect to the external digital device 200 using the communication unit 140.
  • the HMD 100 may receive display output information of content being executed by the connected external digital device 200 in real time, and output an image to the display unit 120 using the received information.
  • the sensor unit 150 may transmit a user input or an environment recognized by the HMD 100 to the processor 110 using at least one sensor mounted on the HMD 100.
  • the sensor unit 150 may include a plurality of sensing means.
  • the plurality of sensing means includes a gravity sensor, a geomagnetic sensor, a motion sensor, a gyro sensor, an acceleration sensor, an infrared sensor, an inclination sensor, an illuminance sensor, a proximity sensor, an altitude sensor, an olfactory sensor, a temperature Sensing means such as a sensor, a depth sensor, a pressure sensor, a bending sensor, an audio sensor, a video sensor, a microphone, a microphone array, a global positioning system (GPS) sensor, and a touch sensor may be included.
  • GPS global positioning system
  • the sensor unit 150 collectively refers to the various sensing means described above, and may sense various inputs of the user and the environment of the user, and may transmit a sensing result to allow the processor 110 to perform an operation accordingly.
  • the above-described sensors may be included in the HMD 100 as a separate element or integrated into at least one or more elements.
  • the storage unit 160 may store digital data including various contents such as video, audio, photographs, documents, applications, and the like.
  • the storage unit 150 may include various digital data storage media such as flash memory, random access memory (RAM), and solid state drive (SSD).
  • the storage unit 150 may store the content received by the communication unit 140 from the external digital device 200 or the server.
  • the processor 110 of the present invention may execute contents of the HMD 100 itself or contents received through data communication. It can also run various applications and process data inside the device. In addition, the processor 110 may control each unit of the HMD 100 described above, and may control data transmission and reception between the units.
  • the HMD 100 shown in FIG. 1 is a block diagram according to an embodiment of the present invention, in which blocks shown separately represent logically distinguishing elements of a device. Therefore, the elements of the above-described device may be mounted in one chip or in a plurality of chips according to the design of the device.
  • the HMD 100 includes a display unit 120 and a camera unit 130.
  • the display unit 120 displays an image based on a control command of a processor (not shown) of the HMD 100.
  • the display unit 120 may include a display screen to allow an image to be formed on the display screen.
  • the display unit 120 may project an image at a specific position in the front direction of the HMD 100 without having a separate display screen.
  • the display unit 120 may include a first display unit 120a and a second display unit 120b.
  • the first display unit 120a displays an image for the left eye of the user wearing the HMD 100
  • the second display unit 120b displays an image for the right eye of the user. Display.
  • the HMD 100 may separate a source image for displaying on the display unit 120 into a left eye image and a right eye image, respectively. In this case, the separated left eye image and right eye image may be displayed on the first display unit 120a and the second display unit 120b, respectively.
  • the camera unit 130 senses an image and transmits the sensed image to the processor.
  • the camera unit 130 may include at least one of a front camera unit and an eye tracking camera unit.
  • the camera unit 130 may have a field of view area of a preset range. That is, the camera unit 130 acquires an image in the viewing area and transfers the acquired image to the processor.
  • the HMD 100 may be connected to at least one external digital device 200 and operate based on a control command of the connected external digital device 200.
  • a separate pairing or communication connection may be performed for connecting between the HMD 100 and the external digital device 200, and the pairing or communication connection operation may be performed by a user input to the HMD 100 or the external digital device 200. It can be performed by.
  • the HMD 100 may provide a separate button or user interface for pairing or communicating with an external digital device 200, and receives a user input for the button or user interface to receive the HMD 100.
  • pairing or communication connection between the external digital device 200 and the external digital device 200 may be connected to at least one external digital device 200 and operate based on a control command of the connected external digital device 200.
  • a separate pairing or communication connection may be performed for connecting between the HMD 100 and the external digital device 200, and the pairing or communication connection operation may be performed by a user input to the HMD 100 or the external digital device 200. It can be performed by.
  • the HMD 100 may provide a separate button or user
  • the external digital device 200 includes various types of digital devices capable of controlling the HMD 100.
  • the external digital device 200 includes a smart phone, a PC, a personal digital assistant (PDA), a notebook, a tablet PC, a media player, and the like, and various types of digital devices capable of controlling the operation of the HMD. It includes.
  • the HMD 100 transmits / receives data with the external digital device 200 using various wired / wireless communication means.
  • usable wireless communication means include NFC (Near Field Communication), Zigbee, infrared communication, Bluetooth, Wi-Fi, the present invention is not limited to this.
  • the HMD 100 may be connected to the external digital device 200 to perform communication by using any one of the above-mentioned communication means or a combination thereof.
  • FIG. 4 is a flowchart illustrating a user interface providing method according to an exemplary embodiment of the present invention.
  • Each step of FIG. 4 described below may be performed by the HMD 100 of the present invention. That is, the processor 110 of the HMD 100 shown in FIG. 1 may control each step of FIG. 4. Meanwhile, when the HMD 100 is controlled by the external digital device 200 as shown in the embodiment of FIG. 3, the HMD 100 performs each step of FIG. 4 based on a control command of the corresponding external digital device 200. Can be done.
  • the HMD of the present invention detects the gaze of a user wearing the HMD (S410).
  • the HMD of the present invention can detect a user's gaze by using the provided eye tracking camera unit.
  • the eye tracking camera unit may detect the pupil position of the user wearing the HMD to track the gaze of the user.
  • the HMD of the present invention receives the voice of the user (S420).
  • the sensor unit of the HMD may comprise a microphone or microphone array.
  • the HMD can receive the voice of the user using the provided microphone or microphone array.
  • the HMD of the present invention determines whether the detected user's gaze is directed to a predetermined area (S430).
  • the preset area may be an area where a command interface for executing a voice command mode of the HMD is displayed.
  • the preset area may be an area excluding an area where the speaker who is talking with the user is located.
  • the area where the speaker is located may be detected using an image acquired through the front camera unit of the HMD.
  • the area where the speaker is located may be detected by using a voice signal received by the microphone array of the HMD.
  • the HMD can detect the area where the speaker is located by using the image acquired through the front camera unit together with the audio signal received by the microphone array.
  • the HMD of the present invention obtains a voice command for the HMD from the received voice (S440).
  • the HMD of the present invention may determine whether the voice received in step S420 is a voice of a user wearing the HMD. To this end, the HMD can compare the characteristics of the received voice with a predetermined voice characteristic of the user. That is, the HMD can obtain only the voice of the user by filtering the received voice.
  • the HMD of the present invention may extract only a voice corresponding to a preset command from the filtered voices. To this end, various methods of speech recognition technology may be used.
  • the HMD When the voice command is obtained in step S440, the HMD according to the embodiment of the present invention performs an operation corresponding to the obtained voice command (S450). In this case, the HMD may execute a predetermined operation on the obtained voice command. On the other hand, if it is determined in step S430 that the gaze of the user does not face the preset area, the HMD does not perform any other operation on the received voice.
  • the preset area may be an area excluding an area where the speaker 20 who is in conversation with the user 10 is located.
  • the area where the speaker 20 is located indicates the relative position of the speaker 20 in the field of view of the user 10 wearing the HMD 100. If the display unit 120 of the HMD 100 is a see-through type, an area in which the speaker 20 is located may be the position of the speaker 20 appearing on the display unit 120. have. When the user 10 wearing the HMD 100 performs a conversation with the speaker 20, the gaze 105 of the user 10 may face the speaker 20.
  • the HMD 100 may detect a region where the speaker 20 is located by using various means.
  • the HMD 100 may detect a region where the speaker 20 is located by using a voice signal 25 received by a microphone array (not shown). In this case, the HMD 100 may detect a region where the speaker 20 is located by using at least one of a time difference and a sound pressure difference of the received voice signal 25.
  • the HMD 100 may detect an area where the speaker 20 is located by using an image acquired by a front camera unit (not shown).
  • the HMD 100 may detect the speaker 20 through the head detection algorithm in the image obtained by the front camera unit.
  • the HMD 100 since the gaze 105 of the detected user does not face the area where the speaker 20 is located, the HMD 100 may obtain a voice command from the voice of the received user.
  • the HMD 100 may detect the area where the speaker 20 is located by using both the microphone array and the front camera unit. That is, the HMD 100 extracts the candidate group of the region where the speaker 20 is located by using the image obtained by the front camera unit, and the actual speaker 20 of the candidate group is selected by using the voice signal received by the microphone array. You can detect the area where it is located. Through this method, the HMD 100 can increase the accuracy of the speaker 20 position detection.
  • FIG. 7 shows another embodiment in which the HMD 100 determines whether the gaze 105 of the user 10 is directed to a predetermined area.
  • the preset area may include an area where a command interface 125 for executing the voice command mode of the HMD 100 is displayed.
  • the HMD 100 may display the command interface 125 on the display unit 120 in various forms.
  • the HMD 100 may enter a command mode.
  • the command mode is entered, the HMD 100 obtains a voice command from the received voice of the user.
  • the HMD 100 determines whether to obtain a voice command from the voice of the user based on the detected gaze 105 of the user. Accordingly, the HMD 100 of the present invention can provide a convenient command interface to a user wearing the HMD 100. In particular, the HMD 100 according to an embodiment of the present invention may provide a smart situation recognition service by discriminating whether the voice of the user is a voice command or a conversation with the counterpart.
  • FIG. 8 is a flowchart illustrating a content providing method according to another embodiment of the present invention.
  • Each step of FIG. 8 described below may be performed by the HMD 100 of the present invention. That is, the processor 110 of the HMD 100 shown in FIG. 1 may control each step of FIG. 8. Meanwhile, when the HMD 100 is controlled by the external digital device 200 as shown in the embodiment of FIG. 3, the HMD 100 performs each step of FIG. 8 based on a control command of the corresponding external digital device 200. Can be done.
  • the HMD of the present invention detects at least one object (S810).
  • the object includes various types of objects having augmented reality information such as a specific building, a road, a place name, a device, and the like.
  • the HMD can detect an object using various methods. If the HMD provides a LBS-based augmented reality service, the HMD can detect the object using the sensing value of the GPS sensor and the sensing value of the gyro sensor. In addition, when the HMD provides a marker-based augmented reality service, the object may be detected based on the detected marker.
  • the marker is an identifier representing the object, and may include a barcode, a QR code, a color code, an image code, and the like.
  • the HMD can detect the object by using an image acquired by the equipped front camera unit.
  • the HMD can detect the object by using tagging information such as Near Field Communication (NFC) or Radio Frequency Identification (RFID). That is, when the HMD of the present invention approaches the object, tagging is performed using a means such as NFC or RFID, and the HMD can identify that the object is detected.
  • NFC Near Field Communication
  • RFID Radio Frequency Identification
  • the HMD of the present invention receives augmented reality information of the detected object (S820).
  • the HMD may receive augmented reality information of the object from a server through a communication unit.
  • the HMD may acquire augmented reality information of the object previously stored in the storage unit.
  • the HMD may receive the first augmented reality information and the second augmented reality information of the corresponding object.
  • the first augmented reality information includes a greater amount of information than the second augmented reality information.
  • the HMD may receive augmented reality information about an object in a scalable manner and differently provide the augmented reality information based on a user's gaze as described below.
  • the HMD of the present invention obtains position information of the object with respect to the HMD (S830).
  • the HMD may acquire position information of the object by using the front camera unit. That is, the HMD can detect an image of an object located in an angle of view area by using the front camera unit, and obtain location information of the object using the detected image.
  • the HMD may detect a marker corresponding to the object by using the front camera unit, and acquire position information of the object by using the detected marker.
  • the marker is an identifier indicating an object, and as described above, may include a barcode, a QR code, a color code, an image code, and the like.
  • the HMD can detect the location information of the object using at least one antenna.
  • the HMD may include a plurality of antennas and perform data transmission / reception with an object through the plurality of antennas.
  • the HMD can detect the relative distance and direction between the object and the HMD by using a time difference, a phase difference, and the like of a signal transmitted / received to the plurality of antennas, respectively.
  • the HMD of the present invention may include a directional antenna, and may detect location information of an object by using a signal transmitted / received through the directional antenna.
  • the HMD of the present invention detects the gaze of the user wearing the HMD (S840).
  • the HMD of the present invention can detect the eyes of a user by using an eye tracking camera unit.
  • the eye tracking camera unit may detect the pupil position of the user wearing the HMD to track the gaze of the user.
  • the HMD of the present invention determines whether the detected user's gaze is directed to the position of the object (S850). If the user's gaze points to the location of the object, the HMD of the present invention provides the first augmented reality information of the object (S860). However, when the user's gaze does not face the location of the object, the HMD of the present invention may provide second augmented reality information of the object (S862). In an embodiment of the present invention, the first augmented reality information includes a greater amount of information than the second augmented reality information. The first augmented reality information and the second augmented reality information may be information received by the HMD scalable in step S820. Alternatively, the second augmented reality information may be some information extracted from the first augmented reality information. Meanwhile, according to another embodiment of the present invention, when the user's gaze does not face the location of the object, the HMD of the present invention may not provide augmented reality information of the object.
  • the HMD 100 provides first augmented reality information 530a, 530b, and 530c of the objects 40a, 40b, and 40c.
  • the HMD 100 may detect the objects 40a, 40b, and 40c and obtain first augmented reality information 530a, 530b, and 530c of the objects 40a, 40b, and 40c.
  • the first augmented reality information 530a, 530b, and 530c may include various names such as names, device product numbers, prices, and manufacturers of each device. May contain information.
  • the HMD 100 may display the first augmented reality information 530a, 530b, and 530c on the display unit 120. In this case, the first augmented reality information (530a, 530b, 530c) may be displayed in the area corresponding to the position of the object (40a, 40b, 40c).
  • the HMD 100 of the present invention provides augmented reality information of the objects 40a, 40b, and 40c based on the detected gaze 105 of the user.
  • the HMD 100 may provide augmented reality information of the object based on whether the detected user's gaze 105 faces the position of the object. Referring to FIG. 10, the detected user's gaze 105 faces the object 40a.
  • the HMD 100 may provide the first augmented reality information 530a corresponding to the object 40a to the display unit 120. Meanwhile, the HMD 100 may provide second augmented reality information 532b and 532c with respect to the objects 40b and 40c to which the user's gaze 105 does not face.
  • the second augmented reality information (532b, 532c) includes a smaller amount of information than the first augmented reality information (530b, 530c) of FIG.
  • the second augmented reality information (532b, 532c) may be scalable information received together with the first augmented reality information (530b, 530c) of FIG. 9.
  • the second augmented reality information (532b, 532c) may be partial information extracted from the first augmented reality information (530b, 530c).
  • the HMD 100 of the present invention provides augmented reality information of the objects 40a, 40b, and 40c based on the detected gaze 105 of the user.
  • the HMD 100 provides the first augmented reality information 530a of the object 40a to which the user's gaze 105 faces, while the user's gaze 105 does not face the objects 40b and 40c. Augmented reality information may not be provided.
  • the HMD 100 provides detailed augmented reality information on an object to which the user's gaze 105 faces, and reduced augmented reality information on an object to which the user's gaze 105 does not face. It may not provide or provide augmented reality information. Therefore, the HMD 100 according to the embodiment of the present invention can prevent the overflow of the augmented reality information (overflow).
  • the HMD 100 of the present invention may provide various application applications using the detected user's gaze 105.
  • the HMD 100 when the user wearing the HMD 100 has a conversation with a specific speaker 20, the HMD 100 has the user's gaze 105 positioned at the position of the speaker 20. You can detect whether or not you are facing. In this case, the method of detecting the position of the speaker 20 is as described above with reference to FIGS. 5 and 6. If the user's line of sight 105 faces the position of the speaker 20, the HMD 100 may execute a conversation mode. In the conversation mode, the HMD 100 may minimize the provision of augmented reality information of the objects 40a, 40b, and 40c, and may provide the conversation contents of the speaker 20 or the translated content of the conversation contents as the augmented reality information 550. have.
  • each operation is performed by the control of the external digital device 200 connected to the HMD 100.
  • FIG. 13 is a block diagram illustrating a digital device 300 according to an embodiment of the present invention.
  • the digital device 300 of the present invention may include a processor 310, a display unit 320, a camera unit 330, a communication unit 340, a sensor unit 350, and a storage unit 360. It may include.
  • the processor 310, the display unit 320, the camera unit 330, the communication unit 340, the sensor unit 350, and the storage unit 360 of the digital device 300 illustrated in FIG. 13 are respectively shown in FIG. 1.
  • the display unit 320 of the digital device 300 may be a touch sensitive display that includes a touch sensor.
  • the display unit 320 may further include a proximity sensor, and may sense a proximity touch of the user with respect to the display unit 320.
  • the digital device 300 may acquire a sensing position of the proximity touch on the display unit 320.
  • the camera unit 330 senses an image and transmits the sensed image to the processor 310.
  • the digital device 300 may detect at least one real object using the image sensed by the camera unit 330.
  • the digital device 300 may detect the relative position of each real object with respect to the digital device 300 by analyzing the sensed image.
  • the camera unit 330 may further include at least one camera for detecting the gaze of the user who is using the digital device 300.
  • the digital device 300 illustrated in FIG. 13 is a block diagram according to an embodiment of the present invention, in which blocks marked separately represent logical elements of devices. Therefore, the elements of the above-described device may be mounted in one chip or in a plurality of chips according to the design of the device.
  • FIG. 14 is a flowchart illustrating a content providing method according to an embodiment of the present invention. Each step of FIG. 14 described below may be performed by the digital device 300 of the present invention. That is, the processor 310 of the digital device 300 illustrated in FIG. 13 may control each step of FIG. 14.
  • the digital device of the present invention detects at least one real object (S1410).
  • the real object includes various types of objects having augmented reality information such as a specific building, a road, a place name, and a device.
  • the digital device may detect the real object using various methods. If the digital device provides an LBS-based augmented reality service, the digital device may detect the real object using the sensing value of the GPS sensor and the sensing value of the gyro sensor. In addition, when the digital device provides a marker-based augmented reality service, the real object may be detected based on the detected marker.
  • the marker is an identifier representing the real object and may include a barcode, a QR code, a color code, an image code, and the like.
  • the digital device may detect the real object using an image acquired by the provided camera unit.
  • the digital device may detect the real object by using tagging information such as Near Field Communication (NFC) or Radio Frequency Identification (RFID). That is, when the digital device of the present invention approaches the real object, tagging is performed using a means such as NFC or RFID, and the digital device may identify that the real object is detected.
  • NFC Near Field Communication
  • RFID Radio Frequency Identification
  • the digital device of the present invention acquires a display object corresponding to the detected real object (S1420).
  • the display object includes augmented reality information corresponding to the real object.
  • the display object includes an interface such as an icon for calling augmented reality information corresponding to the real object. If the user touches the interface, the digital device may display augmented reality information corresponding thereto.
  • the digital device of the present invention may receive a display object corresponding to the real object through a communication unit. Alternatively, the digital device may acquire a display object previously stored in the storage unit.
  • the digital device of the present invention displays the display object on the display unit (S1430).
  • the digital device may display the display object at a position corresponding to the real object.
  • the digital device may display the display object in association with the position of the real object. For example, when the position of the real object appearing on the display unit of the digital device is moved, the display position of the display object corresponding to the corresponding real object may be moved together.
  • the digital device may acquire the position information of the real object using the camera unit. That is, the digital device may detect an image of the real object located in the field of view area by using the camera unit, and obtain position information of the real object using the detected image.
  • the digital device may detect a marker corresponding to the real object by using a camera unit, and obtain position information of the real object by using the detected marker.
  • the marker is an identifier indicating a real object and may include a barcode, a QR code, a color code, an image code, and the like, as described above.
  • the digital device may detect the location information of the real object using at least one antenna.
  • the digital device may include a plurality of antennas and perform data transmission / reception with a real object through the plurality of antennas.
  • the digital device may detect a relative distance and direction between the real object and the digital device by using a time difference, a phase difference, and the like of signals transmitted and received to the plurality of antennas, respectively.
  • the digital device of the present invention may include a directional antenna and detect positional information of a real object by using a signal transmitted / received through the directional antenna.
  • the digital device of the present invention senses the proximity touch of the user to the display unit (S1440).
  • the display unit of the digital device may include a proximity sensor, and may detect a proximity touch of the user and a sensing position of the proximity touch on the display unit.
  • the digital device may sense a proximity touch of the user by using a separate proximity sensor separated from the display unit.
  • the digital device of the present invention fixes the display position of at least one of the display objects in response to the proximity touch of the user (S1450).
  • the digital device may fix the display position of the displayed entire display object.
  • the digital device may check the time when the proximity touch of the user is sensed and may fix the display position of the display object when the sensing of the proximity touch lasts more than a preset time.
  • the digital device may further acquire a sensing position of the proximity touch on the display unit, and may fix the display position of the display object when the sensing position of the proximity touch lasts for a predetermined time or more within a preset range.
  • the digital device may acquire the sensing position of the proximity touch on the display unit and fix the display position of the display object in the area corresponding to the sensing position. Accordingly, the digital device may identify a display object that the user wants to touch, and may selectively fix only the display position of the display object. In addition, as described above, the digital device may check the time when the proximity touch of the user is sensed and may fix the display position of the display object when the sensing of the proximity touch lasts for a predetermined time or more.
  • the digital device may fix the display position of the display object in association with the eyes of the user.
  • the digital device may detect the gaze of the user using the camera unit, and may fix the display position of the display object when the gaze of the detected user faces the display unit.
  • the digital device may not fix the display position of the display object even when the proximity touch of the user is sensed.
  • 15 and 16 illustrate that the digital device 300 provides display objects 530a, 530b, and 530c corresponding to the real objects 40a, 40b, and 40c.
  • the digital device 300 detects at least one real object 40a, 40b, 40c, and displays the display objects 530a, 530b, 530c corresponding thereto on the display unit 320. can do.
  • the digital device may detect the real objects 40a, 40b, and 40c by using various methods, and specific embodiments thereof have been described above.
  • the display objects 530a, 530b, and 530c may display various augmented reality information such as name, device product number, price, and manufacturer of each device. It may include.
  • the display objects 530a, 530b, and 530c may be interfaces such as icons for calling augmented reality information of the corresponding real objects 40a, 40b, and 40c.
  • the digital device 300 may display the display objects 530a, 530b, and 530c in an area corresponding to the positions of the corresponding real objects 40a, 40b, and 40c.
  • FIG. 16 illustrates a state in which the digital device 300 of FIG. 15 is moved to the left.
  • the positions of the real objects 40a, 40b, and 40c with respect to the digital device 300 are moved to the right.
  • the positions of the real objects 40b and 40c appearing on the display unit 320 of the digital device 300 are moved to the right, and the real object 40a leaves the display area of the display unit 320.
  • the digital device may move the display positions of the display objects 530a, 530b, and 530c together. That is, the digital device 300 may move the display positions of the display objects 530b and 530c corresponding to the real objects 40b and 40c to the right, and may not display the display object 530a corresponding to the real object 40a.
  • FIGS. 17 to 19 illustrate that the digital device 300 provides display objects 530a, 530b, and 530c according to an embodiment of the present invention. 17 to 19, parts that are the same as or correspond to those of FIGS. 15 and 16 will not be described in detail.
  • the digital device 300 of the present invention may sense a proximity touch 12 of a user with respect to the display unit 320.
  • the digital device 300 may sense the proximity touch 12 using a proximity sensor included in the display unit 320 or a separate proximity sensor.
  • the digital device may fix the display position of at least one of the display objects 530a, 530b, and 530c on the display unit 320.
  • the digital device 300 may fix the display positions of all the display objects 530a, 530b, and 530c in response to the proximity touch 12 of the user. As shown in FIG. 18, even though the positions of the respective real objects 40a, 40b, and 40c appearing on the display unit 320 of the digital device 300 have been moved, the digital device 300 is not limited to all display objects ( The display positions of the 530a, 530b, and 530c may be maintained the same as before the proximity touch 12 is made. The digital device 300 may fix the display position of the display objects 530a, 530b, and 530c when the time when the proximity touch 12 of the user is sensed continues for a predetermined time or more.
  • the digital device 300 may further obtain a sensing position of the proximity touch 12 on the display unit 320, and display the sensing position of the proximity touch 12 when the sensing position of the proximity touch 12 continues for a preset time or more.
  • the display position of the objects 530a, 530b, and 530c may be fixed.
  • the digital device 300 may acquire the sensing position of the proximity touch 12 of the user and fix the display position of the display object 530c in the area corresponding to the sensing position.
  • the digital device 300 may set an area within a predetermined range from the position where the proximity touch 12 is sensed on the display unit 320 and fix the display position of the display object within the area.
  • the digital device 300 fixes the display position of the display object 530c located within the area.
  • the digital device 300 may display display objects 530a and 530b which are not located in the area at positions corresponding to the real objects 40a and 40b, respectively.
  • the digital device 300 may move the display position of the display object 530b corresponding to the real object 40b to the right and may not display the display object 530a corresponding to the real object 40a.
  • the digital device 300 checks the time when the proximity touch 12 of the user is sensed, and displays the display of the display object 530c when the sensing of the proximity touch 12 continues for a predetermined time or more. The position can be fixed.
  • the digital device 300 may fix the display positions of the display objects 530a, 530b, and 530c in association with the eyes of the user.
  • the digital device 300 may detect the gaze of the user using the camera unit 330, and when the gaze of the detected user faces the display unit 320, at least one of the display objects 530a, 530b, and 530c.
  • One display position can be fixed.
  • the digital device 300 may not fix the display position of the display objects 530a, 530b, and 530c even when the proximity touch 12 of the user is sensed. have.
  • 20 to 21 illustrate a method of providing display objects 532a and 532b in a vehicle window according to an embodiment of the present invention. 20 to 21, the same or corresponding parts as those of FIGS. 15 to 19 will be omitted.
  • a window of an automobile may include a display unit 320 displaying an image.
  • the display unit 320 may be a transparent display, and may transmit an image outside the window to the occupant through see-through.
  • the vehicle may detect at least one real object 42a or 42b and display the display objects 532a and 532b corresponding to the display unit 320.
  • the detectable real object may include not only a device but also various kinds of buildings, sculptures, place names, and the like.
  • the display unit 320 detects a proximity touch 12 of the user with respect to the display object 532a and fixes the display position of the display object 532a.
  • the display position of the display object 532a in the area where the user's proximity touch 12 is sensed is fixed. If the display position of the display object is not fixed, selection of the display object corresponding to the moving real object may be difficult. According to the exemplary embodiment of the present invention, when the proximity touch 12 of the user is sensed, the display position of the display object 532a is fixed, so that the user can easily touch the display object 532a.
  • the HMD described in the present invention can be changed and replaced with various devices according to the purpose of the present invention.
  • the HMD of the present invention includes various devices capable of providing a display by being worn by a user, such as eye mounted display (EMD), eyeglass, eyepiece, eye wear, HWD (Head Worn Display), and used in the present invention. It is not limited to the said term.
  • the digital device includes a display unit, such as a TV, a computer, a laptop, a mobile phone, a portable device, a vehicle window, etc., and includes various kinds of devices capable of outputting content to the display unit.
  • the present invention may be applied, in whole or in part, to various digital devices including HMDs.

Abstract

본 발명은 유저의 상황에 따라 디지털 디바이스 또는 HMD 상의 증강현실 정보를 적응적으로 제공하는 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법에 관한 것이다. 이를 위해 본 발명은, 디지털 디바이스의 작동을 제어하는 프로세서; 상기 프로세서의 명령에 기초하여 이미지를 출력하는 디스플레이 유닛; 및 상기 디스플레이 유닛에 대한 유저의 근접 터치를 센싱 하는 센서 유닛을 포함하되, 상기 프로세서는, 적어도 하나의 리얼 오브젝트를 디텍트 하고, 상기 디텍트 된 리얼 오브젝트에 대응하는 디스플레이 오브젝트를 획득하고, 상기 디스플레이 오브젝트를 상기 디스플레이 유닛에 디스플레이 하되, 상기 디스플레이 오브젝트는 상기 리얼 오브젝트에 대응하는 위치에 디스플레이 되며, 상기 디스플레이 유닛에 대한 유저의 근접 터치를 센싱 하고, 상기 유저의 근접 터치에 대응하여, 상기 디스플레이 오브젝트 중 적어도 하나의 디스플레이 위치를 고정하는 것을 특징으로 하는 디지털 디바이스를 제공한다.

Description

[규칙 제26조에 의한 보정 21.06.2013]　디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법
본 발명은 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법에 관한 것으로, 더욱 상세하게는 유저의 상황에 따라 디지털 디바이스 또는 HMD 상의 증강현실 정보를 적응적으로 제공하는 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법에 관한 것이다.
증강현실이란 현실의 이미지나 배경에 버츄얼 정보를 겹쳐서 함께 보여주는 기술이다. 객체, 배경 및 환경 등이 모두 가상의 이미지로 이루어진 가상현실 기술과는 달리, 증강현실 기술은 실제 환경에 가상의 객체를 혼합하여 사용자가 실제 환경에서 보다 실감나는 부가 정보를 제공받을 수 있도록 한다. 예를 들면, 유저가 길을 가다가 디지털 디바이스의 카메라로 주변을 비추게 되면, 카메라에 수집되는 영상에 포함된 건물의 정보, 도로 정보 등을 함께 제공 받을 수 있다. 이러한 증강현실 기술은 최근 포터블 디바이스의 보급이 확산되면서 더욱 주목 받고 있다.
또한, 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 헤드 마운트 디스플레이(HMD) 또한 널리 사용되고 있다. HMD란 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합 되어 유저에게 각종 편의를 제공할 수 있다.
본 발명은 유저의 상황을 인식하여 적응적으로 증강현실 정보를 제공하기 위한 목적을 가지고 있다.
특히, 본 발명은 디지털 디바이스에 대한 리얼 오브젝트의 상대적인 위치가 변화하더라도, 유저가 해당 리얼 오브젝트에 대응하는 디스플레이 오브젝트(예를 들면, 증강현실 정보)를 디지털 디바이스를 통해 용이하게 선택할 수 있도록 하기 위한 목적을 가지고 있다.
또한, 본 발명은 HMD를 착용한 유저에게 더 나은 상황 인식 서비스를 제공하기 위한 목적을 가지고 있다. 즉, 본 발명은 HMD를 착용한 유저에게 편리한 커맨드 인터페이스를 제공하기 위한 목적을 가지고 있다.
또한, 본 발명은 HMD를 통해 제공되는 증강현실 정보를 적응적으로 조절하기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명의 실시예에 따른 디지털 디바이스를 이용한 콘텐츠 제공 방법은, 적어도 하나의 리얼 오브젝트를 디텍트 하는 단계; 상기 디텍트 된 리얼 오브젝트에 대응하는 디스플레이 오브젝트를 획득하는 단계; 상기 디스플레이 오브젝트를 디스플레이 유닛에 디스플레이 하는 단계, 상기 디스플레이 오브젝트는 상기 리얼 오브젝트에 대응하는 위치에 디스플레이 됨; 상기 디스플레이 유닛에 대한 유저의 근접 터치를 센싱 하는 단계; 상기 유저의 근접 터치에 대응하여, 상기 디스플레이 오브젝트 중 적어도 하나의 디스플레이 위치를 고정하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(HMD)를 이용한 유저 인터페이스 제공 방법은, 상기 HMD를 착용한 유저의 시선을 디텍트 하는 단계; 상기 유저의 보이스를 수신하는 단계; 상기 디텍트 된 유저의 시선이 기 설정된 영역에 향할 경우, 상기 수신된 보이스에서 상기 HMD에 대한 보이스 커맨드를 획득하는 단계; 상기 보이스 커맨드에 대응한 동작을 수행하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법은, 적어도 하나의 오브젝트를 디텍트 하는 단계; 상기 디텍트 된 오브젝트의 증강현실 정보를 획득하는 단계; 상기 HMD에 대한 상기 오브젝트의 위치 정보를 획득하는 단계; 상기 HMD를 착용한 유저의 시선을 디텍트 하는 단계; 및 상기 디텍트 된 유저의 시선이 상기 디텍트 된 오브젝트의 위치를 향하는지 여부에 기초하여 상기 오브젝트의 증강현실 정보를 제공하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 디지털 디바이스의 유저에게 적응적으로 디스플레이 오브젝트(예를 들면, 증강현실 정보)를 제공할 수 있다.
또한, 본 발명에 따른 디지털 디바이스는 디스플레이 오브젝트(예를 들면, 증강현실 정보)를 선택하려는 유저의 상황을 인식하고, 이에 대응하여 해당 디스플레이 오브젝트의 디스플레이 위치를 고정함으로, 유저가 편리하게 디스플레이 오브젝트를 선택할 수 있게 한다.
본 발명은 리얼 오브젝트가 실시간으로 이동하는 상황에서 디지털 디바이스를 통해 증강현실 정보를 제공하는 방법으로 유용하게 사용될 수 있다.
또한, 본 발명은 움직이는 디지털 디바이스(예를 들면, 자동차 등)에서 증강현실 정보를 제공하는 방법으로 유용하게 사용될 수 있다.
본 발명의 실시예에 따르면, HMD를 착용한 유저에게 편리한 커맨드 인터페이스를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 유저의 보이스가 HMD에 대한 보이스 커맨드인지 아니면 상대방과의 대화인지 여부를 분별하여, 스마트한 상황 인식 서비스를 제공할 수 있다.
또한 본 발명의 다른 실시예에 따르면, 다양한 오브젝트들에 대한 증강현실 정보가 혼재해 있는 상황에서, 유저가 원하는 오브젝트의 증강현실 정보만을 추출하여 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 HMD를 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 HMD를 나타낸 개략도.
도 3은 본 발명의 다른 실시예에 따른 HMD를 나타낸 개략도.
도 4는 본 발명의 실시예에 따른 유저 인터페이스 제공 방법을 나타낸 순서도.
도 5 및 도 6은 본 발명의 HMD가 유저의 시선이 기 설정된 영역에 향하는지 여부를 판별하는 일 실시예를 나타낸 도면.
도 7은 본 발명의 HMD가 유저의 시선이 기 설정된 영역에 향하는지 여부를 판별하는 다른 실시예를 나타낸 도면.
도 8은 본 발명의 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도.
도 9는 본 발명의 HMD가 오브젝트의 증강현실 정보를 제공하는 모습을 나타낸 도면.
도 10은 유저의 시선에 기초하여 오브젝트의 증강현실 정보를 제공하는 일 실시예를 나타낸 도면.
도 11은 유저의 시선에 기초하여 오브젝트의 증강현실 정보를 제공하는 다른 실시예를 나타낸 도면.
도 12는 본 발명의 다른 실시예에 따른 콘텐츠 제공 방법을 나타낸 도면.
도 13은 본 발명의 실시예에 따른 디지털 디바이스를 나타낸 블록도.
도 14는 본 발명의 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도.
도 15 및 도 16은 디지털 디바이스가 리얼 오브젝트에 대응하는 디스플레이 오브젝트를 제공하는 모습을 나타낸 도면.
도 17 내지 도 19는 디지털 디바이스가 본 발명의 실시예에 따라 디스플레이 오브젝트를 제공하는 모습을 나타낸 도면.
도 20 내지 도 21은 본 발명의 일 실시예에 따라 자동차 윈도우에서 디스플레이 오브젝트를 제공하는 방법을 나타낸 도면.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 실시예에 따른 HMD(100)를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 HMD(100)는 프로세서(110), 디스플레이 유닛(120), 카메라 유닛(130), 커뮤니케이션 유닛(140), 센서 유닛(150) 및 스토리지 유닛(160)을 포함할 수 있다.
먼저, 디스플레이 유닛(120)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(120)은 프로세서(110)에서 실행되는 콘텐츠를 출력하거나, 프로세서(110)의 제어 명령에 기초하여 이미지를 출력한다. 또한, 본 발명의 실시예에 따르면 디스플레이 유닛(120)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(120)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)가 실행중인 콘텐츠를 디스플레이 할 수 있다. 이때, HMD(100)는 커뮤니케이션 유닛(140)을 통해 상기 외부 디지털 디바이스(200)로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 이미지를 출력할 수 있다.
다음으로, 카메라 유닛(130)은 이미지를 센싱하고, 센싱된 이미지를 상기 프로세서(110)에 전달한다. 본 발명의 실시예에 따르면, 상기 카메라 유닛(130)은 전방 카메라 유닛(미도시)과 아이 트래킹(eye tracking) 카메라 유닛(미도시)을 포함할 수 있다. 상기 전방 카메라 유닛은 HMD의 전방 방향의 이미지를 디텍트하여 프로세서에 제공할 수 있다. 또한 상기 아이 트래킹 카메라 유닛은 HMD(100)를 착용한 유저의 동공 위치를 디텍트하여 해당 유저의 시선을 트래킹 할 수 있다. 본 발명의 실시예에서 상기 카메라 유닛(130)은 일반적인 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 모듈뿐만 아니라 뎁스 카메라 모듈, 적외선 카메라 모듈 등 다양한 종류의 촬상 장치를 포함한다.
다음으로, 커뮤니케이션 유닛(140)은 외부 디지털 디바이스(200) 또는 서버와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 본 발명에서 커뮤니케이션 유닛(140)은 네트워크를 통해 서버 또는 클라우드에 접속할 수 있으며, 디지털 데이터, 예를 들면 콘텐츠를 송/수신할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 HMD(100)는 커뮤니케이션 유닛(140)을 이용하여 외부 디지털 디바이스(200)와 커넥팅을 수행할 수 있다. 이때, HMD(100)는 상기 커넥팅 된 외부 디지털 디바이스(200)가 실행중인 콘텐츠의 디스플레이 출력 정보를 실시간으로 수신하고, 수신된 정보를 이용하여 디스플레이 유닛(120)에 이미지를 출력할 수 있다.
센서 유닛(150)은 HMD(100)에 장착된 적어도 하나의 센서를 사용하여 유저 인풋 또는 상기 HMD(100)가 인식하는 환경을 프로세서(110)로 전달할 수 있다. 이때, 상기 센서 유닛(150)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 조도 센서, 근접 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, 마이크로폰, 마이크 어레이, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(150)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
다음으로, 스토리지 유닛(160)은, 비디오, 오디오, 사진, 문서, 애플리케이션 등 다양한 콘텐츠를 포함하는 디지털 데이터를 저장할 수 있다. 스토리지 유닛(150)은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 매체를 포함한다. 또한, 스토리지 유닛(150)은 커뮤니케이션 유닛(140)이 외부 디지털 디바이스(200) 또는 서버로부터 수신한 콘텐츠를 저장할 수 있다.
본 발명의 프로세서(110)는 HMD(100) 자체의 콘텐츠 또는 데이터 통신을 통해 수신된 콘텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(110)는 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.
도 1에 도시된 HMD(100)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 2는 본 발명의 일 실시예에 따른 HMD(100)를 나타낸 개략도이다. 본 발명의 실시예에 따른 HMD(100)는 디스플레이 유닛(120) 및 카메라 유닛(130)을 구비한다.
상기 디스플레이 유닛(120)은 HMD(100)의 프로세서(미도시)의 제어 명령에 기초하여 이미지를 디스플레이 한다. 본 발명의 실시예에서 디스플레이 유닛(120)은 디스플레이 스크린을 구비하여, 상기 디스플레이 스크린에 이미지가 맺히도록 할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 디스플레이 유닛(120)은 별도의 디스플레이 스크린을 구비하지 않고, HMD(100)의 전방 방향의 특정 위치에 이미지를 투영할 수 있다.
본 발명의 일 실시예에 따르면, 상기 디스플레이 유닛(120)은 제 1 디스플레이 유닛(120a) 및 제 2 디스플레이 유닛(120b)을 포함할 수 있다. 본 발명의 실시예에서 상기 제 1 디스플레이 유닛(120a)은 HMD(100)를 착용한 유저의 좌측 눈을 위한 영상을 디스플레이 하며, 제 2 디스플레이 유닛(120b)은 상기 유저의 우측 눈을 위한 영상을 디스플레이 한다. 본 발명의 실시예에 따르면, HMD(100)는 디스플레이 유닛(120)에 디스플레이 하기 위한 소스 영상을 각각 좌안 영상 및 우안 영상으로 분리할 수 있다. 이때, 상기 분리된 좌안 영상 및 우안 영상은 각각 상기 제 1 디스플레이 유닛(120a) 및 제 2 디스플레이 유닛(120b)에 디스플레이 될 수 있다.
또한, 카메라 유닛(130)은 이미지를 센싱하고, 센싱된 이미지를 상기 프로세서에 전달한다. 상기 카메라 유닛(130)은 전술한 바와 같이 전방 카메라 유닛과 아이 트래킹 카메라 유닛 중 적어도 하나를 포함할 수 있다. 상기 카메라 유닛(130)은 기 설정된 범위의 시야(field of view) 영역을 가질 수 있다. 즉, 카메라 유닛(130)은 상기 시야 영역 내의 이미지를 획득하고, 획득된 이미지를 프로세서에 전달한다.
도 3은 본 발명의 다른 실시예에 따른 HMD(100) 및 이와 커넥팅 된 외부 디지털 디바이스(200)를 나타내고 있다. 도 3의 실시예에서 HMD(100)는 적어도 하나의 외부 디지털 디바이스(200)와 커넥팅 되고, 커넥팅 된 외부 디지털 디바이스(200)의 제어 명령에 기초하여 동작할 수 있다. 상기 HMD(100)와 외부 디지털 디바이스(200) 간의 커넥팅을 위해 별도의 페어링 또는 통신 접속이 수행될 수 있으며, 이러한 페어링 또는 통신 접속 작업은 HMD(100) 또는 외부 디지털 디바이스(200)에 대한 유저 입력에 의해 수행될 수 있다. 예를 들어, HMD(100)는 외부 디지털 디바이스(200)와의 페어링 또는 통신 접속을 위한 별도의 버튼 또는 유저 인터페이스를 제공할 수 있으며, 상기 버튼 또는 유저 인터페이스에 대한 유저 입력을 수신하여 HMD(100)와 외부 디지털 디바이스(200) 간의 페어링 또는 통신 접속을 수행할 수 있다.
상기 외부 디지털 디바이스(200)는 HMD(100)를 제어할 수 있는 다양한 종류의 디지털 디바이스를 포함한다. 예를 들어, 외부 디지털 디바이스(200)는 스마트폰, PC, PDA(Personal Digital Assistant), 노트북, 태블릿 피씨, 미디어 플레이어 등을 포함하며, 이 외에도 HMD의 동작을 제어할 수 있는 다양한 종류의 디지털 디바이스를 포함한다. HMD(100)는 다양한 유/무선 통신 수단을 이용하여 외부 디지털 디바이스(200)와 데이터를 송/수신 한다. 이때, 사용 가능한 무선 통신 수단으로는 NFC(Near Field Communication), Zigbee, 적외선 통신, 블루투스, 와이파이 등이 있으며, 본 발명은 이에 한정하지 않는다. 본 발명에서 HMD(100)는 앞서 열거된 통신 수단 중 어느 하나, 또는 이들 간의 조합을 이용하여 외부 디지털 디바이스(200)와 커넥팅 되어 통신을 수행할 수 있다.
도 4는 본 발명의 실시예에 따른 유저 인터페이스 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 4의 각 단계는 본 발명의 HMD(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 HMD(100)의 프로세서(110)가 도 4의 각 단계를 제어할 수 있다. 한편, 도 3의 실시예와 같이 HMD(100)가 외부 디지털 디바이스(200)에 의해 제어될 경우, 해당 외부 디지털 디바이스(200)의 제어 명령에 기초하여 HMD(100)가 도 4의 각 단계를 수행할 수 있다.
먼저, 본 발명의 HMD는 HMD를 착용한 유저의 시선을 디텍트한다(S410). 본 발명의 HMD는 구비된 아이 트래킹 카메라 유닛을 이용하여 유저의 시선을 디텍트 할 수 있다. 상기 아이 트래킹 카메라 유닛은 HMD를 착용한 유저의 동공 위치를 디텍트하여 해당 유저의 시선을 트래킹 할 수 있다.
다음으로, 본 발명의 HMD는 유저의 보이스를 수신한다(S420). 본 발명의 실시예에 따르면, HMD의 센서 유닛은 마이크로폰 또는 마이크 어레이를 포함할 수 있다. HMD는 구비된 마이크로폰 또는 마이크 어레이를 이용하여 유저의 보이스를 수신할 수 있다.
다음으로, 본 발명의 HMD는 디텍트 된 유저의 시선이 기 설정된 영역에 향하는지 여부를 판별한다(S430). 본 발명의 일 실시예에 따르면, 상기 기 설정된 영역은 HMD의 보이스 커맨드(voice command) 모드를 실행하기 위한 커맨드 인터페이스가 디스플레이 되는 영역이 될 수 있다. 또한 본 발명의 다른 실시예에 따르면, 상기 기 설정된 영역은 유저와 대화중인 화자가 위치하는 영역을 제외한 영역이 될 수 있다. 이때, 상기 화자가 위치하는 영역은 HMD의 전방 카메라 유닛을 통해 획득된 이미지를 이용하여 디텍트 할 수 있다. 또는, 상기 화자가 위치하는 영역은 HMD의 마이크 어레이가 수신한 음성 신호를 이용하여 디텍트 할 수 있다. 본 발명의 다른 실시예에 따르면, HMD는 전방 카메라 유닛을 통해 획득된 이미지와 마이크 어레이가 수신한 음성 신호를 함께 이용하여 화자가 위치하는 영역을 디텍트 할 수 있다.
만약, 상기 S430 단계에서 유저의 시선이 기 설정된 영역에 향하는 것으로 판별될 경우, 본 발명의 HMD는 수신된 보이스에서 HMD에 대한 보이스 커맨드를 획득한다(S440). 먼저, 본 발명의 HMD는 상기 S420 단계에서 수신된 보이스가 HMD를 착용한 유저의 보이스인지 여부를 판별할 수 있다. 이를 위해, HMD는 수신된 보이스의 특성을 기 설정된 유저의 보이스 특성과 비교할 수 있다. 즉, HMD는 수신된 보이스를 필터링 하여 유저의 보이스만을 획득할 수 있다. 다음으로, 본 발명의 HMD는 상기 필터링 된 보이스 중에서 기 설정된 커맨드에 해당하는 보이스만을 추출할 수 있다. 이를 위해 다양한 방법의 음성 인식 기술이 사용될 수 있다.
S440 단계에서 보이스 커맨드가 획득 되면, 본 발명의 실시예에 따른 HMD는 획득된 보이스 커맨드에 대응한 동작을 수행한다(S450). 이때, HMD는 획득된 보이스 커맨드에 대한 기 설정된 동작을 실행할 수 있다. 한편, 상기 S430 단계에서 유저의 시선이 기 설정된 영역에 향하지 않는 것으로 판별될 경우, HMD는 상기 수신된 보이스에 대한 별다른 동작을 수행하지 않는다.
도 5 및 도 6은 본 발명의 HMD(100)가 유저(10)의 시선(105)이 기 설정된 영역에 향하는지 여부를 판별하는 일 실시예를 나타내고 있다. 본 발명의 일 실시예에 따르면, 상기 기 설정된 영역은 유저(10)와 대화중인 화자(20)가 위치하는 영역을 제외한 영역이 될 수 있다. 본 발명의 실시예에서 화자(20)가 위치하는 영역이란, HMD(100)를 착용한 유저(10)의 시야에서 화자(20)의 상대적인 위치를 나타낸다. 만약, HMD(100)의 디스플레이 유닛(120)이 시스루(see-through) 타입일 경우, 화자(20)가 위치하는 영역은 해당 디스플레이 유닛(120) 상에 나타나는 화자(20)의 위치가 될 수 있다. HMD(100)를 착용한 유저(10)가 화자(20)와 대화를 수행할 경우, 유저(10)의 시선(105)은 화자(20)를 향할 수 있다. 따라서, 디텍트 된 유저(10)의 시선(105)이 화자(20)를 향할 경우, 수신된 유저(10)의 보이스는 HMD(100)에 대한 보이스 커맨드가 아닐 수 있다. 본 발명의 실시예예 따르면, HMD(100)는 다양한 수단을 이용하여 화자(20)가 위치하는 영역을 디텍트 할 수 있다.
먼저 도 5를 참조하면, HMD(100)는 구비된 마이크 어레이(미도시)가 수신한 음성 신호(25)를 이용하여 화자(20)가 위치하는 영역을 디텍트 할 수 있다. 이때, HMD(100)는 수신된 음성 신호(25)의 시간차 및 음압차 중 적어도 하나를 이용하여 상기 화자(20)가 위치하는 영역을 디텍트 할 수 있다.
다음으로 도 6을 참조하면, HMD(100)는 전방 카메라 유닛(미도시)이 획득한 이미지를 이용하여 화자(20)가 위치하는 영역을 디텍트 할 수 있다. 본 발명의 실시예에 따른 HMD(100)는 전방 카메라 유닛이 획득한 이미지에서 머리 검출 알고리즘을 통해 화자(20)를 디텍트 할 수 있다. 도 6의 실시예에 따르면, 디텍트 된 유저의 시선(105)이 화자(20)가 위치하는 영역을 향하지 않으므로, HMD(100)는 수신된 유저의 보이스에서 보이스 커맨드를 획득할 수 있다.
본 발명의 다른 실시예에 따르면, HMD(100)는 마이크 어레이와 전방 카메라 유닛을 모두 이용하여 화자(20)가 위치하는 영역을 디텍트 할 수 있다. 즉, HMD(100)는 전방 카메라 유닛이 획득한 이미지를 이용하여 화자(20)가 위치하는 영역의 후보군을 추출하고, 마이크 어레이가 수신한 음성 신호를 이용하여 상기 후보군 중 실제 화자(20)가 위치하는 영역을 디텍트 할 수 있다. 이와 같은 방법을 통해, HMD(100)는 화자(20) 위치 검출의 정확성을 높일 수 있다.
도 7은 HMD(100)가 유저(10)의 시선(105)이 기 설정된 영역에 향하는지 여부를 판별하는 다른 실시예를 나타내고 있다. 도 7의 실시예에 따르면, 상기 기 설정된 영역은 HMD(100)의 보이스 커맨드 모드를 실행하기 위한 커맨드 인터페이스(125)가 디스플레이 되는 영역을 포함할 수 있다. 본 발명의 실시예에 따르면, HMD(100)는 커맨드 인터페이스(125)를 다양한 형태로 디스플레이 유닛(120)에 디스플레이 할 수 있다. 디텍트 된 유저의 시선(105)이 상기 디스플레이 된 커맨드 인터페이스(125)에 향할 경우, HMD(100)는 커맨드 모드에 진입할 수 있다. 상기 커맨드 모드가 되면, HMD(100)는 수신된 유저의 보이스에서 보이스 커맨드를 획득한다.
이와 같이 본 발명의 실시예에 따른 HMD(100)는 디텍트 된 유저의 시선(105)을 기초로 하여 유저의 보이스에서 보이스 커맨드를 획득할지 여부를 결정한다. 따라서, 본 발명의 HMD(100)는 HMD(100)를 착용한 유저에게 편리한 커맨드 인터페이스를 제공할 수 있다. 특히, 본 발명의 실시예에 따른 HMD(100)는 유저의 보이스가 HMD(100)에 대한 보이스 커맨드인지 아니면 상대방과의 대화인지 여부를 분별하여, 스마트한 상황 인식 서비스를 제공할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 8의 각 단계는 본 발명의 HMD(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 HMD(100)의 프로세서(110)가 도 8의 각 단계를 제어할 수 있다. 한편, 도 3의 실시예와 같이 HMD(100)가 외부 디지털 디바이스(200)에 의해 제어될 경우, 해당 외부 디지털 디바이스(200)의 제어 명령에 기초하여 HMD(100)가 도 8의 각 단계를 수행할 수 있다.
먼저, 본 발명의 HMD는 적어도 하나의 오브젝트를 디텍트 한다(S810). 본 발명의 실시예에서 상기 오브젝트는 특정 건물, 도로, 지명, 디바이스 등 증강현실 정보를 갖는 다양한 형태의 오브젝트를 포함한다. 본 발명의 실시예에 따르면, HMD는 다양한 방법을 이용하여 오브젝트를 디텍트 할 수 있다. 만약 HMD가 LBS(Location Based Service) 기반의 증강현실 서비스를 제공할 경우, 상기 HMD는 GPS 센서의 센싱값 및 자이로 센서의 센싱값을 이용하여 오브젝트를 디텍트 할 수 있다. 또한 HMD가 마커 기반의 증강현실 서비스를 제공할 경우, 디텍트 된 마커에 기초하여 상기 오브젝트를 디텍트 할 수 있다. 본 발명의 실시예에서 마커는 상기 오브젝트를 나타내는 식별자로서, 바코드, QR 코드, 컬러 코드, 이미지 코드 등을 포함할 수 있다. 본 발명의 다른 실시예에 따르면, HMD는 구비된 전방 카메라 유닛이 획득한 이미지를 이용하여 오브젝트를 디텍트 할 수 있다. 본 발명의 또 다른 실시예에 따르면, HMD는 NFC(Near Field Communication) 또는 RFID(Radio Frequency Identification) 등의 태깅(tagging) 정보를 이용하여 상기 오브젝트를 디텍트 할 수 있다. 즉, 본 발명의 HMD가 상기 오브젝트에 근접하게 되면 NFC 또는 RFID 등의 수단을 이용하여 태깅이 이루어지며, HMD는 오브젝트가 디텍트 되었음을 식별할 수 있다.
다음으로, 본 발명의 HMD는 디텍트 된 오브젝트의 증강현실 정보를 수신한다(S820). HMD는 커뮤니케이션 유닛을 통해 상기 오브젝트의 증강현실 정보를 서버로부터 수신할 수 있다. 또는, HMD는 스토리지 유닛에 기 저장된 상기 오브젝트의 증강현실 정보를 획득할 수 있다. 본 발명의 실시예에 따르면, HMD는 해당 오브젝트의 제 1 증강현실 정보 및 제 2 증강현실 정보를 함께 수신할 수 있다. 이때, 상기 제 1 증강현실 정보는 제 2 증강현실 정보보다 더 많은 양의 정보를 포함한다. 이와 같이 HMD는 오브젝트에 대한 증강현실 정보를 스케일러블(scalable)하게 수신하고, 후술하는 바와 같이 유저의 시선에 기초하여 증강현실 정보를 다르게 제공할 수 있다.
다음으로, 본 발명의 HMD는 상기 HMD에 대한 오브젝트의 위치 정보를 획득한다(S830). 본 발명의 일 실시예에 따르면, HMD는 전방 카메라 유닛을 이용하여 오브젝트의 위치 정보를 획득할 수 있다. 즉, HMD는 전방 카메라 유닛을 이용하여 화각 영역 내에 위치한 오브젝트의 이미지를 디텍트하고, 디텍트 된 이미지를 이용하여 오브젝트의 위치 정보를 획득할 수 있다. 또한, HMD는 전방 카메라 유닛을 이용하여 오브젝트에 대응하는 마커를 디텍트하고, 디텍트 된 마커를 이용하여 상기 오브젝트의 위치 정보를 획득할 수 있다. 본 발명의 실시예에서 마커는 오브젝트를 나타내는 식별자로서, 바코드, QR 코드, 컬러 코드, 이미지 코드 등을 포함할 수 있음은 전술한 바와 같다.
본 발명의 다른 실시예에 따르면, HMD는 적어도 하나의 안테나를 이용하여 오브젝트의 위치 정보를 디텍트 할 수 있다. 예를 들어, HMD는 복수의 안테나를 구비하고, 상기 복수의 안테나를 통해 오브젝트와 데이터 송/수신을 수행할 수 있다. 이때, HMD는 상기 복수의 안테나에 각각 송/수신되는 신호의 시간차, 위상차 등을 이용하여 상기 오브젝트와 HMD 간의 상대적인 거리 및 방향을 디텍트 할 수 있다. 한편, 본 발명의 HMD는 지향성 안테나를 구비하고, 상기 지향성 안테나를 통해 송/수신되는 신호를 이용하여 오브젝트의 위치 정보를 디텍트 할 수도 있다.
다음으로, 본 발명의 HMD는 HMD를 착용한 유저의 시선을 디텍트한다(S840). 본 발명의 HMD는 아이 트래킹 카메라 유닛을 이용하여 유저의 시선을 디텍트 할 수 있다. 상기 아이 트래킹 카메라 유닛은 HMD를 착용한 유저의 동공 위치를 디텍트하여 해당 유저의 시선을 트래킹 할 수 있다.
다음으로, 본 발명의 HMD는 디텍트 된 유저의 시선이 오브젝트의 위치를 향하는지 여부를 판별한다(S850). 만약, 유저의 시선이 오브젝트의 위치를 향할 경우, 본 발명의 HMD는 해당 오브젝트의 제 1 증강현실 정보를 제공한다(S860). 그러나 유저의 시선이 오브젝트의 위치를 향하지 않을 경우, 본 발명의 HMD는 해당 오브젝트의 제 2 증강현실 정보를 제공할 수 있다(S862). 본 발명의 실시예에서 상기 제 1 증강현실 정보는 제 2 증강현실 정보보다 더 많은 양의 정보를 포함한다. 상기 제 1 증강현실 정보와 제 2 증강현실 정보는 전술한 S820 단계에서 HMD가 스케일러블 하게 수신한 정보일 수 있다. 또는, 상기 제 2 증강현실 정보는 제 1 증강현실 정보에서 추출된 일부 정보가 될 수 있다. 한편 본 발명의 다른 실시예에 따르면, 유저의 시선이 오브젝트의 위치를 향하지 않을 경우, 본 발명의 HMD는 해당 오브젝트의 증강현실 정보를 제공하지 않을 수 있다.
도 9는 HMD(100)가 오브젝트(40a, 40b, 40c)의 제 1 증강현실 정보(530a, 530b, 530c)를 제공하는 모습을 나타내고 있다. HMD(100)는 오브젝트(40a, 40b, 40c)를 디텍트 하고, 해당 오브젝트(40a, 40b, 40c)의 제 1 증강현실 정보(530a, 530b, 530c)를 획득할 수 있다. 도 9에 도시된 바와 같이 상기 오브젝트(40a, 40b, 40c)가 특정 디바이스일 경우, 제 1 증강현실 정보(530a, 530b, 530c)는 각 디바이스의 명칭, 디바이스 제품 번호, 가격, 제조사 등의 다양한 정보를 포함할 수 있다. HMD(100)는 상기 제 1 증강현실 정보(530a, 530b, 530c)를 디스플레이 유닛(120)에 디스플레이 할 수 있다. 이때, 상기 제 1 증강현실 정보(530a, 530b, 530c)는 해당 오브젝트(40a, 40b, 40c)의 위치에 대응하는 영역에 디스플레이 될 수 있다.
도 10은 본 발명의 HMD(100)가 디텍트 된 유저의 시선(105)에 기초하여 오브젝트(40a, 40b, 40c)의 증강현실 정보를 제공하는 일 실시예를 나타내고 있다. 본 발명의 실시예에 따르면, HMD(100)는 디텍트 된 유저의 시선(105)이 오브젝트의 위치를 향하는지 여부에 기초하여 해당 오브젝트의 증강현실 정보를 제공할 수 있다. 도 10을 참조하면, 디텍트 된 유저의 시선(105)이 오브젝트 40a를 향해 있다. HMD(100)는 오브젝트 40a에 대응하는 제 1 증강현실 정보(530a)를 디스플레이 유닛(120)으로 제공할 수 있다. 한편, HMD(100)는 유저의 시선(105)이 향하지 않은 오브젝트 40b 및 40c에 대해서는 각각 제 2 증강현실 정보(532b, 532c)를 제공할 수 있다. 이때, 제 2 증강현실 정보(532b, 532c)는 각각 도 9의 제 1 증강현실 정보(530b, 530c)에 비해 적은 양의 정보를 포함한다. 상기 제 2 증강현실 정보(532b, 532c)는 도 9의 제 1 증강현실 정보(530b, 530c)와 함께 스케일러블 하게 수신된 정보일 수 있다. 또는, 상기 제 2 증강현실 정보(532b, 532c)는 제 1 증강현실 정보(530b, 530c)에서 추출된 일부 정보가 될 수 있다.
도 11은 본 발명의 HMD(100)가 디텍트 된 유저의 시선(105)에 기초하여 오브젝트(40a, 40b, 40c)의 증강현실 정보를 제공하는 다른 실시예를 나타내고 있다. 도 11의 실시예에 따르면, HMD(100)는 유저의 시선(105)이 향하는 오브젝트 40a의 제 1 증강현실 정보(530a)를 제공하되, 유저의 시선(105)이 향하지 않는 오브젝트 40b 및 40c의 증강현실 정보는 제공하지 않을 수 있다.
이와 같이 본 발명의 실시예에 따른 HMD(100)는 유저의 시선(105)이 향하는 오브젝트에 대해서는 자세한 증강현실 정보를 제공하고, 유저의 시선(105)이 향하지 않는 오브젝트에 대해서는 축소된 증강현실 정보를 제공하거나 증강현실 정보를 제공하지 않을 수 있다. 따라서, 본 발명의 실시예에 따른 HMD(100)는 증강현실 정보의 오버플로우(overflow)를 방지할 수 있게 된다.
도 12는 본 발명의 또 다른 실시예를 나타내고 있다. 본 발명의 HMD(100)는 디텍트 된 유저의 시선(105)을 이용하여 다양한 응용 어플리케이션을 제공할 수 있다. 예를 들어, 도 12에 도시된 바와 같이 HMD(100)를 착용한 유저가 특정 화자(20)와 대화를 나누고 있을 경우, HMD(100)는 유저의 시선(105)이 화자(20)의 위치를 향해 있는지 여부를 디텍트 할 수 있다. 이때, 상기 화자(20)의 위치를 디텍트 하는 방법은 도 5 및 도 6을 참조로 상술한 바와 같다. 만약 유저의 시선(105)이 화자(20)의 위치를 향할 경우, HMD(100)는 대화 모드를 실행할 수 있다. 상기 대화 모드에서 HMD(100)는 오브젝트 40a, 40b, 40c의 증강현실 정보 제공을 최소화하고, 화자(20)의 대화 내용 또는 해당 대화 내용의 번역 콘텐츠 등을 증강현실 정보(550)로 제공할 수 있다.
지금까지 HMD(100)에 의해 수행되는 본 발명의 구체적인 동작들을 설명하였다. 다만, 본 발명의 실시예는 이에 한정하지 않으며, 도 3에서 설명한 바와 같이 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 제어에 의해 각 동작들이 수행되는 것을 포함한다.
도 13은 본 발명의 실시예에 따른 디지털 디바이스(300)를 나타낸 블록도이다.
도 13을 참조하면, 본 발명의 디지털 디바이스(300)는 프로세서(310), 디스플레이 유닛(320), 카메라 유닛(330), 커뮤니케이션 유닛(340), 센서 유닛(350) 및 스토리지 유닛(360)을 포함할 수 있다.
도 13에 도시된 디지털 디바이스(300)의 프로세서(310), 디스플레이 유닛(320), 카메라 유닛(330), 커뮤니케이션 유닛(340), 센서 유닛(350) 및 스토리지 유닛(360)은 각각 도 1에 도시된 HMD(100)의 프로세서(110), 디스플레이 유닛(120), 카메라 유닛(130), 커뮤니케이션 유닛(140), 센서 유닛(150) 및 스토리지 유닛(160)에 대응하는 구성이며, 각 구성의 중복되는 설명은 생략하도록 한다.
본 발명의 실시예에서, 디지털 디바이스(300)의 디스플레이 유닛(320)은 터치 센서를 포함하는 터치 센서티브 디스플레이가 될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 상기 디스플레이 유닛(320)은 근접 센서를 더 포함할 수 있으며, 디스플레이 유닛(320)에 대한 유저의 근접 터치를 센싱할 수 있다. 디스플레이 유닛(320)이 근접 센서를 포함할 경우, 디지털 디바이스(300)는 디스플레이 유닛(320) 상에서 근접 터치의 센싱 위치를 획득할 수 있다.
다음으로, 카메라 유닛(330)은 이미지를 센싱하고, 센싱된 이미지를 상기 프로세서(310)에 전달한다. 본 발명의 일 실시예에 따르면, 디지털 디바이스(300)는 상기 카메라 유닛(330)이 센싱한 이미지를 이용하여 적어도 하나의 리얼 오브젝트를 디텍트 할 수 있다. 이때, 디지털 디바이스(300)는 상기 센싱된 이미지를 분석하여 디지털 디바이스(300)에 대한 각 리얼 오브젝트의 상대적인 위치를 디텍트 할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 상기 카메라 유닛(330)은 디지털 디바이스(300)를 사용중인 유저의 시선을 디텍트 하기 위한 적어도 하나의 카메라를 더 구비할 수 있다.
도 13에 도시된 디지털 디바이스(300)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 14는 본 발명의 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 14의 각 단계는 본 발명의 디지털 디바이스(300)에 의해 수행될 수 있다. 즉, 도 13에 도시된 디지털 디바이스(300)의 프로세서(310)가 도 14의 각 단계를 제어할 수 있다.
먼저, 본 발명의 디지털 디바이스는 적어도 하나의 리얼 오브젝트를 디텍트 한다(S1410). 본 발명의 실시예에서 상기 리얼 오브젝트는 특정 건물, 도로, 지명, 디바이스 등 증강현실 정보를 갖는 다양한 형태의 오브젝트를 포함한다. 본 발명의 실시예에 따르면, 디지털 디바이스는 다양한 방법을 이용하여 리얼 오브젝트를 디텍트 할 수 있다. 만약 디지털 디바이스가 LBS(Location Based Service) 기반의 증강현실 서비스를 제공할 경우, 상기 디지털 디바이스는 GPS 센서의 센싱값 및 자이로 센서의 센싱값을 이용하여 리얼 오브젝트를 디텍트 할 수 있다. 또한 디지털 디바이스가 마커 기반의 증강현실 서비스를 제공할 경우, 디텍트 된 마커에 기초하여 상기 리얼 오브젝트를 디텍트 할 수 있다. 본 발명의 실시예에서 마커는 상기 리얼 오브젝트를 나타내는 식별자로서, 바코드, QR 코드, 컬러 코드, 이미지 코드 등을 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스는 구비된 카메라 유닛이 획득한 이미지를 이용하여 리얼 오브젝트를 디텍트 할 수 있다. 본 발명의 또 다른 실시예에 따르면, 디지털 디바이스는 NFC(Near Field Communication) 또는 RFID(Radio Frequency Identification) 등의 태깅(tagging) 정보를 이용하여 상기 리얼 오브젝트를 디텍트 할 수 있다. 즉, 본 발명의 디지털 디바이스가 상기 리얼 오브젝트에 근접하게 되면 NFC 또는 RFID 등의 수단을 이용하여 태깅이 이루어지며, 디지털 디바이스는 리얼 오브젝트가 디텍트 되었음을 식별할 수 있다.
다음으로, 본 발명의 디지털 디바이스는 디텍트 된 리얼 오브젝트에 대응하는 디스플레이 오브젝트를 획득한다(S1420). 본 발명의 실시예에 따르면, 상기 디스플레이 오브젝트는 리얼 오브젝트에 대응하는 증강현실 정보를 포함한다. 본 발명의 다른 실시예에 따르면, 상기 디스플레이 오브젝트는 리얼 오브젝트에 대응하는 증강현실 정보를 호출하기 위한 아이콘 등의 인터페이스를 포함한다. 만약 유저가 상기 인터페이스를 터치할 경우, 디지털 디바이스는 이에 대응하는 증강현실 정보를 디스플레이 할 수 있다. 본 발명의 디지털 디바이스는 커뮤니케이션 유닛을 통해 상기 리얼 오브젝트에 대응하는 디스플레이 오브젝트를 수신할 수 있다. 또는, 디지털 디바이스는 스토리지 유닛에 기 저장된 디스플레이 오브젝트를 획득할 수 있다.
다음으로, 본 발명의 디지털 디바이스는 디스플레이 오브젝트를 디스플레이 유닛에 디스플레이 한다(S1430). 이때, 상기 디지털 디바이스는 리얼 오브젝트에 대응하는 위치에 디스플레이 오브젝트를 디스플레이 할 수 있다. 본 발명의 실시예에 따르면, 디지털 디바이스는 리얼 오브젝트의 위치에 연동하여 디스플레이 오브젝트를 디스플레이 할 수 있다. 예를 들어, 디지털 디바이스의 디스플레이 유닛 상에 나타나는 리얼 오브젝트의 위치가 이동될 경우, 해당 리얼 오브젝트에 대응하는 디스플레이 오브젝트의 디스플레이 위치를 함께 이동 시킬 수 있다.
본 발명의 일 실시예에 따르면, 디지털 디바이스는 카메라 유닛을 이용하여 리얼 오브젝트의 위치 정보를 획득할 수 있다. 즉, 디지털 디바이스는 카메라 유닛을 이용하여 화각 영역 내에 위치한 리얼 오브젝트의 이미지를 디텍트하고, 디텍트 된 이미지를 이용하여 리얼 오브젝트의 위치 정보를 획득할 수 있다. 또한, 디지털 디바이스는 카메라 유닛을 이용하여 리얼 오브젝트에 대응하는 마커를 디텍트하고, 디텍트 된 마커를 이용하여 상기 리얼 오브젝트의 위치 정보를 획득할 수 있다. 본 발명의 실시예에서 마커는 리얼 오브젝트를 나타내는 식별자로서, 바코드, QR 코드, 컬러 코드, 이미지 코드 등을 포함할 수 있음은 전술한 바와 같다.
본 발명의 다른 실시예에 따르면, 디지털 디바이스는 적어도 하나의 안테나를 이용하여 리얼 오브젝트의 위치 정보를 디텍트 할 수 있다. 예를 들어, 디지털 디바이스는 복수의 안테나를 구비하고, 상기 복수의 안테나를 통해 리얼 오브젝트와 데이터 송/수신을 수행할 수 있다. 이때, 디지털 디바이스는 상기 복수의 안테나에 각각 송/수신되는 신호의 시간차, 위상차 등을 이용하여 상기 리얼 오브젝트와 디지털 디바이스 간의 상대적인 거리 및 방향을 디텍트 할 수 있다. 한편, 본 발명의 디지털 디바이스는 지향성 안테나를 구비하고, 상기 지향성 안테나를 통해 송/수신되는 신호를 이용하여 리얼 오브젝트의 위치 정보를 디텍트 할 수도 있다.
다음으로, 본 발명의 디지털 디바이스는 디스플레이 유닛에 대한 유저의 근접 터치를 센싱한다(S1440). 본 발명의 실시예에 따르면, 디지털 디바이스의 디스플레이 유닛은 근접 센서를 포함할 수 있으며, 유저의 근접 터치 및 디스플레이 유닛 상의 상기 근접 터치의 센싱 위치를 디텍트 할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 디지털 디바이스는 디스플레이 유닛과 분리된 별도의 근접 센서를 이용하여 유저의 근접 터치를 센싱할 수도 있다.
다음으로, 본 발명의 디지털 디바이스는 상기 유저의 근접 터치에 대응하여, 디스플레이 오브젝트 중 적어도 하나의 디스플레이 위치를 고정한다(S1450). 본 발명의 일 실시예에 따르면, 디지털 디바이스는 디스플레이 된 전체 디스플레이 오브젝트의 디스플레이 위치를 고정할 수 있다. 디지털 디바이스는 유저의 근접 터치가 센싱되는 시간을 체크하고, 근접 터치의 센싱이 기 설정된 시간 이상 지속될 경우 디스플레이 오브젝트의 디스플레이 위치를 고정할 수 있다. 또한, 디지털 디바이스는 디스플레이 유닛 상에서 근접 터치의 센싱 위치를 더 획득할 수 있으며, 근접 터치의 센싱 위치가 기 설정된 범위 내에서 기 설정된 시간 이상 지속될 경우 디스플레이 오브젝트의 디스플레이 위치를 고정할 수 있다.
본 발명의 다른 실시예에 따르면, 디지털 디바이스는 디스플레이 유닛 상에서 근접 터치의 센싱 위치를 획득하고, 센싱 위치에 대응하는 영역 내의 디스플레이 오브젝트의 디스플레이 위치를 고정할 수 있다. 이에 따라, 디지털 디바이스는 유저가 터치하고자 하는 디스플레이 오브젝트를 식별할 수 있으며, 해당 디스플레이 오브젝트의 디스플레이 위치만을 선택적으로 고정할 수 있다. 또한, 전술한 바와 같이 디지털 디바이스는 유저의 근접 터치가 센싱되는 시간을 체크하고, 근접 터치의 센싱이 기 설정된 시간 이상 지속될 경우 디스플레이 오브젝트의 디스플레이 위치를 고정할 수 있다.
본 발명의 또 다른 실시예에 따르면, 디지털 디바이스는 유저의 시선에 연동하여 디스플레이 오브젝트의 디스플레이 위치를 고정할 수 있다. 디지털 디바이스는 카메라 유닛을 이용하여 유저의 시선을 디텍트 할 수 있으며, 디텍트 된 유저의 시선이 디스플레이 유닛을 향할 경우 디스플레이 오브젝트의 디스플레이 위치를 고정할 수 있다. 디텍트 된 유저의 시선이 디스플레이 유닛을 향하지 않을 경우, 디지털 디바이스는 유저의 근접 터치가 센싱 되더라도 디스플레이 오브젝트의 디스플레이 위치를 고정하지 않을 수 있다.
도 15 및 도 16은 디지털 디바이스(300)가 리얼 오브젝트(40a, 40b, 40c)에 대응하는 디스플레이 오브젝트(530a, 530b, 530c)를 제공하는 모습을 나타내고 있다.
먼저 도 15를 참조하면, 디지털 디바이스(300)는 적어도 하나의 리얼 오브젝트(40a, 40b, 40c)를 디텍트 하고, 이에 대응하는 디스플레이 오브젝트(530a, 530b, 530c)를 디스플레이 유닛(320)에 디스플레이 할 수 있다. 디지털 디바이스는 다양한 방법을 이용하여 리얼 오브젝트(40a, 40b, 40c)를 디텍트 할 수 있으며, 이에 대한 구체적인 실시예는 전술한 바와 같다. 도 15에 도시된 바와 같이 리얼 오브젝트(40a, 40b, 40c)가 특정 디바이스일 경우, 디스플레이 오브젝트(530a, 530b, 530c)는 각 디바이스의 명칭, 디바이스 제품 번호, 가격, 제조사 등의 다양한 증강현실 정보를 포함할 수 있다. 또한 본 발명의 다른 실시예에 따르면, 상기 디스플레이 오브젝트(530a, 530b, 530c)는 해당 리얼 오브젝트(40a, 40b, 40c)의 증강현실 정보를 호출하기 위한 아이콘 등의 인터페이스가 될 수 있다. 도 15에 도시된 바와 같이, 디지털 디바이스(300)는 디스플레이 오브젝트(530a, 530b, 530c)를 해당 리얼 오브젝트(40a, 40b, 40c)의 위치에 대응하는 영역에 디스플레이 할 수 있다.
도 16은 도 15의 디지털 디바이스(300)가 좌측으로 이동한 모습을 나타내고 있다. 디지털 디바이스(300)가 좌측으로 이동하면, 디지털 디바이스(300)에 대한 리얼 오브젝트(40a, 40b, 40c)의 위치는 우측으로 이동된다. 도 16의 실시예에서, 디지털 디바이스(300)의 디스플레이 유닛(320) 상에 나타나는 리얼 오브젝트 40b 및 40c의 위치는 우측으로 이동되며, 리얼 오브젝트 40a는 디스플레이 유닛(320)의 디스플레이 영역을 벗어나게 된다. 이와 같이 각 리얼 오브젝트(40a, 40b, 40c)의 위치가 이동되면, 디지털 디바이스는 디스플레이 오브젝트(530a, 530b, 530c)의 디스플레이 위치를 함께 이동 시킬 수 있다. 즉, 디지털 디바이스(300)는 리얼 오브젝트 40b 및 40c에 각각 대응하는 디스플레이 오브젝트 530b 및 530c의 디스플레이 위치를 우측으로 이동하고, 리얼 오브젝트 40a에 대응하는 디스플레이 오브젝트 530a를 디스플레이 하지 않을 수 있다.
다음으로, 도 17 내지 도 19는 디지털 디바이스(300)가 본 발명의 실시예에 따라 디스플레이 오브젝트(530a, 530b, 530c)를 제공하는 모습을 나타내고 있다. 도 17 내지 도 19의 실시예에서, 도 15 및 도 16의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
도 17를 참조하면, 본 발명의 디지털 디바이스(300)는 디스플레이 유닛(320)에 대한 유저의 근접 터치(12)를 센싱할 수 있다. 디지털 디바이스(300)는 디스플레이 유닛(320)에 포함된 근접 센서 또는 별도로 구비된 근접 센서를 이용하여 근접 터치(12)를 센싱할 수 있다. 유저의 근접 터치(12)가 센싱되면, 디지털 디바이스는 디스플레이 유닛(320) 상의 디스플레이 오브젝트(530a, 530b, 530c) 중 적어도 하나의 디스플레이 위치를 고정할 수 있다.
도 18을 참조하면, 디지털 디바이스(300)는 유저의 근접 터치(12)에 대응하여, 모든 디스플레이 오브젝트(530a, 530b, 530c)의 디스플레이 위치를 고정할 수 있다. 도 18에 도시된 바와 같이, 디지털 디바이스(300)의 디스플레이 유닛(320) 상에 나타나는 각 리얼 오브젝트(40a, 40b, 40c)의 위치가 이동되었음에도 불구하고, 디지털 디바이스(300)는 모든 디스플레이 오브젝트(530a, 530b, 530c)의 디스플레이 위치를 근접 터치(12)가 이루어지기 전과 동일하게 유지할 수 있다. 한편, 디지털 디바이스(300)는 유저의 근접 터치(12)가 센싱되는 시간이 기 설정된 시간 이상 지속될 경우, 상기 디스플레이 오브젝트(530a, 530b, 530c)의 디스플레이 위치를 고정할 수 있다. 또한, 디지털 디바이스(300)는 디스플레이 유닛(320) 상에서 근접 터치(12)의 센싱 위치를 더 획득할 수 있으며, 근접 터치(12)의 센싱 위치가 기 설정된 범위 내에서 기 설정된 시간 이상 지속될 경우 디스플레이 오브젝트(530a, 530b, 530c)의 디스플레이 위치를 고정할 수 있다.
다음으로 도 19를 참조하면, 디지털 디바이스(300)는 유저의 근접 터치(12)의 센싱 위치를 획득하고, 센싱 위치에 대응하는 영역 내의 디스플레이 오브젝트(530c)의 디스플레이 위치를 고정할 수 있다. 디지털 디바이스(300)는 디스플레이 유닛(320) 상에서 근접 터치(12)가 센싱된 위치로부터 일정 범위 이내의 영역을 설정하고, 해당 영역 내에 있는 디스플레이 오브젝트의 디스플레이 위치를 고정할 수 있다. 도 19의 실시예에서, 디지털 디바이스(300)는 상기 영역 내에 위치한 디스플레이 오브젝트 530c의 디스플레이 위치를 고정시킨다. 반면에, 디지털 디바이스(300)는 상기 영역 내에 위치하지 않은 디스플레이 오브젝트 530a 및 530b는 각 리얼 오브젝트 40a 및 40b에 대응하는 위치에 디스플레이 할 수 있다. 따라서, 디지털 디바이스(300)는 리얼 오브젝트 40b에 대응하는 디스플레이 오브젝트 530b의 디스플레이 위치를 우측으로 이동시키고, 리얼 오브젝트 40a에 대응하는 디스플레이 오브젝트 530a를 디스플레이 하지 않을 수 있다. 본 발명의 실시예에 따르면, 디지털 디바이스(300)는 유저의 근접 터치(12)가 센싱되는 시간을 체크하고, 근접 터치(12)의 센싱이 기 설정된 시간 이상 지속될 경우 디스플레이 오브젝트(530c)의 디스플레이 위치를 고정할 수 있다.
한편 도 17 내지 도 19의 실시예에서, 디지털 디바이스(300)는 유저의 시선에 연동하여 디스플레이 오브젝트(530a, 530b, 530c)의 디스플레이 위치를 고정할 수 있다. 디지털 디바이스(300)는 카메라 유닛(330)을 이용하여 유저의 시선을 디텍트 할 수 있으며, 디텍트 된 유저의 시선이 디스플레이 유닛(320)을 향할 경우 디스플레이 오브젝트(530a, 530b, 530c) 중 적어도 하나의 디스플레이 위치를 고정할 수 있다. 디텍트 된 유저의 시선이 디스플레이 유닛(320)을 향하지 않을 경우, 디지털 디바이스(300)는 유저의 근접 터치(12)가 센싱 되더라도 디스플레이 오브젝트(530a, 530b, 530c)의 디스플레이 위치를 고정하지 않을 수 있다.
도 20 내지 도 21은 본 발명의 일 실시예에 따라 자동차 윈도우에서 디스플레이 오브젝트(532a, 532b)를 제공하는 방법을 나타낸 도면이다. 도 20 내지 도 21의 실시예에서, 도 15 내지 도 19의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
도 20을 참조하면, 자동차의 윈도우는 이미지를 디스플레이 하는 디스플레이 유닛(320)을 구비할 수 있다. 이때, 상기 디스플레이 유닛(320)은 투명 디스플레이가 될 수 있으며, 시스루(see-through)로 창 밖의 이미지를 탑승자에게 전달할 수 있다. 자동차는 적어도 하나의 리얼 오브젝트(42a, 42b)를 디텍트 하고, 이에 대응하는 디스플레이 오브젝트(532a, 532b)를 디스플레이 유닛(320)에 디스플레이 할 수 있다. 이때, 디텍트 가능한 리얼 오브젝트는 디바이스뿐만 아니라 다양한 종류의 건물, 조형물, 지명 등을 포함할 수 있다. 도 20의 실시예에서 디스플레이 유닛(320)은 디스플레이 오브젝트 532a에 대한 유저의 근접 터치(12)를 디텍트 하고, 해당 디스플레이 오브젝트 532a의 디스플레이 위치를 고정시킨다.
도 21에 도시된 바와 같이 자동차가 전진하게 되면, 디스플레이 유닛(320)에 나타나는 각 리얼 오브젝트(42a, 42b)의 위치는 뒤로 이동하게 된다. 그러나 유저의 근접 터치(12)가 센싱 된 영역 내의 디스플레이 오브젝트 532a는 디스플레이 위치가 고정 된다. 만약, 디스플레이 오브젝트의 디스플레이 위치가 고정되지 않았다면, 이동하는 리얼 오브젝트에 대응하는 디스플레이 오브젝트의 선택이 어려울 수 있다. 본 발명의 실시예에 따르면, 유저의 근접 터치(12)가 센싱 될 때, 디스플레이 오브젝트 532a의 디스플레이 위치가 고정됨으로, 유저는 디스플레이 오브젝트 532a를 용이하게 터치할 수 있게 된다.
본 발명에서 설명한 HMD는 본 발명의 목적에 따라 다양한 디바이스로 변경 및 대체 가능하다. 예를 들어, 본 발명의 HMD는 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스를 포함하며, 본 발명에서 사용된 용어에 한정되지 않는다. 또한, 본 발명에서 디지털 디바이스는 TV, 컴퓨터, 노트북, 핸드폰, 포터블 디바이스, 차량용 윈도우 등, 디스플레이 유닛을 구비하며 상기 디스플레이 유닛으로 콘텐츠를 출력할 수 있는 다양한 종류의 디바이스를 포함한다. 이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
전술한 바와 같이, 발명의 실시를 위한 최선의 형태에서 관련 사항을 기술하였다.
전술한 바와 같이, 본 발명은 HMD를 포함하는 다양한 디지털 디바이스에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (10)

  1. 디지털 디바이스를 이용한 콘텐츠 제공 방법으로써,
    적어도 하나의 리얼 오브젝트를 디텍트 하는 단계;
    상기 디텍트 된 리얼 오브젝트에 대응하는 디스플레이 오브젝트를 획득하는 단계;
    상기 디스플레이 오브젝트를 디스플레이 유닛에 디스플레이 하는 단계, 상기 디스플레이 오브젝트는 상기 리얼 오브젝트에 대응하는 위치에 디스플레이 됨;
    상기 디스플레이 유닛에 대한 유저의 근접 터치를 센싱 하는 단계;
    상기 유저의 근접 터치에 대응하여, 상기 디스플레이 오브젝트 중 적어도 하나의 디스플레이 위치를 고정하는 단계;
    를 포함하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  2. 제 1항에 있어서,
    상기 디스플레이 유닛 상에서 상기 근접 터치의 센싱 위치를 획득하는 단계를 더 포함하며,
    상기 고정하는 단계는, 상기 센싱 위치에 대응하는 영역의 디스플레이 오브젝트의 디스플레이 위치를 고정하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  3. 제 2항에 있어서,
    상기 고정하는 단계는, 상기 센싱 위치가 기 설정된 범위 내에서 기 설정된 시간 이상 지속될 경우 상기 디스플레이 위치를 고정하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  4. 제 1항에 있어서,
    상기 고정하는 단계는, 상기 디스플레이 된 전체 디스플레이 오브젝트의 디스플레이 위치를 고정하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  5. 제 4항에 있어서,
    상기 고정하는 단계는, 상기 근접 터치의 센싱이 기 설정된 시간 이상 지속될 경우 상기 디스플레이 위치를 고정하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  6. 제 4항에 있어서,
    상기 디스플레이 유닛 상에서 상기 근접 터치의 센싱 위치를 획득하는 단계를 더 포함하며,
    상기 고정하는 단계는, 상기 센싱 위치가 기 설정된 범위 내에서 기 설정된 시간 이상 지속될 경우 상기 디스플레이 위치를 고정하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  7. 제 1항에 있어서,
    유저의 시선을 디텍트 하는 단계를 더 포함하며,
    상기 고정하는 단계는, 상기 디텍트 된 유저의 시선이 상기 디스플레이 유닛을 향할 경우 상기 디스플레이 위치를 고정하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  8. 제 1항에 있어서,
    상기 디스플레이 오브젝트는 상기 리얼 오브젝트에 대응하는 증강현실 정보를 포함하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  9. 제 1항에 있어서,
    상기 디스플레이 오브젝트는 상기 리얼 오브젝트에 대응하는 증강현실 정보를 호출하기 위한 아이콘을 포함하는 것을 특징으로 하는 디지털 디바이스를 이용한 콘텐츠 제공 방법.
  10. 디지털 디바이스로써,
    상기 디지털 디바이스의 작동을 제어하는 프로세서;
    상기 프로세서의 명령에 기초하여 이미지를 출력하는 디스플레이 유닛; 및
    상기 디스플레이 유닛에 대한 유저의 근접 터치를 센싱 하는 센서 유닛을 포함하되,
    상기 프로세서는,
    적어도 하나의 리얼 오브젝트를 디텍트 하고,
    상기 디텍트 된 리얼 오브젝트에 대응하는 디스플레이 오브젝트를 획득하고,
    상기 디스플레이 오브젝트를 상기 디스플레이 유닛에 디스플레이 하되, 상기 디스플레이 오브젝트는 상기 리얼 오브젝트에 대응하는 위치에 디스플레이 되며,
    상기 디스플레이 유닛에 대한 유저의 근접 터치를 센싱 하고,
    상기 유저의 근접 터치에 대응하여, 상기 디스플레이 오브젝트 중 적어도 하나의 디스플레이 위치를 고정하는 것을 특징으로 하는 디지털 디바이스.
PCT/KR2013/004987 2013-04-30 2013-06-05 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법 WO2014178476A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2013-0048911 2013-04-30
KR10-2013-0048908 2013-04-30
KR20130048908 2013-04-30
KR20130048911 2013-04-30

Publications (1)

Publication Number Publication Date
WO2014178476A1 true WO2014178476A1 (ko) 2014-11-06

Family

ID=51843589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/004987 WO2014178476A1 (ko) 2013-04-30 2013-06-05 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법

Country Status (1)

Country Link
WO (1) WO2014178476A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017052008A1 (ko) * 2015-09-22 2017-03-30 하태진 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120009581A (ko) * 2010-07-19 2012-02-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120016752A (ko) * 2010-08-17 2012-02-27 엘지전자 주식회사 공기조화장치
US20120113092A1 (en) * 2010-11-08 2012-05-10 Avi Bar-Zeev Automatic variable virtual focus for augmented reality displays
KR20120102365A (ko) * 2011-03-08 2012-09-18 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20130000040A (ko) * 2011-06-22 2013-01-02 이현칠 패널조립체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120009581A (ko) * 2010-07-19 2012-02-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120016752A (ko) * 2010-08-17 2012-02-27 엘지전자 주식회사 공기조화장치
US20120113092A1 (en) * 2010-11-08 2012-05-10 Avi Bar-Zeev Automatic variable virtual focus for augmented reality displays
KR20120102365A (ko) * 2011-03-08 2012-09-18 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20130000040A (ko) * 2011-06-22 2013-01-02 이현칠 패널조립체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017052008A1 (ko) * 2015-09-22 2017-03-30 하태진 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템

Similar Documents

Publication Publication Date Title
WO2014069776A1 (en) Head mounted display and method of outputting audio signal using the same
WO2015122565A1 (en) Display system for displaying augmented reality image and control method for the same
WO2016204428A1 (ko) 전자 장치 및 이의 제어 방법
WO2016017855A1 (en) Wearable device and method of controlling therefor
WO2015005537A1 (en) Mobile device, head mounted display and method of controlling therefor
WO2015046676A1 (en) Head-mounted display and method of controlling the same
WO2015046667A1 (en) Smart watch and control method thereof
WO2014157806A1 (en) Display device and control method thereof
WO2014014155A1 (en) A head mounted dipslay and method of outputting a content using the same
WO2015046686A1 (en) Wearable display device and method for controlling layer in the same
WO2015030301A1 (en) Smartwatch and control method thereof
WO2015111790A1 (en) Smart watch, display device and method of controlling therefor
WO2014148696A1 (en) Display device detecting gaze location and method for controlling thereof
WO2015046677A1 (en) Head-mounted display and method of controlling the same
WO2015105236A1 (en) A head mounted display and method of controlling thereof
WO2017099376A1 (en) Electronic apparatus and controlling method thereof
WO2016035940A1 (en) Display device and method of controlling therefor
WO2016080557A1 (ko) 웨어러블 디바이스 및 그 제어 방법
KR20140129936A (ko) 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
WO2021230568A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2016108325A1 (en) Portable device and method of controlling therefor
WO2016104873A1 (en) Digital device and method of controlling therefor
WO2020145653A1 (ko) 이미지의 촬영 장소를 추천하는 전자 장치 및 방법
CN110349527B (zh) 虚拟现实显示方法、装置及系统、存储介质
WO2014178476A1 (ko) 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13883758

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13883758

Country of ref document: EP

Kind code of ref document: A1