WO2014069722A1 - 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법 - Google Patents

3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법 Download PDF

Info

Publication number
WO2014069722A1
WO2014069722A1 PCT/KR2013/001807 KR2013001807W WO2014069722A1 WO 2014069722 A1 WO2014069722 A1 WO 2014069722A1 KR 2013001807 W KR2013001807 W KR 2013001807W WO 2014069722 A1 WO2014069722 A1 WO 2014069722A1
Authority
WO
WIPO (PCT)
Prior art keywords
input signal
user input
manipulation object
virtual object
manipulation
Prior art date
Application number
PCT/KR2013/001807
Other languages
English (en)
French (fr)
Inventor
이현정
한재준
박준아
이유진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/439,148 priority Critical patent/US10180766B2/en
Publication of WO2014069722A1 publication Critical patent/WO2014069722A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Definitions

  • Embodiments relate to a three-dimensional display apparatus and a user interface method thereof, and to a technical idea of providing a user interface useful in a three-dimensional display environment.
  • the three-dimensional display device for displaying a 3D stereoscopic image has been commercialized.
  • the three-dimensional display device is not only in the home, company, commercial sector, but also the use range of the medical institution or military use has been expanded.
  • the 3D display apparatus performs an operation according to a user input.
  • Conventional 3D display devices have provided a 2D user interface for user input.
  • the 3D display apparatus senses a user input in the X-axis direction as a reference axis and a user input in the Y-axis direction perpendicular to the X-axis on a plane of the 2D user interface, and performs an operation according to the detected user input.
  • a two-dimensional user input method provides a limited user interface in a three-dimensional display environment.
  • a 3D display apparatus may include a display unit configured to display a 3D virtual object, and detect a manipulation object for manipulating an operation of the 3D virtual object in a 3D space matched with the 3D virtual object. And a controller configured to control an operation of the 3D virtual object according to the user input signal generator and a user input signal generator.
  • a user interface method of a 3D display apparatus may include displaying a 3D virtual object, and operating an object for manipulating an operation of the 3D virtual object in a 3D space matched with the 3D virtual object. Sensing and generating a user input signal and controlling an operation of the 3D virtual object according to the user input signal.
  • FIG. 1 is a block diagram illustrating a configuration of a 3D display apparatus according to an exemplary embodiment.
  • FIGS. 2 to 5 are block diagrams illustrating a configuration of a 3D display apparatus according to various embodiments.
  • 6 to 13 are schematic diagrams for describing a user interface method according to various embodiments.
  • FIG. 14 is a flowchart illustrating a user interface method according to an exemplary embodiment.
  • 15 to 21 are flowcharts illustrating a user interface method according to various embodiments.
  • the 3D display apparatus 100 shown in FIG. 1 is a device for displaying various contents as a 3D virtual object, and may be a 3D TV, a 3D monitor, a portable device or a mobile device including a 3D display function. , A three-dimensional hologram device or the like.
  • the 3D display apparatus 110 may include a display 110, a user input signal generator 120, and a controller 130, and may provide a user interface for easily controlling an operation of a 3D virtual object.
  • the controller 130 controls the operations of the display 110 and the user input signal generator 120.
  • the display 110 displays a 3D virtual object.
  • the 3D virtual object may be a 2D or 3D image, a 2D or 3D image, or a control screen for controlling the operation of the 3D display apparatus 100.
  • the image may be a three-dimensional stereoscopic area for displaying an image or an image.
  • the three-dimensional virtual object may be displayed in a stereoscopic manner, or may be displayed in a hologram manner that implements a stereoscopic image in 360 degree overall direction.
  • the user input signal generator 120 may provide a user interface for interacting with a user in order to manipulate an operation of the 3D display apparatus 100.
  • the user input signal generator 120 detects a manipulation object for manipulating the operation of the 3D virtual object and generates a user input signal. In detail, when the 3D virtual object is displayed, the user input signal generator 120 forms a virtual 3D space matched with the 3D virtual object. The user input signal generator 120 detects an operation object for manipulating an operation of the 3D virtual object in the 3D space matched with the 3D virtual object and generates a user input signal.
  • the manipulation object may be at least one of a user's body, an object, and a portable device having a communication function.
  • the present invention is not limited thereto, and any other thing may be used as the manipulation object as long as it is for controlling the operation of the 3D virtual object.
  • the user's body of the manipulation object may be a part of the user's body such as a user's finger or an elbow.
  • the object may be a touch pen or an indicator rod, or may be an object provided with or attached a marker that can be recognized by the 3D display apparatus 100.
  • the portable device may be a portable device capable of short-range wireless communication such as Wi-Fi, Bluetooth, Zigbee, and NFC (Near Field Communication), and a portable communication device capable of video communication and voice communication. It can also be
  • the user input signal generated by the user input signal generator 120 may store or read a file or data on a 3D virtual object, transmit or receive a file or data on a 3D virtual object, or transmit a signal on a 3D virtual object.
  • the present invention is not limited thereto, and the user input signal may include both a signal related to the operation of the 3D display apparatus 100 and a signal related to the operation of the 3D virtual object.
  • the controller 130 controls the operation of the 3D virtual object according to the user input signal.
  • a user input signal is generated by detecting a manipulation object in a 3D space matched with a 3D virtual object to provide a user interface suitable for a 3D display environment. can do.
  • FIGS. 2 to 4 are block diagrams illustrating a configuration of a 3D display apparatus according to various embodiments.
  • the 3D display apparatus 200 illustrated in FIG. 2 includes a display 210, a user input signal generator 220, and a controller 230, and provides a user interface for easily controlling the operation of a 3D virtual object. can do.
  • the display 210 displays a 3D virtual object.
  • the user input signal generator 220 may provide a user interface that interacts with a user in order to manipulate an operation of the 3D display apparatus 200.
  • the user input signal generator 220 may include a detection sensor 221 for detecting a manipulation object.
  • the detection sensor 221 may detect what contact or insertion occurs in the three-dimensional space matched with the three-dimensional virtual object, or detect which approach occurs within a predetermined sensing distance from the three-dimensional space.
  • the detection sensor 221 may be an infrared sensor, an ultrasonic sensor, or the like.
  • the user input signal generator 220 may track x, y, z coordinate information in the three-dimensional space according to the contact and movement of the manipulation object.
  • the user input signal generator 220 may detect contact and movement of the manipulation object through the detection sensor 221 and track x, y, and z coordinate information correspondingly.
  • the controller 230 controls the operation corresponding to the x, y, z coordinate information in the 3D virtual object by applying the x, y, z coordinate information included in the user input signal to the 3D virtual object matched to the 3D space. can do.
  • a user input signal is generated.
  • the unit 220 may track the x, y, z coordinate information of the first position. Then, when it is detected that the manipulation object moves from the first position to the second position, the user input signal generator 220 tracks x, y, z coordinate information according to the movement path from the first position to the second position. can do. As such, the user input signal generator 220 may generate the user input signal by tracking the x, y, z coordinate information according to the contact and movement of the manipulation object.
  • the controller 230 selects a first file located at a first location of the 3D virtual object according to the x, y, z coordinate information included in the user input signal, and selects the first file at the first location.
  • the operation of moving to the second position can be controlled. That is, the controller 230 may control an operation of dragging and dropping the first file from the first position to the second position on the 3D virtual object.
  • the 3D display apparatus 200 illustrated in FIG. 2 may provide a user interface in a 3D space matched with a 3D virtual object. Accordingly, the 3D display apparatus 200 may provide a user interface suitable for a 3D display environment.
  • the 3D display apparatus 300 illustrated in FIG. 3 may include a display 310, a user input signal generator 320, a controller 330, and a feedback unit 340.
  • the display 310 may display a 3D virtual object.
  • the 3D virtual object may be the above-described contents.
  • the user input signal generator 330 may provide a user interface for interacting with a user to manipulate an operation of the 3D display apparatus 300, and may include a sensor 331 and a marker recognizer 332. It may include.
  • the detection sensor 331 may detect what contact or insertion occurs in the three-dimensional space matched with the three-dimensional virtual object, or detect which approach occurs within a predetermined sensing distance from the three-dimensional space.
  • the detection sensor 331 may be an infrared sensor, an ultrasonic sensor, or the like, or may be another sensor capable of detecting a manipulation object in a three-dimensional space.
  • the marker recognizer 332 may recognize a marker provided in the manipulation object and acquire information of the manipulation object corresponding to the recognized marker.
  • the marker recognition unit 332 includes a camera module 332a capable of photographing markers, a pattern detection module 332b capable of detecting a specific pattern from a marker photographed through the camera module 332a, and a detected pattern.
  • the storage module 332c may store information of a corresponding manipulation object.
  • the information of the manipulation object may include a two-dimensional or three-dimensional image or image data representing a manipulation object, a two-dimensional or three-dimensional game, a three-dimensional avatar, an application, and the like corresponding to various markers.
  • the 2D or 3D image or image data, a 2D or 3D game, a 3D avatar, and web server address information for acquiring an application may be included.
  • the information of the manipulation object may further include information such as a manufacturer, a manufacturing date, an online or offline sales place, a price, and the like of the manipulation object.
  • the user input signal generator 330 may generate the user input signal including the information of the manipulation object by acquiring the information of the manipulation object based on the marker recognition by the marker recognition unit 332.
  • the controller 320 may control the operation of the 3D virtual object to display the information of the manipulation object included in the user input signal or to transmit the information of the manipulation object to another display device.
  • the user input signal generator 330 recognizes a marker provided in the manipulation object through the marker recognition unit 332, and manipulates the manipulation object corresponding to the recognized marker. Information can be obtained. If the manipulation object is an object such as a doll, the marker may include a specific pattern corresponding to the doll. Accordingly, the user attraction signal generator 330 may obtain information of a doll corresponding to the marker based on marker recognition and generate a user input signal including the same. In this case, the controller 320 may display the information of the doll included in the user input signal on the 3D virtual object or transmit it to another display device that communicates with the 3D display device 300.
  • the feedback unit 340 responds to the occurrence of contact, insertion, and access when any contact or insertion occurs in the three-dimensional space matched with the three-dimensional virtual object, or any access occurs within a predetermined sensing distance from the three-dimensional space. To output feedback signals such as visual, auditory and tactile. The operation of the feedback unit 340 may be controlled by the controller 320.
  • the user input signal generator 330 may transmit a notification signal for notifying the detection of the manipulation object to the controller 320, and the controller 320 may be provided to the notification signal. Accordingly, the operation of the feedback unit 340 may be controlled.
  • the user may know that the manipulation object has been touched, inserted, or approached in the 3D space through feedback signals such as visual, auditory, and haptic output through the feedback unit 340.
  • the 3D display apparatus 300 illustrated in FIG. 3 may provide a user interface of a 3D space matched with a 3D virtual object. Accordingly, the 3D display apparatus 300 may provide a user interface suitable for a 3D display environment.
  • the 3D display apparatus 400 illustrated in FIG. 4 may include a content storage unit 410, a display unit 420, a user input signal generator 430, and a controller 440.
  • the content storage unit 410 may store various contents to be displayed as a 3D virtual object.
  • the display unit 420 may display a 3D virtual object.
  • the 3D virtual object may be contents stored in the content storage unit 410.
  • the user input signal generator 430 may provide a user interface for interacting with a user to manipulate an operation of the 3D display apparatus 400, and may include a sensing sensor 431 and a camera 432. .
  • the detection sensor 431 may detect what contact or insertion occurs in the three-dimensional space matched with the three-dimensional virtual object, or detect which approach occurs within a predetermined sensing distance from the three-dimensional space.
  • the camera 432 photographs the manipulation object to generate an manipulation object image.
  • the user input signal generator 430 may generate a user input signal including the manipulation object image.
  • the controller 440 controls the operation of the 3D virtual object according to the user input signal.
  • the controller 440 may control the operation of the 3D virtual object to display the manipulation object image included in the user input signal or to transmit the form of the manipulation object to another display device.
  • the user input signal generator 430 may generate the manipulation object image by photographing the manipulation object through the camera 432.
  • the camera 432 may generate a flower image by photographing the flower.
  • the user attraction signal generator 430 may generate a user input signal including a flower image.
  • the controller 440 may display the flower image included in the user input signal on the 3D virtual object or transmit it to another display device that communicates with the 3D display device 400.
  • the controller 440 analyzes the manipulation object image included in the user input signal, checks the representative pixel value, and applies the representative pixel value to the three-dimensional manipulation object to display the representative pixel value. Can be controlled.
  • the controller 440 may determine the pixel value of all the pixels constituting the manipulation object image to determine the most pixel value as the representative pixel value, or determine the average pixel value of all the pixels as the representative pixel value.
  • the controller 440 may display the 3D virtual object to have a representative pixel value.
  • the controller 440 may generate the shape information of the manipulation object by using the manipulation object image included in the user input signal, and generate an operation of the 3D virtual object to display the shape information of the manipulation object. have.
  • a manipulation object image including the box may be generated.
  • the controller 440 may generate the shape information of the manipulation object by detecting the manipulation object from the manipulation object image.
  • the shape information of the manipulation object may be two-dimensional image data or three-dimensional image data indicating the appearance or state of the manipulation object. Accordingly, the controller 440 may control the operation of the 3D virtual object to display 2D rectangular image data or 3D cuboid image data corresponding to the box as the manipulation object.
  • the user input signal generator 430 connects the manipulation object to the running content, and includes the manipulation object and the content.
  • a user input signal can be generated.
  • the camera 432 may generate the manipulation object image by photographing the manipulation object.
  • the user input signal generator 430 may detect the manipulation object from the manipulation object image generated by the camera 432, connect the manipulation object with the running content, and include a user input including an interconnected manipulation object and content. You can generate a signal.
  • the controller 440 may store the manipulation object and the content included in the user input signal in the content storage unit 410 or a separate memory.
  • the user input signal generator 430 may generate a user input signal for reading out the content associated with the manipulation object and executing the content. In this process, the user input signal generator 430 may detect the manipulation object from the manipulation object image and determine whether the manipulation object is redetected.
  • the controller 440 may read the content connected to the manipulation object from the content storage unit 410 or a separate memory and display the content in the 3D space. According to this embodiment, the content can be executed more easily by connecting the operation object frequently used by the user with the content.
  • the 3D display apparatus 500 illustrated in FIG. 5 may include a content storage unit 510, a display unit 520, a user input signal generator 530, and a controller 540.
  • the content storage unit 510 may store various contents to be displayed as a 3D virtual object.
  • the display unit 520 may display a 3D virtual object.
  • the 3D virtual object may be contents stored in the content storage unit 510.
  • the user input signal generator 530 may provide a user interface for interacting with a user to manipulate an operation of the 3D display apparatus 500, and may include a sensing sensor 531 and a communication unit 532. .
  • the detection sensor 531 may detect what contact or insertion occurs in the three-dimensional space matched with the three-dimensional virtual object, or detect which approach occurs within a predetermined sensing distance from the three-dimensional space.
  • the communication unit 532 communicates with a portable device having a communication function.
  • the communication unit 532 may activate a communication function to communicate with a portable device that has been touched, inserted or accessed in the three-dimensional space.
  • the user input signal generator 530 may receive a content that is pre-selected in the portable device through the communication unit 532 and generate a user input signal including the content.
  • the controller 540 may control an operation of the 3D virtual object to execute content included in the user input signal.
  • the communication unit 532 may communicate with the portable device to receive the preselected content in the portable device. If the content is a movie, the communication unit 532 may receive a movie from the portable device. Accordingly, the user attraction signal generator 530 may generate a user input signal including a movie. In this case, the controller 540 may execute the movie included in the user input signal and display the same on the 3D virtual object.
  • FIGS 2 to 5 illustrate and describe three-dimensional display apparatuses 200, 300, 400, and 500 according to individual embodiments, but these apparatuses 200, 300, 400, and 500 are combined in various embodiments. It may be implemented.
  • 6 to 10 are schematic diagrams for describing a user interface method according to various embodiments.
  • 6A to 6C are schematic diagrams for describing a user interface method of controlling an operation of a 3D virtual object using finger touch.
  • the 3D display apparatus 600 displays a 3D virtual object 610.
  • the 3D virtual object 610 is shown as a 2D plane in the drawing, in the real environment, the 3D virtual object 610 may be displayed as a 3D image such as a 3D hologram.
  • the 3D virtual object 610 may be a video communication image of the first user and the second user.
  • the 3D virtual object 610 includes a first user area 611 and a second user area 613.
  • the first user area 611 is an area where a first user using the 3D display apparatus 600 is displayed, and at the bottom thereof, a first content area 612 listing contents stored in the 3D display apparatus 600. This can be located.
  • the second user area 613 is an area where a second user who is in image communication with the first user is displayed.
  • the 3D display apparatus 600 may sense a manipulation object by forming a virtual 3D space matched with the 3D virtual object 610.
  • the 3D display apparatus 600 may drag and drop.
  • the content listed in the first content area 612 may be transmitted to the second user.
  • the content transmitted to the second user may be displayed in the second content area 614 located at the bottom of the second user area 613.
  • the 3D display apparatus 600 tracks x, y, z coordinate information according to the contact and movement of the manipulation object in the 3D space to perform drag and drop. Can generate a user input signal. Therefore, by applying the x, y, z coordinate information to the three-dimensional virtual object 610, it is possible to drag and drop the content to the second user area.
  • 7A to 7B are schematic diagrams for describing a user interface method of controlling an operation of a 3D virtual object based on mark recognition.
  • the 3D display apparatus 700 displays a 3D virtual object 710.
  • the 3D display apparatus 700 may include a camera module 721 for marker recognition in one region.
  • the 3D display apparatus 700 may recognize the marker provided in the manipulation object through the camera module 721. That is, as illustrated in FIG. 7A, when the doll 730 having the marker 731 contacts, inserts, or approaches in the three-dimensional space, the camera module 721 recognizes the marker 731 to recognize the marker 731.
  • Information of the doll corresponding to the " The information of the doll may include information such as a two-dimensional or three-dimensional image of the doll, a doll manufacturer, a manufacturing date, an online or offline sales place, a price, and the like.
  • the 3D display apparatus 700 may display user information obtained on the basis of marker recognition or generate a user input signal for transmitting to another display apparatus. Therefore, the 3D display apparatus 700 may display the doll's information on the 3D virtual object 710.
  • FIG. 7A and 7B illustrate an example in which a doll is provided with a marker, but instead of using an object such as a doll as an operation object, a marker itself may be used as an operation object to obtain a shape of an operation object corresponding thereto.
  • 8A and 8B are schematic diagrams for describing a user interface method of controlling an operation of a 3D virtual object by photographing a manipulation object.
  • the 3D display apparatus 800 displays a 3D virtual object 810.
  • the 3D display apparatus 800 may include a camera 821 in one region.
  • the 3D display apparatus 800 may photograph the manipulation object using the camera 821. That is, as illustrated in FIG. 8A, when the sneaker 830 contacts, inserts, or approaches the three-dimensional space, the camera 821 may generate the sneaker image by photographing the sneaker 830.
  • the 3D display apparatus 800 may generate a user input signal for displaying a sneaker image, and display the sneaker image on the 3D virtual object 810 according to the user input signal.
  • 9A and 9B are schematic diagrams for describing a user interface method of controlling an operation of a 3D virtual object using a portable device.
  • the 3D display apparatus 900 displays a 3D virtual object 910.
  • the 3D virtual object 910 is a video call image and may include a first user area 911 and a phone execution area 912 that display a first user.
  • the three-dimensional display apparatus 900 may select content that is preselected to the portable apparatus 920, for example, a preselected content.
  • the contact information of the second user may be received, and a user input signal including the same may be generated.
  • the 3D display apparatus 900 calls the contact information included in the user input signal to allow the first user and the second user to make a video call.
  • the 3D display apparatus 900 may display a second user area 913 that displays the second user.
  • FIGS. 9A and 9B illustrate embodiments in which the 3D display apparatus 900 receives content stored in the portable device 920, but on the contrary, transmits the content stored in the 3D display device 900 to the portable device 920. It is also possible. This embodiment will be described using Figs. 10A and 10B.
  • the 3D display apparatus 1000 displays a 3D virtual object 1010.
  • the 3D virtual object 1010 is a video communication image of a first user and a second user, and includes a first user area 1020 displaying a first user and a second user area 1030 displaying a second user. can do.
  • the 3D display apparatus may generate a user input signal for transmitting the music file to the portable device 1050. According to the user input signal, the 3D display apparatus 100 may transmit a music file to the portable device 1050, and the portable device 1050 may receive and play the music file as illustrated in FIG. 10B. .
  • 11A and 11B are schematic diagrams for describing a user interface method of controlling an operation of a 3D virtual object by photographing a manipulation object.
  • the 3D display apparatus 1100 displays a 3D virtual object 1110.
  • the 3D display apparatus 1100 may include a camera 1120 in one region. Although the camera 1120 is illustrated as being included in the 3D virtual object, the present invention is not limited thereto and may be attached to the main body of the 3D display apparatus 1100.
  • the 3D display apparatus 1100 may photograph the manipulation object by using the camera 1120. That is, as illustrated in FIG. 11A, when the banana 1130 contacts, inserts, or approaches within a three-dimensional space, the camera 1120 may photograph the banana 1130 to generate a banana image.
  • the 3D display apparatus 1100 may generate a user input signal for applying the representative pixel value of the banana image to the 3D virtual space. According to the user input signal, the 3D display apparatus 1100 may analyze the banana image to check the representative pixel value, and control the operation of the 3D virtual object to apply the representative pixel value to the 3D virtual object for display. have. By this operation, the background screen of the 3D virtual object may be changed to a “yellow” color, which is a representative pixel value of the banana image, as shown in FIG. 11B.
  • the representative pixel value of the banana image may be applied to the entire background screen of the 3D virtual object, or may be applied to a part of the background screen.
  • the three-dimensional display apparatus 1100 tracks the x, y, and z coordinate information according to the contact and movement of the manipulation object in the three-dimensional space.
  • An area to which the representative pixel value of the image is applied may be set.
  • 12A and 12B are schematic diagrams for explaining a user interface method of controlling an operation of a 3D virtual object by photographing a manipulation object.
  • the 3D display apparatus 1200 displays a 3D virtual object 1210.
  • the 3D display apparatus 1200 may include a camera 1220 in one region.
  • the 3D display apparatus 1200 may photograph the manipulation object using the camera 1220. That is, as illustrated in FIG. 12A, when the box 1230 having a rectangular parallelepiped contact, insert, or approach a three-dimensional space, the camera 1220 may generate a box image by capturing the box 1230. .
  • the 3D display apparatus 1200 may generate the box shape information by detecting the box 1230 from the box image, and may generate a user input signal for displaying the box shape information.
  • the shape information of the box may be two-dimensional image data or three-dimensional image data indicating the shape or state of the box.
  • the 3D display apparatus 1200 may control an operation of the 3D virtual object to display 2D rectangular image data or 3D cuboid image data corresponding to the box 1230.
  • necessary image data can be generated and displayed when executing an application such as drawing or editing.
  • FIG. 13 is a schematic diagram for describing a user interface method of controlling an operation of a 3D virtual object using a manipulation object.
  • the 3D display apparatus 1300 displays the movie content 1330 on the 3D virtual object 1310.
  • the 3D display apparatus 1300 may change the ballpoint pen 1340.
  • the movie content 1330 and a user input signal for storing the interconnected ballpoint pen 1340 and the movie content 1330.
  • the ballpoint pen 1340 may be photographed using a camera 1220 provided in the 3D display apparatus 1300, and a ballpoint pen image may be generated.
  • the ballpoint pen 1340 corresponding to the manipulation object may be detected from the ballpoint pen image, and the ballpoint pen 1340 may be connected to the running movie content 1330.
  • the 3D display device 1300 may generate a user input signal for storing the interconnected ballpoint pen 1340 and the movie content 1330. According to the user input signal, the 3D display apparatus 1300 may store the ballpoint pen 1340 and the movie content 1330 which are connected to each other in a separate memory. That is, 'ballpoint pen-movie content' may be stored.
  • the 3D display apparatus 1300 executes the movie content 1330 connected to the ballpoint pen 1340.
  • a user input signal can be generated.
  • the 3D display apparatus 1300 may read and execute the movie content 1330 connected to the ballpoint pen 1340.
  • the 3D display apparatuses 700, 800, 900, 1000, 1100, 1200, and 1300 may manipulate the manipulation object in a 3D space matched with the 3D virtual object.
  • a user interface suitable for a 3D display environment may be provided. Therefore, the user can use the 3D virtual object itself as a user interface screen and can easily manipulate various operations that can be implemented through the 3D virtual object.
  • the 3D display apparatus displays a 3D virtual object in operation 1410.
  • the 3D display apparatus may form a virtual 3D space matched with the 3D virtual object.
  • the 3D display apparatus When the manipulation object is detected in the three-dimensional space matched with the three-dimensional virtual object (step 1420), the 3D display apparatus generates a user input signal according to the manipulation object (step 1430).
  • the 3D display apparatus controls the operation of the 3D virtual object according to the user input signal in operation 1440.
  • 15 to 21 are flowcharts illustrating a user interface method according to various embodiments.
  • the 3D display apparatus displays a 3D virtual object (step 1510).
  • the 3D display apparatus When the manipulation object is detected in the 3D space matched with the 3D virtual object (step 1520), the 3D display apparatus generates a user input signal by tracking x, y, and z coordinate information in the 3D space (step 1530). ).
  • the 3D display apparatus applies x, y, z coordinate information to the 3D virtual object to control the operation of the 3D virtual object (step 1540).
  • the 3D display apparatus displays a 3D virtual object in operation 1610.
  • the 3D display apparatus acquires a shape of the manipulation object based on marker recognition to generate a user input signal (step 1630).
  • the 3D display apparatus may recognize the marker and acquire a form of the operation object corresponding to the marker. Accordingly, the 3D display apparatus may generate a user input signal including a form of the manipulation object.
  • the 3D display apparatus controls the operation of the 3D virtual object to display the shape of the manipulation object in operation 1640.
  • the 3D display apparatus displays a 3D virtual object (step 1710).
  • the 3D display apparatus photographs the manipulation object and generates a user input signal including the manipulation object image (step 1730).
  • the 3D display apparatus controls the operation of the 3D object to display an image of the manipulation object included in the user input signal (step 1740).
  • the 3D display apparatus displays a 3D virtual object in operation 1810.
  • the 3D display device When the portable device is detected in the 3D space matched with the 3D virtual object (step 1820), the 3D display device receives a content previously selected by the portable device and generates a user input signal (step 1830).
  • the 3D display apparatus controls the operation of the 3D virtual object to execute the content included in the user input signal (step 1840).
  • the 3D display apparatus displays a 3D virtual object in operation 1910.
  • the 3D display apparatus photographs the manipulation object and generates a user input signal including the manipulation object image (step 1930).
  • the user input signal including the manipulation object image may be for applying a representative pixel value of the manipulation object image to the background screen.
  • the 3D display apparatus analyzes the manipulation object image to identify the representative pixel value (step 1940), and applies the representative pixel value to the 3D virtual object (step 1950). That is, the 3D display device may change the color such that the background screen of the 3D virtual object has a representative pixel value.
  • the 3D display apparatus displays a 3D virtual object (step 2010).
  • the 3D display apparatus photographs the manipulation object and generates a user input signal including the manipulation object image (step 2030).
  • the user input signal including the manipulation object image may be for displaying shape information of the manipulation object.
  • the 3D display apparatus In response to the user input signal, the 3D display apparatus generates shape information of the manipulation object using the manipulation object image (step 2040), and controls an operation of the 3D virtual object to display shape information of the manipulation object (2050). step).
  • the 3D display apparatus displays a 3D virtual object (step 2110) and executes content through the 3D virtual object (step 2120).
  • the 3D display apparatus When the manipulation object is detected in the three-dimensional space matched with the three-dimensional virtual object (step 2130), the 3D display apparatus generates a user input signal including the manipulation object and the running content (step 2140).
  • the manipulation object and the content included in the user input signal may be interconnected, and the user input signal may be for storing the manipulation object and the content.
  • the 3D display apparatus stores the manipulation object and the content included in the user input signal in operation 2150.
  • the 3D display apparatus when the manipulation object is re-detected in the 3D space matched with the 3D virtual object (step 2160), the 3D display apparatus generates a user input signal for executing the content associated with the manipulation object (step 2170).
  • the content is executed according to the user input signal (step 2180). That is, when the manipulation object detected in operation 2130 is detected again, the content associated with the manipulation object may be read and executed without the user needing to separately manipulate the manipulation object.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법이 개시된다. 실시예에 따른 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이하는 디스플레이부, 3차원 가상 객체와 매칭된 3차원 공간 내에서 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 사용자 입력 신호 생성부 및 사용자 입력 신호에 따라 3차원 가상 객체의 동작을 제어하는 제어부를 포함한다.

Description

3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
실시예들은 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법에 관한 것으로, 3차원 디스플레이 환경에서 유용한 사용자 인터페이스를 제공하는 기술적 사상에 관한 것이다.
최근 3차원의 입체 영상을 디스플레이 하는 3차원 디스플레이 장치가 상용화되고 있다. 또한, 3차원 디스플레이 장치는 가정, 회사, 상업 분야에서뿐만 아니라, 의료기관이나 군사용 등 여러 분야로 그 사용 범위가 확대되고 있다.
3차원 디스플레이 장치는 사용자 입력에 따른 동작을 수행한다. 사용자 입력을 위하여 기존의 3차원 디스플레이 장치는 2 차원 사용자 인터페이스를 제공하였다.
3차원 디스플레이 장치는 2차원 사용자 인터페이스의 평면 상에서 기준축이 되는 X축 방향의 사용자 입력과 X축에 수직하는 Y축 방향의 사용자 입력을 감지하고, 감지된 사용자 입력에 따른 동작을 수행한다. 이 같은 2차원의 사용자 입력 방식은 3차원 디스플레이 환경에서 한정된 사용자 인터페이스를 제공한다.
일실시예에 따른 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이하는 디스플레이부, 상기 3차원 가상 객체와 매칭된 3차원 공간 내에서 상기 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 사용자 입력 신호 생성부 및 상기 사용자 입력 신호에 따라 상기 3차원 가상 객체의 동작을 제어하는 제어부를 포함한다.
일실시예에 따른 3차원 디스플레이 장치의 사용자 인터페이스 방법은 3차원 가상 객체를 디스플레이하는 단계, 상기 3차원 가상 객체와 매칭된 3차원 공간 내에서 상기 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 단계 및 상기 사용자 입력 신호에 따라 상기 3차원 가상 객체의 동작을 제어하는 단계를 포함한다.
도 1은 일 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다.
도 2 내지 도 5는 다양한 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다.
도 6 내지 도 13은 다양한 실시예들에 따른 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 14는 일 실시예에 따른 사용자 인터페이스 방법을 설명하는 흐름도이다.
도 15 내지 도 21은 다양한 실시예에 따른 사용자 인터페이스 방법을 설명하는 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 해당 기술이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다. 도 1에 도시된 3차원 디스플레이 장치(100)는 다양한 콘텐츠들을 3차원 가상 객체로 디스플레이 하는 장치로, 3차원 TV, 3차원 모니터, 3차원 디스플레이 기능을 포함한 휴대용 기기 또는 모바일 기기 등이 될 수 있으며, 3차원 홀로그램 장치 등이 될 수 있다.
3차원 디스플레이 장치(110)는 디스플레이부(110), 사용자 입력 신호 생성부(120) 및 제어부(130)를 포함하며, 3차원 가상 객체의 동작 제어가 용이한 사용자 인터페이스를 제공할 수 있다. 제어부(130)는 디스플레이부(110) 및 사용자 입력 신호 생성부(120)의 동작을 제어한다.
디스플레이부(110)는 3차원 가상 객체를 디스플레이 한다. 3차원 가상 객체란, 2차원 또는 3차원의 영상이나, 2차원 또는 3차원의 이미지 등이 될 수도 있으며, 3차원 디스플레이 장치(100)의 동작을 제어하기 위한 제어 화면이 될 수도 있다. 또는, 영상이나 이미지를 디스플레이하기 위한 3차원 입체 영역이 될 수도 있다. 3차원 가상 객체는, 스테레오스코픽 방식으로 디스플레이 될 수 있으며, 또는 360도 전체 방향에서 입체 영상을 구현하는 홀로그램 방식으로 디스플레이 될 수 있다.
사용자 입력 신호 생성부(120)는 사용자 입력 신호 생성부(120)는 3차원 디스플레이 장치(100)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있다.
사용자 입력 신호 생성부(120)는 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성한다. 구체적으로, 3차원 가상 객체가 디스플레이 되면, 사용자 입력 신호 생성부(120)는 3차원 가상 객체와 매칭된 가상의 3차원 공간을 형성한다. 사용자 입력 신호 생성부(120)는 3차원 가상 객체와 매칭된 3차원 공간 내에서 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성한다.
조작 객체란, 사용자 신체, 물체 및 통신 기능을 구비한 휴대 장치 중 적어도 어느 하나가 될 수 있다. 그러나, 이에 한정되는 것은 아니며, 3차원 가상 객체의 동작을 제어하기 위한 것이라면, 다른 어떠한 것도 조작 객체로 이용될 수 있다.
조작 객체 중 사용자 신체는, 사용자 손가락, 팔꿈치 등과 같이 사용자의 신체에서 일부가 될 수 있다. 또한, 물체는 터치펜이나, 지시봉이 될 수 있으며, 3차원 디스플레이 장치(100)가 인식할 수 있는 마커(marker)를 구비 또는 부착한 사물이 될 수도 있다. 또한, 휴대 장치는 와이파이(Wifi), 블루투스(Bluetooth), 지그비(zigbee), NFC(Near Field Communication) 등과 같은 근거리 무선 통신이 가능한 휴대용 기기가 될 수 있으며, 영상 통신 및 음성 통신이 가능한 휴대용 통신 기기가 될 수도 있다.
사용자 입력 신호 생성부(120)에 의해 생성된 사용자 입력 신호는, 3차원 가상 객체 상에서 파일 또는 데이터의 저장/읽기 신호, 3차원 가상 객체 상에서 파일 또는 데이터의 송/수신 신호, 3차원 가상 객체 상에서 파일/데이터/어플리케이션의 실행 신호, 외부 기기와의 데이터 송/수신 신호 등이 있을 수 있다. 그러나, 이에 한정되지 않으며, 사용자 입력 신호는 3차원 디스플레이 장치(100)의 동작과 관련된 신호나, 3차원 가상 객체의 동작과 관련된 신호가 모두 포함될 수 있다.
제어부(130)는 사용자 입력 신호에 따라 3차원 가상 객체의 동작을 제어한다.
도 1에 도시된 3차원 디스플레이 장치(100)에 따르면, 3차원 가상 객체와 매칭된 3차원 공간 내에서 조작 객체를 감지하여 사용자 입력 신호를 생성하는 것으로, 3차원 디스플레이 환경에 적합한 사용자 인터페이스를 제공할 수 있다.
도 2 내지 도 4는 다양한 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다.
도 2에 도시된 3차원 디스플레이 장치(200)는 디스플레이부(210), 사용자 입력 신호 생성부(220) 및 제어부(230)를 포함하며, 3차원 가상 객체의 동작 제어가 용이한 사용자 인터페이스를 제공할 수 있다.
디스플레이부(210)는 3차원 가상 객체를 디스플레이 한다.
사용자 입력 신호 생성부(220)는 3차원 디스플레이 장치(200)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있다.
사용자 입력 신호 생성부(220)는 조작 객체를 감지하기 위한 감지 센서(221)를 포함할 수 있다. 감지 센서(221)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하는지를 감지하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생하는지를 감지할 수 있다. 감지 센서(221)는 적외선 센서, 초음파 센서 등이 될 수 있다.
실시예에 따르면, 사용자 입력 신호 생성부(220)는 3차원 공간 내에 조작 객체가 감지될 경우, 조작 객체의 접촉 및 이동에 따라 3차원 공간에서 x, y, z 좌표 정보를 추적할 수 있다. 구체적으로, 사용자 입력 신호 생성부(220)는 감지 센서(221)를 통해 조작 객체의 접촉 및 이동을 감지하고, 그에 대응하여 x, y, z 좌표 정보를 추적할 수 있다.
제어부(230)는 사용자 입력 신호에 포함된 x, y, z 좌표 정보를 3차원 공간에 매칭된 3차원 가상 객체에 적용하여 3차원 가상 객체에서 x, y, z 좌표 정보에 대응하는 동작을 제어할 수 있다.
예를 들어, 3차원 가상 객체의 제1 위치에 제1 파일이 위치된 상태에서, 3차원 가상 객체와 매칭된 3차원 공간의 제1 위치에 조작 객체가 접촉하는 것이 감지되면, 사용자 입력 신호 생성부(220)는 제1 위치의 x, y, z 좌표 정보를 추적할 수 있다. 이후, 제1 위치에서 제2 위치로 조작 객체가 이동하는 것이 감지되면, 사용자 입력 신호 생성부(220)는 제1 위치에서 제2 위치로의 이동 경로에 따른 x, y, z 좌표 정보를 추적할 수 있다. 이 같이 사용자 입력 신호 생성부(220)는 조작 객체의 접촉 및 이동에 따른 x, y, z 좌표 정보를 추적하여 사용자 입력 신호를 생성할 수 있다. 이 경우, 제어부(230)는 사용자 입력 신호에 포함된 x, y, z 좌표 정보에 따라 3차원 가상 객체의 제1 위치에 위치된 제1 파일을 선택하고, 이 제1 파일을 제1 위치에서 제2 위치로 이동시키는 동작을 제어할 수 있다. 즉, 제어부(230)는 3차원 가상 객채 상에서 제1 파일을 제1 위치에서 제2 위치로 드래그 앤 드롭(drag-and-drop)하는 동작을 제어할 수 있다.
도 2에 도시된 3차원 디스플레이 장치(200)는 3차원 가상 객체와 매칭된 3차원 공간의 사용자 인터페이스를 제공할 수 있다. 따라서, 3차원 디스플레이 장치(200)는 3차원 디스플레이 환경에 적합한 사용자 인터페이스를 제공할 수 있다.
도 3은 다른 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다. 도 3에 도시된 3차원 디스플레이 장치(300)는 디스플레이부(310), 사용자 입력 신호 생성부(320), 제어부(330) 및 피드백부(340)를 포함할 수 있다.
디스플레이부(310)는 3차원 가상 객체를 디스플레이 할 수 있다. 3차원 가상 객체는 전술한 컨텐츠들이 될 수 있다.
사용자 입력 신호 생성부(330)는 3차원 디스플레이 장치(300)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있으며, 감지 센서(331)및 마커(marker) 인식부(332)를 포함할 수 있다.
감지 센서(331)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하는지를 감지하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생하는지를 감지할 수 있다. 감지 센서(331)는 적외선 센서, 초음파 센서 등이 될 수 있으며, 3차원 공간에서 조작 객체의 감지가 가능한 다른 센서가 될 수도 있다.
마커(marker) 인식부(332)는 조작 객체에 구비된 마커를 인식하고, 인식된 마커에 대응하는 조작 객체의 정보를 획득할 수 있다. 이 마커 인식부(332)는 마커를 촬영할 수 있는 카메라 모듈(332a)과, 카메라 모듈(332a)을 통해 촬영된 마커에서 특정 패턴을 검출할 수 있는 패턴 검출 모듈(332b)과, 검출된 패턴에 대응하는 조작 객체의 정보를 저장하는 저장 모듈(332c)을 포함할 수 있다.
이 조작 객체의 정보는 다양한 마커들에 대응하여 조작 객체를 나타내는 2차원 또는 3차원 영상이나 이미지 데이터, 2차원 또는 3차원 게임, 3차원 아바타, 어플리케이션 등을 포함할 수 있다. 또한, 상기의 2차원 또는 3차원 영상이나 이미지 데이터, 2차원 또는 3차원 게임, 3차원 아바타, 어플리케이션을 획득할 수 있는 웹 서버 어드레스 정보를 포함할 수도 있다. 또한, 조작 객체가 상품인 경우, 조작 객체의 정보는 조작 객체의 제조업체, 제조일자, 온라인 또는 오프라인 판매장소, 가격 등과 같은 정보들을 더 포함할 수 있다.
사용자 입력 신호 생성부(330)는 마커 인식부(332)에 의한 마커 인식을 기반으로 조작 객체의 정보를 획득하여 조작 객체의 정보를 포함하는 사용자 입력 신호를 생성할 수 있다.
제어부(320)는 사용자 입력 신호에 포함된 조작 객체의 정보를 디스플레이 하거나, 조작 객체의 정보를 타 디스플레이 장치에 전송하도록 3차원 가상 객체의 동작을 제어할 수 있다.
예를 들어, 3차원 공간 내에 조작 객체가 감지될 경우, 사용자 입력 신호 생성부(330)는 마커 인식부(332)를 통해 조작 객체에 구비된 마커를 인식하고, 인식된 마커에 대응하는 조작 객체의 정보를 획득할 수 있다. 이 조작 객체가 인형과 같은 물체일 경우, 마커는 인형에 대응하는 특정 패턴을 포함할 수 있다. 따라서, 사용자 인력 신호 생성부(330)는 마커 인식 기반으로 마커에 대응하는 인형의 정보를 획득하여 이를 포함하는 사용자 입력 신호를 생성할 수 있다. 이 경우, 제어부(320)는 사용자 입력 신호에 포함된 인형의 정보를 3D 가상 객체 상에 디스플레이 하거나, 3D 디스플레이 장치(300)와 통신하는 타 디스플레이 장치로 전송할 수 있다.
피드백부(340)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생할 경우, 접촉, 삽입 및 접근 등의 발생에 대응하여 시각, 청각 및 촉각 등의 피드백 신호를 출력한다. 피드백부(340)의 동작은 제어부(320)에 의해 제어될 수 있다.
구체적으로, 3차원 공간 내에 조작 객체가 감지될 경우, 사용자 입력 신호 생성부(330)는 조작 객체 감지를 알리기 위한 알림 신호를 제어부(320)에 전달할 수 있으며, 제어부(320)는 상기 알림 신호에 따라 피드백부(340)의 동작을 제어할 수 있다.
사용자는 피드백부(340)를 통해 출력되는 시각, 청각 및 촉각 등의 피드백 신호를 통해 조작 객체가 3차원 공간에 접촉, 삽입, 접근되었음을 알 수 있다.
도 3에 도시된 3차원 디스플레이 장치(300)는 3차원 가상 객체와 매칭된 3차원 공간의 사용자 인터페이스를 제공할 수 있다. 따라서, 3차원 디스플레이 장치(300)는 3차원 디스플레이 환경에 적합한 사용자 인터페이스를 제공할 수 있다.
도 4는 다른 실시예에 따른 3차원 디스플레이 장치(400)의 구성을 나타내는 블록도이다. 도 4에 도시된 3차원 디스플레이 장치(400)는 컨텐츠 저장부(410), 디스플레이부(420), 사용자 입력 신호 생성부(430) 및 제어부(440)를 포함할 수 있다.
컨텐츠 저장부(410)는 3차원 가상 객체로 디스플레이 될 다양한 컨텐츠들을 저장할 수 있다.
디스플레이부(420)는 3차원 가상 객체를 디스플레이 할 수 있다. 3차원 가상 객체는 컨텐츠 저장부(410)에 저장된 컨텐츠들이 될 수 있다.
사용자 입력 신호 생성부(430)는 3차원 디스플레이 장치(400)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있으며, 감지 센서(431)및 카메라(432)를 포함할 수 있다.
감지 센서(431)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하는지를 감지하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생하는지를 감지할 수 있다.
카메라(432)는 3차원 공간 내에 조작 객체가 감지될 경우, 조작 객체를 촬영하여 조작 객체 영상을 생성한다.
사용자 입력 신호 생성부(430)는 조작 객체 영상을 포함하는 사용자 입력 신호를 생성할 수 있다.
제어부(440)는 사용자 입력 신호에 따라 3차원 가상 객체의 동작을 제어한다.
실시예에 따르면, 제어부(440)는 사용자 입력 신호에 포함된 조작 객체 영상을 디스플레이 하거나, 조작 객체의 형태를 타 디스플레이 장치에 전송하도록 3차원 가상 객체의 동작을 제어할 수 있다.
예를 들어, 3차원 공간 내에 조작 객체가 감지될 경우, 사용자 입력 신호 생성부(430)는 카메라(432)를 통해 조작 객체를 촬영하여 조작 객체 영상을 생성할 수 있다. 이 조작 객체가 꽃인 경우, 카메라(432)는 꽃을 촬영하여 꽃 영상을 생성할 수 있다. 따라서, 사용자 인력 신호 생성부(430)는 꽃 영상을 포함하는 사용자 입력 신호를 생성할 수 있다. 이 경우, 제어부(440)는 사용자 입력 신호에 포함된 꽃 영상을 3D 가상 객체 상에 디스플레이 하거나, 3D 디스플레이 장치(400)와 통신하는 타 디스플레이 장치로 전송할 수 있다.
다른 실시예에 따르면, 제어부(440)는 사용자 입력 신호에 포함된 조작 객체 영상을 분석하여 대표 픽셀값을 확인하고, 대표 픽셀값을 3차원 조작 객체에 적용하여 디스플레이 하도록 3차원 가상 객체의 동작을 제어할 수 있다. 구체적으로, 제어부(440)는 조작 객체 영상을 구성하는 전체 픽셀들의 픽셀값을 확인하여 가장 많은 픽셀값을 대표 픽셀값으로 정하거나, 전체 픽셀들의 평균 픽셀값을 대표 픽셀값으로 정할 수 있다. 제어부(440)는 3차원 가상 객체가 대표 픽셀값을 갖도록 디스플레이 할 수 있다.
다른 실시예에 따르면, 제어부(440)는 사용자 입력 신호에 포함된 조작 객체 영상을 이용하여 조작 객체의 형상 정보를 생성하고, 조작 객체의 형상 정보를 디스플레이 하도록 3차원 가상 객체의 동작을 생성할 수 있다.
예를 들어, 카메라(432)에 의해 직육면체 형상을 갖는 상자를 촬영한 경우, 이 상자를 포함하는 조작 객체 영상이 생성될 수 있다. 제어부(440)는 조작 객체 영상으로부터 조작 객체를 검출하여 조작 객체의 형상 정보를 생성할 수 있다. 조작 객체의 형상 정보란, 조작 객체의 생긴 모양이나 상태를 나타내는 2차원 이미지 데이터 또는 3차원 이미지 데이터가 될 수 있다. 따라서, 제어부(440)는 조작 객체인 상자에 대응하는 2차원 사각형 이미지 데이터 또는 3차원의 직육면체 이미지 데이터를 디스플레이하도록 3차원 가상 객체의 동작을 제어할 수 있다.
다른 실시예에 따르면, 사용자 입력 신호 생성부(430)는 컨텐츠가 실행되고 있는 상태에서, 3차원 공간 내에 조작 객체가 감지될 경우, 조작 객체와 실행 중인 컨텐츠를 연결시키고, 조작 객체와 컨텐츠를 포함한 사용자 입력 신호를 생성할 수 있다.
구체적으로, 컨텐츠가 실행되고 있는 상태에서 3차원 공간 내에 조작 객체가 감지될 경우, 카메라(432)는 조작 객체를 촬영하여 조작 객체 영상을 생성할 수 있다.
사용자 입력 신호 생성부(430)는 카메라(432)에 의해 생성된 조작 객체 영상으로부터 조작 객체를 검출하고, 이 조작 객체와 실행 중인 컨텐츠를 연결시킬 수 있으며, 상호 연결된 조작 객체와 컨텐츠를 포함한 사용자 입력 신호를 생성할 수 있다.
제어부(440)는 사용자 입력 신호에 포함된 조작 객체와 컨텐츠를 컨텐츠 저장부(410) 또는 별도의 메모리에 저장할 수 있다.
사용자 입력 신호 생성부(430)는 3차원 공간 내에 상기의 조작 객체가 재감지될 경우, 조작 객체와 연결된 컨텐츠를 읽어내어 컨텐츠를 실행시키기 위한 사용자 입력 신호를 생성할 수 있다. 이 과정에서, 사용자 입력 신호 생성부(430)는 조작 객체 영상으로부터 조작 객체를 검출하여 조작 객체의 재감지 여부를 판단할 수 있다.
제어부(440)는 컨텐츠 저장부(410) 또는 별도의 메모리로부터 조작 객체와 연결된 컨텐츠를 읽어내어 3차원 공간 상에 디스플레이할 수 있다. 이 실시예에 따르면, 사용자가 자주 사용하는 조작 객체를 컨텐츠와 연결시킴으로써, 컨텐츠를 보다 쉽게 실행시킬 수 있다.
도 5는 다른 실시예에 따른 3차원 디스플레이 장치의 구성을 나타내는 블록도이다. 도 5에 도시된 3차원 디스플레이 장치(500)는 컨텐츠 저장부(510), 디스플레이부(520), 사용자 입력 신호 생성부(530) 및 제어부(540)를 포함할 수 있다.
컨텐츠 저장부(510)는 3차원 가상 객체로 디스플레이 될 다양한 컨텐츠들을 저장할 수 있다.
디스플레이부(520)는 3차원 가상 객체를 디스플레이 할 수 있다. 3차원 가상 객체는 컨텐츠 저장부(510)에 저장된 컨텐츠들이 될 수 있다.
사용자 입력 신호 생성부(530)는 3차원 디스플레이 장치(500)의 동작을 조작하기 위하여 사용자와 상호 작용하는 사용자 인터페이스를 제공할 수 있으며, 감지 센서(531)및 통신부(532)를 포함할 수 있다.
감지 센서(531)는 3차원 가상 객체와 매칭된 3차원 공간으로 어떠한 접촉이나 삽입이 발생하는지를 감지하거나, 3차원 공간으로부터 미리 정해진 감지 거리 내에 어떠한 접근이 발생하는지를 감지할 수 있다.
통신부(532)는 통신 기능을 구비한 휴대 장치와 통신한다. 이 통신부(532)는 3차원 공간 내에 조작 객체가 감지된 경우, 통신 기능을 활성화하여 3차원 공간 내에 접촉, 삽입 또는 접근한 휴대 장치와 통신할 수 있다.
사용자 입력 신호 생성부(530)는 통신부(532)를 통해 휴대 장치에 미리 선택되어 있는 컨텐츠를 수신하여 컨텐츠가 포함된 사용자 입력 신호를 생성할 수 있다.
제어부(540)는 사용자 입력 신호에 포함된 컨텐츠를 실행하도록 3차원 가상객체의 동작을 제어할 수 있다.
예를 들어, 3차원 공간 내에 휴대 장치가 감지될 경우, 통신부(532)는 휴대 장치와 통신하여 휴대 장치에 미리 선택된 컨텐츠를 수신할 수 있다. 이 컨텐츠가 영화인 경우, 통신부(532)는 휴대 장치로부터 영화를 수신할 수 있다. 따라서, 사용자 인력 신호 생성부(530)는 영화를 포함하는 사용자 입력 신호를 생성할 수 있다. 이 경우, 제어부(540)는 사용자 입력 신호에 포함된 영화를 실행시켜 3D 가상 객체 상에 디스플레이 할 수 있다.
도 2 내지 도 5에서는 개별적인 실시예에 따른 3차원 디스플레이 장치(200, 300, 400, 500)을 도시 및 설명하였으나, 이들 장치(200, 300, 400, 500)는 다양한 실시예들이 결합된 형태로 구현될 수도 있다.
도 6 내지 도 10은 다양한 실시예들에 따른 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 6a 내지 도 6c 손가락 접촉을 이용하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 6a를 참조하면, 3차원 디스플레이 장치(600)는 3차원 가상 객체(610)를 디스플레이 한다. 도면에서 3차원 가상 객체(610)가 2차원의 평면으로 도시되어 있으나, 실제 환경에서 3차원 가상 객체(610)는 3차원 홀로그램과 같은 입체 영상으로 디스플레이 될 수 있다.
3차원 가상 객체(610)는 제1 사용자와 제2 사용자의 화상 통신 영상이 될 수 있다. 3차원 가상 객체(610)는 제1 사용자 영역(611) 및 제2 사용자 영역(613)을 포함한다.
제1 사용자 영역(611)은 3차원 디스플레이 장치(600)를 사용하는 제1 사용자가 디스플레이 되는 영역으로, 그 하단에는 3차원 디스플레이 장치(600)에 저장된 컨텐츠들이 리스트되는 제1 컨텐츠 영역(612)이 위치할 수 있다. 또한, 제2 사용자 영역(613)은 제1 사용자와 화상 통신을 하는 제2 사용자가 디스플레이 되는 영역이다.
3차원 디스플레이 장치(600)는 3차원 가상 객체(610)와 매칭된 가상의 3차원 공간을 형성하여 조작 객체를 감지할 수 있다.
도 6b에 도시된 바와 같이, 제1 사용자가 제1 컨텐츠 표시 영역(612)에 손가락을 위치시킨 후, 제2 사용자 영역(613)으로 손가락을 이동할 경우, 3차원 디스플레이 장치(600)는 드래그 앤 드롭 방식으로, 제1 컨텐츠 영역(612)에 리스트된 컨텐츠를 제2 사용자에게 전송할 수 있다. 이에 따라, 도 6c에 도시된 바와 같이, 제2 사용자 영역(613)의 하단에 위치한 제2 컨텐츠 영역(614)에 제2 사용자에게 전송된 컨텐츠가 디스플레이 될 수 있다.
즉, 도 6a 내지 도 6c에 도시된 실시예에 따르면, 3차원 디스플레이 장치(600)가 3차원 공간에서 조작 객체의 접촉 및 이동에 따른 x, y, z 좌표 정보를 추적하여 드래드 앤 드롭을 위한 사용자 입력 신호를 생성할 수 있다. 따라서, 그 x, y, z 좌표 정보를 3차원 가상 객체(610)에 적용함으로써, 컨텐츠를 제2 사용자 영역으로 드래그 앤 드롭할 수 있다.
도 7a 내지 도 7b는 마크 인식 기반으로 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 7a를 참조하면, 3차원 디스플레이 장치(700)는 3차원 가상 객체(710)를 디스플레이 한다. 3차원 디스플레이 장치(700)는 일 영역에 마커 인식을 위한 카메라 모듈(721)을 포함할 수 있다.
조작 객체가 3차원 가상 객체(710)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(700)는 카메라 모듈(721)을 통해 이 조작 객체에 구비된 마커를 인식할 수 있다. 즉, 도 7a에 도시된 것과 같이, 마커(731)을 구비한 인형(730)이 3차원 공간 내에 접촉, 삽입 또는 접근한 경우, 카메라 모듈(721)은 마커(731)를 인식하여 마커(731)에 대응하는 인형의 정보를 획득할 수 있다. 인형의 정보로는, 인형의 2차원 또는 3차원 이미지, 인형 제조업체, 제조일자, 온라인 또는 오프라인 판매장소, 가격 등과 같은 정보 등이 있을 수 있다.
3차원 디스플레이 장치(700)는 도 7b에 도시된 것과 같이, 마커 인식 기반으로 획득한 인형의 정보를 디스플레이하거나, 타 디스플레이 장치에 전송하도록 하기 위한 사용자 입력 신호를 생성할 수 있다. 따라서, 3차원 디스플레이 장치(700)는 인형의 정보를 3차원 가상 객체(710)에 디스플레이 할 수 있다.
도 7a 및 도 7b에서는 인형에 마커가 구비된 예를 설명하였으나, 인형과 같은 물체를 조작 객체로 사용하지 않고, 마커 자체를 조작 객체로 사용하여 그에 대응하는 조작 객체의 형태를 획득할 수도 있다.
도 8a 및 도 8b는 조작 객체를 촬영하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 8a를 참조하면, 3차원 디스플레이 장치(800)는 3차원 가상 객체(810)를 디스플레이 한다. 3차원 디스플레이 장치(800)는 일 영역에 카메라(821)을 포함할 수 있다.
조작 객체가 3차원 가상 객체(810)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(800)는 카메라(821)를 이용하여 조작 객체를 촬영할 수 있다. 즉, 도 8a에 도시된 것과 같이, 운동화(830)가 3차원 공간 내에 접촉, 삽입 또는 접근한 경우, 카메라(821)는 운동화(830)를 촬영하여 운동화 영상을 생성할 수 있다.
3차원 디스플레이 장치(800)는 운동화 영상을 디스플레이 하기 위한 사용자 입력 신호를 생성할 수 있으며, 이 사용자 입력 신호에 따라 운동화 영상을 3차원 가상 객체(810)에 디스플레이 할 수 있다.
도 9a 및 도 9b는 휴대 장치를 이용하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 9a를 참조하면, 3차원 디스플레이 장치(900)는 3차원 가상 객체(910)를 디스플레이 한다. 3차원 가상 객체(910)는 화상 통화 영상으로, 제1 사용자를 표시하는 제1 사용자 영역(911)과 전화 실행 영역(912)을 포함할 수 있다. 이 3차원 디스플레이 장치(900)에 휴대 장치(920)가 접촉, 삽입 또는 접근하는 것이 감지될 경우, 3차원 디스플레이 장치(900)는 휴대 장치(920)에 미리 선택된 컨텐츠, 예를 들어, 미리 선택된 제2 사용자의 연락처를 수신하고, 이를 포함한 사용자 입력 신호를 생성할 수 있다.
3차원 디스플레이 장치(900)는 사용자 입력 신호에 포함된 연락처로 전화를 실행하여 제1 사용자와 제2 사용자가 화상 통화를 할 수 있도록 한다. 이때, 3차원 디스플레이 장치(900)는 제2 사용자를 표시하는 제2 사용자 영역(913)을 디스플레이 할 수 있다.
도 9a 및 도 9b에서는 휴대 장치(920)에 저장된 컨텐츠를 3차원 디스플레이 장치(900)가 수신하는 실시예를 설명하였으나, 반대로 3차원 디스플레이 장치(900)에 저장된 컨텐츠를 휴대 장치(920)로 전송하는 것도 가능하다. 이 실시예는 도 10a 및 도 10b을 이용하여 설명한다.
도 10a를 참조하면, 3차원 디스플레이 장치(1000)는 3차원 가상 객체(1010)를 디스플레이 한다. 3차원 가상 객체(1010)는 제1 사용자와 제2 사용자의 화상 통신 영상으로, 제1 사용자를 표시하는 제1 사용자 영역(1020)과 제2 사용자를 표시하는 제2 사용자 영역(1030)을 포함할 수 있다.
만약, 3차원 가상 객체(1010)를 통해 제1 사용자와 제2 사용자 간에 음악 파일을 공유하고 있거나, 제2 사용자의 컨텐츠 영역(1040)에 음악 파일이 리스트되어 있는 상태에서, 3차원 디스플레이 장치(1000)에 휴대 장치(1050)가 접촉, 삽입 또는 접근하는 것이 감지될 경우, 3차원 디스플레이 장치(1000)는 상기 음악 파일을 휴대 장치(1050)로 전송하기 위한 사용자 입력 신호를 생성할 수 있다. 이 사용자 입력 신호에 따라, 3차원 디스플레이 장치(100)는 휴대 장치(1050)로 음악 파일을 전송할 수 있으며, 휴대 장치(1050)는 도 10b에 도시된 바와 같이, 음악 파일을 수신하여 재생할 수 있다.
도 11a 및 도 11b는 조작 객체를 촬영하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 11a를 참조하면, 3차원 디스플레이 장치(1100)는 3차원 가상 객체(1110)를 디스플레이 한다. 3차원 디스플레이 장치(1100)는 일 영역에 카메라(1120)를 포함할 수 있다. 카메라(1120)는 3차원 가상 객체 내에 포함된 것으로 도시하고 있으나, 이에 한정되지 않으며, 3차원 디스플레이 장치(1100)의 본체에 부착될 수도 있다.
조작 객체가 3차원 가상 객체(1110)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(1100)는 카메라(1120)를 이용하여 조작 객체를 촬영할 수 있다. 즉, 도 11a에 도시된 것과 같이, 바나나(1130)가 3차원 공간 내에 접촉, 삽입 또는 접근한 경우, 카메라(1120)는 바나나(1130)를 촬영하여 바나나 영상을 생성할 수 있다.
3차원 디스플레이 장치(1100)는 이 바나나 영상의 대표 픽셀값을 3차원 가상 공간에 적용하기 위한 사용자 입력 신호를 생성할 수 있다. 이 사용자 입력 신호에 따라, 3차원 디스플레이 장치(1100)는 바나나 영상을 분석하여 대표 픽셀값을 확인하고, 대표 픽셀값을 3차원 가상 객체에 적용하여 디스플레이 하도록 3차원 가상 객체의 동작을 제어할 수 있다. 이 동작에 의해 3차원 가상 객체의 배경 화면이, 도 11b에 도시된 것과 같이, 바나나 영상의 대표 픽셀값인 "옐로우" 색상으로 변경될 수 있다.
도 11b에서와 같이, 바나나 영상의 대표 픽셀값을 3차원 가상 객체의 배경 화면 전체에 적용할 수도 있으나, 배경 화면 일부에 적용할 수도 있다.
바나나 영상이 생성된 이후, 3차원 공간 내에서 조작 객체가 감지될 경우, 3차원 디스플레이 장치(1100)는 3차원 공간에서 조작 객체의 접촉 및 이동에 따른 x, y, z 좌표 정보를 추적하여 바나나 영상의 대표 픽셀값을 적용할 영역을 설정할 수 있다. 이 같은 방법으로 설정된 일부 영역에 바나나 영상의 대표 픽셀값인 "옐로우" 색상을 적용함으로써, 필요에 따라 부분적으로 3차원 가상 객체의 색상을 변경할 수 있다.
도 12a 및 도 12b는 조작 객체를 촬영하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 12a를 참조하면, 3차원 디스플레이 장치(1200)는 3차원 가상 객체(1210)를 디스플레이 한다. 3차원 디스플레이 장치(1200)는 일 영역에 카메라(1220)를 포함할 수 있다.
조작 객체가 3차원 가상 객체(1210)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(1200)는 카메라(1220)를 이용하여 조작 객체를 촬영할 수 있다. 즉, 도 12a에 도시된 것과 같이, 직육면체 형상을 갖는 상자(1230)가 3차원 공간 내에 접촉, 삽입 또는 접근한 경우, 카메라(1220)는 상자(1230)를 촬영하여 상자 영상을 생성할 수 있다.
3차원 디스플레이 장치(1200)는 이 상자 영상으로부터 상자(1230)를 검출하여 상자의 형상 정보를 생성할 수 있으며, 상자의 형상 정보를 디스플레이 하기 위한 사용자 입력 신호를 생성할 수 있다. 상자의 형상 정보는 상자의 생긴 모양이나 상태를 나타내는 2차원 이미지 데이터 또는 3차원 이미지 데이터가 될 수 있다.
사용자 입력 신호에 따라, 3차원 디스플레이 장치(1200)는 상자(1230)에 대응하는 2차원의 사각형 이미지 데이터 또는 3차원의 직육면체 이미지 데이터를 디스플레이 하도록 3차원 가상 객체의 동작을 제어할 수 있다. 이 동작에 의해 그리기, 편집 등의 어플리케이션 실행시, 필요한 이미지 데이터를 생성하여 디스플레이할 수 있다.
도 13은 조작 객체를 이용하여 3차원 가상 객체의 동작을 제어하는 사용자 인터페이스 방법을 설명하기 위한 모식도이다.
도 13을 참조하면, 3차원 디스플레이 장치(1300)는 3차원 가상 객체(1310) 상에 영화 컨텐츠(1330)를 디스플레이 한다.
영화 컨텐츠(1330)가 실행되고 있는 상태에서, 볼펜(pen)(1340)이 3차원 가상 객체(1310)와 매칭된 3차원 공간 내에 감지된 경우, 3차원 디스플레이 장치(1300)는 이 볼펜(1340)과 영화 컨텐츠(1330)를 연결시키고, 상호 연결된 볼펜(1340)과 영화 컨텐츠(1330)를 저장하기 위한 사용자 입력 신호를 생성할 수 있다.
도 13에 도시되어 있지는 않으나, 3차원 디스플레이 장치(1300)에 구비된 카메라(1220)를 이용하여 볼펜(1340)을 촬영하고, 볼펜 영상을 생성할 수 있다. 이 볼펜 영상에서 조작 객체에 해당하는 볼펜(1340)을 검출하고, 이 볼펜(1340)과 실행 중인 영화 컨텐츠(1330)를 연결시킬 수 있다.
3차원 디스플레이 장치(1300)는 상호 연결된 볼펜(1340)과 영화 컨텐츠(1330)를 저장하기 위한 사용자 입력 신호를 생성할 수 있다. 이 사용자 입력 신호에 따라 3차원 디스플레이 장치(1300)는 상호 연결된 볼펜(1340)과 영화 컨텐츠(1330)를 별도의 메모리에 저장할 수 있다. 즉, '볼펜-영화 컨텐츠'를 저장할 수 있다.
이후, 볼펜(pen)(1340)이 3차원 가상 객체(1310)와 매칭된 3차원 공간 내에 재감지된 경우, 3차원 디스플레이 장치(1300)는 볼펜(1340)과 연결된 영화 컨텐츠(1330)를 실행시키기 위한 사용자 입력 신호를 생성할 수 있다. 이 사용자 입력 신호에 따라, 3차원 디스플레이 장치(1300)는 볼펜(1340)과 연결된 영화 컨텐츠(1330)을 읽어내어 실행시킬 수 있다.
도 6 내지 도 13에 도시된 실시예들에 따르면, 3차원 디스플레이 장치들(700, 800, 900, 1000, 1100, 1200, 1300)은 3차원 가상 객체와 매칭된 3차원 공간 내에서 조작 객체를 감지하여 3차원 가상 객체의 동작을 제어하는 것으로, 3차원 디스플레이 환경에 적합한 사용자 인터페이스를 제공할 수 있다. 따라서, 사용자는 3차원 가상 객체 자체를 사용자 인터페이스 화면으로 이용할 수 있어 3차원 가상 객체를 통해 구현할 수 있는 다양한 동작들을 손쉽게 조작할 수 있다.
도 14는 일 실시예에 따른 사용자 인터페이스 방법을 설명하는 흐름도이다. 도 14를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1410 단계). 3차원 디스플레이 장치는 3차원 가상 객체가 디스플레이 되면, 3차원 가상 객체에 매칭된 가상의 3차원 공간을 형성할 수 있다.
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1420 단계), 3차원 디스플레이 장치는 조작 객체에 따른 사용자 입력 신호를 생성한다(1430 단계).
3차원 디스플레이 장치는 사용자 입력 신호에 따라 3차원 가상 객체의 동작을 제어한다(1440 단계).
도 15 내지 도 21은 다양한 실시예에 따른 사용자 인터페이스 방법을 설명하는 흐름도이다.
도 15에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1510 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1520 단계), 3차원 디스플레이 장치는 3차원 공간에서 x, y, z 좌표 정보를 추적하여 사용자 입력 신호를 생성한다(1530 단계).
3차원 디스플레이 장치는 x, y, z 좌표 정보를 3차원 가상 객체에 적용하여 3차원 가상 객체의 동작을 제어한다(1540 단계).
도 16에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1610 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1620 단계), 3차원 디스플레이 장치는 마커 인식 기반으로 조작 객체의 형태를 획득하여 사용자 입력 신호를 생성한다(1630 단계). 구체적으로, 3차원 공간 내에 마커를 구비한 조작 객체가 삽입 또는 접근될 경우, 3차원 디스플레이 장치는 이 마커를 인식하고 이 마커에 대응하는 조작 객체의 형태를 획득할 수 있다. 따라서, 3차원 디스플레이 장치는 조작 객체의 형태를 포함하는 사용자 입력 신호를 생성할 수 있다.
3차원 디스플레이 장치는 조작 객체의 형태를 디스플레이 하도록 3차원 가상 객체의 동작을 제어한다(1640 단계).
도 17에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1710 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1720 단계), 3차원 디스플레이 장치는 조작 객체를 촬영하여 조작 객체 영상을 포함하는 사용자 입력 신호를 생성한다 (1730 단계).
3차원 디스플레이 장치는 사용자 입력 신호에 포함된 조작 객체의 영상을 디스플레이 하도록 3차원 객체의 동작을 제어한다(1740 단계).
도 18에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1810 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 휴대 장치가 감지된 경우(1820 단계), 3차원 디스플레이 장치는 휴대 장치에 미리 선택되어 있는 컨텐츠를 수신하여 사용자 입력 신호를 생성한다(1830 단계).
3차원 디스플레이 장치는 사용자 입력 신호에 포함된 컨텐츠를 실행하도록 3차원 가상 객체의 동작을 제어한다(1840 단계).
도 19에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(1910 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(1920 단계), 3차원 디스플레이 장치는 조작 객체를 촬영하여 조작 객체 영상을 포함하는 사용자 입력 신호를 생성한다(1930 단계). 이 경우, 조작 객체 영상을 포함하는 사용자 입력 신호는, 조작 객체 영상의 대표 픽셀값을 배경 화면에 적용하기 위한 것일 수 있다.
이 사용자 입력 신호에 따라, 3차원 디스플레이 장치는 조작 객체 영상을 분석하여 대표 픽셀값을 확인하고(1940 단계), 대표 픽셀값을 3차원 가상 객체에 적용한다(1950 단계). 즉, 3차원 디스플레이 장치는 3차원 가상 객체의 배경 화면이 대표 픽셀값을 갖도록 색상을 변경할 수 있다.
도 20에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이 한다(2010 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(2020 단계), 3차원 디스플레이 장치는 조작 객체를 촬영하여 조작 객체 영상을 포함하는 사용자 입력 신호를 생성한다(2030 단계). 이 경우, 조작 객체 영상을 포함하는 사용자 입력 신호는, 조작 객체의 형상 정보를 디스플레이 하기 위한 것일 수 있다.
이 사용자 입력 신호에 따라, 3차원 디스플레이 장치는 조작 객체 영상을 이용하여 조작 객체의 형상 정보를 생성하고(2040 단계), 조작 객체의 형상 정보를 디스플레이 하도록 3차원 가상 객체의 동작을 제어한다(2050 단계).
도 21에 도시된 실시예를 참조하면, 3차원 디스플레이 장치는 3차원 가상 객체를 디스플레이하고(2110 단계), 이 3차원 가상 객체를 통해 컨텐츠를 실행한다(2120 단계).
3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 감지된 경우(2130 단계), 3차원 디스플레이 장치는 조작 객체와 실행 중인 컨텐츠를 포함하는 사용자 입력 신호를 생성한다(2140 단계). 이 경우, 사용자 입력 신호에 포함된 조작 객체와 컨텐츠를 상호 연결될 수 있으며, 사용자 입력 신호는 조작 객체와 컨텐츠를 저장하기 위한 것일 수 있다.
이 사용자 입력 신호에 따라, 3차원 디스플레이 장치는 사용자 입력 신호에 포함된 조작 객체와 컨텐츠를 저장한다(2150 단계).
이후, 3차원 가상 객체와 매칭된 3차원 공간 내에 조작 객체가 재감지된 경우(2160 단계), 3차원 디스플레이 장치는 조작 객체와 연결된 컨텐츠를 실행시키기 위한 사용자 입력 신호를 생성하고(2170 단계), 이 사용자 입력 신호에 따라 컨텐츠를 실행한다(2180 단계). 즉, 2130 단계를 통해 감지된 조작 객체가 다시 감지될 경우, 사용자가 별도로 조작할 필요 없이 이 조작 객체와 연결된 컨텐츠를 읽어내어 실행시킬 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (32)

  1. 3차원 가상 객체를 디스플레이하는 디스플레이부;
    상기 3차원 가상 객체와 매칭된 3차원 공간 내에서 상기 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 사용자 입력 신호 생성부; 및
    상기 사용자 입력 신호에 따라 상기 3차원 가상 객체의 동작을 제어하는 제어부
    를 포함하는 3차원 디스플레이 장치.
  2. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 조작 객체를 감지하기 위한 감지 센서를 포함하는, 3차원 디스플레이 장치.
  3. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체의 접촉 및 이동에 따라 상기 3차원 공간에서 x, y, z 좌표 정보를 추적하여 상기 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 x, y, z 좌표 정보를 상기 3차원 공간에 매칭된 상기 3차원 가상 객체에 적용하여, 상기 3차원 가상 객체에서 상기 x, y, z 좌표 정보에 대응하는 동작을 제어하는, 3차원 디스플레이 장치.
  5. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체에 구비된 마커(marker)를 인식하는 마커 인식부를 포함하고,
    상기 마커 인식부에 의한 마커(marker) 인식을 기반으로 상기 조작 객체의 정보를 획득하여 상기 조작 객체의 정보를 포함하는 상기 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체의 정보를 디스플레이 하거나, 상기 조작 객체의 정보를 타 디스플레이 장치에 전송하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  7. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체를 촬영하여 조작 객체 영상을 생성하는 카메라를 포함하고,
    상기 조작 객체 영상을 포함하는 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  9. 제7항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 분석하여 대표 픽셀값을 확인하고, 상기 대표 픽셀값을 상기 3차원 가상 객체에 적용하여 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  10. 제7항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 이용하여 상기 조작 객체의 형상 정보를 생성하고, 상기 조작 객체의 형상 정보를 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  11. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    컨텐츠가 실행되고 있는 상태에서 상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체와 컨텐츠를 연결시키고, 상기 조작 객체와 상기 컨텐츠를 포함한 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체와 상기 컨텐츠를 저장하는, 3차원 디스플레이 장치.
  13. 제12항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 상기 조작 객체가 재감지될 경우, 상기 조작 객체와 연결된 상기 컨텐츠를 읽어내어 상기 컨텐츠를 실행시키기 위한 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  14. 제1항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 3차원 공간 내에 사용자 신체, 물체 및 통신 기능을 구비한 휴대 장치 중 적어도 어느 하나를 상기 조작 객체로 감지하는, 3차원 디스플레이 장치.
  15. 제14항에 있어서,
    상기 사용자 입력 신호 생성부는,
    상기 휴대 장치와 통신하는 통신부를 포함하고,
    상기 3차원 공간 내에 상기 휴대 장치가 감지된 경우, 상기 통신부를 통해상기 휴대 장치에 미리 선택되어 있는 컨텐츠를 수신하여 상기 컨텐츠를 포함한 상기 사용자 입력 신호를 생성하는, 3차원 디스플레이 장치.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 사용자 입력 신호에 포함된 상기 컨텐츠를 실행하도록 상기 3차원 가상 객체의 동작을 제어하는, 3차원 디스플레이 장치.
  17. 3차원 가상 객체를 디스플레이하는 단계;
    상기 3차원 가상 객체와 매칭된 3차원 공간 내에서 상기 3차원 가상 객체의 동작을 조작하기 위한 조작 객체를 감지하여 사용자 입력 신호를 생성하는 단계; 및
    상기 사용자 입력 신호에 따라 상기 3차원 가상 객체의 동작을 제어하는 단계
    를 포함하는 사용자 인터페이스 방법.
  18. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체의 접촉 및 이동에 따라 상기 3차원 공간에서 x, y, z 좌표 정보를 추적하여 상기 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  19. 제18항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 x, y, z 좌표 정보를 상기 3차원 공간에 매칭된 상기 3차원 가상 객체에 적용하여, 상기 3차원 가상 객체에서 상기 x, y, z 좌표 정보에 대응하는 동작을 제어하는, 사용자 인터페이스 방법.
  20. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체에 구비된 마커(marker)를 인식하는 단계를 포함하고,
    상기 마커 인식부에 의한 마커(marker) 인식을 기반으로 상기 조작 객체의 정보를 획득하여 상기 조작 객체의 정보를 포함하는 상기 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  21. 제20항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체의 정보를 디스플레이 하거나, 상기 조작 객체의 정보를 타 디스플레이 장치에 전송하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  22. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체를 촬영하여 조작 객체 영상을 생성하는 단계를 포함하고,
    상기 조작 객체 영상을 포함하는 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  23. 제22항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  24. 제22항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 분석하여 대표 픽셀값을 확인하고, 상기 대표 픽셀값을 상기 3차원 가상 객체에 적용하여 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  25. 제22항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체 영상을 이용하여 상기 조작 객체의 형상 정보를 생성하고, 상기 조작 객체의 형상 정보를 디스플레이 하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  26. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    컨텐츠가 실행되고 있는 상태에서 상기 3차원 공간 내에 상기 조작 객체가 감지될 경우, 상기 조작 객체와 상기 컨텐츠를 연결시키고, 상기 조작 객체와 상기 컨텐츠를 포함한 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  27. 제26항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 조작 객체와 상기 컨텐츠를 저장하는, 사용자 인터페이스 방법.
  28. 제27항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 조작 객체가 재감지될 경우, 상기 조작 객체와 연결된 상기 컨텐츠를 읽어내어 상기 컨텐츠를 실행시키기 위한 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  29. 제17항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 사용자 신체, 물체 및 통신 기능을 구비한 휴대 장치 중 적어도 어느 하나를 상기 조작 객체로 감지하는, 사용자 인터페이스 방법.
  30. 제29항에 있어서,
    상기 사용자 입력 신호를 생성하는 단계는,
    상기 3차원 공간 내에 상기 휴대 장치가 감지된 경우, 상기 휴대 장치와 통신하는 단계를 포함하고,
    상기 휴대 장치에 미리 선택되어 있는 컨텐츠를 수신하여 상기 컨텐츠가 포함된 상기 사용자 입력 신호를 생성하는, 사용자 인터페이스 방법.
  31. 제30항에 있어서,
    상기 3차원 가상 객체의 동작을 제어하는 단계는,
    상기 사용자 입력 신호에 포함된 상기 컨텐츠를 실행하도록 상기 3차원 가상 객체의 동작을 제어하는, 사용자 인터페이스 방법.
  32. 제17항 내지 제31항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2013/001807 2012-10-30 2013-03-06 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법 WO2014069722A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/439,148 US10180766B2 (en) 2012-10-30 2013-03-06 Three-dimensional display device and user interfacing method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0121328 2012-10-30
KR1020120121328A KR101927150B1 (ko) 2012-10-30 2012-10-30 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법

Publications (1)

Publication Number Publication Date
WO2014069722A1 true WO2014069722A1 (ko) 2014-05-08

Family

ID=50627603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001807 WO2014069722A1 (ko) 2012-10-30 2013-03-06 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법

Country Status (3)

Country Link
US (1) US10180766B2 (ko)
KR (1) KR101927150B1 (ko)
WO (1) WO2014069722A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089624B1 (ko) * 2013-09-02 2020-03-16 삼성전자주식회사 이미지를 합성하기 위한 방법 및 그 전자 장치
KR101689321B1 (ko) 2014-05-30 2017-01-02 성균관대학교산학협력단 방사성 화합물 합성 장치용 인터페이스 및 그의 조작방법
KR101528485B1 (ko) * 2014-06-16 2015-06-12 한국과학기술정보연구원 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법
US10824294B2 (en) * 2016-10-25 2020-11-03 Microsoft Technology Licensing, Llc Three-dimensional resource integration system
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142068A1 (en) * 1998-07-01 2003-07-31 Deluca Michael J. Selective real image obstruction in a virtual reality display apparatus and method
KR20110054256A (ko) * 2009-11-17 2011-05-25 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120009897A (ko) * 2010-07-22 2012-02-02 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
US20120206574A1 (en) * 2011-02-15 2012-08-16 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US20120223882A1 (en) * 2010-12-08 2012-09-06 Primesense Ltd. Three Dimensional User Interface Cursor Control

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
JP2001100906A (ja) 1999-09-30 2001-04-13 Suzuki Motor Corp 三次元データ表示装置
US6344863B1 (en) 1999-11-24 2002-02-05 International Business Machines Corporation Three-dimensional GUI windows with variable-speed perspective movement
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US20030001906A1 (en) 2001-06-28 2003-01-02 Light John J. Moving an object on a drag plane in a virtual three-dimensional space
US20070011617A1 (en) 2005-07-06 2007-01-11 Mitsunori Akagawa Three-dimensional graphical user interface
JP2007317050A (ja) 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
KR101345341B1 (ko) 2006-12-13 2013-12-27 삼성전자 주식회사 파일 전송을 위한 사용자 인터페이스를 제공하는 장치 및방법
JP2008257442A (ja) 2007-04-04 2008-10-23 Sharp Corp 電子掲示装置
US7881901B2 (en) 2007-09-18 2011-02-01 Gefemer Research Acquisitions, Llc Method and apparatus for holographic user interface communication
JP4453738B2 (ja) 2007-10-18 2010-04-21 ソニー株式会社 ファイル転送方法、装置、およびプログラム
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
KR101651568B1 (ko) 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
CN102053776B (zh) 2009-10-29 2013-11-06 深圳富泰宏精密工业有限公司 桌面管理系统及方法
KR101743948B1 (ko) 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
KR101121746B1 (ko) 2010-04-19 2012-03-22 한국전자통신연구원 3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치
KR20120000663A (ko) 2010-06-28 2012-01-04 주식회사 팬택 3ｄ 객체 처리 장치
KR101156734B1 (ko) 2010-11-05 2012-06-14 전자부품연구원 테이블 타입 인터렉티브 3차원 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142068A1 (en) * 1998-07-01 2003-07-31 Deluca Michael J. Selective real image obstruction in a virtual reality display apparatus and method
KR20110054256A (ko) * 2009-11-17 2011-05-25 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120009897A (ko) * 2010-07-22 2012-02-02 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
US20120223882A1 (en) * 2010-12-08 2012-09-06 Primesense Ltd. Three Dimensional User Interface Cursor Control
US20120206574A1 (en) * 2011-02-15 2012-08-16 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method

Also Published As

Publication number Publication date
US20150293666A1 (en) 2015-10-15
KR20140055054A (ko) 2014-05-09
US10180766B2 (en) 2019-01-15
KR101927150B1 (ko) 2018-12-10

Similar Documents

Publication Publication Date Title
WO2014069722A1 (ko) 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
WO2020141924A1 (en) Apparatus and method of generating map data of cleaning space
WO2017039308A1 (en) Virtual reality display apparatus and display method thereof
EP3281058A1 (en) Virtual reality display apparatus and display method thereof
WO2015156465A1 (en) Flexible glass display apparatus and method for controlling the same
WO2014175592A1 (en) Moving robot, user terminal apparatus and control method thereof
EP3342160A1 (en) Display apparatus and control methods thereof
WO2016204357A1 (ko) 이동 단말기 및 그 제어 방법
WO2017065535A1 (ko) 전자 장치 및 그 제어 방법
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2020130648A1 (en) Electronic device for adaptively altering information display area and operation method thereof
WO2020149689A1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2017052150A1 (en) User terminal device, electronic device, and method of controlling user terminal device and electronic device
WO2021133053A1 (ko) 전자 장치 및 그의 제어 방법
WO2018124823A1 (en) Display apparatus and controlling method thereof
WO2018135675A1 (ko) 전자장치
WO2020159302A1 (ko) 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
WO2016080662A1 (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
WO2016047824A1 (ko) 화상 정보 영사 장치 및 그 영사 장치의 제어 방법
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2016122153A1 (en) Display apparatus and control method thereof
WO2020171342A1 (ko) 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2020091182A1 (ko) 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
WO2017119536A1 (ko) 모바일 디바이스 및 모바일 디바이스의 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13852143

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14439148

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13852143

Country of ref document: EP

Kind code of ref document: A1