WO2024043424A1 - 감지된 객체를 이용한 컨텐츠 제공 장치 - Google Patents

감지된 객체를 이용한 컨텐츠 제공 장치 Download PDF

Info

Publication number
WO2024043424A1
WO2024043424A1 PCT/KR2023/003399 KR2023003399W WO2024043424A1 WO 2024043424 A1 WO2024043424 A1 WO 2024043424A1 KR 2023003399 W KR2023003399 W KR 2023003399W WO 2024043424 A1 WO2024043424 A1 WO 2024043424A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
user
content
processor
sensor
Prior art date
Application number
PCT/KR2023/003399
Other languages
English (en)
French (fr)
Inventor
김필재
Original Assignee
김필재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230032386A external-priority patent/KR20240027520A/ko
Application filed by 김필재 filed Critical 김필재
Publication of WO2024043424A1 publication Critical patent/WO2024043424A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • Embodiments relate to a content providing device using a detected object.
  • a transparent display may refer to a display in which the area where the display appears is transparent so that objects behind the display are visible.
  • a content providing device includes a display consisting of a plurality of pixels or a plurality of voxels, a first sensor that detects the shape of a user of the display, and an object located outside the display. a second sensor for detecting the position of the user's eye based on the shape of the user, and mapping the object to the display based on the shape of the object and the position of the eye. and a processor that provides content about the object to the user by generating control signals for voxels.
  • the display may include a transparent display, a light field display, a hologram display, or a volumetric display, and the first sensor directly or indirectly measures the position of the eye/
  • An arbitrary sensor that can estimate for example, includes an image sensor
  • the second sensor is an arbitrary sensor that can directly or indirectly estimate or extract information about an object on the back of the display, for example, LIDAR ( It may include Light Detection And Ranging (LiDAR), Radio Detection And Ranging (RADAR), or image sensors.
  • LIDAR It may include Light Detection And Ranging (LiDAR), Radio Detection And Ranging (RADAR), or image sensors.
  • the processor may map the object to the pixel or voxel based on the location of the object, the size of the object, the shape of the object, the material of the object, the reflectivity of the object, and the transparency of the object.
  • the processor may acquire the user's motion based on the user's shape and generate content to be provided to the user based on the motion and the shape of the object.
  • the processor may measure the user's gaze time on the object based on the eye position and generate content by considering the gaze time.
  • the user's movement may be the user's eye movement
  • the processor may estimate not only the eye movement but also the future position of the eye through data processing.
  • the processor determines the dimension of the content in response to the user's selection, and determines the dimension, the outline of the target object, the color of the target object, the type of the target object, the material of the target object, the target object, and
  • the content may be generated based on the distance between the displays and the distance between the display and the user.
  • FIG. 1 shows a schematic block diagram of a content providing device according to an embodiment.
  • FIG. 2 shows an example of implementation of the content providing device shown in FIG. 1.
  • Figure 3 is a diagram for explaining the process of detecting the position of the user's eyes.
  • FIGS. 4A and 4B are diagrams for explaining a method of expressing objects and content on a display.
  • FIG. 5 shows the results of tracking the user's eyes.
  • FIG. 6 shows an example of the operation of the content providing device shown in FIG. 1.
  • Figure 7 shows an example of a flow chart of the content provision process.
  • FIG. 8 shows a flowchart of the operation of the content providing device shown in FIG. 1.
  • first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component.
  • a first component may be named a second component, and similarly, the second component may also be named a first component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • ' ⁇ unit' refers to software or hardware components such as FPGA or ASIC, and ' ⁇ unit' performs certain roles.
  • ' ⁇ part' is not limited to software or hardware.
  • the ' ⁇ part' may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors.
  • ' ⁇ part' refers to software components, object-oriented software components, components such as class components and task components, processes, functions, properties, procedures, May include subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and 'parts' may be combined into a smaller number of components and 'parts' or may be further separated into additional components and 'parts'.
  • the components and 'parts' reproduce all types of processor units, including one or more CPUs, NPUs, APs, or processors that process data with quantum mechanical properties, within the device or secure multimedia card. It may also be implemented as follows. Additionally, ' ⁇ part' may include one or more processors.
  • FIG. 1 shows a schematic block diagram of a content providing device according to an embodiment.
  • the content providing device 10 may provide content to the user of the content providing device 10.
  • Content may include digital information that can be enjoyed with human senses.
  • content may include visual content and/or auditory content.
  • the content providing device 10 includes a processor 100, a memory 200, a first sensor 310, a second sensor 320, and a display 400.
  • the first sensor 310 and the second sensor 320 may be provided as separate entities, but depending on the embodiment, the first sensor 310 and the second sensor 320 are in the form of a single sensor 300. It may be implemented.
  • the content providing device 10 may be implemented with a printed circuit board (PCB) such as a motherboard, an integrated circuit (IC), or a system on chip (SoC).
  • PCB printed circuit board
  • IC integrated circuit
  • SoC system on chip
  • the enterprise risk management device 10 may be implemented with an application processor.
  • the content providing device 10 may be implemented inside or outside the display 400.
  • the content providing device 10 may be implemented in a personal computer (PC), a data server, or a portable device.
  • PC personal computer
  • data server data server
  • portable device a portable device
  • Portable devices include laptop computers, mobile phones, smart phones, tablet PCs, mobile internet devices (MIDs), personal digital assistants (PDAs), and enterprise digital assistants (EDAs). , digital still camera, digital video camera, portable multimedia player (PMP), personal navigation device or portable navigation device (PND), handheld game console, e-book ( It can be implemented as an e-book) or a smart device.
  • a smart device is a smart device, such as a smart watch, smart band, smart ring, smart glass type glasses or helmet, that is used in an external environment rather than a computer used in a fixed location. It can be implemented as a smart device that can be used while being used or moved.
  • the processor 100 may process data stored in the memory 200.
  • the processor 100 may execute computer-readable code (eg, software) stored in the memory 200 and instructions triggered by the processor 100 .
  • the processor 100 may be a data processing device implemented in hardware that has a circuit with a physical structure for executing desired operations.
  • the intended operations may include code or instructions included in the program.
  • data processing devices include microprocessors, central processing units, processor cores, multi-core processors, multiprocessors, and ASICs (application applications). It may be implemented as hardware including a -Specific Integrated Circuit) and FPGA (Field Programmable Gate Array), or may be implemented as a VM (Virtual machine) and include a vCPU.
  • microprocessors central processing units, processor cores, multi-core processors, multiprocessors, and ASICs (application applications). It may be implemented as hardware including a -Specific Integrated Circuit) and FPGA (Field Programmable Gate Array), or may be implemented as a VM (Virtual machine) and include a vCPU.
  • VM Virtual machine
  • Processor 100 may include a receiving interface. Processor 100 may receive data from external sources or memory 200.
  • the memory 200 may store data for calculation or calculation results.
  • the memory 200 may store instructions (or programs) that can be executed by a processor.
  • the instructions may include instructions for executing the operation of the processor and/or the operation of each component of the processor.
  • the memory 200 may be implemented as a volatile memory device or a non-volatile memory device.
  • Volatile memory devices include video random access memory (vRAM), dynamic random access memory (DRAM), static random access memory (SRAM), thyristor RAM (T-RAM), zero capacitor RAM (Z-RAM), or twin transistor RAM (TTRAM).
  • vRAM video random access memory
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • T-RAM thyristor RAM
  • Z-RAM zero capacitor RAM
  • TTRAM twin transistor RAM
  • RAM can be implemented as any type of device that temporarily stores variables or data processed by a processor, such as a volatile memory device driven by a quantum mechanical mechanism.
  • Non-volatile memory devices include EEPROM (Electrically Erasable Programmable Read-Only Memory), flash memory, MRAM (Magnetic RAM), Spin-Transfer Torque (STT)-MRAM (MRAM), and Conductive Bridging RAM (CBRAM). , FeRAM (Ferroelectric RAM), PRAM (Phase change RAM), Resistive RAM (RRAM), Nanotube RRAM (Nanotube RRAM), Polymer RAM (PoRAM), Nano Floating Gate Memory (NFGM), holographic memory, molecular electronic memory device, or insulation resistance change memory.
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • flash memory includes MRAM (Magnetic RAM), Spin-Transfer Torque (STT)-MRAM (MRAM), and Conductive Bridging RAM (CBRAM).
  • FeRAM Feroelectric RAM
  • PRAM Phase change RAM
  • Resistive RAM RRAM
  • Nanotube RRAM Nanotube RRAM
  • Polymer RAM PoRAM
  • NFGM Nano Floating Gate
  • hard disk virtualization may be applied to non-volatile memory devices, and may be implemented as any type of device that temporarily stores variables or data processed by a processor, such as a non-volatile memory device driven by a quantum mechanical mechanism.
  • the non-volatile memory device may be implemented by virtualized hardware.
  • the first sensor 310 can detect the user's shape.
  • the user may be a user located within a predetermined distance around the display, and the first sensor 310 is implemented as any type of sensor that can directly or indirectly estimate or extract the position of the eye.
  • the position of can be detected, and as an example, the first sensor 310 may include an image sensor.
  • the second sensor 320 may be implemented as any sensor that can directly or indirectly estimate or extract information about an object outside the display (e.g., the back).
  • the second sensor 320 may be It may include LiDAR (Light Detection And Ranging), RADAR (RAdio Detection And Ranging), or an image sensor.
  • Objects may include objects that can be detected using electromagnetic waves. Objects can contain things.
  • the display 400 may refer to an electronic device that outputs visual information.
  • the display 400 may be composed of a plurality of pixels or a plurality of voxels.
  • the display 400 may include a transparent display, such as a transparent display, a light field display, a hologram display, or a volumetric display, in which part or all of the electromagnetic waves on the back of the display are visible through transmission. You can.
  • the processor 100 may detect the position of the user's eyes based on the user's shape.
  • the processor 100 may provide content about an object to a user by generating a pixel or voxel control signal for mapping the object to the display 400 based on the shape of the object and the position of the eye.
  • the processor 100 may map the object into pixels or voxels based on the location of the object, the size of the object, the shape of the object, the material of the object, the reflectivity of the object, and the transparency of the object.
  • the processor 100 may measure the user's gaze time on the object based on the position of the eyes.
  • the processor 100 may acquire the user's motion based on the user's shape.
  • the processor 100 may generate content to be provided to the user based on gaze time, movement, and shape of the object.
  • the processor 100 may determine a target object to be included in content based on the gaze time. Processor 100 may determine the dimension of content in response to the user's selection. However, a configuration for determining target objects to be included in content based on gaze time may be optionally included depending on implementation.
  • the processor 100 controls content based on the dimensions, the outline of the target object, the color of the target object, the type of the target object, the material of the target object, the distance between the target object and the display 400, and the distance between the display 400 and the user. can be created.
  • FIG. 2 shows an example of implementation of the content providing device shown in FIG. 1.
  • a content providing device may include a processor (eg, processor 100 of FIG. 1 ) and a sensor 300 .
  • the processor 100 and sensor 300 may be implemented on the display 400 or inside the display 400.
  • the processor 100 may include a tracker 110, a gaze direction detector 130, an object recognizer 150, and a content provider 170.
  • the sensor 300 may include a first sensor and a second sensor.
  • the first sensor may include any sensor capable of directly or indirectly estimating or extracting the position of the eye, and may include, for example, an image sensor or a sensor that detects biological signals.
  • the first sensor may detect the user's shape or simply estimate the position of the eyeball.
  • the first sensor may sense physical characteristics that can directly or indirectly estimate or specify the position of the user's eyes, including the user's body, face, eyeballs, or pupils.
  • the first sensor may detect the user's movement.
  • the second sensor may detect multiple or single characteristics among various physical characteristics of an object located outside the display 400, such as its shape, position, and size.
  • the second sensor may include a sensor capable of measuring physical characteristics of an object, such as a 3D camera, a 2D camera, a laser sensor, a LiDAR sensor, and/or an IR (InfraRed) sensor.
  • the processor 100 may detect an object located outside the display 400 and display it on the display 400 to provide content to the user.
  • the display 400 may be implemented on a wearable device worn on the user's body or on any electronic device spaced apart from the user's body.
  • a wearable display may include a head mounted display (HMD).
  • HMD head mounted display
  • the display 400 is a visual display device that has the characteristic of transmitting incident electromagnetic waves, and may be any device that expresses visual information in pixels and voxels.
  • a panel including PDLC Polymer Dispersed Liquid Crystal
  • PDLC Polymer Dispersed Liquid Crystal
  • the PDLC can contain microscopic liquid crystal droplets within a polymer matrix.
  • the processor 100 may generate a control signal based on voltage or current and apply it to the PDLC to adjust the transmittance of the display 400.
  • the processor 100 may adjust the transmittance of the display 400 from 0 to 100% by adjusting the intensity of the control signal.
  • the processor 100 can change the display 400 to opaque by turning off the control signal.
  • the display 400 can project and display objects located outside the display 400 and provide content through pixels or voxels.
  • the display 400 may be implemented as a display format other than PDLC.
  • the processor 100 may generate an image by scattering emitted light by adjusting control signals applied to pixels or voxels constituting the display 400.
  • the display 400 may provide a user interface (eg, a graphical user interface) in response to control of the processor 100.
  • the display 400 may include an input means that receives a signal from the user.
  • the input means may include a touch screen.
  • the user interface may include various menus, icons, and/or combo boxes that present data.
  • the tracker 110 can recognize the position of the user's eyes (or eyeballs) and track the recognized eye movement using an eyetracking algorithm.
  • the tracker 110 can track eye movement by detecting the pupil center and cornea reflex.
  • Eye tracking algorithms can be used as a factor in determining the design of a website and the placement of advertisements by analyzing consumers' gaze. Eye tracking algorithms can be used in the application and control of three-dimensional images in the imaging field.
  • the gaze direction detector 130 can estimate the point at which the user is looking (or gaze) by measuring eye movement.
  • the gaze direction detector 130 can estimate the gaze by tracking the eyes or measuring the movement of the user's head.
  • the gaze direction detector 130 can detect the user's gaze according to eye movement. When eyes are not detected on the user's face, the gaze direction detector 130 may estimate the eye position and/or gaze based on facial movement or nose position.
  • the gaze direction detector 130 can predict the user's concentration or the user's psychology based on the gaze.
  • the gaze direction detector 130 can predict the user's psychology based on the gaze or the time spent looking at the target.
  • the object recognizer 140 may recognize an object based on the detection result of the sensor 300.
  • the object recognizer 140 may determine the target object based on the gaze detected by the gaze direction detector 130, the gaze time for the object, and the gaze path.
  • the object recognizer 140 may detect the location of the object, the size of the object, the shape of the object, the material of the object, the reflectivity of the object, and/or the transparency of the object.
  • the object recognizer 140 can detect the position of the user's eyes.
  • the content provider 170 may generate a projection object and/or content to be displayed on the display 400 based on the target object.
  • the content provider 170 may provide two-dimensional or three-dimensional content.
  • the content provider 170 calculates the shortest spatial distance between the position of the user's eyes and the position of the object and the intersection point between the virtual straight line connecting the two positions and the display 400, and displays the information on the display 400 based on the calculated intersection point.
  • the target object can be output.
  • the content provider 170 may output the object to the display 400 by mapping corresponding object information (e.g., color information of the object) to a pixel (or voxel) corresponding to the previously calculated intersection point. .
  • the content provider 170 may overlap the content corresponding to the object output on the display 400 or output it to the periphery of the object.
  • Content may include information to describe or emphasize the target object.
  • the information may include an outline of the target object, a speech bubble, brightness of a pixel (or voxel), an emoticon, a picture or image or an image of the object itself, the degree of the image, etc., to emphasize the target object.
  • Information may be output by overlapping with the target object.
  • information may be expressed around the target object.
  • the information may include two-dimensional or three-dimensional virtual information.
  • content may be implemented through control of color, contrast, saturation, transparency, and/or brightness of pixels or voxels and may be implemented in a visual form to emphasize objects or information described above.
  • the content provider 170 may include a Graphical User Interface (GUI) provider.
  • GUI Graphical User Interface
  • the GUI provider may provide a GUI to the user through the display 400 based on the user's movements.
  • the content provider 170 may map the object to an image to be displayed on the display 400 based on information detected about the object.
  • the content provider 170 may generate a control signal for controlling pixels or voxels based on the intersection to output the objects and content described above.
  • the content provider 170 may call pixels or voxels and perform information processing.
  • the content provider 170 creates a projection displayed on the display 400 at the user's location based on the distance between the user and the display 400, the distance between the display 400 and the object, and the distance between the user and the rear object.
  • the content provider 170 may determine the number of objects displayed on the display 400 based on the user's gaze angle.
  • the content provider 170 may match objects outside the display with content provided to the user.
  • the content provider 170 can intuitively provide the shape or state of the object to the user by controlling pixels or voxels in consideration of the location of the object and the user's field of view.
  • the content provider 170 may provide different content (eg, images) to a plurality of users.
  • the content provider 170 may provide content processed in a form suitable for the user's location based on the positions of the plurality of users (eg, the positions of the plurality of users' eyes). For example, the content provider 170 may provide content that shows objects viewed from different angles depending on the user's location on the display 400.
  • Figure 3 is a diagram for explaining the process of detecting the position of the user's eyes.
  • a tracker (eg, tracker 110 in FIG. 2) may detect the user's eyes (or eyeballs) based on the user's shape.
  • the tracker 110 may detect the user's eyes based on the user's shape received from a sensor (eg, sensor 300 in FIG. 2).
  • a sensor eg, sensor 300 in FIG. 2.
  • Sensor 300 may be implemented on display 400.
  • Tracker 110 may detect the point at which the user's eyes gaze (eg, target pixel or target voxel).
  • the tracker 110 is the center of the user's eyeball, the radius of the eyeball, and the angle formed by the virtual straight line connecting the center of the eyeball and the center of the display 400 with the virtual straight line connecting the center of the eyeball and the target pixel ( Example: The user's eyes can be detected based on ⁇ and ⁇ ).
  • FIGS. 4A and 4B are diagrams for explaining a method of expressing objects and content on a display.
  • the content provider (e.g., the content provider 170 of FIG. 2) provides an intersection 440 between a straight line 430 connecting the eye 410 and the target object 420 and the display 400. Based on , the target object may be output 450 to the display 400 . More specifically, the content provider provides information (e.g., color value) of the target object 420 to a pixel (or voxel) corresponding to the intersection 440 of the display with a straight line connecting the target object 420 and the eyeball 410. By allocating, it is possible to generate an output result 450 that outputs the target object 420 to the display 400. In addition, the content provider additionally displays content corresponding to the output result 450 to the display 400. may be provided, and may be the same as previously described.
  • the content provider e.g., the content provider 170 of FIG. 2 provides the dimension of the content, the outline of the object, the color of the object, the type of the object, the material of the object, the object and the display (e.g., FIG. Content can be created based on the distance between the displays 400 of 1 and the distance between the display 400 and the user.
  • the content provider 170 may provide the user with a projection object to be provided to the user based on the object.
  • the content provider 170 may generate content based on depth information.
  • the content provider 170 may calculate depth information based on the distance between the display 400 and the object.
  • the content provider 170 may determine the depth of the virtual image based on the distance between the display 400 and the object.
  • the content provider 170 provides a first virtual image (VI1) corresponding to the first depth (d1), a second virtual image (VI2) corresponding to the second depth (d2), and a third virtual image (VI2) corresponding to the third depth.
  • An image (VI3) can be created.
  • Figure 5 shows the results of tracking the user's eyes
  • Figure 6 shows an example of the operation of the content providing device shown in Figure 1.
  • a tracker (eg, tracker 110 in FIG. 2 ) may track the user's gaze based on the user's shape.
  • a sensor e.g., the sensor of FIG. 1
  • the tracker 110 may track the user's eyes based on the detected shape. In the example of Figure 5, it can be seen that the user's gaze is focused on the left side of the screen where the text density is high.
  • FIG. 6 may illustratively represent a case where content related to an aquarium is provided on the display 400.
  • a content provider e.g., content provider 170 in FIG. 2 provides content containing information about objects located on the other side of the tank through the display 400 attached to one side (or one side) of the tank. You can.
  • the content provider 170 provides a display (e.g., for each fish, a type of fish (e.g., " A water balloon representing a "tropical fish") may be placed on the display 400.
  • a type of fish e.g., " A water balloon representing a "tropical fish”
  • the above content is illustrative, and those skilled in the art will understand that arbitrary content may be provided through the display 400.
  • Figure 7 shows an example of a flow chart of the content provision process.
  • a sensor may capture a user's facial image (711).
  • a processor may recognize eyeballs based on the user's facial image (713).
  • the processor 100 can track the eye position and gaze path. If the eyeball is not recognized, the processor 100 may estimate the position of the eyeball based on the user's face (715).
  • the processor 100 may output the target object to the display based on the position of the eyeball and the position of the target object (721). More specifically, as described above, the processor 100 outputs the target object to the display by assigning information about the target object to a pixel (or voxel) corresponding to the intersection of the straight line connecting the eye and the target object and the display. You can.
  • the processor 100 may provide a user GUI for selecting content (723).
  • the user GUI may be in a form that determines the type of content for each object, whether it is two-dimensional content, whether it is three-dimensional content, etc., but the embodiment is not limited to this and provides arbitrary content-related selection information. It may be an element.
  • Processor 100 may generate two-dimensional and/or three-dimensional content in response to user selections for the user GUI (725).
  • Two-dimensional or three-dimensional content may include outlines and speech bubbles that indicate the outline of an object.
  • Content may include three-dimensional virtual information that overlaps with the object. Depending on the embodiment, content may be provided in the form of arbitrary information expressed around the object in addition to information that overlaps with the object.
  • the processor 100 may generate a control signal to control the brightness or color of pixels or voxels constituting the display 400.
  • the processor 100 may display the generated two-dimensional and/or three-dimensional content through a display (eg, the display 400 of FIG. 1) (727).
  • a display eg, the display 400 of FIG. 1.
  • FIG. 8 shows a flowchart of the operation of the content providing device shown in FIG. 1.
  • the first sensor may detect the user's shape on the display (eg, display 400 of FIG. 1) (810).
  • the first sensor may include an image sensor.
  • the second sensor may detect an object located outside the display 400 (830).
  • the second sensor may include a lidar, radar, or image sensor.
  • the display 400 may be composed of a plurality of pixels or a plurality of voxels.
  • the display 400 may include a transparent display, a light field display, a hologram display, or a volumetric display.
  • a processor may detect the position of the user's eyes based on the user's shape (850).
  • the processor 100 may provide content about an object to the user by generating a pixel or voxel control signal for mapping the object to the display 400 based on the shape of the object and the position of the eye (870).
  • the processor 100 may map the object into pixels or voxels based on the location of the object, the size of the object, the shape of the object, the material of the object, the reflectivity of the object, and the transparency of the object.
  • the embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA).
  • ALU arithmetic logic unit
  • FPGA field programmable gate
  • It may be implemented using a general-purpose computer or a special-purpose computer, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on a computer-readable recording medium.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • a computer-readable medium may store program instructions, data files, data structures, etc., singly or in combination, and the program instructions recorded on the medium may be specially designed and constructed for the embodiment or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or multiple software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컨텐츠 제공 장치가 개시된다. 일 실시예에 따른 컨텐츠 제공 장치는, 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성되는 디스플레이와, 상기 디스플레이의 사용자의 형상을 감지하는 제1 센서와, 상기 디스플레이의 외부에 위치한 객체를 감지하는 제2 센서와, 상기 사용자의 형상에 기초하여 상기 사용자의 눈의 위치를 검출하고, 상기 객체의 형상 및 상기 눈의 위치에 기초하여 상기 객체를 상기 디스플레이에 매핑하기 위한 상기 픽셀 또는 상기 복셀의 제어 신호를 생성함으로써 상기 사용자에게 상기 객체에 관한 컨텐츠를 제공하는 프로세서를 포함한다.

Description

감지된 객체를 이용한 컨텐츠 제공 장치
실시예들은 감지된 객체를 이용한 컨텐츠 제공 장치에 관한 것이다.
정보 디스플레이는 기술의 발전에 따라 새로운 형태로 발전하고 있다. 투명 디스플레이는 디스플레이가 나타나는 영역이 투명하여 디스플레이 뒤편의 사물이 보이는 형태의 디스플레이를 의미할 수 있다.
근래의 투명 디스플레이는 HUD(Head-Up Display) 사용에서 벗어나 투명 평판 디스플레이 영역으로 확대되어 왔다. 제품의 확대와 함께 투명 디스플레이를 이용한 응용 분야도 확장되고 있다.
하지만, 디스플레이를 통해 제공되는 대부분의 컨텐츠는 종래의 불투명한 디스플레이에 초점을 맞추고 있기 때문에, 투명 디스플레이의 특성을 이용한 컨텐츠의 제공이 요구된다.
일 실시예에 따른 컨텐츠 제공 장치는, 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성되는 디스플레이와, 상기 디스플레이의 사용자의 형상을 감지하는 제1 센서와, 상기 디스플레이의 외부에 위치한 객체를 감지하는 제2 센서와, 상기 사용자의 형상에 기초하여 상기 사용자의 눈의 위치를 검출하고, 상기 객체의 형상 및 상기 눈의 위치에 기초하여 상기 객체를 상기 디스플레이에 매핑하기 위한 상기 픽셀 또는 상기 복셀의 제어 신호를 생성함으로써 상기 사용자에게 상기 객체에 관한 컨텐츠를 제공하는 프로세서를 포함한다.
상기 디스플레이는, 투명 디스플레이, 라이트 필드 디스플레이(light field display), 홀로그램(hologram) 디스플레이 또는 볼류메트릭(volumetric display) 디스플레이를 포함할 수 있고, 상기 제1 센서는 안구의 위치를 직접적 혹은 간접적으로 측정/추정할 수 있는 임의의 센서로 예시적으로 이미지 센서를 포함하고, 상기 제2 센서는 디스플레이 후면의 물체의 정보를 직접적 또는 간접적으로 추정 혹은 추출할 수 있는 임의의 센서로, 예시적으로 라이다(LiDAR(Light Detection And Ranging), 레이더(RADAR(RAdio Detection And Ranging)) 또는 이미지 센서를 포함할 수 있다.
상기 프로세서는, 상기 객체의 위치, 상기 객체의 크기, 상기 객체의 모양, 상기 객체의 재질, 상기 객체의 반사도 및 상기 객체의 투명도에 기초하여 상기 객체를 상기 픽셀 또는 상기 복셀로 매핑할 수 있다.
상기 프로세서는,, 상기 사용자의 형상에 기초하여 상기 사용자의 움직임(motion)을 획득하고, 상기 움직임 및 상기 객체의 형상에 기초하여 상기 사용자에게 제공할 컨텐츠를 생성할 수 있다. 구현례에 따라서, 상기 프로세서는 상기 눈의 위치에 기초하여 상기 사용자의 객체 응시 시간을 측정하고, 응시시간을 고려하여 컨텐츠를 생성할 수도 있다.
예를 들어, 사용자의 움직임은 사용자 안구의 움직임일 수 있으며, 프로세서는 안구의 움직임 뿐만 아니라 데이터 처리를 통해 안구의 미래 위치를 추정할 수도 있다.
상기 프로세서는, 상기 사용자의 선택에 응답하여 상기 컨텐츠의 차원을 결정하고, 상기 차원, 상기 타겟 객체의 윤곽, 상기 타겟 객체의 색상, 상기 타겟 객체의 종류, 상기 타겟 객체의 재질, 상기 타겟 객체와 상기 디스플레이 간의 거리 및 상기 디스플레이와 상기 사용자 간의 거리에 기초하여 상기 컨텐츠를 생성할 수 있다.
도 1은 일 실시예에 따른 컨텐츠 제공 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 컨텐츠 제공 장치의 구현의 예를 나타낸다.
도 3은 사용자의 눈의 위치를 검출하는 과정을 설명하기 위한 도면이다.
도 4a 및 도 4b 디스플레이에 객체 및 컨텐츠를 표현하는 방식을 설명하기 위한 도면이다.도 5는 사용자의 눈을 추적한 결과를 나타낸다.
도 6은 도 1에 도시된 컨텐츠 제공 장치의 동작의 예를 나타낸다.
도 7은 컨텐츠 제공 과정의 흐름도의 예를 나타낸다.
도 8은 도 1에 도시된 컨텐츠 제공 장치의 동작의 흐름도를 나타낸다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 예를 들어, '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU, NPU, AP 혹은 양자역학적 성질을 가지고 데이터를 처리하는 프로세서 등을 포함하는 모든 종류의 프로세서 유닛들을 재생시키도록 구현될 수도 있다. 또한, '~부'는 하나 이상의 프로세서를 포함할 수 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 컨텐츠 제공 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 컨텐츠 제공 장치(10)는 컨텐츠 제공 장치(10)의 사용자에게 컨텐츠를 제공할 수 있다. 컨텐츠는 인간의 감각으로 향유할 수 있는 디지털 정보를 포함할 수 있다. 예를 들어, 컨텐츠는 시각 컨텐츠 및/또는 청각 컨텐츠를 포함할 수 있다.
컨텐츠 제공 장치(10)는 프로세서(100), 메모리(200), 제1 센서(310), 제2 센서(320) 및 디스플레이(400)를 포함한다. 제1 센서(310) 및 제2 센서(320)는 별도의 엔티티로 구비될 수 있으나, 실시예에 따라서, 제1 센서(310) 및 제2 센서(320)는 단일 센서(300)의 형태로 구현될 수도 있다.
컨텐츠 제공 장치(10)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(integrated circuit(IC)), 또는 SoC(system on chip)로 구현될 수 있다. 기업 리스크 관리 장치(10)는 애플리케이션 프로세서(application processor)로 구현될 수 있다. 컨텐츠 제공 장치(10)는 디스플레이(400)의 내부 또는 외부에 구현될 수 있다.
또한, 컨텐츠 제공 장치(10)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring), 스마트 글라스(smart glass) 형태의 안경 혹은 헬멧 등의 고정된 위치에서 사용하는 컴퓨터가 아닌 외부 환경에서 사용 혹은 이동하며 활용될 수 있는 스마트 기기로 구현될 수 있다.
프로세서(100)는 메모리(200)에 저장된 데이터를 처리할 수 있다. 프로세서(100)는 메모리(200)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(100)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
프로세서(100)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함하는 형태의 하드웨어로 구현되거나, VM(Virtual machine)과 같은 형태로 구현되어 vCPU를 포함할 수도 있다.
프로세서(100)는 수신 인터페이스를 포함할 수 있다. 프로세서(100)는 외부 또는 메모리(200)로부터 데이터를 수신할 수 있다.
메모리(200)는 연산을 위한 데이터 또는 연산 결과를 저장할 수 있다. 메모리(200)는 프로세서에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(200)는 휘발성 메모리 장치 또는 비휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 vRAM(Video random access memory), DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)로 구현될 수도 있으며, 이와 더불어, 양자역학적 매커니즘으로 구동되는 휘발성 메모리 장치 등으로 프로세서에서 처리된 변수 혹은 데이터를 일시적으로 저장하는 모든 종류의 장치 등으로 구현될 수도 있다.
비휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory) 로 구현될 수 있다. 또한, 비휘발성 메모리 장치에는 하드 디스크 가상화가 적용될 수도 있으며, 양자역학적 매커니즘으로 구동되는 비휘발성 메모리 장치 등으로 프로세서에서 처리된 변수 혹은 데이터를 일시적으로 저장하는 모든 종류의 장치 등으로 구현될 수도 있다. 실시예에 따라서 비휘발성 메모리 장치는 가상화된 하드웨어에 의해 구현될 수도 있다.
제1 센서(310)는 사용자의 형상을 감지할 수 있다. 예를 들어, 사용자는 디스플레이 주변의 소정 거리 내에 위치하는 사용자 일 수 있으며, 제1 센서(310)는 눈의 위치를 직접적 또는 간접적으로 추정 혹은 추출할 수 있는 모든 종류의 센서로 구현되어 사용자의 눈의 위치를 감지할 수 있으며, 예시적으로 제1 센서(310)는 이미지 센서를 포함할 수 있다. 제2 센서(320)는 디스플레이 외부(예를 들어 후면)의 물체의 정보를 직접적 또는 간접적으로 추정 혹은 추출할 수 있는 임의의 센서로 구현될 수 있으며,예를 들어, 제2 센서(320)는 라이다(LiDAR(Light Detection And Ranging), 레이더(RADAR(RAdio Detection And Ranging)) 또는 이미지 센서를 포함할 수 있다.
객체는 전자기파를 이용하여 검출 가능한 대상 포함할 수 있다. 객체는 사물을 포함할 수 있다.
디스플레이(400)는 시각 정보를 출력하는 전자 장치를 의미할 수 있다. 디스플레이(400)는 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성될 수 있다. 디스플레이(400)는 투명 디스플레이, 라이트 필드 디스플레이(light field display), 홀로그램(hologram) 디스플레이 또는 볼류메트릭(volumetric display) 디스플레이 등 디스플레이 후면의 전자기파가 투과되어 일부 혹은 전부가 보여지는 투명한 디스플레이 등을 포함할 수 있다.
프로세서(100)는 사용자의 형상에 기초하여 사용자의 눈의 위치를 검출할 수 있다.
프로세서(100)는 객체의 형상 및 눈의 위치에 기초하여 객체를 디스플레이(400)에 매핑하기 위한 픽셀 또는 복셀의 제어 신호를 생성함으로써 사용자에게 객체에 관한 컨텐츠를 제공할 수 있다.
프로세서(100)는 객체의 위치, 객체의 크기, 객체의 모양, 객체의 재질, 객체의 반사도 및 객체의 투명도에 기초하여 객체를 픽셀 또는 복셀로 매핑할 수 있다.
프로세서(100)는 눈의 위치에 기초하여 사용자의 객체에 대한 응시 시간을 측정할 수 있다. 프로세서(100)는 사용자의 형상에 기초하여 사용자의 움직임(motion)을 획득할 수 있다. 프로세서(100)는 응시 시간, 움직임 및 객체의 형상에 기초하여 사용자에게 제공할 컨텐츠를 생성할 수 있다.
프로세서(100)는 응시 시간에 기초하여 컨텐츠에 포함될 타겟 객체를 결정할 수도 있다. 프로세서(100)는 사용자의 선택에 응답하여 컨텐츠의 차원을 결정할 수도 있다. 다만, 응시 시간에 기초하여 컨텐츠에 포함될 타겟 객체를 결정하는 구성은 구현에 따라 선택적으로 포함될 수 있다.
프로세서(100)는 차원, 상기 타겟 객체의 윤곽, 타겟 객체의 색상, 타겟 객체의 종류, 타겟 객체의 재질, 타겟 객체와 디스플레이(400) 간의 거리 및 디스플레이(400)와 사용자 간의 거리에 기초하여 컨텐츠를 생성할 수 있다.
도 2는 도 1에 도시된 컨텐츠 제공 장치의 구현의 예를 나타낸다.
도 2를 참조하면, 컨텐츠 제공 장치(예: 도 1의 컨텐츠 제공 장치(10))는 프로세서(예: 도 1의 프로세서(100)) 및 센서(300)를 포함할 수 있다.
프로세서(100) 및 센서(300)는 디스플레이(400) 상에 또는 디스플레이(400)의 내부에 구현될 수 있다.
프로세서(100)는 추적기(110), 시선 방향 검출기(130), 객체 인식기(150) 및 컨텐츠 제공기(170)를 포함할 수 있다. 센서(300)는 제1 센서 및 제2 센서를 포함할 수 있다.
제1 센서는 직접적으로 또는 간접적으로 눈의 위치를 추정 또는 추출할 수 잇는 임의의 센서를 포함할 수 있으며, 예시적으로 이미지 센서, 생체 신호를 감지하는 센서를 포함할 수 있다. 제1 센서는 사용자의 형상을 감지하거나, 혹은 단순히 안구의 위치만 추정할 수 있다. 제1 센서는 사용자의 신체, 안면, 안구 또는 동공을 비롯하여 사용자의 눈의 위치를 직접적 혹은 간접적으로 추정 또는 특정할 수 있는 물리적 특성을 센싱할 수 있다. 제1 센서는 사용자의 움직임을 감지할 수도 있다.
제2 센서는 디스플레이(400) 외부에 위치하는 객체의 형상, 위치 및 크기 등의 물체의 다양한 물리적 특징들 중 복수 혹은 단일 특성에 대해 감지할 수 있다. 제2 센서는 3 차원 카메라, 2 차원 카메라, 레이저 센서, 라이다 센서 및/또는 IR(InfraRed) 센서 등의 물체의 물리적 특성을 측정할 수 있는 센서 등을 포함할 수 있다.
프로세서(100)는 디스플레이(400) 외부에 위치한 객체를 감지하여 디스플레이(400) 상에 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.
디스플레이(400)는 사용자의 신체에 착용되는 웨어러블 디바이스 또는 사용자의 신체와 이격된 임의의 전자 장치 상에 구현될 수 있다. 예를 들어, 웨어러블 디스플레이는 HMD(Head Mounted Display)를 포함할 수 있다.
디스플레이(400)는 입사된 전자기파를 투과하는 특성을 가진 시각 표시 장치로서, 시각 정보를 픽셀 및 복셀로 표현하는 임의의 장치일 수 있으며 예시적으로 PDLC(Polymer Dispersed Liquid Crystal)를 포함하는 패널을 이용하여 구현될 수 있다. PDLC는 패널의 외부 또는 내부에서 제공되는 제어 신호에 기초하여 빛의 투과도를 조절할 수 있다.
PDLC는 고분자 물질의 모체 안에 미세한 액정 방울들을 포함할 수 있다. 프로세서(100)는 전압 또는 전류에 기초한 제어 신호를 생성하고 PDLC에 인가하여 디스플레이(400)의 투과도를 조절할 수도 있다.
프로세서(100)는 제어 신호의 세기를 조절함으로써 디스플레이(400)의 투과도를 0 내지 100%로 조절할 수도 있다. 프로세서(100)는 제어 신호를 오프시킴으로써 디스플레이(400)를 불투명하게 변화시킬 수 있다.
디스플레이(400)는 디스플레이(400)의 외부에 위치한 객체를 투영하여 표시하는 동시에 픽셀 또는 복셀을 통해 컨텐츠를 제공할 수 있다.
실시예에 따라 디스플레이(400)는 PDLC 이외의 다른 형식의 디스플레이로 구현될 수 있다. 프로세서(100)는 디스플레이(400)를 구성하는 픽셀 또는 복셀에 인가되는 제어신호를 조절함으로써 방출하는 광선을 산란시켜 이미지를 생성할 수 있다.
디스플레이(400)는 프로세서(100)의 제어에 응답하여 사용자 인터페이스(예: 그래픽 사용자 인터페이스)를 제공할 수 있다. 디스플레이(400)는 사용자로부터 신호를 입력 받는 입력 수단을 포함할 수 있다. 예를 들어, 입력 수단은 터치 스크린을 포함할 수 있다.
사용자 인터페이스는 데이터를 제공하는 다양한 메뉴, 아이콘 및/또는 콤보 박스를 포함할 수 있다.
추적기(110)는 아이트래킹(eyetracking) 알고리즘을 이용하여 사용자의 눈(또는, 안구)의 위치를 인식하고, 인식된 눈의 움직임을 추적할 수 있다. 추적기(110)는 동공 중심 부분(pupil center) 및 각막 반사(cornea reflex)를 감지하여 눈의 움직임을 추적할 수 있다.
아이트랙킹 알고리즘은 디자인 분야에서 소비자의 시선을 분석하여 웹 사이트의 디자인, 광고의 배치를 결정하는 요소로 활용될 수 있다. 아이트랙킹 알고리즘은 이미지 분야에서 3 차원 이미지의 응용 및 제어에 이용될 수 있다.
시선 방향 검출기(130)는 눈의 움직임을 측정함으로써 사용자가 바라보는 지점(또는, 시선)을 추정할 수 있다. 시선 방향 검출기(130)는 눈을 추적하거나 사용자의 머리의 움직임을 측정함으로써 시선을 추정할 수 있다.
시선 방향 검출기(130)는 눈의 움직임에 따른 사용자의 시선을 검출할 수 있다. 시선 방향 검출기(130)는 사용자의 얼굴에서 눈이 검출되지 않을 경우, 얼굴의 움직임 또는 코의 위치에 기초하여 눈의 위치 및/또는 시선을 추정할 수 있다
시선 방향 검출기(130)는 시선에 기초하여 사용자의 집중도 또는 사용자의 심리를 예측할 수 있다. 시선 방향 검출기(130)는 시선 또는 대상을 주시하는 시간에 기초하여 사용자의 심리를 예측할 수 있다.
객체 인식기(140)는 센서(300)의 감지 결과에 기초하여 객체를 인식할 수 있다. 객체 인식기(140)는 시선 방향 검출기(130)에 의해 검출된 시선, 객체에 대한 응시 시간 및 응시 경로에 기초하여 타겟 객체를 결정할 수 있다.
객체 인식기(140)는 객체의 위치, 객체의 크기, 객체의 모양, 객체의 재질, 객체의 반사도 및/또는 객체의 투명도를 검출할 수 있다.
객체 인식기(140)는 사용자의 눈의 위치를 감지할 수 있다.
컨텐츠 제공기(170)는 타겟 객체에 기초하여 디스플레이(400)에 표시할 투영 객체 및/또는 컨텐츠를 생성할 수 있다. 컨텐츠 제공기(170)는 2 차원 또는 3 차원 컨텐츠를 제공할 수 있다.
컨텐츠 제공기(170)는 사용자의 눈의 위치와 객체의 위치의 공간적 최단 거리 및 두 위치를 잇는 가상의 직선과 디스플레이(400)와의 교차점을 계산하고, 계산된 교차점에 기초하여 디스플레이(400)에 타깃 객체를 출력할 수 있다. 컨텐츠 제공기(170)는 앞서 산출된 교차점에 대응되는 픽셀(또는 복셀)에, 대응되는 객체 정보(예를 들어, 객체의 색채 정보)를 매핑함으로써, 디스플레이(400)에 객체를 출력할 수 있다. 컨텐츠 제공기(170)는 디스플레이(400)에 출력된 객체에 대응하는 컨텐츠를 출력된 객체에 오버랩하거나, 객체 주변부에 출력할 수 있다.
컨텐츠는 타겟 객체를 설명하거나 강조하기 위한 정보를 포함할 수 있다. 정보는 타겟 객체를 강조하기 위한 타겟 객체의 윤곽선, 말풍선, 픽셀(또는 복셀)의 밝기,이모티콘, 그림 혹은 이미지 또는 객체 자체의 이미지, 이미지에 대한 정도 등을 포함할 수 있다. 정보는 타겟 객체와 오버랩되어 출력될 수 있다. 실시예에 따라서, 정보는 타겟 객체 주변부에 표현될 수도 있다. 정보는 2 차원 또는 3 차원 가상 정보를 포함할 수 있다. 또한, 컨텐츠는 픽셀 또는 복셀의 색상, 명암, 채도, 투명도 및/또는 밝기 등의 제어를 통해 구현되어 객체 또는 앞서 설명된 정보를 강조하기 위한 시각적인 형태로 구현될 수도 있다.
컨텐츠 제공기(170)는 GUI(Graphical User Interface) 제공기를 포함할 수 있다. GUI 제공기는 사용자의 움직임에 기초하여 디스플레이(400)를 통해 사용자에게 GUI를 제공할 수 있다.
컨텐츠 제공기(170)는 객체에 관하여 검출한 정보에 기초하여 디스플레이(400)에 표시될 이미지에 객체를 매핑할 수 있다.
컨텐츠 제공기(170)는 앞서 설명된 객체 및 컨텐츠를 출력하기 위하여 교차점에 기초하여 픽셀 또는 복셀을 제어하기 위한 제어 신호를 생성할 수 있다. 컨텐츠 제공기(170)는 픽셀 또는 복셀의 호출 및 정보 처리를 수행할 수 있다.
컨텐츠 제공기(170)는 사용자와 디스플레이(400) 사이의 거리, 디스플레이(400)와 객체 사이의 거리, 사용자와 후면 물체 사이의 거리에 기초하여 사용자의 위치에서 디스플레이(400) 상에 표시되는 투영 객체의 크기 및 비율을 계산함으로써, 상황에 따라 객체 및 컨텐츠를 출력할 수 있다. 이에 따라 디스플레이(400)에 객체가 멀리 떨어져 있는 경우에도 적절한 비율 조정을 통해 객체를 적절히 출력할 수 있는 수단을 제공할 수 있다.
컨텐츠 제공기(170)는 사용자의 응시각에 기초하여 디스플레이(400) 상에 표시되는 객체의 수를 결정할 수 있다.
컨텐츠 제공기(170)는 디스플레이 외부의 객체와 사용자에게 제공하는 컨텐츠를 매칭할 수 있다. 컨텐츠 제공기(170)는 객체의 위치와 사용자의 시야를 고려하여 픽셀 또는 복셀을 제어함으로써 사용자에게 객체의 형상 또는 상태를 직관적으로 제공할 수 있다.
컨텐츠 제공기(170)는 복수의 사용자에게 서로 다른 컨텐츠(예: 이미지)를 제공할 수 있다. 컨텐츠 제공기(170)는 복수의 사용자의 위치(예: 복수의 사용자의 눈의 위치)에 기초하여 사용자의 위치에 적합한 형태로 가공된 컨텐츠를 제공할 수 있다. 예를 들어, 컨텐츠 제공기(170)는 사용자의 위치에 따라 서로 다른 각도로 보이는 객체의 모습을 디스플레이(400) 상에 나타내는 컨텐츠를 제공할 수 있다.
도 3은 사용자의 눈의 위치를 검출하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 추적기(예: 도 2의 추적기(110))는 사용자의 형상에 기초하여 사용자의 눈(또는, 안구)을 검출할 수 있다.
추적기(110)는 센서(예: 도 2의 센서(300))로부터 수신한 사용자의 형상에 기초하여 사용자의 눈을 검출할 수 있다.
센서(300)는 디스플레이(400) 상에 구현될 수 있다. 추적기(110)는 사용자의 눈이 응시하는 지점(예: 타겟 픽셀 또는 타겟 복셀)을 검출할 수 있다.
추적기(110)는 사용자의 안구의 중심, 안구의 반지름, 안구의 중심과 디스플레이(400)의 중심 사이를 연결하는 가상의 직선이 안구의 중심과 타겟 픽셀 사이를 연결하는 가상의 직선과 이루는 각도(예: α 및 β)에 기초하여 사용자의 눈을 검출할 수 있다.
도 4a 및 도 4b 디스플레이에 객체 및 컨텐츠를 표현하는 방식을 설명하기 위한 도면이다.
도 4a를 참조하면, 컨텐츠 제공기(예: 도 2의 컨텐츠 제공기(170))는 안구(410)와 및 타겟 객체(420)를 잇는 직선(430)과 디스플레이(400)와의 교점(440)에 기초하여 타겟 객체를 디스플레이(400)에 출력(450)할 수 있다. 보다 구체적으로, 컨텐츠 제공기는 타겟 객체(420)와 안구(410)을 잇는 직선과 디스플레이의 교점(440)에 대응되는 픽셀(또는 복셀)에 타겟 객체(420)의 정보(예를 들어, 색상 값을 할당함으로써, 타겟 객체(420)를 디스플레이(400)에 출력한 출력 결과(450)를 생성할 수 있다. 이와 더불어, 컨텐츠 제공기는 출력 결과(450)에 대응되는 컨텐츠를 디스플레이(400)에 추가적으로 제공할 수 있으며, 이는 앞서 설명된 바와 동일할 수 있다.
도 4b를 참조하면, 컨텐츠 제공기(예: 도 2의 컨텐츠 제공기(170))는 컨텐츠의 차원, 객체의 윤곽, 객체의 색상, 객체의 종류, 객체의 재질, 객체와 디스플레이(예: 도 1의 디스플레이(400)) 간의 거리 및 디스플레이(400)와 사용자 간의 거리에 기초하여 컨텐츠를 생성할 수 있다.
컨텐츠 제공기(170)는 객체에 기초하여 사용자에게 제공할 투영 객체를 사용자에게 제공할 수 있다. 컨텐츠 제공기(170)는 깊이 정보에 기초하여 컨텐츠를 생성할 수 있다.
컨텐츠 제공기(170)는 디스플레이(400)와 객체 사이의 거리에 기초하여 깊이 정보를 계산할 수 있다. 컨텐츠 제공기(170)는 디스플레이(400)와 객체 사이의 거리에 기초하여 가상 이미지의 깊이를 결정할 수 있다.
컨텐츠 제공기(170)는 제1 깊이(d1)에 대응하는 제1 가상 이미지(VI1), 제2 깊이(d2)에 대응하는 제2 가상 이미지(VI2) 및 제3 깊이에 대응하는 제3 가상 이미지(VI3)를 생성할 수 있다.
도 5는 사용자의 눈을 추적한 결과를 나타내고, 도 6은 도 1에 도시된 컨텐츠 제공 장치의 동작의 예를 나타낸다.
도 5 및 도 6을 참조하면, 추적기(예: 도 2의 추적기(110))는 사용자의 형상에 기초하여 사용자의 시선을 추적할 수 있다.
도 5의 예시와 같이 텍스트가 포함된 컨텐츠가 디스플레이(예: 도 1의 디스플레이(400))를 통해 제공되는 경우에, 센서(예: 도 1의 센서)는 사용자의 형상을 감지할 수 있다. 추적기(110)는 감지한 형상에 기초하여 사용자의 눈을 추적할 수 있다. 도 5의 예시에서, 사용자의 시선은 텍스트의 밀도가 높은 화면의 왼쪽에 집중되는 것을 확인할 수 있다.
도 6의 예시는, 디스플레이(400)에 수족관에 관련된 컨텐츠를 제공하는 경우를 예시적으로 나타낼 수 있다. 컨텐츠 제공기(예: 도 2의 컨텐츠 제공기(170))는 수조의 일측(또는, 일면)에 부착된 디스플레이(400)를 통해 수조의 타측에 위치한 객체에 대한 정보를 포함하는 컨텐츠를 제공할 수 있다.
컨텐츠 제공기(170)는 수조에 위치한 열대어와 타측에 위치한 객체가 구분될 수 있도록 열대어 및/또는 객체를 강조하기 위한 표시(예를 들어, 각각의 물고기에 대하여 물고기의 종류(예를 들어, "열대어")를 나타내는 물풍선을 디스플레이(400) 상에 배치할 수 있다. 다만, 위 컨텐츠는 예시적인 것으로 임의의 컨텐츠가 디스플레이(400)를 통해 제공될 수 있음은 통상의 기술자가 이해할 것이다.
도 7은 컨텐츠 제공 과정의 흐름도의 예를 나타낸다.
도 7을 참조하면, 센서(예: 도 1의 센서(300))는 사용자의 안면 이미지를 촬영할 수 있다(711).
프로세서(예: 도 1의 프로세서(100))는 사용자의 안면 이미지의 기초하여 안구를 인식할 수 있다(713).
프로세서(100)는 안구가 인식될 경우 프로세서(100)는 안구 위치 및 시선 경로를 추적할 수 있다. 프로세서(100)는 안구가 인식되지 않을 경우에는 안면 사용자의 안면에 기초하여 안구의 위치를 추정할 수 있다(715).
프로세서(100)는 안구의 위치 및 타겟 객체의 위치에 기초하여 디스플레이에 타겟 객체를 출력할 수 있다(721). 보다 구체적으로, 프로세서(100)는 앞서 설명된 바와 같이, 안구와 타겟 객체를 잇는 직선과 디스플레이의 교차점에 대응되는 픽셀(또는 복셀)에 타겟 객체의 정보를 할당함으로써, 타겟 객체를 디스플레이에 출력할 수 있다.
실시예에 따라서, 프로세서(100)는 컨텐츠를 선택할 수 있는 사용자 GUI를 제공할 수 있다(723). 예를 들어, 사용자 GUI는 객체별 컨텐츠의 종류, 2차원 컨텐츠인지 여부, 3차원 컨텐츠인지 여부 등을 결정하는 형태일 수 있으나, 실시예는 이에 한정되는 것이 아니고 임의의 컨텐츠 관련 선택 정보를 제공하는 요소일 수 있다.
프로세서(100)는 사용자 GUI에 대한 사용자의 선택에 응답하여 2 차원 및/또는 3 차원 컨텐츠를 생성할 수 있다(725). 2 차원 또는 3 차원 컨텐츠는 객체의 윤곽을 표시하는 윤곽선, 말풍선을 포함할 수 있다. 컨텐츠는 객체와 오버랩되는 3 차원 가상 정보를 포함할 수 있다. 실시예에 따라서, 컨텐츠는 객체와 오버랩되는 정보 이외에 객체 주변부에 표현되는 임의의 정보의 형태로 제공될 수도 있다. 프로세서(100)는 디스플레이(400)를 구성하는 픽셀 또는 복셀의 밝기 또는 색상을 제어하기 위한 제어 신호를 생성할 수 있다.
프로세서(100)는 생성한 2 차원 및/또는 3 차원 컨텐츠를 디스플레이(예: 도 1의 디스플레이(400))를 통해 표시할 수 있다(727).
도 8은 도 1에 도시된 컨텐츠 제공 장치의 동작의 흐름도를 나타낸다.
도 8을 참조하면, 제1 센서는 디스플레이(예: 도 1의 디스플레이(400))의 사용자의 형상을 감지할 수 있다(810). 예를 들어, 제1 센서는 이미지 센서를 포함할 수 있다.
제2 센서는 디스플레이(400)의 외부에 위치한 객체를 감지할 수 있다(830). 예를 들어, 제2 센서는 라이다, 레이더 또는 이미지 센서를 포함할 수 있다.
디스플레이(400)는 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성될 수 있다. 디스플레이(400)는 투명 디스플레이, 라이트 필드 디스플레이(light field display), 홀로그램(hologram) 디스플레이 또는 볼류메트릭(volumetric display) 디스플레이를 포함할 수 있다.
프로세서(예: 도 1의 프로세서(100))는 사용자의 형상에 기초하여 사용자의 눈의 위치를 검출할 수 있다(850).
프로세서(100)는 객체의 형상 및 눈의 위치에 기초하여 객체를 디스플레이(400)에 매핑하기 위한 픽셀 또는 복셀의 제어 신호를 생성함으로써 사용자에게 객체에 관한 컨텐츠를 제공할 수 있다(870).
프로세서(100)는 객체의 위치, 객체의 크기, 객체의 모양, 객체의 재질, 객체의 반사도 및 객체의 투명도에 기초하여 객체를 픽셀 또는 복셀로 매핑할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성되는 디스플레이;
    상기 디스플레이의 사용자의 형상을 감지하는 제1 센서;
    상기 디스플레이의 외부에 위치한 객체를 감지하는 제2 센서; 및
    상기 사용자의 형상에 기초하여 상기 사용자의 눈의 위치를 검출하고,
    상기 객체의 형상 및 상기 눈의 위치에 기초하여 상기 객체를 상기 디스플레이에 매핑하기 위한 상기 픽셀 또는 상기 복셀의 제어 신호를 생성함으로써 상기 사용자에게 상기 객체에 관한 컨텐츠를 제공하는 프로세서
    를 포함하는 컨텐츠 제공 장치.
  2. 제1항에 있어서,
    상기 디스플레이는,
    투명 디스플레이, 라이트 필드 디스플레이(light field display), 홀로그램(hologram) 디스플레이 또는 볼류메트릭(volumetric display) 디스플레이를 포함하고,
    상기 제1 센서는 이미지 센서를 포함하고,
    상기 제2 센서는 라이다(LiDAR(Light Detection And Ranging), 레이더(RADAR(RAdio Detection And Ranging)) 또는 이미지 센서를 포함하는,
    컨텐츠 제공 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 객체의 위치, 상기 객체의 크기, 상기 객체의 모양, 상기 객체의 재질, 상기 객체의 반사도 및 상기 객체의 투명도에 기초하여 상기 객체를 상기 픽셀 또는 상기 복셀로 매핑하는,
    컨텐츠 제공 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 눈의 위치와 상기 객체의 위치를 잇는 선과 디스플레이와의 교점에 대응되는 픽셀 또는 복셀에 상기 객체의 정보를 할당함으로써, 상기 객체를 디스플레이에 출력하는,
    컨텐츠 제공 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 사용자의 선택에 응답하여 상기 컨텐츠의 차원을 결정하고,
    상기 차원, 상기 타겟 객체의 윤곽, 상기 타겟 객체의 색상, 상기 타겟 객체의 종류, 상기 타겟 객체의 재질을 포함하는 상기 타겟 객체의 물리적 특징과 더불어 심리적 특징, 암묵적 특징, 상기 타겟 객체와 상기 디스플레이 간의 거리 및 상기 디스플레이와 상기 사용자 간의 거리에 기초하여 상기 컨텐츠를 생성하는,
    컨텐츠 제공 장치.
PCT/KR2023/003399 2022-08-23 2023-03-14 감지된 객체를 이용한 컨텐츠 제공 장치 WO2024043424A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220105596 2022-08-23
KR10-2022-0105596 2022-08-23
KR10-2023-0032386 2023-03-13
KR1020230032386A KR20240027520A (ko) 2022-08-23 2023-03-13 감지된 객체를 이용한 컨텐츠 제공 장치

Publications (1)

Publication Number Publication Date
WO2024043424A1 true WO2024043424A1 (ko) 2024-02-29

Family

ID=90013376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003399 WO2024043424A1 (ko) 2022-08-23 2023-03-14 감지된 객체를 이용한 컨텐츠 제공 장치

Country Status (1)

Country Link
WO (1) WO2024043424A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130119144A (ko) * 2012-04-23 2013-10-31 엠텍비젼 주식회사 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
KR20160071783A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 컨텐트를 표시하는 방법 및 디바이스
KR101691564B1 (ko) * 2010-06-14 2016-12-30 주식회사 비즈모델라인 시선방향 추적을 이용한 증강현실 제공 방법
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR20190098925A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691564B1 (ko) * 2010-06-14 2016-12-30 주식회사 비즈모델라인 시선방향 추적을 이용한 증강현실 제공 방법
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR20130119144A (ko) * 2012-04-23 2013-10-31 엠텍비젼 주식회사 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
KR20160071783A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 컨텐트를 표시하는 방법 및 디바이스
KR20190098925A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Similar Documents

Publication Publication Date Title
US9910513B2 (en) Stabilizing motion of an interaction ray
US9165381B2 (en) Augmented books in a mixed reality environment
US11645809B2 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
Mehrubeoglu et al. Real-time eye tracking using a smart camera
CN110544272B (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN105612478A (zh) 用户接口程序化的缩放
US20220398767A1 (en) Pose determining method and apparatus, electronic device, and storage medium
US20230037922A1 (en) Image display method and apparatus, computer device, and storage medium
CN109643469B (zh) 增强现实渲染的结构化内容
US20100328353A1 (en) Method and system for displaying an image on a display of a computing device
US20160284127A1 (en) Individualized content in augmented reality systems
CN113939844A (zh) 基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统
US10762691B2 (en) Techniques for compensating variable display device latency in image display
Qian et al. Restoring the awareness in the occluded visual field for optical see-through head-mounted displays
CN111311754A (zh) 用于扩展现实内容排除的方法、信息处理设备和产品
US11699412B2 (en) Application programming interface for setting the prominence of user interface elements
WO2024043424A1 (ko) 감지된 객체를 이용한 컨텐츠 제공 장치
US11954316B2 (en) Method and device for assigning an operation set
KR20240027520A (ko) 감지된 객체를 이용한 컨텐츠 제공 장치
Türetkin et al. Real time eye gaze tracking for human machine interaction in the cockpit
US11972088B2 (en) Scene information access for electronic device applications
WO2023172006A1 (ko) 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치
WO2023128660A1 (ko) 검색을 수행하기 위한 전자 장치 및 그 제어 방법
US20230325543A1 (en) Color simulation of anti-reflective coatings on three-dimensional (3d) objects in a head-mounted display (hmd)
Kurauchi et al. Towards wearable gaze supported augmented cognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857465

Country of ref document: EP

Kind code of ref document: A1