WO2023249235A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2023249235A1
WO2023249235A1 PCT/KR2023/005676 KR2023005676W WO2023249235A1 WO 2023249235 A1 WO2023249235 A1 WO 2023249235A1 KR 2023005676 W KR2023005676 W KR 2023005676W WO 2023249235 A1 WO2023249235 A1 WO 2023249235A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
electronic device
area
image
projection
Prior art date
Application number
PCT/KR2023/005676
Other languages
English (en)
French (fr)
Inventor
윤상기
성기범
구본석
김영태
소병석
이기성
이영철
이원희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220113427A external-priority patent/KR20240000328A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2023249235A1 publication Critical patent/WO2023249235A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • This disclosure relates to an electronic device and a control method thereof, and more specifically, to an electronic device and a control method for controlling the brightness of a projected image based on the user's gaze.
  • the electronic device that projects the image eg, projector
  • the user may stop watching the content to charge.
  • the present disclosure is designed to improve the above-described problem, and the purpose of the present disclosure is to provide an electronic device and a control method for controlling the bright projection of an area corresponding to the user's gaze.
  • the electronic device identifies the user's gaze based on a projection unit, a memory, a sensor unit, and sensing data acquired through the sensor unit, and displays the projected image stored in the memory in a first image area corresponding to the user's gaze. and a projected image divided into a second image area, which is the remaining area of the first image area, and including a first image area with a first luminance value and a second image area with a second luminance value different from the first luminance value. and at least one processor configured to acquire the image and control the projection unit to project the acquired projection image.
  • the at least one processor identifies a projection area, divides the projection area into a first projection area corresponding to the user's gaze and a second projection area that is a remaining area of the first projection area, and generates the projection image. It can be divided into the first image area corresponding to the first projection area and the second image area corresponding to the second projection area.
  • the sensing data is first sensing data
  • the at least one processor identifies the projection area based on the second sensing data acquired through the sensor unit and displays the projection area at a position corresponding to the user's gaze and at a preset distance. Based on this, the first projection area can be identified.
  • the first sensing data may be data acquired through an image sensor included in the sensor unit
  • the second sensing data may be data acquired through a distance sensor included in the sensor unit.
  • the at least one processor divides the projection area into a plurality of groups, divides the plurality of groups into a first group corresponding to the user's gaze as the first projection area, and divides the plurality of groups into a first group corresponding to the user's gaze and the remaining groups of the first group. It can be divided into a second projection area.
  • the at least one processor may change the projection direction based on the user's gaze and re-identify the projection area based on the changed projection direction.
  • the at least one processor identifies whether a preset object is identified, and if the preset object is identified, selects an area corresponding to the preset object among the projection areas. It can be identified by the first projection area.
  • the at least one processor divides the projected image into a third image area corresponding to the changed user gaze and a fourth image area that is the remaining area of the third image area, and A projected image including a third image area of the luminance value and a fourth image area of the second luminance value may be obtained.
  • the at least one processor when a plurality of user gazes including a first user gaze and a second user gaze are identified, the at least one processor generates a luminance value of an image area corresponding to the first user gaze and a luminance value corresponding to the second user gaze. Projected images with different luminance values of image areas can be obtained.
  • the at least one processor identifies a user gesture based on the sensing data, and obtains a projected image in which the luminance value of the image area corresponding to the user's gaze is different from the luminance value of the image area corresponding to the user gesture. You can.
  • the control method of an electronic device includes identifying a user's gaze based on sensing data, dividing a projected image stored in the electronic device into a first image area corresponding to the user's gaze and a remaining area of the first image area. dividing into a second image area, obtaining a projection image including a first image area with a first luminance value and a second image area with a second luminance value different from the first luminance value, and the obtained projection. It may include the step of projecting an image.
  • control method further includes identifying a projection area and dividing the projection area into a first projection area corresponding to the user's gaze and a second projection area that is the remaining area of the first projection area,
  • the step of dividing the projected image may divide the projected image into the first image area corresponding to the first projection area and the second image area corresponding to the second projection area.
  • the sensing data is first sensing data
  • the control method further includes the step of identifying the projection area based on the second sensing data, and the step of dividing the projection area includes determining a position corresponding to the user's gaze.
  • the first projection area may be identified based on a preset distance.
  • the first sensing data may be data obtained through an image sensor
  • the second sensing data may be data obtained through a distance sensor
  • the step of dividing the projection area divides the projection area into a plurality of groups, divides the plurality of groups into a first group corresponding to the user's gaze as the first projection area, and divides the plurality of groups into a first group corresponding to the user's gaze and the remainder of the first group.
  • the group can be divided into a second projection area.
  • the method may further include changing the projection direction based on the user's gaze and re-identifying the projection area based on the changed projection direction.
  • control method includes, if the user's gaze does not correspond to the projection area, identifying whether a preset object is identified, and if the preset object is identified, selecting an area corresponding to the preset object among the projection areas.
  • the step of identifying the first projection area may be further included.
  • the control method divides the projected image into a third image area corresponding to the changed user gaze and a fourth image area that is the remaining area of the third image area, and first luminance
  • the method may further include obtaining a projected image including a third image area of the value and a fourth image area of the second luminance value.
  • the control method determines the luminance value of the image area corresponding to the first user gaze and the image area corresponding to the second user gaze.
  • the method may further include acquiring projected images having different luminance values.
  • control method includes identifying a user gesture based on the sensing data and obtaining a projected image in which the luminance value of the image area corresponding to the user's gaze is different from the luminance value of the image area corresponding to the user gesture. may further include.
  • FIG. 1 is a perspective view illustrating the appearance of an electronic device according to various embodiments.
  • FIG. 2 is a block diagram illustrating the configuration of an electronic device according to various embodiments.
  • FIG. 3 is a block diagram specifically illustrating the configuration of the electronic device of FIG. 2.
  • Figure 4 is a perspective view illustrating the appearance of an electronic device according to various embodiments.
  • Figure 5 is a perspective view illustrating the appearance of an electronic device according to various embodiments.
  • Figure 6 is a diagram for explaining rotation information of an electronic device.
  • Figure 7 is a diagram for explaining rotation information of a projection surface.
  • Figure 8 is a diagram for explaining an operation of brightly projecting a partial area of a projected image based on the user's gaze.
  • Figure 9 is a diagram for explaining an operation of reducing the luminance value of an area that does not correspond to the user's gaze based on the luminance value of the projected image.
  • Figure 10 is a diagram for explaining an operation of increasing the luminance value of an area corresponding to the user's gaze based on the luminance value of the projected image.
  • Figure 11 is a diagram for explaining the vertical movement of the area corresponding to the user's gaze.
  • FIG. 12 is a diagram for explaining an electronic device that communicates with a server.
  • FIG. 13 is a diagram for explaining an electronic device communicating with a terminal device.
  • Figure 14 is a flowchart for explaining the operation of correcting the luminance value of a projected image based on the user's gaze.
  • FIG. 15 is a flowchart for specifically explaining the operation of FIG. 14.
  • Figure 16 is a flowchart for explaining the operation of changing the user's gaze.
  • Figure 17 is a flowchart for explaining the operation of obtaining projected images with different luminance values based on the user's gaze.
  • Figure 18 is a diagram for explaining the operation of dividing the projection area based on the position of the user's gaze and a preset distance.
  • Figure 19 is a flowchart for explaining the operation of dividing the projection area based on the position of the user's gaze and a preset distance.
  • Figure 20 is a diagram for explaining the operation of dividing the projection area into a preset number of groups.
  • Figure 21 is a flowchart for explaining the operation of dividing the projection area into a preset number of groups.
  • Figure 22 is a diagram for explaining the operation of dividing the projection area based on the boundary line.
  • Figure 23 is a flowchart for explaining the operation of dividing the projection area based on the boundary line.
  • Figure 24 is a flowchart for explaining the operation of dividing the projection area based on the moving speed of the user's gaze.
  • Figure 25 is a diagram for explaining the operation of identifying whether the user's gaze leaves the projection area.
  • Figure 26 is a flowchart for explaining the operation of identifying whether the user's gaze leaves the projection area.
  • Figure 27 is a diagram for explaining an operation in which the luminance value changes according to the movement of the user's gaze.
  • Figure 28 is a diagram for explaining an operation of changing the luminance value according to the gaze of a plurality of users.
  • Figure 29 is a flowchart for explaining the operation of changing the luminance value according to the gaze of a plurality of users.
  • Figure 30 is a diagram for explaining an operation of changing the luminance value of some content when performing a multi-view function.
  • Figure 31 is a flowchart for explaining an operation of changing the luminance value of some content when performing a multi-view function.
  • Figure 32 is a diagram for explaining an operation of changing the luminance value of some content when performing a multi-view function with a plurality of devices.
  • Figure 33 is a flowchart for explaining an operation of changing the luminance value of some content when performing a multi-view function with a plurality of devices.
  • FIG. 34 is a diagram for explaining an operation of providing a gradient effect at the boundary of a divided image area.
  • Figure 35 is a diagram for explaining an operation of simultaneously projecting a frame from a current viewpoint and a frame from a past viewpoint.
  • Figure 36 is a diagram for explaining the operation of identifying an object and changing the luminance value.
  • Figure 37 is a flowchart for explaining the operation of identifying an object and changing the luminance value.
  • FIG. 38 is a diagram for explaining an operation of changing a luminance value based on a user gesture according to various embodiments.
  • FIG. 39 is a diagram for explaining an operation of changing a luminance value based on a user gesture according to various embodiments.
  • FIG. 40 is a flowchart illustrating an operation of changing a luminance value based on a user gesture according to various embodiments.
  • Figure 41 is a diagram for explaining an operation of changing the size of a divided image area based on a user gesture.
  • Figure 42 is a flowchart for explaining an operation of changing the size of a divided image area based on a user gesture.
  • Figure 43 is a flowchart for explaining a method of controlling an electronic device according to various embodiments.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., component such as numerical value, function, operation, or part). , and does not rule out the existence of additional features.
  • a or/and B should be understood as referring to either “A” or “B” or “A and B”.
  • expressions such as “first,” “second,” “first,” or “second,” can modify various components regardless of order and/or importance, and can refer to one component. It is only used to distinguish from other components and does not limit the components.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that a certain component can be connected directly to another component or connected through another component (e.g., a third component).
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented by at least one processor (not shown), except for “modules” or “units” that need to be implemented with specific hardware. It can be.
  • the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 is a perspective view illustrating the exterior of an electronic device 100 according to various embodiments.
  • the electronic device 100 may include a projection lens 101, a head 103, a body 105, a cover 107, or a connector 130.
  • the electronic device 100 may be of various types.
  • the electronic device 100 may be a projector device that enlarges and projects an image onto a wall or screen
  • the projector device may be an LCD projector or a DLP (digital light processing) type projector using a digital micromirror device (DMD).
  • DMD digital micromirror device
  • the electronic device 100 may be a home or industrial display device, a lighting device used in daily life, an audio device including a sound module, a portable communication device (e.g., a smartphone), It may be implemented as a computer device, portable multimedia device, wearable device, or home appliance device. Meanwhile, the electronic device 100 according to various embodiments of the present disclosure is not limited to the above-mentioned devices, and the electronic device 100 may be implemented as an electronic device 100 having two or more functions of the above-mentioned devices.
  • the electronic device 100 can be used as a display device, lighting device, or sound device by turning off the projector function and turning on the lighting function or speaker function according to the operation of the processor, and can use AI as a display device, a lighting device, or a sound device, including a microphone or communication device. It can be used as a speaker.
  • the projection lens 101 is formed on one side of the main body 105 to project light passing through the lens array to the outside of the main body 105.
  • the projection lens 101 of various embodiments may be an optical lens coated with a low-dispersion coating to reduce chromatic aberration.
  • the projection lens 101 may be a convex lens or a condenser lens, and the projection lens 101 of various embodiments may adjust the focus by adjusting the positions of a plurality of sub-lenses.
  • the head 103 is provided to be coupled to one side of the main body 105 to support and protect the projection lens 101.
  • the head 103 may be coupled to the main body 105 so that it can be swiveled in a preset angle range based on one side of the main body 105.
  • the head 103 can be swiveled automatically or manually by a user or a processor to freely adjust the projection angle of the projection lens 101.
  • the head 103 is coupled to the main body 105 and includes a neck extending from the main body 105, so that the head 103 is tilted or tilted to adjust the projection angle of the projection lens 101. It can be adjusted.
  • the main body 105 is a housing that forms the exterior, and can support or protect components (for example, those shown in FIG. 3) of the electronic device 100 disposed inside the main body 105.
  • the shape of the main body 105 may be close to a cylindrical shape as shown in FIG. 1 .
  • the shape of the main body 105 is not limited to this, and according to various embodiments of the present disclosure, the main body 105 may be implemented in various geometric shapes such as a pillar, cone, or sphere with a polygonal cross-section.
  • the size of the main body 105 may be such that a user can hold or move it with one hand, may be implemented in an ultra-small size for easy portability, and may be implemented in a size that can be mounted on a table or combined with a lighting device.
  • the material of the main body 105 may be made of matte metal or synthetic resin to prevent the user's fingerprints or dust from being detected, or the exterior of the main body 105 may be made of a smooth gloss.
  • a friction area may be formed in some areas of the exterior of the main body 105 so that the user can hold and move it.
  • the main body 105 may be provided with a bent gripping portion or support 108a (see FIG. 4) that can be held by the user in at least some areas.
  • the electronic device 100 can project light or an image to a desired location by adjusting the direction of the head 103 and the projection angle of the projection lens 101 while the position and angle of the main body 105 are fixed. there is. Additionally, the head 103 may include a handle that the user can hold after rotating in a desired direction.
  • a plurality of openings may be formed on the outer peripheral surface of the main body 105. Audio output from the audio output unit may be output outside the main body 105 of the electronic device 100 through a plurality of openings.
  • the audio output unit may include a speaker, and the speaker may be used for general purposes such as multimedia playback or recording playback, voice output, etc.
  • a heat dissipation fan (not shown) may be provided inside the main body 105, and when the heat dissipation fan (not shown) is driven, air or heat inside the main body 105 passes through a plurality of openings. can be released. Therefore, the electronic device 100 can discharge heat generated by driving the electronic device 100 to the outside and prevent the electronic device 100 from overheating.
  • the connector 130 can connect the electronic device 100 to an external device to transmit and receive electrical signals or receive power from an external device.
  • the connector 130 may be physically connected to an external device.
  • the connector 130 may include an input/output interface, and may be connected to communicate with an external device or receive power supply by wired or wirelessly.
  • the connector 130 may include an HDMI connection terminal, a USB connection terminal, an SD card receiving groove, an audio connection terminal, or a power outlet, or may include Bluetooth, Wi-Fi, or wireless connection to an external device. May include a charging connection module.
  • the connector 130 may have a socket structure connected to an external lighting device, and may be connected to a socket receiving groove of the external lighting device to receive power.
  • the size and specification of the socket-structured connector 130 can be implemented in various ways in consideration of the accommodating structure of external devices that can be combined.
  • the diameter of the joint area of the connector 130 may be implemented as 26 mm, and in this case, the electronic device 100 replaces a commonly used light bulb and is used as an external lighting device such as a stand. can be combined with Meanwhile, when connected to a socket located on an existing ceiling, the electronic device 100 is projected from top to bottom. If the electronic device 100 is not rotated by coupling with the socket, the screen also cannot be rotated.
  • the electronic device 100 is socket-coupled to a stand on the ceiling so that the electronic device 100 can rotate even when the socket is connected and power is supplied, and the head 103 is positioned on one side of the main body 105. It swivels and you can adjust the projection angle to project the screen to a desired location or rotate the screen.
  • the connector 130 may include a coupling sensor, and the coupling sensor may sense whether the connector 130 and an external device are coupled, the coupling state, or the coupling object, and transmit the sensing to the processor.
  • the processor may detect the sensor based on the received sensing value. The operation of the electronic device 100 can be controlled.
  • the cover 107 can be coupled to and separated from the main body 105, and can protect the connector 130 so that the connector 130 is not exposed to the outside at all times.
  • the shape of the cover 107 may be continuous with the main body 105 as shown in FIG. 1, or may be implemented to correspond to the shape of the connector 130.
  • the cover 107 can support the electronic device 100, and the electronic device 100 can be used by being coupled to the cover 107 or mounted on an external holder.
  • the electronic device 100 of various embodiments may have a battery provided inside the cover 107.
  • Batteries may include, for example, non-rechargeable primary cells, rechargeable secondary cells, or fuel cells.
  • the electronic device 100 may include a camera module, and the camera module may capture still images and moving images.
  • a camera module may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the electronic device 100 may include a protective case (not shown) to protect the electronic device 100 and enable easy transportation, or a stand to support or secure the main body 105. (not shown), and may include a bracket (not shown) that can be coupled to a wall or partition.
  • the electronic device 100 can be connected to various external devices using a socket structure to provide various functions.
  • the electronic device 100 may be connected to an external camera device using a socket structure.
  • the electronic device 100 may provide images stored in a connected camera device or an image currently being captured using the projection unit 112.
  • the electronic device 100 may be connected to a battery module using a socket structure to receive power.
  • the electronic device 100 may be connected to an external device using a socket structure, but this is only a variety of embodiments, and may be connected to an external device using another interface (eg, USB, etc.).
  • FIG. 2 is a block diagram illustrating the configuration of an electronic device 100 according to various embodiments.
  • the electronic device 100 may include at least one processor 111, a projection unit 112, a memory 113, and a sensor unit 121.
  • At least one processor 111 may perform overall control operations of the electronic device 100. Specifically, at least one processor 111 functions to control the overall operation of the electronic device 100. A detailed description related to at least one processor 111 is described in FIG. 3.
  • the projection unit 112 is a component that projects images (projected images, content, etc.) to the outside. A detailed description related to the projection unit 112 is described in FIG. 3.
  • the memory 113 may store a projection image projected through the projection unit 112.
  • the projected image may mean not only a still image but also a continuous image (or video).
  • a projected image may refer to an image included in content.
  • the sensor unit 121 may include a plurality of sensors.
  • the sensor unit 121 may include at least one of a first sensor or a second sensor.
  • the first sensor may refer to an image sensor.
  • the image sensor may refer to a camera that acquires shooting (or imaging) data.
  • the second sensor may mean a distance sensor.
  • a distance sensor may mean a Time of Flight (ToF) sensor or a Lidar sensor.
  • At least one processor 111 identifies the user's gaze based on sensing data acquired through the sensor unit 121, and divides the projected image stored in the memory 113 into a first image area and a first image corresponding to the user's gaze. Divide the area into a second image area, which is the remaining area, obtain a projection image including a first image area with a first luminance value and a second image area with a second luminance value different from the first luminance value, and obtain the projection.
  • the projection unit 112 can be controlled to project an image.
  • At least one processor 111 may obtain sensing data through the sensor unit 121.
  • At least one processor 111 may acquire first sensing data and second sensing data depending on the data acquisition time. For example, data received at a first time point may be described as first sensing data, and data received at a second time point may be described as second sensing data.
  • At least one processor 111 may acquire first sensing data and second sensing data depending on the type of sensor that senses the sensing data. For example, data received through a first sensor may be described as first sensing data, and data received through a second sensor may be described as second sensing data.
  • At least one processor 111 may obtain the gaze of the user 20 based on sensing data obtained through an image sensor.
  • the presence of the user 20 itself can be identified using an image sensor or a distance sensor.
  • at least one processor 111 may determine which position the user 20 is looking at based on sensing data obtained through an image sensor.
  • At least one processor 111 may identify the presence or absence of the user 20 based on sensing data acquired through a sensor unit (including at least one of an image sensor or a distance sensor). When the user 20 exists, at least one processor 111 may identify the user's 20 gaze (hereinafter referred to as the user's gaze). The user's gaze may indicate which position in the projection area where the projected image is output by the user 20.
  • At least one processor 111 may acquire sensing data including a captured image including the face of the user 20.
  • at least one processor 111 may recognize the pupils (or iris) of the user 20 included in the image and analyze where the user 20 is looking.
  • at least one processor 111 may analyze the user's gaze based on the location of the electronic device 100, the area where the projected image is projected, the captured image including the user 20, and the location information of the user 20. You can.
  • the user's gaze may be obtained based on sensing data obtained from the terminal device 500.
  • a sensor included in the terminal device 500 can sense information related to the user 20 and transmit the sensing data to the electronic device 100.
  • the electronic device 100 may obtain the user's gaze based on sensing data received from the terminal device 500. A description related to this is provided in FIG. 13.
  • At least one processor 111 may analyze which area of the projected image the user's gaze is looking at.
  • At least one processor 111 divides the entire area of the projected image projected on the projection surface 10 into a first image area corresponding to the user's gaze and a second image area not corresponding to the user's gaze. It can be divided into image areas.
  • the first image area may be described as a main area, and the second image area may be described as an auxiliary area.
  • the at least one processor 111 divides the entire projection area on which the projection image is to be projected on the projection surface 10 into a first projection area corresponding to the user's line of sight and a first projection area that does not correspond to the user's line of sight. It can be divided into a second projection area.
  • the first projection area may be an area where the first image area of the projection image will be projected.
  • the second projection area may be an area where the second image area of the projection image will be projected.
  • the first projection area may be described as the main screen, and the second projection area may be described as the auxiliary screen.
  • At least one processor 111 may identify a first image area corresponding to the user's gaze and a second image area that does not correspond to the user's gaze. At least one processor 111 may control the projection unit 112 so that the first image area is projected brighter than the second image area.
  • At least one processor 111 may perform an image correction function to brighten a specific area (the first image area corresponding to the user's gaze).
  • At least one processor 111 may perform an image correction operation based on the basic luminance value (or average luminance value) included in the original projection image.
  • the at least one processor 111 maintains the basic luminance value in the first image area corresponding to the user's gaze, and sets the second image area not corresponding to the user's gaze to a luminance value lower than the basic luminance value. You can change it. For example, the at least one processor 111 maintains the basic luminance value (100%) in the first image area corresponding to the user's gaze, and maintains the basic luminance value (100%) in the second image area that does not correspond to the user's gaze. Based on this, the luminance value can be lowered. At least one processor 111 may obtain a projected image including a first image area with a basic luminance value (100%) and a second image area with a changed luminance value (50%). A description related to this is provided in FIG. 9.
  • At least one processor 111 maintains the default luminance value in the second image area that does not correspond to the user's gaze, and sets the first image area that corresponds to the user's gaze to a luminance value higher than the basic luminance value. You can change it. For example, the at least one processor 111 maintains the basic luminance value (100%) in the second image area that does not correspond to the user's gaze, and maintains the basic luminance value (100%) in the first image area that does not correspond to the user's gaze. Based on this, the luminance value can be increased. At least one processor 111 may obtain a projected image including a second image area with a basic luminance value (100%) and a first image area with a changed luminance value (150%). A description related to this is provided in FIG. 10.
  • the operation of changing the brightness value may include at least one of changing the brightness value applied to the image or changing the pixel value (e.g., R, G, B value) included in the image.
  • the operation of changing the brightness value applied to the image may mean the operation of increasing or decreasing the brightness value applied to the entire projected image.
  • the operation of changing the pixel value may mean increasing or decreasing the average pixel value of the entire image to be projected.
  • At least one processor 111 identifies the projection area, divides the projection area into a first projection area corresponding to the user's gaze and a second projection area that is the remaining area of the first projection area, and sends the projection image to the first projection area. It can be divided into a first image area corresponding to the projection area and a second image area corresponding to the second projection area.
  • At least one processor 111 divides the projection area into a plurality of groups, divides the plurality of groups into a first projection area with a first group corresponding to the user's gaze, and divides the remaining groups of the first group into a second projection area. It can be divided into areas.
  • the projection area may refer to an area where a projection image is output.
  • At least one processor 111 may identify the projection surface 10 based on the sensing data. Additionally, at least one processor 111 may identify a projection area on the projection surface 10 where the projection image is to be projected among the entire area. Additionally, at least one processor 111 may divide the projection area into a plurality of areas. Here, multiple areas may be written as multiple groups.
  • At least one processor 111 may divide the projection area into a first projection area that corresponds to the user's gaze and a second projection area that does not correspond to the user's gaze. At least one processor 111 may analyze which area of the entire projection area the user 20 is looking at based on the user's gaze.
  • the sensing data is first sensing data
  • at least one processor 111 identifies the projection area based on the second sensing data acquired through the sensor unit 121, and determines the position corresponding to the user's gaze and a preset
  • the first projection area may be identified based on the distance.
  • At least one processor 111 may divide the entire projection area into a first projection area and a second projection area based on information related to the user's gaze (gaze direction or gaze position) and a preset distance.
  • the gaze direction may indicate in which direction the user 20's gaze looks toward the projection area.
  • the gaze direction can be written as the gaze angle.
  • the gaze position may indicate which position in the projection area the user 20's gaze is looking at. Detailed descriptions related to this are provided in FIGS. 18 and 19.
  • At least one processor 111 may divide the entire projection area into a first projection area and a second projection area based on the number of a preset plurality of areas (or groups). Detailed descriptions related to this are described in FIGS. 20 and 21.
  • At least one processor 111 may divide the entire projection area into a first projection area and a second projection area based on a boundary line included in the projection surface 10. Detailed descriptions related to this are provided in FIGS. 22 and 23.
  • the first sensing data may be data acquired through an image sensor included in the sensor unit 121
  • the second sensing data may be data acquired through a distance sensor included in the sensor unit 121.
  • the sensor unit 121 may include at least one of a first sensor (image sensor) for capturing an image or a second sensor (distance sensor) for identifying the projection area.
  • a first sensor image sensor
  • a second sensor distance sensor
  • At least one processor 111 may acquire first sensing data obtained through an image sensor and second sensing data obtained through a distance sensor. At least one processor 111 may perform an image correction function using both first and second sensing data.
  • At least one processor 111 may acquire only first sensing data obtained through an image sensor. At least one processor 111 may perform an image correction function using only the first sensing data.
  • At least one processor 111 may change the projection direction based on the user's gaze and re-identify the projection area based on the changed projection direction.
  • the electronic device 100 may identify the projection area based on the currently placed location and the sensing direction of the sensor unit 121. For example, when the electronic device 100 is facing the front, at least one processor 111 may identify the projection area based on the current sensing direction (front). At least one processor 111 may check whether the user's gaze corresponds to the identified projection area. If the user's gaze does not correspond to the identified projection area, at least one processor 111 may determine the area corresponding to the user's gaze as the projection area. At least one processor 111 may change the initially identified projection area (2511 in FIG. 25) into a re-identified projection area (2521 in FIG. 25) based on the user's gaze.
  • At least one processor 111 may track the user's gaze in real time.
  • the user's gaze may deviate from a set critical range.
  • the critical range may refer to a projection area where a projection image is output.
  • at least one processor 111 may change the projection area where the projection image is projected.
  • at least one processor 111 may project a projection image on the changed projection area. Detailed descriptions related to this are provided in FIGS. 25 and 26.
  • the at least one processor 111 identifies whether a preset object is identified, and when the preset object is identified, the at least one processor 111 performs the first projection on the area corresponding to the preset object among the projection areas. It can be identified by area.
  • At least one processor 111 may identify a preset object based on sensing data.
  • the sensing data may mean at least one of sensing data obtained from an image sensor or sensing data obtained from a distance sensor. Preset objects may differ depending on user settings.
  • At least one processor 111 may obtain the moving direction of a preset object or the location of a preset object. At least one processor 111 may specify an area to adjust brightness based on at least one of the movement direction of a preset object or the position of a preset object.
  • At least one processor 111 may project the area where the preset object has moved or the area where the preset object is located to be brighter than the remaining areas. Detailed descriptions related to this are provided in FIGS. 36 and 37.
  • the at least one processor 111 divides the projected image into a third image area corresponding to the changed user gaze and a fourth image area that is the remaining area of the third image area, and generates a first luminance value.
  • a projected image including a third image area of and a fourth image area of a second luminance value may be obtained.
  • At least one processor 111 may track the user's gaze in real time. When the user's gaze changes, at least one processor 111 may re-perform the projection area division operation and the image area division operation. A detailed explanation related to this is described in FIG. 16.
  • the at least one processor 111 when a plurality of user gazes including the first user gaze and the second user gaze are identified, the at least one processor 111 generates the luminance value of the image area corresponding to the first user gaze and the second user gaze. Projected images with different luminance values of image areas can be obtained.
  • At least one processor 111 may identify multiple users. At least one processor 111 may identify the gaze of each of a plurality of users. At least one processor 111 may identify the first user's gaze of the first user 20-1 and the second user's gaze of the second user 20-2. Additionally, at least one processor 111 may project an image area corresponding to the first user's gaze with a first luminance value and project an image area corresponding to the second user's gaze with a second luminance value.
  • the first luminance value and the second luminance value may be different. Detailed descriptions related to this are described in Figures 28 and 29.
  • At least one processor 111 may identify a user gesture based on the sensing data and obtain a projected image in which the luminance value of the image area corresponding to the user's gaze is different from the luminance value of the image area corresponding to the user gesture. there is.
  • At least one processor 111 may identify a preset user gesture based on sensing data.
  • the preset user gesture may vary depending on user settings.
  • a preset user gesture may mean a gesture pointing a finger in a specific direction, a gesture moving both hands, a gesture moving a finger clockwise or counterclockwise, etc.
  • At least one processor 111 may store a plurality of user gestures in the memory 113. Additionally, at least one processor 111 may specify a user gesture identified based on sensing data among a plurality of user gestures. Additionally, at least one processor 111 may change the luminance value of the projected image based on the identified user gesture.
  • At least one processor 111 may change the luminance value of an image area corresponding to a user gesture.
  • At least one processor 111 may change the luminance value of an image area corresponding to the user's gaze based on a user gesture.
  • At least one processor 111 may change the size of the image area corresponding to the user's gaze based on the user's gesture.
  • FIGS. 38 to 50 Detailed descriptions related to this are described in FIGS. 38 to 50.
  • the projection surface 10 is shown as being flat. According to various embodiments, even when the projection surface 10 is implemented as a curved surface, the electronic device 100 can perform the same image correction function.
  • the electronic device 100 may perform an image correction function by comparing the user's gaze and the projection direction of the projected image. For example, when the direction of the user's gaze and the projection direction match, the electronic device 100 may identify the area corresponding to the user's gaze as the central area of the image. Additionally, the electronic device 100 may identify an area corresponding to the user's gaze based on the angle difference between the direction of the user's gaze and the projection direction.
  • the electronic device 100 may change the brightness of the image area based on the user's gaze.
  • the electronic device 100 can increase the user's concentration by relatively brightening only a specific area corresponding to the user's gaze. Additionally, when an area that does not correspond to the user's gaze is changed to relatively dark, power can be saved.
  • the electronic device 100 may obtain distance information between the projection surface 10 and the user 20.
  • the electronic device 100 may acquire sensing data through a distance sensor included in the sensor unit 121. Additionally, the electronic device 100 may obtain distance information indicating the distance value between the projection surface 10 and the user 20 based on the sensing data.
  • the electronic device 100 may obtain the viewing angle of the user 20.
  • the viewing angle of the user 20 may mean a preset angle (eg, 120 degrees). The preset angle can be changed depending on the settings.
  • the electronic device 100 may distinguish the projection area by considering the distance information between the projection surface 10 and the user 20 and the viewing angle of the user 20.
  • the electronic device 100 may identify an area corresponding to the viewing angle of the user 20 among the entire projection area as the first projection area (or main screen).
  • the electronic device 100 may identify an area that does not correspond to the viewing angle of the user 20 among the entire projection area as a second projection area (or auxiliary screen).
  • FIG. 3 is a block diagram specifically illustrating the configuration of the electronic device 100 of FIG. 2.
  • the electronic device 100 includes a processor 111, a projection unit 112, a memory 113, a communication interface 114, an operation interface 115, an input/output interface 116, and a speaker 117. , it may include at least one of a microphone 118, a power supply unit 119, a driver unit 120, or a sensor unit 121.
  • FIG. 3 is merely an example of various embodiments, and some configurations may be omitted and new configurations may be added.
  • the processor 111 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals. However, it is not limited to this, and is not limited to the central processing unit ( central processing unit (CPU), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), graphics-processing unit (GPU), or communication processor (CP)), ARM (advanced reduced instruction set computer (RISC) machines) processor, or may be defined by the corresponding term.
  • the processor 111 is a SoC (System) with a built-in processing algorithm. on Chip), may be implemented in the form of LSI (large scale integration), or may be implemented in the form of FPGA (Field Programmable Gate Array).
  • the processor 111 stores computer executable instructions stored in the memory 113. You can perform various functions by executing instructions.
  • the projection unit 112 is a component that projects an image to the outside.
  • the projection unit 112 uses various projection methods (for example, a cathode-ray tube (CRT) method, a liquid crystal display (LCD) method, a digital light processing (DLP) method, and a laser method. etc.) can be implemented.
  • the CRT method is basically the same as the CRT monitor.
  • the CRT method magnifies the image with a lens in front of the cathode ray tube (CRT) and displays the image on the screen.
  • it is divided into a one-tube type and a three-tube type. In the case of the three-tube type, the red, green, and blue cathode ray tubes can be implemented separately.
  • the LCD method displays images by transmitting light from a light source through liquid crystal.
  • the LCD method is divided into a single-panel type and a three-panel type.
  • the light from the light source is separated into red, green, and blue by a dichroic mirror (a mirror that reflects only light of a specific color and passes the rest) and then passes through the liquid crystal. Afterwards, the light can gather in one place again.
  • a dichroic mirror a mirror that reflects only light of a specific color and passes the rest
  • the DLP method is a method of displaying images using a DMD (Digital Micromirror Device) chip.
  • the DLP projection unit may include a light source, color wheel, DMD chip, projection lens, etc.
  • Light output from a light source can acquire color as it passes through a rotating color wheel.
  • the light that passes through the color wheel is input to the DMD chip.
  • the DMD chip contains numerous micro-mirrors and reflects the light input to the DMD chip.
  • the projection lens can play the role of enlarging the light reflected from the DMD chip to the image size.
  • laser methods include DPSS (Diode Pumped Solid State) lasers and galvanometers.
  • a laser that outputs various colors uses a laser whose optical axes are overlapped using a special mirror after installing three DPSS lasers for each RGB color.
  • Galvanometers contain mirrors and high-power motors that move the mirrors at high speeds. For example, a galvanometer can rotate a mirror at up to 40 KHz/sec. The galvanometer is mounted according to the scanning direction. Since projectors generally scan planarly, the galvanometer can also be arranged divided into x and y axes.
  • the projection unit 112 may include various types of light sources.
  • the projection unit 112 may include at least one light source among a lamp, LED, and laser.
  • the projection unit 112 can output images in 4:3 screen ratio, 5:4 screen ratio, and 16:9 wide screen ratio depending on the purpose of the electronic device 100 or user settings, and can output images in WVGA (854*480) depending on the screen ratio. ), SVGA(800*600), ), images can be output at various resolutions, such as
  • the projection unit 112 can perform various functions to adjust the output image under the control of the processor 111.
  • the projection unit 112 may perform functions such as zoom, keystone, quick corner (4 corners) keystone, and lens shift.
  • the projection unit 112 can enlarge or reduce the image depending on the distance from the screen (projection distance). That is, the zoom function can be performed depending on the distance from the screen.
  • the zoom function may include a hardware method that adjusts the screen size by moving the lens and a software method that adjusts the screen size by cropping the image, etc.
  • methods for controlling focus include manual focus methods, electric methods, etc.
  • the manual focus method refers to a method of focusing manually
  • the electric method refers to a method in which the projector automatically focuses using a built-in motor when the zoom function is performed.
  • the projection unit 112 can provide a digital zoom function through software and an optical zoom function that performs the zoom function by moving the lens through the driving unit 120.
  • the projection unit 112 may perform a keystone correction function. If the height is not appropriate for front projection, the screen may be distorted upward or downward.
  • the keystone correction function refers to the function to correct a distorted screen. For example, if distortion occurs in the left and right directions of the screen, it can be corrected using horizontal keystone, and if distortion occurs in the vertical direction, it can be corrected using vertical keystone.
  • the quick corner (4 corners) keystone correction function is a function that corrects the screen when the center area of the screen is normal but the corner areas are unbalanced.
  • the lens shift function is a function that moves the screen as is when the screen is off-screen.
  • the projection unit 112 can automatically analyze the surrounding environment and projection environment without user input and provide zoom/keystone/focus functions. Specifically, the projection unit 112 displays the distance between the electronic device 100 and the screen detected through a sensor (depth camera, distance sensor, infrared sensor, illuminance sensor, etc.) and the space where the electronic device 100 is currently located. Zoom/keystone/focus functions can be automatically provided based on information about the camera, surrounding light amount, etc.
  • the projection unit 112 may provide a lighting function using a light source.
  • the projection unit 112 can provide a lighting function by outputting a light source using LED.
  • the projection unit 112 may include one LED, and according to other embodiments, the electronic device 100 may include a plurality of LEDs.
  • the projection unit 112 may output a light source using a surface-emitting LED depending on the implementation example.
  • a surface-emitting LED may refer to an LED having a structure in which an optical sheet is disposed on the upper side of the LED so that the light source is output evenly distributed. Specifically, when a light source is output through an LED, the light source can be evenly distributed through the optical sheet, and the light source dispersed through the optical sheet can be incident on the display panel.
  • the projection unit 112 may provide the user with a dimming function to adjust the intensity of the light source. Specifically, when a user input for adjusting the intensity of the light source is received from the user through the operation interface 115 (e.g., a touch display button or dial), the projection unit 112 displays the light source corresponding to the received user input.
  • the LED can be controlled to output an intensity of
  • the projection unit 112 may provide a dimming function based on content analyzed by the processor 111 without user input. Specifically, the projection unit 112 may control the LED to output the intensity of the light source based on information about the currently provided content (eg, content type, content brightness, etc.).
  • the projection unit 112 can control the color temperature under the control of the processor 111.
  • the processor 111 can control the color temperature based on content. Specifically, when content is identified to be output, the processor 111 may obtain color information for each frame of the content for which output has been determined. Additionally, the processor 111 may control the color temperature based on the obtained color information for each frame. Here, the processor 111 may obtain at least one main color of the frame based on color information for each frame. Additionally, the processor 111 may adjust the color temperature based on at least one acquired main color. For example, the color temperature that the processor 111 can adjust may be divided into warm type or cold type.
  • output frame includes a scene where a fire occurs.
  • the processor 111 may identify (or obtain) that the main color is red based on color information included in the current output frame. Additionally, the processor 111 can identify the color temperature corresponding to the identified main color (red). Here, the color temperature corresponding to red may be warm type. Meanwhile, the processor 111 may use an artificial intelligence model to obtain color information or the main color of the frame. According to various embodiments, the artificial intelligence model may be stored in the electronic device 100 (eg, memory 113). According to another embodiment, the artificial intelligence model may be stored in an external server capable of communicating with the electronic device 100.
  • the memory 113 is implemented as internal memory such as ROM (e.g., electrically erasable programmable read-only memory (EEPROM)) and RAM included in the processor 111, or is implemented by the processor 111 and the It may also be implemented as a separate memory.
  • the memory 113 may be implemented as a memory embedded in the electronic device 100 or as a memory detachable from the electronic device 100 depending on the data storage purpose. For example, in the case of data for driving the electronic device 100, it is stored in the memory embedded in the electronic device 100, and in the case of data for the expansion function of the electronic device 100, it is detachable from the electronic device 100. It can be stored in available memory.
  • volatile memory e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory Examples: one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g.
  • OTPROM one time programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM e.g.
  • a memory card e.g., compact flash (CF), SD ( secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.
  • CF compact flash
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • MMC multi-media card
  • USB port e.g. It can be implemented in a form such as USB memory
  • the memory 113 may store at least one command related to the electronic device 100. Additionally, an operating system (O/S) for driving the electronic device 100 may be stored in the memory 113. Additionally, the memory 113 may store various software programs or applications for operating the electronic device 100 according to various embodiments of the present disclosure. Additionally, the memory 113 may include a semiconductor memory such as flash memory or a magnetic storage medium such as a hard disk.
  • O/S operating system
  • the memory 113 may include a semiconductor memory such as flash memory or a magnetic storage medium such as a hard disk.
  • the memory 113 may store various software modules for operating the electronic device 100 according to various embodiments of the present disclosure, and the processor 111 executes various software modules stored in the memory 113.
  • the operation of the electronic device 100 can be controlled. That is, the memory 113 is accessed by the processor 111, and reading/writing/modifying/deleting/updating data by the processor 111 can be performed.
  • the term memory 113 refers to a storage unit, a ROM (not shown) within the processor 111, a RAM (not shown), or a memory card (not shown) mounted on the electronic device 100 (e.g. , micro SD card, memory stick).
  • the communication interface 114 is a configuration that performs communication with various types of external devices according to various types of communication methods.
  • the communication interface 114 may include a wireless communication module or a wired communication module.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the wireless communication module may be a module that communicates wirelessly with an external device.
  • the wireless communication module may include at least one of a Wi-Fi module, a Bluetooth module, an infrared communication module, or other communication modules.
  • the Wi-Fi module and Bluetooth module can communicate using Wi-Fi and Bluetooth methods, respectively.
  • various connection information such as SSID (service set identifier) and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this.
  • SSID service set identifier
  • the infrared communication module performs communication based on infrared communication (IrDA, infrared data association) technology, which transmits data wirelessly over a short distance using infrared rays that lie between visible light and millimeter waves.
  • IrDA infrared communication
  • other communication modules include zigbee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), LTE-A (LTE Advanced), 4G (4th Generation), and 5G. It may include at least one communication chip that performs communication according to various wireless communication standards such as (5th Generation).
  • the wired communication module may be a module that communicates with an external device by wire.
  • the wired communication module may include at least one of a local area network (LAN) module, an Ethernet module, a pair cable, a coaxial cable, an optical fiber cable, or an ultra wide-band (UWB) module.
  • LAN local area network
  • Ethernet Ethernet
  • UWB ultra wide-band
  • the manipulation interface 115 may include various types of input devices.
  • the operating interface 115 may include physical buttons.
  • the physical button may include a function key, a direction key (for example, a 4-way key), or a dial button.
  • a physical button may be implemented as a plurality of keys.
  • the physical button may be implemented as one key.
  • the electronic device 100 may receive a user input in which one key is pressed for more than a threshold time.
  • the processor 111 may perform a function corresponding to the user input. For example, the processor 111 may provide a lighting function based on user input.
  • the manipulation interface 115 may receive user input using a non-contact method.
  • a contact method physical force must be transmitted to the electronic device 100. Accordingly, a method for controlling the electronic device 100 regardless of physical force may be needed.
  • the manipulation interface 115 may receive a user gesture and perform an operation corresponding to the received user gesture.
  • the manipulation interface 115 may receive the user's gesture through a sensor (eg, an image sensor or an infrared sensor).
  • the manipulation interface 115 may receive user input using a touch method.
  • the manipulation interface 115 may receive user input through a touch sensor.
  • the touch method may be implemented as a non-contact method.
  • the touch sensor can determine whether the user's body approaches within a threshold distance.
  • the touch sensor can identify user input even when the user does not contact the touch sensor.
  • the touch sensor may identify a user input in which the user touches the touch sensor.
  • the electronic device 100 may receive user input in various ways other than the operation interface 115 described above.
  • the electronic device 100 may receive user input through an external remote control device.
  • the external remote control device is a remote control device corresponding to the electronic device 100 (e.g., a dedicated control device for the electronic device 100) or a user's portable communication device (e.g., a smartphone or wearable device). It can be.
  • an application for controlling the electronic device 100 may be stored in the user's portable communication device.
  • the portable communication device may obtain user input through a stored application and transmit the obtained user input to the electronic device 100.
  • the electronic device 100 may receive user input from a portable communication device and perform an operation corresponding to the user's control command.
  • the electronic device 100 may receive user input using voice recognition.
  • the electronic device 100 may receive a user's voice through a microphone included in the electronic device 100.
  • the electronic device 100 may receive a user's voice from a microphone or an external device.
  • the external device can acquire the user's voice through the external device's microphone and transmit the acquired user's voice to the electronic device 100.
  • the user's voice transmitted from an external device may be audio data or digital data converted from audio data (for example, audio data converted to the frequency domain, etc.).
  • the electronic device 100 may perform an operation corresponding to the received user voice.
  • the electronic device 100 may receive audio data corresponding to the user's voice through a microphone.
  • the electronic device 100 can convert the received audio data into digital data. Additionally, the electronic device 100 can convert the converted digital data into text data using the STT (Speech To Text) function. According to various embodiments, the Speech To Text (STT) function may be performed directly on the electronic device 100,
  • the Speech To Text (STT) function may be performed on an external server.
  • the electronic device 100 may transmit digital data to an external server.
  • the external server can convert digital data into text data and obtain control command data based on the converted text data.
  • the external server may transmit control command data (here, text data may also be included) to the electronic device 100.
  • the electronic device 100 may perform an operation corresponding to the user's voice based on the acquired control command data.
  • the electronic device 100 may provide a voice recognition function using a single assistant (or an artificial intelligence assistant, for example, BixbyTM, etc.), but this is only a variety of embodiments and can provide a voice recognition function through a plurality of assistants. Voice recognition function can be provided. At this time, the electronic device 100 may provide a voice recognition function by selecting one of a plurality of assistants based on a trigger word corresponding to the assistance or a specific key present on the remote control.
  • a single assistant or an artificial intelligence assistant, for example, BixbyTM, etc.
  • Voice recognition function can be provided.
  • the electronic device 100 may provide a voice recognition function by selecting one of a plurality of assistants based on a trigger word corresponding to the assistance or a specific key present on the remote control.
  • the electronic device 100 may receive user input using screen interaction.
  • Screen interaction may refer to a function of identifying whether a predetermined event occurs through an image projected by the electronic device 100 on a screen (or projection surface) and obtaining user input based on the predetermined event.
  • the predetermined event may mean an event in which a predetermined object is identified at a specific location (for example, a location where a UI for receiving user input is projected).
  • the predetermined object may include at least one of a user's body part (eg, a finger), a pointing stick, or a laser point.
  • the electronic device 100 may identify that a user input for selecting the projected UI has been received.
  • the electronic device 100 may project a guide image to display a UI on the screen. And, the electronic device 100 can identify whether the user selects the projected UI. Specifically, if a predetermined event is identified at the location of the projected UI, the electronic device 100 may identify that the user has selected the projected UI.
  • the projected UI may include at least one item.
  • the electronic device 100 may perform spatial analysis to identify whether a predetermined event is located at the location of the projected UI.
  • the electronic device 100 may perform spatial analysis through sensors (eg, image sensors, infrared sensors, depth cameras, distance sensors, etc.). The electronic device 100 may identify whether a predetermined event occurs at a specific location (a location where the UI is projected) by performing spatial analysis. Additionally, if it is identified that a predetermined event occurs at a specific location (a location where the UI is projected), the electronic device 100 may identify that a user input for selecting the UI corresponding to the specific location has been received.
  • sensors eg, image sensors, infrared sensors
  • the input/output interface 116 is configured to input and output at least one of an audio signal and an image signal.
  • the input/output interface 116 can receive at least one of audio and image signals from an external device and output control commands to the external device.
  • the input/output interface 116 may be implemented as an interface that inputs and outputs only audio signals and an interface that inputs and outputs only image signals, or as a single interface that inputs and outputs both audio signals and image signals.
  • the input/output interface 116 includes High Definition Multimedia Interface (HDMI), Mobile High-Definition Link (MHL), Universal Serial Bus (USB), USB C-type, Display Port (DP), It can be implemented with at least one wired input/output interface among Thunderbolt, VGA (Video Graphics Array) port, RGB port, D-SUB (Dsubminiature), and DVI (Digital Visual Interface).
  • the wired input/output interface may be implemented as an interface that inputs and outputs only audio signals and an interface that inputs and outputs only image signals, or may be implemented as a single interface that inputs and outputs both audio signals and image signals.
  • the electronic device 100 may receive data through a wired input/output interface, but this is only a variety of embodiments, and power may be supplied through a wired input/output interface.
  • the electronic device 100 can receive power from an external battery through USB C-type or from an outlet through a power adapter.
  • the electronic device 100 may receive power from an external device (eg, a laptop or monitor, etc.) through DP.
  • audio signals can be input through a wired input/output interface
  • image signals can be input through a wireless input/output interface (or communication interface).
  • the audio signal may be input through a wireless input/output interface (or communication interface)
  • the image signal may be input through a wired input/output interface.
  • the speaker 117 is configured to output an audio signal.
  • the speaker 117 may include an audio output mixer, an audio signal processor, and a sound output module.
  • the audio output mixer can synthesize a plurality of audio signals to be output into at least one audio signal.
  • the audio output mixer may synthesize an analog audio signal and another analog audio signal (eg, an analog audio signal received from an external source) into at least one analog audio signal.
  • the sound output module may include a speaker or an output terminal. According to various embodiments, the sound output module may include a plurality of speakers.
  • the sound output module may be disposed inside the main body, and the sound emitted by covering at least a portion of the diaphragm of the sound output module may be transmitted through a sound conduit ( It can be transmitted outside the body by passing through a waveguide.
  • the sound output module includes a plurality of sound output units, and the plurality of sound output units are arranged symmetrically on the exterior of the main body, so that sound can be radiated in all directions, that is, in all directions of 360 degrees.
  • the microphone 118 is configured to receive a user's voice or other sounds and convert them into audio data.
  • the microphone 118 can receive the user's voice when activated.
  • the microphone 118 may be formed integrally with the electronic device 100, such as on the top, front, or side surfaces.
  • the microphone 118 includes a microphone that collects user voice in analog form, an amplifier circuit that amplifies the collected user voice, an A/D conversion circuit that samples the amplified user voice and converts it into a digital signal, and noise components from the converted digital signal. It may include various configurations such as a filter circuit to remove .
  • the power supply unit 119 may receive power from the outside and supply power to various components of the electronic device 100.
  • the power supply unit 119 may receive power through various methods.
  • the power supply unit 119 may receive power using the connector 130 as shown in FIG. 1.
  • the power supply unit 119 can receive power using a 220V DC power cord.
  • the electronic device 100 is not limited to this, and may receive power using a USB power cord or a wireless charging method.
  • the power supply unit 119 may receive power using an internal battery or an external battery.
  • the power supply unit 119 may receive power through an internal battery.
  • the power unit 119 can charge the power of the internal battery using at least one of a 220V DC power cord, a USB power cord, and a USB C-Type power cord, and receive power through the charged internal battery.
  • the power supply unit 119 may receive power through an external battery.
  • the power unit 119 receives power through the external battery.
  • the power supply unit 119 can receive power directly from an external battery, or charge the internal battery through an external battery and receive power from the charged internal battery.
  • the power supply unit 119 may receive power using at least one of the plurality of power supply methods described above.
  • the electronic device 100 may have power consumption below a preset value (eg, 43W) due to socket type and other standards. At this time, the electronic device 100 may vary power consumption to reduce power consumption when using the battery. That is, the electronic device 100 can vary power consumption based on the power supply method and power usage amount.
  • a preset value eg, 43W
  • the driver 120 may drive at least one hardware component included in the electronic device 100.
  • the driving unit 120 may generate physical force and transmit it to at least one hardware component included in the electronic device 100.
  • the driver 120 is driven to move the hardware component included in the electronic device 100 (e.g., move the electronic device 100) or rotate the component (e.g., rotate the projection lens). It can generate power.
  • the driving unit 120 can adjust the projection direction (or projection angle) of the projection unit 122. Additionally, the driver 120 can move the position of the electronic device 100. Here, the driver 120 may control the moving member 109 to move the electronic device 100. For example, the driving unit 120 may control the moving member 109 using a motor.
  • the sensor unit 121 may include at least one sensor.
  • the sensor unit 121 may include at least one of a tilt sensor that senses the tilt of the electronic device 100 and an image sensor that captures an image.
  • the tilt sensor may be an acceleration sensor or a gyro sensor
  • the image sensor may be a camera or a depth camera.
  • the tilt sensor can be described as a motion sensor.
  • the sensor unit 121 may include various sensors in addition to a tilt sensor or an image sensor.
  • the sensor unit 121 may include an illumination sensor and a distance sensor.
  • the distance sensor may be Time of Flight (ToF).
  • the sensor unit 121 may include a LiDAR sensor.
  • the electronic device 100 can control lighting functions in conjunction with external devices.
  • the electronic device 100 may receive lighting information from an external device.
  • the lighting information may include at least one of brightness information or color temperature information set in an external device.
  • the external device is a device connected to the same network as the electronic device 100 (for example, an IoT device included in the same home/work network) or a device that is not in the same network as the electronic device 100 but communicates with the electronic device 100. It may refer to a capable device (for example, a remote control server).
  • a capable device for example, a remote control server.
  • an external lighting device IoT device included in the same network as the electronic device 100 is outputting red light at a brightness of 50.
  • An external lighting device may directly or indirectly transmit lighting information (for example, information indicating that red lighting is output at a brightness of 50) to the electronic device 100.
  • the electronic device 100 may control the output of the light source based on lighting information received from an external lighting device. For example, if lighting information received from an external lighting device includes information about outputting red lighting at a brightness of 50, the electronic device 100 may output red lighting at a brightness of 50.
  • the electronic device 100 can control the lighting function based on biometric information.
  • the processor 111 may obtain the user's biometric information.
  • the biometric information may include at least one of the user's body temperature, heart rate, blood pressure, respiration, and electrocardiogram.
  • biometric information may include various information in addition to the information described above.
  • the electronic device 100 may include a sensor for measuring biometric information.
  • the processor 111 may acquire the user's biometric information through a sensor and control the output of the light source based on the acquired biometric information.
  • the processor 111 may receive biometric information from an external device through the input/output interface 116.
  • the external device may refer to the user's portable communication device (eg, a smartphone or wearable device).
  • the processor 111 may obtain the user's biometric information from an external device and control the output of the light source based on the obtained biometric information. Meanwhile, depending on the implementation example, the electronic device 100 may identify whether the user is sleeping, and if the user is identified as sleeping (or preparing to sleep), the processor 111 may identify the user based on the user's biometric information. This allows you to control the output of the light source.
  • the electronic device 100 may provide various smart functions.
  • the electronic device 100 is connected to a portable terminal device for controlling the electronic device 100, and a screen output from the electronic device 100 can be controlled through user input input from the portable terminal device.
  • the mobile terminal device may be implemented as a smartphone including a touch display, and the electronic device 100 receives and outputs screen data provided by the mobile terminal device and inputs the screen data from the mobile terminal device.
  • the screen output from the electronic device 100 may be controlled according to user input.
  • the electronic device 100 can share content or music provided by the mobile terminal device by connecting to the mobile terminal device through various communication methods such as Miracast, Airplay, wireless DEX, and Remote PC method.
  • the mobile terminal device and the electronic device 100 may be connected using various connection methods.
  • the mobile terminal device may search for the electronic device 100 to perform a wireless connection, or the electronic device 100 may search for the mobile terminal device to perform a wireless connection.
  • the electronic device 100 can output content provided by the mobile terminal device.
  • a preset gesture is detected through the display of the mobile terminal device (e.g., motion tap view).
  • the electronic device 100 can output content or music being output on the portable terminal device.
  • the mobile terminal device while specific content or music is being output on the mobile terminal device, the mobile terminal device approaches the electronic device 100 by a preset distance or less (e.g., non-contact tap view) or the mobile terminal device contacts the electronic device 100. When touched twice at a short interval (eg, contact tab view), the electronic device 100 can output content or music being output on the mobile terminal device.
  • a preset distance or less e.g., non-contact tap view
  • the electronic device 100 can output content or music being output on the mobile terminal device.
  • the same screen as the screen provided in the mobile terminal device is provided in the electronic device 100, but the present disclosure is not limited to this. That is, when a connection is established between the portable terminal device and the electronic device 100, the first screen provided by the portable terminal device is output, and the electronic device 100 displays a first screen provided by a different portable terminal device from the first screen.
  • a second screen may be output.
  • the first screen may be a screen provided by a first application installed on the mobile terminal device
  • the second screen may be a screen provided by a second application installed on the mobile terminal device.
  • the first screen and the second screen may be different screens provided by an application installed on the mobile terminal device.
  • the first screen may be a screen that includes a remote control-type UI for controlling the second screen.
  • the electronic device 100 can output a standby screen.
  • the electronic device 100 may output a standby screen.
  • the conditions for the electronic device 100 to output the standby screen are not limited to the above-described example, and the standby screen may be output under various conditions.
  • the electronic device 100 may output a standby screen in the form of a blue screen, but the present disclosure is not limited to this.
  • the electronic device 100 may obtain an atypical object by extracting only the shape of a specific object from data received from an external device, and output a standby screen including the obtained atypical object.
  • the electronic device 100 may further include a display (not shown).
  • the display may be implemented as various types of displays such as LCD (Liquid Crystal Display), OLED (Organic Light Emitting Diodes) display, PDP (Plasma Display Panel), etc.
  • the display (not shown) may also include a driving circuit and a backlight unit that can be implemented in the form of a-si TFT (amorphous silicon thin film transistor), LTPS (low temperature poly silicon) TFT, OTFT (organic TFT), etc. there is.
  • the display (not shown) may be implemented as a touch screen combined with a touch sensor, a flexible display, a three-dimensional display, etc.
  • a display may include a bezel housing the display panel as well as a display panel that outputs an image.
  • the bezel may include a touch sensor (not shown) to detect user interaction.
  • the electronic device 100 may further include a shutter unit (not shown).
  • the shutter unit may include at least one of a shutter, a fixing member, a rail, or a body.
  • the shutter may block the light output from the projection unit 112.
  • the fixing member can fix the position of the shutter.
  • the rail may be a path for moving the shutter and the fixing member.
  • the body may be configured to include a shutter and a fixing member.
  • FIG. 4 is a perspective view illustrating the exterior of the electronic device 100 according to various embodiments.
  • the electronic device 100 may include a support (or “handle”) 108a.
  • the support 108a in various embodiments may be a handle or ring provided for the user to hold or move the electronic device 100, or the support 108a may be used as the main body (108a) when the main body 105 is laid down in the side direction. It may be a stand that supports 105).
  • the support 108a may be connected to the outer peripheral surface of the main body 105 through a hinge structure to be coupled or separated from the outer peripheral surface of the main body 105, and may be selectively separated from or fixed to the outer peripheral surface of the main body 105 depending on the user's needs.
  • the number, shape, or arrangement structure of the supports 108a can be implemented in various ways without restrictions. Although not shown in the drawing, the support 108a is built into the main body 105 and can be taken out and used by the user as needed. Alternatively, the support 108a can be implemented as a separate accessory and can be attached and detached from the electronic device 100. there is.
  • the support 108a may include a first support surface 108a-1 and a second support surface 108a-2.
  • the first support surface 108a-1 may be a surface facing the outside of the main body 105 when the support 108a is separated from the outer peripheral surface of the main body 105
  • the second support surface 108a-2 is a support surface. (108a) may be one side facing the inner direction of the main body 105 in a state separated from the outer peripheral surface of the main body 105.
  • the first support surface 108a-1 extends from the lower part of the main body 105 to the upper part of the main body 105 and may be away from the main body 105, and the first support surface 108a-1 is flat or uniformly curved. It can have a shape.
  • the first support surface 108a-1 is used when the electronic device 100 is mounted so that the outer surface of the main body 105 touches the floor, that is, when the projection lens 101 is placed facing the front, the main body ( 105) can be supported.
  • the projection angle of the head 103 and the projection lens 101 can be adjusted by adjusting the distance between the two supports 108a or the hinge opening angle.
  • the second support surface 108a-2 is a surface that contacts the user or an external mounting structure when the support 108a is supported by the user or an external mounting structure, and is used to prevent the user from slipping when supporting or moving the electronic device 100. It may have a shape corresponding to the gripping structure of the hand or the external holding structure. The user can fix the head 103 by pointing the projection lens 101 toward the front, move the electronic device 100 by holding the support 108a, and use the electronic device 100 like a flashlight.
  • the support groove 104 is provided in the main body 105 and has a groove structure that can be accommodated when the support 108a is not used. It can be implemented as a groove structure corresponding to the shape of the support 108a on the outer peripheral surface of the main body 105. . Through the support groove 104, the support 108a can be stored on the outer peripheral surface of the main body 105 when the support 108a is not used, and the outer peripheral surface of the main body 105 can be maintained smooth.
  • the support 108a may be stored inside the main body 105 and may have a structure in which the support 108a is pulled out of the main body 105 when the support 108a is needed.
  • the support groove 104 may be structured to be recessed into the main body 105 to accommodate the support 108a, and the second support surface 108a-2 may be in close contact with the outer peripheral surface of the main body 105 or may be a separate support. It may include a door (not shown) that opens and closes the groove 104.
  • the electronic device 100 may include various types of accessories that assist in using or storing the electronic device 100.
  • the electronic device 100 may include the electronic device 100. It may include a protective case (not shown) to protect and easily transport, or it may be coupled to a tripod (not shown) that supports or fixes the main body 105 or the external surface to fix the electronic device 100. A possible bracket (not shown) may be included.
  • the embodiment 420 of FIG. 4 shows a state in which the electronic device 100 of the embodiment 410 is placed in contact with the floor.
  • FIG. 5 is a perspective view illustrating the exterior of the electronic device 100 according to various embodiments.
  • the electronic device 100 may include a support (or “pedestal”) 108c.
  • the support 108c of various embodiments may include a base plate 108c-1 and two support members 108c-2 provided to support the electronic device 100 on the ground.
  • the two support members 108c-2 may connect the base plate 108c-1 and the main body 105.
  • the height of the two support members 108c-2 is the same, so that one cross section of the two support members 108c-2 each has a groove provided on one outer peripheral surface of the main body 105 and the hinge member 108c. -3) Can be combined or separated.
  • the two support members may be hingedly connected to the main body 105 at a preset point of the main body 105 (eg, 1/3 to 2/4 of the height of the main body).
  • the main body 105 is rotated about the virtual horizontal axis formed by the two hinge members 108c-3 to form the projection lens 101.
  • the projection angle of can be adjusted.
  • the embodiment 520 of FIG. 5 shows the electronic device 100 of the embodiment 510 in a rotated state.
  • FIG. 6 is a diagram for explaining rotation information of the electronic device 100.
  • the embodiment 610 of FIG. 6 is a graph defining rotation directions along the x, y, and z axes. Rotation about the x-axis can be defined as roll, rotation about the y-axis can be defined as pitch, and rotation about the z-axis can be defined as yaw.
  • the embodiment 620 of FIG. 6 may describe the rotation direction of the electronic device 100 as the rotation direction defined in the embodiment 610.
  • the x-axis rotation information of the electronic device 100 may correspond to a roll that rotates based on the x-axis of the electronic device 100.
  • the y-axis rotation information of the electronic device 100 may correspond to the pitch of rotation based on the y-axis of the electronic device 100.
  • the z-axis rotation information of the electronic device 100 may correspond to yaw rotating based on the z-axis of the electronic device 100.
  • x-axis rotation information may be written as first-axis rotation information, first-axis tilt information, or horizontal distortion information.
  • y-axis rotation information may be written as second-axis rotation information, second-axis tilt information, or vertical tilt information.
  • z-axis rotation information may be written as third-axis rotation information, third-axis tilt information, or horizontal tilt information.
  • the sensor unit 121 may obtain status information (or tilt information) of the electronic device 100.
  • the state information of the electronic device 100 may mean the rotation state of the electronic device 100.
  • the sensor unit 121 may include at least one of a gravity sensor, an acceleration sensor, or a gyro sensor.
  • the x-axis rotation information of the electronic device 100 and the y-axis rotation information of the electronic device 100 may be determined based on sensing data acquired through the sensor unit 121.
  • z-axis rotation information may be obtained based on how much the electronic device 100 is rotated according to its movement.
  • z-axis rotation information may indicate how much the z-axis is rotated during a preset time.
  • z-axis rotation information may indicate how much the electronic device 100 has been rotated in the z-axis at a second time point based on the first time point.
  • z-axis rotation information may indicate an angle between a virtual xz plane through which the electronic device faces the projection surface 10 and a virtual plane perpendicular to the projection surface 10.
  • the z-axis rotation information may be 0 degrees.
  • FIG. 7 is a diagram for explaining rotation information of the projection surface 10.
  • Embodiment 710 of FIG. 7 is a graph defining rotation directions along the x, y, and z axes. Rotation about the x-axis can be defined as roll, rotation about the y-axis can be defined as pitch, and rotation about the z-axis can be defined as yaw.
  • the rotation direction of the projection surface 10 can be explained as the rotation direction defined in the embodiment 710 .
  • the x-axis rotation information of the projection surface 10 may correspond to roll rotating based on the x-axis of the projection surface 10.
  • the y-axis rotation information of the projection surface 10 may correspond to a rotating pitch based on the y-axis of the projection surface 10.
  • the z-axis rotation information of the projection surface 10 may correspond to yaw rotating based on the z-axis of the projection surface 10.
  • x-axis rotation information may be written as first-axis rotation information or first-axis tilt information.
  • y-axis rotation information may be written as second-axis rotation information or second-axis tilt information.
  • z-axis rotation information may be described as third-axis rotation information or third-axis tilt information.
  • Figure 8 is a diagram for explaining an operation of brightly projecting a partial area of a projected image based on the user's gaze.
  • the electronic device 100 can identify the user 20. It is assumed that the user 20 is identified in the vicinity of the electronic device 100.
  • the electronic device 100 can identify the user 20 through the sensor unit 121.
  • the electronic device 100 may identify the gaze of the user 20 (hereinafter referred to as the user gaze) based on the sensing data acquired through the sensor unit 121.
  • the electronic device 100 may analyze the gaze direction based on the user's gaze.
  • the electronic device 100 may identify an image area corresponding to the user's gaze based on the gaze direction. Additionally, the electronic device 100 may distinguish between an image area corresponding to the user's gaze and an image area that does not correspond to the user's gaze and project different luminance values.
  • the projected image 11 may include an image area 11-1, an image area 11-2, and an image area 11-3.
  • each area (11-1, 11-2, 11-3) is described as being separated, but this is to indicate that the areas are divided, and in reality, one undivided image is projected on the projection surface (10). You can.
  • the electronic device 100 may project the image area 11-2 corresponding to the user's gaze brighter than the image areas 11-1 and 11-2 that do not correspond to the user's gaze.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-2 and adjusts the luminance values of the image area 11-1 and 11-3 to a threshold ratio ( It can be lowered based on 50%).
  • the electronic device 100 may project the image area 11-1 corresponding to the user's gaze brighter than the image areas 11-2 and 11-3 that do not correspond to the user's gaze.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-1 and adjusts the luminance values of the image area 11-2 and 11-3 to a threshold ratio ( It can be lowered based on 50%).
  • FIG. 9 a method of lowering the luminance value of an area that does not correspond to the user's gaze by a critical ratio based on the luminance value of the original image is described in FIG. 9.
  • a method of increasing the luminance value of an area corresponding to the user's gaze by a threshold ratio based on the luminance value of the original image is described in FIG. 10.
  • the projection surface 10 is described as being flat, but the projection area and the image area can be distinguished regardless of the curvature of the projection surface 10.
  • the operation and configuration described above are the same not only for the projection surface 10 that is flat as shown in FIG. 8 but also in cases where the projection surface 10 is not flat such as the embodiments 2210 and 2220 of FIG. 22. It can be applied easily.
  • Figure 9 is a diagram for explaining an operation of reducing the luminance value of an area that does not correspond to the user's gaze based on the luminance value of the projected image.
  • the projected image 11 may include an image area 11-1, an image area 11-2, and an image area 11-3.
  • the projection image 11 may be projected based on the luminance value of the original image.
  • the average luminance value of the projected image 11 of the embodiment 910 is described as being kept constant, the luminance values of each of the areas included in the original image may be different depending on the implementation. For convenience of explanation, it is assumed below that the luminance value of the original projection image 11 is the same for each region.
  • the electronic device 100 may project the image area 11-2 brighter than the image areas 11-1 and 11-3. Specifically, the electronic device 100 maintains the luminance value of the image area 11-2 and increases the luminance value of the image area 11-1 and the image area 11-3 by a threshold ratio greater than the luminance value of the original image. It can be changed to a small luminance value. For example, if the luminance value of the original image is 100%, the luminance value of the image area (11-2) is maintained at 100% and the luminance value of the image area (11-1) and image area (11-3) is increased to 30%. It can be lowered to .
  • Figure 10 is a diagram for explaining an operation of increasing the luminance value of an area corresponding to the user's gaze based on the luminance value of the projected image.
  • the projected image 11 may include an image area 11-1, an image area 11-2, and an image area 11-3.
  • the projection image 11 may be projected based on the luminance value of the original image.
  • the average luminance value of the projected image 11 of the embodiment 1010 is described as being kept constant, the luminance values of each of the areas included in the original image may be different depending on the implementation. For convenience of explanation, it is assumed below that the luminance value of the original projection image 11 is the same for each region.
  • the electronic device 100 may project the image area 11-2 brighter than the image areas 11-1 and 11-3. Specifically, the electronic device 100 maintains the luminance value of the image area 11-1 and the image area 11-3 and increases the luminance value of the image area 11-2 by a threshold ratio greater than the luminance value of the original image. It can be changed to a large luminance value. For example, if the luminance value of the original image is 100%, the luminance value of image area (11-1) and image area (11-3) is maintained at 100% and the luminance value of image area (11-2) is maintained at 150%. It can be increased to .
  • Figure 11 is a diagram for explaining the vertical movement of the area corresponding to the user's gaze.
  • the projected image 11 may include a plurality of image areas 11-1, 11-2, 11-3, 11-4, 11-5, and 11-6. Assume that the user 20 is looking at the image area 11-5.
  • the electronic device 100 may project the image area 11-5 corresponding to the user's gaze brighter than the remaining areas 11-1, 11-2, 11-3, 11-4, and 11-6.
  • FIG. 12 is a diagram for explaining the electronic device 100 communicating with the server 300.
  • system 1200 may include an electronic device 100 and a server 300.
  • a router 400 that connects the electronic device 100 and the server 300.
  • the electronic device 100 may obtain the location and gaze of the user 20 and transmit them to the server 300.
  • the server 300 may correct the projected image 11 based on the user's gaze.
  • the server 300 performs an image correction function so that the luminance value of the image area 11-2 corresponding to the user's gaze is higher than the luminance value of the image areas 11-1 and 11-3 that do not correspond to the user's gaze. It can be done. Then, the server 300 may transmit the corrected projection image 11 to the electronic device 100.
  • a router 400 may exist to connect communication between the electronic device 100 and the server 300.
  • the electronic device 100 may transmit information related to the user's gaze to the router 400, and the router 400 may transmit information related to the user's gaze back to the server 300.
  • the server 300 may transmit the corrected projection image 11 to the router 400, and the router 400 may transmit the corrected projection image 11 to the electronic device 100.
  • the electronic device 100 can project the corrected projection image 11.
  • FIG. 13 is a diagram for explaining the electronic device 100 communicating with the terminal device 500.
  • system 1300 may include an electronic device 100 and a terminal device 500.
  • the electronic device 100 and the terminal device 500 may communicate with each other.
  • the terminal device 500 may refer to a device corresponding to a user.
  • the terminal device 500 may mean Augmented Reality Glass (501), a neck band device (502), a Smart Phone (503), etc.
  • the terminal device 500 may obtain information indicating the location of the user 20 and the gaze of the user 20. Additionally, the terminal device 500 may transmit information indicating the location of the user 20 and the gaze of the user 20 to the electronic device 100.
  • the electronic device 100 may obtain the user's gaze (or the direction of the user's gaze) based on information received from the terminal device 500. Additionally, the electronic device 100 may project the image area 11-2 corresponding to the user's gaze brighter than the image areas 11-1 and 11-3 that do not correspond to the user's gaze.
  • Figure 14 is a flowchart for explaining an operation of correcting the luminance value of a projected image based on the user's gaze.
  • the electronic device 100 can acquire sensing data (S1405).
  • sensing data may refer to data acquired through at least one sensor included in the sensor unit 121.
  • the electronic device 100 may identify the user's gaze based on the sensing data (S1410).
  • the user's gaze may indicate which direction the user 20 is looking. Therefore, the user's gaze can be described as the user's gaze direction or the user's gaze area, etc.
  • the electronic device 100 may correct the luminance value of the projected image based on the user's gaze (S1415).
  • the electronic device 100 may correct the projection image itself so that some areas corresponding to the user's gaze are projected brighter than remaining areas that do not correspond to the user's gaze.
  • the electronic device 100 may output a corrected projection image (S1420).
  • FIG. 15 is a flowchart for specifically explaining the operation of FIG. 14.
  • the electronic device 100 may identify the user's gaze based on sensing data (S1510).
  • the electronic device 100 may divide the projection area into a first projection area corresponding to the user's gaze and a second projection area that is the remaining area of the first projection area (S1520).
  • the projection area may refer to the area where the projection image 11 is projected among the entire area of the projection surface 10.
  • the second projection area may mean an area that does not correspond to the user's gaze.
  • the electronic device 100 may divide the projected image into a first image area corresponding to the first projection area and a second image area that is the remaining area of the second image area.
  • the electronic device 100 may separately distinguish a projection area and an image area.
  • the projection area may refer to a real space or a virtual area where a projection image is projected.
  • the image area may refer to all or part of the area included in the projected image.
  • the projection area may mean an area where the image area is projected.
  • the electronic device 100 may acquire a projected image including a first image area with a first luminance value and a second image area with a second luminance value (S1540).
  • the electronic device 100 may perform an image correction operation to project the first image area with a first luminance value and the second image area with a second luminance value.
  • the electronic device 100 may change the luminance value of at least one of the first image area and the second image area of the projected image.
  • the electronic device 100 can project a projection image (S1550).
  • Figure 16 is a flowchart for explaining the operation of changing the user's gaze.
  • Steps S1610, S1620, S1630, S1640, and S1650 of FIG. 16 may correspond to steps S1510, S1520, S1530, S1540, and S1550 of FIG. 15. Therefore, redundant description is omitted.
  • the electronic device 100 may re-identify the user's gaze based on the sensing data (S1660).
  • the electronic device 100 may acquire new sensing data that is different from the sensing data obtained in step S1610. Additionally, the electronic device 100 may identify the user's gaze based on new sensing data.
  • the electronic device 100 may identify whether the user's gaze has changed (S1670). When the user's gaze changes (S1670-Y), the electronic device 100 may repeat steps S1620 to S1650. Specifically, the electronic device 100 may perform an operation of dividing the projection area and an operation of dividing the image area according to the changed user gaze.
  • the electronic device 100 may determine whether the projection image ends (S1680). Termination of the projection image may be determined based on a user's command to no longer project the projection image. If the projected image is not terminated (S1680-N), the electronic device 100 may repeat steps S1650 to S1680. When the projection image ends (S1680-Y), the electronic device 100 may no longer project the projection image.
  • Figure 17 is a flowchart for explaining the operation of obtaining projected images with different luminance values based on the user's gaze.
  • the electronic device 100 can identify the projection area (S1705).
  • the electronic device 100 may divide the projection area into a plurality of areas corresponding to a plurality of preset units (S1710).
  • the electronic device 100 may acquire sensing data.
  • the electronic device 100 may identify the user's gaze based on the sensing data (S1715).
  • the electronic device 100 may identify a first projection area corresponding to the user's gaze and a second projection area that is a remaining area other than the first projection area among the plurality of divided areas (S1720).
  • the electronic device 100 may acquire a projection image in which the luminance value of the first image area corresponding to the first projection area is different from the luminance value of the second image area corresponding to the second projection area (S1725).
  • the electronic device 100 may change the luminance value of a portion of the image area by performing an image correction function.
  • the electronic device 100 may project the acquired (or corrected) projection image (S1730).
  • Figure 18 is a diagram for explaining the operation of dividing the projection area based on the position of the user's gaze and a preset distance.
  • the electronic device 100 may identify the entire projection area 1810 where the projection image is projected among the entire area of the projection surface 10 .
  • the electronic device 100 may divide (or divide) the projection area 1810 based on the user's gaze.
  • the electronic device 100 may identify a position p0 corresponding to the user's gaze among the projection area 1810.
  • the electronic device 100 may identify the projection area 1810-2 extended by the critical distance (x1/2) from the identified location (p0).
  • the identified projection area 1810-2 may be described as a projection area corresponding to the user's gaze.
  • the horizontal length (x1) of the identified projection area 1810-2 may be twice the critical distance (x1/2).
  • the electronic device 100 may divide the entire projection area 1810 into a projection area 1810-2 corresponding to the user's gaze and projection areas 1810-1 and 1810-3 that do not correspond to the user's gaze.
  • Figure 19 is a flowchart for explaining the operation of dividing the projection area based on the position of the user's gaze and a preset distance.
  • Steps S1910, S1930, S1940, and S1950 of FIG. 19 may correspond to steps S1510, S1530, S1540, and S1550 of FIG. 15. Therefore, redundant description is omitted.
  • the electronic device 100 may identify the entire projection area (S1921).
  • the electronic device 100 may identify the first projection area corresponding to the user's gaze based on the position and preset distance corresponding to the user's gaze (S1922).
  • the electronic device 100 may identify the second projection area, which is the remaining area of the first projection area, among the entire projection area (S1923).
  • the electronic device 100 may perform steps S1930 to S1950.
  • Figure 20 is a diagram for explaining the operation of dividing the projection area into a preset number of groups.
  • the electronic device 100 may identify the entire projection area 2010 where the projection image is projected among the entire area of the projection surface 10.
  • the electronic device 100 may divide (or divide) the projection area 2010 based on the user's gaze.
  • the electronic device 100 may identify a position p0 corresponding to the user's gaze among the projection area 2010.
  • the electronic device 100 may be divided into a preset number of projection areas (for example, three).
  • the horizontal length (eg, 3/d) of the divided projection areas may be the same.
  • the horizontal length of the entire projection area may be d.
  • the electronic device 100 may divide the entire projection area into a plurality of projection areas 2010-1, 2010-2, and 2010-3.
  • the electronic device 100 may identify a specific area 2010-2 among the plurality of projection areas 2010-1, 2010-2, and 2010-3 based on the user's gaze.
  • the identified projection area 2010-2 may be described as a projection area corresponding to the user's gaze.
  • the electronic device 100 may divide the entire projection area 2010 into a projection area 2010-2 corresponding to the user's gaze and projection areas 2010-1 and 2010-3 that do not correspond to the user's gaze.
  • Figure 21 is a flowchart for explaining the operation of dividing the projection area into a preset number of groups.
  • Steps S2110, S2130, S2140, and S2150 of FIG. 21 may correspond to steps S1510, S1530, S1540, and S1550 of FIG. 15. Therefore, redundant description is omitted.
  • the electronic device 100 may identify the projection area (S2121).
  • the electronic device 100 may divide the projection area into a preset number of groups (S2122).
  • the preset number of groups may have the same horizontal length.
  • the electronic device 100 may divide a preset number of groups into a first projection area corresponding to the user's gaze and a second projection area that is the remaining area of the first projection area (S2123).
  • the electronic device 100 may perform steps S2130 to S2150.
  • Figure 22 is a diagram for explaining the operation of dividing the projection area based on the boundary line.
  • the electronic device 100 may identify the entire projection area 2611 where the projection image is projected among the entire area of the projection surface 10.
  • the electronic device 100 may divide (or divide) the projection area 2611 based on the boundary lines 10-1 and 10-2 of the projection surface 10.
  • the electronic device 100 may identify a position p0 corresponding to the user's gaze among the projection area 2611.
  • the electronic device 100 divides the entire projection area 2611 into at least one projection area 2611-1, 2611-2, and 2611-3 based on the boundaries 10-1 and 10-2 of the projection surface 10. It can be divided into:
  • the electronic device 100 may identify a specific area 2611-2 among the plurality of projection areas 2611-1, 2611-2, and 2611-3 based on the user's gaze.
  • the identified projection area 2611-2 can be described as a projection area corresponding to the user's gaze.
  • the electronic device 100 may divide the entire projection area 2611 into a projection area 2611-2 corresponding to the user's gaze and projection areas 2611-1 and 2610-3 that do not correspond to the user's gaze.
  • the projection surface 10 may be a curved surface. Even when the projection surface 10 is a curved surface, the electronic device 100 divides the entire projection area 2621 into at least one projection area 2621 based on the boundaries 10-1 and 10-2 of the projection surface 10. -1, 2621-2, 2621-3).
  • the electronic device 100 may distinguish the projection area based on the user's viewing angle or a preset distance.
  • the projection surface 10 may have various shapes, such as a flat surface or a curved surface.
  • the electronic device 100 can distinguish projection areas regardless of the shape of the projection surface 10.
  • Figure 23 is a flowchart for explaining the operation of dividing the projection area based on the boundary line.
  • Steps S2310, S2330, S2340, and S2350 of FIG. 23 may correspond to steps S1510, S1530, S1540, and S1550 of FIG. 15. Therefore, redundant description is omitted.
  • the electronic device 100 may identify the boundary line of the projection area and the projection surface 10 (S2321).
  • the electronic device 100 may divide the entire projection area into a plurality of groups based on the boundary lines of the projection area and projection surface (S2322).
  • the plurality of groups may mean areas divided based on the boundary line of the projection surface.
  • the electronic device 100 may divide the plurality of groups into a first projection area corresponding to the user's gaze and a second projection area that is the remaining area of the first projection area.
  • the electronic device 100 may perform steps S2330 to S2350.
  • the electronic device 100 may perform an operation to change the luminance value using power information.
  • the electronic device 100 may obtain power information.
  • the power information may include the remaining power value of the battery included in the electronic device 100.
  • the electronic device 100 may identify whether the remaining power value is below the threshold based on the power information. If the remaining power value is below the threshold, the electronic device 100 may determine that the power is insufficient and perform an operation to save power.
  • the electronic device 100 can save power by lowering the luminance value of some areas of the projected image.
  • the luminance value of the image area 11-1 and the image area 11-3 is lowered as in the embodiment 920 of FIG. 9, power of the electronic device 100 can be saved.
  • the electronic device 100 may operate in a power saving mode. Specifically, the electronic device 100 may perform the operations of FIG. 15 .
  • the electronic device 100 may operate in normal mode. Specifically, the electronic device 100 can project a projection image without changing the luminance value.
  • Figure 24 is a flowchart for explaining the operation of dividing the projection area based on the moving speed of the user's gaze.
  • the electronic device 100 may identify the user's gaze and the movement speed of the user's gaze based on the sensing data (S2405).
  • the electronic device 100 may identify whether the movement speed of the user's gaze is greater than or equal to the threshold speed (S2410).
  • the electronic device 100 may distinguish the projection area in real time based on the moving speed of the user's gaze (S2415). Specifically, the electronic device 100 may identify a projection area corresponding to the user's gaze from the entire projection area. Then, the electronic device 100 may acquire a projection image including divided projection areas with different luminance values (S2420). Also, the electronic device 100 can project a projection image.
  • the electronic device 100 may store the movement path of the user's gaze (S2430). The electronic device 100 may distinguish the projection area based on the movement path and threshold speed (S2435). Afterwards, the electronic device 100 may perform steps S2420 to S2425.
  • the electronic device 100 may not be able to perform an image correction operation in response to the movement speed of the user's gaze. In this case, the user may feel disconnection. Accordingly, when the user's gaze moves too quickly (more than the threshold speed), the electronic device 100 stores the movement path of the user's gaze in the memory 112 and corrects the image based on a certain threshold speed (or threshold speed). The action can be performed.
  • Figure 25 is a diagram for explaining the operation of identifying whether the user's gaze leaves the projection area.
  • the user's gaze deviates from the area (or projection area) 2511 where the projection image 11 is displayed.
  • the electronic device 100 may analyze the user's gaze and identify whether the user's gaze deviates from the area 2511 where the projected image 11 is displayed.
  • the electronic device 100 may perform a function of brightly displaying an image area corresponding to the user's gaze.
  • the area where the user's gaze remains until the end may be the area where the image area 11-1 is displayed. Accordingly, image area 11-1 can be projected brighter than image area 11-2 and image area 11-3.
  • the electronic device 100 may change the position of the projection area 2511. .
  • the location of the changed projection area 2521 may change depending on the direction of movement of the user's gaze. Even if the user's gaze leaves the existing projection area 2511, the projection position of the projection image 11 continues to change according to the user's gaze, so the user can easily change the position where the projection image 11 is projected. .
  • Figure 26 is a flowchart for explaining the operation of identifying whether the user's gaze leaves the projection area.
  • Steps S2610, S2620, S2630, S2640, and S2650 of FIG. 26 may correspond to steps S1510, S1520, S1530, S1540, and S1550 of FIG. 15. Therefore, redundant description is omitted.
  • the electronic device 100 may identify the projection area (S2615). Additionally, the electronic device 100 can identify whether the user's gaze deviates from the projection area (S2616).
  • the electronic device 100 may change the projection direction based on the user's gaze (S3317).
  • changing the projection direction may mean changing the location of the projection area where the projection image is projected.
  • the electronic device 100 may re-identify the projection area based on the changed projection direction (S2618). Then, the electronic device 100 may perform steps S2620 to S2650.
  • the electronic device 100 may perform steps S2620 to S2650.
  • Figure 27 is a diagram for explaining an operation in which the luminance value changes according to the movement of the user's gaze.
  • the electronic device 100 may project the image area 11-1 brighter than the image areas 11-2 and 11-3.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-1 and adjusts the luminance values of the image area 11-2 and 11-3 to a threshold ratio ( It can be lowered based on 50%).
  • the electronic device 100 may project the image area 11-2 brighter than the image areas 11-1 and 11-3.
  • the image area 11-1 may be an area viewed by the user 20 at a previous viewpoint. Accordingly, the electronic device 100 projects the image area 11-1 brighter than the image area 11-3, and the electronic device 100 projects the image area 11-1 darker than the image area 11-2. It can be projected.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-2 and adjusts the luminance value of the image area 11-1 based on the first threshold ratio (80%). and the luminance value of the image area 11-3 can be lowered based on the second threshold ratio (50%).
  • the first threshold ratio may be greater than the second threshold ratio.
  • the electronic device 100 may project the image area 11-3 brighter than the image areas 11-1 and 11-2.
  • the image area 11-2 may be an area viewed by the user 20 at a previous viewpoint. Accordingly, the electronic device 100 may project the image area 11-2 brighter than the image area 11-1 and project the image area 11-2 darker than the image area 11-3.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-3 and adjusts the luminance value of the image area 11-2 based on the first threshold ratio (80%).
  • the luminance value of the image area 11-1 can be lowered based on the second threshold ratio (50%).
  • the first threshold ratio may be greater than the second threshold ratio.
  • Figure 28 is a diagram for explaining the operation of changing the luminance value according to the gaze of a plurality of users.
  • the electronic device 100 can identify a plurality of users 20-1 and 20-2.
  • the electronic device 100 may identify the user gaze of the first user 20-1 and the user gaze of the second user 20-2, respectively. It is assumed that the user gaze of the first user 20-1 is identified before that of the second user 20-2.
  • the electronic device 100 may project the image area 11-2 corresponding to the user's gaze of the first user 20-1 to be brighter than the image areas 11-1 and 11-3.
  • the electronic device 100 projects the image area 11-3 corresponding to the user's gaze of the second user 20-2 brighter than the image area 11-1 and darker than the image area 11-2. It can be projected.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-2 and adjusts the luminance value of the image area 11-3 based on the first threshold ratio (80%).
  • the luminance value of the image area 11-1 can be lowered based on the second threshold ratio (50%).
  • the first threshold ratio may be greater than the second threshold ratio.
  • Figure 29 is a flowchart for explaining the operation of changing the luminance value according to the gaze of a plurality of users.
  • the electronic device 100 may identify the first user's gaze (the first user's gaze) and the second user's gaze (the second user's gaze) based on the sensing data (S2910).
  • the electronic device 100 may identify the first projection area corresponding to the first user's gaze among the projection areas (S2921).
  • the electronic device 100 may identify a second projection area corresponding to the second user's gaze among the projection areas (S2922).
  • the electronic device 100 may identify the third projection area, which is the remaining area of the first projection area and the second projection area, among the projection areas (S2923).
  • the electronic device 100 may identify the first luminance value of the first image area corresponding to the first projection area (S2931).
  • the electronic device 100 may identify the second luminance value of the second image area corresponding to the second projection area (S2932).
  • the electronic device 100 may identify the third luminance value of the third image area corresponding to the third projection area (S2933).
  • the electronic device 100 may obtain a projected image including a first image area with a first luminance value, a second image area with a second luminance value, and a third image area with a third luminance value (S2940) . Also, the electronic device 100 can project a projection image.
  • the first luminance value may be higher than the second luminance value and the third luminance value, and the second luminance value and the third luminance value may be the same.
  • the first luminance value may be higher than the second luminance value and the third luminance value
  • the second luminance value may be higher than the third luminance value
  • Figure 30 is a diagram for explaining an operation of changing the luminance value of some content when performing a multi-view function.
  • the electronic device 100 may perform a multi-view function to project first content 11 and second content 12. Assume that the user 20 views the projection area where the first content 11 is displayed. The electronic device 100 may project the first content 11 brighter than the second content 12. For example, the electronic device 100 projects the first content 11 by maintaining the basic luminance value (100%) and lowers the luminance value of the second content 12 based on the threshold ratio (50%). It can be projected as
  • Figure 31 is a flowchart for explaining an operation of changing the luminance value of some content when performing a multi-view function.
  • the electronic device 100 may receive a multi-view command to project a first projection image including first content and second content (S3105).
  • the electronic device 100 may project a first projection image (merged image) (S3110).
  • the electronic device 100 may identify the user's gaze based on the sensing data (S3115).
  • the electronic device 100 can identify whether the user's gaze corresponds to the area where the first content is displayed (S3120). When the user's gaze corresponds to the area where the first content is displayed (S3120-Y), the electronic device 100 displays the first content with the luminance value maintained and the second content with the luminance value lowered based on the threshold ratio. 2 A projected image can be acquired (S3125). The electronic device 100 may project a second projection image (S3130).
  • the electronic device 100 may identify whether the user's gaze corresponds to the area where the second content is displayed (S3135).
  • the electronic device 100 displays the second content with the luminance value maintained and the first content with the luminance value lowered based on the threshold ratio.
  • a projected image can be acquired (S3140).
  • the electronic device 100 may project a third projection image (S3145).
  • the electronic device 100 may project the first projection image. Then, the electronic device 100 may acquire the user's gaze in real time and repeat steps S3110 to S3145.
  • Figure 32 is a diagram for explaining an operation of changing the luminance value of some content when performing a multi-view function with a plurality of devices.
  • the electronic device 100 can project first content 11 and the external device 100-2 can project second content 12.
  • projecting the first content 11 and the second content 12 from different devices can also be described as a multi-view function. Assume that the user 20 views the projection area where the first content 11 is displayed.
  • the electronic device 100 may project the first content 11 brighter than the second content 12.
  • the electronic device 100 can project the first content 11 by maintaining the basic luminance value (100%). Additionally, the electronic device 100 may generate a control signal for projecting the second content 12 by lowering the luminance value based on the threshold ratio (50%). And, the electronic device 100 may transmit the generated control signal to the external device 100-2.
  • the control signal may include the corrected second content 12.
  • the external device 100-2 may project the second content 12 received from the electronic device 100.
  • Figure 33 is a flowchart for explaining an operation of changing the luminance value of some content when performing a multi-view function with a plurality of devices.
  • the electronic device 100 may receive a multi-view command (S3305).
  • the electronic device 100 may transmit the second content of the second luminance value to the external device 100-2 (S3310).
  • the external device 100-2 may receive second content with a second luminance value from the electronic device 100. And, the external device 100-2 can project the second content of the second luminance value (S3315).
  • the electronic device 100 may project the first content of the first luminance value (S3320).
  • the electronic device 100 may identify the user's gaze corresponding to the first content based on the sensing data (S3325). For example, the user 20 can see the area where the first content is projected.
  • the electronic device 100 may identify the user's gaze and determine that the user 20 is looking at the area where the first content is projected.
  • the electronic device 100 may change the second luminance value to the third luminance value.
  • the third luminance value may mean a luminance value lower than the second luminance value by a threshold ratio.
  • the electronic device 100 may correct the second content based on the third luminance value (S3335).
  • the electronic device 100 may transmit the second content of the third luminance value to the external device 100-2 (S3340).
  • the external device 100-2 may receive the second content of the third luminance value from the electronic device 100.
  • the external device 100-2 may project the second content of the third luminance value (S3345).
  • the electronic device 100 may project the first content of the first luminance value (S3350).
  • Figure 34 is a diagram for explaining an operation of providing a gradient effect to the boundaries of divided image areas.
  • the electronic device 100 may divide the entire projection area into a first projection area that corresponds to the user's gaze and a second projection area that does not correspond to the user's gaze. Additionally, the electronic device 100 may divide the entire image area into a first image area projected on the first projection area and a second image area corresponding to the second projection area.
  • the electronic device 100 may provide a gradient effect to the boundary areas 3411 and 3412 between the first image area and the second image area.
  • the electronic device 100 may acquire the projection image 11 including boundary areas 3411 and 3412 in which the gradient effect is reflected. If a gradient effect is included at the boundary between the image area corresponding to the user's gaze and the image area not corresponding to the user's gaze, the user can naturally accept the difference in luminance.
  • the electronic device 100 may provide a gradient effect at the boundaries of divided image areas. After performing steps S1510 to S1530 of FIG. 15 , the electronic device 100 may identify a boundary area between the first image area of the first luminance value and the second image area of the second luminance value. Additionally, the electronic device 100 may obtain a projected image in which the gradient effect generated based on the first luminance value and the second luminance value is reflected in the boundary area. Then, the electronic device 100 may perform step S1550 of FIG. 15 .
  • Figure 35 is a diagram for explaining an operation of simultaneously projecting a frame from a current viewpoint and a frame from a past viewpoint.
  • the electronic device 100 can project a projection image 11 including both the current viewpoint and the past viewpoint.
  • Content may include a first frame, a second frame, and a third frame in chronological order.
  • the first frame may be the earliest projected frame and the third frame may be the most recently projected frame.
  • the projection image 11 may include at least two frames among a first frame, a second frame, and a third frame.
  • the electronic device 100 projects the third frame, which is the most recent frame, on the image area 11-2, projects the second frame, which is the previous frame based on the current viewpoint, on the image area 11-3, and projects the third frame, which is the most recent frame, on the image area 11-3. It may be decided to project the first frame, which is the frame before the second frame, to (11-1). Here, the electronic device 100 may project the image area 11-2 brighter than the image areas 11-1 and 11-3.
  • the electronic device 100 maintains the basic luminance value (100%) of the third frame in the image area 11-2 and sets the luminance value of the second frame to the threshold ratio (100%) in the image area 11-3. 50%), and the luminance value of the first frame in the image area 11-1 can be lowered based on the threshold ratio (50%).
  • the electronic device 100 may obtain a projection image 11 including a plurality of image areas 11-1, 11-2, and 11-3, and project the projection image 11.
  • the electronic device 100 projects the third frame, which is the most recent frame, on the image area 11-2, projects the second frame, which is the previous frame based on the current viewpoint, on the image area 11-3, and projects the third frame, which is the most recent frame, on the image area 11-3. It can be decided to project the second frame to (11-1).
  • the electronic device 100 may project the image area 11-2 brighter than the image areas 11-1 and 11-3.
  • the electronic device 100 maintains the basic luminance value (100%) of the third frame in the image area 11-2 and the luminance value of the second frame in the image areas 11-1 and 11-3. can be lowered based on the critical ratio (50%).
  • the electronic device 100 may obtain a projection image 11 including a plurality of image areas 11-1, 11-2, and 11-3, and project the projection image 11.
  • the electronic device 100 can simultaneously project a frame from a current viewpoint and a frame from a past viewpoint.
  • the electronic device 100 selects a first image area of the first luminance value where the second frame of the content is projected and a second image area of the second luminance value where the first frame of the content is projected.
  • a projected image containing 2 image areas can be obtained.
  • the first frame may refer to a frame projected before the second frame.
  • the electronic device 100 may perform step S1550 of FIG. 15 .
  • Figure 36 is a diagram for explaining the operation of identifying an object and changing the luminance value.
  • the electronic device 100 can identify a preset object 30. Additionally, the electronic device 100 may correct the projection image 11 based on the preset object 30 .
  • the preset object 30 may be a ball.
  • the electronic device 100 may identify the preset moving direction of the object 30 by analyzing the moving direction of the ball based on the sensing data.
  • the electronic device 100 may correct the projection image 10 based on the preset movement direction of the object 30.
  • the electronic device 100 divides the image area 11-2 corresponding to the preset moving direction of the object 30 into image areas 11-1 and 11-2 that do not correspond to the preset moving direction of the object 30. It can project brighter.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-2 and adjusts the luminance values of the image area 11-1 and 11-3 to a threshold ratio ( It can be lowered based on 50%).
  • the electronic device 100 divides the image area 11-1 corresponding to the preset moving direction of the object 30 into image areas 11-2 and 11-3 that do not correspond to the preset moving direction of the object 30. It can project brighter.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-1 and adjusts the luminance values of the image area 11-2 and 11-3 to a threshold ratio ( It can be lowered based on 50%).
  • Figure 37 is a flowchart for explaining the operation of identifying an object and changing the luminance value.
  • Steps S3710, S3720, S3730, S3740, and S3750 of FIG. 37 may correspond to steps S1510, S1520, S1530, S1540, and S1550 of FIG. 15. Therefore, redundant description is omitted.
  • the electronic device 100 may identify the projection area (S3715). Additionally, the electronic device 100 can identify whether the user's gaze deviates from the projection area (S3716). If the user's gaze does not deviate from the projection area (S3716-N), the electronic device 100 may perform steps S3720 to S3750.
  • the electronic device 100 may determine whether a preset object is identified based on the sensing data (S3717). If the preset object is not identified (S3717-N), the electronic device 100 may project a projection image (S3750).
  • the electronic device 100 may distinguish between a first projection area corresponding to the preset object among the projection areas and a second projection area that is the remaining area of the first projection area (S3718) ). Afterwards, the electronic device 100 may perform steps S3730 to S3750.
  • FIG. 38 is a diagram for explaining an operation of changing a luminance value based on a user gesture according to various embodiments.
  • the electronic device 100 can identify a user gesture.
  • the electronic device 100 may correct the projected image 11 based on a user gesture.
  • the image area corresponding to the user's gesture can be projected brighter than the remaining area.
  • the electronic device 100 can identify the user's gaze and user gestures. It is assumed that the user's gaze corresponds to the image area (11-2) and the user's gesture corresponds to the image area (11-3).
  • the electronic device 100 may project the image area 11-2 and image area 11-3 corresponding to the user's gaze brighter than the image area 11-1.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-2 and the image area 11-3 and sets the luminance value of the image area 11-1 to a threshold ratio ( It can be lowered based on 50%).
  • the electronic device 100 can identify the user's gaze and user gestures. It is assumed that the user's gaze corresponds to the image area (11-2) and the user's gesture corresponds to the image area (11-3).
  • the electronic device 100 may project the image area 11-2 corresponding to the user's gaze brighter than the image areas 11-1 and 11-3.
  • the electronic device 100 may project the image area 11-3 corresponding to the user gesture to be brighter than the image area 11-1 and darker than the image area 11-2.
  • the electronic device 100 maintains the basic luminance value (100%) of the image area 11-2 and adjusts the luminance value of the image area 11-3 based on the first threshold ratio (80%).
  • the luminance value of the image area 11-1 can be lowered based on the second threshold ratio (50%).
  • the first threshold ratio may be greater than the second threshold ratio.
  • the electronic device 100 may perform an operation to change the luminance value based on a user gesture according to various embodiments.
  • the electronic device 100 may identify the user's gaze and user gestures based on the sensing data. Additionally, the electronic device 100 may identify the first projection area corresponding to the user's gaze. Additionally, the electronic device 100 may identify the second projection area corresponding to the user gesture.
  • the electronic device 100 may perform steps S2923 to S2950 of FIG. 29 .
  • FIG. 39 is a diagram for explaining an operation of changing a luminance value based on a user gesture according to various embodiments.
  • the electronic device 100 may identify the user's gaze and a preset user gesture.
  • the electronic device 100 can specify an image area to change the luminance value based on the user's gaze and determine how much the luminance value will be changed based on a preset user gesture.
  • the electronic device 100 changes the luminance value of the area 11-2 corresponding to the user's gaze based on the user gesture, and changes the luminance value of the areas 11-1 and 11-3 that do not correspond to the user's gaze.
  • the luminance value can be lowered based on the threshold ratio (50%).
  • the electronic device 100 may determine to change the luminance value of the image area 11-2.
  • the electronic device 100 may change the luminance value corresponding to the image area 11-2 based on the user gesture.
  • the electronic device 100 may lower the luminance value of the image area 11-2 corresponding to the user's gaze. Additionally, when a user gesture of rotating a finger clockwise is identified, the electronic device 100 may increase the luminance value of the image area 11-2 corresponding to the user's gaze.
  • the electronic device 100 specifies an area 11-2 corresponding to the user's gaze based on the user's gaze and selects an image area that does not correspond to the user's gaze based on the user gesture.
  • the luminance value of (11-1, 11-3) can be changed.
  • the electronic device 100 maintains the basic luminance value in the area 11-2 corresponding to the user's gaze, and maintains the basic luminance value in the areas 11-1 and 11-3 that do not correspond to the user's gaze based on the user's gesture. This allows you to change the luminance value.
  • the electronic device 100 may increase the luminance value of the image areas 11-1 and 11-2 that do not correspond to the user's gaze.
  • the electronic device 100 may lower the luminance value of the image areas 11-1 and 11-2 that do not correspond to the user's gaze.
  • FIG. 40 is a flowchart illustrating an operation of changing a luminance value based on a user gesture according to various embodiments.
  • Steps S4010, S4020, S4030, S4040, and S4050 of FIG. 40 may correspond to steps S1510, S1520, S1530, S1540, and S1550 of FIG. 15. Therefore, redundant description is omitted.
  • the electronic device 100 may determine whether a preset user gesture is identified based on the sensing data (S4055). If the preset user gesture is not identified (S4055-N), the electronic device 100 may repeat steps S4050 to S4055.
  • the electronic device 100 may change the first luminance value to the third luminance value based on the user gesture (S4060). Then, the electronic device 100 may acquire a projected image including a first image area with a third luminance value and a second image area with a second luminance value (S4065). Then, the electronic device 100 can project a projection image (S4070).
  • FIG. 40 may correspond to operations related to embodiment 3910 of FIG. 39 .
  • Figure 41 is a diagram for explaining an operation of changing the size of a divided image area based on a user gesture.
  • the electronic device 100 may identify a preset user gesture 4110.
  • the preset user gesture 4110 may be a gesture of moving both hands from the inside to the outside.
  • the electronic device 100 may change the size of the image area 11-2 corresponding to the user's gaze based on a preset user gesture 4110.
  • the size of the image area 11-2 may be changed based on a preset user gesture 4110.
  • Figure 42 is a flowchart for explaining an operation of changing the size of a divided image area based on a user gesture.
  • Steps S4210, S4220, S4230, S4240, and S4250 of FIG. 42 may correspond to steps S1510, S1520, S1530, S1540, and S1550 of FIG. 15. Therefore, redundant description is omitted.
  • the electronic device 100 may determine whether a preset user gesture is identified based on the sensing data (S4255). If the preset user gesture is not identified (S4255-N), the electronic device 100 may repeat steps S4250 to S4255.
  • the electronic device 100 When a preset user gesture is identified (S4255-Y), the electronic device 100 changes the first image area to a third image area based on the user gesture, and changes the remaining area of the third image area to the fourth image area. Can be identified (S4260).
  • the electronic device 100 may obtain a projected image including a third image area with the first luminance value and a fourth image area with the second luminance value (S4265). Also, the electronic device 100 can project a projection image.
  • the third image area may mean the image area 11-2 in FIG. 41.
  • the fourth image area may refer to the image areas 11-1 and 11-2 of FIG. 41.
  • FIG. 43 is a flowchart illustrating a control method of the electronic device 100 according to various embodiments.
  • the control method of the electronic device 100 includes identifying the user's gaze based on sensing data (S4305), dividing the projected image stored in the electronic device 100 into a first image area corresponding to the user's gaze and A step of dividing the remaining area of the first image area into a second image area (S4310), a projected image including a first image area with a first luminance value and a second image area with a second luminance value different from the first luminance value. It may include a step of acquiring (S4315) and a step of projecting the obtained projection image (S4320).
  • control method further includes identifying a projection area and dividing the projection area into a first projection area corresponding to the user's gaze and a second projection area that is the remaining area of the first projection area, and dividing the projection image.
  • the projected image may be divided into a first image area corresponding to the first projection area and a second image area corresponding to the second projection area.
  • the sensing data is first sensing data
  • the control method further includes the step of identifying a projection area based on the second sensing data, and the step of dividing the projection area is performed at a position corresponding to the user's gaze and a preset distance. Based on this, the first projection area can be identified.
  • the first sensing data may be data obtained through an image sensor
  • the second sensing data may be data obtained through a distance sensor
  • the projection area is divided into a plurality of groups, the first group corresponding to the user's gaze is divided into the first projection area, and the remaining groups of the first group are divided into the second projection area. It can be divided into:
  • the method may further include changing the projection direction based on the user's gaze and re-identifying the projection area based on the changed projection direction.
  • control method includes identifying whether a preset object is identified when the user's gaze does not correspond to the projection area, and identifying an area corresponding to the preset object among the projection areas as the first projection area when the preset object is identified. Additional steps may be included.
  • the control method includes dividing the projected image into a third image area corresponding to the changed user gaze and a fourth image area that is the remaining area of the third image area, and dividing the projected image into a fourth image area that is the remaining area of the third image area and a third image of the first luminance value.
  • the method may further include acquiring a projected image including a fourth image area of the region and a second luminance value.
  • control method is performed when a plurality of user gazes including the first user gaze and the second user gaze are identified, the luminance value of the image area corresponding to the first user gaze and the luminance value of the image area corresponding to the second user gaze.
  • the step of acquiring these different projected images may be further included.
  • control method may further include identifying a user gesture based on sensing data and obtaining a projected image in which the luminance value of the image area corresponding to the user's gaze is different from the luminance value of the image area corresponding to the user gesture. You can.
  • the various embodiments of the present disclosure described above can also be performed through an embedded server provided in an electronic device or an external server of at least one of the electronic device and the display device.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored from a storage medium and operating according to the called instructions, and may include an electronic device according to the disclosed embodiments.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • the method according to the various embodiments described above may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or online through an application store (e.g. Play StoreTM).
  • an application store e.g. Play StoreTM
  • at least a portion of the computer program product may be at least temporarily stored or created temporarily in a storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component e.g., module or program
  • each component may be composed of a single or multiple entities, and some of the sub-components described above may be omitted, or other sub-components may be omitted. Additional components may be included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. You can.
  • control method of an electronic device as shown in FIG. 43 can be executed on an electronic device having the configuration of FIG. 2 or FIG. 3, and can also be executed on an electronic device having other configurations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 전자 장치는 프로젝션부, 메모리, 센서부 및 센서부를 통해 획득한 센싱 데이터에 기초하여 사용자 시선을 식별하고, 메모리에 저장된 투사 이미지를 사용자 시선에 대응되는 제1 이미지 영역 및 제1 이미지 영역의 나머지 영역인 제2 이미지 영역으로 구분하고, 제1 휘도값의 제1 이미지 영역 및 제1 휘도값과 상이한 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득하고, 획득된 투사 이미지를 투사하도록 프로젝션부를 제어하는 적어도 하나의 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 사용자의 시선에 기초하여 투사되는 이미지의 밝기를 제어하는 전자 장치 및 그 제어방법에 대한 것이다.
이미지를 투사하는 전자 장치(예를 들어, 프로젝터)가 전원 연결이 되어 있지 않은 경우, 사용자는 충전을 위해 컨텐츠의 시청을 중단할 수 있다. 시청을 중단하지 않기 위해서는 유선으로 연결 가능한 전원 공급 장치를 찾아야 한다.
하지만, 휴대용 전자 장치의 경우 바로 유선으로 연결 가능한 전원 공급 장치가 주변에 존재하지 않을 수 있다. 따라서, 전자 장치는 최대한 전력을 효율적으로 제어할 필요성이 있다.
전력을 절약하기 위해서 투사되는 이미지의 휘도값을 낮추는 것을 고려할 수 있다. 하지만, 전체 이미지의 휘도값을 낮추는 경우 사용자의 시청에 방해가 될 수 있다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 사용자 시선에 대응되는 영역을 밝게 투사되도록 제어하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
본 실시 예에 따른 전자 장치는 프로젝션부, 메모리, 센서부 및 상기 센서부를 통해 획득한 센싱 데이터에 기초하여 사용자 시선을 식별하고, 상기 메모리에 저장된 투사 이미지를 상기 사용자 시선에 대응되는 제1 이미지 영역 및 상기 제1 이미지 영역의 나머지 영역인 제2 이미지 영역으로 구분하고, 제1 휘도값의 제1 이미지 영역 및 상기 제1 휘도값과 상이한 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득하고, 상기 획득된 투사 이미지를 투사하도록 상기 프로젝션부를 제어하는 적어도 하나의 프로세서를 포함한다.
한편, 상기 적어도 하나의 프로세서는 투사 영역을 식별하고, 상기 투사 영역을 상기 사용자 시선에 대응되는 제1 투사 영역 및 상기 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분하고, 상기 투사 이미지를 상기 제1 투사 영역에 대응되는 상기 제1 이미지 영역 및 상기 제2 투사 영역에 대응되는 상기 제2 이미지 영역으로 구분할 수 있다.
한편, 상기 센싱 데이터는 제1 센싱 데이터이고, 상기 적어도 하나의 프로세서는 상기 센서부를 통해 획득한 제2 센싱 데이터에 기초하여 상기 투사 영역을 식별하고, 상기 사용자 시선에 대응되는 위치 및 기 설정된 거리에 기초하여 상기 제1 투사 영역을 식별할 수 있다.
한편, 상기 제1 센싱 데이터는 상기 센서부에 포함된 이미지 센서를 통해 획득된 데이터이고, 상기 제2 센싱 데이터는 상기 센서부에 포함된 거리 센서를 통해 획득된 데이터일 수 있다.
한편, 상기 적어도 하나의 프로세서는 상기 투사 영역을 복수의 그룹으로 구분하고, 상기 복수의 그룹을 상기 사용자 시선에 대응되는 제1 그룹을 상기 제1 투사 영역으로 구분하고 상기 제1 그룹의 나머지 그룹을 제2 투사 영역으로 구분할 수 있다.
한편, 상기 적어도 하나의 프로세서는 상기 사용자 시선이 상기 투사 영역에 대응되지 않으면, 상기 사용자 시선에 기초하여 투사 방향을 변경하고, 상기 변경된 투사 방향에 기초하여 상기 투사 영역을 재식별할 수 있다.
한편, 상기 적어도 하나의 프로세서는 상기 사용자 시선이 상기 투사 영역에 대응되지 않으면, 기 설정된 오브젝트가 식별되는지 식별하고, 상기 기 설정된 오브젝트가 식별되면, 상기 투사 영역 중 상기 기 설정된 오브젝트에 대응되는 영역을 상기 제1 투사 영역으로 식별할 수 있다.
한편, 상기 적어도 하나의 프로세서는 상기 사용자 시선이 변경되면, 상기 투사 이미지를 상기 변경된 사용자 시선에 대응되는 제3 이미지 영역 및 상기 제3 이미지 영역의 나머지 영역인 제4 이미지 영역으로 구분하고, 제1 휘도값의 제3 이미지 영역 및 상기 제2 휘도값의 제4 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다.
한편, 상기 적어도 하나의 프로세서는 제1 사용자 시선 및 제2 사용자 시선을 포함하는 복수의 사용자 시선이 식별되면, 상기 제1 사용자 시선에 대응되는 이미지 영역의 휘도값과 상기 제2 사용자 시선에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득할 수 있다.
한편, 상기 적어도 하나의 프로세서는 상기 센싱 데이터에 기초하여 사용자 제스쳐를 식별하고, 상기 사용자 시선에 대응되는 이미지 영역의 휘도값과 상기 사용자 제스쳐에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득할 수 있다.
본 실시 예에 따른 전자 장치의 제어 방법은 센싱 데이터에 기초하여 사용자 시선을 식별하는 단계, 상기 전자 장치에 저장된 투사 이미지를 상기 사용자 시선에 대응되는 제1 이미지 영역 및 상기 제1 이미지 영역의 나머지 영역인 제2 이미지 영역으로 구분하는 단계, 제1 휘도값의 제1 이미지 영역 및 상기 제1 휘도값과 상이한 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득하는 단계 및 상기 획득된 투사 이미지를 투사하는 단계를 포함할 수 있다.
한편, 상기 제어 방법은 투사 영역을 식별하는 단계 및 상기 투사 영역을 상기 사용자 시선에 대응되는 제1 투사 영역 및 상기 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분하는 단계를 더 포함하고, 상기 투사 이미지를 구분하는 단계는 상기 투사 이미지를 상기 제1 투사 영역에 대응되는 상기 제1 이미지 영역 및 상기 제2 투사 영역에 대응되는 상기 제2 이미지 영역으로 구분할 수 있다.
한편, 상기 센싱 데이터는 제1 센싱 데이터이고, 상기 제어 방법은 제2 센싱 데이터에 기초하여 상기 투사 영역을 식별하는 단계를 더 포함하고, 상기 투사 영역을 구분하는 단계는 상기 사용자 시선에 대응되는 위치 및 기 설정된 거리에 기초하여 상기 제1 투사 영역을 식별할 수 있다.
한편, 상기 제1 센싱 데이터는 이미지 센서를 통해 획득된 데이터이고, 상기 제2 센싱 데이터는 거리 센서를 통해 획득된 데이터일 수 있다.
한편, 상기 투사 영역을 구분하는 단계는 상기 투사 영역을 복수의 그룹으로 구분하고, 상기 복수의 그룹을 상기 사용자 시선에 대응되는 제1 그룹을 상기 제1 투사 영역으로 구분하고 상기 제1 그룹의 나머지 그룹을 제2 투사 영역으로 구분할 수 있다.
한편, 상기 사용자 시선이 상기 투사 영역에 대응되지 않으면, 상기 사용자 시선에 기초하여 투사 방향을 변경하는 단계 및 상기 변경된 투사 방향에 기초하여 상기 투사 영역을 재식별하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 사용자 시선이 상기 투사 영역에 대응되지 않으면, 기 설정된 오브젝트가 식별되는지 식별하는 단계 및 상기 기 설정된 오브젝트가 식별되면, 상기 투사 영역 중 상기 기 설정된 오브젝트에 대응되는 영역을 상기 제1 투사 영역으로 식별하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 사용자 시선이 변경되면, 상기 투사 이미지를 상기 변경된 사용자 시선에 대응되는 제3 이미지 영역 및 상기 제3 이미지 영역의 나머지 영역인 제4 이미지 영역으로 구분하는 단계 및 제1 휘도값의 제3 이미지 영역 및 상기 제2 휘도값의 제4 이미지 영역을 포함하는 투사 이미지를 획득하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 제1 사용자 시선 및 제2 사용자 시선을 포함하는 복수의 사용자 시선이 식별되면, 상기 제1 사용자 시선에 대응되는 이미지 영역의 휘도값과 상기 제2 사용자 시선에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 센싱 데이터에 기초하여 사용자 제스쳐를 식별하는 단계 및 상기 사용자 시선에 대응되는 이미지 영역의 휘도값과 상기 사용자 제스쳐에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득하는 단계를 더 포함할 수 있다.
도 1은 다양한 실시 예에 따른, 전자 장치의 외관을 도시한 사시도이다.
도 2는 다양한 실시 예에 따른, 전자 장치의 구성을 도시한 블록도이다.
도 3은 도 2의 전자 장치의 구성을 구체적으로 도시한 블록도이다.
도 4는 다양한 실시 예에 따른, 전자 장치의 외관을 도시한 사시도이다.
도 5는 다양한 실시 예에 따른, 전자 장치의 외관을 도시한 사시도이다.
도 6은 전자 장치의 회전 정보를 설명하기 위한 도면이다.
도 7은 투사면의 회전 정보를 설명하기 위한 도면이다.
도 8은 사용자 시선에 기초하여 투사 이미지의 일부 영역을 밝게 투사하는 동작을 설명하기 위한 도면이다.
도 9는 투사 이미지의 휘도값을 기준으로 사용자 시선에 대응되지 않는 영역의 휘도값을 작게하는 동작을 설명하기 위한 도면이다.
도 10은 투사 이미지의 휘도값을 기준으로 사용자 시선에 대응되는 영역의 휘도값을 크게하는 동작을 설명하기 위한 도면이다.
도 11은 사용자 시선에 대응되는 영역의 상하 이동을 설명하기 위한 도면이다.
도 12는 서버와 통신하는 전자 장치를 설명하기 위한 도면이다.
도 13은 단말 장치와 통신하는 전자 장치를 설명하기 위한 도면이다.
도 14는 사용자 시선에 기초하여 투사 이미지의 휘도값을 보정하는 동작을 설명하기 위한 흐름도이다.
도 15는 도 14의 동작을 구체적으로 설명하기 위한 흐름도이다.
도 16은 사용자 시선을 변경하는 동작을 설명하기 위한 흐름도이다.
도 17은 사용자 시선에 기초하여 휘도값이 상이한 투사 이미지를 획득하는 동작을 설명하기 위한 흐름도이다.
도 18은 사용자 시선의 위치 및 기 설정된 거리에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 도면이다.
도 19는 사용자 시선의 위치 및 기 설정된 거리에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 흐름도이다.
도 20은 기 설정된 개수의 그룹으로 투사 영역을 구분하는 동작을 설명하기 위한 도면이다.
도 21은 기 설정된 개수의 그룹으로 투사 영역을 구분하는 동작을 설명하기 위한 흐름도이다.
도 22는 경계선에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 도면이다.
도 23은 경계선에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 흐름도이다.
도 24는 사용자 시선의 이동 속도에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 흐름도이다.
도 25는 사용자 시선이 투사 영역을 벗어나는지 여부를 식별하는 동작을 설명하기 위한 도면이다.
도 26은 사용자 시선이 투사 영역을 벗어나는지 여부를 식별하는 동작을 설명하기 위한 흐름도이다.
도 27은 사용자 시선의 이동에 따라 휘도값이 변경되는 동작을 설명하기 위한 도면이다.
도 28은 복수개의 사용자 시선에 따라 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 29는 복수개의 사용자 시선에 따라 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 30은 멀티뷰 기능을 수행함에 따라 일부 컨텐츠의 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 31은 멀티뷰 기능을 수행함에 따라 일부 컨텐츠의 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 32는 복수의 기기로 멀티뷰 기능을 수행함에 따라 일부 컨텐츠의 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 33은 복수의 기기로 멀티뷰 기능을 수행함에 따라 일부 컨텐츠의 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 34는 구분된 이미지 영역 경계에 그라데이션 효과를 제공하는 동작을 설명하기 위한 도면이다.
도 35는 현재 시점의 프레임과 과거 시점의 프레임을 동시에 투사하는 동작을 설명하기 위한 도면이다.
도 36은 오브젝트를 식별하여 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 37은 오브젝트를 식별하여 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 38은 다양한 실시 예에 따라 사용자 제스쳐에 기초하여 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 39는 다양한 실시 예에 따라 사용자 제스쳐에 기초하여 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 40은 다양한 실시 예에 따라 사용자 제스쳐에 기초하여 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 41은 사용자 제스쳐에 기초하여 구분된 이미지 영역의 크기를 변경하는 동작을 설명하기 위한 도면이다.
도 42는 사용자 제스쳐에 기초하여 구분된 이미지 영역의 크기를 변경하는 동작을 설명하기 위한 흐름도이다.
도 43은 다양한 실시 예에 따라 전자 장치의 제어 방법을 동작을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 다양한 실시 예에 따른, 전자 장치(100)의 외관을 도시한 사시도이다.
도 1을 참조하면, 전자 장치(100)는 프로젝션 렌즈(101), 헤드(103), 본체(105), 커버(107) 또는 커넥터(130)를 포함할 수 있다.
전자 장치(100)는 다양한 형태의 장치가 될 수 있다. 특히, 전자 장치(100)는 벽 또는 스크린으로 이미지를 확대하여 투사하는 프로젝터 장치일 수 있으며, 프로젝터 장치는 LCD 프로젝터 또는 DMD(digital micromirror device)를 사용하는 DLP(digital light processing) 방식 프로젝터일 수 있다.
또한, 전자 장치(100)는 가정용 또는 산업용 디스플레이 장치일 수 있으며, 또는, 일상 생활에서 쓰이는 조명 장치일 수 있으며, 음향 모듈을 포함하는 음향 장치일 수 있으며, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 웨어러블 장치, 또는 가전 장치 등으로 구현될 수 있다. 한편, 본 개시의 다양한 실시 예에 따른 전자 장치(100)는 상술한 기기에 한정되지 않으며, 전자 장치(100)는 상술한 기기들의 둘 이상의 기능을 갖춘 전자 장치(100)로 구현될 수 있다. 예를 들면, 전자 장치(100)는 프로세서의 조작에 따라 프로젝터 기능은 오프되고 조명 기능 또는 스피커 기능은 온되어 디스플레이 장치, 조명 장치 또는 음향 장치로 활용될 수 있으며, 마이크 또는 통신 장치를 포함하여 AI 스피커로 활용될 수 있다.
프로젝션 렌즈(101)는 본체(105)의 일 면에 형성되어, 렌즈 어레이를 통과한 광을 본체(105) 외부로 투사하도록 형성된다. 다양한 실시 예의 프로젝션 렌즈(101)는 색수차를 줄이기 위하여 저분산 코팅된 광학 렌즈일 수 있다. 프로젝션 렌즈(101)는 볼록 렌즈 또는 집광 렌즈일 수 있으며, 다양한 실시 예의 프로젝션 렌즈(101)는 복수의 서브 렌즈의 위치를 조정하여 초점을 조절할 수 있다.
헤드(103)는 본체(105)의 일 면에 결합되도록 마련되어 프로젝션 렌즈(101)를 지지하고 보호할 수 있다. 헤드(103)는 본체(105)의 일 면을 기준으로 기설정된 각도 범위에서 스위블 가능하도록 본체(105)와 결합될 수 있다.
헤드(103)는 사용자 또는 프로세서에 의하여 자동 또는 수동으로 스위블되어 프로젝션 렌즈(101)의 투사 각도를 자유롭게 조절할 수 있다. 또는, 도면에는 도시되지 않았으나, 헤드(103)는 본체(105)와 결합되며 본체(105)로부터 연장되는 넥을 포함하여, 헤드(103)는 젖혀지거나 기울어지며 프로젝션 렌즈(101)의 투사 각도를 조절할 수 있다.
본체(105)는 외관을 이루는 하우징으로, 본체(105) 내부에 배치되는 전자 장치(100)의 구성 부품(예를 들어, 도 3에 도시된 구성)을 지지하거나 보호할 수 있다. 본체(105)의 형상은 도 1에 도시된 바와 같이 원통형에 가까운 구조를 가질 수 있다. 그러나, 본체(105)의 형상은 이에 한정되지 아니하고, 본 개시의 다양한 실시 예에 따르면, 본체(105)는 다각형 단면을 갖는 기둥, 원뿔, 구와 같은 다양한 기하학적인 형상으로 구현될 수 있다.
본체(105)의 크기는 사용자가 한 손으로 파지하거나 이동시킬 수 있는 크기일 수 있으며, 휴대가 용이하도록 초소형으로 구현될 수 있고, 테이블에 거치하거나 조명 장치에 결합 가능한 사이즈로 구현될 수 있다.
본체(105)의 재질은 사용자의 지문 또는 먼지가 묻지 않도록 무광의 금속 또는 합성 수지로 구현될 수 있으며, 또는, 본체(105)의 외관은 매끈한 유광으로 이루어질 수 있다.
본체(105)에는 사용자가 파지하고 옮길 수 있도록 마찰 영역이 본체(105)의 외관의 일부 영역에 형성될 수 있다. 또는, 본체(105)는 적어도 일부 영역에 사용자가 파지할 수 있는 절곡된 파지부 또는 지지대(108a, 도 4 참조)가 마련될 수 있다.
전자 장치(100)는 본체(105)의 위치 및 각도가 고정된 상태에서 헤드(103)의 방향을 조정하며 프로젝션 렌즈(101)의 투사 각도를 조절함으로써, 원하는 위치로 광 또는 이미지를 투사할 수 있다. 또한, 헤드(103)는 사용자가 원하는 방향으로 회전한 뒤 잡을 수 있는 손잡이를 포함할 수 있다.
본체(105) 외주면에는 복수의 개구가 형성될 수 있다. 복수의 개구를 통하여 오디오 출력부로부터 출력되는 오디오가 전자 장치(100)의 본체(105) 외부로 출력될 수 있다. 오디오 출력부는 스피커를 포함할 수 있고, 스피커는 멀티미디어 재생 또는 녹음 재생, 음성 출력 등과 같이 일반적인 용도로 사용될 수 있다.
본 개시의 다양한 실시 예에 따르면, 본체(105) 내부에는 방열 팬(미도시)이 구비될 수 있으며, 방열 팬(미도시)이 구동되면 복수의 개구를 통하여 본체(105) 내부의 공기 또는 열을 배출할 수 있다. 그러므로, 전자 장치(100)는 전자 장치(100)의 구동에 의하여 발생하는 열을 외부로 배출하고, 전자 장치(100)가 과열되는 것을 방지할 수 있다.
커넥터(130)는 전자 장치(100)를 외부 장치와 연결하여 전기 신호를 송수신하거나, 외부로부터 전력을 공급받을 수 있다. 본 개시의 다양한 실시 예에 따른, 커넥터(130)는 외부 장치와 물리적으로 연결될 수 있다. 이때, 커넥터(130)에는 입출력 인터페이스를 포함할 수 있으며, 유선 또는 무선으로 외부 장치와 통신을 연결하거나 전력을 공급받을 수 있다. 예를 들어, 커넥터(130)는 HDMI 연결 단자, USB 연결 단자, SD 카드 수용 홈, 오디오 연결 단자 또는 전력 콘센트를 포함할 수 있으며, 또는, 외부 장치와 무선으로 연결되는 블루투스, Wi-Fi 또는 무선 충전 연결 모듈을 포함할 수 있다.
또한, 커넥터(130)는 외부 조명 장치에 연결되는 소켓 구조를 가질 수 있으며, 외부 조명 장치의 소켓 수용 홈에 연결되어 전력을 공급받을 수 있다. 소켓 구조의 커넥터(130)의 사이즈 및 규격은 결합 가능한 외부 장치의 수용 구조를 고려하여 다양하게 구현될 수 있다. 예를 들면, 국제 규격 E26에 따라, 커넥터(130)의 접합 부위의 지름은 26 mm로 구현될 수 있고, 이 경우 전자 장치(100)는 통상적으로 사용되는 전구를 대체하여 스탠드와 같은 외부 조명 장치에 결합될 수 있다. 한편, 기존 천장에 위치한 소켓에 체결 시, 전자 장치(100)는 위에서 아래로 프로젝션되는 구조로서, 소켓 결합에 의해 전자 장치(100)가 회전되지 않는 경우, 화면 역시 회전이 불가능하다. 이에 따라 소켓 결합이 되어 전원 공급이 되는 경우라도 전자 장치(100)가 회전 가능하도록, 전자 장치(100)는 천장의 스탠드에 소켓 결합된 상태로 헤드(103)가 본체(105)의 일 면에서 스위블되며 투사 각도를 조절하여 원하는 위치로 화면을 출사하거나 화면을 회전시킬 수 있다.
커넥터(130)는 결합 센서를 포함할 수 있고, 결합 센서는 커넥터(130)와 외부 장치의 결합 여부, 결합 상태 또는 결합 대상을 센싱하여 프로세서로 전달할 수 있으며, 프로세서는 전달받은 감지값에 기초하여 전자 장치(100)의 구동을 제어할 수 있다.
커버(107)는 본체(105)에 결합 및 분리될 수 있으며, 커넥터(130)가 상시 외부로 노출되지 않도록 커넥터(130)를 보호할 수 있다. 커버(107)의 형상은 도 1에 도시된 바와 같이 본체(105)와 연속된 형상을 가질 수 있으며, 또는 커넥터(130)의 형상에 대응되도록 구현될 수 있다. 커버(107)는 전자 장치(100)를 지지할 수 있으며, 전자 장치(100)는 커버(107)에 결합되어 외부 거치대에 결합되거나 거치되어 사용될 수 있다.
다양한 실시 예의 전자 장치(100)는 커버(107) 내부에 배터리가 마련될 수 있다. 배터리는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
도면에는 도시되지 않았으나, 전자 장치(100)는 카메라 모듈을 포함할 수 있고, 카메라 모듈은 정지 이미지 및 동영상을 촬영할 수 있다. 다양한 실시 예에 따르면, 카메라 모듈은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
도면에는 도시되지 않았으나, 전자 장치(100)는 전자 장치(100)를 보호하며 용이하게 운반할 수 있도록 보호 케이스(미도시)를 포함할 수 있으며, 또는, 본체(105)를 지지하거나 고정하는 스탠드(미도시), 벽면 또는 파티션에 결합 가능한 브라켓(미도시)을 포함할 수 있다.
또한, 전자 장치(100)는 소켓 구조를 이용하여 다양한 외부 장치와 연결되어 다양한 기능을 제공할 수 있다. 다양한 실시 예로, 전자 장치(100)는 소켓 구조를 이용하여 외부의 카메라 장치와 연결될 수 있다. 전자 장치(100)는 연결된 카메라 장치에 저장된 이미지나 현재 촬영 중인 이미지를 프로젝션부(112)를 이용하여 제공할 수 있다. 다른 실시 예로, 전자 장치(100)는 소켓 구조를 이용하여 배터리 모듈과 연결되어 전력을 공급받을 수 있다. 한편, 전자 장치(100)는 소켓 구조를 이용하여 외부 장치와 연결될 수 있으나, 이는 다양한 실시 예에 불과할 뿐, 다른 인터페이스(예를 들어, USB 등)를 이용하여 외부 장치와 연결될 수 있다.
도 2는 다양한 실시 예에 따른, 전자 장치(100)의 구성을 도시한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 적어도 하나의 프로세서(111), 프로젝션부(112), 메모리(113) 및 센서부(121)를 포함할 수 있다.
적어도 하나의 프로세서(111)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 적어도 하나의 프로세서(111)는 전자 장치(100)의 전반적인 동작을 제어하는 기능을 한다. 적어도 하나의 프로세서(111)와 관련된 구체적인 설명은 도 3에서 기재한다.
프로젝션부(112)는 이미지(투사 이미지, 컨텐츠 등)을 외부로 투사하는 구성이다. 프로젝션부(112)와 관련된 구체적인 설명은 도 3에서 기재한다.
메모리(113)는 프로젝션부(112)를 통해 투사되는 투사 이미지를 저장할 수 있다. 여기서, 투사 이미지는 정지 이미지뿐 아니라 연속 이미지(또는 동영상)을 의미할 수 있다. 투사 이미지는 컨텐츠에 포함된 이미지를 의미할 수 있다.
센서부(121)는 복수의 센서를 포함할 수 있다. 여기서, 센서부(121)는 제1 센서 또는 제2 센서 중 적어도 하나를 포함할 수 있다. 제1 센서는 이미지 센서를 의미할 수 있다. 여기서, 이미지 센서는 촬영(또는 촬상) 데이터를 획득하는 카메라 등을 의미할 수 있다. 여기서, 제2 센서는 거리 센서를 의미할 수 있다. 거리 센서는 거리 센서는 ToF(Time of Flight) 센서 또는 라이다(Ridar) 센서 등을 의미할 수 있다.
적어도 하나의 프로세서(111)는 센서부(121)를 통해 획득한 센싱 데이터에 기초하여 사용자 시선을 식별하고, 메모리(113)에 저장된 투사 이미지를 사용자 시선에 대응되는 제1 이미지 영역 및 제1 이미지 영역의 나머지 영역인 제2 이미지 영역으로 구분하고, 제1 휘도값의 제1 이미지 영역 및 제1 휘도값과 상이한 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득하고, 획득된 투사 이미지를 투사하도록 프로젝션부(112)를 제어할 수 있다.
적어도 하나의 프로세서(111)는 센서부(121)를 통해 센싱 데이터를 획득할 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 데이터 획득 시점에 따라 제1 센싱 데이터, 제2 센싱 데이터를 획득할 수 있다. 예를 들어, 제1 시점에 수신된 데이터는 제1 센싱 데이터로 기재되고, 제2 시점에 수신된 데이터는 제2 센싱 데이터로 기재될 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 센싱 데이터를 센싱하는 센서 종류에 따라 제1 센싱 데이터, 제2 센싱 데이터를 획득할 수 있다. 예를 들어, 제1 센서를 통해 수신된 데이터는 제1 센싱 데이터로 기재되고, 제2 센서를 통해 수신된 데이터는 제2 센싱 데이터로 기재될 수 있다.
적어도 하나의 프로세서(111)는 이미지 센서를 통해 획득한 센싱 데이터에 기초하여 사용자(20)의 시선을 획득할 수 있다. 사용자(20)의 존재 자체는 이미지 센서 또는 거리 센서 등으로 식별할 수 있다. 다만, 적어도 하나의 프로세서(111)는 사용자(20)가 어느 위치를 바라보고 있는지 여부를 이미지 센서를 통해 획득한 센싱 데이터에 기초하여 결정할 수 있다.
적어도 하나의 프로세서(111)는 센서부(이미지 센서 또는 거리 센서 중 적어도 하나를 포함)를 통해 획득한 센싱 데이터에 기초하여 사용자(20)의 존재 여부를 식별할 수 있다. 사용자(20)가 존재하는 경우, 적어도 하나의 프로세서(111)는 사용자(20)의 시선(이하 사용자 시선으로 기재)을 식별할 수 있다. 사용자 시선은 사용자(20)가 투사 이미지가 출력되는 투사 영역 중 어느 위치를 바라보고 있는지를 나타낼 수 있다.
적어도 하나의 프로세서(111)는 사용자(20)의 얼굴이 포함된 촬영 이미지를 포함하는 센싱 데이터를 획득할 수 있다. 여기서, 적어도 하나의 프로세서(111)는 이미지에 포함된 사용자(20)의 눈동자(또는 홍채)를 인식하여 사용자(20)가 어디를 바라보고 있는지를 분석할 수 있다. 또한, 적어도 하나의 프로세서(111)는 전자 장치(100)의 위치, 투사 이미지가 투사되는 영역, 사용자(20)가 포함된 촬영 이미지 및 사용자(20)의 위치 정보에 기초하여 사용자 시선을 분석할 수 있다.
다양한 실시 예에 따라, 사용자 시선은 단말 장치(500)에서 획득한 센싱 데이터에 기초하여 획득될 수 있다. 단말 장치(500)에 포함된 센서가 사용자(20)와 관련된 정보를 센싱할 수 있으며, 센싱 데이터를 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 단말 장치(500)로부터 수신된 센싱 데이터에 기초하여 사용자 시선을 획득할 수 있다. 이와 관련된 설명은 도 13에서 기재한다.
여기서, 적어도 하나의 프로세서(111)는 사용자 시선이 투사 이미지 중 어느 영역을 바라보는지 분석할 수 있다.
투사 이미지가 투사되고 있는 실시 예에서, 적어도 하나의 프로세서(111)는 투사면(10)에 투사된 투사 이미지의 전체 영역을 사용자 시선에 대응되는 제1 이미지 영역과 사용자 시선에 대응되지 않는 제2 이미지 영역으로 구분할 수 있다.
제1 이미지 영역은 주 영역으로 기재될 수 있고, 제2 이미지 영역은 보조 영역으로 기재될 수 있다.
투사 이미지가 투사되고 있지 않는 실시 예에서, 적어도 하나의 프로세서(111)는 투사면(10)에 투사 이미지가 투사될 전체 투사 영역을 사용자 시선에 대응되는 제1 투사 영역과 사용자 시선에 대응되지 않는 제2 투사 영역으로 구분할 수 있다. 여기서, 제1 투사 영역은 투사 이미지 중 제1 이미지 영역이 투사될 영역일 수 있다. 제2 투사 영역은 투사 이미지 중 제2 이미지 영역이 투사될 영역일 수 있다. 여기서, 제1 투사 영역은 주 화면으로 기재될 수 있고, 제2 투사 영역은 보조 화면으로 기재될 수 있다.
여기서, 적어도 하나의 프로세서(111)는 사용자 시선에 대응되는 제1 이미지 영역과 사용자 시선에 대응되지 않는 제2 이미지 영역을 식별할 수 있다. 적어도 하나의 프로세서(111)는 제1 이미지 영역이 제2 이미지 영역보다 밝게 투사되도록 프로젝션부(112)를 제어할 수 있다.
구체적으로, 적어도 하나의 프로세서(111)는 특정 영역(사용자 시선에 대응되는 제1 이미지 영역)을 밝게 하기 위하여, 이미지 보정 기능을 수행할 수 있다.
적어도 하나의 프로세서(111)는 원본 투사 이미지에서 포함하는 기본 휘도값(또는 평균 휘도값)을 기초하여 이미지 보정 동작을 수행할 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 사용자 시선에 대응되는 제1 이미지 영역은 기본 휘도값을 유지하고, 사용자 시선에 대응되지 않는 제2 이미지 영역은 기본 휘도값보다 낮은 휘도값으로 변경할 수 있다. 예를 들어, 적어도 하나의 프로세서(111)는 사용자 시선에 대응되는 제1 이미지 영역은 기본 휘도값(100%)을 유지하고, 사용자 시선에 대응되지 않는 제2 이미지 영역은 임계 비율(50%)에 기초하여 휘도값을 낮출 수 있다. 적어도 하나의 프로세서(111)는 기본 휘도값(100%)의 제1 이미지 영역 및 변경된 휘도값(50%)의 제2 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다. 이와 관련된 설명은 도 9에서 기재한다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 사용자 시선에 대응되지 않는 제2 이미지 영역은 기본 휘도값을 유지하고, 사용자 시선에 대응되는 제1 이미지 영역은 기본 휘도값보다 높은 휘도값으로 변경할 수 있다. 예를 들어, 적어도 하나의 프로세서(111)는 사용자 시선에 대응되지 않는 제2 이미지 영역은 기본 휘도값(100%)을 유지하고, 사용자 시선에 대응되는 제1 이미지 영역은 임계 비율(150%)에 기초하여 휘도값을 높일 수 있다. 적어도 하나의 프로세서(111)는 기본 휘도값(100%)의 제2 이미지 영역 및 변경된 휘도값(150%)의 제1 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다. 이와 관련된 설명은 도 10에서 기재한다.
여기서, 휘도값을 변경하는 동작은 이미지에 적용되는 밝기값을 변경하는 동작 또는 이미지에 포함된 픽셀값(예를 들어, R, G, B 값)을 변경하는 동작 중 적어도 하나를 포함할 수 있다. 이미지에 적용되는 밝기값을 변경하는 동작은 투사되는 이미지 전체에 적용되는 밝기값을 높이거나 낮추는 동작을 의미할 수 있다. 픽셀값을 변경하는 동작은 투사될 이미지 전체의 평균 픽셀값을 높이거나 낮추는 동작을 의미할 수 있다.
한편, 적어도 하나의 프로세서(111)는 투사 영역을 식별하고, 투사 영역을 사용자 시선에 대응되는 제1 투사 영역 및 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분하고, 투사 이미지를 제1 투사 영역에 대응되는 제1 이미지 영역 및 제2 투사 영역에 대응되는 제2 이미지 영역으로 구분할 수 있다.
한편, 적어도 하나의 프로세서(111)는 투사 영역을 복수의 그룹으로 구분하고, 복수의 그룹을 사용자 시선에 대응되는 제1 그룹을 제1 투사 영역으로 구분하고 제1 그룹의 나머지 그룹을 제2 투사 영역으로 구분할 수 있다.
투사 영역은 투사 이미지가 출력되는 영역을 의미할 수 있다. 적어도 하나의 프로세서(111)는 센싱 데이터에 기초하여 투사면(10)을 식별할 수 있다. 그리고, 적어도 하나의 프로세서(111)는 투사면(10)에 전체 영역 중 투사 이미지가 투사되기 위한 투사 영역을 식별할 수 있다. 그리고, 적어도 하나의 프로세서(111)는 투사 영역을 복수의 영역으로 구분할 수 있다. 여기서, 복수의 영역은 복수의 그룹으로 기재될 수 있다.
적어도 하나의 프로세서(111)는 투사 영역을 사용자 시선에 대응되는 제1 투사 영역과 사용자 시선에 대응되지 않는 제2 투사 영역으로 구분할 수 있다. 적어도 하나의 프로세서(111)는 사용자 시선에 기초하여 사용자(20)가 전체 투사 영역 중 어느 영역을 바라보고 있는지를 분석할 수 있다.
한편, 센싱 데이터는 제1 센싱 데이터이고, 적어도 하나의 프로세서(111)는 센서부(121)를 통해 획득한 제2 센싱 데이터에 기초하여 투사 영역을 식별하고, 사용자 시선에 대응되는 위치 및 기 설정된 거리에 기초하여 제1 투사 영역을 식별할 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 사용자 시선과 관련된 정보(시선 방향 또는 시선 위치) 및 기 설정된 거리에 기초하여 전체 투사 영역을 제1 투사 영역 및 제2 투사 영역으로 구분할 수 있다. 여기서, 시선 방향은 사용자(20)의 시선이 어느 방향으로 투사 영역을 바라보는지를 나타낼 수 있다. 시선 방향은 시선 각도로 기재될 수 있다. 시선 위치는 사용자(20)의 시선이 투사 영역 중 어느 위치를 바라보는지를 나타낼 수 있다. 이와 관련된 구체적인 설명은 도 18 및 도 19에서 기재한다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 기 설정된 복수의 영역(또는 그룹)의 개수에 기초하여 전체 투사 영역을 제1 투사 영역 및 제2 투사 영역으로 구분할 수 있다. 이와 관련된 구체적인 설명은 도 20 및 도 21에서 기재한다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 투사면(10)에 포함된 경계선에 기초하여 전체 투사 영역을 제1 투사 영역 및 제2 투사 영역으로 구분할 수 있다. 이와 관련된 구체적인 설명은 도 22 및 도 23에서 기재한다.
한편, 제1 센싱 데이터는 센서부(121)에 포함된 이미지 센서를 통해 획득된 데이터이고, 제2 센싱 데이터는 센서부(121)에 포함된 거리 센서를 통해 획득된 데이터일 수 있다.
여기서, 센서부(121)는 이미지를 촬상하기 위한 제1 센서(이미지 센서) 또는 투사 영역을 식별하기 위한 제2 센서(거리 센서) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 이미지 센서를 통해 획득하는 제1 센싱 데이터 및 거리 센서를 통해 획득하는 제2 센싱 데이터를 획득할 수 있다. 적어도 하나의 프로세서(111)는 제1 센싱 데이터 및 제2 센싱 데이터를 모두 이용하여 이미지 보정 기능을 수행할 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 이미지 센서를 통해 획득하는 제1 센싱 데이터만을 획득할 수 있다. 적어도 하나의 프로세서(111)는 제1 센싱 데이만을 이용하여 이미지 보정 기능을 수행할 수 있다.
한편, 적어도 하나의 프로세서(111)는 사용자 시선이 투사 영역에 대응되지 않으면, 사용자 시선에 기초하여 투사 방향을 변경하고, 변경된 투사 방향에 기초하여 투사 영역을 재식별할 수 있다.
전자 장치(100)는 현재 배치된 위치 및 센서부(121)의 센싱 방향에 기초하여 투사 영역을 식별할 수 있다. 예를 들어, 전자 장치(100)가 정면을 향하고 있는 경우, 적어도 하나의 프로세서(111)는 현재의 센싱 방향(정면)을 기준으로 투사 영역을 식별할 수 있다. 적어도 하나의 프로세서(111)는 사용자 시선이 식별된 투사 영역에 대응되는지 여부를 확인할 수 있다. 만약, 사용자 시선이 식별된 투사 영역에 대응되지 않는 경우, 적어도 하나의 프로세서(111)는 사용자 시선에 대응되는 영역을 투사 영역으로 결정할 수 있다. 적어도 하나의 프로세서(111)는 최초 식별된 투사 영역(도 25의 2511)을 사용자 시선에 기초하여 재식별한 투사 영역(도 25의 2521)으로 변경할 수 있다.
적어도 하나의 프로세서(111)는 사용자 시선을 실시간으로 추적할 수 있다. 여기서, 사용자 시선이 정해진 임계 범위를 벗어날 수 있다. 임계 범위는 투사 이미지가 출력되는 투사 영역을 의미할 수 있다. 적어도 하나의 프로세서(111)는 사용자 시선이 투사 영역을 벗어나는 경우, 투사 이미지가 투사되는 투사 영역을 변경할 수 있다. 그리고, 적어도 하나의 프로세서(111)는 변경된 투사 영역에 투사 이미지를 투사할 수 있다. 이와 관련된 구체적인 설명은 도 25 및 도 26에서 기재한다.
한편, 적어도 하나의 프로세서(111)는 사용자 시선이 투사 영역에 대응되지 않으면, 기 설정된 오브젝트가 식별되는지 식별하고, 기 설정된 오브젝트가 식별되면, 투사 영역 중 기 설정된 오브젝트에 대응되는 영역을 제1 투사 영역으로 식별할 수 있다.
적어도 하나의 프로세서(111)는 센싱 데이터에 기초하여 기 설정된 오브젝트를 식별할 수 있다. 여기서, 센싱 데이터는 이미지 센서로부터 획득되는 센싱 데이터 또는 거리 센서로부터 획득되는 센싱 데이터 중 적어도 하나를 의미할 수 있다. 기 설정된 오브젝트는 사용자 설정에 따라 상이할 수 있다.
적어도 하나의 프로세서(111)는 기 설정된 오브젝트의 이동 방향 또는 기 설정된 오브젝트의 위치를 획득할 수 있다. 적어도 하나의 프로세서(111)는 기 설정된 오브젝트의 이동 방향 또는 기 설정된 오브젝트의 위치 중 적어도 하나에 기초하여 밝기를 조절할 영역을 특정할 수 있다.
적어도 하나의 프로세서(111)는 기 설정된 오브젝트가 이동한 영역 또는 기 설정된 오브젝트가 위치한 영역을 나머지 영역보다 밝게 투사할 수 있다. 이와 관련된 구체적인 설명은 도 36 및 도 37에서 기재한다.
한편, 적어도 하나의 프로세서(111)는 사용자 시선이 변경되면, 투사 이미지를 변경된 사용자 시선에 대응되는 제3 이미지 영역 및 제3 이미지 영역의 나머지 영역인 제4 이미지 영역으로 구분하고, 제1 휘도값의 제3 이미지 영역 및 제2 휘도값의 제4 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다.
적어도 하나의 프로세서(111)는 사용자 시선을 실시간으로 추적할 수 있다. 사용자 시선이 변경되면, 적어도 하나의 프로세서(111)는 투사 영역의 구분 동작 및 이미지 영역의 구분 동작을 다시 수행할 수 있다. 이와 관련된 구체적인 설명은 도 16에서 기재한다.
한편, 적어도 하나의 프로세서(111)는 제1 사용자 시선 및 제2 사용자 시선을 포함하는 복수의 사용자 시선이 식별되면, 제1 사용자 시선에 대응되는 이미지 영역의 휘도값과 제2 사용자 시선에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득할 수 있다.
적어도 하나의 프로세서(111)는 복수의 사용자를 식별할 수 있다. 적어도 하나의 프로세서(111)는 복수의 사용자 각각의 시선을 식별할 수 있다. 적어도 하나의 프로세서(111)는 제1 사용자(20-1)의 제1 사용자 시선 및 제2 사용자(20-2)의 제2 사용자 시선을 식별할 수 있다. 그리고, 적어도 하나의 프로세서(111)는 제1 사용자 시선에 대응되는 이미지 영역을 제1 휘도값으로 투사하고 제2 사용자 시선에 대응되는 이미지 영역을 제2 휘도값을 투사할 수 있다. 여기서, 제1 휘도값 및 제2 휘도값이 상이할 수 있다. 이와 관련된 구체적인 설명은 도 28 내지 도 29에서 기재한다.
한편, 적어도 하나의 프로세서(111)는 센싱 데이터에 기초하여 사용자 제스쳐를 식별하고, 사용자 시선에 대응되는 이미지 영역의 휘도값과 사용자 제스쳐에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득할 수 있다.
적어도 하나의 프로세서(111)는 센싱 데이터에 기초하여 기 설정된 사용자 제스쳐를 식별할 수 있다. 여기서, 기 설정된 사용자 제스쳐는 사용자 설정에 따라 달라질 수 있다. 예를 들어, 기 설정된 사용자 제스쳐는 손가락으로 특정 방향을 가리키는 제스쳐, 양손을 이동하는 제스쳐, 손가락을 시계 방향 또는 반시계 방향으로 이동시키는 제스쳐 등을 의미할 수 있다.
적어도 하나의 프로세서(111)는 복수의 사용자 제스쳐를 메모리(113)에 저장할 수 있다. 그리고, 적어도 하나의 프로세서(111)는 복수의 사용자 제스쳐 중 센싱 데이터에 기초하여 식별된 사용자 제스쳐를 특정할 수 있다. 그리고, 적어도 하나의 프로세서(111)는 식별된 사용자 제스쳐에 기초하여 투사 이미지의 휘도값을 변경할 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 사용자 제스쳐에 대응되는 이미지 영역의 휘도값을 변경할 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 사용자 시선에 대응되는 이미지 영역의 휘도값을 사용자 제스쳐에 기초하여 변경할 수 있다.
다양한 실시 예에 따라, 적어도 하나의 프로세서(111)는 사용자 시선에 대응되는 이미지 영역의 크기를 사용자 제스쳐에 기초하여 변경할 수 있다.
이와 관련된 구체적인 설명은 도 38 내지 50에서 기재한다.
한편, 아래의 설명에서는 투사면(10)이 평면인 것으로 도시하였다. 다양한 실시 예에 따라, 투사면(10)이 곡면으로 구현되는 경우에도 전자 장치(100)는 동일한 이미지 보정 기능을 수행할 수 있다.
한편, 상술한 설명에서는 투사 영역을 식별하는 것으로 기재하였으나, 투사 영역을 식별하는 동작이 반드시 필수적이지 않을 수 있다. 전자 장치(100)는 사용자 시선과 투사 이미지의 투사 방향을 비교하여 이미지 보정 기능을 수행할 수 있다. 예를 들어, 사용자 시선의 방향 및 투사 방향이 일치하는 경우, 전자 장치(100)는 사용자 시선에 대응되는 영역을 이미지의 중앙 영역으로 식별할 수 있다. 그리고, 전자 장치(100)는 사용자 시선의 방향 및 투사 방향의 각도 차이에 기초하여 사용자 시선에 대응되는 영역을 식별할 수 있다.
다양한 실시 예에 따른 전자 장치(100)는 사용자의 시선에 기초하여 이미지 영역의 밝기를 변경할 수 있다. 특히, 전자 장치(100)는 사용자 시선에 대응되는 특정 영역만을 상대적으로 밝게 한다는 점에서 사용자의 집중도를 높일 수 있다. 또한, 사용자 시선에 대응되지 않는 영역이 상대적으로 어둡게 변경되는 경우, 전력을 절약할 수 있다.
한편, 전자 장치(100)는 투사면(10)과 사용자(20) 사이의 거리 정보를 획득할 수 있다. 전자 장치(100)는 센서부(121)에 포함된 거리 센서를 통해 센싱 데이터를 획득할 수 있다. 그리고, 전자 장치(100)는 센싱 데이터에 기초하여 투사면(10)과 사용자(20) 사이의 거리값을 나타내는 거리 정보를 획득할 수 있다. 여기서, 전자 장치(100)는 사용자(20)의 시야각을 획득할 수 있다. 사용자(20)의 시야각은 기 설정된 각도(예를 들어, 120도)를 의미할 수 있다. 기 설정된 각도는 설정에 따라 변경될 수 있다. 전자 장치(100)는 투사면(10)과 사용자(20) 사이의 거리 정보 및 사용자(20)의 시야각을 고려하여 투사 영역을 구분할 수 있다. 전자 장치(100)는 전체 투사 영역 중 사용자(20)의 시야각에 대응되는 영역을 제1 투사 영역(또는 주 화면)으로 식별할 수 있다. 전자 장치(100)는 전체 투사 영역 중 사용자(20)의 시야각에 대응되지 않는 영역을 제2 투사 영역(또는 보조 화면)으로 식별할 수 있다.
한편, 이상에서는 전자 장치(100)를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 3을 참조하여 이하에서 설명한다.
도 3은 도 2의 전자 장치(100)의 구성을 구체적으로 도시한 블록도이다.
도 3을 참조하면, 전자 장치(100)는 프로세서(111), 프로젝션부(112), 메모리(113), 통신 인터페이스(114), 조작 인터페이스(115), 입출력 인터페이스(116), 스피커(117), 마이크(118), 전원부(119), 구동부(120) 또는 센서부(121) 중 적어도 하나를 포함할 수 있다.
한편, 도 3에 도시된 구성은 다양한 실시 예에 불과할 뿐, 일부 구성이 생략될 수 있으며, 새로운 구성이 추가될 수 있다.
한편, 도 2에서 이미 설명한 내용은 생략한다.
프로세서(111)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM(advanced reduced instruction set computer (RISC) machines) 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(111)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(111)는 메모리(113)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
프로젝션부(112)는 이미지를 외부로 투사하는 구성이다. 본 개시의 다양한 실시 예에 따른, 프로젝션부(112)는 다양한 투사 방식(예를 들어, CRT(cathode-ray tube) 방식, LCD(Liquid Crystal Display) 방식, DLP(Digital Light Processing) 방식, 레이저 방식 등)으로 구현될 수 있다. 일 예로, CRT 방식은 기본적으로 CRT 모니터와 원리가 동일하다. CRT 방식은 브라운관(CRT) 앞의 렌즈로 상을 확대시켜서 스크린에 이미지를 표시한다. 브라운관의 개수에 따라 1관식과 3관식으로 나뉘며, 3관식의 경우 Red, Green, Blue의 브라운관이 따로 분리되어 구현될 수 있다.
다른 예로, LCD 방식은 광원에서 나온 빛을 액정에 투과시켜 이미지를 표시하는 방식이다. LCD 방식은 단판식과 3판식으로 나뉘며, 3판식의 경우 광원에서 나온 빛이 다이크로익 미러(특정 색의 빛만 반사하고 나머지는 통과시키는 거울)에서 Red, Green, Blue로 분리된 뒤 액정을 투과한 후 다시 한 곳으로 빛이 모일 수 있다.
또 다른 예로, DLP 방식은 DMD(Digital Micromirror Device) 칩을 이용하여 이미지를 표시하는 방식이다. DLP 방식의 프로젝션부는 광원, 컬러 휠, DMD 칩, 프로젝션 렌즈 등을 포함할 수 있다. 광원에서 출력된 빛은 회전하는 컬러 휠을 통과하면서 색을 띌 수 있다. 컬러 휠을 통화한 빛은 DMD 칩으로 입력된다. DMD 칩은 수많은 미세 거울을 포함하고, DMD 칩에 입력된 빛을 반사시킨다. 프로젝션 렌즈는 DMD 칩에서 반사된 빛을 이미지 크기로 확대시키는 역할을 수행할 수 있다.
또 다른 예로, 레이저 방식은 DPSS(Diode Pumped Solid State) 레이저와 검류계를 포함한다. 다양한 색상을 출력하는 레이저는 DPSS 레이저를 RGB 색상별로 3개를 설치한 후 특수 거울을 이용하여 광축을 중첩한 레이저를 이용한다. 검류계는 거울과 높은 출력의 모터를 포함하여 빠른 속도로 거울을 움직인다. 예를 들어, 검류계는 최대 40 KHz/sec로 거울을 회전시킬 수 있다. 검류계는 스캔 방향에 따라 마운트되는데 일반적으로 프로젝터는 평면 주사를 하므로 검류계도 x, y축으로 나뉘어 배치될 수 있다.
한편, 프로젝션부(112)는 다양한 유형의 광원을 포함할 수 있다. 예를 들어, 프로젝션부(112)는 램프, LED, 레이저 중 적어도 하나의 광원을 포함할 수 있다.
프로젝션부(112)는 전자 장치(100)의 용도 또는 사용자의 설정 등에 따라 4:3 화면비, 5:4 화면비, 16:9 와이드 화면비로 이미지를 출력할 수 있고, 화면비에 따라 WVGA(854*480), SVGA(800*600), XGA(1024*768), WXGA(1280*720), WXGA(1280*800), SXGA(1280*1024), UXGA(1600*1200), Full HD(1920*1080) 등의 다양한 해상도로 이미지를 출력할 수 있다.
한편, 프로젝션부(112)는 프로세서(111)의 제어에 의해 출력 이미지를 조절하기 위한 다양한 기능을 수행할 수 있다. 예를 들어, 프로젝션부(112)는 줌, 키스톤, 퀵코너(4코너)키스톤, 렌즈 시프트 등의 기능을 수행할 수 있다.
구체적으로, 프로젝션부(112)는 스크린과의 거리(투사거리)에 따라 이미지를 확대하거나 축소할 수 있다. 즉, 스크린과의 거리에 따라 줌 기능이 수행될 수 있다. 이때, 줌 기능은 렌즈를 이동시켜 화면의 크기를 조절하는 하드웨어 방식과 이미지를 크롭(crop) 등으로 화면의 크기를 조절하는 소프트웨어 방식을 포함할 수 있다. 한편, 줌 기능이 수행되면, 이미지의 초점의 조절이 필요하다. 예를 들어, 초점을 조절하는 방식은 수동 포커스 방식, 전동 방식 등을 포함한다. 수동 포커스 방식은 수동으로 초점을 맞추는 방식을 의미하고, 전동 방식은 줌 기능이 수행되면 프로젝터가 내장된 모터를 이용하여 자동으로 초점을 맞추는 방식을 의미한다. 줌기능을 수행할 때, 프로젝션부(112)는 소프트웨어를 통한 디지털 줌 기능을 제공할 수 있으며, 구동부(120)를 통해 렌즈를 이동하여 줌 기능을 수행하는 광학 줌 기능을 제공할 수 있다.
또한, 프로젝션부(112)는 키스톤 보정 기능을 수행할 수 있다. 정면 투사에 높이가 안 맞으면 위 혹은 아래로 화면이 왜곡될 수 있다. 키스톤 보정 기능은 왜곡된 화면을 보정하는 기능을 의미한다. 예를 들어, 화면의 좌우 방향으로 왜곡이 발생되면 수평 키스톤을 이용하여 보정할 수 있고, 상하 방향으로 왜곡이 발생되면 수직 키스톤을 이용하여 보정할 수 있다. 퀵코너(4코너)키스톤 보정 기능은 화면의 중앙 영역은 정상이지만 모서리 영역의 균형이 맞지 않은 경우 화면을 보정하는 기능이다. 렌즈 시프트 기능은 화면이 스크린을 벗어난 경우 화면을 그대로 옮겨주는 기능이다.
한편, 프로젝션부(112)는 사용자 입력없이 자동으로 주변 환경 및 프로젝션 환경을 분석하여 줌/키스톤/포커스 기능을 제공할 수 있다. 구체적으로, 프로젝션부(112)는 센서(뎁스 카메라, 거리 센서, 적외선 센서, 조도 센서 등)를 통해 감지된 전자 장치(100)와 스크린과의 거리, 현재 전자 장치(100)가 위치하는 공간에 대한 정보, 주변 광량에 대한 정보 등을 바탕으로 줌/키스톤/포커스 기능을 자동으로 제공할 수 있다.
또한, 프로젝션부(112)는 광원을 이용하여 조명 기능을 제공할 수 있다. 특히, 프로젝션부(112)는 LED를 이용하여 광원을 출력함으로써 조명 기능을 제공할 수 있다. 다양한 실시 예에 따라 프로젝션부(112)는 하나의 LED를 포함할 수 있으며, 다른 실시 예에 따라 전자 장치(100)는 복수의 LED를 포함할 수 있다. 한편, 프로젝션부(112)는 구현 예에 따라 면발광 LED를 이용하여 광원을 출력할 수 있다. 여기서, 면발광 LED는 광원이 고르게 분산하여 출력되도록 LED의 상측에 광학 시트가 배치되는 구조를 갖는 LED를 의미할 수 있다. 구체적으로, LED를 통해 광원이 출력되면 광원이 광학 시트를 거쳐 고르게 분산될 수 있고, 광학 시트를 통해 분산된 광원은 디스플레이 패널로 입사될 수 있다.
한편, 프로젝션부(112)는 광원의 세기를 조절하기 위한 디밍 기능을 사용자에게 제공할 수 있다. 구체적으로, 조작 인터페이스(115)(예를 들어, 터치 디스플레이 버튼 또는 다이얼)를 통해 사용자로부터 광원의 세기를 조절하기 위한 사용자 입력이 수신되면, 프로젝션부(112)는 수신된 사용자 입력에 대응되는 광원의 세기를 출력하도록 LED를 제어할 수 있다.
또한, 프로젝션부(112)는 사용자 입력 없이 프로세서(111)에 의해 분석된 컨텐츠를 바탕으로 디밍 기능을 제공할 수 있다. 구체적으로, 프로젝션부(112)는 현재 제공되는 컨텐츠에 대한 정보(예를 들어, 컨텐츠 유형, 컨텐츠 밝기 등)를 바탕으로 광원의 세기를 출력하도록 LED를 제어할 수 있다.
한편, 프로젝션부(112)는 프로세서(111)의 제어에 의해 색온도를 제어할 수 있다. 여기서, 프로세서(111)는 컨텐츠에 기초하여 색온도를 제어할 수 있다. 구체적으로, 컨텐츠가 출력되기로 식별되면, 프로세서(111)는 출력이 결정된 컨텐츠의 프레임별 색상 정보를 획득할 수 있다. 그리고, 프로세서(111)는 획득된 프레임별 색상 정보에 기초하여 색온도를 제어할 수 있다. 여기서, 프로세서(111)는 프레임별 색상 정보에 기초하여 프레임의 주요 색상을 적어도 하나 이상 획득할 수 있다. 그리고, 프로세서(111)는 획득된 적어도 하나 이상의 주요 색상에 기초하여 색온도를 조절할 수 있다. 예를 들어, 프로세서(111)가 조절할 수 있는 색온도는 웜 타입(warm type) 또는 콜드 타입(cold type)으로 구분될 수 있다. 여기서, 출력될 프레임(이하 출력 프레임)이 화재가 일어난 장면을 포함하고 있다고 가정한다. 프로세서(111)는 현재 출력 프레임에 포함된 색상 정보에 기초하여 주요 색상이 적색이라고 식별(또는 획득)할 수 있다. 그리고, 프로세서(111)는 식별된 주요 색상(적색)에 대응되는 색온도를 식별할 수 있다. 여기서, 적색에 대응되는 색온도는 웜 타입일 수 있다. 한편, 프로세서(111)는 프레임의 색상 정보 또는 주용 색상을 획득하기 위하여 인공 지능 모델을 이용할 수 있다. 다양한 실시 예에 따라, 인공 지능 모델은 전자 장치(100)(예를 들어, 메모리(113))에 저장될 수 있다. 다른 실시 예에 따라, 인공 지능 모델은 전자 장치(100)와 통신 가능한 외부 서버에 저장될 수 있다.
메모리(113)는 프로세서(111)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(111)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(113)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
메모리(113)는 전자 장치(100)에 관한 적어도 하나의 명령이 저장될 수 있다. 그리고, 메모리(113)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(113)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(113)는 플래시 메모리 (Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(113)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(111)는 메모리(113)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(113)는 프로세서(111)에 의해 액세스되며, 프로세서(111)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
한편, 본 개시에서 메모리(113)라는 용어는 저장부, 프로세서(111) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
통신 인터페이스(114)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(114)는 무선 통신 모듈 또는 유선 통신 모듈을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
무선 통신 모듈은 무선으로 외부 장치와 통신하는 모듈일 수 있다. 예를 들어, 무선 통신 모듈은 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 또는 기타 통신 모듈 중 적어도 하나의 모듈을 포함할 수 있다.
와이파이 모듈, 블루투스 모듈은 각각 와이파이 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID(service set identifier) 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈은 가시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
기타 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
유선 통신 모듈은 유선으로 외부 장치와 통신하는 모듈일 수 있다. 예를 들어, 유선 통신 모듈은 LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 중 적어도 하나를 포함할 수 있다.
조작 인터페이스(115)는 다양한 유형의 입력 장치를 포함할 수 있다. 예를 들어, 조작 인터페이스(115)는 물리적 버튼을 포함할 수 있다. 이때, 물리적 버튼은 기능키(function key), 방향키(예를 들어, 4방향 키) 또는 다이얼 버튼(dial button)을 포함할 수 있다. 다양한 실시 예에 따라, 물리적 버튼은 복수의 키로 구현될 수 있다. 다른 실시 예에 따라, 물리적 버튼은 하나의 키(one key)로 구현될 수 있다. 여기서, 물리적 버튼이 하나의 키로 구현되는 경우, 전자 장치(100)는 하나의 키가 임계 시간 이상 눌려지는 사용자 입력을 수신할 수 있다. 하나의 키가 임계 시간 이상 눌려지는 사용자 입력이 수신되면, 프로세서(111)는 사용자 입력에 대응되는 기능을 수행할 수 있다. 예를 들어, 프로세서(111)는 사용자 입력에 기초하여 조명 기능을 제공할 수 있다.
또한, 조작 인터페이스(115)는 비접촉 방식을 이용하여 사용자 입력을 수신할 수 있다. 접촉 방식을 통해서 사용자 입력을 수신하는 경우 물리적인 힘이 전자 장치(100)에 전달되어야 한다. 따라서, 물리적인 힘에 관계없이 전자 장치(100)를 제어하기 위한 방식이 필요할 수 있다. 구체적으로, 조작 인터페이스(115)는 사용자 제스쳐를 수신할 수 있고, 수신된 사용자 제스쳐에 대응되는 동작을 수행할 수 있다. 여기서, 조작 인터페이스(115)는 센서(예를 들어, 이미지 센서 또는 적외선 센서)를 통해 사용자의 제스쳐를 수신할 수 있다.
또한, 조작 인터페이스(115)는 터치 방식을 이용하여 사용자 입력을 수신할 수 있다. 예를 들어, 조작 인터페이스(115)는 터치 센서를 통해 사용자 입력을 수신할 수 있다. 다양한 실시 예에 따라, 터치 방식은 비접촉 방식으로 구현될 수 있다. 예를 들어, 터치 센서는 임계 거리 이내로 사용자 신체가 접근했는지 여부를 판단할 수 있다. 여기서, 터치 센서는 사용자가 터치 센서를 접촉하지 않는 경우에도 사용자 입력을 식별할 수 있다. 한편, 다른 구현 예에 따라, 터치 센서는 사용자가 터치 센서를 접촉하는 사용자 입력을 식별할 수 있다.
한편, 전자 장치(100)는 상술한 조작 인터페이스(115) 외에 다양한 방법으로 사용자 입력을 수신할 수 있다. 다양한 실시 예로, 전자 장치(100)는 외부 원격 제어 장치를 통해 사용자 입력을 수신할 수 있다. 여기서, 외부 원격 제어 장치는 전자 장치(100)에 대응되는 원격 제어 장치(예를 들어, 전자 장치(100)의 전용 제어 기기) 또는 사용자의 휴대용 통신 기기(예를 들어, 스마트폰 또는 웨어러블 디바이스)일 수 있다. 여기서, 사용자의 휴대용 통신 기기는 전자 장치(100)를 제어하기 위한 어플리케이션이 저장될 수 있다. 휴대용 통신 기기는 저장된 어플리케이션을 통해 사용자 입력을 획득하고, 획득된 사용자 입력을 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 휴대용 통신 기기로부터 사용자 입력을 수신하여 사용자의 제어 명령에 대응되는 동작을 수행할 수 있다.
한편, 전자 장치(100)는 음성 인식을 이용하여 사용자 입력을 수신할 수 있다. 다양한 실시 예에 따라, 전자 장치(100)는 전자 장치(100)에 포함된 마이크를 통해 사용자 음성을 수신할 수 있다. 다른 실시 예에 따라, 전자 장치(100)는 마이크 또는 외부 장치로부터 사용자 음성을 수신할 수 있다. 구체적으로, 외부 장치는 외부 장치의 마이크를 통해 사용자 음성을 획득할 수 있고, 획득된 사용자 음성을 전자 장치(100)에 전송할 수 있다. 외부 장치로부터 전송되는 사용자 음성은 오디오 데이터 또는 오디오 데이터가 변환된 디지털 데이터(예를 들어, 주파수 도메인으로 변환된 오디오 데이터 등)일 수 있다. 여기서, 전자 장치(100)는 수신된 사용자 음성에 대응되는 동작을 수행할 수 있다. 구체적으로, 전자 장치(100)는 마이크를 통해 사용자 음성에 대응되는 오디오 데이터를 수신할 수 있다. 그리고, 전자 장치(100)는 수신된 오디오 데이터를 디지털 데이터로 변환할 수 있다. 그리고, 전자 장치(100)는 STT(Speech To Text) 기능을 이용하여 변환된 디지털 데이터를 텍스트 데이터로 변환할 수 있다. 다양한 실시 예에 따라, STT(Speech To Text) 기능은 전자 장치(100)에서 직접 수행될 수 있으며,
다른 실시 예에 따라, STT(Speech To Text) 기능은 외부 서버에서 수행될 수 있다. 전자 장치(100)는 디지털 데이터를 외부 서버로 전송할 수 있다. 외부 서버는 디지털 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 바탕으로 제어 명령 데이터를 획득할 수 있다. 외부 서버는 제어 명령 데이터(이때, 텍스트 데이터도 포함될 수 있음.)를 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 획득된 제어 명령 데이터를 바탕으로 사용자 음성에 대응되는 동작을 수행할 수 있다.
한편, 전자 장치(100)는 하나의 어시스턴스(또는 인공지능 비서, 예로, 빅스비TM 등)를 이용하여 음성 인식 기능을 제공할 수 있으나, 이는 다양한 실시 예에 불과할 뿐 복수의 어시스턴스를 통해 음성 인식 기능을 제공할 수 있다. 이때, 전자 장치(100)는 어시스턴스에 대응되는 트리거 워드 또는 리모컨에 존재하는 특정 키를 바탕으로 복수의 어시스턴스 중 하나를 선택하여 음성 인식 기능을 제공할 수 있다.
한편, 전자 장치(100)는 스크린 인터렉션을 이용하여 사용자 입력을 수신할 수 있다. 스크린 인터렉션이란, 전자 장치(100)가 스크린(또는 투사면)에 투사한 이미지를 통해 기 결정된 이벤트가 발생하는지 식별하고, 기 결정된 이벤트에 기초하여 사용자 입력을 획득하는 기능을 의미할 수 있다. 여기서, 기 결정된 이벤트는 특정 위치(예를 들어, 사용자 입력을 수신하기 위한 UI가 투사된 위치)에 특정 위치에 기 결정된 오브젝트가 식별되는 이벤트를 의미할 수 있다. 여기서, 기 결정된 오브젝트는 사용자의 신체 일부(예를 들어, 손가락), 지시봉 또는 레이저 포인트 중 적어도 하나를 포함할 수 있다. 전자 장치(100)는 투사된 UI에 대응되는 위치에 기 결정된 오브젝트가 식별되면, 투사된 UI를 선택하는 사용자 입력이 수신된 것으로 식별할 수 있다. 예를 들어, 전자 장치(100)는 스크린에 UI를 표시하도록 가이드 이미지를 투사할 수 있다. 그리고, 전자 장치(100)는 사용자가 투사된 UI를 선택하는지 여부를 식별할 수 있다. 구체적으로, 전자 장치(100)는 기 결정된 이벤트가 투사된 UI의 위치에서 식별되면, 사용자가 투사된 UI를 선택한 것으로 식별할 수 있다. 여기서, 투사되는 UI는 적어도 하나 이상의 항목(item)을 포함할 수 있다. 여기서, 전자 장치(100)는 기 결정된 이벤트가 투사된 UI의 위치에 있는지 여부를 식별하기 위하여 공간 분석을 수행할 수 있다. 여기서, 전자 장치(100)는 센서(예를 들어, 이미지 센서, 적외선 센서, 뎁스 카메라, 거리 센서 등)를 통해 공간 분석을 수행할 수 있다. 전자 장치(100)는 공간 분석을 수행함으로써 특정 위치(UI가 투사된 위치)에서 기 결정된 이벤트가 발생하는지 여부를 식별할 수 있다. 그리고, 특정 위치(UI가 투사된 위치)에서 기 결정된 이벤트가 발생되는 것으로 식별되면, 전자 장치(100)는 특정 위치에 대응되는 UI를 선택하기 위한 사용자 입력이 수신된 것으로 식별할 수 있다.
입출력 인터페이스(116)는 오디오 신호 및 이미지 신호 중 적어도 하나를 입출력 하기 위한 구성이다. 입출력 인터페이스(116)는 외부 장치로부터 오디오 및 이미지 신호 중 적어도 하나를 입력 받을 수 있으며, 외부 장치로 제어 명령을 출력할 수 있다.
구현 예에 따라, 입출력 인터페이스(116)는 오디오 신호만을 입출력하는 인터페이스와 이미지 신호만을 입출력하는 인터페이스로 구현되거나, 오디오 신호 및 이미지 신호를 모두 입출력하는 하나의 인터페이스로 구현될 수 있다.
한편, 본 개시의 다양한 실시 예에 입출력 인터페이스(116)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High- Definition Link), USB (Universal Serial Bus), USB C-type, DP(Display Port), 썬더볼트 (Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(Dsubminiature) 및 DVI(Digital Visual Interface) 중 적어도 하나 이상의 유선 입출력 인터페이스로 구현될 수 있다. 다양한 실시 예에 따라, 유선 입출력 인터페이스는 오디오 신호만을 입출력하는 인터페이스와 이미지 신호만을 입출력하는 인터페이스로 구현되거나, 오디오 신호 및 이미지 신호를 모두 입출력하는 하나의 인터페이스로 구현될 수 있다.
또한, 전자 장치(100)는 유선 입출력 인터페이스를 통해 데이터를 수신할 수 있으나, 이는 다양한 실시 예에 불과할 뿐, 유선 입출력 인터페이스를 통해 전력을 공급받을 수 있다. 예를 들어, 전자 장치(100)는 USB C-type을 통해 외부 배터리에서 전력을 공급받거나 전원 어뎁터를 통해 콘센트에서 전력을 공급받을 수 있다. 또 다른 예로, 전자 장치(100)는 DP를 통해 외부 장치(예를 들어, 노트북이나 모니터 등)로부터 전력을 공급받을 수 있다.
한편, 오디오 신호는 유선 입출력 인터페이스를 통해 입력 받고, 이미지 신호는 무선 입출력 인터페이스(또는 통신 인터페이스)를 통해 입력 받도록 구현될 수 있다. 또는, 오디오 신호는 무선 입출력 인터페이스(또는 통신 인터페이스)를 통해 입력 받고, 이미지 신호는 유선 입출력 인터페이스를 통해 입력 받도록 구현될 수 있다.
스피커(117)는 오디오 신호를 출력하는 구성이다. 특히, 스피커(117)는 오디오 출력 믹서, 오디오 신호 처리기, 음향 출력 모듈을 포함할 수 있다. 오디오 출력 믹서는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들면, 오디오 출력 믹서는 아날로그 오디오 신호 및 다른 아날로그 오디오 신호(예: 외부로부터 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다. 음향 출력 모듈은, 스피커 또는 출력 단자를 포함할 수 있다. 다양한 실시 예에 따르면 음향 출력 모듈은 복수의 스피커들을 포함할 수 있고, 이 경우, 음향 출력 모듈은 본체 내부에 배치될 수 있고, 음향 출력 모듈의 진동판의 적어도 일부를 가리고 방사되는 음향은 음도관(waveguide)을 통과하여 본체 외부로 전달할 수 있다. 음향 출력 모듈은 복수의 음향 출력 유닛을 포함하고, 복수의 음향 출력 유닛이 본체의 외관에 대칭 배치됨으로써 모든 방향으로, 즉 360도 전 방향으로 음향을 방사할 수 있다.
마이크(118)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환하기 위한 구성이다. 마이크(118)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(118)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(118)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
전원부(119)는 외부로부터 전력을 공급받아 전자 장치(100)의 다양한 구성에 전력을 공급할 수 있다. 본 개시의 다양한 실시 예에 따른 전원부(119)는 다양한 방식을 통해 전력을 공급받을 수 있다. 다양한 실시 예로, 전원부(119)는 도 1에 도시된 바와 같은 커넥터(130)를 이용하여 전력을 공급받을 수 있다. 또한, 전원부(119)는 220V의 DC 전원 코드를 이용하여 전력을 공급받을 수 있다. 다만 이에 한정되지 않고, 전자 장치(100)는 USB 전원 코드를 이용하여 전력을 공급받거나 무선 충전 방식을 이용하여 전력을 공급받을 수 있다.
또한, 전원부(119)는 내부 배터리 또는 외부 배터리를 이용하여 전력을 공급받을 수 있다. 본 개시의 다양한 실시 예에 따른 전원부(119)는 내부 배터리를 통해 전력을 공급받을 수 있다. 일 예로, 전원부(119)는 220V의 DC 전원 코드, USB 전원 코드 및 USB C-Type 전원 코드 중 적어도 하나를 이용하여 내부 배터리의 전력을 충전하고, 충전된 내부 배터리를 통해 전력을 공급받을 수 있다. 또한, 본 개시의 다양한 실시 예에 따른 전원부(119)는 외부 배터리를 통해 전력을 공급받을 수 있다. 일 예로, USB 전원 코드, USB C-Type 전원 코드, 소켓 홈 등 다양한 유선 통신 방식을 통하여 전자 장치(100)와 외부 배터리의 연결이 수행되면, 전원부(119)는 외부 배터리를 통해 전력을 공급받을 수 있다. 즉, 전원부(119)는 외부 배터리로부터 바로 전력을 공급받거나, 외부 배터리를 통해 내부 배터리를 충전하고 충전된 내부 배터리로부터 전력을 공급받을 수 있다.
본 개시에 따른 전원부(119)는 상술한 복수의 전력 공급 방식 중 적어도 하나 이상을 이용하여 전력을 공급받을 수 있다.
한편, 소비 전력과 관련하여, 전자 장치(100)는 소켓 형태 및 기타 표준 등을 이유로 기설정된 값(예로, 43W) 이하의 소비 전력을 가질 수 있다. 이때, 전자 장치(100)는 배터리 이용 시에 소비 전력을 줄일 수 있도록 소비 전력을 가변시킬 수 있다. 즉, 전자 장치(100)는 전원 공급 방법 및 전원 사용량 등을 바탕으로 소비 전력을 가변시킬 수 있다.
구동부(120)는 전자 장치(100)에 포함된 적어도 하나의 하드웨어 구성을 구동할 수 있다. 구동부(120)는 물리적인 힘을 생성하여 전자 장치(100)에 포함된 적어도 하나의 하드웨어 구성에 전달할 수 있다.
여기서, 구동부(120)는 전자 장치(100)에 포함된 하드웨어 구성의 이동(예를 들어, 전자 장치(100)의 이동) 또는 구성의 회전(예를 들어, 프로젝션 렌즈의 회전) 동작을 위해 구동 전력을 발생시킬 수 있다.
구동부(120)는 프로젝션부(122)의 투사 방향(또는 투사 각도)을 조절할 수 있다. 또한, 구동부(120)는 전자 장치(100)의 위치를 이동시킬 수 있다. 여기서, 구동부(120)는 전자 장치(100)를 이동시키기 위해 이동 부재(109)를 제어할 수 있다. 예를 들어, 구동부(120)는 모터를 이용하여 이동 부재(109)를 제어할 수 있다.
센서부(121)는 적어도 하나의 센서를 포함할 수 있다. 구체적으로, 센서부(121)는 전자 장치(100)의 기울기를 센싱하는 기울기 센서, 이미지를 촬상하는 이미지 센서 중 적어도 하나를 포함할 수 있다. 여기서, 기울기 센서는 가속도 센서, 자이로 센서일 수 있고, 이미지 센서는 카메라 또는 뎁스 카메라를 의미할 수 있다. 한편, 기울기 센서는 움직임 센서로 기재될 수 있다. 또한, 센서부(121)는 기울기 센서 또는 이미지 센서 이외에 다양한 센서를 포함할 수 있다. 예를 들어, 센서부(121)는 조도 센서, 거리 센서를 포함할 수 있다. 거리 센서는 ToF(Time of Flight)일 수 있다. 또한, 센서부(121)는 라이다 센서를 포함할 수 있다.
한편, 전자 장치(100)는 외부 기기와 연동하여 조명 기능을 제어할 수 있다. 구체적으로, 전자 장치(100)는 외부 기기로부터 조명 정보를 수신할 수 있다. 여기서, 조명 정보는 외부 기기에서 설정된 밝기 정보 또는 색온도 정보 중 적어도 하나를 포함할 수 있다. 여기서, 외부 기기는 전자 장치(100)와 동일한 네트워크에 연결된 기기(예를 들어, 동일한 홈/회사 네트워크에 포함된 IoT 기기) 또는 전자 장치(100)와 동일한 네트워크는 아니지만 전자 장치(100)와 통신 가능한 기기(예를 들어, 원격 제어 서버)를 의미할 수 있다. 예를 들어, 전자 장치(100)와 동일한 네트워크에 포함된 외부 조명 기기(IoT 기기)가 붉은색 조명을 50의 밝기로 출력하고 있다고 가정한다. 외부 조명 기기(IoT 기기)는 조명 정보(예를 들어, 붉은색 조명을 50의 밝기로 출력하고 있음을 나타내는 정보)를 전자 장치(100)에 직접적으로 또는 간접적으로 전송할 수 있다. 여기서, 전자 장치(100)는 외부 조명 기기로부터 수신된 조명 정보에 기초하여 광원의 출력을 제어할 수 있다. 예를 들어, 외부 조명 기기로부터 수신된 조명 정보가 붉은색 조명을 50의 밝기로 출력하는 정보를 포함하면, 전자 장치(100)는 붉은색 조명을 50의 밝기로 출력할 수 있다.
한편, 전자 장치(100)는 생체 정보에 기초하여 조명 기능을 제어할 수 있다. 구체적으로, 프로세서(111)는 사용자의 생체 정보를 획득할 수 있다. 여기서, 생체 정보는, 사용자의 체온, 심장 박동 수, 혈압, 호흡, 심전도 중 적어도 하나를 포함할 수 있다. 여기서, 생체 정보는 상술한 정보 이외에 다양한 정보가 포함될 수 있다. 일 예로, 전자 장치(100)는 생체 정보를 측정하기 위한 센서를 포함할 수 있다. 프로세서(111)는 센서를 통해 사용자의 생체 정보를 획득할 수 있고, 획득된 생체 정보에 기초하여 광원의 출력을 제어할 수 있다. 다른 예로, 프로세서(111)는 입출력 인터페이스(116)를 통해 생체 정보를 외부 기기로부터 수신할 수 있다. 여기서, 외부 기기는 사용자의 휴대용 통신 기기(예를 들어, 스마트폰 또는 웨어러블 디바이스)를 의미할 수 있다. 프로세서(111)는 외부 기기로부터 사용자의 생체 정보를 획득할 수 있고, 획득된 생체 정보에 기초하여 광원의 출력을 제어할 수 있다. 한편, 구현 예에 따라, 전자 장치(100)는 사용자가 수면하고 있는지 여부를 식별할 수 있고, 사용자가 수면 중(또는 수면 준비 중)인 것으로 식별되면 프로세서(111)는 사용자의 생체 정보에 기초하여 광원의 출력을 제어할 수 있다.
한편, 본 개시의 다양한 실시 예에 따른 전자 장치(100)는 다양한 스마트 기능을 제공할 수 있다.
구체적으로, 전자 장치(100)는 전자 장치(100)를 제어하기 위한 휴대 단말 장치와 연결되어 휴대 단말 장치에서 입력되는 사용자 입력을 통해 전자 장치(100)에서 출력되는 화면이 제어될 수 있다. 일 예로, 휴대 단말 장치는 터치 디스플레이를 포함하는 스마트폰으로 구현될 수 있으며, 전자 장치(100)는 휴대 단말 장치에서 제공하는 화면 데이터를 휴대 단말 장치로부터 수신하여 출력하고, 휴대 단말 장치에서 입력되는 사용자 입력에 따라 전자 장치(100)에서 출력되는 화면이 제어될 수 있다.
전자 장치(100)는 미라캐스트(Miracast), Airplay, 무선 DEX, Remote PC 방식 등 다양한 통신 방식을 통해 휴대 단말 장치와 연결을 수행하여 휴대 단말 장치에서 제공하는 컨텐츠 또는 음악을 공유할 수 있다.
그리고, 휴대 단말 장치와 전자 장치(100)는 다양한 연결 방식으로 연결이 수행될 수 있다. 다양한 실시 예로, 휴대 단말 장치에서 전자 장치(100)를 검색하여 무선 연결을 수행하거나, 전자 장치(100)에서 휴대 단말 장치를 검색하여 무선 연결을 수행할 수 있다. 그리고, 전자 장치(100)는 휴대 단말 장치에서 제공하는 컨텐츠를 출력할 수 있다.
다양한 실시 예로, 휴대 단말 장치에서 특정 컨텐츠 또는 음악이 출력 중인 상태에서 휴대 단말 장치를 전자 장치(100) 근처에 위치시킨 후 휴대 단말 장치의 디스플레이를 통해 기 설정된 제스처가 감지되면(예로, 모션 탭뷰), 전자 장치(100)는 휴대 단말 장치에서 출력 중인 컨텐츠 또는 음악을 출력할 수 있다.
다양한 실시 예로, 휴대 단말 장치에서 특정 컨텐츠 또는 음악이 출력 중인 상태에서 휴대 단말 장치가 전자 장치(100)와 기 설정 거리 이하로 가까워지거나(예로, 비접촉 탭뷰) 휴대 단말 장치가 전자 장치(100)와 짧은 간격으로 두 번 접촉되면(예로, 접촉 탭뷰), 전자 장치(100)는 휴대 단말 장치에서 출력 중인 컨텐츠 또는 음악을 출력할 수 있다.
상술한 실시 예에서는 휴대 단말 장치에서 제공되고 있는 화면과 동일한 화면이 전자 장치(100)에서 제공되는 것으로 설명하였으나, 본 개시는 이에 한정되지 않는다. 즉, 휴대 단말 장치와 전자 장치(100) 간 연결이 구축되면, 휴대 단말 장치에서는 휴대 단말 장치에서 제공되는 제1 화면이 출력되고, 전자 장치(100)에서는 제1 화면과 상이한 휴대 단말 장치에서 제공되는 제2 화면이 출력될 수 있다. 일 예로, 제1 화면은 휴대 단말 장치에 설치된 제1 어플리케이션이 제공하는 화면이며, 제2 화면은 휴대 단말 장치에 설치된 제2 어플리케이션이 제공하는 화면일 수 있다. 일 예로, 제1 화면과 제2 화면은 휴대 단말 장치에 설치된 하나의 어플리케이션에서 제공하는 서로 상이한 화면일 수 있다. 또한, 일 예로, 제1 화면은 제2 화면을 제어하기 위한 리모컨 형식의 UI를 포함하는 화면일 수 있다.
본 개시에 따른 전자 장치(100)는 대기 화면을 출력할 수 있다. 일 예로, 전자 장치(100)가 외부 장치와 연결이 수행되지 않은 경우 또는 외부 장치로부터 기 설정된 시간 동안 수신되는 입력이 없는 경우 전자 장치(100)는 대기 화면을 출력할 수 있다. 전자 장치(100)가 대기 화면을 출력하기 위한 조건은 상술한 예에 한정되지 않고 다양한 조건들에 의해 대기 화면이 출력될 수 있다.
전자 장치(100)는 블루 스크린 형태의 대기 화면을 출력할 수 있으나, 본 개시는 이에 한정되지 않는다. 일 예로, 전자 장치(100)는 외부 장치로부터 수신되는 데이터에서 특정 오브젝트의 형태만을 추출하여 비정형 오브젝트를 획득하고, 획득된 비정형 오브젝트를 포함하는 대기 화면을 출력할 수 있다.
한편, 전자 장치(100)는 디스플레이(미도시)를 더 포함할 수 있다.
디스플레이(미도시)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(미도시)내에는 a-si TFT(amorphous silicon thin film transistor), LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(미도시)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display, three-dimensional display) 등으로 구현될 수 있다. 또한, 본 개시의 다양한 실시 예에 따른, 디스플레이(미도시)는 이미지를 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 다양한 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
한편, 전자 장치(100)는 셔터부(미도시)를 더 포함할 수 있다.
셔터부(미도시)는 셔터, 고정 부재, 레일 또는 몸체 중 적어도 하나를 포함할 수 있다.
여기서, 셔터는 프로젝션부(112)에서 출력되는 광을 차단할 수 있다. 여기서, 고정 부재는 셔터의 위치를 고정시킬 수 있다. 여기서, 레일은 셔터 및 고정 부재를 이동시키는 경로일 수 있다. 여기서, 몸체는 셔터 및 고정 부재를 포함하는 구성일 수 있다.
도 4는 다양한 실시 예에 따른, 전자 장치(100)의 외관을 도시한 사시도이다.
도 4의 실시 예(410)를 참조하면, 전자 장치(100)는 지지대(또는 "손잡이"라는 함.)(108a)를 포함할 수 있다.
다양한 실시 예의 지지대(108a)는 사용자가 전자 장치(100)를 파지하거나 이동시키기 위하여 마련되는 손잡이 또는 고리일 수 있으며, 또는 지지대(108a)는 본체(105)가 측면 방향으로 눕혀진 상태에서 본체(105)를 지지하는 스탠드일 수 있다.
지지대(108a)는 본체(105)의 외주면에 결합 또는 분리되도록 힌지 구조로 연결될 수 있으며, 사용자의 필요에 따라 선택적으로 본체(105) 외주면에서 분리 및 고정될 수 있다. 지지대(108a)의 개수, 형상 또는 배치 구조는 제약이 없이 다양하게 구현될 수 있다. 도면에는 도시되지 않았으나, 지지대(108a)는 본체(105) 내부에 내장되어 필요에 따라 사용자가 꺼내서 사용할 수 있으며, 또는 지지대(108a)는 별도의 액세서리로 구현되어 전자 장치(100)에 탈부착 가능할 수 있다.
지지대(108a)는 제1 지지면(108a-1)과 제2 지지면(108a-2)을 포함할 수 있다. 제1 지지면(108a-1)은 지지대(108a)가 본체(105) 외주면으로부터 분리된 상태에서 본체(105) 바깥 방향을 마주보는 일 면일 수 있고, 제2 지지면(108a-2)은 지지대(108a)가 본체(105) 외주면으로부터 분리된 상태에서 본체(105) 내부 방향을 마주보는 일 면일 수 있다.
제1 지지면(108a-1)은 본체(105) 하부로부터 본체(105) 상부로 전개되며 본체(105)로부터 멀어질 수 있으며, 제1 지지면(108a-1)은 평탄하거나 균일하게 굴곡진 형상을 가질 수 있다. 제1 지지면(108a-1)은 전자 장치(100)가 본체(105)의 외측면이 바닥면에 닿도록 거치 되는 경우, 즉 프로젝션 렌즈(101)가 전면 방향을 향하도록 배치되는 경우 본체(105)를 지지할 수 있다. 2개 이상의 지지대(108a)를 포함하는 실시 예에 있어서는, 2개의 지지대(108a)의 간격 또는 힌지 개방된 각도를 조절하여 헤드(103)와 프로젝션 렌즈(101)의 투사 각도를 조절할 수 있다.
제2 지지면(108a-2)은 지지대(108a)가 사용자 또는 외부 거치 구조에 의하여 지지가 될 때 사용자 또는 외부 거치 구조에 맞닿는 면으로, 전자 장치(100)를 지지하거나 이동시키는 경우 미끄러지지 않도록 사용자의 손의 파지 구조 또는 외부 거치 구조에 대응되는 형상을 가질 수 있다. 사용자는 프로젝션 렌즈(101)를 전면 방향으로 향하게 하여 헤드(103)를 고정하고 지지대(108a)를 잡고 전자 장치(100)를 이동시키며, 손전등과 같이 전자 장치(100)를 이용할 수 있다.
지지대 홈(104)은 본체(105)에 마련되어 지지대(108a)가 사용되지 않을 때 수용 가능한 홈 구조로, 본체(105)의 외주면에 지지대(108a)의 형상에 대응되는 홈 구조로 구현될 수 있다. 지지대 홈(104)을 통하여 지지대(108a)가 사용되지 않을 때 본체(105)의 외주면에 지지대(108a)가 보관될 수 있으며, 본체(105) 외주면은 매끄럽게 유지될 수 있다.
또는, 지지대(108a)가 본체(105) 내부에 보관되고 지지대(108a)가 필요한 상황에서 지지대(108a)를 본체(105) 외부로 빼내는 구조를 가질 수 있다. 이 경우, 지지대 홈(104)은 지지대(108a)를 수용하도록 본체(105) 내부로 인입된 구조일 수 있으며, 제2 지지면(108a-2)이 본체(105) 외주면에 밀착되거나 별도의 지지대 홈(104)을 개폐하는 도어(미도시)를 포함할 수 있다.
도면에는 도시되지 않았으나, 전자 장치(100)는 전자 장치(100)의 이용 또는 보관에 도움을 주는 다양한 종류의 액세서리를 포함할 수 있으며, 예를 들면, 전자 장치(100)는 전자 장치(100)를 보호하며 용이하게 운반할 수 있도록 보호 케이스(미도시)를 포함할 수 있으며, 또는, 본체(105)를 지지하거나 고정하는 삼각대(미도시) 또는 외부 면에 결합되어 전자 장치(100)를 고정 가능한 브라켓(미도시)을 포함할 수 있다.
도 4의 실시 예(420)는 실시 예(410)의 전자 장치(100)가 바닥면에 닿도록 거치된 상태를 나타낸다.
도 5는 다양한 실시 예에 따른, 전자 장치(100)의 외관을 도시한 사시도이다.
도 5의 실시 예(510)를 참조하면, 전자 장치(100)는 지지대(또는 "받침대"라고 함)(108c)를 포함할 수 있다.
다양한 실시 예의 지지대(108c)는 전자 장치(100)를 지면에 지지하기 위해 마련되는 베이스 플레이트(108c-1) 및 두 개의 지지 부재(108c-2)를 포함할 수 있다. 여기서, 두 개의 지지 부재(108c-2)는 베이스 플레이트(108c-1)와 본체(105)를 연결할 수 있다.
본 개시의 다양한 실시 예로, 두 개의 지지 부재(108c-2)의 높이는 동일하여, 두 개의 지지 부재(108c-2)의 일 단면 각각이 본체(105)의 일 외주면에 마련된 홈과 힌지 부재(108c-3)에 의해 결합 또는 분리될 수 있다.
두 개의 지지 부재는 본체(105)의 기 설정된 지점(예를 들어, 본체 높이의 1/3 ~ 2/4 지점)에서 본체(105)와 힌지 연결될 수 있다.
두 개의 지지 부재와 본체가 힌지 부재(108c-3)에 의해 결합되면, 두 개의 힌지 부재(108c-3)로 인해 형성되는 가상의 수평 축을 기준으로 본체(105)가 회전되어 프로젝션 렌즈(101)의 투사 각도가 조절될 수 있다.
도 5의 실시 예(520)는 실시 예(510)의 전자 장치(100)가 회전된 상태를 나타낸다.
도 6은 전자 장치(100)의 회전 정보를 설명하기 위한 도면이다.
도 6의 실시 예(610)는 x, y, z축에 따른 회전 방향을 정의한 그래프이다. x축을 기준으로 회전하는 것을 roll로 정의하고, y축을 기준으로 회전하는 것을 pitch로 정의하고, z축을 기준으로 회전하는 것을 yaw로 정의할 수 있다.
도 6의 실시 예(620)는 전자 장치(100)의 회전 방향을 실시 예(610)에서 정의한 회전 방향으로 설명할 수 있다. 전자 장치(100)의 x축 회전 정보는 전자 장치(100)의 x축에 기초하여 회전하는 roll에 해당할 수 있다. 전자 장치(100)의 y축 회전 정보는 전자 장치(100)의 y축에 기초하여 회전하는 pitch에 해당할 수 있다. 전자 장치(100)의 z축 회전 정보는 전자 장치(100)의 z축에 기초하여 회전하는 yaw에 해당할 수 있다.
한편, x축 회전 정보는 제1축 회전 정보, 제1 축 기울기 정보 또는 수평 틀어짐 정보로 기재될 수 있다. 또한, y축 회전 정보는 제2 축 회전 정보, 제2 축 기울기 정보 또는 수직 기울기 정보로 기재될 수 있다. 또한, z축 회전 정보는 제3 축 회전 정보, 제3축 기울기 정보 또는 수평 기울기 정보로 기재될 수 있다.
한편, 센서부(121)는 전자 장치(100)의 상태 정보(또는 기울기 정보)를 획득할 수 있다. 여기서, 전자 장치(100)의 상태 정보는 전자 장치(100)의 회전 상태를 의미할 수 있다. 여기서, 센서부(121)는 중력 센서, 가속도 센서 또는 자이로 센서 중 적어도 하나를 포함할 수 있다. 전자 장치(100)의 x축 회전 정보 및 전자 장치(100)의 y축 회전 정보는 센서부(121)를 통해 획득된 센싱 데이터에 기초하여 결정될 수 있다.
한편, z축 회전 정보는 전자 장치(100)의 움직임에 따라 얼마만큼 회전되었는지 여부에 기초하여 획득될 수 있다.
다양한 실시 예에 따라, z축 회전 정보는 기 설정된 시간 동안 z축으로 얼마만큼 회전되었는지를 나타낼 수 있다. 예를 들어, z축 회전 정보는 제1 시점을 기준으로 제2 시점에 전자 장치(100)가 z축으로 얼마만큼 회전되었는지를 나타낼 수 있다.
다양한 실시 예에 따라, z축 회전 정보는 전자 장치가 투사면(10)을 바라보는 가상의 xz평면 및 투사면(10)과 수직한 가상의 면 사이의 각도를 나타낼 수 있다. 예를 들어, 투사면(10)과 전자 장치(100)가 정면으로 바라보는 경우 z축 회전 정보는 0도 일 수 있다.
도 7은 투사면(10)의 회전 정보를 설명하기 위한 도면이다.
도 7의 실시 예(710)는 x, y, z축에 따른 회전 방향을 정의한 그래프이다. x축을 기준으로 회전하는 것을 roll로 정의하고, y축을 기준으로 회전하는 것을 pitch로 정의하고, z축을 기준으로 회전하는 것을 yaw로 정의할 수 있다.
도 7의 실시 예(720)는 투사면(10)의 회전 방향을 실시 예(710)에서 정의한 회전 방향으로 설명할 수 있다. 투사면(10)의 x축 회전 정보는 투사면(10)의 x축에 기초하여 회전하는 roll에 해당할 수 있다. 투사면(10)의 y축 회전 정보는 투사면(10)의 y축에 기초하여 회전하는 pitch에 해당할 수 있다. 투사면(10)의 z축 회전 정보는 투사면(10)의 z축에 기초하여 회전하는 yaw에 해당할 수 있다.
한편, x축 회전 정보는 제1축 회전 정보 또는 제1 축 기울기 정보로 기재될 수 있다. 또한, y축 회전 정보는 제2 축 회전 정보 또는 제2축 기울기 정보로 기재될 수 있다. 또한, z축 회전 정보는 제3 축 회전 정보 또는 제3축 기울기 정보로 기재될 수 있다.
도 8은 사용자 시선에 기초하여 투사 이미지의 일부 영역을 밝게 투사하는 동작을 설명하기 위한 도면이다.
도 8을 참조하면, 전자 장치(100)는 사용자(20)를 식별할 수 있다. 사용자(20)는 전자 장치(100)의 주변에서 식별됨을 가정한다. 전자 장치(100)는 센서부(121)를 통해 사용자(20)를 식별할 수 있다. 전자 장치(100)는 센서부(121)를 통해 획득한 센싱 데이터에 기초하여 사용자(20)의 시선(이하 사용자 시선)을 식별할 수 있다. 전자 장치(100)는 사용자 시선에 기초하여 시선 방향을 분석할 수 있다. 전자 장치(100)는 시선 방향에 기초하여 사용자 시선에 대응되는 이미지 영역을 식별할 수 있다. 그리고, 전자 장치(100)는 사용자 시선에 대응되는 이미지 영역과 사용자 시선에 대응되지 않는 이미지 영역을 구분하여 휘도값을 다르게 투사할 수 있다.
투사 이미지(11)는 이미지 영역(11-1), 이미지 영역(11-2) 및 이미지 영역(11-3)을 포함할 수 있다. 여기서, 각 영역(11-1, 11-2, 11-3)이 분리되어 있는 것으로 기재하였으나, 이는 영역이 구분됨을 표시하기 위한 것이며 실제로 구분되지 않은 하나의 이미지가 투사면(10)에 투사될 수 있다.
도 8의 실시 예(810)를 참조하면, 사용자(20)가 이미지 영역(11-2)을 보고 있다고 가정한다. 전자 장치(100)는 사용자 시선에 대응되는 이미지 영역(11-2)을 사용자 시선에 대응되지 않는 이미지 영역(11-1, 11-2)보다 밝게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-2)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-1) 및 이미지 영역(11-3)의 휘도값을 임계 비율(50%)에 기초하여 낮출 수 있다.
도 8의 실시 예(820)를 참조하면, 사용자(20)가 이미지 영역(11-1)을 보고 있다고 가정한다. 전자 장치(100)는 사용자 시선에 대응되는 이미지 영역(11-1)을 사용자 시선에 대응되지 않는 이미지 영역(11-2, 11-3)보다 밝게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-1)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-2) 및 이미지 영역(11-3)의 휘도값을 임계 비율(50%)에 기초하여 낮출 수 있다.
한편, 이미지 영역의 휘도값을 밝게 또는 어둡게 설정하는 다양한 방법이 있다. 다양한 실시 예에 따라, 원본 이미지의 휘도값을 기준으로 사용자 시선에 대응되지 않는 영역의 휘도값을 임계 비율만큼 낮추는 방법을 도 9에서 기재한다. 다양한 실시 예에 따라, 원본 이미지의 휘도값을 기준으로 사용자 시선에 대응되는 영역의 휘도값을 임계 비율만큼 크게하는 방법을 도 10에서 기재한다.
한편, 도 8 및 아래의 도면에서는 투사면(10)이 평면인 것으로 기재하였으나, 투사면(10)의 곡률과 관계 없이 투사 영역 및 이미지 영역이 구분될 수 있다. 도 8과 같이 평면인 형태의 투사면(10) 뿐 아니라 도 22의 실시 예(2210) 및 실시 예(2220)와 같이 투사면(10)이 평면이 아닌 경우에도 앞서 기재한 동작 및 구성이 동일하게 적용될 수 있다.
도 9는 투사 이미지의 휘도값을 기준으로 사용자 시선에 대응되지 않는 영역의 휘도값을 작게하는 동작을 설명하기 위한 도면이다.
도 9의 실시 예(910)를 참조하면, 여기서, 투사 이미지(11)는 이미지 영역(11-1), 이미지 영역(11-2) 및 이미지 영역(11-3)을 포함할 수 있다. 투사 이미지(11)는 원본 이미지의 휘도값에 기초하여 투사될 수 있다. 실시 예(910)의 투사 이미지(11)는 평균 휘도값이 일정하게 유지되는 것으로 기재되었으나, 구현 예에 따라 원본 이미지에 포함된 영역들 각각이 휘도값이 상이할 수 있다. 설명의 편의를 위해 이하에서는 원본 투사 이미지(11)의 휘도값이 영역별로 동일함을 가정한다.
도 9의 실시 예(920)를 참조하면, 사용자(20)가 이미지 영역(11-2)이 투사되는 위치를 바라본다고 가정한다. 전자 장치(100)는 이미지 영역(11-2)을 이미지 영역(11-1) 및 이미지 영역(11-3)보다 밝게 투사할 수 있다. 구체적으로, 전자 장치(100)는 이미지 영역(11-2)의 휘도값을 유지하고 이미지 영역(11-1) 및 이미지 영역(11-3)의 휘도값을 원본 이미지의 휘도값보다 임계 비율만큼 작은 휘도값으로 변경할 수 있다. 예를 들어, 원본 이미지의 휘도값이 100%이면 이미지 영역(11-2)의 휘도값을 100%로 유지하고 이미지 영역(11-1) 및 이미지 영역(11-3)의 휘도값을 30%로 낮출 수 있다.
도 10은 투사 이미지의 휘도값을 기준으로 사용자 시선에 대응되는 영역의 휘도값을 크게하는 동작을 설명하기 위한 도면이다.
도 10의 실시 예(1010)를 참조하면, 여기서, 투사 이미지(11)는 이미지 영역(11-1), 이미지 영역(11-2) 및 이미지 영역(11-3)을 포함할 수 있다. 투사 이미지(11)는 원본 이미지의 휘도값에 기초하여 투사될 수 있다. 실시 예(1010)의 투사 이미지(11)는 평균 휘도값이 일정하게 유지되는 것으로 기재되었으나, 구현 예에 따라 원본 이미지에 포함된 영역들 각각이 휘도값이 상이할 수 있다. 설명의 편의를 위해 이하에서는 원본 투사 이미지(11)의 휘도값이 영역별로 동일함을 가정한다.
도 10의 실시 예(1020)를 참조하면, 사용자(20)가 이미지 영역(11-2)이 투사되는 위치를 바라본다고 가정한다. 전자 장치(100)는 이미지 영역(11-2)을 이미지 영역(11-1) 및 이미지 영역(11-3)보다 밝게 투사할 수 있다. 구체적으로, 전자 장치(100)는 이미지 영역(11-1) 및 이미지 영역(11-3)의 휘도값을 유지하고 이미지 영역(11-2)의 휘도값을 원본 이미지의 휘도값보다 임계 비율만큼 큰 휘도값으로 변경할 수 있다. 예를 들어, 원본 이미지의 휘도값이 100%이면 이미지 영역(11-1) 및 이미지 영역(11-3)의 휘도값을 100%로 유지하고 이미지 영역(11-2)의 휘도값을 150%로 높일 수 있다.
도 11은 사용자 시선에 대응되는 영역의 상하 이동을 설명하기 위한 도면이다.
도 11를 참조하면, 투사 이미지(11)는 복수의 이미지 영역(11-1, 11-2, 11-3, 11-4, 11-5, 11-6)을 포함할 수 있다. 사용자(20)가 이미지 영역(11-5)을 보고 있다고 가정한다. 전자 장치(100)는 사용자 시선에 대응되는 이미지 영역(11-5)을 나머지 영역(11-1, 11-2, 11-3, 11-4, 11-6)보다 밝게 투사할 수 있다.
도 12는 서버(300)와 통신하는 전자 장치(100)를 설명하기 위한 도면이다.
도 12을 참조하면, 시스템(1200)은 전자 장치(100) 및 서버(300)를 포함할 수 있다. 다양한 실시 예에 따라, 전자 장치(100)와 서버(300)를 연결하는 라우터(400)가 존재할 수 있다. 전자 장치(100)는 사용자(20)의 위치 및 사용자 시선을 획득하여 서버(300)에 전송할 수 있다. 서버(300)는 사용자 시선에 기초하여 투사 이미지(11)를 보정할 수 있다.
구체적으로, 서버(300)는 사용자 시선에 대응되는 이미지 영역(11-2)휘도값을 사용자 시선에 대응되지 않는 이미지 영역(11-1, 11-3)의 휘도값보다 높도록 이미지 보정 기능을 수행할 수 있다. 그리고, 서버(300)는 보정된 투사 이미지(11)를 전자 장치(100)에 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(100)와 서버(300) 사이의 통신을 연결하기 위해 라우터(400)가 존재할 수 있다. 전자 장치(100)는 사용자 시선과 관련된 정보를 라우터(400)에 전송하고, 라우터(400)는 사용자 시선과 관련된 정보를 다시 서버(300)에 전송할 수 있다. 또한, 서버(300)는 보정된 투사 이미지(11)를 라우터(400)에 전송하고, 라우터(400)는 보정된 투사 이미지(11)를 전자 장치(100)에 전송할 수 있다. 그리고, 전자 장치(100)는 보정된 투사 이미지(11)를 투사할 수 있다.
도 13은 단말 장치(500)와 통신하는 전자 장치(100)를 설명하기 위한 도면이다.
도 13을 참조하면, 시스템(1300)은 전자 장치(100) 및 단말 장치(500)를 포함할 수 있다. 전자 장치(100)와 단말 장치(500)가 상호 통신을 수행할 수 있다. 여기서, 단말 장치(500)는 사용자에 대응되는 기기를 의미할 수 있다. 예를 들어, 단말 장치(500)는 AR 글래스(Augmented Reality Glass, 501), 넥 밴드 기기(neck band device, 502), 스마트폰(Smart Phone, 503) 등을 의미할 수 있다.
여기서, 단말 장치(500)는 사용자(20)의 위치 및 사용자(20)의 시선을 나타내는 정보를 획득할 수 있다. 그리고, 단말 장치(500)는 사용자(20)의 위치 및 사용자(20)의 시선을 나타내는 정보를 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 단말 장치(500)로부터 수신된 정보에 기초하여 사용자 시선(또는 사용자 시선의 방향)을 획득할 수 있다. 그리고, 전자 장치(100)는 사용자 시선에 대응되는 이미지 영역(11-2)을 사용자 시선에 대응되지 않는 이미지 영역(11-1, 11-3)보다 밝게 투사할 수 있다.
도 14는 사용자 시선에 기초하여 투사 이미지의 휘도값을 보정하는 동작을 설명하기 위한 흐름도이다.
도 14을 참조하면, 전자 장치(100)는 센싱 데이터를 획득할 수 있다 (S1405). 여기서, 센싱 데이터는 센서부(121)에 포함된 적어도 하나의 센서를 통해 획득한 데이터를 의미할 수 있다.
또한, 전자 장치(100)는 센싱 데이터에 기초하여 사용자 시선을 식별할 수 있다 (S1410). 여기서, 사용자 시선은 사용자(20)가 어느 방향을 바라보고 있는지를 나타낼 수 있다. 따라서, 사용자 시선은 사용자의 시선 방향 또는 사용자의 시선 영역 등으로 기재될 수 있다.
또한, 전자 장치(100)는 사용자 시선에 기초하여 투사 이미지의 휘도값을 보정할 수 있다 (S1415). 전자 장치(100)는 사용자 시선에 대응되는 일부 영역이 사용자 시선에 대응되지 않는 나머지 영역보다 더 밝게 투사되도록 투사 이미지 자체를 보정할 수 있다.
또한, 전자 장치(100)는 보정된 투사 이미지를 출력할 수 있다 (S1420).
도 15는 도 14의 동작을 구체적으로 설명하기 위한 흐름도이다.
도 15를 참조하면, 전자 장치(100)는 센싱 데이터에 기초하여 사용자 시선을 식별할 수 있다 (S1510). 전자 장치(100)는 투사 영역을 사용자 시선에 대응되는 제1 투사 영역 및 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분할 수 있다 (S1520). 여기서, 투사 영역은 투사면(10)의 전체 영역 중 투사 이미지(11)이 투사되는 영역을 의미할 수 있다. 여기서, 제2 투사 영역은 사용자 시선에 대응되지 않는 영역을 의미할 수 있다.
또한, 전자 장치(100)는 투사 이미지 중 제1 투사 영역에 대응되는 제1 이미지 영역 및 제2 이미지 영역의 나머지 영역인 제2 이미지 영역으로 구분할 수 있다.
전자 장치(100)는 투사 영역과 이미지 영역을 각각 별도로 구분할 수 있다. 투사 영역은 투사 이미지가 투사되는 현실 공간 내지 가상의 영역을 의미할 수 있다. 이미지 영역은 투사 이미지에 포함된 영역의 전부 또는 일부를 의미할 수 있다. 그리고, 투사 영역은 이미지 영역이 투사되는 영역을 의미할 수 있다.
또한, 전자 장치(100)는 제1 휘도값의 제1 이미지 영역 및 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다 (S1540). 여기서, 전자 장치(100)는 제1 이미지 영역을 제1 휘도값으로 투사하고 제2 이미지 영역을 제2 휘도값으로 투사하기 위해 이미지 보정 동작을 수행할 수 있다. 구체적으로, 전자 장치(100)는 투사 이미지의 제1 이미지 영역 및 제2 이미지 영역 중 적어도 하나의 영역의 휘도값을 변경할 수 있다.
또한, 전자 장치(100)는 투사 이미지를 투사할 수 있다 (S1550).
도 16은 사용자 시선을 변경하는 동작을 설명하기 위한 흐름도이다.
도 16의 S1610, S1620, S1630, S1640, S1650 단계는 도 15의 S1510, S1520, S1530, S1540, S1550 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
투사 이미지를 투사한 이후, 전자 장치(100)는 센싱 데이터에 기초하여 사용자 시선을 재식별할 수 있다 (S1660). 전자 장치(100)는 S1610 단계에서 획득한 센싱 데이터와 다른 새로운 센싱 데이터를 획득할 수 있다. 그리고, 전자 장치(100)는 새로운 센싱 데이터에 기초하여 사용자 시선을 식별할 수 있다.
전자 장치(100)는 사용자 시선이 변경되었는지 여부를 식별할 수 있다 (S1670). 사용자 시선이 변경되면 (S1670-Y), 전자 장치(100)는 S1620 내지 S1650 단계를 반복할 수 있다. 구체적으로, 전자 장치(100)는 변경된 사용자 시선에 따라 투사 영역을 구분하는 동작 및 이미지 영역을 구분하는 동작을 수행할 수 있다.
사용자 시선이 변경되지 않으면 (S1670-N), 전자 장치(100)는 투사 이미지의 종료 여부를 판단할 수 있다 (S1680). 투사 이미지의 종료는 사용자가 투사 이미지를 더 이상 투사하지 않기 위한 명령에 기초하여 결정될 수 있다. 투사 이미지가 종료되지 않으면 (S1680-N), 전자 장치(100)는 S1650 내지 S1680 단계를 반복할 수 있다. 투사 이미지가 종료되면 (S1680-Y), 전자 장치(100)는 더 이상 투사 이미지를 투사하지 않을 수 있다.
도 17은 사용자 시선에 기초하여 휘도값이 상이한 투사 이미지를 획득하는 동작을 설명하기 위한 흐름도이다.
도 17을 참조하면, 전자 장치(100)는 투사 영역을 식별할 수 있다 (S1705). 전자 장치(100)는 투사 영역을 기 설정된 복수의 단위에 대응되는 복수의 영역으로 구분할 수 있다 (S1710). 전자 장치(100)는 센싱 데이터를 획득할 수 있다.
전자 장치(100)는 센싱 데이터에 기초하여 사용자 시선을 식별할 수 있다 (S1715). 전자 장치(100)는 구분된 복수의 영역 중 사용자 시선에 대응되는 제1 투사 영역과 제1 투사 영역 이외의 잔존 영역인 제2 투사 영역을 식별할 수 있다 (S1720).
전자 장치(100)는 제1 투사 영역에 대응되는 제1 이미지 영역의 휘도값과 제2 투사 영역에 대응되는 제2 이미지 영역의 휘도값이 상이한 투사 이미지를 획득할 수 있다 (S1725). 여기서, 전자 장치(100)는 이미지 보정 기능을 수행함으로써 이미지 영역의 일부에 대한 휘도값을 변경할 수 있다.
그리고, 전자 장치(100)는 획득된(또는 보정된) 투사 이미지를 투사할 수 있다 (S1730).
도 18은 사용자 시선의 위치 및 기 설정된 거리에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 도면이다.
도 18를 참조하면, 전자 장치(100)는 투사면(10)의 전체 영역 중 투사 이미지가 투사되는 전체 투사 영역(1810)을 식별할 수 있다. 여기서, 전자 장치(100)는 투사 영역(1810)을 사용자 시선에 기초하여 구분(또는 분할)할 수 있다. 전자 장치(100)는 투사 영역(1810) 중 사용자 시선에 대응되는 위치(p0)를 식별할 수 있다. 전자 장치(100)는 식별된 위치(p0)에서 임계 거리(x1/2)만큼 확장된 투사 영역(1810-2)을 식별할 수 있다. 식별된 투사 영역(1810-2)은 사용자 시선에 대응되는 투사 영역으로 기재될 수 있다. 또한, 식별된 투사 영역(1810-2)의 가로 길이(x1)는 임계 거리(x1/2)의 2배일 수 있다. 전자 장치(100)는 전체 투사 영역(1810)을 사용자 시선에 대응되는 투사 영역(1810-2)과 사용자 시선에 대응되지 않는 투사 영역(1810-1, 1810-3)으로 구분할 수 있다.
도 18에서는 투사 영역을 구분하는 것으로 기재하였으나 동일한 동작이 이미지 영역을 구분하는 동작에 적용될 수 있다.
도 19는 사용자 시선의 위치 및 기 설정된 거리에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 흐름도이다.
도 19의 S1910, S1930, S1940, S1950 단계는 도 15의 S1510, S1530, S1540, S1550 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
사용자 시선이 식별된 후, 전자 장치(100)는 전체 투사 영역을 식별할 수 있다 (S1921). 전자 장치(100)는 사용자 시선에 대응되는 위치 및 기 설정된 거리에 기초하여 사용자 시선에 대응되는 제1 투사 영역을 식별할 수 있다 (S1922). 전자 장치(100)는 전체 투사 영역 중 제1 투사 영역의 나머지 영역인 제2 투사 영역을 식별할 수 있다 (S1923).
이후, 전자 장치(100)는 S1930 내지 S1950 단계를 수행할 수 있다.
도 20은 기 설정된 개수의 그룹으로 투사 영역을 구분하는 동작을 설명하기 위한 도면이다.
도 20를 참조하면, 전자 장치(100)는 투사면(10)의 전체 영역 중 투사 이미지가 투사되는 전체 투사 영역(2010)을 식별할 수 있다. 여기서, 전자 장치(100)는 투사 영역(2010)을 사용자 시선에 기초하여 구분(또는 분할)할 수 있다. 전자 장치(100)는 투사 영역(2010) 중 사용자 시선에 대응되는 위치(p0)를 식별할 수 있다.
전자 장치(100)는 기 설정된 개수(예를 들어, 3개)만큼 투사 영역으로 구분할 수 있다. 여기서, 구분된 투사 영역의 가로 길이(예를 들어, 3/d)가 동일할 수 있다. 전체 투사 영역의 가로 길이는 d일 수 있다. 전자 장치(100)는 전체 투사 영역을 복수의 투사 영역(2010-1, 2010-2, 2010-3)으로 구분할 수 있다.
전자 장치(100)는 복수의 투사 영역(2010-1, 2010-2, 2010-3) 중 사용자 시선에 기초하여 특정 영역(2010-2)을 식별할 수 있다. 식별된 투사 영역(2010-2)은 사용자 시선에 대응되는 투사 영역으로 기재될 수 있다. 전자 장치(100)는 전체 투사 영역(2010)을 사용자 시선에 대응되는 투사 영역(2010-2)과 사용자 시선에 대응되지 않는 투사 영역(2010-1, 2010-3)으로 구분할 수 있다.
도 20에서는 투사 영역을 구분하는 것으로 기재하였으나 동일한 동작이 이미지 영역을 구분하는 동작에 적용될 수 있다.
도 21은 기 설정된 개수의 그룹으로 투사 영역을 구분하는 동작을 설명하기 위한 흐름도이다.
도 21의 S2110, S2130, S2140, S2150 단계는 도 15의 S1510, S1530, S1540, S1550 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
사용자 시선이 식별된 후, 전자 장치(100)는 투사 영역을 식별할 수 있다 (S2121). 전자 장치(100)는 투사 영역을 기 설정된 개수의 그룹으로 구분할 수 있다 (S2122). 여기서, 기 설정된 개수의 그룹은 가로 길이가 동일할 수 있다.
전자 장치(100)는 기 설정된 개수의 그룹을 사용자 시선에 대응되는 제1 투사 영역 및 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분할 수 있다 (S2123).
이후, 전자 장치(100)는 S2130 내지 S2150 단계를 수행할 수 있다.
도 22는 경계선에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 도면이다.
도 22의 실시 예(2210)를 참조하면, 전자 장치(100)는 투사면(10)의 전체 영역 중 투사 이미지가 투사되는 전체 투사 영역(2611)을 식별할 수 있다. 여기서, 전자 장치(100)는 투사 영역(2611)을 투사면(10)의 경계선(10-1, 10-2)에 기초하여 구분(또는 분할)할 수 있다. 전자 장치(100)는 투사 영역(2611) 중 사용자 시선에 대응되는 위치(p0)를 식별할 수 있다.
전자 장치(100)는 전체 투사 영역(2611)을 투사면(10)의 경계선(10-1, 10-2)에 기초하여 적어도 하나의 투사 영역(2611-1, 2611-2, 2611-3)으로 구분할 수 있다.
전자 장치(100)는 복수의 투사 영역(2611-1, 2611-2, 2611-3) 중 사용자 시선에 기초하여 특정 영역(2611-2)을 식별할 수 있다. 식별된 투사 영역(2611-2)은 사용자 시선에 대응되는 투사 영역으로 기재될 수 있다. 전자 장치(100)는 전체 투사 영역(2611)을 사용자 시선에 대응되는 투사 영역(2611-2)과 사용자 시선에 대응되지 않는 투사 영역(2611-1, 2610-3)으로 구분할 수 있다.
도 22의 실시 예(2220)를 참조하면, 투사면(10)이 곡면일 수 있다. 투사면(10)이 곡면인 경우에도, 전자 장치(100)는 전체 투사 영역(2621)을 투사면(10)의 경계선(10-1, 10-2)에 기초하여 적어도 하나의 투사 영역(2621-1, 2621-2, 2621-3)으로 구분할 수 있다.
한편, 실시 예(2220)에서 경계선(10-1, 10-2)이 식별되지 않는 상황이 있을 수 있다. 전자 장치(100)는 곡면 형태의 투사면(10)에서 경계선이 식별되지 않는 경우, 사용자의 시야각 또는 기 설정된 거리 등에 기초하여 투사 영역을 구분할 수 있다.
투사면(10)의 형태는 평면, 곡면 등 다양한 형태일 수 있다. 전자 장치(100)는 투사면(10)의 형태와 관계 없이 투사 영역을 구분할 수 있다.
도 23은 경계선에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 흐름도이다.
도 23의 S2310, S2330, S2340, S2350 단계는 도 15의 S1510, S1530, S1540, S1550 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
사용자 시선이 식별된 후, 전자 장치(100)는 투사 영역 및 투사면(10)의 경계선을 식별할 수 있다 (S2321). 전자 장치(100)는 투사 영역 및 투사면의 경계선에 기초하여 전체 투사 영역을 복수의 그룹으로 구분할 수 있다 (S2322). 여기서, 복수의 그룹은 투사면의 경계선에 기초하여 구분되는 영역을 의미할 수 있다. 전자 장치(100)는 복수의 그룹을 사용자 시선에 대응되는 제1 투사 영역 및 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분할 수 있다.
이후, 전자 장치(100)는 S2330 내지 S2350 단계를 수행할 수 있다.
한편, 전자 장치(100)는 전원 정보를 이용하여 휘도값 변경 기능을 수행하는 동작을 수행할 수 있다. 전자 장치(100)는 전원 정보를 획득할 수 있다. 여기서, 전원 정보는 전자 장치(100)에 포함된 배터리의 잔여 전원값을 포함할 수 있다. 전자 장치(100)는 전원 정보에 기초하여 잔여 전원값이 임계값 이하인지 여부를 식별할 수 있다. 잔여 전원값이 임계값 이하이면, 전자 장치(100)는 전원이 부족하다고 판단하여 전원을 절약하기 위한 동작을 수행할 수 있다.
전자 장치(100)는 투사 이미지의 일부 영역에 대한 휘도값을 낮추는 동작을 통해 전원을 절약할 수 있다. 도 9의 실시 예(920)와 같이 이미지 영역(11-1) 및 이미지 영역(11-3)의 휘도값을 낮추는 경우, 전자 장치(100)의 전원이 절약될 수 있다.
잔여 전원값이 임계값 이하이면, 전자 장치(100)는 절전 모드로 동작할 수 있다. 구체적으로, 전자 장치(100)는 도 15의 동작들을 수행할 수 있다.
잔여 전원값이 임계값 이하가 아니면, 전자 장치(100)는 일반 모드로 동작할 수 있다. 구체적으로, 전자 장치(100)는 휘도값 변경 동작 없이 투사 이미지를 투사할 수 있다.
도 24는 사용자 시선의 이동 속도에 기초하여 투사 영역을 구분하는 동작을 설명하기 위한 흐름도이다.
도 24를 참조하면, 전자 장치(100)는 센싱 데이터에 기초하여 사용자 시선 및 사용자 시선의 이동 속도를 식별할 수 있다 (S2405). 전자 장치(100)는 사용자 시선의 이동 속도가 임계 속도 이상인지 여부를 식별할 수 있다 (S2410).
사용자 시선의 이동 속도가 임계 속도 이상이 아니면 (S2410-N), 전자 장치(100)는 사용자 시선의 이동 속도에 기초하여 실시간으로 투사 영역을 구분할 수 있다 (S2415). 구체적으로, 전자 장치(100)는 전체 투사 영역에서 사용자 시선에 대응되는 투사 영역을 식별할 수 있다. 그리고, 전자 장치(100)는 상이한 휘도값을 갖는 구분된 투사 영역들을 포함하는 투사 이미지를 획득할 수 있다 (S2420). 그리고, 전자 장치(100)는 투사 이미지를 투사할 수 있다.
사용자 시선의 이동 속도가 임계 속도 이상이면 (S2410-Y), 전자 장치(100)는 사용자 시선의 이동 경로를 저장할 수 있다 (S2430). 전자 장치(100)는 이동 경로 및 임계 속도에 기초하여 투사 영역을 구분할 수 있다 (S2435). 이후, 전자 장치(100)는 S2420 내지 S2425 단계를 수행할 수 있다.
사용자 시선이 너무 빠르게 이동하는 경우 전자 장치(100)는 사용자 시선의 이동 속도에 대응하여 이미지 보정 동작을 수행하지 못할 수 있다. 이러한 경우, 사용자는 끊김 현상을 느낄 수 있다. 따라서, 전자 장치(100)는 사용자 시선이 너무 빠르게 이동하는 경우(임계 속도 이상인 경우), 사용자 시선의 이동 경로를 메모리(112)에 저장하고, 일정한 임계 속도(또는 한계 속도)에 기초하여 이미지 보정 동작을 수행할 수 있다.
도 25는 사용자 시선이 투사 영역을 벗어나는지 여부를 식별하는 동작을 설명하기 위한 도면이다.
도 25의 실시 예(2510)를 참조하면, 사용자 시선이 투사 이미지(11)가 표시되는 영역(또는 투사 영역)(2511)을 벗어난 것으로 가정한다. 전자 장치(100)는 사용자 시선의 분석하여 사용자 시선이 투사 이미지(11)가 표시되는 영역(2511)을 벗어났는지 여부를 식별할 수 있다. 전자 장치(100)는 사용자 시선에 대응되는 이미지 영역을 밝게 표시하는 기능을 수행할 수 있다. 실시 예(2510)에서, 사용자 시선이 마지막까지 머무른 영역은 이미지 영역(11-1)이 표시되는 영역일 수 있다. 따라서, 이미지 영역(11-1)은 이미지 영역(11-2) 및 이미지 영역(11-3)보다 밝게 투사될 수 있다.
도 25의 실시 예(2520)를 참조하면, 사용자 시선이 투사 이미지(11)가 표시되는 영역(또는 투사 영역)을 벗어나면, 전자 장치(100)는 투사 영역(2511)의 위치를 변경할 수 있다. 변경된 투사 영역(2521)의 위치는 사용자 시선의 이동 방향에 따라 변경될 수 있다. 사용자 시선이 기존 투사 영역(2511)을 벗어나는 경우에도, 사용자 시선에 따라 계속하여 투사 이미지(11)의 투사 위치가 변경된다는 점에서, 사용자는 투사 이미지(11)가 투사되는 위치를 쉽게 변경할 수 있다.
도 26은 사용자 시선이 투사 영역을 벗어나는지 여부를 식별하는 동작을 설명하기 위한 흐름도이다.
도 26의 S2610, S2620, S2630, S2640, S2650 단계는 도 15의 S1510, S1520, S1530, S1540, S1550 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
사용자 시선이 식별된 후, 전자 장치(100)는 투사 영역을 식별할 수 있다 (S2615). 그리고, 전자 장치(100)는 사용자 시선이 투사 영역에서 벗어나는지 여부를 식별할 수 있다 (S2616).
사용자 시선이 투사 영역에서 벗어나는 경우 (S2616-Y), 전자 장치(100)는 사용자 시선에 기초하여 투사 방향을 변경할 수 있다 (S3317). 여기서, 투사 방향을 변경하는 것은 투사 이미지가 투사되는 투사 영역의 위치를 변경하는 것을 의미할 수 있다. 그리고, 전자 장치(100)는 변경된 투사 방향에 기초하여 투사 영역을 재식별할 수 있다 (S2618). 그리고, 전자 장치(100)는 S2620 내지 S2650 단계를 수행할 수 있다.
사용자 시선이 투사 영역에서 벗어나지 않는 경우 (S2616-N), 전자 장치(100)는 S2620 내지 S2650 단계를 수행할 수 있다.
도 27은 사용자 시선의 이동에 따라 휘도값이 변경되는 동작을 설명하기 위한 도면이다.
도 27의 실시 예(2710)를 참조하면, 사용자(20)가 이미지 영역(11-1)을 본다고 가정한다. 전자 장치(100)는 이미지 영역(11-1)을 이미지 영역(11-2) 및 이미지 영역(11-3)보다 밝게 투사할 수 있다. 예를 들어, 전자 장치(100)는 이미지 영역(11-1)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-2) 및 이미지 영역(11-3)의 휘도값을 임계 비율(50%)에 기초하여 낮출 수 있다.
도 27의 실시 예(2720)를 참조하면, 사용자(20)가 이미지 영역(11-2)을 본다고 가정한다. 전자 장치(100)는 이미지 영역(11-2)을 이미지 영역(11-1) 및 이미지 영역(11-3)보다 밝게 투사할 수 있다. 여기서, 이미지 영역(11-1)은 이전 시점에 사용자(20)가 바라본 영역일 수 있다. 따라서, 전자 장치(100)는 이미지 영역(11-1)을 이미지 영역(11-3)보다 밝게 투사하고 전자 장치(100)는 이미지 영역(11-1)을 이미지 영역(11-2)보다 어둡게 투사할 수 있다. 예를 들어, 전자 장치(100)는 이미지 영역(11-2)의 기본 휘도값(100%)에 유지하고 이미지 영역(11-1)의 휘도값을 제1 임계 비율(80%)에 기초하여 낮추고, 이미지 영역(11-3)의 휘도값을 제2 임계 비율(50%)에 기초하여 낮출 수 있다. 제1 임계 비율은 제2 임계 비율보다 클 수 있다.
도 27의 실시 예(2730)를 참조하면, 사용자(20)가 이미지 영역(11-3)을 본다고 가정한다. 전자 장치(100)는 이미지 영역(11-3)을 이미지 영역(11-1) 및 이미지 영역(11-2)보다 밝게 투사할 수 있다. 여기서, 이미지 영역(11-2)은 이전 시점에 사용자(20)가 바라본 영역일 수 있다. 따라서, 전자 장치(100)는 이미지 영역(11-2)을 이미지 영역(11-1)보다 밝게 투사하고 이미지 영역(11-2)을 이미지 영역(11-3)보다 어둡게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-3)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-2)의 휘도값을 제1 임계 비율(80%)에 기초하여 낮추고, 이미지 영역(11-1)의 휘도값을 제2 임계 비율(50%)에 기초하여 낮출 수 있다. 제1 임계 비율은 제2 임계 비율보다 클 수 있다.
도 28은 복수개의 사용자 시선에 따라 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 28을 참조하면, 전자 장치(100)는 복수의 사용자(20-1, 20-2)를 식별할 수 있다. 여기서, 전자 장치(100)는 제1 사용자(20-1)의 사용자 시선과 제2 사용자(20-2)의 사용자 시선을 각각 식별할 수 있다. 제1 사용자(20-1)의 사용자 시선이 제2 사용자(20-2)의 사용자 시선보다 먼저 식별되었음을 가정한다.
전자 장치(100)는 제1 사용자(20-1)의 사용자 시선에 대응되는 이미지 영역(11-2)을 이미지 영역(11-1) 및 이미지 영역(11-3)보다 밝게 투사할 수 있다.
또한, 전자 장치(100)는 제2 사용자(20-2)의 사용자 시선에 대응되는 이미지 영역(11-3)을 이미지 영역(11-1)보다 밝게 투사하고 이미지 영역(11-2)보다 어둡게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-2)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-3)의 휘도값을 제1 임계 비율(80%)에 기초하여 낮추고, 이미지 영역(11-1)의 휘도값을 제2 임계 비율(50%)에 기초하여 낮출 수 있다. 제1 임계 비율은 제2 임계 비율보다 클 수 있다.
도 29는 복수개의 사용자 시선에 따라 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
전자 장치(100)는 센싱 데이터에 기초하여 제1 사용자 시선(제1 사용자의 시선) 및 제2 사용자 시선(제2 사용자의 시선)을 식별할 수 있다 (S2910).
여기서, 전자 장치(100)는 투사 영역 중 제1 사용자 시선에 대응되는 제1 투사 영역을 식별할 수 있다 (S2921). 전자 장치(100)는 투사 영역 중 제2 사용자 시선에 대응되는 제2 투사 영역을 식별할 수 있다 (S2922). 전자 장치(100)는 투사 영역 중 제1 투사 영역 및 제2 투사 영역의 나머지 영역인 제3 투사 영역을 식별할 수 있다 (S2923).
여기서, 전자 장치(100)는 제1 투사 영역에 대응되는 제1 이미지 영역의 제1 휘도값을 식별할 수 있다 (S2931). 전자 장치(100)는 제2 투사 영역에 대응되는 제2 이미지 영역의 제2 휘도값을 식별할 수 있다 (S2932). 전자 장치(100)는 제3 투사 영역에 대응되는 제3 이미지 영역의 제3 휘도값을 식별할 수 있다 (S2933).
여기서, 전자 장치(100)는 제1 휘도값의 제1 이미지 영역, 제2 휘도값의 제2 이미지 영역, 제3 휘도값의 제3 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다 (S2940). 그리고, 전자 장치(100)는 투사 이미지를 투사할 수 있다.
다양한 실시 예에 따라, 제1 휘도값이 제2 휘도값 및 제3 휘도값보다 높고, 제2 휘도값 및 제3 휘도값은 동일할 수 있다.
다양한 실시 예에 따라, 제1 휘도값이 제2 휘도값 및 제3 휘도값보다 높고, 제2 휘도값은 제3 휘도값보다 높을 수 있다.
도 30은 멀티뷰 기능을 수행함에 따라 일부 컨텐츠의 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 30를 참조하면, 전자 장치(100)는 제1 컨텐츠(11) 및 제2 컨텐츠(12)를 투사하는 멀티뷰 기능을 수행할 수 있다. 사용자(20)가 제1 컨텐츠(11)가 표시되는 투사 영역을 본다고 가정한다. 전자 장치(100)는 제1 컨텐츠(11)를 제2 컨텐츠(12)보다 밝게 투사할 수 있다. 예를 들어, 전자 장치(100)는 제1 컨텐츠(11)를 기본 휘도값(100%)을 유지함으로써 투사하고, 제2 컨텐츠(12)를 휘도값을 임계 비율(50%)에 기초하여 낮춤으로써 투사할 수 있다.
도 31은 멀티뷰 기능을 수행함에 따라 일부 컨텐츠의 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 31을 참조하면, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 포함하는 제1 투사 이미지를 투사하는 멀티뷰 명령을 수신할 수 있다 (S3105). 전자 장치(100)는 제1 투사 이미지(병합 이미지)를 투사할 수 있다 (S3110). 전자 장치(100)는 센싱 데이터에 기초하여 사용자 시선을 식별할 수 있다 (S3115).
여기서, 전자 장치(100)는 사용자 시선이 제1 컨텐츠가 표시되는 영역에 대응되는지 여부를 식별할 수 있다 (S3120). 사용자 시선이 제1 컨텐츠가 표시되는 영역에 대응하면 (S3120-Y), 전자 장치(100)는 휘도값이 유지된 제1 컨텐츠 및 휘도값이 임계 비율에 기초하여 낮아진 제2 컨텐츠를 포함하는 제2 투사 이미지를 획득할 수 있다 (S3125). 전자 장치(100)는 제2 투사 이미지를 투사할 수 있다 (S3130).
사용자 시선이 제1 컨텐츠가 표시되는 영역에 대응하지 않으면 (S3120-N), 전자 장치(100)는 사용자 시선이 제2 컨텐츠가 표시되는 영역에 대응하는지 여부를 식별할 수 있다 (S3135).
사용자 시선이 제2 컨텐츠가 표시되는 영역에 대응하면 (S3135-Y), 전자 장치(100)는 휘도값이 유지된 제2 컨텐츠 및 휘도값이 임계 비율에 기초하여 낮아진 제1 컨텐츠를 포함하는 제3 투사 이미지를 획득할 수 있다 (S3140). 전자 장치(100)는 제3 투사 이미지를 투사할 수 있다 (S3145).
사용자 시선이 제2 컨텐츠가 표시되는 영역에 대응하지 않으면 (S3135-N), 전자 장치(100)는 제1 투사 이미지를 투사할 수 있다. 그리고, 전자 장치(100)는 사용자 시선을 실시간으로 획득하여 S3110 내지 S3145 단계를 반복할 수 있다.
도 32는 복수의 기기로 멀티뷰 기능을 수행함에 따라 일부 컨텐츠의 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 32을 참조하면, 전자 장치(100)는 제1 컨텐츠(11)를 투사하고 외부 장치(100-2)는 제2 컨텐츠(12)를 투사할 수 있다. 여기서, 제1 컨텐츠(11) 및 제2 컨텐츠(12)를 서로 다른 기기에서 투사하는 것도 멀티뷰 기능으로 기재할 수 있다. 사용자(20)가 제1 컨텐츠(11)가 표시되는 투사 영역을 본다고 가정한다. 전자 장치(100)는 제1 컨텐츠(11)를 제2 컨텐츠(12)보다 밝게 투사할 수 있다.
예를 들어, 전자 장치(100)는 제1 컨텐츠(11)를 기본 휘도값(100%)을 유지함으로써 투사할 수 있다. 그리고, 전자 장치(100)는 제2 컨텐츠(12)를 휘도값을 임계 비율(50%)에 기초하여 낮춤으로써 투사하기 위한 제어 신호를 생성할 수 있다. 그리고, 전자 장치(100)는 생성된 제어 신호를 외부 장치(100-2)에 전송할 수 있다. 여기서, 제어 신호는 보정된 제2 컨텐츠(12)를 포함할 수 있다. 외부 장치(100-2)는 전자 장치(100)로부터 수신된 제2 컨텐츠(12)를 투사할 수 있다.
도 33은 복수의 기기로 멀티뷰 기능을 수행함에 따라 일부 컨텐츠의 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 33을 참조하면, 전자 장치(100)는 멀티뷰 명령을 수신할 수 있다 (S3305). 전자 장치(100)는 제2 휘도값의 제2 컨텐츠를 외부 장치(100-2)에 전송할 수 있다 (S3310).
외부 장치(100-2)는 전자 장치(100)로부터 제2 휘도값의 제2 컨텐츠를 수신할 수 있다. 그리고, 외부 장치(100-2)는 제2 휘도값의 제2 컨텐츠를 투사할 수 있다 (S3315).
전자 장치(100)는 제1 휘도값의 제1 컨텐츠를 투사할 수 있다 (S3320). 전자 장치(100)는 센싱 데이터에 기초하여 제1 컨텐츠에 대응되는 사용자 시선을 식별할 수 있다 (S3325). 예를 들어, 사용자(20)는 제1 컨텐츠가 투사되는 영역을 볼 수 있다. 전자 장치(100)는 사용자 시선을 식별하여 사용자(20)가 제1 컨텐츠가 투사된 영역을 바라보고 있다고 판단할 수 있다.
전자 장치(100)는 제2 휘도값을 제3 휘도값을 변경할 수 있다. 여기서, 제3 휘도값을 제2 휘도값보다 임계 비율만큼 낮은 휘도값을 의미할 수 있다.
전자 장치(100)는 제3 휘도값에 기초하여 제2 컨텐츠를 보정할 수 있다 (S3335). 전자 장치(100)는 제3 휘도값의 제2 컨텐츠를 외부 장치(100-2)에 전송할 수 있다 (S3340).
외부 장치(100-2)는 전자 장치(100)로부터 제3 휘도값의 제2 컨텐츠를 수신할 수 있다. 외부 장치(100-2)는 제3 휘도값의 제2 컨텐츠를 투사할 수 있다 (S3345).
전자 장치(100)는 제1 휘도값의 제1 컨텐츠를 투사할 수 있다 (S3350).
도 34는 구분된 이미지 영역 경계에 그라데이션 효과를 제공하는 동작을 설명하기 위한 도면이다.
도 34를 참조하면, 전자 장치(100)는 전체 투사 영역을 사용자 시선에 대응되는 제1 투사 영역과 사용자 시선에 대응되지 않는 제2 투사 영역으로 구분할 수 있다. 그리고, 전자 장치(100)는 전체 이미지 영역을 제1 투사 영역에 투사되는 제1 이미지 영역과 제2 투사 영역에 대응되는 제2 이미지 영역으로 구분할 수 있다.
여기서, 전자 장치(100)는 제1 이미지 영역과 제2 이미지 영역의 경계 영역(3411, 3412)에 그라데이션 효과를 제공할 수 있다. 전자 장치(100)는 그라데이션 효과가 반영된 경계 영역(3411, 3412)을 포함하는 투사 이미지(11)를 획득할 수 있다. 사용자 시선에 대응되는 이미지 영역과 사용자 시선에 대응되지 않는 이미지 영역의 경계에 그라데이션 효과가 포함되는 경우, 사용자는 휘도 차이를 자연스럽게 받아들일 수 있다.
한편, 전자 장치(100)는 구분된 이미지 영역 경계에 그라데이션 효과를 제공할 수 있다. 도 15의 S1510 내지 S1530 단계를 수행한 후, 전자 장치(100)는 제1 휘도값의 제1 이미지 영역 및 제2 휘도값의 제2 이미지 영역 사이의 경계 영역을 식별할 수 있다. 그리고, 전자 장치(100)는 제1 휘도값 및 제2 휘도값에 기초하여 생성된 그라데이션 효과를 경계 영역에 반영한 투사 이미지를 획득할 수 있다. 그리고, 전자 장치(100)는 도 15의 S1550 단계를 수행할 수 있다.
도 35는 현재 시점의 프레임과 과거 시점의 프레임을 동시에 투사하는 동작을 설명하기 위한 도면이다.
도 35을 참조하면, 전자 장치(100)는 현재 시점과 과거 시점이 모두 포함된 투사 이미지(11)를 투사할 수 있다. 컨텐츠는 시간 순서에 따라 제1 프레임, 제2 프레임 및 제3 프레임을 포함할 수 있다. 제1 프레임이 가장 먼저 투사된 프레임이고 제3 프레임이 가장 최근에 투사된 프레임일 수 있다. 투사 이미지(11)는, 제1 프레임, 제2 프레임 또는 제3 프레임 중 적어도 2개 이상의 프레임을 포함할 수 있다.
도 35의 실시 예(3510)를 참조하면, 사용자(20)가 이미지 영역(11-2)을 바라본다고 가정한다. 전자 장치(100)는 이미지 영역(11-2)에 가장 최근 프레임인 제3 프레임을 투사하고, 이미지 영역(11-3)에 현재 시점을 기준으로 직전 프레임인 제2 프레임을 투사하고, 이미지 영역(11-1)에 제2 프레임 이전 프레임인 제1 프레임을 투사하는 것으로 결정할 수 있다. 여기서, 전자 장치(100)는 이미지 영역(11-2)을 이미지 영역(11-1) 및 이미지 영역(11-3)보다 밝게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-2)에 제3 프레임의 기본 휘도값(100%)을 유지하고 이미지 영역(11-3)에 제2 프레임의 휘도값을 임계 비율(50%)에 기초하여 낮추고, 이미지 영역(11-1)에 제1 프레임의 휘도값을 임계 비율(50%)에 기초하여 낮출 수 있다. 전자 장치(100)는 복수의 이미지 영역(11-1, 11-2, 11-3)을 포함하는 투사 이미지(11)를 획득하고, 투사 이미지(11)를 투사할 수 있다.
도 35의 실시 예(3520)를 참조하면, 사용자(20)가 이미지 영역(11-2)을 바라본다고 가정한다. 전자 장치(100)는 이미지 영역(11-2)에 가장 최근 프레임인 제3 프레임을 투사하고, 이미지 영역(11-3)에 현재 시점을 기준으로 직전 프레임인 제2 프레임을 투사하고, 이미지 영역(11-1)에 제2 프레임을 투사하는 것으로 결정할 수 있다. 여기서, 전자 장치(100)는 이미지 영역(11-2)을 이미지 영역(11-1) 및 이미지 영역(11-3)보다 밝게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-2)에 제3 프레임의 기본 휘도값(100%)을 유지하고 이미지 영역(11-1, 11-3)에 제2 프레임의 휘도값을 임계 비율(50%)에 기초하여 낮출 수 있다. 전자 장치(100)는 복수의 이미지 영역(11-1, 11-2, 11-3)을 포함하는 투사 이미지(11)를 획득하고, 투사 이미지(11)를 투사할 수 있다.
한편, 전자 장치(100)는 현재 시점의 프레임과 과거 시점의 프레임을 동시에 투사할 수 있다.
도 15의 S1510 내지 S1530 단계를 수행한 후, 전자 장치(100)는 컨텐츠의 제2 프레임이 투사되는 제1 휘도값의 제1 이미지 영역 및 컨텐츠의 제1 프레임이 투사되는 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다. 여기서, 제1 프레임은 제2 프레임 이전에 투사되는 프레임을 의미할 수 있다.
이후, 전자 장치(100)는 도 15의 S1550 단계를 수행할 수 있다.
도 36은 오브젝트를 식별하여 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 36을 참조하면, 전자 장치(100)는 기 설정된 오브젝트(30)를 식별할 수 있다. 그리고, 전자 장치(100)는 기 설정된 오브젝트(30)에 기초하여 투사 이미지(11)를 보정할 수 있다.
여기서, 기 설정된 오브젝트(30)는 공일 수 있다. 전자 장치(100)는 센싱 데이터에 기초하여 공의 이동 방향을 분석하여 기 설정된 오브젝트(30)의 이동 방향을 식별할 수 있다. 전자 장치(100)는 기 설정된 오브젝트(30)의 이동 방향에 기초하여 투사 이미지(10)를 보정할 수 있다.
도 36의 실시 예(3610)를 참조하면, 기 설정된 오브젝트(30)가 이미지 영역(11-2)으로 이동하였다고 가정한다. 전자 장치(100)는 기 설정된 오브젝트(30)의 이동 방향에 대응되는 이미지 영역(11-2)을 기 설정된 오브젝트(30)의 이동 방향에 대응되지 않는 이미지 영역(11-1, 11-2)보다 밝게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-2)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-1) 및 이미지 영역(11-3)의 휘도값을 임계 비율(50%)에 기초하여 낮출 수 있다.
도 36의 실시 예(3620)를 참조하면, 기 설정된 오브젝트(30)가 이미지 영역(11-1)을 보고 있다고 가정한다. 전자 장치(100)는 기 설정된 오브젝트(30)의 이동 방향에 대응되는 이미지 영역(11-1)을 기 설정된 오브젝트(30)의 이동 방향에 대응되지 않는 이미지 영역(11-2, 11-3)보다 밝게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-1)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-2) 및 이미지 영역(11-3)의 휘도값을 임계 비율(50%)에 기초하여 낮출 수 있다.
도 37은 오브젝트를 식별하여 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 37의 S3710, S3720, S3730, S3740, S3750 단계는 도 15의 S1510, S1520, S1530, S1540, S1550 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
사용자 시선이 식별된 후, 전자 장치(100)는 투사 영역을 식별할 수 있다 (S3715). 그리고, 전자 장치(100)는 사용자 시선이 투사 영역에서 벗어나는지 여부를 식별할 수 있다 (S3716). 사용자 시선이 투사 영역에서 벗어나지 않는 경우 (S3716-N), 전자 장치(100)는 S3720 내지 S3750 단계를 수행할 수 있다.
사용자 시선이 투사 영역에서 벗어나는 경우 (S3716-Y), 전자 장치(100)는 센싱 데이터에 기초하여 기 설정된 오브젝트가 식별되는지 판단할 수 있다 (S3717). 기 설정된 오브젝트가 식별되지 않으면 (S3717-N), 전자 장치(100)는 투사 이미지를 투사할 수 있다 (S3750).
기 설정된 오브젝트가 식별되면 (S3717-Y), 전자 장치(100)는 투사 영역 중 기 설정된 오브젝트에 대응되는 제1 투사 영역 및 제1 투사 영역의 나머지 영역인 제2 투사 영역을 구분할 수 있다 (S3718). 이후, 전자 장치(100)는 S3730 내지 S3750 단계를 수행할 수 있다.
도 38은 다양한 실시 예에 따라 사용자 제스쳐에 기초하여 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 38를 참조하면, 전자 장치(100)는 사용자 제스쳐를 식별할 수 있다. 전자 장치(100)는 사용자 제스쳐에 기초하여 투사 이미지(11)를 보정할 수 있다. 사용자 제스쳐에 대응되는 이미지 영역을 나머지 영역보다 밝게 투사할 수 있다.
도 38의 실시 예(3810)를 참조하면, 전자 장치(100)는 사용자 시선 및 사용자 제스쳐를 식별할 수 있다. 사용자 시선은 이미지 영역(11-2)에 대응되고 사용자 제스쳐는 이미지 영역(11-3)에 대응된다고 가정한다.
전자 장치(100)는 사용자 시선에 대응되는 이미지 영역(11-2) 및 이미지 영역(11-3)을 이미지 영역(11-1)보다 밝게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-2) 및 이미지 영역(11-3)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-1)의 휘도값을 임계 비율(50%)에 기초하여 낮출 수 있다.
도 38의 실시 예(3820)를 참조하면, 전자 장치(100)는 사용자 시선 및 사용자 제스쳐를 식별할 수 있다. 사용자 시선은 이미지 영역(11-2)에 대응되고 사용자 제스쳐는 이미지 영역(11-3)에 대응된다고 가정한다.
전자 장치(100)는 사용자 시선에 대응되는 이미지 영역(11-2)을 이미지 영역(11-1) 및 이미지 영역(11-3)보다 밝게 투사할 수 있다.
또한, 전자 장치(100)는 사용자 제스쳐에 대응되는 이미지 영역(11-3)을 이미지 영역(11-1)보다 밝게 투사하고 이미지 영역(11-2)보다 어둡게 투사할 수 있다.
예를 들어, 전자 장치(100)는 이미지 영역(11-2)의 기본 휘도값(100%)을 유지하고 이미지 영역(11-3)의 휘도값을 제1 임계 비율(80%)에 기초하여 낮추고, 이미지 영역(11-1)의 휘도값을 제2 임계 비율(50%)에 기초하여 낮출 수 있다. 제1 임계 비율은 제2 임계 비율보다 클 수 있다.
한편, 전자 장치(100)는 다양한 실시 예에 따라 사용자 제스쳐에 기초하여 휘도값을 변경하는 동작을 수행할 수 있다.
전자 장치(100)는 센싱 데이터에 기초하여 사용자 시선 및 사용자 제스쳐를 식별할 수 있다. 그리고, 전자 장치(100)는 사용자 시선에 대응되는 제1 투사 영역을 식별할 수 있다. 그리고, 전자 장치(100)는 사용자 제스쳐에 대응되는 제2 투사 영역을 식별할 수 있다.
이후, 전자 장치(100)는 도 29의 S2923 내지 S2950 단계를 수행할 수 있다.
도 39는 다양한 실시 예에 따라 사용자 제스쳐에 기초하여 휘도값을 변경하는 동작을 설명하기 위한 도면이다.
도 39의 실시 예(3910)를 참조하면, 전자 장치(100)는 사용자 시선 및 기 설정된 사용자 제스쳐를 식별할 수 있다. 여기서, 전자 장치(100)는 사용자 시선에 기초하여 휘도값을 변경할 이미지 영역을 특정하고, 기 설정된 사용자 제스쳐에 기초하여 휘도값을 얼마나 변경할 것인지 결정할 수 있다.
예를 들어, 전자 장치(100)는 사용자 시선에 대응되는 영역(11-2)은 사용자 제스쳐에 기초하여 휘도값을 변경하고, 사용자 시선에 대응되지 않는 영역(11-1, 11-3)은 휘도값을 임계 비율(50%)에 기초하여 휘도값을 낮출 수 있다.
사용자 시선이 이미지 영역(11-2)에 대응되는 경우, 전자 장치(100)는 이미지 영역(11-2)의 휘도값을 변경하는 것으로 결정할 수 있다. 사용자 제스쳐가 식별되면, 전자 장치(100)는 이미지 영역(11-2)에 대응되는 휘도값을 사용자 제스쳐에 기초하여 변경할 수 있다.
반시계 방향으로 손가락을 회전시키는 사용자 제스쳐가 식별되면, 전자 장치(100)는 사용자 시선에 대응되는 이미지 영역(11-2)의 휘도값을 낮출 수 있다. 또한, 시계 방향으로 손가락을 회전시키는 사용자 제스쳐가 식별되면, 전자 장치(100)는 사용자 시선에 대응되는 이미지 영역(11-2)의 휘도값을 높일 수 있다.
도 39의 실시 예(3920)를 참조하면, 전자 장치(100)는 사용자 시선에 기초하여 사용자 시선에 대응되는 영역(11-2)을 특정하고 사용자 제스쳐에 기초하여 사용자 시선에 대응되지 않는 이미지 영역(11-1, 11-3)의 휘도값을 변경할 수 있다.
예를 들어, 사용자 시선에 대응되는 영역(11-2)의 휘도값을 유지하고,
예를 들어, 전자 장치(100)는 사용자 시선에 대응되는 영역(11-2)은 기본 휘도값을 유지하고, 사용자 시선에 대응되지 않는 영역(11-1, 11-3)은 사용자 제스쳐에 기초하여 휘도값을 변경할 수 있다.
시계 방향으로 손가락을 회전시키는 사용자 제스쳐가 식별되면, 전자 장치(100)는 사용자 시선에 대응되지 않는 이미지 영역(11-1, 11-2)의 휘도값을 높일 수 있다. 반시계 방향으로 손가락을 회전시키는 사용자 제스쳐가 식별되면, 전자 장치(100)는 사용자 시선에 대응되지 않는 이미지 영역(11-1, 11-2)의 휘도값을 낮출 수 있다.
도 40은 다양한 실시 예에 따라 사용자 제스쳐에 기초하여 휘도값을 변경하는 동작을 설명하기 위한 흐름도이다.
도 40의 S4010, S4020, S4030, S4040, S4050 단계는 도 15의 S1510, S1520, S1530, S1540, S1550 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
S4050 단계 후, 전자 장치(100)는 센싱 데이터에 기초하여 기 설정된 사용자 제스쳐가 식별되는지 판단할 수 있다 (S4055). 기 설정된 사용자 제스쳐가 식별되지 않으면 (S4055-N), 전자 장치(100)는 S4050 내지 S4055 단계를 반복할 수 있다.
기 설정된 사용자 제스쳐가 식별되면 (S4055-Y), 전자 장치(100)는 사용자 제스쳐에 기초하여 제1 휘도값을 제3 휘도값을 변경할 수 있다 (S4060). 그리고, 전자 장치(100)는 제3 휘도값의 제1 이미지 영역 및 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다 (S4065). 그리고, 전자 장치(100)는 투사 이미지를 투사할 수 있다 (S4070).
도 40은 도 39의 실시 예(3910)와 관련된 동작에 대응될 수 있다.
도 41은 사용자 제스쳐에 기초하여 구분된 이미지 영역의 크기를 변경하는 동작을 설명하기 위한 도면이다.
도 41를 참조하면, 전자 장치(100)는 기 설정된 사용자 제스쳐(4110)를 식별할 수 있다. 여기서, 기 설정된 사용자 제스쳐(4110)는 두 손을 안쪽에서 바깥쪽으로 이동하는 제스쳐일 수 있다.
전자 장치(100)는 기 설정된 사용자 제스쳐(4110)에 기초하여 사용자 시선에 대응되는 이미지 영역(11-2)의 크기를 변경할 수 있다. 여기서, 이미지 영역(11-2)의 크기는 기 설정된 사용자 제스쳐(4110)에 기초하여 변경될 수 있다.
도 42는 사용자 제스쳐에 기초하여 구분된 이미지 영역의 크기를 변경하는 동작을 설명하기 위한 흐름도이다.
도 42의 S4210, S4220, S4230, S4240, S4250 단계는 도 15의 S1510, S1520, S1530, S1540, S1550 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
S4250 단계 후, 전자 장치(100)는 센싱 데이터에 기초하여 기 설정된 사용자 제스쳐가 식별되는지 판단할 수 있다 (S4255). 기 설정된 사용자 제스쳐가 식별되지 않으면 (S4255-N), 전자 장치(100)는 S4250 내지 S4255 단계를 반복할 수 있다.
기 설정된 사용자 제스쳐가 식별되면 (S4255-Y), 전자 장치(100)는 사용자 제스쳐에 기초하여 제1 이미지 영역을 제3 이미지 영역으로 변경하고, 제3 이미지 영역의 나머지 영역을 제4 이미지 영역을 식별할 수 있다 (S4260).
그리고, 전자 장치(100)는 제1 휘도값의 제3 이미지 영역 및 제2 휘도값의 제4 이미지 영역을 포함하는 투사 이미지를 획득할 수 있다 (S4265). 그리고, 전자 장치(100)는 투사 이미지를 투사할 수 있다. 여기서, 제3 이미지 영역은 도 41의 이미지 영역(11-2)을 의미할 수 있다. 여기서, 제4 이미지 영역은 도 41의 이미지 영역(11-1, 11-2)을 의미할 수 있다.
도 43은 다양한 실시 예에 따라 전자 장치(100)의 제어 방법을 동작을 설명하기 위한 흐름도이다.
도 43을 참조하면, 전자 장치(100)의 제어 방법은 센싱 데이터에 기초하여 사용자 시선을 식별하는 단계 (S4305), 전자 장치(100)에 저장된 투사 이미지를 사용자 시선에 대응되는 제1 이미지 영역 및 제1 이미지 영역의 나머지 영역인 제2 이미지 영역으로 구분하는 단계 (S4310), 제1 휘도값의 제1 이미지 영역 및 제1 휘도값과 상이한 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득하는 단계 (S4315) 및 획득된 투사 이미지를 투사하는 단계 (S4320)를 포함할 수 있다.
한편, 제어 방법은 투사 영역을 식별하는 단계 및 투사 영역을 사용자 시선에 대응되는 제1 투사 영역 및 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분하는 단계를 더 포함하고, 투사 이미지를 구분하는 단계 (S4310)는 투사 이미지를 제1 투사 영역에 대응되는 제1 이미지 영역 및 제2 투사 영역에 대응되는 제2 이미지 영역으로 구분할 수 있다.
한편, 센싱 데이터는 제1 센싱 데이터이고, 제어 방법은 제2 센싱 데이터에 기초하여 투사 영역을 식별하는 단계를 더 포함하고, 투사 영역을 구분하는 단계는 사용자 시선에 대응되는 위치 및 기 설정된 거리에 기초하여 제1 투사 영역을 식별할 수 있다.
한편, 제1 센싱 데이터는 이미지 센서를 통해 획득된 데이터이고, 제2 센싱 데이터는 거리 센서를 통해 획득된 데이터일 수 있다.
한편, 투사 영역을 구분하는 단계는 투사 영역을 복수의 그룹으로 구분하고, 복수의 그룹을 사용자 시선에 대응되는 제1 그룹을 제1 투사 영역으로 구분하고 제1 그룹의 나머지 그룹을 제2 투사 영역으로 구분할 수 있다.
한편, 사용자 시선이 투사 영역에 대응되지 않으면, 사용자 시선에 기초하여 투사 방향을 변경하는 단계 및 변경된 투사 방향에 기초하여 투사 영역을 재식별하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 사용자 시선이 투사 영역에 대응되지 않으면, 기 설정된 오브젝트가 식별되는지 식별하는 단계 및 기 설정된 오브젝트가 식별되면, 투사 영역 중 기 설정된 오브젝트에 대응되는 영역을 제1 투사 영역으로 식별하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 사용자 시선이 변경되면, 투사 이미지를 변경된 사용자 시선에 대응되는 제3 이미지 영역 및 제3 이미지 영역의 나머지 영역인 제4 이미지 영역으로 구분하는 단계 및 제1 휘도값의 제3 이미지 영역 및 제2 휘도값의 제4 이미지 영역을 포함하는 투사 이미지를 획득하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 제1 사용자 시선 및 제2 사용자 시선을 포함하는 복수의 사용자 시선이 식별되면, 제1 사용자 시선에 대응되는 이미지 영역의 휘도값과 제2 사용자 시선에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 센싱 데이터에 기초하여 사용자 제스쳐를 식별하는 단계 및 사용자 시선에 대응되는 이미지 영역의 휘도값과 사용자 제스쳐에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득하는 단계를 더 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
한편, 도 43과 같은 전자 장치의 제어 방법은 도 2 또는 도 3의 구성을 가지는 전자 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치 상에서도 실행될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    프로젝션부;
    메모리;
    센서부; 및
    상기 센서부를 통해 획득한 센싱 데이터에 기초하여 사용자 시선을 식별하고,
    상기 메모리에 저장된 투사 이미지를 상기 사용자 시선에 대응되는 제1 이미지 영역 및 상기 제1 이미지 영역의 나머지 영역인 제2 이미지 영역으로 구분하고,
    제1 휘도값의 제1 이미지 영역 및 상기 제1 휘도값과 상이한 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득하고,
    상기 획득된 투사 이미지를 투사하도록 상기 프로젝션부를 제어하는 적어도 하나의 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    투사 영역을 식별하고,
    상기 투사 영역을 상기 사용자 시선에 대응되는 제1 투사 영역 및 상기 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분하고,
    상기 투사 이미지를 상기 제1 투사 영역에 대응되는 상기 제1 이미지 영역 및 상기 제2 투사 영역에 대응되는 상기 제2 이미지 영역으로 구분하는, 전자 장치.
  3. 제2항에 있어서,
    상기 센싱 데이터는 제1 센싱 데이터이고,
    상기 적어도 하나의 프로세서는,
    상기 센서부를 통해 획득한 제2 센싱 데이터에 기초하여 상기 투사 영역을 식별하고,
    상기 사용자 시선에 대응되는 위치 및 기 설정된 거리에 기초하여 상기 제1 투사 영역을 식별하는, 전자 장치.
  4. 제3항에 있어서,
    상기 제1 센싱 데이터는,
    상기 센서부에 포함된 이미지 센서를 통해 획득된 데이터이고,
    상기 제2 센싱 데이터는,
    상기 센서부에 포함된 거리 센서를 통해 획득된 데이터인, 전자 장치.
  5. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 투사 영역을 복수의 그룹으로 구분하고,
    상기 복수의 그룹을 상기 사용자 시선에 대응되는 제1 그룹을 상기 제1 투사 영역으로 구분하고 상기 제1 그룹의 나머지 그룹을 제2 투사 영역으로 구분하는, 전자 장치.
  6. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 사용자 시선이 상기 투사 영역에 대응되지 않으면, 상기 사용자 시선에 기초하여 투사 방향을 변경하고,
    상기 변경된 투사 방향에 기초하여 상기 투사 영역을 재식별하는, 전자 장치.
  7. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 사용자 시선이 상기 투사 영역에 대응되지 않으면, 기 설정된 오브젝트가 식별되는지 식별하고,
    상기 기 설정된 오브젝트가 식별되면, 상기 투사 영역 중 상기 기 설정된 오브젝트에 대응되는 영역을 상기 제1 투사 영역으로 식별하는, 전자 장치.
  8. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 사용자 시선이 변경되면, 상기 투사 이미지를 상기 변경된 사용자 시선에 대응되는 제3 이미지 영역 및 상기 제3 이미지 영역의 나머지 영역인 제4 이미지 영역으로 구분하고,
    제1 휘도값의 제3 이미지 영역 및 상기 제2 휘도값의 제4 이미지 영역을 포함하는 투사 이미지를 획득하는, 전자 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    제1 사용자 시선 및 제2 사용자 시선을 포함하는 복수의 사용자 시선이 식별되면, 상기 제1 사용자 시선에 대응되는 이미지 영역의 휘도값과 상기 제2 사용자 시선에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득하는, 전자 장치.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 센싱 데이터에 기초하여 사용자 제스쳐를 식별하고,
    상기 사용자 시선에 대응되는 이미지 영역의 휘도값과 상기 사용자 제스쳐에 대응되는 이미지 영역의 휘도값이 상이한 투사 이미지를 획득하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    센싱 데이터에 기초하여 사용자 시선을 식별하는 단계;
    상기 전자 장치에 저장된 투사 이미지를 상기 사용자 시선에 대응되는 제1 이미지 영역 및 상기 제1 이미지 영역의 나머지 영역인 제2 이미지 영역으로 구분하는 단계;
    제1 휘도값의 제1 이미지 영역 및 상기 제1 휘도값과 상이한 제2 휘도값의 제2 이미지 영역을 포함하는 투사 이미지를 획득하는 단계; 및
    상기 획득된 투사 이미지를 투사하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    투사 영역을 식별하는 단계; 및
    상기 투사 영역을 상기 사용자 시선에 대응되는 제1 투사 영역 및 상기 제1 투사 영역의 나머지 영역인 제2 투사 영역으로 구분하는 단계;를 더 포함하고,
    상기 투사 이미지를 구분하는 단계는,
    상기 투사 이미지를 상기 제1 투사 영역에 대응되는 상기 제1 이미지 영역 및 상기 제2 투사 영역에 대응되는 상기 제2 이미지 영역으로 구분하는, 제어 방법.
  13. 제12항에 있어서,
    상기 센싱 데이터는 제1 센싱 데이터이고,
    제2 센싱 데이터에 기초하여 상기 투사 영역을 식별하는 단계;를 더 포함하고,
    상기 투사 영역을 구분하는 단계는,
    상기 사용자 시선에 대응되는 위치 및 기 설정된 거리에 기초하여 상기 제1 투사 영역을 식별하는, 제어 방법.
  14. 제13항에 있어서,
    상기 제1 센싱 데이터는,
    이미지 센서를 통해 획득된 데이터이고,
    상기 제2 센싱 데이터는,
    거리 센서를 통해 획득된 데이터인, 제어 방법.
  15. 제12항에 있어서,
    상기 투사 영역을 구분하는 단계는,
    상기 투사 영역을 복수의 그룹으로 구분하고,
    상기 복수의 그룹을 상기 사용자 시선에 대응되는 제1 그룹을 상기 제1 투사 영역으로 구분하고 상기 제1 그룹의 나머지 그룹을 제2 투사 영역으로 구분하는, 제어 방법.
PCT/KR2023/005676 2022-06-23 2023-04-26 전자 장치 및 그 제어 방법 WO2023249235A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220077142 2022-06-23
KR10-2022-0077142 2022-06-23
KR10-2022-0113427 2022-09-07
KR1020220113427A KR20240000328A (ko) 2022-06-23 2022-09-07 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2023249235A1 true WO2023249235A1 (ko) 2023-12-28

Family

ID=89380130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/005676 WO2023249235A1 (ko) 2022-06-23 2023-04-26 전자 장치 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2023249235A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182297A (ja) * 2013-03-19 2014-09-29 Canon Inc 表示装置及びその制御方法
JP2015001580A (ja) * 2013-06-14 2015-01-05 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
KR20150037485A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2016045623A (ja) * 2014-08-21 2016-04-04 ソニー株式会社 情報処理装置および制御方法
JP2017156593A (ja) * 2016-03-03 2017-09-07 Ｎｅｃディスプレイソリューションズ株式会社 マルチ画面表示システム、表示装置、バックライト輝度設定方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182297A (ja) * 2013-03-19 2014-09-29 Canon Inc 表示装置及びその制御方法
JP2015001580A (ja) * 2013-06-14 2015-01-05 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
KR20150037485A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2016045623A (ja) * 2014-08-21 2016-04-04 ソニー株式会社 情報処理装置および制御方法
JP2017156593A (ja) * 2016-03-03 2017-09-07 Ｎｅｃディスプレイソリューションズ株式会社 マルチ画面表示システム、表示装置、バックライト輝度設定方法、及びプログラム

Similar Documents

Publication Publication Date Title
WO2016171403A1 (en) Electronic device and method
WO2014142608A1 (en) Electronic device and operating method thereof
WO2016018070A1 (en) Wearable glasses and method of displaying image via the wearable glasses
WO2017014429A1 (en) Electronic device and operating method thereof
WO2017111268A1 (ko) 변형 가능한 디스플레이 장치 및 이를 이용한 영상 표시 방법
WO2019004570A1 (en) KITCHEN HOOD AND METHOD FOR CONTROLLING HOOD OF SUCH KITCHEN
WO2017047938A1 (en) Display apparatus and apparatus for controlling the same
WO2015194773A1 (ko) 디스플레이 장치 및 그 구동 방법
WO2018190517A1 (en) Electronic apparatus and method for displaying contents thereof
WO2021221464A1 (ko) 카메라 모듈 및 이를 포함하는 전자 장치
WO2023249235A1 (ko) 전자 장치 및 그 제어 방법
WO2022191538A1 (ko) 음향 출력 장치
WO2023249232A1 (ko) 전자 장치 및 그 제어 방법
WO2023249233A1 (ko) 전자 장치 및 그 제어 방법
WO2024025075A1 (ko) 이미지를 투사하는 전자 장치 및 그 제어 방법
WO2023113201A1 (ko) 전자 장치 및 그 제어 방법
WO2023282460A1 (ko) 전자 장치 및 그 제어 방법
WO2024025130A1 (ko) 이미지를 투사하는 전자 장치 및 그 제어 방법
WO2023017904A1 (ko) 전자 장치 및 그 제어 방법
WO2023018008A1 (ko) 전자 장치 및 그 제어 방법
WO2023080421A1 (ko) 전자 장치 및 그 제어 방법
WO2023003140A1 (ko) 전자 장치 및 이의 제어 방법
WO2023286931A1 (ko) 전자 장치 및 그 제어 방법
WO2024043460A1 (ko) 전자 장치 및 그 제어 방법
WO2021112490A1 (ko) 카메라를 포함하는 폴더블 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827355

Country of ref document: EP

Kind code of ref document: A1