WO2023013862A1 - 전자 장치 및 그 영상 처리 방법 - Google Patents

전자 장치 및 그 영상 처리 방법 Download PDF

Info

Publication number
WO2023013862A1
WO2023013862A1 PCT/KR2022/007408 KR2022007408W WO2023013862A1 WO 2023013862 A1 WO2023013862 A1 WO 2023013862A1 KR 2022007408 W KR2022007408 W KR 2022007408W WO 2023013862 A1 WO2023013862 A1 WO 2023013862A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
image
screen
distance
value
Prior art date
Application number
PCT/KR2022/007408
Other languages
English (en)
French (fr)
Inventor
최은석
소병석
채성호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210102623A external-priority patent/KR20230020798A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22853242.0A priority Critical patent/EP4287616A4/en
Priority to CN202280053678.9A priority patent/CN117795950A/zh
Priority to US17/972,264 priority patent/US20230037686A1/en
Publication of WO2023013862A1 publication Critical patent/WO2023013862A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/53—Means for automatic focusing, e.g. to compensate thermal effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present disclosure relates to an electronic device and method for processing an image, and more particularly, to an electronic device and an image processing method for performing keystone correction to prevent display distortion of an image.
  • a projector is an electronic device that projects light onto a screen or projection surface to form an image on the screen.
  • a projector uses an image sensor to photograph a screen, and then processes the photographed image to calculate and use a distorted angle between the screen and the projector.
  • a correction process to match the optical axis of the projector and the measurement axis of the image sensor must be performed. If an error occurs during this correction process, it has a great influence on the angle calculation.
  • a process of processing an image captured by an image sensor also requires a large amount of calculation.
  • Ultra Short Throw Beam Projector Ultra Short Throw Beam Projector
  • a camera with a wide-angle lens is required to view the entire screen with an image sensor because the distance between the projection surface and the projector is very close.
  • the present disclosure is to solve these problems, and an object of the present disclosure is an electronic device that performs keystone correction using an acceleration sensor and a distance sensor and adjusts the size of an image according to a distance from a screen and an image processing method thereof is in providing
  • the disclosure is not limited thereto, and other aspects of the disclosure may relate to other features.
  • an electronic device includes a main body, a projector, an acceleration sensor for detecting a sensing value, and a plurality of distance sensors for detecting a distance value between the electronic device and a screen.
  • a plurality of sensors a support connected to an outer surface of the main body through the hinge structure so that the main body can rotate around the hinge structure, and supporting the main body on a support surface, and a processor, wherein the processor includes the acceleration sensor Identifying a vertical angle at which the electronic device is tilted based on the direction of gravity based on the sensing value detected by the distance sensor, and based on the distance between the screen and the electronic device according to the distance value detected by the plurality of distance sensors.
  • the electronic device to identify the rotation angle at which the electronic device is rotated, perform a function corresponding to keystone correction for an image to provide a corrected image, and perform the correction based on at least one of the vertical angle and the rotation angle
  • the size of the corrected image is identified, and the projector is controlled to project the corrected image on the screen based on the size of the corrected image.
  • a control method of an electronic device includes a main body and a hinge structure connected to an outer surface of the main body so that the main body can rotate around the hinge structure. Identifying, by a plurality of distance sensors, a vertical angle at which the electronic device is tilted based on a direction of gravity based on a sensing value detected by an acceleration sensor of the electronic device including a support for supporting the main body on a surface. Identifying a rotation angle at which the electronic device is rotated based on a distance between the screen and the electronic device according to the detected distance value, and performing a function corresponding to keystone correction for an image to provide a corrected image. , identifying the size of the corrected image based on at least one of the vertical angle and the rotation angle, and projecting the corrected image on the screen based on the corrected image size. .
  • a non-transitory computer-readable storage medium in which a program for performing a control method of an electronic device is recorded is a control method of an electronic device comprising a main body and a hinge structure Based on the sensing value detected by the acceleration sensor of the electronic device including a support connected to the outer surface of the main body by the hinge structure and supporting the main body on a support surface so as to rotate about the electronic device Identifying a vertical angle tilted based on the direction of gravity, identifying a rotation angle at which the electronic device is rotated based on a distance between the screen and the electronic device according to distance values detected by a plurality of distance sensors; Performing a function corresponding to keystone correction for an image to provide a corrected image, identifying a size of the corrected image based on at least one of the vertical angle and the rotation angle, and the corrected image. and projecting the corrected image on the screen based on the size of the image.
  • keystone correction can be effectively performed without an image sensor. Also, the keystone-corrected image can be displayed in an optimal size on the screen.
  • FIG. 1 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a diagram for explaining the operation of the electronic device of FIG. 1;
  • FIG. 3 is a diagram for explaining a method of calculating a displacement between a screen and an electronic device using two distance sensors according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining another example of using a distance sensor according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a keystone correction method according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for specifically explaining a method of performing keystone correction according to an embodiment of the present disclosure
  • FIG. 7 is a diagram for explaining keystone correction according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining image processing according to an embodiment of the present invention.
  • FIG. 9 is a flowchart for explaining an image processing method according to an embodiment of the present invention.
  • FIG. 10 is a flowchart for explaining an image processing method according to another embodiment of the present invention.
  • FIG. 11 is a diagram for comparing before and after image processing
  • FIG. 12 is a perspective view illustrating an external appearance of an electronic device according to an embodiment of the present disclosure.
  • FIG. 13 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 14 is a perspective view illustrating an external appearance of an electronic device according to other embodiments of the present disclosure.
  • 15 is a perspective view illustrating an external appearance of an electronic device according to another embodiment of the present disclosure.
  • 16 is a perspective view illustrating an external appearance of an electronic device according to another embodiment of the present disclosure.
  • 17A is a perspective view illustrating an external appearance of an electronic device according to another embodiment of the present disclosure.
  • 17B is a perspective view illustrating a rotated state of the electronic device of FIG. 17A.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that the certain component may be directly connected to the other component or connected through another component (eg, a third component).
  • the phrase “device configured to” may mean that the device is “capable of” in conjunction with other devices or components.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device.
  • a general-purpose processor eg, CPU or application processor
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented with hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented by at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • FIG. 1 is a block diagram showing the configuration of an electronic device according to an embodiment of the present invention.
  • the electronic device 100 can be implemented as a projector for projecting an image onto a wall or a screen or a display device having an image projection function, the electronic device 100 will be collectively referred to as the electronic device 100 in this specification.
  • the electronic device 100 of FIG. 1 includes a projector 110, a processor 170, and a plurality of sensors 180.
  • the plurality of sensors 180 may be provided as a sensor module accommodating the plurality of sensors.
  • the projector 110 is a component for projecting light for expressing an image to the outside.
  • the projector 110 may include various detailed components such as a light source, a projection lens, and a reflector. The operating method and detailed configuration of the projector 110 will be described in detail in the following section.
  • the plurality of sensors 180 may include an acceleration sensor 181 and distance sensors 182-1 to 182-n. As an example, one or more distance sensors 182-1 to 182-n may be included in the plurality of sensors 180.
  • the acceleration sensor 181 is a component for detecting an angle at which the electronic device 100 is rotated in the direction of gravity.
  • a 3-axis acceleration sensor is used.
  • the 3-axis acceleration sensor measures gravitational acceleration for each axis and provides raw data to the processor 170 .
  • the plurality of distance sensors 182-1 to 182-n are components for detecting a distance to an external object.
  • the distance sensor may be implemented in various types such as an ultrasonic sensor, an infrared sensor, a LIDAR sensor, a radar sensor, and a photodiode sensor.
  • the processor 170 rotates (or distorts) the image output by the electronic device 100 based on the screen 10 based on the distances sensed by each distance sensor. Angle can be obtained.
  • the processor 170 may obtain an angle based on a relationship between the electronic device 100 and the screen based on the distance detected by each distance sensor.
  • the distance detected by each distance sensor may correspond to the distance between the electronic device 100 and the screen.
  • the processor 170 may perform an overall control operation or image processing operation for the electronic device 100 .
  • the processor 170 performs keystone correction on an image based on the results detected by each sensor. For example, the processor 170 appropriately displays the size of the keystone-corrected image according to the size of the screen.
  • the processor 170 calculates the pitch angle, roll angle, and yaw angle of the electronic device 100, respectively, using detection results of the acceleration sensor 181 and the plurality of distance sensors 182-1 to 182-n. do.
  • the processor 170 estimates the posture of the electronic device 100 using the calculated angles, and converts the image based on information such as the estimated posture and the distance to the screen.
  • the maximum possible image can be displayed on the screen 10 without distortion, and when the image is displayed larger than the size of the screen 10 due to a large distance, it is reduced to fit the size of the screen 10. can be displayed As a result, since the user can watch an image of the maximum size and resolution within the size range of the screen 10, viewing satisfaction is increased.
  • FIG. 2 is a diagram for explaining an example of a sensor arrangement position and operation of the electronic device of FIG. 1 .
  • a pitch angle ⁇ rotates with respect to the y axis.
  • a roll angle ( ⁇ ) rotating around the x-axis and a yaw angle ( ⁇ ) rotating around the z-axis are respectively defined.
  • the acceleration sensor 181 is embedded in the electronic device 100, and two distance sensors 182-1 and 182-2 may be used.
  • the two distance sensors 182-1 and 182-2 may be disposed on both sides of the projector 110.
  • the two distance sensors 182-1 and 182-2 may be disposed side by side on both sides of the projector 110.
  • the processor 170 calculates a pitch angle and a roll angle based on an output value output from the acceleration sensor 181, that is, a detection result of the acceleration sensor 181.
  • an output value output from the acceleration sensor 181 that is, a detection result of the acceleration sensor 181.
  • Equation 1 A bx , A by , and Abz are x, y, and z-axis acceleration values of the acceleration sensor 181, respectively.
  • FIG. 3 is a diagram for explaining a method of calculating a rotation angle between a screen and an electronic device using two distance sensors.
  • FIG. 2 when the electronic device 100 is arranged in a direction different from the screen 10 in a state where the two distance sensors 182-1 and 182-2 are arranged side by side on both sides of the electronic device 100, FIG. As shown in 3, the distances d1 and d2 between the two distance sensors 182-1 and 182-2 and the screen 10 are different.
  • the processor 170 outputs the output values of the plurality of distance sensors 182-1 and 182-2, that is, the two distance sensors 182
  • the yaw angle ( ⁇ ) is calculated based on the detection result of -1, 182-2) and the distance equal to 1.
  • the specific calculation formula is as follows.
  • the distance sensors may vary depending on the appearance or placement of the electronic device 100 .
  • the distance sensor 282 when the electronic device 100 is disposed on the floor and the screen 10 is installed upward from the front of the electronic device 100, the distance sensor 282 is tilted at a certain angle ⁇ . may be placed as In this case, the processor 170 may obtain the distance di to the screen using the following equation.
  • Equation 3 i is the number of the distance sensor, and dio means the measurement value of the ith distance sensor.
  • the processor 170 may calculate a rotation angle with respect to the screen 10 by correcting the measured values of each distance sensor using Equation 3 and then applying the corrected distance value to Equation 2.
  • the distance 1 between the distance sensors or the arrangement angle ⁇ corresponds to manufacturing specification information of the electronic device 100, it may be obtained in advance, stored in a memory (not shown) of the electronic device 100, and used for calculation.
  • the processor 170 calculates the pitch angle, the roll angle, and the yaw angle based on the detection results of the respective sensors, and then performs keystone correction on the image using the calculated pitch angle, roll angle, and yaw angle.
  • the normal state means a case where the rotation angle between the electronic device 100 and the screen and the angle at which the electronic device 100 is tilted are reference values, respectively.
  • the reference value may be 0, but a value other than 0 may be set as the reference value depending on the placed position or surrounding conditions.
  • the image projected on the screen 10 is tilted to the right according to the tilted direction (31). Alternatively, it is displayed tilted to the left (32).
  • the processor 170 rotates the image in a direction opposite to the roll angle change direction, so that the image 30 in a normal form is displayed on the screen.
  • the image projected onto the screen 10 according to the tilted direction becomes a trapezoid shape (41, 42).
  • the processor 170 performs correction to increase the length of the upper side or the length of the lower side, so that the normal image 40 is displayed on the screen 10 .
  • the image projected on the screen 10 according to the tilted direction has a trapezoidal shape with a short left or right side. becomes (51, 52).
  • the processor 170 increases the length of the left side of the image or performs correction to increase the length of the right side, so that the image 50 in a normal form is displayed on the screen 10 .
  • the electronic device 100 may acquire information necessary for keystone correction through an initial setting operation and store it in advance.
  • the rotation angle between the electronic device 100 and the screen is 0 and the tilt angle in the gravitational direction is all 0 (ie, When the roll angle, pitch angle, and yaw angle are all 0), when an image having a known resolution is output from the electronic device 100, an image without a keystone phenomenon is displayed on the screen 10.
  • the electronic device 100 determines the distance ds between the center of the projection lens of the projector 110 and the screen, and the four vertices (v1, v2, v3) of the square image 60 projected on the screen 10 centered on the projection lens.
  • the electronic device 100 has a limited wide-angle lens for projecting light, the maximum displayable image size varies depending on the distance from the screen.
  • the user may adjust the distance so that the image is displayed as large as possible on the screen 10 .
  • the sensed distance information and the coordinate information of the four vertexes of the image displayed at that time are stored.
  • an image display range when an image without a keystone phenomenon is displayed on the screen 10, a range within the coordinates of the four vertexes is referred to as an image display range.
  • a method of measuring the distance ds to the screen may be measured in various ways depending on the number and positions of the distance sensors. For example, in the case where two distance sensors are disposed on both sides of the projection lens position, the distance ds from the projection lens position to the screen can be calculated by obtaining an average value of distances measured by the two distance sensors.
  • the processor 170 may calculate 3D coordinates of four vertexes reflected on the screen 10 based on the size and distance ds of the image to be projected. where k is the number of each vertex. Even if the distance ds changes after setting and the 3D coordinates of the four vertexes of the quadrangular image 60 change accordingly, they can be newly acquired through measurement and calculation. As shown in FIG. 6 , the standard of 3D coordinates for expressing the four vertices on the screen is based on the coordinate system (X p , Y p , Z p ) centered on the projection lens of the electronic device 100 .
  • the electronic device 100 may be tilted or placed at an angle with respect to the screen depending on the arrangement state, and thus at least one of the pitch angle, the roll angle, and the yaw angle may not be zero.
  • the processor 170 obtains the following rotation matrix R using the pitch angle, roll angle, and yaw angle calculated using the above equations.
  • the processor 170 transforms the distance ds between the center of the projection lens and the projection surface (screen) measured in a state where all attitude angles (pitch angle, roll angle, yaw angle) are 0, using a rotation matrix R. can be calculated
  • the processor 170 obtains the pitch angle, roll angle, and yaw angle calculated based on Equations 1 and 2, the distance ds between the center of the lens and the screen, and the three-dimensional coordinates of the four vertices of the square image before rotation, The following equation can be used to calculate the coordinates of four vertices when keystone occurs.
  • Equation 5 pk is the three-dimensional coordinate [p kx , p ky , p kz ] T of the k-th vertex when keystone occurs.
  • xk, yk, and zk can be calculated using the following equation.
  • the rotation matrix Rp used in Equation 6 can be defined as follows.
  • Equation 8 P is a projection matrix.
  • the projection matrix P can be modeled by homography, and its shape can be expressed as follows.
  • the parameters a, b, c, d, e, f, g, h are the pixel positions of the four vertices ( ⁇ 1, ⁇ 2, ⁇ 3, ⁇ 4) of the image to be projected on the image screen 10 in Equation 8, and the keystone It can be obtained by substituting the pixel positions of the four vertices (p1, p2, p3, and p4) on the screen 10 estimated when this occurs.
  • the processor 170 may perform keystone correction by converting the location (xp, yp) of each pixel of the original image using the following equation.
  • P -1 is an inverse matrix of the projection matrix.
  • S is a matrix composed of a scale parameter s for size change and parameters tx and ty for position movement in the x-axis direction and the y-axis direction. Specifically, S can be expressed as follows.
  • the processor 170 sets the scale parameter s so that the resolution of the image of the original image can be as large as possible while making it a rectangle in which the vertex is located inside the keystone-generated image.
  • the processor 170 may adjust at least one of tx and ty when a user manipulation for moving the display position of the image is input or a situation in which the display position needs to be moved occurs.
  • the processor 170 calculates four vertices of an image projected on the screen. If the calculated vertex coordinates deviate from the coordinates of the four vertexes of the screen 10, the processor 170 adjusts the scale parameter s to a smaller value so that the keystone-corrected image does not deviate from the screen 10. The processor 170 sets the scale parameter s so that the keystone-corrected image can be maximally displayed within a range that does not deviate from the screen 10 .
  • the coordinates of the four vertexes of the keystone correction image projected on the screen 10 may be obtained using distance and zoom magnification information. In this case, the zoom factor can be adjusted so that the four vertices are optimized for the screen.
  • FIG. 7 and 8 are views for explaining the effect of keystone correction.
  • the electronic device 100 projects a rectangular image frame 70 .
  • the image frame 71 distorted by the keystone effect is displayed on the screen 10 .
  • the image frame 70 is included in light projected from the projector 110 .
  • a pixel x1 in the image frame 70 is displayed at a position x2 on the screen determined by the projection matrix.
  • the processor 170 converts the original image 80 into a corrected image 81 as shown in FIG. 8 in order to correct the keystone effect.
  • the processor 170 controls the projector 110 to project the image frame 70 including the corrected image 81 . Accordingly, even if a keystone effect occurs on the screen 10 and the image frame 70 is distorted, the image 82 displayed on the screen becomes a rectangular shape.
  • the location of one pixel (x1) in the original image 80 is located at the point x2 in the corrected image 81 by the projection matrix P and the scaling matrix S, and the image 82 displayed on the screen 10 ), it can be seen that it is located at the x3 point.
  • the processor 170 operates the screen in a steady state (that is, a state in which pitch angle, roll angle, and yaw angle are all fixed to 0 or reference values) at the same distance as the coordinates of the four vertices of the image to be displayed on the screen.
  • a steady state that is, a state in which pitch angle, roll angle, and yaw angle are all fixed to 0 or reference values
  • the specific area may be a preset area of the screen. If the image projected on the screen exceeds a preset area within the screen, the processor 170 may project the image within the preset area by controlling the size of the keystone-corrected image.
  • the preset area may be an area within a size range of the screen.
  • the processor 170 sets the scale parameter to be maximum within that range. In this case, if there is a user manipulation, the processor 170 may reduce the image size by adjusting the scale parameter.
  • information about the distance measured in the normal state, the coordinates of the four vertexes of the image displayed on the screen in the normal state, etc. may be stored in a memory (not shown) provided in the electronic device 100, or separately may be provided from the source of Users can also directly input it.
  • the processor 170 may adjust the size of the keystone-corrected image by comparing the information with these information.
  • the keystone correction operation and the image size adjustment operation may be collectively processed through one calculation operation, or may be sequentially processed depending on the implementation method.
  • an image size adjustment operation may be additionally performed according to a user's selection after keystone correction is performed.
  • FIG. 9 is a flowchart illustrating an image processing method of an electronic device according to an embodiment of the present invention.
  • the electronic device obtains an angle of rotation of the electronic device based on the direction of gravity and an angle of rotation of the electronic device based on the screen (S910). Specifically, pitch angle, roll angle, yaw angle, etc. are calculated. Since the method for calculating these angles has been specifically described in the above section, redundant description will be omitted.
  • the electronic device performs keystone correction using the acquired angles and other preliminary information (S920). Specifically, the electronic device estimates the posture of the electronic device using the calculated angles, and uses information such as the previously stored distance to the screen, the coordinates of each vertex of the screen, or the coordinates of each vertex of an image normally displayed on the screen. Thus, the above-described rotation matrix, projection matrix, image transformation matrix, and scale matrix are respectively determined. The electronic device performs keystone correction by applying the determined matrix to the original image.
  • the electronic device adjusts the size of the image (S930). Specifically, the electronic device obtains the coordinates of each vertex of the image to be displayed on the screen 10 after keystone correction, and compares the coordinates of each vertex of the screen or the coordinates of each vertex of the image normally displayed on the screen. Thus, it is determined whether an image is to be displayed within a preset area of the screen 10. As a result of the determination, if the image exceeds a predetermined area within the screen 10, the size of the image is controlled by adjusting the scale parameter. For example, the electronic device may reduce the size of the image so that the image is displayed within a predetermined area of the screen. On the other hand, if the image is smaller than the maximum displayable size, the scale parameter is adjusted so that it can be displayed in the maximum size.
  • the electronic device projects light including the corrected image toward the screen (S940).
  • keystone correction and image size adjustment are illustrated and described as being sequentially performed in different steps, but when processing is performed like an operation using the above-described equations, keystone correction and image size adjustment may be performed simultaneously.
  • the above-described image processing task is implemented so that the electronic device can be performed in a fixed state.
  • FIG. 10 is a flowchart of an image processing method according to another embodiment of the present invention.
  • the electronic device acquires sensor values using an acceleration sensor and a distance sensor, respectively (S1010 and S1035).
  • sensor value acquisition can be done sequentially or in parallel.
  • the electronic device When a sensor signal is output from the acceleration sensor, the electronic device performs filtering to remove noise of the signal (S1015). If the acceleration sensor is 3-axis, the electronic device reads all sensor values of the 3-axis acceleration sensor. In this case, it may be performed after acquiring the acceleration sensor value for a certain period of time or may be performed in real time.
  • the electronic device checks the sensor value of the acceleration sensor multiple times. Accordingly, it is determined whether the current measurement value is moved by comparing the previous measurement value with the current measurement value.
  • normalization may be performed on the difference value using the following equation.
  • Abx, Aby, and Abz are the output values of the x, y, and z-axis acceleration sensors, respectively, and t is time.
  • the electronic device determines that there is motion (S1020). Even if the slope is fixed, the sensor output value may be generated according to changes in the surrounding magnetic field or environment, so the threshold is not necessarily set to 0 and can be set in consideration of a fine error range. If it is determined that there is movement, the electronic device outputs a UI guiding to fix the electronic device (S1025). If the electronic device performing the operation of FIG. 10 includes a projector, the electronic device may control the projector to project the UI onto the screen. If, instead of a projector equipped with a projector, an output means such as a general display or a speaker is provided, a UI or message for guiding fixing may be provided using such an output means. Meanwhile, when the movement of the electronic device is identified, keystone correction may not be performed until the movement is stopped.
  • the electronic device calculates the pitch angle and the roll angle using the sensor value of the acceleration sensor (S1030). Since the method of calculating the pitch angle and the roll angle has been described above, redundant description will be omitted.
  • the electronic device filters to remove noise (S1040).
  • the electronic device may perform filtering after obtaining a distance value for a certain period of time or may perform filtering in real time.
  • the electronic device After acquiring the sensing values of the distance sensor multiple times, the electronic device compares the current measurement value with the previous measurement value to determine whether there is movement (S1045).
  • the electronic device may check the difference between the measured values by normalizing the difference in the following equation.
  • d1 is a sensing value of the first distance sensor
  • d2 is a sensing value of the second distance sensor
  • t is time.
  • the electronic device determines that there is motion when the calculated value is out of the threshold.
  • the threshold is not necessarily set to 0, and can be set in consideration of a fine error range.
  • the electronic device If it is determined that the sensor value of the distance sensor has changed, the electronic device outputs a UI or a message for fixing the screen or the electronic device (S1050).
  • the UI may be projected on a screen, displayed on a display provided in the electronic device itself, or output as a voice message or the like through a speaker.
  • the electronic device calculates the yaw angle (S1055). Since the method for calculating the yaw angle has been described above, redundant description will be omitted.
  • the electronic device performs image processing operations for keystone correction and scale adjustment (S1060).
  • a projection matrix P representing the relationship between points on an imaginary plane without distortion and points on an actual screen is obtained, and an image to be projected on the screen is pre-warped using the obtained projection matrix to display the image on the screen.
  • an image transformation matrix that outputs a rectangular image as much as possible.
  • the image conversion matrix is set to minimize the resolution loss and to be the largest possible within the size range of the screen. Since the image processing method using these matrices has been specifically described in the foregoing, redundant description will be omitted.
  • the electronic device outputs the processed image in the screen direction (S1065).
  • FIG. 11 is a diagram for explaining a keystone correction effect of an electronic device according to an embodiment of the present invention.
  • a distorted image 1120 is displayed on the screen 10 .
  • the electronic device 100 transforms the original image before projection to generate and output a corrected image 1111 .
  • an undistorted image 1121 is displayed on the screen 10 .
  • the size of the undistorted image 1121 is maximally displayed within the actual expressible range, but when it is out of the size of the screen 10, it is displayed reduced according to the size of the screen 10.
  • the user can view the normal state image of the maximum size and maximum resolution possible in the current state without any additional manipulation.
  • the image processing method described in FIGS. 9 and 10 may be performed in an electronic device having the configuration of FIG. 1 , but is not necessarily limited thereto, and may be performed in an electronic device having various configurations.
  • the main body of the electronic device 100 is illustrated as having a rectangular shape in FIG. 2 , the appearance of the electronic device 100 may also be implemented in various shapes. Hereinafter, the appearance and configuration of the electronic device 100 transformed into various shapes will be described.
  • FIG. 12 is a perspective view illustrating an external appearance of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may include a head 103, a body 105, a projection lens 111, a connector 109, or a cover 107.
  • the electronic device 100 may be a device of various types.
  • the electronic device 100 may be a projector device that enlarges and projects an image onto a wall or a screen
  • the projector device may be an LCD projector or a digital light processing (DLP) projector using a digital micromirror device (DMD).
  • DLP digital light processing
  • DMD digital micromirror device
  • the electronic device 100 may be a home or industrial display device, or a lighting device used in daily life, a sound device including a sound module, a portable communication device (eg, a smartphone), It may be implemented as a computer device, a portable multimedia device, a wearable device, or a home appliance.
  • the electronic device 100 according to an embodiment of the present disclosure is not limited to the above-described devices, and the electronic device 100 may be implemented as an electronic device 100 having two or more functions of the above-described devices.
  • the electronic device 100 may be used as a display device, a lighting device, or a sound device by turning off a projector function and turning on a lighting function or a speaker function according to manipulation of a processor, and AI including a microphone or communication device.
  • a speaker a speaker.
  • the main body 105 is a housing forming an exterior, and may support or protect component parts (eg, the components shown in FIG. 13 ) of the electronic device 100 disposed inside the main body 105 .
  • the body 105 may have a structure close to a cylindrical shape as shown in FIG. 12 .
  • the shape of the main body 105 is not limited thereto, and according to various embodiments of the present disclosure, the main body 105 may be implemented in various geometric shapes such as a column, a cone, and a sphere having a polygonal cross section.
  • the size of the main body 105 may be a size that a user can hold or move with one hand, may be implemented in a very small size for easy portability, and may be implemented in a size that can be placed on a table or coupled to a lighting device.
  • the material of the main body 105 may be implemented with matte metal or synthetic resin so as not to be stained with user's fingerprints or dust, or the exterior of the main body 105 may be made of a smooth gloss.
  • a friction area may be formed on a portion of the exterior of the body 105 so that a user can grip and move the main body 105 .
  • the main body 105 may be provided with a bent gripping portion or support 108a (see FIG. 14 ) that the user can grip in at least a portion of the area.
  • the projection lens 111 is formed on one surface of the main body 105 to project light passing through the lens array to the outside of the main body 105 .
  • the projection lens 111 of various embodiments may be an optical lens coated with low dispersion in order to reduce chromatic aberration.
  • the projection lens 111 may be a convex lens or a condensing lens, and the projection lens 111 according to an embodiment may adjust the focus by adjusting the positions of a plurality of sub lenses.
  • the head 103 is provided to be coupled to one surface of the body 105 to support and protect the projection lens 111 .
  • the head 103 may be coupled to the main body 105 so as to be swivelable within a predetermined angular range based on one surface of the main body 105 .
  • the head 103 is automatically or manually swiveled by a user or a processor to freely adjust the projection angle of the projection lens 111 .
  • the head 103 is coupled to the main body 105 and includes a neck extending from the main body 105, so that the head 103 is tilted or tilted to adjust the projection angle of the projection lens 111. can be adjusted
  • the electronic device 100 can project light or an image to a desired location by adjusting the direction of the head 103 and adjusting the emission angle of the projection lens 111 while the position and angle of the main body 105 are fixed. there is.
  • the head 103 may include a handle that the user can grasp after rotating in a desired direction.
  • a plurality of openings may be formed on the outer circumferential surface of the main body 105 . Audio output from the audio output unit may be output to the outside of the main body 105 of the electronic device 100 through the plurality of openings.
  • the audio output unit may include a speaker, and the speaker may be used for general purposes such as multimedia playback, recording playback, and audio output.
  • a heat dissipation fan (not shown) may be provided inside the main body 105, and when the heat dissipation fan (not shown) is driven, air or heat inside the main body 105 passes through a plurality of openings. can emit. Therefore, the electronic device 100 can discharge heat generated by driving the electronic device 100 to the outside and prevent the electronic device 100 from overheating.
  • the connector 109 may connect the electronic device 100 to an external device to transmit/receive electrical signals or receive power from the outside.
  • the connector 109 may be physically connected to an external device.
  • the connector 109 may include an input/output interface, and may communicate with an external device through wired or wireless communication or receive power.
  • the connector 109 may include an HDMI connection terminal, a USB connection terminal, an SD card receiving groove, an audio connection terminal, or a power outlet, or Bluetooth, Wi-Fi, or wireless connection to an external device wirelessly.
  • a charging connection module may be included.
  • the connector 109 may have a socket structure connected to an external lighting device, and may be connected to a socket receiving groove of the external lighting device to receive power.
  • the size and standard of the socket-structured connector 109 may be variously implemented in consideration of a receiving structure of a coupleable external device.
  • the diameter of the junction of the connector 109 may be implemented as 26 mm, and in this case, the electronic device 100 replaces a conventionally used light bulb and uses an external lighting device such as a stand. can be coupled to Meanwhile, when fastened to a socket located on an existing ceiling, the electronic device 100 is projected from top to bottom, and when the electronic device 100 is not rotated by coupling the socket, the screen cannot be rotated either.
  • the electronic device 100 is socket-coupled to the ceiling stand so that the electronic device 100 can rotate even when the socket is coupled and power is supplied, and the head 103 is moved from one side of the main body 105. It swivels and adjusts the emission angle to project the screen to a desired position or rotate the screen.
  • the connector 109 may include a coupling sensor, and the coupling sensor may sense whether or not the connector 109 is coupled with an external device, a coupling state, or a coupling target, and transmit the sensor to the processor, based on the received detection value. Driving of the electronic device 100 may be controlled.
  • the cover 107 can be coupled to and separated from the main body 105 and can protect the connector 109 so that the connector 109 is not constantly exposed to the outside.
  • the shape of the cover 107 may have a shape continuous with the body 105 as shown in FIG. 1, or may be implemented to correspond to the shape of the connector 109.
  • the cover 107 can support the electronic device 100, and the electronic device 100 can be used by being coupled to the cover 107 and coupled to or mounted on an external cradle.
  • a battery may be provided inside the cover 107 .
  • a battery may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell or a fuel cell.
  • the electronic device 100 may include a camera module, and the camera module may capture still images and moving images.
  • the camera module may include one or more lenses, image sensors, image signal processors, or flashes.
  • the electronic device 100 may include a protective case (not shown) to protect the electronic device 100 and easily carry it, or a stand supporting or fixing the main body 105. (not shown), and may include a bracket (not shown) coupled to a wall or partition.
  • the electronic device 100 may provide various functions by being connected to various external devices using a socket structure.
  • the electronic device 100 may be connected to an external camera device using a socket structure.
  • the electronic device 100 may provide an image stored in a connected camera device or an image currently being captured using the projector 110 .
  • the electronic device 100 may be connected to a battery module to receive power using a socket structure.
  • the electronic device 100 may be connected to an external device using a socket structure, but this is merely an example, and may be connected to an external device using another interface (eg, USB, etc.).
  • FIG. 13 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes a projector 110, a memory 120, a user interface 130, an input/output interface 140, an audio output unit 150, a power supply 160, and a processor ( 170) may be included. Meanwhile, the configuration shown in FIG. 13 is merely an embodiment, and some configurations may be omitted and new configurations may be added.
  • the projector 110 is a component that projects an image to the outside.
  • the projector 110 uses various projection methods (eg, a cathode-ray tube (CRT) method, a liquid crystal display (LCD) method, a digital light processing (DLP) method, a laser method, etc. ) can be implemented.
  • CTR cathode-ray tube
  • LCD liquid crystal display
  • DLP digital light processing
  • the principle of the CRT method is basically the same as that of a CRT monitor.
  • the CRT method enlarges the image with a lens in front of the cathode ray tube (CRT) and displays the image on the screen.
  • CTR cathode ray tube
  • red, green, and blue cathode ray tubes can be separately implemented.
  • the LCD method is a method of displaying an image by transmitting light from a light source through a liquid crystal.
  • the LCD method is divided into a single-panel type and a three-panel type.
  • the light from the light source is separated into red, green, and blue by a dichroic mirror (a mirror that reflects only light of a specific color and passes the rest) and transmits the liquid crystal. After that, the light can gather in one place again.
  • a dichroic mirror a mirror that reflects only light of a specific color and passes the rest
  • the DLP method is a method of displaying an image using a DMD (Digital Micromirror Device) chip.
  • a DLP projector may include a light source, a color wheel, a DMD chip, a projection lens, and the like.
  • Light output from a light source may exhibit a color while passing through a rotating color wheel.
  • the light that passed through the color wheel is input to the DMD chip.
  • the DMD chip includes numerous micromirrors and reflects light input to the DMD chip.
  • the projection lens may play a role of enlarging light reflected from the DMD chip to an image size.
  • the laser method includes a diode pumped solid state (DPSS) laser and a galvanometer.
  • DPSS diode pumped solid state
  • the galvanometer includes a mirror and a high power motor to move the mirror at high speed.
  • a galvanometer can rotate a mirror at up to 40 KHz/sec.
  • the galvanometer is mounted according to the scanning direction. In general, since the projector scans in a plane, the galvanometer can also be arranged separately in the x and y axes.
  • the projector 110 may include various types of light sources.
  • the projector 110 may include at least one light source of a lamp, LED, or laser.
  • the projector 110 may output an image in a 4:3 aspect ratio, a 5:4 aspect ratio, or a 16:9 wide aspect ratio according to the purpose of the electronic device 100 or the user's settings, and depending on the aspect ratio, WVGA (854*480) , SVGA(800*600), XGA(1024*768), WXGA(1180*720), WXGA(1180*800), SXGA(1180*1024), UXGA(1600*1100), Full HD(1920*1080) Images can be output at various resolutions, such as
  • the projector 110 may perform various functions for adjusting an output image under the control of the processor 170 .
  • the projector 110 may perform functions such as zoom, keystone, quick corner (4 corner) keystone, and lens shift.
  • the projector 110 may enlarge or reduce the image according to the distance from the screen (projection distance). That is, a zoom function may be performed according to the distance from the screen.
  • the zoom function may include a hardware method of adjusting the screen size by moving a lens and a software method of adjusting the screen size by cropping an image.
  • methods for adjusting the focus include a manual focus method and a motorized method.
  • the manual focus method refers to a method of manually focusing
  • the motorized method refers to a method of automatically focusing using a motor built into the projector when a zoom function is performed.
  • the projector 110 may provide a digital zoom function through software, and may provide an optical zoom function in which a zoom function is performed by moving a lens through a driving unit.
  • the projector 110 may perform a keystone function. If the height is not right for the front projection, the screen may be distorted up or down.
  • the keystone function means a function of correcting a distorted screen. For example, if distortion occurs in the left and right directions of the screen, it can be corrected using the horizontal keystone, and if distortion occurs in the vertical direction, it can be corrected using the vertical keystone.
  • the quick corner (4 corner) keystone function corrects the screen when the center area of the screen is normal but the corner area is not balanced.
  • the lens shift function is a function that moves the screen as it is when the screen is out of the screen.
  • the projector 110 may provide zoom/keystone/focus functions by automatically analyzing the surrounding environment and the projection environment without user input. Specifically, the projector 110 determines the distance between the screen and the electronic device 100 detected through sensors (a depth camera, a distance sensor, an infrared sensor, an illuminance sensor, etc.) and a space where the electronic device 100 is currently located. Zoom/Keystone/Focus functions can be automatically provided based on information, information on the amount of ambient light, and the like.
  • the projector 110 may provide a lighting function using a light source.
  • the projector 110 may provide a lighting function by outputting a light source using LEDs.
  • the projector 110 may include one LED, and according to another embodiment, the electronic device may include a plurality of LEDs.
  • the projector 110 may output a light source using a surface-emitting LED according to an implementation example.
  • the surface-emitting LED may refer to an LED having a structure in which an optical sheet is disposed above the LED so that light sources are uniformly distributed and output. Specifically, when the light source is output through the LED, the light source may be evenly dispersed through the optical sheet, and the light source dispersed through the optical sheet may be incident to the display panel.
  • the projector 110 may provide a user with a dimming function for adjusting the intensity of the light source. Specifically, when a user input for adjusting the intensity of a light source is received from a user through the user interface 130 (eg, a touch display button or a dial), the projector 110 controls the number of light sources corresponding to the received user input. You can control the LED to output intensity.
  • the user interface 130 e.g, a touch display button or a dial
  • the projector 110 may provide a dimming function based on the content analyzed by the processor 170 without user input. Specifically, the projector 110 may control the LED to output the intensity of the light source based on information about the currently provided content (eg, content type, content brightness, etc.).
  • the projector 110 may control the color temperature under the control of the processor 170 .
  • the processor 170 may control the color temperature based on content. Specifically, if the content is identified as being output, the processor 170 may obtain color information for each frame of the content for which output is determined. Also, the processor 170 may control the color temperature based on the obtained color information for each frame. Here, the processor 170 may obtain at least one primary color of a frame based on color information for each frame. Also, the processor 170 may adjust the color temperature based on at least one or more acquired primary colors. For example, the color temperature controllable by the processor 170 may be classified into a warm type or a cold type.
  • a frame to be output (hereinafter referred to as an output frame) includes a scene in which a fire has occurred.
  • the processor 170 may identify (or obtain) that the primary color is red based on color information included in the current output frame. Also, the processor 170 may identify a color temperature corresponding to the identified main color (red). Here, the color temperature corresponding to red may be a warm type. Meanwhile, the processor 170 may use an artificial intelligence model to obtain color information or a primary color of a frame.
  • the artificial intelligence model may be stored in the electronic device 100 (eg, the memory 120).
  • the artificial intelligence model may be stored in an external server capable of communicating with the electronic device 100. can be stored in
  • the electronic device 100 may control a lighting function in conjunction with an external device.
  • the electronic device 100 may receive lighting information from an external device.
  • the lighting information may include at least one of brightness information and color temperature information set by an external device.
  • the external device is a device connected to the same network as the electronic device 100 (eg, an IoT device included in the same home/work network) or a device that is not on the same network as the electronic device 100 but can communicate with the electronic device ( For example, a remote control server).
  • IoT device included in the same network as the electronic device 100 outputs red light with a brightness of 50.
  • the external lighting device may directly or indirectly transmit lighting information (eg, information indicating that red light is output with a brightness of 50) to the electronic device 100 .
  • the electronic device 100 may control the output of the light source based on lighting information received from an external lighting device. For example, when lighting information received from an external lighting device includes information for outputting red light with a brightness of 50, the electronic device 100 may output red light with a brightness of 50.
  • the electronic device 100 may control a lighting function based on biometric information.
  • the processor 170 may obtain user's biometric information.
  • the biometric information may include at least one of the user's body temperature, heart rate, blood pressure, respiration, and electrocardiogram.
  • the biometric information may include various types of information in addition to the information described above.
  • an electronic device may include a sensor for measuring biometric information.
  • the processor 170 may obtain user's biometric information through a sensor and control the output of the light source based on the obtained biometric information.
  • the processor 170 may receive biometric information from an external device through the input/output interface 140 .
  • the external device may refer to a user's portable communication device (eg, a smart phone or a wearable device).
  • the processor 170 may obtain user's biometric information from an external device and control the output of the light source based on the obtained biometric information.
  • the electronic device may identify whether the user is sleeping, and if the user is identified as sleeping (or preparing for sleep), the processor 170 determines the light source based on the user's biometric information. You can control the output.
  • the memory 120 may store at least one command related to the electronic device 100 .
  • an operating system (O/S) for driving the electronic device 100 may be stored in the memory 120 .
  • various software programs or applications for operating the electronic device 100 may be stored in the memory 120 according to various embodiments of the present disclosure.
  • the memory 120 may include a semiconductor memory such as a flash memory or a magnetic storage medium such as a hard disk.
  • various software modules for operating the electronic device 100 may be stored in the memory 120 according to various embodiments of the present disclosure, and the processor 170 executes various software modules stored in the memory 120.
  • the operation of the electronic device 100 may be controlled. That is, the memory 120 is accessed by the processor 170, and data can be read/written/modified/deleted/updated by the processor 170.
  • the term memory 120 refers to the memory 120, a ROM (not shown) in the processor 170, a RAM (not shown), or a memory card (not shown) mounted in the electronic device 100 (eg For example, micro SD card, memory stick) may be used as a meaning including.
  • User interface 130 may include various types of input devices.
  • the user interface 130 may include physical buttons.
  • the physical button may include a function key, a direction key (eg, a 4-direction key), or a dial button.
  • the physical button may be implemented as a plurality of keys.
  • the physical button may be implemented as one key.
  • the electronic device 100 may receive a user input in which one key is pressed for a critical period of time or longer.
  • the processor 170 may perform a function corresponding to the user input.
  • the processor 170 may provide a lighting function based on user input.
  • the user interface 130 may receive a user input using a non-contact method.
  • a method for controlling the electronic device regardless of physical force may be required.
  • the user interface 130 may receive a user gesture and perform an operation corresponding to the received user gesture.
  • the user interface 130 may receive a user's gesture through a sensor (eg, an image sensor or an infrared sensor).
  • the user interface 130 may receive a user input using a touch method.
  • the user interface 130 may receive a user input through a touch sensor.
  • the touch method may be implemented as a non-contact method.
  • the touch sensor may determine whether the user's body has approached within a critical distance.
  • the touch sensor may identify a user input even when the user does not contact the touch sensor.
  • the touch sensor may identify a user input in which a user contacts the touch sensor.
  • the electronic device 100 may receive user input in various ways other than the above-described user interface.
  • the electronic device 100 may receive a user input through an external remote control device.
  • the external remote control device may be a remote control device corresponding to the electronic device 100 (eg, an electronic device-specific control device) or a user's portable communication device (eg, a smartphone or a wearable device).
  • the user's portable communication device may store an application for controlling the electronic device.
  • the portable communication device may obtain a user input through a stored application and transmit the acquired user input to the electronic device 100 .
  • the electronic device 100 may receive a user input from a portable communication device and perform an operation corresponding to a user's control command.
  • the electronic device 100 may receive a user input using voice recognition.
  • the electronic device 100 may receive a user's voice through a microphone included in the electronic device.
  • the electronic device 100 may receive a user's voice from a microphone or an external device.
  • the external device may acquire a user voice through a microphone of the external device and transmit the obtained user voice to the electronic device 100 .
  • the user's voice transmitted from the external device may be audio data or digital data obtained by converting the audio data (eg, audio data converted into a frequency domain).
  • the electronic device 100 may perform an operation corresponding to the received user voice.
  • the electronic device 100 may receive audio data corresponding to a user's voice through a microphone.
  • the electronic device 100 may convert the received audio data into digital data.
  • the electronic device 100 may convert the converted digital data into text data using a speech to text (STT) function.
  • STT speech to text
  • the STT (Speech To Text) function may be performed directly in the electronic device 100,
  • a speech to text (STT) function may be performed in an external server.
  • the electronic device 100 may transmit digital data to an external server.
  • the external server may convert digital data into text data and obtain control command data based on the converted text data.
  • the external server may transmit control command data (this time, text data may also be included) to the electronic device 100 .
  • the electronic device 100 may perform an operation corresponding to the user's voice based on the obtained control command data.
  • the electronic device 100 may provide a voice recognition function using one assistant (or artificial intelligence assistant, eg, BixbyTM, etc.), but this is only an example and through a plurality of assistants.
  • a voice recognition function may be provided.
  • the electronic device 100 may provide a voice recognition function by selecting one of a plurality of assists based on a trigger word corresponding to the assist or a specific key present on the remote control.
  • the electronic device 100 may receive a user input using screen interaction.
  • Screen interaction may refer to a function of identifying whether a predetermined event occurs through an image projected on a screen (or a projection surface) by an electronic device and acquiring a user input based on the predetermined event.
  • the predetermined event may refer to an event in which a predetermined object is identified at a specific location (eg, a location where a UI for receiving a user input is projected).
  • the predetermined object may include at least one of a user's body part (eg, a finger), a pointing stick, and a laser point.
  • the electronic device 100 may identify that a user input for selecting the projected UI has been received. For example, the electronic device 100 may project a guide image to display a UI on the screen. And, the electronic device 100 can identify whether the user selects the projected UI. Specifically, the electronic device 100 may identify that the user has selected the projected UI when a predetermined event is identified at the location of the projected UI.
  • the projected UI may include at least one or more items.
  • the electronic device 100 may perform spatial analysis to identify whether a predetermined event is located at the location of the projected UI.
  • the electronic device 100 may perform spatial analysis through a sensor (eg, an image sensor, an infrared sensor, a depth camera, a distance sensor, etc.).
  • the electronic device 100 may identify whether a predetermined event occurs at a specific location (the location where the UI is projected) by performing spatial analysis. And, if it is identified that a predetermined event occurs at a specific location (the location where the UI is projected), the electronic device 100 may identify that a user input for selecting a UI corresponding to the specific location has been received.
  • the input/output interface 140 is a component for inputting/outputting at least one of an audio signal and a video signal.
  • the input/output interface 140 may receive at least one of audio and video signals from an external device and output a control command to the external device.
  • the input/output interface 140 includes HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), USB C-type, DP (Display Port), Thunderbolt, VGA (Video Graphics Array) port, RGB port, D-SUB (Dsubminiature) and DVI (Digital Visual Interface) may be implemented as at least one wired input/output interface.
  • the wired input/output interface may be implemented as an interface for inputting/outputting only audio signals and an interface for inputting/outputting only video signals, or may be implemented as one interface for inputting/outputting both audio and video signals.
  • the electronic device 100 may receive data through a wired input/output interface, but this is merely an example, and power may be supplied through the wired input/output interface.
  • the electronic device 100 may receive power from an external battery through USB C-type or from an outlet through a power adapter.
  • an electronic device may receive power from an external device (eg, a laptop computer or a monitor) through a DP.
  • the input/output interface 140 is Wi-Fi, Wi-Fi Direct, Bluetooth, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), and Long Term Evolution (LTE) communication It may be implemented as a wireless input/output interface that performs communication using at least one of the communication methods.
  • the wireless input/output interface may be implemented as an interface for inputting/outputting only audio signals and an interface for inputting/outputting only video signals, or may be implemented as one interface for inputting/outputting both audio and video signals.
  • an audio signal may be input through a wired input/output interface, and a video signal may be input through a wireless input/output interface.
  • an audio signal may be input through a wireless input/output interface and a video signal may be input through a wired input/output interface.
  • the audio output unit 150 is a component that outputs an audio signal.
  • the audio output unit 150 may include an audio output mixer, an audio signal processor, and a sound output module.
  • the audio output mixer may synthesize a plurality of audio signals to be output into at least one audio signal.
  • the audio output mixer may combine an analog audio signal and another analog audio signal (eg, an analog audio signal received from the outside) into at least one analog audio signal.
  • the sound output module may include a speaker or an output terminal.
  • the sound output module may include a plurality of speakers, and in this case, the sound output module may be disposed inside the main body, and the sound emitted by covering at least a part of the diaphragm of the sound output module may be emitted through a sound conduit ( waveguide) and can be transmitted to the outside of the main body.
  • the sound output module includes a plurality of sound output units, and since the plurality of sound output units are symmetrically disposed on the exterior of the main body, sound can be emitted in all directions, that is, in all directions of 360 degrees.
  • the power supply device 160 may receive power from the outside and supply power to various components of the electronic device 100 .
  • the power supply device 160 may receive power through various methods.
  • the power supply 160 may receive power using the connector 109 shown in FIG. 1 .
  • the power supply 160 may receive power using a 220V DC power cord.
  • the present invention is not limited thereto, and the electronic device may receive power using a USB power cord or a wireless charging method.
  • the power supply 160 may receive power using an internal battery or an external battery.
  • the power supply device 160 may receive power through an internal battery.
  • the power supply 160 charges the power of the internal battery using at least one of a 220V DC power cord, a USB power cord, and a USB C-Type power cord, and receives power through the charged internal battery.
  • the power supply device 160 may receive power through an external battery.
  • the power supply 160 may receive power through the external battery. there is. That is, the power supply device 160 may directly receive power from an external battery or may charge an internal battery through an external battery and receive power from the charged internal battery.
  • the power supply device 160 may receive power using at least one or more of the plurality of power supply methods described above.
  • the electronic device 100 may have power consumption equal to or less than a preset value (eg, 43W) due to a socket type and other standards.
  • the electronic device 100 may vary power consumption to reduce power consumption when using a battery. That is, the electronic device 100 may vary power consumption based on a power supply method and power usage.
  • the electronic device 100 may provide various smart functions.
  • the electronic device 100 is connected to a portable terminal device for controlling the electronic device 100, and a screen output from the electronic device 100 can be controlled through a user input input from the portable terminal device.
  • the mobile terminal device may be implemented as a smart phone including a touch display, and the electronic device 100 receives and outputs screen data provided by the mobile terminal device from the mobile terminal device, and inputs data from the mobile terminal device.
  • a screen output from the electronic device 100 may be controlled according to a user input.
  • the electronic device 100 may share content or music provided by the portable terminal device by connecting to the portable terminal device through various communication methods such as Miracast, Airplay, wireless DEX, and Remote PC.
  • the mobile terminal device and the electronic device 100 may be connected through various connection methods.
  • the portable terminal device may perform a wireless connection by searching for the electronic device 100 or the electronic device 100 may search for the portable terminal device and perform a wireless connection.
  • the electronic device 100 may output content provided by the portable terminal device.
  • the electronic device 100 may output content or music currently being output on the portable terminal device.
  • the portable terminal device while specific content or music is being output from the portable terminal device, the portable terminal device is brought closer to the electronic device 100 by a predetermined distance or less (eg, non-contact tap view), or the portable terminal device is close to the electronic device 100.
  • a predetermined distance or less eg, non-contact tap view
  • the electronic device 100 may output content or music currently being output on the portable terminal device.
  • the portable terminal device when a connection is established between the portable terminal device and the electronic device 100, the portable terminal device outputs a first screen provided by the portable terminal device, and in the electronic device 100, the first screen is provided by a different portable terminal device.
  • a second screen may be output.
  • the first screen may be a screen provided by a first application installed on the portable terminal device
  • the second screen may be a screen provided by a second application installed on the portable terminal device.
  • the first screen and the second screen may be different screens provided by one application installed in the portable terminal device.
  • the first screen may be a screen including a remote control type UI for controlling the second screen.
  • the electronic device 100 may output a standby screen.
  • the electronic device 100 may output a standby screen.
  • the electronic device 100 may output a standby screen.
  • Conditions for the electronic device 100 to output the standby screen are not limited to the above examples, and the standby screen may be output under various conditions.
  • the electronic device 100 may output a standby screen in the form of a blue screen, but the present disclosure is not limited thereto.
  • the electronic device 100 may obtain an irregular object by extracting only the shape of a specific object from data received from an external device, and output an idle screen including the obtained irregular object.
  • FIG. 14 is a perspective view illustrating an external appearance of an electronic device 100 according to other embodiments of the present disclosure.
  • the electronic device 100 may include a support (or referred to as a “handle”) 108a.
  • the support 108a of various embodiments may be a handle or a hook provided for a user to grip or move the electronic device 100, or the support 108a may be a main body ( 105) may be a stand supporting the.
  • the support 108a may be coupled to or separated from the outer circumferential surface of the main body 105 in a hinge structure, and may be selectively separated and fixed from the outer circumferential surface of the main body 105 according to the user's needs.
  • the number, shape, or arrangement of the supports 108a may be variously implemented without limitation.
  • the support 108a is built into the main body 105 and can be taken out and used by the user as needed, or the support 108a can be implemented as a separate accessory and detachable from the electronic device 100. there is.
  • the support 108a may include a first support surface 108a-1 and a second support surface 108a-2.
  • the first support surface 108a-1 may be a surface facing the outside of the body 105 in a state where the support 108a is separated from the outer circumferential surface of the body 105
  • the second support surface 108a-2 is the support (108a) may be a surface facing the inner direction of the main body 105 in a state separated from the outer circumferential surface of the main body 105.
  • the first support surface 108a-1 is developed from the lower part of the body 105 to the upper part of the body 105 and may move away from the body 105, and the first support surface 108a-1 is flat or uniformly curved. can have a shape.
  • the first support surface 108a-1 is the case where the electronic device 100 is mounted so that the outer surface of the body 105 touches the bottom surface, that is, when the projection lens 110 is disposed facing the front direction, the body ( 105) can be supported.
  • the angle of exit of the head 103 and the projection lens 110 may be adjusted by adjusting the distance between the two supports 108a or the hinge opening angle.
  • the second support surface 108a-2 is a surface that comes into contact with the user or an external mounting structure when the support 108a is supported by the user or an external mounting structure, and prevents the user from slipping when the electronic device 100 is supported or moved. It may have a shape corresponding to the gripping structure of the hand or the external mounting structure. The user may direct the projection lens 110 toward the front, fix the head 103, hold the support 108a, move the electronic device 100, and use the electronic device 100 like a flashlight.
  • the support groove 104 is provided on the main body 105 and is a groove structure that can be accommodated when the support 108a is not in use, and as shown in FIG. It can be implemented as a home structure. Through the support groove 104, the support 108a can be stored on the outer circumferential surface of the main body 105 when the support 108a is not in use, and the outer circumferential surface of the main body 105 can be kept smooth.
  • the support 108a may have a structure in which the support 108a is stored inside the body 105 and the support 108a is pulled out of the body 105 in a situation where the support 108a is needed.
  • the support groove 104 may have a structure drawn into the main body 105 to accommodate the support rod 108a, and the second support surface 108a-2 may be in close contact with the outer circumferential surface of the main body 105 or a separate support rod.
  • a door (not shown) that opens and closes the groove 104 may be included.
  • the electronic device 100 may include various types of accessories that help use or store the electronic device 100.
  • the electronic device 100 may include the electronic device 100
  • a protective case (not shown) may be included to protect and easily transport the electronic device 100 by being coupled to a tripod (not shown) or an external surface that supports or fixes the main body 105. Possible brackets (not shown) may be included.
  • 15 is a perspective view illustrating an external appearance of an electronic device 100 according to another embodiment of the present disclosure.
  • the electronic device 100 may include a support (or “handle”) 108b.
  • the support 108b of various embodiments may be a handle or a hook provided for a user to grip or move the electronic device 100, or the support 108b may be a main body ( 105) may be a stand that supports it so that it can be directed at an arbitrary angle.
  • the support 108b may be connected to the main body 105 at a predetermined point (eg, 2/3 to 3/4 of the height of the main body) of the main body 105. .
  • a predetermined point eg, 2/3 to 3/4 of the height of the main body
  • the main body 105 can be supported at an arbitrary angle in a state where the main body 105 is laid down in the lateral direction.
  • 16 is a perspective view illustrating an external appearance of an electronic device 100 according to another embodiment of the present disclosure.
  • the electronic device 100 may include a support (or referred to as “support”) 108c.
  • the support 108c of various embodiments includes a base plate 108c-1 prepared to support the electronic device 100 on the ground and two support members 108c connecting the base plate 108c-1 and the main body 105. -2) may be included.
  • the two support members (108c-2) have the same height, so that one end surface of the two support members (108c-2) is provided on one outer circumferential surface of the main body 105 and the hinge member (108c). -3) can be combined or separated.
  • the two supporting members may be hingedly connected to the main body 105 at a predetermined point (eg, 1/3 to 2/4 of the height of the main body) of the main body 105 .
  • the main body 105 is rotated based on the imaginary horizontal axis formed by the two hinge members 108c-3 so that the projection lens 110 The emission angle of can be adjusted.
  • FIG. 16 shows an embodiment in which two support members 108c-2 are connected to the body 105
  • the present disclosure is not limited thereto, and one support member and the body as shown in FIGS. 17A and 17B ( 105) may be connected by one hinge member.
  • 17A is a perspective view illustrating an external appearance of an electronic device 100 according to another embodiment of the present disclosure.
  • FIG. 17B is a perspective view illustrating a rotated state of the electronic device 100 of FIG. 17A.
  • the support 108d includes a base plate 108d-1, a base plate 108-c, and a main body 105 provided to support the electronic device 100 on the ground. It may include one support member (108d-2) connecting the.
  • one support member 108d-2 may be coupled or separated by a groove provided on one outer circumferential surface of the body 105 and a hinge member (not shown).
  • the supports shown in FIGS. 14, 15, 16, 17a, and 17b are merely examples, and the electronic device 100 may have supports in various positions or shapes.
  • the distance sensor when the electronic device is manufactured in a cylindrical shape, the distance sensor may be disposed in a shape surrounding the periphery of the project lens 111 .
  • the distance values measured by the plurality of distance sensors may all vary according to the tilt or twist of the electronic device, the distance from the center of the projector lens 111 to the screen can be calculated by calculating the average value of these distance values.
  • the gradient may be estimated therefrom.
  • the processor may perform keystone correction using the estimated tilt, distance, and the like.
  • the electronic device may estimate the posture of the electronic device, correct the image accordingly, and output the corrected image even without an external device such as a camera or an image sensor attached to the electronic device. Accordingly, an undistorted image can be provided with the maximum size and resolution.
  • the electronic device may execute the program code to perform the above-described method. For example, obtaining an angle at which the electronic device is rotated in the direction of gravity and an angle at which the electronic device is distorted with respect to the screen, respectively, performing keystone correction on an image based on the obtained angles, and performing keystone correction on an image to be displayed on the screen If the size exceeds the display range of the image within the screen, the program code for sequentially performing the steps of adjusting the size of the keystone-corrected image and projecting the scaled image in the direction of the screen through the projector is installed in the electronic device. If so, the electronic device may perform an accident report operation.
  • This program code may be composed of one application and distributed online or in a state loaded on a recording medium, or may be distributed in a state loaded in an electronic device in the form of firmware.
  • An electronic device in which such an application is installed may perform various image processing methods described above.
  • Such program code may be distributed in a state recorded on various types of computer readable media such as ROM, RAM, memory chip, memory card, external hard drive, hard drive, CD, DVD, magnetic disk, or magnetic tape.
  • a device that downloads such a program code online can also perform the various operations described above.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Acoustics & Sound (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

영상을 투사하는 전자 장치가 개시된다. 전자 장치는 본체, 프로젝터, 센싱 값을 감지하는 가속도 센서, 전자 장치와 스크린 간의 거리 값을 감지하는 복수의 거리 센서를 포함하는 복수의 센서, 본체가 힌지 구조를 중심으로 회전할 수 있도록 본체의 외측면에 힌지 구조로 연결되고, 지지면에 본체를 지지하는 지지대 및 프로세서를 포함하고, 프로세서는 가속도 센서에 의해 감지된 센싱 값에 기초하여 전자 장치가 중력 방향을 기준으로 기울어진 수직 각도를 식별하고, 복수의 거리 센서에 의해 감지된 거리 값에 따른 스크린과 전자 장치 간의 거리에 기초하여 전자 장치가 회전된 회전 각도를 식별하고, 보정된 영상을 제공하기 위해 영상에 대한 키스톤 보정에 대응되는 기능을 수행하며, 수직 각도 및 회전 각도 중 적어도 하나의 각도에 기초하여 보정된 영상의 크기를 식별하고, 보정된 영상의 크기에 기초하여 보정된 영상을 스크린에 투사하도록 프로젝터를 제어한다.

Description

전자 장치 및 그 영상 처리 방법
본 개시는 영상을 처리하는 전자 장치 및 그 방법에 대한 것으로, 보다 상세하게는, 영상의 표시 왜곡을 예방하기 위하여 키스톤 보정을 수행하는 전자 장치 및 그 영상 처리 방법에 대한 것이다.
최근 전자 기술 및 광학 기술의 발달로 다양한 프로젝터 들이 활용되고 있다. 프로젝터는 스크린 또는 투사면으로 빛을 투사하여, 스크린 상에 영상이 맺히도록 하는 전자 장치이다.
프로젝터를 이용하여 영상을 열람하는 경우, 프로젝터가 스크린 방향으로 평평한 곳에 똑바로 놓여진 경우에는 직사각형의 영상이 스크린에 표시된다. 그러나, 일부의 경우 상하 혹은 좌우 왜곡이 발생하거나 회전된 상태의 영상이 스크린에 나타나게 된다. 이러한 왜곡을 키스톤(keystone) 효과라고 한다.
종래의 경우, 프로젝터는 이미지 센서를 이용하여 스크린을 촬영한 후, 촬영된 이미지를 처리하여 스크린과 프로젝터 사이의 틀어진 각도를 계산하여 사용하였다. 이 경우, 프로젝터의 광학축과 이미지 센서의 측정 축을 일치하도록 하는 보정 과정을 수행해야 하는데, 이 보정 과정에서 오차가 발생하게 되면 각도 계산에 큰 영향을 주게 된다. 또한 이미지 센서에서 촬영된 이미지를 처리하는 과정 역시 많은 계산량이 요구된다는 문제점이 있었다. 특히, 최근 개발되고 있는 초단초점 빔 프로젝터(Ultra Short Throw Beam Projector)의 경우는 투사면과 프로젝터의 거리가 매우 가까워서 이미지 센서로 화면 전체를 보기 위해서는 광각 렌즈가 달린 카메라가 필요하다. 하지만, 이 경우 왜곡이 심해져 광학 축과 이미지 센서의 측정축 보정(Calibration)이 쉽지 않아 오차가 증가하게 된다. 초단초점 빔 프로젝터(Ultra Short Throw Beam Projector)의 경우 제품의 특성상 작은 틀어짐만 발생해도 화면에 투사되는 영상이 크게 틀어지게 돼서 정밀한 각도측정이 요구되지만 이미지 센서를 이용한 방법으로는 한계가 있다.
또한, 키스톤 보정을 수행한 영상을 스크린에 투사한 경우, 그 영상의 크기는 스크린과 프로젝터 사이의 거리에 따라 달라지게 된다. 종래에는, 키스톤 보정을 수행한 영상을 스크린의 크기에 맞추기 어렵다는 문제점도 있었다.
본 개시는 이러한 문제점들을 해결하기 위한 것으로, 본 개시의 목적은, 가속도 센서 및 거리 센서를 이용하여 키스톤 보정을 수행하며, 스크린과의 거리에 따라 영상의 크기를 조절하는 전자 장치 및 그 영상 처리 방법을 제공함에 있다. 그러나, 본 개시는 이에 제한되지 않으며, 본 개시의 다른 측면은 다른 특징에 관한 것일 수 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 본체, 프로젝터, 센싱 값을 감지하는 가속도 센서, 상기 전자 장치와 스크린 간의 거리 값을 감지하는 복수의 거리 센서를 포함하는 복수의 센서, 상기 본체가 힌지 구조를 중심으로 회전할 수 있도록 상기 본체의 외측면에 상기 힌지 구조로 연결되고, 지지면에 상기 본체를 지지하는 지지대 및 프로세서를 포함하고, 상기 프로세서는 상기 가속도 센서에 의해 감지된 센싱 값에 기초하여 상기 전자 장치가 중력 방향을 기준으로 기울어진 수직 각도를 식별하고, 상기 복수의 거리 센서에 의해 감지된 상기 거리 값에 따른 상기 스크린과 상기 전자 장치 간의 거리에 기초하여 상기 전자 장치가 회전된 회전 각도를 식별하고, 보정된 영상을 제공하기 위해 영상에 대한 키스톤 보정에 대응되는 기능을 수행하며, 상기 수직 각도 및 상기 회전 각도 중 적어도 하나의 각도에 기초하여 상기 보정된 영상의 크기를 식별하고, 상기 보정된 영상의 크기에 기초하여 상기 보정된 영상을 상기 스크린에 투사하도록 상기 프로젝터를 제어한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 전자 장치의 제어 방법은 본체 및 상기 본체가 힌지 구조를 중심으로 회전할 수 있도록 상기 본체의 외측면에 상기 힌지 구조로 연결되고 지지면에 상기 본체를 지지하는 지지대를 포함하는 상기 전자 장치의 가속도 센서에 의해 감지된 센싱 값에 기초하여 상기 전자 장치가 중력 방향을 기준으로 기울어진 수직 각도를 식별하는 단계, 복수의 거리 센서에 의해 감지된 거리 값에 따른 상기 스크린과 상기 전자 장치 간의 거리에 기초하여 상기 전자 장치가 회전된 회전 각도를 식별하는 단계, 보정된 영상을 제공하기 위해 영상에 대한 키스톤 보정에 대응되는 기능을 수행하는 단계, 상기 수직 각도 및 상기 회전 각도 중 적어도 하나의 각도에 기초하여 상기 보정된 영상의 크기를 식별하는 단계 및 상기 보정된 영상의 크기에 기초하여 상기 보정된 영상을 상기 스크린에 투사하는 단계를 포함한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 전자 장치의 제어 방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 저장 매체는 전자 장치의 제어 방법은 본체 및 상기 본체가 힌지 구조를 중심으로 회전할 수 있도록 상기 본체의 외측면에 상기 힌지 구조로 연결되고 지지면에 상기 본체를 지지하는 지지대를 포함하는 상기 전자 장치의 가속도 센서에 의해 감지된 센싱 값에 기초하여 상기 전자 장치가 중력 방향을 기준으로 기울어진 수직 각도를 식별하는 단계, 복수의 거리 센서에 의해 감지된 거리 값에 따른 상기 스크린과 상기 전자 장치 간의 거리에 기초하여 상기 전자 장치가 회전된 회전 각도를 식별하는 단계, 보정된 영상을 제공하기 위해 영상에 대한 키스톤 보정에 대응되는 기능을 수행하는 단계, 상기 수직 각도 및 상기 회전 각도 중 적어도 하나의 각도에 기초하여 상기 보정된 영상의 크기를 식별하는 단계 및 상기 보정된 영상의 크기에 기초하여 상기 보정된 영상을 상기 스크린에 투사하는 단계를 포함한다.
이상과 같이 본 개시의 다양한 실시 예에 따르면, 이미지 센서 없이도 키스톤 보정을 효과적으로 수행할 수 있다. 또한, 키스톤 보정된 영상이 스크린내에서 최적의 크기로 표시될 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도,
도 2는 도 1의 전자 장치의 동작을 설명하기 위한 도면,
도 3은 본 개시의 일 실시 예에 따른 두 개의 거리 센서를 이용하여 스크린과 전자 장치 사이의 틀어짐을 계산하는 방법을 설명하기 위한 도면,
도 4는 본 개시의 일 실시 예에 따른 거리 센서를 이용하는 다른 예를 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 키스톤 보정 방법을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 키스톤 보정을 수행하는 방법을 구체적으로 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 키스톤 보정을 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른 영상 처리를 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도,
도 10은 본 발명의 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도,
도 11은 영상 처리 전과 후를 비교하기 위한 도면,
도 12는 본 개시의 일 실시 예들에 따른 전자 장치의 외관을 도시한 사시도,
도 13은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도,
도 14는 본 개시의 다른 실시 예들에 따른 전자 장치의 외관을 도시한 사시도,
도 15는 본 개시의 또 다른 실시 예들에 따른 전자 장치의 외관을 도시한 사시도,
도 16은 본 개시의 또 다른 실시 예들에 따른 전자 장치의 외관을 도시한 사시도,
도 17a는 본 개시의 또 다른 실시 예들에 따른 전자 장치의 외관을 도시한 사시도,
도 17b는 도 17a의 전자 장치가 회전된 상태를 도시한 사시도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서 첨부된 도면을 이용하여 본 발명의 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다. 본 실시 예에서, 전자 장치(100)는 벽 또는 스크린으로 영상을 투사하는 프로젝터 또는 영상 투사 기능을 갖춘 디스플레이 장치 등으로 구현 가능하므로, 본 명세서에서는 전자 장치(100)라고 통칭하여 설명한다.
도 1의 전자 장치(100)는 프로젝터(110), 프로세서(170), 복수의 센서(180)를 포함한다. 일 실시 예에 따르면, 복수의 센서(180)는 복수의 센서를 수용하는 센서 모듈로 제공될 수 있다.
프로젝터(110)는 영상을 표현하기 위한 광을 외부로 투사하기 위한 구성이다. 프로젝터(110)는 광원, 프로젝션 렌즈, 반사체 등 다양한 세부 구성을 포함할 수 있다. 프로젝터(110)의 동작 방법 및 세부 구성에 대해서는 후술하는 부분에서 다시 구체적으로 설명한다.
복수의 센서(180)는 가속도 센서(181), 거리 센서(182-1 ~ 182-n)을 포함할 수 있다. 일 실시 예로서, 거리 센서(182-1 ~ 182-n)는 복수의 센서(180)에 하나 이상 복수 개 포함될 수 있다.
가속도 센서(181)는 전자 장치(100)가 중력 방향으로 회전된 각도를 감지하기 위한 구성요소이다. 일 예로, 3축 가속도 센서가 사용된다. 3축 가속도 센서는 축 별로 중력 가속도를 측정하여, 로우 데이터를 프로세서(170)로 제공한다.
복수의 거리 센서(182-1 ~ 182-n)는 외부 물체와의 거리를 감지하기 위한 구성요소이다. 거리 센서는 초음파 센서, 적외선 센서, 라이다 (LIDAR) 센서, 레이더 (RADAR) 센서, 포토 다이오드 센서 등 다양한 종류로 구현될 수 있다. 거리 센서가 복수개 마련되는 경우, 프로세서(170)는 각 거리 센서에 의해 감지된 거리에 기초하여, 전자 장치(100)에 의해 출력되는 이미지가 스크린(10)을 기준으로 회전된(또는, 틀어진) 각도를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(170)는 각 거리 센서에서 감지한 거리를 기초로 전자 장치(100)와 스크린의 관계에 기초하여 각도를 획득할 수 있다. 여기서, 각 거리 센서가 감지하는 거리는 전자 장치(100)와 스크린 간의 거리에 대응될 수 있다.
일 실시 예에 따르면, 프로세서(170)는 전자 장치(100)에 대한 전반적인 제어 동작이나 영상 처리 동작을 수행할 수 있다. 프로세서(170)는 각 센서들에서 감지된 결과에 기초하여 영상에 대한 키스톤 보정을 수행한다. 예를 들어, 프로세서(170)는 키스톤 보정된 영상의 크기를 스크린의 크기에 맞게 적절하게 표시하여 준다. 구체적으로는, 프로세서(170)는 가속도 센서(181) 및 복수의 거리 센서(182-1 ~ 182-n)의 감지 결과를 이용하여 전자 장치(100)의 피치각, 롤각, 요우각을 각각 산출한다. 프로세서(170)는 산출된 각도들을 이용하여 전자 장치(100)의 자세를 추정하며, 추정된 자세 및 스크린까지의 거리 등의 정보에 기초하여 영상을 변환한다. 이에 따라, 가능한 한 최대의 영상이 왜곡 없이 스크린(10)에 표시될 수 있고, 거리가 멀리 떨어져서 영상이 스크린(10)의 크기보다 더 크게 표시되는 경우에는, 스크린(10)의 크기에 맞게 축소 표시될 수 있다. 결과적으로 사용자는 스크린(10)의 크기 범위 이내에서 최대 크기 및 해상도의 영상을 시청할 수 있게 되므로, 시청 만족도가 높아지게 된다.
도 2는 도 1의 전자 장치의 센서 배치 위치 및 동작의 예를 설명하기 위한 도면이다. 도 2에 도시된 바와 같이, 전자 장치(100)를 기준으로 x, y, z축을 정의하면, y축 기준으로 회전하는 피치각(θ). x축을 기준으로 회전하는 롤각(φ), z축을 기준으로 회전하는 요우각(ψ)이 각각 정의된다. 도 2에서 가속도 센서(181)는 전자 장치(100)에 내장된 상태이고, 거리 센서(182-1, 182-2)는 두개가 사용될 수 있다. 두 거리 센서(182-1, 182-2)는 프로젝터(110)를 기준으로 양 측에 배치될 수 있다. 일 예로, 두 거리 센서(182-1, 182-2)는 프로젝터(110)를 기준으로 양 측에 나란하게 배치될 수 있다.
프로세서(170)는 가속도 센서(181)에서 출력되는 출력 값, 즉, 가속도 센서(181)의 감지 결과에 기초하여 피치각, 롤각을 연산한다. 가속도 센서(181)를 포함한 전자 장치(100)가 움직임이 없을 때 가속도 센서의 각 축에서는 중력 가속도에 의한 영향만 측정되는 데, 이 값을 이용하면 가속도 센서를 포함한 기기가 중력 방향에 대해 얼마나 기울어져 있는 지 알 수 있다. 구체적인 연산 식의 일 예는 다음과 같다.
<수학식 1>
Figure PCTKR2022007408-appb-img-000001
수학식 1에서 Abx, Aby, Abz는 각각 가속도 센서(181)의 x, y, z축 가속도 값이다.
도 3은 두 개의 거리 센서를 이용하여 스크린과 전자 장치 사이의 회전 각도를 계산하는 방법을 설명하기 위한 도면이다. 도 2와 같이 두 개의 거리 센서(182-1, 182-2)가 전자 장치(100)의 양 측으로 나란하게 배치된 상태에서 전자 장치(100)가 스크린(10)과 틀어진 방향으로 배치되면, 도 3과 같이 두 거리 센서(182-1, 182-2)와 스크린(10) 사이의 거리(d1, d2)가 서로 달라지게 된다.
두 거리 거리 센서(182-1, 182-2) 사이의 거리가 l이라면, 프로세서(170)는 복수의 거리 센서(182-1, 182-2)의 출력 값, 즉, 두 개의 거리 센서(182-1, 182-2)의 감지 결과와 1인 거리에 기초하여 요우각(ψ)을 연산한다. 구체적인 연산 식은 다음과 같다.
<수학식 2>
Figure PCTKR2022007408-appb-img-000002
도 3은 두 거리 센서가 전자 장치(100)의 전면 방향으로 배치된 경우를 도시하였으나, 전자 장치(100)의 외관이나 배치 위치에 따라 거리 센서의 배치 위치가 달라질 수 있다. 도 4와 같이 전자 장치(100)가 바닥면에 배치되고, 스크린(10)은 전자 장치(100)의 전방에서 위쪽 방향에 설치된 경우라면, 거리 센서(282)는 일정 각도(α) 기울어진 상태로 배치될 수도 있다. 이 경우, 프로세서(170)는 다음과 같은 수학식을 이용하여 스크린까지의 거리(di)를 구할 수 있다.
<수학식 3>
Figure PCTKR2022007408-appb-img-000003
수학식 3에서 i는 거리 센서의 번호이고, dio는 i번째 거리 센서의 측정 값을 의미한다. 프로세서(170)는 수학식 3을 이용하여 각 거리 센서들의 측정 값을 보정한 후, 보정된 거리 값을 수학식 2에 적용하여 스크린(10)과의 회전 각도를 계산할 수 있다.
거리 센서들 간의 거리 l이나, 배치 각도 α 등은 전자 장치(100)의 제조 스펙 정보에 해당하므로, 미리 획득하여 전자 장치(100)의 메모리(미도시)에 저장해두고, 연산에 사용할 수 있다.
프로세서(170)는 상술한 바와 같이 각 센서들의 감지 결과에 기초하여 피치각, 롤각, 요우각을 계산한 후, 이를 이용하여 영상에 대한 키스톤 보정을 수행한다.
도 5는 본 개시의 일 실시 예에 따른 키스톤 보정의 방법을 설명하기 위한 도면이다. 상술한 바와 같이 피치각, 롤각, 요우각이 정의되었다면, 전자 장치(100)의 기울기가 정상 상태일 때 프로세서(170)가 프로젝터(110)를 제어하여 영상을 투사하면, 스크린(10)에는 키스톤 현상이 없는 영상이 표시된다. 본 명세서에서 정상 상태란, 전자 장치(100)와 스크린 사이의 회전 각도, 전자 장치(100)가 기울어진 각도 등이 각각 기준 값인 경우를 의미한다. 통상적인 경우, 기준값은 0이 될 수 있지만, 놓여진 위치나 주변 상태에 따라서는 0이 아닌 값이 기준값으로 설정될 수도 있다.
전자 장치(100)가 x축 방향으로 기울어져 롤 각이 기준 값(예를 들어, 0)과 달라진 경우, 그 기울어진 방향에 따라서 스크린(10)으로 투사되는 영상은 우측으로 기울어지거나(31) 또는 좌측으로 기울어진 상태로 표시된다(32). 프로세서(170)는 롤각 변화 방향의 반대 방향으로 영상을 회전시켜, 스크린에 정상적인 형태의 영상(30)이 표시되도록 한다.
전자 장치(100)가 y축 방향으로 기울어져 피치 각이 기준 값(예를 들어, 0)과 달라진 경우, 그 기울어진 방향에 따라서 스크린(10)으로 투사되는 영상은 사다리꼴 형상이 된다(41, 42). 이 경우, 프로세서(170)는 윗변 길이를 늘리거나, 아랫변 길이를 늘리는 보정을 수행하여, 스크린(10)에 정상적인 형태의 영상(40)이 표시되도록 한다.
전자 장치(100)가 z축 방향으로 기울어져 요우각이 기준 값(예를 들어, 0)과 달라진 경우, 그 기울어진 방향에 따라서 스크린(10)으로 투사되는 영상은 좌변 또는 우변이 짧은 사다리꼴 형상이 된다(51, 52). 이 경우, 프로세서(170)는 영상의 좌변 길이를 늘리거나, 우변 길이를 늘리는 보정을 수행하여, 스크린(10)에 정상적인 형태의 영상(50)이 표시되도록 한다.
도 6은 키스톤 보정을 수행하는 방법을 좀 더 구체적으로 설명하기 위한 도면이다. 전자 장치(100)는 키스톤 보정을 위해 필요한 정보들을 초기 설정 작업을 통해 획득하여 미리 저장해 둘 수 있다.
구체적으로는, 도 6과 같이 스크린(10)과 전자 장치(100)가 배치된 상태에서, 전자 장치(100)와 스크린 사이의 회전각이 0이고 중력 방향의 기울임 각도 모두 0인 상태(즉, 롤각, 피치각, 요우각이 모두 0)에서, 미리 알고 있는 해상도의 영상을 전자 장치(100)에서 출력하면 스크린(10)에는 키스톤 현상이 없는 영상이 표시된다. 이 때, 전자 장치(100)는 프로젝터(110)의 투사 렌즈 중심과 스크린과의 거리 ds와, 투사 렌즈를 중심으로 스크린(10)에 비친 사각형 영상(60)의 네 꼭지점(v1, v2, v3, v4)의 3차원 좌표 [vkx, vky, vkz]T등을 미리 측정하여 저장한다. 전자장치(100)는 빛을 투사하는 렌즈의 광각이 제한적이므로, 스크린과의 거리에 따라 최대로 표시될 수 있는 영상의 크기가 달라진다. 초기 설정 작업에서 사용자가 영상이 스크린(10) 내에서 가능한 크게 표시되도록 거리를 맞출 수 있다. 이와 같이 거리를 조절한 상태에서 설정 메뉴 등을 누르면, 그 때 센싱된 거리 정보와 그 때 표시되는 영상의 네 꼭지점의 좌표 정보 등이 저장된다. 본 명세서에서는 키스톤 현상이 없는 영상이 스크린(10)에 표시되어 있을 때, 그 네 꼭지점의 좌표 이내의 범위를 영상 표시 범위라고 명명한다.
스크린까지의 거리 ds의 측정 방법은 거리 센서의 개수 및 위치에 따라 다양한 방식으로 측정될 수 있다. 예를 들어, 투사 렌즈 위치를 중심으로 양 측에 두 개의 거리 센서가 배치된 경우라면, 두 거리 센서에서 측정된 거리의 평균 값을 구하면 투사 렌즈 위치에서 스크린까지의 거리 ds가 계산될 수 있다. 프로세서(170)는 투사할 영상의 크기와 거리 ds에 기초하여, 스크린(10)에 비친 네 꼭지점들의 3차원 좌표를 계산할 수 있다. 여기서 k는 각 꼭지점 번호이다. 설정 이후에 거리 ds가 변하고, 그에 따라 사각형 영상(60)의 네 꼭지점들의 3차원 좌표가 변하더라도 측정 및 계산을 통해서 새로이 획득할 수 있다. 스크린에서 네 꼭지점을 표현하기 위한 3차원 좌표의 기준은 도 6에 도시된 바와 같이 전자 장치(100)의 투사 렌즈를 중심으로 하는 좌표계(Xp, Yp, Zp)를 기준으로 한다.
한편, 상술한 바와 같이 전자 장치(100)는 배치 상태에 따라 기울어지거나 스크린을 기준으로 비스듬하게 놓여질 수 있으며, 이로 인해 피치각, 롤각, 요우각 중 적어도 하나가 0이 아닐 수 있다. 프로세서(170)는 상술한 수학식들을 이용하여 계산한 피치각, 롤각, 요우각을 이용하여 다음과 같은 회전 행렬 R을 획득한다.
<수학식 4>
Figure PCTKR2022007408-appb-img-000004
프로세서(170)는 자세각(피치각, 롤각, 요우각)이 모두 0인 상태에서 측정된 투사 렌즈 중심과 투사면(스크린)과의 거리(ds)를 회전 행렬(R)을 이용한 변환을 통해서 계산할 수 있다.
프로세서(170)는 수학식 1 및 2에 기초하여 계산한 피치각, 롤각, 요우각과, 상술한 렌즈 중심과 스크린과의 거리 ds, 회전하기 전의 사각형 영상의 네 꼭지점의 3차원 좌표가 획득되면, 다음 수학식을 이용하여 키스톤이 발생하였을 때의 네 꼭지점의 좌표를 계산할 수 있다.
<수학식 5>
Figure PCTKR2022007408-appb-img-000005
수학식 5에서 pk는 키스톤이 발생했을 때의 k번째 꼭지점의 3차원 좌표[pkx, pky, pkz]T이다. 수학식 5에서 xk, yk, zk는 다음 수학식을 이용하여 산출할 수 있다.
<수학식 6>
Figure PCTKR2022007408-appb-img-000006
수학식 6에서 k는 꼭지점 각각의 번호이고, 3차원 좌표[xk, yk, zk]T는 k번째 꼭지점의 3차원 좌표 [pkx, pky, pkz]T를 회전 행렬 Rp로 회전시킨 이후의 좌표이다. 도 6과, 수학식 5 및 6을 참고하면, 네 꼭지점의 Zp 좌표축에 대한 거리는 항상 ds 이므로 pkz=ds 임을 알 수 있다.
수학식 6에서 사용된 회전 행렬 Rp는 다음과 같이 정의될 수 있다.
<수학식 7>
Figure PCTKR2022007408-appb-img-000007
이러한 상태에서, 스크린(10)에 투사될 영상의 네 꼭지점(μ1, μ2, μ3, μ4) 중 k번째 꼭지점의 픽셀 위치 좌표 [μkx, μky, 1]T와 키스톤이 발생했을 때 추정한 스크린 상의 네 꼭지점(p1, p2, p3, p4)의 위치의 관계는 다음 수학식과 같이 정의된다.
<수학식 8>
Figure PCTKR2022007408-appb-img-000008
수학식 8에서 P는 투사 행렬(Projection matrix)이다. 투사행렬 P는 호모그래피로 모델링할 수 있으며, 형태는 다음과 같이 표기될 수 있다.
<수학식 9>
Figure PCTKR2022007408-appb-img-000009
여기서 파라미터 a, b, c, d, e, f, g, h는 수학식 8에 영상의 스크린(10)에 투사될 영상의 네 꼭지점(μ1, μ2, μ3, μ4)의 픽셀 위치와, 키스톤이 발생하였을 때 추정한 스크린(10) 상의 네 꼭지점(p1, p2, p3, p4)의 픽셀 위치를 대입시켜, 구할 수 있다.
일 실시 예로서, 프로세서(170)는 원본 영상의 각 픽셀의 위치(xp, yp)를 다음 수학식을 이용하여 변환함으로써, 키스톤 보정을 수행할 수 있다.
<수학식 10>
Figure PCTKR2022007408-appb-img-000010
수학식 10에서 P-1은 투사 행렬의 역행렬이다. S는 크기 변화를 위한 스케일 파라미터 s와 x축 방향 및 y축 방향으로의 위치 이동을 위한 파라미터 tx, ty로 구성되는 행렬이다. 구체적으로는 S는 다음과 같이 표시될 수 있다.
<수학식 11>
Figure PCTKR2022007408-appb-img-000011
프로세서(170)는 키스톤이 발생한 영상의 내부에서 꼭지점이 위치하는 직사각형이 되도록 하면서 원본 영상의 이미지의 해상도가 가능한 한 크게 될 수 있도록 스케일 파라미터 s를 설정한다. 또한, 프로세서(170)는 영상의 표시 위치를 이동시키기 위한 사용자 조작이 입력되거나, 표시 위치를 이동시켜야 하는 상황이 발생하면, tx, ty 중 적어도 하나를 조정할 수도 있다.
구체적으로는, 프로세서(170)는 스크린에 투사되는 영상의 네 꼭지점을 계산한다. 프로세서(170)는 계산된 꼭지점의 좌표가 스크린(10)의 네 꼭지점 좌표를 벗어나면, 스케일 파라미터 s를 더 작게 조정하여, 키스톤 보정한 영상이 스크린(10)을 벗어나지 않도록 한다. 프로세서(170)는 키스톤 보정한 영상이 스크린(10)을 벗어나지 않는 범위에서는 최대로 표시될 수 있도록 스케일 파라미터 s를 설정한다. 광학 줌 기능이 있는 전자장치(100)인 경우, 거리와 줌의 배율 정보를 이용하여 스크린(10)에 투사되는 키스톤 보정 이미지의 네 꼭지점의 좌표를 구할 수도 있다. 이 경우, 네 꼭지점이 스크린에 최적화되도록 줌의 배율을 조절할 수 있다.
도 7 및 도 8은 키스톤 보정에 따른 효과를 설명하기 위한 도면이다. 도 7을 참고하면 전자 장치(100)에서 직사각형 모양의 영상 프레임(70)을 투사하면, 스크린(10)에는 키스톤 효과에 의해 왜곡된 영상 프레임(71)이 표시되는 것을 알 수 있다. 여기서 영상 프레임(70)은 프로젝터(110)에서 투사되는 광에 포함된다. 영상 프레임(70) 내의 픽셀 x1은 투사 행렬에 의해 결정되는 스크린 상의 위치 x2에 표시된다.
프로세서(170)는 키스톤 효과를 보정하기 위하여 도 8에 도시된 바와 같이 원본 영상(80)을 보정 영상(81)으로 변환한다. 프로세서(170)는 보정 영상(81)을 포함하는 영상 프레임(70)을 투사하도록 프로젝터(110)를 제어한다. 이에 따라, 스크린(10)에서 키스톤 효과가 발생하여 영상 프레임(70)이 왜곡되더라도, 스크린에 표시되는 영상(82)은 직사각형 형태가 된다. 원본 영상(80) 내의 일 픽셀(x1)의 위치는 투사 행렬(P) 및 스케일링 행렬(S)에 의해 보정 영상(81) 내에서는 x2 지점에 위치하고, 스크린(10) 상에 표시되는 영상(82)에서는 x3지점에 위치하는 것을 알 수 있다.
이상과 같이, 프로세서(170)는 스크린에 표시될 영상의 네 꼭지점의 좌표와, 동일한 거리에서 정상 상태(즉, 피치각, 롤각, 요우각이 모두 0이나 또는 레퍼런스 값으로 고정된 상태)에서 스크린에 표시되는 영상의 네 꼭지점의 좌표를 비교하여, 실제 표시될 영상이 스크린의 특정 영역 내인지 식별할 수 있다. 특정 영역은 스크린의 기 설정된 영역일 수 있다. 스크린에 투사된 영상이 스크린 내 기설정된 영역을 초과하면, 프로세서(170)는 키스톤 보정된 영상의 크기를 제어하여 기설정된 영역 내에 영상을 투사시킬 수 있다. 예를 들어, 기설정된 영역은 스크린의 크기 범위 이내의 영역일 수 있다.
투사된 영상이 기설정된 영역 내에 위치하면, 프로세서(170)는 그 범위 이내에서는 최대가 되도록 스케일 파라미터를 설정한다. 이 경우, 사용자 조작이 있으면, 프로세서(170)는 스케일 파라미터를 조정하여 영상 크기를 축소시킬 수도 있다.
일 실시 예에 따르면, 정상 상태에서 측정된 거리, 정상 상태로 스크린에 표시되는 영상의 네 꼭지점의 좌표 등에 대한 정보는 전자 장치(100)에 구비된 메모리(미도시)에 저장될 수도 있고, 별도의 소스로부터 제공받을 수도 있다. 사용자가 직접 입력할 수도 있다.
또한, 실제 스크린(10)의 크기 정보 또는 스크린의 각 꼭지점의 좌표 정보가 미리 저장되어 있다면, 프로세서(170)는 이러한 정보들과 비교하여 키스톤 보정된 영상의 크기를 조절할 수도 있다.
본 실시 예에서 키스톤 보정 작업과, 영상의 크기 조절 작업이 한번의 연산 작업을 통해 일괄적으로 처리될 수도 있고, 구현 방식에 따라서는 순차적으로 처리될 수도 있다. 일 예로, 영상 크기 조절 작업은 키스톤 보정이 이루어진 이후에, 사용자의 선택에 따라 추가로 수행될 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 전자 장치의 영상 처리 방법을 설명하기 위한 흐름도이다. 도 9에 따르면, 전자 장치는 전자 장치가 중력 방향을 기준으로 회전한 각도, 스크린을 기준으로 회전한 각도 등을 각각 획득한다(S910). 구체적으로는, 피치각, 롤각, 요우각 등을 산출한다. 이들 각도에 대한 산출 방법은 상술한 부분에서 구체적으로 설명하였으므로 중복 설명은 생략한다.
전자 장치는 획득한 각도들과 기타 사전 정보들을 이용하여 키스톤 보정을 수행한다(S920). 구체적으로는, 전자 장치는 산출된 각도들을 이용하여 전자 장치의 자세를 추정하고, 기 저장된 스크린 까지의 거리, 스크린의 각 꼭지점의 좌표 또는 스크린 내에 정상 표시된 영상의 각 꼭지점의 좌표 등과 같은 정보를 이용하여 상술한 회전 행렬, 투사 행렬, 이미지 변환 행렬, 스케일 행렬 등을 각각 결정한다. 전자 장치는 결정된 행렬을 원본 영상에 적용하여 키스톤 보정을 수행한다.
또한, 전자 장치는 영상의 크기를 조절한다(S930). 구체적으로는, 전자 장치는, 키스톤 보정 이후에 스크린(10)에 표시될 영상의 각 꼭지점 좌표를 구하고, 그 꼭지점 좌표를 스크린의 각 꼭지점의 좌표 또는 스크린 내에 정상 표시된 영상의 각 꼭지점의 좌표 등과 비교하여, 영상이 스크린(10)의 기설정된 영역 내에 표시될 지 여부를 판단한다. 판단 결과, 영상이 스크린(10) 내 기설정된 영역을 초과하면, 스케일 파라미터를 조정하여 영상의 크기를 제어한다. 예를 들어, 전자 장치는 영상이 스크린의 기설정된 영역 내에 표시되도록 영상의 크기를 축소할 수 있다. 반면, 영상이 최대로 표시할 수 있는 크기보다 작다면, 최대 크기로 표시될 수 있도록 스케일 파라미터를 조절한다.
전자 장치는 영상 처리가 완료되면, 보정된 영상을 포함하는 광을 스크린 방향으로 투사한다(S940).
도 9에서 키스톤 보정과 영상 크기 조절은 서로 다른 단계에서 순차적으로 수행되는 것처럼 도시 및 설명하였으나, 상술한 수학식들을 이용한 연산과 같이 처리할 경우, 키스톤 보정과 영상 크기 조절은 한꺼번에 수행될 수도 있다.
한편, 본 발명의 다른 실시 예에서는 상술한 영상 처리 작업이 전자 장치가 고정된 상태에서 수행될 수 있도록 구현된다.
도 10은 본 발명의 다른 실시 예에 따른 영상 처리 방법의 흐름도이다.
도 10에 따르면, 전자 장치는 가속도 센서와 거리 센서를 각각 이용하여 센서 값을 획득한다(S1010, S1035). 설계 방식에 따라서, 센서 값 획득은 순차적으로 또는 병렬적으로 이루어질 수 있다.
가속도 센서에서 센서 신호가 출력되면, 전자 장치는 그 신호의 잡음 제거를 위하여 필터링을 수행한다(S1015). 가속도 센서가 3축인 경우, 전자 장치는 3축 가속도 센서의 센서값 모두를 읽어 온다. 이 때, 일정 시간 동안 가속도 센서 값을 획득한 후에 수행할 수도 있고, 실시간으로 수행할 수도 있다.
전자 장치는 가속도 센서의 센서 값을 복수 회 확인한다. 이에 따라, 현재 측정값과, 이전 측정 값을 비교하여 움직임 여부를 판단한다. 일 실시 예로서 그 차이 값에 대해서는 다음 수학식을 이용하여 노멀라이징을 수행할 수 있다.
<수학식 12>
Figure PCTKR2022007408-appb-img-000012
여기서 Abx, Aby, Abz는 각각 x, y, z축 가속도 센서의 출력값이며, t는 시간이다.
전자 장치는 노멀라이징한 차이 값이 임계치를 초과하면, 움직임이 있는 것으로 판단한다(S1020). 기울기가 고정되어 있다고 하더라도 주변 자기장이나 환경 변화에 따라 센서 출력값이 발생할 수도 있으므로, 임계치는 반드시 0으로 설정되는 것은 아니며, 미세 오차 범위를 고려하여 설정할 수 있다. 전자 장치는 움직임이 있다고 판단되면, 전자 장치를 고정시키도록 안내하는 UI를 출력한다(S1025). 도 10의 동작을 수행하는 전자 장치가 프로젝터를 구비하였다면, 전자 장치는 프로젝터를 제어하여 UI를 스크린 상으로 투사할 수 있다. 만약, 프로젝터를 구비한 프로젝터가 아니라, 일반 디스플레이나 스피커 등의 출력 수단을 구비하였다면, 이러한 출력 수단을 이용하여 고정을 안내하는 UI 또는 메시지를 제공할 수도 있다. 한편, 전자 장치는 전자 장치의 움직임이 식별되면, 움직임이 멈출될 때까지 키스톤 보정을 수행하지 않을 수 있다.
메시지를 확인한 사용자가 전자 장치를 고정시킨다면, 전자 장치는 가속도 센서의 센서 값을 이용하여 피치각 및 롤각을 계산한다(S1030). 피치각 및 롤각 계산 방법은 상술하였으므로 중복 설명은 생략한다.
한편, 복수의 거리 센서에서 센서 값이 획득되면(S1035), 전자 장치는 잡음 제거를 위하여 필터링한다(S1040). 전자 장치는 일정 시간 동안 거리 값을 획득한 후에 필터링을 수행할 수도 있고 실시간으로 수행할 수도 있다.
전자 장치는 거리 센서의 센싱 값을 복수 회 획득한 후, 현재 측정값과 이전 측정 값을 비교하여 움직임 여부를 판단한다(S1045).
이 경우, 전자 장치는 측정값들의 차이를 다음 수학식과 같은 방식으로 노멀라이징하여 확인할 수 있다.
<수학식 13>
Figure PCTKR2022007408-appb-img-000013
여기서 d1은 제1 거리 센서의 센싱 값, d2는 제2 거리 센서의 센싱 값이며, t는 시간이다. 전자 장치는 계산된 값이 임계치를 벗어나면, 움직임이 있는 것으로 판단한다. 임계치는 반드시 0으로 설정되는 것은 아니며, 미세 오차 범위를 고려하여 설정할 수 있다.
전자 장치는 거리 센서의 센서값이 변화되었다고 판단되면, 스크린 또는 전자 장치를 고정시키도록 하는 UI 또는 메시지를 출력한다(S1050). 상술한 바와 같이 UI는 스크린에 투사하거나, 전자 장치 자체에 구비된 디스플레이에 표시하거나, 음성 등의 메시지로 스피커를 통해 출력할 수 있다.
움직임이 없는 고정 상태라고 판단되면, 전자 장치는 요우 각을 계산한다(S1055). 요우 각 계산 방법은 상술하였으므로 중복 설명은 생략한다.
이상과 같이 피치각, 롤각, 요우각을 모두 산출하면, 전자 장치는 키스톤 보정 및 스케일 조정을 위한 영상 처리 동작을 수행한다(S1060).
구체적으로는, 왜곡이 없는 가상의 평면의 점들과 실제 스크린 사이의 점들의 관계를 나타내는 투사 행렬 P를 구하고, 구해진 투사 행렬을 이용하여 스크린에 투사할 영상을 미리 왜곡(pre-warping)시켜 스크린에 가능한 한 사각형의 영상이 출력되도록 하는 이미지 변환 행렬을 구한다. 이 때, 해상도 손실을 최소화하고, 스크린의 크기 범위 이내에서 가능한 최대가 되도록 이미지 변환 행렬을 설정한다. 이들 행렬들을 이용하는 영상 처리 방법에 대해서는 상술한 부분에서 구체적으로 설명하였으므로 중복 설명은 생략한다.
전자 장치는 처리된 영상을 스크린 방향으로 출력한다(S1065).
이상과 같이, 본 발명의 다양한 실시 예들에 따르면, 이미지 센서를 이용하지 않고도 키스톤 보정을 수행할 수 있게 되므로, 복잡한 이미지 처리 과정이 생략되고, 하드웨어를 줄일 수 있게 된다.
도 11은 본 발명의 일 실시 예에 따른 전자 장치의 키스톤 보정 효과를 설명하기 위한 도면이다.
도 11에 따르면, 원본 영상(1110)을 그대로 출력할 경우, 스크린(10)에는 왜곡된 영상(1120)이 표시된다. 전자 장치(100)는 원본 영상을 투사 전에 변형시켜 보정된 이미지(1111)를 생성하여 출력한다. 이에 따라, 스크린(10)에는 왜곡되지 않은 영상(1121)이 표시된다. 왜곡되지 않은 영상(1121)의 크기는 실제 표현 가능한 범위 내에서는 최대한으로 표시되되, 스크린(10) 크기를 벗어날 경우에는 스크린(10)의 크기에 맞추어 축소 표시된다. 결과적으로, 사용자는 별도의 조작 없이도 현재 상태에서 가능한 한 최대 크기, 최대 해상도의 정상 상태 영상을 시청할 수 있게 된다.
도 9 및 도 10에서 설명한 이미지 처리 방법은 도 1의 구성을 가진 전자 장치에서 수행될 수 있지만, 반드시 이에 한정되는 것은 아니며, 다양한 구성을 가진 전자 장치에서 수행될 수 있다. 또한, 도 2에서는 전자 장치(100)의 본체가 사각형인 것처럼 도시하였으나, 전자 장치(100)의 외관 역시 다양한 형태로 구현될 수 있다. 이하에서는 다양한 형태로 변형된 전자 장치(100)의 외관 및 구성을 설명한다.
도 12는 본 개시의 일 실시 예들에 따른 전자 장치(100)의 외관을 도시한 사시도이다.
도 12를 참조하면, 전자 장치(100)는 헤드(103), 본체(105), 프로젝션 렌즈(111), 커넥터(109) 또는 커버(107)를 포함할 수 있다.
전자 장치(100)는 다양한 형태의 장치가 될 수 있다. 특히, 전자 장치(100)는 벽 또는 스크린으로 영상을 확대하여 투사하는 프로젝터 장치일 수 있으며, 프로젝터 장치는 LCD 프로젝터 또는 DMD(digital micromirror device)를 사용하는 DLP(digital light processing) 방식 프로젝터일 수 있다.
또한, 전자 장치(100)는 가정용 또는 산업용 디스플레이 장치일 수 있으며, 또는, 일상 생활에서 쓰이는 조명 장치일 수 있으며, 음향 모듈을 포함하는 음향 장치일 수 있으며, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 웨어러블 장치, 또는 가전 장치 등으로 구현될 수 있다. 한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 상술한 기기에 한정되지 않으며, 전자 장치(100)는 상술한 기기들의 둘 이상의 기능을 갖춘 전자 장치(100)로 구현될 수 있다. 예를 들면, 전자 장치(100)는 프로세서의 조작에 따라 프로젝터 기능은 오프되고 조명 기능 또는 스피커 기능을 온되어 디스플레이 장치, 조명 장치 또는 음향 장치로 활용될 수 있으며, 마이크 또는 통신 장치를 포함하여 AI 스피커로 활용될 수 있다.
본체(105)는 외관을 이루는 하우징으로, 본체(105) 내부에 배치되는 전자 장치(100)의 구성 부품(예를 들어, 도 13에 도시된 구성)을 지지하거나 보호할 수 있다. 본체(105)의 형상은 도 12에 도시된 바와 같이 원통형에 가까운 구조를 가질 수 있다. 그러나, 본체(105)의 형상은 이에 한정되지 아니하고, 본 개시의 다양한 실시 예에 따르면, 본체(105)는 다각형 단면을 갖는 기둥, 원뿔, 구와 같은 다양한 기하학적인 형상으로 구현될 수 있다.
본체(105)의 크기는 사용자가 한 손으로 파지하거나 이동시킬 수 있는 크기일 수 있으며, 휴대가 용이하도록 초소형으로 구현될 수 있고, 테이블에 거치하거나 조명 장치에 결합 가능한 사이즈로 구현될 수 있다.
본체(105)의 재질은 사용자의 지문 또는 먼지가 묻지 않도록 무광의 금속 또는 합성 수지로 구현될 수 있으며, 또는, 본체(105)의 외관은 매끈한 유광으로 이루어질 수 있다.
본체(105)에는 사용자가 파지하고 옮길 수 있도록 마찰 영역이 본체(105)의 외관의 일부 영역에 형성될 수 있다. 또는, 본체(105)는 적어도 일부 영역에 사용자가 파지할 수 있는 절곡된 파지부 또는 지지대(108a, 도 14 참조)가 마련될 수 있다.
프로젝션 렌즈(111)는 본체(105)의 일 면에 형성되어, 렌즈 어레이를 통과한 광을 본체(105) 외부로 투사하도록 형성된다. 다양한 실시 예의 프로젝션 렌즈(111)는 색수차를 줄이기 위하여 저분산 코팅된 광학 렌즈일 수 있다. 프로젝션 렌즈(111)는 볼록 렌즈 또는 집광 렌즈일 수 있으며, 일 실시 예의 프로젝션 렌즈(111)는 복수의 서브 렌즈의 위치를 조정하여 초점을 조절할 수 있다.
헤드(103)는 본체(105)의 일 면에 결합되도록 마련되어 프로젝션 렌즈(111)를 지지하고 보호할 수 있다. 헤드(103)는 본체(105)의 일 면을 기준으로 기설정된 각도 범위에서 스위블 가능하도록 본체(105)와 결합될 수 있다.
헤드(103)는 사용자 또는 프로세서에 의하여 자동 또는 수동으로 스위블되어 프로젝션 렌즈(111)의 투사 각도를 자유롭게 조절할 수 있다. 또는, 도면에는 도시되지 않았으나, 헤드(103)는 본체(105)와 결합되며 본체(105)로부터 연장되는 넥을 포함하여, 헤드(103)는 젖혀지거나 기울어지며 프로젝션 렌즈(111)의 투사 각도를 조절할 수 있다.
전자 장치(100)는 본체(105)의 위치 및 각도가 고정된 상태에서 헤드(103)의 방향을 조정하며 프로젝션 렌즈(111)의 출사 각도를 조절함으로써, 원하는 위치로 광 또는 영상을 투사할 수 있다. 또한, 헤드(103)는 사용자가 원하는 방향으로 회전한 뒤 잡을 수 있는 손잡이를 포함할 수 있다.
본체(105) 외주면에는 복수의 개구가 형성될 수 있다. 복수의 개구를 통하여 오디오 출력부로부터 출력되는 오디오가 전자 장치(100)의 본체(105) 외부로 출력될 수 있다. 오디오 출력부는 스피커를 포함할 수 있고, 스피커는 멀티미디어 재생 또는 녹음 재생, 음성 출력 등과 같이 일반적인 용도로 사용될 수 있다.
본 개시의 일 실시 예에 따르면, 본체(105) 내부에는 방열 팬(미도시)이 구비될 수 있으며, 방열 팬(미도시)이 구동되면 복수의 개구를 통하여 본체(105) 내부의 공기 또는 열을 배출할 수 있다. 그러므로, 전자 장치(100)는 전자 장치(100)의 구동에 의하여 발생하는 열을 외부로 배출하고, 전자 장치(100)가 과열되는 것을 방지할 수 있다.
커넥터(109)는 전자 장치(100)를 외부 장치와 연결하여 전기 신호를 송수신하거나, 외부로부터 전력을 공급받을 수 있다. 본 개시의 일 실시 예에 따른, 커넥터(109)는 외부 장치와 물리적으로 연결될 수 있다. 이때, 커넥터(109)에는 입출력 인터페이스를 포함할 수 있으며, 유선 또는 무선으로 외부 장치와 통신을 연결하거나 전력을 공급받을 수 있다. 예를 들어, 커넥터(109)는 HDMI 연결 단자, USB 연결 단자, SD 카드 수용 홈, 오디오 연결 단자 또는 전력 콘센트를 포함할 수 있으며, 또는, 외부 장치와 무선으로 연결되는 블루투스, Wi-Fi 또는 무선 충전 연결 모듈을 포함할 수 있다.
또한, 커넥터(109)는 외부 조명 장치에 연결되는 소켓 구조를 가질 수 있으며, 외부 조명 장치의 소켓 수용 홈에 연결되어 전력을 공급받을 수 있다. 소켓 구조의 커넥터(109)의 사이즈 및 규격은 결합 가능한 외부 장치의 수용 구조를 고려하여 다양하게 구현될 수 있다. 예를 들면, 국제 규격 E26에 따라, 커넥터(109)의 접합 부위의 지름은 26 mm로 구현될 수 있고, 이 경우 전자 장치(100)는 통상적으로 사용되는 전구를 대체하여 스탠드와 같은 외부 조명 장치에 결합될 수 있다. 한편, 기존 천장에 위치한 소켓에 체결 시, 전자 장치(100)는 위에서 아래로 프로젝션되는 구조로서, 소켓 결합에 의해 전자 장치(100)가 회전되지 않는 경우, 화면 역시 회전이 불가능하다. 이에 따라 소켓 결합이 되어 전원 공급이 되는 경우라도 전자 장치(100)가 회전 가능하도록, 전자 장치(100)는 천장의 스탠드에 소켓 결합된 상태로 헤드(103)가 본체(105)의 일 면에서 스위블되며 출사 각도를 조절하여 원하는 위치로 화면을 출사하거나 화면을 회전시킬 수 있다.
커넥터(109)는 결합 센서를 포함할 수 있고, 결합 센서는 커넥터(109)와 외부 장치의 결합 여부, 결합 상태 또는 결합 대상을 센싱하여 프로세서로 전달할 수 있으며, 프로세서는 전달받은 감지값에 기초하여 전자 장치(100)의 구동을 제어할 수 있다.
커버(107)는 본체(105)에 결합 및 분리될 수 있으며, 커넥터(109)가 상시 외부로 노출되지 않도록 커넥터(109)를 보호할 수 있다. 커버(107)의 형상은 도 1에 도시된 바와 같이 본체(105)와 연속된 형상을 가질 수 있으며, 또는 커넥터(109)의 형상에 대응되도록 구현될 수 있다. 커버(107)는 전자 장치(100)를 지지할 수 있으며, 전자 장치(100)는 커버(107)에 결합되어 외부 거치대에 결합되거나 거치되어 사용될 수 있다.
다양한 실시 예의 전자 장치(100)는 커버(107) 내부에 배터리가 마련될 수 있다. 배터리는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
도면에는 도시되지 않았으나, 전자 장치(100)는 카메라 모듈을 포함할 수 있고, 카메라 모듈은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
도면에는 도시되지 않았으나, 전자 장치(100)는 전자 장치(100)를 보호하며 용이하게 운반할 수 있도록 보호 케이스(미도시)를 포함할 수 있으며, 또는, 본체(105)를 지지하거나 고정하는 스탠드(미도시), 벽면 또는 파티션에 결합 가능한 브라켓(미도시)을 포함할 수 있다.
또한, 전자 장치(100)는 소켓 구조를 이용하여 다양한 외부 장치와 연결되어 다양한 기능을 제공할 수 있다. 일 실시 예로, 전자 장치(100)는 소켓 구조를 이용하여 외부의 카메라 장치와 연결될 수 있다. 전자 장치(100)는 연결된 카메라 장치에 저장된 영상이나 현재 촬영 중인 영상을 프로젝터(110)를 이용하여 제공할 수 있다. 다른 실시 예로, 전자 장치(100)는 소켓 구조를 이용하여 배터리 모듈과 연결되어 전력을 공급받을 수 있다. 한편, 전자 장치(100)는 소켓 구조를 이용하여 외부 장치와 연결될 수 있으나, 이는 일 실시 예에 불과할 뿐, 다른 인터페이스(예를 들어, USB 등)를 이용하여 외부 장치와 연결될 수 있다.
도 13은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 13을 참조하면, 전자 장치(100)는 프로젝터(110), 메모리(120), 유저 인터페이스(130), 입출력 인터페이스(140), 오디오 출력부(150), 전원 공급 장치(160) 및 프로세서(170)를 포함할 수 있다. 한편, 도 13에 도시된 구성은 일 실시 예에 불과할 뿐, 일부 구성이 생략될 수 있으며, 새로운 구성이 추가될 수 있다.
프로젝터(110)는 영상을 외부로 투사하는 구성이다. 본 개시의 일 실시 예에 따른, 프로젝터(110)는 다양한 투사 방식(예를 들어, CRT(cathode-ray tube) 방식, LCD(Liquid Crystal Display) 방식, DLP(Digital Light Processing) 방식, 레이저 방식 등)으로 구현될 수 있다. 일 예로, CRT 방식은 기본적으로 CRT 모니터와 원리가 동일하다. CRT 방식은 브라운관(CRT) 앞의 렌즈로 상을 확대시켜서 스크린에 이미지를 표시한다. 브라운관의 개수에 따라 1관식과 3관식으로 나뉘며, 3관식의 경우 Red, Green, Blue의 브라운관이 따로 분리되어 구현될 수 있다.
다른 예로, LCD 방식은 광원에서 나온 빛을 액정에 투과시켜 이미지를 표시하는 방식이다. LCD 방식은 단판식과 3판식으로 나뉘며, 3판식의 경우 광원에서 나온 빛이 다이크로익 미러(특정 색의 빛만 반사하고 나머지는 통과시키는 거울)에서 Red, Green, Blue로 분리된 뒤 액정을 투과한 후 다시 한 곳으로 빛이 모일 수 있다.
또 다른 예로, DLP 방식은 DMD(Digital Micromirror Device) 칩을 이용하여 이미지를 표시하는 방식이다. DLP 방식의 프로젝터는 광원, 컬러 휠, DMD 칩, 프로젝션 렌즈 등을 포함할 수 있다. 광원에서 출력된 빛은 회전하는 컬러 휠을 통과하면서 색을 띌 수 있다. 컬러 휠을 통화한 빛은 DMD 칩으로 입력된다. DMD 칩은 수많은 미세 거울을 포함하고, DMD 칩에 입력된 빛을 반사시킨다. 프로젝션 렌즈는 DMD 칩에서 반사된 빛을 영상 크기로 확대시키는 역할을 수행할 수 있다.
또 다른 예로, 레이저 방식은 DPSS(Diode Pumped Solid State) 레이저와 검류계를 포함한다. 다양한 색상을 출력하는 레이저는 DPSS 레이저를 RGB 색상별로 3개를 설치한 후 특수 거울을 이용하여 광축을 중첩한 레이저를 이용한다. 검류계는 거울과 높은 출력의 모터를 포함하여 빠른 속도로 거울을 움직인다. 예를 들어, 검류계는 최대 40 KHz/sec로 거울을 회전시킬 수 있다. 검류계는 스캔 방향에 따라 마운트되는데 일반적으로 프로젝터는 평면 주사를 하므로 검류계도 x, y축으로 나뉘어 배치될 수 있다.
한편, 프로젝터(110)는 다양한 유형의 광원을 포함할 수 있다. 예를 들어, 프로젝터(110)는 램프, LED, 레이저 중 적어도 하나의 광원을 포함할 수 있다.
프로젝터(110)는 전자 장치(100)의 용도 또는 사용자의 설정 등에 따라 4:3 화면비, 5:4 화면비, 16:9 와이드 화면비로 이미지를 출력할 수 있고, 화면비에 따라 WVGA(854*480), SVGA(800*600), XGA(1024*768), WXGA(1180*720), WXGA(1180*800), SXGA(1180*1024), UXGA(1600*1100), Full HD(1920*1080) 등의 다양한 해상도로 이미지를 출력할 수 있다.
한편, 프로젝터(110)는 프로세서(170)의 제어에 의해 출력 이미지를 조절하기 위한 다양한 기능을 수행할 수 있다. 예를 들어, 프로젝터(110)는 줌, 키스톤, 퀵코너(4코너)키스톤, 렌즈 시프트 등의 기능을 수행할 수 있다.
구체적으로, 프로젝터(110)는 스크린과의 거리(투사거리)에 따라 이미지를 확대하거나 축소할 수 있다. 즉, 스크린과의 거리에 따라 줌 기능이 수행될 수 있다. 이때, 줌 기능은 렌즈를 이동시켜 화면의 크기를 조절하는 하드웨어 방식과 이미지를 크롭(crop) 등으로 화면의 크기를 조절하는 소프트웨어 방식을 포함할 수 있다. 한편, 줌 기능이 수행되면, 이미지의 초점의 조절이 필요하다. 예를 들어, 초점을 조절하는 방식은 수동 포커스 방식, 전동 방식 등을 포함한다. 수동 포커스 방식은 수동으로 초점을 맞추는 방식을 의미하고, 전동 방식은 줌 기능이 수행되면 프로젝터가 내장된 모터를 이용하여 자동으로 초점을 맞추는 방식을 의미한다. 줌기능을 수행할 때, 프로젝터(110)는 소프트웨어를 통한 디지털 줌 기능을 제공할 수 있으며, 구동부를 통해 렌즈를 이동하여 줌 기능을 수행하는 광학 줌 기능을 제공할 수 있다.
또한, 프로젝터(110)는 키스톤 기능을 수행할 수 있다. 정면 투사에 높이가 안 맞으면 위 혹은 아래로 화면이 왜곡될 수 있다. 키스톤 기능은 왜곡된 화면을 보정하는 기능을 의미한다. 예를 들어, 화면의 좌우 방향으로 왜곡이 발생되면 수평 키스톤을 이용하여 보정할 수 있고, 상하 방향으로 왜곡이 발생되면 수직 키스톤을 이용하여 보정할 수 있다. 퀵코너(4코너)키스톤 기능은 화면의 중앙 영역은 정상이지만 모서리 영역의 균형이 맞지 않은 경우 화면을 보정하는 기능이다. 렌즈 시프트 기능은 화면이 스크린을 벗어난 경우 화면을 그대로 옮겨주는 기능이다.
한편, 프로젝터(110)는 사용자 입력없이 자동으로 주변 환경 및 프로젝션 환경을 분석하여 줌/키스톤/포커스 기능을 제공할 수 있다. 구체적으로, 프로젝터(110)는 센서(뎁스 카메라, 거리 센서, 적외선 센서, 조도 센서 등)를 통해 감지된 전자 장치(100)와 스크린과의 거리, 현재 전자 장치(100)가 위치하는 공간에 대한 정보, 주변 광량에 대한 정보 등을 바탕으로 줌/키스톤/포커스 기능을 자동으로 제공할 수 있다.
또한, 프로젝터(110)는 광원을 이용하여 조명 기능을 제공할 수 있다. 특히, 프로젝터(110)는 LED를 이용하여 광원을 출력함으로써 조명 기능을 제공할 수 있다. 일 실시 예에 따라 프로젝터(110)는 하나의 LED를 포함할 수 있으며, 다른 실시 예에 따라 전자 장치는 복수의 LED를 포함할 수 있다. 한편, 프로젝터(110)는 구현 예에 따라 면발광 LED를 이용하여 광원을 출력할 수 있다. 여기서, 면발광 LED는 광원이 고르게 분산하여 출력되도록 LED의 상측에 광학 시트가 배치되는 구조를 갖는 LED를 의미할 수 있다. 구체적으로, LED를 통해 광원이 출력되면 광원이 광학 시트를 거쳐 고르게 분산될 수 있고, 광학 시트를 통해 분산된 광원은 디스플레이 패널로 입사될 수 있다.
한편, 프로젝터(110)는 광원의 세기를 조절하기 위한 디밍 기능을 사용자에게 제공 할 수 있다. 구체적으로, 유저 인터페이스(130)(예를 들어, 터치 디스플레이 버튼 또는 다이얼)를 통해 사용자로부터 광원의 세기를 조절하기 위한 사용자 입력이 수신되면, 프로젝터(110)는 수신된 사용자 입력에 대응되는 광원의 세기를 출력하도록 LED를 제어할 수 있다.
또한, 프로젝터(110)는 사용자 입력 없이 프로세서(170)에 의해 분석된 컨텐츠를 바탕으로 디밍 기능을 제공할 수 있다. 구체적으로, 프로젝터(110)는 현재 제공되는 컨텐츠에 대한 정보(예를 들어, 컨텐츠 유형, 컨텐츠 밝기 등)를 바탕으로 광원의 세기를 출력하도록 LED를 제어할 수 있다.
한편, 프로젝터(110)는 프로세서(170)의 제어에 의해 색온도를 제어할 수 있다. 여기서, 프로세서(170)는 컨텐츠에 기초하여 색온도를 제어할 수 있다. 구체적으로, 컨텐츠가 출력되기로 식별되면, 프로세서(170)는 출력이 결정된 컨텐츠의 프레임별 색상 정보를 획득할 수 있다. 그리고, 프로세서(170)는 획득된 프레임별 색상 정보에 기초하여 색온도를 제어할 수 있다. 여기서, 프로세서(170)는 프레임별 색상 정보에 기초하여 프레임의 주요 색상을 적어도 하나 이상 획득할 수 있다. 그리고, 프로세서(170)는 획득된 적어도 하나 이상의 주요 색상에 기초하여 색온도를 조절할 수 있다. 예를 들어, 프로세서(170)가 조절할 수 있는 색온도는 웜 타입(warm type) 또는 콜드 타입(cold type)으로 구분될 수 있다. 여기서, 출력될 프레임(이하 출력 프레임)이 화재가 일어난 장면을 포함하고 있다고 가정한다. 프로세서(170)는 현재 출력 프레임에 포함된 색상 정보에 기초하여 주요 색상이 적색이라고 식별(또는 획득)할 수 있다. 그리고, 프로세서(170)는 식별된 주요 색상(적색)에 대응되는 색온도를 식별할 수 있다. 여기서, 적색에 대응되는 색온도는 웜 타입일 수 있다. 한편, 프로세서(170)는 프레임의 색상 정보 또는 주용 색상을 획득하기 위하여 인공 지능 모델을 이용할 수 있다. 일 실시 예에 따라, 인공 지능 모델은 전자 장치(100)(예를 들어, 메모리(120)에 저장될 수 있다. 다른 실시 예에 따라, 인공 지능 모델은 전자 장치(100)와 통신 가능한 외부 서버에 저장될 수 있다.
한편, 전자 장치(100)는 외부 기기와 연동하여 조명 기능을 제어할 수 있다. 구체적으로, 전자 장치(100)는 외부 기기로부터 조명 정보를 수신할 수 있다. 여기서, 조명 정보는 외부 기기에서 설정된 밝기 정보 또는 색온도 정보 중 적어도 하나를 포함할 수 있다. 여기서, 외부 기기는 전자 장치(100)와 동일한 네트워크에 연결된 기기(예를 들어, 동일한 홈/회사 네트워크에 포함된 IoT 기기) 또는 전자 장치(100)와 동일한 네트워크는 아니지만 전자 장치와 통신 가능한 기기(예를 들어, 원격 제어 서버)를 의미할 수 있다. 예를 들어, 전자 장치(100)와 동일한 네트워크에 포함된 외부 조명 기기(IoT 기기)가 붉은색 조명을 50의 밝기로 출력하고 있다고 가정한다. 외부 조명 기기(IoT 기기)는 조명 정보(예를 들어, 붉은색 조명을 50의 밝기로 출력하고 있음을 나타내는 정보)를 전자 장치(100)에 직접적으로 또는 간접적으로 전송할 수 있다. 여기서, 전자 장치(100)는 외부 조명 기기로부터 수신된 조명 정보에 기초하여 광원의 출력을 제어할 수 있다. 예를 들어, 외부 조명 기기로부터 수신된 조명 정보가 붉은색 조명을 50의 밝기로 출력하는 정보를 포함하면, 전자 장치(100)는 붉은색 조명을 50의 밝기로 출력할 수 있다.
한편, 전자 장치(100)는 생체 정보에 기초하여 조명 기능을 제어할 수 있다. 구체적으로, 프로세서(170)는 사용자의 생체 정보를 획득할 수 있다. 여기서, 생체 정보는, 사용자의 체온, 심장 박동 수, 혈압, 호흡, 심전도 중 적어도 하나를 포함할 수 있다. 여기서, 생체 정보는 상술한 정보 이외에 다양한 정보가 포함될 수 있다. 일 예로, 전자 장치는 생체 정보를 측정하기 위한 센서를 포함할 수 있다. 프로세서(170)는 센서를 통해 사용자의 생체 정보를 획득할 수 있고, 획득된 생체 정보에 기초하여 광원의 출력을 제어할 수 있다. 다른 예로, 프로세서(170)는 입출력 인터페이스(140)를 통해 생체 정보를 외부 기기로부터 수신할 수 있다. 여기서, 외부 기기는 사용자의 휴대용 통신 기기(예를 들어, 스마트폰 또는 웨어러블 디바이스)를 의미할 수 있다. 프로세서(170)는 외부 기기로부터 사용자의 생체 정보를 획득할 수 있고, 획득된 생체 정보에 기초하여 광원의 출력을 제어할 수 있다. 한편, 구현 예에 따라, 전자 장치는 사용자가 수면하고 있는지 여부를 식별할 수 있고, 사용자가 수면 중(또는 수면 준비 중)인 것으로 식별되면 프로세서(170)는 사용자의 생체 정보에 기초하여 광원의 출력을 제어할 수 있다.
메모리(120)는 전자 장치(100)에 관한 적어도 하나의 명령이 저장될 수 있다. 그리고, 메모리(120)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(120)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(120)는 플래시 메모리 (Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(120)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(170)는 메모리(120)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(120)는 프로세서(170)에 의해 액세스되며, 프로세서(170)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
한편, 본 개시에서 메모리(120)라는 용어는 메모리(120), 프로세서(170) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
유저 인터페이스(130)는 다양한 유형의 입력 장치를 포함할 수 있다. 예를 들어, 유저 인터페이스(130)는 물리적 버튼을 포함할 수 있다. 이때, 물리적 버튼은 기능키(function key), 방향키(예를 들어, 4방향 키) 또는 다이얼 버튼(dial button)을 포함할 수 있다. 일 실시 예에 따라, 물리적 버튼은 복수의 키로 구현될 수 있다. 다른 실시 예에 따라, 물리적 버튼은 하나의 키(one key)로 구현될 수 있다. 여기서, 물리적 버튼이 하나의 키로 구현되는 경우, 전자 장치(100)는 하나의 키가 임계 시간 이상 눌려지는 사용자 입력을 수신할 수 있다. 하나의 키가 임계 시간 이상 눌려지는 사용자 입력이 수신되면, 프로세서(170)는 사용자 입력에 대응되는 기능을 수행할 수 있다. 예를 들어, 프로세서(170)는 사용자 입력에 기초하여 조명 기능을 제공할 수 있다.
또한, 유저 인터페이스(130)는 비접촉 방식을 이용하여 사용자 입력을 수신할 수 있다. 접촉 방식을 통해서 사용자 입력을 수신하는 경우 물리적인 힘이 전자 장치에 전달 되어야 한다. 따라서, 물리적인 힘에 관계 없이 전자 장치를 제어하기 위한 방식이 필요할 수 있다. 구체적으로, 유저 인터페이스(130)는 사용자 제스쳐를 수신할 수 있고, 수신된 사용자 제스쳐에 대응되는 동작을 수행할 수 있다. 여기서, 유저 인터페이스(130)는 센서(예를 들어, 이미지 센서 또는 적외선 센서)를 통해 사용자의 제스쳐를 수신할 수 있다.
또한, 유저 인터페이스(130)는 터치 방식을 이용하여 사용자 입력을 수신할 수 있다. 예를 들어, 유저 인터페이스(130)는 터치 센서를 통해 사용자 입력을 수신할 수 있다. 일 실시 예에 따라, 터치 방식은 비접촉 방식으로 구현될 수 있다. 예를 들어, 터치 센서는 임계 거리 이내로 사용자 신체가 접근했는지 여부를 판단할 수 있다. 여기서, 터치 센서는 사용자가 터치 센서를 접촉하지 않는 경우에도 사용자 입력을 식별할 수 있다. 한편, 다른 구현 예에 따라, 터치 센서는 사용자가 터치 센서를 접촉하는 사용자 입력을 식별할 수 있다.
한편, 전자 장치(100)는 상술한 유저 인터페이스 외에 다양한 방법으로 사용자 입력을 수신할 수 있다. 일 실시 예로, 전자 장치(100)는 외부 원격 제어 장치를 통해 사용자 입력을 수신할 수 있다. 여기서, 외부 원격 제어 장치는 전자 장치(100)에 대응되는 원격 제어 장치(예를 들어, 전자 장치 전용 제어 기기) 또는 사용자의 휴대용 통신 기기(예를 들어, 스마트폰 또는 웨어러블 디바이스)일 수 있다. 여기서, 사용자의 휴대용 통신 기기는 전자 장치를 제어하기 위한 어플리케이션이 저장될 수 있다. 휴대용 통신 기기는 저장된 어플리케이션을 통해 사용자 입력을 획득하고, 획득된 사용자 입력을 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 휴대용 통신 기기로부터 사용자 입력을 수신하여 사용자의 제어 명령에 대응되는 동작을 수행할 수 있다.
한편, 전자 장치(100)는 음성 인식을 이용하여 사용자 입력을 수신할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 전자 장치에 포함된 마이크를 통해 사용자 음성을 수신할 수 있다. 다른 실시 예에 따라, 전자 장치(100)는 마이크 또는 외부 장치로부터 사용자 음성을 수신할 수 있다. 구체적으로, 외부 장치는 외부 장치의 마이크를 통해 사용자 음성을 획득할 수 있고, 획득된 사용자 음성을 전자 장치(100)에 전송할 수 있다. 외부 장치로부터 전송되는 사용자 음성은 오디오 데이터 또는 오디오 데이터가 변환된 디지털 데이터(예를 들어, 주파수 도메인으로 변환된 오디오 데이터 등)일 수 있다. 여기서, 전자 장치(100)는 수신된 사용자 음성에 대응되는 동작을 수행할 수 있다. 구체적으로, 전자 장치(100)는 마이크를 통해 사용자 음성에 대응되는 오디오 데이터를 수신할 수 있다. 그리고, 전자 장치(100)는 수신된 오디오 데이터를 디지털 데이터로 변환할 수 있다. 그리고, 전자 장치(100)는 STT(Speech To Text) 기능을 이용하여 변환된 디지털 데이터를 텍스트 데이터로 변환할 수 있다. 일 실시 예에 따라, STT(Speech To Text) 기능은 전자 장치(100)에서 직접 수행될 수 있으며,
다른 실시 예에 따라, STT(Speech To Text) 기능은 외부 서버에서 수행될 수 있다. 전자 장치(100)는 디지털 데이터를 외부 서버로 전송할 수 있다. 외부 서버는 디지털 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 바탕으로 제어 명령 데이터를 획득할 수 있다. 외부 서버는 제어 명령 데이터(이때, 텍스트 데이터도 포함될 수 있음.)를 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 획득된 제어 명령 데이터를 바탕으로 사용자 음성에 대응되는 동작을 수행할 수 있다.
한편, 전자 장치(100)는 하나의 어시스턴스(또는 인공지능 비서, 예로, 빅스비TM 등)를 이용하여 음성 인식 기능을 제공할 수 있으나, 이는 일 실시 예에 불과할 뿐 복수의 어시스턴스를 통해 음성 인식 기능을 제공할 수 있다. 이때, 전자 장치(100)는 어시스턴스에 대응되는 트리거 워드 또는 리모컨에 존재하는 특정 키를 바탕으로 복수의 어시스턴스 중 하나를 선택하여 음성 인식 기능을 제공할 수 있다.
한편, 전자 장치(100)는 스크린 인터렉션을 이용하여 사용자 입력을 수신할 수 있다. 스크린 인터렉션이란, 전자 장치가 스크린(또는 투사면)에 투사한 이미지를 통해 기 결정된 이벤트가 발생하는지 식별하고, 기 결정된 이벤트에 기초하여 사용자 입력을 획득하는 기능을 의미할 수 있다. 여기서, 기 결정된 이벤트는 특정 위치(예를 들어, 사용자 입력을 수신하기 위한 UI가 투사된 위치)에 특정 위치에 기 결정된 오브젝트가 식별되는 이벤트를 의미할 수 있다. 여기서, 기 결정된 오브젝트는 사용자의 신체 일부(예를 들어, 손가락), 지시봉 또는 레이저 포인트 중 적어도 하나를 포함할 수 있다. 전자 장치(100)는 투사된 UI에 대응되는 위치에 기 결정된 오브젝트가 식별되면, 투사된 UI를 선택하는 사용자 입력이 수신된 것으로 식별할 수 있다. 예를 들어, 전자 장치(100)는 스크린에 UI를 표시하도록 가이드 이미지를 투사할 수 있다. 그리고, 전자 장치(100)는 사용자가 투사된 UI를 선택하는지 여부를 식별할 수 있다. 구체적으로, 전자 장치(100)는 기 결정된 이벤트가 투사된 UI의 위치에서 식별되면, 사용자가 투사된 UI를 선택한 것으로 식별할 수 있다. 여기서, 투사되는 UI는 적어도 하나 이상의 항목(item)을 포함할 수 있다. 여기서, 전자 장치(100)는 기 결정된 이벤트가 투사된 UI의 위치에 있는지 여부를 식별하기 위하여 공간 분석을 수행할 수 있다. 여기서, 전자 장치(100)는 센서(예를 들어, 이미지 센서, 적외선 센서, 뎁스 카메라, 거리 센서 등)를 통해 공간 분석을 수행할 수 있다. 전자 장치(100)는 공간 분석을 수행함으로써 특정 위치(UI가 투사된 위치)에서 기 결정된 이벤트가 발생하는지 여부를 식별할 수 있다. 그리고, 특정 위치(UI가 투사된 위치)에서 기 결정된 이벤트가 발생되는 것으로 식별되면, 전자 장치(100)는 특정 위치에 대응되는 UI를 선택하기 위한 사용자 입력이 수신된 것으로 식별할 수 있다.
입출력 인터페이스(140)는 오디오 신호 및 영상 신호 중 적어도 하나를 입출력 하기 위한 구성이다. 입출력 인터페이스(140)는 외부 장치로부터 오디오 및 영상 신호 중 적어도 하나를 입력 받을 수 있으며, 외부 장치로 제어 명령을 출력할 수 있다.
한편, 본 개시의 일 실시 예에 입출력 인터페이스(140)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High- Definition Link), USB (Universal Serial Bus), USB C-type, DP(Display Port), 썬더볼트 (Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(Dsubminiature) 및 DVI(Digital Visual Interface) 중 적어도 하나 이상의 유선 입출력 인터페이스로 구현될 수 있다. 일 실시 예에 따라, 유선 입출력 인터페이스는 오디오 신호만을 입출력하는 인터페이스와 영상 신호만을 입출력하는 인터페이스로 구현되거나, 오디오 신호 및 영상 신호를 모두 입출력하는 하나의 인터페이스로 구현될 수 있다.
또한, 전자 장치(100)는 유선 입출력 인터페이스를 통해 데이터를 수신할 수 있으나, 이는 일 실시 예에 불과할 뿐, 유선 입출력 인터페이스를 통해 전력을 공급받을 수 있다. 예를 들어, 전자 장치(100)는 USB C-type을 통해 외부 배터리에서 전력을 공급받거나 전원 어뎁터를 통해 콘센트에서 전력을 공급받을 수 있다. 또 다른 예로, 전자 장치는 DP를 통해 외부 장치(예를 들어, 노트북이나 모니터 등)로부터 전력을 공급받을 수 있다.
한편, 본 개시의 일 실시 예에 입출력 인터페이스(140)는 Wi-Fi, Wi-Fi 다이렉트, 블루투스, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project) 및 LTE(Long Term Evoloution)의 통신 방식 중 적어도 하나 이상의 통신 방식으로 통신을 수행하는 무선 입출력 인터페이스로 구현될 수 있다. 구현 예에 따라, 무선 입출력 인터페이스는 오디오 신호만을 입출력하는 인터페이스와 영상 신호만을 입출력하는 인터페이스로 구현되거나, 오디오 신호 및 영상 신호를 모두 입출력하는 하나의 인터페이스로 구현될 수 있다.
또한, 오디오 신호는 유선 입출력 인터페이스를 통해 입력받고, 영상 신호는 무선 입출력 인터페이스를 통해 입력 받도록 구현될 수 있다. 또는, 오디오 신호는 무선 입출력 인터페이스를 통해 입력받고, 영상 신호는 유선 입출력 인터페이스를 통해 입력 받도록 구현될 수 있다.
오디오 출력부(150)는 오디오 신호를 출력하는 구성이다. 특히, 오디오 출력부(150)는 오디오 출력 믹서, 오디오 신호 처리기, 음향 출력 모듈을 포함할 수 있다. 오디오 출력 믹서는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들면, 오디오 출력 믹서는 아날로그 오디오 신호 및 다른 아날로그 오디오 신호(예: 외부로부터 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다. 음향 출력 모듈은, 스피커 또는 출력 단자를 포함할 수 있다. 일 실시 예에 따르면 음향 출력 모듈은 복수의 스피커들을 포함할 수 있고, 이 경우, 음향 출력 모듈은 본체 내부에 배치될 수 있고, 음향 출력 모듈의 진동판의 적어도 일부를 가리고 방사되는 음향은 음도관(waveguide)을 통과하여 본체 외부로 전달할 수 있다. 음향 출력 모듈은 복수의 음향 출력 유닛을 포함하고, 복수의 음향 출력 유닛이 본체의 외관에 대칭 배치됨으로써 모든 방향으로, 즉 360도 전 방향으로 음향을 방사할 수 있다.
전원 공급 장치(160)는 외부로부터 전력을 공급받아 전자 장치(100)의 다양한 구성에 전력을 공급할 수 있다. 본 개시의 일 실시 예에 따른 전원 공급 장치(160)는 다양한 방식을 통해 전력을 공급받을 수 있다. 일 실시 예로, 전원 공급 장치(160)는 도 1에 도시된 바와 같은 커넥터(109)를 이용하여 전력을 공급받을 수 있다. 또한, 전원 공급 장치(160)는 220V의 DC 전원 코드를 이용하여 전력을 공급 받을 수 있다. 다만 이에 한정되지 않고, 전자 장치는 USB 전원 코드를 이용하여 전력을 공급 받거나 무선 충전 방식을 이용하여 전력을 공급 받을 수 있다.
또한, 전원 공급 장치(160)는 내부 배터리 또는 외부 배터리를 이용하여 전력을 공급 받을 수 있다. 본 개시의 일 실시 예에 따른 전원 공급 장치(160)는 내부 배터리를 통해 전력을 공급 받을 수 있다. 일 예로, 전원 공급 장치(160)는 220V의 DC 전원 코드, USB 전원 코드 및 USB C-Type 전원 코드 중 적어도 하나를 이용하여 내부 배터리의 전력을 충전하고, 충전된 내부 배터리를 통해 전력을 공급 받을 수 있다. 또한, 본 개시의 일 실시 예에 따른 전원 공급 장치(160)는 외부 배터리를 통해 전력을 공급 받을 수 있다. 일 예로, USB 전원 코드, USB C-Type 전원 코드, 소켓 홈 등 다양한 유선 통신 방식을 통하여 전자 장치와 외부 배터리의 연결이 수행되면, 전원 공급 장치(160)는 외부 배터리를 통해 전력을 공급 받을 수 있다. 즉, 전원 공급 장치(160)는 외부 배터리로부터 바로 전력을 공급 받거나, 외부 배터리를 통해 내부 배터리를 충전하고 충전된 내부 배터리로부터 전력을 공급 받을 수 있다.
본 개시에 따른 전원 공급 장치(160)는 상술한 복수의 전력 공급 방식 중 적어도 하나 이상을 이용하여 전력을 공급 받을 수 있다.
한편, 소비 전력과 관련하여, 전자 장치(100)는 소켓 형태 및 기타 표준 등을 이유로 기설정된 값(예로, 43W) 이하의 소비 전력을 가질 수 있다. 이때, 전자 장치(100)는 배터리 이용 시에 소비 전력을 줄일 수 있도록 소비 전력을 가변시킬 수 있다. 즉, 전자 장치(100)는 전원 공급 방법 및 전원 사용량 등을 바탕으로 소비 전력을 가변시킬 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 다양한 스마트 기능을 제공할 수 있다.
구체적으로, 전자 장치(100)는 전자 장치(100)를 제어하기 위한 휴대 단말 장치와 연결되어 휴대 단말 장치에서 입력되는 사용자 입력을 통해 전자 장치(100)에서 출력되는 화면이 제어될 수 있다. 일 예로, 휴대 단말 장치는 터치 디스플레이를 포함하는 스마트폰으로 구현될 수 있으며, 전자 장치(100)는 휴대 단말 장치에서 제공하는 화면 데이터를 휴대 단말 장치로부터 수신하여 출력하고, 휴대 단말 장치에서 입력되는 사용자 입력에 따라 전자 장치(100)에서 출력되는 화면이 제어될 수 있다.
전자 장치(100)는 미라캐스트(Miracast), Airplay, 무선 DEX, Remote PC 방식 등 다양한 통신 방식을 통해 휴대 단말 장치와 연결을 수행하여 휴대 단말 장치에서 제공하는 컨텐츠 또는 음악을 공유할 수 있다.
그리고, 휴대 단말 장치와 전자 장치(100)는 다양한 연결 방식으로 연결이 수행될 수 있다. 일 실시 예로, 휴대 단말 장치에서 전자 장치(100)를 검색하여 무선 연결을 수행하거나, 전자 장치(100)에서 휴대 단말 장치를 검색하여 무선 연결을 수행할 수 있다. 그리고, 전자 장치(100)는 휴대 단말 장치에서 제공하는 컨텐츠를 출력할 수 있다.
일 실시 예로, 휴대 단말 장치에서 특정 컨텐츠 또는 음악이 출력 중인 상태에서 휴대 단말 장치를 전자 장치 근처에 위치시킨 후 휴대 단말 장치의 디스플레이를 통해 기 설정된 제스처가 감지되면(예로, 모션 탭뷰), 전자 장치(100)는 휴대 단말 장치에서 출력 중인 컨텐츠 또는 음악을 출력할 수 있다.
일 실시 예로, 휴대 단말 장치에서 특정 컨텐츠 또는 음악이 출력 중인 상태에서 휴대 단말 장치가 전자 장치(100)와 기 설정 거리 이하로 가까워지거나(예로, 비접촉 탭뷰) 휴대 단말 장치가 전자 장치(100)와 짧은 간격으로 두 번 접촉되면(예로, 접촉 탭뷰), 전자 장치(100)는 휴대 단말 장치에서 출력 중인 컨텐츠 또는 음악을 출력할 수 있다.
상술한 실시 예에서는 휴대 단말 장치에서 제공되고 있는 화면과 동일한 화면이 전자 장치(100)에서 제공되는 것으로 설명하였으나, 본 개시는 이에 한정되지 않는다. 즉, 휴대 단말 장치와 전자 장치(100) 간 연결이 구축되면, 휴대 단말 장치에서는 휴대 단말 장치에서 제공되는 제1 화면이 출력되고, 전자 장치(100)에서는 제1 화면과 상이한 휴대 단말 장치에서 제공되는 제2 화면이 출력될 수 있다. 일 예로, 제1 화면은 휴대 단말 장치에 설치된 제1 어플리케이션이 제공하는 화면이며, 제2 화면은 휴대 단말 장치에 설치된 제2 어플리케이션이 제공하는 화면일 수 있다. 일 예로, 제1 화면과 제2 화면은 휴대 단말 장치에 설치된 하나의 어플리케이션에서 제공하는 서로 상이한 화면일 수 있다. 또한, 일 예로, 제1 화면은 제2 화면을 제어하기 위한 리모컨 형식의 UI를 포함하는 화면일 수 있다.
본 개시에 따른 전자 장치(100)는 대기 화면을 출력할 수 있다. 일 예로, 전자 장치(100)가 외부 장치와 연결이 수행되지 않은 경우 또는 외부 장치로부터 기 설정된 시간 동안 수신되는 입력이 없는 경우 전자 장치(100)는 대기 화면을 출력할 수 있다. 전자 장치(100)가 대기 화면을 출력하기 위한 조건은 상술한 예에 한정되지 않고 다양한 조건들에 의해 대기 화면이 출력될 수 있다.
전자 장치(100)는 블루 스크린 형태의 대기 화면을 출력할 수 있으나, 본 개시는 이에 한정되지 않는다. 일 예로, 전자 장치(100)는 외부 장치로부터 수신되는 데이터에서 특정 오브젝트의 형태만을 추출하여 비정형 오브젝트를 획득하고, 획득된 비정형 오브젝트를 포함하는 대기 화면을 출력할 수 있다.
도 14는 본 개시의 다른 실시 예들에 따른, 전자 장치(100)의 외관을 도시한 사시도이다.
도 14를 참조하면, 전자 장치(100)는 지지대(또는 “손잡이”라는 함.)(108a)를 포함할 수 있다.
다양한 실시 예의 지지대(108a)는 사용자가 전자 장치(100)를 파지하거나 이동시키기 위하여 마련되는 손잡이 또는 고리일 수 있으며, 또는 지지대(108a)는 본체(105)가 측면 방향으로 눕혀진 상태에서 본체(105)를 지지하는 스탠드일 수 있다.
지지대(108a)는 도 14에 도시된 바와 같이 본체(105)의 외주면에 결합 또는 분리되도록 힌지 구조로 연결될 수 있으며, 사용자의 필요에 따라 선택적으로 본체(105) 외주면에서 분리 및 고정될 수 있다. 지지대(108a)의 개수, 형상 또는 배치 구조는 제약이 없이 다양하게 구현될 수 있다. 도면에는 도시되지 않았으나, 지지대(108a)는 본체(105) 내부에 내장되어 필요에 따라 사용자가 꺼내서 사용할 수 있으며, 또는 지지대(108a)는 별도의 액세서리로 구현되어 전자 장치(100)에 탈부착 가능할 수 있다.
지지대(108a)는 제1 지지면(108a-1)과 제2 지지면(108a-2)을 포함할 수 있다. 제1 지지면(108a-1)은 지지대(108a)가 본체(105) 외주면으로부터 분리된 상태에서 본체(105) 바깥 방향을 마주보는 일 면일 수 있고, 제2 지지면(108a-2)은 지지대(108a)가 본체(105) 외주면으로부터 분리된 상태에서 본체(105) 내부 방향을 마주보는 일 면일 수 있다.
제1 지지면(108a-1)은 본체(105) 하부로부터 본체(105) 상부로 전개되며 본체(105)로부터 멀어질 수 있으며, 제1 지지면(108a-1)은 평탄하거나 균일하게 굴곡진 형상을 가질 수 있다. 제1 지지면(108a-1)은 전자 장치(100)가 본체(105)의 외측면이 바닥면에 닿도록 거치 되는 경우, 즉 프로젝션 렌즈(110)가 전면 방향을 향하도록 배치되는 경우 본체(105)를 지지할 수 있다. 2개 이상의 지지대(108a)를 포함하는 실시 예에 있어서는, 2개의 지지대(108a)의 간격 또는 힌지 개방된 각도를 조절하여 헤드(103)와 프로젝션 렌즈(110)의 출사 각도를 조절할 수 있다.
제2 지지면(108a-2)은 지지대(108a)가 사용자 또는 외부 거치 구조에 의하여 지지가 될 때 사용자 또는 외부 거치 구조에 맞닿는 면으로, 전자 장치(100)를 지지하거나 이동시키는 경우 미끄러지지 않도록 사용자의 손의 파지 구조 또는 외부 거치 구조에 대응되는 형상을 가질 수 있다. 사용자는 프로젝션 렌즈(110)를 전면 방향으로 향하게 하여 헤드(103)를 고정하고 지지대(108a)를 잡고 전자 장치(100)를 이동시키며, 손전등과 같이 전자 장치(100)를 이용할 수 있다.
지지대 홈(104)은 본체(105)에 마련되어 지지대(108a)가 사용되지 않을 때 수용 가능한 홈 구조로, 도 14에 도시된 바와 같이 본체(105)의 외주면에 지지대(108a)의 형상에 대응되는 홈 구조로 구현될 수 있다. 지지대 홈(104)을 통하여 지지대(108a)가 사용되지 않을 때 본체(105)의 외주면에 지지대(108a)가 보관될 수 있으며, 본체(105) 외주면은 매끄럽게 유지될 수 있다.
또는, 지지대(108a)가 본체(105) 내부에 보관되고 지지대(108a)가 필요한 상황에서 지지대(108a)를 본체(105) 외부로 빼내는 구조를 가질 수 있다. 이 경우, 지지대 홈(104)은 지지대(108a)를 수용하도록 본체(105) 내부로 인입된 구조일 수 있으며, 제2 지지면(108a-2)이 본체(105) 외주면에 밀착되거나 별도의 지지대 홈(104)을 개폐하는 도어(미도시)를 포함할 수 있다.
도면에는 도시되지 않았으나, 전자 장치(100)는 전자 장치(100)의 이용 또는 보관에 도움을 주는 다양한 종류의 액세서리를 포함할 수 있으며, 예를 들면, 전자 장치(100)는 전자 장치(100)를 보호하며 용이하게 운반할 수 있도록 보호 케이스(미도시)를 포함할 수 있으며, 또는, 본체(105)를 지지하거나 고정하는 삼각대(미도시) 또는 외부 면에 결합되어 전자 장치(100)를 고정 가능한 브라켓(미도시)을 포함할 수 있다.
도 15는 본 개시의 또 다른 실시 예들에 따른, 전자 장치(100)의 외관을 도시한 사시도이다.
도 15를 참조하면, 전자 장치(100)는 지지대(또는 “손잡이”라는 함.)(108b)를 포함할 수 있다.
다양한 실시 예의 지지대(108b)는 사용자가 전자 장치(100)를 파지하거나 이동시키기 위하여 마련되는 손잡이 또는 고리일 수 있으며, 또는 지지대(108b)는 본체(105)가 측면 방향으로 눕혀진 상태에서 본체(105)가 임의의 각도로 향할 수 있도록 지지하는 스탠드일 수 있다.
구체적으로, 지지대(108b)는 도 15에 도시된 바와 같이, 본체(105)의 기설정된 지점(예를 들어, 본체 높이의 2/3~ 3/4 지점)에서 본체(105)와 연결될 수 있다. 지지대(108)가 본체 방향으로 회전되면, 본체(105)가 측면 방향으로 눕혀진 상태에서 본체(105)가 임의의 각도로 향할 수 있도록 지지할 수 있다.
도 16은 본 개시의 또 다른 실시 예들에 따른, 전자 장치(100)의 외관을 도시한 사시도이다.
도 16을 참조하면, 전자 장치(100)는 지지대(또는 “받침대”라고 함)(108c)를 포함할 수 있다. 다양한 실시 예의 지지대(108c)는 전자 장치(100)를 지면에 지지하기 위해 마련되는 베이스 플레이트(108c-1)와 베이스 플레이트(108c-1)와 본체(105)를 연결하는 두 개의 지지부재(108c-2)를 포함할 수 있다.
본 개시의 일 실시 예로, 두 개의 지지부재(108c-2)의 높이는 동일하여, 두 개의 지지부재(108c-2)의 일 단면 각각이 본체(105)의 일 외주면에 마련된 홈과 힌지 부재(108c-3)에 의해 결합 또는 분리될 수 있다.
두 개의 지지부재는 본체(105)의 기 설정된 지점(예를 들어, 본체 높이의 1/3 ~ 2/4 지점)에서 본체(105)와 힌지 연결될 수 있다.
두 개의 지지부재와 본체가 힌지 부재(108c-3)에 의해 결합되면, 두 개의 힌지 부재(108c-3)로 인해 형성되는 가상의 수평 축을 기준으로 본체(105)가 회전되어 프로젝션 렌즈(110)의 출사 각도가 조절될 수 있다.
도 16에는 두 개의 지지부재(108c-2)가 본체(105)와 연결되는 실시 예에 대하여 도시되어 있지만, 본 개시는 이에 한정되지 않고, 도 17a 및 도 17b와 같이 하나의 지지부재와 본체(105)가 하나의 힌지 부재에 의해 연결될 수 있다.
도 17a는 본 개시의 또 다른 실시 예들에 따른, 전자 장치(100)의 외관을 도시한 사시도이다.
도 17b는 도 17a의 전자 장치(100)가 회전된 상태를 도시한 사시도이다.
도 17a 및 도 17b를 참조하면, 다양한 실시 예의 지지대(108d)는 전자 장치(100)를 지면에 지지하기 위해 마련되는 베이스 플레이트(108d-1)와 베이스 플레이트(108-c)와 본체(105)를 연결하는 하나의 지지부재(108d-2)를 포함할 수 있다.
그리고, 하나의 지지부재(108d-2)의 단면은 본체(105)의 일 외주 면에 마련된 홈과 힌지 부재(미도시)에 의해 결합 또는 분리될 수 있다.
하나의 지지부재(108d-2)와 본체(105)가 하나의 힌지 부재(미도시)에 의해 결합되면, 도 17b와 같이 하나의 힌지 부재(미도시)로 인해 형성되는 가상의 수평 축을 기준으로 본체(105)가 회전될 수 있다.
한편, 도 14, 도 15, 도 16, 도 17a 및 도 17b에 도시된 지지대는 일 실시 예에 불과할 뿐, 전자 장치(100)는 다양한 위치나 형태로 지지대를 구비할 수 있음은 물론이다.
도 12 내지 도 17b에서 설명한 바와 같이 전자 장치가 원통형으로 제조되는 경우, 거리 센서는 프로젝트 렌즈(111)의 주변을 둘러싸는 형태로 배치될 수 있다. 이 경우, 전자 장치의 기울기나 틀어짐에 따라 복수의 거리 센서들에서 측정하는 거리 값이 전부 달라질 수 있으므로, 이러한 거리 값들의 평균값을 산출하면 프로젝트 렌즈(111)의 중심부터 스크린까지의 거리를 산출할 수 있다. 또한, 각 거리 센서의 위치와 센서들 간의 거리, 각 센서들의 센싱 값을 종합적으로 고려하면, 그로부터 기울기를 추정할 수도 있다. 프로세서는 추정된 기울기, 거리 등을 이용하여 키스톤 보정을 수행할 수 있다.
이상과 같은 다양한 실시 예에 따르면, 전자 장치는 카메라와 같은 외부 장치 또는 전자 장치에 부착된 이미지 센서 등이 없더라도 전자 장치의 자세를 추정하여 그에 맞게 영상을 보정하여 출력할 수 있다. 이에 따라, 왜곡되지 않은 영상을 최대한의 크기 및 해상도로 제공할 수 있다.
이상과 같은 다양한 실시 예에 따른 영상 처리 방법을 수행하기 위한 프로그램 코드가 전자 장치에 설치되는 경우, 전자 장치는 그 프로그램 코드를 실행시켜 상술한 방법을 수행할 수 있다. 가령, 전자 장치가 중력 방향으로 회전된 각도 및 전자 장치가 스크린을 기준으로 틀어진 각도를 각각 획득하는 단계, 획득된 각도들에 기초하여 영상에 대한 키스톤 보정을 수행하는 단계, 스크린에 표시될 영상의 크기가 스크린 내의 영상 표시 범위를 초과하면, 키스톤 보정된 영상의 크기를 조절하는 단계 및 크기가 조절된 영상을 프로젝터를 통해 스크린 방향으로 투사하는 단계를 순차적으로 수행하기 위한 프로그램 코드가 전자 장치에서 설치되면, 전자 장치는 사고 신고 작업을 수행할 수 있다.
이러한 프로그램 코드는 하나의 어플리케이션으로 구성되어, 온라인 상에서 또는 기록 매체에 실린 상태로 배포될 수도 있고, 펌웨어 형태로 전자 장치에 탑재된 상태로 보급될 수도 있다. 이러한 어플리케이션이 설치된 전자 장치는, 상술한 다양한 영상 처리 방법을 수행할 수 있다.
또한, 이상과 같은 다양한 실시 예들은 전체적으로 또는 일부 실시 예 별로 조합되어 하나의 장치에서 구현될 수도 있고, 실시 예 별로 각각 구현될 수도 있다.
이러한 프로그램 코드는 ROM, RAM, 메모리 칩, 메모리 카드, 외장형 하드, 하드, CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 다양한 유형의 컴퓨터 판독 가능 매체에 기록된 상태로 배포될 수 있다. 이러한 프로그램 코드를 온라인 상에서 다운로드 받은 장치 역시 상술한 다양한 동작들을 수행할 수 있다.
이상 첨부 도면을 참고하여 본 발명에 대해서 설명하였지만, 본 발명의 권리 범위는 후술하는 특허 청구범위에 의해 결정되며, 전술한 실시 예 및/또는 도면에 제한되는 것으로 해석되어서는 아니 된다. 또한 본 기술 분야의 통상의 지식을 가진 자라면, 특허 청구범위에 기재된 본 발명의 사상을 벗어나지 않는 범위 내에서 본 발명을 다양하게 개량, 변경 및 수정할 수 있음을 명백히 이해할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    본체;
    프로젝터;
    센싱 값을 감지하는 가속도 센서, 상기 전자 장치와 스크린 간의 거리 값을 감지하는 복수의 거리 센서를 포함하는 복수의 센서;
    상기 본체가 힌지 구조를 중심으로 회전할 수 있도록 상기 본체의 외측면에 상기 힌지 구조로 연결되고, 지지면에 상기 본체를 지지하는 지지대; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 가속도 센서에 의해 감지된 센싱 값에 기초하여 상기 전자 장치가 중력 방향을 기준으로 기울어진 수직 각도를 식별하고,
    상기 복수의 거리 센서에 의해 감지된 상기 거리 값에 따른 상기 스크린과 상기 전자 장치 간의 거리에 기초하여 상기 전자 장치가 회전된 회전 각도를 식별하고,
    보정된 영상을 제공하기 위해 영상에 대한 키스톤 보정에 대응되는 기능을 수행하며,
    상기 수직 각도 및 상기 회전 각도 중 적어도 하나의 각도에 기초하여 상기 보정된 영상의 크기를 식별하고,
    상기 보정된 영상의 크기에 기초하여 상기 보정된 영상을 상기 스크린에 투사하도록 상기 프로젝터를 제어하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 센싱 값 및 상기 거리 값 중 적어도 하나의 값의 변화에 기초하여 상기 전자 장치의 움직임 여부를 식별하고, 상기 센싱 값 및 상기 거리 값의 변화가 없을 때 상기 전자 장치가 정지 상태라고 식별되면 상기 수직 각도 및 상기 회전 각도 중 적어도 하나에 기초하여 상기 키스톤 보정에 대응되는 기능을 수행하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    제1 시간에 상기 센싱 값을 감지하고, 상기 가속도 센서에 의해 상기 제1 시간 이전인 제2 시간에 이전 센싱 값을 감지하며, 상기 제2 시간에 감지된 이전 센싱 값과 상기 제1 시간에 감지된 상기 센싱 값을 비교하고, 상기 이전 센싱 값과 상기 센싱 값의 차이에 기초하여 상기 전자 장치의 움직임 여부를 식별하는, 전자 장치.
  4. 제1항에 있어서,
    상기 복수의 거리 센서는,
    상기 전자 장치의 바닥면을 기준으로 기설정된 제1 각도로 기울어져 배치 되고,
    상기 프로세서는,
    상기 상기 복수의 거리 센서의 기설정된 제1 각도에 기초하여 상기 스크린과 상기 전자 장치 간의 감지된 거리를 보정하고, 상기 스크린과 상기 전자 장치 간의 보정된 거리에 기초하여 상기 회전 각도를 식별하는, 전자 장치.
  5. 제1항에 있어서,
    메모리;를 더 포함하고,
    상기 프로세서는,
    상기 스크린에 정상 영상이 투사될 때 상기 스크린과 상기 전자 장치 간의 거리를 기준 거리로 상기 메모리에 저장하며, 상기 수직 각도 및 상기 회전 각도에 기초하여 상기 정상 영상의 꼭지점 좌표를 식별하고, 상기 정상 영상의 꼭지점 좌표로 형성되는 범위를 상기 기준 영상 표시 범위로 식별하여 상기 메모리에 저장하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 수직 각도 및 상기 회전 각도 중 적어도 하나의 값이 0이 아니면 상기 스크린에 투사되는 영상이 비정상 영상이라고 식별하고, 상기 수직 각도 및 상기 회전 각도에 기초하여 상기 비정상 영상의 꼭지점 좌표를 식별하며, 상기 비정상 영상의 꼭지점 좌표에 기초하여 상기 키스톤 보정에 대응되는 기능을 수행하는, 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 저장된 기준 영상 표시 범위 및 상기 비정상 영상의 꼭지점 좌표에 기초하여 상기 보정된 영상의 크기를 식별하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 비정상 영상의 모든 꼭지점 좌표가 상기 기준 영상 표시 범위 이내이면, 기설정된 스케일 파라미터에 기초하여 상기 기준 영상 표시 범위 내에서 상기 보정된 이미지를 최대 크기로 표시하도록 상기 보정된 영상의 크기를 제어하는, 전자 장치.
  9. 전자 장치의 제어 방법에 있어서,
    본체 및 상기 본체가 힌지 구조를 중심으로 회전할 수 있도록 상기 본체의 외측면에 상기 힌지 구조로 연결되고 지지면에 상기 본체를 지지하는 지지대를 포함하는 상기 전자 장치의 가속도 센서에 의해 감지된 센싱 값에 기초하여 상기 전자 장치가 중력 방향을 기준으로 기울어진 수직 각도를 식별하는 단계;
    복수의 거리 센서에 의해 감지된 거리 값에 따른 상기 스크린과 상기 전자 장치 간의 거리에 기초하여 상기 전자 장치가 회전된 회전 각도를 식별하는 단계;
    보정된 영상을 제공하기 위해 영상에 대한 키스톤 보정에 대응되는 기능을 수행하는 단계;
    상기 수직 각도 및 상기 회전 각도 중 적어도 하나의 각도에 기초하여 상기 보정된 영상의 크기를 식별하는 단계; 및
    상기 보정된 영상의 크기에 기초하여 상기 보정된 영상을 상기 스크린에 투사하는 단계;를 포함하는 전자 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 센싱 값 및 상기 거리 값 중 적어도 하나의 값의 변화에 기초하여 상기 전자 장치의 움직임 여부를 식별하는 단계; 및
    상기 센싱 값 및 상기 거리 값의 변화가 없을 때 상기 전자 장치가 정지 상태라고 식별되면 상기 수직 각도 및 상기 회전 각도 중 적어도 하나에 기초하여 상기 키스톤 보정에 대응되는 기능을 수행하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 움직임 여부를 식별하는 단계는,
    제1 시간에 상기 센싱 값을 감지하고, 상기 가속도 센서에 의해 상기 제1 시간 이전인 제2 시간에 이전 센싱 값을 감지하며, 상기 제2 시간에 감지된 이전 센싱 값과 상기 제1 시간에 감지된 상기 센싱 값을 비교하고, 상기 이전 센싱 값과 상기 센싱 값의 차이에 기초하여 상기 전자 장치의 움직임을 식별하는, 전자 장치의 제어 방법.
  12. 제9항에 있어서,
    상기 회전 각도를 식별하는 단계는,
    상기 전자 장치의 바닥면을 기준으로 기설정된 제1 각도로 기울어져 배치된 상기 복수의 거리 센서의 상기 기설정된 제1 각도에 기초하여 상기 스크린과 상기 전자 장치 간의 감지된 거리를 보정하고, 상기 스크린과 상기 전자 장치 간의 보정된 거리에 기초하여 상기 회전 각도를 식별하는, 전자 장치의 제어 방법.
  13. 제9항에 있어서,
    상기 스크린에 정상 영상이 투사될 때 상기 스크린과 상기 전자 장치 간의 거리를 기준 거리로 저장하는 단계;
    상기 수직 각도 및 상기 회전 각도에 기초하여 상기 정상 영상의 꼭지점 좌표를 식별하는 단계; 및
    상기 정상 영상의 꼭지점 좌표로 형성되는 범위를 상기 기준 영상 표시 범위로 식별하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 수직 각도 및 상기 회전 각도 중 적어도 하나의 값이 0이 아니면 상기 스크린에 투사되는 영상이 비정상 영상이라고 식별하는 단계;
    상기 수직 각도 및 상기 회전 각도에 기초하여 상기 비정상 영상의 꼭지점 좌표를 식별하는 단계; 및
    상기 비정상 영상의 꼭지점 좌표에 기초하여 상기 키스톤 보정에 대응되는 기능을 수행하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 저장된 기준 영상 표시 범위 및 상기 비정상 영상의 꼭지점 좌표에 기초하여 상기 보정된 영상의 크기를 식별하는 단계;를 더 포함하는 전자 장치의 제어 방법.
PCT/KR2022/007408 2021-08-04 2022-05-25 전자 장치 및 그 영상 처리 방법 WO2023013862A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22853242.0A EP4287616A4 (en) 2021-08-04 2022-05-25 ELECTRONIC APPARATUS AND ASSOCIATED IMAGE PROCESSING METHOD
CN202280053678.9A CN117795950A (zh) 2021-08-04 2022-05-25 电子装置及其图像处理方法
US17/972,264 US20230037686A1 (en) 2021-08-04 2022-10-24 Electronic device, contents searching system and searching method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0102623 2021-08-04
KR1020210102623A KR20230020798A (ko) 2021-08-04 2021-08-04 전자 장치 및 그 영상 처리 방법
KR1020220042507A KR20230020889A (ko) 2021-08-04 2022-04-05 전자 장치 및 그 영상 처리 방법
KR10-2022-0042507 2022-04-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/972,264 Continuation US20230037686A1 (en) 2021-08-04 2022-10-24 Electronic device, contents searching system and searching method thereof

Publications (1)

Publication Number Publication Date
WO2023013862A1 true WO2023013862A1 (ko) 2023-02-09

Family

ID=85156520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/007408 WO2023013862A1 (ko) 2021-08-04 2022-05-25 전자 장치 및 그 영상 처리 방법

Country Status (5)

Country Link
US (1) US20230037686A1 (ko)
EP (1) EP4287616A4 (ko)
KR (1) KR20230020889A (ko)
CN (1) CN117795950A (ko)
WO (1) WO2023013862A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883799A (zh) * 2021-09-29 2023-03-31 中强光电股份有限公司 投影机以及投影方法
WO2024210338A1 (ko) * 2023-04-05 2024-10-10 삼성전자 주식회사 이미지 처리 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140100105A (ko) * 2013-02-05 2014-08-14 엘지전자 주식회사 프로젝터 장치 및 그 제어 방법
US20160173842A1 (en) * 2014-12-11 2016-06-16 Texas Instruments Incorporated Camera-Assisted Two Dimensional Keystone Correction
KR20160077551A (ko) * 2014-12-23 2016-07-04 광운대학교 산학협력단 멀티 프로젝터 기반의 반사형 집적 영상 시스템에서 키스톤 효과를 제거하기 위한 요소영상 보정방법
KR20190135147A (ko) * 2018-05-28 2019-12-06 주식회사 엘지유플러스 프로젝터 제어 장치 및 그 방법
US20200120319A1 (en) * 2018-10-16 2020-04-16 Coretronic Corporation Projection system and keystone correction method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007078808A (ja) * 2005-09-12 2007-03-29 Nikon Corp 投影装置
JP5481833B2 (ja) * 2008-10-29 2014-04-23 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140100105A (ko) * 2013-02-05 2014-08-14 엘지전자 주식회사 프로젝터 장치 및 그 제어 방법
US20160173842A1 (en) * 2014-12-11 2016-06-16 Texas Instruments Incorporated Camera-Assisted Two Dimensional Keystone Correction
KR20160077551A (ko) * 2014-12-23 2016-07-04 광운대학교 산학협력단 멀티 프로젝터 기반의 반사형 집적 영상 시스템에서 키스톤 효과를 제거하기 위한 요소영상 보정방법
KR20190135147A (ko) * 2018-05-28 2019-12-06 주식회사 엘지유플러스 프로젝터 제어 장치 및 그 방법
US20200120319A1 (en) * 2018-10-16 2020-04-16 Coretronic Corporation Projection system and keystone correction method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4287616A4 *

Also Published As

Publication number Publication date
EP4287616A4 (en) 2024-09-18
EP4287616A1 (en) 2023-12-06
CN117795950A (zh) 2024-03-29
KR20230020889A (ko) 2023-02-13
US20230037686A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
WO2023013862A1 (ko) 전자 장치 및 그 영상 처리 방법
WO2019160260A1 (ko) 전자 장치 및 그 동작 방법
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2022265428A1 (ko) 전자 장치 및 이의 제어 방법
WO2023003140A1 (ko) 전자 장치 및 이의 제어 방법
WO2022191538A1 (ko) 음향 출력 장치
WO2023132625A1 (ko) 전자 장치 및 그의 제어 방법
WO2023017904A1 (ko) 전자 장치 및 그 제어 방법
WO2023027285A1 (ko) 전자 장치 및 이의 제어 방법
WO2023287024A1 (ko) 전자 장치 및 이의 제어 방법
WO2023022422A1 (ko) 전자 장치 및 이의 제어 방법
WO2022234942A1 (ko) 전자 장치 및 제어 방법
WO2023286931A1 (ko) 전자 장치 및 그 제어 방법
WO2023055139A1 (ko) 전자 장치 및 이의 제어 방법
WO2023249271A1 (ko) 영상을 크롭하여 투사하는 전자 장치 및 그 제어 방법
WO2023090648A1 (ko) 전자 장치
WO2023249275A1 (ko) 복수의 면을 포함하는 스크린에 영상을 투사하는 전자 장치 및 제어 방법
WO2024101616A1 (ko) 전자 장치 및 이의 제어 방법
WO2023282460A1 (ko) 전자 장치 및 그 제어 방법
WO2023219246A1 (ko) 슬라이딩 가능한 프로젝터를 포함하는 전자 장치 및 그 제어 방법
WO2022196877A1 (ko) 전자 장치 및 그 제어 방법
WO2023018008A1 (ko) 전자 장치 및 그 제어 방법
WO2023027319A1 (ko) 전자 장치 및 그 제어 방법
WO2023080421A1 (ko) 전자 장치 및 그 제어 방법
WO2023249274A1 (ko) 영상을 투사하는 프로젝션부를 포함하며 영상 통화 기능을 제공하는 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22853242

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022853242

Country of ref document: EP

Effective date: 20230901

WWE Wipo information: entry into national phase

Ref document number: 202280053678.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE