WO2024063280A1 - 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법 - Google Patents

영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법 Download PDF

Info

Publication number
WO2024063280A1
WO2024063280A1 PCT/KR2023/009960 KR2023009960W WO2024063280A1 WO 2024063280 A1 WO2024063280 A1 WO 2024063280A1 KR 2023009960 W KR2023009960 W KR 2023009960W WO 2024063280 A1 WO2024063280 A1 WO 2024063280A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
section
light
projecting device
illuminance
Prior art date
Application number
PCT/KR2023/009960
Other languages
English (en)
French (fr)
Inventor
배중권
김명호
금창민
변정현
정석재
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220173049A external-priority patent/KR20240041196A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/228,292 priority Critical patent/US20240107176A1/en
Publication of WO2024063280A1 publication Critical patent/WO2024063280A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • An embodiment of the present disclosure relates to a method for recognizing an object with image projection and a projecting device for the same. More specifically, an embodiment of the present disclosure projects an image through a projecting device and simultaneously recognizes an object located on the projected image, thereby providing augmented reality (AR) through interaction between the image and the object. It's about how to experience it.
  • AR augmented reality
  • Augmented Reality is a technology that displays virtual images by overlaying them on the physical environment space or real world object of the real world.
  • AR projectors that project images using augmented reality technology can be used in everyday life.
  • AR projectors can not only project images, but also recognize objects located on the image projection surface. AR projectors can provide an augmented reality experience through interaction between projected images and recognized objects.
  • the AR projector Since the AR projector must recognize objects located on the image projection surface, the image and object must be clearly distinguished. Additionally, AR projectors can easily recognize objects located in a specific illumination environment. In other words, the AR projector may not be able to easily recognize objects located in an environment that is too dark or too bright depending on changes in illumination. Therefore, while projecting an image, it is required to clearly recognize objects located on the image projection surface regardless of changes in the illumination environment.
  • a projecting device for recognizing objects along with image projection.
  • a projecting device may include a light source, a projection lens, a camera, a light blocking unit, and at least one processor.
  • the light source may be configured to output image light.
  • the projection lens may be configured to project output image light to the outside.
  • the camera may be configured to image an object positioned between the camera and an external projection surface of projected image light.
  • the light blocking unit may be configured to block image light output during the blocking period.
  • At least one processor may control the operation of the light source, camera, and light blocking unit.
  • At least one processor may obtain illuminance information related to the illuminance of the external projection surface. At least one processor may set a blocking section in which output image light is blocked based on illuminance information. At least one processor may set the shooting section to be included within the blocking section. At least one processor may control the light blocking unit to block image light output during the blocking period. At least one processor may control the camera to photograph an object during a photographing period.
  • a method for recognizing an object with image projection may include obtaining illuminance information related to the illuminance of an external projection surface of image light projected by a projection lens.
  • the method may include setting a blocking section in which image light output by a light source is blocked based on illuminance information.
  • the method may include setting the shooting section to be included within the blocking section.
  • the method may include blocking image light output during the blocking period.
  • the method may include photographing an object located on an external projection surface during a photographing period using a camera.
  • an embodiment of the present disclosure provides a computer-readable recording medium on which a program for executing the method on a computer is recorded.
  • FIG. 1 is a conceptual diagram illustrating an operation in which a projecting device projects an image and recognizes an object according to an embodiment of the present disclosure.
  • Figure 2 is a flowchart illustrating a method of operating a projecting device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an operation of a projecting device according to an embodiment of the present disclosure to recognize an object by matching captured images when illumination is low.
  • FIG. 4 is a flowchart illustrating an operation method in which a projecting device repeatedly captures an image including an object using a capture cycle according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating a method of operating a projecting device according to an embodiment of the present disclosure to recognize an object by matching captured images.
  • FIG. 6 is a graph illustrating an operation of a projecting device according to an embodiment of the present disclosure to photograph an object using different photographing cycles depending on illuminance.
  • FIG. 7 is a diagram illustrating an operation of a projecting device according to an embodiment of the present disclosure to obtain a registered image using an object image captured according to illuminance.
  • FIG. 8 is a flowchart illustrating a method of recognizing an object by matching images captured by a projecting device according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining in detail a projector among the configuration of a projecting device according to an embodiment of the present disclosure.
  • Figure 10 is a diagram for explaining in detail the light blocking part of the configuration of the projecting device according to an embodiment of the present disclosure.
  • Figure 11 is a diagram for explaining in detail the light blocking part of the configuration of the projecting device according to an embodiment of the present disclosure.
  • FIG. 12 is a conceptual diagram illustrating features in which the operation of a projecting device according to an embodiment of the present disclosure is determined according to the operation of the light blocking unit.
  • FIG. 13 is a graph illustrating an operation of a projecting device according to an embodiment of the present disclosure to photograph an object using different photographing cycles depending on illuminance.
  • Figure 14 is a block diagram for explaining the configuration of a projecting device according to an embodiment of the present disclosure.
  • the expression “at least one of a, b, or c” refers to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, or “a, may refer to “both b and c”.
  • the expression “configured to” used in the present disclosure may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. It can be used interchangeably with “, “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set to)” may not necessarily mean “specifically designed to” in hardware.
  • the expression “system configured to” may mean that the system is “capable of” in conjunction with other devices or components.
  • the phrase “processor configured (or set) to perform A, B, and C” refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored in memory. It may refer to a general-purpose processor (e.g., CPU or application processor) that can perform the corresponding operations.
  • a component when referred to as “connected” or “connected” to another component, the component may be directly connected or directly connected to the other component, but in particular, the contrary It should be understood that unless a base material exists, it may be connected or connected through another component in the middle.
  • FIG. 1 is a conceptual diagram illustrating an operation in which a projecting device projects an image and recognizes an object according to an embodiment of the present disclosure.
  • a projecting device 100 can project an image.
  • the projecting device 100 may include a projector that projects an image.
  • a projector may include a light source and a projection lens.
  • FIG. 9 the detailed configuration of the projecting device 100 will be described using FIG. 9, and the operation of the projecting device 100 will be mainly explained using FIG. 1.
  • the projecting device 100 may output image light using a light source.
  • Image light output by the light source may be white light.
  • the projecting device 100 can project image light output by a light source to the outside using a projection lens.
  • Image light projected externally by the projecting device 100 may refer to the image 120 projected by the projecting device 100. That is, the projecting device 100 can project the image 120 using a light source and a projection lens.
  • the projecting device 100 may project the image 120 using more or different configurations, and the configuration of the projecting device 100 is not limited to the light source and projection lens.
  • the projecting device 100 may further include a camera that photographs an object 160 positioned with respect to the external projection surface 140 of the projected image light.
  • object 160 may be positioned on external projection surface 140 .
  • the projecting device 100 may acquire an object image including the object 160 using a camera.
  • the object image may be an image including the object 160 located relative to the external projection surface 140.
  • the projecting device 100 may acquire an object image using an RGB camera, but this is only an example and the technical idea of the present disclosure is not limited thereto.
  • the projecting device 100 acquires an object image using one of a stereo camera, an infrared (IR) camera, an RGB-depth (RGB-D) camera, and a time of flight (TOF) camera. You may.
  • IR infrared
  • RGB-D RGB-depth
  • TOF time of flight
  • the external projection surface 140 may be a surface on which image light is projected by the projection lens of the projecting device 100.
  • the object 160 positioned relative to the external projection surface 140 includes an object 160 positioned in contact with the external projection surface 140, an object 160 positioned on the external projection surface 140, The object 160 may be located between the external projection surface 140 and the camera and thus located within the area where the image is projected.
  • the projecting device 100 may perform an operation of projecting an image 120 and an operation of photographing an object 160.
  • the operation of projecting the image 120 and the operation of photographing the object 160 may not be performed simultaneously and may be separated.
  • the projecting device 100 may set a shooting section and a projection section.
  • the projecting device 100 may control the camera to photograph the object 160 during the photographing period.
  • the projecting device 100 may control the light source and projection lens to project an image during the projection period.
  • the shooting section and projection section may not overlap.
  • the projecting device 100 may detect an object based on an object image including the object 160.
  • the projecting device 100 may detect the object 160 included in the object image using an object detection algorithm.
  • object 160 positioned relative to external projection surface 140 may be a hand.
  • the projecting device 100 includes a stereo camera, the projecting device 100 detects the hand through 'hand skeleton detection and tracking' technology, and further detects the hand through depth information. Dimensional poses can also be recognized.
  • Hand skeleton detection and tracking technology is a technology that detects moving joints in a human hand image, divides a predetermined skeleton structure, and projects the divided image.
  • the projecting device 100 recognizes the hand through hand skeleton detection and tracking technology, and tracks the skeleton of the hand through the joint points of the fingers, palm points, and wrist points to project the external projection surface (140). ), hand motions such as touch, sweeping, and pinch can be specifically recognized.
  • FIG. 2 is a flowchart illustrating a method of operating a projecting device according to an embodiment of the present disclosure. For convenience of explanation, things that overlap with what was explained using FIG. 1 will be simplified.
  • the projecting device may obtain illuminance information indicating the illuminance of the external projection surface.
  • the projecting device may further include, for example, an illumination sensor for measuring the illumination of an external projection surface.
  • the projecting device can measure the illuminance of the external projection surface using an illuminance sensor.
  • the projecting device includes an illuminance sensor to obtain illuminance information
  • the method of acquiring illuminance information does not limit the technical idea of the present disclosure.
  • the projecting device may acquire an object image for the external projection surface using a camera, and may obtain illuminance information by calculating the illuminance of the external projection surface based on the object image for the external projection surface. .
  • the projecting device may set a blocking section to block the output image light based on the illuminance information.
  • a projecting device may project an image using a light source and a projection lens.
  • the projecting device may further include a light blocking unit, and the projecting device may control the light blocking unit to set a blocking section that blocks image light output from the light source.
  • blocking image light output from a light source may mean that an image is not projected from a projecting device.
  • the blocking section may mean a section in which an image is not projected by the projecting device.
  • the section in which an image is projected by a projecting device may be a projection section.
  • the projection section may be a section excluding the blocking section and may not overlap with the blocking section.
  • the projecting device may set a blocking section based on illuminance information. For example, as the illuminance according to the illuminance information increases, the shooting cycle may become longer as the interval between the blocking sections becomes longer, or the exposure time of the camera may become longer as the blocking sections become shorter.
  • the projecting device can control the operation of the camera and projector in response to changes in the illuminance environment by setting a blocking section based on illuminance information.
  • the projecting device may set the projection section and the shooting section so that the higher the illuminance according to the illuminance information, the smaller the ratio of the shooting section to the projection section. That is, the projecting device can project images and photograph objects according to alternately repeated projection and photographing sections, but when illuminance is high, the camera can be controlled to photograph objects frequently.
  • the projecting device may set the shooting section to be included within the blocking section.
  • the shooting section may be shorter than the blocking section.
  • the starting point of the shooting section may coincide with the starting point of the blocking section. That is, the projecting device can control the camera to photograph an object located on the external projection surface from the moment the image projection by the projector begins to be blocked.
  • the projecting device may control the light blocking unit to block image light output during the blocking period.
  • the projecting device may control the camera to photograph the object during the photographing period.
  • a projecting device may output image light using a light source.
  • the projecting device may control the light blocking unit to block output image light during a set blocking period. That is, the projecting device may not project an image on the external projection surface during the blocking period.
  • the projecting device may control the camera to photograph an object during a photographing section included in the blocking section. That is, the projecting device can photograph an object positioned relative to an external projection surface while an image is not being projected.
  • a projecting device can clearly obtain an object image including the object by separating the operation of projecting an image and the operation of photographing the object.
  • a projecting device can recognize an object based on a clearly acquired object image.
  • the operation of projecting an image and the operation of photographing an object may be repeated at a rate so fast that they are not distinguishable with the naked eye, and the projecting device creates an augmented image that appears to the user to recognize an object on the projected image. Reality can be provided to users.
  • FIG. 3 is a diagram illustrating an operation of a projecting device according to an embodiment of the present disclosure to recognize an object by matching captured images when illumination is low.
  • FIG. 3 is a diagram for explaining the separation of the operation of projecting an image and the operation of photographing an object by comparing a projector signal and a camera signal.
  • the projector signal and camera signal may each refer to a clock signal, which is a periodic signal used for synchronization.
  • a projecting device may acquire a projector signal and a camera signal.
  • the projector signal may be a clock signal that repeats 1 and 0 at a certain period.
  • the projector signal may be a signal regarding the point in time at which the projecting device projects an image.
  • a projecting device may periodically project an image based on a projector signal. For example, a projecting device may periodically project an image generated by processing image light output from a light source based on a projector signal.
  • the projecting device may project an image whenever it receives a projector signal of 1.
  • a projecting device can repeatedly project an image based on the period of the projector signal.
  • a projecting device may repeatedly project an image based on a projector signal with a frequency of 120Hz.
  • a projecting device may repeatedly project an image based on a projector signal with a period of 8.3 milliseconds (ms).
  • the camera signal may be a clock signal that repeats 1 and 0 at a certain period, or a TTL signal composed of 1 and 0.
  • the camera signal may be a signal indicating the point in time at which the projecting device photographs an object.
  • a projecting device may periodically photograph an object based on a camera signal. For example, the projecting device may control the operation of opening the shutter of the camera to photograph an object based on the camera signal.
  • the projecting device may photograph an object a predetermined time after the camera signal of 1 is acquired (T1).
  • the camera signal of 1 may refer to a signal for instructing the shooting operation of the camera.
  • the predetermined time required from the point in time (T1) at which the camera signal of 1 is acquired may mean the time required for the light blocking unit to operate in order for the projecting device to block image projection using the light blocking unit. That is, the predetermined time may mean the time required for the projecting device to operate the light blocking unit after receiving a camera signal of 1, as the light blocking unit is of a mechanical structure.
  • the predetermined time required to operate the light blocking unit may be the time from the first time point (T1) to the second time point (T2).
  • the projecting device may acquire a camera signal of 1 and simultaneously control the light blocking unit to block image projection.
  • the projecting device may set a blocking section to block image light output by a light source.
  • the projecting device can set a blocking section that repeats according to a predetermined cycle.
  • the blocking section may include the time from the second time point (T2) to the fourth time point (T4).
  • the blocking section may include the time from the sixth time point (T6) to the eighth time point (T8).
  • Each blocking section may be a section of the same time. That is, the blocking section may include a section that is repeated at the same time according to a predetermined period.
  • the projecting device may control the light blocking unit to block image light output during the blocking period.
  • the output image light is projected to the outside by the projection lens, so that the projecting device can project an image on an external projection surface.
  • the projecting device may not project an image by controlling the light blocking unit to block image light during the blocking period.
  • the projecting device may project an image during the projection period.
  • the projecting device can project an image by controlling the image light output during the projection period so that it is not blocked by the light blocking unit.
  • the projection section may not overlap with the blocking section.
  • the projection section may include the time from the fourth time point (T4) to the fifth time point (T5).
  • the projection section may include a section that is repeated at the same time according to a predetermined period.
  • the projecting device may set a shooting section for photographing an object using a camera.
  • the shooting section may include the time from the second time point (T2) to the third time point (T3). Additionally, the shooting section may include the time from the sixth time point (T6) to the seventh time point (T7).
  • Each shooting section may be a section of the same time. That is, the shooting section may include sections that are repeated at the same time according to a predetermined cycle.
  • the shooting section may be included in the blocking section.
  • the shooting section may refer to the section where exposure is made by sensing the light coming in when the camera's aperture is opened.
  • the projecting device can control the camera to photograph the object during the shooting section. That is, the projecting device can be controlled to open the camera's aperture when the shooting section begins.
  • a projecting device may detect light through exposure during a shooting section and generate an object image based on the detected light.
  • the projecting device may acquire a registered image through object images acquired during each shooting section.
  • the projecting device can acquire an image with appropriate illuminance by acquiring a registered image when illuminance is low. That is, the projecting device can acquire low-illuminance object images during each shooting section and obtain a high-illuminance registered image by matching the obtained low-illuminance object images.
  • the projecting device may acquire the first object image 310 during the first shooting section.
  • the first shooting section refers to the shooting section from the second time point (T2) to the third time point (T3).
  • the projecting device may acquire the second object image 320 during the second capturing period.
  • the second shooting section refers to the shooting section from the sixth time point (T6) to the seventh time point (T7).
  • the projecting device may obtain the registered image 330 by matching the first object image 310 and the second object image 320.
  • registration may refer to an image conversion process of obtaining a high-illuminance image by combining low-illuminance images.
  • the image conversion method does not limit the technical idea of the present disclosure.
  • the illuminance of the registered image 330 may be higher than the illuminance of the first object image 310 and the illuminance of the second object image 320.
  • the projecting device is shown as acquiring the registered image 330 by matching the first object image 310 and the second object image 320, but the number of images required to acquire the registered image 330 is not within the technical spirit of the present disclosure. does not limit
  • the projecting device may obtain a registered image by matching the first object image, the second object image, and the third object image.
  • the projecting device may detect the object 335 based on the registered image 330 that includes the object 335.
  • object 335 may be the user's hand.
  • this is only an example, and the technical idea of the present disclosure is not limited thereto.
  • the projecting device may use deep learning-based object detection technology to recognize the object 335 included in the registered image 330.
  • the method by which the projecting device recognizes the object 335 does not limit the technical idea of the present disclosure.
  • FIG. 4 is a flowchart illustrating an operation method in which a projecting device repeatedly captures an image including an object using a capture cycle according to an embodiment of the present disclosure.
  • step S250 of FIG. 2 may include steps S410 and S420.
  • the projecting device may determine a shooting cycle from when the first shooting section starts until the second shooting section starts again. That is, the projecting device can determine the shooting cycle so that the shooting section is repeated at regular intervals.
  • the first photographing section may refer to the section from the second time point T2 to the third time point T3.
  • the second shooting section may refer to the section from the sixth viewpoint (T6) to the seventh viewpoint (T7).
  • the projecting device may determine a shooting cycle having a cycle from the second viewpoint T2 to the sixth viewpoint T6.
  • the projecting device may control the camera to repeatedly photograph the object during the photographing section based on the photographing cycle.
  • the projecting device may acquire an object image including an object during a shooting section that is repeated at regular intervals, based on a determined shooting cycle.
  • a shooting section that is repeated at regular intervals may include a first shooting section and a second shooting section.
  • the projecting device may acquire a first object image including an object during the first capturing period.
  • the projecting device may acquire a second object image including the object during the second capturing period.
  • the projecting device may detect an object based on a plurality of object images acquired during the shooting section.
  • FIG. 5 is a flowchart illustrating a method of operating a projecting device according to an embodiment of the present disclosure to recognize an object by matching captured images.
  • step S250 of FIG. 2 may include steps S510 and S520.
  • the projecting device may obtain a first object image including the object by controlling the camera to photograph the object during the first capturing section.
  • the projecting device may obtain a second object image including the object by controlling the camera to photograph the object during the second capturing period.
  • the projecting device may acquire a first object image and a second object image each including an object during a first and second unconnected shooting section.
  • the projecting device may acquire the first object image during the first shooting section by opening the aperture of the camera to expose the object.
  • the projecting device may be controlled to close the aperture of the camera.
  • the projecting device may acquire a second object image during the second shooting section by opening the camera's aperture again to expose the object.
  • the projecting device may acquire a registered image based on the first object image and the second object image.
  • the number of images required to acquire a matched image does not limit the technical idea of the present disclosure.
  • the projecting device may obtain a registered image with high illuminance by matching the first object image and the second object image.
  • the illuminance of the registered image may be higher than the illuminance of the first object image and the illuminance of the second object image.
  • the illuminance of the registered image may be equal to the sum of the illuminance of the first object image and the illuminance of the second object image.
  • this is only an example, and the specific calculation formula for the illuminance of the matched image does not limit the technical idea of the present disclosure.
  • the projecting device can detect an object based on the registered image.
  • FIG. 6 is a graph illustrating an operation of a projecting device according to an embodiment of the present disclosure to photograph an object using different photographing cycles depending on illuminance.
  • the projecting device may acquire a projector signal and first to third camera signals.
  • the first camera signal, the second camera signal, and the third camera signal may be a clock signal or a TTL signal in which 1 and 0 are repeated at a certain period.
  • the projecting device can acquire camera signals with different periods depending on the illuminance.
  • the projecting device may periodically photograph an object based on the first camera signal, second camera signal, and third camera signal.
  • the projecting device can acquire the first camera signal when the illuminance is low.
  • the projecting device may acquire a second camera signal when the illuminance is medium.
  • the projecting device may acquire a third camera signal when the illuminance is high.
  • the intermediate illuminance means an illuminance that is higher than the illuminance when acquiring the first camera signal and is lower than the illuminance when acquiring the third camera signal. That is, the case where the illuminance is medium is only relatively defined and does not limit the technical idea of the present disclosure.
  • the projecting device may photograph an object a predetermined time after the camera signal of 1 is acquired (T1).
  • the camera signal includes a first camera signal, a second camera signal, and a third camera signal.
  • the predetermined time may be the time from the first time point (T1) to the second time point (T2).
  • the projecting device may set a blocking section to block image light output by a light source.
  • the projecting device can set a blocking section that repeats according to a predetermined cycle.
  • the blocking section may include the time from the second time point (T2) to the fourth time point (T4).
  • the projecting device may set a shooting section for photographing an object using a camera.
  • the shooting section may be included within the blocking section. Below, settings of the shooting section, projection section, and shooting cycle according to the illuminance will be described in detail.
  • the projecting device may determine the length of the shooting section depending on the illuminance.
  • the projecting device may determine the length of the shooting section based on illuminance information indicating the illuminance of the external projection surface on which the image is projected.
  • the projecting device can set the shooting section so that the higher the illuminance, the shorter the length of the shooting section. That is, when the illumination level is low, the projecting device can set the shooting section so that exposure can be achieved for a long time by keeping the camera's aperture open for a long time.
  • the projecting device may photograph an object based on the first camera signal.
  • the shooting section may include the time from the second time point (T2) to the first_third time point (T13).
  • the projecting device may acquire the 1_1 object image 610 by photographing the object during the capturing period from the second viewpoint T2 to the 1_3 viewpoint T13.
  • the projecting device may photograph an object based on the second camera signal.
  • the shooting section may include the time from the second time point (T2) to the 2_3 time point (T23).
  • the projecting device may obtain the 2_1 object image 620 by photographing the object during the capturing period from the second viewpoint T2 to the 2_3 viewpoint T23.
  • the projecting device can photograph an object based on a third camera signal.
  • the shooting section may include the time from the second time point (T2) to the third time point (T33).
  • the projecting device may obtain the 3_1 object image 630 by photographing the object during the shooting section from the second viewpoint T2 to the 3_3 viewpoint T33.
  • the time from the second time point T2 to the 1_3 time point T13 may be longer than the time from the second time point T2 to the 2_3 time point T23.
  • the time from the second time point (T2) to the 2_3 time point (T23) may be longer than the time from the second time point (T2) to the 3_3 time point (T33).
  • the projecting device can set the shooting section so that the higher the illuminance, the shorter the shooting section is.
  • the projecting device may acquire a 1_1 object image 610 including an object.
  • the projecting device may acquire a 2_1 object image 620 including an object.
  • the projecting device may acquire a 3_1 object image 630 including an object.
  • the illuminance of the 1_1 object image 610 may be lower than the illuminance of the 2_1 object image 620.
  • the illuminance of the 2_1 object image 620 may be lower than the illuminance of the 3_1 object image 630.
  • the projecting device may determine the length of the projection section depending on the illuminance.
  • the projecting device may determine the length of the projection section based on illuminance information indicating the illuminance of the external projection surface on which the image is projected.
  • the projecting device can set the projection section so that the lower the illuminance, the shorter the length of the projection section. That is, when the illumination level is low, the projecting device can set the projection section to obtain more object images for recognizing the object by reducing the projection section.
  • the projecting device can obtain a registered image with appropriate illuminance by registering many acquired object images.
  • a projecting device can detect an object using a registered image.
  • the projecting device may project an image based on the first camera signal.
  • the projection section may include the time from the fourth time point (T4) to the 1_5th time point (T15).
  • the projecting device may project an image during the projection period from the fourth viewpoint (T4) to the 1_5th viewpoint (T15).
  • the projecting device may project an image based on the second camera signal.
  • the projection section may include the time from the fourth time point (T4) to the 2_5th time point (T25).
  • the projecting device may project an image during the projection period from the fourth viewpoint (T4) to the 2_5th viewpoint (T25).
  • the projecting device can project an image based on the third camera signal.
  • the projection section may include the time from the fourth time point (T4) to the 3_5th time point (T35).
  • the projecting device can project an image during the projection period from the fourth viewpoint (T4) to the 3_5th viewpoint (T35).
  • the time from the fourth time point (T4) to the 1_5th time point (T15) may be shorter than the time from the fourth time point (T4) to the 2_5th time point (T25).
  • the time from the fourth time point (T4) to the 2_5th time point (T25) may be shorter than the time from the fourth time point (T4) to the 3_5th time point (T35). That is, the projecting device can set the projection section so that the lower the illuminance, the shorter the projection section.
  • the projecting device may set the shooting section so that the higher the illuminance, the shorter the length of the shooting section.
  • the projecting device can set the projection section so that the higher the illuminance, the longer the length of the projection period.
  • the projecting device can set the projection section and the shooting section so that the higher the illuminance according to the illuminance information, the smaller the ratio of the shooting section to the projection section.
  • the photographing section may be shorter than the projection section.
  • a projecting device may repeatedly project an image during a projection period.
  • a projecting device can repeatedly project an image so that the projected image appears uninterrupted to the naked eye. Accordingly, the projecting device can set a minimum shooting section and a sufficient projection section so that interruption of the projection section is not recognized by the naked eye.
  • FIG. 7 is a diagram illustrating an operation of a projecting device according to an embodiment of the present disclosure to obtain a registered image using an object image captured according to illuminance.
  • a projecting device according to an embodiment of the present disclosure to obtain a registered image using an object image captured according to illuminance.
  • a projecting device may acquire object images including an object.
  • the projecting device may acquire a registered image 740 based on object images.
  • the projecting device may obtain illuminance information indicating the illuminance of an external projection surface on which image light is projected by a projection lens.
  • the projecting device can obtain the matched image 740 by matching more object images as the illuminance level is lower according to the illuminance information.
  • the description in FIG. 7 is divided into a case where the illuminance according to the illuminance information is low (Dark), a case where the illuminance according to the illuminance information is medium (Middle), and a case where the illuminance according to the illuminance information is high (Bright).
  • this may mean relative illumination.
  • the illuminance is divided into three types, but the technical idea of the present disclosure is not limited thereto.
  • the projecting device may acquire the 1_1 object image 710.
  • the projecting device may acquire 1_1 object images 610 and 710 by photographing the object during the photographing section according to the first camera signal.
  • the projecting device may recognize an object based on an object image having a reference illuminance required to recognize the object. That is, the projecting device may not be able to recognize the object based on the object image with less than the standard illuminance.
  • the illuminance of the 1_1 object image 710 may not satisfy the standard illuminance.
  • the illuminance of the 1_1 object image 710 may be lower than the reference illuminance.
  • the projecting device may obtain a matched image 740 by matching at least two 1_1 object images 710.
  • the projecting device can obtain the registered image 740 by matching the plurality of 1_1 object images 710.
  • the projecting device may obtain the registered image 740 by matching three 1_1 object images 710.
  • the matching number of the 1_1 object image 710 is only an example and does not limit the technical idea of the present disclosure.
  • the projecting device may acquire the 2_1 object image 720.
  • the projecting device may acquire the 2_1 object image 720 by photographing the object during the photographing section according to the second camera signal.
  • the illuminance of the 2_1 object image 720 may not satisfy the standard illuminance.
  • the illuminance of the 2_1 object image 720 may be lower than the reference illuminance.
  • the projecting device may obtain a matched image 740 by matching at least two 2_1 object images 720.
  • the projecting device can obtain the registered image 740 by matching the plurality of 2_1 object images 720.
  • the projecting device may obtain the registered image 740 by matching two 2_1 object images 720.
  • the number of matches for the 2_1 object image 720 may be less than the number of matches for the 1_1 object image 710. That is, since the illuminance of the 2_1 object image 720 is higher than the illuminance of the 1_1 object image 710, the projecting device creates the matched image 740 by matching a relatively small number of the 2_1 object images 720. It can be obtained.
  • the matching number of the 2_1 object image 720 is only an example and does not limit the technical idea of the present disclosure.
  • the projecting device may acquire the 3_1 object image 730.
  • the projecting device may acquire the 3_1 object image 730 by photographing the object during the photographing section according to the third camera signal.
  • the illuminance of the 3_1 object image 730 may satisfy the reference illuminance.
  • the projecting device may acquire the registered image 740 through the 3_1 object image 730.
  • the matching image 740 may be the same as the 3_1 object image 730.
  • the projecting device can acquire the registered image 740 with only one 3_1 object image 730.
  • the projecting device can obtain a registered image 740 with improved illumination by matching a plurality of object images.
  • the projecting device can use the object image itself as the registration image 740.
  • the projecting device may acquire the 4_1 object image.
  • the illuminance according to the illuminance information may exceed the standard illuminance.
  • the projecting device may acquire the registered image 740 through the 4_1 object image.
  • the projecting device may acquire the 4_1 object image during a predetermined shooting section. If the illuminance according to the illuminance information exceeds the standard illuminance, the projecting device can acquire the 4_1 object image that satisfies the standard illuminance through a short shooting section.
  • the projecting device may use the 4_1 object image as the registration image 740.
  • the projecting device can acquire the 4_1 object image by photographing the object during a shorter shooting section as the illuminance increases.
  • the projecting device may use the acquired 4_1 object image as the registration image 740.
  • FIG. 8 is a flowchart illustrating a method of recognizing an object by matching images captured by a projecting device according to an embodiment of the present disclosure.
  • the projecting device may determine the matching quantity based on the illuminance information.
  • the matching quantity may refer to a quantity for matching object images related to objects captured by a camera.
  • the projecting device may determine a high matching quantity. For example, when the illuminance according to the illuminance information is low, the projecting device may determine the matching quantity to be 4.
  • the projecting device may determine an appropriate matching quantity. For example, when the illuminance according to the illuminance information is medium, the projecting device may determine the matching quantity to be 3. The matching quantity when the illuminance according to the illuminance information is medium may be lower than the matching quantity when the illuminance according to the illuminance information is low.
  • the projecting device may determine a low number of matching quantities. For example, when the illuminance according to the illuminance information is high, the projecting device may determine the matching quantity to be 2. The matching quantity when the illuminance according to the illuminance information is high may be lower than the matching quantity when the illuminance according to the illuminance information is medium.
  • the projecting device may select some of the images repeatedly acquired according to the shooting cycle based on the matching quantity.
  • the projecting device may control the camera to repeatedly photograph an object during a photographing period based on the photographing cycle (eg, step S420 of FIG. 4 ).
  • a projecting device can acquire a plurality of object images by repeatedly photographing the object.
  • the projecting device may select some of the plurality of object images based on the matching quantity.
  • the projecting device may determine the matching quantity to be 4.
  • the projecting device may select four object images from among the plurality of object images based on the matching quantity.
  • the projecting device may determine the matching quantity to be 3.
  • the projecting device may select three object images from among the plurality of object images based on the matching quantity.
  • the projecting device may determine the matching quantity to be 2.
  • the projecting device may select two object images from among the plurality of object images based on the matching quantity.
  • the projecting device may acquire a registered image based on the selected portion.
  • the projecting device may obtain a registered image by matching images selected from among a plurality of object images. For example, when the illuminance according to the illuminance information is low, the projecting device can obtain a matched image by matching 4 object images selected from among a plurality of object images.
  • the projecting device may obtain a matched image by matching 3 object images selected from among a plurality of object images.
  • the projecting device may obtain a matched image by matching two object images selected from among a plurality of object images.
  • FIG. 9 is a diagram for explaining in detail a projector among the configuration of a projecting device according to an embodiment of the present disclosure.
  • FIG. 9 is explained based on the configuration of a DLP projector, but this is only an example and the technical idea of the present disclosure is not limited thereto.
  • a blocking section in which an image is not projected can be set through the light blocking unit 930 of FIG. 9, and other configurations do not limit the technical idea of the present disclosure.
  • the projecting device may include a projector 900 and a camera.
  • the projector 900 may include a light source 910, a light separation unit 920, a light blocking unit 930, a mirror unit 940, and a projection lens 950.
  • the projector 900 uses a light source 910, a light separator 920, a light blocking unit 930, a mirror unit 940, and a projection lens 950 to project an image 960 on an external projection surface. You can.
  • the projector 900 is not limited to the example in FIG. 9, and more configurations than those shown in FIG. 9 may be included in the projector 900, or fewer configurations than those shown in FIG. 9 may be included in the projector 900. there is.
  • the projector 900 is configured to project images to the outside.
  • projection is implemented in various projection methods (e.g., cathode-ray tube (CRT) method, liquid crystal display (LCD) method, digital light processing (DLP) method, laser method, etc.) It can be.
  • CRT method is basically the same as the CRT monitor.
  • the CRT method magnifies the image with a lens in front of the cathode ray tube (CRT) and displays the image on the screen.
  • it is divided into a one-tube type and a three-tube type. In the case of the three-tube type, the red, green, and blue cathode ray tubes can be implemented separately.
  • the LCD method displays images by transmitting light from a light source through liquid crystal.
  • the LCD method is divided into a single-panel type and a three-panel type.
  • the light from the light source is separated into red, green, and blue by a dichroic mirror (for example, a mirror that reflects only light of a specific color and passes the rest). After passing through the liquid crystal, the light can be gathered in one place again.
  • the DLP method is a method of displaying images using a DMD (Digital Micromirror Device) chip.
  • the DLP projection unit may include a light source, color wheel, DMD chip, projection lens, etc.
  • Light output from a light source can acquire color as it passes through a rotating color wheel.
  • the light that passes through the color wheel is input to the DMD chip.
  • the DMD chip contains numerous micro-mirrors and reflects the light input to the DMD chip.
  • the projection lens can play the role of enlarging the light reflected from the DMD chip to the image size.
  • laser methods include DPSS (Diode Pumped Solid State) lasers and galvanometers.
  • a laser that outputs various colors uses a laser whose optical axes are overlapped using a special mirror after installing three DPSS lasers for each RGB color.
  • Galvanometers contain mirrors and high-power motors that move the mirrors at high speeds. For example, a galvanometer can rotate a mirror at up to 40 KHz. The galvanometer is mounted according to the scanning direction. In general, since the projector scans a plane, the galvanometer can also be arranged divided into x and y axes.
  • the light source 910 may be configured to output image light (L).
  • the light source 910 may be configured to output image light L irradiated to specific areas of each of the light separation unit 920 and the light blocking unit 930.
  • the light separator 920 may transmit the output image light (L) and convert it into red (R), blue (B), and green (G) light.
  • the light separation unit 920 may include a color filter that selectively passes red, blue, and green light.
  • the optical separator 920 may include a rotatable rotating plate on which each color filter is installed, and a driving motor that rotates the rotating plate.
  • the optical separator 920 may be controlled so that red, blue, and green color filters are sequentially arranged on the optical path through which the image light L passes as the rotating plate is rotated by the driving motor. Accordingly, the projecting device can separate the image light L output from the light source 910 into red, blue, and green image lights.
  • the optical separator 920 may represent a DLP color wheel.
  • the light blocking unit 930 may be configured to block separated image light.
  • the light blocking unit 930 may include a light blocking filter 931 and a light transmission filter 932, as shown.
  • the light blocking unit 930 may include a rotatable rotating plate on which a light blocking filter 931 and a light transmission filter 932 are installed, and a driving motor that rotates the rotating plate.
  • the light blocking unit 930 is configured to sequentially arrange the light blocking filter 931 and the light transmitting filter 932 on the optical path through which the image light (L) passes as the rotating plate is rotated by the driving motor. It can be controlled. Accordingly, the projecting device may block the image light output from the light source 910 during the blocking period. Additionally, the projecting device may transmit image light output from the light source 910 during the projection period.
  • the mirror unit 940 may reflect the image light L transmitted by the light blocking unit 930.
  • the mirror unit 940 may be an optical semiconductor composed of a plurality of micro mirrors.
  • the mirror unit 940 may refer to a DLP-type DMD (Digital Mirror Device) chip.
  • the mirror unit 940 may reflect the image light (L) transmitted by the light separation unit 920 and the light blocking unit 930 based on the color (RGB) information constituting the image. there is.
  • the mirror unit 940 may reflect the image light L to correspond to the image based on the color information constituting the image.
  • the projection lens 950 may magnify the image light L reflected from the mirror unit 940. By projecting the magnified image light onto the external projection surface, the projecting device can project the image 960.
  • Figure 10 is a diagram for explaining in detail the light blocking part of the configuration of the projecting device according to an embodiment of the present disclosure.
  • the light blocking unit 930 may include a light blocking filter 931, a light transmission filter 932, a rotating plate 933, and a driving motor 934.
  • the light blocking filter 931 may be configured to block the image light L output from the light source 910.
  • the light transmission filter 932 may transmit image light L output from the light source 910.
  • the light transmission filter 932 and the light blocking filter 931 may be connected to each other. As shown, the light transmission filter 932 and the light blocking filter 931 may be installed on the rotating plate 933.
  • the rotating plate 933 may be rotated by a driving motor 934. As the rotating plate 933 rotates, the light transmission filter 932 and the light blocking filter 931 can be sequentially arranged on the optical path through which the image light L passes.
  • the drive motor 934 may drive the rotary plate 933 to rotate.
  • the drive motor 934 may provide power to rotate the rotary plate 933 once in a certain direction.
  • the drive motor 934 may provide power to rotate the rotary plate 933 one revolution according to a predetermined signal. When a predetermined signal is repeated, the drive motor 934 may provide power to repeatedly rotate the rotary plate 933 once.
  • the drive motor 934 may provide power to rotate the rotary plate 933.
  • the light transmission filter 932 and the light blocking filter 931 may be sequentially arranged on the optical path through which the image light L passes.
  • the light transmission filter 932 may be disposed on the optical path.
  • the image light L on the optical path may be transmitted through the first area A1 on the light transmission filter 932.
  • the light transmission filter 932 may transmit image light L traveling along the optical path.
  • the transmitted image light L may be projected to the outside by a projection lens (950 in FIG. 9). That is, the projecting device can project an image.
  • Figure 11 is a diagram for explaining in detail the light blocking part of the configuration of the projecting device according to an embodiment of the present disclosure. For convenience of explanation, anything that overlaps with what was explained using FIG. 10 will be omitted.
  • the light blocking filter 931 may be placed on the optical path. As the rotating plate 933 rotates, the image light L on the optical path may be blocked through the second area A2 on the light blocking filter 931.
  • the light blocking filter 931 may be configured to block the image light L traveling along the optical path. As the image light L is blocked, the image light L cannot be projected to the outside by the projection lens 950. That is, a blocking section may begin.
  • the projecting device may not project an image.
  • Blocking the image light (L) by the light blocking filter 931 may mean a blocking section. That is, the projecting device may not project an image during the blocking period.
  • the projecting device can acquire an object image by photographing an object located on an external projection surface using a camera during a shooting section included in the blocking section.
  • the projecting device may detect an object included in the object image based on the object image. In one embodiment, the projecting device may acquire a registered image based on the object image. The projecting device may detect objects included in the registered image based on the registered image.
  • FIG. 12 is a conceptual diagram illustrating features in which the operation of a projecting device according to an embodiment of the present disclosure is determined according to the operation of the light blocking unit. For convenience of explanation, anything that overlaps with what was explained using FIGS. 1, 10, and 11 will be simplified or omitted.
  • the projecting device 100 may separately perform an operation of projecting an image (S1210) and an operation of photographing an object (S1220) using a light blocking unit.
  • S1210 an image
  • S1220 an operation of photographing an object
  • step S1210 the projecting device 100 may project an image.
  • the operation of the light blocking unit corresponding to step S1210 is the same as the operation described using FIG. 10.
  • the light transmission filter 932 may be disposed on the optical path through which the image light L passes.
  • Image light L may be transmitted by the light transmission filter 932.
  • the transmitted image light L may be projected to the outside by the projection lens 950. That is, the projecting device 100 can project the image 120.
  • the section through which the image light L is transmitted by the light transmission filter 932 may mean a projection section.
  • the projecting device 100 may project the image 120 during the projection period.
  • step S1220 the projecting device 100 may photograph an object.
  • the operation of the light blocking unit 930 corresponding to step S1220 is the same as the operation described using FIG. 11.
  • the light blocking filter 931 may be disposed on the optical path through which the image light L passes. Image light L may be blocked by the light blocking filter 931. That is, the projecting device 100 may not be able to project the image 120.
  • the projecting device 100 may photograph the object 160 while the image light L is blocked.
  • the projecting device 100 may acquire an object image including the object 160.
  • the projecting device 100 may detect the object 160 included in the object image, based on the object image.
  • the section in which the image light L is blocked by the light blocking filter 931 may mean a blocking section.
  • the projecting device 100 may set the shooting section to be included within the blocking section.
  • the projecting device 100 may control the camera to photograph the object 160 during the photographing period.
  • the projecting device 100 may control the light blocking unit 930 to rotate by receiving a predetermined clock signal. By receiving a repetitive clock signal, the projecting device 100 can control the light blocking unit 930 to repeatedly rotate according to the signal. The projecting device 100 may control the light blocking unit 930 so that the operations of S1210 and S1220 are repeated.
  • the projecting device 100 may acquire a plurality of object images including the object 160.
  • the projecting device 100 may obtain a registered image by registering a plurality of object images.
  • the projecting device 100 may detect an object included in the registered image based on the registered image.
  • FIG. 13 is a graph illustrating an operation of a projecting device according to an embodiment of the present disclosure to photograph an object using different photographing cycles depending on illuminance. For convenience of explanation, anything that overlaps with what was explained using FIGS. 3 and 6 will be simplified or omitted.
  • the projecting device can acquire a projector signal and a plurality of camera signals.
  • the project signal and multiple camera signals received by the projecting device may not be synchronized.
  • the projector signal may start at an initial time point (T0) and repeat 0 and 1 at a constant cycle.
  • the first camera signal and the second camera signal may not start at the initial time point (T0).
  • the first camera signal and the second camera signal may start at the first time point T1, and 0 and 1 may be repeated at regular intervals.
  • the projector signal and the plurality of camera signals start simultaneously at the first time point T1 and may repeat at a constant cycle. That is, the projector signal and the plurality of camera signals can be synchronized.
  • the projector signal and the plurality of camera signals may not be synchronized with each other.
  • the projecting device may acquire a first camera signal when illuminance is low.
  • the projecting device may acquire a second camera signal when the illuminance is high.
  • the projecting device may photograph an object a predetermined time after the camera signal of 1 is acquired (T1).
  • the camera signal includes a first camera signal and a second camera signal.
  • the predetermined time may be the time from the first time point (T1) to the second time point (T2).
  • the projecting device may set a blocking section to block image light output by a light source.
  • the projecting device can set a blocking section that repeats according to a predetermined cycle. As shown, when the illuminance is low, the blocking section may include the time from the second time point (T2) to the 1_3 time point (T13). When the illuminance is high, the blocking section may include the time from the second time point (T2) to the 2_3 time point (T23).
  • the projecting device may set a shooting section for photographing an object using a camera.
  • the shooting section may be included within the blocking section.
  • the projecting device may photograph an object based on the first camera signal.
  • the shooting section may include the time from the second time point (T2) to the first_third time point (T13).
  • the projecting device may photograph an object based on the second camera signal.
  • the shooting section may include the time from the second time point (T2) to the 2_3 time point (T23).
  • the projecting device may determine the length of the projection section depending on the illuminance.
  • the projecting device may determine the length of the projection section based on illuminance information indicating the illuminance of the external projection surface on which the image is projected.
  • the projecting device can set the projection section so that the lower the illuminance, the shorter the length of the projection section.
  • the projecting device may photograph an object based on the first camera signal.
  • the projection section may include the time from the 1_3rd time point (T13) to the 1_4th time point (T14).
  • the projecting device may photograph an object based on the second camera signal.
  • the projection section may include the time from the 2_3rd time point (T23) to the 2_4th time point (T24).
  • Figure 14 is a block diagram for explaining the configuration of a projecting device according to an embodiment of the present disclosure.
  • the projecting device 1000 may include a processor 1100, a memory 1200, a camera 1300, and a projector 1400.
  • the projector 1400 may include a light source 1410, a light blocking unit 1420, and a projection lens 1430.
  • the processor 1100, memory 1200, camera 1300, and projector 1400 may each be electrically and/or physically connected to each other.
  • the components shown in FIG. 14 are merely according to an embodiment of the present disclosure, and the components included in the projecting device 1000 are not limited to those shown in FIG. 14 .
  • the projecting device 1000 may not include some of the components shown in FIG. 14 and may further include components not shown in FIG. 14 .
  • the projecting device 1000 may further include a power supply unit (e.g., a battery) that supplies driving power to the camera 1300, the projector 1400, the processor 1100, and the memory 1200. there is.
  • a power supply unit e.g., a battery
  • the light source 1410 may be configured to output image light.
  • Image light may include white light.
  • the light blocking unit 1420 may be configured to block image light output from the light source 1410.
  • the light blocking unit 1420 may be configured to block image light for a predetermined period and may transmit image light for another predetermined period.
  • the light blocking unit 1420 may include a light blocking filter that blocks image light, a light transmission filter that transmits image light, and a driving motor that rotates the light blocking filter and the light transmission filter to be sequentially arranged. there is.
  • the light blocking unit 1420 may be configured in the form of a rotatable wheel. As the light blocking unit 1420 rotates by the driving motor, the image light incident on the light blocking unit 1420 may be blocked by the light blocking filter or transmitted through the light transmission filter.
  • the projection lens 1430 may be configured to project the image light transmitted by the light blocking unit 1420 to the outside. That is, the processor 1100 can project an image by projecting image light to the outside using the projection lens 1430.
  • the camera 1300 may be configured to photograph an object placed on an external projection surface.
  • the processor 1100 may acquire an object image about an object using the camera 1300.
  • the processor 1100 may set a blocking section in which image light is blocked by the light blocking unit 1420.
  • the processor 1100 may set the shooting section to be included within the blocking section.
  • the processor 1100 may acquire an object image using the camera 1300 during the shooting section.
  • the processor 1100 may execute one or more instructions or program codes stored in the memory 1200 and perform functions and/or operations corresponding to the instructions or program codes.
  • the processor 1100 may be comprised of hardware components that perform arithmetic, logic, input/output operations, and signal processing.
  • the processor 1100 includes, for example, a central processing unit, microprocessor, graphics processor, application processor (AP), application specific integrated circuits (ASICs), and DSPs. It may be composed of at least one of (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), or FPGAs (Field Programmable Gate Arrays), but is not limited thereto.
  • the processor 1100 is shown as one element, but it is not limited thereto. In one embodiment, the processor 1100 may be comprised of one or more processors.
  • the processor 1100 may be configured as a dedicated hardware chip that performs artificial intelligence (AI) learning.
  • AI artificial intelligence
  • the memory 1200 may store instructions and program codes that the processor 1100 can read.
  • the memory 1200 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (e.g., SD or XD). Memory, etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), Mask ROM, Flash ROM, etc.), a hard disk drive (HDD), or a solid state drive (SSD).
  • a flash memory type e.g., a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (e.g., SD or XD). Memory, etc.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-On
  • the memory 1200 may store instructions or program codes for performing functions or operations of the projecting device 1000.
  • the memory 1200 contains at least one of instructions, an algorithm, a data structure, a program code, or an application program that can be read by the processor 1100. can be saved.
  • Instructions, algorithms, data structures, and program codes stored in the memory 1200 may be implemented in, for example, programming or scripting languages such as C, C++, Java, assembler, etc.
  • the memory 1200 stores commands, algorithms, data structures, or program codes related to the model for setting a blocking section that blocks image light and controlling the camera to photograph an object during a shooting section included in the blocking section. There may be.
  • the 'module' included in the memory 1200 refers to a unit that processes functions or operations performed by the processor 1100, and may be implemented as software such as instructions, algorithms, data structures, or program code. .
  • the processor 1100 may be implemented by executing instructions or program codes stored in the memory 1200.
  • the processor 1100 may obtain illuminance information indicating the illuminance of an external projection surface.
  • the processor 1100 may set a blocking section to block output image light based on the illuminance information.
  • the processor 1100 may set the shooting section to be included within the blocking section.
  • the processor 1100 may control the light blocking unit 1420 to block image light output during the blocking period.
  • the processor 1100 may control the camera 1300 to photograph an object during a photographing period.
  • a projecting device for recognizing an object while projecting an image may include a light source, a projection lens, a camera, a light blocking unit, and at least one processor.
  • the light source may be configured to output image light.
  • the projection lens may be configured to project output image light to the outside.
  • the camera may be configured to image an object positioned between the camera and an external projection surface of projected image light.
  • the light blocking unit may be configured to block image light output for a predetermined period.
  • At least one processor may obtain illuminance information related to the illuminance of the external projection surface. At least one processor may set a blocking section in which output image light is blocked based on illuminance information. At least one processor may set the shooting section to be included within the blocking section. At least one processor may control the light blocking unit to block image light output during the blocking period. At least one processor may control the camera to photograph an object during a photographing period.
  • the starting point of the shooting section may coincide with the starting point of the blocking section.
  • the shooting section may include a first shooting section and a second shooting section following the first shooting section.
  • At least one processor may determine a shooting cycle from when the first shooting section starts until the second shooting section starts again.
  • At least one processor may control the camera to repeatedly photograph an object during a photographing period, based on a photographing cycle.
  • the shooting section and the projection section that does not overlap with the shooting section may be repeated during the shooting cycle.
  • the shooting section may be shorter than the projection section.
  • At least one processor may set the projection section and the shooting section so that the higher the illuminance according to the illuminance information, the smaller the ratio of the shooting section to the projection section.
  • At least one processor may set the photographing section based on the illuminance information so that the higher the illuminance according to the illuminance information, the shorter the photographing section.
  • At least one processor may obtain a first object image including the object by controlling the camera to photograph the object during the first capturing section. At least one processor may obtain a second object image including the object by controlling the camera to photograph the object during the second photographing period. At least one processor may acquire a registered image based on the first object image and the second object image.
  • the illuminance of the registered image may be higher than the illuminance of the first object image and the illuminance of the second object image.
  • At least one processor may determine a matching quantity for matching an object image of an object captured by a camera based on illuminance information. At least one processor may select some of the plurality of object images repeatedly photographed according to the photographing cycle based on the matching quantity. At least one processor may acquire a registered image based on the selected portion. The higher the illuminance according to the illuminance information, the smaller the matching quantity may be.
  • the light blocking unit may include a light transmission filter that transmits output image light.
  • the light blocking unit is connected to the light transmission filter and may include a light blocking filter that blocks output image light.
  • the light blocking unit may include a rotating plate on which the light transmission filter and the light blocking filter are rotatably installed.
  • the light blocking unit may include a driving motor that rotates the rotating plate so that the light transmission filter and the light blocking filter are sequentially arranged on the optical path through which the image light passes.
  • image light may be blocked by a light blocking filter as the light blocking unit rotates during the blocking period.
  • Image light may be transmitted through the light transmission filter as the light blocking unit rotates during the projection period.
  • a method for recognizing an object with image projection may include obtaining illuminance information related to the illuminance of an external projection surface of image light projected by a projection lens.
  • the method may include setting a blocking section in which image light output by a light source is blocked based on illuminance information.
  • the method may include setting the shooting section to be included within the blocking section.
  • the method may include blocking image light output during the blocking period.
  • the method may include photographing an object located on an external projection surface during a photographing period using a camera.
  • the shooting section may include a first shooting section and a second shooting section following the first shooting section.
  • Setting the shooting section may include determining a shooting cycle from when the first shooting section starts to when the second shooting section starts again.
  • the step of photographing the object may include repeatedly photographing the object during a photographing section based on a photographing cycle.
  • the shooting cycle may be a cycle in which the shooting section and the projection section that do not overlap with the shooting section are repeated.
  • the shooting section may be shorter than the projection section.
  • setting the shooting section may include setting the projection section and the shooting section so that the higher the illuminance according to the illuminance information, the smaller the ratio of the shooting section to the projection section.
  • setting the photographing section may include setting the photographing section based on illuminance information so that the higher the illuminance according to the illuminance information, the shorter the photographing section.
  • photographing the object may include acquiring a first object image including the object by photographing the object during the first photographing section.
  • the step of repeatedly photographing an object may include acquiring a second object image including the object by photographing the object during a second photographing period.
  • the method may further include obtaining a registered image based on the first object image and the second object image.
  • the illuminance of the registered image may be higher than the illuminance of the first object image and the illuminance of the second object image.
  • the method may further include determining a matching quantity for matching an object image for a photographed object based on illuminance information.
  • the method may further include selecting a portion of a plurality of object images repeatedly photographed according to a photographing cycle based on a matching quantity.
  • the method may further include obtaining a registered image based on the selected portion. The higher the illuminance according to the illuminance information, the smaller the matching quantity may be.
  • a computer-readable recording medium on which a program for performing the above-described method on a computer is recorded is provided.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.

Abstract

프로젝팅 장치는 이미지 광을 출력하는 광원, 출력되는 이미지 광을 외부로 투사시키는 프로젝션 렌즈, 투사되는 이미지 광의 외부 투사면에 대해 위치하는 객체를 촬영하는 카메라, 소정 구간 동안 출력되는 이미지 광을 차단하는 광차단부, 및 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 외부 투사면의 조도를 나타내는 조도 정보를 획득하고, 조도 정보에 기초하여, 출력되는 이미지 광을 차단하는 차단 구간을 설정하고, 차단 구간 내에 포함되도록 촬영 구간을 설정하고, 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어하고, 촬영 구간 동안 객체를 촬영하도록 카메라를 제어한다.

Description

영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법
본 개시의 일 실시 예는 영상 투사와 함께 객체를 인식하기 위한 방법 및 이를 위한 프로젝팅 장치에 관한 것이다. 보다 구체적으로는, 본 개시의 일 실시 예는 프로젝팅 장치를 통해 영상을 투사함과 동시에 투사된 영상 위에 위치한 객체를 인식함으로써, 영상과 객체 간의 상호 작용을 통한 증강 현실(AR; Augmented Reality)을 경험할 수 있도록 하는 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 오버레이(overlay)하여 함께 보여주는 기술이다. 증강 현실 기술을 활용하여 영상을 투사하는 AR 프로젝터가 일상 생활에서 사용될 수 있다.
AR 프로젝터는 영상을 투사하는 것뿐만 아니라, 영상 투사면 상에 위치한 객체를 인식할 수 있다. AR 프로젝터는 투사된 영상과 인식된 객체 간의 상호 작용을 통한 증강 현실 경험을 제공할 수 있다.
AR 프로젝터는 영상 투사면 상에 위치한 객체를 인식해야 하므로, 영상과 객체를 명확하게 구별해야 한다. 또한, AR 프로젝터는 특정 조도 환경에 위치한 객체를 쉽게 인식할 수 있다. 즉, AR 프로젝터는 조도 변화에 따라 너무 어둡거나 너무 밝은 환경에 위치한 객체를 쉽게 인식하지 못할 수 있다. 따라서, 영상을 투사하면서도, 조도 환경 변화와 무관하게 영상 투사면 상에 위치한 객체를 명확히 인식할 것이 요구된다.
상술한 기술적 과제를 해결하기 위하여 본 개시는 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치를 제공한다. 본 개시의 일 실시 예에 따른 프로젝팅 장치는 광원, 프로젝션 렌즈, 카메라, 광차단부 및 적어도 하나의 프로세서를 포함할 수 있다. 광원은 이미지 광을 출력하도록 구성될 수 있다. 프로젝션 렌즈는 출력되는 이미지 광을 외부로 투사하도록 구성될 수 있다. 카메라는 카메라와 투사되는 이미지 광의 외부 투사면 사이에 위치하는 객체를 촬영하도록 구성될 수 있다. 광차단부는 차단 구간 동안 출력되는 이미지 광을 차단하도록 구성될 수 있다. 적어도 하나의 프로세서는 광원, 카메라, 광차단부의 동작을 제어할 수 있다.
적어도 하나의 프로세서는, 외부 투사면의 조도와 관련된 조도 정보를 획득할 수 있다. 적어도 하나의 프로세서는, 조도 정보에 기초하여, 출력되는 이미지 광이 차단되는 차단 구간을 설정할 수 있다. 적어도 하나의 프로세서는, 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 적어도 하나의 프로세서는, 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 적어도 하나의 프로세서는, 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다.
본 개시의 일 실시 예에 따라 영상 투사와 함께 객체를 인식하기 위한 방법은 프로젝션 렌즈에 의해 투사된 이미지 광의 외부 투사면의 조도와 관련된 조도 정보를 획득하는 단계를 포함할 수 있다. 상기 방법은, 조도 정보에 기초하여, 광원에 의해 출력되는 이미지 광이 차단되는 차단 구간을 설정하는 단계를 포함할 수 있다. 상기 방법은, 차단 구간 내에 포함되도록 촬영 구간을 설정하는 단계를 포함할 수 있다. 상기 방법은, 차단 구간 동안 출력되는 이미지 광을 차단하는 단계를 포함할 수 있다. 상기 방법은, 카메라를 이용하여, 촬영 구간 동안 외부 투사면에 위치하는 객체를 촬영하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시 예는 컴퓨터에서 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 영상을 투사함과 함께 객체를 인식하는 동작을 도시한 개념도이다.
도 2는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 동작 방법을 도시한 흐름도이다.
도 3은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도가 낮은 경우 촬영된 영상을 정합함으로써 객체를 인식하는 동작을 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영 주기를 활용하여 객체를 포함하는 영상을 반복적으로 촬영하는 동작 방법을 도시한 흐름도이다.
도 5는 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영된 영상을 정합함으로써 객체를 인식하기 위한 동작 방법을 도시한 흐름도이다.
도 6은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 다른 촬영 주기를 활용하여 객체를 촬영하는 동작을 도시한 그래프이다.
도 7은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 촬영된 객체 영상을 활용하여 정합 이미지를 획득하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영된 영상을 정합함으로써 객체를 인식하는 동작 방법을 도시한 흐름도이다.
도 9는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 프로젝터를 세부적으로 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 광차단부를 세부적으로 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 광차단부를 세부적으로 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 동작이 광차단부의 동작에 따라 결정되는 특징을 설명하기 위한 개념도이다.
도 13은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 다른 촬영 주기를 활용하여 객체를 촬영하는 동작을 도시한 그래프이다.
도 14는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성을 설명하기 위한 블록도이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c" 혹은, "a, b 및 c 모두"를 지칭할 수 있다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
또한, 본 개시에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시 예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 영상을 투사함과 함께 객체를 인식하는 동작을 도시한 개념도이다.
도 1을 참조하면, 일 실시 예에 따른 프로젝팅 장치(100)는 영상을 투사할 수 있다.
프로젝팅 장치(100)는 영상을 투사하는 프로젝터를 포함할 수 있다. 본 개시에서, 프로젝터는 광원 및 프로젝션 렌즈를 포함할 수 있다. 참고적으로, 프로젝팅 장치(100)의 세부적인 구성에 관하여 도 9를 이용하여 설명하고, 도 1을 이용하여 프로젝팅 장치(100)의 동작을 위주로 설명한다.
프로젝팅 장치(100)는 광원을 이용하여 이미지 광을 출력할 수 있다. 광원에 의해 출력된 이미지 광은 백색광일 수 있다. 프로젝팅 장치(100)는 프로젝션 렌즈를 이용하여, 광원에 의해 출력되는 이미지 광을 외부로 투사시킬 수 있다. 프로젝팅 장치(100)에 의해 외부로 투사된 이미지 광은, 프로젝팅 장치(100)에 의해 투사된 영상(120)을 의미할 수 있다. 즉, 프로젝팅 장치(100)는 광원 및 프로젝션 렌즈를 이용하여 영상(120)을 투사할 수 있다.
단, 프로젝팅 장치(100)는 더 많은 구성 또는 다른 구성을 이용하여 영상(120)을 투사할 수 있으며, 프로젝팅 장치(100)의 구성은 광원 및 프로젝션 렌즈에 한정되지 않는다.
일 실시 예에서, 프로젝팅 장치(100)는 투사되는 이미지 광의 외부 투사면(140)에 대해 위치하는 객체(160)를 촬영하는 카메라를 더 포함할 수 있다. 다시 말해, 도 1에 도시된 바와 같이, 객체(160)은 외부 투사면(140) 상에 위치될 수 있다. 프로젝팅 장치(100)는 카메라를 이용하여, 객체(160)가 포함된 객체 이미지를 획득할 수 있다. 객체 이미지는 외부 투사면(140)에 대해 위치한 객체(160)를 포함하는 이미지일 수 있다.
프로젝팅 장치(100)는 RGB 카메라를 이용하여 객체 이미지를 획득할 수 있지만, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다. 예를 들어, 프로젝팅 장치(100)는 스테레오 카메라(Stereo Camera), IR(infrared) 카메라, RGB-D(RGB-depth) 카메라 및 TOF(Time of Flight) 카메라 중 하나를 이용하여 객체 이미지를 획득할 수도 있다.
본 개시에서, 외부 투사면(140)은 프로젝팅 장치(100)의 프로젝션 렌즈에 의해 이미지 광이 투사된 면일 수 있다.
본 개시에서, 외부 투사면(140)에 대해 위치하는 객체(160)는 외부 투사면(140)에 접촉하여 위치하는 객체(160), 외부 투사면(140) 상에 위치하는 객체(160), 외부 투사면(140)과 카메라 사이에 위치함으로써 영상이 투사된 영역 내에 위치된 객체(160)일 수 있다.
일 실시 예에서, 프로젝팅 장치(100)는 영상(120)을 투사하는 동작과 객체(160)를 촬영하는 동작을 수행할 수 있다. 영상(120)을 투사하는 동작과 객체(160)를 촬영하는 동작은 동시에 수행되지 않을 수 있고, 분리될 수 있다.
일 실시 예에서, 프로젝팅 장치(100)는 촬영 구간 및 투사 구간을 설정할 수 있다. 프로젝팅 장치(100)는 촬영 구간 동안 객체(160)를 촬영하도록 카메라를 제어할 수 있다. 프로젝팅 장치(100)는 투사 구간 동안 영상을 투사하도록 광원 및 프로젝션 렌즈를 제어할 수 있다. 촬영 구간과 투사 구간은 겹치지 않을 수 있다.
일 실시 예에서, 프로젝팅 장치(100)는 객체(160)를 포함하는 객체 이미지에 기초하여 객체를 검출할 수 있다. 프로젝팅 장치(100)는 객체 검출(object detection) 알고리즘을 이용하여 객체 이미지 내에 포함된 객체(160)를 검출할 수 있다.
예를 들어, 도시된 바와 같이, 외부 투사면(140)에 대해 위치한 객체(160)는 손일 수 있다. 프로젝팅 장치(100)에 스테레오 카메라가 포함되어 있다면, 프로젝팅 장치(100)는 손 골격 감지 및 추적(hand skeleton detection and tracking)'기술을 통해 손을 검출하고, 나아가 깊이 정보를 통해 손의 3차원 포즈를 인식할 수도 있다.
손 골격 감지 및 추적 기술은, 사람의 손 이미지 상에서 움직이는 관절 부위를 탐지하여, 미리 정해진 골격(skeleton) 구조를 분할해서 분할된 이미지를 투영해 주는 기술이다. 사람의 손의 골격 구조는 각 손가락의 끝점(5개), 각 손가락의 관절점(5*3=15개), 손바닥 점(1개) 및 손목 점(1개)을 포함할 수 있으나, 이에 한정되는 것은 아니다.
즉, 일 실시 예에서, 프로젝팅 장치(100)는 손 골격 감지 및 추적 기술을 통해 손을 인식하고, 손가락의 관절점, 손바닥 점 및 손목 점을 통해 손의 골격을 추적함으로써 외부 투사면(140)에서의 터치(touch), 스위핑(sweeping), 핀치(pinch) 등과 같은 손의 동작(motion)을 구체적으로 인식할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 동작 방법을 도시한 흐름도이다. 설명의 편의상, 도 1을 이용하여 설명한 것과 중복되는 것은 간략히 한다.
도 2를 참조하면, 단계 S210에서, 프로젝팅 장치는 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다.
일 실시 예에서, 프로젝팅 장치는 예를 들어, 외부 투사면의 조도를 측정하기 위한 조도 센서를 더 포함할 수 있다. 프로젝팅 장치는 조도 센서를 이용하여, 외부 투사면의 조도를 측정할 수 있다.
단, 프로젝팅 장치가 조도 정보를 획득하기 위해 조도 센서를 포함하는 특징은 예시일 뿐, 조도 정보를 획득하는 방법은 본 개시의 기술적 사상을 한정하지 않는다. 예를 들어, 프로젝팅 장치는 카메라를 이용하여 외부 투사면에 대한 객체 이미지를 획득할 수 있고, 외부 투사면에 대한 객체 이미지에 기초하여 외부 투사면의 조도를 계산함으로써 조도 정보를 획득할 수 있다.
단계 S220에서, 프로젝팅 장치는 조도 정보에 기초하여 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다.
일 실시 예에서, 프로젝팅 장치는 광원 및 프로젝션 렌즈를 이용하여 영상을 투사할 수 있다. 프로젝팅 장치는 광차단부를 더 포함할 수 있고, 프로젝팅 장치는 광차단부를 제어함으로써 광원으로부터 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다.
본 개시에서, 광원으로부터 출력되는 이미지 광을 차단하는 것은 프로젝팅 장치로부터 영상이 투사되지 않는 것을 의미할 수 있다. 즉, 차단 구간은 프로젝팅 장치에 의해 영상이 투사되지 않는 구간을 의미할 수 있다. 참고적으로, 프로젝팅 장치에 의해 영상이 투사되는 구간은 투사 구간일 수 있다. 투사 구간은 차단 구간을 제외한 구간일 수 있고, 차단 구간과 겹치지 않을 수 있다.
일 실시 예에서, 프로젝팅 장치는 조도 정보에 기초하여 차단 구간을 설정할 수 있다. 예를 들어, 조도 정보에 따른 조도가 높을수록 차단 구간의 간격이 길어짐에 따라 촬영 주기가 길어지거나, 차단 구간이 짧아짐에 따라 카메라의 노출 시간(exposure time)이 길어질 수 있다. 프로젝팅 장치는 조도 정보에 기초하여 차단 구간을 설정함으로써, 조도 환경 변화에 대응하여 카메라 및 프로젝터의 동작을 제어할 수 있다.
일 실시 예에서, 프로젝팅 장치는 조도 정보에 따른 조도가 높을수록 투사 구간 대비 촬영 구간의 비율이 작아지도록, 투사 구간 및 촬영 구간을 설정할 수 있다. 즉, 프로젝팅 장치는 번갈아 반복되는 투사 구간 및 촬영 구간에 따라 영상을 투사하고 객체를 촬영할 수 있으나, 조도가 높은 경우 객체를 빈번하게 촬영하도록 카메라를 제어할 수 있다.
단계 S230에서, 프로젝팅 장치는 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 촬영 구간은 차단 구간보다 짧을 수 있다.
일 실시 예에서, 촬영 구간의 시작점은 차단 구간의 시작점과 일치할 수 있다. 즉, 프로젝팅 장치는 프로젝터에 의한 영상 투사가 차단되기 시작하는 순간부터, 외부 투사면에 위치한 객체를 촬영하도록 카메라를 제어할 수 있다.
단계 S240에서, 프로젝팅 장치는 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 단계 S250에서, 프로젝팅 장치는 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다.
일 실시 예에서, 프로젝팅 장치는 광원을 이용하여 이미지 광을 출력할 수 있다. 프로젝팅 장치는 설정된 차단 구간 동안, 출력된 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 즉, 프로젝팅 장치는 차단 구간 동안 외부 투사면 상에 영상을 투사하지 않을 수 있다.
일 실시 예에서, 프로젝팅 장치는 차단 구간 내에 포함된 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다. 즉, 프로젝팅 장치는 영상이 투사되지 않는 동안, 외부 투사면에 대해 위치하는 객체를 촬영할 수 있다.
프로젝팅 장치는 영상을 투사하는 동작과 객체를 촬영하는 동작을 분리함으로써, 객체를 포함하는 객체 이미지를 선명하게 획득할 수 있다. 프로젝팅 장치는 선명하게 획득된 객체 이미지에 기초하여, 객체를 인식할 수 있다. 일 실시 예에서, 영상을 투사하는 동작과 객체를 촬영하는 동작은 육안으로 분간되지 않을 정도로 빠른 속도로 반복될 수 있고, 프로젝팅 장치는 사용자가 보기에 투사된 영상 위의 객체를 인식하는 듯한 증강 현실을 사용자에게 제공할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도가 낮은 경우 촬영된 영상을 정합함으로써 객체를 인식하는 동작을 도시한 도면이다.
참고적으로, 도 3은 프로젝터 신호와 카메라 신호를 비교하여, 프로젝팅 장치가 영상을 투사하는 동작과 객체를 촬영하는 동작의 분리를 설명하기 위한 도면이다. 프로젝터 신호와 카메라 신호는 각각 동기화에 사용하는 주기적 신호인 클록 신호(clock signal)를 의미할 수 있다.
도 3을 참조하면, 일 실시 예에서, 프로젝팅 장치는 프로젝터 신호 및 카메라 신호를 획득할 수 있다.
프로젝터 신호는 일정한 주기에 따라 1과 0이 반복되는 클록 신호일 수 있다. 프로젝터 신호는 프로젝팅 장치가 영상을 투사하는 시점에 관한 신호일 수 있다. 프로젝팅 장치는 프로젝터 신호에 기초하여, 주기적으로 영상을 투사할 수 있다. 예를 들어, 프로젝팅 장치는 광원으로부터 출력된 이미지 광을 가공함으로써 생성된 영상을, 프로젝터 신호에 기초하여 주기적으로 투사할 수 있다.
일 실시 예에서, 프로젝팅 장치는 1의 프로젝터 신호를 수신할 때마다, 영상을 투사할 수 있다. 프로젝팅 장치는 프로젝터 신호의 주기에 기초하여, 영상을 반복적으로 투사할 수 있다. 예를 들어, 프로젝팅 장치는 120Hz의 주파수를 갖는 프로젝터 신호에 기초하여 영상을 반복적으로 투사할 수 있다. 다른 예로, 프로젝팅 장치는 8.3ms(millisecond)의 주기를 갖는 프로젝터 신호에 기초하여 영상을 반복적으로 투사할 수 있다.
카메라 신호는 일정한 주기에 따라 1과 0이 반복되는 클록 신호거나, 1과 0으로 구성된 TTL 신호일 수 있다. 카메라 신호는 프로젝팅 장치가 객체를 촬영하는 시점을 나타내는 신호일 수 있다. 프로젝팅 장치는 카메라 신호에 기초하여, 주기적으로 객체를 촬영할 수 있다. 예를 들어, 프로젝팅 장치는 카메라 신호에 기초하여, 객체를 촬영하기 위해 카메라의 셔터를 여는 동작을 제어할 수 있다.
일 실시 예에서, 프로젝팅 장치는 1의 카메라 신호를 획득한 시점(T1)으로부터 소정의 시간 후에 객체를 촬영할 수 있다. 1의 카메라 신호는 카메라의 촬영 동작을 지시하기 위한 신호를 의미할 수 있다. 1의 카메라 신호를 획득한 시점(T1)으로부터 필요한 소정의 시간은, 프로젝팅 장치가 광차단부를 이용하여 영상 투사를 차단하기 위해, 광차단부가 작동되는데 필요한 시간을 의미할 수 있다. 즉, 상기 소정의 시간이란, 광차단부가 기계적 구성임에 따라, 프로젝팅 장치가 1의 카메라 신호를 수신한 후 광차단부를 작동하는데 필요한 시간을 의미할 수 있다. 예를 들어, 광차단부를 작동하는데 필요한 소정의 시간은, 제1 시점(T1)으로부터 제2 시점(T2)까지의 시간일 수 있다.
단, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다. 예를 들어, 프로젝팅 장치는 1의 카메라 신호를 획득함과 동시에, 영상 투사를 차단하도록 광차단부를 제어할 수도 있다.
일 실시 예에서, 프로젝팅 장치는 광원에 의해 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 프로젝팅 장치는 소정의 주기에 따라 반복되는 차단 구간을 설정할 수 있다. 도시된 바와 같이, 차단 구간은 제2 시점(T2)으로부터 제4 시점(T4)까지의 시간을 포함할 수 있다. 또한, 차단 구간은 제6 시점(T6)으로부터 제8 시점(T8)까지의 시간을 포함할 수 있다. 각 차단 구간은 동일한 시간의 구간일 수 있다. 즉, 차단 구간은 소정의 주기에 따라, 동일한 시간으로 반복되는 구간을 포함할 수 있다.
일 실시 예에서, 프로젝팅 장치는 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 출력되는 이미지 광이 프로젝션 렌즈에 의해 외부로 투사됨으로써, 프로젝팅 장치는 외부 투사면에 대해 영상을 투사할 수 있다. 프로젝팅 장치는 차단 구간 동안 광차단부가 이미지 광을 차단하도록 제어함으로써, 영상을 투사하지 않을 수 있다.
참고적으로, 프로젝팅 장치는 투사 구간 동안 영상을 투사할 수 있다. 프로젝팅 장치는 투사 구간 동안 출력되는 이미지 광이 광차단부에 의해 차단되지 않도록 제어함으로써, 영상을 투사할 수 있다. 투사 구간은 차단 구간과 겹치지 않을 수 있다. 예를 들어, 투사 구간은 제4 시점(T4)으로부터 제5 시점(T5)까지의 시간을 포함할 수 있다. 도시되지는 않았지만, 투사 구간은 소정의 주기에 따라 동일한 시간으로 반복되는 구간을 포함할 수 있다.
일 실시 예에서, 프로젝팅 장치는 카메라를 이용하여 객체를 촬영하는 촬영 구간을 설정할 수 있다. 도시된 바와 같이, 촬영 구간은 제2 시점(T2)으로부터 제3 시점(T3)까지의 시간을 포함할 수 있다. 또한, 촬영 구간은 제6 시점(T6)으로부터 제7 시점(T7)까지의 시간을 포함할 수 있다. 각 촬영 구간은 동일한 시간의 구간일 수 있다. 즉, 촬영 구간은 소정의 주기에 따라, 동일한 시간으로 반복되는 구간을 포함할 수 있다.
일 실시 예에서, 촬영 구간은 차단 구간 내에 포함될 수 있다. 촬영 구간은 카메라의 조리개가 열림으로써 들어온 빛을 센싱하는 노출(exposure)이 이루어지는 구간을 의미할 수 있다.
프로젝팅 장치는 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다. 즉, 프로젝팅 장치는 촬영 구간이 시작되면, 카메라의 조리개를 열도록 제어할 수 있다. 프로젝팅 장치는 촬영 구간 동안 노출(exposure)을 통해 빛을 감지하고, 감지된 빛에 기초하여 객체 이미지를 생성할 수 있다.
일 실시 예에서, 프로젝팅 장치는 각 촬영 구간 동안 획득된 객체 이미지를 통해 정합 이미지를 획득할 수 있다. 프로젝팅 장치는 조도가 낮은 경우 정합 이미지를 획득함으로써, 적절한 조도의 이미지를 획득할 수 있다. 즉, 프로젝팅 장치는 각 촬영 구간 동안 낮은 조도의 객체 이미지들을 획득하고, 획득된 낮은 조도의 객체 이미지들을 정합함으로써 높은 조도의 정합 이미지를 획득할 수 있다.
예를 들어, 프로젝팅 장치는 제1 촬영 구간 동안 제1 객체 이미지(310)를 획득할 수 있다. 여기서, 제1 촬영 구간은 제2 시점(T2)으로부터 제3 시점(T3)까지의 촬영 구간을 의미한다.
프로젝팅 장치는 제2 촬영 구간 동안 제2 객체 이미지(320)를 획득할 수 있다. 여기서, 제2 촬영 구간은 제6 시점(T6)으로부터 제7 시점(T7)까지의 촬영 구간을 의미한다.
프로젝팅 장치는 제1 객체 이미지(310) 및 제2 객체 이미지(320)를 정합함으로써 정합 이미지(330)를 획득할 수 있다. 본 개시에서, 정합이란 낮은 조도의 이미지들을 합성함으로써 높은 조도의 이미지를 획득하는, 이미지 변환 과정을 의미할 수 있다. 이미지 변환 방법은 본 개시의 기술적 사상을 한정하지 않는다.
일 실시 예에서, 정합 이미지(330)의 조도는 제1 객체 이미지(310)의 조도 및 제2 객체 이미지(320)의 조도보다 높을 수 있다.
프로젝팅 장치는 제1 객체 이미지(310)와 제2 객체 이미지(320)를 정합함으로써 정합 이미지(330)를 획득하는 것으로 도시하였으나, 정합 이미지(330) 획득에 필요한 이미지 개수는 본 개시의 기술적 사상을 한정하지 않는다. 예를 들어, 프로젝팅 장치는 제1 객체 이미지, 제2 객체 이미지 및 제3 객체 이미지를 정합함으로써 정합 이미지를 획득할 수도 있다.
일 실시 예에서, 프로젝팅 장치는 객체(335)를 포함하는 정합 이미지(330)에 기초하여 객체(335)를 검출할 수 있다. 예를 들어, 도시된 바와 같이, 객체(335)는 사용자의 손일 수 있다. 단, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다.
프로젝팅 장치는 정합 이미지(330)에 포함된 객체(335)를 인식하기 위하여, 딥 러닝(deep learning) 기반의 객체 탐지(object detection) 기술을 이용할 수 있다. 단, 프로젝팅 장치가 객체(335)를 인식하는 방법은 본 개시의 기술적 사상을 한정하지 않는다.
도 4는 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영 주기를 활용하여 객체를 포함하는 영상을 반복적으로 촬영하는 동작 방법을 도시한 흐름도이다.
도 4를 참조하면, 일 실시 예에서, 도 2의 단계 S250은 단계 S410 및 단계 S420을 포함할 수 있다.
단계 S410에서, 프로젝팅 장치는 제1 촬영 구간이 시작된 후 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정할 수 있다. 즉, 프로젝팅 장치는 촬영 구간이 일정한 간격으로 반복되도록, 촬영 주기를 결정할 수 있다.
참고적으로, 도 3을 함께 참조하면, 제1 촬영 구간은 제2 시점(T2)으로부터 제3 시점(T3)까지의 구간을 의미할 수 있다. 제2 촬영 구간은 제6 시점(T6)으로부터 제7 시점(T7)까지의 구간을 의미할 수 있다. 프로젝팅 장치는 제2 시점(T2)으로부터 제6 시점(T6)까지의 사이클(cycle)을 갖는 촬영 주기를 결정할 수 있다.
단계 S420에서, 프로젝팅 장치는 촬영 주기에 기초하여, 촬영 구간 동안 객체를 반복적으로 촬영하도록 카메라를 제어할 수 있다.
일 실시 예에서, 프로젝팅 장치는 결정된 촬영 주기에 기초하여, 일정한 간격으로 반복되는 촬영 구간 동안 객체를 포함하는 객체 이미지를 획득할 수 있다. 예를 들어, 일정한 간격으로 반복되는 촬영 구간은 제1 촬영 구간, 제2 촬영 구간을 포함할 수 있다. 프로젝팅 장치는 제1 촬영 구간 동안 객체를 포함하는 제1 객체 이미지를 획득할 수 있다. 프로젝팅 장치는 제2 촬영 구간 동안 객체를 포함하는 제2 객체 이미지를 획득할 수 있다.
일 실시 예에서, 프로젝팅 장치는 촬영 구간 동안 획득된 복수의 객체 이미지에 기초하여, 객체를 검출할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영된 영상을 정합함으로써 객체를 인식하기 위한 동작 방법을 도시한 흐름도이다.
도 5를 참조하면, 일 실시 예에서, 도 2의 단계 S250은 단계 S510 및 단계 S520을 포함할 수 있다.
단계 S510에서, 프로젝팅 장치는 제1 촬영 구간 동안 객체를 촬영하도록 카메라를 제어함으로써, 객체를 포함하는 제1 객체 이미지를 획득할 수 있다. 단계 S520에서 프로젝팅 장치는 제2 촬영 구간 동안 객체를 촬영하도록 카메라를 제어함으로써, 객체를 포함하는 제2 객체 이미지를 획득할 수 있다.
일 실시 예에서, 프로젝팅 장치는 연결되지 않은 제1 촬영 구간 및 제2 촬영 구간 동안, 각각 객체를 포함하는 제1 객체 이미지 및 제2 객체 이미지를 획득할 수 있다. 예를 들어, 프로젝팅 장치는 카메라의 조리개를 열어 노출(exposure)시킴으로써 제1 촬영 구간 동안 제1 객체 이미지를 획득할 수 있다. 제1 객체 이미지를 획득한 후, 프로젝팅 장치는 카메라의 조리개를 닫도록 제어할 수 있다. 그 후, 프로젝팅 장치는 다시 카메라의 조리개를 열어 노출시킴으로써 제2 촬영 구간 동안 제2 객체 이미지를 획득할 수 있다.
단계 S260에서 프로젝팅 장치는 제1 객체 이미지 및 제2 객체 이미지에 기초하여 정합 이미지를 획득할 수 있다. 단, 정합 이미지 획득에 필요한 이미지 개수는 본 개시의 기술적 사상을 한정하지 않는다.
일 실시 예에서, 프로젝팅 장치는 제1 객체 이미지 및 제2 객체 이미지를 정합함으로써, 조도가 높은 정합 이미지를 획득할 수 있다. 정합 이미지의 조도는 제1 객체 이미지의 조도 및 제2 객체 이미지의 조도보다 높을 수 있다. 예를 들어, 정합 이미지의 조도는 제1 객체 이미지의 조도 및 제2 객체 이미지의 조도의 합과 같을 수 있다. 단, 이는 예시일 뿐, 정합 이미지의 조도의 구체적인 계산식은 본 개시의 기술적 사상을 한정하지 않는다.
일 실시 예에서, 프로젝팅 장치는 정합 이미지에 기초하여 객체를 검출할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 다른 촬영 주기를 활용하여 객체를 촬영하는 동작을 도시한 그래프이다.
설명의 편의상, 도 3을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.
도 6을 참조하면, 일 실시 예에서, 프로젝팅 장치는 프로젝터 신호 및 제1 내지 제3 카메라 신호를 획득할 수 있다.
제1 카메라 신호, 제2 카메라 신호 및 제3 카메라 신호는 일정한 주기에 따라 1과 0이 반복되는 클록 신호 또는 TTL 신호일 수 있다. 구체적으로, 프로젝팅 장치는 조도에 따라 다른 주기를 갖는 카메라 신호를 획득할 수 있다. 프로젝팅 장치는 제1 카메라 신호, 제2 카메라 신호 및 제3 카메라 신호에 기초하여 주기적으로 객체를 촬영할 수 있다.
도시된 바와 같이, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호를 획득할 수 있다. 프로젝팅 장치는 조도가 중간인 경우, 제2 카메라 신호를 획득할 수 있다. 프로젝팅 장치는 조도가 높은 경우, 제3 카메라 신호를 획득할 수 있다. 본 개시에서, 중간인 경우의 조도란, 제1 카메라 신호를 획득하는 경우의 조도보다 높고, 제3 카메라 신호를 획득하는 경우의 조도보다 낮은 경우의 조도를 의미한다. 즉, 조도가 중간인 경우는 상대적으로 정의되었을 뿐, 본 개시의 기술적 사상을 한정하지 않는다.
일 실시 예에서, 프로젝팅 장치는 1의 카메라 신호를 획득한 시점(T1)으로부터 소정의 시간 후에 객체를 촬영할 수 있다. 여기서, 카메라 신호는 제1 카메라 신호, 제2 카메라 신호 및 제3 카메라 신호를 포함한다. 소정의 시간은 제1 시점(T1)으로부터 제2 시점(T2)까지의 시간일 수 있다.
일 실시 예에서, 프로젝팅 장치는 광원에 의해 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 프로젝팅 장치는 소정의 주기에 따라 반복되는 차단 구간을 설정할 수 있다. 도시된 바와 같이, 차단 구간은 제2 시점(T2)으로부터 제4 시점(T4)까지의 시간을 포함할 수 있다.
일 실시 예에서, 프로젝팅 장치는 카메라를 이용하여 객체를 촬영하는 촬영 구간을 설정할 수 있다. 촬영 구간은 차단 구간 내에 포함될 수 있다. 이하에서, 조도에 따른 촬영 구간, 투사 구간, 촬영 주기의 설정 등에 관하여 구체적으로 설명한다.
일 실시 예에서, 프로젝팅 장치는 조도에 따라 촬영 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 영상이 투사되는 외부 투사면의 조도를 나타내는 조도 정보에 기초하여, 촬영 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 조도가 높을수록, 촬영 구간의 길이가 짧아지도록 촬영 구간을 설정할 수 있다. 즉, 프로젝팅 장치는 조도가 낮은 경우, 카메라의 조리개를 오래 열어둠으로써 노출(exposure)이 장시간 이루어질 수 있도록 촬영 구간을 설정할 수 있다.
예를 들어, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 낮은 경우 촬영 구간은 제2 시점(T2)으로부터 제1_3 시점(T13)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제2 시점(T2)으로부터 제1_3 시점(T13)까지의 촬영 구간 동안 객체를 촬영함으로써, 제1_1 객체 이미지(610)를 획득할 수 있다.
프로젝팅 장치는 조도가 중간인 경우, 제2 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 중간인 경우 촬영 구간은 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 촬영 구간 동안 객체를 촬영함으로써, 제2_1 객체 이미지(620)를 획득할 수 있다.
프로젝팅 장치는 조도가 높은 경우, 제3 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 높은 경우 촬영 구간은 제2 시점(T2)으로부터 제3_3 시점(T33)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제2 시점(T2)으로부터 제3_3 시점(T33)까지의 촬영 구간 동안 객체를 촬영함으로써, 제3_1 객체 이미지(630)를 획득할 수 있다.
제2 시점(T2)으로부터 제1_3 시점(T13)까지의 시간은, 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간보다 길 수 있다. 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간은 제2 시점(T2)으로부터 제3_3 시점(T33)까지의 시간보다 길 수 있다. 즉, 프로젝팅 장치는 조도가 높을수록 촬영 구간이 짧아지도록 촬영 구간을 설정할 수 있다.
일 실시 예에서, 프로젝팅 장치는 조도가 낮은 경우, 객체를 포함하는 제1_1 객체 이미지(610)를 획득할 수 있다. 프로젝팅 장치는 조도가 중간인 경우, 객체를 포함하는 제2_1 객체 이미지(620)를 획득할 수 있다. 프로젝팅 장치는 조도가 높은 경우, 객체를 포함하는 제3_1 객체 이미지(630)를 획득할 수 있다.
제1_1 객체 이미지(610)의 조도는 제2_1 객체 이미지(620)의 조도보다 낮을 수 있다. 제2_1 객체 이미지(620)의 조도는 제3_1 객체 이미지(630)의 조도보다 낮을 수 있다.
일 실시 예에서, 프로젝팅 장치는 조도에 따라 투사 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 영상이 투사되는 외부 투사면의 조도를 나타내는 조도 정보에 기초하여, 투사 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 조도가 낮을수록 투사 구간의 길이가 짧아지도록 투사 구간을 설정할 수 있다. 즉, 프로젝팅 장치는 조도가 낮은 경우, 투사 구간을 줄임으로써 객체를 인식하기 위한 객체 이미지를 보다 많이 획득하도록 투사 구간을 설정할 수 있다. 프로젝팅 장치는 많이 획득된 객체 이미지를 정합함으로써, 적절한 조도의 정합 이미지를 획득할 수 있다. 프로젝팅 장치는 정합 이미지를 이용하여 객체를 검출할 수 있다.
예를 들어, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호에 기초하여 영상을 투사할 수 있다. 조도가 낮은 경우 투사 구간은 제4 시점(T4)으로부터 제1_5 시점(T15)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제4 시점(T4)으로부터 제1_5 시점(T15)까지의 투사 구간 동안 영상을 투사할 수 있다.
프로젝팅 장치는 조도가 중간인 경우, 제2 카메라 신호에 기초하여 영상을 투사할 수 있다. 조도가 중간인 경우 투사 구간은 제4 시점(T4)으로부터 제2_5 시점(T25)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제4 시점(T4)으로부터 제2_5 시점(T25)까지의 투사 구간 동안 영상을 투사할 수 있다.
프로젝팅 장치는 조도가 높은 경우, 제3 카메라 신호에 기초하여 영상을 투사할 수 있다. 조도가 높은 경우 투사 구간은 제4 시점(T4)으로부터 제3_5 시점(T35)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제4 시점(T4)으로부터 제3_5 시점(T35)까지의 투사 구간 동안 영상을 투사할 수 있다.
제4 시점(T4)으로부터 제1_5 시점(T15)까지의 시간은, 제4 시점(T4)으로부터 제2_5 시점(T25)까지의 시간보다 짧을 수 있다. 제4 시점(T4)으로부터 제2_5 시점(T25)까지의 시간은 제4 시점(T4)으로부터 제3_5 시점(T35)까지의 시간보다 짧을 수 있다. 즉, 프로젝팅 장치는 조도가 낮을수록 투사 구간이 짧아지도록 투사 구간을 설정할 수 있다.
일 실시 예에서, 프로젝팅 장치는 조도가 높을수록 촬영 구간의 길이가 짧아지도록 촬영 구간을 설정할 수 있다. 프로젝팅 장치는 조도가 높을수록 투사 기간의 길이가 길어지도록 투사 구간을 설정할 수 있다. 결론적으로, 프로젝팅 장치는 조도 정보에 따른 조도가 높을수록 투사 구간 대비 촬영 구간의 비율이 작아지도록, 투사 구간 및 촬영 구간을 설정할 수 있다.
일 실시 예에서, 촬영 구간은 투사 구간보다 짧을 수 있다. 프로젝팅 장치는 투사 구간 동안 반복적으로 영상을 투사할 수 있다. 프로젝팅 장치는 투사된 영상이 육안으로 끊기지 않도록 보이게 하기 위해, 반복적으로 영상을 투사할 수 있다. 따라서, 프로젝팅 장치는 최소한의 촬영 구간을 설정하고, 투사 구간의 단절이 육안으로 인식되지 않도록 충분한 투사 구간을 설정할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 촬영된 객체 영상을 활용하여 정합 이미지를 획득하는 동작을 설명하기 위한 도면이다. 설명의 편의상, 도 1 내지 도 6을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.
도 7을 참조하면, 일 실시 예에서, 프로젝팅 장치는 객체가 포함된 객체 이미지들을 획득할 수 있다. 프로젝팅 장치는 객체 이미지들에 기초하여 정합 이미지(740)를 획득할 수 있다.
일 실시 예에서, 프로젝팅 장치는 프로젝션 렌즈에 의해 이미지 광이 투사되는 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다. 프로젝팅 장치는 조도 정보에 따른 조도가 낮을수록 많은 객체 이미지를 정합함으로써, 정합 이미지(740)를 획득할 수 있다.
설명의 편의상, 도 7에서는 조도 정보에 따른 조도가 낮은 경우(Dark), 조도 정보에 따른 조도가 중간인 경우(Middle) 및 조도 정보에 따른 조도가 높은 경우(Bright)로 나누어 설명한다. 단, 이는 상대적인 조도를 의미할 수 있다. 또한, 설명의 편의상 조도를 세가지로 나누었을 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다.
일 실시 예에서, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 제1_1 객체 이미지(710)를 획득할 수 있다. 도 6을 함께 참조하면, 프로젝팅 장치는 제1 카메라 신호에 따른 촬영 구간 동안, 객체를 촬영함으로써 제1_1 객체 이미지(610, 710)를 획득할 수 있다. 객체는 손으로 도시되었으나, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다.
일 실시 예에서, 프로젝팅 장치는 객체를 인식하기 위해 필요한 기준 조도를 갖는 객체 이미지에 기초하여 객체를 인식할 수 있다. 즉, 프로젝팅 장치는 기준 조도 미만의 객체 이미지에 기초하여 객체를 인식하지 못할 수 있다. 제1_1 객체 이미지(710)의 조도는 기준 조도를 만족하지 못할 수 있다. 제1_1 객체 이미지(710)의 조도는 기준 조도보다 낮을 수 있다.
프로젝팅 장치는 적어도 둘 이상의 제1_1 객체 이미지(710)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 프로젝팅 장치는 조도가 낮은 경우 복수의 제1_1 객체 이미지(710)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 예를 들어, 프로젝팅 장치는 3 개의 제1_1 객체 이미지(710)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 단, 제1_1 객체 이미지(710)의 정합 개수는 예시일 뿐, 본 개시의 기술적 사상을 한정하지 않는다.
일 실시 예에서, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 제2_1 객체 이미지(720)를 획득할 수 있다. 도 6을 함께 참조하면, 프로젝팅 장치는 제2 카메라 신호에 따른 촬영 구간 동안, 객체를 촬영함으로써 제2_1 객체 이미지(720)를 획득할 수 있다. 객체는 손으로 도시되었으나, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다.
일 실시 예에서, 제2_1 객체 이미지(720)의 조도는 기준 조도를 만족하지 못할 수 있다. 제2_1 객체 이미지(720)의 조도는 기준 조도보다 낮을 수 있다.
프로젝팅 장치는 적어도 둘 이상의 제2_1 객체 이미지(720)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 프로젝팅 장치는 조도가 중간인 경우 복수의 제2_1 객체 이미지(720)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 예를 들어, 프로젝팅 장치는 2 개의 제2_1 객체 이미지(720)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다.
제2_1 객체 이미지(720)의 정합 개수는 제1_1 객체 이미지(710)의 정합 개수보다 적을 수 있다. 즉, 프로젝팅 장치는 제2_1 객체 이미지(720)의 조도가 제1_1 객체 이미지(710)의 조도보다 높으므로, 상대적으로 적은 개수의 제2_1 객체 이미지(720)를 정합함으로써 정합 이미지(740)를 획득할 수 있다. 단, 제2_1 객체 이미지(720)의 정합 개수는 예시일 뿐, 본 개시의 기술적 사상을 한정하지 않는다.
일 실시 예에서, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 제3_1 객체 이미지(730)를 획득할 수 있다. 도 6을 함께 참조하면, 프로젝팅 장치는 제3 카메라 신호에 따른 촬영 구간 동안, 객체를 촬영함으로써 제3_1 객체 이미지(730)를 획득할 수 있다. 객체는 손으로 도시되었으나, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다.
일 실시 예에서, 제3_1 객체 이미지(730)의 조도는 기준 조도를 만족할 수 있다.
프로젝팅 장치는 제3_1 객체 이미지(730)를 통해 정합 이미지(740)를 획득할 수 있다. 정합 이미지(740)는 제3_1 객체 이미지(730)와 동일할 수 있다. 프로젝팅 장치는 조도가 높은 경우 하나의 제3_1 객체 이미지(730)만으로도, 정합 이미지(740)를 획득할 수 있다.
즉, 프로젝팅 장치는 객체 이미지의 조도가 낮은 경우 복수의 객체 이미지들을 정합함으로써, 향상된 조도의 정합 이미지(740)를 획득할 수 있다. 단, 프로젝팅 장치는 객체 이미지의 조도가 적절한 경우, 객체 이미지 자체를 정합 이미지(740)로 이용할 수 있다.
일 실시 예에서, 도시되지는 않았지만, 조도 정보에 따른 조도가 매우 높은 경우, 프로젝팅 장치는 제4_1 객체 이미지를 획득할 수 있다. 조도 정보에 따른 조도는 기준 조도를 초과할 수 있다.
프로젝팅 장치는 제4_1 객체 이미지를 통해 정합 이미지(740)를 획득할 수 있다. 프로젝팅 장치는 소정의 촬영 구간 동안 제4_1 객체 이미지를 획득할 수 있다. 조도 정보에 따른 조도가 기준 조도를 초과하는 경우, 프로젝팅 장치는 짧은 촬영 구간을 통해 기준 조도를 만족하는 제4_1 객체 이미지를 획득할 수 있다. 프로젝팅 장치는 제4_1 객체 이미지를 정합 이미지(740)로 이용할 수 있다.
즉, 프로젝팅 장치는 조도 정보에 따른 조도가 기준 조도를 초과하는 경우, 조도가 높을수록 짧은 촬영 구간 동안 객체를 촬영함으로써, 제4_1 객체 이미지를 획득할 수 있다. 프로젝팅 장치는 획득된 제4_1 객체 이미지를 정합 이미지(740)로 이용할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영된 영상을 정합함으로써 객체를 인식하는 동작 방법을 도시한 흐름도이다.
도 8을 참조하면, 단계 S810에서, 프로젝팅 장치는 조도 정보에 기초하여 정합 수량을 결정할 수 있다. 정합 수량은 카메라에 의해 촬영된 객체에 관한 객체 이미지를 정합하는 수량을 의미할 수 있다.
일 실시 예에서, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 높은 수의 정합 수량을 결정할 수 있다. 예를 들어, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 정합 수량을 4로 결정할 수 있다.
일 실시 예에서, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 적정한 수의 정합 수량을 결정할 수 있다. 예를 들어, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 정합 수량을 3으로 결정할 수 있다. 조도 정보에 따른 조도가 중간인 경우의 정합 수량은 조도 정보에 따른 조도가 낮은 경우의 정합 수량보다 낮을 수 있다.
일 실시 예에서, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 낮은 수의 정합 수량을 결정할 수 있다. 예를 들어, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 정합 수량을 2로 결정할 수 있다. 조도 정보에 따른 조도가 높은 경우의 정합 수량은 조도 정보에 따른 조도가 중간인 경우의 정합 수량보다 낮을 수 있다.
단계 S820에서, 프로젝팅 장치는 촬영 주기에 따라 반복적으로 획득된 이미지 중, 정합 수량에 기초하여 일부를 선택할 수 있다.
일 실시 예에서, 프로젝팅 장치는 촬영 주기에 기초하여, 촬영 구간 동안 객체를 반복적으로 촬영하도록 카메라를 제어할 수 있다(예를 들어, 도 4의 단계 S420). 프로젝팅 장치는 객체를 반복적으로 촬영함으로써, 복수의 객체 이미지를 획득할 수 있다. 프로젝팅 장치는 복수의 객체 이미지 중, 정합 수량에 기초하여 일부를 선택할 수 있다.
예를 들어, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 정합 수량을 4로 결정할 수 있다. 프로젝팅 장치는 복수의 객체 이미지 중, 정합 수량에 기초하여 4개의 객체 이미지를 선택할 수 있다.
다른 예로, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 정합 수량을 3으로 결정할 수 있다. 프로젝팅 장치는 복수의 객체 이미지 중, 정합 수량에 기초하여 3개의 객체 이미지를 선택할 수 있다.
다른 예로, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 정합 수량을 2로 결정할 수 있다. 프로젝팅 장치는 복수의 객체 이미지 중, 정합 수량에 기초하여 2개의 객체 이미지를 선택할 수 있다.
단계 S830에서, 프로젝팅 장치는 선택된 일부에 기초하여 정합 이미지를 획득할 수 있다.
일 실시 예에서, 프로젝팅 장치는 복수의 객체 이미지 중 선택된 이미지들을 정합함으로써, 정합 이미지를 획득할 수 있다. 예를 들어, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 복수의 객체 이미지 중 선택된 4개의 객체 이미지들을 정합함으로써, 정합 이미지를 획득할 수 있다.
다른 예로, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 복수의 객체 이미지 중 선택된 3개의 객체 이미지들을 정합함으로써, 정합 이미지를 획득할 수 있다. 다른 예로, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 복수의 객체 이미지 중 선택된 2개의 객체 이미지들을 정합함으로써, 정합 이미지를 획득할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 프로젝터를 세부적으로 설명하기 위한 도면이다. 참고적으로, 도 9는 DLP 방식의 프로젝터의 구성에 기초하여 설명하나, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다. 본 개시의 일 실시 예에서, 도 9의 광차단부(930)를 통해 영상이 투사되지 않는 차단 구간이 설정될 수 있음을 제공할 뿐, 그 외 구성은 본 개시의 기술적 사상을 한정하지 않는다.
도 9를 참조하면, 프로젝팅 장치는 프로젝터(900) 및 카메라를 포함할 수 있다.
일 실시 예에서, 프로젝터(900)는 광원(910), 광분리부(920), 광차단부(930), 미러부(940) 및 프로젝션 렌즈(950)를 포함할 수 있다. 프로젝터(900)는 광원(910), 광분리부(920), 광차단부(930), 미러부(940) 및 프로젝션 렌즈(950)를 이용하여, 외부 투사면에 영상(960)을 투사할 수 있다. 물론 프로젝터(900)는 도 9의 예시에 제한되지 않으며, 도 9에 도시된 구성보다 많은 구성이 프로젝터(900)에 포함되거나, 도 9에 도시된 구성보다 적은 구성이 프로젝터(900)에 포함될 수 있다.
일 실시 예에서, 프로젝터(900)는 영상을 외부로 투사하는 구성이다. 본 개시의 일 실시예에 따른, 프로젝션은 다양한 투사 방식(예를 들어, CRT(cathode-ray tube) 방식, LCD(Liquid Crystal Display) 방식, DLP(Digital Light Processing) 방식, 레이저 방식 등)으로 구현될 수 있다. 일 예로, CRT 방식은 기본적으로 CRT 모니터와 원리가 동일하다. CRT 방식은 브라운관(CRT) 앞의 렌즈로 상을 확대시켜서 스크린에 이미지를 표시한다. 브라운관의 개수에 따라 1관식과 3관식으로 나뉘며, 3관식의 경우 Red, Green, Blue의 브라운관이 따로 분리되어 구현될 수 있다.
다른 예로, LCD 방식은 광원에서 나온 빛을 액정에 투과시켜 이미지를 표시하는 방식이다. LCD 방식은 단판식과 3판식으로 나뉘며, 3판식의 경우 광원에서 나온 빛이 다이크로익 미러(예를 들어, 특정 색의 빛만 반사하고 나머지는 통과시키는 거울)에서 Red, Green, Blue로 분리된 뒤 액정을 투과한 후 다시 한 곳으로 빛이 모일 수 있다.
또 다른 예로, DLP 방식은　DMD(Digital Micromirror Device) 칩을 이용하여 이미지를 표시하는 방식이다. DLP 방식의 프로젝션부는 광원, 컬러 휠,　DMD　칩, 프로젝션 렌즈 등을 포함할 수 있다. 광원에서 출력된 빛은 회전하는 컬러 휠을 통과하면서 색을 띨 수 있다. 컬러 휠을 통과한 빛은　DMD　칩으로 입력된다.　DMD　칩은 수많은 미세 거울을 포함하고,　DMD　칩에 입력된 빛을 반사시킨다. 프로젝션 렌즈는　DMD　칩에서 반사된 빛을 영상 크기로 확대시키는 역할을 수행할 수 있다.
또 다른 예로, 레이저 방식은 DPSS(Diode Pumped Solid State) 레이저와 검류계를 포함한다. 다양한 색상을 출력하는 레이저는 DPSS 레이저를 RGB 색상별로 3개를 설치한 후 특수 거울을 이용하여 광축을 중첩한 레이저를 이용한다. 검류계는 거울과 높은 출력의 모터를 포함하여 빠른 속도로 거울을 움직인다. 예를 들어, 검류계는 최대 40 KHz로 거울을 회전시킬 수 있다. 검류계는 스캔 방향에 따라 마운트되는데 일반적으로　프로젝터는 평면 주사를 하므로 검류계도 x, y축으로 나뉘어 배치될 수 있다.
일 실시 예에서, 광원(910)은 이미지 광(L)을 출력하도록 구성될 수 있다. 광원(910)은 광분리부(920) 및 광차단부(930) 각각의 특정 영역에 조사되는 이미지 광(L)을 출력하도록 구성될 수 있다.
일 실시 예에서, 광분리부(920)는 출력된 이미지 광(L)을 투과시킴으로써 적색(R), 청색(B), 녹색(G)의 광으로 변환할 수 있다. 구체적으로, 광분리부(920)는 도시된 바와 같이, 적색, 청색, 녹색의 광 각각을 선택적으로 통과시키는 칼라필터를 포함할 수 있다. 광분리부(920)는 각각의 칼라필터가 설치되어 회전가능한 회전판과, 회전판을 회전 구동하는 구동모터를 포함할 수 있다.
일 실시 예에서, 광분리부(920)는 구동모터에 의해 회전판이 회전됨에 따라, 이미지 광(L)이 지나가는 광로 상에 적색, 청색, 녹색의 칼라필터들이 순차로 배치되도록 제어될 수 있다. 이에 따라, 프로젝팅 장치는 광원(910)으로부터 출력된 이미지 광(L)을 적색, 청색, 녹색의 이미지 광으로 분리할 수 있다.
일 실시 예에서, 광분리부(920)는 DLP 방식의 컬러 휠(Color Wheel)을 의미할 수 있다.
일 실시 예에서, 광차단부(930)는 분리된 이미지 광을 차단하도록 구성될 수 있다. 구체적으로, 광차단부(930)는 도시된 바와 같이, 광차단필터(931) 및 광투과필터(932)를 포함할 수 있다. 광차단부(930)는 광차단필터(931) 및 광투과필터(932)가 설치되어 회전가능한 회전판과, 회전판을 회전 구동하는 구동모터를 포함할 수 있다.
일 실시 예에서, 광차단부(930)는 구동모터에 의해 회전판이 회전됨에 따라, 이미지 광(L)이 지나가는 광로 상에 광차단필터(931) 및 광투과필터(932)가 순차로 배치되도록 제어될 수 있다. 이에 따라, 프로젝팅 장치는 차단 구간 동안 광원(910)으로부터 출력된 이미지 광을 차단할 수 있다. 또한, 프로젝팅 장치는 투사 구간 동안 광원(910)으로부터 출력된 이미지 광을 투과시킬 수 있다.
일 실시 예에서, 미러부(940)는 광차단부(930)에 의해 투과된 이미지 광(L)을 반사시킬 수 있다. 미러부(940)는 복수의 미세 거울로 구성된 광학 반도체일 수 있다. 예를 들어, 미러부(940)는 DLP 방식의 DMD(Digital Mirror Device) 칩을 의미할 수 있다.
일 실시 예에서, 미러부(940)는 영상을 구성하는 색상(RGB) 정보에 기초하여, 광분리부(920) 및 광차단부(930)에 의해 투과된 이미지 광(L)을 반사할 수 있다. 미러부(940)는 영상을 구성하는 색상 정보에 기초하여, 영상에 대응되도록 이미지 광(L)을 반사할 수 있다.
일 실시 예에서, 프로젝션 렌즈(950)는 미러부(940)로부터 반사된 이미지 광(L)을 확대할 수 있다. 확대된 이미지 광이 외부 투사면에 투사됨으로써, 프로젝팅 장치는 영상(960)을 투사할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 광차단부를 세부적으로 설명하기 위한 도면이다.
도 10을 참조하면, 광차단부(930)는 광차단필터(931), 광투과필터(932), 회전판(933) 및 구동 모터(934)를 포함할 수 있다.
일 실시 예에서, 광차단필터(931)는 광원(910)으로부터 출력되는 이미지 광(L)을 차단하도록 구성될 수 있다. 광투과필터(932)는 광원(910)으로부터 출력되는 이미지 광(L)을 투과시킬 수 있다.
광투과필터(932) 및 광차단필터(931)는 서로 연결될 수 있다. 도시된 바와 같이, 광투과필터(932) 및 광차단필터(931)는 회전판(933) 상에 설치될 수 있다. 회전판(933)은 구동 모터(934)에 의해 회전될 수 있다. 회전판(933)이 회전됨으로써, 광투과필터(932) 및 광차단필터(931)는 이미지 광(L)이 지나가는 광로 상에 순차로 배치될 수 있다.
구동 모터(934)는 회전판(933)을 회전 구동할 수 있다. 예를 들어, 구동 모터(934)는 회전판(933)이 일정한 방향으로 한 바퀴 회전하도록 동력을 제공할 수 있다. 구동 모터(934)는 소정의 신호에 따라, 회전판(933)을 한 바퀴 회전시키도록 동력을 제공할 수 있다. 구동 모터(934)는 소정의 신호가 반복되는 경우, 회전판(933)을 한 바퀴 회전시키는 동작을 반복적으로 수행하도록 동력을 제공할 수 있다.
일 실시 예에서, 구동 모터(934)는 회전판(933)이 회전하도록 동력을 제공할 수 있다. 회전판(933)이 회전함에 따라, 광투과필터(932) 및 광차단필터(931)는 이미지 광(L)이 지나가는 광로 상에 순차로 배치될 수 있다.
도 10을 참조하면, 회전판(933)이 회전함에 따라, 광투과필터(932)가 광로 상에 배치될 수 있다. 회전판(933)이 회전함에 따라, 광로 상의 이미지 광(L)은 광투과필터(932) 상의 제1 영역(A1)을 통해 투과될 수 있다. 광투과필터(932)는 광로를 따라 진행하는 이미지 광(L)을 투과시킬 수 있다. 투과된 이미지 광(L)은 프로젝션 렌즈(도 9의 950)에 의해 외부로 투사될 수 있다. 즉, 프로젝팅 장치는 영상을 투사할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 광차단부를 세부적으로 설명하기 위한 도면이다. 설명의 편의상, 도 10을 이용하여 설명한 것과 중복되는 것은 생략한다.
도 11을 참조하면, 회전판(933)이 회전함에 따라, 광차단필터(931)가 광로 상에 배치될 수 있다. 회전판(933)이 회전함에 따라, 광로 상의 이미지 광(L)은 광차단필터(931) 상의 제2 영역(A2)을 통해 차단될 수 있다. 광차단필터(931)는 광로를 따라 진행하는 이미지 광(L)을 차단하도록 구성될 수 있다. 이미지 광(L)이 차단됨에 따라, 이미지 광(L)은 프로젝션 렌즈(950)에 의해 외부로 투사될 수 없다. 즉, 차단 구간이 시작될 수 있다.
일 실시 예에서, 광차단필터(931)에 의해 이미지 광(L)이 차단됨에 따라, 프로젝팅 장치는 영상을 투사하지 않을 수 있다. 광차단필터(931)에 의해 이미지 광(L)이 차단되는 것은 차단 구간을 의미할 수 있다. 즉, 프로젝팅 장치는 차단 구간 동안 영상을 투사하지 않을 수 있다. 프로젝팅 장치는 차단 구간 내에 포함된 촬영 구간 동안, 카메라를 이용하여 외부 투사면에 위치한 객체를 촬영함으로써 객체 이미지를 획득할 수 있다.
일 실시 예에서, 프로젝팅 장치는 객체 이미지에 기초하여, 객체 이미지에 포함된 객체를 검출할 수 있다. 일 실시 예에서, 프로젝팅 장치는 객체 이미지에 기초하여 정합 이미지를 획득할 수 있다. 프로젝팅 장치는 정합 이미지에 기초하여, 정합 이미지에 포함된 객체를 검출할 수 있다.
도 12는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 동작이 광차단부의 동작에 따라 결정되는 특징을 설명하기 위한 개념도이다. 설명의 편의상, 도 1, 도 10 및 도 11을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.
도 12를 참조하면, 일 실시 예에서, 프로젝팅 장치(100)는 광차단부에 의해 영상을 투사하는 동작(S1210)과 객체를 촬영하는 동작(S1220)을 분리하여 수행할 수 있다. 설명의 편의상, 도 1, 도 10 및 도 11을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.
단계 S1210에서, 프로젝팅 장치(100)는 영상을 투사할 수 있다. 단계 S1210에 대응되는 광차단부의 동작은 도 10을 이용하여 설명한 동작과 동일하다. 광차단부(930)의 회전판(933)이 회전함에 따라, 이미지 광(L)이 지나가는 광로 상에 광투과필터(932)가 배치될 수 있다. 이미지 광(L)은 광투과필터(932)에 의해 투과될 수 있다. 투과된 이미지 광(L)은 프로젝션 렌즈(950)에 의해 외부로 투사될 수 있다. 즉, 프로젝팅 장치(100)는 영상(120)을 투사할 수 있다.
일 실시 예에서, 이미지 광(L)이 광투과필터(932)에 의해 투과되는 구간은 투사 구간을 의미할 수 있다. 프로젝팅 장치(100)는 투사 구간 동안 영상(120)을 투사할 수 있다.
단계 S1220에서, 프로젝팅 장치(100)는 객체를 촬영할 수 있다. 단계 S1220에 대응되는 광차단부(930)의 동작은 도 11을 이용하여 설명한 동작과 동일하다. 광차단부(930)의 회전판(933)이 회전함에 따라, 이미지 광(L)이 지나가는 광로 상에 광차단필터(931)가 배치될 수 있다. 이미지 광(L)은 광차단필터(931)에 의해 차단될 수 있다. 즉, 프로젝팅 장치(100)는 영상(120)을 투사하지 못할 수 있다.
일 실시 예에서, 프로젝팅 장치(100)는 이미지 광(L)이 차단된 동안 객체(160)를 촬영할 수 있다. 프로젝팅 장치(100)는 객체(160)를 포함하는 객체 이미지를 획득할 수 있다. 프로젝팅 장치(100)는 객체 이미지에 기초하여, 객체 이미지에 포함된 객체(160)를 검출할 수 있다.
일 실시 예에서, 이미지 광(L)이 광차단필터(931)에 의해 차단되는 구간은 차단 구간을 의미할 수 있다. 프로젝팅 장치(100)는 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 프로젝팅 장치(100)는 촬영 구간 동안 객체(160)를 촬영하도록 카메라를 제어할 수 있다.
일 실시 예에서, 프로젝팅 장치(100)는 소정의 클록 신호를 수신함으로써, 광차단부(930)가 회전 구동하도록 제어할 수 있다. 프로젝팅 장치(100)는 반복되는 클록 신호를 수신함으로써, 광차단부(930)가 신호에 따라 반복적으로 회전 구동하도록 제어할 수 있다. 프로젝팅 장치(100)는 S1210의 동작 및 S1220의 동작이 반복되도록 광차단부(930)를 제어할 수 있다.
단계 S1220의 동작이 반복 수행됨에 따라, 프로젝팅 장치(100)는 객체(160)를 포함하는 복수의 객체 이미지를 획득할 수 있다. 프로젝팅 장치(100)는 복수의 객체 이미지를 정합함으로써, 정합 이미지를 획득할 수 있다. 프로젝팅 장치(100)는 정합 이미지에 기초하여, 정합 이미지에 포함된 객체를 검출할 수 있다.
도 13은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 다른 촬영 주기를 활용하여 객체를 촬영하는 동작을 도시한 그래프이다. 설명의 편의상, 도 3 및 도 6을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.
도 13을 참조하면, 프로젝팅 장치는 프로젝터 신호 및 복수의 카메라 신호를 획득할 수 있다. 프로젝팅 장치가 수신하는 프로젝트 신호 및 복수의 카메라 신호는 동기화되지 않을 수도 있다.
일 실시 예에서, 프로젝터 신호는 최초 시점(T0)에 시작되어, 일정한 주기로 0과 1이 반복될 수 있다. 반대로, 제1 카메라 신호 및 제2 카메라 신호는 최초 시점(T0)에 시작되지 않을 수 있다. 예를 들어, 도시된 바와 같이, 제1 카메라 신호 및 제2 카메라 신호는 제1 시점(T1)에 시작되어, 일정한 주기로 0과 1이 반복될 수 있다.
도 6을 함께 참조하면, 일 실시 예에서, 프로젝터 신호 및 복수의 카메라 신호는 제1 시점(T1)에 동시에 시작되어, 일정한 주기로 반복될 수 있다. 즉, 프로젝터 신호와 복수의 카메라 신호는 동기화될 수 있다.
이와 반대로, 도 13에 도시된 바와 같이, 프로젝터 신호 및 복수의 카메라 신호는 서로 동기화되지 않을 수 있다.
일 실시 예에서, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호를 획득할 수 있다. 프로젝팅 장치는 조도가 높은 경우, 제2 카메라 신호를 획득할 수 있다.
일 실시 예에서, 프로젝팅 장치는 1의 카메라 신호를 획득한 시점(T1)으로부터 소정의 시간 후에 객체를 촬영할 수 있다. 여기서, 카메라 신호는 제1 카메라 신호 및 제2 카메라 신호를 포함한다. 소정의 시간은 제1 시점(T1)으로부터 제2 시점(T2)까지의 시간일 수 있다.
일 실시 예에서, 프로젝팅 장치는 광원에 의해 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 프로젝팅 장치는 소정의 주기에 따라 반복되는 차단 구간을 설정할 수 있다. 도시된 바와 같이, 조도가 낮은 경우, 차단 구간은 제2 시점(T2)으로부터 제1_3 시점(T13)까지의 시간을 포함할 수 있다. 조도가 높은 경우, 차단 구간은 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간을 포함할 수 있다.
일 실시 예에서, 프로젝팅 장치는 카메라를 이용하여 객체를 촬영하는 촬영 구간을 설정할 수 있다. 촬영 구간은 차단 구간 내에 포함될 수 있다.
예를 들어, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 낮은 경우 촬영 구간은 제2 시점(T2)으로부터 제1_3 시점(T13)까지의 시간을 포함할 수 있다.
프로젝팅 장치는 조도가 높은 경우, 제2 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 높은 경우 촬영 구간은 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간을 포함할 수 있다.
일 실시 예에서, 프로젝팅 장치는 조도에 따라 투사 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 영상이 투사되는 외부 투사면의 조도를 나타내는 조도 정보에 기초하여, 투사 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 조도가 낮을수록 투사 구간의 길이가 짧아지도록 투사 구간을 설정할 수 있다.
예를 들어, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 낮은 경우 투사 구간은 제1_3 시점(T13)으로부터 제1_4 시점(T14)까지의 시간을 포함할 수 있다.
프로젝팅 장치는 조도가 높은 경우, 제2 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 높은 경우 투사 구간은 제2_3 시점(T23)으로부터 제2_4 시점(T24)까지의 시간을 포함할 수 있다.
도 14는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성을 설명하기 위한 블록도이다.
도 14를 참조하면, 프로젝팅 장치(1000)는 프로세서(1100), 메모리(1200), 카메라(1300) 및 프로젝터(1400)를 포함할 수 있다. 프로젝터(1400)는 광원(1410), 광차단부(1420) 및 프로젝션 렌즈(1430)를 포함할 수 있다. 프로세서(1100), 메모리(1200), 카메라(1300) 및 프로젝터(1400)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
도 14에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 프로젝팅 장치(1000)가 포함하고 있는 구성 요소가 도 14에 도시된 바와 같이 한정되는 것은 아니다. 프로젝팅 장치(1000)는 도 14에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 14에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 프로젝팅 장치(1000)는 카메라(1300), 프로젝터(1400), 프로세서(1100) 및 메모리(1200)에 구동 전력을 공급하는 전력 공급부(예를 들어, 배터리)를 더 포함할 수 있다.
광원(1410)은 이미지 광을 출력하도록 구성될 수 있다. 이미지 광은 백색광을 포함할 수 있다.
광차단부(1420)는 광원(1410)으로부터 출력된 이미지 광을 차단하도록 구성될 수 있다. 광차단부(1420)는 소정의 구간 동안 이미지 광을 차단하도록 구성될 수 있고, 다른 소정의 구간 동안 이미지 광을 투과시킬 수 있다.
일 실시 예에서, 광차단부(1420)는 이미지 광을 차단하는 광차단필터, 이미지 광을 투과시키는 광투과필터 및 광차단필터와 광투과필터가 순차로 배치되도록 회전시키는 구동 모터를 포함할 수 있다. 광차단부(1420)는 회전가능한 휠 형태로 구성될 수 있다. 광차단부(1420)가 구동 모터에 의해 회전함에 따라, 광차단부(1420)에 입사된 이미지 광은 광차단필터에 의해 차단되거나 광투과필터에 의해 투과될 수 있다.
프로젝션 렌즈(1430)는 광차단부(1420)에 의해 투과된 이미지 광을 외부로 투사하도록 구성될 수 있다. 즉, 프로세서(1100)는 프로젝션 렌즈(1430)를 이용하여 이미지 광을 외부로 투사시킴으로써, 영상을 투사할 수 있다.
카메라(1300)는 외부 투사면에 배치된 객체를 촬영하도록 구성될 수 있다. 프로세서(1100)는 카메라(1300)를 이용하여 객체에 관한 객체 이미지를 획득할 수 있다.
일 실시 예에서, 프로세서(1100)는 이미지 광이 광차단부(1420)에 의해 차단되는 차단 구간을 설정할 수 있다. 프로세서(1100)는 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 프로세서(1100)는 촬영 구간 동안 카메라(1300)를 이용하여 객체 이미지를 획득할 수 있다.
프로세서(1100)는 메모리(1200)에 저장된 하나 이상의 명령어들(instruction) 또는 프로그램 코드를 실행하고, 명령어들 또는 프로그램 코드에 대응되는 기능 및/또는 동작을 수행할 수 있다. 프로세서(1100)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1100)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 또는 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
도 14에는 프로세서(1100)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 일 실시예에서, 프로세서(1100)는 하나 또는 하나 이상의 복수 개로 구성될 수 있다.
본 개시의 일 실시예에서, 프로세서(1100)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다.
메모리(1200)에는 프로세서(1100)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 메모리(1200)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다.
메모리(1200)에는 프로젝팅 장치(1000)의 기능 또는 동작들을 수행하기 위한 명령어들 또는 프로그램 코드가 저장될 수 있다. 본 개시의 일 실시예에서, 메모리(1200)에는 프로세서(1100)가 판독할 수 있는 명령어들, 알고리즘(algorithm), 데이터 구조, 프로그램 코드(program code), 또는 애플리케이션 프로그램(application program) 중 적어도 하나가 저장될 수 있다. 메모리(1200)에 저장되는 명령어들, 알고리즘, 데이터 구조, 및 프로그램 코드는 예를 들어, C,　C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
메모리(1200)에는 이미지 광을 차단하는 차단 구간을 설정하고, 차단 구간 내에 포함되는 촬영 구간 동안 객체를 촬영하도록 카메라를 제어하기 위한 모델에 관한 명령어들, 알고리즘, 데이터 구조, 또는 프로그램 코드가 저장되어 있을 수 있다. 메모리(1200)에 포함되는 '모듈'은 프로세서(1100)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들, 알고리즘, 데이터 구조, 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.
이하의 실시예에서, 프로세서(1100)는 메모리(1200)에 저장된 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
일 실시 예에서, 프로세서(1100)는 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다. 프로세서(1100)는 조도 정보에 기초하여, 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 프로세서(1100)는 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 프로세서(1100)는 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부(1420)를 제어할 수 있다. 프로세서(1100)는 촬영 구간 동안 객체를 촬영하도록 카메라(1300)를 제어할 수 있다.
본 개시의 일 실시 예에 따라 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치는 광원, 프로젝션 렌즈, 카메라, 광차단부 및 적어도 하나의 프로세서를 포함할 수 있다. 광원은 이미지 광을 출력하도록 구성될 수 있다. 프로젝션 렌즈는 출력되는 이미지 광을 외부로 투사하도록 구성될 수 있다. 카메라는 카메라와 투사되는 이미지 광의 외부 투사면 사이에 위치하는 객체를 촬영하도록 구성될 수 있다. 광차단부는 소정 구간 동안 출력되는 이미지 광을 차단하도록 구성될 수 있다.
적어도 하나의 프로세서는, 외부 투사면의 조도와 관련된 조도 정보를 획득할 수 있다. 적어도 하나의 프로세서는, 조도 정보에 기초하여, 출력되는 이미지 광이 차단되는 차단 구간을 설정할 수 있다. 적어도 하나의 프로세서는, 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 적어도 하나의 프로세서는, 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 적어도 하나의 프로세서는, 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다.
일 실시 예에서, 촬영 구간의 시작점은 차단 구간의 시작점과 일치할 수 있다.
일 실시 예에서, 촬영 구간은 제1 촬영 구간 및 제1 촬영 구간에 뒤따르는 제2 촬영 구간을 포함할 수 있다. 적어도 하나의 프로세서는, 제1 촬영 구간이 시작된 후 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정할 수 있다. 적어도 하나의 프로세서는, 촬영 주기에 기초하여, 촬영 구간 동안 객체를 반복적으로 촬영하도록 카메라를 제어할 수 있다.
일 실시 예에서, 촬영 구간 및 촬영 구간과 겹치지 않는 투사 구간은 촬영 주기 동안 반복될 수 있다. 촬영 구간은 투사 구간보다 짧을 수 있다.
일 실시 예에서, 적어도 하나의 프로세서는, 조도 정보에 따른 조도가 높을수록 투사 구간 대비 촬영 구간의 비율이 작아지도록, 투사 구간 및 촬영 구간을 설정할 수 있다.
일 실시 예에서, 적어도 하나의 프로세서는, 조도 정보에 기초하여, 조도 정보에 따른 조도가 높을수록 촬영 구간이 짧아지도록 촬영 구간을 설정할 수 있다.
일 실시 예에서, 적어도 하나의 프로세서는, 제1 촬영 구간 동안 객체를 촬영하도록 카메라를 제어함으로써, 객체를 포함하는 제1 객체 이미지를 획득할 수 있다. 적어도 하나의 프로세서는, 제2 촬영 구간 동안 객체를 촬영하도록 카메라를 제어함으로써, 객체를 포함하는 제2 객체 이미지를 획득할 수 있다. 적어도 하나의 프로세서는, 제1 객체 이미지 및 제2 객체 이미지에 기초하여 정합 이미지를 획득할 수 있다.
일 실시 예에서, 정합 이미지의 조도는 제1 객체 이미지의 조도 및 제2 객체 이미지의 조도보다 높을 수 있다.
일 실시 예에서, 적어도 하나의 프로세서는, 조도 정보에 기초하여 카메라에 의해 촬영된 객체에 관한 객체 이미지를 정합하는 수량에 관한 정합 수량을 결정할 수 있다. 적어도 하나의 프로세서는, 촬영 주기에 따라 반복적으로 촬영된 복수의 객체 이미지들 중, 정합 수량에 기초하여 일부를 선택할 수 있다. 적어도 하나의 프로세서는, 선택된 일부에 기초하여 정합 이미지를 획득할 수 있다. 조도 정보에 따른 조도가 높을수록 정합 수량은 작을 수 있다.
일 실시 예에서, 광차단부는, 출력되는 이미지 광을 투과시키는 광투과필터를 포함할 수 있다. 광차단부는, 광투과필터와 연결되고, 출력되는 이미지 광을 차단하는 광차단필터를 포함할 수 있다. 광차단부는, 광투과필터 및 광차단필터가 회전 가능하게 설치된 회전판을 포함할 수 있다. 광차단부는, 이미지 광이 지나가는 광로 상에 순차로 배치되도록 광투과필터 및 광차단필터가 순차로 배치되도록, 회전판을 회전 구동하는 구동 모터를 포함할 수 있다.
일 실시 예에서, 이미지 광은 차단 구간 동안 광차단부가 회전함에 따라 광차단필터에 의해 차단될 수 있다. 이미지 광은 투사 구간 동안 광차단부가 회전함에 따라 광투과필터에 의해 투과될 수 있다.
본 개시의 일 실시 예에 따라 영상 투사와 함께 객체를 인식하기 위한 방법은 프로젝션 렌즈에 의해 투사된 이미지 광의 외부 투사면의 조도와 관련된 조도 정보를 획득하는 단계를 포함할 수 있다. 상기 방법은, 조도 정보에 기초하여, 광원에 의해 출력되는 이미지 광이 차단되는 차단 구간을 설정하는 단계를 포함할 수 있다. 상기 방법은, 차단 구간 내에 포함되도록 촬영 구간을 설정하는 단계를 포함할 수 있다. 상기 방법은, 차단 구간 동안 출력되는 이미지 광을 차단하는 단계를 포함할 수 있다. 상기 방법은, 카메라를 이용하여, 촬영 구간 동안 외부 투사면에 위치하는 객체를 촬영하는 단계를 포함할 수 있다.
일 실시 예에서, 촬영 구간은 제1 촬영 구간 및 제1 촬영 구간에 뒤따르는 제2 촬영 구간을 포함할 수 있다. 상기 촬영 구간을 설정하는 단계는, 제1 촬영 구간이 시작된 후 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정하는 단계를 포함할 수 있다. 상기 객체를 촬영하는 단계는, 촬영 주기에 기초하여, 촬영 구간 동안 객체를 반복적으로 촬영하는 단계를 포함할 수 있다.
일 실시 예에서, 촬영 주기는 촬영 구간 및 촬영 구간과 겹치지 않는 투사 구간이 반복되는 주기일 수 있다. 촬영 구간은 투사 구간보다 짧을 수 있다.
일 실시 예에서, 촬영 구간을 설정하는 단계는, 조도 정보에 따른 조도가 높을수록 투사 구간 대비 촬영 구간의 비율이 작아지도록, 투사 구간 및 촬영 구간을 설정하는 단계를 포함할 수 있다.
일 실시 예에서, 촬영 구간을 설정하는 단계는, 조도 정보에 기초하여, 조도 정보에 따른 조도가 높을수록 촬영 구간이 짧아지도록 촬영 구간을 설정하는 단계를 포함할 수 있다.
일 실시 예에서, 객체를 촬영하는 단계는, 제1 촬영 구간 동안 객체를 촬영함으로써, 객체를 포함하는 제1 객체 이미지를 획득하는 단계를 포함할 수 있다. 객체를 반복적으로 촬영하는 단계는, 제2 촬영 구간 동안 객체를 촬영함으로써, 객체를 포함하는 제2 객체 이미지를 획득하는 단계를 포함할 수 있다. 상기 방법은, 제1 객체 이미지 및 제2 객체 이미지에 기초하여 정합 이미지를 획득하는 단계를 더 포함할 수 있다.
일 실시 예에서, 정합 이미지의 조도는 제1 객체 이미지의 조도 및 제2 객체 이미지의 조도보다 높을 수 있다.
일 실시 예에서, 상기 방법은 조도 정보에 기초하여 촬영된 객체에 관한 객체 이미지를 정합하는 수량에 관한 정합 수량을 결정하는 단계를 더 포함할 수 있다. 상기 방법은, 촬영 주기에 따라 반복적으로 촬영된 복수의 객체 이미지들 중, 정합 수량에 기초하여 일부를 선택하는 단계를 더 포함할 수 있다. 상기 방법은, 선택된 일부에 기초하여 정합 이미지를 획득하는 단계를 더 포함할 수 있다. 조도 정보에 따른 조도가 높을수록 정합 수량이 작을 수 있다.
본 개시의 일 실시예에 따르면, 전술한 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (15)

  1. 이미지 광을 출력하도록 구성된 광원(1410);
    상기 출력되는 이미지 광을 외부로 투사시키도록 구성된 프로젝션 렌즈(1430);
    카메라(1300)로서, 상기 카메라와 상기 투사되는 이미지 광의 외부 투사면 사이에 위치하는 객체를 촬영하도록 구성된 카메라(1300);
    차단 구간 동안 상기 출력되는 이미지 광을 차단하도록 구성된 광차단부(1420); 및
    상기 광원, 상기 카메라, 상기 광차단부의 동작을 제어하는 적어도 하나의 프로세서(1100)를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 외부 투사면의 조도와 관련된 조도 정보를 획득하고,
    상기 조도 정보에 기초하여, 상기 출력되는 이미지 광이 차단되는 상기 차단 구간(T2 ~ T4)을 설정하고,
    상기 차단 구간 내에 포함되도록 촬영 구간(T2 ~ T3)을 설정하고,
    상기 차단 구간 동안 상기 출력되는 이미지 광을 차단하도록 상기 광차단부를 제어하고,
    상기 촬영 구간 동안 상기 객체를 촬영하도록 상기 카메라를 제어하는,
    영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치.
  2. 제1항에 있어서,
    상기 촬영 구간의 시작점(T2)은 상기 차단 구간의 시작점과 일치하는, 프로젝팅 장치.
  3. 제1항 및 제2항 중 어느 하나의 항에 있어서,
    상기 촬영 구간은 제1 촬영 구간(T2 ~ T3) 및 상기 제1 촬영 구간에 뒤따르는 제2 촬영 구간(T6 ~ T7)을 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 촬영 구간이 시작된 후 상기 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정하고,
    상기 촬영 주기에 기초하여, 상기 촬영 구간 동안 상기 객체를 반복적으로 촬영하도록 상기 카메라를 제어하는, 프로젝팅 장치.
  4. 제3항에 있어서,
    촬영 구간(T2 ~ T3) 및 상기 촬영 구간과 겹치지 않는 투사 구간(T4 ~ T5)은 상기 촬영 주기 동안 반복되고,
    상기 촬영 구간은 상기 투사 구간보다 짧은, 프로젝팅 장치.
  5. 제1항 내지 제4항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 조도 정보에 기초하여, 상기 조도 정보에 따른 조도가 높을수록 상기 촬영 구간(T2 ~ T3)이 짧아지도록 상기 촬영 구간을 설정하는, 프로젝팅 장치.
  6. 제3항 내지 제5항 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 촬영 구간 동안 상기 객체를 촬영하도록 상기 카메라를 제어함으로써, 상기 객체를 포함하는 제1 객체 이미지(310)를 획득하고,
    상기 제2 촬영 구간 동안 상기 객체를 촬영하도록 상기 카메라를 제어함으로써, 상기 객체를 포함하는 제2 객체 이미지(320)를 획득하고,
    상기 제1 객체 이미지 및 상기 제2 객체 이미지에 기초하여 정합 이미지(330)를 획득하는, 프로젝팅 장치.
  7. 제3항 내지 제6항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 조도 정보에 기초하여 상기 카메라에 의해 촬영된 객체에 관한 객체 이미지를 정합하는 수량에 관한 정합 수량을 결정하고(S810),
    상기 촬영 주기에 따라 반복적으로 촬영된 복수의 객체 이미지들 중, 상기 정합 수량에 기초하여 일부를 선택하고(S820),
    상기 선택된 일부에 기초하여 정합 이미지를 획득하되(S830),
    상기 조도 정보에 따른 조도가 높을수록 상기 정합 수량이 작은, 프로젝팅 장치.
  8. 제1항 내지 제7항 중 어느 하나의 항에 있어서,
    상기 광차단부는,
    상기 출력되는 이미지 광을 투과시키는 광투과필터(931);
    상기 광투과필터와 연결되고, 상기 출력되는 이미지 광을 차단하는 광차단필터(932);
    상기 광투과필터 및 상기 광차단필터가 회전 가능하게 설치된 회전판(933); 및
    상기 이미지 광이 지나가는 광로 상에 상기 광투과필터 및 상기 광차단 필터가 순차로 배치되도록, 상기 회전판을 회전 구동하는 구동 모터(934)를 포함하는, 프로젝팅 장치.
  9. 제8항에 있어서,
    상기 이미지 광은 상기 차단 구간 동안 상기 광차단부가 회전함에 따라 상기 광차단필터에 의해 차단되고,
    상기 이미지 광은 상기 투사 구간 동안 상기 광차단부가 회전함에 따라 상기 투과 필터에 의해 투과되는, 프로젝팅 장치.
  10. 영상 투사와 함께 객체를 인식하기 위한 방법에 있어서,
    투사된 이미지 광의 외부 투사면의 조도와 관련된 조도 정보를 획득하는 단계;
    상기 조도 정보에 기초하여, 출력되는 이미지 광이 차단되는 상기 차단 구간을 설정하는 단계;
    상기 차단 구간 내에 포함되도록 촬영 구간을 설정하는 단계;
    상기 차단 구간 동안 상기 출력되는 이미지 광을 차단하는 단계; 및
    상기 촬영 구간 동안 상기 외부 투사면에 위치하는 상기 객체를 촬영하는 단계를 포함하는, 방법.
  11. 제10항에 있어서,
    상기 촬영 구간을 설정하는 단계는, 상기 조도 정보에 기초하여, 상기 조도 정보에 따른 조도가 높을수록 상기 촬영 구간(T2 ~ T33)이 짧아지도록 상기 촬영 구간을 설정하는 단계를 포함하는, 방법.
  12. 제10항 내지 제11항 중 어느 하나의 항에 있어서,
    상기 객체를 촬영하는 단계는,
    상기 제1 촬영 구간 동안 상기 객체를 촬영함으로써, 상기 객체를 포함하는 제1 객체 이미지(310)를 획득하는 단계; 및
    상기 제2 촬영 구간 동안 상기 객체를 촬영함으로써, 상기 객체를 포함하는 제2 객체 이미지(320)를 획득하는 단계를 포함하고,
    상기 방법은, 상기 제1 객체 이미지 및 상기 제2 객체 이미지에 기초하여 정합 이미지(330)를 획득하는 단계를 더 포함하는, 방법.
  13. 제12항에 있어서,
    상기 정합 이미지의 조도는 상기 제1 객체 이미지의 조도 및 상기 제2 객체 이미지의 조도보다 높은, 방법.
  14. 제10항 내지 제13항 중 어느 하나의 항에 있어서,
    상기 조도 정보에 기초하여 촬영된 객체에 관한 객체 이미지를 정합하는 수량에 관한 정합 수량을 결정하는 단계(S810);
    상기 촬영 주기에 따라 반복적으로 촬영된 복수의 객체 이미지들 중, 상기 정합 수량에 기초하여 일부를 선택하는 단계(S820); 및
    상기 선택된 일부에 기초하여 정합 이미지를 획득하는 단계(S830)를 더 포함하고,
    상기 조도 정보에 따른 조도가 높을수록 상기 정합 수량이 작은, 방법.
  15. 제10항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2023/009960 2022-09-22 2023-07-12 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법 WO2024063280A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/228,292 US20240107176A1 (en) 2022-09-22 2023-07-31 Projecting device and method for recognizing object with image projection

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220120256 2022-09-22
KR10-2022-0120256 2022-09-22
KR10-2022-0173049 2022-12-12
KR1020220173049A KR20240041196A (ko) 2022-09-22 2022-12-12 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/228,292 Continuation US20240107176A1 (en) 2022-09-22 2023-07-31 Projecting device and method for recognizing object with image projection

Publications (1)

Publication Number Publication Date
WO2024063280A1 true WO2024063280A1 (ko) 2024-03-28

Family

ID=90454497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009960 WO2024063280A1 (ko) 2022-09-22 2023-07-12 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024063280A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118609A (ja) * 2006-10-13 2008-05-22 Sony Corp 撮像システムおよび画素欠陥補正装置
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
EP3896645A1 (en) * 2018-12-10 2021-10-20 Koito Manufacturing Co., Ltd. Object identification system, operation processing device, vehicle, lighting tool for vehicle, and training method for classifier
KR102392751B1 (ko) * 2017-03-07 2022-04-29 삼성전자 주식회사 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
JP7062751B2 (ja) * 2018-02-28 2022-05-06 富士フイルム株式会社 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
JP2008118609A (ja) * 2006-10-13 2008-05-22 Sony Corp 撮像システムおよび画素欠陥補正装置
KR102392751B1 (ko) * 2017-03-07 2022-04-29 삼성전자 주식회사 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
JP7062751B2 (ja) * 2018-02-28 2022-05-06 富士フイルム株式会社 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
EP3896645A1 (en) * 2018-12-10 2021-10-20 Koito Manufacturing Co., Ltd. Object identification system, operation processing device, vehicle, lighting tool for vehicle, and training method for classifier

Similar Documents

Publication Publication Date Title
WO2016060486A1 (en) User terminal apparatus and iris recognition method thereof
WO2017185316A1 (zh) 一种无人机第一视角飞行的控制方法及系统、智能眼镜
WO2017039348A1 (en) Image capturing apparatus and operating method thereof
WO2016208849A1 (ko) 디지털 촬영 장치 및 그 동작 방법
WO2017078356A1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
WO2018066868A1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
WO2016190458A1 (ko) Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2017010628A1 (en) Method and photographing apparatus for controlling function based on gesture of user
WO2021112446A1 (en) Pollution source determination robot cleaner and operating method thereof
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2020054949A1 (en) Electronic device and method for capturing view
WO2017018614A1 (en) Method of imaging moving object and imaging device
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2019125036A1 (en) Image processing method and display apparatus therefor
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2015064935A1 (en) Electronic device and control method thereof
WO2016072538A1 (ko) 유저 인터페이스를 통한 카메라 장치의 동작 방법
WO2019088481A1 (ko) 전자 장치 및 그의 영상 보정 방법
WO2024063280A1 (ko) 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법
WO2019054626A1 (ko) 제 1 이미지 센서에서 제공된 신호를 이용하여 제 2 이미지 센서에서 데이터를 획득하는 방법 및 전자 장치
WO2017155365A1 (en) Electronic apparatus for providing panorama image and control method thereof
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23868340

Country of ref document: EP

Kind code of ref document: A1