WO2015072742A1 - 3차원 카메라 및 그 제어 방법 - Google Patents

3차원 카메라 및 그 제어 방법 Download PDF

Info

Publication number
WO2015072742A1
WO2015072742A1 PCT/KR2014/010849 KR2014010849W WO2015072742A1 WO 2015072742 A1 WO2015072742 A1 WO 2015072742A1 KR 2014010849 W KR2014010849 W KR 2014010849W WO 2015072742 A1 WO2015072742 A1 WO 2015072742A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
path
reflected
rgb
sensor
Prior art date
Application number
PCT/KR2014/010849
Other languages
English (en)
French (fr)
Inventor
이창환
안성근
Original Assignee
엘지전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140154799A external-priority patent/KR102241706B1/ko
Application filed by 엘지전자(주) filed Critical 엘지전자(주)
Priority to EP14861435.7A priority Critical patent/EP3070527B1/en
Publication of WO2015072742A1 publication Critical patent/WO2015072742A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording

Definitions

  • the present invention relates to a three-dimensional camera, and more particularly, to a three-dimensional camera and a method of controlling the same so that a three-dimensional image can be generated using IR light and RGB light.
  • the method of acquiring the distance information of the front object includes a structured light method, a time of flight (TOF) method, an RGBIR method, a stereo camera method, and the like.
  • a laser beam coated with a specific pattern is applied to an object, the reflected light is returned based on the object, and then the amount of shift of the pattern is calculated and the distance information of the front object is obtained based on the object.
  • the TOF method is a method of calculating the distance to the object based on the time after the light is irradiated and the reflected light with respect to the irradiated light is received.
  • the RGBIR method refers to a method of acquiring both a two-dimensional image and distance information to an object including both an RGB sensor for obtaining RGB color information and an IR sensor for measuring distance information in one camera.
  • the two-dimensional image and the distance information to the object can be acquired together, but the RGB light for the IR pixel of the sensor and the IR light for the RGB pixel are optical noise. There is a problem in that performance is reduced.
  • Another object is to provide a three-dimensional camera and a method of controlling the same by separating and detecting the RGB light and the IR light collected from the lens, so that the RGB light and IR light to act as the optical noise with respect to each other. For that purpose.
  • Another object of the present invention is to provide a 3D camera and a control method thereof capable of quickly reconstructing an image detected by compressed information when an image is acquired by a compression sensing method.
  • a control unit configured to detect a reflected light of light, and a control unit to control the transmitter and the light receiver, and to generate a 3D image using the detected RGB light and the reflected light of the detected IR light.
  • the light receiving unit includes a lens for collecting the reflected light of the RGB light and the IR light, a reflection mirror reflecting the light collected by the lens in a first path and a second path, and in the light reflected by the first path. It may include an RGB sensor for detecting the RGB light and an IR sensor for detecting the reflected light of the IR light in the light reflected by the second path.
  • the reflection mirror may be an active mirror that adjusts a reflection path of incident light under the control of the controller.
  • the light receiver includes a first lens for collecting light reflected by the first path and an IR cut filter on the first path that blocks the reflected light of the IR light from the light collected by the first lens. It may further include.
  • the light receiver includes a second lens for collecting light reflected by the second path and an IR band pass filter configured to pass only the reflected light of the IR light from the light collected by the second lens on the second path. It may further include.
  • the first path and the second path may be formed to be symmetrical about the reflective mirror, the RGB sensor may be located in the first path, and the IR sensor may be located in the second path.
  • the light receiving unit may further include an X-prism positioned between the lens and the reflective mirror, wherein the first path and the second path pass through the prism and the reflective surface of the reflective mirror. It can be formed in parallel.
  • the reflection mirror may be rotated based on the rotation center, and the controller may control the rotation of the reflection mirror based on the rotation center such that the first path and the second path are formed.
  • the RGB sensor and the IR sensor may each be composed of one sensor, and the RGB sensor detects compressed information on the RGB light in the light reflected by the first path, and the IR sensor may be configured to the second path.
  • the compressed information about the reflected light of the IR light from the light reflected by the can be detected.
  • the controller may generate the 3D image by restoring the compressed information about the detected RGB light and the compressed information about the reflected light of the detected IR light.
  • the RGB sensor may be composed of one R light detector for detecting R light, one G light detector for detecting G light, and one B light detector for detecting B light, and the IR sensor may be one detector. Can be done.
  • the R light detector, the G light detector, and the B light detector detect compressed information about the R light, the G light, and the B light, respectively, in the light reflected by the first path, and the IR sensor detects the light. In the light reflected by the second path, compressed information about the reflected light of the IR light may be sensed.
  • the controller may generate a 3D image by reconstructing the compressed information on each of the detected R, G, and B lights and the compressed information on the reflected light of the detected IR light.
  • the first path and the second path may be formed in the same third path, and the light receiving unit may include a third lens for collecting light reflected by the third path, and the IR light from the light collected by the third lens.
  • An IR light blocking filter may block the reflected light and an IR light passing filter configured to pass only the reflected light of the IR light in the light collected by the third lens, on the third path.
  • the third lens may include a lens for condensing the light reflected by the third path through the IR light blocking filter, and a lens condensing the light reflected by the third path through the IR light passing filter.
  • Each of the RGB sensors may include one R light detector for detecting R light, one G light detector for detecting G light, and one B light detector for detecting B light.
  • the third lens comprises three separate lenses each converging such that the light reflected by the third path passes through the IR light blocking filter to reach the R light detector, the G light detector and the B light detector, respectively;
  • the light reflected by the third path may be formed of a lens that focuses to pass through the IR light passing filter.
  • the third lens includes light reflected by the third path passing through the IR light blocking filter to reach the R light detector, the G light detector, and the B light detector, and the light reflected by the third path is
  • the surface of the third lens may be blacked to pass through the IR light passing filter.
  • the light receiver may further include a barrier positioned between each of the R light detector, the G light detector, the B light detector, and the IR sensor.
  • the light receiving unit may further include a plurality of micro lenses arranged to pass light reflected by the third path after passing through the IR light blocking filter and the IR light passing filter.
  • the third lens may have a plurality of grooves formed on a surface thereof such that the light collected by the third lens is detected by the R light detector, the G light detector, and the B light detector and the IR sensor, respectively.
  • the RGB sensor and the IR sensor may be two or more, each of which consists of a smaller number of sensors than the number of pixels of the reflecting mirror.
  • the RGB sensor may detect compressed information about the RGB light in the light reflected by the first path, and the IR sensor may detect the compressed information about the reflected light of the IR light in the light reflected by the second path. I can detect it.
  • the controller may generate the 3D image by restoring the compressed information about the detected RGB light and the compressed information about the reflected light of the detected IR light.
  • the RGB sensor and the IR sensor may each be composed of fewer sensors than the number of pixels of the reflective mirror.
  • the RGB sensor detects the compressed information about the RGB light in the light reflected by the first path
  • the IR sensor detects the compressed information about the reflected light of the IR light in the light reflected by the second path.
  • the controller may generate a 3D image by dividing the compressed information detected by the RGB sensor and the IR sensor into four regions divided into quadrants based on the center of each sensor.
  • generating and transmitting IR light with a predetermined pattern condensing the reflected light of the RGB light and the transmitted IR light using a lens, the light collected by the lens Reflecting the first path and the second path using a reflecting mirror, detecting the RGB light from the light reflected by the first path using an RGB sensor, and detecting the IR light from the light reflected by the second path. It provides a method of controlling a three-dimensional camera comprising the step of detecting the reflected light using an IR sensor and generating a three-dimensional image using the detected RGB light and the reflected light of the detected IR light.
  • the RGB light and IR light collected by the lens by separating and detecting the RGB light and IR light collected by the lens, there is an advantage that the RGB light and IR light can be eliminated to act as the optical noise with respect to each other.
  • FIG. 1 is a block diagram of a three-dimensional camera according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a control method of a 3D camera according to an exemplary embodiment.
  • FIG. 3 is a block diagram of a three-dimensional camera for explaining obtaining an image according to an embodiment of the present invention.
  • 4 to 6 are diagrams for explaining the detection by separating the RGB light and IR light according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a compression sensing method of an image according to an embodiment of the present invention.
  • FIG. 8 is a diagram for describing a compression sensing method of an image according to an exemplary embodiment.
  • 9 to 15 are diagrams for describing the separation and detection of the RGB light and IR light in the compression sensing method of the image according to an embodiment of the present invention.
  • 16 to 21 are views for quickly reconstructing compressed information in a compression sensing method of an image according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a three-dimensional camera according to an embodiment of the present invention.
  • the 3D camera 100 includes a light transmitting unit 110, a light receiving unit 120, a controller 130, a memory 140, and an output unit 150.
  • the components shown in FIG. 1 are not essential, so the 3D camera 100 may have more or fewer components.
  • the transmitter 110 may generate and transmit light used to calculate a distance to a front object.
  • the light emitted from the light receiver 120 may be IR laser light.
  • the scope of the present invention is not limited thereto.
  • the mounting position of the light transmitting unit 110 in the three-dimensional camera 100 may be fixed or may vary.
  • the transmitting unit 110 may include a position changing unit for controlling a driving force that can change the position of the transmitting unit 110.
  • the light receiving unit 120 may receive the reflected light based on the IR light transmitted from the light transmitting unit 110.
  • the light receiver 120 may receive RGB light.
  • the position of the light receiving unit 120 may also be fixed, or may be changed, in the mounting position of the 3D camera 100, similar to the light transmitting unit 110.
  • the controller 130 controls the overall operation of the 3D camera 100. More specifically, the operation of each component of the 3D camera 100 is controlled, and the controller 130 generates a 3D image using reflected light of RGB light and IR light detected through the light receiving unit 120. Can be.
  • the memory 140 may store various software for driving the 3D camera 100, and temporarily or permanently store data generated during the operation of the 3D camera 100, data received from the outside, or the like. Can be stored as
  • the output unit 150 may provide visual information, auditory information, or tactile information to a user.
  • the information may be a simple operating state of the 3D camera 100 or may be information for guiding or warning reflecting the operating state of the 3D camera 100.
  • the output unit 150 may include a display means for providing visual information, a sound output means for providing auditory information, and the like.
  • FIG. 2 is a flowchart illustrating a control method of a 3D camera according to an exemplary embodiment.
  • 3 is a block diagram of a three-dimensional camera for explaining obtaining an image according to an embodiment of the present invention.
  • control method of the 3D camera may be implemented in the 3D camera 100 described with reference to FIG. 1.
  • a method of controlling a 3D camera and an operation of the 3D camera 100 for implementing the same according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
  • the transmitter 110 may generate and transmit IR light to which a predetermined pattern is added under the control of the controller 130 [S100].
  • the transmitting unit 110 may include an IR laser 111, a lens 112, and a pattern element 113.
  • the IR laser 111 may correspond to a light source that emits IR light.
  • the IR light emitted from the IR laser 111 may pass through the lens 112 and pass through the pattern element 113.
  • the lens 112 may adjust the focus of the emitted IR light.
  • the pattern element 113 may add a predetermined pattern to the emitted IR light.
  • the controller 130 may calculate distance information to the object to which the IR light is reflected by using a shift value of the pattern added to the IR light.
  • the transmitting unit 110 capable of transmitting the IR light to which a predetermined pattern is added, according to a known technique other than the above description, will not be described herein any further.
  • the transmitting unit 110 shown in FIG. 3 schematically shows the components, and the transmitting unit 110 may further include other components.
  • the light receiver 120 may collect RGB light and reflected light of the transmitted IR light using the lens 10 under the control of the controller 130. [S110].
  • the light receiver 120 may include a lens 10. IR light (indicated by a solid line) transmitted by the transmitter 110 may be reflected by the front object 200. The reflected IR light may be incident into the light receiving unit 120 through the lens 10.
  • RGB light (indicated by a dotted line) may also be incident into the light receiving unit 120 through the lens 10.
  • the RGB light refers to light that can acquire a general two-dimensional image, and according to one example, it can be used as the meaning of visible light.
  • the controller 130 may reflect the light collected by the lens 10 to the first path and the second path using the reflection mirror 20 [S120].
  • the light collected by the lens 10 may be directed to the reflective mirror 20.
  • the reflective mirror 20 may be implemented as an active mirror such as a digital micro-mirror device (DMD).
  • DMD digital micro-mirror device
  • the present invention is not limited thereto, and if the path of the condensed light can be separated, a passive mirror such as X-prism may be implemented by various other methods.
  • the reflective mirror 20 may send the focused light to the first path under the control of the controller 130.
  • the reflective mirror 20 may send the focused light to the second path under the control of the controller 130.
  • the separation into the first path or the second path may be implemented by controlling the mirror on / off of the DMD.
  • the present invention is not limited thereto, and any method may be applied as long as the path of the focused light can be separated.
  • the RGB sensor 40 may detect the RGB light from the light reflected by the first path.
  • the IR sensor 30 may detect the reflected light of the IR light from the light reflected by the second path [S130].
  • the light traveling in the first path may be detected by the RGB sensor 40.
  • the RGB sensor 40 may detect an RGB light (indicated by a dotted line) to acquire an image of the RGB light.
  • the obtained image (indicated by a double-dotted line) may be converted into digital data and transmitted to the controller 130.
  • the IR sensor 30 may detect the reflected light of the IR light (indicated by the solid line) to obtain an image of the reflected light of the IR light.
  • the obtained image (indicated by a double-dotted line) may be converted into digital data and transmitted to the controller 130.
  • a component such as a filter may be further included, which will be described later.
  • the controller 130 may generate a 3D image using the detected light of the RGB light and the detected IR light [S140].
  • the controller 130 may calculate the distance from the image obtained by sensing the reflected light of the IR light to the object to which the IR light is reflected. In this way, the controller 130 may obtain 3D information about objects included in the image.
  • the controller 130 may obtain a 2D image from the image obtained by sensing the RGB light.
  • the controller 130 may generate the 3D image by adding the 3D information to the 2D image.
  • the controller 130 may use a 3D image generation algorithm stored in the memory 140.
  • the present invention is not limited thereto, and the restoration algorithm may be received from another storage medium or an external server.
  • a well-known algorithm may be applied to obtain a 3D image by using an IR light image and an RGB light image. Therefore, detailed description will be omitted here.
  • the present invention is not limited to a known algorithm, and any algorithm capable of obtaining a 3D image may be applied.
  • 4 to 6 are diagrams for explaining the detection by separating the RGB light and IR light according to an embodiment of the present invention.
  • the light receiver 120 may include a lens 10 that collects reflected light of RGB light and IR light. Light collected from the outside through the lens 10 may be incident into the light receiving unit 120.
  • the focused light may include RGB light and reflected light of IR light reflected from the object 200.
  • the light receiver 120 may include a reflection mirror 21 reflecting the light collected by the lens 10 in the first path and the second path.
  • the reflection mirror 21 may be an active mirror that adjusts a reflection path of incident light under the control of the controller 130.
  • the reflective mirror 21 may be implemented as an active mirror such as a digital micro-mirror device (DMD).
  • DMD digital micro-mirror device
  • the reflecting mirror 21 may be formed in an array of micro mirrors.
  • the separation into the first path or the second path may be implemented by on / off control of the micromirrors of the DMD.
  • the present invention is not limited thereto, and any method may be applied as long as the path of the focused light can be separated.
  • the first path and the second path may be formed to be symmetrical with respect to the reflective mirror 21.
  • the present invention is not limited thereto.
  • the first path and the second path may be symmetrical.
  • the light receiver 120 may include an RGB sensor 41 that detects the RGB light from the light reflected by the first path.
  • a first lens 70 may be located on the first path to collect light reflected by the first path. The first lens 70 may condense the light reflected by the reflection mirror 21 to the RGB sensor 41.
  • the light receiver 120 may further include an IR cut filter 80 on the first path.
  • the IR light blocking filter 80 may block the reflected light of the IR light from the light collected by the first lens 70. Therefore, the IR light is blocked to the light incident to the RGB sensor 41, thereby preventing the IR light from acting as the optical noise when detecting the image for the RGB light.
  • the RGB sensor 41 may detect RGB light while IR light is blocked.
  • the RGB sensor 41 may transmit the image of the detected RGB light to the controller 130.
  • the resolution of the RGB sensor 41 may be the same as the resolution of the reflection mirror 21. That is, each micro mirror of the reflection mirror 21 may correspond to each pixel of the RGB sensor 41. Accordingly, the controller 130 can quickly obtain an image of the RGB light in real time.
  • the light receiver 120 may include an IR sensor 31 that detects the reflected light of the IR light from the light reflected by the second path.
  • a second lens 50 may be located on the second path to collect light reflected by the second path. The second lens 50 may collect light reflected from the reflection mirror 21 to the IR sensor 31.
  • the light receiver 120 may further include an IR band pass filter 60 on the second path.
  • the IR light passing filter 60 may pass only the reflected light of the IR light from the light collected by the second lens 50. Therefore, the light incident on the IR sensor 31 includes only the IR light, thereby preventing the RGB light from acting as the optical noise when sensing the image for the IR light.
  • the IR sensor 31 may detect the IR light while the RGB light is blocked.
  • the IR sensor 31 may transmit an image of the detected IR light to the controller 130.
  • the resolution of the IR sensor 31 may be the same as that of the reflective mirror 21. That is, each micromirror of the reflection mirror 21 may correspond to each pixel of the IR sensor 31. Accordingly, the controller 130 can quickly obtain an image of the IR light in real time.
  • the controller 130 may generate a 3D image using an image for IR light and an image for RGB light.
  • the size of the light receiver 120 may be increased.
  • an embodiment of reducing the size of the light receiver 120 will be described.
  • the light receiver 120 may further include an X-prism 90 positioned between the lens 10 and the reflection mirror 21.
  • the light collected by the lens 10 and the light reflected by the reflecting mirror 21 may travel in parallel with the reflecting surface of the reflecting mirror 21 while passing through the prism 90.
  • the first path and the second path may pass through the prism 90 to be formed parallel to the reflective surface of the reflective mirror 21. Since operations of the other components of the light receiver 120 illustrated in FIG. 5 may be applied in the same manner as described in FIG. 4, a detailed description thereof will be omitted.
  • the first path and the second path may be parallel to the reflective surfaces of the reflective mirror 21, so that the light receiving unit 120 may be thinner than that of FIG. 4.
  • the reflection angle can also be minimized, thereby minimizing rotational distortion.
  • the reflective mirror 22 may be rotated based on the rotation center o.
  • the controller 130 may control the rotation of the reflective mirror 22 based on the rotation center o so that the first path and the second path are formed.
  • the controller 130 may rotate the reflection mirror 22 to a position 22 in order to reflect light in the first path. In addition, the controller 130 may rotate the reflection mirror 22 'to a position 22' in order to reflect light in the second path.
  • the reflection path of the light may be formed at various angles without being limited to the reflection angle of the reflection mirror 22.
  • the above-described embodiment of rotating the reflective mirror 22 of FIG. 6 may be substantially applied to other embodiments of the present invention.
  • an RGB sensor is composed of an R detector, a G detector, and a B detector, for example.
  • a total of four detectors, up to the IR detector, can be arranged in different directions, and the reflection mirror 22 can be rotated to reflect light in four directions.
  • FIG. 7 is a flowchart illustrating a compression sensing method of an image according to an embodiment of the present invention.
  • 8 is a diagram for describing a compression sensing method of an image according to an exemplary embodiment.
  • the step [S200] of generating and transmitting IR light to which a predetermined pattern is added in the transmitting unit 110 may be applied in substantially the same manner as the step [S100] described with reference to FIG. 2.
  • the converging the reflected light of the RGB light and the transmitted IR light by using the lens 10 [S210] may be substantially the same as the [S110] step described in FIG.
  • the step [S220] of reflecting the light collected by the lens 10 into the first path and the second path using the reflection mirror 20 may be substantially the same as the step [S120] described with reference to FIG. 2. . Therefore, detailed description will be omitted here.
  • the RGB sensor 40 may detect compressed information about the RGB light from the light reflected by the first path.
  • the IR sensor 30 may detect the compressed information on the reflected light of the IR light from the light reflected by the second path [S230].
  • the senor 35 may be implemented as one detector as shown in FIG. 8. Referring to FIG. 8, the light reflected by the reflection mirror 25 may be collected by the lens 55. The focused light may be focused with one sensor constituting the sensor 35.
  • Reflective mirror 25 may be implemented with the DMD. By applying multiple DMD patterns, a sample can be made and detected by one detector. In this case, the detected light has compressed information rather than an actual image.
  • the method itself using the compressed information is a compression sensing method related to image acquisition, and according to a known method, a detailed description thereof will be omitted.
  • the controller 130 may generate the 3D image by reconstructing the compressed information on the detected RGB light and the compressed information on the reflected light of the detected IR light [S240].
  • the controller 130 may restore the compressed information on the detected RGB light to an actual image.
  • the controller 130 may restore the compressed information on the reflected light of the detected IR light to the actual image.
  • the controller 130 may use a restoration algorithm stored in the memory 140.
  • the present invention is not limited thereto, and the restoration algorithm may be received from another storage medium or an external server.
  • the controller 130 may calculate the distance from the image obtained by restoring the compressed information on the reflected light of the IR light to the object on which the IR light is reflected. In this way, the controller 130 may obtain 3D information about objects included in the image.
  • the controller 130 may obtain a 2D image from the image obtained by reconstructing the compressed information on the RGB light.
  • the controller 130 may generate the 3D image by adding the 3D information to the 2D image.
  • 9 to 15 are diagrams for describing the separation and detection of the RGB light and IR light in the compression sensing method of the image according to an embodiment of the present invention.
  • the light receiver 120 may include an RGB sensor 42 composed of one detector and an IR sensor 32 composed of one detector.
  • the light condensed by the lens 10 may be reflected by the first path and the second path through the reflection mirror 21.
  • the first lens 70 and the IR light blocking filter 80 may be positioned in the first path, and the operation thereof is substantially the same as that described with reference to FIG. 4, and thus a detailed description thereof will be omitted.
  • the RGB sensor 42 including one detector may detect compressed information about the RGB light in the light reflected by the first path.
  • the detection of the compressed information may be based on the compression sensing method described above with reference to FIGS. 7 and 8.
  • the second lens 50 and the IR light passing filter 60 may be positioned in the second path, and the operation thereof is substantially the same as that described with reference to FIG. 4, and thus a detailed description thereof will be omitted.
  • the IR sensor 32 including one detector may detect compressed information about the reflected light of the IR light from the light reflected by the second path.
  • the detection of the compressed information may be based on the compression sensing method described above with reference to FIGS. 7 and 8.
  • the controller 130 may generate the image for the RGB light by restoring the compressed information on the detected RGB light. In addition, the controller 130 may generate the image of the reflected light of the IR light by restoring the compressed information on the reflected light of the detected IR light. The controller 130 may generate a 3D image using the image of the RGB light and the image of the reflected light of the IR light.
  • each of the RGB sensors includes one R light detector 42a for detecting R light, one G light detector 42b for detecting G light, and one B light detector 42c for detecting B light. It can be made of). Since the IR sensor 32 and other components are the same as those of the embodiment of FIG. 9, detailed descriptions thereof will be omitted.
  • the R light detector 42a may detect compressed information about the R light among the RGB light reflected by the reflection mirror 21.
  • the G light detector 42b may detect the compressed information on the G light among the RGB light reflected by the reflection mirror 21.
  • the B light detector 42c may detect the compressed information on the B light among the RGB light reflected by the reflection mirror 21.
  • the controller 130 may generate an image of the RGB light by restoring the compressed information on the R light, the G light, and the B light. According to another example, the controller 130 may generate respective images for the R light, the G light, and the B light. Thereafter, the controller 130 may generate an image of the RGB light by using each image of the R light, the G light, and the B light.
  • the controller 130 may generate an image of the reflected light of the IR light by restoring the compressed information on the reflected light of the detected IR light.
  • the controller 130 may generate a 3D image using the image of the RGB light and the image of the reflected light of the IR light.
  • the first path and the second path may be formed as the same third path.
  • the controller 130 may control the reflection mirror 21 to reflect the light collected by the lens 10 in the third path.
  • one third lens 51 may collect light reflected by the reflection mirror 21.
  • the IR light blocking filter 80 and the IR light passing filter 60 may be positioned not to overlap each other.
  • the R light detector 42a, the G light detector 42b, and the B light detector 42c may detect the R light, the G light, and the B light from the light passing through the IR light cut filter 80, respectively.
  • the IR sensor 32 including one detector may detect the IR light from the light passing through the IR light passing filter 60.
  • the R light detector 42a, the G light detector 42b, the B light detector 42c and the IR sensor 32 are reflected mirrors according to the focusing position.
  • the distance from 21 can be located differently.
  • the light receiver 120 may further include an actuator capable of adjusting the focusing position by moving the third lens 51.
  • the third lens includes a lens 72 which focuses the light reflected by the third path to pass through the IR light blocking filter 80, and an IR light pass filter by which the light reflected by the third path is reflected. It may be made of a lens 52 for condensing to pass through (60).
  • the lens 72 may condense the light reflected from the reflection mirror 21 to be detected by the R light detector 42a, the G light detector 42b, and the B light detector 42c.
  • the lens 52 may condense the light reflected from the reflection mirror 21 to be detected by the IR sensor 32 which is composed of one sensor.
  • the light receiver 120 may further include an actuator capable of moving the positions of the lenses 52 and 72.
  • the size of the light receiver 120 may be reduced by placing each sensor in a single path.
  • the third lens may include three separate lenses 72a, 72b, and 72c condensing the light reflected by the third path through the IR light blocking filter 80.
  • Light passing through the three separate lenses 72a, 72b, 72c may reach the R light detector, the G light detector and the B light detector, respectively.
  • the third lens may include a lens 52 for condensing the light reflected by the third path to pass through the IR light passing filter 60.
  • the light receiver 120 may further include an actuator capable of moving the position of each lens 52, 72a, 72b, 72c.
  • the third lens 53 may be black (53a, 53b, 53c) on the surface.
  • the black treatment may mean that a part of the surface of the third lens 53 is blackened to prevent light from passing through. If the light cannot be allowed to pass through a part of the surface of the third lens 53, the black treatment may be applied in any way.
  • the light reflected by the third path through the unblacked portion passes through the IR light blocking filter 80 to pass through the R light detector 42a and the G light detector 42b. ) And the B light detector 42c, respectively.
  • light reflected by the third path through the unblacked portion may pass through the IR light passing filter 60 to be detected by the IR sensor 32.
  • the light receiving unit 120 is a wall (barrier) located between each of the R light detector 42a, the G light detector 42b, the B light detector 42c and the IR sensor 32, as shown in FIG. , b1, b2, and b3) may be further included.
  • the walls b1, b2, and b3 may prevent optical interference between the detectors 32, 42a, 42b, and 42c.
  • the walls b1, b2, b3 are not limited to any particular material or form. As long as it is possible to prevent optical interference between the detectors 32, 42a, 42b, and 42c, the shapes or components of the walls b1, b2, and b3 may be formed differently as necessary.
  • the light receiving unit 120 is a plurality of micro lenses (L1 to L) arranged to pass after the light reflected by the third path passes through the IR light blocking filter 80 and the IR light passing filter 60. L4) may be further included. If necessary, the plurality of micro lenses L1 to L4 may be positioned in front of the respective detectors 32, 42a, 42b, and 42c.
  • the light reflected by the third path may be more focused while passing through the plurality of micro lenses L1 to L4 to be incident to the detectors 32, 42a, 42b, and 42c. Through this, interference according to the angle of incidence to each of the detectors 32, 42a, 42b, and 42c can be prevented.
  • the light condensed by the third lens 54 includes the R light detector 42a, the G light detector 42b, and the B light detector 42c.
  • a plurality of grooves 54a, 54b, 54c may be formed on the surface of the IR sensor 32 so as to be sensed by each.
  • the light reflected by the third path through the portion without the plurality of grooves 54a, 54b, and 54c passes through the IR light blocking filter 80 to pass through the R light detector 42a, Each of the G light detector 42b and the B light detector 42c can be reached.
  • light reflected by the third path through a portion without the plurality of grooves 54a, 54b, and 54c may pass through the IR light passing filter 60 to be detected by the IR sensor 32.
  • 16 to 21 are views for quickly reconstructing compressed information in a compression sensing method of an image according to an embodiment of the present invention.
  • the sensor 35 is implemented with one sensor to obtain information compressed at a high compression rate. In this case, although the cost of the sensor constituting the sensor 35 is lowered, it may take a long time to restore the image from the information compressed by the high compression ratio.
  • the RGB sensor 41 'and the IR sensor 31' are two or more, each consisting of a smaller number of sensors than the number of pixels of the reflection mirror. Can be.
  • the sensor 36 may be implemented with 16 detectors smaller than the number of pixels of the reflective mirror, as shown in FIG. 17.
  • the sensor 36 may detect compressed information having a lower compression ratio than that of one sensor.
  • the sensors 37a to 37d corresponding to the unit area when the light reflected by the reflecting mirror 25 is collected by the lens 55 are illustrated.
  • the sensor 37a when focusing on one sensor, the sensor 37a consisting of one sensor may be applied. In this case, the compression ratio is the highest.
  • a sensor 37b when focusing on M1, a sensor 37b consisting of a larger number of sensors than the sensor 37a may be applied. In this case, the compression rate is lower than that of the sensor 37a, and the recovery speed is faster.
  • a sensor 37c consisting of a larger number of sensors than the sensor 37b can be applied.
  • the compression rate is lower than that of the sensor 37b, and the recovery speed is faster.
  • a sensor 37d consisting of a larger number of sensors than the sensor 37c and having the same pixels as the reflective mirror 25 can be applied.
  • the image detected by the sensor 37d may be an uncompressed image, and may acquire an image in real time without the need for a reconstruction process.
  • FIG. 20 and 21 are diagrams for explaining faster restoration of compressed information using locality in optical compression.
  • FIG. 21 shows the sensor 38b and the sensor 38a together for convenience of comparison.
  • Information about the a pixel in the area 1 detected by the sensor 38a is detected in the p1 area of the sensor 38b when the sensor 38b detects the information. That is, as shown in FIG. 19, when the light is compressed, the area is reduced while maintaining the center.
  • the information included in the area 1 detected by the sensor 38a may be included only in the p1 area of the sensor 38b. That is, the information included in the area 1 may not have any influence on the p2, p3, and p4 areas of the sensor 38b when the compression ratio is increased.
  • the controller 130 may restore the compressed information detected by the RGB sensor and the IR sensor into four regions divided into quadrants based on the center of each sensor.
  • the time to restore the compressed information increases faster. Therefore, the time required to restore the area reduced by one quarter four times is reduced than the time required to restore the entire area once, so that the controller 130 can restore the compressed information more quickly.
  • the controller 130 may generate a 3D image more quickly.
  • the reflective mirror 39 may be divided into four regions 39_1 to 39_4 divided into quadrants with respect to the center. Then, the light reflected from each area can be detected by the sensor for each time.
  • region 39_1 may operate for any time t1 to t2 to reflect light.
  • the other regions 39_2 to 39_4 may operate in the time order (t2 to t5). Using this, the size of the sensor needs to be one quarter of the reflection mirror, thereby reducing the number of detectors.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may include a controller 130 of the 3D camera. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

3차원 카메라 및 그 제어 방법이 개시된다. 본 발명은, 소정의 패턴이 부가된 IR 광을 생성하여 송출하는 송광부, RGB 광과 상기 송출된 IR 광의 반사광을 감지하는 수광부 및 상기 송광부와 상기 수광부를 제어하고, 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 제어부를 포함한다. 본 발명에 의하면, RGB 광과 IR 광을 감지함에 있어서 RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다.

Description

3차원 카메라 및 그 제어 방법
본 발명은 3차원 카메라에 관한 것으로, 보다 상세하게는, IR 광과 RGB 광을 이용하여 3차원 영상을 생성할 수 있도록 하는 3차원 카메라 및 그 제어 방법에 관한 것이다.
종래의 카메라는 2 차원 이미지 센서를 이용하여 영상을 획득하는 것이었으므로 3 차원 정보인 물체까지의 거리(depth) 정보를 얻을 수 없었다. 그러나 최근에는 전방 물체까지의 거리 정보를 획득하기 위한 방법으로 다양한 기술이 개발되어 사용되고 있다. 이러한 전방 물체에 대한 거리 정보를 획득하는 방식에는 구조광 방식, TOF(Time Of Flight) 방식, RGBIR 방식, 스테레오 카메라 방식 등이 있다.
먼저, 구조광 방식은 특정 패턴이 코팅된 레이저 광을 물체에 조사하고, 그에 기초하여 되돌아오는 반사광을 획득한 다음, 패턴의 쉬프트 량을 계산하고 그에 기초하여 전방 물체에 대한 거리 정보를 획득하는 방식을 말한다.
다음으로, TOF 방식은 광을 조사한 다음 조사된 광에 대한 반사광이 수신되는 시간에 기초하여 물체까지의 거리를 산출하는 방식을 말한다.
그리고, RGBIR 방식은 1개의 카메라에 RGB 색상 정보를 획득하는 RGB 센서와 거리 정보 측정용 IR 센서를 모두 포함하여 2차원 영상과 물체까지의 거리 정보를 함께 획득하는 방식을 말한다.
상술한 거리 정보 획득 방식들 중에서 RGBIR 방식의 경우 2차원 영상과 물체까지의 거리 정보를 함께 획득할 수 있는 장점이 있으나, 센서의 IR 픽셀에 대해서는 RGB 광이, RGB 픽셀에 대해서는 IR 광이 광노이즈로 작용하여 성능이 저하되는 문제점이 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있도록 하는 3차원 카메라 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
또 다른 목적은 영상을 압축 센싱(compressive sensing) 방법으로 획득하는 경우, 압축된 정보로 감지된 영상을 빠르게 복원할 수 있는 3차원 카메라 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 소정의 패턴(pattern)이 부가된 IR 광(infrared light)을 생성하여 송출하는 송광부, RGB 광(RGB light)과 상기 송출된 IR 광의 반사광(reflected light)을 감지하는 수광부 및 상기 송광부와 상기 수광부를 제어하고, 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 제어부를 포함하는 3차원 카메라를 제공한다.
상기 수광부는 상기 RGB 광과 상기 IR 광의 반사광을 집광하는 렌즈, 상기 렌즈에서 집광된 광을 제1 경로와 제2 경로로 반사하는 반사 거울(reflection mirror), 상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지하는 RGB 센서 및 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지하는 IR 센서를 포함할 수 있다.
상기 반사 거울은 상기 제어부의 제어에 따라 입사되는 광의 반사 경로를 조절하는 액티브 미러(active mirror)일 수 있다.
상기 수광부는 상기 제1 경로로 반사되는 광을 집광하는 제1 렌즈 및 상기 제1 렌즈에서 집광된 광에서 상기 IR 광의 반사광을 차단하는 IR 광 차단 필터(IR cut filter)를 상기 제1 경로 상에 더 포함할 수 있다. 상기 수광부는 상기 제2 경로로 반사되는 광을 집광하는 제2 렌즈 및 상기 제2 렌즈에서 집광된 광에서 상기 IR 광의 반사광만 통과시키는 IR 광 통과 필터(IR band pass filter)를 제2 경로 상에 더 포함할 수 있다.
상기 제1 경로와 상기 제2 경로는 상기 반사 거울을 중심으로 대칭을 이루도록 형성될 수 있고, 상기 RGB 센서는 상기 제1 경로에 위치하고, 상기 IR 센서는 상기 제2 경로에 위치할 수 있다.
상기 수광부는 상기 렌즈와 상기 반사 거울 사이에 위치하는 엑스 프리즘(X-prism)을 더 포함할 수 있고, 상기 제1 경로와 상기 제2 경로는 상기 엑스 프리즘을 통과하여 상기 반사 거울의 반사면과 평행하게 형성될 수 있다.
상기 반사 거울은 회전 중심을 기준으로 회전이 가능할 수 있고, 상기 제어부는 상기 제1 경로와 상기 제2 경로가 형성되도록 상기 회전 중심을 기준으로 상기 반사 거울의 회전을 제어할 수 있다.
상기 RGB 센서와 상기 IR 센서는 각각 1개의 감지기로 이루어질 수 있고, 상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 제어부는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성할 수 있다.
상기 RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기, G광을 감지하는 1개의 G광 감지기, B광을 감지하는 1개의 B광 감지기로 이루어질 수 있고, 상기 IR 센서는 1개의 감지기로 이루어질 수 있다. 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기는 상기 제1 경로로 반사되는 광에서 상기 R광, 상기 G광 및 상기 B광에 대한 압축된 정보를 각각 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 제어부는 상기 감지된 R광, G광 및 B광 각각에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성할 수 있다.
상기 제1 경로와 상기 제2 경로는 동일한 제3 경로로 형성될 수 있고, 상기 수광부는 상기 제3 경로로 반사되는 광을 집광하는 제3 렌즈, 상기 제3 렌즈에서 집광된 광에서 상기 IR 광의 반사광을 차단하는 IR 광 차단 필터 및 상기 제3 렌즈에서 집광된 광에서 상기 IR 광의 반사광만 통과시키는 IR 광 통과 필터를 제3 경로 상에 더 포함할 수 있다.
상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하도록 집광하는 렌즈와, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록 집광하는 렌즈로 이루어질 수 있다.
상기 RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기, G광을 감지하는 1개의 G광 감지기, B광을 감지하는 1개의 B광 감지기로 이루어질 수 있다. 상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하여 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기 각각에 도달하도록 각각 집광하는 3개의 분리된 렌즈와, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록 집광하는 렌즈로 이루어질 수 있다.
상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하여 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기 각각에 도달하고, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록, 상기 제3 렌즈의 표면에 블랙(black) 처리될 수 있다.
상기 수광부는 상기 R광 감지기, 상기 G광 감지기, 상기 B광 감지기 및 상기 IR 센서의 사이 각각에 위치하는 벽(barrier)을 더 포함할 수 있다.
상기 수광부는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터 및 상기 IR 광 통과 필터를 통과한 이후에 통과하도록 배치된 복수의 마이크로 렌즈를 더 포함할 수 있다.
상기 제3 렌즈는 상기 제3 렌즈에서 집광된 광이 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기와 상기 IR 센서에서 각각 감지되도록 표면에 복수의 홈이 형성될 수 있다.
상기 RGB 센서와 상기 IR 센서는 2개 이상이며 상기 반사 거울의 픽셀 수보다는 적은 수의 감지기로 각각 이루어질 수 있다. 상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지할 수 있고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 제어부는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성할 수 있다.
상기 RGB 센서와 상기 IR 센서는 상기 반사 거울의 픽셀 수보다 적은 수의 감지기로 각각 이루어질 수 있다. 상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 제어부는 상기 RGB 센서 및 상기 IR 센서에서 감지된 압축된 정보를 각 센서의 중심을 기준으로 사분면으로 나눈 4개의 영역으로 구분하여 복원하여 3차원 영상을 생성할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 소정의 패턴이 부가된 IR 광을 생성하여 송출하는 단계, RGB 광과 상기 송출된 IR 광의 반사광을 렌즈를 이용하여 집광하는 단계, 상기 렌즈에서 집광된 광을 반사 거울을 이용하여 제1 경로와 제2 경로로 반사하는 단계, 상기 제1 경로로 반사되는 광에서 상기 RGB 광을 RGB 센서를 이용하여 감지하고, 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 IR 센서를 이용하여 감지하는 단계 및 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 단계를 포함하는 3차원 카메라의 제어방법을 제공한다.
본 발명에 따른 3차원 카메라 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 수광부에 포함된 구성 요소들의 배치 효율을 높일 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, RGB 광과 IR 광을 수신하는 다양한 구조를 채택함으로써, 광노이즈를 더욱 효과적으로 차단할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, RGB 광과 IR 광의 반사광에 대한 압축된 정보를 감지함으로써, 센서의 구현 비용을 감소시킬 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 영상을 압축 센싱 방법으로 획득하는 경우에 있어서, 압축된 정보로 감지된 영상을 빠르게 복원할 수 있다는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 3차원 카메라의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 3차원 카메라의 제어 방법의 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 영상을 획득하는 것을 설명하기 위한 3차원 카메라의 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 RGB 광과 IR 광을 분리하여 감지하는 것을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법의 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법을 설명하기 위한 도면이다.
도 9 내지 도 15는 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법에서 RGB 광과 IR 광을 분리하여 감지하는 것을 설명하기 위한 도면이다.
도 16 내지 도 21은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법에서 압축된 정보를 빠르게 복원하는 것을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서는 이와 같이 구성된 3차원 카메라에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 1은 본 발명의 일 실시 예에 따른 3차원 카메라의 블록도이다.
도 1을 참조하면, 상기 3차원 카메라(100)는 송광부(110), 수광부(120), 제어부(130), 메모리(140) 및 출력부(150)를 포함한다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 3차원 카메라(100)는 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
상기 송광부(110)는 전방 물체까지의 거리를 산출하는데 이용되는 광을 발생하여 송출할 수 있다. 상기 수광부(120)에서 송출되는 광은 IR 레이저 광일 수 있다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다.
상기 송광부(110)의 상기 3차원 카메라(100)에서의 탑재 위치는 고정되어 있을 수도 있고, 변동될 수도 있다. 이때, 상기 송광부(110)는 상기 송광부(110)의 위치를 변동할 수 있는 구동력을 제어하는 위치 변경부를 포함할 수 있다.
상기 수광부(120)는 상기 송광부(110)에서 송출된 IR 광에 기초한 반사광을 수신할 수 있다. 또한, 상기 수광부(120)는 RGB 광을 수신할 수 있다. 상기 수광부(120)의 위치 역시 상기 송광부(110)와 마찬가지로 상기 3차원 카메라(100)에서의 탑재 위치가 고정되어 있을 수 있고, 변경될 수도 있다.
상기 제어부(130)는 상기 3차원 카메라(100)의 동작을 전반적으로 제어한다. 보다 구체적으로 상기 3차원 카메라(100)의 각 구성 요소들의 동작을 제어하며, 상기 제어부(130)는 상기 수광부(120)를 통하여 감지되는 RGB 광과 IR 광의 반사광을 이용하여 3차원 영상을 생성할 수 있다.
상기 메모리(140)는 상기 3차원 카메라(100)의 구동을 위한 각종 소프트웨어가 저장될 수 있고, 상기 3차원 카메라(100)의 동작 중에 생성되는 데이터, 외부로부터 수신되는 데이터 등을 일시적으로 또는 영구적으로 저장할 수 있다.
상기 출력부(150)는 시각적 정보, 청각적 정보, 또는 촉각적 정보를 사용자에게 제공할 수 있다. 여기서, 정보라 함은 상기 3차원 카메라(100)의 단순한 동작 상태일 수도 있고, 상기 3차원 카메라(100)의 동작 상태를 반영한 안내나 경고를 위한 정보일 수도 있다. 한편, 상기 출력부(150)는 시각적 정보 제공을 위한 디스플레이 수단, 청각적 정보를 제공하기 위한 음향 출력 수단 등을 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 3차원 카메라의 제어 방법의 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 영상을 획득하는 것을 설명하기 위한 3차원 카메라의 블록도이다.
본 발명의 일 실시 예에 따른 3차원 카메라의 제어 방법은, 도 1을 참조하여 설명한 3차원 카메라(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 일 실시 예에 따른 3차원 카메라의 제어 방법과, 이를 구현하기 위한 3차원 카메라(100)의 동작을 상세히 설명하기로 한다.
도 2를 참조하면, 송광부(110)는 제어부(130)의 제어에 따라, 소정의 패턴(pattern)이 부가된 IR 광(infrared light)을 생성하여 송출할 수 있다[S100].
도 3에 도시된 바와 같이, 송광부(110)는 IR 레이저(111), 렌즈(112), 패턴 소자(113)를 포함할 수 있다. IR 레이저(111)는 IR 광을 방출하는 광원에 해당할 수 있다. IR 레이저(111)에서 방출된 IR 광은 렌즈(112)를 통과하여 패턴 소자(113)를 통과할 수 있다.
상기 렌즈(112)는 상기 방출된 IR 광의 초점을 조절할 수 있다. 상기 패턴 소자(113)에서는 방출된 IR 광에 소정의 패턴을 부가할 수 있다. 제어부(130)는 IR 광에 부가된 패턴의 이동 값을 이용하여 IR 광이 반사된 객체까지의 거리 정보를 산출할 수 있다.
소정의 패턴이 부가된 IR 광의 송출이 가능한 송광부(110)에 대해서는 전술한 내용 이외에 공지의 기술에 따르므로, 여기서는 더 이상 구체적인 설명은 생략하기로 한다. 또한, 도 3에 도시된 송광부(110)는 구성요소들을 개략적으로 도시한 것으로, 송광부(110)는 다른 구성요소들을 더 포함할 수 있다.
다시 도 2를 참조하면, 수광부(120)는 제어부(130)의 제어에 따라, RGB 광(RGB light)과 상기 송출된 IR 광의 반사광(reflected light)을 렌즈(10)를 이용하여 집광할 수 있다[S110].
도 3에 도시된 바와 같이, 수광부(120)는 렌즈(10)를 포함할 수 있다. 송광부(110)에서 송출된 IR 광(실선으로 표시된)은 전방의 객체(200)에서 반사될 수 있다. 반사된 IR 광은 렌즈(10)를 통하여 수광부(120)의 내부로 입사할 수 있다.
또한, RGB 광(점선으로 표시된)도 렌즈(10)를 통하여 수광부(120)의 내부로 입사할 수 있다. 여기서 RGB 광은 일반적인 2차원 영상을 획득할 수 있는 광을 말하며, 일 예에 따라, 가시광의 의미로 사용될 수 있다.
다시 도 2를 참조하면, 제어부(130)는 렌즈(10)에서 집광된 광을 반사 거울(20)을 이용하여 제1 경로와 제2 경로로 반사할 수 있다[S120].
도 3에 도시된 바와 같이, 렌즈(10)에서 집광된 광(일점쇄선으로 표시된)은 반사 거울(20)로 진행될 수 있다. 일 예에 따라, 반사 거울(20)은 DMD(Digital Micro-Mirror Device)와 같은 액티브 미러로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 집광된 광의 경로를 분리할 수 있다면, 엑스 프리즘(X-prism)과 같은 패시브 미러 기타 다양한 방법으로 구현될 수 있다.
반사 거울(20)은 제어부(130)의 제어에 따라 제1 경로로 상기 집광된 광을 보낼 수 있다. 또한, 반사 거울(20)은 제어부(130)의 제어에 따라 제2 경로로 상기 집광된 광을 보낼 수 있다. 일 예에 따라, 제1 경로 또는 제2 경로로의 분리는 DMD의 미러 온/오프(on/off)를 제어하여 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 집광된 광의 경로를 분리할 수 있으면 어느 방법이나 적용될 수 있다.
다시 도 2를 참조하면, RGB 센서(40)는 상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지할 수 있다. IR 센서(30)는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지할 수 있다[S130].
도 3에 도시된 바와 같이, 제1 경로로 진행되는 광은 RGB 센서(40)에서 감지될 수 있다. RGB 센서(40)에서는 RGB 광(점선으로 표시된)을 감지하여 RGB 광에 대한 영상을 획득할 수 있다. 획득된 영상(이점쇄선으로 표시된)은 디지털 데이터로 변환되어 제어부(130)로 전송될 수 있다.
마찬가지로, 제2 경로로 진행되는 광은 IR 센서(30)에서 감지될 수 있다. IR 센서(30)에서는 IR 광의 반사광(실선으로 표시된)을 감지하여 IR 광의 반사광에 대한 영상을 획득할 수 있다. 획득된 영상(이점쇄선으로 표시된)은 디지털 데이터로 변환되어 제어부(130)로 전송될 수 있다.
RGB 센서(40) 및 IR 센서(30)에서 광노이즈 없이 영상을 획득하기 위하여 필터 등의 구성 요소를 더 포함할 수 있으며, 이에 대해서는 후술하기로 한다.
다시 도 2를 참조하면, 제어부(130)는 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성할 수 있다[S140].
제어부(130)는 IR 광의 반사광을 감지하여 획득한 영상으로부터 IR 광이 반사된 객체까지의 거리를 산출할 수 있다. 이를 통하여, 제어부(130)는 영상에 포함된 객체들에 대한 3차원 정보를 획득할 수 있다.
제어부(130)는 RGB 광을 감지하여 획득한 영상으로부터 2차원 영상을 획득할 수 있다. 제어부(130)는 상기 2차원 영상에 상기 3차원 정보를 부가하여 3차원 영상을 생성할 수 있다. 이 경우, 제어부(130)는 메모리(140)에 저장된 3차원 영상 생성 알고리즘을 이용할 수 있다. 다만, 이에 한정되는 것은 아니며, 상기 복원 알고리즘은 다른 저장 매체나 외부 서버 등에서 수신할 수 있다.
IR 광에 의한 영상과 RGB 광에 의한 영상을 이용하여 3차원 영상을 획득하는 것은 공지의 알고리즘이 적용될 수 있다. 따라서, 여기에서는 더 이상 구체적인 설명은 생략하기로 한다. 다만, 공지의 알고리즘에 한정되는 것은 아니며 3차원 영상을 획득할 수 있는 알고리즘이라면 어느 것이나 적용될 수 있을 것이다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 RGB 광과 IR 광을 분리하여 감지하는 것을 설명하기 위한 도면이다.
도 4를 참조하면, 수광부(120)는 RGB 광과 IR 광의 반사광을 집광하는 렌즈(10)를 포함할 수 있다. 외부로부터 렌즈(10)를 통하여 집광된 광이 수광부(120)의 내부로 입사될 수 있다. 상기 집광된 광에는 RGB 광과 객체(200)에서 반사된 IR 광의 반사광이 포함될 수 있다.
또한, 수광부(120)는 상기 렌즈(10)에서 집광된 광을 제1 경로와 제2 경로로 반사하는 반사 거울(21)을 포함할 수 있다. 반사 거울(21)은 제어부(130)의 제어에 따라 입사되는 광의 반사 경로를 조절하는 액티브 미러(active mirror)일 수 있다.
일 예에 따라, 반사 거울(21)은 DMD(Digital Micro-Mirror Device)와 같은 액티브 미러로 구현될 수 있다. 상기 반사 거울(21)은 마이크로 미러의 배열로 이루어질 수 있다. 일 예에 따라, 제1 경로 또는 제2 경로로의 분리는 DMD의 마이크로 미러들을 온/오프(on/off) 제어에 의하여 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 집광된 광의 경로를 분리할 수 있으면 어느 방법이나 적용될 수 있다.
도 4에 도시된 바와 같이, 상기 제1 경로와 상기 제2 경로는 상기 반사 거울(21)을 중심으로 대칭을 이루도록 형성될 수 있다. 다만, 이에 한정되는 것은 아니다. 상기 제1 경로와 상기 제2 경로는 상기 반사 거울(21)을 중심으로 좌우로 분리되면 족하고, 대칭이 아닐 수 있다.
수광부(120)는 상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지하는 RGB 센서(41)를 포함할 수 있다. 상기 제1 경로 상에는 상기 제1 경로로 반사되는 광을 집광하는 제1 렌즈(70)가 위치할 수 있다. 상기 제1 렌즈(70)는 반사 거울(21)에서 반사되는 광을 RGB 센서(41)로 집광할 수 있다.
수광부(120)는 IR 광 차단 필터(IR cut filter, 80)를 상기 제1 경로 상에 더 포함할 수 있다. IR 광 차단 필터(80)는 상기 제1 렌즈(70)에서 집광된 광에서 상기 IR 광의 반사광을 차단할 수 있다. 따라서, RGB 센서(41)로 입사하는 광에는 IR 광이 차단되어 RGB 광에 대한 영상을 감지할 때 IR 광이 광노이즈로 작용하는 것을 방지할 수 있다.
RGB 센서(41)는 IR 광이 차단된 상태에서 RGB 광을 감지할 수 있다. RGB 센서(41)는 감지된 RGB 광에 대한 영상을 제어부(130)로 전송할 수 있다. 일 예에 따라, RGB 센서(41)의 해상도는 반사 거울(21)의 해상도와 동일할 수 있다. 즉, 반사 거울(21)의 각 마이크로 미러는 RGB 센서(41)의 각 픽셀에 대응될 수 있다. 이에 따르면, 제어부(130)는 RGB 광에 대한 영상을 실시간으로 신속하게 획득할 수 있다.
수광부(120)는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지하는 IR 센서(31)를 포함할 수 있다. 상기 제2 경로 상에는 상기 제2 경로로 반사되는 광을 집광하는 제2 렌즈(50)가 위치할 수 있다. 상기 제2 렌즈(50)는 반사 거울(21)에서 반사되는 광을 IR 센서(31)로 집광할 수 있다.
수광부(120)는 IR 광 통과 필터(IR band pass filter, 60)를 제2 경로 상에 더 포함할 수 있다. IR 광 통과 필터(60)는 상기 제2 렌즈(50)에서 집광된 광에서 상기 IR 광의 반사광만 통과시킬 수 있다. 따라서, IR 센서(31)로 입사하는 광에는 IR 광만이 포함되어 IR 광에 대한 영상을 감지할 때 RGB 광이 광노이즈로 작용하는 것을 방지할 수 있다.
IR 센서(31)는 RGB 광이 차단된 상태에서 IR 광을 감지할 수 있다. IR 센서(31)는 감지된 IR 광에 대한 영상을 제어부(130)로 전송할 수 있다. 일 예에 따라, IR 센서(31)의 해상도는 반사 거울(21)의 해상도와 동일할 수 있다. 즉, 반사 거울(21)의 각 마이크로 미러는 IR 센서(31)의 각 픽셀에 대응될 수 있다. 이에 따르면, 제어부(130)는 IR 광에 대한 영상을 실시간으로 신속하게 획득할 수 있다.
이후, 전술한 바와 같이, 제어부(130)는 IR 광에 대한 영상과 RGB 광에 대한 영상을 이용하여 3차원 영상을 생성할 수 있다.
도 4의 구조에 의하면, 렌즈(10)와 제1 렌즈(70) 및 제2 렌즈(50) 사이의 물리적 간섭을 피하기 위해, 수광부(120)의 크기가 커질 수 있다. 이하에서 수광부(120)의 크기를 줄일 수 있는 실시 예에 대하여 살펴보기로 한다.
도 5를 참조하면, 수광부(120)는 상기 렌즈(10)와 상기 반사 거울(21) 사이에 위치하는 엑스 프리즘(X-prism, 90)을 더 포함할 수 있다. 렌즈(10)에서 집광된 광과 반사 거울(21)에서 반사된 광은 엑스 프리즘(90)을 통과하면서 반사 거울(21)의 반사면과 평행하게 진행할 수 있다.
즉, 도 5에 도시된 바와 같이, 상기 제1 경로와 상기 제2 경로는 엑스 프리즘(90)을 통과하여 상기 반사 거울(21)의 반사면과 평행하게 형성될 수 있다. 도 5에 도시된 수광부(120)의 다른 구성들의 동작은 도 4에서 설명한 것과 동일하게 적용될 수 있으므로, 더 이상 구체적인 설명은 생략하기로 한다.
도 5와 같이, 상기 제1 경로와 상기 제2 경로를 반사 거울(21)의 반사면과 평행하게 함으로써, 도 4와 비교할 때 수광부(120)의 박형화가 가능할 수 있다. 또한, 반사각도도 최소화할 수 있어 회전 왜곡도 최소화할 수 있다.
전술한 도 5의 엑스 프리즘(90)을 적용한 실시 예는, 본 발명의 다른 실시 예에도 실질적으로 동일하게 적용될 수 있다.
도 6을 참조하면, 반사 거울(22)은 회전 중심(o)을 기준으로 회전이 가능할 수 있다. 제어부(130)는 상기 제1 경로와 상기 제2 경로가 형성되도록 상기 회전 중심(o)을 기준으로 상기 반사 거울(22)의 회전을 제어할 수 있다.
제어부(130)는 제1 경로로 광을 반사하기 위하여, 도면부호 22의 위치로 반사 거울(22)을 회전시킬 수 있다. 또한, 제어부(130)는 제2 경로로 광을 반사하기 위하여, 도면부호 22'의 위치로 반사 거울(22')을 회전시킬 수 있다.
이를 통하여, 반사 거울(22)의 반사각에 한정되지 않고 다양한 각도로 광의 반사 경로가 형성될 수 있다.
도 6에 도시된 수광부(120)의 다른 구성들의 동작은 도 4에서 설명한 것과 동일하게 적용될 수 있으므로, 더 이상 구체적인 설명은 생략하기로 한다.
전술한 도 6의 반사 거울(22)을 회전시키는 실시 예는, 본 발명의 다른 실시 예에도 실질적으로 동일하게 적용될 수 있다. 또한, 예를 들어 RGB 센서가 R 감지기, G 감지기, B 감지기로 구성되는 경우를 생각해 보기로 한다. 이 경우, IR 감지기까지 총 4개의 감지기를 각각 다른 방향으로 배치하고, 반사 거울(22)을 회전시켜 4 방향의 경로로 광을 반사할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법의 흐름도이다. 도 8은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 송광부(110)에서 소정의 패턴이 부가된 IR 광을 생성하여 송출하는 단계[S200]는 도 2에서 설명한 [S100] 단계와 실질적으로 동일하게 적용될 수 있다. 또한, RGB 광과 상기 송출된 IR 광의 반사광을 렌즈(10)를 이용하여 집광하는 단계[S210]는 도 2에서 설명한 [S110] 단계와 실질적으로 동일하게 적용될 수 있다. 또한, 렌즈(10)에서 집광된 광을 반사 거울(20)을 이용하여 제1 경로와 제2 경로로 반사하는 단계[S220]는 도 2에서 설명한 [S120] 단계와 실질적으로 동일하게 적용될 수 있다. 따라서, 여기서는 더 이상 구체적인 설명을 생략하기로 한다.
다시 도 7을 참조하면, RGB 센서(40)는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지할 수 있다. IR 센서(30)는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다[S230].
전술한 도 4의 설명에서는 반사 거울(21)의 해상도와 센서(31, 41)의 해상도가 동일한 경우를 전제로 설명하였다. 이 경우, 센서가 다수의 감지기로 구현되므로, 센서의 비용이 증가하게 된다.
이러한 비용을 감소하고자, 도 8과 같이 센서(35)를 1개의 감지기로 구현할 수 있다. 도 8을 참조하면, 반사 거울(25)에서 반사된 광은 렌즈(55)에서 집광될 수 있다. 상기 집광된 광은 센서(35)를 이루는 1개의 감지기로 포커싱될 수 있다.
반사 거울(25)은 상기 DMD로 구현될 수 있다. 복수의 DMD 패턴을 적용하여, 샘플을 만들고, 이를 1개의 감지기로 감지할 수 있다. 이 경우, 감지되는 광은 실제 영상이 아닌 압축된 정보를 가지게 된다.
이러한 압축된 정보를 이용하는 방법 자체는 영상 획득과 관련된 압축 센싱(compressive sensing) 방법으로 공지의 방법에 따르는 바, 더 이상 구체적인 설명은 생략하기로 한다.
다시 도 7을 참조하면, 제어부(130)는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성할 수 있다[S240].
제어부(130)는 상기 감지된 RGB 광에 대한 압축된 정보를 실제의 영상으로 복원할 수 있다. 또한, 제어부(130)는 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 실제의 영상으로 복원할 수 있다. 이 경우, 제어부(130)는 메모리(140)에 저장된 복원 알고리즘을 이용할 수 있다. 다만, 이에 한정되는 것은 아니며, 상기 복원 알고리즘은 다른 저장 매체나 외부 서버 등에서 수신할 수 있다.
제어부(130)는 IR 광의 반사광에 대한 압축된 정보를 복원하여 획득한 영상으로부터 IR 광이 반사된 객체까지의 거리를 산출할 수 있다. 이를 통하여, 제어부(130)는 영상에 포함된 객체들에 대한 3차원 정보를 획득할 수 있다.
제어부(130)는 RGB 광에 대한 압축된 정보를 복원하여 획득한 영상으로부터 2차원 영상을 획득할 수 있다. 제어부(130)는 상기 2차원 영상에 상기 3차원 정보를 부가하여 3차원 영상을 생성할 수 있다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, RGB 광과 IR 광의 반사광에 대한 압축된 정보를 감지함으로써, 센서의 구현 비용을 감소시킬 수 있다.
이하에서는 도 9 내지 도 15를 참조하여 구체적인 실시 예를 설명하기로 한다. 도 9 내지 도 15는 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법에서 RGB 광과 IR 광을 분리하여 감지하는 것을 설명하기 위한 도면이다.
도 9를 참조하면, 수광부(120)는 1개의 감지기로 이루어진 RGB 센서(42)와 1개의 감지기로 이루어진 IR 센서(32)를 포함할 수 있다. 렌즈(10)에서 집광된 광은 반사 거울(21)을 통하여 상기 제1 경로와 상기 제2 경로로 반사될 수 있다.
상기 제1 경로에는 제1 렌즈(70)와 IR 광 차단 필터(80)가 위치할 수 있으며, 그 동작은 전술한 도 4의 설명과 실질적으로 동일하므로 여기서는 구체적인 설명은 생략하기로 한다.
1개의 감지기로 이루어진 RGB 센서(42)는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지할 수 있다. 상기 압축된 정보의 감지는 도 7 및 도 8에서 전술한 압축 센싱 방법에 따를 수 있다.
상기 제2 경로에는 제2 렌즈(50)와 IR 광 통과 필터(60)가 위치할 수 있으며, 그 동작은 전술한 도 4의 설명과 실질적으로 동일하므로 여기서는 구체적인 설명은 생략하기로 한다.
1개의 감지기로 이루어진 IR 센서(32)는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 압축된 정보의 감지는 도 7 및 도 8에서 전술한 압축 센싱 방법에 따를 수 있다.
제어부(130)는 상기 감지된 RGB 광에 대한 압축된 정보를 복원하여 RGB 광에 대한 영상을 생성할 수 있다. 또한, 제어부(130)는 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 IR 광의 반사광에 대한 영상을 생성할 수 있다. 제어부(130)는 RGB 광에 대한 영상과 IR 광의 반사광에 대한 영상을 이용하여 3차원 영상을 생성할 수 있다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, RGB 광과 IR 광의 반사광에 대한 압축된 정보를 감지함으로써, 센서의 구현 비용을 감소시킬 수 있다.
도 10을 참조하면, RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기(42a), G광을 감지하는 1개의 G광 감지기(42b), B광을 감지하는 1개의 B광 감지기(42c)로 이루어질 수 있다. IR 센서(32) 및 다른 구성 요소는 도 9의 실시 예와 동일한 바, 구체적인 설명은 생략하기로 한다.
R광 감지기(42a)는 반사 거울(21)에서 반사된 RGB 광 중 R광에 대한 압축된 정보를 감지할 수 있다. 마찬가지로, G광 감지기(42b)는 반사 거울(21)에서 반사된 RGB 광 중 G광에 대한 압축된 정보를 감지할 수 있다. 마찬가지로, B광 감지기(42c)는 반사 거울(21)에서 반사된 RGB 광 중 B광에 대한 압축된 정보를 감지할 수 있다.
제어부(130)는 R광, G광, B광에 대한 각각의 압축된 정보를 복원하여 RGB 광에 대한 영상을 생성할 수 있다. 다른 일 예에 따라, 제어부(130)는 R광, G광, B광에 대한 각각의 영상을 생성할 수 있다. 이후, 제어부(130)는 R광, G광, B광에 대한 각각의 영상을 이용하여 RGB 광에 대한 영상을 생성할 수 있다.
제어부(130)는 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 IR 광의 반사광에 대한 영상을 생성할 수 있다. 제어부(130)는 RGB 광에 대한 영상과 IR 광의 반사광에 대한 영상을 이용하여 3차원 영상을 생성할 수 있다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, RGB 센서를 각각의 감지기로 구현하여, 3차원 영상 생성시 RGB 광을 정밀하게 조절할 수 있다.
도 11을 참조하면, 상기 제1 경로와 상기 제2 경로는 동일한 제3 경로로 형성될 수 있다. 제어부(130)는 렌즈(10)에서 집광된 광이 제3 경로로 반사되도록 반사 거울(21)을 제어할 수 있다.
이 경우, 1개의 제3 렌즈(51)는 반사 거울(21)에서 반사된 광을 집광할 수 있다. 도 11에 도시된 바와 같이, IR 광 차단 필터(80)와 IR 광 통과 필터(60)는 서로 겹쳐지지 않게 위치될 수 있다.
R광 감지기(42a), G광 감지기(42b), B광 감지기(42c)는 IR 광 차단 필터(80)를 통과한 광에서 각각 R광, G광, B광을 감지할 수 있다. 또한, 1개의 감지기로 이루어진 IR 센서(32)는 IR 광 통과 필터(60)를 통과한 광에서 IR광을 감지할 수 있다.
일 예에 따라, 1개의 제3 렌즈(51)를 이용하므로, R광 감지기(42a), G광 감지기(42b), B광 감지기(42c)와 IR 센서(32)는 포커싱 위치에 따라 반사 거울(21)로부터의 거리가 다르게 위치할 수 있다. 이 경우, 수광부(120)는 제3 렌즈(51)를 이동시켜 포커싱 위치를 조절할 수 있는 액추에이터(actuator)를 더 포함할 수 있다.
도 11에 도시된 실시 예의 경우, 제3 경로에 따른 차이 이외에 구성 요소들의 동작은 전술한 도 9의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 각 센서를 단일 경로에 위치시켜 수광부(120)의 크기를 줄이고, 렌즈에 대한 비용을 감소시킬 수 있다.
도 12를 참조하면, 제3 렌즈는 상기 제3 경로로 반사되는 광이 IR 광 차단 필터(80)를 통과하도록 집광하는 렌즈(72)와, 상기 제3 경로로 반사되는 광이 IR 광 통과 필터(60)를 통과하도록 집광하는 렌즈(52)로 이루어질 수 있다.
상기 렌즈(72)는 반사 거울(21)에서 반사된 광이 R광 감지기(42a), G광 감지기(42b), B광 감지기(42c)에서 감지되도록 집광할 수 있다. 또한, 상기 렌즈(52)는 반사 거울(21)에서 반사된 광이 1개의 감지기로 이루어진 IR 센서(32)에서 감지되도록 집광할 수 있다.
일 예에 따라, 수광부(120)는 각 렌즈(52, 72)의 위치를 이동시킬 수 있는 액추에이터를 더 포함할 수 있다.
도 12에 도시된 실시 예의 경우, 제3 렌즈(52, 72)에 따른 차이 이외에 구성 요소들의 동작은 전술한 도 11의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 각 센서를 단일 경로에 위치시켜 수광부(120)의 크기를 줄일 수 있다.
도 13을 참조하면, 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터(80)를 통과하도록 집광하는 3개의 분리된 렌즈(72a, 72b, 72c)를 포함할 수 있다. 상기 3개의 분리된 렌즈(72a, 72b, 72c)를 통과한 광은 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기 각각에 도달할 수 있다.
또한, 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터(60)를 통과하도록 집광하는 렌즈(52)를 포함할 수 있다.
일 예에 따라, 수광부(120)는 각 렌즈(52, 72a, 72b, 72c)의 위치를 이동시킬 수 있는 액추에이터를 더 포함할 수 있다.
도 13에 도시된 실시 예의 경우, 제3 렌즈(52, 72a, 72b, 72c)에 따른 차이 이외에 구성 요소들의 동작은 전술한 도 11의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 각 센서에 대하여 각각의 렌즈를 대응시켜 정밀한 영상을 획득할 수 있다.
도 14을 참조하면, 상기 제3 렌즈(53)는 표면에 블랙(black) 처리(53a, 53b, 53c)될 수 있다. 상기 블랙 처리는 제3 렌즈(53)의 표면의 일부를 검게 처리하여 광이 통과할 수 없게 하는 것을 의미할 수 있다. 제3 렌즈(53)의 표면의 일부에서 광이 통과할 수 없게 할 수 있다면, 상기 블랙 처리는 어떠한 방법이라도 적용될 수 있다.
도 14에 도시된 바와 같이, 상기 블랙 처리가 되지 않은 부분을 통하여 상기 제3 경로로 반사되는 광은 IR 광 차단 필터(80)를 통과하여 상기 R광 감지기(42a), 상기 G광 감지기(42b) 및 상기 B광 감지기(42c) 각각에 도달할 수 있다. 또한, 상기 블랙 처리가 되지 않은 부분을 통하여, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터(60)를 통과하여 IR 센서(32)에서 감지될 수 있다.
일 예에 따라, 수광부(120)는 도 14와 같이, R광 감지기(42a), G광 감지기(42b), B광 감지기(42c) 및 IR 센서(32)의 사이 각각에 위치하는 벽(barrier, b1, b2, b3)을 더 포함할 수 있다. 상기 벽(b1, b2, b3)은 각 감지기(32, 42a, 42b, 42c)간의 광 간섭을 막아줄 수 있다.
상기 벽(b1, b2, b3)은 특정 물질 또는 특정 형태로 제한되는 것은 아니다. 각 감지기(32, 42a, 42b, 42c)간의 광 간섭을 방지할 수 있는 것이라면, 상기 벽(b1, b2, b3)의 형태나 성분은 필요에 따라 다르게 형성될 수 있다.
일 예에 따라, 수광부(120)는 상기 제3 경로로 반사되는 광이 IR 광 차단 필터(80) 및 IR 광 통과 필터(60)를 통과한 이후에 통과하도록 배치된 복수의 마이크로 렌즈(L1 내지 L4)를 더 포함할 수 있다. 필요에 따라, 상기 복수의 마이크로 렌즈(L1 내지 L4)는 각 감지기(32, 42a, 42b, 42c)의 앞에 위치할 수 있다.
상기 제3 경로로 반사되는 광은 상기 복수의 마이크로 렌즈(L1 내지 L4)를 통과하면서 보다 집광되어 각 감지기(32, 42a, 42b, 42c)로 입사될 수 있다. 이를 통하여, 각 감지기(32, 42a, 42b, 42c)로의 입사각에 따른 간섭을 막을 수 있다.
도 14에 도시된 실시 예의 경우, 상기한 차이 이외에 구성 요소들의 동작은 전술한 도 11의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 다양한 구성 요소를 부가하여 광노이즈를 더욱 확실하게 제거할 수 있다.
도 15를 참조하면, 제3 렌즈(54)는 상기 제3 렌즈(54)에서 집광된 광이 상기 R광 감지기(42a), 상기 G광 감지기(42b) 및 상기 B광 감지기(42c)와 상기 IR 센서(32)에서 각각 감지되도록 표면에 복수의 홈(54a, 54b, 54c)이 형성될 수 있다.
도 14에 도시된 바와 같이, 상기 복수의 홈(54a, 54b, 54c)이 없는 부분을 통하여 상기 제3 경로로 반사되는 광은 IR 광 차단 필터(80)를 통과하여 R광 감지기(42a), G광 감지기(42b) 및 B광 감지기(42c) 각각에 도달할 수 있다. 또한, 상기 복수의 홈(54a, 54b, 54c)이 없는 부분을 통하여, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터(60)를 통과하여 IR 센서(32)에서 감지될 수 있다.
도 15에 도시된 실시 예의 경우, 상기한 차이 이외에 구성 요소들의 동작은 전술한 도 14의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.
이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 다양한 구성 요소를 부가하여 광노이즈를 더욱 확실하게 제거할 수 있다.
도 16 내지 도 21은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법에서 압축된 정보를 빠르게 복원하는 것을 설명하기 위한 도면이다.
도 8에서는 설명한 압축 센싱의 경우, 센서(35)가 1개의 감지기로 구현되어 높은 압축률로 압축된 정보를 획득하였다. 이 경우, 센서(35)를 이루는 감지기의 비용이 낮아지는 장점이 있으나, 높은 압축률에 의하여 압축된 정보로부터 영상을 복원하는 시간이 오래 걸릴 수 있다.
영상을 복원하는 시간을 감소하기 위하여, 도 16에 도시된 바와 같이, RGB 센서(41')와 IR 센서(31')는 2개 이상이며 상기 반사 거울의 픽셀 수보다는 적은 수의 감지기로 각각 이루어질 수 있다. 예를 들어, 반사 거울의 픽셀 수가 도 18과 같다고 할 때, 센서(36)는 도 17과 같이, 반사 거울의 픽셀 수보다 적은 16개의 감지기로 구현될 수 있다.
이와 같이, 센서(36)가 2개 이상이며 상기 반사 거울의 픽셀 수보다는 적은 수의 감지기로 구성되는 경우, 압축률이 감지기가 1개인 경우보다 낮은 압축된 정보를 센서(36)에서 감지할 수 있다. 도 19를 참조하면, 반사 거울(25)에서 반사된 광이 렌즈(55)에서 집광될 때의 단위 면적에 대응되는 센서들(37a 내지 37d)이 도시되어 있다.
즉, 1개의 감지기로 포커싱되는 경우 1개의 감지기로 이루어진 센서(37a)가 적용될 수 있다. 이 경우, 압축률은 가장 높게 된다. 다음으로 M1에 포커싱되는 경우, 센서(37a)보다 많은 개수의 감지기로 이루어진 센서(37b)가 적용될 수 있다. 이 경우, 압축률은 센서(37a)보다 낮아지게 되어 복원 속도는 더 빨라지게 된다.
마찬가지로, M2에 포커싱되는 경우, 센서(37b)보다 많은 개수의 감지기로 이루어진 센서(37c)가 적용될 수 있다. 이 경우, 압축률은 센서(37b)보다 낮아지게 되어 복원 속도는 더 빨라지게 된다.
마찬가지로, M3에 포커싱되는 경우, 센서(37c)보다 많은 개수의 감지기로 이루어지고 반사 거울(25)과 동일한 픽셀을 갖는 센서(37d)가 적용될 수 있다. 이 경우, 센서(37d)에서 감지되는 영상은 압축되지 않은 영상으로 복원 과정이 필요 없이 실질적으로 실시간으로 영상을 획득할 수 있다.
도 20 및 도 21은 광 압축 시의 지역성을 이용하여 압축된 정보를 더 빠른 복원을 수행하는 것을 설명하기 위한 도면이다. 도 20에 도시된 센서(38a)로 감지하는 광을 더 압축하여, 도 21에 도시된 센서(38b)로 감지하는 경우를 생각해보기로 한다. 도 21은 비교의 편의를 위하여, 센서(38b)과 센서(38a)를 같이 도시한 것이다.
센서(38a)에서 감지되는 영역 1에 있는 a픽셀에 대한 정보는, 센서(38b)로 감지하는 경우, 센서(38b)의 p1 영역에서 감지된다. 즉, 도 19와 같이, 광이 압축되면 중심은 그대로 유지되면서 영역이 줄어들게 된다.
따라서, 센서(38a)에서 감지되는 영역 1에 포함된 정보는 센서(38b)의 p1 영역에만 포함될 수 있다. 즉, 상기 영역 1에 포함된 정보는 압축률이 올라가는 경우에 센서(38b)의 p2, p3, p4 영역에는 어떠한 영향을 미치지 않을 수 있다.
이러한 광 압축 시의 지역성을 이용하여, 제어부(130)는 상기 RGB 센서 및 상기 IR 센서에서 감지된 압축된 정보를 각 센서의 중심을 기준으로 사분면으로 나눈 4개의 영역으로 구분하여 복원할 수 있다. 일반적으로 압축률이 증가할수록 압축된 정보를 복원하는 시간은 더 빠르게 증가하게 된다. 따라서, 4분의 1로 감소된 영역을 4번 복원하는데 걸리는 시간이 전체 영역을 1번 복원하는데 걸리는 시간보다 감소하게 되어, 제어부(130)는 압축된 정보를 더 빠르게 복원할 수 있다.
이를 통하여, 제어부(130)는 더 빨리 3차원 영상을 생성할 수 있다.
도 22는 광 압축 시의 시간적 압축을 설명하기 위한 도면이다. 반사 거울(39)은 중심을 기준으로 사분면으로 나눈 4개의 영역(39_1 내지 39_4)으로 구분될 수 있다. 이후, 각 영역에서 반사되는 광을 시간별로 센서에서 감지할 수 있다.
예를 들어, 영역(39_1)은 임의의 시간 t1에서 t2까지의 시간 동안 동작하여 광을 반사할 수 있다. 마찬가지로 다른 영역(39_2 내지 39_4)에서도 시간 순서(t2에서 t5까지)대로 동작할 수 있다. 이를 이용하면, 센서의 크기가 반사 거울의 4분의 1이면 되므로 감지기의 수를 줄일 수 있다.
이를 통하여, 센서에 대한 비용을 줄일 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 3차원 카메라의 제어부(130)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (18)

  1. 소정의 패턴(pattern)이 부가된 IR 광(infrared light)을 생성하여 송출하는 송광부;
    RGB 광(RGB light)과 상기 송출된 IR 광의 반사광(reflected light)을 감지하는 수광부; 및
    상기 송광부와 상기 수광부를 제어하고, 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 제어부;
    를 포함하며,
    상기 수광부는
    상기 RGB 광과 상기 IR 광의 반사광을 집광하는 렌즈,
    상기 렌즈에서 집광된 광을 제1 경로와 제2 경로로 반사하는 반사 거울(reflection mirror),
    상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지하는 RGB 센서 및
    상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지하는 IR 센서를 포함하는 것을 특징으로 하는 3차원 카메라.
  2. 제 1 항에 있어서,
    상기 반사 거울은 상기 제어부의 제어에 따라 입사되는 광의 반사 경로를 조절하는 액티브 미러(active mirror)인 것을 특징으로 하는 3차원 카메라.
  3. 제 1 항에 있어서,
    상기 수광부는
    상기 제1 경로로 반사되는 광을 집광하는 제1 렌즈 및 상기 제1 렌즈에서 집광된 광에서 상기 IR 광의 반사광을 차단하는 IR 광 차단 필터(IR cut filter)를 상기 제1 경로 상에 더 포함하고,
    상기 제2 경로로 반사되는 광을 집광하는 제2 렌즈 및 상기 제2 렌즈에서 집광된 광에서 상기 IR 광의 반사광만 통과시키는 IR 광 통과 필터(IR band pass filter)를 제2 경로 상에 더 포함하는 것을 특징으로 하는 3차원 카메라.
  4. 제 1 항에 있어서,
    상기 제1 경로와 상기 제2 경로는 상기 반사 거울을 중심으로 대칭을 이루도록 형성되며,
    상기 RGB 센서는 상기 제1 경로에 위치하고, 상기 IR 센서는 상기 제2 경로에 위치하는 것을 특징으로 하는 3차원 카메라.
  5. 제 1 항에 있어서,
    상기 수광부는 상기 렌즈와 상기 반사 거울 사이에 위치하는 엑스 프리즘(X-prism)을 더 포함하고,
    상기 제1 경로와 상기 제2 경로는 상기 엑스 프리즘을 통과하여 상기 반사 거울의 반사면과 평행하게 형성되는 것을 특징으로 하는 3차원 카메라.
  6. 제 1 항에 있어서,
    상기 반사 거울은 회전 중심을 기준으로 회전이 가능하고,
    상기 제어부는 상기 제1 경로와 상기 제2 경로가 형성되도록 상기 회전 중심을 기준으로 상기 반사 거울의 회전을 제어하는 것을 특징으로 하는 3차원 카메라.
  7. 제 1 항에 있어서,
    상기 RGB 센서와 상기 IR 센서는 각각 1개의 감지기로 이루어지고,
    상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지하고,
    상기 제어부는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성하는 것을 특징으로 하는 3차원 카메라.
  8. 제 1 항에 있어서,
    상기 RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기, G광을 감지하는 1개의 G광 감지기, B광을 감지하는 1개의 B광 감지기로 이루어지고,
    상기 IR 센서는 1개의 감지기로 이루어지고,
    상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기는 상기 제1 경로로 반사되는 광에서 상기 R광, 상기 G광 및 상기 B광에 대한 압축된 정보를 각각 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지하고,
    상기 제어부는 상기 감지된 R광, G광 및 B광 각각에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성하는 것을 특징으로 하는 3차원 카메라.
  9. 제 1 항에 있어서,
    상기 제1 경로와 상기 제2 경로는 동일한 제3 경로로 형성되고,
    상기 수광부는
    상기 제3 경로로 반사되는 광을 집광하는 제3 렌즈,
    상기 제3 렌즈에서 집광된 광에서 상기 IR 광의 반사광을 차단하는 IR 광 차단 필터 및
    상기 제3 렌즈에서 집광된 광에서 상기 IR 광의 반사광만 통과시키는 IR 광 통과 필터를 제3 경로 상에 더 포함하는 것을 특징으로 하는 3차원 카메라.
  10. 제 9 항에 있어서,
    상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하도록 집광하는 렌즈와, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록 집광하는 렌즈로 이루어지는 것을 특징으로 하는 3차원 카메라.
  11. 제 9 항에 있어서,
    상기 RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기, G광을 감지하는 1개의 G광 감지기, B광을 감지하는 1개의 B광 감지기로 이루어지고,
    상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하여 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기 각각에 도달하도록 각각 집광하는 3개의 분리된 렌즈와, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록 집광하는 렌즈로 이루어지는 것을 특징으로 하는 3차원 카메라.
  12. 제 9 항에 있어서,
    상기 RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기, G광을 감지하는 1개의 G광 감지기, B광을 감지하는 1개의 B광 감지기로 이루어지고,
    상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하여 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기 각각에 도달하고, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록, 상기 제3 렌즈의 표면에 블랙(black) 처리되어 있는 것을 특징으로 하는 3차원 카메라.
  13. 제 12 항에 있어서,
    상기 수광부는 상기 R광 감지기, 상기 G광 감지기, 상기 B광 감지기 및 상기 IR 센서의 사이 각각에 위치하는 벽(barrier)을 더 포함하는 것을 특징으로 하는 3차원 카메라.
  14. 제 12 항에 있어서,
    상기 수광부는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터 및 상기 IR 광 통과 필터를 통과한 이후에 통과하도록 배치된 복수의 마이크로 렌즈를 더 포함하는 것을 특징으로 하는 3차원 카메라.
  15. 제 12 항에 있어서,
    상기 제3 렌즈는 상기 제3 렌즈에서 집광된 광이 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기와 상기 IR 센서에서 각각 감지되도록 표면에 복수의 홈이 형성되는 것을 특징으로 하는 3차원 카메라.
  16. 제 1 항에 있어서,
    상기 RGB 센서와 상기 IR 센서는 2개 이상이며 상기 반사 거울의 픽셀 수보다는 적은 수의 감지기로 각각 이루어지고,
    상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지하고,
    상기 제어부는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성하는 것을 특징으로 하는 3차원 카메라.
  17. 제 1 항에 있어서,
    상기 RGB 센서와 상기 IR 센서는 상기 반사 거울의 픽셀 수보다 적은 수의 감지기로 각각 이루어지고,
    상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지하고,
    상기 제어부는 상기 RGB 센서 및 상기 IR 센서에서 감지된 압축된 정보를 각 센서의 중심을 기준으로 사분면으로 나눈 4개의 영역으로 구분하여 복원하여 3차원 영상을 생성하는 것을 특징으로 하는 3차원 카메라.
  18. 소정의 패턴이 부가된 IR 광을 생성하여 송출하는 단계;
    RGB 광과 상기 송출된 IR 광의 반사광을 렌즈를 이용하여 집광하는 단계;
    상기 렌즈에서 집광된 광을 반사 거울을 이용하여 제1 경로와 제2 경로로 반사하는 단계;
    상기 제1 경로로 반사되는 광에서 상기 RGB 광을 RGB 센서를 이용하여 감지하고, 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 IR 센서를 이용하여 감지하는 단계; 및
    상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 단계;
    를 포함하는 3차원 카메라의 제어방법.
PCT/KR2014/010849 2013-11-13 2014-11-12 3차원 카메라 및 그 제어 방법 WO2015072742A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP14861435.7A EP3070527B1 (en) 2013-11-13 2014-11-12 Three-dimensional camera and control method therefor

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361903855P 2013-11-13 2013-11-13
US201361903766P 2013-11-13 2013-11-13
US61/903,855 2013-11-13
US61/903,766 2013-11-13
KR1020140154799A KR102241706B1 (ko) 2013-11-13 2014-11-07 3차원 카메라 및 그 제어 방법
KR10-2014-0154799 2014-11-07

Publications (1)

Publication Number Publication Date
WO2015072742A1 true WO2015072742A1 (ko) 2015-05-21

Family

ID=53057622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/010849 WO2015072742A1 (ko) 2013-11-13 2014-11-12 3차원 카메라 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2015072742A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003121126A (ja) * 2001-10-15 2003-04-23 Pentax Corp ３次元画像検出装置及び３次元画像検出用アダプタ
JP2003169260A (ja) * 2001-09-18 2003-06-13 Fuji Photo Optical Co Ltd 可視赤外撮像装置およびシステム
US20050285966A1 (en) * 2004-01-28 2005-12-29 Canesta, Inc. Single chip red, green, blue, distance (RGB-Z) sensor
KR20100057983A (ko) * 2008-11-24 2010-06-03 한국전자통신연구원 생체 인식 시스템의 다중 영상 획득 장치
JP2011199570A (ja) * 2010-03-19 2011-10-06 Panasonic Corp カメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169260A (ja) * 2001-09-18 2003-06-13 Fuji Photo Optical Co Ltd 可視赤外撮像装置およびシステム
JP2003121126A (ja) * 2001-10-15 2003-04-23 Pentax Corp ３次元画像検出装置及び３次元画像検出用アダプタ
US20050285966A1 (en) * 2004-01-28 2005-12-29 Canesta, Inc. Single chip red, green, blue, distance (RGB-Z) sensor
KR20100057983A (ko) * 2008-11-24 2010-06-03 한국전자통신연구원 생체 인식 시스템의 다중 영상 획득 장치
JP2011199570A (ja) * 2010-03-19 2011-10-06 Panasonic Corp カメラ

Similar Documents

Publication Publication Date Title
WO2014106977A1 (en) Head mounted display and method for controlling the same
WO2017008224A1 (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2018186583A1 (ko) 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
WO2015194868A1 (ko) 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
WO2017111464A1 (en) X-ray imaging apparatus, control method for the same, and x-ray detector
WO2015016619A1 (en) Electronic apparatus, method of controlling the same, and image reproducing apparatus and method
WO2020141900A1 (ko) 이동 로봇 및 그 구동 방법
WO2014051362A1 (ko) 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법
CA2297611A1 (en) Virtual multiple aperture 3-d range sensor
WO2017030262A1 (en) Photographing apparatus and method for controlling the same
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2017113689A1 (zh) 虚拟现实系统中的空间定位方法、装置及系统
WO2020226187A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
WO2020130598A1 (ko) 3차원 구강 스캐너 및 이를 이용한 구강 스캔 방법
WO2015115698A1 (en) Portable device and method of controlling therefor
WO2020218644A1 (ko) 인공지능을 이용하여 로봇의 위치를 재정의하는 방법 및 로봇
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
JPH08223471A (ja) 電子画像カメラおよびその画像ぶれ防止方法
WO2015023038A1 (ko) 복수의 투사 영상을 중첩되지 않게 표시 가능한 디스플레이 장치
WO2018117513A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2020091347A1 (ko) 3차원 깊이 측정 장치 및 방법
WO2016086380A1 (zh) 一种物体检测方法、装置及遥控移动设备、飞行器
WO2015072742A1 (ko) 3차원 카메라 및 그 제어 방법
WO2019108036A1 (en) X-ray detector and method for controlling the same
WO2020230930A1 (ko) 열화상 카메라 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14861435

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014861435

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014861435

Country of ref document: EP