WO2020145744A1 - 카메라 장치 및 이를 구비하는 전자 장치 - Google Patents

카메라 장치 및 이를 구비하는 전자 장치 Download PDF

Info

Publication number
WO2020145744A1
WO2020145744A1 PCT/KR2020/000515 KR2020000515W WO2020145744A1 WO 2020145744 A1 WO2020145744 A1 WO 2020145744A1 KR 2020000515 W KR2020000515 W KR 2020000515W WO 2020145744 A1 WO2020145744 A1 WO 2020145744A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
color
color image
scaling
Prior art date
Application number
PCT/KR2020/000515
Other languages
English (en)
French (fr)
Inventor
강원석
임정희
김상진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US17/422,114 priority Critical patent/US12033306B2/en
Priority to EP20737894.4A priority patent/EP3910939A4/en
Publication of WO2020145744A1 publication Critical patent/WO2020145744A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present invention relates to a camera device and an electronic device having the same, and more specifically, a camera device and a camera device capable of simply generating a bokeh image for a color image from a color camera using an IR image from an IR camera It relates to an electronic device.
  • the camera device is a device for photographing images. 2. Description of the Related Art Recently, cameras have been adopted in various electronic devices.
  • the camera device may include a plurality of cameras.
  • the camera device may include two color cameras, or one color camera and one IR camera.
  • the camera device includes a color camera and an IR camera
  • An object of the present invention is to provide a camera device and an electronic device having the same, which can easily generate a bokeh image for a color image from a color camera using the IR image from the IR camera.
  • Another object of the present invention is to provide a camera device that does not have a bracket for a color camera and an IR camera, and an electronic device having the same.
  • a camera device and an electronic device having the same according to an embodiment of the present invention for achieving the above object are separated from the foreground area and the background area from the color camera, the IR camera, and the IR image from the IR camera.
  • a processor that filters the color image from the color camera based on the foreground area or the background area, thereby generating a bokeh image of the color image.
  • the processor may generate a bokeh image of the color image by separating the foreground region and the background region from the IR image from the IR camera, and filtering the color image from the color camera based on the separated foreground region.
  • the processor may generate a foreground object mask based on the filtered color image, and a bokeh image of the color image based on the foreground object mask.
  • the processor may downscale the color image from the color camera and filter the downscaled color image based on the foreground area separated from the IR image.
  • the processor may downscale the color image from the color camera, upscale the filtered downscaled color image, and filter the downscaled color image based on the upscaled color image.
  • the processor may generate a foreground object mask based on the filtered down-scaled color image.
  • the processor down-scales the color image from the color camera, filters the down-scaled color image based on the foreground object mask, up-scales the filtered color image, and the foreground object mask, and up-scaled color
  • a bokeh image can be generated.
  • the foreground area includes a face area
  • the face area may be clearer than the background area
  • the processor includes a foreground background separating unit separating the foreground region and the background region from the IR image from the IR camera, a foreground filter filtering the foreground region, a foreground purification unit purifying the filtered foreground region, and a background region. It may include a background filter to filter, and a background purification unit to refine the filtered background area.
  • the processor includes a downscaling unit for downscaling the color image from the color camera, a first filter for filtering the downscaled color image based on the foreground area separated from the IR image, and the color from the first filter
  • a boundary refiner for refining the boundary signal of the image and a second filter for filtering a signal from the boundary refiner may be included.
  • the processor is based on the second down-scaling unit for down-scaling the color image from the color camera, the up-scaling unit for up-scaling the signal from the second filter, and the second down-based signal from the up-scaling unit.
  • a third filter for filtering the scaled color image, a second boundary refiner for refining the boundary signal of the color image from the third filter, and a fourth filter for filtering the signal from the second boundary refiner Can.
  • the processor may further include a second up-scaling unit for up-scaling the down-scaled color image from the fourth filter, and a fifth filter for filtering a signal from the second up-scaling unit and outputting a foreground object mask.
  • a second up-scaling unit for up-scaling the down-scaled color image from the fourth filter
  • a fifth filter for filtering a signal from the second up-scaling unit and outputting a foreground object mask.
  • the processor includes a third down-scaling unit for down-scaling the color image from the color camera, a sixth filter for filtering the color image from the third down-scaling unit based on the foreground object mask, and a sixth filter.
  • Outputs a bokeh image by synthesizing signals from a third up-scaling unit for up-scaling the color image of the image, a fourth up-scaling unit for up-scaling the foreground object mask, and signals from the third up-scaling unit and the fourth up-scaling unit It may include a synthetic part.
  • the color camera and the IR camera are connected by a connecting member, and the connecting member may be flexible.
  • a camera device and an electronic device having the same separate a foreground area and a background area from a color camera, an IR camera, and an IR image from the IR camera, and separate the foreground area and the background area
  • a processor that filters the color image from the color camera based on it to generate a bokeh image of the color image. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the processor may generate a bokeh image of the color image by separating the foreground region and the background region from the IR image from the IR camera, and filtering the color image from the color camera based on the separated foreground region. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the processor may generate a foreground object mask based on the filtered color image, and a bokeh image of the color image based on the foreground object mask. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the processor may downscale the color image from the color camera and filter the downscaled color image based on the foreground area separated from the IR image. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the processor may downscale the color image from the color camera, upscale the filtered downscaled color image, and filter the downscaled color image based on the upscaled color image. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the processor may generate a foreground object mask based on the filtered down-scaled color image. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the processor down-scales the color image from the color camera, filters the down-scaled color image based on the foreground object mask, up-scales the filtered color image, and the foreground object mask, and up-scaled color
  • a bokeh image can be generated. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the foreground area includes a face area
  • the face area may be clearer than the background area. Accordingly, it is possible to easily generate a bokeh image with a clear face region and a background region.
  • the processor includes a foreground background separating unit separating the foreground region and the background region from the IR image from the IR camera, a foreground filter filtering the foreground region, a foreground purification unit purifying the filtered foreground region, and a background region. It may include a background filter to filter, and a background purification unit to refine the filtered background area. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the processor includes a downscaling unit for downscaling the color image from the color camera, a first filter for filtering the downscaled color image based on the foreground area separated from the IR image, and the color from the first filter
  • a boundary refiner for refining the boundary signal of the image and a second filter for filtering a signal from the boundary refiner may be included. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the processor is based on the second down-scaling unit for down-scaling the color image from the color camera, the up-scaling unit for up-scaling the signal from the second filter, and the second down-based signal from the up-scaling unit.
  • the processor may further include a second up-scaling unit for up-scaling the down-scaled color image from the fourth filter, and a fifth filter for filtering a signal from the second up-scaling unit and outputting a foreground object mask.
  • a second up-scaling unit for up-scaling the down-scaled color image from the fourth filter
  • a fifth filter for filtering a signal from the second up-scaling unit and outputting a foreground object mask.
  • the processor includes a third down-scaling unit for down-scaling the color image from the color camera, a sixth filter for filtering the color image from the third down-scaling unit based on the foreground object mask, and a sixth filter.
  • Outputs a bokeh image by synthesizing signals from a third up-scaling unit for up-scaling the color image of the image, a fourth up-scaling unit for up-scaling the foreground object mask, and signals from the third up-scaling unit and the fourth up-scaling unit It may include a synthetic part. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera using the IR image from the IR camera.
  • the color camera and the IR camera are connected by a connecting member, and the connecting member may be flexible. Accordingly, the degree of freedom in spatial design of the camera device or the electronic device on which the camera device is mounted can be improved.
  • 1A is a view showing the appearance of a camera device according to the present invention.
  • 1B is a view showing the appearance of a camera device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating various examples of an electronic device.
  • 3A is an internal cross-sectional view of the color camera and IR camera of FIG. 1B.
  • 3B is an internal block diagram of a camera device having the color camera and IR camera of FIG. 1B.
  • 4A to 5C are views referred to for explaining the operation of the camera device of FIG. 3B.
  • FIG. 6 is a flowchart illustrating a method of operating the camera device.
  • 7 to 10F are views referred to for explaining the operation method of FIG. 6.
  • FIG. 11 is a flowchart illustrating a method of operating a camera device according to an embodiment of the present invention.
  • FIG. 12 to 16C are views referred to for explaining the operation method of FIG. 11.
  • modules and “parts” for components used in the following description are given simply by considering the ease of writing the present specification, and do not give meanings or roles that are particularly important in themselves. Therefore, the “module” and the “unit” may be used interchangeably.
  • 1A is a view showing the appearance of a camera device according to the present invention.
  • the camera device 100m includes a color camera (CCmm), an IR camera (DCmm), a bracket (BRK) for fixing the color camera (CCmm) and an IR camera (DCmm), and a color camera (CCmm). It is exemplified to have an interface (CTam) and an interface (CTbm) of an IR camera (DCmm).
  • the camera device 100m according to FIG. 1A is a space of an electronic device in which the camera device 100m or the camera device 100m is mounted due to a bracket BRK for fixing a color camera (CCmm) and an IR camera (DCmm). Design may be limited.
  • 1B is a view showing the appearance of a camera device according to an embodiment of the present invention.
  • the camera device 100 includes a color camera (CCm), an IR camera (DCm), a color member (CCm) and an IR camera (DCm) connecting a connecting member (FLE), and a color camera (CCm) ) Is provided with the interface CTa and the interface CTb of the IR camera DCm.
  • connection member FLE connecting the color camera CCm and the IR camera DCm may be flexible. That is, unlike FIG. 1A, a bracket BRK may not be provided. Accordingly, due to the no-bracket, the degree of freedom in spatial design of the camera device 100 or the electronic device on which the camera device 100 is mounted may be improved.
  • the distance between the color camera (CCm) and the IR camera (DCm) may be irregularly varied, and in this case, calibration between the color image and the IR image is necessary. do.
  • the calibration between the color image and the IR image will be described with reference to FIG. 6 and below.
  • the camera device 100 according to the embodiment of the present invention as illustrated in FIG. 1B may be provided in various electronic devices.
  • FIG. 2 is a diagram illustrating various examples of an electronic device.
  • the camera device 100 according to an embodiment of the present invention as shown in Figure 1b, the mobile terminal 200, air conditioner 200a, robot cleaner 200b, refrigerator 200c, washing machine ( 200d), a TV 200e, a vehicle, and a drone.
  • the mobile terminal 200 is provided with a camera device 100.
  • 3A is an internal cross-sectional view of the color camera and IR camera of FIG. 1B.
  • the color camera CCm may include an aperture 194a, a lens device 193a, and an image sensor Imsa.
  • the aperture 194a can open and close the light incident to the lens device 193a.
  • the lens device 193a may include a plurality of lenses adjusted for variable focus.
  • the image sensor Imsa may include an RGb filter 915a and a sensor array 911a that converts an optical signal into an electrical signal to sense RGB color.
  • the image sensor Imsa may sense and output a color image.
  • the IR camera DCm may include an aperture 194b, a lens device 193b, and an image sensor Imsb.
  • the aperture 194b can open and close the light incident to the lens device 193b.
  • the lens device 193b may include a plurality of lenses adjusted for variable focus.
  • the image sensor Imsb may include an IR filter 915b and a sensor array 911b that converts an optical signal into an electrical signal to sense an IR image.
  • the image sensor Imsb can sense and output the IR image.
  • the color camera (CCm) it is possible to output a variety of color images in addition to the color image.
  • a W color image or an RGBY image may be output.
  • 3B is an internal block diagram of a camera device having the color camera and IR camera of FIG. 1B.
  • the camera device 100 includes a color camera (CCm), an IR camera (DCm), a processor 170, a sensor unit 130, a memory 140, a power supply unit 190, and an interface 150 It may be provided.
  • CCm color camera
  • DCm IR camera
  • processor 170 a processor 170
  • sensor unit 130 a sensor unit 130
  • memory 140 a memory 140
  • power supply unit 190 a power supply unit 190
  • an interface 150 It may be provided.
  • the color camera CCm may include a lens device 193a and an image sensor Imsa for outputting a color image.
  • the lens device 193a in the color camera CCm may receive incident incident light and may include a plurality of lenses adjusted for variable focus.
  • the exposure time of the image sensor Imsa may be adjusted based on an electrical signal.
  • the IR camera DCm may include a lens device 193b and an image sensor Imsb for outputting an IR image.
  • the lens device 193b in the IR camera DCm may receive an incident incident light and may include a plurality of lenses adjusted for variable focus.
  • the processor 170 may receive a color image based on an electrical signal from the image sensor Imsa in the color camera CCm. Alternatively, the processor 170 may generate a color image based on an electrical signal from the image sensor Imsa in the color camera CCm.
  • the processor 170 may receive an IR image based on an electrical signal from the image sensor Imsb in the IR camera DCm. Alternatively, the processor 170 may generate an IR image based on an electrical signal from the image sensor Imsb in the IR camera DCm.
  • the processor 170 calculates error information based on the difference between the color image from the color camera (CCm) and the IR image from the IR camera (DCm), and the color image and the IR image based on the calculated error information. By compensating at least one of them, a compensated color image or a compensated IR image may be output.
  • the processor 170 analyzes each feature point of the color image from the color camera (CCm) and the IR image from the IR camera, calculates 3D error information, and based on the calculated 3D error information, colors At least one of the image and the IR image may be compensated to output a compensated color image or a compensated IR image.
  • the processor 170 up-scales the IR image, calculates 3D error information between the upscaled IR image and the color image, and based on the calculated 3D error information, at least one of the color image and the IR image. By compensating one, a compensated color image or a compensated IR image can be output.
  • the processor 170 may output the compensated color image by matching the compensated and upscaled IR image to the color image based on the calculated 3D error information.
  • the processor 170 compares the luminance component of the color image (Imgr) and the luminance component of the IR image (Imgt), calculates error information, and calculates at least one of the color image and the IR image based on the calculated error information. By compensating one, a compensated color image or a compensated IR image can be output.
  • the sensor unit 130 may sense movement information or location information of the camera device 100.
  • the sensor unit 130 may include a GPS receiver or an inertial sensor (gyro sensor, acceleration sensor, etc.).
  • the memory 140 may store data for operation of the camera device 100 or a color image from a color camera (CCm), an IR image from an IR camera (DCm), or a compensated color image or IR image.
  • CCm color camera
  • DCm IR image from an IR camera
  • the interface 150 can be used for data transmission with other units in the camera device 100.
  • the power supply unit 190 may supply power for the operation of the camera device 100.
  • the power supply unit 190 converts DC power or AC power input to the outside, and converts the converted DC power to the processor 170, color camera (CCm), IR camera (DCm), and sensor unit 130 ), memory 140, interface 150, and the like.
  • 4A to 5C are views referred to for explaining the operation of the camera device of FIG. 3B.
  • FIG. 4A (a) due to the distortion between the color image (Lim) from the color camera (CCm) and the IR image (Rim) from the IR camera (DCm), to calibrate the IR image (Rim) Illustrate that.
  • FIG. 4A (a) illustrates an IR image R'im that compensates for the IR image Rim.
  • the compensated IR image (Rim) may be compensated based on at least one of three-dimensional transformation, three-dimensional shift, or three-dimensional rotation.
  • the three-dimensional rotation may be to include a yaw (yaw), pitch (pitch), roll (roll).
  • FIG. 4A (b) illustrates that the color image (Lim) and the compensated IR image (R'im) are constantly aligned. Accordingly, it is possible to output the compensated color image or the compensated IR image by matching the color image (Lim) and the compensated IR image (R'im).
  • 4B illustrates shooting the same pattern PAT using a color camera CCm and an IR camera DCm.
  • the difference between the color image (Img1) and the IR image (img2) may appear as a degree of distortion (H).
  • the processor 170 in order to minimize the difference between the color image (Img1) and the IR image (img2), the difference between the color image (Img1) and the IR image (img2) distortion (H), color image (Img1) ), the distortion information ([R1, T1]) such as rotation and deformation, and the distortion information ([R2, T2]) such as rotation and deformation of the IR image img2 can be calculated.
  • the processor 170 includes distortion information ([R1, T1]) such as the degree of distortion (H), rotation and deformation of the color image (Img1), and distortion information such as rotation and deformation of the IR image (img2) ([ R2,T2]), it is possible to output a compensated color image or a compensated IR image that reduces errors.
  • distortion information such as the degree of distortion (H), rotation and deformation of the color image (Img1)
  • img2 distortion information such as rotation and deformation of the IR image
  • FIG. 5A illustrates the color image 510 from the color camera (CCm) of the camera device 100 and the IR image 515 from the IR camera (DCm).
  • the resolution of the color image 510 may be higher than that of the IR image 515.
  • the processor 170 may up-scale the IR image.
  • the processor 170 may up-scale the IR image and down-scale the color image.
  • 5B illustrates a down scaled color image 520 and an up scaled IR image 525.
  • blurring may occur according to a pattern included in the IR image.
  • 5C illustrates an IR image IArm in which one area Arm of the white and black square grid pattern PATm is photographed.
  • blurring may occur in the black and white boundary areas EGa and EGb, and this phenomenon becomes more pronounced when the IR image is upscaled.
  • the pattern used may be a circular grid pattern as shown in FIG. 7 instead of a square grid pattern.
  • a circular grid pattern of multiple sizes may be preferable.
  • FIG. 6 is a flowchart illustrating a method of operating the camera device
  • FIGS. 7 to 10F are views referred to for describing the method of operation of FIG. 6.
  • the processor 170 in the camera device 100 acquires a color image from the color camera CCm (S610).
  • the processor 170 in the camera device 100 acquires an IR image from the IR camera DCm (S615).
  • the acquired color image and the IR image may be images captured for the same pattern or subject.
  • a color image and an IR image of a circular grid pattern PAT having a plurality of sizes as shown in FIG. 7 may be obtained at a first time point.
  • the first size circular patterns Ba and Bb are disposed at the center thereof, and around the first size circular patterns Ba and Bb. It is illustrated that circular patterns Bc and Bd of the second size are arranged.
  • the circular pattern may be black or color, and the background around the circular pattern may be white.
  • FIG. 8A shows a top view of a color camera (CCm) and an IR camera (DCm) for photographing a plurality of circular lattice patterns (PAT), and FIG. 8B illustrates a circular lattice pattern (PAT) of multiple sizes.
  • a side view of a color camera (CCm) and an IR camera (DCm) is photographed.
  • the color cameras CCm and the IR cameras DCm which are arranged to be spaced apart at regular intervals, are from the color camera CCm for a circular grid pattern PAT of a plurality of sizes.
  • a color image (Imgr) and an IR image (Imgt) from the IR camera (DCm) can be obtained.
  • the processor 170 may perform up scaling or the like of the IR image Immgt.
  • the processor 170 in the camera device 100 may analyze each feature point of the color image and the IR image to calculate 3D error information (S670).
  • the processor 170 in the camera device 100 may output a compensated color image or a compensated IR image based on the calculated 3D error information (S680).
  • the processor 170 calculates error information based on the difference between the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm, and is based on the calculated error information.
  • a compensated color image or a compensated IR image may be output. Accordingly, it is possible to quickly and accurately compensate for the difference between the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm.
  • the processor 170 analyzes each feature point of the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm, calculates 3D error information, and calculates Based on the 3D error information, at least one of the color image Imgr and the IR image Imgt may be compensated to output the compensated color image 540 or the compensated IR image Imgt.
  • the processor 170 up-scales the IR image Imgt, calculates 3D error information between the upscaled IR image Imgt and the color image Imgr, and is based on the calculated 3D error information.
  • at least one of the color image (Imgr) and the IR image (Imgt) may be compensated to output a compensated color image or a compensated IR image. Accordingly, it is possible to quickly and accurately compensate for the difference between the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm.
  • the 3D error information includes relative rotation information between a color image (Imgr) and an IR image (Imgt), and relative translation information or relative shift information. can do. Accordingly, the color image (Imgr) and the IR camera from the color camera (CCm), based on the relative rotation information (Relative Rotation information), relative transformation information (Relative Translation information) or relative shift information (Relative Shift information) It is possible to quickly and accurately compensate for the difference in the IR image (Imgt) from DCm).
  • the processor 170 may output a compensated color image by matching the compensated and upscaled IR image Immgt to the color image Imgr based on the calculated 3D error information. Accordingly, it is possible to quickly and accurately compensate for the difference between the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm.
  • the processor 170 compares the luminance component of the color image (Imgr) with the luminance component of the IR image (Imgt), calculates error information, and based on the calculated error information, the color image (Imgr) and IR At least one of the images Imgt may be compensated to output a compensated color image or a compensated IR image. Accordingly, it is possible to quickly and accurately compensate for the difference between the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm.
  • FIG. 9 is a diagram showing an example of an internal block diagram in the processor 170.
  • the processor 170 includes a feature point analysis unit 910 for analyzing each feature point of the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm, Based on each feature point information analyzed by the feature point analysis unit 910, an external variable operation unit 920 for calculating external variables, and an error operation unit 930 for calculating 3D error information based on the calculated external variables. , May include an error correction unit 940 that corrects the error based on the 3D error information. Accordingly, it is possible to quickly and accurately compensate for the difference between the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm.
  • 10A illustrates the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm input to the feature point analyzer 910.
  • the feature point analysis unit 910 detects the pattern or reference point from the color image (Imgr) from the color camera (CCm) and the IR image (Imgt) from the IR camera (DCm), respectively, and the detected pattern or reference point Based on this, the direction vector can be calculated.
  • the feature point analysis unit 910 may detect the original pattern from the color image Imgr and the IR image Imgt, and detect a reference point among the original patterns.
  • the feature point analysis unit 910 may calculate a direction vector based on the detected original pattern or reference point.
  • the feature point analysis unit 910 may perform feature point analysis based on the detected original pattern, reference point, or direction vector. That is, the feature point may be a concept including a circle pattern, a reference point or a direction vector.
  • the external variable calculating unit 920 calculates rotation information, transformation information, or transition information of each of the color image Imgr and the IR image Imgt based on the feature point information analyzed by the feature point analysis unit 910. can do.
  • the external variable calculator 920 may calculate the homography of the color image Imgr and the IR image Immgt.
  • the external variable calculator 920 may calculate rotation information, deformation information, or transition information of each of the color image Imgr and the IR image Imgt based on the calculated homography.
  • the error calculation unit 930 the relative rotation between the color image (Imgr) and the IR image (Imgt), based on the rotation information of each of the color image (Imgr) and the IR image (Imgt), and deformation information or transition information Information (Relative Rotation information) and relative transformation information (Relative Translation information) or relative transition information (Relative Shift information) may be calculated.
  • deformation information or transition information Information Relative Rotation information
  • relative transformation information Relative Translation information
  • Relative Shift information relative transition information
  • the error calculating unit 930 may calculate a reprojection error based on the color image Imgr and the IR image Imgt.
  • 10B illustrates calculating the reprojection error based on the color image Imgr and the compensated IR image I'mgt.
  • the re-projection error information may include the above-described relative rotation information and relative translation information or relative shift information.
  • the error correction unit 940 may output a compensated color image by matching the compensated and upscaled IR image Immgt to the color image Imgr based on the calculated 3D error information. Accordingly, it is possible to quickly and accurately compensate for the difference between the color image Imgr from the color camera CCm and the IR image Imgt from the IR camera DCm.
  • the error correction unit 940 may output a compensated color image or a compensated IR image based on the calculated 3D error information.
  • 10C illustrates the compensated IR image (Imgev).
  • 10D illustrates another color image and a different IR image.
  • the processor 170 may receive the color image 510 from the color camera CCm of the camera device 100 and the IR image 515 from the IR camera DCm.
  • the resolution of the color image 510 may be higher than that of the IR image 515.
  • the processor 170 may down-scale the color image 510 and up-scale the IR image 515.
  • 10E illustrates a down scaled color image 520 and an up scaled IR image 525.
  • the processor 170 may perform matching by using the down-scaled color image 520 and the up-scaled IR image 525.
  • the processor 170 may match the upscaled IR image 525 to the downscaled color image 520. Then, the processor 170 may calculate error information based on the difference.
  • the processor 170 may analyze each feature point and calculate 3D error information based on the upscaled IR image 525 on the downscaled color image 520.
  • the processor 170 analyzes each feature point based on the up-scaled IR image 525 on the down-scaled color image 520, and the relative between the color image Imgr and the IR image Imgt Three-dimensional error information, such as relative rotation information and relative translation information or relative shift information, may be calculated.
  • the processor 170 may output a compensated color image or a compensated IR image based on the calculated 3D error information.
  • 10F illustrates the compensated color image 540. Unlike the drawing, it is also possible to output the compensated IR image.
  • a method of generating a bokeh image by combining a color image obtained from a color camera and an IR image obtained from an IR camera is proposed.
  • a method for generating a bokeh image with a clear foreground and a blurred background is proposed. This will be described with reference to FIG. 11 and below.
  • FIG. 11 is a flowchart illustrating an operation method of a camera device according to an embodiment of the present invention
  • FIGS. 12 to 16C are views referred to for describing the operation method of FIG. 11.
  • the processor 170 in the camera device 100 acquires a color image from a color camera (CCm) (S1110).
  • the processor 170 in the camera device 100 acquires an IR image from the IR camera DCm (S1115).
  • the acquired color image and the IR image may be images captured for the same pattern or subject.
  • a color image and an IR image of a circular grid pattern PAT having a plurality of sizes as shown in FIG. 7 may be obtained at a first time point.
  • a color image and an IR image including a common face region may be obtained.
  • the processor 170 in the camera device 100 may separate and refine the foreground area and the background area from the IR image from the IR camera DCm (S1120).
  • the processor 170 in the camera device 100 may filter the color image based on the refined foreground signal (S1125).
  • the processor 170 in the camera device 100 may generate a foreground object mask based on the filtered color image (S1130).
  • the processor 170 in the camera device 100 may generate a bokeh image of a color image based on the foreground object mask (S1130).
  • the foreground area may include a face area, and in the bokeh image, the face area may be clearer than the background area. That is, the background area is blurred, and the face area can be more vivid.
  • the processor 170 separates the foreground area and the background area from the IR image from the IR camera DCm, and filters the color image from the color camera CCm based on the separated foreground area, thereby obtaining a color image.
  • the processor 170 may generate a foreground object mask based on the filtered color image and a bokeh image of the color image based on the foreground object mask. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera (CCm) using the IR image from the IR camera (DCm).
  • the processor 170 may down-scale the color image from the color camera (CCm) and filter the down-scaled color image based on the foreground area separated from the IR image. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera (CCm) using the IR image from the IR camera (DCm).
  • the processor 170 downscales the color image from the color camera (CCm), upscales the filtered downscaled color image, and filters the downscaled color image based on the upscaled color image.
  • the processor 170 downscales the color image from the color camera (CCm), upscales the filtered downscaled color image, and filters the downscaled color image based on the upscaled color image.
  • the processor 170 may generate a foreground object mask based on the filtered down-scaled color image. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera (CCm) using the IR image from the IR camera (DCm).
  • the processor 170 down-scales the color image from the color camera (CCm), filters the down-scaled color image based on the foreground object mask, and up-scales the filtered color image and the foreground object mask. Then, the up-scaled color image and the up-scaled power object mask may be synthesized to generate a bokeh image. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera (CCm) using the IR image from the IR camera (DCm).
  • FIG. 12 is a view showing that signal processing is performed by separating a foreground and a background from an IR image.
  • the processor 170 includes a foreground background separator 1210 for separating the foreground area and the background area from the IR image from the IR camera DCm, and a foreground filter 1213 for filtering the foreground area. It may include a foreground refiner 1223 that refines the filtered foreground area, a background filter 1216 that filters the background area, and a background refiner 1226 that refines the filtered background area.
  • the processor 170 may output a foreground region and a background region separated and refined from the IR image from the IR camera DCm.
  • the foreground filter 1213 and the background filter 1216 may perform median filtering to remove the noise signal of the background signal for removing the noise signals of the separated foreground region and the background region.
  • the foreground refinement unit 1223 and the background refinement unit 1226 may perform boundary signal refinement through the process of filling the hole regions of the separated foreground region and the background region.
  • FIG. 13A illustrates the IR image 1310 input to the foreground background separator 1210 of FIG. 12.
  • FIG. 13B illustrates the foreground region 1315 separated from the foreground background separator 1210.
  • 13C illustrates the foreground area 1320 filtered by the foreground filter 1213.
  • 13D illustrates a foreground region 1325 refined by a boundary region in the foreground purification unit 1223.
  • 14A to 14C are views referenced for the generation of a foreground object mask.
  • the processor 170 down-scales a color image from a color camera (CCm) based on a downscaling unit 1402 and a foreground region separated from the IR image, and the down-scaled color
  • a first filter 1404 for filtering the image, a boundary refiner 1406 for refining the boundary signal of the color image from the first filter 1404, and a second for filtering the signal from the boundary refiner 1406 Filter 1406 may be included.
  • the down scaling unit 1402 may down scale the color image from the color camera CCm to compensate for a difference in resolution from the IR image.
  • the first filter 1404 performs guided filtering based on the foreground area from the foreground refinement unit 1223 of FIG. 12 and the downscaled color image from the downscaling unit 1402. can do.
  • the boundary refiner 1406 may refine the boundary signal of the color image from the first filter 1404, and the second filter 1406 may filter the signal from the boundary refiner 1406.
  • the second filter 1406 may perform median filtering for removing unnecessary noise signals and output the filtered signal Imgk.
  • the filtered signal Imgk may correspond to the foreground area.
  • the processor 170 transmits a signal Imgk from the second downscaling unit 1411 and the second filter 1406 that downscales the color image from the color camera CCm.
  • the up-scaling unit 1412 up-scaling, and the third filter 1414 and the third filter 1414 filtering the second down-scaled color image based on the signal from the up-scaling unit 1412.
  • a second boundary refiner 1416 for refining the boundary signal of the color image and a fourth filter 1418 for filtering a signal from the second boundary refiner 1416 may be further included.
  • the second down scaling unit 1411 may down scale the color image from the color camera CCm to compensate for a difference in resolution from the IR image.
  • the up-scaling unit 1412 can up-scale the signal Imgk from the second filter 1406. In particular, for comparison with a color image, the foreground area can be upscaled.
  • the third filter 1414 performs guided filtering based on the foreground region from the upscaling unit 1412 and the downscaled color image from the second downscaling unit 1411. Can.
  • the second boundary refiner 1416 refines the boundary signal of the color image from the third filter 1414, and the fourth filter 1418 filters the signal from the second boundary refiner 1416. can do.
  • the fourth filter 1418 may perform median filtering for removing unnecessary noise signals and output the filtered signal Imgl.
  • the filtered signal Imgl may correspond to the foreground region.
  • the processor 170 includes a second up-scaling unit 1422 up-scaling the down-scaled color image from the fourth filter 1418 and a second up-scaling unit 1422.
  • a fifth filter 1428 that filters the signal of and outputs a foreground object mask may be further included.
  • the second up-scaling unit 1422 can up-scale the signal Imgl from the fourth filter 1418.
  • the fifth filter 1428 may perform Gaussian filtering on the foreground region from the second up-scaling unit 1422. Accordingly, the fifth filter 1428 may generate and output a foreground object mask.
  • 15A illustrates a color image 1510 from a color camera (CCm).
  • FIG. 15B illustrates the foreground region 1515 in which the boundary region is refined in the foreground refinement unit 1223 of FIG. 12.
  • the foreground region 1515 from which noise is removed is extracted.
  • 15C illustrates the foreground area 1520 filtered by the second filter 1408 of FIG. 14A.
  • FIG. 15D illustrates the foreground region 1525 filtered by the fourth filter 1418 of FIG. 14B.
  • FIG. 15E illustrates the foreground region 1530 filtered by the fifth filter 1428 of FIG. 14C.
  • a clear foreground object mask 1530 can be generated and output.
  • the processor 170 may include a third down-scaling unit 1432 that down-scales a color image from a color camera (CCm), and a third down-scaling unit (based on the foreground object mask).
  • An upscaling unit 1437, a third upscaling unit 1435 and a fourth upscaling unit 1437 may include a synthesis unit 1439 that outputs a bokeh image. Accordingly, it is possible to simply generate a bokeh image for the color image from the color camera (CCm) using the IR image from the IR camera (DCm).
  • the third down scaling unit 1432 may down scale the color image from the color camera CCm to compensate for a difference in resolution from the IR image.
  • FIG. 16B illustrates a color image 1510 from a color camera (CCm).
  • FIG. 16B illustrates a color image 1510 including a foreground area Fra including a face area and a background area Bka.
  • the sixth filter 1434 performs adaptive bilateral filtering on the color image from the third down-scaling unit 1432 based on the color image from the third down-scaling unit 1432 and the foreground object mask. can do.
  • the sixth filter 1434 can apply a bokeh effect to areas other than the foreground object mask. That is, the foreground area is clear and the background area can output a blurry color image.
  • the third up-scaling unit 1435 may up-scale the color image from the sixth filter 1434, and the fourth up-scaling unit 1437 may up-scale the foreground object mask.
  • the synthesis unit 1439 may synthesize the signals from the third up-scaling unit 1435 and the fourth up-scaling unit 1417, and output a bokeh image 1550 as shown in FIG. 16C. Accordingly, the foreground area (Frb) including the face area is clear, and the background area (Bkb) can output a blurry color image.
  • the background area is out-focused, and the bokeh image 1550 in which the foreground area is focused can be generated simply and accurately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라 장치에 관한 것이다. 본 발명의 일 실시예에 따른 카메라 장치 및 이를 구비하는 전자 장치는, 색상 카메라와, IR 카메라와, IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고, 분리된 전경 영역 또는 배경 영역에 기초하여 색상 카메라로부터의 색상 이미지를 필터링하여, 색상 이미지의 보케 이미지를 생성하는 프로세서를 포함한다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.

Description

카메라 장치 및 이를 구비하는 전자 장치
본 발명은 카메라 장치 및 이를 구비하는 전자 장치에 관한 것이며, 더욱 상세하게는 IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있는 카메라 장치 및 이를 구비하는 전자 장치에 관한 것이다.
카메라 장치는, 이미지를 촬영하기 위한 장치이다. 최근, 카메라가, 다양한 전자 장치에 채용되는 추세이다.
한편, 카메라 장치는, 복수의 카메라를 구비할 수 있다.
예를 들어, 카메라 장치는, 색상 카메라 2개를 구비하거나, 색상 카메라 1개와 IR 카메라 1개를 구비할 수 있다.
한편, 카메라 장치가 색상 카메라와 IR 카메라를 구비하는 경우, 색상 카메라로부터 획득한 색상 이미지와, IR 카메라로부터 획득한 IR 이미지를 조합하여, 다양한 효과를 구현하는 것이 가능하다.
본 발명의 목적은, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있는 카메라 장치 및 이를 구비하는 전자 장치를 제공함에 있다.
본 발명의 다른 목적은, 색상 카메라와 IR 카메라에 브라켓이 구비되지 않는 카메라 장치 및 이를 구비하는 전자 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 카메라 장치 및 이를 구비하는 전자 장치는, 색상 카메라와, IR 카메라와, IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고, 분리된 전경 영역 또는 배경 영역에 기초하여 색상 카메라로부터의 색상 이미지를 필터링하여, 색상 이미지의 보케 이미지를 생성하는 프로세서를 포함한다.
한편, 프로세서는, IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고, 분리된 전경 영역에 기초하여, 색상 카메라로부터의 색상 이미지를 필터링하여, 색상 이미지의 보케 이미지를 생성할 수 있다.
한편, 프로세서는, 필터링된 색상 이미지에 기초하여 전경 오브젝트 마스크를 생성하고, 전경 오브젝트 마스크에 기초하여 색상 이미지의 보케 이미지를 생성할 수 있다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, IR 이미지로부터 분리된 전경 영역에 기초하여, 다운 스케일링된 색상 이미지를 필터링할 수 있다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, 필터링된 다운 스케일링 색상 이미지를 업 스케일링하고, 업 스케일링된 색상 이미지에 기초하여, 다운 스케일링된 색상 이미지를 필터링할 수 있다.
한편, 프로세서는, 필터링된 다운 스케일링된 색상 이미지에 기초하여, 전경 오브젝트 마스크를 생성할 수 있다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, 전경 오브젝트 마스크에 기초하여, 다운 스케일링된 색상 이미지를 필터링하며, 필터링된 색상 이미지와, 전경 오브젝트 마스크를 업 스케일링하고, 업 스케일링된 색상 이미지와 업 스케일링된 전력 오브젝트 마스크를 합성하여, 보케 이미지를 생성할 수 있다.
한편, 전경 영역은 얼굴 영역을 포함하며, 보케 이미지는, 얼굴 영역이, 배경 영역 보다 선명할 수 있다.
한편, 프로세서는, IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하는 전경 배경 분리부와, 전경 영역을 필터링하는 전경 필터와, 필터링된 전경 영역을 정제하는 전경 정제부와, 배경 영역을 필터링하는 배경 필터와, 필터링된 배경 영역을 정제하는 배경 정제부를 포함할 수 있다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 다운 스케일링부와, IR 이미지로부터 분리된 전경 영역에 기초하여, 다운 스케일링된 색상 이미지를 필터링하는 제1 필터와, 제1 필터로부터의 색상 이미지의 경계 신호를 정제하는 경계 정제부와, 경계 정제부로부터의 신호를 필터링하는 제2 필터를 포함할 수 있다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 제2 다운 스케일링부와, 제2 필터로부터의 신호를 업 스케일링하는 업 스케일링부와, 업 스케일링부로부터의 신호에 기초하여, 제2 다운 스케일링된 색상 이미지를 필터링하는 제3 필터와, 제3 필터로부터의 색상 이미지의 경계 신호를 정제하는 제2 경계 정제부와, 제2 경계 정제부로부터의 신호를 필터링하는 제4 필터를 더 포함할 수 있다.
한편, 프로세서는, 제4 필터로부터의 다운 스케일링된 색상 이미지를 업 스케일링하는 제2 업 스케일링부와, 제2 업 스케일링부로부터의 신호를 필터링하여 전경 오브젝트 마스크를 출력하는 제5 필터를 더 포함할 수 있다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 제3 다운 스케일링부와, 전경 오브젝트 마스크에 기초하여, 제3 다운 스케일링부로부터의 색상 이미지를 필터링하는 제6 필터와, 제6 필터로부터의 색상 이미지를 업 스케일링하는 제3 업 스케일링부와, 전경 오브젝트 마스크를 업 스케일링하는 제4 업 스케일링부와, 제3 업 스케일링부와 제4 업 스케일링부로부터의 신호를 합성하여, 보케 이미지를 출력하는 합성부를 포함할 수 있다.
한편, 색상 카메라와 IR 카메라는 연결 부재에 의해 연결되며, 연결 부재는, 플렉서블할 수 있다.
본 발명의 일 실시예에 따른 카메라 장치 및 이를 구비하는 전자 장치는, 색상 카메라와, IR 카메라와, IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고, 분리된 전경 영역 또는 배경 영역에 기초하여 색상 카메라로부터의 색상 이미지를 필터링하여, 색상 이미지의 보케 이미지를 생성하는 프로세서를 포함한다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고, 분리된 전경 영역에 기초하여, 색상 카메라로부터의 색상 이미지를 필터링하여, 색상 이미지의 보케 이미지를 생성할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 필터링된 색상 이미지에 기초하여 전경 오브젝트 마스크를 생성하고, 전경 오브젝트 마스크에 기초하여 색상 이미지의 보케 이미지를 생성할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, IR 이미지로부터 분리된 전경 영역에 기초하여, 다운 스케일링된 색상 이미지를 필터링할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, 필터링된 다운 스케일링 색상 이미지를 업 스케일링하고, 업 스케일링된 색상 이미지에 기초하여, 다운 스케일링된 색상 이미지를 필터링할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 필터링된 다운 스케일링된 색상 이미지에 기초하여, 전경 오브젝트 마스크를 생성할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, 전경 오브젝트 마스크에 기초하여, 다운 스케일링된 색상 이미지를 필터링하며, 필터링된 색상 이미지와, 전경 오브젝트 마스크를 업 스케일링하고, 업 스케일링된 색상 이미지와 업 스케일링된 전력 오브젝트 마스크를 합성하여, 보케 이미지를 생성할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 전경 영역은 얼굴 영역을 포함하며, 보케 이미지는, 얼굴 영역이, 배경 영역 보다 선명할 수 있다. 이에 따라, 얼굴 영역이 선명하게 배경 영역이 흐릇한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하는 전경 배경 분리부와, 전경 영역을 필터링하는 전경 필터와, 필터링된 전경 영역을 정제하는 전경 정제부와, 배경 영역을 필터링하는 배경 필터와, 필터링된 배경 영역을 정제하는 배경 정제부를 포함할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 다운 스케일링부와, IR 이미지로부터 분리된 전경 영역에 기초하여, 다운 스케일링된 색상 이미지를 필터링하는 제1 필터와, 제1 필터로부터의 색상 이미지의 경계 신호를 정제하는 경계 정제부와, 경계 정제부로부터의 신호를 필터링하는 제2 필터를 포함할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 제2 다운 스케일링부와, 제2 필터로부터의 신호를 업 스케일링하는 업 스케일링부와, 업 스케일링부로부터의 신호에 기초하여, 제2 다운 스케일링된 색상 이미지를 필터링하는 제3 필터와, 제3 필터로부터의 색상 이미지의 경계 신호를 정제하는 제2 경계 정제부와, 제2 경계 정제부로부터의 신호를 필터링하는 제4 필터를 더 포함할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 제4 필터로부터의 다운 스케일링된 색상 이미지를 업 스케일링하는 제2 업 스케일링부와, 제2 업 스케일링부로부터의 신호를 필터링하여 전경 오브젝트 마스크를 출력하는 제5 필터를 더 포함할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서는, 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 제3 다운 스케일링부와, 전경 오브젝트 마스크에 기초하여, 제3 다운 스케일링부로부터의 색상 이미지를 필터링하는 제6 필터와, 제6 필터로부터의 색상 이미지를 업 스케일링하는 제3 업 스케일링부와, 전경 오브젝트 마스크를 업 스케일링하는 제4 업 스케일링부와, 제3 업 스케일링부와 제4 업 스케일링부로부터의 신호를 합성하여, 보케 이미지를 출력하는 합성부를 포함할 수 있다. 이에 따라, IR 카메라로부터의 IR 이미지를 이용하여 색상 카메라로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 색상 카메라와 IR 카메라는 연결 부재에 의해 연결되며, 연결 부재는, 플렉서블할 수 있다. 이에 따라, 카메라 장치 또는 카메라 장치가 장착되는 전자 장치의 공간 설계의 자유도가 향상될 수 있다.
도 1a은 본 발명과 관련한 카메라 장치의 외관을 도시한 도면이다.
도 1b는 본 발명의 일 실시예에 따른 카메라 장치의 외관을 도시한 도면이다.
도 2는 전자 장치의 다양한 예를 설명하는 도면이다.
도 3a는 도 1b의 색상 카메라와 IR 카메라의 내부 단면도이다.
도 3b는 도 1b의 색상 카메라와 IR 카메라를 구비하는 카메라 장치의 내부 블록도이다.
도 4a 내지 도 5c는 도 3b의 카메라 장치의 동작 설명에 참조되는 도면이다.
도 6은 카메라 장치의 동작 방법을 도시한 순서도이다.
도 7 내지 도 10f는 도 6의 동작 방법 설명에 참조되는 도면이다.
도 11은 본 발명의 실시예에 따른 카메라 장치의 동작 방법을 도시한 순서도이다.
도 12 내지 도 16c는 도 11의 동작 방법 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1a은 본 발명과 관련한 카메라 장치의 외관을 도시한 도면이다.
도면을 참조하면, 카메라 장치(100m)는, 색상 카메라(CCmm)와, IR 카메라(DCmm)와, 색상 카메라(CCmm)와 IR 카메라(DCmm)를 고정하는 브라켓(BRK), 색상 카메라(CCmm)의 인터페이스(CTam)와 IR 카메라(DCmm)의 인터페이스(CTbm)를 구비하는 것을 예시한다.
도 1a에 따른 카메라 장치(100m)는, 색상 카메라(CCmm)와 IR 카메라(DCmm)를 고정하는 브라켓(BRK)으로 인하여, 카메라 장치(100m) 또는 카메라 장치(100m)가 장착되는 전자 장치의 공간 설계에 제약이 있을 수 있다.
도 1b는 본 발명의 일 실시예에 따른 카메라 장치의 외관을 도시한 도면이다.
도면을 참조하면, 카메라 장치(100)는, 색상 카메라(CCm)와, IR 카메라(DCm)와, 색상 카메라(CCm)와 IR 카메라(DCm)를 연결하는 연결 부재(FLE), 색상 카메라(CCm)의 인터페이스(CTa)와 IR 카메라(DCm)의 인터페이스(CTb)를 구비하는 것을 예시한다.
한편, 색상 카메라(CCm)와 IR 카메라(DCm)를 연결하는 연결 부재(FLE)는, 플렉서블할 수 있다. 즉, 도 1a와 달리, 브라켓(BRK)이 구비되지 않을 수 있다. 이에 따라, 노 브라켓(braket)으로 인하여, 카메라 장치(100) 또는 카메라 장치(100)가 장착되는 전자 장치의 공간 설계의 자유도가 향상될 수 있다.
한편, 도 1b의 카메라 장치(100)에 따르면, 색상 카메라(CCm)와 IR 카메라(DCm) 사이의 간격 등이 불규칙적으로 가변될 수 있으며, 이러한 경우, 색상 이미지와 IR 이미지 사이의 캘리브레이션이 필요하게 된다. 색상 이미지와 IR 이미지 사이의 캘리브레이션에 대해서는, 도 6 이하를 참조하여 기술한다.
한편, 도 1b와 같은 본 발명의 실시예에 따른 카메라 장치(100)는, 다양한 전자 장치에 구비될 수 있다.
도 2는 전자 장치의 다양한 예를 설명하는 도면이다.
도 2를 참조하면, 도 1b와 같은 본 발명의 실시예에 따른 카메라 장치(100)는, 이동 단말기(200), 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 세탁기(200d), TV(200e), 차량, 드론 등의 다양한 전자 장치에 채용될 수 있다.
이하에서는, 이동 단말기(200)에, 카메라 장치(100)가 구비되는 것을 중심으로 기술한다.
도 3a는 도 1b의 색상 카메라와 IR 카메라의 내부 단면도이다.
도면을 참조하면, 색상 카메라(CCm)는, 조리개(194a), 렌즈 장치(193a), 이미지 센서(Imsa)를 구비할 수 있다.
조리개(194a)는, 렌즈 장치(193a)로 입사되는 광을 개폐할 수 있다.
렌즈 장치(193a)는, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.
이미지 센서(Imsa)는, RGB 색상을 센싱하기 위해, RGb 필터(915a)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911a)를 구비할 수 있다.
이에 따라, 이미지 센서(Imsa)는, 색상 이미지를 센싱하여, 출력할 수 있다.
IR 카메라(DCm)는, 조리개(194b), 렌즈 장치(193b), 이미지 센서(Imsb)를 구비할 수 있다.
조리개(194b)는, 렌즈 장치(193b)로 입사되는 광을 개폐할 수 있다.
렌즈 장치(193b)는, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.
이미지 센서(Imsb)는, IR 이미지를 센싱하기 위해, IR 필터(915b)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911b)를 구비할 수 있다.
이에 따라, 이미지 센서(Imsb)는, IR 이미지를 센싱하여, 출력할 수 있다.
한편, 색상 카메라(CCm)는, 색상 이미지 외에 다양한 색상 이미지를 출력하는 것이 가능하다. 예를 들어, W색상 이미지 또는 RGBY 이미지 등을 출력할 수도 있다.
도 3b는 도 1b의 색상 카메라와 IR 카메라를 구비하는 카메라 장치의 내부 블록도이다.
도면을 참조하면, 카메라 장치(100)는, 색상 카메라(CCm), IR 카메라(DCm), 프로세서(170), 센서부(130), 메모리(140), 전원공급부(190), 인터페이스(150)를 구비할 수 있다.
색상 카메라(CCm)는, 색상 이미지 출력을 위해, 렌즈 장치(193a), 이미지 센서(Imsa)를 구비할 수 있다.
색상 카메라(CCm) 내의 렌즈 장치(193a)는, 입사되는 입사광을 수신하며, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.
한편, 이미지 센서(Imsa)는, 전기 신호에 기초하여, 노출 시간이 조절될 수 있다.
IR 카메라(DCm)는, IR 이미지 출력을 위해, 렌즈 장치(193b), 이미지 센서(Imsb)를 구비할 수 있다.
IR 카메라(DCm) 내의 렌즈 장치(193b)는, 입사되는 입사광을 수신하며, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.
한편, 프로세서(170)는, 색상 카메라(CCm) 내의 이미지 센서(Imsa)로부터의 전기 신호에 기초한, 색상 이미지를 수신할 수 있다. 또는, 프로세서(170)는, 색상 카메라(CCm) 내의 이미지 센서(Imsa)로부터의 전기 신호에 기초하여 색상 이미지를 생성할 수 있다.
한편, 프로세서(170)는, IR 카메라(DCm) 내의 이미지 센서(Imsb)로부터의 전기 신호에 기초한, IR 이미지를 수신할 수 있다. 또는, 프로세서(170)는, IR 카메라(DCm) 내의 이미지 센서(Imsb)로부터의 전기 신호에 기초하여 IR 이미지를 생성할 수 있다.
한편, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지와 IR 카메라(DCm)로부터의 IR 이미지의 차이에 기초하여 오차 정보를 연산하고, 연산된 오차 정보에 기초하여 색상 이미지와 IR 이미지 중 적어도 하나를 보상하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
한편, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지와 IR 카메라로부터의 IR 이미지의 각 특징점을 분석하여, 3차원 오차 정보를 연산하고, 연산된 3차원 오차 정보에 기초하여, 색상 이미지와 IR 이미지 중 적어도 하나를 보상하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
한편, 프로세서(170)는, IR 이미지를 업 스케일링하고, 업 스케일링된 IR 이미지와 색상 이미지 사이의 3차원 오차 정보를 연산하고, 연산된 3차원 오차 정보에 기초하여, 색상 이미지와 IR 이미지 중 적어도 하나를 보상하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
한편, 프로세서(170)는, 연산된 3차원 오차 정보에 기초하여, 보상되고 업스케일링된 IR 이미지를 색상 이미지에 매칭하여, 보상된 색상 이미지를 출력할 수 있다.
한편, 프로세서(170)는, 색상 이미지(Imgr)의 휘도 성분과, IR 이미지(Imgt)의 휘도 성분을 비교하여, 오차 정보를 연산하고, 연산된 오차 정보에 기초하여 색상 이미지와 IR 이미지 중 적어도 하나를 보상하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
센서부(130)는, 카메라 장치(100)의 이동 정보 또는 위치 정보 등을 센싱할 수 있다. 이를 위해, 센서부(130)는, GPS 수신부, 또는 관성 센서(자이로 센서, 가속도 센서 등) 등을 구비할 수 있다.
메모리(140)는, 카메라 장치(100)의 동작을 위한 데이터 또는 색상 카메라(CCm)로부터의 색상 이미지, IR 카메라(DCm)로부터의 IR 이미지 또는 보상된 색상 이미지 또는 IR 이미지를 저장할 수 있다.
인터페이스(150)는, 카메라 장치(100) 내의 다른 유닛과의 데이터 전송을 위해 사용될 수 있다.
전원공급부(190)는, 카메라 장치(100)의 동작을 위한 전원을 공급할 수 있다.
예를 들어, 전원공급부(190)는, 외부로 입력되는 직류 전원 또는 교류 전원을 변환하여, 변환된 직류 전원을 프로세서(170), 색상 카메라(CCm), IR 카메라(DCm), 센서부(130), 메모리(140), 인터페이스(150) 등에 공급할 수 있다.
도 4a 내지 도 5c는 도 3b의 카메라 장치의 동작 설명에 참조되는 도면이다.
먼저, 도 4a의 (a)는, 색상 카메라(CCm)로부터의 색상 이미지(Lim)와, IR 카메라(DCm)로부터의 IR 이미지(Rim) 사이의 틀어짐으로 인하여, IR 이미지(Rim)를 캘리브레이션하는 것을 예시한다. 구체적으로, 도 4a의 (a)는, IR 이미지(Rim)를 보상한 IR 이미지(R'im)를 예시한다.
보상한 IR 이미지(Rim)는, 3차원 변형(translation), 3차원 천이(shift), 또는 3차원 회전(rotation) 중 적어도 하나에 기초하여 보상된 것일 수 있다.
여기서, 3차원 회전(rotation)은, 요(yaw), 피치(pitch), 롤(roll)을 포함하는 것일 수 있다.
다음, 도 4a의 (b)는, 색상 이미지(Lim)와, 보상된 IR 이미지(R'im)가 일정하게 정렬된 것을 예시한다. 이에 따라, 색상 이미지(Lim)와, 보상된 IR 이미지(R'im)를 매칭하여, 보상된 색상 이미지 또는 보상된 IR 이미지의 출력이 가능하게 된다.
도 4b는, 색상 카메라(CCm)와 IR 카메라(DCm)를 이용하여 동일한 패턴(PAT)을 촬영하는 것을 예시한다.
색상 카메라(CCm)의 3차원 회전(rotation), 3차원 변형(translation) 등에 의해, [R1,T1]과 같은, 틀어짐이 발생하며, 이에 따라, 색상 카메라(CCm)로부터 색상 이미지(Img1)가 획득된다.
다음, IR 카메라(DCm)의 3차원 회전(rotation), 3차원 변형(translation) 등에 의해, [R2,T2]과 같은, 틀어짐이 발생하며, 이에 따라, IR 카메라(DCm)로부터 IR 이미지(img2)가 획득된다.
한편, 색상 이미지(Img1)와 IR 이미지(img2)의 차이는 왜곡 정도(H)로 나타날 수 있다.
한편, 프로세서(170)는, 색상 이미지(Img1)와 IR 이미지(img2)의 차이를 최소화하기 위해, 색상 이미지(Img1)와 IR 이미지(img2)의 차이인 왜곡 정도(H), 색상 이미지(Img1)의 회전, 변형 등의 틀어짐 정보([R1,T1]), IR 이미지(img2)의 회전, 변형 등의 틀어짐 정보([R2,T2])를 연산할 수 있다.
그리고, 프로세서(170)는, 왜곡 정도(H), 색상 이미지(Img1)의 회전, 변형 등의 틀어짐 정보([R1,T1]), IR 이미지(img2)의 회전, 변형 등의 틀어짐 정보([R2,T2])에 기초하여, 오차를 저감하는 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
도 5a는 카메라 장치(100)의 색상 카메라(CCm)로부터의 색상 이미지(510)와 IR 카메라(DCm)로부터의 IR 이미지(515)를 예시한다.
카메라 장치(100)의 색상 카메라(CCm)와 IR 카메라(DCm)의 해상도 차이가 있는 경우, 도면과 같이, 색상 이미지(510)의 해상도가 IR 이미지(515)의 해상도 보다 높게 나타날 수 있다.
일단, 색상 이미지(510)와 IR 이미지(515)의 차이에 따른 캘리브레이션을 수행하기 위해, 색상 이미지(510)와 IR 이미지(515)의 해상도를 동일하게 조정하는 것이 필요하다.
이를 위해, 프로세서(170)는, IR 이미지를 업 스케일링할 수 있다.
또는, 프로세서(170)는, IR 이미지를 업 스케일링하고, 색상 이미지를 다운 스케일링할 수도 있다.
도 5b는 다운 스케일링된 색상 이미지(520)와, 업 스케일링된 IR 이미지(525)를 예시한다.
한편, 저해상도의 IR 이미지의 업 스케일링시, IR 이미지 내에 포함되는 패턴에 따라, 블러 등이 발생할 수 있다.
도 5c는, 흰색과 흑색의 사각 격자 패턴(PATm)의 일 영역(Arm)이 촬영된 IR 이미지(IArm)를 예시한다.
IR 이미지(IArm)를 보면, 흑색과 흰색의 경계 영역(EGa,EGb)에 블러가 발생할 수 있으며, 이러한 현상은, IR 이미지를 업 스케일링할 경우, 더욱 두드러지게 된다.
이에 따라, 색상 카메라(CCm)와 IR 카메라(DCm)의 캘리브레이션을 위해, 사용되는 패턴은, 사각 격자 패턴이 아닌, 도 7과 같은 원형의 격자 패턴이 바람직할 수 있다. 한편, 기준점 확정 등을 위해, 복수 사이즈의 원형의 격자 패턴이 바람직할 수 있다.
도 6은 카메라 장치의 동작 방법을 도시한 순서도이고, 도 7 내지 도 10f는 도 6의 동작 방법 설명에 참조되는 도면이다.
먼저, 도 6을 참조하면, 카메라 장치(100) 내의 프로세서(170)는, 색상 카메라(CCm)로부터 색상 이미지를 획득한다(S610).
다음, 카메라 장치(100) 내의 프로세서(170)는, IR 카메라(DCm)로부터 IR 이미지를 획득한다(S615).
획득되는 색상 이미지와 IR 이미지는, 동일한 패턴 또는 피사체에 대해 촬영된 이미지일 수 있다.
예를 들어, 제1 시점에, 도 7과 같은 복수의 사이즈의 원형의 격자 패턴(PAT)을 촬영한 색상 이미지와 IR 이미지가 획득될 수 있다.
도 7에서 도시된 복수의 사이즈의 원형의 격자 패턴(PAT)에 따르면, 그 중심에 제1 사이즈의 원형 패턴(Ba,Bb)이 배치되고, 제1 사이즈의 원형 패턴(Ba,Bb) 주위에 제2 사이즈의 원형 패턴(Bc,Bd)이 배치되는 것을 예시한다.
이때, 원형 패턴은, 흑색 또는 컬러 색상일 수 있으며, 원형 패턴 주변의 배경은 백색일 수 있다.
도 8a는 복수의 사이즈의 원형의 격자 패턴(PAT)을 촬영하는 색상 카메라(CCm)와 IR 카메라(DCm)의 상면도를 도시하며, 도 8b는 복수의 사이즈의 원형의 격자 패턴(PAT)을 촬영하는 색상 카메라(CCm)와 IR 카메라(DCm)의 측면도를 도시한다.
도 8a 내지 도 8b를 참조하면, 일정 간격으로 이격되어 배치되는 색상 카메라(CCm)와 IR 카메라(DCm)는, 복수의 사이즈의 원형의 격자 패턴(PAT)에 대한, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)가 획득될 수 있다.
상술한 바와 같이, 색상 카메라(CCm)와 IR 카메라(DCm) 사이에 해상도 차이가 있는 경우, 프로세서(170)는, IR 이미지(Imgt)의 업 스케일링(up scaling) 등을 수행할 수 있다.
다음, 카메라 장치(100) 내의 프로세서(170)는, 색상 이미지와 IR 이미지의 각 특징점을 분석하여, 3차원 오차 정보를 연산할 수 있다(S670).
다음, 카메라 장치(100) 내의 프로세서(170)는, 연산된 3차원 오차 정보에 기초하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다(S680).
한편, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이에 기초하여 오차 정보를 연산하고, 연산된 오차 정보에 기초하여 색상 이미지(Imgr)와 IR 이미지(Imgt) 중 적어도 하나를 보상하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다. 이에 따라, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
한편, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 각 특징점을 분석하여, 3차원 오차 정보를 연산하고, 연산된 3차원 오차 정보에 기초하여, 색상 이미지(Imgr)와 IR 이미지(Imgt) 중 적어도 하나를 보상하여, 보상된 색상 이미지(540) 또는 보상된 IR 이미지(Imgt)를 출력할 수 있다. 특히, 3차원 오차 정보 연산에 기초하여, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
한편, 프로세서(170)는, IR 이미지(Imgt)를 업 스케일링하고, 업 스케일링된 IR 이미지(Imgt)와 색상 이미지(Imgr) 사이의 3차원 오차 정보를 연산하고, 연산된 3차원 오차 정보에 기초하여, 색상 이미지(Imgr)와 IR 이미지(Imgt) 중 적어도 하나를 보상하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다. 이에 따라, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
한편, 3차원 오차 정보는, 색상 이미지(Imgr)와 IR 이미지(Imgt) 사이의 상대 회전 정보(Relative Rotation information)와, 상대 변형 정보(Relative Translation information) 또는 상대 천이 정보(Relative Shift information)를 포함할 수 있다. 이에 따라, 상대 회전 정보(Relative Rotation information)와, 상대 변형 정보(Relative Translation information) 또는 상대 천이 정보(Relative Shift information)에 기초하여, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
한편, 프로세서(170)는, 연산된 3차원 오차 정보에 기초하여, 보상되고 업스케일링된 IR 이미지(Imgt)를 색상 이미지(Imgr)에 매칭하여, 보상된 색상 이미지를 출력할 수 있다. 이에 따라, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
한편, 프로세서(170)는, 색상 이미지(Imgr)의 휘도 성분과, IR 이미지(Imgt)의 휘도 성분을 비교하여, 오차 정보를 연산하고, 연산된 오차 정보에 기초하여 색상 이미지(Imgr)와 IR 이미지(Imgt) 중 적어도 하나를 보상하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다. 이에 따라, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
도 9는 프로세서(170) 내의 내부 블록도의 일예를 보여주는 도면이다.
도면을 참조하면, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 각 특징점을 분석하는 특징점 분석부(910)와, 특징점 분석부(910)에서 분석된 각 특징점 정보에 기초하여, 외부 변수를 연산하는 외부 변수 연산부(920)와, 연산된 외부 변수에 기초하여, 3차원 오차 정보를 연산하는 오차 연산부(930)와, 3차원 오차 정보에 기초하여 오차를 수정하는 오차 수정부(940)를 포함할 수 있다. 이에 따라, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
도 10a는 특징점 분석부(910)에 입력되는 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)를 예시한다.
한편, 특징점 분석부(910)는, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)로부터 각각 패턴 또는 기준점을 검출하고, 검출된 패턴 또는 기준점에 기초하여 방향 벡터를 연산할 수 있다.
한편, 특징점 분석부(910)는, 색상 이미지(Imgr)와, IR 이미지(Imgt)로부터, 원 패턴을 검출하고, 원 패턴 중 기준점을 검출할 수 있다.
한편, 특징점 분석부(910)는, 검출된 원 패턴 또는 기준점에 기초하여, 방향 벡터를 연산할 수 있다.
그리고, 특징점 분석부(910)는, 검출된 원 패턴, 기준점 또는 방향 벡터에 기초하여, 특징점 분석을 수행할 수 있다. 즉, 특징점은, 원 패턴, 기준점 또는 방향 벡터를 포함하는 개념일 수 있다.
한편, 외부 변수 연산부(920)는, 특징점 분석부(910)에서 분석된 각 특징점 정보에 기초하여, 색상 이미지(Imgr)와 IR 이미지(Imgt) 각각의 회전 정보와, 변형 정보 또는 천이 정보를 연산할 수 있다.
한편, 외부 변수 연산부(920)는, 색상 이미지(Imgr)와, IR 이미지(Imgt)의 호모그래피(Homography)를 연산할 수 있다.
한편, 외부 변수 연산부(920)는, 연산된 호모그래피에 기초하여, 색상 이미지(Imgr)와 IR 이미지(Imgt) 각각의 회전 정보와, 변형 정보 또는 천이 정보를 연산할 수 있다.
한편, 오차 연산부(930)는, 색상 이미지(Imgr)와 IR 이미지(Imgt) 각각의 회전 정보와, 변형 정보 또는 천이 정보에 기초하여, 색상 이미지(Imgr)와 IR 이미지(Imgt) 사이의 상대 회전 정보(Relative Rotation information)와, 상대 변형 정보(Relative Translation information) 또는 상대 천이 정보(Relative Shift information)를 연산할 수 있다.
한편, 오차 연산부(930)는, 색상 이미지(Imgr)와 IR 이미지(Imgt)에 기초하여 재투영 오차(reprojection error)를 연산할 수 있다.
도 10b는 색상 이미지(Imgr)와 보상된 IR 이미지(I'mgt)에 기초하여 재투영 오차를 연산하는 것을 예시한다.
재투영 오차 정보는, 상술한 상대 회전 정보(Relative Rotation information)와, 상대 변형 정보(Relative Translation information) 또는 상대 천이 정보(Relative Shift information)를 포함할 수 있다.
한편, 오차 수정부(940)는, 연산된 3차원 오차 정보에 기초하여, 보상되고 업스케일링된 IR 이미지(Imgt)를 색상 이미지(Imgr)에 매칭하여, 보상된 색상 이미지를 출력할 수 있다. 이에 따라, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
한편, 오차 수정부(940)는, 연산된 3차원 오차 정보에 기초하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
도 10c는 보상된 IR 이미지(Imgev)를 예시한다.
이에 따라, 색상 카메라(CCm)로부터의 색상 이미지(Imgr)와 IR 카메라(DCm)로부터의 IR 이미지(Imgt)의 차이를 신속하고 정확하게 보상할 수 있게 된다.
도 10d는 다른 색상 이미지와 다른 IR 이미지를 예시한다.
도면을 참조하면, 프로세서(170)는, 카메라 장치(100)의 색상 카메라(CCm)로부터의 색상 이미지(510)와 IR 카메라(DCm)로부터의 IR 이미지(515)를 수신할 수 있다.
카메라 장치(100)의 색상 카메라(CCm)와 IR 카메라(DCm)의 해상도 차이가 있는 경우, 도면과 같이, 색상 이미지(510)의 해상도가 IR 이미지(515)의 해상도 보다 높게 나타날 수 있다.
이에 따라, 프로세서(170)는, 색상 이미지(510)를 다운 스케일링하고, IR 이미지(515)를 업 스케일링할 수 있다.
도 10e는 다운 스케일링된 색상 이미지(520)와 업 스케일링된 IR 이미지(525)를 예시한다.
한편, 프로세서(170)는, 다운 스케일링된 색상 이미지(520)와 업 스케일링된 IR 이미지(525)를 이용하여, 매칭을 수행할 수 있다.
예를 들어, 프로세서(170)는, 다운 스케일링된 색상 이미지(520)에 업 스케일링된 IR 이미지(525)를 매칭시킬 수 있다. 그리고, 프로세서(170)는, 그 차이에 기초하여, 오차 정보를 연산할 수 있다.
예를 들어, 프로세서(170)는, 다운 스케일링된 색상 이미지(520)에 업 스케일링된 IR 이미지(525)에 기초하여, 각 특징점을 분석하여, 3차원 오차 정보를 연산할 수 있다.
구체적으로, 프로세서(170)는, 다운 스케일링된 색상 이미지(520)에 업 스케일링된 IR 이미지(525)에 기초하여, 각 특징점을 분석하여, 색상 이미지(Imgr)와 IR 이미지(Imgt) 사이의 상대 회전 정보(Relative Rotation information)와, 상대 변형 정보(Relative Translation information) 또는 상대 천이 정보(Relative Shift information) 등의 3차원 오차 정보를 연산할 수 있다.
그리고, 프로세서(170)는, 연산된 3차원 오차 정보에 기초하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
도 10f는 보상된 색상 이미지(540)를 예시한다. 도면과 달리, 보상된 IR 이미지가 출력되는 것도 가능하다.
이에 따라, 색상 카메라로부터의 색상 이미지와 IR 카메라로부터의 IR 이미지의 차이를 신속하고 정확하게 보상할 수 있게 된다.
한편, 색상 카메라로부터 획득한 색상 이미지와, IR 카메라로부터 획득한 IR 이미지를 조합하여, 다양한 효과를 구현하는 것이 가능하다.
본 발명에서는, 색상 카메라로부터 획득한 색상 이미지와, IR 카메라로부터 획득한 IR 이미지를 조합하여, 보케(bokeh) 이미지를 생성하는 방안을 제시한다. 구체적으로, 전경이 선명하고, 배경이 흐릿한 보케(bokeh) 이미지를 생성하는 방안을 제시한다. 이에 대해서는 도 11 이하를 참조하여 기술한다.
도 11은 본 발명의 실시예에 따른 카메라 장치의 동작 방법을 도시한 순서도이고, 도 12 내지 도 16c는 도 11의 동작 방법 설명에 참조되는 도면이다.
도면을 참조하면,카메라 장치(100) 내의 프로세서(170)는, 색상 카메라(CCm)로부터 색상 이미지를 획득한다(S1110).
다음, 카메라 장치(100) 내의 프로세서(170)는, IR 카메라(DCm)로부터 IR 이미지를 획득한다(S1115).
획득되는 색상 이미지와 IR 이미지는, 동일한 패턴 또는 피사체에 대해 촬영된 이미지일 수 있다.
예를 들어, 제1 시점에, 도 7과 같은 복수의 사이즈의 원형의 격자 패턴(PAT)을 촬영한 색상 이미지와 IR 이미지가 획득될 수 있다.
다른 예로, 도 10d와 같이, 공통의 얼굴 영역을 포함하는 색상 이미지와 IR 이미지가 획득될 수 있다.
다음, 카메라 장치(100) 내의 프로세서(170)는, IR 카메라(DCm)로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고 정제할 수 있다(S1120).
다음, 카메라 장치(100) 내의 프로세서(170)는, 정제된 전경 신호에 기초하여 색상 이미지를 필터링할 수 있다(S1125).
다음, 카메라 장치(100) 내의 프로세서(170)는, 필터링된 색상 이미지에 기초하여 전경 오브젝트 마스크를 생성할 수 있다(S1130).
다음, 카메라 장치(100) 내의 프로세서(170)는, 전경 오브젝트 마스크에 기초하여, 색상 이미지의 보케 이미지를 생성할 수 있다(S1130).
한편, 전경 영역은 얼굴 영역을 포함할 수 있으며, 보케 이미지는, 얼굴 영역이, 배경 영역 보다 선명할 수 있다. 즉, 배경 영역이 흐릿해지며, 얼굴 영역은 보다 선명해질 수 있다.
이에 따라, IR 카메라(DCm)로부터의 IR 이미지를 이용하여 색상 카메라(CCm)로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서(170)는, IR 카메라(DCm)로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고, 분리된 전경 영역에 기초하여, 색상 카메라(CCm)로부터의 색상 이미지를 필터링하여, 색상 이미지의 보케 이미지를 생성할 수 있다. 이에 따라, IR 카메라(DCm)로부터의 IR 이미지를 이용하여 색상 카메라(CCm)로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서(170)는, 필터링된 색상 이미지에 기초하여 전경 오브젝트 마스크를 생성하고, 전경 오브젝트 마스크에 기초하여 색상 이미지의 보케 이미지를 생성할 수 있다. 이에 따라, IR 카메라(DCm)로부터의 IR 이미지를 이용하여 색상 카메라(CCm)로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링하고, IR 이미지로부터 분리된 전경 영역에 기초하여, 다운 스케일링된 색상 이미지를 필터링할 수 있다. 이에 따라, IR 카메라(DCm)로부터의 IR 이미지를 이용하여 색상 카메라(CCm)로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링하고, 필터링된 다운 스케일링 색상 이미지를 업 스케일링하고, 업 스케일링된 색상 이미지에 기초하여, 다운 스케일링된 색상 이미지를 필터링할 수 있다. 이에 따라, IR 카메라(DCm)로부터의 IR 이미지를 이용하여 색상 카메라(CCm)로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서(170)는, 필터링된 다운 스케일링된 색상 이미지에 기초하여, 전경 오브젝트 마스크를 생성할 수 있다. 이에 따라, IR 카메라(DCm)로부터의 IR 이미지를 이용하여 색상 카메라(CCm)로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
한편, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링하고, 전경 오브젝트 마스크에 기초하여, 다운 스케일링된 색상 이미지를 필터링하며, 필터링된 색상 이미지와, 전경 오브젝트 마스크를 업 스케일링하고, 업 스케일링된 색상 이미지와 업 스케일링된 전력 오브젝트 마스크를 합성하여, 보케 이미지를 생성할 수 있다. 이에 따라, IR 카메라(DCm)로부터의 IR 이미지를 이용하여 색상 카메라(CCm)로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
도 12는 IR 이미지로부터 전경과 배경을 분리하여 신호 처리를 수행하는 것을 보여주는 도면이다.
도면을 참조하면, 프로세서(170)는, IR 카메라(DCm)로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하는 전경 배경 분리부(1210)와, 전경 영역을 필터링하는 전경 필터(1213)와, 필터링된 전경 영역을 정제(refine)하는 전경 정제부(1223)와, 배경 영역을 필터링하는 배경 필터(1216)와, 필터링된 배경 영역을 정제하는 배경 정제부(1226)를 포함할 수 있다.
이에 따라, 프로세서(170)는, IR 카메라(DCm)로부터의 IR 이미지로부터, 분리되어 정제된 전경 영역과, 배경 영역을 출력할 수 있다.
한편, 전경 필터(1213)와 배경 필터(1216)는, 분리된 전경 영역과 배경 영역의 잡음 신호 제거를 위한 배경 신호의 잡음 신호 제거를 위한 메디안 필터링을 수행할 수 있다.
한편, 전경 정제부(1223)와, 배경 정제부(1226)는, 분리된 전경 영역과 배경 영역의 홀(hole) 영역 채움 처리를 통한 경계 신호 정제를 수행할 수 있다.
도 13a는 도 12의 전경 배경 분리부(1210)에 입력되는 IR 이미지(1310)를 예시한다.
도 13b는 전경 배경 분리부(1210)에서 분리된 전경 영역(1315)을 예시한다.
도 13c는 전경 필터(1213)에서 필터링된 전경 영역(1320)을 예시한다.
도 13d는 전경 정제부(1223)에서 경계 영역 정제된 전경 영역(1325)을 예시한다.
도 13a 내지 도 13d를 참조하면, 전경 배경 분리부(1210), 전경 필터(1213), 전경 정제부(1223) 등의 동작에 따라, 잡음이 제거된 전경 영역(1325)이 추출되게 된다.
도 14a 내지 도 14c는 전경 오브젝트 마스크의 생성을 위해 참조되는 도면이다.
먼저, 도 14a를 참조하면, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링하는 다운 스케일링부(1402)와, IR 이미지로부터 분리된 전경 영역에 기초하여, 다운 스케일링된 색상 이미지를 필터링하는 제1 필터(1404)와, 제1 필터(1404)로부터의 색상 이미지의 경계 신호를 정제하는 경계 정제부(1406)와, 경계 정제부(1406)로부터의 신호를 필터링하는 제2 필터(1406)를 포함할 수 있다.
다운 스케일링부(1402)는, IR 이미지와의 해상도 차이를 보상하기 위해, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링할 수 있다.
다음, 제1 필터(1404)는, 도 12의 전경 정제부(1223)로부터의 전경 영역과, 다운 스케일링부(1402)로부터의 다운 스케일링된 색상 이미지에 기초하여, 가이드 필터링(guided filtering)을 수행할 수 있다.
그리고, 경계 정제부(1406)는, 제1 필터(1404)로부터의 색상 이미지의 경계 신호를 정제하고, 제2 필터(1406)는, 경계 정제부(1406)로부터의 신호를 필터링할 수 있다.
이때, 제2 필터(1406)는, 불필요한 잡음 신호 제거를 위한 메디안 필터링을 수행하고, 필터링된 신호(Imgk)를 출력할 수 있다. 이때, 필터링된 신호(Imgk)는, 전경 영역에 대응할 수 있다.
다음, 도 14b를 참조하면, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링하는 제2 다운 스케일링부(1411)와, 제2 필터(1406)로부터의 신호(Imgk)를 업 스케일링하는 업 스케일링부(1412)와, 업 스케일링부(1412)로부터의 신호에 기초하여, 제2 다운 스케일링된 색상 이미지를 필터링하는 제3 필터(1414)와, 제3 필터(1414)로부터의 색상 이미지의 경계 신호를 정제하는 제2 경계 정제부(1416)와, 제2 경계 정제부(1416)로부터의 신호를 필터링하는 제4 필터(1418)를 더 포함할 수 있다.
제2 다운 스케일링부(1411)는, IR 이미지와의 해상도 차이를 보상하기 위해, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링할 수 있다.
업 스케일링부(1412)는, 제2 필터(1406)로부터의 신호(Imgk)를 업 스케일링할 수 있다. 특히, 색상 이미지와의 비교를 위해, 전경 영역을 업 스케일링할 수 있다.
다음, 제3 필터(1414)는, 업 스케일링부(1412)로부터의 전경 영역과, 제2 다운 스케일링부(1411)로부터의 다운 스케일링된 색상 이미지에 기초하여, 가이드 필터링(guided filtering)을 수행할 수 있다.
그리고, 제2 경계 정제부(1416)는, 제3 필터(1414)로부터의 색상 이미지의 경계 신호를 정제하고, 제4 필터(1418)는, 제2 경계 정제부(1416)로부터의 신호를 필터링할 수 있다.
이때, 제4 필터(1418)는, 제3 필터(1414)와 달리, 불필요한 잡음 신호 제거를 위한 메디안 필터링을 수행하고, 필터링된 신호(Imgl)를 출력할 수 있다. 이때, 필터링된 신호(Imgl)는, 전경 영역에 대응할 수 있다.
다음, 도 14c를 참조하면, 프로세서(170)는, 제4 필터(1418)로부터의 다운 스케일링된 색상 이미지를 업 스케일링하는 제2 업 스케일링부(1422)와, 제2 업 스케일링부(1422)로부터의 신호를 필터링하여 전경 오브젝트 마스크를 출력하는 제5 필터(1428)를 더 포함할 수 있다
제2 업 스케일링부(1422)는, 제4 필터(1418)로부터의 신호(Imgl)를 업 스케일링할 수 있다.
다음, 제5 필터(1428)는, 제2 업 스케일링부(1422)로부터의 전경 영역에 대한 가우시안 필터링(Gaussian filtering)을 수행할 수 있다. 이에 따라, 제5 필터(1428)는, 전경 오브젝트 마스크를 생성하여 출력할 수 있다.
도 15a는 색상 카메라(CCm)로부터의 색상 이미지(1510)를 예시한다.
다음, 도 15b는 도 12의 전경 정제부(1223)에서 경계 영역 정제된 전경 영역(1515)을 예시한다. 도 15b에 따르면, 도 12의 전경 배경 분리부(1210), 전경 필터(1213), 전경 정제부(1223) 등의 동작에 따라, 잡음이 제거된 전경 영역(1515)이 추출되게 된다.
한편, 보다 깨끗한 전경 영역 처리 및 전경 오브젝트 마스크 생성을 위해, 도 14a 내지 도 14c에서 설명한 신호 처리가 필요하다.
도 15c는 도 14a의 제2 필터(1408)에서 필터링된 전경 영역(1520)을 예시한다.
다음, 도 15d는 도 14b의 제4 필터(1418)에서 필터링된 전경 영역(1525)을 예시한다.
다음, 도 15e는 도 14c의 제5 필터(1428)에서 필터링된 전경 영역(1530)을 예시한다.
도 15c에 비해 도 15d의 전경 영역(1525)이 보다 깨끗하고 선명하며, 도 15d 보다 도 15e의 전경 영역(1530)이 보다 깨끗하고 선명한 것을 알 수 있다.
이에 따라, 도 15e와 같이, 선명한 전경 오브젝트 마스크(1530)를 생성하여 출력할 수 있게 된다.
한편, 도 16a를 참조하면, 프로세서(170)는, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링하는 제3 다운 스케일링부(1432)와, 전경 오브젝트 마스크에 기초하여, 제3 다운 스케일링부(1432)로부터의 색상 이미지를 필터링하는 제6 필터(1434)와, 제6 필터(1434)로부터의 색상 이미지를 업 스케일링하는 제3 업 스케일링부(1435)와, 전경 오브젝트 마스크를 업 스케일링하는 제4 업 스케일링부(1437)와, 제3 업 스케일링부(1435)와 제4 업 스케일링부(1437)로부터의 신호를 합성하여, 보케 이미지를 출력하는 합성부(1439)를 포함할 수 있다. 이에 따라, IR 카메라(DCm)로부터의 IR 이미지를 이용하여 색상 카메라(CCm)로부터의 색상 이미지에 대한 보케 이미지를 간단하게 생성할 수 있게 된다.
제3 다운 스케일링부(1432)는, IR 이미지와의 해상도 차이를 보상하기 위해, 색상 카메라(CCm)로부터의 색상 이미지를 다운 스케일링할 수 있다.
도 16b는 색상 카메라(CCm)로부터의 색상 이미지(1510)를 예시한다. 특히, 도 16b는 얼굴 영역을 포함하는 전경 영역(Fra)과 배경 영역(Bka)을 포함하는 색상 이미지(1510)를 예시한다.
제6 필터(1434)는, 제3 다운 스케일링부(1432)로부터의 색상 이미지와 전경 오브젝트 마스크에 기초하여, 제3 다운 스케일링부(1432)로부터의 색상 이미지에 대해 적응적 바이레터럴 필터링을 수행할 수 있다.
이에 따라, 제6 필터(1434)는, 전경 오브젝트 마스크 이외의 영역에 보케 효과를 적용할 수 있다. 즉, 전경 영역은 선명하고, 배경 영역은 흐릿한 색상 이미지를 출력할 수 있다.
다음, 제3 업 스케일링부(1435)는, 제6 필터(1434)로부터의 색상 이미지를 업 스케일링하고, 제4 업 스케일링부(1437)는, 전경 오브젝트 마스크를 업 스케일링할 수 있다.
그리고, 합성부(1439)는, 제3 업 스케일링부(1435)와 제4 업 스케일링부(1437)로부터의 신호를 합성하여, 도 16c와 같은 보케 이미지(1550)를 출력할 수 있다. 이에 따라, 얼굴 영역을 포함하는 전경 영역(Frb)은 선명하고, 배경 영역(Bkb)은 흐릿한 색상 이미지를 출력할 수 있다.
이에 따라, 배경 영역이 아웃 포커싱되며, 전경 영역이 포커싱된 보케 이미지(1550)를 간단하고 정확하게 생성할 수 있게 된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 색상 카메라;
    IR 카메라;
    상기 IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고, 상기 분리된 전경 영역 또는 배경 영역에 기초하여 상기 색상 카메라로부터의 색상 이미지를 필터링하여, 상기 색상 이미지의 보케 이미지를 생성하는 프로세서;를 포함하는 것을 특징으로 하는 카메라 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하고, 상기 분리된 전경 영역에 기초하여, 상 색상 카메라로부터의 색상 이미지를 필터링하여, 상기 색상 이미지의 보케 이미지를 생성하는 것을 특징으로 하는 카메라 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 필터링된 색상 이미지에 기초하여 전경 오브젝트 마스크를 생성하고, 상기 전경 오브젝트 마스크에 기초하여 상기 색상 이미지의 상기 보케 이미지를 생성하는 것을 특징으로 하는 카메라 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, 상기 IR 이미지로부터 분리된 상기 전경 영역에 기초하여, 상기 다운 스케일링된 색상 이미지를 필터링하는 것을 특징으로 하는 카메라 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, 상기 필터링된 다운 스케일링 색상 이미지를 업 스케일링하고, 업 스케일링된 색상 이미지에 기초하여, 상기 다운 스케일링된 색상 이미지를 필터링하는 것을 특징으로 하는 카메라 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 필터링된 다운 스케일링된 색상 이미지에 기초하여, 전경 오브젝트 마스크를 생성하는 것을 특징으로 하는 카메라 장치.
  7. 제3항에 있어서,
    상기 프로세서는,
    상기 색상 카메라로부터의 색상 이미지를 다운 스케일링하고, 상기 전경 오브젝트 마스크에 기초하여, 상기 다운 스케일링된 색상 이미지를 필터링하며, 상기 필터링된 색상 이미지와, 상기 전경 오브젝트 마스크를 업 스케일링하고, 상기 업 스케일링된 색상 이미지와 상기 업 스케일링된 전력 오브젝트 마스크를 합성하여, 상기 보케 이미지를 생성하는 것을 특징으로 하는 카메라 장치.
  8. 제1항에 있어서,
    상기 전경 영역은 얼굴 영역을 포함하며,
    상기 보케 이미지는, 상기 얼굴 영역이, 상기 배경 영역 보다 선명한 것을 특징으로 하는 카메라 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 IR 카메라로부터의 IR 이미지로부터 전경 영역과 배경 영역을 분리하는 전경 배경 분리부;
    상기 전경 영역을 필터링하는 전경 필터;
    상기 필터링된 전경 영역을 정제하는 전경 정제부;
    상기 배경 영역을 필터링하는 배경 필터;
    상기 필터링된 배경 영역을 정제하는 배경 정제부;를 포함하는 것을 특징으로 하는 카메라 장치.
  10. 제1항에 있어서,
    상기 프로세서는.
    상기 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 다운 스케일링부;
    상기 IR 이미지로부터 분리된 상기 전경 영역에 기초하여, 상기 다운 스케일링된 색상 이미지를 필터링하는 제1 필터;
    상기 제1 필터로부터의 상기 색상 이미지의 경계 신호를 정제하는 경계 정제부;
    상기 경계 정제부로부터의 신호를 필터링하는 제2 필터;를 포함하는 것을 특징으로 하는 카메라 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 제2 다운 스케일링부;
    상기 제2 필터로부터의 신호를 업 스케일링하는 업 스케일링부;
    상기 업 스케일링부로부터의 신호에 기초하여, 상기 제2 다운 스케일링된 색상 이미지를 필터링하는 제3 필터;
    상기 제3 필터로부터의 상기 색상 이미지의 경계 신호를 정제하는 제2 경계 정제부;
    상기 제2 경계 정제부로부터의 신호를 필터링하는 제4 필터;를 더 포함하는 것을 특징으로 하는 카메라 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 제4 필터로부터의 다운 스케일링된 색상 이미지를 업 스케일링하는 제2 업 스케일링부;
    상기 제2 업 스케일링부로부터의 신호를 필터링하여 전경 오브젝트 마스크를 출력하는 제5 필터;를 더 포함하는 것을 특징으로 하는 카메라 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 색상 카메라로부터의 색상 이미지를 다운 스케일링하는 제3 다운 스케일링부;
    상기 전경 오브젝트 마스크에 기초하여, 상기 제3 다운 스케일링부로부터의 색상 이미지를 필터링하는 제6 필터;
    상기 제6 필터로부터의 색상 이미지를 업 스케일링하는 제3 업 스케일링부;
    상기 전경 오브젝트 마스크를 업 스케일링하는 제4 업 스케일링부;
    상기 제3 업 스케일링부와 상기 제4 업 스케일링부로부터의 신호를 합성하여, 상기 보케 이미지를 출력하는 합성부;를 포함하는 것을 특징으로 하는 카메라 장치.
  14. 제1항에 있어서,
    상기 색상 카메라와 상기 IR 카메라는 연결 부재에 의해 연결되며, 상기 연결 부재는, 플렉서블한 것을 특징으로 하는 카메라 장치.
  15. 제1항 내지 제14항 중 어느 한 항의 카메라 장치를 구비하는 것을 특징으로 하는 전자 장치.
PCT/KR2020/000515 2019-01-11 2020-01-10 카메라 장치 및 이를 구비하는 전자 장치 WO2020145744A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/422,114 US12033306B2 (en) 2019-01-11 2020-01-10 Camera device and electronic apparatus including the same
EP20737894.4A EP3910939A4 (en) 2019-01-11 2020-01-10 CAMERA DEVICE AND ELECTRONIC DEVICE THEREOF

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0003612 2019-01-11
KR1020190003612A KR102633221B1 (ko) 2019-01-11 2019-01-11 카메라 장치 및 이를 구비하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2020145744A1 true WO2020145744A1 (ko) 2020-07-16

Family

ID=71520574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000515 WO2020145744A1 (ko) 2019-01-11 2020-01-10 카메라 장치 및 이를 구비하는 전자 장치

Country Status (4)

Country Link
US (1) US12033306B2 (ko)
EP (1) EP3910939A4 (ko)
KR (1) KR102633221B1 (ko)
WO (1) WO2020145744A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142883A (ko) * 2019-06-13 2020-12-23 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
US11823353B2 (en) * 2020-07-28 2023-11-21 Samsung Electronics Co., Ltd. System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060062890A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 디지털 카메라 기기 및 아웃포커싱 처리 방법
JP2010268052A (ja) * 2009-05-12 2010-11-25 Canon Inc 撮像装置
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
KR101610432B1 (ko) * 2009-06-03 2016-04-07 플리어 시스템즈, 인크. 적외선 카메라 시스템 및 듀얼 센서 응용 방법
KR20180047724A (ko) * 2016-11-01 2018-05-10 엘지이노텍 주식회사 듀얼 카메라 모듈, 광학기기 및 듀얼 카메라 모듈의 제조방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150006755A (ko) * 2013-07-09 2015-01-19 삼성전자주식회사 이미지 생성 장치, 이미지 생성 방법 및 비일시적 기록 매체
CN103854303A (zh) * 2014-03-06 2014-06-11 寇懿 基于体感传感器的三维立体发型设计系统及设计方法
KR20170097469A (ko) * 2016-02-18 2017-08-28 금오공과대학교 산학협력단 3차원 영상센서를 이용한 디스플레이 장치 및 그 절전방법
DK180859B1 (en) * 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060062890A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 디지털 카메라 기기 및 아웃포커싱 처리 방법
JP2010268052A (ja) * 2009-05-12 2010-11-25 Canon Inc 撮像装置
KR101610432B1 (ko) * 2009-06-03 2016-04-07 플리어 시스템즈, 인크. 적외선 카메라 시스템 및 듀얼 센서 응용 방법
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
KR20180047724A (ko) * 2016-11-01 2018-05-10 엘지이노텍 주식회사 듀얼 카메라 모듈, 광학기기 및 듀얼 카메라 모듈의 제조방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3910939A4 *

Also Published As

Publication number Publication date
KR102633221B1 (ko) 2024-02-01
US12033306B2 (en) 2024-07-09
EP3910939A1 (en) 2021-11-17
KR20200087400A (ko) 2020-07-21
US20220114703A1 (en) 2022-04-14
EP3910939A4 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
WO2021006366A1 (ko) 디스플레이 패널의 색상을 조정하는 인공 지능 장치 및 그 방법
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2020145744A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2019209067A1 (ko) 광각 영상 제공 시스템
WO2020054949A1 (en) Electronic device and method for capturing view
WO2022102972A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2019235766A1 (en) Mobile terminal adjusting image quality of display, and method of operating the same
WO2022080517A1 (ko) 학습 데이터를 생성하는 인공 지능 장치 및 방법
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2021075799A1 (ko) 이미지 처리 장치 및 이미지 처리 방법
WO2018097677A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium thereof
WO2020067645A1 (en) Electronic apparatus and control method thereof
WO2020145740A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2022260252A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022065981A1 (ko) 동영상 처리 장치 및 방법
WO2020153726A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2020251337A1 (ko) 카메라 장치 및 카메라 장치의 이미지 생성 방법
WO2017179912A1 (ko) 삼차원 정보증강 비디오 씨쓰루 디스플레이 장치 및 방법, 렉티피케이션 장치
WO2022025435A1 (ko) 프로젝터 및 그 제어 방법
WO2017146314A1 (ko) 디스플레이 패널과 무안경 다시점 렌티큘러시트를 통한 홀로그램 출력방법과 렌티큘러시트가 부착된 두 개의 디스플레이 패널을 통한 3차원 영상 생성방법 및 출력방법
WO2020153729A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2020085696A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021006367A1 (ko) 디스플레이 패널의 출력 위치를 조정하는 인공 지능 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20737894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020737894

Country of ref document: EP

Effective date: 20210811