WO2022025458A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022025458A1
WO2022025458A1 PCT/KR2021/008433 KR2021008433W WO2022025458A1 WO 2022025458 A1 WO2022025458 A1 WO 2022025458A1 KR 2021008433 W KR2021008433 W KR 2021008433W WO 2022025458 A1 WO2022025458 A1 WO 2022025458A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth image
image
depth
electronic device
confidence map
Prior art date
Application number
PCT/KR2021/008433
Other languages
English (en)
French (fr)
Inventor
이태희
김성원
김세영
이유정
이정환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202180058359.2A priority Critical patent/CN116097306A/zh
Priority to EP21850284.7A priority patent/EP4148671A4/en
Publication of WO2022025458A1 publication Critical patent/WO2022025458A1/ko
Priority to US18/102,527 priority patent/US20230177709A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to an electronic device and a method for controlling the same, and more particularly, to an electronic device for acquiring a depth image and a method for controlling the same.
  • a Time of Flight (ToF) sensor that acquires a depth image based on flight time or phase information of light, and a depth image based on images captured by two cameras
  • a stereo camera that acquires.
  • the ToF sensor has superior angular resolution for a long distance compared to a stereo camera, but has a limitation in that the accuracy of near-field information is relatively low due to multiple reflections.
  • the stereo camera can acquire short-distance information with relatively high accuracy, it has a disadvantage in that it is disadvantageous to miniaturize the two cameras to be far apart from each other for long-distance measurement.
  • One technical problem to be solved by the present invention is to provide an electronic device that is easy to miniaturize and has improved accuracy of distance information for a short distance.
  • an electronic device includes: a first image sensor; a second image sensor; and a processor, wherein the processor obtains a first depth image and a confidence map corresponding to the first depth image using a first image sensor, and uses a second image sensor to obtain the second image sensor.
  • the processor obtains an RGB image corresponding to one depth image, obtaining a second depth image based on the confidence map and the RGB image, and obtaining the first depth image and the second depth image based on pixel values of the confidence map
  • An electronic device that obtains a third depth image by synthesizing may be provided.
  • the processor may obtain a grayscale image for the RGB image, and obtain the second depth image by performing stereo matching between the confidence map and the grayscale image.
  • the processor may acquire the second depth image by stereo matching the confidence map and the gray scale image based on the shape of the object included in the confidence map and the gray scale image.
  • the processor determines a synthesis ratio of the first depth image and the second depth image based on the pixel value of the confidence map, and synthesizes the first depth image and the second depth image based on the determined synthesis ratio Thus, a third depth image may be obtained.
  • the processor is configured to perform the first synthesis such that a first synthesis ratio of the first depth image is greater than a second synthesis ratio of the second depth image for a region in which a pixel value is greater than a preset value among a plurality of regions of the confidence map. a ratio and the second synthesis ratio are determined, and for a region in which a pixel value is smaller than the preset value among a plurality of regions of the confidence map, the first synthesis ratio and The second synthesis ratio may be determined.
  • the processor is configured to obtain a depth value of the second depth image as a depth value of the third depth image for a first region in which a depth value is smaller than a first threshold distance among a plurality of regions of the first depth image, For a second region in which a depth value is greater than a second threshold distance among the plurality of regions of the first depth image, the depth value of the first depth image may be acquired as the depth value of the third depth image.
  • the processor identifies an object included in the RGB image, identifies each region of the first depth image and the second depth image corresponding to the identified object, and uses a constant synthesis ratio for each region
  • the third depth image may be obtained by synthesizing the first depth image and the second depth image.
  • the first image sensor may be a Time of Flight (ToF) sensor
  • the second image sensor may be an RGB sensor
  • a first depth image and a confidence map corresponding to the first depth image using a first image sensor obtaining a (confidence map); obtaining an RGB image corresponding to the first depth image by using a second image sensor; obtaining a second depth image based on the confidence map and the RGB image; and obtaining a third depth image by synthesizing the first depth image and the second depth image based on the pixel value of the confidence map.
  • the obtaining of the second depth image may include obtaining a grayscale image for the RGB image, and stereo matching the confidence map and the grayscale image to obtain the second depth image.
  • the acquiring of the second depth image may include stereo matching the confidence map and the gray scale image based on the shape of the object included in the confidence map and the gray scale image to acquire the second depth image.
  • the obtaining of the third depth image may include determining a synthesis ratio of the first depth image and the second depth image based on the pixel value of the confidence map, and based on the determined synthesis ratio, a first depth image and A third depth image may be obtained by synthesizing the second depth image.
  • a first synthesis ratio of the first depth image is greater than a second synthesis ratio of the second depth image. determine the first synthesis ratio and the second synthesis ratio so as to achieve The first synthesis ratio and the second synthesis ratio may be determined.
  • the acquiring of the third depth image may include calculating a depth value of the second depth image for a first region in which a depth value is smaller than a first threshold distance among a plurality of regions of the first depth image as the third depth image. obtained as a depth value of , and for a second region in which a depth value is greater than a second threshold distance among a plurality of regions of the first depth image, the depth value of the first depth image is set as the depth value of the third depth image.
  • the obtaining of the third depth image may include: identifying an object included in the RGB image; identifying each region of the first depth image and the second depth image corresponding to the identified object; and obtaining the third depth image by synthesizing the first depth image and the second depth image at a constant synthesis ratio for each of the identified regions.
  • the electronic device may acquire distance information with improved accuracy of distance information for a short distance compared to a conventional ToF sensor.
  • FIG. 1 is a view for explaining a depth image acquisition method according to an embodiment of the present disclosure.
  • FIG. 2 is a graph illustrating a first composition ratio and a second composition ratio according to a depth value of a first depth image according to an embodiment of the present disclosure.
  • FIG 3 is a graph illustrating a first synthesis ratio and a second synthesis ratio according to pixel values of a confidence map according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for describing a method of acquiring a third depth image according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an RGB image according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • FIG. 7 is a perspective view illustrating an electronic device according to an embodiment of the present disclosure.
  • 8A is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • 8B is a block diagram illustrating a configuration of a processor according to an embodiment of the present disclosure.
  • Embodiments of the present disclosure may be subjected to various transformations and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents and substitutions included in the spirit and scope of the disclosure. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.
  • FIG. 1 is a view for explaining a depth image acquisition method according to an embodiment of the present disclosure.
  • the electronic device 100 may acquire the first depth image 10 by using the first image sensor 110 . Specifically, the electronic device 100 may acquire the first depth image 10 based on a signal output from the first image sensor 110 .
  • the first depth image 10 is an image indicating the distance from the electronic device 100 to the object, and the depth value (or distance value) of each pixel of the first depth image is each from the electronic device 100 . It may mean a distance to an object corresponding to a pixel.
  • the electronic device 100 may obtain a confidence map 20 using the first image sensor 110 .
  • the confidence map (or confidence image) 20 means an image representing the reliability of the depth value for each region of the first depth image 10 .
  • the confidence map 20 may be an infrared (IR) image corresponding to the first depth image 10 .
  • the electronic device 100 may determine the reliability of the depth value for each region of the first depth image 10 based on the confidence map 20 .
  • the electronic device 100 may acquire the confidence map 20 based on a signal output from the first image sensor 110 .
  • the first image sensor 110 may include a plurality of sensors that are activated with a preset time difference.
  • the electronic device 100 may acquire a plurality of image data through each of the plurality of sensors.
  • the electronic device 100 may acquire the confidence map 20 from the plurality of acquired image data.
  • the electronic device 100 may obtain the confidence map 20 through [Equation 1].
  • I1 to I4 denote first to fourth image data, respectively.
  • the first image sensor 110 may be implemented as a Time of Flight (ToF) sensor or a structured light sensor.
  • ToF Time of Flight
  • the electronic device 100 may acquire the RGB image 30 using the second image sensor 120 . Specifically, the electronic device 100 may acquire an RGB image based on a signal output from the second image sensor 120 .
  • the RGB image 30 may correspond to the first depth image 10 and the confidence map 20 , respectively.
  • the RGB image 30 may be an image for the same viewpoint as the first depth image 10 and the confidence map 20 .
  • the electronic device 100 acquires the RGB image 30 corresponding to the first depth image 10 and the confidence map 20 by adjusting the activation timing of the first image sensor 110 and the second image sensor 120 . can do.
  • the electronic device 100 may generate the grayscale image 40 based on the R, G, and B values of the RGB image 30 .
  • the second image sensor 120 may be implemented as an image sensor such as a complementary metal-oxide-semiconductor (CMOS) or a charge-coupled device (CCD).
  • CMOS complementary metal-oxide-semiconductor
  • CCD charge-coupled device
  • the electronic device 100 may acquire the second depth image 50 based on the confidence map 20 and the grayscale image 40 .
  • the electronic device 100 may acquire the second depth image 50 by performing stereo matching on the confidence map 20 and the grayscale image 40 .
  • the stereo matching refers to a method of calculating a depth value by detecting a position in which an arbitrary point in one image is located in the other image, and obtaining a shifted amount of the detected result point.
  • the electronic device 100 may identify a corresponding point in the confidence map 20 and the grayscale image 40 . In this case, the electronic device 100 may identify a corresponding point by identifying the shape or outline of an object included in the confidence map 20 and the grayscale image 40 .
  • the electronic device 100 determines the disparity between the corresponding points identified in each of the confidence map 20 and the grayscale image 40 and the length of the baseline (ie, the first image sensor 100 and the second image).
  • the second depth image 50 may be generated based on the distance between the sensors 200).
  • the electronic device 100 may perform stereo matching based on the grayscale image 40 instead of the RGB image 30 . Accordingly, the electronic device 100 may more accurately identify the corresponding point, and the accuracy of the depth information included in the second depth image 50 may be improved. Meanwhile, before performing stereo matching, the electronic device 100 may perform preprocessing such as correcting a difference in brightness between the confidence map 20 and the grayscale image 40 .
  • the ToF sensor has higher angular resolution (that is, the ability to distinguish two objects that are far from each other) and distance accuracy than the stereo sensor outside a preset distance (eg, within 5 m from the ToF sensor), but Within a distance, the angular resolution and distance accuracy may be lower than that of a stereo sensor.
  • angular resolution and distance accuracy may be lower than that of a stereo sensor.
  • the electronic device 100 may acquire the third depth image 60 with improved near-field accuracy compared to the first depth image 10 by using the second depth image 50 obtained through stereo matching.
  • the electronic device 100 may acquire the third depth image 60 based on the first depth image 10 and the second depth image 50 . Specifically, the electronic device 100 may generate the third depth image 60 by synthesizing the first depth image 10 and the second depth image 50 . In this case, the electronic device 100 performs a first synthesis ratio ( ) and a second composition ratio of the second depth image 50 ( ) can be determined.
  • the first synthesis ratio ( ) and the second synthesis ratio ( ) is a value between 0 and 1, and the first synthesis ratio ( ) and the second synthesis ratio ( ) can sum to 1.
  • the first synthesis ratio ( ) when 0.6 (or 60%), the second synthesis ratio ( ) can be 0.4 (or 40%).
  • the first synthesis ratio ( ) and the second synthesis ratio ( ) will be described in more detail on how to determine it.
  • FIG. 2 is a graph illustrating a first composition ratio and a second composition ratio according to a depth value of a first depth image according to an embodiment of the present disclosure.
  • the electronic device 100 performs a first synthesis ratio ( ) and the second synthesis ratio ( ) can be determined.
  • the depth value D of the first region R1 is smaller than the first threshold distance (eg, 20 cm) (Dth1), the first composition ratio ( ) to 0, the second synthesis ratio ( ) can be determined to be 1. That is, the electronic device 100 sets the depth value of the second depth image 50 to the depth value of the third depth image 60 for a region in which the depth value D is smaller than the first threshold distance Dth1 among the plurality of regions. can be obtained by value. Accordingly, the electronic device 100 may acquire the third depth image 60 with improved near-field accuracy compared to the first depth image 10 .
  • the first threshold distance eg, 20 cm
  • Dth1 the first composition ratio ( ) to 0
  • the second synthesis ratio ( ) can be determined to be 1. That is, the electronic device 100 sets the depth value of the second depth image 50 to the depth value of the third depth image 60 for a region in which the depth value D is smaller than the first threshold distance Dth1 among the plurality of regions. can be obtained by value. Accordingly, the electronic device 100 may acquire
  • a depth value D of a second region R2 greater than a second threshold distance (eg, 3m) (Dth2) has a first composition ratio.
  • ( ) to the second synthesis ratio ( ) can be determined to be 0. That is, the electronic device 100 sets the depth value D of the first depth image 50 to the third depth image 60 for an area in which the depth value D is greater than the second threshold distance Dth2 among the plurality of areas. ) can be obtained as a depth value.
  • the depth value D is greater than the first threshold distance Dth1 and smaller than the second threshold distance Dth2 for the third region R3 .
  • the first composition ratio ( ) increases and the second synthesis ratio ( ) so that the first synthesis ratio ( ) and the second synthesis ratio ( ) can be determined. Since the first image sensor 110 has a higher distance angular resolution than the second image sensor 120 , the greater the depth value D, the greater the first synthesis ratio ( ) is increased, the accuracy of the depth value of the third depth image 60 may be improved.
  • the electronic device 100 based on the pixel value P of the confidence map 20, the first synthesis ratio ( ) and the second synthesis ratio ( ) can be determined.
  • FIG 3 is a graph illustrating a first synthesis ratio and a second synthesis ratio according to pixel values of a confidence map according to an embodiment of the present disclosure.
  • the electronic device 100 may identify a fourth region R4 in which the pixel value P is smaller than the first threshold value Pth1 among the plurality of regions of the confidence map 20 .
  • the electronic device 100 performs a first synthesis ratio ( ) to 0, the second synthesis ratio ( ) can be determined to be 1. That is, if the electronic device 100 determines that the reliability of the first depth image 10 is less than the first threshold value Pth1 , the electronic device 100 sets the depth value of the second depth image 50 to the depth value of the third depth image 60 . can be obtained by value. Accordingly, the electronic device 100 may acquire the third depth image 60 having improved distance accuracy compared to the first depth image 10 .
  • the electronic device 100 may identify a fifth region R5 in which the pixel value is greater than the second threshold value Pth2 among the plurality of regions of the confidence map 20 .
  • the electronic device 100 performs a first synthesis ratio ( ) to the second synthesis ratio ( ) can be set to 0. That is, if the electronic device 100 determines that the reliability of the first depth image 10 is greater than the second threshold value Pth2 , the electronic device 100 sets the depth value of the first depth image 10 to the depth value of the third depth image 60 . can be obtained by value.
  • the electronic device 100 may identify a sixth region R6 in which the pixel value P is greater than the first threshold value Pth1 and smaller than the second threshold value Pth2 among the plurality of regions of the confidence map 20 . have.
  • the electronic device 100 synthesizes each region of the first depth image 10 and the second depth image 50 corresponding to the sixth region R6 , as the pixel value P increases, the first Composite ratio ( ) increases and the second synthesis ratio ( ) so that the first synthesis ratio ( ) and the second synthesis ratio ( ) can be determined. That is, as the reliability of the first depth image 10 increases in the electronic device 100 , the first synthesis ratio ( ) can be increased. Accordingly, the accuracy of the depth value of the third depth image 60 may be improved.
  • the electronic device 100 performs a first synthesis ratio ( ) and the second synthesis ratio ( ) can be determined.
  • the electronic device 100 has a first composition ratio (R3) to the third region R3. ) and the second synthesis ratio ( ), the pixel value P of the confidence map 20 may be considered.
  • the electronic device 100 performs the first synthesis ratio ( ) is the second synthesis ratio ( ) to be greater than the first synthesis ratio ( ) and the second synthesis ratio ( ) can be determined.
  • the electronic device 100 performs the first synthesis ratio ( ) is the second synthesis ratio ( ) to be less than the first composition ratio ( ) and the second synthesis ratio ( ) can be determined.
  • the electronic device 100 determines that the first composition ratio ( ) can be increased. That is, in the electronic device 100 , as the reliability of the first depth image 10 increases, the first synthesis ratio ( ) can be increased.
  • the first synthesis ratio obtained in this way ( ) and the second synthesis ratio ( ), the electronic device 100 may acquire the third depth image 60 .
  • the electronic device 100 may acquire distance information about the object based on the third depth image 60 .
  • the electronic device 100 may generate a driving path of the electronic device 100 based on the third depth image 60 .
  • the first synthesis ratio ( ) and the second synthesis ratio ( ) is shown to vary linearly, but this is only an example, and the first synthesis ratio ( ) and the second synthesis ratio ( ) can vary non-linearly.
  • the first depth image 10 may include a 1-1 region R1-1, a 2-1 region R2-1, and a 3-1 region R3-1. have.
  • the 1-1 region R1-1 may correspond to the first region R1 of FIG. 2
  • the 2-1 region R2-1 may correspond to the second region R2 of FIG. 2 . That is, the depth value D11 of the 1-1 region R1-1 is smaller than the first threshold distance Dth1, and the depth value D12 of the 2-1 region R2-1 is the second threshold distance Dth1. It may be greater than the distance Dth2.
  • the 3-1 th region R3 - 1 may correspond to the third region R3 of FIG. 2 . That is, the depth value D13 of the 3-1 th region R3 - 1 may be greater than the first threshold distance Dth1 and less than the second threshold distance Dth2 .
  • the electronic device 100 When the electronic device 100 synthesizes the first depth image 10 and the second depth image 50 with respect to the 1-1 region R1-1, the first synthesis ratio ( ) to 0, the second synthesis ratio ( ) can be determined to be 1. Accordingly, the electronic device 100 may obtain the depth value D21 of the second depth image 50 as the depth value D31 of the third depth image 60 .
  • the electronic device 100 When the electronic device 100 synthesizes the first depth image 10 and the second depth image 50 with respect to the 2-1 region R2-1, the first synthesis ratio ( ) to the second synthesis ratio ( ) can be set to 0. Accordingly, the electronic device 100 may obtain the depth value D12 of the first depth image 10 as the depth value D32 of the third depth image 60 .
  • the electronic device 100 When synthesizing the first depth image 10 and the second depth image 50 with respect to the 3-1 th region R3 - 1 , the electronic device 100 performs a first synthesis ratio based on the confidence map 20 . ( ) and the second synthesis ratio ( ) can be determined. For example, when the depth value P3 of the confidence map 20 is smaller than a preset value, the electronic device 100 displays the first depth image 10 and the second depth image 10 with respect to the 3-1 region R3-1. When synthesizing the depth image 50, the first synthesizing ratio ( ) is the second synthesis ratio ( ) to be less than the first composition ratio ( ) is the second synthesis ratio ( ) can be determined.
  • the electronic device 100 displays the first depth image 10 and the second depth image 10 with respect to the 3-1 region R3-1.
  • the first synthesizing ratio ( ) is the second synthesis ratio ( ) to be greater than the first synthesis ratio ( ) is the second synthesis ratio ( ) can be determined.
  • the electronic device 100 sets the first composition ratio ( ) is applied, and the second composition ratio ( ) to obtain the depth value D33 of the third depth image 60 .
  • the electronic device 100 may obtain the third depth image 60 by applying a constant synthesis ratio to the same object included in the first depth image 10 and the second depth image 50 .
  • the RGB image 30 may include a first object ob1 and a second object ob2 .
  • the electronic device 100 may analyze the RGB image 30 to identify the first object ob1 .
  • the electronic device 100 may identify the first object ob1 using an object recognition algorithm.
  • the electronic device 100 may identify the first object ob1 by inputting the RGB image 30 into a neural network model trained to identify an object included in the image.
  • the electronic device 100 may apply a constant synthesizing ratio. For example, the electronic device 100 may set the 1-1 synthesis ratio ( ) and the 2-1 synthesis ratio ( ) can be applied. Accordingly, the electronic device 100 may acquire the third depth image 60 in which the distance error with respect to the first object ob1 is improved.
  • FIG. 6 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 obtains a first depth image and a confidence map corresponding to the first depth image using the first image sensor (S610), and uses the second image sensor to obtain the first depth image.
  • a corresponding RGB image may be acquired (S620).
  • the electronic device 100 may acquire a second depth image based on the confidence map and the RGB image (S630).
  • the electronic device 100 may obtain a grayscale image of the RGB image, and may obtain a second depth image by performing stereo matching between the confidence map and the grayscale image.
  • the electronic device 100 may acquire the second depth image by stereo matching the confidence map and the gray scale image based on the shape of the object included in the confidence map and the gray scale image.
  • the electronic device 100 may obtain a third depth image by synthesizing the first depth image and the second depth image based on the pixel value of the confidence map (S640).
  • the electronic device 100 determines a synthesis ratio of the first depth image and the second depth image based on the pixel value of the confidence map, and synthesizes the first depth image and the second depth image based on the determined synthesis ratio to obtain a second depth image. 3 It is possible to acquire a depth image.
  • the electronic device 100 sets the first composition ratio of the first depth image to be greater than the second composition ratio of the second depth image for a region in which a pixel value is greater than a preset value among a plurality of regions of the confidence map.
  • a synthesis ratio and a second synthesis ratio may be determined.
  • the electronic device 100 may determine the first composition ratio and the second composition ratio so that the first composition ratio is smaller than the second composition ratio for a region in which a pixel value is smaller than a preset value among a plurality of regions of the confidence map. .
  • FIG. 7 is a perspective view illustrating an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a first image sensor 110 and a second image sensor 120 .
  • the distance between the first image sensor 110 and the second image sensor 120 may be defined as the length L of the baseline.
  • the conventional stereo sensor using two cameras has a limited baseline length, so there is a limitation in that angular resolution for a long distance is deteriorated.
  • the conventional stereo sensor in order to increase the angular resolution for a long distance, since the length of the baseline must be increased, the conventional stereo sensor has a problem in that it is difficult to miniaturize it.
  • the electronic device 100 uses the first image sensor 110 having a higher angular resolution for a distance compared to the stereo sensor, so that even if the length L of the baseline is not increased, the distance information can be obtained. Accordingly, the electronic device 100 may have a technical effect of being advantageous in miniaturization compared to a conventional stereo sensor.
  • the electronic device 100 includes a light emitting unit 105 , a first image sensor 110 , a second image sensor 120 , a memory 130 , a communication interface 140 , and a driving unit 150 . and a processor 160 .
  • the electronic device 100 according to an embodiment of the present disclosure may be implemented as a movable robot.
  • the light emitting unit 105 may emit light toward an object.
  • the light emitted from the light emitting unit 105 (hereinafter, emitted light) may have a sinusoidal wave shape. However, this is only an example, and the emitted light may have a waveform in the form of a square wave.
  • the light emitting unit 105 may include various types of laser devices.
  • the light emitting unit 105 may include a vertical cavity surface emitting laser (VCSEL) or a laser diode (LD).
  • the light emitting unit 105 may include a plurality of laser devices. In this case, a plurality of laser devices may be arranged in an array form.
  • the light emitting unit 105 may emit light of various frequency bands. For example, the light emitting unit 105 may emit a laser beam having a frequency of 100 MHz.
  • the first image sensor 110 is configured to acquire a depth image.
  • the first image sensor 110 may acquire reflected light reflected from the object after being emitted from the light emitting unit 105 .
  • the processor 160 may acquire a depth image based on the reflected light acquired by the first image sensor 110 .
  • the processor 160 may acquire a depth image based on a difference (ie, flight time of light) between an emission time point of the light emitted from the light emitting unit 105 and a time point at which the image sensor 110 receives the reflected light. have.
  • the processor 160 may acquire a depth image based on a difference between the phase of the light emitted from the light emitting unit 105 and the phase of the reflected light acquired by the image sensor 110 .
  • the first image sensor 110 may be implemented as a Time of Flight (ToF) sensor or a structured light sensor.
  • ToF Time of Flight
  • the second image sensor 120 is configured to acquire an RGB image.
  • the second image sensor 120 may be implemented as an image sensor such as a complementary metal-oxide-semiconductor (CMOS) or a charge-coupled device (CCD).
  • CMOS complementary metal-oxide-semiconductor
  • CCD charge-coupled device
  • the memory 130 may store an operating system (OS) for controlling overall operations of the components of the electronic device 100 and commands or data related to the components of the electronic device 100 .
  • OS operating system
  • the memory 130 may be implemented as a non-volatile memory (eg, a hard disk, a solid state drive (SSD), a flash memory), a volatile memory, or the like.
  • the communication interface 140 includes at least one circuit and may communicate with various types of external devices according to various types of communication methods.
  • the communication interface 140 is a Wi-Fi communication module, a cellular communication module, a 3G (3rd generation) mobile communication module, a 4G (4th generation) mobile communication module, a 4th generation LTE (Long Term Evolution) communication module, 5G (5th generation) mobile communication It may include at least one of the modules.
  • the electronic device 100 may transmit an image obtained using the second image sensor 120 to the user terminal through the communication interface 140 .
  • the driving unit 150 is configured to move the electronic device 100 .
  • the driving unit 150 may include an actuator for driving the electronic device 100 .
  • the driving unit 150 may include an actuator for driving a motion of another physical component (eg, an arm, etc.) of the electronic device 100 .
  • the electronic device 100 may control the driving unit 150 to move or move based on depth information obtained through the first image sensor 110 and the second image sensor 120 .
  • the processor 160 may control the overall operation of the electronic device 100 .
  • the processor 160 includes a first depth image acquisition module 161 , a confidence map acquisition module 162 , an RGB image acquisition module 163 , a grayscale image acquisition module 164 , and a second depth image It may include an acquisition module 165 and a third depth image acquisition module 166 . Meanwhile, each module of the processor 160 may be implemented as a software module, but may also be implemented in a form in which software and hardware are combined.
  • the first depth image acquisition module 161 may acquire a first depth image based on a signal output from the first image sensor 110 .
  • the first image sensor 110 may include a plurality of sensors that are activated with a preset time difference.
  • the first depth image acquisition module 161 may calculate a flight time of light based on a plurality of image data acquired through a plurality of sensors, and acquire a first depth image based on the calculated flight time of the light. have.
  • the confidence map acquisition module 162 may acquire a confidence map based on a signal output from the first image sensor 110 .
  • the first image sensor 110 may include a plurality of sensors that are activated with a preset time difference.
  • the confidence map acquisition module 162 may acquire a plurality of image data through each of the plurality of sensors.
  • the confidence map acquisition module 162 may acquire the confidence map 20 using the plurality of acquired image data. For example, the confidence map acquisition module 162 may acquire the confidence map 20 based on [Equation 1] described above.
  • the RGB image acquisition module 163 may acquire an RGB image based on a signal output from the second image sensor 120 .
  • the obtained RGB image may correspond to the first depth image and the confidence map.
  • the grayscale image acquisition module 164 may acquire a grayscale image based on the RGB image acquired by the RGB image acquisition module 163 . Specifically, the grayscale image acquisition module 164 may generate a grayscale image based on R, G, and B values of the RGB image.
  • the second depth image acquisition module 165 may acquire a second depth image based on the confidence map acquired by the confidence map acquisition module 162 and the grayscale image acquired by the grayscale image acquisition module 164. have. Specifically, the second depth image acquisition module 165 may generate a second depth image by performing stereo matching on the confidence map and the grayscale image. The second depth image acquisition module 165 may identify a corresponding point in the confidence map and the grayscale image. In this case, the second depth image acquisition module 165 may identify a corresponding point by identifying the shape or outline of an object included in the confidence map and the grayscale image. In addition, the second depth image acquisition module 165 may generate a second depth image based on disparity between corresponding points identified in each of the confidence map and the grayscale image and the length of the baseline.
  • the second depth image acquisition module 165 may more accurately identify the corresponding point by performing stereo matching based on the grayscale image instead of the RGB image. Accordingly, the accuracy of the depth information included in the second depth image may be improved. Meanwhile, the second depth image acquisition module 165 may perform preprocessing such as correcting a difference in brightness between the confidence map and the grayscale image before performing stereo matching.
  • the third depth image acquisition module 166 may acquire a third depth image based on the first depth image and the second depth image. Specifically, the third depth image acquisition module 166 may generate a third depth image by synthesizing the first depth image and the second depth image. In this case, the third depth image acquisition module 166 may determine a first composition ratio for the first depth image and a second composition ratio for the second depth image based on the depth value of the first depth image. For example, the third depth image acquisition module 166 sets the first synthesis ratio to 0 and the second synthesis ratio to 1 for a first region in which the depth value is smaller than the first threshold distance among the plurality of regions of the first depth image. can be decided with Also, the third depth image acquisition module 166 determines the first composition ratio as 1 and the second composition ratio as 0 for a second region in which the depth value is greater than the second threshold distance among the plurality of regions of the first depth image. can
  • the third depth image acquisition module 166 synthesizes a third region having a depth value greater than the first threshold distance and smaller than the second threshold distance among the plurality of regions of the first depth image based on the pixel value of the confidence map. You can decide the rain. For example, when the pixel value of the confidence map corresponding to the third region is smaller than a preset value, the third depth image acquisition module 166 may be configured to perform the first synthesis ratio and the second combination ratio so that the first synthesis ratio is smaller than the second synthesis ratio. The composition ratio can be determined.
  • the third depth image acquisition module 166 may determine the first composition ratio and the second composition ratio so that the first composition ratio is greater than the second composition ratio. have. That is, the third depth image acquisition module 166 may determine the first and second synthesis ratios so that the first synthesis ratio increases and the second synthesis ratio decreases as the pixel value of the confidence map corresponding to the third region increases. .
  • the third depth image acquisition module 166 may synthesize the first depth image and the second depth image at a constant synthesis ratio for the same object. For example, the third depth image acquisition module 166 may analyze the RGB image to identify an object included in the RGB image. In addition, the third depth image acquisition module 166 applies a constant synthesis ratio to the first region of the first depth image and the second region of the second depth image corresponding to the identified object to obtain the first depth image and the second image. Depth images can be synthesized.
  • the processor 160 may adjust the sync of the first image sensor 110 and the second image sensor 120 . Accordingly, the first depth image, the confidence map, and the second depth image may correspond to each other. That is, the first depth image, the confidence map, and the second depth image may be images for the same viewpoint.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor itself.
  • embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing the processing operation according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • the processing operation according to the above-described various embodiments may be performed by a specific device.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 제1 이미지 센서, 제2 이미지 센서 및 프로세서를 포함하고, 프로세서는, 제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 컨피던스 맵(confidence map)을 획득하고, 제2 이미지 센서를 이용하여 RGB 이미지를 획득하고, 컨피던스 맵 및 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하고, 컨피던스 맵의 픽셀값을 바탕으로 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득할 수 있다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 뎁스 이미지를 획득하는 전자 장치 및 그 제어 방법에 관한 것이다.
근래에는 전자 기술의 발달에 힘입어 자율주행 로봇에 대한 연구가 활발히 진행되고 있다. 로봇의 원활한 주행을 위해서는 로봇 주변에 대한 정확한 뎁스 정보를 획득하는 것이 중요하다. 뎁스 정보를 획득하기 위한 센서로는, 광의 비행 시간이나 위상 정보를 바탕으로 뎁스 이미지(Depth image)를 획득하는 ToF(Time of Flight) 센서, 두 개의 카메라를 통해 촬상된 이미지를 바탕으로 뎁스 이미지를 획득하는 스테레오 카메라 등이 있다.
한편, ToF센서는 스테레오 카메라에 비해 원거리에 대한 각도 분해능이 우수하나, 다중 반사 등으로 인하여 근거리 정보에 대한 정확도가 상대적으로 낮다는 한계가 있다. 또한, 스테레오 카메라는 상대적으로 정확도가 높은 근거리 정보를 획득할 수 있으나, 원거리 측정을 위해서는 두 개의 카메라가 서로 멀리 떨어져야 하므로 소형화 제작이 불리하다는 단점을 갖는다.
따라서, 소형화 제작이 용이하면서 근거리 정보의 정확도가 높은 뎁스 이미지를 획득하기 위한 기술에 대한 필요성이 대두된다.
본 발명이 해결하고자 하는 일 기술적 과제는, 소형화 제작이 용이하며 근거리에 대한 거리 정보의 정확도가 개선된 전자 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치에 있어서, 제1 이미지 센서; 제2 이미지 센서; 및 프로세서;를 포함하고, 상기 프로세서는, 제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 상기 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하고, 제2 이미지 센서를 이용하여 상기 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득하고, 상기 컨피던스 맵 및 상기 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하고, 상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는 전자 장치가 제공될 수 있다.
상기 프로세서는, 상기 RGB 이미지에 대한 그레이 스케일(greyscale) 이미지를 획득하고, 상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭(stereo matching)하여 상기 제2 뎁스 이미지를 획득할 수 있다.
상기 프로세서는, 상기 컨피던스 맵 및 상기 그레이 스케일 이미지에 포함된 오브젝트의 형태를 바탕으로 상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭하여 상기 제2 뎁스 이미지를 획득할 수 있다.
상기 프로세서는, 상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 합성비를 결정하고, 상기 결정된 합성비를 바탕으로 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득할 수 있다.
상기 프로세서는, 상기 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 큰 영역에 대해서는 상기 제1 뎁스 이미지의 제1 합성비가 상기 제2 뎁스 이미지의 제2 합성비보다 크도록 상기 제1 합성비 및 상기 제2 합성비를 결정하고, 상기 컨피던스 맵의 복수의 영역 중 픽셀값이 상기 기설정된 값보다 작은 영역에 대해서는 상기 제1 합성비가 상기 제2 합성비보다 작도록 상기 제1 합성비 및 상기 제2 합성비를 결정할 수 있다.
상기 프로세서는, 상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 작은 제1 영역에 대해서는, 상기 제2 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하고, 상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제2 임계 거리보다 큰 제2 영역에 대해서는, 상기 제1 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득할 수 있다.
상기 프로세서는, 상기 RGB 이미지에 포함된 오브젝트를 식별하고, 상기 식별된 오브젝트에 대응되는 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 각각의 영역을 식별하고, 상기 각각의 영역에 대해서는 일정한 합성비로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 상기 제3 뎁스 이미지를 획득할 수 있다.
상기 제1 이미지 센서는 ToF(Time of Flight) 센서이고, 상기 제2 이미지 센서는 RGB 센서일 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 상기 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하는 단계; 제2 이미지 센서를 이용하여 상기 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득하는 단계; 상기 컨피던스 맵 및 상기 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하는 단계; 및 상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
상기 제2 뎁스 이미지를 획득하는 단계는, 상기 RGB 이미지에 대한 그레이 스케일(greyscale) 이미지를 획득하고, 상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭(stereo matching)하여 상기 제2 뎁스 이미지를 획득할 수 있다.
상기 제2 뎁스 이미지를 획득하는 단계는, 상기 컨피던스 맵 및 상기 그레이 스케일 이미지에 포함된 오브젝트의 형태를 바탕으로 상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭하여 상기 제2 뎁스 이미지를 획득할 수 있다.
상기 제3 뎁스 이미지를 획득하는 단계는, 상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 합성비를 결정하고, 상기 결정된 합성비를 바탕으로 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득할 수 있다.
상기 합성비를 결정하는 단계는, 상기 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 큰 영역에 대해서는 상기 제1 뎁스 이미지의 제1 합성비가 상기 제2 뎁스 이미지의 제2 합성비보다 크도록 상기 제1 합성비 및 상기 제2 합성비를 결정하고, 상기 컨피던스 맵의 복수의 영역 중 픽셀값이 상기 기설정된 값보다 작은 영역에 대해서는 상기 제1 합성비가 상기 제2 합성비보다 작도록 상기 제1 합성비 및 상기 제2 합성비를 결정할 수 있다.
상기 제3 뎁스 이미지를 획득하는 단계는, 상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 작은 제1 영역에 대해서는, 상기 제2 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하고, 상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제2 임계 거리보다 큰 제2 영역에 대해서는, 상기 제1 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득할 수 있다.
상기 제3 뎁스 이미지를 획득하는 단계는, 상기 RGB 이미지에 포함된 오브젝트를 식별하는 단계, 상기 식별된 오브젝트에 대응되는 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 각각의 영역을 식별하는 단계, 및 상기 식별된 각각의 영역에 대해서는 일정한 합성비로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 상기 제3 뎁스 이미지를 획득하는 단계를 포함할 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 종래의 ToF 센서에 비해 근거리에 대한 거리 정보의 정확도가 향상된 거리 정보를 획득할 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 일 실시 예에 따른 뎁스 이미지 획득 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 제1 뎁스 이미지의 뎁스값에 따른 제1 합성비 및 제2 합성비를 나타낸 그래프이다.
도 3은 본 개시의 일 실시 예에 따른 컨피던스 맵의 픽셀값에 따른 제1 합성비 및 제2 합성비를 나타낸 그래프이다.
도 4는 본 개시의 일 실시 예에 따른 제3 뎁스 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 RGB 이미지를 도시한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 도시한 순서도이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 사시도이다.
도 8a는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 8b는 본 개시의 일 실시 예에 따른 프로세서의 구성을 도시한 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 뎁스 이미지 획득 방법을 설명하기 위한 도면이다.
전자 장치(100)는 제1 이미지 센서(110)를 이용하여 제1 뎁스 이미지(10)를 획득할 수 있다. 구체적으로, 전자 장치(100)는 제1 이미지 센서(110)로부터 출력되는 신호를 바탕으로 제1 뎁스 이미지(10)를 획득할 수 있다. 여기서, 제1 뎁스 이미지(10)는, 전자 장치(100)로부터 오브젝트까지의 거리를 나타내는 이미지로서, 제1 뎁스 이미지의 각 픽셀의 뎁스값(또는 거리값)은, 전자 장치(100)로부터 각 픽셀에 대응되는 오브젝트까지의 거리를 의미할 수 있다.
전자 장치(100)는 제1 이미지 센서(110)를 이용하여 컨피던스 맵(confidence map)(20)을 획득할 수 있다. 여기서, 컨피던스 맵(또는 컨피던스 이미지)(20)이란, 제1 뎁스 이미지(10)의 각 영역별 뎁스값에 대한 신뢰도를 나타내는 이미지를 의미한다. 이 때, 컨피던스 맵(20)은 제1 뎁스 이미지(10)에 대응되는 적외선(IR) 이미지일 수 있다. 그리고, 전자 장치(100)는 컨피던스 맵(20)을 바탕으로 제1 뎁스 이미지(10)의 각 영역별 뎁스값의 신뢰도를 판단할 수 있다.
한편, 전자 장치(100)는 제1 이미지 센서(110)로부터 출력되는 신호를 바탕으로 컨피던스 맵(20)을 획득할 수 있다. 구체적으로, 제1 이미지 센서(110)는 기 설정된 시간 차이를 두고 활성화되는 복수의 센서를 포함할 수 있다. 이 때, 전자 장치(100)는 복수의 센서 각각을 통해 복수의 이미지 데이터를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 복수의 이미지 데이터를 컨피던스 맵(20)을 획득할 수 있다. 예로, 전자 장치(100)는 [수학식 1]을 통해 컨피던스 맵(20)을 획득할 수 있다.
Figure PCTKR2021008433-appb-img-000001
여기서, I1 내지 I4는 각각 제1 내지 제4 이미지 데이터를 의미한다.
한편, 제1 이미지 센서(110)는 ToF(Time of Flight) 센서 또는 구조광(structured light) 센서로 구현될 수 있다.
전자 장치(100)는 제2 이미지 센서(120)를 이용하여 RGB 이미지(30)를 획득할 수 있다. 구체적으로, 전자 장치(100)는 제2 이미지 센서(120)로부터 출력되는 신호를 바탕으로 RGB 이미지를 획득할 수 있다. 이 때, RGB 이미지(30)는 제1 뎁스 이미지(10) 및 컨피던스 맵(20)에 각각 대응될 수 있다. 예로, RGB 이미지(30)는 제1 뎁스 이미지(10) 및 컨피던스 맵(20)와 동일한 시점에 대한 이미지일 수 있다.
전자 장치(100)는 제1 이미지 센서(110) 및 제2 이미지 센서(120)의 활성화 시점을 조절하여 제1 뎁스 이미지(10) 및 컨피던스 맵(20)에 대응되는 RGB 이미지(30)를 획득할 수 있다. 그리고, 전자 장치(100)는 RGB 이미지(30) 의 R, G, B 값을 바탕으로 그레이스케일 이미지(40)를 생성할 수 있다. 한편, 제2 이미지 센서(120)는 CMOS(Complementary Metal-Oxide-Semiconductor), CCD(Charge-Coupled Device) 등의 이미지 센서로 구현될 수 있다.
전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40)를 바탕으로 제2 뎁스 이미지(50)를 획득할 수 있다. 특히, 전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40)에 대해 스테레오 매칭(stereo matching)을 수행하여 제2 뎁스 이미지(50)를 획득할 수 있다. 여기서, 스테레오 매칭이란, 한쪽 이미지의 임의의 한 점이 다른 쪽 이미지의 어느 위치에 있는지를 검출하고, 검출된 결과 점의 이동된 량을 구하여 뎁스 값을 산출하는 방법을 말한다. 전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40)에서 대응점을 식별할 수 있다. 이 때, 전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40)에 포함된 오브젝트의 형태나 윤곽을 식별하여 대응점을 식별할 수 있다. 그리고, 전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40) 각각에서 식별된 대응점 간의 디스패리티(disparity)와 베이스라인의 길이(즉, 제1 이미지 센서(100)와 제2 이미지 센서(200) 사이의 거리)를 바탕으로 제2 뎁스 이미지(50)를 생성할 수 있다.
한편, IR 이미지인 컨피던스 맵(20)과 RGB 이미지(30)를 바탕으로 스테레오 매칭을 수행할 경우, 픽셀값의 차이로 인하여 정확한 대응점을 찾는 것이 어려울 수 있다. 따라서, 전자 장치(100)는 RGB 이미지(30)가 아닌 그레일스케일 이미지(40)를 바탕으로 스테레오 매칭을 수행할 수 있다. 이에 따라, 전자 장치(100)는 대응점을 보다 정확히 식별할 수 있으며, 제2 뎁스 이미지(50)에 포함된 뎁스 정보의 정확도가 향상될 수 있다. 한편, 전자 장치(100)는 스테레오 매칭을 수행하기 전에 컨피던스 맵(20) 및 그레이스케일 이미지(40)의 밝기 차이를 보정하는 등의 전처리를 수행할 수도 있다.
한편, ToF 센서는 기설정된 거리(예로, ToF 센서로부터 5m 이내 거리) 밖에서는 스테레오 센서에 비해 각도 분해능(즉, 서로 떨어져 있는 두 물체를 서로 구별할 수 있는 능력) 및 거리 정확도가 높으나, 기설정된 거리 이내에서는 스테레오 센서에 비해 각도 분해능 및 거리 정확도가 낮을 수 있다. 예로, 반사광의 세기가 임계값보다 큰 경우 발생되는 렌즈 플레어(lens flare) 또는 고스트 현상으로 뎁스 이미지 상에 근거리의 허상이 나타나는 현상이 발생하기도 하며, 이에 따라, ToF 센서를 통해 획득되는 뎁스 이미지는 근거리 오차를 포함하는 문제가 있었다. 이에, 전자 장치(100)는 스테레오매칭을 통해 획득된 제2 뎁스 이미지(50)를 이용하여 제1 뎁스 이미지(10)보다 근거리 정확도가 향상된 제3 뎁스 이미지(60)를 획득할 수 있다.
전자 장치(100)는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 바탕으로 제3 뎁스 이미지(60)를 획득할 수 있다. 구체적으로, 전자 장치(100)는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성하여 제3 뎁스 이미지(60)를 생성할 수 있다. 이 때, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값 및 컨피던스 맵(20)의 픽셀값 중 적어도 하나를 바탕으로 제1 뎁스 이미지(10)의 제1 합성비(
Figure PCTKR2021008433-appb-img-000002
) 및 제2 뎁스 이미지(50)의 제2 합성비(
Figure PCTKR2021008433-appb-img-000003
)를 결정할 수 있다. 여기서, 제1 합성비(
Figure PCTKR2021008433-appb-img-000004
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000005
)는 0에서 1사이의 값으로, 제1 합성비(
Figure PCTKR2021008433-appb-img-000006
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000007
)의 합은 1이될 수 있다. 예로, 제1 합성비(
Figure PCTKR2021008433-appb-img-000008
) 0.6(또는 60%)인 경우, 제2 합성비(
Figure PCTKR2021008433-appb-img-000009
)는 0.4(또는 40%)가 될 수 있다. 이하에서는, 제1 합성비(
Figure PCTKR2021008433-appb-img-000010
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000011
)를 결정하는 방법에 대해 보다 상세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 제1 뎁스 이미지의 뎁스값에 따른 제1 합성비 및 제2 합성비를 나타낸 그래프이다. 도 2를 참조하면, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값(D)을 바탕으로 제1 합성비(
Figure PCTKR2021008433-appb-img-000012
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000013
)를 결정할 수 있다.
전자 장치(100)는 제1 뎁스 이미지(10)의 복수의 영역 중 뎁스값(D)이 제1 임계 거리(예로, 20cm)(Dth1)보다 작은 제1 영역(R1)에 대해서는 제1 합성비(
Figure PCTKR2021008433-appb-img-000014
)를 0으로 제2 합성비(
Figure PCTKR2021008433-appb-img-000015
)를 1로 결정할 수 있다. 즉, 전자 장치(100)는 복수의 영역 중 뎁스값(D)이 제1 임계 거리(Dth1)보다 작은 영역에 대해서는 제2 뎁스 이미지(50)의 뎁스값을 제3 뎁스 이미지(60)의 뎁스값으로 획득할 수 있다. 이에 따라, 전자 장치(100)는 제1 뎁스 이미지(10)에 비해 근거리 정확도가 향상된 제3 뎁스 이미지(60)를 획득할 수 있다.
전자 장치(100)는 제1 뎁스 이미지(10)의 복수의 영역 중 뎁스값(D)이 제2 임계 거리(예로, 3m)(Dth2)보다 큰 제2 영역(R2)에 대해서는 제1 합성비(
Figure PCTKR2021008433-appb-img-000016
)를 1로 제2 합성비(
Figure PCTKR2021008433-appb-img-000017
)를 0으로 결정할 수 있다. 즉, 전자 장치(100)는 복수의 영역 중 뎁스값(D)이 제2 임계 거리(Dth2)보다 큰 영역에 대해서는 제1 뎁스 이미지(50)의 뎁스값(D)을 제3 뎁스 이미지(60)의 뎁스값으로 획득할 수 있다.
전자 장치(100)는 제1 뎁스 이미지(10)의 복수의 영역 중 뎁스값(D)이 제1 임계 거리(Dth1)보다 크고 제2 임계 거리(Dth2)보다 작은 제3 영역(R3)에 대해서는 뎁스값(D)이 증가할수록 제1 합성비(
Figure PCTKR2021008433-appb-img-000018
)가 증가하고 제2 합성비(
Figure PCTKR2021008433-appb-img-000019
)가 감소하도록 제1 합성비(
Figure PCTKR2021008433-appb-img-000020
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000021
)를 결정할 수 있다. 제1 이미지 센서(110)는 제2 이미지 센서(120)보다 원거리 각도 분해능이 높으므로, 뎁스값(D)이 클수록 제1 합성비(
Figure PCTKR2021008433-appb-img-000022
)를 증가시켰을 때 제3 뎁스 이미지(60)의 뎁스값에 대한 정확도가 향상될 수 있다.
한편, 전자 장치(100)는 컨피던스 맵(20)의 픽셀값(P)을 바탕으로 제1 합성비(
Figure PCTKR2021008433-appb-img-000023
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000024
)를 결정할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 컨피던스 맵의 픽셀값에 따른 제1 합성비 및 제2 합성비를 나타낸 그래프이다.
전자 장치(100)는 컨피던스 맵(20)의 복수의 영역 중 픽셀값(P)이 제1 임계값(Pth1)보다 작은 제4 영역(R4)을 식별할 수 있다. 그리고, 전자 장치(100)는 제4 영역(R4)에 대응되는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)의 각 영역을 합성할 때, 제1 합성비(
Figure PCTKR2021008433-appb-img-000025
)를 0으로 제2 합성비(
Figure PCTKR2021008433-appb-img-000026
)를 1로 결정할 수 있다. 즉, 전자 장치(100)는 제1 뎁스 이미지(10)의 신뢰도가 제1 임계값(Pth1)보다 작다고 판단되면, 제2 뎁스 이미지(50)의 뎁스값을 제3 뎁스 이미지(60)의 뎁스값으로 획득할 수 있다. 이에 따라, 전자 장치(100)는 제1 뎁스 이미지(10)보다 거리 정확도가 향상된 제3 뎁스 이미지(60)를 획득할 수 있다.
전자 장치(100)는 컨피던스 맵(20)의 복수의 영역 중 픽셀값이 제2 임계값(Pth2)보다 큰 제5 영역(R5)을 식별할 수 있다. 그리고, 전자 장치(100)는 제5 영역(R5)에 대응되는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)의 각 영역을 합성할 때, 제1 합성비(
Figure PCTKR2021008433-appb-img-000027
)를 1로 제2 합성비(
Figure PCTKR2021008433-appb-img-000028
)를 0으로 결정할 수 있다. 즉, 전자 장치(100)는 제1 뎁스 이미지(10)의 신뢰도가 제2 임계값(Pth2)보다 크다고 판단되면, 제1 뎁스 이미지(10)의 뎁스값을 제3 뎁스 이미지(60)의 뎁스값으로 획득할 수 있다.
전자 장치(100)는 컨피던스 맵(20)의 복수의 영역 중 픽셀값(P)이 제1 임계값(Pth1)보다 크고 제2 임계값(Pth2)보다 작은 제6 영역(R6)을 식별할 수 있다. 그리고, 전자 장치(100)는 제6 영역(R6)에 대응되는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)의 각 영역을 합성할 때, 픽셀값(P)이 증가할수록 제1 합성비(
Figure PCTKR2021008433-appb-img-000029
)가 증가하고 제2 합성비(
Figure PCTKR2021008433-appb-img-000030
)가 감소하도록 제1 합성비(
Figure PCTKR2021008433-appb-img-000031
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000032
)를 결정할 수 있다. 즉, 전자 장치(100)는 제1 뎁스 이미지(10)에 대한 신뢰도가 높을수록 제1 합성비(
Figure PCTKR2021008433-appb-img-000033
)를 증가시킬 수 있다. 이에 따라, 제3 뎁스 이미지(60)의 뎁스값에 대한 정확도가 향상될 수 있다.
한편, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값(D) 및 컨피던스 맵(20)의 픽셀값(P)을 바탕으로 제1 합성비(
Figure PCTKR2021008433-appb-img-000034
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000035
)를 결정할 수 있다. 특히, 전자 장치(100)는 제3 영역(R3)에 대한 제1 합성비(
Figure PCTKR2021008433-appb-img-000036
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000037
)를 결정할 때, 컨피던스 맵(20)의 픽셀값(P)을 고려할 수 있다. 예를 들어, 전자 장치(100)는 제3 영역(R3)에 대응되는 컨피던스 맵(20)의 픽셀값이 기설정된 값보다 크면, 제1 합성비(
Figure PCTKR2021008433-appb-img-000038
)가 제2 합성비(
Figure PCTKR2021008433-appb-img-000039
)보다 크도록 제1 합성비(
Figure PCTKR2021008433-appb-img-000040
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000041
)를 결정할 수 있다. 반면에, 전자 장치(100)는 제3 영역(R3)에 대응되는 컨피던스 맵(20)의 픽셀값이 기설정된 값보다 작으면, 제1 합성비(
Figure PCTKR2021008433-appb-img-000042
)가 제2 합성비(
Figure PCTKR2021008433-appb-img-000043
)보다 작도록 제1 합성비(
Figure PCTKR2021008433-appb-img-000044
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000045
)를 결정할 수 있다. 전자 장치(100)는 제3 영역(R3)에 대응되는 컨피던스 맵(20)의 픽셀값이 클수록 제1 합성비(
Figure PCTKR2021008433-appb-img-000046
)를 증가시킬 수 있다. 즉, 전자 장치(100)는 제1 뎁스 이미지(10)의 신뢰도가 높을수록, 제3 영역(R3)에 대한 제1 합성비(
Figure PCTKR2021008433-appb-img-000047
)를 증가시킬 수 있다.
이와 같이 획득된 제1 합성비(
Figure PCTKR2021008433-appb-img-000048
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000049
)를 바탕으로 전자 장치(100)는 제3 뎁스 이미지(60)를 획득할 수 있다. 전자 장치(100)는 제3 뎁스 이미지(60)를 바탕으로 오브젝트에 대한 거리 정보를 획득할 수 있다. 또는, 전자 장치(100)는 제3 뎁스 이미지(60)를 바탕으로 전자 장치(100)의 주행 경로를 생성할 수 있다. 한편, 도 2 및 도 3에서는 제1 합성비(
Figure PCTKR2021008433-appb-img-000050
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000051
)가 선형적으로 변하는 것으로 도시하였으나, 이는 일 실시 예에 불과하며, 제1 합성비(
Figure PCTKR2021008433-appb-img-000052
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000053
)는 비선형적으로 변할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 제3 뎁스 이미지를 획득하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 제1 뎁스 이미지(10)는 제1-1 영역(R1-1), 제2-1 영역(R2-1) 및 제3-1 영역(R3-1)을 포함할 수 있다. 제1-1 영역(R1-1)은 도 2의 제1 영역(R1)에 대응되며, 제2-1 영역(R2-1)은 도 2의 제2 영역(R2)에 대응될 수 있다. 즉, 제1-1 영역(R1-1)의 뎁스값(D11)은 제1 임계 거리(Dth1)보다 작으며, 제2-1 영역(R2-1)의 뎁스값(D12)은 제2 임계 거리(Dth2)보다 클 수 있다. 또한, 제3-1 영역(R3-1)은 도 2의 제3 영역(R3)에 대응될 수 있다. 즉, 제3-1 영역(R3-1)의 뎁스값(D13)은 제1 임계 거리(Dth1)보다 크며 제2 임계 거리(Dth2)보다 작을 수 있다.
전자 장치(100)는 제1-1 영역(R1-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 제1 합성비(
Figure PCTKR2021008433-appb-img-000054
)를 0으로 제2 합성비(
Figure PCTKR2021008433-appb-img-000055
)를 1로 결정할 수 있다. 따라서, 전자 장치(100)는 제2 뎁스 이미지(50)의 뎁스값(D21) 을 제3 뎁스 이미지(60)의 뎁스값(D31)으로 획득할 수 있다.
전자 장치(100)는 제2-1 영역(R2-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 제1 합성비(
Figure PCTKR2021008433-appb-img-000056
)를 1로 제2 합성비(
Figure PCTKR2021008433-appb-img-000057
)를 0으로 결정할 수 있다. 따라서, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값(D12) 을 제3 뎁스 이미지(60)의 뎁스값(D32)으로 획득할 수 있다.
전자 장치(100)는 제3-1 영역(R3-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 컨피던스 맵(20)을 바탕으로 제1 합성비(
Figure PCTKR2021008433-appb-img-000058
) 및 제2 합성비(
Figure PCTKR2021008433-appb-img-000059
)를 결정할 수 있다. 일 예로, 컨피던스 맵(20)의 뎁스값(P3)이 기 설정된 값보다 작으면, 전자 장치(100)는 제3-1 영역(R3-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 제1 합성비(
Figure PCTKR2021008433-appb-img-000060
)가 제2 합성비(
Figure PCTKR2021008433-appb-img-000061
)보다 작도록 제1 합성비(
Figure PCTKR2021008433-appb-img-000062
)가 제2 합성비(
Figure PCTKR2021008433-appb-img-000063
)를 결정할 수 있다. 다른 일 예로, 컨피던스 맵(20)의 뎁스값(P3)이 기 설정된 값보다 크면, 전자 장치(100)는 제3-1 영역(R3-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 제1 합성비(
Figure PCTKR2021008433-appb-img-000064
)가 제2 합성비(
Figure PCTKR2021008433-appb-img-000065
)보다 크도록 제1 합성비(
Figure PCTKR2021008433-appb-img-000066
)가 제2 합성비(
Figure PCTKR2021008433-appb-img-000067
)를 결정할 수 있다. 이와 같이, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값(D13)에 제1 합성비(
Figure PCTKR2021008433-appb-img-000068
)를 적용하고, 제2 뎁스 이미지(50)의 뎁스값(D23)에 제2 합성비(
Figure PCTKR2021008433-appb-img-000069
)를 적용하여 제3 뎁스 이미지(60)의 뎁스값(D33)을 획득할 수 있다.
한편, 전자 장치(100)는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)에 포함된 동일한 오브젝트에 대해서는 일정한 합성비를 적용하여 제3 뎁스 이미지(60)를 획득할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 RGB 이미지를 도시한 도면이다. 도 5를 참조하면, RGB 이미지(30)에는 제1 오브젝트(ob1) 및 제2 오브젝트(ob2)가 포함될 수 있다.
전자 장치(100)는 RGB 이미지(30)를 분석하여 제1 오브젝트(ob1)를 식별할 수 있다. 이 때, 전자 장치(100)는 오브젝트 인식 알고리즘을 이용하여 제1 오브젝트(ob1)를 식별할 수 있다. 또는, 전자 장치(100)는 RGB 이미지(30)를 이미지에 포함된 오브젝트를 식별하도록 학습된 신경망 모델에 입력하여 제1 오브젝트(ob1)를 식별할 수 있다.
전자 장치(100)는 제1 오브젝트(ob1)에 대응되는 영역에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 일정한 합성비를 적용할 수 있다. 예를 들어, 전자 장치(100)는 제1 오브젝트(ob1)에 대응되는 영역에 대해 고정된 값인 제1-1 합성비(
Figure PCTKR2021008433-appb-img-000070
) 및 제2-1 합성비(
Figure PCTKR2021008433-appb-img-000071
)를 적용할 수 있다. 이에 따라, 전자 장치(100)는 제1 오브젝트(ob1)에 대한 거리 오차가 개선된 제3 뎁스 이미지(60)를 획득할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 도시한 순서도이다.
전자 장치(100)는 제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하고(S610), 제2 이미지 센서를 이용하여 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득할 수 있다(S620). 이에 대한 상세한 설명은 도 1에서 설명한 바 중복되는 설명은 생략하도록 한다.
전자 장치(100)는 컨피던스 맵 및 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득할 수 있다(S630). 전자 장치(100)는 RGB 이미지에 대한 그레이 스케일(greyscale) 이미지를 획득하고, 컨피던스 맵 및 그레이 스케일 이미지를 스테레오 매칭(stereo matching)하여 제2 뎁스 이미지를 획득할 수 있다. 이 때, 전자 장치(100)는 컨피던스 맵 및 그레이 스케일 이미지에 포함된 오브젝트의 형태를 바탕으로 컨피던스 맵 및 그레이 스케일 이미지를 스테레오 매칭하여 상기 제2 뎁스 이미지를 획득할 수 있다.
전자 장치(100)는 컨피던스 맵의 픽셀값을 바탕으로 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득할 수 있다(S640). 전자 장치(100)는 컨피던스 맵의 픽셀값을 바탕으로 제1 뎁스 이미지 및 제2 뎁스 이미지의 합성비를 결정하고, 결정된 합성비를 바탕으로 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득할 수 있다. 이 때, 전자 장치(100)는 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 큰 영역에 대해서는 제1 뎁스 이미지의 제1 합성비가 제2 뎁스 이미지의 제2 합성비보다 크도록 제1 합성비 및 제2 합성비를 결정할 수 있다. 그리고, 전자 장치(100)는 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 작은 영역에 대해서는 제1 합성비가 제2 합성비보다 작도록 제1 합성비 및 제2 합성비를 결정할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 사시도이다.
전자 장치(100)는 제1 이미지 센서(110) 및 제2 이미지 센서(120)를 포함할 수 있다. 이 때, 제1 이미지 센서(110) 및 제2 이미지 센서(120) 사이의 거리는 베이스라인의 길이(L)로 정의될 수 있다.
두 개의 카메라를 이용하는 종래의 스테레오 센서는 베이스라인의 길이가 제한적이므로 원거리에 대한 각도 분해능이 떨어진다는 한계가 있었다. 또한, 원거리에 대한 각도 분해능을 증가하려면, 베이스라인의 길이가 증가되어야 하므로, 종래의 스테레오 센서는 소형화 제작이 어렵다는 문제가 있었다.
이에 반해, 본 개시에 따른 전자 장치(100)는 전술한 바와 같이 스테레오 센서에 비해 원거리에 대한 각도 분해능이 높은 제1 이미지 센서(110)를 이용함으로써 베이스라인의 길이(L)를 증가시키지 않더라도 원거리 정보를 획득할 수 있다. 이에 따라, 전자 장치(100)는 종래의 스테레오 센서에 비해 소형화 제작이 유리하다는 기술적 효과를 가질 수 있다.
도 8a는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다. 도 8a를 참조하면, 전자 장치(100)는 발광부(105), 제1 이미지 센서(110), 제2 이미지 센서(120), 메모리(130), 통신 인터페이스(140), 주행부(150) 및 프로세서(160)를 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른 전자 장치(100)는 이동 가능한 로봇으로 구현될 수 있다.
발광부(105)는 오브젝트를 향해 광을 출사(emitting)할 수 있다. 이 때, 발광부(105)로부터 출사되는 광(이하, 출사광)은 정현파(sinusoidal wave) 형태의 파형을 가질 수 있다. 다만 이는 일 실시 예에 불과하며 출사광은 구형파(square wave) 형태의 파형을 가질 수 있다. 또한, 발광부(105)는 다양한 종류의 레이저 소자를 포함할 수 있다. 예로, 발광부(105)는 빅셀(VCSEL: Vertical Cavity Surface Emitting Laser) 또는 레이저 다이오드(LD: Laser Diode)를 포함할 수 있다. 한편, 발광부(105)는 다수의 레이저 소자를 포함할 수 있다. 이 때, 다수의 레이저 소자는 어레이 형태로 배열될 수 있다. 또한, 발광부(105)는 다양한 주파수 대역의 광을 출사할 수 있다. 예로, 발광부(105)는 100MHz의 주파수를 갖는 레이저 빔을 출사할 수 있다.
제1 이미지 센서(110)는 뎁스 이미지(depth image)를 획득하기 위한 구성이다. 제1 이미지 센서(110)는 발광부(105)로부터 출사된 후 오브젝트로부터 반사되는 반사광을 획득할 수 있다. 프로세서(160)는 제1 이미지 센서(110)가 획득한 반사광을 바탕으로 뎁스 이미지를 획득할 수 있다. 예를 들어, 프로세서(160)는 발광부(105)로부터 출사된 광의 출사 시점과 이미지 센서(110)가 반사광을 수신한 시점간의 차이(즉, 광의 비행 시간)를 바탕으로 뎁스 이미지를 획득할 수 있다. 또는, 프로세서(160)는 발광부(105)로부터 출사된 광의 위상과 이미지 센서(110)가 획득한 반사광의 위상 간의 차이를 바탕으로 뎁스 이미지를 획득할 수 있다. 한편, 제1 이미지 센서(110)는 ToF(Time of Flight) 센서 또는 구조광(structured light) 센서로 구현될 수 있다.
제2 이미지 센서(120)는 RGB 이미지를 획득하기 위한 구성이다. 예를 들어, 제2 이미지 센서(120)는 CMOS(Complementary Metal-Oxide-Semiconductor), CCD(Charge-Coupled Device) 등의 이미지 센서로 구현될 수 있다.
메모리(130)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(130)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
통신 인터페이스(140)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(140)는 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 예로, 전자 장치(100)는 제2 이미지 센서(120)를 이용하여 획득된 이미지를 통신 인터페이스(140)를 통해 사용자 단말로 전송할 수 있다.
주행부(150)는 전자 장치(100)를 이동시키기 위한 구성이다. 특히, 주행부(150)는 전자 장치(100)의 주행을 위한 액츄에이터(actuator)를 포함할 수 있다. 또한, 주행부(150)는 전자 장치(100)의 다른 물리적 구성(예로, 암(arm) 등)의 모션을 구동하기 위한 액츄에이터를 포함할 수 있다. 예로, 전자 장치(100)는 제1 이미지 센서(110) 및 제2 이미지 센서(120)를 통해 획득되는 뎁스 정보를 바탕으로 이동하거나 움직이도록 주행부(150)를 제어할 수 있다.
프로세서(160)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
도 8b를 참조하면, 프로세서(160)는 제1 뎁스 이미지 획득 모듈(161), 컨피던스 맵 획득 모듈(162), RGB 이미지 획득 모듈(163), 그레이스케일 이미지 획득 모듈(164), 제2 뎁스 이미지 획득 모듈(165) 및 제3 뎁스 이미지 획득 모듈(166)을 포함할 수 있다. 한편, 프로세서(160)의 각 모듈은 소프트웨어 모듈로 구현될 수 있으나, 소트웨어와 하드웨어가 결합된 형태로도 구현될 수 있다.
제1 뎁스 이미지 획득 모듈(161)은 제1 이미지 센서(110)로부터 출력되는 신호를 바탕으로 제1 뎁스 이미지를 획득할 수 있다. 구체적으로, 제1 이미지 센서(110)는 기 설정된 시간 차이를 두고 활성화되는 복수의 센서를 포함할 수 있다. 이 때, 제1 뎁스 이미지 획득 모듈(161)은 복수의 센서를 통해 획득되는 복수의 이미지 데이터를 바탕으로 광의 비행 시간을 산출하고, 산출된 광의 비행 시간을 바탕으로 제1 뎁스 이미지를 획득할 수 있다.
컨피던스 맵 획득 모듈(162)은 제1 이미지 센서(110)로부터 출력되는 신호를 바탕으로 컨피던스 맵을 획득할 수 있다. 구체적으로, 제1 이미지 센서(110)는 기 설정된 시간 차이를 두고 활성화되는 복수의 센서를 포함할 수 있다. 이 때, 컨피던스 맵 획득 모듈(162)은 복수의 센서 각각을 통해 복수의 이미지 데이터를 획득할 수 있다. 그리고, 컨피던스 맵 획득 모듈(162)은 획득된 복수의 이미지 데이터를 컨피던스 맵(20)을 획득할 수 있다. 예로, 컨피던스 맵 획득 모듈(162)은 상술한 [수학식 1]을 바탕으로 컨피던스 맵(20)을 획득할 수 있다.
RGB 이미지 획득 모듈(163)은 제2 이미지 센서(120)로부터 출력되는 신호를 바탕으로 RGB 이미지를 획득할 수 있다. 이 때, 획득되는 RGB 이미지는 제1 뎁스 이미지 및 컨피던스 맵에 대응될 수 있다.
그레이스케일 이미지 획득 모듈(164)은 RGB 이미지 획득 모듈(163)에 의해 획득되는 RGB 이미지를 바탕으로 그레이스케일(greyscale) 이미지를 획득할 수 있다. 구체적으로, 그레이스케일 이미지 획득 모듈(164)은 RGB 이미지의 R, G, B 값을 바탕으로 그레이스케일 이미지를 생성할 수 있다.
제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 획득 모듈(162)에 의해 획득된 컨피던스 맵 및 그레이스케일 이미지 획득 모듈(164)에 의해 획득된 그레이스케일 이미지를 바탕으로 제2 뎁스 이미지를 획득할 수 있다. 구체적으로, 제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 및 그레이스케일 이미지에 대해 스테레오 매칭(stereo matching)을 수행하여 제2 뎁스 이미지를 생성할 수 있다. 제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 및 그레이스케일 이미지에서 대응점을 식별할 수 있다. 이 때, 제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 및 그레이스케일 이미지에 포함된 오브젝트의 형태나 윤곽을 식별하여 대응점을 식별할 수 있다. 그리고, 제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 및 그레이스케일 이미지 각각에서 식별된 대응점 간의 디스패리티(disparity)와 베이스라인의 길이를 바탕으로 제2 뎁스 이미지를 생성할 수 있다.
이와 같이 제2 뎁스 이미지 획득 모듈(165)은 RGB 이미지가 아닌 그레일스케일 이미지를 바탕으로 스테레오 매칭을 수행함으로써 대응점을 보다 정확히 식별할 수 있다. 이에 따라, 제2 뎁스 이미지에 포함된 뎁스 정보의 정확도가 향상될 수 있다. 한편, 제2 뎁스 이미지 획득 모듈(165)은 스테레오 매칭을 수행하기 전에 컨피던스 맵 및 그레이스케일 이미지의 밝기 차이를 보정하는 등의 전처리를 수행할 수도 있다.
제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지 및 제2 뎁스 이미지를 바탕으로 제3 뎁스 이미지를 획득할 수 있다. 구체적으로, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 생성할 수 있다. 이 때, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지의 뎁스값을 바탕으로 제1 뎁스 이미지에 대한 제1 합성비 및 제2 뎁스 이미지에 대한 제2 합성비를 결정할 수 있다. 예를 들어, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 작은 제1 영역에 대해서는 제1 합성비를 0으로 제2 합성비를 1로 결정할 수 있다. 또한, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제2 임계 거리보다 큰 제2 영역에 대해서는 제1 합성비를 1로 제2 합성비를 0으로 결정할 수 있다.
한편, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 크고 제2 임계 거리보다 작은 제3 영역에 대해서는 컨피던스 맵의 픽셀값을 바탕으로 합성비를 결정할 수 있다. 예를 들어, 제3 뎁스 이미지 획득 모듈(166)은 제3 영역에 대응되는 컨피던스 맵의 픽셀값이 기설정된 값보다 작으면 제1 합성비가 제2 합성비보다 작도록 제1 합성비 및 제2 합성비를 결정할 수 있다. 제3 뎁스 이미지 획득 모듈(166)은 제3 영역에 대응되는 컨피던스 맵의 픽셀값이 기설정된 값보다 크면 제1 합성비가 제2 합성비보다 크도록 제1 합성비 및 제2 합성비를 결정할 수 있다. 즉, 제3 뎁스 이미지 획득 모듈(166)은 제3 영역에 대응되는 컨피던스 맵의 픽셀값이 클수록 제1 합성비가 증가하고 제2 합성비가 감소하도록 제1 합성비 및 제2 합성비를 결정할 수 있다.
한편, 제3 뎁스 이미지 획득 모듈(166)은 동일한 오브젝트에 대해서는 일정한 합성비로 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성할 수 있다. 예로, 제3 뎁스 이미지 획득 모듈(166)은 RGB 이미지를 분석하여 RGB 이미지에 포함된 오브젝트를 식별할 수 있다. 그리고, 제3 뎁스 이미지 획득 모듈(166)은 식별된 오브젝트에 대응되는 제1 뎁스 이미지의 제1 영역 및 제2 뎁스 이미지의 제2 영역에 대해서는 일정한 합성비를 적용하여 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성할 수 있다.
한편, 프로세서(160)는 제1 이미지 센서(110) 및 제2 이미지 센서(120)의 싱크를 조절할 수 있다. 이에 따라, 제1 뎁스 이미지, 컨피던스 맵 및 제2 뎁스 이미지는 서로 대응될 수 있다. 즉, 제1 뎁스 이미지, 컨피던스 맵 및 제2 뎁스 이미지는 동일한 시점에 대한 이미지일 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 이미지 센서;
    제2 이미지 센서; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 상기 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하고,
    제2 이미지 센서를 이용하여 상기 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득하고,
    상기 컨피던스 맵 및 상기 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하고,
    상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는
    전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 RGB 이미지에 대한 그레이 스케일(greyscale) 이미지를 획득하고,
    상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭(stereo matching)하여 상기 제2 뎁스 이미지를 획득하는
    전자 장치.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 컨피던스 맵 및 상기 그레이 스케일 이미지에 포함된 오브젝트의 형태를 바탕으로 상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭하여 상기 제2 뎁스 이미지를 획득하는
    전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 합성비를 결정하고,
    상기 결정된 합성비를 바탕으로 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는
    전자 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 큰 영역에 대해서는 상기 제1 뎁스 이미지의 제1 합성비가 상기 제2 뎁스 이미지의 제2 합성비보다 크도록 상기 제1 합성비 및 상기 제2 합성비를 결정하고,
    상기 컨피던스 맵의 복수의 영역 중 픽셀값이 상기 기설정된 값보다 작은 영역에 대해서는 상기 제1 합성비가 상기 제2 합성비보다 작도록 상기 제1 합성비 및 상기 제2 합성비를 결정하는
    전자 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 작은 제1 영역에 대해서는, 상기 제2 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하고,
    상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제2 임계 거리보다 큰 제2 영역에 대해서는, 상기 제1 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하는
    전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 RGB 이미지에 포함된 오브젝트를 식별하고.
    상기 식별된 오브젝트에 대응되는 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 각각의 영역을 식별하고,
    상기 각각의 영역에 대해서는 일정한 합성비로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 상기 제3 뎁스 이미지를 획득하는
    전자 장치.
  8. 제1 항에 있어서,
    상기 제1 이미지 센서는 ToF(Time of Flight) 센서이고,
    상기 제2 이미지 센서는 RGB 센서인 것을 특징으로하는
    전자 장치.
  9. 전자 장치의 제어 방법에 있어서,
    제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 상기 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하는 단계;
    제2 이미지 센서를 이용하여 상기 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득하는 단계;
    상기 컨피던스 맵 및 상기 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하는 단계; 및
    상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는 단계;를 포함하는
    제어 방법.
  10. 제9 항에 있어서,
    상기 제2 뎁스 이미지를 획득하는 단계는,
    상기 RGB 이미지에 대한 그레이 스케일(greyscale) 이미지를 획득하고,
    상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭(stereo matching)하여 상기 제2 뎁스 이미지를 획득하는
    제어 방법.
  11. 제10 항에 있어서,
    상기 제2 뎁스 이미지를 획득하는 단계는,
    상기 컨피던스 맵 및 상기 그레이 스케일 이미지에 포함된 오브젝트의 형태를 바탕으로 상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭하여 상기 제2 뎁스 이미지를 획득하는
    제어 방법.
  12. 제9 항에 있어서,
    상기 제3 뎁스 이미지를 획득하는 단계는,
    상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 합성비를 결정하고,
    상기 결정된 합성비를 바탕으로 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는
    제어 방법.
  13. 제12 항에 있어서,
    상기 합성비를 결정하는 단계는,
    상기 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 큰 영역에 대해서는 상기 제1 뎁스 이미지의 제1 합성비가 상기 제2 뎁스 이미지의 제2 합성비보다 크도록 상기 제1 합성비 및 상기 제2 합성비를 결정하고,
    상기 컨피던스 맵의 복수의 영역 중 픽셀값이 상기 기설정된 값보다 작은 영역에 대해서는 상기 제1 합성비가 상기 제2 합성비보다 작도록 상기 제1 합성비 및 상기 제2 합성비를 결정하는
    제어 방법.
  14. 제9 항에 있어서,
    상기 제3 뎁스 이미지를 획득하는 단계는,
    상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 작은 제1 영역에 대해서는, 상기 제2 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하고,
    상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제2 임계 거리보다 큰 제2 영역에 대해서는, 상기 제1 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하는
    제어 방법.
  15. 제9 항에 있어서,
    상기 제3 뎁스 이미지를 획득하는 단계는,
    상기 RGB 이미지에 포함된 오브젝트를 식별하는 단계,
    상기 식별된 오브젝트에 대응되는 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 각각의 영역을 식별하는 단계,
    상기 식별된 각각의 영역에 대해서는 일정한 합성비로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 상기 제3 뎁스 이미지를 획득하는
    제어 방법.
PCT/KR2021/008433 2020-07-29 2021-07-02 전자 장치 및 그 제어 방법 WO2022025458A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180058359.2A CN116097306A (zh) 2020-07-29 2021-07-02 电子装置及其控制方法
EP21850284.7A EP4148671A4 (en) 2020-07-29 2021-07-02 ELECTRONIC DEVICE AND METHOD FOR CONTROLLING SAME
US18/102,527 US20230177709A1 (en) 2020-07-29 2023-01-27 Electronic device and method for controlling same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0094153 2020-07-29
KR1020200094153A KR20220014495A (ko) 2020-07-29 2020-07-29 전자 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/102,527 Continuation US20230177709A1 (en) 2020-07-29 2023-01-27 Electronic device and method for controlling same

Publications (1)

Publication Number Publication Date
WO2022025458A1 true WO2022025458A1 (ko) 2022-02-03

Family

ID=80035582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008433 WO2022025458A1 (ko) 2020-07-29 2021-07-02 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US20230177709A1 (ko)
EP (1) EP4148671A4 (ko)
KR (1) KR20220014495A (ko)
CN (1) CN116097306A (ko)
WO (1) WO2022025458A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745509A (zh) * 2022-04-08 2022-07-12 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质
CN115457099A (zh) * 2022-09-09 2022-12-09 梅卡曼德（北京）机器人科技有限公司 深度补全方法、装置、设备、介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130055088A (ko) * 2011-11-18 2013-05-28 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
KR20140019765A (ko) * 2010-09-08 2014-02-17 마이크로소프트 코포레이션 구조광 및 스테레오 비전에 기초한 깊이 카메라
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
KR101714224B1 (ko) * 2015-09-21 2017-03-08 현대자동차주식회사 센서 융합 기반 3차원 영상 복원 장치 및 방법
KR20200081450A (ko) * 2018-07-27 2020-07-07 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140019765A (ko) * 2010-09-08 2014-02-17 마이크로소프트 코포레이션 구조광 및 스테레오 비전에 기초한 깊이 카메라
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
KR20130055088A (ko) * 2011-11-18 2013-05-28 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
KR101714224B1 (ko) * 2015-09-21 2017-03-08 현대자동차주식회사 센서 융합 기반 3차원 영상 복원 장치 및 방법
KR20200081450A (ko) * 2018-07-27 2020-07-07 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4148671A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745509A (zh) * 2022-04-08 2022-07-12 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质
CN114745509B (zh) * 2022-04-08 2024-06-07 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质
CN115457099A (zh) * 2022-09-09 2022-12-09 梅卡曼德（北京）机器人科技有限公司 深度补全方法、装置、设备、介质及产品

Also Published As

Publication number Publication date
KR20220014495A (ko) 2022-02-07
EP4148671A4 (en) 2024-01-03
US20230177709A1 (en) 2023-06-08
EP4148671A1 (en) 2023-03-15
CN116097306A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
WO2022025458A1 (ko) 전자 장치 및 그 제어 방법
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
WO2019164267A1 (en) Electronic device for recording image as per multiple frame rates using camera and method for operating same
US9652660B2 (en) Control system, robot system, and control method
WO2020204659A1 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
WO2013168998A1 (en) Apparatus and method for processing 3d information
WO2020032497A1 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
US11733771B2 (en) High-precision anti-interference VR system and operation method
WO2019142997A1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2021002681A1 (ko) 객체를 인식하기 위한 전자 장치 및 그의 동작 방법
CN114627249A (zh) 三维扫描系统及三维扫描方法
WO2019168374A1 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
WO2021080307A1 (en) Method for controlling camera and electronic device therefor
WO2020171450A1 (ko) 뎁스 맵을 생성하는 전자 장치 및 방법
US11317014B2 (en) Image pickup apparatus, image correction method, and medium storing program
WO2016021829A1 (ko) 동작 인식 방법 및 동작 인식 장치
EP4014066A1 (en) Electronic apparatus and method for controlling thereof
WO2016159613A1 (ko) 영상 합성을 위한 객체 추적 방법 및 시스템
WO2019160237A1 (en) Electronic device and method for controlling display of images
WO2022235075A1 (ko) 전자 장치 및 전자 장치의 동작 방법
US20180365840A1 (en) Optical module and a method for objects' tracking under poor light conditions
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2021066275A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21850284

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021850284

Country of ref document: EP

Effective date: 20221208

NENP Non-entry into the national phase

Ref country code: DE