WO2022102995A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022102995A1
WO2022102995A1 PCT/KR2021/014242 KR2021014242W WO2022102995A1 WO 2022102995 A1 WO2022102995 A1 WO 2022102995A1 KR 2021014242 W KR2021014242 W KR 2021014242W WO 2022102995 A1 WO2022102995 A1 WO 2022102995A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
camera
target object
captured
Prior art date
Application number
PCT/KR2021/014242
Other languages
English (en)
French (fr)
Inventor
신동의
이민희
강상현
곽현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202180069624.7A priority Critical patent/CN116368532A/zh
Priority to EP21892165.8A priority patent/EP4187495A4/en
Publication of WO2022102995A1 publication Critical patent/WO2022102995A1/ko
Priority to US18/118,445 priority patent/US20230222818A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device for identifying a target object obscured by an obstacle and a control method thereof.
  • a mobile robot can be used to automate the task of stocking a variety of products.
  • not all products may be arranged to be easily recognized by the camera. For example, when one product and another product overlap, or when one product and an obstacle overlap each other, the mobile robot may have difficulty in checking inventory.
  • the mobile robot may include a flash.
  • the lighting in the indoor space may be dim or the image may need to be acquired in a brighter state in order to recognize text.
  • the product itself or the label may be a material that easily reflects light.
  • the present disclosure has been devised to improve the above problems, and an object of the present disclosure is to provide an electronic device for identifying a target obscured by an obstacle using images obtained from a plurality of cameras having different imaging angles, and a method for controlling the same. there is.
  • a part of the target object is identified from the first captured image or the second captured image obtained from the second camera and an obstacle object overlapping the other part of the target object is identified
  • location information of the identified obstacle object is obtained and a processor configured to identify a region of interest of the second captured image based on the obtained position information of the obstacle object and a remaining part of the target object based on the region of interest of the second captured image.
  • the processor may obtain a combined image including the entire image of the target object based on the region including the target object and the obstacle object in the first captured image and the region of interest of the second captured image, , the target object may be identified based on the obtained combined image.
  • the first captured image is an image captured by the first camera at a first capturing position
  • the second captured image is captured by the second camera at a second capturing position different from the first capturing position. It can be an image.
  • the processor may acquire a third captured image captured by the second camera at a third capturing position different from the first capturing position and the second capturing position, and based on the position information of the identified obstacle object
  • the ROI of the third captured image may be identified, and the remaining part of the target object may be identified based on the ROI of the second captured image and the ROI of the third captured image.
  • the second imaging position may be located in a first direction with respect to the first imaging position
  • the third imaging position may be located in a second direction different from the first direction with respect to the first imaging position. can do.
  • the processor may identify the region of interest of the second captured image based on the direction information in which the second captured image is captured and the location information of the obstacle object, and the direction information in which the third captured image is captured and The ROI of the third captured image may be identified based on the location information of the obstacle object.
  • the processor acquires first information of a target object based on a portion of the target object identified in the first captured image, and based on the remaining portion of the target object identified in the second captured image Second information of the target object may be obtained.
  • the processor may identify location information and size information of the obstacle object based on the first captured image, and determine the capturing position of the second camera based on the identified location information and size information of the obstacle object. may be identified, and the second captured image may be an image captured at the identified capturing location.
  • the electronic device may further include a light emitting unit
  • the processor may identify a region of interest of the first captured image, and a region adjacent to the region of interest of the first captured image and the region of interest of the second captured image A position corresponding to may be identified, and the light emitting unit may be controlled to irradiate light having a threshold intensity or higher to the identified position.
  • the processor may change the emission angle of the light emitting unit so that the light is irradiated to the identified position.
  • a method of controlling an electronic device includes a first captured image obtained from a first camera having a first capturing angle or a second captured image obtained from a second camera having a second capturing angle greater than the first capturing angle.
  • a part of the target object is identified in the second captured image and an obstacle object overlapping the other part of the target object is identified, acquiring location information of the identified obstacle object; location information of the acquired obstacle object and identifying the remaining portion of the target object based on the ROI of the second captured image based on the .
  • control method may include obtaining a combined image including the entire image of the target object based on a region including the target object and the obstacle object in the first captured image and a region of interest of the second captured image and identifying the target object based on the obtained combined image.
  • the first captured image is an image captured by the first camera at a first capturing position
  • the second captured image is captured by the second camera at a second capturing position different from the first capturing position. It can be an image.
  • control method includes: acquiring a third captured image captured by the second camera at a third capturing position different from the first capturing position and the second capturing position, based on the position information of the identified obstacle object to identify a region of interest in the third captured image; and identifying the remaining portion of the target object based on the region of interest in the second captured image and the region of interest in the third captured image.
  • the second imaging position may be located in a first direction with respect to the first imaging position
  • the third imaging position may be located in a second direction different from the first direction with respect to the first imaging position. can do.
  • the step of identifying the region of interest of the second captured image may include identifying the region of interest of the second captured image based on direction information in which the second captured image is captured and location information of the obstacle object
  • the identifying of the region of interest of the third captured image may include identifying the region of interest of the third captured image based on direction information in which the third captured image is captured and location information of the obstacle object.
  • control method includes obtaining first information of a target object based on a part of the target object identified in the first captured image, and adding the remaining part of the target object identified in the second captured image.
  • the method may further include obtaining second information of the target object based on the method.
  • control method includes the steps of identifying the position information and size information of the obstacle object based on the first captured image, and the capturing position of the second camera based on the identified position information and size information of the obstacle object.
  • the method may further include identifying, and the second captured image may be an image captured at the identified capturing location.
  • control method may include identifying a region of interest in the first captured image, identifying positions corresponding to regions adjacent to the region of interest in the first captured image and the region of interest in the second captured image, and the identification It may further include the step of irradiating light of a threshold intensity or more to the selected location.
  • control method may further include changing the light emission angle so that the light is irradiated to the identified position.
  • FIG. 1 is a diagram for explaining an operation of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a detailed configuration of the electronic device of FIG. 2 .
  • FIG. 4 is a view for explaining a camera module included in an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining an operation of an electronic device to identify a target object and an obstacle object.
  • FIG. 6 is a flowchart illustrating an operation of identifying an entire area of a target object.
  • FIG. 7 is a diagram for explaining an image captured at a first imaging position.
  • FIG. 8 is a diagram for explaining an image captured at a second imaging position.
  • FIG. 9 is a diagram for explaining an image captured at a third imaging position.
  • FIG. 10 is a flowchart illustrating an operation of generating a combined image.
  • FIG. 11 is a view for explaining an operation of generating a combined image according to an embodiment.
  • FIG. 12 is a view for explaining an operation of generating a combined image according to another embodiment.
  • FIG. 13 is a flowchart illustrating an operation of controlling a light emitting unit based on an ROI of a narrow-angle image and a ROI of a wide-angle image.
  • FIG. 14 is a diagram for explaining an operation of identifying an irradiation area at a first imaging position.
  • 15 is a view for explaining an operation of controlling a light emitting unit at a first imaging position.
  • 16 is a diagram for explaining an operation of identifying an irradiation area at a second imaging position.
  • 17 is a view for explaining an operation of controlling the light emitting unit at the second imaging position.
  • 18 is a diagram for explaining an operation of identifying an irradiation area at a third imaging position.
  • 19 is a view for explaining an operation of controlling the light emitting unit at the third imaging position.
  • 20 is a diagram for describing an electronic device including a plurality of camera modules.
  • 21 is a flowchart for explaining an operation of generating a combined image based on images acquired by a plurality of camera modules.
  • 22 is a view for explaining a combined image generated based on images obtained by a plurality of camera modules.
  • FIG. 23 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • a component eg, a first component
  • another component eg, a second component
  • an element may be directly connected to another element or may be connected through another element (eg, a third element).
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) using the electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 is a diagram for explaining an operation of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may image (or photograph) a front object through a camera.
  • the electronic device 100 may mean a mobile device including a camera.
  • the electronic device 100 may be a mobile robot including a camera.
  • the electronic device 100 may image a target object in front through the camera.
  • the target object may mean an object that the user intends to image.
  • the target object may mean a label or a product itself.
  • the electronic device 100 may identify a target object based on the captured image, and obtain information corresponding to the target object based on the identified target object.
  • the electronic device 100 may identify a label in the captured image, and acquire text information included in the label based on the identified label.
  • the obtained text information may include at least one of a product name, product number, product, type, product company, product quantity, and product other information.
  • the electronic device 100 may identify a product from the captured image, and may include at least one of a product name, product number, product, type, product company, product quantity, and product and other information based on the identified product.
  • the information obtained from the label included in the image may be information obtained from the photographed label itself, and the information obtained from the product included in the image may be information obtained by analyzing the product image.
  • FIG. 2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a first camera 111 , a second camera 112 , and a processor 120 .
  • the first camera 111 may be a camera that captures a narrow-angle image.
  • the second camera 112 may be a camera that captures a wide-angle image. Accordingly, the first camera 111 may image at a first imaging angle, and the second camera 112 may image at a second imaging angle greater than the first imaging angle.
  • the first camera 111 and the second camera 112 are configured to generate a captured image by capturing a subject, wherein the captured image is a concept including both a moving image and a still image.
  • the first camera 111 and the second camera 112 may acquire an image of at least one external device, and may be implemented as a camera, a lens, an infrared sensor, or the like.
  • the first camera 111 and the second camera 112 may include a lens and an image sensor.
  • the type of lens includes a general general-purpose lens, a wide-angle lens, a zoom lens, and the like, and may be determined according to the type, characteristic, and use environment of the electronic device 100 .
  • As the image sensor a complementary metal oxide semiconductor (CMOS) and a charge coupled device (CCD) may be used.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the first camera 111 and the second camera 112 output the incident light as an image signal.
  • the first camera 111 and the second camera 112 may include a lens, a pixel, and an AD converter.
  • the lens collects the light of the subject to form an optical image on the imaging area, and the pixel can output the image received through the lens as an analog image signal.
  • the AD converter may convert an analog image signal into a digital image signal and output the converted image signal.
  • the first camera 111 and the second camera 112 are arranged to capture the front direction of the electronic device 100 , and may generate a captured image by capturing a user existing in the front of the electronic device 100 . there is.
  • the processor 120 may perform an overall control operation of the electronic device 100 . Specifically, the processor 120 functions to control the overall operation of the electronic device 100 .
  • the processor 120 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals, but is not limited thereto, and the central processing unit ( central processing unit (CPU), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), graphics-processing unit (GPU) or communication processor (CP)), may include one or more of an ARM processor, or may be defined by a corresponding term
  • the processor 120 is a SoC (System on Chip) or LSI (large scale integration) in which a processing algorithm is embedded. It may be implemented in the form of a field programmable gate array (FPGA), and the processor 120 may perform various functions by executing computer executable instructions stored in a memory.
  • DSP digital signal processor
  • MCU micro controller unit
  • MPU micro processing unit
  • AP application processor
  • GPU graphics-processing unit
  • CP communication processor
  • the processor 120 is a SoC (System on Chip) or LSI (large scale integration) in
  • the electronic device 100 for achieving the above object includes a first camera 111 having a first imaging angle, a second camera 112 having a second imaging angle greater than the first imaging angle, and In the first captured image obtained from the first camera 111 or the second captured image obtained from the second camera 112 , a portion of the target object (area not obscured by the obstacle object) is identified and the remaining one of the target object When an obstacle object overlapping a portion (a region obscured by an obstacle object) is identified, position information of the identified obstacle object is acquired, and a region of interest of the second captured image is identified based on the acquired position information of the obstacle object, and the second 2
  • the processor 120 identifies the remaining portion of the target object based on the region of interest of the second captured image obtained from the camera 112 .
  • the first camera 111 may be a narrow-angle camera that captures images at the first imaging angle using a narrow-angle lens.
  • the second camera 112 may be a wide-angle camera that captures images at a second imaging angle using a wide-angle lens. Accordingly, since the second camera 112 corresponds to a wide-angle camera, the second imaging angle may be greater than the first imaging angle.
  • the imaging of the present disclosure may be replaced with imaging.
  • the processor 120 may acquire a first captured image captured by the first camera 111 , and may obtain a second captured image captured by the second camera 112 .
  • the image acquired through the first camera 111 may be a narrow-angle image
  • the image acquired through the second camera 112 may be a wide-angle image.
  • the first captured image used to identify the obstacle object and the second captured image used to identify the region of interest may be images captured at different capturing positions.
  • the first captured image may be a narrow-angle image captured from the front of the obstacle object
  • the second captured image may be a wide-angle image captured from the side (or diagonal direction) of the obstacle object. Meanwhile, a description of images obtained at different imaging positions will be described later with reference to FIGS. 5 to 9 .
  • the processor 120 may identify the remaining part of the target object that is not identified through the first captured image through the second captured image.
  • the processor 120 does not necessarily need all areas of the target object. For example, it is assumed that a label of 3 cm * 4 cm is previously determined as a target object. In order for the processor 120 to identify a label of 3 cm * 4 cm in the acquired image, the entire label does not have to be included in the image. For example, even when a part of the label is included in the image, the processor 120 may identify that the label is included in the image. However, the processor 120 may identify that the label is obscured by an obstacle or that only a portion of the label is captured.
  • the processor 120 may identify a portion (eg, a portion of a label) of the target object from at least one of the captured first captured image and the second captured image.
  • the target object eg, label
  • the target object may include a predetermined shape (eg, 3 cm * 4 cm).
  • the predetermined shape may be a rectangular shape having a predetermined size.
  • the processor 120 may identify a rectangular shape having a predetermined size from the acquired image.
  • a main embodiment of the present disclosure assumes a situation in which an obstacle object is placed in front of a target object.
  • the obstacle object obscures the target object, only a portion of the target object may be identified in the captured image.
  • the processor 120 may identify whether the target object is a target object with only one part.
  • the processor 120 may identify the obstacle object. Then, the processor 120 may acquire location information of the identified obstacle object.
  • the processor 120 may identify the ROI of the second captured image based on the identified location information of the obstacle object.
  • the region of interest may mean a partial region corresponding to the user's intention among the entire acquired image region.
  • the region of interest may mean a region including at least one of a target object and an obstacle object.
  • the region of interest may be an area including the target object, and as another example, may be an area including both the target object and the obstacle object.
  • the processor 120 may set the ROI as the right region in the second captured image based on the location information of the obstacle object.
  • the processor 120 may identify the remaining portion of the target object based on the ROI of the second captured image.
  • the remaining part may refer to a part covered by the obstacle object in the first captured image.
  • the processor 120 may obtain a combined image including the entire image of the target object based on the region including the target object and the obstacle object in the first captured image and the region of interest of the second captured image, and the obtained A target object may be identified based on the combined image.
  • the processor 120 must use the first captured image as well as the second captured image to completely acquire information on the target object.
  • the processor 120 may set a region of interest in the second captured image in order to speed up data processing.
  • the processor 120 may generate a combined image by combining the first captured image and the second captured image and removing the obstacle object.
  • the combined image may mean a virtual image in that the obstacle object is removed. The combined image generating operation will be described later with reference to FIGS. 10 to 12 .
  • the first captured image is an image captured by the first camera 111 at the first capturing position
  • the second captured image is captured by the second camera 112 at a second capturing position different from the first capturing position may be an image.
  • the first imaging position may be a position corresponding to the front of the obstacle object.
  • the first imaging location may be the second imaging location 802 of FIG. 8 .
  • the second imaging location may be a location corresponding to the side of the obstacle object.
  • the second imaging location may be the first imaging location 701 of FIG. 7 or the third imaging location 901 of FIG. 9 .
  • the processor 120 may acquire a third captured image captured by the second camera 112 at a third capturing position different from the first capturing position and the second capturing position,
  • the ROI of the third captured image may be identified based on the ROI, and the remaining part of the target object may be identified based on the ROI of the second captured image and the ROI of the third captured image.
  • the first captured image may be obtained at the first capturing location
  • the second captured image may be obtained at the second capturing location
  • the third captured image may be obtained at the third capturing location.
  • all of the first imaging position to the third imaging position may be different.
  • the processor 120 may identify a region of interest with respect to the third captured image. Specifically, the processor 120 may identify an obstacle object in the third captured image, and identify a region corresponding to the identified obstacle object as a region of interest. In addition, the processor 120 may identify the remaining part of the target object (a portion obscured by the obstacle object in the first captured image) based on the ROI of the second captured image and the ROI of the third captured image. Also, the processor 120 may use a portion of the first captured image to identify the entire portion of the target object.
  • the processor 120 considers both a portion of the first captured image (a portion not covered by an obstacle object), a region of interest of the second captured image, and a region of interest of the third captured image, and the remainder of the target object Some parts can be identified. An operation of setting a region of interest according to three captured images will be described later with reference to FIG. 11 .
  • the second imaging position may be located in a first direction with respect to the first imaging position
  • the third imaging position may be located in a second direction different from the first direction with respect to the first imaging position
  • the first capturing position may be a position at which a narrow-angle image, which is the first captured image, is obtained, or may be a position corresponding to the front of the obstacle object.
  • the second imaging position and the third imaging position may be positions corresponding to different diagonal lateral directions with respect to the obstacle object.
  • the second imaging position may be a position corresponding to the left side of the first imaging position (in front of the obstacle object) (based on the electronic device 100 facing the obstacle object).
  • the third imaging position may be a position corresponding to the right (in reference to the obstacle object from the electronic device 100 ) in the first imaging position (front of the obstacle object).
  • the processor 120 may identify the region of interest of the second captured image based on the direction information in which the second captured image is captured and the location information of the obstacle object, and the direction information and the obstacle object in which the third captured image is captured.
  • a region of interest of the third captured image may be identified based on the location information of .
  • the direction information in which the second captured image is captured corresponds to the left side with respect to the first captured position.
  • information on the direction in which the second captured image is captured may be 5 degrees to 10 degrees to the right with respect to the capturing direction.
  • the direction information in which the third captured image is captured may correspond to the right side with respect to the first captured position.
  • information on the direction in which the third captured image is captured may be 5 degrees to 10 degrees to the left with respect to the capturing direction.
  • the region of interest 1201 of the wide-angle image 710 may be located on the right side of the entire image, and the region of interest 1202 of the wide-angle image 910 may be located on the left side of the entire image. .
  • the processor 120 may obtain first information of the target object (information corresponding to an area not covered by an obstacle based on the first captured image) based on a portion of the target object identified in the first captured image.
  • second information information that could not be identified because it was obscured by an obstacle based on the first captured image
  • the processor 120 may obtain first information of the target object (information corresponding to an area not covered by an obstacle based on the first captured image) based on a portion of the target object identified in the first captured image.
  • second information information that could not be identified because it was obscured by an obstacle based on the first captured image) of the target object may be obtained based on the remaining part of the target object identified in the second captured image.
  • the processor 120 may acquire different information while only identifying the same object in each captured image. This is because the target object included in the first captured image is partially covered. Accordingly, the processor 120 acquires some information (first information) of the target object from the first captured image obtained through the first camera 111 , and the second captured image obtained through the second camera 112 . may acquire the remaining information (second information) of the target object.
  • the processor 120 may identify position information and size information of the obstacle object based on the first captured image, and the capturing position of the second camera 112 based on the identified position information and size information of the obstacle object may be identified, and the second captured image may be an image captured at the identified capturing location.
  • the processor 120 may determine to which location the second captured image is to be identified based on location information and size information of the obstacle. If the size of the obstacle object increases, the second imaging position at which the second imaging image is identified may be further away from the first imaging position. If the size of the obstacle object is reduced, the second imaging position at which the second imaging image is identified may be closer to the first imaging position. That is, the distance between the first imaging position and the second imaging position may be proportional to the size of the obstacle object.
  • the processor 120 may identify location information and size information of the obstacle based on the movement of the electronic device 100 and the arrangement structure of the camera module 110 .
  • the arrangement structure of the camera module 110 may mean a geometry between the first camera 111 and the second camera 112 .
  • the electronic device 100 may further include a light emitting unit 130
  • the processor 120 may identify a region of interest of the first captured image, and the region of interest of the first captured image and the second captured image. It is possible to identify a position corresponding to a region adjacent to the ROI, and control the light emitting unit 130 to irradiate light having a threshold intensity or higher to the identified position.
  • the processor 120 may change the emission angle of the light emitting unit 130 so that light is irradiated to the identified position.
  • the irradiation area may be changed according to the ROI.
  • the processor 120 may identify a region of interest in the captured image based on the target object and the obstacle object. Accordingly, when the region of interest is changed, the irradiation region may also be changed.
  • the processor 120 may change the light emission angle of the light emitting unit 130 to irradiate light to the changed irradiation area.
  • the irradiation area is determined according to previously stored data, and the processor 120 may control the light emitting unit 130 to emit light to the determined irradiation area.
  • the irradiation area may be fixed while one driving operation is performed.
  • the processor 120 may determine the most optimal irradiation area by synthesizing records of the ROI stored during the first operation, and may irradiate light to the determined irradiation area during the second operation.
  • the light emitting unit 130 may be arranged to emit light at an optimized angle.
  • a user may determine an irradiation area through various data, and may determine an optimal light emission angle for irradiating light to the irradiation area.
  • the light emitting unit 130 may be disposed to be irradiated with an optimal light emission angle.
  • the light emitting module included in the light emitting unit 130 may be disposed to face 5 degrees to the left with respect to the front. Here, 5 degrees to the left may correspond to an optimal light emission angle, and the optimal light emission angle may be changed according to a user setting.
  • the electronic device 100 may identify an obstacle object through the narrow-angle image, and if the obstacle object is identified through the narrow-angle image, it may supplementally analyze the target object using the wide-angle image.
  • the narrow-angle image is acquired at the first imaging location and the wide-angle image is acquired at a second imaging location that is different from the first imaging location, and thus may be complementary to each other. Accordingly, the electronic device 100 may analyze the target object obscured by the obstacle object.
  • the electronic device 100 may determine the space between the regions of interest as the irradiation region and irradiate light with the maximum intensity.
  • the electronic device 100 may minimize the amount of light reflected by the object. Accordingly, the recognition rate of the target object included in the image may be increased.
  • the light of the maximum intensity may mean the brightest light among the light that the electronic device 100 can currently irradiate.
  • light of maximum intensity may correspond to an illumination peak.
  • the electronic device 100 may irradiate light of an appropriate intensity to the irradiation area.
  • the electronic device 100 may identify failure to accurately identify information on a target object by an obstacle object as one event. Accordingly, when a preset event is identified, the electronic device 100 may select an appropriate wide-angle image to generate a combined image through a stitching operation.
  • the preset event may include an event in which the target object is obscured by the obstacle object, an event in which information of the target object is not identified, and an event in which the barcode is obscured by the obstacle object.
  • the electronic device 100 may delete a plurality of images (images captured at various locations) stored in the memory 160 . It may be inefficient to continuously and repeatedly store images captured at all locations. Accordingly, the electronic device 100 may delete the plurality of stored images when a preset event does not occur for more than a threshold time through the processor 120 .
  • the electronic device 100 may delete an image for which an image capturing time has elapsed more than a threshold time. For example, the electronic device 100 may automatically delete an image that has been captured for 10 seconds or more.
  • the processor 120 identifies a portion of the target object based on a captured image obtained from at least one of the first camera 1110 and the second camera 112 , the remaining one portion (obstacle) of the target object
  • the captured image may be analyzed to identify an obstacle object overlapping the area covered by the object).
  • the processor 120 may identify the location of the obstacle object only when at least a part of the target object is identified in at least one of the acquired first captured image and the second captured image.
  • the obstacle object may be identified using a polonogram or existing shelf data.
  • FIG. 3 is a block diagram illustrating a detailed configuration of the electronic device of FIG. 2 .
  • the electronic device 100 includes a first camera 111 , a second camera 112 , a processor 120 , a display 140 , a communication interface 150 , a memory 160 , and a microphone 170 . ) and a speaker 180 .
  • the first camera 111 and the second camera 112 may be included in the camera module 110 .
  • the camera module 110 may be configured as one piece of hardware, and the first camera 111 and the second camera 112 may be implemented in a form arranged side by side in one camera module 110 .
  • the light emitting unit 130 may refer to a module irradiating light in a predetermined area or in a predetermined direction.
  • the light emitting unit 130 may mean a camera flash used for an imaging operation, and may be implemented in the form of a lamp or a light emitting diode.
  • the light emitting unit 130 may be expressed as a lighting module.
  • the display 140 may be implemented as various types of displays, such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, a plasma display panel (PDP), and the like.
  • the display 140 may also include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT).
  • the display 140 may be implemented as a touch screen combined with a touch sensor, a flexible display, a three-dimensional display, or the like.
  • the display 140 may include a bezel housing the display panel as well as a display panel for outputting an image.
  • the bezel may include a touch sensor (not shown) for detecting user interaction.
  • the communication interface 150 is configured to communicate with various types of external devices according to various types of communication methods.
  • the communication interface 150 includes a Wi-Fi module, a Bluetooth module, an infrared communication module, and a wireless communication module.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the Wi-Fi module and the Bluetooth module perform communication using a WiFi method and a Bluetooth method, respectively.
  • various types of connection information such as an SSID and a session key are first transmitted and received, and various types of information can be transmitted/received after communication connection using this.
  • the infrared communication module communicates according to the infrared data association (IrDA) technology, which wirelessly transmits data in a short distance using infrared that is between visible light and millimeter wave.
  • IrDA infrared data association
  • the wireless communication module includes Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), LTE Advanced (LTE-A), 4th Generation (4G), 5G It may include at least one communication chip that performs communication according to various wireless communication standards such as (5th Generation).
  • 3G 3rd Generation
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • LTE-A LTE Advanced
  • 4G 4th Generation
  • 5G 5G It may include at least one communication chip that performs communication according to various wireless communication standards such as (5th Generation).
  • the communication interface 150 is at least one of a wired communication module for performing communication using a LAN (Local Area Network) module, an Ethernet module, a pair cable, a coaxial cable, an optical fiber cable, or a UWB (Ultra Wide-Band) module, etc. may include
  • the communication interface 150 may use the same communication module (eg, Wi-Fi module) to communicate with an external device such as a remote control and an external server.
  • an external device such as a remote control and an external server.
  • the communication interface 150 may use a different communication module (eg, a Wi-Fi module) to communicate with an external device such as a remote control and an external server.
  • a different communication module eg, a Wi-Fi module
  • the communication interface 150 may use at least one of an Ethernet module or a WiFi module to communicate with an external server, and may use a BT module to communicate with an external device such as a remote control.
  • this is only an embodiment, and when communicating with a plurality of external devices or external servers, the communication interface 150 may use at least one communication module among various communication modules.
  • the memory 160 is implemented as an internal memory such as a ROM (eg, electrically erasable programmable read-only memory (EEPROM)) included in the processor 120, a RAM, or the like, or with the processor 120 It may be implemented as a separate memory.
  • the memory 160 may be implemented in the form of a memory embedded in the electronic device 100 or may be implemented in the form of a memory detachable from the electronic device 100 according to the purpose of data storage. For example, data for driving the electronic device 100 is stored in a memory embedded in the electronic device 100 , and data for an extended function of the electronic device 100 is detachable from the electronic device 100 . It can be stored in any available memory.
  • a volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM)
  • non-volatile memory Examples: one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (such as NAND flash or NOR flash, etc.) ), a hard drive, or a solid state drive (SSD), and in the case of a removable memory in the electronic device 100, a memory card (eg, compact flash (CF), SD ( secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.), external memory that can be connected to the USB port (e.g., USB memory) and the like.
  • CF compact flash
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD
  • the electronic device 100 may further include a microphone 170 .
  • a microphone is a component for receiving a user's voice or other sound and converting it into audio data.
  • the microphone 170 may receive a user's voice in an activated state.
  • the microphone 170 may be integrally formed in the upper side, the front direction, the side direction, or the like of the electronic device 100 .
  • the microphone 170 includes a microphone for collecting analog user voice, an amplifier circuit for amplifying the collected user voice, an A/D conversion circuit for sampling the amplified user voice and converting it into a digital signal, and a noise component from the converted digital signal. It may include various configurations such as a filter circuit that removes the
  • the electronic device 100 may include a speaker 180 .
  • the speaker 180 may be a component that outputs various types of audio data processed in the input/output interface, as well as various notification sounds or voice messages.
  • FIG. 4 is a view for explaining a camera module included in an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a camera module 110 .
  • the camera module 110 may include a first camera 111 , a second camera 112 , and a light emitting unit 130 .
  • the electronic device 100 may include wheels at the lower end of the electronic device 100 , and the electronic device 100 may move using the wheels.
  • the arrangement positions of the first camera 111 , the second camera 112 , and the light emitting unit 130 may be different depending on the embodiment.
  • FIG. 5 is a diagram for explaining an operation of an electronic device to identify a target object and an obstacle object.
  • the electronic device 100 may image the front using the first camera 111 and the second camera 112 .
  • the first camera 111 and the second camera 112 may be included in the camera module 110 .
  • a label 501 , B label 502 , and C label 503 are located in front of the electronic device 100 , and the product A 511 corresponding to the label A 501 and the label B 502 corresponding to the It is assumed that product C 513 corresponding to product B 512 and label C 503 exists.
  • the A label 501, the B label 502, and the C label 503 may be expressed as a first label, a second label, and a third label.
  • the product A 511 , the product B 512 , and the product C 513 may be expressed as a first product, a second product, and a third product.
  • the target object may mean an object of a shape previously determined by the user.
  • a user can set a label in the form of a rectangle of a specific size as a target object.
  • the target object may be an A label 501 , a B label 502 , and a C label 503 .
  • the target object may be a label A 501 , a label B 502 , a label C 503 , a product A 511 , a product B 512 , and a product C 513 .
  • the electronic device 100 may recognize the target object for each group.
  • the electronic device 100 recognizes the first group including the label A 501 and the product A 511 as a target object, and sets the second group including the label B 502 and the product B 512 as a target object.
  • the third group including the C label 503 and the C product 513 may be recognized as a target object.
  • an obstacle object 520 exists in a space adjacent to the target object.
  • the obstacle object 520 may cover a portion of the target object. Accordingly, in the captured image, the entire area of the label B 502 and the product B 812 may not be identified, but only a partial area may be identified.
  • the electronic device 100 may move from left to right based on the direction in which the first camera 111 and the second camera 112 look at the target object.
  • the electronic device 100 moves from left to right based on the direction in which the first camera 111 and the second camera 112 look at the target object.
  • the movement direction may be from right to left. Also, the moving direction may be a direction closer to or farther away from the target object.
  • FIG. 6 is a flowchart illustrating an operation of identifying an entire area of a target object.
  • the electronic device 100 may acquire a plurality of narrow-angle images from the first camera 111 ( S605 ). Also, the electronic device 100 may acquire a plurality of wide-angle images from the second camera 112 ( S610 ). Here, the electronic device 100 may identify a portion of the target object from at least one of the plurality of narrow-angle images and the plurality of wide-angle images (S615).
  • the part of the target object may refer to an area identified in the image without being covered by the obstacle object.
  • the electronic device 100 may identify the corresponding object as the target object based on a portion of the identified target object without being obscured by the obstacle. Also, the electronic device 100 may identify an obstacle object overlapping the remaining part of the target object ( S620 ).
  • the electronic device 100 may acquire the acquired location information of the obstacle object (S625). Also, the electronic device 100 may identify a wide-angle image in which the largest portion of the target object is identified among the plurality of wide-angle images based on the location information of the obstacle object ( S630 ). Also, the electronic device 100 may identify the remaining part of the target object based on the identified wide-angle image (S635).
  • the electronic device 100 may identify a portion of the B label 502 based on at least one of a plurality of images obtained from the first camera 111 or the second camera 112 .
  • the electronic device 100 may identify the corresponding object as the target object even when only a part of the B label 502 is identified, not the entirety.
  • the electronic device 100 may identify the obstacle object 520 covering the remaining part of the B-label 502 , and may identify location information of the obstacle object 520 .
  • the electronic device 100 may identify a wide-angle image in which the remaining portion of the B-label 502 that is not identified because it is covered by the obstacle object 520 from the plurality of wide-angle images stored during the movement process is identified the most. Then, the electronic device 100 may identify the remaining portion of the B label 502 that was covered by the obstacle object based on the identified wide-angle image.
  • FIG. 7 is a diagram for explaining an image captured at a first imaging position.
  • the electronic device 100 may image the front at a first imaging position 701 .
  • the first imaging position 701 may be the front of the label A 501 and the product A 511 .
  • the electronic device 100 may acquire captured images of the same viewpoint through the first camera 111 and the second camera 112 .
  • the electronic device 100 may acquire the narrow-angle image 705 including the label A 501 and the product A 511 through the first camera 111 .
  • the narrow-angle image 705 may be a narrow-angle image captured by a narrow-angle lens.
  • the electronic device 100 may acquire a wide-angle image 710 including the label A 501 , the product A 511 , the label B 502 and the product B 512 through the second camera 112 .
  • the wide-angle image 710 may be a wide-angle image captured by a wide-angle lens.
  • the label B 502 and the product B 512 included in the wide-angle image 710 may partially overlap the obstacle object 520 .
  • FIG. 8 is a diagram for explaining an image captured at a second imaging position.
  • the electronic device 100 may image the front at the second imaging position 801 .
  • the second imaging position 801 may be the front of the B label 502 and the B product 512 .
  • the electronic device 100 may acquire captured images of the same viewpoint through the first camera 111 and the second camera 112 .
  • the electronic device 100 may acquire the narrow-angle image 805 including the B label 502 and the B product 512 through the first camera 111 .
  • the narrow-angle image 805 may be a narrow-angle image captured by a narrow-angle lens.
  • the electronic device 100 uses the second camera 112 to provide a label A 501 , a product A 511 , a label B 502 , a product B 512 , a label C 503 , and a product C 513 .
  • the wide-angle image 810 may be a wide-angle image captured by a wide-angle lens.
  • the label B 502 and the product B 512 included in the wide-angle image 810 may partially overlap the obstacle object 520 .
  • the label A 501 , the product A 511 , the label C 503 , and the product C 513 may not overlap the obstacle object 520 .
  • FIG. 9 is a diagram for explaining an image captured at a third imaging position.
  • the electronic device 100 may image the front at the third imaging position 901 .
  • the third imaging position 901 may be the front of the C label 503 and the C product 513 .
  • the electronic device 100 may acquire captured images of the same viewpoint through the first camera 111 and the second camera 112 .
  • the electronic device 100 may acquire the narrow-angle image 905 including the C label 503 and the C product 513 through the first camera 111 .
  • the narrow-angle image 905 may be a narrow-angle image captured by a narrow-angle lens.
  • the electronic device 100 may acquire a wide-angle image 910 including the label B 502 , the product B 512 , the label C 503 , and the product C 513 through the second camera 112 .
  • the wide-angle image 910 may be a wide-angle image captured by a wide-angle lens.
  • the label B 502 and the product B 512 included in the wide-angle image 910 may partially overlap the obstacle object 520 .
  • FIG. 10 is a flowchart illustrating an operation of generating a combined image.
  • the electronic device 100 may store a plurality of narrow-angle images and a plurality of wide-angle images captured at various locations in the memory 160 .
  • the electronic device 100 may identify a narrow-angle image including an obstacle object from among the plurality of narrow-angle images ( S1005 ).
  • the narrow-angle image may mean an image obtained from the first camera 111 including a narrow-angle lens. Accordingly, the electronic device 100 may identify the obstacle object based on the narrow-angle image, which is the narrow-angle image.
  • the narrow-angle image may be an image capturing the front object.
  • the electronic device 100 may identify a wide-angle image in which the largest portion of the target object is identified from among the plurality of wide-angle images stored in the memory 160 ( S1010 ). Through step S1005, the electronic device 100 may determine that the obstacle object is located in front. Also, the electronic device 100 may identify a partial region of the target object that is covered by the obstacle through the image captured at another imaging location. In order to determine the portion covered by the obstacle, the electronic device 100 may identify an image in which the largest portion of the target object is identified from among the wide-angle images that are the wide-angle images. Here, the electronic device 100 may not simply search for an image in which the largest portion of the target object is identified, but at the same time search for an image having a degree of sharpness capable of analyzing the corresponding portion.
  • the electronic device 100 may generate a combined image based on at least one of the identified narrow-angle image and the identified wide-angle image ( S1015 ).
  • the wide-angle image may include a plurality of wide-angle images.
  • the combined image may be an image that does not include an obstacle object. That is, in an embodiment in which there is an obstacle object in front of the target object, the electronic device 100 may obtain an image in which only the target object exists without the obstacle object by generating a combined image that is a virtual image.
  • the electronic device 100 may acquire the narrow-angle image 805 at the second imaging location 801 . can Then, the electronic device 100 may identify the obstacle object 520 as being in the B label 502 and the B product 512 based on the narrow angle image 805 . The electronic device 100 cannot acquire complete information about the B label 502 and the B product 512 through the narrow-angle image 805 . This is because the B label 502 and the B product 512 included in the narrow-angle image 805 partially overlap the obstacle object 520 . Accordingly, the electronic device 100 may additionally use an image captured at a different location (or at a different angle).
  • the electronic device 100 may identify a wide-angle image in which the label B 502 and the product B 512 can be identified without overlapping the obstacle object 520 from the plurality of wide-angle images stored in the memory 160 .
  • the identified wide-angle image may be a wide-angle image captured at a location other than the second imaging location 801 .
  • the identified wide-angle image may be at least one of the wide-angle image 710 captured at the first imaging location 701 or the wide-angle image 910 captured at the third imaging location 901 .
  • the electronic device 100 may generate a combined image based on at least one of the narrow-angle image 805 , the wide-angle image 710 , and the third imaging position 901 .
  • the combined image may be an image without the obstacle object 520 in front of the B label 502 and the B product 512 .
  • FIG. 11 is a view for explaining an operation of generating a combined image according to an embodiment.
  • the electronic device 100 includes a narrow-angle image 805 captured at a second capturing position 801 , a wide-angle image 710 captured at a first capturing position 701 , and a third capturing position 901 . ), a combined image 1105 may be generated based on the wide-angle image 910 captured in FIG.
  • the narrow-angle image 805 may be an image captured through a narrow-angle lens
  • the wide-angle image 710 and the wide-angle image 910 may be images captured through a wide-angle lens.
  • the electronic device 100 may generate a combined image based on the ROI of each captured image.
  • the electronic device 100 may identify the ROI 1101 of the narrow-angle image 805 based on the target object and the obstacle object. Then, the electronic device 100 may identify the region of interest 1102 of the wide-angle image 710 . In addition, the electronic device 100 may identify the region of interest 1103 of the wide-angle image 910 .
  • the combined image 1105 may be a virtual image from which the obstacle object 520 is removed.
  • the user may identify the entire area of the target object through the image from which the obstacle object 520 is removed, and may obtain complete information of the target object.
  • the electronic device 100 may convert the wide-angle image to a ratio corresponding to the narrow-angle image, and generate the combined image 1105 based on the converted image.
  • FIG. 12 is a view for explaining an operation of generating a combined image according to another embodiment.
  • the electronic device 100 may generate a combined image 1205 based on the wide-angle image 710 and the wide-angle image 910 .
  • the electronic device 100 may identify the region of interest 1201 of the wide-angle image 710 and identify the region of interest 1202 of the wide-angle image 910 based on the target object and the obstacle object.
  • the electronic device 100 may generate the combined image 1205 based on the ROIs 1201 and 1202 of each of the wide-angle images.
  • the wide-angle image 710 and the wide-angle image 910 may be images captured through a wide-angle lens.
  • the combined image 1205 may be a virtual image from which an image corresponding to the obstacle object 520 is removed.
  • FIG. 13 is a flowchart illustrating an operation of controlling a light emitting unit based on an ROI of a narrow-angle image and a ROI of a wide-angle image.
  • the electronic device 100 may acquire a narrow-angle image through the first camera 111 ( S1305 ).
  • the electronic device 100 may identify the ROI of the narrow-angle image based on the target object ( S1310 ).
  • the region of interest may mean a region to be analyzed according to the user's intention among the entire region of the entire image to be acquired.
  • the narrow-angle image is obtained from the first camera 111 , and the first camera 111 may be a narrow-angle camera.
  • the region of interest in the narrow-angle image may be the region of interest in the narrow-angle image.
  • the region of interest of the narrow-angle image may be a region in which the target object is identified.
  • the region of interest of the narrow-angle image may be a preset region.
  • the preset area may be a central area of the narrow-angle image.
  • the electronic device 100 may acquire a wide-angle image through the second camera 112 ( S1315 ).
  • the electronic device 100 may identify whether an obstacle object is identified in the narrow-angle image (S1316).
  • the electronic device 100 may identify the ROI of the wide-angle image based on the target object except for the target object closest to the obstacle object (S1317).
  • the target object closest to the obstacle object may mean a target object covered by the obstacle object.
  • the expression 'target object closest to the obstacle object' may be replaced with 'target object within a threshold distance from the obstacle object'. A detailed description related thereto will be described later with reference to FIGS. 16 and 17 .
  • the electronic device 100 may identify the ROI of the wide-angle image based on the obstacle object and the target object closest to the obstacle object ( S1320 ).
  • the electronic device 100 may identify an obstacle object in the wide-angle image.
  • obstacle objects may be identified at different positions even when the same object is captured according to a photographing time point and a photographing position. Accordingly, the ROI of each wide-angle image may be different according to a photographing time point and a photographing position.
  • the electronic device 100 may identify the ROI based on the unidentified target object in the narrow-angle image. That is, the target object used in operation S1320 and the target object used in operation S1310 may be different. A detailed description related thereto will be described later with reference to FIGS. 14, 15, 18 and 19 .
  • the electronic device 100 may identify a region adjacent to both the ROI of the narrow-angle image and the ROI of the wide-angle image ( S1325 ).
  • the adjacent area may have a critical size.
  • the electronic device 100 may determine whether there are a plurality of regions identified in step S1325 ( S1330 ). If there are not a plurality of identified areas, the electronic device 100 may determine one identified area as the irradiation area, and may irradiate the determined irradiation area with light of maximum intensity (S1335).
  • the irradiation area may be an area to which light is emitted. A description related thereto will be described later with reference to FIGS. 14, 15, 18 and 19 .
  • the electronic device 100 may determine an area closest to the light emitting unit 130 among the plurality of identified areas as the irradiation area, and may irradiate the determined irradiation area with light of maximum intensity ( S1340). A description related thereto will be described later with reference to FIGS. 16 and 17 .
  • the electronic device 100 may identify a point closest to the ROI of the narrow-angle image and the ROI of the wide-angle image, and obtain a median value of the identified points. And, the electronic device 100 may determine the irradiation point based on the obtained median value. The electronic device 100 may control the light emitting unit 130 to irradiate light of maximum intensity to the determined irradiation point.
  • the operations of FIG. 13 may be an operation of determining an irradiation area in real time.
  • the electronic device 100 may determine the irradiation area based on a plurality of images stored after all imaging operations are already completed once. Here, the determined irradiation area may be used in the next imaging operation.
  • the electronic device 100 may analyze a plurality of stored images to determine where the most suitable irradiation area is.
  • the electronic device 100 may perform an operation of 'identifying at least one narrow-angle image including a target object from among a plurality of narrow-angle images' instead of step S1305.
  • the electronic device 100 may identify an image in which at least a part of the target object is identified by analyzing a plurality of narrow-angle images.
  • the identified narrow-angle image may include the entire area of the target object or only a partial area of the target object.
  • the electronic device 100 performs an operation of 'identifying a wide-angle image in which a target object is identifiable without overlapping by an obstacle object among a plurality of wide-angle images' instead of step S1315. can do.
  • the wide-angle image is a wide-angle image, it may include a plurality of target objects. Some target objects may not overlap the obstacle at all, and one target object may partially overlap the obstacle. The target object that does not overlap the obstacle at all may be analyzed from the narrow-angle image obtained by the first camera 111 . Accordingly, the 'wide-angle image in which the target object is identifiable without being overlapped by the obstacle object' may mean a wide-angle image in which a target object located at a distance adjacent to the obstacle object can be identified.
  • FIG. 14 is a diagram for explaining an operation of identifying an irradiation area at a first imaging position.
  • the electronic device 100 may image the front at a first imaging position 701 , obtain a narrow-angle image 705 through the first camera 111 , and use a second camera 112 .
  • the wide-angle image 710 may be acquired through the
  • the electronic device 100 may identify the ROI 1401 of the narrow-angle image 705 based on the target object.
  • the region of interest 1401 of the narrow-angle image 705 may be a region in which the label A 501 and the product A 511, which are target objects, are identified.
  • the electronic device 100 may determine whether an obstacle object is identified in the narrow-angle image 705 . If the obstacle object is not identified in the narrow-angle image 705, the electronic device 100 may identify the region of interest 1402 of the wide-angle image 710 based on the obstacle object and the target object (the target object closest to the obstacle object). there is. Here, in the wide-angle image 710 , the electronic device 100 may set a region including both the obstacle object and the target object as the region of interest 1402 of the wide-angle image 710 . Here, the target object used to identify the region of interest 1402 of the wide-angle image 710 may be different from the target object used to identify the region of interest 1401 of the narrow-angle image 705 .
  • the electronic device 100 may identify at least a portion of the obstacle object 520 in the wide-angle image 710 .
  • the electronic device 100 may identify a region including all of the obstacle object 520 , the B label 502 , and the B product 512 as the ROI 1402 of the wide-angle image 710 .
  • the electronic device 100 configures the region of interest 1401 and a region adjacent to the region of interest 1402 based on the region of interest 1401 of the identified narrow-angle image 705 and the region of interest 1402 of the identified wide-angle image 710 . (1403) can be identified.
  • the electronic device 100 may determine the ROI 1401 and the ROI 1402 in the imaging range 1415 of the electronic device 100 .
  • the ratio of displaying the object may be different between the narrow-angle image 705 and the wide-angle image 710 . Accordingly, the electronic device 100 may correct at least one image so that each image displays an object at the same ratio.
  • the electronic device 100 may identify the region of interest 1401 and the region 1403 adjacent to the region of interest 1402 in the imaging range 1415 .
  • the adjacent area 1403 may be expressed as one of an irradiation area non-interfering area and a non-overlapping area.
  • an adjacent area is described as an irradiation area.
  • the reason for separately determining the irradiation area is to solve the decrease in object recognition rate due to reflection of light.
  • the target object recognition rate may be lowered due to light reflection, and thus the strongest light intensity may be irradiated to an area where the target object is not identified.
  • 15 is a view for explaining an operation of controlling a light emitting unit at a first imaging position.
  • the electronic device 100 may determine an irradiation region 1403 positioned between the region of interest 1401 of the narrow-angle image 705 of interest and the region of interest 1402 of the wide-angle image 710 .
  • the electronic device 100 may control the light emitting unit 130 to irradiate the brightest light to a position corresponding to the irradiation area 1403 based on the determined irradiation area 1403 .
  • the brightest light may be irradiated to the position 1511 corresponding to the irradiation area 1403 .
  • Light is not irradiated only to a position corresponding to the irradiation area 1403 , but may be irradiated such that the brightest light is irradiated to a position corresponding to the irradiation area 1403 .
  • 16 is a diagram for explaining an operation of identifying an irradiation area at a second imaging position.
  • the electronic device 100 may image the front at the second imaging position 801 , obtain a narrow-angle image 805 through the first camera 111 , and use the second camera 112 .
  • the wide-angle image 810 may be acquired through the
  • the electronic device 100 may identify the ROI 1601 of the narrow-angle image 805 based on the target object.
  • the region of interest 1601 of the narrow-angle image 805 may be a region in which the label B 502 and the product B 512, which are target objects, are identified.
  • the electronic device 100 may determine whether an obstacle object is identified in the narrow-angle image 805 .
  • the electronic device 100 identifies the ROIs 1602 and 1603 of the wide-angle image 810 based on the target object except for the obstacle object and the target object closest to the obstacle object. can do.
  • the target object closest to the obstacle object may be the label B 502 and the product B 512
  • the target objects excluding the target object closest to the obstacle object are the label A 501 , the product A 511 , and the C It may be a label 503 and a product C 513 .
  • the electronic device 100 may identify the region including the label A 501 and the product A 511 as the region of interest 1602 of the wide-angle image 810, and the label C 503 and the product C ( 513 ) may be identified as the region of interest 1603 of the wide-angle image 810 .
  • the target object used to identify the ROIs 1602 and 1603 of the wide-angle image 810 may be different from the target object used to identify the ROI 1601 of the narrow-angle image 805 .
  • the electronic device 100 configures the region of interest 1601 and the regions of interest 1602 and 1603 based on the region of interest 1601 of the identified narrow-angle image 805 and the regions of interest 1602 and 1603 of the identified wide-angle image 810 .
  • adjacent regions 1604-1 and 1604-2 can be identified. Specifically, the region of interest 1601 of the narrow-angle image 805 and the region 1604-1 adjacent to the region of interest 1602 of the wide-angle image 810 are identified, and the region of interest 1601 of the narrow-angle image 805 and A region 1604 - 2 adjacent to the region of interest 1603 of the wide-angle image 810 may be identified.
  • the electronic device 100 may determine the ROI 1601 of the narrow-angle image 805 and the ROI 1602 and 1603 of the wide-angle image 810 in the imaging range 1615 of the electronic device 100 .
  • the narrow-angle image 805 and the wide-angle image 810 may have different ratios for displaying objects. Accordingly, the electronic device 100 may correct at least one image so that each image displays an object at the same ratio.
  • the electronic device 100 may identify the region of interest 1601 and regions 1604 - 1 and 1604 - 2 adjacent to the regions of interest 1602 and 1603 in the imaging range 1615 .
  • the adjacent regions 1604 - 1 and 1604 - 2 may be expressed as one of an irradiation area non-interference area and a non-overlapping area.
  • an adjacent area is described as an irradiation area.
  • 17 is a view for explaining an operation of controlling the light emitting unit at the second imaging position.
  • the irradiated region 1604 - 2 positioned between the ROI 1603 of the wide-angle image 810 may be determined. Then, when a plurality of irradiation areas are identified, one irradiation area may be determined among them.
  • the electronic device 100 may determine an irradiation area close to the position of the light emitting unit 130 among the plurality of irradiation areas, and control the light emitting unit 130 to irradiate the brightest light to a position corresponding to the determined irradiation area. . Specific operations have been described above in steps S1330 and S1340 of FIG. 13 . Among the two irradiation areas 1604 - 1 and 1604 - 2 based on the second imaging position 801 , an irradiation area closer to the light emitting unit 130 may be an area 1604 - 2 .
  • the brightest light may be irradiated to the position 1711 corresponding to the irradiation area 1604 - 2 .
  • 18 is a diagram for explaining an operation of identifying an irradiation area at a third imaging position.
  • the electronic device 100 may image the front at the third imaging position 901 , obtain a narrow-angle image 905 through the first camera 111 , and use the second camera 112 .
  • the wide-angle image 910 may be acquired through the
  • the electronic device 100 may identify the ROI 1801 of the narrow-angle image 905 based on the target object.
  • the region of interest 1801 of the narrow-angle image 905 may be a region in which the C label 503 and the C product 513, which are target objects, are identified.
  • the electronic device 100 may determine whether an obstacle object is identified in the narrow-angle image 905 . If the obstacle object is not identified in the narrow-angle image 905, the electronic device 100 may identify the region of interest 1802 of the wide-angle image 910 based on the obstacle object and the target object (the target object closest to the obstacle object). there is. Here, the electronic device 100 may set a region including both the obstacle object and the target object in the wide-angle image 910 as the region of interest 1802 of the wide-angle image 910 .
  • the target object used to identify the region of interest 1802 of the wide-angle image 910 may be different from the target object used to identify the region of interest 1801 of the narrow-angle image 905 .
  • the electronic device 100 may identify at least a portion of the obstacle object 520 in the wide-angle image 910 .
  • the B label 502 and the B product 512 which are the closest target objects to the obstacle object 520 among a plurality of target objects included in the wide-angle image 910 may be identified.
  • the electronic device 100 may identify a region including all of the obstacle object 520 , the B label 502 , and the B product 512 as the ROI 1802 of the wide-angle image 910 .
  • the electronic device 100 configures the region of interest 1801 and a region adjacent to the region of interest 1802 based on the region of interest 1801 of the identified narrow-angle image 905 and the region of interest 1802 of the identified wide-angle image 910 . (1803) can be identified.
  • the electronic device 100 may determine the ROI 1801 and the ROI 1802 in the imaging range 1815 of the electronic device 100 .
  • the ratio of displaying the object may be different between the narrow-angle image 905 and the wide-angle image 910 . Accordingly, the electronic device 100 may correct at least one image so that each image displays an object at the same ratio.
  • the electronic device 100 may identify the region of interest 1801 and the region 1803 adjacent to the region of interest 1802 in the imaging range 1815 .
  • the adjacent area 1803 may be expressed as one of an irradiation area non-interfering area and a non-overlapping area.
  • an adjacent area is described as an irradiation area.
  • the reason for separately determining the irradiation area is to solve the decrease in object recognition rate due to reflection of light.
  • the target object recognition rate may be lowered due to light reflection, and thus the strongest light intensity may be irradiated to an area where the target object is not identified.
  • 19 is a view for explaining an operation of controlling the light emitting unit at the third imaging position.
  • the electronic device 100 may determine an irradiation region 1803 located between the region of interest 1801 of the narrow-angle image 905 of interest and the region of interest 1802 of the wide-angle image 910 .
  • the electronic device 100 may control the light emitting unit 130 to irradiate the brightest light to a position corresponding to the irradiation area 1803 based on the determined irradiation area 1803 .
  • the brightest light may be irradiated to the position 1911 corresponding to the irradiation area 1803 .
  • Light is not irradiated only to a position corresponding to the irradiation area 1803 , but may be irradiated so that the brightest light is irradiated to a position corresponding to the irradiation area 1803 .
  • 20 is a diagram for describing an electronic device including a plurality of camera modules.
  • the electronic device 100 may include a plurality of camera modules.
  • the first camera module 110 may include a first camera 111 , a second camera 112 , and a light emitting unit 130 .
  • the second camera module 110 - 2 includes a third camera 111 - 2 having the same imaging angle as the first camera 111 , and a fourth camera 112 having the same imaging angle as the second camera 112 . -2) and a light emitting unit 130-2.
  • the third camera module 110-3 includes a fifth camera 111-3 having the same imaging angle as the first camera 111 and a sixth camera 112 having the same imaging angle as the second camera 112 . -3) and a light emitting unit 130-3.
  • Each camera module may include a camera including a narrow-angle lens, a camera including a wide-angle lens, and a light emitting unit. Each camera module may be disposed in a vertical direction in the electronic device 100 .
  • 21 is a flowchart for explaining an operation of generating a combined image based on images acquired by a plurality of camera modules.
  • the electronic device 100 may obtain a first narrow-angle image and a second wide-angle image from a first camera 111 and a second camera 112 included in the first camera module 110 . (S2105). Then, the electronic device 100 acquires the third narrow-angle image and the fourth wide-angle image from the third camera 111-2 and the fourth camera 112-2 included in the second camera module 110-2.
  • the first narrow-angle image may be a narrow-angle image obtained from the first camera 111
  • the third narrow-angle image may be a narrow-angle image obtained from the third camera 111 - 2
  • the second wide-angle image may be a wide-angle image obtained from the second camera 112
  • the fourth wide-angle image may be a wide-angle image obtained from the fourth camera 112 - 2 .
  • the electronic device 100 may identify an image including an obstacle object in the first narrow-angle image or the second wide-angle image (S2115).
  • the electronic device 100 may identify a second wide-angle image in which the largest portion of the target object (existing within a threshold distance from the obstacle object) is identified in the third narrow-angle image or the fourth wide-angle image ( S2120 ). That is, when an obstacle object is identified in the first narrow-angle image and the second wide-angle image acquired by the first camera module 110 , the second camera module 110 - 2 located at a different vertical height from the first camera module 110 . A portion obscured by the obstacle object may be identified using the third narrow-angle image and the fourth wide-angle image obtained in .
  • the electronic device 100 may generate a combined image based on the image acquired by the first camera module 110 and the image acquired by the second camera module 110-2 (S2125). A detailed operation of generating a combined image based on images acquired by a plurality of camera modules will be described later with reference to FIG. 22 .
  • 22 is a view for explaining a combined image generated based on images obtained by a plurality of camera modules.
  • the electronic device 100 includes a plurality of camera modules. It is assumed that the electronic device 100 includes a first camera module 110 , a second camera module 110 - 2 , and a third camera module 110 - 3 as shown in FIG. 20 .
  • the electronic device 100 acquires a first narrow-angle image 2205 through the first camera 111 included in the first camera module 110 , and a third camera included in the second camera module 110-2 A third narrow-angle image 2210 is acquired through 111-2, and a fifth narrow-angle image 2215 is acquired through a fifth camera 111-3 included in the third camera module 110-3.
  • the first narrow-angle image, the third narrow-angle image, and the fifth narrow-angle image may include a target object and an obstacle object.
  • each captured image may have a different capturing angle. Accordingly, the portion of the target object that is obscured by the obstacle object may be different. That is, a portion covered by the obstacle object in one image may not be covered by the obstacle object in another image.
  • the electronic device 100 may generate the combined image 2220 based on the first narrow-angle image 2205 , the third narrow-angle image 2210 , and the fifth narrow-angle image 2215 .
  • the combined image 2220 may be an image from which an obstacle object is removed.
  • FIG. 23 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • a first captured image obtained from a first camera having a first capturing angle or a second captured image obtained from a second camera having a second capturing angle greater than the first capturing angle is obtained.
  • a part of the target object is identified from at least one of the second captured images and an obstacle object overlapping the other part of the target object is identified, acquiring location information of the identified obstacle object (S2305), the acquired obstacle object and identifying the region of interest of the second captured image based on the location information of ( S2310 ) and identifying the remaining part of the target object based on the region of interest of the second captured image ( S2315 ).
  • control method includes the steps of: obtaining a combined image including the entire image of the target object based on the region including the target object and the obstacle object in the first captured image and the region of interest of the second captured image; It may further include the step of identifying the target object based on the.
  • the first captured image may be an image captured by the first camera at the first capturing position
  • the second captured image may be an image captured by the second camera at a second capturing position different from the first capturing position.
  • control method includes: acquiring a third captured image captured from the second camera at a third capturing position different from the first capturing position and the second capturing position; based on the position information of the identified obstacle object, the third captured image
  • the method may further include identifying a region of interest of , and identifying the remaining part of the target object based on the region of interest in the second captured image and the region of interest in the third captured image.
  • the second imaging position may be located in a first direction with respect to the first imaging position
  • the third imaging position may be located in a second direction different from the first direction with respect to the first imaging position
  • the region of interest of the second captured image may be identified based on direction information in which the second captured image is captured and location information of an obstacle object
  • the third The step of identifying the region of interest of the captured image may include identifying the region of interest of the third captured image based on direction information in which the third captured image is captured and location information of the obstacle object.
  • control method may further include identifying a part of the target object and the obstacle object based on the first captured image and identifying the remaining part of the target object based on the region of interest of the second captured image.
  • control method further includes the steps of identifying position information and size information of the obstacle object based on the first captured image and identifying the capturing position of the second camera based on the identified position information and size information of the obstacle object may include, and the second captured image may be an image captured at the identified capturing location.
  • control method includes the steps of identifying a region of interest in the first captured image, identifying positions corresponding to regions adjacent to the region of interest in the first captured image and the region of interest in the second captured image, and threshold intensity as the identified position It may further include the step of irradiating the above light.
  • control method may further include changing the light emission angle so that light is irradiated to the identified position.
  • the method of controlling the electronic device as shown in FIG. 23 may be executed on the electronic device having the configuration of FIG. 2 or FIG. 3 , and may also be executed on the electronic device having other configurations.
  • various embodiments of the present disclosure described above may be performed through an embedded server provided in an electronic device or an external server of at least one of an electronic device and a display device.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer).
  • the device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include the electronic device according to the disclosed embodiments.
  • the processor may perform a function corresponding to the instruction by using other components directly or under the control of the processor.
  • Instructions may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the method according to the various embodiments described above may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play StoreTM).
  • an application store eg, Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each of the components may be composed of a single or a plurality of entities, and some sub-components of the aforementioned sub-components may be omitted, or other sub-components may be omitted. Components may be further included in various embodiments.
  • some components eg, a module or a program
  • operations performed by a module, program, or other component may be sequentially, parallelly, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 제1 촬상각을 갖는 제1 카메라, 제1 촬상각보다 큰 제2 촬상각을 갖는 제2 카메라 및 제1 카메라로부터 획득된 제1 촬상 이미지 또는 제2 카메라로부터 획득된 제2 촬상 이미지 중 적어도 하나로부터 타겟 오브젝트의 일 부분이 식별되고 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 식별된 장애물 오브젝트의 위치 정보를 획득하고, 획득된 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별하고 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 장애물에 가려진 타겟 오브젝트를 식별하는 전자 장치 및 그 제어방법에 대한 것이다.
다양한 제품에 대한 재고 파악 업무를 자동화하기 위하여 이동 로봇을 이용할 수 있다. 여기서, 이동 로봇을 카메라를 포함하여 제품의 위치 및 수량 등을 파악할 수 있다. 다만, 모든 제품들이 카메라를 통해 쉽게 인식되도록 배치되어 있지 않을 수 있다. 예를 들어, 하나의 제품과 다른 제품이 겹쳐져 있거나, 하나의 제품과 장애물이 서로 겹쳐져 있는 경우 이동 로봇은 재고 파악에 어려움이 있을 수 있다.
또한, 이동 로봇을 플래시를 포함할 수 있다. 제품을 촬상함에 있어 실내 공간의 조명이 어둡거나 텍스트를 인식하기 위하여 이미지가 더 밝은 상태로 획득해야 할 수 있다. 여기서, 제품 자체 또는 라벨 등은 빛이 쉽게 반사되는 재질일 수 있다. 여기서, 플래시 등에 의해 빛이 많이 반사되는 경우, 이동 로봇이 촬상한 이미지는 다소 인식률이 떨어지는 문제가 있을 수 있다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 서로 다른 촬상각을 갖는 복수의 카메라에서 획득된 이미지를 이용하여 장애물에 가려진 타겟을 식별하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는 제1 촬상각을 갖는 제1 카메라, 상기 제1 촬상각보다 큰 제2 촬상각을 갖는 제2 카메라 및 상기 제1 카메라로부터 획득된 제1 촬상 이미지 또는 상기 제2 카메라로부터 획득된 제2 촬상 이미지에서 타겟 오브젝트의 일 부분이 식별되고 상기 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 상기 식별된 장애물 오브젝트의 위치 정보를 획득하고, 상기 획득된 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하고 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 프로세서를 포함한다.
한편, 상기 프로세서는 상기 제1 촬상 이미지에서 상기 타겟 오브젝트 및 상기 장애물 오브젝트가 포함된 영역 및 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득할 수 있고, 상기 획득된 결합 이미지에 기초하여 상기 타겟 오브젝트를 식별할 수 있다.
한편, 상기 제1 촬상 이미지는 제1 촬상 위치에서 상기 제1 카메라에 의해 촬상된 이미지이고, 상기 제2 촬상 이미지는 상기 제1 촬상 위치와 상이한 제2 촬상 위치에서 상기 제2 카메라에 의해 촬상된 이미지일 수 있다.
한편, 상기 프로세서는 상기 제1 촬상 위치 및 상기 제2 촬상 위치와 상이한 제3 촬상 위치에서 상기 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득할 수 있고, 상기 식별된 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별할 수 있고, 상기 제2 촬상 이미지의 관심 영역 및 상기 제3 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다.
한편, 상기 제2 촬상 위치는 상기 제1 촬상 위치를 기준으로 제1 방향에 위치할 수 있고, 상기 제3 촬상 위치는 상기 제1 촬상 위치를 기준으로 상기 제1 방향과 상이한 제2 방향에 위치할 수 있다.
한편, 상기 프로세서는 상기 제2 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별할 수 있고, 상기 제3 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별할 수 있다.
한편, 상기 프로세서는 상기 제1 촬상 이미지에서 식별된 상기 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보를 획득하고, 상기 제2 촬상 이미지에서 식별된 상기 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보를 획득할 수 있다.
한편, 상기 프로세서는 상기 제1 촬상 이미지에 기초하여 상기 장애물 오브젝트의 위치 정보 및 크기 정보를 식별할 수 있고, 상기 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라의 촬상 위치를 식별할 수 있고, 상기 제2 촬상 이미지는 상기 식별된 촬상 위치에서 촬상된 이미지일 수 있다.
한편, 전자 장치는 발광부를 더 포함할 수 있고, 상기 프로세서는 상기 제1 촬상 이미지의 관심 영역을 식별할 수 있고, 상기 제1 촬상 이미지의 관심 영역 및 상기 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별할 수 있고, 상기 식별된 위치로 임계 세기 이상의 광을 조사하도록 상기 발광부를 제어할 수 있다.
한편, 상기 프로세서는 상기 식별된 위치로 상기 광이 조사되도록 상기 발광부의 발광 각도를 변경할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 제1 촬상각을 갖는 제1 카메라로부터 획득된 제1 촬상 이미지 또는 상기 제1 촬상각보다 큰 제2 촬상각을 가지는 제2 카메라로부터 획득된 제2 촬상 이미지 에서 타겟 오브젝트의 일 부분이 식별되고 상기 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 상기 식별된 장애물 오브젝트의 위치 정보를 획득하는 단계, 상기 획득된 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 단계를 포함한다.
한편, 상기 제어 방법은 상기 제1 촬상 이미지에서 상기 타겟 오브젝트 및 상기 장애물 오브젝트가 포함된 영역 및 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득하는 단계 및 상기 획득된 결합 이미지에 기초하여 상기 타겟 오브젝트를 식별하는 단계를 더 포함할 수 있다.
한편, 상기 제1 촬상 이미지는 제1 촬상 위치에서 상기 제1 카메라에 의해 촬상된 이미지이고, 상기 제2 촬상 이미지는 상기 제1 촬상 위치와 상이한 제2 촬상 위치에서 상기 제2 카메라에 의해 촬상된 이미지일 수 있다.
한편, 상기 제어 방법은 상기 제1 촬상 위치 및 상기 제2 촬상 위치와 상이한 제3 촬상 위치에서 상기 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득하는 단계, 상기 식별된 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하는 단계 및 상기 제2 촬상 이미지의 관심 영역 및 상기 제3 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 단계를 더 포함할 수 있다.
한편, 상기 제2 촬상 위치는 상기 제1 촬상 위치를 기준으로 제1 방향에 위치할 수 있고, 상기 제3 촬상 위치는 상기 제1 촬상 위치를 기준으로 상기 제1 방향과 상이한 제2 방향에 위치할 수 있다.
한편, 상기 제2 촬상 이미지의 관심 영역을 식별하는 단계는 상기 제2 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별할 수 있고, 상기 제3 촬상 이미지의 관심 영역을 식별하는 단계는 상기 제3 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별할 수 있다.
한편, 상기 제어 방법은 상기 제1 촬상 이미지에서 식별된 상기 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보를 획득하는 단계 및 상기 제2 촬상 이미지에서 식별된 상기 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보를 획득하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 제1 촬상 이미지에 기초하여 상기 장애물 오브젝트의 위치 정보 및 크기 정보를 식별하는 단계 및 상기 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라의 촬상 위치를 식별하는 단계를 더 포함할 수 있고, 상기 제2 촬상 이미지는 상기 식별된 촬상 위치에서 촬상된 이미지일 수 있다.
한편, 상기 제어 방법은 상기 제1 촬상 이미지의 관심 영역을 식별하는 단계, 상기 제1 촬상 이미지의 관심 영역 및 상기 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별하는 단계 및 상기 식별된 위치로 임계 세기 이상의 광을 조사하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 식별된 위치로 상기 광이 조사되도록 발광 각도를 변경하는 단계를 더 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 3은 도 2의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치에 포함된 카메라 모듈을 설명하기 위한 도면이다.
도 5는 전자 장치가 타겟 오브젝트 및 장애물 오브젝트를 식별하는 동작을 설명하기 위한 도면이다.
도 6은 타겟 오브젝트의 전체 영역을 식별하는 동작을 설명하기 위한 흐름도이다.
도 7은 제1 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 8은 제2 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 9는 제3 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 10은 결합 이미지를 생성하는 동작을 설명하기 위한 흐름도이다.
도 11은 일 실시 예에 따른 결합 이미지 생성 동작을 설명하기 위한 도면이다.
도 12는 다른 실시 예에 따른 결합 이미지 생성 동작을 설명하기 위한 도면이다.
도 13은 협각 이미지의 관심 영역 및 광각 이미지의 관심 영역에 기초하여 발광부를 제어하는 동작을 설명하기 위한 흐름도이다.
도 14는 제1 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 15는 제1 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 16은 제2 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 17은 제2 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 18은 제3 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 19는 제3 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 20은 복수의 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 도면이다.
도 21은 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 결합 이미지를 생성하는 동작을 설명하기 위한 흐름도이다.
도 22는 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 생성된 결합 이미지를 설명하기 위한 도면이다.
도 23은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)는 카메라를 통해 전방의 오브젝트를 촬상(또는 촬영)할 수 있다. 여기서, 전자 장치(100)는 카메라를 포함하는 이동형 기기를 의미할 수 있다. 예를 들어, 전자 장치(100)는 카메라를 포함하는 이동형 로봇일 수 있다.
전자 장치(100)는 카메라를 통해 전방의 타겟 오브젝트를 촬상할 수 있다. 여기서, 타겟 오브젝트는 사용자가 촬상하고자 의도하는 물체를 의미할 수 있다. 예를 들어, 타겟 오브젝트는 라벨 또는 제품 그 자체를 의미할 수 있다. 전자 장치(100)는 촬상된 이미지에 기초하여 타겟 오브젝트를 식별하고, 식별된 타겟 오브젝트에 기초하여 타겟 오브젝트에 대응되는 정보를 획득할 수 있다.
전자 장치(100)는 촬상된 이미지에서 라벨을 식별하고, 식별된 라벨에 기초하여 라벨에 포함된 텍스트 정보를 획득할 수 있다. 획득되는 텍스트 정보에는 제품 이름, 제품 번호, 제품, 종류, 제품 회사, 제품 수량, 제품 기타 정보 중 적어도 하나가 포함될 수 있다.
전자 장치(100)는 촬상된 이미지에서 제품을 식별하고, 식별된 제품에 기초하여 제품 이름, 제품 번호, 제품, 종류, 제품 회사, 제품 수량, 제품 기타 정보 중 적어도 하나가 포함될 수 있다.
이미지에 포함된 라벨에서 획득되는 정보는 촬상된 라벨 자체에서 획득되는 정보이며, 이미지에 포함된 제품에서 획득되는 정보는 제품 이미지를 분석하여 획득되는 정보일 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 제1 카메라(111), 제2 카메라(112) 및 프로세서(120)로 구성될 수 있다.
제1 카메라(111)는 협각 이미지를 촬상하는 카메라일 수 있다. 제2 카메라(112)는 광각 이미지를 촬상하는 카메라일 수 있다. 따라서, 제1 카메라(111)는 제1 촬상각으로 촬상할 수 있으며, 제2 카메라(112)는 제1 촬상각보다 큰 제2 촬상각으로 촬상할 수 있다.
제1 카메라(111) 및 제2 카메라(112)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함하는 개념이다. 제1 카메라(111) 및 제2 카메라(112)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.
제1 카메라(111) 및 제2 카메라(112)는 렌즈와 이미지 센서를 포함할 수 있다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 전자 장치(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.
제1 카메라(111) 및 제2 카메라(112)는 입사된 빛을 영상 신호로 출력한다. 구체적으로, 제1 카메라(111) 및 제2 카메라(112)는 렌즈, 화소 및 AD 컨버터를 구비할 수 있다. 렌즈는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하며, 화소는 렌즈를 통해 입상되는 빚을 아날로그 형태의 영상 신호로 출력할 수 있다. 그리고 AD 컨버터는 아날로그 형태의 영상 신호를 디지털 형태의 영상 신호로 변환하여 출력할 수 있다. 특히, 제1 카메라(111) 및 제2 카메라(112)는 전자 장치(100)의 전면 방향을 촬상하도록 배치되어, 전자 장치(100)의 전면에 존재하는 사용자를 촬상하여 촬상 영상을 생성할 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(120)는 메모리에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치(100)는 제1 촬상각을 갖는 제1 카메라(111), 제1 촬상각보다 큰 제2 촬상각을 갖는 제2 카메라(112) 및 제1 카메라(111)로부터 획득된 제1 촬상 이미지 또는 제2 카메라(112)로부터 획득된 제2 촬상 이미지에서 타겟 오브젝트의 일 부분(장애물 오브젝트에 가려져 있지 않은 영역)이 식별되고 타겟 오브젝트의 나머지 일 부분(장애물 오브젝트에 가려져 있는 영역)에 오버랩되는 장애물 오브젝트가 식별되면, 식별된 장애물 오브젝트의 위치 정보를 획득하고, 획득된 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별하고 제2 카메라(112)로부터 획득된 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 프로세서(120)를 포함한다.
여기서, 제1 카메라(111)는 협각 렌즈를 이용하여 제1 촬상각으로 촬상하는 협각 카메라일 수 있다. 여기서, 제2 카메라(112)는 광각 렌즈를 이용하여 제2 촬상각으로 촬상하는 광각 카메라일 수 있다. 따라서, 제2 카메라(112)는 광각 카메라에 해당하므로, 제2 촬상각은 제1 촬상각보다 클 수 있다. 본 개시의 촬상은 촬영으로 대체될 수 있다.
프로세서(120)는 제1 카메라(111)를 통해 촬상된 제1 촬상 이미지를 획득할 수 있고, 제2 카메라(112)를 통해 촬상된 제2 촬상 이미지를 획득할 수 있다. 여기서, 제1 카메라(111)를 통해 획득한 이미지는 협각 이미지일 수 있고, 제2 카메라(112)를 통해 획득한 이미지는 광각 이미지일 수 있다.
장애물 오브젝트를 식별하는 동작에 이용되는 제1 촬상 이미지와 관심 영역을 식별하는데 이용되는 제2 촬상 이미지는 서로 다른 촬상 위치에서 촬상된 이미지일 수 있다. 일 예로, 제1 촬상 이미지는 장애물 오브젝트의 정면에서 촬상된 협각 이미지일 수 있고, 제2 촬상 이미지는 장애물 오브젝트의 측면(또는 대각선 방향)에서 촬상된 광각 이미지일 수 있다. 한편, 서로 다른 촬상 위치에서 획득되는 이미지들에 대한 설명은 도 5 내지 도 9에서 후술한다.
따라서, 프로세서(120)는 제1 촬상 이미지를 통해 식별하지 못한 타겟 오브젝트의 나머지 일 부분을 제2 촬상 이미지를 통해 식별할 수 있다.
프로세서(120)는 이미지에 포함된 오브젝트가 타겟 오브젝트인지 여부를 판다하기 위하여 반드시 타겟 오브젝트의 모든 영역이 필요한 것은 아니다. 예를 들어, 3cm * 4cm의 라벨을 타겟 오브젝트로 기 결정하였다고 가정한다. 프로세서(120)가 획득되는 이미지에서 3cm * 4cm의 라벨을 식별하기 위하여 라벨 전체가 이미지에 포함되어야 하는 것은 아니다. 예를 들어, 라벨의 일부가 이미지에 포함되어 있는 경우에도 프로세서(120)는 이미지에 라벨이 포함된 것으로 식별될 수 있다. 다만, 프로세서(120)는 라벨이 장애물에 의해 가려져 있거나 라벨이 일부만 촬상된 것으로 식별할 수 있다.
프로세서(120)는 촬상된 제1 촬상 이미지 또는 제2 촬상 이미지 중 적어도 하나의 이미지로부터 타겟 오브젝트의 일 부분(예를 들어, 라벨의 일부)을 식별할 수 있다. 여기서, 타겟 오브젝트(예를 들어, 라벨)는 사용자가 인식하고자 하는 오브젝트를 의미할 수 있다. 타겟 오브젝트는 기 결정된 형태(예를 들어, 3cm * 4cm)를 포함할 수 있다. 여기서, 기 결정된 형태는 기 결정된 크기를 갖는 사각형 모양일 수 있다. 프로세서(120)는 획득된 이미지에서 기 결정된 크기를 갖는 사각형 모양을 식별할 수 있다.
본 개시의 주요 실시 예는 타겟 오브젝트 앞에 장애물 오브젝트가 놓여져 있는 상황을 가정한다. 장애물 오브젝트가 타겟 오브젝트를 가리는 경우, 촬상된 이미지에서 타겟 오브젝트는 일 부분만이 식별될 수 있다. 하지만, 프로세서(120)는 일 부분만으로도 타겟 오브젝트인지 여부를 식별할 수 있다.
또한, 식별된 타겟 오브젝트의 일 부분 이외의 나머지 일 부분은 장애물 오브젝트에 의해 오버랩될 수 있다. 여기서, 프로세서(120)는 장애물 오브젝트를 식별할 수 있다. 그리고, 프로세서(120)는 식별된 장애물 오브젝트의 위치 정보를 획득할 수 있다.
또한, 프로세서(120)는 식별된 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별할 수 있다. 여기서, 관심 영역(Region of Interest)은 획득되는 전체 이미지 영역 중 사용자의 의도에 대응되는 일부 영역을 의미할 수 있다. 여기서, 관심 영역은, 타겟 오브젝트 또는 장애물 오브젝트 중 적어도 하나를 포함하는 영역을 의미할 수 있다. 일 예로, 관심 영역은 타겟 오브젝트가 포함되는 영역일 수 있으며, 다른 예로, 타겟 오브젝트 및 장애물 오브젝트가 모두 포함되는 영역일 수 있다.
관심 영역을 설정하는 경우 이미지 분석 및 이미지 처리에 있어 처리량 및 속도를 향상시킬 수 있다. 예를 들어, 장애물 오브젝트의 위치 정보가 전체 촬상 범위에서 우측에 있다고 가정한다. 프로세서(120)는 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지에서 관심 영역을 우측 영역으로 설정할 수 있다.
프로세서(120)는 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다. 여기서, 나머지 일 부분은 제1 촬상 이미지에서 장애물 오브젝트에 의해 가려졌던 부분을 의미할 수 있다.
한편, 프로세서(120)는 제1 촬상 이미지에서 타겟 오브젝트 및 장애물 오브젝트가 포함된 영역 및 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득할 수 있고, 획득된 결합 이미지에 기초하여 타겟 오브젝트를 식별할 수 있다.
프로세서(120)는 타겟 오브젝트에 대한 정보를 완전히 획득하기 위하여 제1 촬상 이미지뿐 아니라 제2 촬상 이미지를 함께 이용해야 한다. 특히, 프로세서(120)는 데이터 처리 속도를 빨리 하기 위하여 제2 촬상 이미지에서 관심 영역을 설정할 수 있다. 프로세서(120)는 제1 촬상 이미지 및 제2 촬상 이미지를 결합하되 장애물 오브젝트를 제거하여 결합 이미지를 생성할 수 있다. 여기서, 결합 이미지는 장애물 오브젝트가 제거되었다는 점에서 가상의 이미지를 의미할 수 있다. 결합 이미지 생성 동작은 도 10 내지 도 12에서 후술한다.
한편, 제1 촬상 이미지는 제1 촬상 위치에서 제1 카메라(111)에 의해 촬상된 이미지이고, 제2 촬상 이미지는 제1 촬상 위치와 상이한 제2 촬상 위치에서 제2 카메라(112)에 의해 촬상된 이미지일 수 있다.
여기서, 제1 촬상 위치는 장애물 오브젝트의 정면에 대응되는 위치일 수 있다. 예를 들어, 제1 촬상 위치는 도 8의 제2 촬상 위치(802)일 수 있다. 제2 촬상 위치는 장애물 오브젝트의 측면에 대응되는 위치일 수 있다. 예를 들어, 제2 촬상 위치는 도 7의 제1 촬상 위치(701) 또는 도 9의 제3 촬상 위치(901)일 수 있다. 2개의 촬상 이미지에 따라 관심 영역을 설정하는 동작은 도 12에서 후술한다.
한편, 프로세서(120)는 제1 촬상 위치 및 제2 촬상 위치와 상이한 제3 촬상 위치에서 제2 카메라(112)로부터 촬상된 제3 촬상 이미지를 획득할 수 있고, 식별된 장애물 오브젝트의 위치 정보에 기초하여 제3 촬상 이미지의 관심 영역을 식별할 수 있고, 제2 촬상 이미지의 관심 영역 및 제3 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다.
여기서, 제1 촬상 이미지는 제1 촬상 위치에서 획득된 것이고 제2 촬상 이미지는 제2 촬상 위치에서 획득된 것이고, 제3 촬상 이미지는 제3 촬상 위치에서 획득된 것일 수 있다. 여기서, 제1 촬상 위치 내지 제3 촬상 위치가 모두 상이할 수 있다. 프로세서(120)는 제3 촬상 이미지에 대해서 관심 영역을 식별할 수 있다. 구체적으로, 프로세서(120)는 제3 촬상 이미지에서 장애물 오브젝트를 식별하고, 식별된 장애물 오브젝트에 대응되는 영역을 관심 영역으로 식별할 수 있다. 그리고, 프로세서(120)는 제2 촬상 이미지의 관심 영역 및 제3 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분(제1 촬상 이미지에서 장애물 오브젝트에 가려진 부분)을 식별할 수 있다. 또한, 프로세서(120)는 타겟 오브젝트의 전체 부분을 식별하기 위하여 제1 촬상 이미지의 일 부분을 이용할 수 있다. 예를 들어, 프로세서(120)는 제1 촬상 이미지의 일 부분(장애물 오브젝트에 의해 가려지지 않은 부분)과 제2 촬상 이미지의 관심 영역 및 제3 촬상 이미지의 관심 영역을 모두 고려하여 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다. 3개의 촬상 이미지에 따라 관심 영역을 설정하는 동작은 도 11에서 후술한다.
한편, 제2 촬상 위치는 제1 촬상 위치를 기준으로 제1 방향에 위치할 수 있고, 제3 촬상 위치는 제1 촬상 위치를 기준으로 제1 방향과 상이한 제2 방향에 위치할 수 있다.
제1 촬상 위치는 제1 촬상 이미지인 협각 이미지가 획득되는 위치일 수 있으며 장애물 오브젝트의 정면에 해당하는 위치일 수 있다. 제2 촬상 위치 및 제3 촬상 위치는 장애물 오브젝트를 기준으로 상이한 대각선 측면 방향에 해당하는 위치일 수 있다. 예를 들어, 제2 촬상 위치는 제1 촬상 위치(장애물 오브젝트의 정면)에서 (전자 장치(100)에서 장애물 오브젝트를 향하는 기준에서) 왼쪽에 해당하는 위치일 수 있다. 다만, 제3 촬상 위치는 제1 촬상 위치(장애물 오브젝트의 정면)에서 (전자 장치(100)에서 장애물 오브젝트를 향하는 기준에서) 오른쪽에 해당하는 위치일 수 있다.
한편, 프로세서(120)는 제2 촬상 이미지가 촬상된 방향 정보 및 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별할 수 있고, 제3 촬상 이미지가 촬상된 방향 정보 및 장애물 오브젝트의 위치 정보에 기초하여 제3 촬상 이미지의 관심 영역을 식별할 수 있다.
여기서, 제2 촬상 이미지가 촬상된 방향 정보는 제1 촬상 위치를 기준으로 좌측에 해당한다. 또한, 제2 촬상 이미지가 촬상된 방향 정보는 촬상 방향을 기준으로 우측 5도 내지 10도일 수 있다. 또한, 제3 촬상 이미지가 촬상된 방향 정보는 제1 촬상 위치를 기준으로 우측에 해당할 수 있다. 또한, 제3 촬상 이미지가 촬상된 방향 정보는 촬상 방향을 기준으로 좌측 5도 내지 10도일 수 있다.
예를 들어, 도 12에서 광각 이미지(710)의 관심 영역(1201)은 전체 이미지 중 우측에 위치할 수 있으며, 광각 이미지(910)의 관심 영역(1202)은 전체 이미지 중 좌측에 위치할 수 있다.
한편, 프로세서(120)는 제1 촬상 이미지에서 식별된 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보(제1 촬상 이미지를 기준으로 장애물에 가려져 있지 않았던 영역에 대응되는 정보)를 획득할 수 있고, 제2 촬상 이미지에서 식별된 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보(제1 촬상 이미지를 기준으로 장애물에 가려져 식별 할 수 없었던 정보)를 획득할 수 있다.
프로세서(120)는 각각의 촬상 이미지에서 동일한 오브젝트를 식별함에도 불과하고 서로 다른 정보를 획득할 수 있다. 제1 촬상 이미지에 포함된 타겟 오브젝트가 일부 가려져 있기 때문이다. 따라서, 프로세서(120)는 제1 카메라(111)를 통해 획득한 제1 촬상 이미지에서 타겟 오브젝트의 일부 정보(제1 정보)를 획득하고, 제2 카메라(112)를 통해 획득한 제2 촬상 이미지에서 타겟 오브젝트의 나머지 정보(제2 정보)를 획득할 수 있다.
한편, 프로세서(120)는 제1 촬상 이미지에 기초하여 장애물 오브젝트의 위치 정보 및 크기 정보를 식별할 수 있고, 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 제2 카메라(112)의 촬상 위치를 식별할 수 있고, 제2 촬상 이미지는 식별된 촬상 위치에서 촬상된 이미지일 수 있다.
프로세서(120)는 장애물의 위치 정보 및 크기 정보에 기초하여 어느 위치에 대응되는 제2 촬상 이미지를 식별할 것인지 결정할 수 있다. 만약, 장애물 오브젝트의 크기가 커지면 제2 촬상 이미지가 식별되는 제2 촬상 위치는 제1 촬상 위치로부터 더 멀어질 수 있다. 만약, 장애물 오브젝트의 크기가 작아지면 제2 촬상 이미지가 식별되는 제2 촬상 위치는 제1 촬상 위치로부터 더 가까워질 수 있다. 즉, 제1 촬상 위치 및 제2 촬상 위치 사이의 거리는 장애물 오브젝트의 크기에 비례할 수 있다.
여기서, 프로세서(120)는 전자 장치(100)의 이동 및 카메라 모듈(110)의 배치 구조에 기초하여 장애물의 위치 정보 및 크기 정보를 식별할 수 있다. 여기서, 카메라 모듈(110)의 배치 구조는 제1 카메라(111) 및 제2 카메라(112) 간 지오메트리(geometry)를 의미할 수 있다.
한편, 전자 장치(100)는 발광부(130)를 더 포함할 수 있고, 프로세서(120)는 제1 촬상 이미지의 관심 영역을 식별할 수 있고, 제1 촬상 이미지의 관심 영역 및 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별할 수 있고, 식별된 위치로 임계 세기 이상의 광을 조사하도록 발광부(130)를 제어할 수 있다.
발광부(130)와 관련된 구체적인 동작은 도 14 내지 도 19에서 후술한다.
한편, 프로세서(120)는 식별된 위치로 광이 조사되도록 발광부(130)의 발광 각도를 변경할 수 있다.
일 실시 예에 따라, 조사 영역은 관심 영역에 따라 변경될 수 있다. 프로세서(120)는 타겟 오브젝트 및 장애물 오브젝트에 기초하여 촬상 이미지에서 관심 영역을 식별할 수 있다. 따라서, 관심 영역이 변경되면 조사 영역도 변경될 수 있다. 프로세서(120)는 변경되는 조사 영역에 빛을 조사하기 위하여 발광부(130)의 발광 각도를 변경할 수 있다.
다른 실시 예에 따라, 조사 영역은 기존에 저장된 데이터에 따라 결정되고, 프로세서(120)는 결정된 조사 영역에 빛이 조사되도록 발광부(130)를 제어할 수 있다. 여기서, 하나의 운행 동작이 이루어지는 동안 조사 영역은 고정될 수 있다. 예를 들어, 프로세서(120)는 제1 운행시 저장하였던 관심 영역의 기록들을 종합하여 가장 최적의 조사 영역을 결정할 수 있고, 제2 운행시 결정된 조사 영역에 빛을 조사할 수 있다.
한편, 다른 실시 예에 따라, 발광부(130)는 최적화된 각도로 광이 조사되도록 배치될 수 있다. 예를 들어, 사용자가 다양한 데이터를 통하여 조사 영역을 결정할 수 있고, 조사 영역에 빛을 조사하기 위한 최적의 발광 각도를 결정할 수 있다. 그리고, 발광부(130)는 최적의 발광 각도로 조사되도록 배치될 수 있다. 예를 들어, 발광부(130)에 포함된 발광 모듈이 정면을 기준으로 좌측 5도를 향하도록 배치될 수 있다. 여기서, 좌측 5도는 최적의 발광 각도에 해당할 수 있으며, 사용자 설정에 따라 최적의 발광 각도는 변경될 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 협각 이미지를 통해 장애물 오브젝트를 식별하고, 협각 이미지를 통해 장애물 오브젝트가 식별되면 보조적으로 광각 이미지를 이용하여 타겟 오브젝트를 분석할 수 있다. 특히, 협각 이미지는 제1 촬상 위치에서 획득된 것이며 광각 이미지는 제1 촬상 위치와 다른 제2 촬상 위치에서 획득된 것이므로 상호 보완적일 수 있다. 따라서, 전자 장치(100)는 장애물 오브젝트에 가려진 타겟 오브젝트를 분석할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 관심 영역 사이의 공간을 조사 영역으로 결정하여 최대 세기의 빛을 조사할 수 있다. 관심 영역이 아닌 공간에 최대 세기의 빛을 조사함으로써 전자 장치(100)는 오브젝트에 반사되는 빛의 양을 최소한으로 줄일 수 있다. 따라서, 이미지에 포함된 타겟 오브젝트의 인식률을 높일 수 있다. 여기서, 최대 세기의 빛은 전자 장치(100)가 현재 조사할 수 있는 빛에서 가장 밝은 빛을 의미할 수 있다. 또한, 최대 세기의 빛은 조명 피크(peak)에 해당할 수 있다. 다른 구현 예에 따라, 전자 장치(100)는 적정 세기의 빛을 조사 영역에 조사할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 장애물 오브젝트에 의해 타겟 오브젝트의 정보를 정확히 식별하지 못하는 것을 하나의 이벤트로 식별할 수 있다. 따라서, 기 설정된 이벤트가 식별되면, 전자 장치(100)는 적절한 광각 이미지를 선택하여 스티칭 동작을 통한 결합 이미지를 생성할 수 있다. 여기서, 기 설정된 이벤트는 타겟 오브젝트가 장애물 오브젝트에 가려져 있는 이벤트, 타겟 오브젝트의 정보가 식별되지 않는 이벤트, 바코드가 장애물 오브젝트에 가려져 있는 이벤트 등이 있을 수 있다.
한편, 기 설정된 임계 시간 동안 기 설정된 이벤트가 발생하지 않는 경우, 전자 장치(100)는 메모리(160)에 저장된 복수의 이미지(다양한 위치에서 촬상된 이미지들)를 삭제할 수 있다. 계속하여 반복적으로 모든 위치에서 촬상된 이미지를 저장하는 것은 비효율일 수 있다. 따라서, 전자 장치(100)는 프로세서(120)를 통해 임계 시간 이상 기 설정된 이벤트가 발생하지 않는 경우, 저장된 복수의 이미지를 삭제할 수 있다.
다른 실시 예에 따라, 전자 장치(100)는 이미지의 촬상 시간이 임계 시간이상 경과한 이미지를 삭제할 수 있다. 예를 들어, 전자 장치(100)는 촬상된지 10초 이상 지난 이미지를 자동으로 삭제할 수 있다.
한편, 프로세서(120)는 제1 카메라(1110) 또는 제2 카메라(112) 중 적어도 하나의 카메라로부터 획득된 촬상 이미지에 기초하여 타겟 오브젝트의 일 부분을 식별하면, 타겟 오브젝트의 나머지 일 부분(장애물 오브젝트에 가려져 있는 영역)에 오버랩되는 장애물 오브젝트를 식별하기 위하여 촬상 이미지를 분석할 수 있다. 프로세서(120)는 획득되는 제1 촬상 이미지 또는 제2 촬상 이미지 중 적어도 하나의 촬상 이미지에서 타겟 오브젝트가 일부라도 식별된 경우에 한하여 장애물 오브젝트의 위치를 식별할 수 있다.
한편, 또 다른 구현 예에 따라, 타겟 오브젝트의 일부가 식별되지 않더라도 폴로노그램 또는 기존 선반 데이터를 이용하여 장애물 오브젝트를 식별할 수 있다.
한편, 이상에서는 전자 장치(100)를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 3을 참조하여 이하에서 설명한다.
도 3은 도 2의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 전자 장치(100)는 제1 카메라(111), 제2 카메라(112), 프로세서(120), 디스플레이(140), 통신 인터페이스(150), 메모리(160), 마이크(170) 및 스피커(180)로 구성될 수 있다.
한편, 제1 카메라(111), 제2 카메라(112) 및 프로세서(120)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.
제1 카메라(111) 및 제2 카메라(112)는 카메라 모듈(110)에 포함될 수 있다. 카메라 모듈(110)은 하나의 하드웨어로 구성될 수 있으며, 제1 카메라(111) 및 제2 카메라(112)는 하나의 카메라 모듈(110)에 나란히 배치된 형태로 구현될 수 있다.
발광부(130)는 기 결정된 영역 또는 기 결정된 방향으로 빛을 조사하는 모듈을 의미할 수 있다. 여기서, 발광부(130)는 촬상 동작에 이용되는 카메라 플래시를 의미할 수 있으며, 램프, 발광 다이오드 형태로 구현될 수 있다. 또한, 발광부(130)는 조명 모듈로 표현될 수 있다.
디스플레이(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(140)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른, 디스플레이(140)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
통신 인터페이스(150)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(150)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈은 가시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(150)는LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
일 예에 따라 통신 인터페이스(150)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다.
다른 예에 따라 통신 인터페이스(150)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다. 예를 들어, 통신 인터페이스(150)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 WiFi 모듈 중 적어도 하나를 이용할 수 있고, 리모컨과 같은 외부 장치와 통신하기 위해 BT 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(150)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.
메모리(160)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(160)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
전자 장치(100)는 마이크(170)를 더 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.
마이크(170)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(170)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(170)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
전자 장치(100)는 스피커(180)를 포함할 수 있다. 스피커(180)는 입출력 인터페이스에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치에 포함된 카메라 모듈을 설명하기 위한 도면이다.
도 4를 참조하면, 전자 장치(100)는 카메라 모듈(110)을 포함할 수 있다. 그리고, 카메라 모듈(110)은 제1 카메라(111), 제2 카메라(112) 및 발광부(130)를 포함할 수 있다. 그리고, 전자 장치(100)는 전자 장치(100)의 하단부에 바퀴를 포함할 수 있으며, 전자 장치(100)는 바퀴를 이용하여 이동할 수 있다.
한편, 제1 카메라(111), 제2 카메라(112) 및 발광부(130)의 배치 위치는 구현 예에 따라 상이할 수 있다.
도 5는 전자 장치가 타겟 오브젝트 및 장애물 오브젝트를 식별하는 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)를 이용하여 전방을 촬상할 수 있다. 여기서, 제1 카메라(111) 및 제2 카메라(112)는 카메라 모듈(110)에 포함될 수 있다.
전자 장치(100)의 전방에 A라벨(501), B라벨(502), C라벨(503)이 있으며, A라벨(501)에 대응되는 A제품(511), B라벨(502)에 대응되는 B제품(512), C라벨(503)에 대응되는 C제품(513)이 존재한다고 가정한다. 여기서, A라벨(501), B라벨(502), C라벨(503)은 제1라벨, 제2라벨, 제3라벨로 표현될 수 있다. 또한, A제품(511), B제품(512), C제품(513)은 제1제품, 제2제품, 제3제품으로 표현될 수 있다.
여기서, 타겟 오브젝트는 사용자가 기 결정한 형태의 오브젝트를 의미할 수 있다. 일 예로, 타겟 오브젝트는 한 개일 수 있다. 사용자는 특정 크기의 사각형 형태의 라벨을 타겟 오브젝트로 설정할 수 있다. 예를 들어, 타겟 오브젝트는 A라벨(501), B라벨(502) 및 C라벨(503)일 수 있다.
다른 예로, 타겟 오브젝트는 복수 개일 수 있다. 사용자는 특정 크기의 사각형 형태의 라벨을 타겟 오브젝트로 설정하고 라벨로부터 임계 거리 이내에 있는 제품을 타겟 오브젝트로 설정할 수 있다. 예를 들어, 타겟 오브젝트는 A라벨(501), B라벨(502), C라벨(503), A제품(511), B제품(512) 및 C제품(513)일 수 있다.
또 다른 예로, 전자 장치(100)는 타겟 오브젝트를 그룹별로 인식할 수 있다. 전자 장치(100)는 A라벨(501) 및 A제품(511)을 포함하는 제1 그룹을 타겟 오브젝트로 인식하고, B라벨(502) 및 B제품(512)을 포함하는 제2 그룹을 타겟 오브젝트로 인식하고, C라벨(503) 및 C제품(513)을 포함하는 제3 그룹을 타겟 오브젝트로 인식할 수 있다.
한편, 타겟 오브젝트와 인접한 공간에 장애물 오브젝트(520)가 존재하는 상황을 가정한다. 장애물 오브젝트(520)는 타겟 오브젝트의 일부를 가릴 수 있다. 따라서, 촬상된 이미지에서 B라벨(502), B제품(812)의 전체 영역이 식별되지 않고 일부 영역만 식별될 수 있다.
한편, 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)가 타겟 오브젝트를 바라보는 방향을 기준으로 좌측에서 우측으로 이동할 수 있다. 이후 설명하는 도면에서는 전자 장치(100)가 좌측에서 우측으로 이동하는 실시 예를 기준으로 설명한다.
다만, 구현 예에 따라 이동 방향은 우측에서 좌측일 수 있다. 또한, 이동 방향은 타겟 오브젝트에 가까워지거나 멀어지는 방향일 수 있다.
도 6은 타겟 오브젝트의 전체 영역을 식별하는 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 전자 장치(100)는 제1 카메라(111)로부터 복수의 협각 이미지를 획득할 수 있다 (S605). 또한, 전자 장치(100)는 제2 카메라(112)로부터 복수의 광각 이미지를 획득할 수 있다 (S610). 여기서, 전자 장치(100)는 복수의 협각 이미지 및 복수의 광각 이미지 중 적어도 하나의 이미지로부터 타겟 오브젝트의 일부분을 식별할 수 있다 (S615). 여기서, 타겟 오브젝트의 일부분은 장애물 오브젝트에 가려지지 않고 이미지에서 식별되는 영역을 의미할 수 있다. 전자 장치(100)는 장애물에 가려지지 않고 식별되는 타겟 오브젝트의 일부분에 기초하여 해당 오브젝트가 타겟 오브젝트임을 식별할 수 있다. 또한, 전자 장치(100)는 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트를 식별할 수 있다 (S620). 또한, 전자 장치(100)는 획득된 장애물 오브젝트의 위치 정보를 획득할 수 있다 (S625). 또한, 전자 장치(100)는 장애물 오브젝트의 위치 정보에 기초하여 복수의 광각 이미지 중 타겟 오브젝트의 가장 많은 부분이 식별되는 광각 이미지를 식별할 수 있다 (S630). 또한, 전자 장치(100)는 식별된 광각 이미지에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다 (S635).
예를 들어, 전자 장치(100)는 제1 카메라(111) 또는 제2 카메라(112)로부터 획득된 복수의 이미지 중 적어도 하나의 이미지에 기초하여 B라벨(502)의 일부분을 식별할 수 있다. 전자 장치(100)는 전체가 아닌 B라벨(502)의 일부만 식별된 경우에도 해당 오브젝트가 타겟 오브젝트인 것으로 식별할 수 있다. 또한, 전자 장치(100)는 B라벨(502)의 나머지 일 부분을 가리고 있는 장애물 오브젝트(520)를 식별할 수 있으며, 장애물 오브젝트(520)의 위치 정보를 식별할 수 있다. 또한, 전자 장치(100)는 이동 과정에서 저장했던 복수의 광각 이미지에서 장애물 오브젝트(520)에 가려서 식별되지 않은 B라벨(502) 의 나머지 일부분이 가장 많이 식별되는 광각 이미지를 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 광각 이미지에 기초하여 장애물 오브젝트 에 의해 가려져 있던 B라벨(502)의 나머지 일부분을 식별할 수 있다.
도 7은 제1 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치(100)는 제1 촬상 위치(701)에서 전방을 촬상할 수 있다. 여기서, 제1 촬상 위치(701)는 A라벨(501) 및 A제품(511)의 정면일 수 있다. 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)를 통해 동일 시점의 촬상 이미지들을 획득할 수 있다.
전자 장치(100)는 제1 카메라(111)를 통해 A라벨(501) 및 A제품(511)이 포함된 협각 이미지(705)를 획득할 수 있다. 여기서, 협각 이미지(705)는 협각 렌즈로 촬상된 협각 이미지일 수 있다.
또한, 전자 장치(100)는 제2 카메라(112)를 통해 A라벨(501), A제품(511), B라벨(502) 및 B제품(512)이 포함된 광각 이미지(710)를 획득할 수 있다. 여기서, 광각 이미지(710)는 광각 렌즈로 촬상된 광각 이미지일 수 있다. 그리고, 광각 이미지(710)에 포함된 B라벨(502) 및 B제품(512)은 장애물 오브젝트(520)와 일부 오버랩될 수 있다.
도 8은 제2 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 8을 참조하면, 전자 장치(100)는 제2 촬상 위치(801)에서 전방을 촬상할 수 있다. 여기서, 제2 촬상 위치(801)는 B라벨(502) 및 B제품(512)의 정면일 수 있다. 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)를 통해 동일 시점의 촬상 이미지들을 획득할 수 있다.
전자 장치(100)는 제1 카메라(111)를 통해 B라벨(502) 및 B제품(512)이 포함된 협각 이미지(805)를 획득할 수 있다. 여기서, 협각 이미지(805)는 협각 렌즈로 촬상된 협각 이미지일 수 있다.
또한, 전자 장치(100)는 제2 카메라(112)를 통해 A라벨(501), A제품(511), B라벨(502), B제품(512), C라벨(503) 및 C제품(513)이 포함된 광각 이미지(810)를 획득할 수 있다. 여기서, 광각 이미지(810)는 광각 렌즈로 촬상된 광각 이미지일 수 있다. 그리고, 광각 이미지(810)에 포함된 B라벨(502) 및 B제품(512)은 장애물 오브젝트(520)와 일부 오버랩될 수 있다. 여기서, A라벨(501), A제품(511), C라벨(503) 및 C제품(513)은 장애물 오브젝트(520)와 오버랩되지 않을 수 있다.
도 9는 제3 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 9를 참조하면, 전자 장치(100)는 제3 촬상 위치(901)에서 전방을 촬상할 수 있다. 여기서, 제3 촬상 위치(901)는 C라벨(503) 및 C제품(513)의 정면일 수 있다. 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)를 통해 동일 시점의 촬상 이미지들을 획득할 수 있다.
전자 장치(100)는 제1 카메라(111)를 통해 C라벨(503) 및 C제품(513)이 포함된 협각 이미지(905)를 획득할 수 있다. 여기서, 협각 이미지(905)는 협각 렌즈로 촬상된 협각 이미지일 수 있다.
또한, 전자 장치(100)는 제2 카메라(112)를 통해 B라벨(502), B제품(512), C라벨(503) 및 C제품(513)이 포함된 광각 이미지(910)를 획득할 수 있다. 여기서, 광각 이미지(910)는 광각 렌즈로 촬상된 광각 이미지일 수 있다. 그리고, 광각 이미지(910)에 포함된 B라벨(502) 및 B제품(512)은 장애물 오브젝트(520)와 일부 오버랩될 수 있다.
도 10은 결합 이미지를 생성하는 동작을 설명하기 위한 흐름도이다.
도 10을 참조하면, 전자 장치(100)는 다양한 위치에서 촬상된 복수의 협각 이미지 및 복수의 광각 이미지를 메모리(160)에 저장할 수 있다. 여기서, 전자 장치(100)는 복수의 협각 이미지 중 장애물 오브젝트가 포함된 협각 이미지를 식별할 수 있다 (S1005). 여기서, 협각 이미지는 협각 렌즈를 포함하는 제1 카메라(111)로부터 획득된 이미지를 의미할 수 있다. 따라서, 전자 장치(100)는 협각 이미지인 협각 이미지에 기초하여 장애물 오브젝트를 식별할 수 있다. 여기서, 협각 이미지는 정면의 객체를 촬상하는 이미지일 수 있다.
또한, 전자 장치(100)는 메모리(160)에 저장된 복수의 광각 이미지 중 타겟 오브젝트의 가장 많은 부분이 식별되는 광각 이미지를 식별할 수 있다 (S1010). S1005 단계를 통하여 전자 장치(100)는 장애물 오브젝트가 전방에 위치한다는 것을 판단할 수 있다. 또한, 전자 장치(100)는 다른 촬상 위치에서 촬상된 이미지를 통하여 장애물에 가려져 있는 타겟 오브젝트의 일부 영역을 식별할 수 있다. 장애물에 가려져 있는 부분을 판단하기 위해서, 전자 장치(100)는 광각이미지인 광각 이미지 중 타겟 오브젝트의 가장 많은 부분이 식별되는 이미지를 식별할 수 있다. 여기서, 전자 장치(100)는 단순히 타겟 오브젝트의 가장 많은 부분이 식별되는 이미지를 찾는 것이 아니며, 동시에 해당 부분에 대한 분석이 가능한 정도의 선명도를 갖는 이미지를 찾는 것일 수 있다.
또한, 전자 장치(100)는 식별된 협각 이미지 또는 식별된 광각 이미지 중 적어도 하나의 이미지에 기초하여 결합 이미지를 생성할 수 있다 (S1015). 여기서, 광각 이미지는 복수 개의 광각 이미지를 포함할 수 있다. 여기서, 결합 이미지는 장애물 오브젝트가 포함되지 않는 이미지일 수 있다. 즉, 타겟 오브젝트 앞에 장애물 오브젝트가 있는 실시 예에서, 전자 장치(100)는 가상의 이미지인 결합 이미지를 생성하여 장애물 오브젝트가 없이 타겟 오브젝트만 존재하는 이미지를 획득할 수 있다.
예를 들어, B라벨(502) 및 B제품(512) 앞에 장애물 오브젝트(520)가 존재하는 실시 예에서, 전자 장치(100)는 제2 촬상 위치(801)에서 협각 이미지(805)를 획득할 수 있다. 그리고, 전자 장치(100)는 협각 이미지(805)에 기초하여 장애물 오브젝트(520)가 B라벨(502) 및 B제품(512)에 있는 것으로 식별할 수 있다. 전자 장치(100)는 협각 이미지(805)를 통해 B라벨(502) 및 B제품(512)에 대한 완전한 정보를 획득할 수 없다. 협각 이미지(805)에 포함된 B라벨(502) 및 B제품(512)은 장애물 오브젝트(520)와 일부 오버랩되기 때문이다. 따라서, 전자 장치(100)는 다른 위치(또는 다른 각도)에서 촬상된 이미지를 추가적으로 이용할 수 있다. 구체적으로, 전자 장치(100)는 메모리(160)에 저장된 복수의 광각 이미지에서 장애물 오브젝트(520)와 오버랩되지 않고 B라벨(502) 및 B제품(512)이 식별 가능한 광각 이미지를 식별할 수 있다. 여기서, 식별된 광각 이미지는 제2 촬상 위치(801)가 아닌 다른 위치에서 촬상된 광각 이미지일 수 있다. 식별된 광각 이미지는 제1 촬상 위치(701)에서 촬상된 광각 이미지(710) 또는 제3 촬상 위치(901)에서 촬상된 광각 이미지(910) 중 적어도 하나의 이미지일 수 있다. 전자 장치(100)는 협각 이미지(805), 광각 이미지(710) 또는 제3 촬상 위치(901) 중 적어도 하나의 이미지에 기초하여 결합 이미지를 생성할 수 있다. 여기서, 결합 이미지는 B라벨(502) 및 B제품(512) 앞에 장애물 오브젝트(520)가 없는 이미지일 수 있다.
도 11은 일 실시 예에 따른 결합 이미지 생성 동작을 설명하기 위한 도면이다.
도 11을 참조하면, 전자 장치(100)는 제2 촬상 위치(801)에서 촬상된 협각 이미지(805), 제1 촬상 위치(701)에서 촬상된 광각 이미지(710) 및 제3 촬상 위치(901)에서 촬상된 광각 이미지(910)에 기초하여 결합 이미지(1105)를 생성할 수 있다. 여기서, 협각 이미지(805)는 협각 렌즈를 통해 촬상된 이미지일 수 있고, 광각 이미지(710) 및 광각 이미지(910)는 광각 렌즈를 통해 촬상된 이미지일 수 있다.
여기서, 전자 장치(100)는 각 촬상 이미지의 관심 영역에 기초하여 결합 이미지를 생성할 수 있다. 전자 장치(100)는 타겟 오브젝트 및 장애물 오브젝트에 기초하여 협각 이미지(805)의 관심 영역(1101)을 식별할 수 있다. 그리고, 전자 장치(100)는 광각 이미지(710)의 관심 영역(1102)을 식별할 수 있다. 그리고, 전자 장치(100)는 광각 이미지(910)의 관심 영역(1103)을 식별할 수 있다.
또한, 결합 이미지(1105)는 장애물 오브젝트(520)가 제거된 가상의 이미지일 수 있다. 사용자는 장애물 오브젝트(520)가 제거된 이미지를 통해 타겟 오브젝트의 전체 영역을 식별할 수 있으며, 타겟 오브젝트의 완전한 정보를 획득할 수 있다.
여기서, 협각 이미지(805)는 협각 이미지이고 광각 이미지(710) 및 광각 이미지(910)는 광각 이미지이므로 일부 비율이 상이할 수 있다. 따라서, 전자 장치(100)는 광각 이미지를 협각 이미지에 대응되는 비율로 이미지를 변환하고, 변환된 이미지에 기초하여 결합 이미지(1105)를 생성할 수 있다.
도 12는 다른 실시 예에 따른 결합 이미지 생성 동작을 설명하기 위한 도면이다.
도 12를 참조하면, 전자 장치(100)는 광각 이미지(710) 및 광각 이미지(910)에 기초하여 결합 이미지(1205)를 생성할 수 있다. 여기서, 전자 장치(100)는 타겟 오브젝트 및 장애물 오브젝트에 기초하여 광각 이미지(710)의 관심 영역(1201)을 식별하고, 광각 이미지(910)의 관심 영역(1202)을 식별할 수 있다. 그리고, 전자 장치(100)는 광각 이미지 각각의 관심 영역(1201, 1202)에 기초하여 결합 이미지(1205)를 생성할 수 있다.
여기서, 광각 이미지(710) 및 광각 이미지(910)는 광각 렌즈를 통해 촬상된 이미지일 수 있다. 여기서, 결합 이미지(1205)는 장애물 오브젝트(520)에 대응되는 이미지가 제거된 가상의 이미지일 수 있다.
도 13은 협각 이미지의 관심 영역 및 광각 이미지의 관심 영역에 기초하여 발광부를 제어하는 동작을 설명하기 위한 흐름도이다.
도 13을 참조하면, 전자 장치(100)는 제1 카메라(111)를 통해 협각 이미지를 획득할 수 있다 (S1305).
한편, 전자 장치(100)는 타겟 오브젝트에 기초하여 협각 이미지의 관심 영역을 식별할 수 있다 (S1310). 여기서, 관심 영역은 획득되는 전체 이미지의 전체 영역 중 사용자의 의도에 따라 분석 대상이 되는 영역을 의미할 수 있다. 협각 이미지는 제1 카메라(111)로부터 획득되고, 제1 카메라(111)는 협각 카메라일 수 있다. 따라서, 협각 이미지의 관심 영역은 협각 이미지 안에서의 관심 영역일 수 있다. 전방에 타겟 오브젝트가 있는 경우, 협각 이미지의 관심 영역은 타겟 오브젝트가 식별되는 영역일 수 있다. 전방에 타겟 오브젝트가 전혀 식별되지 않는 경우, 협각 이미지의 관심 영역은 기 설정된 영역일 수 있다. 여기서, 기 설정된 영역은 협각 이미지의 중앙 영역일 수 있다.
한편, 전자 장치(100)는 제2 카메라(112)를 통해 광각 이미지를 획득할 수 있다 (S1315).
그리고, 전자 장치(100)는 협각 이미지에서 장애물 오브젝트가 식별되는지 식별할 수 있다 (S1316). 협각 이미지에서 장애물 오브젝트가 식별되면, 전자 장치(100)는 장애물 오브젝트에 가장 인접한 타겟 오브젝트를 제외한 타겟 오브젝트에 기초하여 광각 이미지의 관심 영역을 식별할 수 있다 (S1317). 장애물 오브젝트에 가장 인접한 타겟 오브젝트는 장애물 오브젝트가 가리고 있는 타겟 오브젝트를 의미할 수 있다. 그리고, '장애물 오브젝트에 가장 인접한 타겟 오브젝트' 표현은 '장애물 오브젝트로부터 임계 거리 이내에 있는 타겟 오브젝트'로 대체될 수 있다. 이와 관련된 구체적인 설명은 도 16 및 도 17에서 후술한다.
협각 이미지에서 장애물 오브젝트가 식별되지 않으면, 전자 장치(100)는 장애물 오브젝트 및 장애물 오브젝트에 가장 인접한 타겟 오브젝트에 기초하여 광각 이미지의 관심 영역을 식별할 수 있다 (S1320). 여기서, 전자 장치(100)는 광각 이미지에서 장애물 오브젝트를 식별할 수 있다. 광각 이미지는 촬영 시점 및 촬영 위치에 따라 동일한 오브젝트를 촬상함에도 장애물 오브젝트가 상이한 위치에서 식별될 수 있다. 따라서, 광각 이미지 각각의 관심 영역은 촬영 시점 및 촬영 위치에 따라 상이할 수 있다. 또한, S1320 동작에서 장애물 오브젝트가 식별되지 않는 경우, 전자 장치(100)는 협각 이미지에서 식별되지 않은 타겟 오브젝트에 기초하여 관심 영역을 식별할 수 있다. 즉, S1320 단계에서 이용되는 타겟 오브젝트와 S1310 단계에서 이용되는 타겟 오브젝트가 상이할 수 있다. 이와 관련된 구체적인 설명은 도 14, 도 15, 도 18 및 도 19에서 후술한다.
한편, 전자 장치(100)는 협각 이미지의 관심 영역 및 광각 이미지의 관심 영역 모두에 인접한 영역을 식별할 수 있다 (S1325). 여기서, 인접한 영역은 임계 크기일 수 있다.
한편, 전자 장치(100)는 S1325 단계에서 식별된 영역이 복수 개인지 판단할 수 있다 (S1330). 식별된 영역이 복수 개가 아니라면, 전자 장치(100)는 식별된 하나의 영역을 조사 영역으로 결정하고 결정된 조사 영역에 최대 세기의 빛을 조사할 수 있다 (S1335). 여기서, 조사 영역은 빛이 쏘여지는 영역일 수 있다. 이와 관련된 설명은 도 14, 도 15, 도 18 및 도 19에서 후술한다.
식별된 영역이 복수 개라면, 전자 장치(100)는 식별된 복수의 영역 중 발광부(130)에 가장 가까운 영역을 조사 영역으로 결정하고, 결정된 조사 영역에 최대 세기의 빛을 조사할 수 있다 (S1340). 이와 관련된 설명은 도 16 및 도 17에서 후술한다.
한편, 구현 예에 따라, 전자 장치(100)는 협각 이미지의 관심 영역 및 광각 이미지의 관심 영역에서 가장 가까운 포인트를 식별하고, 식별된 포인트들의 중앙값을 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 중앙값에 기초하여 조사 포인트를 결정할 수 있다. 전자 장치(100)는 결정된 조사 포인트에 최대 세기의 빛이 조사되도록 발광부(130)를 제어할 수 있다.
일 실시 예에 따라, 도 13의 동작들은 실시간으로 조사 영역을 결정하는 동작일 수 있다.
하지만, 다른 실시 예에 따라, 전자 장치(100)는 이미 한번 모든 촬상 동작이 완료된 후 저장된 복수의 이미지에 기초하여 조사 영역을 결정할 수 있다. 여기서, 결정된 조사 영역은 다음 촬상 동작에서 이용될 수 있다. 전자 장치(100)는 저장된 복수의 이미지를 분석하여 가장 적합한 조사 영역이 어디인지 결정할 수 있다. 다른 실시 예에 따른 조사 영역 결정 방식을 위해서 전자 장치(100)는 S1305 단계 대신에 '복수의 협각 이미지 중 타겟 오브젝트가 포함된 적어도 하나의 협각 이미지를 식별'하는 동작을 수행할 수 있다. 구체적으로, 전자 장치(100)는 복수의 협각 이미지를 분석하여 타겟 오브젝트가 적어도 일부 식별되는 이미지를 식별할 수 있다. 여기서, 식별되는 협각 이미지는 타겟 오브젝트의 전체 영역이 포함될 수 있으며, 타겟 오브젝트의 일부 영역만 포함될 수도 있다.
또한, 다른 실시 예에 따른 조사 영역 결정 방식을 위해서 전자 장치(100)는 S1315 단계 대신에 '복수의 광각 이미지 중 장애물 오브젝트에 의해 오버랩되지 않고 타겟 오브젝트가 식별 가능한 광각 이미지를 식별'하는 동작을 수행할 수 있다. 여기서, 광각 이미지는 광각 이미지이므로 복수의 타겟 오브젝트를 포함할 수 있다. 일부 타겟 오브젝트는 장애물과 전혀 오버랩되지 않고, 하나의 타겟 오브젝트는 장애물과 일부 오버랩될 수 있다. 장애물과 전혀 오버랩되지 않는 타겟 오브젝트는 제1 카메라(111)에서 획득되는 협각 이미지로부터 분석이 가능할 수 있다. 따라서, '장애물 오브젝트에 의해 오버랩되지 않고 타겟 오브젝트가 식별 가능한 광각 이미지'는 장애물 오브젝트와 인접한 거리에 있는 타겟 오브젝트가 식별 가능한 광각 이미지를 의미할 수 있다.
도 14는 제1 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 14를 참조하면, 전자 장치(100)는 제1 촬상 위치(701)에서 전방을 촬상할 수 있으며, 제1 카메라(111)를 통해 협각 이미지(705)를 획득하고 제2 카메라(112)를 통해 광각 이미지(710)를 획득할 수 있다.
전자 장치(100)는 타겟 오브젝트에 기초하여 협각 이미지(705)의 관심 영역(1401)을 식별할 수 있다. 예를 들어, 협각 이미지(705)의 관심 영역(1401)은 타겟 오브젝트인 A라벨(501) 및 A제품(511)이 식별되는 영역일 수 있다.
또한, 전자 장치(100)는 협각 이미지(705)에서 장애물 오브젝트가 식별되는지 여부를 판단할 수 있다. 협각 이미지(705)에서 장애물 오브젝트가 식별되지 않으면, 전자 장치(100)는 장애물 오브젝트 및 타겟 오브젝트(장애물 오브젝트에 가장 인접한 타겟 오브젝트)기초하여 광각 이미지(710)의 관심 영역(1402)을 식별할 수 있다. 여기서, 전자 장치(100)는 광각 이미지(710)는 장애물 오브젝트와 타겟 오브젝트가 모두 포함된 영역을 광각 이미지(710)의 관심 영역(1402)으로 설정할 수 있다. 여기서, 광각 이미지(710)의 관심 영역(1402)을 식별하는데 이용되는 타겟 오브젝트는 협각 이미지(705)의 관심 영역(1401)을 식별하는데 이용되는 타겟 오브젝트와 상이할 수 있다. 예를 들어, 전자 장치(100)는 광각 이미지(710)에서 장애물 오브젝트(520)의 적어도 일부를 식별할 수 있다. 그리고, 광각 이미지(710)에 포함된 복수의 타겟 오브젝트 중 장애물 오브젝트(520)와 가장 인접한 타겟 오브젝트인 B라벨(502) 및 B제품(512)을 식별할 수 있다. 그리고, 전자 장치(100)는 장애물 오브젝트(520), B라벨(502) 및 B제품(512)이 모두 포함된 영역을 광각 이미지(710)의 관심 영역(1402)으로 식별할 수 있다.
전자 장치(100)는 식별된 협각 이미지(705)의 관심 영역(1401)과 식별된 광각 이미지(710)의 관심 영역(1402)에 기초하여 관심 영역(1401) 및 관심 영역(1402)에 인접한 영역(1403)을 식별할 수 있다. 여기서, 전자 장치(100)는 전자 장치(100)의 촬상 범위(1415)에서 관심 영역(1401) 및 관심 영역(1402)을 판단할 수 있다. 여기서, 협각 이미지(705)와 광각 이미지(710)는 객체를 표시하는 비율이 상이할 수 있다. 따라서, 전자 장치(100)는 각 이미지가 동일한 비율로 객체를 표시하도록 적어도 하나의 이미지를 보정할 수 있다. 전자 장치(100)는 촬상 범위(1415)에서 관심 영역(1401) 및 관심 영역(1402)이 인접한 영역(1403)을 식별할 수 있다. 여기서, 인접한 영역(1403)은 조사 영역 비 간섭 영역, 비 중첩 영역 중 하나로 표현될 수 있다. 이후 편의상 인접한 영역을 조사 영역으로 기재한다. 한편, 조사 영역을 따로 결정하는 이유는 빛의 반사로 인한 객체 인식률 저하를 해결하기 위함이다. 타겟 오브젝트 부분에 가장 강한 빛이 조사되는 경우, 빛의 반사로 인해 타겟 오브젝트 인식률이 저하될 수 있으므로, 타겟 오브젝트가 식별되지 않는 영역에 가장 강한 세기의 빛을 조사할 수 있다.
도 15는 제1 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 15를 참조하면, 전자 장치(100)는 관심 협각 이미지(705)의 관심 영역(1401) 및 광각 이미지(710)의 관심 영역(1402) 사이에 위치한 조사 영역(1403)을 결정할 수 있다. 그리고, 전자 장치(100)는 결정된 조사 영역(1403)에 기초하여 조사 영역(1403)에 대응되는 위치에 가장 밝은 빛을 조사하도록 발광부(130)를 제어할 수 있다.
그래프(1510)를 참조하면, 전자 장치(100)가 제1 촬상 위치(701)에 있을 때, 조사 영역(1403)에 대응되는 위치(1511)에 가장 밝은 빛이 조사될 수 있다. 조사 영역(1403)에 대응되는 위치에만 빛이 조사되는 것이 아니며 조사 영역(1403)에 대응되는 위치에 가장 밝은 빛이 조사되도록 조사되는 것일 수 있다.
도 16은 제2 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 16을 참조하면, 전자 장치(100)는 제2 촬상 위치(801)에서 전방을 촬상할 수 있으며, 제1 카메라(111)를 통해 협각 이미지(805)를 획득하고 제2 카메라(112)를 통해 광각 이미지(810)를 획득할 수 있다.
전자 장치(100)는 타겟 오브젝트에 기초하여 협각 이미지(805)의 관심 영역(1601)을 식별할 수 있다. 예를 들어, 협각 이미지(805)의 관심 영역(1601)은 타겟 오브젝트인 B라벨(502) 및 B제품(512)이 식별되는 영역일 수 있다.
또한, 전자 장치(100)는 협각 이미지(805)에서 장애물 오브젝트가 식별되는지 판단할 수 있다. 협각 이미지(805)에서 장애물 오브젝트가 식별되면, 전자 장치(100)는 장애물 오브젝트 및 장애물 오브젝트에 가장 인접한 타겟 오브젝트를 제외한 타겟 오브젝트에 기초하여 광각 이미지(810)의 관심 영역(1602, 1603)을 식별할 수 있다. 여기서, 장애물 오브젝트에 가장 인접한 타겟 오브젝트는 B라벨(502) 및 B제품(512)일 수 있고, 장애물 오브젝트에 가장 인접한 타겟 오브젝트를 제외한 타겟 오브젝트는 A라벨(501), A제품(511), C라벨(503) 및 C제품(513)일 수 있다. 여기서, 전자 장치(100)는 A라벨(501), A제품(511)을 포함하는 영역을 광각 이미지(810)의 관심 영역(1602)으로 식별할 수 있고, C라벨(503) 및 C제품(513)을 포함하는 영역을 광각 이미지(810)의 관심 영역(1603)으로 식별할 수 있다.
여기서, 광각 이미지(810)의 관심 영역(1602, 1603)을 식별하는데 이용되는 타겟 오브젝트는 협각 이미지(805)의 관심 영역(1601)을 식별하는데 이용되는 타겟 오브젝트와 상이할 수 있다.
전자 장치(100)는 식별된 협각 이미지(805)의 관심 영역(1601)과 식별된 광각 이미지(810)의 관심 영역(1602, 1603)에 기초하여 관심 영역(1601) 및 관심 영역(1602, 1603)에 인접한 영역(1604-1, 1604-2)을 식별할 수 있다. 구체적으로, 협각 이미지(805)의 관심 영역(1601)과 광각 이미지(810)의 관심 영역(1602)에 인접한 영역(1604-1)을 식별하고, 협각 이미지(805)의 관심 영역(1601)과 광각 이미지(810)의 관심 영역(1603)에 인접한 영역(1604-2)을 식별할 수 있다.
여기서, 전자 장치(100)는 전자 장치(100)의 촬상 범위(1615)에서 협각 이미지(805)의 관심 영역(1601) 및 광각 이미지(810)의 관심 영역(1602, 1603)을 판단할 수 있다. 여기서, 협각 이미지(805)와 광각 이미지(810)는 객체를 표시하는 비율이 상이할 수 있다. 따라서, 전자 장치(100)는 각 이미지가 동일한 비율로 객체를 표시하도록 적어도 하나의 이미지를 보정할 수 있다. 전자 장치(100)는 촬상 범위(1615)에서 관심 영역(1601) 및 관심 영역(1602, 1603)이 인접한 영역(1604-1, 1604-2)을 식별할 수 있다. 여기서, 인접한 영역(1604-1, 1604-2)은 조사 영역 비 간섭 영역, 비 중첩 영역 중 하나로 표현될 수 있다. 이후 편의상 인접한 영역을 조사 영역으로 기재한다.
도 17은 제2 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 17을 참조하면, 협각 이미지(805)의 관심 영역(1601) 및 광각 이미지(810)의 관심 영역(1602) 사이에 위치한 조사 영역(1604-1) 및 협각 이미지(805)의 관심 영역(1601) 및 광각 이미지(810)의 관심 영역(1603) 사이에 위치한 조사 영역(1604-2)을 결정할 수 있다. 그리고, 복수의 조사 영역이 식별되면, 그 중 하나의 조사 영역을 결정할 수 있다. 전자 장치(100)는 복수의 조사 영역 중 발광부(130)의 위치와 가까운 조사 영역을 결정하고, 결정된 조사 영역에 대응되는 위치에 가장 밝은 빛을 조사하도록 발광부(130)를 제어할 수 있다. 구체적인 동작은 도 13의 S1330 및 S1340 단계에서 전술하였다. 제2 촬상 위치(801)를 기준으로 2개의 조사 영역(1604-1, 1604-2) 중 발광부(130)에 가까운 조사 영역은 1604-2 영역일 수 있다.
그래프(1710)를 참조하면, 전자 장치(100)가 제2 촬상 위치(801)에 있을 때, 조사 영역(1604-2)에 대응되는 위치(1711)에 가장 밝은 빛이 조사될 수 있다.
도 18은 제3 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 18를 참조하면, 전자 장치(100)는 제3 촬상 위치(901)에서 전방을 촬상할 수 있으며, 제1 카메라(111)를 통해 협각 이미지(905)를 획득하고 제2 카메라(112)를 통해 광각 이미지(910)를 획득할 수 있다.
전자 장치(100)는 타겟 오브젝트에 기초하여 협각 이미지(905)의 관심 영역(1801)을 식별할 수 있다. 예를 들어, 협각 이미지(905)의 관심 영역(1801)은 타겟 오브젝트인 C라벨(503) 및 C제품(513)이 식별되는 영역일 수 있다.
또한, 전자 장치(100)는 협각 이미지(905)에서 장애물 오브젝트가 식별되는지 여부를 판단할 수 있다. 협각 이미지(905)에서 장애물 오브젝트가 식별되지 않으면, 전자 장치(100)는 장애물 오브젝트 및 타겟 오브젝트(장애물 오브젝트에 가장 인접한 타겟 오브젝트)기초하여 광각 이미지(910)의 관심 영역(1802)을 식별할 수 있다. 여기서, 전자 장치(100)는 광각 이미지(910)는 장애물 오브젝트와 타겟 오브젝트가 모두 포함된 영역을 광각 이미지(910)의 관심 영역(1802)으로 설정할 수 있다. 여기서, 광각 이미지(910)의 관심 영역(1802)을 식별하는데 이용되는 타겟 오브젝트는 협각 이미지(905)의 관심 영역(1801)을 식별하는데 이용되는 타겟 오브젝트와 상이할 수 있다. 예를 들어, 전자 장치(100)는 광각 이미지(910)에서 장애물 오브젝트(520)의 적어도 일부를 식별할 수 있다. 그리고, 광각 이미지(910)에 포함된 복수의 타겟 오브젝트 중 장애물 오브젝트(520)와 가장 인접한 타겟 오브젝트인 B라벨(502) 및 B제품(512)을 식별할 수 있다. 그리고, 전자 장치(100)는 장애물 오브젝트(520), B라벨(502) 및 B제품(512)이 모두 포함된 영역을 광각 이미지(910)의 관심 영역(1802)으로 식별할 수 있다.
전자 장치(100)는 식별된 협각 이미지(905)의 관심 영역(1801)과 식별된 광각 이미지(910)의 관심 영역(1802)에 기초하여 관심 영역(1801) 및 관심 영역(1802)에 인접한 영역(1803)을 식별할 수 있다. 여기서, 전자 장치(100)는 전자 장치(100)의 촬상 범위(1815)에서 관심 영역(1801) 및 관심 영역(1802)을 판단할 수 있다. 여기서, 협각 이미지(905)와 광각 이미지(910)는 객체를 표시하는 비율이 상이할 수 있다. 따라서, 전자 장치(100)는 각 이미지가 동일한 비율로 객체를 표시하도록 적어도 하나의 이미지를 보정할 수 있다. 전자 장치(100)는 촬상 범위(1815)에서 관심 영역(1801) 및 관심 영역(1802)이 인접한 영역(1803)을 식별할 수 있다. 여기서, 인접한 영역(1803)은 조사 영역 비 간섭 영역, 비 중첩 영역 중 하나로 표현될 수 있다. 이후 편의상 인접한 영역을 조사 영역으로 기재한다. 한편, 조사 영역을 따로 결정하는 이유는 빛의 반사로 인한 객체 인식률 저하를 해결하기 위함이다. 타겟 오브젝트 부분에 가장 강한 빛이 조사되는 경우, 빛의 반사로 인해 타겟 오브젝트 인식률이 저하될 수 있으므로, 타겟 오브젝트가 식별되지 않는 영역에 가장 강한 세기의 빛을 조사할 수 있다.
도 19는 제3 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 19를 참조하면, 전자 장치(100)는 관심 협각 이미지(905)의 관심 영역(1801) 및 광각 이미지(910)의 관심 영역(1802) 사이에 위치한 조사 영역(1803)을 결정할 수 있다. 그리고, 전자 장치(100)는 결정된 조사 영역(1803)에 기초하여 조사 영역(1803)에 대응되는 위치에 가장 밝은 빛을 조사하도록 발광부(130)를 제어할 수 있다.
그래프(1910)를 참조하면, 전자 장치(100)가 제3 촬상 위치(901)에 있을 때, 조사 영역(1803)에 대응되는 위치(1911)에 가장 밝은 빛이 조사될 수 있다. 조사 영역(1803)에 대응되는 위치에만 빛이 조사되는 것이 아니며 조사 영역(1803)에 대응되는 위치에 가장 밝은 빛이 조사되도록 조사되는 것일 수 있다.
도 20은 복수의 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 도면이다.
도 20을 참조하면, 전자 장치(100)는 복수의 카메라 모듈을 포함할 수 있다. 제1 카메라 모듈(110)은 제1 카메라(111), 제2 카메라(112) 및 발광부(130)를 포함할 수 있다. 그리고, 제2 카메라 모듈(110-2)은 제1 카메라(111)와 동일한 촬상각을 갖는 제3 카메라(111-2), 제2 카메라(112)와 동일한 촬상각을 갖는 제4 카메라(112-2) 및 발광부(130-2)를 포함할 수 있다. 그리고, 제3 카메라 모듈(110-3)은 제1 카메라(111)와 동일한 촬상각을 갖는 제5 카메라(111-3), 제2 카메라(112)와 동일한 촬상각을 갖는 제6 카메라(112-3) 및 발광부(130-3)를 포함할 수 있다.
각 카메라 모듈은 협각 렌즈를 포함하는 카메라, 광각 렌즈를 포함하는 카메라 및 발광부를 포함할 수 있다. 각 카메라 모듈은 전자 장치(100)에서 수직 방향으로 배치될 수 있다.
도 21은 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 결합 이미지를 생성하는 동작을 설명하기 위한 흐름도이다.
도 21을 참조하면, 전자 장치(100)는 제1 카메라 모듈(110)에 포함된 제1 카메라(111) 및 제2 카메라(112)로부터 제1 협각 이미지 및 제2 광각 이미지를 획득할 수 있다 (S2105). 그리고, 전자 장치(100)는 제2 카메라 모듈(110-2)에 포함된 제3 카메라(111-2) 및 제4 카메라(112-2)로부터 제3 협각 이미지 및 제4 광각 이미지를 획득할 수 있다. 여기서, 제1 협각 이미지는 제1 카메라(111)로부터 획득한 협각 이미지이며, 제3 협각 이미지는 제3 카메라(111-2)로부터 획득한 협각 이미지일 수 있다. 또한, 제2 광각 이미지는 제2 카메라(112)로부터 획득한 광각 이미지이며, 제4 광각 이미지는 제4 카메라(112-2)로부터 획득한 광각 이미지일 수 있다.
전자 장치(100)는 제1 협각 이미지 또는 제2 광각 이미지에서 장애물 오브젝트가 포함된 이미지를 식별할 수 있다 (S2115). 그리고, 전자 장치(100)는 제3 협각 이미지 또는 제4 광각 이미지에서 타겟 오브젝트(장애물 오브젝트로부터 임계 거리 이내에 존재하는)의 가장 많은 부분이 식별되는 제2 광각 이미지를 식별할 수 있다 (S2120). 즉, 제1 카메라 모듈(110)에서 획득한 제1 협각 이미지 및 제2 광각 이미지에서 장애물 오브젝트가 식별되면, 제1 카메라 모듈(110)과 다른 수직 높이에 위치한 제2 카메라 모듈(110-2)에서 획득한 제3 협각 이미지 및 제4 광각 이미지를 이용하여 장애물 오브젝트에 가려진 부분을 식별할 수 있다.
전자 장치(100)는 제1 카메라 모듈(110)에서 획득한 이미지 및 제2 카메라 모듈(110-2)에서 획득한 이미지에 기초하여 결합 이미지를 생성할 수 있다 (S2125). 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 결합 이미지를 생성하는 구체적인 동작은 도 22에서 후술한다.
도 22는 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 생성된 결합 이미지를 설명하기 위한 도면이다.
도 22를 참조하면, 전자 장치(100)는 복수의 카메라 모듈을 포함하고 있다고 가정한다. 도 20에서와 같이 전자 장치(100)는 제1 카메라 모듈(110), 제2 카메라 모듈(110-2) 및 제3 카메라 모듈(110-3)을 포함하고 있다고 가정한다.
전자 장치(100)는 제1 카메라 모듈(110)에 포함된 제1 카메라(111)를 통해 제1 협각 이미지(2205)를 획득하고, 제2 카메라 모듈(110-2)에 포함된 제3 카메라(111-2)를 통해 제3 협각 이미지(2210)를 획득하고, 제3 카메라 모듈(110-3)에 포함된 제5 카메라(111-3)를 통해 제5 협각 이미지(2215)를 획득할 수 있다.
제1 협각 이미지, 제3 협각 이미지, 제5 협각 이미지는 타겟 오브젝트 및 장애물 오브젝트를 포함할 수 있다. 다만, 각 촬상 이미지는 촬상 각도가 상이할 수 있다. 따라서, 장애물 오브젝트에 가려진 타겟 오브젝트의 부분이 상이할 수 있다. 즉, 하나의 이미지에서 장애물 오브젝트에 가려졌던 부분이 다른 이미지에서는 장애물 오브젝트에 가려지지 않을 수 있다.
전자 장치(100)는 제1 협각 이미지(2205), 제3 협각 이미지(2210) 및 제5 협각 이미지(2215)에 기초하여 결합 이미지(2220)를 생성할 수 있다. 여기서, 결합 이미지(2220)는 장애물 오브젝트가 제거된 이미지일 수 있다.
도 23은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 23을 참조하면, 전자 장치(100)의 제어 방법은 제1 촬상각을 갖는 제1 카메라로부터 획득된 제1 촬상 이미지 또는 제1 촬상각보다 큰 제2 촬상각을 가지는 제2 카메라로부터 획득된 제2 촬상 이미지 중 적어도 하나로부터 타겟 오브젝트의 일 부분이 식별되고 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 식별된 장애물 오브젝트의 위치 정보를 획득하는 단계 (S2305), 획득된 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별하는 단계 (S2310) 및 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 단계 (S2315)를 포함한다.
한편, 제어 방법은 제1 촬상 이미지에서 타겟 오브젝트 및 장애물 오브젝트가 포함된 영역 및 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득하는 단계 및 획득된 결합 이미지에 기초하여 타겟 오브젝트를 식별하는 단계를 더 포함할 수 있다.
한편, 제1 촬상 이미지는 제1 촬상 위치에서 제1 카메라에 의해 촬상된 이미지이고, 제2 촬상 이미지는 제1 촬상 위치와 상이한 제2 촬상 위치에서 제2 카메라에 의해 촬상된 이미지일 수 있다.
한편, 제어 방법은 제1 촬상 위치 및 제2 촬상 위치와 상이한 제3 촬상 위치에서 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득하는 단계, 식별된 장애물 오브젝트의 위치 정보에 기초하여 제3 촬상 이미지의 관심 영역을 식별하는 단계 및 제2 촬상 이미지의 관심 영역 및 제3 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 단계를 더 포함할 수 있다.
한편, 제2 촬상 위치는 제1 촬상 위치를 기준으로 제1 방향에 위치할 수 있고, 제3 촬상 위치는 제1 촬상 위치를 기준으로 제1 방향과 상이한 제2 방향에 위치할 수 있다.
한편, 제2 촬상 이미지의 관심 영역을 식별하는 단계 (S2310)는 제2 촬상 이미지가 촬상된 방향 정보 및 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별할 수 있고, 제3 촬상 이미지의 관심 영역을 식별하는 단계는 제3 촬상 이미지가 촬상된 방향 정보 및 장애물 오브젝트의 위치 정보에 기초하여 제3 촬상 이미지의 관심 영역을 식별할 수 있다.
한편, 제어 방법은 제1 촬상 이미지에 기초하여 타겟 오브젝트의 일 부분 및 장애물 오브젝트를 식별하는 단계 및 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 제1 촬상 이미지에 기초하여 장애물 오브젝트의 위치 정보 및 크기 정보를 식별하는 단계 및 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 제2 카메라의 촬상 위치를 식별하는 단계를 더 포함할 수 있고, 제2 촬상 이미지는 식별된 촬상 위치에서 촬상된 이미지일 수 있다.
한편, 제어 방법은 제1 촬상 이미지의 관심 영역을 식별하는 단계, 제1 촬상 이미지의 관심 영역 및 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별하는 단계 및 식별된 위치로 임계 세기 이상의 광을 조사하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 식별된 위치로 광이 조사되도록 발광 각도를 변경하는 단계를 더 포함할 수 있다.
한편, 도 23과 같은 전자 장치의 제어 방법은 도 2 또는 도 3의 구성을 가지는 전자 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 촬상각을 갖는 제1 카메라;
    상기 제1 촬상각보다 큰 제2 촬상각을 갖는 제2 카메라; 및
    상기 제1 카메라로부터 획득된 제1 촬상 이미지 또는 상기 제2 카메라로부터 획득된 제2 촬상 이미지에서 타겟 오브젝트의 일 부분이 식별되고 상기 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 상기 식별된 장애물 오브젝트의 위치 정보를 획득하고,
    상기 획득된 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하고,
    상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 촬상 이미지에서 상기 타겟 오브젝트 및 상기 장애물 오브젝트가 포함된 영역 및 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득하고,
    상기 획득된 결합 이미지에 기초하여 상기 타겟 오브젝트를 식별하는, 전자 장치.
  3. 제1항에 있어서,
    상기 제1 촬상 이미지는 제1 촬상 위치에서 상기 제1 카메라에 의해 촬상된 이미지이고,
    상기 제2 촬상 이미지는 상기 제1 촬상 위치와 상이한 제2 촬상 위치에서 상기 제2 카메라에 의해 촬상된 이미지인, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 제1 촬상 위치 및 상기 제2 촬상 위치와 상이한 제3 촬상 위치에서 상기 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득하고,
    상기 식별된 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하고,
    상기 제2 촬상 이미지의 관심 영역 및 상기 제3 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는, 전자 장치.
  5. 제4항에 있어서,
    상기 제2 촬상 위치는 상기 제1 촬상 위치를 기준으로 제1 방향에 위치하며,
    상기 제3 촬상 위치는 상기 제1 촬상 위치를 기준으로 상기 제1 방향과 상이한 제2 방향에 위치하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제2 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하고,
    상기 제3 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 촬상 이미지에서 식별된 상기 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보를 획득하고,
    상기 제2 촬상 이미지에서 식별된 상기 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보를 획득하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 촬상 이미지에 기초하여 상기 장애물 오브젝트의 위치 정보 및 크기 정보를 식별하고,
    상기 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라의 촬상 위치를 식별하며,
    상기 제2 촬상 이미지는, 상기 식별된 촬상 위치에서 촬상된 이미지인, 전자 장치.
  9. 제1항에 있어서,
    발광부;를 더 포함하고,
    상기 프로세서는,
    상기 제1 촬상 이미지의 관심 영역을 식별하고,
    상기 제1 촬상 이미지의 관심 영역 및 상기 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별하고,
    상기 식별된 위치로 임계 세기 이상의 광을 조사하도록 상기 발광부를 제어하는, 전자 장치.
  10. 제 9항에 있어서,
    상기 프로세서는,
    상기 식별된 위치로 상기 광이 조사되도록 상기 발광부의 발광 각도를 변경하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    제1 촬상각을 갖는 제1 카메라로부터 획득된 제1 촬상 이미지 또는 상기 제1 촬상각보다 큰 제2 촬상각을 가지는 제2 카메라로부터 획득된 제2 촬상 이미지에서 타겟 오브젝트의 일 부분이 식별되고 상기 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 상기 식별된 장애물 오브젝트의 위치 정보를 획득하는 단계;
    상기 획득된 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하는 단계; 및
    상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 단계;를 포함하는 전자 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 제어 방법은,
    상기 제1 촬상 이미지에서 상기 타겟 오브젝트 및 상기 장애물 오브젝트가 포함된 영역 및 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득하는 단계; 및
    상기 획득된 결합 이미지에 기초하여 상기 타겟 오브젝트를 식별하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  13. 제11항에 있어서,
    상기 제1 촬상 이미지는 제1 촬상 위치에서 상기 제1 카메라에 의해 촬상된 이미지이고,
    상기 제2 촬상 이미지는 상기 제1 촬상 위치와 상이한 제2 촬상 위치에서 상기 제2 카메라에 의해 촬상된 이미지인, 전자 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 제어 방법은,
    상기 제1 촬상 위치 및 상기 제2 촬상 위치와 상이한 제3 촬상 위치에서 상기 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득하는 단계;
    상기 식별된 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하는 단계; 및
    상기 제2 촬상 이미지의 관심 영역 및 상기 제3 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 제2 촬상 위치는 상기 제1 촬상 위치를 기준으로 제1 방향에 위치하며,
    상기 제3 촬상 위치는 상기 제1 촬상 위치를 기준으로 상기 제1 방향과 상이한 제2 방향에 위치하는, 전자 장치의 제어 방법.
PCT/KR2021/014242 2020-11-16 2021-10-14 전자 장치 및 그 제어 방법 WO2022102995A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180069624.7A CN116368532A (zh) 2020-11-16 2021-10-14 电子装置及其控制方法
EP21892165.8A EP4187495A4 (en) 2020-11-16 2021-10-14 ELECTRONIC DEVICE AND ITS CONTROL METHOD
US18/118,445 US20230222818A1 (en) 2020-11-16 2023-03-07 Electronic apparatus and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0152728 2020-11-16
KR1020200152728A KR20220066559A (ko) 2020-11-16 2020-11-16 전자 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/118,445 Continuation US20230222818A1 (en) 2020-11-16 2023-03-07 Electronic apparatus and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2022102995A1 true WO2022102995A1 (ko) 2022-05-19

Family

ID=81601431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/014242 WO2022102995A1 (ko) 2020-11-16 2021-10-14 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US20230222818A1 (ko)
EP (1) EP4187495A4 (ko)
KR (1) KR20220066559A (ko)
CN (1) CN116368532A (ko)
WO (1) WO2022102995A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034055A (ja) * 2000-07-13 2002-01-31 Ryosuke Shibazaki 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム
KR20120060339A (ko) * 2010-12-02 2012-06-12 김주환 협각렌즈와 광각렌즈를 이용한 폐쇄회로 카메라 시스템 및 그 구현방법
KR20180059099A (ko) * 2016-11-25 2018-06-04 에스엘 주식회사 상용 차량의 주변 감시 장치 및 방법
KR20190030953A (ko) * 2017-09-15 2019-03-25 한국광기술원 적외선 카메라 및 이를 구비한 선박용 장애물 검출시스템
KR20190067578A (ko) * 2017-12-07 2019-06-17 (주)캠시스 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235198A (ja) * 2011-04-28 2012-11-29 Sanyo Electric Co Ltd 撮像装置
DE112017005807T5 (de) * 2016-11-17 2019-09-12 Sony Corporation Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034055A (ja) * 2000-07-13 2002-01-31 Ryosuke Shibazaki 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム
KR20120060339A (ko) * 2010-12-02 2012-06-12 김주환 협각렌즈와 광각렌즈를 이용한 폐쇄회로 카메라 시스템 및 그 구현방법
KR20180059099A (ko) * 2016-11-25 2018-06-04 에스엘 주식회사 상용 차량의 주변 감시 장치 및 방법
KR20190030953A (ko) * 2017-09-15 2019-03-25 한국광기술원 적외선 카메라 및 이를 구비한 선박용 장애물 검출시스템
KR20190067578A (ko) * 2017-12-07 2019-06-17 (주)캠시스 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4187495A4 *

Also Published As

Publication number Publication date
CN116368532A (zh) 2023-06-30
EP4187495A4 (en) 2024-01-10
EP4187495A1 (en) 2023-05-31
KR20220066559A (ko) 2022-05-24
US20230222818A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
WO2016060486A1 (en) User terminal apparatus and iris recognition method thereof
WO2017078356A1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
EP3180908A1 (en) Image photographing apparatus, image photographing system for performing photographing by using multiple image photographing apparatuses, and image photographing methods thereof
EP3342156A1 (en) Electronic device and method for generating image data
WO2017030262A1 (en) Photographing apparatus and method for controlling the same
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2015126044A1 (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2018066868A1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
WO2021251549A1 (en) Display device
WO2017010628A1 (en) Method and photographing apparatus for controlling function based on gesture of user
WO2017018614A1 (en) Method of imaging moving object and imaging device
WO2014058086A1 (en) Image processing device and image processing method
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2019017641A1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
WO2019231042A1 (ko) 생체 인증 장치
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2022065641A1 (ko) 조리 장치 및 그 제어 방법
WO2022102995A1 (ko) 전자 장치 및 그 제어 방법
WO2021006635A1 (en) Electronic apparatus for identifying object through warped image and control method thereof
WO2022025435A1 (ko) 프로젝터 및 그 제어 방법
WO2020045834A1 (en) Electronic apparatus and control method thereof
WO2019093674A1 (ko) 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법
WO2017155365A1 (en) Electronic apparatus for providing panorama image and control method thereof
WO2021060636A1 (en) Motion detection device and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21892165

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021892165

Country of ref document: EP

Effective date: 20230224

NENP Non-entry into the national phase

Ref country code: DE