WO2019135544A1 - 차량 주변의 이미지를 제공하는 전자 장치 및 방법 - Google Patents

차량 주변의 이미지를 제공하는 전자 장치 및 방법 Download PDF

Info

Publication number
WO2019135544A1
WO2019135544A1 PCT/KR2018/016714 KR2018016714W WO2019135544A1 WO 2019135544 A1 WO2019135544 A1 WO 2019135544A1 KR 2018016714 W KR2018016714 W KR 2018016714W WO 2019135544 A1 WO2019135544 A1 WO 2019135544A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
electronic device
areas
distance
Prior art date
Application number
PCT/KR2018/016714
Other languages
English (en)
French (fr)
Inventor
이태희
김지혜
박상규
한승훈
문보석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/960,744 priority Critical patent/US11245858B2/en
Priority to EP18897985.0A priority patent/EP3719742A4/en
Publication of WO2019135544A1 publication Critical patent/WO2019135544A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/30—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Definitions

  • the present disclosure relates to an electronic device and method for providing an image of the surroundings of a vehicle, and more particularly to an electronic device and method for providing a composite image representing the periphery of a vehicle using a portion of a plurality of images taken by an electronic device having a plurality of image sensors And more particularly, to an electronic device and method for generating an electronic device.
  • Some embodiments may provide an electronic device and method that can use a plurality of images photographed using a plurality of image sensors to generate a composite image representing the perimeter of the vehicle.
  • some embodiments can provide an electronic apparatus and method that can calculate the distance between a vehicle and a subject included in a plurality of images based on a distance between a plurality of image sensors.
  • some embodiments may provide an electronic device and method capable of estimating the distance between a vehicle and a subject included only in a single image.
  • FIG. 1 is an illustration showing an example in which an electronic device in a vehicle according to some embodiments produces a composite image representing the periphery of the vehicle.
  • FIG. 2 is a flow diagram of a method for an electronic device according to some embodiments to generate a composite image representing the perimeter of a vehicle based on feature information.
  • FIG 3 is an illustration of an example in which an electronic device according to some embodiments generates a composite image using a portion of a first image and a portion of a second image.
  • FIG. 4 is a flow diagram of a method for an electronic device according to some embodiments to generate a composite image representing the perimeter of a vehicle based on distance information.
  • Figures 5 and 6 are diagrams in which an electronic device according to some embodiments produces a composite image using a plurality of first regions and a plurality of second regions.
  • FIG. 7 is a flowchart of a method by which an electronic device according to some embodiments calculates a distance between a particular subject and a vehicle.
  • Figure 8 is an illustration of an example in which an electronic device according to some embodiments performs photometric calibration.
  • FIG. 9 is a diagram illustrating an example of selecting an electronic device according to some embodiments in a first region including a specific object in a first image and a second region including a specific object in the second image.
  • FIG. 10 is a diagram showing an example in which an electronic device according to some embodiments calculates a distance between a specific object and a vehicle.
  • Figure 11 is a flow diagram of a method for an electronic device according to some embodiments to obtain distance information of a surrounding area that does not include a particular subject.
  • FIG. 12 is a diagram showing an example in which an electronic device according to some embodiments estimates a distance of a peripheral region.
  • FIG. 13 is an illustration of a hardware block diagram of an electronic device according to some embodiments.
  • FIGS. 14 and 15 are illustrations of block diagrams of hardware of an electronic device and a vehicle in accordance with some embodiments.
  • a first aspect of the present disclosure is a vehicle comprising: a first image sensor for generating a first image by photographing a periphery of a vehicle; A second image sensor for generating a second image by photographing the periphery of the vehicle; And a processor for acquiring feature information of each of the first image and the second image and generating a composite image representing a periphery of the vehicle using a portion of the first image and a portion of the second image based on the acquired feature information, To provide an electronic device that provides an image of the surroundings of the vehicle.
  • a second aspect of the present disclosure provides a method comprising: generating a first image by imaging a periphery of a vehicle with a first image sensor of the electronic device; The second image sensor of the electronic device producing a second image by imaging the periphery of the vehicle; Obtaining characteristic information of each of the first image and the second image; And generating a composite image representing a periphery of the vehicle using a portion of the first image and a portion of the second image based on the acquired feature information.
  • the third aspect of the present disclosure can also provide a computer-readable recording medium for causing a computer to execute the method of the second aspect.
  • FIG. 1 is an illustration showing an example in which an electronic device in a vehicle according to some embodiments produces a composite image representing the periphery of the vehicle.
  • an electronic device 100 in a vehicle 1000 photographs a first image 110 using a first image sensor 231 and records the first image 110 using a first image sensor 231, 2 image sensor 232 to capture the second image 120.
  • the electronic device 100 acquires the feature information of the first image 110 and the feature information of the second image 120 and generates the feature information of the second image 120 based on the feature information of the first image 110 and the feature information of the second image 120
  • the first image and the second image may be similar images photographed in substantially the same direction at substantially the same time.
  • the composite image 130 may be an image generated using only the sharp portions of the first image 110 and the second image 120.
  • the electronic device 100 can generate a composite image 130 that more accurately represents the periphery of the vehicle 1000 even in a dark environment.
  • the electronic device 100 can also photograph a subject located in the vicinity of the vehicle 1000 and determine the distance between the subject included in at least one of the first image 110 and the second image 120 and the vehicle 1000 To generate a composite image 130 that represents the image.
  • the feature information is information for matching a plurality of images, and includes position information on an image such as an intersection representing a feature of the image, a boundary, an edge, a floor, a bone, a conic curve, And distance information of a plurality of regions in the image.
  • the feature information may include information related to the road on which the vehicle 1000 travels, and may include, for example, information regarding the shape of the road on which the vehicle 1000 travels, the terrain of the road, And may include information on inclination of the road, curvature of the road, lane width, structures around the road, and the like.
  • the feature information may include distance information indicating the distance between the subject and the vehicle 1000 included in each of the plurality of regions in the image.
  • the physical properties of the sensor may include, but are not limited to, exposure time, sensitivity such as ISO gain, and aperture value of the lens.
  • a specific subject may mean a subject included in both the first image and the second image.
  • the electronic device 100 may also transmit and receive data used to create a composite image 130 representing the periphery of the vehicle 1000 to another electronic device (not shown) or a server (not shown) .
  • Other electronic devices (not shown) or servers (not shown) may perform some of the operations of electronic device 100 as will be described below to produce composite image 130 representing the periphery of vehicle 1000, And send and receive data for generating image 130 to and from electronic device 100.
  • the electronic device 100 may be a device that provides an image of the periphery of the vehicle 1000 and may be, for example, a stereo camera of the black box device of the vehicle 1000.
  • the electronic device 100 may also be an electronic device connected to the head unit of the vehicle 1000 and may be an electronic device such as a smart phone, a tablet PC, a PC, a smart TV, a mobile phone, a personal digital assistant (PDA) Player, micro server, navigation, and other mobile or non-mobile computing devices.
  • the electronic device 100 may be a wearable device such as a watch, a pair of glasses, a hair band, and a ring having a communication function and a data processing function.
  • the electronic device 100 may include all kinds of devices capable of producing a composite image, including a plurality of image sensors capable of photographing the periphery of the vehicle 1000.
  • the electronic device 100 can be connected to the head unit of the vehicle 1000 via wire / wireless communication.
  • the electronic device 100 may be a Wi-Fi, a Bluetooth, a Bluetooth low energy, a ZigBee, a Wi-Fi Direct, an ultra wideband (UWB) infrared data association (NFC), Near Field Communication (NFC), or the like.
  • UWB ultra wideband
  • NFC Near Field Communication
  • the present invention is not limited thereto.
  • the network includes a local area network (LAN), a wide area network (WAN), a value added network (VAN), a mobile radio communication network, a satellite communication network, And is a data communication network having a comprehensive meaning for allowing the constituent members necessary for the implementation of the present disclosure to communicate with each other smoothly, and may include a wired Internet, a wireless Internet, and a mobile wireless communication network.
  • LAN local area network
  • WAN wide area network
  • VAN value added network
  • mobile radio communication network a satellite communication network
  • satellite communication network And is a data communication network having a comprehensive meaning for allowing the constituent members necessary for the implementation of the present disclosure to communicate with each other smoothly, and may include a wired Internet, a wireless Internet, and a mobile wireless communication network.
  • FIG. 2 is a flow diagram of a method by which an electronic device according to some embodiments provides a composite image representing the perimeter of a vehicle.
  • the first image sensor of the electronic device 100 can generate a first image by taking a picture of the periphery of the vehicle 1000.
  • the electronic device 100 can shoot a plurality of objects around the vehicle 1000 by controlling the first image sensor toward the periphery of the vehicle 1000.
  • the electronic device 100 may be a camera installed in the vehicle 1000 at the time of manufacturing the vehicle 1000, but is not limited thereto.
  • the electronic device 100 may be a camera installed in the vehicle by a user, in which case the electronic device 100 may be communicatively coupled with the vehicle 1000.
  • the electronic device 100 may include, but is not limited to, a camera of a black box device and a camera of a smart phone.
  • the electronic device 1000 can photograph the front, side, or rear of the vehicle 1000 by controlling the first image sensor, and the electronic device 100 can be a portable camera, a rotary camera, or a fixed camera.
  • the second image sensor of the electronic device 100 can generate a second image by photographing the periphery of the vehicle 1000.
  • the electronic device 100 can shoot a plurality of objects around the vehicle 1000 by controlling the second image sensor facing the periphery of the vehicle 1000.
  • the second image sensor may be an image sensor having a physical property different from that of the first image sensor.
  • the first image sensor may be a high sensitivity image sensor
  • the second image sensor may be a general sensitivity image sensor.
  • the electronic device 100 can photograph the front, side, or rear of the vehicle 1000 by controlling the second image sensor.
  • the first image sensor and the second image sensor may be spaced apart from one another in the electronic device 100 and controlled by the electronic device 100 to photograph in substantially the same direction.
  • the first image sensor and the second image sensor can be controlled by the electronic device 100 to produce a first image and a second image by taking the periphery of the vehicle 100 at substantially the same time.
  • the electronic device 100 can photograph the front of the vehicle 1000 by controlling the first image sensor and the second image sensor.
  • the electronic device 100 may obtain the feature information of each of the first image and the second image.
  • the feature information is information for generating a composite image by matching the first image and the second image, and the feature information includes position information on an image such as an intersection point, a border, an edge, a floor, a bone, And brightness information of a plurality of regions in the image.
  • Image registration is a processing technique that transforms acquired images in different coordinate systems and displays them in one coordinate system when a scene or object is photographed at a different time or viewpoint.
  • the electronic device 100 may extract feature information from the first image and feature information from the second image.
  • the electronic device 100 may receive the feature information of each of the first image and the second image from a server or other electronic device.
  • the electronic device 100 transmits the first image data for the first image and the second image data for the second image to the server or other electronic device, And to provide the feature information of the second image.
  • the electronic device 100 may generate a composite image representing the periphery of the vehicle using a portion of the first image and a portion of the second image, based on the feature information.
  • the electronic device 100 can match the first image and the second image such that the portions commonly included in the first image and the second image overlap based on the feature information of the first image and the feature information of the second image have. For example, the electronic device 100 determines the shape of the road on which the vehicle 1000 travels, the terrain of the road, the inclination of the road, the curvature of the road, the structure around the road, By comparing, the first image and the second image can be matched. Alternatively, the electronic device 100 can match the first image and the second image by comparing the shape, average brightness, and area of a similar or similar area where the change in brightness information in the first image and the second image is flat or similar.
  • the electronic device 100 may select a sharper portion among those portions commonly included in the first image and the second image to generate a composite image.
  • the electronic device 100 may be included in the first image but some of the first image may not be included in the second image.
  • the electronic device 100 may be included in the second image, but a portion not included in the second image may include a portion of the second image in the composite image. Accordingly, the electronic device 100 can generate a wide dynamic range (WDR) image or a high dynamic range (HDR) image having a wider dynamic range than the first image and the second image, as a composite image.
  • the electronic device 100 may use a portion of the first image and the second image to produce a composite image with reduced noise than the first image and the second image.
  • WDR wide dynamic range
  • HDR high dynamic range
  • FIG 3 is an illustration of an example in which an electronic device according to some embodiments generates a composite image using a portion of a first image and a portion of a second image.
  • the electronic device 100 may acquire a first image 310 and a second image 320 that have captured the front of the vehicle 1000.
  • the first image 310 may be photographed by the first image sensor with high sensitivity, and it may be difficult to identify the subject in a part of the image.
  • the second image 320 may be photographed by a second image sensor of general sensitivity, and it may be difficult to identify the subject in a part of the image.
  • the sensitivity of the first image sensor is different from that of the second image sensor
  • subjects that are difficult to identify in the second image 320 may be identifiable in a portion 315 of the first image 310.
  • subjects that are difficult to identify in the first image 310 may be identifiable in a portion 325 of the second image 320.
  • the electronic device 100 may generate a composite image 330 by compositing a portion 315 of the first image and a portion 325 of the second image.
  • FIG. 4 is a flow diagram of a method for an electronic device according to some embodiments to generate a composite image representing the perimeter of a vehicle based on distance information.
  • the first image sensor of the electronic device 100 may generate a first image by imaging the periphery of the vehicle 1000 in operation S400 and the second image sensor of the electronic device 100 may generate the first image by imaging the periphery of the vehicle 1000, The second image can be generated.
  • the operation S400 corresponds to the operation S200 of FIG. 2, and the operation S410 corresponds to the operation S210 of FIG. 2, so a detailed description will be omitted.
  • the electronic device 100 may divide the first image into a plurality of first areas.
  • the electronic device 100 may divide the first image into a plurality of first regions by dividing the first image into a plurality of blocks.
  • the plurality of first regions may have the same size and shape.
  • the electronic device 100 may divide the first image into a plurality of first regions by dividing the first image into an irregular shape.
  • the electronic device 100 may divide the first image centering on the objects included in the first image, thereby dividing the plurality of first areas.
  • the electronic device 100 may divide the second image into a plurality of second areas. Since operation S430 corresponds to operation S420, a detailed description will be omitted.
  • the electronic device 100 may obtain the distance information of each of the plurality of first areas and the plurality of second areas.
  • the electronic device 100 may obtain distance information between the vehicle 1000 and a subject included in the first area of one of the plurality of first areas.
  • the electronic device 100 may acquire distance information between the vehicle 1000 and a subject included in one second area of the plurality of second areas.
  • the electronic device 100 is configured to determine, based on the distance between the first image sensor and the second image sensor, the image data of the plurality of first areas, and the image data of the plurality of second areas, And distance information of each of the plurality of second areas.
  • the electronic device 100 may obtain the distance information of each of the plurality of first areas and the plurality of second areas using the distance sensor.
  • the distance sensor may be a sensor used to sense an object in front of the vehicle 1000 and to calculate a distance to the object and may include, for example, a radar sensor, a rider sensor, and an ultrasonic sensor Do not.
  • the electronic device 100 can sense the front of the vehicle 1000 using a predetermined distance sensor while photographing the front of the vehicle 1000.
  • a predetermined distance sensor For example, when the vehicle 1000 is traveling on the road, a plurality of objects may be positioned in front of the vehicle 1000.
  • the electronic device 100 may emit a sensing signal toward the front of the vehicle 1000 while shooting the front of the vehicle 1000, and may receive the sensing signal reflected from the plurality of subjects.
  • the plurality of objects may be an object located in the vicinity of the vehicle 1000, and the emission of the signal and the reception of the reflected signal may be performed by taking a plurality of objects through the first image sensor and / (100). ≪ / RTI > Further, the electronic device 100 can calculate the distance between the subject and the vehicle 1000 based on the signals reflected from the plurality of subjects.
  • the electronic device 100 may generate a composite image representing the periphery of the vehicle using a portion of the first image and a portion of the second image, based on the distance information.
  • the electronic device 100 can select the second area that matches the specific first area among the plurality of first areas based on the distance information of each of the plurality of first areas and the plurality of second areas. Further, the electronic device 100 can determine a clearer area out of the specific first area and the second area that matches the specific first area, and can include the determined area in the composite image.
  • the electronic device 100 may calculate the distance between the objects included in at least one of the first image and the second image and the vehicle 1000 based on the distance information of each of the plurality of first areas and the plurality of second areas A depth image representing a distance can be generated.
  • Figures 5 and 6 are diagrams in which an electronic device according to some embodiments produces a composite image using a plurality of first regions and a plurality of second regions.
  • the electronic device 100 may divide the first image 510 into a plurality of first areas by dividing the first image 510 into a plurality of blocks.
  • the electronic device 100 may divide the second image 520 into a plurality of first areas by dividing the second image 520 into a plurality of blocks.
  • the first image sensor that captures the first image 510 and the second image sensor that captures the second image 520 may be spaced apart from one another within the electronic device 100, The distance between the image sensor and the second image sensor may be preset.
  • the electronic device 100 can acquire image data of a plurality of first areas and image data of a plurality of second areas.
  • the electronic device 100 can select the second area that matches the specific first area among the plurality of first areas by comparing the image data of the plurality of first areas with the image data of the plurality of second areas.
  • the electronic device 100 may select a first area and a second area that include a particular subject.
  • the electronic device 100 may obtain distance information of a first area and a second area including a specific object based on the distance between the first image sensor and the second image sensor.
  • the distance information between the first area including a specific object and the second area including a specific object may be the same. By repeating this process, the electronic device 100 can obtain the distance information of each of the plurality of first areas and the plurality of second areas.
  • the electronic device 100 may be configured to determine the position of the vehicle 1000 using a portion of the first image 510 and a second image 520 based on the distance information of each of the plurality of first regions and the plurality of second regions.
  • a composite image 530 representing the periphery can be generated.
  • the electronic device 100 may include a sharper region in the composite image 530, from among a second region that matches a specific first region and a specific first region.
  • the first area that matches the second areas, including the crosswalk of the second image 520 can not identify the crosswalk, so that the electronic device 100 is able to identify the second areas including the crosswalk May be included in the composite image (530).
  • the electronic device 100 can determine to include the first area including the on-building electronic signboard in the composite image 530.
  • the electronic device 100 may have a WDR (Wide Dynamic Range) image having a wider dynamic range than the first image 510 and the second image 520, or a WDR (Wide Dynamic Range) image having a noise greater than the first image 510 and the second image 530
  • the reduced image can be obtained as the composite image 530.
  • the electronic device 100 is configured to determine, based on distance information of each of a plurality of first areas and a plurality of second areas, A composite image 630 representing the periphery of the vehicle 1000 can be generated using the image 620 shown in FIG.
  • the electronic device 100 may be capable of displaying at least one of a first image 610 and a second image 620 based on a parallax between a first region including a specific object and a second region including a specific object
  • a depth image representing the distance between the included object and the vehicle 1000 may be generated as the composite image 630.
  • the electronic device 100 may calculate a distance based on the distance between the first image sensor and the second image sensor, for a particular subject included in both the first image 610 and the second image 620 .
  • the subject included only in one of the first image 610 and the second image 620 can be estimated based on the distance between the vehicle 1000 and the specific subject calculated from the vehicle 1000 have.
  • the electronic device 100 may generate the composite image 630 so that a sense of distance between the objects appears.
  • the electronic device 100 can generate a depth image such that a subject having a distance to the vehicle 1000 is bright and a subject having a distance from the vehicle 1000 is dark.
  • FIG. 7 is a flowchart of a method by which an electronic device according to some embodiments calculates a distance between a specific object and a vehicle 1000.
  • the electronic device 100 may perform photometric calibration on at least one of the plurality of first areas and the plurality of second areas. Since the physical characteristics of the first image sensor and the second image sensor are different, the electronic device 100 has visibility between the first image taken by the first image sensor and the second image taken by the second image sensor, The brightness correction may be performed on the first image or the second image. By performing brightness correction, the electronic device 100 can improve the identifiability of subjects included in at least one of the first image and the second image. Accordingly, the electronic device 100 can generate a composite image with higher definition. In one embodiment, when performing a brightness correction on the first image, the electronic device 100 may determine whether to perform brightness correction over the first image, and determine whether to perform brightness correction on each of the plurality of first areas in the first image It may be determined whether to perform brightness correction.
  • the brightness correction may be performed as a pre-processing to obtain the feature information of the first image and the second image, and to generate a composite image.
  • the brightness correction may be performed in the electronic device 100 or may be performed in another electronic device (not shown) or a server (not shown) communicatively coupled with the electronic device 100.
  • the electronic device 100 sends the first image data for the first image and the second image data for the second image to another electronic device (Not shown) or a server (not shown) to transmit the results of the brightness correction of the first image data and / or the second image data to the other electronic device (not shown) or server (not shown) have.
  • the electronic device 100 may compare image data of a plurality of first areas and image data of a plurality of first areas.
  • the electronic device 100 may compare image data of a plurality of first areas and image data of a plurality of first areas to determine a specific second area corresponding to a specific first area of the plurality of first areas .
  • the electronic device 100 may compare the image data of the plurality of first areas and the plurality of first areas with the brightness correction performed.
  • the electronic device 100 may compare predetermined signals processed in various ways to image data of a plurality of first regions and image data of a plurality of first regions.
  • the electronic device 100 may compare sensitivity data of a plurality of first areas with sensitivity data of a plurality of second areas.
  • the electronic device 100 can select a first region including a specific object among the plurality of first regions and a second region including a specific object among the plurality of second regions .
  • the electronic device 100 can select a region including the same subject in the first image and the second image according to the result of comparing the image data of the plurality of first regions and the image data of the plurality of first regions.
  • the area containing the same subject may also have similar sensitivity data.
  • the electronic device 100 can select a second region that shows a waveform similar to the waveform of the sensitivity data of the first region by comparing the sensitivity data of the plurality of first regions with the sensitivity data of the plurality of second regions .
  • the electronic device 100 can calculate the distance between the specific object and the vehicle 1000 based on the parallax between the selected first area and the selected second area. Since the first image sensor and the second image sensor of the electronic device 100 are disposed apart from each other, the electronic device 100 can photograph different views depending on the distances between the first image sensor and the second image sensor.
  • the electronic device 100 can generate a first image and a second image that are different from each other, and by synthesizing a part of the first image and a part of the second image, a composite image Lt; / RTI >
  • the electronic device 100 calculates the distance between the specific object and the vehicle 1000 based on the parallax between the first area including the specific object and the second area when the distance between the first image sensor and the second image sensor is predetermined can do.
  • Figure 8 is an illustration of an example in which an electronic device according to some embodiments performs photometric calibration.
  • the first image data 810 indicating the brightness of the first image captured by the first image sensor which is a high sensitivity sensor
  • the second image data 820 indicating the brightness of the second image captured by the second image sensor, which is a general sensitivity sensor may have a narrower dynamic range than the first image data 820. It may be desirable to match the visibility between the first image and the second image to output a composite image using the first image and the second image, Brightness correction may be performed on the image or the second image. For example, the electronic device 100 may perform brightness correction on the first image to obtain brightness-corrected third image data 830.
  • the electronic device 100 preliminarily displays a grayscale pattern chart or a color chart under various lighting conditions You can do it. Accordingly, the electronic device 100 displays the pixel values of the first image data 810, the second image data 820, and the third image data 830 with respect to the brightness values of the gray scale pattern chart or color chart. A graph 840 can be obtained.
  • the electronic device 100 is configured such that the relationship between the pixel value of the third image data 830 that has undergone the brightness correction of the first image and the pixel value of the second image data 820 for the second image is in various forms The brightness correction may be performed on the first image so that it can be modeled as a function of the brightness.
  • f (x) can be a polynomial, such as quadratic or cubic, and can be in the form of a logarithmic or exponential function.
  • FIG. 9 is a diagram illustrating an example of selecting an electronic device according to some embodiments in a first region including a specific object in a first image and a second region including a specific object in the second image.
  • the electronic device 100 includes a first region 930 including a specific object in one image 910 and a second region 930 including a specific object in the second image 920 to calculate the distance between the specific object and the vehicle 1000
  • the second area 940 can be selected.
  • the electronic device 100 is configured to include the same object in the first image 910 and the second image 920 based on the comparison of the image data of the plurality of first areas and the image data of the plurality of first areas Area can be selected. For example, electronic device 100 may select a first area 930 that includes a lane in a first image 910 and a second area 940 that includes the same lane in a second image 920 You can choose.
  • the electronic device 100 may determine that the area corresponding to the first area 930 is the second area 940 by comparing the image data of the first area 930 with the image data of the second area 940 .
  • the electronic device 100 may compare the sensitivity data of the first area 930 with the sensitivity data of the second area 940, so that the area containing the same subject may be similar to the sensitivity data of the second area 940, It is possible to select the second area 940 showing a waveform similar to the waveform of the sensitivity data of the first area 930.
  • FIG. 10 is a diagram showing an example in which an electronic device according to some embodiments calculates a distance between a specific object and a vehicle.
  • an electronic device 100 may use triangulation to calculate the distance between a particular subject 1010 and the vehicle 1000.
  • Equation (1) and Equation (2) can be derived by the property that the length of the corresponding side of the resemblance triangle is proportional.
  • Equation (3) Subtracting the equation (1) from the equation (2), the time difference at the aperture level Can be derived as shown in Equation (3).
  • the distance b and the focal length f between the first image sensor 231 and the second image sensor 232 may be preset in the electronic device 100.
  • the time difference between the first region and the second region Is proportional to the distance b between the first image sensor 231 and the second image sensor 232 and the focal length f and is inversely proportional to the distance Z between the specific object 1010 and the vehicle 1000.
  • the electronic device 100 can calculate the distance between the specific object 1010 and the vehicle 1000 more accurately.
  • the focal length f is increased, since the parallax is large, the electronic device 100 can calculate the distance between the specific object 1010 and the vehicle 1000 more accurately.
  • Figure 11 is a flow diagram of a method for an electronic device according to some embodiments to obtain distance information of a surrounding area that does not include a particular subject.
  • the electronic device 100 can estimate a distance between a first area including a specific object and a neighboring area adjacent to the vehicle 1000 based on the distance between the specific object and the vehicle 1000.
  • the peripheral region may be a region that is adjacent to the first region including a specific object but does not include a specific object, and may include a subject other than a specific subject, or may not include a subject.
  • a subject other than a specific subject may be a subject included in only one of the first image and the second image. When a subject other than a specific subject is photographed by the second image sensor but the second image includes a subject other than a specific subject in the second image, the resolution or sharpness of the subject is low, It may be impossible to identify a subject that is not a subject.
  • the first image includes a subject other than a specific subject
  • a subject other than a specific subject may not be photographed by the second image sensor due to a distance difference between the first image sensor and the second image sensor.
  • the electronic device 100 may acquire distance information of a first area including a specific object and a surrounding area not including a specific object.
  • the electronic device 100 can obtain the distance information of the first area including the specific object by calculating the distance between the specific object and the vehicle 1000 based on the distance between the first image sensor and the second image sensor.
  • the electronic device 100 can acquire the distance information of the first area including the specific object using the distance sensor.
  • the electronic device 100 can obtain the distance information of the surrounding area based on the distance information of the first area.
  • the distance information of the surrounding area is obtained by calculating the distance between the subject and the vehicle 1000 that is not a specific subject using the distance sensor .
  • the electronic device 100 may generate a composite image representing the periphery of the vehicle based on the distance information. Since operation S1120 corresponds to operation S450 of FIG. 4, a detailed description will be omitted.
  • the electronic device 100 may provide information about the composite image to a software program that uses the image information.
  • the electronic device 100 may provide information about the composite image representing the periphery of the vehicle 1000 to a software program that uses the image information.
  • the electronic device 100 may provide information about the composite image to at least one of a navigation program, an autonomous driving program, and a road information collection program.
  • the software program using the image information may be a software program executed in the vehicle 1000, but is not limited thereto.
  • a software program using image information may be running in another electronic device (not shown) communicatively coupled with electronic device 100.
  • FIG. 12 is a diagram showing an example in which an electronic device according to some embodiments estimates a distance of a peripheral region.
  • identifiable subjects in the first image 1210 may be difficult to identify within the second image 1220 because the sensitivities of the first image sensor and the second image sensor are different. Also, in the second image 1220, identifiable subjects may be difficult to identify within the first image 1210. [ There may also be a particular subject that is identifiable in both the first image 1210 and the second image 1220 and is not a specific subject that is identifiable in the second image 1220 but difficult to identify in the first image 1210 The subject may also exist. For example, a first area 1230 that includes a lane in the first image 1210 may correspond to a second area 1240 that includes the same lane in the second image 1220. The peripheral region 1260 including the crosswalk in the second image 1220 may correspond to the other first region 1250 in the first image 1210. [
  • the electronic device 100 may obtain the distance information of the peripheral region 1260 adjacent to the second region 1240 based on the distance information of the second region 1240. [ The electronic device 100 can obtain the distance information of the peripheral region 1260 based on the distance between the specific object included in the second region 1240 and the vehicle 1000. [ For example, the electronic device 100 determines the distance between the pedestrian included in the surrounding area 1260 and the vehicle 1000 based on the distance between the lane included in the second area 1240 and the vehicle 1000 Can be estimated. The electronic device 100 may obtain the distance information of the peripheral region 1260 based on the difference in the number of pixels between the second region 1240 and the peripheral region 1260.
  • the distance of the peripheral region 1260 can be estimated based on the difference in the number of pixels from the center of the second region 1240 to the center of the peripheral region 1260. For example, if the second region 1240 and the peripheral region 1260 are composed of nine pixels and are adjacent to each other, the distance from the center of the second region 1240 to the center of the peripheral region 1260 is three pixels There may be a difference. In this case, if the electronic device 100 calculates that the distance between the lane included in the second area 1240 and the vehicle 1000 is 20 m, the distance between the pedestrian crossing included in the surrounding area 1260 and the vehicle 1000 is 14 m .
  • FIG. 13 is an illustration of a hardware block diagram of an electronic device 100 according to some embodiments
  • FIGS. 14 and 15 are examples of block diagrams of hardware of an electronic device 100 and a vehicle 1000 according to some embodiments .
  • an electronic device 100 may include a sensing device 230 and a processor 290. However, not all the components shown in Fig. 13 are essential components of the electronic device 100. Fig. The electronic device 100 may be implemented by more components than the components shown in Fig. 13, or the electronic device 100 may be implemented by fewer components than those shown in Fig. 14 and 15, an electronic device 100 according to some embodiments includes a power supply 299, a communication device 250, an input device 260, a storage device 270, A peripheral device 240, and an output device 280, as shown in FIG. The vehicle 1000 may include, but is not limited to, the propulsion unit 210 and the traveling unit 220 in FIG.
  • the propulsion unit 210 may include an engine / motor 211, an energy source 212, a transmission 213, and a wheel / tire 214.
  • the engine / motor 211 may be any combination between an internal combustion engine, an electric motor, a steam engine, and a stirling engine.
  • the engine / motor 211 may be a gasoline engine and an electric motor.
  • the energy source 212 may be a source of energy that provides power to the engine / motor 211 in whole or in part. That is, the engine / motor 211 may be configured to convert the energy source 212 into mechanical energy. Examples of the energy source 212 may be at least one of gasoline, diesel, propane, other compressed gas based fuels, ethanol, solar panels, batteries, and other electrical power sources. Alternatively, the energy source 212 may be at least one of a fuel tank, a battery, a capacitor, and a flywheel. The energy source 212 may provide energy to the system and apparatus of the vehicle 1000.
  • the transmission 213 may be configured to transmit mechanical power from the engine / motor 211 to the wheel / tire 214.
  • the transmission 213 may include at least one of a gear box, a clutch, a differential, and a drive shaft. If the transmission 213 includes drive shafts, the drive shafts may include one or more axles configured to be coupled to the wheel / tire 214.
  • the wheel / tire 214 may be configured in various forms, including unicycle, bicycle / motorbike, tricycle, or four-wheel form of a car / truck. For example, other wheel / tire formats, such as those that include more than six wheels, may be possible.
  • the wheel / tire 214 includes at least one wheel fixedly attached to the transmission 213 and at least one tire coupled to a rim of a wheel that can contact the driving surface can do.
  • the traveling device 220 may include a brake unit 221, a steering unit 222, and a throttle 223.
  • the brake unit 221 may be a combination of mechanisms that are configured to decelerate the vehicle 1000.
  • the brake unit 221 may use friction to reduce the speed of the wheel / tire 214.
  • Steering unit 222 may be a combination of mechanisms that are configured to adjust the orientation of vehicle 1000.
  • the throttle 223 may be a combination of mechanisms configured to control the speed of operation of the engine / motor 211 to control the speed of the vehicle 1000.
  • the throttle 223 can regulate the amount of the gas mixture of the fuel air flowing into the engine / motor 211 by adjusting the throttle opening amount, and the power and the thrust can be controlled by adjusting the throttle opening amount.
  • the sensing device 230 may include a plurality of sensors configured to sense information about the environment in which the vehicle 1000 is located, as well as one or more actuators configured to modify the position and / or orientation of the sensors can do.
  • the sensing device 230 may include a first image sensor 231 and a second image sensor 232.
  • the sensing device 230 includes a GPS (Global Positioning System) 224, an IMU (Inertial Measurement Unit) 225, a RADAR unit 226, a LIDAR unit 227, an infrared sensor 233, ), Proximity sensor 236, and RGB sensor 237, but is not limited thereto.
  • GPS Global Positioning System
  • IMU Inertial Measurement Unit
  • RADAR unit 226, a LIDAR unit 227 a RADAR unit 226, a LIDAR unit 227, an infrared sensor 233,
  • Proximity sensor 236, and RGB sensor 237 but is not limited thereto.
  • the function of each sensor can be intuitively de
  • the sensing device 230 may include a motion sensing device 238 capable of sensing the motion of the vehicle 1000.
  • the motion sensing device 238 may include a magnetic sensor 229, an acceleration sensor 239, and a gyroscope sensor 234.
  • the GPS 224 may be a sensor configured to estimate the geographic location of the vehicle 1000. That is, the GPS 224 may include a transceiver configured to estimate the position of the vehicle 1000 relative to the earth.
  • the IMU 225 may be a combination of sensors configured to sense the position and orientation changes of the vehicle 1000 based on inertial acceleration.
  • the combination of sensors may include accelerometers and gyroscopes.
  • the RADAR unit 226 may be a sensor configured to sense objects around the vehicle 1000 using a wireless signal.
  • the RADAR unit 226 may also be configured to sense the velocity and / or direction of objects.
  • the LIDAR unit 227 may be a sensor configured to sense objects around the vehicle 1000 using a laser. More specifically, the LIDAR unit 227 may include a laser light source and / or a laser scanner configured to emit a laser, and a detector configured to detect the reflection of the laser. The LIDAR unit 227 may be configured to operate in coherent (e.g., using heterododel detection) or in an incoherent detection mode. In addition, the electronic device 100 may further include an ultrasonic sensor (not shown) for sensing objects around the vehicle 100.
  • the first image sensor 231 and the second image sensor 232 may be a still camera or a video camera for photographing the inside or the outside of the vehicle 1000.
  • the first image sensor 231 and the second image sensor 232 may have different physical characteristics such as sensitivity.
  • the first image sensor 231 and the second image sensor 232 are disposed apart from each other in the electronic device 100 and can be controlled to photograph substantially the same direction.
  • the electronic device 100 also includes a third image sensor (not shown), a fourth image sensor (not shown), and a fifth image sensor (not shown) as well as a first image sensor 231 and a second image sensor 232 (Not shown).
  • the plurality of image sensors may be disposed at various positions inside and outside the vehicle 1000.
  • the peripheral device 240 may include a navigation 241, a light 242, a turn signal light 243, a wiper 244, an internal light 245, a heater 246, and an air conditioner 247.
  • the navigation 241 may be a system configured to determine the route of travel for the vehicle 1000.
  • the navigation 241 can be configured to dynamically update the travel route while the vehicle 1000 is traveling.
  • the navigation 241 may utilize data from the GPS 224 and maps to determine the travel path to the vehicle 1000.
  • the storage device 270 may include a magnetic disk drive, an optical disk drive, and a flash memory. Or storage device 270 may be a portable USB data storage device.
  • the storage device 270 may store system software for executing examples related to the present invention. System software for carrying out the examples herein may be stored on a portable storage medium.
  • the communication device 250 may include at least one antenna for wirelessly communicating with another device.
  • the communication device 250 may be used to communicate with a cellular network or other wireless protocols and systems wirelessly via Wi-Fi or Bluetooth.
  • the communication device 250 controlled by the processor 290 can send and receive wireless signals.
  • the processor 290 may cause the communication device 250 to execute a program contained in the storage device 270 to transmit and receive wireless signals to and from the cellular network.
  • the input device 260 means means for inputting data for controlling the vehicle 1000.
  • the input device 260 may include a key pad, a dome switch, a touch pad (a contact type capacitance type, a pressure type resistive type, an infrared ray detection type, a surface ultrasonic wave conduction type, A tension measuring method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.
  • the input device 260 may include a microphone, which may be configured to receive audio (e.g., voice commands) from the occupant of the vehicle 1000.
  • the output device 280 may output an audio signal or a video signal and the output device 280 may include a display unit 281 and an audio output unit 282.
  • the display unit 281 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display A 3D display, and an electrophoretic display.
  • the output device 280 may include two or more display portions 281.
  • the audio output unit 282 outputs audio data received from the communication device 250 or stored in the storage device 270.
  • the sound output unit 282 may include a speaker, a buzzer, and the like.
  • the input device 260 and the output device 280 may include a network interface and may be implemented with a touch screen.
  • the processor 290 is typically capable of controlling the overall operation of the vehicle 1000.
  • the processor 290 may be configured to execute programs stored in the storage device 270, such as a propulsion device 210, a traveling device 220, a sensing device 230, a peripheral device 240, a communication device 250 , The input device 260, the storage device 270, the output device 280, and the power supply device 299.
  • programs stored in the storage device 270 such as a propulsion device 210, a traveling device 220, a sensing device 230, a peripheral device 240, a communication device 250 ,
  • the processor 290 may be configured to obtain the feature information of each of the first image and the second image by executing the programs stored in the storage device 270 and determine, based on the obtained feature information, A composite image representing the periphery of the vehicle 1000 can be generated.
  • the processor 290 can take a picture of the periphery of the vehicle 1000 by controlling the first image sensor 231 to generate a first image.
  • the processor 290 can take a picture of the periphery of the vehicle 1000 by controlling the second image sensor 232 to generate the second image.
  • the processor 290 can control the first image sensor 231 and the second image sensor 232 to photograph substantially the same direction.
  • the processor 290 may divide the first image into a plurality of first areas and the second image into a plurality of second areas.
  • the processor 290 can divide the first image into a plurality of first areas by dividing the first image into a plurality of blocks.
  • the processor 290 may divide the second image into a plurality of second regions by dividing the first image into a plurality of blocks.
  • the processor 290 may perform photometric calibration on at least one of the plurality of first areas and the plurality of second areas to identify a subject in the first image and a subject in the second image.
  • the processor 290 can obtain the distance information of each of the plurality of first areas and the plurality of second areas.
  • the processor 290 obtains the distance information based on the distance between the first image sensor 231 and the second image sensor 232, the image data of the plurality of first areas, and the image data of the plurality of second areas can do.
  • the processor 290 can compare the image data of the plurality of first areas and the image data of the plurality of second areas, and based on the comparison result, generates a first area including a specific one of the plurality of first areas, A second region including a specific object among the plurality of second regions may be selected.
  • the processor 290 can calculate the distance between the specific object and the vehicle 1000 based on the time difference between the first area including the specific object and the second area including the specific object.
  • the processor 290 can estimate the distance between the first area including the specific object and the neighboring area adjacent thereto based on the calculated distance between the specific object and the vehicle 1000.
  • the processor 290 may use a part of the first image and a part of the second image, based on the distance information of each of the plurality of first areas and the plurality of second areas, Can be generated.
  • the processor 290 may use a portion of the first image and a portion of the second image to generate a WDR or HDR image having a wider dynamic range than the first image and the second image.
  • the processor 290 may use a portion of the first image and a portion of the second image to produce a noise reduced image than the first image and the second image.
  • Processor 290 may use a portion of the first image and a portion of the second image to generate a depth image that represents the distance between the subject and the vehicle 1000 included in at least one of the first image and the second image have.
  • the processor 290 may provide information about the composite image representing the periphery of the vehicle 1000 to a software program that uses the image information.
  • the processor 290 may provide information about the composite image of the vehicle 1000 to at least one of a navigation program, an autonomous driving program, and a road information collection program.
  • Power supply 299 may be configured to provide power to some or all of the components of vehicle 1000.
  • the power supply 299 may comprise a rechargeable lithium ion or lead-acid battery.
  • Computer readable media can be any available media that can be accessed by a computer, and can include both volatile and nonvolatile media, removable and non-removable media.
  • the computer-readable medium may include both computer storage media and communication media.
  • Computer storage media may include both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and may include any information delivery media.
  • a component may be a hardware component such as a processor or a circuit, and / or a software component executed by a hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

차량 주변의 이미지를 제공하는 전자 장치 및 방법이 개시된다. 차량 주변의 이미지를 제공하는 전자 장치는, 차량의 주변을 촬영함으로써 제1 이미지를 생성하는 제1 이미지 센서; 차량의 주변을 촬영함으로써 제2 이미지를 생성하는 제2 이미지 센서; 및 제1 이미지 및 제2 이미지 각각의 특징 정보를 획득하고, 획득된 특징 정보에 기초하여, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 차량의 주변을 나타내는 합성 이미지를 생성하는 프로세서;를 포함한다.

Description

차량 주변의 이미지를 제공하는 전자 장치 및 방법
본 개시는 차량 주변의 이미지를 제공하는 전자 장치 및 방법에 관한 것으로서, 보다 상세하게는 복수의 이미지 센서들을 구비하는 전자 장치에 의해 촬영된 복수의 이미지들의 일부를 이용하여 차량의 주변을 나타내는 합성 이미지를 생성하는 전자 장치 및 방법에 관한 것이다.
네트워크 및 멀티미디어 기술이 발전함에 따라, 차량 내의 전자 장치에 의해 촬영된 복수의 이미지들을 이용하여, 차량에 탑승한 사용자에게 다양한 서비스를 제공하는 기술이 등장하고 있다. 예를 들어, 복수의 이미지 센서들을 이용하여 복수의 이미지들을 촬영함으로써, 차량의 사용자에게 차량 주변의 객체와 차량 간의 거리 정보를 제공하고 있으며, 차량이 보다 안전하게 자율 주행을 할 수 있도록 유도하는 기술이 개발되고 있다.
또한, 차량의 주변이 어두울 때에도 차량의 주변을 보다 정확하게 나타내는 이미지를 획득함으로써, 양질의 서비스를 차량의 사용자에게 제공하고자 하는 기술이 요구되고 있다.
일부 실시예는, 복수의 이미지 센서들을 이용하여 촬영된 복수의 이미지들을 이용하여, 차량의 주변을 나타내는 합성 이미지를 생성할 수 있는 전자 장치 및 방법을 제공할 수 있다.
또한, 일부 실시예는, 복수의 이미지 센서들 간의 거리에 기초하여 복수의 이미지들에 포함된 피사체와 차량 간의 거리를 산출할 수 있는 전자 장치 및 방법을 제공할 수 있다.
또한, 일부 실시예는, 단일 이미지에만 포함된 피사체와 차량 간의 거리를 추정할 수 있는 전자 장치 및 방법을 제공할 수 있다.
도 1은 일부 실시예에 따른 차량 내의 전자 장치가 차량의 주변을 나타내는 합성 이미지를 생성하는 예시를 나타내는 도면이다.
도 2는 일부 실시예에 따른 전자 장치가 특징 정보에 기초하여 차량의 주변을 나타내는 합성 이미지를 생성하는 방법의 흐름도이다.
도 3은 일부 실시예에 따른 전자 장치가 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 합성 이미지를 생성하는 예시를 나타내는 도면이다.
도 4은 일부 실시예에 따른 전자 장치가 거리 정보에 기초하여 차량의 주변을 나타내는 합성 이미지를 생성하는 방법의 흐름도이다.
도 5 및 도 6은 일부 실시예에 따른 전자 장치가 복수의 제1 영역들 및 복수의 제2 영역들을 이용하여 합성 이미지를 생성하는 도면이다.
도 7은 일부 실시예에 따른 전자 장치가 특정 피사체와 차량 간의 거리를 산출하는 방법의 흐름도이다.
도 8은 일부 실시예에 따른 전자 장치가 광도 보정(photometric calibration)을 수행하는 예시를 나타내는 도면이다.
도 9는 일부 실시예에 따른 전자 장치가 제1 이미지에서 특정 피사체를 포함하는 제1 영역 및 제2 이미지에서 특정 피사체를 포함하는 제2 영역을 선택하는 예시를 나타내는 도면이다.
도 10은 일부 실시예에 따른 전자 장치가 특정 피사체와 차량 간의 거리를 산출하는 예시를 나타내는 도면이다.
도 11은 일부 실시예에 따른 전자 장치가 특정 피사체를 포함하지 않는 주변 영역의 거리 정보를 획득하는 방법의 흐름도이다.
도 12는 일부 실시예에 따른 전자 장치가 주변 영역의 거리를 추정하는 예시를 나타내는 도면이다.
도 13은 일부 실시예에 따른 전자 장치의 하드웨어 블록도의 예시이다.
도 14 및 도 15는 일부 실시예에 따른 전자 장치 및 차량의 하드웨어의 블록도의 예시이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 차량의 주변을 촬영함으로써 제1 이미지를 생성하는 제1 이미지 센서; 차량의 주변을 촬영함으로써 제2 이미지를 생성하는 제2 이미지 센서; 및 제1 이미지 및 제2 이미지 각각의 특징 정보를 획득하고, 획득된 특징 정보에 기초하여, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 차량의 주변을 나타내는 합성 이미지를 생성하는 프로세서:를 포함하는, 차량 주변의 이미지를 제공하는 전자 장치를 제공할 수 있다.
또한, 본 개시의 제2 측면은, 전자 장치의 제1 이미지 센서가 차량의 주변을 촬영함으로써 제1 이미지를 생성하는 단계; 전자 장치의 제2 이미지 센서가 차량의 주변을 촬영함으로써 제2 이미지를 생성하는 단계; 제1 이미지 및 제2 이미지 각각의 특징 정보를 획득하는 단계; 및 획득된 특징 정보에 기초하여, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 차량의 주변을 나타내는 합성 이미지를 생성하는 단계:를 포함하는, 전자 장치가 차량 주변의 이미지를 제공하는 방법을 제공할 수 있다.
또한, 본 개시의 제3 측면은, 제2 측면의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에서 사용되는 제 1 또는 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 이러한 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하거나 설명의 편의를 위한 목적으로 사용될 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일부 실시예에 따른 차량 내의 전자 장치가 차량의 주변을 나타내는 합성 이미지를 생성하는 예시를 나타내는 도면이다.
도 1을 참조하면, 차량(1000) 내의 전자 장치(100)는 제1 이미지 센서(231)를 이용하여 제1 이미지(110)를 촬영하고, 제1 이미지 센서(231)와 물리적 특성이 상이한 제2 이미지 센서(232)를 이용하여 제2 이미지(120)를 촬영할 수 있다. 전자 장치(100)는 제1 이미지(110)의 특징 정보 및 제2 이미지(120)의 특징 정보를 획득하고, 제1 이미지(110)의 특징 정보 및 제2 이미지(120)의 특징 정보에 기초하여 제1 이미지(110)의 일부 및 제2 이미지(120)의 일부를 이용하여 차량(1000)의 주변을 나타내는 합성 이미지(130)를 생성할 수 있다. 제1 이미지 및 제2 이미지는 실질적으로 동일한 시각에 실질적으로 동일한 방향으로 촬영된 유사한 이미지일 수 있다. 합성 이미지(130)는 제1 이미지(110) 및 제2 이미지(120)의 선명한 부분만을 이용하여 생성된 이미지일 수 있다. 이에 따라, 전자 장치(100)는 어두운 환경에서도 차량(1000)의 주변을 보다 정확하게 나타내는 합성 이미지(130)를 생성할 수 있다.
또한, 전자 장치(100)는 차량(1000)의 주변에 위치한 피사체를 촬영할 수 있으며, 제1 이미지(110) 및 제2 이미지(120) 중 적어도 하나에 포함된 피사체와 차량(1000) 간의 거리를 나타내는 합성 이미지(130)를 생성할 수도 있다.
본 명세서에서 특징 정보는, 복수의 이미지들을 정합하기 위한 정보로서, 이미지의 특징을 나타내는 교차점, 경계선, 모서리, 마루, 골, 원추 곡선 등의 이미지 상의 위치 정보, 이미지 내 복수의 영역들의 밝기 정보, 및 이미지 내 복수의 영역들의 거리 정보를 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 특징 정보는, 차량(1000)이 주행하는 도로에 관련된 정보를 포함할 수 있으며, 예를 들어, 차량(1000)이 주행하는 도로의 모양, 도로의 지형, 도로 주변의 피사체에 관한 정보를 포함할 수 있으며, 도로의 경사, 도로의 곡률, 차선 폭, 도로 주변의 구조물 등에 관한 정보를 포함할 수 있다. 또한, 특징 정보는, 이미지 내의 복수의 영역들 각각에 포함된 피사체와 차량(1000)간의 거리를 나타내는 거리 정보를 포함할 수 있다.
센서의 물리적 특성은, 노출 시간, ISO 게인 등과 같은 감도 및 렌즈의 조리개 값을 포함할 수 있으나, 이에 제한되지 않는다.
특정 피사체는, 제1 이미지 및 제2 이미지 모두에 포함된 피사체를 의미할 수 있다.
또한, 전자 장치(100)는 차량(1000)의 주변을 나타내는 합성 이미지(130)를 생성하기 위하여 이용되는 데이터를 네트워크를 통하여 다른 전자 장치(미도시) 또는 서버(미도시)와 송수신할 수 있다. 다른 전자 장치(미도시) 또는 서버(미도시)는 차량(1000)의 주변을 나타내는 합성 이미지(130)를 생성하기 위하여 수행되는 후술할 전자 장치(100)의 동작들 중 일부를 수행하고, 합성 이미지(130)를 생성하기 위한 데이터를 전자 장치(100)와 송수신할 수 있다.
전자 장치(100)는 차량(1000)의 주변의 이미지를 제공하는 디바이스일 수 있으며, 예를 들어, 차량(1000)의 블랙박스 장치의 스테레오 카메라일 수 있다. 또한, 전자 장치(100)는 차량(1000)의 헤드 유닛에 연결된 전자 디바이스일 수 있으며, 예를 들어, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, 네비게이션 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 전자 장치(100)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다. 그러나, 이에 제한되지 않으며, 전자 장치(100)는 차량(1000)의 주변을 촬영할 수 있는 복수의 이미지 센서를 구비하고, 합성 이미지를 생성할 수 있는 모든 종류의 기기를 포함할 수 있다. 이 경우, 전자 장치(100)는 차량(1000)의 헤드 유닛과 유/무선 통신을 통하여 연결될 수 있다. 예를 들어, 전자 장치(100)는 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등을 통하여 차량(1000)의 헤드 유닛에 연결될 수 있으나, 이에 한정되는 것은 아니다.
네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 본 개시의 구현을 위하여 필요한 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다.
도 2는 일부 실시예에 따른 전자 장치가 차량의 주변을 나타내는 합성 이미지를 제공하는 방법의 흐름도이다.
*동작 S200에서 전자 장치(100)의 제1 이미지 센서가 차량(1000)의 주변을 촬영함으로써 제1 이미지를 생성할 수 있다. 전자 장치(100)는 차량(1000)의 주변을 향하는 제1 이미지 센서를 제어함으로써, 차량(1000) 주변의 복수의 객체들을 촬영할 수 있다. 전자 장치(100)는, 차량(1000)의 제조 시에 차량(1000)에 설치된 카메라일 수 있으나 이에 한정되지 않는다. 또한, 전자 장치(100)는 사용자에 의해 차량에 설치된 카메라일 수 있으며, 이 경우, 전자 장치(100)는 차량(1000)과 통신 연결될 수 있다. 예를 들어, 전자 장치(100)는 블랙박스 장치의 카메라 및 스마트폰의 카메라를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 전자 장치(1000)는 제1 이미지 센서를 제어함으로써 차량(1000)의 전방, 측방 또는 후방을 촬영할 수 있으며, 전자 장치(100)는 이동형 카메라, 회전형 카메라 또는 고정형 카메라일 수 있다.
동작 S210에서 전자 장치(100)의 제2 이미지 센서가 차량(1000)의 주변을 촬영함으로써 제2 이미지를 생성할 수 있다. 전자 장치(100)는 차량(1000)의 주변을 향하는 제2 이미지 센서를 제어함으로써, 차량(1000) 주변의 복수의 객체들을 촬영할 수 있다. 제2 이미지 센서는 제1 이미지 센서와 물리적 특성이 상이한 이미지 센서일 수 있다. 예를 들어, 제1 이미지 센서는 고감도 이미지 센서이고, 제2 이미지 센서는 일반감도 이미지 센서일 수 있다. 전자 장치(100)는 제2 이미지 센서를 제어함으로써 차량(1000)의 전방, 측방 또는 후방을 촬영할 수 있다. 예를 들어, 제1 이미지 센서 및 제2 이미지 센서는 전자 장치(100) 내에서 서로 이격되어 배치되며, 실질적으로 동일한 방향으로 촬영하도록 전자 장치(100)에 의해 제어될 수 있다. 또한, 제1 이미지 센서 및 제2 이미지 센서는 실질적으로 동일한 시각에 차량(100)의 주변을 촬영함으로써 제1 이미지 및 제2 이미지를 생성하도록 전자 장치(100)에 의해 제어될 수 있다. 예를 들어, 차량(1000)이 주행 중인 도중에, 전자 장치(100)는 제1 이미지 센서 및 제2 이미지 센서를 제어함으로써 차량(1000)의 전방을 촬영할 수 있다.
동작 S220에서 전자 장치(100)는 제1 이미지 및 제2 이미지 각각의 특징 정보를 획득할 수 있다.
특징 정보는, 제1 이미지 및 제2 이미지를 정합하여 합성 이미지를 생성하기 위한 정보로서, 예를 들어, 이미지의 특징을 나타내는 교차점, 경계선, 모서리, 마루, 골, 원추 곡선 등의 이미지 상의 위치 정보 및 이미지 내 복수의 영역들의 밝기 정보를 포함할 수 있다.
이미지 정합(image registration)은 하나의 장면이나 대상이 다른 시간이나 관점에서 촬영된 경우, 서로 다른 좌표계에서 획득된 이미지들을 변형하여 하나의 좌표계에 나타내는 처리기법이다.
전자 장치(100)는 제1 이미지로부터 특징 정보를 추출할 수 있으며, 제2 이미지로부터 특징 정보를 추출할 수 있다. 또는, 전자 장치(100)는 서버 또는 다른 전자 장치로부터 제1 이미지 및 제2 이미지 각각의 특징 정보를 수신할 수 있다. 이 경우, 전자 장치(100)는 제1 이미지에 대한 제1 이미지 데이터 및 제2 이미지에 대한 제2 이미지 데이터를 서버 또는 다른 전자 장치에 전송하면서, 서버 또는 다른 전자 장치에게 제1 이미지의 특징 정보 및 제2 이미지의 특징 정보를 제공할 것을 요청할 수 있다.
동작 S230에서 전자 장치(100)는 특징 정보에 기초하여, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 차량의 주변을 나타내는 합성 이미지를 생성할 수 있다.
전자 장치(100)는 제1 이미지의 특징 정보 및 제2 이미지의 특징 정보에 기초하여, 제1 이미지 및 제2 이미지에 공통적으로 포함된 부분이 겹치도록 제1 이미지와 제2 이미지를 정합할 수 있다. 예를 들어, 전자 장치(100)는 제1 이미지와 제2 이미지에서 차량(1000)이 주행하는 도로의 모양, 도로의 지형, 도로의 경사, 도로의 곡률, 도로 주변의 구조물, 차선 폭 등을 비교함으로써, 제1 이미지와 제2 이미지를 정합할 수 있다. 또는, 전자 장치(100)는 제1 이미지와 제2 이미지에서 밝기 정보의 변화가 평탄하거나 유사한 영역의 모양, 평균 밝기 및 면적 등을 비교함으로써, 제1 이미지와 제2 이미지를 정합할 수있다.
또한, 전자 장치(100)는 제1 이미지와 제2 이미지에 공통적으로 포함된 부분 중에서 더 선명한 부분을 선택하여 합성 이미지를 생성할 수 있다. 또한, 전자 장치(100)는 제1 이미지에는 포함되어 있으나 제2 이미지에 포함되어 있지 않은 일부는, 제1 이미지의 일부를 합성 이미지에 포함시킬 수 있다. 또한, 전자 장치(100)는 제2 이미지에는 포함되어 있으나, 제2 이미지에는 포함되어 있지 않은 일부는, 제2 이미지의 일부를 합성 이미지에 포함시킬 수 있다. 이에 따라, 전자 장치(100)는 제1 이미지 및 제2 이미지 보다 다이나믹 레인지가 넓은 WDR(Wide Dynamic Range) 이미지 또는 HDR (High Dynamic Range) 이미지를 합성 이미지로 생성할 수 있다. 또한, 전자 장치(100)는 제1 이미지 및 제2 이미지의 일부를 이용하여, 제1 이미지 및 제2 이미지 보다 노이즈가 감소된 합성 이미지를 생성할 수 있다.
도 3은 일부 실시예에 따른 전자 장치가 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 합성 이미지를 생성하는 예시를 나타내는 도면이다.
도 3을 참조하면, 전자 장치(100)는 차량(1000)의 전방을 촬영한 제1 이미지(310) 및 제2 이미지(320)를 획득할 수 있다. 제1 이미지(310)는 고감도인 제1 이미지 센서에 의해 촬영되어, 이미지의 일부에서는 피사체를 식별하기 어려울 수 있다. 또한, 제2 이미지(320)는 일반감도인 제2 이미지 센서에 의해 촬영되어, 이미지의 일부에서는 피사체를 식별하기 어려울 수 있다. 한편, 제1 이미지 센서와 제2 이미지 센서의 감도가 상이하기 때문에, 제2 이미지(320) 내에서는 식별하기 어려운 피사체들이 제1 이미지(310)의 일부(315)에서는 식별 가능할 수 있다. 또한, 제1 이미지(310) 내에서는 식별하기 어려운 피사체들이 제2 이미지(320)의 일부(325)에서는 식별 가능할 수 있다. 보다 선명한 이미지를 획득하기 위해, 전자 장치(100)는 제1 이미지의 일부(315) 및 제2 이미지의 일부(325)를 합성하여 합성 이미지(330)를 생성할 수 있다.
도 4은 일부 실시예에 따른 전자 장치가 거리 정보에 기초하여 차량의 주변을 나타내는 합성 이미지를 생성하는 방법의 흐름도이다.
동작 S400에서 전자 장치(100)의 제1 이미지 센서가 차량(1000)의 주변을 촬영함으로써 제1 이미지를 생성할 수 있고, 동작 S410에서 전자 장치(100)의 제2 이미지 센서가 차량(1000)의 주변을 촬영함으로써 제2 이미지를 생성할 수 있다.
동작 S400은 도 2의 동작 S200에 대응되고, 동작 S410은 도 2의 동작 S210에 대응되므로, 자세한 설명은 생략하기로 한다.
동작 S420에서 전자 장치(100)는 제1 이미지를 복수의 제1 영역들로 구분할 수 있다. 일 실시예에서, 전자 장치(100)는 제1 이미지를 복수의 블록(block)들로 분할함으로써 제1 이미지를 복수의 제1 영역들로 구분할 수 있다. 이 경우, 복수의 제1 영역들은 크기와 형태가 모두 동일할 수 있다. 또는, 전자 장치(100)는 제1 이미지를 비정형적인 형태로 분할함으로써, 제1 이미지를 복수의 제1 영역들로 구분할 수 있다. 예를 들어, 전자 장치(100)는 제1 이미지에 포함된 피사체들을 중심으로 제1 이미지를 분할하여, 복수의 제1 영역들을 구분할 수 있다.
동작 S430에서 전자 장치(100)는 제2 이미지를 복수의 제2 영역들로 구분할 수 있다. 동작 S430은 동작 S420에 대응되므로 자세한 설명은 생략하기로 한다.
동작 S440에서 전자 장치(100)는 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보를 획득할 수 있다. 전자 장치(100)는 복수의 제1 영역들 중 하나의 제1 영역에 포함된 피사체와 차량(1000)간의 거리 정보를 획득할 수 있다. 또한, 전자 장치(100)는 복수의 제2 영역들 중 하나의 제2 영역에 포함된 피사체와 차량(1000)간의 거리 정보를 획득할 수 있다.
일 실시예에서, 전자 장치(100)는 제1 이미지 센서 및 제2 이미지 센서 간의 거리, 복수의 제1 영역들의 이미지 데이터, 및 복수의 제2 영역들의 이미지 데이터에 기초하여, 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보를 획득할 수 있다.
또는, 전자 장치(100)는 거리 센서를 이용하여 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보를 획득할 수 있다. 거리 센서는 차량(1000)의 전방의 객체를 감지하고 객체와의 거리를 산출하기 위하여 이용되는 센서일 수 있으며, 예를 들어, 레이더 센서, 라이더 센서 및 초음파 센서를 포함할 수 있으나, 이에 한정되지 않는다.
전자 장치(100)는 차량(1000)의 전방을 촬영하면서 소정의 거리 센서를 이용하여 차량(1000)의 전방을 센싱할 수 있다. 예를 들어, 차량(1000)이 도로를 주행 중일 때, 차량(1000)의 전방에는 복수의 피사체들이 위치할 수 있다. 또한, 전자 장치(100)는 차량(1000)의 전방을 촬영하면서 차량(1000)의 전방을 향하여 센싱 신호를 방출할 수 있으며, 복수의 피사체들로부터 반사된 센싱 신호를 수신할 수 있다. 복수의 객체는 차량(1000)의 주변에 위치한 물체일 수 있으며, 신호의 방출 및 반사된 신호의 수신은, 제1 이미지 센서 및/또는 제2 이미지 센서를 통하여 복수의 피사체들을 촬영하면서, 전자 장치(100)에 의해 함께 수행될 수 있다. 또한, 전자 장치(100)는 복수의 피사체들로부터 반사된 신호에 기초하여, 피사체와 차량(1000) 간의 거리를 산출할 수 있다.
복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보를 획득하는 구체적인 예시에 대해서는, 도 7 내지 도 12를 참조하여 후술하기로 한다.
동작 S450에서 전자 장치(100)는 거리 정보에 기초하여, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 차량의 주변을 나타내는 합성 이미지를 생성할 수 있다. 전자 장치(100)는 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보에 기초하여, 복수의 제1 영역들 중 특정 제1 영역에 매칭되는 제2 영역을 선택할 수 있다. 또한, 전자 장치(100)는 특정 제1 영역과 특정 제1 영역에 매칭되는 제2 영역 중에서 보다 선명한 영역을 결정하고, 결정된 영역을 합성 이미지에 포함시킬 수 있다.
또는, 전자 장치(100)는 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보에 기초하여, 제1 이미지 및 제2 이미지 중 적어도 하나에 포함된 피사체들과 차량(1000) 간의 거리를 나타내는 뎁스 이미지를 생성할 수 있다.
전자 장치(100)가 거리 정보에 기초하여 합성 이미지를 생성하는 예시는 도 5 및 도 6을 참조하여 후술하기로 한다.
도 5 및 도 6은 일부 실시예에 따른 전자 장치가 복수의 제1 영역들 및 복수의 제2 영역들을 이용하여 합성 이미지를 생성하는 도면이다.
도 5를 참조하면, 전자 장치(100)는 제1 이미지(510)를 복수의 블록들로 분할함으로써 제1 이미지(510)를 복수의 제1 영역들로 구분할 수 있다. 전자 장치(100)는 제2 이미지(520)를 복수의 블록들로 분할함으로써 제2 이미지(520)를 복수의 제1 영역들로 구분할 수 있다. 일 실시예에서, 제1 이미지(510)를 촬영하는 제1 이미지 센서 및 제2 이미지(520)를 촬영하는 제2 이미지 센서는 전자 장치(100) 내에서 서로 이격되어 배치될 수 있으며, 제1 이미지 센서와 제2 이미지 센서 간의 거리는 기 설정되어 있을 수 있다.
또한, 전자 장치(100)는 복수의 제1 영역들의 이미지 데이터 및 복수의 제2 영역들의 이미지 데이터를 획득할 수 있다. 전자 장치(100)는 복수의 제1 영역들의 이미지 데이터와 복수의 제2 영역들의 이미지 데이터를 비교함으로써, 복수의 제1 영역들 중 특정 제1 영역에 매칭되는 제2 영역을 선택할 수 있다. 예를 들어, 전자 장치(100)는 특정 피사체를 포함하는 제1 영역 및 제2 영역을 선택할 수 있다. 전자 장치(100)는 제1 이미지 센서와 제2 이미지 센서 간의 거리에 기초하여, 특정 피사체를 포함하는 제1 영역 및 제2 영역의 거리 정보를 획득할 수 있다. 예를 들어, 특정 피사체를 포함하는 제1 영역과 특정 피사체를 포함하는 제2 영역의 거리 정보는 동일할 수 있다. 이와 같은 과정을 반복하여, 전자 장치(100)는 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보를 획득할 수 있다.
전자 장치(100)는 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보에 기초하여, 제1 이미지(510)의 일부 및 제2 이미지(520)를 이용하여 차량(1000)의 주변을 나타내는 합성 이미지(530)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 특정 제1 영역 및 특정 제1 영역에 매칭되는 제2 영역 중에서, 보다 선명한 영역을 합성 이미지(530)에 포함시킬 수 있다. 예를 들어, 제2 이미지(520)의 횡단보도를 포함하는 제2 영역들과 매칭되는 제1 영역은 횡단보도를 식별할 수 없으므로, 전자 장치(100)는 횡단보도를 포함하는 제2 영역들을 합성 이미지(530)에 포함시키도록 결정할 수 있다. 또한, 제1 이미지(510)의 건물 위 전광판을 포함하는 제1 영역과 제2 이미지(520)의 건물 위 전광판을 포함하는 제2 영역에서는 모두 전광판을 식별할 수 있으나, 제1 영역이 보다 전광판을 선명하게 나타내므로, 전자 장치(100)는 건물 위 전광판을 포함하는 제1 영역을 합성 이미지(530)에 포함시키도록 결정할 수 있다. 따라서, 전자 장치(100)는 제1 이미지(510) 및 제2 이미지(520) 보다 다이나믹 레인지가 넓은 WDR(Wide Dynamic Range) 이미지 또는 제1 이미지(510) 및 제2 이미지(530) 보다 노이즈가 감소된 이미지를 합성 이미지(530)로 획득할 수 있다.
도 6을 참조하면, 전술한 바와 같이, 전자 장치(100)는 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보에 기초하여, 제1 이미지(610)의 일부 및 제2 이미지(620)를 이용하여 차량(1000)의 주변을 나타내는 합성 이미지(630)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 특정 피사체를 포함하는 제1 영역 및 특정 피사체를 포함하는 제2 영역 간의 시차에 기초하여, 제1 이미지(610) 및 제2 이미지(620) 중 적어도 하나에 포함된 피사체와 차량(1000) 간의 거리를 나타내는 뎁스 이미지를 합성 이미지(630)로 생성할 수 있다. 예를 들어, 전자 장치(100)는 제1 이미지(610) 및 제2 이미지(620) 모두에 포함된 특정 피사체는 제1 이미지 센서 및 제2 이미지 센서 간의 거리에 기초하여 거리를 산출할 수 있다. 또한, 제1 이미지(610) 및 제2 이미지(620) 중 하나에만 포함된 피사체는 차량(1000)과 가까운 피사체는, 산출한 특정 피사체와 차량(1000) 간의 거리에 기초하여 거리를 추정할 수 있다. 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보에 기초하여, 전자 장치(100)는 피사체들 간의 거리감이 나타나도록 합성 이미지(630)를 생성할 수 있다. 예를 들어, 전자 장치(100) 차량(1000)과의 거리가 가까운 피사체는 밝게, 차량(1000)과의 거리가 먼 피사체는 어둡게 표시되도록 뎁스 이미지를 생성할 수 있다.
도 7은 일부 실시예에 따른 전자 장치가 특정 피사체와 차량(1000) 간의 거리를 산출하는 방법의 흐름도이다.
동작 S700에서 전자 장치(100)는 복수의 제1 영역들 및 복수의 제2 영역들 중 적어도 하나에 광도 보정(photometric calibration)을 수행할 수 있다. 제1 이미지 센서와 제2 이미지 센서의 물리적 특성이 상이하기 때문에, 전자 장치(100)는 제1 이미지 센서로 촬영한 제1 이미지와 제2 이미지 센서로 촬영한 제2 이미지 간에 가시도(visibility)를 맞추기 위해, 제1 이미지 또는 제2 이미지에 광도 보정을 수행할 수 있다. 광도 보정을 수행함으로써 전자 장치(100)는 제1 이미지 및 제2 이미지 중 적어도 하나에 포함된 피사체들의 식별 가능성이 향상될 수 있다. 이에 따라, 전자 장치(100)는 보다 선명도가 높은 합성 이미지를 생성할 수 있다. 일 실시예에서, 제1 이미지에 광도 보정을 수행하는 경우, 전자 장치(100)가 제1 이미지 전체에 광도 보정을 수행할 지를 결정할 수 있으며, 제1 이미지 내의 복수의 제1 영역들 각각에 대하여 광도 보정을 수행할 지를 결정할 수도 있다.
광도 보정은 제1 이미지 및 제2 이미지의 특징 정보를 획득하고, 합성 이미지를 생성하기 위한 전처리로서 수행될 수 있다. 광도 보정은 전자 장치(100)에서 수행될 수도 있고, 전자 장치(100)와 통신 연결된 다른 전자 장치(미도시) 또는 서버(미도시)에서 수행될 수도 있다. 다른 전자 장치(미도시) 또는 서버(미도시)에서 광도 보정이 수행될 경우, 전자 장치(100)는 제1 이미지에 대한 제1 이미지 데이터 및 제2 이미지에 대한 제2 이미지 데이터를 다른 전자 장치(미도시) 또는 서버(미도시)에 전송하면서, 다른 전자 장치(미도시) 또는 서버(미도시)에게 제1 이미지 데이터 및/또는 제2 이미지 데이터의 광도 보정 수행 결과를 제공할 것을 요청할 수 있다.
광도 보정을 수행하는 구체적인 예시에 대해서는, 도 8을 참조하여 후술하기로 한다.
동작 S710에서 전자 장치(100)는 복수의 제1 영역들의 이미지 데이터 및 복수의 제1 영역들의 이미지 데이터를 비교할 수 있다. 전자 장치(100)는 복수의 제1 영역들 중 특정 제1 영역에 대응되는 특정 제2 영역을 결정하기 위해, 복수의 제1 영역들의 이미지 데이터 및 복수의 제1 영역들의 이미지 데이터를 비교할 수 있다. 또는, 전자 장치(100)는 광도 보정이 수행된 복수의 제1 영역들의 이미지 데이터와 복수의 제1 영역들의 이미지 데이터를 비교할 수 있다. 일 실시예에서, 전자 장치(100)는 복수의 제1 영역들의 이미지 데이터 및 복수의 제1 영역들의 이미지 데이터를 다양한 방식으로 가공한 소정의 신호들을 비교할 수 있다. 예를 들어, 전자 장치(100)는 복수의 제1 영역들의 감도 데이터를 복수의 제2 영역들의 감도 데이터와 비교할 수 있다.
동작 S720에서 전자 장치(100)는 비교 결과에 기초하여, 복수의 제1 영역들 중 특정 피사체를 포함하는 제1 영역 및 복수의 제2 영역들 중 특정 피사체를 포함하는 제2 영역을 선택할 수 있다. 전자 장치(100)는 복수의 제1 영역들의 이미지 데이터 및 복수의 제1 영역들의 이미지 데이터를 비교한 결과에 따라, 제1 이미지와 제2 이미지에서 동일한 피사체를 포함하는 영역을 선택할 수 있다. 예를 들어, 동일한 피사체를 포함하는 영역은 감도 데이터 또한 유사할 수 있다. 이 경우, 전자 장치(100)는 복수의 제1 영역들의 감도 데이터를 복수의 제2 영역들의 감도 데이터와 비교함으로써, 제1 영역의 감도 데이터의 파형과 유사한 파형을 나타내는 제2 영역을 선택할 수 있다.
동작 S730에서 전자 장치(100)는 선택된 제1 영역 및 선택된 제2 영역 간의 시차에 기초하여 특정 피사체와 차량(1000) 간의 거리를 산출할 수 있다. 전자 장치(100)의 제1 이미지 센서와 제2 이미지 센서가 서로 이격되어 배치되기 때문에, 전자 장치(100)는 제1 이미지 센서 및 제2 이미지 센서 간의 거리에 따라 서로 다른 시야를 촬영할 수 있다. 이에 따라, 전자 장치(100)는 서로 다른 제1 이미지와 제2 이미지를 생성할 수 있고, 제1 이미지의 일부와 제2 이미지의 일부를 합성함으로써 실제 차량 주변의 깊이감과 실제감을 재현하는 합성 이미지를 생성할 수 있다. 전자 장치(100)는 제1 이미지 센서와 제2 이미지 센서 간의 거리가 기 설정된 경우, 특정 피사체를 포함하는 제1 영역 및 제2 영역 간의 시차에 기초하여 특정 피사체와 차량(1000) 간의 거리를 산출할 수 있다.
특정 피사체와 차량(1000) 간의 거리를 산출하는 구체적인 예시에 대해서는, 도 10을 참조하여 후술하기로 한다.
도 8은 일부 실시예에 따른 전자 장치가 광도 보정(photometric calibration)을 수행하는 예시를 나타내는 도면이다.
도 8을 참조하면, 고감도 센서인 제1 이미지 센서로 촬영한 제1 이미지의 밝기를 나타내는 제1 이미지 데이터(810)는 다이나믹 레인지가 보다 넓을 수 있다. 일반감도 센서인 제2 이미지 센서로 촬영한 제2 이미지의 밝기를 나타내는 제2 이미지 데이터(820)는 제1 이미지 데이터(820)보다는 다이나믹 레인지가 좁을 수 있다. 제1 이미지 및 제2 이미지를 이용하여 하나의 합성 이미지를 출력하기 위해 제1 이미지와 제2 이미지 간에 가시도(visibility)를 맞추는 것이 요구될 수 있는데, 이 경우, 전자 장치(100)는 제1 이미지 또는 제2 이미지에 광도 보정을 수행할 수 있다. 예를 들어, 전자 장치(100)는 제1 이미지에 광도 보정을 수행하여, 광도 보정된 제3 이미지 데이터(830)를 획득할 수 있다.
제1 이미지의 광도가 보정된 제3 이미지 데이터(830)를 획득하기 위해, 전자 장치(100)는 미리 그레이스케일 패턴 차트(grayscale pattern chart) 또는 색상 차트(color chart)를 다양한 밝기의 조명 하에서 촬영해 놓을 수 있다. 이에 따라, 전자 장치(100)는 그레이스케일 패턴 차트 또는 색상 차트의 밝기 값에 대한 제1 이미지 데이터(810), 제2 이미지 데이터(820), 및 제3 이미지 데이터(830)의 픽셀 값을 나타내는 그래프(840)를 획득할 수 있다. 일 실시예에서, 전자 장치(100)는, 제1 이미지를 광도 보정한 제3 이미지 데이터(830)의 픽셀 값 및 제2 이미지에 대한 제2 이미지 데이터(820)의 픽셀 값 간의 관계가 다양한 형태의 함수로 모델링될 수 있도록, 제1 이미지에 광도 보정을 수행할 수 있다. 예를 들어, 제1 이미지의 픽셀 값과 제2 이미지의 픽셀 값 간의 관계는 일차식인 y=f(x)=ax+b로 모델링 될 수 있다. 또는, f(x)는 2차식, 3차식 등의 다항싱이 될 수 있으며, 로그 함수나 지수 함수와 같은 형태가 될 수도 있다. 예를 들어, y=ax+b의 상수 a 및 b는 제1 이미지의 픽셀 값과 제2 이미지의 픽셀 값 사이의 관계를 최소자승법 등으로 찾아내는 선형 회귀(linear regression) 기법 또는 커브 피팅(curve fitting) 기법 등을 통해 도출될 수 있다.
도 9는 일부 실시예에 따른 전자 장치가 제1 이미지에서 특정 피사체를 포함하는 제1 영역 및 제2 이미지에서 특정 피사체를 포함하는 제2 영역을 선택하는 예시를 나타내는 도면이다.
도 9를 참조하면, 제1 이미지 센서와 제2 이미지 센서의 감도가 상이하기 때문에, 제2 이미지(920) 내에서는 식별하기 어려운 피사체들이 제1 이미지(910)의 일부에서는 식별 가능할 수 있다. 또한, 제1 이미지(910) 내에서는 식별하기 어려운 피사체들이 제2 이미지(920)의 일부에서는 식별 가능할 수 있다. 또한, 제1 이미지(910) 및 제2 이미지(920) 모두에서 식별 가능한 특정 피사체도 존재할 수 있다. 전자 장치(100)는 특정 피사체와 차량(1000)간의 거리를 산출하기 위해, 1 이미지(910)에서 특정 피사체를 포함하는 제1 영역(930) 및 제2 이미지(920)에서 특정 피사체를 포함하는 제2 영역(940)을 선택할 수 있다.
전자 장치(100)는 복수의 제1 영역들의 이미지 데이터 및 복수의 제1 영역들의 이미지 데이터를 비교한 결과에 기초하여, 제1 이미지(910)와 제2 이미지(920)에서 동일한 피사체를 포함하는 영역을 선택할 수 있다. 예를 들어, 전자 장치(100)는 제1 이미지(910)에서 차선을 포함하는 제1 영역(930)을 선택하고, 제2 이미지(920)에서 동일한 차선을 포함하는 제2 영역(940)을 선택할 수 있다.
전자 장치(100)는 제1 영역(930)의 이미지 데이터와 제2 영역(940)의 이미지 데이터를 비교함으로써, 제1 영역(930)에 대응되는 영역이 제2 영역(940)임을 결정할 수 있다. 동일한 피사체를 포함하는 영역은 감도 데이터 또한 유사할 수 있기 때문에, 예를 들어, 전자 장치(100)는 제1 영역(930)의 감도 데이터를 제2 영역(940)의 감도 데이터와 비교함으로써, 제1 영역(930)의 감도 데이터의 파형과 유사한 파형을 나타내는 제2 영역(940)을 선택할 수 있다.
도 10은 일부 실시예에 따른 전자 장치가 특정 피사체와 차량 간의 거리를 산출하는 예시를 나타내는 도면이다.
도 10을 참조하면, 일부 실시예에 따른 전자 장치(100)는 특정 피사체(1010) 및 차량(1000) 간의 거리를 산출하기 위해 삼각측량법을 이용할 수 있다.
전자 장치(100)의 중심을 지나고 제1 이미지 센서(231)에 수직한 직선에서 특정 피사체(1010)까지의 거리를 X라 하고, 제1 이미지 센서(231) 및 제2 이미지 센서(232) 간의 거리를 b, 초점거리를 f, 조리개 레벨에서의 시차(aperture level disparity)를
Figure PCTKR2018016714-appb-img-000001
, 특정 피사체(1010) 및 차량(1000) 간의 거리를 Z라고 가정하자. 닮은꼴 삼각형의 대응변의 길이가 비례하는 성질에 의해 수학식 1 및 수학식 2가 도출될 수 있다.
Figure PCTKR2018016714-appb-img-000002
Figure PCTKR2018016714-appb-img-000003
및 Z를 양 변으로 하는 직각삼각형은,
Figure PCTKR2018016714-appb-img-000004
및 f를 양 변으로 하는 직각삼각형과 닮은꼴이기 때문에, 대응변의 길이가 비례하므로, 수학식 1이 도출될 수 있다.
Figure PCTKR2018016714-appb-img-000005
Figure PCTKR2018016714-appb-img-000006
및 Z를 양 변으로 하는 직각삼각형은,
Figure PCTKR2018016714-appb-img-000007
및 f를 양 변으로 하는 직각삼각형과 닮은꼴이기 때문에, 대응변의 길이가 비례하므로, 수학식 2가 도출될 수 있다.
Figure PCTKR2018016714-appb-img-000008
수학식 2에서 수학식 1을 빼면, 조리개 레벨에서의 시차
Figure PCTKR2018016714-appb-img-000009
는 수학식 3과 같이 도출될 수 있다.
Figure PCTKR2018016714-appb-img-000010
Figure PCTKR2018016714-appb-img-000011
가 단조 함수(monotonic function)일 경우, 센서 레벨에서의 시차(sensor level disparity)
Figure PCTKR2018016714-appb-img-000012
는 조리개 레벨에서의 시차
Figure PCTKR2018016714-appb-img-000013
에 비례할 수 있다. 특정 피사체(1010)가 제1 이미지 센서(231)로 촬영한 제1 이미지에서는 제1 영역에 포함되고, 제2 이미지 센서(232)로 촬영한 제2 이미지에서는 제2 영역에 포함되기 때문에, 제1 영역 및 제2 영역 간의 시차
Figure PCTKR2018016714-appb-img-000014
가 발생할 수 있다. 제1 이미지 센서(231) 및 제2 이미지 센서(232) 간의 거리 b 및 초점거리 f는 전자 장치(100)에 기 설정되어 있을 수 있다. 따라서, 전자 장치(100)는 소정의 거리 b만큼의 차이를 두고, 제1 이미지(231) 및 제2 이미지(232)에서 둘 이상의 이미지를 촬영하면, 특정 피사체(1010) 및 차량(1000) 간의 거리 Z를 산출할 수 있다.
수학식 4에 따라, 제1 영역 및 제2 영역 간의 시차
Figure PCTKR2018016714-appb-img-000015
는, 제1 이미지 센서(231) 및 제2 이미지 센서(232) 간의 거리 b와 초점 거리 f에 비례하고, 특정 피사체(1010) 및 차량(1000) 간의 거리 Z에 반비례한다. 예를 들어, 제1 이미지 센서(231) 및 제2 이미지 센서(232)로 특정 피사체(1010)를 촬영할 경우, 특정 피사체(1010)가 차량(1000)과 가까우면, 특정 피사체(1010)의 제1 이미지 상의 위치와 제2 이미지 상의 위치 간의 차이가 크게 나타날 수 있다. 또한, 제1 이미지 센서(231) 및 제2 이미지 센서(232)로 특정 피사체(1010)를 촬영할 경우, 특정 피사체(1010)가 차량(1000)과 멀리 떨어져 있으면, 특정 피사체(1010)의 제1 이미지 상의 위치와 제2 이미지 상의 위치 간의 차이가 작게 나타날 수 있다.
예를 들어, 제1 이미지 센서(231) 및 제2 이미지 센서(232)로 특정 피사체(1010)를 촬영할 경우, 제1 이미지 센서(231) 및 제2 이미지 센서(232)간의 거리 b가 크면, 특정 피사체(1010)의 제1 이미지 상의 위치와 제2 이미지 상의 위치 간의 차이가 크게 나타날 수 있다. 이 경우, 시차가 크기 때문에, 전자 장치(100)는 특정 피사체(1010) 및 차량(1000) 간의 거리를 보다 정확하게 산출할 수 있다. 또한, 초점 거리 f를 크게 하면, 시차가 크기 때문에, 전자 장치(100)는 특정 피사체(1010) 및 차량(1000) 간의 거리를 보다 정확하게 산출할 수 있다.
도 11은 일부 실시예에 따른 전자 장치가 특정 피사체를 포함하지 않는 주변 영역의 거리 정보를 획득하는 방법의 흐름도이다.
동작 S1100에서 전자 장치(100)는 특정 피사체와 차량(1000) 간의 거리에 기초하여, 특정 피사체를 포함하는 제1 영역과 인접한 주변 영역의 거리를 추정할 수 있다. 주변 영역은, 특정 피사체를 포함하는 제1 영역과 인접하되, 특정 피사체를 포함하지 않는 영역으로서, 특정 피사체가 아닌 피사체를 포함하거나, 피사체를 포함하지 않을 수 있다. 특정 피사체가 아닌 피사체는 제1 이미지 및 제2 이미지 중 어느 하나에만 포함된 피사체일 수 있다. 제1 이미지에 특정 피사체가 아닌 피사체가 포함된 경우, 제2 이미지 센서에 의해서도 특정 피사체가 아닌 피사체가 촬영되었으나, 제2 이미지에서 특정 피사체가 아닌 피사체가 포함된 부분의 해상도 또는 선명도가 낮아, 특정 피사체가 아닌 피사체를 식별 불가능할 수 있다. 또는, 제1 이미지에 특정 피사체가 아닌 피사체가 포함된 경우, 제1 이미지 센서와 제2 이미지 센서의 거리 차이 때문에, 제2 이미지 센서에 의해서는 특정 피사체가 아닌 피사체가 촬영되지 않았을 수 있다.
특정 피사체를 포함하지 않는 주변 영역의 거리를 추정하는 구체적인 예시에 대해서는, 도 12을 참조하여 후술하기로 한다.
동작 S1110에서 전자 장치(100)는 특정 피사체를 포함하는 제1 영역 및 특정 피사체를 포함하지 않는 주변 영역의 거리 정보를 획득할 수 있다. 전자 장치(100)는 제1 이미지 센서 및 제2 이미지 센서 간의 거리에 기초하여 특정 피사체와 차량(1000)간의 거리를 산출함으로써, 특정 피사체를 포함하는 제1 영역의 거리 정보를 획득할 수 있다. 또는, 전자 장치(100)는 거리 센서를 이용하여 특정 피사체를 포함하는 제1 영역의 거리 정보를 획득할 수 있다.
전자 장치(100)는 제1 영역의 거리 정보에 기초하여, 주변 영역의 거리 정보를 획득할 수 있다. 또는, 전자 장치(100)는 주변 영역이 특정 피사체가 아닌 피사체를 포함하는 경우, 거리 센서를 이용하여 특정 피사체가 아닌 피사체와 차량(1000)간의 거리를 산출함으로써, 주변 영역의 거리 정보를 획득할 수 있다.
동작 S1120에서 전자 장치(100)는 거리 정보에 기초하여, 차량의 주변을 나타내는 합성 이미지를 생성할 수 있다. 동작 S1120은 도 4의 동작 S450에 대응되므로, 자세한 설명은 생략하기로 한다.
동작 S1130에서 전자 장치(100)는 합성 이미지에 대한 정보를 이미지 정보를 이용하는 소프트웨어 프로그램에 제공할 수 있다. 전자 장치(100)는 차량(1000)의 주변을 나타내는 합성 이미지에 대한 정보를 이미지 정보를 이용하는 소프트웨어 프로그램에게 제공할 수 있다. 예를 들어, 전자 장치(100)는 합성 이미지에 대한 정보를 네비게이션 프로그램, 자율 주행 프로그램 및 도로 정보 수집 프로그램 중 적어도 하나에게 제공할 수 있다. 이미지 정보를 이용하는 소프트웨어 프로그램은 차량(1000) 내에서 실행되는 소프트웨어 프로그램일 수 있으나, 이에 제한되지 않는다. 이미지 정보를 이용하는 소프트웨어 프로그램은 전자 장치(100)와 통신 연결된 다른 전자 장치(미도시)에서 실행 중일 수도 있다.
도 12는 일부 실시예에 따른 전자 장치가 주변 영역의 거리를 추정하는 예시를 나타내는 도면이다.
도 12를 참조하면, 제1 이미지 센서와 제2 이미지 센서의 감도가 상이하기 때문에, 제1 이미지(1210) 내에서는 식별 가능한 피사체들이 제2 이미지(1220) 내에서는 식별하기 어려울 수 있다. 또한, 제2 이미지(1220) 내에서는 식별 가능한 피사체들이 제1 이미지(1210) 내에서는 식별하기 어려울 수 있다. 또한, 제1 이미지(1210) 및 제2 이미지(1220) 모두에서 식별 가능한 특정 피사체도 존재할 수 있으며, 제2 이미지(1220)에서는 식별 가능하지만 제1 이미지(1210)에서는 식별하기 어려운 특정 피사체가 아닌 피사체도 존재할 수 있다. 예를 들어, 제1 이미지(1210)에서 차선을 포함하는 제1 영역(1230)은 제2 이미지(1220)에서 동일한 차선을 포함하는 제2 영역(1240)에 대응될 수 있다. 제2 이미지(1220)에서 횡단보도를 포함하는 주변 영역(1260)은 제1 이미지(1210)에서 다른 제1 영역(1250)에 대응될 수 있다.
전자 장치(100)는 제2 영역(1240)의 거리 정보에 기초하여, 제2 영역(1240)에 인접한 주변 영역(1260)의 거리 정보를 획득할 수 있다. 전자 장치(100)는 제2 영역(1240)에 포함된 특정 피사체와 차량(1000) 간의 거리에 기초하여, 주변 영역(1260)의 거리 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 제2 영역(1240)에 포함된 차선과 차량(1000)과의 거리에 기초하여, 주변 영역(1260)에 포함된 횡단보도와 차량(1000) 간의 거리를 추정할 수 있다. 전자 장치(100)는 제2 영역(1240)과 주변 영역(1260) 간의 픽셀 개수 차이에 기초하여, 주변 영역(1260)의 거리 정보를 획득할 수 있다. 일 실시예에서, 제2 영역(1240)의 중심에서 주변 영역(1260)의 중심까지의 픽셀 개수의 차이에 기초하여, 주변 영역(1260)의 거리를 추정할 수 있다. 예를 들어, 제2 영역(1240)과 주변 영역(1260)이 각각 9개 픽셀로 구성되어 있으며 서로 인접하면, 제2 영역(1240)의 중심에서 주변 영역(1260)의 중심까지는 3개 픽셀만큼의 차이가 있을 수 있다. 이 경우, 전자 장치(100)는 제2 영역(1240)에 포함된 차선과 차량(1000) 간의 거리가 20m라고 산출하였다면, 주변 영역(1260)에 포함된 횡단보도와 차량(1000) 간의 거리는 14m라고 추정할 수 있다.
도 13은 일부 실시예에 따른 전자 장치(100)의 하드웨어 블록도의 예시이며, 도 14 및 도 15는 일부 실시예에 따른 전자 장치(100) 및 차량(1000)의 하드웨어의 블록도의 예시이다.
도 13에 도시된 바와 같이, 일부 실시예에 따른 전자 장치(100)는 센싱 장치(230) 및 프로세서(290)을 포함할 수 있다. 그러나, 도 13에 도시된 구성 요소 모두가 전자 장치(100)의 필수 구성 요소인 것은 아니다. 도 13에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있고, 도 13에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있다. 예를 들어, 도 14 및 도 15에 도시된 바와 같이, 일부 실시예에 따른 전자 장치(100)는 전원 공급 장치(299), 통신 장치(250), 입력 장치(260), 저장 장치(270), 주변 장치(240) 및 출력 장치(280) 중 적어도 하나를 더 포함할 수 있다. 또한, 차량(1000)은 도 24에서와 추진 장치(210) 및 주행 장치(220)를 포함할 수 있으나, 이에 제한되지 않으며, 차량(1000)은 전자 장치(100)의 구성들 중 일부를 포함할 수 있다. 또한, 전자 장치(100)는 도 23에 도시된 전자 장치(100)의 구성 요소들을 가지는 다른 장치일 수 있으며, 이 경우, 전자 장치(100)는 차량(1000) 내의 헤드 유닛과 통신 연결되어 차량(1000)의 주변을 나타내는 합성 이미지를 생성할 수도 있다.
이하에서는, 도 13 내지 도 15를 참조하여 차량(1000) 및 전자 장치(100)에 포함될 수 있는 구성 요소들의 기능을 보다 상세하게 설명하기로 한다.
추진 장치(210)는 엔진/모터(211), 에너지원(212), 변속기(213) 및 휠/타이어(214)를 포함할 수 있다.
엔진/모터(211)는 내연 기관, 전기 모터, 증기 기관, 및 스틸링 엔진(stirling engine) 간의 임의의 조합이 될 수 있다. 예를 들어, 차량(1000)이 가스-전기 하이브리드 자동차(gas-electric hybrid car)인 경우, 엔진/모터(211)는 가솔린 엔진 및 전기 모터가 될 수 있다.
에너지원(212)은 엔진/모터(211)에 전체적으로 또는 부분적으로 동력을 제공하는 에너지의 공급원일 수 있다. 즉, 엔진/모터(211)는 에너지원(212)을 기계 에너지로 변환하도록 구성될 수 있다. 에너지원(212)의 예로는 가솔린, 디젤, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양광 패널(solar panel), 배터리, 및 다른 전기 전력원들 중 적어도 하나가 될 수 있다. 또는, 에너지원(212)은 연료 탱크, 배터리, 커패시터, 및 플라이휠(flywheel) 중 적어도 하나가 될 수 있다. 에너지원(212)은 차량(1000)의 시스템 및 장치에 에너지를 제공할 수 있다.
변속기(213)는 기계적 동력을 엔진/모터(211)로부터 휠/타이어(214)에 전달하도록 구성될 수 있다. 예를 들어, 변속기(213)는 기어박스, 클러치, 차동 장치(differential), 및 구동축 중 적어도 하나를 포함할 수 있다. 변속기(213)가 구동축들을 포함하는 경우, 구동축들은 휠/타이어(214)에 결합되도록 구성되는 하나 이상의 차축들을 포함할 수 있다.
휠/타이어(214)은 외발 자전거, 자전거/오토바이, 삼륜차, 또는 자동차/트럭의 사륜 형식을 포함한 다양한 형식들로 구성될 수 있다. 예를 들어, 6개 이상의 휠을 포함하는 것과 같은 다른 휠/타이어 형식이 가능할 수 있다. 휠/타이어(214)은 변속기(213)에 고정되게 부착되어 있는 적어도 하나의 휠, 및 구동면(driving surface)과 접촉할 수 있는 휠의 림(rim)에 결합되어 있는 적어도 하나의 타이어를 포함할 수 있다.
주행 장치(220)는 브레이크 유닛(221), 조향 유닛(222) 및 스로틀(223)을 포함할 수 있다. 브레이크 유닛(221)은 차량(1000)을 감속시키도록 구성되는 매커니즘들의 조합이 될 수 있다. 예를 들어, 브레이크 유닛(221)은 휠/타이어(214)의 속도를 줄이기 위해 마찰을 사용할 수 있다. 조향 유닛(222)은 차량(1000)의 방향을 조절하도록 구성되는 매커니즘들의 조합이 될 수 있다. 스로틀(223)은 엔진/모터(211)의 동작 속도를 제어하여, 차량(1000)의 속도를 제어하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀(223)은 스로틀 개방량을 조절하여 엔진/모터(211)로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있으며, 스로틀 개방량을 조절하여 동력 및 추력을 제어할 수 있다.
센싱 장치(230)는 차량(1000)이 위치해 있는 환경에 관한 정보를 감지하도록 구성되는 복수의 센서들을 포함할 수 있고, 뿐만 아니라 센서들의 위치 및/또는 배향을 수정하도록 구성되는 하나 이상의 액추에이터들을 포함할 수 있다. 예를 들어, 센싱 장치(230)는 제1 이미지 센서(231) 및 제2 이미지 센서(232)를 포함할 수 있다. 또한, 센싱 장치(230)는 GPS(Global Positioning System)(224), IMU(Inertial Measurement Unit)(225), RADAR 유닛(226), LIDAR 유닛(227), 적외선 센서(233), 기압 센서(235), 근접 센서(236), 및 RGB 센서(237) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
또한, 센싱 장치(230)는 차량(1000)의 움직임을 센싱할 수 있는 움직임 센싱 장치(238)를 포함할 수 있다. 움직임 센싱 장치(238)는 지자기 센서(Magnetic sensor)(229), 가속도 센서(Acceleration sensor)(239), 및 자이로스코프 센서(234)를 포함할 수 있다.
GPS(224)는 차량(1000)의 지리적 위치를 추정하도록 구성되는 센서일 수 있다. 즉, GPS(224)는 지구에 대한 차량(1000)의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다.
IMU(225)는 관성 가속도에 기초하여 차량(1000)의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합이 될 수 있다. 예를 들어, 센서들의 조합은, 가속도계들 및 자이로스코프들을 포함할 수 있다.
RADAR 유닛(226)은 무선 신호를 사용하여 차량(1000) 주변의 물체들을 감지하도록 구성되는 센서일 수 있다. 또한, RADAR 유닛(226)은, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.
LIDAR 유닛(227)은 레이저를 사용하여 차량(1000) 주변의 물체들을 감지하도록 구성되는 센서일 수 있다. 보다 구체적으로, LIDAR 유닛(227)은 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 잇다. LIDAR 유닛(227)은 코히런트(coherent)(예컨대, 헤티로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다. 또한, 전자 장치(100)는 차량(100) 주변의 물체들을 감지하기 위한 초음파 센서(미도시)를 더 포함할 수 있다.
제1 이미지 센서(231) 및 제2 이미지 센서(232)는 차량(1000)의 내부 또는 외부를 촬영하기 위한 스틸 카메라 또는 비디오 카메라일 수 있다. 제1 이미지 센서(231) 및 제2 이미지 센서(232)는 감도와 같은 물리적 특성이 상이할 수 있다. 제1 이미지 센서(231) 및 제2 이미지 센서(232)는 전자 장치(100) 내에서 서로 이격되어 배치되며, 실질적으로 동일한 방향을 촬영하도록 제어될 수 있다. 또한, 전자 장치(100)는 제1 이미지 센서(231) 및 제2 이미지 센서(232)뿐만 아니라, 제3 이미지 센서(미도시), 제4 이미지 센서(미도시), 및 제5 이미지 센서(미도시) 중 적어도 하나를 더 포함할 수 있으며, 이 경우, 복수의 이미지 센서들은 차량(1000)의 내부 및 외부의 여러 위치에 배치될 수 있다.
주변 장치(240)는 네비게이션(241), 라이트(242), 방향 지시등(243), 와이퍼(244), 내부 조명(245), 히터(246), 및 에어컨(247)을 포함할 수 있다.
네비게이션(241)은 차량(1000)에 대한 운행 경로를 결정하도록 구성되는 시스템일 수 있다. 네비게이션(241)은 차량(1000)이 주행하고 있는 동안 동적으로 운행 경로를 갱신하도록 구성될 수 있다. 예를 들어, 네비게이션(241)은 차량(1000)에 대한 운행 경로를 결정하기 위해, GPS(224) 및 지도들로부터의 데이터를 이용할 수 있다.
저장 장치(270)는 마그네틱 디스크 드라이브, 광학 디스크 드라이브, 플래쉬 메모리를 포함할 수 있다. 또는 저장 장치(270)는 휴대 가능한 USB 데이터 저장 장치가 될 수 있다. 저장 장치(270)는 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어를 저장할 수 있다. 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어는 휴대 가능한 저장 매체에 저장될 수 있다.
통신 장치(250)는 다른 디바이스와 무선으로 통신하기 위한 적어도 하나의 안테나를 포함할 수 있다. 예를 들어, 통신 장치(250)는 와이파이 또는 블루투스를 통해 무선으로 셀룰러 네트워크 또는 다른 무선 프로토콜 및 시스템과 통신하기 위해 이용될 수 있다. 프로세서(290)에 의해 제어되는 통신 장치(250)는 무선 신호를 송수신할 수 있다. 예를 들어, 프로세서(290)는, 통신 장치(250)가 셀룰러 네트워크와 무선 신호를 송수신하기 위해, 저장 장치(270)에 포함된 프로그램을 실행시킬 수 있다.
입력 장치(260)는 차량(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력 장치(260)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 또한, 입력 장치(260)는 마이크를 포함할 수 있는 바, 마이크는 차량(1000)의 탑승자로부터 오디오(예를 들어, 음성 명령)를 수신하도록 구성될 수 있다.
출력 장치(280)는 오디오 신호 또는 비디오 신호를 출력할 수 있으며, 출력 장치(280)는 디스플레이부(281), 및 음향 출력부(282)를 포함할 수 있다.
디스플레이부(281)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 출력 장치(280)의 구현 형태에 따라 출력 장치(280)는 디스플레이부(281)를 2개 이상 포함할 수도 있다.
음향 출력부(282)는 통신 장치(250)로부터 수신되거나 저장 장치(270)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(282)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
입력 장치(260) 및 출력 장치(280)는 네트워크 인터페이스를 포함할 수 있고, 터치 스크린으로 구현될 수 있다.
프로세서(290)는, 통상적으로 차량(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(290)는, 저장 장치(270)에 저장된 프로그램들을 실행함으로써, 추진 장치(210), 주행 장치(220), 센싱 장치(230), 주변 장치(240), 통신 장치(250), 입력 장치(260), 저장 장치(270), 출력 장치(280), 및 전원 공급 장치(299) 중 적어도 하나를 전반적으로 제어할 수 있다.
프로세서(290)는, 저장 장치(270)에 저장된 프로그램들을 실행함으로써, 제1 이미지 및 제2 이미지 각각의 특징 정보를 획득하고, 획득된 특징 정보에 기초하여, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 차량(1000)의 주변을 나타내는 합성 이미지를 생성할 수 있다.
프로세서(290)는, 제1 이미지 센서(231)을 제어함으로써 차량(1000)의 주변을 촬영하여 제1 이미지를 생성할 수 있다. 프로세서(290)는, 제2 이미지 센서(232)을 제어함으로써 차량(1000)의 주변을 촬영하여 제2 이미지를 생성할 수 있다. 프로세서(290)는, 제1 이미지 센서(231) 및 제2 이미지 센서(232)가 실질적으로 동일한 방향을 촬영하도록 제어할 수 있다.
프로세서(290)는, 제1 이미지를 복수의 제1 영역들로 구분하고, 제2 이미지를 복수의 제2 영역들로 구분할 수 있다. 프로세서(290)는, 제1 이미지를 복수의 블록들로 분할함으로써 복수의 제1 영역들로 구분할 수 있다. 또한, 프로세서(290)는, 제1 이미지를 복수의 블록들로 분할함으로써 제2 이미지를 복수의 제2 영역들로 구분할 수 있다. 프로세서(290)는 제1 이미지 내의 피사체 및 제2 이미지 내의 피사체를 식별하기 위하여, 복수의 제1 영역들 및 복수의 제2 영역들 중 적어도 하나에 광도 보정(photometric calibration)을 수행할 수 있다.
프로세서(290)는, 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보를 획득할 수 있다. 프로세서(290)는, 제1 이미지 센서(231) 및 제2 이미지 센서(232) 간의 거리, 복수의 제1 영역들의 이미지 데이터, 및 복수의 제2 영역들의 이미지 데이터에 기초하여, 거리 정보를 획득할 수 있다. 프로세서(290)는, 복수의 제1 영역들의 이미지 데이터 및 복수의 제2 영역들의 이미지 데이터를 비교할 수 있으며, 비교 결과에 기초하여, 복수의 제1 영역들 중 특정 피사체를 포함하는 제1 영역 및 복수의 제2 영역들 중 특정 피사체를 포함하는 제2 영역을 선택할 수 있다. 프로세서(290)는, 특정 피사체를 포함하는 제1 영역 및 특정 피사체를 포함하는 제2 영역 간의 시차에 기초하여 특정 피사체와 차량(1000) 간의 거리를 산출할 수 있다. 프로세서(290)는, 산출된 특정 피사체와 차량(1000) 간의 거리에 기초하여, 특정 피사체를 포함하는 제1 영역과 인접한 주변 영역의 거리를 추정할 수 있다.
한편, 프로세서(290)는, 복수의 제1 영역들 및 복수의 제2 영역들 각각의 거리 정보에 기초하여, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여 차량(1000)의 주변을 나타내는 합성 이미지를 생성할 수 있다. 프로세서(290)는, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여, 제1 이미지 및 제2 이미지 보다 다이나믹 레인지가 넓은 WDR 이미지 또는 HDR 이미지를 생성할 수 있다. 프로세서(290)는, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여, 제1 이미지 및 제2 이미지 보다 노이즈가 감소된 이미지를 생성할 수 있다. 프로세서(290)는, 제1 이미지의 일부 및 제2 이미지의 일부를 이용하여, 제1 이미지 및 제2 이미지 중 적어도 하나에 포함된 피사체와 차량(1000) 간의 거리를 나타내는 뎁스 이미지를 생성할 수 있다.
프로세서(290)는, 차량(1000)의 주변을 나타내는 합성 이미지에 대한 정보를 이미지 정보를 이용하는 소프트웨어 프로그램에게 제공할 수 있다. 예를 들어, 프로세서(290)는, 차량(1000)의 합성 이미지에 대한 정보를 네비게이션 프로그램, 자율 주행 프로그램 및 도로 정보 수집 프로그램 중 적어도 하나에게 제공할 수 있다.
전원 공급 장치(299)는 차량(1000)의 구성요소들 중 일부 또는 전부에 전력을 제공하도록 구성될 수 있다. 예를 들어, 전원 공급 장치(299)는 재충전가능 리튬 이온 또는 납산(lead-acid) 배터리를 포함할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
또한, 본 명세서에서, ?부?는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 차량 주변의 이미지를 제공하는 차량 내의 전자 장치에 있어서,
    상기 차량의 주변을 촬영함으로써 제1 이미지를 생성하는 제1 이미지 센서;
    상기 차량의 주변을 촬영함으로써 제2 이미지를 생성하는 제2 이미지 센서; 및
    상기 제1 이미지 및 상기 제2 이미지 각각의 특징 정보를 획득하고,
    상기 획득된 특징 정보에 기초하여, 상기 제1 이미지의 일부 및 상기 제2 이미지의 일부를 이용하여 상기 차량의 주변을 나타내는 합성 이미지를 생성하는, 프로세서;
    를 포함하는, 전자 장치.
  2. 제 2항에 있어서,
    상기 프로세서는,
    상기 제1 이미지를 복수의 제1 영역들로 구분하고,
    상기 제2 이미지를 복수의 제2 영역들로 구분하고,
    상기 복수의 제1 영역들 및 상기 복수의 제2 영역들 각각의 거리 정보를 획득하며,
    상기 획득된 거리 정보에 기초하여, 상기 제1 이미지의 일부 및 상기 제2 이미지의 일부를 이용하여 상기 차량의 주변을 나타내는 합성 이미지를 생성하는, 프로세서;
    를 포함하는, 전자 장치.
  3. 제 2항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 간의 거리, 상기 복수의 제1 영역들의 이미지 데이터, 및 상기 복수의 제2 영역들의 이미지 데이터에 기초하여, 상기 거리 정보를 획득하는 것인, 전자 장치.
  4. 제 3항에 있어서,
    상기 프로세서는,
    상기 복수의 제1 영역들의 이미지 데이터 및 상기 복수의 제2 영역들의 이미지 데이터를 비교하고,
    상기 비교 결과에 기초하여, 상기 복수의 제1 영역들 중 특정 피사체를 포함하는 제1 영역 및 상기 복수의 제2 영역들 중 상기 특정 피사체를 포함하는 제2 영역을 선택하고,
    상기 선택된 제1 영역 및 상기 선택된 제2 영역 간의 시차에 기초하여 상기 특정 피사체와 상기 차량 간의 거리를 산출하는 것인, 전자 장치.
  5. 제 4항에 있어서,
    상기 프로세서는,
    상기 산출된 거리에 기초하여, 상기 특정 피사체를 포함하는 제1 영역과 인접한 주변 영역의 거리를 추정하고,
    상기 주변 영역은 상기 특정 피사체를 포함하지 않는 것인, 전자 장치.
  6. 제 2항에 있어서,
    상기 프로세서는, 상기 제1 이미지를 복수의 블록(block)들로 분할함으로써 상기 제1 이미지를 복수의 제1 영역들로 구분하는 것인, 전자 장치.
  7. 제 1항에 있어서,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서는 물리적 특성이 상이한 것인, 전자 장치.
  8. 제 1항에 있어서,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서는 실질적으로 동일한 방향을 촬영하며, 전자 장치 내에서 서로 이격되어 배치되는 것인, 전자 장치.
  9. 제 1항에 있어서,
    상기 합성 이미지는, 상기 제1 이미지 및 상기 제2 이미지 보다 다이나믹 레인지가 넓은 WDR(Wide Dynamic Range) 이미지, 상기 제1 이미지 및 상기 제2 이미지 보다 노이즈가 감소된 이미지, 및 상기 제1 이미지 및 상기 제2 이미지 중 적어도 하나에 포함된 피사체와 상기 차량 간의 거리를 나타내는 뎁스 이미지 중 적어도 하나인, 전자 장치.
  10. 제 2항에 있어서,
    상기 프로세서는, 제1 이미지 내의 피사체 및 상기 제2 이미지 내의 피사체를 식별하기 위하여, 상기 복수의 제1 영역들 및 상기 복수의 제2 영역들 중 적어도 하나에 광도 보정(photometric calibration)을 수행하는 것인, 전자 장치.
  11. 전자 장치가 차량 주변의 이미지를 제공하는 방법에 있어서,
    상기 전자 장치의 제1 이미지 센서가 상기 차량의 주변을 촬영함으로써 제1 이미지를 생성하는 단계;
    상기 전자 장치의 제2 이미지 센서가 상기 차량의 주변을 촬영함으로써 제2 이미지를 생성하는 단계;
    상기 제1 이미지 및 상기 제2 이미지 각각의 특징 정보를 획득하는 단계; 및
    상기 획득된 특징 정보에 기초하여, 상기 제1 이미지의 일부 및 상기 제2 이미지의 일부를 이용하여 상기 차량의 주변을 나타내는 합성 이미지를 생성하는 단계;
    를 포함하는, 방법.
  12. 제 11항에 있어서,
    상기 특징 정보를 획득하는 단계는,
    상기 제1 이미지를 복수의 제1 영역들로 구분하는 단계;
    상기 제2 이미지를 복수의 제2 영역들로 구분하는 단계; 및
    상기 복수의 제1 영역들 및 상기 복수의 제2 영역들 각각의 거리 정보를 획득하는 단계;
    를 포함하고,
    상기 합성 이미지를 생성하는 단계는,
    상기 획득된 거리 정보에 기초하여, 상기 제1 이미지의 일부 및 상기 제2 이미지의 일부를 이용하여 상기 차량의 주변을 나타내는 합성 이미지를 생성하는 단계;
    를 포함하는, 방법.
  13. 제 12항에 있어서,
    상기 거리 정보를 획득하는 단계는,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 간의 거리, 상기 복수의 제1 영역들의 이미지 데이터, 및 상기 복수의 제2 영역들의 이미지 데이터에 기초하여, 상기 거리 정보를 획득하는 단계를 포함하는, 방법.
  14. 제 13항에 있어서,
    상기 거리 정보를 획득하는 단계는,
    상기 복수의 제1 영역들의 이미지 데이터 및 상기 복수의 제2 영역들의 이미지 데이터를 비교하는 단계;
    상기 비교 결과에 기초하여, 상기 복수의 제1 영역들 중 특정 피사체를 포함하는 제1 영역 및 상기 복수의 제2 영역들 중 상기 특정 피사체를 포함하는 제2 영역을 선택하는 단계; 및
    상기 선택된 제1 영역 및 상기 선택된 제2 영역 간의 시차에 기초하여 상기 특정 피사체와 상기 차량 간의 거리를 산출하는 단계;
    를 포함하는, 방법.
  15. 제11 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2018/016714 2018-01-08 2018-12-27 차량 주변의 이미지를 제공하는 전자 장치 및 방법 WO2019135544A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/960,744 US11245858B2 (en) 2018-01-08 2018-12-27 Electronic device and method for providing image of surroundings of vehicle
EP18897985.0A EP3719742A4 (en) 2018-01-08 2018-12-27 ELECTRONIC DEVICE AND METHOD FOR PROVIDING AN IMAGE OF THE ENVIRONMENT OF A VEHICLE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180002253A KR102479492B1 (ko) 2018-01-08 2018-01-08 차량 주변의 이미지를 제공하는 전자 장치 및 방법
KR10-2018-0002253 2018-01-08

Publications (1)

Publication Number Publication Date
WO2019135544A1 true WO2019135544A1 (ko) 2019-07-11

Family

ID=67143747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016714 WO2019135544A1 (ko) 2018-01-08 2018-12-27 차량 주변의 이미지를 제공하는 전자 장치 및 방법

Country Status (4)

Country Link
US (1) US11245858B2 (ko)
EP (1) EP3719742A4 (ko)
KR (1) KR102479492B1 (ko)
WO (1) WO2019135544A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107553497B (zh) * 2017-10-20 2023-12-22 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人的边缘定位装置及其定位方法
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200053125A (ko) 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7059239B2 (ja) * 2019-11-15 2022-04-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
US11776088B2 (en) * 2020-03-11 2023-10-03 Samsung Electronics Co., Ltd. Electronic device generating image data and converting the generated image data and operating method of the electronic device
KR102560104B1 (ko) * 2021-08-19 2023-07-31 한국생산기술연구원 무인 자율주행 차량의 안전성 확보를 위한 관제차량
US11928830B2 (en) * 2021-12-22 2024-03-12 Honeywell International Inc. Systems and methods for generating three-dimensional reconstructions of environments
KR102536364B1 (ko) * 2022-08-01 2023-05-30 주식회사 플로틱 로케이션 코드 맵핑 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334859A (ja) * 2006-05-17 2007-12-27 Denso It Laboratory Inc 物体検出装置
KR20090101480A (ko) * 2007-02-23 2009-09-28 도요타지도샤가부시키가이샤 차량용 주변 감시 장치 및 차량용 주변 감시 방법
JP2010095086A (ja) * 2008-10-15 2010-04-30 Nissan Motor Co Ltd 車両用表示装置および表示方法
JP2013211035A (ja) * 2013-05-20 2013-10-10 Denso Corp 車両周辺表示装置
KR20170119508A (ko) * 2016-04-19 2017-10-27 한국과학기술연구원 차량 주변 감지 시스템 및 이를 이용한 차량 주변 감지 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030190090A1 (en) * 2002-04-09 2003-10-09 Beeman Edward S. System and method for digital-image enhancement
US8885067B2 (en) 2009-12-24 2014-11-11 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
JP5367640B2 (ja) 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
US9554057B2 (en) * 2013-07-16 2017-01-24 Texas Instruments Incorporated Wide dynamic range depth imaging
KR20150077646A (ko) 2013-12-30 2015-07-08 삼성전자주식회사 이미지 처리 장치 및 방법
JP2015207862A (ja) 2014-04-18 2015-11-19 コニカミノルタ株式会社 撮像装置および撮像方法
JP6105524B2 (ja) * 2014-07-11 2017-03-29 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
FR3030976B1 (fr) * 2014-12-22 2018-02-02 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US9531952B2 (en) * 2015-03-27 2016-12-27 Google Inc. Expanding the field of view of photograph
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
KR102655625B1 (ko) 2015-11-24 2024-04-09 삼성전자주식회사 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
JP2017224970A (ja) * 2016-06-15 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、および撮像装置
KR101768589B1 (ko) * 2016-06-17 2017-08-17 엘지전자 주식회사 차량에 구비된 제어장치 및 이의 제어방법
KR102520225B1 (ko) * 2016-06-30 2023-04-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
CN107968806A (zh) * 2016-10-20 2018-04-27 福特环球技术公司 车辆通信和图像投影系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334859A (ja) * 2006-05-17 2007-12-27 Denso It Laboratory Inc 物体検出装置
KR20090101480A (ko) * 2007-02-23 2009-09-28 도요타지도샤가부시키가이샤 차량용 주변 감시 장치 및 차량용 주변 감시 방법
JP2010095086A (ja) * 2008-10-15 2010-04-30 Nissan Motor Co Ltd 車両用表示装置および表示方法
JP2013211035A (ja) * 2013-05-20 2013-10-10 Denso Corp 車両周辺表示装置
KR20170119508A (ko) * 2016-04-19 2017-10-27 한국과학기술연구원 차량 주변 감지 시스템 및 이를 이용한 차량 주변 감지 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3719742A4 *

Also Published As

Publication number Publication date
US20200358966A1 (en) 2020-11-12
EP3719742A4 (en) 2021-01-20
US11245858B2 (en) 2022-02-08
KR102479492B1 (ko) 2022-12-20
EP3719742A1 (en) 2020-10-07
KR20190084463A (ko) 2019-07-17

Similar Documents

Publication Publication Date Title
WO2019135544A1 (ko) 차량 주변의 이미지를 제공하는 전자 장치 및 방법
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
CN106799993B (zh) 街景采集方法和系统、车辆
US10904503B2 (en) Image processing device, information generation device, and information generation method
JP6878219B2 (ja) 画像処理装置および測距装置
JP5472142B2 (ja) 地図データ生成装置および走行支援装置
CN112074875B (zh) 构造3d特征图的组优化深度信息方法和系统
WO2020116046A1 (ja) センサ装置、電子機器、センサシステム及び制御方法
US10453219B2 (en) Image processing apparatus and image processing method
WO2019135537A1 (ko) 차량의 지도 상의 위치를 보정하는 전자 장치 및 방법
JP6977722B2 (ja) 撮像装置、および画像処理システム
KR20190034200A (ko) 화상 처리 장치 및 화상 처리 방법
US11380111B2 (en) Image colorization for vehicular camera images
CN111192341A (zh) 生成高精地图的方法、装置、自动驾驶设备及存储介质
CN109883433B (zh) 基于360度全景视图的结构化环境中车辆定位方法
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2018131514A1 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2016203989A1 (ja) 画像処理装置および画像処理方法
CN112528719A (zh) 推定装置、推定方法以及存储介质
JP6977725B2 (ja) 画像処理装置および画像処理方法
CN115170630A (zh) 地图生成方法、装置、电子设备、车辆和存储介质
JP2001005994A (ja) 画像処理装置および画像処理方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18897985

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018897985

Country of ref document: EP

Effective date: 20200702