WO2020071853A1 - 주행 보조 장치 및 이미지 처리 방법 - Google Patents

주행 보조 장치 및 이미지 처리 방법

Info

Publication number
WO2020071853A1
WO2020071853A1 PCT/KR2019/013037 KR2019013037W WO2020071853A1 WO 2020071853 A1 WO2020071853 A1 WO 2020071853A1 KR 2019013037 W KR2019013037 W KR 2019013037W WO 2020071853 A1 WO2020071853 A1 WO 2020071853A1
Authority
WO
WIPO (PCT)
Prior art keywords
blocks
candidate region
color
traffic sign
pixel
Prior art date
Application number
PCT/KR2019/013037
Other languages
English (en)
French (fr)
Inventor
김신욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/265,647 priority Critical patent/US11780444B2/en
Publication of WO2020071853A1 publication Critical patent/WO2020071853A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the present disclosure relates to a driving assistance device and an image processing method, and more particularly, to a driving assistance device and image processing method for identifying a traffic sign.
  • Traffic signs provide road users with various information necessary to promote traffic safety and smooth communication in a consistent and unified way, and to protect road facilities. Since these traffic signs can exist anywhere on the road, the entire image area captured in real time must be searched for effective recognition.
  • the present disclosure is in accordance with the above-mentioned needs, and the purpose of the present disclosure is to assist a driving person to identify a candidate area of a traffic sign based on color information and shape information of a photographed image, thereby improving identification performance of a traffic sign and reducing a computational amount.
  • An apparatus and an image processing method are provided.
  • the purpose is to enable the traffic sign to be detected strongly even if the sign is damaged or contaminated.
  • the driving assistance device mountable on the vehicle for achieving the above object identifies a specific color region as a first candidate region in an image photographing unit and surrounding images photographed through the image photographing unit And a processor that identifies an area including a specific shape in the first candidate area as a second candidate area, and identifies an area of a traffic sign in the second candidate area.
  • the processor identifies the second candidate region as a plurality of first blocks based on a first direction, obtains first pixel information based on pixel values included in each of the plurality of first blocks, and obtains the second 2 candidate regions are identified as a plurality of second blocks based on a second direction, second pixel information is obtained based on pixel values included in each of the plurality of second blocks, and the first pixel information and the second The area of the traffic sign can be identified based on the 2 pixel information.
  • the first pixel information includes a difference value between an average value of pixels included in each of the plurality of first blocks and an average value of pixels included in adjacent first blocks
  • the second pixel information includes: A difference value between an average value of pixels included in each of the second blocks and an average value of pixels included in the adjacent second blocks may be included.
  • the processor may identify the area of the traffic sign by applying the first pixel information and the second pixel information to a training model.
  • the training model may be obtained by identifying a plurality of sample traffic sign images as a plurality of blocks and learning pixel information based on pixel values included in each of the plurality of blocks.
  • the processor identifies R (Red) color, G (Green) color, and B (Blue) color values included in the surrounding image, and a pixel value of the R color is a pixel value of the G color and the B color.
  • An area equal to or greater than a preset multiple may be identified as the first candidate area.
  • the driving assistance device may further include at least one of an illuminance sensor and a rainfall sensor.
  • the preset multiple may be updated based on at least one of the illuminance measured through the illuminance sensor and the precipitation measured through the rainfall sensor.
  • the processor acquires a binary image including only the first candidate region among the surrounding images, and identifies the second candidate region based on the obtained binary image. You can.
  • a storage unit for storing reference type information of the traffic sign may be further included.
  • the first candidate area may be identified as the second candidate area.
  • the driving assistance device may further include a display.
  • the processor controls the display to identify and provide at least one of the type and instruction content of the traffic sign in the identified traffic sign area, and controls the vehicle based on at least one of the type and instruction content of the traffic sign. can do.
  • an image processing method includes: acquiring a surrounding image of a vehicle through an image capturing unit, identifying a first candidate region based on color information included in the surrounding image, and Identifying a second candidate area based on shape information included in one candidate area, identifying the second candidate area as a plurality of blocks, and an area of a traffic sign based on pixel values included in each of the plurality of blocks It may include the step of identifying.
  • the step of identifying the area of the traffic sign may identify the second candidate area as a plurality of first blocks based on a first direction, and based on pixel values included in each of the plurality of first blocks. Acquiring information, identifying the second candidate region as a plurality of second blocks based on a second direction, obtaining second pixel information based on pixel values included in each of the plurality of second blocks, and An area of the traffic sign may be identified based on the first pixel information and the second pixel information.
  • the first pixel information may include a difference value between an average value of pixels included in each of the plurality of first blocks and an average value of pixels included in adjacent first blocks.
  • the second pixel information may include a difference value between an average value of pixels included in each of the plurality of second blocks and an average value of pixels included in adjacent second blocks.
  • the traffic sign region may be identified by applying the first pixel information and the second pixel information to a training model.
  • the training model may be obtained by identifying a plurality of sample traffic sign images as a plurality of blocks and learning pixel information based on pixel values included in each of the plurality of blocks.
  • the step of identifying the first candidate region may identify R (Red) color, G (Green) color, and B (Blue) color values included in the surrounding image, and a pixel value of the R color may include the G color and An area equal to or greater than a preset multiple of the pixel value of the B color may be identified as the first candidate area.
  • the preset multiple may be updated based on at least one of roughness and precipitation.
  • the step of identifying the second candidate region when the first candidate region is identified, a binary image including only the first candidate region among the surrounding images is obtained, and based on the obtained binary image The second candidate region can be identified.
  • the step of identifying the second candidate area may identify the first candidate area as the second candidate area when reference type information of a previously stored traffic sign is identified in the first candidate area.
  • the image processing method includes: identifying and providing at least one of a type and instruction content of a traffic sign in the identified traffic sign area, and controlling the vehicle based on at least one of the type and instruction content of the traffic sign. It may further include.
  • the driving assist device is based on color information and shape information of a captured image, it is possible to increase the accuracy of identifying a candidate area of a traffic sign.
  • FIG. 1 is a view for explaining a surrounding image including a traffic sign to help understand the present disclosure.
  • FIG. 2 is a block diagram showing the configuration of a driving assist device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing an example of a detailed configuration of the driving assistance device of FIG. 2.
  • FIG. 4 is a diagram illustrating a process of identifying a first candidate region according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a process of identifying a second candidate region according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a process of acquiring pixel information by identifying a second candidate region as a plurality of blocks according to an embodiment of the present disclosure.
  • FIG. 7 is a view for explaining an operation of providing information to the user of the identified traffic sign area according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a control method of a driving assist device according to an embodiment of the present disclosure.
  • first and second may be used to describe various components, but the components should not be limited by terms. The terms are used only to distinguish one component from other components.
  • module or “unit” performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “parts” are integrated into at least one module except for “modules” or “parts” that need to be implemented with specific hardware to be implemented with at least one processor (not shown). Can be.
  • FIG. 1 is a view for explaining a surrounding image including a traffic sign to help understand the present disclosure.
  • the driving assistance device can monitor the surrounding environment using the provided sensor.
  • the driving assistance device may acquire a surrounding image 10 by photographing a surrounding environment, a road condition, and the like using the image capturing unit.
  • the image photographing unit is a configuration for photographing the surrounding environment of the vehicle, an event occurring on the driving path of the vehicle, etc. and may be referred to as a sensor, a camera, and an image sensor.
  • the driving assistance device acquires the surrounding image 10 through the image capturing unit and identifies the area of the traffic sign 20 included in the surrounding image 10 to provide the identified information to the user
  • various embodiments of the present disclosure will be described in detail with reference to the drawings.
  • the driving assistance device 100 of FIG. 2 may be mounted on a vehicle and used.
  • the driving assistance device 100 may be implemented as a vehicle electric field system, or may be implemented as a camera module installed inside the vehicle. Alternatively, it may be implemented as a room mirror-integrated module, or may be implemented in the form of a mobile device detachable from a vehicle or a portable device such as a PDA. Alternatively, the vehicle itself may be implemented.
  • the driving assistance device 100 includes an image photographing unit 110 and a processor 120.
  • the image photographing unit 110 may photograph the surrounding image 10 of the vehicle. For example, a traffic sign, another vehicle, etc. located around the vehicle may be photographed through the image photographing unit 110.
  • the image photographing unit 110 may be implemented with a single camera or a plurality of cameras.
  • the processor 120 controls the overall operation of the driving assistance device 100.
  • the processor 120 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals, but is not limited thereto. , Central processing unit (CPU), microcontroller unit (MCU), micro processing unit (MPU), controller, or communication processor (CP), one or more of the ARM processors
  • the processor 120 may be implemented as a system on chip (SoC), a large scale integration (LSI) with an embedded processing algorithm, or a field programmable gate array (FPGA). It may be implemented in the form.
  • SoC system on chip
  • LSI large scale integration
  • FPGA field programmable gate array
  • the processor 120 may acquire the surrounding image 10 photographed through the image photographing unit 110.
  • the peripheral image 10 may be a peripheral image of a vehicle on which the driving assistance device 100 is mounted.
  • the processor 120 may acquire a surrounding image 10 including a traffic sign in real time through the image photographing unit 110.
  • the traffic signs are signs that are displayed in a consistent and unified manner for traffic safety, and there are types such as caution signs, regulatory signs, indicator signs, auxiliary signs, and road signs. It can be.
  • the processor 120 may identify a specific color region as the first candidate region in the surrounding image 10.
  • the processor 120 may identify the first candidate region based on color information included in the surrounding image 10.
  • the candidate area means an area that can be a candidate for a traffic sign.
  • the processor 120 may identify the R (Red) color, G (Green) color, and B (Blue) color values included in the surrounding image 10. That is, the processor 120 may identify R, G, and B color values included in the surrounding image 10 as color information.
  • the color value means a pixel value
  • each pixel value of R, G, and B may be represented by one of 0 to 255 according to brightness. For example, if the pixel value of R color is 255, and the pixel value of G color and B color is 0, the pixel is represented in red, and if the pixel value of R color, G color and B color is 0, the pixel is black.
  • the processor 120 may identify a region in which a pixel value of R color is greater than or equal to a preset multiple of pixel values of G color and B color as a first candidate region. When the pixel value of the R color is larger than the rest, the corresponding pixel may represent the R color system.
  • the processor 120 may identify an area in which the R color pixel value is higher than the rest of the colors in the surrounding image 10 as a candidate area of the traffic sign.
  • the processor 120 may obtain a binary image including only the first candidate region among the surrounding images 10.
  • the binary image may be an image in which the surrounding image 10 is expressed in only two colors.
  • the process of acquiring the binary image may be performed using Equation 1 below.
  • the binary image obtained through Equation 1 may be expressed only in black color and white color.
  • R is a pixel value in R color
  • G is a pixel value in G color
  • B is a pixel value in B color
  • the peripheral image 10 may be changed to a binary image having a pixel value of 0 if the pixel value of the R color is greater than or equal to a preset multiple of the pixel values of the G color and the B color.
  • Equation 1 a region in which the ratio of pixel values of R color is high is represented by black and the remaining region is represented by white, but this is only an example, and the first candidate region in the surrounding image 10 is the remaining region. It can be expressed in various ways as long as it can be distinguished from.
  • the preset multiple may be updated based on at least one of the illuminance measured through the illuminance sensor (not shown) and the precipitation measured through the rain sensor (not shown). That is, the preset multiple may be changed according to the ambient environmental conditions.
  • the preset multiple when the surrounding environment of the vehicle is very bright may be a value greater than the preset multiple when the surrounding environment is very dark.
  • the R color pixel values are also measured high, so the preset multiple can be increased to identify only cases where the R color pixel values differ more than the G color and B color. Accordingly, the accuracy with which the processor 120 identifies the R color system may be increased.
  • the preset multiple may be reduced to a relatively small value.
  • the preset multiple may be changed to various values according to the illuminance level, as shown in Table 1. In this way, it is a preset multiple according to the illumination level And May be measured through experiments in various environments and stored in a storage unit (not shown) in the form of a look-up table.
  • Illuminance level Level 1 (darkest) One One Level 2 (dark) 1.1 1.1 Level 3 (bright) 1.2 1.2 Level 4 (brightest) 1.3 1.3
  • the look-up table as shown in Table 1 may be used to identify a region in which the R color ratio in the surrounding image 10 is higher than the rest of the colors based on the illuminance information measured by the illuminance sensor.
  • each illuminance level is divided into darkest, darkest, brightest, and brightest, which indicates the relative illuminance level.
  • the classification of the illuminance levels is an example, and it goes without saying that the illuminance levels can be accurately classified according to the threshold values by setting a plurality of illuminance threshold values.
  • Table 1 And Numerical values are only examples and may be changed to different values according to various environmental conditions such as changes in the type of illuminance sensor.
  • the preset drainage may be changed based on the precipitation measured through the rain sensor. For example, a preset multiple according to the degree of precipitation may be measured and stored in the form of a look-up table.
  • information about the illuminance and precipitation may be received from an external server (not shown) without measuring the illuminance and precipitation through a sensor.
  • the processor 120 can more accurately identify the traffic sign region by adjusting the preset multiple in consideration of the surrounding environment of the vehicle.
  • a method of identifying an R color region through a size between pixel values of R, G, and B colors is a simple operation and may reduce the computation amount of the processor 120.
  • an area having a large R color pixel value may be identified as a candidate area for a traffic sign, although it is not a red line such as a yellow color.
  • the processor 120 may identify a region including a specific shape in the first candidate region as a second candidate region.
  • the processor 120 may identify the second candidate region based on the shape information included in the first candidate region.
  • the processor 120 may identify the second candidate region based on the binary image obtained according to the color information. That is, the processor 120 displays only areas in which the pixel values of the R color are greater than or equal to a predetermined multiple of the pixel values of the G color and the B color, and the remaining areas are displayed in black in the binary image displayed in white.
  • the second candidate region may be identified based on the shape information included in the.
  • the processor 120 may identify shape information included in the first candidate region by moving a window of a predetermined size on the binary image around the first candidate region. However, the processor 120 may identify shape information included in the first candidate region by moving a window of a predetermined size on the binary image on the entire image region.
  • the processor 120 may identify the first candidate region as a second candidate region.
  • the reference form information may be information regarding the form of a sample traffic sign.
  • the reference shape information may include triangular shape information indicating a caution sign, circular shape information indicating a regulatory mark, square shape information, octagonal shape information, and the like.
  • the reference form information may be stored in the storage unit during manufacture of the driving assistance device 100 or may be received from an external server.
  • the external server may be implemented as a cloud server, but is not limited thereto.
  • the processor 120 compares the shape information obtained in the first candidate region with the reference shape information stored in the storage unit, and when the obtained shape information matches the reference shape information, the processor 120 includes a region including the acquired shape information. It can be identified as a candidate area. For example, when circular shape information is identified on the obtained binary image, the processor 120 may identify that the circular shape information matches the reference shape information and identify the region including the circular shape as a second candidate region. have. Alternatively, when the rhombus shape information is identified on the obtained binary image, the processor 120 may identify that the rhombus shape information does not match the reference shape information and may not identify the corresponding region as the second candidate region. That is, the rhombus-shaped area may be divided into an area in which a traffic sign does not exist.
  • the processor 120 may identify the second candidate region as a plurality of blocks. Specifically, the processor 120 may identify the second candidate region as a plurality of first blocks based on the first direction, and may identify the second candidate region as a plurality of second blocks based on the second direction.
  • the processor 120 may identify the second candidate region as a plurality of blocks in the form of M * N based on horizontal and vertical directions.
  • the processor 120 may acquire pixel information based on pixel values included in each of the plurality of blocks. Specifically, the processor 120 obtains first pixel information based on pixel values included in each of the plurality of first blocks, and obtains second pixel information based on pixel values included in each of the plurality of second blocks. can do.
  • the first pixel information may include a difference value between an average value of pixels included in each of the plurality of first blocks and an average value of pixels included in adjacent first blocks.
  • the second pixel information may include a difference value between an average value of pixels included in each of the plurality of second blocks and an average value of pixels included in adjacent second blocks.
  • the processor 120 identifies the second candidate region as a 3 * 3 type block.
  • the first block is composed of a first row, a second row, and a third row block based on the horizontal direction.
  • the second block is composed of a first column, a second column, and a third column block based on the vertical direction.
  • the first pixel information includes an average value of pixels included in each of the first row, second row, and third row blocks, a difference value between the average values of the first and second rows of adjacent blocks, and the second and third rows. It can include the difference value between the average values of the rows.
  • the second pixel information includes an average value of pixels included in each of the first, second, and third column blocks, a difference value between the average values of the first and second columns that are adjacent blocks, and an average value of the second and third columns. It may include a difference value between.
  • the processor 120 may obtain a feature vector or matrix value corresponding to the obtained first pixel information and second pixel information.
  • the feature vector may be a vector listing average value information in the first direction, difference value information between the average values in the first direction, average value information in the second direction, and difference value information between average values in the second direction.
  • the processor 120 may identify the traffic sign region based on the acquired pixel information. According to an embodiment, the processor 120 may identify the traffic sign region based on the first pixel information and the second pixel information.
  • the processor 120 may identify the traffic sign region by applying the first pixel information and the second pixel information to the training model.
  • the training model may be a model obtained by identifying a plurality of sample traffic sign images as a plurality of blocks and learning pixel information based on pixel values included in each of the plurality of blocks.
  • the training model can be implemented with a cognitive system such as an artificial neural network or a neuromorphic processor.
  • the training model is a model obtained by identifying a sample of a circular form, the 'maximum speed limit sign' as a plurality of blocks in the form of M * N, and learning pixel information based on pixel values included in each of the plurality of blocks.
  • the training model may be a model in which matrix values or feature vectors corresponding to sample traffic signs are learned.
  • the training model may analyze the similarity between the input pixel information and the matrix values of the learned pixel information or feature vectors to identify and output whether an object corresponding to the input pixel information is a traffic sign.
  • the processor 120 identifies the number or symbol inside the traffic sign through the image recognition technology to the second candidate area to indicate the type and direction of the traffic sign. At least one of the contents can be identified.
  • the image recognition technology may include pattern matching, OCR (Optical Character Recognition), and the like.
  • OCR Optical Character Recognition
  • the processor 120 acquires the number '80' displayed inside the traffic sign through OCR technology, so that the vehicle is currently driving. It can be recognized that the maximum speed of the road is 80 km / h.
  • the type and direction of the traffic sign may be identified through a training model using a separate artificial neural network.
  • the processor 120 may control a display (not shown) to provide at least one of the type and indication content of the identified traffic sign.
  • the display may be provided inside the driving assistance device 100, but is not limited thereto, and may be implemented as an external display device (not shown).
  • the display may be implemented in various forms, such as a display included in a navigation provided in a vehicle, a head up display (HUD) displayed on a region of a windshield of a vehicle, or a display displayed on a dashboard region.
  • the processor 120 may transmit information on at least one of the identified traffic sign type and instruction content to the external display device, and the traffic sign type and instruction content may be displayed on the external display device.
  • the processor 120 may control the vehicle based on at least one of the identified traffic sign type and instruction content. For example, when the identified traffic sign is a stop sign, the processor 120 may control to stop the vehicle. Alternatively, when the indication of the identified traffic sign is a speed limit sign with a maximum speed of 100 Km / h or less, the processor 120 may control the maximum speed of the vehicle not to exceed 100 Km / h.
  • the processor 120 may provide feedback informing of at least one of the type and indication content of the identified traffic sign.
  • the feedback may be in the form of vibrating a part of the vehicle, such as a steering wheel, or outputting a specific sound or voice.
  • the processor 120 may identify the first candidate region as a plurality of blocks and identify traffic signs by applying pixel information obtained based on pixel values included in each of the plurality of blocks to the training model. have. That is, the step of identifying the second candidate region based on the shape information is omitted, and the pixel information obtained based on the pixel values included in each of the plurality of blocks is applied to the training model, and the shape information in the training model is analyzed together to communicate You can also identify whether it is a sign.
  • the first candidate area is identified based on the color information
  • the second candidate area is identified based on the shape information
  • the traffic sign is identified in the second candidate area. It may be changed.
  • the first candidate region may be identified based on the shape information
  • the second candidate region may be identified based on the color information.
  • this operation is also only an example, and the order may be arbitrarily changed according to the amount of calculation.
  • the driving assistance device 100 including the image photographing unit 110 and the processor 120 is described as a reference, but may be implemented in a form excluding the image photographing unit 110 according to an implementation example.
  • the driving assistance device may be configured with a memory and / or processor.
  • the surrounding image 10 may be acquired through an interface connected to an external camera.
  • FIG. 3 is a block diagram showing an example of a detailed configuration of the driving assistance device of FIG. 2.
  • the driving assistance device 100 includes an image photographing unit 110, a processor 120, a sensor 130, a storage unit 140, and a communication unit 150. Part of the configuration shown in FIG. 3 that overlaps with the configuration shown in FIG. 2 will be omitted.
  • the processor 120 stores a data input from the outside of the driving assist device 100 or a ROM (or non-volatile memory) in which a control program for controlling the CPU and the driving assist device 100 is stored, or the driving assist device ( It may include a RAM (RAM, or volatile memory) used as a storage area corresponding to various operations performed in 100).
  • a ROM or non-volatile memory
  • the driving assist device It may include a RAM (RAM, or volatile memory) used as a storage area corresponding to various operations performed in 100).
  • the processor 120 may execute an operating system (OS), programs, and various applications stored in the storage 140 when a predetermined event occurs.
  • OS operating system
  • the processor 120 may include a single core, dual core, triple core, quad core, and multiple cores.
  • the processor 120 may include an image processor 120-1 and an application processor 120-2.
  • the image processor 120-1 is a component that performs processing on image data.
  • the image processor 120-1 may control the overall operation of identifying the traffic sign area. Specifically, a specific color region is identified as a first candidate region in a peripheral image photographed through the image photographing unit 110, and a region including a specific shape is identified as a second candidate region in the first candidate region, It is possible to identify the area of the traffic sign within the second candidate area. The operation of identifying the traffic sign area has been described above, so a detailed description thereof will be omitted.
  • the application processor 120-2 is a component capable of driving various applications and performing graphic processing.
  • the application processor 120-2 accesses the storage unit 140 to boot using the O / S stored in the storage unit 140.
  • various operations are performed using various programs, contents, and data stored in the storage 140.
  • the application processor 120-2 may access the web database to perform various operations, and use sensing information received from the sensors 130.
  • the sensor 130 is configured to sense information about the surrounding environment of the vehicle.
  • the sensor 130 may include an illuminance sensor and a rainfall sensor.
  • the illuminance sensor is a component that measures the illuminance of the surrounding environment of the vehicle
  • the rainfall sensor is a sensor that measures the precipitation around the vehicle.
  • the senor 130 may include a global positioning system (GPS), an inertial measurement unit (IMU), a RADAR unit, a LIDAR unit, and an image sensor.
  • the sensor 130 may include at least one of a temperature / humidity sensor, an infrared sensor, an air pressure sensor, and a proximity sensor, but is not limited thereto, and detects information about the surrounding environment of the vehicle to detect the driver and the processor 120 Various types of sensors provided in the can be included.
  • the sensor 130 may include a motion sensing device capable of sensing the movement of the vehicle.
  • the motion sensing device may include a magnetic sensor, an acceleration sensor, and a gyroscope sensor.
  • GPS is a configuration that detects a geographic location of a vehicle, and the processor 120 may acquire location information sensed through GPS when acquiring the surrounding image 10.
  • the IMU can be a combination of sensors configured to sense changes in vehicle position and orientation based on inertial acceleration.
  • a combination of sensors can include accelerometers and gyroscopes.
  • the RADAR unit may be a sensor configured to detect objects in an environment in which the vehicle is located using a wireless signal. Further, the RADAR unit can be configured to sense the speed and / or direction of objects.
  • the LIDAR unit may be a sensor configured to detect objects in an environment where a vehicle is located using a laser.
  • the storage unit 140 may store various data, programs, or applications for driving / controlling the driving assistance device 100.
  • the storage unit 140 may store a control program for controlling the driving assistance device 100 and the processor 120, an application originally provided by a manufacturer or downloaded from the outside, databases, or related data.
  • the storage unit 140 may store reference form information of the traffic sign.
  • the reference form information may be information regarding the form of a traffic sign.
  • the reference form information may include triangular form information indicating a caution sign, circular form information indicating a regulatory sign, square form information, octagon form information, and the like.
  • the storage unit 140 may be implemented as an internal memory such as a ROM or RAM included in the processor 120 or may be implemented as a memory separate from the processor 120.
  • the storage 140 may be implemented in the form of a non-volatile memory, a volatile memory, a hard disk drive (HDD) or a solid state drive (SSD).
  • the server may be implemented as a cloud server, but is not limited thereto.
  • the communication unit 150 may communicate with an external device (not shown).
  • the communication unit 150 may communicate with an external server according to a wired / wireless communication method.
  • BT Bluetooth
  • WI-FI Wireless Fidelity
  • Zigbee Zigbee
  • IR Infrared
  • Serial Interface USB
  • Communication methods such as Universal Serial Bus (NFC), Near Field Communication (NFC), Vehicle to Everything (V2X), and Cellular can be used.
  • the communication unit 150 may receive reference form information of the traffic sign from an external server.
  • the communication unit 150 may also receive various information related to the current location and route of the vehicle from an external server.
  • the communication unit 150 may receive weather information, news information, road situation information, and the like from an external server.
  • the road condition information may mean context information about a path (or road) on which the vehicle is driving.
  • various information such as road surface state information, traffic situation information, traffic accident information, and traffic control information, may be received.
  • the display (not shown) displays various contents including vehicle driving information.
  • the vehicle driving information may include the current speed of the vehicle, the speed limit of the road on which the vehicle is currently driving, traffic sign information, and the like.
  • the display may display at least one of the type and indication contents of the traffic sign identified by the control of the processor 120.
  • Displays include liquid crystal display (LCD), organic light-emitting diode (OLED), liquid crystal on silicon (LCoS), digital light processing (DLP), quantum dot (QD), micro light-emitting diode (Micro LED) displays, etc. It can be implemented in various forms.
  • the display may be implemented in the form of a touch screen that forms a mutual layer structure with the touch pad.
  • the display can be used as the above-described user interface (not shown) in addition to the output device.
  • the touch screen may be configured to detect not only the touch input position and area, but also the touch input pressure.
  • the driving assistance device 100 may be implemented in a state not including the above-described display.
  • FIG. 4 is a diagram illustrating a process of identifying a first candidate region according to an embodiment of the present disclosure.
  • the surrounding image 410 is a peripheral image 410 of a vehicle obtained through the image photographing unit 110.
  • the surrounding image 410 may include a surrounding environment such as a path in which the vehicle is driving, an external vehicle, a traffic sign, and the like.
  • the driving assistance device 100 may identify the first candidate region based on the color information included in the surrounding image 410. Specifically, the driving assistance apparatus 100 may identify an area in which the pixel values of the R color included in the peripheral image 410 are greater than or equal to a preset multiple of the pixel values of the G color and the B color as the first candidate area.
  • an R color pixel value of an area corresponding to an octagonal object 420 and a rear light 430 of an external vehicle is identified as an area that is greater than or equal to a preset multiple of a pixel value of G color and B color to be a first candidate area. Can be identified.
  • the driving assistance apparatus 100 may obtain a binary image 440 including only the first candidate region.
  • 4B is a binary image 440 showing only the first candidate region in black and the remaining zeros in white.
  • the first candidate region is expressed in black and the remaining regions are expressed in white, but this is only an example, and the first candidate region in the peripheral image 410 is the remaining region. It can be expressed in various ways as long as it can be distinguished from.
  • FIG. 5 is a diagram for explaining a process of identifying a second candidate region according to an embodiment of the present disclosure.
  • 5A is a binary image 510 that includes only the first candidate region.
  • the driving assistance device 100 may identify the second candidate region based on the shape information included in the first candidate region. Specifically, when the reference shape information is identified in the first candidate region based on the binary image 510 obtained according to the color information, the driving assistance apparatus 100 may identify the identified first candidate region as the second candidate region. You can.
  • the shape of the octagon object 520 included in the binary image 510 is an octagon. Since the octagonal shape is stored in the reference shape information, the driving assistance device 100 may identify the region including the octagonal object 520 as a second candidate region.
  • the driving assistance device 100 is an area including the tail lamp 530 of the external vehicle. Can be excluded from the candidate area.
  • 5B may be an image including only the second candidate region 550. Only the octagonal object 520 is identified as the second candidate area 550 based on the shape information.
  • the driving assistance apparatus 100 identifies the second candidate region 550 as a plurality of blocks, and applies the obtained pixel information to the training model based on the pixel values included in each of the plurality of blocks to the second candidate region. It is possible to identify whether the object included in 550 is a traffic sign. This will be described in detail in FIG. 6.
  • FIG. 6 is a diagram illustrating a process of acquiring pixel information by identifying a second candidate region as a plurality of blocks according to an embodiment of the present disclosure.
  • FIG. 6A is a diagram illustrating a process of obtaining pixel information in a second candidate region 610 identified as a plurality of blocks in the form of M * N.
  • the driving assistance apparatus 100 may identify the second candidate region 610 based on color information and shape information in the surrounding image, and may identify the second candidate region 610 as a plurality of blocks in the form of M * N. .
  • the driving assistance apparatus 100 identifies the second candidate region 610 as a plurality of M first blocks based on the horizontal direction, and the second candidate region 610 is multiple individuals based on the vertical direction. It can be identified by N second blocks.
  • the driving assistance device 100 obtains first pixel information 620 and 625 based on the pixel values included in each of the M first blocks, and a second based on the pixel values included in each of the N second blocks. Pixel information 630 and 635 may be obtained.
  • the first pixel information 620 and 625 may include an average value 620 of pixels included in each of the plurality of first blocks and a difference value 625 between average values of pixels included in the adjacent first block.
  • the second pixel information 630 and 635 may include an average value 630 of pixels included in each of the plurality of second blocks and a difference value 635 between average values of pixels included in the adjacent second blocks. You can.
  • the first and second pixel information 620 to 635 may be obtained in the form of matrix values or vectors.
  • the average value 620 of the pixels included in each of the plurality of first blocks is the matrix A 1
  • the difference value 625 between the average values of the pixels included in the adjacent first blocks is the matrix D 1
  • the average value 630 of the pixels included in each of the plurality of second blocks is the matrix A 2
  • the difference value 635 between the average values of the pixels included in the adjacent second block is called a matrix D 2 .
  • the matrix A 1 is a matrix of average values of pixels included in each of the plurality of first blocks
  • the matrix A 2 is A matrix of average values of pixels included in each of the plurality of second blocks
  • M is the number of rows
  • N is the number of columns
  • A is the pixel value
  • the information about the average values of the matrices 620 and 630 includes spatial information about the shape of the traffic sign, but it may not be easy to distinguish between similar shapes represented by triangles or squares. Therefore, not only the average value information, but also the matrix 625 and 635 information regarding the difference between adjacent average values can be used to more accurately calculate pixel information for the traffic sign to be identified.
  • the matrix D 1 is a matrix about the difference between the average values of pixels included in the adjacent first block
  • the matrix D 2 is a matrix about the difference between the average values of pixels included in the adjacent second block.
  • Equations 2 to 5 the A1 matrix and the D1 matrix in the form of M * 1, the A2 matrix and the D2 matrix in the form of 1 * N may be calculated.
  • the calculated A1, D1, A2, and D2 matrices may be applied to the training model as pixel information to identify whether traffic signs are included in the second candidate area.
  • the A1 matrix of the M * 1 form and the transpose matrix of the D1 matrix are changed to the 1 * M form, and the A1, A2, D1, and D2 matrices can be applied to the training model in a uniform form having only one row.
  • a 1 * N type A2 matrix and a D2 matrix transpose matrix may be changed to an N * 1 form, and the A1, A2, D1, and D2 matrices may be applied to the training model in a uniform form having only one column.
  • 6B is a diagram illustrating an example of obtaining pixel information by identifying a second candidate region as a plurality of blocks.
  • the driving assistance device 100 may obtain the pixel information by identifying the second candidate region 610 as a plurality of M * N-type blocks from the acquired surrounding image 640.
  • the driving assistance apparatus 100 sets the average value of each pixel of the N blocks included in the first row to 83, and the average value of each pixel of the N blocks included in the second row to 66 and M
  • the average value of each pixel of the N blocks included in the row may be calculated as 47.
  • the driving assistance device 100 may calculate a difference value between the average values of the first and second rows of adjacent blocks, 17, and a difference value of 15 between the average values of the second and third rows.
  • the driving assistance apparatus 100 may include an average value of each pixel of the M blocks included in the first column of 86, an average value of pixels of each of the M blocks included in the second column of 67, and M included in the Nth row.
  • the average value of each pixel of each of the blocks can be calculated as 45.
  • the driving assistance device 100 may calculate a difference value between the average values of the first and second columns of adjacent blocks, 19, and a difference value of 13 between the average values of the second and third columns.
  • the driving assisting apparatus 100 may include a difference between an average value 620 of pixels included in each of the first blocks and an average value of pixels included in adjacent first blocks in the entire second candidate area 610. (625), a difference value 635 between the average value 630 of the pixels included in each of the plurality of second blocks and the average value of the pixels included in the adjacent second blocks may be calculated.
  • the driving assistance apparatus 100 applies the pixel information 620 to 635 obtained based on the pixel values included in each of the plurality of blocks to the training model, so that the object included in the second candidate area 610 is a traffic sign Can be identified.
  • the driving assistance device 100 identifies the second candidate area by using the image recognition technology to identify the number or symbol inside the traffic sign to traffic. At least one of the type of sign and the instructional content may be identified. For example, the driving assistance device 100 may obtain the number '60' displayed inside the traffic sign through OCR technology, to identify that the maximum speed of the road on which the vehicle is currently driving is 60 km / h.
  • FIG. 7 is a view for explaining an operation of providing information to the user of the identified traffic sign area according to an embodiment of the present disclosure.
  • the driving assistance device 100 may display the surrounding image obtained by the image capturing unit through a display 710 provided in a dashboard, navigation, or the like.
  • the driving assistance device 100 displays at least one of the type and indication contents of the traffic sign identified through OCR technology or the like. It can be provided through 710.
  • the driving assistance device 100 may acquire the number '60' displayed inside the traffic sign 720 to identify that the maximum speed of the road on which the vehicle is currently driving is 60 km / h. .
  • the driving assistance device 100 may provide information to the user through the display 710 that the speed limit of the driving road is 60 km / h.
  • the driving assistance device 100 may automatically control the vehicle so that the maximum speed of the vehicle does not exceed 60 Km / h.
  • the driving assistance device 100 may display the surrounding image obtained by the image capturing unit through the HUD display 730. Also, the driving assistance device 100 may display information on the traffic sign 720 through the HUD display 730.
  • the driving assistance device 100 may provide the user with the information that the speed limit of the road on which the vehicle is driving is 60 km / h through the HUD display 730. In addition, the driving assistance device 100 may automatically control the vehicle so that the maximum speed of the vehicle does not exceed 60 Km / h.
  • FIG. 8 is a flowchart illustrating an image processing method according to an embodiment of the present disclosure.
  • the driving assistance device may acquire the surrounding image of the vehicle through the image capturing unit (S810).
  • the driving assistance device may identify the first candidate region based on the color information included in the surrounding image (S820).
  • the driving assistance device identifies the R (Red) color, G (Green) color, and B (Blue) color values included in the surrounding image, and the pixel values of the R color are the pixel values of the G color and the B color.
  • a region greater than or equal to a preset multiple may be identified as a first candidate region.
  • the preset drainage may be updated based on at least one of roughness and precipitation of the surrounding environment.
  • the driving assistance device may identify the second candidate region based on the shape information included in the first candidate region (S830).
  • the driving assistance device may obtain a binary image including only the first candidate region among the surrounding images, and identify the second candidate region based on the obtained binary image. have.
  • the driving assistance device may identify the first candidate area as the second candidate area.
  • the driving assistance device may identify the second candidate region as a plurality of blocks, and identify the traffic sign region based on pixel values included in each of the plurality of blocks (S840).
  • the driving assistance device identifies the second candidate region as a plurality of first blocks based on the first direction, and acquires first pixel information based on pixel values included in each of the plurality of first blocks,
  • the second candidate region may be identified as a plurality of second blocks based on the second direction, and second pixel information may be obtained based on pixel values included in each of the plurality of second blocks.
  • the driving assistance device may identify the traffic sign area based on the first pixel information and the second pixel information.
  • the first pixel information may include a difference value between an average value of pixels included in each of the plurality of first blocks and an average value of pixels included in adjacent first blocks.
  • the second pixel information may include a difference value between an average value of pixels included in each of the plurality of second blocks and an average value of pixels included in adjacent second blocks.
  • the driving assistance device may identify the traffic sign region by applying the first pixel information and the second pixel information to the training model.
  • the training model may be a model obtained by identifying a plurality of sample traffic sign images as a plurality of blocks and learning pixel information based on pixel values included in each of the plurality of blocks.
  • the driving assistance device may provide at least one of the identified traffic sign type and instructional content.
  • the driving assistance device may be automatically controlled based on at least one of the type of traffic sign and the instructional content.
  • the methods according to the various embodiments of the present disclosure described above may be installed in an existing driving assist device, and may be implemented in an application form, which is a software directly used by a user on an OS.
  • the application may be provided in the form of an icon interface on the display screen of the vehicle.
  • embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor itself.
  • embodiments such as procedures and functions described herein may be implemented as separate software modules. Each of the software modules can perform one or more functions and operations described herein.
  • computer instructions for performing a processing operation according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • the non-transitory computer-readable medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and memory.
  • Specific examples of non-transitory computer-readable media may include CDs, DVDs, hard disks, Blu-ray disks, USBs, memory cards, and ROMs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량에 탑재 가능한 주행 보조 장치가 개시된다. 주행 보조 장치는, 이미지 촬영부 및 이미지 촬영부를 통해 촬영된 주변 이미지 내에서 특정 색상 영역을 제1 후보 영역으로 식별하고, 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별하며, 제2 후보 영역 내에서 교통 표지판의 영역을 식별하는 프로세서를 포함한다.

Description

주행 보조 장치 및 이미지 처리 방법
본 개시는 주행 보조 장치 및 이미지 처리 방법에 관한 것으로, 더욱 상세하게는 교통 표지판을 식별하는 주행 보조 장치 및 이미지 처리 방법에 관한 것이다.
교통 표지판은 도로 이용자에게 일관성 있고 통일된 방법으로 교통안전과 원활한 소통을 도모하고, 도로시설물을 보호하는 데 필요한 각종 정보를 제공한다. 이러한 교통 표지판은 도로 상의 어느 곳이나 존재할 수 있기 때문에 효과적인 인식을 위해서는 실시간으로 촬영된 이미지 영역 전체가 탐색 되어야 한다.
다만, 종래에는 이미지 영역 전체를 탐색하기에는 과도한 연산이 소모되어 실시간 탐색이 어렵거나 혹은 연산량을 줄임으로 인해 인식률이 저하되는 문제가 발생되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은, 촬영된 이미지의 색상 정보 및 형태 정보에 기초하여 교통 표지판의 후보 영역을 식별하여 교통 표지판의 식별 성능을 높이는 동시에 연산량을 저감시키는 주행 보조 장치 및 이미지 처리 방법을 제공함에 있다.
또한, 교통 표지판 영역을 탐지함에 있어 표지판의 훼손이나 오염에도 강인하게 교통 표지판이 탐지될 수 있도록 하는데 그 목적이 있다.
상술한 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 차량에 탑재 가능한 주행 보조 장치는, 이미지 촬영부 및 상기 이미지 촬영부를 통해 촬영된 주변 이미지 내에서 특정 색상 영역을 제1 후보 영역으로 식별하고, 상기 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별하며, 상기 제2 후보 영역 내에서 교통 표지판의 영역을 식별하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 상기 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고, 상기 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 상기 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득하고, 상기 제1 픽셀 정보 및 상기 제2 픽셀 정보에 기초하여 상기 교통 표지판의 영역을 식별할 수 있다.
상기 제1 픽셀 정보는, 상기 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하고, 상기 제2 픽셀 정보는, 상기 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
상기 프로세서는 상기 제1 픽셀 정보 및 상기 제2 픽셀 정보를 트레이닝 모델에 적용하여 상기 교통 표지판의 영역을 식별할 수 있다.
상기 트레이닝 모델은, 복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득될 수 있다.
상기 프로세서는, 상기 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고, 상기 R 컬러의 픽셀 값이 상기 G 컬러 및 상기 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 상기 제1 후보 영역으로 식별할 수 있다.
상기 주행 보조 장치는 조도 센서 및 강우 센서 중 적어도 하나를 더 포함할 수 있다.
상기 기설정된 배수는, 상기 조도 센서를 통해 측정된 조도 및 상기 강우 센서를 통해 측정된 강수량 중 적어도 하나에 기초하여 갱신될 수 있다.
상기 프로세서는, 상기 제1 후보 영역이 식별되면, 상기 주변 이미지 중 상기 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고, 상기 획득된 바이너리 이미지에 기초하여 상기 제2 후보 영역을 식별할 수 있다.
교통 표지판의 기준 형태 정보를 저장하는 저장부를 더 포함하고, 상기 제1 후보 영역에서 상기 기준 형태 정보가 식별되면, 상기 제1 후보 영역을 상기 제2 후보 영역으로 식별할 수 있다.
상기 주행 보조 장치는 디스플레이를 더 포함할 수 있다.
상기 프로세서는, 상기 식별된 교통 표지판 영역에서 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별하여 제공하도록 상기 디스플레이를 제어하고, 상기 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 상기 차량을 제어할 수 있다.
또한, 본 개시의 일 실시 예에 따른 이미지 처리 방법은, 이미지 촬영부를 통해 차량의 주변 이미지를 획득하는 단계, 상기 주변 이미지에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별하는 단계, 상기 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별하는 단계 및 상기 제2 후보 영역을 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초하여 교통 표지판의 영역을 식별하는 단계를 포함할 수 있다.
상기 교통 표지판의 영역을 식별하는 단계는, 상기 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 상기 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고, 상기 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 상기 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득하고, 상기 제1 픽셀 정보 및 상기 제2 픽셀 정보에 기초하여 상기 교통 표지판의 영역을 식별할 수 있다.
상기 제1 픽셀 정보는, 상기 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
상기 제2 픽셀 정보는, 상기 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
상기 교통 표지판 영역을 식별하는 단계는, 상기 제1 픽셀 정보 및 상기 제2 픽셀 정보를 트레이닝 모델에 적용하여 상기 교통 표지판 영역을 식별할 수 있다.
상기 트레이닝 모델은, 복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득될 수 있다.
상기 제1 후보 영역을 식별하는 단계는, 상기 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고, 상기 R 컬러의 픽셀 값이 상기 G 컬러 및 상기 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 상기 제1 후보 영역으로 식별할 수 있다.
상기 기설정된 배수는, 조도 및 강수량 중 적어도 하나에 기초하여 갱신될 수 있다.
상기 제2 후보 영역을 식별하는 단계는, 상기 제1 후보 영역이 식별되면, 상기 주변 이미지 중 상기 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고, 상기 획득된 바이너리 이미지에 기초하여 상기 제2 후보 영역을 식별할 수 있다.
상기 제2 후보 영역을 식별하는 단계는, 상기 제1 후보 영역에서 기 저장된 교통 표지판의 기준 형태 정보가 식별되면, 상기 제1 후보 영역을 상기 제2 후보 영역으로 식별할 수 있다.
상기 이미지 처리 방법은, 상기 식별된 교통 표지판 영역에서 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별하여 제공하는 단계 및 상기 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 상기 차량을 제어하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 개시의 다양한 실시 예에 따르면 주행 보조 장치는 촬영된 이미지의 색상 정보 및 형태 정보에 기초하므로 교통 표지판의 후보 영역을 식별하는 정확도를 높일 수 있다.
또한, 촬영된 이미지에 포함된 픽셀 값 정보에 기초하므로 교통 표지판을 식별하는데 소모되는 연산량을 저감시켜 실시간으로 사용자에게 교통 표지판 정보를 제공하여 안전 운전에 도움이 될 수 있다.
도 1은 본 개시의 이해를 돕기 위한 교통 표지판을 포함하는 주변 이미지를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 주행 보조 장치의 구성을 나타내는 블럭도이다.
도 3은 도 2의 주행 보조 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 4는 본 개시의 일 실시 예에 따른 제1 후보 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 제2 후보 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 제2 후보 영역을 복수의 블록으로 식별하여 픽셀 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 식별된 교통 표지판 영역의 정보를 사용자에게 제공하는 동작을 설명하는 도면이다.
도 8은 본 개시의 일 실시 예에 따른 주행 보조 장치의 제어 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 이해를 돕기 위한 교통 표지판을 포함하는 주변 이미지를 설명하기 위한 도면이다.
도 1에 따르면, 본 발명의 일 실시 예에 따른 주행 보조 장치는 구비된 센서를 이용하여 주변 환경을 모니터링할 수 있다. 일 예로, 주행 보조 장치는 이미지 촬영부를 이용하여 주변 환경, 전방 도로 상황 등을 촬영하여 주변 이미지(10)를 획득할 수 있다. 여기서, 이미지 촬영부는 차량의 주변 환경, 차량의 주행 경로 상에서 발생하는 이벤트 등을 촬영하는 구성으로서 센서, 카메라 및 이미지 센서 등으로 불릴 수 있으나 이하에서는 설명의 편의를 위해 이미지 촬영부로 통칭하도록 한다.
본 개시의 일 실시 예에 따른 주행 보조 장치는 이미지 촬영부를 통해 주변 이미지(10)를 획득하고, 주변 이미지(10)에 포함된 교통 표지판(20) 영역을 식별하여 식별된 정보를 사용자에게 제공할 수 있는데, 이하에서는 도면을 참조하여 본 개시의 다양한 실시 예에 대해 자세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 주행 보조 장치의 구성을 나타내는 블럭도이다. 도 2의 주행 보조 장치(100)는 차량에 탑재되어 사용될 수 있다. 구체적으로는, 주행 보조 장치(100)는 차량의 전장 시스템으로 구현될 수도 있고, 차량 내부에 설치되는 카메라 모듈로 구현될 수도 있다. 또는, 룸 미러 일체형 모듈로 구현될 수도 있으며, 차량에 탈부착 가능한 휴대폰이나, PDA 등과 같은 휴대 장치 형태로 구현될 수도 있다. 또는, 차량 그 자체로 구현될 수도 있다.
도 2에 따르면, 주행 보조 장치(100)는 이미지 촬영부(110) 및 프로세서(120)를 포함한다.
이미지 촬영부(110)는 차량의 주변 이미지(10)를 촬영할 수 있다. 일 예로, 이미지 촬영부(110)를 통해 차량의 주변에 위치한 교통 표지판, 다른 차량 등이 촬영될 수 있다. 이미지 촬영부(110)는 단일 카메라 또는 복수 개의 카메라로 구현될 수 있다.
프로세서(120)는 주행 보조 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(120)는 이미지 촬영부(110)를 통해 촬영된 주변 이미지(10)를 획득할 수 있다. 여기서, 주변 이미지(10)는 주행 보조 장치(100)가 탑재된 차량의 주변 이미지 일 수 있다. 예를 들어, 프로세서(120)는 이미지 촬영부(110)를 통해 교통 표지판 등이 포함된 주변 이미지(10)를 실시간으로 획득할 수 있다. 여기서, 교통 표지판은 교통 안전을 위해 일관성 있고 통일된 방식으로 표시된 표지판이며, 주의 표지, 규제 표지, 지시 표지, 보조 표지 및 노면 표지 등의 타입이 있고, 원형, 삼각형, 사각형, 팔각형 등의 형태가 있을 수 있다.
프로세서(120)는 주변 이미지(10) 내에서 특정 색상 영역을 제1 후보 영역으로 식별할 수 있다. 프로세서(120)는 주변 이미지(10)에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별할 수 있다. 여기서, 후보 영역은 교통 표지판이 존재할 수 있는 후보가 되는 영역을 의미한다.
구체적으로, 프로세서(120)는 주변 이미지(10)에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별할 수 있다. 즉, 프로세서(120)는 주변 이미지(10)에 포함된 R, G, B 컬러 값을 색상 정보로서 식별할 수 있다. 여기서, 컬러 값이란 픽셀 값을 의미하며, R, G, B 각각의 픽셀 값은 밝기에 따라 0 내지 255 중 하나로 표현될 수 있다. 예를 들어, R 컬러의 픽셀 값이 255이고, G 컬러 및 B 컬러의 픽셀 값이 0이면 해당 픽셀은 빨간색으로 표현되며, R 컬러, G 컬러 및 B 컬러의 픽셀 값이 0이면 해당 픽셀은 검정색으로 표현될 수 있다.
프로세서(120)는 R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 제1 후보 영역으로 식별할 수 있다. R 컬러의 픽셀 값이 나머지보다 큰 경우, 해당 픽셀은 R 컬러 계통을 나타낼 수 있다.
한편, 도로 주변에 위험물이 있거나 도로 상태가 위험할 경우 도로 이용자가 안전 조치를 취할 수 있도록 알려주는 주의 표지판 및 도로 교통의 안전을 위해 제한 또는 금지되는 규제를 알리기 위한 규제 표지판 등의 테두리는 일반적으로 붉은색 계통의 색상이 이용된다. 따라서, 프로세서(120)는 주변 이미지(10)에서 R 컬러 픽셀 값이 나머지 컬러에 비해 높은 영역을 교통 표지판의 후보 영역으로 식별할 수 있다.
프로세서(120)는 제1 후보 영역이 식별되면, 주변 이미지(10) 중 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득할 수 있다. 여기서, 바이너리 이미지는, 주변 이미지(10)가 두 가지 컬러로만 표현되는 이미지일 수 있다.
바이너리 이미지를 획득하는 과정은 하기의 수학식 1을 이용하여 수행될 수 있다. 수학식 1을 통해 획득되는 바이너리 이미지는 검정 컬러 및 흰 컬러만으로 표현될 수 있다.
Figure PCTKR2019013037-appb-img-000001
여기서,
Figure PCTKR2019013037-appb-img-000002
는 (i,j) 좌표 위치의 바이너리 이미지 상의 픽셀 값이며, R은 R 컬러의 픽셀 값, G는 G 컬러의 픽셀 값, B는 B 컬러의 픽셀 값이며,
Figure PCTKR2019013037-appb-img-000003
및
Figure PCTKR2019013037-appb-img-000004
는 G 컬러의 픽셀 값 및 B 컬러의 픽셀 값에 각각 곱해지는 기설정된 배수이다.
주변 이미지(10)는 R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 경우 0, 그렇지 않은 경우 255의 픽셀 값을 갖는 바이너리 이미지로 변경될 수 있다.
구체적으로, 프로세서(120)는 R, G 및 B 컬러 중 R 컬러의 픽셀 값이 가장 크고(MAX(R, G, B)=R), R 컬러의 픽셀 값이 기설정된 배수인
Figure PCTKR2019013037-appb-img-000005
및
Figure PCTKR2019013037-appb-img-000006
각각을 G 픽셀 값 및 B 픽셀 값에 곱한 값 보다 큰 경우, 해당 픽셀을 검정 색(픽셀 값 0)으로 나타내고 나머지 픽셀을 흰색(픽셀 값 255)으로 나타낼 수 있다. 즉, 프로세서(120)는 R 컬러의 픽셀 값 비율이 높은 영역을 검은 색으로 나타내고 나머지 영역을 흰색으로 나타내는 바이너리 이미지를 획득할 수 있다. 다만, 여기서 수학식 1을 통해 R 컬러의 픽셀 값 비율이 높은 영역은 검은 색으로 표현되고 나머지 영역은 흰색으로 표현되었으나, 이는 일 예에 불과할 뿐 주변 이미지(10)에서 제1 후보 영역이 나머지 영역과 구분될 수 있는 형태이면 다양한 방법으로 표현될 수도 있다.
여기서, 기설정된 배수는, 조도 센서(미도시)를 통해 측정된 조도 및 강우 센서(미도시)를 통해 측정된 강수량 중 적어도 하나에 기초하여 갱신될 수 있다. 즉, 기설정된 배수는 주변 환경 조건에 따라 변경될 수 있다.
예를 들어, 차량의 주변 환경이 매우 밝은 경우의 기설정된 배수는, 주변 환경이 매우 어두운 경우의 기설정된 배수보다 큰 값일 수 있다. 주변 환경이 매우 밝은 경우에는 R 컬러 픽셀 값 또한 높게 측정되므로, R 컬러 픽셀 값이 G 컬러 및 B 컬러에 비해 더욱 큰 차이가 나는 경우만을 식별하도록 기설정된 배수가 증가될 수 있다. 이에 따라, 프로세서(120)가 R 컬러 계통을 식별하는 정확도가 증가될 수 있다. 또한, 주변 환경이 매우 어두운 경우에는 주변 이미지(10)의 픽셀 값 간 차이가 주변 환경이 밝은 경우보다 작으므로 기설정된 배수는 상대적으로 작은 값으로 감소될 수 있다.
기설정된 배수는, 표 1과 같이, 조도 레벨에 따라 다양한 값으로 변경될 수 있다. 이와 같이, 조도 레벨에 따라 기설정된 배수인
Figure PCTKR2019013037-appb-img-000007
및
Figure PCTKR2019013037-appb-img-000008
은 다양한 환경에서 실험을 통해 측정되어 룩업 테이블의 형태로 저장부(미도시)에 저장될 수 있다.
조도 레벨
Figure PCTKR2019013037-appb-img-000009
Figure PCTKR2019013037-appb-img-000010
레벨 1 (가장 어두움) 1 1
레벨 2 (어두움) 1.1 1.1
레벨 3 (밝음) 1.2 1.2
레벨 4 (가장 밝음) 1.3 1.3
표 1과 같은 룩업 테이블은 조도 센서를 통해 측정되는 조도 정보에 기초하여, 주변 이미지(10)에서 R 컬러 비율이 나머지 컬러에 비해 높은 영역을 식별하는데 이용될 수 있다. 표 1에서 각 조도 레벨은 가장 어두움, 어두움, 밝음, 가장 밝음으로 구분되어 있으며 이는 상대적인 조도 레벨을 명시한 것이다. 이러한 조도 레벨의 구분은 일 예이며, 복수의 조도 임계 값을 설정하여 임계 값에 따라 조도 레벨을 정확하게 구분할 수 있음은 물론이다.
한편, 표 1에서 기설정된 배수인
Figure PCTKR2019013037-appb-img-000011
및
Figure PCTKR2019013037-appb-img-000012
에 관한 수치는 예시일 뿐 조도 센서 종류의 변경 등 다양한 환경 조건에 따라 다른 값으로 변경될 수 있다. 또한, 표 1에서
Figure PCTKR2019013037-appb-img-000013
및
Figure PCTKR2019013037-appb-img-000014
은 동일한 값으로 기재되었으나 서로 다른 값을 갖을 수도 있다.
한편, 기설정된 배수는 강우 센서를 통해 측정된 강수량에 기초하여 변경될 수도 있다. 예를 들어, 강수 정도에 따른 기설정된 배수가 측정되어 룩업 테이블의 형태로 저장될 수 있다.
한편, 센서를 통해 조도 및 강수량을 측정하지 않고 외부 서버(미도시)로부터 조도 및 강수량에 관한 정보가 수신될 수도 있다.
차량의 주변 환경을 고려하여 기설정된 배수가 조정됨으로써 프로세서(120)는 좀 더 정확하게 교통 표지판 영역을 식별할 수 있다.
본 개시의 일 실시 예에 따른, R, G, B 컬러의 픽셀 값 사이의 크기를 통해 R 컬러 영역을 식별하는 방법은 단순한 연산으로서 프로세서(120)의 연산량을 감소시킬 수 있다.
또한, 주변 이미지(10) 상에서 교통 표지판의 후보 영역들을 식별하고 해당 후보 영역들에서만 교통 표지판을 식별함으로써 프로세서(120)의 연산량을 감소시킬 수도 있다.
다만, 설정에 따라 노란 컬러와 같이 붉은색 계통이 아님에도 불구하고 R 컬러 픽셀 값이 큰 영역이 교통 표지판의 후보 영역으로 식별될 수도 있다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별할 수 있다. 프로세서(120)는 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별할 수 있다. 구체적으로, 프로세서(120)는 색상 정보에 따라 획득된 바이너리 이미지에 기초하여 제2 후보 영역을 식별할 수 있다. 즉, 프로세서(120)는, R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역만이 검은 색으로 표시되고 나머지 영역은 흰색으로 표시된 바이너리 이미지에서, 검은 색으로 표시된 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별할 수 있다.
프로세서(120)는 바이너리 이미지 상에서 기설정된 크기의 윈도우를 제1 후보 영역을 중심으로 이동시켜 제1 후보 영역에 포함된 형태 정보를 식별할 수 있다. 다만, 프로세서(120)는 바이너리 이미지 상에서 기설정된 크기의 윈도우를 전체 이미지 영역 상에서 이동시켜 제1 후보 영역에 포함된 형태 정보를 식별할 수도 있다.
프로세서(120)는 제1 후보 영역에서 기준 형태 정보가 식별되면, 제1 후보 영역을 제2 후보 영역으로 식별할 수 있다. 여기서, 기준 형태 정보는 샘플 교통 표지판의 형태에 관한 정보일 수 있다. 일 예로, 기준 형태 정보는, 주의 표지를 나타내는 삼각형 형태 정보, 규제 표지를 나타내는 원형 형태 정보, 사각형 형태 정보, 팔각형 형태 정보 등을 포함할 수 있다. 기준 형태 정보는, 주행 보조 장치(100) 제조시 저장부에 저장되거나 외부 서버로부터 수신될 수도 있다. 여기서, 외부 서버는 클라우드 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다.
즉, 프로세서(120)는 제1 후보 영역에서 획득된 형태 정보를 저장부에 저장된 기준 형태 정보와 비교하고, 획득된 형태 정보가 기준 형태 정보와 일치하면 획득된 형태 정보가 포함된 영역을 제2 후보 영역으로 식별할 수 있다. 예를 들어, 획득된 바이너리 이미지 상에서 원형 형태 정보가 식별되면, 프로세서(120)는 이러한 원형 형태 정보는 기준 형태 정보와 일치하는 것으로 식별하고 원형 형태를 포함하는 영역을 제2 후보 영역으로 식별할 수 있다. 또는, 획득된 바이너리 이미지 상에서 마름모 형태 정보가 식별되면, 프로세서(120)는 이러한 마름모 형태 정보가 기준 형태 정보와 일치하지 않는 것으로 식별하여 해당 영역을 제2 후보 영역으로 식별하지 않을 수 있다. 즉, 마름모 형태의 영역은 교통 표지판이 존재하지 않는 영역으로 구분될 수 있다.
프로세서(120)는 제2 후보 영역을 복수의 블록으로 식별할 수 있다. 구체적으로, 프로세서(120)는 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별할 수 있다.
예를 들어, 프로세서(120)는 제2 후보 영역을 수평 방향 및 수직 방향을 기준으로 M*N 형태의 복수의 블록으로 식별할 수 있다.
프로세서(120)는 복수의 블록 각각에 포함된 픽셀 값에 기초하여 픽셀 정보를 획득할 수 있다. 구체적으로, 프로세서(120)는 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고, 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득할 수 있다.
여기서, 제1 픽셀 정보는, 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다. 또한, 제2 픽셀 정보는, 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
예를 들어, 프로세서(120)는 제2 후보 영역을 3*3 형태의 블록으로 식별하는 경우를 상정한다.
수평 방향을 기준으로 제1 블록은 제1 행, 제2 행 및 제3 행 블록으로 구성된다. 또한, 수직 방향을 기준으로 제2 블록은 제1 열, 제2 열 및 제3 열 블록으로 구성된다.
제1 픽셀 정보는, 제1 행, 제2 행 및 제3 행 블록 각각에 포함된 픽셀의 평균 값, 인접한 블록인 제1 행과 제2 행의 평균 값 간 차이 값 및 제2 행과 제3 행의 평균 값 간 차이 값을 포함할 수 있다.
제2 픽셀 정보는, 제1 열, 제2 열 및 제3 열 블록 각각에 포함된 픽셀의 평균 값, 인접한 블록인 제1 열과 제2 열의 평균 값 간 차이 값 및 제2 열과 제3 열의 평균 값 간 차이 값을 포함할 수 있다.
프로세서(120)는 획득된 제1 픽셀 정보 및 제2 픽셀 정보에 대응되는 특징 벡터 또는 행렬 값을 획득할 수 있다. 특징 벡터는 제1 방향 평균 값 정보, 제1 방향 평균 값 간 차이 값 정보, 제2 방향 평균 값 정보, 제2 방향 평균 값 간 차이 값 정보를 나열한 벡터일 수 있다. 상술한 제1 픽셀 정보 및 제2 픽셀 정보를 획득하는 방법에 관하여는 후술하는 도 6에서 자세히 설명하도록 한다.
프로세서(120)는 획득된 픽셀 정보에 기초하여 교통 표지판 영역을 식별할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 제1 픽셀 정보 및 제2 픽셀 정보에 기초하여 교통 표지판 영역을 식별할 수 있다.
다른 실시 예에 따르면, 프로세서(120)는 제1 픽셀 정보 및 제2 픽셀 정보를 트레이닝 모델에 적용하여 교통 표지판 영역을 식별할 수도 있다.
여기서, 트레이닝 모델은 복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는 모델일 수 있다. 트레이닝 모델은, 인공 신경망이나 뉴로모픽(neuromorphic) 프로세서와 같은 인지 시스템으로 구현될 수 있다.
예를 들어, 트레이닝 모델은 원형 형태의 샘플인 '최고 속도 제한 표지판'을 M*N 형태의 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는 모델일 수 있다. 즉, 트레이닝 모델은, 샘플 교통 표지판에 대응되는 행렬 값 또는 특징 벡터가 학습된 모델일 수 있다.
트레이닝 모델은, 입력된 픽셀 정보와 학습된 픽셀 정보의 행렬 값 또는 특징 벡터의 유사성을 분석하여 입력된 픽셀 정보에 대응되는 객체가 교통 표지판인지 여부를 식별하여 출력할 수 있다.
트레이닝 모델에 의해 제2 후보 영역이 교통 표지판을 포함하는 것으로 식별되는 경우, 프로세서(120)는 제2 후보 영역을 영상 인식 기술을 통해 교통 표지판 내부의 숫자나 기호를 식별하여 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별할 수 있다. 여기서, 영상 인식 기술에는 패턴 매칭, OCR(Optical Character Recognition) 등이 포함될 수 있다. 예를 들어, 트레이닝 모델에 의해 제2 후보 영역이 교통 표지판을 포함하는 것으로 식별되는 경우, 프로세서(120)는 OCR 기술을 통해 교통 표지판 내부에 표시된 숫자 '80'을 획득하여, 차량이 현재 주행 중인 도로의 최고 속도가 80Km/h임을 식별할 수 있다. 또는, 별도의 인공신경망을 이용하는 트레이닝 모델을 통해 교통 표지판의 타입 및 지시 내용을 식별할 수도 있다.
프로세서(120)는 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 제공하도록 디스플레이(미도시)를 제어할 수 있다. 여기서, 디스플레이는 주행 보조 장치(100) 내부에 구비된 형태일 수 있으나, 이에 한정되는 것은 아니며 외부 디스플레이 장치(미도시)로 구현될 수도 있다. 차량에 구비된 네비게이션에 포함된 디스플레이, 차량의 전면 유리의 일 영역에 디스플레이하는 HUD(Head up Display) 또는 계기판 영역에 표시되는 디스플레이 등 다양한 형태로 구현될 수 있다. 프로세서(120)는 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 관한 정보를 외부 디스플레이 장치로 전송하여 외부 디스플레이 장치에서 교통 표지판의 타입 및 지시 내용이 디스플레이될 수도 있다.
프로세서(120)는 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 차량을 제어할 수 있다. 예를 들어, 식별된 교통 표지판이 정지 표지판인 경우, 프로세서(120)는 차량을 정지하도록 제어할 수 있다. 또는 식별된 교통 표지판의 지시 내용이 최고 속도 100Km/h 이하로 속도 제한 표지판인 경우, 프로세서(120)는 차량의 최고 속도가 100Km/h를 초과하지 않도록 제어할 수 있다.
프로세서(120)는 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 알리는 피드백을 제공할 수도 있다. 예를 들어, 피드백은 스티어링 휠과 같은 차량의 일부를 진동시키거나 특정 음향 또는 음성을 출력하는 형태일 수 있다.
다른 실시 예에 따르면, 프로세서(120)는 제1 후보 영역을 복수의 블록으로 식별하고 복수의 블록 각각에 포함된 픽셀 값에 기초하여 획득된 픽셀 정보를 트레이닝 모델에 적용하여 교통 표지판을 식별할 수도 있다. 즉, 형태 정보에 기초하여 제2 후보 영역을 식별하는 단계를 생략하고 복수의 블록 각각에 포함된 픽셀 값에 기초하여 획득된 픽셀 정보를 트레이닝 모델에 적용하고 트레이닝 모델에서 형태 정보를 함께 분석하여 교통 표지판인지 여부를 식별할 수도 있다.
이상에서는, 색상 정보를 기초로 제1 후보 영역을 식별한 다음, 형태 정보를 기초로 제2 후보 영역을 식별하고, 최종적으로 제2 후보 영역 내에서 교통 표지판을 식별하는 것으로 설명하였으나, 그 순서는 변경될 수도 있다. 예를 들어, 형태 정보를 기초로 제1 후보 영역을 식별한 다음, 색상 정보를 기초로 제2 후보 영역을 식별할 수도 있다. 물론, 이러한 동작 역시 일 예에 불과하며, 연산량에 따라서 그 순서는 임의로 변경될 수도 있다.
도 2에서는 이미지 촬영부(110) 및 프로세서(120)를 포함하는 주행 보조 장치(100)를 기준으로 설명하였으나, 구현 예에 따라서는 이미지 촬영부(110)를 제외한 형태로 구현될 수도 있다. 이 경우, 주행 보조 장치는 메모리 및/또는 프로세서로 구성될 수 있다. 주변 이미지(10)는 외부 카메라와 연결된 인터페이스를 통해 획득할 수도 있다.
도 3은 도 2의 주행 보조 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 3에 따르면, 주행 보조 장치(100)는 이미지 촬영부(110), 프로세서(120), 센서(130), 저장부(140) 및 통신부(150)를 포함한다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(120)는 CPU 및 주행 보조 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리) 및 주행 보조 장치(100)의 외부에서부터 입력되는 데이터를 저장하거나 주행 보조 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리)을 포함할 수 있다.
프로세서(120)는 기설정된 이벤트가 발생되면 저장부(140)에 저장된 OS(Operating System), 프로그램 및 다양한 어플리케이션을 실행할 수 있다. 프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
프로세서(120)는 이미지 프로세서(120-1) 및 어플리케이션 프로세서(120-2)를 포함할 수 있다.
이미지 프로세서(120-1)는 이미지 데이터에 대한 처리를 수행하는 구성 요소이다. 특히, 이미지 프로세서(120-1)는 교통 표지판 영역을 식별하는 전반적인 동작을 제어할 수 있다. 구체적으로, 이미지 촬영부(110)를 통해 촬영된 주변 이미지 내에서 특정 색상 영역을 제1 후보 영역으로 식별하고, 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별하며, 제2 후보 영역 내에서 교통 표지판의 영역을 식별할 수 있다. 교통 표지판 영역을 식별하는 동작에 관하여는 상술한 바 있으므로 자세한 설명은 생략하도록 한다.
어플리케이션 프로세서(120-2)는 각종 어플리케이션을 구동할 수 있고, 그래픽 처리를 수행하는 구성 요소이다. 어플리케이션 프로세서(120-2)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. 또한, 어플리케이션 프로세서(120-2)는 웹 데이터 베이스에 액세스하여 다양한 동작을 수행하고, 센서(130)들로부터 수신된 센싱 정보를 이용할 수도 있다.
센서(130)는 차량의 주변 환경에 관한 정보를 센싱하는 구성이다. 특히, 센서(130)는 조도 센서 및 강우 센서를 포함할 수 있다. 조도 센서는 차량의 주변 환경의 조도를 측정하는 구성이며, 강우 센서는 차량 주변의 강수량을 측정하는 센서이다.
또한, 센서(130)는 GPS(Global Positioning System), IMU(Inertial Measurement Unit), RADAR 유닛, LIDAR 유닛 및 이미지 센서를 포함할 수 있다. 또한, 센서(130)는 온/습도 센서, 적외선 센서, 기압 센서 및 근접 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니며 차량의 주변 환경에 관한 정보를 감지하여 운전자 및 프로세서(120)에 제공하는 다양한 유형의 센서가 포함될 수 있다.
또한, 센서(130)는 차량의 움직임을 센싱할 수 있는 움직임 센싱 장치를 포함할 수 있다. 움직임 센싱 장치는 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor) 및 자이로스코프(Gyroscope) 센서를 포함할 수 있다.
GPS는 차량의 지리적 위치를 감지하는 구성으로, 프로세서(120)는 주변 이미지(10) 획득 시에 GPS를 통해 감지된 위치 정보를 함께 획득할 수도 있다.
IMU는 관성 가속도에 기초하여 차량의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합이 될 수 있다. 예를 들어, 센서들의 조합은, 가속도계들 및 자이로스코프들을 포함할 수 있다.
RADAR 유닛은 무선 신호를 이용하여 차량이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다. 또한, RADAR 유닛은, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.
LIDAR 유닛은 레이저를 이용하여 차량이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다.
저장부(140)는 주행 보조 장치(100)를 구동/제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(140)는 주행 보조 장치(100) 및 프로세서(120)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
특히, 저장부(140)는 교통 표지판의 기준 형태 정보를 저장할 수 있다. 여기서, 기준 형태 정보는, 교통 표지판의 형태에 관한 정보일 수 있다. 예를 들어, 기준 형태 정보는, 주의 표지를 나타내는 삼각형 형태 정보, 규제 표지를 나타내는 원형 형태 정보, 사각형 형태 정보, 팔각형 형태 정보 등을 포함할 수 있다.
저장부(140)는 프로세서(120)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 저장부(140)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현될 수 있다.
다만, 본 개시의 다른 실시 예에 따르면, 기준 형태 정보를 서버(미도시)로부터 수신하는 것도 가능하다. 여기서, 서버는 클라우드 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다.
통신부(150)는 외부 디바이스(미도시)와 통신을 수행할 수 있다. 일 예로, 통신부(150)는 유/무선 통신 방식에 따라 외부 서버와 통신을 수행할 수 있는데, BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication), V2X(Vehicle to Everything), 이동통신(Cellular) 등과 같은 통신 방식을 이용할 수 있다.
통신부(150)는 교통 표지판의 기준 형태 정보를 외부 서버로부터 수신할 수 있다. 또한, 통신부(150)는 외부 서버로부터 차량의 현재 위치, 경로 등에 관련된 다양한 정보를 수신할 수도 있음은 물론이다. 일 예로, 통신부(150)는 외부 서버로부터 날씨 정보, 뉴스 정보, 도로 상황 정보 등을 수신할 수도 있다. 여기서, 도로 상황 정보는 차량이 주행 중인 경로(또는 도로)에 대한 상황 정보를 의미할 수 있다. 예를 들어, 도로의 노면 상태 정보, 교통 상황 정보, 교통 사고 정보 및 교통 단속 정보 등 다양한 정보를 수신할 수도 있다.
디스플레이(미도시)는 차량 운행 정보 등을 포함하는 다양한 컨텐츠를 디스플레이 한다. 여기서, 차량 운행 정보는, 차량의 현재 속도, 차량이 현재 주행 중인 도로의 제한 속도, 교통 표지판 정보 등을 포함할 수 있다. 특히, 디스플레이는 프로세서(120)의 제어에 의해 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 디스플레이 할 수 있다.
디스플레이는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot), 마이크로 LED(Micro light-emitting diode) 디스플레이 등과 같은 다양한 형태로 구현될 수 있다. 특히, 디스플레이는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다. 이 경우, 디스플레이는 출력 장치 이외에 상술한 사용자 인터페이스(미도시)로 사용될 수 있게 된다. 여기서, 터치스크린은 터치 입력 위치 및 면적뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.
다만, 주행 보조 장치(100)는 상술한 디스플레이를 포함하지 않을 상태로 구현될 수도 있다.
도 4는 본 개시의 일 실시 예에 따른 제1 후보 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 4a는, 이미지 촬영부(110)를 통해 획득된 차량의 주변 이미지(410)이다. 주변 이미지(410)에는 차량이 주행 중인 경로, 외부 차량, 교통 표지판 등 주변 환경이 포함될 수 있다.
주행 보조 장치(100)는 주변 이미지(410)에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별할 수 있다. 구체적으로, 주행 보조 장치(100)는 주변 이미지(410)에 포함된 R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 제1 후보 영역으로 식별할 수 있다.
도 4a에 따르면, 팔각형 객체(420) 및 외부 차량의 후미등(430)에 대응되는 영역의 R 컬러 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역으로 식별되어 제1 후보 영역으로 식별될 수 있다.
이 경우, 주행 보조 장치(100)는 제1 후보 영역만을 포함하는 바이너리 이미지(440)를 획득할 수 있다.
도 4b는, 제1 후보 영역만을 검은 색으로 나타내고 나머지 영은 흰색으로 나타내는 바이너리 이미지(440)이다.
따라서, 바이너리 이미지(440)에는 팔각형 객체(420)의 테두리 및 외부 차량의 후미등(430)만이 표시될 수 있다.
다만, 도 4b에 따른 바이너리 이미지(440)는, 제1 후보 영역은 검은 색으로 표현되고 나머지 영역은 흰색으로 표현되었으나, 이는 일 예에 불과할 뿐 주변 이미지(410)에서 제1 후보 영역이 나머지 영역과 구분될 수 있는 형태이면 다양한 방법으로 표현될 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 제2 후보 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 5a는, 제1 후보 영역만을 포함하는 바이너리 이미지(510)이다.
주행 보조 장치(100)는 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별할 수 있다. 구체적으로, 주행 보조 장치(100)는 색상 정보에 따라 획득된 바이너리 이미지(510)에 기초하여 제1 후보 영역에서 기준 형태 정보가 식별되면, 식별된 제1 후보 영역을 제2 후보 영역으로 식별할 수 있다.
도 5a에 따르면, 바이너리 이미지(510)에 포함된 팔각형 객체(520)의 형태는 팔각형이다. 팔각형 형태는 기준 형태 정보에 저장된 형태이므로, 주행 보조 장치(100)는 팔각형 객체(520)를 포함하는 영역을 제2 후보 영역으로 식별할 수 있다.
또한, 바이너리 이미지(510)에 포함된 외부 차량의 후미등(530)의 형태는 타원형으로 기준 형태 정보에 저장된 형태가 아니므로, 주행 보조 장치(100)는 외부 차량의 후미등(530)을 포함하는 영역을 후보 영역에서 제외할 수 있다.
도 5b는, 제2 후보 영역(550)만을 포함하는 이미지일 수 있다. 형태 정보에 기초하여 팔각형 객체(520)만이 제2 후보 영역(550)으로 식별된 상태이다.
이후, 주행 보조 장치(100)는 제2 후보 영역(550)을 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초하여 획득된 픽셀 정보를 트레이닝 모델에 적용하여 제2 후보 영역(550)에 포함된 객체가 교통 표지판인지 여부를 식별할 수 있다. 이는 도 6에서 자세히 설명하도록 한다.
도 6은 본 개시의 일 실시 예에 따른 제2 후보 영역을 복수의 블록으로 식별하여 픽셀 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 6a는 M*N 형태의 복수의 블록으로 식별된 제2 후보 영역(610)에서 픽셀 정보를 획득하는 과정을 설명하기 위한 도면이다.
주행 보조 장치(100)는 주변 이미지에서 색상 정보 및 형태 정보에 기초하여 제2 후보 영역(610)을 식별하고, 제2 후보 영역(610)을 M*N 형태의 복수의 블록으로 식별할 수 있다. 예를 들어, 주행 보조 장치(100)는 제2 후보 영역(610)을 수평 방향을 기준으로 복수 개인 M개의 제1 블록으로 식별하고, 제2 후보 영역(610)을 수직 방향을 기준으로 복수 개인 N개의 제2 블록으로 식별할 수 있다.
주행 보조 장치(100)는 M개의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보(620, 625)를 획득하고, N개의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보(630, 635)를 획득할 수 있다.
여기서, 제1 픽셀 정보(620, 625)는, 복수의 제1 블록 각각에 포함된 픽셀의 평균 값(620) 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값(625)을 포함할 수 있다. 또한, 제2 픽셀 정보(630, 635)는, 복수의 제2 블록 각각에 포함된 픽셀의 평균 값(630) 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값(635)을 포함할 수 있다. 또한, 제1 및 제2 픽셀 정보(620 내지 635)는 행렬 값 또는 벡터 형태로 획득될 수 있다. 이하에서는 설명의 편의를 위해 복수의 제1 블록 각각에 포함된 픽셀의 평균 값(620)은 행렬 A 1, 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값(625)은 행렬 D 1, 복수의 제2 블록 각각에 포함된 픽셀의 평균 값(630)은 행렬 A 2 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값(635)은 행렬 D 2로 명명한다.
이러한 행렬들은 하기의 수학식을 통해 산출될 수 있다.
Figure PCTKR2019013037-appb-img-000015
Figure PCTKR2019013037-appb-img-000016
여기서, 행렬 A 1은 복수의 제1 블록 각각에 포함된 픽셀의 평균 값에 관한 행렬이고, 행렬 A 2는 복수의 제2 블록 각각에 포함된 픽셀의 평균 값에 관한 행렬이고, M은 행의 개수, N은 열의 개수, A는 픽셀 값이다.
평균 값에 관한 행렬(620, 630) 정보는 교통 표지판의 형태에 대한 공간 정보를 포함하고 있지만, 삼각형 혹은 사각형으로 표현되는 유사 형태 간 구별은 용이하지 않을 수 있다. 따라서 평균 값 정보뿐만 아니라 인접한 평균 값 간 차이에 관한 행렬(625, 635) 정보도 이용함으로써 식별 대상이 되는 교통 표지판에 대한 픽셀 정보를 좀 더 정확하게 산출할 수 있다.
Figure PCTKR2019013037-appb-img-000017
Figure PCTKR2019013037-appb-img-000018
여기서, 행렬 D 1은 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값에 관한 행렬이고, 행렬 D 2는 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값에 관한 행렬이다.
상술한 수학식 2 내지 수학식 5를 통해 M*1 형태의 A1 행렬 및 D1 행렬, 1*N 형태의 A2 행렬 및 D2 행렬이 산출될 수 있다.
산출된 A1, D1, A2 및 D2 행렬은 픽셀 정보로서 트레이닝 모델에 적용되어 제2 후보 영역에 교통 표지판의 포함 여부가 식별될 수 있다.
M*1 형태의 A1 행렬 및 D1 행렬의 전치 행렬을 통해 1*M 형태로 변경되어 A1, A2, D1 및 D2 행렬이 모두 1행만을 갖는 통일된 형태로 트레이닝 모델에 적용될 수 있다. 또는 1*N 형태의 A2 행렬 및 D2 행렬의 전치 행렬을 통해 N*1 형태로 변경되어 A1, A2, D1 및 D2 행렬이 모두 1열만을 갖는 통일된 형태로 트레이닝 모델에 적용될 수도 있다.
도 6b는 제2 후보 영역을 복수의 블록으로 식별하여 픽셀 정보를 획득하는 일 예를 설명하기 위한 도면이다.
주행 보조 장치(100)는 획득된 주변 이미지(640)로부터 제2 후보 영역(610)을 M*N 형태의 복수의 블록으로 식별하여 픽셀 정보를 획득할 수 있다.
도 6b에 따르면, 주행 보조 장치(100)는 제1 행에 포함된 N개의 블록 각각의 픽셀의 평균 값을 83, 제2 행에 포함된 N개의 블록 각각의 픽셀의 평균 값을 66 및 제M 행에 포함된 N개의 블록 각각의 픽셀의 평균 값을 47로 산출할 수 있다. 또한, 주행 보조 장치(100)는 인접한 블록인 제1 행과 제2 행의 평균 값 간 차이 값인 17, 제2 행과 제3 행의 평균 값 간 차이 값인 15를 산출할 수 있다.
또한, 주행 보조 장치(100)는 제1 열에 포함된 M개의 블록 각각의 픽셀의 평균 값을 86, 제2 열에 포함된 M개의 블록 각각의 픽셀의 평균 값을 67 및 제N 행에 포함된 M개의 블록 각각의 픽셀의 평균 값을 45로 산출할 수 있다. 또한, 주행 보조 장치(100)는 인접한 블록인 제1 열과 제2 열의 평균 값 간 차이 값인 19, 제2 열과 제3 열의 평균 값 간 차이 값인 13을 산출할 수 있다.
주행 보조 장치(100)는 상술한 방식을 통해 제2 후보 영역(610) 전체에서 제1 블록 각각에 포함된 픽셀의 평균 값(620), 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값(625), 복수의 제2 블록 각각에 포함된 픽셀의 평균 값(630) 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값(635)을 산출할 수 있다.
이후, 주행 보조 장치(100)는 복수의 블록 각각에 포함된 픽셀 값에 기초하여 획득된 픽셀 정보(620 내지 635)를 트레이닝 모델에 적용하여 제2 후보 영역(610)에 포함된 객체가 교통 표지판인지 여부를 식별할 수 있다.
트레이닝 모델에 의해 제2 후보 영역(610)이 교통 표지판을 포함하는 것으로 식별되는 경우, 주행 보조 장치(100)는 제2 후보 영역을 영상 인식 기술을 통해 교통 표지판 내부의 숫자나 기호를 식별하여 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별할 수 있다. 예를 들어, 주행 보조 장치(100)는 OCR 기술을 통해 교통 표지판 내부에 표시된 숫자 '60'을 획득하여, 차량이 현재 주행 중인 도로의 최고 속도가 60Km/h임을 식별할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 식별된 교통 표지판 영역의 정보를 사용자에게 제공하는 동작을 설명하는 도면이다.
도 7a에 따르면, 주행 보조 장치(100)는 이미지 촬영부에 의해 획득되는 주변 이미지를 대쉬보드(dashboard), 내비게이션 등에 구비된 디스플레이(710)를 통해 디스플레이할 수 있다.
특히, 트레이닝 모델에 의해 제2 후보 영역이 교통 표지판(720)을 포함하는 것으로 식별되는 경우, 주행 보조 장치(100)는 OCR 기술 등을 통해 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 디스플레이(710)를 통해 제공할 수 있다.
예를 들어, 도 7a와 같이, 주행 보조 장치(100)는 교통 표지판(720) 내부에 표시된 숫자 '60'을 획득하여, 차량이 현재 주행 중인 도로의 최고 속도가 60Km/h임을 식별할 수 있다. 주행 보조 장치(100)는 주행 중인 도로의 제한 속도가 60Km/h라는 정보를 디스플레이(710)를 통해 사용자에게 제공할 수 있다. 또한, 주행 보조 장치(100)는 차량의 최고 속도가 60Km/h를 초과하지 않도록 자동으로 차량을 제어할 수도 있다.
도 7b에 따르면, 주행 보조 장치(100)는 이미지 촬영부에 의해 획득되는 주변 이미지를 HUD 디스플레이(730)를 통해 디스플레이할 수 있다. 또한, 주행 보조 장치(100)는 교통 표지판(720)에 관한 정보를 HUD 디스플레이(730)를 통해 디스플레이할 수 있다.
예를 들어, 주행 보조 장치(100)는 차량이 주행 중인 도로의 제한 속도가 60Km/h라는 정보를 HUD 디스플레이(730)를 통해 사용자에게 제공할 수 있다. 또한, 주행 보조 장치(100)는 차량의 최고 속도가 60Km/h를 초과하지 않도록 자동으로 차량을 제어할 수도 있다.
도 8은 본 개시의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
주행 보조 장치는, 이미지 촬영부를 통해 차량의 주변 이미지를 획득할 수 있다(S810).
주행 보조 장치는, 주변 이미지에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별할 수 있다(S820).
구체적으로, 주행 보조 장치는, 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고, R 컬러의 픽셀 값이 G 컬러 및 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 제1 후보 영역으로 식별할 수 있다.
여기서, 기설정된 배수는, 주변 환경의 조도 및 강수량 중 적어도 하나에 기초하여 갱신될 수 있다.
주행 보조 장치는, 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별할 수 있다(S830).
구체적으로, 주행 보조 장치는, 제1 후보 영역이 식별되면, 주변 이미지 중 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고, 획득된 바이너리 이미지에 기초하여 제2 후보 영역을 식별할 수 있다. 주행 보조 장치는, 제1 후보 영역에서 기 저장된 교통 표지판의 기준 형태 정보가 식별되면, 제1 후보 영역을 제2 후보 영역으로 식별할 수 있다.
주행 보조 장치는, 제2 후보 영역을 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초하여 교통 표지판 영역을 식별할 수 있다(S840).
구체적으로, 주행 보조 장치는, 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고, 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득할 수 있다. 이후, 주행 보조 장치는 제1 픽셀 정보 및 제2 픽셀 정보에 기초하여 교통 표지판 영역을 식별할 수 있다.
여기서, 제1 픽셀 정보는, 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다. 또한, 제2 픽셀 정보는, 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함할 수 있다.
주행 보조 장치는, 제1 픽셀 정보 및 제2 픽셀 정보를 트레이닝 모델에 적용하여 교통 표지판 영역을 식별할 수 있다. 여기서, 트레이닝 모델은, 복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는 모델일 수 있다.
주행 보조 장치는, 식별된 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 제공할 수 있다.
또한, 주행 보조 장치는, 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 자동으로 제어될 수 있다.
각 단계의 상세 동작에 대해서는 상술한 바 있으므로 자세한 설명은 생략하도록 한다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들 중 적어도 일부 구성은 기존 주행 보조 장치에 설치 가능하며, OS 상에서 사용자가 직접 사용하게 되는 소프트웨어인 어플리케이션 형태로 구현될 수 있다. 어플리케이션은 차량의 디스플레이 화면 상에서 아이콘 인터페이스 형태로 제공될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들 중 적어도 일부 구성은, 기존 주행 보조 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 차량에 탑재 가능한 주행 보조 장치에 있어서,
    이미지 촬영부; 및
    상기 이미지 촬영부를 통해 촬영된 주변 이미지 내에서 특정 색상 영역을 제1 후보 영역으로 식별하고, 상기 제1 후보 영역 내에서 특정 형태가 포함된 영역을 제2 후보 영역으로 식별하며, 상기 제2 후보 영역 내에서 교통 표지판의 영역을 식별하는 프로세서;를 포함하는 주행 보조 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 상기 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고,
    상기 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 상기 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득하고,
    상기 제1 픽셀 정보 및 상기 제2 픽셀 정보에 기초하여 상기 교통 표지판의 영역을 식별하는, 주행 보조 장치.
  3. 제2항에 있어서,
    상기 제1 픽셀 정보는,
    상기 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하고,
    상기 제2 픽셀 정보는,
    상기 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하는, 주행 보조 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 픽셀 정보 및 상기 제2 픽셀 정보를 트레이닝 모델에 적용하여 상기 교통 표지판의 영역을 식별하고,
    상기 트레이닝 모델은,
    복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는, 주행 보조 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고,
    상기 R 컬러의 픽셀 값이 상기 G 컬러 및 상기 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 상기 제1 후보 영역으로 식별하는, 주행 보조 장치.
  6. 제5항에 있어서,
    조도 센서 및 강우 센서 중 적어도 하나;를 더 포함하고,
    상기 배수는,
    상기 조도 센서를 통해 측정된 조도 및 상기 강우 센서를 통해 측정된 강수량 중 적어도 하나에 기초하여 갱신되는, 주행 보조 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 후보 영역이 식별되면, 상기 주변 이미지 중 상기 제1 후보 영역만을 포함하는 바이너리(binary) 이미지를 획득하고,
    상기 획득된 바이너리 이미지에 기초하여 상기 제2 후보 영역을 식별하는, 주행 보조 장치.
  8. 제1항에 있어서,
    교통 표지판의 기준 형태 정보를 저장하는 저장부;를 더 포함하고,
    상기 제1 후보 영역에서 상기 기준 형태 정보가 식별되면, 상기 제1 후보 영역을 상기 제2 후보 영역으로 식별하는, 주행 보조 장치.
  9. 제1항에 있어서,
    디스플레이;를 더 포함하고,
    상기 프로세서는,
    상기 식별된 교통 표지판 영역에서 교통 표지판의 타입 및 지시 내용 중 적어도 하나를 식별하여 제공하도록 상기 디스플레이를 제어하고,
    상기 교통 표지판의 타입 및 지시 내용 중 적어도 하나에 기초하여 상기 차량을 제어하는, 주행 보조 장치.
  10. 이미지 처리 방법에 있어서,
    이미지 촬영부를 통해 차량의 주변 이미지를 획득하는 단계;
    상기 획득된 주변 이미지에 포함된 색상 정보에 기초하여 제1 후보 영역을 식별하는 단계;
    상기 제1 후보 영역에 포함된 형태 정보에 기초하여 제2 후보 영역을 식별하는 단계; 및
    상기 제2 후보 영역을 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초하여 교통 표지판 영역을 식별하는 단계;를 포함하는 이미지 처리 방법.
  11. 제10항에 있어서,
    상기 교통 표지판 영역을 식별하는 단계는,
    상기 제2 후보 영역을 제1 방향을 기준으로 복수의 제1 블록으로 식별하고, 상기 복수의 제1 블록 각각에 포함된 픽셀 값에 기초하여 제1 픽셀 정보를 획득하고,
    상기 제2 후보 영역을 제2 방향을 기준으로 복수의 제2 블록으로 식별하고, 상기 복수의 제2 블록 각각에 포함된 픽셀 값에 기초하여 제2 픽셀 정보를 획득하고,
    상기 제1 픽셀 정보 및 상기 제2 픽셀 정보에 기초하여 상기 교통 표지판 영역을 식별하는, 이미지 처리 방법.
  12. 제11항에 있어서,
    상기 제1 픽셀 정보는,
    상기 복수의 제1 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제1 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하고,
    상기 제2 픽셀 정보는,
    상기 복수의 제2 블록 각각에 포함된 픽셀의 평균 값 및 인접한 제2 블록에 포함된 픽셀의 평균 값 간 차이 값을 포함하는, 이미지 처리 방법.
  13. 제11항에 있어서,
    상기 교통 표지판 영역을 식별하는 단계는,
    상기 제1 픽셀 정보 및 상기 제2 픽셀 정보를 트레이닝 모델에 적용하여 상기 교통 표지판 영역을 식별하고,
    상기 트레이닝 모델은,
    복수의 샘플 교통 표지판 이미지를 복수의 블록으로 식별하고, 상기 복수의 블록 각각에 포함된 픽셀 값에 기초한 픽셀 정보를 학습하여 획득되는, 이미지 처리 방법.
  14. 제10항에 있어서,
    상기 제1 후보 영역을 식별하는 단계는,
    상기 주변 이미지에 포함된 R(Red) 컬러, G(Green) 컬러 및 B(Blue) 컬러 값을 식별하고,
    상기 R 컬러의 픽셀 값이 상기 G 컬러 및 상기 B 컬러의 픽셀 값의 기설정된 배수 이상인 영역을 상기 제1 후보 영역으로 식별하는, 이미지 처리 방법.
  15. 제14항에 있어서,
    상기 배수는,
    조도 및 강수량 중 적어도 하나에 기초하여 갱신되는, 이미지 처리 방법.
PCT/KR2019/013037 2018-10-04 2019-10-04 주행 보조 장치 및 이미지 처리 방법 WO2020071853A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/265,647 US11780444B2 (en) 2018-10-04 2019-10-04 Driving assistance apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0118011 2018-10-04
KR1020180118011A KR102274544B1 (ko) 2018-10-04 2018-10-04 주행 보조 장치 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
WO2020071853A1 true WO2020071853A1 (ko) 2020-04-09

Family

ID=70055587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013037 WO2020071853A1 (ko) 2018-10-04 2019-10-04 주행 보조 장치 및 이미지 처리 방법

Country Status (3)

Country Link
US (1) US11780444B2 (ko)
KR (1) KR102274544B1 (ko)
WO (1) WO2020071853A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220045606A (ko) * 2020-10-05 2022-04-13 현대자동차주식회사 차량의 서스펜션 제어 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS636471B2 (ko) * 1980-08-22 1988-02-09 Hitachi Ltd
KR20120057351A (ko) * 2010-11-26 2012-06-05 서강대학교산학협력단 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
KR20140066847A (ko) * 2012-11-22 2014-06-02 현대자동차주식회사 속도 제한 표지판 인식 장치 및 방법
KR20150081480A (ko) * 2014-01-06 2015-07-15 현대모비스 주식회사 교통 표지판 인식 방법 및 장치
US9092695B1 (en) * 2013-03-13 2015-07-28 Google Inc. High-accuracy real-time road sign detection from images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3006471U (ja) 1994-07-08 1995-01-24 株式会社藤井商会 養豚用給餌器
JP3006471B2 (ja) * 1996-01-08 2000-02-07 三菱自動車工業株式会社 標識の認識方法
EP1383098B1 (en) * 2002-07-09 2006-05-17 Accenture Global Services GmbH System for automatic traffic sign recognition
JP2007057331A (ja) 2005-08-23 2007-03-08 Denso Corp 車載霧判定装置
JP2008262467A (ja) 2007-04-13 2008-10-30 Honda Motor Co Ltd 運転支援装置
KR101014125B1 (ko) 2008-12-04 2011-02-14 재단법인대구경북과학기술원 지능형 자동차를 위한 교통 표지판 검출 방법 및 상기 방법을 실행하는 시스템
KR101178507B1 (ko) 2010-08-16 2012-09-07 포항공과대학교 산학협력단 도로 표식 인식 시스템 및 방법
KR101409340B1 (ko) 2013-03-13 2014-06-20 숭실대학교산학협력단 교통 표지 인식 방법 및 그 시스템
CN103489324B (zh) 2013-09-22 2015-09-09 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
JP5961207B2 (ja) * 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US11080857B2 (en) * 2018-04-26 2021-08-03 NeuralSeg Ltd. Systems and methods for segmenting an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS636471B2 (ko) * 1980-08-22 1988-02-09 Hitachi Ltd
KR20120057351A (ko) * 2010-11-26 2012-06-05 서강대학교산학협력단 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
KR20140066847A (ko) * 2012-11-22 2014-06-02 현대자동차주식회사 속도 제한 표지판 인식 장치 및 방법
US9092695B1 (en) * 2013-03-13 2015-07-28 Google Inc. High-accuracy real-time road sign detection from images
KR20150081480A (ko) * 2014-01-06 2015-07-15 현대모비스 주식회사 교통 표지판 인식 방법 및 장치

Also Published As

Publication number Publication date
US20210383140A1 (en) 2021-12-09
US11780444B2 (en) 2023-10-10
KR20200044164A (ko) 2020-04-29
KR102274544B1 (ko) 2021-07-07

Similar Documents

Publication Publication Date Title
WO2018110964A1 (en) Electronic device and method for recognizing object by using plurality of sensors
WO2019139310A1 (en) Autonomous driving apparatus and method for autonomous driving of a vehicle
WO2019168336A1 (en) Autonomous driving apparatus and method thereof
WO2018182153A1 (ko) 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법
WO2018131876A1 (en) Vehicle terminal device and control method thereof
WO2020138908A1 (ko) 전자 장치 및 그 제어 방법
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
EP3826896A1 (en) Vehicle driving control apparatus and calibration method performed by the vehicle driving control apparatus
WO2019027141A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
WO2020231153A1 (en) Electronic device and method for assisting with driving of vehicle
WO2019172645A1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
EP3669181A1 (en) Vision inspection management method and vision inspection system
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2020145607A1 (en) Electronic apparatus and method of assisting driving of vehicle
WO2020059926A1 (ko) 이동단말기 및 그 제어방법
WO2020171561A1 (en) Electronic apparatus and controlling method thereof
WO2020130485A1 (ko) 전자 장치 및 이를 이용한 v2x 서비스를 제공하는 방법
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2021101051A1 (en) Electronic device for converting handwriting input to text and method of operating the same
WO2018135745A1 (ko) 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
WO2020071853A1 (ko) 주행 보조 장치 및 이미지 처리 방법
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
WO2020171333A1 (ko) 이미지 내의 오브젝트 선택에 대응하는 서비스를 제공하기 위한 전자 장치 및 방법
WO2019160325A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869697

Country of ref document: EP

Kind code of ref document: A1