KR102107298B1 - Image analysis apparatus and method - Google Patents

Image analysis apparatus and method Download PDF

Info

Publication number
KR102107298B1
KR102107298B1 KR1020180070754A KR20180070754A KR102107298B1 KR 102107298 B1 KR102107298 B1 KR 102107298B1 KR 1020180070754 A KR1020180070754 A KR 1020180070754A KR 20180070754 A KR20180070754 A KR 20180070754A KR 102107298 B1 KR102107298 B1 KR 102107298B1
Authority
KR
South Korea
Prior art keywords
pixel value
environment
infrared image
learning
target object
Prior art date
Application number
KR1020180070754A
Other languages
Korean (ko)
Other versions
KR20190143153A (en
Inventor
김도휘
Original Assignee
써모아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 써모아이 주식회사 filed Critical 써모아이 주식회사
Priority to KR1020180070754A priority Critical patent/KR102107298B1/en
Priority to PCT/KR2019/006629 priority patent/WO2019245191A1/en
Publication of KR20190143153A publication Critical patent/KR20190143153A/en
Application granted granted Critical
Publication of KR102107298B1 publication Critical patent/KR102107298B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 영상 분석 장치 및 방법에 관한 것으로, 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력받아 기계 학습을 수행하는 적외선 영상 학습부, 타깃 객체에 관한 해당 적외선 영상을 수신하는 적외선 영상 수신부, 및 해당 적외선 영상에서 기계 학습의 학습 내용을 기초로 해당 객체 픽셀 값을 추출하여 타깃 객체를 분류하는 객체 분류부를 포함한다.The present invention relates to an image analysis apparatus and method, and performs machine learning by receiving an object pixel value, an object environment pixel value, and an object environment variable that is affected by the surrounding environment, detected from an infrared image of an object in an object learning population. It includes an infrared image learning unit, an infrared image receiving unit for receiving the corresponding infrared image of the target object, and an object classifying unit for extracting the object pixel value based on the learning content of the machine learning from the infrared image to classify the target object. .

Description

영상 분석 장치 및 방법{IMAGE ANALYSIS APPARATUS AND METHOD}Image analysis device and method {IMAGE ANALYSIS APPARATUS AND METHOD}

본 발명은 영상 분석 기술에 관한 것으로, 보다 상세하게는 적외선 영상에 기반하여 타깃 객체를 분류할 수 있는 영상 분석 장치 및 방법에 관한 것이다.The present invention relates to an image analysis technology, and more particularly, to an image analysis apparatus and method capable of classifying a target object based on an infrared image.

일반적으로 차량에는 안정적이고 편안한 주행 상태를 제공할 수 있도록 하는 각종 편의 수단이 설치된다. 편의 수단에 대한 수요와 더불어 차량의 안전을 위한 장치들에 대한 수요도 증가하고 있다.In general, a vehicle is provided with various convenience means to provide a stable and comfortable driving condition. In addition to the demand for convenience means, the demand for devices for vehicle safety is also increasing.

차량 안전 장치로는 ABS(Antilock Breaking System) 장치, ECS(Electronic Controlled Suspension) 장치 및 자율 긴급 제동 시스템(AEB; Autonomous Emergency Braking) 등과 같은 능동 안전 장치와 사후 사고의 원인 규명을 위한 차량 용 블랙박스와 같은 수동 안전 장치를 포함할 수 있다.Vehicle safety devices include active safety devices such as Anti-Blocking System (ABS) devices, Electronic Controlled Suspension (ECS) devices, and Autonomous Emergency Braking (AEB) devices, and black boxes for vehicles to determine the cause of post-incident accidents. The same manual safety device may be included.

이 중 자율 긴급 제동 시스템은 차량에 탑재된 레이더를 통해 전방에 주행 중인 차량(또는 물체)와의 거리를 측정하며, 자 차와 전방 차량과의 거리가 일정 거리보다 가까운 경우에 충돌 위험을 인식한다. 충돌 위험이 인식되면 자동으로 제동이 이루어지도록 함으로써 차량 속도를 감속시킨다.Among them, the autonomous emergency braking system measures the distance between the vehicle (or object) driving in front of the vehicle through a radar mounted on the vehicle, and recognizes the danger of collision when the distance between the host vehicle and the vehicle in front is closer than a certain distance. When the danger of collision is recognized, the vehicle is decelerated by automatically braking.

또한, 자율 긴급 제동 시스템은 충돌 위험이 인식되면 운전자에게 경고음으로 충돌 위험을 알리고 운전자의 페달 조작에 신속히 반응할 수 있도록 제동 장치를 대기 모드로 동작 시킨다. 이러한 자율 긴급 제동의 성능을 높이기 위해서는 차량 전방의 물체가 보행자인지, 차량인지 또는 이외의 물체인지를 빠르고 정확하게 판별할 필요가 있다.In addition, when the danger of collision is recognized, the autonomous emergency braking system notifies the driver of the collision danger with a warning sound and operates the braking device in a standby mode so that the driver can respond quickly to pedal operation. In order to improve the performance of the autonomous emergency braking, it is necessary to quickly and accurately determine whether an object in front of the vehicle is a pedestrian, a vehicle, or other objects.

한국등록특허 제10-1671993(2016.10.27)호는 차량 안전 시스템에 관한 것으로, 포토 다이오드, 추돌 방지 거리 연산 모듈, 속도 설정 모듈, 차량 제어 모듈, 교통신호등 감지 모듈, 색상 표시 모듈, 주변 감시 모듈을 포함하고, 색상 감지 모듈은 교통신호등의 색상을 범위로 설정하고, 색상 감지 모듈에서 감지되는 일정 범위의 색상은 하나의 색상으로 결정하며, 색상 표시 모듈은 교통신호등 감지 카메라 모듈에서 획득된 영상 정보에서 교통 신호등 색상 영역을 디스플레이 하고, 차량 속도 제어 모듈은 색상 감지 모듈이 감지한 교통신호등의 색상이 적색이며, 해당 교통 신호등과 사용자 차량 간의 거리가 일정 거리 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하고, 주변 거리 연산 모듈이 감지한 물체와 사용자 차량 간의 거리가 일정 범위 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하며, 주변 거리 연산 모듈은 주변 감시 카메라 모듈에서 획득된 영상에 블록들을 이용하여 화면 전체를 크기별로 탐색하여 영역들의 밝기 차이로 구분하여 학습한 후, AdaBoost 알고리즘을 이용하여 가중치를 부여하고, 약분류기들을 결합해 강한 분류기를 생성하여 영상에서 보행자 얼굴을 검출하고, 보행자 얼굴이 검출된 경우 해당 보행자와 사용자 차량 간의 거리가 일정 범위 이내일 경우 경고 메시지를 보내는 것을 특징으로 한다.Korean Registered Patent No. 10-1671993 (2016.10.27) relates to a vehicle safety system, a photodiode, collision prevention distance calculation module, speed setting module, vehicle control module, traffic signal light detection module, color display module, and surrounding monitoring module Including, the color detection module sets the color of the traffic light as a range, the color of a certain range detected by the color detection module is determined by one color, and the color display module is the video information obtained from the traffic light detection camera module Displays the traffic light color area, and the vehicle speed control module stops the user's vehicle and flashes the emergency light when the color of the traffic light detected by the color detection module is red and the distance between the traffic light and the user's vehicle is within a certain distance. And the distance between the object detected by the surrounding distance calculation module and the user's vehicle is within a certain range. Right Stops the user's vehicle and flashes the emergency light, and the peripheral distance calculation module searches for the entire screen by size using blocks on the image obtained from the surrounding surveillance camera module, learns by dividing it by the brightness difference of the areas, and then learns the AdaBoost algorithm. It is characterized in that it uses weighting, combines weak classifiers to generate a strong classifier, detects a pedestrian face in the image, and sends a warning message if the distance between the pedestrian and the user's vehicle is within a certain range when a pedestrian face is detected. Is done.

한국등록특허 제10-1611273(2016.04.05)호는 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법에 관한 것으로, 차량에 배치되어 기설정 주기에 따라 적외선을 방출하는 적외선 램프와, 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 영상 데이터를 획득하되, 적외선 램프가 적외선을 방출하는 경우 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 온 영상과, 적외선 램프가 적외선을 방출하지 않는 경우 타 차량 전조등의 적외선 성분을 포함하는 오프 영상을 획득하는 적외선 카메라, 및 영상 데이터를 분석하여 피사체의 영역을 검출하는 피사체 인식부를 포함한다.Korean Registered Patent No. 10-1611273 (2016.04.05) relates to a subject detection system and method using sequential infrared images, which are disposed in a vehicle and emit infrared rays according to a preset cycle, and are reflected back from the subject Image data including the infrared component of the coming infrared component and the infrared component of the headlight of another vehicle is obtained, but when the infrared lamp emits infrared rays, the infrared image reflected from the subject returns and the on-image including the infrared component of the headlight of another vehicle and infrared rays When the lamp does not emit infrared rays, it includes an infrared camera that acquires an off-image that includes infrared components of other vehicle headlights, and a subject recognition unit that analyzes image data to detect a region of the subject.

한국등록특허 제10-1671993(2016.10.27)호Korean Registered Patent No. 10-1671993 (2016.10.27) 한국등록특허 제10-1611273(2016.04.05)호Korean Registered Patent No. 10-1611273 (2016.04.05)

본 발명의 일 실시예는 적외선 영상에 기반하여 타깃 객체를 분류할 수 있는 영상 분석 장치 및 방법을 제공하고자 한다.One embodiment of the present invention is to provide an image analysis apparatus and method capable of classifying a target object based on an infrared image.

본 발명의 일 실시예는 적외선 영상에서 타깃 객체의 주변 환경에 의한 요인을 감소시켜 타깃 객체를 오인하는 오류를 최소화시킬 수 있는 영상 분석 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an image analysis apparatus and method capable of minimizing the error of misidentifying a target object by reducing factors caused by the surrounding environment of the target object in the infrared image.

본 발명의 일 실시예는 적외선 영상에서 딥러닝 알고리즘을 이용하여 타깃 객체 자체의 픽셀 값을 추출한 후, 추출된 픽셀 값을 이용하여 타깃 객체를 분류함으로써 타깃 객체의 인식률을 향상시킬 수 있는 영상 분석 장치 및 방법을 제공하고자 한다.According to an embodiment of the present invention, after extracting a pixel value of the target object itself using a deep learning algorithm from an infrared image, an image analysis device capable of improving the recognition rate of the target object by classifying the target object using the extracted pixel value And to provide a method.

실시예들 중에서, 영상 분석 장치는 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력받아 기계 학습을 수행하는 적외선 영상 학습부, 타깃 객체에 관한 해당 적외선 영상을 수신하는 적외선 영상 수신부, 및 상기 해당 적외선 영상에서 상기 기계 학습의 학습 내용을 기초로 해당 객체 픽셀 값을 추출하여 상기 타깃 객체를 분류하는 객체 분류부를 포함한다.Among the embodiments, the image analysis apparatus receives an object pixel value, an object environment pixel value, and an object environment variable affected by the surrounding environment from an infrared image of an object in the object learning population, and performs an machine-infrared image. It includes a learning unit, an infrared image receiving unit that receives a corresponding infrared image related to a target object, and an object classification unit that classifies the target object by extracting a corresponding object pixel value based on the learning content of the machine learning from the corresponding infrared image. .

상기 적외선 영상 학습부는 상기 객체 픽셀 값, 상기 객체 환경 픽셀 값 및 상기 객체 환경 변수를 입력으로 하고, 상기 주변 환경에 따른 가중치 및 바이어스를 출력으로 하는 기계 학습을 수행하는 것을 특징으로 한다.The infrared image learning unit is characterized by performing machine learning by inputting the object pixel value, the object environment pixel value, and the object environment variable, and outputting weights and biases according to the surrounding environment.

상기 적외선 영상 학습부는 아래의 [수학식]에 따라 기계 학습을 수행하는 것을 특징으로 한다.The infrared image learning unit is characterized in that it performs machine learning according to [Mathematics] below.

[수학식][Mathematics]

Figure 112018060498415-pat00001
Figure 112018060498415-pat00001

(여기서, 상기

Figure 112018060498415-pat00002
은 상기 객체 픽셀 값, 상기
Figure 112018060498415-pat00003
는 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α는 상기 가중치, 상기 β는 상기 바이어스, 상기 γ는 상기 객체 환경 변수) (Here,
Figure 112018060498415-pat00002
Is the object pixel value, the
Figure 112018060498415-pat00003
Is the sum of the object pixel value and the object environment pixel value, the α is the weight, the β is the bias, and γ is the object environment variable)

상기 객체 분류부는 상기 타깃 객체의 주변 환경에 대응하여 상기 기계 학습된 가중치 및 바이어스를 이용하여 상기 타깃 객체의 적외선 영상에서 상기 해당 객체 픽셀 값을 추출하고, 미리 설정된 객체 별 객체 픽셀 값의 범위와 추출된 상기 해당 객체 픽셀 값 간의 비교에 기초하여 상기 타깃 객체를 분류하는 것을 특징으로 한다.The object classifying unit extracts the corresponding object pixel value from the infrared image of the target object by using the machine-trained weight and bias corresponding to the surrounding environment of the target object, and extracts the range and extraction of object pixel values for each preset object And classifying the target object based on the comparison between the corresponding object pixel values.

상기 객체 분류부는 아래의 [수학식]에 따라 상기 타깃 객체의 상기 객체 픽셀 값을 추출하는 것을 특징으로 한다.The object classifying unit extracts the object pixel value of the target object according to the following [Equation].

[수학식][Mathematics]

Figure 112018060498415-pat00004
Figure 112018060498415-pat00004

(여기서, 상기

Figure 112018060498415-pat00005
는 상기 타깃 객체의 상기 객체 픽셀 값, 상기
Figure 112018060498415-pat00006
는 타깃 객체의 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α'는 기계 학습된 상기 가중치, 상기 β'는 기계 학습된 상기 바이어스, 상기 γ는 상기 객체 환경 변수)(Here,
Figure 112018060498415-pat00005
Is the object pixel value of the target object, the
Figure 112018060498415-pat00006
Is the sum of the object pixel values of the target object and the object environment pixel values, the α 'is the machine-learned weight, the β' is the machine-learned bias, and the γ is the object environment variable)

상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값은 적외선 신호, 겉보기 온도, RGB 값 중 어느 하나에 대응하는 값인 것을 특징으로 한다.The object pixel value and the object environment pixel value may be values corresponding to any one of an infrared signal, an apparent temperature, and an RGB value.

실시예들 중에서, 영상 분석 방법은 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력 받아 기계 학습하여 상기 주변 환경에 따른 가중치 및 바이어스를 산출하는 단계, 타깃 객체에 관한 해당 적외선 영상을 수신하는 단계, 및 상기 산출된 가중치 및 바이어스를 이용하여 상기 해당 적외선 영상에서 해당 객체 픽셀 값을 추출하고, 추출된 해당 객체 픽셀 값을 이용하여 상기 타깃 객체를 분류하는 단계를 포함한다.Among the embodiments, the image analysis method receives the object pixel value and the object environment pixel value detected from the infrared image of the object in the object learning population, and the object environment variable affected by the surrounding environment to machine-learn to the surrounding environment. Calculating a weight and a bias according to the method, receiving a corresponding infrared image related to a target object, and extracting a corresponding object pixel value from the corresponding infrared image using the calculated weight and bias, and extracting the corresponding object pixel value And classifying the target object using.

상기 타깃 객체를 분류하는 단계는 추출된 상기 해당 객체 픽셀 값을 미리 설정된 객체 별 객체 픽셀 값의 범위에 매칭시키는 단계를 포함하는 것을 특징으로 한다.The classifying of the target object may include matching the extracted object pixel value to a range of object pixel values for each preset object.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology can have the following effects. However, since the specific embodiment does not mean to include all of the following effects or only the following effects, the scope of rights of the disclosed technology should not be understood as being limited thereby.

본 발명의 일 실시예에 따른 영상 분석 장치 및 방법은 적외선 영상에 기반하여 타깃 객체를 분류할 수 있다.The image analysis apparatus and method according to an embodiment of the present invention may classify a target object based on an infrared image.

본 발명의 일 실시예에 따른 영상 분석 장치 및 방법은 적외선 영상에서 타깃 객체의 주변 환경에 의한 요인을 감소시켜 타깃 객체를 오인하는 오류를 최소화시킬 수 있다.The image analysis apparatus and method according to an embodiment of the present invention can minimize errors caused by the target object by reducing factors caused by the surrounding environment of the target object in the infrared image.

본 발명의 일 실시 예에 따른 영상 분석 장치 및 방법은 적외선 영상에서 딥러닝 알고리즘을 이용하여 타깃 객체 자체의 픽셀 값을 추출한 후, 추출된 픽셀 값을 이용하여 타깃 객체를 분류함으로써 타깃 객체의 인식률을 향상시킬 수 있다.An image analysis apparatus and method according to an embodiment of the present invention extracts a pixel value of a target object itself using a deep learning algorithm from an infrared image, and then classifies the target object using the extracted pixel value to determine the recognition rate of the target object. Can be improved.

도 1은 본 발명의 일 실시예에 따른 영상 분석 시스템을 설명하는 도면이다.
도 2는 적외선 카메라로 입사되는 픽셀 값을 설명하기 위해 도시한 모식도이다.
도 3은 도 1에 있는 영상 분석 장치를 설명하는 블록도이다.
도 4는 도 1에 있는 영상 분석장치에서 수행되는 적외선 영상 분석 방법을 설명하는 순서도이다.
도 5 및 도 6은 도 1에 있는 영상 분석장치를 자율 주행 차량에 적용하여 적외선 영상 분석을 수행하는 과정을 설명하기 위해 도시한 도면이다.
1 is a diagram illustrating an image analysis system according to an embodiment of the present invention.
2 is a schematic diagram illustrating a pixel value incident to an infrared camera.
FIG. 3 is a block diagram illustrating the image analysis device in FIG. 1.
FIG. 4 is a flowchart illustrating an infrared image analysis method performed in the image analysis device of FIG. 1.
5 and 6 are diagrams illustrating a process of performing infrared image analysis by applying the image analysis device of FIG. 1 to an autonomous vehicle.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an example for structural or functional description, the scope of the present invention should not be interpreted as being limited by the examples described in the text. That is, since the embodiments can be variously changed and have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing technical ideas. In addition, the purpose or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such an effect, and the scope of the present invention should not be understood as being limited thereby.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are for distinguishing one component from other components, and the scope of rights should not be limited by these terms. For example, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is said to be "connected" to another component, it may be understood that other components may exist directly in the middle, although other components may be directly connected. On the other hand, when a component is said to be "directly connected" to another component, it should be understood that no other component exists in the middle. On the other hand, other expressions describing the relationship between the components, that is, "between" and "immediately between" or "adjacent to" and "directly neighboring to" should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions are to be understood as including plural expressions unless the context clearly indicates otherwise, and terms such as “comprises” or “have” are used features, numbers, steps, actions, components, parts or the like. It is to be understood that a combination is intended to be present, and should not be understood as pre-excluding the presence or addition possibility of one or more other features or numbers, steps, operations, components, parts or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (for example, a, b, c, etc.) is used for convenience of explanation. The identification code does not describe the order of each step, and each step clearly identifies a specific order in context. Unless stated, it may occur in a different order than specified. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, and optical data storage devices. In addition, the computer-readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains, unless otherwise defined. The terms defined in the commonly used dictionary should be interpreted as being consistent with the meanings in the context of related technologies, and cannot be interpreted as having ideal or excessively formal meanings unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 영상 분석 시스템을 설명하는 도면이고, 도 2는 적외선 카메라로 입사되는 픽셀 값을 설명하기 위해 도시한 모식도이다.1 is a diagram illustrating an image analysis system according to an embodiment of the present invention, and FIG. 2 is a schematic diagram illustrating a pixel value incident to an infrared camera.

도 1을 참조하면, 영상 분석 시스템(100)은 적외선 카메라(110), 영상 분석 장치(130) 및 데이터베이스(150)를 포함할 수 있다. 적외선 카메라(110)는 타깃 객체의 적외선 영상을 촬영한다. Referring to FIG. 1, the image analysis system 100 may include an infrared camera 110, an image analysis device 130, and a database 150. The infrared camera 110 photographs an infrared image of the target object.

영상 분석 장치(130)는 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 이용하여 기계 학습을 수행하고, 기계 학습 결과를 기초로 타깃 객체의 적외선 영상에서 객체 픽셀 값을 추출하여 타깃 객체를 분류한다. The image analysis device 130 performs machine learning by using the object pixel value and the object environment pixel value and the object environment variable affected by the surrounding environment, which are detected from the infrared image of the object in the object learning population, and the machine learning result The target object is classified by extracting the object pixel value from the infrared image of the target object based on.

여기에서, 객체 학습 모집단은 기계 학습에 필요한 다수의 객체, 예를 들어, 사람, 자동차, 표지판, 신호등 등을 포함할 수 있다. 본 발명의 일 실시예에 따른 픽셀 값은 적외선 신호, 겉보기 온도(apparent temperature) 및 RGB 값 중 어느 하나일 수 있다. 적외선 카메라(110)로 입사되는 픽셀 값(

Figure 112018060498415-pat00007
)은 아래의 [수학식 1]과 같이 표현될 수 있다.Here, the object learning population may include a number of objects necessary for machine learning, for example, people, cars, signs, traffic lights, and the like. The pixel value according to an embodiment of the present invention may be any one of an infrared signal, an apparent temperature, and an RGB value. Pixel value incident to the infrared camera 110 (
Figure 112018060498415-pat00007
) Can be expressed as [Equation 1] below.

Figure 112018060498415-pat00008
Figure 112018060498415-pat00008

여기에서,

Figure 112018060498415-pat00009
는 도 2에 도시된 바와 같이, 외부 광원(210)의 빛이 객체(230)의 표면에서 반사되는 픽셀 값(220),
Figure 112018060498415-pat00010
은 객체(230) 자체에서 표면 온도에 의해 방사되는 픽셀 값(240),
Figure 112018060498415-pat00011
는 객체(230)에 도달하지 않고 대기에서 산란되는 픽셀 값(250)이다.From here,
Figure 112018060498415-pat00009
As illustrated in FIG. 2, the pixel value 220 in which the light of the external light source 210 is reflected from the surface of the object 230,
Figure 112018060498415-pat00010
The pixel value 240 emitted by the surface temperature in the silver object 230 itself,
Figure 112018060498415-pat00011
Is a pixel value 250 that is scattered in the atmosphere without reaching the object 230.

즉, 적외선 카메라(110)를 통해 감지되는 픽셀 값은 객체 자체의 픽셀 값 뿐만 아니라 주변 환경에 의한 픽셀 값을 포함한다. 이하에서는 설명 상의 편의를 위해

Figure 112018060498415-pat00012
을 객체 픽셀 값이라 하고,
Figure 112018060498415-pat00013
Figure 112018060498415-pat00014
의 합을 객체 환경 픽셀 값이라 명칭 한다.That is, the pixel value detected through the infrared camera 110 includes not only the pixel value of the object itself, but also the pixel value due to the surrounding environment. Hereinafter, for convenience in explanation
Figure 112018060498415-pat00012
Is called object pixel value,
Figure 112018060498415-pat00013
and
Figure 112018060498415-pat00014
The sum of is called the object environment pixel value.

데이터베이스(150)는 타깃 객체의 주변 환경 및 지리적 조건에 따른 객체 환경 변수를 추출하기 위해 필요한 다양한 정보들을 저장할 수 있는 저장 장치이다. 예를 들어, 데이터베이스(150)에는 타깃 객체의 위도, 경도 및 시간에 따라 다른 태양의 위치, 태양의 직사 성분, 확산 성분, 대기 온도, 풍향, 풍속, 습도, 대기압 등이 객체 환경 변수로 저장될 수 있다. 이를 위해, 데이터베이스(150)는 기상 정보를 제공하는 기상청 서버나 지도 정보를 제공하는 서버(미도시) 등에 접속될 수 있다.The database 150 is a storage device capable of storing various information necessary to extract object environment variables according to the surrounding environment and geographical conditions of the target object. For example, in the database 150, the location of the sun, the direct sunlight component, the diffusion component, the atmospheric temperature, the wind direction, the wind speed, the humidity, the atmospheric pressure, etc., depending on the latitude, longitude, and time of the target object may be stored as object environment variables. You can. To this end, the database 150 may be connected to a weather station server providing weather information, a server (not shown) providing map information, or the like.

데이터베이스(150)는 특정 범위에 속하는 정보들을 저장하는 적어도 하나의 독립된 서브-데이터베이스들로 구성될 수 있고, 적어도 하나의 독립된 서브-데이터베이스들이 하나로 통합된 통합 데이터베이스로 구성될 수 있다. The database 150 may be composed of at least one independent sub-database storing information belonging to a specific range, and may be composed of an integrated database in which at least one independent sub-database is integrated into one.

적어도 하나의 독립된 서브-데이터베이스들로 구성되는 경우에는 각각의 서브-데이터베이스들은 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 상호 간의 데이터를 주고받을 수 있다. 데이터베이스(150)는 통합 데이터베이스로 구성되는 경우 각각의 서브-데이터베이스들을 하나로 통합하고 상호 간의 데이터 교환 및 제어 흐름을 관리하는 제어부를 포함할 수 있다.When composed of at least one independent sub-database, each sub-database may be wirelessly connected through Bluetooth, WiFi, etc., and may exchange data with each other through a network. When configured as an integrated database, the database 150 may include a control unit that integrates each sub-database into one and manages data exchange and control flow between each other.

도 3은 도 1에 있는 영상 분석 장치를 설명하는 블록도이다.FIG. 3 is a block diagram illustrating the image analysis device in FIG. 1.

도 3을 참조하면, 영상 분석 장치(130)는 적외선 영상 학습부(310), 적외선 영상 수신부(330), 객체 분류부(350) 및 제어부(370)를 포함한다. 적외선 영상 학습부(310)는 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력받아 기계 학습을 수행한다.Referring to FIG. 3, the image analysis device 130 includes an infrared image learning unit 310, an infrared image receiving unit 330, an object classification unit 350, and a control unit 370. The infrared image learning unit 310 performs machine learning by receiving an object pixel value, an object environment pixel value, and an object environment variable affected by the surrounding environment, which are detected from the infrared image of the object in the object learning population.

보다 구체적으로, 적외선 영상 학습부(310)는 인공지능 알고리즘을 이용하여 객체의 주변 환경 및 지리적 조건에 따른 가중치 및 바이어스를 학습한다. 예를 들어, 적외선 영상 학습부(310)는 딥러닝(Deep learning)의 한 종류인 합성곱 신경망(CNN; Convolution Neural Network)을 이용하여 기계학습을 수행할 수 있다.More specifically, the infrared image learning unit 310 uses an artificial intelligence algorithm to learn weights and biases according to the surrounding environment and geographic conditions of the object. For example, the infrared image learning unit 310 may perform machine learning using a convolution neural network (CNN), which is a type of deep learning.

딥러닝 기술은 컴퓨터가 사람처럼 생각하고 배울 수 있도록 하는 인공지능(AI) 기술로서, 인공 신경망 이론을 기반으로 복잡한 비선형 문제를 기계가 스스로 학습 해결할 수 있도록 한다. 딥러닝은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보 처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시키는 기술이다.Deep learning technology is an artificial intelligence (AI) technology that allows a computer to think and learn like a person, allowing the machine to learn and solve complex nonlinear problems based on artificial neural network theory. Deep learning is a technique in which the computer learns a machine to discern objects by imitating the information processing method that distinguishes objects after the human brain finds patterns in numerous data.

즉, 딥러닝은 여러 비선형 변환 기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고 방식을 컴퓨터에게 학습시키는 기계 학습의 한 분야이다.In other words, deep learning is defined as a set of machine learning algorithms that attempt a high level of abstraction through a combination of several nonlinear transformation techniques, and is a field of machine learning that teaches a person's mindset to a computer in a large framework.

이러한 딥러닝을 이용하여 영상 및 객체를 인식하기 위한 방법들로 합성곱 신경망(CNN), RNN(Recurrent Neural Network), DQN(Deep Q-Network) 등이 있다. 이 중 합성곱 신경망(CNN)은 2차원 영상 처리에 특화된 방법으로 영상 자체의 픽셀 값을 이용하여 객체를 인식할 수 있다.Methods for recognizing images and objects using deep learning include a convolutional neural network (CNN), a recurrent neural network (RNN), and a deep Q-network (DQN). Among them, the convolutional neural network (CNN) can recognize an object by using a pixel value of the image itself as a method specialized for 2D image processing.

이에, 본 발명의 일 실시예에 따른 적외선 영상 학습부(310)는 합성곱 신경망(CNN)을 이용하여 적외선 영상에 포함된 객체의 주위 환경 및 지리적 요소에 관한 객체 환경 픽셀 값과 객체만의 객체 픽셀 값을 학습하고, 학습 결과로 객체의 주변 환경 및 지리적 조건에 따른 가중치 및 바이어스를 산출한다.Accordingly, the infrared image learning unit 310 according to an embodiment of the present invention uses the convolutional neural network (CNN) to object environment pixel values and object-only objects for the surrounding environment and geographic elements of the objects included in the infrared image. The pixel values are learned, and weights and biases according to the surrounding environment and geographic conditions of the object are calculated as the learning results.

구체적으로, 적외선 영상 학습부(310)는 객체 픽셀 값, 객체 환경 픽셀 값 및 객체 환경 변수를 입력으로 하고, 객체의 주변 환경 및 지리적 조건에 따른 가중치 및 바이어스를 출력으로 하는 학습 과정을 포함할 수 있다. 예를 들어, 적외선 영상 학습부(310)는 아래의 [수학식 2]와 같이 학습을 수행할 수 있다.Specifically, the infrared image learning unit 310 may include a learning process of inputting an object pixel value, an object environment pixel value, and an object environment variable, and outputting weights and biases according to the surrounding environment and geographic conditions of the object. have. For example, the infrared image learning unit 310 may perform learning as shown in [Equation 2] below.

Figure 112018060498415-pat00015
Figure 112018060498415-pat00015

여기에서,

Figure 112018060498415-pat00016
은 객체 픽셀 값,
Figure 112018060498415-pat00017
는 적외선 카메라(110)로 입사되는 총 픽셀 값, 즉 객체 픽셀 값 및 객체 환경 픽셀 값의 합이다. 그리고, α는 가중치, β는 바이어스, γ는 객체 환경 변수이다. From here,
Figure 112018060498415-pat00016
Is the object pixel value,
Figure 112018060498415-pat00017
Is the sum of total pixel values incident on the infrared camera 110, that is, object pixel values and object environment pixel values. And, α is a weight, β is a bias, and γ is an object environment variable.

적외선 영상 수신부(330)는 적외선 카메라(110)로부터 타깃 객체에 관한 적외선 영상을 수신한다. 객체 분류부(350)는 타깃 객체의 적외선 영상에서 적외선 영상 학습부(310)를 통해 학습된 학습 내용을 기초로 객체 픽셀 값을 추출하고, 미리 설정된 객체 별 객체 픽셀 값의 범위와 추출된 객체 픽셀 값 간의 비교에 기초하여 타깃 객체를 분류한다.The infrared image receiving unit 330 receives the infrared image of the target object from the infrared camera 110. The object classifying unit 350 extracts an object pixel value based on the learning contents learned through the infrared image learning unit 310 from the infrared image of the target object, a range of object pixel values for each preset object, and the extracted object pixel Target objects are classified based on comparison between values.

여기에서, 객체 분류부(350)는 아래의 [수학식 3]과 같이 타깃 객체의 객체 픽셀 값을 추출할 수 있다.Here, the object classification unit 350 may extract the object pixel value of the target object as shown in [Equation 3] below.

Figure 112018060498415-pat00018
Figure 112018060498415-pat00018

여기에서,

Figure 112018060498415-pat00019
는 타깃 객체의 객체 픽셀 값,
Figure 112018060498415-pat00020
는 적외선 영상 수신부(330)를 통해 수신된 타깃 객체의 총 픽셀 값, 즉 타깃 객체의 객체 픽셀 값 및 객체 환경 픽셀 값의 합이다. 그리고, α'는 적외선 영상 학습부(310)에 의해 학습된 가중치 값, β'는 적외선 영상 학습부(310)에 의해 학습된 바이어스 값이며, γ는 객체 환경 변수이다. From here,
Figure 112018060498415-pat00019
Is the object pixel value of the target object,
Figure 112018060498415-pat00020
Is the sum of the total pixel values of the target object received through the infrared image receiver 330, that is, the object pixel values of the target object and the object environment pixel values. In addition, α 'is a weight value learned by the infrared image learning unit 310, β' is a bias value learned by the infrared image learning unit 310, and γ is an object environment variable.

즉, 객체 분류부(350)는 적외선 영상 학습부(310)를 통해 학습된 가중치 값 및 바이어스 값을 이용하여 타깃 객체의 주변 환경 및 지리적 조건에 의한 픽셀 값이 제외된 타깃 객체의 객체 픽셀 값만 추출할 수 있다. 객체 분류부(350)는 미리 설정된 객체 별 객체 픽셀 값의 범위와 추출된 객체 픽셀 값을 매칭시켜 타깃 객체를 분류할 수 있다. 여기에서, 객체 픽셀 값의 범위는 해당 객체 자체의 객체 픽셀 값을 기준으로 설정된 최소 값 및 최대 값을 포함할 수 있다. That is, the object classification unit 350 extracts only the object pixel values of the target object excluding pixel values due to the surrounding environment and geographic conditions of the target object using the weight value and the bias value learned through the infrared image learning unit 310. can do. The object classifying unit 350 may classify a target object by matching a range of a preset object pixel value for each object and an extracted object pixel value. Here, the range of object pixel values may include a minimum value and a maximum value set based on the object pixel values of the corresponding object itself.

제어부(370)는 영상 분석장치(120)의 전체적인 동작을 제어하고, 적외선 영상 학습부(310), 적외선 영상 수신부(330) 및 객체 분류부(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The control unit 370 may control the overall operation of the image analysis device 120 and manage a control flow or data flow between the infrared image learning unit 310, the infrared image receiving unit 330, and the object classification unit 350. .

도 4는 도 1에 있는 영상 분석장치에서 수행되는 적외선 영상 분석 방법을 설명하는 순서도이다. FIG. 4 is a flowchart illustrating an infrared image analysis method performed in the image analysis device of FIG. 1.

도 4에서, 적외선 영상 학습부(310)는 객체 학습 모집단에 있는 객체를 적외선 카메라로 촬영한 적외선 영상을 획득한다(단계 S410). 그 다음, 적외선 영상 학습부(310)는 획득한 적외선 영상에서 감지된 객체 자체의 객체 픽셀 값, 객체 환경 픽셀 값 및 객체의 주변 환경에 대응하는 객체 환경 변수를 인공지능 알고리즘의 입력 값으로 입력한다(단계 S420).In FIG. 4, the infrared image learning unit 310 acquires an infrared image obtained by photographing an object in the object learning population with an infrared camera (step S410). Next, the infrared image learning unit 310 inputs the object pixel values of the object itself, the object environment pixel values, and the object environment variables corresponding to the surrounding environment of the object, as the input values of the AI algorithm, detected from the acquired infrared image. (Step S420).

그리고, 적외선 영상 학습부(310)는 상기한 [수학식 2]에 따라 객체의 주변 환경에 대응하는 가중치 및 바이어스를 산출한다(단계 S430). 즉, 적외선 영상 학습부(310)는 인공지능 알고리즘에 객체 자체의 객체 픽셀 값, 주변 환경의 영향을 받은 객체의 객체 픽셀 값, 객체 환경 픽셀 값 및 객체 환경 변수를 입력하고, 주변 환경의 영향이 제외된 객체 자체의 객체 픽셀 값을 추출하기 위한 가중치 및 바이어스를 출력하는 학습을 진행한다. 적외선 영상 학습부(310)는 인공지능 객체 학습 모집단에 존재하는 객체 별로 다양한 조건의 주변 환경을 고려하여 학습을 진행할 수 있다.Then, the infrared image learning unit 310 calculates the weight and bias corresponding to the surrounding environment of the object according to Equation 2 described above (step S430). That is, the infrared image learning unit 310 inputs the object pixel value of the object itself, the object pixel value of the object affected by the surrounding environment, the object environment pixel value, and the object environment variable into the artificial intelligence algorithm, and the influence of the surrounding environment In order to extract the object pixel value of the excluded object itself, a process of outputting weights and biases is performed. The infrared image learning unit 310 may perform learning in consideration of the surrounding environment of various conditions for each object existing in the AI object learning population.

그 다음, 적외선 영상 수신부(330)는 타깃 객체에 관한 적외선 영상을 수신 받고(단계 S440), 객체 분류부(350)는 수신된 타깃 객체의 적외선 영상에서 적외선 영상 학습부(310)의 학습 결과를 기초로 타깃 객체의 객체 픽셀 값을 추출한다(단계 S450).Then, the infrared image receiving unit 330 receives an infrared image of the target object (step S440), and the object classification unit 350 receives the learning result of the infrared image learning unit 310 from the infrared image of the received target object. Based on this, the object pixel value of the target object is extracted (step S450).

객체 분류부(350)는 상기한 [수학식 3]과 같이, 수신된 타깃 객체의 적외선 영상으로부터 객체 픽셀 값 및 객체 환경 픽셀 값의 합(

Figure 112018060498415-pat00021
)을 입력하고, 동시에 적외선 영상 학습부(310)에 의해 산출된 가중치(α')값, 바이어스(β')값, 현재 타깃 객체의 주변 환경에 대응하는 객체 환경 변수(γ)를 입력한다. 이를 통해, 객체 분류부(350)는 타깃 객체 자체의 객체 픽셀 값(
Figure 112018060498415-pat00022
)을 추출할 수 있다.The object classification unit 350 adds the object pixel value and the object environment pixel value from the infrared image of the received target object, as shown in [Equation 3] above.
Figure 112018060498415-pat00021
), And at the same time, input the weight (α ') value, the bias (β') value, and the object environment variable (γ) corresponding to the surrounding environment of the current target object, calculated by the infrared image learning unit 310. Through this, the object classification unit 350 may generate an object pixel value of the target object itself (
Figure 112018060498415-pat00022
) Can be extracted.

그 다음, 객체 분류부(350)는 추출된 타깃 객체의 객체 픽셀 값을 미리 설정된 객체 별 객체 픽셀 값의 범위에 매칭시켜 타깃 객체를 분류한다(단계 S460). 즉, 본 발명의 일 실시예에 따른 영상 분석 방법은 타깃 객체의 주변 환경에 의해 변동되는 객체 픽셀 값을 타깃 객체만의 객체 픽셀 값으로 보정한 후, 보정된 객체 픽셀 값으로 타깃 객체를 분류함으로써 타깃 객체를 정확하게 판단할 수 있다.Then, the object classification unit 350 classifies the target object by matching the object pixel value of the extracted target object to a range of object pixel values for each preset object (step S460). That is, the image analysis method according to an embodiment of the present invention corrects an object pixel value fluctuated by the surrounding environment of the target object with an object pixel value of only the target object, and then classifies the target object with the corrected object pixel value. Target objects can be accurately determined.

이와 같은 영상 분석 장치(130)는 자율 주행 차량의 주행 제어 시스템(미도시)과 결합되어 자율 주행 차량의 주행이나 제동을 제어할 수 있다. 이하에서 도 5 및 도 6을 참조하여 구체적으로 설명한다.The image analysis device 130 may be combined with a driving control system (not shown) of an autonomous vehicle to control driving or braking of the autonomous vehicle. Hereinafter, it will be described in detail with reference to FIGS. 5 and 6.

도 5 및 도 6은 도 1에 있는 영상 분석장치를 자율 주행 차량에 적용하여 적외선 영상 분석을 수행하는 과정을 설명하기 위해 도시한 도면이다.5 and 6 are diagrams illustrating a process of performing infrared image analysis by applying the image analysis device of FIG. 1 to an autonomous vehicle.

도 5에서, 영상 분석 장치(130)는 자율 주행 차량(510)에 배치된 적외선 카메라(110)를 통해 타깃 객체(520), 예를 들어 보행자의 적외선 영상을 수신 받을 수 있다. 여기에서, 적외선 카메라(110)를 자율 주행 차량(510)의 외부에 배치하는 경우를 예를 들어 도시하였으나, 적외선 카메라(110)의 위치는 변경될 수 있다.In FIG. 5, the image analysis device 130 may receive an infrared image of the target object 520, for example, a pedestrian, through the infrared camera 110 disposed in the autonomous vehicle 510. Here, the case where the infrared camera 110 is disposed outside the autonomous vehicle 510 is illustrated, for example, but the position of the infrared camera 110 may be changed.

여기에서, 현재 기온은 30°이고, 정오인 경우 수신된 적외선 영상으로부터 감지된 타깃 객체(520)의 총 픽셀 값(

Figure 112018060498415-pat00023
)은 40.2°에 대응하는 값일 수 있다. 영상 분석 장치(130)는 30°의 기온과 정오의 태양 위치 등에 대응하는 객체 환경 변수(γ), 타깃 객체(520)의 주위 환경 및 지리적 조건에 대응하여 미리 학습된 가중치(α')값 및 바이어스(β')값을 이용하여 타깃 객체(520)만의 객체 픽셀 값(
Figure 112018060498415-pat00024
)(530)을 산출한다.Here, the current temperature is 30 °, and at noon, the total pixel value of the target object 520 detected from the received infrared image (
Figure 112018060498415-pat00023
) May be a value corresponding to 40.2 °. The image analysis device 130 includes an object environment variable (γ) corresponding to a temperature of 30 ° and a solar location at noon, a weight (α ′) value previously learned in response to the surrounding environment and geographic conditions of the target object 520, and The object pixel value of the target object 520 using the bias (β ') value (
Figure 112018060498415-pat00024
) (530).

즉, 도 6에 도시된 바와 같이, 타깃 객체(520)의 온도(A)는 주위 환경 및 지리적 조건에 의해 영향을 받아 변동될 수 있다. 이에, 본 발명의 실시예에 따른 영상 분석 장치(130)는 변동된 타깃 객체(520)의 온도(A)를 타깃 객체(520) 만의 온도(B)로 보정하여 주위 환경 및 지리적 조건의 영향을 최소화 시킬 수 있다. That is, as illustrated in FIG. 6, the temperature A of the target object 520 may be changed by being influenced by the surrounding environment and geographic conditions. Accordingly, the image analysis apparatus 130 according to an embodiment of the present invention corrects the temperature A of the changed target object 520 to the temperature B of only the target object 520 to influence the influence of the surrounding environment and geographical conditions. It can be minimized.

예를 들어, 영상 분석 장치(130)는 타깃 객체(520)의 온도를 40.2°에서 36.5°로 보정할 수 있다. 그리고, 영상 분석 장치(130)는 보정된 타깃 객체(520)의 온도가 미리 설정된 보행자의 픽셀 값의 범위, 예를 들어 36°~37°에 대응하는 경우 타깃 객체(520)를 보행자로 분류할 수 있다. For example, the image analysis device 130 may correct the temperature of the target object 520 from 40.2 ° to 36.5 °. Then, the image analysis device 130 may classify the target object 520 as a pedestrian when the temperature of the corrected target object 520 corresponds to a preset range of pixel values of the pedestrian, for example, 36 ° to 37 °. You can.

이와 같이, 영상 분석 장치(130)를 통해 타깃 객체(520)가 보행자로 분류되면 자율 주행 차량은 주행 제어 시스템을 통해 보행자와 차량 간의 거리를 연산한 후, 보행자가 차량 전방으로 일정 거리 이내 진입하면 차량을 정지시킬 수 있다. As described above, when the target object 520 is classified as a pedestrian through the image analysis device 130, the autonomous driving vehicle calculates the distance between the pedestrian and the vehicle through the driving control system, and when the pedestrian enters the vehicle within a predetermined distance The vehicle can be stopped.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to preferred embodiments of the present invention, those skilled in the art variously modify and change the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You can understand that you can.

100: 영상 분석 시스템
110: 적외선 카메라 130: 영상 분석 장치
150: 데이터베이스 310: 적외선 영상 학습부
330: 적외선 영상 수신부 350: 객체 분류부
370: 제어부
100: video analysis system
110: infrared camera 130: image analysis device
150: database 310: infrared image learning unit
330: infrared image receiving unit 350: object classification unit
370: control

Claims (8)

객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력받아 기계 학습을 수행하는 적외선 영상 학습부;
타깃 객체에 관한 해당 적외선 영상을 수신하는 적외선 영상 수신부; 및
상기 해당 적외선 영상에서 상기 기계 학습의 학습 내용을 기초로 해당 객체 픽셀 값을 추출하여 상기 타깃 객체를 분류하는 객체 분류부를 포함하되,
상기 적외선 영상 학습부는
상기 객체 픽셀 값, 상기 객체 환경 픽셀 값 및 상기 객체 환경 변수를 입력으로 하고, 상기 주변 환경에 따른 가중치 및 바이어스를 출력으로 하는 기계 학습을 수행하며,
상기 적외선 영상 학습부는 아래의 [수학식]에 따라 기계 학습을 수행하는 것을 특징으로 하는 영상 분석장치.
[수학식]
Figure 112019127908719-pat00037

(여기서, 상기
Figure 112019127908719-pat00038
은 상기 객체 픽셀 값, 상기
Figure 112019127908719-pat00039
는 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α는 상기 가중치, 상기 β는 상기 바이어스, 상기 γ는 상기 객체 환경 변수)
An infrared image learning unit for performing machine learning by receiving an object pixel value and an object environment pixel value detected from an infrared image of an object in the object learning population and an object environment variable affected by the surrounding environment;
An infrared image receiver configured to receive a corresponding infrared image related to a target object; And
And an object classifying unit to classify the target object by extracting a pixel value of the corresponding object based on the learning content of the machine learning from the corresponding infrared image.
The infrared image learning unit
Machine learning is performed by using the object pixel value, the object environment pixel value, and the object environment variable as inputs, and outputting weights and biases according to the surrounding environment,
The infrared image learning unit image analysis device characterized in that for performing the machine learning according to the [Mathematics] below.
[Mathematics]
Figure 112019127908719-pat00037

(Here,
Figure 112019127908719-pat00038
Is the object pixel value, the
Figure 112019127908719-pat00039
Is the sum of the object pixel value and the object environment pixel value, the α is the weight, the β is the bias, and γ is the object environment variable)
삭제delete 삭제delete 제1항에 있어서, 상기 객체 분류부는
상기 타깃 객체의 주변 환경에 대응하여 상기 기계 학습된 가중치 및 바이어스를 이용하여 상기 타깃 객체의 적외선 영상에서 상기 해당 객체 픽셀 값을 추출하고, 미리 설정된 객체 별 객체 픽셀 값의 범위와 추출된 상기 해당 객체 픽셀 값 간의 비교에 기초하여 상기 타깃 객체를 분류하는 것을 특징으로 하는 영상 분석 장치.
The method of claim 1, wherein the object classification unit
The corresponding object pixel value is extracted from the infrared image of the target object by using the machine-learned weight and bias corresponding to the surrounding environment of the target object, a range of object pixel values for each preset object and the corresponding object extracted And classifying the target object based on a comparison between pixel values.
제4항에 있어서, 상기 객체 분류부는 아래의 [수학식]에 따라 상기 타깃 객체의 상기 객체 픽셀 값을 추출하는 것을 특징으로 하는 영상 분석장치.
[수학식]
Figure 112018060498415-pat00028

(여기서, 상기
Figure 112018060498415-pat00029
는 상기 타깃 객체의 상기 객체 픽셀 값, 상기
Figure 112018060498415-pat00030
는 타깃 객체의 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α'는 기계 학습된 상기 가중치, 상기 β'는 기계 학습된 상기 바이어스, 상기 γ는 상기 객체 환경 변수)
The image analysis apparatus according to claim 4, wherein the object classification unit extracts the object pixel value of the target object according to the following equation.
[Mathematics]
Figure 112018060498415-pat00028

(Here,
Figure 112018060498415-pat00029
Is the object pixel value of the target object, the
Figure 112018060498415-pat00030
Is the sum of the object pixel values of the target object and the object environment pixel values, the α 'is the machine-learned weight, the β' is the machine-learned bias, and the γ is the object environment variable)
제1항에 있어서, 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값은 적외선 신호, 겉보기 온도, RGB 값 중 어느 하나에 대응하는 값인 것을 특징으로 하는 영상 분석 장치.
The image analysis apparatus of claim 1, wherein the object pixel value and the object environment pixel value are values corresponding to any one of an infrared signal, an apparent temperature, and an RGB value.
객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력 받아 기계 학습하여 상기 주변 환경에 따른 가중치 및 바이어스를 산출하는 단계;
타깃 객체에 관한 해당 적외선 영상을 수신하는 단계; 및
상기 산출된 가중치 및 바이어스를 이용하여 상기 해당 적외선 영상에서 해당 객체 픽셀 값을 추출하고, 추출된 해당 객체 픽셀 값을 이용하여 상기 타깃 객체를 분류하는 단계를 포함하되,
상기 기계 학습은 상기 객체 픽셀 값, 상기 객체 환경 픽셀 값 및 상기 객체 환경 변수를 입력으로 하고, 상기 주변 환경에 따른 가중치 및 바이어스를 출력으로 하여 수행되며,
상기 기계 학습은 아래의 [수학식]에 따라 수행되는 것을 특징으로 하는 영상 분석방법.
[수학식]
Figure 112019127908719-pat00040

(여기서, 상기
Figure 112019127908719-pat00041
은 상기 객체 픽셀 값, 상기
Figure 112019127908719-pat00042
는 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α는 상기 가중치, 상기 β는 상기 바이어스, 상기 γ는 상기 객체 환경 변수)
Inputting object pixel values and object environment pixel values detected from an infrared image of an object in an object learning population and object environment variables affected by the surrounding environment, and performing machine learning to calculate weights and biases according to the surrounding environment;
Receiving a corresponding infrared image related to the target object; And
And extracting a corresponding object pixel value from the corresponding infrared image using the calculated weight and bias, and classifying the target object using the extracted corresponding object pixel value.
The machine learning is performed by inputting the object pixel value, the object environment pixel value, and the object environment variable, and outputting weights and biases according to the surrounding environment as outputs,
The machine learning is an image analysis method, characterized in that is performed according to the following [Mathematics].
[Mathematics]
Figure 112019127908719-pat00040

(Here,
Figure 112019127908719-pat00041
Is the object pixel value, the
Figure 112019127908719-pat00042
Is the sum of the object pixel value and the object environment pixel value, the α is the weight, the β is the bias, and γ is the object environment variable)
제7항에 있어서, 상기 타깃 객체를 분류하는 단계는
추출된 상기 해당 객체 픽셀 값을 미리 설정된 객체 별 객체 픽셀 값의 범위에 매칭시키는 단계를 포함하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 7, wherein the step of classifying the target object is
And matching the extracted object pixel values to a range of object pixel values for each preset object.
KR1020180070754A 2018-06-20 2018-06-20 Image analysis apparatus and method KR102107298B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180070754A KR102107298B1 (en) 2018-06-20 2018-06-20 Image analysis apparatus and method
PCT/KR2019/006629 WO2019245191A1 (en) 2018-06-20 2019-06-03 Apparatus and method for analyzing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180070754A KR102107298B1 (en) 2018-06-20 2018-06-20 Image analysis apparatus and method

Publications (2)

Publication Number Publication Date
KR20190143153A KR20190143153A (en) 2019-12-30
KR102107298B1 true KR102107298B1 (en) 2020-05-06

Family

ID=68982681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180070754A KR102107298B1 (en) 2018-06-20 2018-06-20 Image analysis apparatus and method

Country Status (2)

Country Link
KR (1) KR102107298B1 (en)
WO (1) WO2019245191A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102221096B1 (en) 2020-09-23 2021-02-26 국방과학연구소 Deep learning training method and system using infrared image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032754A (en) 2000-07-17 2002-01-31 Mitsubishi Electric Corp Device and method for recognition processing and sensing system
JP2012068965A (en) 2010-09-24 2012-04-05 Denso Corp Image recognition device
KR101339026B1 (en) 2013-10-14 2013-12-09 (주)유디피 Method and apparatus for thermal camera visibility enhancing
KR101350922B1 (en) * 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 Method and apparatus for object tracking based on thermo-graphic camera
JP2016208408A (en) * 2015-04-27 2016-12-08 パナソニックIpマネジメント株式会社 Detection method, detection device and control method
KR101818129B1 (en) 2017-04-25 2018-01-12 동국대학교 산학협력단 Device and method for pedestrian recognition using convolutional neural network

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101671993B1 (en) 2014-08-01 2016-11-03 부경대학교 산학협력단 Safety system for vehicle
KR101611273B1 (en) 2014-10-27 2016-04-11 재단법인대구경북과학기술원 System and method for detecting object using sequential infrared image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032754A (en) 2000-07-17 2002-01-31 Mitsubishi Electric Corp Device and method for recognition processing and sensing system
JP2012068965A (en) 2010-09-24 2012-04-05 Denso Corp Image recognition device
KR101339026B1 (en) 2013-10-14 2013-12-09 (주)유디피 Method and apparatus for thermal camera visibility enhancing
KR101350922B1 (en) * 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 Method and apparatus for object tracking based on thermo-graphic camera
JP2016208408A (en) * 2015-04-27 2016-12-08 パナソニックIpマネジメント株式会社 Detection method, detection device and control method
KR101818129B1 (en) 2017-04-25 2018-01-12 동국대학교 산학협력단 Device and method for pedestrian recognition using convolutional neural network

Also Published As

Publication number Publication date
WO2019245191A1 (en) 2019-12-26
KR20190143153A (en) 2019-12-30

Similar Documents

Publication Publication Date Title
CN108053427B (en) Improved multi-target tracking method, system and device based on KCF and Kalman
CN108009473B (en) Video structuralization processing method, system and storage device based on target behavior attribute
US10614327B2 (en) Traffic-light detection and classification using computer vision and deep learning
CN107368890B (en) Road condition analysis method and system based on deep learning and taking vision as center
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
CN109460699B (en) Driver safety belt wearing identification method based on deep learning
Kim Real time object tracking based on dynamic feature grouping with background subtraction
CN108052859B (en) Abnormal behavior detection method, system and device based on clustering optical flow characteristics
US20200160699A1 (en) Multiple exposure event determination
US10417486B2 (en) Driver behavior monitoring systems and methods for driver behavior monitoring
KR20220000977A (en) Apparatus and method for providing guidance information using crosswalk recognition result
JP5127392B2 (en) Classification boundary determination method and classification boundary determination apparatus
KR101731243B1 (en) A video surveillance apparatus for identification and tracking multiple moving objects with similar colors and method thereof
US20060177099A1 (en) System and method for on-road detection of a vehicle using knowledge fusion
US20130265424A1 (en) Reconfigurable clear path detection system
US10474930B1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN111434553B (en) Brake system, method and device, and fatigue driving model training method and device
KR102333107B1 (en) Deep Learning Processing Apparatus and Method for Multi-Sensor on Vehicle
US11482012B2 (en) Method for driving assistance and mobile device using the method
KR102514301B1 (en) Device for identifying the situaton of object's conduct using sensor fusion
CN109508659A (en) A kind of face identification system and method for crossing
CN103530640A (en) Unlicensed vehicle detection method based on AdaBoost and SVM (support vector machine)
KR20200102907A (en) Method and apparatus for object recognition based on visible light and infrared fusion image
US10984262B2 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
KR102107298B1 (en) Image analysis apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant