KR20190143153A - 영상 분석 장치 및 방법 - Google Patents

영상 분석 장치 및 방법 Download PDF

Info

Publication number
KR20190143153A
KR20190143153A KR1020180070754A KR20180070754A KR20190143153A KR 20190143153 A KR20190143153 A KR 20190143153A KR 1020180070754 A KR1020180070754 A KR 1020180070754A KR 20180070754 A KR20180070754 A KR 20180070754A KR 20190143153 A KR20190143153 A KR 20190143153A
Authority
KR
South Korea
Prior art keywords
pixel value
infrared image
environment
learning
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180070754A
Other languages
English (en)
Other versions
KR102107298B1 (ko
Inventor
김도휘
Original Assignee
써모아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 써모아이 주식회사 filed Critical 써모아이 주식회사
Priority to KR1020180070754A priority Critical patent/KR102107298B1/ko
Priority to PCT/KR2019/006629 priority patent/WO2019245191A1/ko
Publication of KR20190143153A publication Critical patent/KR20190143153A/ko
Application granted granted Critical
Publication of KR102107298B1 publication Critical patent/KR102107298B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 영상 분석 장치 및 방법에 관한 것으로, 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력받아 기계 학습을 수행하는 적외선 영상 학습부, 타깃 객체에 관한 해당 적외선 영상을 수신하는 적외선 영상 수신부, 및 해당 적외선 영상에서 기계 학습의 학습 내용을 기초로 해당 객체 픽셀 값을 추출하여 타깃 객체를 분류하는 객체 분류부를 포함한다.

Description

영상 분석 장치 및 방법{IMAGE ANALYSIS APPARATUS AND METHOD}
본 발명은 영상 분석 기술에 관한 것으로, 보다 상세하게는 적외선 영상에 기반하여 타깃 객체를 분류할 수 있는 영상 분석 장치 및 방법에 관한 것이다.
일반적으로 차량에는 안정적이고 편안한 주행 상태를 제공할 수 있도록 하는 각종 편의 수단이 설치된다. 편의 수단에 대한 수요와 더불어 차량의 안전을 위한 장치들에 대한 수요도 증가하고 있다.
차량 안전 장치로는 ABS(Antilock Breaking System) 장치, ECS(Electronic Controlled Suspension) 장치 및 자율 긴급 제동 시스템(AEB; Autonomous Emergency Braking) 등과 같은 능동 안전 장치와 사후 사고의 원인 규명을 위한 차량 용 블랙박스와 같은 수동 안전 장치를 포함할 수 있다.
이 중 자율 긴급 제동 시스템은 차량에 탑재된 레이더를 통해 전방에 주행 중인 차량(또는 물체)와의 거리를 측정하며, 자 차와 전방 차량과의 거리가 일정 거리보다 가까운 경우에 충돌 위험을 인식한다. 충돌 위험이 인식되면 자동으로 제동이 이루어지도록 함으로써 차량 속도를 감속시킨다.
또한, 자율 긴급 제동 시스템은 충돌 위험이 인식되면 운전자에게 경고음으로 충돌 위험을 알리고 운전자의 페달 조작에 신속히 반응할 수 있도록 제동 장치를 대기 모드로 동작 시킨다. 이러한 자율 긴급 제동의 성능을 높이기 위해서는 차량 전방의 물체가 보행자인지, 차량인지 또는 이외의 물체인지를 빠르고 정확하게 판별할 필요가 있다.
한국등록특허 제10-1671993(2016.10.27)호는 차량 안전 시스템에 관한 것으로, 포토 다이오드, 추돌 방지 거리 연산 모듈, 속도 설정 모듈, 차량 제어 모듈, 교통신호등 감지 모듈, 색상 표시 모듈, 주변 감시 모듈을 포함하고, 색상 감지 모듈은 교통신호등의 색상을 범위로 설정하고, 색상 감지 모듈에서 감지되는 일정 범위의 색상은 하나의 색상으로 결정하며, 색상 표시 모듈은 교통신호등 감지 카메라 모듈에서 획득된 영상 정보에서 교통 신호등 색상 영역을 디스플레이 하고, 차량 속도 제어 모듈은 색상 감지 모듈이 감지한 교통신호등의 색상이 적색이며, 해당 교통 신호등과 사용자 차량 간의 거리가 일정 거리 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하고, 주변 거리 연산 모듈이 감지한 물체와 사용자 차량 간의 거리가 일정 범위 이내일 경우 사용자 차량을 정지시키며 비상등을 점멸하며, 주변 거리 연산 모듈은 주변 감시 카메라 모듈에서 획득된 영상에 블록들을 이용하여 화면 전체를 크기별로 탐색하여 영역들의 밝기 차이로 구분하여 학습한 후, AdaBoost 알고리즘을 이용하여 가중치를 부여하고, 약분류기들을 결합해 강한 분류기를 생성하여 영상에서 보행자 얼굴을 검출하고, 보행자 얼굴이 검출된 경우 해당 보행자와 사용자 차량 간의 거리가 일정 범위 이내일 경우 경고 메시지를 보내는 것을 특징으로 한다.
한국등록특허 제10-1611273(2016.04.05)호는 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법에 관한 것으로, 차량에 배치되어 기설정 주기에 따라 적외선을 방출하는 적외선 램프와, 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 영상 데이터를 획득하되, 적외선 램프가 적외선을 방출하는 경우 피사체로부터 반사되어 돌아오는 적외선 성분 및 타 차량 전조등의 적외선 성분을 포함하는 온 영상과, 적외선 램프가 적외선을 방출하지 않는 경우 타 차량 전조등의 적외선 성분을 포함하는 오프 영상을 획득하는 적외선 카메라, 및 영상 데이터를 분석하여 피사체의 영역을 검출하는 피사체 인식부를 포함한다.
한국등록특허 제10-1671993(2016.10.27)호 한국등록특허 제10-1611273(2016.04.05)호
본 발명의 일 실시예는 적외선 영상에 기반하여 타깃 객체를 분류할 수 있는 영상 분석 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 적외선 영상에서 타깃 객체의 주변 환경에 의한 요인을 감소시켜 타깃 객체를 오인하는 오류를 최소화시킬 수 있는 영상 분석 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 적외선 영상에서 딥러닝 알고리즘을 이용하여 타깃 객체 자체의 픽셀 값을 추출한 후, 추출된 픽셀 값을 이용하여 타깃 객체를 분류함으로써 타깃 객체의 인식률을 향상시킬 수 있는 영상 분석 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 영상 분석 장치는 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력받아 기계 학습을 수행하는 적외선 영상 학습부, 타깃 객체에 관한 해당 적외선 영상을 수신하는 적외선 영상 수신부, 및 상기 해당 적외선 영상에서 상기 기계 학습의 학습 내용을 기초로 해당 객체 픽셀 값을 추출하여 상기 타깃 객체를 분류하는 객체 분류부를 포함한다.
상기 적외선 영상 학습부는 상기 객체 픽셀 값, 상기 객체 환경 픽셀 값 및 상기 객체 환경 변수를 입력으로 하고, 상기 주변 환경에 따른 가중치 및 바이어스를 출력으로 하는 기계 학습을 수행하는 것을 특징으로 한다.
상기 적외선 영상 학습부는 아래의 [수학식]에 따라 기계 학습을 수행하는 것을 특징으로 한다.
[수학식]
Figure pat00001
(여기서, 상기
Figure pat00002
은 상기 객체 픽셀 값, 상기
Figure pat00003
는 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α는 상기 가중치, 상기 β는 상기 바이어스, 상기 γ는 상기 객체 환경 변수)
상기 객체 분류부는 상기 타깃 객체의 주변 환경에 대응하여 상기 기계 학습된 가중치 및 바이어스를 이용하여 상기 타깃 객체의 적외선 영상에서 상기 해당 객체 픽셀 값을 추출하고, 미리 설정된 객체 별 객체 픽셀 값의 범위와 추출된 상기 해당 객체 픽셀 값 간의 비교에 기초하여 상기 타깃 객체를 분류하는 것을 특징으로 한다.
상기 객체 분류부는 아래의 [수학식]에 따라 상기 타깃 객체의 상기 객체 픽셀 값을 추출하는 것을 특징으로 한다.
[수학식]
Figure pat00004
(여기서, 상기
Figure pat00005
는 상기 타깃 객체의 상기 객체 픽셀 값, 상기
Figure pat00006
는 타깃 객체의 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α'는 기계 학습된 상기 가중치, 상기 β'는 기계 학습된 상기 바이어스, 상기 γ는 상기 객체 환경 변수)
상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값은 적외선 신호, 겉보기 온도, RGB 값 중 어느 하나에 대응하는 값인 것을 특징으로 한다.
실시예들 중에서, 영상 분석 방법은 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력 받아 기계 학습하여 상기 주변 환경에 따른 가중치 및 바이어스를 산출하는 단계, 타깃 객체에 관한 해당 적외선 영상을 수신하는 단계, 및 상기 산출된 가중치 및 바이어스를 이용하여 상기 해당 적외선 영상에서 해당 객체 픽셀 값을 추출하고, 추출된 해당 객체 픽셀 값을 이용하여 상기 타깃 객체를 분류하는 단계를 포함한다.
상기 타깃 객체를 분류하는 단계는 추출된 상기 해당 객체 픽셀 값을 미리 설정된 객체 별 객체 픽셀 값의 범위에 매칭시키는 단계를 포함하는 것을 특징으로 한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 영상 분석 장치 및 방법은 적외선 영상에 기반하여 타깃 객체를 분류할 수 있다.
본 발명의 일 실시예에 따른 영상 분석 장치 및 방법은 적외선 영상에서 타깃 객체의 주변 환경에 의한 요인을 감소시켜 타깃 객체를 오인하는 오류를 최소화시킬 수 있다.
본 발명의 일 실시 예에 따른 영상 분석 장치 및 방법은 적외선 영상에서 딥러닝 알고리즘을 이용하여 타깃 객체 자체의 픽셀 값을 추출한 후, 추출된 픽셀 값을 이용하여 타깃 객체를 분류함으로써 타깃 객체의 인식률을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 시스템을 설명하는 도면이다.
도 2는 적외선 카메라로 입사되는 픽셀 값을 설명하기 위해 도시한 모식도이다.
도 3은 도 1에 있는 영상 분석 장치를 설명하는 블록도이다.
도 4는 도 1에 있는 영상 분석장치에서 수행되는 적외선 영상 분석 방법을 설명하는 순서도이다.
도 5 및 도 6은 도 1에 있는 영상 분석장치를 자율 주행 차량에 적용하여 적외선 영상 분석을 수행하는 과정을 설명하기 위해 도시한 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 시스템을 설명하는 도면이고, 도 2는 적외선 카메라로 입사되는 픽셀 값을 설명하기 위해 도시한 모식도이다.
도 1을 참조하면, 영상 분석 시스템(100)은 적외선 카메라(110), 영상 분석 장치(130) 및 데이터베이스(150)를 포함할 수 있다. 적외선 카메라(110)는 타깃 객체의 적외선 영상을 촬영한다.
영상 분석 장치(130)는 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 이용하여 기계 학습을 수행하고, 기계 학습 결과를 기초로 타깃 객체의 적외선 영상에서 객체 픽셀 값을 추출하여 타깃 객체를 분류한다.
여기에서, 객체 학습 모집단은 기계 학습에 필요한 다수의 객체, 예를 들어, 사람, 자동차, 표지판, 신호등 등을 포함할 수 있다. 본 발명의 일 실시예에 따른 픽셀 값은 적외선 신호, 겉보기 온도(apparent temperature) 및 RGB 값 중 어느 하나일 수 있다. 적외선 카메라(110)로 입사되는 픽셀 값(
Figure pat00007
)은 아래의 [수학식 1]과 같이 표현될 수 있다.
Figure pat00008
여기에서,
Figure pat00009
는 도 2에 도시된 바와 같이, 외부 광원(210)의 빛이 객체(230)의 표면에서 반사되는 픽셀 값(220),
Figure pat00010
은 객체(230) 자체에서 표면 온도에 의해 방사되는 픽셀 값(240),
Figure pat00011
는 객체(230)에 도달하지 않고 대기에서 산란되는 픽셀 값(250)이다.
즉, 적외선 카메라(110)를 통해 감지되는 픽셀 값은 객체 자체의 픽셀 값 뿐만 아니라 주변 환경에 의한 픽셀 값을 포함한다. 이하에서는 설명 상의 편의를 위해
Figure pat00012
을 객체 픽셀 값이라 하고,
Figure pat00013
과
Figure pat00014
의 합을 객체 환경 픽셀 값이라 명칭 한다.
데이터베이스(150)는 타깃 객체의 주변 환경 및 지리적 조건에 따른 객체 환경 변수를 추출하기 위해 필요한 다양한 정보들을 저장할 수 있는 저장 장치이다. 예를 들어, 데이터베이스(150)에는 타깃 객체의 위도, 경도 및 시간에 따라 다른 태양의 위치, 태양의 직사 성분, 확산 성분, 대기 온도, 풍향, 풍속, 습도, 대기압 등이 객체 환경 변수로 저장될 수 있다. 이를 위해, 데이터베이스(150)는 기상 정보를 제공하는 기상청 서버나 지도 정보를 제공하는 서버(미도시) 등에 접속될 수 있다.
데이터베이스(150)는 특정 범위에 속하는 정보들을 저장하는 적어도 하나의 독립된 서브-데이터베이스들로 구성될 수 있고, 적어도 하나의 독립된 서브-데이터베이스들이 하나로 통합된 통합 데이터베이스로 구성될 수 있다.
적어도 하나의 독립된 서브-데이터베이스들로 구성되는 경우에는 각각의 서브-데이터베이스들은 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 상호 간의 데이터를 주고받을 수 있다. 데이터베이스(150)는 통합 데이터베이스로 구성되는 경우 각각의 서브-데이터베이스들을 하나로 통합하고 상호 간의 데이터 교환 및 제어 흐름을 관리하는 제어부를 포함할 수 있다.
도 3은 도 1에 있는 영상 분석 장치를 설명하는 블록도이다.
도 3을 참조하면, 영상 분석 장치(130)는 적외선 영상 학습부(310), 적외선 영상 수신부(330), 객체 분류부(350) 및 제어부(370)를 포함한다. 적외선 영상 학습부(310)는 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력받아 기계 학습을 수행한다.
보다 구체적으로, 적외선 영상 학습부(310)는 인공지능 알고리즘을 이용하여 객체의 주변 환경 및 지리적 조건에 따른 가중치 및 바이어스를 학습한다. 예를 들어, 적외선 영상 학습부(310)는 딥러닝(Deep learning)의 한 종류인 합성곱 신경망(CNN; Convolution Neural Network)을 이용하여 기계학습을 수행할 수 있다.
딥러닝 기술은 컴퓨터가 사람처럼 생각하고 배울 수 있도록 하는 인공지능(AI) 기술로서, 인공 신경망 이론을 기반으로 복잡한 비선형 문제를 기계가 스스로 학습 해결할 수 있도록 한다. 딥러닝은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보 처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시키는 기술이다.
즉, 딥러닝은 여러 비선형 변환 기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고 방식을 컴퓨터에게 학습시키는 기계 학습의 한 분야이다.
이러한 딥러닝을 이용하여 영상 및 객체를 인식하기 위한 방법들로 합성곱 신경망(CNN), RNN(Recurrent Neural Network), DQN(Deep Q-Network) 등이 있다. 이 중 합성곱 신경망(CNN)은 2차원 영상 처리에 특화된 방법으로 영상 자체의 픽셀 값을 이용하여 객체를 인식할 수 있다.
이에, 본 발명의 일 실시예에 따른 적외선 영상 학습부(310)는 합성곱 신경망(CNN)을 이용하여 적외선 영상에 포함된 객체의 주위 환경 및 지리적 요소에 관한 객체 환경 픽셀 값과 객체만의 객체 픽셀 값을 학습하고, 학습 결과로 객체의 주변 환경 및 지리적 조건에 따른 가중치 및 바이어스를 산출한다.
구체적으로, 적외선 영상 학습부(310)는 객체 픽셀 값, 객체 환경 픽셀 값 및 객체 환경 변수를 입력으로 하고, 객체의 주변 환경 및 지리적 조건에 따른 가중치 및 바이어스를 출력으로 하는 학습 과정을 포함할 수 있다. 예를 들어, 적외선 영상 학습부(310)는 아래의 [수학식 2]와 같이 학습을 수행할 수 있다.
Figure pat00015
여기에서,
Figure pat00016
은 객체 픽셀 값,
Figure pat00017
는 적외선 카메라(110)로 입사되는 총 픽셀 값, 즉 객체 픽셀 값 및 객체 환경 픽셀 값의 합이다. 그리고, α는 가중치, β는 바이어스, γ는 객체 환경 변수이다.
적외선 영상 수신부(330)는 적외선 카메라(110)로부터 타깃 객체에 관한 적외선 영상을 수신한다. 객체 분류부(350)는 타깃 객체의 적외선 영상에서 적외선 영상 학습부(310)를 통해 학습된 학습 내용을 기초로 객체 픽셀 값을 추출하고, 미리 설정된 객체 별 객체 픽셀 값의 범위와 추출된 객체 픽셀 값 간의 비교에 기초하여 타깃 객체를 분류한다.
여기에서, 객체 분류부(350)는 아래의 [수학식 3]과 같이 타깃 객체의 객체 픽셀 값을 추출할 수 있다.
Figure pat00018
여기에서,
Figure pat00019
는 타깃 객체의 객체 픽셀 값,
Figure pat00020
는 적외선 영상 수신부(330)를 통해 수신된 타깃 객체의 총 픽셀 값, 즉 타깃 객체의 객체 픽셀 값 및 객체 환경 픽셀 값의 합이다. 그리고, α'는 적외선 영상 학습부(310)에 의해 학습된 가중치 값, β'는 적외선 영상 학습부(310)에 의해 학습된 바이어스 값이며, γ는 객체 환경 변수이다.
즉, 객체 분류부(350)는 적외선 영상 학습부(310)를 통해 학습된 가중치 값 및 바이어스 값을 이용하여 타깃 객체의 주변 환경 및 지리적 조건에 의한 픽셀 값이 제외된 타깃 객체의 객체 픽셀 값만 추출할 수 있다. 객체 분류부(350)는 미리 설정된 객체 별 객체 픽셀 값의 범위와 추출된 객체 픽셀 값을 매칭시켜 타깃 객체를 분류할 수 있다. 여기에서, 객체 픽셀 값의 범위는 해당 객체 자체의 객체 픽셀 값을 기준으로 설정된 최소 값 및 최대 값을 포함할 수 있다.
제어부(370)는 영상 분석장치(120)의 전체적인 동작을 제어하고, 적외선 영상 학습부(310), 적외선 영상 수신부(330) 및 객체 분류부(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 도 1에 있는 영상 분석장치에서 수행되는 적외선 영상 분석 방법을 설명하는 순서도이다.
도 4에서, 적외선 영상 학습부(310)는 객체 학습 모집단에 있는 객체를 적외선 카메라로 촬영한 적외선 영상을 획득한다(단계 S410). 그 다음, 적외선 영상 학습부(310)는 획득한 적외선 영상에서 감지된 객체 자체의 객체 픽셀 값, 객체 환경 픽셀 값 및 객체의 주변 환경에 대응하는 객체 환경 변수를 인공지능 알고리즘의 입력 값으로 입력한다(단계 S420).
그리고, 적외선 영상 학습부(310)는 상기한 [수학식 2]에 따라 객체의 주변 환경에 대응하는 가중치 및 바이어스를 산출한다(단계 S430). 즉, 적외선 영상 학습부(310)는 인공지능 알고리즘에 객체 자체의 객체 픽셀 값, 주변 환경의 영향을 받은 객체의 객체 픽셀 값, 객체 환경 픽셀 값 및 객체 환경 변수를 입력하고, 주변 환경의 영향이 제외된 객체 자체의 객체 픽셀 값을 추출하기 위한 가중치 및 바이어스를 출력하는 학습을 진행한다. 적외선 영상 학습부(310)는 인공지능 객체 학습 모집단에 존재하는 객체 별로 다양한 조건의 주변 환경을 고려하여 학습을 진행할 수 있다.
그 다음, 적외선 영상 수신부(330)는 타깃 객체에 관한 적외선 영상을 수신 받고(단계 S440), 객체 분류부(350)는 수신된 타깃 객체의 적외선 영상에서 적외선 영상 학습부(310)의 학습 결과를 기초로 타깃 객체의 객체 픽셀 값을 추출한다(단계 S450).
객체 분류부(350)는 상기한 [수학식 3]과 같이, 수신된 타깃 객체의 적외선 영상으로부터 객체 픽셀 값 및 객체 환경 픽셀 값의 합(
Figure pat00021
)을 입력하고, 동시에 적외선 영상 학습부(310)에 의해 산출된 가중치(α')값, 바이어스(β')값, 현재 타깃 객체의 주변 환경에 대응하는 객체 환경 변수(γ)를 입력한다. 이를 통해, 객체 분류부(350)는 타깃 객체 자체의 객체 픽셀 값(
Figure pat00022
)을 추출할 수 있다.
그 다음, 객체 분류부(350)는 추출된 타깃 객체의 객체 픽셀 값을 미리 설정된 객체 별 객체 픽셀 값의 범위에 매칭시켜 타깃 객체를 분류한다(단계 S460). 즉, 본 발명의 일 실시예에 따른 영상 분석 방법은 타깃 객체의 주변 환경에 의해 변동되는 객체 픽셀 값을 타깃 객체만의 객체 픽셀 값으로 보정한 후, 보정된 객체 픽셀 값으로 타깃 객체를 분류함으로써 타깃 객체를 정확하게 판단할 수 있다.
이와 같은 영상 분석 장치(130)는 자율 주행 차량의 주행 제어 시스템(미도시)과 결합되어 자율 주행 차량의 주행이나 제동을 제어할 수 있다. 이하에서 도 5 및 도 6을 참조하여 구체적으로 설명한다.
도 5 및 도 6은 도 1에 있는 영상 분석장치를 자율 주행 차량에 적용하여 적외선 영상 분석을 수행하는 과정을 설명하기 위해 도시한 도면이다.
도 5에서, 영상 분석 장치(130)는 자율 주행 차량(510)에 배치된 적외선 카메라(110)를 통해 타깃 객체(520), 예를 들어 보행자의 적외선 영상을 수신 받을 수 있다. 여기에서, 적외선 카메라(110)를 자율 주행 차량(510)의 외부에 배치하는 경우를 예를 들어 도시하였으나, 적외선 카메라(110)의 위치는 변경될 수 있다.
여기에서, 현재 기온은 30°이고, 정오인 경우 수신된 적외선 영상으로부터 감지된 타깃 객체(520)의 총 픽셀 값(
Figure pat00023
)은 40.2°에 대응하는 값일 수 있다. 영상 분석 장치(130)는 30°의 기온과 정오의 태양 위치 등에 대응하는 객체 환경 변수(γ), 타깃 객체(520)의 주위 환경 및 지리적 조건에 대응하여 미리 학습된 가중치(α')값 및 바이어스(β')값을 이용하여 타깃 객체(520)만의 객체 픽셀 값(
Figure pat00024
)(530)을 산출한다.
즉, 도 6에 도시된 바와 같이, 타깃 객체(520)의 온도(A)는 주위 환경 및 지리적 조건에 의해 영향을 받아 변동될 수 있다. 이에, 본 발명의 실시예에 따른 영상 분석 장치(130)는 변동된 타깃 객체(520)의 온도(A)를 타깃 객체(520) 만의 온도(B)로 보정하여 주위 환경 및 지리적 조건의 영향을 최소화 시킬 수 있다.
예를 들어, 영상 분석 장치(130)는 타깃 객체(520)의 온도를 40.2°에서 36.5°로 보정할 수 있다. 그리고, 영상 분석 장치(130)는 보정된 타깃 객체(520)의 온도가 미리 설정된 보행자의 픽셀 값의 범위, 예를 들어 36°~37°에 대응하는 경우 타깃 객체(520)를 보행자로 분류할 수 있다.
이와 같이, 영상 분석 장치(130)를 통해 타깃 객체(520)가 보행자로 분류되면 자율 주행 차량은 주행 제어 시스템을 통해 보행자와 차량 간의 거리를 연산한 후, 보행자가 차량 전방으로 일정 거리 이내 진입하면 차량을 정지시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 영상 분석 시스템
110: 적외선 카메라 130: 영상 분석 장치
150: 데이터베이스 310: 적외선 영상 학습부
330: 적외선 영상 수신부 350: 객체 분류부
370: 제어부

Claims (8)

  1. 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력받아 기계 학습을 수행하는 적외선 영상 학습부;
    타깃 객체에 관한 해당 적외선 영상을 수신하는 적외선 영상 수신부; 및
    상기 해당 적외선 영상에서 상기 기계 학습의 학습 내용을 기초로 해당 객체 픽셀 값을 추출하여 상기 타깃 객체를 분류하는 객체 분류부를 포함하는 영상 분석장치.
  2. 제1항에 있어서, 상기 적외선 영상 학습부는
    상기 객체 픽셀 값, 상기 객체 환경 픽셀 값 및 상기 객체 환경 변수를 입력으로 하고, 상기 주변 환경에 따른 가중치 및 바이어스를 출력으로 하는 기계 학습을 수행하는 것을 특징으로 하는 영상 분석장치.
  3. 제2항에 있어서, 상기 적외선 영상 학습부는 아래의 [수학식]에 따라 기계 학습을 수행하는 것을 특징으로 하는 영상 분석장치.
    [수학식]
    Figure pat00025

    (여기서, 상기
    Figure pat00026
    은 상기 객체 픽셀 값, 상기
    Figure pat00027
    는 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α는 상기 가중치, 상기 β는 상기 바이어스, 상기 γ는 상기 객체 환경 변수)
  4. 제2항에 있어서, 상기 객체 분류부는
    상기 타깃 객체의 주변 환경에 대응하여 상기 기계 학습된 가중치 및 바이어스를 이용하여 상기 타깃 객체의 적외선 영상에서 상기 해당 객체 픽셀 값을 추출하고, 미리 설정된 객체 별 객체 픽셀 값의 범위와 추출된 상기 해당 객체 픽셀 값 간의 비교에 기초하여 상기 타깃 객체를 분류하는 것을 특징으로 하는 영상 분석 장치.
  5. 제4항에 있어서, 상기 객체 분류부는 아래의 [수학식]에 따라 상기 타깃 객체의 상기 객체 픽셀 값을 추출하는 것을 특징으로 하는 영상 분석장치.
    [수학식]
    Figure pat00028

    (여기서, 상기
    Figure pat00029
    는 상기 타깃 객체의 상기 객체 픽셀 값, 상기
    Figure pat00030
    는 타깃 객체의 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값의 합, 상기 α'는 기계 학습된 상기 가중치, 상기 β'는 기계 학습된 상기 바이어스, 상기 γ는 상기 객체 환경 변수)
  6. 제1항에 있어서, 상기 객체 픽셀 값 및 상기 객체 환경 픽셀 값은 적외선 신호, 겉보기 온도, RGB 값 중 어느 하나에 대응하는 값인 것을 특징으로 하는 영상 분석 장치.
  7. 객체 학습 모집단에 있는 객체에 관한 적외선 영상으로부터 감지된 객체 픽셀 값 및 객체 환경 픽셀 값과 주변 환경의 영향을 받는 객체 환경 변수를 입력 받아 기계 학습하여 상기 주변 환경에 따른 가중치 및 바이어스를 산출하는 단계;
    타깃 객체에 관한 해당 적외선 영상을 수신하는 단계; 및
    상기 산출된 가중치 및 바이어스를 이용하여 상기 해당 적외선 영상에서 해당 객체 픽셀 값을 추출하고, 추출된 해당 객체 픽셀 값을 이용하여 상기 타깃 객체를 분류하는 단계를 포함하는 영상 분석 방법.
  8. 제7항에 있어서, 상기 타깃 객체를 분류하는 단계는
    추출된 상기 해당 객체 픽셀 값을 미리 설정된 객체 별 객체 픽셀 값의 범위에 매칭시키는 단계를 포함하는 것을 특징으로 하는 영상 분석 방법.
KR1020180070754A 2018-06-20 2018-06-20 영상 분석 장치 및 방법 Active KR102107298B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180070754A KR102107298B1 (ko) 2018-06-20 2018-06-20 영상 분석 장치 및 방법
PCT/KR2019/006629 WO2019245191A1 (ko) 2018-06-20 2019-06-03 영상 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180070754A KR102107298B1 (ko) 2018-06-20 2018-06-20 영상 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190143153A true KR20190143153A (ko) 2019-12-30
KR102107298B1 KR102107298B1 (ko) 2020-05-06

Family

ID=68982681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180070754A Active KR102107298B1 (ko) 2018-06-20 2018-06-20 영상 분석 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102107298B1 (ko)
WO (1) WO2019245191A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102221096B1 (ko) 2020-09-23 2021-02-26 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032754A (ja) * 2000-07-17 2002-01-31 Mitsubishi Electric Corp 認識処理装置、認識処理方法およびセンシングシステム
JP2012068965A (ja) * 2010-09-24 2012-04-05 Denso Corp 画像認識装置
KR101339026B1 (ko) * 2013-10-14 2013-12-09 (주)유디피 열화상 카메라 가시성 개선 방법 및 장치
KR101350922B1 (ko) * 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 열화상 카메라를 사용한 객체 추적 방법 및 장치
KR101611273B1 (ko) 2014-10-27 2016-04-11 재단법인대구경북과학기술원 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법
KR101671993B1 (ko) 2014-08-01 2016-11-03 부경대학교 산학협력단 차량 안전 시스템
JP2016208408A (ja) * 2015-04-27 2016-12-08 パナソニックＩｐマネジメント株式会社 検出方法、検出装置および制御方法
KR101818129B1 (ko) * 2017-04-25 2018-01-12 동국대학교 산학협력단 나선 신경망 기법을 이용한 보행자 인식 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032754A (ja) * 2000-07-17 2002-01-31 Mitsubishi Electric Corp 認識処理装置、認識処理方法およびセンシングシステム
JP2012068965A (ja) * 2010-09-24 2012-04-05 Denso Corp 画像認識装置
KR101339026B1 (ko) * 2013-10-14 2013-12-09 (주)유디피 열화상 카메라 가시성 개선 방법 및 장치
KR101350922B1 (ko) * 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 열화상 카메라를 사용한 객체 추적 방법 및 장치
KR101671993B1 (ko) 2014-08-01 2016-11-03 부경대학교 산학협력단 차량 안전 시스템
KR101611273B1 (ko) 2014-10-27 2016-04-11 재단법인대구경북과학기술원 순차적 적외선 영상을 이용한 피사체 검출 시스템 및 방법
JP2016208408A (ja) * 2015-04-27 2016-12-08 パナソニックＩｐマネジメント株式会社 検出方法、検出装置および制御方法
KR101818129B1 (ko) * 2017-04-25 2018-01-12 동국대학교 산학협력단 나선 신경망 기법을 이용한 보행자 인식 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102221096B1 (ko) 2020-09-23 2021-02-26 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템

Also Published As

Publication number Publication date
WO2019245191A1 (ko) 2019-12-26
KR102107298B1 (ko) 2020-05-06

Similar Documents

Publication Publication Date Title
US10614327B2 (en) Traffic-light detection and classification using computer vision and deep learning
US10885777B2 (en) Multiple exposure event determination
US10817732B2 (en) Automated assessment of collision risk based on computer vision
KR102638711B1 (ko) 레이더와 카메라 융합 기반의 차량인식시스템
US9139204B1 (en) Road surface condition detection with recursive adaptive learning and validation
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
CN111837156A (zh) 利用神经网络进行图像分析、视点感知模式识别以及生成多视图车辆表示的车辆重识别技术
US20110109476A1 (en) Method for Recognizing Traffic Signs
IL281302B1 (en) Method and device for classifying objects
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
US12007783B2 (en) Methods and systems for navigating autonomous and semi-autonomous vehicles
KR20230133705A (ko) 레이더와 카메라 융합 기반의 돌발상황 검지시스템
US11482012B2 (en) Method for driving assistance and mobile device using the method
KR102333107B1 (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
CN106845359A (zh) 基于红外发射的隧道入口行车提示装置及方法
Pandey et al. Traffic sign detection using Template Matching technique
Alkhorshid et al. Road detection through supervised classification
US20210097310A1 (en) Road Marking Determining Apparatus for Automated Driving
KR102107298B1 (ko) 영상 분석 장치 및 방법
CN118038340B (zh) 基于视频图像的防尾随检测系统
US20240273908A1 (en) Video monitoring device, and method, computer program and storage medium for retraining a video monitoring device
CN117710910A (zh) 目标检测模型的训练方法、装置、存储介质、设备及车辆
Jagtap et al. Exception Model for Brake Light Detection for Autonomous Vehicles
KR102784415B1 (ko) 라이다센서와 ai영상 분석 기술을 이용한 스마트 횡단보도의 우회전 위반 판독 방법
Jeong et al. Homogeneity patch search method for efficient vehicle color classification using front-of-vehicle image

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180620

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20190401

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191018

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200406

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200427

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200427

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230426

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240214

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250408

Start annual number: 6

End annual number: 6