KR102194591B1 - 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법 - Google Patents

템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법 Download PDF

Info

Publication number
KR102194591B1
KR102194591B1 KR1020180042711A KR20180042711A KR102194591B1 KR 102194591 B1 KR102194591 B1 KR 102194591B1 KR 1020180042711 A KR1020180042711 A KR 1020180042711A KR 20180042711 A KR20180042711 A KR 20180042711A KR 102194591 B1 KR102194591 B1 KR 102194591B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
template
recognition
found
Prior art date
Application number
KR1020180042711A
Other languages
English (en)
Other versions
KR20190119363A (ko
KR102194591B9 (ko
Inventor
임재중
김민구
Original Assignee
주식회사 오토디스플레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오토디스플레이 filed Critical 주식회사 오토디스플레이
Priority to KR1020180042711A priority Critical patent/KR102194591B1/ko
Publication of KR20190119363A publication Critical patent/KR20190119363A/ko
Application granted granted Critical
Publication of KR102194591B1 publication Critical patent/KR102194591B1/ko
Publication of KR102194591B9 publication Critical patent/KR102194591B9/ko

Links

Images

Classifications

    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00362—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법에 관한 것이다. 본 발명은, 복수의 카메라(100), 차량 모니터링 디바이스(200), 차량(300)을 포함하되, 차량(300) 주변의 사람 및 자전거를 포함한 객체(object)를 감지하여 운전자에게 주변 사항을 인지할 수 있도록 하여 사전에 사고를 예방하기 위해 차량 모니터링 디바이스(200)에서 템플릿 매칭 기술을 활용하여 참조 이미지(reference image)에서 템플릿(template) 영상과 매칭되는 위치를 탐색하기 위해 사람 및 자전거를 포함한 객체(object)를 부분적으로 나누어 참조 이미지와 비교하여 인식하는 것을 특징으로 한다.
이에 의해, 차량 주변의 사람 및 자전거 등의 객체(object)를 감지하여 운전자에게 주변 사항을 인지할 수 있도록 하여 사전에 사고를 예방할 수 있는 효과를 제공한다.
또한, 본 발명은, 차량에 장착된 카메라에 입력되는 영상을 이용하여 보행자 및 자전거 등 사물 감지하여 LCD 디스플레이(Display)를 구비하는 차량 모니터링 디바이스를 통해 Rear View System을 제공할 수 있는 효과가 있다.
뿐만 아니라, 본 발명은, 템플릿 매칭 기술을 활용함으로써, 참조 이미지(reference image)에서 템플릿(template) 영상과 매칭되는 위치를 탐색하기 위해 사람 및 자전거 등과 같은 객체(object)를 부분적으로 나누어 참조 이미지와 비교하여 인식하는 방식에 따라 탐색의 정밀도를 향상시킬 수 있는 효과가 있다.

Description

템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법{Artificial intelligence monitoring system for vehicles using template matching technology, and method thereof}
본 발명은 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법에 관한 것으로, 보다 구체적으로는, 차량 주변의 사람 및 자전거 등의 객체(object)를 감지하여 운전자에게 주변 사항을 인지할 수 있도록 하여 사전에 사고를 예방하도록 하기 위한 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법에 관한 것이다.
최근 과학과 차량 산업의 발달로 자율주행 차량의 스마트 센서(sensor)와 함께 센서시장의 관심사는 차량용 ADAS 센서(Advanced Driver Assistance System sensor)다.
첨단 운전자 지원 시스템(Advanced Driver Assistance System), 즉 ADAS는 차량용 센서와 카메라에서 감지한 외부환경 정보를 바탕으로 운전자로 하여금 적절한 조치를 취하거나 자율적으로 차량을 제어해 더욱 안전한 운전환경을 구축하는 시스템을 의미한다.
완전한 자율주행 차량 구현 단계인 운전자 지원(1단계), 부분 자동화(2단계), 조건부 자동화(3단계), 완전 자동화(4단계) 중 2단계에 해당하는 ADAS의 동작 과정은 인간의 행동과 유사하게 인식, 판단, 제어의 과정을 거친다.
이 동작 과정 중 인식 부분에 반드시 필요한 기술이 바로 센서다.
인식 기술은 주변을 인지하기 위해 카메라, 레이더(radar), 라이더(LiDAR; Light Detection and Ranging), 초음파 센서, GPS, 가속도계, 자이로스코프 등을 사용하게 된다. 최근에는 이종 센서 간의 데이터를 종합해 장애물의 위치 정보를 정확하게 인식하기 위한 센서 융합 기술이 개발되는 추세다.
시장조사기관 IHS에 따르면, 자율주행 차량은 2035년 1,180만 대로 증가하며, 2050년에는 대부분의 차량가 자율주행 차량로 대체될 전망이다.
특히 2030년부터는 대부분 차량에서 리어뷰 미러, 클랙슨, 사이드 브레이크가 사라지고, 2035년부터는 핸들, 엑셀 및 브레이크 페달도 없어질지 모른다.
ADAS의 인식 기술에 필요한 센서 중 초음파를 이용한 초음파 센서와 레이저를 이용한 라이더의 경우 차량 주변의 물체의 거리를 측정하여 운전자에게 차량 주변의 환경을 알려 준다.
그러나 초음파 센서나 라이더의 경우 차량의 주행시 좁은 골목길 도로나 근접거리에서 주행중인 차량의 경우, 지속적으로 운전자에게 주변의 환경을 인식시켜 운전자의 주행을 방해하는 상황을 발생시킨다.
한편, 도 1은 차량 주변의 자전거 사고 유형을 나타내며, 도 2는 차량 주변의 자전거 영상인식을 나타낸다. 도 1 및 도 2를 참조하면, 사고 위험 빈도가 높은 자전거를 탄 사람, 보행 취약자를 차량 주변에 설치된 카메라로 촬영하여 입력된 영상에 자전거 및 보행자를 검출기술, 그리고 자전거/보행자를 추적하는 추적기술, 추적된 정보를 이용하여 충돌을 예측하는 기술을 접목하여 운전자의 안전운전을 도모한다.
대한민국 특허출원 출원번호 제10-2004-0018737호 "레이저를 이용한 고정형 과속차량 검지기의 차량감지장치(vehicle sensing device for fixed type over velocity vehicle detecting system using laser)"
본 발명은 상기의 문제점을 해결하기 위한 것으로, 차량 주변의 사람 및 자전거 등의 객체(object)를 감지하여 운전자에게 주변 사항을 인지할 수 있도록 하여 사전에 사고를 예방하도록 하기 위한 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법을 제공하기 위한 것이다.
또한, 본 발명은 차량에 장착된 카메라에 입력되는 영상을 이용하여 보행자 및 자전거 등 사물 감지하여 LCD 디스플레이(Display)를 구비하는 차량 모니터링 디바이스를 통해 Rear View System을 제공하도록 하기 위한 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법을 제공하기 위한 것이다.
또한, 본 발명은 템플릿 매칭 기술을 활용함으로써, 참조 이미지(reference image)에서 템플릿(template) 영상과 매칭되는 위치를 탐색하기 위해 사람 및 자전거 등과 같은 객체(object)를 부분적으로 나누어 참조 이미지와 비교하여 인식하는 방식에 따라 탐색의 정밀도를 향상시키도록 하기 위한 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템은, 복수의 카메라(100), 차량 모니터링 디바이스(200), 차량(300)을 포함하되, 차량(300) 주변의 사람 및 자전거를 포함한 객체(object)를 감지하여 운전자에게 주변 사항을 인지할 수 있도록 하여 사전에 사고를 예방하기 위해 차량 모니터링 디바이스(200)에서 템플릿 매칭 기술을 활용하여 참조 이미지(reference image)에서 템플릿(template) 영상과 매칭되는 위치를 탐색하기 위해 사람 및 자전거를 포함한 객체(object)를 부분적으로 나누어 참조 이미지와 비교하여 인식하는 것을 특징으로 한다.
이때, 차량 모니터링 디바이스(200)는, 터치스크린(210), I/O 인터페이스(220), 제어부(230), 메모리(240) 및 송수부(250)를 포함하며, 제어부(230)는, 템플릿 기반의 참조 이미지를 송수신부(250)를 통해 수신하거나, 메모리(240)에 저장된 템플릿 기반의 참조 이미지를 추출하는 템플릿 이미지 제공 모듈(231); 을 포함하는 것을 특징으로 한다,
또한, 템플릿 이미지 제공 모듈(231)로 제공되는 하나의 템플릿 기반의 참조 이미지는 사람을 객체로 하는 경우 얼굴 부분 객체, 상체 부분 객체, 하체 부분 객체로 구분한 뒤, 각 부분 객체를 하나의 템플릿 기반의 참조 이미지 전체 객체로 생성되는 것을 특징으로 한다.
또한, 템플릿 이미지 제공 모듈(231)로 제공되는 복수의 템플릿 기반의 참조 이미지에 대해서 빅데이터 기반으로 생성되는 것을 특징으로 한다.
또한, 제어부(230)는, 복수의 카메라(100) 중 하나에 의해 제공되는 이미지 프레임에 대해서 템플릿 이미지 제공 모듈(231)에서 제공되는 참조 이미지와의 비교를 위해 미리 설정된 객체를 단계별로 인식하도록 제어하는 단계별 인식 부분화 모듈(232); 을 더 포함하는 것을 특징으로 한다.
또한, 단계별 인식 부분화 모듈(232)은, 카메라(100)에서 획득되는 이미지 프레임에 대한 이미지 캡처(image capture)를 수행한 뒤, 전체 캡처 이미지 중 발견할 객체가 없는 이미지(일반 이미지)와 발견할 객체가 있는 이미지에 대한 분류를 수행하는 것을 특징으로 한다.
또한, 단계별 인식 부분화 모듈(232)은, 발견할 객체가 있는 이미지에 대한 분류를 수행한 뒤, 객체가 사람인 경우 사람에 대한 단계별 부분화 인식을 위해 얼굴 부분 객체 인식, 상체 부분 객체 인식, 하체 부분 객체 인식을 부분화하는 것을 특징으로 한다.
본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법은, 차량 주변의 사람 및 자전거 등의 객체(object)를 감지하여 운전자에게 주변 사항을 인지할 수 있도록 하여 사전에 사고를 예방할 수 있는 효과를 제공한다.
또한, 본 발명의 다른 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법은, 차량에 장착된 카메라에 입력되는 영상을 이용하여 보행자 및 자전거 등 사물 감지하여 LCD 디스플레이(Display)를 구비하는 차량 모니터링 디바이스를 통해 Rear View System을 제공할 수 있는 효과가 있다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법은, 템플릿 매칭 기술을 활용함으로써, 참조 이미지(reference image)에서 템플릿(template) 영상과 매칭되는 위치를 탐색하기 위해 사람 및 자전거 등과 같은 객체(object)를 부분적으로 나누어 참조 이미지와 비교하여 인식하는 방식에 따라 탐색의 정밀도를 향상시킬 수 있는 효과가 있다.
도 1은 차량 주변의 자전거 사고 유형을 나타내는 도면이다.
도 2는 차량 주변의 자전거 영상인식을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1) 중 차량 모니터링 디바이스(200)의 구성요소를 나타내는 블록도이다.
도 5 및 도 6은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1) 중 차량 모니터링 디바이스(200)에서 사용하는 템플릿 매칭 기법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시방법을 나타내는 전체적인 흐름도이다.
도 8은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시방법 중 부분 객체 인식 과정을 나타내는 흐름도이다.
도 9는 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에서 차량 모니터링 디바이스(200)의 영상 인지 모듈이 설계된 것을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에서 차량 모니터링 디바이스(200)의 터치스크린(210)에 대한 구현을 위한 설계를 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에서 차량 모니터링 디바이스(200)에서 카메라 영상 처리 모듈 설계를 나타내는 도면이다.
도 12는 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에서 카메라 영상 Quad 분할 모듈 설계를 나타내는 도면이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 3은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)을 나타내는 도면이다. 도 3을 참조하면, 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)은 복수의 카메라(100), 차량 모니터링 디바이스(200), 차량(300)을 포함함으로써, 차량 주변의 사람 및 자전거 등의 객체(object)를 감지하여 운전자에게 주변 사항을 인지할 수 있도록 하여 사전에 사고를 예방할 수 있다.
이를 위해 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)은 차량 모니터링 디바이스(200)에서 템플릿 매칭 기술을 활용함으로써, 참조 이미지(reference image)에서 템플릿(template) 영상과 매칭되는 위치를 탐색하기 위해 사람 및 자전거 등과 같은 객체(object)를 부분적으로 나누어 참조 이미지와 비교하여 인식하는 방식을 수행한다.
도 4는 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1) 중 차량 모니터링 디바이스(200)의 구성요소를 나타내는 블록도이다. 도 5 및 도 6은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1) 중 차량 모니터링 디바이스(200)에서 사용하는 템플릿 매칭 기법을 설명하기 위한 도면이다.
먼저, 도 4를 참조하면, 차량 모니터링 디바이스(200)는 터치스크린(210), 복수의 카메라(100) 각각과 신호 및 데이터 송수신을 수행하는 I/O 인터페이스(220), 제어부(230), 메모리(240) 및 송수신부(250)를 포함하며, 제어부(230)는 템플릿 이미지 제공 모듈(231), 단계별 인식 부분화 모듈(232), 동적 상태 파악 모듈(233), 객체 비교 분석 모듈(234)을 포함할 수 있다.
이하에서는 제어부(230)의 구성요소를 중심으로, 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에 대해서 구체적으로 살펴보도록 한다.
템플릿 이미지 제공 모듈(231)은 템플릿 기반의 참조 이미지를 송수신부(250)를 통해 수신하거나, 메모리(240)에 저장된 템플릿 기반의 참조 이미지를 추출할 수 있다.
한편, 템플릿 이미지 제공 모듈(231)로 제공되는 하나의 템플릿 기반의 참조 이미지는 도 5a와 같이 사람을 객체로 하는 경우 얼굴 부분 객체, 상체 부분 객체, 하체 부분 객체로 구분한 뒤, 각 부분 객체를 하나의 템플릿 기반의 참조 이미지 전체 객체로 생성할 수 있다.
그리고, 템플릿 이미지 제공 모듈(231)로 제공되는 복수의 템플릿 기반의 참조 이미지에 대해서 빅데이터 기반으로 생성됨으로써, 도 5b와 같이 다양한 템플릿 기반의 참조 이미지가 생성될 수 있다.
단계별 인식 부분화 모듈(232)은 복수의 카메라(100) 중 하나에 의해 제공되는 이미지 프레임에 대해서 템플릿 이미지 제공 모듈(231)에서 제공되는 참조 이미지와의 비교를 위해 미리 설정된 객체를 단계별로 인식하도록 제어할 수 있다.
먼저, 단계별 인식 부분화 모듈(232)은 카메라(100)에서 획득되는 이미지 프레임에 대한 이미지 캡처(image capture)를 수행한 뒤, 전체 캡처 이미지 중 발견할 객체가 없는 이미지(일반 이미지)와 발견할 객체가 있는 이미지에 대한 분류를 수행한다.
한편, 단계별 인식 부분화 모듈(232)은 발견할 객체가 있는 이미지에 대한 분류를 수행한 뒤, 객체가 사람인 경우 사람에 대한 단계별 부분화 인식을 위해 얼굴 부분 객체 인식, 상체 부분 객체 인식, 하체 부분 객체 인식을 부분화할 수 있다.
본 발명에 있어서, 단계별 인식 부분화 모듈(232)은 얼굴 부분 객체 인식시 모자 패턴, 이목구비 패턴, 마스크 패턴, 안경 패턴 등을 참조하여 얼굴 부분 객체 인식을 수행한 뒤 메모리(240)에 얼굴 부분 객체를 저장할 수 있다. 또한, 단계별 인식 부분화 모듈(232)은 상체 부분 객체 인식시 팔 패턴, 소지 물체(핸드백, 백팩, 크로스백 등) 패턴 등을 참조하여 상체 부분 객체 인식을 수행한 뒤 메모리(240)에 상체 부분 객체를 저장할 수 있다. 또한, 단계별 인식 부분화 모듈(232)은 하체 부분 객체 인식시 앉은 다리 자세 패턴, 서 있는 다리 자세 패턴 등을 참조하여 하체 부분 객체 인식을 수행한 뒤, 메모리(240)에 하체 부분 객체를 저장할 수 있다.
한편, 단계별 인식 부분화 모듈(232)은 얼굴 부분 객체 인식, 상체 부분 객체 인식, 하체 부분 객체 인식의 과정을 거쳐 메모리(240)에 얼굴 부분 객체, 상체 부분 책체, 하체 부분 객체가 하나로 모인 전체 이미지 모드를 저장할 수 있다.
동적 상태 파악 모듈(233)은 단계별 인식 부분화 모듈(232)에 의해 부분적으로 나누어서 인식한 얼굴 부분 객체, 상체 부분 객체, 하체 부분 객체 각각의 동적 상태를 개별적으로 파악하여 보다 정확하게 전체 객체에 대한 비교 분석을 수행할 수 있도록 할 수 있다.
동적 상태 파악 모듈(233)은 발견할 객체가 있는 이미지에 단계별 부분화 인식과 전체 이미지 모드로의 저장이 완료되면, 발견할 객체에 대한 전체 또는 부분 객체에 대한 벡터 데이터 파일(vector data file)을 생성하고, 발견할 객체가 없는 일반 이미지에 대한 데이터 파일을 생성하여 메모리(240)에 저장할 수 있다.
또한, 동적 상태 파악 모듈(233)은 발견할 객체의 벡터 데이터 파일과 일반 이미지의 데이터 파일을 이용한 객체 인식에 사용하도록 Haar Training Set의 xml을 생성하여 Haar xml로 메모리(240)에 저장할 수 있다.
여기서, 동적 상태 파악 모듈(233)은 생성된 Haar xml은 객체 검출 방법에 이용하는데, Haar xml은 후술하는 객체 비교 분석 모듈(234)에서 카메라(100)에 의해 촬영된 영상에서 객체 검출을 위한 분류기에 해당한다.
즉, 동적 상태 파악 모듈(233)은 검출할 객체에 대한 일반 이미지에서 발견할 객체의 특징들을 학습시켜서 객체의 특징들을 학습시켜 약 분류기(weak classifier)를 만들며, 약 분류기에 의해 검출할 객체에 대한 일반 이미지 데이터 파일 상에서 발견할 객체의 벡터 데이터 파일의 특징들을 학습시켜서 객체의 특징들을 학습시켜 강 분류기(strong classifier)를 생성하고 만들어진 강 분류기를 선형구조(cascade)로 연결하여 입력된 영상에서 객체를 검출하기 위한 스크립트 파일에 해당하는 Haar xml을 생성하는 것이다. 여기에서 입력된 영상에서 객체를 검출하기 위한 특징값은 Haar-like feature의 흰 영역에 포함되는 픽셀들의 합에서 검은 영역에 포함되는 픽셀의 합의 차로 표현될 수 있으며, 또한 이러한 픽셀의 합 계산은 적분 영상에 의해 매우 빠른 속도로 연산되며, Haar-like feature에 의해 계산된 특징값들을 adaboost 알고리즘에 적용하여 객체를 검출하기 위한 분류기를 생성할 수 있는 것이 바람직하다.
객체 비교 분석 모듈(234)은 카메라(100)에 대한 카메라 이미지 캡처를 제어한 뒤, 이미지 프레임을 획득한 뒤, 획득한 이미지 프레임에 대한 그레이스케일로 전환을 수행한다.
이후, 객체 비교 분석 모듈(234)은 그레이스케일로 전환된 이미지 프레임에 대해서 히스토그램을 생성함으로써, 그레이스케일로 전환된 프레임에 대해서 각 농도의 레벨마다 미리 설정된 농도 레벨을 갖는 픽셀로 구성되도록 한다.
이후, 객체 비교 분석 모듈(234)은 동적 상태 파악 모듈(233)에서 메모리(240) 상에 저장된 적어도 하나 이상의 Haar xml을 로드(load) 한 뒤, Haar xml을 이용하여 히스토그램으로 생성된 이미지 프레임 내에서 전체 객체 또는 부분 객체와 매칭되는 객체를 추출함으로써, 발견할 객체를 부분 또는 전체로 확인할 수 있으며, 발견할 객체에 대해 red quadrangle type으로 드로잉 작업을 수행하여 터치스크린(210) 상에 출력할 수 있다.
도 7은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시방법을 나타내는 전체적인 흐름도이다. 도 7을 참조하면, 차량 모니터링 디바이스(200)는 이미지 캡처(image capture)를 수행한다(S11). 단계(S11) 이후, 차량 모니터링 디바이스(200)는 발견할 객체가 없는 이미지(일반 이미지) 캡처를 수행한다(S12). 단계(S13) 이후, 차량 모니터링 디바이스(200)는 발견할 객체가 있는 이미지 캡처를 수행한다(S13). 보다 구체적으로, 단계(S11) 내지 단계(S13)에서 차량 모니터링 디바이스(200)는 카메라(100)에서 획득되는 이미지 프레임에 대한 이미지 캡처(image capture)를 수행한 뒤, 전체 캡처 이미지 중 발견할 객체가 없는 이미지(일반 이미지)와 발견할 객체가 있는 이미지에 대한 분류를 수행하는 것이다.
단계(S13) 이후, 차량 모니터링 디바이스(200)는 발견할 객체의 벡터 데이터 파일(vector data file)을 생성한다(S14). 단계(S14) 이후, 차량 모니터링 디바이스(200)는 일반 이미지의 데이터 파일 생성을 생성한다(S15). 단계(S15) 이후, 차량 모니터링 디바이스(200)는 발견할 객체와 일반 이미지의 Haar Training Set의 xml을 생성한다(S16). 보다 구체적으로, 단계(S13) 내지 단계(S16)에서 차량 모니터링 디바이스(200)는 보다 구체적으로, 차량 모니터링 디바이스(200)는 발견할 객체가 있는 이미지에 단계별 부분화 인식과 전체 이미지 모드로의 저장이 완료되면, 발견할 객체에 대한 전체 또는 부분 객체에 대한 벡터 데이터 파일(vector data file)을 생성하고, 발견할 객체가 없는 일반 이미지에 대한 데이터 파일을 생성하여 메모리(240)에 저장한 뒤, 발견할 객체의 벡터 데이터 파일과 일반 이미지의 데이터 파일을 이용한 객체 인식에 사용하도록 Haar Training Set의 xml을 생성하여 Haar xml로 메모리(240)에 저장할 수 있다. 한편, 단계(S11) 내지 단계(S16)의 과정은 반복적으로 수행되어 빅데이터 기반으로 Haar xml이 생성되어 빅데이터 서버로의 데이터 공유 과정을 네트워크를 통해 다른 차량 모니터링 디바이스(200)로 제공될 수 있다.
단계(S16) 이후, 차량 모니터링 디바이스(200)는 카메라(100)에 대한 카메라 이미지 캡처를 제어한다(S17). 단계(S17) 이후, 차량 모니터링 디바이스(200)는 카메라(100)가 온(on)되어 있는지 여부를 판단한다(S18). 단계(S18)의 판단 결과 카메라(100)가 온(on)되어 있는 경우 차량 모니터링 디바이스(200)는 프레임 캡처를 수행한다(S19).
단계(S19) 이후, 차량 모니터링 디바이스(200)는 캡처된 프레임에 대한 그레이스케일로 전환을 수행한다(S20).
단계(S20) 이후, 차량 모니터링 디바이스(200)는 히스토그램을 생성한다(S21).
보다 구체적으로 단계(S20) 및 단계(S21)에서 차량 모니터링 디바이스(200)는 카메라(100)에 대한 카메라 이미지 캡처를 제어한 뒤, 이미지 프레임을 획득한 뒤, 획득한 이미지 프레임에 대한 그레이스케일로 전환을 수행하고, 그레이스케일로 전환된 이미지 프레임에 대해서 히스토그램을 생성함으로써, 그레이스케일로 전환된 프레임에 대해서 각 농도의 레벨마다 미리 설정된 농도 레벨을 갖는 픽셀로 구성되도록 한다.
단계(S21) 이후, 차량 모니터링 디바이스(200)는 단계(S16)에서 생성된 Haar xml을 로드한다(S22). 단계(S22) 이후, 차량 모니터링 디바이스(200)는 발견할 객체를 확인한다(S23). 단계(S23) 이후, 차량 모니터링 디바이스(200)는 발견할 객체에 대해 red quadrangle type으로 드로잉 작업을 수행하여 출력한다(S24).
보다 구체적으로, 단계(S22) 내지 단계(S24)에서 차량 모니터링 디바이스(200)는 메모리(240) 상에 저장된 적어도 하나 이상의 Haar xml을 로드한 뒤, Haar xml을 이용하여 히스토그램으로 생성된 이미지 프레임 내에서 전체 객체 또는 부분 객체와 매칭되는 객체를 추출함으로써, 발견할 객체를 부분 또는 전체로 확인할 수 있으며, 발견할 객체에 대해 red quadrangle type으로 드로잉 작업을 수행하여 터치스크린(210) 상에 출력할 수 있다.
도 8은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시방법 중 부분 객체 인식 과정을 나타내는 흐름도이다. 도 8을 참조하면, 차량 모니터링 디바이스(200)는 이미지 캡처(image capture)를 수행한 뒤(S31), 얼굴(상체, 하체) 이미지를 추출하고(S32), 참조 이미지 비교를 수행한다(S33).
보다 구체적으로 단계(S31) 내지 단계(S33)에 있어서, 차량 모니터링 디바이스(200)는 메모리(240)에서 제공되는 하나의 템플릿 기반의 참조 이미지와의 비교를 위해 사람을 객체로 하는 경우 단계(S31)에서 캡처된 이미지에서 얼굴 부분 객체, 상체 부분 객체, 하체 부분 객체로 구분한 뒤, 각 부분 객체를 하나의 템플릿 기반의 참조 이미지와 비교를 수행할 수 있다.
단계(S33) 이후, 차량 모니터링 디바이스(200)는 메모리(240)에 저장한다(S34).
즉, 단계(S34)에서 차량 모니터링 디바이스(200)는 참조 이미지와 각 부분 객체에 대한 비교를 통해 추출된 부분 객체에 대한 정보를 메모리(240)에 저장할 수 있다.
단계(S34) 이후, 차량 모니터링 디바이스(200)는 이미지 캡처(image capture)를 수행한다(S35). 단계(S36) 이후, 차량 모니터링 디바이스(200)는 얼굴(상체, 하체) 이미지를 추출한다(S36). 단계(S36) 이후, 차량 모니터링 디바이스(200)는 참조 이미지 비교를 수행한다(S37). 단계(S37) 이후, 차량 모니터링 디바이스(200)는 메모리 저장 이미지와 비교를 수행한다(S38).
즉, 단계(S35) 내지 단계(S38)에 있어서, 차량 모니터링 디바이스(200)는 메모리(240)에서 제공되는 하나의 템플릿 기반의 참조 이미지와의 비교를 위해 사람을 객체로 하는 경우 단계(S31)에서 캡처된 이미지와 미리 설정된 시간이 경과하여 단계(S35)에서 캡처된 이미지를 이용해 얼굴 부분 객체, 상체 부분 객체, 하체 부분 객체로 구분한 뒤, 각 부분 객체를 하나의 템플릿 기반의 참조 이미지와 비교를 수행할 수 있다.
단계(S38) 이후, 차량 모니터링 디바이스(200)는 이미지 움직임을 감지한다(S39). 즉, 차량 모니터링 디바이스(200)는 단계(S33) 및 단계(S38)에서 참조 이미지와 각 부분 객체에 대한 비교를 통해 추출된 부분 객체에 대한 정보에 대한 추출된 부분 객체별로 또는 추출된 부분 객체를 전체로 하여 벡터 데이터 파일(vector data file)을 생성할 수 있다.
단계(S39) 이후, 차량 모니터링 디바이스(200)는 추출된 부분 객체에 대해서 전체 이미지 모드에 저장한다(S40). 즉, 차량 모니터링 디바이스(200)는 얼굴 부분 객체 인식, 상체 부분 객체 인식, 하체 부분 객체 인식의 과정을 거쳐 메모리(240)에 얼굴 부분 객체, 상체 부분 객체, 하체 부분 객체가 하나로 모아진 전체 이미지 모드로 저장할 수 있다.
도 9는 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에서 차량 모니터링 디바이스(200)의 영상 인지 모듈이 설계된 것을 나타내는 도면이다. 도 9를 참조하면, 제어부(230)에 해당하는 MCU를 기반으로 한 영상 인지 모듈이 설계됨으로써, 영상과 특정물체 감지, 경고 표시를 구성 화면과 Overlay하여 출력할 수 있으며, 자전거 및 보행자 감지, 방향 알고리즘을 제공할 수 있다.
또한, 도 10은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에서 차량 모니터링 디바이스(200)의 터치스크린(210)에 대한 구현을 위한 설계를 나타내는 도면이다. 도 10을 참조하면, 터치스크린(210)은 10.2“ LCD Panel Display로 형성되어, Quad 입력을 받아 영상 Scaling 처리 후 LVDS 출력이 가능하며, LCD Back light 밝기 조정할 수 있는 특징을 제공한다.
또한, 도 11은 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에서 차량 모니터링 디바이스(200)에서 카메라 영상 처리 모듈 설계를 나타내는 도면이다. 여기서 카메라(100)는 HD-TVI 1080P 25/30Hz의 파라미터를 갖도록 제공됨으로써, 제어부(230)는 HD-TVI 카메라 입력을 받아 디코딩하여 BT1120 출력 변동을 제공할 수 있다.
또한, 도 12는 본 발명의 실시예에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에서 카메라 영상 Quad 분할 모듈 설계를 나타내는 도면이다. 도 12를 참조하면, 4채널의 HD-TVI 영상을 한 화면에 Quad 분할하여 BT1120으로 Scaler로 전달할 수 있다.
한편, 본 발명에 따른 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)은 차량(300)에 장착된 카메라(100)에 입력되는 영상을 이용하여 보행자 및 자전거 등 사물 감지하여 LCD 디스플레이(Display)를 구비하는 차량 모니터링 디바이스(200)를 통해 Rear View System을 제공할 수 있다.
여기서, 차량 모니터링 디바이스(200)는 HD-TVI 1080P 25/30Hz 카메라 영상 Display 모듈, One/Dual/Triple/Quad HD-TVI화면 Display, 템플릿 매칭 기술로 감지된 화면 Display, Touch Base의 화면 OSD 구현((a) Menu 구성, (b) Radar Detection 구성, (c) 영상과 Radar 구성 화면과 Overlay, (d) Tacho 기능으로 차량 속도 표시를 수행할 수 있다.
한편, 차량 모니터링 디바이스(200)를 구성하는 터치스크린(210)은 10.2“ LCD Panel Display로, Quad 입력을 받아 영상 처리 H/W 설계, LCD Back Light 제어 Panel 전원 제어, Key Button 제어, Audio 입력 Mux Control 및 Audio AMP 제어 기능을 구비할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1 : 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템
100 : 카메라
200 : 차량 모니터링 디바이스
210 : 터치스크린
220 : I/O 인터페이스
230 : 제어부
231 : 템플릿 이미지 제공 모듈
232 : 단계별 인식 부분화 모듈
233 : 동적 상태 파악 모듈
234 : 객체 비교 분석 모듈
240 : 메모리
250 : 송수신부
300 : 차량

Claims (7)

  1. 복수의 카메라(100), 차량 모니터링 디바이스(200), 차량(300)을 포함함으로써, 차량 주변의 사람 및 자전거 등의 객체(object)를 감지하여 운전자에게 주변 사항을 인지할 수 있도록 하여 사전에 사고를 예방하기 위해 차량 모니터링 디바이스(200)에서 템플릿 매칭 기술을 활용함으로써, 참조 이미지(reference image)에서 템플릿(template) 영상과 매칭되는 위치를 탐색하기 위해 사람 및 자전거를 포함하는 객체(object)를 부분적으로 나누어 참조 이미지와 비교하여 인식하는 방식을 수행하는 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템(1)에 있어서,
    차량 모니터링 디바이스(200)는, 터치스크린(210), 복수의 카메라(100) 각각과 신호 및 데이터 송수신을 수행하는 I/O 인터페이스(220), 제어부(230), 메모리(240) 및 송수신부(250)를 포함하며, 제어부(230)는,
    템플릿 기반의 참조 이미지를 송수신부(250)를 통해 외부로부터 수신하거나, 메모리(240)에 저장된 템플릿 기반의 참조 이미지를 추출하되, 템플릿 이미지 제공 모듈(231)로 제공되는 하나의 템플릿 기반의 참조 이미지는 사람을 객체로 하는 경우 얼굴 부분 객체, 상체 부분 객체, 하체 부분 객체로 구분한 뒤, 각 부분 객체를 하나의 템플릿 기반의 참조 이미지 전체 객체로 생성된 것을 수신하는 템플릿 이미지 제공 모듈(231);
    복수의 카메라(100) 중 하나에 의해 제공되는 이미지 프레임에 대해서 템플릿 이미지 제공 모듈(231)에서 제공되는 참조 이미지와의 비교를 위해 미리 설정된 객체를 단계별로 인식하도록 제어하되, 카메라(100)에서 획득되는 이미지 프레임에 대한 이미지 캡처(image capture)를 수행한 뒤, 전체 캡처 이미지 중 발견할 객체가 없는 이미지(일반 이미지)와 발견할 객체가 있는 이미지에 대한 분류를 수행하며, 발견할 객체가 있는 이미지에 대한 분류 수행에 따라 객체가 사람인 경우 사람에 대한 단계별 부분화 인식을 위해 얼굴 부분 객체 인식, 상체 부분 객체 인식, 하체 부분 객체 인식을 부분화를 수행하며, 얼굴 부분 객체 인식시 모자 패턴, 이목구비 패턴, 마스크 패턴, 안경 패턴을 포함하는 패턴을 참조하여 얼굴 부분 객체 인식을 수행한 뒤 메모리(240)에 얼굴 부분 객체를 저장하며, 상체 부분 객체 인식시 팔 패턴, 소지 물체(핸드백, 백팩, 크로스백 포함) 패턴을 포함하는 패턴을 참조하여 상체 부분 객체 인식을 수행한 뒤 메모리(240)에 상체 부분 객체를 저장하며, 하체 부분 객체 인식시 앉은 다리 자세 패턴, 서 있는 다리 자세 패턴을 포함하는 패턴을 참조하여 하체 부분 객체 인식을 수행한 뒤, 메모리(240)에 하체 부분 객체를 저장하며, 얼굴 부분 객체 인식, 상체 부분 객체 인식, 하체 부분 객체 인식의 과정을 거쳐 메모리(240)에 얼굴 부분 객체, 상체 부분 책체, 하체 부분 객체가 하나로 모인 전체 이미지 모드를 저장하는 단계별 인식 부분화 모듈(232);
    단계별 인식 부분화 모듈(232)에 의해 부분적으로 나누어서 인식한 얼굴 부분 객체, 상체 부분 객체, 하체 부분 객체 각각의 동적 상태를 개별적으로 파악하여 전체 객체에 대한 비교 분석을 수행하며, 발견할 객체가 있는 이미지에 단계별 부분화 인식과 전체 이미지 모드로의 저장이 완료되면, 발견할 객체에 대한 전체 또는 부분 객체에 대한 벡터 데이터 파일(vector data file)을 생성하고, 발견할 객체가 없는 일반 이미지에 대한 데이터 파일을 생성하여 메모리(240)에 저장하며, 발견할 객체의 벡터 데이터 파일과 일반 이미지의 데이터 파일을 이용한 객체 인식에 사용하도록 Haar Training Set의 xml을 생성하여 Haar xml로 메모리(240)에 저장하며, 생성된 Haar xml에 대해서 객체 검출 방법에 이용시, Haar xml이 객체 비교 분석 모듈(234)에서 카메라(100)에 의해 촬영된 영상에서 객체 검출을 위한 분류기로 사용되도록 하는 동적 상태 파악 모듈(233); 및
    카메라(100)에 대한 카메라 이미지 캡처를 제어한 뒤, 이미지 프레임을 획득한 뒤, 획득한 이미지 프레임에 대한 그레이스케일로 전환을 수행하고, 그레이스케일로 전환된 이미지 프레임에 대해서 히스토그램을 생성함으로써, 그레이스케일로 전환된 프레임에 대해서 각 농도의 레벨마다 미리 설정된 농도 레벨을 갖는 픽셀로 구성되도록 하며, 동적 상태 파악 모듈(233)에서 메모리(240) 상에 저장된 적어도 하나 이상의 Haar xml을 로드(load) 한 뒤, Haar xml을 이용하여 히스토그램으로 생성된 이미지 프레임 내에서 전체 객체 또는 부분 객체와 매칭되는 객체를 추출함으로써, 발견할 객체를 부분 또는 전체로 확인하고, 발견할 객체에 대해 red quadrangle type으로 드로잉 작업을 수행하여 터치스크린(210) 상에 출력하는 객체 비교 분석 모듈(234); 을 포함하며,
    동적 상태 파악 모듈(233)은,
    검출할 객체에 대한 일반 이미지에서 발견할 객체의 특징들을 학습시켜서 객체의 특징들을 학습시켜 약 분류기(weak classifier)를 만들며, 약 분류기에 의해 검출할 객체에 대한 일반 이미지 데이터 파일 상에서 발견할 객체의 벡터 데이터 파일의 특징들을 학습시켜서 객체의 특징들을 학습시켜 강 분류기(strong classifier)를 생성하고 만들어진 강 분류기를 선형구조(cascade)로 연결하여 입력된 영상에서 객체를 검출하기 위한 스크립트 파일에 해당하는 Haar xml을 생성하는 것을 특징으로 하는 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    템플릿 이미지 제공 모듈(231)로 제공되는 복수의 템플릿 기반의 참조 이미지에 대해서 빅데이터 기반으로 생성되는 것을 특징으로 하는 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템.
  5. 삭제
  6. 삭제
  7. 삭제
KR1020180042711A 2018-04-12 2018-04-12 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법 KR102194591B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180042711A KR102194591B1 (ko) 2018-04-12 2018-04-12 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180042711A KR102194591B1 (ko) 2018-04-12 2018-04-12 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법

Publications (3)

Publication Number Publication Date
KR20190119363A KR20190119363A (ko) 2019-10-22
KR102194591B1 true KR102194591B1 (ko) 2020-12-23
KR102194591B9 KR102194591B9 (ko) 2021-07-14

Family

ID=68420129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180042711A KR102194591B1 (ko) 2018-04-12 2018-04-12 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법

Country Status (1)

Country Link
KR (1) KR102194591B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102596848B1 (ko) * 2022-12-29 2023-11-01 가천대학교 산학협력단 인공지능 기반 재실인원에 따른 에너지 소비량 추정방법, 및 이를 수행하는 시스템, 컴퓨터-판독가능 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113158A (ja) * 1998-10-01 2000-04-21 Toshiba Corp 物体追跡装置及びその方法
JP2008181423A (ja) * 2007-01-25 2008-08-07 Fujitsu Ten Ltd 歩行者認識装置および歩行者認識方法
KR101802500B1 (ko) * 2016-10-20 2017-11-28 재단법인대구경북과학기술원 영상 인식을 위한 학습 장치 및 그 학습 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113158A (ja) * 1998-10-01 2000-04-21 Toshiba Corp 物体追跡装置及びその方法
JP2008181423A (ja) * 2007-01-25 2008-08-07 Fujitsu Ten Ltd 歩行者認識装置および歩行者認識方法
KR101802500B1 (ko) * 2016-10-20 2017-11-28 재단법인대구경북과학기술원 영상 인식을 위한 학습 장치 및 그 학습 방법

Also Published As

Publication number Publication date
KR20190119363A (ko) 2019-10-22
KR102194591B9 (ko) 2021-07-14

Similar Documents

Publication Publication Date Title
Nidamanuri et al. A progressive review: Emerging technologies for ADAS driven solutions
US11301698B2 (en) Multi-camera vision system and method of monitoring
US10452946B2 (en) Object detection using recurrent neural network and concatenated feature map
KR102463175B1 (ko) 객체 인식 방법 및 장치
Prioletti et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms, and evaluation
US11615566B2 (en) Multi-camera vehicle vision system and method
KR102480416B1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
Wang et al. A survey on driver behavior analysis from in-vehicle cameras
KR20180125885A (ko) 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
US20180336423A1 (en) Electronic device and method of controlling operation of vehicle
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
US20200174489A1 (en) Electronic device and operation method therefor
US20180330171A1 (en) Methods for detecting, identifying and displaying object information with a multi-camera vision system
KR20190019840A (ko) 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법
KR102360181B1 (ko) 차량의 동작을 제어하는 전자 장치 및 방법
US11783710B2 (en) Appearance and movement based model for determining risk of micro mobility users
JP2007310805A (ja) 物体認識装置
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
Jegham et al. Deep learning-based hard spatial attention for driver in-vehicle action monitoring
KR102194591B1 (ko) 템플릿 매칭 기술을 이용한 차량용 인공지능 감시시스템 및 감시방법
US20220189210A1 (en) Occlusion-Aware Prediction of Human Behavior
JP2010092353A (ja) 画像処理装置及び画像処理方法
US20200108773A1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN115995142A (zh) 基于可穿戴装置的驾驶训练提醒方法及可穿戴装置
KR101169340B1 (ko) 영상 처리 시스템에서의 객체 인식 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
G170 Re-publication after modification of scope of protection [patent]