KR20210082301A - 임베디드 카메라 기반 상황 인지 시스템 - Google Patents

임베디드 카메라 기반 상황 인지 시스템 Download PDF

Info

Publication number
KR20210082301A
KR20210082301A KR1020190173912A KR20190173912A KR20210082301A KR 20210082301 A KR20210082301 A KR 20210082301A KR 1020190173912 A KR1020190173912 A KR 1020190173912A KR 20190173912 A KR20190173912 A KR 20190173912A KR 20210082301 A KR20210082301 A KR 20210082301A
Authority
KR
South Korea
Prior art keywords
camera
fan
basic information
embedded
heat sink
Prior art date
Application number
KR1020190173912A
Other languages
English (en)
Other versions
KR102278400B1 (ko
Inventor
박영기
임상일
김용유
이국진
박민성
박성실
조익현
손기호
Original Assignee
주식회사 싸인텔레콤
한국서부발전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싸인텔레콤, 한국서부발전 주식회사 filed Critical 주식회사 싸인텔레콤
Priority to KR1020190173912A priority Critical patent/KR102278400B1/ko
Publication of KR20210082301A publication Critical patent/KR20210082301A/ko
Application granted granted Critical
Publication of KR102278400B1 publication Critical patent/KR102278400B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/55—Details of cameras or camera bodies; Accessories therefor with provision for heating or cooling, e.g. in aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 기존 VDS, 차량번호인식, 도로방범, 위험시설관리, 화재관리, 보행자 관리 등의 다양한 상황마다 개별 시스템을 갖춰야 하는 단점을 해소하여, 하나의 임베디드 카메라를 통해서도 여러가지 상황에 대한 통합 인식이 가능한 다기능 지능형 상황 인지 시스템에 관한 것이다.

Description

임베디드 카메라 기반 상황 인지 시스템{Intelligent system for context-aware based embeded camera}
본 발명은 기존 VDS, 차량번호인식, 도로방범, 위험시설관리, 화재관리, 보행자 관리 등의 다양한 상황마다 개별 시스템을 갖춰야 하는 단점을 해소하여, 하나의 임베디드 카메라를 통해서도 여러가지 상황에 대한 통합 인식이 가능한 다기능 지능형 상황 인지 시스템에 관한 것으로서,
더욱 상세하게는 여러가지 상황 인지과정에서 공통적으로 수행되는 과정을 기초정보산출부로 묶어 일괄적으로 계산하여 기초정보를 산출하고, 상기 산출된 기초정보를 다수의 객체 단위로 관리하고, 이와 같이 객체 단위로 관리되는 이미 산출된 값들을 이용하여 다양한 상황을 종합적으로 인지할 수 있도록 하는 지능형 상황 인지 시스템에 관한 것이다.
본 발명과 관련된 상황인지 시스템을 구현하기 위해서는, 기본적으로 객체 검출 기술, 객체 추적 기술, 카메라 교정 기술 및 지능형 상황 인지 기술을 필요로 한다.
상기 객체 검출 기술은 배경 제거 기반 객체 검출과, 특징 기반 객체 검출 및 합성곱 신경망 기반의 객체 검출로 구분된다.
상기 배경 제거 기반 객체 검출은 상대적으로 낮은 연산량 및 낮은 성능을 갖는다.
기존의 고정된 카메라에서 사람을 찾아내는 기술로 가장 널리 이용되는 기술은 배경 제거 기술이다.
해당 기술은 사람이 없는 입력 영상을 기반으로 영상 내의 움직이는 객체를 검출한다. 하지만 해당 기술은 검출된 객체를 인지하는 과정이 없다. 따라서 사람이 아닌 다른 물체가 영상 내에서 움직이더라도 사람인지 여부를 확인할 수 없다. 또한, 카메라의 흔들림이나 순간적인 밝기 변화 등의 환경 변화에 취약하다는 단점이 있다.
상기 특징 기반 객체 검출은 높은 연산량에도 불구하고 높지 않은 성능을 갖는다.
상기 특징 기반 검출 기술의 경우, 상기 배경 제거 기반 객체 검출 기술의 문제를 해결하기 위해 객체의 생김새 정보를 이용한 객체 탐색 방법으로 연구된 것이다. 사람을 검출하는데 사용되는 가장 대표적인 방법으로는 Hog 특징 기반의 검출 방법이 있다. 해당 방법의 경우에는 각각의 사람을 인지하고 검출할 수 있다는 장점이 있지만 한정된 자세의 사람만을 검출할 수 있다는 한계가 있다.
반면, 상기 합성곱 신경망 기반의 객체 검출은 가장 높은 연산량과 확실하게 좋은 성능을 발휘한다.
최근 활발하게 연구되고 있는 상기 합성곱 신경망 기반 객체 검출 기술의 경우, 사람을 인지할 수 있을 뿐만 아니라 다양한 각도, 다양한 자세의 사람을 모두 검출 가능하며 높은 검출 성공률을 보인다.
상기 합성곱 신경망은 시각적 이미지를 분석할 때 사용되는 인공신경망의 한 종류로써 최근 영상 인식 분야에서 뛰어난 성능을 보이며 활발하게 연구되고 있다. 초기 신경망은 영상 내에서 배경제거 등의 기존 기술을 활용하여 객체의 후보 영역을 탐색하고 해당 영역의 종류를 분류하는 분류기에 대한 연구가 진행되었다.
하지만 분류기의 경우 영상 내의 후보 영역의 수에 비례하여 분류 작업이 반복되므로 실시간 영상처리가 필요한 분야의 적용에 어려움이 있다. 이러한 문제를 해결하기 위해 입력 영상 전체를 이용하여 여러 개의 객체를 한 번의 작업으로 찾아낼 수 있는 Single Shot MultiBox Detector(SSD), Yolo 등의 알고리즘이 개발되었다.
상기 객체 추적 기술은 등속도, 등가속도, 칼만 등 속도 기반 추적 알고리즘, 광류(Optical Flow) 흐름 기반 추적 알고리즘 및 생김새 기반 알고리즘으로 이루어진다.
상기 객체 추적 기술에서는 영상에서 10번 프레임의 차량이 A라는 정보가 30번 프레임의 사람이 A라는 것을 유지되어야 한다. 이것을 객체(Object)의 정체성(Identity)를 유지한다고 표현한다. 이것이 객체 추적 (Object Tracking)이다.
적절한 추적알고리즘이 도입이 되었을 때, 영상에서 객체 정보를 유지하는데 큰 도움이 된다. 첫번째, 장애물에 가리는 현상과 같이 Detection 으로는 검출할 수 없는 상황이 발생 가능하고, 두번째, Detection 알고리즘이 객체 검출에 실패할 가능성 또한 존재한다.
상기 속도 기반 추적 알고리즘은 등속도 및 등가속도 모델로서, 물체의 속도 및 가속도가 일정하다고 가정하고 이전 위치로부터 현재의 위치를 예측하는 기술이다.
이때, 칼만 필터(Kalman Filter)는 과거의 정보와 새로운 측정값을 사용하고, 상기 측정값에 포함된 잡음을 제거하고 현상태를 추적한다.
기본적인 추적 알고리즘으로는, 사람이 추적하고자 하는 대상을 처음에 직접 명시해주어야 한다. 명시된 객체를 인접한 프레임의 위치변경정보를 계산하여 따라가는 형식이다. 급하게 움직이거나 장애물에 가려짐, 기상현상으로 인한 방해 등 다양한 원인으로 추적상태를 상실할 수 있고, 한번 추적 상태를 상실하면, 복구할 방법이 없다는 문제가 있다.
이를 해결하기 위하여, 물체의 생김새(Appearance) 정보를 함께 이용하여 물체를 추적하고, 색상, 특징점 등의 정보가 이용될 수 있다.
상기 카메라 교정 기술은 2D 영상 기반의 3차원 정보 추출 기술로서, 실제 속도 산출을 위해 필요하다.
상기 지능형 상황 인지 기술은 VDS, 차량 번호 인식, 보행자 도로 침입 및 무단횡단, 보행자 교통량, 제한 구역 침입, 야생동물 감지 등의 상황 분석이 가능한 기술이다. 이와 같은 지능형 상황 인지 기술은 제시된 항목 마다 모두 많은 연산량을 요구하는 것으로서 기존 시스템의 경우 각각의 기능이 개별 동작되었다.
따라서 각 상황에 맞는 시스템을 개별적으로 구축해야 하기 때문에 시스템 운용 면에 있어 효율성이 매우 떨어졌다.
본 발명은 이와 같은 문제를 개선하기 위해 제시되는 것으로서, 하나의 임베디드 카메라를 통해 여러가지 상황에 대한 인식이 가능한 시스템을 제공하고자 한다.
이때 각각의 상황에 대해 개별적으로 시행되는 분석 과정의 연산량을 줄여 통합함으로써, PC 환경에 비해 상대적으로 연산량이 모자란 임베디드 환경에서도 딥러닝을 이용한 다기능 상황인지 시스템의 구축이 가능하다.
공개특허 10-2018-0024747(공개일자 2018.03.08) 등록특허 10-1877294(등록일자 2018.07.05) 등록특허 10-1213255(등록일자 2012.12.11) 공개특허 10-2014-0125488(공개일자 2014.10.29) 공개특허 10-2011-0038208(공개일자 2011.04.14) 등록특허 10-1492473(등록일자 2015.02.05)
본 발명은 기존 VDS, 차량번호인식, 도로방범, 위험시설관리, 화재관리, 보행자 관리 등의 다양한 상황마다 개별 시스템을 갖춰야 하는 단점을 해소하여, 하나의 임베디드 카메라를 통해서도 여러가지 상황에 대한 통합 인식이 가능한 다기능 지능형 상황 인지 시스템에 관한 것으로서,
더욱 상세하게는 여러가지 상황 인지과정에서 공통적으로 수행되는 과정을 기초정보산출부로 묶어 일괄적으로 계산하여 기초정보를 산출하고, 상기 산출된 기초정보를 다수의 객체 단위로 관리하고, 이와 같이 객체 단위로 관리되는 이미 산출된 값들을 이용하여 다양한 상황을 종합적으로 인지할 수 있도록 하는 지능형 상황 인지 시스템을 제공하고자 하는 것을 발명의 목적으로 한다.
상기 목적을 달성하기 위하여,
본 발명은 임베디드 카메라를 기반으로 하여,
여러가지 상황 인지를 위해 공통적으로 사용되는 기초정보를 산출하는 기초정보산출부와,
상기 기초정보산출부를 통해 산출된 기초정보를 다수의 객체 단위로 관리하는 객체관리부와,
상기 객체관리부로부터 제공되는 기 산출된 값들을 이용하여 다양한 상황을 인지하는 지능형 상황인지부를 포함하는 임베디드 카메라 기반 상황 인지 시스템을 제공한다.
본 발명에 따른 임베디드 카메라를 이용한 지능형 상황 인지 시스템은 다음의 효과를 갖는다.
첫째. 여러가지 상황 인지과정에서 공통적으로 수행되는 과정을 기초정보산출부로 묶어 일괄적으로 계산하여 기초정보를 산출하고, 상기 산출된 기초정보를 다수의 객체 단위로 관리하고, 이와 같이 객체 단위로 관리되는 이미 산출된 값들을 이용하여 다양한 상황을 종합적으로 인지할 수 있기 때문에, 임베디드 카메라 기반의 화재 및 연기 감지, 낙하물 감지, 야생동물 감지 등의 시설상황분석; 정지차량 및 역주행 등의 도로 상황 분석; 배회, 쓰러짐 등의 보행자 및 작업자의 상황분석과, 비인가출입자, 통행 제한구역 침입 인지 등 방범용 상황 분석; 등 다양한 형태의 통합적 상황분석이 가능하다는 장점을 갖는다.
둘째. 본 발명에 따른 지능형 상황 인지 시스템을 사용함으로써, 각 상황에 맞는 기능을 선택하여 간편하면서 효과적인 분석이 가능하다는 장점을 갖는다.
셋째. 각각의 다양한 상황에 따른 개별적으로 시행되는 분석 과정의 연산량을 줄여 통합구조를 이룸으로써, pc환경에 비해 상대적으로 연산량이 모자란 임베디드 환경에서도 딥러닝을 이용한 다기능 상황인지 시스템 구축이 가능하다는 장점을 갖는다.
도 1은 본 발명에 따른 상황인지시스템의 전체 흐름도.
도 2는 본 발명의 상황인지시스템에서 객체의 진행에 따른 배열 누적 값을 예시적으로 보인 도면.
도 3은 본 발명에 따른 임베디드 카메라 기반 상황 인지 시스템을 구성하는 임베디드 카메라의 전체사시도.
도 4는 본 발명에 따른 임베디드 카메라 기반 상황 인지 시스템을 구성하는 임베디드 카메라의 일부를 절개한 전체결합사시도.
도 5는 본 발명에 따른 임베디드 카메라 기반 상황 인지 시스템을 구성하는 임베디드 카메라의 전체사시도로서, 밀폐형 함체부와 분리하여 도시한 도면.
도 6은 본 발명에 따른 임베디드 카메라 기반 상황 인지 시스템을 구성하는 임베디드 카메라를 전방에서 바라본 분해사시도로서, 밀폐형 함체부를 포함하지 않은 도면.
도 7은 본 발명에 따른 임베디드 카메라 기반 상황 인지 시스템을 구성하는 임베디드 카메라를 후방에서 바라본 분해사시도로서, 밀폐형 함체부를 포함하지 않은 도면.
도 8은 본 발명에 따른 임베디드 카메라 기반 상황 인지 시스템을 구성하는 임베디드 카메라의 측면도로서, 밀폐형 함체부를 포함하지 않은 도면.
도 9는 본 발명에 따른 임베디드 카메라 기반 상황 인지 시스템을 구성하는 임베디드 카메라의 정면도로서, 밀폐형 함체부를 포함하지 않은 도면.
도 10은 본 발명의 지능형 상황 인지 시스템에 사용되는 임베디드 카메라의 밀폐형 함체부 내의 공기의 순환흐름 과정을 도시한 도면.
도 11은 본 발명의 지능형 상황 인지 시스템에 사용되는 임베디드 카메라의 밀폐형 함체부 내의 방열판의 배열상태를 도시한 도면.
도 12는 본 발명의 지능형 상황 인지 시스템에 사용되는 임베디드 카메라를 구성하는 열전소자의 구조를 도시한 도면.
이하, 본 발명에 따른 임베디드 카메라 기반 상황 인지 시스템에 대한 구체적인 기술 내용을 도면과 함께 살펴보도록 한다.
본 발명은 여러가지 상황 인지과정에서 공통적으로 수행되는 과정을 기초정보산출부로 묶어 일괄적으로 계산하여 기초정보를 산출하고, 상기 산출된 기초정보를 다수의 객체 단위로 관리하고, 이와 같이 객체 단위로 관리되는 이미 산출된 값들을 이용하여 다양한 상황을 종합적으로 인지할 수 있도록 하는 지능형 상황 인지 시스템에 관한 것으로서,
도 1에 도시된 바와 같이,
임베디드 카메라(1)를 기반으로 하여,
여러가지 상황 인지를 위해 공통적으로 사용되는 기초정보를 산출하는 기초정보산출부(10)와,
상기 기초정보산출부(10)를 통해 산출된 기초정보를 다수의 객체 단위로 관리하는 객체관리부(20)와,
상기 객체관리부(20)로부터 제공되는 기 산출된 값들을 이용하여 다양한 상황을 인지하는 지능형 상황인지부(30)를 포함한다.
상기 기초정보산출부(10)는 도 1에 도시된 바와 같이,
영상입력, 카메라 교정, 객체 검출, 객체추적 및 검지 영역 정보 산출 과정을 순차적으로 거쳐 기초정보를 산출한다.
상기 카메라 교정 기술은 등록특허 10-1634283(등록일자 2016.06.22, 특허권자: 주식회사 싸인텔레콤)의 '단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법'에 개시된 바 있다.
또한 상기 객체 검출, 객체추적 기술에 대해서는, 등록특허 10-1984209(등록일자 2019.05.24, 특허권자: 주식회사 싸인텔레콤) '지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치 및 방법'에 개시된 바 있다.
상기 검지 영역 정보 산출은 직선 검지 영역과 평면 검지 영역으로 구분될 수 있다.
상기 직선 검지 영역은 검출 및 추적된 객체가 해당 검지 영역을 통과하는지 여부를 관찰하여 판단한다. 그리고 추적된 객체가 설정된 직선 검지 영역을 지나는 경우, 객체의 RoI 배열에 통과 시간과 해당 직선의 번호와 플래그(L)를 저장한다.
상기 평면 검지 영역은 검출 및 추적된 객체가 해당 영역 안에 존재하는지 여부를 관찰하여 판단한다.
추적된 객체가 설정된 평면 검지 영역에 들어오는 경우, 객체의 RoI 배열에 진입 시간과 해당 영역의 번호, 플래그(I)를 저장한다.
추적된 객체가 설정된 평면 검지 영역에서 나가는 경우, 객체의 RoI 배열에 진출 시간과 해당 영역의 번호, 플래그(O)를 저장한다.
상기 객체관리부(20)로 전달되는 객체의 구조는 객체의 진행에 따른 배열 누적 값 예시를 보이고 있는 도 2에 도시된 바와 같이, 객체의 좌표, 객체의 크기, 객체 분류 결과 및 통과 RoI 누적 값을 포함한다.
상기 객체의 좌표는 영상에서 검출된 객체의 2D 이미지 좌표(x, y)이다.
상기 객체의 크기는 영상에서 검출된 객체의 너비(width)와 높이(height)이다.
상기 객체 분류 결과는 영상에서 검출된 객체의 인식 결과이다. 예를 들어, 자동차, 사람, 오토바이 등.
그리고 상기 통과 RoI 누적 값은 연속된 영상에서 추적된 객체가 설정된 검지 영역을 지나가는 시점과 통과한 검지영역의 종류, 통과 플래그이다.
상기 지능형 상황인지부(30)는 기 산출된 값들을 이용하여 VDS(Vehicle Detection System); 도로 역주행; 차량번호인식; 차선 변경; 정지선 위반; 무단횡단; 도로 또는 위험 구역을 포함하는 제한구역 침입; 배회 감지;를 포함하는 여러가지 상황을 인지한다.
상기 VDS(Vehicle Detection System) 상황인지는,
차로(영역) 검지영역, 시작(직선) 검지영역, 종료(직선) 검지영역을 필수 검지영역으로 하여, 상기 시작 영역을 통과한 후, 종료 영역을 통과한 객체의 수를 누적하여 교통량을 산출하고, 카메라 교정 값을 통해 시작 영역과 종료 영역을 통과한 각 시점의 좌표 사이의 거리와 통과하는데 걸린 시간을 이용하여 실제 객체 이동 속도 산출한다.
상기 도로 역주행에 대한 상황인지는,
시작(직선) 검지 영역, 종료(직선) 검지영역을 필수 검지영역으로 하여,
일반적인 VDS의 시작 영역을 종료 영역으로, 종료 영역을 시작 영역으로 반대로 설정하여 역주행 차량 검지한다.
상기 차량번호인식에 대한 상황인지는,
차로(영역) 검지 영역, 시작(직선) 검지 영역, 종료(직선) 검지영역을 필수 검지영역으로 하여,
객체의 검출 과정에서 사람이나 자동차 등과 함께 번호판 영역을 신경망을 이용하여 한번에 번호판을 검출한다. 이 때, 검출된 객체들 중 번호판은 추적과정을 별도로 진행하지 않고 번호판 검출 모듈에서만 사용한다. 추적된 객체들과 검출된 번호판의 좌표를 비교하여 번호판이 포함된 차량에 대해 번호인식을 진행한다.
그리고,
번호인식에 있어, 검출된 번호판 영역에 대하여 매 프레임 마다 번호 인식 과정을 수행하고 종료 직선을 지나는 시점에 그동안 누적된 번호 인식 결과들을 바탕으로 최종 결과를 반환한다.
상기 차선 변경에 대한 상황인지는,
차로(영역) 검지 영역을 필수 검지영역으로 하여,
객체의 통과 RoI 배열에 새로운 차로 영역이 입력되는 경우에 차선 변경으로 판단한다.
상기 정지선 위반에 대한 상황인지는,
정지선 (직선) 검지영역을 필수 검지영역으로 하여,
직선 검지영역을 실제 정지선에 위치시켜 해당 검지영역을 지나고 정지해 있는 차량들에 대해 정지선 위반을 검지 할 수 있다.
상기 무단횡단에 대한 상황인지는,
차로(영역) 검지영역을 필수 검지영역으로 하여,
연계된 신호등에서 실시간으로 현재 횡단보도의 신호를 제공받는다. 이 때, 신호가 빨간불임에도 불구하고 차로에 진입하는 객체(사람)이 있는 경우 무단횡단으로 판단한다.
상기 도로 또는 위험 구역을 포함하는 제한구역 침입에 대한 상황인지는,
차로/위험지역 (영역) 검지 영역을 필수 검지영역으로 하여,
차로 혹은 위험지역으로 설정된 검지 영역 내부에 사전에 정의된 객체(사람, 동물 등)이 진입하는 경우 제한구역 침입으로 상황을 인지한다.
상기 배회 감지에 대한 상황인지는,
감시 공간 (영역) 검지 영역을 필수 검지영역으로 하여,
특정 객체(사람, 동물 등)이 검지 영역 내부에서 사전에 설정된 일정 시간 이상 머무르는 경우 배회로 감지한다.
상기 제시된 지능형 상황 인지 시스템은 임베디드 카메라(1)를 기반으로 하는 것으로서,
상기 임베디드 카메라(1)는 도 3 내지 도 12에 도시된 바와 같이,
감시할 해당 영역의 영상을 실시간 촬영하여 제공하는 카메라모듈(10)과,
상기 카메라모듈(10)의 상부에 고정설치되어, 상기 카메라모듈(10)의 내부 온도를 측정하는 임베디드 I/O 제어보드(20)와,
상기 카메라모듈(10)의 후단부에 설치되는 메인보드(30)와,
상기 메인보드(30)의 상부에 고정설치되는 제1방열판(40)과,
상기 메인보드(30)와 제1방열판(40)이 이루는 전면을 커버하면서 설치되는 제1팬(50)과,
상기 메인보드(30)와 제1방열판(40)이 이루는 배면을 커버하되, 상기 제1팬(50) 및 제1방열판(40)과 일렬로 배열되도록 설치되는 제2팬(60)과,
상기 제2팬(60)의 후단부에 설치되는 제2방열판(70)과,
상기 제2방열판(70)의 후단부에 설치되되, 상기 제2방열판(70)과 접하여 설치되는 열전소자(80)와,
상기 카메라모듈(10), 메인보드(30), 제1팬(50) 및 제2팬(60)의 하부에 형성되어 이들을 지지하되, 정단면의 형상이 '┌┐'의 구조를 이루어 하부에 공기가 순환될 수 있는 통로를 갖는 공기순환통로부(90)와,
상기 카메라모듈(10), 임베디드 I/O 제어보드(20), 메인보드(30), 제1방열판(40), 제1팬(50), 제2팬(60), 제2방열판(70), 열전소자(80) 및 공기순환통로부(90) 내부에 탑재하는 밀폐형 함체부(100)로 구성된다.
이와 같은 기술 구성을 갖는 본 발명에 따른 임베디드 카메라(1)는 주로 외부에 설치되어 장시간 햇빛에 노출되는 환경에 놓이거나, 발전소나 공장 등 외부 공기의 유입이 차단되어야 하는 밀폐 환경 및 딥러닝 기술의 발달에 따라 카메라에 임베디드 보드를 탑재하고자 할 경우 적용이 용이하다.
즉 공기 유입 또는 외부 환경과 차단된 상태에서 장시간 고열이 유지됨에 따라 발생할 수 있는 하드웨어의 이상 초래 등의 문제를 사전에 방지할 수 있는 임베디드 카메라(1)를 제공한다.
상기 임베디드 카메라(1)의 밀폐형 함체부(100) 내부에는 도 3 내지 도 9에 도시된 바와 같이, 카메라모듈(10), 임베디드 I/O 제어보드(20), 메인보드(30), 제1방열판(40), 제1팬(50), 제2팬(60), 제2방열판(70) 및 열전소자(80)가 일렬로 배열되어 있으며, 이와 같은 배열 구조로 인해 상기 열전소자(80)에 의해 발생되는 차가운 공기가 제1팬(50) 및 제2팬(60)에 의해 일직선 방향으로 빠르게 흐르면서, 밀폐형 함체부(100) 내부에 장착된 장치들과의 열교환이 효과적으로 이루어짐으로써 냉각효과가 빠르게 나타난다.
또한 상기 임베디드 카메라(1)를 구성하는 카메라모듈(10), 메인보드(30), 제1팬(50) 및 제2팬(60)의 하부에는 상기 장치 구성들을 지지하면서 정단면의 형상이 '┌┐'의 구조를 이루는 공기순환통로부(90)가 형성되어 있어, 도 10에 도시된 바와 같이, 상기 제1팬(50) 및 제2팬(60)의 작동으로 전방으로 전달되는 차가운 공기가 정체되지 않고 상기 공기순환통로부(90)를 통해 대류가 일어날 수 있도록 한다.
이와 같이 본 발명에 따른 임베디드 카메라(1)는 밀폐형 구조이면서 카메라모듈과 함께 임베디드 보드를 설치하더라도, 도 11에 도시된 바와 같이, 밀폐형 함체부(100) 내부에 설치되는 카메라모듈(10), 임베디드 I/O 제어보드(20), 메인보드(30), 제1방열판(40), 제1팬(50), 제2팬(60), 제2방열판(70) 및 열전소자(80)가 일렬로 배열되어, 상기 제1팬(50), 제2팬(60)을 통해 전방으로 전달되는 차가운 공기가 일직선 방향으로 신속하게 전달되면서 장치들과의 빠른 열교환을 통한 냉각 효과를 가지며, 전방으로 이송된 공기는 다시 하부에 형성되어 있는 공기순환통로부(90)를 통해 후방으로 이송됨으로써, 인위적인 대류에 의해 임베디드 I/O 제어보드(20) 및 메인보드(30)에서 발생하는 열을 포함하여 밀폐형 함체부(100) 내의 고열 상태를 신속하게 냉각시키는 효과를 제공할 수 있다.
상기 임베디드 카메라(1)의 내부 온도를 항상 일정 온도로 유지하기 위하여 상기 열전소자(80)를 상시 가동하게 되는 경우에는 결로 현상이 나타날 수 있다. 또한 이와 같은 결로 현상은 임베디드 카메라(1)를 구성하는 전기 및 전자장비의 오작동 및 고장이 원인이 될 수 있다. 따라서 열전소자(80)의 가동 시간의 조절이 필요하다.
즉 상기 열전소자(80)의 전원 제어가 필요하며, 이는 임베디드 I/O 제어보드(20) 내에 장착된 CPU의 온도를 측정값 또는 메인보드(30)와 연결되는 온도 센서를 통해 측정되는 내부 온도가 기준 설정값 보다 높을 경우에만 전원을 공급하여 상기 열전소자(80)를 작동시키고, 설정값 이하인 경우에는 전원 공급을 차단하여 작동을 멈춘다.
상기 열전소자란, 열전현상을 이용한 소자로써 열전현상에는 열전발전에 응용되는 Seebeck효과, 열전냉각에 응용되는 Peltier효과와 Thomson효과가 있다. 열전현상은 열에너지와 전기에너지 사이에 상호간의 변환 작용을 말하며, 최초의 열전현상은 1821년 Thomas Johann Seebeck이라는 독일의 물리학자에 의해 발견되었다.
Seebeck효과를 이용하여 열에너지를 전기에너지로 변환하는 열전발전소자와 Peltier효과를 이용하여 전기에너지를 열에너지로 변환하여 한쪽을 냉각 시키는 열전냉각소자의 기능을 하는 것 모두 열전소자라 말한다.
이때 상기 열전소자는 일반적으로 알루미나 기판 제작; 알루미나 기판에 솔더크림 프린팅; p, n-type 소자 배열; 알루미나 상,하판 케이싱; 열전소자 솔더링; 열전소자 제작완료의 제작공정에 따라 제조한다.
이와 같은 기술 구성외에,
온도를 제어하기 위한 기술 구성이 부가된다.
먼저 상기 제1방열판(40) 및 제2방열판(70)은 방열효과를 높이기 위하여, 알루미늄 방열판의 표면을 그래핀 증착한 것을 사용한다.
그리고 제1방열판(40)의 배열 방향은 밀폐형 함체부(100) 내 공기의 흐름방향과 평행하도록 배치한다.
즉 도 11에 도시된 바와 같이, 제1팬(50)과 제2팬(60)에 사이에 위치하는 제1방열판(40)의 배열 방향이 제1팬(50)과 제2팬(60)에 의해 직선 방향으로 흐르는 공기의 흐름방향과 동일한 방향으로 배열되는 것을 확인할 수 있다. 즉 공기의 흐름방향과 평행하도록 제1방열판(40)을 배열한다.
이와 같은 방열판 배열 구조로 인해 열전소자(80)의 흡열부를 통해 냉각된 공기를 제2팬(60), 상기 제1방열판(40) 및 제1팬(50)을 원활하게 거쳐 흐르면서 임베디드 I/O 제어보드(20) 및 메인보드(30)에서 발생하는 열을 단시간 내에 효과적으로 식혀줄 수 있다.
그리고 도 12에 도시된 바와 같이, 열전소자(80)의 흡열부(801)는 전면에 면접촉을 이루는 제2방열판(70)이 부착형성되고,
발열부(802)는 밀폐형 함체부(100) 내에서 발생하는 열이 외부로 방열되도록 알루미늄 재질의 방열구조체를 이루어 밀폐형 함체부(100)의 후단부 외벽과 맞닿도록 배치한다.
이외에 상기 밀폐형 함체부(100)는 방열기능이 우수하고 내구성이 뛰어난 재질로 제조되어 밀폐형 함체부(100)에서 발생되는 열이 최대한 빨리 배출됨으로써, 상기 내부 온도의 상승 속도를 최대한 억제하도록 한다.
이와 같이 제시된 기술 구성을 갖는 본 발명에 따른 임베디드 카메라는 장시간 햇빛에 노출되는 환경, 발전소나 공장 등 외부 공기의 유입이 차단되어야 하는 구조 및 카메라모듈에 임베디드 보드를 탑재하여 지능형 영상 분석이 가능한 장비에 적용함으로써, 효과적으로 카메라모듈과 임베디드 보드에서 발생하는 열을 식혀주고 밀폐된 카메라 내부의 공기를 순환하여 외부로 열을 효과적으로 배출하여 밀폐형 함체부(100)의 온도 제어가 용이하도록 한다.
본 발명에 따른 임베디드 카메라를 이용한 지능형 상황 인지 시스템은 화재 및 연기 감지, 낙하물 감지, 야생동물 감지 등의 시설상황분석과, 정지차량 및 역주행 등의 도로 상황 분석과, 배회, 쓰러짐 등의 보행자 및 작업자의 상황분석과, 비인가출입자, 통행 제한구역 침입 인지 등 방범용 상황 분석 등 다양한 형태의 상황분석을 효과적으로 수행할 수 있고, 이를 통해 상황에 맞는 성황인지 기능을 선택하여 분석이 가능하기 때문에 산업상 이용가능성이 크다.
1 : 임베디드 카메라
10: 기초정보산출부
20: 객체관리부
30: 지능형 상황인지부
CAS : 지능형 상황 인지 시스템

Claims (5)

  1. 임베디드 카메라(1)를 기반으로 하여,
    여러가지 상황 인지를 위해 공통적으로 사용되는 기초정보를 산출하는 기초정보산출부(10)와,
    상기 기초정보산출부(10)를 통해 산출된 기초정보를 다수의 객체 단위로 관리하는 객체관리부(20)와,
    상기 객체관리부(20)로부터 제공되는 기 산출된 값들을 이용하여 다양한 상황을 인지하는 지능형 상황인지부(30)를 포함하는 것을 특징으로 하는 임베디드 카메라 기반 상황 인지 시스템.
  2. 청구항 1에 있어서,
    기초정보산출부(10)는 영상입력, 카메라 교정, 객체 검출, 객체추적 및 검지 영역 정보 산출 과정을 순차적으로 거쳐 기초정보를 산출하는 것을 특징으로 하는 임베디드 카메라 기반 상황 인지 시스템.
  3. 청구항 1에 있어서,
    지능형 상황인지부(30)는 VDS(Vehicle Detection System); 도로 역주행; 차량번호인식; 차선 변경; 정지선 위반; 무단횡단; 도로 또는 위험 구역을 포함하는 제한구역 침입; 배회 감지;를 포함하는 여러가지 상황을 인지하는 것을 특징으로 하는 임베디드 카메라 기반 상황 인지 시스템.
  4. 청구항 1에 있어서,
    임베디드 카메라(1)는,
    감시할 해당 영역의 영상을 실시간 촬영하여 제공하는 카메라모듈(10)와,
    상기 카메라모듈(10)의 상부에 고정설치되어, 상기 카메라모듈(10)의 내부 온도를 측정하는 임베디드 I/O 제어보드(20)와,
    상기 카메라모듈(10)의 후단부에 설치되는 메인보드(30)와,
    상기 메인보드(30)의 상부에 고정설치되는 제1방열판(40)과,
    상기 메인보드(30)와 제1방열판(40)이 이루는 전면을 커버하면서 설치되는 제1팬(50)과,
    상기 메인보드(30)와 제1방열판(40)이 이루는 배면을 커버하되, 상기 제1팬(50) 및 제1방열판(40)과 일렬로 배열되도록 설치되는 제2팬(60)과,
    상기 제2팬(60)의 후단부에 설치되는 제2방열판(70)과,
    상기 제2방열판(70)의 후단부에 설치되되, 상기 제2방열판(70)과 접하여 설치되는 열전소자(80)와,
    상기 카메라모듈(10), 메인보드(30), 제1팬(50) 및 제2팬(60)의 하부에 형성되어 이들을 지지하되, 정단면의 형상이 '┌┐'의 구조를 이루어 하부에 공기가 순환될 수 있는 통로를 갖는 공기순환통로부(90)와,
    상기 카메라모듈(10), 임베디드 I/O 제어보드(20), 메인보드(30), 제1방열판(40), 제1팬(50), 제2팬(60), 제2방열판(70), 열전소자(80) 및 공기순환통로부(90) 내부에 탑재하는 밀폐형 함체부(100)를 포함하는 것을 특징으로 하는 임베디드 카메라 기반 상황 인지 시스템.
  5. 청구항 1에 있어서,
    임베디드 I/O 제어보드(20)는
    카메라모듈(10)을 통해 입력된 영상을 기반으로 기초정보산출부(10)를 통해 영상입력, 카메라 교정, 객체 검출, 객체추적 및 검지 영역 정보 산출 과정을 순차적으로 거쳐 기초정보를 산출하고,
    상기 기초정보산출부(10)를 통해 산출된 기초정보를 객체관리부(20)에서 다수의 객체 단위로 관리하고,
    상기 객체관리부(20)로부터 제공되는 기 산출된 값들을 이용하여 지능형 상황인지부(30)를 통해 다양한 상황을 인지한 후 데이터 송출기능을 갖는 것을 특징으로 하는 임베디드 카메라 기반 상황 인지 시스템.

KR1020190173912A 2019-12-24 2019-12-24 임베디드 카메라 기반 상황 인지 시스템 KR102278400B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190173912A KR102278400B1 (ko) 2019-12-24 2019-12-24 임베디드 카메라 기반 상황 인지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190173912A KR102278400B1 (ko) 2019-12-24 2019-12-24 임베디드 카메라 기반 상황 인지 시스템

Publications (2)

Publication Number Publication Date
KR20210082301A true KR20210082301A (ko) 2021-07-05
KR102278400B1 KR102278400B1 (ko) 2021-07-19

Family

ID=76899487

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190173912A KR102278400B1 (ko) 2019-12-24 2019-12-24 임베디드 카메라 기반 상황 인지 시스템

Country Status (1)

Country Link
KR (1) KR102278400B1 (ko)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080051873A (ko) * 2006-12-07 2008-06-11 이선용 온라인 임베디드 카메라를 이용한 불법 주정차 무인단속시스템
KR20110038208A (ko) 2009-10-08 2011-04-14 주식회사코어벨 스마트센서시스템에서 상황인지 기반 정보처리 방법
KR20120025718A (ko) * 2010-09-08 2012-03-16 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR101178878B1 (ko) * 2012-04-06 2012-08-31 주식회사 사라다 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법
KR101213255B1 (ko) 2012-09-14 2012-12-18 박종현 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법
KR20140125488A (ko) 2013-04-19 2014-10-29 한국전자통신연구원 스마트 유비쿼터스 네트워크에서 상황 인지 기반 네트워크 장치 및 시스템
KR101492473B1 (ko) 2014-04-04 2015-02-11 주식회사 사라다 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
KR20180024747A (ko) 2016-08-31 2018-03-08 한국비전기술(주) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 8가지 기본 행동 패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템 및 그 방법
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
KR101877294B1 (ko) 2018-01-16 2018-07-11 한국비전기술주식회사 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080051873A (ko) * 2006-12-07 2008-06-11 이선용 온라인 임베디드 카메라를 이용한 불법 주정차 무인단속시스템
KR20110038208A (ko) 2009-10-08 2011-04-14 주식회사코어벨 스마트센서시스템에서 상황인지 기반 정보처리 방법
KR20120025718A (ko) * 2010-09-08 2012-03-16 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR101178878B1 (ko) * 2012-04-06 2012-08-31 주식회사 사라다 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법
KR101213255B1 (ko) 2012-09-14 2012-12-18 박종현 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법
KR20140125488A (ko) 2013-04-19 2014-10-29 한국전자통신연구원 스마트 유비쿼터스 네트워크에서 상황 인지 기반 네트워크 장치 및 시스템
KR101492473B1 (ko) 2014-04-04 2015-02-11 주식회사 사라다 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
KR20180024747A (ko) 2016-08-31 2018-03-08 한국비전기술(주) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 8가지 기본 행동 패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템 및 그 방법
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
KR101877294B1 (ko) 2018-01-16 2018-07-11 한국비전기술주식회사 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템

Also Published As

Publication number Publication date
KR102278400B1 (ko) 2021-07-19

Similar Documents

Publication Publication Date Title
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
US9721168B2 (en) Directional object detection
Saligrama et al. Video anomaly identification
Liu et al. Intelligent video systems and analytics: A survey
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
US20130038694A1 (en) Method for moving object detection using an image sensor and structured light
EP1811457A1 (en) Video signal analysis
Zhao et al. Probabilistic prediction of pedestrian crossing intention using roadside LiDAR data
JP2008547071A (ja) シーン解析するための方法および画像評価ユニット
JP6110183B2 (ja) 防犯システム
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
JP2007140606A (ja) 駐車場監視システム
Mehboob et al. Trajectory based vehicle counting and anomalous event visualization in smart cities
Farooq et al. Unsupervised video surveillance for anomaly detection of street traffic
KR102278400B1 (ko) 임베디드 카메라 기반 상황 인지 시스템
KR101814040B1 (ko) 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
Sadek et al. A statistical framework for real-time traffic accident recognition
Khoshabeh et al. Multi-camera based traffic flow characterization & classification
CN102542574B (zh) 用于将源和宿分配给个体的路线的方法和设备
Ho et al. Public space behavior modeling with video and sensor analytics
Thirde et al. Robust real-time tracking for visual surveillance

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant