KR101344034B1 - 보행자 인식기반 사고방지 시스템 및 그 제어 방법 - Google Patents

보행자 인식기반 사고방지 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR101344034B1
KR101344034B1 KR1020130098973A KR20130098973A KR101344034B1 KR 101344034 B1 KR101344034 B1 KR 101344034B1 KR 1020130098973 A KR1020130098973 A KR 1020130098973A KR 20130098973 A KR20130098973 A KR 20130098973A KR 101344034 B1 KR101344034 B1 KR 101344034B1
Authority
KR
South Korea
Prior art keywords
pedestrian
unit
information
vehicle
image
Prior art date
Application number
KR1020130098973A
Other languages
English (en)
Inventor
김수경
김충성
김태경
노승용
Original Assignee
주식회사 넥스파시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스파시스템 filed Critical 주식회사 넥스파시스템
Priority to KR1020130098973A priority Critical patent/KR101344034B1/ko
Application granted granted Critical
Publication of KR101344034B1 publication Critical patent/KR101344034B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0277—Communication between units on a local network, e.g. Bluetooth, piconet, zigbee, Wireless Personal Area Networks [WPAN]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 복잡한 도로환경에서 보행자 인식기반 사고방지 및 방범 시스템 및 그 제어방법에 관한 것이다. 본 발명의 일예와 관련된 보행자 인식을 통한 사고방지 및 방범 시스템은, 적어도 하나의 제 1 영상을 촬영하는 카메라; 상기 제 1 영상에 제 1 구역이 포함되어 있는 경우, 상기 제 1 영상에 포함된 적어도 하나의 제 1 보행자를 검출하고, 상기 검출한 제 1 보행자를 추적하며, 상기 추적한 제 1 보행자가 상기 제 1 구역의 적어도 일부에 위치하는지 여부를 판단하는 제어부; 및 상기 추적한 제 1 보행자가 상기 제 1 구역의 적어도 일부에 위치하는 경우, 상기 제어부의 제어에 따라 상기 제 1 보행자에게 위험을 알리는 제 1 정보를 출력하는 출력부;를 포함하되, 상기 제어부는, 상기 제 1 영상에 대한 특징벡터를 추정하고, 상기 추정한 특징벡터가 적용되는 아다부스트(adaboost) 알고리즘 및 SVM 알고리즘을 이용하여 상기 제 1 보행자를 검출하며, 상기 검출한 제 1 보행자에 대해 평균 시프트(Mean shift) 알고리즘을 적용하여 상기 제 1 보행자를 추적할 수 있다.

Description

보행자 인식기반 사고방지 시스템 및 그 제어 방법{PREVENTION OF ACCIDENT SYSTEM BASED ON PEDESTRIAN RECOGNITION AND METHOD FOR CONTROLLING THEREOF}
본 발명은 복잡한 도로환경에서 보행자 인식 알고리즘을 통한 방범 시스템 및 그 제어방법에 관한 것이다. 구체적으로 본 발명은 보행자 인식 알고리즘을 통해 인식된 보행자를 추적하여 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임을 검출되는 경우, 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템 및 그 제어방법에 관한 것이다.
방범(Crime Prevention)은 사회일반의 안녕질서를 유지하고 범죄의 발생을 예방하는 여러 가지 활동이나 작용을 말한다.
방범은 국가 공기관인 경찰에 의한 방범활동과 민간에서의 자율적인 방범활동으로 나눌 수 있다.
경찰의 방범활동은 순찰(도보순찰, 자전거순찰, 오토바이순찰, 112차량순찰)을 비롯하여 범죄취약 환경에 대한 진단과 개선, 청소년 선도활동, 풍속업소에 대한 계도와 단속, 총기, 화약류 등에 대한 관리와 단속 등의 방식으로 이루어지고 있다.
민간의 방범활동은 지역사회의 자율방범단체에 의한 순찰이나 선도활동, 용역경비를 담당하는 민간경비업체에 의한 방범활동 등이 있다.
한편, 차량의 법규 위반을 단속하기 위한 카메라는 노상에 빈번하게 설치되어 있다.
대표적으로 카메라는 주정차 단속 또는 버스 전용 차로 단속 등을 수행할 수 있다.
구체적으로 도로교통법 제1조22호에 따른 주차는 차량이 승객을 기다리거나 화물을 싣거나 고장 그 밖의 사유로 인하여 계속하여 정지하거나 또는 그 차의 운전자가 그 차로부터 떠나서 즉시 운전할 수 없는 상태를 말하고, 도로교통법 제2조23호에 따른 정차는 차량이 5분을 초과하지 아니하고 정지하는 것으로서 주차 외의 정지상태를 말한다.
교통소통을 원활하게 하며 법 질서 및 주차질서의 확립과 보행자의 안전을 도모하고 도로에서의 위험을 방지하기 위해, 상기 주차 및 정차, 즉, 주/정차 위반 차량에 대해서는 단속을 실행하고 있다.
또한, 버스 전용 차로제는 대중교통의 원활한 소통로를 확보하여 대중교통 이용률을 높이고 승용차 이용을 자제토록 유도하여, 날로 더해 가는 도심 교통란을 해소하기 위한 교통특별대책이고, 도로에는 별도의 버스 전용 차로가 설정되어 있다.
버스 이외의 차량이 무단으로 상기 버스 전용 차로를 이용하는 것도 전술한 주/정차 차량과 마찬가지로 단속의 대상이 될 수 있다.
한편, 노상에 빈번하게 주차된 카메라를 이용하여 방범(Crime Prevention)을 수행하는 방법이 이용될 수 있다.
특히, 횡단보도가 아닌 장소에서 무단 횡단하는 이벤트, 어린이보호구역에서 어린이가 존재하는 이벤트 등에 대한 방범이 수행될 수 있다.
소프트웨어적인 방법을 이용한 방범 방법을 수행하기 위해서는 보행자를 감지해 내고, 이동 상황을 추적하며, 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임을 검출되는 경우, 경고 및 계도 방송하는 알고리즘이 필요하다.
대한민국 특허청 등록번호 제10-0907548호
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 보행자 인식 알고리즘을 통한 방범 시스템 및 그 제어방법을 사용자 또는 관리자에게 제공하는데 그 목적이 있다.
구체적으로 본 발명은 보행자 인식 알고리즘을 통해 인식된 보행자를 추적하여 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임을 검출되는 경우, 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템 및 그 제어방법을 제공하고자 한다.
또한, 본 발명은 신호제어기를 통해 기 설정된 속도 이상으로 차량이 이동하는 경우 또는 신호등이 현재 색깔이 기 설정된 색에 해당하는 경우에만 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템을 제공하고자 한다.
또한, 본 발명은 검지 카메라로부터 입력된 영상간의 보행자를 인식하여 횡단보도 이외의 구역, 어린이 보호구역, 버스 전용차선도로와 같은 보행자 우선 및 위험이 높은 구역에 대해서 시스템을 제공하고자 한다.
또한, 본 발명은 보행자와 차량을 추적하여 보행자와 차량의 충돌이 검출되는 경우, 위치정보 모듈을 이용하여 현재 장소를 파악하고, 기 설정된 기관으로 현재 장소 및 사고 사실을 알리는 정보를 자동으로 전송하는 보행자 인식 알고리즘을 통한 방범 시스템을 제공하고자 한다.
또한, 본 발명은 보행자 자체의 검출결과로부터 현재 영역의 크기(라벨링 영역)와 차량과 충돌된 시점의 영역크기가 달라지므로, 이를 비교하여 충돌 시점을 결정하는 방법을 적용하는 보행자 인식 알고리즘을 통한 방범 시스템을 제공하고자 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 보행자 인식을 통한 사고방지 및 방범 시스템은, 적어도 하나의 제 1 영상을 촬영하는 카메라; 상기 제 1 영상에 제 1 구역이 포함되어 있는 경우, 상기 제 1 영상에 포함된 적어도 하나의 제 1 보행자를 검출하고, 상기 검출한 제 1 보행자를 추적하며, 상기 추적한 제 1 보행자가 상기 제 1 구역의 적어도 일부에 위치하는지 여부를 판단하는 제어부; 및 상기 추적한 제 1 보행자가 상기 제 1 구역의 적어도 일부에 위치하는 경우, 상기 제어부의 제어에 따라 상기 제 1 보행자에게 위험을 알리는 제 1 정보를 출력하는 출력부;를 포함하되, 상기 제어부는, 상기 제 1 영상에 대한 특징벡터를 추정하고, 상기 추정한 특징벡터가 적용되는 아다부스트(adaboost) 알고리즘 및 SVM 알고리즘을 이용하여 상기 제 1 보행자를 검출하며, 상기 검출한 제 1 보행자에 대해 평균 시프트(Mean shift) 알고리즘을 적용하여 상기 제 1 보행자를 추적할 수 있다.
또한, 상기 제 1 구역은 횡단보도 이외의 구역, 어린이 보호 구역 및 버스 전용 차로 구역을 포함할 수 있다.
또한, 상기 SVM 알고리즘은 사전 학습된 보행자의 특징벡터와 상기 추정한 특징벡터를 함께 이용하고, 상기 제어부는, 상기 아다부스트(adaboost) 알고리즘을 적용하여, 상기 제 1 보행자와 관련된 정보를 먼저 분류하고, 상기 분류한 정보에 대해 상기 SVM 알고리즘을 적용하여 상기 제 1 보행자를 검출할 수 있다.
또한, 상기 SVM 알고리즘은 사전 학습된 보행자의 특징벡터와 함께 적용하고, 상기 제어부는, 상기 제 1영상에서 보행자의 특징벡터로부터 adaboost방법을 먼저 적용하고, 상기 보행자의 특징벡터로 정의된 결과에 대해 상기 SVM 알고리즘을 적용할 수도 있다.
또한, 적어도 하나의 제 1 차량의 속도를 검출하기 위한 신호제어기를 더 포함하고, 상기 제어부는, 상기 제 1 영상에 포함된 상기 제 1 차량을 검출하고, 상기 신호제어기를 이용하여 상기 검출한 제 1 차량의 속도를 추출하며, 상기 추출한 상기 제 1 차량의 속도가 기 설정된 속도 이상인 경우에만 상기 제 1 정보가 상기 출력부를 통해 출력되도록 제어할 수 있다.
또한, 상기 제어부는, 상기 제 1 영상에 포함된 신호등을 검출하고, 상기 신호등의 색이 기 설정된 색인 경우에만 상기 제 1 정보가 상기 출력부를 통해 출력되도록 제어하며, 상기 기 설정된 색은 빨강 및 주황을 포함할 수 있다.
또한, 상기 제어부는, 상기 제 1 영상에 포함된 적어도 하나의 제 1 차량을 검출하고, 상기 검출한 제 1 보행자 및 제 1 차량을 함께 추적하며, 상기 제 1 보행자와 제 1 차량의 충돌 여부를 판단할 수 있다.
또한, 위치정보모듈과 무선통신부를 더 포함하고, 상기 제 1 보행자와 제 1 차량이 충돌되었다고 판단된 경우, 상기 제어부는, 상기 위치정보모듈을 이용하여 상기 충돌 위치 정보를 획득하고, 상기 무선통신부를 통해 상기 충돌 위치 정보 및 상기 충돌 사실을 알리는 정보가 기 설정된 외부기관으로 전송되도록 제어할 수 있다.
또한, 상기 무선통신부 및 외부기관은 근거리 무선통신 또는 원거리 무선통신을 통해 통신하고, 상기 근거리 무선통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술 중 적어도 하나를 이용하며, 상기 원거리 무선통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술 중 적어도 하나를 이용할 수 있다.
또한, 상기 출력부는, 상기 제 1 정보를 표시하는 디스플레이부, 상기 제 1 정보를 음향으로 출력하는 음향출력모듈, 상기 제 1 정보에 대응하여 알람을 출력하는 알람부, 상기 제 1 정보에 대응하여 결정된 빛을 발광하는 조명부 및 상기 제 1 정보에 대응하여 결정된 정보를 외부로 출력하는 프로젝터 모듈을 포함할 수 있다.
본 발명은 복잡한 도로환경에서 보행자 인식 알고리즘을 통한 방범 시스템 및 그 제어방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명은 보행자 인식 알고리즘을 통해 인식된 보행자를 추적하여 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임을 검출되는 경우, 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템을 제공할 수 있다.
또한, 본 발명은 신호제어기를 통해 기 설정된 속도 이상으로 차량이 이동하는 경우 또는 신호등이 현재 색깔이 기 설정된 색에 해당하는 경우에만 경고 및 계도 방송할 수 있다.
또한, 본 발명은 보행자와 차량을 추적하여 보행자와 차량의 충돌이 검출되는 경우, 위치정보 모듈을 이용하여 현재 장소를 파악하고, 기 설정된 기관으로 현재 장소 및 사고 사실을 알리는 정보를 자동으로 전송할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시례를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명에 따른 복잡한 도로환경에서 보행자 인식 알고리즘을 통한 방범 시스템의 블록 구성도의 일례를 나타낸 것이다.
도 2는 본 발명에 따른 보행자 인식 알고리즘을 통한 방범 시스템의 동작을 설명하기 위한 순서도이다.
도 3a 및 도3b는 본 발명의 일실시예에 따라 히스토그램의 바타차랴 거리를 이용해 보행자로 판단되는 히스토그램 구역에 대해 평균 시프트(mean shift) 방법을 적용하고 이를 추적하는 기법을 설명하기 위한 샘플 사진으로서, 도 3a는 n-1 번째의 샘플 화면이고, 도 3b는 n 번째의 샘플 화면이다.
도 4는 본 발명에 따라 신호제어기를 통해 기 설정된 속도 이상으로 차량이 이동하는 이벤트를 이용하는 경우에만 방범 동작을 수행하는 보행자 인식 알고리즘을 통한 방범 시스템의 동작을 설명하기 위한 순서도이다.
도 5는 본 발명에 따라 신호등이 기 설정된 색인지 여부를 판별하는 단계를 포함하는 보행자 인식 알고리즘을 통한 방범 시스템의 동작을 설명하기 위한 순서도이다.
도 6은 본 발명에 따라 보행자와 차량의 충돌이 검출되는 경우, 기 설정된 기관으로 사고발생장소 및 사고 사실을 알리는 정보를 자동으로 전송하는 동작을 설명하기 위한 순서도이다.
도 7의 (a) 내지 (d)는 본 발명과 관련된 보행자 인식시스템 결과 영상의 일례를 도시한 것이다.
노상에 빈번하게 주차된 카메라를 이용하여 방범(Crime Prevention)을 수행하는 방법이 이용될 수 있다.
특히, 횡단보도가 아닌 장소에서 무단 횡단하는 이벤트, 어린이보호구역에서 어린이가 존재하는 이벤트 등에 대한 방범이 수행될 수 있다.
소프트웨어적인 방법을 이용한 방범 방법을 수행하기 위해서는 영상 해석을 통해 보행자를 감지해 내고, 이동 상황을 추적하며, 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임을 검출되는 경우, 경고 및 계도 방송하는 알고리즘이 필요하다.
따라서 본 발명은 복잡한 도로환경에서 보행자 인식 알고리즘을 통해 인식된 보행자를 추적하여 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임을 검출되는 경우, 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템 및 그 제어방법을 제공하고자 한다.
본 발명의 구체적인 동작을 설명하기에 앞서, 본 발명에 적용되는 보행자 인식 알고리즘을 통한 방범 시스템의 구성요소를 구체적으로 설명한다.
이하에서는 설명의 편의를 위해, 본 발명에 따른 인식 알고리즘을 통한 방범 시스템을 스마트 방범 시스템이라고 호칭한다.
스마트 방범 시스템(1100)은 무선 통신부(1110), A/V(Audio/Video) 입력부(1120), 사용자 입력부(1130), 출력부(1150), 메모리(1160), 제어부(1180) 및 전원 공급부(1190) 등을 포함할 수 있다.
단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 스마트 방범 시스템이 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(1110)는 스마트 방범 시스템(1100)과 무선 통신 시스템 사이 또는 스마트 방범 시스템(1100)과 스마트 방범 시스템(1100)이 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(1110)는 이동통신 모듈(1112), 근거리 통신 모듈(1114) 및 위치정보 모듈(1115) 등을 포함할 수 있다.
이동통신 모듈(1112)은, 이동 통신망 상에서 기지국, 외부의 스마트 방범 시스템, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 인터넷 모듈(1113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 스마트 방범 시스템(1100)에 내장되거나 외장될 수 있다.
상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(1114)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치 정보 모듈(1115)은 스마트 방범 시스템(1100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
현재 기술에 의하면, 상기 GPS모듈(1115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다.
현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(1115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
도 1을 참조하면, A/V(Audio/Video) 입력부(1120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1121)와 마이크(1122) 등이 포함될 수 있다. 카메라(1121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(1151)에 표시될 수 있다.
카메라(1121)에서 처리된 화상 프레임은 메모리(1160)에 저장되거나 무선 통신부(1110)를 통하여 외부로 전송될 수 있다.
이때, 카메라(1121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
대표적으로 카메라(1121)는 설치된 영역에서 촬영 가능한 객체, 즉, 보행자 및 차량에 대한 영상을 촬영하는 것이 가능하다.
마이크(1122)는 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다.
처리된 음성 데이터는 이동통신 모듈(112)을 통하여 기 설정된 기관으로 송신 가능한 형태로 변환되어 출력될 수 있다.
마이크(1122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(1130)는 사용자가 스마트 방범 시스템의 동작 제어를 위한 입력 데이터를 발생시킨다.
사용자 입력부(1130)는 본 발명에 따라 표시되는 컨텐츠들 중 두 개 이상의 컨텐츠를 지정하는 신호를 사용자로부터 수신할 수 있다.
그리고, 두 개 이상의 컨텐츠를 지정하는 신호는, 터치입력을 통하여 수신되거나, 하드키 및 소프트 키입력을 통하여 수신될 수 있다.
사용자 입력부(1130)는 상기 하나 또는 둘 이상의 컨텐츠들을 선택하는 입력을 사용자로부터 수신할 수 있다. 또한, 사용자로부터 스마트 방범 시스템(1100)이 수행할 수 있는 기능과 관련된 아이콘을 생성하는 입력을 수신할 수 있다.
상기와 같은, 사용자 입력부(1130)는 방향키, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
출력부(1150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(1151), 음향 출력 모듈(1152), 알람부(1153),조명부(154) 및 프로젝터 모듈(1155) 등이 포함될 수 있다.
디스플레이부(1151)는 스마트 방범 시스템(100)에서 처리되는 정보를 표시(출력)한다.
예를 들어, 스마트 방범 시스템이 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다.
또한, 본 발명에 따른 디스플레이부(1151)는 2D 및 3D 표시 모드를 지원한다.
또한, 디스플레이부(1151)는 제어부(1180)의 제어에 따라, 3D 표시 모드인 상태에서는 상기 스위치 액정(1151b)과, 광학 시차 장벽(50) 및 디스플레이 장치(1151a)를 구동시켜 상기 디스플레이 장치(1151a)만을 구동시켜 3D 표시 동작을 수행한다.
한편, 상기와 같은 디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(1151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 스마트 방범 시스템 바디의 디스플레이부(1151)가 차지하는 영역을 통해 스마트 방범 시스템 바디의 후방에 위치한 사물을 볼 수 있다.
음향 출력 모듈(1152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(1110)로부터 수신되거나 메모리(1160)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력 모듈(1152)은 스마트 방범 시스템(1100)에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(1152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(1153)는 스마트 방범 시스템(1100)의 이벤트 발생을 알리기 위한 신호를 출력한다.
알람부(1153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(1151)나 음성 출력 모듈(1152)을 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(1151) 및 음성출력모듈(152)은 알람부(1153)의 일종으로 분류될 수도 있다.
또한, 조명부(154)는 빛을 인간생활에 유효하게 사용하는 기술로, 태양광에 의한 채광인 주광조명과 전등 등의 인공광원에 의한 인공조명이 있다.
조명부(154)의 일종인 백열전구는 따스하고 아늑한 빛과 접등에 부속장치가 필요 없으며, 또한 조명기구와의 조합이 손쉬워서, 효율·수명·광색 등이 우수한 형광등의 급격한 보급에도 불구하고 수요 비중이 크다. 특히 주택에서는 아늑한 분위기 조성과 점등의 간편성 등 때문에　널리 활용되고 있다.
또한, 조명부(154)의 일종인 형광등은 효율, 수명, 광색 등의 우수한 특성으로 인하여 빌딩, 공장, 상점으로부터 주택에 이르기까지 널리 쓰이고 있다.
수은등이나 나트륨등은 형광등보다 이전에 발명된 것이지만, 연색성 문제로 실용화가 늦어졌다. 그러나 고효율과 긴 수명 등의 특성 때문에 지금은 높은 천장의 공장, 경기조명, 도로조명으로 많이 쓰이고 있다. 최근의 광원으로는 할로젠사이클을 이용한 아이오딘전구, 고효율 헬라이드등 , 양광램프 등이 개발되어 실용화되고 있다.
또한, 조명부(154)의 일종인 결정발광체인 전기루미네선스(EL)램프는 면광원으로 각광을 받고 있지만, 효율·광원장치 등의 문제로 실용화에는 이르지 못하고 있다. 이러한 인공광원은 인류와 오랜 세월 동안 친숙된 태양광을 목표로 발달되어 왔다.
연색성 등 다소 결점은 있으나, 일정한 광도를 유지할 수 있다는 특성은, 태양광에 비하여 확실히 우수하다.
또한, 조명부(154)는 LED(light emitting diode)를 포함할 수 있다.
발광다이오드(LED)란 갈륨비소 등의 화합물에 전류를 흘려 빛을 발산하는 반도체소자로, m 반도체의 p-n 접합구조를 이용하여 소수캐리어(전자 또는 정공)를 주입하고 이들의 재결합에 의하여 발광시킨다.
LED는 컴퓨터 본체에서 하드디스크가 돌아갈 때 깜빡이는 작은 불빛, 도심의 빌딩 위에 설치된 대형 전광판, TV 리모콘 버튼을 누를 때마다 TV 본체에 신호를 보내는 눈에 보이지 않는 광선 등을 만들 때 필요하다.
전기에너지를 빛 에너지로 전환하는 효율이 높기 때문에 최고 90%까지 에너지를 절감할 수 있어, 에너지 효율이 5% 정도밖에 되지 않는 백열등, 형광등을 대체할 수 있는 차세대 광원으로 주목되고 있다.
LED는 아래 위에 전극을 붙인 전도물질에 전류가 통과하면 전자와 정공이라고 불리는 플러스 전하입자가 이 전극 중앙에서 결합해 빛의 광자를 발산하는 구조로 이루어져 있는데, 이 물질의 특성에 따라 빛의 색깔이 달라진다.
다만, 전술한 조명부(154)의 형태는 단순한 예시를 열거한 것에 불과하며 본 발명의 내용이 이에 한정되는 것은 아니다.
프로젝터 모듈(1155)은, 스마트 방범 시스템(1100)를 이용하여 영상 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(1180)의 제어 신호에 따라 디스플레이부(1151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.
구체적으로, 프로젝터 모듈(1155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(1155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.
프로젝터 모듈(1155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(1151)의 소형화에 유리할 수 있다.
바람직하게, 프로젝터 모듈(1155)은, 스마트 방범 시스템(1100)의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(1155)은, 필요에 따라 스마트 방범 시스템(1100)의 어느 위치에라도 구비될 수 있음은 당연하다.
메모리(1160)는 제어부(1180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(1160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(1160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
상기와 같은 메모리(1160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 스마트 방범 시스템(1100)은 인터넷(internet)상에서 상기 메모리(1160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
제어부(controller)(1180)는 통상적으로 스마트 방범 시스템의 전반적인 동작을 제어한다.
제어부(1180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(1181)을 구비할 수도 있다. 멀티미디어 모듈(1181)은 제어부(1180) 내에 구현될 수도 있고, 제어부(1180)와 별도로 구현될 수도 있다.
또한, 전원 공급부(1190)는 제어부(1180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시례는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시례는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시례들이 제어부(1180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시례들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(1160)에 저장되고, 제어부(1180)에 의해 실행될 수 있다.
전술한 스마트 방범 시스템의 구성을 기초로 구체적인 방범 동작을 설명한다.
도 2는 본 발명에 따른 보행자 인식 알고리즘을 통한 방범 시스템의 동작을 설명하기 위한 순서도이다.
도 2를 참조하면, 먼저, 카메라(1121)를 통해 적어도 하나의 영상을 촬영하는 단계가 진행된다(S110).
이때, 카메라(1121)를 통해 획득되는 영상에는 복수의 차량 및 보행자가 포함될 수 있다.
이후, 제어부(1180)가 카메라(1121)를 통해 촬영된 영상에 기 설정된 구역이 포함되어 있는지 여부를 판단하는 단계가 진행된다(S120).
여기서 기 설정된 구역은 횡단보도가 아닌 구역, 버스전용차선 구역, 어린이보호구역 등을 포함할 수 있다.
즉, 횡단보도가 아닌 구역에서의 무단횡단, 버스전용차선 구역의 위반사례, 어린이보호구역의 위반사례 등을 판단하기 위해, 기 설정된 구역인 횡단보도가 아닌 구역, 버스전용차선 구역, 어린이보호구역이 영상에 포함되어 있는지 여부부터 선결적으로 판단할 수 있다.
단, 횡단보도가 아닌 구역, 버스전용차선 구역, 어린이보호구역 등은 본 발명이 적용될 수 있는 단순한 일례에 불과하고 사용자의 편의에 따라 보다 다양한 구역이 지정될 수 있음은 자명한다.
다음으로, 제어부(1180)가 보행자를 검출하는 단계가 진행된다(S130).
여기서 검출되는 보행자는 복수일 수 있다.
보행자의 검출 방법 알고리즘은 도 3a 및 도3b를 참조하여 구체적으로 설명한다.
또한, 보행자가 검출되면, 제어부(1180)가 보행자를 추적하는 단계가 진행된다(S140).
보행자의 추적 방법 알고리즘은 도 3a 및 도3b를 참조하여 구체적으로 후술한다.
또한, 기 설정된 구역의 적어도 일부에서 보행자의 움직임을 검출하는 단계가 진행될 수 있다(S150).
이 경우, 제어부(1180)는 출력부(1150)을 제어하여 경고 및 계도 방송이 외부로 출력되도록 제어할 수 있다(S160).
즉, 디스플레이부(1151)를 통해 기 설정 구역 내에서의 보행자의 행동에 대해 경고하는 정보가 출력되거나 음향출력모듈(1152)를 통해 당해 사실을 알리는 정보가 출력되거나 알람부(1153)을 통해 당해 사실을 알리는 알람이 출력되거나 조명부(1154)를 통해 당해 사실을 보행자에게 알리거나 프로젝터 모듈(1155)를 통해 당해 사실을 보행자가 즉각적으로 인식시킬 수 있다.
한편, 도 3a 및 도 3b를 참조하여, S130 및 S140 단계에 대해 구체적으로 설명한다.
도 3a 및 도3b는 본 발명의 일실시예에 따라 히스토그램의 바타차랴 거리를 이용해 보행자로 판단되는 히스토그램 구역에 대해 평균 시프트(mean shift) 방법을 적용하고 이를 추적하는 기법을 설명하기 위한 샘플 사진으로서, 도 3a는 n-1 번째의 샘플 화면이고, 도 3b는 n 번째의 샘플 화면이다.
먼저, S130 단계에 적용되는 보행자 인식을 위한 알고리즘을 설명한다. 즉, 물체 인식을 위한 학습 및 검출방법에 대해 구체적으로 설명한다.
학습 데이터 추출 과정이란 인식하고자 하는 물체에 대한 데이터(positive data)에서 물체를 대표할 수 있는 정보(주변과의 밝기 차이, 경계값의 분포 등), 즉 특징 벡터(feature vector)를 추출하여 학습시키는 과정을 말한다. 보행자를 검출하기 위해서는 미리 정해진 크기의 블록블록 또는 매크로 블록을 영상 전체에서 움직여 가며 미리 학습된 보행자 블록의 특징벡터와 비교한다. 미리 학습된 보행자 블록의 특징벡터와 영상 내 블록의 특징벡터가 유사하다면 이는 보행자라고 검출된다.
기존에 많이 사용되는 인식 및 분류 알고리즘인 adaboost 학습분류 방법은 보행자, 차량, 얼굴 같은 블록 형태의 모습을 지니는 물체를 검출하는 분야에서 널리 사용되는 알고리즘이다. 이 방법에서는 학습 샘플을 잘 분류하는 약한 분류기(weak classifier)들을 선별한 후, 이들의 조합을 통해 강한 분류기(strong classifier)를 만드는 방법이다. 그리고 이렇게 만들어진 강한 분류기를 캐스케이드 방식으로 여러 단계에 걸쳐 사용한다.
즉, 정의된 패턴에 따라 순차적으로 동일한 패턴간의 유사성으로 비교하는 방법이 적용될 수 있다.
이를 위해서 먼저 특징벡터들에 대해 adaboosting을 실시하고, 이때 학습으로 약한 분류기에 해당하는 n개의 특징벡터를 찾는다. 그리고 모든 포지티브 샘플과 네거티브 샘플에 대해 강한 분류기를 다음의 [수학식 1]을 사용하여 계산한다.
Figure 112013075849911-pat00001
여기에서 α는 h(x)의 가중치를 의미한다. 포지티브 샘플을 임의의 비율 K% 만큼 포함하는 S(x)값을 검출 문턱값(ThD)으로 정의하고, 네거티브 샘플의 S(x)값들 중 최소값과 ThD 의 중간값을 샘플 제거 문턱값(ThE)으로 결정한다. 그리고 각 단계마다 값이 ThE 보다 작은 네거티브 샘플은 확실한 네거티브로 판단하고 학습데이터에서 제거한다. 네거티브 샘플이 존재하지 않거나 사용자가 미리 정의한 최대 단계 수만큼 위의 과정을 반복한다. 이 과정에서 ThD를 낮출수록 인식률이 높아지지만 필요 단계 수가 많아지게 된다. 이와 같이 각 단계마다 확실하게 네거티브인 샘플을 제거해 줌으로써 다음 단계에서는 아직 불확실한 샘플에 더 비중을 주는 효과를 주게 되어 최종 인식률이 향상된다.
물체 검출 시에는 입력 영상에 대해 학습과정에서 구한 각 단계들의 h(x)와 α를 이용해 아다부스트 검출을 수행한다. 이때, 제안하는 방법에서 사용할 최종 판별식은 기존 아다부스트 방법에서의 문턱값을 ThD로 변경한 [수학식 2]를 사용한다.
Figure 112013075849911-pat00002
위의 판별식을 통해 1의 값을 갖는 포지티브로 검출된 영역들을 대상으로 다음 단계의 판별을 수행한다. 이 과정은 기존의 캐스케이드 방식의 검출 방식과 같다. 아다부스트는 픽셀값들을 기반으로 판별을 하기 때문에 빠른 속도를 낸다. 하지만 보행자가 아닌 것들도 보행자라고 잘못 인식하는 경우가 발생해 정확도가 떨어진다.
이를 보완하기 위해 SVM 알고리즘을 추가로 사용한다. 이때의 특징 벡터로는 HOG(Histogram of the Oriented Gradients)를 사용하였다.
즉, 분류기인 adaboost 검출을 하고, SVM과 HoG를 동시에 수행하는 것 자체가 두 번의 과정을 함으로써 반복된 단계를 의미한다.
HOG는 미리 정해진 크기의 블록을 M-개의 작은 매크로 블록(일반적으로 3X3 크기의 픽셀) Bm(m=1, ...,M)으로 다시 나눈다. 각각의 Bm에서 각 픽셀의 방향성을 히스토그램화하여 가장 두드러진 방향벡터 Vm을 결정한다. 각각의 Vm들이 모여 M-차원의 벡터를 구성한다. 이렇게 만들어진 HOG는 가장 많이 사용되는 특징 벡터 가운데 하나이며 SVM 알고리즘과 결합하여 뛰어난 검출 성능을 보여준다.
아다부스트 알고리즘을 거친 보행자 후보 각각의 HOG를 추출하면 M-차원의 공간에 분포한다. 고차원(N차원)에 분포한 보행자 후보군들 중에서 실제 보행자를 구분하는 최적의 선형 분리선을 찾기는 불가능에 가까우며 대부분 비선형의 분리선을 가진다. 즉, 일반적으로 선형판별조건은 주어진 임의의 값에 따라 얻고자 하는 해를 찾는 것이고, 비선형판별조건은 임의의 설정 값에 의해 해를 찾는 방식이다.
하지만 N-차원의 HOG특징들을 조합하여 새로운 차원을 생성함으로써 더 높은 M-차원의 공간상에 데이터를 투영할 수 있다. M-차원에 투영된 보행자 후보들 중 실제 보행자를 구분해 내는 최적의 선형 분리선을 찾는 것은 보다 쉬운 일이다. 이와 같이 데이터를 보다 높은 차원에 투영시켜 최적의 선형 분리선을 찾는 것이 SVM알고리즘이다.
하지만 HOG를 구하기 위해서는 연산량이 많이 필요하다. 따라서 전체 영상에 대해 HOG를 구하지 않고, 아다부스트 결과를 통해 보행자 후보로 판단된 것들에 대해서만 SVM을 수행한다. 이를 통해 정확도는 향상시키고 연산량은 줄인 S140 단계 구조의 보행자 인식 방법을 제안한다.
다음으로, S140 단계에서 설명한 보행자를 추적하는 방법에 대해 구체적으로 설명한다. 즉, 물체 검출률 향상을 위한 추적기법에 대해 구체적으로 설명한다.
S140 단계를 통해 보행자 검출을 시도해도, 일반적으로도 보행자는 차량과 달리 정확도 높은 검출이 쉽지 않다.
또한, 일반적으로 물체 인식 및 추적기법은 서로 다른 영역에서 연구가 진행되고 있다.
본 내용의 중점은 S140 단계 이후에 놓친 보행자를 찾기 위한 보완책의 일환으로 물체 추적기법을 조합해 사용한 점이다.
n-1 번째 화면에서 검출된 보행자가 n 번째 화면에서 검출되지 않는 경우가 발생할 수 있다. 하지만 한 프레임 간격의 보행자는 밝기나 색 변화가 크지 않다고 가정할 수 있다. 그러므로 물체 추적 기법을 적용하면 n-1 번째 화면에서 검출되었던 보행자를 n 번째 화면에서도 놓치지 않고 계속해서 추적해 낼 수 있다. 다양한 물체 추적 기법 중 본 실시예에서는 히스토그램의 바타차랴(Bhattacharyya) 거리를 이용해 오차가 수렴하는 히스토그램 내의 구간을 찾아서 이를 해당 보행자의 특징영역으로 판단하고, 해당 영역에 대해서 평균 시프트(mean shift) 방법을 적용했다.
도 2a 및 도 2b는 본 발명의 일실시예에 따라 히스토그램의 바타차랴 거리를 이용해 보행자로 판단되는 히스토그램 구역에 대해 평균 시프트(mean shift) 방법을 적용하고 이를 추적하는 기법을 설명하기 위한 샘플 사진으로서, 도 2a는 n-1 번째의 샘플 화면이고, 도 2b는 n 번째의 샘플 화면이다.
도 2a 및 도 2b에 도시된 바와 같이 n 번째 화면에서 놓친 보행자를 검출하기 위해 이전 프레임에서 보행자가 검출된 위치 Pn -1(xn -1, yn -1)과 같은 곳에서 추적 기법의 적용을 시작한다. n 번째 화면에서 Pn -1(xn-1, yn -1)과 동일한 위치 Pn(xn -1, yn -1)에서 미리 정해진 크기를 가진 블록 내의 색상 히스토그램을 구한다. n-1 번째 화면에서 검출된 사람의 영역에서 구한 히스토그램 H1과, n 번째 화면의 동일한 위치에서 구한 히스토그램 H2를 다음 [수학식 3]에 따라 비교해 바타차랴 상수 ρ(Pn(xn -1, yn -1))를 구한다.
Figure 112013075849911-pat00003
바타차랴 상수는 두 히스토그램이 유사할수록 큰 값이 나온다. 평균 시프트 알고리즘은 n 번째 화면에서 바타차랴 상수를 최대화하는 블록의 위치 Pn(xn, yn)을 찾는 기법이다. [수학식 3]을 위치에 관해 미분하면 바타차랴 상수를 최대로 하는 n 번째 화면의 새로운 위치 Pn(x, y)를 구하는 [수학식 5]를 구할 수 있다.
Figure 112013075849911-pat00004
Figure 112013075849911-pat00005
Bn(xi, yi)는 n 번째 화면에서, 정해진 크기의 블록내 i번째 픽셀이 가지는 영상에서의 x,y 좌표값이다. [수학식 5]를 통해 구해진 새로운 위치에서 H2를 새로 얻어내고, [수학식 5]를 통해 P(x,y)을 다시 구한다. 이 과정을 반복해 n번째 화면에서 최종적인 위치 Pn(xn, yn)를 구한다. Pn(xn, yn)은 물체를 검출하기 위한 전술한 기법에서 검출하지 못한 보행자의 n 번째 화면에서의 위치이다.
전술한 방법을 통해 S130 단계 및 S140 단계가 수행될 수 있다.
따라서 본 발명은 복잡한 도로환경에서 보행자 인식 알고리즘을 통해 인식된 보행자를 추적하여 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임을 검출되는 경우, 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템 및 그 제어방법을 제공할 수 있다.
한편, 본 발명의 다른 실시례에 따르면, 신호제어기를 통해 기 설정된 속도 이상으로 차량이 이동하는 경우에만 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템을 제공될 수 있다.
이를 도 4를 참조하여 구체적으로 설명한다.
도 4는 본 발명에 따라 신호제어기를 통해 기 설정된 속도 이상으로 차량이 이동하는 이벤트를 이용한 보행자 인식 알고리즘을 통한 방범 시스템의 동작을 설명하기 위한 순서도이다.
도 4에서 S110 내지 S150 및 S160 단계는 도 2와 동일하므로, 명세서의 간략화를 위해 설명은 생략한다.
S150 단계를 통해, 제어부(1180)가 기 설정된 구역의 적어도 일부에서 보행자의 움직임을 검출한 후, 제어부(1180)는 카메라로 획득되는 영상을 이용하여 적어도 하나의 차량을 검출할 수 있다(S210).
이후, 해당 영역에 미리 설정되어 있는 신호제어기를 통해 검출된 차량의 속도가 기 설정된 속도 이상으로 이동 되는지 여부를 판단할 수 있다(S220).
이때, 기 설정된 속도 이상으로 검출된 차량이 이동하는 경우에만 S160 단계를 통해 경고 및 계도 방송이 출력되고, 기 설정된 속도 미만인 경우에는 S160 단계가 수행되지 않을 수 있다.
한편, 본 발명의 또 다른 실시례에 따르면, 신호등이 현재 색깔이 기 설정된 색에 해당하는 경우에만 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템을 제공될 수 있다.
도 5는 본 발명에 따라 신호등이 기 설정된 색인지 여부를 판별하는 단계를 포함하는 보행자 인식 알고리즘을 통한 방범 시스템의 동작을 설명하기 위한 순서도이다.
도 5에서 S110 내지 S150 및 S160 단계는 도 2와 동일하므로, 명세서의 간략화를 위해 설명은 생략한다.
S150 단계를 통해, 제어부(1180)가 기 설정된 구역의 적어도 일부에서 보행자의 움직임을 검출한 후, 제어부(1180)는 카메라로 획득되는 영상을 이용하여 적어도 신호등을 검출할 수 있다(S310).
이때, 제어부(1180)는 신호등이 기 설정된 색인지 여부를 판별할 수 있다(S320).
예를 들어, 빨강생 및 주황색이 기 설정된 색이 될 수 있고, 녹색은 기 설정된 색이 되지 않을 수 있다.
이후, 제어부(1180)은 신호등의 색깔이 기 설정된 색인 빨강생 및 주황색인 경우에만 경고 및 계도 방송이 출력되도록 제어하고, 녹색인 경우에는 경고 및 계도 방송이 출력되지 않도록 제어할 수 있다(S160).
한편, 또 다른 본 발명의 실시례에 따르면, 보행자와 차량을 추적하여 보행자와 차량의 충돌이 검출되는 경우, 위치정보 모듈을 이용하여 현재 장소를 파악하고, 기 설정된 기관으로 현재 장소 및 사고 사실을 알리는 정보를 자동으로 전송하는 보행자 인식 알고리즘을 통한 방범 시스템이 제공될 수 있다.
도 6은 본 발명에 따라 보행자와 차량의 충돌이 검출되는 경우, 기 설정된 기관으로 사고발생장소 및 사고 사실을 알리는 정보를 자동으로 전송하는 동작을 설명하기 위한 순서도이다.
도 5에서 S110 내지 S160 단계는 도 2와 동일하므로, 명세서의 간략화를 위해 설명은 생략한다.
경고 및 계동 방송을 출력한 이후, 제어부(1180)는 카메라를 통해 획득된 영상에서 적어도 하나의 차량을 검출할 수 있다(S410).
이때, 차량을 검출하는 알고리즘은 도 3a를 통해 전술한 방식이 적용될 수 있다.
적어도 하나의 차량이 검출된 경우, 제어부(1180)는 보행자와 차량을 추적하는 단계를 수행한다(S420).
S420 단계에서 보행자와 차량을 추적하는 알고리즘은 도 3b를 통해 전술한 방식이 적용될 수 있다.
이후, 제어부(1180)는 보행자와 차량의 충돌을 검출할 수 있다(S430).
보행자와 차량의 충돌이 감지되는 경우, 제어부(1180)는 위치정보모듈(1115)을 이용하여 현재 사고가 발생된 위치를 파악할 수 있다(S440).
또한, 제어부(1180)는 위치정보 모듈을 이용하여 획득된 현재 장소와 사고 사실을 알리는 정보가 무선통신부(1110) 중 이동통신모듈 및 근거리 통신모듈(1115)를 통해 기 설정된 기관으로 전송되도록 제어할 수 있다(S450).
여기서 기 설정된 기관은 경찰서, 소방서 등을 포함할 수 있다.
따라서 사고가 발생된 위치 및 사고 사실을 손쉽게 알릴 수 있으므로, 인명 피해를 최소화 시키고, 교통 혼잡을 예방할 수 있다는 효과가 보장된다.
또한, 도 7의 (a) 내지 (d)는 본 발명과 관련된 보행자 인식시스템 결과 영상의 일례를 도시한 것이다.
도 7의 (a)는 1000번째 프레임에서의 보행자 결과를 나타내는 도면이고, 도 7의 (b)는 1200번째 프레임에서의 보행자 결과를 나타내는 도면이며, 도 7의 (c)는 1500번째 프레임에서의 보행자 결과를 나타내는 도면이고, 도 7의 (d)는 1900번째 프레임에서의 보행자 결과를 나타내는 도면이다.
단, 도 7의 (a) 내지 (d)는 본 발명이 적용된 단순한 일례를 설명하기 위한 도면이고, 본 발명의 내용이 이에 한정되는 것은 아니다.
전술한 본 발명의 구성 및 알고리즘이 적용되는 경우, 보행자 인식 알고리즘을 통해 인식된 보행자를 추적하여 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임을 검출되는 경우, 경고 및 계도 방송할 수 있는 보행자 인식 알고리즘을 통한 방범 시스템이 제공될 수 있다.
또한, 본 발명은 신호제어기를 통해 기 설정된 속도 이상으로 차량이 이동하는 경우 또는 신호등이 현재 색깔이 기 설정된 색에 해당하는 경우에만 경고 및 계도 방송할 수 있는 효과를 보장한다.
또한, 본 발명은 보행자와 차량을 추적하여 보행자와 차량의 충돌이 검출되는 경우, 위치정보 모듈을 이용하여 현재 장소를 파악하고, 기 설정된 기관으로 현재 장소 및 사고 사실을 알리는 정보를 자동으로 전송하는 효과를 제공한다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시례들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시례들은 다양한 변형이 이루어질 수 있도록 각 실시례들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (9)

  1. 적어도 하나의 제 1 영상을 촬영하는 카메라;
    상기 제 1 영상에 제 1 구역이 포함되어 있는 경우, 상기 제 1 영상에 포함된 적어도 하나의 제 1 보행자를 검출하고, 상기 검출한 제 1 보행자를 추적하며, 상기 추적한 제 1 보행자가 상기 제 1 구역의 적어도 일부에 위치하는지 여부를 판단하는 제어부;
    상기 추적한 제 1 보행자가 상기 제 1 구역의 적어도 일부에 위치하는 경우, 상기 제어부의 제어에 따라 상기 제 1 보행자에게 위험을 알리는 제 1 정보를 출력하는 출력부;
    위치정보모듈; 및
    무선통신부;를 포함하되,
    상기 제어부는,
    상기 제 1 영상에 대한 특징벡터를 추정하고,
    상기 추정한 특징벡터가 적용되는 아다부스트(adaboost) 알고리즘 및 SVM 알고리즘을 이용하여 상기 제 1 보행자를 검출하며,
    상기 검출한 제 1 보행자에 대해 평균 시프트(Mean shift) 알고리즘을 적용하여 상기 제 1 보행자를 추적하고,
    상기 제어부는, 상기 제 1 영상에 포함된 적어도 하나의 제 1 차량을 검출하고, 상기 검출한 제 1 보행자 및 제 1 차량을 함께 추적하며, 상기 제 1 보행자와 제 1 차량의 충돌 여부를 판단하고,
    상기 제 1 보행자와 제 1 차량이 충돌되었다고 판단된 경우, 상기 제어부는, 상기 위치정보모듈을 이용하여 상기 충돌 위치 정보를 획득하고, 상기 무선통신부를 통해 상기 충돌 위치 정보 및 상기 충돌 사실을 알리는 정보가 기 설정된 외부기관으로 전송되도록 제어하는 것을 특징으로 하는, 보행자 인식을 통한 방범 시스템.
  2. 제 1항에 있어서,
    상기 제 1 구역은 횡단보도 이외의 구역, 어린이 보호 구역 및 버스 전용 차로 구역을 포함하는 것을 특징으로 하는, 보행자 인식을 통한 방범 시스템.
  3. 제 1 항에 있어서,
    상기 SVM 알고리즘은 사전 학습된 보행자의 특징벡터와 상기 추정한 특징벡터를 함께 이용하고,
    상기 제어부는,
    상기 아다부스트(adaboost) 알고리즘을 적용하여, 상기 제 1 보행자와 관련된 정보를 먼저 분류하고,
    상기 분류한 정보에 대해 상기 SVM 알고리즘을 적용하여 상기 제 1 보행자를 검출하는 것을 특징으로 하는, 보행자 인식을 통한 방범 시스템.
  4. 제 1항에 있어서,
    적어도 하나의 제 1 차량의 속도를 검출하기 위한 신호제어기;를 더 포함하고,
    상기 제어부는, 상기 제 1 영상에 포함된 상기 제 1 차량을 검출하고, 상기 신호제어기를 이용하여 상기 검출한 제 1 차량의 속도를 추출하며, 상기 추출한 상기 제 1 차량의 속도가 기 설정된 속도 이상인 경우에만 상기 제 1 정보가 상기 출력부를 통해 출력되도록 제어하는 것을 특징으로 하는, 보행자 인식을 통한 방범 시스템.
  5. 제 1항에 있어서,
    상기 제어부는, 상기 제 1 영상에 포함된 신호등을 검출하고, 상기 신호등의 색이 기 설정된 색인 경우에만 상기 제 1 정보가 상기 출력부를 통해 출력되도록 제어하며,
    상기 기 설정된 색은 빨강 및 주황을 포함하는 것을 특징으로 하는, 보행자 인식을 통한 방범 시스템.
  6. 삭제
  7. 삭제
  8. 제 1항에 있어서,
    상기 무선통신부 및 외부기관은 근거리 무선통신 또는 원거리 무선통신을 통해 통신하고,
    상기 근거리 무선통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술 중 적어도 하나를 이용하며,
    상기 원거리 무선통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술 중 적어도 하나를 이용하는 것을 특징으로 하는, 보행자 인식을 통한 방범 시스템.
  9. 제 1항에 있어서,
    상기 출력부는, 상기 제 1 정보를 표시하는 디스플레이부, 상기 제 1 정보를 음향으로 출력하는 음향출력모듈, 상기 제 1 정보에 대응하여 알람을 출력하는 알람부, 상기 제 1 정보에 대응하여 결정된 빛을 발광하는 조명부 및 상기 제 1 정보에 대응하여 결정된 정보를 외부로 출력하는 프로젝터 모듈을 포함하는 것을 특징으로 하는, 보행자 인식을 통한 방범 시스템.
KR1020130098973A 2013-08-21 2013-08-21 보행자 인식기반 사고방지 시스템 및 그 제어 방법 KR101344034B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130098973A KR101344034B1 (ko) 2013-08-21 2013-08-21 보행자 인식기반 사고방지 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130098973A KR101344034B1 (ko) 2013-08-21 2013-08-21 보행자 인식기반 사고방지 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR101344034B1 true KR101344034B1 (ko) 2013-12-24

Family

ID=49988899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130098973A KR101344034B1 (ko) 2013-08-21 2013-08-21 보행자 인식기반 사고방지 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR101344034B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416473B1 (ko) 2013-11-22 2014-07-09 주식회사 넥스파시스템 차량 변화감지분석을 통한 조명제어 도로방범시스템 및 그 제어방법
WO2015174578A1 (ko) * 2014-05-13 2015-11-19 조선대학교산학협력단 피사체 이동 추적 기능을 이용한 씨씨티브이 시스템 및 그 운영방법
CN106446832A (zh) * 2016-09-27 2017-02-22 成都快眼科技有限公司 一种基于视频的实时检测行人的方法
CN108154076A (zh) * 2017-11-16 2018-06-12 北京遥感设备研究所 一种机器学习算法级联的铁轨行人检测方法
KR20190115316A (ko) * 2018-04-02 2019-10-11 주식회사 알트에이 불법 주정차 감지 방법 및 시스템
US10604070B2 (en) 2016-11-09 2020-03-31 Samsung Electronics Co., Ltd. Method and apparatus for informing pedestrian and occupant of vehicle of each other's approach
KR20220000977A (ko) * 2015-05-22 2022-01-04 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR20220169203A (ko) * 2021-06-18 2022-12-27 (주)타임소프트 보행자 돌발상황을 대처할 수 있는 지능형 교통제어시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101209480B1 (ko) 2012-05-30 2012-12-07 주식회사 넥스파시스템 결정 트리기법을 사용한 학습 기반의 택시 승차거부 판별 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101209480B1 (ko) 2012-05-30 2012-12-07 주식회사 넥스파시스템 결정 트리기법을 사용한 학습 기반의 택시 승차거부 판별 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416473B1 (ko) 2013-11-22 2014-07-09 주식회사 넥스파시스템 차량 변화감지분석을 통한 조명제어 도로방범시스템 및 그 제어방법
WO2015174578A1 (ko) * 2014-05-13 2015-11-19 조선대학교산학협력단 피사체 이동 추적 기능을 이용한 씨씨티브이 시스템 및 그 운영방법
KR20220000977A (ko) * 2015-05-22 2022-01-04 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR102441085B1 (ko) * 2015-05-22 2022-09-06 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
CN106446832A (zh) * 2016-09-27 2017-02-22 成都快眼科技有限公司 一种基于视频的实时检测行人的方法
CN106446832B (zh) * 2016-09-27 2020-01-10 成都快眼科技有限公司 一种基于视频的实时检测行人的方法
US10604070B2 (en) 2016-11-09 2020-03-31 Samsung Electronics Co., Ltd. Method and apparatus for informing pedestrian and occupant of vehicle of each other's approach
CN108154076A (zh) * 2017-11-16 2018-06-12 北京遥感设备研究所 一种机器学习算法级联的铁轨行人检测方法
KR20190115316A (ko) * 2018-04-02 2019-10-11 주식회사 알트에이 불법 주정차 감지 방법 및 시스템
KR102080717B1 (ko) * 2018-04-02 2020-04-23 주식회사 알트에이 불법 주정차 감지 방법 및 시스템
KR20220169203A (ko) * 2021-06-18 2022-12-27 (주)타임소프트 보행자 돌발상황을 대처할 수 있는 지능형 교통제어시스템 및 그 방법
KR102555076B1 (ko) 2021-06-18 2023-07-17 (주)타임소프트 보행자 돌발상황을 대처할 수 있는 지능형 교통제어시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR101344034B1 (ko) 보행자 인식기반 사고방지 시스템 및 그 제어 방법
Fairfield et al. Traffic light mapping and detection
Møgelmose et al. Trajectory analysis and prediction for improved pedestrian safety: Integrated framework and evaluations
US20210350145A1 (en) Object recognition method of autonomous driving device, and autonomous driving device
US20210089794A1 (en) Vehicle system and method for detecting objects and object distance
US8064643B2 (en) Detecting and recognizing traffic signs
US10627819B1 (en) On-site notification from autonomous vehicle for traffic safety
JP6325000B2 (ja) 車載画像認識装置
CN112040154A (zh) 用于减少成像光源中的闪烁伪影的系统和方法
US20160117562A1 (en) Traffic sign recognizing apparatus and operating method thereof
KR101327905B1 (ko) 꼬리물기, 정지선 위반 및 불법유턴 단속 시스템 및 그 제어방법
CN113808418B (zh) 路况信息显示系统、方法、车辆、计算机设备和存储介质
DE112017006804T5 (de) Anzeige für rückleuchte eines fahrzeugs
JP2017121058A (ja) 車両用監視システム
Kim et al. Detection and tracking of overtaking vehicle in Blind Spot area at night time
KR101558419B1 (ko) 복수의 카메라를 이용한 영상처리장치 및 제어방법
KR102170233B1 (ko) 고속도로 무단침입 방지 장치
US20200154047A1 (en) Systems and methods for image-based light output
KR20200091981A (ko) 고속도로 무단침입 방지 모니터링 시스템 및 그 방법
JP5892079B2 (ja) 物体検出装置
JP2013171319A (ja) 車両状態検出装置、車両挙動検出装置及び車両状態検出方法
KR101416457B1 (ko) 역주행 차량 및 보행자 위험상황 인지가 적용된 도로방범시스템
EP3073807B1 (en) Apparatus and method for controlling a lighting system
KR101407322B1 (ko) 매크로블록 기반 모션인식을 이용한 번호인식시스템
Patil et al. Moving vehicle detection: A review

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 6