KR102116396B1 - 사회약자 인식장치 및 그 장치의 구동방법 - Google Patents

사회약자 인식장치 및 그 장치의 구동방법 Download PDF

Info

Publication number
KR102116396B1
KR102116396B1 KR1020190151235A KR20190151235A KR102116396B1 KR 102116396 B1 KR102116396 B1 KR 102116396B1 KR 1020190151235 A KR1020190151235 A KR 1020190151235A KR 20190151235 A KR20190151235 A KR 20190151235A KR 102116396 B1 KR102116396 B1 KR 102116396B1
Authority
KR
South Korea
Prior art keywords
deep learning
socially
dcnn
image
social
Prior art date
Application number
KR1020190151235A
Other languages
English (en)
Inventor
장대석
Original Assignee
주식회사 인텔리빅스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인텔리빅스 filed Critical 주식회사 인텔리빅스
Priority to KR1020190151235A priority Critical patent/KR102116396B1/ko
Application granted granted Critical
Publication of KR102116396B1 publication Critical patent/KR102116396B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/20—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사회약자 인식장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 사회약자 인식장치는, 복수의 촬영장치에서 촬영된 촬영영상을 수신하는 통신 인터페이스부, 및 수신한 촬영영상에서 사회적 약자로 판단되는 지정 객체를 제1 딥러닝(DCNN)에 의해 분류하고, 제1 딥러닝에 의해 분류한 지정 객체 중 사회적 약자의 판단이 불가능한 객체에 대하여 제1 딥러닝과 분류 특성이 다른 제2 딥러닝(DCNN)에 의해 사회적 약자 여부를 최종적으로 판단하는 제어부를 포함할 수 있다.

Description

사회약자 인식장치 및 그 장치의 구동방법{Apparatus for Recognizing Second-class Citizen and Driving Method Thereof}
본 발명은 사회약자 인식장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 시각 장애인 등과 같이 이동에 어려움을 갖는 사회적 약자를 빠르게 식별하여 이동권을 보장해 줄 수 있는 사회약자 인식장치 및 그 장치의 구동방법에 관한 것이다.
사회적 약자에 대한 이동권 보장은 복지 증진에 필수적인 요소이다. 이에 따라 휠체어 탑승 설비, 장애인용 승강기, 점자 블록 등 이동 편의를 위한 장치가 마련되어 왔다. 하지만 현재까지 이동 편의 장치를 혼자 이용하기 불가능하거나 어려움을 느끼는 경우가 여전히 많기 때문에 보통 관계자가 상주해 다수의 감시 카메라를 모니터링함으로써 사회적 약자 발견시 즉각 대응하려는 노력을 기울이고 있다. 하지만 다수의 영상을 주시함에 따른 피로감과 이로 인한 대응력의 공백이 발생하는 문제가 있다.
물론 종래에는 스마트 흰 지팡이의 경우 접촉만으로 판단하기 어려운 신호등 위치 정보를 이동 단말기를 통해 감지하는 형태의 보조적인 기능을 부가하여 시각장애인의 보행을 돕는 기술이 소개된 바 있다. 이외에도 종래에는 GPS기반 내비게이션 기능을 갖는 흰 지팡이 등이 있으나 이는 모두 흰 지팡이 관점에서의 발명에 해당되므로 관제 목적으로 사용될 수 없는 문제가 있다.
또한, 종래에는 승강기 내 CCTV 카메라로부터 패턴 인식과 모션 트래킹 기법으로 휠체어 및 유모차 탑승을 감지한다. 하지만 장소가 승강기 내부로 한정되어 있으며 시각장애인 감지 가능 여부는 언급되어 있지 않다. 또한 감지 방법으로 패턴 인식과 모션 트래킹을 이용하나 그 원리에 있어서 구체적이지 않다.
한국등록특허공보 제10-1482658호(2015.01.08) 한국등록특허공보 제10-1016605호(2011.02.15) 한국등록특허공보 제10-2008293호(2019.08.01) 한국공개특허공보 제10-2018-0136770호(2018.12.26) 한국공개특허공보 제10-2016-0124483호(2016.10.28)
본 발명의 실시예는 가령 시각 장애인 등과 같이 이동에 어려움을 갖는 사회적 약자를 빠르게 식별하여 이동권을 보장해 줄 수 있는 사회약자 인식장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 사회약자 인식장치는, 복수의 촬영장치에서 촬영된 촬영영상을 수신하는 통신 인터페이스부, 및 상기 수신한 촬영영상에서 사회적 약자로 판단되는 지정 객체를 제1 딥러닝(DCNN)에 의해 분류하고, 상기 제1 딥러닝에 의해 분류한 지정 객체 중 사회적 약자의 판단이 불가능한 객체에 대하여 상기 제1 딥러닝과 분류 특성이 다른 제2 딥러닝(DCNN)에 의해 사회적 약자 여부를 최종적으로 판단하는 제어부를 포함한다.
상기 제어부는, 상기 제1 딥러닝을 위해 상기 지정 객체에 대한 지역화(localization) 및 분류가 이루어지는 1 단계(stage) 계열의 객체 검출기를 포함하는 제1 DCNN부, 및 상기 제2 딥러닝을 위해 상기 사회적 약자에 대한 속성(attribute)의 존재 유무를 독립적으로 파악하고 시그모이드(sigmoid) 출력값을 이용한 멀티라벨(multi-label) 분류를 수행하는 제2 DCNN부를 포함할 수 있다.
상기 제2 DCNN부는, 상기 사회적 약자의 판단이 불가능한 객체의 유사 객체를 동일 객체와 함께 학습하여 상기 사회적 약자를 최종적으로 판단할 수 있다.
상기 제2 DCNN부는, 상기 사회적 약자 여부를 최종적으로 판단하기 위해 상기 제1 딥러닝에 의해 분류된 사람 객체 중에서 상기 제2 딥러닝에 의해 지팡이의 특성을 판단해 시각 장애인을 판단할 수 있다.
상기 제어부는, 상기 수신한 촬영영상을 전처리하며, 상기 전처리를 위하여 영상의 성격 및 처리 속도를 고려한 영상의 크기 조정 및 영상 품질 개선을 위한 히스토그램 평활화를 수행하여 전처리할 수 있다.
상기 통신 인터페이스부는 상기 사회적 약자의 인식 결과를 수신하는 관제장치와 연동하며, 상기 인식 결과로서 사회적 약자 여부 결과 및 위치 정보를 전송할 수 있다.
상기 제어부는, 상기 제1 딥러닝을 수행하기 위한 1 단계 계열의 객체 검출기로서 SSD 계열 또는 YOLO 계열을 사용하며, 상기 제1 딥러닝을 위한 지정 객체의 스케일(scale) 및 각도에서 촬영된 영상을 학습할 수 있다.
또한, 본 발명의 실시예에 따른 사회약자 인식장치의 구동방법은, 복수의 촬영장치에서 촬영된 촬영영상을 통신 인터페이스부에서 수신하는 단계, 및 제어부가, 상기 수신한 촬영영상에서 사회적 약자로 판단되는 지정 객체를 제1 딥러닝(DCNN)에 의해 분류하고, 상기 제1 딥러닝에 의해 분류한 지정 객체 중 사회적 약자의 판단이 불가능한 객체에 대하여 상기 제1 딥러닝과 분류 특성이 다른 제2 딥러닝(DCNN)에 의해 사회적 약자 여부를 최종적으로 판단하는 단계를 포함한다.
상기 구동방법은, 상기 지정 객체에 대한 지역화 및 분류가 이루어지는 1 단계 계열의 객체 검출기를 포함하는 제1 DCNN부에서 상기 제1 딥러닝을 수행하는 단계, 및 상기 사회적 약자에 대한 속성의 존재 유무를 독립적으로 파악하고 시그모이드 출력값을 이용한 멀티라벨 분류를 수행하는 제2 DCNN부에서 상기 제2 딥러닝을 수행하는 단계를 포함할 수 있다.
상기 제2 딥러닝을 수행하는 단계는, 상기 사회적 약자의 판단이 불가능한 객체의 유사 객체를 동일 객체와 함께 학습하여 상기 사회적 약자를 최종적으로 판단할 수 있다.
상기 제2 딥러닝을 수행하는 단계는, 상기 사회적 약자 여부를 최종적으로 판단하기 위해 상기 제1 딥러닝에 의해 분류된 사람 객체 중에서 상기 제2 딥러닝에 의해 지팡이의 특성을 판단해 시각 장애인을 판단할 수 있다.
상기 구동방법은, 상기 수신한 촬영영상을 전처리하는 단계를 더 포함하며, 상기 전처리하는 단계는, 영상의 성격 및 처리 속도를 고려한 영상의 크기 조정 및 영상 품질 개선을 위한 히스토그램 평활화를 수행하여 전처리할 수 있다.
상기 구동방법은, 상기 사회적 약자의 인식 결과를 수신하는 관제장치와 연동하며, 상기 인식 결과로서 사회적 약자 여부 결과 및 위치 정보를 전송하는 단계를 더 포함할 수 있다.
상기 구동방법은, 1 단계 계열의 객체 검출기로서 SSD 계열 또는 YOLO(You Only Look Once) 계열을 사용하여 상기 제1 딥러닝을 수행하는 단계, 및 상기 제1 딥러닝을 위한 지정 객체의 스케일(scale) 및 각도에서 촬영된 영상을 학습하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면 지하철 및 철도 역사의 개찰구, 플랫폼, 대합실 등 주요 시설 또는 버스 내부, 공공 건물, 일반 매장, 전시장, 일반 거리 등 다양한 장소에 감시 카메라를 설치하고 장치를 탑재해 사회적 약자를 모니터링함으로써 그들의 이동권 보장에 기여할 수 있을 것이다.
또한, 사회적 약자 보조를 위해 다수의 카메라를 모니터링함으로써 오는 피로감과 대응 공백에 대한 문제를 DCNN 기반 객체 검출 및 인식 기술을 활용하고 화면에 표시함으로써 효율적인 모니터링을 수행하여 대응 공백을 최소화함과 동시에 사회적 약자 이동권을 증진시킬 수 있을 것이다. 예컨대, 경보가 발생한 감시 카메라만을 확인하여 다수의 감시 카메라를 효율적으로 모니터링하여 즉각적인 대응이 가능할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 DCNN 기반 사회약자 관제서비스시스템을 나타내는 도면,
도 2는 사회적 약자 검출 및 인식용 DCNN을 학습하기 위한 샘플 이미지들의 예시도,
도 3은 도 1의 관제장치에서 관제되는 화면의 예시도,
도 4는 도 1의 사회약자 인식장치의 세부 구조를 예시한 블록다이어그램,
도 5는 도 4의 사회약자 인식처리부의 세부 구조를 예시한 블록다이어그램,
도 6은 본 발명의 실시예에 따른 사회약자 인식장치의 구동과정의 흐름도, 그리고
도 7은 본 발명의 다른 실시예에 따른 사회약자 인식장치의 구동과정의 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 DCNN 기반 사회약자 관제서비스시스템을 나타내는 도면이고, 도 2는 사회적 약자 검출 및 인식용 DCNN을 학습하기 위한 샘플 이미지들의 예시도이며, 도 3은 도 1의 관제장치에서 관제되는 화면의 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 DCNN 기반 사회약자 관제서비스시스템(90)은 촬영장치(100), 통신망(110), 사회약자 인식장치(120) 및 관제장치(130)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 촬영장치(100)와 사회약자 인식장치(120) 등이 다이렉트 통신(예: P2P 통신)을 수행하거나, 사회약자 인식장치(120)나 관제장치(130)의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
촬영장치(100)는 지하철, 철도 역사의 개찰구나 플랫폼, 대합실 등 주요 시설 또는 버스 내부, 공공 건물, 일반 매장, 전시장, 일반 거리 등 다양한 장소에 설치되는 복수의 카메라를 포함하며, 가령 감시 카메라로서 일반 CCTV 카메라 등 여러 영상의 획득 장치를 포함할 수 있다. 예컨대, IP 카메라 등을 포함할 수 있다. 또한, 촬영장치(100)는 고정식 카메라뿐 아니라 PTZ(Pan-Tilt-Zoom) 카메라를 포함할 수 있다.
촬영장치(100)는 위에서와 같은 특정 감시 영역을 항시 촬영하여 촬영 영상을 실시간으로 사회적약자 인식장치(120)로 전송할 수 있다. 이의 과정에서 촬영장치(100)는 관제장치(130)의 제어 명령에 따라 제어되어 렌즈의 촬영 방향을 변경하거나 줌 동작에 의해 촬영하는 등의 동작을 수행할 수 있다. 유선 또는 무선 네트워크로 구성되는 도 1의 통신망(110)을 경유하여 사회약자 인식장치(120)로 촬영영상을 전송할 수 있다.
물론 촬영장치(100)는 도 1에서와 같이 통신망(110)을 경유하여 원격의 사회약자 인식장치(120)와 통신을 수행하는 것이 아니라, 각각의 촬영장치(100)에 결합되어 구성되거나, 또는 그룹 단위로 하여 그룹을 대표하는 촬영장치(100)에 구비되고, 그룹 내의 나머지 촬영장치(100)들은 대표 촬영장치(100)로 촬영영상을 제공하여 본 발명의 실시예에 따른 동작을 수행할 수도 있다. 이의 경우, 사회약자 인식장치(120)로 제공되어 분석되는 분석 데이터는 관제장치(130)로 바로 제공되어 관제가 이루어질 수 있다. 물론 촬영장치(100)는 촬영영상을 사회약자 인식장치(120)로 제공하지만, 관제장치(130)로도 제공하여 관제장치(130)는 사회약자 인식장치(120)의 인식 결과만 제공받을 수 있다.
위와 같이, 본 발명의 실시예에서는 시스템(90)을 어떻게 구성하느냐에 따라 다양한 방식으로 동작이 이루어질 수 있다. 다만, 시스템(90)을 구성함에 있어서 비용적인 측면을 고려하느냐 또는 서비스 품질을 고려하느냐에 따라 시스템(90)의 구성은 많은 차이를 보일 수 있으며, 따라서 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다.
통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서, 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 촬영장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 촬영장치(100) 등과 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 사회약자 인식장치(120)나 관제장치(130) 등으로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다. 본 발명의 실시예에 따라, 통신망(110)은 인트라넷과 같은 내부 전산망을 포함함으로써 이를 통해 사회약자 인식장치(120)는 관제장치(130)와 서로 연동할 수 있다.
또한, 본 발명의 실시예에 따른 사회약자 인식장치(120)는 촬영장치(100)에서 전송하는 촬영영상을 통신망(110)을 경유해 수신하여 영상 데이터를 학습하여 해당 영상에 등장하는 사회적 약자를 검출 또는 인식하여 그 결과를 관제장치(130)로 전송한다. 이를 위하여 사회약자 인식장치(120)는 촬영영상을 전처리하는 전처리 동작을 수행하고, 전처리된 영상으로부터 객체를 추출하며, 추출한 객체를 분류기, 가령 DCNN(Deep Convolutional Neural Network) 분류기를 통해 학습에 의해 원하는 객체를 정확히 분류해 낼 수 있다. 예를 들어, 분류기는 측정 객체와 관련한 도 2에서와 같은 다수의 샘플 이미지들을 보유하고 있고, 이와의 비교를 통해 지정 객체가 가령 사람 객체의 경우 사회 약자 객체인지 여부를 정확히 판단할 수 있다.
좀더 구체적으로, 사회약자 인식장치(120)는 사회적 약자 검출을 위한 DCNN(혹은 제1 딥러닝)과, 사회적 약자 인식을 위한 DCNN(혹은 제2 딥러닝)을 활용할 수 있다. 사회적 약자 검출 DCNN(혹은 제1 DCNN부)은 신속한 대응을 위해 객체가 있는 곳 즉 지역화(localization)와 분류(classification)가 동시에 이루어지는 빠른 검출 속도를 갖는 1-스테이지(stage) 계열의 객체 검출기(예: SSD계열, YOLO계열 등)가 활용된다. 해당 검출기는 도 2에서와 같은 샘플 데이터들에 의해 학습된다. 원활한 학습을 위해서는 다양한 스케일 및 각도에서 촬영된 영상이 고루 이용된다. 휠체어와 유모차는 사람이 탑승하기도 하고, 탑승하지 않기도 하므로 두 경우 모두를 준비하게 된다. 시각장애인의 경우 우선 사람으로 검출해 사회적 약자 인식용 DCNN(혹은 제2 DCNN부)에서 판단하게 하기 위해서는 흰 지팡이 영역 또한 포함하여 학습에 투입한다.
또한, 사회적 약자 인식용 DCNN은 사람에 대해 흰 지팡이 소지 여부 판단을 통해 시각장애인으로 판정하는 분류기로 소프트맥스(softmax) 출력값을 이용한 멀티클래스(multi-class) 분류 대신 시그모이드(sigmoid) 출력값을 이용한 멀티라벨(multi-label) 분류를 수행한다. 멀티클래스 분류를 이용할 경우 반드시 어느 한 클래스(class)로 분류되어야 하므로 흰 지팡이 미소지자 클래스를 별도로 마련해야 한다. 그러나 멀티라벨 분류는 속성(attribute)의 존재 유무를 독립적으로 파악하므로 해당 인물에 대해 흰 지팡이 소지 여부를 1(소지)/0(미소지)와 같은 방식으로 기록(annotation)할 수 있다. 같은 사람 카테고리에 있음에도 불구하고 다른 클래스로 학습해야 하는 멀티클래스 분류 모델에 비해 흰 지팡이가 나타내는 특성을 더 자세하게 학습할 수 있다. 또한 유사한 객체를 흰 지팡이로 오인하는 경우를 줄이기 위하여 투명하거나 흰 우산 소지 여부 및 일반 지팡이 소지 여부에 대한 데이터를 같이 수집하고 학습한다. 이를 통해 투명한 우산을 흰 지팡이로 오인하기보다 우산 소지로 판단함으로써 잘못 판단할 수 있는 여지를 경감시킨다. 이와 마찬가지로 시각장애인 판단에 방해가 될 것으로 여겨지는 다른 물체를 소지한 사람 역시 학습 대상에 포함 가능하다.
사회적 약자 인식용 DCNN에서의 시그모이드 함수에 대하여 좀더 살펴본다. 시그모이드 함수는 아래의 <수학식 1> 과 같이 표현될 수 있다. 시그모이드 함수는 계단함수와 다르게 출력값이 '연속적'이라는 것이 특징이며 S자 곡선 모양을 띤다.
Figure 112019120373055-pat00001
시그모이드 함수는 최소 출력은 0이고 최대 출력은 1을 넘지 않는다는 것이고, 가장 중요한 것은 비선형 함수라는 것이다. 비선형 함수란 선형이 아닌, 즉 직선 한 개로 표현할 수 없는 함수인 것이다. 신경망에서는 활성화 함수로 비선형 함수를 사용해야 한다. 왜냐하면 선형 함수는 신경망에서 층을 이루는 의미가 사라진다. 예를 들면, y = cx라는 선형 함수가 있을 때, 이중층을 이뤄 두번 통과한다고 생각하면, y = c*cx의 형태가 된다. 이는 그냥 단일층으로도 구현할 수 있는 함수이다. 시그모이드 함수는 오래전부터 사용된 활성화 함수이지만, 최근에는 ReLU(Rectified Linear Unit) 함수를 자주 사용하고 있다.
상기의 구성에 따라 도 1의 사회약자 인식장치(120)는 사람 객체를 먼저 판단한 후 판단한 사람 객체 중에서 사회적 약자 여부를 판단할 수 있다. 그런데, 휠체어를 탑승하는 신체 장애인 등과 같은 경우 사회적 약자 여부를 쉽게 판단할 수 있겠지만, 시각 장애인과 같은 경우에는 정상인과 신체적인 모습이 촬영영상 더 정확하게는 영상분석기에서는 구분할 수 없으므로, 사회적 약자인지 여부를 더 판단하게 된다. 이를 위하여 사회적 약자 인식을 위한 딥러닝이 더 이루어질 수 있다. 가령, 사회적 약자로 1차적으로 의심되는 객체에 대하여 객체의 주변 객체, 더 정확하게는 사람이나 사물 등을 더 판단하여 사회적 약자임을 인식하게 되는데, 대표적으로 지팡이가 이에 해당될 수 있다. 다만, 사회약자 인식장치(120)는 지팡이 여부를 명확히 판단하기 위하여 지팡이와 유사하게 판단되는 객체들에 대하여 학습을 수행하여 사회적 약자 여부를 최종적으로 판단하게 된다.
관제장치(130)는 적어도 1대 이상의 컴퓨터와 각각을 연결하는 (내부) 통신망, 모니터, 스피커 등의 장치를 포함하며, 연결된 모니터, TV 등의 디스플레이장치의 화면에 객체의 위치와 종류를 표시한다. 스피커로 소리를 발생시켜 알람을 줄 수 있다. 물론, 본 발명의 실시예에 따른 관제장치(130)는 관제요원이 구비하는 스마트폰 이외에 전용 단말을 더 포함할 수 있을 것이다.
관제장치(130)는 사회약자 인식장치(120)로부터 결과를 수신한다. 물론 사회적 약자로 판단될 때, 촬영장치(100)로부터 제공되는 사회적 약자의 모습을 계속해서 촬영하도록 제어하여 촬영영상을 수신할 수 있다. 가령, 도 3에서 볼 수 있는 바와 같이, 건물 내로 진행한 사람이 시각 장애인과 같은 사회적 약자로 판단될 때, 관제장치(130)는 해당 시각 장애인을 촬영하는 촬영장치(100)로부터 수신되는 촬영영상을 계속해서 관제 화면에 보여주게 된다. 물론 시스템 설계자나 관리자는 그렇게 동작하도록 설정함으로써 동작할 수 있을 것이다. 도 3은 관제장치(130)에 감시 카메라로부터 얻은 영상과 사회약자 인식장치(120)로부터 얻은 결과를 입력으로 받아 사람이 식별할 수 있는 형태로 가공하여 나타낸 것이다. 도 3에서는 등장한 사람을 검출하였고 그 사람의 위치를 바운딩 박스(bounding box) 형태로 나타내고 있으며, 흰 지팡이를 소지하고 있음을 별도의 텍스트를 통해 나타냄으로써 관리자는 즉각 시각장애인이 등장하였음을 확인할 수 있다.
물론 이외에도 본 발명의 실시예에 따른 관제장치(130)는 다양한 형태로 동작할 수 있으며, 가령 장애인이 지하철 플랫폼에서 하차를 하는 모습을 통해 사회적 약자인 것으로 판단되었다고 가정해 보자. 이의 경우, 사회적 약자의 이동 경로를 파악하거나 예측하여 계단에 설치되는 승강기를 미리 작동시켜 놓음으로써 사회적 약자들의 이동을 도울 수 있다. 다시 말해, 사회적 약자에게 미래에 발생할 수 있는 동작을 미리 예측하고 그에 대한 대응을 수행함으로써 이동권을 보장할 수 있게 될 것이다. 물론 예로서, 지하철의 계단에 설치되는 승강기로 예시하였지만, 그 이외에도 다양한 방법이 얼마든지 가능할 수 있을 것이다.
예를 들어, 좀더 정확한 이동 경로를 파악하기 위하여 사회적 약자들의 스마트폰에 설치되는 앱을 통해 이동 경로에 대한 정보를 수신하여 이를 통해 특정 장소에 도착시, 가령 지하철을 통해 목적지에서 하차시 해당 사회적 약자들을 감지하고, 이동 경로에 있는 장치들을 미리 동작시켜 놓음으로써 사회적 약자들의 보행권, 또는 이동권을 충분히 보장할 수 있게 될 것이다. 가령, 건물의 엘리베이터의 경우에도 충분히 적용 가능할 것이다. 시각장애인의 경우에도 앱을 음성으로 실행하고, 출력되는 음성을 듣고 음성인식을 통해 정보를 입력하는 동작이 얼마든지 가능하므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
도 4는 도 1의 사회약자 인식장치의 세부구조를 예시한 블록다이어그램이며, 도 5는 도 4의 사회약자 인식처리부의 세부구조를 예시한 블록다이어그램이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 사회약자 인식장치(120)는 통신 인터페이스부(400), 제어부(410) 및 사회약자 인식처리부(420) 및 저장부(430)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(430)와 같은 일부 구성요소가 생략되어 구성되거나 사회약자 인식처리부(420)와 같은 구성요소가 제어부(410)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(400)는 도 1의 통신망(110)을 경유하여 촬영장치(100) 및 관제장치(130)와 통신을 수행한다. 물론 통신을 수행하는 과정에서 변/복조, 인코딩/디코딩, 먹싱/디먹싱, 해상도 변환의 스케일링 등의 동작을 수행할 수 있다. 이는 당업자에게 자명하므로 더 이상의 설명은 생략하도록 한다.
통신 인터페이스부(400)는 촬영영상이 수신되면, 수신된 촬영영상을 제어부(410)에 전달하여 사회적 약자의 검출 및 인식이 이루어지도록 하고, 인식 결과를 제어부(410)의 제어하에 관제장치(130)로 전송할 수 있다.
제어부(410)는 도 1의 사회약자 인식장치(120)를 구성하는 도 4의 통신 인터페이스부(400), 사회약자 인식처리부(420) 및 저장부(430)의 전반적인 제어 동작을 담당한다. 통신 인터페이스부(400)에서 촬영장치(100)의 촬영영상이 수신되면 이를 저장부(430)에 임시 저장한 후 불러내어 사회약자 인식처리부(420)에 제공할 수 있다. 또한, 제어부(410)는 관제장치(130)로부터 이벤트 설정, 가령 사회적 약자로 판단될 때, 인식 결과를 제공하라는 정보를 설정하는 동작을 수행할 수 있다. 또한, 설정된 정보가 변경되거나 삭제되거나 할 경우 이에 대한 동작을 수행할 수도 있다. 예를 들어, 해당 정보들은 저장부(430)에 저장한 후 이용할 수 있지만, 사회약자 인식처리부(420)의 내부 프로그램에 해당 정보를 저장할 수도 있을 것이다. 가령, 레지스트리 등에 해당 정보를 저장할 수 있다.
사회약자 인식처리부(420)는 본 발명의 실시예에 따른 다양한 동작을 수행할 수 있다. 가령 영상처리 동작으로서 배경 영상을 제거하기 위한 전처리 동작을 수행할 수 있다. 사회약자 인식처리부(420)는 예컨대 입력받은 영상에 대해 전처리 과정 수행을 통해 감시 카메라로부터의 영상을 입력받아 영상의 성격 및 처리 속도를 고려한 영상 크기 조정 및 영상 품질 개선을 위한 히스토그램 평활화 등 다양한 전처리 과정을 수행한다. 이외에도 영상 품질 개선을 위해서 다른 전처리 기법이 이용될 수 있음은 당연하다.
이를 통해 사회약자 인식처리부(420)는 수신된 촬영영상에서 객체들만 추출할 수 있다. 또한, 사회약자 인식처리부(420)는 추출한 객체가 어떠한 유형의 객체에 해당되는지 딥러닝 동작을 수행하는 DCNN 분류기에 해당 객체의 이미지를 제공하여 객체의 유형을 분류할 수 있고, 가령 사람의 객체를 분류할 수 있다. 또한, 사회약자 인식처리부(420)는 사람 객체로 분류되는 경우, 사회적 약자인지 여부를 더 판단할 수 있다. 물론 객체의 유형을 판단할 때, 바로 사회적 약자인지 여부를 바로 판단할 수도 있다. 가령, 휠체어에 탑승하고 있거나 유모차를 소지하고 있거나 유모차 내에 아이가 있거나 하는지 등을 판단하여 사회적 약자를 판단할 수 있다.
뿐만 아니라, 사회약자 인식처리부(420)는 위의 사회적 약자 분류에 해당하지 않는 사람 객체에 대하여 다시 사회적 약자 인식을 위한 동작을 추가로 수행할 수 있다. 예를 들어, 사람 객체에 대하여 지팡이를 소지하고 있는 경우, 소지하는 사물이 지팡이인지 우산인지 등을 명확히 판단하기 위하여 우산 등에 대한 학습을 수행하여 시각 장애인 여부 등을 더 판단할 수 있다. 예를 들어, 사회약자 인식처리부(420)는 다양한 샘플 이미지들을 통해 학습을 수행하는 경우 그만큼 사회적 약자를 분류하는 정확도는 증가될 것이다.
상기의 동작을 수행하기 위하여 사회약자 인식처리부(420)는 사회 약자 검출을 위한 제1 DCNN(부)와 사회 약자 인식을 위한 제2 DCNN(부)을 포함할 수 있다. 제1 DCNN은 빠른 검출 속도를 갖는 SSD 계열, YOLO 계열의 1-stage 계열의 객체 검출기가 활용될 수 있으며, 제2 DCNN은 시그모이드 출력값을 이용한 멀티라벨 분류를 수행할 수 있다. 이의 구성을 통해 사회적 약자 인식의 처리 속도 및 정확도 등을 더 높일 수 있을 것이다.
좀더 구체적으로, 도 4의 사회약자 인식처리부(420)는 도 5에서와 같은 사회약자 인식처리부(420')의 세부 구조를 가질 수 있다. 크게는 영상 처리부(500)와 딥러닝 수행부(510)로 분류해 볼 수 있다. 영상 처리부(500)의 영상 데이터 획득부(501)는 영상 수신부로서 도 4에서 볼 때, 제어부(410)로부터 촬영장치(100)의 촬영영상을 수신한다. 그리고, 전처리부(503)를 통해 영상 전처리 동작을 수행할 수 있다. 가령, 필터를 적용하여 배경 영상과 객체 영상을 분리한 후 객체 영상을 통해 객체를 추출한다. 추출된 객체는 딥러닝 수행부(510)로 제공된다. 먼저, 검출용 DCNN(511)을 통해 사람 객체 여부가 판단될 수 있다. 이 단계에서 장애인이나 특정 부류의 사회적 약자들은 분류될 수 있다. 다만, 시각 장애인과 같은 경우에는 사회적 약자 여부를 판단하기 위하여 인식용 DCNN(513)을 더 이용할 수 있다. 인식용 DCNN(513)은 인식의 정확도를 높이기 위하여 시그모이드 출력값을 이용한 멀티라벨 분류를 수행한다. 비선형 함수를 이용하는 것이다. 이를 통해 사회약자 인식처리부(420)는 모든 영역에 포함되는 사회적 약자를 정확히 판단할 수 있다.
물론 상기한 내용 이외에도 도 4의 사회약자 인식처리부(420)는 다양한 구성이 가능할 것으로 판단되므로, 본 발명의 실시예에서는 위의 구성에 형태에 특별히 한정하지는 않을 것이다.
또한, 도 4의 저장부(430)는 제어부(410)의 제어하에 처리되는 다양한 정보 및/또는 데이터를 저장한 후 출력할 수 있다. 대표적으로, 저장부(430)는 관제장치(130)에서 사회적 약자에 대한 결과를 제공해 달라는 설정이 있는 경우, 이에 대한 정보를 저장부(430)에 저장한 후 사회약자 인식처리부(420)에 제공하도록 할 수 있을 것이다.
한편, 도 4의 제어부(410)의 CPU와 메모리를 포함할 수 있다. CPU와 메모리는 원칩화하여 형성될 수도 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부, 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트정보의 연산을, 명령어해석부는 고급언어를 기계어로 또 기계어를 고급언어로 해석하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성 결과 사회약자 인식장치(120)의 초기 구동시 또는 필요시에 사회약자 인식처리부(420)에 저장된 프로그램 또는 알고리즘을 메모리에 저장한 후 이를 실행시킴으로써 연산 처리 속도를 빠르게 증가시킬 수 있을 것이다.
도 6은 도 1의 사회약자 인식장치의 구동 과정의 흐름도이다.
설명의 편의상 도 6을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 도 1의 사회약자 인식장치(120)는 복수의 촬영장치(100)에서 제공하는 촬영영상을 수신한다(S600). 물론 촬영영상은 직간접적으로 제공되는 다양한 영상을 포함할 수도 있다. 또한, 촬영영상을 수신하는 과정에서 영상 압축 및 디코딩 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 더 이상의 설명은 생략한다.
또한, 사회약자 인식장치(120)는 수신한 촬영영상에서 사회적 약자로 판단되는 지정 객체를 제1 딥러닝에 의해 분류하고, 제1 딥러닝에 의해 분류한 지정 객체 중 사회적 약자의 판단이 불가능한 객체에 대하여 제2 딥러닝과 분류 특성이 다른 제2 딥러닝에 의해 사회적 약자 여부를 최종적으로 판단한다(S610).
예를 들어, 촬영영상에서 지정 객체(예: 사람)를 추출하고, 추출한 지정 객체에서 이동이 불편한 사회적 약자와 관련한 객체를 판단하여 사회적 약자로 판단되는 결과를 관제를 위해 제공한다. 물론 사람 객체를 추출하면서 주변 사물 객체를 함께 판단하여 사회적 약자 여부를 판단하는 것이 더욱 바람직할 수 있다. 또한, 사회적 약자 여부가 명확하지 않을 때, 다시 해당 객체와 관련한 딥러닝을 더 수행하여 최종적으로 시각 장애인 등의 사회적 약자를 판단하게 된다.
가령, 관제장치(130)는 판단 결과를 근거로 해당 사회적 약자의 촬영이 이루어진 촬영영상(100)으로부터 촬영영상을 제공받아 사회적 약자의 이동시의 관제를 수행할 수 있다. 예를 들어 판단 결과를 관제장치(130)로 제공할 때, 관제장치(130)는 이미 복수의 촬영장치(100)로부터 동시에 촬영영상을 수신할 수 있으며, 따라서 촬영장치(100)의 식별정보나 시간정보를 근거로 판단 결과에 대한 사회적 약자의 촬영장치(100)를 알 수 있게 된다. 예를 들어, 해당 촬영장치(100)의 촬영영상을 화면에 활성화하여 표시해 주는 것이다.
사회약자 인식장치(120)와 관제장치(130)가 연동하여 동작하는 방식은 다양하므로 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않는다.
또한, 상기한 내용 이외에도 본 발명의 실시예에 따른 사회약자 인식장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
도 7은 도 1의 사회약자 인식장치의 다른 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 7을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 사회약자 인식장치(120)는 영상 데이터 입력 과정을 통해 촬영장치(100)로부터 실시간으로 영상을 입력받고 전처리 과정을 수행한다(S700, S701).
또한, 사회약자 인식장치(120)는 전처리가 끝난 영상에 대해 사회적 약자 검출 동작을 수행한다(S703). 이 단계에서는 DCNN 기반 객체 검출 기술을 이용하여 휠체어, 유모차와, 그리고 이후 시각장애인 판단을 위한 사람 검출을 수행한다. 사회적 약자 검출용 DCNN을 이용한 결과 검출된 객체가 없는 경우 바로 검출 및 인식 기록 결과를 관제장치(130)로 전송하며(S715), 검출된 객체가 있는 경우 그 객체의 정보를 하나씩 순차적으로 획득한다(S707). 물론 사회약자 인식장치(120)는 검출된 객체가 없는 경우에는 관제장치(130)로 기록 결과를 전송하지 않아도 무관하다.
사회약자 인식장치(120)는 객체 정보에 대해 사람 여부를 판별하고 사람이 아닌 것으로 판단된 경우 바로 객체 위치 및 종류를 기억 장치에 기록하고, 처리할 객체가 남아있다면 객체 정보 획득(S707)부터 이 과정을 반복하며 남아 있지 않은 경우 다음 영상 프레임을 가져온다(S709 ~ S713). 여기서 기억 장치는 RAM, HDD, SSD 등이 될 수 있다.
만약 사람 여부 판별에서 사람으로 판단된 경우 해당 사람의 이미지를 별도로 획득한다. 획득한 사람 이미지에 대해 DCNN 기반 분류 기술 기반의 사회적 약자 인식용 DCNN을 이용하며 이 단계에서는 해당 사람의 시각장애인 여부를 판별한다(S717 ~ S721)
DCNN 기반 분류 기술을 통해 시각장애인으로 판단된 경우 객체 위치 및 판단 결과를 기억 장치에 기록하고 처리 객체가 남았는지 판단하며 그렇지 않은 경우 기록 단계를 건너뛴다(S723). 이후 처리할 객체가 남아있는지 판단하고 남아 있다면 다음 객체 정보를 획득하고 그렇지 않은 경우 새로운 영상데이터를 입력받는다(S713).
상기한 내용 이외에도 본 발명의 실시예에 따른 사회약자 인식장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 촬영장치 110: 통신망
120: 사회약자 인식장치 130: 관제장치
400: 통신 인터페이스부 410: 제어부
420: 사회약자 인식처리부 430: 저장부
500: 영상 처리부 501: 영상데이터 획득부
503: 전처리부 510: 딥러닝 수행부
511: 검출용 DCNN 513: 인식용 DCNN

Claims (14)

  1. 복수의 촬영장치에서 촬영된 촬영영상을 수신하는 통신 인터페이스부; 및
    상기 수신한 촬영영상에서 사회적 약자로 판단되는 지정 객체를 제1 딥러닝(DCNN)에 의해 분류하고, 상기 제1 딥러닝에 의해 분류한 지정 객체 중 사회적 약자의 판단이 불가능한 객체에 대하여 상기 제1 딥러닝과 분류 특성이 다른 제2 딥러닝(DCNN)에 의해 사회적 약자 여부를 최종적으로 판단하는 제어부;를 포함하며,
    상기 제어부는,
    상기 제1 딥러닝을 위해 상기 지정 객체에 대한 지역화(localization) 및 분류가 이루어지는 1 단계(stage) 계열의 객체 검출기를 포함하는 제1 DCNN부; 및
    상기 제2 딥러닝을 위해 상기 사회적 약자에 대한 속성(attribute)의 존재 유무를 독립적으로 파악하고 시그모이드(sigmoid) 출력값을 이용한 멀티라벨(multi-label) 분류를 수행하는 제2 DCNN부;를 포함하고,
    상기 제2 DCNN부는, 상기 사회적 약자의 판단이 불가능한 객체의 유사 객체를 동일 객체와 함께 학습하여 상기 사회적 약자를 최종적으로 판단하며,
    상기 제어부는,
    상기 제1 딥러닝을 수행하기 위한 상기 1 단계 계열의 객체 검출기로서 SSD 계열 또는 YOLO 계열을 사용하며, 상기 제1 딥러닝을 위한 지정 객체의 스케일(scale) 및 각도에서 촬영된 영상을 학습하는 사회약자 인식장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제2 DCNN부는, 상기 사회적 약자 여부를 최종적으로 판단하기 위해 상기 제1 딥러닝에 의해 분류된 사람 객체 중에서 상기 제2 딥러닝에 의해 지팡이의 특성을 판단해 시각 장애인을 판단하는 사회약자 인식장치.
  5. 제1항에 있어서,
    상기 제어부는, 상기 수신한 촬영영상을 전처리하며, 상기 전처리를 위하여 영상의 성격 및 처리 속도를 고려한 영상의 크기 조정 및 영상 품질 개선을 위한 히스토그램 평활화를 수행하여 전처리하는 사회약자 인식장치.
  6. 제1항에 있어서,
    상기 통신 인터페이스부는 상기 사회적 약자의 인식 결과를 수신하는 관제장치와 연동하며, 상기 인식 결과로서 사회적 약자 여부 결과 및 위치 정보를 전송하는 사회약자 인식장치.
  7. 삭제
  8. 복수의 촬영장치에서 촬영된 촬영영상을 통신 인터페이스부에서 수신하는 단계; 및
    제어부가, 상기 수신한 촬영영상에서 사회적 약자로 판단되는 지정 객체를 제1 딥러닝(DCNN)에 의해 분류하고, 상기 제1 딥러닝에 의해 분류한 지정 객체 중 사회적 약자의 판단이 불가능한 객체에 대하여 상기 제1 딥러닝과 분류 특성이 다른 제2 딥러닝(DCNN)에 의해 사회적 약자 여부를 최종적으로 판단하는 단계;를 포함하며,
    상기 판단하는 단계는,
    상기 지정 객체에 대한 지역화 및 분류가 이루어지는 1 단계 계열의 객체 검출기를 포함하는 제1 DCNN부에서 상기 제1 딥러닝을 수행하는 단계; 및
    상기 사회적 약자에 대한 속성의 존재 유무를 독립적으로 파악하고 시그모이드 출력값을 이용한 멀티라벨 분류를 수행하는 제2 DCNN부에서 상기 제2 딥러닝을 수행하는 단계;를 포함하고,
    상기 제2 딥러닝을 수행하는 단계는,
    상기 사회적 약자의 판단이 불가능한 객체의 유사 객체를 동일 객체와 함께 학습하여 상기 사회적 약자를 최종적으로 판단하며,
    상기 판단하는 단계는,
    상기 1 단계 계열의 객체 검출기로서 SSD 계열 또는 YOLO 계열을 사용하여 상기 제1 딥러닝을 수행하는 단계; 및
    상기 제1 딥러닝을 위한 지정 객체의 스케일(scale) 및 각도에서 촬영된 영상을 학습하는 단계;를 더 포함하는 사회약자 인식장치의 구동방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 제2 딥러닝을 수행하는 단계는,
    상기 사회적 약자 여부를 최종적으로 판단하기 위해 상기 제1 딥러닝에 의해 분류된 사람 객체 중에서 상기 제2 딥러닝에 의해 지팡이의 특성을 판단해 시각 장애인을 판단하는 사회약자 인식장치의 구동방법.
  12. 제8항에 있어서,
    상기 수신한 촬영영상을 전처리하는 단계;를 더 포함하며,
    상기 전처리하는 단계는,
    영상의 성격 및 처리 속도를 고려한 영상의 크기 조정 및 영상 품질 개선을 위한 히스토그램 평활화를 수행하여 전처리하는 사회약자 인식장치의 구동방법.
  13. 제8항에 있어서,
    상기 사회적 약자의 인식 결과를 수신하는 관제장치와 연동하며, 상기 인식 결과로서 사회적 약자 여부 결과 및 위치 정보를 전송하는 단계;를 더 포함하는 사회약자 인식장치의 구동방법.
  14. 삭제
KR1020190151235A 2019-11-22 2019-11-22 사회약자 인식장치 및 그 장치의 구동방법 KR102116396B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190151235A KR102116396B1 (ko) 2019-11-22 2019-11-22 사회약자 인식장치 및 그 장치의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190151235A KR102116396B1 (ko) 2019-11-22 2019-11-22 사회약자 인식장치 및 그 장치의 구동방법

Publications (1)

Publication Number Publication Date
KR102116396B1 true KR102116396B1 (ko) 2020-05-28

Family

ID=70920157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190151235A KR102116396B1 (ko) 2019-11-22 2019-11-22 사회약자 인식장치 및 그 장치의 구동방법

Country Status (1)

Country Link
KR (1) KR102116396B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264266B1 (ko) * 2021-03-12 2021-06-14 김상덕 단속 대상 전반을 단속처리하기 위한 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템
KR20220116984A (ko) 2021-02-16 2022-08-23 연세대학교 산학협력단 공정한 영상 분류를 위한 학습 방법 및 영상을 공정하게 분류하는 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101016605B1 (ko) 2008-08-29 2011-02-22 서울대학교산학협력단 휴대용 단말기를 이용한 노약자 관리 시스템 및 방법
KR101482658B1 (ko) 2014-05-07 2015-01-15 주식회사 이도링크 사회적 약자를 위한 스마트 위치 관리시스템
KR20160124483A (ko) 2015-04-20 2016-10-28 엘지전자 주식회사 노약자 관리 시스템, 그 제어 방법 및 이를 제어하는 관리 서버
KR20180136770A (ko) 2017-06-15 2018-12-26 금오공과대학교 산학협력단 노약자 원격 관리 및 모니터링 시스템
KR20190056792A (ko) * 2017-11-17 2019-05-27 한국생산기술연구원 딥러닝 기반 얼굴 검출 및 감정 인식 시스템 및 방법
KR102008293B1 (ko) 2017-03-21 2019-08-07 주식회사 셀젠텍 노약자 관리 디바이스 및 노약자 관리 시스템
KR20190108218A (ko) * 2018-03-13 2019-09-24 동국대학교 산학협력단 디지털 영상 이미지를 이용한 위급상황 분석장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101016605B1 (ko) 2008-08-29 2011-02-22 서울대학교산학협력단 휴대용 단말기를 이용한 노약자 관리 시스템 및 방법
KR101482658B1 (ko) 2014-05-07 2015-01-15 주식회사 이도링크 사회적 약자를 위한 스마트 위치 관리시스템
KR20160124483A (ko) 2015-04-20 2016-10-28 엘지전자 주식회사 노약자 관리 시스템, 그 제어 방법 및 이를 제어하는 관리 서버
KR102008293B1 (ko) 2017-03-21 2019-08-07 주식회사 셀젠텍 노약자 관리 디바이스 및 노약자 관리 시스템
KR20180136770A (ko) 2017-06-15 2018-12-26 금오공과대학교 산학협력단 노약자 원격 관리 및 모니터링 시스템
KR20190056792A (ko) * 2017-11-17 2019-05-27 한국생산기술연구원 딥러닝 기반 얼굴 검출 및 감정 인식 시스템 및 방법
KR20190108218A (ko) * 2018-03-13 2019-09-24 동국대학교 산학협력단 디지털 영상 이미지를 이용한 위급상황 분석장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220116984A (ko) 2021-02-16 2022-08-23 연세대학교 산학협력단 공정한 영상 분류를 위한 학습 방법 및 영상을 공정하게 분류하는 장치
KR102264266B1 (ko) * 2021-03-12 2021-06-14 김상덕 단속 대상 전반을 단속처리하기 위한 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템

Similar Documents

Publication Publication Date Title
US10489660B2 (en) Video processing with object identification
WO2020078229A1 (zh) 目标对象的识别方法和装置、存储介质、电子装置
WO2019128304A1 (zh) 人体跌倒检测方法和装置
KR101387628B1 (ko) 출입 통제 통합 영상 저장 장치
US20220406065A1 (en) Tracking system capable of tracking a movement path of an object
EP3343443A1 (en) Object detection for video camera self-calibration
JP5072655B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
KR102116396B1 (ko) 사회약자 인식장치 및 그 장치의 구동방법
JP6587268B1 (ja) プラットホーム危険度判別プログラム及びシステム
KR20190079047A (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
KR102391853B1 (ko) 영상 정보 처리 시스템 및 방법
CN108513110A (zh) 人脸识别监控摄像头
JP6583947B1 (ja) 踏切危険度判別プログラム及びシステム
KR20210039050A (ko) 지역내 이벤트감지장치 및 그 장치의 구동방법
JP6621092B1 (ja) 危険度判別プログラム及びシステム
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
KR102336480B1 (ko) 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
CN111832450B (zh) 基于图像识别的持刀检测方法
Patel et al. Enhancing Traffic Management with YOLOv5-Based Ambulance Tracking System
JP6739115B1 (ja) 危険度判別プログラム及びシステム
KR102293570B1 (ko) 객체의 gps 좌표정보를 이용한 검색 서비스를 제공하는 영상분석장치 및 그 장치의 구동방법
JP7062753B2 (ja) 監視システム及び監視方法
JP7309189B2 (ja) 危険度判別プログラム及びシステム
KR102588080B1 (ko) Cctv영상분석방법 및 시스템
CN111062337B (zh) 人流方向检测方法及装置、存储介质和电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant