KR20170059344A - 이미지 센서를 이용한 위험 감지 장치 - Google Patents

이미지 센서를 이용한 위험 감지 장치 Download PDF

Info

Publication number
KR20170059344A
KR20170059344A KR1020150163616A KR20150163616A KR20170059344A KR 20170059344 A KR20170059344 A KR 20170059344A KR 1020150163616 A KR1020150163616 A KR 1020150163616A KR 20150163616 A KR20150163616 A KR 20150163616A KR 20170059344 A KR20170059344 A KR 20170059344A
Authority
KR
South Korea
Prior art keywords
image
risk
interest
dangerous
user
Prior art date
Application number
KR1020150163616A
Other languages
English (en)
Other versions
KR101751032B1 (ko
Inventor
윤정순
Original Assignee
유한회사 청텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유한회사 청텍 filed Critical 유한회사 청텍
Priority to KR1020150163616A priority Critical patent/KR101751032B1/ko
Publication of KR20170059344A publication Critical patent/KR20170059344A/ko
Application granted granted Critical
Publication of KR101751032B1 publication Critical patent/KR101751032B1/ko

Links

Images

Classifications

    • G06K9/32—
    • G06K9/3233—
    • G06K9/64—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information

Abstract

본 발명은 보행자의 주변 영상을 촬영한 이미지로부터 위험 요소를 추출한 후, 휴대용 단말기로 전송하여 보행자에게 위험을 알리는 것에 의해 위험을 회피할 수 있도록 하는 이미지 센서를 이용한 위험 감지 장치에 관한 것으로,
상기 이미지 센서를 이용한 위험 감지 장치는, 사용자의 주위를 촬영하는 하나 이상의 이미지센서부; 상기 이미센서부에서 촬영된 영상이미지 내에서 객체들을 추출하는 영상처리부; 상기 객체들의 위험을 판단하여 위험 상황으로 판단된 경우 휴대용 단말기로 위험 상황에 대한 경고 신호를 송출하는 위험처리부; 및 상기 휴대용 단말기와 통신을 수행하는 통신부;를 포함하여 구성되어,
사용자의 주변 환경에서 사용자에게 발생할 수 있는 위험을 인식하여 회피할 수 있도록 함으로써, 사용자의 안전성을 현저히 향상시키는 효과를 제공한다.

Description

이미지 센서를 이용한 위험 감지 장치{USER ENVIRONMENT DANGERS DETECTION APPARATUS USING IMAGE SENSOR}
본 발명은 스마트 단말기 등의 휴대용 단말기로 음악, 영상, 동영상 등을 보는 사용자의 안전을 보장하기 위한 것으로서, 더욱 상세하게는, 보행자의 주변 영상을 촬영한 이미지로부터 위험 요소를 추출한 후, 휴대용 단말기로 전송하여 보행자에게 위험을 알리는 것에 의해 위험을 회피할 수 있도록 하는 이미지 센서를 이용한 위험 감지 장치에 관한 것이다.
영상 카메라 장치를 이용하여 위험을 인식하고 대처하는 다수의 기술들이 개시된다. 일예로, 대한민국 공개특허 제10-2011-0026753호는 특정 레벨 이상의 음향이 발생된 지역을 자동으로 촬영하도록 하는 영상 감시 시스템 및 그의 동작 방법을 개시한다. 또한, 대한민국 공개특허 제10-2014-0110484호는 영상으로부터 객체의 위험행동을 검출하는 것에 의해 노약자 등의 낙상 사고 발생 여부를 확인하여 통보할 수 있도록 하는 영상정보를 이용한 위험 행동 검지 방법을 개시한다.
그러나 상술한 종래기술들의 경우 사용자를 포함하는 환경을 촬영하여 위험을 감지하여 위험에 대처할 수 있도록 하는 기능은 제공하고 있으나, 사용자 입장에서 주변 환경에서 발생하는 위험을 감지하여 대처할 수 있도록 하는 기능은 제공하지 못하는 문제점을 가진다.
또한, 대한민국 공개특허 제10-2015-0110299호는 '웨어러블 디바이스 및 그 동작 방법'을 개시하고 있으나, 상기 선행기술은 보행자의 위험과 무관하게 단지 웨어러블 디바이스의 착용 기능에 초점을 맞추고 있을 뿐, 착용자의 안정성을 보장하는 기능은 제공하지 못하고 있다.
즉, 스마트 단말기 등의 휴대용 단말기를 이용하여 음악, 영상, 동영상 등을 보면서 걷는 보행자는 주변에서 출현하는 사람이나 자동차 등의 위험에 노출되고, 갑작스럽게 발생하는 위험 상황을 인지하지 못하게 되어 위험 상황에 대처할 수 있는 기회를 놓침으로써 큰 사고를 당할 위험이 커지게 된다.
이러한 이유로 보행 중 휴대용 단말기를 사용하는 보행자가 위험에 대처할 수 있도록 하는 기술이 요구된다.
대한민국 공개특허 제10-2011-0026753호 대한민국 공개특허 제10-2014-0110484호
따라서 본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로, 휴대용 단말기의 사용 중 발생하는 위험을 감지하여 이를 사용자가 인식할 수 있도록 하는 것에 의해 사용자가 능동적으로 위험 상황을 회피할 수 있도록 하는 이미지 센서를 이용한 위험 감지 장치 및 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 이미지 센서를 이용한 위험 감지 장치는,
사용자의 주위를 촬영하는 하나 이상의 이미지센서부;
상기 이미센서부에서 촬영된 영상이미지 내에서 객체들을 추출하는 영상처리부;
상기 객체들의 위험을 판단하여 위험 상황으로 판단된 경우 휴대용 단말기로 위험 상황에 대한 경고 신호를 송출하는 위험처리부; 및
상기 휴대용 단말기와 통신을 수행하는 통신부;를 포함하여,
사용자가 착용하거나 2륜 또는 엔진 차량에 부착 가능하게 구성되는 것을 특징으로 한다.
상기 영상처리부는,
연속적인 상기 영상 이미지의 프레임의 차이를 이용하여 상기 객체를 검출하고, 검출된 객체를 포함하는 영역에서의 객체 간 경계를 선명히 하는 이미지처리를 수행하여 관심영역(Region Of Interest)으로 설정하도록 구성될 수 있다.
상기 위험처리부는,
수신되는 프레임별로 관심영역의 존재를 검출한 후, 관심 영역이 존재하는 경우 상기 프레임별 관심영역을 비교하여 상기 영상처리부에서 설정된 관심 영역 내의 객체의 속도 또는 크기 중 하나 이상이 일정 값 이상인 경우 해당 객체를 위험객체로 검출하여 위험으로 판단하도록 구성될 수도 있다.
상기 위험처리부는,
상기 관심 영역 내의 객체에 대하여 인접 객체에 비하여 확장 비율이 기설정된 값 이상인 경우 위험 속도인 것으로 판단하도록 구성될 수 있다.
상기 위험처리부는,
상기 관심 영역 내의 객체를 이루는 픽셀들의 화소 사이에서의 이동 변화 값이 기 설정된 값 이상인 경우 위험 속도인 것으로 판단하도록 구성될 수 있다.
상기 위험처리부는,
상기 관심 영역 내의 객체가 영상 이미지의 기 설정 해상도를 기준으로 기 설정된 값을 가지는 세로 또는 가로 화소수보다 큰 세로 또는 가로 화소수를 가지는 것을 위험 크기를 가지는 객체크기로 검출하도록 구성될 수 있다.
상기 이미지 센서를 이용한 위험 감지 장치는,
상기 위험 객체들로 지정된 객체들의 형상 정보를 저장하는 위험형상DB를 더 포함하고,
상기 위험처리부는, 상기 관심 영역 내의 객체의 형상을 기 설정된 위험 형상과 대비하여 위험 객체로 판단하도록 구성될 수도 있다.
상기 경고 신호는 상기 촬영된 영상정보와, 경고를 알리는 경고음, LED 점멸, 화면 점멸 또는 경고 메시지 중 하나 이상을 포함할 수 있다.
상기 위험감지장치는,
상기 사용자 단말기에 설치되어 상기 영상이미지와 경고신호를 출력하는 위험감지앱;을 더 포함하여 구성될 수 있다.
상기 이미지센서부는 거리를 식별하는 깊이정보를 가지는 3차원 카메라일 수 있다.
상기 이미지센서부는 설정된 해상도에 따라 사용자의 크기를 대비하는 마커를 더 포함하여 구성될 수 있다.
상술한 구성을 가지는 본 발명의 이미지 센서를 이용한 위험 감지 방법은, 사용자의 주변 상황을 촬영한 영상 미지내에서 위험 객체를 검출하여 사용자의 휴대용 단말기로 표시하고 경고를 수행하는 것에 의해 사용자의 보행 안전을 현저히 향상시키는 효과를 제공한다.
도 1은 본 발명의 실시예에 따르는 웨어러블 이미지센서를 이용한 위험 감지 장치의 기능 블록 구성도.
도 2는 본 발명의 실시예에 따르는 웨어러블 이미지센서를 이용한 위험 감지 방법의 처리과정을 나타내는 순서도.
도 3은 도 2의 영상처리과정(S20)의 상세 처리과정을 나타내는 서브루틴도.
도 4는 도 2의 위험객체검출과정(S30)의 상세 처리과정을 나타내는 서브루틴도.
도 5는 웨어러블 이미지 감지 장치(100)가 장착되는 착용장치들의 예를 나타내는 도면.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예에서는 카메라를 사람이 착용하는 웨어러블 타입인 것을 예로 하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따르는 웨어러블 이미지센서를 이용한 위험 감지 장치(1)의 기능 블록 구성도이다.
도 1에 도시된 바와 같이, 상기 위험 감지 장치(100)는 이미지 센서부(110), 영상처리부(120), 위험처리부(130), 위험형상DB(140) 및 통신부(150)를 포함하여, 이어폰, 헤드폰, 신발, 장갑, 휴대용 단말기와 연동되는 시계형 통신기기, 헤드벤드, 헤드랜턴, 암밴드, 웨어러블 이미지 감지 장치(100)가 장착된 옷이나 벨트 또는 가방 등의 의류와 의류 악세사리 등의 웨어러블 장치로 구성되는 웨어러블 이미지 감지 장치(100)를 포함하여 구성된다. 또한, 필요한 경우, 웨어러블 이미지 감지 장치(100)에서 전송되는 영상 이미지와 위험 경고 신호를 출력하는 코드로 구성되어, 스마트 폰, PDA 등의 근거리 통신 또는 공중 통신망을 통한 통신 기능을 구비한 휴대용 단말기(2)에 설치되는 위험감지앱(200)을 더 포함하여 구성될 수 있다.
상술한 웨어러블 이미지 감지 장치(100)를 구성하는 상기 이미지센서부(110)는 이어셋, 헤드폰, 헤드랜턴, 헤드밴드, 모자 등에 설치될 수 있는 소형 카메라로 구성되어, 사용자의 주면 환경을 촬영하도록 구성된다. 이 경우, 주변 환경의 크기 및 깊이에 의한 거리 값의 구현을 위해 이미지 센서부(110)를 구성하는 소형 카메라는 하나 이상의 3D 카메라로 구성되거나 2 개 이상의 카메라로 구성될 수 있다.
상기 영상처리부(120)는 상기 이미지 센서부(110)에서 촬영된 영상이미지 내에서 객체를 추출하여 해당 객체를 포함하는 영역을 관심영역으로 설정한다. 구체적으로, 상기 영상처리부(120)는 상기 영상이미지 내에 포함되는 연속적인 프레임의 차이를 이용하여 객체를 검출하고, 검출된 객체를 포함하는 영역에서의 객체 간 경계를 선명히 하는 이미지처리를 수행하여 관심영역(Region Of Interest)으로 설정하도록 구성된다. 이를 위해 상기 영상처리부(120)는 영상 프레임들의 비교에 의해 차이 부분을 객체로 검출하고, 가우시안 필터(Gaussian filter), 경계 추출을 위한 경계 증강(또는 향상)(Boundary enhancement), 침식연산, 팽창 연산 등을 수행하여 이미지의 경계를 명확히 한다.
상기 위험처리부(130)는 입력되는 프레임들을 비교하여 관심영역이 있는 지를 판단하고, 관심영역이 포함된 경우, 상기 프레임별 관심영역을 비교하여 상기 영상처리부(120)에서 설정된 관심 영역 내의 객체의 속도 또는 크기 중 하나 이상이 일정 값 이상인 경우 해당 객체를 위험객체로 판단한다. 이때 위험처리부(130)는 입력되는 영상 이미지 프레임 내에 관심 영역이 존재하는지의 판단을 위해 템플릿 매치(Templet Match), 스피드 업 로버스트 피쳐(Speed Up Robust Featuers) 등의 기법이 적용한다.
상술한 위험객체의 검출을 위해 상기 위험처리부(130)는 상기 관심 영역 내의 객체에 대하여 인접 객체에 비하여 확장 비율이 기설정된 값 이상인지를 판단하도록 구성될 수 있다. 이러한 판단에 의해 특정 개체의 확장 비율이 기설정된 값 이상인 경우 사용자에게로 접근하는 객체로 판단하여 사용자와의 충돌이 발생할 수 있는 위험을 가지는 것으로 판단한다.
또한, 상기 위험처리부(130)는 관심 영역 내의 객체를 이루는 픽셀들의 화소 사이에서의 이동 변화 값이 기 설정된 값 이상인 경우 위험 속도인 것으로 판단하도록 구성될 수 있다. 즉, 객체에 포함되는 특정 위치의 화소 값이 사용자의 중심(촬영 시야의 원점)으로 수렵되는 직선상의 픽셀들을 잊는 선상에서 기 설정된 속도 변화로 사용자의 중심 수렴점을 향해 이동하는 경우, 사용자에게 위험한 속도로 접근하는 객체로 판단하여 사용자와의 충돌이 발생할 수 있는 위험을 가지는 것으로 판단한다.
또한, 상기 위험처리부(130)는 관심 영역 내의 객체를 이루는 픽셀들의 세로 또는 가로 화소의 크기를 기 설정된 이미지 센서부(110)의 해상도 정보와 객체들의 깊이별 촬영 비례 정보를 이용하여 비교하여 객체의 크기를 검출하도록 구성된다. 이 경우 검출된 객체의 크기가 기 설정된 값을 초과하는 경우 위험 객체로 판단한다.
또한, 상기 위험처리부(130)는 검출된 객체가 촬영 시야의 원점으로 접근하는 경우, 해당 객체를 위험형상DB(140)에 저장된 위험 형상 정보들과 비교하여, 특정 설정 기준에 대하여 특정 설정 비율 이상으로 일치하는 경우 위험객체로 판단하도록 구성될 수 있다. 이 경우 검출되는 객체는 개방된 맨홀, 돌출된 소화전, 물웅덩이, 낙하된 물체, 폭발물, 칼, 철근 등의 솟은 철근, 못 등 사용자의 보행 중 사용자가 접촉되는 경우 위험을 초래하는 장애물일 수 있다.
상기 위험처리부(130)는 상술한 바와 같이, 영상 이미지 내의 관심영역에 포함된 객체가 사용자에게 접근하여 기 설정된 속도 이상이거나, 기 설정된 크기 이상이거나, 위험 형상을 가지는 것으로 판단되는 경우, 상술한 템플릿 매치(Templet Match), 스피드 업 로버스트 피쳐(Speed Up Robust Featuers) 등의 기법을 이용하여 기 설정된 임계값 이상인 경우 위험 객체로 인식하여 통신부(150)를 통해 해당 영상 이미지와 경고신호를 휴대용 단말기(2)로 전송하여 출력하도록 구성된다. 위험처리부(130)에서 발송되는 상기 경고신호는 LED 점등, 화면 점멸, 경고 메시지 출력 등 일 수 있다.
상기 통신부(150)는 웨어러블 이미지 감지 장치(100)와 휴대용 단말기(2) 사이의 블루투스, 와이파이, USB 케이블에 의한 USB 통신 등의 유선 또는 무선 근거리 통신 또는 PSTN망, 이동통신망, 인터넷망을 포함하는 공중 통신망을 통한 통신 중 어느 하나 이상의 통신 기능을 수행할 수 있도록 구성될 수 있다.
상기 휴대용 단말기(2)는 상기 위험처리부(130)에서 전송되는 위험 객체를 포함하는 영상과 경고신호를 출력하도록 설치되는 위험감지앱(200)을 더 포함할 수 있다. 상기 위험감지앱(200)은 수신된 영상 이미지를 출력하면서, 동시에 상기 경고 신호에 따른 경고를 출력하여 사용자가 위험 상황을 인식하고 피할 수 있도록 한다.
도 2는 본 발명의 실시예에 따르는 웨어러블 이미지센서를 이용한 위험 감지 방법의 처리과정을 나타내는 순서도이다.
도 2에 도시된 바와 같이, 웨어러블 이미지센서를 이용한 위험 감지 방법은, 영상촬영과정(S10), 영상처리과정(S20), 위험객체검출과정(S30) 및 위험경고과정(S40)을 포함하여 이루어진다.
구체적으로, 사용자가 웨어러블 이미지 감자 장치(100)를 착용한 상태로 보행 등을 하는 경우, 하나 이상의 이미지센서부(110)가 사용자의 주변 영상이미지를 촬영하는 영상촬영과정(S10)이 수행된다. 이때 상기 영상이미지는 상기 이미지센서부(110)의 개수 또는 종류에 따라 2D 카메라 한 개 인 경우에는 2D 또는 2개 카메라 2개 또는 하나 이상의 3D 카메라인 경우에는 깊이 정보를 가지는 3D 이미지일 수 있다.
다음으로, 이미지센서부(110)에서 촬영된 영상이 영상처리부(120)로 전송되면, 영상처리부(120)는 이미지센서부(110)에 의해 촬영되어 전송된 영상이미지 내에서 객체를 검출하고, 검출된 객체를 포함하는 영역을 관심역역으로 설정하는 영상처리과정(S20)을 수행한다.
이 후, 상기 위험처리부(130)는 영상처리부(120)에서 설정된 관심영역에 포함된 객체를 기설정된 기준과 비교하여 위험 객체인지를 판별하는 위험객체검출과정(S30)을 수행한다.
위험객체검출과정(S30)에서 위험 객체가 검출되면, 위험처리부(130)는 위험 객체를 포함하는 영상이미지와 경고신호를 통신부(150)를 통해 휴대용 단말기(2)로 전송하는 위험경고과정(S40)을 수행한다. 휴대용 단말기(2)의 자체의 출력 기능과 오디오 출력 기능 또는 위험감지앱(200)에 의해 경고 영상을 출력하고 경고신호를 출력함으로써 사용자가 경고 상황을 인식하여 회피할 수 있도록 한다.
상기 위험경고과정(S40)은 상술한 바와 같이, 영상 이미지 내의 관심영역에 포함된 객체가 사용자에게 접근하여 기 설정된 속도 이상이거나, 기 설정된 크기 이상이거나, 위험 형상을 가지는 것으로 판단되는 경우, 상술한 템플릿 매치(Templet Match), 스피드 업 로버스트 피쳐(Speed Up Robust Featuers) 등의 기법을 이용하여 기 설정된 임계값 이상인 경우 위험 객체로 인식하여 통신부(150)를 통해 해당 영상 이미지와 경고신호를 휴대용 단말기(2)로 전송하여 출력하도록 하는 과정이다. 이 때, 위험처리부(130)에서 발송되는 상기 경고신호는 LED 점등, 화면 점멸, 경고 메시지 출력 등 일 수 있다.
도 3은 도 2의 영상처리과정(S20)의 상세 처리과정을 나타내는 서브루틴도이다.
도 3과 같이, 상기 영상처리과정(S20)은 객체를 검출한 후, 객체를 포함하는 영역을 관심영역으로 설정하는 과정이다. 이를 위해, 상기 영상처리과정(S20)은 도 3과 같이, 객체검출과정(S21) 및 관심영역설정과정(S23)을 포함한다.
상기 객체검출과정(S21)은 영상이미지 내에 포함되는 연속적인 프레임의 차이를 이용하여 객체를 검출한다.
상기 관심영역설정과정(S23)은 객체가 검출된 후에는 검출된 객체를 포함하는 영역에서의 객체 간 경계를 선명히 하는 이미지 처리를 수행하여 관심영역을 설정한다. 상기 관심 영역의 설정은 상술한 바와 같이, 영상처리부(120)가 영상 프레임들의 비교에 의해 차이 부분을 객체로 검출하고, 가우시안 필터(Gaussian filter), 경계 추출을 위한 경계 증강(또는 향상)(Boundary enhancement), 침식연산, 팽창 연산 등을 수행하여 이미지의 경계를 명확히 하는 과정이다.
도 2 및 도 3의 처리과정에 의해 객체를 포함하는 관심영역이 설정된 후에는 위험 객체인지를 판별하여 검출하는 도 4의 위험객체검출과정(S30)이 수행되어 위험객체가 검출되는 경우 도 2와 같이, 위험경고과정(S40)에 의해 영상이미지와 경고 신호를 를 휴대용 단말기(2)로 전송하는 처리과정이 수행된다.
도 4는 도 2의 위험객체검출과정(S30)의 상세 처리과정을 나타내는 서브루틴도이다.
도 4와 같이, 위험객체검출과정(S30)은 프레임별 관심영역 비교과정(S31)과 위험객체판단과정(S32)을 포함할 수 있다. 그리고 위험객체판단과정(S32)은 객체확장검출과정(S33), 객체속도검출과정(S35), 객체크기검출과정(S37), 객체형상비교과정(S39)를 포함할 수 있다.
상기 프레임별 관심영역 비교과정(S31)은 위험처리부(130)가 영상처리부(120)에서 입력되는 프레임들을 비교하여 관심영역이 있는 지를 판단한다. 이때 위험처리부는 입력되는 영상 이미지 프레임 내에 관심 영역이 존재하는지의 판단을 위해 템플릿 매치(Templet Match), 스피드 업 로버스트 피쳐(Speed Up Robust Featuers) 등의 기법이 적용한다.
프레임별 관심영역 비교과정(S31)에 의해 입력된 영상 이미지의 프레임에 관심영역이 포함된 경우, 위험객체판단과정(S32)에 의해 프레임별로 관심영역을 비교하여 상기 영상처리부에서 설정된 관심 영역 내의 객체의 속도 또는 크기 중 하나 이상이 일정 값 이상인 경우 해당 객체를 위험객체로 검출하여 위험객체로 판단한다.
상기 위험객체판단과정(S32)은 객체의 접근, 객체의 이동 속도, 객체의 위험 여부, 객체의 크기 또는 객체의 형상 등을 이용하여 위험 객체 여부를 판단하는 과정이다.
위험객체판단과정(S32)의 예로 먼저, 객체확장검출과정(S33)은 관심 영역 내의 객체에 대하여 인접 객체에 비하여 확장 비율이 기설정된 값 이상인지를 판단한다. 이는 객체가 인접 객체보다 확장 비율이 기 설정된 값 이상으로 큰 경우 사용자에게 근접하는 것으로서 사용자와의 충돌이 발생할 수 있는 위험을 가지기 때문이다.
객체속도검출과정(S35)은 관심 영역 내의 객체를 이루는 픽셀들의 화소 사이에서의 이동 변화 값이 기 설정된 값 이상인 경우 위험 속도인 것으로 판단하도록 구성된다. 즉, 객체에 포함되는 특정 위치의 화소 값이 사용자의 중심(촬영 시야의 원점)으로 수렵되는 직선상의 픽셀들을 잊는 선상에서 기 설정된 속도 변화로 사용자의 중심 수렴점을 향해 이동하는 경우, 사용자에게 위험한 속도로 접근하는 객체로 판단하여 사용자와의 충돌이 발생할 수 있는 위험을 가지는 것으로 판단한다. 즉, 객체에 포함된 전체 픽셀이 사용자의 중심에서 멈추는 경우에는 위험 객체이고, 멈추지 않고 사용자의 중심 픽셀을 지나는 경우에는 사용자와 거리를 두고 사용자에게 가려지거나, 사용자를 가리는 객체로서 위험하지 않은 객체로 판단할 수 있다.
객체크기검출과정(S37)은 관심 영역 내의 객체를 이루는 픽셀들의 세로 또는 가로 화소의 크기를 기 설정된 이미지 센서부(110)의 해상도 정보와 객체들의 깊이별 촬영 비례 정보를 이용 비교하여 객체의 크기를 검출하도록 구성된다. 이 경우 검출된 객체의 크기가 기 설정된 값을 초과하는 경우 위험 객체로 판단한다. 즉, 이미지센서부(110)의 해상도 값과 객체들의 값의 비율을 판단하여 사용자의 크기를 추출한다. 이 때 이미지센서부(110)에는 촬영 해상도 또는 촬영각에 따라 사용자의 크기 기준을 나타내는 마커가 표시될 수 도 있다.
객체형상 비교과정(S39)은 검출된 객체가 촬영 시야의 원점으로 접근하는 경우, 해당 객체를 위험형상DB(140)에 저장된 위험 형성 정보들과 비교하여, 특정 설정 기준에 대하여 특정 설정 비율 이상으로 일치하는 경우 위험객체로 판단하도록 구성될 수 있다. 이 경우 검출되는 객체는 개방된 맨홀, 돌출된 소화전, 물웅덩이, 낙하된 물체, 폭발물, 칼, 철근 등의 솟은 철근, 못 등 사용자의 보행 중 사용자가 접촉되는 경우 위험을 초래하는 장애물일 수 있다.
도 5는 웨어러블 이미지 감지 장치(100)가 장착되는 착용장치들의 예를 나타내는 도면이다.
도 5와 같이, 착용장치로는 신발 옷 등의 의류, 손목시계, 암밴드, 장갑, 헤어밴드, 헤드랜턴, 헤드셋, 이어셋, 벨트, 우산, 헬멧 모자, 안경, 고글 등의 다양한 착용구가 적용될 수 있다.
그러나 본 발명의 위험 감지 장치는 차량 후방에 카메라를 달거나 자전거 후방에 카메라를 달아서 위험을 인식할 수 있도록 구성될 수도 있다.
1: 위험 감지 장치
100: 웨어러블 이미지 감지 장치 110: 이미지센서부
120: 영상처리부 130: 위험처리부
140: 위험형상DB 150: 통신부
2: 휴대용 단말기 200: 위험감지앱

Claims (11)

  1. 사용자의 주위를 촬영하는 하나 이상의 이미지센서부;
    상기 이미센서부에서 촬영된 영상이미지 내에서 객체들을 추출하는 영상처리부;
    상기 객체들의 위험을 판단하여 위험 상황으로 판단된 경우 휴대용 단말기로 위험 상황에 대한 경고 신호를 송출하는 위험처리부; 및
    상기 휴대용 단말기와 통신을 수행하는 통신부;를 포함하는 이미지 센서를 이용한 위험 감지 장치.
  2. 청구항 1에 있어서, 상기 영상처리부는,
    연속적인 상기 영상 이미지의 프레임의 차이를 이용하여 상기 객체를 검출하고, 검출된 객체를 포함하는 영역에서의 객체 간 경계를 선명히 하는 이미지처리를 수행하여 관심영역(Region Of Interest)으로 설정하도록 구성되는 이미지 센서를 이용한 위험 감지 장치.
  3. 청구항 2에 있어서, 상기 위험처리부는,
    수신되는 프레임별로 관심영역의 존재를 검출한 후, 관심 영역이 존재하는 경우 상기 프레임별 관심영역을 비교하여 상기 영상처리부에서 설정된 관심 영역 내의 객체의 속도 또는 크기 중 하나 이상이 일정 값 이상인 경우 해당 객체를 위험객체로 검출하여 위험으로 판단하도록 구성되는 이미지 센서를 이용한 위험 감지 장치.
  4. 청구항 2에 있어서, 상기 위험처리부는,
    상기 관심 영역 내의 객체에 대하여 인접 객체에 비하여 확장 비율이 기설정된 값 이상인 경우 위험 속도인 것으로 판단하도록 구성되는 이미지 센서를 이용한 위험 감지 장치.
  5. 청구항 2에 있어서, 상기 위험처리부는,
    상기 관심 영역 내의 객체를 이루는 픽셀들의 화소 사이에서의 이동 변화 값이 기 설정된 값 이상인 경우 위험 속도인 것으로 판단하도록 구성되는 이미지 센서를 이용한 위험 감지 장치.
  6. 청구항 2에 있어서, 상기 위험처리부는,
    상기 관심 영역 내의 객체가 영상 이미지의 기 설정 해상도를 기준으로 기 설정된 값을 가지는 세로 또는 가로 화소수보다 큰 세로 또는 가로 화소수를 가지는 것을 위험 크기를 가지는 객체크기로 검출하도록 구성되는 이미지 센서를 이용한 위험 감지 장치.
  7. 청구항 2에 있어서,
    상기 위험 객체들로 지정된 객체들의 형상을 정보를 저장하는 위험형상DB를 더 포함하고,
    상기 위험처리부는, 상기 관심 영역 내의 객체의 형상을 기 설정된 위험 형상과 대비하여 위험 객체로 판단하도록 구성되는 이미지 센서를 이용한 위험 감지 장치.
  8. 청구항 1에 있어서,
    상기 경고 신호는 상기 촬영된 영상정보와, 경고를 알리는 경고음, LED 점멸, 화면 점멸 또는 경고 메시지 중 하나 이상을 포함하는 이미지 센서를 이용한 위험 감지 장치.
  9. 청구항 1에 있어서,
    상기 사용자 단말기에 설치되어 상기 영상이미지와 경고신호를 출력하는 위험감지앱;을 더 포함하여 구성되는 이미지 센서를 이용한 위험 감지 장치.
  10. 청구항 1에 있어서,
    상기 이미지센서부는 거리를 식별하는 깊이정보를 가지는 3차원 카메라인 것을 특징으로 하는 이미지 센서를 이용한 위험 감지 장치.
  11. 청구항 1에 있어서,
    상기 이미지센서부는 설정된 해상도에 따라 사용자의 크기를 대비하는 마커를 더 포함하여 구성되는 이미지 센서를 이용한 위험 감지 장치.
KR1020150163616A 2015-11-20 2015-11-20 이미지 센서를 이용한 위험 감지 장치 KR101751032B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163616A KR101751032B1 (ko) 2015-11-20 2015-11-20 이미지 센서를 이용한 위험 감지 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163616A KR101751032B1 (ko) 2015-11-20 2015-11-20 이미지 센서를 이용한 위험 감지 장치

Publications (2)

Publication Number Publication Date
KR20170059344A true KR20170059344A (ko) 2017-05-30
KR101751032B1 KR101751032B1 (ko) 2017-06-26

Family

ID=59052877

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163616A KR101751032B1 (ko) 2015-11-20 2015-11-20 이미지 센서를 이용한 위험 감지 장치

Country Status (1)

Country Link
KR (1) KR101751032B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095338A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치
KR20200120819A (ko) * 2019-04-12 2020-10-22 엔에이치엔 주식회사 보행보조 감시가 가능한 이동통신 단말기
WO2020256325A1 (en) * 2019-06-17 2020-12-24 Samsung Electronics Co., Ltd. Electronic device and method for providing function by using corneal image in electronic device
CN114765734A (zh) * 2020-12-31 2022-07-19 美光科技公司 危险指示符
KR102471214B1 (ko) * 2022-01-21 2022-11-28 퀀텀테크엔시큐 주식회사 IP-Cam 모니터링 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101980551B1 (ko) * 2018-11-08 2019-05-21 주식회사 다누시스 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008307A (ja) * 2011-06-27 2013-01-10 Mitsubishi Motors Corp 歩行者用周辺監視装置
KR101422216B1 (ko) * 2014-06-02 2014-07-25 김종범 위험 감지 알림 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095338A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치
KR20200120819A (ko) * 2019-04-12 2020-10-22 엔에이치엔 주식회사 보행보조 감시가 가능한 이동통신 단말기
WO2020256325A1 (en) * 2019-06-17 2020-12-24 Samsung Electronics Co., Ltd. Electronic device and method for providing function by using corneal image in electronic device
US11335090B2 (en) 2019-06-17 2022-05-17 Samsung Electronics Co., Ltd. Electronic device and method for providing function by using corneal image in electronic device
CN114765734A (zh) * 2020-12-31 2022-07-19 美光科技公司 危险指示符
KR102471214B1 (ko) * 2022-01-21 2022-11-28 퀀텀테크엔시큐 주식회사 IP-Cam 모니터링 방법 및 장치

Also Published As

Publication number Publication date
KR101751032B1 (ko) 2017-06-26

Similar Documents

Publication Publication Date Title
KR101751032B1 (ko) 이미지 센서를 이용한 위험 감지 장치
US10509961B2 (en) Blindman navigation method and blindman navigation apparatus
US10298741B2 (en) Method and device for assisting in safe driving of a vehicle
CA2998600C (en) Vehicular display apparatus and vehicular display method
US11132887B2 (en) Eyeglasses-type wearable terminal, control method thereof, and control program
CN110956061A (zh) 动作识别方法及装置、驾驶员状态分析方法及装置
KR101760020B1 (ko) 차량 번호 인식 장치 및 그 방법
JP5760090B2 (ja) 生体認識装置
US20160332059A1 (en) Display, method and computer program
CN111710189A (zh) 电子装置的控制方法、电子装置以及记录介质
JP2017041132A (ja) 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
CN111294564A (zh) 信息显示方法及可穿戴设备
JP6977823B2 (ja) 情報処理装置、制御方法、及びプログラム
CN104065949A (zh) 一种电视虚拟触控方法及系统
CN112767647A (zh) 危险预警方法、装置、设备及计算机可读存储介质
JP2008077154A (ja) 車両周辺監視装置
JP2018106239A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
KR101935853B1 (ko) 라이다 및 레이더를 이용한 나이트 비전 시스템
JP2015228131A (ja) 情報処理装置および報知システム
KR20190071781A (ko) 열에너지 정보를 표시하는 나이트 비젼 시스템 및 그 제어방법
KR101642197B1 (ko) 레이더 센서를 이용한 자전거용 블랙박스
CN113011222B (zh) 一种活体检测系统、方法及电子设备
JPWO2011155152A1 (ja) 車両の周辺監視装置
JP6299630B2 (ja) 警告装置、警告方法及び警告プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant