KR101566966B1 - 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체 - Google Patents

보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체 Download PDF

Info

Publication number
KR101566966B1
KR101566966B1 KR1020140063705A KR20140063705A KR101566966B1 KR 101566966 B1 KR101566966 B1 KR 101566966B1 KR 1020140063705 A KR1020140063705 A KR 1020140063705A KR 20140063705 A KR20140063705 A KR 20140063705A KR 101566966 B1 KR101566966 B1 KR 101566966B1
Authority
KR
South Korea
Prior art keywords
series
pedestrian
work environment
detected
views
Prior art date
Application number
KR1020140063705A
Other languages
English (en)
Inventor
김현철
박성희
Original Assignee
주식회사 피엘케이 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피엘케이 테크놀로지 filed Critical 주식회사 피엘케이 테크놀로지
Priority to KR1020140063705A priority Critical patent/KR101566966B1/ko
Application granted granted Critical
Publication of KR101566966B1 publication Critical patent/KR101566966B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload

Abstract

본 발명은 어라운드 뷰 모니터링 장치에 관한 것으로, 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성하는 복수의 카메라들, 상기 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 상기 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공하는 작업환경 뷰 제공부 및 상기 일련의 작업환경 뷰들을 기초로 이동 개체를 검출하고, 상기 검출된 이동 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 상기 검출된 이동 개체가 보행자에 해당하는지 여부를 결정하는 보행자 인식부를 포함한다. 따라서 작업 차량 주변의 보행자를 인식할 수 있다.

Description

보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체{METHOD OF MONITORING AROUND VIEW RECOGNIZING PEDESTRIAN, APPARATUS PERFORMING THE SAME AND STORAGE MEDIA STORING THE SAME}
본 발명은 어라운드 뷰 모니터링 기술에 관한 것으로, 보다 상세하게는, 작업 차량 주변의 보행자를 인식할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체에 관한 것이다.
일반적으로, 중장비는 운전자가 탑승하는 운전석의 위치가 높기 때문에 운전자가 주변 사물을 정확하게 인지하는데 어려움이 있다. 이에 따라 중장비는 주변 영역을 촬영하는 카메라가 배치되어 운전자가 주변 사물을 인지하도록 한다.
한국공개특허 제10-2010-0074413호는 시동 후 주행이전에 자가진단을 통하여 시스템의 구성요소에 대한 이상 여부를 미리 운전자에게 알려줄 수 있는 모노 카메라를 이용한 보행자 인식 시스템 및 그 제어 방법을 개시한다. 이러한 기술은 운전자가 안전운전을 하도록 할 수 있다.
한국등록특허 제10-1344034호는 복잡한 도로환경에서 보행자 인식 알고리즘을 적용하여 보행자를 추적할 수 있는 보행자 인식기반 사고방지 시스템 및 그 제어 방법을 개시한다. 이러한 기술은 기 설정된 구역(예를 들어, 횡단보도 이외의 구역, 어린이 보호구역)의 적어도 일부에서 보행자의 움직임이 검출되면 경고 및 계도 방송을 제공할 수 있다.
한국공개특허 제10-2010-0074413호 한국등록특허 제10-1344034호
본 발명의 일 실시예는 작업 차량 주변의 보행자를 인식할 수 있는 어라운드 뷰 모니터링 장치를 제공하고자 한다.
본 발명의 일 실시예는 작업 차량 주변을 촬영한 이미지에서 개체에 대한 에지를 검출하여 보행자 여부를 판단할 수 있는 어라운드 뷰 모니터링 장치를 제공하고자 한다.
본 발명의 일 실시예는 작업 차량 주변에 작업 안전 가이드라인을 제공할 수 있는 어라운드 뷰 모니터링 장치를 제공하고자 한다.
실시예들 중에서, 어라운드 뷰 모니터링 장치는 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성하는 복수의 카메라들, 상기 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 상기 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공하는 작업환경 뷰 제공부 및 상기 일련의 작업환경 뷰들을 기초로 이동 개체를 검출하고, 상기 검출된 이동 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 상기 검출된 이동 개체가 보행자에 해당하는지 여부를 결정하는 보행자 인식부를 포함한다.
일 실시예에서, 상기 복수의 카메라들은 상기 작업 차량의 4방위에 각각 배치되어 상기 작업 차량의 주위를 촬상할 수 있다. 상기 작업환경 뷰 제공부는 상기 일련의 작업환경 뷰들에 작업 안전 가이드라인을 표시할 수 있다.
일 실시예에서, 상기 보행자 인식부는 상기 일련의 작업환경 뷰들에서 상기 작업 차량으로부터 일정 반경 내에 있는 적어도 하나의 개체에 대한 에지를 검출할 수 있다. 상기 보행자 인식부는 상기 일련의 작업환경 뷰들에 포함된 복수의 일련 이미지들 중 인접하는 두 개의 이미지들에서 각각 검출된 적어도 하나의 개체에 대한 에지를 비교할 수 있다.
상기 보행자 인식부는 상기 비교 결과 특정 개체에 대한 에지에 변화가 존재하면 상기 특정 개체를 이동 개체로서 검출할 수 있다. 상기 보행자 인식부는 상기 검출된 이동 개체에 대한 에지의 세로 성분을 분석하여 상기 검출된 이동 개체가 보행자에 해당하는지 1차 검증할 수 있다.
상기 보행자 인식부는 상기 1차 검증된 이동 개체에 대한 에지의 내부 영역을 분석하여 상기 이동 개체가 보행자에 해당하는지 2차 검증할 수 있다.
일 실시예에서, 상기 보행자 인식부는 상기 검출된 이동 개체가 보행자에 해당하면 상기 검출된 이동 개체가 상기 작업 안전 가이드라인 내에 존재하는지 여부를 판단할 수 있다.
상기 작업환경 뷰 제공부는 상기 검출된 이동 개체가 상기 작업 안전 가이드라인 내에 존재하는지 여부에 따라 상기 검출된 이동 개체에 대한 마커를 상기 일련의 작업환경 뷰들에 표시할 수 있다.
실시예들 중에서, 어라운드 뷰 모니터링 방법은 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성하는 단계, 상기 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 상기 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공하는 단계 및 상기 일련의 작업환경 뷰들을 기초로 이동 개체를 검출하고, 상기 검출된 이동 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 상기 검출된 이동 개체가 보행자에 해당하는지 여부를 결정하는 단계를 포함한다.
상기 검출된 이동 개체가 보행자에 해당하는지 여부를 결정하는 단계는 상기 검출된 이동 개체가 보행자에 해당하면 상기 검출된 이동 개체가 상기 작업 안전 가이드라인 내에 존재하는지 여부를 판단할 수 있다.
실시예들 중에서, 어라운드 뷰 모니터링 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체는 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성하는 기능, 상기 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 상기 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공하는 기능 및 상기 일련의 작업환경 뷰들을 기초로 이동 개체를 검출하고, 상기 검출된 이동 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 상기 검출된 이동 개체가 보행자에 해당하는지 여부를 결정하는 기능을 포함한다.
본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 작업 차량 주변의 보행자를 인식할 수 있다.
본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 작업 차량 주변을 촬영한 이미지에서 개체에 대한 에지를 검출하여 보행자 여부를 판단할 수 있다.
본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 작업 차량 주변에 작업 안전 가이드라인을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치를 설명하는 블록도이다.
도 2는 도 1에 있는 어라운드 뷰 모니터링 장치에서 수행되는 어라운드 뷰 모니터링 과정을 설명하는 순서도이다.
도 3은 도 1에 있는 어라운드 뷰 모니터링 장치에 설치된 복수의 카메라들을 설명하는 도면이다.
도 4는 도 1에 있는 어라운드 뷰 모니터링 장치에 설치된 복수의 카메라들에서 촬상한 이미지들을 기초로 생성된 작업환경 뷰들을 설명하는 도면이다.
도 5는 도 1에 있는 어라운드 뷰 모니터링 장치에서 수행되는 작업 안전 가이드라인에 따른 마커의 표시를 예시한 도면이다.
도 6은 도 1에 있는 어라운드 뷰 모니터링 장치에서 수행되는 개체의 에지 검출을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치를 설명하는 블록도이다.
도 1을 참조하면, 어라운드 뷰 모니터링 장치(100)는 복수의 카메라들(110), 작업환경 뷰 제공부(120) 및 보행자 인식부(130)를 포함한다.
복수의 카메라들(110)은 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성한다. 복수의 카메라들(110)은 작업 차량이 구동될 때 전원을 공급받아 작업 차량의 주위를 쵤상할 수 있다. 복수의 시점들은 작업 차량의 크기에 따라 달라질 수 있다.
복수의 카메라들(110)은 작업 차량의 작업자에 의해 상하 또는 좌우로 각각 움직일 수 있다.
일 실시예에서, 복수의 카메라들(110)은 방수, 방진 및 방습 중 적어도 하나를 만족하도록 제작되어 작업 차량에 설치될 수 있다.
작업환경 뷰 제공부(120)는 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공한다. 적어도 두 개의 일련 이미지들은 기본 설정된 이미지에 해당하거나 또는 작업 차량의 작업자에 의해 설정된 이미지에 해당할 수 있다. 일련의 어라운드 뷰들은 복수의 일련 이미지들 간의 연관 관계에 따라 합성된 일련의 이미지를 기초로 생성될 수 있다. 일 실시예에서, 일련의 어라운드 뷰들은 작업 차량을 기준으로 작업 차량의 주위를 360도로 촬상한 것과 같은 일련의 이미지를 기초로 생성될 수 있다.
작업환경 뷰 제공부(120)는 일련의 작업환경 뷰들에 작업 안전 가이드라인을 표시할 수 있다. 작업 안전 가이드라인은 작업 차량으로부터 일정 반경까지 설정될 수 있고 일련의 작업환경 뷰들 각각에 표시될 수 있다.
작업환경 뷰 제공부(120)는 이동 개체가 보행자에 해당하면 이동 개체가 작업 안전 가이드라인 내에 존재하는지 여부에 따라 이동 개체에 대한 마커를 일련의 작업환경 뷰들에 표시할 수 있다. 일 실시예서, 작업환경 뷰 제공부(120)는 이동 개체가 작업 안전 가이드라인 내에 존재하면 이동 개체에 대한 마커를 위험으로 일련의 작업환경 뷰들에 표시하고, 이동 개체가 작업 안전 가이드라인 내에 존재하지 않으면 이동 개체에 대한 마커를 안전으로 일련의 작업환경 뷰들에 표시할 수 있다.
보행자 인식부(130)는 일련의 작업환경 뷰들을 기초로 이동 개체를 검출한다. 일 실시예에서, 보행자 인식부(130)는 일련의 작업환경 뷰들에서 작업 차량으로부터 일정 반경 내에 있는 적어도 하나의 개체에 대한 에지를 검출할 수 있다. 일정 반경은 작업 차량의 크기에 따라 달라질 수 있다. 예를 들어, 일정 반경은 작업 차량의 크기가 크면 증가하고 작으면 감소할 수 있다. 에지는 일련의 작업환경 뷰들에서 밝기가 급격하게 변하는 부분으로, 적어도 하나의 개체의 모양, 크기 및 위치를 알 수 있도록 할 수 있다.
일 실시예에서, 보행자 인식부(130)는 일련의 작업환경 뷰들에서 일정 시간 동안 움직임이 있는 개체를 이동 개체로 검출하고 일정 시간 동안 움직임이 없는 개체를 이동 개체 후보로 결정할 수 있다. 이동 개체 후보는 인접하는 두 개의 이미지들에서 각각 검출된 에지의 비교를 통해 이동 개체로 결정되거나 결정되지 않을 수 있다.
보행자 인식부(130)는 일련의 작업환경 뷰들에 포함된 복수의 일련 이미지들 중 인접하는 두 개의 이미지들에서 각각 검출된 적어도 하나의 개체에 대한 에지를 비교할 수 있다. 구체적으로, 보행자 인식부(130)는 인접하는 제1 및 제2 이미지들 각각에서 적어도 하나의 개체에 대한 에지를 검출하고 제1 이미지에서 검출된 특정 개체에 대한 에지와 제2 이미지에서 검출된 특정 개체에 대한 에지를 비교하여 에지의 변화를 추적할 수 있다. 보행자 인식부(130)는 에지의 변화 추적 결과 특정 개체에 대한 에지에 변화가 존재하면 특정 개체를 이동 개체로서 검출할 수 있다.
보행자 인식부(130)는 검출된 이동 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 검출된 이동 개체가 보행자에 해당하는지 여부를 결정한다.
일 실시예에서, 보행자 인식부(130)는 일련의 작업환경 뷰들에서 인지된 적어도 하나의 개체에 대한 에지를 분석하여 이동 개체가 보행자에 해당하는지 여부를 결정할 수 있다. 보행자 인식부(130)는 검출된 이동 개체에 대한 에지의 세로 성분을 분석하여 검출된 이동 개체가 보행자에 해당하는지 1차 검증할 수 있다. 보행자 인식부(130)는 이동 개체에 대한 에지의 세로 성분이 기 설정된 제1 기준 에지 타입(예를 들어, 제1 기준 에지 타입은 에지의 세로 성분의 상단부가 길고 하단부가 사람 다리와 같이 두 개로 갈라진 유형)을 만족하면 이동 개체가 보행자에 해당하는 것으로 1차 검증할 수 있다. 보행자 인식부(130)는 1차 검증된 이동 개체에 대한 에지의 내부 영역을 분석하여 이동 개체가 보행자에 해당하는지 2차 검증할 수 있다. 보행자 인식부(130)는 이동 개체에 대한 에지의 내부 영역이 기 설정된 제2 기준 에지 타입(예를 들어, 제2 기준 에지 타입은 에지의 내부가 비어있는 유형)을 만족하면 이동 개체가 보행자에 해당하는 것으로 2차 검증할 수 있다.
보행자 인식부(130)는 검출된 이동 개체가 보행자에 해당하면 검출된 이동 개체가 작업 안전 가이드라인 내에 존재하는지 여부를 판단할 수 있다. 보행자 인식부(130)는 검출된 이동 개체가 보행자에 해당하지 않으면 이동 개체에 대한 위치를 검출하지 않을 수 있다. 일 실시예에서, 보행자 인식부(130)는 이동 개체가 작업 안전 가이드라인에 중첩되면 작업 안전 가이드라인 내에 존재하는 것으로 판단할 수 있다.
도 2는 도 1에 있는 어라운드 뷰 모니터링 장치에서 수행되는 어라운드 뷰 모니터링 과정을 설명하는 순서도이다.
도 2를 참조하면, 복수의 카메라들(110)은 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성한다(단계 S201). 복수의 카메라들(110)은 작업 차량의 작업자에 의해 상하 또는 좌우로 각각 움직일 수 있다.
도 3에서, 복수의 카메라들(110a, 110b, 110c 및 110d)은 작업 차량의 4방위(예를 들어, 동쪽, 서쪽, 남쪽 및 북쪽)에 각각 배치되어 각각의 시점에서 작업 차량의 주위를 촬상할 수 있다. 복수의 카메라들(110a, 110b, 110c 및 110d)은 각각의 시점에서 작업 차량 주위를 190도로 촬상할 수 있다.
작업환경 뷰 제공부(120)는 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공한다(단계 S202).
작업환경 뷰 제공부(120)는 일련의 작업환경 뷰들에 작업 안전 가이드라인을 표시할 수 있다. 도 4의 (a)에서, 작업환경 뷰 제공부(120)는 복수의 시점에서 촬상된 복수의 일련 이미지들 각각을 포함하는 작업환경 뷰를 제공할 수 있다. 도 4의 (b)에서, 작업환경 뷰 제공부(120)는 복수의 시점에서 촬상된 복수의 일련 이미지들의 합성으로 생성된 일련의 어라운드 뷰를 포함하는 작업환경 뷰를 제공할 수 있다. 여기에서, 작업환경 뷰는 작업 안전 가이드라인(410)을 포함할 수 있다.
작업환경 뷰 제공부(120)는 이동 개체가 보행자에 해당하면 이동 개체가 작업 안전 가이드라인 내에 존재하는지 여부에 따라 이동 개체에 대한 마커를 일련의 작업환경 뷰들에 표시할 수 있다. 도 5에서, 작업환경 뷰 제공부(120)는 이동 개체가 작업 안전 가이드라인 내에 존재하면 이동 개체에 대한 마커를 빨간색으로 일련의 작업환경 뷰들에 표시하여 위험함을 알리고, 이동 개체가 작업 안전 가이드라인 내에 존재하지 않으면 이동 개체에 대한 마커를 초록색으로 일련의 작업환경 뷰들에 표시하여 안점함을 알릴 수 있다.
보행자 인식부(130)는 일련의 작업환경 뷰들을 기초로 이동 개체를 검출한다(단계 S203). 일 실시예에서, 보행자 인식부(130)는 일련의 작업환경 뷰들에서 작업 차량으로부터 일정 반경 내에 있는 적어도 하나의 개체에 대한 에지를 검출할 수 있다. 도 6에서, 보행자 인식부(130)는 일련의 작업환경 뷰에서 특정 개체(610)가 인지되면 일련의 작업환경 뷰에 포함되고 특정 개체와 연관된 이미지에서 특정 개체에 대한 에지(620)를 검출할 수 있다. 에지는 특정 개체가 작업 차량으로부터 떨어진 거리에 따라 정확도가 달라질 수 있다.
보행자 인식부(130)는 일련의 작업환경 뷰들에 포함된 복수의 일련 이미지들 중 인접하는 두 개의 이미지들에서 각각 검출된 적어도 하나의 개체에 대한 에지를 비교할 수 있다.
보행자 인식부(130)는 검출된 이동 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 검출된 이동 개체가 보행자에 해당하는지 여부를 결정한다(단계 S204).
일 실시예에서, 보행자 인식부(130)는 검출된 이동 개체에 대한 에지의 세로 성분을 분석하여 검출된 이동 개체가 보행자에 해당하는지 1차 검증할 수 있다. 보행자 인식부(130)는 1차 검증된 이동 개체에 대한 에지의 내부 영역을 분석하여 이동 개체가 보행자에 해당하는지 2차 검증할 수 있다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 어라운드 뷰 모니터링 장치
110: 카메라
120: 작업환경 뷰 제공부
130: 보행자 인식부

Claims (13)

  1. 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성하는 복수의 카메라들;
    상기 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 상기 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공하는 작업환경 뷰 제공부; 및
    상기 일련의 작업환경 뷰들에서 검출된 적어도 하나의 개체에 대한 에지를 기초로 일정 시간 동안 움직임이 있는 이동 개체인지, 일정 시간 동안 움직임이 없는 이동 개체 후보인지 결정하고, 상기 결정된 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 상기 이동 개체가 보행자에 해당하는지 여부를 결정하는 보행자 인식부를 포함하는 어라운드 뷰 모니터링 장치.
  2. 제1항에 있어서, 상기 복수의 카메라들은
    상기 작업 차량의 4방위에 각각 배치되어 상기 작업 차량의 주위를 촬상하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  3. 제1항에 있어서, 상기 작업환경 뷰 제공부는
    상기 일련의 작업환경 뷰들에 작업 안전 가이드라인을 표시하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  4. 제1항에 있어서, 상기 보행자 인식부는
    상기 일련의 작업환경 뷰들에서 상기 작업 차량으로부터 일정 반경 내에 있는 적어도 하나의 개체에 대한 에지를 검출하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  5. 제1항에 있어서, 상기 보행자 인식부는
    상기 일련의 작업환경 뷰들에 포함된 복수의 일련 이미지들 중 인접하는 두 개의 이미지들에서 각각 검출된 적어도 하나의 개체에 대한 에지를 비교하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  6. 삭제
  7. 제1항에 있어서, 상기 보행자 인식부는
    상기 검출된 이동 개체에 대한 에지의 세로 성분을 분석하여 상기 검출된 이동 개체가 보행자에 해당하는지 1차 검증하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  8. 제7항에 있어서, 상기 보행자 인식부는
    상기 1차 검증된 이동 개체에 대한 에지의 내부 영역을 분석하여 상기 이동 개체가 보행자에 해당하는지 2차 검증하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  9. 제1항에 있어서, 상기 보행자 인식부는
    상기 검출된 이동 개체가 보행자에 해당하면 상기 검출된 이동 개체가 상기 작업 안전 가이드라인 내에 존재하는지 여부를 판단하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  10. 제9항에 있어서, 상기 작업환경 뷰 제공부는
    상기 검출된 이동 개체가 상기 작업 안전 가이드라인 내에 존재하는지 여부에 따라 상기 검출된 이동 개체에 대한 마커를 상기 일련의 작업환경 뷰들에 표시하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
  11. 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성하는 단계;
    상기 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 상기 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공하는 단계; 및
    상기 일련의 작업환경 뷰들에서 검출된 적어도 하나의 개체에 대한 에지를 기초로 일정 시간 동안 움직임이 있는 이동 개체인지, 일정 시간 동안 움직임이 없는 이동 개체 후보인지 결정하고, 상기 결정된 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 상기 이동 개체가 보행자에 해당하는지 여부를 결정하는 단계를 포함하는 어라운드 뷰 모니터링 방법.
  12. 제11항에 있어서, 상기 검출된 이동 개체가 보행자에 해당하는지 여부를 결정하는 단계는
    상기 검출된 이동 개체가 보행자에 해당하면 상기 검출된 이동 개체가 상기 작업 안전 가이드라인 내에 존재하는지 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 방법.
  13. 복수의 시점들에서 작업 차량의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성하는 기능;
    상기 복수의 일련 이미지들 중 적어도 두 개의 일련 이미지들 또는 상기 복수의 일련 이미지들을 기초로 생성된 일련의 어라운드 뷰들을 포함하는 일련의 작업환경 뷰들을 제공하는 기능; 및
    상기 일련의 작업환경 뷰들에서 검출된 적어도 하나의 개체에 대한 에지를 기초로 일정 시간 동안 움직임이 있는 이동 개체인지, 일정 시간 동안 움직임이 없는 이동 개체 후보인지 결정하고, 상기 결정된 개체가 이동 중이거나 또는 잠시 멈춤 중인 것으로 결정되면 상기 이동 개체가 보행자에 해당하는지 여부를 결정하는 기능을 포함하는 어라운드 뷰 모니터링 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.

KR1020140063705A 2014-05-27 2014-05-27 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체 KR101566966B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140063705A KR101566966B1 (ko) 2014-05-27 2014-05-27 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140063705A KR101566966B1 (ko) 2014-05-27 2014-05-27 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체

Publications (1)

Publication Number Publication Date
KR101566966B1 true KR101566966B1 (ko) 2015-11-06

Family

ID=54601350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140063705A KR101566966B1 (ko) 2014-05-27 2014-05-27 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체

Country Status (1)

Country Link
KR (1) KR101566966B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107792066A (zh) * 2016-09-01 2018-03-13 马自达汽车株式会社 车辆控制装置
CN113401805A (zh) * 2021-05-14 2021-09-17 中联重科股份有限公司 用于起重机的控制方法、控制装置、处理器及起重机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012161062A1 (ja) 2011-05-26 2012-11-29 住友重機械工業株式会社 電動式旋回装置を備えたショベル及びその制御方法
JP2013003641A (ja) 2011-06-13 2013-01-07 Nissan Motor Co Ltd 車両用障害物警告装置
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012161062A1 (ja) 2011-05-26 2012-11-29 住友重機械工業株式会社 電動式旋回装置を備えたショベル及びその制御方法
JP2013003641A (ja) 2011-06-13 2013-01-07 Nissan Motor Co Ltd 車両用障害物警告装置
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107792066A (zh) * 2016-09-01 2018-03-13 马自达汽车株式会社 车辆控制装置
CN113401805A (zh) * 2021-05-14 2021-09-17 中联重科股份有限公司 用于起重机的控制方法、控制装置、处理器及起重机

Similar Documents

Publication Publication Date Title
US10379513B2 (en) Monitoring system, monitoring device, and monitoring method
BR112020024333A2 (pt) rastrear veículos em um ambiente de armazém
US9747802B2 (en) Collision avoidance system and method for an underground mine environment
KR20210115026A (ko) 차량 인텔리전트 운전 제어 방법 및 장치, 전자 기기 및 기억 매체
CN101346744A (zh) 配置用于监视空间区域的监视设备的方法
US9410818B2 (en) Navigation device
KR101550972B1 (ko) 레이저 스캐너를 이용하여 장애물을 인식하기 위한 특징점 추출 장치 및 방법
JP2014093071A (ja) 周辺車の位置追跡装置及び方法
KR20150031985A (ko) 모바일 기기와 협력하여 위험 상황을 추적하기 위한 시스템 및 그 방법
WO2012133359A1 (ja) 移動体検知システム
KR20160038944A (ko) 교통감시 시스템
KR101566966B1 (ko) 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
KR102489290B1 (ko) 영상처리와 위치추적 기술을 활용한 작업장 내 위험지역 접근 감지 및 알림 시스템 및 방법
JP6599644B2 (ja) 動き判定装置、動き判定方法、および動き判定プログラム
KR101566963B1 (ko) 작업 차량 상태를 고려하여 개체를 인식할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
KR101612822B1 (ko) 차선 인식 장치 및 그 방법
KR101283586B1 (ko) 휴대용 운행상태 판단장치 및 그 방법
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
CN108111802B (zh) 视频监控方法及装置
CN105303887A (zh) 用于监视车辆的期望轨迹的方法和设备
KR101566964B1 (ko) 이동 물체를 추적할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
US20150206016A1 (en) Driving image auxiliary system
US20220172490A1 (en) Image processing apparatus, vehicle control apparatus, method, and program
KR20180119344A (ko) 영역 감시 장치 및 이에 의한 영역 감시 방법
US9092891B2 (en) Method and apparatus of environment visualization for tele-operation through hierarchization of object characteristics

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181023

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191016

Year of fee payment: 5