KR101123738B1

KR101123738B1 - 중장비 동작 안전 모니터링 시스템 및 방법

Info

Publication number: KR101123738B1
Application number: KR1020090077397A
Authority: KR
Inventors: 임묘택; 박신석; 홍대희; 우동기; 최윤근; 김영중
Original assignee: 고려대학교 산학협력단
Priority date: 2009-08-21
Filing date: 2009-08-21
Publication date: 2012-03-16
Also published as: KR20110019821A; US20110044505A1

Abstract

중장비 동작 안전 모니터링 시스템, 및 방법이 개시된다. 중장비 동작 안전 모니터링 시스템은 영상 입력부, 통합 영상 생성부, 가이드 라인 생성부, 및 영상 출력부를 포함한다. 영상 입력부는 중장비에 탑재되어 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력하고, 통합 영상 생성부는 복수의 영상을 이용하여 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성하고, 가이드 라인 생성부는 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하며, 영상 출력부는 통합 영상에 가이드 라인을 표시하여 출력한다. 이와 같이, 중장비 주위 모든 방향의 영상을 통합한 영상을 생성함으로써 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시할 수 있게 되고, 출력 영상에 가이드 라인을 출력함으로써 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있게 된다.

중장비, 안전, 모니터링

Description

중장비 동작 안전 모니터링 시스템 및 방법{System and method for monitoring safe operation of heavy machinery}

본 발명은 모니터링 시스템, 및 방법에 관한 것으로서, 더욱 상세하게는 장비의 동작 안전을 모니터링하는 시스템 및 방법에 관한 것이다.

중장비는 토목 공사 등에 쓰는 중량이 큰 기계를 통틀어 이르는 말로서, 굴삭기, 불도저, 지게차 등의 기계를 말한다. 일반적으로 이러한 중장비의 운전자는 중장비 실내에 위치한 리어 뷰 미러(rear view mirror) 또는 좌, 우에 위치하는 사이드 뷰 미러 등 여러 미러를 통해 중장비 주위를 감시하며 중장비를 운행하게 된다. 그러나 운전석에서 감시할 수 있는 범위에는 사각 지대가 존재하는데, 이러한 사각 지대는 중장비의 안전 운행에 있어서 커다란 문제점이 된다.

종래에는 사각 지대의 형성으로 인한 사고를 예방하기 위하여 보조 작업자의 수신호나 무전을 이용하기도 하였지만, 이 경우 보조 작업자의 안전을 보장하지 못한다는 단점이 있으며, 또한 보조 작업자 역시 굴삭기 등의 중장비 주변을 모니터링 함에 있어 사각 지대의 방해를 받게 된다.

이러한 문제점을 해결하기 위한 시도로서 현재 연구되고 사용되어지는 것이 카메라를 이용한 사각지대의 관찰이다. 차량의 후방 감시 카메라와 크레인 조종시 원거리 카메라를 이용하는 등의 예가 그것이다. 예를 들어, 후방 상부에 카메라를 부착하여 상부선회체의 후방을 촬영하고 촬영된 영상을 운전자가 볼 수 있도록 함으로써 상부선회체의 후방을 전체적으로 감시할 수 있도록 하고 있다.

그러나, 이러한 방법은 카메라가 향하고 있는 방향의 영상만을 감시하게 되어 전체적인 작업자 주위의 환경 감시에는 한계가 있다. 또한 작업자와 장애물간의 거리를 판단하기에 어렵다는 단점도 있다. 카메라로 촬영한 평면 영상만으로는 정확한 거리 판단에는 무리가 있기 때문이다. 이를 해결하기 위해 거리 측정을위한 별도의 장비를 이용할 수 있으나 추가 비용과 별도의 장치를 장착하기 위한 공간이 확보되야 하는 등의 문제가 발생한다.

본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시하고, 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있도록 하는 중장비 동작 안전 모니터링 시스템을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해 본 발명에 따른 중장비 동작 안전 모니터링 시스템은 영상 입력부, 통합 영상 생성부, 가이드 라인 생성부, 및 영상 출력부를 포함한다.

영상 입력부는 중장비에 탑재되어 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력하고, 통합 영상 생성부는 복수의 영상을 이용하여 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성하고, 가이드 라인 생성부는 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하며, 영상 출력부는 통합 영상에 가이드 라인을 표시하여 출력한다.

이와 같이, 중장비 주위 모든 방향의 영상을 통합한 영상을 생성함으로써 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시할 수 있게 되고, 출력 영상에 가이드 라인을 출력함으로써 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있게 된다.

통합 영상 생성부는 영상 입력부의 특성에 따라 입력된 영상을 보정하여 통 합 영상을 생성할 수 있다. 이러한 구성으로 영상 입력부가 광각 카메라 등을 채용하더라도 사용자가 용이하게 인식할 수 있는 영상을 제공할 수 있게 된다.

또한, 중장비 동작 안전 모니터링 시스템은 영상 입력부에서 입력된 영상을 이전에 입력된 영상과 비교하여 중장비로의 접근 물체 존재 여부를 판단하는 접근 물체 판단부를 더 포함할 수 있다. 이러한 구성으로 중장비로 접근하는 물체가 있는 경우 이에 대해 대응 동작을 수행할 수 있게 된다.

또한, 중장비 동작 안전 모니터링 시스템은 근접 물체 판단부에서 판단된 근접 물체가 중장비로부터 미리 설정된 거리 이내에 위치하는 경우 경보 신호를 출력하는 경보 신호 출력부를 더 포함할 수 있다. 이러한 구성으로, 사용자가 접근 물체를 인식하지 못하는 경우에도 중장비의 동작 안전을 보장할 수 있게 된다.

아울러, 상기 시스템을 방법의 형태로 구현한 발명이 개시된다.

본 발명에 의하면, 중장비 주위 모든 방향의 영상을 통합한 영상을 생성함으로써 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시할 수 있게 되고, 출력 영상에 가이드 라인을 출력함으로써 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있게 된다.

또한, 영상 입력부가 광각 카메라 등을 채용하더라도 사용자가 용이하게 인식할 수 있는 영상을 제공할 수 있게 된다.

또한, 중장비로 접근하는 물체가 있는 경우 이에 대해 대응 동작을 수행할 수 있게 된다.

또한, 사용자가 접근 물체를 인식하지 못하는 경우에도 중장비의 동작 안전을 보장할 수 있게 된다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1은 본 발명에 따른 중장비 동작 안전 모니터링 시스템의 개략적인 블록도이다.

도 1에서, 중장비 동작 안전 모니터링 시스템(1000)은 영상 입력부(1100), 통합 영상 생성부(1200), 가이드 라인 생성부(1300), 영상 출력부(1400), 근접 물체 판단부(1500), 및 경보 신호 출력부(1600)를 포함한다.

영상 입력부(1100)는 중장비에 탑재되어 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력한다. 이때 영상 입력부(1100)는 하나의 카메라를 이용하여 순차적으로 분할된 각방향의 영상을 입력할 수도 있겠지만, 미리 설정된 일정 각도를 촬영하는 복수의 카메라를 이용하여 복수의 영상을 입력하는 것이 일반적일 것이다.

통합 영상 생성부(1200)는 복수의 영상을 이용하여 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성한다. 통합 영상은 복수의 영상을 중장비에 대응하여 하나의 영상으로 함께 출력하는 것으로서 중장비 운전자는 통합 영상으로 인해 중장비 주변 상황을 한눈에 확인할 수 있게 된다.

이때, 통합 영상 생성부(1200)는 영상 입력부(1100)의 특성에 따라 입력된 영상을 보정하여 통합 영상을 생성할 수 있다. 이 경우 통합 영상 생성부(1200)는 미리 설정된 영상 입력부(1100)의 특성에 따라 입력된 영상 정보를 보정하게 된다.

예를 들어, 영상 입력부(1100)는 어안 렌즈와 같은 광각 렌즈를 이용하여 영상을 입력할 수 있으며, 이 경우 입력된 영상은 사용자가 보다 용이하게 인식할 수 있도록 출력전에 보정될 수 있다.

이러한 구성으로 영상 입력부가 광각 카메라 등을 채용하더라도 사용자가 용이하게 인식할 수 있는 영상을 제공할 수 있게 된다.

가이드 라인 생성부(1300)는 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성한다.

도 2는 도 1의 중장비 동작 안전 모니터링 시스템이 제시하는 2차원 영상 지면 좌표 모델을 도시한 도면이고, 도 3은 도 2의 영상 지면 좌표 모델에서 얻은 결과인 가이드 라인의 영상 데이터의 구상도이다.

여기서 X는 지면을 표현하는 좌표이고, Y는 지면의 수직 좌표이다. D는 중장비의 작업 반경 최소치로 시스템 정보 입력 과정에서 입력되는 값이다. F는 카메라의 초점거리, H는 카메라의 장착 높이, θ는 카메라의 수직 광각, Φ는 카메라의 피치각으로 카메라 정보 입력 과정에서 입력되는 값이다. 미지의 사이각 Ψ는 다음의 방법에 의하여 구해지는 것을 특징으로 한다.

먼저, 영상에서 최상단에 촬영되는 지면의 지점을 Lmax라 하고 영상의 최하단에서 촬영되는 지면의 지점을 Lmin이라 하면, 각각의 값은 다음 식에 의하여 구해진다.

(1) Lmin = H tan(φ - 0.5θ)

(2) Lmax = H tan(φ + 0.5θ)

D는 임의 변경 가능한 중장비의 작업 반경 최소치로 시스템 정보 입력 과정에서 입력되는 값을 기반으로 다음을 구할 수 있다.

(3) ψ = arctan(D / H) - (φ - 0.5θ)

도 2에서 제시된 영상 지면 좌표를 기반하여 촬영된 영상에서 중장비로부터 거리 D만큼 떨어진 곳 D'은 다음과 같이 구해진다. 여기서 D는 실제 지면에서의 거리이고, D'은 영상에서의 거리이다.

(4) D' = F tan(ψ)

또한, 상기 식(3)에서 D대신 2D와 3D를 대입하여 구한 각각의 ψ를 (4)식에 대입하여 2D'과 3D'을 구할 수 있다.

영상 출력부(1400)는 통합 영상에 가이드 라인을 표시하여 출력한다. 이와 같이, 중장비 주위 모든 방향의 영상을 통합한 영상을 생성함으로써 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시할 수 있게 되고, 출력 영상에 가이드 라인을 출력함으로써 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있게 된다.

근접 물체 판단부(1500)는 영상 입력부에서 입력된 영상을 이전에 입력된 영상과 비교하여 중장비로의 접근 물체 존재 여부를 판단한다. 이러한 구성으로 중장비로 접근하는 물체가 있는 경우 이에 대해 대응 동작을 수행할 수 있게 된다. 대응 동작은 시스템(1000)에 미리 설정된 것으로서, 예를 들면, 영상 출력부(1400) 화면으로의 근접 물체 존재의 출력 등이 될 수 있다.

경보 신호 출력부(1600)는 근접 물체 판단부(1500)에서 판단된 근접 물체가 중장비로부터 미리 설정된 거리 이내에 위치하는 경우 경보 신호를 출력한다. 이러한 구성으로, 사용자가 접근 물체를 인식하지 못하는 경우에도 중장비의 동작 안전을 보장할 수 있게 된다. 경보 신호는 중장비 운전자에게 출력되는 것일 수도 있고, 중장비 주위로 출력되는 것일 수도 있다.

도 4는 도 1의 중장비 동작 안전 모니터링 시스템의 사용 상태의 예를 도시한 도면이다.

도 4에서, 영상 입력부(1000)는 카메라(102), 통합 영상 생성부(1200), 및 가이드 라인 생성부(1300)는 영상 처리부(100), 영상 출력부(1400)는 디스플레이(101)로 각각 구현되어 있다.

영상 처리부(100)는 다수의 카메라로부터 얻어진 영상을 합성해서 촬영한 것과 같은 탑뷰형식으로 변환한다. 이 과정에서 생기는 왜곡을 보정하는 역할도 수행한다. 건설 장비에 부착된 카메라를 이용하여 공중에서 촬영한 것과 같은 영상을 얻음으로써 더욱 직관적으로 장애물과의 거리를 알 수 있고 실제로 공중에서 촬영하기 힘들다는 한계를 극복할 수 있다. 왜곡 보정을 통하여 촬영영상의 왜곡으로 인해 발생할 수 있는 작업자의 상황 판단에 장애가 될 수 있는 요소를 제거한다.

또한, 영상 처리부(100)는 미리 설정된 거리만큼 떨어진 작업 가이드 라인을 표시하여 출력하기 때문에 별도의 고가 장치 없이도 효과적으로 운전자에게 정확한 작업 반경이나 경계 거리를 인식시켜 작업 효율을 향상시키고 안전 사고를 방지할 수 있도록 해 준다.

영상차를 이용한 접근 경보부(미도시)는 굴삭기 등의 중장비가 정지 상태에서 시간에 따라 입력되는 영상들을 비교하여 전 영상과 현재 영상 간에 큰 차이가 발생하면 물체가 접근한것으로 판단하여 이를 조작자에게 알려주어 조작자가 영상을 모니터링하지 못하거나 물체가 접근한 것을 인지 못할시에 발생할 수 있는 안전사고를 예방할 수 있도록 해준다.

디스플레이(101)에서는 가상의 탑뷰 영상에 가이드라인을 출력하여 운전자로 하여금 직관적인 주변 환경을 모니터링 할 수 있도록 한다.

도 4에서 명확하게 도시되지는 않았지만, 굴삭기 등의 중장비에 설치된 카메라는 넓은 시야를 확보하기 위하여 어안 렌즈가 사용된다. 어안 렌즈의 사용에 따른 영상의 왜곡 및 복원은 소프트웨어를 이용하여 구현할 수 있다.

본 실시예에 따른 중장비 동작 안전 모니터링 시스템(1000)은 도 5의 과정을 수행한다. 도 5는 본 발명에 따른 굴삭기 등의 중장비 주변 환경 모니터링 방법의 일 실시예를 수행하기 위한 개략적인 흐름도이다.

카메라 정보 입력 과정(700)은 굴삭기 등의 중장비에 설치된 카메라의 초점거리, 광각, 설치 높이 등의 카메라 정보를 입력한다.

배럴 왜곡 보정 과정(711)은 상기 과정에서 입력된 카메라 정보를 기반으로 도 6에서 제시한 배럴 왜곡 보정 알고리즘을 사용하여 광각 렌즈의 사용에 따른 배럴 왜곡을 보정한다.

보정된 영상을 탑뷰 형식의 영상으로 통합하는 영상 통합 과정(740)은 상기 과정에서 생성된 보정된 영상을 통합하여 굴삭기 등의 중장비의 상부에서 보는 듯한 탑뷰 형식의 영상을 생성한다.

통합 영상 변환 맵핑 테이블 생성 과정(미도시)은 상기 과정에서 발생할 수 있는 연산 속도 저하 문제를 해결하기 위하여 맵핑 테이블을 생성하여 연산 속도를 개선한다.

상기의 과정으로부터 얻어진 영상은 굴삭기 등의 중장비 조작자에게 영상 출력 과정을 통하여 굴삭기 등의 중장비 주변을 모니터링한 화면을 출력한다(760).

도 4는 탑뷰 형식의 영상을 만들기 위한 입력 영상을 얻는 카메라의 설치 구상을 도시하고 있으며, 카메라의 고유한 시야 거리에 따라 영상은 원근 투영된다. 원근 투영으로 인한 왜곡을 보정하기 위하여 도 6에서 제시한 왜곡 보정 알고리즘을 사용한다.

도 6은 왜곡이 보정된 영상들을 탑뷰 형식의 영상으로 변환하는 과정을 도시한 도면이다. 4개의 영상을 각각의 위치에 적절하게 배치하여 4개의 영상이 전, 후 , 좌, 우의 위치에서 마치 하나의 통합된 영상을 보는듯하게 구성한다.

도 7은 도 4의 중장비 모니터링 시스템의 모니터링 과정을 도시한 개략적인 흐름도이다.

도 7에서, 카메라 영상 입력 과정(200)에서는 굴삭기 등의 중장비에 탑재된 카메라(102)가 이동체(중장비)가 이동하는 경로상의 주변 영상을 입력한다. 영상 입력 과정(200)에서 어안 렌즈를 이용하여 넓은 시야를 확보하는 한편 왜곡 보정 과정(201)에서는 이로 인한 왜곡을 보정하여 굴삭기 등의 중장비 조작자가 굴삭기 등의 중장비 주변을 더욱 확실하게 모니터링 할 수 있도록 한다.

도 8은 도 6에서 얻어진 탑뷰 영상에 가이드 라인을 생성하기 위한 과정의 개략적인 흐름도이다. 가이드라인 생성을 위해 굴삭기 등의 중장비의 정보와 카메라 정보를 입력하고 이를 이용하여 가이드라인을 생성하여 탑뷰 영상에 출력한다.

도 8에서와 같이, 본 발명은 굴삭기 등의 중장비에 설치된 카메라의 정보를 입력하는 카메라 정보 입력 과정, 입력된 정보들을 통해 영상의 왜곡을 보정하는 배럴 왜곡 보정 과정, 보정된 영상을 탑뷰 형식의 영상으로 변환하는 영상 통합 과정, 정확한 거리를 알려주기 위한 가이드라인 생성과정, 물체가 접근하였음을 알려주는 접근 경보 과정, 완성된 영상을 출력하는 영상 출력 과정으로 이루어져 있다.

도 9는 탑뷰 영상에 가이드라인을 생성한 예의 도면이다. 가이드 라인의 거리는 정보 입력단계에서 설정해 준다. 거리에 따른 가이드 라인의 색상과 모양을 달리하여 운전자로 하여금 직관적으로 거리를 인지할 수 있도록 해준다.

도 10은 실시간으로 입력되는 영상들의 차이를 이용한 물체 접근 경보를 위한 접근 경보 과정의 개략적인 흐름도이다. 굴삭기 등의 중장비가 정지해 있을 시에만 작동하도록 할 수 있고, 전 프레임의 영상과 현재 프레임의 영상의 차이를 계산하여 그 차이가 클 때 물체가 접근한것으로 판단하여 조작자에게 알려준다.

도 11은 근접 물체 판단부가 근접 물체를 판단하는 예를 도시한 개략적인 도면이고, 도 12는 조작자를 위한 디스플레이 화면의 예시 도면이다.

도 12에서, 주화면에는 탑뷰 형식의 화면에 가이드라인이 생성된다. 탑뷰 영상에서 전, 후, 좌, 우 영상 중 물체의 접근이 발생하면 해당 영상이 점멸하며 경보 신호를 출력하고, 부화면에는 전, 후, 좌, 우의 영상을 주 화면에서 해당 부분을 터치시 따로 디스플레이가능하다. 전, 후의 경우 차량의 진행 방향에 따라 자동으로 전환된다.

디스플레이 화면으로는 터치 스크린을 사용한다. 주화면(300)에는 탑뷰 형식의 디스플레이에 가이드 라인이 생성되어 거리를 알려주고 4면에 장착되어 있는 카메라를 터치하였을시 해당 카메라로부터 얻어지는 영상을 부화면(301)에서 확인이 가능하다.

본 발명은 굴삭기 등의 중장비의 카메라를 통하여 굴삭기 등의 중장비 조정자에게 영상 정보를 제공하는 기술로써 굴삭기 등의 중장비의 작업 반경을 표현하는 영상을 탑뷰 형식으로 출력하는 모니터링 장치에 관한 것이다.

본 발명은 굴삭기 등의 중장비에 설치된 광각 카메라로부터 획득되는 배럴 왜곡된 영상를 보정하고 보정된 영상을 맵핑 테이블을 통해 연산 속도를 개선하여 탑뷰 형식의 영상을 제공하여 조종자에게 굴삭기 등의 중장비 주변을 모니터링 할 수 있도록 한다.

본 발명은 카메라의 정보를 입력하는 카메라 정보 입력 과정: 상기 입력된 정보들을 통해 굴삭기 등의 중장비에 설치된 카메라로부터 얻어진 영상의 왜곡을 보정하는 배럴 왜곡 보정 과정: 보정된 영상을 통합하는 영상 통합 과정: 연산 속도를 높이기 위한 통합 영상 변환 맵핑 테이블 생성 과정: 탑뷰 형식으로 생성된 영상을 조종자에게 제공하는 영상 출력 과정으로 이루어져 있다.

본 발명에서, 영상 입력부(1100)는 굴삭기 등의 중장비에 탑재되어 굴삭기 등의 중장비가 이동하는 주위의 영상을 입력한다. 영상 처리부(1200)는 다수의 카메라로부터 얻어진 영상들의 왜곡을 보정하고 보정된 영상을 이용하여 카메라의 사각지대를 제거하기 위한 영상 처리와 처리된 영상들을 하나의 탑뷰형식의 영상들로 변환한다.

가이드 라인 생성부(1300)는 영상 상에 영상 입력부로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하며, 접근 경보부(1600)는 입력된 영상들의 차이를 측정하여 물체가 접근하여 영상에 차이가 생길시 접근 경보를 울린다. 영상 출력부(1400)는 처리된 영상을 작업자가 확인할 수 있도록 화면에 출력한다.

굴삭기 등의 중장비 조종자에게 제공되는 영상에 탑뷰형식의 사각지대가 없는 영상을 제공하기 때문에 굴삭기 등의 중장비 내부에서도 굴삭기 등의 중장비 주변을 모두 확인이 가능하며 가이드 라인 생성으로 정확한 거리 인지가 가능하다.

또한 접근 경보부를 통하여 작업자가 인지 못한 외부 물체가 접근시 이를 조작자에게 알려주어 보조 작업자 없이도 굴삭기 등의 중장비 이동이나 작업시에 발 생할 수 있는 안전 사고 예방 및 작업의 효율을 향상시킬 수 있도록 해준다.

본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.

도 1은 본 발명에 따른 중장비 동작 안전 모니터링 시스템의 개략적인 블록도.

도 2는 도 1의 중장비 동작 안전 모니터링 시스템이 제시하는 2차원 영상 지면 좌표 모델을 도시한 도면.

도 3은 도 2의 영상 지면 좌표 모델에서 얻은 결과인 가이드 라인의 영상 데이터의 구상도.

도 4는 도 1의 중장비 동작 안전 모니터링 시스템의 사용 상태의 예를 도시한 도면.

도 5는 본 발명에 따른 굴삭기 등의 중장비 주변 환경 모니터링 방법의 일 실시예를 수행하기 위한 개략적인 흐름도.

도 6은 왜곡이 보정된 영상들을 탑뷰 형식의 영상으로 변환하는 과정을 도시한 도면.

도 7은 도 4의 중장비 모니터링 시스템의 모니터링 과정을 도시한 개략적인 흐름도.

도 8은 도 6에서 얻어진 탑뷰 영상에 가이드 라인을 생성하기 위한 과정의 개략적인 흐름도.

도 9는 탑뷰 영상에 가이드라인을 생성한 예의 도면.

도 10은 실시간으로 입력되는 영상들의 차이를 이용한 물체 접근 경보를 위한 접근 경보 과정의 개략적인 흐름도.

도 11은 근접 물체 판단부가 근접 물체를 판단하는 예를 도시한 개략적인 도면.

도 12는 조작자를 위한 디스플레이 화면의 예시 도면.

Claims

중장비에 탑재된 영상 촬영 장치를 이용하여 상기 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력하는 영상 입력부;

상기 복수의 영상을 이용하여 상기 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성하는 통합 영상 생성부;

상기 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하는 가이드 라인 생성부;

상기 통합 영상에 상기 가이드 라인을 표시하여 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 시스템.
제 1항에 있어서,

상기 통합 영상 생성부는 상기 영상 입력부의 특성에 따라 상기 입력된 영상을 보정하여 상기 통합 영상을 생성하는 것을 특징으로 하는 중장비 동작 안전 모니터링 시스템.
제 1항에 있어서,

상기 영상 입력부에서 입력된 영상을 이전에 입력된 영상과 비교하여 상기 중장비로의 접근 물체 존재 여부를 판단하는 근접 물체 판단부를 더 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 시스템.
제 3항에 있어서,

상기 근접 물체 판단부에서 판단된 근접 물체가 상기 중장비로부터 미리 설정된 거리 이내에 위치하는 경우 경보 신호를 출력하는 경보 신호 출력부를 더 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 시스템.
중장비에 탑재된 영상 촬영 장치를 이용하여 상기 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력하는 영상 입력 단계;

상기 복수의 영상을 이용하여 상기 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성하는 통합 영상 생성 단계;

상기 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하는 가이드 라인 생성 단계;

상기 통합 영상에 상기 가이드 라인을 표시하여 출력하는 영상 출력 단계를 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 방법.
제 5항에 있어서,

상기 통합 영상 생성 단계는 영상 입력 장치의 특성에 따라 상기 입력된 영상을 보정하여 상기 통합 영상을 생성하는 것을 특징으로 하는 중장비 동작 안전 모니터링 방법.
제 5항에 있어서,

상기 영상 입력 단계에서 입력된 영상을 이전에 입력된 영상과 비교하여 상기 중장비로의 접근 물체 존재 여부를 판단하는 근접 물체 판단 단계를 더 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 방법.
제 7항에 있어서,

상기 근접 물체 판단 단계에서 판단된 근접 물체가 상기 중장비로부터 미리 설정된 거리 이내에 위치하는 경우 경보 신호를 출력하는 경보 신호 출력 단계를 더 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 방법.