KR101640602B1 - 건설기계의 사각지대 표시 장치 및 그 방법 - Google Patents

Abstract

본 발명은 건설기계의 부착물에 적재물을 싣고 운반하거나 작업하는 경우 부착물 또는 적재물에 의해 가려지는 작업자의 사각지대를 영상 처리하여 표시해주는 건설기계의 사각지대 표시 장치 및 그 방법에 관한 것이다.

이를 위한 본 발명은 건설기계의 몸체에 다수의 카메라를 장착하고, 장착된 카메라들로부터 촬상된 각각의 영상을 합성하여 렌더링(rendering) 처리함으로써 작업자의 시야에 보이지 않는 사각지대를 표시할 수 있다. 특히, 건설기계의 부착물에 적재물을 적재하거나 부착물을 상하좌우로 이동하여 작업하는 중 부득이하게 작업자의 시야를 가리게 되는 경우 이를 카메라를 통해 촬상한 영상으로부터 실시간으로 영상 처리하여 삭제함으로써 마치 작업자의 시야에는 부착물 또는 적재물이 없는 것과 같은 화면을 보여줄 수 있다.

건설기계, 부착물(attachment), 사각지대, 영상 처리

Description

건설기계의 사각지대 표시 장치 및 그 방법{APPARATUS AND METHOD FOR DISPLAYING DEAD ZONE OF CONSTRUCTION EQUIPMENT}

본 발명은 건설기계의 사각지대 표시 장치 및 그 방법에 관한 것으로, 건설기계의 주행이나 작업 중에 보이지 않는 사각 지대를 표시해 줌으로써 작업자의 인지력을 증가시켜 사고를 미연에 방지할 수 있는 건설기계의 사각지대 표시 장치 및 그 방법에 관한 것이다.

일반적으로, 굴삭기, 휠로더, 지게차 등 건설에 쓰이는 건설기계를 운전할 때, 전방의 상황은 물론, 후방, 측방 등에 대한 상황도가 매우 중요한 요소로 작용하고 있다.

따라서, 작업자는 주행 또는 작업 중 전방의 시야를 확인하고, 또는 건설기계의 차체에 구비된 사이드미러를 통해 후방이나 양측방의 상황을 확실하게 인지한 다음에 원하는 방향으로 건설기계를 주행하거나 작업을 수행하였다.

그런데, 건설기계를 주행 또는 작업하는 도중 건설기계의 부착 물(attachment)을 상하로 이동하게 되면 이 부착물에 의해 작업자의 전방 시야가 가려지게 된다. 더욱이, 부착물에 적재물을 적재하는 경우에는 적재물에 의해 전방 시야가 더 많이 가려지는 사각지대가 생길 수 있다.

이로 인해, 건설기계의 주행 또는 작업시 방해가 되어 사고가 발생할 문제점이 있다.

본 발명은 이러한 문제점을 해결하기 위해서 도출된 것으로서, 건설기계의 부착물 또는 부착물에 적재된 적재물에 의해 가려지는 시야의 사각지대를 영상 처리하여 표시해주는 건설기계의 사각지대 표시 장치 및 그 방법을 제공하는 데 그 목적이 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 건설기계의 사각지대 표시 장치는, 부착물을 상하좌우로 이동시키거나, 상기 부착물에 적재물을 적재하여 주행 및 작업하는 건설기계에 있어서, 상기 건설기계에 장착되어 주행 및 작업하는 전방 시야를 촬상하는 다수의 카메라; 상기 다수의 카메라를 통해 촬상한 각 영상을 하나의 영상으로 합성하는 영상 합성부; 상기 영상 합성부에서 합성된 영상을 실사와 같이 실시간으로 이미지 렌더링(rendering)하고, 상기 부착물을 상하좌우로 이동할 때 상기 영상 합성부에서 합성된 영상에서 작업자의 시야를 가리는 상기 부착물 또는 상기 부착물을 포함한 적재물에 대한 이미지를 삭제 처리하는 실시간 영상 처리부; 및 상기 실시간 영상 처리부에서 영상 처리된 합성 영상을 표시하는 표시부를 포함할 수 있다.

본 발명의 일례에 따르면, 상기 다수의 카메라는, 상기 건설기계의 전방 상부를 촬상하는 상부 카메라; 및 상기 건설기계의 전방 하부를 촬상하는 하부 카메라를 포함할 수 있다.

본 발명의 일례에 따르면, 상기 실시간 영상 처리부는, 상기 부착물을 영상에서 삭제 처리하기 위해, 상기 영상 합성부에서 합성된 영상에서 상기 부착물 또는 상기 부착물을 포함한 적재물에 대한 특정 이미지를 추출하는 특정이미지 추출부; 상기 특정 이미지에 의해 작업자의 시야를 가리게 되는 폐색 영역을 삭제하고, 삭제된 폐색 영역에 대체할 영상을 이전 합성 영상으로부터 추출하여 삽입시키는 폐색 영역 추출부; 및 상기 특정 이미지에 대한 정보를 기록한 특정 이미지 DB를 포함할 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 건설기계의 사각지대 표시 방법은, 건설기계에 장착된 다수의 카메라를 통해 상기 건설기계가 주행하는 또는 작업하는 전방의 상부 및 하부를 촬상하는 단계; 상기 다수의 카메라를 통해 촬상된 각 영상들을 하나의 영상으로 합성하는 단계; 상기 하나의 영상으로 합성된 영상을 3차원 이미지로 렌더링하는 단계; 상기 합성된 영상에서 상기 건설기계의 부착물 또는 상기 부착물에 적재된 적재물에 대한 특정 이미지가 존재하는지를 확인하는 단계; 상기 특정 이미지가 존재하지 않으면 렌더링한 영상을 표시부로 출력하여 디스플레이하고, 상기 특정 이미지가 존재하면 상기 특정 이미지에 의해 전방 시야가 가려지는 폐색 영역을 삭제한 후 삭제된 폐색 영역에 대체할 영상을 이전 합성 영상으로부터 추출하여 삽입시키는 단계를 포함할 수 있다.

상기한 본 발명에 따르면, 건설기계의 부착물 또는 적재물에 의해 가려지는 전방의 시야를 실시간으로 영상 처리하여 표시해줌으로써 작업자의 인지력을 증가시켜 안전성을 확보할 수 있는 효과가 있다. 이로써, 사고를 미연에 방지할 수 있는 효과가 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 건설기계의 사각지대 표시 장치 및 방법에 대하여 상세히 설명한다.

본 발명에서는 건설기계에 다수의 카메라를 장착하고 이 카메라들로부터 촬상된 각각의 이미지를 하나의 영상으로 합성하여 영상 처리함으로써 작업자의 시야에 보이지 않는 사각지대를 화면에 표시해 주는 구성을 제시한다. 특히, 건설기계의 부착물(attachment)을 상하로 이동하면서 작업하는 도중 부득이하게 부착물에 의해 작업자의 시야를 가리게 되는 경우 이를 실시간 영상 처리하여, 마치 작업자의 전방 시야에는 부착물이 없는 것과 같은 화면을 제공한다.

도 1은 본 발명의 실시예에 따른 건설기계의 사각지대 표시 장치를 나타낸 구성도이고, 도 2는 본 발명의 실시예에 따른 카메라가 건설기계에 장착된 상태를 나타낸 도면이다.

먼저 도 1을 참조하면, 본 발명의 실시예에 따른 건설기계의 사각지대 표시 장치는, 건설기계(100)에 장착되는 다수의 카메라(110)와, 영상 합성부(120), 실시간 영상 처리부(130), 특정 이미지 DB(140), 표시부(150)를 포함하여 구현될 수 있다.

다수의 카메라(110)는 건설기계(100)가 주행하거나 작업하는 전방을 감시하기 위한 것으로, 건설기계(100)의 전방 상부를 촬상하는 상부 카메라(110a) 및 건설기계(100)의 전방 하부를 촬상하는 하부 카메라(110b)를 포함할 수 있다.

이러한 상부 카메라(110a) 및 하부 카메라(110b)는 도 2에 도시한 것처럼 건설기계(100)의 몸체(102) 상부 및 하부에 각각 장착되어 건설기계(100)의 전방을 향해 촬상하도록 구비된다.

이를 위해, 상부 카메라(110a) 및 하부 카메라(110b)는 초소형으로 구비할 수 있다.

또한, 다수의 카메라(110)는 도면에 도시하지 않았으나, 건설기계(100)의 전방, 후방, 좌측, 우측을 각각 촬상하는 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라를 포함하여 구성될 수 있다. 이 경우, 다수의 카메라(110)는 건설기계의 전후좌우 4방위를 모두 촬상하므로, 주행 또는 작업시 모든 방위의 사각지대를 용이하게 감시할 수 있다.

한편, 영상 합성부(120)는 다수의 카메라(110) 즉, 상부 카메라(110a) 및 하부 카메라(110b)와 연결되어, 상부 카메라(110a) 및 하부 카메라(110b)로부터 인가받은 제1 영상과 제2 영상을 하나의 영상으로 합성한다.

여기서, 제1 영상은 상부 카메라(110a)를 통해 전방의 상부를 초점으로 촬상한 영상이고, 제2 영상은 하부 카메라(110b)를 통해 전방의 하부를 초점으로 촬상한 영상이다. 따라서, 제1 영상과 제2 영상을 합성한 하나의 영상은 전방 시야의 모든 각도를 촬상한 영상이 된다.

이때, 제1 영상과 제2 영상이 전방으로부터 보여지는 실사의 중간 지점을 기준으로 상부 또는 하부를 촬상한 영상이면, 영상 합성부(120)는 제1 영상과 제2 영상을 각각 상하부에 배치하여 상하부가 일치하도록 매칭하는 것으로 합성할 수 있다.

그러나, 실제 카메라를 통해 정밀하게 전방의 중간 지점을 기준으로 상부 및 하부만 촬상하는 것이 어렵다.

따라서, 상부 카메라(110a)와 하부 카메라(110b)가 촬상하는 시야각을 일부 중첩시켜, 상부 카메라(110a)를 통해 촬상한 제1 영상의 하부와 하부 카메라(110b)를 통해 촬상한 제2 영상의 상부가 중복되게 할 수 있다. 이로써, 영상 합성부(120)는 상부 카메라(110a) 및 하부 카메라(110b)로부터 인가받은 제1 영상과 제2 영상에서 중복되는 영상을 맞추어 제1 영상과 제2 영상을 실제 화면처럼 합성할 수 있다.

또는, 다른 방법으로, 영상 합성부(120)는 상부 카메라(110a)를 통해 촬상한 제1 영상의 하부 윤곽선과, 하부 카메라(110b)를 통해 촬상한 제2 영상의 상부 윤곽선을 이용하여 이 둘을 서로 연결하기 위한 윤곽선을 유추함으로써 영상을 합성할 수도 있다. 이는 상부 카메라(110a)와 하부 카메라(110b)가 촬상하는 시야각이 중첩되지 않을 경우에 적용될 수 있다.

실시간 영상 처리부(130)는 영상 합성부(120)에서 합성된 영상(이하, '합성 영상'이라 칭함)을 실시간 영상 처리하기 위한 모듈이다.

이러한 실시간 영상 처리부(130)는 합성 영상을 3차원 이미지로 렌더링하고 필요에 따라 작업자의 시야각이 위에서 내려다보는 것과 같은 영상으로 처리하는 이미지 렌더링부(132), 합성 영상에 특정 이미지 DB(140)에 기록된 특정 이미지가 존재하는지를 추출하는 특정 이미지 추출부(134), 합성 영상에서 특정 이미지에 의해 폐색(occlusion)된 영역(이하, '폐색 영역'이라 칭함)을 대체할 영상을 삽입하는 폐색 영역 처리부(136)를 포함할 수 있다.

여기서, 특정 이미지는 건설기계의 버켓(도 2의 104)이나 포크 등에 대한 부착물 또는 부착물에 적재되는 적재물에 대한 이미지이다. 이러한 특정 이미지는 사용 용도 및 형상에 따라 다양할 수 있으므로 모든 이미지에 대한 정보를 특정 이미지 DB(140)에 기록해 둔다.

따라서, 실시간 영상 처리부(130)는 기본적으로 영상 합성부(120)로부터 인가받은 합성 영상을 이미지 렌더링부(132)를 통해 실사와 같이 영상 처리하여 표시부(150)로 출력한다. 아울러, 영상 합성부(120)로부터 인가받은 합성 영상에서 특정 이미지가 추출되면, 특정 이미지에 의해 가려지는 폐색 영역을 삭제하고 삭제한 폐색 영역에 이전 합성 영상으로부터 폐색 영역과 대응되는 영역을 추출하여 상기 폐색 영역에 삽입시킨다. 그리고, 삽입시킨 합성 영상을 표시부(150)로 출력한다.

이러한 동작을 실시간으로 수행하면, 작업자는 부착물에 적재물을 실어 상하로 움직이면서 작업하는 도중에도 마치 부착물이나 적재물이 없는 것과 같은 화면을 보게 된다. 따라서, 작업 중 부득이하게 작업자의 시야를 가리는 것을 영상 처리를 통해 해소할 수 있다.

이와 같이 구성되는 건설기계의 사각지대 표시 장치의 동작 과정을 도 3을 참조하여 살펴보기로 한다.

도 3은 본 발명의 실시예에 따른 건설기계의 사각지대 표시 방법을 설명하기 위한 흐름도이다.

먼저, 건설기계에 장착된 상부 카메라 및 하부 케메라를 통해 건설기계가 주행하는 또는 작업하는 전방의 상부 및 하부를 촬상한다(S100).

이때, 필요에 따라 상부 카메라와 하부 카메라가 촬상하는 시야각을 일부 중첩시켜 이들로부터 촬상한 영상 즉, 상부 카메라를 통해 촬상한 하부 이미지와, 하부 카메라를 통해 촬상한 상부 이미지가 일부 중복되게 설정할 수 있다.

이후, 도 4에 도시한 것처럼, 상부 카메라와 하부 카메라를 통해 촬상된 제1 영상과 제2 영상을 영상 합성부로 인가하여 합성한다(S110).

이때, 영상 합성 방법으로는, 일 예로, 제1 영상과 제2 영상이 전방 실사의 중간 지점을 기준으로 상부만 또는 하부만 촬상한 영상이라면 제1 영상과 제2 영상을 상하부에 배치하여 정합하는 것으로 합성이 가능하다.

다른 예로, 상부 카메라와 하부 카메라가 촬상하는 시야각이 일부 중첩된 경우, 상부 카메라를 통해 촬상한 제1 영상과 하부 카메라를 통해 촬상한 제2 영상간 중복되는 영상을 기준으로 영상 맞춤함으로써 합성할 수 있다.

또 다른 예로, 상부 카메라와 하부 카메라가 촬상하는 시야각이 중첩되지 않은 경우, 상부 카메라를 통해 촬상한 제1 영상의 윤곽선과, 하부 카메라를 통해 촬상한 제2 영상의 윤곽선을 이용하여, 이 둘 윤곽선을 자연스럽게 연결하기 위한 새로운 윤곽선을 유추함으로써 영상을 합성할 수 있다.

이후, 영상 합성부에서 합성된 영상을 3차원 이미지로 렌더링한다(S120).

이후, 특정 이미지 DB에 저장된 데이터에 기초하여 합성 영상에 특정 이미지가 존재하는지를 확인한다(S130).

특정 이미지가 존재하지 않으면 렌더링한 영상을 표시부로 출력하여 디스플레이하고(S160), 특정 이미지가 존재하면 특정 이미지에 의해 전방 시야가 가려지는 폐색 영역(occlusion region)을 삭제한다(S140).

여기서, 특정 이미지는 건설기계에서 적재물을 운반하는 데 사용되는 버켓이나 포트 등에 대한 부착물의 이미지일 수 있으며, 적재물 자체에 대한 이미지도 포함할 수 있다.

폐색 영역은 특정 이미지가 존재하여 작업자의 시야가 가려지는 영역으로, 카메라에 의해 촬상된 영상을 통해 인식할 수 있다.

이후, 삭제된 폐색 영역에 대체할 이미지를 이전 합성된 영역으로부터 추출하여, 삭제된 폐색 영역에 삽입한다(S150).

이후, 삽입된 합성 영상을 표시부로 출력하여 사용자에게 보여준다(S160).

이처럼, 작업자는 건설기계를 이용하여 작업하는 도중 부착물에 적재물을 실은 상태에서 또는 부착물만 올리고 내릴 경우, 기존에는 건설기계의 구조적 특성상 불가피한 현상으로 받아들였으나, 상기한 과정에 따르면 영상 처리를 통하여 보이지 않는 부분을 보면서 안전하게 작업 및 주행을 수행할 수 있다.

이상 첨부된 도면을 참조하여 건설기계의 상부 및 하부를 촬상하는 상부 카메라와 하부 카메라를 이용한 사각지대 표시 방법에 대해서만 설명하였으나, 이에 한정되지 않고 건설기계의 전방, 후방, 좌측, 우측 등의 사방에 다수의 카메라를 설치하여 사각지대를 표시하는 방법도 적용 가능할 것이다.

즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

도 1은 본 발명의 실시예에 따른 건설기계의 사각지대 표시 장치를 나타낸 구성도이다.

도 2는 본 발명의 실시예에 따른 카메라가 건설기계에 장착된 상태를 나타낸 도면이다.

도 3은 본 발명의 실시예에 따른 건설기계의 사각지대 표시 방법을 설명하기 위한 흐름도이다.

도 4는 상기 방법에 의해 표시되는 영상의 예시 화면이다.

<도면의 주요부분에 대한 부호의 설명>

110: 다수의 카메라 110a: 상부 카메라

110b: 하부 카메라 120: 영상 합성부

130: 실시간 영상 처리부 132: 이미지 렌더링부

134: 특정 이미지 추출부 136: 폐색 영역 처리부

140: 특정 이미지 DB 150: 표시부

Claims (4)

1. 부착물을 상하좌우로 이동시키거나, 상기 부착물에 적재물을 적재하여 주행 및 작업하는 건설기계에 있어서,

   상기 건설기계에 장착되어 주행 및 작업하는 전방 시야를 촬상하는 다수의 카메라;

   상기 다수의 카메라를 통해 촬상한 각 영상을 하나의 영상으로 합성하는 영상 합성부;

   상기 영상 합성부에서 합성된 영상을 실사와 같이 실시간으로 이미지 렌더링(rendering)하고, 상기 부착물을 상하좌우로 이동할 때 상기 영상 합성부에서 합성된 영상에서 작업자의 시야를 가리는 상기 부착물 또는 상기 부착물을 포함한 적재물에 대한 이미지를 삭제 처리하는 실시간 영상 처리부; 및

   상기 실시간 영상 처리부에서 영상 처리된 합성 영상을 표시하는 표시부

   를 포함하며,

   상기 실시간 영상 처리부는,

   상기 부착물을 영상에서 삭제 처리하기 위해,

   특정 이미지에 대한 정보를 기록한 특정 이미지 DB;

   상기 영상 합성부에서 합성된 영상에 상기 부착물 또는 상기 부착물을 포함한 적재물에 대한 미리 저장된 특정 이미지가 존재하는지를 확인하고, 상기 합성된 영상에 특정이미지가 존재하는 경우, 상기 합성된 영상에서 특정 이미지를 추출하는 특정이미지 추출부; 및

   상기 특정 이미지에 의해 작업자의 시야를 가리게 되는 폐색 영역을 삭제하고, 삭제된 폐색 영역에 대체할 영상을 이전 합성 영상으로부터 추출하여 삽입시키는 폐색 영역 추출부;

   를 포함하고,

   상기 특정 이미지는, 건설기계의 버켓이나 포크에 대한 부착물 또는 부착물에 적재되는 적재물에 대한 이미지인 것을 특징으로 하는 건설기계의 사각지대 표시 장치.
2. 제1항에 있어서,

   상기 다수의 카메라는,

   상기 건설기계의 전방 상부를 촬상하는 상부 카메라; 및

   상기 건설기계의 전방 하부를 촬상하는 하부 카메라

   를 포함하는 것을 특징으로 하는 건설기계의 사각지대 표시 장치.
3. 삭제
4. 건설기계에 장착된 다수의 카메라를 통해 상기 건설기계가 주행하는 또는 작업하는 전방의 상부 및 하부를 촬상하는 단계;

   상기 다수의 카메라를 통해 촬상된 각 영상들을 하나의 영상으로 합성하는 단계;

   상기 하나의 영상으로 합성된 영상을 3차원 이미지로 렌더링하는 단계;

   상기 합성된 영상에서 상기 건설기계의 부착물 또는 상기 부착물에 적재된 적재물에 대한 특정 이미지가 존재하는지를 확인하는 단계-상기 특정 이미지에 대한 정보는 미리 DB에 기록되어 있음-; 및

   상기 특정 이미지가 존재하지 않으면 렌더링한 영상을 표시부로 출력하여 디스플레이하고, 상기 특정 이미지가 존재하면 합성된 영상에서 상기 특정 이미지를 추출하며 상기 특정 이미지에 의해 전방 시야가 가려지는 폐색 영역을 삭제한 후 삭제된 폐색 영역에 대체할 영상을 이전 합성 영상으로부터 추출하여 삽입시키는 단계

   를 포함하며,

   상기 특정 이미지는, 건설기계의 버켓이나 포크에 대한 부착물 또는 부착물에 적재되는 적재물에 대한 이미지인 것을 특징으로 하는 건설기계의 사각지대 표시 방법.

Images