KR20190089336A - 영상 내 물체의 이동 속도 측정 장치 및 측정 방법, 상기 방법을 수행하기 위한 기록 매체 - Google Patents

Abstract

본 발명은 카메라를 이용하여 촬영된 영상을 이용하여 물체와 카메라와의 거리를 측정할 수 있는 영상 내 물체의 이동 속도 측정 장치 및 측정 방법에 관한 것으로, 이동 중인 물체를 촬영하는 촬영부; 마스킹을 적용하여 물체를 인식하는 물체 인식부; n 초 후의 충돌 가능성을 계산하는 충돌 가능성 계산부; 이동 중인 물체와 이용자가 충돌할 것으로 판단하는 충돌 판단부; 이동 중인 물체의 종류를 식별하며, 물체의 종류에 대응하는 알림의 형태를 결정하는 충돌 대응부; 및 결정된 상기 알림의 형태로 이용자에게 이동 중인 물체의 현재 위치와 거리를 알리는 충돌 알림부를 포함한다.

Description

영상 내 물체의 이동 속도 측정 장치 및 측정 방법, 상기 방법을 수행하기 위한 기록 매체{Speed Measurement Device and Method of Object in Video, Recording Medium for Performing the Method}

본 발명은 영상 내 물체의 이동 속도 측정 장치 및 측정 방법, 상기 방법을 수행하기 위한 기록 매체에 관한 것으로,

더욱 상세하게는 카메라를 통해 촬영된 영상을 이용하여 물체의 종류에 따라 다른 대응이 가능하도록 구현한 영상 내 물체의 이동 속도 측정 장치 및 측정 방법, 상기 방법을 수행하기 위한 기록 매체에 관한 것이다.

영상에서 객체의 움직임을 추적하기 위해 다양한 방법이 사용되었다. 예를 들어, 영상에서 객체의 움직임을 추적하기 위한 방법으로 블록 기반 추적 방법, 화소 기반 추적 방법, 광류 기반 추적 방법 등이 사용될 수 있다.

블록 기반 추적 방법의 대표적인 것으로는 블록 정합 기법이 있고, 화소 기반 추적 방법에는 차 영상 기법과 배경 영상 기법이 있다. 블록 정합 기법은 연산량이 많기 때문에 빠른 움직임을 추적할 경우 움직이는 목표물을 놓쳐버리는 단점이 있고, 차 영상 기법은 물체의 움직임이 적을 경우, 움직임을 추적하지 못하는 단점이 있다. 또한, 광류 기반 추적 방법은 계산 속도가 오래 걸린다는 단점이 있다. 하지만, 배경 영상 기법은 빠르게 움직이는 물체 추적에 강하다는 장점은 있지만, 배경 영상을 보상해야 한다는 단점이 있다.

또한, 스테레오 영상으로 객체의 위치 및 속도를 결정하는 방법도 연구되었다. 스테레오 영상은 사람의 눈과 같이 입체감을 느끼기 위해 좌, 우측 카메라 2대가 필요하며, 동시성을 갖고 영상을 취득하게 된다. 취득된 영상을 정합하여 얻어지는 시차 정보를 이용하여 움직이는 객체의 거리, 이동 거리 및 속도를 측정할 수 있다.

한국공개특허 제10-2009-0059475호 한국등록특허 제10-1534363호

본 발명의 일측면은 Mask R-CNN 기법을 적용하여 물체가 차지하는 영역을 계산해 낼 수 있을 뿐만 아니라, 해당 물체가 무엇인지도 판별해 낼 수 있는 영상 내 물체의 이동 속도 측정 장치 및 측정 방법, 상기 방법을 수행하기 위한 기록 매체를 제공한다.

본 발명의 다른 일측면은, 촬영된 영상에 나타나는 물체들의 이동 속도와 이용자의 이동 속도를 고려하여 물체들의 이후 이동 방향과 거리를 예측하여 미리 정보를 제공한다.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 영상 내 물체의 이동 속도 측정 장치는, 이동 중인 물체를 촬영하는 촬영부; 촬영된 영상의 각 프레임을 픽셀 단위로 나누어 각 픽셀이 이동 중인 물체에 해당하는지 판별하는 마스킹을 적용하여 물체를 인식하는 물체 인식부; 이동 중인 물체의 이동 속도와 이용자의 이동 속도를 계산하여 n 초 후의 충돌 가능성을 계산하는 충돌 가능성 계산부; 계산된 충돌 가능성이 기 설정된 확률 이상이면 이동 중인 물체와 이용자가 충돌할 것으로 판단하는 충돌 판단부; 이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우, 이동 중인 물체의 종류를 식별하며, 물체의 종류에 대응하는 알림의 형태를 결정하는 충돌 대응부; 및 결정된 상기 알림의 형태로 이용자에게 이동 중인 물체의 현재 위치와 거리를 알리는 충돌 알림부를 포함한다.

일 실시예에서, 상기 물체 인식부는, 촬영된 영상을 프레임 별로 Mask R-CNN 기법을 적용하는 마스킹 적용부; 및 Mask R-CNN 기법을 통해 획득한 오브젝트의 마스크를 통해 이동 중인 물체를 인식하는 인식부를 포함할 수 있다.

일 실시예에서, 상기 마스킹 적용부는, 촬영된 영상에서 여러 RoI(Region of Interest) 후보를 제안하는 후보 제안부; 제안된 RoI 후보들을 경계 박스로 설정하며, 경계 박스의 위치의 특징맵을 RoIAlign 방식으로 추출하는 특징맵 추출부; 및 추출된 특징맵으로부터 오브젝트의 클래스를 분류함과 동시에 오브젝트의 마스크를 획득하는 마스크 획득부를 포함할 수 있다.

일 실시예에서, 상기 충돌 판단부는, 상기 물체 인식부에서 인식된 물체의 이동 속도를 측정하는 속도 측정부; 및 이동 중인 물체와 이용자의 n 초 후의 충돌 가능성을 판단하는 충돌 가능성 판단부를 포함할 수 있다.

일 실시예에서, 상기 충돌 대응부는, 두 개 이상의 물체를 동시에 식별하며, 이동 중인 물체가 생물인지 또는 사물인지를 식별하여 생물 또는 사물에 대응하여 알림의 형태를 달리 결정할 수 있다.

일 실시예에서, 이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우, 물체의 이동경로를 판독하여 물체의 이동경로로부터 벗어나도록 이용자를 유도하는 회피유도알림을 생성하는 회피 유도부를 더 포함할 수 있다.

일 실시예에서, 상기 회피 유도부는, 두 개 이상의 물체와 이용자가 충돌할 것으로 판단된 경우, 물체들의 이동경로로부터 벗어나는 방향으로 이용자를 유도하는 제1순위 회피유도알림을 생성할 수 있다.

일 실시예에서, 상기 회피 유도부는, 이동 중인 물체의 이동경로로부터 벗어날 수 없다고 판단되는 경우, 이용자에게 발생할 위험 요소를 판독한 후 가장 적은 위해(危害)를 주는 방향으로 이용자를 유도하는 제2순위 회피유도알림을 생성할 수 있다.

본 발명의 다른 실시예에 따른 영상 내 물체의 이동 속도 측정 방법은, 이동 중인 물체를 촬영하는 단계; 촬영된 영상의 각 프레임을 픽셀 단위로 나누어 각 픽셀이 이동 중인 물체에 해당하는지 판별하는 마스킹을 적용하여 물체를 인식하는 단계; 이동 중인 물체의 이동 속도와 이용자의 이동 속도를 계산하여 n 초 후의 충돌 가능성을 계산하는 단계; 계산된 충돌 가능성이 기 설정된 확률 이상이면 이동 중인 물체와 이용자가 충돌할 것으로 판단하는 단계; 이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우, 이동 중인 물체의 종류를 식별하며, 물체의 종류에 대응하는 알림의 형태를 결정하는 단계; 및 결정된 상기 알림의 형태로 이용자에게 이동 중인 물체의 현재 위치와 거리를 알리는 단계를 포함한다.

일 실시예에서, 상기 물체를 인식하는 단계는, 촬영된 영상을 프레임 별로 Mask R-CNN 기법을 적용하는 단계; 및 Mask R-CNN 기법을 통해 획득한 오브젝트의 마스크를 통해 이동 중인 물체를 인식하는 단계를 포함할 수 있다.

일 실시예에서, 상기 Mask R-CNN 기법을 적용하는 단계는, 촬영된 영상에서 여러 RoI 후보를 제안하는 단계; 제안된 RoI 후보들을 경계 박스로 설정하며, 경계 박스의 위치의 특징맵을 RoIAlign 방식으로 추출하는 단계; 및 추출된 특징맵으로부터 오브젝트의 클래스를 분류함과 동시에 오브젝트의 마스크를 획득하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 영상 내 물체의 이동 속도 측정 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.

상술한 본 발명의 일측면에 따르면, 사각지대로 인한 인지의 어려움 또는 부주의 등으로 인한 안전사고의 예방이 가능하고, 보행 시 도움을 필요로 하는 시각장애인이나 안전사고 발생이 많은 자전거, 전동휠 등의 이용자의 이동 편의를 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 내 물체의 이동 속도 측정 장치의 개략적인 구성이 도시된 도면이다.
도 2는 도 1에 있는 물체 인식부를 설명하는 도면이다.
도 3은 도 2에 있는 마스킹 적용부를 설명하는 도면이다.
도 4는 도 1에 있는 충돌 판단부를 설명하는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 내 물체의 이동 속도 측정 장치의 개략적인 구성이 도시된 도면이다.
도 6 내지 도 8은 본 발명에 따라 물체를 식별하는 방식을 설명하는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 영상 내 물체의 이동 속도 측정 방법을 설명하는 순서도이다.
도 10은 도 9에 있는 Mask R-CNN 기법을 설명하는 순서도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상 내 물체의 이동 속도 측정 장치의 개략적인 구성이 도시된 도면이다.

도 1을 참조하면, 구체적으로, 영상 내 물체의 이동 속도 측정 장치(10)는, 촬영부(100), 물체 인식부(200), 충돌 가능성 계산부(300), 충돌 판단부(400), 충돌 대응부(500) 및 충돌 알림부(600)를 포함한다.

촬영부(100)는, 이동 중인 물체(예를 들어, 자동차, 보행자 또는 애완동물 등)를 촬영하며, 촬영된 영상을 물체 인식부(200)로 전달한다.

일 실시예에서, 촬영부(100)는, 최근의 스마트폰(smartphone), 핸드 헬드 디바이스(hand-held device), 태블릿(tablet) PC 등과 같은 휴대 기기에 일반적으로 탑재되어 있는 카메라를 사용할 수 있을 뿐만 아니라, CCTV와 같이 건물에 고정 설치된 카메라를 사용하여도 무방하다.

물체 인식부(200)는, 촬영부(100)에서 촬영된 영상의 각 프레임을 픽셀 단위로 나누어 각 픽셀이 이동 중인 물체에 해당하는지 판별하는 마스킹을 적용하여 물체를 인식한다.

충돌 가능성 계산부(300)는, 물체 인식부(200)에서 인식된 이동 중인 물체의 이동 속도와 이용자의 이동 속도를 계산하여 n 초 후의 충돌 가능성을 계산한 후 충돌 판단부(400)로 충돌 가능성을 통지한다.

충돌 판단부(400)는, 충돌 가능성 계산부(300)에서 계산된 충돌 가능성이 기 설정된 확률 이상이면(예를 들어, 50% 이상의 확률 등) 이동 중인 물체와 이용자가 충돌할 것으로 판단한다.

일 실시예에서, 충돌 판단부(400)는, 현재 충돌 여부가 판단 중인 물체와 이용자가 충돌되지 않을 것이라고 판단된 경우, 충돌 여부가 판단되지 아니한 다른 이동 중인 물체를 촬영하도록 촬영부(100)로 요청할 수 있다. 이에 따라, 본 발명은, 이용자의 주변에서 움직이고 있는 복수 개의 물체가 존재하는 경우에도 각각의 물체마다 이용자와의 충돌 여부를 개별적으로 판단함으로써, 이용자와 각각의 물체와의 충돌 가능성을 효율적으로 판단할 수 있다.

충돌 대응부(500)는, 충돌 판단부(400)가 이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우(예를 들어, 충돌 가능성이 90%인 경우), 이동 중인 물체의 종류를 식별하며, 물체의 종류에 대응하는 알림의 형태를 결정한다.

예를 들어, 충돌 대응부(500)는, 이동 중인 물체가 차량인 경우 이용자로 하여금 도로에서 벗어나도록 경고음 또는 진동을 발생시키거나, 이동 중인 물체가 자전거인 경우 자전거 도로로부터 벗어나도록 경고음 또는 진동을 발생시키거나, 또는 이동 중인 물체가 애완동물(예를 들어, 강아지 또는 고양이 등)인 경우 해당 애완동물이 접근하고 있음을 음성으로 알리는 등으로 알림의 형태를 다변화시킬 수 있다.

다만, 경고의 형태가 경고음 또는 진동에 한정되는 것은 아니어서 LED 등의 발광 수단을 통해 발광할 수 있으며, 충돌이 임박한 긴급 충돌 상황 등에서는 여러 종류의 경고 수단이 이시(異時) 또는 동시(同時)에 발생될 수도 있다.

일 실시예에서, 충돌 대응부(500)는, 충돌 가능성이 있는 물체를 데이터베이스화시켜 저장해 두며, 각 물체에 따른 알림의 종류를 물체와 매칭시켜 저장해 둘 수 있다.

일 실시예에서, 충돌 대응부(500)는, 충돌 가능성이 있는 물체를 위험도순으로 순위를 매겨 데이터베이스화시켜 저장해 둘 수 있다.

예를 들어, 충돌 대응부(500)는, 충돌 시 사망에 이를 수 있는 물체를 제1순위 위험군(예를 들어, 차량, 기차, 대형견 등)으로 설정하고, 사망에는 이르지 아니 하나 중상에 해당할 수 있는 물체(예를 들어, 자전거, 오토바이, 전동 스쿠터 등)를 제2순위 위험군으로 설정하고, 가벼운 경상에 해당할 수 있는 물체(예를 들어, 소형견, 고양이, 유아용 자전거 등)를 제3순위 위험군으로 설정하고, 충돌하는 경우에도 상관없는 물체를 제4순위 위험군으로 설정할 수 있다.

일 실시예에서, 충돌 대응부(500)는, 두 개 이상의 물체를 동시에 식별하며, 이동 중인 물체가 생물(예를 들어, 강아지 또는 고양이 등)인지 또는 사물(예를 들어, 자동차 또는 자전거 등)인지를 식별하여 생물 또는 사물에 대응하여 알림의 형태를 달리 결정할 수 있다.

뿐만 아니라, 충돌 대응부(500)는, 식별된 생물 또는 사물을 상술한 위험군 중 어느 위험군에 해당하는 지를 판독한 후, 이에 대응하여 알림의 형태를 달리 결정할 수 있다.

일 실시예에서, 충돌 대응부(500)는, 식별된 물체가 생물일 경우, 해당 생물의 위협으로부터 벗어나기 위해 이용자가 활용할 수 있는 팁을 제공할 수 있다.

예를 들어, 충돌 대응부(500)는, 식별된 물체가 고양이인 경우, 고양이가 싫어하는 소리를 재생하여 이용자로부터 멀어지도록 하거나, 고양이가 싫어하는 행동(예를 들어, 고양이를 갑자기 들어 올려 안거나, 귀엽다고 싫어서 도망가는 고양이의 꼬리를 잡아당기거나, 따라가서 계속 만지는 행동, 큰 소리로 위협적인 소리를 내는 행동 등) 등에 대한 정보를 제공할 수 있다.

충돌 알림부(600)는, 충돌 대응부(500)에서 결정된 알림의 형태로 이용자에게 이동 중인 물체의 현재 위치와 거리를 알린다.

일 실시예에서, 충돌 대응부(500)는, 물체 인식부(200)에서 인식된 물체의 종류를 식별할 수 있으며, 여러 종류의 물체를 물체의 특징 별로 분류하여 데이터베이스화시켜 저장해 둔 후, 일반적인 특징 분석 기술을 사용하여 물체의 종류를 식별할 수 있다.

이 때, 식별된 물체가 개(dog)인 경우, 충돌 대응부(500)는, 목줄의 착용 여부, 관리자의 동행 여부 및 입마개의 착용 여부 중 적어도 하나의 조건을 추가적으로 식별할 수 있다.

가정집에서 산책시키는 대형견의 경우 다른 보행자의 안전을 위해 입마개를 착용하는 것이 일반적이나, 입마개를 착용하지 않아 보행자를 무는 경우가 자주 발생하곤 한다.

따라서, 본 발명에서는, 이동 중인 물체가 개인 경우, 개의 입마개 착용 여부까지 식별한 후 이를 이용자게 통지함으로써, 개에게 물리거나 하는 등의 사고를 미연에 방지할 수 있다.

일 실시예에서, 충돌 대응부(500)는, 충돌 판단부(400)에서 이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우 물체의 현재 위치 또는 충돌 예상 시간을 판독할 수 있다.

일 실시예에서, 충돌 대응부(500)는, 식별된 물체의 종류에 대응하여 알림의 형태를 선택할 수 있다.

일 실시예에서, 충돌 알림부(600)는, 판독된 물체의 현재 위치 또는 충돌 예상 시간을 이용자에게 통지하거나, 선택된 물체의 종류에 대응하는 알림을 이용자에게 전송할 수 있다.

예를 들어, 충돌 알림부(600)는, 이용자가 들고 다니는 사용자 단말기(예를 들어, 스마트폰 또는 태블릿 PC 등)로 팝업 메시지를 전송하거나, 음성 출력 수단을 통해 경고음을 출력함으로써 이용자의 주의를 환기시킬 수 있다.

상술한 바와 같은 구성을 가지는 충돌 알림부(600)는, 도 6에서와 같이 관리자가 개를 목줄을 체결시켜 산책시키는 경우에는 이용자에게 별도의 위해가 될 수 없는 바 별도의 알림을 전송하지 아니할 수 있다.

반면, 도 7에서와 같이 입마개를 한 개가 목줄 없이 자유로이 뛰어다니고 있는 경우에는, 이용자에게 가벼운 위해가 될 수 있는 바, 이용자가 개에 알레르기가 있거나 개의 접근을 불허한 경우 등에 알림을 전송할 수 있다.

이와 달리, 도 8에서와 같이 입마개를 하지 아니한 개가 뛰어다니고 있는 경우에는 개에게 물리는 등의 위해가 발생할 수 있는 바 이에 대한 즉각적인 알림을 이용자에게 통지함으로써 위험의 발생을 미연에 대비할 수 있다.

도 2는 도 1에 있는 물체 인식부를 설명하는 도면이다.

도 2를 참조하면, 물체 인식부(200)는, 마스킹 적용부(210) 및 인식부(220)를 포함한다.

R-CNN(Convolutional Neural Network)은, 입력 이미지에서 Selective Search라는 Region Proposal 생성 알고리즘을 이용하여 물체가 존재할 것으로 추정되는 Region Proposal들을 추출하는 기술로서, 각각의 Region Proposal들은 사각형 모양의 Bounding Box 안의 이미지 형태인데 모든 Region Proposal들에 대해서 크기를 동일하게 만든 후 CNN을 거쳐 분류하는 작업을 시행한다.

이 과정에서 Bounding Box의 정확한 위치와 크기를 예측하는 모델을 하나 더 이용하게 되는데, Region Proposal을 이용해 이미지 분류를 시행할 경우 물체의 정확한 위치를 파악할 수 없다는 점 때문이다.

따라서, 각각의 Bounding Box가 그 내부에 포함된 물체의 정확한 위치와 크기를 잡아줄 수 있도록 하는 작업을 수행하기 위해 회귀 모델을 하나 더 구현했다.

그러나, R-CNN의 가장 큰 문제는 너무 느리다는 것이다. 모든 Region Proposal마다 하나의 CNN을 돌려야 하니 당연히 느릴 수밖에 없었고, 이미지 특징 추출을 위한 모델, 분류를 위한 모델, Bounding Box를 잡아주는 모델을 동시에 학습해야 하니 학습에 걸리는 시간도 엄청날 수밖에 없었다.

이 속도 문제를 해결하기 위해서, Fast R-CNN이라는 모델이 개발되었는데, 말 그대로 빠른 R-CNN으로서, Fast R-CNN 모델의 골자는 Feature를 입력 이미지로부터 뽑아내는 것이 아니라, CNN을 거친 Feature Map 상에서 Spatial Pyramid Pooling의 특수한 형태인 RoI(Region of Interest) Pooling을 사용하여 Feature를 뽑아내는 것이다. 이를 통해 하나의 Region Proposal 당 하나의 CNN이 돌아가면서 느려졌던 네트워크의 구조가 획기적으로 개선되었고, 빨라질 수 있었다.

R-CNN과 Fast R-CNN은 Region Proposal을 생성하기 위해서 Selective Search라는 알고리즘을 사용하는데, 이 방법으로 약 2,000개에 가까운 Region Proposal을 생성하는 것 자체가 성능에 아주 큰 병목이었다.

그래서, 이러한 병목 형상을 뉴럴 네트워크로 해결한 Faster R-CNN이 등장하게 되었다. Faster R-CNN은, Region Proposal을 생성하는 방법 자체를 CNN 내부에 네트워크 구조로 넣어놓은 모델인데, 이 네트워크를 RPN(Region Proposal Network)이라고 한다. RPN을 통해서, RoI Pooling을 수행하는 레이어와 Bounding Box를 추출하는 레이어가 같은 특징 맵을 공유할 수 있다.

본 발명에 사용되는 Mask R-CNN은, Faster R-CNN으로부터 발전한 기법으로, Faster R-CNN과 마찬가지로 영상에서 여러 RoI(Region of Interest)의 후보를 제안함으로써 수행될 수 있다.

Fast & Faster R-CNN & SSD는 Classification과 BBox Regression 2가지만 구하는데, Mask R-CNN은 여기에 Mask 하나를 더 추가하여 Classification, BBox Regression, Mask 3가지를 동시에 얻을 수 있다.

마스킹 적용부(210)는, 촬영부(100)에서 촬영된 영상을 프레임 별로 상술한 Mask R-CNN 기법을 적용하여 오브젝트의 마스크를 획득한다.

인식부(220)는, 마스킹 적용부(210)에서 Mask R-CNN 기법을 통해 획득한 오브젝트의 마스크를 통해 이동 중인 물체를 인식한다.

도 3은 도 2에 있는 마스킹 적용부를 설명하는 도면이다.

도 3을 참조하면, 마스킹 적용부(210)는, 후보 제안부(211), 특징맵 추출부(212) 및 마스크 획득부(213)를 포함한다.

후보 제안부(211)는, 촬영된 영상에서 여러 RoI(Region of Interest) 후보를 제안한다.

특징맵 추출부(212)는, 후보 제안부(211)에서 제안된 RoI 후보들을 경계 박스로 설정하며, 경계 박스의 위치의 특징맵(feature map)을 RoIAlign 방식으로 추출한다.

마스크 획득부(213)는, 특징맵 추출부(212)에서 추출된 특징맵으로부터 오브젝트의 클래스를 분류함과 동시에 오브젝트의 마스크를 획득한다.

도 4는 도 1에 있는 충돌 판단부를 설명하는 도면이다.

도 4를 참조하면, 충돌 판단부(400)는, 속도 측정부(410) 및 충돌 가능성 판단부(420)를 포함한다.

속도 측정부(410)는, 물체 인식부(200)에서 인식된 물체의 이동 속도를 측정한다.

충돌 가능성 판단부(420)는, 이동 중인 물체와 이용자의 n 초 후의 충돌 가능성을 판단한다.

도 5는 본 발명의 다른 실시예에 따른 영상 내 물체의 이동 속도 측정 장치의 개략적인 구성이 도시된 도면이다.

도 5를 참조하면, 구체적으로, 영상 내 물체의 이동 속도 측정 장치(20)는, 촬영부(100), 물체 인식부(200), 충돌 가능성 계산부(300), 충돌 판단부(400), 충돌 대응부(500), 충돌 알림부(600) 및 회피 유도부(700)를 포함한다. 여기서, 촬영부(100), 물체 인식부(200), 충돌 가능성 계산부(300), 충돌 판단부(400), 충돌 대응부(500) 및 충돌 알림부(600)는, 도 1의 구성요소와 동일하므로 그 설명을 생략한다.

회피 유도부(700)는, 이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우, 물체의 이동경로를 판독하여 물체의 이동경로로부터 벗어나도록 이용자를 유도하는 회피유도알림을 생성한다.

일 실시예에서, 충돌 알림부(600)는, 도 1에서 상술한 바와 같은 음성 수단 또는 진동 수단 등의 알림 수단을 통해 회피 유도부(700)로부터 전달되는 회피유도알림을 이용자에게 통지할 수 있다.

일 실시예에서, 회피 유도부(700)는, 현재 이동 중인 물체의 이동 방향 및 이동 방향에 존재하는 장애물의 유무를 통해 물체의 이동경로를 판독하며, 판독한 이동경로를 이용하여 충돌 가능성 계산부(300)에서 충돌할 것이라고 계산된 n초 후에 이용자와의 충돌여부를 판독할 수 있다.

일 실시예에서, 회피 유도부(700)는, 두 개 이상의 물체와 이용자가 충돌할 것으로 판단된 경우, 물체들의 이동경로로부터 벗어나는 방향으로 이용자를 움직이도록 유도하는 제1순위 회피유도알림을 생성할 수 있다.

일 실시예에서, 충돌 대응부(500)에서 이동 중인 물체가 두 개 이상 식별된 경우, 회피 유도부(700)는 이동 중인 각각의 물체에 대하여 상술한 바와 같은 이동경로 판독을 독립적으로 실시한 후 각 물체 별로 이동경로의 판독 및 이용자와의 충돌 여부를 판독할 수 있다.

이 경우, 회피 유도부(700)는, 이용자의 현재 위치, 은폐/엄폐물의 존재 유무, 이용자의 신체 능력 및 조력자의 유무 중 적어도 하나의 사항을 고려하여 이용자를 향해 이동 중인 각 물체 별로 회피 방향을 판독할 수 있다.

일 실시예에서, 회피 유도부(700)는, 이동 중인 물체의 이동경로로부터 벗어날 수 없다고 판단되는 경우, 이용자에게 발생할 위험 요소(예를 들어, 충돌 가능성, 회피 용이성 또는 충돌 시 상처 발생의 정도 등)를 판독한 후 가장 적은 위해(危害)를 주는 방향으로 이용자를 유도하는 제2순위 회피유도알림을 생성할 수 있다.

이 경우, 위험 요소로서 고려될 수 있는 요소로서는, 충돌 가능성, 회피 용이성 및 충돌 시 상처 발생의 정도 등이 있을 수 있다.

이때, 충돌 가능성의 경우 충돌 가능성 계산부(300)에서 계산된 충돌 가능성을 고려하여 판독하며, 회피 용이성의 경우 물체 인식부(200)에서 인식된 물체의 종류를 고려한 회피의 용이성을 고려하여 판독(예를 들어, 인식된 물체가 차량이고 시속 100km로 이동 중인 경우가 인식된 물체가 자전거이고 시속 20km로 이동 중인 경우보다 회피 용이성이 낮게 판단되는 등)하며, 충돌 시 상처 발생의 정도의 경우 물체 인식부(200)에서 인식된 물체의 종류를 고려할 때 발생이 예상되는 상처의 정도를 고려하여 판독(예를 들어, 인식된 물체가 차량이고 시속 100km로 이동 중인 경우가 인식된 물체가 자전거이고 시속 20km로 이동 중인 경우보다 더 심각한 상처를 발생시킬 것으로 판단하는 등)할 수 있다.

하나의 이동 물체로부터 회피하기 위해서는 해당 물체의 이동경로로부터만 벗어나면 충돌을 모면할 수 있다. 그러나, 복수 개의 물체의 이동경로로 벗어나기 위해서는 물체 모두의 이동경로로부터 벗어나야만 하는데, 물체의 이동 속도가 늦거나, 이용자로부터 아직 멀리 떨어져 있어 이용자가 모든 물체로부터 벗어날 수 있는 경우가 존재할 뿐만 아니라, 이용자가 이동 중인 물체 중 일부와의 충돌이 불가피한 경우도 존재할 것이다.

이에 따라, 본 발명에서는, 이동 중인 모든 물체로부터 벗어날 수 있는 경우 최선책으로 선택되는 제1순위 회피유도알림을 생성시켜 이용자의 회피를 유도하고, 이동 중인 일부 물체와의 충돌이 불가피한 경우 차선책으로 선택되는 제2순위 회피유도알림을 생성시켜 이용자에게 발생할 수 있는 피해를 최소화시킬 수 있다.

도 9는 본 발명의 다른 실시예에 따른 영상 내 물체의 이동 속도 측정 방법을 설명하는 순서도이다.

도 9를 참조하면, 영상 내 물체의 이동 속도 측정 방법은, 우선 이동 중인 물체를 촬영한다(S910).

상술한 단계 S910에서 촬영된 영상의 각 프레임을 픽셀 단위로 나누어 각 픽셀이 이동 중인 물체에 해당하는지 판별하는 마스킹을 적용하여 물체를 인식한다(S920).

상술한 단계 S920은, 먼저 촬영된 영상을 프레임 별로 Mask R-CNN 기법을 적용한 후, Mask R-CNN 기법을 통해 획득한 오브젝트의 마스크를 통해 이동 중인 물체를 인식함으로써 물체를 인식할 수 있다.

상술한 단계 S920에서 인식된 이동 중인 물체의 이동 속도와 이용자의 이동 속도를 계산하여 n 초 후의 충돌 가능성을 계산한다(S930).

상술한 단계 S930에서 계산된 충돌 가능성이 기 설정된 확률(예를 들어, 50% 등) 이상이면 이동 중인 물체와 이용자가 충돌할 것으로 판단되면(S940의 Yes의 경우), 이동 중인 물체의 종류를 식별하며, 물체의 종류에 대응하는 알림의 형태를 결정하게 된다(S950).

만약, 물체와 이용자가 충돌하지 않을 것으로 판단되면(S940의 No의 경우), 이동 중인 다른 물체를 촬영하기 위해 상술한 단계 S910으로 돌아가게 된다.

상술한 단계 S950에서 결정된 알림의 형태로 이용자에게 이동 중인 물체의 현재 위치와 거리를 알린다(S960).

도 10은 도 9에 있는 Mask R-CNN 기법을 설명하는 순서도이다.

도 10을 참조하면, Mask R-CNN 기법은, 먼저 촬영된 영상에서 여러 RoI 후보를 제안한다(S1010).

상술한 단계 S1010에서 제안된 RoI 후보들을 경계 박스로 설정하며, 경계 박스의 위치의 특징맵을 RoIAlign 방식으로 추출한다(S1020).

상술한 단계 S1020에서 추출된 특징맵으로부터 오브젝트의 클래스를 분류함과 동시에 오브젝트의 마스크를 획득한다(S1030).

상술한 바와 같은 영상 내 물체의 이동 속도 측정 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

본 발명에 따르면, 본 발명의 일측면은 Mask R-CNN 기법을 적용하여 물체가 차지하는 영역을 계산해 낼 수 있으며, 필요하다면 해당 물체가 무엇인지도 판별해 냄으로써, 사각지대, 인지의 어려움, 부주의 등으로 인한 안전사고의 예방이 가능하다.

또한, 이동 시 촬영되는 영상에 나타나는 물체들의 이동 속도와 이용자의 이동 속도를 고려하여 이후 이동 방향과 거리를 예측하여 정보를 미리 제공함으로써, 보행 시 도움을 필요로 하는 시각 장애인이나 안전사고 발생이 많은 자전거, 전동휠 등의 이용자의 이동 편의를 제공할 수 있다.

100: 촬영부
200: 물체 인식부
210: 마스킹 적용부
211: 후보 제안부
212: 특징맵 추출부
213: 마스크 획득부
220: 인식부
300: 충돌 가능성 계산부
400: 충돌 판단부
410: 속도 측정부
420: 충돌 가능성 판단부
500: 충돌 대응부
600: 충돌 알림부
610: 물체 식별부
620: 충돌 판독부
630: 알림 선택부
640: 알림 전송부
700: 회피 유도부

Claims (12)

1. 이동 중인 물체를 촬영하는 촬영부;
   촬영된 영상의 각 프레임을 픽셀 단위로 나누어 각 픽셀이 이동 중인 물체에 해당하는지 판별하는 마스킹을 적용하여 물체를 인식하는 물체 인식부;
   이동 중인 물체의 이동 속도와 이용자의 이동 속도를 계산하여 n 초 후의 충돌 가능성을 계산하는 충돌 가능성 계산부;
   계산된 충돌 가능성이 기 설정된 확률 이상이면 이동 중인 물체와 이용자가 충돌할 것으로 판단하는 충돌 판단부;
   이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우, 이동 중인 물체의 종류를 식별하며, 물체의 종류에 대응하는 알림의 형태를 결정하는 충돌 대응부; 및
   결정된 상기 알림의 형태로 이용자에게 이동 중인 물체의 현재 위치와 거리를 알리는 충돌 알림부를 포함하는 영상 내 물체의 이동 속도 측정 장치.
   
2. 제1항에 있어서, 상기 물체 인식부는,
   촬영된 영상을 프레임 별로 Mask R-CNN 기법을 적용하는 마스킹 적용부; 및
   Mask R-CNN 기법을 통해 획득한 오브젝트의 마스크를 통해 이동 중인 물체를 인식하는 인식부를 포함하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 장치.
   
3. 제2항에 있어서, 상기 마스킹 적용부는,
   촬영된 영상에서 여러 RoI(Region of Interest) 후보를 제안하는 후보 제안부;
   제안된 RoI 후보들을 경계 박스로 설정하며, 경계 박스의 위치의 특징맵을 RoIAlign 방식으로 추출하는 특징맵 추출부; 및
   추출된 특징맵으로부터 오브젝트의 클래스를 분류함과 동시에 오브젝트의 마스크를 획득하는 마스크 획득부를 포함하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 장치.
   
4. 제1항에 있어서, 상기 충돌 판단부는,
   상기 물체 인식부에서 인식된 물체의 이동 속도를 측정하는 속도 측정부; 및
   이동 중인 물체와 이용자의 n 초 후의 충돌 가능성을 판단하는 충돌 가능성 판단부를 포함하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 장치.
   
5. 제1항에 있어서, 상기 충돌 대응부는,
   두 개 이상의 물체를 동시에 식별하며, 이동 중인 물체가 생물인지 또는 사물인지를 식별하여 생물 또는 사물에 대응하여 알림의 형태를 달리 결정하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 장치.
   
6. 제5항에 있어서,
   이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우, 물체의 이동경로를 판독하여 물체의 이동경로로부터 벗어나도록 이용자를 유도하는 회피유도알림을 생성하는 회피 유도부를 더 포함하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 장치.
   
7. 제6항에 있어서, 상기 회피 유도부는,
   두 개 이상의 물체와 이용자가 충돌할 것으로 판단된 경우, 물체들의 이동경로로부터 벗어나는 방향으로 이용자를 유도하는 제1순위 회피유도알림을 생성하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 장치.
   
8. 제7항에 있어서, 상기 회피 유도부는,
   이동 중인 물체의 이동경로로부터 벗어날 수 없다고 판단되는 경우, 이용자에게 발생할 위험 요소를 판독한 후 가장 적은 위해(危害)를 주는 방향으로 이용자를 유도하는 제2순위 회피유도알림을 생성하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 장치.
   
9. 이동 중인 물체를 촬영하는 단계;
   촬영된 영상의 각 프레임을 픽셀 단위로 나누어 각 픽셀이 이동 중인 물체에 해당하는지 판별하는 마스킹을 적용하여 물체를 인식하는 단계;
   이동 중인 물체의 이동 속도와 이용자의 이동 속도를 계산하여 n 초 후의 충돌 가능성을 계산하는 단계;
   계산된 충돌 가능성이 기 설정된 확률 이상이면 이동 중인 물체와 이용자가 충돌할 것으로 판단하는 단계;
   이동 중인 물체와 이용자가 충돌할 것으로 판단된 경우, 이동 중인 물체의 종류를 식별하며, 물체의 종류에 대응하는 알림의 형태를 결정하는 단계; 및
   결정된 상기 알림의 형태로 이용자에게 이동 중인 물체의 현재 위치와 거리를 알리는 단계를 포함하는 영상 내 물체의 이동 속도 측정 방법.
   
10. 제9항에 있어서, 상기 물체를 인식하는 단계는,
    촬영된 영상을 프레임 별로 Mask R-CNN 기법을 적용하는 단계; 및
    Mask R-CNN 기법을 통해 획득한 오브젝트의 마스크를 통해 이동 중인 물체를 인식하는 단계를 포함하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 방법.
    
11. 제10항에 있어서, 상기 Mask R-CNN 기법을 적용하는 단계는,
    촬영된 영상에서 여러 RoI 후보를 제안하는 단계;
    제안된 RoI 후보들을 경계 박스로 설정하며, 경계 박스의 위치의 특징맵을 RoIAlign 방식으로 추출하는 단계; 및
    추출된 특징맵으로부터 오브젝트의 클래스를 분류함과 동시에 오브젝트의 마스크를 획득하는 단계를 포함하는 것을 특징으로 하는 영상 내 물체의 이동 속도 측정 방법.
    
12. 제9항에 따른 영상 내 물체의 이동 속도 측정 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.

Images