KR20170086899A - 다중 카메라를 이용한 이륜차 검출 방법 및 그 장치 - Google Patents

Abstract

본 발명은 다중 카메라를 이용하여 자동차 주위의 물체를 검출하는 방법 및 그에 관한 장치에 관한 것이다.
일 실시예에 있어서 본 발명에 따른 이륜차 검출 방법은, 자동차의 미리 정해진 위치에 구비된 복수개의 카메라에서 촬영한 영상을 입력받는 단계; 상기 입력받은 영상을 스티칭하는 단계; 상기 스티칭한 영상 중 도로 영역에서 이륜차를 검출하는 단계; 및 상기 검출한 이륜차를 영상에 표시하는 단계를 포함할 수 있다.

Description

다중 카메라를 이용한 이륜차 검출 방법 및 그 장치{Method and Apparatus for Cyclist Detection using Multi Camera}

본 발명은 다중 카메라를 이용하여 자동차 주위의 물체를 검출하는 방법 및 그에 관한 장치에 관한 것이다.

자동차의 운행을 자율화하거나 운전자에게 운전 편의를 제공하기 위한 다양한 기술들이 개발되고 있다. 그중 하나로 자동차의 안전 운행을 위하여 자동차의 주변 보행자, 자동차 등 주변 물체를 검출하고 이를 알리는 기술이 다수 개발되었다.

예를 들면 자동차 주변의 보행자를 검출하기 위하여, 자동차의 앞 또는 뒤에 카메라를 구비하고, 카메라의 촬영 영상을 분석하여 보행자를 검출하는 기술 개발되었고, 관련 특허도 다수 존재하고 있다.

그러나 자전거 또는 오토바이와 같은 경우 보행자보다 비교적 이동속도가 빠르고 측면에서 출현하는 경우가 잦기 때문에, 전, 후방의 카메라만으로는 이를 검출하기 어렵다는 문제점이 있다.

(특허문헌) 대한민국 공개특허공보 제2011-0073924호 (2011.06.30.)

이에 본 발명은 복수개의 카메라를 적소에 배치하고, 카메라를 이용하여 촬영한 영상에서 자전거 또는 오토바이와 같은 이륜차를 검출하여, 그 검출 정보를 자동차 운전자에게 알리는 장치 및 그에 관한 방법을 제공하고자 한다.

상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 이륜차 검출 방법은 자동차의 미리 정해진 위치에 구비된 복수개의 카메라에서 촬영한 영상을 입력받는 단계; 상기 입력받은 영상을 스티칭하는 단계; 상기 스티칭한 영상 중 도로 영역에서 이륜차를 검출하는 단계; 및 상기 검출한 이륜차를 영상에 표시하는 단계;를 포함할 수 있다.

여기서 상기 이륜차를 검출하는 단계는 CNN(Convolutional Neural Network) 기술을 사용하여 특징을 추출한 다음, SVM(Support Vector Machine)을 이용하여 이륜차 여부를 검출할 수 있다.

상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 이륜차 검출 장치는 자동차의 미리 정해진 위치에 구비된 복수개의 카메라에서 촬영한 영상을 입력받는 영상 입력부; 상기 입력받은 영상을 스티칭하는 스티칭부; 상기 스티칭한 영상 중 도로 영역에서 이륜차를 검출하는 검출부; 및 상기 검출한 이륜차를 영상에 표시하는 표시부;를 포함할 수 있다.

본 발명에 따른 이륜차 검출 방법에 의하면, 자동차 주변에 접근하는 이륜차를 검출하여 자동차 운전자에게 경고함으로써, 운전자가 안전하게 운전을 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 이륜차 검출 방법의 흐름도이다.
도 2는 자동차에 구비된 카메라의 설치 위치와 방향 및 화각을 나타내는 참고도이다.
도 3은 영상 표시 단계에서 이륜차 검출 결과를 표시한 화면을 나타내는 참고도이다.
도 4는 본 발명의 일 실시예에 따른 이륜차 검출 장치의 블록도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

자동차의 운행을 자율화하거나 운전자에게 운전 편의를 제공하기 위한 다양한 기술들이 개발되고 있다. 그중 하나로 자동차의 안전 운행을 위하여 자동차의 주변 보행자, 자동차 등 주변 물체를 검출하고 이를 알리는 기술이 다수 개발되었다.

예를 들면 자동차 주변의 보행자를 검출하기 위하여, 자동차의 앞 또는 뒤에 카메라를 구비하고, 카메라의 촬영 영상을 분석하여 보행자를 검출하는 기술 개발되었고, 관련 특허도 다수 존재하고 있다.

그러나 자전거 또는 오토바이와 같은 경우 보행자보다 비교적 이동속도가 빠르고 측면에서 출현하는 경우가 잦기 때문에, 전, 후방의 카메라만으로는 이를 검출하기 어렵다는 문제점이 있다.

이에 본 발명은 복수개의 카메라를 적소에 배치하고, 카메라를 이용하여 촬영한 영상에서 자전거 또는 오토바이와 같은 이륜차를 검출하여, 그 검출 정보를 자동차 운전자에게 알리는 장치 및 그에 관한 방법을 제공하고자 한다.

도 1은 본 발명의 일 실시예에 따른 이륜차 검출 방법의 흐름도이다.

본 발명의 일 유형에 따른 이륜차 검출 방법은 자동차의 미리 정해진 위치에 구비된 복수개의 카메라에서 촬영한 영상을 입력받는 단계(S100); 상기 입력받은 영상을 스티칭하는 단계(S200); 상기 스티칭한 영상 중 도로 영역에서 이륜차를 검출하는 단계(S300); 및 상기 검출한 이륜차를 영상에 표시하는 단계(S400);를 포함할 수 있다.

여기서 상기 이륜차를 검출하는 단계(S300)는 CNN(Convolutional Neural Network) 기술을 사용하여 특징을 추출한 다음, SVM(Support Vector Machine)을 이용하여 이륜차 여부를 검출할 수 있다.

본 발명에 따른 이륜차 검출 방법에 의하면 운전 중 운전자가 미처 보지 못하는 사각지대 혹은 갑작스럽게 옆에서 다가오는 자전거와 그 탑승자 혹은 이륜차(예를 들면 오토바이)와 그 탑승자(이하 cyclist)를 인식하지 못해 충돌 등의 사고가 발생하는 경우를 방지하기 위해 차량에 설치된 6개의 카메라를 통해 차량 360도 전방위를 항시 촬영하며, 이미지 인식 알고리즘을 통해 차량으로 접근하는 이륜차 또는 이륜차 탑승자(Cyclist)를 자동으로 검출할 수 있다.

또한 본 발명에 따른 이륜차 검출 방법에 의하면, 접근하는 탑승자가 탑승하고 있는 이륜차가 검출되면 운전자에게 경고를 주기 위해 디스플레이 디바이스에 해당 방향 카메라 화면에 자전거 위치를 바운딩 박스로 표시하여 보여줄 수 있다.

도 2는 자동차에 구비된 카메라의 설치 위치와 방향 및 화각을 나타내는 참고도이다.

먼저 상기 영상을 입력받는 단계(S100)는 먼저 차량에 구비된 복수개의 카메라를 이용하여 다양한 각도에서 촬영한 영상을 입력받을 수 있다. 여기서 이용되는 복수개의 카메라 즉 다중 카메라는 예를 들면, 총 6대로, 차체의 360도를 모두 관찰할 수 있도록 도 2와 같이 구성하여 차체에 구비할 수 있다. 도 2를 참조하면, 양 옆의 4대는 각각 사이드미러의 앞면, 그리고 측면에 설치될 수 있다. 여기서 사이드미러의 회전에 대응하기 위하여 사이드미러의 회전 각도를 측정, 설치한 카메라가 항상 일정한 방향을 촬영할 수 있도록 조정할 수 있다.

다음으로 상기 입력받은 영상을 스티칭하는 단계(S200)는 상기 복수개의 카메라에서 촬영된 영상들을 병합한다.

복수개의 각 카메라에서 촬영한 영상들은 뷰가 서로 다르고 겹치는 부분이 존재해 사용자에게 직관적으로 보여주기 어렵다. 따라서 각 카메라 영상을 병합(스티칭)하여, 이하 설명할 검출하는 단계(S300) 및 표시하는 단계(S400)에서 사용할 수 있다. 여기서 영상 스티칭은 파노라마와 같이 여러 장의 연결될 수 있는 이미지를 자연스러운 한 장의 사진처럼 연결하는 방법을 의미한다.

다음으로 상기 스티칭한 영상 중 도로 영역에서 이륜차를 검출하는 단계(S300)는 병합한 이미지에 대해 이륜차 탑승자(cyclist)가 탑승하고 있는 이륜차 검출을 수행한다. 여기서 검출하는 단계(S300)는 사람이 탑승해 있는 일반적인 자전거 및 오토바이를 검출하고, 주차된 자전거 및 오토바이는 검출하지 아니할 수 있다. 이를 위해 사람이 탑승해 있지 않은 이륜차는 negative 영상으로 분류해 학습한 분류기를 이용하여 검출을 수행할 수 있다. 또한 이때 검출속도를 향상시키기 위하여 카메라 윗부분(비도로면)은 검출 영역에서 제외한 뒤 도로 영역에서만 이륜차를 검출할 수 있다. 여기서 먼저 검출하는 단계(S300)는 속도가 빠른 object proposal 방법으로서 "Zitnick, C. Lawrence, and Piotr Dollㅱr. "Edge boxes: Locating object proposals from edges." Computer Vision??ECCV 2014. Springer International Publishing, 2014. 391-405."에서 개시하고 있는 edge box detection을 사용하여 바운딩 박스 후보 영역을 검출한다. 그리고 이륜차를 인식하기 위하여 Convolutional Neural Network(이하 CNN)기술을 사용할 수 있다. 여기서 기존의 "Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012."에서 개시되고 있는 Alex-net을 "Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. IEEE, 2014."에서 개시하고 있는 fine-tuning하여 얻은 network로 후보영역에 대한 CNN 특징을 추출한 후, Support vector machine을 사용해 분류하여 탑승자가 탑승하고 있는 이륜차를 검출할 수 있다.

상기 검출한 이륜차를 영상에 표시하는 단계(S400)에서는 상술한 바, CNN 특징을 통한 검증 결과 이륜차를 검출하면, 그 위치를 바운딩 박스를 통해 기록하고, 이륜차가 일정 거리 이내로 접근했음을 감지하면 상기 병합(스티칭)된 영상에 바운딩 박스를 그려 표시하며 운전자에게 경고를 표시할 수 있다.

도 3은 영상 표시 단계에서 이륜차 검출 결과를 표시한 화면을 나타내는 참고도이다.

도 4는 본 발명의 일 실시예에 따른 이륜차 검출 장치의 블록도이다.

본 발명의 또 다른 유형에 따른 이륜차 검출 장치는 자동차의 미리 정해진 위치에 구비된 복수개의 카메라에서 촬영한 영상을 입력받는 영상 입력부; 상기 입력받은 영상을 스티칭하는 스티칭부; 상기 스티칭한 영상 중 도로 영역에서 이륜차를 검출하는 검출부; 및 상기 검출한 이륜차를 영상에 표시하는 표시부;를 포함할 수 있다. 여기서 상기 본 발명에 따른 이륜차 검출 장치는 도 1 내지 도 3을 참조하면서 설명한 본 발명에 따른 이륜차 검출 방법과 동일한 방식으로 동작할 수 있다.

본 발명에 따른 이륜차 검출 장치는 상술한 일련의 모든 카메라, 검출 알고리즘을 수행하기 위한 처리장치, 화면출력까지 수행하는 장치를 포함할 수 있다.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

S100 : 다중 카메라 촬영 영상 입력 단계
S200 : 영상 스티칭 단계
S300 : 이륜차 검출 단계
S400 : 영상 표시 단계
100 : 영상 입력부
200 : 영상 스티칭부
300 : 이륜차 검출부
400 : 영상 표시부

Claims (3)

1. 이륜차 검출 방법에 있어서,
   자동차의 미리 정해진 위치에 구비된 복수개의 카메라에서 촬영한 영상을 입력받는 단계;
   상기 입력받은 영상을 스티칭하는 단계;
   상기 스티칭한 영상 중 도로 영역에서 이륜차를 검출하는 단계; 및
   상기 검출한 이륜차를 영상에 표시하는 단계;를 포함하는 것을 특징으로 하는 이륜차 검출 방법.
2. 제1항에 있어서,
   상기 이륜차를 검출하는 단계는 CNN(Convolutional Neural Network) 기술을 사용하여 특징을 추출한 다음, SVM(Support Vector Machine)을 이용하여 이륜차 여부를 검출하는 것을 특징으로 하는 이륜차 검출 방법.
3. 이륜차 검출 장치에 있어서,
   자동차의 미리 정해진 위치에 구비된 복수개의 카메라에서 촬영한 영상을 입력받는 영상 입력부;
   상기 입력받은 영상을 스티칭하는 스티칭부;
   상기 스티칭한 영상 중 도로 영역에서 이륜차를 검출하는 검출부; 및
   상기 검출한 이륜차를 영상에 표시하는 표시부;를 포함하는 것을 특징으로 하는 이륜차 검출 장치.

Images