KR20170080110A - 자율 주행 장치 및 방법 - Google Patents

Abstract

본 발명은 자율 주행 제어 장치 및 방법에 관한 것이다.

Description

자율 주행 장치 및 방법{DEVICE AND METHOD FOR AUTOMATIC DRIVING}

본 발명은 자율 주행 장치 및 방법에 관한 것으로서, 보다 상세하게는 클라우드 서버에서 자동차로 운행을 제어하는 제어 명령을 전송하여, 전송된 제어 명령에 따라 자율적으로 자동차를 운행하는 자율 주행 장치 및 방법에 관한 것이다.

정보통신 기술이 발전하면서, 무인 자동차 시장이 급격히 성장하고 있는 추세이다. 이러한 추세에 따르면, 2035년 무인 자동차는 1180만대로 늘어난 뒤 2050년에는 대부분의 차량이 무인 차량으로 대체될 것이라는 전망도 나왔다.

그러나, 현재까지 소개된 무인 자동차에 관한 하드웨어 기술은 거의 완성된 반면, 소프트웨어 기술은 보완이 필요한 실정이다.

따라서, 소프트웨어 기술을 보완하여 차량의 운행 중 긴급 상황이 발생하더라도 위급 상황에 빠르게 대처할 수 있는 방안이 요구된다.

[관련기술문헌]

1. 무인 자동차용 조향 및 브레이킹 장치 (특허출원번호 제 10-2015-0102317 호)

본 발명이 해결하고자 하는 과제는 낮은 컴퓨팅 파워를 갖는 자율 주행 자동차의 MCU로 메인 컴퓨팅 파워를 사용하여, 고성능의 영상 처리 기술을 사용할 수 있는 자율 주행 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 클라우드 서버에서 실시간 영상 처리를 통한 주행상황을 인지하여 상황에 알맞은 제어 명령을 자율 주행 자동차로 전송할 수 있는 자율 주행 장치 및 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 자율 주행 방법은 적어도 하나 이상의 차량에서 발생하는 데이터를 수집하는 단계; 수집한 데이터를 기 설정된 알고리즘에 따라 분류하여 저장하는 단계; 차량의 상태를 수신하여, 차량의 상태와 대응하는 알고리즘에 따라 분류된 데이터를 차량에 전송하는 단계를 포함한다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 낮은 컴퓨팅 파워를 갖는 자율 주행 자동차의 MCU로 메인 컴퓨팅 파워를 사용하여, 고성능의 영상 처리 기술을 사용할 수 있는 효과가 있다.

본 발명은 클라우드 서버에서 실시간 영상 처리를 통한 주행상황을 인지하여 상황에 알맞은 제어 명령을 자율 주행 자동차로 전송할 수 있는 효과가 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 Basic System Context Diagram을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 DFD를 개략적으로 도시한 도면이다.
도 3은 본 발명의 또 다른 실시예에 따른 DFD를 개략적으로 도시한 도면이다.
도 4는 본 발명의 또 다른 실시예에 따른 DFD를 개략적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 Overall Architecture를 개략적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 Server Architecture를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 Real-time traffic flow control System을 개략적으로 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 Server Section의 예시적인 실시예를 도시한다.
도 9는 본 발명의 일 실시예에 따른 Hardware를 개략적으로 도시한 도면이다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 자율 주행을 제어하기 위한 자율 주행 자동차의 주행할 방향을 결정하는 예시적인 실시예를 도시한다.
도 11a 및 도 11b는 본 발명의 일 실시예에 따른 자율 주행을 제어하기 위한 교차로 검출 영상 처리의 예시적인 실시예를 도시한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 펌웨어 (firmware), 소프트웨어 (software), 또는 하드웨어 (hardware) 로 구성된, 알고리즘 또는 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 알고리즘 또는 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 디지털 신호 처리 디바이스 (Digital Signal Processing Device) 의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 알고리즘 또는 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 Basic System Context Diagram을 개략적으로 도시한 도면이다.

도 1을 참조하면, Basic System Context Diagram은 camera (110), server (120), UV controller (130) 및 motor (140) 를 포함한다.

Camera Input은 실시간 자동차 주변 영상을 제공한다. Signal은 motor (140) 에 움직임에 대한 signal을 제공한다. Command는 영상 및 센서를 통해 계산한 Command를 UV로 전달한다.

도 2는 본 발명의 일 실시예에 따른 DFD를 개략적으로 도시한 도면이다.

도 2를 참조하면, DFD는 video (210), main server (220), Unmanned Vehicle Control (230), servo motor (240) 및 DC motor (250) 를 포함한다.

Unmanned Vehicle Control (230) 은 main server (220) 로부터 Server command를 수신하여, servo motor (240) 로 servo motor signal을 전송하고, DC motor (250) 로 DC motor signal을 전송한다.

main server (220) 는 Video (210) 로부터 Video Input을 전송받아, Unmanned Vehicle Control (230) 로 Server command를 전송한다. 즉, main server (220) 는 비디오 값을 가져와 영상처리를 통해 UV가 처리해야할 command를 Unmanned Vehicle Control (230) 로 전송한다.

여기서, Video Input은 카메라 이미지 값으로 format은 image이고, servo motor signal은 servo motor (240) 가 수행할 signal로 format은 signal이고, DC motor signal은 DC motor (250) 가 수행할 command를 전달하는 것으로 format은 signal이며, Server command는 UV가 수행할 command를 전달하는 것으로 format은 Data Structure이다.

도 3은 본 발명의 또 다른 실시예에 따른 DFD를 개략적으로 도시한 도면이다.

도 3을 참조하면, DFD는 Output Processing (310), Servo Motor Interface (320) 및 DC Motor Interface (330) 를 포함한다.

Servo Motor Interface (320) 는 Output Processing (310) 으로부터 Servo Signal data를 전송받아, Servo Motor signal을 전달한다. 구체적으로, Servo Motor Interface (320) 는 Output Processing (310) 으로부터 들어오는 Servo signal data 값을 확인하여, Servo Motor가 동작할 수 있도록 signal을 내보내준다.

DC Motor Interface (330) 는 Output Processing (310) 으로부터 들어오는 DC signal data 값을 확인하여 DC Motor가 동작할 수 있도록 signal을 내보내준다.

Output Processing (310) 은 server로부터 이미지를 이용해 계산하여 만들어진 command 값을 받아와 Servo Motor와 DC Motor가 동작할 수 있도록 signal을 내보내준다.

여기서, Servo signal data는 Sever command를 수행할 Servo Motor signal로 format은 signal이고, DC signal data는 Sever command를 수행할 DC Motor signal로 format은 signal이며, Server command data는 서버에서 계산된 command로 format은 Data Structure이다.

도 4는 본 발명의 또 다른 실시예에 따른 DFD를 개략적으로 도시한 도면이다.

도 4를 참조하면, DFD는 Video interface (410), Image Processing (420) 및 Server Output Processing (430) 을 포함한다.

Video interface (410) 는 Camera로부터 Video Input을 받아와 Image Processing (420) 이 사용할 수 있도록 가공하여 Video Data로 제공한다.

Image Processing (420) 은 Video data 값을 가져와서 영상처리를 하여 UV가 수행해야할 command를 Server Output Processing (430) 에 전달한다.

Server Output Processing (430) 은 Image Processing (420) 으로부터 받 은 command를 UV로 전달하는 interface 역할을 한다.

여기서, Video data는 가공된 Video data로 format은 Image이고, Server command는 영상과 센서를 종합하여 계산된 command 값으로 format은 Data Structure이다.

도 5는 본 발명의 일 실시예에 따른 Overall Architecture를 개략적으로 도시한 도면이다.

도 5를 참조하면, Overall Architecture는 Video (510), Main Server (520), Unmanned Vehicle Controller (530), servo motor (540) 및 DC motor (550)를 포함한다.

본 시스템은 낮은 컴퓨팅 파워를 갖는 무인자동차의 MCU로 Main Server (520) 의 컴퓨팅 파워를 사용하는 효과를 갖게 된다. 이를 통해 무인 자동차에서도 영상처리라는 고성능의 기술을 사용할 수 있게 된다.

UVC는 실시간 영상의 전달 및 무인 자동차 제어를 담당한다. 무인자동차에 달린 카메라로부터 받아오는 영상은 바로 Cloud Server로 전달한다. Servo Motor (540) 와 DC Motor (550) 는 Unmanned Vehicle Control Processor (530) 가 서버로부터 받아오는 Command 값을 전달받아 무인자동차를 제어한다. Cloud Server에서는 실시간 영상처리를 통한 주행상황을 인지하여 상황에 알맞은 제어 명령을 UVC에 전달하도록 한다.

도 6은 본 발명의 일 실시예에 따른 Server Architecture를 도시한 도면이다.

도 6을 참조하면, DB Server는 MySQL (601) 을 사용하며, 전달받은 데이터를 통하여 Local Server의 정보를 취합하여 Global한 영역에서 차량 흐름에 관한 데이터를 가지고 있게 된다. 또한 각각 차량의 주행에 관한 정보를 받아 차량들간의 충돌위험을 감지하고, 해당 차량으로 위험을 알린다. Cloud Server는 여러 대의 Clients의 정보를 전송받는다. Cloud Server는 ODBC (602) 를 이용하여 DB를 Control하며, 전송받은 데이터를 충돌 위험감지 알고리즘을 이용하여 분석한 후, 해당 차량 (606, 607) 에게 위험 감지 데이터를 전송한다. 전송하는 방식에는 일반적인 Socket 통신이 아닌 Vert.x (605) 를 이용하여, 해당 Client에게만 선택적으로 데이터를 전송할 수 있도록 한다.

도 7은 본 발명의 일 실시예에 따른 Real-time traffic flow control System을 개략적으로 도시한 도면이다.

DB Server (701) 는 Global DB를 가지고 있다. Local과 Local을 이어주고 DB를 관리하는 서버이다.

DB Server (701) 는 Global Map안에서 차량의 흐름 정보를 처리한다.

Cloud Server(702) 는 Local안에서 이루어지는 다수의 Car (703) 간의 정보를 취합하여 충돌 위험 감지 알고리즘을 이용하여 계산한다. 이후, 해당 차량에게 경고 신호를 전송한다.

Car(703) 는 각각의 자동차에 위치와 상태에 관한 정보를 Cloud Server (702) 로 전달한다. Cloud Server (702)로부터 전달 받은 정보를 사용자에게 표시해준다.

도 8은 본 발명의 일 실시예에 따른 Server Section의 예시적인 실시예를 도시한다.

도 8을 참조하면, 서버에서 무인자동차 제어는 4단계를 거친다. 먼저 카메라를 통해 받아온 영상 속에서 양쪽 Line Tracking과 장애물 탐색을 한다. 이 단계에서 Line을 검출하기 위해 HSV 색상모델을 사용한다. HSV 색상 모델은 영상처리의 가장 큰 단점인 조명의 밝기에 따라 달라지는 색 값의 오차를 최소화 시켜준다. Line Tracker (810) 는 카메라의 하단부에 보이는 양쪽의 Line을 검출하여 그 중앙값을 추출하여 분석에 사용한다. Obstacle Detector (820) 는 정지선이나 과속방지턱과 같은 장애물을 검출하여 가장 가까운 직선 거리값을 분석한다. Driving Status Analysor (830) 는 Line Tracker (810) 와 Obstacle Detector (820) 의 결과를 종합하여 현재 주행상황에 대한 분석을 실시한다. 또한, 무인자동차 제어를 위한 Servo Motor와 DC Motor 값을 계산한다. 마지막으로, Control Commander (840) 는 Driving Status Analysor가 분석하여 계산한 모터 값들을 Packet으로 구성하여 전달한다.

도 9는 본 발명의 일 실시예에 따른 Hardware를 개략적으로 도시한 도면이다.

도 9를 참조하면, 무인자동차의 카메라 (910) 로부터 받은 영상을 무선 영상 송신기 (920) 로 송신하고, 수신기 (930) 에서 영상을 수신하여 디지털 영상 (940) 으로 변환한다. 이후 영상이 서버 (950) 로 전달되면 서버 (950) 에서 영상을 분석하여 무인자동차 제어 명령을 Bluetooth (960) 를 이용하여 전달한다.

도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 자율 주행을 제어하기 위한 자율 주행 자동차의 주행할 방향을 결정하는 예시적인 실시예를 도시한다.

도 10a 내지 도 10c를 참조하면, 먼저 무인자동차에 달린 카메라로부터 영상을 받아 서버에서 수신한다. 이 영상을 1 차적으로 라인에 맞는 색을 검출한다. 색이 검출되더라도 Noise가 발생하기 때문에 이를 두 번 더 필터링하여 Noise를 최소화시킨다. 다음으로 Canny Algorithm으로 영상의 외곽선을 추출한 뒤 Hough Algorithm을 적용하여 영상에서 나타나는 모든 선들을 추출한다. 이 선들을 이용해 좌측라인과 우측라인에 해당하는 선들의 평균값을 구해 차선을 구하고, 두 선의 교점을 구해 무인자동차가 주행할 방향을 정한다.

도 11a 및 도 11b는 본 발명의 일 실시예에 따른 자율 주행을 제어하기 위한 교차로 검출 영상 처리의 예시적인 실시예를 도시한다.

도 11a 및 도 11b를 참조하면, 실제 자동차의 위치를 자동차의 속도 (DC 값)를 이용해 추적할 경우 오차가 발생할 수 있으므로, 이 오차를 최소화하기 위해 사거리마다 마름모 모양의 표시를 해두었다. 자동차 영상처리를 할 때 이 부분도 실시간으로 영상처리하여 각 사거리를 지날때마다 실제 자동차의 위치를 파악하여 자동차의 위치를 모니터링 하는 DB Server 에 반영하도록 하였다.

본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110 camera
120 server
130 UV controller
140 motor
210 Video
220 main server
230 Unmanned Vehicle Control
240 servo motor
250 DC motor
310 Output Processing
320 Servo Motor Interface
330 DC Motor Interface
410 Video interface
420 Image Processing
430 Server Output Processing
510 Overall Architecture는 Video
520 Main Server
530 Unmanned Vehicle Controller
540 servo motor
550 DC motor
601 MySQL
602 ODBC
603 CPP app
604 Algorithm
605 Vert.x
606 Car 1
607 Car 2
701 DB Server
702 Cloud Server
703 Car
810 Line Tracker
820 Obstacle Detector
830 Driving Status Analysor
840 Control Commander
910 카메라
920 무선 영상 송신기
930 수신기
940 video capture module
950 server
960 bluetooth module

Claims (3)

1. 이동수단의 카메라로부터 촬영된 주행 영상을 수신하는 단계;
   상기 주행 영상을 서버로 전송하는 단계;
   상기 서버로부터 상기 주행 영상에 기초하여 생성된 지시를 수신하는 단계; 및
   상기 지시에 따라 상기 이동수단을 제어하는 단계를 포함하는, 자율 주행 장치를 제어하는 방법.
2. 제1항에 있어서,
   상기 서버에서 상기 주행 영상에 기초하여 생성된 지시는,
   상기 주행 영상에 포함된 복수의 라인을 추출하고, 상기 복수의 라인 중 상기 주행 영상의 좌측에 위치하는 라인 및 우측에 위치하는 라인에 대한 평균값을 산출하고, 상기 평균값을 기초로 차선을 산출하고, 상기 차선의 교점을 산출하고, 상기 교점을 기초로 Servo Motor 값 및 DC Motor 값을 산출함으로써 결정된, 자율 주행 장치를 제어하는 방법.
3. 제2항에 있어서,
   상기 이동수단을 제어하는 단계는,
   상기 Servo Motor 값 및 상기 DC Motor 값으로 상기 이동수단을 제어하는 단계인, 자율 주행 장치를 제어하는 방법.

Images