KR100391450B1

KR100391450B1 - 아이엠에이큐를 이용한 차량 거리 제어 시스템의 영상획득방법

Info

Publication number: KR100391450B1
Application number: KR10-2000-0084050A
Authority: KR
Inventors: 윤중락
Original assignee: 현대자동차주식회사
Priority date: 2000-12-28
Filing date: 2000-12-28
Publication date: 2003-07-12
Also published as: KR20020054839A

Abstract

본 발명의 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법은, 영상촬영수단에 의해 촬영된 영상으로부터 로우레벨 IMAQ 함수로 이미지를 획득하여 버퍼에 연속적으로 저장하는 단계와; 상기 버퍼에 저장된 이미지를 처리하기 위한 타이밍을 설정하는 프레임율을 선택하여 선택된 프레임율에 따라 이미지를 저장매체에 저장하는 단계와; 상기 저장매체에 저장된 이미지를 재생하고 영상 재생시 말단 프레임을 인식하여 말단 프레임 도달시 영상 재생을 종료하는 단계를 포함하여 이루어져, CCD 카메라를 통한 전방 상황의 감시를 가능하게 하므로 효율적인 ICC(intelligent cruise control)의 제어가 가능하게 된다.

Description

아이엠에이큐를 이용한 차량 거리 제어 시스템의 영상 획득방법{METHOD FOR CAPTURING IMAGE BY USING IMAQ OF A VEHICLE DISTANCE CONTROL SYSTEM}

본 발명은 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법에 관한 것으로, 보다 상세하게는 자율주행 차량의 차간거리 제어 시스템에서 영상촬영수단을 통해 입력되는 영상을 연속적으로 저장하고 재생할 수 있도록 하기 위한 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법에 관한 것이다.

일반적으로 자율 주행 차량의 차간거리 제어 시스템은 전방 상황과 ECU(Electronic Control Unit) 정보를 비교하고 검토하여 차량간 거리를 설정된 수준으로 제어하기 위한 시스템이다.

이러한 차량 거리 제어 시스템은 도로 영상과 전방 차량 또는 장애물 등에 대한 정보를 수집하여 분석하고 분석되는 정보에 근거하여 자차의 운행 상태를 조절하게 된다.

그래서 시스템내에는 영상정보를 획득하고 분석하며, 획득된 영상에 근거하여 자차를 제어하기 위한 제어로직이 식재된다.

이미지의 획득과 화면 표시 상기 제어로직은 영상촬영수단인 CCD(Charge-Coupled Device) 카메라를 통해 입력된 영상을 저장하고 재현한다.

도1에는 일반적인 차량 거리 제어 시스템 블록이 도시되어 있다.

도1에 따르면, 영상 획득 시스템은 차량의 주변을 연속적으로 촬영하여 영상신호를 발생시키는 CCD 카메라(11)와, 영상촬영수단(11)에서 입력되는 영상신호로부터 이미지를 획득하는 이미지 획득수단(12)과, 이미지 획득수단(12)에 의해 획득된 이미지를 모니터링(Monitoring)하고 캡처링(Capturing)하여 설정된 로직에 따라처리하며, 차량내 엔진 제어수단에 해당하는 ECU(14)가 검출하는 엔진 운전조건 정보를 인가받고 이미지 처리 결과에 부합되도록 주행 제어 신호를 출력하여 ECU(14)를 제어하는 주제어수단(20)을 포함한다.

이때 ECU(14)에 의해 검출되는 엔진 운전조건에는 차량(13)의 주행속도가 포함되며, ECU(14)에 의해 제어되는 것에는 브레이크 및 쓰로틀 밸브(15)가 포함된다.

그리고 주제어수단(20)은 이미지 획득수단(12)에 의해 획득된 이미지를 모니터링 하여 일정한 조건이 성립되는 경우에 해당 이미지를 캡처링하는 이미지 모니터링 및 캡처링부와, 캡처된 이미지를 설정된 로직에 따라 처리하여 차량의 주행방향 또는 주변상황에 대한 데이터를 생성시키는 이미지 프로세싱부와, 이미지 프로세싱부에 의해 생성된 데이터에 근거하여 ECU(14)를 제어하는 자율주행 제어부가 포함된다.

그런데 차량 거리 제어 시스템을 구현함에 있어서, 종래에는 영상을 입력하고 처리하기 위하여 대부분 복잡하게 구성되는 하드웨어를 사용하거나 이러한 하드웨어를 대체하기 위하여 소프트웨어적인 처리를 가하게 되는 기술적인 한계가 있었다.

또한, 종래에는 단순히 레이더를 사용하여 전방 상황을 검지하고 차량을 제어하도록 되어 있어 ICC(Intelligent Cruise Control)과 같은 자율주행 차량의 요구를 충분히 달성하기 어려운 단점이 있었다.

본 발명은 상기와 같은 종래의 문제점을 해소하기 위해 창출된 것으로, 본 발명의 목적은 자율주행 차량의 차간거리 제어 시스템에서 영상촬영수단을 통해 입력되는 영상을 연속적으로 저장하고 재생할 수 있도록 하기 위한 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법을 제공하는 데 있다.

도1은 일반적인 차량 거리 제어 시스템 블록도이며,

도2는 본 발명의 실시예에 의한 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법의 순서도이고,

도3a는 본 발명에 따른 영상 기록 블록의 블록도이고,

도3b는 본 발명에 따른 영상 재생블록의 블록도이며,

도4는 본 발명에 따른 이미지 획득 및 표시 로직의 흐름도이고,

도5는 본 발명에 따른 저장 타이밍 설정로직의 흐름도이고,

도6은 본 발명에 따른 이미지 저장로직의 흐름도이며,

도7은 본 발명에 따른 영상 재생시의 말단 프레임 인식로직의 흐름도이다.

* 도면의 주요 부분에 대한 부호의 설명 *

11 : CCD 카메라 12 : 이미지 입력수단

13 : 차량 14 : ECU

15 : 브레이크 및 쓰로틀 밸브 20 : 주제어수단

상기 목적을 달성하기 위한 본 발명의 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법은, 영상촬영수단에 의해 촬영된 영상으로부터 로우레벨 IMAQ 함수로 이미지를 획득하여 버퍼에 연속적으로 저장하는 단계와; 상기 버퍼에 저장된 이미지를 처리하기 위한 타이밍을 설정하는 프레임율을 선택하여 선택된 프레임율에 따라 이미지를 저장매체에 저장하는 단계와; 상기 저장매체에 저장된 이미지를 재생하고 영상 재생시 말단 프레임을 인식하여 말단 프레임 도달시 영상 재생을 종료하는 단계를 포함하는 것을 그 특징으로 한다.

이하, 첨부도면을 참조하여 본 발명에 따른 바람직한 실시예를 설명한다.

도2는 본 발명의 실시예에 의한 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법의 순서도이고, 도3a는 본 발명에 따른 영상 기록 블록의 블록도이고, 도3b는 본 발명에 따른 영상 재생블록의 블록도이며, 도4는 본 발명에 따른 이미지 획득 및 표시 로직의 흐름도이고, 도5는 본 발명에 따른 저장 타이밍 설정로직의 흐름도이고, 도6은 본 발명에 따른 이미지 저장로직의 흐름도이며, 도7은 본 발명에 따른 영상 재생시의 말단 프레임 인식로직의 흐름도이다.

본 발명은 도1에 도시된 바와 같은 차량 거리 제어 시스템에 적용될 수 있는것으로써, 영상 획득 방법을 통해 초당 10프레임 혹은 20프레임의 속도로 저장하고 이를 다시 재현할 수 있다. 영상 획득 방법은 외부의 정보와 차량의 각종 센서 정보를 받아서 통합 처리하고 이를 바탕으로 최적의 스로틀과 브레이크 제어를 행한다.

그래서 영상의 입력과 처리를 위하여 이미지 입력수단(12)과 CCD카메라(11)를 제어하고 연속적인 영상을 받아들이고 다시 재생하기 위한 프로그램을 포함한다. CCD카메라(11)의 촬영 영상은 320×240의 8비트 그레이스 케일 이미지이며, 각각의 프레임은 JPEG 파일로 저장하도록 되어 있다. 덧붙여 CAN(Controller Area Network) 통신을 통하여 획득하는 ECU 데이터 중 주요 데이터를 프레임에 동시에 입력할 수 있다.

그리고, National Instruments사에서 개발된 IMAQ은 소프트웨어적인 제어 로직을 작성하여 이를 통하여 하드웨어를 직접 제어하도록 하는 시스템으로서 소프트웨어적인 처리로 인한 속도의 저하가 발생하지 않으며 다양한 기능을 라이브러리로 제공하여 엔지니어가 이를 이용하여 독자적인 시스템을 쉽게 구축할 수 있도록 하고 있다.

이에 본 실시예는 IMAQ을 이용하여 영상의 입/출력 시스템을 구현하고 있으며, CAN 통신과의 연계를 통한 통합 제어 시스템을 고려한다.

도2에 따르면, 영상촬영수단에 의해 촬영된 영상으로부터 로우레벨 IMAQ 함수로 이미지를 획득한다. 영상촬영수단은 CCD 카메라(11, 도1 참조)로 구현된다(ST21).

그리고 단계 ST21에서 획득된 이미지는 버퍼에 연속적으로 저장된다(ST22).

이러한 영상의 입출력을 수행하는 영상 입출력 모듈은 기록 프로그램과 재생 프로그램으로 구성되는 것으로, 도3a에는 영상 기록 블록이 도시되어 있고, 도3b에는 영상 재생 블록이 도시되어 있다.

도3a에 따르면, 영상 기록 블록은 프리셋부에서 이미지 셋업과 파일셋업을 수행하고, 루프부에서 이미지의 획득과 이미지 표시와 타이밍 설정과 파일쓰기 기능을 수행하여, 이미지 처리 블록으로 전달한다.

도3b에 따르면, 영상 재생 블록은 프리셋부에서 이미지 셋업과 파일셋업을 수행하고, 루프부에서 카운터 셋업과 프레임 셋업과 검출종료와 파일 읽기 및 이미지 표시 기능을 수행하여, 이미지 처리 블록으로 전달하게 된다.

더불어 도4에 도시된 바와 같이, 빠른 속도로 이미지를 획득하고 화면에 표시하기 위하여 고수준 기능의 사용을 제한하여 하드웨어를 직접 제어하는 로우레벨의 IMAQ 함수를 이용한다.

각 함수들 간의 흐름은 가는 선으로 표시한 IMAQ 세션(identifier)과 굵은 선으로 표시한 IMAQ 이미지(pointer of buffer)의 두 가지로 이루어진다.

상기 사용된 함수들은 다음과 같은 기능을 가지고 있다. CCD카메라(11)가 받아들인 이미지는 연속적으로 버퍼에 저장되며 이를 다시 별도의 이미지 버퍼에 복사하여 이를 화면에 표시하고 디스크에 저장한다.

이때 영상 획득은 기본적으로 1초에 20 프레임씩 이루어진다.

본 실시예는 매초 10프레임과 20프레임의 영상 저장 선택이 가능하도록 하기위하여 도5에 도시된 바와 같이, 하나의 블리언(Boolean) 변수를 설정한다(ST23).

그래서 매 루프마다 True와 False 값을 번갈아 갖도록 하여 속도 설정이 10frames/sec일 경우는 블리언 값이 False에서 True로 바뀔 때만 파일로 저장하도록 하였다. 속도 설정이 20frames/sec일 경우는 블리언 값과 관계없이 매 루프마다 파일을 기록하게 된다.

단계 ST23에서 블리언 변수를 통해 초당 10프레임 또는 20프레임의 프레임율 선택이 이루어지면, 블리언 변수에 의해 지시되는 타이밍에 따라 이미지를 메모리에 저장한다(ST24).

한 프레임의 저장은 IMAQ Write JPEG 파일 함수를 사용하여 수행 가능하나 연속적인 파일 저장의 기능은 IMAQ에서 제공하고 있지 않다. 따라서 연속 이미지의 저장을 위해서는 별도의 로직을 구성하여야 한다.

이러한 연속 이미지의 저장을 위한 로직은 도6에 도시되어 있다.

도6에 따르면, 현재 VI의 경로(Current VI's Path)와 스트립 경로(Strip Path)를 사용하여 현재 프로그램의 경로를 추출한다. 여기에 서브폴더 이름을 포함한 경로를 Build Path 명령에 의하여 추가하여 준다. 이때의 기본 서브폴더 이름은 “movie01”이다. 루프 안에서는 번호 순서대로 파일을 기록하는데, 파일의 번호는 소수점 아래 5자리의 숫자를 사용하는 소수 형태로 기록된다. 즉, 35번째 프레임일 경우 파일 이름은 “img0.00035.jpg”가 된다. 999999프레임까지 기록할 수 있으므로 디스크의 용량이 충분하다면 초당 10 프레임으로 저장할 경우 27시간 46분 40초 동안 영상을 저장할 수 있다.

이미지의 저장이 이루어지면, 이미지 프로세싱부는 해당 메모리를 엑세스하여 이미지를 재생할 수 있다(ST25).

이미지 재생시에는 이미지의 말단 프레임을 인식하기 위한 로직이 요구된다. 즉, 영상을 순방향/역방향으로 재생할 때 말단 프레임을 제대로 인식하지 못할 경우 각종 에러의 발생 원인이 될 수 있으므로 영상 재생 프로그램에서는 이와 관련된 로직을 구현한다.

도7에는 영상 재생시의 말단 프레임 인식 로직의 블록도이다.

도7에 따르면, 역방향 재생시 첫 프레임이 감지되면 카운터 번호를 1로 고정시키고 새로 파일을 읽는 것을 일시적으로 중단한다. 순방향 재생시의 마지막 프레임에 대한 처리는 두개의 블리언 변수(71, 72)를 사용하여 처리한다. 상기 두 개의 블리언 변수는 현재 프레임이 말단 프레임인지 여부를 지시하기 위한 변수(71)와, 마지막 프레임의 감지 여부를 지시하기 위한 변수(72)로 이루어진다.

마지막 프레임의 감지 여부를 나타내는 블리언 변수(72)가 True가 될 경우 파일 읽기를 일시적으로 중단하고 카운터를 마지막 프레임에서 고정시킨다. 이때 역방향 재생으로 전환하면 카운터를 감소시키면서 파일 읽기가 재개된다.

이처럼 영상 재생시의 말단 프레임 인식이 이루어지고, 말단 프레임에 도달하게 되면 해당 영상의 재생을 종료한다(ST26).

본 발명의 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법에 따르면, CCD 카메라를 통한 전방 상황의 감시를 가능하게 하므로 더욱 효율적인ICC(intelligent cruise control)의 제어가 가능하며, 현재 개발 중인 인공 지능 차량의 능력을 더욱 증가시킬 수 있게 되는 효과를 갖는다.

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위를 한정하는 것이 아니다.

Claims

(a) 영상촬영수단에 의해 촬영된 영상으로부터 로우레벨 IMAQ 함수로 이미지를 획득하여 버퍼에 연속적으로 저장하는 단계와;

(b) 상기 버퍼에 저장된 이미지를 처리하기 위한 타이밍을 설정하는 프레임율을 선택하여 선택된 프레임율에 따라 이미지를 저장매체에 저장하는 단계와;

(c) 상기 저장매체에 저장된 이미지를 재생하고 영상 재생시 말단 프레임을 인식하여 말단 프레임 도달시 영상 재생을 종료하는 단계를 포함하는 것을 특징으로 하는 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법.
제 1항에 있어서, 상기 단계 (b)에서 설정되는 상기 프레임율은,

블리언 변수를 설정하고 상기 블리언 변수의 2가지 위상에 따라 매초 10프레임과 20프레임의 영상 저장 프레임율이 선택될 수 있도록 하는 것을 특징으로 하는 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법.
제 1항에 있어서, 상기 단계 (b)에서 상기 이미지 저장단계는,

현재 VI의 경로(Current VI's Path)와 스트립 경로(Strip Path)를 사용하여 현재 프로그램의 경로를 추출하는 단계와;

상기 추출된 현재 경로에 서브폴더 이름을 포함한 경로를 추가하는 단계와;

상기 경로의 추가가 이루어지면, 루프안에서 번호 순서대로 파일을 기록하는단계를 포함하여 이루어지는 것을 특징으로 하는 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법.
제 1항에 있어서, 상기 단계 (c)에서 상기 영상 말단 프레임 인식단계는,

영상의 역방향 재생시 첫 프레임이 감지되면 카운터 번호를 1로 고정시키고 새로 파일을 읽는 것을 일시적으로 중단하는 단계와;

순방향 재생시 현재 프레임이 말단 프레임인지 여부를 지시하기 위한 제1 블리언 변수와, 마지막 프레임의 감지 여부를 지시하기 위한 제2 블리언 변수를 각각 설정하여, 상기 제2 블리언 변수가 'True'가 될 경우 파일 읽기를 일시적으로 중단하고 카운터를 마지막 프레임에 고정시키는 단계와;

상기 제2 블리언 변수가 'True'가 됨에 따라 카운터가 마지막 프레임에 고정된 경우, 영상 재생 방향이 역방향 재생으로 전환되면 카운터를 감소시키면서 파일 읽기를 재개하는 단계를 포함하여 이루어지는 것을 특징으로 하는 IMAQ를 이용한 차량 거리 제어 시스템의 영상 획득방법.