KR20090023977A

KR20090023977A - 스테레오 비전 시스템 및 그 처리 방법

Info

Publication number: KR20090023977A
Application number: KR1020070089140A
Authority: KR
Inventors: 최승민; 임을균; 조재일; 황대환
Original assignee: 한국전자통신연구원
Priority date: 2007-09-03
Filing date: 2007-09-03
Publication date: 2009-03-06
Also published as: US20090060280A1; US8208716B2; KR100918480B1

Abstract

본 발명은 스테레오 비전 시스템(Stereo Vision System)에 관한 것으로, 본 발명은, 입력 영상의 전처리, 스테레오 매칭 모듈을 이용한 스테레오 매칭 및 후처리 과정을 통해 스테레오 영상의 거리 정보를 획득하는 종래 방법과는 달리, 입력되는 스테레오 영상에 대한 전처리 과정을 수행하고, 영상 압축 모듈을 통해 스테레오 영상에 대한 저해상도 거리 정보를 획득하며, 특정 거리 이내에 물체가 검출되면, 스테레오 매칭 모듈에 전원을 공급하여 스테레오 매칭을 수행하고, 이를 통해 고해상도의 거리 정보를 획득함으로써, 영상 압축 모듈을 통한 저해상도 거리 정보를 획득할 수 있고, 스테레오 매칭 모듈로의 전원을 선택 공급하여 전원 관리 효율을 향상시킬 수 있는 것이다.

스테레오 비전 시스템(Stereo Vision System), 스테레오 매칭(stereo matching)

Description

스테레오 비전 시스템 및 그 처리 방법{STEREO VISION SYSTEM AND ITS PROCESSING METHOD}

본 발명은 스테레오 비전 시스템(Stereo Vision System)에 관한 것으로, 더욱 상세하게는 스테레오 비전 처리 시스템에 포함된 영상 압축 모듈 및 스테레오 매칭 모듈을 이용하여 저해상도 및 고해상도 거리 정보를 획득하는데 적합한 스테레오 비전 시스템 및 그 처리 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-033-03, 과제명: URC를 위한 내장형 컴포넌트 기술개발 및 표준화].

잘 알려진 바와 같이, 스테레오 매칭(Stereo Matching)은 좌측 및 우측에 설치된 두 대의 카메라에서 입력되는 두 개의 영상으로부터 입체 영상 정보를 추출하는 기법을 의미한다. 이러한 스테레오 매칭은 사람의 두 눈이 특정 사물 또는 영상 패턴까지의 거리 정보를 획득하는 방법과 마찬가지로, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안차(disparity)를 추출함으로써, 카메라에서 그 패턴의 실제 위치까지의 거리값 을 직접 계산하는 것이다.

다만, 이러한 스테레오 매칭 기법은 전체 영상 중 가운데 부분에 대한 거리 정보를 알 수 있는 사람의 두 눈과는 달리 전체 화면에 대한 거리 정보를 모두 계산하기 때문에 매우 많은 계산량을 필요로 하며, 두 카메라의 영상 특성이 일반적으로 완전히 동일하지 않고, 영상에 따라 어둡거나 패턴의 구별이 뚜렷하지 않은 부분이 있어 출력 양안차의 노이즈로 나타나게 된다.

한편, 스테레오 매칭을 처리하는 시스템에서는 디지털 영상이 입력되는 영상 센서를 내장한 두 대의 카메라, 두 입력 영상을 일차 처리하는 전처리부 및 스테레오 매칭부를 포함하는 시스템이 제안되어 있다.

이러한 시스템에서는 용도에 따라 두 대의 카메라 이외의 모든 처리를 개인용 컴퓨터(PC)에서 소프트웨어를 통해 수행할 수 있고, 전처리부 및 스테레오 매칭부 중 일부 또는 전부를 전용 하드웨어로 제작하여 수행할 수 있다. 여기에서, 전자의 경우 다양한 알고리즘을 용이하게 적용할 수 있으나 처리 속도가 느리고, 후자의 경우에는 제한된 특정 알고리즘만을 적용할 수 있으나 그 처리 속도는 빠른 장점이 있다.

특히, 스테레오 매칭 기법을 이용하는 스테레오 비전 시스템은 화면 내의 모든 물체에 대한 거리 정보를 획득할 수 있기 때문에 하나의 카메라 입력만을 이용하여 비전 처리하는 것에 비해 많은 분야에 응용될 수 있는데, 로봇의 시각, 자동차의 충돌 방지 장치, 게임, 군용 장비 등에서 이미 적용되어 있거나 향후 적용되어 유용한 정보를 획득할 수 있을 것으로 기대된다.

한편, 스테레오 매칭 기법을 이용하는 스테레오 비전 시스템은 모바일 장치에 적용될 경우 개인용 컴퓨터, 워크스테이션 등에 소프트웨어로 구현되거나, FPGA(Field-Programmable Gate Array) 상의 전용 하드웨어 로직으로 구현되는데, 이러한 스테레오 비전 시스템은 스테레오 비전 처리를 개인용 컴퓨터에서 수행되는 'Point Grey사의 Bumblebee'와 'Videre사의 STOC', 전용칩에서 스테레오 비전 처리를 수행하는 'Tyzx사의 DeepSea G2 Vision System'와 같은 제품이 상용화되어 있다.

이러한 스테레오 비전 시스템에서 종래에 스테레오 비전 처리를 수행하는 과정에 대해 도 1을 참조하여 설명하면, 좌측 및 우측 카메라를 통해 좌측 및 우측 영상이 입력되면(단계102), 좌측 및 우측 영상에 대한 밝기 및 에피폴라 라인(epipolar line)을 일치시키는 스테레오 영상 입력에 대한 전처리 과정을 수행하고(단계104), 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하며(단계106), 이러한 양안차의 결과에서 노이즈 성분을 제거한 후에 그 스테레오 영상의 거리 정보에 대한 프로젝션(projection), 세그멘테이션(segmentation), 필터링(filtering) 등의 후처리 과정을 수행하여(단계108), 스테레오 영상 정보를 획득함으로써(단계110), 이러한 스테레오 영상 정보를 통해 물체와 배경의 거리, 모양, 방향 등의 정보를 활용하게 된다.

하지만, 종래에 스테레오 비전 시스템에서는 입력되는 스테레오 영상(즉, 좌측 및 우측 영상)에 대한 전처리 과정, 스테레오 매칭 및 후처리 과정을 수행하여 스테레오 영상 정보를 획득하여 사용하게 되는데, 이러한 스테레오 비전 시스템은 개인용 컴퓨터(PC) 또는 FPGA 상에서 알고리즘이 구현되기 때문에, 구현 비용이 많이 소요될 뿐만 아니라 모바일 장치에 탑재하기에 그 전력이 많이 소요되는 문제점이 있었다. 또한, 모바일 장치에 내장형으로 탑재되는 경우에도 상황 인식, 네비게이션 등의 기능을 수행하기 위해 스테레오 매칭 모듈에 항상 전원을 공급해야만 하는 문제점이 있었다.

이에 따라, 본 발명은 스테레오 비전 시스템의 영상 압축을 통해 저해상도 영상 정보를 획득하고, 이로부터 물체의 검출 시 스테레오 매칭을 이용하여 고해상도 영상 정보를 획득할 수 있는 스테레오 비전 시스템 및 그 처리 방법을 제공하고자 한다.

또한, 본 발명은 스테레오 비전 시스템의 영상 압축을 통해 생성되는 움직임 벡터를 이용하여 카메라의 교정(calibration) 여부를 체크하고, 그 정보를 제공할 수 있는 스테레오 비전 시스템 및 그 처리 방법을 제공하고자 한다.

그리고, 본 발명은 스테레오 비전 시스템에서 고해상도의 영상 정보를 획득할 경우에만 스테레오 매칭 모듈에 전원을 공급하여 스테레오 매칭 과정을 수행함으로써, 전력 소모를 감소시킬 수 있는 스테레오 비전 시스템 및 그 처리 방법을 제공하고자 한다.

일 관점에 따른 본 발명은, 입력된 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 비전 시스템으로서, 상기 입력된 스테레오 영상을 전처리하여 출력하는 영상 전처리 수단과, 상기 출력된 스테레오 영상에 대한 스테레오 매칭을 수행하여 그 거리 정보를 획득하는 스테레오 매칭 수단을 포함하되, 상기 스테레오 매칭 수단은, 영상 압축 모듈을 이용하여 상기 스테레오 영상에 대한 저해상도 거리 정보를 획득하고, 상기 획득된 저해상도 거리 정보를 통해 특정 거리 이내에서 물체가 검출되면 스테레오 매칭 모듈을 이용하여 고해상도 거리 정보를 획득하는 것을 특징으로 하는 스테레오 비전 시스템을 제공한다.

다른 관점에 따른 본 발명은, 입력된 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 비전 처리 방법으로서, 상기 입력된 스테레오 영상을 전처리하여 출력하는 단계와, 상기 출력된 스테레오 영상에 대한 저해상도 거리 정보를 획득하는 단계와, 상기 저해상도 거리 정보를 이용하여 특정 거리 이내에 물체가 검출되는지를 체크하는 단계와, 상기 물체가 검출되면, 스테레오 매칭 모듈로 전원이 공급되면 스테레오 매칭을 통해 고해상도 거리 정보를 획득하는 단계를 포함하는 스테레오 비전 처리 방법을 제공한다.

본 발명은, 입력 영상의 전처리, 스테레오 매칭 모듈을 이용한 스테레오 매칭 및 후처리 과정을 통해 스테레오 영상의 거리 정보를 획득하는 종래 방법과는 달리, 입력되는 스테레오 영상의 전처리 과정을 수행한 후에, 영상 압축 모듈을 이용하여 좌측 영상은 I 프레임으로, 우측 영상을 P 프레임으로 인코딩하고, 이를 통 해 움직임 벡터를 추출하여 저해상도 거리 정보를 획득하고, 그 움직임 벡터를 이용하여 스테레오 카메라의 교정 여부를 판단하며, 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출되면 스테레오 매칭 모듈로 전원을 공급하여 스테레오 영상에 대한 스테레오 매칭 및 후처리 과정을 수행하여 고해상도 거리 정보를 획득함으로써, 영상 압축 모듈을 이용한 저해상도 거리 정보 또는 스테레오 매칭 모듈을 이용한 고해상도 거리 정보를 선택적으로 획득할 수 있다.

또한, 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출될 때에만 스테레오 매칭 모듈로 전원을 공급하여 스테레오 매칭을 수행함으로써, 효율적인 전원 관리를 수행할 수 있으며, 스테레오 영상에 대한 움직임 벡터를 검출하여 그 수직성분에 따라 스테레오 카메라의 교정 여부를 판단하여 그 정보를 제공할 수 있다.

본 발명의 기술요지는, 입력된 좌측 및 우측 영상에 대한 영상 압축을 통해 생성되는 움직임 벡터를 이용하여 저해상도의 거리 정보를 획득하고, 이러한 우측 영상의 움직임 벡터를 추출하여 스테레오 카메라의 교정 정보를 제공하며, 특정 거리 내에 물체가 검출되면, 스테레오 매칭 모듈을 이용하여 고해상도의 거리 정보를 획득 및 제공하고, 선택적인 스테레오 매칭 모듈의 사용으로 인해 전력 소모를 감소시키는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하 게 설명한다.

도 2는 본 발명에 따라 저해상도 영상 정보와 고해상도 영상 정보를 획득하는데 적합한 스테레오 비전 시스템의 블록구성도로서, 영상 입력 수단(202), 영상 전처리 수단(204), 스테레오 매칭 수단(206), 전원 관리 수단(208), 카메라 교정 수단(210), 통신망(212), 스테레오 영상 서버(214) 및 스테레오 영상 데이터베이스(216)를 포함한다.

도 2를 참조하면, 영상 입력 수단(202)은 CMOS 모듈, CCD 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 포함하는 것으로, 입력되는 촬영 이미지(또는, 동영상)는 렌즈를 통해 CCD 모듈 또는 CMOS 모듈로 제공되고, CCD 모듈 또는 CMOS 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력하며, 카메라가 갖는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC(Analog-to-Digital Converter, 이하 'ADC'라 함)를 통해 촬영 신호를 디지털 신호로 변환하여 해당 디지털 영상(즉, 좌측 및 우측 영상이 동기화된 스테레오 영상)을 영상 전처리 수단(204)으로 전달한다.

또한, 영상 입력 수단(202)은 스테레오 매칭 수단(206)의 교정 및 제어부(206c)로부터 스테레오 카메라의 교정 요청에 따라 도 4a에 도시한 바와 같이 특정 패턴의 영상을 다수 개 촬영하여 상술한 바와 같은 과정을 통해 그 교정 디지털 영상을 영상 전처리 수단(204)으로 전달한다.

그리고, 영상 전처리 수단(204)은 교정 파라미터(rectification parameter) 값을 통해 스테레오 영상을 교정(rectification)하고, 영상의 에피폴라 라인을 일치시켜 출력하는 것으로, 영상 입력 수단(202)으로부터 전달되는 스테레오 영상(즉, 좌측 및 우측 영상)에 대한 스테레오 카메라의 교정 파라미터를 이용하여 에피폴라 라인을 수평이 되게 영상을 교정하고, 좌측 및 우측 카메라의 특성 차이 및 좌우 영상의 밝기 차이를 보정하여 스테레오 매칭 수단(206)으로 전달한다. 여기에서, 에피폴라 라인은 스테레오 영상에서 한쪽 영상의 한 점이 다른 영상의 라인으로 대응되는데, 이러한 대응되는 라인을 의미하며, 이러한 에피폴라 라인을 일치시키기 위해 스테레오 카메라 전방에 좌우 카메라의 베이스라인 벡터와 평행하도록 스테레오 카메라 앞에 교정용 패턴을 이용하여 교정 파라미터를 추출하며, 이러한 교정 파라미터를 저장해 두고, 초기화 작업 시 이러한 교정 파라미터를 이용하여 에피폴라 라인이 수평이 되게 한다.

또한, 영상 전처리 수단(204)에서는 스테레오 매칭 수단(206)의 교정 및 제어부(206c)로부터 제공되는 스테레오 카메라의 교정 요청에 따라 영상 입력 수단(202)으로부터 전달되는 교정 디지털 영상을 이용하여 스테레오 카메라(즉, 좌측 카메라 및 우측 카메라)의 교정을 수행한다. 여기에서, 스테레오 카메라의 교정은, 도 4b에 도시한 바와 같이 다수 개의 특정 패턴 영상에 대해 각각의 특징점들에 대한 대응쌍을 추출한 후, 도 4c에 도시한 바와 같이 DLT(Direct Linear Transformation, 이하 'DLT'라 함)를 수행하여 대응점을 매칭시키는 방식으로 수행된다.

다음에, 스테레오 매칭 수단(206)은 영상 압축 모듈, 스테레오 매칭 모듈 등 을 포함하는 것으로, 영상 전처리 수단(204)을 통해 전달되는 스테레오 영상은 좌측 영상과 우측 영상이 교번적으로 영상 압축 모듈로 입력되고, 영상 압축 모듈을 통해 좌측 영상은 I 프레임으로, 우측 영상은 P 프레임으로 인코딩한 후, 이러한 과정으로 우측 영상에 대한 움직임 벡터를 통해 저해상도 거리 정보(즉, 저해상도 양안차)를 획득한다. 여기에서, 저해상도 거리 정보는 영상 압축 모듈의 움직임 추정(Motion Estimation) 기법을 통해 해당 거리 정보의 깊이 값이 정해지면 그 스테레오 영상에 대해 사용자 인식, 추적 등에 이용될 수 있다.

또한, 스테레오 매칭 수단(206)은 저해상도의 영상 정보를 이용한 스테레오 비전을 수행하는 중에 특정 거리 이내에서 물체가 검출되면, 전원 관리 수단(208)으로부터의 전원을 스테레오 매칭 모듈로 공급하고, 영상 전처리 수단(204)을 통해 전달되는 스테레오 영상은 I 프레임, P 프레임 및 B 프레임이 스테레오 매칭 모듈로 입력되며, 스테레오 매칭 모듈을 통해 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하여 중앙 양안차 영상을 생성하고, 이러한 중앙 양안차 영상에 따라 고해상도 거리 정보(즉, 고해상도 양안차)를 획득한다. 여기에서, 고해상도 거리 정보는 영상 압축 모듈의 움직임 추정 기법을 통해 해당 거리 정보의 깊이 값이 정해지면 그 스테레오 영상에 대해 사용자 인식, 추적 등에 이용될 수 있다.

한편, 도 3은 본 발명에 따라 영상 압축 모듈 및 스테레오 매칭 모듈을 포함하여 스테레오 매칭을 수행하는 스테레오 매칭 수단의 세부 블록구성도로서, 영상 압축부(206a)와, 스테레오 매칭부(206b)와, 교정 및 제어부(206c)를 포함한다.

도 3을 참조하면, 영상 압축부(206a)는 H.264/MPEG4 AVC 등과 같은 영상 압 축 모듈을 포함하는 것으로, 움직임 추정 기법을 갖는 동영상 인코더를 통해 기준 영상이 되는 I 프레임과 이전 프레임만을 참조하는 P 프레임을 사용하여 영상 전처리 수단(204)으로부터 입력되는 스테레오 영상 중 좌측 영상은 I 프레임으로 인코딩하고, 우측 영상은 P 프레임으로 인코딩한다.

여기에서, 도 5에 도시된 바와 같은 동영상 인코더를 통해 스테레오 영상을 인코딩하는 과정에 대해 설명하면, 좌측 영상의 경우, 즉 I 프레임으로 인코딩하는 경우 n 번째 동영상(Moving Picture)이 입력되면, 메모리(Memory)에 기록되어 있는 현재(Current, 'Cur'라 함), 즉 n 번째 영상(Frame, 'Frm'라 함)은 이산 코사인 변환(Discrete Cosine Transform, 'DCT'라 함)을 수행한 후 데이터 단계를 간략화하여 동일한 숫자를 극대화시키고, VLC(Variable Length Coder, 이하 'VLC'라 함)에 의해 압축 가능하도록 하는 양자화(Quantization, 'Q'라 함) 과정을 수행하며, 동일한 숫자가 반복되면 숫자의 비트(bit) 할당을 최소로 만들어 압축하는 VLC를 수행한 후 그 압축 결과를 일시 저장(Bitstream Buffer)한 후에 영상 비트스트림(Video Bitstream)을 출력한다.

이와 동시에, 양자화(Q) 과정을 수행한 영상 데이터는 역양자화(Inverse Q, 'IQ'라 함) 및 역 이산 코사인 변환(Inverse DCT, 'IDCT'라 함)을 수행한 후, 메모리(Memory)에 이전(Previous, 'Prev'라 함), 즉 n-1 번째 I 프레임 영상(Frm)으로 저장된다.

한편, 우측 영상의 경우, 즉 P 프레임으로 인코딩하는 경우 n 번째 동영상(Moving Picture)이 입력되면, 메모리(Memory)에 기록되어 있는 현재(Cur), 즉 n 번째 영상(Frm)은 움직임 추정부(Motion Estimation)로 전달되고, 이전(Prev), 즉 n-1 번째 P 프레임 영상(Frm)간의 움직임 벡터를 추출하여 움직임 예측부(Motion Prediction)로 전달하며, 움직임 예측이 수행된 영상 데이터는 n 번째 영상과 감산(－)되어 이산 코사인 변환(DCT)을 수행한 후에, 데이터 단계를 간략화하여 동일한 숫자를 극대화시키고, VLC에 의해 압축 가능하도록 하는 양자화(Q) 과정을 수행하며, 동일한 숫자가 반복되면 숫자의 비트 할당을 최소로 만들어 압축하는 VLC를 수행한 후 그 압축 결과를 일시 저장(Bitstream Buffer)한 후에 영상 비트스트림(Video Bitstream)을 출력한다.

이와 동시에, 양자화(Q) 과정을 수행한 영상 데이터는 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 수행한 후, 움직임 예측부를 통해 움직임 예측된 영상 데이터와 합산(＋)되고, 메모리에 이전(Prev), 즉 n-1 번째 P 프레임 영상(Frm)으로 저장된다.

한편, 영상 압축부(206a)에서는 VLD(Variable Length Decoder, 이하 'VLD'라 함)를 통해 출력되는 우측 영상의 P 프레임을 디코딩하고, 이를 통해 우측 영상의 움직임 벡터를 추출하여 좌측 영상의 I 프레임과 매칭시킴으로써, 저해상도 거리 정보를 획득하는데, 해당 동영상 인코더의 매크로 블록 크기가 8×8인 경우 양안차의 해상도는 원영상 해상도에서 가로와 세로를 각각 8로 나눈 저해상도 거리 정보를 획득한다. 예를 들면, 원영상이 640×480의 영상일 경우 80×60의 해상도를 갖는 저해상도 거리 정보(즉, 저해상도 양안차)를 획득할 수 있다. 이 후에, 움직임 추정 기법을 통해 가로 방향의 검색 범위 창 크기(search range window size)에 따 라 양안차의 깊이 값이 정해진다.

또한, 영상 압축부(206a)에서는 양안차의 깊이 값을 포함하는 저해상도 거리 정보를 교정 및 제어부(206c)로 전달하거나 혹은 스테레오 매칭부(206b)로부터 전달되는 고해상도 거리 정보에 대해 움직임 추정 기법을 이용하여 검색 범위 창 크기(search range window size)에 따라 양안차의 깊이 값이 구한 후에, 양안차의 깊이 값을 포함하는 고해상도 거리 정보를 교정 및 제어부(206c)로 전달한다.

그리고, 스테레오 매칭부(206b)는 스테레오 매칭 모듈 등을 포함하는 것으로, 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출되면, 전원 관리 수단(208)으로부터 전원을 공급받아 전처리 과정을 수행한 스테레오 영상(즉, 좌측 영상 및 우측 영상)을 이용하여 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하며, 중앙 양안차 영상을 생성하고, 이러한 중앙 양안차 영상에 따라 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차를 생성하는 스테레오 매칭을 수행한 후, 그 스테레오 영상의 거리 정보에 대한 프로젝션, 세그멘테이션, 필터링 등의 후처리 과정을 수행하여 고해상도 거리 정보를 획득한다. 이러한 고해상도 거리 정보는 움직임 추정을 위해 영상 압축부(206a)로 전달된다. 여기에서, 스테레오 매칭부(206b)는 예를 들면, 다이나믹 프로그램(Dynamic Program) 방식, 블록 매칭(Block Matching) 방식 등의 스테레오 매칭 모듈을 이용하여 스테레오 영상에 대한 스테레오 매칭을 수행할 수 있다.

한편, 교정 및 제어부(206c)는 영상 압축부(206a)로부터 제공되는 스테레오 영상(즉, 좌측 영상 및 우측 영상)에 대한 움직임 벡터의 수직 성분을 분석하여 스 테레오 카메라의 에피폴라 라인의 일치 여부를 판단하고, 일치하지 않은 경우 스테레오 카메라의 교정을 수행하도록 도시 생략된 디스플레이 장치에 스테레오 카메라 교정이 필요함을 디스플레이하며, 이에 따라 스테레오 카메라의 교정이 요청되면 교정 제어신호를 영상 입력 수단(202) 및 영상 전처리 수단(204)으로 제공하며, 영상 압축부(206a) 및 스테레오 매칭부(206b)를 통해 획득된 저해상도 거리 정보 및 고해상도 거리 정보를 내부 메모리에 저장하거나 혹은 통신망(210)을 통해 스테레오 영상 서버(214)로 전송한다.

그리고, 전원 관리 수단(208)은 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출되지 않으면 스테레오 매칭 수단(206)의 스테레오 매칭부(206b)의 스테레오 매칭 모듈로의 전원 공급을 중단하고, 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출되면 스테레오 매칭 수단(206)으로부터의 전원 공급 요청에 따라 스테레오 매칭 수단(206)의 스테레오 매칭부(206b)의 스테레오 매칭 모듈로 전원을 선택 공급한다.

한편, 스테레오 영상 서버(212)는 스테레오 영상을 저장 관리하는 서버로서, 스테레오 매칭 수단(206)으로부터 통신망(210)을 통해 전송되는 저해상도 거리 정보 또는 고해상도 거리 정보를 포함하는 영상 정보를 수신하여 그에 대응하는 스테레오 영상 정보로 데이터베이스화하여 스테레오 영상 데이터베이스(214)에 저장 관리한다.

따라서, 스테레오 비전 시스템에서 영상 압축 모듈 및 스테레오 매칭 모듈을 포함하는 스테레오 매칭 수단을 이용하여 스테레오 영상에 대한 저해상도 거리 정 보 및 고해상도 거리 정보를 특정 거리 이내의 물체 검출 여부에 따라 선택적으로 획득할 수 있다.

다음에, 상술한 바와 같은 구성을 갖는 스테레오 비전 시스템에서 입력된 스테레오 영상에 대해 영상 압축 모듈을 이용하여 좌측 영상 및 우측 영상을 각각 인코딩하여 저해상도 거리 정보를 획득하는 과정에 대해 설명한다.

도 6은 본 발명에 따라 영상 압축 모듈을 이용하여 저해상도 거리 정보를 획득하는 과정을 도시한 플로우차트이다.

도 6을 참조하면, 영상 입력 수단(202)에 포함된 스테레오 카메라(즉, 좌측 및 우측 카메라)를 통해 스테레오 영상이 입력되면, 그에 대한 디지털 스테레오 영상을 영상 전처리 수단(204)으로 전달하고, 영상 전처리 수단(204)에서는 교정 파라미터 값을 통해 스테레오 영상을 교정하고, 영상의 에피폴라 라인을 일치시켜 출력하여 스테레오 매칭 수단(206)으로 스테레오 영상(좌측 및 우측 영상)을 입력한다(단계602).

그리고, 스테레오 매칭 수단(206)에서는 스테레오 영상의 좌측 영상 또는 우측 영상을 구분 체크한다(단계604).

상기 단계(204)에서의 체크 결과, 스테레오 영상의 좌측 영상인 경우 스테레오 매칭 수단(206)에서는 영상 압축부(206a)의 영상 압축 모듈을 통해 좌측 영상의 I 프레임으로 인코딩한다(단계606). 여기에서, 좌측 영상의 I 프레임이 입력되면, 영상 압축 모듈을 통해 이산 코사인 변환(DCT)을 수행한 후 VLC에 의해 압축 가능하도록 하는 양자화(Q) 과정 및 VLC를 통해 압축하고, 그 압축 결과를 일시 저장한 후에 영상 비트스트림을 출력함과 동시에, 양자화(Q) 과정을 수행한 영상 데이터는 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 수행한 후, 메모리에 좌측 영상의 이전 I 프레임 영상으로 저장된다.

한편, 상기 단계(204)에서의 체크 결과, 스테레오 영상의 우측 영상인 경우 스테레오 매칭 수단(206)에서는 영상 압축부(206a)의 영상 압축 모듈을 통해 좌측 영상의 P 프레임으로 인코딩한다(단계608). 여기에서, 우측 영상의 P 프레임이 입력되면, 영상 압축 모듈을 통해 움직임 추정부로 전달되고, 이전 P 프레임 영상간의 움직임 벡터를 추출하여 움직임 예측부로 전달하며, 움직임 예측이 수행된 영상 데이터는 입력된 P 프레임 영상과 감산(－)되어 이산 코사인 변환(DCT)을 수행한 후에, 양자화(Q) 과정 및 VLC를 통해 압축하고, 그 압축 결과를 일시 저장한 후에 영상 비트스트림을 출력함과 동시에, 양자화(Q) 과정을 수행한 영상 데이터는 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 수행한 후, 움직임 예측부를 통해 움직임 예측된 영상 데이터와 합산(＋)되고, 메모리에 이전 우측 영상의 P 프레임 영상으로 저장된다.

그리고, 영상 압축 수단(206)의 영상 압축부(206a)에서는 출력되는 우측 영상의 P 프레임을 VLD를 통해 디코딩하고, 이러한 과정을 통해 우측 영상의 움직임 벡터를 추출한다(단계610, 612). 여기에서, VLD는 출력된 우측 영상을 이용하여 움직임 벡터를 추출하고, 그 움직임 벡터의 수평 성분을 통해 해당 매크로 블록이 좌측 영상의 어떤 매크로 블록과 매칭되는지를 알 수 있으며, 매크로 블록은 일반적으로 여러 개의 픽셀(예를 들면, 4×4, 8×8, 16×16 등)로 구성된다.

이어서, 영상 압축 수단(206)의 영상 압축부(206a)에서는 추출된 움직임 벡터를 이용하여 동영상 인코더의 매크로 블록 크기가 예를 들어 8×8인 경우 양안차의 해상도는 원영상 해상도에서 가로와 세로를 각각 8로 나눈 저해상도 거리 정보를 획득한다(단계614). 여기에서, 양안차는 매크로 블록당 하나의 값이 획득될 수 있어 모든 픽셀에 대한 값을 계산하여 획득하는 스테레오 매칭 모듈보다 상대적으로 저해상도의 거리 정보가 획득될 수 있다.

따라서, 스테레오 비전 시스템에서 스테레오 영상이 입력되면 좌측 영상은 I 프레임으로 인코딩하고, 우측 영상은 P 프레임으로 인코딩하며, 인코딩된 P 프레임의 우측 영상을 디코딩하여 움직임 벡터를 추출하고, I 프레임의 좌측 영상과 매칭시켜 저해상도 거리 정보를 획득할 수 있다.

다음에, 상술한 바와 같이 스테레오 비전 시스템에서 스테레오 영상의 입력에 따라 영상 압축 모듈을 통해 저해상도 거리 정보를 획득하는 중에 특정 거리 이내에 물체가 검출되면 스테레오 매칭 모듈을 통해 고해상도 거리 정보를 획득하는 과정에 대해 설명한다.

도 7은 본 발명에 따라 물체 검출 여부에 따라 저해상도 거리 정보 또는 고해상도 거리 정보를 선택적으로 획득하는 과정을 도시한 플로우차트이다.

도 7을 참조하면, 영상 입력 수단(202)에 포함된 스테레오 카메라(즉, 좌측 및 우측 카메라)를 통해 스테레오 영상이 입력되면, 그에 대한 디지털 스테레오 영상을 영상 전처리 수단(204)으로 전달한다(단계702).

그리고, 영상 전처리 수단(204)에서는 교정 파라미터 값을 통해 스테레오 영 상을 교정하고, 영상의 에피폴라 라인을 일치시키는 등의 전처리 과정을 수행한 후 출력하여 스테레오 매칭 수단(206)으로 스테레오 영상(좌측 및 우측 영상)을 입력한다(단계704).

다음에, 스테레오 매칭 수단(206)에서는 GC(Granularity Condition, 이하 'GC'라 함)가 '0' 또는 '1'인지를 체크한다(단계706). 여기에서, GC가 '0'인 경우는 특정 거리 이내에 물체가 검출되어 고해상도 거리 정보를 획득하는 조건을 의미하고, GC가 '1'인 경우는 저해상도 거리 정보를 획득하는 조건을 의미한다.

상기 단계(706)에서의 체크 결과, GC가 '1'인 경우 스테레오 매칭 수단(206)에서는 영상 전처리 수단(204)으로부터 전달되는 스테레오 영상을 영상 압축부(206a)로 입력한다(단계708).

그리고, 영상 압축부(206a)에서는 스테레오 영상의 좌측 영상인 경우 영상 압축 모듈을 통해 좌측 영상의 I 프레임으로 인코딩하고, 스테레오 영상의 우측 영상인 경우 영상 압축 모듈을 통해 좌측 영상의 P 프레임으로 인코딩한다(단계710).

또한, 영상 압축부(206a)에서는 인코딩된 우측 영상의 P 프레임을 VLD를 통해 디코딩하고, 이러한 과정을 통해 우측 영상의 움직임 벡터를 추출하며, 추출된 움직임 벡터를 이용하여 동영상 인코더의 매크로 블록 크기에 따른 해상도를 갖는 저해상도 거리 정보(즉, 양안차)를 획득한다(단계712). 여기에서, 양안차는 매크로 블록당 하나의 값이 획득될 수 있어 모든 픽셀에 대한 값을 계산하여 획득하는 스테레오 매칭 모듈보다 상대적으로 저해상도의 거리 정보가 획득될 수 있다.

이 후에, 영상 압축부(206a)에서는 획득된 저해상도 거리 정보의 움직임 벡 터를 이용하여 특정 물체의 움직임 추정을 수행한 후(단계714), 이러한 저해상도 거리 정보를 교정 및 제어부(206c)로 전달되고, 교정 및 제어부(206c)에서는 이러한 저해상도 거리 정보를 포함하는 영상 정보를 스테레오 영상 서버(212)로 통신망(210)을 통해 전송하며, 스테레오 영상 서버(212)에서는 그에 대응하는 스테레오 영상 정보로 데이터베이스화하여 스테레오 영상 데이터베이스(214)에 저장 관리한다(단계716).

이 때, 교정 및 제어부(206c)에서는 저해상도 거리 정보의 움직임 벡터의 수직 성분을 분석하여 스테레오 카메라의 에피폴라 라인의 일치 여부를 판단하고, 일치하지 않은 경우 스테레오 카메라의 교정을 수행하도록 도시 생략된 디스플레이 장치에 스테레오 카메라 교정이 필요함을 디스플레이하며, 이에 따라 스테레오 카메라의 교정이 요청되면 교정 제어신호를 영상 입력 수단(202) 및 영상 전처리 수단(204)으로 제공하고, 영상 전처리 수단(204)에서는 도 4a에 도시한 바와 같이 영상 입력 수단(202)으로부터 전달되는 교정 디지털 영상을 이용하여 스테레오 카메라(즉, 좌측 카메라 및 우측 카메라)의 교정을 수행한다. 여기에서, 스테레오 카메라의 교정은, 도 4b에 도시한 바와 같이 다수 개의 특정 패턴 영상에 대해 각각의 특징점들에 대한 대응쌍을 추출한 후, 도 4c에 도시한 바와 같이 DLT(Direct Linear Transformation, 이하 'DLT'라 함)를 수행하여 대응점을 매칭시키는 방식으로 수행된다.

한편, 상기 단계(706)에서의 체크 결과, GC가 '0'인 경우 스테레오 매칭 수단(206)에서는 영상 전처리 수단(204)으로부터 전달되는 스테레오 영상을 스테레오 매칭부(206b)로 입력하고, 스테레오 매칭부(206b)에서는 스테레오 매칭 모듈을 통해 스테레오 영상(즉, 좌측 영상 및 우측 영상)을 이용하여 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하며, 중앙 양안차 영상을 생성하고, 이러한 중앙 양안차 영상에 따라 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차를 생성하는 스테레오 매칭을 수행한다(단계718). 여기에서, 스테레오 매칭부(206b)는 예를 들면, 다이나믹 프로그램 방식, 블록 매칭 방식 등의 스테레오 매칭 모듈을 이용하여 스테레오 영상에 대한 스테레오 매칭을 수행할 수 있다.

그리고, 스테레오 매칭부(206b)에서는 스테레오 영상의 고해상도 거리 정보 에 대한 프로젝션, 세그멘테이션, 필터링 등의 후처리 과정을 수행하고, 영상 압축 모듈을 통한 저해상도 거리 정보보다 상대적으로 해상도가 높은 고해상도 거리 정보를 획득하여 영상 압축부(206a)로 전달한다(단계720, 722).

다음에, 영상 압축부(206a)에서는 획득된 고해상도 거리 정보의 움직임 벡터를 이용하여 특정 물체의 움직임 추정을 수행한 후(단계724), 이러한 고해상도 거리 정보를 교정 및 제어부(206c)로 전달되고, 교정 및 제어부(206c)에서는 이러한 고해상도 거리 정보를 포함하는 영상 정보를 스테레오 영상 서버(212)로 통신망(210)을 통해 전송하며, 스테레오 영상 서버(212)에서는 그에 대응하는 스테레오 영상 정보로 데이터베이스화하여 스테레오 영상 데이터베이스(214)에 저장 관리한다(단계726).

따라서, 스테레오 비전 시스템에서 GC에 따라 스테레오 영상에 따라 영상 압축 모듈을 통해 저해상도 거리 정보를 획득하거나 혹은 스테레오 영상에 따라 스테 레오 매칭 모듈을 통해 고해상도 거리 정보를 획득하고, 각 거리 정보의 움직임 벡터를 통해 움직임 추정을 수행한 후, 이러한 저해상도 거리 정보 또는 고해상도 거리 정보를 서버로 전송하여 저장 관리할 수 있다.

다음에, 상술한 바와 같이 스테레오 비전 시스템에서 영상 압축 모듈을 통해 저해상도 거리 정보를 획득하고, 이러한 거리 정보의 움직임 벡터를 통해 특정 거리 이내에서 물체가 검출되면 스테레오 매칭 모듈에 전원을 공급하여 고해상도의 거리 정보를 획득하는 과정에 대해 설명한다.

도 8은 본 발명에 따라 저해상도 거리 정보를 이용한 물체 검출 여부에 따라 전원을 공급하여 고해상도 거리 정보를 획득하는 과정을 도시한 플로우차트이다.

도 8을 참조하면, 영상 입력 수단(202)에 포함된 스테레오 카메라(즉, 좌측 및 우측 카메라)를 통해 스테레오 영상이 입력되면, 그에 대한 디지털 스테레오 영상을 영상 전처리 수단(204)으로 전달하고, 영상 전처리 수단(204)에서는 교정 파라미터 값을 통해 스테레오 영상을 교정하고, 영상의 에피폴라 라인을 일치시키는 등의 전처리 과정을 수행한 후 출력하여 스테레오 매칭 수단(206)으로 스테레오 영상(좌측 및 우측 영상)을 입력한다(단계802).

다음에, 스테레오 매칭 수단(206)에서는 'GC=1'의 조건에 따라 스테레오 매칭부(206b)의 전원을 오프 상태로 유지시킨다(단계804). 여기에서, GC가 '0'인 경우는 특정 거리 이내에 물체가 검출되어 고해상도 거리 정보를 획득하는 조건을 의미하고, GC가 '1'인 경우는 저해상도 거리 정보를 획득하는 조건을 의미한다.

그리고, 스테레오 매칭 수단(206)에서는 영상 압축부(206a)의 영상 압축 모 듈을 통해 입력되는 스테레오 영상을 이용하여 좌측 영상은 I 프레임으로, 우측 영상은 P 프레임으로 인코딩하고, 인코딩된 우측 영상의 P 프레임을 VLD를 통해 디코딩하고, 이러한 과정을 통해 우측 영상의 움직임 벡터를 추출하며, 추출된 움직임 벡터를 이용하여 동영상 인코더의 매크로 블록 크기에 따른 해상도를 갖는 저해상도 거리 정보(즉, 양안차)를 획득한다(단계806). 여기에서, 양안차는 매크로 블록당 하나의 값이 획득될 수 있어 모든 픽셀에 대한 값을 계산하여 획득하는 스테레오 매칭 모듈보다 상대적으로 저해상도의 거리 정보가 획득될 수 있다.

한편, 스테레오 매칭 수단(206)의 영상 압축부(206a)에서는 이러한 저해상도 거리 정보를 교정 및 제어부(206c)에 전달하고, 전달되는 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출되는지를 체크한다(단계808).

상기 단계(808)에서의 체크 결과, 특정 거리 이내에 물체가 검출되지 않은 경우 영상 압축부(206a)를 통해 저해상도 거리 정보를 획득하는 과정(즉, 단계802 내지 단계806)을 지속적으로 수행하고, 특정 거리 이내에 물체가 검출된 경우 교정 및 제어부(206c)에서는 전원 관리 수단(208)으로 전원 공급을 요청하며, 스테레오 매칭 수단(206)에서는 GC=0'의 조건에 따라 전원 관리 수단(208)으로부터의 전원을 스테레오 매칭부(206b)로 공급하여 온(on)시킨다(단계810).

이어서, 스테레오 매칭 수단(206)의 스테레오 매칭부(206b)에서는 스테레오 매칭 모듈을 통해 스테레오 영상(즉, 좌측 영상 및 우측 영상)을 이용하여 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하며, 중앙 양안차 영상을 생성하고, 이러한 중앙 양안차 영상에 따라 동일한 물체로 판단되는 좌측 및 우측 영상의 픽 셀간 양안차를 생성하는 스테레오 매칭을 수행하고, 이에 대한 프로젝션, 세그멘테이션, 필터링 등의 후처리 과정을 수행하고, 영상 압축 모듈을 통한 저해상도 거리 정보보다 상대적으로 해상도가 높은 고해상도 거리 정보를 획득한다(단계812). 여기에서, 스테레오 매칭부(206b)는 예를 들면, 다이나믹 프로그램 방식, 블록 매칭 방식 등의 스테레오 매칭 모듈을 이용하여 스테레오 영상에 대한 스테레오 매칭을 수행할 수 있다.

따라서, 스테레오 비전 시스템에서 영상 압축 모듈을 통해 저해상도 거리 정보를 획득하고, 이러한 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출되면 스테레오 매칭 모듈에 전원을 공급하여 고해상도 거리 정보를 획득함으로써, 스테레오 매칭 모듈에 전원을 선택 공급하여 효율적인 전원 관리를 수행할 수 있다.

이상의 설명에서는 본 발명의 바람직한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.

도 1은 종래에 스테레오 영상에 대한 스테레오 비전 처리 과정을 나타낸 플로우차트,

도 2는 본 발명에 따라 저해상도 영상 정보와 고해상도 영상 정보를 획득하는데 적합한 스테레오 비전 시스템의 블록구성도,

도 3은 본 발명에 따라 영상 압축 모듈 및 스테레오 매칭 모듈을 포함하여 스테레오 매칭을 수행하는 스테레오 매칭 수단의 세부 블록구성도,

도 4a 내지 도 4c는 본 발명에 따라 스테레오 카메라의 교정 과정을 설명하기 위한 도면,

도 5는 본 발명에 따라 스테레오 영상을 인코딩하는 동영상 인코더의 블록구성도,

도 6은 본 발명에 따라 영상 압축 모듈을 이용하여 저해상도 거리 정보를 획득하는 과정을 도시한 플로우차트,

도 7은 본 발명에 따라 물체 검출 여부에 따라 저해상도 거리 정보 또는 고해상도 거리 정보를 선택적으로 획득하는 과정을 도시한 플로우차트,

도 8은 본 발명에 따라 저해상도 거리 정보를 이용한 물체 검출 여부에 따라 전원을 공급하여 고해상도 거리 정보를 획득하는 과정을 도시한 플로우차트.

<도면의 주요부분에 대한 부호의 설명>

202 : 영상 입력 수단 204 : 영상 전처리 수단

206 : 스테레오 매칭 수단 208 : 전원 관리 수단

210 : 통신망 212 : 스테레오 영상 서버

214 : 스테레오 영상 데이터베이스 206a : 영상 압축부

206b : 스테레오 매칭부 206c : 교정 및 제어부

Claims

입력된 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 비전 시스템으로서,

상기 입력된 스테레오 영상을 전처리하여 출력하는 영상 전처리 수단과, 상기 출력된 스테레오 영상에 대한 스테레오 매칭을 수행하여 그 거리 정보를 획득하는 스테레오 매칭 수단을 포함하되,

상기 스테레오 매칭 수단은, 영상 압축 모듈을 이용하여 상기 스테레오 영상에 대한 저해상도 거리 정보를 획득하고, 상기 획득된 저해상도 거리 정보를 통해 특정 거리 이내에서 물체가 검출되면 스테레오 매칭 모듈을 이용하여 고해상도 거리 정보를 획득하는 것을 특징으로 하는 스테레오 비전 시스템.
제 1 항에 있어서,

상기 스테레오 비전 시스템은,

상기 획득된 저해상도 거리 정보를 통해 특정 거리 이내에서 물체가 검출되면 상기 스테레오 매칭 모듈로 전원을 공급하는 전원 관리 수단

을 더 포함하는 스테레오 비전 시스템.
제 1 항에 있어서,

상기 영상 전처리 수단은, 상기 스테레오 영상에 대한 에피폴라 라 인(epipolar line)을 일치시켜 출력하는 것을 특징으로 하는 스테레오 비전 시스템.
제 3 항에 있어서,

상기 영상 전처리 수단은, 상기 스테레오 영상에 대한 스테레오 카메라의 교정 파라미터를 이용하여 상기 에피폴라 라인을 수평이 되게 영상을 교정하고, 상기 스테레오 카메라의 특성 차이 및 좌우 영상의 밝기 차이를 보정하는 것을 특징으로 하는 스테레오 비전 시스템.
제 4 항에 있어서,

상기 영상 전처리 수단은, 상기 스테레오 카메라 전방에 좌우 카메라의 베이스라인 벡터와 평행하도록 상기 스테레오 카메라 앞에 교정용 패턴을 이용하여 상기 교정 파라미터를 추출하며, 초기화 작업 시 상기 교정 파라미터를 이용하여 상기 에피폴라 라인이 수평이 되도록 하는 것을 특징으로 하는 스테레오 비전 시스템.
제 5 항에 있어서,

상기 영상 전처리 수단은, 다수 개의 특정 패턴 영상에 대해 각각의 특징점들에 대한 대응쌍을 추출한 후, DLT(Direct Linear Transformation)를 수행하여 대응점을 매칭시키는 방식으로 상기 스테레오 카메라의 교정을 수행하는 것을 특징으 로 하는 스테레오 비전 시스템.
제 1 항에 있어서,

상기 스테레오 매칭 수단은,

상기 영상 압축 모듈을 이용하여 상기 스테레오 영상의 좌측 영상은 I 프레임으로, 우측 영상은 P 프레임으로 인코딩하고, 이에 대한 움직임 벡터를 이용하여 상기 저해상도 거리 정보를 획득하는 영상 압축부와,

상기 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출되면 상기 전원 관리 수단으로부터 전원을 공급받아 상기 스테레오 매칭 모듈을 이용하여 상기 고해상도 거리 정보를 획득하는 스테레오 매칭부와,

상기 움직임 벡터를 추출하여 상기 특정 거리 이내의 물체 검출을 수행하고, 이에 따라 상기 스테레오 매칭부로의 전원 공급을 상기 전원 관리 수단으로 요청하며, 상기 움직임 벡터를 통해 스테레오 카메라의 교정 정보를 획득하는 교정 및 제어부

를 포함하는 것을 특징으로 하는 스테레오 비전 시스템.
제 7 항에 있어서,

상기 영상 압축부는, 상기 좌측 영상의 경우 입력되는 I 프레임 영상을 이산 코사인 변환(Discrete Cosine Transform), 양자화(Quantization) 및 VLC(Variable Length Coder)를 수행한 후 영상 비트스트림으로 출력하는 것을 특징으로 하는 것 을 특징으로 하는 스테레오 비전 시스템.
제 8 항에 있어서,

상기 영상 압축부는, 상기 양자화(Q) 과정을 수행한 상기 I 프레임 영상을 역양자화(Inverse Q) 및 역 이산 코사인 변환(Inverse DCT)을 수행한 후, 이전 I 프레임 영상으로 저장하는 것을 특징으로 하는 스테레오 비전 시스템.
제 7 항에 있어서,

상기 영상 압축부는, 상기 우측 영상의 경우 입력되는 P 프레임 영상을 움직임 추정부(Motion Estimation)로 전달하고, 이전 P 프레임 영상과의 움직임 벡터를 추출하여 움직임 예측부(Motion Prediction)로 전달하며, 움직임 예측이 수행된 P 프레임 영상은 상기 입력되는 P 프레임 영상과 감산(－)되어 이산 코사인 변환(DCT), 양자화(Q) 및 VLC를 수행한 후 영상 비트스트림으로 출력하는 것을 특징으로 하는 스테레오 비전 시스템.
제 10 항에 있어서,

상기 영상 압축부는, 상기 양자화(Q) 과정을 수행한 상기 P 프레임 영상을 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 수행한 후, 움직임 예측부를 통해 움직임 예측된 상기 P 프레임 영상과 합산(＋)되고, 이전 P 프레임 영상으로 저장하는 것을 특징으로 하는 스테레오 비전 시스템.
제 7 항에 있어서,

상기 영상 압축부는, 상기 인코딩된 우측 영상의 P 프레임을 VLD(Variable Length Decoder)를 통해 디코딩하고, 이를 통해 상기 움직임 벡터를 추출하여 상기 저해상도 거리 정보를 획득하는 것을 특징으로 하는 스테레오 비전 시스템.
제 12 항에 있어서,

상기 영상 압축부는, 상기 영상 압축 모듈의 매크로 블록 크기에 대응하는 상기 저해상도 거리 정보를 획득하는 것을 특징으로 하는 스테레오 비전 시스템.
제 7 항에 있어서,

상기 영상 압축부는, 움직임 추정 기법을 통해 가로 방향의 검색 범위 창 크기(search range window size)에 따라 상기 저해상도 거리 정보에 대한 양안차의 깊이 값을 획득하는 것을 특징으로 하는 스테레오 비전 시스템.
제 7 항에 있어서,

상기 스테레오 매칭부는, 상기 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하여 중앙 양안차 영상을 생성하고, 상기 중앙 양안차 영상에 따라 동일한 물체로 판단되는 상기 좌측 영상 및 우측 영상의 픽셀간 양안차를 생성하는 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 비전 시스템.
제 15 항에 있어서,

상기 스테레오 매칭부는, 상기 스테레오 매칭을 수행한 후에 그 스테레오 영상의 거리 정보에 대한 프로젝션, 세그멘테이션 및 필터링을 포함하는 후처리 과정을 수행하여 상기 고해상도 거리 정보를 획득하는 것을 특징으로 하는 스테레오 비전 시스템.
제 15 항에 있어서,

상기 스테레오 매칭부는, 다이나믹 프로그램(Dynamic Program) 방식 또는 블록 매칭(Block Matching) 방식으로 상기 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 비전 시스템.
제 7 항에 있어서,

상기 교정 및 제어부는, 상기 움직임 벡터의 수직 성분을 분석하여 스테레오 카메라에 대한 상기 에피폴라 라인의 일치 여부를 판단하고, 그 판단 결과를 제공하는 것을 특징으로 하는 스테레오 비전 시스템.
입력된 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 비전 처리 방법으로서,

상기 입력된 스테레오 영상을 전처리하여 출력하는 단계와,

상기 출력된 스테레오 영상에 대한 저해상도 거리 정보를 획득하는 단계와,

상기 저해상도 거리 정보를 이용하여 특정 거리 이내에 물체가 검출되는지를 체크하는 단계와,

상기 물체가 검출되면, 스테레오 매칭 모듈로 전원이 공급되면 스테레오 매칭을 통해 고해상도 거리 정보를 획득하는 단계

를 포함하는 스테레오 비전 처리 방법.
제 19 항에 있어서,

상기 스테레오 영상에 대한 전처리는, 상기 스테레오 영상에 대한 에피폴라 라인(epipolar line)을 일치시키는 과정을 포함하는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 20 항에 있어서,

상기 스테레오 영상에 대한 전처리는, 상기 스테레오 영상에 대한 스테레오 카메라의 교정 파라미터를 이용하여 상기 에피폴라 라인을 수평이 되게 영상을 교정하고, 상기 스테레오 카메라의 특성 차이 및 좌우 영상의 밝기 차이를 보정하는 방식으로 수행되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 20 항 또는 제 21 항에 있어서,

상기 에피폴라 라인은, 상기 스테레오 카메라 전방에 좌우 카메라의 베이스 라인 벡터와 평행하도록 상기 스테레오 카메라 앞에 교정용 패턴을 이용하여 상기 교정 파라미터를 추출하며, 초기화 작업 시 상기 교정 파라미터를 이용하여 수평이 되도록 교정되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 22 항에 있어서,

상기 스테레오 카메라는, 다수 개의 특정 패턴 영상을 입력받아 각각의 특징점들에 대한 대응쌍을 추출한 후, DLT(Direct Linear Transformation)를 수행하여 대응점을 매칭시키는 방식으로 교정되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 19 항에 있어서,

상기 스테레오 영상은, 상기 저해상도 거리 정보의 획득을 위해 좌측 영상의 경우 I 프레임으로, 우측 영상의 경우 P 프레임으로 각각 인코딩되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 24 항에 있어서,

상기 I 프레임 영상은, 이산 코사인 변환(Discrete Cosine Transform), 양자화(Quantization) 및 VLC(Variable Length Coder)를 통해 영상 비트스트림으로 출력되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 25 항에 있어서,

상기 I 프레임 영상은, 상기 양자화(Q) 과정 이 후에 역양자화(Inverse Q) 및 역 이산 코사인 변환(Inverse DCT)을 수행하여 이전 I 프레임 영상으로 저장하는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 24 항에 있어서,

상기 P 프레임 영상은, 움직임 추정부(Motion Estimation)로 전달되고, 이전 P 프레임 영상과의 움직임 벡터를 추출하여 움직임 예측부(Motion Prediction)로 전달되며, 입력되는 P 프레임 영상과 감산(－)되어 이산 코사인 변환(DCT), 양자화(Q) 및 VLC를 통해 영상 비트스트림으로 출력되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 27 항에 있어서,

상기 P 프레임 영상은, 상기 양자화(Q) 과정 이 후에 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 수행한 후, 상기 움직임 예측부를 통해 움직임 예측된 P 프레임 영상과 합산(＋)이전 P 프레임 영상으로 저장되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 19 항에 있어서,

상기 저해상도 거리 정보는, 상기 인코딩된 우측 영상의 P 프레임을 VLD(Variable Length Decoder)를 통해 각각 디코딩하고, 이를 통해 추출된 움직임 벡터를 이용하여 획득되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 29 항에 있어서,

상기 저해상도 거리 정보는, 움직임 추정 기법을 통해 가로 방향의 검색 범위 창 크기(search range window size)에 따라 그 양안차의 깊이 값이 정해지는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 29 항에 있어서,

상기 움직임 벡터는, 그 수직 성분을 분석하여 스테레오 카메라에 대한 상기 에피폴라 라인의 일치 여부를 판단하고, 이를 통해 상기 스테레오 카메라에 대한 교정 여부를 판단하는데 이용되는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 19 항에 있어서,

상기 스테레오 매칭은, 상기 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하여 중앙 양안차 영상을 생성하고, 상기 중앙 양안차 영상에 따라 동일한 물체로 판단되는 상기 좌측 영상 및 우측 영상의 픽셀간 양안차를 생성하는 방식으로 수행하는 것을 특징으로 하는 스테레오 비전 처리 방법.
제 32 항에 있어서,

상기 스테레오 매칭은, 다이나믹 프로그램(Dynamic Program) 방식 또는 블록 매칭(Block Matching) 방식으로 수행되는 것을 특징으로 하는 스테레오 비전 시스템.
제 19 항에 있어서,

상기 고해상도 거리 정보는, 상기 스테레오 매칭 수행 후에 그 스테레오 영상의 거리 정보에 대한 프로젝션, 세그멘테이션 및 필터링을 포함하는 후처리 과정을 수행하여 획득되는 것을 특징으로 하는 스테레오 비전 처리 방법.