KR20110071207A - 스테레오 매칭을 위한 카메라 영상 평가 및 보정 방법과 이를 적용한 스테레오 카메라 시스템 - Google Patents

Abstract

본 발명은 지능형 이동 로봇의 스테레오 카메라의 매칭 결과를 향상시킬 수 있는 카메라 영상 평가 및 보정 방법과 이를 적용한 스테레오 카메라 시스템에 관한 것이다. 본 발명의 스테레오 카메라 시스템은 왼쪽 카메라 및 오른쪽 카메라로부터 한 프레임의 좌우 원영상을 받는 동영상 인코더와, 동영상 인코더에서 받은 비트 스트림을 디코딩하며 모션 벡터 정보를 출력하는 동영상 디코더와, 동영상 디코더에서 받은 좌우 모션벡터를 분리하는 좌우 모션 벡터 분리부와, 좌우 모션 벡터 분리부에서 받은 좌영상 모션벡터와 우영상 모션벡터 각각에서 사람 영역에 대응하는 좌ROI 영역 및 우ROI 영역을 생성하는 사람 검출부와, 사람 검출부에서 받은 좌ROI 영역에 대한 좌ROI 영상과 우ROI 영역에 대한 우ROI 영상의 대표값을 추출하는 ROI 대표값 추출부와, 좌우 ROI 영상의 대표값들에 대한 비교 결과를 토대로 왼쪽 카메라 또는 오른쪽 카메라의 설정값을 변경하기 위한 보정값을 왼쪽 및 오른쪽 카메라의 카메라 제어부로 출력하는 카메라 설정값 계산부를 포함한다.

지능형 이동 로봇, 카메라, 스테레오, 매칭, 사람 검출, ROI, 대표값

Description

스테레오 매칭을 위한 카메라 영상 평가 및 보정 방법과 이를 적용한 스테레오 카메라 시스템{Camera image evaluation and correction method for stereo matching and Stereo camera system thereof}

본 발명은 지능형 이동 로봇의 스테레오 카메라의 매칭 결과를 향상시킬 수 있는 카메라 영상 평가 및 보정 방법과 이를 적용한 스테레오 카메라 시스템에 관한 것이다.

본 발명은 지식경제부 IT원천기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다.[과제관리번호: 2008-F-037-01, 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발].

지능형 이동 로봇이 거리를 측정하는 방법에는 여러 가지가 있다. 그 중 하나는 거리 정보를 출력하는 스테레오 카메라를 이용하는 것이다.

스테레오 카메라를 구성하기 위해서는, 이미지 센서를 2개 구비하든지, 스테레오 카메라를 위해 특수하게 제작되고 교정된 이미지 센서 세트를 구비하도록 하여 시스템을 구성해야 한다.

통상의 이미지 센서 대부분은 주위 환경 변화에 상관없이 일정한 품질의 영 상을 출력하기 위해 작동 방식이 자동으로 조절되는 기능들을 가진다. 예를 들면, 자동 조절 기능으로는 자동 노출 조정(auto exposure control), 자동 게인 조정(auto gain control), 자동 화이트 밸런스(auto white balance) 등의 기능이 있다. 이러한 자동 조절 기능은 대체로 영상 전체의 평균적인 특성, 예를 들면 휘도(luminance) 평균값이 미리 설정한 목표 값에 도달하거나 히스토그램이 목표 범위에 들어올 때까지 카메라 설정을 자동으로 바꾼다.

자동 조절 기능을 쓰면, 로봇이 카메라를 틸팅(tilting)하여 천정을 볼 때나 바닥을 볼 때나 일정한 밝기의 이미지를 얻을 수 있고, 로봇이 다른 장소로 이동하여 조명 조건이 변하는 경우에도 일정한 품질의 영상을 얻을 수 있기 때문에 통상의 단안 영상 처리에 유리하다고 할 수 있다.

그러나, 이러한 자동 조절 기능은 각각의 센서 단위로 작동하기 때문에 스테레오 카메라에 사용하면 좌우 양안 영상에 전반적인 차이가 생긴다. 따라서, 로봇의 양안 카메라에 자동 조절 기능을 사용하는 것은, 스테레오 매칭을 실패하는 하나의 이유가 된다.

왜냐하면, 스테레오 카메라로 얻은 좌우 영상에는 대부분 양안 시차와 폐색(occlusion) 영역이 있기 때문이다. 폐색 영역은, 어느 한쪽 영상에는 보이지만 나머지 한쪽 영상에서는 그 앞의 사물에 의해 가려져 보이지 않는 영역을 말한다.

예를 들면, 도 1a 및 도 1b에 도시한 바와 같이, 어두운 배경과 밝은 배경의 앞쪽에 위치한 사물(object, 130)을 로봇의 양안 즉, 왼쪽 카메라(110)과 오른쪽 카메라(120)로 촬영하면, 왼쪽 카메라(110)의 이미지(150)에서는 사물(130)이 밝은 배경 측에 위치하고 오른쪽 카메라(120)의 이미지(160)에서는 사물(130)이 어두운 배경과 밝은 배경의 경계 부분에 위치한다. 이때 왼쪽 카메라(110)의 이미지(150)에 점선으로 표시된 부분(170)은 오른쪽 카메라(120)의 사물에 대한 폐색 영역(170)이 되며, 오른쪽 카메라(120)의 이미지(160)에 점선으로 표시된 부분(180)은 왼쪽 카메라(110)의 사물에 대한 폐색 영역(180)이 된다. 전술한 경우와 같이, 두 카메라(110, 120)로 얻은 이미지들에서 폐쇄 영역의 영상 특성에 현격한 차이가 있으면, 도 2에 도시한 바와 같이, 이미지들의 자동 조절 결과로 얻은 양안 영상에는 큰 차이가 발생하기 때문이다.

폐색은 사물이 이동 로봇에 가까울수록 심해지는데 이는 사용자와 가까운 거리를 유지한 채로 서비스를 제공해야 하는 지능형 로봇의 경우에 매우 심각하다.

따라서, 스테레오 매칭을 위해서는 두 이미지 센서의 자동 조절 기능을 사용하지 않고, 노출시간, 게인 등을 수동으로 설정해야 한다. 그러한 경우, 팬틸트(pan tilt)나 이동에 의해 순간순간 바뀌는 조명 환경에 로봇이 적응하기 어렵다는 문제가 있다.

또한, 스테레오 카메라를 위한 전용의 이미지 센서 세트가 아닌 단안 카메라를 위한 이미지 센서의 경우, 스테레오 카메라 시스템을 제작하기 위해 임의로 선택한 두 이미지 센서의 물리적인 특성이 동일하기 어렵기 때문에, 두 카메라의 설정값을 동일하게 한다고 해도 같은 특성의 영상을 얻기 어렵다는 문제가 있다.

전술한 종래기술의 문제점을 해결하기 위하여, 본 발명은 지능형 이동로봇에 장착되어 양안시차(disparity map)를 계산하는 스테레오 카메라의 좌우 양안 입력 영상을 평가하고, 그 결과에 따라 카메라 설정을 변경하거나 영상을 전처리함으로써 지능형 이동 로봇의 스테레오 카메라의 매칭 결과를 향상시킬 수 있는 카메라 영상 평가 및 보정 방법을 제공하는 데 그 목적이 있다.

또한, 본 발명은 단안 카메라용 이미지 센서들로 취득한 좌우 원영상(raw image)에서 스테레오 매칭 수행 전에 폐색 영역을 배제하고 사람 영역을 기준으로 전체 영상을 보정함으로써, 지능형 이동 로봇의 스테레오 매칭 결과를 향상시킬 수 있는 스테레오 카메라 시스템을 제공하는 데 그 목적이 있다.

전술한 기술적 과제를 달성하기 위하여 본 발명의 일 측면에 따르면, 왼쪽 카메라 및 오른쪽 카메라로부터 한 프레임의 좌우 원영상을 받는 동영상 인코더; 동영상 인코더에서 받은 비트 스트림을 디코딩하며 모션 벡터 정보를 출력하는 동영상 디코더; 동영상 디코더에서 받은 좌우 모션벡터를 분리하는 좌우 모션 벡터 분리부; 좌우 모션 벡터 분리부에서 받은 좌영상 모션벡터와 우영상 모션벡터 각각에서 사람 영역에 대응하는 좌ROI(region of interest) 영역 및 우ROI 영역을 생성하는 사람 검출부; 사람 검출부에서 받은 좌ROI 영역에 대한 좌ROI 영상과 우ROI 영역에 대한 우ROI 영상의 대표값을 추출하는 ROI 대표값 추출부; 및 좌우 ROI 영 상의 대표값들에 대한 비교 결과를 토대로 왼쪽 카메라 또는 오른쪽 카메라의 설정값을 변경하기 위한 보정값 또는 새로운 설정값을 왼쪽 및 오른쪽 카메라의 카메라 제어부로 출력하는 카메라 설정값 계산부를 포함하는 스테레오 카메라 시스템이 제공된다.

본 발명의 또 다른 측면에 의하면, 왼쪽 카메라 및 오른쪽 카메라로부터 한 프레임의 좌우 원영상을 받는 동영상 인코더; 동영상 인코더에서 받은 비트 스트림을 디코딩하며 모션 벡터 정보를 출력하는 동영상 디코더; 동영상 디코더에서 받은 좌우 모션벡터를 분리하는 좌우 모션 벡터 분리부; 좌우 모션 벡터 분리부에서 받은 좌영상 모션벡터와 우영상 모션벡터 각각에서 사람 영역에 대응하는 좌ROI 영역 및 우ROI 영역을 생성하는 사람 검출부; 사람 검출부에서 받은 좌ROI 영역에 대한 좌ROI 영상과 우ROI 영역에 대한 우ROI 영상의 대표값을 추출하는 ROI 대표값 추출부; 및 좌우 ROI 영상의 대표값들에 대한 비교 결과를 토대로 좌우 원영상 중 어느 하나의 게인을 변경하는 게인 적용부를 포함하는 스테레오 카메라 시스템이 제공된다.

본 발명의 또 다른 측면에 의하면, 왼쪽 및 오른쪽 카메라들의 좌우 원영상을 받고, 좌우 원영상 각각에서 사람의 움직임을 관심 영역으로 하는 좌우 ROI 영상들을 생성하고, 생성한 좌우 ROI 영상들에서 좌우 ROI 영상들의 대표값을 추출하고, 추출한 좌우 ROI 영상들의 대표값들을 비교한 결과를 토대로 왼쪽 또는 오른쪽 카메라의 설정을 변경하는 스테레오 매칭을 위한 카메라 영상 평가 및 보정 방법이 제공된다

본 발명에 따르면, 스테레오 카메라를 위해 설계된 전용의 이미지 센서 세트를 사용하지 않고 저가의 단안 카메라용 이미지 센서를 이용해서도, 양안 시차와 폐색의 영향에 상관없이, 사람을 기준으로 잘 조정된 스테레오 매칭용 좌우 영상을 얻을 수 있다.

또한, 이동 로봇이 조명 환경에 잘 적응할 수 있도록 각 카메라의 자동 조절 기능을 적용한 상태에서도, 양안 시차와 폐색의 영향에 상관없이, 사람을 기준으로 잘 조정된 스테레오 매칭용 좌우 영상을 얻을 수 있다.

따라서, 사람에 가까이 다가간 상태에서도 스테레오 카메라의 스테레오 매칭 결과를 신뢰할 수 있어, 이동 로봇이 제스처 인식 등을 잘 할 수 있도록 할 수 있다.

이하, 첨부한 도면들 및 후술되는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에 서 사용되는 용어 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

지능형 이동 로봇에 장착된 스테레오 매칭 시스템에 있어서, 통상의 방식에서는 스테레오 매칭을 잘하기 위해 폐색 영향을 배제하고 영상 전처리를 하고, 폐색 영역을 판단하기 위해 우선적으로 스테레오 매칭을 해야 하는 모순이 있다.

하지만, 본 발명의 실시예에 따른 스테레오 카메라 시스템에서는, 양안 영상 각각에 대해서 사람 검출을 수행하고 검출된 영역의 영상 특징값을 일치시킨다. 즉, 본 실시예의 스테레오 카메라 시스템에서는 이동 로봇 앞의 사람은 대부분 로봇의 주의를 끌기 위해 손짓을 하거나, 로봇을 향해 다가가는 등의 움직임을 보이므로 로봇은 정지 상태에서 움직임을 검출하여 사람으로 간주한다. 그리고, 추정된 사람의 움직임을 관심 영역으로 취급함으로써, 폐색 영역을 자동으로 배제시켜 영상 처리를 용이하게 하면서 스테레오 매칭 결과를 향상시킬 수 있다.

도 3은 본 발명의 제1 실시예에 따른 스테레오 카메라 시스템의 구성도이다. 도 4는 도 3의 사람 검출기의 동작과정을 설명하기 위한 도면이다. 도 5는 도 3의 스테레오 카메라 시스템의 동작과정 중 전체 영역 히스토그램과 ROI(region of interest) 영역 히스토그램을 비교하여 설명하기 위한 도면이다. 도 6a는 비교 예에 따른 카메라의 초기 설정 결과를 설명하기 위한 도면이고, 도 6b는 도 6a의 초기 설정 결과에 대한 히스토그램을 보여주는 그래프이다. 도 7a는 본 발명의 일 실시예에 따른 스테레오 카메라 시스템에서 ROI 대표값이 일치하도록 카메라 설정을 변경한 결과를 설명하기 위한 도면이고, 도 7b는 도 7a의 카메라 설정의 변경 결과에 대한 히스토그램을 보여주는 그래프이다.

먼저, 도 3을 참조하면, 스테레오 카메라 시스템(300)은 카메라 제어부(310), 왼쪽 카메라(312), 오른쪽 카메라(314), 전처리부(324), 왼쪽상 전처리부(322), 오른쪽상 전처리부(324), 스테레오 매칭부(330), 동영상 인코더(340), 동영상 디코더(350), 좌우 모션 벡터(motion vector) 분리부(360), 사람 검출부(370), ROI(region of interest) 대표값 추출부(380), 및 카메라 설정값 계산부(390)를 구비한다.

좀더 구체적으로 설명하면, 스테레오 카메라 시스템(300)의 카메라 제어부(310)는 왼쪽 카메라(312)와 오른쪽 카메라(314)의 동작을 제어하며, 왼쪽 카메라(312)와 오른쪽 카메라(314)에서 촬영한 영상을 출력한다.

전처리부(320)는 왼쪽 카메라(312)와 오른쪽 카메라(314)로부터 받은 좌우 원영상을 왼쪽상 전처리부(322)와 오른쪽상 전처리부(324)를 통해 전처리하여 출력한다.

스테레오 매칭부(330)는 왼쪽상 전처리부(322)와 오른쪽상 전처리부(324)에서 받은 전처리된 원영상을 스테레오 매칭하고, 그 결과인 양안시차 영상(disparity map)을 출력한다. 스테레오 매칭부(330)는 좌우 원영상과 양안시차 영상이 한 프레임으로 구성된 영상을 동영상 인코더(340)로 출력한다.

동영상 인코더(340)는 왼쪽상 전처리부(322)와 오른쪽상 전처리부(324)로부터 전처리된 원영상을 받고, 스테레오 매칭부(330)로부터 양안시차 영상을 받는다. 동영상 인코더(340)는 MPEG2, MPEG4, H.263, H.264 등의 동영상 포맷의 하드웨어 인코더로서, 블록 단위로 모션 추정(motion estimation)을 수행하여 모션 벡터(motion vector) 정보를 생성한다. 동영상 인코더(340)는 모션 벡터를 얻기 위해 P프레임으로 인코딩을 하도록 설정될 수 있다. P프레임 인코딩은 이전 프레임과의 차이를 인코딩하는 것을 칭한다.

동영상 디코더(350)는 동영상 인코더(340)로부터 비트 스트림을 받아 디코딩하는 소프트웨어 디코더를 포함한다. 동영상 디코더(350)의 동작 과정에서 모션 벡터 정보가 추출된다.

좌우 모션 벡터 분리부(360)는 한 프레임에 구성된 좌영상 영역의 모션 벡터와 우영상 영역의 모션 벡터를 별개의 메모리에 저장한다. 그것은 이후 단계의 사람 검출부(370)에서 팽창(dilation)을 수행할 때, 좌영상 모션 벡터와 우영상 모션 벡터가 연결되는 것을 방지하기 위함이다.

사람 검출부(370)는 좌영상과 좌모션 벡터를 이용해서 사람 검출을 수행하고, 우영상과 우모션 벡터를 이용해서 사람 검출을 수행한다. 사람 검출부(370)는 동영상 모션 벡터와 바이너리 모폴로지를 이용하여 구현될 수 있다. 이러한 사람 검출부에 대한 좀더 상세히 설명하면 다음과 같다.

도 4를 참조하면, 사람 검출부(370)는 좌우 모션 벡터 분리부(360)로부터 서로 분리된 좌영상 모션 벡터와 우영상 모션 벡터를 받는다. 사람 검출부(370)는, 먼저 좌영상 모션 벡터에 대해서, 모션 벡터가 있는 블록을 '1'로 하고, 모션 벡터가 없는 블록을 '0'으로 하여 이진 영상을 만든다. 도 4에서는 도시의 편의상 '0' 을 표시하지 않았다. 그리고, 만들어진 이진 영상에 대해 팽창과 침식을 순서대로 적용하여 내부의 빈 블록을 채운다.

채우는 이유는 모션 벡터가 충분하게 복잡한 패턴이 있어야 만들어지기 때문이다. 즉, 모션 벡터는 주로 사람과 배경의 경계에 만들어지고 사람 또는 배경의 내부에는 생기지 않는 경향이 있기 때문이다.

내부의 빈 블록을 채운 다음, 이진 영상에 대해 침식을 한 번 더 수행하여 고립된 랜덤 벡터 블록을 제거하고, 서로 인접하지 않은 블록들을 라벨링한다.

전술한 과정을 우영상 모션 벡터에 대해서도 동일하게 수행한다. 이렇게 라벨링된 블록들은, 로봇의 카메라 시선이 고정된 경우, 로봇 앞에서 움직이는 사람일 가능성이 매우 높다.

여기서, 각각 320×240 해상도의 원영상에 대해 4MV(motion vector) MPEG4 인코딩을 수행하면, 전술한 과정에 의해 만들어지는 이진 영상의 해상도가 40×30 해상도가 되므로, 사람을 검출하기 위한 바이너리 모폴로지 연산량은 그다지 크지 않다.

한편, 좌영상에 해당하는 라벨 개수와 우영상에 해당하는 라벨 개수가 일치하지 않으면, 각 영상에서의 라벨들을 라벨 면적 순으로 정렬하여 좌우 각각에서 가장 넓은 면적의 라벨을 사람 영역으로 간주한다. 이렇게 구한 사람 영역을 ROI(region of interest) 영역이라고 판단한다. 이하, 좌영상에서 좌ROI 영역에 해당하는 부분을 좌ROI 영상이라 칭하고, 우영상에서 우ROI 영역에 해당하는 부분을 우ROI 영상이라고 칭한다.

다시 도 3을 참조하면, ROI 대표값 추출부(380)는 사람 검출부(370)로부터 좌ROI 영상 및 우ROI 영상을 받고, ROI 대표값을 추출한 후, 좌ROI 영상 대표값과 우ROI 영상 대표값을 출력한다.

카메라 설정값 계산부(390)는 ROI 대표값 추출부(380)로부터 받은 우ROI 영상 대표값과 좌ROI 영상 대표값을 비교하여 그 차이를 알아낸 후, 현재 영상에 적용된 카메라 설정값이 새로 적용할 카메라 설정값으로 대체되도록 카메라 제어부(310)로 보정값 또는 새로운 설정값을 출력한다.

이하, 도 5, 도 6a, 도 6b, 도 7a, 및 도 7b를 참조하여 ROI 대표값 추출부(380)와 카메라 설정값 계산부(390)에 대하여 좀더 상세히 설명한다.

도 5에서, '전체'로 표시된 영상은 로봇의 카메라 앞에서 몸을 움직이는 MPEG4 영상에서 얻은 전체 영상이며, 전체 영상의 오른쪽 그래프는 전체 영상의 대표값에 대한 그래프이다. 그리고, 'ROI'로 표시된 영상은 전체 영상 중 사람 영역을 추출한 ROI 영상이고, ROI 영상의 오른쪽 그래프는 ROI 영상의 대표값에 대한 그래프이다. 여기서, 대표값은 각 영역 내의 각 픽셀의 R,G,B 성분 중 R성분의 히스토그램이다.

도 5에서 알 수 있듯이, 전체 영상과 ROI 영상을 비교해 보면, ROI 영상에서는 전체 영상에서 보이는 부분(붉은 점선 부분)이 배제된 것을 알 수 있다.

특히, 전체 영상에 대한 R히스토그램과 ROI 영상에 대한 R히스토그램을 비교해 보면, ROI 영상의 R히스토그램이 매우 단순하게 나타나는데, 이는 ROI 영상에서는 배경이 제거되었기 때문이기도 하다.

상기와 같은 이유로 움직임을 이용한 좌우 ROI 영상의 대표값은, 그 값들을 서로 비교하여 차이를 알아내기가 매우 쉽다. 그리고, 대표값의 차이를 최소화하는 카메라 설정값을 찾는 것은 할선법(secant method) 등의 통상의 수치해석 방법을 이용한 시행착오 방식으로 쉽게 구할 수 있다.

또한, 예를 들어, 비교 예에 따라 좌우 카메라를 동일하게 설정하면, 도 6a 및 도 6b와 같이, 좌측 ROI 히스토그램(ch1)이 전반적으로 우측(높은 값)에 위치한 결과가 나온다. 이러한 결과로부터 비교예의 경우는 좌측 카메라 영상(ch1)이 우측 카메라 영상(ch2)보다 전반적으로 밝게 나옴을 쉽게 판단할 수 있다. 비교예의 좌우카메라는 예컨대, 본 실시예에 따른 스테레오 매칭을 위한 카메라 영상 평가 및 보정 방법이 적용되기 전의 초기 설정 상태를 가지는 경우에 대응될 수 있다.

따라서, 본 실시예의 스테레오 카메라 시스템에서는 비교예의 좌우 카메라와 같은 설정 상태에서 왼쪽 카메라의 게인(gain)을 낮추든지, 노출 시간(exposure time)을 줄인다든지 하여 설정을 제어함으로써, 좌우 카메라에 대한 ROI 대표값의 차이가 최소화되도록 한다. 본 실시예에 따르면, 도 7a 및 도 7b에 도시한 바와 같이, 스테레오 매칭 결과가 도 6a 및 도 6b의 경우와 비교해서 개선된 것을 알 수 있다.

도 8은 본 발명의 제2 실시예에 따른 스테레오 카메라 시스템의 구성도이다.

도 8을 참조하면, 스테레오 카메라 시스템(800)은 카메라 제어부(810), 왼쪽 카메라(812), 오른쪽 카메라(814), 전처리부(824), 왼쪽상 전처리부(822), 오른쪽상 전처리부(824), 스테레오 매칭부(830), 동영상 인코더(840), 동영상 디코 더(850), 좌우 모션 벡터 분리부(860), 사람 검출부(870), ROI 대표값 추출부(880), 게인 설정부(890), 및 게인 적용부(892)를 구비한다.

게인 설정부(890)는 좌우 ROI 대표값을 이용해서 좌측상의 ROI 대표값이 우측상의 ROI 대표값과 같아질 수 있는 게인값(gain value)을 구한다. 대표값이 평균값처럼 스칼라(scalar)인 경우, 게인값은 양측 ROI 대표값의 비(ratio)를 이용해서 바로 구할 수 있다. 즉, 좌 게인값은 우ROI 대표값을 좌ROI 대표값으로 나눈 값이 되고, 우 게인값은 좌ROI 대표값을 우ROI 대표값으로 나눈 값이 될 수 있다.

게인 적용부(892)는 좌측상(left side image)의 R,G,B 컴포넌트 각각의 게인 또는 색차 신호(YCbCr)에서의 휘도 게인 즉, Y게인 등을 구해서 전처리부(820)에서 출력된 왼쪽상의 각 픽셀에 적용을 한다.

스테레오 매칭부(830)는 전처리부(820)에서 받은 오른쪽상과 새로운 게인을 적용한 왼쪽상을 이용해서 스테레오 매칭을 한다. 전술한 방식으로 스테레오 매칭을 수행하면, 앞서 설명한 제1 실시예에서 얻은 결과와 동일한 결과를 얻을 수 있으며, 시행 착오 방식으로 카메라 조건을 찾는 단계가 생략되는 효과가 있다.

본 실시예에 따른 스트레오 카메라 시스템(800)에 있어서, 전술한 게인 설정부(890), 게인 적용부(892), 및 스테레오 매칭부(830)의 기능 및 구성을 제외한 나머지 구성 및 그 기능은 제1 실시예의 대응 구성 및 그 기능과 실질적으로 동일하므로 그에 대한 상세한 설명은 생략한다.

이상에서와 같이 상세한 설명과 도면을 통해 본 발명의 최적 실시예를 개시하였다. 용어들은 단지 본 발명을 설명하기 위한 목적에서 사용된 것이며, 의미 한 정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 본 명세서로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1a 및 도 1b는 비교예에 따른 양안 카메라의 동작 과정을 설명하기 위한 도면들.

도 2는 도 1b의 양안 영상을 자동 조절한 결과를 보여주는 도면.

도 3은 본 발명의 제1 실시예에 따른 스테레오 카메라 시스템의 구성도.

도 4는 도 3의 사람 검출기의 동작과정을 설명하기 위한 도면.

도 5는 도 3의 스테레오 카메라 시스템의 동작과정 중 전체 영역 히스토그램과 ROI(region of interest) 영역 히스토그램을 비교하여 설명하기 위한 도면.

도 6a는 비교예에 따른 카메라의 초기 설정 결과를 설명하기 위한 도면.

도 6b는 도 6a의 초기설정결과에 대한 히스토그램을 보여주는 그래프.

도 7a는 본 발명의 일 실시예에 따른 스테레오 카메라 시스템에서 ROI 대표값이 일치하도록 카메라 설정을 변경한 결과를 설명하기 위한 도면.

도 7b는 도 7a의 카메라 설정의 변경 결과에 대한 히스토그램을 보여주는 그래프.

도 8은 본 발명의 제2 실시예에 따른 스테레오 카메라 시스템의 구성도.

< 도면의 주요 부분에 대한 부호의 설명 >

300, 800 : 스테레오 카메라 시스템

330, 830 : 스테레오 매칭부

370, 870 : 사람 검출부

380, 880 : ROI 대표값 추출부

Claims (1)

1. 왼쪽 카메라 및 오른쪽 카메라로부터 한 프레임의 좌우 원영상을 받는 동영상 인코더;

   상기 동영상 인코더에서 받은 상기 프레임에 대한 비트 스트림을 디코딩하며 모션 벡터 정보를 출력하는 동영상 디코더;

   상기 동영상 디코더에서 받은 좌우 모션벡터를 분리하는 좌우 모션 벡터 분리부;

   상기 좌우 모션 벡터 분리부에서 받은 좌영상 모션벡터와 우영상 모션벡터 각각에서 사람 영역에 대응하는 좌ROI(region of interest) 영역 및 우ROI 영역을 생성하는 사람 검출부;

   상기 사람 검출부에서 받은 상기 좌ROI 영역에 대한 좌ROI 영상과 상기 우ROI 영역에 대한 우ROI 영상의 대표값을 추출하는 ROI 대표값 추출부; 및

   상기 좌우 ROI 영상의 대표값들에 대한 비교 결과를 토대로 상기 왼쪽 카메라 또는 상기 오른쪽 카메라의 설정값을 변경하기 위한 보정값을 상기 왼쪽 및 오른쪽 카메라의 카메라 제어부로 출력하는 카메라 설정값 계산부를 포함하는 스테레오 카메라 시스템.

Images