KR101813371B1 - 영상 처리 장치 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

Abstract

본 출원은 복수개의 카메라 모듈을 이용하여 획득한 영상을 처리하는 장치 및 영상을 처리하는 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기억 매체에 관한 것으로서, 본 발명의 일 실시예에 따른 영상 처리 장치는 서로 이격되어 설치되며, 각각 영상 신호를 출력하는 복수개의 카메라 모듈, 및 복수개의 상기 영상 신호들을 이용하여 기초 깊이 정보를 생성하고, 상기 영상 신호들 중 적어도 하나를 이용하여 에지 정보를 생성하고, 상기 에지 정보에 기초하여 유효 픽셀들을 결정하고, 상기 기초 깊이 정보 중 대상 픽셀의 깊이값을 상기 기초 깊이 정보 중 상기 유효 픽셀들의 깊이값들을 기초로 결정된 대표값으로 치환하여 최종 깊이 정보를 생성하는 프로세서를 포함한다.

Description

영상 처리 장치 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체{An image processing device and a computer readable recoding medium recording an image processing program}

본 출원은 복수개의 카메라 모듈을 이용하여 획득한 영상을 처리하는 장치 및 복수개의 카메라 모듈과 연결된 프로세서에서 영상을 처리하는 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.

최근 모바일 기기의 보급이 대중화됨에 따라서 모바일 기기의 주요 기능 중 하나인 카메라 모듈 성능의 향상에 많은 연구가 이루어지고 있다. 최근에는 영상의 깊이 정보를 활용해서 더 좋은 품질의 영상을 통해 영상의 성능을 향상시키는 연구가 활발히 이루어지고 있다. 여기서 깊이 정보는 영상 내의 각 픽셀이 카메라 모듈로부터 얼마나 멀리 떨어져 있는 점을 촬영한 것인가에 대한 정보를 의미한다. 실제 산업계에서는 각자의 응용 분야에 맞추어 다양한 방법으로 깊이 정보를 획득하는 연구를 진행하고 있다.

대한민국 공개특허공보 제 2010-0075329호

본 발명의 일 실시예에 따르면, 보다 정확한 깊이 정보를 생성할 수 있는 영상 처리 장치가 제공된다.

본 발명의 일 실시예에 따르면, 보다 정확한 깊이 정보를 생성할 수 있는 영상 처리 방법이 제공된다.

본 발명의 일 실시예에 따른 영상 처리 장치는 서로 이격되어 설치되며, 각각 영상 신호를 출력하는 복수개의 카메라 모듈, 및 복수개의 상기 영상 신호들을 이용하여 기초 깊이 정보를 생성하고, 상기 영상 신호들 중 적어도 하나를 이용하여 에지 정보를 생성하고, 상기 에지 정보에 기초하여 유효 픽셀들을 결정하고, 상기 기초 깊이 정보 중 대상 픽셀의 깊이값을 상기 기초 깊이 정보 중 상기 유효 픽셀들의 깊이값들을 기초로 산출된 대표값으로 치환하여 최종 깊이 정보를 생성하는 프로세서를 포함한다.

본 발명의 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체는 복수개의 영상 신호들을 이용하여 기초 깊이 정보를 생성하는 단계, 상기 복수개의 영상 신호들 중 적어도 하나를 이용하여 에지 정보를 생성하는 단계, 상기 에지 정보에 기초하여 유효 픽셀들을 결정하는 단계, 및 상기 기초 깊이 정보 중 대상 픽셀의 깊이값을 상기 기초 깊이 정보 중 상기 유효 픽셀들의 깊이값들을 기초로 산출된 대표값으로 치환하여 최종 깊이 정보를 생성하는 단계를 수행하도록 작성된 영상 처리 프로그램을 저장한다.

본 발명의 실시예에 따른 영상 처리 장치 및 영상 처리 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체에 따르면, 보다 정확한 깊이 정보를 생성할 수 있다. 따라서, 아웃 포커싱(out-focusing)을 위한 물체의 앞 뒤 배치 관계 및 경계를 보다 정확하게 판단할 수 있다. 나아가, 향후 카메라 모듈 어플리케이션들에 본 발명의 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 따라 생성된 깊이 정보를 사용한다면 물체의 위치 관계나 원경, 근경 여부를 보다 정확히 알 수 있기 때문에 더 많은 응용이 가능하다. 뿐만 아니라, 본 발명의 실시예에 따른 영상 처리 장치 및 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체는 영상 처리에 필요한 영상 정합 (image registration) 기술을 만들어 줄 수도 있다.

또한, 본 발명의 실시예에 따른 영상 처리 장치 및 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체는 쉽게 응용이 가능한 유기적인 구조를 가지며, 물체 경계에서 정확한 깊이 구분이 가능하고, 배드 픽셀(bad pixel)을 최소화하여 비현실적인 뎁스 맵(depth map) 생성을 방지할 수 있고, 복잡하지 않은 알고리즘으로 수행 시간을 최소화할 수 있다. 따라서, 본 발명의 실시예에 따른 영상 처리 장치 및 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체는 모바일 환경에서도 적용이 가능하다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치 및 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체를 설명하기 위한 원본 영상(원본 RGB image)를 나타낸 것이다.
도 3은 도 2에 나타낸 원본 영상 의 뎁스 맵의 일예를 나타낸 것이다.
도 4는 도 2의 원본 영상의 오른쪽 하단 영역을 확대한 것이다.
도 5은 도 3의 뎁스 맵의 오른쪽 하단을 확대한 것이다.
도 6은 본 발명의 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체에 저장된 영상 처리 프로그램을 설명하기 위한 동작 흐름도이다.
도 7 및 도 8 각각은 도 6에 나타낸 본 발명의 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체에 저장된 영상 처리 프로그램에서 신뢰성 판단 단계 및 깊이 정보 보정 단계의 일 실시예를 설명하기 위한 동작 흐름도이다.

이하, 도면을 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치 및 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체에 대하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 개략적으로 나타낸 블록도이다. 본 발명의 일 실시예에 따른 영상 처리 장치는 제1 카메라 모듈(10), 제2 카메라 모듈(20), 및 프로세서프로세서(30)를 포함한다. 도 1에 나타낸 본 발명의 일 실시예에 따른 영상 처리 장치는 스마트폰 등 모바일 장치에 적용될 수 있다. 이 경우, 프로세서(30)는 스마트폰 등 모바일 장치의 어플리케이션 프로세서(AP : application processor)일 수도 있다. 또는, 프로세서(30)는 이미지 프로세싱을 위한 전용의 프로세서로서 디지털 신호 처리기(DSP: digital signal processor) 또는 영상 신호 처리기(ISP: image signal processor)일 수도 있다.

제1 카메라 모듈(10)은 피사체를 촬영하여 제1 영상 신호(IM1)를 출력한다.

제2 카메라 모듈(20)은 상기 제1 카메라 모듈(10)과 이격되어 설치되며, 상기 피사체을 촬영하여 제2 영상 신호(IM2)를 출력한다. 즉, 제1 카메라 모듈(10)과 제2 카메라 모듈(20)은 동일한 피사체를 서로 다른 각도에서 촬영한 후, 각각 제1 영상 신호(IM1)와 제2 영상 신호(IM2)를 출력한다. 제1 영상 신호(IM1)와 제2 영상 신호(IM2) 각각은 복수개의 픽셀들 각각에 대한 색상 정보 및 밝기 정보를 포함할 수 있다.

프로세서(30)는 상기 제1 영상 신호(IM1)와 상기 제2 영상 신호(IM2)를 이용하여 깊이 정보를 생성한다.

깊이 정보는 영상 내의 각 픽셀의 깊이값을 포함한다. 깊이값은 픽셀이 카메라 모듈로부터 얼마나 멀리 떨어져 있는 점을 촬영한 것인가를 나타내는 값이다. 구체적으로, 상기 깊이값은 제1 영상 신호(IM1)와 제2 영상 신호(IM2)의 영상의 픽셀이 얼마나 떨어져있는지를 나타내는 값일 수도 있으며, 제1 영상 신호(IM1)와 제2 영상 신호(IM2)의 영상의 픽셀이 얼마나 떨어져있는지를 나타내는 값에 소정의 값을 곱한 값일 수도 있다. 즉, 깊이 정보는 각 픽셀에 대하여, 제1 영상 신호(IM1)와 제2 영상 신호(IM2)의 영상의 픽셀이 얼마나 떨어져있는지를 나타내는 값들을 포함하는 디스패리티 맵(disparity map)일 수도 있고, 상기 디스패리티 맵(disparity map)을 기초로 계산된 뎁스 맵(depth map)일 수 있다. 뎁스 맵(depth map)은 상기 디스패리티 맵(disparity map)에 소정의 값을 곱하여 산출될 수 있다.

또한, 깊이 정보는 제1 영상 신호(IM1)를 기초로 제2 영상 신호(IM2)를 이용하여 계산될 수 있다. 이 경우, 깊이 정보의 각 픽셀에 대한 깊이값은 제1 영상 신호(IM1)에서의 해당 픽셀이 제2 영상 신호(IM2)에서는 몇 픽셀 떨어져 있는지를 나타내는 값(또는, 이 값에 소정의 값을 곱한 값)일 수 있다. 즉, 상기 깊이값은 제1 영상 신호(IM1)에서의 해당 픽셀의 위치로부터, 상기 해당 픽셀이 촬영한 점에 대응되는 제2 영상 신호(IM2)의 픽셀의 위치까지의 거리에 대응되는 값(또는, 이 값에 소정의 값을 곱한 값)일 수 있다. 또한, 깊이 정보는 제2 영상 신호(IM2)를 기초로 제1 영상 신호(IM1)를 이용하여 계산될 수도 있다. 이 경우, 깊이 정보의 각 픽셀에 대한 깊이값은 제2 영상 신호(IM2)에서의 해당 픽셀이 제1 영상 신호(IM1)에서는 몇 픽셀 떨어져있는지를 나타내는 값(또는, 이 값에 소정의 값을 곱한 값)일 수 있다.

프로세서(30)는 제1 영상 신호(IM1)와 제2 영상 신호(IM2)를 이용하여 기초 깊이 정보를 생성하고, 상기 기초 깊이 정보를 개선하여 최종 깊이 정보를 생성한다. 즉, 프로세서(30)는 기초 깊이 정보를 개선하여 물체의 경계 부근에서 더 정확한 깊이값을 가지는 최종 깊이 정보를 생성할 수 있다.

기초 깊이 정보를 생성하기 위해, 프로세서(30)는 스테레오 매칭(stereo matching)을 수행할 수 있다. 스테레오 매칭은 수평 또는 수직으로 약간의 간격을 두고 떨어진 두 대의 카메라 모듈을 사용해서 영상의 깊이 정보를 구하는 기술이다. 즉, 스테레오 매칭은 사람이 물체를 두 눈으로 본 물체를 뇌에서 인식하는 방식과 비슷한 방식으로서, 스테레오 매칭을 적용하면 두 개의 카메라 모듈로부터 촬영된 영상으로부터 픽셀의 깊이값을 알아낼 수 있다. 즉, 본 발명의 일 실시예에 따르면, 프로세서(30)는 제1 카메라 모듈(10)로부터 제1 영상 신호(IM1)를 입력받고, 제2 카메라 모듈(20)로부터 제2 영상 신호(IM2)를 입력받고, 스테레오 매칭 알고리즘을 수행하여 기초 깊이 정보를 생성할 수 있다. 이 경우, 프로세서(30)는 스테레오 매칭 알고리즘을 수행함에 있어, 제1 영상 신호(IM1)를 기초로 하여 제1 기초 깊이 정보를 생성하고, 제2 영상 신호(IM2)를 기초로 하여 제2 깊이 정보를 생성할 수 있다.

프로세서(30)가 최종 깊이 정보를 생성하는 과정을 좀 더 구체적으로 설명하면 다음과 같다. 프로세서(30)는 경계 부근에서 더 정확한 깊이값을 가지는 최종 깊이 정보를 생성하기 위해서 제1 영상 신호(IM1) 또는 제2 영상 신호(IM2)에서의 물체 경계와 최종 깊이 정보의 물체 경계가 일치하도록 기초 깊이 정보를 개선한다. 이를 위해, 프로세서(30)는 신뢰성이 낮은 픽셀을 정의할 수 있다. 좀더 구체적으로, 프로세서(30)는 픽셀들 중 깊이값의 신뢰성이 낮은 픽셀들을 제외하여 유효 픽셀들을 결정하고, 기초 깊이 정보에서의 유효 픽셀들의 깊이값들을 기초로 대표값을 산출하고, 기초 깊이 정보에서 대상 픽셀의 깊이값을 대표값으로 치환하여 최종 깊이 정보를 생성할 수 있다. 이러한 과정을 통해 생성된 최종 깊이 정보의 물체 경계는 제1 영상 신호(IM1) 또는 제2 영상 신호(IM2)에서의 물체 경계와 일치하게 되며, 기초 깊이 정보보다 물체 경계 부근에서 더 정확한 값을 가지는 최종 깊이 정보가 생성될 수 있다.

여기서, 신뢰성이 낮은 픽셀은 “제1 영상 신호(IM1) 또는 제2 영상 신호(IM2)에서 속해있는 물체와 기초 깊이 정보에서 속해있는 물체가 다른 픽셀”을 의미한다.

도 2 내지 도 5를 참고하여 설명한다. 도 2 내지 도 5는 본 발명의 일실시예에 따른 영상 처리 장치의 프로세서의 동작 및 컴퓨터로 읽을 수 있는 기록 매체에 저장된 영상 처리 프로그램을 설명하기 위한 도면들로서, 도 2는 제1 카메라 모듈(도 1의 10)이 촬영한 영상을 나타낸 것이고, 도 3은 도 2에 나타낸 영상의 뎁스 맵(depth map)의 일예를 나타낸 것이고, 도 4는 도 2의 영상의 오른쪽 하단 영역을 확대한 것이고, 도 5은 도 4의 뎁스 맵의 오른쪽 하단을 확대한 것이다. 제1 카메라 모듈(도 1의 10)이 촬영한 영상이 피사체의 레프트 뷰(left view)이고, 제2 카메라 모듈(도 1의 20)이 촬영한 영상이 피사체의 라이트 뷰(right view)일 수 있다.

즉, 도 2에 나타낸 피사체에 대하여, 프로세서(도 1의 30)가 제1 카메라 모듈(도 1의 10)로부터 입력한 제1 영상 신호(도 1의 IM1)을 기초로 제2 카메라 모듈(도 1의 20)로부터 입력한 제2 영상 신호(도 1의 IM2)를 이용하여 생성한 기초 깊이 정보를 시각적으로 나타낸 뎁스 맵(depth map)이 도 3일 때, 도 2 및 도 3 각각의 오른쪽 하단의 영역을 확대해보면 도 4 및 도 5와 같이 제1 카메라 모듈(도 1의 10)이 촬영한 영상 에서 보면(즉, 제1 영상 신호(IM1)에서는) 배경의 일부이지만, 뎁스 맵에서는(즉, 기초 깊이 정보에서는) 전경 물체의 일부에 해당하는 픽셀(도 4 및 도 5의 A)이 존재한다. 이러한 불일치가 존재하는 픽셀들을 신뢰성이 낮은 픽셀로 볼 수 있다.

본 발명의 일 실시예에 따르면, 신뢰성이 낮은 픽셀들을 제거하기 위해서 신뢰성이 낮은 필셀의 값을 주변의 픽셀들로부터 대표값으로 대체할 수 있다. 구체적으로, 정확하지 않은 깊이값(depth value)를 정확하다고 추정되는 대표값으로 치환할 수 있다. 이 때, 신뢰성이 낮은 픽셀의 주변 영역의 픽셀들 중 물체의 경계로부터 멀리 떨어진 픽셀은 여러 개가 존재할 수 있다. 정확도를 향상시키기 위해서 이 픽셀들을 모두 구한 후 해당 픽셀들에 대해서 테스트를 진행해서 가장 깊이값이 똑같을 것으로 추정되는 픽셀을 대표 픽셀로 정한 후, 신뢰성이 낮은 픽셀의 깊이값을 대표 픽셀의 깊이값으로 치환할 수 있다. 또는, 물체의 경계로부터 멀리 떨어진 픽셀들에 대해서 테스트를 진행해서 신뢰성이 높은 복수개의 픽셀들을 결정하고, 신뢰성이 낮은 픽셀의 깊이값을 해당 픽셀들의 깊이값의 평균값으로 치환할 수도 있다.

다시 정리하면, 프로세서(30)는 기초 깊이 정보의 깊이값들 중 대상 픽셀의 깊이값를 조정하기 위해서, 대상 픽셀의 주변 영역의 픽셀들 중에서 물체의 경계로부터 멀리 떨어진 픽셀들을 찾고, 이 픽셀들의 깊이값을 기초로 대상 픽셀의 실제 깊이값과 가장 비슷할 것으로 추정되는 대표값을 정한 후, 대상 픽셀의 깊이값을 대표값으로 치환함으로써, 최종 깊이 정보를 생성할 수 있다.

프로세서(30)는 최종 깊이 정보를 이용하여 피사체에 대한 고품질의 영상을 생성할 수도 있다.

예를 들면, 사진 촬영 기법 중 하나인 디포커스 블러(defocus blur) (또는 아웃 포커싱(out focusing))는 카메라 모듈의 심도를 조절하는 방법으로 원하는 물체를 주목하게 하는 기술이다. 그러나 스마트폰 등 모바일 장치의 카메라 모듈은, 물리적인 한계로 인해 작게 설계되어야 하므로 카메라 모듈 렌즈 및 센서의 사용에 제약 사항이 있을 수 밖에 없다. 따라서 스마트폰 등 모바일 장치의 환경에서는, 대부분의 경우 소프트웨어를 통해서 이를 구현한다. 광학적으로 물체의 디포커스(defocus) 여부는 “카메라 모듈로부터 물체가 얼마나 떨어져있나”의 정보가 필수적이기 때문에, 영상의 깊이 정보를 필요로 한다. 따라서, 본 발명의 실시예에 의해 획득한 깊이 정보를 사용하여 디포커스 블러(defocus blur)를 적용할 수 있다.

본 발명의 실시예에 의해 획득한 깊이 정보는 디포커스 블러(defocus blur) 뿐 만이 아니라 HDR(high dynamic range) 및 detail enhancement와 같은 영상 처리에도 활용할 수 있다. 이러한 기술들의 공통점은 더 목표 효과를 달성하기 위해서 서로 다른 조건으로 촬영한 여러 장의 영상을 합치는 방법을 사용하는 것이다. 하지만 이러한 응용을 적용하기 위해서는 정확한 영상의 정합이 필요하다. 만약 픽셀들끼리 대응이 정확하지 않은 채로 두 영상을 합칠 경우 왜곡 현상(artifact)이 발생하게 된다. 본 발명의 실시예에 의해 획득한 최종 깊이 정보(예를 들면, 뎁스 맵(depth map))를 이용하면, 간단한 기하학으로부터 제1 카메라 모듈(도 1의 10)로 촬영한 영상의 어떤 픽셀이 정확하게 제2 카메라 모듈(도 1의 20)로 쵤영한 영상의 픽셀에 해당하는지 알 수 있다.

최종 깊이 정보(예를 들면, 뎁스 맵(depth map))이 물체의 경계 부근에서 정확한 구분이 이루어진다면, 영상 처리에 응용했을 때, 스테레오 매칭(stereo matching)이 완벽하지는 않더라도 부정확한 스테레오 매칭(stereo matching)에 의해 발생할 수 있는 영상 왜곡(artifact)을 줄일 수 있다. 본 발명의 실시예에 따른 영상 처리 장치 및 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체에 따르면, 물체의 경계 부근에서 더 정확한 깊이 정보(예를 들면, 뎁스 맵(depth map))을 구할 수 있다.

도 6은 본 발명의 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체에 저장된 영상 처리 프로그램을 설명하기 위한 동작 흐름도이다. 도 6에 나타낸 각 단계는 도 1의 프로세서(도 1의 30)에 의해 수행될 수 있다.

먼저, 기초 깊이 정보를 생성할 수 있다(S100 단계). S100 단계에서는 종래의 다양한 기법을 이용하여 기초 깊이 정보를 생성할 수 있다. 예를 들면, 다양한 방식의 스테레오 매칭 기법을 통해 기초 깊이 정보가 생성될 수 있다. S100 단계에서, 제1 영상 신호(도 1의 IM1)을 기초로 제2 영상 신호(도 1의 IM2)를 이용하여 제1 기초 깊이 정보를 생성하고, 제2 영상 신호(도 1의 IM2)을 기초로 제1 영상 신호(도 1의 IM1)를 이용하여 제2 기초 깊이 정보를 생성할 수 있다.

다음으로, 각 픽셀에 대한 신뢰성을 판단할 수 있다(S200 단계). 즉, 각 픽셀에 대하여, 기초 깊이 정보의 값, 즉, 기초 깊이 정보에서의 픽셀의 깊이값이 신뢰성이 있는지 여부를 판단할 수 있다.

다음으로, S200 단계에서 판단한 결과를 기초로, S100 단계에서 생성한 기초 깊이 정보를 보정하여 최종 깊이 정보를 생성할 수 있다(S300 단계). 구체적으로, 깊이값을 보정하고자 하는 대상 픽셀 주변의 픽셀들 중 신뢰성이 없는 깊이값을 가지는 픽셀들을 제외함으로써 유효 픽셀들을 결정할 수 있다. 다음으로, 기초 깊이 정보 중 대상 픽셀의 깊이값을 유효 픽셀들의 깊이값들을 기초로 산출된 대표값으로 치환할 수 있다. 상술한 바와 같이, 상기 대표값은 유효 픽셀들 중 대상 픽셀의 실제 깊이값과 가장 유사할 것으로 추측되는 대표 픽셀의 깊이값일 수도 있고, 유효 픽셀들의 깊이값들의 평균값일 수도 있다. 상기 대표 픽셀은 상기 유효 픽셀들 중 상기 유효 픽셀들의 깊이값들의 중간값을 가지는 픽셀일 수 있다.

이하, 프로세서(도 1의 30)가 제1 카메라 모듈(도 1의 10)로부터 입력한 제1 영상 신호(IM1)을 기초로 제2 카메라 모듈(도 1의 20)로부터 입력한 제2 영상 신호(IM2)를 이용하여 생성된 제1 기초 깊이 정보를 개선하여 최종 깊이 정보를 생성하는 경우에 대하여 설명한다.

도 7은 도 6에 나타낸 본 발명의 일 실시예에 따른 영상 처리 방법 중 신뢰성 판단 단계(S200 단계) 및 깊이 정보 보정 단계(S300 단계)의 실시예를 설명하기 위한 동작 흐름도이다. 도 7에 나타낸 각 단계는 도 1의 프로세서(도 1의 30)에 의해 수행될 수 있다.

먼저, 제1 카메라 모듈(도 1의 10)이 촬영한 영상에서 대상 픽셀을 중심으로 하는 윈도우(window)를 생성할 수 있다(S410 단계). 즉, 제1 영상 신호를 이용하여 대상 픽셀을 중심으로 하는 윈도우를 생성할 수 있다. 상기 윈도우는 대상 픽셀을 중심으로 하는 k by k 패치(patch)일 수 있다.

다음으로, 제1 영상 신호를 이용하여 윈도우에서의 에지 정보를 생성할 수 있다(S420 단계). 구체적으로, 윈도우 내의 픽셀들의 엠알티브이(mRTV : modified RTV)값을 계산할 수 있다. S420 단계에서 엠알티브이값 대신 알티브이(RTV : relative total variance)값이 계산될 수도 있다. 알티브이(RTV)는 카메라 모듈이 촬영한 영상에서 물체의 경계와 물체 내부의 텍스쳐(texture)를 구분해주는 기능을 한다. 엠알티브이(mRTV)는 알티브이(RTV)를 변형한 것이다.

다음으로, 에지 정보를 이용하여 윈도우 내의 픽셀들 중 물체 경계에서 먼 픽셀들을 골라내어 유효 픽셀들로 결정할 수 있다(S430 단계). S430 단계의 구체적인 동작에 관하여는 후술한다.

다음으로, S430 단계에서 결정된 유효 픽셀들 중 추가적인 테스트를 통해서 깊이값의 신뢰성이 낮다고 판단되는 픽셀들을 추가적으로 제외함으로써, 대상 픽셀에 대한 유효 픽셀 리스트(valid pixel list)를 생성한다(S440 단계). S440 단계의 구체적인 동작에 관하여는 후술한다.

다음으로, 제1 기초 깊이 정보 중 유효 픽셀 리스트에 속하는 유효 픽셀들의 깊이값들을 기초로 대표값을 결정하고, 대상 픽셀의 깊이값을 대표값으로 치환한다(S450 단계). 구체적으로, 유효 픽셀 리스트(valid pixel list)에 속하는 유효 픽셀들 중에서 대표 픽셀을 선택한 후, 대표 픽셀의 깊이값을 대표값으로 결정할 수도 있고, 유효 픽셀 리스트에 속하는 유효 픽셀들의 깊이값의 평균값 또는 중간값을 대표값으로 결정할 수도 있다. 상기 대표 픽셀은 유효 픽셀들 중 깊이값이 중간(median)인 픽셀일 수 있다.

상기 S410 단계 내지 상기 S450 단계는 제1 기초 깊이 정보의 모든 픽셀들에 대해서 수행될 수도 있고, 제1 기초 깊이 정보 중 선택된 일부 픽셀들에 대해서 수행될 수도 있다.

도 8은 도 6에 나타낸 본 발명의 일 실시예에 따른 영상 처리 방법 중 신뢰성 판단 단계(S200 단계) 및 깊이 정보 보정 단계(S300 단계)의 실시예를 설명하기 위한 동작 흐름도이다. 도 8에 나타낸 각 단계는 도 1의 프로세서(도 1의 30)에 의해 수행될 수 있다.

먼저, 제1 영상 신호를 이용하여 에지 정보를 생성할 수 있다(S510 단계). 구체적으로, 제1 영상 신호를 이용하여 픽셀들의 엠알티브이(mRTV : modified RTV)값을 계산할 수 있다. S510 단계에서 엠알티브이값 대신 알티브이(RTV : relative total variance)값이 계산될 수도 있다. 알티브이(RTV)는 카메라 모듈이 촬영한 영상에서 물체의 경계와 물체 내부의 텍스쳐(texture)를 구분해주는 기능을 한다. 엠알티브이(mRTV)는 알티브이(RTV)를 변형한 것이다.

다음으로, 제1 카메라 모듈(도 1의 10)이 촬영한 영상에서 대상 픽셀을 중심으로 하는 윈도우(window)를 생성할 수 있다(S520 단계). 즉, 제1 영상 신호를 이용하여 대상 픽셀을 중심으로 하는 윈도우를 생성할 수 있다.

다음으로, S510 단계에서 생성된 에지 정보를 이용하여 윈도우 내의 픽셀들 중 물체 경계에서 먼 픽셀들을 골라내어 유효 픽셀들로 결정할 수 있다(S530 단계). S530 단계의 구체적인 동작에 관하여는 후술한다.

다음으로, S530 단계에서 결정된 유효 픽셀들 중 추가적인 테스트를 통해서 깊이값의 신뢰성이 낮다고 판단되는 픽셀들을 추가적으로 제외함으로써, 대상 픽셀에 대한 유효 픽셀 리스트(valid pixel list)를 생성한다(S540 단계). S440 단계의 구체적인 동작에 관하여는 후술한다.

다음으로, 제1 기초 깊이 정보 중 유효 픽셀 리스트에 속하는 유효 픽셀들의 깊이값들을 기초로 대표값을 결정하고, 대상 픽셀의 깊이값을 대표값으로 치환한다(S550 단계). 구체적으로, 유효 픽셀 리스트(valid pixel list)에 속하는 유효 픽셀들 중에서 대표 픽셀을 선택한 후, 대표 픽셀의 깊이값을 대표값으로 결정할 수도 있고, 유효 픽셀 리스트에 속하는 유효 픽셀들의 깊이값의 평균값 또는 중간값을 대표값으로 결정할 수도 있다. 상기 대표 픽셀은 유효 픽셀들 중 깊이값이 중간(median)인 픽셀일 수 있다.

상기 S410 단계 내지 상기 S450 단계는 제1 기초 깊이 정보의 모든 픽셀들에 대해서 수행될 수도 있고, 제1 기초 깊이 정보 중 선택된 일부 픽셀들에 대해서 수행될 수도 있다.

이하, 상기 S430 단계 및 상기 S530 단계의 구체적인 동작을 설명한다.

프로세서(도 1의 30)는 윈도우 내의 픽셀들 중 S420 단계 또는 S510 단계에서 생성된 에지 정보에서의 에지값(예를 들면, 엠알티브이(mRTV)값 또는 알티브이(RTV)값)이 평균 이하인 픽셀들을 물체의 경계에서 먼 픽셀들로 판단하고, 에지값이 평균 이하인 픽셀들을 유효 픽셀들로 결정할 수 있다. 즉, 프로세서(도 1의 30)는 S420 단계 또는 S510 단계에서 생성된 에지 정보를 이용하여 원도우 내의 픽셀들의 에지값의 평균값을 계산하고, 원도우 내의 픽셀들 중 에지값이 평균값 이하인 픽셀들을 유효 픽셀들로 결정할 수 있다.

앞서 설명한 바와 같이 에지값(엠알티브이(mRTV)값 또는 알티브이(RTV)값)이 낮은 픽셀들은 물체의 경계로부터 떨어진 픽셀이고, 이 점들은 깊이값이 안정되어 있다고 가정할 수 있다. 따라서, S410 단계 또는 S520 단계에서 생성된 윈도우 상의 픽셀들 중 에지값(엠알티브이(mRTV)값 또는 알티브이(RTV)값)이 평균 이하인 픽셀들만 유효 픽셀들로 결정한다.

다음으로, 상기 S440 단계 및 상기 S540 단계의 구체적인 동작을 설명한다.

에지값(엠알티브이(mRTV)값 또는 알티브이(RTV)값)이 낮은 픽셀이라고 하더라도 대상 픽셀의 깊이값을 정확히 반영하지 않을 수도 있다. 따라서 본 발명의 일 실시예에 따르면, 후술하는 다른 조건들을 추가적으로 감안하여 유효 픽셀들을 결정한다.

먼저, 깊이값의 신뢰도를 컨피던스(confidence)라고 표현할 때 컨피던스(confidence)가 있는 픽셀들만 유효 픽셀들에 포함시킨다.

물체 경계에서 멀리 떨어진 픽셀의 깊이값을 정확하다고 가정하지만, 이 조건만으로는 대상 픽셀의 실제 깊이값과 유사할 것으로 추정되는 픽셀들을 골라내기 어렵다. 또한, 물체 경계 주변에서 생기는 깊이값의 부정확성은 주로 어클루젼(occlusion)에 의해서 발생한다. 따라서, 어클루젼(occlusion)에 의해 생기는 부정확도의 측정에 효과적인 컨피던스(confidence) 측정법을 사용하여, 컨피던스(confidence)가 있는 픽셀들만 유효 픽셀들에 포함시킨다.

좀더 구체적으로 설명하면 다음과 같다.

상술한 바와 같이, 기초 깊이 정보를 생성하는 경우에, 제1 영상 신호(도 1의 IM1)를 기초로 제2 영상 신호(도 1의 IM2)를 이용하여 제1 기초 깊이 정보를 생성하고, 제2 영상 신호(도 1의 IM2)를 기초로 제1 영상 신호(도 1의 IM1)를 이용하여 제2 기초 깊이 정보를 생성할 수 있다. 임의의 픽셀의 깊이값이 정확하다면, 그 픽셀에 대한 제1 기초 깊이 정보에서의 깊이값과 제2 기초 깊이 정보에서의 깊이값은 같아야 한다. 만약, 어떤 픽셀에 대한 제1 기초 깊이 정보에서의 깊이값과 제2 기초 깊이 정보에서의 깊이값이 서로 다르다면, 두 개의 깊이값 중 하나는 잘못된 깊이값이다.

따라서, S430 단계 또는 S530 단계에서 결정된 유효 픽셀들 중, 제1 깊이 정보에서의 깊이값과 제2 기초 깊이 정보에서의 깊이값이 서로 다른 픽셀들을 추가적으로 제외하여 유효 픽셀들을 결정할 수 있다.

또한, 대상 픽셀의 컬러와 비슷한 픽셀만 유효 픽셀에 포함되도록 하고, 대상 픽셀의 컬러와 컬러 차이가 기준값 이상인 픽셀은 유효 픽셀에 포함되지 않도록 할 수 있다.

만약 픽셀 A가 픽셀 B의 깊이값을 가져오려고 한다고 했을 때, 픽셀 A와 픽셀 B가 실제로 같은 깊이값을 가진다면, 두 픽셀은 같은 영역은 같은 오브젝트(object) 상에 존재하는 픽셀이므로 같은 컬러를 가질 가능성이 크다. 따라서 구하고자 하는 픽셀과의 컬러 차이가 기준치 이상인 픽셀들은 유효 픽셀들에서 제외함으로써, 비슷한 픽셀들만 유효 픽셀들에 포함되도록 할 수 있다.

본 발명의 일 실시예에 따르면, 깊이값의 신뢰성이 낮은 픽셀들을 따로 찾지 않아도 된다. 대신 제1 기초 깊이 정보의 모든 픽셀들에 대한 깊이값에 대해서 유효 픽셀들을 검색한 후 덮어쓰기를 진행하면, 깊이값의 신뢰성이 낮은 픽셀들의 깊이값은 신뢰성이 높은 깊이값으로 덮어씌워지고, 깊이값의 신뢰성이 높은 픽셀의 깊이값은 대부분의 경우 그대로 남아있게 된다. 이 과정을 통해서 얻은 최종 깊이 정보를 다시 기초 깊이 정보로 하여 상술한 과정을 2~3번 정도 반복 수행하면 최종 깊이 정보의 깊이값은 보다 더 정확해질 수 있다.

또한, 신뢰성이 낮은 픽셀들을 미리 검출한 후, 신뢰성이 낮은 픽셀들에 대해서만 상술한 과정을 통해 덮어쓰기가 진행되도록 구현할 수도 있다.

프로세서(도 1의 30)가 제2 카메라 모듈(도 1의 20)로부터 입력한 제2 영상 신호(도 1의 IM2)을 기초로 제1 카메라 모듈(도 1의 10)로부터 입력한 제1 영상 신호(도 1의 IM1)를 이용하여 생성된 제2 기초 깊이 정보를 개선하여 최종 깊이 정보를 생성하는 경우에도, 상술한 것과 유사한 방법이 사용될 수 있다. 이 경우, 에지 정보는 제2 영상 신호(도 1의 IM2)를 이용하여 생성될 수 있다.

도 6 및 도 7 또는 도 6 및 도 8에 나타낸 각 단계를 수행하기 위해, 본 발명의 영상 처리 방법은 소프트웨어의 형태로 제작될 수 있다. 이 경우, 먼저 카메라 모듈이 수평 또는 수직으로 2개 놓여져 있는 기기에 상기 소프트웨어가 탑재된 후, 소프트웨어는 카메라 모듈에서 촬영된 영상을 입력받을 수 있다. 그 다음, 미리 구해진 카메라 파라미터 들을 사용해서 영상의 에피폴라 라인(epipolar line)을 수평으로 만드는 영상 보정(image rectification)을 수행할 수 있다. 그 다음, 스테레오 매칭(stereo matching) 알고리즘 중 하나인 세미-글로벌 매칭(semi-global matching(SGM)) 알고리즘을 사용해서 기초 깊이 정보를 생성할 수 있다. 이후, 상기 기초 깊이 정보를 보정할 수 있다.

본 발명의 영상 처리 장치 및 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체에 따르면, 스테레오 매칭(stereo matching)이라는 특별한 환경에 대해서 더 정확한 영상 보정(image registration)이 가능해진다.

스테레오 매칭(stereo matching)은 사물 인식, 거리 측정, 주변 환경 복원 같은 다양한 영상 처리 응용 분야에서 활용될 가능성이 높다.

예를 들면, 스테레오 매칭(stereo matching)이 단순히 디포커스 블러(defocus blur) 영상을 합성하기 위해서 만드는 것이 아니라 다른 영상 처리 응용에도 활용 할 수 있다. 본 발명의 영상 처리 장치 및 영상 처리 방법은, 기존의 스테레오 매칭 알고리즘을 사용한 뒤 후처리의 방식으로 기초 깊이 정보를 개선하여 최종 깊이 정보를 생성할 수 있다. 이러한 후처리의 핵심 목표는 기존 알고리즘들이 물체의 경계를 정확히 찾지 못하기 때문에 카메라 모듈들이 촬영한 영상을 기반으로 해서 더 물체 경계에서 정확한 깊이값을 가진 최종 깊이 정보를 생성하는 것이다. 이러한 구조의 설계는 영상 처리에의 응용에 좀 더 적합하면서도 기존 알고리즘들의 장점을 그대로 흡수하게 하는 장점이 존재한다. 후처리 전에 기초로 사용하는 알고리즘의 배드 픽셀(bad-pixel)의 개수가 작다면 본 발명의 영상 처리 장치 및 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체의 성능도 덩달아서 올라가게 하는 효과를 가질 것이다.

따라서 기존의 인공 지능 영역에서만 주로 사용하던 스테레오 매칭 을 좀 더 많은 분양에 확장 할 수 있다.

또한, 상술한 본 발명의 실시예에서는, 두 개의 카메라 모듈을 이용하는 경우를 예시하였으나, 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법은 하나의 카메라 모듈을 이용할 수도 있다. 예를 들면, 다양한 각도의 빛 데이터를 수집할 수 있는 광학 장치(예를 들면, 특수 렌즈)를 카메라 모듈에 장착하고, 여러 방향에서 들어오는 빛의 벡터값을 한 번의 촬영으로 저장한 후, 이를 이용하여 깊이 정보를 생성할 수도 있다. 다른 예로서, 사용자가 카메라 모듈을 포함하는 기기를 살짝 움직여 찍는 방법 등으로 차이(disparity)가 존재하는 두 장의 사진을 획득하고, 이를 기반으로 깊이 정보(예를 들면, 뎁스 맵(depth map))를 획득할 수 있다.

본 발명의 실시예에 따른 영상 처리 장치 및 방법은 다양한 응용 분야에 활용될 수 있다.

구체적으로, 본 발명의 실시예에 따른 영상 처리 장치 및 방법은 자동차의 전방을 향해 두 개의 카메라 모듈을 사람의 눈과 같이 설치하고, 두 개의 카메라 모듈에 의해 획득한 영상을 이용하여 전방의 물체 및 도로 상황을 계산하는 자동차 무인 주행 분야에도 활용할 수 있다.

또한, 본 발명의 실시예에 따른 영상 처리 장치 및 방법은 사용자의 동작을 인식하기 위해 사용될 수도 있다. 예를 들면, 사용자의 동작을 인식하기 위해 깊이 정보가 포함된 영상을 영상 처리하여 게임의 입력으로 사용하는 게임 컨트롤러에 사용할 수 있다. 게임 컨트롤러의 경우, 한 개의 전방 카메라 모듈과 한 개의 적외선 센서를 사용할 수도 있다.

즉, 본 발명의 실시예에 따른 영상 처리 장치 및 방법은 영상 처리의 성능을 향상시키기 위해 필요한 깊이 정보를 획득하기 위해 스테레오 매칭(stereo matching)을 사용하는 많은 제품에 적용 가능하다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게는 자명할 것이다.

10 : 제1 카메라 모듈 20 : 제2 카메라 모듈
30 : 프로세서

Claims (16)

1. 서로 이격되어 설치되며, 각각 영상 신호를 출력하는 복수개의 카메라 모듈; 및
   복수개의 상기 영상 신호들을 이용하여 기초 깊이 정보를 생성하고, 상기 영상 신호들 중 적어도 하나를 이용하여 각 픽셀에 대한 알티브이(RTV)값 또는 엠알티브이(mRTV)값을 산출하여 에지 정보를 생성하고, 대상 픽셀을 중심으로 하는 윈도우를 설정하고, 상기 윈도우에 속하는 픽셀들의 알티브이(RTV)값 또는 엠알티브이(mRTV)값의 평균값을 계산하고, 상기 윈도우에 속하는 픽셀들 중 상기 평균값보다 작은 알티브이(RTV)값 또는 엠알티브이(mRTV)값을 가지는 픽셀들을 유효 픽셀들로 결정하고, 상기 기초 깊이 정보 중 상기 대상 픽셀의 깊이값을 상기 기초 깊이 정보 중 상기 유효 픽셀들의 깊이값들을 기초로 결정된 대표값으로 치환하여 최종 깊이 정보를 생성하는 프로세서를 포함하는 영상 처리 장치.
   
2. 삭제
3. 삭제
4. 제1항에 있어서, 상기 프로세서는
   상기 기초 깊이 정보 중 상기 유효 픽셀들의 깊이값들의 평균값 또는 상기 유효 픽셀들의 깊이값들의 중간값을 가지는 픽셀의 깊이값을 상기 대표값으로 산출하는 영상 처리 장치.
   
5. 삭제
6. 삭제
7. 피사체를 촬영하여 제1 영상 신호를 출력하는 제1 카메라 모듈;
   상기 제1 카메라 모듈과 이격되어 설치되고, 상기 피사체를 촬영하여 제2 영상 신호를 출력하는 제2 카메라 모듈; 및
   상기 제1 영상 신호를 기초로 상기 제2 영상 신호를 이용하여 제1 기초 깊이 정보를 생성하고, 상기 제1 영상 신호를 이용하여 에지 정보를 생성하고, 대상 픽셀을 중심으로 하는 윈도우를 결정하고, 상기 에지 정보를 이용하여 상기 윈도우에서 물체의 경계가 아닌 픽셀들을 유효 픽셀들로 결정하고, 상기 제1 기초 깊이 정보의 상기 대상 픽셀의 깊이값을 상기 유효 픽셀들의 깊이값들을 기초로 결정된 대표값으로 치환하여 최종 깊이 정보를 생성하는 프로세서를 포함하는 영상 처리 장치.
   
8. 제7항에 있어서, 상기 프로세서는
   상기 제2 영상 신호를 기초로 상기 제1 영상 신호를 이용하여 제2 기초 깊이 정보를 생성하고, 결정된 상기 유효 픽셀들 중 상기 제1 기초 깊이 정보에서의 제1 깊이값과 상기 제2 기초 깊이 정보에서의 제2 깊이값이 상이한 픽셀들을 추가적으로 제외하여 상기 유효 픽셀들을 결정하는 영상 처리 장치.
   
9. 제7항에 있어서, 상기 프로세서는
   상기 제1 영상 신호를 이용하여, 결정된 상기 유효 픽셀들 중 색상을 나타내는 값이 상기 대상 픽셀의 색상을 나타내는 값과 기준값 이상 차이가 나는 픽셀들을 추가적으로 제외하여 상기 유효 픽셀들을 결정하는 영상 처리 장치.
   
10. 복수개의 영상 신호들을 이용하여 기초 깊이 정보를 생성하는 단계;
    상기 복수개의 영상 신호들 중 적어도 하나를 이용하여 각 픽셀에 대한 알티브이(RTV)값 또는 엠알티브이(mRTV)값을 산출하여 에지 정보를 생성하는 단계;
    대상 픽셀을 중심으로 하는 윈도우를 설정하고, 상기 윈도우에 속하는 픽셀들의 알티브이값 또는 엠알티브이값의 평균값을 계산하고, 상기 윈도우에 속하는 픽셀들 중 상기 평균값보다 작은 알티브이값 도는 엠알티브이값을 가지는 픽셀들을 유효 픽셀들로 결정하는 단계; 및
    상기 기초 깊이 정보 중 상기 대상 픽셀의 깊이값을 상기 기초 깊이 정보 중 상기 유효 픽셀들의 깊이값들을 기초로 결정된 대표값으로 치환하여 최종 깊이 정보를 생성하는 단계를 수행하도록 작성된 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
    
11. 삭제
12. 삭제
13. 제10항에 있어서, 상기 최종 깊이 정보를 생성하는 단계는
    상기 기초 깊이 정보 중 상기 유효 픽셀들의 깊이값들의 평균값 또는 상기 유효 픽셀들의 깊이값들의 중간값을 가지는 픽셀의 깊이값을 상기 대표값으로 산출하는 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
    
14. 피사체를 촬영하는 제1 카메라 모듈로부터 출력된 제1 영상 신호를 기초로 상기 제1 카메라 모듈과 이격되어 상기 피사체를 촬영하는 제2 카메라 모듈로부터 출력된 제2 영상 신호를 이용하여 제1 기초 깊이 정보를 생성하는 단계;
    상기 제1 영상 신호를 기초로 에지 정보를 생성하는 단계;
    대상 픽셀을 중심으로 하는 윈도우를 결정하고, 상기 에지 정보를 이용하여 상기 윈도우에서 물체의 경계가 아닌 픽셀들을 유효 픽셀들로 결정하는 단계; 및
    상기 제1 기초 깊이 정보의 상기 대상 픽셀의 깊이값을 상기 유효 픽셀들의 깊이값들을 기초로 결정된 대표값으로 치환하여 최종 깊이 정보를 생성하는 단계를 수행하도록 작성된 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
    
15. 제14항에 있어서,
    상기 제2 영상 신호를 기초로 상기 제1 영상 신호를 이용하여 제2 기초 깊이 정보를 생성하는 단계를 더 포함하고,
    상기 유효 픽셀들을 결정하는 단계는 결정된 상기 유효 픽셀들 중 상기 제1 기초 깊이 정보에서의 제1 깊이값과 상기 제2 기초 깊이 정보에서의 제2 깊이값이 상이한 픽셀들을 추가적으로 제외하여 상기 유효 픽셀들을 결정하는 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
    
16. 제14항에 있어서, 상기 유효 픽셀들을 결정하는 단계는
    상기 제1 영상 신호를 이용하여, 결정된 상기 유효 픽셀들 중 색상을 나타내는 값이 상기 대상 픽셀의 색상을 나타내는 값과 기준값 이상 차이가 나는 픽셀들을 추가적으로 제외하여 상기 유효 픽셀들을 결정하는 영상 처리 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.

Images