KR20200023928A

KR20200023928A - 영상 처리 장치 및 영상 처리 방법

Info

Publication number: KR20200023928A
Application number: KR1020180100444A
Authority: KR
Inventors: 박선희; 박정아
Original assignee: 엘지이노텍 주식회사
Priority date: 2018-08-27
Filing date: 2018-08-27
Publication date: 2020-03-06
Anticipated expiration: 2038-08-27
Also published as: CN112639866B; KR102590900B1; CN112639866A; US20210248719A1; US11954825B2; WO2020045946A1

Abstract

본 발명의 실시예에 따른 영상 처리 장치의 영상 처리 방법은 RGB 카메라를 이용하여 제1 RGB 영상을 획득하는 단계, 상기 제1 RGB 영상으로부터 반사 성분을 추출하는 단계, ToF 카메라를 이용하여 TOF IR 영상을 획득하는 단계, 그리고 상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하여 제2 RGB 영상을 획득하는 단계를 포함하고, 상기 TOF IR 영상은 4개의 위상에 대한 IR 이미지로부터 생성된 앰플리튜드(amplitude) 또는 인텐시티(intensity) 영상이다.

Description

영상 처리 장치 및 영상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은 RGB 카메라와 ToF 카메라를 이용하는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.

모바일 장치 내에 일반적으로 장착되는 RGB 카메라는 저조도 환경에서 영상을 촬영할 경우 밝기가 아주 낮거나 잡음이 심해서 화질이 좋지 않은 문제가 있다. 저조도 환경에서 RGB 카메라의 화질을 개선하기 위한 하나의 방법으로, 플래시 기능을 사용할 수 있다. 그러나, 플래시 기능을 사용할 경우, 플래시가 비춰지는 근거리에서 빛이 포화되어 자연스러운 영상을 획득하기 어려울 수 있다. 저조도 환경에서 RGB 카메라의 화질을 개선하기 위한 다른 방법으로, RGB 카메라와 함께 IR 센서를 사용할 수 있다. 그러나, IR 센서로 인하여 RGB 색상의 감도가 떨어질 수 있다.

이에 따라, 저조도 환경에서 RGB 카메라의 화질을 개선하기 위한 새로운 방법이 필요하다.

본 발명이 이루고자 하는 기술적 과제는 ToF 카메라를 이용하여 RGB 카메라의 화질을 개선하는 영상 처리 방법 및 영상 처리 장치를 제공하는데 있다.

본 발명의 실시예에 따른 영상 처리 장치의 영상 처리 방법은 RGB 카메라를 이용하여 제1 RGB 영상을 획득하는 단계, 상기 제1 RGB 영상으로부터 반사 성분을 추출하는 단계, ToF 카메라를 이용하여 TOF IR 영상을 획득하는 단계, 그리고 상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하여 제2 RGB 영상을 획득하는 단계를 포함하고, 상기 TOF IR 영상은 4개의 위상에 대한 IR 이미지로부터 생성된 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity)영상이다.

상기 반사 성분을 추출하는 단계는, 상기 제1 RGB 영상을 제1 HSV 영상으로 변환하는 단계, 그리고 상기 제1 HSV 영상의 명도 성분으로부터 상기 반사 성분을 획득하는 단계를 포함할 수 있다.

상기 반사 성분은 상기 제1 HSV 영상의 명도 성분의 고주파 성분을 포함할 수 있다.

상기 반사 성분을 획득하는 단계는, 상기 제1 HSV 영상의 명도 성분에 대하여 저주파 통과 필터링을 수행하는 단계, 상기 제1 HSV 영상의 명도 성분으로부터 저주파 성분을 획득하는 단계, 그리고 상기 제1 HSV 영상의 명도 성분으로부터 상기 저주파 성분을 제거하는 단계를 포함할 수 있다.

상기 제2 RGB 영상을 획득하는 단계는, 상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하는 단계, 그리고 상기 제1 RGB 영상의 상기 반사파 성분과 상기 TOF IR 영상을 연산하여 얻은 결과 값 및 상기 제1 HSV 영상의 색조 성분과 채도 성분을 이용하여 제2 RGB 영상을 획득하는 단계를 포함할 수 있다.

상기 ToF 카메라를 이용하여 TOF IR 영상을 획득하는 단계 이후, 상기 제2 RGB 영상을 획득하는 단계 사이에 상기 TOF IR 영상을 보정하는 단계를 더 포함할 수 있다.

상기 TOF IR 영상을 보정하는 단계는, 상기 TOF IR 영상을 상기 제1 RGB 영상과 같은 크기로 보간하는 단계, 그리고 상기 TOF IR 영상의 밝기를 보정하는 단계를 포함할 수 있다.

본 발명의 한 실시예에 따른 영상 처리 장치는 RGB 카메라로부터 제1 RGB 영상을 획득하는 RGB 영상 획득부, 상기 제1 RGB 영상으로부터 반사 성분을 추출하는 RGB 영상 전처리부, ToF 카메라로부터 TOF IR 영상을 획득하는 TOF 영상 획득부, 그리고 상기 제1 RGB 영상의 상기 반사 성분과 및 상기 TOF IR 영상을 연산하여 제2 RGB 영상을 획득하는 영상 처리부를 포함하고, 상기 TOF IR 영상은 4개의 위상에 대한 IR 이미지로부터 생성된 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상이다.

상기 RGB 영상 전처리부는, 상기 제1 RGB 영상을 제1 HSV 영상으로 변환한 후, 상기 제1 HSV 영상의 명도 성분으로부터 상기 반사 성분을 획득할 수 있다.

상기 RGB 영상 전처리부는, 상기 제1 HSV 영상의 명도 성분에 대하여 저주파 통과 필터링을 수행하고, 상기 제1 HSV 영상의 명도 성분으로부터 저주파 성분을 획득하며, 상기 제1 HSV 영상의 명도 성분으로부터 상기 저주파 성분을 제거할 수 있다.

상기 영상 처리부는 상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하고, 상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하여 얻은 결과 값 및 상기 제1 HSV 영상의 색조 성분과 채도 성분을 이용하여 제2 RGB 영상을 획득할 수 있다.

상기 TOF IR 영상을 상기 제1 RGB 영상의 상기 반사 성분과 연산하기 전에, 상기 TOF IR 영상을 보정하는 TOF 영상 전처리부를 더 포함할 수 있다.

상기 TOF 영상 전처리부는, 상기 TOF IR 영상을 상기 제1 RGB 영상과 같은 크기로 보간하고, 상기 TOF IR 영상의 밝기를 보정할 수 있다.

본 발명의 한 실시예에 따른 영상 처리 장치 및 방법을 이용하면, 저조도 환경에서도 화질이 우수한 RGB 영상을 얻을 수 있다. 특히, 본 발명의 실시예에 따른 영상 처리 장치 및 방법에 따르면, 추가 구성을 부가할 필요가 없고, 연산량을 크게 증가시키지 않으면서도, 저조도 환경에서 화질이 우수한 RGB 영상을 얻을 수 있다.

도 1은 본 발명의 한 실시예에 따른 영상 처리 시스템의 블록도이다.
도 2는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 블록도이다.
도 3은 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 출력광 신호의 주파수를 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 이미지 센서를 설명하기 위한 도면이다.
도 6은 본 발명의 한 실시예에 따른 ToF 카메라 모듈로부터 얻을 수 있는 4개의 위상 영상이다.
도 7은 도 6의 위상 영상으로부터 얻어질 수 있는 ToF IR 영상이다.
도 8은 도 6의 위상 영상으로부터 얻어질 수 있는 깊이 영상이다.
도 9는 본 발명의 한 실시예에 따른 영상 처리 시스템에 포함되는 영상 처리 장치의 블록도이다.
도 10은 본 발명의 한 실시예에 따른 영상 처리 장치의 영상 처리 방법을 설명하는 도면이다.
도 11은 본 발명의 다른 실시예에 따른 영상 처리 장치의 영상 처리 방법을 설명하는 도면이다.
도 12는 본 발명의 한 실시예에 따른 영상 처리 장치의 RGB 영상 전처리 방법을 설명하는 도면이다.
도 13은 본 발명의 한 실시예에 따른 영상 처리 장치의 ToF IR 영상 전처리 방법을 설명하는 도면이다.
도 14는 본 발명의 한 실시예에 따른 영상 처리 장치의 RGB 영상과 ToF IR 영상의 정합 방법을 설명하는 도면이다.
도 15는 본 발명의 한 실시예에 따른 영상 처리 방법의 화질 개선 원리를 보다 구체적으로 설명하는 도면이다.
도 16은 본 발명의 한 실시예에 따른 영상 처리 방법의 화질 개선 효과를 설명하는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.

그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.

또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.

도 1은 본 발명의 한 실시예에 따른 영상 처리 시스템의 블록도이고, 도 2는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 블록도이고, 도 3은 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 출력광 신호의 주파수를 설명하기 위한 도면이며, 도 4는 본 발명의 한 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 이미지 센서를 설명하기 위한 도면이다. 도 6은 본 발명의 한 실시예에 따른 ToF 카메라 모듈로부터 얻을 수 있는 4개의 위상 영상이고, 도 7은 도 6의 위상 영상으로부터 얻어질 수 있는 ToF IR 영상이며, 도 8은 도 6의 위상 영상으로부터 얻어질 수 있는 깊이 영상이다.

도 1을 참조하면, 본 발명의 한 실시예에 따른 영상 처리 시스템(10)은 ToF 카메라(100), RGB 카메라(200) 및 영상 처리 장치(300)를 포함한다.

ToF 카메라(100)는 깊이 정보를 획득할 수 있은 장치 중 하나로, ToF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다.

RGB 카메라(200)는 RGB 영상을 촬영할 수 있는 일반적인 카메라일 수 있다.

ToF 카메라(100)와 RGB 카메라(200)는 동일한 영역을 촬영할 수 있도록 하나의 장치, 예를 들어 하나의 모바일 장치 내에 배치될 수 있다.

그리고, 영상 처리 장치(300)는 ToF 카메라(100) 및 RGB 카메라(200)와 연결되며, ToF 카메라(100)로부터 획득한 ToF 이미지와 RGB 카메라(200)로부터 획득한 RGB 영상을 합성(fusion)하여 3차원 영상을 획득할 수 있다.

여기서, 영상 처리 장치(300)는 영상 처리 시스템(10) 내에서 ToF 카메라(100) 및 RGB 카메라(200)와 인접하여 배치되는 것으로 도시되어 있으나, 이로 제한되는 것은 아니며, ToF 카메라(100) 및 RGB 카메라(200)와 원격으로 배치될 수도 있다. 또는, 영상 처리 장치(300)의 일부 기능은 ToF 카메라(100) 및 RGB 카메라(200) 내에 포함될 수도 있다.

도 2를 참조하면, ToF 카메라 모듈(100)은 조명부(110), 렌즈부(120), 이미지 센서부(130) 및 영상 제어부(140)를 포함한다.

조명부(110)는 출력광 신호를 생성한 후 객체에 조사한다. 이때, 조명부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 출력광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 출력광 신호를 펄스파나 지속파 형태로 생성함으로써, ToF 카메라 모듈(100)은 조명부(110)로부터 출력된 출력광 신호와 객체로부터 반사된 후 ToF 카메라 모듈(100)로 입력된 입력광 신호 사이의 위상 차를 검출할 수 있다. 본 명세서에서, 출력광은 조명부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 조명부(110)로부터 출력되어 객체에 도달하여 객체로부터 반사된 후 ToF 카메라 모듈(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.

조명부(110)는 생성된 출력광 신호를 소정의 노출주기(integration time) 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, ToF 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.

조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 생성할 수 있다. 조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 동시에 생성할 수도 있다.

도 3을 참조하면, 조명부(110)는 노출주기의 첫 절반은 주파수 f₁인 출력광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f₂인 출력광 신호가 생성되도록 제어할 수도 있다.

다른 실시예에 따르면, 조명부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f₁인 출력광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f₂인 출력광 신호가 생성되도록 제어할 수도 있다.

이를 위하여, 조명부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다.

우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.

광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 출력광 신호를 생성한다. 일정 시간 간격은 출력광 신호의 주파수일 수 있다. 광원의 점멸은 광변조부(114)에 의해 제어될 수 있다.

광변조부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어할 수 있다.

한편, 렌즈부(120)는 객체로부터 반사된 입력광 신호를 집광하여 이미지 센서부(130)에 전달한다.

다시 도 2를 참조하면, 이미지 센서부(130)는 렌즈부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성한다.

이미지 센서부(130)는 조명부(110)의 점멸 주기와 동기화되어 입력광 신호를 흡수할 수 있다. 구체적으로 이미지 센서부(130)는 조명부(110)로부터 출력된 출력광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다. 즉, 이미지 센서부(130)는 광원이 켜져 있는 시간에 입사광 신호를 흡수하는 단계와 광원이 꺼져 있는 시간에 입사광 신호를 흡수하는 단계를 반복 수행할 수 있다.

다음으로, 이미지 센서부(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 조명부(110)로부터 출력된 출력광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 조명부(110)가 복수의 주파수로 출력광 신호를 생성하는 경우, 이미지 센서부(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.

도 4에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호는 4개(C₁ 내지 C₄)일 수 있다. 각 참조 신호(C₁ 내지 C₄)는 출력광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C₁)는 출력광 신호와 동일한 위상을 가질 수 있다. 입력광 신호는 출력광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서부(130)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서부(130)는 도 4의 음영 부분에 대응하는 전기 신호를 각 참조 신호별로 생성할 수 있다.

다른 실시예로, 노출 시간 동안 복수의 주파수로 출력광 신호가 생성된 경우, 이미지 센서부(130)는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f₁과 f₂로 출력광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f₁과 f₂를 가지므로, 주파수가 f₁인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f₂인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.

이미지 센서부(130)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서부(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서부(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.

도 5를 참조하면, 예를 들어 320x240 해상도의 이미지 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열된다. 이때, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다.

본 발명의 실시예에 따르면, 각 픽셀(132)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.

제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.

제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.

이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 TOF 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 ToF 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다.

다시 도 2를 참조하면, 영상 제어부(140)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리를 계산한다.

구체적으로, 영상 제어부(140)는 전기신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.

상기에서 살펴본 바와 같이, 출력광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 영상 제어부(140)는 아래의 수학식 1을 이용하여 출력광 신호와 입력광 신호 사이의 위상차(t_d)를 계산할 수 있다.

여기서, Q₁ 내지 Q₄는 4개의 전기 신호 각각의 전하 충전량이다. Q₁은 출력광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q₂는 출력광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q₃는 출력광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q₄는 출력광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.

그러면, 영상 제어부(140)는 출력광 신호와 입력광 신호의 위상차를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 영상 제어부(140)는 아래의 수학식 2를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리(d)를 계산할 수 있다.

여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.

본 발명의 실시예에 따르면, ToF 카메라 모듈(100)로부터 ToF IR 영상 및 깊이(depth) 영상을 얻을 수 있다.

이와 관련하여 더욱 구체적으로 설명하면, 도 6에 예시된 바와 같이 본 발명의 실시예에 따른 ToF 카메라 모듈(100)로부터 4개의 위상에 대한 로우(raw) 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상등과 혼용될 수 있다.

도 6의 4 개의 위상 영상을 이용하여 수학식 3과 같이 연산하면, 도 7의 ToF IR 영상인 앰플리튜드 영상(amplitude image)을 얻을 수 있다.

여기서, Raw(x₀)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₉₀)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x₁₈₀)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₂₇₀)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.

또는, 도 6의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.

이와 같이, ToF IR 영상은 4 개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성되는 영상으로, 이러한 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.

본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 7에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.

한편, 도 6의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 8의 깊이 영상도 얻을 수 있다.

도 9는 본 발명의 한 실시예에 따른 영상 처리 시스템에 포함되는 영상 처리 장치의 블록도이다.

도 9를 참조하면, 영상 처리 장치(300)는 RGB 카메라(200)로부터 RGB 영상을 획득하는 RGB 영상 획득부(310), ToF 카메라(100)로부터 TOF 영상을 획득하는 TOF 영상 획득부(320), RGB 영상을 전처리하는 RGB 영상 전처리부(330), TOF 영상을 전처리하는 TOF 영상 전처리부(340) 및 RGB 영상 전처리부(330)와 TOF 영상 전처리부(340)에서 전처리된 영상을 이용하여 3차원 영상을 획득하는 영상 처리부(350)를 포함한다. 전술한 바와 같이, ToF 카메라(100)로부터 얻어질 수 있는 TOF 영상은 ToF IR 영상 및 깊이 영상일 수 있다. 영상 처리부(350)는 RGB 영상 및 깊이 영상을 정합하고 렌더링하여 컬러 정보 및 깊이 정보를 모두 포함하는 3차원 컬러 영상을 생성할 수 있다.

한편, 본 발명의 실시예에 따르면, 영상 처리 장치(300)는 ToF 카메라(100)로부터 획득한 ToF IR 영상을 이용하여 낮은 조도 환경에서 RGB 카메라(200)에 의하여 촬영된 RGB 영상의 화질을 개선할 수 있다.

도 10은 본 발명의 한 실시예에 따른 영상 처리 장치의 영상 처리 방법을 설명하는 도면이고, 도 11은 본 발명의 다른 실시예에 따른 영상 처리 장치의 영상 처리 방법을 설명하는 도면이다. 도 12는 본 발명의 한 실시예에 따른 영상 처리 장치의 RGB 영상 전처리 방법을 설명하는 도면이고, 도 13은 본 발명의 한 실시예에 따른 영상 처리 장치의 ToF IR 영상 전처리 방법을 설명하는 도면이며, 도 14는 본 발명의 한 실시예에 따른 영상 처리 장치의 RGB 영상과 ToF IR 영상의 정합 방법을 설명하는 도면이다.

도 10을 참조하면, 영상 처리 장치(300)는 RGB 카메라(200)로부터 RGB 영상을 획득한다(S1000). 이하, 본 명세서에서, RGB 카메라(200)로부터 획득된 후 전처리되기 전 RGB 영상을 제1 RGB 영상이라 지칭할 수 있다.

RGB 영상 전처리부(330)는 색상 채널 변환을 통하여 제1 RGB 영상을 제1 HSV 영상으로 변환한다(S1010). 여기서, RGB 영상은 빨강(Red), 초록(Green), 파랑(Blue)의 세 가지 성분의 조합으로 나타낸 데이터를 의미하고, HSV 영상은 색조(Hue), 채도(Saturation), 명도(Value)의 세 가지 성분의 조합으로 나타낸 데이터를 의미할 수 있다. 여기서, 색조(Hue)와 채도(Saturation)는 색상 정보를 가지고 있고, 명도(Value)는 밝기 정보를 가질 수 있다.

그리고, RGB 영상 전처리부(330)는 제1 HSV 영상의 색조 성분(H), 채도 성분(S) 및 명도 성분(V) 중 명도 성분(V)을 반사 성분과 조명 성분으로 분리하여 반사 성분을 추출한다(S1020). 여기서, 반사 성분은 고주파 성분을 포함할 수 있고, 조명 성분은 저주파 성분을 포함할 수 있으며, 이하 반사 성분을 추출하기 위하여 명도 성분(V)을 저주파 성분과 고주파 성분으로 분리한 후 이로부터 고주파 성분을 분리하는 것을 예로 들어 설명하나, 이로 제한되는 것은 아니다. 반사 성분, 예를 들어 고주파 성분은 영상의 그래디언트(gradient) 정보 또는 에지(edge) 정보를 포함하고, 조명 성분, 예를 들어 저주파 성분은 영상의 밝기 정보를 포함할 수 있다.

이를 위하여, 도 12를 참조하면, RGB 영상 전처리부(330)는 입력(I)인 제1 HSV 영상의 명도 성분(V)에 대하여 저주파 통과 필터링을 수행하여, 저주파 성분(L)을 획득한다(S1200). 입력(I)에 대하여 저주파 통과 필터링을 수행하면, 블러(blur)되어 그래디언트 정보 또는 에지 정보가 손실될 수 있다. 그리고, 입력(I)으로부터 저주파 성분(L)을 제거하는 연산을 통해 제1 HSV 영상의 명도 성분에 대한 고주파 성분(R)을 획득한다(S1210). 이를 위하여, 입력(I)과 저주파 성분(L)이 연산될 수 있다. 예를 들어, 입력(I)에서 저주파 성분(L)을 빼는 연산이 수행될 수 있다.

한편, 영상 처리 장치(300)는 ToF 카메라(100)로부터 ToF IR 영상을 획득한다(S1030). 여기서, ToF IR 영상은 0°, 90°, 180°및 270°의 4개의 위상에 대한 IR 이미지로부터 생성된 앰플리튜드(amplitude) 영상 또는 인텐시티(Intensity) 영상일 수 있다. 앰플리튜드 영상은 도 6 내지 도 7의 설명과 수학식 3 및 4와 같이 생성될 수 있다.

이때, 도 11을 참조하면, ToF IR 영상은 ToF 영상 전처리부(340)에 의하여 전처리될 수도 있다(S1100). 예를 들어, 도 13을 참조하면, ToF IR 영상은 제1 RGB 영상과 크기가 상이할 수 있으며, 일반적으로는 ToF IR 영상은 제1 RGB 영상보다 작을 수 있다. 이에 따라, ToF 영상 전처리부(340)는 ToF IR 영상에 보간(interpolation)을 수행하여 ToF IR 영상의 크기를 제1 RGB 영상의 크기로 확대할 수 있다(S1300). 이와 같은 보간 과정에서 영상이 왜곡될 수 있으므로, ToF 영상 전처리부(340)는 ToF IR 영상의 밝기를 보정할 수 있다(S1310).

다시 도 10을 참조하면, 영상 처리부(350)는 제1 HSV 영상의 명도 성분에 대한 반사 성분, 예를 들어 고주파 성분과 ToF IR 영상을 이용하여 제2 HSV 영상의 명도 성분(V')을 획득한다(S1040). 구체적으로, 도 14에 도시된 바와 같이, 제1 HSV 영상의 명도 성분에 대한 반사 성분, 예를 들어 고주파 성분과 ToF IR 영상이 정합될 수 있다(S1400). 여기서, ToF IR 영상을 이용하여 모델링된 조명 성분과 반사 성분을 병합하여 밝기가 개선된 영상을 획득하기 위한 연산이 이용될 수 있으며, 이는 단계 S1210에서 입력 영상(I)으로부터 저주파 성분(L)을 제거하기 위하여 사용된 연산과 반대되는 연산일 수 있다. 예를 들어, 단계 S1400에서는 제1 HSV 영상의 명도 성분에 대한 반사 성분, 예를 들어 고주파 성분과 ToF IR 영상이 더해지는 연산이 수행될 수 있다. 이와 같이, 제1 HSV 영상의 명도 성분에 대한 조명 성분, 예를 들어 저주파 성분을 제거한 후, 제1 HSV 영상의 명도 성분에 대한 반사 성분, 예를 들어 고주파 성분과 ToF IR 영상을 연산하면, 저조도 환경에서 촬영된 RGB 영상의 밝기가 개선될 수 있다.

이후, 영상 처리 장치(300)는 단계 S1040에서 획득된 명도 성분(V')과 단계 S1010에서 획득된 색조 성분(H) 및 채도 성분(S)을 이용하여 색상 채널 변환을 통하여 제2 RGB 영상을 생성한다(S1050). HSV 영상 중 색조 성분(H)과 채도 성분(S)은 색상 정보를 가질 수 있고, 명도 성분(V)은 밝기 정보를 가질 수 있다. 본 발명의 실시예와 같이, 명도 성분(V)의 반사 성분만을 ToF IR 영상과 연산한 값(V')과, 색조 성분(H) 및 채도 성분(S)은 단계 S1010에서 획득된 대로 이용하면, 색상의 왜곡 없이 저조도 환경에서의 밝기만 개선할 수 있다.

도 15는 본 발명의 한 실시예에 따른 영상 처리 방법의 화질 개선 원리를 보다 구체적으로 설명하는 도면이고, 도 16은 본 발명의 한 실시예에 따른 영상 처리 방법의 화질 개선 효과를 설명하는 도면이다.

도 15를 참조하면, 입력 영상은 반사 성분과 조명 성분의 곱으로 이루어질 수 있으며, 반사 성분은 고주파 성분으로 이루어져 있고, 조명 성분은 저주파 성분으로 이루어질 수 있으며, 영상의 밝기는 조명 성분에 의하여 영향을 받을 수 있다. 다만, 저조도 환경에서 촬영된 RGB 영상으로부터 조명 성분, 즉 저주파 성분을 제거할 경우 RGB 영상의 밝기 값이 지나치게 높아질 수 있다. 본 발명의 실시예에서는, 이러한 점을 보완하기 위하여 조명 성분, 즉 저주파 성분이 제거된 RGB 영상의 명도 성분에 ToF IR 영상을 정합함으로써 결과적으로 저조도 환경에서 화질이 개선된 RGB 영상을 얻을 수 있다.

도 16을 참조하면, 도 16(a)는 저조도 환경에서 촬영된 RGB 영상이고, 도 16(b)는 ToF IR 영상이며, 도 16(c)는 본 발명의 실시예에 따라 처리된 RGB 영상이고, 도 16(d)는 안개 제거 기법에 의하여 처리된 RGB 영상이며, 도 16(e)는 variational retinex model을 비용 함수로 이용하여 최적화를 수행하는 기법에 의하여 처리된 RGB 영상이다. 도 16을 참조하면, 본 발명의 실시예에 따라 처리된 도 16(c)에서 가장 우수한 화질을 얻을 수 있음을 알 수 있다.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

영상 처리 장치의 영상 처리 방법에 있어서,
RGB 카메라를 이용하여 제1 RGB 영상을 획득하는 단계,
상기 제1 RGB 영상으로부터 반사 성분을 추출하는 단계,
ToF 카메라를 이용하여 TOF IR 영상을 획득하는 단계, 그리고
상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하여 제2 RGB 영상을 획득하는 단계를 포함하고,
상기 TOF IR 영상은 4개의 위상에 대한 IR 이미지로부터 생성된 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상인 영상 처리 방법.
제1항에 있어서,
상기 반사 성분을 추출하는 단계는,
상기 제1 RGB 영상을 제1 HSV 영상으로 변환하는 단계, 그리고
상기 제1 HSV 영상의 명도 성분으로부터 상기 반사 성분을 획득하는 단계
를 포함하는 영상 처리 방법.
제2항에 있어서,
상기 반사 성분은 상기 제1 HSV 영상의 명도 성분의 고주파 성분을 포함하는 영상 처리 방법.
제3항에 있어서,
상기 반사 성분을 획득하는 단계는,
상기 제1 HSV 영상의 명도 성분에 대하여 저주파 통과 필터링을 수행하는 단계,
상기 제1 HSV 영상의 명도 성분으로부터 저주파 성분을 획득하는 단계, 그리고
상기 제1 HSV 영상의 명도 성분으로부터 상기 저주파 성분을 제거하는 단계
를 포함하는 영상 처리 방법.
제3항에 있어서,
상기 제2 RGB 영상을 획득하는 단계는,
상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하는 단계, 그리고
상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하여 얻은 결과 값 및 상기 제1 HSV 영상의 색조 성분과 채도 성분을 이용하여 제2 RGB 영상을 획득하는 단계
를 포함하는 영상 처리 방법.
제1항에 있어서,
상기 ToF 카메라를 이용하여 TOF IR 영상을 획득하는 단계 이후, 상기 제2 RGB 영상을 획득하는 단계 사이에 상기 TOF IR 영상을 보정하는 단계를 더 포함하는 영상 처리 방법.
제6항에 있어서,
상기 TOF IR 영상을 보정하는 단계는,
상기 TOF IR 영상을 상기 제1 RGB 영상과 같은 크기로 보간하는 단계, 그리고
상기 TOF IR 영상의 밝기를 보정하는 단계
를 포함하는 영상 처리 방법.
RGB 카메라로부터 제1 RGB 영상을 획득하는 RGB 영상 획득부,
상기 제1 RGB 영상으로부터 반사 성분을 추출하는 RGB 영상 전처리부,
ToF 카메라로부터 TOF IR 영상을 획득하는 TOF 영상 획득부, 그리고
상기 제1 RGB 영상의 상기 반사 성분과 및 상기 TOF IR 영상을 연산하여 제2 RGB 영상을 획득하는 영상 처리부를 포함하고,
상기 TOF IR 영상은 4개의 위상에 대한 IR 이미지로부터 생성된 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상인 영상 처리 장치.
제8항에 있어서,
상기 RGB 영상 전처리부는,
상기 제1 RGB 영상을 제1 HSV 영상으로 변환한 후, 상기 제1 HSV 영상의 명도 성분으로부터 상기 반사 성분을 획득하는 영상 처리 장치.
제9항에 있어서,
상기 반사 성분은 상기 제1 HSV 영상의 명도 성분의 고주파 성분을 포함하는 영상 처리 장치.
제10항에 있어서,
상기 RGB 영상 전처리부는,
상기 제1 HSV 영상의 명도 성분에 대하여 저주파 통과 필터링을 수행하고, 상기 제1 HSV 영상의 명도 성분으로부터 저주파 성분을 획득하며, 상기 제1 HSV 영상의 명도 성분으로부터 상기 저주파 성분을 제거하는 영상 처리 장치.
제9항에 있어서,
상기 영상 처리부는
상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하고,
상기 제1 RGB 영상의 상기 반사 성분과 상기 TOF IR 영상을 연산하여 얻은 결과 값 및 상기 제1 HSV 영상의 색조 성분과 채도 성분을 이용하여 제2 RGB 영상을 획득하는 영상 처리 장치.
제8항에 있어서,
상기 TOF IR 영상을 상기 제1 RGB 영상의 상기 반사 성분과 연산하기 전에, 상기 TOF IR 영상을 보정하는 TOF 영상 전처리부를 더 포함하는 영상 처리 장치.
제13항에 있어서,
상기 TOF 영상 전처리부는,
상기 TOF IR 영상을 상기 제1 RGB 영상과 같은 크기로 보간하고, 상기 TOF IR 영상의 밝기를 보정하는 영상 처리 장치.