KR20080081702A - 실시간 영상 처리 장치 및 방법 - Google Patents

Abstract

실시간 영상 처리 장치가 개시된다. 실시간 영상 처리 장치는 피사체에 상응하여 입력되는 RGB 데이터를 각 픽셀들에 상응하는 HSV 데이터로 변환하여 출력하는 RGB to HSV 변환부-여기서 상기 HSV 데이터는 H 데이터, S 데이터 및 V 데이터를 포함함-; 상기 V 데이터가 미리 설정된 임계값보다 작은 경우 상기 H 데이터와 S 데이터 중 하나 이상을 보정하여 출력 HSV 데이터를 생성하는 HSV 영상 처리부-여기서 상기 출력 HSV 데이터는 출력 H 데이터, 출력 S 데이터 및 출력 V 데이터를 포함함-; 및 상기 출력 HSV 데이터를 RGB 변환하여 출력 RGB 데이터를 출력하는 HSV to RGB 변환부를 포함한다. 이에 의하면 프리뷰 영상의 화질을 개선할 수 있다.

영상 처리, 실시간, RGB, HSV.

Description

실시간 영상 처리 장치 및 방법{Device and Method of Realtime Image Processing}

도 1은 종래 기술에 의한 영상 처리 장치의 구조도.

도 2는 RGB 모델에 의한 색공간을 나타낸 도면 .

도 3은 HSV 모델에 의한 색공간을 나타낸 도면.

도 4는 본 발명의 일 실시예에 따른 실시간 영상 처리 장치의 구조를 나타낸 도면.

도 5는 본 발명의 일 실시예에 의한 HSV 영상 처리부를 나타낸 도면.

도 6은 본 발명에 의한 V 데이터 판별부의 동작을 나타내는 그래프.

도 7은 본 발명의 일 실시예에 의한 V 데이터 처리를 도시한 그래프.

도 8은 본 발명의 일 실시예에 따른 실시간 영상 처리 방법의 흐름도.

도 9는 본 발명의 다른 실시예에 의한 HSV 색공간을 이용한 실시간 영상 처리 방법의 흐름도.

도 10은 본 발명의 또 다른 실시예에 의한 HSV 색공간을 이용한 실시간 영상 처리 방법의 흐름도.

도 11은 본 발명의 또 다른 실시예에 따른 실시간 영상 처리 방법을 나타낸 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

400 : 실시간 영상 처리 장치

410 : HSV 색공간 처리부

420 : RGB to HSV 변환부

430 : HSV 영상 처리부

432 : H 데이터 처리부

434 : S 데이터 처리부

436 : V 데이터 판별부

438 : V 데이터 처리부

440 : HSV to RGB 변환부

본 발명은 실시간 영상 처리 장치에 관한 것으로 보다 상세하게는 HSV 색공간을 이용한 실시간 영상 처리 장치에 관련된다.

도 1은 종래 기술에 의한 영상 처리 장치(100)의 구조도이다. 특히 종래 기술에 의한 기존 카메라 시스템의 실시간 영상 처리 장치의 구조를 나타낸 것으로, 영상 센서(sensor)부(110)에서 계속적으로 출력되는 센서 데이터는 영상 처리 장치(100)에 입력된다. 영상 처리 장치(100)는 영상 센서부(110)로부터 입력받은 센 서 데이터들을 이용하여 최종적으로는 보정 Y 데이터(보정 휘도 신호)와 보정 C 데이터(보정 색 신호)를 출력한다.

도 1에 도시된 기존의 영상 처리 장치(100)의 내부 동작은 다음과 같다.

우선, 센서 데이터 보간부(120)는 센서 데이터를 이용하여 각 픽셀(Pixel)에서의 R(Red)· G(Green)· B(Blue) 데이터를 생성 또는 획득한다. 생성된 RGB 데이터는 RGB 색공간에서의 영상 처리를 위한 RGB 데이터 처리부(130)를 거치면서 보정이 가해진다. 보정된 RGB 데이터는 출력 R 데이터, 출력 G 데이터, 출력 B 데이터로 구성된다.

출력 R 데이터, 출력 G 데이터 및 출력 B 데이터는 각각 RGB to YC 변환부(140)에서 휘도 신호(Y 데이터)와, 색 신호(C 데이터)로 변환되어 색공간이 바뀐다.

YC 색공간으로 변환된 YC 데이터는 YC 데이터 처리부(150)에서 YC 색공간에서 의 센서 데이터 보정이 가해진 후 최종 출력을 위한 보정 휘도 신호(보정 Y 데이터), 보정 색 신호(보정 C 데이터)로 출력된다.

이상과 같은 기존의 실시간 영상 처리 장치(100)는 센서(Sensor)의 입력에 의해 RGB 데이터를 생성시키는 센서 데이터 보간부(120)와 RGB 데이터(본 예에서는 보정된 RGB 데이터임)를 다시 휘도 신호(Y 데이터)와 색 신호(C 데이터)로 변환하는 YC 데이터 처리부(150)를 포함한다. 그리고 각 색공간에서 센서 데이터의 처리부가 영상에 대한 보정을 하여 최적의 영상 신호가 출력된다.

기존의 실시간 영상 처리 장치는 위의 설명과 같이 센서 데이터를 RGB 색공 간 및 YC 색공간에서 영상 처리를 하였다. 따라서 HSV 색공간이 인간의 눈과 가장 흡사한 색공간임에도, 이를 영상 처리에 이용하지 못하였다. 또한 HSV 색공간에 의한 영상 처리를 하기 위해서는 데이터 저장장소가 필요하여 프리뷰 영상의 실시간 처리에 HSV 색공간을 이용하기가 어려웠다.

본 발명은 실시간 영상 처리에 있어 HSV 색공간을 이용하는 장치를 제공하기 위한 것이다.

또한 본 발명은 기존 실시간 영상 처리 장치에서 사용을 하지 않던 HSV 색공간에서의 처리를 수행하게 함으로써 기존의 RGB, YC 색공간으로 제한이 있었던 영상 처리의 폭을 넓힐 수 있는 실시간 영상 처리 장치를 제공하기 위한 것이다.

또한 본 발명은 프리뷰 영상에 대해 HSV 색공간에 의한 실시간 영상 처리를 함으로써 프리뷰 영상의 화질을 개선하기 위한 것이다.

본 발명의 일 실시예에 의하면 피사체에 상응하여 입력되는 RGB 데이터를 각 픽셀들에 상응하는 HSV 데이터로 변환하여 출력하는 RGB to HSV 변환부-여기서 상기 HSV 데이터는 H 데이터, S 데이터 및 V 데이터를 포함함-; 상기 V 데이터가 미리 설정된 임계값보다 작은 경우 상기 H 데이터와 S 데이터 중 하나 이상을 보정하여 출력 HSV 데이터를 생성하는 HSV 영상 처리부-여기서 상기 출력 HSV 데이터는 출력 H 데이터, 출력 S 데이터 및 출력 V 데이터를 포함함-; 및 상기 출력 HSV 데이터를 RGB 변환하여 출력 RGB 데이터를 출력하는 HSV to RGB 변환부를 포함하는 실시간 영상 처리 장치가 제공된다.

본 발명의 다른 실시예에 의하면 상기 출력 RGB 데이터는 프리뷰 영상으로 표시부를 통해 디스플레이되기 위해 처리될 정보인 것을 특징으로 하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 피사체에 상응하는 센서 데이터를 생성하는 영상 센서부; 상기 영상 센서부로부터 입력 받은 상기 센서 데이터를 이용하여 상기 RGB 데이터를 생성하는 센서 데이터 보간부; 및 상기 출력 RGB 데이터를 YC 데이터로 변환하여 출력하는 RGB to YC 변환부를 더 포함하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 HSV 영상 처리부는, 상기 V 데이터 중 최저값을 갖는 최저 V 데이터를 제1값으로 보정하고, 상기 최저 V 데이터를 기준으로 나머지 V 데이터들의 값의 간격들이 이전 간격들에 상응하여 넓혀지도록 보정하는 V 데이터 처리부-여기서 제1값은 0보다 크거나 같고 상기 출력 V 데이터 중 가장 작은 값임-를 포함하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 HSV 영상 처리부는, 상기 V 데이터 중 최고값을 갖는 최고 V 데이터를 제2값으로 보정하고, 상기 최고 V 데이터 및 최저값을 갖는 V 데이터를 제외한 나머지 V 데이터들의 값도 보정하여 상기 V 데이터들 간의 간격들을 이전 간격들에 상응하여 넓히는 V 데이터 처리부-여기서 상기 제 2값은 (2^n-1)보다 작거나 같은 값이며, n은 상기 영상의 비트수임-를 포함하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 HSV 영상 처리부는 상기 V 데이터를 상기 임계값과 대소 비교하고, 상기 대소 비교 결과 상기 V 데이터가 상기 임계값보다 작은 경우 데이터 보정 신호를 출력하는 V 데이터 판별부를 포함하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 HSV 영상 처리부는 상기 데이터 보정 신호가 출력되는 경우, 상기 H 데이터의 값과 상기 H 데이터에 상응하는 픽셀의 수직 또는 수평 방향으로 인접하는 픽셀에 상응하는 H 데이터 값을 평균하고, 상기 평균한 값을 데이터 값으로 가지는 출력 H 데이터를 생성하는 H 데이터 처리부를 더 포함하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 HSV 영상 처리부는 상기 데이터 보정 신호가 출력되지 않는 경우, 입력받은 H 데이터를 그대로 출력 H 데이터로 생성하는 H 데이터 처리부를 더 포함하는 것을 특징으로 하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 V 데이터 판별부는 상기 S 데이터를 보정하기 위한 S 데이터 억제 게인을 더 출력하는 것을 특징으로 하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 V 데이터 값이 상기 임계값보다 작은 경우 상기 S 데이터 억제 게인은 0보다 크고 1 보다 작은 값을 가지고, 상기 V 데이터 값이 상기 임계값보다 큰 경우 상기 S 데이터 억제 게인은 1의 값을 가지는 것을 특징으로 하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 HSV 영상 처리부는 상기 S 데이터에 상기 S 데이터 억제 게인을 곱하여 상기 출력 S 데이터를 생성하는 S 데이터 처리부를 포함하는 실시간 영상 처리 장치가 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 HSV 영상 처리부는 상기 데이터 보정 신호가 출력되지 않는 경우, 상기 S 데이터를 상기 출력 S 데이터로서 출력하는 S 데이터 처리부를 포함하는 것을 특징으로 하는 실시간 영상 처리 장치가 제공된다.

또한 본 발명의 일 실시예에 의하면 (a) 피사체에 상응하여 입력되는 상기 RGB 데이터를 각 픽셀들에 상응하는 HSV 데이터로 변환하여 출력하는 단계-여기서 상기 HSV 데이터는 H 데이터, S 데이터 및 V 데이터를 포함함-; (b) 상기 V 데이터가 미리 설정된 임계값보다 작은 경우 상기 H 데이터와 S 데이터 중 하나 이상을 보정하여 출력 HSV 데이터를 생성하는 단계-여기서 상기 출력 HSV 데이터는 출력 H 데이터, 출력 S 데이터 및 출력 V 데이터를 포함함-; 및 (c) 상기 출력 HSV 데이터를 RGB 변환하여 출력 RGB 데이터를 출력하는 단계를 포함하는 실시간 영상 처리 방법이 제공된다.

본 발명의 다른 실시예에 의하면 상기 출력 RGB 데이터는 프리뷰 영상으로 표시부를 통해 디스플레이되기 위해 처리될 정보인 것을 특징으로 하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 피사체에 상응하는 센서 데이터를 생성하는 단계를 상기 (a) 단계 이전에 포함하며, 상기 영상 센서부로부터 입력 받은 상기 센서 데이터를 이용하여 상기 RGB 데이터를 생성하는 단계; 및 상기 출력 RGB 데이터를 YC 데이터로 변환하여 출력하는 단계를 상기 (c) 단계 이후에 더 포함하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b) 단계는 상기 V 데이터 중 최저값을 갖는 최저 V 데이터를 제1값으로 보정하고, 상기 최저 V 데이터를 기준으로 나머지 V 데이터들의 값의 간격들이 이전 간격들에 상응하여 넓혀지도록 보정하는 단계-여기서 제1값은 0보다 크거나 같고 상기 출력 V 데이터 중 가장 작은 값임-를 포함하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b) 단계는 상기 V 데이터 중 최고값을 갖는 최고 V 데이터를 제2값으로 보정하고, 상기 최고 V 데이터 및 최저값을 갖는 V 데이터를 제외한 나머지 V 데이터들의 값도 보정하여 상기 V 데이터들 간의 간격들을 이전 간격들에 상응하여 넓히는 단계-여기서 상기 제2값은 2^n -1보다 작거나 같은 값이며, n은 상기 영상의 비트수임-를 포함하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b) 단계는 (b1) 상기 V 데이터를 상기 임계값과 대소 비교하고, 상기 대소 비교 결과 상기 V 데이터가 상기 임계값보다 작은 경우 데이터 보정 신호를 출력하는 단계를 포함하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b) 단계는 상기 데이터 보정 신호가 출력되는 경우, 상기 H 데이터의 값과 상기 H 데이터에 상응하는 픽셀의 수직 또는 수평 방향으로 인접하는 픽셀에 상응하는 H 데이터 값을 평균하여, 상기 평균한 값을 데이터 값으로 가지는 출력 H 데이터를 생성하는 단계를 더 포함하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b) 단계는 상기 데이터 보정 신호가 출력되지 않는 경우, 입력받은 H 데이터를 그대로 출력 H 데이터로 생성하는 단계를 더 포함하는 것을 특징으로 하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b1) 단계는 (b2) 상기 S 데이터를 보정하기 위한 S 데이터 억제 게인을 더 출력하는 단계를 더 포함하는 것을 특징으로 하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b2) 단계는 상기 V 데이터 값이 상기 임계값보다 작은 경우 상기 S 데이터 억제 게인은 1 미만의 값을 가지고, 상기 V 데이터 값이 상기 임계값보다 큰 경우 상기 S 데이터 억제 게인은 1의 값을 가지는 것을 특징으로 하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b) 단계는 상기 S 데이터에 상기 S 데이터 억제 게인을 곱하여 상기 출력 S 데이터를 생성하는 단계를 포함하는 실시간 영상 처리 방법이 제공된다.

본 발명의 또 다른 실시예에 의하면 상기 (b) 단계는 상기 데이터 보정 신호가 출력되지 않는 경우, 상기 S 데이터를 상기 출력 S 데이터로서 출력하는 단계를 포함하는 것을 특징으로 하는 실시간 영상 처리 방법이 제공된다.

또한 본 발명의 일 실시예에 의하면 영상 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 영상 처리 장치에 의해 판독될 수 있는 기록 매체로서, 본 발명의 실시예에 따른 실시간 영상 처리 방법을 수행하는 프로그램이 기록된 기록 매체가 제공된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르 게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하는" 또는 "탑재된" "장착된" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

이하, 본 발명에 따른 실시간 영상 처리 장치의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다.

실시간 영상 처리는 이미지 센서가 피사체를 촬상하고 있는 센서 데이터를 메모리 등의 저장 매체에 저장하기 이전에 LCD 등의 디스플레이부를 통해 표시하는 경우, 이미지 센서에서 촬상된 피사체의 이미지가 디스플레이부를 통해 표시되기까 지의 과정 동안에 센서 데이터가 실시간(realtime)으로 처리되는 과정을 의미한다. 본 명세서에서의 실시간 영상 처리는 저장된 영상의 디스플레이를 위한 센서 데이터 처리를 포함한다. 또한 영상의 촬영 등 캡쳐 동작 이전에 디스플레이부를 통해 보여지는 영상인 프리뷰 영상에 대한 처리 역시 본 발명에서의 실시간 영상 처리에 포함된다.

도 2는 RGB 모델에 의한 색공간을 나타낸 도면이고, 도 3은 HSV 모델에 의한 색공간을 나타낸 도면이다.

센서 데이터의 컬러를 분류하고, 색조, 밝기, 명암 등의 속성에 따라 영상의 특성을 구분하기 위해, RGB, CMY, HSV, CIE 등의 다양한 컬러 모델들이 사용되고 있다.

이들 중 RGB 모델은, 빛의 삼원색, 즉, 적색, 녹색, 청색이 기본이 되는 컬러 모델로서, 여러 색의 빛을 더하면 흰색이 되는 성질을 이용하여 색을 구성한다. 이는 기본 색을 더하여 새로운 컬러를 만들어 내기 때문에, 가산 모델(additive model)이라 불리기도 한다.

RGB 모델은 CRT(cathode-ray tube), LCD(liquid crystal display) 모니터와 같이 빛으로 컬러를 표현하는 데 사용된다. 그리고, HSV 모델은 인간의 시각 모델과 가장 흡사한 컬러 모델로서, 인간의 직관적인 시각에 기초를 둔다.

HSV 모델은 그래픽에서 색상(Hue), 채도(Saturation) 그리고 명암(Value)의 세 가지 형태로 색상을 표시하는 컬러 모델을 말한다. 디스플레이 기기에서 보여지는 색(color)은 위 세 가지의 특성을 나타내는 데이터로 표현될 수 있다.

여기서 빛의 강도(intensity) 또는 진폭(amplitude)을 나타내는 명도(Brightness)는 '명암'으로서 V 데이터, 빛의 주된 파장(dominant wavelength)을 나타내는 색상(Hue)은 H 데이터, 그리고 빛의 순도(purity) 또는 대역폭(band width)을 나타내는 색농도(Saturation)는 '채도'로서 S 데이터로 표시된다.

RGB 모델에 의한 색공간을 RGB 색공간이라 지칭하고, RGB 색공간에 의해 디스플레이되는 영상을 RGB 영상이라 지칭하기로 한다. 또한 RGB 모델에 의한 영상 데이터는 RGB 데이터이다. 마찬가지로, HSV 모델에 의한 색공간을 HSV 색공간이라 하며, HSV 색공간에 의해 디스플레이되는 영상을 HSV 영상이라 한다. 그리고 HSV 모델에 의한 영상 데이터는 HSV 데이터이다.

HSV 색공간에 의한 색의 표현은 인간의 색에 대한 감각과 비교적 일치하는 모형이다. 도 3에 도시된 바와 같이, HSV 모델에 의한 색공간에서는 Red, Yellow, Green, Cyan, Blue, Magenta의 여섯 색상이 기본색으로써 원주상에 60도 간격으로 배치된다. 이들을 등간격으로 분할한 색의 합성으로 인접 기본색이 만들어 지고, 전체의 원주가 완성된다. 이를 색상환이라 한다.

색상환에서의 위치는 색상(Hue)의 H 데이터 값으로 정해진다. 한편 특정 색의 채도(Saturation)를 나타내는 S 데이터 값이 큰 값을 가질수록 그 색은 순수한 색이 된다. 또한 S 데이터가 0의 값을 가지는 색은 색도에서의 중심의 흰색에 대응된다. 밝기(Value)는 명도라 한다. 순수하고 가장 밝은 빨강색은 H 데이터 값이 0(도), S 데이터 값이 1, V 데이터 값이 1이고, 녹색의 경우 H 데이터 값이 120(도), S 데이터 값이 1, V 데이터 값이 1이다.

RGB 영상이 HSV 영상으로 변환됨으로써, RGB 영상에서 알 수 없었던 색상(Hue) 및 채도(Saturation) 정보의 검출과, 이를 이용한 컬러 조절이 수행될 수 있다.

도 4는 본 발명의 일 실시예에 따른 실시간 영상 처리 장치(400)의 구조를 나타낸 도면이다.

일 실시예에 따른 실시간 영상 처리 장치(400)는 기존의 영상 처리 장치에서 RGB 데이터 처리부(130)와 RGB to YC 변환부(140) 사이에 HSV 색공간 처리부(410)가 추가되는 구조를 가질 수 있다. 이 경우, HSV 색공간 처리부(410)는 RGB 데이터 처리부(130)로부터 보정을 거친 RGB 데이터를 입력받아 이를 HSV 데이터로 변환하게 된다. 이 경우에, RGB to YC 변환부(140)는 HSV 색공간 처리부(410)를 거친 RGB 데이터를 다시 보정하여 YC 데이터로 변환할 수 있다. RGB to YC 변환부(140)가 HSV 색공간 처리부(410)를 거친 RGB 데이터를 다시 보정할 것인지 여부는 실시예에 따라 달라질 수 있다.

다른 실시예에 따르면 HSV 색공간 처리부(410)가 센서 데이터 보간부(120)와 RGB 데이터 처리부(130)의 사이에 추가되는 구조를 가질 수 있다. RGB 데이터 처리부(130)와 RGB to YC 변환부(140)사이에 추가되는 구조를 가지는 경우와의 차이점은 다음과 같다.

HSV 색공간 처리부(410)는 RGB 데이터 처리부(130)로부터 센서 데이터로부터 획득하여 보정을 치지 않은 RGB 데이터를 입력받아 이를 HSV 데이터로 변환하게 된 다. 그리고 HSV 색공간 처리부를 거친 이후에 RGB 데이터는 보정을 화질 개선 등을 위한 보정을 거치게 된다.

이하에서는 발명의 이해와 설명의 편의를 위해 HSV 색공간 처리부(410)가 RGB 데이터 처리부(130)와 RGB to YC 변환부(140)에 배치되는 실시예를 중심으로 설명하기로 한다. 또한, R 데이터, G 데이터, B 데이터를 통칭하는 경우 RGB 데이터라 하고, H 데이터, S 데이터, V 데이터를 통칭하는 경우 HSV 데이터라 하기로 한다.

HSV 색공간 처리부(410)는 RGB to HSV 변환부(420), HSV 영상 처리부(430)와 HSV to RGB 변환부(440)를 포함한다.

HSV 색공간은 앞서 설명한 것과 같이 사람의 눈에 가장 유사한 색공간이라는 장점을 가진다. 따라서 HSV 색공간은 주로 정지 영상의 분석과 분석을 통한 응용에 많이 사용된다. 즉 HSV 색공간은 주로 기록 매체 수단에 저장된 센서 데이터를 대상으로 영상 처리를 하는 경우에 이용되었다.

그러나 도 4에 도시된 실시예에서는, 실시간 영상 처리에 있어서도 영상 처리 장치가 HSV 각 요소에 대한 처리부를 구비함으로써 기존의 실시간 영상 처리 장치에서는 제한되었던 HSV 색공간을 이용한 영상 처리가 가능하게 되었다.

본 실시예에서는 기존의 RGB, YC 색공간을 이용한 기존의 영상 처리를 변경하지 않고 HSV 색공간 처리부(410)를 추가하고 있다. 따라서 본 발명의 실시예에 의한 실시간 영상 처리 장치(400)는 기존 실시간 영상 처리에 영향을 미치지 않고 독립적으로 HSV 색공간에 의한 영상 처리를 수행하여 보다 화질이 좋은 실시간 영 상을 얻을 수 있다.

RGB to HSV 변환부(420)는 RGB 데이터를 HSV 데이터로 변환시킨다.

RGB 데이터를 HSV 데이터로 변환하는 방법 즉, RGB 색공간에서 HSV 색공간으로의 변환 방법 중 하나를 예를 들어 설명하면 다음과 같다.

입력된 R 데이터, G 데이터, B 데이터 값 중 가장 큰 값인 max = MAX(R,G,B) 와, 입력된 R 데이터, G 데이터, B 데이터 값 중 가장 작은 값인 min = MIN(R,G,B)을 산출한다. 그리고 아래의 수식에 따라 HSV 데이터 값을 산출한다.

다만, 아래의 수식들은 RGB 데이터를 HSV 데이터로 변환하는 수식들 중 일 예에 해당할 뿐이며, 이 수식들로 인해 본 발명의 권리 범위가 제한되지 아니함은 물론이다.

[수식 1]

V = max : 입력된 R, G, B 데이터의 값 중 가장 큰 값(최고값)

[수식 2]

S = (max-min)/max : 최고값과 최저값의 차이를 최고값으로 정규화한 값

(min : 입력된 R, G, B 데이터의 값 중 가장 작은 값(최저값))

[수식 3]

H = (G-B)/(max-min)*60 if(R=max and G-B≥0)

[수식 4]

H = (G-B)/(max-min)*60+300 if(R=max and G-B<0)

[수식 5]

(4.0+(B-R)/(max-min))*60 if(G=max)

(4.0+(R-G)/(max-min))*60 if(B=max)

undefined (=gray color)if(max=min)

(단, 0≤R, G, B≤1, 0≤V≤1, 0≤S≤1, 0≤H≤360)

위의 과정을 거쳐 RGB to HSV 변환을 수행하면 직교 좌표계 형태인 RGB 색공간이 원통형의 HSV 색공간으로 변환된다. 다만, RGB 데이터를 HSV 데이터를 변환하는 것은 당업자에게 자명한 사항으로서 이미 공지된 기술인 바, 위에서 상술한 방법 이외에도 여러가지 방법에 의한 변환이 가능하고, 이것이 본 발명의 권리 범위를 한정하지 아니한다.

HSV 영상 처리부(430)는 HSV 색공간에서 영상 화질 향상을 위한 H 데이터, S 데이터, V 데이터에 대한 보정을 행한다. 그리고 그 결과 출력 H 데이터, 출력 S 데이터 및 출력 V 데이터를 생성한다.

HSV to RGB 변환부(440)는 HSV 데이터를 다시 RGB 데이터로 변환한다. HSV 데이터를 다시 RGB 데이터로 변환시키는 것은 RGB 데이터를 HSV 데이터로 변환하는 것의 역변환 과정이다. 이는 RGB 데이터를 HSV 데이터로 변환하는 것과 마찬가지로 당업자에게 자명한 사항인 바 상세한 설명은 생략한다.

도 5는 본 발명의 일 실시예에 의한 HSV 영상 처리부(430)를 나타낸 도면이다. 도 5에서는 카메라 시스템 영상 처리 장치의 내부 데이터 경로에서 사용되는 HSV 영상 처리부(430)의 구조를 예로 들어 설명한다.

HSV 영상 처리부(430)는 H 데이터를 보정하여 출력 H 데이터를 생성하는 H 데이터 처리부(432), S 데이터를 보정하여 출력 S 데이터를 생성하는 S 데이터 처리부(434), V 데이터를 보정하여 출력 V 데이터를 생성하는 V 데이터 처리부(438)를 포함한다.

또한 도면상에 도시되지는 아니하나, RGB to HSV 변환부(420)는 센서 데이터 보간부(120) 또는 RGB 데이터 처리부(130)로부터 RGB 데이터를 입력받는 RGB 데이터 입력부를 포함할 수 있다. RGB 데이터 처리부 또는 RGB 데이터 변환부가 RGB 데이터를 보정(처리) 또는 변환하려면 우선 RGB 데이터를 입력받아야 하는데, 이를 위한 구성 요소가 별도로 존재하는 경우 RGB 데이터 입력부를 더 포함할 수 있다.

또한 HSV 영상 처리부(430)는 S 데이터 처리부(434)와 H 데이터 처리부(432)의 동작 제어를 위한 V 데이터 판별부(436)를 포함한다.

H 데이터 처리부(432)와 S 데이터 처리부(434)는 저조도 상태에서 영상의 노이즈(Noise)를 제거할 수 있다. 여기서 노이즈는 색 노이즈일 수 있다. 저조도 여부는 V 데이터의 값의 크기를 기준으로 정해질 수 있다. 즉 V 데이터가 임계값 이하가 되는 경우에 영상이 저조도 상태인 것으로 판단된다. 그리고 영상이 저조도 상태인 경우 H 데이터 처리부(432)와 S 데이터 처리부(434)가 동작하도록 제어될 수 있다.

V 데이터 판별부(436)는 전술한 바와 같이 RGB to HSV 변환부(420)로부터 V 데이터를 입력받는다. 그리고 이 중 V 데이터를 임계값과 비교한다. 임계값은 영상 처리 장치 내에 미리 설정된 값이거나, 영상 처리 프로세스 도중에 입력받는 값일 수 있다. 여기서, 임계값은 제품 설계나 구현 과정에서 실험값 또는 통계값 등을 이용하여 설정될 수 있음은 자명하다. 물론, 해당 임계값은 사용자에 의해 설정 및 변경될 수 있도록 구현될 수도 있음은 자명하다.

임계값은 센서(Sensor), 즉 영상 센서부(100)의 특성에 따라서 결정한다. 즉, 저조도 환경에서도 노이즈(noise)가 없다면 V 데이터의 임계값은 0 이 될 수도 있다. 그러나 이것은 이상적인 센서의 경우이다. 현실적으로 저조도 환경에서는 노이즈가 발생하는 경우가 많다. 따라서 센서의 성능이나 그밖의 특성에 따라 임계값을 높게 책정하거나 낮게 책정할 수 있다.

H 데이터 처리부(432)는 V 데이터 판별부(436)로부터 입력받는 H 데이터 보정 신호에 따라 동작하며, H 데이터를 보정한 출력 H 데이터를 출력한다. V 값이 낮은 영역에서는 노이즈가 심한 경우가 많다. 이 때문에 노이즈를 제거하는 과정이 필요한데, H 데이터 처리부(432)가 H 데이터를 보정하여 출력 H 데이터를 생성하는 것이 노이즈 제거와 관련된다.

예컨대 H 데이터 처리부(432)는 노이즈를 억제하기 위하여 입력받은 H 데이터의 값에 그 주변의(또는 인접한) H 데이터 값를 더한 후 평균을 취하여 노이즈를 억제할 수 있다. 즉, 수평 방향의 노이즈를 억제하여야 하는 경우에는 노이즈가 발생한 픽셀과 수직 방향으로 인접한 픽셀에 상응하는 H 데이터 값들을 평균하여 출력 H 데이터를 생성한다. 또한 수직 방향의 노이즈를 억제하여야 하는 경우에는 노이즈가 발생한 픽셀과 수평 방향으로 인접한 픽셀에 상응하는 H 데이터 값들을 평균하여 출력 H 데이터를 생성할 수 있다. 수직 방향의 노이즈 제거와 수평 방향의 노이즈 제거는 모두 수행될 수 있다. 또는 미리 설정된 바에 따라 어느 방향으로 노이즈가 발생하였는지를 인식하여 그에 상응하는 노이즈만을 제거 방법에 의해 어느 한 방향의 노이즈만을 제거할 수도 있다.

그리고 S 데이터 처리부(434)는 V 데이터 판별부(436)로부터 S 데이터 보정 신호와 S 데이터 억제 게인(gain)을 입력받는다. S 데이터 억제 게인은 S 데이터를 보정하기 위해 필요한 값이다. S 데이터 처리부(434)는 입력되는 S 데이터 보정 신호에 따라 동작하며, S 데이터 값에 S 데이터 억제 게인을 곱하여 보정된 S 데이터, 즉 출력 S 데이터를 출력한다. 영상의 저조도 부분에서 V 의 크기에 따라 서로 다른 값으로 입력되는 S 데이터 억제 게인을 S 데이터에 곱해서 출력 S 데이터를 생성할 수 있다.

V 데이터 처리부(438)는 입력되는 V 데이터를 보정하여 출력 V 데이터를 생성 및 출력한다. V 데이터의 보정은 어느 특정 영역에 집중된 V 데이터 값의 범위를 넓게 확장하는 기능을 수행한다. 예를 들어 입력되는 V 데이터가 16 ~ 128 범위로 한정되어 있는 영상인 경우 입력된 V 데이터 값에 따른 출력 V 데이터 값을 조정하여 16을 0, 128을 255로 보정하고, 16 내지 128 내의 나머지 값들도 0 내지 255의 범위에 상응하는 값으로 보정할 수 있다. 이러한 보정을 거치면 출력 V 데이터에 의한 영상은 전체적으로 밝아지는 동시에 영상의 선명도 역시 개선될 수 있다.

도 6은 본 발명에 의한 V 데이터 판별부(436)의 동작을 나타내는 그래프이 다. 도 6의 그래프는 입력된 V 데이터 값에 따른 S 데이터 억제 게인의 값을 나타낸다.

도 6에는 H 데이터 처리부(432) 및/또는 S 데이터 처리부(432)의 동작 제어를 위한 V 데이터 판별부(436)의 동작이 도시되어 있다. 설정된 임계값보다 작은 V 데이터 값을 가지는 영상이 입력된 경우, V 데이터 판별부(436)는 S 데이터 처리부(434)와, H 데이터 처리부(432)가 동작하도록 데이터 보정 신호를 출력한다. 여기서, 데이터 보정 신호는 H 데이터 보정 신호 및/또는 S 데이터 보정 신호를 포함한다. 반면 임계값보다 큰 V 데이터를 가지는 입력되는 영상이 입력되는 경우, 데이터 보정 신호를 출력하지 않는다. 따라서 이 경우에는 S 데이터 처리부(434)와 H 데이터 처리부(432)가 동작하지 않으며, 입력되는 S 데이터와 H 데이터가 보정 없이 출력될 수 있다.

또한 S 데이터 억제 게인은 데이터 보정 신호(특히, S 데이터 보정 신호)가 출력되는 경우에만 함께 출력되고, 데이터 보정 신호가 출력되지 않으면 S 데이터 억제 게인은 출력되지 않을 수 있다. 이와 같이 V 데이터가 임계값보다 큰 경우, S 데이터는 보정되지 않고 그대로 출력 S 데이터로 출력될 수 있다.

또는 데이터 보정 신호가 출력되지 않는 경우, 즉 S 데이터가 보정될 필요가 없는 경우 S 데이터 억제 게인은 1일 수 있다. 1의 값을 갖는 S 데이터 억제 게인이 곱해진 출력 S 데이터는 보정되지 않은 S 데이터와 같은 값을 가지기 때문이다.

즉 데이터 보정 신호의 출력 유무에 무관하게 S 데이터 억제 게인이 출력될 수 있다. 다만, 이 경우 도 6에 도시된 바와 같이, 입력되는 V 데이터가 임계값 이 상일 때, S 데이터 억제 게인의 값은 1이 된다.

V 데이터가 임계값 이하인 경우에는 S 데이터 억제 게인은 1 미만의 값을 가진다. 따라서 출력 S 데이터 생성 시, S 데이터 처리부(434)는 입력된 S 데이터보다 작은 값을 가지는 출력 S 데이터를 생성한다. 이 때 S 데이터 억제 게인을 조절함으로써 S 데이터의 보정 정도를 조절할 수 있다.

도 7은 본 발명의 일 실시예에 의한 V 데이터 처리를 도시한 그래프이다. 도 7에 따르면 입력된 V 데이터에 상응한 출력 V 데이터의 값이 도시되어 있다.

도 7에 도시된 바에 의하면 V 데이터 처리부(438)는 입력되는 V 데이터를 특정 범위 내의 값(16, 32, 64,..)에서 출력되는 V 데이터의 크기를 미리 설정된 바에 따라 V 데이터를 출력시킨다.

입력된 영상으로부터 획득된 V 데이터의 값 중 가장 작은 값을 가지는 V 데이터를 최소 V 데이터, 가장 큰 값을 가지는 V 데이터를 최대 V 데이터라고 한다. 최소 V 데이터에서 최대 V 데이터까지의 범위를 넓어지도록 출력 V 데이터들을 보정하면 디스플레이되는 영상의 선명도와 조도가 개선될 수 있다.

출력 V 데이터 중 가장 작은 값을 가지는 V 데이터를 0보다 크거나 같은 값(제1값)으로 보정하고 나머지 데이터들의 값을 조금씩 작게 하면 V 데이터들 간의 값의 간격을 넓힐 수 있다. 또는 출력 V 데이터 중 가장 큰 값을 가지는 V 데이터를 255보다 작거나 같은 값(제2값)으로 보정하고 나머지 V 데이터들의 값을 조금씩 증가시키면 V 데이터들 간의 값의 간격을 넓힐 수 있다.

도 7에서는 최소 V 데이터와 최대 V 데이터의 값을 모두 보정하는 경우를 중심으로 설명한다.

도 7에 의하면, x축은 입력된 V 데이터들의 값을, y축은 출력 V 데이터들의 값을 나타낸다. 도 7에 도시된 실시예에 의할 때, 입력된 V 데이터의 값이 5이면 출력 V 데이터의 값은 0이 된다. 그리고 입력된 V 데이터의 값이 22이면 출력 V 데이터의 값은 255가 된다.

여기서 0~255는 8비트의 영상에서 V 데이터의 범위이다. 255는 식 2^8-1에 의해 얻어진 값이다. 10비트의 영상의 V 데이터는 0~1023의 범위를 가지고, n 비트의 영상의 V 데이터는 0~(2^n-1)의 범위를 가지게 된다.

입력된 영상이 5에서 22까지의 범위로 값이 한정된 V 데이터만을 가지는 경우는 다음과 같은 방법에 의해 출력 V 데이터가 생성될 수 있다. 출력 V 데이터는 0 내지 255의 값을 갖도록 최소 V 데이터와 최대 V 데이터가 보정되고, 이에 상응하여 각 V 데이터 간의 간격도 넓어지게 된다.

즉 V 데이터들 간의 값의 간격은 1에서 15(=255/(22-5))로 넓어지고, 최소 V 데이터와 최대 V 데이터도 5 내지 22의 범위에서 0 내지 255의 범위로 보정된다. 따라서 입력된 V 데이터가 5의 값을 갖는다면 그에 상응하는 출력 V 데이터의 값은 0이다. 또한 입력된 V 데이터가 6의 값을 갖는다면 그에 상응하는 출력 V 데이터의 값은 15가 된다. 또한 입력된 V 데이터가 7의 값을 갖는다면 그에 상응하는 출력 V 데이터의 값은 30이 된다.

이러한 방법을 거듭하여 입력된 V 데이터가 21의 값을 갖는다면 그에 상응하 는 출력 V 데이터의 값은 240이, 입력된 V 데이터가 22의 값을 갖는다면 그에 상응하는 출력 V 데이터의 값은 255가 된다.

도 7에서는 출력 V 데이터들간의 간격이 일정한 비율로 확장되는 경우가 설명되어 있다. 그러나, 출력 V 데이터들간의 간격은 미리 설정된 바에 따라 달라질 수 있다. 즉, 출력 V 데이터들의 간격은 반드시 등간격일 필요가 없으며, 출력 V 데이터들 간의 간격이 반드시 같은 비율로 확장되어야 할 필요도 없다. 다만, 출력 V 데이터들간의 간격과 출력 V 데이터들의 값의 범위를 확장함으로써, 입력되는 각각의 영상을 그 특성에 따라 변화시켜 선명도와 밝기가 개선된 영상 화면을 출력시킬 수 있다.

도 8은 본 발명의 일 실시예에 따른 실시간 영상 처리 방법의 흐름도이다.

예를 들어, 영상 처리 장치가 소정의 영상을 디스플레이 하기 위하여서는 먼저 그 영상에 상응하는 센서 데이터가 생성되거나 입력된다(단계 810). 그리고, 영상 처리 장치는 센서 데이터로부터 RGB 데이터를 획득한다(단계 820). 센서 데이터로부터 RGB 데이터를 획득하는 것은 당업자에게 자명한 사항인 바, 이 과정에 대한 상세한 설명은 생략하도록 한다.

그리고 HSV 색공간에 의한 영상 처리를 위해, RGB 데이터는 HSV 데이터로 변환(단계 830)되어, HSV 데이터가 생성된다(단계 840). RGB 데이터가 HSV 데이터로 색공간이 바뀌는 과정은 도 4 등에 대한 상세한 설명에서 전술한 바와 같다.

영상의 명도, 색상 및 채도 등의 개선을 위해, HSV 데이터(H 데이터, S 데이 터, V 데이터)에 대한 보정을 거쳐 출력 HSV 데이터가 생성된다(단계 850). 이 경우, 일 실시예에 의할 경우, V 데이터의 값 또는 영상의 노이즈 정도를 기준으로 S 데이터 및 H 데이터의 보정 여부와 보정의 정도가 결정될 수 있다.

출력 HSV 데이터는 다시 RGB 데이터로 변환(단계 860)되어 색공간이 바뀐다. HSV 데이터로부터 변환된 RGB 데이터는 영상의 디스플레이를 위해 YC 데이터로 변환(870)되는데, YC 데이터로 변환되기 전에 보정될 수 있다. Y 데이터는 휘도 신호이며, C 데이터는 색 신호이다. 휘도 신호에 의해서는 흑백 영상이 만들어지고, 휘도 신호 및 색신호에 의해서는 컬러 영상이 만들어질 수 있다.

마지막으로, YC 데이터 역시 영상의 화질 개선 등을 위해 보정을 거칠 수 있으며(단계 880), HSV 색공간에 의한 보정을 거친 영상이 디스플레이된다(단계 890).

도 9는 본 발명의 다른 실시예에 의한 HSV 색공간을 이용한 실시간 영상 처리 방법의 흐름도이다. 도 9에 따르면 실시간 영상 처리에 의해 H 데이터가 보정되는 과정이 도시되어 있다.

도 9에 따른 H 데이터 보정은 도 8의 단계 830 내지 단계 850과 동시에 또는 순차적으로 수행될 수 있다.

도 9에 따르면 실시간 영상 처리 장치는 RGB 데이터를 입력받고(단계 910), 입력받은 RGB 데이터를 HSV 데이터로 색공간을 변환하여 HSV 데이터를 생성한다(단계 920).

그리고 실시간 영상 처리 장치는 HSV 데이터 중 V 데이터와 함께 임계값을 입력받을 수 있다(단계 930). 임계값은 V 데이터의 값과 비교하기 위한 값이다. 다른 실시예에 의하면 임계값은 영상 처리 장치 내에 미리 설정된 값일 수 있다.

영상 처리 장치는 임계값과 V 데이터의 값을 비교한다(단계 940). 비교 결과 V 데이터가 임계값보다 작은 경우에, 데이터 보정 신호가 출력된다(단계 950). 데이터 보정 신호가 출력되면 H 데이터가 미리 설정된 바에 따라 보정된다(단계 960). H 데이터의 보정은 도 5에 관한 상세한 설명에서 전술한 방법에 의해 처리될 수 있다.

즉, H 데이터의 보정은 입력받은 H 데이터의 값에 그 주변의(또는 인접한) H 데이터 값를 더한 후 평균을 취하여 노이즈를 억제하는 것일 수 있다. H 데이터의 보정에 의해 출력 H 데이터가 출력된다(단계970).

도 10은 본 발명의 또 다른 실시예에 의한 HSV 색공간을 이용한 실시간 영상 처리 방법의 흐름도이다. 도 10에 따르면 실시간 영상 처리에 의해 S 데이터가 보정되는 과정이 도시되어 있다.

도 10에 따른 S 데이터 보정은 도 8의 단계 830 내지 단계 850과 동시에 또는 순차적으로 수행될 수 있다.

도 10에 따르면 실시간 영상 처리 장치는 RGB 데이터를 입력받고(단계 1010), 입력된 RGB 데이터를 HSV 데이터로 색공간을 변환하여 HSV 데이터를 생성한다(단계 1020).

그리고 실시간 영상 처리 장치는 HSV 데이터 중 V 데이터와 함께 임계값을 입력받을 수 있다(단계 1030). 임계값은 V 데이터의 값과 비교하기 위한 값이다. 다른 실시예에 의하면 임계값은 영상 처리 장치 내에 미리 설정된 값일 수 있다. 영상 처리 장치는 임계값과 V 데이터의 값을 비교한다(단계 1040). 비교 결과 V 데이터가 임계값보다 작은 경우에, 데이터 보정 신호가 출력된다(단계 1050). 또한 V 데이터가 임계값보다 작은 경우, S 데이터 억제 게인이 출력된다(단계 1060). S 데이터 억제 게인은 S 데이터의 값을 감소시키기 위한 값(또는 S 데이터를 억제하기 위한 값)으로, 1보다 작은 값을 가질 수 있다. 따라서 일 실시예에 의할 경우, 입력된 S 데이터에 1보다 작은 값을 가지는 S 데이터 억제 게인이 곱해짐으로써 S 데이터가 보정될 수 있다(단계 1080).

V 데이터가 임계값보다 작지 않을 경우 S 데이터는 보정되지 않는다. 도 10에 도시된 실시예에서는 V 데이터가 임계값보다 작은 경우를 저조도로 판단하여, 저조도 환경에서만 S 데이터를 보정하기 때문이다.

이 경우, 출력되는 S 데이터 억제 게인은 1일 수 있으며(단계 1070), 입력된 S 데이터에 곱해짐으로써 보정이 되지 않은 채로 출력될 경우와 동일한 결과를 가져올 수 있다. 또는 다른 실시예에 따르면, V 데이터가 임계값보다 작지 않을 경우 S 데이터 억제 게인은 별도로 출력되지 않을 수 있다. 상술한 과정을 거쳐 출력 S 데이터가 출력될 수 있다(단계 1090).

도 11은 본 발명의 또 다른 실시예에 따른 실시간 영상 처리 방법을 나타낸 흐름도이다. 도 11에 따르면 실시간 영상 처리에 의해 V 데이터가 보정되는 과정이 도시되어 있다.

도 11에 따른 V 데이터 보정은 도 8의 단계 830 내지 단계 850과 동시에 또는 순차적으로 수행될 수 있다.

도 11에 따르면 실시간 영상 처리 장치는 RGB 데이터를 입력받고(단계 1110), 입력된 RGB 데이터를 HSV 데이터로 색공간을 변환하여 HSV 데이터를 생성한다(단계 1120).

V 데이터의 보정은 특정 영역에 집중된 V 데이터의 값들이 0 내지 255의 범위안에서 보다 넓은 간격을 가지게 하기 위해 행해진다. V 데이터의 범위는 영상의 비트수에 따라 0~255가 아닌 0~1023(10비트의 영상의 경우) 등 0 내지 2^n-1(n은 영상의 비트수)일 수 있음은 도 7에서 설명한 바와 같다.

V 데이터의 보정 방법에 대한 설명은 도 6에서 이미 기재되었으므로, 반복적인 설명은 생략하도록 한다.

V 데이터 각각에 대한 보정의 순서는 제한되지 아니한다. 다만, 도 11에 도시된 실시예에서는 편의상 V 데이터 중 가장 작은 값(최저값)과 가장 큰 값(최고값)을 먼저 보정하고 나머지 중간값을 갖는 V 데이터들을 보정하는 방법을 위주로 설명한다. 그러나 이 방법은 본 발명의 다양한 실시예들 중 하나를 예시한 것일 뿐이며, 이로 인해 본 발명의 권리 범위가 제한되지 아니함은 자명하다.

제1값은 0보다 크거나 같은 값으로, 가장 작은 값을 가지는 출력 V 데이터의 값이다. 영상의 조도를 전체적으로 높게 보정할 필요가 있을 경우 제1값은 최저값 보다 크거나 같은 값으로 책정될 수 있다. 또는 영상의 조도를 밝게 수정할 필요가 없다면 제1값은 최저값보다 작은 값으로 책정되어 영상의 선명도만을 높일 수도 있다. 입력된 V 데이터는 제1값으로 보정된다(단계 1130).

같은 원리에 의해, 화면의 조도를 유지하거나 수정할 것인지의 여부에 따라, 제2값은 255 이하의 범위 내에서 최고값보다 큰 값 또는 작거나 같은 값으로 책정될 수 있다. 다만 본 발명의 실시예에 의하면, 특정 영역에 집중된 V 데이터들의 값을 보다 넓은 범위로 확장하여 영상의 선명도를 높이는 경우, 제2값은 최고값보다 큰 값일 수 있다.

단계 1130 및 단계 1140에 의해 출력 V 데이터의 범위가 최저값 내지 최고값의 범위보다 넓어진 경우, 최저값보다 크고 최고값보다 작은 값을 가지는 V 데이터들의 값도 보정된다(1150). 일 실시예에 따르면 출력 V 데이터들간의 간격은 보정 전의 V 데이터들간의 간격에 비례하여 확장될 수 있다. 또는 다른 실시예들에 의하여, 영상의 특성과 상태를 고려하여 미리 설정된 바에 따라 V 데이터들의 값이 보정될 수 있다(단계 1150).

그리고 V 데이터들이 보정되면 영상 처리 장치는 이를 이용하여 출력 V 데이터를 생성한다(단계 1160). 그리고 출력 V 데이터가 출력된다(단계 1170). 여기서 V 데이터가 보정되면 보정된 V 데이터가 출력 V 데이터로서 다시 생성되어(단계 1160) 출력될 수도 있으나, 다른 실시예에 의하면 단계 1160이 생략되고 보정된 V 데이터가 출력 V 데이터로서 바로 출력될 수도 있다.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

본 발명의 실시예에 의하면 실시간 영상 처리에 있어 HSV 색공간을 이용할 있다.

또한 본 발명의 실시예에 의하면 기존 실시간 영상 처리 장치에서 사용을 하지 않던 HSV 색공간에서의 처리를 수행하게 함으로써 기존의 RGB, YC 색공간으로 제한이 있었던 영상 처리의 폭을 넓힐 수 있다.

또한 본 발명의 실시예에 의하면 프리뷰 영상에 대해 HSV 색공간에 의한 실시간 영상 처리를 함으로써 프리뷰 영상의 화질을 개선할 수 있다.

Claims (25)

1. 피사체에 상응하여 입력되는 RGB 데이터를 각 픽셀들에 상응하는 HSV 데이터로 변환하여 출력하는 RGB to HSV 변환부-여기서 상기 HSV 데이터는 H 데이터, S 데이터 및 V 데이터를 포함함-;

   상기 V 데이터가 미리 설정된 임계값보다 작은 경우 상기 H 데이터와 S 데이터 중 하나 이상을 보정하여 출력 HSV 데이터를 생성하는 HSV 영상 처리부-여기서 상기 출력 HSV 데이터는 출력 H 데이터, 출력 S 데이터 및 출력 V 데이터를 포함함-; 및

   상기 출력 HSV 데이터를 RGB 변환하여 출력 RGB 데이터를 출력하는 HSV to RGB 변환부를 포함하는 실시간 영상 처리 장치.
2. 제1항에 있어서,

   상기 출력 RGB 데이터는 프리뷰 영상으로 표시부를 통해 디스플레이되기 위해 처리될 정보인 것을 특징으로 하는 실시간 영상 처리 장치.
3. 제1항에 있어서,

   상기 피사체에 상응하는 센서 데이터를 생성하는 영상 센서부;

   상기 영상 센서부로부터 입력 받은 상기 센서 데이터를 이용하여 상기 RGB 데이터를 생성하는 센서 데이터 보간부; 및

   상기 출력 RGB 데이터를 YC 데이터로 변환하여 출력하는 RGB to YC 변환부를 더 포함하는 실시간 영상 처리 장치.
4. 제1항에 있어서,

   상기 HSV 영상 처리부는,

   상기 V 데이터 중 최저값을 갖는 최저 V 데이터를 제1값으로 보정하고, 상기 최저 V 데이터를 기준으로 나머지 V 데이터들의 값의 간격들이 이전 간격들에 상응하여 넓혀지도록 보정하는 V 데이터 처리부-여기서 제1값은 0보다 크거나 같고 상기 출력 V 데이터 중 가장 작은 값임-를 포함하는 실시간 영상 처리 장치.
5. 제1항에 있어서,

   상기 HSV 영상 처리부는,

   상기 V 데이터 중 최고값을 갖는 최고 V 데이터를 제2값으로 보정하고, 상기 최고 V 데이터 및 최저값을 갖는 V 데이터를 제외한 나머지 V 데이터들의 값도 보정하여 상기 V 데이터들 간의 간격들을 이전 간격들에 상응하여 넓히는 V 데이터 처리부-여기서 상기 제2값은 (2^n-1)보다 작거나 같은 값이며, n은 상기 영상의 비 트수임-를 포함하는 실시간 영상 처리 장치.
6. 제1항에 있어서,

   상기 HSV 영상 처리부는

   상기 V 데이터를 상기 임계값과 대소 비교하고, 상기 대소 비교 결과 상기 V 데이터가 상기 임계값보다 작은 경우 데이터 보정 신호를 출력하는 V 데이터 판별부를 포함하는 실시간 영상 처리 장치.
7. 제6항에 있어서,

   상기 HSV 영상 처리부는 상기 데이터 보정 신호가 출력되는 경우,

   상기 H 데이터의 값과 상기 H 데이터에 상응하는 픽셀의 수직 또는 수평 방향으로 인접하는 픽셀에 상응하는 H 데이터 값을 평균하고, 상기 평균한 값을 데이터 값으로 가지는 출력 H 데이터를 생성하는 H 데이터 처리부를 더 포함하는 실시간 영상 처리 장치.
8. 제6항에 있어서,

   상기 HSV 영상 처리부는 상기 데이터 보정 신호가 출력되지 않는 경우,

   입력받은 H 데이터를 그대로 출력 H 데이터로 생성하는 H 데이터 처리부를 더 포함하는 것을 특징으로 하는 실시간 영상 처리 장치.
9. 제6항에 있어서,

   상기 V 데이터 판별부는

   상기 S 데이터를 보정하기 위한 S 데이터 억제 게인을 더 출력하는 것을 특징으로 하는 실시간 영상 처리 장치.
10. 제9항에 있어서,

    상기 V 데이터 값이 상기 임계값보다 작은 경우 상기 S 데이터 억제 게인은 0보다 크고 1 보다 작은 값을 가지고, 상기 V 데이터 값이 상기 임계값보다 큰 경우 상기 S 데이터 억제 게인은 1의 값을 가지는 것을 특징으로 하는 실시간 영상 처리 장치.
11. 제9항에 있어서,

    상기 HSV 영상 처리부는

    상기 S 데이터에 상기 S 데이터 억제 게인을 곱하여 상기 출력 S 데이터를 생성하는 S 데이터 처리부를 포함하는 실시간 영상 처리 장치.
12. 제6항에 있어서,

    상기 HSV 영상 처리부는 상기 데이터 보정 신호가 출력되지 않는 경우,

    상기 S 데이터를 상기 출력 S 데이터로서 출력하는 S 데이터 처리부를 포함하는 것을 특징으로 하는 실시간 영상 처리 장치.
13. (a) 피사체에 상응하여 입력되는 상기 RGB 데이터를 각 픽셀들에 상응하는 HSV 데이터로 변환하여 출력하는 단계-여기서 상기 HSV 데이터는 H 데이터, S 데이터 및 V 데이터를 포함함-;

    (b) 상기 V 데이터가 미리 설정된 임계값보다 작은 경우 상기 H 데이터와 S 데이터 중 하나 이상을 보정하여 출력 HSV 데이터를 생성하는 단계-여기서 상기 출력 HSV 데이터는 출력 H 데이터, 출력 S 데이터 및 출력 V 데이터를 포함함-; 및

    (c) 상기 출력 HSV 데이터를 RGB 변환하여 출력 RGB 데이터를 출력하는 단계를 포함하는 실시간 영상 처리 방법.
14. 제13항에 있어서,

    상기 출력 RGB 데이터는 프리뷰 영상으로 표시부를 통해 디스플레이되기 위해 처리될 정보인 것을 특징으로 하는 실시간 영상 처리 방법.
15. 제13항에 있어서,

    상기 피사체에 상응하는 센서 데이터를 생성하는 단계; 및

    상기 영상 센서부로부터 입력 받은 상기 센서 데이터를 이용하여 상기 RGB 데이터를 생성하는 단계를 상기 (a) 단계 이전에 포함하며,

    상기 출력 RGB 데이터를 YC 데이터로 변환하여 출력하는 단계를 상기 (c) 단계 이후에 더 포함하는 실시간 영상 처리 방법.
16. 제13항에 있어서,

    상기 (b) 단계는

    상기 V 데이터 중 최저값을 갖는 최저 V 데이터를 제1값으로 보정하고, 상기 최저 V 데이터를 기준으로 나머지 V 데이터들의 값의 간격들이 이전 간격들에 상응하여 넓혀지도록 보정하는 단계-여기서 제1값은 0보다 크거나 같고 상기 출력 V 데이터 중 가장 작은 값임-를 포함하는 실시간 영상 처리 방법.
17. 제13항에 있어서,

    상기 (b) 단계는

    상기 V 데이터 중 최고값을 갖는 최고 V 데이터를 제2값으로 보정하고, 상기 최고 V 데이터 및 최저값을 갖는 V 데이터를 제외한 나머지 V 데이터들의 값도 보정하여 상기 V 데이터들 간의 간격들을 이전 간격들에 상응하여 넓히는 단계-여기서 상기 제2값은 2^n -1보다 작거나 같은 값이며, n은 상기 영상의 비트수임-를 포함하는 실시간 영상 처리 방법.
18. 제13항에 있어서,

    상기 (b) 단계는

    (b1) 상기 V 데이터를 상기 임계값과 대소 비교하고, 상기 대소 비교 결과 상기 V 데이터가 상기 임계값보다 작은 경우 데이터 보정 신호를 출력하는 단계를 포함하는 실시간 영상 처리 방법.
19. 제18항에 있어서,

    상기 (b) 단계는 상기 데이터 보정 신호가 출력되는 경우,

    상기 H 데이터의 값과 상기 H 데이터에 상응하는 픽셀의 수직 또는 수평 방향으로 인접하는 픽셀에 상응하는 H 데이터 값을 평균하여, 상기 평균한 값을 데이 터 값으로 가지는 출력 H 데이터를 생성하는 단계를 더 포함하는 실시간 영상 처리 방법.
20. 제18항에 있어서,

    상기 (b) 단계는 상기 데이터 보정 신호가 출력되지 않는 경우,

    입력받은 H 데이터를 그대로 출력 H 데이터로 생성하는 단계를 더 포함하는 것을 특징으로 하는 실시간 영상 처리 방법.
21. 제18항에 있어서,

    상기 (b1) 단계는

    (b2) 상기 S 데이터를 보정하기 위한 S 데이터 억제 게인을 더 출력하는 단계를 더 포함하는 것을 특징으로 하는 실시간 영상 처리 방법.
22. 제21항에 있어서,

    상기 (b2) 단계는

    상기 V 데이터 값이 상기 임계값보다 작은 경우 상기 S 데이터 억제 게인은 1 미만의 값을 가지고, 상기 V 데이터 값이 상기 임계값보다 큰 경우 상기 S 데이 터 억제 게인은 1의 값을 가지는 것을 특징으로 하는 실시간 영상 처리 방법.
23. 제21항에 있어서,

    상기 (b) 단계는

    상기 S 데이터에 상기 S 데이터 억제 게인을 곱하여 상기 출력 S 데이터를 생성하는 단계를 포함하는 실시간 영상 처리 방법.
24. 제18항에 있어서,

    상기 (b) 단계는 상기 데이터 보정 신호가 출력되지 않는 경우,

    상기 S 데이터를 상기 출력 S 데이터로서 출력하는 단계를 포함하는 것을 특징으로 하는 실시간 영상 처리 방법.
25. 영상 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 영상 처리 장치에 의해 판독될 수 있는 기록 매체로서,

    제13항 내지 제24항 중 어느 한 항에 기재된 실시간 영상 처리 방법을 수행하는 프로그램이 기록된 기록 매체.

Images