KR20040047834A - 적목현상 부분을 제거하기 위한 이미지 처리 - Google Patents

Abstract

적목현상 부분들을 검출하고 제거하기 위해 디지털 이미지를 처리하는 방법은 그 주변의 영역들의 화소들보다 채도 및/또는 명도 값들이 높은 화소들을 갖는 이미지의 하이라이트 영역들을 식별하는 단계, 적목현상 부분들을 상기 하이라이트 영역들의 적어도 일부와 관련시키는 단계, 및 상기 적목현상 부분들의 적어도 일부에 대해 적목현상 감소를 수행하는 단계를 포함한다. 추가의 선택 기준은 적목현상 감소가 수행되기 전에 적목현상 부분들에 적용될 수 있다.

Description

적목현상 부분을 제거하기 위한 이미지 처리{IMAGE PROCESSING TO REMOVE RED-EYE FEATURES}

사진에 있어 적목현상은 잘 알려져 있다. 플래시가 사용되어 사람(또는 동물)에게 조사될 때, 광은 종종 사물의 망막으로부터 카메라로 직접 반사되어, 사진이 디스플레이되거나 또는 인쇄될 때 사물의 눈을 붉게 나타낸다.

사진은 점차 디지털 이미지, 일반적으로 각 화소가 통상 24비트 값으로 표현되는 화소들의 어레이로 저장된다. 각 화소의 컬러는 해당 화소에 대한 적색, 녹색 및 청색의 세기를 나타내는 3개의 8비트 값들로서 24 비트 값 내에서 인코딩될 수 있다. 선택적으로, 24 비트 값이 "색조(hue)", "채도(saturation)" 및 "명도(lightness)"를 나타내는 3개의 8비트 값들로 구성되도록 화소 어레이가 변환될 수 있다. 색조는 컬러를 정의하는 "원형(circular)" 스케일을 제공하여, 0이 적색을 나타내고, 값이 증가함에 따라 컬러는 녹색 및 청색을 지나 255에서 다시 적색으로 되돌아온다. 채도는 색조에 의해 식별된 컬러의 세기의 척도를 제공한다. 명도는 조도량의 척도로 볼 수 있다.

이러한 디지털 이미지를 조작함으로써, 적목현상의 영향을 감소시키는 것이 가능하다. 이러한 작업을 행하는 소프트웨어는 잘 알려져 있고, 일반적으로 적목현상 부분의 화소들을 변경하여, 그들의 적색 용량을 감소, 즉 그들의 색조를 보다 덜 붉게 함으로써 작용한다. 일반적으로 그 대신에 흑색 또는 어두운 회색(dark grey)으로 남겨진다.

대부분의 적목현상 감소 소프트웨어는 조작될 각 적목현상 부분의 중심 및 반경을 필요로 하고, 이러한 정보를 제공하는 가장 간단한 방법은 사용자가 각 적목현상 부분의 중심 화소를 선택하고 적색 부분의 반경을 표시하는 것이다. 이러한 프로세스는 각 적목현상 부분에 대해 실행될 수 있기 때문에, 이러한 조작은 이미지의 나머지 부분에 대해 영향을 주지 않는다. 그러나, 이는 사용자로부터의 상당한 입력을 필요로 하고, 각 적목현상 부분의 정확한 중심을 지적하고 정확한 반경을 선택하는 것이 어렵다. 다른 일반적인 방법은 사용자가 적색 영역 주변으로 박스를 그리는 것이다. 이는 사각형이어서 적목현상 부분을 정확하게 표시하는 것이 더 어렵다.

본 발명은 디지털 이미지에서 적목현상(red-eye)을 검출하고 감소시키는 것에 관한 것이다.

본 발명의 소정의 바람직한 실시예들은 첨부 도면을 참조하여 단지 예시적으로 설명될 것이다.

도 1은 적목현상을 감소시키기 위한 일반적인 절차를 설명하는 흐름도.

도 2는 전형적인 적목현상 부분을 나타내는 개략도.

도 3은 하이라이트의 검출시 식별된 화소들을 나타내는, 도 2의 적목현상 부분을 나타내는 도면.

도 4는 반경을 측정한 이후 도 2의 적목현상 부분을 나타내는 도면.

도 5는 적목현상 부분들을 검출하기 위한 절차를 설명하는 흐름도.

따라서, 사용자의 최소한의 개입 또는 사용자의 개입이 없이 적목현상 감소가 필요한 곳에만 적용될 수 있도록 적목현상 감소가 적용되는 디지털 이미지의 영역들을 자동적으로 인식할 필요성이 존재한다.

본 발명은, 전형적인 적목현상 부분이 단순히 적색 화소들의 영역이 아니라는 것을 인식한다. 일반적으로, 통상적인 적목현상 부분은 눈의 앞에서부터의 플래시광의 반사로 인해 발생되는 밝은 점도 포함한다. 이러한 밝은 점들은 "하이라이트(highlights)"로 알려져 있다. 이미지 내에 하이라이트가 위치하면, 적목현상을 자동적으로 식별하는 것이 보다 용이해진다. 하이라이트는, 때로는 중심에서 벗어나 존재하고 때때로 가장자리에 있더라도, 일반적으로 적목현상 부분의 중심 근처에 위치한다.

본 발명의 제1 측면에 따르면, 디지털 이미지의 처리 방법이 제공되며, 이 방법은, 주변의 영역들 내의 화소들 보다 높은 채도 및/또는 명도를 갖는 화소들을 갖는 이미지의 하이라이트 영역들을 식별하는 단계;

상기 하이라이트 영역들의 일부분 또는 모두와 연관된 적목현상 부분들을 식별하는 단계; 및

상기 적목현상 부분들의 일부 또는 전부에 대해 적목현상 감소를 실행하는 단계를 포함한다.

이로인해, 하이라이트 영역들과 그들을 둘러싸는 영역 사이의 채도/명도 콘트라스트가 적목현상 부분의 적색 부분과 그를 둘러싸는 스킨 톤(skin tones) 사이의 컬러(또는 "색조") 콘트라스트 보다 훨씬 더 두드러지는 이점이 있다. 또한, 컬러는 JPEG와 같이 많은 이미지 압축 포맷들에 대해 낮은 해상도로 인코딩된다. 적목현상을 검출하기 위해 채도 및 명도를 사용함으로써, 색조가 기본 검출 도구로 사용되는 경우보다 적목현상을 놓칠 가능성이 훨씬 더 줄어든다.

각각의 적목현상 부분이 그와 연관되는 고유한 기준점을 가질 수 있다면, 적목현상 부분의 위치를 리스트에 저장하는데 편리하다. 따라서, 각 하이라이트 영역 내의 단일 기준 화소가 하이라이트 영역과 연관된 적목현상 부분에 대한 중심점으로 선택될 수 있고, 상기 기준 화소를 중심으로 하는 적목현상 부분에 대해 적목현상 감소가 적용될 수 있다.

높은 채도 및/또는 명도 값들을 가질 뿐만 아니라, 일반적인 적목현상 부분의 하이라이트는 매우 선명하게 정의된다. 따라서, 하이라이트 영역과 그에 인접한 영역들 사이에서 화소의 채도 및/또는 명도의 급격한 변화가 존재하면 바람직하게는 단지 하이라이트 영역이 식별된다.

식별된 많은 하이라이트 영역들이 적목현상으로부터 비롯되더라도, 일부 하이라이트 영역들은 적목현상 부분들의 일부분이 아닌 것으로 식별될 가능성이 있고, 그 주위에는 적목현상 감소가 적용되지 않아야 한다. 따라서, 본 방법은 바람직하게는 적목현상 감소에 대한 가능성들로 하이라이트 영역들중 적어도 일부분을 제거하는 단계를 포함한다. 실제, 식별된 하이라이트 영역들중 어느 것도 적목현상에 의해 유발되지 않을 가능성이 있고, 따라서 그들과 연관된 적목현상 부분들을 포함하지 않아야 한다. 이러한 문맥에서, "상기 하이라이트 영역들중 소정의 영역 또는 모든 영역들로 적목현상 부분들을 식별하는 것(identifying red-eye features with some or all of said highlight regions)"이라는 구문은 하이라이트 영역들중 임의의 영역들과 연관되는 적목현상 부분들이 존재하지 않을 가능성도 포함하는 것으로 의도된 것이라는 것을 이해할 것이다. 유사하게, 적목현상 부분들에 적용된 필터들이, 원래 식별된 적목현상 부분들중 어느 것도 이들에 적용되는 적목현상 감소를 가지지 않는 것으로 결정하고, 따라서, "적목현상 부분들중 소정의 부분 또는모든 부분들에 대해 적목현상 감소를 실행한다는 것(performing red-eye reduction on some or all of the red-eye features)"이라는 구문은 모든 적목현상 부분들이 적목현상 감소에 대한 가능성에서 제외될 가능성을 포함한다.

실제로, 적어도 전체 얼굴이 사진찍히는 것을 가정하면, 적목현상 부분이 될 수 있는 최대 크기가 존재한다. 따라서, 바람직하게는, 하이라이트 영역이 소정의 최대 지름을 초과하면, 어떠한 적목현상 부분들도 상기 하이라이트 영역과 연관되지 않고, 적목현상 감소가 실행되지 않는다.

일반적으로, 적목현상 부분들은 실질적으로 원형이다. 따라서, 일반적으로 선형 하이라이트 부분들은 적목현상에 의한 것이 아닐 것이며, 따라서 바람직하게는 하이라이트 영역이 실질적으로 선형이면 하이라이트 영역과 연관된 부분에 대해서는 적목현상 감소가 실행되지 않을 것이다.

적목현상 감소는 바람직하게는 서로 중첩하는 임의의 적목현상 부분들에는 실행되지 않는다.

하이라이트 영역들이 결정되면, 각 하이라이트 영역을 둘러싸는 영역 내의 화소들의 색조를 식별하고 상기 하이라이트 영역들을 둘러싸는 화소들의 색조가 소정 비율의 이상의 적색을 포함하면 하이라이트 영역과 연관된 적목현상 부분들에 대해서만 적목현상 감소를 실행하는 것이 편리하다. 적목현상 부분의 반경이 그 후 하이라이트 영역을 둘러싸는 적색 화소들로 이루어진 이러한 영역으로부터 결정될 수 있다. 하이라이트 영역의 반경에 대한 적목현상 영역의 반경의 비율이 소정의 값들의 범위 이내인 경우 적목현상 감소는 바람직하게는 적목현상 부분에 대해서만 실행된다. 전형적인 적목현상 부분에 있어, 적목현상 영역의 반경은 하이라이트 영역의 반경의 8배까지 될 수 있을 것이다.

바람직하게는, 디지털 이미지가 사진으로부터 얻어되면, 사진이 찍혔을 때 플래시가 터졌는지 여부가 결정되고, 플래시가 터지지 않았다면 하이라이트 영역들이 식별되지 않거나 또는 적목현상 감소가 실행되지 않는다.

바람직하게는, 디지털 이미지가 단색인지 여부가 결정되고, 그렇다면, 하이라이트 영역들은 식별되지 않거나 또는 적목현상 감소가 실행되지 않는다.

소정의 경우, 예를 들면, 초상화 사진의 경우, 모든 하이라이트들이 적목현상에 의해 유발될 것이라는 것을 사용자는 미리 알 수 있을 것이고, 이 경우 적목현상 부분은 식별된 각 하이라이트 영역과 연관될 수 있고 적목현상 감소가 모든 적목현상 부분들에 대해 실행될 수 있을 것이다.

본 발명의 제2 측면에 따르면, 디지털 이미지에서 적목현상 부분들을 검출하는 방법이 제공되는데, 이 방법은,

주위의 영역들의 화소들보다 높은 채도 및/또는 명도 값을 가지는 화소들을 포함하는 하이라이트 영역들을 식별하는 단계; 및

추가 선택 기준들을 적용하는 것에 기초하여 각 하이라이트 영역이 적목현상 부분에 대응하는지를 결정하는 단계를 포함한다.

추가 선택 기준은 바람직하게는 하이라이트 영역을 둘러싸는 화소들의 색조를 테스트하는 단계, 및 상기 색조가 적색에 대응하는 소정의 범위 밖이면 하이라이트 영역이 적목현상 부분에 대응하지 않는다고 결정하는 단계를 포함한다.

추가 선택 기준은 선택적으로 또는 추가적으로 하이라이트 영역의 형상을 식별하는 단계, 및 상기 형상이 실질적으로 원형이 아니면 하이라이트 영역이 적목현상 부분에 대응하지 않는다고 결정하는 단계를 포함한다.

본 발명의 제3 측면에 따르면, 디지털 이미지에서 적목현상 부분들의 시각적 효과를 감소시키는 방법이 제공되는데, 이 방법은 상술한 방법을 사용하여 적목현상 부분을 검출하는 단계, 및 각 하이라이트 영역 주위의 화소들의 색조를 변경하여 그러한 화소들의 적색 용량을 감소시키는 단계를 포함한다.

또한, 본 발명은 상술한 방법이 적용되는 디지털 이미지, 상기 방법을 실행하기 위해 구성되는 장치 및 상기 방법을 실행하도록 구성되는 컴퓨터 프로그램이 저장된 컴퓨터 저장 매체를 제공한다.

적목현상 부분들을 포함하거나 포함하지 않는 디지털 이미지를, 그러한 부분들에 대해 가능한 한 효과적으로 보정하기 위해, 처리할 경우, 그러한 부분들이 존재할 수 있는지 여부를 결정하고, 상기 부분들을 찾아내고, 이러한 부분들에 대해 바람직하게는 사용자의 개입없이 적목현상 보정을 적용하기 위해 필터를 사용하는 것이 유용하다.

가장 간단한 형태에서, 자동 적목현상 필터는 매우 간단한 방법으로 동작할 수 있다. 적목현상 부분들은 플래시가 사용된 사진들에서만 발생할 수 있기 때문에, 플래시가 사용되지 않는다면, 적목현상 감소가 적용될 필요가 없다. 그러나, 플래시가 사용되거나 또는 플래시가 사용되었는지에 대해 의문이 있다면, 적목현상과 닮은 부분들을 검색하여야 한다. 임의의 적목현상 부분들이 발견되면, 그들은 보정된다. 이러한 과정이 도 1에 나타나 있다.

도 1의 프로세스를 실행하는 알고리즘은 이미지가 적목현상을 포함하는지 여부를 결정하기 위해 빠른 테스트, 즉 플래시가 사용되었는가?, 를 적용함으로써 시작한다. 이러한 문의에 100% 확신을 갖고 "아니오"로 답한다면, 알고리즘은 종료될 수 있고; 플래시가 사용되지 않았다면, 이미지는 적목현상을 포함할 수 없다. 플래시가 사용되지 않았다는 것을 간단히 인식함으로써 이미지들의 많은 부분을 매우 적은 처리 노력으로 필터링할 수 있다.

플래시가 사용되었는지 여부를 결정하는 것에는 많은 방법들이 존재한다. 한 방법은, 사용자의 개입을 필요로 하기 때문에 이상적이지는 않지만 사용자에게 문의하는 것을 포함하며, 사용자는 그 질문에 신뢰성있게 대답할 수 없을 수 있다.

다른 선택적 방법은, 이미지 메타데이터를 찾는 것을 포함한다. 예를 들면, EXIF 포맷 JPEG는 "플래시 사용됨 - 예/아니오" 필드를 가진다. 이는 플래시가 사용되었는지를 결정하는 확실한 방법을 제공하나, 모든 이미지들이 정확한 메타데이타를 포함하지는 않는다. 일반적으로 메타데이타는 이미지가 편집될 때 손실된다. 적목현상을 포함하는 스캐닝된 이미지들은 적당한 메타데이타를 가지지 않을 것이다.

플래시가 사용되었는지를 결정하는 다른 방법이 존재하는데, 이 방법은 디지털 카메라의 제어 소프트웨어에 알고리즘이 구현되는 경우 적당하다. 화상을 취하는 모듈은 플래시가 사용되었는지를 적목현상 검출/보정 모듈에 나타낼 수 있다.

플래시가 사용되지 않았다는 것을 확실히 결정할 수 없는 임의의 이미지에 대해, 다음에 설명하는 적목현상 검출 모듈을 사용하여 보다 상세한 검사가 실행되어야 한다.

적목현상 부분들이 검출되지 않는다면, 이미지를 수정할 필요없이 알고리즘은 종료될 수 있다. 그러나, 적목현상 부분들이 발견되면, 아래에 설명한 적목현상 보정 모듈을 사용하여 각각 보정되어야 한다.

적목현상 보정 모듈이 각 적목현상 부분들을 처리하면, 알고리즘은 종료한다.

알고리즘으로부터의 출력은, 적목현상의 발생이 검출된 모든 부분이 보정된 이미지이다. 이미지가 적목현상을 포함하지 않으면, 출력은, 입력 이미지와 실질적으로 동일하게 보이는 이미지이다. 알고리즘이, 적목현상과 유사하게 닯은 이미지 상의 부분들을 검출하고 보정할 수 있으나, 사용자는 이러한 오류적인 "보정"에 대해 눈치채지 못할 가능성이 크다.

적목현상 검출 모듈이 설명될 것이다.

도 2는 전형적인 적목현상 부분(1)을 나타내는 개략도이다. 부분(1)의 중심에서, 사물의 동공에 대응하는 영역(3)으로 둘러싸여 있는, 백색이거나 또는 거의 백색인 "하이라이트"(2)가 존재한다. 적목현상이 없을 경우, 이러한 영역(3)은 일반적으로 흑색이나, 적목현상 부분에서는 이러한 영역(3)은 붉은 색조를 가진다. 이는 흐린 붉은색(dull glow) 내지 밝은 붉은색(light red)의 범위일 수 있다. 홍채(4)가 동공 영역(3)을 둘러싸며, 이들중 일부 또는 전부는 동공 영역으로부터 소정의 적색(red glow)을 취하는 것으로 나타날 수 있다.

검출 알고리즘은 각 적목현상 부분의 중심 및 그 주위의 적색 영역의 범위를 찾아야 한다.

적목현상 검출 알고리즘은 적목현상 부분들의 하이라이트(2)에 대응할 수 있는 이미지 내의 영역들을 검색함으로써 시작한다. 이미지는 먼저 변형되어 화소들이 색조, 채도 및 명도 값들에 의해 표시된다. 적목현상 부분(1)의 하이라이트(2) 내의 대부분의 화소들은 매우 높은 채도를 가지고, 얼굴 화상의 다른 곳에서 이렇게 채도가 높은(saturated) 영역들을 발견하는 것은 쉽지 않다. 유사하게, 대부분의 적목현상 하이라이트(2)는 매우 높은 명도 값들을 가질 것이다. 또한, 주의할 중요한 점은, 채도 및 명도 값이 높을 뿐만 아니라, 그들을 바로 둘러싸는 영역(3, 4, 5)들 보다 상당히 더 높다는 것이다. 적색 동공 영역(3)으로부터 하이라이트영역(2)으로의 채도의 변화가 매우 급격하다.

하이라이트 검출 알고리즘은, 밝고, 높은 채도를 갖는 화소들의 작은 영역들을 찾기 위해, 이미지 내의 화소들의 각 로우(row)를 스캔한다. 스캔하는 동안, 각 화소는 그 이전의 주변(그 왼쪽으로의 화소)와 비교된다. 로우의 시작으로부터 스캔함에 따라 알고리즘은 채도 및 명도의 급격한 증가를 검색하고, 하이라이트의 시작을 표시한다. 이는 "상승 에지(rising edge)"로 알려져 있다. 상승 에지가 식별되면, 채도의 급격한 하강에 도달될 때까지 (비슷한 높은 채도 및 명도를 갖는 것을 가정하는) 해당 화소 및 후속 화소들이 기록된다. 이는 "하강 에지(falling edge)"로 알려져 있다. 하강 에지 이후에, 알고리즘은 되돌아가서 다음 하이라이트의 개시를 표시하는 상승 에지를 검색한다.

1. 화소가 높은 채도를 갖는다 (채도 > 128).

2. 화소가 이전의 화소보다 상당히 높은 채도를 갖는다(해당 화소의 채도 - 이전 화소의 채도 > 64).

3. 화소가 높은 명도 값을 가진다(명도 > 128)면, 상승 에지가 검출되도록 일반적인 알고리즘이 구성될 수 있다.

상승 에지는 검사되는 화소에 위치한다.

1. 화소가 이전의 화소보다 상당히 낮은 채도를 갖는다(이전 화소의 채도 - 해당 화소의 채도 > 64).

2. 이전 화소가 높은 명도 값을 가진다(명도 > 128)면, 하강 에지가 검출된다.

하강 에지는 검사되는 화소를 선행하는 화소에 위치한다.

하강 에지를 검색하면서 추가 검사가 실행된다. 소정 개수의 화소들(예를 들면 10개)이 하강 에지를 발견하지 못한 상태에서 검사된 후, 알고리즘은 하강 에지를 찾는 것을 그만둘 것이다. 적목현상 부분 내의 하이라이트가 될 수 있는 최대 크기 - 이는 화상의 크기 및 그의 콘텐츠의 특성에 따라 변할 것이다(예를 들면, 하이라이트는 동일한 해상도에서 개별적인 초상화들보다 그룹 사진들에서 보다 작을 것이다). 화상의 크기, 및 하이라이트로 취해질 가능성이 있는 그러한 크기의 비율(일반적으로 화상의 최대 크기의 0.25% 내지 1% 사이)에 기초하여 알고리즘은 최대 하이라이트 폭을 동적으로 결정할 수 있다.

하이라이트가 성공적으로 검출되면, 상승 에지, 하강 에지 및 중심 화소의 좌표들이 기록된다.

알고리즘은 다음과 같다:

적목현상 부분(1)에 대한 이러한 알고리즘의 결과는 도 3에 나타나 있다.이러한 부분에 대해, 단일 하이라이트(2)가 존재하기 때문에 하이라이트가 커버하는 각 로우에 대해 알고리즘은 하나의 상승 에지(6), 하나의 하강 에지(7) 및 하나의 중심 화소(8)를 기록할 것이다. 하이라이트(2)는 5개 로우들을 커버하기 때문에 5개 중심 화소(8)가 기록된다. 도 3에서, 수평 라인들은 상승 에지에서의 화소로부터 하강 에지에서의 화소로 신장된다. 원들은 중심 화소들(8)의 위치를 나타낸다.

이러한 모든 중심 화소들의 위치는 적목현상에 의해 잠재적으로 유발될 수 있는 하이라이트들의 리스트로 기록된다. 각 하이라이트 내의 중심 화소들(8)의 수는 그 후 1로 감소된다. 도 3에 나타낸 바와 같이, 하이라이트(2)에 의해 커버되는 각 로우에 대해 중심 화소(8)가 존재한다. 이는, 하이라이트들이 5번 검출되고 따라서 실제 필요한 것 보다 더 많은 처리가 필요하다는 것을 효과적으로 나타낸다. 따라서, 하이라이트들의 리스트로부터의 수직 중심점을 제외한 전부를 리스트로부터 제거하는 것이 바람직하다.

상기 알고리즘에 의해 식별되는 모든 하이라이트들이 반드시 적목현상 부분들에 의해 형성되는 것은 아니다. 예를 들면, 코너들 또는 사물들의 에지들로부터 반사된 광에 의해 형성될 수 있다. 따라서, 처리의 다음 단계는 그러한 하이라이트들을 제거하도록 시도하여, 적목현상 감소가 실제 적목현상 부분이 아닌 부분들에 대해 실행되지 않도록 하는 것이다.

적목현상 부분들을 잘못된 부분(false features)들에 반대되는 것으로 인식하는데 적용될 수 있는 많은 기준들이 존재한다. 하나는 좁은 하이라이트들의 중심 화소들의 긴 스트링들, 즉 형상이 반드시 선형인 하이라이트들을 확인하는 것이다. 이러한 것은 예들 들면 에지들로부터 반사된 광에 의해 형성될 수 있으나, 적목현상에 의해서는 형성되지 않는다.

화소들의 긴 스트링들에 대한 이러한 확인은 중심 화소가 하나로 감소하는 것과 결합될 수 있다. 이러한 동작들을 모두 동시에 실행하는 알고리즘은 중심 화소들의 "스트링(strings)" 또는 "체인(chains)"을 식별하면서 하이라이트를 검색할 수 있다. 하이라이트의 상승 에지(6)와 하강 에지(7) 사이의 가장 큰 폭으로 나눈 중심 화소들(8)의 스트링의 길이로서 정의되는(도 3 참조), 애스팩트 비가 소정의 개수보다 크고, 스트링이 소정의 길이 이상이면, 모든 중심 화소(8)는 하이라이트의 리스트로부터 제거된다. 그렇지 않을 경우, 스트링의 중심 화소만이 하이라이트의 리스트에 존재한다.

즉, 알고리즘은 2가지 작업:

- 체인의 애스팩트 비가 소정의 값보다 큰, 하이라이트들의 거의 수직인 체인들을 하이라이트의 리스트로부터 제거하는 작업; 및

- 체인의 애스펙트 비가 소정의 값보다 작거나 같은 하이라이트들의 거의 수직인 체인들로부터 수직의 중심 하이라이트를 제외한 모두를 제거하는 작업을 수행한다.

이 작업들의 조합을 수행하는 알고리즘은 이하와 같다:

'최소 체인 높이'에 대해 적합한 임계값은 3이고 '최소 체인 애스펙트 비'에 대해 적합한 임계값도 3이지만, 이들은 특정 이미지들의 요구들을 만족시키기 위해 변경될 수 있음을 이해할 것이다.

또 다른 기준은 하이라이트 주변의 동공 영역(3) 내의 화소들의 색조를 확인하는 것을 포함한다. 이 영역 내의 화소들이 소정의 비율 이하의 적색을 포함하면, 그 부분은 적목현상일 수 없다. 동공 영역(3)에 적용하기 위한 적합한 필터는, 하이라이트 주변의 화소들의 45%에 대해 채도가 80 이상이고 색조가 0과 10 사이, 또는 220과 225 사이(양쪽 포함)에 있지 않으면, 해당 부분에 대해 적목현상 감소가 수행되지 않는다.

그 후, 동공 영역의 반경은 적목현상 부분의 범위가 알려지도록 확립되어야 하며, 이에 의해 적목현상 감소가 수행될 수 있다. 각 하이라이트에 걸쳐 적합한 알고리즘을 반복하여, 적색 영역을 둘러싼 적색 영역의 반경을 개략적으로 결정한다. 일단 알고리즘이 종료되면, 모든 하이라이트들은 그들과 관련된 추가 정보들: 적목현상 영역의 반경 등을 갖는다. 따라서, 알고리즘에 대한 입력이 일련의 하이라이트들인 반면, 출력은 일련의 적목현상 부분들이라고 생각될 수 있다.

출력은 입력 하이라이트들보다 적은 적목현상 영역들을 포함할 수 있다. 일반적으로, 하이라이트 영역(2)의 반경에 대한 동공 영역(3)의 반경의 비율은 항상 특정 범위 내에 있다. 상기 비율이 이 범위 밖에 있으면, 검사된 부분은 적목현상에 의한 것이라고 할 수 없을 것이다. 상술한 알고리즘에서, 동공 영역(3)의 반경이 하이라이트 영역(2)의 반경의 8배보다 크면, 해당 부분은 적목현상 부분이 아니라고 판단되어, 그 부분은 보정될 영역들의 리스트로부터 제거된다. 이 비율은 다수의 사진을 분석함으로써 결정되었지만, 특정 환경을 만족시키기 위해 상이한 비율을 선택할 수 있음을 이해할 것이다.

적색 영역의 반경을 결정하는 방법은 보다 큰 반경들 쪽으로 갈수록 에러가 난다(그 이유는 상기 방법이 색조 데이터만을 이용하고 채도 또는 명도를 고려하지 않기 때문이다) - 즉, 상기 방법은 영역을 실제보다 약간 크게 산출하며, 이는 도 4에 도시된 바와 같이 상기 영역이 모든 적색 화소들 이외에도 몇몇 주변의 적색이아닌 화소들을 포함하는 것을 의미한다. 적목현상을 보정하기 위해 사용된 방법이 적색이 아닌 화소들을 조정하려고 시도하지 않는 한 이것은 단점이 아니다. 적목현상 영역 내에서 하이라이트의 위치를 정확하게 결정하려고 시도하지 않는 상기 실시예에서는 약간 큰 사이즈도 유용하다: 본 실시예의 구현은 위치가 중심에 있다고 가정하지만, 항상 이러한 경우는 아니다.

적합한 알고리즘은 다음과 같다:

이 알고리즘은 (상기한 바와 같이, 수직 로우(row)의 중심 화소(8)로 정의되어 있는) 하이라이트의 중심에 있는 화소들의 로우들을 따라 수평으로 검색함으로써 적목현상 부분의 반경을 결정함을 이해할 것이다. 본 기술분야의 통상의 지식을 가진 자는 하이라이트로부터 방사상으로 검색하기 위해 알고리즘을 수정하거나, 또는 하이라이트를 둘러싸는 적색 영역의 형상 및 범위를 결정할 수 있을 것이다.

일단 적목현상 부분들의 반경들이 결정되면, 중첩하는 부분들에 대해서 검색될 수 있다. 적색 동공 영역(3)이 하이라이트 주변의 또 다른 적색 동공 영역(3)과 중첩하면, 그 부분은 적목현상에 의한 것이 아니다. 따라서 이러한 부분들은 버려질 수 있다.

이 작업을 수행하기 위한 알고리즘은 2가지 단계로 진행한다. 첫번째는 모든 적목현상 영역들에 걸쳐 반복된다. 각 적목현상 영역에 대해, 각 적목현상 영역과 중첩되는 하나의 다른 적목현상 영역이 발견될 때까지 검색이 이루어진다. 중첩이 발견되면, 양쪽 적목현상 영역들은 삭제용으로 표시된다. 적목현상 영역이 하나 이상의 다른 적목현상 영역과 중첩하는지를 결정할 필요는 없다.

두번째 단계는 삭제용으로 표시된 모든 적목현상 영역들을 삭제한다. 적목현상 영역들이 중첩되었다고 결정되자마자 삭제되면 아직 검출되지 않은 기타의 적목현상 영역들과의 중첩들이 제거될 수 있기 때문에 삭제는 중첩 검출과 분리되어야 한다.

알고리즘은 다음과 같다:

2개의 적목현상 영역의 반경의 합이 그 중심들 사이의 거리보다 크면, 2개의 적목현상 영역들이 중첩된 것으로 판정된다.

상기 알고리즘과 동일한 효과를 달성하는 또 다른 방법은 중첩하지 않는 적목현상 영역들만을 포함하는 적목현상 부분들의 새로운 리스트를 생성하는 것이다. 적목현상 부분들의 원래의 리스트는 그 후 버려지고 그 대신 새로운 것이 사용될 수 있다.

전반적인 검출 프로세스는 도 5의 흐름도로서 도시된다.

그 후, 적목현상 감소는 검출된 적목현상 부분들에 수행된다. 적목현상 감소를 수행하는 방법은 여러가지가 공지되어 있고, 이제 적합한 프로세스가 설명된다. 설명된 프로세스는 적목현상을 보정하는 매우 기본적인 방법으로서, 본 기술분야의 통상의 지식을 가진 자는, 특히 보정된 영역의 에지들을 부드럽게 하고(softening) 적목현상 영역의 범위를 보다 정확하게 결정하는 것과 관련하여, 보다 나은 결과들을 달성하기 위한 개선의 여지가 있음을 이해할 것이다.

적목현상 보정 모듈에는 2개 부분: 제어 루프 및 적목현상 보정기가 있다. 제어 루프는 적목현상 검출 모듈에 의해 발생된 적목현상 영역들의 리스트를 두루 단순히 반복하여 각각을 적목현상 보정기로 보내는 것이다:

적목현상 보정기에 대한 알고리즘은 다음과 같다:

각 화소에 대해, 2가지의 매우 간단한 확인이 있으며, 결과로서 각 화소는 간단한 조치가 취해진다:

1. 화소의 채도가 중간이거나 또는 높으면, 그리고 화소의 색조가 적색들의 범위 내에 있으면, 화소는 완전히 채도가 낮게된다(de-saturated). 즉, 채도는 적색 화소들이 회색으로 되게 하는 "0"으로 설정된다.

2. 또한, 화소가 어둡거나 명도가 중간이면, 그것을 흑색으로 바꾼다. 대부분의 경우들에 있어서, 이것은 제1 확인의 결과로서 이루어진 조정을 실질적으로 무효로 한다: 즉 적목현상 영역 내의 대부분의 화소들은 흑색으로 될 것이다. 흑색으로 되지 않은 화소들은 하이라이트 내 그리고 주변에 있는 화소들이다. 이들로부터 적색 성분(redness)이 제거되기 때문에, 그 결과 어두운 흑색 동공 및 밝은 백색 하이라이트를 가진 눈이 된다.

보정 방법의 특징은, 그 효과가 누적되지 않는다는 것이다: 즉 어떤 영역에 보정이 가해진 후, 동일한 영역에 후속 보정들이 가해져도 효과가 없을 것이다. 이는, 적목현상 검출 모듈이 잠재적으로 중첩하는 적목현상 영역들의 리스트를 산출한다면(예를 들면, 다수의 하이라이트 검출이 제거되지 않는다면) 바람직한 특징이 될 것이다. 그러나, 중첩하는 적목현상 영역들은 특별히 제거되기 때문에, 보정 모듈의 누적하지 않는 성질은 현재의 구현에 있어서 중요하지 않다.

검출 모듈 및 보정 모듈은 따로 구현될 수 있음을 이해할 것이다. 예를 들면, 검출 모듈은 디지털 카메라 또는 유사한 것에 배치되어, 적목현상 부분들을 검출하고 사진을 찍을 때 이러한 부분들의 위치에 대한 리스트를 제공할 수 있다. 그 후, 사진이 카메라로부터 컴퓨터로 다운로드된 후에 보정 모듈이 적용될 수 있을 것이다.

본 발명에 따른 방법은 다수의 이점을 제공한다. 상기 방법은 전체 이미지에 작용하지만, 사용자는 적목현상 감소가 적용될 이미지의 일부분, 예를 들면 단지 얼굴들을 포함한 영역을 선택할 수 있음을 이해할 것이다. 이것은 필요한 처리량을 감소시킬 것이다. 전체 이미지가 처리되면, 사용자 입력은 필요하지 않다. 또한, 상기 방법은 매우 정확할 필요는 없다. 적목현상 감소가 적목현상이 유발되지 않는 하이라이트 주변에서 수행되면, 사용자는 그 차이점을 인식하기 어려울 것이다.

적목현상 검출 알고리즘은 적색의 영역들을 검색하기 전에 밝고 채도가 매우 높은 점들을 검색하기 때문에, 상기 방법은 JPEG 압축 화상들 및 컬러가 저해상도로 인코딩되는 다른 포맷에 특히 잘 작용한다.

상술한 실시예들로부터의 변경들이 본 발명의 범위 내에 있을 수 있음을 이해할 것이다. 예를 들면, 상기 방법은 망막으로부터의 반사에 의해 적색 영역이 되는 인간의 눈을 참조하여 설명되었다. 몇몇 동물들에 있어서, "적목현상(red-eye)"은 녹색 또는 황색 반사 등으로 될 수 있다. 본 발명에 따른 방법은 이 영향을 보정하기 위해 사용될 수 있다. 사실, 특정 색조의 영역 보다는 밝고 채도가 높은 영역을 검색함으로써 본 발명의 방법은 적색이 아닌 동물의 "적목현상"을 검출하기에 특히 적합하게 된다.

또한, 상기 방법은 하이라이트 영역이 적색 동공 영역의 중심에 정확히 위치되어 있는 적목현상 부분들에 대해 설명되었다. 그러나, 상기 방법은 하이라이트 영역이 중심을 벗어나거나 적색 영역의 에지에 있는 적목현상 부분들에 대해서도 여전히 작용할 것이다.

몇몇 적목현상 부분들은 구별된 하이라이트 영역을 갖지 않지만, 이 부분들에서 적색 동공 영역의 전체가 높은 채도 및 명도 값들을 갖는다. 이러한 경우에 적목현상 부분 및 하이라이트 영역은 크기가 동일할 것이고, 하이라이트 영역 외부에 임의의 추가 적색 부분이 존재하지 않을 것이다. 즉, 하이라이트 영역(2) 및 적색 동공 영역(3)은 동일한 영역을 점유할 것이다. 그러나, 상술한 방법은 "하이라이트"와 같은 영역들을 계속 검출하여, 각 적색 영역(3)이 하이라이트와 동일한 반경을 갖는 것으로 식별될 것이다. 따라서 이러한 부분들은 본 발명에 따른 방법을 사용하여 검출될 것이다.

Claims (21)

1. 디지털 이미지를 처리하는 방법에 있어서,

   주변에 있는 영역들의 화소들보다 채도(saturation) 및/또는 명도(lightness) 값들이 높은 화소들을 갖는 이미지의 하이라이트(highlight) 영역들을 식별하는 단계;

   상기 하이라이트 영역들의 일부 또는 전부와 관련된 적목현상 부분들(red-eye features)을 식별하는 단계; 및

   상기 적목현상 부분들의 일부 또는 전부에 적목현상 감소를 수행하는 단계

   를 포함하는 방법.
2. 제1항에 있어서,

   각 하이라이트 영역 내의 단일 기준 화소는 관련된 적목현상 부분의 중심점으로서 선택되고, 해당 적목현상 부분에 대한 적목현상 감소는 상기 기준 화소를 중심으로 이루어지는 방법.
3. 제1항 또는 제2항에 있어서,

   상기 하이라이트 영역과 그에 인접한 영역들 사이에 화소의 채도 및/또는 명도의 뚜렷한 변화가 존재하면 하이라이트 영역이 단지 식별되는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,

   적목현상 감소에 대한 가능성들로서 상기 하이라이트 영역들의 적어도 일부를 제거하는 단계를 더 포함하는 방법.
5. 전술한 항들 중 어느 한 항에 있어서,

   적목현상 부분에 대한 상기 적목현상 감소는 해당 적목현상 부분과 관련된 상기 하이라이트 영역이 소정의 최대 직경을 초과하면 수행되지 않는 방법.
6. 전술한 항들 중 어느 한 항에 있어서,

   각 하이라이트 영역이 실질적으로 선형인지를 결정하고, 해당 하이라이트 영역이 실질적으로 선형이면 적목현상 부분을 하이라이트 영역과 관련시키지 않는 단계를 더 포함하는 방법.
7. 전술한 항들 중 어느 한 항에 있어서,

   적목현상 감소는 서로 중첩하는 임의의 적목현상 부분들을 중심으로 수행되지 않는 방법.
8. 전술한 항들 중 어느 한 항에 있어서,

   각 적목현상 부분에 대해 상기 하이라이트 영역을 둘러싸는 상기 영역 내의 화소들의 색조를 식별하는 단계, 및 상기 영역 내의 상기 화소들이 소정의 비율 이상의 적색을 포함하면 단지 적목현상 감소를 수행하는 단계를 더 포함하는 방법.
9. 제8항에 있어서,

   각 하이라이트 영역 주변의 상기 적목현상 영역 - 상기 적목현상 영역은 상기 소정 비율 이상의 적색을 포함한 색조를 갖는 화소들을 가짐 - 의 반경을 결정하는 단계를 더 포함하는 방법.
10. 제9항에 있어서,

    적목현상 감소는, 상기 하이라이트 영역의 상기 반경에 대한 상기 적목현상 영역의 상기 반경의 비가 소정의 값들의 범위 내에 있으면 단지 적목현상 부분에 대해 수행되는 방법.
11. 전술한 항들 중 어느 한 항에 있어서,

    상기 디지털 이미지는 사진으로부터 얻어지고,

    사진을 찍을때 플래시가 터지는지를 결정하는 단계, 및 플래시가 터지지 않으면 하이라이트 영역들을 식별하지 않거나 또는 적목현상 감소를 수행하지 않는 단계를 더 포함하는 방법.
12. 전술한 항들 중 어느 한 항에 있어서,

    상기 디지털 이미지가 단색인지를 결정하는 단계, 및 상기 디지털 이미지가단색이면 하이라이트 영역들을 식별하지 않거나 또는 적목현상 감소를 수행하지 않는 단계를 더 포함하는 방법.
13. 제1항 내지 제3항 중 어느 한 항에 있어서,

    적목현상 부분은 식별된 각 하이라이트 영역과 관련되고, 적목현상 감소는 모든 적목현상 부분들에 대해 수행되는 방법.
14. 디지털 이미지에서 적목현상 부분들을 검출하는 방법에 있어서,

    주변의 영역들 내에 있는 화소들보다 채도 및/또는 명도가 높은 화소들을 포함하는 하이라이트 영역들을 식별하는 단계; 및

    추가의 선택 기준을 적용하는 것에 기초하여 각 하이라이트 영역이 적목현상 부분에 대응하는지를 결정하는 단계

    를 포함하는 방법.
15. 제14항에 있어서,

    상기 추가의 선택 기준은 상기 하이라이트 영역을 둘러싸는 화소들의 색조를 테스트하는 단계, 및 상기 색조가 적색에 대응하는 소정의 영역 외부에 있으면 상기 하이라이트 영역이 적목현상 부분에 대응하지 않는다고 결정하는 단계를 포함하는 방법.
16. 제14항 또는 제15항에 있어서,

    상기 추가의 선택 기준은 상기 하이라이트 영역의 형상을 식별하는 단계, 및 상기 형상이 실질적으로 원형이 아니면 상기 하이라이트 영역이 적목현상 부분에 대응하지 않는다고 결정하는 단계를 포함하는 방법.
17. 디지털 이미지에서 적목현상 부분들의 시각적 효과를 감소시키는 방법으로서,

    제14항 내지 제16항중 어느 한 항의 방법을 사용하여 적목현상 부분들을 검출하는 단계; 및

    각 하이라이트 영역 주위의 화소들의 색조를 변경하여 상기 화소들의 적색 용량을 감소시키는 단계

    를 포함하는 방법.
18. 전술한 항들 중 어느 한 항의 방법이 적용되는 디지털 이미지.
19. 제1항 내지 제17항 중 어느 한 항의 방법을 수행하도록 구성된 장치.
20. 제1항 내지 제17항 중 어느 한 항의 방법을 수행하도록 구성된 컴퓨터 프로그램을 저장하고 있는 컴퓨터 저장 매체.
21. 본 명세서에 첨부 도면들을 참조하여 설명된 방법.