KR20010113791A - 가상 트루 칼라 광 증폭 - Google Patents

Abstract

칼라 왜곡없이 디지털 이미지를 향상시키는 방법이 제공된다. 그 결과는 가상 플래시와 같이 유효 집광 전력을 변화시키면서 입력 디지털 이미지의 각각의 도트와 모든 도트의 본질적 칼라를 보존하는 조절된 이미지이다. 이미지 개선은 RGB 칼라 공간에서 실행되고, 도트 RGB 트리플릿의 R, G, B의 최대 세기와, 이와 유사하게 모든 도트에 대해 앞서의 최대 세기를 결정하는 과정을 포함한다. 도트 최대값은 시스템 동적 범위에 대한 도메인과 범위에서 제약되는 스케일링 함수를 통해 스케일링된다. 도트 최대값에 적용되는 동일한 스케일링 인자는 트리플릿의 R,G,B 각각에 또한 적용된다. 트루 칼라를 유지하면서 심미적으로 즐거운 향상을 제공하기 위해 시스템 동적 범위의 최대값과 최소값에 부드럽게 접근하는 연속 스케일링 함수가 제공된다. 토론되는 실시예에서, 이미지 일부가 RGB 칼라 공간에서 선택될 수 있고, 전체 동적 범위로 정규화될 수 있으며, 그래서 트루 칼라 유지를 위해 R,G,B의 비에 영향을 미치지 않으면서 관심있는 영역을 강조한다.

Description

가상 트루 칼라 광 증폭{VIRTUAL TRUE COLOR LIGHT AMPLIFICATION}

성당의 스테인드글래스 창을 사진찍고자할 경우, 최종 이미지는 현대적인 입맛에 맞추기에는 너무 어두울 것이다. 실제 스테인드 글래스의 아름다움은 상실된다. 더욱이, 사진사가 사진기의 애퍼쳐를 줄임으로서 이미지의 필드 깊이를 증가시킬 수 있지만, 유입광이 손실되고 그래서 이미지가 어두워질 수 있다. 더욱이, 정지 이미지 장치는 지정 애퍼쳐와 노출 시간을 이용하여 이미지를 찍을 수 있기 때문에, 명/암 사이에 큰 불균형을 가지는 이미지는 절충을 꾀할 수 있다. 즉, 세부적인 면을 적절하게 보여주려는 시도로 어두운 영역이나 밝은 영역을 바탕으로 필름을 노출시키거나 찍도록 조절한다. 앞서 중 어떤 것으로부터의 이미지도 이미지 향상의 장점을 보일 수 있다.

관찰자에 의한 일반적인 반응은 어두운 영역을 밝게하고자 하는 것이고, 따라서 눈으로 볼 때 어두운 세부사항을 드러내는 것이다. 현 기술은 밝게 조정할 때 한가지 또는 두가지의 바람직스럽지 못한 효과를 생성한다. 즉, 칼라가 거의 그레이로 씻겨나가거나, 더 밝은 영역이 칼라 측면에서 왜곡되고 일부는 완전히 씻겨나간다. 왜곡된 영역은 면의 세부사항같이 가장 관심있는 영역인 경향이 있다.

기존 디지털 이미지 처리는 어느 정도 수준의 밝기가 요구되는 동일한 문제점들을 가진다. '표준' 향상은 이미지를 밝게하고, 그후, 칼라를 증폭하는 것이다. 이 해법은 근사적인 해법일 뿐으로서, 첫 번째 보았을 때 너무 나쁘지 않은 이미지에서만 작용한다. 상당한 양의 밝기 조절이 이용될 경우 이미지는 칼라-왜곡이 심해진다.

Kuo 외 다수의 미국특허 5,982,926 호에서, Kuo는 RGB 칼라 공간을 HSV 칼라 공간으로 먼저 변환함으로서, 영상으로부터 발생하는 특정한 하나의 칼라 이미지가 보다 효과적으로 향상될 수 있다는 점을 제시한다. 그후 모든 동작은 HSV 변환 칼라 공간에서 실행된다. HSV 칼라 공간에서, Kuo는 나머지 이미지 성분(채도;saturation, 명도;intensity)으로부터 칼라 정보(색조;hue)를 분리시키고 제거한다. Kuo는 왜곡을 색상이나 색조 성분에 삽입시키지 않으면서 채도 및 명도 성분이 향상될 수 있음을 제시한다. Kuo의 칼라 이미지는 HSV 칼라 공간에서 다수의 화소로 나타난다. 변환된 후, Kuo는 HSV를 RGB 칼라 공간으로 역변환한다. 선호되는 실시예에서, Kuo는 명도(V)와 채도(S)를 조절한다. 요약하면, Kuo는 RGB를 HSV 칼라 공간으로 변화하고, 두 개의 순차 변환 기능을 V와 S에 각각 적용하며, 그리고 마지막으로 디스플레이를 위해 HSV를 RGB로 역변환한다.

채도의 조작이 칼라에 영향을 미치지 않으며 따라서 Kou의 기술이 트루 칼라 향상을 이끌지 않는다는 점을 출원인은 주장한다. 칼라 사진은 R, G, B의 세 자유도를 가진다. 이때, 흑색 사진과 백색 사진만이 한 개의 자유도를 가진다. 세 값의 어떤 변환도 세 개 이상의 값을 변화시키고, 그 각각은 한 개의 칼라 성분을 포함하며, 단일 칼라값(색조)만이 아니라 두 개의 다른 독립 구조 성분(즉, 채도 및 명도)까지 포함한다. 색조는 채도보다 칼라에 민감하지만, 채도는 역시 한 개의 칼라 성분이다. 도트의 채도를 조절하는 것은 도트의 RGB 분포를 변화시키고, 따라서 그 칼라를 변화시킨다. 이미지를 밝게하는 것과 같이 채도가 변할 경우, 그 결과는 녹화 장치나 카메라가 더 밝은 조건 하에서 실제 세상에서 직접 이미지를 얻은 경우와 같지 않다.

더욱이, Kuo는 연산 오버헤드나 비용을 최소화하는 것을 강조하고 기도하였다. 불행하게도, Kuo는 Kuo가 HSV 화소에 행한 어떤 조절(두가지가 선호됨)에 추가하여, RGB-HSV 변환과 HSV-RGB 변환을 삽입한다. RGB-HSV 칼라 공간으로의 변환과 그 역은 연산-집약적 수학 함수의 이용을 포함한다.

Dischert에게 허여된 미국특허 3,684,825 호에서, 증폭기와 신호 강도 정형기를 포함하는 회로가 R, G, B 칼라 이미지 픽업 튜브와 출력 칼라플렉서 중간에 위치한다. 회로는 출력 칼라플렉서 신호의 클리핑을 방지하도록 스트리밍 신호에 콘트래스트를 압축시킨다. 칼라 픽업 튜브가 100:1의 콘트래스트 비일 수 있고 출력 시스템은 20:1뿐일 수 있기 때문에, 상당한 압축이 필요하다. 칼라 왜곡을 방지하기 위해, Dischert는 상대적 비를 유지하면서도 출력 콘트래스트 레벨로의 R, G, B 각각의 이득의 압축을 공개한다.

따라서, 이미지 개선 중 각 도트에 대한 트루 칼라를 유지할 수 있는 연산방식이 효율적인 처리가 요구된다.

본 발명은 얼만큼의 이미지 밝기 조절이 필요한 지에 상관없고 상기 밝기 조절의 특징이 무엇인 지에 상관없이, 이미지의 모든 도트의 칼라가 모든 환경에서 보존되는 기술을 제공함으로서 앞서 문제점들을 해결한다.

본 발명은 디지털 칼라 이미지를 향상시키는 방법에 관한 것이다. 특히, 이 방법은 이미지에 대한 인히어런트 동적 범위를 넘지 않으면서 이미지 내에 RGB 도트의 강도를 변화시키는 스케일링 기능을 적용한다.

도 1은 입력되는 각각의 R, G, B 도트 최대값을 조절되는 출력 도트 최대값으로 교정하기 위한 원칙으로 선형 함수를 도시하는 그래프로서, 두 도트 최대값들은 시스템의 동적 범위 내에 제약된다. 이 특정 함수는 단위 함수일 수 있고, 도트최대값의 최대값을 1.0으로 사전-스케일링함으로서 입력이 동적 범위에 대해 정규화되지 않으면, 어떤 교정도 실행할 수 없다.

도 2는 디지털 스크린 이미지 판독, 칼라 도트 추출, 도트 최대값, 발견, 도트 최대값에 대한 교정 인자 적용, 도트에 대한 전체 RGB 값에 교정 적용, 그리고 교정된 칼라 도트를 다시 스크린에 기록하기 위한 비주얼 베이식으로 된 간단한 코딩 예다.

도 3은 개선된 필드 깊이를 얻을 수 있도록 작은 애퍼쳐 이용과 같이 의도적으로 저노출된 이미지를 수정하도록 고안된 스케일링 함수를 도시하는 그래프이다.

도 4는 범위의 20%에서 100%까지를 스케일링하거나 전체 동적 범위를 스케일링함으로서 이미지 범위의 0.3-0.5% 사이에 놓이는, 도트 최대값의 특정 영역 내 콘트래스트를 향싱시키는 스케일링 함수를 도시하는 그래프로서, 이때 어두운 영역과 밝은 영역의 콘트래스트가 감소한다.

도 5는 이미지 범위의 0.1-0.2 사이에 놓이는 암영역에서 도트 최대값을 향상시키는 도 4에 따른 그래프.

도 6은 이미지 범위의 0.1-0.9 사이에 놓이는 명영역에서 도트 최대값을 향상시키는 도 4에 따른 그래프.

도 7a는 x1,y1과 x2,y2 윈도우 영역을 선택하기 위해 GUI 인터페이스를 이용하는 비쥬얼 베이식의 간단한 코딩 예로서, 윈도우에서 디지털 스크린 이미지를 판독하고, 칼라 도트를 추출하며, 도트 최대값을 발견하고, 도트 최대값에 대한 교정 인자를 적용하며, 도트 최대값 발생의 히스토그램을 구축한다.

도 7b는 제 3 실시예에 따른 히스토그램을 발생시키기 위한 비쥬얼 베이식에서 간단한 코딩 예의 도면.

도 8은 이미지 밝기조절을 통해 심미적으로 편안한 향상을 생성하는, 단위 대각선 위에 겹쳐지는 가변 스케일링 함수의 그래프.

도 9a-9f는 대성당(Abbey)의 사진으로서, a는 원본, b는 공지 기술 하에서 밝기 조절된 사진, c는 공지 기술하에서 밝기 및 콘트래스트 조절된 사진, d는 공지 기술 하에서 밝기 및 채도 조절된 사진, e는 완전한 동적 범위에 대하여 발명의 제 1 실시예에 따라 향상된 사진, f는 본 발명의 제 2 실시예에 따라 향상된 사진의 도면이다.

도 10a-f는 돌 헨지(Stone Henge)의 사진으로서, a는 원본, b는 공지 기술 하에서 밝기 조절된 사진, c는 공지 기술하에서 밝기 및 콘트래스트 조절된 사진, d는 공지 기술 하에서 밝기 및 채도 조절된 사진, e는 완전한 동적 범위에 대하여 발명의 제 1 실시예에 따라 향상된 사진, f는 본 발명의 제 2 실시예에 따라 향상된 사진의 도면이다.

도 11a와 11b는 위성의 원본과, 발명의 제 3 실시예에 따라 향상된 사진이다.

도 12a와 12b는 비행선 원본과, 발명의 제 3 실시예에 따른 향상된 사진이다.

도 13a와 13b는 차량번호판의 원사진과, 본 발명의 제 3 실시예에 따라 향상된 사진이다.

도 14a, 14b, 14c는 스키장의 스키어와 스키 자국의 원본과, 발명의 제 3 실시예에 따라 향상된 두 개의 사진으로서, 각각은 향상을 보이기 위해 사진의 서로 다른 부분을 이용한다.

본 발명의 효과는 디지털 이미지 레코더에 의해 캡쳐되는 광을 가상으로 증폭하는 것이다. 이는 본 발명을 이용하여 캡쳐된 이미지가 처리될 때, 더 큰 애퍼쳐의 이용이나 더 긴 광수집 듀레이션의 이용을 시뮬레이션하는 것을 포함하여 상기 도트에 대한 서로 다른 광 수집 전력이나 과정을 디지털 이미지 레코더가 이용하는 것과 똑같이, 처리되는 이미지 내의 각각의 도트가 수정된다는 것을 의미한다.

이 수정된 광 수집 과정은 전체 처리된 이미지 사이에서 균일하게 적용될 수 있고, 또는 도트마다 변할 수 있다. 디지털 레코더의 동적 범위가 절대 초과되지 않는다는 것을 보장함으로서, 주 RGB 칼라 공간에서 동작함으로서, 그리고 칼라 도트에서 R,G,B 각각을 동일하게 취급함으로서, 가상 광 증폭 처리는 원 이미지의 트루칼라를 보존한다.

선호되는 실시예에서, 그리고 RGB 공간에서, 디지털 이미지의 각각의 도트에 대해 RGB 값의 트리플릿이 추출된다. RGB 트리플릿의 최대값이 각각의 도트에 대해 결정된다. 모든 도트 최대값의 최대값이나 이미지 최대값이 결정되고 스케일링 함수가 규정되어 각 도트 최대값에 대한 스케일링 인자를 제공한다. 스케일링 인자나, 이를 규정하는 함수가 결정되고 도트 최대값, 특히 이미지 최대값에 적용되어, 어떤 최종값도 시스템의 공지된 동적 범위를 넘지 못한다. 도트 최대값에 적용되는 똑같은 스케일링 인자가 상기 도트의 잔여 R, G, B 각각에 또한 적용되어, R,G,B 간의 비나, 원래 비율을 유지하고, 그래서 트루 칼라를 유지한다.

이 개선 방식은 매우 효율적이어서, 각각의 칼라 도트를 개선시키기 위해 동일한 스케일링 인자에 의해 세 개의 단순한 곱셈만을 필요로한다. 더욱이, 결정된 도트 최대값에 대한 스케일링 인자의 탐색표를 형성함으로서, 스케일링 인자의 계산이 단 한번에 실행된다. 일반적으로, 동적 범위는 0-255이고(최대 256개의 서로 다른 광 강도), 따라서 250,000 도트의 수준을 가지는 일상 이미지의 경우에, 그 중 최소 1000개 이상이 동일한 강도를 가지고, 그래서 동일한 스케일링 인자가 평균 1000 도트에 적용될 수 있고, 여러 연산을 절약할 수 있다. 공공연해지는 큰 이미지는 보다 많은 연산을 절약할 것이다.

따라서, 발명의 넓은 태양에서, 칼라 왜곡을 삽입하지 않으면서 디지털 이미지를 조절하는 방법이 제공된다. 이미지는 다수의 칼라 도트로 형성되고, 각각의 도트는 세 개의 주색상 R, G, B의 강도를 나타내는 세 개 이상의 독립값을 가진다. RGB 값 각각은 시스템의 동적 범위의 최소값과 최대값 사이에 놓인다.

이 방법은 아래의 단계로 구성된다. 즉,

- RGB 칼라 공간에서 세 RGB 값의 도트 최대값을 결정한다.

- 스케일링된 도트 최대값이 항상 시스템의 동적 범위 최대값보다 작거나 같도록 각각의 도트 최대값에 지정된 스케일링 인자를 적용한다.

- 도트 최대값에 사용되는 동일한 지정 스케일링 인자를 도트의 두 잔여 R, G, B 값 각각에 적용한다.

앞서 방법으로 조절될 때, 조절되는 이미지는 각각의 도트에 대해 새롭게 스케일링된 다수의 RGB 값을 포함하고, 이때 한 도트에 대한 R, G, B간의 비는 스케일링 이전과 마찬가지로 동일하게 유지되며, 그래서 트루 칼라를 유지한다.

연속 스케일링 함수로부터 스케일링 인자를 얻는 것이 선호된다. 스케일링 함수는 동적 범위 최대값을 넘지 않으면서 동적 범위의 일부에 대해 이미지의 범위 일부를 정규화한다. 이미지의 도트 수보다 동적 범위의 크기가 작기 때문에, 스케일링 인자의 탐색표를 먼저 구축함으로서 연산 효율이 개선된다.

선호되는 스케일링 함수는 대부분의 디지털 이미지의 심미적으로 즐거운 개선을 보여주는 완만한 "S" 곡선이다.

또다른 선호되는 실시예에서, 노출이 적인 영역처럼 이미지 일부만을 선택할 수 있고, 세부사항을 개선시키기 위해 시스템의 전체 동적 범위에 대해 서브세트 이미지 범위를 정규화시킬 수 있으며, 이때 어떤 도트에 대해서도 시스템 동적 범위를 넘지 않으며, 각각의 도트에 대해 R, G, B의 비를 명심하면서 트루칼라를 유지한다.

먼저, 디지털 이미지 레코더 등을 이용하여 이미지가 캡쳐된다. 디지털 이미지 레코더는 두 카테고리로 분류된다. 즉, 물리적 디지털 이미지 레코더와 가상 디지털 이미지 레코더로 분류된다. 물리적 디지털 이미지 레코더(10)는 광에너지 측정에 의해 디지털 이미지를 레코딩하는 장치이다. 예를 들자면 디지털 카메라(11)가 있다. 전통적인 필름식 카메라와 마찬가지로, 디지털 카메라(11)는 광 수집을 제공하는 '렌즈 복합체'를 가지며, 광의 실제 측정값을 나타내는 각 도트의 값이 광의 실제 측정값을 나타내도록 디지털 센서의 배열에 의해 이미지가 레코딩된다. 디지털 이미지는 전통적 사진의 디지털 스캔으로도 얻을 수 있다. 사진에서, 집광(light gathering)은 전통적 카메라에 의해 제공되고, 이미지는 필름 위에 맺히게 된다. 따라서, 물리적 디지털 이미지 레코더(10)는 필름/인쇄 이미지를 생성하는 카메라와 이를 디지털화한 스캐너(12)의 조합일 수 있다. 다른 예로는 디지털 무비, 디지털화된 무비, 디지털 x-레이, 등이 있다.

가상 디지털 이미지 레코더(10)는 현실을 모방하는 컴퓨터에 의한 구현이다. 프로그램은 컴퓨터 자체 내부의 사진 처리의 논리 정보에 의해 "가상 현실"에서 "가상 이미지"를 생성한다. 이 디지털 이미지는 컴퓨터 모델이 실제로 존재할 경우 사진과 동일하게 보인다. 그 예로는 공룡을 시뮬레이션한 영화를 들 수 있다.

렌즈 복합체는 여러 형태의 사진술에서 집광을 위한 장치이다. 최소한 한 개 이상의 렌즈가 존재하며, 이들 렌즈에 대해 일반적으로 한 개의 시스템이 존재한다. 렌즈 복합체는 집광을 제어하는 애퍼쳐 스탑과 셔터를 또한 포함한다.

렌즈의 집광 전력은 대물 렌즈 자체의 표면적 측면에서 자주 측정된다. 다른 렌즈보다 두배의 면적을 가지는 렌즈는 두배의 광을 모을 수 있다. 실제로, 렌즈 복합체는 실제 모이는 광의 양에 두가지 제어를 한다. 첫 번째 제어는 단위 시간당 모이는 광의 양을 변화시키는 조절가능한 애퍼쳐이다. 셔터를 두배 길이로 여는 것은 카메라에 두배의 광에너지가 유입됨을 의미한다.

트루 칼라 디지털 이미지는 도트 그리드를 포함하며, 여기서 각각의 도트는 빛의 R, G, B 성분의 세기를 나타내는 세가지 독립적인 측정값을 가진다. 이는 RGB 칼라 공간으로 알려져 있다. 컴퓨터 디스크 기억 공간을 절약하도록 여러 압축 기법을 이용하여 이 이미지들을 위해 사용되는 여러 컴퓨터 파일 포맷(13)들이 있다. 압축 기법에 상관없이, 모든 이러한 디지털 파일 포맷(13)은 RGB 값을 가지는 도트 그리드를 저장한다.

현재, 각각의 R,G,B 값에 대해 이러한 파일이나 시스템에 의해 저장되는 공통 표준 최대값은 255이다. 따라서, 각각의 RGB 성분은 0에서 255까지의 세기를 가질 수 있다. 일부 파일 포맷은 0에서 1023까지의 범위의 값을 저장할 수 있고, 더 높은 포맷도 이와같은 방식을 취한다.

동적 범위

디지털 이미지 레코더를 포함한 모든 장치는 반응성 에너지 변동을 레코딩하는 능력을 측정하는 동적 범위를 가진다. 앞서 언급한 바와 같이, 동적 범위는 저장 수단, 파일, 시스템 등에 의해 설정되는 것이 일반적이고, 통상적으로 0-255 사이의 값을 가진다. 사진술에서, 성공 방법은 동적 범위를 벗어나지 않으면서 모든 동적 범위를 이용하는 것이다. 사진에서, 기술은 어떤 곳의 세부사항 손실없이 명영역에서의 세부사항과 암영역에서의 세부사항을 캡쳐하는 것이다.

필름 사진술에서, 네가티브인 주요 영역이 완전히 불투명하게 나타날 경우, 이는 상기 영역에서 빛이 강하여 어떤 필름 결정도 불변으로 남아있다는 것을 의미한다. 사진의 씻겨나간 영역 내의 변화는 손실되고, "시스템의 동적 범위를 초과하였다"고 말하여질 수 있다.

디지털 사진술에서, 광에너지의 세기는 광전 센서에 의해 측정된다. 이 값들은 트루 칼라 포맷 컴퓨터 파일로 저장된다. 시스템의 동적 범위는 그리드 영역이 최대값(255)으로 설정되었을 때 초과된다. 따라서, 명영역(가설 하에서 256-300) 내의 변화는 255로만 레코딩될 수 있고, 따라서 이러한 영역 내의 세부사항은 손실된다.

디지털 이미지의 경우에서와 같이 제한된 동적 범위를 가질 때, 캡쳐되는 광의 양은 이미지에 큰 영향을 미칠 수 있다. 레코딩 장치의 동적 범위 내에서 측정되는 광의 특정한 한 도트를 포함하는 한 이미지를 얻는 경우를 고려해보자. 가령, 광은 갈색면으로부터 올 수 있다. 광 도트는 R, G, B의 세가지 칼라 세기로 측정된다. 두배의 노출시간을 가지는 제 2 이미지를 얻을 경우, 각각의 도트와 매 도트에 대해 두배의 광이 레코딩 장치 내로 들어갈 것이다. 광의 범위가 시스템 동적 범위내에 있을 경우, R, G, B의 모든 세가지 값은 두배가 될 것이다. 그러나 원래의 갈색 도트의 칼라는 브라운으로 유지된다. 유입되는 광을 두배로 하는 것은 그 세기 측정값이 두배가 되는 것을 의미한다. R이 두배, G가 두배, B도 두배가 된다.

디지털 정보의 경우에, 광을 두배로 할 경우(큰 애퍼쳐를 사용하거나 노출시간을 늘림), 상대적인 RGB 값도 두배가 된다. 50, 30, 20의 RGB 값은 100, 60, 40이 된다.

두배의 에너지가 센서를 때릴 때, 각각의 센서는 두배의 자극을 가진다. 두배의 적색 에너지가 적색 센서를 때리고, 나머지 에너지는 이와 관련이 없다. 두배의 녹색 에너지가 녹색 센서를 때린다. 두배의 청색 에너지가 청색 센서를 때린다.

집광 전력이 증가함에 따라, 동일한 도트의 주색상의 세가지 측정도 다음의 표 1에 도시되는 바와 같이 비례하여 증가한다. 따라서 칼라는 동일하게 유지되고 더 밝아질 뿐이다.

표 1. - RGB 측정시 집광 전력 증가 효과

집광전력	내용	적색	녹색	청색	녹색/적색	청색/적색
1	"기준"	50	30	20	0.600	0.400
1.1	10%증가	55	33	22	0.600	0.400
1.2	20%증가	60	36	24	0.600	0.400
1.3	30%증가	65	39	26	0.600	0.400
1.4	40%증가	70	42	28	0.600	0.400
1.5	50%증가	75	45	30	0.600	0.400
2	2배증가	100	60	40	0.600	0.400
2.5	2.5배증가	125	75	50	0.600	0.400
3	3배증가	150	90	60	0.600	0.400
4	4배증가	200	120	80	0.600	0.400
5	5배증가	300	150	100	0.600	0.400

표 1에서, 집광 전력에 상관없이 녹색/적색의 비와 청색/적색의 비가 일정하다는 것을 주목하여야 한다.

집광 전력의 기준은 편의를 위한 인위적인 것이다. 표 1의 도트의 칼라를 무엇으로 정확하게 측정하겠는가? 흐린 실외 날씨에서 모아진 이미지는 50, 30, 20의 칼라 도트를 측정할 수 있고, 밝은 실내 환경에서 측정된 칼라 도트는 네배의 집광 전력을 이용하여 200, 120, 80일 수 있다.

집광되는 에너지 측면에서 집광 전력을 측정하는 것이 가능하지만, 실제로는 거의 행해지지 않는다. 우리의 눈의 집광 전력은 자연스럽게 변한다. 밤에 매우 밝아 보이는 도시의 불빛도 낮에는 침침하게 보인다 왜냐하면, 눈의 홍채가 밤에는 열렸다가 낮에는 자동적으로 닫히기 때문이다. 출원인은 동일한 집광 설정으로 주간의 자연광으로부터 야간의 도시 조명까지의 범위를 다룰수 있는 충분히 넓은 범위의 동적 범위를 가지는 레코딩 장치를 알지 못한다. 좋은 이미지를 만드는 것은 광에 따라 집광 능력이 변하여서 레코딩이 동적 범위의 외부로 밀려나지 않게 하는 것이다. 동일한 칼라나 도트에 대한 50, 30, 20과 200, 120, 80의 두 측정이 모두 유효하다.

적색, 녹색, 청색 각각에 대한 세기값과 같이 세 숫자의 세트에 대해, 여섯 개의 가능한 비율이 존재한다. 즉, G/R, B/R, G/B, R/G, R/B, B/G가 존재한다. 이 중 두 비만 정해지면, 나머지 네 개의 비는 첫 번째 두 개의 변화로 정해진다. 가령, G/R과 B/R을 바탕으로, 하여,

G/B = (G/R)/(B/R)

R/G = 1/(G/R)

R/B = 1/(B/R)

B/G = (B/R)/(G/R)

원칙적으로, 6개중 구분없이 두 개가 선택될 수 있다. 설명을 위해, G/R과 B/R이 선택된다.

RGB 트리플릿의 세기 값에 대한 효율적 선택은 세 개의 RGB 값 사이에서 최대값을 취하는 것이다. RGB가 50, 30, 20의 경우에, 적색이 최대값으로 선택되고 세기 계산 및 두 비는 다음과 같다.

세기 = 적색 = 50

비1 = 녹색/적색 = 30/50 = 0.6

비2 = 청색/적색 = 20/50 = 0.4

역으로, 다음과 같이 적색, 녹색, 청색값을 복구할 수 있다.

적색 = 세기 = 50

녹색 = 세기 x 비1 = 50 x 0.6 = 30

청색 = 세기 x 비2 = 50 x 0.4 = 20

RGB 트리플릿의 이러한 인위적 표시는 유용하다 왜냐하면, 어떤 도트의 경우에도 두 비율이 집광 전력에 독립적이기 때문이다. 집광된 빛의 양은 세기 성분에만 영향을 미친다.

너무 많이 빛을 모으면 칼라 측정이 왜곡된다. 왜냐하면, 세 주색상 RGB 중 한 개 이상이 동적 범위를 넘게되고, 따라서 정확하게 표시되지 않기 때문이다. 임의 기준의 집광 전력에서 앞서 예의 50, 30, 20 도트를 고려해보자. 이미지가 보다더 높은 집광 전력으로 재-레코딩될 경우, 한 개 이상의 칼라가 동적 범위 너머로 밀려나갈 것이다.

표 2 - 시스템 동적 범위를 넘는 집광 전력 증가

집광전력	내용	적색	녹색	청색	녹색/적색	청색/적색
1	기준	50	30	20	0.600	0.400
3	세배	150	90	60	0.600	0.400
5	다섯배	250	150	100	0.600	0.400
5.1	5.1배	255	153	102	0.600	0.400
5.2	5.2배	255	156	104	0.612	0.408
6	여섯배	255	180	120	0.706	0.471
7	일곱배	255	210	140	0.824	0.549
8	여덟배	255	240	160	0.941	0.627
9	아홉배	255	255	180	1.000	0.706
10	열배	255	255	200	1.000	0.784
11	열한배	255	255	220	1.000	0.863
12	열두배	255	255	240	1.000	0.941
13	열세배	255	255	255	1.000	1.000
1	기준	50	30	20	0.600	0.400

녹색/적색의 비나 청색/적색의 비가 집광 전력을 5.1배 이상으로 할 때 일정하지 않다는 것을 주목하여야 한다. 레코딩 장치(디지털 센서나 필름)에 의해 측정될 수 있는 최대 에너지 양이 존재하기 때문에, 어떤 대상에 대해서도 유용한 집광 전력에는 실제적인 한계가 존재한다. 표 2에서, 집광 전력이 기준 전력의 5배를 넘을 때, 동적 범위는 거의 다 사용되었다. 도트의 세기는 250이고, 저장할 수 있는 최대값은 255이다. 상기 최대값은 집광 전력의 5.1배에 정확하게 일치한다. 5.1배에서, 도트의 세기는 255이지만 두 비는 여전히 0.600과 0.400이다. 5.2 배의 집광 전력에서, 더 많은 빛이 레코딩 장치에 입사된다. 적색 센서는 260을 저장하여야 하나 동적 범위를 초과하기 때문에 260을 저장할 수 없다. 대신에 값이 255로 묶인다. 녹색 및 청색 센서에는 정확한 수사가 저장된다. 하지만, 부정확한 총칼라가레코딩되고, 이는 두 비가 0.600과 0.400의 정확한 비로부터 변함을 발견함으로서 드러난다. 6배의 집광 전력에서, 더 많은 빛이 입사되고, 왜곡은 상대적으로 커진다. 비는 0.706과 0.471로 달라지고, 이는 상당히 다른 칼라에 대응된다. 8.5배의 집광 전력에서, 청색 센서 역시 얽매인 값으로 측정된다. 빛은 적색 및 청색 칼라에서 동일한 세기를 가지는 것으로 레코딩된다. 청색-적색 비는 1.000으로, 앞서 왜곡된 색상(불그스름한 갈색)은 더욱 왜곡되어 오랜지색 계열로 나타난다. 마지막으로, 12.25배의 집광 전력에서, 모든 세 센서는 얽매인 값을 가지고, 칼라는 세 개의 충만한 세기의 주색상으로 레코딩되며, 이는 백색을 나타낸다.

칼라에 왜곡을 일으킬 수 있기 때문에 레코딩 시스템의 능력(동적 범위)을 넘어서는 빛의 집광을 피하는 것이 중요하다.

RGB 트리플릿 중 어떤 하나도 기준 칼라로 선택될 수 있다. 녹색이 가장 강한 칼라이고 칼라가 30, 50, 20(이전 적색 예에서와 동일한 기준 집광 전력을 가짐)이며 칼라가 표 3을 기준으로 할 경우, 동일한 결과가 나타난다.

표 3 - 가장 강한 칼라로 녹색을 가질 때 집광 전력 증가의 효과

집광전력	내용	적색	녹색	청색	녹색/적색	청색/적색
1	기준	30	50	20	1.667	0.667
3	세배	90	150	60	1.667	0.667
5	다섯배	150	250	100	1.667	0.667
5.1	5.1배	153	255	102	1.667	0.667
5.2	5.2배	156	255	104	1.635	0.667
6	여섯배	180	255	120	1.417	0.667
7	일곱배	210	255	140	1.214	0.667
8	여덟배	240	255	160	1.063	0.667
9	아홉배	255	255	180	1.000	0.706
10	열배	255	255	200	1.000	0.784
11	열한배	255	255	220	1.000	0.863
12	열두배	255	255	240	1.000	0.941
13	열세배	255	255	255	1.000	1.000
1	기준	30	50	20	0.600	0.400

도시되는 바와 같이, 녹색/적색 및 청색/적색 비가 매우 비슷한 방식으로 왜곡되는 동일한 상황이 발생한다. 이 경우에, 적색/녹색 및 청색/녹색 비는 적색의 경우에서 50, 30, 20에서와 같이 동일한 숫자(0.600과 0.400)를 생성한다.

따라서, RGB 트리플릿 중 어느 것이 최대인지 여부에 상관없이 대칭성이 존재하고, R, G, B 중 최대 세기 값으로 세기가 규정되고, 칼라 비 결과(적색/세기, 녹색/세기, 청색/세기)가 규정된다. 세가지 비 중 한 개는 1과 같을 것이다. 왜냐하면, 세기는 분자 중 하나와 항상 같기 때문이다. 표 1로부터 적색의 경우에, RGB = 50, 30, 20이어서, 세기 = (50, 30, 20)의 최대값인 50이고, 칼라비는 (50/50, 30/50, 20/50) = (1, 0.600, 0.400)이다.

따라서, 적색, 녹색, 청색의 각각의 경우에 대해,

칼라	세기	적색/세기	녹색/세기	청색/세기
50,30,20	적색	1	0.6	0.4
30,50,20	녹색	0.6	1	0.4
30,20,50	청색	0.6	0.4	1

앞서 고려한 바와 같이, 동일한 이미지에 대하여 카메라가 또다른 설정에 비해 더 많은 빛을 모을 때, 레코딩 시스템의 동적 범위 내에 있을 경우, 주어진 도트는 측정된 주색상의 비가 동일하게 유지되도록 품질을 유지한다. RGB 트리플릿으로 도트를 고려하는 대신에, 도트를 세기와 비로 생각할 수 있다. 기준 세기 50인 50, 30, 20의 도트에 대해, 칼라 비는 1, 0.600, 0.400이다.

이미지 향상

칼라비가 변경되지 않는 한, 이미지는 칼라에 악영향을 미치지 않으면서 조절될 수 있다. 일례로, 불충분한 광이 레코딩 장치에 의해 집광될 경우, 우리는 칼라를 유지하면서 광전력이나 세기를 증폭시킬 수 있다.

2의 교정 인자로 광을 증폭하거나 스케일링하기 위해, 세기는 칼라비를 변화시키지 않으면서 두배가 된다. 가령, (50, 30, 20)의 우리 도트의 세기를 100으로 두배하면, 50x2x(1,0.6,0.4) = (100, 60,40)의 칼라 도트가 형성된다. 단순히, R, G, B에 2를 곱함으로서 동일한 결과를 얻을 수 있다.

이 트루 칼라 광증폭은 모든 세 개의 주색상에 동일한 숫자를 곱하거나 스케일링함으로서 달성된다. 출력값이 동적 범위 내에 있는 한, 어떤 칼라도 왜곡되지 않는다. R, G, B 값 중 어느 하나가 이미지에 대한 파일 포맷에 의해 사용되는 범위(가령 255)보다 크게 연산될 경우, 동적 범위를 넘는다.

대수 스케일링 표현이나 함수로부터 교정을 취함으로서, 곱셈이나 스케일링으로부터 어떤 값도 동적 범위를 넘을 수 없다는 것을 보장할 수 있다.

도 1에서, X-축은 이미지 도트의 세기(R, G, B 중 최대값)를 나타낸다. 0-1의 스케일은 동적 범위의 제한(가령, 0-255)을 나타낸다. 도시되는 선형 대각선의 경우에, 도트에 대한 50의 세기(50/256 = 0.2)는 0.2의 출력값에 대해 단위값으로 스케일링된다. 따라서, 단위값 대각선은 출력이 입력과 같은 "비동작" 상황에 대응한다. 그러나, 스케일링 함수가 단위값으로부터 벗어나면, 출력값은 입력값과 달라, 이미지 변화를 나타낼 것이다.

0에서 1.0까지 동적 범위를 스케일링하는 것은 이 동적 범위로 저장될 수 있는 최대값으로 현 세기값(RGB 트리플릿의 최대값)을 나누는 것이다. 동적 범위로저장될 수 있는 최대값을 255라고 가정해보자. 임의의 도트는 0에서 255까지의 수를 가지는 도트 최대값 크기를 가질 것이다. 0에서 1.0으로 도트 최대값을 스케일링하기 위해 세기를 25로 나눈다.

입력축과 출력축은 RGB 트리플릿의 최대값, 즉 도트 최대값을 나타낸다. 입력은 고려하에서의 도트 최대값이다. 출력은 상기 방법의 결과로 계산될 RGB 트리플릿에 대한 조절된 도트 최대값에 대응한다.

도트 최대값

입력 RGB 트리플릿의 최대값을 찾는 한가지 방법은 트리플릿 중 한가지를 최대값으로 잡고 나머지를 테스트하여, 더 높은 것이 있을 경우 이를 최대값으로 재설정하는 것이다. 의사-코드의 다음의 3 라인은 도트 최대값의 선택을 설명한다.

strength = red

세기가 적색값으로 설정됨.

IF strength < green, THEN strength = green

세기가 녹색값보다 작을 경우 녹색값을 세기로 설정함.

IF strength < blue, THEN strength = blue

세기가 청색값보다 작을 경우 청색값을 세기로 설정함.

도 1에서, 어떤 스케일링이나 교정도 도시되는 1x1 그래프로 제약된다. 입력축은 0에서 1까지 도메인으로 제약되고, 출력축은 0에서 1의 범위로 제약된다. 이는 조절되거나 교정되는 도트의 세기가 동적 범위를 벗어나지 않음을 의미한다.

제한된 그래프 내에 표현될 수 잇는 어떤 스케일링 함수도 가상 트루 칼라광 증폭에 사용될 수 있다. 특정 그래프의 성질은 최종적인 아름다움과 응용에 영향을 미친다. 응용에 적절한 특정 함수가 선택된다. 전체 이미지의 밝기를 조절해야 할 지, 이미지 일부분의 밝기를 조절해야할 지, 또는 다른 조절을 해야할 지에 적절하게 특정 함수가 선택된다.

스케일링 함수 교정의 두가지 구현은 교정 탐색표를 형성하는 것이고, 또다른 수단은 각각의 도트를 독립적으로 계산하는 것이다. 한 이미지에서, 특정 도트의 세기값이 여러 다른 도트에 대해 여러차례 반복될 수 있다. 따라서, 효율적 연산을 위해, 탐색표의 경우에, 교정은 한번에 계산될 것이지만, 여러번 적용될 수 있다.

탐색표 접근법의 경우에, 특정 스케일링 함수를 구체화하기 위해 필요한 매개변수들이 공지될 경우, 모든 교정이 서브루틴에 의해 계산되고, 그 결과가 탐색표에 저장되어 각각이 한번에 계산되게 한다. 이 교정은 이 방식으로 간단하게 룩업된다(의사-코드 예는 다음과 같다).

corr = corra(strength)

이때, corr은 현 도트에 대한 특정 교정.

corra()는 교정을 저장하는 탐색표나 배열.

strength는 현 도트에 대한 도트 최대값.

다른 방법(덜 효율적임)은 특정 도트에 대한 교정을 함수가 계산하게 하는 것이다. 그 예는 다음과 같다.

corr = correct(strength)

이때, corr은 현 도트에 대한 특정 교정.

correct()는 이 방식으로 이름을 부름으로서 실행되는 교정 함수.

strength는 현 도트에 대한 RGB의 도트 최대값.

입력 및 출력값을 제공하는 그래프의 스케일링 함수를 따르는 주어진 점은 교정 멀티플라이어나 인자를 도출하기 위해 사용될 것이다. 교정 인자는 출력값/입력값과 같다.

각각의 칼라비를 유지하기 위해, RGB 트리플릿 값의 모든 세가지는 도트 최대값에 의해 구체화되면서 도트 최대값을 위해 결정되는 바와 같이 동일한 교정 corr과 곱해진다.

따라서, red = red*corr; green = green*corr; blue = blue*corr이고, 이때 적색, 녹색, 청색은 교정 전후 현 도트에 대한 값을 유지한다. 이 네가지 고려사항을 결합한 효과는 가상 트루칼라 광 증폭의 효과이다. 동적 범위는 절대 초과되지 않으며, 칼라는 항상 보존된다.

실용적 구현

이미지는 여러 방식으로 읽힐 수 있다. 출원인은 디스플레이되는 이미지에 상기 방법을 설명함으로서 여러 그래픽 컴퓨터 파일 포맷(13)을 리뷰할 필요성을 피하였다. 현재 비쥬얼 베이식(윈도우즈 운영체제 하에서 작동하는 프로그래밍 언어(14))과 대부분의 다른 현대 프로그래밍 언어(14)가 이미지 판독을 허용하는 간단한 명령을 가진다는 것을 출원인은 알고 있다. 비쥬얼 베이식에서, 한가지 명령은 pbox.Picture = LoadPicture(file_in)이고, 이때 pbox는 사진 디스플레이를 위해 사용되는 사진 박스 객체(picture box object)이고, Picture는 객체에 사진을 할당하는 '방법(method)'이며, LoadPicture()는 사진 파일(Picture File)을 판독하는 함수이고, file_in은 판독될 파일(13)의 이름이다. 이 명령이 비쥬얼 베이식에 의해 지시될 때, 이미지 파일(13)이 읽혀지고 "사진 박스 객체"라 불리는 프로그래밍 "툴"의 스크린에 디스플레이된다. 사진을 저장할 유사한 방법이 또한 존재한다.

도 2에서, 이미지에 적용되는 가상 트루 칼라 광 증폭 방법의 비쥬얼 베이식 구현을 간단화된 코드가 도시한다. 이 간단한 기술은 최소사양으로 16비트 비디오 카드를 필요로 하고 24비트 카드가 선호된다. 도 2의 코드는 비디오 카드(15) 자체로부터 칼라값을 추출하는 것을 지향한다. 이는 가장 효율적인 기술이 아니며, 메인 RAM 메모리(16)에 이미지를 저장함으로서 크게 향상될 수 있다. 이는 비디오 카드(15)로의 접근을 제거하고, 비쥬얼 베이식 함수 pbox.Point(icol,irow)에 의해 복귀되는 것과 같이 조합된 칼라 변수로부터 R, G, B 값을 드러내는 추출 단계를 제거한다. 메모리(16)로의 접근은 약 7배 효율의 이득을 얻을 수 있다.

간단하게, 처리과정은 조절될 도트의 장방형 디스플레이 이미지를 허용한다. 가령, 이미지는 어두울 수 있다. 도트 최대값의 일부인 128의 최대 세기만을 가지며, 달리 말하자면 시스템 동적 범위의 반인 최대 세기만을 가진다. 가장 간단한 경우에, 이미지 범위는 선형 함수로 동적 범위에 스케일링된다. 따라서, 128-255의 최대값을 정규화함으로서, 모든 도트 최대값의 세기는 두배가될 것이다. 따라서, 스케일링 함수는 단지 상수 2이고, 룩업 결과는 2이다. 이미지의 각각의 열(컬럼)에 대해, 칼라의 값은 청색, 녹색, 적색에 대해 추출된다. 도트 최대값은 적색으로설정되고, 녹색과 청색은 세가지 가운데 최대값으로 설정되도록 테스트된다. 교정은 이 경우에 상수 2인 탐색표에서 룩업된다. RGB에 대한 각각의 값은 2로 스케일링되고, 최대 스케일링값은 128*2이거나 256이다. 이는 동적 범위의 최대값이다. 수정된 도트는 디스플레이를 위해 다시 기록되고, 모든 칼라는 보존되며, 동적 범위를 벗어나지 않는다.

응용 - 스케일링 함수의 효과

이미지에 적용되는 스케일링 함수의 가상적으로 무한한 선택은 여러 다른 목적에 대해 적합한 서로 다른 효과를 나타낸다. 가끔씩 이미지의 품질은 어느 함수가 사용되는 지, 또는 이미지 내 특정 세기만을 향상시키는 보다 특정한 함수가 사용되는 지를 규정한다.

응용 - 가상 렌즈

애퍼쳐 및 셔터가 자체적인 문제점을 유발한다. 사진의 대상이 움직일 경우, 셔터는 짧은 시간동안 열릴 수 있고, 이미지는 움직임 자체에 의해 흐려질 것이다.

애퍼쳐가 크게 열릴 경우, 필드 깊이(초점이 맺히는 거리의 범위를 의미함)가 감소한다. 정확하게 초점이 잡힐 때조차, 크게 열린 애퍼쳐는 작은 범위의 거리만이 초점에 놓일 거시라는 것을 의미한다. 이 "왜곡"은 렌즈 자체의 구형인 형태에 기인한다. 애퍼쳐가 작을 경우, 렌즈의 거의 평평한 중심이 사용되기 때문에 필드 깊이가 좋아진다. 가장 작은 애퍼쳐의 설정은 가장 큰 필드 깊이를 생성한다.

실제로, 사진술(및 집광)은 이 두 효과와의 흥정이다. 움직임없는 장면은 작은 애퍼쳐와 느린 셔터 속도를 선택함으로서 큰 필드 깊이를 가질 수 있다. 경주차는 필드 깊이를 대가로 하여서만 찍을 수 있고, 셔터는 오래동안 열릴 수 없으며, 그래서 애퍼쳐는 보다 많은 광을 모으기 위해 열려야 한다.

빠르게 움직이는 무언가를 찍고자 할 때 정상 품질의 렌즈가 사용되지만 사진사가 필드 깊이의 손실을 원하지 않는 경우를 고려해보자. 본 발명의 처리과정없이는 전혀 방법이 없다. 따라서, 정상적 사진술 측면에서, 매우 적은 광을 모이도록 제어를 설정함으로서, 비교적 이미지는 어둡지만 필드 깊이는 보존된다. 동적 범위를 최대한 이용할 수 있는 빛의 양의 25%만을 사진사가 집광하였다고 가정해보자. 이미지는 거의 검은색에 가까울 것이다. 동적 범위 한계가 255인데 반해 레코딩되는 최대값은 63일 것이다. 이 이미지는 암영역의 세부사항을 드러내도록 교정될 수 있다.

따라서, 도 3을 참고로 하여 제 1 실시예에서, 그래프는 점(x, 1.0)에서 종료되는 직선이고, 이때 x는 전체 측정된 이미지의 최대값이다. 이 최대값은 수정된 히스토그램 접근에 의해 발견될 수 있다. 본 예에서, x는 0.25일 것이다. 하지만, 0과 1사이의 어떤 값도 가능하다. 발명의 선호되는 실시예에서, 월등한 렌즈와 관련된 필드 깊이를 가지는 것을 제외하면 애퍼쳐를 더 여는 것이 가지는 방식으로 가상 광이 추가된다. 이 과정은 "블런더(blunder)" 형성에 또한 사용될 수 있고, 여기서 부적절한 렌즈 설정이 너무 어두운 사진을 유발한다.

가상 홍채

도 8을 참고로 하는 제 2 실시예에서, 이미지의 가장 어두운 부분이 어두운 상태를 유지하고 희미한 부분은 밝혀지며, 그러나 이미지의 밝은 부분은 그래도 유지되도록 그래프가 선택될 수 있다. 도 8과 유사하게 형성된 부드러운 비선형 그래프는 본 발명의 가상 트루 칼라 광 증폭으로 사용될 때 홍채를 모방하는 효과를 가진다. 출력 이미지는 사람의 시각적 메모리를 보다 닮는다. 출원인은 "가상 홍채"로 이 향상을 언급한다.

비선형 그래프의 부드러운 속성은 품질 입력 이미지가 매력적으로 처리된 이미지를 유발한다는 것을 보장한다. 심미성을 유지하기 위한 중요한 측면은 그래프가 부드러운 속성을 유지하고, 그래프의 기울기가 절대 0이 아니며 또한 부드럽게 변화하여야 하고, 그리고 전체적으로 밝기를 높이는 알짜 효과가 존재한다는 점이다.

도 8에서, 스케일링 함수는 시스템 동적 범위의 최소값과 최대값 점근선에 근사한다. 함수가 동적 범위의 최소값과 최대값에 대한 접선에 근사할수록, 교정이 심해진다.

가상 세부사항 향상

간단하게, 한 프레임의 사진은 오직 한 개의 애퍼쳐와 셔터 설정의 결과이다. 창의적인 작업에서, 이는 사진 일부 영역의 세부사항을 구별하기 어려울 정도의 짜증나는 제한사항을 가진다. 제 3 실시예에서, 일부 미묘한 영역의 세부사항을 드러내기 위한 과정이 제공된다.

도 4에서, 흥미있는 영역이 선택되고, 히스토그램 근사가 적용되어, 상기 영역 내의 최소 도트가 0.30이고 최대 세기 도트가 0.50임을 발견한다. 이 영역은 동적 범위의 20%만을 이용하고, 이는 콘트래스트가 미묘하거나 눈으로 구별하기 어렵다는 것을 의미한다.

도 4에 도시되는 바와 같이 세부분의 선형 스케일링 함수를 적용하면, 상기 구체적 영역으로부터의 출력이 동적 범위의 80%까지 변화함에 따라 이 작은 콘트래스트가 크게 변화한다.

입력측이 0.30 이하와 0.50 이상인 작은 기울기의 라인들은 이미지의 어두운 부분과 밝은 부분의 세부사항을 씻겨내는 효과를 가진다. 그러나, 각각의 도트에서 최종 칼라는 붕괴되지 않을 것이며, 이미지의 더 밝은 부분이 좋은 기준이 된다.

사진의 어떤 영역도 선택될 수 있다. 도 5에서, 그림자로 흐려진 글씨처럼 매우 어두운 영역의 세부사항이 드러난다. 도 6은 눈 속의 눈자국같이 밝은 영역에서 세부사항을 드러내는 방법을 설명한다. 관심있는 영역을 단순히 선택하고 교정을 적용함으로서 관심있는 영역의 세부사항을 향상시킬 수 있다.

특히, 이미지의 어떤 부분이나 어떤 영역도 최적화될 수 있다. 먼저, 영역은 식별될 필요가 있다. 그래픽 사용자 인터페이스에서, 이는 마우스의 클릭 앤드 드랙 동작을 이용하여 쉽게 행하여진다. 이는 마우스 버튼이 클릭될 때 식별을 위한 운영체제(윈도우즈)를 이용한 객체 지향 프로그래밍으로 행하여질 수 있다. 비쥬얼 베이식에는, 마우스 버튼을 누르거나 떼자마자 실행되는 매 프로그램마다 서브루틴이 구축되어 있다.

사용자는 이미지 내 어떤 장방형 영역도 선택할 수 있다. "좌표"는 xdwn, ydwn, xup, yup로 공통 메모리에 저장된다. 이미지 상의 중첩된 직사각형에 대한 사진 예 #1과 #2를 참고할 수 있다.

가상 렌즈와 가상 세부사항 향상은 수정된 히스토그램 근사라고 불린다. 히스토그램은 발생값에 대해 발생 숫자의 측정이다.

가령, 표 4에 도시되는 바와 같이, RGB 트리플릿 세트 측면에서,

표 4 - 표준 히소토그램 근사

"적, 녹, 청색값은 독립적으로 취급됨.

도트#	적색	녹색	청색	값	#이벤트
1	1	1	1
2	0	0	1	0	2
3	2	2	1	1	11
4	4	3	1	2	3
5	4	4	4	3	7
6	3	2	1	4	5
7	5	1	1	5	2
8	3	3	1
9	4	3	1	계	30
10	3	3	5

본 예에서, 10개의 도트가 존재하고, 각각의 도트는 3개(적, 녹, 청)의 값을 가지며, 이 30개의 값 각각은 0에서 5 사이의 범위를 가진다. 정상적인 히스토그램은 각각의 값(0, 1, 2, 3, 4, 5)이 총 발생하는 횟수를 더함으로서 계산된다.

다음과 같이 표 5에서 수정된 히스토그램 접근법이 설명된다.

표 5 - 수정된 히스토그램 접근

"적, 녹, 청색값은 최대값에 대한 단위 히스토그램으로 간주됨"

도트#	적색	녹색	청색	세기	값	#이벤트
1	1	1	1	1
2	0	0	1	1	0	0
3	2	2	1	2	1	2
4	4	3	1	4	2	1
5	4	4	4	4	3	2
6	3	2	1	3	4	3
7	5	1	1	5	5	2
8	3	3	1	3
9	4	3	1	4	계	10
10	3	3	5	5

단순히, 히스토그램 구성에 사용되는 것은 최대 세기에서 발견되는 번호의 발생이지 적, 녹, 청의 값들이 아니다.

이는 세기와 비를 가지는 단위로 적, 녹, 청색값들이 다루어져야지 독립적인 세 개의 값으로 다루어지지 않는다는 것을 본 특허 출원의 성질로 유지한다.

히스토그램은 행 = xdwn ~ xup, 열 = ydwn ~ yup의 범위 내에서 상기 도트만을 고려함으로서 구축된다.

도 7a에서, 수정된 히스토그램에 적용될 일례의 코드가 제공된다.

이 때, 표시된 영역의 RGB 트리플릿의 세기에 대해 동작 합계가 공지되고 히스토그램이 형성된다. 시작 및 종료의 중요 세기가 결정되고, 히스토그램 데이터에 반영된다.

데드 레코딩 요소나 포화 레코딩 요소같은 오류를 방지하기 위해, 그리고 그렇지 않을 경우 영역을 나타내지 못하는 "스트레이 값"을 방지하기 위해, 최소 및 최대 관련 RGB 세기를 나타내기 위해 발생 숫자의 2%와 98%로 관련 도트를 제한할수 있다.

히스토그램에 의해 계측되는 세기의 숫자는 최종적인 동작 합P값과 같고, 따라서 2% 및 98% 값은 쉽게 발견된다. 코드는 도 7b에 도시되며, 사용자에 의해 선택되는 박스 내의 세기 범위에 대응하는 세기 인덱스의 범위(hmin과 hmax)를 결정한다.

도 4에서, 수정된 히스토그램 접근법은 사용자에 의해 선택되는 이미지 일부의 최소 세기 값과 최대 세기값으로 0.30과 0.50을 발견하였다.

동적 범위의 다수상에서 변하도록 수정 히스토그램 접근법으로부터 계산된 범위가 수정되어야 한다고 또한 가정되었다.

그래서, hmin과 hmax의 입력 범위가 무엇으로 변해야 할까? 이것이 대부분의 동적 범위를 채우기를 우리는 원한다. 좋은 추측은 동적 범위의 80%로서, 더 어두운 영역과 더 밝은 영역에 대해 작은 양을 남겨놓아 기준으로 여전히 사용될 수 있게 한다.

응용 코드에서, 선택된 영역의 출력 세기 범위는 동적 범위 최대값의 0.1에서 0.9로 초기 설정되었다. 여러 이미지를 관측한 후 이 숫자(0.2~0.9)들이 더 양호하게 보임에 따라 0.2에서 0.9 사이로 후에 재설정되었다.

0.2에서 0.9의 임의 출력 범위와 입력 세기 범위를 결정하기 위해 수정형 히스토그램 접근법을 바탕으로 탐색표를 계산하는 데 사용되는 코드는 다음과 같다.

도 4의 그래프는 세 개의 라인 세그먼트를 가지는 것으로 고려될 수 있고, 각각의 세그먼트는 두 종료점을 가진다.

표 6 라인 세그먼트

라인 세그먼트	시작	정지
#1	(0,0)	(xmin,0.20)
#2	(xmin,0.20)	(xmax,0.90)
#3	(xmax,0.90)	(1.0,1.0)

이때, xmin과 xmax는 수정 히스토그램 접근법에 의해 계산되었다. 즉,

xmin = hmin/drmx

xmax = hmax/drmx

두 입력축이 동적 범위를 들어 측정된다. 입력값은 도트의 세기(RGB 최대값)로 나타난다. 그래프는 0에서 1까지의 박스를 떠나지 않는다. 이 제약들은 특정 과정에서 임의의 스케일링 함수에 의해 항상 부합되어야 한다.

여기서 유지되는 모든 것은 앞서 도 2에 대해 기술된 것과 동등한 프로그램에 의해 출력값이 계산된다는 점이고, 탐색표는 그래프를 정확하게 유지하지는 않으나 입력에 대한 출력의 비를 정확하게 유지한다.

각각의 라인 세그먼트는 기울기 절편 형태의 대수로 표현될 수 있다. 즉, 일반형이 y = mx + b이다. 세 라인 세그먼트 각각에 대해, 선형 방정식 및 스케일링 인자가 결정된다. 교정이나 스케일링 인자의 배열은 세 방정식으로부터 형성될 수 있다. 출력 값을 시스템 동적 범위로 나누면 입력에 대한 출력의 비를 알 수 있다.

이 가상 세부사항 향상 기술이나 정상적으로 불명료한 영역 내로 파고드는 능력으로 인한 쟁점 사항은 세부사항이 향상되도록 어떤 타겟의 동적 범위도 최대화시킨다. 이는 타겟 영역에 제한되지 않으며, 사용자 선택과 유사한 강도를 가지는 사진의 어느 부분도 향상될 수 있다. 어떤 타겟 영역도 선택될 수 있고, 그래서 동일한 사진에 실행되는 여러 가치있는 교정이 존재할 수 있다. 사용자에 의해 얻어지는 세기 범위보다 강한 상기 영역은 교정의 트루 칼라 성질로 인한 유용한 기준으로 유지된다.

예

가상 플래시 - 가상 홍채

도 9와 10에 도시되는 예는 물리적 집광 장치나 이미지 레코더로부터 발생하는 제한에 대한 교정을 설명한다. 프레임당 한 개의 애퍼쳐 및 셔터 설정은 그 위치에 있다는 한 사람의 경험의 기억으로부터 사진이 변하기 쉽다는 것을 의미한다. 눈의 홍채는 콘트래스트를 경험할 때 자체적으로 조절된다. 햇빛이 강한 날 공원에서, 태양빛으로부터 음지로 이동할 때 홍채는 크게 열려서 모든 잔디를 초록으로 기억하지만, 사진은 가끔씩 그늘진 잔디를 검은색으로 보여준다.

사진#1(도 9a-f) 대성당의 여행자 사진

이 예는 여러 기존 공정과 본 발명이 이미지를 어떻게 향상시키는 지를 보여준다. 기존 공정에서의 접근법은 당신이 원하는 대로 밝기가 정확하게 보일 때까지 이미지와 "노는"(이미지를 다루는) 것이다. 이는 주관적인 것으로 전문가인 사용자는 필요한 절충을 하는 데 능한 사람이다. 도 9a에서, 사진으로부터 스캔한 원래 이미지는 매우 어둡지만, 256에 이르는 시스템의 거의 모든 동적 범위를 이용한다.

도 9b-9d는 기존 이미지 밝기 조절 기술을 도시한다. 도 9b는 이미지 밝기를 80% 증가시킴으로서 이를 행한다. 도 9b의 이미지가 더 밝지만, 칼라는 안좋게 바래지며, 하늘도 색상 변화를 경험한다. 도 9c는 50%로 설정된 콘트래스트로 도 9b의 기존 밝혀진 이미지를 도시한다. 콘트래스트는 밝기 조절에서 사라진 칼라를 복구하기 위한 시도에서 증가된다. 이미지 세부사항의 얼마만큼이 상실되었는 지 주목하라. 이 과정은 여러 도트를 변부 너머로 - 동적 범위 바깥으로 - 밀어낸다. 도 9d는 50%로 설정된 채도로 도 9b의 밝혀진 이미지를 도시한다. 채도의 증가는 칼라 복구를 위한 또다른 기술이다. 그 결과, 하늘은 원래의 색으로 거의 복구되지만 나머지 이미지는 보기흉한 칼라 왜곡을 여전히 보인다.

본 발명의 기술을 적용하면, 사진은 특히 도 9f에서 훨씬 더 낳아 보인다. 도 9e에서, 5에서 254까지 이미지 범위는 0에서 255까지 선형으로 매핑된다. 그 효과는 미미하다. 왜냐하면 원래 이미지가 이미 거의 충만한 범위이기 때문이다. 그러나, 출력 이미지에서 우리는 충만한 동적 범위를 가진다는 것을 보장한다. 도 9f에서, 도 8의 스케일링 함수는 훌륭한 이미지를 얻기 위해 적용된다. 모든 칼라는 스캔됨에 따라 이미지에 대해 트루 칼라이며, 어떤 세부사항 손실없이 눈에 보였던 대로 선명하다.

사진 #2(도 10a-f) 돌 헨지의 여행자 사진

도 10a의 원래의 프레임에서, 돌들은 극단적인 조명 조건으로 인한 그림자에 놓여있다. 도 10f에서, 본 발명의 가상 홍채 처리는 홍채가 자동적으로하는 것과 비슷한 방식으로 보상하여, 잘못된 사진을 잘된 사진으로 바꾼다.

특히 도 10a에서, 대상은 매우 어둡고 거의 모든 동적 범위를 이용한다(오직 1%만이 6과 253 세 개의 밖에 있다). 이 이미지는 세부사항을 드러내도록 다른 것에 의해 "사전-처리"되었다. 상기 세부사항은 하늘이 거의 백색에 가깝지만 구름은 여전히 가용한 방법을 의미한다. 기존 기술은 가능한 멀리 이를 취급하였지만 대상은 여전히 너무 어둡다. 도 10b는 이미지의 밝기를 60% 증가시킨 기존 기술을 도시한다. 이미지가 밝아질 때, 칼라는 바래지고 돌들은 모든 제 색상을 잃는다. 일부 세부사항은 이 처리과정 자체에 의해 손실된다. 또한, 그레이-스케일 작업에서도, 돌 좌측 "적색" 바위와 도 10b 이미지의 맨 좌측을 주목하라. 도 10c는 콘트래스트를 40%로 설정한 도 10b의 밝아진 이미지이다. 돌들은 일부 영역에서 일부 칼라를 다시 획득하였으나 다른 영역에서는 회복하지 못했다. 이미지의 얼마만큼의 세부사항들이 손실되었는 지 주목하라. 도 10d는 15%로 설정된 채도를 가지는 도 10b의 밝아진 이미지이다. 한 방식의 개선된 칼라가 존재하지만 이는 인위적인 칼라, 가령, 약간의 적색과 황색을 더한다. 많은 교정이 필요하지 않은 사진의 경우에도, 각 도트의 채도의 조작은 레코딩된것과는 다른 RGB 비로 종료될 수 있다. 기껏해야 절충된 해법으로 종료된다.

본 발명의 기술을 적용함으로서, 도 10e에서 6에서 253까지 이미지 범위는 0에서 255까지로 선형으로 매핑되어 출력 이미지의 완전한 동적 범위를 보장한다. 도 10f에서, 도 8의 스케일링 함수는 세부사항 손실이 전혀없는 우수한 트루칼라 이미지를 얻기 위해 다시 적용되었다.

쟁점 사항 - 가상 세부사항 향상

사진 #3(도 11a, 11b) 위성

도 11a에서, 위성은 그림자 속에 있고, 표면은 매우 어둡다. 이는 조명의 극단적 콘트래스트 때문에 공간에서 자주 발생한다. 중요한 "도킹" 홀("docking" hole)은 볼 수가 없다. 제 3 실시예의 쟁점 사항 교정 기술을 이용하여, 어두운 영역 내에서 창이나 박스가 선택되었고, 상기 영역에 적합한 교정 그래프 구축에 히스토그램 접근법이 사용되었다.

도 11b에서, 처리되는 이미지는 어두운 영역의 세부사항을 보여준다. 백색 원으로 표시된 도킹 홀이 이제 드러난다.

사진 #4(도 12a, 12b) 비행선

도 12a의 원래 이미지에서, 비행선의 하부가 그림자 내에 있다. 이는 렌즈가 하늘을 향하는 경우에 사진에 자주 나타난다. 특히, 꼬리 부분이 너무 어두워서 소속 식별 표시가 보이지 않는다.

제 3 실시예의 원리에 따라, 꼬리 영역이 선택되고, 상기 영역에 적합한 교정 그래프 구축을 위해 히스토그램 접근법이 사용된다. 그 결과 도 12b에 도시되는 바와 같이, 처리된 이미지는 이전에 흐릿했던 어두운 영역의 철자를 보여준다. 비행선은 이제 COLUMBIA N3A로 식별된다.

사진 #5(도 13a, 13b) 자동차 번호판

도 13a의 원 프레임에서, 자동차 번호판은 그림자로 가려져 있다. 번호판을 읽을 수 없으므로 자동차는 식별될 수 없다. 제 3 실시예 하에서, 번호판이 선택되고, 상기 영역에 대한 교정 그래프를 구축하기 위해 히스토그램 접근법이 사용된다.

그 결과 도 13b에서, 자동차가 보통 번호판을 가지는 것이 아니라 클래식 무스탕이라는 단어를 가진다는 것을 처리된 이미지가 보여준다.

사진 #6(도 14a, 14b, 14c) 눈위의 눈자국

도 14a에서, 두 사람이 스키를 타고 있다. 그 스키 자국을 식별할 수는 있으나 찾아내기 어렵다. 제 3 실시예의 쟁점 사항 교정 기술을 이용하여, 눈에서 눈자국의 과노출 영역 내에 차이나 박스가 선택되고, 히스토그램 접근법이 상기 영역에 적절한 교정 그래프 구축을 위해 사용된다.

도 14b에서, 과노출된 영역의 세부사항을 처리된 이미지가 보여준다. 눈위의 눈자국이 확연하게 보인다.

마찬가지로, 사진의 스키어 얼굴에 창이나 박스가 선택되었다. 도 14c는 사진 영역에 특히 적합한 교정 그래프 구축을 위해 사용되는 히스토그램 접근법의 결과이다. 스키어의 형태는 도 14a에 도시되는 원 사진에서보다 훨씬 명백하게 나타난다.

요약

본 발명의 가장 중요한 개념은 다음의 6개 인자의 조합으로 표현된다. 즉, RGB 칼라 공간의 교정, 교정 그래프, 교정축의 정의, 시스템의 동적 범위에 대한 범위와 도메인 제약, 그래프의 성질, 그리고 트리플릿에서 각각의 R, G, B에 대한 동일한 교정 인자의 적용이다.

교정은 트루 칼라 유지를 위해 RGB 칼라 공간에 적용되어야 한다. 어떤 교정 그래프도 앞서 특징을 구체화하기 위해 사용될 수 있다. 입력 및 출력축은 RGB 트리플릿의 최대값을 나타낸다. 입력은 고려하에서 RGB 트리플릿의 최대값이고, 출력은 가상 트루칼라 광증폭의 결과로 계산되는 RGB 트리플릿 최대값에 대응한다. 교정은 동적 범위로 제한된다. 이는 계산된 도트의 세기가 동적 범위로 제약된다는 것을 의미한다. 제약 내에 구성될 수 있는 어떤 그래프도 상기 처리과정에 사용될 수 있다. 특정 그래프의 성질은 교정의 주요사항에 영향을 미칠 수 있다. 또한, 모든 세 개의 RGB 값은 그래프로부터 도출되는 스케일링 인자와 곱하여져야 한다. 그래프 상의 주어진 점은 입력값과 출력값을 가진다. 교정은 이 둘의 비와 같고, 모든 세 개의 RGB 트리플릿값은 입력에 대한 출력의 비와 곱해진다. 이 고려사항의 결과는 도트 대 도트 원칙으로 쉽게 위치할 수 있는 유효 집광 전력을 변화시키면서 입력 디지털 이미지 내 각각의 도트와 매 도트의 본질적 칼라를 보존하는 모든 일련의 처리과정이다.

앞서 실시예들간 차이나는 모든점은 부여된 제약 내에서 그래프를 변화시키는 것이다. 가상 트루 칼라 광증폭으로, 새롭고 유용한 결과가 이미지 향상 필요성의 식별에 따라 좌우되고, 필요한 이상적인 그래프 식별에 따라 좌우된다.

Claims (8)

1. 칼라 왜곡을 일으키지 않으면서 디지털 이미지를 조절하는 방법으로서, 상기 이미지는 다수의 칼라 도트로 형성되고, 각각의 도트는 빛의 삼원색 R, G, B의 세기를 나타내는 최소한 세 개의 독립적인 값을 가지며, 각각의 값은 시스템 동적 범위의 최소값과 최대값 사이에 놓이고, 상기 방법은,

   a) 다수의 도트 최대값을 만들기 위해 각각의 도트에 대한 RGB 칼라 공간에서 세 개의 RGB 값의 최대값을 결정하고,

   b) 스케일링된 도트 최대값을 얻기 위해 각각의 도트 최대값에 지정 스케일링 인자를 적용하며, 이때 스케일링된 도트 최대값이 시스템 동적 범위의 최대값보다 작거나 같도록 상기 스케일링 인자가 정해지며,

   c) 도트의 두 잔여 R, G, B 값에 지정 스케일링 인자를 적용하여, 각각의 도트에 대해 새로이 스케일링된 RGB값을 조절하고 얻으며, 그래서 도트에 대한 R, G, B간의 비가 스케일링 이전과 같이 스케일링 이후에도 동일하게 유지되는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
2. 제 1 항에 있어서, 상기 방법은,

   a) 이미지 범위 구축을 위해 이미지 도트 최대값의 최대값과 최소값을 결정하고,

   b) 연속 스케일링 함수를 구축하며, 이때 상기 연속 스케일링 함수로부터각각의 도트에 대한 스케일링 인자가 기결정되고, 상기 연속 스케일링 함수는 이미지 범위의 일부 이상을 동적 범위의 일부로 정규화하여, 각각의 도트 최대값의 값에 적용될 때, 도트 최대값의 최대값이 동적 범위 최대값보다 작거나 같은 출력값으로 스케일링되게 하고, 어떤값도 동적 범위보다 큰 출력값으로 스케일링되지 못하며,

   c) 다수의 상응하는 도트 스케일링 인자를 구축하기 위해 각각의 도트 최대값의 값에 연속 스케일링 함수를 적용하고, 이때 도트 스케일링 인자는 대응되는 도트 최대값에 적용되고 상기 도트의 두 잔여 R, G, B 값의 각각에 또한 적용되어 각각의 도트에 대해 새로운 세 개의 RGB값을 조절하고 얻어내는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
3. 제 2 항에 있어서, 상기 방법은,

   a) 동적 범위 일부 이상에 대한 스케일링 인자가 탐색표에 저장되고,

   b) 도트 최대값에 상응하는 탐색표로부터 스케일링 인자를 룩-업하고, 도트 최대값과, 상기 도트의 두 잔여 R, G, B 값 각각에 스케일링 인자를 적용하여, 각각의 도트, 그래서 모든 도트에 대해 새로운 세 개의 RGB 값을 조절하고 얻어내는 것을 특징으로 하는 방법.
4. 제 2 항에 있어서, 이미지 범위는 동적 범위로 정규화되는 것을 특징으로 하는 방법.
5. 제 2 항에 있어서, 이미지 범위의 일부가 동적 범위의 본질적 부분으로 정규화되는 것을 특징으로 하는 방법.
6. 제 2 항에 있어서, 스케일링 인자가 선형인 것을 특징으로 하는 방법.
7. 제 2 항에 있어서, 스케일링 인자가 비-선형인 것을 특징으로 하는 방법.
8. 다수의 칼라 도트로 형성되는 디지털 이미지의 일부를 향상시키기 위한 방법으로서, 각각의 칼라 도트는 빛의 삼원색 R, G, B 각각에 대한 값을 가지며, 각각의 값은 이미지에 대한 동적 범위의 최소값과 최대값 사이에 놓이고, 상기 방법은,

   a) 개선시킬 이미지 부분을 구체화하고, 이때 상기 부분은 이미지 도트의 서브세트를 가지며,

   b) 다수의 도트 최대값을 구축하기 위해 이미지 서브세트 내 각각의 도트에 대한 세 RGB 값의 최대값을 결정하며,

   c) 이미지 부분 범위 구축을 위해 모든 서브세트의 도트 최대값의 최대값과 최소값을 결정하고,

   d) 이미지 동적 범위로 도트 최대값의 서브세트 범위를 정규화함으로서 이미지 서브세트에 대한 연속 스케일링 함수를 결정하며,

   e) 다수의 상응하는 도트 스케일링 인자를 구축하기 위해 각각의 도트 최대값의 값에 연속 스케일링 함수를 적용하고, 이때 도트 스케일링 인자는 대응하는 도트 최대값 뿐 아니라 상기 도트의 두 잔여 R, G, B 값 각각에도 적용되어, 각각의 도트, 그래서 모든 도트에 대한 세 개의 새로운 RGB 값을 조절하고 얻어내며, 그래서 한 도트에 대한 R, G, B간의 비가 스케일링 이전과 마찬가지로 스케일링 이후에도 동일하게 유지되는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.