KR100973855B1 - 광학변형의 전자보정 시스템 및 방법 - Google Patents

광학변형의 전자보정 시스템 및 방법 Download PDF

Info

Publication number
KR100973855B1
KR100973855B1 KR1020047020010A KR20047020010A KR100973855B1 KR 100973855 B1 KR100973855 B1 KR 100973855B1 KR 1020047020010 A KR1020047020010 A KR 1020047020010A KR 20047020010 A KR20047020010 A KR 20047020010A KR 100973855 B1 KR100973855 B1 KR 100973855B1
Authority
KR
South Korea
Prior art keywords
optical
correction
image
transform
transformation
Prior art date
Application number
KR1020047020010A
Other languages
English (en)
Other versions
KR20060041142A (ko
Inventor
조라바에스. 바시
루이 리
라마찬드란고팔
Original Assignee
에스오 델라웨어 코포레이션 (에이/케이/에이 실리콘 옵틱스, 인크.)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스오 델라웨어 코포레이션 (에이/케이/에이 실리콘 옵틱스, 인크.) filed Critical 에스오 델라웨어 코포레이션 (에이/케이/에이 실리콘 옵틱스, 인크.)
Publication of KR20060041142A publication Critical patent/KR20060041142A/ko
Application granted granted Critical
Publication of KR100973855B1 publication Critical patent/KR100973855B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Optical Communication System (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Gyroscopes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Semiconductor Lasers (AREA)

Abstract

본 발명은 광학변형, 즉 왜곡, 색 비수렴(축상색수차 제외) 및 휘도(또는 색도) 불균일을 보정하는 전자보정 시스템과 방법에 관한 것이다. 각각의 효과는 위치공간이나 컬러공간의 변환으로서 모델화된다. 이들 효과를 디지탈 화소데이타의 변환으로 표현하면, 공통 프레임, 즉 영상워핑으로 다른 변형들을 해결할 수 있다. 화소변환으로 표현된 변형은 역변환을 이용해 제거된다. 이런 과정은 위치 및/또는 컬러 공간에서 영상을 디지탈 조작하거나 워핑하는 것과 동일하므로, 시중에 알려진 워핑회로를 이용해 가능하다. 또, 이 변환은 특수 영상워핑(예; 스케일링 및 형상변환들)을 추가로 실행하는 요소들을 포함할 수 있다. 끝으로, 변환 순서를 저장하면, 적응적 변형보정과 동적효과를 얻을 수 있다.

Description

광학변형의 전자보정 시스템 및 방법{SYSTEM AND METHOD FOR ELECTRONIC CORRECTION OF OPTICAL ANOMALIES}
본 발명은 광학변형의 전자보정에 관한 것으로, 구체적으로는 일반적 영상변환(예; 스케일링 및 형상 변환)에 따르는 왜곡, 배율색수차, 휘도불균일 및 색도불균일의 전자보정에 관한 것이다.
종래의 영상 캡처 또는 디스플레이 장치들은 다양한 형태의 광학변형을 일으키기 쉽다. 이들 변형은 여러가지 광학요소의 이상적이지 못한 거동에 의한 것이고 조립 정밀도나 허용오차 때문에 생긴다. (센서, 디스플레이, 렌즈, 프리즘, 거울, 광원 등의) 광학적이나 비광학적인 여러 요소와 이들의 방향 때문에 왜곡, 틸팅, 배율색수차, 휘도나 색도의 뷸균일 등의 자체 광학변형들이 생길 수 있다. 광학변형이란 이상적이지 않은 영상포맷을 발생시키는 모든 효과를 의미한다.
광학변형에는 (빛의 파장 특성으로 인한) 회절효과, (빛의 산란이나 파장차로 인한 굴절차에서 생기는) 색수차, 단색수차(이로 인한 구면수차, 코마, 비점수차는 포인트 영상을 형성할 포인트 객체의 실패와 관련되고, 상면만곡과 왜곡은 포커스가 양호한 평면영상을 형성할 주축에 수직인 유한 객체의 실패에 관련됨) 등이 있다. 광학수차들을 크게 두가지 타입으로 구분할 수 있는데, 하나는 영상품질에 영향을 주고 다른 하나는 영상형상에 영향을 준다. 전자의 타입은 영상의 샤프니스를 악화시켜, 영상을 흐리게 하거나 초첨이 흔들리거나 색번짐을 일으킨다. 이 카테고리의 수차에는 구면수차, 비점수차, 코마, 상면만곡, 축상색수차가 있다. 후자의 수차 타입은 영상의 형상에 영향을 주는데, 이런 영상은 일부는 전자의 수차에서 생길 수 있거나 전자의 수차를 보정하고 최적화하는데서 생길 수 있다. 이 경우, 객체면의 포인트들이 영상면의 이상적 매핑과 비교해 시프트되거나 왜곡된다. 이상적 매핑에서, 영상면의 객체는 균일한 축척이 가능한 객체면에 있는 것처럼 보인다. 예컨대, 가장자리가 휘어지거나 회전된 상태로 영상이 보일 수 있다. 두번째 카테고리의 수차는 왜곡(예; 핀쿠션/배럴 효과)과 배율색수차를 포함한다.
색수차를 제외한 모든 다른 광학수차들은 단색광에 나타난다. 색수차는 다색광을 취급할 때 나타난다. 요컨대, 굴절율은 파장에 따라 다르고, 이것은 적색, 녹색, 청색 성분들이 광학간섭면에서 다르게 휘어짐을 의미한다. 이렇게 되면 축상색수차나 배율색수차 효과가 나타난다. 축상색수차에서는 3가지 색성분이 영상공간내의 다른 평면들에 포커스되고, 이경우 색번짐효과가 생긴다. 다시 말해, 축상색수차는 파장(컬러)에 따라 촛점길이가 다르기 때문에 생긴다. 배율색수차의 경우, 한 지점에서 나온 색성분들이 동일한 영상면의 다른 지점들에 포커스된다. 이렇게 되면 3가지 색의 확대가 서로 달라 "색번짐"이 나타난다. 따라서, 배율색수차는 파장에 따라 확대율이 다르기 때문에 나타나는 효과라 할 수 있다. 3가지 색은 비광학적 효과로 인해 오정합될 수 있다. 3색 디스플레이 시스템에서, 디스플레이를 제대로 정렬하지 않으면, 색결함이 나타난다. 색의 비수렴(color non-convergence)이란 (색수차에서와 같은) 광학적 원인이든 아니든 간에 색이 오정렬되는 효과라고 할 수 있다. 또, 1990년 John Wiley & Sons가 발표한 Robert Guenther's Modern Optics와 같은 종래의 광학관련 서적에서 광학수차에 관한 설명을 볼 수 있다.
종래의 캡처/디스플레이 장치에서의 다른 중요한 광학변형은 휘도불균일이다. 휘도불균일은 영상에 휘도 변화를 일으킨다. 그 원인으로는, 광원의 휘도변동, 영상면의 광행로 변화, 불균일한 센서반응, 패널(LCD, LCOS 등)의 불규칙성 등이 있다. 대형/소형 불균일성 모두 존재할 수 있다. 3색 시스템에서는 색마다 휘도변화가 서로 달라, 색도불균일을 일으킬 수 있다.
영상의 번짐 없이 영상의 형상에 영향을 주는 수차를 보정하려는 시도, 즉 왜곡, 배율색수차, 명도나 색도(휘도) 불균일을 보정하려는 시도가 종래부터 많이 있었다. 일반적으로, 이런 종래의 시도는 특정한 한가지 타입의 변형에 주안점을 두고 있다.
예컨대, 배율색수차는 Cross의 미국특허 4,943,155, Usui의 미국특허 5,086,338, Chen의 미국특허 5,499,139, Kreitzer의 미국특허 6,023,375, Brown의 미국특허 6,111,701, Bryars의 미국특허 6,144,498, Hashizume의 미국특허 6,172,815에 설명된 프리즘/렌즈 조합 및/또는 특수코팅으로 구성되는 특수한 광학요소를 이용해 보정(또는 최적화)되는 것이 일반적이다. 그러나, 이들 특허에 게재된 방법을 구현하는데는 비용이 많이 들고 어렵다. 또, 이들 디자인의 특수성 때문에 특수한 경우에만 제한된다. 통상, 이런 방법들은 디스플레이/프로젝션 시스템이나 헤드업/마운트 디스플레이 시스템을 겨냥한다.
여러가지 전자적 방법들이 Shiota의 미국특허 5,838,396, Munib의 미국특허 5,870,505, Shiota의 미국특허 6,288,756, Tsujihara의 미국특허 5,200,815, Haseltine의 미국특허 5,369,450, Chen의 미국특허 5,889,625, Enomoto의 미국특허 6,323,934에 제시되었다. 이들 모든 방법은 몇가지 형태의 영상워핑(image warping)에 의존한다. 영상워핑에 대해서는 George Wolberg, Digita Image Warping, IEEE Computer Society Press, 1988에 설명되어 있다.
워핑데이타(즉, 영상을 변환하는 방법을 설명하는 데이타)를 디지탈영상 조정(미국특허 5,369,450; 5,889,625), 또는 영상을 디스플레이/투사하는 전자장치의 기능 조정(미국특허 5,200,815)에 이용할 수도 있다. 이들 전자적 방식은 휘도보정(미국특허 5,838,396; 5,870,505; 6,288,756), 왜곡과 색수차 보정(미국특허 5,200,815; 5,369,450; 5,889,625; 6,323,934)과 같은 특수변형이나 헤드장착 디스플레이같은 특정 타입의 시스템에 집중된다. 3가지 변형 모두를 보정하는 방식(미국특허 6,323,934)은 기본적으로 실시간이 아니다. 종래의 전자식 방식의 다른 제한은, 특수 보정(즉, 광학변형 보정에 속하지 않는 보정)을 할 수 없거나 동적변형 보정을 못한다는데 있다. 예컨대, 어떤 비디오 분야에서는 변형보정(휘도불균일과 핀쿠션 왜곡)을 {뒷축(off-axis) 투사로 인한} 키스톤보정 및 평면/곡면의 곡률보정과 조합하는 것이 바람직할 수도 있다.
발명의 요약
본 발명은, 광학영상과 관련된 디지탈영상 화소데이타를 보상하여, 특수 형 상을 갖는 광학 캡처/디스플레이 요소들을 통해 처리되는 광학영상의 캡처 및 디스플레이와 관련된 여러개의 광학변형들을 보정하는 전자보정방법에 있어서:
⒜ 캡처/디스플레이 광학요소의 물리적, 형상적 특성들과 관련된 광학변형들을 확인하고 광학변형 그리드 데이타세트로 표현하는 단계;
⒝ 캡처/디스플레이 광학요소의 이상적 거동을 확인하고 이상적 그리드 데이타세트로 표현하는 단계;
⒞ 광학변형 그리드 데이타세트를 이상적 그리드 데이타세트와 비교하고, 이상적 그리드 데이타세트로부터 변형변환으로 공간적 역변환을 실행하여 변형보정변환 데이타세트를 결정하되, 광학변형 그리드 데이타세트를 갖는 변형보정변환의 함수성분이 이상적 그리드 데이타세트까지 감소되게 하는 단계; 및
⒟ 변형보정변환 데이타세트를 영상 화소데이타에 적용해, 시청할 때 광학변형이 없는 보정된 영상 화소데이타를 생성하는 단계;를 포함하는 방법을 제공한다.
본 발명은 또한, 광학영상과 관련된 디지탈영상 화소데이타를 보상하여, 특수 형상을 갖는 광학 캡처/디스플레이 요소들을 통해 처리되는 광학영상의 캡처 및 디스플레이와 관련된 여러개의 광학변형들을 보정하는 전자보정시스템에 있어서:
⒜ 캡처/디스플레이 광학요소의 물리적, 형상적 특성들과 관련된 광학변형들을 확인하고 광학변형 그리드 데이타세트로 표현하고;
⒝ 캡처/디스플레이 광학요소의 이상적 거동을 확인하고 이상적 그리드 데이타세트로 표현하며;
⒞ 광학변형 그리드 데이타세트를 이상적 그리드 데이타세트와 비교하고, 이 상적 그리드 데이타세트로부터 변형변환으로 공간적 역변환을 실행하여 변형보정변환 데이타세트를 결정하되, 광학변형 그리드 데이타세트를 갖는 변형보정변환의 함수성분이 이상적 그리드 데이타세트까지 감소되게 하고;
⒟ 변형보정변환 데이타세트를 영상 화소데이타에 적용해, 시청할 때 광학변형이 없는 보정된 영상 화소데이타를 생성하는; 영상 프로세서를 포함하는 시스템을 제공한다.
본 발명은 또한, 광학영상과 관련된 디지탈영상 화소데이타를 보상하여, 특수 형상을 갖는 광학 캡처/디스플레이 요소들을 통해 처리되는 광학영상의 캡처 및 디스플레이와 관련된 여러개의 광학변형들을 보정하기 위해 컴퓨터-리더블 코드가 내장된 컴퓨터-리더블 매체에 있어서:
⒜ 캡처/디스플레이 광학요소의 물리적, 형상적 특성들과 관련된 광학변형들을 확인하고 광학변형 그리드 데이타세트로 표현하는 단계;
⒝ 캡처/디스플레이 광학요소의 이상적 거동을 확인하고 이상적 그리드 데이타세트로 표현하는 단계;
⒞ 광학변형 그리드 데이타세트를 이상적 그리드 데이타세트와 비교하고, 이상적 그리드 데이타세트로부터 변형변환으로 공간적 역변환을 실행하여 변형보정변환 데이타세트를 결정하되, 광학변형 그리드 데이타세트를 갖는 변형보정변환의 함수성분이 이상적 그리드 데이타세트까지 감소되게 하는 단계;
⒟ 변형보정변환 데이타세트를 영상 화소데이타에 적용해, 시청할 때 광학변형이 없는 보정된 영상 화소데이타를 생성하는 단계;를 특징으로 하는 컴퓨터-리더 블 매체를 제공한다.
이하, 첨부 도면들을 참조하여 본 발명을 자세히 설명한다.
도 1은 종래의 집적형 캡처/디스플레이 장치와 이에 대응하는 영상처리체인을 보여주는 블록도;
도 2는 도 1의 종래의 캡처/디스플레이 장치의 광학결함을 표현하는 각종 변환들과 자세한 처리체인을 보여주는 블록도;
도 3은 어떤 광학결함도 없는 이상적인 처리체인을 보여주는 블록도;
도 4는 본 발명의 전자보정시스템의 블록도;
도 5는 도 4의 시스템중 왜곡과 색도불균일 보정에 적합한 보정모듈의 블록도;
도 6은 형상변환을 실행하는 본 발명의 전자보정시스템의 다른 예의 블록도;
도 7은 도 6의 시스템중 특수형상변환을 구현하기에 적합한 보정모듈의 블록도;
도 8은 광학변형을 보정하고, 형상변환을 실행하며, 동적보정을 이루는 본 발명의 전자보정시스템의 또다른 예의 블록도;
도 9는 본 발명의 전자보정방법의 주요 단계들을 보여주는 순서도.
도 1은 종래의 영상 캡처/디스플레이 장치(10)의 주요 요소들과, 영상(즉, 화소레벨) 변환으로 표현되는 대응 영상처리체인내의 광학변형들을 보여준다. 도시 된 바와 같이, 객체면의 객체(O)는 영상처리체인을 통해 영상면의 객체(O')로 투사된다. 캡처/디스플레이 장치(10)는 (렌즈, 프리즘, 거울 등의) 광학요소와 (전자센서, 디스플레이 패널 등의) 비광학요소를 포함한 각종 요소들(12,14)을 구비하고, 이들중 일부나 전부는 영상처리 체인에 광학변형을 일으킬 수 있다. 캡처/디스플레이 장치(10)는 메모리(16)를 포함하기도 한다.
각각의 광학변형은 위치공간에서 작용하거나(영상 객체의 형상에 영향을 줌), 컬러공간에 작용한다(영상 객체의 휘도/컬러에 영향을 줌). 이런 영향은 (a) 화소위치, (b) 화소컬러의 변환이나 매핑으로서 나타나고, 메모리면(공간)(16,18)과 대응 객체/영상면 사이의 어딘가에서 일어난다. 따라서, 이런 변환이 광학변형을 일으킨다. 촛점차 문제에 대해서는 현재 전자적으로 보정할 수 없기 때문에 차동 촛점차 변형들은 고려하지 않는다.
도 1에서, 캡처측(첨자 c로 표시)과 디스플레이측(첨자 d로 표시)의 모든 변형들의 집합효과를 나타내는 맵을 각각 f c , f d 로 나타낸다. 캡처/디스플레이 장치(10)에 나타나는 광학변형들은 이들 맵으로 표현된다. 메모리면의 저장과 관련된 I는 아이덴티티 맵으로서, 메모리면(16,18)은 어떤 변형도 일으키지 않으므로 영상에 변화가 없음을 의미한다. 광학변형이란 이상적이지 않은 영상변환을 일으키는 모든 효과를 의미하고, 특히 수차와 휘도불균일을 포함한다.
도 2는 맵 f c 가 f c s 와 f c c 로 분할되는 방법을 보여주는데, 여기서 f c s 는 공간 변형(첨자 s로 표시)을, f c c 는 컬러변형(첨자 c로 표시)을 의미한다. 각각의 색성분이 서로 다르게 변환할 수 있으므로, f c s 와 f c c 는 적색, 녹색, 청색 성분에 대해 두번째 첨자 r, g, b를 붙여 f cr s , f cg s , f cb s 와 f cr c , f cg c , f cb c 로 대치되어야 한다. f c s 와 f c c 는 3가지 색성분이 함께 작용할 때 사용된다. 마찬가지로, 디스플레이측의 변형을 나타내는 공간/컬러 맵들은 f d s 와 f d c 로, 색성분은 f dr s , f dg s , f db s , f dr c , f dg c , f db c 로 표시된다. 메모리면의 사양(크기, 타입 등)은 시스템에 따라 다르고 도시된 메모리면은 저장매체의 실제 하드웨어 구현이라기 보다는 각종 맵의 개념적 도메인을 나타냄을 알아야 한다. 특히 디스플레이측의 메모리면은 파단선으로 표시하여 구체적으로 장치에 존재할 필요가 없음을 나타낸다. 대신 캡처된 영상은 저장되지 않고 바로 디스플레이될 수 있다. 캡처/디스플레이 장치(10)의 디스플레이 부분에서 추가 처리{예; 프레임률(frame rate) 변환}를 하려면, 몇가지 형태의 물리적 메모리가 필요하다. 또, 캡처측의 메모리면은 풀프레임일 필요는 없다.
객체면의 객체(O)는 (포인트용) 2D 위치벡터
Figure 112004057998781-pct00001
와 그 RGB 값(O r ,O g ,O b )으로 정의된다. 포인트 객체는 디지탈형태로 화소에 가깝다. 이 객체의 컬러성분들은 색수차 때문에 영상면에 다른 포인트들로 매핑된다. 일반적으로, 3가지 컬러가 (같은 면에서) 다른 포인트들에 포커스되기 때문에 하나의 포인트가 3개의 포인트로 매핑 된다. 따라서, 영상면의 객체의 영상은 3개의 위치벡터
Figure 112004057998781-pct00002
와 대응 컬러값(O' r ,O' g ,O' b )으로 설명된다. 3가지 컬러의 공간좌표의 값
Figure 112004057998781-pct00003
을 객체 공간에 유도하는 것이 유용할 수 있고, 주어진 포인트에 대해서는
Figure 112004057998781-pct00004
라고 본다.
모든것을 조합하면, 광학변형이 존재하는 캡처/디스플레이 장치(10)를 통한 포인트 객체(O)(또는 화소)의 처리를 다음과 같은 매핑으로 표현할 수 있다(모든 공간맵은 벡터함수로 표현되지만, 편의상 벡터화살표는 생략했음):
Figure 112004057998781-pct00005
대응 영상처리체인이 도 2에 도시되었다. 매핑 q와 변수 z의 표시 q(z)는 q가 z만을 수정해 동일한 타입의 새로운 값(즉 새 위치값이나 새 컬러값)으로 변경하는 기능을 함을 의미한다. 매핑 q는 다른 변수에 의존할 수도 있지만, 설명의 편의상 이들은 도시하지 않았다. 예컨대, z'=q(z,w)를 z'=q(z)로 쓴다. 일반적으로, 모든 공간매핑은 공간변수에만 의존하지만, 컬러매핑은 공간변수와 컬러변수 양쪽에 의존할 수 있는데, 이에 대해서는 후술한다.
도 3은 캡처/디스플레이 장치(10)의 이상적 거동을 보여준다. 여러 광학변형 을 보정하려면, 어떤 변형도 없는 이상적인 캡처/디스플레이 장치에 대해 설명할 필요가 있다. 보정맵은 이상적 거동을 복구하려고 한다. 배율색수차가 전혀 없으면 아래와 같은 관계가 생긴다:
Figure 112004057998781-pct00006
Figure 112004057998781-pct00007
는 3원색의 공통벡터이다. 또, 왜곡이 전혀 없으면 다음 관계가 생긴다:
Figure 112004057998781-pct00008
여기서, 캡처/디스플레이 장치(10)는 객체면의 객체들을 선형으로만 축척한다. "k"는 공간적 척도구성상수(scaling constant)이다. 따라서, 주움(zooming) 동작들은 (이런 동작들이 모든 컬러에 동일할 때) 왜곡으로 간주되지 않는다. 끝으로, 균일한 휘도/색도에 대해 다음 관계가 예상된다:
Figure 112004057998781-pct00009
여기서, 각각의 컬러성분의 동일한 변화가 (
Figure 112004057998781-pct00010
과 무관한) 영상에서 모두 일어난다. "s", "m" 값은 각각 균일한 휘도/색도 게인과 옵셋 값들을 나타낸다. 광학변형 없는 캡처/디스플레이 장치(10)를 통한 포인트 객체(O)(또는 화소)의 처리는 (이상적 매핑을 위한 h를 이용한) 다음 매핑으로 표현될 수 있다:
Figure 112004057998781-pct00011
여기서 h 2 c , h c c , h 2 d , h c d 는 방정식 (9)-(12)의 구속을 받고, f 2 ci , f c ci , f 2 di , f c di , i=r,g,b의 제한형이다. 소멸 변형들을 제한하여 다음을 얻는다:
Figure 112004057998781-pct00012
다른 이상적 거동 형태도 구체화할 수 있고, 위의 방정식, 즉 (9)-(12)는 예를 든 것일 뿐이다.
도 4는 본 발명에 따라 이루어진 전자보정시스템(50)과 관련된 주요 요소들을 보여준다. 전자보정시스템(50)은 전술한 영상처리체인에 추가로 "역"변환을 하여 영상 캡처/디스플레이 장치에 공통적인 광학변형들을 없애는데 영상 프로세서(51)를 이용한다. 전과 마찬가지로, 전자보정시스템(50)은 광학요소(예; 렌즈, 프리즘, 거울 등)와 비광학요소(예; 전자센서, 패널 등)(52,54)을 포함하고, 이들 요소의 일부나 전부는 어떤 변형도 일으키지 않는다고 보는 영상 처리체인과 메모리면(56,58)에 광학변형을 일으킬 수 있다. 캡처장치와 디스플레이 장치 둘다 도시되었지만, 본 발명은 캡처장치나 디스플레이장치 하나만 있어도 쉽게 적용될 수 있다.
도 2에서 설명한 대로, 방정식 (2)-(7)은 공간 및 컬러 도메인의 변환으로서 광학변형을 설명한다. 영상 프로세서(51)는 임의의 형상(공간적) 변환과 컬러변환을 디지탈 영상에 적용한다. 공간변환은 잘 알려져 있고, 비슷한 변환을 이용해 컬러변환도 가능하다고 본다. 3개의 공간변환은 여러가지 시중에서 구입가능한 영상워핑회로(예; 캘리포니아 산호세 소재 Silicon Optix 제품 sxW1 집적회로)를 이용해 영상 프로세서(51)로 구현할 수 있는데, 여기서 어떤 회로들은 공간도메인에서 작동하고 나머지 회로는 컬러변환을 이룰 수 있다.
영상 프로세서(51)는 영상의 컬러 각각을 독립적으로 처리하여, 3개 채널에 대해 각각 다른 변환을 허용한다. 영상 프로세서(51)는 캡처/디스플레이 인터페이스의 처리체인 내부에 위치한다. 영상 프로세서(51)로 인한 변환을 3개의 공간매핑에 대해서는 f 2 wr , f s wg , f 2 wb , 3개의 컬러매핑에 대해서는 f c wr , f c wg , f c wb 로 표시한다. 도 4와 같이 처리체인은 이제 아래와 같이 변한다:
Figure 112004057998781-pct00013
광학변형을 없애려면, 방정식이 (19)-(25)에서 (13)-(17)로 줄어들도록 영상 프로세서(51) 내부에서 활용되는 변환들을 선택한다. 방정식 (19)-(25)를 (13)- (17)와 비교한 것은 아래와 같다(아래의 관계에서 곱셈은 함수성분을 암시함):
Figure 112004057998781-pct00014
위의 방정식들은 (19)-(25)를 (13)-(17)와 같게 하여 얻어진다. 예컨대, (26)을 유도하려면
Figure 112004057998781-pct00015
로 두는데, 이것은 함수레벨에서
Figure 112004057998781-pct00016
을 의미한다. 다음, 양변을 곱하는데 좌변에는 f dr s-1 을, 우변에는 f cr s-1 을 곱하고, 역수를 약분하여 (26)을 유도한다.
영상 프로세서(51)가 방정식 (26)-(31)으로 변환하면, 왜곡, (축상색수차를 제외한) 색 비수렴 및 휘도(색도) 불균일과 같은 광학변형이 없어진다.
(26)-(31) 변환이 의미하는 것은, 모든 영상워핑을 수반하는 필터링이다. 기하학적 변환 f 2 wr , f s wg , f 2 wb 을 적용한 뒤, 새로운 영상이나 화소데이타를 생성하는데 (3개 채널 모두의) 리샘플링이 필요하다. 영상 프로세서(51)에서의 이런 필터링 작업은 흔히 컬러변환 f c wr , f c wg , f c wb 을 적용하기 전에 일어난다. 다음 이들 컬러매핑들을 새로운 필터링된 화소데이타에 적용하는데, 이것은 변형보정변환 (29)-31) 이 새로운 영상 데이타에 기초함을 의미한다.
도 5는 영상 프로세서(51) 내부에서 일어나는 특정 처리순서를 보여주는데, 여기서 공간필터(47)는 F로 표시된 필터링 동작을 수행한다. 각각의 출력화소를 위해 받은 기하학적 데이타는 FIR 필터에 의해 출력화소값으로 변환할 입력화소의 수를 획득하기 위해 공간필터(47)에서 사용된다. 또, 게인/옵셋 스테이지(49)는 전술한 대로 균일한 휘도/색도를 얻는데 이용된다. 일례로, 성분매핑 f cr c- 1을 다음과 같이 작용하도록 선택하면 변환방정식 (29)는 휘도불균일을 보정한다.
Figure 112004057998781-pct00017
또는
Figure 112004057998781-pct00018
등등. 공간필터(47)는 캡처측의 휘도변형을 없애기 위해 F를 f cr c- 1와 합치는데 사용된다. 필터링 F는 모든 처리체인이나 방정식에서 영상워핑회로가 있음을 의미한다. 또, 컬러변환은 필터링을 통해 공간변환에 간접적으로 연결됨을 의미한다. 이것이 의미하는 것은, 공간변환의 변화가 필터링된 화소데이타를 변화시키고, 이것은 다른 컬러변환을 필요로 할 수 있다는 것이다. 공간매핑도 컬러맵과 직접적으로 관련될 수 있다. 영상 프로세서(51)는 생성되는 공간데이타(예; 위치/유도 정보)에 맞 게 컬러맵 인자들의 동적변조를 가능케하는 구성을 가질 수 있다고 본다. 이 옵션이 도 5에 공간매핑 요소와 컬러매핑 요소 사이의 파단선 화살표로 표시되었다. 첨부된 처리블록이나 오프라인(즉, 영상 프로세서(51) 내부에 없는 것)에 의해 공간매핑이 생성되고, 도 5의 형상변환 데이타세트(57)와 휘도변환 데이타세트(59)로 표시된대로 저장된다.
도 6은 다른 전자보정시스템(100)으로서, 워핑성분(즉, 광학결함을 교정하는 성분들과 무관한 성분)이나 특수 "보정"을 포함하는 변환함수 (26)-(31)의 다른 일반화를 구현하는데 영상 프로세서(101)를 이용한다. 전과 마찬가지로, 전자보정시스템(100)은 광학요소(예; 렌즈, 프리즘, 거울 등)와 비광학요소(예; 전자센서, 디스플레이 패널)(102,104)를 포함하고, 이들의 일부나 전부는 광학변형을 영상 처리체인은 물론, 어떤 변형도 일으키지 않는 메모리면(106,108)에 도입할 수 있다.
특수 매핑들을 첨자 a를 이용해 f a s , f a c 라 하면, 방정식 (26)-(31)은 아래와 같이 된다:
Figure 112004057998781-pct00019
특수 성분을 갖는 방정식 (33)은 아래와 같이 된다:
Figure 112004057998781-pct00020
여기서 /F는 "유효 필터링"으로서 어떤 변형도 없는 필터링 f a s 를 나타낸다. 이제 F는 변형을 제거함은 물론 f a s 로 인한 특수 필터링을 적용하는 역할을 담당한다. f s wi , f c wi , i=r,g,b를 제대로 선택하면 필터링 F는(및/또는 /F)가 특정된다.
일반적으로, 매핑 f a s , f a c 는 3가지 색에 각각 다르지만, 실제 목적으로는 모든 색상에 동일하다. f a s 를 3가지 색에 다르게 하는 것은 배율색수차를 인위적으로 유도하는 것과 같음을 알아야 한다. f a s 와 f a c 는 광학변형을 보정하는 역할을 하지 않고 그 입출력에 변형이 없다고 간주됨을 알아야 한다. 따라서, 변형이 제거된 효과적인 처리체인이 도 6에 도시되었다. 일단 영상 프로세서(101)가 광학변형을 제거했으면, 영상 프로세서(101)는 특수 영상워핑회로와 함께 효과적으로 작용한다. 도 7은 영상 프로세서(101) 내부의 유효 처리체인을 보여준다.
캡처/디스플레이 장치와 같은 전자보정시스템(100)의 예로는 변환함수 (34)-(39)를 적용하고 장면을 캡처하여 곡면스크린에 투사하는 것이 있다. 이 경우, f a s , f a c 는 곡면스크린에 투사할 때 생기는 왜곡(위치왜곡 및/또는 컬러왜곡)을 보정한 다. 나머지 매핑성분들은 캡처/디스플레이 광학/전자 요소들로 인한 광학변형들을 보정한다. 이들 나머지 매핑성분들은 장치의존 매핑들로서, 스크린 형상이 변하면 f a s 와 f a c 만 변하고 장치의존 매핑들은 변하지 않는다. 즉, 매핑 f ci s -1, f di s -1, f ci c -1, f di c -1, h c s , h d s , h d s , h d s 는 주어진 장치 구성에 대해 한번만 계산되면 된다. 색상마다 다른 f a c 매핑을 필요로 할 경우는 컬러를 정합할 경우이다. 2개의 오버랩 영상들을 하나의 스크린에 투사하되 최종 영상이 오버랩 영역에서 연속되어야 할 경우 (즉, 대형 장면을 여러개의 프로젝터로 분할하고자 할 경우), 오버랩 영역의 (각 영상의) 3가지 색을 별도로 조정하여 매끄러운 전환을 이루어야 한다.
전술한 바와 같이, 여러 매핑들을 표현하고 계산하는 방법은 애플리케이션/장치에 따라 좌우된다. 가장 일반적인 매핑 설명은 그리드 데이타세트이다. 그리드 데이타세트는 대표적인 화소의 입출력 위치와 컬러값들 세트를 제시한다. 그리드 데이타세트를 만드는데는 여러가지 방법이 있다. 광학요소의 경우, 광선투사(ray-tracing) 프로그램을 이용해 입출력 화소위치들을 결정한다. 시스템에 테스트 패턴을 운용해 컬러 시프트를 결정할 수도 있다. 입출력 휘도에 관한 데이타를 이용해 휘도보정맵을 설명하는 (컬러공간내의) 그리드 데이타세트를 결정할 수 있다.
특수 변환(키스톤, 원통면, 구면 등)에 대해서는, 수학모델을 이용해 데이타세트를 분석할 수 있다. 따라서, 변환함수 (2)-(7)의 '순방향' 맵으로부터 그리드 데이타세트를 역으로 하면 변환함수 (34)-(39)의 역함수에 대한 그리드 데이타세트 를 계산할 수 있다.
일단 ((34)-(39)의 우변의 5개 성분함수들에 대응하는) 개별적인 데이타세트가 결정되면, 이들을 연결해 매핑 (34)-(39) 각각에 그리드 데이타세트를 하나씩 제공할 수 있다. 연결은 여러가지로 이루어질 수 있다. 한 방법은 스플라인과 같은 2D 표면으로 개별 데이타세트를 맞추거나 보간하는 것이다. 이들 표면을 기능적으로 조합하고 옳은 순서로 평가하여 최종적인 그리드 데이타세트를 얻는다. 이 과정을 매핑 (34)-(39) 각각에 대해 반복한다. 조합/평가 작업은 단순히 하나의 표면 범위를 다음 표면의 도메인으로 사용하는 것이다. 일단 최종 6개 그리드 세트가 있으면, 이들을 통합 2D 표면계 함수포맷으로 변환하여 임의의 변환을 표현한다. (화소계) 그리드 데이타세트 포맷보다 이런 통합 함수포맷을 이용하면 여러 이점이 있다. 최종 결과로, (34)-(39)는 다음과 같이 표현될 수 있다:
Figure 112004057998781-pct00021
공간변환에 관한 종래의 이해대로 (41)은 (42)-(44)를 결정하는데 이용될 수 있다. (41)에서와 같은 화소위치 대신, 컬러맵 (42)의 계수를 (43)-(44)에 적용한다. 표면 (43)-(44)는 정확히 표면 (41)과 같은 식으로 결정되고; 범위의 평균만이 다르다. (42)에서, 컬러맵은 선형으로 취해지고; 고차 표면의 중요부분이 선명하지 않아도 고차함수를 이용할 수 있다. 영상 프로세서(51,101)는 (42)를 Oi에서 선형으로 취하고 (43)-(44)를 x, y에서 선형으로 취한다.
도 8은 동적인 광학보정과 영상워핑을 이루는데 영상 프로세서(151)를 사용하는 다른 전자보정시스템(150)을 보여준다. 도시된 바와 같이, 동적인 순서를 정의하는 다른 변환들은 맵생성기(162)를 이용해 계산되어 외부메모리(160)에 저장될 수 있다. 마찬가지로, 전자보정시스템(150)은 렌즈, 프리즘 등의 광학요소와 전자센서와 패널 등의 비광학요소(152,154)를 포함하고, 이들 일부나 전부는 광학변형을 영상 처리체인은 물론 메모리면(156,158)에 도입할 수 있다.
전자보정시스템(150)은 영상 프로세서(151)를 이용해 다른 매핑들(즉, 41-44의 함수 세트 이외의 매핑)을 저장한다. 이 방법을 이용하면, 광학변형 (및/또는 특수 워핑)이 (타당한 속도로) 시간에 따라 변하는 상황을 해결할 수 있다. 이 방법은 적응적 변형보정법으로서, 변화하는 변형들에 매핑을 적응한다. 함수는 동적 변화에 맞게 미리 계산된 다음, 필요에 따라 로딩될 수 있다. 예컨대 시간에 따라 변하는 키스톤 보정과 같은 동적인 특수 효과가 있을 수 있다. 매핑을 오프라인에서 계산한다고 가정했지만, 상황에 따라 다를 수 있다. 컴퓨터 파워가 충분하면, 각종 맵을 저장하는데 필요한 메모리블록을 없애고 온라인(즉, 집적회로 내부에서) 매핑을 계산할 수 있다.
이상 설명한 함수 (41)-(44)는 영상 프로세서(51,101,151)에 저장된 다음 디 지탈 영상데이타에 이용된다. 전체적인 효과로 이상적 거동이 복구되고 특수 워핑만 남는다. 이 방법은 광학변형을 보정하는 효과적인 전자식 해결책으로서, 모든 특수 영상워핑을 포함할 수 있다는 추가 장점도 있다. 특수 워핑을 어떻게 변화시켜도 변형보정 매핑에는 영향을 주지 않는다.
광학변형 보정을 위한 이상의 전자식 해결책은 비용을 크게 낮춘다. 특히, 고가의 광학요소를 없애거나 저렴한 요소로 대체할 수 있다. 전류회로는 왜곡, 배율색수차, 휘도/색도 불균일을 보정함은 물론, 모든 특수 영상워핑에 적용할 수 있다. 전자보정시스템(150)의 주요 시장은, HDTV, PC 모니터, 프로젝션 TV 등에 사용되는 고해상 화소 디스플레이 시스템 분야이다.
도 9는 본 발명에 따라 구성된 전자보정방법(200)의 주요 단계들을 보여주는 순서도이다. 앞에서 자세히 설명한 것처럼, 전자보정방법(200)은 영상 캡처/디스플레이 장치에 공통적인 광학변형을 없앤다.
202 단계에서 오프라인 회로 또는 가능하면 영상 프로세서(51,101,151)가 여러 광학변형들을 확인하고 이들을 집합적으로 화소데이타의 변환으로 표현한다. 이 변환은 (위치)공간 및/또는 컬러공간에 있을 수 있다. 전술한 바와 같이, 변환을 규정하는 가장 일반적 방법은 그리드 데이타세트에 의한 것으로, 대표적인 화소 입출력 위치와 컬러값 세트를 제시한다. 204 단계에서 영상처리체인의 이상적 거동이 확인되고 그리드 데이타세트로 표현된다.
206 단계에서, 변형보정변환(즉, 그리드 데이타세트 형태로)이 계산된다. 이들 변환은 앞 단계의 그리드 데이타세트를 역으로 하여 계산될 수 있다. 208 단계 에서, 모든 특수 변환들(그리드 데이타세트)이 계산된다. 210 단계에서, 변형보정변환과 특수변환 또는 그리드 데이타세트들이 신호 데이타세트와 연결된다. 이렇게 되면 각각의 독립적인 화소변수마다 데이타세트가 하나씩 제공되어, 전자적으로 이용되어야 할 완전한 '워핑'맵을 특정한다. 화소변수에는 6개, 즉 RGB 위치값과 RGB 컬러값이 있다.
212 단계에서, 연결된 그리드 데이타세트들은 시중에서 구입할 수 있는 영상워핑회로(예; 캘리포니아 산호세 소재 Silicon Optix 제조 sxW1 집적회로)에서 사용되는 장치의 함수포맷으로 변환된다. 이런 함수설명은 실시간 화소급 정밀도의 영상처리에 적합하도록 아주 일반적인 변환을 표현할 수 있다. 끝으로, 214 단계에서, sxW1 집적회로를 통해 미리 계산된 함수설명에 맞게 화소데이타가 디지탈 변환된다. 그 결과, 캡처/워핑/디스플레이 처리체인을 통과한 최종 영상은 어떤 변형도 없고 특수 영상워핑만을 보인다.
전자보정시스템(50,100,150)과 전자보정방법(200)은 영상 샤프니스에 영향을 주지 않는 수차, 즉 왜곡, (축상색수차를 제외한) 색 비수렴, 휘도(또는 색도) 불균일을 효과적이고 저렴하게 실시간 전자보정한다. 이들 영향들 각각은 위치공간이나 컬러공간의 변환으로 모델화된다. 즉, 수차가 (화소위치나 화소의 컬러함량에 영향을 주는) 화소변환으로 표현되면, 역변환을 이용해 수차를 없앨 수 있다. 동일한 방식이 특수 영상처리 및 동적변형 보정에도 적용된다. 전자보정방법(200)은 디스플레이/프로젝션 장치나 캡처장치에 한정되지 않고, 디스플레이 및/또는 캡처 요 소를 포함하는 모든 영상처리체인에도 이용된다. 모든 보정은 위치공간이나 컬러공간에서 작용하는 그리드 데이타세트나 함수로서 표현되어, 함수성분들을 통해 다른 보정들을 연결할 수 있다.

Claims (27)

  1. 광학영상과 관련된 디지탈영상 화소데이타를 보상하여, 물리적이고 형상적 특징을 갖는 광학 캡처/디스플레이 요소들을 통해 처리되는 광학영상의 영상캡처 및 영상 디스플레이와 관련된 여러개의 광학변형들을 보정하는 전자보정방법에 있어서:
    ⒜ 광학 캡처/디스플레이 요소의 물리적, 형상적 특성들과 관련된 광학변형들 각각을 확인하고 광학변형 그리드 데이타세트로 표현하는 단계;
    ⒝ 광학 캡처/디스플레이 요소의 이상적 거동을 확인하고 이상적 그리드 데이타세트로 표현하는 단계;
    ⒞ 각각의 광학변형 그리드 데이타세트에 대해,
    (i) 광학변형 그리드 데이타세트를 이상적 그리드 데이타세트와 비교하고, 변형보정 그리드 데이타세트를 결정하며;
    (ii) 2차원 표면함수를 적용해 변형보정 그리드 데이타세트를 표현하는 단계;
    ⒟ ⒞의 2차원 표면함수들을 연계하여, 광학변형들에 대한 변형보정변환을 나타내는 일반 2차원 표면함수를 형성하는 단계; 및
    ⒠ 변형보정변환을 디지탈영상 화소데이타에 적용해, 시청할 때 광학변형이 없는 보정된 영상 화소데이타를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 광학변형들이 왜곡, 색 비수렴, 휘도불균일 및 색도불균일로 이루어지는 군으로부터 선택되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 구면, 원통면 및 키스톤 변환들로 구성된 군으로부터 선택된 영상 스케일링 및 형상 변환들을 나타내는 응용 변환을 계산하는 단계, 및 ⒟로부터의 변형보정변환을 응용변환과 연결하는 단계를 더 포함하고, 상기 ⒠ 단계는 응용변환과 변형보정변환의 연결을 디지탈 화소 영상데이타에 적용하는 것으로 이루어지는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 변형보정변환을 장치 특정 함수표현으로 변환하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 동적 변형 보정을 이루기 위해 변환 순서를 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 변형보정변환이 위치공간과 컬러공간중 하나나 둘다에 정의되는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 변형보정변환이 보정 형상변환 세트와 보정 컬러변환 세트를 정의하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 ⒠ 단계가,
    (i) 보정형상변환 세트를 적용하는 단계;
    (ii) 필터링 동작 세트를 적용하는 단계; 및
    (iii) 보정컬러변환 세트를 적용하는 단계;를 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 디지탈 화소 영상데이타가 캡처장치 및 디스플레이 장치중 하나 또는 둘다와 관련되는 것을 특징으로 하는 방법.
  10. 광학영상과 관련된 디지탈영상 화소데이타를 보상하여, 특수 형상을 갖는 광학 캡처/디스플레이 요소들을 통해 처리되는 광학영상의 캡처 및 디스플레이와 관련된 여러개의 광학변형들을 보정하는 전자보정시스템에 있어서:
    ⒜ 광학 캡처/디스플레이 요소의 물리적, 형상적 특성들과 관련된 광학변형들 각각을 확인하고 광학변형 그리드 데이타세트로 표현하고;
    ⒝ 광학 캡처/디스플레이 요소의 이상적 거동을 확인하고 이상적 그리드 데이타세트로 표현하며;
    ⒞ 각각의 광학변형 그리드 데이타세트에 대해,
    (i) 광학변형 그리드 데이타세트를 이상적 그리드 데이타세트와 비교하고, 변형보정 그리드 데이타세트를 결정하며;
    (ii) 2차원 표면함수를 적용해 변형보정 그리드 데이타세트를 표현하고;
    ⒟ ⒞의 2차원 표면함수들을 연계하여, 광학변형들에 대한 변형보정변환을 나타내는 일반 2차원 표면함수를 형성하며;
    ⒠ 변형보정변환을 디지탈영상 화소데이타에 적용해, 시청할 때 광학변형이 없는 보정된 영상 화소데이타를 생성하는;영상 프로세서를 포함하는 것을 특징으로 하는 시스템.
  11. 제10항에 있어서, 상기 광학변형들이 왜곡, 색 비수렴, 휘도불균일 및 색도불균일로 이루어지는 군으로부터 선택되는 것을 특징으로 하는 시스템.
  12. 제10항에 있어서, 구면, 원통면 및 키스톤 변환들로 구성된 군으로부터 선택된 영상 스케일링 및 형상 변환들을 나타내는 응용변환을 계산하고 상기 ⒟의 변형보정변환과 응용변환을 연결하는 애플리케이션 모듈을 더 포함하고, 상기 ⒠는 응용변환과 변형보정변환의 연결을 디지탈 화소영상 데이타에 적용하여 이루어지는 것을 특징으로 하는 시스템.
  13. 제10항에 있어서, 상기 영상 프로세서가 변형보정변환 데이타세트를 장치 특정함수표현으로 변환하는 것을 특징으로 하는 시스템.
  14. 제10항에 있어서, 상기 영상 프로세서가 동적 변형 보정을 이루기 위해 변환 순서를 저장하는 것을 특징으로 하는 시스템.
  15. 제10항에 있어서, 상기 광학변형 그리드가 위치공간과 컬러공간중 하나나 둘다에 정의되는 것을 특징으로 하는 시스템.
  16. 제10항에 있어서, 상기 변형보정변환이 보정 형상변환 세트와 보정 컬러변환 세트를 정의하는 것을 특징으로 하는 시스템.
  17. 제16항에 있어서, 상기 영상 프로세서가,
    (i) 보정형상변환 세트의 적용;
    (ii) 필터링 동작 세트의 적용; 및
    (iii) 보정컬러변환 세트의 적용;을 하는 것을 특징으로 하는 시스템.
  18. 제10항에 있어서, 상기 보정된 영상 화소데이타를 디스플레이하는 영상 디스플레이 장치를 상기 영상 프로세서에 연결한 것을 특징으로 하는 시스템.
  19. 제10항에 있어서, 상기 디지탈영상 화소데이타를 캡처하는 캡처 장치를 상기 영상 프로세서에 연결한 것을 특징으로 하는 시스템.
  20. 광학영상과 관련된 디지탈영상 화소데이타를 보상하여, 특수 형상을 갖는 광학 캡처/디스플레이 요소들을 통해 처리되는 광학영상의 캡처 및 디스플레이와 관련된 여러개의 광학변형들을 보정하기 위해 컴퓨터로 판독되는 명령어가 내장된 컴퓨터로 판독가능한 기록매체에 있어서:
    ⒜ 광학 캡처/디스플레이 요소의 물리적, 형상적 특성들과 관련된 광학변형들 각각을 확인하고 광학변형 그리드 데이타세트로 표현하고;
    ⒝ 광학 캡처/디스플레이 요소의 이상적 거동을 확인하고 이상적 그리드 데이타세트로 표현하며;
    ⒞ 각각의 광학변형 그리드 데이타세트에 대해,
    (i) 광학변형 그리드 데이타세트를 이상적 그리드 데이타세트와 비교하고, 변형보정 그리드 데이타세트를 결정하며;
    (ii) 2차원 표면함수를 적용해 변형보정 그리드 데이타세트를 표현하고;
    ⒟ ⒞의 2차원 표면함수들을 연계하여, 광학변형들에 대한 변형보정변환을 나타내는 일반 2차원 표면함수를 형성하며;
    ⒠ 변형보정변환을 디지탈영상 화소데이타에 적용해, 시청할 때 광학변형이 없는 보정된 영상 화소데이타를 생성하는; 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
  21. 제20항에 있어서, 상기 광학변형들이 왜곡, 색 비수렴, 휘도불균일 및 색도불균일로 이루어지는 군으로부터 선택되는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
  22. 제20항에 있어서, 구면, 원통면 및 키스톤 변환들로 구성된 군으로부터 선택된 영상 스케일링 및 형상 변환들을 나타내는 응용변환을 계산하고, 이 응용변환을 ⒟의 변형보정변환과 연결하며, ⒠는 응용변환과 변형보정변환의 연결을 디지탈 화소 영상데이타에 적용하는 것으로 이루어지는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
  23. 제20항에 있어서, 상기 변형보정변환을 장치 특정함수표현으로 변환하는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
  24. 제20항에 있어서, 동적 변형 보정을 이루기 위해 변환 순서를 저장하는 것을 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
  25. 제20항에 있어서, 상기 변형보정변환이 위치공간과 컬러공간중 하나나 둘다에 정의되는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
  26. 제20항에 있어서, 상기 변형보정변환이 보정 형상변환 세트와 보정 컬러변환 세트를 정의하는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
  27. 제26항에 있어서, 상기 ⒠가,
    (i) 보정형상변환 세트를 적용하고;
    (ii) 필터링 동작 세트를 적용하며;
    (iii) 보정컬러변환 세트를 적용하여 이루어지는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
KR1020047020010A 2002-06-12 2003-06-12 광학변형의 전자보정 시스템 및 방법 KR100973855B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38759602P 2002-06-12 2002-06-12
US60/387,596 2002-06-12

Publications (2)

Publication Number Publication Date
KR20060041142A KR20060041142A (ko) 2006-05-11
KR100973855B1 true KR100973855B1 (ko) 2010-08-03

Family

ID=29736337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047020010A KR100973855B1 (ko) 2002-06-12 2003-06-12 광학변형의 전자보정 시스템 및 방법

Country Status (9)

Country Link
US (1) US7474799B2 (ko)
EP (1) EP1512123B1 (ko)
JP (1) JP2005535010A (ko)
KR (1) KR100973855B1 (ko)
CN (1) CN100365658C (ko)
AT (1) ATE445203T1 (ko)
AU (1) AU2003232561A1 (ko)
DE (1) DE60329593D1 (ko)
WO (1) WO2003107274A2 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6751362B2 (en) * 2001-01-11 2004-06-15 Micron Technology, Inc. Pixel resampling system and method for text
US6963348B2 (en) * 2002-05-31 2005-11-08 Nvidia Corporation Method and apparatus for display image adjustment
US7221793B2 (en) 2003-05-27 2007-05-22 Hewlett-Packard Development Company, L.P. Systems and methods for providing spatially-varied demosaicing
EP1771811A4 (en) * 2004-07-26 2010-06-09 Silicon Optix Inc PANORAMIC VISION SYSTEM AND METHOD
US20060045383A1 (en) * 2004-08-31 2006-03-02 Picciotto Carl E Displacement estimation system and method
CN101027679B (zh) * 2004-09-09 2010-04-21 奥普提克斯晶硅有限公司 表达通用的二维空间变换的系统和方法
US7653447B2 (en) 2004-12-30 2010-01-26 Mondo Systems, Inc. Integrated audio video signal processing system using centralized processing of signals
US8880205B2 (en) 2004-12-30 2014-11-04 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
US7825986B2 (en) 2004-12-30 2010-11-02 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals and other peripheral device
US8015590B2 (en) 2004-12-30 2011-09-06 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
US7570810B2 (en) * 2005-02-24 2009-08-04 Seiko Epson Corporation Method and apparatus applying digital image filtering to color filter array data
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
JP5074777B2 (ja) 2006-05-22 2012-11-14 キヤノン株式会社 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム
US20080088527A1 (en) * 2006-10-17 2008-04-17 Keitaro Fujimori Heads Up Display System
JP2010530086A (ja) 2006-12-19 2010-09-02 創太 清水 イメージングモデル及び画像処理装置
JP2010530087A (ja) * 2006-12-19 2010-09-02 創太 清水 画像処理プロセッサ
US8442316B2 (en) * 2007-01-05 2013-05-14 Geo Semiconductor Inc. System and method for improving color and brightness uniformity of backlit LCD displays
US8055070B2 (en) * 2007-01-05 2011-11-08 Geo Semiconductor Inc. Color and geometry distortion correction system and method
JP4827193B2 (ja) * 2007-03-23 2011-11-30 オリンパスイメージング株式会社 電子撮像装置
US8325282B2 (en) * 2008-04-08 2012-12-04 Mitsubishi Electric Visual Solutions America, Inc. Television automatic geometry adjustment system
US8328365B2 (en) 2009-04-30 2012-12-11 Hewlett-Packard Development Company, L.P. Mesh for mapping domains based on regularized fiducial marks
DE102010064640B3 (de) * 2009-05-13 2018-05-09 Koh Young Technology Inc. Verfahren zur Messung eines Messungsziels
DE102010028894B4 (de) 2009-05-13 2018-05-24 Koh Young Technology Inc. Verfahren zur Messung eines Messobjekts
JP5208282B2 (ja) * 2009-10-15 2013-06-12 パナソニック株式会社 表示パネル装置、表示装置および表示パネル装置の製造方法
TWI423659B (zh) * 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統
US8854401B2 (en) 2010-12-28 2014-10-07 Apple Inc. System and method to improve image edge discoloration
US8867831B2 (en) * 2012-05-09 2014-10-21 University Of Southern California Image enhancement using modulation strength map and modulation kernel
US9251572B2 (en) * 2013-07-26 2016-02-02 Qualcomm Incorporated System and method of correcting image artifacts
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
TW201822709A (zh) * 2016-12-30 2018-07-01 曦威科技股份有限公司 即時心跳偵測方法及即時心跳偵測系統
US11275920B1 (en) 2017-09-27 2022-03-15 Apple Inc. Elongated fingerprint sensor
US11227558B1 (en) 2018-09-07 2022-01-18 Apple Inc. Subpixel layout compensation to correct color fringing on an electronic display
US11189248B1 (en) * 2020-05-06 2021-11-30 Apple Inc. Systems and methods for switching vision correction graphical outputs on a display of an electronic device
US11783629B2 (en) 2021-03-02 2023-10-10 Apple Inc. Handheld electronic device
CN113515512B (zh) * 2021-06-22 2024-06-14 国网辽宁省电力有限公司鞍山供电公司 一种工业互联网平台数据的质量治理及提升方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052672A (ja) * 2005-08-18 2007-03-01 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4943155A (en) 1987-12-22 1990-07-24 Hughes Aircraft Company Color projection system with a color correction wedge
US5086338A (en) 1988-11-21 1992-02-04 Canon Kabushiki Kaisha Color television camera optical system adjusting for chromatic aberration
US5055922A (en) 1990-03-07 1991-10-08 U.S. Precision Lens Incorporated Color tv projection lens system
FR2660090B1 (fr) * 1990-03-23 1994-07-29 Thomson Csf Dispositif de visualisation par projection a boucle de contre-reaction pour la correction de l'ensemble des defauts de l'image projetee.
JP2653899B2 (ja) 1990-06-07 1997-09-17 松下電器産業株式会社 画像補正装置
US5369450A (en) 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
US6012375A (en) 1993-07-06 2000-01-11 Eckstein; Donald B. Aircraft infrared guided defense missile system
US5499139A (en) 1993-10-01 1996-03-12 Hughes Aircraft Company Ultra-wide field of view, broad spectral band helmet visor display optical system
JPH0888860A (ja) * 1994-09-19 1996-04-02 Mitsubishi Electric Corp 自動画像歪補正装置
CN1070013C (zh) 1994-12-14 2001-08-22 松下电器产业株式会社 具有校正亮度不均匀性的电路的投影型图像显示装置
US5870505A (en) 1996-03-14 1999-02-09 Polaroid Corporation Method and apparatus for pixel level luminance adjustment
JP3309738B2 (ja) 1996-11-01 2002-07-29 松下電器産業株式会社 画像表示装置
US6249315B1 (en) * 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
US5889625A (en) 1997-05-21 1999-03-30 Raytheon Company Chromatic aberration correction for display systems
JP3575234B2 (ja) 1997-07-15 2004-10-13 セイコーエプソン株式会社 ダイクロイックプリズムおよび投写型表示装置
DE19855885A1 (de) 1997-12-04 1999-08-05 Fuji Photo Film Co Ltd Bildverarbeitungsverfahren und -vorrichtung
US6069982A (en) * 1997-12-23 2000-05-30 Polaroid Corporation Estimation of frequency dependence and grey-level dependence of noise in an image
US6144498A (en) 1998-06-11 2000-11-07 Optical Coating Laboratory, Inc. Color separation prism assembly and method for making same
US6456339B1 (en) * 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
JP3395832B2 (ja) * 1998-08-28 2003-04-14 ソニー株式会社 画像表示補正システム、画像表示補正装置および方法並びに画像表示装置および方法
US6418242B1 (en) * 1998-11-18 2002-07-09 Tektronix, Inc. Efficient detection of error blocks in a DCT-based compressed video sequence
KR100366643B1 (ko) * 1998-11-25 2003-02-19 삼성전자 주식회사 구획현상제거방법및장치
US6349146B2 (en) * 1998-12-22 2002-02-19 Xerox Corporation Device-biased color converting apparatus and method
US6459818B1 (en) * 1999-03-01 2002-10-01 University Of Rochester System for recovery of degraded images
US6111701A (en) 1999-07-14 2000-08-29 Rockwell Collins, Inc. Chromatic aberration corrected multi-color head-up display system
KR100414083B1 (ko) * 1999-12-18 2004-01-07 엘지전자 주식회사 영상왜곡 보정방법 및 이를 이용한 영상표시기기
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
US6963348B2 (en) * 2002-05-31 2005-11-08 Nvidia Corporation Method and apparatus for display image adjustment
KR100571219B1 (ko) 2003-01-08 2006-04-13 엘지전자 주식회사 3차원 가상 스크린 기반 영상왜곡 보정장치
KR100525425B1 (ko) 2003-02-04 2005-11-02 엘지전자 주식회사 영상 워핑 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052672A (ja) * 2005-08-18 2007-03-01 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体

Also Published As

Publication number Publication date
CN1659592A (zh) 2005-08-24
CN100365658C (zh) 2008-01-30
AU2003232561A8 (en) 2003-12-31
US7474799B2 (en) 2009-01-06
WO2003107274A2 (en) 2003-12-24
EP1512123B1 (en) 2009-10-07
DE60329593D1 (de) 2009-11-19
JP2005535010A (ja) 2005-11-17
ATE445203T1 (de) 2009-10-15
WO2003107274A3 (en) 2004-07-29
US20040076336A1 (en) 2004-04-22
EP1512123A2 (en) 2005-03-09
KR20060041142A (ko) 2006-05-11
AU2003232561A1 (en) 2003-12-31

Similar Documents

Publication Publication Date Title
KR100973855B1 (ko) 광학변형의 전자보정 시스템 및 방법
TWI459820B (zh) 色彩及幾何失真校正系統及方法
KR101785027B1 (ko) 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
US8768094B2 (en) System and method for automated calibration and correction of display geometry and color
JP4159986B2 (ja) デジタル画像から変換された画像を計算するための方法およびシステム
US8116008B2 (en) System and method for lens performance optimization using electronic aberration correction
JP5140869B2 (ja) 画像投影方法および画像投影装置
CN102844788B (zh) 图像处理装置及使用该图像处理装置的图像拾取装置
CN102970459B (zh) 图像处理设备、摄像设备和图像处理方法
JP5438579B2 (ja) 画像処理装置及びその制御方法
US8294740B2 (en) Image processor, image display device, image processing method, image display method, and program
WO2002101443A2 (en) System and method for correcting keystone distortion
JP5200743B2 (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
JPH10322711A (ja) カラーセンサの空間的不均一性の補正システム
CN111242863A (zh) 基于图像处理器实现的消除镜头横向色差的方法及介质
JP5479187B2 (ja) 画像処理装置及びそれを用いた撮像装置
JP5367053B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
Petrov et al. Color correction with 3D lookup tables in diffractive optical imaging systems
JP5522241B2 (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
JPH0737079A (ja) 画像歪み補正方法及び装置
KR100546646B1 (ko) 화면 왜곡 보정 방법 및 장치
US7403207B1 (en) Intensity weighting for sub-pixel positioning
JP2021170197A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および学習済みモデルの製造方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130729

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140702

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150520

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160721

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170721

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180723

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 10