KR20020088429A - 윤곽 필터 및 윤곽 필터로부터 윤곽 정보를 제공하는 방법 - Google Patents
윤곽 필터 및 윤곽 필터로부터 윤곽 정보를 제공하는 방법 Download PDFInfo
- Publication number
- KR20020088429A KR20020088429A KR1020027013340A KR20027013340A KR20020088429A KR 20020088429 A KR20020088429 A KR 20020088429A KR 1020027013340 A KR1020027013340 A KR 1020027013340A KR 20027013340 A KR20027013340 A KR 20027013340A KR 20020088429 A KR20020088429 A KR 20020088429A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- array
- contour
- filter
- group
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000006829 Ficus sundaica Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011437 continuous method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
본 발명은 디지털 카메라 센서에 관한 것이고, 상세하게는 RGB 베이어 센서용 앨리어싱 없는 윤곽 필터(contour filter)에 관한 것이다. 필터(ZSB, 7)는 백 폴드된 앨리어싱 구조를 증폭시키고, 이미지 센서의 녹색에 의해 발생된 녹색-녹색 차를 제거한다.
Description
디지털 카메라에서, 장면으로부터 광 정보를 획득하기 위해 렌즈가 사용된다. 이들 광자는 복수의 감광 소자로 이루어진 이미지 센서에 의해 전자로 변환된다. RGB 스틸 카메라를 사용할 때, 적색, 녹색 및 청색을 센싱해서, 컬러를 획득하기 위해 세 개의 이미지 센서가 사용된다. 카메라의 가격, 무게 및 크기를 감소시키기 위해 RGB 베이어 필터 어레이를 구비하고 있는 하나의 이미지 센서를 사용하는 것이 가능하고, 여기서 센서 어레이 내의 각각의 픽셀은 적색, 녹색 또는 청색을 소정 패턴으로 감지한다. 제 2 발광 소자 패턴은 녹색, 적색 열 및 녹색, 청색 열이 교차해서 이루어진다.
도 1에는, RGB 베이어 이미지 센서의 컬러 필터 어레이가 도시되어 있다. 이미지 센서는 정방형이며, 인접하는 픽셀을 가지고 있는 것으로 가정하고, 이는 해상도가 센서의 가로 세로 비에 무관하게 되고, 수평 및 수직 방향으로 동일하다는 것을 의미한다. RGB 픽셀의 샘플 구조는 도 2에 도시되어 있다. 피치(p)는 두개의 이웃하는 픽셀 사이의 거리이다. 그 역수는 센서의 단일 RGB 출력의 경우의 픽셀 또는 시스템 클록 주파수 'fs'를 나타내므로, fs=1/p이다. 각각의 RGB 컬러의 샘플 주파수는 각각의 RGB 컬러의 가장 가까운 픽셀 사이의 거리에 반비례한다. 이는 수평 및 수직 방향 샘플 주파수에서의 적색 및 청색에 관한 결과인, 소위 fsR 및 fsB는 1/2p=fs/2와 같고, 대각선 방향의 녹색에 대한 결과인 소위 fsG는 1/p=fs/와 같다. fsR와 fsB가 같기 때문에 그 주파수는 소위 fsRB이다.
샘플링된 이미지에 대해서, 각각의 컬러의 주파수 스펙트럼은 각각의 컬러의 샘플 주파수의 배로 반복된다고 알려져 있다. 다양한 샘플 주파수가 2차원 어레이에 동일 간격으로 위치된다. 도 3의 검은 점으로서, 제한된 수의 다중 샘플 주파수 포인트가 도시되어 있고, 도 3의 좌측부는 적색 및 청색 주파수 어레이를 나타내고, 도 3의 우측부는 녹색 샘플 주파수 어레이를 나타낸다. 회색의 영역 N은 나이기스트 영역이다. 이론적으로는 그 수는 무한하다. 만약 주파수 스펙트럼이 중첩되면, 앨리어싱(aliasing)이 도입된다. 만약 샘플 주파수 포인트 주위의 각각의 스펙트럼이 중첩되지 않는다면, 소위 나이퀴스트 이론이 수행된다. 즉 광학 시스템 및 픽셀의 전체 센서 감광부를 지나는 장면의 입수 주파수 및 각각의 컬러의 샘플 주파수의 절반값 이하가 되어야 한다. 이는 각각의 컬러가 제공할 수 있는 최대 해상도가 각각의 컬러의 샘플 주파수의 절반값에 의해 결정된다는 것을 의미한다. 그래서, 적색 및 청색의 픽셀에 대해, 수평 및 수직 방향의 최대 해상도는 fsRB/2=fs/4이고, 대각선 방향으로는*fs/4이다. 녹색 픽셀에 대해서 대각선 방향 해상도는 fsG/2=fs/2의 최대값을 가지고, 이는 fs/2인 수평 및 수직 방향으로 다섯 점(quincunx)구조에 기인한다.
이미지의 윤곽의 질을 높여서 더 선명한 이미지를 얻는데 사용될 수 있는 윤곽 신호를 획득하기 위해 윤곽 필터링이 수행된다. 윤곽 필터는 상이한 RGB의 크기를 윤곽으로서 해석하지 않는다. 상이한 RGB 진폭을 가지고, 컬러인 장면 부분을 필터링할 때, 출력은 제로가 된다는 것을 의미한다.
디지털 스틸 카메라에서, 윤곽 필터가 적용될 때의 단점은 상술한 백 폴딩 앨리어싱 구조(back folding aliasing artefacts)가 증가되어서 이 구조가 더 가시적으로 될 것이라는 것이다.
본 발명은 디지털 이미지 센서에 관한 것이고 상세하게는 RGB 베이어 센서 출력 신호(RGB Bayer sensor output signals)용 윤곽 필터(contour filter)에 관한 것이다.
도 1은 RGB 베이어 휘도 픽셀을 도시하는 도면,
도 2는 RGB 컬러의 피치를 도시하는 도면,
도 3은 RGB 베이어 샘플 주파수 어레이를 도시하는 도면,
도 4는 5×5 앨리어싱 없는(aliasing free) 윤곽 필터의 전송 특성을 도시하는 도면,
도 5는 윤곽 필터(B)의 전송 특성을 도시하는 도면,
도 6은 선형 컬러 바 장면을 도시하는 도면,
도 7은 좌측에 앨리어싱 없는 윤곽 신호를 도시하고, 우측에 윤곽 필터 B의 신호를 도시하는 도면,
도 8은 5×5 어레이의 확장된 규칙(2)의 수행을 도시하는 도면,
도 9는 RGB 베이어 컬러 카메라의 RGB 및 윤곽 복원, 매트릭스 및 화이트 밸런스를 도시하는 도면,
도 10은 RGB 복원 및 앨리어싱 없는 평행 윤곽의 블록도.
본 발명의 목적은 상술한 문제를 해결해서 앨리어싱 구조를 증폭시키기 않고도 더 선명한 화상을 획득하는, 개선된 윤곽 필터링을 제공하는 것이다.
베이어 센서를 사용하는 것의 다른 문제는 소위 녹색-녹색 차(green-green difference)이다. 녹색 픽셀에 이웃하는 다른 컬러의 픽셀로 인해, 수직 방향의 RGB 베이어 센서에서 녹색-녹색 차 또는 녹색 불균일(green non uniformity)이 발생된다. '적색'열의 수직 방향으로 적색만이 녹색 픽셀에 이웃하고 있고, 반면에 '청색'열에서는 청색 필터만이 녹색에 이웃하고 있다. 실리콘 레이어의 전하 또는 컬러 필터 레이어의 광 크로스토크로 인해, 센서의 수직 방향 색분해의 질에 따라서, 녹색 픽셀은 적색 및 청색에 의해 변조된다. 이렇게 되면, 특정 컬러의 장면에 대해서는 이는 열방향의 녹색 불균일을 초래할 것이다.
따라서, 본 발명의 제 2 목적은 상술한 바와 같이, RGB 베이어 이미지 센서의 녹색에 야기된 녹색-녹색 차를 제거하는 윤곽 필터를 제공하는 것이다.
본 발명은 독립청구항에서 한정된 바와 같은 윤곽 필터를 제공한다. 바람직한 실시예는 종속항에서 한정된다.
본 설명에서, 픽셀 베일(pixel vale)은 임의의 형태 또는 순서로 제공되는 것이 자연스럽다. 중요한 것은, 이미지를 나타내는 어레이가 제공되는 방식대로, 픽셀 베일이 순서화되어서 재생된다는 것이다.
또한, 정확하게 제로가 되는 값으로 제로 스위칭이 대치될 필요가 없다는 것에 주목해야 한다. 통상적으로 나머지 제로가 아닌 필터 계수의 절대값보다 실질적으로 작은 값이면 충분할 것이다. 그러나, 통상적으로 제로가 바람직하고, 이는 10보다 작은 자연수가 보통 필터 계수로서 사용된다는 사실 때문이다.
본 발명에는 상기 프로그램이 컴퓨터에서 수행되고 있을 때, 전술한 방법의 모든 단계를 수행하기에 적합한 컴퓨터 프로그램 코드 수단을 포함하고 있는 컴퓨터 프로그램, 및 컴퓨터 프로그램을 포함하고 있는 컴퓨터 판독가능 매체가 더 포함된다.
본 발명의 이들 및 기타 실시예는 이하 설명하는 실시예를 참조해서 명백하고 자명하게 될 것이다.
본 발명은 RGB 베이어 센서로부터의 이미지 신호를, 이미지 내의 앨리어싱 구조를 증폭시키기 않고 필터링하는 윤곽 필터에 관한 것이고, 이는 적색/청색 및녹색 앨리어싱 영역에서의 어떠한 윤곽의 변화도 차단한다는 것을 의미한다.
필터는 5×5이고, 바람직한 실시예에서, 5×5앨리어싱 없는(aliasing free) 윤곽 필터의 계수는
sigmawCR=8
이다.
sigmawCR은 거의 균일한 신호 증폭을 달성하기 위해 이 윤곽 필터의 신호 출력이 나누어지는 값이다.
중요한 것은 필터의 계수가 아니라 계수 사이의 비라는 것에 주목해야 한다. 계수가 상기에 대응하는 상대적인 비를 가지고 있는 어떤 5×5 윤곽 필터도 사용될 수 있다. 따라서, 하기의 기준을 만족하는 임의의 필터는 본 발명의 범주 내에 있다.
앨리어싱 증폭과 관련되어서 필터의 성능에 영향을 주더라도, 계수의 비의 약간의 편차(예컨대, 25%, 그러나 바람직하게는 더 낮은 10% 또는 5%이하)가 사용될 수 있다는 것에 주목해야 한다.
마지막으로, 계수를 바꿀 때는 거의 균일한 신호 진폭을 유지하기 위해 이에대응해서 sigmawCR 값도 변화되어야 한다.
본 발명에 대응하는 필터의 전송 특성이 도 4에 도시되어 있다. RGB 샘플 주파수 사이의 제로 전송은 이 필터가 최소의 왜곡만을 가지고 앨리어싱 없는 윤곽을 전송하는 경향이 있기 때문이다. 이 효과는 적색/청색 및 녹색 앨리어싱 영역에 윤곽이 없는 것으로 보여지는 존 플레이트(zone plate)의 윤곽을 발견함으로써 확인된다.
후술하는 바와 같이, 일부 계수에 약간 이상의 변화가 생기면, 결과로 나오는 윤곽은 완전히 상이하게 되어서, 요구 사항이 만족되지 않을 것이다. 윤곽 필터 B의 계수는 계수 사이의 비율이 본 발명에 따른 필터와 상이하게 선택되었다. 윤곽 필터 B의 계수는
sigmawCR=8
도 5에는, 윤곽 필터B의 전송 특성이 도시되어 있고, RGB 샘플 주파수 사이의 전송이 제로가 아니기 때문에 윤곽 필터로부터의 앨리어싱을 제거할 수 없는 것으로 보여진다. 이는 적색/청색 및 녹색 앨리어싱 영역에 윤곽이 있는 것으로 보여지는 동심원 회절판으로 확인된다.
본 발명에 따른 필터는 앨리어싱 문제를 해결하는 것으로 설명되어 왔다. 그러나 적절하게 동작시키기 위해, RGB 진폭이 크게 확대되어 있는 부분과는 다르더라도, 동일한 컬러의 장면 부분에 윤곽('변조')이 생기지 않아야 한다.
이를 테스트하는 적절한 도면이, 최대 이용가능한 컬러 스페이스를 사용해서 RGB 진폭 중 가장 차이가 큰 것을 제공하는 도 6의 컬러 바 장면이다. 위에서 부터 중간까지 RGB의 진폭은 0에서 100%로 증가한다. 중간을 지나면 바로 90%로 떨어지고, 그 후에 RGB 신호의 밝기는 0에서 90%로 증가하고, 바닥선에서는 백색이 된다.
도 7의 좌측에는, 앨리어싱 없는 윤곽의 결과물이 컬러 영역에서의 어떤 가시적인 '변조'없이 도시되어 있다. 우측에는 선명하게 가시적인 임의의 소망하지 않는 '변조'가 존재하는 윤곽 필터 B의 윤곽이 도시되어 있다.
더욱이, 테스트는 윤곽 필터가 녹색-녹색 차를 가지지 않는다는 것을 나타내고 있다. 이는 녹색-녹색 차가 없는 윤곽 필터를 지정했을 때, 수행되어야 하는 규칙에 따르는 필터를 체크해서 알 수 있다.
상기 규칙은 :
1. 제 1 필터 계수의 어레이 및 제 2 필터 계수의 어레이의 중심 계수가 제로이고,
복원 경로의 녹색 신호를 사용한 이후에 중심의 녹색 데이터가 필터에 추가된다. 이 중심의 녹색은 전술한 바와 같이 복구된 녹색 균일성을 가지고 있다.
2. 제 1 및 제 2 필터 계수의 어레이 각각에서, 이웃하는 대각선 방향 계수를 뺌으로써 제로 구성이 되고,
이는 결론적으로 수직 방향으로 적색 및 청색이 이웃하는 녹색 픽셀의 녹색-녹색 차를 평균화해서 제거한다.
마지막으로, 최소 왜곡을 달성하기 위해 상기 두 필터의 조합이 체크된다. 우선, 그들의 진폭 전송이 체크되어야 하고 필요하다면, 전체 윤곽 신호의 최소 왜곡에 적합하게 되어야 한다. 이후에, 코어링(coring)을 통한 노이즈 감소량을 각각의 필터의 코어링을 조정해서 가능한 한 매치되게 해야 한다.
앨리어싱 없는 윤곽 필터에 대해 이들 규칙을 체크하기 위해, 그 계수는 '중심의 녹색이 존재하지 않는 것'과 '중심의 녹색이 존재하는 것'에 대한 가중치로 나누어진다. 녹색이 존재하지 않을 때는 다음 계수가 적용된다:
sigmawCR=8
녹색이 존재할 때는
sigmawCR=8
계수의 합의 절대값, sigmawCR은 이미 조정되었다.
그러나, 녹색이 존재하는 필터만의 시뮬레이션은 이 필터만이 녹색-녹색 차를 제거한다는 것을 분명하게 한다. 이 설명은 비-제로인 계수만이 수직 방향으로 이웃하는, 동일한 컬러(적색 또는 청색)를 가지는 녹색 위치에 존재한다는 것이다. 도 8에서는, 제로가 아닌 계수만이, 적색이 수직 방향으로 이웃하는 녹색의 위치에존재한다. 결론적으로(저 주파수의 장면 부분에서), 포함되어 있는 녹색 픽셀은 동일한 에러를 가질 것이다. +8 계수 및 네 개의 -2 계수는 함께 이 에러를 제거해서 출력 신호에서 제로 녹색-녹색 차가 되게 할 것이다.
이는 또한 규칙 1 및 2가 후술하는 바와 같이 될 수 있는 중심의 녹색 필터 구성에 대해 대안의 규칙으로 대치될 수 있다는 것을 의미한다.
- 동일한 수직 방향 이웃 색을 갖는 계수의 합은 제로이고, 상기 제 1 색과는 다른 제 2 수직 방향 이웃 색을 갖는 각각의 필터의 계수는 제로이다.
더 일반적인 용어로는 이하와 같이 표현될 수 있다.
- 필터 계수의 상기 어레이의 모든 두번째 행으로 이루어진 서브 그룹의 계수의 합은 제로이고, 상기 서브 그룹의 일부가 아닌 각각의 필터 계수는 0이다.
도 8에는, 본 발명에 따른 윤곽 필터는 전술한 대안의 규칙을 만족시킨다.
이미지 센서의 RGB 픽셀로부터 유도된, 복원 블록에서의 인접하는 백색 신호에 대해, 매트릭스 및 화이트 밸런스 파라미터가 고려되어야 한다. 복원 이후에 매트릭스 및 화이트 밸런스가 위치 지정되기 때문에, 입수되는 적색 및 청색의 일부 조정이 필요하다. 이를 위해, 파라미터 SmartGcntrlR 및 SmartGcntrlB가 사용되어서 녹색과 매치되고, 인접하는 백색 신호 Yn를 내도록 적색 및 청색 진폭을 제어한다. 도 1을 참조하면, 적색 및 청색 픽셀의 경우에, 다음 식이 이 Yn-신호에 적용된다.
Yn[i,j]=SmartGcntrlR*적색
Yn[i+1,j+1]=SmartGcntrlB*청색
녹색 픽셀의 경우 Yn은 녹색과 같다.
Yn[i+1,j]=녹색
Yn[i,j+1]=녹색
도 9에는, RGB 및 앨리어싱 없는 윤곽 복원을 가지고, 매트릭스 및 화이트 밸런스가 이어지는 개략적인 블록도가 도시된다. 이 블록도는 SmartGcntrlR/B의 계산을 위한 다음 공식에서의 파라미터를 한정하기 위해 사용된다. 장면으로부터의 광(LS)은 렌즈(L)를 지나서 RGB 베이어 센서(S)로 간다. 센서(S)로부터의 출력 신호는 CDS(상관된 이중 샘플링:correlated double sampling), AGC(자동 이득 조정:automatic gain control) 및 ADC(아날로그 디지털 변환) 처리 블록(1)에 인가된다. 처리 블록(1)의 출력은 RGB 복원 및 병렬 윤곽 처리 블록(3)에 인가된다. 처리 블록(3)은 앨리어싱 없는 윤곽 신호(AFC)는 물론 복원된 RGB 신호(Ri, Gi, Bi)를 출력한다. 복원된 RGB 신호(Ri, Gi, Bi)는 신호(Ro, Go, Bo)를 생성하는 매트릭스 회로(MX)에 인가되고, 이는 화이트 밸런스 회로에 인가되어서 출력 신호(Ro', Go', Bo')를 제공한다.
각각의 RGB 베이어 컬러 센서의 원색을 와이드 텔레비전 및 PC 모니터에 채용되는 EBU 원색으로 수정할 필요가 있다. 수정은 9번의 곱셈을 필요로 하는 매트릭스로 구현된다.
Ro, Go, Bo는 매트릭스의 출력 RGB 신호이고, Ri, Gi, Bi는 입력 신호이다.
매트릭스 이후의 화이트 밸런스를 가지고, RGB 신호는
가 된다.
여기서 awbR 및 awbB는 화이트 밸런스 파라미터이다. (WGA(World Gray Assumption) 방법에 따라, awbR = totalGreen/totalRed이고, awbB = totalGreen/totalBlue이고, totalGreen, totalRed 및 totalBlue는 전체 장면에 대해 측정된 전체 RGB 컬러 진폭을 나타낸다. 매트릭스와 화이트 밸런스는 소망의 화이트 재생을 제공한다. Ro', Go', Bo' 신호는 EBU 컬러의 재생을 보장한다.
적절한 인접 백색 신호 Yn에 대해, 그 반대로도 행해져야 한다. 따라서, EBU 컬러 스페이스에 따른 컬러를 가지고, 색온도가 D65와 같은 장면을 가정한다. 이하에 도시한 역매트릭스를 사용해서, 센서의 컬러 스페이스가 이루어진다.
여기서, Rii, Gii, Bii는 EBU 장면의 컬러를 나타내고, Ri, Gi, Bi는 센서의 컬러를 나타낸다.
발광 신호 Yn에 대해, 역행렬의 화이트 재생만이 중요하고, 이는 각각의 컬러의 매트릭스 계수의 합으로 나타내어 진다.
더욱이, 장면의 색온도는 D65화이트가 될 필요가 없다. 임의의 색온도를 포함해서, 매트릭스 계수의 합은
여기서 Xpresetgain(X=R, G 또는 B)은 D65 화이트를 임의의 색온도로 이동시키는 게인 요소를 나타낸다. (D65에 대해서, 모든 Xpresetgain는 하나이다.
Yn[i+1, j+1](하기식 참조)에 사용되는 SmartGcntrlR/B 파라미터에 대해서, 이하가 적용된다.
녹색 진폭을 기준으로 하기 때문에, 파라미터 ∑Giwb는 지정자(nominator)에 따라 사용된다. 이는 화이트 밸런스에도 적용된다.
상기 공식은 측정된 화이트 밸런스 파라미터 awbR/B가 인가될 수 있도록 기록될 수 있다.
따라서,
라는 것을 알아야 한다.
전술한 바와 같이 ∑Xiwb-값은 나누어지기 때문에, Gpresetgain/Gpresetgain = 1 이므로 Gpresetgain 는 중요하지 않다. 따라서, 소망의 ∑Xiwb-값은:
발광 신호 Yn이 백색 장면 컬러에 대해 동일한 RGB 신호 진폭을 가지고 사용되게 되면, 이 신호 Yn은 센서 매트릭스 및 장면의 색온도로부터 독립된다. 이 신호 Yn은 앨리어싱 없는 윤곽 필터에 적용될 수 있다.
발생되는 문제는 Yn이 적색 및 청색 픽셀에 대해서 SmartGcntrlR/B 파라미터로 구성되어야 한다는 것이고, 해결 방법은 소망의 성능에 달렸다. 만약 최상의 앨리어싱 없는 윤곽 필터의 성능이 요구되면, SmartGcntrlR/B 파라미터가 적용되어야 한다. 만약 다소 낮은 성능도 허용된다면, 즉 약간의 왜곡이 허용된다면, 이들 파라미터는 무시될 수 있다.
도 10은 RGB 복원 및 앨리어싱 없는 병렬 윤곽 필터링의 블록도이다. Yn은 센서의 다중 RGB 신호이고, 사전 처리 블록(5)에서 R은 SmartGcntrlR과 곱해지고, B는 SmartGcntrlB와 곱해진다. 이 Yn 신호는 5×5 병렬 윤곽에 대해서만 사용되고, 반면에 Yn은 제로 스위치 박스(ZSB)를 통해서, 적색=R * SmartGcntrlR, 녹색=G 및 청색= B * SmartGcntrlB인, 세가지 컬러로 나누어진다. 이후에, 스마트 그린을 포함하거나 혹은 포함하고 있지 않은, 그러나 어떤 경우든 그린 불균일 회복기능을 가진 종래의 라플라시안 RGB 복원 방법이 적용되고, 필요하다면, 스마트 그린 및녹색 불균일 회복 및 의사 컬러(false color) 검출 처리 블록(7)이 존재하는/존재하지 않는 5×5병렬 윤곽 및 3×3 RGB 복원에서 적색 및 청색 의사 컬러 검출기를 가지고, 적용된다. 만약 스마트 그린(스마트 그린(1))이 적용되면, 중간 필터의 소위 RBc신호는 R * SmartGcntrlR, B * SmartGcntrlB을 이미 적합하게 한다.
복원된 적색 및 청색 신호를 분할기(Dr, Db)에서 R * SmartGcntrlR 및 B * SmartGcntrlB로 각각 나눔으로써, 원래의 적색 및 청색 센서 진폭이 회복된다. 이는 통상적으로 적용된 매트릭스, 화이트 밸런스 및 감마 기능이 유지될 수 있다는 것을 의미한다. 디지털 회로 디자인에서, 곱셈기는 분할기에 우선한다. 따라서, 분할기 회로를 피하기 위한 최선의 방법은 카메라의 컴퓨터가 1/SmartGcntrlR, 및 1/SmartGcntrlB를 계산하게 한다는 것이다. 이후에, 두개의 각각의 와이어를 통해서, 이 값은 두개의 곱셈기에 제공될 수 있다. 이후에, Ro-진폭은 입력 신호의 R-진폭과 같아진다(SmartGcntrlR*R*(1/SmartGcntrlR=R)). 동일한 것이 Bo-진폭에 적용된다.
파라미터 SmartGcntrlR/B는 사진이 찍히기 전의 측정 사이클이나 비디오 모든 연속 방법으로 결정되었다.
비록 본 발명이 바람직한 실시예와 관련되어 설명되었지만 여기서 설명한 특정 형태에 한정하려는 의도는 아니다. 오히려, 본 발명의 범주에 속하는 모든 대안물, 변형 및 변경을 특허 청구 범위에 의해 모두 포괄하고자 한다. 청구항의 참조 번호는 청구항의 보호 범위를 한정하지 않는다. 용어 "포함한다" 및 그 활용은 청구항에서 설명된 부재이외의 부재의 존재를 배재하지 않는다. 본 발명은 다른 상이한 구성 요소를 포함하고 있는 하드웨어 및 적절하게 프로그래밍된 컴퓨터를 사용해서 실시될 수 있다. 몇가지 방법을 열거한 장치항에서, 이들 방법 중 일부는 하드웨어의 하나 및 동일한 아이템에 의해 실시될 수 있다. 특정 측정값이 다른 종속항과 상호 인용하고 있다는 사실은 이들 측정값의 조합이 이롭게 사용될 수 없다는 것을 나타내는 것은 아니다.
Claims (8)
- 이미지를 나타내는 픽셀값의 어레이-상기 어레이는 제 1 및 제 2 픽셀 그룹을 포함하고 있고, 상기 제 1 픽셀 그룹은 제 1 컬러(G)를 가진 필터를 사용해서 광학적으로 필터링되는 이미지의 일부를 나타내고, 상기 제 2 픽셀 그룹은 일 이상의 제 2 컬러(R, B)를 가진 일 이상의 필터를 사용해서 광학적으로 필터링된 이미지의 일부를 나타내고, 제 1 그룹의 각각의 픽셀은 제 2 그룹의 수직 및 수평 방향의 이웃하는 픽셀을 가지고 있음-로부터 윤곽 정보를 제공하는 윤곽 필터에 있어서,상기 픽셀값의 어레이를 제로 스위치된 어레이로 변환하는 수단(ZSB)-제 2 그룹의 픽셀의 픽셀값은 제로로 대치됨-과,상기 제로 스위치된 어레이를 윤곽 필터링하고 상기 윤곽 정보를 출력하는 수단(7)을 포함하고,상기 윤곽 필터링 수단은 제로 스위치된 어레이의 각각의 픽셀에 대해서 필터링된 픽셀값을 계산-상기 계산은 실질적으로로 정의된 상대 비율을 가지는 필터 계수의 어레이를 사용해서 계산되고, 여기서는 실수이고, A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q,R, S, T, U, V, X, Y, Z 각각의 값은 0과 0.25사이에 있음-하는 수단, 및실제 픽셀의 픽셀값을 -8±M 계수와 곱하고, 나머지 필터링 계수를 제로 스위치된 어레이의 대응하는 위치의 픽셀값과 곱하고, 최종적으로 결과로 나온 값들을 합하는 수단을 포함하는 윤곽 필터.
- 제 1 항에 있어서,A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, X, Y, Z 각각의 값은 0과 0.05사이 및 0과 0.01사이와 같은 0과 0.1사이에 있고, 바람직하게는 적어도 실질적으로 0인 윤곽 필터.
- 이미지를 나타내는 픽셀값의 어레이-상기 어레이는 제 1 및 제 2 픽셀 그룹을 포함하고 있고, 상기 제 1 픽셀 그룹은 제 1 컬러를 가진 필터를 사용해서 광학적으로 필터링되는 이미지의 일부를 나타내고, 제 2 픽셀 그룹은 일 이상의 제 2 컬러를 가진 일 이상의 필터를 사용해서 광학적으로 필터링된 이미지의 일부를 나타내고, 제 1 그룹의 각각의 픽셀은 제 2 그룹의 수직 및 수평 방향의 이웃하는 픽셀을 가지고 있음-로부터 윤곽 정보를 제공하는 방법에 있어서,상기 픽셀값의 어레이를 제로 스위치된 어레이로 변환하는 단계-제 2 그룹의 픽셀의 픽셀값은 제로로 대치됨-와,상기 제로 스위치된 어레이를 윤곽 필터링하고, 상기 윤곽 정보를 출력하는 단계를 포함하고,상기 윤곽 필터링 단계는 제로 스위치된 어레이의 각각의 픽셀에 대해서 필터링된 픽셀값을 계산-상기 계산은 실질적으로로 정의된 상대 비율을 가지는 필터 계수의 어레이를 사용해서 계산되고, 여기서는 실수이고, A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, X, Y, Z 각각의 값은 0과 0.25사이에 있음-하는 단계와,실제 픽셀의 픽셀값을 -8±M 계수와 곱하고, 나머지 필터링 계수를 제로 스위치된 어레이의 대응하는 위치의 픽셀값과 곱하고, 최종적으로 결과로 나온 값들을 합하는 단계를 포함하는 윤곽 정보 제공 방법.
- 제 3 항에 있어서,A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, X, Y,Z 각각의 값은 0과 0.05사이 및 0과 0.01사이와 같은 0과 0.1사이에 있고, 바람직하게는 적어도 실질적으로 0인 윤곽 정보 제공 방법.
- 제 3 항에 있어서,상기 필터링은 보간 처리(interpolation process)-상기 보간 처리는, 상기 제 1 픽셀 그룹으로부터의 픽셀에 대응하는 픽셀이 상기 제 2 픽셀 그룹으로부터의 픽셀로만 나타내어지는 상기 어레이의 위치에서만 보간되거나, 상기 제 2 픽셀 그룹으로부터의 픽셀에 대응하는 픽셀이 상기 제 1 픽셀 그룹으로부터의 픽셀로만 나타내어지는 상기 어레이의 위치에서만 보간되는 처리임-와 병렬로 수행되는 윤곽 정보 제공 방법.
- 제 3 항의 방법을 실시하는 컴퓨터 프로그램 코드 수단를 포함하는 컴퓨터 프로그램.
- 제 6 항의 컴퓨터 프로그램을 포함하고 있는 컴퓨터 판독가능 매체.
- 컬러 필터 어레이를 가지고 있는 센서(S)와,제 1 항의 윤곽 필터(7)를 포함하는 컬러 카메라.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01200424 | 2001-02-06 | ||
| EP01200424.8 | 2001-02-06 | ||
| PCT/IB2002/000084 WO2002063887A1 (en) | 2001-02-06 | 2002-01-14 | Contour filter for image sensor output signals |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20020088429A true KR20020088429A (ko) | 2002-11-27 |
Family
ID=8179859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020027013340A KR20020088429A (ko) | 2001-02-06 | 2002-01-14 | 윤곽 필터 및 윤곽 필터로부터 윤곽 정보를 제공하는 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7305141B2 (ko) |
| EP (1) | EP1360842A1 (ko) |
| JP (1) | JP2004519156A (ko) |
| KR (1) | KR20020088429A (ko) |
| CN (1) | CN1221143C (ko) |
| WO (1) | WO2002063887A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7129976B2 (en) * | 2002-05-10 | 2006-10-31 | Koninklijke Philips Electronics N.V. | Digital image enhancing system |
| JP4533156B2 (ja) * | 2004-02-02 | 2010-09-01 | キヤノン株式会社 | 調整回路及び方法 |
| FR2869144B1 (fr) | 2004-04-20 | 2006-07-21 | Thales Sa | Procede de gestion graphique de vecteurs a contours sombres |
| US7456878B1 (en) | 2005-05-11 | 2008-11-25 | Magnachip Semiconductor Ltd. | Method of color filter design and color reproduction under the effect of pixel crosstalk in CMOS image sensors |
| US20080218727A1 (en) * | 2006-12-22 | 2008-09-11 | Art, Advanced Research Technologies Inc. | Method and apparatus for optical image reconstruction using contour determination |
| CN101854468B (zh) * | 2009-04-02 | 2011-10-19 | 华晶科技股份有限公司 | 去除影像噪声的修补方法 |
| US9036059B2 (en) * | 2011-11-01 | 2015-05-19 | Sony Corporation | Imaging apparatus for efficiently generating multiple forms of image data output by an imaging sensor |
| EP2800375A4 (en) * | 2011-12-27 | 2015-10-21 | Fujifilm Corp | IMAGING DEVICE, CONTROL METHOD FOR IMAGING DEVICE, AND CONTROL PROGRAM |
| US10298863B2 (en) | 2015-09-08 | 2019-05-21 | Apple Inc. | Automatic compensation of lens flare |
| TWI677233B (zh) * | 2018-08-02 | 2019-11-11 | 瑞昱半導體股份有限公司 | 決定濾波器係數的方法 |
| CN117115161B (zh) * | 2023-10-24 | 2024-01-02 | 四川新康意众申新材料有限公司 | 一种塑料缺陷检查方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| KR950001577B1 (ko) | 1992-02-21 | 1995-02-25 | 삼성전자주식회사 | 색분리 및 윤곽 보정회로 |
| WO1999004555A2 (en) * | 1997-07-15 | 1999-01-28 | Koninklijke Philips Electronics N.V. | Color sample interpolation |
| WO1999004554A2 (en) * | 1997-07-15 | 1999-01-28 | Koninklijke Philips Electronics N.V. | Color and contour signal generation |
| CN1294534C (zh) * | 2001-02-06 | 2007-01-10 | 皇家菲利浦电子有限公司 | 防止图像传感器的绿色不一致 |
-
2002
- 2002-01-14 WO PCT/IB2002/000084 patent/WO2002063887A1/en not_active Application Discontinuation
- 2002-01-14 KR KR1020027013340A patent/KR20020088429A/ko not_active Application Discontinuation
- 2002-01-14 JP JP2002563709A patent/JP2004519156A/ja active Pending
- 2002-01-14 EP EP02740047A patent/EP1360842A1/en not_active Withdrawn
- 2002-01-14 CN CNB028002431A patent/CN1221143C/zh not_active Expired - Lifetime
- 2002-02-04 US US10/067,476 patent/US7305141B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020158979A1 (en) | 2002-10-31 |
| EP1360842A1 (en) | 2003-11-12 |
| WO2002063887A1 (en) | 2002-08-15 |
| CN1457609A (zh) | 2003-11-19 |
| JP2004519156A (ja) | 2004-06-24 |
| CN1221143C (zh) | 2005-09-28 |
| US7305141B2 (en) | 2007-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2573588B2 (ja) | カラー・ビデオ装置 | |
| US7728882B2 (en) | Green reconstruction for image sensors | |
| US7847842B2 (en) | Preventing green non-uniformity in image sensors | |
| US9582863B2 (en) | Image processing apparatus, image processing method, and program | |
| KR100574185B1 (ko) | 컬러 샘플 보간방법 및 보간장치 | |
| JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| US5778106A (en) | Electronic camera with reduced color artifacts | |
| RU2556022C2 (ru) | Устройство формирования цветного изображения | |
| CN101494795B (zh) | 使用绿色光谱范围重叠的单位像素群的图像传感器及方法 | |
| JP3489118B2 (ja) | 単板カラーカメラ及びその色信号処理回路 | |
| KR20020088429A (ko) | 윤곽 필터 및 윤곽 필터로부터 윤곽 정보를 제공하는 방법 | |
| KR100729559B1 (ko) | 색상 신호 보간 | |
| JP2815497B2 (ja) | カラービデオカメラ | |
| US7250967B2 (en) | Apparatus for modifying reproduction frequency band of video signal | |
| JPH077736A (ja) | 固体撮像装置 | |
| JP4119565B2 (ja) | カラー撮像素子及びカラー撮像装置 | |
| JP3585710B2 (ja) | カラー撮像装置及び記録媒体 | |
| JPS58179083A (ja) | カラ−固体撮像装置 | |
| Purcell et al. | Hexagonal Array Processing | |
| JP2000341702A (ja) | 信号生成方法および装置並びに記録媒体 | |
| JP2000341703A (ja) | 信号生成方法および装置並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |