KR20110133629A - 개별 휘도 및 색차 센서를 이용한 이미지 캡처 - Google Patents

개별 휘도 및 색차 센서를 이용한 이미지 캡처 Download PDF

Info

Publication number
KR20110133629A
KR20110133629A KR1020117025673A KR20117025673A KR20110133629A KR 20110133629 A KR20110133629 A KR 20110133629A KR 1020117025673 A KR1020117025673 A KR 1020117025673A KR 20117025673 A KR20117025673 A KR 20117025673A KR 20110133629 A KR20110133629 A KR 20110133629A
Authority
KR
South Korea
Prior art keywords
image
luminance
sensor
chrominance
sensing device
Prior art date
Application number
KR1020117025673A
Other languages
English (en)
Inventor
데이비드 에스. 게레
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20110133629A publication Critical patent/KR20110133629A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15Image signal generation with circuitry for avoiding or correcting image misregistration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이미지 감지 장치를 이용하여 이미지를 캡처하기 위한 시스템들 및 방법들이 제공된다. 일 실시예에서, 이미지 감지 장치는 제1 이미지를 감지하기 위한 제1 렌즈 열 및 제2 이미지를 감지하기 위한 제2 렌즈 열을 포함할 수 있다. 상기 이미지 감지 장치는 상기 제1 이미지의 휘도 부분을 캡처하기 위한 제1 이미지 센서 및 상기 제2 이미지의 색차 부분을 캡처하기 위한 제2 이미지 센서를 포함할 수 있다. 상기 이미지 감지 장치는 또한 합성 이미지를 형성하기 위해 상기 제1 이미지 센서에 의해 캡처된 휘도 부분 및 상기 제2 이미지 센서에 의해 캡처된 색차 부분을 조합하기 위한 이미지 처리 모듈을 포함할 수 있다.

Description

개별 휘도 및 색차 센서를 이용한 이미지 캡처{IMAGE CAPTURE USING SEPARATE LUMINANCE AND CHROMINANCE SENSORS}
이 발명은 이미지를 캡처하기 위한 시스템 및 방법에 관한 것으로, 특히, 개별 휘도 및 색차 센서를 이용하여 이미지를 캡처하기 위한 시스템 및 방법에 관한 것이다.
사람의 눈은 간상체(rods)와 추상체(cones)로 구성되는데, 간상체는 휘도를 감지하고 추상체는 색을 감지한다. 간상체의 밀도는 눈의 대부분에서 추상체의 밀도보다 더 높다. 따라서, 컬러 이미지의 휘도 부분은 색차 부분보다 전체 컬러 이미지 품질에 더 큰 영향을 미친다. 그러므로, 색차보다 휘도를 강조하는 이미지 감지 장치는 사람의 눈의 동작과 흡사하기 때문에 바람직하다.
이미지 감지 장치를 이용하여 이미지를 캡처하기 위한 시스템들 및 방법들이 제공된다. 일 실시예에서, 이미지 감지 장치는 이미지를 감지하기 위한 렌즈 열(lens train) 및 상기 렌즈 열에 의해 감지된 이미지를 제1 분할 이미지 및 제2 분할 이미지로 분할하기 위한 빔 분할기(beam splitter)를 포함할 수 있다. 상기 이미지 감지 장치는 또한 상기 제1 분할 이미지의 휘도 부분을 캡처하기 위한 제1 이미지 센서 및 상기 제2 분할 이미지의 색차 부분을 캡처하기 위한 제2 이미지 센서, 및 합성 이미지(composite image)를 형성하기 위해 상기 휘도 부분 및 상기 색차 부분을 조합하기 위한 이미지 처리 모듈을 포함할 수 있다.
다른 실시예에서, 이미지 감지 장치는 제1 이미지를 캡처하기 위한 제1 이미지 센서, 제2 이미지를 캡처하기 위한 제2 이미지 센서, 및 이미지 처리 모듈을 포함할 수 있다. 상기 이미지 처리 모듈은 합성 이미지를 형성하기 위해 상기 제1 이미지 및 상기 제2 이미지를 조합하도록 구성될 수 있다.
다른 실시예에서, 이미지 감지 장치를 동작시키는 방법은 제1 센서에 의해 고품질 휘도 이미지를 생성하는 단계, 제2 센서에 의해 색차 이미지를 생성하는 단계, 및 합성 이미지를 형성하기 위해 상기 고품질 휘도 이미지와 상기 색차 이미지를 실질적으로 정렬시키는 단계를 포함할 수 있다.
다른 실시예에서, 이미지 감지 장치는 제1 이미지를 감지하기 위한 제1 렌즈 열, 제2 이미지를 감지하기 위한 제2 렌즈 열, 및 제3 이미지를 감지하기 위한 제3 렌즈 열을 포함할 수 있다. 상기 이미지 감지 장치는 또한 상기 제1 이미지의 적색 부분을 캡처하기 위한 적색 이미지 센서, 상기 제2 이미지의 녹색 부분을 캡처하기 위한 녹색 이미지 센서, 및 상기 제3 이미지의 청색 부분을 캡처하기 위한 청색 이미지 센서를 포함할 수 있다. 상기 이미지 감지 장치는 또한 합성 이미지를 형성하기 위해 상기 적색 부분, 상기 녹색 부분, 및 상기 청색 부분을 조합하기 위한 이미지 처리 모듈을 포함할 수 있다.
본 발명의 상기 및 기타 양태들 및 특징들은 첨부 도면들과 함께 다음의 상세한 설명을 고찰할 때 더욱 명백해질 것이고, 첨부 도면들에서 같은 참조 문자들이 전체에 걸쳐서 같은 부분들을 지시한다.
도 1은 본 발명의 일부 실시예들을 실시하기 위한 시스템의 특정한 컴포넌트들을 예시하는 기능 블록도이다.
도 2는 본 발명의 일부 실시예들에 따른 단일 렌즈 열을 갖는 이미지 감지 장치의 기능 블록도이다.
도 3은 본 발명의 일부 실시예들에 따른 병렬 렌즈 열들을 갖는 이미지 감지 장치의 기능 블록도이다.
도 4는 본 발명의 일부 실시예들에 따른 개별 휘도 및 색차 센서들을 이용하여 이미지를 캡처하기 위한 예시적인 방법의 프로세스 흐름도이다.
본 발명의 일부 실시예들은 컬러 이미지의 휘도를 캡처하는 전용의 이미지 센서를 이용하여 이미지를 캡처하기 위한 시스템 및 방법에 관한 것이다.
예시적인 실시예들에 대한 다음의 논의에서, 용어 "이미지 감지 장치"는, 디지털 카메라와 같이, 정지 또는 움직이는 이미지를 캡처할 수 있고 캡처된 이미지를 디지털 이미지 데이터로 변환하거나 변환하는 것을 용이하게 할 수 있는 임의의 전자 장치를 포함하지만, 이에 제한되는 것은 아니다. 이미지 감지 장치는 다양한 전자 장치들에서 호스팅될 수 있고, 여기서 다양한 전자 장치들은 퍼스널 컴퓨터, PDA(personal digital assistant), 휴대폰, 또는 이미지 데이터를 처리하도록 구성될 수 있는 임의의 다른 장치들을 포함하지만, 이에 제한되는 것은 아니다. 용어들 "comprising", "including" 및 "having"은, 청구항들 및 이 명세서에서 사용될 때, 특정되지 않은 다른 엘리먼트들을 포함할 수 있는 개방된 그룹을 나타내는 것으로 간주되어야 할 것이다. 용어들 "a", "an", 및 단수 형태의 단어들은 복수 형태의 동일한 단어들을 포함하는 것으로 이해되어야 할 것이고, 따라서 그 용어들은 하나 이상의 어떤 것이 제공된다는 것을 의미한다. 용어 "기초하여(based on)"는, 청구항들 및 이 명세서에서 사용될 때, 배타적이지 않고 기술될 수 있고 또는 기술되지 않을 수 있는 추가적인 요인들에 기초하는 것을 허용한다.
본 발명의 도면들 및 설명들은, 명료함을 위해, 다른 엘리먼트들은 생략하면서 본 발명의 명확한 이해를 위해 관련이 있는 엘리먼트들을 예시하도록 단순화되었다는 것을 이해해야 한다. 예를 들면, 집적 회로 다이들 또는 칩들 상의 광 감지 픽셀들(photo-sensing pixels)과 같은, 이미지 감지 장치에서 통상적으로 사용되는 특정한 하드웨어 엘리먼트들은 여기에 설명되지 않는다. 유사하게, 스테레오 효과를 정정하는 알고리즘들과 같은, 이미지 처리 기법들의 특정한 상세는 여기에 설명되지 않는다. 그러나, 당 기술 분야의 통상의 숙련자들은 이들 및 기타 엘리먼트들이 그러한 이미지 처리 장치에서 바람직할 수 있다는 것을 인지하고 이해할 것이다. 그러한 엘리먼트들에 대한 논의가 제공되지 않은 것은 그러한 엘리먼트들은 당 기술 분야에 잘 알려져 있기 때문이고 또한 그것들은 본 발명에 대한 더 나은 이해를 촉진하지 않기 때문이다.
도 1은 본 발명의 일부 실시예들에 따른 이미지 감지 장치(22)를 포함하는 예시적인 전자 장치(10)의 컴포넌트들을 예시하는 기능 블록도이다. 전자 장치(10)는 처리 장치(12), 메모리(14), 통신 인터페이스(20), 이미지 감지 장치(22), 출력 장치(24), 및 시스템 버스(16)를 포함할 수 있다. 시스템 버스(16)는, 메모리(14)와 처리 장치(12)를 포함하지만 이들에 제한되지 않는 둘 이상의 시스템 컴포넌트들을 연결할 수 있다. 처리 장치(12)는 다양한 이용 가능한 프로세서들 중 임의의 것일 수 있고 다수의 프로세서들 및/또는 코-프로세서들을 포함할 수 있다.
이미지 감지 장치(22)는 입사 광(incoming light)을 수신하고 그것을 이미지 신호들로 변환할 수 있다. 메모리(14)는 이미지 감지 장치(22)로부터 이미지 신호들을 수신할 수 있다. 처리 장치(12)는 이미지 신호들을 처리할 수 있고, 그것은 이미지 신호들을 디지털 데이터로 변환하는 것을 포함할 수 있다. 통신 인터페이스(20)는 전자 장치(10)와, 호스트 컴퓨터 또는 서버와 같은, 다른 장치 사이의 데이터 교환을 용이하게 할 수 있다.
메모리(14)는 이동식 또는 고정식, 휘발성 또는 비휘발성, 또는 영구적 또는 재기입 가능한 컴퓨터 저장 매체를 포함할 수 있다. 메모리(14)는 범용의 또는 특수 목적의 컴퓨팅 또는 이미지 처리 장치에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 예로서, 그러한 컴퓨터 판독 가능 매체는 플래시 메모리, RAM(random access memory), ROM(read only memory), EEPROM(electrically erasable programmable read only memory), 광 디스크 저장 장치, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 디지털 정보를 저장하기 위해 사용될 수 있는 임의의 다른 매체를 포함할 수 있지만, 이에 제한되는 것은 아니다.
도 1은 또한 사용자들과 전자 장치(10)의 기본 리소스들 사이의 매개자로서 기능할 수 있는 소프트웨어를 기술할 수 있다는 것을 이해해야 한다. 그러한 소프트웨어는 운영 체제를 포함할 수 있다. 메모리(14)에 상주할 수 있는 운영 체제는 전자 장치(10)의 리소스들을 제어하고 할당하도록 기능할 수 있다. 시스템 애플리케이션들은 메모리(14)에 저장된 프로그램 모듈들 및 프로그램 데이터를 통하여 운영 체제의 리소스 관리를 이용할 수 있다. 또한, 본 발명은 다양한 운영 체제들 또는 운영 체제들의 조합들로 구현될 수 있다는 것을 이해해야 한다.
메모리(14)는 전자 장치(10)의 하나 이상의 컴포넌트들(예를 들면, 이미지 감지 장치 컴포넌트(22))이 여기에 설명된 특정한 및 미리 정의된 방식으로 동작하게 할 수 있는 하나 이상의 프로그램, 기능, 및/또는 명령어를 실체적으로 구현할 수 있다.
도 2는 본 발명의 일부 실시예들에 따른 이미지 데이터를 캡처하고 저장할 수 있는 컴포넌트들 중 일부를 예시하는, 도 1의 이미지 감지 장치(22)와 유사할 수 있는, 예시적인 이미지 감지 장치(100)의 기능 블록도이다. 이미지 감지 장치(100)는 렌즈 어셈블리(102), 빔 분할기(114), 필터(115), 이미지 센서(106a), 필터(117), 이미지 센서(106b), 및 이미지 처리 모듈(110)을 포함할 수 있다. 렌즈 어셈블리(102)는 하나 이상의 광학적으로 정렬된 렌즈 엘리먼트들(103)을 갖는 단일 렌즈 열(104)을 포함할 수 있다. 이미지 센서들(106a 및 106b)은 픽셀 어레이들에 관하여 동일할 수 있다(즉, 동일한 수의 픽셀들 및 동일한 사이즈의 픽셀들). 동작 중에, 렌즈 어셈블리(102)는 입사 광(101)을 렌징된 광(lensed light)(123)으로서 빔 분할기(114)에 집광할 수 있다. 빔 분할기(114)는 렌징된 광(123)을 분할하고 하나의 이미지를 필터(115) 및 이미지 센서(106a)(집합적으로, "휘도 센서(120)") 쪽으로 향하게 하고 실질적으로 동일한 이미지를 필터(117) 및 이미지 센서(106b)(집합적으로, "색차 센서(122)") 쪽으로 향하게 할 수 있다. 색차 센서(122)는 색차 이미지(111) 및 저품질 휘도 이미지(107)를 감지하도록 구성될 수 있다. 이미지 처리 모듈(110)은 색차 이미지(111)와 고품질 휘도 이미지(109)를 조합하여 합성 이미지(113)를 형성할 수 있다. 이미지 처리 모듈(110)은 또한 저품질 휘도 이미지(107)를 생성하도록 구성될 수 있고, 이것은 고품질 휘도 이미지(109)와 색차 이미지(111)를 실질적으로 정렬시키기 위해 유용할 수 있다.
필터(115)는 이미지 센서(106a)를 오버레이(overlay)할 수 있고 이미지 센서(106a)가 고품질 휘도 이미지(109)와 같은 감지된 이미지의 휘도 부분을 캡처하게 할 수 있다. 필터(117)는 이미지 센서(106b)를 오버레이할 수 있고 이미지 센서(106b)가 색차 이미지(111)와 같은 감지된 이미지의 색차 부분을 캡처하게 할 수 있다. 컬러 이미지의 휘도 부분은 컬러 이미지의 색차 부분보다 전체 컬러 이미지 품질에 더 큰 영향을 미칠 수 있다. 고품질 컬러 이미지를 위해 이미지의 색차 부분에서 높은 샘플 레이트 및 높은 신호 대 잡음비("SNR")가 요구되지 않을 수 있다.
일부 실시예들에서, 이미지 센서(106a)는 필터(115) 없이 구성될 수 있다. 당 기술 분야의 숙련자들은 필터 없는 이미지 센서는 입사 광의 실질적으로 최대의 휘도(full luminance)를 수신할 수 있고, 이는 이미지 센서(106a)가 보다 높은 샘플링 레이트, 향상된 광 효율, 및/또는 감도를 갖도록 할 수 있다는 것을 이해할 것이다. 예를 들면, 휘도 센서(120)는 임의의 파장에서 및 실질적으로 모든 픽셀 위치들에서 광을 감지하도록 구성될 수 있다. 다른 실시예들에서, 휘도 센서(106a)는 사람의 눈의 응답에 매칭하는 센서로부터의 응답을 생성하기 위해 필요에 따라 광을 감쇠시키는 필터(115)를 포함할 수 있다(즉, 필터는 사람의 눈의 응답과 흡사한 가중 함수를 생성한다).
고품질 휘도 이미지(109)는 저품질 휘도 이미지(111)보다 더 높은 품질의 휘도 이미지일 수 있다. 이미지의 최대의 또는 실질적으로 최대의 휘도를 감지하는 것에 의해 제공되는 휘도 센서(109)의 증가된 감도는 이미지 감지 장치(100) 및 그것의 합성 이미지(113)의 성능을 확장하기 위해 다양한 방법으로 이용될 수 있다. 예를 들면, 비교적 작은 픽셀들을 갖는 이미지 센서는 프레임들을 평균하거나 더 높은 프레임 레이트에서 동작하도록 구성될 수 있고, 이는 보다 작은 픽셀들이 보다 큰 픽셀들처럼 작동하게 할 수 있다. 이미지 압축 및 이미지 품질을 향상시키기 위해 보다 작은 아날로그 및 디지털 이득을 이용하는 것에 의해 잡음 레벨이 감소될 수 있다. 피사계 심도(depth of field)를 증가시키기 위해 보다 작은 렌즈 구경(lens aperture)이 이용될 수 있다. 보다 어두운 주위 조명 조건에서 이미지들이 캡처될 수 있다. 대안적으로 또는 추가적으로, 보다 짧은 노출 시간을 이용하는 것에 의해 핫 픽셀들(hot pixels)의 효과가 감소될 수 있다.
일부 실시예들에 따르면, 색차 센서(122)는, 특히 합성 이미지(113)가 압축되는(예를 들면, JPEG 압축) 경우에, 사람이 인지할 수 있는 합성 이미지(113)의 열화를 생성하지 않고 보다 낮은 품질로서 색차 이미지(111)를 생성하도록 구성될 수 있다. 예를 들면, 색차 센서(122)는 휘도 센서(120)보다 더 큰 렌즈 구경 또는 더 낮은 프레임 레이트를 이용할 수 있고, 이는 보다 낮은 광 레벨에서(예를 들면, 입사 광(101)의 보다 낮은 강도 레벨에서) 동작을 향상시킬 수 있다. 유사하게, 색차 센서(122)는 모션 블러(motion blur)를 감소시키기 위해 보다 짧은 노출 시간을 이용할 수 있다. 따라서, 색차 센서(122)와 개별적으로 휘도 센서(120)를 제어하는 능력은 다양한 방법으로 이미지 감지 장치(100)의 성능을 확장할 수 있다.
이미지의 휘도 부분은 대략 30% 검출된 적색 광, 60% 검출된 녹색 광, 및 10% 검출된 청색 광인 것으로 정의될 수 있는 반면, 이미지의 색차 부분은 이미지 센서의 각 픽셀에 대하여 2개의 신호 또는 2차원 벡터로서 정의될 수 있다. 예를 들면, 휘도 부분은 2개의 성분 Cr 및 Cb에 의해 정의될 수 있고, 여기서 Cr은 검출된 적색 광의 덜 검출된 휘도일 수 있고 Cb는 검출된 청색 광이 덜 검출된 휘도일 수 있다. 그러나, 휘도 센서(120)가 입사 광(101)의 휘도를 검출한다면, 색차 센서(122)는, 예를 들면, 적색 및 청색 필터(117)로 센서(106b)의 픽셀 엘리먼트들을 커버하는 것에 의해, 적색 및 청색 광은 검출하고 녹색 광은 검출하지 않도록 구성될 수 있다. 이것은 적색 및 청색 필터 부분들의 체커판 패턴(checkerboard pattern)으로 행해질 수 있다. 다른 실시예들에서, 필터(117)는, 적색, 청색, 및 녹색 필터들을 포함하는, 베이어 패턴(Bayer-pattern) 필터 어레이를 포함할 수 있다. 일부 실시예들에서, 색차 센서(120)는 합성 이미지(213)의 전체 품질을 향상시키기 위해 보다 높은 밀도의 적색 및 청색 픽셀들을 갖도록 구성될 수 있다.
도 3은 본 발명의 일부 실시예들에 따른 병렬 렌즈 열들을 갖는 예시적인 이미지 감지 장치(200)의 기능 블록도이다. 이미지 감지 장치(200)는 2개의 병렬 렌즈 열들(204a 및 204b)을 갖는 렌즈 어셈블리(202), 휘도 센서(120), 색차 센서(122), 및 이미지 처리 모듈(210)을 포함할 수 있다. 예시된 실시예에서, 렌즈 어셈블리(202)의 병렬 렌즈 열들(204a 및 204b)은, 도시된 바와 같이, 입사 광(101)을 수신하고 렌징된 광(123a 및 123b)을 휘도 센서(120) 및 색차 센서(122)에 집광하도록 구성될 수 있다. 이미지 처리 모듈(210)은 휘도 센서(120)에 의해 캡처되어 휘도 센서(120)로부터 전송된 고품질 휘도 이미지(209)와 색차 센서(122)에 의해 캡처되어 색차 센서(122)로부터 전송된 색차 이미지(211)를 조합할 수 있고, 합성 이미지(213)를 출력할 수 있다. 일부 실시예들에서, 이미지 처리 모듈(210)은, 예를 들어 합성 이미지(213)를 형성하기 위해, 고품질 휘도 이미지(209)와 색차 이미지(211) 사이의 차이에 대해 설명하기 위해 다양한 기법들을 이용할 수 있다.
이미지 감지 장치는 개별 집적 회로 칩들에 마운팅된 휘도 센서 및 색차 센서를 포함할 수 있다. 도시되지 않은, 일부 실시예들에서, 이미지 감지 장치는 3개 이상의 병렬 렌즈 열들 및 3개 이상의 각각의 이미지 센서들을 포함할 수 있고, 각 이미지 센서는 장치의 개별 집적 회로 칩에 구현될 수 있다. 그러한 실시예들에서, 이미지 센서들 각각은 그것의 각각의 병렬 렌즈 열에 의해 전달된 입사 광의 상이한 색 부분들을 캡처하도록 구성될 수 있다. 예를 들면, 제1 렌즈 열은 광의 적색 부분만을 캡처하도록 구성된 이미지 센서에 광을 전달할 수 있고, 제2 렌즈 열은 광의 녹색 부분만을 캡처하도록 구성된 이미지 센서에 광을 전달할 수 있고, 제3 렌즈 열은 광의 청색 부분만을 캡처하도록 구성된 이미지 센서에 광을 전달할 수 있다. 그 후 적색 캡처된 부분, 녹색 캡처된 부분, 및 청색 캡처된 부분은, 도 3의 장치(200)에 관하여 설명된 바와 같이, 합성 이미지를 생성하기 위해 이미지 처리 모듈을 이용하여 조합될 수 있다.
렌즈 어셈블리(202)는 각각의 병렬 렌즈 열들(204a 및 204b)에 대하여 하나 이상의 개별 렌즈 엘리먼트들(203)을 갖는 렌즈 블록을 포함할 수 있다. 일부 실시예들에 따르면, 렌즈 어셈블리(202)의 각 렌즈 엘리먼트(203)는 비구면 렌즈일 수 있고 및/또는 반대편 렌즈 열 내의 다른 대응하는 렌즈 엘리먼트(203)와 동일한 몰딩 캐비티(molding cavity)로부터 몰딩될 수 있다. 병렬 렌즈 열들(204)의 각각의 병렬 렌즈 열에서 대응하는 위치에 동일한 몰딩 캐비티로부터의 몰딩된 렌즈들(예를 들면, 몰딩된 플라스틱 렌즈들)을 사용하는 것은, 동일한 입사 광을 감지하는 경우에, 기하학적 차이(geometric differences) 및 방사상 광 저하(radial light fall-off)와 같은, 생성된 이미지 차이들을 최소화하는 데 유용할 수 있다. 그러나, 특정한 렌즈 열 내에서, 하나의 렌즈 엘리먼트가 다른 렌즈 엘리먼트와 차이가 있을 수 있다. 일부 실시예들에서, 렌즈 엘리먼트들(203)은 렌즈 열들 사이에 다를 수 있다. 예를 들면, 하나의 렌즈 엘리먼트는, 예를 들어 하나의 센서 상에 더 높은 강도의 광을 갖기 위해, 다른 엘리먼트보다 더 큰 구경의 개구를 갖도록 구성될 수 있다.
일부 실시예들에서, 이미지 처리 모듈(210)은 고품질 휘도 이미지(209)와 저품질 휘도 이미지(207)를 비교할 수 있다. 이 비교에 기초하여, 이미지 처리 모듈(210)은, 예를 들어 합성 이미지(213)를 형성하기 위해 이미지 데이터를 실질적으로 정렬시키기 위해, 고품질 휘도 이미지(209)와 저품질 휘도 이미지(207) 사이의 차이에 대해 설명할 수 있다.
일부 실시예들에 따르면, 이미지 처리 모듈(210)은, 예를 들어 피사계 심도 효과 또는 스테레오 효과를 보정하기 위해, 고품질 휘도 이미지(209)와 저품질 휘도 이미지(207) 중 적어도 하나의 의도적인 기하학적 왜곡(deliberate geometric distortion)을 포함할 수 있다. 이미지 감지 장치(200)에 의해 캡처된 일부 이미지들은 렌즈 어셈블리(202)로부터의 다양한 작업 거리(working distance)에서 다수의 동시적인 관심 물체들(object of interest)을 가질 수 있다. 따라서 고품질 휘도 이미지(209)와 저품질 휘도 이미지(207)의 정렬은 정렬이 요구되는 경우에 다른 이미지에 매칭하도록 특정한 워핑 함수(warping function)를 이용하여 하나의 이미지를 워핑하는 것을 필요로 할 수 있다. 예를 들면, 워핑 함수는, 피사계 심도 효과 및 스테레오 효과를 제외하고는 실질적으로 동일한 이미지들일 수 있는, 고품질 휘도 이미지(209) 및 저품질 휘도 이미지(207)를 이용하여 도출될 수 있다. 워핑 함수를 결정하기 위한 알고리즘은 고품질 휘도 이미지(109) 및 저품질 휘도 이미지(107)에서 기점들(fiducials)을 찾고 픽셀 어레이에서 기점들 사이의 거리를 결정하는 것에 기초할 수 있다. 일단 워핑 함수가 결정되면, 색차 이미지(211)는 "워핑되고" 합성 이미지(213)를 형성하기 위해 고품질 휘도 이미지(209)와 조합될 수 있다.
다른 실시예들에서, 이미지 처리 모듈(210)은 이미지 처리 모듈(210)에 대한 캘리브레이션 데이터를 이용하는 것에 의해 또는 고품질 휘도 이미지(209)와 저품질 휘도 이미지(207) 중 적어도 하나의 휘도 이미지의 피사계 심도에서 기점들을 식별하는 것에 의해 그 적어도 하나의 휘도 이미지를 선택적으로 자르는 것(cropping)에 의해 고품질 휘도 이미지(209)와 저품질 휘도 이미지(207)를 정렬시키도록 구성될 수 있다. 다른 실시예들에서, 이미지 처리 모듈(210)은 고품질 휘도 이미지(209)와 저품질 휘도 이미지(207)의 차이를 분석하는 것에 의해 피사계 심도에서 다양한 물체들 사이의 작업 거리를 추론할 수 있다. 여기에 설명된 이미지 처리 모듈들은 광학적 구현에 의해, 알고리즘에 의해, 또는 광학적 구현과 알고리즘 양쪽 모두에 의해 이미지 품질을 제어하도록 구성될 수 있다.
일부 실시예들에서, 예를 들어, 색차 센서(122)가 휘도 감지보다는 색차 감지에 일부 픽셀들을 할당한다면 저품질 휘도 이미지(207)는 고품질 휘도 이미지(209)보다 품질이 더 낮을 수 있다. 일부 실시예들에서, 저품질 휘도 이미지(207)와 고품질 휘도 이미지(209)는 이미지 특징에 관하여 다를 수 있다. 예를 들면, 색차 센서(122)가 휘도 센서(120)보다 더 큰 렌즈 구경 또는 더 낮은 프레임 레이트를 가진다면 저품질 휘도 이미지(207)는 품질이 더 낮을 수 있고, 이는 보다 낮은 광 레벨에서(예를 들면, 입사 광(201)의 보다 낮은 강도 레벨에서) 동작을 향상시킬 수 있다. 유사하게, 색차 센서(122)는 모션 블러를 감소시키기 위해 보다 짧은 노출 시간을 이용할 수 있다. 따라서, 색차 센서(122)와 개별적으로 휘도 센서(120)를 제어하는 능력은 다양한 방법으로 이미지 감지 장치(200)의 성능을 확장할 수 있다.
도 2의 이미지 감지 장치(100)는, 그것의 렌즈 어셈블리(예를 들면, 렌즈 어셈블리(102))와 그것의 이미지 센서들(예를 들면, 센서들(106a 및 106b)) 사이에, 단일의 이미지 센서를 갖는 장치에서 발견되는 렌즈 어셈블리와 이미지 센서의 사이보다 빔 분할기(114)로 인해 더 큰 간격을 포함할 수 있다. 또한, 비록 분할기(114)는 렌징된 광(123)이 이미지 센서들(106a 및 106b)에 의해 캡처되기 전에 그것의 광 출력을 분할할 수 있지만, 이미지 감지 장치의 이러한 구성은 각 이미지 센서에서 실질적으로 동일한 이미지들이 형성되게 한다. 한편, 도 3의 이미지 감지 장치(200)는 그것의 렌즈 어셈블리(예를 들면, 렌즈 어셈블리(202))와 그것의 이미지 센서들(예를 들면, 센서들(106a 및 106b)) 사이에, 단일의 이미지 센서를 갖는 장치의 렌즈 어셈블리와 이미지 센서의 사이에 발견되는 간격과 동일한 두께이거나 또는 그 간격보다 얇은 간격을 포함할 수 있다. 또한, 렌징된 광(123)의 광 출력은 그것이 이미지 센서들(106a 및 106b)에 의해 캡처되기 전에 분할되지 않을 것이다.
도 4는 본 발명의 일부 실시예들에 따른 개별 휘도 및 색차 센서들을 이용하여 이미지를 캡처하기 위한 예시적인 방법(400)의 프로세스 흐름도이다. 단계 402에서는, 입사 광이 이미지 센서에 의해 저품질 이미지로서 캡처될 수 있고, 여기서 이미지 센서는 입사 광의 색차 부분만을 또는 입사 광의 색차 부분과 휘도 부분 양쪽 모두를 캡처하도록 구성될 수 있다. 단계 404에서는, 입사 광이 이미지 센서에 의해 고품질 이미지로서 캡처될 수 있고, 여기서 이미지 센서는 입사 광의 휘도 부분만을 캡처하도록 구성될 수 있다. 단계 406에서는, 합성 이미지를 형성하기 위해 저품질 색차 이미지가 고품질 휘도 이미지와 조합될 수 있다. 일부 실시예들에서, 이미지들을 조합하는 것은 기하학적 왜곡 및 이미지 자르기와 같은 기법들을 이용하여 이미지들을 실질적으로 정렬시키는 것을 포함할 수 있다. 합성 이미지를 형성하기 위해 2개의 이미지를 적당히 조합하기 위해 필요한 적당한 워핑 함수를 결정하기 위하여 저품질 이미지의 휘도 부분이 고품질 이미지의 휘도 부분과 비교될 수 있다.
이미지들을 정렬시키기 위한 시스템들 및 방법들은 병렬 렌즈 열 실시예와 관련하여 설명되었지만, 설명된 시스템들 및 방법들은 또한 도 2의 이미지 감지 장치(100)를 포함하는 이미지 감지 장치의 다른 실시예들에도 적용될 수 있다.
여기에 예시되고 설명된 방법들의 실행 또는 수행의 순서는, 다르게 특정되지 않는 한, 필수적인 것이 아니다. 즉, 방법들의 엘리먼트들은, 다르게 특정되지 않는 한, 임의의 순서로 수행될 수 있고, 그 방법들은 여기에 개시된 것들보다 많은 또는 적은 수의 엘리먼트들을 포함할 수 있다. 예를 들면, 특정한 엘리먼트를 다른 엘리먼트보다 전에, 또는 다른 엘리먼트와 동시에, 또는 다른 엘리먼트보다 뒤에 실행하거나 수행하는 것이 본 발명의 범위 안에 있다고 생각된다.
당 기술 분야의 통상의 숙련자는 본 발명이 완전히 하드웨어 실시예 또는 하드웨어와 소프트웨어 엘리먼트들 양쪽 모두를 포함하는 실시예의 형태를 취할 수 있다는 것을 이해해야 한다. 방법들에 관한 실시예들과 같은, 특정한 실시예들에서, 본 발명은 펌웨어, 상주 소프트웨어, 및 마이크로코드를 포함하지만, 이에 제한되지 않는 소프트웨어로 구현될 수 있다.
당 기술 분야의 통상의 숙련자는 본 발명의 방법들 및 시스템들이 여기에 설명된 것들과 다른 실시예들에서 실시될 수 있다는 것을 이해해야 한다. 전술한 것은 여기에 개시된 원리들을 예시하는 것일 뿐이고, 본 발명 또는 발명들의 범위 및 정신에서 벗어나지 않고 당 기술 분야의 숙련자들에 의해 다양한 변경들이 이루어질 수 있다는 것을 이해할 것이다.

Claims (1)

  1. 명세서 및 도면에 기재된 방법 및 장치.
KR1020117025673A 2008-09-25 2009-07-30 개별 휘도 및 색차 센서를 이용한 이미지 캡처 KR20110133629A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/238,374 2008-09-25
US12/238,374 US20100073499A1 (en) 2008-09-25 2008-09-25 Image capture using separate luminance and chrominance sensors

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117009161A Division KR20110074556A (ko) 2008-09-25 2009-07-30 개별 휘도 및 색차 센서를 이용한 이미지 캡처

Publications (1)

Publication Number Publication Date
KR20110133629A true KR20110133629A (ko) 2011-12-13

Family

ID=41078004

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020117009161A KR20110074556A (ko) 2008-09-25 2009-07-30 개별 휘도 및 색차 센서를 이용한 이미지 캡처
KR1020117025673A KR20110133629A (ko) 2008-09-25 2009-07-30 개별 휘도 및 색차 센서를 이용한 이미지 캡처

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020117009161A KR20110074556A (ko) 2008-09-25 2009-07-30 개별 휘도 및 색차 센서를 이용한 이미지 캡처

Country Status (6)

Country Link
US (1) US20100073499A1 (ko)
EP (1) EP2327222A1 (ko)
KR (2) KR20110074556A (ko)
CN (1) CN102165783A (ko)
TW (2) TW201019721A (ko)
WO (1) WO2010036451A1 (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US8508671B2 (en) 2008-09-08 2013-08-13 Apple Inc. Projection systems and methods
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US7881603B2 (en) * 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8527908B2 (en) * 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8502926B2 (en) * 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8687070B2 (en) * 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8497897B2 (en) 2010-08-17 2013-07-30 Apple Inc. Image capture using luminance and chrominance sensors
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
US20120188409A1 (en) * 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
US9143749B2 (en) * 2011-10-11 2015-09-22 Sony Corporation Light sensitive, low height, and high dynamic range camera
WO2013076531A1 (en) * 2011-11-23 2013-05-30 Nokia Corporation An apparatus and method comprising a beam splitter
CN103930923A (zh) * 2011-12-02 2014-07-16 诺基亚公司 用于捕获图像的方法、装置和计算机程序产品
EP2677732B1 (en) * 2012-06-22 2019-08-28 Nokia Technologies Oy Method, apparatus and computer program product for capturing video content
US9836483B1 (en) * 2012-08-29 2017-12-05 Google Llc Using a mobile device for coarse shape matching against cloud-based 3D model database
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
US9641733B1 (en) 2013-10-28 2017-05-02 Apple Inc. Miniature camera plural image sensor arrangements
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
CN104954627B (zh) 2014-03-24 2019-03-08 联想(北京)有限公司 一种信息处理方法及电子设备
KR102144588B1 (ko) 2014-05-09 2020-08-13 삼성전자주식회사 센서 모듈 및 이를 구비한 장치
WO2016026072A1 (en) * 2014-08-18 2016-02-25 Nokia Technologies Oy Method, apparatus and computer program product for generation of extended dynamic range color images
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9307133B1 (en) * 2015-02-11 2016-04-05 Pho Imaging Limited System and method of imaging for increasing image resolution
CN104715704B (zh) * 2015-03-19 2017-03-01 广州标旗电子科技有限公司 一种面阵亮度快速检测系统及其控制方法
CN105049718A (zh) * 2015-07-06 2015-11-11 深圳市金立通信设备有限公司 一种图像处理方法及终端
KR102347591B1 (ko) * 2015-08-24 2022-01-05 삼성전자주식회사 이미지 센싱 장치 및 이미지 프로세싱 시스템
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
CN105323569B (zh) * 2015-10-27 2017-11-17 深圳市金立通信设备有限公司 一种图像增强的方法及终端
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
CN105611232B (zh) * 2015-12-17 2019-07-12 北京旷视科技有限公司 单相机多路监控方法及系统
KR102519803B1 (ko) 2016-04-11 2023-04-10 삼성전자주식회사 촬영 장치 및 그 제어 방법
US9979906B2 (en) * 2016-08-03 2018-05-22 Waymo Llc Beam split extended dynamic range image capture system
EP3507765A4 (en) 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
US10085006B2 (en) * 2016-09-08 2018-09-25 Samsung Electronics Co., Ltd. Three hundred sixty degree video stitching
CN106937097B (zh) * 2017-03-01 2018-12-25 奇酷互联网络科技(深圳)有限公司 一种图像处理方法、系统及移动终端
WO2018183206A1 (en) 2017-03-26 2018-10-04 Apple, Inc. Enhancing spatial resolution in a stereo camera imaging system
CN107018324B (zh) * 2017-03-27 2020-07-28 努比亚技术有限公司 一种照片合成方法及装置
US10473903B2 (en) * 2017-12-28 2019-11-12 Waymo Llc Single optic for low light and high light level imaging

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54158818A (en) * 1978-06-05 1979-12-15 Nec Corp Color solid-state pickup unit
US6614471B1 (en) * 1999-05-10 2003-09-02 Banctec, Inc. Luminance correction for color scanning using a measured and derived luminance value
US7088391B2 (en) * 1999-09-01 2006-08-08 Florida Atlantic University Color video camera for film origination with color sensor and luminance sensor
US6823188B1 (en) * 2000-07-26 2004-11-23 International Business Machines Corporation Automated proximity notification
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP2003299113A (ja) * 2002-04-04 2003-10-17 Canon Inc 撮像装置
US7120272B2 (en) * 2002-05-13 2006-10-10 Eastman Kodak Company Media detecting method and system for an imaging apparatus
US7193649B2 (en) * 2003-04-01 2007-03-20 Logitech Europe S.A. Image processing device supporting variable data technologies
US7511749B2 (en) * 2003-12-18 2009-03-31 Aptina Imaging Corporation Color image sensor having imaging element array forming images on respective regions of sensor elements
US20060012836A1 (en) * 2004-07-16 2006-01-19 Christian Boemler Focus adjustment for imaging applications
DE102006014504B3 (de) * 2006-03-23 2007-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem für Kraft- und Schienenfahrzeuge sowie Verfahren zur elektronischen Bilderfassung
US7667762B2 (en) * 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
WO2008079301A2 (en) * 2006-12-21 2008-07-03 Massachusetts Institute Of Technology Methods and apparatus for 3d surface imaging using active wave-front sampling
JP2010515489A (ja) * 2007-01-05 2010-05-13 マイスキン インコーポレイテッド 皮膚を撮像するためのシステム、装置、及び方法
US8797271B2 (en) * 2008-02-27 2014-08-05 Microsoft Corporation Input aggregation for a multi-touch device
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging

Also Published As

Publication number Publication date
TW201228381A (en) 2012-07-01
WO2010036451A1 (en) 2010-04-01
TW201019721A (en) 2010-05-16
CN102165783A (zh) 2011-08-24
EP2327222A1 (en) 2011-06-01
KR20110074556A (ko) 2011-06-30
US20100073499A1 (en) 2010-03-25

Similar Documents

Publication Publication Date Title
KR20110133629A (ko) 개별 휘도 및 색차 센서를 이용한 이미지 캡처
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
KR101340688B1 (ko) 루미넌스 및 크로미넌스 센서들을 이용한 이미지 캡처
US11704775B2 (en) Bright spot removal using a neural network
US8405736B2 (en) Face detection using orientation sensor data
KR101588877B1 (ko) 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US9681026B2 (en) System and method for lens shading compensation
US8493464B2 (en) Resolution adjusting method
AU2016370348A1 (en) Image sensor, and output method, phase focusing method, imaging apparatus and terminal
CN108322651B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
US9398272B2 (en) Low-profile lens array camera
US11394902B2 (en) Sparse infrared pixel design for image sensors
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110121031A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
CN110930340A (zh) 一种图像处理方法及装置
JP2014147062A (ja) 撮像装置およびその制御方法、並びにプログラム
US11688046B2 (en) Selective image signal processing
CN116168064A (zh) 图像处理方法、装置、电子设备及存储介质
JP2015226169A (ja) 撮像装置およびその制御方法、並びにプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid