KR20170094243A - 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법 - Google Patents

하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법 Download PDF

Info

Publication number
KR20170094243A
KR20170094243A KR1020177017186A KR20177017186A KR20170094243A KR 20170094243 A KR20170094243 A KR 20170094243A KR 1020177017186 A KR1020177017186 A KR 1020177017186A KR 20177017186 A KR20177017186 A KR 20177017186A KR 20170094243 A KR20170094243 A KR 20170094243A
Authority
KR
South Korea
Prior art keywords
pixel
units
unit
array
structure unit
Prior art date
Application number
KR1020177017186A
Other languages
English (en)
Inventor
샤오펑 리
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20170094243A publication Critical patent/KR20170094243A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • H04N5/35581
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N5/3742
    • H04N5/3745
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Blocking Light For Cameras (AREA)
  • Exposure Control For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 하이 다이내믹 범위 이미지의 생성 방법을 개시한다. 당해 방법은, 이미지 센서를 제공하는 단계르 포함하되, 그중 이미지 센서는 화소 어레이와 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 광 필터링 어레이 중 각각의 광 필터링 유닛은 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛을 구성하고; 및 각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하는 단계를 포함하되, 그중 각각의 화소 구조 유닛 내의 일부 화소 유닛은 제1 노광 시간으로 노광시키고, 나머지 화소 유닛은 제2 노광 시간으로 노광시키되, 상기 제1 노광 시간은 제2 노광 시간보다 길다. 당해 방법은 HDR 이미지 품질을 향상할 수 있다. 본 발명은 촬영 장치와 단말기, 이미징 방법을 더 개시한다.

Description

하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법{METHOD FOR GENERATING HIGH-DYNAMIC RANGE IMAGE, CAMERA DEVICE, TERMINAL AND IMAGING METHOD}
본 출원은 출원번호가 201510963939.2이고, 출원일이 2015년 12월 18일인 중국 특허출원을 기초로 제출되며 당해 중국특허출원의 우선권을 주장하며, 그 전체 내용을 본 출원에 원용한다.
본 발명은 촬영 기기 기술 분야에 속하며, 특히 하이 다이내믹 범위 이미지의 생성 방법 및 촬영 장치와 단말기, 이미징 방법에 관한 것이다.
스마트폰의 발전에 따라, 핸드폰에 의한 촬영 사용이 점점 빈번해지고 있다. 핸드폰의 촬영 효과를 향상하기 위해 프론트 엔드(front end)로부터 백 엔드(back end)까지 다양한 방법으로 필요한 효과를 구현할 수 있다. 그중 촬영시의 HDR(High-Dynamic Range, 하이 다이내믹 범위) 이미지 기능은 더 향상할 필요가 있다.
본 발명은 관련 기술에 존재하는 기술적 과제 중 하나를 적어도 어느 정도 해결하고자 한다.
상기 과제를 해결하기 위해, 본 발명의 일 측면에서는 하이 다이내믹 범위 이미지의 생성 방법을 제출한다. 그중, 상기 이미지 센서는 화소 어레이와 상기 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 상기 광 필터링 어레이 중 각각의 광 필터링 유닛은 상기 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛을 구성한다. 상기 생성 방법은, 각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하는 단계를 포함하되, 그중 각각의 화소 구조 유닛 내의 일부 화소 유닛은 제1 노광 시간으로 노광시키고, 나머지 화소 유닛은 제2 노광 시간으로 노광시키되, 상기 제1 노광 시간은 제2 노광 시간보다 길다.
본 발명의 하이 다이내믹 범위 이미지의 생성 방법에 의하면, 이미지 센서 중 각각의 광 필터링 유닛이 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛 즉 단색 화소를 구성하고, 각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하여, 단색 화소 내의 두 단계(two-step) 노광을 구현한다. 이는 한줄씩 거른 노광에 비해, 획득한 하이 다이내믹 범위 이미지의 색상이 더 밝고 노이즈가 더 작아 하이 다이내믹 범위 이미지의 품질을 향상할 수 있다.
그중, 상기 각각의 광 필터링 유닛은 2×2개의 화소 유닛을 뒤덮고, 각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하는 단계는 구체적으로, 상기 각각의 화소 구조 유닛 내의 동일한 행의 2개의 화소 유닛을 상기 제1 노광 시간으로 노광되도록 각각 제어하는 단계; 및 상기 각각의 화소 구조 유닛 내의 다른 행의 2개의 화소 유닛을 상기 제2 노광 시간으로 노광되도록 각각 제어하는 단계를 포함한다.
나아가 상기 방법은, 상기 화소 어레이의 출력을 판독하고, 동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻는 단계; 및 모든 상기 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득하는 단계를 더 포함한다. 동일한 하나의 광 필터링 유닛이 뒤덮힌 화소 유닛을 병합하여 출력함으로써, 획득된 이미지는 더 선명하다.
상기 과제를 해결하기 위해, 본 발명의 다른 측면에서는 촬영 장치를 제출한다. 당해 촬영 장치는 이미지 센서와 이미지 프로세서를 포함하며, 상기 이미지 센서는 화소 어레이와 상기 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 그중 각각의 광 필터링 유닛은 상기 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛을 구성하며, 상기 이미지 프로세서는, 각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하되, 그중 각각의 화소 구조 유닛 내의 일부 화소 유닛은 제1 노광 시간으로 노광시키고, 나머지 화소 유닛은 제2 노광 시간으로 노광시키되, 상기 제1 노광 시간은 제2 노광 시간보다 길다.
본 발명에 따른 촬영 장치는, 이미지 센서 중 각각의 광 필터링 유닛이 다수의 화소 유닛을 뒤덮어 화소 구조 유닛 즉 단색 화소를 구성하고, 나아가 이미지 프로세서는 단색 화소 내의 화소 유닛에 대해 각각 두단계 노광 제어를 구현할 수 있다. 이는 한줄씩 거른 노광에 비해, 획득한 하이 다이내믹 범위 이미지의 색상이 더 밝고 노이즈가 더 작아 하이 다이내믹 범위 이미지의 품질을 향상할 수 있다.
적어도 하나의 실시예에서 이미지 센서는 CMOS 이미지 센서를 포함한다.
적어도 하나의 실시예에서 상기 광 필터링 어레이는 베이어 패턴을 포함한다.
적어도 하나의 실시예에서 그중 상기 각각의 광 필터링 유닛은 2×2개의 화소 유닛을 뒤덮고, 상기 이미지 프로세서는 또, 상기 각각의 화소 구조 유닛 내의 동일한 행의 2개의 화소 유닛을 상기 제1 노광 시간으로 노광되도록 각각 제어하고, 및 상기 각각의 화소 구조 유닛 내의 다른 행의 2개의 화소 유닛을 상기 제2 노광 시간으로 노광되도록 각각 제어하기 위한 것이다.
상기 이미지 프로세서는 또, 상기 화소 어레이의 출력을 판독하고, 동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻고, 모든 상기 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득하기 위한 것이다. 동일한 하나의 광 필터링 유닛이 뒤덮힌 화소 유닛을 병합하여 출력함으로써, 획득된 이미지는 더 선명하다.
상기 이미지 센서는, 상기 광 필터링 어레이 상에 설치된 마이크로 렌즈 어레이를 더 포함하고, 각각의 마이크로 렌즈는 하나의 상기 화소 유닛에 대응된다.
본 발명의 또 다른 측면에서는, 상술한 측면에 따른 촬영 장치를 포함하는 단말기를 더 제공한다. 당해 단말기는 촬영이 가능하며, 획득된 하이 다이내믹 범위 이미지의 선명도는 더 높고 색상은 더 밝으며 명암이 더 좋고 환원이 더 철저하며 더욱 진실하다.
구체적으로 상기 단말기는 핸드폰을 포함한다.
상기 단말기는 상기 촬영 장치에 연결된 CPU(중앙 처리 장치)와 표시 장치를 더 포함하고, 상기 CPU는 상기 표시 장치가 하이 다이내믹 범위 이미지를 표시하는 것을 제어하기 위한 것이다.
본 발명은 이미징 방법을 더 제출한다. 그중, 이미지 센서는 화소 어레이와 상기 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 그중 상기 광 필터링 어레이 중 각각의 광 필터링 유닛은 상기 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛을 구성한다. 상기 이미징 방법은, 상기 화소 어레이의 출력을 판독하는 단계; 동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻는 단계; 및 모든 상기 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득하는 단계를 포함한다.
화소 구조 유닛의 노이즈가 병합 전의 각 화소의 노이즈의 합보다 작으므로, 이 이미징 방법을 이용하면 저조도에서 SNR(Signal to Noise Ratio), 휘도와 선명도가 높고 노이즈가 적은 이미지를 얻을 수 있다. 이로써 종래의 일부 이미징 방법의 단점을 극복한다.
적어도 하나의 실시예에서 상기 이미징 장치는 레지스터를 포함하고, 각각의 상기 광 필터링 유닛은 2×2개의 상기 화소 유닛을 뒤덮는다. 상기 판독 단계는, 제k 행 및 제k+1 행의 상기 화소 유닛의 출력을 수집하여 상기 레지스터에 저장하되, 그중 k=2n-1이고, n은 자연수이며, k+1은 상기 화소 유닛의 총 행 수와 같거나 그보다 작은 단계; 및 상기 레지스터로부터 상기 제k 행과 제k+1 행의 상기 화소 유닛의 출력을 추출하고, 동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻는 단계를 더 포함한다.
적어도 하나의 실시예에서 상기 판독 단계는 상기 화소 유닛이 발생시킨 아날로그 신호 출력을 디지털 신호 출력으로 변환하는 단계를 더 포함한다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 측면의 실시예에서는 이동 단말기를 더 제출한다. 당해 이동 단말기는 하우징, 프로세서, 메모리, 회로기판과 전원 회로를 포함하고, 그중 상기 회로기판은 상기 하우징에 의해 둘러싸인 공간 내부에 안착되고, 상기 프로세서와 상기 메모리는 상기 회로기판에 설치되며; 상기 전원 회로는 상기 이동 단말기의 각 회로 또는 디바이스에 전력을 공급하기 위한 것이며; 상기 메모리는 실행 가능한 프로그램 코드를 저장하기 위한 것이며; 상기 프로세서는 상기 메모리에 저장된 실행 가능한 프로그램 코드를 판독하여, 상기 실행 가능한 프로그램 코드에 대응된 프로그램을 작동시켜, 본 발명의 실시예에 따른 이미징 방법을 실행하기 위한 것이다.
본 발명의 실시예에 따른 이동 단말기는, 상기 화소 어레이의 출력을 판독하고, 동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻고, 모든 상기 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득한다. 화소 구조 유닛의 노이즈가 병합 전의 각 화소의 노이즈의 합보다 작으므로, 저조도에서 SNR, 휘도와 선명도가 높고 노이즈가 적은 이미지를 얻을 수 있다.
본 발명의 또 다른 측면의 실시예는 컴퓨터 판독가능 저장 매체를 제출한다. 당해 컴퓨터 판독가능 저장 매체는 그 속에 저장된 명령을 구비하며, 이동 단말기의 프로세서가 상기 명령을 실행하면, 상기 이동 단말기는 상술한 측면의 실시예에 따른 이미징 방법을 실행한다.
본 발명의 부가적인 측면과 장점은 이하 설명에서 일부 제시되며, 일부는 아래 설명으로부터 명료해지거나 또는 본 발명의 실천을 통해 파악된다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서의 하이 다이내믹 범위 이미지의 생성 방법의 흐름도이며,
도 2는 본 발명의 일 실시예에 따른 화소 구조 유닛에서 4개의 화소 유닛이 병합된 것을 보여준 개략도이며,
도 3은 본 발명의 일 실시예에 따른 이미지 센서의 하이 다이내믹 범위 이미지의 생성 방법의 흐름도이며,
도 4는 본 발명의 일 실시예에 따른 촬영 장치의 블록도이며,
도 5는 본 발명의 다른 실시예에 따른 촬영 장치의 블록도이며,
도 6은 본 발명의 일 실시예에 따른 단말기의 블록도이며,
도 7은 본 발명의 다른 실시예에 따른 단말기의 블록도이며,
도 8은 본 발명의 실시예에 따른 이미징 방법의 흐름도이며,
도 9는 본 발명의 일 실시예에 따른 이미징 방법의 흐름도이며,
도 10은 본 발명의 다른 실시예에 따른 이미징 방법의 흐름도이다.
이하, 본 발명의 실시예를 상세히 설명하기로 한다. 상기 실시예의 예시는 도면에 나타냈으며, 동일 또는 유사한 부호는 시종 일관하게 동일 또는 유사한 소자 또는 동일 또는 유사한 기능을 가진 소자를 나타냈다. 이하, 도면을 참고하여 설명한 실시예는 예시적인 것이며 본 발명을 해석하기 위한 것일 뿐, 본 발명을 한정하는 것으로 이해되어서는 안된다.
일반적으로, 싱글 프레임 HDR는 RGGB를 하나의 단위로 하고 한줄씩 거른 노광 시간의 길이가 일치하지 않으며, 촬영된 짧은 노광 행과 긴 노광을 하나의 단일 HDR 이미지에 병합하여 싱글 프레임 HDR를 생성한다. 그러나, 노광 시간이 긴 경우, 흔히 노이즈가 뚜렷해진다. 즉 긴 노광을 이용할 시 신호가 증가하고 이와 동시에 노이즈가 증가하므로 전체 싱글 프레임 HDR이미지의 선명도가 현저하게 저하된다. 또한, 한줄씩 걸러 노광할 시 현재 행이 밝은 장면(scene)인지 어두운 신인지를 확정할 수 없기 때문에, 만약 밝은 장면과 긴 노광이 결합된 경우를 만나면 현재 행의 화소가 과도하게 노광될 수 있으며, 만약 과도하게 노광되면 당해 행의 화소는 사용할 수 없게 되며 보간법(interpolation)으로 다음 행 또는 이전 행의 화소를 보충해야 하기에 선명도가 현저하게 저하된다.
이미지 효과를 향상하기 위해 다양한 방법이 존재한다. 예를 들어 SNR의 향상에 있어서, 16M 이미지 센서를 Pixel Merged(화소 융합) 방식에 의해 효과 향상을 구현할 수 있다. 본 발명의 실시예에 따른 하이 다이내믹 범위 이미지의 생성 방법과 촬영 장치는 16M 화소의 이미지 센서에 기반하여 16M 화소를 4M으로 출력함으로써 HDR의 효과 향상을 구현하고 또한 HDR의 속도를 대폭 향상한다.
이하, 도면을 참고하여 본 발명의 실시예에 따른 이미지 센서의 하이 다이내믹 범위 이미지의 생성 방법을 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서의 하이 다이내믹 범위 이미지의 생성 방법의 흐름도이다. 도 1과 같이, 당해 생성 방법은 아래 단계를 포함한다.
S1: 이미지 센서를 제공한다.
그중, 이미지 센서는 화소 어레이와, 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 광 필터링 어레이는 다수의 서로 다른 색상의 광 필터링 유닛을 포함한다. 각각의 광 필터링 유닛은 화소 어레이 중 다수의 화소 유닛, 예를 들어 s×s(s≥2)개 화소 유닛을 뒤덮어 화소 구조 유닛을 구성한다. 일부 실시예에서 이미지 센서는 CMOS 이미지 센서를 포함할 수 있다.
일부 실시예에서 광 필터링 어레이는 베이어 패턴을 포함한다.
예를 들어, 도 2와 같이 각각의 광 필터링 유닛은 2×2개의 화소 유닛을 뒤덮고, (∑) 부분의 4개 화소 유닛의 합을 구하되, 예를 들어 광전 다이오드가 서로 같은 색상에 대응되는 광 필터링 유닛의 합을 구한다. 당해 4개의 화소 유닛은 하나의 화소 구조 유닛 즉 단색 화소로 볼 수 있다.
이해 할 수 있는 것은, 2×2 구조 외에도 3×3, 4×4, 심지어 임의의 n×m 구조(n, m은 자연수)를 가진다. 화소 어레이에 배열될 수 있는 화소의 수량에 한계가 있으므로, 각각의 화소 구조 유닛에 포함된 화소 유닛이 너무 많으면, 이미지의 해상도 크기가 제한받는다. 예를 들어, 화소 어레이의 화소 값이 16M이고, 2×2의 화소 구조 유닛을 이용하면 해상도가 4M인 4개의 병합 이미지를 획득할 수 있으며, 4×4 구조를 이용하면 해상도가 1M인 병합 이미지를 획득할 수밖에 없다. 따라서, 2×2의 병합 화소 유닛 구조는 하나의 바람직한 배열 방식이며, 최대한 해상도를 적게 희생시키는 전제 하에 이미지의 휘도와 선명도를 높인다.
S2: 각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하며, 그중 각각의 화소 구조 유닛 내의 일부 화소 유닛은 제2 시간보다 긴 제1 노광 시간으로 노광시키고, 나머지 화소 유닛은 제2 노광 시간으로 노광시킨다. 구체적으로, 제1 노광 시간은 긴 노광일 수 있고 제2 노광 시간은 짧은 노광일 수 있다. 다시 말하자면, 하나의 화소 즉 화소 구조 유닛 내에서 2단계 노광을 구현하는 바, 2단계 노광을 진행하는 화소 유닛은 같은 색상인 것이다.
본 발명의 일 실시예에서, 각각의 광 필터링 유닛은 2×2개의 화소 유닛을 뒤덮고, 각각의 화소 구조 유닛 내의 동일한 행의 2개의 화소 유닛을 제1 노광 시간으로 노광되도록 각각 제어하고, 및 각각의 화소 구조 유닛 내의 다른 행의 2개의 화소 유닛을 제2 노광 시간으로 노광되도록 각각 제어한다. 예를 들어, 여전히 도 2에서와 같이, 4개의 화소 유닛을 하나의 화소 구조 유닛으로 병합하고, 위 2개의 화소 유닛은 긴 노광을 진행하고, 아래 2개의 화소 유닛은 짧은 노광을 진행함으로써, 단색 화소 즉 하나의 화소 구조 유닛 내에서 길고 짧은 노광 제어를 구현할 수 있다.
나아가, 화소 값의 판독에 대해 본 발명의 일 실시예는 도 3과 같으며, 상기 방법은 아래 단계를 더 포함한다.
S3: 화소 어레이의 출력을 판독하고, 동일한 하나의 화소 구조 유닛의 화소 유닛의 출력을 덧셈하여 화소 구조 유닛의 화소 값을 얻는다.
구체적으로, 제k 행 및 제k+1 행의 화소 유닛의 출력을 수집하여 레지스터에 저장한다. 그중 k=2n-1이고, n은 자연수이며, k+1은 화소 어레이의 총 행 수와 같거나 그보다 작다. 그리고 레지스터로부터 제k 행 및 제k+1 행의 감광 화소의 출력을 추출하여, 동일한 하나의 화소 구조 유닛의 화소 유닛의 출력을 덧셈하여 화소 구조 유닛의 화소 값을 얻는다.
다시 말하자면, 각각의 화소 구조 유닛 내의 긴 노광과 짧은 노광을 거친 화소 유닛의 이미징 정보를 병합하는 바, 즉 촬영한 짧은 노광과 긴 노광 행을 하나의 싱글 화소로 병합하여 싱글 화소 구조 유닛이 생성한 화소 값을 획득한다.
S4: 모든 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득한다.
즉, 각각의 화소 구조 유닛 내에 합성된 노광 이미지를 다시 싱글 프레임의 HDR에 병합하여 4M의 HDR 이미지를 획득한다.
이로부터 볼 수 있듯이, 본 발명의 실시예에 따른 하이 다이내믹 범위 이미지의 생성 방법은, 각각의 광 필터링 유닛으로 다수의 화소 유닛을 뒤덮는 바, 예를 들어 16M 화소의 이미지 센서에 기반하여, 16M 화소로부터 Merged 방식으로 4M 화소로 병합한다. 즉 4개의 화소 유닛이 병합되어 하나의 화소 구조 유닛 즉 싱글 화소를 이룬다. 그리고 각각의 화소 유닛에 대해 단독 노광을 진행하여, 싱글 화소 내부의 길고 짧은 노광 제어를 구현할 수 있어, 획득한 HDR 이미지의 색상이 더 밝고 노이즈가 더 작은 바 RGGB 방식으로 생성되는 이미지에 불필요하게 나타나는 노이즈를 피할 수 있다. 이로써 선명한 싱글 프레임 HDR의 구현 방식을 제공하고 사용자에게 더 바람직한 촬영 체험을 제공한다.
나아가, 4개의 서로 같은 색상의 화소 유닛을 병합하여 하나의 화소 구조 유닛 즉 하나의 단색 화소를 구성하므로, 싱글 화소 내에서 긴 노광과 짧은 노광 제어를 구현할 수 있어, 획득한 HDR 이미지에 무질서한 노이즈가 발생하지 않는다. 나아가 현재 행의 화소 유닛이 밝은 장면과 긴 노광인 경우, 길고 짧은 노광이 모두 동일한 하나의 큰 화소 내에서 진행되므로, 설사 보간법에 의한 보상을 하더라도 선명도의 손실이 너무 많지 않고 일치성을 유지하며, HDR 이미지의 선명도가 확보된다.
상술한 측면의 실시예에 따른 하이 다이내믹 범위 이미지의 생성 방법에 기반하여, 이하 도면을 참고하여 본 발명의 다른 측면의 실시예에 따른 촬영 장치를 설명한다.
도 4는 본 발명의 일 실시예에 따른 촬영 장치의 블록도이다. 도 4와 같이 당해 촬영 장치(100)는 이미지 센서(10)와 이미지 프로세서(20)를 포함한다.
본 발명의 실시예에서 이미지 센서(10)는 화소 어레이(11)와 화소 어레이(11) 상에 설치된 광 필터링 어레이(12)를 포함한다. 그중 광 필터링 어레이(12)는 다수의 서로 다른 색상의 광 필터링 유닛(121)을 포함하고, 각각의 광 필터링 유닛(121)은 화소 어레이(11) 중 다수의 화소 유닛 예를 들어 s×s(s≥2)개 화소 유닛(112)을 뒤덮어 화소 구조 유닛(111)을 구성한다. 구체적으로, 각각의 광 필터링 유닛은 2×2개의 화소 유닛을 뒤덮는다. 예를 들어, 도 3에서 기호 1, 2, 3, 4인 화소 유닛(112)은 하나의 화소 구조 유닛(111)을 구성하고, 화소 유닛 1, 화소 유닛 2, 화소 유닛 3과 화소 유닛 4는 광 필터링 유닛(F), 예를 들어 적색 광 필터링 유닛에 대응된다. 서로 같은 색상의 2×2개 화소 유닛이 하나의 단색 화소로 병합되므로 16M 화소가 4M 화소로 병합된 것다.
이미지 프로세서(20)는 각각의 화소 구조 유닛(111) 내의 화소 유닛(112)에 대해 각각 노광 제어를 하기 위한 것이다. 그중 각각의 화소 구조 유닛(111) 내의 일부 화소 유닛(112)은 제1 노광 시간으로 노광시키고, 나머지 화소 유닛(112)은 제2 노광 시간으로 노광시키되, 상기 제1 노광 시간은 제2 노광 시간보다 길다. 예를 들어 제1 노광 시간은 긴 노광일 수 있고, 제2 노광 시간은 짧은 노광일 수 있다.
나아가, 이미지 프로세서(20)는 화소 어레이(11)의 출력을 판독하고, 동일한 하나의 화소 구조 유닛(111)의 화소 유닛(112)의 출력을 덧셈하여 당해 화소 구조 유닛(111)의 화소 값을 얻고, 모든 화소 구조 유닛(111)의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득한다.
구체적으로, 각각의 광 필터링 유닛이 2×2개의 화소 유닛을 뒤덮은 것에 있어서, 이미지 프로세서(20)는 각각의 화소 구조 유닛(111) 내의 동일한 행의 2개의 화소 유닛(112)을 제1 노광 시간으로 노광되도록 각각 제어하고, 및 각각의 화소 구조 유닛(111) 내의 다른 행의 2개의 화소 유닛(112)을 제2 노광 시간으로 노광되도록 각각 제어한다. 도 2와 같이, 위 2개의 화소 유닛은 긴 노광을 진행하고, 아래 2개의 화소 유닛은 짧은 노광을 진행한다. 다시 말하자면, 동일한 하나의 화소 구조 유닛(111), 즉 하나의 단색 화소는 길고 짧은 노광을 진행한다.
나아가, 4개의 서로 같은 색상의 화소 유닛(112)을 하나의 화소 구조 유닛(111) 즉 하나의 단색 화소로 병합하므로, 싱글 화소 내에서 긴 노광과 짧은 노광 제어를 구현할 수 있어, 획득한 HDR 이미지에 무질서한 노이즈가 발생하지 않는다. 나아가 현재 행의 화소 유닛이 밝은 장면과 긴 노광인 경우, 길고 짧은 노광이 모두 동일한 하나의 큰 화소 내에서 진행되므로, 설사 보간법에 의한 보상을 하더라도 선명도의 손실이 너무 많지 않고 일치성을 유지하며, HDR 이미지의 선명도가 확보된다.
이로부터 볼 수 있듯이, 본 발명의 실시예에 따른 촬영 장치(100)는 각각의 광 필터링 어레이가 다수의 화소 유닛을 뒤덮어 하나의 화소 구조 유닛(111) 즉 단색 화소로 병합하며, 화소 유닛에 대해 각각 단독 노광 제어를 진행한다. 이로써 단색 화소 내의 길고 짧은 노광을 구현할 수 있으며, 획득한 하이 다이내믹 범위 이미지의 색상이 더 밝고 노이즈가 더 작아 하이 다이내믹 범위 이미지의 품질이 향상된다. 그리고 보간법에 의한 보상을 진행하는 경우에도 HDR 이미지의 선명도를 확보할 수 있다.
도 5와 같이, 이미지 센서(10)는 광 필터링 어레이(12) 상에 설치된 마이크로 렌즈 어레이(13)를 더 포함하며, 각각의 마이크로 렌즈(131)는 하나의 화소 유닛(112)에 대응된다. 그중 각각의 마이크로 렌즈(131)는 하나의 화소 유닛(112)에 대응되는 바, 형상, 크기, 위치의 대응을 포함한다. 마이크로 렌즈(131)는 광을 화소 유닛(112)의 감광 부분에 집속시켜 화소 유닛(112)의 수광 강도를 향상함으로써 이미징 화질을 개선할 수 있다. 일부 실시 형태에서 각각의 광 필터링 유닛(121)은 2×2개의 화소 유닛(112) 및 2×2개의 마이크로 렌즈(131)에 대응되어 화소 구조 유닛(111)을 형성한다.
도 6은 본 발명의 일 실시예에 따른 단말기의 블록도이다. 당해 단말기(1000)는 상술한 측면의 실시예에 따른 촬영 장치(100)를 포함한다. 구체적으로 단말기(1000)는 핸드폰을 포함할 수 있다.
도 7과 같이, 단말기(1000)는 촬영 장치(100)에 연결된 CPU(200) 및 표시 장치(300)를 더 포함하며, CPU(200)는 표시 장치(300)가 하이 다이내믹 범위 이미지를 표시는 것을 제어하기 위한 것이다. 이와 같이 단말기(1000)가 촬영한 이미지는 표시 장치(300)에 표시되어 사용자가 조회하도록 제공될 수 있다. 표시 장치(300)는 LED 디스플레이 등을 포함한다.
본 발명의 실시예에 따른 단말기(1000)는 촬영이 가능하며, 획득한 하이 다이내믹 범위 이미지의 선명도가 더 높고 색상이 더 밝으며, 이미지 중 밝은 곳은 더 밝고 어두운 곳은 더 어두우며, 명암이 더 좋고 환원이 더 철저하며 더욱 진실하다.
본 발명의 또 다른 측면의 실시예는 이미징 방법을 더 제출한다. 그중, 이미지 센서는 화소 어레이와 상기 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 상기 광 필터링 어레이 중 각각의 광 필터링 유닛은 상기 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛을 구성한다.
도 8은 본 발명의 실시예에 따른 이미징 방법의 흐름도이다. 도 8과 같이 당해 이미징 방법은 아래 단계를 포함한다.
S1: 화소 어레이의 출력을 판독한다.
S2: 동일한 하나의 화소 구조 유닛의 화소 유닛의 출력을 덧셈하여 화소 구조 유닛의 화소 값을 얻는다.
S3: 모든 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득한다.
본 발명의 실시 형태에 따른 이미징 방법은, 기존의 각 화소 유닛의 출력이 S이고, 노이즈가 N이며, 화소 구조 유닛이 M개 화소 유닛을 포함한다고 가정할 때, 화소 구조 유닛의 화소 값은 n×m×S이고, 화소 구조 유닛의 노이즈는
Figure pct00001
이며, n=2, m=2인 경우, 화소 구조 유닛의 노이즈는 n×m×N/2 좌우이다. 따라서 화소 구조 유닛의 휘도는 저 휘도 환경에서 향상되고 SNR가 향상된다.
도 9를 참고하면, 일부 실시 형태에서 이미지 센서의 각각의 동일 색상의 광 필터링 시트는 2×2개의 화소 유닛에 대응되며, 이미지 센서는 레지스터를 포함하며, 단계 S2는 아래 단계를 더 포함한다.
S201: 제k 행 및 제k+1 행의 화소 유닛의 출력을 수집하여 레지스터에 저장한다. 그중 k=2n-1이고, n은 자연수이며, k+1은 화소 유닛의 총 행 수와 같거나 그보다 작다.
S202: 레지스터로부터 제k 행 및 제k+1 행의 화소 유닛의 출력을 추출하여, 동일한 하나의 화소 구조 유닛의 화소 유닛의 출력을 덧셈하여 화소 구조 유닛의 화소 값을 얻는다.
이와 같이, 레지스터를 충분히 이용하여 화소 유닛 출력의 판독, 캐싱 및 병합의 프로세스를 구현할 수 있다.
도 10을 참고하면, 일부 실시 형태에서 단계 S2는 아래 단계를 더 포함한다.
S301: 화소 유닛이 발생시킨 아날로그 신호 출력을 디지털 신호 출력으로 변환한다.
S302: 동일한 하나의 화소 구조 유닛의 화소 유닛의 디지털 신호 출력을 덧셈하여 화소 구조 유닛의 화소 값을 얻는다.
이와 같이 하여, 첫째로는 일반적으로 디지털 신호 처리 칩인 이미지 처리 모듈이 이미지 센서의 출력을 바로 처리할 수 있으며, 둘째로는 회로를 통해 이미지 센서의 아날로그 신호 포맷의 출력을 바로 처리하는 일부 기술적 수단에 비해, 이미지 정보를 비교적 잘 보존할 수 있는 바, 예를 들어, 16M 화소의 이미지 센서에 대해 말하자면, 본 발명의 실시 형태에 따른 이미징 방법은 4M 화소(2×2의 화소를 병합)의 화소 구조 유닛을 생성할 수 있을 뿐만 아니라 16M 화소(즉 병합하지 않음)의 기존 이미지를 생성할 수도 있다.
본 발명의 또 다른 측면의 실시예는 이동 단말기를 더 제출한다. 당해 이동 단말기는 하우징, 프로세서, 메모리, 회로기판과 전원 회로를 포함하며, 그중 상기 회로기판은 상기 하우징에 의해 둘러싸인 공간 내부에 안착되고, 상기 프로세서와 상기 메모리는 상기 회로기판에 설치되며; 상기 전원 회로는 상기 이동 단말기의 각 회로 또는 디바이스에 전력을 공급하기 위한 것이며; 상기 메모리는 실행 가능한 프로그램 코드를 저장하기 위한 것이며; 상기 프로세서는 상기 메모리에 저장된 실행 가능한 프로그램 코드를 읽어, 상기 실행 가능한 프로그램 코드에 대응된 프로그램을 작동시켜, 상술한 측면의 이미징 방법을 실행하기 위한 것이다.
본 발명의 실시예는 컴퓨터 판독가능 저장 매체를 더 제공한다. 당해 컴퓨터 판독가능 저장 매체는 그 속에 저장된 명령을 구비하며, 이동 단말기의 프로세서가 상기 명령을 실행할 시, 상기 이동 단말기는 도 8을 참고하여 나타낸 본 발명의 실시예에 따른 이미징 방법을 실행한다.
설명해야 하는 바로는, 본 명세서에서 제1 및 제2 등과 같은 관계 용어는 하나의 실체 또는 조작을 다른 실체 또는 조작과 구분하기 위해서만 이용되며, 이들 실체 또는 조작 간에 어떠한 이런 실제 관계 또는 순서가 존재함을 반드시 요구하거나 또는 암시하하는 것은 아니다. 또한, 용어 '포함', '포괄' 또는 그것의 어떠한 기타 변형체는 비배타성의 포함을 커버함을 의미하는 것으로서, 이로써 일련의 요소를 포함한 프로세스, 방법, 물품 또는 기기가 이들 요소를 포함할 뿐만 아니라, 명확하게 열거되지 않은 기타 요소도 포함하거나 또는 이러한 프로세스, 방법, 물품 또는 기기에 고유한 요소도 포함한다. 더 많은 한정이 없는 경우에, 문장 '하나의......를 포함한다'로 한정된 요소는 상기 요소를 포함한 프로세스, 방법, 물품 또는 기기에 그밖의 다른 동일한 요소가 더 존재하는 것을 배제하지 않는다.
흐름도에 나타냈거나 또는 여기서 기타 방식으로 설명된 로직 및/또는 단계는 예를 들어, 로직 기능을 구현하기 위한 실행 가능한 명령의 시퀀스 리스트로 볼 수 있으며, 명령 실행 시스템, 장치 또는 기기(예를 들어 컴퓨터 기반 시스템, 프로세서를 포함하는 시스템, 또는 명령 실행 시스템, 장치 또는 기기로부터 명령을 추출하여 명령을 실행시킬 수 있는 기타 시스템)가 사용하도록, 또는 이들 명령 실행 시스템, 장치 또는 기기와 결합되어 사용되도록, 모든 컴퓨터 판독가능 매체에서 구체적으로 구현될 수 있다. 본 명세서에서 '컴퓨터 판독가능 매체'는 프로그램을 포함, 저장, 통신, 전파 또는 전송하여 명령 실행 시스템, 장치 또는 기기, 또는 이들 명령 실행 시스템, 장치 또는 기기와 결합되어 사용될 수 있는 모든 장치일 수 있다. 컴퓨터 판독가능 매체의 더 구체적인 예시(비전면적인 리스트, non exhaustive list)로는, 하나 또는 다수의 배선을 가진 전기적 연결부(전자 장치), 휴대용 컴퓨터 디스크 박스(자기 장치), 램(RAM), 롬(ROM), 소거가능 및 프로그램 가능한 판독전용 메모리(EPROM 또는 플래시 메모리), 광섬유 장치, 및 휴대용 씨디롬(CDROM)을 포함한다. 또한, 컴퓨터 판독가능 매체는 상기 프로그램이 인쇄될 수 있는 용지 또는 기타 적절한 매체일 수도 있다. 그 이유는, 예를 들어 용지 또는 기타 매체에 대해 광학적 스캔을 진행하고, 이어서 편집, 디코딩 또는 필요시 기타 적절한 방식으로 처리하여 전자 형태로 상기 프로그램을 얻은 후 이를 컴퓨터 메모리에 저장할 수 있기 때문이다.
본 발명의 각 파트는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있는 것으로 이해되어야 한다. 상기 실시 형태에서, 다수의 단계 또는 방법은, 메모리에 저장되어 적절한 명령 실행 시스템에 의해 실행되는 소프트웨어 또는 펌웨어를 통해 구현될 수 있다. 예를 들어, 하드웨어를 통해 구현되는 경우, 다른 실시 형태에서와 마찬가지로, 본 기술 분야에서 널리 알려진 하기 기술 중의 임의의 하나 또는 이들의 조합을 통해 구현될 수 있다. 상기 '기술'은 데이터 신호에 대해 로직 기능을 구현하기 위한 로직 게이트 회로를 갖춘 이산 로직 회로, 적절한 조합 로직 게이트 회로를 갖춘 전용 집적 회로, 프로그램 가능 게이트 어레이(PGA), 필드-프로그램 가능 게이트 어레이(FPGA) 등이다.
설명해야 하는 바로는, 본 명세서의 설명에서 참고 용어 '일 실시예', '일부 실시예', '예시', '구체적인 예시', 또는 '일부 예시' 등 설명은 당해 실시예 또는 예시를 결부하여 설명한 구체적인 특징, 구조, 재료 또는 특점이 본 발명의 적어도 하나의 실시예 또는 예시에 포함됨을 의미한다. 본 명세서에서 상기 용어에 대한 예시적 표현은 서로 같은 실시예 또는 예시를 반드시 가리키는 것은 아니다. 또한, 설명된 구체적인 특징, 구조, 재료 또는 특점은 임의의 하나 또는 다수의 실시예 또는 예시에서 적절한 형태로 결합될 수 있다. 또한, 본 기술 분야의 통상의 지식을 가진 자는 본 명세서에서 설명된 서로 다른 실시예 또는 예시 및 서로 다른 실시예 또는 예시의 구성요소를 결합 및 조합할 수 있다.
본 명세서의 설명에서, 참고 용어 '일 실시예', '일부 실시예', '예시', '구체적인 예시', 또는 '일부 예시' 등 설명은 당해 실시예 또는 예시를 결부하여 설명한 구체적인 특징, 구조, 재료 또는 특점이 본 발명의 적어도 하나의 실시예 또는 예시에 포함됨을 의미한다. 본 명세서에서 상기 용어에 대한 예시적 표현은 동일한 실시예 또는 예시를 반드시 가리키는 것은 아니다. 또한, 설명된 구체적인 특징, 구조, 재료 또는 특점은 임의의 하나 또는 다수의 실시예 또는 예시에서 적절한 형태로 결합될 수 있다. 또한, 서로 모순되지 않는 상황에서 본 기술 분야의 통상의 지식을 가진 자는 본 명세서에서 설명된 서로 다른 실시예 또는 예시 및 서로 다른 실시예 또는 예시의 구성요소를 결합 및 조합할 수 있다.
비록 위에서 본 발명의 실시예를 나타내고 설명했으나, 상기 실시예는 예시적인 것임을 이해할 수 있으며, 본 발명을 한정하는 것으로 이해되어서는 안된다. 본 기술 분야의 통상의 지식을 가진 자는 본 발명의 범위에서 상기 실시예를 변경, 수정, 교체 및 변형할 수 있다.
1000: 단말기 100: 촬영 장치 200: CPU
300: 표시 장치 10: 이미지 센서 20: 이미지 프로세서
11: 화소 어레이 12: 광 필터링 어레이 121: 광 필터링 유닛
112: 화소 유닛 111: 화소 구조 유닛 13: 마이크로 렌즈 어레이
131: 마이크로 렌즈

Claims (18)

  1. 하이 다이내믹 범위 이미지의 생성 방법에 있어서,
    상기 생성 방법은,
    이미지 센서를 제공하는 단계를 포함하되, 그중 상기 이미지 센서는 화소 어레이와 상기 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 상기 광 필터링 어레이 중 각각의 광 필터링 유닛은 상기 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛을 구성하고; 및
    각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하는 단계를 포함하되, 그중 각각의 화소 구조 유닛 내의 일부 화소 유닛은 제1 노광 시간으로 노광시키고, 나머지 화소 유닛은 제2 노광 시간으로 노광시키되, 상기 제1 노광 시간은 제2 노광 시간보다 긴 것을 특징으로 하는 생성 방법.
  2. 제1 항에 있어서,
    상기 각각의 광 필터링 유닛은 2×2개의 화소 유닛을 뒤덮고, 각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하는 단계는 구체적으로,
    상기 각각의 화소 구조 유닛 내의 동일한 행의 2개의 화소 유닛을 상기 제1 노광 시간으로 노광되도록 각각 제어하는 단계; 및
    상기 각각의 화소 구조 유닛 내의 다른 행의 2개의 화소 유닛을 상기 제2 노광 시간으로 노광되도록 각각 제어하는 단계를 포함하는 것을 특징으로 하는 생성 방법.
  3. 제1 항 또는 제2 항에 있어서,
    상기 화소 어레이의 출력을 판독하고, 동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻는 단계; 및
    모든 상기 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 생성 방법.
  4. 촬영 장치에 있어서,
    이미지 센서와 이미지 프로세서를 포함하고,
    상기 이미지 센서는, 화소 어레이와 상기 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 그중 상기 광 필터링 어레이 중 각각의 광 필터링 유닛은 상기 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛을 구성하며,
    상기 이미지 프로세서는, 각각의 화소 구조 유닛 내의 화소 유닛에 대해 각각 노광 제어를 하되, 그중 각각의 화소 구조 유닛 내의 일부 화소 유닛은 제1 노광 시간으로 노광시키고, 나머지 화소 유닛은 제2 노광 시간으로 노광시키되, 상기 제1 노광 시간은 제2 노광 시간보다 긴 것을 특징으로 하는 촬영 장치.
  5. 제4 항에 있어서,
    상기 이미지 센서는 CMOS 이미지 센서를 포함하는 것을 특징으로 하는 이미지 센서.
  6. 제4 항 또는 제5 항에 있어서,
    상기 광 필터링 어레이는 베이어 패턴을 포함하는 것을 특징으로 하는 이미지 센서.
  7. 제4 항 내지 제6 항 중 어느 한 항에 있어서,
    상기 각각의 광 필터링 유닛은 2×2개의 화소 유닛을 뒤덮고,
    상기 이미지 프로세서는 또, 상기 각각의 화소 구조 유닛 내의 동일한 행의 2개의 화소 유닛을 상기 제1 노광 시간으로 노광되도록 각각 제어하고, 및 상기 각각의 화소 구조 유닛 내의 다른 행의 2개의 화소 유닛을 상기 제2 노광 시간으로 노광되도록 각각 제어하기 위한 것임을 특징으로 하는 촬영 장치.
  8. 제4 항 내지 제7 항 중 어느 한 항에 있어서,
    상기 이미지 프로세서는 또, 상기 화소 어레이의 출력을 판독하고, 동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻고, 모든 상기 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득하기 위한 것임을 특징으로 하는 촬영 장치.
  9. 제4 항에 있어서,
    상기 이미지 센서는,
    상기 광 필터링 어레이 상에 설치된 마이크로 렌즈 어레이를 더 포함하고, 각각의 마이크로 렌즈는 하나의 상기 화소 유닛에 대응된 것을 특징으로 하는 촬영 장치.
  10. 단말기에 있어서,
    제4 항 내지 제7 항 중 어느 한 항에 따른 촬영 장치를 포함하는 것을 특징으로 하는 단말기.
  11. 제10 항에 있어서,
    상기 단말기는 핸드폰을 포함하는 것을 특징으로 하는 단말기.
  12. 제10 항 또는 제11 항에 있어서,
    상기 단말기는,
    상기 촬영 장치에 연결된 CPU와 표시 장치를 더 포함하고, 상기 CPU는 상기 표시 장치가 하이 다이내믹 범위 이미지를 표시하는 것을 제어하기 위한 것임을 특징으로 하는 단말기.
  13. 이미징 방법에 있어서,
    이미지 센서는 화소 어레이와 상기 화소 어레이 상에 설치된 광 필터링 어레이를 포함하고, 그중, 상기 광 필터링 어레이 중 각각의 광 필터링 유닛은 상기 화소 어레이 중 다수의 화소 유닛을 뒤덮어 화소 구조 유닛을 구성하며,
    상기 이미징 방법은,
    상기 화소 어레이의 출력을 판독하는 단계;
    동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻는 단계; 및
    모든 상기 화소 구조 유닛의 화소 값을 합성하여 싱글 프레임의 하이 다이내믹 범위 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미징 방법.
  14. 제13 항에 있어서,
    각각의 광 필터링 유닛은 2×2개의 상기 화소 유닛에 대응되는 것을 특징으로 하는 이미징 방법.
  15. 제13 항 또는 제14 항에 있어서,
    상기 이미지 센서는 레지스터를 포함하며, 상기 판독 단계는,
    제k 행 및 제k+1 행의 상기 화소 유닛의 출력을 수집하여 상기 레지스터에 저장하되, 그중 k=2n-1이고, n은 자연수이며, k+1은 상기 화소 유닛의 총 행 수와 같거나 그보다 작은 단계; 및
    상기 레지스터로부터 상기 제k 행과 제k+1 행의 상기 화소 유닛의 출력을 추출하고, 동일한 하나의 상기 화소 구조 유닛의 상기 화소 유닛의 출력을 덧셈하여 상기 화소 구조 유닛의 화소 값을 얻는 단계를 더 포함하는 것을 특징으로 하는 이미징 방법.
  16. 제13 항 내지 제15 항 중 어느 한 항에 있어서,
    상기 판독 단계는,
    상기 화소 유닛이 발생시킨 아날로그 신호 출력을 디지털 신호 출력으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 이미징 방법.
  17. 이동 단말기에 있어서,
    하우징, 프로세서, 메모리, 회로기판과 전원 회로를 포함하며, 그중 상기 회로기판은 상기 하우징에 의해 둘러싸인 공간 내부에 안착되고, 상기 프로세서와 상기 메모리는 상기 회로기판에 설치되며; 상기 전원 회로는 상기 이동 단말기의 각 회로 또는 디바이스에 전력을 공급하기 위한 것이며; 상기 메모리는 실행 가능한 프로그램 코드를 저장하기 위한 것이며; 상기 프로세서는 상기 메모리에 저장된 실행 가능한 프로그램 코드를 판독하여, 상기 실행 가능한 프로그램 코드에 대응된 프로그램을 작동시켜 제13 항 내지 제16 항 중 어느 한 항에 따른 이미징 방법을 실행하기 위한 것임을 특징으로 하는 이동 단말기.
  18. 컴퓨터 판독가능 저장 매체에 있어서,
    상기 컴퓨터 판독가능 저장 매체는 그 속에 저장된 명령을 구비하며, 이동 단말기의 프로세서가 상기 명령을 실행하면, 상기 이동 단말기가 제13 항 내지 제16 항 중 어느 한 항에 따른 이미징 방법을 실행하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.
KR1020177017186A 2015-12-18 2016-09-29 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법 KR20170094243A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510963939.2 2015-12-18
CN201510963939.2A CN105472266A (zh) 2015-12-18 2015-12-18 高动态范围图像的生成方法、拍照装置和终端
PCT/CN2016/100883 WO2017101561A1 (zh) 2015-12-18 2016-09-29 高动态范围图像的生成方法、拍照装置和终端、成像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197004445A Division KR20190018760A (ko) 2015-12-18 2016-09-29 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법

Publications (1)

Publication Number Publication Date
KR20170094243A true KR20170094243A (ko) 2017-08-17

Family

ID=55609495

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177017186A KR20170094243A (ko) 2015-12-18 2016-09-29 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법
KR1020197004445A KR20190018760A (ko) 2015-12-18 2016-09-29 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197004445A KR20190018760A (ko) 2015-12-18 2016-09-29 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법

Country Status (11)

Country Link
US (1) US10270988B2 (ko)
EP (1) EP3223512A4 (ko)
JP (1) JP2018504034A (ko)
KR (2) KR20170094243A (ko)
CN (1) CN105472266A (ko)
AU (2) AU2016358299A1 (ko)
MY (1) MY188976A (ko)
SG (1) SG11201704363YA (ko)
TW (1) TWI615027B (ko)
WO (1) WO2017101561A1 (ko)
ZA (1) ZA201705429B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN106454148B (zh) * 2016-11-15 2019-07-12 天津大学 分块独立曝光cmos图像传感器像素结构及其控制方法
CN106454149B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 图像拍摄方法、装置及终端设备
CN106412407B (zh) * 2016-11-29 2019-06-07 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
US10638054B2 (en) 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
CN111279680A (zh) * 2017-08-31 2020-06-12 深圳传音通讯有限公司 一种方形裁剪拍照方法、拍照系统及拍照装置
CN107734231B (zh) * 2017-11-07 2019-12-27 西北核技术研究所 一种基于滤光的成像系统动态范围扩展方法
CN108322669B (zh) * 2018-03-06 2021-03-23 Oppo广东移动通信有限公司 图像获取方法及装置、成像装置和可读存储介质
CN110661982B (zh) * 2019-09-27 2021-08-10 思特威(上海)电子科技股份有限公司 图像传感器成像中led频闪抑制的方法
KR20210095461A (ko) 2020-01-23 2021-08-02 삼성전자주식회사 복수의 공유 픽셀들을 포함하는 이미지 장치 및 이의 동작 방법
WO2022016314A1 (zh) * 2020-07-20 2022-01-27 无锡盈达聚力科技有限公司 控制瞄准光源的扫描系统及方法
CN111970451B (zh) * 2020-08-31 2022-01-07 Oppo(重庆)智能科技有限公司 图像处理方法、图像处理装置及终端设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP2000069491A (ja) * 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
US20090101947A1 (en) * 2007-10-17 2009-04-23 Visera Technologies Company Limited Image sensor device and fabrication method thereof
US20090102939A1 (en) * 2007-10-18 2009-04-23 Narendra Ahuja Apparatus and method for simultaneously acquiring multiple images with a given camera
JP4661912B2 (ja) * 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
JP2011114558A (ja) * 2009-11-26 2011-06-09 Fujifilm Corp 撮像装置及び撮像方法
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013026722A (ja) 2011-07-19 2013-02-04 Toshiba Corp 画像処理装置
JP2013066145A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066140A (ja) * 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013219708A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN102647565A (zh) 2012-04-18 2012-08-22 格科微电子(上海)有限公司 像素阵列的排列方法、图像传感器及图像传感方法
TWI504251B (zh) * 2012-07-04 2015-10-11 Vivotek Inc 攝像裝置在對焦時的提示聲音之處理方法
CN103581563A (zh) * 2012-07-18 2014-02-12 索尼公司 图像捕获设备、图像捕获设备控制方法和程序
US20140063300A1 (en) 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
US9304301B2 (en) * 2012-12-26 2016-04-05 GM Global Technology Operations LLC Camera hardware design for dynamic rearview mirror
JP6415532B2 (ja) * 2013-03-15 2018-10-31 ラムバス・インコーポレーテッド 閾値を監視する条件付きリセットイメージセンサ
WO2014200939A1 (en) 2013-06-11 2014-12-18 Rambus Inc. Split-gate conditional- reset image sensor
CN110418057A (zh) * 2013-10-01 2019-11-05 株式会社尼康 电子设备
JP6437450B2 (ja) * 2013-12-04 2018-12-12 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム
CN103686007B (zh) * 2013-12-31 2018-11-09 上海集成电路研发中心有限公司 单次拍摄生成高动态范围图像的图像传感器
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端

Also Published As

Publication number Publication date
US20170244916A1 (en) 2017-08-24
AU2016358299A1 (en) 2017-07-06
MY188976A (en) 2022-01-17
CN105472266A (zh) 2016-04-06
EP3223512A1 (en) 2017-09-27
KR20190018760A (ko) 2019-02-25
EP3223512A4 (en) 2018-01-10
TW201735619A (zh) 2017-10-01
AU2019203822A1 (en) 2019-06-20
JP2018504034A (ja) 2018-02-08
WO2017101561A1 (zh) 2017-06-22
ZA201705429B (en) 2018-12-19
US10270988B2 (en) 2019-04-23
SG11201704363YA (en) 2017-07-28
TWI615027B (zh) 2018-02-11

Similar Documents

Publication Publication Date Title
KR20170094243A (ko) 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법
CN101116324B (zh) 用于从多次曝光中创建高动态范围图片的方法和装置
EP3236647A1 (en) Image sensor, and output method, phase focusing method, imaging apparatus and terminal
JP2021500820A (ja) 撮像制御方法および撮像装置
US10225465B2 (en) Imaging method for image sensor, imaging apparatus, and electronic device
WO2017101451A1 (zh) 成像方法、成像装置及电子装置
CN109040609A (zh) 曝光控制方法、装置和电子设备
CN105578075A (zh) 高动态范围图像的生成方法、拍照装置和终端
JP6082274B2 (ja) 撮像装置、及びその制御方法
EP3820141A1 (en) Imaging control method and apparatus, electronic device, and readable storage medium
CN109194855A (zh) 成像方法、装置和电子设备
CN105578067A (zh) 图像生成方法、装置及终端设备
CN108833803A (zh) 成像方法、装置和电子设备
CN110290325A (zh) 图像处理方法、装置、存储介质及电子设备
US11503223B2 (en) Method for image-processing and electronic device
CN105993164A (zh) 固态图像传感器、电子设备和自动聚焦方法
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
CN104010134B (zh) 用于形成具有宽动态范围的系统和方法
CN105578077A (zh) 成像方法、成像装置及电子装置
CN105430360A (zh) 成像方法、图像传感器、成像装置及电子装置
CN110266965A (zh) 图像处理方法、装置、存储介质及电子设备
CN110213503A (zh) 图像处理方法、装置、存储介质及电子设备
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP2010119051A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment