JP7298020B2 - 画像キャプチャ方法、カメラアセンブリ及び移動端末 - Google Patents

画像キャプチャ方法、カメラアセンブリ及び移動端末 Download PDF

Info

Publication number
JP7298020B2
JP7298020B2 JP2022515700A JP2022515700A JP7298020B2 JP 7298020 B2 JP7298020 B2 JP 7298020B2 JP 2022515700 A JP2022515700 A JP 2022515700A JP 2022515700 A JP2022515700 A JP 2022515700A JP 7298020 B2 JP7298020 B2 JP 7298020B2
Authority
JP
Japan
Prior art keywords
color
pixels
image
panchromatic
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022515700A
Other languages
English (en)
Other versions
JP2022547221A (ja
Inventor
タン、チョン
チョウ、チーチュン
チャン、ゴン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2022547221A publication Critical patent/JP2022547221A/ja
Application granted granted Critical
Publication of JP7298020B2 publication Critical patent/JP7298020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は画像技術分野に関し、特に画像キャプチャ方法、カメラアセンブリ及び移動端末に関する。
携帯電話などのような移動端末には、撮影機能を実現するためにカメラが搭載されていることが多い。カメラには画像センサーが搭載されている。カラー画像のキャプチャを実現するために、画像センサーには通常カラー画素が搭載されている。カラー画素はベイヤー（Ｂａｙｅｒ）配列で配置されている。暗い環境での画像センサーの画質を向上させるために、関連技術では、カラー画素より感度の高い白色画素が画像センサーに導入されている。
本発明の実施形態は、画像キャプチャ方法、カメラアセンブリ及び移動端末を提供する。
一つの様態において、本発明は画像センサーの画像キャプチャ方法を提供する。画像センサーは２次元画素アレイを含み、２次元画素アレイは複数のパンクロマチック画素と複数のカラー画素を含み、２次元画素アレイは最小繰り返しユニットを含み、各最小繰り返しユニットは複数のサブユニットを含み、各サブユニットは複数の単色画素と複数のパンクロマチック画素を含む。
画像キャプチャ方法は、以下の内容を含む。パンクロマチックオリジナル画像とカラーオリジナル画像を取得するように、２次元画素アレイの露光を制御する。各サブユニットにおける全ての画素を当該サブユニットにおける単色に対応する単色大画素とするようにカラーオリジナル画像を処理し、カラー中間画像を取得するように単色大画素の画素値を出力する。パンクロマチック中間画像を取得するようにパンクロマチックオリジナル画像を処理する。目標画像を取得するようにカラー中間画像及び／又はパンクロマチック中間画像を処理する。
別の様態において、本発明はカメラアセンブリを提供する。カメラアセンブリは画像センサーと処理チップを含む。画像センサーは２次元画素アレイを含み、２次元画素アレイは複数のパンクロマチック画素と複数のカラー画素を含み、２次元画素アレイは最小繰り返しユニットを含み、各最小繰り返しユニットは複数のサブユニットを含み、各サブユニットは複数の単色画素と複数のパンクロマチック画素を含む。画像センサーは、パンクロマチックオリジナル画像とカラーオリジナル画像を取得するように、露光されるように構成されている。
処理チップは、各サブユニットにおける全ての画素を当該サブユニットにおける単色に対応する単色大画素とするようにカラーオリジナル画像を処理し、カラー中間画像を取得するように単色大画素の画素値を出力し、
パンクロマチック中間画像を取得するようにパンクロマチックオリジナル画像を処理し、
目標画像を取得するようにカラー中間画像及び／又はパンクロマチック中間画像を処理するように構成されている。
もう一つの様態において、本発明は移動端末を提供する。移動端末は画像センサーとプロセッサを含む。画像センサーは２次元画素アレイを含み、２次元画素アレイは複数のパンクロマチック画素と複数のカラー画素を含み、２次元画素アレイは最小繰り返しユニットを含み、各最小繰り返しユニットは複数のサブユニットを含み、各サブユニットは複数の単色画素と複数のパンクロマチック画素を含む。画像センサーは、パンクロマチックオリジナル画像とカラーオリジナル画像を取得するように、露光されるように構成されている。
プロセッサは、各サブユニットにおける全ての画素を当該サブユニットにおける単色に対応する単色大画素とするようにカラーオリジナル画像を処理し、カラー中間画像を取得するように単色大画素の画素値を出力し、
パンクロマチック中間画像を取得するようにパンクロマチックオリジナル画像を処理し、
目標画像を取得するようにカラー中間画像及び／又はパンクロマチック中間画像を処理するように構成されている。
本発明の実施形態の追加態様及び利点は、以下の説明で部分的に示され、以下の説明から部分的に明らかになり、又は本発明の実施を介して理解される。
本発明の上記及び／又は追加の態様と利点は、以下の図面を参照した実施態様の説明から明白且つ容易に理解され得る。
図１は、本発明の実施形態に係るカメラアセンブリを示す概略図である。 図２は、本発明の実施形態に係る画像センサーを示す概略図である。 図３は、本発明の実施形態に係る画素アレイと露光制御線との接続を示す概略図である。 図４は、本発明の実施形態に係る異なるカラーチャンネルの露光飽和時間を示す概略図である。 図５は、本発明の実施形態に係る画素回路を示す概略図である。 図６は、本発明の実施形態に係る最小繰り返しユニット（ｍｉｎｉｍａｌ ｒｅｐｅａｔｉｎｇ ｕｎｉｔ）における画素の配列を示す概略図である。 図７は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図８は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図９は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１０は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１１は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１２は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１３は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１４は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１５は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１６は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１７は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１８は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図１９は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図２０は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図２１は、本発明の実施形態に係る別の最小繰り返しユニットにおける画素の配列を示す概略図である。 図２２は、関連技術における画像キャプチャ方法の原理を示す概略図である。 図２３は、本発明のいくつかの実施形態に係る画像キャプチャ方法を示すフローチャートである。 図２４は、本発明の実施形態に係る光学像キャプチャ方法の原理を示す概略図である。 図２５は、本発明の実施形態に係る光学像キャプチャ方法の別の原理を示す概略図である。 図２６～２９は、本発明のいくつかの実施形態に係る画像キャプチャ方法を示すフローチャートである。 図３０は、本発明の実施形態に係る光学像キャプチャ方法の別の原理を示す概略図である。 図３１は、本発明の実施形態に係る光学像キャプチャ方法の別の原理を示す概略図である。 図３２は、本発明の実施形態に係る光学像キャプチャ方法の別の原理を示す概略図である。 図３３は、本発明の実施形態に係る光学像キャプチャ方法の別の原理を示す概略図である。 図３４は、本発明の実施形態に係る光学像キャプチャ方法の別の原理を示す概略図である。 図３５は、本発明の実施形態に係る移動端末を示す概略図である。
以下、本発明の実施形態を詳細に説明する。実施形態の例示は添付の図面に示されている。同一又は類似の記号は、最初から最後まで同一又は類似の素子、或いは同一又は類似の機能を有する素子を示す。図面を参照しながら説明される以下の実施態様は例示的であり、本発明を説明するためにのみ用いられ、本発明を限定するものとして理解されるべきではない。
本発明は画像センサーの画像キャプチャ方法を提供する。画像センサーは２次元画素アレイを含む。２次元画素アレイは複数のパンクロマチック画素と複数のカラー画素を含む。２次元画素アレイは最小繰り返しユニットを含む。各最小繰り返しユニットは複数のサブユニットを含む。各サブユニットは複数の単色画素と複数のパンクロマチック画素を含む。
画像キャプチャ方法は、以下の内容を含む。パンクロマチックオリジナル画像とカラーオリジナル画像を取得するように、２次元画素アレイの露光を制御する。各サブユニットにおける全ての画素を当該サブユニットにおける単色に対応する単色大画素とするようにカラーオリジナル画像を処理し、カラー中間画像を取得するように単色大画素の画素値を出力する。パンクロマチック中間画像を取得するようにパンクロマチックオリジナル画像を処理する。目標画像を取得するようにカラー中間画像及び／又はパンクロマチック中間画像を処理する。
本発明はカメラアセンブリを提供する。カメラアセンブリは画像センサーと処理チップを含む。画像センサーは２次元画素アレイを含む。２次元画素アレイは複数のパンクロマチック画素と複数のカラー画素を含む。２次元画素アレイは最小繰り返しユニットを含む。各最小繰り返しユニットは複数のサブユニットを含む。各サブユニットは複数の単色画素と複数のパンクロマチック画素を含む。画像センサーは、パンクロマチックオリジナル画像とカラーオリジナル画像を取得するように、露光されるように構成されている。
処理チップは、各サブユニットにおける全ての画素を当該サブユニットにおける単色に対応する単色大画素とするようにカラーオリジナル画像を処理し、カラー中間画像を取得するように単色大画素の画素値を出力し、
パンクロマチック中間画像を取得するようにパンクロマチックオリジナル画像を処理し、
目標画像を取得するようにカラー中間画像及び／又はパンクロマチック中間画像を処理するように構成されている。
本発明は移動端末を提供する。移動端末は画像センサーとプロセッサを含む。画像センサーは２次元画素アレイを含む。２次元画素アレイは複数のパンクロマチック画素と複数のカラー画素を含む。２次元画素アレイは最小繰り返しユニットを含む。各最小繰り返しユニットは複数のサブユニットを含む。各サブユニットは複数の単色画素と複数のパンクロマチック画素を含む。画像センサーは、パンクロマチックオリジナル画像とカラーオリジナル画像を取得するように、露光されるように構成されている。
プロセッサは、各サブユニットにおける全ての画素を当該サブユニットにおける単色に対応する単色大画素とするようにカラーオリジナル画像を処理し、カラー中間画像を取得するように単色大画素の画素値を出力し、
パンクロマチック中間画像を取得するようにパンクロマチックオリジナル画像を処理し、
目標画像を取得するようにカラー中間画像及び／又はパンクロマチック中間画像を処理するように構成されている。
図１を参照すると、本発明はカメラアセンブリ４０を提供する。カメラアセンブリ４０は画像センサー１０、処理チップ２０及びレンズ３０を含む。画像センサー１０は処理チップ２０に電気的に結合される。レンズ３０は画像センサー１０の光路上に配置されている。処理チップ２０は、画像センサー１０及びレンズ３０とともに、同じカメラアセンブリ４０のハウジング内にパッケージされてもよい。又は、画像センサー１０とレンズ３０はハウジング内にパッケージされ、処理チップ２０はハウジングの外側に配置される。
図２を参照すると、図２は、本発明の実施形態に係る画像センサー１０を示す概略図である。画像センサー１０は画素アレイ１１、垂直駆動ユニット１２、制御ユニット１３、列処理ユニット１４及び水平駆動ユニット１５を含む。
例えば、画像センサー１０は、相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）感光素子、又は電荷結合素子（Ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、ＣＣＤ）感光素子を使用することができる。
例えば、画素アレイ１１は２次元アレイ状に配列された複数の画素（図２には図示せず）を含む。各画素は光電変換素子を含む。各画素は画素に入射した光を、光の強度に応じて電荷に変換する。
例えば、垂直駆動ユニット１２はシフトレジスタ（ｓｈｉｆｔ ｒｅｇｉｓｔｅｒ）とアドレスデコーダ（ａｄｄｒｅｓｓ ｄｅｃｏｄｅｒ）を含む。垂直駆動ユニット１２は、読み出しスキャン機能及びリセットスキャン（ｒｅｓｅｔ ｓｃａｎ）機能を有する。読み出しスキャンとは、単位画素を行ごとに順次スキャンし、それらの単位画素から行ごとに信号を読み出すことである。例えば、選択されスキャンされる画素行における各画素から出力される信号は列処理ユニット１４に送信される。リセットスキャンは電荷のリセットに用いられ、光電変換素子によって生成された光電荷が廃棄され、新たな光電荷の蓄積が始まる。
例えば、列処理ユニット１４によって実行される信号処理は相関二重サンプリング（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ、ＣＤＳ）処理である。ＣＤＳ処理において、選択された画素行における各画素から出力されるリセットレベルと信号レベルとを取り出し、リセットレベルと信号レベルとの差を計算する。これで、画素行における画素の信号を取得する。列処理ユニット１４は、アナログ画素信号をデジタルフォーマットに変換するアナログ－デジタル（ａｎａｌｏｇ－ｔｏ－ｄｉｄｉｔａｌ、Ａ／Ｄ）変換機能を有してもよい。
例えば、水平駆動ユニット１５はシフトレジスタとアドレスデコーダを含む。水平駆動ユニット１５は、画素アレイ１１を列ごとに順次スキャンする。各画素列は、水平駆動ユニット１５によって実行される選択スキャン動作を介して、列処理ユニット１４により順次処理され、且つ順次出力される。
例えば、制御ユニット１３は動作モードに応じてタイミング信号を構成し、様々なタイミング信号を用いて垂直駆動ユニット１３、列処理ユニット１４と水平駆動ユニット１５が協力して動作するように制御する。
図３は、本発明の実施形態に係る画素アレイ１１と露光制御線との接続を示す概略図である。画素アレイ１１は２次元画素アレイである。２次元画素アレイは複数のパンクロマチック画素（ｐａｎｃｈｒｏｍａｔｉｃ ｐｉｘｅｌ）と複数のカラー画素を含む。パンクロマチック画素と比べて、カラー画素はより狭いスペクトル応答（ｓｐｅｃｔｒａｌ ｒｅｓｐｏｎｓｅ）を有する。画素アレイ１１における画素の配列は以下のようである。
Ｗ Ａ Ｗ Ｂ
Ａ Ｗ Ｂ Ｗ
Ｗ Ｂ Ｗ Ｃ
Ｂ Ｗ Ｃ Ｗ
なお、説明を容易にするために、図３では、画素アレイ１１における一部の画素のみが示されており、周囲の他の画素及びワイヤーは省略記号「......」で置き換えられる。
図３に示されたように、画素１１０１、１１０３、１１０６、１１０８、１１１１、１１１３、１１１６、及び１１１８はパンクロマチック画素Ｗである。画素１１０２、１１０５は第一カラー画素Ａ（例えば、赤色画素Ｒ）である。画素１１０４、１１０７、１１１２、１１１５は第二カラー画素Ｂ（例えば、緑色画素Ｇ）である。画素１１１４、１１１７は第三カラー画素Ｃ（例えば、青色画素Ｂｕ）である。図３から分かるように、パンクロマチック画素Ｗ（画素１１０１、１１０３、１１０６と１１０８）における露光制御回路の制御端子ＴＧは一つの第一露光制御線ＴＸ１に結合され、パンクロマチック画素Ｗ（１１１１、１１１３、１１１６と１１１８）における露光制御回路の制御端子ＴＧはもう一つの第一露光制御線ＴＸ１に結合される。第一カラー画素Ａ（画素１１０２と１１０５）における露光制御回路の制御端子ＴＧ、及び第二カラー画素Ｂ（画素１１０４、１１０７）における露光制御回路の制御端子ＴＧは一つの第二露光制御線ＴＸ２に結合される。第二カラー画素Ｂ（画素１１１２、１１１５）における露光制御回路の制御端子ＴＧ、及び第三カラー画素Ｃ（画素１１１４、１１１７）における露光制御回路の制御端子ＴＧはもう一つの第二露光制御線ＴＸ２に結合される。パンクロマチック画素の露光期間は、各第一露光制御線ＴＸ１を介して第一露光制御信号によって制御されることができる。カラー画素（例えば、第一カラー画素Ａと第二カラー画素Ｂ、第二カラー画素Ｂと第三カラー画素Ｃ）の露光期間は、各第二露光制御線ＴＸ２を介して第二露光制御信号によって制御されることができる。これで、パンクロマチック画素の露光期間とカラー画素の露光期間の独立した制御が実現されることができる。例えば、パンクロマチック画素の露光が終了した後、カラー画素の露光を継続することで、理想的な画像効果を得ることができる。
カラー画像センサーにおいて、異なる色の画素は単位時間あたりに受ける露光量が異なる。ある色は飽和しているが、他の色はまだ理想的な状態まで露光されていない。例えば、飽和露光量の６０％～９０％に露光すると、比較的良好な信号対雑音比と精度が得られるが、本発明の実施形態はこれに限定されるものではない。
図４では、ＲＧＢＷ（赤、緑、青、パンクロマチック）を例として説明する。図４において、横軸は露光期間で、縦軸は露光量であり、Ｑは飽和露光量、ＬＷはパンクロマチック画素Ｗの露光曲線、ＬＧは緑色画素Ｇの露光曲線、ＬＲは赤色画素Ｒの露光曲線、ＬＢは青色画素の露光曲線を表す。図４から分かるように、パンクロマチック画素Ｗの露光曲線ＬＷの傾き（ｓｌｏｐｅ）が最も大きい。換言すると、パンクロマチック画素Ｗは単位時間当たりにより多くの露光量が得られ、時刻ｔ1で飽和状態に達する。緑色画素Ｇの露光曲線ＬＧの傾きは２番目に大きく、緑色画素Ｇは時刻ｔ２で飽和に達する。赤色画素Ｒの露光曲線ＬＲの傾きは３番目に大きく、赤色画素Ｒは時刻ｔ３で飽和に達する。青色画素Ｂの露光曲線ＬＢの傾きは最も小さく、青色画素Ｂは時刻ｔ４で飽和に達する。時刻ｔ１では、パンクロマチック画素Ｗは飽和に達しているが、Ｒ、Ｇ、Ｂという３つの画素の露光はまだ理想的な状態に達していない。
関連技術では、Ｒ、Ｇ、Ｂ、Ｗという４つの画素の露光期間は共同で制御される。例えば、各画素行は同じ露光期間を有し、同じ露光制御線に結合され、同じ露光制御信号によって制御される。例えば、引き続き図４を参照すると、０～ｔ１の時間帯において、Ｒ、Ｇ、Ｂ、Ｗという４つの画素はは正常に動作することができる。しかし、この時間帯において、画素Ｒ、Ｇ、Ｂの露光期間が短く、露光量が少ないため、画像を表示すると輝度が低く、信号対雑音比が低く、さらに色の鮮やかさも損なわれる場合が出る。ｔ１～ｔ４の時間帯において、Ｗ画素は飽和による露光過多で動作することができない。露光量データはオブジェクトをリアルに反映することができない。
以上の理由に基づき、本発明に係る画像センサー１０（図２に示されている）は、パンクロマチック画素Ｗの露光期間とカラー画素の露光期間を独立に制御することにより、パンクロマチック画素Ｗの露光期間の制限を低減し、パンクロマチック画素Ｗの露光とカラー画素（Ｒ、Ｇ、Ｂを含むがこれらに限定されない）の露光とのバランスを取ることができる。これで、画像撮影の品質を向上させることが可能である。図３は、パンクロマチック画素Ｗの露光期間とカラー画素の露光期間を独立に制御する例である。具体的には、異なる露光制御線を介してパンクロマチック画素Ｗとカラー画素の独立した露光制御を実現することによって、画像撮影の品質を向上させることができる。
図４の露光曲線は一つの例示に過ぎないことに留意されたい。画素の異なる応答波長帯（ｒｅｓｐｏｎｓｅ ｗａｖｅｂａｎｄ）によって、曲線の傾きと相対的な関係は変化する可能性がある。本発明は図４に示された状況に限定されない。例えば、赤色画素Ｒの応答波長帯が比較的に狭い場合、赤色画素Ｒの露光曲線の傾きは、青色画素Ｂの露光曲線の傾きより小い可能性がある。
図２及び図３を参照すると、第一露光制御線ＴＸ１と第二露光制御線ＴＸ２は、図２における垂直駆動ユニット１２に結合されて、垂直駆動ユニット１２における対応の露光制御信号を画素アレイ１１における画素の露光制御回路の制御端子ＴＧに伝送する。
画素アレイ１１が複数の画素行のグループを有するため、垂直駆動ユニット１２は複数の第一露光制御線ＴＸ１と複数の第二露光制御線ＴＸ２に結合される。複数の第一露光制御線ＴＸ１及び複数の第二露光制御線ＴＸ２の各々は、それぞれの画素行のグループに対応する。
例えば、１番目の第一露光制御線ＴＸ１は１行目と２行目のパンクロマチック画素に対応し、２番目の第一露光制御線ＴＸ１は３行目と４行目のパンクロマチック画素に対応する。このように、３番目の第一露光制御線ＴＸ１は５行目と６行目のパンクロマチック画素に対応し、４番目の第一露光制御線ＴＸ１は７行目と８行目のパンクロマチック画素に対応する。次の第一露光制御線ＴＸ１と次の行のパンクロマチック画素との対応関係については、本明細書では詳しく説明しない。異なる第一露光制御線ＴＸ１が伝送する信号タイミングも異なり、当該信号タイミングは垂直駆動ユニット１２によって構成される。
例えば、１番目の第二露光制御線ＴＸ２は１行目と２行目のカラー画素に対応し、２番目の第二露光制御線ＴＸ２は３行目と４行目のカラー画素に対応する。このように、３番目の第二露光制御線ＴＸ２は５行目と６行目のカラー画素に対応し、４番目の第二露光制御線ＴＸ２は７行目と８行目のカラー画素に対応する。次の第二露光制御線ＴＸ２と次の行のカラー画素との対応関係については、本明細書では詳しく説明しない。異なる第二露光制御線ＴＸ２が伝送する信号タイミングも異なり、当該信号タイミングも垂直駆動ユニット１２によって構成される。
図５は、本発明の実施形態に係る画素回路１１０を示す概略図である。図５における画素回路１１０は図３の各画素に応用される。以下、図３と図５を参照しながら画素回路１１０の動作原理を説明する。
図５に示されたように、画素回路１１０は、光電変換素子１１７（例えば、フォトダイオード（ｐｈｏｔｏｄｉｏｄｅ、ＰＤ））、露光制御回路１１６（例えば、転送トランジスタ１１２）、リセット回路（例えば、リセットトランジスタ１１３）、増幅回路（例えば、増幅トランジスタ１１４）及び選択回路（例えば、選択トランジスタ１１５）を含む。本発明の実施形態において、転送トランジスタ１１２、リセットトランジスタ１１３、増幅トランジスタ１１４及び選択トランジスタ１１５は、例えば、金属酸化物半導体（ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＭＯＳ）トランジスタであることができるが、これに限定されない。
例えば、図２、図３及び図５を参照すると、転送トランジスタ１１２のゲートＴＧは露光制御線を介して垂直駆動ユニット１２に結合される。リセットトランジスタ１１３のゲートＲＧはリセット制御線（図示せず）を介して垂直駆動ユニット１２に結合される。選択トランジスタ１１４のゲートＳＥＬは選択線（図示せず）を介して垂直駆動ユニット１２に結合される。各画素回路１１０における露光制御回路１１６（例えば、転送トランジスタ１１２）は、光電変換素子１１７に電気的に結合され、照明後に光電変換素子１１７が蓄積した電位を転送するように構成されている。例えば、光電変換素子１１７はフォトダイオードＰＤを含み、フォトダイオードＰＤの陽極は、例として、グランドに結合される。フォトダイオードＰＤは受光した光を電荷に変換する。フォトダイオードＰＤの陰極は露光制御回路１１６（例えば、転送トランジスタ１１２）を介してフローティングディフュージョン（ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ）ユニットＦＤに結合される。フローティングディフュージョンユニットＦＤは増幅トランジスタ１１４のゲート、及びリセットトランジスタ１１３のソースに結合される。
例えば、露光制御回路１１６は転送トランジスタ１１２であり、露光制御回路１１６の制御端子ＴＧは転送トランジスタ１１２のゲートである。有効レベル（例えば、ＶＰＩＸレベル）のパルスが露光制御線（例えば、ＴＸ１又はＴＸ２）を介して転送トランジスタ１１２のゲートに伝送されると、転送トランジスタ１１２はオンとなる。転送トランジスタ１１２は、フォトダイオードＰＤによる光電変換で生成した電荷をフローティングディフュージョンユニットＦＤに伝送する。
例えば、リセットトランジスタ１１３のドレインは画素電源ＶＰＩＸに結合される。リセットトランジスタ１１３のソースはフローティングディフュージョンユニットＦＤに結合される。電荷がフォトダイオードＰＤからフローティングディフュージョンユニットＦＤに転送される前に、有効リセットレベルのパルスはリセット線を介してリセットトランジスタ１１３のゲートに伝送され、リセットトランジスタ１１３はオンとなる。リセットトランジスタ１１３はフローティングディフュージョンユニットＦＤを画素電源ＶＰＩＸにリセットする。
例えば、増幅トランジスタ１１４のゲートはフローティングディフュージョンユニットＦＤに結合される。増幅トランジスタ１１４のドレインは画素電源ＶＰＩＸに結合される。フローティングディフュージョンユニットＦＤがリセットトランジスタ１１３によってリセットされた後、増幅トランジスタ１１４は選択トランジスタ１１５を介して出力端子ＯＵＴからリセットレベルを出力する。フォトダイオードＰＤの電荷が転送トランジスタ１１２に転送された後、増幅トランジスタ１１４は選択トランジスタ１１５を介して出力端子ＯＵＴから信号レベルを出力する。
例えば、選択トランジスタ１１５のドレインは増幅トランジスタ１１４のソースに結合される。選択トランジスタ１１５のソースは、出力端子ＯＵＴを介して図２における列処理ユニット１４に結合される。有効レベルのパルスが選択線を介して選択トランジスタ１１５のゲートに伝送されると、選択トランジスタ１１５はオンとなる。増幅トランジスタ１１４が出力した信号は選択トランジスタ１１５を介して列処理ユニット１４に伝送される。
本発明の実施形態における画素回路１１０の画素構造は、図５に例示した構造に限定されないことに留意されたい。例えば、画素回路１１０は、スリートランジスタ（ｔｈｒｅｅ－ｔｒａｎｓｉｓｔｏｒ）の画素構造を有してもよく、増幅トランジスタ１１４と選択トランジスタ１１５の機能は一つのトランジスタによって実現される。例えば、露光制御回路１１６も一つの転送トランジスタ１１２に限定されず、導通機能を制御する制御端子を有する他の電子デバイスや構造体はいずれも、本発明の実施形態における露光制御回路とされることが可能である。一つの転送トランジスタ１１２の実装は簡単で、低コストであり、制御が容易である。
図６～図２１は、画像センサー１０（図２に示されている）における画素の配列の様々な例を示した。図２、及び図６～図２１を参照すると、画像センサー１０は、複数のカラー画素（例えば、複数の第一カラー画素Ａ、複数の第二カラー画素Ｂ及び複数の第三カラー画素Ｃ）及び複数のパンクロマチック画素Ｗからなる２次元画素アレイ（即ち、図３に示された画素アレイ１１）を含む。パンクロマチック画素と比べて、カラー画素はより狭いスペクトル応答を有する。カラー画素の応答スペクトルは、例えば、パンクロマチック画素Ｗの応答スペクトルの一部である。２次元画素アレイは最小繰り返しユニット（図６～図２１は画像センサー１０における画素の最小繰り返しユニットの様々な例を示した）を含む。２次元画素アレイは複数の最小繰り返しユニットからなる。最小繰り返しユニットは、行と列に繰り返されて配列されている。最小繰り返しユニットにおいて、パンクロマチック画素Ｗは第一対角線方向Ｄ１に配置されており、カラー画素は第二対角線方向Ｄ２に配置されている。第一対角線方向Ｄ１と第二対角線方向Ｄ２は異なる。第一対角線方向Ｄ１において隣接する少なくとも２つのパンクロマチック画素の第一露光期間は第一露光信号によって制御される。第二対角線方向Ｄ２において隣接する少なくとも２つのカラー画素の第二露光期間は第二露光信号によって制御される。これで、パンクロマチック画素の露光期間とカラー画素の露光期間の独立した制御を実現する。各最小繰り返しユニットはいずれも複数のサブユニットを含む。各サブユニットは複数の単色画素（例えば、複数の第一カラー画素Ａ、複数の第二カラー画素Ｂ又は複数の第三カラー画素Ｃ）及び複数のパンクロマチック画素Ｗを含む。例えば、図３と図５を参照すると、画素１１０１～１１０８及び画素１１１１～１１１８は一つの最小繰り返しユニットを形成する。画素１１０１、１１０３、１１０６、１１０８、１１１１、１１１３、１１１６及び１１１８はパンクロマチック画素で、画素１１０２、１１０４、１１０５、１１０７、１１１２、１１１４、１１１５及び１１１７はカラー画素である。画素１１０１、１１０２、１１０５及び１１０６は一つのサブユニットを形成する。画素１１０１及び１１０６はパンクロマチック画素で、画素１１０２及び１１０５は単色画素（例えば、第一カラー画素Ａ）である。画素１１０３、１１０４、１１０７及び１１０８は一つのサブユニットを形成する。画素１１０３及び１１０８はパンクロマチック画素で、画素１１０４及び１１０７は単色画素（例えば、第二カラー画素Ｂ）である。画素１１１１、１１１２、１１１５及び１１１６は一つのサブユニットを形成する。画素１１１１及び１１１６はパンクロマチック画素で、画素１１１２及び１１１５は単色画素（例えば、第二カラー画素Ｂ）である。画素１１１３、１１１４、１１１７及び１１１８は一つのサブユニットを形成する。画素１１１３及び１１１８はパンクロマチック画素で、画素１１１４及び１１１７は単色画素（例えば、第三カラー画素Ｃ）である。
例えば、最小繰り返しユニットでは、行の画素数と列の画素数が等しい。例えば、最小繰り返しユニットとしては、４行４列、６行６列、８行８列、１０行１０列の最小繰り返しユニットが挙げられるがこれらに限定されない。例えば、最小繰り返しユニットにおけるサブユニットでは、行の画素数と列の画素数が等しい。例えば、サブユニットとしては、２行２列、３行３列、４行４列、５行５列のサブユニットが挙げられるがこれらに限定されない。このような配置は、行方向と列方向の画像の解像度とカラーパフォーマンスのバランスを取るのに役立ち、表示効果を向上させることができる。
例えば、図６は、本発明の実施形態に係る最小繰り返しユニット１１８１における画素の配列を示す概略図である。最小繰り返しユニットは４行４列で、１６の画素を有する。サブユニットは２行２列で、４の画素を有する。画素の配列は以下のようである。
Ｗ Ａ Ｗ Ｂ
Ａ Ｗ Ｂ Ｗ
Ｗ Ｂ Ｗ Ｃ
Ｂ Ｗ Ｃ Ｗ
Ｗはパンクロマチック画素を表し、Ａは複数のカラー画素における第一カラー画素を表し、Ｂは複数のカラー画素における第二カラー画素を表し、Ｃは複数のカラー画素における第三カラー画素を表す。
例えば、図６に示されたように、パンクロマチック画素Ｗは第一対角線方向Ｄ１（即ち、図６における左上隅と右下隅とを結ぶ方向）に配置されており、カラー画素は第二対角線方向Ｄ２（例えば、図６における左下隅と右上隅とを結ぶ方向）に配置されている。第一対角線方向Ｄ１と第二対角線方向Ｄ２は異なる。例えば、第一対角線は第二対角線に対して垂直である。第一対角線方向Ｄ１において隣接する２つのパンクロマチック画素Ｗ（例えば、左上から１行目１列目のパンクロマチック画素と２行目２列目のパンクロマチック画素）の第一露光期間は第一露光信号によって制御される。第二対角線方向Ｄ２において隣接する少なくとも２つのカラー画素（例えば、左上から４行目１列目のカラー画素Ｂと３行目２列目のカラー画素Ｂ）の第二露光期間は第二露光信号によって制御される。
第一対角線方向Ｄ１と第二対角線方向Ｄ２は対角線に限らず、対角線に平行な方向をさらに含む。例えば、図６において、パンクロマチック画素１１０１、１１０６、１１１３、及び１１１８は第一対角線方向Ｄ１に配置されており、パンクロマチック画素１１０３及び１１０８も第一対角線方向Ｄ１に配置されており、パンクロマチック画素１１１１及び１１１６も第一対角線方向Ｄ１に配置されている。第二カラー画素１１０４、１１０７、１１１２、及び１１１５は第二対角線方向Ｄ２に配置されており、第一カラー画素１１０２及び１１０５も第二対角線方向Ｄ２に配置されており、第三カラー画素１１１４及び１１１７も第二対角線方向Ｄ２に配置されている。以下、図７～図２１における第一対角線方向Ｄ１及び第二対角線方向Ｄ２についても、上記と同様に説明する。上記「方向」は、単一方向ではなく、配列を示す「直線」の概念として理解されることができ、その直線の両端に示される双方向を有してもよい。
上記及び下記の用語「上」、「下」、「左」、「右」などによって示される方位又は位置関係は、図面に示された方位又は位置関係に基づくことが理解されるべきである。それは本発明の説明を容易にし、説明を簡略化するためのものに過ぎず、言及された装置又は素子が特定の方位を有し、特定の方位で構成及び動作しなければならないことを示したり暗示したりするものではない。従って、本発明を制限するものと理解されるべきではない。
例えば、図６に示されたように、１行目と２行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。１行目と２行目のカラー画素（ＡとＢ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。３行目と４行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。３行目と４行目のカラー画素（ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。例えば、第一露光信号は第一露光制御線ＴＸ１を介して伝送され、第二露光信号は第二露光制御線ＴＸ２を介して伝送される。例えば、第一露光制御線ＴＸ１は「Ｗ」状で、隣接する２行のパンクロマチック画素における露光制御回路の制御端子に電気的に結合される。第二露光制御線ＴＸ２は「Ｗ」状で、隣接する２行のカラー画素の露光制御回路の制御端子に電気的に結合される。具体的な結合方式については、前記図３及び図５の関連部分の結合及び画素回路の説明を参照することができる。
第一露光制御線ＴＸ１と第二露光制御線ＴＸ２が「Ｗ」状であることは、物理的な配線を厳密に「Ｗ」状に従って設定しなければならないということを意味せず、結合方式がパンクロマチック画素及びカラー画素の配列に対応すればいいということを意味する。例えば、「Ｗ」状の露光制御線の設定は「Ｗ」状の画素の配列に対応する。このような設定では、配線がシンプルで、画素配列の解像度や色彩効果も良好で、パンクロマチック画素の露光期間とカラー画素の露光期間の独立した制御を低コストで実現することができる。
例えば、図７は、本発明の実施形態に係る別の最小繰り返しユニット１１８２における画素の配列を示す概略図である。最小繰り返しユニットは４行４列で、１６の画素を有する。サブユニットは２行２列で、４の画素を有する。画素の配列は以下のようである。
Ａ Ｗ Ｂ Ｗ
Ｗ Ａ Ｗ Ｂ
Ｂ Ｗ Ｃ Ｗ
Ｗ Ｂ Ｗ Ｃ
Ｗはパンクロマチック画素を表し、Ａは複数のカラー画素における第一カラー画素を表し、Ｂは複数のカラー画素における第二カラー画素を表し、Ｃは複数のカラー画素における第三カラー画素を表す。
例えば、図７に示されたように、パンクロマチック画素Ｗは第一対角線方向Ｄ１（即ち、図７における右上隅と左下隅とを結ぶ方向）に配置されており、カラー画素は第二対角線方向Ｄ２（例えば、図７における左上隅と右下隅とを結ぶ方向）に配置されている。例えば、第一対角線は第二対角線に対して垂直である。第一対角線方向Ｄ１において隣接する２つのパンクロマチック画素Ｗ（例えば、左上から１行目２列目のパンクロマチック画素と２行目１列目のパンクロマチック画素）の第一露光期間は第一露光信号によって制御される。第二対角線方向において隣接する少なくとも２つのカラー画素（例えば、左上から１行目１列目のカラー画素Ａと２行目２列目のカラー画素Ａ）の第二露光期間は第二露光信号によって制御される。
例えば、図７に示されたように、１行目と２行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。１行目と２行目のカラー画素（ＡとＢ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。３行目と４行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。３行目と４行目のカラー画素（ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。
例えば、図８は、本発明の実施形態に係る別の最小繰り返しユニット１１８３における画素の配列を示す概略図である。図９は、本発明の実施形態に係る別の最小繰り返しユニット１１８４における画素の配列を示す概略図である。図８と図９の実施形態はそれぞれ図６と図７の配列に対応し、第一カラー画素Ａは赤色画素Ｒで、第二カラー画素Ｂは緑色画素Ｇで、第三カラー画素Ｃは青色画素Ｂｕである。
いくつかの実施形態において、パンクロマチック画素Ｗの応答波長帯は可視光波長帯（例えば、４００ｎｍ～７６０ｎｍ）である。例えば、赤外光をフィルタリングするために、パンクロマチック画素Ｗに赤外フィルタが配置されている。いくつかの実施形態において、パンクロマチック画素Ｗの応答波長帯は、可視光波長帯と近赤外波長帯（例えば、４００ｎｍ～１０００ｎｍ）であり、画像センサー１０における光電変換素子（例えば、フォトダイオードＰＤ）の応答波長帯にマッチする。例えば、パンクロマチック画素Ｗにフィルタが配置されなくてもよく、パンクロマチック画素Ｗの応答波長帯はフォトダイオードの応答波長帯によって確定され、即ち、パンクロマチック画素Ｗの応答波長帯はフォトダイオードの応答波長帯にマッチする。本発明の実施形態は上記波長帯を含むが、それらに限定されない。
例えば、図１０は、本発明の実施形態に係る別の最小繰り返しユニット１１８５における画素の配列を示す概略図である。図１１は、本発明の実施形態に係る別の最小繰り返しユニット１１８６における画素の配列を示す概略図である。図１０と図１１の実施形態はそれぞれ図６と図７の配列に対応し、第一カラー画素Ａは赤色画素Ｒで、第二カラー画素Ｂは黄色画素Ｙで、第三カラー画素Ｃは青色画素Ｂｕである。
例えば、図１２は、本発明の実施形態に係る別の最小繰り返しユニット１１８７における画素の配列を示す概略図である。図１３は、本発明の実施形態に係る別の最小繰り返しユニット１１８８における画素の配列を示す概略図である。図１２と図１３の実施形態はそれぞれ図６と図７の配列に対応し、第一カラー画素Ａは赤紫色画素Ｍで、第二カラー画素Ｂは青緑色画素Ｃｙで、第三カラー画素Ｃは黄色画素Ｙである。
例えば、図１４は、本発明の実施形態に係る別の最小繰り返しユニット１１９１における画素の配列を示す概略図である。最小繰り返しユニットは６行６列で、３６の画素を有する。サブユニットは３行３列で、９の画素を有する。画素の配列は以下のようである。
Ｗ Ａ Ｗ Ｂ Ｗ Ｂ
Ａ Ｗ Ａ Ｗ Ｂ Ｗ
Ｗ Ａ Ｗ Ｂ Ｗ Ｂ
Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ
Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ
Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ
Ｗはパンクロマチック画素を表し、Ａは複数のカラー画素における第一カラー画素を表し、Ｂは複数のカラー画素における第二カラー画素を表し、Ｃは複数のカラー画素における第三カラー画素を表す。
例えば、図１４に示されたように、１行目と２行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。１行目と２行目のカラー画素（ＡとＢ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。３行目と４行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。３行目と４行目のカラー画素（Ａ、ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。５行目と６行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。５行目と６行目のカラー画素（ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。
例えば、図１５は、本発明の実施形態に係る別の最小繰り返しユニット１１９２における画素の配列を示す概略図である。最小繰り返しユニットは６行６列で、３６の画素を有する。サブユニットは３行３列で、９の画素を有する。画素の配列は以下のようである。
Ａ Ｗ Ａ Ｗ Ｂ Ｗ
Ｗ Ａ Ｗ Ｂ Ｗ Ｂ
Ａ Ｗ Ａ Ｗ Ｂ Ｗ
Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ
Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ
Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ
Ｗはパンクロマチック画素を表し、Ａは複数のカラー画素における第一カラー画素を表し、Ｂは複数のカラー画素における第二カラー画素を表し、Ｃは複数のカラー画素における第三カラー画素を表す。
例えば、図１５に示されたように、１行目と２行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。１行目と２行目のカラー画素（ＡとＢ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。３行目と４行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。３行目と４行目のカラー画素（Ａ、ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。５行目と６行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。５行目と６行目のカラー画素（ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。
例えば、図１６は、本発明の実施形態に係る別の最小繰り返しユニット１１９３における画素の配列を示す概略図である。図１７は、本発明の実施形態に係る別の最小繰り返しユニット１１９４における画素の配列を示す概略図である。図１６と図１７の実施形態はそれぞれ図１４と図１５の配列に対応し、第一カラー画素Ａは赤色画素Ｒで、第二カラー画素Ｂは緑色画素Ｇで、第三カラー画素Ｃは青色画素Ｂｕである。
例えば、他の実施形態において、第一カラー画素Ａは赤色画素Ｒで、第二カラー画素Ｂは黄色画素Ｙで、第三カラー画素Ｃは青色画素Ｂｕである。例えば、他の実施形態において、第一カラー画素Ａは赤紫色画素Ｍで、第二カラー画素Ｂは青緑色画素Ｃｙで、第三カラー画素Ｃは黄色画素Ｙである。本発明の実施形態は上記を含むが上記に限定されない。具体的な回路の結合方法については、上記を参照することができ、ここでは詳しく説明しない。
例えば、図１８は、本発明の実施形態に係る別の最小繰り返しユニット１１９５における画素の配列を示す概略図である。最小繰り返しユニットは８行８列で、６４の画素を有する。サブユニットは４行４列で、１６の画素を有する。画素の配列は以下のようである。
Ｗ Ａ Ｗ Ａ Ｗ Ｂ Ｗ Ｂ
Ａ Ｗ Ａ Ｗ Ｂ Ｗ Ｂ Ｗ
Ｗ Ａ Ｗ Ａ Ｗ Ｂ Ｗ Ｂ
Ａ Ｗ Ａ Ｗ Ｂ Ｗ Ｂ Ｗ
Ｗ Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ
Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ Ｗ
Ｗ Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ
Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ Ｗ
Ｗはパンクロマチック画素を表し、Ａは複数のカラー画素における第一カラー画素を表し、Ｂは複数のカラー画素における第二カラー画素を表し、Ｃは複数のカラー画素における第三カラー画素を表す。
例えば、図１８に示されたように、１行目と２行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。１行目と２行目のカラー画素（ＡとＢ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。３行目と４行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。３行目と４行目のカラー画素（ＡとＢ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。５行目と６行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。５行目と６行目のカラー画素（ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。７行目と８行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。７行目と８行目のカラー画素（ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。
例えば、図１９は、本発明の実施形態に係る別の最小繰り返しユニット１１９６における画素の配列を示す概略図である。最小繰り返しユニットは８行８列で、６４の画素を有する。サブユニットは４行４列で、１６の画素を有する。画素の配列は以下のようである。
Ａ Ｗ Ａ Ｗ Ｂ Ｗ Ｂ Ｗ
Ｗ Ａ Ｗ Ａ Ｗ Ｂ Ｗ Ｂ
Ａ Ｗ Ａ Ｗ Ｂ Ｗ Ｂ Ｗ
Ｗ Ａ Ｗ Ａ Ｗ Ｂ Ｗ Ｂ
Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ Ｗ
Ｗ Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ
Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ Ｗ
Ｗ Ｂ Ｗ Ｂ Ｗ Ｃ Ｗ Ｃ
Ｗはパンクロマチック画素を表し、Ａは複数のカラー画素における第一カラー画素を表し、Ｂは複数のカラー画素における第二カラー画素を表し、Ｃは複数のカラー画素における第三カラー画素を表す。
例えば、図１９に示されたように、１行目と２行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。１行目と２行目のカラー画素（ＡとＢ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。３行目と４行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。３行目と４行目のカラー画素（ＡとＢ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。５行目と６行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。５行目と６行目のカラー画素（ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。７行目と８行目のパンクロマチック画素が「Ｗ」状の第一露光制御線ＴＸ１によって結合されることで、パンクロマチック画素の露光期間の独立した制御を実現する。７行目と８行目のカラー画素（ＢとＣ）が「Ｗ」状の第二露光制御線ＴＸ２によって結合されることで、カラー画素の露光期間の独立した制御を実現する。
例えば、図２０は、本発明の実施形態に係る別の最小繰り返しユニット１１９７における画素の配列を示す概略図である。図２１は、本発明の実施形態に係る別の最小繰り返しユニット１１９８における画素の配列を示す概略図である。図２０と図２１の実施形態はそれぞれ図１８と図１９の配列に対応し、第一カラー画素Ａは赤色画素Ｒで、第二カラー画素Ｂは緑色画素Ｇで、第三カラー画素Ｃは青色画素Ｂｕである。
例えば、他の実施形態において、第一カラー画素Ａは赤色画素Ｒで、第二カラー画素Ｂは黄色画素Ｙで、第三カラー画素Ｃは青色画素Ｂｕである。例えば、第一カラー画素Ａは赤紫色画素Ｍで、第二カラー画素Ｂは青緑色画素Ｃｙで、第三カラー画素Ｃは黄色画素Ｙである。本発明の実施形態は上記を含むが上記に限定されない。具体的な回路の結合方法については、上記を参照することができ、ここでは詳しく説明しない。
図６～図２１に示された上記実施形態から分かるように、画像センサー１０（図２に示されている）はマトリクス状に配列された複数のカラー画素と複数のパンクロマチック画素Ｗを含む。カラー画素とパンクロマチック画素は、行方向及び列方向において等間隔で配列されている。
例えば、行方向には、パンクロマチック画素、カラー画素、パンクロマチック画素、カラー画素……が交替で配置されている。
例えば、列方向には、パンクロマチック画素、カラー画素、パンクロマチック画素、カラー画素……が交替で配置されている。
図３と図４を参照すると、第一露光制御線ＴＸ１は、（２ｎ－１）行目と２ｎ行目のパンクロマチック画素Ｗにおける露光制御回路１１６の制御端子ＴＧ（例えば、転送トランジスタ１１２のゲート）に電気的に結合される。第二露光制御線ＴＸ２は、（２ｎ－１）行目と第２ｎ行目のカラー画素における露光制御回路１１６の制御端子ＴＧ（例えば、転送トランジスタ１１２のゲート）に電気的に結合される。ｎは１以上の自然数である。
例えば、ｎ＝１の場合、第一露光制御線ＴＸ１は、１行目と２行目のパンクロマチック画素Ｗにおける露光制御回路１１６の制御端子ＴＧに電気的に結合される。第二露光制御線ＴＸ２は、１行目と２行目のカラー画素における露光制御回路１１６の制御端子ＴＧに電気的に結合される。ｎ＝２の場合、第一露光制御線ＴＸ１は、３行目と４行目のパンクロマチック画素Ｗにおける露光制御回路１１６の制御端子ＴＧに電気的に結合される。第二露光制御線ＴＸ２は、３行目と４行目のカラー画素における露光制御回路１１６の制御端子ＴＧに電気的に結合される。ｎが他の値である場合、結合方式は以上のようであり、ここでは詳しく説明されない。
いくつかの実施形態において、第一露光期間は第二露光期間より短い。いくつかの実施形態において、第二露光期間に対する第一露光期間の比は１：２、１：３又は１：４のうちの一つである。例えば、暗い環境では、カラー画素が露光不足になる可能性が高くなる。従って、環境の明度に応じて、第二露光期間に対する第一露光期間の比を、１：２、１：３又は１：４に調整することができる。例えば、露光比が上記整数比又は整数比に近い値であると、タイミングの設定や信号の設定と制御に有利である。
図２２を参照すると、関連技術では、画像センサーの画素アレイがパンクロマチック画素及びカラー画素を同時に含む場合、画像センサーは、動作している間、画素アレイにおける各パンクロマチック画素の画素値を他のカラー画素の画素値にフィッティングして、カラー画素のみを含むオリジナル画像を出力する。具体的に、一例として、画素Ａは赤色画素Ｒで、画素Ｂは緑色画素Ｇで、画素Ｃは青色画素Ｂｕである。画像センサーにおける列処理ユニットが複数の赤色画素Ｒの画素値、複数の緑色画素Ｇの画素値、複数の青色画素Ｂｕの画素値、及び複数のパンクロマチック画素Ｗの画素値を読み出した後、画像センサーはまず、各パンクロマチック画素Ｗの画素値を当該パンクロマチック画素に隣接する赤色画素Ｒ、緑色画素Ｇ、及び青色画素Ｂｕにフィッティングして、非ベイヤー配列で配置された画像をベイヤー配列で配置されたオリジナル画像に変換して出力する。それによって、処理チップによるオリジナル画像への後続の処理が行われる。例えば、フルカラー画像（フルカラー画像（ｆｕｌｌ－ｃｏｌｏｒ ｉｍａｇｅ）における各画素の画素値はいずれも赤色、緑色及び青色という三つのコンポーネントからなる）を取得するように、オリジナル画像に対して補間処理を行う。このような処理方法では、画像センサーは、計算量の多い且つ複雑なアルゴリズムを実行する必要がある。また、クアルコム（Ｑｕａｌｃｏｍｎ）プラットフォームが非ベイヤー配列で配置された画像の処理をサポートしないため、非ベイヤー配列で配置された画像をベイヤー配列で配置されたオリジナル画像に変換する処理を実行するには、画像センサーに追加のハードウェア（例えば、追加の処理チップ）を加える必要がある場合がある。
画像センサーの計算量を低減し、且つ画像センサーに追加のハードウェアを加えることを避けるために、本発明は画像キャプチャ方法を提供する。図２３に示されたように、画像キャプチャ方法は以下の内容を含む。
０１、パンクロマチックオリジナル画像（ｐａｎｃｈｒｏｍａｔｉｃ ｏｒｉｇｉｎａｌ ｉｍａｇｅ）とカラーオリジナル画像（ｃｏｌｏｒ ｏｒｉｇｉｎａｌ ｉｍａｇｅ）を取得するように、２次元画素アレイの露光を制御する。
０２、各サブユニットにおける全ての画素を当該サブユニットにおける単色に対応する単色大画素（ｍｏｎｏｃｈｒｏｍａｔｉｃ ｌａｒｇｅ ｐｉｘｅｌ）とするように、カラーオリジナル画像を処理し、且つ、カラー中間画像（ｃｏｌｏｒ ｉｎｔｅｒｍｅｄｉａｔｅ ｉｍａｇｅ）を取得するように、単色大画素の画素値を出力する。
０３、パンクロマチック中間画像（ｐａｎｃｈｒｏｍａｔｉｃ ｉｎｔｅｒｍｅｄｉａｔｅ ｉｍａｇｅ）を取得するように、パンクロマチックオリジナル画像を処理する。及び、
０４、目標画像を取得するように、カラー中間画像及び／又はパンクロマチック中間画像を処理する。
図１と図２を参照すると、本発明の画像キャプチャ方法はカメラアセンブリ４０によって実施され得る。ステップ０１は画像センサー１０によって実施され得る。ステップ０２、ステップ０３及びステップ０４は処理チップ２０によって実施され得る。換言すると、画像センサー１０はパンクロマチックオリジナル画像とカラーオリジナル画像を取得するように露光されることができる。処理チップ２０は、各サブユニットにおける全ての画素を当該サブユニットにおける単色に対応する単色大画素とするように、カラーオリジナル画像を処理し、且つ、カラー中間画像を取得するように単色大画素の画素値を出力するように構成されている。処理チップ２０はさらに、パンクロマチック中間画像を取得するようにパンクロマチックオリジナル画像を処理し、及び、目標画像を取得するようにカラー中間画像及び／又はパンクロマチック中間画像を処理するように構成されている。
具体的に、図２と図２４を参照すると、ユーザが撮影を要請すると、画像センサー１０における垂直駆動ユニット１２は、２次元画素アレイにおける複数のパンクロマチック画素と複数のカラー画素を露光するように制御する。列処理ユニット１４は各パンクロマチック画素の画素値及び各カラー画素の画素値を読み出す。画像センサー１０は、パンクロマチック画素の画素値をカラー画素の画素値にフィッティングする操作を実行せず、複数のパンクロマチック画素の画素値に基づいて一つのパンクロマチックオリジナル画像を直接に出力し、且つ複数のカラー画素の画素値に基づいて一つのカラーオリジナル画像を直接に出力する。
図２４に示されたように、パンクロマチックオリジナル画像は複数のパンクロマチック画素Ｗ及び複数の空画素Ｎ（ＮＵＬＬ）を含み、空画素はパンクロマチック画素でもカラー画素でもない。パンクロマチックオリジナル画像における空画素Ｎの位置には画素がないとみなされることができ、又は、空画素の画素値は０とみなされることができる。２次元画素アレイとパンクロマチックオリジナル画像との比較から分かるように、２次元画素アレイにおける各サブユニットについては、当該サブユニットは２つのパンクロマチック画素Ｗと２つのカラー画素（カラー画素Ａ、カラー画素Ｂ、又はカラー画素Ｃ）を含む。パンクロマチックオリジナル画像は、２次元画素アレイにおける各サブユニットに対応するサブユニットを含む。パンクロマチックオリジナル画像のサブユニットは２つのパンクロマチック画素Ｗと２つの空画素Ｎを含み、２つの空画素Ｎの位置は２次元画素アレイにおけるサブユニットにおける２つのカラー画素の位置に対応する。
同様に、カラーオリジナル画像は複数のカラー画素及び複数の空画素Ｎを含み、空画素はパンクロマチック画素でもカラー画素でもない。カラーオリジナル画像における空画素Ｎの位置には画素がないとみなされることができ、又は、空画素の画素値は０とみなされることができる。２次元画素アレイとカラーオリジナル画像との比較から分かるように、２次元画素アレイにおける各サブユニットについては、当該サブユニットは２つのパンクロマチック画素Ｗと２つのカラー画素を含む。カラーオリジナル画像は２次元画素アレイにおける各サブユニットに対応するサブユニットを含む。カラーオリジナル画像のサブユニットは２つのカラー画素と２つの空画素Ｎを含み、２つの空画素Ｎの位置は２次元画素アレイにおけるサブユニットにおける２つのパンクロマチック画素Ｗの位置に対応する。
処理チップ２０は、画像センサー１０が出力したパンクロマチックオリジナル画像とカラーオリジナル画像を受け取った後、パンクロマチックオリジナル画像をさらに処理してパンクロマチック中間画像を取得し、且つカラーオリジナル画像をさらに処理してカラー中間画像を取得することができる。例示的に、カラーオリジナル画像は図２５に示された方法でカラー中間画像に変換されることができる。図２５に示されたように、カラーオリジナル画像は複数のサブユニットを含み、各サブユニットはいずれも複数の空画素Ｎと複数の単色のカラー画素（単色画素とも呼ばれる）を含む。具体的に、一部のサブユニットは２つの空画素Ｎと２つの単色画素Ａを含み、一部のサブユニットは２つの空画素Ｎと２つの単色画素Ｂを含み、一部のサブユニットは２つの空画素Ｎと２つの単色画素Ｃを含む。処理チップ２０は、空画素Ｎと単色画素Ａとを含むサブユニットにおける全ての画素を当該サブユニットにおける単色Ａに対応する単色大画素Ａとし、空画素Ｎと単色画素Ｂとを含むサブユニットにおける全ての画素を当該サブユニットにおける単色Ｂに対応する単色大画素Ｂとし、空画素Ｎと単色画素Ｃとを含むサブユニットにおける全ての画素を当該サブユニットにおける単色Ｃに対応する単色大画素Ｃとすることができる。これで、処理チップ２０は複数の単色大画素Ａ、複数の単色大画素Ｂ、及び複数の単色大画素Ｃに基づいて一つのカラー中間画像を形成することができる。複数の空画素Ｎを含むカラーオリジナル画像を第二解像度を有する一つの画像とみなすと、図２５に示された方法で取得されたカラー中間画像は第一解像度を有する一つの画像であり、第一解像度は第二解像度より小さい。処理チップ２０は、パンクロマチック中間画像及びカラー中間画像を取得した後、目標画像を取得するようにパンクロマチック中間画像及び／又はカラー中間画像をさらに処理することができる。具体的に、処理チップ２０は、目標画像を取得するようにパンクロマチック中間画像のみを処理してもよく、処理チップ２０は目標画像を取得するようにカラー中間画像のみを処理してもよく、さらに、処理チップ２０は目標画像を取得するようにパンクロマチック中間画像とカラー中間画像とを同時に処理してもよい。処理チップ２０は、実際のニーズに応じて２つの中間画像の処理方法を決定することができる。
上記のように、本発明の実施形態の画像キャプチャ方法では、画像センサー１０はパンクロマチックオリジナル画像とカラーオリジナル画像を直接に出力することができる。パンクロマチックオリジナル画像とカラーオリジナル画像の後続処理は処理チップ２０によって実行される。画像センサー１０はパンクロマチック画素Ｗの画素値をカラー画素の画素値にフィッティングする操作を実行する必要がない。これで、画像センサー１０の計算量を低減することができる。且つ画像センサー１０に画像センサーによる画像処理の実行をサポートするための新たなハードウェアを追加する必要がない。これで、画像センサー１０の設計を簡素化することができる。
いくつかの実施形態において、パンクロマチックオリジナル画像とカラーオリジナル画像を取得するように２次元画素アレイの露光を制御するというステップ０１は、様々な態様で実施されることができる。
図２６を参照すると、一つの例において、ステップ０１は以下の内容を含む。
０１１、２次元画素アレイにおける全てのパンクロマチック画素と全てのカラー画素を同時に露光するように制御する。
０１２、パンクロマチックオリジナル画像を取得するように全てのパンクロマチック画素の画素値を出力する。及び、
０１３、カラーオリジナル画像を取得するように全てのカラー画素の画素値を出力する。
図１を参照すると、ステップ０１１、ステップ０１２及びステップ０１３はいずれも画像センサー１０によって実施され得る。換言すると、画像センサー１０における全てのパンクロマチック画素と全てのカラー画素が同時に露光される。画像センサー１０は、パンクロマチックオリジナル画像を取得するように全てのパンクロマチック画素の画素値を出力することができ、カラーオリジナル画像を取得するように全てのカラー画素の画素値を出力することもできる。
図２と図３を参照すると、パンクロマチック画素とカラー画素は同時に露光され得る。パンクロマチック画素の露光期間はカラー画素の露光期間以下であることができる。具体的に、パンクロマチック画素の第一露光期間がカラー画素の第二露光期間に等しい場合、パンクロマチック画素の露光開始時点及び露光終了時点はそれぞれ、カラー画素の露光開始時点及び露光終了時点と同じである。第一露光期間が第二露光期間より短い場合、パンクロマチック画素の露光開始時点はカラー画素の露光開始時点より遅い又はカラー画素の露光開始時点と同じであり、且つパンクロマチック画素の露光終了時点はカラー画素の露光終了時点より早い。又は、第一露光期間が第二露光期間より短い場合、パンクロマチック画素の露光開始時点はカラー画素の露光開始時点より遅く、且つパンクロマチック画素の露光終了時点はカラー画素の露光終了時点より早い又はカラー画素の露光終了時点と同じである。パンクロマチック画素とカラー画素の露光が終了した後、画像センサー１０はパンクロマチックオリジナル画像を取得するように全てのパンクロマチック画素の画素値を出力し、且つカラーオリジナル画像を取得するように全てのカラー画素の画素値を出力する。パンクロマチックオリジナル画像がカラーオリジナル画像より先に出力されてもよい。又は、カラーオリジナル画像がパンクロマチックオリジナル画像より先に出力されてもよい。又は、パンクロマチックオリジナル画像とカラーオリジナル画像とが同時に出力されてもよい。本明細書において、その出力順序は限定されない。パンクロマチック画素とカラー画素を同時に露光することにより、パンクロマチックオリジナル画像及びカラーオリジナル画像の取得時間を短縮し、パンクロマチックオリジナル画像及びカラーオリジナル画像の取得を早めることができる。パンクロマチック画素とカラー画素の同時露光は、高速撮影モードや連続撮影モードなどのような高い画像出力速度が要求されるモードにおいて大きなメリットを有する。
図２７を参照すると、別の例において、ステップ０１は以下の内容を含む。
０１４、２次元画素アレイにおける全てのパンクロマチック画素と全てのカラー画素を異なるタイミングで露光するように制御する。
０１５、パンクロマチックオリジナル画像を取得するように全てのパンクロマチック画素の画素値を出力する。及び、
０１６、カラーオリジナル画像を取得するように全てのカラー画素の画素値を出力する。
図１を参照すると、ステップ０１４、ステップ０１５及びステップ０１６はいずれも画像センサー１０によって実施され得る。換言すると、画像センサー１０における全てのパンクロマチック画素と全てのカラー画素は異なるタイミングで露光される。画像センサー１０は、パンクロマチックオリジナル画像を取得するように全てのパンクロマチック画素の画素値を出力することができ、カラーオリジナル画像を取得するように全てのカラー画素の画素値を出力することもできる。
具体的に、パンクロマチック画素とカラー画素は異なるタイミングで露光されてもよい。パンクロマチック画素の露光期間はカラー画素の露光期間以下であることができる。具体的に、第一露光期間と第二露光期間が等しいか否かにかかわらず、全てのパンクロマチック画素と全てのカラー画素は以下のように異なるタイミングで露光されることができる。（１）全てのパンクロマチック画素は第一露光期間中に露光され、全てのパンクロマチック画素の露光が終了した後、全てのカラー画素は第二露光期間中に露光される。（２）全てのカラー画素は第二露光期間中に露光され、全てのカラー画素の露光が終了した後、全てのパンクロマチック画素は第一露光期間中に露光される。パンクロマチック画素とカラー画素の露光が終了した後、画像センサー１０はパンクロマチックオリジナル画像を取得するように全てのパンクロマチック画素の画素値を出力し、且つカラーオリジナル画像を取得するように全てのカラー画素の画素値を出力する。パンクロマチックオリジナル画像とカラーオリジナル画像は以下のように出力されることができる。（１）パンクロマチック画素がカラー画素より先に露光される場合、画像センサー１０は、カラー画素の露光中にパンクロマチックオリジナル画像を出力してもよく、カラー画素の露光が終了した後にパンクロマチックオリジナル画像とカラーオリジナル画像を順次に出力してもよい。（２）カラー画素がパンクロマチック画素より先に露光される場合、画像センサー１０は、パンクロマチック画素の露光中にカラーオリジナル画像を出力してもよく、パンクロマチック画素の露光が終了した後にカラーオリジナル画像とパンクロマチックオリジナル画像を順次に出力してもよい。（３）パンクロマチック画素とカラー画素とのいずれが先に露光されるかにかかわらず、画像センサー１０は、全ての画素の露光が終了した後に、パンクロマチックオリジナル画像とカラーオリジナル画像を同時に出力してもよい。この例では、パンクロマチック画素とカラー画素を異なるタイミングで露光する制御ロジックは比較的にシンプルである。
画像センサー１０は、図２６及び図２７に示されたように、パンクロマチック画素とカラー画素を同時に露光するように制御する機能と、パンクロマチック画素とカラー画素を異なるタイミングで露光するように制御する機能とを備える。画像をキャプチャするプロセスにおいて画像センサー１０が具体的にどの露光方法を使用するかは、実際のニーズに応じて決められることができる。例えば、高速撮影モード、連続撮影モードなどのモードでは、高速画像出力という要求を満たすために、同時露光の方法を用いることができる。通常の撮影モードでは、制御ロジックを簡素化するために、異なるタイミングでの露光を用いることができる。
図２６及び図２７に示された２つの例において、パンクロマチック画素とカラー画素の露光順序は画像センサー１０における制御ユニット１３によって制御されることができる。
図２６及び図２７に示された２つの例において、パンクロマチック画素の露光期間は第一露光信号によって制御され、カラー画素の露光期間は第二露光信号によって制御されることができる。
具体的に、図３を参照すると、一例として、画像センサー１０は、第一露光信号で、第一対角線方向において隣接する少なくとも２つのパンクロマチック画素を第一露光期間中に露光するように制御することができ、且つ第二露光信号で、第二対角線方向において隣接する少なくとも２つのカラー画素を第二露光期間中に露光するように制御することができる。第一露光期間は第二露光期間以下であることができる。具体的に、画像センサー１０における垂直駆動ユニット１２は、第一露光制御線ＴＸ１を介して第一露光信号を伝送することで、第一対角線方向において隣接する少なくとも２つのパンクロマチック画素を第一露光期間中に露光するように制御する。垂直駆動ユニット１２は第二露光制御線ＴＸ２を介して第二露光信号を伝送することで、第二対角線方向において隣接する少なくとも２つのカラー画素を第二露光期間中に露光するように制御する。全てのパンクロマチック画素と全てのカラー画素の露光が終了した後、図２４に示されたように、画像センサー１０は、複数のパンクロマチック画素の画素値をカラー画素の画素値にフィッティングする処理を実行せず、一つのパンクロマチックオリジナル画像と一つのカラーオリジナル画像を直接に出力する。
図２と図６を参照すると、別の例として、画像センサー１０は、第一露光信号で、（２ｎ－１）行目と２ｎ行目のパンクロマチック画素を第一露光期間中に露光するように制御することができ、且つ第二露光信号で、（２ｎ－１）行目と２ｎ行目のカラー画素を第二露光期間中に露光するように制御することができる。第一露光期間は第二露光期間以下であることができる。具体的に、画像センサー１０における第一露光制御線ＴＸ１は（２ｎ－１）行目と２ｎ行目の全てのパンクロマチック画素の制御端子ＴＧに結合され、第二露光制御線ＴＸ２は（２ｎ－１）行目と２ｎ行目の全てのカラー画素の制御端子ＴＧに結合される。垂直駆動ユニット１２は第一露光制御線ＴＸ１を介して第一露光信号を伝送することで、（２ｎ－１）行目と２ｎ行目のパンクロマチック画素を第一露光期間中に露光するように制御し、第二露光制御線ＴＸ２を介して第二露光信号を伝送することで、（２ｎ－１）行目と２ｎ行目のカラー画素を第二露光期間中に露光するように制御する。全てのパンクロマチック画素及び全てのカラー画素の露光が終了した後、図２４に示されたように、画像センサー１０は、複数のパンクロマチック画素の画素値をカラー画素の画素値にフィッティングする処理を実行せず、一つのパンクロマチックオリジナル画像と一つのカラーオリジナル画像を直接に出力する。
いくつかの実施形態において、処理チップ２０は、環境の明度に基づいて第一露光期間と第二露光期間の相対的な関係を確定することができる。例示的に、画像センサー１０は、まずパンクロマチック画素を露光するように制御して、且つ一つのパンクロマチックオリジナル画像を出力することができる。処理チップ２０は、パンクロマチックオリジナル画像における複数のパンクロマチック画素の画素値を分析して環境の明度を確定する。環境の明度が明度閾値以下である場合、画像センサー１０は、パンクロマチック画素を第二露光期間に等しい第一露光期間中に露光するように制御する。環境の明度が明度閾値より高い場合、画像センサー１０は、パンクロマチック画素を第二露光期間より短い第一露光期間中に露光するように制御する。環境の明度が明度閾値より高い場合、環境の明度と明度閾値との明度差に基づいて第一露光期間と第二露光期間との相対的な関係を確定することができる。例えば、明度差が大きければ大きいほど、第二露光期間に対する第一露光期間の比が小さくなる。例示的に、明度差が第一範囲［ａ，ｂ）内にある場合、第二露光期間に対する第一露光期間の比は１：２であり、明度差が第二範囲［ｂ，ｃ）内にある場合、第二露光期間に対する第一露光期間の比は１：３であり、明度差がｃ以上の場合、第二露光期間に対する第一露光期間の比は１：４である。
図２８を参照すると、いくつかの実施形態において、ステップ０２は以下の内容を含む。
０２１、単色大画素の画素値を取得するように各サブユニットにおける全ての画素の画素値をマージ（ｍｅｒｇｅ）する。及び、
０２２、複数の単色大画素の画素値に基づいて第一解像度を有するカラー中間画像を形成する。
図１を参照すると、いくつかの実施形態において、ステップ０２１及びステップ０２２はいずれも処理チップ２０によって実施され得る。換言すると、処理チップ２０は、単色大画素の画素値を取得するように各サブユニットにおける全ての画素の画素値をマージし、且つ複数の単色大画素の画素値に基づいて第一解像度を有するカラー中間画像を形成するように構成されている。
具体的に、図２５に示されたように、単色大画素Ａに対して、処理チップ２０は、空画素Ｎと単色画素Ａとを含むサブユニットにおける全ての画素の画素値に対して加算を行い、加算結果を当該サブユニットに対応する単色大画素Ａの画素値とすることができる。本明細書では、空画素Ｎの画素値は０とみなされることができる。処理チップ２０は、空画素Ｎと単色画素Ｂとを含むサブユニットにおける全ての画素の画素値に対して加算を行い、加算結果を当該サブユニットに対応する単色大画素Ｂの画素値とすることができる。処理チップ２０は、空画素Ｎと単色画素Ｃとを含むサブユニットにおける全ての画素の画素値に対して加算を行い、加算結果を当該サブユニットに対応する単色大画素Ｃの画素値とすることができる。これで、処理チップ２０は、複数の単色大画素Ａの画素値、複数の単色大画素Ｂの画素値、及び複数の単色大画素Ｃの画素値を取得することができる。処理チップ２０は、複数の単色大画素Ａの画素値、複数の単色大画素Ｂの画素値、及び複数の単色大画素Ｃの画素値に基づいて一つのカラー中間画像を形成することができる。図２５に示されたように、単色Ａが赤色Ｒで、単色Ｂが緑色Ｇで、単色Ｃが青色Ｂｕである場合、カラー中間画像はベイヤー配列で配置された画像である。もちろん、処理チップ２０がカラー中間画像を取得する方法は上記に限定されない。
いくつかの実施形態において、図１と図２９を参照すると、カメラアセンブリ４０が異なるモードにあるとき、異なるモードは異なる目標画像に対応する。処理チップ２０は、まずカメラアセンブリ４０がどのモードにあるかを判断して、カメラアセンブリ４０のモードに応じてカラー中間画像及び／又はパンクロマチック中間画像に対して対応の処理を行うことで、当該モードに対応する目標画像を取得する。目標画像は少なくとも、第一目標画像、第二目標画像、第三目標画像、第四目標画像という４種類の目標画像を含む。カメラアセンブリ４０のモードは少なくとも以下を含む。（１）モードがプレビューモード（ｐｒｅｖｉｅｗ ｍｏｄｅ）である場合、プレビューモードでの目標画像は第一目標画像又は第二目標画像であることができる。（２）モードがイメージングモード（ｉｍａｇｉｎｇ ｍｏｄｅ）である場合、イメージングモードでの目標画像は第二目標画像、第三目標画像又は第四目標画像であることができる。（３）モードがプレビューモード且つ低消費電力モードである場合、目標画像は第一目標画像である。（４）モードがプレビューモード且つ非低消費電力モードである場合、目標画像は第二目標画像である。（５）モードがイメージングモード且つ低消費電力モードである場合、目標画像は第二目標画像又は第三目標画像である。（６）モードがイメージングモード且つ非低消費電力モードである場合、目標画像は第四目標画像である。
図２９を参照すると、一つの例において、目標画像が第一目標画像である場合、ステップ０４は以下の内容を含む。
０４０、単色以外の他の二色の画素値を取得するようにカラー中間画像における各単色大画素に対して補間処理を行い、第一解像度を有する第一目標画像を取得するように、単色以外の他の二色の画素値を出力する。
図１を参照すると、ステップ０４０は処理チップ２０によって実施され得る。換言すると、処理チップ２０は、単色以外の他の二色の画素値を取得するようにカラー中間画像における各単色大画素に対して補間処理を行い、第一解像度を有する第一目標画像を取得するように単色以外の他の二色の画素値を出力するように構成されている。
具体的に、図３０を参照すると、単色大画素Ａが赤色画素Ｒで、単色大画素Ｂが緑色画素Ｇで、単色大画素Ｃが青色画素Ｂｕであると仮設すると、カラー中間画像はベイヤー配列で配置された画像となる。各単色大画素の画素値がＲ、Ｇ、Ｂという３つのコンポーネントを同時に有するように、処理チップ２０はカラー中間画像に対してデモザイク処理（即ち、補間処理）を行う必要がある。例示的に、各単色大画素については、線形補間法で単色大画素の単色以外の他の二色の画素値を計算することができる。単色大画素Ｃ２，２（「Ｃ２，２」は左上から２行目２列目の画素Ｃを表す）を例として、単色大画素Ｃ２，２は色Ｃコンポーネントの画素値Ｐ（Ｃ２，２）のみを有する。単色大画素Ｃにおける色Ａの画素値Ｐ（Ａ２，２）と色Ｂの画素値Ｐ（Ｂ２，２）を計算する必要がある。一つの例において、Ｐ（Ａ２，２）＝α１・Ｐ（Ａ３，１）＋α２・Ｐ（Ａ３，３）＋α３・Ｐ（Ａ１，３）＋α４・Ｐ（Ａ１，１）、Ｐ（Ｂ２，２）＝β１・Ｐ（Ｂ１，２）＋β２・Ｐ（Ｂ２，１）＋β３・Ｐ（Ｂ２，３）＋β４・Ｐ（Ｂ３，２）、α１～α４とβ１～β４はいずれも補間係数であり、且つα１＋α２＋α３＋α４＝１、β１＋β２＋β３＋β４＝１。上記Ｐ（Ａ２，２）及びＰ（Ｂ２，２）の計算方法は例示に過ぎず、Ｐ（Ａ２，２）及びＰ（Ｂ２，２）は線形補間法以外の他の補間法で計算されることができる。本明細書では限定されない。
処理チップ２０は、各単色大画素の３つのコンポーネントの画素値を計算した後、３つの画素値（即ち、Ａ＋Ｂ＋Ｃ）に基づいて当該単色大画素に対応する最終画素値を計算することができる。上記「Ａ＋Ｂ＋Ｃ」は、３つの画素を直接に加算して単色大画素の最終画素値を取得するということを意味せず、単色大画素がＡ、Ｂ、Ｃという３つの色コンポーネントを含むということのみを意味する。処理チップ２０は、複数の単色大画素の最終画素値に基づいて一つの第一目標画像を形成することができる。カラー中間画像が第一解像度を有するため、第一目標画像はカラー中間画像に対して補間処理を行うことにより取得され、処理チップ２０はカラー中間画像を補間しない。そのため、第一目標画像の解像度も第一解像度である。処理チップ２０がカラー中間画像を処理して第一目標画像を取得する処理アルゴリズムが簡単で、その処理速度が速い。カメラアセンブリ４０のモードがプレビューモード且つ低消費電力モードである場合、カメラアセンブリ４０は第一目標画像をプレビュー画像として使用する。これで、画像出力速度に対するプレビューモードの要求を満たすことができるだけでなく、カメラアセンブリ４０の消費電力を節約することもできる。
図２９を参照すると、別の例において、目標画像が第二目標画像である場合、ステップ０３は以下の内容を含む。
０３１、パンクロマチックオリジナル画像を処理して、各サブユニットにおける全ての画素をパンクロマチック大画素（ｐａｎｃｈｒｏｍａｔｉｃ ｌａｒｇｅ ｐｉｘｅｌ）とし、且つ第一解像度を有するパンクロマチック中間画像を取得するようにパンクロマチック大画素の画素値を出力する。
ステップ０４は以下の内容を含む。
０４１、第一解像度を有する色・輝度分離画像（ｃｈｒｏｍｉｎａｎｃｅ－ｌｕｍｉｎａｎｃｅ ｓｅｐａｒａｔｅｄ ｉｍａｇｅ）を取得するようにカラー中間画像の色と輝度を分離する。
０４２、第一解像度を有する輝度修正カラー画像（ｌｕｍｉｎａｎｃｅ－ｃｏｒｒｅｃｔｅｄ ｃｏｌｏｒ ｉｍａｇｅ）を取得するように、パンクロマチック中間画像の輝度と色・輝度分離画像の輝度を融合する。及び、
０４３、単色以外の他の二色の画素値を取得するように輝度修正カラー画像における各単色大画素に対して補間処理を行い、第一解像度を有する第二目標画像を取得するように単色以外の他の二色の画素値を出力する。
図１を参照すると、ステップ０３１、ステップ０４１、ステップ０４２及びステップ０４３はいずれも処理チップ２０によって実施され得る。換言すると、処理チップ２０は、パンクロマチックオリジナル画像を処理して各サブユニットにおける全ての画素をパンクロマチック大画素とし、且つ第一解像度を有するパンクロマチック中間画像を取得するようにパンクロマチック大画素の画素値を出力するように構成されている。処理チップ２０はさらに、第一解像度を有する色・輝度分離画像を取得するようにカラー中間画像の色と輝度を分離し、第一解像度を有する輝度修正カラー画像を取得するようにパンクロマチック中間画像の輝度と色・輝度分離画像の輝度を融合し、及び、単色以外の他の二色の画素値を取得するように輝度修正カラー画像における各単色大画素に対して補間処理を行い、第一解像度を有する第二目標画像を取得するように単色以外の他の二色の画素値を出力するように構成されている。
具体的に、パンクロマチックオリジナル画像は図３１に示された方法でパンクロマチック中間画像に変換されることができる。図３１に示されたように、パンクロマチックオリジナル画像は複数のサブユニットを含み、各サブユニットはいずれも２つの空画素Ｎと２つのパンクロマチック画素Ｗを含む。処理チップ２０は、空画素Ｎとパンクロマチック画素Ｗを含む各サブユニットにおける全ての画素を当該サブユニットに対応するパンクロマチック大画素Ｗとすることができる。これで、処理チップ２０は、複数のパンクロマチック大画素Ｗに基づいて一つのパンクロマチック中間画像を形成することができる。複数の空画素Ｎを含むパンクロマチックオリジナル画像を第二解像度を有する一つの画像とみなすと、図３１に示された方法で取得されたパンクロマチック中間画像は第一解像度を有する一つの画像である。第一解像度は第二解像度より小さい。
一例として、処理チップ２０は、下記の方法でパンクロマチックオリジナル画像における各サブユニットにおける全ての画素を当該サブユニットに対応するパンクロマチック大画素Ｗとすることができる。処理チップ２０はまず、パンクロマチック大画素Ｗの画素値を取得するように各サブユニットにおける全ての画素の画素値をマージし、次に、複数のパンクロマチック大画素Ｗの画素値に基づいてパンクロマチック中間画像を形成する。具体的に、各パンクロマチック大画素については、処理チップ２０は、空画素Ｎとパンクロマチック画素Ｗを含むサブユニットにおける全ての画素値に対して加算を行い、加算結果を当該サブユニットに対応するパンクロマチック大画素Ｗの画素値とすることができる。空画素Ｎの画素値は０とみなされることができる。これで、処理チップ２０は複数のパンクロマチック大画素Ｗの画素値を取得することができる。
処理チップ２０は、パンクロマチック中間画像とカラー中間画像を取得した後、第二目標画像を取得するようにパンクロマチック中間画像とカラー中間画像とを融合することができる。
例示的に、図３１に示されたように、処理チップ２０はまず、色・輝度分離画像を取得するようにカラー中間画像の色と輝度を分離する。図３１において、色・輝度分離画像におけるＬは輝度を表し、ＣＬＲは色を表す。具体的に、単色画素Ａが赤色画素Ｒで、単色画素Ｂが緑色画素Ｇで、単色画素Ｃが青色画素Ｂｕであると仮設すると、（１）処理チップ２０はＲＧＢ空間のカラー中間画像をＹＣrＣｂ空間の色・輝度分離画像に変換することができ、ＹＣrＣｂのＹは色・輝度分離画像における輝度Ｌを表し、ＹＣrＣｂのＣrとＣｂは色・輝度分離画像における色ＣＬＲを表し、（２）処理チップ２０はＲＧＢのカラー中間画像をＬａｂ空間の色・輝度分離画像に変換することもでき、ＬａｂのＬは色・輝度分離画像における輝度Ｌを表し、Ｌａｂのａとｂは色・輝度分離画像における色ＣＬＲを表す。図３１に示された色・輝度分離画像におけるＬ＋ＣＬＲは、各画素の画素値がＬとＣＬＲとの加算により形成されるということを意味せず、各画素の画素値がＬとＣＬＲからなるということのみを意味する。
その後、処理チップ２０は色・輝度分離画像の輝度とパンクロマチック中間画像の輝度を融合する。例示的に、パンクロマチック中間画像における各パンクロマチック画素Ｗの画素値は各パンクロマチック画素の輝度値である。処理チップ２０は、色・輝度分離画像における各画素のＬとパンクロマチック中間画像における対応位置のパンクロマチック画素のＷとを加算して、輝度修正後の画素値を取得することができる。処理チップ２０は複数の輝度修正後の画素値に基づいて一つの輝度修正後の色・輝度分離画像を形成して、色空間変換を利用して輝度修正後の色・輝度分離画像を輝度修正カラー画像に変換する。
単色大画素Ａが赤色画素Ｒで、単色大画素Ｂが緑色画素Ｇで、単色大画素Ｃが青色画素Ｂｕである場合、輝度修正カラー画像はベイヤー配列で配置された画像である。輝度修正後の各単色大画素の画素値がＲ、Ｇ、Ｂという３つのコンポーネントを同時に有するように、処理チップ２０は輝度修正カラー画像に対して補間処理を行う必要がある。処理チップ２０は、第二目標画像を取得するように輝度修正カラー画像に対して補間処理を行うことができる。例示的に、線形補間法で第二目標画像を取得することができる。線形補間プロセスは上記ステップ０４０の補間プロセスと類似であるため、ここでは詳しく説明されない。
輝度修正カラー画像が第一解像度を有するため、第二目標画像は輝度修正カラー画像に対して補間処理を行うことにより取得され、処理チップ２０は輝度修正カラー画像を補間しない。そのため、第二目標画像の解像度も第一解像度である。第二目標画像はカラー中間画像の輝度とパンクロマチック中間画像の輝度を融合することにより取得されるため、第二目標画像はより良い画像効果を有する。モードがプレビューモード且つ非低消費電力モードである場合、第二目標画像をプレビュー画像として使用することで、プレビュー画像のプレビュー効果を向上させることができる。モードがイメージングモード且つ低消費電力モードである場合、第二目標画像をユーザに提供される画像として使用する。第二目標画像が補間されずに取得されるため、カメラアセンブリ４０の消費電力をある程度低減することができ、低消費電力モードでの使用要求を満たすことができる。また、第二目標画像はより高い輝度を有するため、目標画像の輝度に対するユーザの要求を満たすことができる。
図２９を参照すると、別の例において、目標画像が第三目標画像である場合、ステップ０４は以下の内容を含む。
０４４、第二解像度を有するカラー補間画像（ｃｏｌｏｒ ｉｎｔｅｒｐｏｌａｔｅｄ ｉｍａｇｅ）を取得するようにカラー中間画像を補間する。カラー補間画像における対応のサブユニットはベイヤー配列で配置されており、第二解像度は第一解像度より大きい。及び、
０４５、単色以外の他の二色の画素値を取得するようにカラー補間画像における全ての単色画素に対して補間処理を行い、第二解像度を有する第三目標画像を取得するように単色以外の他の二色の画素値を出力する。
図１を参照すると、ステップ０４４とステップ０４５はいずれも処理チップ２０によって実施され得る。換言すると、処理チップ２０は、第二解像度を有するカラー補間画像を取得するようにカラー中間画像を補間するように構成されている。カラー補間画像における対応のサブユニットはベイヤー配列で配置されており、第二解像度は第一解像度より大きい。処理チップ２０はさらに、単色以外の他の二色の画素値を取得するようにカラー補間画像における全ての単色画素に対して補間処理を行い、第二解像度を有する第三目標画像を取得するように単色以外の他の二色の画素値を出力するように構成されている。
具体的に、図３２を参照すると、処理チップ２０は、カラー中間画像における各単色大画素を４つのカラー画素に分割する。４つのカラー画素はカラー補間画像における一つのサブユニットを形成する。各サブユニットは、１つのカラー画素Ａ、２つのカラー画素Ｂ、及び１つのカラー画素Ｃという三色のカラー画素を含む。カラー画素Ａが赤色画素Ｒで、カラー画素Ｂが緑色画素Ｇで、カラー画素Ｃが青色画素Ｂｕである場合、各サブユニットにおける複数のカラー画素はベイヤー配列で配置されている。従って、複数のサブユニットを含むカラー補間画像はベイヤー配列で配置された画像となる。処理チップ２０は第三目標画像を取得するようにカラー補間画像に対して補間処理を行うことができる。例示的に、線形補間法で第三目標画像を取得することができる。線形補間プロセスは上記ステップ０４０の補間プロセスと類似であるため、ここでは詳しく説明されない。第三目標画像は補間することにより取得されるため、第三目標画像の解像度（即ち、第二解像度）はカラー中間画像の解像度（即ち、第一解像度）より高い。モードがプレビューモード且つ非低消費電力モードである場合、第三目標画像をプレビュー画像とすることで、より鮮明なプレビュー画像を得ることができる。モードがイメージングモード且つ低消費電力モードである場合、第三目標画像をユーザに提供される画像とする。第三目標画像がパンクロマチック中間画像との輝度融合なしに形成されるため、カメラアセンブリ４０の消費電力をある程度低減することができ、同時に、撮影画像の鮮明さに対するユーザの要求を満たすことができる。
図２９を参照すると、別の例において、目標画像が第四目標画像である場合、ステップ０３は以下の内容を含む。
０３２、第二解像度を有するパンクロマチック中間画像を取得するように、パンクロマチックオリジナル画像を補間して各サブユニットにおける全ての画像の画像値を取得する。
ステップ０４は以下の内容を含む。
０４６、第二解像度を有するカラー補間画像を取得するようにカラー中間画像を補間する。カラー補間画像における対応のサブユニットはベイヤー配列で配置されており、第二解像度は第一解像度より大きい。
０４７、第二解像度を有する色・輝度分離画像を取得するように、カラー補間画像の色と輝度を分離する。
０４８、第二解像度を有する輝度修正カラー画像を取得するように、パンクロマチック補間画像（ｐａｎｃｈｒｏｍａｔｉｃ ｉｎｔｅｒｐｏｌａｔｅｄ ｉｍａｇｅ）の輝度と色・輝度分離画像の輝度を融合する。及び、
０４９、単色以外の他の二色の画素値を取得するように輝度修正カラー画像における全ての単色画素に対して補間処理を行い、第二解像度を有する第四目標画像を取得するように単色以外の他の二色の画素値を出力する。
図１を参照すると、ステップ０３２、ステップ０４６、ステップ０４７、ステップ０４８及びステップ０４９はいずれも処理チップ２０によって実施され得る。換言すると、処理チップ２０は、第二解像度を有するパンクロマチック中間画像を取得するように、パンクロマチックオリジナル画像を補間して各サブユニットにおける全ての画像の画像値を取得するように構成されている。処理チップ２０はさらに、第二解像度を有するカラー補間画像を取得するように、カラー中間画像を補間するように構成されている。カラー補間画像における対応のサブユニットはベイヤー配列で配置されており、第二解像度は第一解像度より大きい。処理チップ２０はさらに、第二解像度を有する色・輝度分離画像を取得するようにカラー補間画像の色と輝度を分離し、第二解像度を有する輝度修正カラー画像を取得するようにパンクロマチック補間画像の輝度と色・輝度分離画像の輝度を融合し、及び、単色以外の他の二色の画素値を取得するように輝度修正カラー画像における全ての単色画素に対して補間処理を行い、第二解像度を有する第四目標画像を取得するように単色以外の他の二色の画素値を出力するように構成されている。
具体的に、処理チップ２０はまず、第二解像度を有するパンクロマチック中間画像を取得するように、第一解像度を有するパンクロマチックオリジナル画像を補間する。図３４を参照すると、パンクロマチックオリジナル画像は複数のサブユニットを含み、各サブユニットは２つの空画素Ｎと２つのパンクロマチック画素Ｗを含む。処理チップ２０は、各サブユニットにおける各空画素Ｎをパンクロマチック画素Ｗに置き換える必要がある。置き換えた後、処理チップ２０は、空画素Ｎの位置における各パンクロマチック画素Ｗの画素値を計算する。各空画素Ｎについては、処理チップ２０は当該空画素Ｎをパンクロマチック画素Ｗに置き換えて、当該置き換え後のパンクロマチック画素Ｗに隣接する残りのパンクロマチック画素Ｗの画素値に基づいて、当該置き換え後のパンクロマチック画素Ｗの画素値を確定する。図３４に示されたパンクロマチックオリジナル画像における空画素Ｎ１，８（「空画素Ｎ１，８」は左上から１行目８列目の空画素Ｎであり、以下同様）を例として、空画素Ｎ１，８はパンクロマチック画素Ｗ１，８に置き換えられ、パンクロマチック画素Ｗ１，８に隣接する画素はパンクロマチックオリジナル画像におけるパンクロマチック画素Ｗ１，７及びパンクロマチック画素Ｗ２，８である。例示として、パンクロマチック画素Ｗ１，７の画素値とパンクロマチック画素Ｗ２，８の画素値の平均値をパンクロマチック画素Ｗ１，８の画素値とすることができる。図３４に示されたパンクロマチックオリジナル画像における空画素Ｎ２，３を例として、空画素Ｎ２，３はパンクロマチック画素Ｗ２，３に置き換えられ、パンクロマチック画素Ｗ２，３に隣接するパンクロマチック画素はパンクロマチックオリジナル画像におけるパンクロマチック画素Ｗ１，３、パンクロマチック画素Ｗ２，２、パンクロマチック画素Ｗ２，４、及びパンクロマチック画素Ｗ３，３である。例示として、処理チップ２０はパンクロマチック画素Ｗ１，３の画素値、パンクロマチック画素Ｗ２，２の画素値、パンクロマチック画素Ｗ２，４の画素値、及びパンクロマチック画素Ｗ３，３の画素値の平均値を、置き換え後のパンクロマチック画素Ｗ２，３の画素値とする。
処理チップ２０は、パンクロマチック中間画像とカラー中間画像を取得した後、第四目標画像を取得するように、パンクロマチック中間画像とカラー中間画像に対して融合を行うことができる。
まず、処理チップ２０は、図３３に示されたように、第二解像度を有するカラー補間画像を取得するように第一解像度を有するカラー中間画像を補間することができる。具体的な補間法はステップ０４５における補間法と類似であり、ここでは詳しく説明されない。
次に、図３３に示されたように、処理チップ２０は、色・輝度分離画像を取得するようにカラー補間画像の色と輝度を分離することができる。図３３において、色・輝度分離画像におけるＬは輝度を表し、ＣＬＲは色を表す。具体的に、単色画素Ａが赤色画素Ｒで、単色画素Ｂが緑色画素Ｇで、単色画素Ｃが青色画素Ｂｕであると仮設すると、（１）処理チップ２０はＲＧＢ空間のカラー補間画像をＹＣrＣｂ空間の色・輝度分離画像に変換することができ、ＹＣrＣｂのＹは色・輝度分離画像における輝度Ｌを表し、ＹＣrＣｂのＣrとＣｂは色・輝度分離画像における色ＣＬＲを表し、（２）処理チップ２０はＲＧＢのカラー補間画像をＬａｂ空間の色・輝度分離画像に変換することもでき、ＬａｂのＬは色・輝度分離画像における輝度Ｌを表し、Ｌａｂのａとｂは色・輝度分離画像における色ＣＬＲを表す。図３３に示された色・輝度分離画像におけるＬ＋ＣＬＲは、各画素の画素値がＬとＣＬＲとの加算により形成されるということを意味せず、各画素の画素値がＬとＣＬＲからなるということのみを意味する。
その後、図３４に示されたように、処理チップ２０は、色・輝度分離画像の輝度及びパンクロマチック中間画像の輝度を融合することができる。例示的に、パンクロマチック中間画像における各パンクロマチック画素Ｗの画素値は各パンクロマチック画素の輝度値である。処理チップ２０は、色・輝度分離画像における各画素のＬとパンクロマチック中間画像における対応位置のパンクロマチック画素のＷとを加算して、輝度修正後の画素値を取得することができる。処理チップ２０は複数の輝度修正後の画素値に基づいて一つの輝度修正後の色・輝度分離画像を形成して、次に、輝度修正後の色・輝度分離画像を輝度修正カラー画像に変換する。当該輝度修正カラー画像は第二解像度を有する。
カラー画素Ａが赤色画素Ｒで、カラー画素Ｂが緑色画素Ｇで、カラー画素Ｃが青色画素Ｂｕである場合、輝度修正カラー画像はベイヤー配列で配置された画像である。輝度修正後の各カラー画素の画素値がＲ、Ｇ、Ｂという３つのコンポーネントを同時に有するように、処理チップ２０は輝度修正カラー画像に対して補間処理を行う必要がある。処理チップ２０は、第四目標画像を取得するように輝度修正カラー画像に対して補間処理を行うことができる。例示的に、線形補間法で第四目標画像を取得することができる。線形補間プロセスは上記ステップ０４０の補間プロセスと類似であるため、ここでは詳しく説明されない。
第四目標画像はカラー中間画像の輝度とパンクロマチック中間画像の輝度を融合することにより取得され、且つ第四目標画像はより高い解像度を有するため、第四目標画像はより良い輝度及び鮮明さを有する。モードがイメージングモード且つ非低消費電力モードである場合、第四目標画像をユーザに提供される画像として使用することで、撮影画像の品質に対するユーザの要求を満たすことができる。
いくつかの実施形態において、画像キャプチャ方法はさらに、環境の明度の取得を含むことができる。当該ステップは処理チップ２０によって実施され得る。具体的な実施方法は上記に示されたようであり、ここでは詳しく説明されない。環境の明度が明度閾値より高い場合、第一目標画像又は第三目標画像を目標画像とすることができる。環境の明度が明度閾値以下である場合、第二目標画像又は第四目標画像を目標画像とすることができる。環境の明度が高い場合、カラー中間画像のみから取得される第一目標画像と第二目標画像の輝度では、目標画像の輝度に対するユーザーの要求を満たすことができる。この場合、パンクロマチック中間画像の輝度を融合して目標画像の輝度を向上させる必要がなくなる。これで、処理チップ２０の計算量を低減することができるだけではなく、カメラアセンブリ４０の消費電力を低減することもできる。環境の明度が低い場合、カラー中間画像のみから取得される第一目標画像と第二目標画像の輝度では、目標画像の輝度に対するユーザーの要求を満たせない可能性がある。パンクロマチック中間画像の輝度を融合して取得された第二目標画像又は第四目標画像を目標画像とすることで、目標画像の輝度を向上させることができる。
図３５を参照すると、本発明は移動端末９０をさらに提供する。移動端末９０は携帯電話、タブレットコンピュータ、ノートパソコン、スマートウェアラブルデバイス（例えば、スマートウォッチ、スマートブレスレット（ｂｒａｃｅｌｅｔ）、スマートグラス、スマートヘルメットなど）、頭部装着型表示装置、仮想現実装置などであることができるが、これらに限定されない。
移動端末９０は画像センサー５０、プロセッサ６０、メモリ７０及びハウジング８０を含む。画像センサー５０、プロセッサ６０及びメモリ７０はいずれもハウジング８０に搭載されている。画像センサー５０はプロセッサ６０に結合される。画像センサー５０は、上記いずれかの実施形態に記載の画像センサー１０（図１に示されている）であることができる。プロセッサ６０は、カメラアセンブリ４０（図１に示されている）における処理チップ２０と同じ機能を実行することができる。換言すると、プロセッサ６０は、上記いずれかの実施形態に記載の処理チップ２０が実行できる機能を実行することができる。メモリ７０はプロセッサ６０に結合される。メモリ７０はプロセッサ６０による処理後に取得されたデータ、例えば、目標画像などを格納することができる。プロセッサ６０は画像センサー５０と同じ基板に実装されてもよい。この場合、画像センサー５０とプロセッサ６０はカメラアセンブリ４０とみなされることができる。もちろん、プロセッサ６０は画像センサー５０と異なる基板に実装されてもよい。
本発明の移動端末９０、画像センサー５０はパンクロマチックオリジナル画像とカラーオリジナル画像を直接に出力することができる。パンクロマチックオリジナル画像とカラーオリジナル画像の後続処理はプロセッサ６０によって実行される。画像センサー５０はパンクロマチック画素Ｗの画素値をカラー画素の画素値にフィッティングする操作を実行する必要がない。これで、画像センサー５０の計算量を低減することができる。また、画像センサー５０に画像センサー５０による画像処理の実行をサポートするための新たなハードウェアを追加する必要がない。これで、画像センサー５０の設計を簡素化することができる。
本明細書で言及される参照用語「一つの実施形態」、「いくつかの実施形態」、「例示的な実施形態」、「例示」、「具体的な例示」、又は「いくつかの例示」などは、当該実施形態又は例示を結びつけて説明される具体的な特徴、構造、材料、又は特性が本発明の少なくとも一つの実施形態又は例示に含まれるということを意味する。本明細書において、上記用語の例示的な記載は、必ずしも同じ実施形態又は例示を示すとは限らない。また、記載された具体的な特徴、構造、材料、又は特性は、任意の一つ又は複数の実施形態又は例示で適切に組み合わせることができる。さらに、矛盾がない限り、当業者は本明細書に記載された異なる実施形態又は例示、及び異なる実施形態又は例示の特徴を組み合わせることができる。
フローチャート又は他の方式で説明されるいかなるプロセス又は方法は、特定のロジック機能又はプロセスを実現するための一つ又は複数のステップを含む実行可能な命令を表すコードのモジュール、セグメント、又はコードの一部として理解されることができる。また、本発明の好ましい実施形態の範囲は他の実装を含み、図示又は説明されたものとは異なる順序で実行され得る。例えば、関連機能はほぼ同時に実行されるか、又は逆の順序で実行される。以上は本発明の当業者に理解されるべきである。
以上、本発明の実施態様が示され説明されたが、上記実施態様は例示であり、本発明を制限するものと理解されるべきではない。当業者であれば、本発明の範囲内で上記実施態様に対して変更、修正、置換、及び変更を加えることができる。

Claims (11)

  1. 画像センサーの画像キャプチャ方法であって、
    前記画像センサーは２次元画素アレイを含み、前記２次元画素アレイは複数のパンクロマチック画素と複数のカラー画素を含み、前記２次元画素アレイは複数の最小繰り返しユニットを含み、前記２次元画素アレイにおける前記複数の最小繰り返しユニットは予め設定されたルールに基づいて配置されており、前記最小繰り返しユニットは複数のサブユニットを含み、各前記サブユニットは少なくとも２つの単色画素と前記複数のパンクロマチック画素のうちの少なくとも２つのパンクロマチック画素を含み、前記画像キャプチャ方法は、
    前記２次元画素アレイを露光することによってパンクロマチックオリジナル画像とカラーオリジナル画像を取得すること、
    前記カラーオリジナル画像における各前記サブユニットにおける全ての画素の画素値をマージすることによって各前記サブユニットに対応するカラー画素値を取得し、各前記サブユニットに対応するカラー画素値を出力することによってカラー中間画像を取得すること、
    前記パンクロマチックオリジナル画像における各前記サブユニットにおける全ての画素の画素値をマージすることによって各前記サブユニットに対応するパンクロマチック画素値を取得し、各前記サブユニットに対応する前記パンクロマチック画素値を出力することによって第一解像度を有する第一パンクロマチック中間画像を取得すること、
    前記カラー中間画像の色と輝度を分離することによって、前記第一解像度を有する色・輝度分離画像を取得すること、
    前記第一パンクロマチック中間画像の輝度と前記色・輝度分離画像の輝度を融合することによって、前記第一解像度を有する輝度修正カラー画像を取得すること、及び、
    前記輝度修正カラー画像における各前記サブユニットの画素値に対してカラー補間処理を行うことによって、前記第一解像度を有する目標画像Ａを取得することを含み、
    カラー補間処理後の前記目標画像Ａは少なくとも３種類の単色情報を含む、
    ことを特徴とする画像センサーの画像キャプチャ方法。
  2. 前記２次元画素アレイを露光することによってパンクロマチックオリジナル画像とカラーオリジナル画像を取得することは、
    前記２次元画素アレイにおける全ての前記パンクロマチック画素と全ての前記カラー画素を同時に露光すること、
    全ての前記パンクロマチック画素の画素値を出力することによって前記パンクロマチックオリジナル画像を取得すること、及び、
    全ての前記カラー画素の画素値を出力することによって前記カラーオリジナル画像を取得することを含む、
    ことを特徴とする請求項１に記載の画像キャプチャ方法。
  3. 前記２次元画素アレイを露光することによってパンクロマチックオリジナル画像とカラーオリジナル画像を取得することは、
    前記２次元画素アレイにおける全ての前記パンクロマチック画素と全ての前記カラー画素を異なるタイミングで露光すること、
    全ての前記パンクロマチック画素の画素値を出力することによって前記パンクロマチックオリジナル画像を取得すること、及び、
    全ての前記カラー画素の画素値を出力することによって前記カラーオリジナル画像を取得することを含む、
    ことを特徴とする請求項１に記載の画像キャプチャ方法。
  4. 前記最小繰り返しユニットにおいて、前記パンクロマチック画素は第一対角線方向に配置されており、前記カラー画素は第二対角線方向に配置されており、前記第一対角線方向と前記第二対角線方向は異なり、
    前記２次元画素アレイを露光することによってパンクロマチックオリジナル画像とカラーオリジナル画像を取得することは、
    第一露光信号に基づいて、前記第一対角線方向において隣接する少なくとも２つの前記パンクロマチック画素を第一露光期間中に露光すること、及び、
    第二露光信号に基づいて、前記第二対角線方向において隣接する少なくとも２つの前記カラー画素を第二露光期間中に露光することを含む、
    ことを特徴とする請求項１に記載の画像キャプチャ方法。
  5. 前記２次元画素アレイを露光することによってパンクロマチックオリジナル画像とカラーオリジナル画像を取得することは、
    第一露光信号で（２ｎ－１）行目と２ｎ行目の前記パンクロマチック画素の第一露光期間を制御すること、及び、
    第二露光信号で（２ｎ－１）行目と２ｎ行目の前記カラー画素の第二露光期間を制御することを含み、
    ｎは１以上の自然数であり、前記第一露光期間と前記第二露光期間は異なる、
    ことを特徴とする請求項１に記載の画像キャプチャ方法。
  6. 前記画像キャプチャ方法は、環境の明度を取得することをさらに含み、
    前記環境の明度が明度閾値より高い場合、前記第一露光期間は第二露光期間より短い、
    ことを特徴とする請求項４又は請求項５に記載の画像キャプチャ方法。
  7. 前記画像センサーは移動端末又はカメラアセンブリに応用される、
    ことを特徴とする請求項１～６のいずれか一項に記載の画像キャプチャ方法。
  8. カメラアセンブリであって、
    画像センサーと処理チップを含み、
    前記画像センサーは２次元画素アレイを含み、前記２次元画素アレイは複数のパンクロマチック画素と複数のカラー画素を含み、前記２次元画素アレイは複数の最小繰り返しユニットを含み、前記２次元画素アレイにおける前記複数の最小繰り返しユニットは予め設定されたルールに基づいて配置されており、前記最小繰り返しユニットは複数のサブユニットを含み、各前記サブユニットは少なくとも２つの単色画素と前記複数のパンクロマチック画素のうちの少なくとも２つのパンクロマチック画素を含み、前記画像センサーは、パンクロマチックオリジナル画像とカラーオリジナル画像を取得するように、露光されるように構成されており、
    前記処理チップは、
    前記カラーオリジナル画像における各前記サブユニットにおける全ての画素の画素値をマージすることによって各前記サブユニットに対応するカラー画素値を取得し、各前記サブユニットに対応するカラー画素値を出力することによってカラー中間画像を取得し、
    前記パンクロマチックオリジナル画像における各前記サブユニットにおける全ての画素の画素値をマージすることによって各前記サブユニットに対応するパンクロマチック画素値を取得し、各前記サブユニットに対応する前記パンクロマチック画素値を出力することによって第一解像度を有する第一パンクロマチック中間画像を取得し、
    前記カラー中間画像の色と輝度を分離することによって、前記第一解像度を有する色・輝度分離画像を取得し、
    前記第一パンクロマチック中間画像の輝度と前記色・輝度分離画像の輝度を融合することによって、前記第一解像度を有する輝度修正カラー画像を取得し、及び、
    前記輝度修正カラー画像における各前記サブユニットの画素値に対してカラー補間処理を行うことによって、前記第一解像度を有する目標画像Ａを取得するように構成されており、
    カラー補間処理後の前記目標画像Ａは少なくとも３種類の単色情報を含む、
    ことを特徴とするカメラアセンブリ。
  9. 前記最小繰り返しユニットにおいて、前記パンクロマチック画素は第一対角線方向に配置されており、前記カラー画素は第二対角線方向に配置されており、前記第一対角線方向と前記第二対角線方向は異なり、
    前記画像センサーは、
    第一露光信号に基づいて、前記第一対角線方向において隣接する少なくとも２つの前記パンクロマチック画素を第一露光期間中に露光し、及び、
    第二露光信号で、前記第二対角線方向において隣接する少なくとも２つの前記カラー画素を第二露光期間中に露光するように構成されている、
    ことを特徴とする請求項８に記載のカメラアセンブリ。
  10. 前記画像センサーは、
    第一露光信号で（２ｎ－１）行目と２ｎ行目の前記パンクロマチック画素の第一露光期間を制御し、及び、
    第二露光信号で（２ｎ－１）行目と２ｎ行目の前記カラー画素の第二露光期間を制御するように構成されており、
    ｎは１以上の自然数であり、前記第二露光期間と前記第一露光期間は異なる、
    ことを特徴とする請求項８に記載のカメラアセンブリ。
  11. 前記処理チップはさらに、環境の明度を取得するように構成されており、
    前記環境の明度が明度閾値より高い場合、前記第一露光期間は第二露光期間より短い、
    ことを特徴とする請求項９又は１０に記載のカメラアセンブリ。
JP2022515700A 2019-09-09 2019-09-09 画像キャプチャ方法、カメラアセンブリ及び移動端末 Active JP7298020B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/104974 WO2021046691A1 (zh) 2019-09-09 2019-09-09 图像采集方法、摄像头组件及移动终端

Publications (2)

Publication Number Publication Date
JP2022547221A JP2022547221A (ja) 2022-11-10
JP7298020B2 true JP7298020B2 (ja) 2023-06-26

Family

ID=74865928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022515700A Active JP7298020B2 (ja) 2019-09-09 2019-09-09 画像キャプチャ方法、カメラアセンブリ及び移動端末

Country Status (6)

Country Link
US (1) US20220150450A1 (ja)
EP (1) EP4020971A4 (ja)
JP (1) JP7298020B2 (ja)
KR (1) KR20220051240A (ja)
CN (1) CN114073068B (ja)
WO (1) WO2021046691A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676636B (zh) * 2021-08-16 2023-05-05 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118191A (ja) 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
JP2019106576A (ja) 2017-12-08 2019-06-27 キヤノン株式会社 撮像装置及び撮像システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7876956B2 (en) * 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
WO2013079778A2 (en) * 2011-12-02 2013-06-06 Nokia Corporation Method, apparatus and computer program product for capturing images
JP5935876B2 (ja) * 2012-03-27 2016-06-15 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
US9224362B2 (en) * 2013-03-14 2015-12-29 Microsoft Technology Licensing, Llc Monochromatic edge geometry reconstruction through achromatic guidance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118191A (ja) 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
JP2019106576A (ja) 2017-12-08 2019-06-27 キヤノン株式会社 撮像装置及び撮像システム

Also Published As

Publication number Publication date
KR20220051240A (ko) 2022-04-26
CN114073068A (zh) 2022-02-18
EP4020971A4 (en) 2022-09-07
WO2021046691A1 (zh) 2021-03-18
JP2022547221A (ja) 2022-11-10
US20220150450A1 (en) 2022-05-12
CN114073068B (zh) 2023-11-03
EP4020971A1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
WO2021179806A1 (zh) 图像获取方法、成像装置、电子设备及可读存储介质
CN110649056B (zh) 图像传感器、摄像头组件及移动终端
CN112261391B (zh) 图像处理方法、摄像头组件及移动终端
WO2021208593A1 (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
CN110740272B (zh) 图像采集方法、摄像头组件及移动终端
WO2021063162A1 (zh) 图像传感器、摄像头组件及移动终端
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN111246064B (zh) 图像处理方法、摄像头组件及移动终端
KR20100066396A (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
CN111050041B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN113766231A (zh) 图像获取方法、摄像头组件及移动终端
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
US8111298B2 (en) Imaging circuit and image pickup device
US20220336508A1 (en) Image sensor, camera assembly and mobile terminal
US20220139981A1 (en) Image sensor, camera assembly, and mobile terminal
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
US20220139974A1 (en) Image sensor, camera assembly, and mobile terminal
CN111031297B (zh) 图像传感器、控制方法、摄像头组件和移动终端
US20220279108A1 (en) Image sensor and mobile terminal
CN114424517B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R150 Certificate of patent or registration of utility model

Ref document number: 7298020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150