JP6864942B1 - Imaging system - Google Patents

Imaging system Download PDF

Info

Publication number
JP6864942B1
JP6864942B1 JP2020192051A JP2020192051A JP6864942B1 JP 6864942 B1 JP6864942 B1 JP 6864942B1 JP 2020192051 A JP2020192051 A JP 2020192051A JP 2020192051 A JP2020192051 A JP 2020192051A JP 6864942 B1 JP6864942 B1 JP 6864942B1
Authority
JP
Japan
Prior art keywords
binning
pixel
post
pixel unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020192051A
Other languages
Japanese (ja)
Other versions
JP2022080778A (en
Inventor
山本　秀彦
秀彦 山本
啓一郎 石原
啓一郎 石原
隆 若崎
隆 若崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sens AI Corp
Original Assignee
Sens AI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sens AI Corp filed Critical Sens AI Corp
Priority to JP2020192051A priority Critical patent/JP6864942B1/en
Priority to JP2021056117A priority patent/JP2022080822A/en
Application granted granted Critical
Publication of JP6864942B1 publication Critical patent/JP6864942B1/en
Priority to CN202111333607.8A priority patent/CN114520872B/en
Publication of JP2022080778A publication Critical patent/JP2022080778A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号を出力することができる撮像システムを提供すること。【解決手段】撮像システムは、連続する第１乃至第ｎのフレーム（ｎは２以上の整数）において、第１の方向または第２の方向に配列された複数の画素をビニングし、第１乃至第ｎのビニング信号を生成するビニング処理部と、第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理と、を含み、ビニングされる複数の画素の組み合わせは、第１乃至第ｎのフレームごとに異なる。【選択図】図１PROBLEM TO BE SOLVED: To provide an imaging system capable of restoring an image resolution lowered by a binning process and outputting an image signal having high sensitivity and high resolution. An imaging system binnes a plurality of pixels arranged in a first direction or a second direction in a continuous first to nth frame (n is an integer of 2 or more), and the first to second images are used. A binning processing unit that generates the nth binning signal and a resolution restoration processing that synthesizes the first to nth binning signals to generate an image signal whose resolution is restored, and includes a plurality of pixels to be binned. The combination is different for each of the first to nth frames. [Selection diagram] Fig. 1

Description

本発明は、撮像システムに関する。 The present invention relates to an imaging system.

携帯電話、スマートフォン、ノート型のパーソナルコンピュータ、タブレット型のパーソナルコンピュータ、デジタルカメラ、デジタルビデオカメラ、または車載カメラなどの電子機器の多くは、表示装置とともに、固体撮像装置（イメージセンサ）を備える。これらの電子機器では、被写体が、イメージセンサによって電気信号に変換された画像として取得される。 Many electronic devices such as mobile phones, smartphones, notebook personal computers, tablet personal computers, digital cameras, digital video cameras, or in-vehicle cameras are provided with a solid-state imaging device (image sensor) together with a display device. In these electronic devices, the subject is acquired as an image converted into an electric signal by an image sensor.

近年、表示装置だけでなく、イメージセンサの高解像度化が進んでいるが、イメージセンサの高解像度化においては、受光感度の低下またはノイズの増加などの問題が発生する。 In recent years, not only display devices but also image sensors have been increasing in resolution, but in increasing the resolution of image sensors, problems such as a decrease in light receiving sensitivity or an increase in noise occur.

特に、低照度における動画の撮影では、光量の不足によって電気信号のＳ／Ｎが低下する。動画の撮影ではフレームレートが予め設定されている場合も多く、イメージセンサの露光時間の上限が制限される場合も少なくない。そのため、電気信号のＳ／Ｎを向上させるため、イメージセンサに含まれる複数の画素を１つの画素として出力するビニング処理が知られている（例えば、特許文献１参照。）。 In particular, when shooting a moving image in low illuminance, the S / N of the electric signal decreases due to insufficient light intensity. When shooting a moving image, the frame rate is often set in advance, and the upper limit of the exposure time of the image sensor is often limited. Therefore, in order to improve the S / N of the electric signal, a binning process for outputting a plurality of pixels included in the image sensor as one pixel is known (see, for example, Patent Document 1).

特開２０１９−５６３４号公報JP-A-2019-5634

しかしながら、一般的に、電気信号のＳ／Ｎと解像度とはトレードオフの関係にある。すなわち、ビニング処理が実行されると実質的な画素の数が減少するため、イメージセンサの解像度が低下する問題があった。 However, in general, there is a trade-off relationship between the S / N of an electric signal and the resolution. That is, when the binning process is executed, the number of pixels is substantially reduced, so that there is a problem that the resolution of the image sensor is lowered.

本発明は、上記問題に鑑みてなされたものであり、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号を出力することができる撮像システムを提供することを課題の一つとする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an imaging system capable of restoring the resolution of an image lowered by a binning process and outputting an image signal having high sensitivity and high resolution. It is one of.

本発明の一実施形態に係る撮像システムは、連続する第１乃至第ｎのフレーム（ｎは２以上の整数）において、第１の方向または第２の方向に配列された複数の画素をビニングし、第１乃至第ｎのビニング信号を生成するビニング処理部と、第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理と、を含み、ビニングされる複数の画素の組み合わせは、第１乃至第ｎのフレームごとに異なる。 The imaging system according to an embodiment of the present invention binning a plurality of pixels arranged in the first direction or the second direction in consecutive first to nth frames (n is an integer of 2 or more). , A binning processing unit that generates the first to nth binning signals, and a resolution restoration processing that synthesizes the first to nth binning signals and generates an image signal whose resolution is restored, and binning is performed. The combination of the plurality of pixels is different for each of the first to nth frames.

第１乃至第ｎのフレームのいずれか１つのフレームにおいて、ビニングされる複数の画素は、第１の方向で隣接する２個の画素または第２の方向で隣接する２個の画素を含んでいてもよい。 In any one of the first to nth frames, the plurality of pixels to be binned include two pixels adjacent in the first direction or two pixels adjacent in the second direction. May be good.

第１乃至第ｎのフレームのいずれか１つのフレームにおいて、ビニングされる複数の画素は、互いに隣接する４個の画素であってもよい。 In any one frame of the first to nth frames, the plurality of pixels to be binned may be four pixels adjacent to each other.

第１乃至第ｎフレームの少なくとも２つのフレームの各々において、ビニングされる複数の画素は、第１の方向で隣接する２個の画素および第２の方向で隣接する２個の画素のうちの一方を含む４個の画素であってもよい。また、４個の画素は、互いに隣接し、少なくとも２つのフレームの一方においてビニングされる４個の画素の位置は、少なくとも２つのフレームの他方においてビニングされる４個の画素の位置に対して、第１の方向または第２の方向にシフトしていてもよい。 In each of at least two frames of the first to nth frames, the plurality of pixels to be binned is one of two pixels adjacent in the first direction and two pixels adjacent in the second direction. It may be 4 pixels including. Also, the four pixels are adjacent to each other, and the position of the four pixels binned in at least one of the two frames is relative to the position of the four pixels binned in the other of the at least two frames. It may be shifted in the first direction or the second direction.

第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる複数の画素は、第１の方向で連続する４個の画素であってもよい。また、第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる複数の画素は、第２の方向で連続する４個の画素であってもよい。 In at least one frame of the first to nth frames, the plurality of pixels to be binned may be four pixels continuous in the first direction. Further, in at least one frame of the first to nth frames, the plurality of pixels to be binned may be four pixels continuous in the second direction.

第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる複数の画素は、第１の方向で隣接する２個の画素であってもよい。また、第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる複数の画素は、第２の方向で隣接する２個の画素であってもよい。 In at least one frame of the first to nth frames, the plurality of pixels to be binned may be two pixels adjacent to each other in the first direction. Further, in at least one frame of the first to nth frames, the plurality of pixels to be binned may be two pixels adjacent to each other in the second direction.

本発明の一実施形態に係る撮像システムによれば、フレームレートまたは露光時間を変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号を出力し、高感度および高解像度を有する画像を表示することができる。 According to the imaging system according to the embodiment of the present invention, the resolution of the image lowered by the binning process is restored without changing the frame rate or the exposure time, and an image signal having high sensitivity and high resolution is output. Images with high sensitivity and high resolution can be displayed.

本発明の一実施形態に係る撮像システムの構成を示すブロック図である。It is a block diagram which shows the structure of the image pickup system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る撮像システムの画素部の画素配列を示す模式図である。It is a schematic diagram which shows the pixel arrangement of the pixel part of the image pickup system which concerns on one Embodiment of this invention. 本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。FIG. 5 is a schematic diagram illustrating a binning process of a first binning pattern executed in a first frame in an imaging system according to an embodiment (first embodiment) of the present invention. 本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 2nd binning pattern executed in the 2nd frame in the imaging system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 3rd binning pattern executed in the 3rd frame in the imaging system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の一実施形態（第２実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。FIG. 5 is a schematic diagram illustrating a binning process of a first binning pattern executed in a first frame in an imaging system according to an embodiment (second embodiment) of the present invention. 本発明の一実施形態（第２実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 2nd binning pattern executed in the 2nd frame in the imaging system which concerns on one Embodiment (second embodiment) of this invention. 本発明の一実施形態（第２実施形態）に係る撮像システムにおいて、第１のビニング信号を基に第２のビニング信号を合成する解像度の復元処理を説明する模式図である。FIG. 5 is a schematic diagram illustrating a resolution restoration process for synthesizing a second binning signal based on a first binning signal in an imaging system according to an embodiment (second embodiment) of the present invention. 本発明の一実施形態（第３実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment (third Embodiment) of this invention. 本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。FIG. 5 is a schematic diagram illustrating a binning process of a first binning pattern executed in a first frame in an imaging system according to an embodiment (fourth embodiment) of the present invention. 本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 2nd binning pattern executed in the 2nd frame in the imaging system which concerns on one Embodiment (fourth Embodiment) of this invention. 本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 3rd binning pattern executed in the 3rd frame in the imaging system which concerns on one Embodiment (fourth Embodiment) of this invention. 本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、第４のフレームで実行される第４のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 4th binning pattern executed in the 4th frame in the imaging system which concerns on one Embodiment (fourth Embodiment) of this invention. 本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment (fourth Embodiment) of this invention. 本発明の一実施形態（第５実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。FIG. 5 is a schematic diagram illustrating a binning process of a first binning pattern executed in a first frame in an imaging system according to an embodiment (fifth embodiment) of the present invention. 本発明の一実施形態（第５実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 2nd binning pattern executed in the 2nd frame in the imaging system which concerns on one Embodiment (fifth embodiment) of this invention. 本発明の一実施形態（第５実施形態）に係る撮像システムにおいて、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 3rd binning pattern executed in the 3rd frame in the imaging system which concerns on one Embodiment (fifth embodiment) of this invention. 本発明の一実施形態に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment of this invention. 本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。FIG. 5 is a schematic diagram illustrating a binning process of a first binning pattern executed in a first frame in an imaging system according to an embodiment (sixth embodiment) of the present invention. 本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 2nd binning pattern executed in the 2nd frame in the imaging system which concerns on one Embodiment (sixth Embodiment) of this invention. 本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 3rd binning pattern executed in the 3rd frame in the imaging system which concerns on one Embodiment (sixth Embodiment) of this invention. 本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment (sixth Embodiment) of this invention. 本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。It is a schematic diagram explaining the resolution restoration processing in the image pickup system which concerns on one Embodiment (sixth Embodiment) of this invention. 本発明の一実施形態（第７実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 1st binning pattern executed in the 1st frame in the imaging system which concerns on one Embodiment (7th Embodiment) of this invention. 本発明の一実施形態（第７実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。It is a schematic diagram explaining the binning process of the 2nd binning pattern executed in the 2nd frame in the imaging system which concerns on one Embodiment (7th Embodiment) of this invention. 本発明の一実施形態（第７実施形態）に係る撮像システムにおいて、第１のビニング信号を基に第２のビニング信号を合成する解像度の復元処理を説明する模式図である。FIG. 5 is a schematic diagram illustrating a resolution restoration process for synthesizing a second binning signal based on a first binning signal in an imaging system according to an embodiment (seventh embodiment) of the present invention. 本発明の一実施形態（第７実施形態）に係る撮像システムにおいて、第２のビニング信号を基に第１のビニング信号を合成する解像度の復元処理を説明する模式図である。FIG. 5 is a schematic diagram illustrating a resolution restoration process for synthesizing a first binning signal based on a second binning signal in an imaging system according to an embodiment (seventh embodiment) of the present invention.

以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、各実施形態の開示はあくまで一例にすぎない。すなわち、当業者が、発明の主旨を保ちつつ適宜変更することで容易に想到し得る構成は、当然に本発明の範囲に含まれる。図面は、説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、または形状などについて模式的に表される場合がある。しかし、これらはあくまで一例であって、本発明の解釈を限定するものではない。また、本明細書および本図面において、既出の図に関して前述したものと同様の構成には、詳細な説明を適宜省略することがある。 Hereinafter, each embodiment of the present invention will be described with reference to the drawings. The disclosure of each embodiment is merely an example. That is, a configuration that can be easily conceived by a person skilled in the art by making appropriate changes while maintaining the gist of the invention is naturally included in the scope of the present invention. In order to clarify the description, the drawings may be schematically represented by the width, thickness, shape, etc. of each part as compared with the actual embodiment. However, these are merely examples and do not limit the interpretation of the present invention. Further, in the present specification and the present drawing, detailed description may be omitted as appropriate for the same configuration as described above with respect to the above-mentioned drawings.

本明細書において、「αはＡ、Ｂ、またはＣを含む」との表現は、特に明示が無い限り、αがＡ〜Ｃの複数の組み合わせを含む場合を排除しない。また、「αはＡ、Ｂ、またはＣを含む」または「αはＡ、Ｂ、およびＣを含む」との表現は、特に明示がない限り、αが他の構成を含む場合を排除しない。 In the present specification, the expression "α includes A, B, or C" does not exclude the case where α includes a plurality of combinations of A to C unless otherwise specified. Further, the expression "α includes A, B, or C" or "α includes A, B, and C" does not exclude the case where α includes other configurations unless otherwise specified.

本明細書において、各構成に付記される「第１」、「第２」、または「第３」などの文字は、各構成を区別するために用いられる便宜的な標識であり、特段の説明がない限り、それ以上の意味を有さない。 In the present specification, characters such as "first", "second", or "third" added to each configuration are convenient markers used to distinguish each configuration, and are particularly described. Unless there is, it has no further meaning.

本明細書において、「互いに隣接する」との表現は、行方向および列方向において隣接することを表すだけでなく、行方向、列方向、および対角方向において隣接することを表す場合がある。 As used herein, the expression "adjacent to each other" may mean not only adjacent in the row and column directions, but also adjacent in the row, column and diagonal directions.

本明細書において、ビニングされる画素は同色であり、「隣接する画素をビニングする」または「連続する画素をビニングする」との表現は、間に異色の画素を介して隣接する、または連続する同色の画素がビニングされることを表す場合がある。 In the present specification, the pixels to be binned are of the same color, and the expressions "binning adjacent pixels" or "binning consecutive pixels" are adjacent or continuous via pixels of different colors in between. It may indicate that pixels of the same color are binned.

本明細書および図面において、同一、あるいは類似する複数の構成を総じて表記する際には同一の符号を用いる。また、１つの構成のうちの複数の部分をそれぞれ区別して表記する際には、同一の符号を用い、さらにハイフンと自然数を用いる場合がある。 In the present specification and drawings, the same reference numerals are used when referring to a plurality of identical or similar configurations as a whole. Further, when a plurality of parts in one structure are described separately, the same code may be used, and a hyphen and a natural number may be used.

なお、以下の各実施形態は、技術的な矛盾を生じない限り、互いに組み合わせることができる。 The following embodiments can be combined with each other as long as there is no technical contradiction.

＜第１実施形態＞
図１〜図６Ｄを参照して、本発明の一実施形態に係る撮像システム１００の構成について説明する。
［１．撮像システム１００］
図１は、本発明の一実施形態に係る撮像システム１００の構成を示すブロック図である。図１に示すように、撮像システム１００は、画素部１１０、ビニング処理部１２０、解像度復元処理部１３０、第１の記憶部１４０、センサ部１５０、画像信号処理部１６０、第２の記憶部１７０、および表示部１８０を含む。 <First Embodiment>
The configuration of the imaging system 100 according to the embodiment of the present invention will be described with reference to FIGS. 1 to 6D.
[1. Imaging system 100]
FIG. 1 is a block diagram showing a configuration of an imaging system 100 according to an embodiment of the present invention. As shown in FIG. 1, the imaging system 100 includes a pixel unit 110, a binning processing unit 120, a resolution restoration processing unit 130, a first storage unit 140, a sensor unit 150, an image signal processing unit 160, and a second storage unit 170. , And the display unit 180.

画素部１１０は、被写体が発する光を電気信号に変換することができる。すなわち、画素部１１０は、被写体の情報を電気信号として取得することができる（以下、画素部１１０が取得した電気信号を「画素信号」とする。）。換言すると、画素部１１０は、画素信号を生成し、出力することができる。画素部１１０は、複数の画素および複数の画素を制御する制御回路を含む。複数の画素の各々には、レンズ、フォトダイオード、トランジスタ、またはカラーフィルタなどを含む受光素子が設けられている。受光素子は、光によって起電力が発生する光電変換素子であってもよく、または光によって電気伝導度が変化する光電変換素子であってもよい。 The pixel unit 110 can convert the light emitted by the subject into an electric signal. That is, the pixel unit 110 can acquire the information of the subject as an electric signal (hereinafter, the electric signal acquired by the pixel unit 110 is referred to as a "pixel signal"). In other words, the pixel unit 110 can generate and output a pixel signal. The pixel unit 110 includes a plurality of pixels and a control circuit for controlling the plurality of pixels. Each of the plurality of pixels is provided with a light receiving element including a lens, a photodiode, a transistor, a color filter, and the like. The light receiving element may be a photoelectric conversion element in which an electromotive force is generated by light, or may be a photoelectric conversion element whose electrical conductivity is changed by light.

ここで、図２を参照して、画素部１１０に含まれる複数の画素の配列（以下、「画素配列」とする。）について説明する。図２は、本発明の一実施形態に係る撮像システム１００の画素部１１０の画素配列を示す模式図である。図２に示すように、画素部１１０は、第１の緑色画素（Ｇ１）、列方向において第１の緑色画素（Ｇ１）に隣接する青色画素（Ｂ）、行方向において第１の緑色画素（Ｇ１）に隣接する赤色画素（Ｒ）、および列方向と行方向との間の対角方向において第１の緑色画素（Ｇ１）に隣接する第２の緑色画素（Ｇ２）を含む。また、第１の緑色画素（Ｇ１）、青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）は、列方向および行方向において等間隔で配置されている。ここで、隣接する１つの第１の緑色画素（Ｇ１）、１つの青色画素（Ｂ）、１つの赤色画素（Ｒ）、および１つの第２の緑色画素（Ｇ２）を画素ユニット２００とすると、画素ユニット２００は、マトリクス状に配置されている。図２に示す画素配列は、いわゆるベイヤー配列である。ベイヤー配列では、人の目の視感度の高い緑色画素が、青色画素および赤色画素よりも多く配置される。本明細書では、便宜上、第１の緑色画素（Ｇ１）と第２の緑色画素（Ｇ２）とを区別して説明するが、同一の光学特性を有する緑色画素であってもよい。 Here, with reference to FIG. 2, an array of a plurality of pixels included in the pixel unit 110 (hereinafter, referred to as a “pixel array”) will be described. FIG. 2 is a schematic view showing the pixel arrangement of the pixel portion 110 of the imaging system 100 according to the embodiment of the present invention. As shown in FIG. 2, the pixel unit 110 includes a first green pixel (G1), a blue pixel (B) adjacent to the first green pixel (G1) in the column direction, and a first green pixel (G1) in the row direction. It includes a red pixel (R) adjacent to G1) and a second green pixel (G2) adjacent to a first green pixel (G1) in the diagonal direction between the column direction and the row direction. Further, the first green pixel (G1), the blue pixel (B), the red pixel (R), and the second green pixel (G2) are arranged at equal intervals in the column direction and the row direction. Here, assuming that one adjacent first green pixel (G1), one blue pixel (B), one red pixel (R), and one second green pixel (G2) are pixel units 200. The pixel units 200 are arranged in a matrix. The pixel array shown in FIG. 2 is a so-called Bayer array. In the Bayer arrangement, more green pixels, which are more visually sensitive to the human eye, are arranged than blue and red pixels. In the present specification, for convenience, the first green pixel (G1) and the second green pixel (G2) will be described separately, but green pixels having the same optical characteristics may be used.

ビニング処理部１２０は、画素信号を受信し、画素信号に対してビニング処理を実行することができる。すなわち、ビニング処理部１２０は、画素信号に含まれるいくつかの同色の画素のアナログ画素値を加算または加算平均し、１つの画素の画素値として出力することができる。換言すると、ビニング処理部１２０は、画素信号に対してビニング処理を実行し、画素信号からビニング信号を生成し、出力することができる。ここで、アナログ画素値とは、画素における画像情報が反映された値であって、受光素子によって取得された光の強度に対応する値である。また、ビニング信号は、Ａ／Ｄ変換されたデジタル信号であってもよい。なお、ビニング処理の詳細は後述する。 The binning processing unit 120 can receive the pixel signal and execute the binning processing on the pixel signal. That is, the binning processing unit 120 can add or add and average the analog pixel values of several pixels of the same color included in the pixel signal, and output as the pixel value of one pixel. In other words, the binning processing unit 120 can execute the binning process on the pixel signal, generate a binning signal from the pixel signal, and output the binning signal. Here, the analog pixel value is a value that reflects the image information in the pixel and is a value corresponding to the intensity of light acquired by the light receiving element. Further, the binning signal may be an A / D converted digital signal. The details of the binning process will be described later.

解像度復元処理部１３０は、ビニング信号を受信し、ビニング信号を用いて解像度の復元処理を実行することができる。換言すると、解像度復元処理部１３０は、ビニング信号を用いて、解像度が復元された画像信号を生成し、画像信号処理部１６０に画像信号を出力することができる。ビニング処理部１２０によってビニング処理が実行されると画像の解像度が低下する。しかしながら、撮像システム１００では、解像度復元処理部１３０によって、低下した画像の解像度を復元することができる。したがって、撮像システム１００は、高解像度を有する画像信号を出力することができる。 The resolution restoration processing unit 130 can receive the binning signal and execute the resolution restoration processing using the binning signal. In other words, the resolution restoration processing unit 130 can generate an image signal whose resolution has been restored by using the binning signal, and can output the image signal to the image signal processing unit 160. When the binning process is executed by the binning process unit 120, the resolution of the image is lowered. However, in the imaging system 100, the resolution restoration processing unit 130 can restore the reduced image resolution. Therefore, the image pickup system 100 can output an image signal having a high resolution.

第１の記憶部１４０は、解像度復元処理部１３０が実行する解像度の復元処理に関連するデータを格納することができる。例えば、第１の記憶部１４０は、各フレームにおいて、ビニング処理部１２０が出力したビニング信号を格納することができる。解像度復元処理部１３０は、第１の記憶部１４０から複数のフレームにおけるビニング信号を読み出し、解像度の復元処理を実行することができる。第１の記憶部１４０として、例えば、メモリなどを用いることができる。 The first storage unit 140 can store data related to the resolution restoration process executed by the resolution restoration processing unit 130. For example, the first storage unit 140 can store the binning signal output by the binning processing unit 120 in each frame. The resolution restoration processing unit 130 can read the binning signals in a plurality of frames from the first storage unit 140 and execute the resolution restoration processing. As the first storage unit 140, for example, a memory or the like can be used.

解像度の復元処理の詳細は後述するが、解像度の復元処理は、例えば、情報処理装置（コンピュータ）によって実行することができる。情報処理装置は、例えば、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算部およびレジスタまたはメモリなどの記憶部を含む。解像度の復元処理は、記憶部に予め格納されたプログラムを演算部で読み込むことによって実行することができる。 The details of the resolution restoration process will be described later, but the resolution restoration process can be executed by, for example, an information processing device (computer). The information processing device includes, for example, a calculation unit such as a central processing unit (CPU) and a storage unit such as a register or a memory. The resolution restoration process can be executed by reading a program stored in advance in the storage unit into the arithmetic unit.

センサ部１５０は、画素部１１０の動き（例えば、画素部１１０のブレ量など）を検出し、解像度復元処理部１３０にセンサ検出信号を出力することができる。解像度復元処理部１３０は、センサ検出信号に基づいて、ビニング信号を補正（例えば、ブレ補正など）し、解像度の復元処理を実行することができる。センサ部１５０に含まれるセンサの数は、１つであってもよく、複数であってもよい。センサ部１５０に含まれるセンサとして、例えば、加速度センサまたは角速度センサなどを用いることができる。 The sensor unit 150 can detect the movement of the pixel unit 110 (for example, the amount of blurring of the pixel unit 110) and output the sensor detection signal to the resolution restoration processing unit 130. The resolution restoration processing unit 130 can correct the binning signal (for example, blur correction) based on the sensor detection signal and execute the resolution restoration processing. The number of sensors included in the sensor unit 150 may be one or a plurality. As the sensor included in the sensor unit 150, for example, an acceleration sensor or an angular velocity sensor can be used.

撮像システム１００にセンサ部１５０が含まれない場合には、解像度復元処理部１３０は、ビニング信号から画素部１１０のブレ量を算出してもよい。解像度復元処理部１３０は、算出されたブレ量を基に、ビニング信号を補正することができる。 When the image pickup system 100 does not include the sensor unit 150, the resolution restoration processing unit 130 may calculate the amount of blurring of the pixel unit 110 from the binning signal. The resolution restoration processing unit 130 can correct the binning signal based on the calculated blur amount.

画像信号処理部１６０は、画像信号を受信し、画像信号に対して、色補間（デモザイク）、ノイズ低減補正、エッジ強調、またはガンマ補正など各種信号処理を実行することができる。また、画像信号処理部１６０は、表示画像信号を生成し、表示部１８０に表示画像信号を出力することができる。画像信号処理部１６０として、例えば、イメージシグナルプロセッサなどを用いることができる。 The image signal processing unit 160 can receive the image signal and execute various signal processing such as color interpolation (demosaic), noise reduction correction, edge enhancement, and gamma correction on the image signal. Further, the image signal processing unit 160 can generate a display image signal and output the display image signal to the display unit 180. As the image signal processing unit 160, for example, an image signal processor or the like can be used.

第２の記憶部１７０は、画像信号処理部１６０が実行する各種信号処理に関連するデータを格納することができる。第２の記憶部１７０として、例えば、メモリなどを用いることができる。第２の記憶部１７０は、第１の記憶部１４０が設けられたメモリとは異なるメモリに設けられていてもよく、第１の記憶部１４０が設けられたメモリの一部の領域に設けられていてもよい。 The second storage unit 170 can store data related to various signal processing executed by the image signal processing unit 160. As the second storage unit 170, for example, a memory or the like can be used. The second storage unit 170 may be provided in a memory different from the memory provided with the first storage unit 140, and may be provided in a part area of the memory provided with the first storage unit 140. You may be.

表示部１８０は、表示画像信号を受信し、表示画像信号に基づく画像を表示することができる。表示部１８０として、例えば、液晶表示装置またはＯＬＥＤ表示装置などを用いることができる。 The display unit 180 can receive the display image signal and display an image based on the display image signal. As the display unit 180, for example, a liquid crystal display device, an OLED display device, or the like can be used.

ビニング処理部１２０はＡ／Ｄ変換される前のアナログ信号に対してビニング処理を実行するため、ビニング処理部１２０は、画素部１１０とともにイメージセンサに含まれていてもよい。一方、解像度復元処理部１３０は、ビニング処理部１２０が出力したビニング信号に対して解像度の復元処理を実行することができればよい。そのため、解像度復元処理部１３０は、イメージセンサおよびイメージシグナルプロセッサとは別に設けられていてもよく、イメージセンサまたはイメージシグナルプロセッサのいずれか一方に含まれていてもよい。 Since the binning processing unit 120 executes the binning processing on the analog signal before the A / D conversion, the binning processing unit 120 may be included in the image sensor together with the pixel unit 110. On the other hand, the resolution restoration processing unit 130 only needs to be able to execute the resolution restoration processing on the binning signal output by the binning processing unit 120. Therefore, the resolution restoration processing unit 130 may be provided separately from the image sensor and the image signal processor, and may be included in either the image sensor or the image signal processor.

［２．ビニング処理］
撮像システム１００では、フレームごとに異なるビニングパターンのビニング処理が実行される。例えば、３つの異なるビニングパターンのビニング処理を実行する場合、連続する第１のフレーム、第２のフレーム、および第３のフレームでは、それぞれ、第１のビニングパターン、第２のビニングパターン、および第３のビニングパターンのビニング処理が実行される。第４のフレーム以降では、このビニング処理が繰り返される。そのため、撮像システム１００では、複数の異なるビニングパターンのビニング処理に対応した複数のビニング信号が生成される。以下では、一例として、３つの異なるビニングパターン（第１のビニングパターン〜第３のビニングパターン）のビニング処理について説明する。 [2. Binning process]
In the image pickup system 100, a binning process having a different binning pattern is executed for each frame. For example, when executing the binning process of three different binning patterns, in the continuous first frame, the second frame, and the third frame, the first binning pattern, the second binning pattern, and the third frame, respectively, The binning process of the binning pattern of 3 is executed. After the fourth frame, this binning process is repeated. Therefore, in the imaging system 100, a plurality of binning signals corresponding to the binning processing of a plurality of different binning patterns are generated. Hereinafter, as an example, the binning process of three different binning patterns (first binning pattern to third binning pattern) will be described.

図３は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。 FIG. 3 is a schematic diagram illustrating a binning process of a first binning pattern executed in the first frame in the imaging system 100 according to the embodiment of the present invention.

図３には、各々がベイヤー配列された４×４個の画素ユニット２００を含む画素ユニット群５００が示されている。画素ユニット群５００は、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００の中の４個の被ビニング領域５１０（第１の被ビニング領域５１０−１〜第４の被ビニング領域５１０−４）に対して実行されるビニング処理である。４個の被ビニング領域５１０の各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０は、互いに隣接して配置されている。第１のビニングパターンのビニング処理では、被ビニング領域５１０内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０内の４個の画素ユニット２００が、ビニング後画素ユニット６１０（第１のビニング後画素ユニット６１０−１〜第４のビニング後画素ユニット６１０−４）に変換される。 FIG. 3 shows a pixel unit group 500 including 4 × 4 pixel units 200, each of which is Bayer-arranged. The pixel unit group 500 is a part of the pixel array of the pixel unit 110. The first binning pattern is a binning process executed on four binning regions 510 (first binning regions 510-1 to fourth binning regions 510-4) in the pixel unit group 500. Is. Each of the four binned areas 510 includes four (2 × 2) pixel units 200 adjacent to each other. Further, the four binning areas 510 are arranged adjacent to each other. In the binning process of the first binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 510 are binned. In other words, in the binning process of the first binning pattern, the four pixel units 200 in the binned area 510 are the post-binning pixel units 610 (the first post-binning pixel units 610-1 to the fourth post-binning). It is converted into a pixel unit 610-4).

したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６１０（第１のビニング後画素ユニット６１０−１〜第４のビニング後画素ユニット６１０−４）を含む第１のビニング信号６００−１が生成される。 Therefore, when the binning process of the first binning pattern is executed in the first frame, four (2 × 2) post-binning pixel units 610 (first post-binning pixel units 610-1 to 4) A first binning signal 600-1 including a post-binning pixel unit 610-4) is generated.

なお、第１のビニングパターンのビニング処理では、２×２個の画素がビニングされるため、第１のビニングパターンは２×２ビニングパターンということもできる。 In the binning process of the first binning pattern, 2 × 2 pixels are binned, so that the first binning pattern can be said to be a 2 × 2 binning pattern.

図４は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。 FIG. 4 is a schematic diagram illustrating a binning process of a second binning pattern executed in the second frame in the imaging system 100 according to the embodiment of the present invention.

図４には、図３に示された４×４個の画素ユニット２００を含む画素ユニット群５００が示されている。第２のビニングパターンは、画素ユニット群５００の中の被ビニング領域５２０（第１の被ビニング領域５２０−１〜第４の被ビニング領域５２０−４）に対して実行されるビニング処理である。４個の被ビニング領域５２０の各々は、行方向において連続する４個（４×１個）の画素ユニット２００を含む。また、４個の被ビニング領域５２０は、列方向において連続して配置されている。第２のビニングパターンのビニング処理では、被ビニング領域５２０内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０内の４個の画素ユニット２００が、ビニング後画素ユニット６２０（第１のビニング後画素ユニット６２０−１〜第４のビニング後画素ユニット６２０−４）に変換される。 FIG. 4 shows a pixel unit group 500 including the 4 × 4 pixel units 200 shown in FIG. The second binning pattern is a binning process executed for the binning region 520 (first binning region 520-1 to fourth binning region 520-4) in the pixel unit group 500. Each of the four binned areas 520 includes four (4 × 1) pixel units 200 that are continuous in the row direction. Further, the four binning regions 520 are arranged continuously in the row direction. In the binning process of the second binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 520 are binned. In other words, in the binning process of the second binning pattern, the four pixel units 200 in the binned area 520 are the post-binning pixel units 620 (the first post-binning pixel units 620-1 to the fourth post-binning). It is converted into a pixel unit 620-4).

したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、４個（１×４個）のビニング後画素ユニット６２０（第１のビニング後画素ユニット６２０−１〜第４のビニング後画素ユニット６２０−４）を含む第２のビニング信号６００−２が生成される。 Therefore, when the binning process of the second binning pattern is executed in the second frame, four (1 × 4) post-binning pixel units 620 (first post-binning pixel units 620-1 to 4) A second binning signal 600-2 including the post-binning pixel unit 620-4) is generated.

なお、第２のビニングパターンのビニング処理では、４×１個の画素がビニングされるため、第２のビニングパターンは４×１ビニングパターンということもできる。 In the binning process of the second binning pattern, 4 × 1 pixels are binned, so that the second binning pattern can be said to be a 4 × 1 binning pattern.

図５は、本発明の一実施形態に係る撮像システム１００において、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。 FIG. 5 is a schematic diagram illustrating a binning process of a third binning pattern executed in the third frame in the imaging system 100 according to the embodiment of the present invention.

図５には、図３に示された４×４個の画素ユニット２００を含む画素ユニット群５００が示されている。第３のビニングパターンは、画素ユニット群５００の中の被ビニング領域５３０（第１の被ビニング領域５３０−１〜第４の被ビニング領域５３０−４）に対して実行されるビニング処理である。４個の被ビニング領域５３０の各々は、列方向において連続する４個（１×４個）の画素ユニット２００を含む。また、４個の被ビニング領域５３０は、行方向において連続して配置されている。第３のビニングパターンのビニング処理では、被ビニング領域５３０内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第３のビニングパターンのビニング処理では、被ビニング領域５３０内の４個の画素ユニット２００が、ビニング後画素ユニット６３０（第１のビニング後画素ユニット６３０−１〜第４のビニング後画素ユニット６３０−４）に変換される。 FIG. 5 shows a pixel unit group 500 including the 4 × 4 pixel units 200 shown in FIG. The third binning pattern is a binning process executed for the binning region 530 (first binning region 530-1 to fourth binning region 530-4) in the pixel unit group 500. Each of the four binned areas 530 includes four (1 × 4) pixel units 200 that are continuous in the column direction. Further, the four binning areas 530 are arranged continuously in the row direction. In the binning process of the third binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 530 are binned. In other words, in the binning process of the third binning pattern, the four pixel units 200 in the binned area 530 are the post-binning pixel units 630 (the first post-binning pixel units 630-1 to the fourth after binning. It is converted into a pixel unit 630-4).

したがって、第３のフレームにおいて第３のビニングパターンのビニング処理が実行されると、４個（４×１個）のビニング後画素ユニット６３０（第１のビニング後画素ユニット６３０−１〜第４のビニング後画素ユニット６３０−４）を含む第３のビニング信号６００−３が生成される。 Therefore, when the binning process of the third binning pattern is executed in the third frame, four (4 × 1) post-binning pixel units 630 (first post-binning pixel units 630-1 to 4) A third binning signal 600-3 including the post-binning pixel unit 630-4) is generated.

なお、第３のビニングパターンのビニング処理では、１×４個の画素がビニングされるため、第３のビニングパターンは１×４ビニングパターンということもできる。 In the binning process of the third binning pattern, 1 × 4 pixels are binned, so that the third binning pattern can be said to be a 1 × 4 binning pattern.

第１のビニングパターン〜第３のビニングパターンのビニング処理の順序は特に限定されない。すなわち、本実施形態に係る撮像システム１００のビニング処理では、連続する３つのフレームにおいて、第１のビニング信号６００−１〜第３のビニング信号６００−３が生成されればよい。 The order of binning processing of the first binning pattern to the third binning pattern is not particularly limited. That is, in the binning process of the imaging system 100 according to the present embodiment, the first binning signals 600-1 to the third binning signals 600-3 may be generated in three consecutive frames.

第１のフレーム〜第３のフレームでは、同じ画素群５００に含まれる画素に対するビニングであっても、被ビニング領域が異なる。そのため、ビニングされる複数の画素の組み合わせは、第１のフレーム〜第３のフレームごとに異なる。 In the first frame to the third frame, the binned area is different even for the binning for the pixels included in the same pixel group 500. Therefore, the combination of the plurality of pixels to be binned is different for each of the first frame to the third frame.

［３．解像度の復元処理］
上述のビニング処理によって画像の解像度は低下する。しかしながら、撮像システム１００では、複数の異なるビニング信号を合成して画像の解像度を復元することができる。以下では、図６Ａ〜図６Ｄを参照して、第１のビニング信号６００−１〜第３のビニング信号６００−３を合成する解像度の復元処理について説明する。 [3. Resolution restoration process]
The resolution of the image is lowered by the above-mentioned binning process. However, in the imaging system 100, a plurality of different binning signals can be combined to restore the image resolution. Hereinafter, the resolution restoration process for synthesizing the first binning signal 600-1 to the third binning signal 600-3 will be described with reference to FIGS. 6A to 6D.

本実施形態では、第１のビニング信号６００−１の第１のビニング後画素ユニット６１０−１〜第４のビニング後画素ユニット６１０−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１〜Ｋ４とする。同様に、第２のビニング信号６００−２の第１のビニング後画素ユニット６２０−１〜第４のビニング後画素ユニット６２０−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１〜Ｌ４とする。同様に、第３のビニング信号６００−３の第１のビニング後画素ユニット６３０−１〜第４のビニング後画素ユニット６３０−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｍ １〜Ｍ ４とする。また、本実施形態では、ビニング後画素ユニット６１０〜６３０に含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０〜６３０に含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。
In the present embodiment, the pixel value of the first green pixel (G1) included in the first post-binning pixel unit 610-1 to the fourth post-binning pixel unit 610-4 of the first binning signal 600-1 is set. , K 1 to K 4 , respectively. Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 620-1 to the fourth post-binning pixel unit 620-4 of the second binning signal 600-2 are set respectively. , L 1 to L 4 . Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 630-1 to the fourth post-binning pixel unit 630-4 of the third binning signal 600-3 are set respectively. , M 1 to M 4 . Further, in the present embodiment, the resolution restoration process for the first green pixel (G1) included in the post-binning pixel units 610 to 630 will be described, but the blue pixel (B) included in the post-binning pixel unit 610 to 630 will be described. , The red pixel (R), and the second green pixel (G2) can be similarly subjected to the resolution restoration process.

図６Ａ〜図６Ｄは、本発明の一実施形態に係る撮像システム１００において、解像度の復元処理を説明する模式図である。 6A to 6D are schematic views illustrating a resolution restoration process in the imaging system 100 according to the embodiment of the present invention.

始めに、図６Ａに示すように、第１のビニング信号６００−１に含まれるビニング後画素ユニット６１０の面積を、列方向において２倍に拡張する変換を実行する。すなわち、第１のビニング後画素ユニット６１０−１〜第４のビニング後画素ユニット６１０−４は、それぞれ、第１の拡張ビニング後画素ユニット６１１−１〜第４の拡張ビニング後画素ユニット６１１−４に変換される。なお、以下では、第１の拡張ビニング後画素ユニット６１１−１〜第４の拡張ビニング後画素ユニット６１１−４を特に区別しない場合は、拡張ビニング後画素ユニット６１１として説明する場合がある。 First, as shown in FIG. 6A, a conversion is performed in which the area of the post-binning pixel unit 610 included in the first binning signal 600-1 is doubled in the column direction. That is, the first post-binning pixel unit 610-1 to the fourth post-binning pixel unit 610-4 are the first post-binning pixel unit 611-1 to the fourth post-binning pixel unit 611-4, respectively. Is converted to. In the following, when the first extended binning post-pixel unit 611 to the fourth extended binning post-pixel unit 611-4 is not particularly distinguished, it may be described as the extended binning post-pixel unit 611.

拡張ビニング後画素ユニット６１１の面積は、ビニング後画素ユニット６１０の面積の２倍であるため、拡張ビニング後画素ユニット６１１に含まれる第１の緑色画素（Ｇ１）の画素値は、ビニング後画素ユニット６１０に含まれる第１の緑色画素（Ｇ１）の画素値の２倍となる。したがって、第１の拡張ビニング後画素ユニット６１１−１〜第４の拡張ビニング後画素ユニット６１１−４に含まれる第１の緑色画素（Ｇ１）の画素値は、それぞれ、２Ｋ１、２Ｋ２、２Ｋ３、および２Ｋ４となる。 Since the area of the extended binning pixel unit 611 is twice the area of the binning post-binning pixel unit 610, the pixel value of the first green pixel (G1) included in the extended binning post-pixel unit 611 is the post-binning pixel unit. It is twice the pixel value of the first green pixel (G1) included in 610. Therefore, the pixel values of the first green pixel (G1) included in the first extended binning pixel unit 611-1 to the fourth extended binning pixel unit 611-4 are 2K 1 , 2K 2 , and 2K, respectively. 3, and a 2K 4.

なお、上述の説明では、ビニング後画素ユニット６１０の面積を２倍に拡張する変換であるため、画素値の変換係数を２としたが、変換係数はこれに限られない。変換係数は、面積以外の重み付けが考慮されてもよい。 In the above description, since the conversion is performed by doubling the area of the pixel unit 610 after binning, the conversion coefficient of the pixel value is set to 2, but the conversion coefficient is not limited to this. Weighting other than area may be taken into consideration for the conversion coefficient.

次に、図６Ｂに示すように、拡張ビニング後画素ユニット６１１を、列方向において２つに分割する変換を実行する。すなわち、第１の拡張ビニング後画素ユニット６１１−１は、第１の合成ビニング後画素ユニット６２１−１および第２の合成ビニング後画素ユニット６２１−２に分割される。同様に、第２の拡張ビニング後画素ユニット６１１−２、第３の拡張ビニング後画素ユニット６１１−３、および第４の拡張ビニング後画素ユニット６１１−４は、それぞれ、第３の合成ビニング後画素ユニット６２１−３および第４の合成ビニング後画素ユニット６２１−４、第５の合成ビニング後画素ユニット６２１−５および第６の合成ビニング後画素ユニット６２１−６、ならびに第７の合成ビニング後画素ユニット６２１−７および第８の合成ビニング後画素ユニット６２１−８に分割される。なお、以下では、第１の合成ビニング後画素ユニット６２１−１〜第８の合成ビニング後画素ユニット６２１−８を特に区別しない場合は、合成ビニング後画素ユニット６２１として説明する場合がある。 Next, as shown in FIG. 6B, the conversion that divides the extended binning pixel unit 611 into two in the column direction is executed. That is, the first extended post-binning pixel unit 611-1 is divided into a first post-synthetic binning pixel unit 621-1 and a second post-synthetic binning pixel unit 621-2. Similarly, the second extended binning post-pixel unit 611-2, the third extended post-binning pixel unit 611-3, and the fourth extended post-binning pixel unit 611-4 are the third post-composite binning pixels, respectively. Units 621-3 and 4th synthetic post-binning pixel unit 621-4, 5th synthetic post-binning pixel unit 621-5 and 6th synthetic post-binning pixel unit 621-6, and 7th synthetic post-binning pixel unit It is divided into 621-7 and the eighth post-synthetic binning pixel unit 621-8. In the following, when the first post-synthetic binning pixel unit 621-1 to the eighth post-synthetic binning pixel unit 621-8 is not particularly distinguished, it may be described as the post-synthetic binning pixel unit 621.

合成ビニング後画素ユニット６２１に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００−２の２つのビニング後画素ユニット６２０に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。具体的には、第１の合成ビニング後画素ユニット６２１−１および第２の合成ビニング後画素ユニット６２１−２の各々に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００−２の第１のビニング後画素ユニット６２０−１および第２のビニング後画素ユニット６２０−２に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。同様に、第３の合成ビニング後画素ユニット６２１−３および第４の合成ビニング後画素ユニット６２１−４の各々に含まれる第１の緑色画素（Ｇ１）は、第２のビニング信号６００−２の第１のビニング後画素ユニット６２０−１および第２のビニング後画素ユニット６２０−２に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。また、同様に、第５の合成ビニング後画素ユニット６２１−５および第６の合成ビニング後画素ユニット６２１−６の各々に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００−２の第３のビニング後画素ユニット６２０−３および第４のビニング後画素ユニット６２０−４に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。また、同様に、第７の合成ビニング後画素ユニット６２１−７および第８の合成ビニング後画素ユニット６２１−８の各々に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００−２の第３のビニング後画素ユニット６２０−３および第４のビニング後画素ユニット６２０−４に含まれる第１の緑色画素（Ｇ１）の画素値との比率が考慮される。したがって、第１の合成ビニング後画素ユニット６２１−１〜第８の合成ビニング後画素ユニット６２１−８の第１の緑色画素（Ｇ１）の画素値であるＫ１’、Ｋ１’’、Ｋ２’、Ｋ２’’、Ｋ３’、Ｋ３’’、Ｋ４’、およびＫ４’’は、表１に示す式で算出することができる。 The pixel value of the first green pixel (G1) included in the composite binning pixel unit 621 is that of the first green pixel (G1) included in the two post-binning pixel units 620 of the second binning signal 600-2. The ratio of pixel values is taken into account. Specifically, the pixel value of the first green pixel (G1) included in each of the first post-synthetic binning pixel unit 621-1 and the second post-synthetic binning pixel unit 621-2 is the second binning. The ratio of the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 620-1 and the second post-binning pixel unit 620-2 of the signal 600-2 is taken into consideration. Similarly, the first green pixel (G1) included in each of the third synthetic post-binning pixel unit 621-3 and the fourth synthetic post-binning pixel unit 621-4 is the second binning signal 600-2. The ratio of the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 620-1 and the second post-binning pixel unit 620-2 is considered. Similarly, the pixel value of the first green pixel (G1) included in each of the fifth composite binning post-pixel unit 621-5 and the sixth synthetic post-binning pixel unit 621-6 is the second binning. The ratio of the pixel values of the first green pixel (G1) included in the third post-binning pixel unit 620-3 and the fourth post-binning pixel unit 620-4 of the signal 600-2 is taken into consideration. Similarly, the pixel value of the first green pixel (G1) included in each of the seventh composite binning post-pixel unit 621-7 and the eighth composite binning post-pixel unit 621-8 is the second binning. The ratio to the pixel value of the first green pixel (G1) included in the third post-binning pixel unit 620-3 and the fourth post-binning pixel unit 620-4 of the signal 600-2 is taken into consideration. Therefore, K 1 ', K 1 '', and K 2 which are the pixel values of the first green pixel (G1) of the first synthetic binning pixel unit 621-1 to the eighth synthetic binning pixel unit 621-8. ', K 2 '', K 3 ', K 3 '', K 4 ', and K 4 '' can be calculated by the formulas shown in Table 1.

Figure 0006864942
Figure 0006864942

次に、図６Ｃに示すように、合成ビニング後画素ユニット６２１の面積を、行方向において２倍に拡張する変換を実行する。すなわち、第１の合成ビニング後画素ユニット６２１−１〜第８の合成ビニング後画素ユニット６２１−８は、それぞれ、第１の拡張ビニング後画素ユニット６２２−１〜第８の拡張ビニング後画素ユニット６２２−８に変換される。なお、以下では、第１の拡張ビニング後画素ユニット６２２−１〜第８の拡張ビニング後画素ユニット６２２−８を特に区別しない場合は、拡張ビニング後画素ユニット６２２として説明する場合がある。 Next, as shown in FIG. 6C, a conversion is performed in which the area of the pixel unit 621 after synthetic binning is doubled in the row direction. That is, the first composite binning post-pixel unit 621-1 to the eighth synthetic binning post-pixel unit 621-8 are the first extended binning post-pixel unit 622-1 to the eighth extended binning post-pixel unit 622, respectively. Converted to -8. In the following, when the first extended binning post-pixel unit 622-1 to the eighth extended binning post-pixel unit 622-8 are not particularly distinguished, they may be described as the extended binning post-pixel unit 622.

拡張ビニング後画素ユニット６２２の面積は、合成ビニング後画素ユニット６２１の面積の２倍であるため、拡張ビニング後画素ユニット６２２に含まれる第１の緑色画素（Ｇ１）の画素値は、合成ビニング後画素ユニット６２１に含まれる第１の緑色画素（Ｇ１）の画素値の２倍となる。したがって、第１の拡張ビニング後画素ユニット６２２−１〜第８の拡張ビニング後画素ユニット６２２−８に含まれる第１の緑色画素（Ｇ１）の画素値は、それぞれ、２Ｋ１’、２Ｋ１’’、２Ｋ２’、２Ｋ２’’、２Ｋ３’、２Ｋ３’’、２Ｋ４’、および２Ｋ４’’となる。 Since the area of the pixel unit 622 after the extended binning is twice the area of the pixel unit 621 after the composite binning, the pixel value of the first green pixel (G1) included in the pixel unit 622 after the extended binning is the pixel value after the composite binning. It is twice the pixel value of the first green pixel (G1) included in the pixel unit 621. Thus, the pixel value of the first green pixel included in the extended binning after pixel unit 622-8 of the first extended binning after pixel unit 622-1～ first 8 (G1), respectively, 2K 1 ', 2K 1' '2K 2 ', 2K 2 '', 2K 3 ', 2K 3 '', 2K 4 ', and 2K 4 ''.

次に、図６Ｄに示すように、拡張ビニング後画素ユニット６２２を、行方向において２つに分割する変換を実行する。その結果、第１の拡張ビニング後画素ユニット６２２−１〜第８の拡張ビニング後画素ユニット６２２−８は、第１の復元画素ユニット７１０−１〜第１６の復元画素ユニット７１０−１６に変換される。なお、以下では、第１の復元画素ユニット７１０−１〜第１６の復元画素ユニット７１０−１６を特に区別しない場合は、復元画素ユニット７１０として説明する場合がある。 Next, as shown in FIG. 6D, the conversion that divides the extended binning pixel unit 622 into two in the row direction is executed. As a result, the first extended binning post-pixel unit 622-1 to the eighth extended post-binning pixel unit 622-8 are converted into the first restored pixel unit 710-1 to the 16th restored pixel unit 710-16. To. In the following, when the first restored pixel unit 710-1 to the 16th restored pixel unit 710-16 are not particularly distinguished, they may be described as the restored pixel unit 710.

復元画素ユニット７１０に含まれる第１の緑色画素（Ｇ１）の画素値は、第３のビニング信号６００−３の２つのビニング後画素ユニット６３０に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。具体的には、復元画素ユニット７１０に含まれる第１の緑色画素（Ｇ１）の画素値は、第３のビニング信号６００−３の第１のビニング後画素ユニット６３０−１および第２のビニング後画素ユニット６３０−２に含まれる第１の緑色画素（Ｇ１）の画素値の比率、または第３のビニング信号６００−３の第３のビニング後画素ユニット６３０−３および第４のビニング後画素ユニット６３０−４に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０−１〜第１６の復元画素ユニット７１０−１６に含まれる第１の緑色画素（Ｇ１）の画素値であるＰ１〜Ｐ１６は、表２に示す式で算出することができる。 The pixel value of the first green pixel (G1) included in the restored pixel unit 710 is the pixel value of the first green pixel (G1) included in the two post-binning pixel units 630 of the third binning signal 600-3. The ratio of is taken into account. Specifically, the pixel value of the first green pixel (G1) included in the restored pixel unit 710 is the first post-binning pixel unit 630-1 and the second post-binning of the third binning signal 600-3. The ratio of the pixel values of the first green pixel (G1) included in the pixel unit 630-2, or the third post-binning pixel unit 630-3 and the fourth post-binning pixel unit of the third binning signal 600-3. The ratio of the pixel values of the first green pixel (G1) included in 630-4 is taken into consideration. Therefore, P 1 to P 16 is the pixel value of the first green pixel included in the decompressed pixel unit 710-16 of the first decompressed pixel unit 710-1～ first 16 (G1) is a formula shown in Table 2 Can be calculated.

Figure 0006864942
Figure 0006864942

図６Ｄに示す４×４個の復元画素ユニット７１０は、ビニング処理前の４×４個の画素ユニット２００を含む画素ユニット群５００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０のノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０を含む画像信号７００は、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。 The 4 × 4 restored pixel unit 710 shown in FIG. 6D corresponds to the pixel unit group 500 including the 4 × 4 pixel units 200 before the binning process. Therefore, by executing the above-mentioned resolution restoration process, the resolution lowered by the binning process can be restored. Further, the noise amount of the restored pixel unit 710 whose resolution has been restored is smaller than the noise amount of the unbinned pixel unit 200 due to the nature of random noise. Therefore, the S / N of the image signal 700 including the restored pixel unit 710 generated by the resolution restoration process is improved, and the decrease in image resolution is reduced.

第４のフレーム以降も、順次、第１のビニング信号６００−１〜第３のビニング信号６００−３が生成される。すなわち、連続する３つのフレームには、第１のビニング信号６００−１〜第３のビニング信号６００−３が含まれる。したがって、各フレームに対応して、順次、画像信号７００が生成されるため、フレームレートは変わらない。 From the fourth frame onward, the first binning signals 600-1 to the third binning signals 600-3 are sequentially generated. That is, the three consecutive frames include the first binning signal 600-1 to the third binning signal 600-3. Therefore, since the image signal 700 is sequentially generated corresponding to each frame, the frame rate does not change.

上述の解像度の復元処理では、第１のビニング信号６００−１を基に、第２のビニング信号６００−２および第３のビニング信号６００−３を合成したが、合成する順序はこれに限られない。第２のビニング信号６００−２を基に、第３のビニング信号６００−３および第１のビニング信号６００−１を合成してもよく、第３のビニング信号６００−３を基に、第１のビニング信号６００−１および第２のビニング信号６００−２を合成してもよい。 In the above-mentioned resolution restoration process, the second binning signal 600-2 and the third binning signal 600-3 are synthesized based on the first binning signal 600-1, but the order of synthesizing is limited to this. Absent. The third binning signal 600-3 and the first binning signal 600-1 may be combined based on the second binning signal 600-2, and the first binning signal 600-3 may be used as the basis for the first binning signal 600-3. The binning signal 600-1 and the second binning signal 600-2 may be combined.

なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。 The binning process and the resolution restoration process described above are examples, and are not limited thereto.

本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００を出力することができる。 The imaging system 100 according to the embodiment of the present invention can restore the resolution of the image lowered by the binning process and output the image signal 700 having high sensitivity and high resolution without changing the frame rate.

＜第２実施形態＞
撮像システム１００において、解像度の復元処理に用いるビニング信号は３つに限られない。ここでは、図７〜図９を参照して、２つの異なるビニングパターン（第１のビニングパターンおよび第２のビニングパターン）のビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態で説明した構成と同様の構成については説明を省略する場合がある。 <Second Embodiment>
In the image pickup system 100, the binning signal used for the resolution restoration process is not limited to three. Here, the binning process and the resolution restoration process of two different binning patterns (first binning pattern and second binning pattern) will be described with reference to FIGS. 7 to 9. In the following, description of the same configuration as that described in the first embodiment may be omitted.

［１．ビニング処理］
図７は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。 [1. Binning process]
FIG. 7 is a schematic diagram illustrating a binning process of the first binning pattern executed in the first frame in the imaging system 100 according to the embodiment of the present invention.

図７には、各々がベイヤー配列された２×２個の画素ユニット２００を含む画素ユニット群５００Ａが示されている。画素ユニット群５００Ａは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ａの中の２個の被ビニング領域５１０Ａ（第１の被ビニング領域５１０Ａ−１および第２の被ビニング領域５１０Ａ−２）に対して実行されるビニング処理である。２個の被ビニング領域５１０Ａの各々は、列方向において隣接する２個（１×２個）の画素ユニット２００を含む。また、２個の被ビニング領域５１０Ａは、行方向において隣接して配置されている。第１のビニングパターンのビニング処理では、被ビニング領域５１０Ａ内の２個の画素ユニット２００に含まれる同色の２個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ａ内の２個の画素ユニット２００が、ビニング後画素ユニット６１０Ａ（第１のビニング後画素ユニット６１０Ａ−１および第２のビニング後画素ユニット６１０Ａ−２）に変換される。 FIG. 7 shows a pixel unit group 500A including 2 × 2 pixel units 200, each of which is Bayer-arranged. The pixel unit group 500A is a part of the pixel array of the pixel unit 110. The first binning pattern is a binning process executed on two binning regions 510A (first binning region 510A-1 and second binning region 510A-2) in the pixel unit group 500A. Is. Each of the two binning areas 510A includes two (1 × 2) pixel units 200 adjacent in the row direction. Further, the two binning areas 510A are arranged adjacent to each other in the row direction. In the binning process of the first binning pattern, two pixels of the same color included in the two pixel units 200 in the binned area 510A are binned. In other words, in the binning process of the first binning pattern, the two pixel units 200 in the binned area 510A are replaced with the post-binning pixel unit 610A (the first post-binning pixel unit 610A-1 and the second post-binning. It is converted into a pixel unit 610A-2).

したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、２個（２×１個）のビニング後画素ユニット６１０Ａ（第１のビニング後画素ユニット６１０Ａ−１および第２のビニング後画素ユニット６１０Ａ−２）を含む第１のビニング信号６００Ａ−１が生成される。 Therefore, when the binning process of the first binning pattern is executed in the first frame, two (2 × 1) post-binning pixel units 610A (first post-binning pixel units 610A-1 and a second post-binning pixel unit 610A-1) A first binning signal 600A-1 including a post-binning pixel unit 610A-2) is generated.

なお、第１のビニングパターンのビニング処理では、１×２個の画素がビニングされるため、第１のビニングパターンは、１×２ビニングパターンということもできる。 In the binning process of the first binning pattern, 1 × 2 pixels are binned, so that the first binning pattern can be said to be a 1 × 2 binning pattern.

図８は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。 FIG. 8 is a schematic diagram illustrating a binning process of a second binning pattern executed in the second frame in the imaging system 100 according to the embodiment of the present invention.

図８には、図７に示された２×２個の画素ユニット２００を含む画素ユニット群５００Ａが示されている。第２のビニングパターンは、画素ユニット群５００Ａの中の被ビニング領域５２０Ａ（第１の被ビニング領域５２０Ａ−１および第２の被ビニング領域５２０Ａ−２）に対して実行されるビニング処理である。２個の被ビニング領域５２０Ａの各々は、行方向において隣接する２個（２×１個）の画素ユニットを含む。また、２個の被ビニング領域５２０Ａは、列方向において隣接して配置されている。また、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ａ内の２個の画素ユニット２００に含まれる同色の２個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ａ内の２個の画素ユニット２００が、ビニング後画素ユニット６２０Ａ（第１のビニング後画素ユニット６２０Ａ−１および第２のビニング後画素ユニット６２０Ａ−２）に変換される。 FIG. 8 shows a pixel unit group 500A including the 2 × 2 pixel units 200 shown in FIG. 7. The second binning pattern is a binning process executed for the binning region 520A (first binning region 520A-1 and second binning region 520A-2) in the pixel unit group 500A. Each of the two binned areas 520A contains two (2 × 1) pixel units that are adjacent in the row direction. Further, the two binning areas 520A are arranged adjacent to each other in the row direction. Further, in the binning process of the second binning pattern, two pixels of the same color included in the two pixel units 200 in the binned area 520A are binned. In other words, in the binning process of the second binning pattern, the two pixel units 200 in the binned area 520A are replaced with the post-binning pixel unit 620A (the first post-binning pixel unit 620A-1 and the second post-binning. It is converted into a pixel unit 620A-2).

したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、２個（１×２個）のビニング後画素ユニット６２０Ａ（第１のビニング後画素ユニット６２０Ａ−１および第２のビニング後画素ユニット６２０Ａ−２）を含む第２のビニング信号６００Ａ−２が生成される。 Therefore, when the binning process of the second binning pattern is executed in the second frame, two (1 × 2) post-binning pixel units 620A (first post-binning pixel units 620A-1 and the second post-binning pixel unit 620A-1 and the second A second binning signal 600A-2 including the post-binning pixel unit 620A-2) is generated.

なお、第２のビニングパターンのビニング処理では、２×１個の画素がビニングされるため、第２のビニングパターンは、２×１ビニングパターンということもできる。 In the binning process of the second binning pattern, 2 × 1 pixels are binned, so that the second binning pattern can be said to be a 2 × 1 binning pattern.

第１のフレームと第２のフレームとでは、同じ画素群５００Ａに含まれる画素に対する被ビニング領域が異なる。そのため、ビニングされる複数の画素の組み合わせは、第１のフレームと第２のフレームとで異なる。 The first frame and the second frame have different binning areas for pixels included in the same pixel group 500A. Therefore, the combination of the plurality of pixels to be binned is different between the first frame and the second frame.

［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する２つのフレームに含まれる第１のビニング信号６００Ａ−１および第２のビニング信号６００Ａ−２を合成して解像度を復元する。以下では、図９を参照して、第１のビニング信号６００Ａ−１および第２のビニング信号６００Ａ−２を合成する解像度の復元処理について説明する。 [2. Resolution restoration process]
In the present embodiment, the first binning signal 600A-1 and the second binning signal 600A-2 included in the two consecutive frames generated by the above-mentioned binning process are combined to restore the resolution. Hereinafter, the resolution restoration process for synthesizing the first binning signal 600A-1 and the second binning signal 600A-2 will be described with reference to FIG. 9.

本実施形態では、第１のビニング信号６００Ａ−１の第１のビニング後画素ユニット６１０Ａ−１および第２のビニング後画素ユニット６１０Ａ−２に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１およびＫ２とする。同様に、第２のビニング信号６００Ａ−２の第１のビニング後画素ユニット６２０Ａ−１および第２のビニング後画素ユニット６２０Ａ−２に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１およびＬ２とする。また、本実施形態では、ビニング後画素ユニット６１０Ａおよび６２０Ａに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ａおよび６２０Ａに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。 In the present embodiment, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 610A-1 and the second post-binning pixel unit 610A-2 of the first binning signal 600A-1 are set. , K 1 and K 2 , respectively. Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 620A-1 and the second post-binning pixel unit 620A-2 of the second binning signal 600A-2 are set respectively. , L 1 and L 2 . Further, in the present embodiment, the resolution restoration process for the first green pixel (G1) included in the post-binning pixel units 610A and 620A will be described, but the blue pixel (B) included in the post-binning pixel units 610A and 620A will be described. , The red pixel (R), and the second green pixel (G2) can be similarly subjected to the resolution restoration process.

図９は、本発明の一実施形態に係る撮像システム１００において、第１のビニング信号６００Ａ−１を基に第２のビニング信号６００Ａ−２を合成する解像度の復元処理を説明する模式図である。 FIG. 9 is a schematic diagram illustrating a resolution restoration process for synthesizing a second binning signal 600A-2 based on a first binning signal 600A-1 in an imaging system 100 according to an embodiment of the present invention. ..

図９に示すように、第１のビニング信号６００Ａ−１を基に第２のビニング信号６００Ａ−２が合成されて、復元画素ユニット７１０Ａ（第１の復元画素ユニット７１０Ａ−１〜第４の復元画素ユニット７１０Ａ−４）を含む画像信号７００Ａが生成される。 As shown in FIG. 9, the second binning signal 600A-2 is synthesized based on the first binning signal 600A-1, and the restoration pixel unit 710A (first restoration pixel unit 710A-1 to fourth restoration). An image signal 700A including a pixel unit 710A-4) is generated.

復元画素ユニット７１０Ａは、第１のビニング信号６００Ａ−１のビニング後画素ユニット６１０Ａの面積を列方向において２倍に拡張した後、２つに分割する変換によって生成される。復元画素ユニット７１０Ａに含まれる第１の緑色画素（Ｇ１）の画素値は、第１のビニング信号６００Ａ−１のビニング後画素ユニット６１０Ａに含まれる第１の緑色画素（Ｇ１）を基に、第２のビニング信号６００Ａ−２の２つのビニング後画素ユニット６２０Ａに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０Ａ−１〜第４の復元画素ユニット７１０Ａ−４に含まれる第１の緑色画素（Ｇ１）である画素値Ｐ１〜Ｐ４は、表３に示す式で算出することができる。 The restored pixel unit 710A is generated by a conversion in which the area of the post-binning pixel unit 610A of the first binning signal 600A-1 is doubled in the column direction and then divided into two. The pixel value of the first green pixel (G1) included in the restored pixel unit 710A is based on the first green pixel (G1) included in the post-binning pixel unit 610A of the first binning signal 600A-1. The ratio of the pixel values of the first green pixel (G1) included in the two post-binning pixel units 620A of the binning signal 600A-2 of 2 is taken into consideration. Accordingly, the first pixel value P 1 to P 4 are green pixels (G1) included in the first decompressed pixel units 710A-. 1 to 4 of decompressed pixel units 710A-4 is calculated by the formula shown in Table 3 can do.

Figure 0006864942
Figure 0006864942

図９に示す２×２個の復元画素ユニット７１０Ａは、ビニング処理前の２×２個の画素ユニット２００を含む画素ユニット群５００Ａに対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ａのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ａを含む画像信号７００Ａは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。 The 2 × 2 restored pixel unit 710A shown in FIG. 9 corresponds to the pixel unit group 500A including the 2 × 2 pixel units 200 before the binning process. Therefore, by executing the above-mentioned resolution restoration process, the resolution lowered by the binning process can be restored. Further, the noise amount of the restored pixel unit 710A whose resolution has been restored is smaller than the noise amount of the unbinned pixel unit 200 due to the nature of random noise. Therefore, the S / N of the image signal 700A including the restored pixel unit 710A generated by the resolution restoration process is improved, and the decrease in image resolution is reduced.

本実施形態では、第３のフレーム以降も、順次、第１のビニング信号６００Ａ−１および第２のビニング信号６００Ａ−２が生成される。すなわち、連続する２つのフレームには、第１のビニング信号６００Ａ−１および第２のビニング信号６００Ａ−２が含まれる。そのため、各フレームに対応して、順次、画像信号７００Ａが生成されるため、フレームレートは変わらない。 In the present embodiment, the first binning signal 600A-1 and the second binning signal 600A-2 are sequentially generated even after the third frame. That is, the two consecutive frames include the first binning signal 600A-1 and the second binning signal 600A-2. Therefore, since the image signal 700A is sequentially generated corresponding to each frame, the frame rate does not change.

上述の解像度の復元処理では、第１のビニング信号６００Ａ−１を基に、第２のビニング信号６００Ａ−２を合成したが、合成する順序はこれに限られない。第２のビニング信号６００Ａ−２を基に、第１のビニング信号６００Ａ−１を合成してもよい。 In the above-mentioned resolution restoration process, the second binning signal 600A-2 is synthesized based on the first binning signal 600A-1, but the order of synthesizing is not limited to this. The first binning signal 600A-1 may be synthesized based on the second binning signal 600A-2.

なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。 The binning process and the resolution restoration process described above are examples, and are not limited thereto.

本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ａを出力することができる。 The imaging system 100 according to the embodiment of the present invention can restore the resolution of the image lowered by the binning process and output the image signal 700A having high sensitivity and high resolution without changing the frame rate.

＜第３実施形態＞
撮像システム１００において、各フレームでビニングされる画素の数は異なっていてもよく、そのようなビニング処理によって生成されたビニング信号を用いて、解像度の復元処理を実行することもできる。すなわち、解像度の復元処理に用いる複数のビニング信号の各々に含まれるビニング後画素ユニットの数は異なっていてもよい。ここでは、図１０を参照して、ビニング後画素ユニットの数が異なる複数のビニング信号を合成する解像度の復元処理について説明する。なお、以下では、第１実施形態および第２実施形態で説明した構成と同様の構成については説明を省略する場合がある。 <Third Embodiment>
In the image pickup system 100, the number of pixels binned in each frame may be different, and the resolution restoration process can be executed using the binning signal generated by such a binning process. That is, the number of post-binning pixel units included in each of the plurality of binning signals used for the resolution restoration process may be different. Here, with reference to FIG. 10, a resolution restoration process for synthesizing a plurality of binning signals having different numbers of post-binning pixel units will be described. In the following, the description of the same configuration as that described in the first embodiment and the second embodiment may be omitted.

図１０は、本発明の一実施形態に係る撮像システム１００において、解像度の復元処理を説明する模式図である。図１０には、２×２個の画素ユニット２００を含む画素ユニット群に対して、第１のフレームにおいて２×２ビニングパターンのビニング処理によって生成された第１のビニング信号６００Ｂ−１、第１のフレームに続く第２のフレームにおいて２×１ビニングパターンのビニング処理によって生成された第２のビニング信号６００Ｂ−２、および第２のフレームに続く第３のフレームにおいて１×２ビニングパターンのビニング処理によって生成された第３のビニング信号６００Ｂ−３が示されている。第１のビニング信号６００Ｂ−１を生成するビニング処理は、第１実施形態の２×２ビニングパターンと同様であり、第２のビニング信号６００Ｂ−２を生成するビニング処理は、第２実施形態の２×１ビニングパターンと同様であり、第３のビニング信号６００Ｂ−３を生成するビニング処理は、第２実施形態の１×２ビニングパターンと同様であるため、ここでは説明を省略する。 FIG. 10 is a schematic diagram illustrating a resolution restoration process in the imaging system 100 according to the embodiment of the present invention. In FIG. 10, the first binning signals 600B-1 and the first binning signals 600B-1 generated by the binning process of the 2 × 2 binning pattern in the first frame with respect to the pixel unit group including the 2 × 2 pixel units 200. The second binning signal 600B-2 generated by the binning process of the 2 × 1 binning pattern in the second frame following the second frame, and the binning process of the 1 × 2 binning pattern in the third frame following the second frame. The third binning signal 600B-3 generated by is shown. The binning process for generating the first binning signal 600B-1 is the same as the 2 × 2 binning pattern of the first embodiment, and the binning process for generating the second binning signal 600B-2 is the binning process of the second embodiment. Since it is the same as the 2 × 1 binning pattern and the binning process for generating the third binning signal 600B-3 is the same as the 1 × 2 binning pattern of the second embodiment, the description thereof will be omitted here.

第１のビニング信号６００Ｂ−１は、１個のビニング後画素ユニット６１０Ｂを含む。第２のビニング信号６００Ｂ−２は、列方向に隣接する２個（１×２個）のビニング後画素ユニット６２０Ｂ（第１のビニング後画素ユニット６２０Ｂ−１および第２のビニング後画素ユニット６２０Ｂ−２）を含む。第３のビニング信号６００Ｂ−３は、行方向に隣接する２個（２×１個）のビニング後画素ユニット６３０Ｂ（第１のビニング後画素ユニット６３０Ｂ−１および第２のビニング後画素ユニット６３０Ｂ−２）を含む。したがって、第１のビニング信号６００Ｂ−１〜第３のビニング信号６００Ｂ−３では、ビニング後画素ユニットの数が一致していない。この場合においても、第１実施形態と同様に、第１のビニング信号６００Ｂ−１のビニング後画素ユニット６１０Ｂの面積を列方向または行方向に拡張する変換を実行し、または列方向または行方向において２つに分割する変換を実行する。これにより、第１のビニング信号６００Ａ−１、第２のビニング信号６００Ａ−２、および第３のビニング信号６００Ａ−３が合成されて、復元画素ユニット７１０Ｂ（第１の復元画素ユニット７１０Ｂ−１〜第４の復元画素ユニット７１０Ｂ−４）を含む画像信号７００Ｂが生成される。復元画素ユニット７１０Ｂに含まれる第１の緑色画素（Ｇ１）の画素値は、第１のビニング信号６００Ｂ−１のビニング後画素ユニット６１０Ｂに含まれる第１の緑色画素（Ｇ１）を基に、第２のビニング信号６００Ｂ−２の２つのビニング後画素ユニット６２０Ｂおよび第３のビニング信号６００Ｂ−３の２つのビニング後画素ユニット６３０Ｂに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。復元画素ユニット７１０Ｂに含まれる第１の緑色画素（Ｇ１）の画素値の算出方法は、第１実施形態または第２実施形態と同様であるため、ここでは説明を省略する。 The first binning signal 600B-1 includes one post-binning pixel unit 610B. The second binning signal 600B-2 has two (1 × 2) post-binning pixel units 620B (first post-binning pixel unit 620B-1 and second post-binning pixel unit 620B-) adjacent to each other in the column direction. 2) is included. The third binning signal 600B-3 has two (2 × 1) post-binning pixel units 630B (first post-binning pixel unit 630B-1 and second post-binning pixel unit 630B-) adjacent to each other in the row direction. 2) is included. Therefore, in the first binning signal 600B-1 to the third binning signal 600B-3, the number of post-binning pixel units does not match. Also in this case, as in the first embodiment, the conversion that expands the area of the post-binning pixel unit 610B of the first binning signal 600B-1 in the column direction or the row direction is executed, or in the column direction or the row direction. Perform a conversion that splits in two. As a result, the first binning signal 600A-1, the second binning signal 600A-2, and the third binning signal 600A-3 are combined, and the restored pixel unit 710B (first restored pixel unit 710B-1 to 1) is combined. An image signal 700B including a fourth restored pixel unit 710B-4) is generated. The pixel value of the first green pixel (G1) included in the restored pixel unit 710B is based on the first green pixel (G1) included in the post-binning pixel unit 610B of the first binning signal 600B-1. Considering the ratio of the pixel values of the first green pixel (G1) contained in the two post-binning pixel units 620B of the two binning signals 600B-2 and the two post-binning pixel units 630B of the third binning signal 600B-3. Will be done. Since the method of calculating the pixel value of the first green pixel (G1) included in the restored pixel unit 710B is the same as that of the first embodiment or the second embodiment, the description thereof will be omitted here.

図１０に示す２×２個の復元画素ユニット７１０Ｂは、ビニング処理前の２×２個の画素ユニット２００を含む画素ユニット群に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｂのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｂを含む画像信号７００Ｂは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。 The 2 × 2 restored pixel unit 710B shown in FIG. 10 corresponds to a pixel unit group including the 2 × 2 pixel units 200 before the binning process. Therefore, by executing the above-mentioned resolution restoration process, the resolution lowered by the binning process can be restored. Further, the noise amount of the restored pixel unit 710B whose resolution has been restored is smaller than the noise amount of the unbinned pixel unit 200 due to the nature of random noise. Therefore, the S / N of the image signal 700B including the restored pixel unit 710B generated by the resolution restoration process is improved, and the decrease in image resolution is reduced.

本実施形態では、第４のフレーム以降も、順次、第１のビニング信号６００Ｂ−１〜第３のビニング信号６００Ｂ−３が生成される。すなわち、連続する３つのフレームには、第１のビニング信号６００Ｂ−１〜第３のビニング信号６００Ｂ−３が含まれる。そのため、各フレームに対応して、順次、画像信号７００Ｂが生成されるため、フレームレートは変わらない。 In the present embodiment, the first binning signals 600B-1 to the third binning signals 600B-3 are sequentially generated even after the fourth frame. That is, the three consecutive frames include the first binning signal 600B-1 to the third binning signal 600B-3. Therefore, since the image signal 700B is sequentially generated corresponding to each frame, the frame rate does not change.

上述の解像度の復元処理では、第１のビニング信号６００Ｂ−１を基に、第２のビニング信号６００Ｂ−２および第３のビニング信号６００Ｂ−３を合成したが、合成する順序はこれに限られない。第２のビニング信号６００Ｂ−２を基に、第３のビニング信号６００Ｂ−３および第１のビニング信号６００Ｂ−１を合成してもよく、第３のビニング信号６００Ｂ−３を基に、第１のビニング信号６００Ｂ−１および第２のビニング信号６００Ｂ−２を合成してもよい。 In the above-mentioned resolution restoration process, the second binning signal 600B-2 and the third binning signal 600B-3 are synthesized based on the first binning signal 600B-1, but the order of synthesizing is limited to this. Absent. The third binning signal 600B-3 and the first binning signal 600B-1 may be synthesized based on the second binning signal 600B-2, and the first binning signal 600B-3 may be used as the basis for the first binning signal 600B-3. The binning signal 600B-1 and the second binning signal 600B-2 may be combined.

なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。 The binning process and the resolution restoration process described above are examples, and are not limited thereto.

本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ｂを出力することができる。 The imaging system 100 according to the embodiment of the present invention can restore the resolution of the image lowered by the binning process and output the image signal 700B having high sensitivity and high resolution without changing the frame rate.

＜第４実施形態＞
撮像システム１００において、解像度の復元処理に用いるビニング信号は、各フレームごとに被ビニング領域の位置がシフトしたものであってもよい。ここでは、図１１〜図１５を参照して、各フレームの被ビニング領域の位置が異なる場合におけるビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態〜第３実施形態で説明した構成と同様の構成については説明を省略する場合がある。 <Fourth Embodiment>
In the image pickup system 100, the binning signal used for the resolution restoration process may be one in which the position of the binned area is shifted for each frame. Here, with reference to FIGS. 11 to 15, the binning process and the resolution restoration process when the positions of the binned areas of each frame are different will be described. In the following, the description may be omitted for the same configurations as those described in the first to third embodiments.

［１．ビニング処理］
図１１は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。 [1. Binning process]
FIG. 11 is a schematic diagram illustrating a binning process of a first binning pattern executed in the first frame in the imaging system 100 according to the embodiment of the present invention.

図１１には、各々がベイヤー配列された５×５個の画素ユニット２００を含む画素ユニット群５００Ｃが示されている。画素ユニット群５００Ｃは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ｃの中の４個の被ビニング領域５１０Ｃ（第１の被ビニング領域５１０Ｃ−１〜第４の被ビニング領域５１０Ｃ−４）に対して実行されるビニング処理である。４個の被ビニング領域５１０Ｃの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０Ｃは、互いに隣接して配置されている。また、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｃ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｃ内の４個の画素ユニット２００が、ビニング後画素ユニット６１０Ｃ（第１のビニング後画素ユニット６１０Ｃ−１〜第４のビニング後画素ユニット６１０−４）に変換される。 FIG. 11 shows a pixel unit group 500C including 5 × 5 pixel units 200, each of which is Bayer-arranged. The pixel unit group 500C is a part of the pixel array of the pixel unit 110. The first binning pattern is a binning process executed on four binning regions 510C (first binning regions 510C-1 to fourth binning regions 510C-4) in the pixel unit group 500C. Is. Each of the four binned areas 510C includes four (2 × 2) pixel units 200 adjacent to each other. Further, the four binning regions 510C are arranged adjacent to each other. Further, in the binning process of the first binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 510C are binned. In other words, in the binning process of the first binning pattern, the four pixel units 200 in the binned area 510C are the post-binning pixel units 610C (the first post-binning pixel units 610C-1 to the fourth after binning. It is converted into a pixel unit 610-4).

したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６１０Ｃ（第１のビニング後画素ユニット６１０Ｃ−１〜第４のビニング後画素ユニット６１０Ｃ−４）を含む第１のビニング信号６００Ｃ−１が生成される。 Therefore, when the binning process of the first binning pattern is executed in the first frame, four (2 × 2) post-binning pixel units 610C (first post-binning pixel units 610C-1 to 4) A first binning signal 600C-1 including a post-binning pixel unit 610C-4) is generated.

図１２は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。 FIG. 12 is a schematic diagram illustrating a binning process of a second binning pattern executed in the second frame in the imaging system 100 according to the embodiment of the present invention.

図１２には、図１１に示された５×５個の画素ユニット２００を含む画素ユニット群５００Ｃが示されている。第２のビニングパターンは、画素ユニット群５００Ｃの中の４個の被ビニング領域５２０Ｃ（第１の被ビニング領域５２０Ｃ−１〜第４の被ビニング領域５２０Ｃ−４）に対して実行されるビニング処理である。４個の被ビニング領域５２０Ｃの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５２０Ｃは、互いに隣接して配置されている。第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｃ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｃ内の４個の画素ユニット２００が、ビニング後画素ユニット６２０Ｃ（第１のビニング後画素ユニット６２０Ｃ−１〜第４のビニング後画素ユニット６２０−４）に変換される。 FIG. 12 shows a pixel unit group 500C including the 5 × 5 pixel units 200 shown in FIG. The second binning pattern is a binning process executed on four binning regions 520C (first binning regions 520C-1 to fourth binning regions 520C-4) in the pixel unit group 500C. Is. Each of the four binned areas 520C includes four (2 × 2) pixel units 200 adjacent to each other. Further, the four binning regions 520C are arranged adjacent to each other. In the binning process of the second binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 520C are binned. In other words, in the binning process of the second binning pattern, the four pixel units 200 in the binned area 520C are the post-binning pixel units 620C (the first post-binning pixel units 620C-1 to the fourth after binning. It is converted into a pixel unit 620-4).

したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６２０Ｃ（第１のビニング後画素ユニット６２０Ｃ−１〜第４のビニング後画素ユニット６２０−４）を含む第２のビニング信号６００Ｃ−２が生成される。 Therefore, when the binning process of the second binning pattern is executed in the second frame, four (2 × 2) post-binning pixel units 620C (first post-binning pixel units 620C-1 to 4) A second binning signal 600C-2 including the post-binning pixel unit 620-4) is generated.

第２のビニングパターンも、２×２ビニングパターンということができる。しかしながら、第２のビニングパターンが適用される被ビニング領域５２０Ｃは、第１のビニングパターンが適用される被ビニング領域５１０Ｃに対して、行方向に１つの画素ユニット２００だけシフトしているおり、被ビニング領域５２０Ｃは、被ビニング領域５１０Ｃと異なる。そのため、第２のフレームでビニングされる画素の組み合わせは、第１のフレームでビニングされる画素の組み合わせと異なる。 The second binning pattern can also be called a 2 × 2 binning pattern. However, the binned area 520C to which the second binning pattern is applied is shifted by one pixel unit 200 in the row direction with respect to the binning area 510C to which the first binning pattern is applied, and is covered. The binning region 520C is different from the binning region 510C. Therefore, the combination of pixels binned in the second frame is different from the combination of pixels binned in the first frame.

図１３は、本発明の一実施形態に係る撮像システム１００において、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。 FIG. 13 is a schematic diagram illustrating a binning process of a third binning pattern executed in the third frame in the imaging system 100 according to the embodiment of the present invention.

図１３には、図１１に示された５×５個の画素ユニット２００を含む画素ユニット群５００Ｃが示されている。第３のビニングパターンは、画素ユニット群５００Ｃの中の４個の被ビニング領域５３０Ｃ（第１の被ビニング領域５３０Ｃ−１〜第４の被ビニング領域５３０Ｃ−４）に対して実行されるビニング処理である。４個の被ビニング領域５３０Ｃの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５３０Ｃは、互いに隣接して配置されている。第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｃ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｃ内の４個の画素ユニット２００が、ビニング後画素ユニット６３０Ｃ（第１のビニング後画素ユニット６３０Ｃ−１〜第４のビニング後画素ユニット６３０−４）に変換される。 FIG. 13 shows a pixel unit group 500C including the 5 × 5 pixel units 200 shown in FIG. The third binning pattern is a binning process executed on four binning regions 530C (first binning regions 530C-1 to fourth binning regions 530C-4) in the pixel unit group 500C. Is. Each of the four binned areas 530C includes four (2 × 2) pixel units 200 adjacent to each other. Further, the four binning regions 530C are arranged adjacent to each other. In the binning process of the third binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 530C are binned. In other words, in the binning process of the third binning pattern, the four pixel units 200 in the binned area 530C are the post-binning pixel units 630C (the first post-binning pixel units 630C-1 to the fourth after binning. It is converted into a pixel unit 630-4).

したがって、第３のフレームにおいて第３のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６３０Ｃ（第１のビニング後画素ユニット６３０Ｃ−１〜第４のビニング後画素ユニット６３０−４）を含む第３のビニング信号６００Ｃ−３が生成される。 Therefore, when the binning process of the third binning pattern is executed in the third frame, four (2 × 2) post-binning pixel units 630C (first post-binning pixel units 630C-1 to 4) A third binning signal 600C-3 including the post-binning pixel unit 630-4) is generated.

第３のビニングパターンも、２×２ビニングパターンということができる。しかしながら、第３のビニングパターンが適用される被ビニング領域５３０Ｃは、第１のビニングパターンが適用される被ビニング領域５１０Ｃに対して、列方向に１つの画素ユニット２００だけシフトしており、被ビニング領域５３０Ｃは、被ビニング領域５１０Ｃと異なる。また、被ビニング領域５３０Ｃは、第２のビニングパターンが適用される被ビニング領域５２０Ｃとも異なる。そのため、第３のフレームでビニングされる画素の組み合わせは、第１のフレームおよび第２のフレームでビニングされる画素の組み合わせと異なる。 The third binning pattern can also be called a 2 × 2 binning pattern. However, the binning area 530C to which the third binning pattern is applied is shifted by one pixel unit 200 in the column direction with respect to the binning area 510C to which the first binning pattern is applied, and the binning is applied. The region 530C is different from the binning region 510C. Further, the binning area 530C is also different from the binning area 520C to which the second binning pattern is applied. Therefore, the combination of pixels binned in the third frame is different from the combination of pixels binned in the first frame and the second frame.

図１４は、本発明の一実施形態に係る撮像システム１００において、第４のフレームで実行される第４のビニングパターンのビニング処理を説明する模式図である。 FIG. 14 is a schematic diagram illustrating a binning process of a fourth binning pattern executed in the fourth frame in the imaging system 100 according to the embodiment of the present invention.

図１４には、図１１に示された５×５個の画素ユニット２００を含む画素ユニット群５００Ｃが示されている。第４のビニングパターンは、画素ユニット群５００Ｃの中の４個の被ビニング領域５４０Ｃ（第１の被ビニング領域５４０Ｃ−１〜第４の被ビニング領域５４０Ｃ−４）に対して実行されるビニング処理である。４個の被ビニング領域５４０Ｃの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５４０Ｃは、互いに隣接して配置されている。第４のビニングパターンのビニング処理では、被ビニング領域５４０Ｃ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第４のビニングパターンのビニング処理では、被ビニング領域５４０Ｃ内の４個の画素ユニット２００が、ビニング後画素ユニット６４０Ｃ（第１のビニング後画素ユニット６４０Ｃ−１〜第４のビニング後画素ユニット６４０−４）に変換される。 FIG. 14 shows a pixel unit group 500C including the 5 × 5 pixel units 200 shown in FIG. The fourth binning pattern is a binning process executed on four binning regions 540C (first binning regions 540C-1 to fourth binning regions 540C-4) in the pixel unit group 500C. Is. Each of the four binned areas 540C includes four (2 × 2) pixel units 200 adjacent to each other. Further, the four binning regions 540C are arranged adjacent to each other. In the binning process of the fourth binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 540C are binned. In other words, in the binning process of the fourth binning pattern, the four pixel units 200 in the binned area 540C are the post-binning pixel units 640C (the first post-binning pixel units 640C-1 to the fourth after binning. It is converted into a pixel unit 640-4).

したがって、第４のフレームにおいて第４のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６４０Ｃ（第１のビニング後画素ユニット６４０Ｃ−１〜第４のビニング後画素ユニット６４０−４）を含む第４のビニング信号６００Ｃ−４が生成される。 Therefore, when the binning process of the fourth binning pattern is executed in the fourth frame, four (2 × 2) post-binning pixel units 640C (first post-binning pixel units 640C-1 to 4) A fourth binning signal 600C-4 including the post-binning pixel unit 640-4) is generated.

第４のビニングパターンも、２×２ビニングパターンということができる。しかしながら、第４のビニングパターンが適用される被ビニング領域５４０Ｃは、第１のビニングパターンが適用される被ビニング領域５１０Ｃに対して、行方向および列方向の各々に（すなわち、対角方向に）１つの画素ユニット２００だけシフトしており、被ビニング領域５４０Ｃは、被ビニング領域５１０Ｃと異なる。また、被ビニング領域５４０Ｃは、第２のビニングパターンが適用される被ビニング領域５２０Ｃおよび第３のビニングパターンが適用される被ビニング領域５３０Ｃとも異なる。そのため、第４のフレームでビニングされる画素の組み合わせは、第１のフレーム〜第３のフレームでビニングされる画素の組み合わせと異なる。 The fourth binning pattern can also be called a 2 × 2 binning pattern. However, the binned area 540C to which the fourth binning pattern is applied is rowwise and columnwise (ie, diagonally) with respect to the binned area 510C to which the first binning pattern is applied. Only one pixel unit 200 is shifted, and the binning area 540C is different from the binning area 510C. Further, the binning area 540C is also different from the binning area 520C to which the second binning pattern is applied and the binning area 530C to which the third binning pattern is applied. Therefore, the combination of pixels binned in the fourth frame is different from the combination of pixels binned in the first to third frames.

なお、画素配列の端部では、ビニング処理される画素が存在しない場合がある。そのような場合には、存在しない画素を無視してビニング処理を実行してもよく、画素を補間してビニング処理を実行してもよい。 At the end of the pixel array, there may be no pixels to be binned. In such a case, the binning process may be executed by ignoring the nonexistent pixels, or the pixels may be interpolated and the binning process may be executed.

［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する４つのフレームに含まれる第１のビニング信号６００Ｃ−１〜第４のビニング信号６００Ｃ−４を合成して解像度を復元する。以下では、図１５を参照して、第１のビニング信号６００Ｃ−１〜第４のビニング信号６００Ｃ−４を合成する解像度の復元処理について説明する。 [2. Resolution restoration process]
In the present embodiment, the resolution is restored by synthesizing the first binning signals 600C-1 to the fourth binning signals 600C-4 included in the four consecutive frames generated by the above-mentioned binning process. Hereinafter, the resolution restoration process for synthesizing the first binning signal 600C-1 to the fourth binning signal 600C-4 will be described with reference to FIG.

本実施形態では、第１のビニング信号６００Ｃ−１の第１のビニング後画素ユニット６１０Ｃ−１〜第４のビニング後画素ユニット６１０Ｃ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１〜Ｋ４とする。同様に、第２のビニング信号６００Ｃ−２の第１のビニング後画素ユニット６２０Ｃ−１〜第４のビニング後画素ユニット６２０Ｃ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１〜Ｌ４とする。同様に、第３のビニング信号６００Ｃ−３の第１のビニング後画素ユニット６３０Ｃ−１〜第４のビニング後画素ユニット６３０Ｃ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｍ１〜Ｍ４とする。同様に、第４のビニング信号６００Ｃ−４の第１のビニング後画素ユニット６４０Ｃ−１〜第４のビニング後画素ユニット６４０Ｃ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｎ１〜Ｎ４とする。また、本実施形態では、ビニング後画素ユニット６１０Ｃ〜６４０Ｃに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ｃ〜６４０Ｃに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。 In the present embodiment, the pixel value of the first green pixel (G1) included in the first post-binning pixel unit 610C-1 to the fourth post-binning pixel unit 610C-4 of the first binning signal 600C-1 is set. , K 1 to K 4 , respectively. Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 620C-1 to the fourth post-binning pixel unit 620C-4 of the second binning signal 600C-2 are set respectively. , L 1 to L 4 . Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 630C-1 to the fourth post-binning pixel unit 630C-4 of the third binning signal 600C-3 are set respectively. , M 1 to M 4 . Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 640C-1 to the fourth post-binning pixel unit 640C-4 of the fourth binning signal 600C-4 are set respectively. , N 1 to N 4 . Further, in the present embodiment, the resolution restoration process for the first green pixel (G1) included in the post-binning pixel units 610C to 640C will be described, but the blue pixel (B) included in the post-binning pixel units 610C to 640C. , The red pixel (R), and the second green pixel (G2) can be similarly subjected to the resolution restoration process.

図１５は、本発明の一実施形態に係る撮像システム１００において、解像度の復元処理を説明する模式図である。 FIG. 15 is a schematic diagram illustrating a resolution restoration process in the imaging system 100 according to the embodiment of the present invention.

図１５に示すように、第１のビニング信号６００Ｃ−１〜第４のビニング信号６００Ｃ−４が合成されて、復元画素ユニット７１０Ｃ（第１の復元画素ユニット７１０Ｃ−１〜第１６の復元画素ユニット７１０Ｃ−１６）を含む画像信号７００Ｃが生成される。 As shown in FIG. 15, the first binning signals 600C-1 to the fourth binning signals 600C-4 are combined to form a restored pixel unit 710C (first restored pixel unit 710C-1 to 16th restored pixel unit). An image signal 700C including 710C-16) is generated.

本実施形態に係る撮像システム１００のビニング処理では、第１のフレーム〜第４のフレームにおける被ビニング領域５１０Ｃ〜５４０Ｃの位置が異なる。そのため、解像度が復元された復元画素ユニット７１０Ｃに含まれる第１の緑色画素（Ｇ１）の画素値は、被ビニング領域５１０Ｃ〜５４０Ｃの相対的な位置を考慮して算出することができる。被ビニング領域５１０Ｃの位置を基準とすると、被ビニング領域５２０Ｃの位置は行方向にシフトし、被ビニング領域５３０Ｃの位置は列方向にシフトし、および被ビニング領域５４０Ｃの位置は対角方向にシフトしている。そこで、第１のビニング信号６００Ｃ−１のビニング後画素ユニット６１０Ｃを基準として、第２のビニング信号６００Ｃ−２のビニング後画素ユニット６２０Ｃが行方向で隣接し、第３のビニング信号６００Ｃ−３のビニング後画素ユニット６３０Ｃが列方向で隣接し、および第４のビニング信号６００Ｃ−４のビニング後画素ユニット６４０Ｃが対角方向で隣接するように、ビニング後画素ユニット６１０Ｃ〜６４０Ｃを配置し、これを復元画素ユニット７１０とすることができる。なお、第１の復元画素ユニット７１０Ｃ−１〜第１６の復元画素ユニット７１０Ｃ−１６に含まれる第１の緑色画素（Ｇ１）の画素値は、それぞれ、図１５に示すとおりである。 In the binning process of the imaging system 100 according to the present embodiment, the positions of the binned areas 510C to 540C in the first frame to the fourth frame are different. Therefore, the pixel value of the first green pixel (G1) included in the restored pixel unit 710C whose resolution has been restored can be calculated in consideration of the relative positions of the binned areas 510C to 540C. With respect to the position of the binning area 510C, the position of the binning area 520C shifts in the row direction, the position of the binning area 530C shifts in the column direction, and the position of the binning area 540C shifts diagonally. doing. Therefore, with reference to the post-binning pixel unit 610C of the first binning signal 600C-1, the post-binning pixel units 620C of the second binning signal 600C-2 are adjacent in the row direction, and the third binning signal 600C-3 The post-binning pixel units 610C to 640C are arranged so that the post-binning pixel units 630C are adjacent in the row direction and the post-binning pixel units 640C of the fourth binning signal 600C-4 are adjacent in the diagonal direction. The restored pixel unit 710 can be used. The pixel values of the first green pixel (G1) included in the first restored pixel unit 710C-1 to the 16th restored pixel unit 710C-16 are as shown in FIG. 15, respectively.

図１５に示す４×４個の復元画素ユニット７１０Ｃは、ビニング処理前の画素ユニット群５００Ｃに含まれる４×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｃのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｃを含む画像信号７００Ｃは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。 The 4 × 4 restored pixel unit 710C shown in FIG. 15 corresponds to the 4 × 4 pixel unit 200 included in the pixel unit group 500C before the binning process. Therefore, by executing the above-mentioned resolution restoration process, the resolution lowered by the binning process can be restored. Further, the noise amount of the restored pixel unit 710C whose resolution has been restored is smaller than the noise amount of the unbinned pixel unit 200 due to the nature of random noise. Therefore, the S / N of the image signal 700C including the restored pixel unit 710C generated by the resolution restoration process is improved, and the decrease in image resolution is reduced.

本実施形態では、第５のフレーム以降も、順次、第１のビニング信号６００Ｃ−１〜第４のビニング信号６００Ｃ−４が生成される。すなわち、連続する４つのフレームには、第１のビニング信号６００Ｃ−１〜第４のビニング信号６００Ｃ−４が含まれる。そのため、各フレームに対応して、順次、画像信号７００Ｃが生成されるため、フレームレートは変わらない。 In the present embodiment, the first binning signal 600C-1 to the fourth binning signal 600C-4 are sequentially generated even after the fifth frame. That is, the four consecutive frames include the first binning signal 600C-1 to the fourth binning signal 600C-4. Therefore, since the image signal 700C is sequentially generated corresponding to each frame, the frame rate does not change.

なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。 The binning process and the resolution restoration process described above are examples, and are not limited thereto.

本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ｃを出力することができる。 The imaging system 100 according to the embodiment of the present invention can restore the resolution of the image lowered by the binning process and output the image signal 700C having high sensitivity and high resolution without changing the frame rate.

＜第５実施形態＞
第４実施形態では、フレームごとに２×２ビニングパターンが適用される被ビニング領域をシフトしたビニング処理について説明したが、これらとは別のビニングパターン（例えば、１×４ビニングパターン）とを組み合わせて解像度の復元処理をしてもよい。ここでは、図１６〜図１９Ｂを参照して、第１実施形態〜第４実施形態とは異なるビニング処理および解像度の復元処理について説明する。 <Fifth Embodiment>
In the fourth embodiment, the binning process in which the binned area to which the 2 × 2 binning pattern is applied is shifted for each frame has been described, but in combination with another binning pattern (for example, a 1 × 4 binning pattern). The resolution may be restored. Here, with reference to FIGS. 16 to 19B, a binning process and a resolution restoration process different from those of the first to fourth embodiments will be described.

［１．ビニング処理］
図１６は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。 [1. Binning process]
FIG. 16 is a schematic diagram illustrating a binning process of a first binning pattern executed in the first frame in the imaging system 100 according to the embodiment of the present invention.

図１６には、各々がベイヤー配列された４×６個の画素ユニット２００を含む画素ユニット群５００Ｄが示されている。画素ユニット群５００Ｄは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ｄの中の４個の被ビニング領域５１０Ｄ（第１の被ビニング領域５１０Ｄ−１〜第４の被ビニング領域５１０Ｄ−４）に対して実行されるビニング処理である。４個の被ビニング領域５１０Ｄの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０Ｄは、互いに隣接して配置されている。また、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｄ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｄ内の４個の画素ユニットが、ビニング後画素ユニット６１０Ｄ（第１のビニング後画素ユニット６１０Ｄ−１〜第４のビニング後画素ユニット６１０Ｄ−４）に変換される。 FIG. 16 shows a pixel unit group 500D including 4 × 6 pixel units 200, each of which is Bayer-arranged. The pixel unit group 500D is a part of the pixel array of the pixel unit 110. The first binning pattern is a binning process executed on four binning regions 510D (first binning regions 510D-1 to fourth binning regions 510D-4) in the pixel unit group 500D. Is. Each of the four binned areas 510D includes four (2 × 2) pixel units 200 adjacent to each other. Further, the four binning areas 510D are arranged adjacent to each other. Further, in the binning process of the first binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 510D are binned. In other words, in the binning process of the first binning pattern, the four pixel units in the binned area 510D are the post-binning pixel units 610D (the first post-binning pixel units 610D-1 to the fourth post-binning pixels. It is converted to unit 610D-4).

したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６１０Ｄ（第１のビニング後画素ユニット６１０Ｄ−１〜第４のビニング後画素ユニット６１０Ｄ−４）を含む第１のビニング信号６００Ｄ−１が生成される。 Therefore, when the binning process of the first binning pattern is executed in the first frame, four (2 × 2) post-binning pixel units 610D (first post-binning pixel units 610D-1 to 4) A first binning signal 600D-1 including a post-binning pixel unit 610D-4) is generated.

図１７は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。 FIG. 17 is a schematic diagram illustrating a binning process of a second binning pattern executed in the second frame in the imaging system 100 according to the embodiment of the present invention.

図１７には、図１６に示された４×６個の画素ユニット２００を含む画素ユニット群５００Ｄが示されている。第２のビニングパターンは、画素ユニット群５００Ｄの中の被ビニング領域５２０Ｄ（第１の被ビニング領域５２０Ｄ−１〜第６の被ビニング領域５２０Ｄ−６）に対して実行されるビニング処理である。６個の被ビニング領域５２０Ｄの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、６個の被ビニング領域５２０Ｄは、隣接して配置されている。第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｄ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｄ内の６個の画素ユニット２００が、ビニング後画素ユニット６２０Ｄ（第１のビニング後画素ユニット６２０Ｄ−１〜第６のビニング後画素ユニット６２０Ｄ−６）に変換される。 FIG. 17 shows a pixel unit group 500D including the 4 × 6 pixel units 200 shown in FIG. The second binning pattern is a binning process executed for the binning region 520D (first binning region 520D-1 to sixth binning region 520D-6) in the pixel unit group 500D. Each of the six binned areas 520D includes four (2 × 2) pixel units 200 adjacent to each other. Further, the six binned areas 520D are arranged adjacent to each other. In the binning process of the second binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 520D are binned. In other words, in the binning process of the second binning pattern, the six pixel units 200 in the binned area 520D are replaced with the post-binning pixel unit 620D (first post-binning pixel units 620D-1 to 6th after binning. It is converted into the pixel unit 620D-6).

したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、６個（２×３個）のビニング後画素ユニット６２０Ｄ（第１のビニング後画素ユニット６２０Ｄ−１〜第６のビニング後画素ユニット６２０Ｄ−６）を含む第２のビニング信号６００Ｄ−２が生成される。 Therefore, when the binning process of the second binning pattern is executed in the second frame, six (2 × 3) post-binning pixel units 620D (first post-binning pixel units 620D-1 to 6) A second binning signal 600D-2 including the post-binning pixel unit 620D-6) is generated.

第１のビニングパターンと第２のビニングパターンとは、画素ユニット群５００Ｄにおける被ビニング領域の位置および数が異なる。具体的には、第２のビニングパターンの被ビニング領域５２０Ｄは、第１のビニングパターンの被ビニング領域５１０Ｄに対して、列方向に１個の画素ユニット２００だけシフトしている。なお、被ビニング領域５２０Ｄは、被ビニング領域５１０Ｄの上側にシフトされていてもよく、被ビニング領域５１０Ｄの下側にシフトされていてもよい。 The position and number of the binned regions in the pixel unit group 500D are different between the first binning pattern and the second binning pattern. Specifically, the binning region 520D of the second binning pattern is shifted by one pixel unit 200 in the column direction with respect to the binning region 510D of the first binning pattern. The binning area 520D may be shifted to the upper side of the binning area 510D, or may be shifted to the lower side of the binning area 510D.

図１８は、本発明の一実施形態に係る撮像システム１００において、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。 FIG. 18 is a schematic diagram illustrating a binning process of a third binning pattern executed in the third frame in the imaging system 100 according to the embodiment of the present invention.

図１８には、図１６に示された４×６個の画素ユニット２００を含む画素ユニット群５００Ｄが示されている。第３のビニングパターンは、画素ユニット群５００Ｄの中の被ビニング領域５３０Ｄ（第１の被ビニング領域５３０Ｄ−１〜第４の被ビニング領域５３０Ｄ−４）に対して実行されるビニング処理である。４個の被ビニング領域５３０Ｄの各々は、列方向において連続する４個（１×４個）の画素ユニット２００を含む。また、４個の被ビニング領域５３０Ｄは、行方向において連続して配置されている。第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｄ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｄ内の４個の画素ユニット２００が、ビニング後画素ユニット６３０Ｄ（第１のビニング後画素ユニット６３０Ｄ−１〜第４のビニング後画素ユニット６３０Ｄ−４）に変換される。 FIG. 18 shows a pixel unit group 500D including the 4 × 6 pixel units 200 shown in FIG. The third binning pattern is a binning process executed for the binning region 530D (first binning region 530D-1 to fourth binning region 530D-4) in the pixel unit group 500D. Each of the four binned areas 530D includes four (1 × 4) pixel units 200 that are continuous in the column direction. Further, the four binning areas 530D are arranged continuously in the row direction. In the binning process of the third binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 530D are binned. In other words, in the binning process of the third binning pattern, the four pixel units 200 in the binned area 530D are the post-binning pixel units 630D (the first post-binning pixel units 630D-1 to the fourth after binning. It is converted into a pixel unit 630D-4).

したがって、第３のフレームにおいて第３のビニングパターンのビニング処理が実行されると、４個（４×１個）のビニング後画素ユニット６３０Ｄ（第１のビニング後画素ユニット６３０Ｄ−１〜第４のビニング後画素ユニット６３０Ｄ−４）を含む第３のビニング信号６００Ｄ−３が生成される。 Therefore, when the binning process of the third binning pattern is executed in the third frame, four (4 × 1) post-binning pixel units 630D (first post-binning pixel units 630D-1 to 4) A third binning signal 600D-3 including the post-binning pixel unit 630D-4) is generated.

第３のビニングパターンが適用される被ビニング領域５３０Ｄは、第１のビニングパターンが適用される被ビニング領域５１０Ｄおよび第２のビニングパターンが適用される被ビニング領域５２０Ｄと異なる。そのため、第３のフレームでビニングされる画素の組み合わせは、第１のフレームでビニングされる画素の組み合わせおよび第２のフレームでビニングされる画素の組み合わせのいずれとも異なる。 The binning area 530D to which the third binning pattern is applied is different from the binning area 510D to which the first binning pattern is applied and the binning area 520D to which the second binning pattern is applied. Therefore, the combination of pixels binned in the third frame is different from both the combination of pixels binned in the first frame and the combination of pixels binned in the second frame.

［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する３つのフレームに含まれる第１のビニング信号６００Ｄ−１〜第３のビニング信号６００Ｄ−３を用いて解像度を復元する。以下では、図１９Ａおよび図１９Ｂを参照して、第１のビニング信号６００Ｄ−１〜第３のビニング信号６００Ｄ−３を用いた解像度の復元処理について説明する。 [2. Resolution restoration process]
In the present embodiment, the resolution is restored by using the first binning signal 600D-1 to the third binning signal 600D-3 included in the three consecutive frames generated by the above-mentioned binning process. Hereinafter, the resolution restoration process using the first binning signal 600D-1 to the third binning signal 600D-3 will be described with reference to FIGS. 19A and 19B.

図１９Ａおよび図１９Ｂは、本発明の一実施形態に係る撮像システム１００において、解像度の復元処理を説明する模式図である。なお、以下では、ビニング後画素ユニット６１０Ｄ〜６３０Ｄに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ｄ〜６３０Ｄに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。 19A and 19B are schematic views illustrating a resolution restoration process in the imaging system 100 according to the embodiment of the present invention. In the following, the resolution restoration process for the first green pixel (G1) included in the post-binning pixel units 610D to 630D will be described, but the blue pixel (B) and red color included in the post-binning pixel units 610D to 630D will be described. Similarly, the resolution restoration process can be applied to each of the pixel (R) and the second green pixel (G2).

本実施形態の解像度の復元処理では、第１のビニング信号６００Ｄ−１と第２のビニング信号６００Ｄ−２とを合成し、その後、第３のビニング信号６００Ｄ−３を合成する。 In the resolution restoration process of the present embodiment, the first binning signal 600D-1 and the second binning signal 600D-2 are combined, and then the third binning signal 600D-3 is synthesized.

ここで、第１のビニング処理によって生成された第１のビニング後画素ユニット６１０Ｄ−１〜第４のビニング後画素ユニット６１０Ｄ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１〜Ｋ４とする。同様に、第２のビニング処理によって生成された第１のビニング後画素ユニット６２０Ｄ−１〜第６のビニング後画素ユニット６２０Ｄ−６に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１〜Ｌ６とする。同様に、第３のビニング処理によって生成された第１のビニング後画素ユニット６３０Ｄ−１〜第４のビニング後画素ユニット６３０−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｍ１〜Ｍ４とする。 Here, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 610D-1 to the fourth post-binning pixel unit 610D-4 generated by the first binning process are set respectively. , K 1 to K 4 . Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 620D-1 to the sixth post-binning pixel unit 620D-6 generated by the second binning process are set respectively. , L 1 to L 6 . Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 630D-1 to the fourth post-binning pixel unit 630-4 generated by the third binning process are set respectively. , M 1 to M 4 .

始めに、図１９Ａに示すように、第１のビニング信号６００Ｄ−１および第２のビニング信号６００Ｄ−２を用いて、第１の合成ビニング後画素ユニット６２１Ｄ−１〜第８の合成ビニング後画素ユニット６２１Ｄ−８が生成される。なお、以下では、第１の合成ビニング後画素ユニット６２１Ｄ−１〜第４の合成ビニング後画素ユニット６２１Ｄ−４を特に区別しない場合は、合成ビニング後画素ユニット６２１Ｄとして説明する場合がある。 First, as shown in FIG. 19A, the first post-synthetic binning pixel unit 621D-1 to the eighth post-synthetic binning pixel are used by using the first binning signal 600D-1 and the second binning signal 600D-2. Unit 621D-8 is generated. In the following, when the first post-synthetic binning pixel unit 621D-1 to the fourth post-synthetic binning pixel unit 621D-4 are not particularly distinguished, they may be described as the post-synthetic binning pixel unit 621D.

合成ビニング後画素ユニット６２１Ｄは、線形補間により生成することができる。例えば、第１の合成ビニング後画素ユニット６２１Ｄ−１は、第１のビニング信号６００Ｄ−１の第１のビニング後画素ユニット６１０Ｄ−１と第２のビニング信号６００Ｄ−２の第１のビニング後画素ユニット６２０Ｄ−１との中間であるとする。また、第２の合成ビニング後画素ユニット６２１Ｄ−２は、第１のビニング信号６００Ｄ−１の第１のビニング後画素ユニット６１０Ｄ−１と第２のビニング信号６００Ｄ−２の第３のビニング後画素ユニット６２０Ｄ−３との中間であるとする。第３の合成ビニング後画素ユニット６２１Ｄ−３〜第８の合成ビニング後画素ユニット６２１Ｄ−８も同様である。したがって、合成ビニング後画素ユニット６２１Ｄに含まれる第１の緑色画素（Ｇ１）の画素値であるＫ１’、Ｋ１’’、Ｋ２’、Ｋ２’’、Ｋ３’、Ｋ３’’、Ｋ４’、およびＫ４’’は、表４に示す式で算出することができる。 The post-synthetic binning pixel unit 621D can be generated by linear interpolation. For example, the first synthetic post-binning pixel unit 621D-1 includes the first post-binning pixel unit 610D-1 of the first binning signal 600D-1 and the first post-binning pixel of the second binning signal 600D-2. It is assumed that it is in the middle of the unit 620D-1. Further, the second synthetic post-binning pixel unit 621D-2 is a third post-binning pixel of the first post-binning pixel unit 610D-1 and the second binning signal 600D-2 of the first binning signal 600D-1. It is assumed that it is in the middle of the unit 620D-3. The same applies to the third post-synthetic binning pixel unit 621D-3 to the eighth post-synthetic binning pixel unit 621D-8. Therefore, K 1 ′, K 1 ″, K 2 ′, K 2 ″, K 3 ′, K 3 ″, which are the pixel values of the first green pixel (G1) included in the pixel unit 621D after synthetic binning. , K 4 ', and K 4 '' can be calculated by the formulas shown in Table 4.

Figure 0006864942
Figure 0006864942

次に、図１９Ｂに示すように、合成ビニング後画素ユニット６２１Ｄの面積を、行方向において２倍に拡張する変換を実行し、行方向において２つに分割する変換を実行する。その結果、第１の合成ビニング後画素ユニット６２１Ｄ−１〜第８の合成ビニング後画素ユニット６２１Ｄ−８は、第１の復元画素ユニット７１０−１〜第１６の復元画素ユニット７１０Ｄ−１６に変換される。なお、以下では、第１の復元画素ユニット７１０Ｄ−１〜第１６の復元画素ユニット７１０Ｄ−１６を特に区別しない場合は、復元画素ユニット７１０Ｄとして説明する場合がある。 Next, as shown in FIG. 19B, a conversion is performed in which the area of the pixel unit 621D after synthetic binning is doubled in the row direction, and a conversion is performed in which the area is divided into two in the row direction. As a result, the first post-synthetic binning pixel unit 621D-1 to the eighth post-synthetic binning pixel unit 621D-8 are converted into the first restored pixel unit 710-1 to the 16th restored pixel unit 710D-16. To. In the following, when the first restored pixel unit 710D-1 to the 16th restored pixel unit 710D-16 are not particularly distinguished, they may be described as the restored pixel unit 710D.

行方向における分割変換において、復元画素ユニット７１０Ｄに含まれる第１の緑色画素（Ｇ１）の画素値は、第３のビニング信号６００Ｄ−３が考慮される。具体的には、復元画素ユニット７１０Ｄに含まれる第１の緑色画素（Ｇ１）の画素値は、第３のビニング信号６００Ｄ−３の第１のビニング後画素ユニット６３０Ｄ−１および第２のビニング後画素ユニット６３０Ｄ−２に含まれる第１の緑色画素（Ｇ１）の画素値の比率、または第３のビニング信号６００Ｄ−３の第３のビニング後画素ユニット６３０Ｄ−３および第４のビニング後画素ユニット６３０Ｄ−４に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０Ｄ−１〜第１６の復元画素ユニット７１０Ｄ−１６に含まれる第１の緑色画素（Ｇ１）の画素値であるＰ１〜Ｐ１６は、表５に示す式で算出することができる。 In the division conversion in the row direction, the third binning signal 600D-3 is taken into consideration as the pixel value of the first green pixel (G1) included in the restored pixel unit 710D. Specifically, the pixel value of the first green pixel (G1) included in the restored pixel unit 710D is the first post-binning pixel unit 630D-1 and the second post-binning of the third binning signal 600D-3. The ratio of the pixel values of the first green pixel (G1) included in the pixel unit 630D-2, or the third post-binning pixel unit 630D-3 and the fourth post-binning pixel unit of the third binning signal 600D-3. The ratio of the pixel values of the first green pixel (G1) included in the 630D-4 is taken into consideration. Therefore, P 1 to P 16 which are pixel values of the first green pixel (G1) included in the first restored pixel unit 710D-1 to the 16th restored pixel unit 710D-16 are represented by the formulas shown in Table 5. Can be calculated.

Figure 0006864942
Figure 0006864942

図１９Ｂに示す４×４個の復元画素ユニット７１０Ｄは、ビニング処理前の画素ユニット群５００Ｄに含まれる４×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０のノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｄを含む画像信号７００Ｄは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。 The 4 × 4 restored pixel unit 710D shown in FIG. 19B corresponds to the 4 × 4 pixel unit 200 included in the pixel unit group 500D before the binning process. Therefore, by executing the above-mentioned resolution restoration process, the resolution lowered by the binning process can be restored. Further, the noise amount of the restored pixel unit 710 whose resolution has been restored is smaller than the noise amount of the unbinned pixel unit 200 due to the nature of random noise. Therefore, the S / N of the image signal 700D including the restored pixel unit 710D generated by the resolution restoration process is improved, and the decrease in image resolution is reduced.

第４のフレーム以降も、順次、第１のビニング信号６００Ｄ−１〜第３のビニング信号６００Ｄ−３が生成される。すなわち、連続する３つのフレームには、第１のビニング信号６００Ｄ−１〜第３のビニング信号６００Ｄ−３が含まれる。したがって、各フレームに対応して、順次、画像信号７００Ｄが生成されるため、フレームレートは変わらない。 From the fourth frame onward, the first binning signal 600D-1 to the third binning signal 600D-3 are sequentially generated. That is, the three consecutive frames include the first binning signal 600D-1 to the third binning signal 600D-3. Therefore, since the image signal 700D is sequentially generated corresponding to each frame, the frame rate does not change.

上述した解像度の復元処理の説明では、第１のビニング信号６００Ｄ−１と第２のビニング信号６００Ｄ−２とを合成し、その後、第３のビニング信号６００Ｄ−３を合成したが、ビニング信号６００Ｄを合成する順序はこれに限られない。第２のビニング信号６００Ｄ−２と第３のビニング信号６００Ｄ−３とを合成し、その後、第１のビニング信号６００Ｄ−１を合成してもよい。また、第３のビニング信号６００Ｄ−３と第１のビニング信号６００Ｄ−１とを合成し、その後、第２のビニング信号６００Ｄ−２を合成してもよい。 In the above description of the resolution restoration process, the first binning signal 600D-1 and the second binning signal 600D-2 are combined, and then the third binning signal 600D-3 is synthesized, but the binning signal 600D The order of synthesizing is not limited to this. The second binning signal 600D-2 and the third binning signal 600D-3 may be combined, and then the first binning signal 600D-1 may be combined. Further, the third binning signal 600D-3 and the first binning signal 600D-1 may be combined, and then the second binning signal 600D-2 may be combined.

なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。 The binning process and the resolution restoration process described above are examples, and are not limited thereto.

本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ｄを出力することができる。 The imaging system 100 according to the embodiment of the present invention can restore the resolution of the image lowered by the binning process and output the image signal 700D having high sensitivity and high resolution without changing the frame rate.

＜第６実施形態＞
撮像システム１００において、ビニングされる画素は、隣接または連続する画素に限られない。ここでは、図２０〜図２３Ｂを参照して、隣接または連続しない画素を含む被ビニング領域に適用されるビニングパターンのビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態〜第５実施形態で説明した構成と同様の構成については説明を省略する場合がある。 <Sixth Embodiment>
In the imaging system 100, the pixels to be binned are not limited to adjacent or continuous pixels. Here, with reference to FIGS. 20 to 23B, a binning process of a binning pattern applied to a binned area including adjacent or non-consecutive pixels and a resolution restoration process will be described. In the following, the description may be omitted for the same configurations as those described in the first to fifth embodiments.

［１．ビニング処理］
図２０は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。 [1. Binning process]
FIG. 20 is a schematic diagram illustrating a binning process of a first binning pattern executed in the first frame in the imaging system 100 according to the embodiment of the present invention.

図２０には、各々がベイヤー配列された４×４個の画素ユニット２００を含む画素ユニット群５００Ｅが示されている。画素ユニット群５００Ｅは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ｅの中の４個の被ビニング領域５１０Ｅ（第１の被ビニング領域５１０Ｅ−１〜第４の被ビニング領域５１０Ｅ−４）に対して実行されるビニング処理である。４個の被ビニング領域５１Ｅの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０Ｅは、互いに隣接して配置されている。第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｅ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｅ内の４個の画素ユニットが、ビニング後画素ユニット６１０Ｅ（第１のビニング後画素ユニット６１０Ｅ−１〜第４のビニング後画素ユニット６１０Ｅ−４）に変換される。 FIG. 20 shows a pixel unit group 500E including 4 × 4 pixel units 200, each of which is Bayer-arranged. The pixel unit group 500E is a part of the pixel array of the pixel unit 110. The first binning pattern is a binning process executed on four binning regions 510E (first binning regions 510E-1 to fourth binning regions 510E-4) in the pixel unit group 500E. Is. Each of the four binned areas 51E includes four (2 × 2) pixel units 200 adjacent to each other. Further, the four binning areas 510E are arranged adjacent to each other. In the binning process of the first binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 510E are binned. In other words, in the binning process of the first binning pattern, the four pixel units in the binned area 510E are the post-binning pixel units 610E (the first post-binning pixel units 610E-1 to the fourth post-binning pixels. It is converted to unit 610E-4).

したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６１０Ｅ（第１のビニング後画素ユニット６１０Ｅ−１〜第４のビニング後画素ユニット６１０Ｅ−４）を含む第１のビニング信号６００Ｅ−１が生成される。 Therefore, when the binning process of the first binning pattern is executed in the first frame, four (2 × 2) post-binning pixel units 610E (first post-binning pixel units 610E-1 to 4) A first binning signal 600E-1 including a post-binning pixel unit 610E-4) is generated.

図２１は、本発明の一実施形態に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。 FIG. 21 is a schematic diagram illustrating a binning process of a second binning pattern executed in the second frame in the imaging system according to the embodiment of the present invention.

図２１には、図２０に示された４×４個の画素ユニット２００を含む画素ユニット群５００Ｅが示されている。第２のビニングパターンは、画素ユニット群５００Ｅの中の被ビニング領域５２０Ｅ（第１の被ビニング領域５２０Ｅ−１〜第４の被ビニング領域５２０Ｅ−４）に対して実行されるビニング処理である。第１の被ビニング領域５２０Ｅ−１は、第１の領域５２０Ｅ−１Ａおよび第２の領域５２０Ｅ−１Ｂを含み、第１の領域５２０Ｅ−１Ａおよび第２の領域５２０Ｅ−１Ｂの各々は、行方向において隣接する２個（２×１個）の画素ユニット２００を含む。第１の領域５２０Ｅ−１Ａと第２の領域５２０Ｅ−１Ｂとは隣接しておらず、列方向において１個の画素ユニット２００だけ離れて配置されている。すなわち、第２のビニングパターンは、離れた画素をビニングするビニング処理である。 FIG. 21 shows a pixel unit group 500E including the 4 × 4 pixel units 200 shown in FIG. The second binning pattern is a binning process executed for the binning region 520E (first binning region 520E-1 to fourth binning region 520E-4) in the pixel unit group 500E. The first binning region 520E-1 includes a first region 520E-1A and a second region 520E-1B, and each of the first region 520E-1A and the second region 520E-1B is in the row direction. Includes two (2 × 1) pixel units 200 adjacent to each other. The first region 520E-1A and the second region 520E-1B are not adjacent to each other, and are arranged so as to be separated by one pixel unit 200 in the column direction. That is, the second binning pattern is a binning process for binning distant pixels.

同様に、第２の被ビニング領域５２０Ｅ−２は、第１の領域５２０Ｅ−２Ａおよび第２の領域５２０Ｅ−２Ｂを含み、第３の被ビニング領域５２０Ｅ−３は、第１の領域５２０Ｅ−３Ａおよび第２の領域５２０Ｅ−３Ｂを含み、第４の被ビニング領域５２０Ｅ−４は、第１の領域５２０Ｅ−４Ａおよび第２の領域５２０Ｅ−４Ｂを含む。 Similarly, the second binning region 520E-2 includes a first region 520E-2A and a second region 520E-2B, and the third binning region 520E-3 is a first region 520E-3A. And a second region 520E-3B, and a fourth binning region 520E-4 includes a first region 520E-4A and a second region 520E-4B.

隣接する２つの列に着目すると、一方の列では、第１の被ビニング領域の第１の領域５２０Ｅ−１Ａおよび第２の領域５２０Ｅ−１Ｂと第３の被ビニング領域の第１の領域５２０Ｅ−３Ａおよび第２の領域５２０Ｅ−３Ｂとが互い違いに配置されている。また、他方の列では、第２の被ビニング領域の第１の領域５２０Ｅ−２Ａおよび第２の領域５２０Ｅ−２Ｂと第４の被ビニング領域の第１の領域５２０Ｅ−４Ａおよび第２の領域５２０Ｅ−４Ｂとが互い違いに配置されている。 Focusing on two adjacent columns, in one column, the first region 520E-1A and the second region 520E-1B of the first binning region and the first region 520E- of the third binning region 3A and the second region 520E-3B are staggered. Further, in the other column, the first region 520E-2A and the second region 520E-2B of the second binning region and the first region 520E-4A and the second region 520E of the fourth binning region -4B and -4B are arranged alternately.

行方向においては、第１の被ビニング領域の第１の領域５２０Ｅ−１Ａおよび第２の領域５２０Ｅ−１Ｂは、それぞれ、第２の被ビニング領域の第１の領域５２０Ｅ−２Ａおよび第２の領域５２０Ｅ−２Ｂと隣接している。同様に、第３の被ビニング領域の第１の領域５２０Ｅ−３Ａおよび第２の領域５２０Ｅ−３Ｂは、それぞれ、第４の被ビニング領域の第１の領域５２０Ｅ−４Ａおよび第２の領域５２０Ｅ−４Ｂと隣接している。 In the row direction, the first region 520E-1A and the second region 520E-1B of the first binning region are the first region 520E-2A and the second region of the second binning region, respectively. It is adjacent to 520E-2B. Similarly, the first region 520E-3A and the second region 520E-3B of the third binning region are the first region 520E-4A and the second region 520E- of the fourth binning region, respectively. Adjacent to 4B.

第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｅ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｅ内の４個の画素ユニット２００が、ビニング後画素ユニット６２０Ｅ（第１のビニング後画素ユニット６２０Ｅ−１〜第４のビニング後画素ユニット６２０Ｅ−４）に変換される。 In the binning process of the second binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 520E are binned. In other words, in the binning process of the second binning pattern, the four pixel units 200 in the binned area 520E are the post-binning pixel units 620E (the first post-binning pixel units 620E-1 to the fourth after binning. It is converted into a pixel unit 620E-4).

したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６２０Ｅ（第１のビニング後画素ユニット６２０Ｅ−１〜第４のビニング後画素ユニット６２０Ｅ−４）を含む第２のビニング信号６００Ｅ−２が生成される。 Therefore, when the binning process of the second binning pattern is executed in the second frame, four (2 × 2) post-binning pixel units 620E (first post-binning pixel units 620E-1 to 4) A second binning signal 600E-2 including the post-binning pixel unit 620E-4) is generated.

第２のビニングパターンが適用される被ビニング領域５２０Ｅは、第１のビニングパターンが適用される被ビニング領域５１０Ｅと異なる。そのため、第２のフレームでビニングされる画素の組み合わせは、第１のフレームでビニングされる画素の組み合わせと異なる。 The binning area 520E to which the second binning pattern is applied is different from the binning area 510E to which the first binning pattern is applied. Therefore, the combination of pixels binned in the second frame is different from the combination of pixels binned in the first frame.

図２２は、本発明の一実施形態に係る撮像システム１００において、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。 FIG. 22 is a schematic diagram illustrating a binning process of a third binning pattern executed in the third frame in the imaging system 100 according to the embodiment of the present invention.

図２２には、図２０に示された４×４個の画素ユニット２００を含む画素ユニット群５００Ｅが示されている。第３のビニングパターンは、画素ユニット群５００Ｅの中の被ビニング領域５３０Ｅ（第１の被ビニング領域５３０Ｅ−１〜第４の被ビニング領域５３０Ｅ−４）に対して実行されるビニング処理である。４個の被ビニング領域５３０Ｅの各々は、列方向において連続する４個（１×４個）の画素ユニット２００を含む。また、４個の被ビニング領域５３０Ｅは、行方向において連続して配置されている。第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｅ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｅ内の４個の画素ユニットが、ビニング後画素ユニット６３０Ｅ（第１のビニング後画素ユニット６３０Ｅ−１〜第４のビニング後画素ユニット６３０Ｅ−４）に変換される。 FIG. 22 shows a pixel unit group 500E including the 4 × 4 pixel units 200 shown in FIG. The third binning pattern is a binning process executed for the binning region 530E (first binning region 530E-1 to fourth binning region 530E-4) in the pixel unit group 500E. Each of the four binned areas 530E includes four (1 × 4) pixel units 200 that are continuous in the row direction. Further, the four binning regions 530E are arranged continuously in the row direction. In the binning process of the third binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 530E are binned. In other words, in the binning process of the third binning pattern, the four pixel units in the binned area 530E are the post-binning pixel units 630E (the first post-binning pixel units 630E-1 to the fourth post-binning pixels. It is converted to unit 630E-4).

したがって、第３のフレームにおいて第３のビニングパターンのビニング処理が実行されると、４個（４×１個）のビニング後画素ユニット６３０Ｅ（第１のビニング後画素ユニット６３０Ｅ−１〜第４のビニング後画素ユニット６３０Ｅ−４）を含む第３のビニング信号６００Ｅ−３が生成される。 Therefore, when the binning process of the third binning pattern is executed in the third frame, four (4 × 1) post-binning pixel units 630E (first post-binning pixel units 630E-1 to 4) A third binning signal 600E-3 including the post-binning pixel unit 630E-4) is generated.

第３のビニングパターンが適用される被ビニング領域５３０Ｅは、第１のビニングパターンが適用される被ビニング領域５１０Ｅおよび第２のビニングパターンが適用される被ビニング領域５２０Ｅと異なる。そのため、第３のフレームでビニングされる画素の組み合わせは、第１のフレームでビニングされる画素の組み合わせおよび第２のフレームでビニングされる画素の組み合わせのいずれとも異なる。 The binning area 530E to which the third binning pattern is applied is different from the binning area 510E to which the first binning pattern is applied and the binning area 520E to which the second binning pattern is applied. Therefore, the combination of pixels binned in the third frame is different from both the combination of pixels binned in the first frame and the combination of pixels binned in the second frame.

［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する３つのフレームに含まれる第１のビニング信号６００Ｅ−１〜第３のビニング信号６００Ｅ−３を合成して解像度を復元する。以下では、図２３Ａおよび図２３Ｂを参照して、第１のビニング信号６００Ｅ−１〜第３のビニング信号６００Ｅ−３を合成する解像度の復元処理について説明する。 [2. Resolution restoration process]
In the present embodiment, the resolution is restored by synthesizing the first binning signals 600E-1 to the third binning signals 600E-3 included in the three consecutive frames generated by the above-mentioned binning process. Hereinafter, the resolution restoration process for synthesizing the first binning signal 600E-1 to the third binning signal 600E-3 will be described with reference to FIGS. 23A and 23B.

本実施形態では、第１のビニング信号６００Ｅ−１の第１のビニング後画素ユニット６１０Ｅ−１〜第４のビニング後画素ユニット６１０Ｅ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１〜Ｋ４とする。同様に、第２のビニング信号６００Ｅ−２の第１のビニング後画素ユニット６２０Ｅ−１〜第４のビニング後画素ユニット６２０Ｅ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１〜Ｌ４とする。同様に、第３のビニング信号６００Ｅ−３の第１のビニング後画素ユニット６３０Ｅ−１〜第４のビニング後画素ユニット６３０Ｅ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｍ１〜Ｍ４とする。また、本実施形態では、ビニング後画素ユニット６１０Ｅ〜６３０Ｅに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ｅ〜６３０Ｅに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。 In the present embodiment, the pixel value of the first green pixel (G1) included in the first post-binning pixel unit 610E-1 to the fourth post-binning pixel unit 610E-4 of the first binning signal 600E-1 is set. , K 1 to K 4 , respectively. Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 620E-1 to the fourth post-binning pixel unit 620E-4 of the second binning signal 600E-2 are set respectively. , L 1 to L 4 . Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 630E-1 to the fourth post-binning pixel unit 630E-4 of the third binning signal 600E-3 are set respectively. , M 1 to M 4 . Further, in the present embodiment, the resolution restoration process for the first green pixel (G1) included in the post-binning pixel units 610E to 630E will be described, but the blue pixel (B) included in the post-binning pixel units 610E to 630E. , The red pixel (R), and the second green pixel (G2) can be similarly subjected to the resolution restoration process.

図２３Ａおよび図２３Ｂは、本発明の一実施形態に係る撮像システム１００において、解像度の復元処理を説明する模式図である。 23A and 23B are schematic views illustrating a resolution restoration process in the imaging system 100 according to the embodiment of the present invention.

始めに、図２３Ａに示すように、第１のビニング信号６００Ｅ−１と第２のビニング信号６００Ｅ−２とを合成し、合成ビニング後画素ユニット６２１Ｅ（第１の合成ビニング後画素ユニット６２１Ｅ−１〜第８の合成ビニング後画素ユニット６２１Ｅ−８）を生成する。 First, as shown in FIG. 23A, the first binning signal 600E-1 and the second binning signal 600E-2 are combined, and the combined binning post-pixel unit 621E (first synthetic post-binning pixel unit 621E-1) is combined. -The eighth post-synthetic binning pixel unit 621E-8) is generated.

合成ビニング後画素ユニット６２１Ｅは、第１のビニング信号６００Ｅ−１のビニング後画素ユニット６１０Ｅの面積を列方向において２倍に拡張した後、２つに分割する変換によって生成される。合成ビニング後画素ユニット６２１Ｅに含まれる第１の緑色画素（Ｇ１）の画素値は、第１のビニング信号６００Ｅ−１のビニング後画素ユニット６１０Ｅに含まれる第１の緑色画素（Ｇ１）を基に、第２のビニング信号６００Ｅ−２の２つのビニング後画素ユニット６２０Ｅに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。例えば、第１の合成ビニング後画素ユニット６２１Ｅ−１および第２の合成ビニング後画素ユニット６２１Ｅ−２は、第１のビニング信号６００Ｅ−１の第１のビニング後画素ユニット６１０Ｅ−１に含まれる第１の緑色画素（Ｇ１）の画素値を基に、第２のビニング信号６００Ｅ−２の第１のビニング後画素ユニット６２０Ｅ−１および第２のビニング後画素ユニット６２０Ｅ−２の第１の緑色画素（Ｇ１）の画素値の比率を考慮して算出することができる。したがって、第１の合成ビニング後画素ユニット６２１Ｅ−１〜第８の合成ビニング後画素ユニット６２１Ｅ−８に含まれる第１の緑色画素（Ｇ１）の画素値であるＫ１’、Ｋ１’’、Ｋ２’、Ｋ２’’、Ｋ３’、Ｋ３’’、Ｋ４’、およびＫ４’’は、表６に示す式で算出することができる。 The composite binning pixel unit 621E is generated by a conversion in which the area of the post-binning pixel unit 610E of the first binning signal 600E-1 is doubled in the column direction and then divided into two. The pixel value of the first green pixel (G1) included in the composite binning pixel unit 621E is based on the first green pixel (G1) included in the binning pixel unit 610E of the first binning signal 600E-1. , The ratio of the pixel values of the first green pixel (G1) included in the two post-binning pixel units 620E of the second binning signal 600E-2 is taken into consideration. For example, the first post-synthetic binning pixel unit 621E-1 and the second post-synthetic binning pixel unit 621E-2 are included in the first post-binning pixel unit 610E-1 of the first binning signal 600E-1. Based on the pixel value of the green pixel (G1) of 1, the first green pixel of the first post-binning pixel unit 620E-1 and the second post-binning pixel unit 620E-2 of the second binning signal 600E-2. It can be calculated in consideration of the ratio of the pixel values of (G1). Therefore, K 1 ', K 1 ', which are the pixel values of the first green pixel (G1) included in the first composite binning pixel unit 621E-1 to the eighth composite binning pixel unit 621E-8, K 2 ', K 2 '', K 3 ', K 3 '', K 4 ', and K 4 '' can be calculated by the formulas shown in Table 6.

Figure 0006864942
Figure 0006864942

次に、図２３Ｂに示すように、第３のビニング信号６００Ｅ−３が合成されて、復元画素ユニット７１０Ｅ（第１の復元画素ユニット７１０Ｅ−１〜第１６の復元画素ユニット７１０Ｅ−１６）を含む画像信号７００Ｅが生成される。 Next, as shown in FIG. 23B, the third binning signal 600E-3 is combined to include the restored pixel unit 710E (first restored pixel unit 710E-1 to 16th restored pixel unit 710E-16). The image signal 700E is generated.

復元画素ユニット７１０Ｅは、合成ビニング後画素ユニット６２１Ｅの面積を行方向において２倍に拡張した後、２つに分割する変換によって生成される。復元画素ユニット７１０Ｅに含まれる第１の緑色画素（Ｇ１）の画素値は、合成ビニング後画素ユニット６２１Ｅに含まれる第１の緑色画素（Ｇ１）を基に、第３のビニング信号６００Ｅ−３の２つのビニング後画素ユニット６３０Ｅに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。例えば、第１の復元画素ユニット７１０Ｅ−１および第２の復元画素ユニット７１０Ｅ−２は、第１の合成ビニング後画素ユニット６２１Ｅ−１に含まれる第１の緑色画素（Ｇ１）の画素値を基に、第３のビニング信号６００Ｅ−３の第１のビニング後画素ユニット６３０Ｅ−１および第２のビニング後画素ユニット６３０Ｅ−２に含まれる第１の緑色画素（Ｇ１）の画素値の比率を考慮して算出することができる。したがって、第１の復元画素ユニット７１０Ｅ−１〜第１６の復元画素ユニット７１０Ｅ−１６に含まれる第１の緑色画素（Ｇ１）の画素値であるＰ１〜Ｐ１６は、表７に示す式で算出することができる。 The restored pixel unit 710E is generated by a conversion in which the area of the pixel unit 621E after synthetic binning is doubled in the row direction and then divided into two. The pixel value of the first green pixel (G1) included in the restored pixel unit 710E is based on the first green pixel (G1) included in the pixel unit 621E after synthetic binning, and the pixel value of the third binning signal 600E-3. The ratio of the pixel values of the first green pixel (G1) included in the two binning pixel units 630E is taken into consideration. For example, the first restored pixel unit 710E-1 and the second restored pixel unit 710E-2 are based on the pixel values of the first green pixel (G1) included in the first post-synthetic binning pixel unit 621E-1. In addition, the ratio of the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 630E-1 and the second post-binning pixel unit 630E-2 of the third binning signal 600E-3 is taken into consideration. Can be calculated. Therefore, P 1 to P 16 which are pixel values of the first green pixel (G1) included in the first restored pixel unit 710E-1 to the 16th restored pixel unit 710E-16 are represented by the formulas shown in Table 7. Can be calculated.

Figure 0006864942
Figure 0006864942

図２３Ｂに示す４×４個の復元画素ユニット７１０Ｅは、ビニング処理前の画素ユニット群５００Ｅに含まれる４×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｅのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｅを含む画像信号７００Ｅは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。 The 4 × 4 restored pixel unit 710E shown in FIG. 23B corresponds to the 4 × 4 pixel unit 200 included in the pixel unit group 500E before the binning process. Therefore, by executing the above-mentioned resolution restoration process, the resolution lowered by the binning process can be restored. Further, the noise amount of the restored pixel unit 710E whose resolution has been restored is smaller than the noise amount of the unbinned pixel unit 200 due to the nature of random noise. Therefore, the S / N of the image signal 700E including the restored pixel unit 710E generated by the resolution restoration process is improved, and the decrease in image resolution is reduced.

本実施形態では、第４のフレーム以降も、順次、第１のビニング信号６００Ｅ−１〜第３のビニング信号６００Ｅ−３が生成される。すなわち、連続する３つのフレームには、第１のビニング信号６００Ｅ−１〜第３のビニング信号６００Ｅ−３が含まれる。したがって、各フレームに対応して、順次、画像信号７００Ｅが生成されるため、フレームレートは変わらない。 In the present embodiment, the first binning signals 600E-1 to the third binning signals 600E-3 are sequentially generated even after the fourth frame. That is, the three consecutive frames include the first binning signal 600E-1 to the third binning signal 600E-3. Therefore, since the image signal 700E is sequentially generated corresponding to each frame, the frame rate does not change.

上述の解像度の復元処理では、第１のビニング信号６００Ｅ−１を基に、第２のビニング信号６００Ｅ−２および第３のビニング信号６００Ｅ−３を合成したが、合成する順序はこれに限られない。第２のビニング信号６００Ｅ−２を基に、第３のビニング信号６００Ｅ−３および第１のビニング信号６００Ｅ−１を合成してもよく、第３のビニング信号６００Ｅ−３を基に、第１のビニング信号６００Ｅ−１および第２のビニング信号６００Ｅ−２を合成してもよい。 In the above-mentioned resolution restoration process, the second binning signal 600E-2 and the third binning signal 600E-3 are synthesized based on the first binning signal 600E-1, but the order of synthesizing is limited to this. Absent. The third binning signal 600E-3 and the first binning signal 600E-1 may be synthesized based on the second binning signal 600E-2, and the first binning signal 600E-3 may be combined based on the third binning signal 600E-3. The binning signal 600E-1 and the second binning signal 600E-2 may be combined.

なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。 The binning process and the resolution restoration process described above are examples, and are not limited thereto.

本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ｅを出力することができる。 The imaging system 100 according to the embodiment of the present invention can restore the resolution of the image lowered by the binning process and output the image signal 700E having high sensitivity and high resolution without changing the frame rate.

＜第７実施形態＞
第３実施形態で説明したように、撮像システム１００において、解像度の復元処理に用いる複数のビニング信号の各々に含まれるビニング後画素ユニットの数は異なっていてもよい。ここでは、図２４〜図２７を参照して、第３実施形態とは異なるビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態〜第６実施形態で説明した構成と同様の構成については説明を省略する場合がある。 <7th Embodiment>
As described in the third embodiment, in the imaging system 100, the number of post-binning pixel units included in each of the plurality of binning signals used for the resolution restoration process may be different. Here, with reference to FIGS. 24 to 27, a binning process and a resolution restoration process different from those in the third embodiment will be described. In the following, the description may be omitted for the same configurations as those described in the first to sixth embodiments.

［１．ビニング処理］
図２４は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。 [1. Binning process]
FIG. 24 is a schematic diagram illustrating a binning process of the first binning pattern executed in the first frame in the imaging system 100 according to the embodiment of the present invention.

図２４には、各々がベイヤー配列された２×８個の画素ユニット２００を含む画素ユニット群５００Ｆが示されている。画素ユニット群５００Ｆは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ｆの中の４個の被ビニング領域５１０Ｆ（第１の被ビニング領域５１０Ｆ−１〜第４の被ビニング領域５１０Ｆ−４）に対して実行されるビニング処理である。４個の被ビニング領域５１０Ｆの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０Ｆは、列方向に連続して配置されている。第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｆ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｆ内の４個の画素ユニット２００が、ビニング後画素ユニット６１０Ｆ（第１のビニング後画素ユニット６１０Ｆ−１〜第４のビニング後画素ユニット６１０Ｆ−４）に変換される。 FIG. 24 shows a pixel unit group 500F including 2 × 8 pixel units 200, each of which is Bayer-arranged. The pixel unit group 500F is a part of the pixel array of the pixel unit 110. The first binning pattern is a binning process executed on four binning regions 510F (first binning regions 510F-1 to fourth binning regions 510F-4) in the pixel unit group 500F. Is. Each of the four binned areas 510F includes four (2 × 2) pixel units 200 adjacent to each other. Further, the four binning areas 510F are continuously arranged in the row direction. In the binning process of the first binning pattern, four pixels of the same color included in the four pixel units 200 in the binned area 510F are binned. In other words, in the binning process of the first binning pattern, the four pixel units 200 in the binned area 510F are the post-binning pixel units 610F (the first post-binning pixel units 610F-1 to the fourth after binning. It is converted to the pixel unit 610F-4).

したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（１×４個）のビニング後画素ユニット６１０Ｆ（第１のビニング後画素ユニット６１０Ｆ−１〜第４のビニング後画素ユニット６１０Ｆ−４）を含む第１のビニング信号６００Ｆ−１が生成される。 Therefore, when the binning process of the first binning pattern is executed in the first frame, four (1 × 4) post-binning pixel units 610F (first post-binning pixel units 610F-1 to 4) A first binning signal 600F-1 including a post-binning pixel unit 610F-4) is generated.

図２５は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。 FIG. 25 is a schematic diagram illustrating a binning process of a second binning pattern executed in the second frame in the imaging system 100 according to the embodiment of the present invention.

図２５には、図２４に示された２×８個の画素ユニット２００を含む画素ユニット群５００Ｆが示されている。第２のビニングパターンは、画素ユニット群５００Ｆの中の６個の被ビニング領域５２０Ｆ（第１の被ビニング領域５２０Ｆ−１〜第６の被ビニング領域５２０Ｆ−６）に対して実行されるビニング処理である。６個の被ビニング領域５２０Ｆの各々は、列方向において隣接する２個（１×２個）の画素ユニット２００を含む。また、６個の被ビニング領域５２０Ｆは、隣接して配置されている。第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｆ内の２個の画素ユニットに含まれる同色の２個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｆ内の２個の画素ユニット２００が、ビニング後画素ユニット６２０Ｆ（第１のビニング後画素ユニット６２０Ｆ−１〜第６のビニング後画素ユニット６２０Ｆ−６）に変換される。 FIG. 25 shows a pixel unit group 500F including the 2 × 8 pixel units 200 shown in FIG. 24. The second binning pattern is a binning process executed on six binning regions 520F (first binning regions 520F-1 to sixth binning regions 520F-6) in the pixel unit group 500F. Is. Each of the six binned areas 520F includes two (1 × 2) pixel units 200 adjacent in the row direction. Further, the six binning areas 520F are arranged adjacent to each other. In the binning process of the second binning pattern, two pixels of the same color included in the two pixel units in the binned area 520F are binned. In other words, in the binning process of the second binning pattern, the two pixel units 200 in the binned area 520F have the post-binning pixel unit 620F (first post-binning pixel units 620F-1 to 6th after binning). It is converted to the pixel unit 620F-6).

したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、６個（２×３個）のビニング後画素ユニット６２０Ｆ（第１のビニング後画素ユニット６２０Ｆ−１〜第６のビニング後画素ユニット６２０Ｆ−６）を含む第２のビニング信号６００Ｆ−２が生成される。 Therefore, when the binning process of the second binning pattern is executed in the second frame, six (2 × 3) post-binning pixel units 620F (first post-binning pixel units 620F-1 to 6) After binning, a second binning signal 600F-2 including the pixel unit 620F-6) is generated.

［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する２つのフレームに含まれる第１のビニング信号６００Ｆ−１および第２のビニング信号６００Ｆ−２を用いて解像度を復元する。以下では、第１のビニング信号６００Ｆ−１を基に第２のビニング信号６００Ｆ−２を合成する解像度の復元処理（図２６）および第２のビニング信号６００Ｆ−２を基に第１のビニング信号６００Ｆ−１を合成する解像度の復元処理（図２７）について説明する。 [2. Resolution restoration process]
In the present embodiment, the resolution is restored by using the first binning signal 600F-1 and the second binning signal 600F-2 included in the two consecutive frames generated by the above-mentioned binning process. In the following, a resolution restoration process for synthesizing a second binning signal 600F-2 based on the first binning signal 600F-1 (FIG. 26) and a first binning signal based on the second binning signal 600F-2. The resolution restoration process (FIG. 27) for synthesizing 600F-1 will be described.

本実施形態では、第１のビニング信号６００Ｆ−１の第１のビニング後画素ユニット６１０Ｆ−１〜第４のビニング後画素ユニット６１０Ｆ−４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１〜Ｋ４とする。同様に、第２のビニング信号６００Ｆ−２の第１のビニング後画素ユニット６２０Ｆ−１〜第６のビニング後画素ユニット６２０Ｆ−６に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１〜Ｌ６とする。また、本実施形態では、ビニング後画素ユニット６１０Ｆおよび６２０Ｆに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ｆおよび６２０Ｆに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。 In the present embodiment, the pixel value of the first green pixel (G1) included in the first post-binning pixel unit 610F-1 to the fourth post-binning pixel unit 610F-4 of the first binning signal 600F-1 is set. , K 1 to K 4 , respectively. Similarly, the pixel values of the first green pixel (G1) included in the first post-binning pixel unit 620F-1 to the sixth post-binning pixel unit 620F-6 of the second binning signal 600F-2 are set respectively. , L 1 to L 6 . Further, in the present embodiment, the resolution restoration process for the first green pixel (G1) included in the post-binning pixel units 610F and 620F will be described, but the blue pixel (B) included in the post-binning pixel units 610F and 620F , The red pixel (R), and the second green pixel (G2) can be similarly subjected to the resolution restoration process.

図２６は、本発明の一実施形態に係る撮像システム１００において、第１のビニング信号６００Ｆ−１を基に第２のビニング信号６００Ｆ−２を合成する解像度の復元処理を説明する模式図である。 FIG. 26 is a schematic diagram illustrating a resolution restoration process for synthesizing a second binning signal 600F-2 based on a first binning signal 600F-1 in an imaging system 100 according to an embodiment of the present invention. ..

図２６に示すように、第１のビニング信号６００Ｆ−１を基に第２のビニング信号６００Ｆ−２が合成されて、復元画素ユニット７１０Ｆ（第１の復元画素ユニット７１０Ｆ−１〜第８の復元画素ユニット７１０Ｆ−８）を含む画像信号７００Ｆが生成される。 As shown in FIG. 26, the second binning signal 600F-2 is synthesized based on the first binning signal 600F-1, and the restoration pixel unit 710F (first restoration pixel unit 710F-1 to eighth restoration). An image signal 700F including a pixel unit 710F-8) is generated.

第１のビニング信号６００Ｆ−１を基に解像度を復元する場合、第１のビニング信号６００Ｆ−１のビニング後画素ユニット６１０Ｆの一部である第２のビニング後画素ユニット６１０Ｆ−２および第３のビニング後画素ユニット６１０Ｆ−３を用いてもよい。復元画素ユニット７１０Ｆは、列方向に、第２のビニング後画素ユニット６１０Ｆ−２および第３のビニング後画素ユニット６１０Ｆ−３を補間し、それぞれの面積を行方向において２倍に拡張した後、２つに分割する変換によって生成される。復元画素ユニット７１０Ｆに含まれる第１の緑色画素（Ｇ１）の画素値は、第１のビニング信号６００Ｆ−１のビニング後画素ユニット６１０Ｆに含まれる第１の緑色画素（Ｇ１）を基に、第２のビニング信号６００Ｆ−２の２つのビニング後画素ユニット６２０Ｆに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０Ｆ−１〜第８の復元画素ユニット７１０Ｆ−８に含まれる第１の緑色画素（Ｇ１）である画素値Ｐ１〜Ｐ８は、表８に示す式で算出することができる。 When the resolution is restored based on the first binning signal 600F-1, the second post-binning pixel unit 610F-2 and the third post-binning pixel unit 610F-2, which are a part of the post-binning pixel unit 610F of the first binning signal 600F-1, After binning, the pixel unit 610F-3 may be used. The restored pixel unit 710F interpolates the second post-binning pixel unit 610F-2 and the third post-binning pixel unit 610F-3 in the column direction, expands the respective areas twice in the row direction, and then 2 Generated by a transform that splits into two. The pixel value of the first green pixel (G1) included in the restored pixel unit 710F is based on the first green pixel (G1) included in the post-binning pixel unit 610F of the first binning signal 600F-1. The ratio of the pixel values of the first green pixel (G1) included in the two post-binning pixel units 620F of the binning signal 600F-2 of 2 is taken into consideration. Accordingly, the first decompressed pixel unit 710F-. 1 to 8 the first pixel value P 1 is a green pixel (G1) to P 8 included in the decompressed pixel unit 710F-8 of the calculated by the equation shown in Table 8 can do.

Figure 0006864942
Figure 0006864942

図２６に示す２×４個の復元画素ユニット７１０Ｆは、ビニング処理前の画素ユニット群５００Ｆに含まれる２×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｆのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｆを含む画像信号７００Ｆは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。 The 2 × 4 restored pixel unit 710F shown in FIG. 26 corresponds to the 2 × 4 pixel unit 200 included in the pixel unit group 500F before the binning process. Therefore, by executing the above-mentioned resolution restoration process, the resolution lowered by the binning process can be restored. Further, the noise amount of the restored pixel unit 710F whose resolution has been restored is smaller than the noise amount of the unbinned pixel unit 200 due to the nature of random noise. Therefore, the S / N of the image signal 700F including the restored pixel unit 710F generated by the resolution restoration process is improved, and the decrease in image resolution is reduced.

図２７は、本発明の一実施形態に係る撮像システム１００において、第２のビニング信号６００Ｆ−２を基に第１のビニング信号６００Ｆ−１を合成する解像度の復元処理を説明する模式図である。 FIG. 27 is a schematic diagram illustrating a resolution restoration process for synthesizing a first binning signal 600F-1 based on a second binning signal 600F-2 in the imaging system 100 according to the embodiment of the present invention. ..

図２７に示すように、第２のビニング信号６００Ｆ−２を基に第１のビニング信号６００Ｆ−１が合成されて、復元画素ユニット７１０Ｆ’（第１の復元画素ユニット７１０Ｆ’−１〜第８の復元画素ユニット７１０Ｆ’−８）を含む画像信号７００Ｆ’が生成される。 As shown in FIG. 27, the first binning signal 600F-1 is synthesized based on the second binning signal 600F-2, and the restored pixel unit 710F'(first restored pixel unit 710F'-1 to 8th). The image signal 700F'including the restored pixel unit 710F'-8) of the above is generated.

復元画素ユニット７１０Ｆ’は、列方向に第３のビニング後画素ユニット６２０Ｆ−３および第４のビニング後画素ユニット６２０Ｆ−４を補間し、２つに分割する変換によって生成される。ここでは、第３のビニング後画素ユニット６２０Ｆ−３および第４のビニング後画素ユニット６２０Ｆ−４を補間したが、第１のビニング後画素ユニット６２０Ｆ−１〜第６のビニング後画素ユニット６２０Ｆ−６のいずれを補間してもよい。復元画素ユニット７１０Ｆ’に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００Ｆ−２のビニング後画素ユニット６２０Ｆに含まれる第１の緑色画素（Ｇ１）を基に、第１のビニング信号６００Ｆ−１の２つのビニング後画素ユニット６１０Ｆに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０Ｆ’−１〜第８の復元画素ユニット７１０Ｆ’−８に含まれる第１の緑色画素（Ｇ１）である画素値Ｐ’１〜Ｐ’８は、表９に示す式で算出することができる。 The restored pixel unit 710F'is generated by a conversion in which the third post-binning pixel unit 620F-3 and the fourth post-binning pixel unit 620F-4 are interpolated in the column direction and divided into two. Here, the third post-binning pixel unit 620F-3 and the fourth post-binning pixel unit 620F-4 are interpolated, but the first post-binning pixel unit 620F-1 to the sixth post-binning pixel unit 620F-6 are interpolated. Any of the above may be interpolated. The pixel value of the first green pixel (G1) included in the restored pixel unit 710F'is based on the first green pixel (G1) included in the post-binning pixel unit 620F of the second binning signal 600F-2. The ratio of the pixel values of the first green pixel (G1) included in the two post-binning pixel units 610F of the first binning signal 600F-1 is taken into consideration. Accordingly, the first decompressed pixel unit 710F'-1~ first green pixel (G1) pixel values P '1 to P' 8 is contained in the decompressed pixel unit 710F'-8 The eighth Table 9 It can be calculated by the formula shown below.

Figure 0006864942
Figure 0006864942

図２７に示す２×４個の復元画素ユニット７１０Ｆ’は、ビニング処理前の画素ユニット群５００Ｆに含まれる２×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｆ’のノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｆ’を含む画像信号７００Ｆ’は、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。 The 2 × 4 restored pixel units 710F ′ shown in FIG. 27 correspond to the 2 × 4 pixel units 200 included in the pixel unit group 500F before the binning process. Therefore, by executing the above-mentioned resolution restoration process, the resolution lowered by the binning process can be restored. Further, the noise amount of the restored pixel unit 710F' whose resolution has been restored is smaller than the noise amount of the unbinned pixel unit 200 due to the nature of random noise. Therefore, the S / N of the image signal 700F'including the restoration pixel unit 710F' generated by the resolution restoration processing is improved, and the decrease in image resolution is reduced.

以上、本発明の各実施形態について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、各実施形態の撮像システムを基にして、当業者が適宜構成の追加、削除、または設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。 Although each embodiment of the present invention has been described above with reference to the drawings, the present invention is not limited to the above-described embodiment, and can be appropriately modified without departing from the spirit of the present invention. For example, a system in which a person skilled in the art appropriately adds, deletes, or changes the design based on the imaging system of each embodiment is also included in the scope of the present invention as long as it has the gist of the present invention. Further, each of the above-described embodiments can be appropriately combined as long as there is no contradiction with each other, and technical matters common to each embodiment are included in each embodiment even if there is no explicit description.

また、上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。 In addition, even if other effects different from the effects brought about by the above-described embodiments of the above-described embodiments, those that are clear from the description of the present specification or those that can be easily predicted by those skilled in the art are of course. Is understood to be brought about by the present invention.

１００：撮像システム、
１１０：画素部、 １２０：ビニング処理部、 １３０：解像度復元処理部、１４０：第１の記憶部、 １５０：センサ部、 １６０：画像信号処理部、 １７０：第２の記憶部、 １８０：表示部、
２００：画素ユニット、
５００、５００Ａ、５００Ｃ、５００Ｄ、５００Ｅ、５００Ｆ：画素ユニット群、
５１０〜５３０、５１０Ａ〜５２０Ａ、５１０Ｃ〜５４０Ｃ、５１０Ｄ〜５３０Ｄ、５１０Ｅ〜５３０Ｅ、５１０Ｆ〜５２０Ｆ：被ビニング領域、
６００、６００Ａ、６００Ｂ、６００Ｃ、６００Ｄ、６００Ｅ、６００Ｆ：ビニング信号、
６１０〜６３０、６１０Ａ〜６２０Ａ、６１０Ｂ〜６３０Ｂ、６１０Ｃ〜６４０Ｃ、６１０Ｄ〜６３０Ｄ、６１０Ｅ〜６３０Ｅ、６１０Ｆ〜６２０Ｆ：ビニング後画素ユニット、
６１１：拡張ビニング後画素ユニット、
６２１、６２１Ｄ、６２１Ｅ：合成ビニング後画素ユニット、
６２２：拡張ビニング後画素ユニット、
７００、７００Ａ、７００Ｂ、７００Ｃ、７００Ｄ、７００Ｅ、７００Ｆ、７００Ｆ’：画像信号、
７１０、７１０Ａ、７１０Ｂ、７１０Ｃ、７１０Ｄ、７１０Ｅ、７１０Ｆ、７１０Ｆ’：復元画素ユニット
100: Imaging system,
110: Pixel unit, 120: Binning processing unit, 130: Resolution restoration processing unit, 140: First storage unit, 150: Sensor unit, 160: Image signal processing unit, 170: Second storage unit, 180: Display unit ,
200: Pixel unit,
500, 500A, 500C, 500D, 500E, 500F: Pixel unit group,
510 to 530, 510A to 520A, 510C to 540C, 510D to 530D, 510E to 530E, 510F to 520F: Binning area,
600, 600A, 600B, 600C, 600D, 600E, 600F: Binning signal,
610-630, 610A-620A, 610B-630B, 610C-640C, 610D-630D, 610E-630E, 610F-620F: Pixel unit after binning,
611: Pixel unit after extended binning,
621, 621D, 621E: Pixel unit after synthetic binning,
622: Pixel unit after extended binning,
700, 700A, 700B, 700C, 700D, 700E, 700F, 700F': Image signal,
710, 710A, 710B, 710C, 710D, 710E, 710F, 710F': Restored pixel unit

Claims (10)

連続する第１乃至第ｎのフレーム（ｎは２以上の整数）において、第１の方向または第２の方向に配列された複数の画素をビニングし、第１乃至第ｎのビニング信号を生成するビニング処理部と、
前記第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理部と、を含み、
ビニングされる前記複数の画素の組み合わせは、前記第１乃至第ｎのフレームごとに異なり、
前記第１乃至第ｎのフレームの少なくとも２つのフレームにおいて、前記第１の方向および前記第２の方向のうちの一方向でビニングされる前記画素の個数が異なる、撮像システム。 In consecutive first to nth frames (n is an integer of 2 or more), a plurality of pixels arranged in the first direction or the second direction are binned to generate the first to nth binning signals. Binning processing department and
A resolution restoration processing unit that synthesizes the first to nth binning signals and generates an image signal whose resolution has been restored is included.
The combination of the plurality of pixels to be binned is varies for each frame of said first to n,
An imaging system in which at least two frames of the first to nth frames have different numbers of pixels binned in one of the first direction and the second direction. 連続する第１乃至第ｎのフレーム（ｎは３以上の整数）において、第１の方向または第２の方向に配列された複数の画素をビニングし、第１乃至第ｎのビニング信号を生成するビニング処理部と、
前記第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理部と、を含み、
ビニングされる前記複数の画素の組み合わせは、前記第１乃至第ｎのフレームごとに異なり、
前記画像信号に含まれる１個の画素の画素値は、前記第１乃至第ｎのビニング信号のそれぞれに含まれた画素の画素値が合成されて算出される、撮像システム。 In consecutive first to nth frames (n is an integer of 3 or more), a plurality of pixels arranged in the first direction or the second direction are binned to generate the first to nth binning signals. Binning processing department and
A resolution restoration processing unit that synthesizes the first to nth binning signals and generates an image signal whose resolution has been restored is included.
The combination of the plurality of pixels to be binned differs for each of the first to nth frames.
The pixel value of one pixel included in the image signal, the pixel values of the pixels included in each of the first to binning signal n-th Ru is calculated are combined, an imaging system. 前記第１乃至第ｎのフレームのいずれか１つのフレームにおいて、ビニングされる前記複数の画素は、前記第１の方向で隣接する２個の画素または前記第２の方向で隣接する２個の画素を含む、請求項１または請求項２に記載の撮像システム。 In any one of the first to nth frames, the plurality of pixels to be binned are two pixels adjacent to each other in the first direction or two pixels adjacent to each other in the second direction. The imaging system according to claim 1 or 2, comprising the above. 前記第１乃至第ｎのフレームのいずれか１つのフレームにおいて、ビニングされる前記複数の画素は、互いに隣接する４個の画素である、請求項１または請求項２に記載の撮像システム。 The imaging system according to claim 1 or 2 , wherein in any one of the first to nth frames, the plurality of pixels binned are four pixels adjacent to each other. 前記第１乃至第ｎフレームの少なくとも２つのフレームの各々において、ビニングされる前記複数の画素は、前記第１の方向で隣接する２個の画素および前記第２の方向で隣接する２個の画素のうちの一方を含む４個の画素である、請求項１または請求項２に記載の撮像システム。 In each of at least two frames of the first to nth frames, the plurality of pixels to be binned are two pixels adjacent to each other in the first direction and two pixels adjacent to each other in the second direction. The imaging system according to claim 1 or 2 , wherein the imaging system has four pixels including one of the two. 前記４個の画素は、互いに隣接し、
前記少なくとも２つのフレームの一方においてビニングされる前記４個の画素の位置は、前記少なくとも２つのフレームの他方においてビニングされる前記４個の画素の位置に対して、前記第１の方向または前記第２の方向にシフトしている、請求項５に記載の撮像システム。 The four pixels are adjacent to each other and
The position of the four pixels binned in one of the at least two frames is the first direction or the position of the four pixels binned in the other of the at least two frames. The imaging system according to claim 5 , which is shifted in the direction of 2. 前記第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる前記複数の画素は、前記第１の方向で連続する４個の画素である、請求項１乃至請求項６のいずれか一項に記載の撮像システム。 Any one of claims 1 to 6 , wherein the plurality of pixels binned in at least one of the first to nth frames are four pixels continuous in the first direction. The imaging system described in. 前記第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる前記複数の画素は、前記第２の方向で連続する４個の画素である、請求項７に記載の撮像システム。 The imaging system according to claim 7 , wherein the plurality of pixels binned in at least one of the first to nth frames are four pixels continuous in the second direction. 前記第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる前記複数の画素は、前記第１の方向で隣接する２個の画素である、請求項１乃至請求項６のいずれか一項に記載の撮像システム。 One of claims 1 to 6 , wherein the plurality of pixels binned in at least one of the first to nth frames are two pixels adjacent to each other in the first direction. The imaging system described in. 前記第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる前記複数の画素は、前記第２の方向で隣接する２個の画素である、請求項９に記載の撮像システム。 The imaging system according to claim 9 , wherein the plurality of pixels binned in at least one of the first to nth frames are two pixels adjacent to each other in the second direction.
JP2020192051A 2020-11-18 2020-11-18 Imaging system Active JP6864942B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020192051A JP6864942B1 (en) 2020-11-18 2020-11-18 Imaging system
JP2021056117A JP2022080822A (en) 2020-11-18 2021-03-29 Imaging system
CN202111333607.8A CN114520872B (en) 2020-11-18 2021-11-11 Shooting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020192051A JP6864942B1 (en) 2020-11-18 2020-11-18 Imaging system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021056117A Division JP2022080822A (en) 2020-11-18 2021-03-29 Imaging system

Publications (2)

Publication Number Publication Date
JP6864942B1 true JP6864942B1 (en) 2021-04-28
JP2022080778A JP2022080778A (en) 2022-05-30

Family

ID=75638808

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020192051A Active JP6864942B1 (en) 2020-11-18 2020-11-18 Imaging system
JP2021056117A Pending JP2022080822A (en) 2020-11-18 2021-03-29 Imaging system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021056117A Pending JP2022080822A (en) 2020-11-18 2021-03-29 Imaging system

Country Status (1)

Country Link
JP (2) JP6864942B1 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008053791A1 (en) * 2006-10-31 2010-02-25 三洋電機株式会社 Imaging apparatus and video signal generation method in imaging apparatus
JP5202106B2 (en) * 2008-05-27 2013-06-05 三洋電機株式会社 Image processing apparatus and imaging apparatus
JP5159461B2 (en) * 2008-06-20 2013-03-06 三洋電機株式会社 Image processing apparatus, image processing method, and imaging apparatus
JP2010124277A (en) * 2008-11-20 2010-06-03 Mitsubishi Electric Corp Imaging apparatus
JP2011097568A (en) * 2009-10-02 2011-05-12 Sanyo Electric Co Ltd Image sensing apparatus
JP2011109219A (en) * 2009-11-13 2011-06-02 Mitsubishi Electric Corp Image signal processing apparatus and method
JP2015032917A (en) * 2013-07-31 2015-02-16 株式会社東芝 Solid state image pickup device
JP6095519B2 (en) * 2013-08-09 2017-03-15 三菱電機株式会社 Imaging device

Also Published As

Publication number Publication date
CN114520872A (en) 2022-05-20
JP2022080822A (en) 2022-05-30
JP2022080778A (en) 2022-05-30

Similar Documents

Publication Publication Date Title
JP5053654B2 (en) Image processing apparatus and method and electronic camera
JP5751986B2 (en) Image generation device
KR100781552B1 (en) Apparatus and method for recovering high pixel image processing
US9282253B2 (en) System and method for multiple-frame based super resolution interpolation for digital cameras
US20060146153A1 (en) Method and apparatus for processing Bayer image data
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US20080122946A1 (en) Apparatus and method of recovering high pixel image
JP2011227578A (en) Image processing apparatus, imaging apparatus, program, and image processing method
US20090167917A1 (en) Imaging device
US7355156B2 (en) Solid-state image pickup device, image pickup unit and image processing method
JP6864942B1 (en) Imaging system
KR101332689B1 (en) Image sensor and method for converting output pattern of image sensor
JP4810807B2 (en) Moving picture conversion apparatus, moving picture restoration apparatus and method, and computer program
US9129405B2 (en) Image processing apparatus and method
CN114520872B (en) Shooting system
JP6565326B2 (en) Imaging display device and control method thereof
EP2248102A2 (en) Method and device for reconstructing a color image
WO2014156669A1 (en) Image processing device and image processing method
JP2007006038A (en) Image processing apparatus, image processing method, program, and storage medium
JP2012095020A (en) Image signal processing device, image signal processing method and program
WO2015083502A1 (en) Image processing device, method and program
JP5305992B2 (en) Image processing apparatus and image processing method
JP6521763B2 (en) Image processing apparatus, imaging apparatus, image processing method, program, and recording medium
WO2022113866A1 (en) Detection device, imaging device, detection method, and program
JP2013211720A (en) Image recording device, image recording program, and image display program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201222

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210329

R150 Certificate of patent or registration of utility model

Ref document number: 6864942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250