JP6377855B2 - 結像方法、結像装置及び電子装置 - Google Patents

結像方法、結像装置及び電子装置 Download PDF

Info

Publication number
JP6377855B2
JP6377855B2 JP2017528779A JP2017528779A JP6377855B2 JP 6377855 B2 JP6377855 B2 JP 6377855B2 JP 2017528779 A JP2017528779 A JP 2017528779A JP 2017528779 A JP2017528779 A JP 2017528779A JP 6377855 B2 JP6377855 B2 JP 6377855B2
Authority
JP
Japan
Prior art keywords
photosensitive
pixel
binning
image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017528779A
Other languages
English (en)
Other versions
JP2018502492A (ja
Inventor
チーチュン ヂョウ,
チーチュン ヂョウ,
Original Assignee
クワントン オーピーピーオー モバイル テレコミュニケーションズ コーポレイション リミテッド
クワントン オーピーピーオー モバイル テレコミュニケーションズ コーポレイション リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クワントン オーピーピーオー モバイル テレコミュニケーションズ コーポレイション リミテッド, クワントン オーピーピーオー モバイル テレコミュニケーションズ コーポレイション リミテッド filed Critical クワントン オーピーピーオー モバイル テレコミュニケーションズ コーポレイション リミテッド
Publication of JP2018502492A publication Critical patent/JP2018502492A/ja
Application granted granted Critical
Publication of JP6377855B2 publication Critical patent/JP6377855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

優先権情報
本出願は、2015年12月18日に中国国家知識産権局に提出された特許出願番号が201510964215.Xである特許出願の優先権及び権益を主張するものであり、当該中国特許出願の全内容は参照により本明細書に組み入れられる。
本発明は、結像技術に関し、特に結像方法、結像装置及び電子装置に関する。
従来の結像装置のイメージセンサーが低輝度環境で生成した画像には、ノイズが多く、シャープネスが悪いなどという不都合が存在するおそれがある。
本発明の目的は、先行技術における少なくとも一つの技術的課題を解決することである。このために、本発明は、結像方法、結像装置及び電子装置を提供する。
本発明の実施形態における結像方法は、感光画素アレイと前記感光画素アレイに設けられたフィルタとを含むイメージセンサーを提供し、前記フィルタは、フィルタユニットアレイを含み、前記フィルタの各前記フィルタユニットが、複数の前記感光画素をカバーするとともにビニング画素を構成するステップと、前記感光画素アレイの出力を読み出し、同一の前記ビニング画素の前記感光画素の出力を加算して前記ビニング画素の画素値を取得してビニング画像を生成するステップと、を含む。
ビニング画素のノイズがビニング前の各画素のノイズの和より小さいため、低輝度において信号ノイズ比や、輝度及びシャープネスが比較的高く、ノイズの比較的少ない画像をこの結像方法により得ることができ、先行技術における一部の結像方法の欠点が克服される。
一部の実施形態において、前記結像装置はレジスタを含み、各前記フィルタユニットが2×2個の前記感光画素をカバーする。
前記読み出すステップは、さらに、k行目及び(k+1)行目の前記感光画素の出力を取得して前記レジスタに記憶するステップと、前記レジスタから前記k行目及び(k+1)行目の前記感光画素の出力を抽出し、同一の前記ビニング画素の前記感光画素の出力を加算して前記ビニング画素の画素値を得るステップと、を含む。
ここで、k=2n-1であり、nが自然数であり、k+1が前記感光画素アレイの総行数の以下である。
一部の実施形態において、前記読み出すステップは、前記感光画素により発生されたアナログ信号出力をデジタル信号出力に変換するステップをさらに含むこととしてもよい。
本発明は、結像装置をさらに提供する。
当該結像装置は、イメージセンサーと前記イメージセンサーに接続される画像処理モジュールとを含み、前記イメージセンサーは、感光画素アレイと前記感光画素アレイに設けられたフィルタとを含み、前記フィルタは、フィルタユニットアレイを含み、各前記フィルタユニットが複数の前記感光画素をカバーするとともにビニング画素を構成し、前記画像処理モジュールは、前記感光画素アレイの出力を読み出し、同一の前記合併画素の前記感光画素の出力を加算して前記ビニング画素の画素値を取得してビニング画像を生成する。
ビニング画素のノイズがビニング前の各画素のノイズの和より小さいため、低輝度において信号ノイズ比や、輝度及びシャープネスの比較的高く、ノイズの比較的少ない画像をこの結像方法により得ることができ、先行技術における一部の結像方法の欠点が克服される。
一部の実施形態において、前記イメージセンサーは、CMOSイメージセンサーを含むこととしてもよい。
一部の実施形態において、前記フィルタユニットアレイは、ベイヤーアレイを含むこととしてもよい。
一部の実施形態において、各前記フィルタユニットが、2×2個の前記感光画素をカバーすることとしてもよい。
一部の実施形態において、前記結像装置は、前記感光画素アレイを行ごとに順次露光するように制御する制御モジュールを含むこととしてもよい。
一部の実施形態において、前記結像装置は、レジスタをさらに含み、前記制御モジュールは、現在露光されたk行目及び(k+1)行目の前記感光画素の出力を順次に取得して前記レジスタに記憶することとしてもよい。
ここで、k=2n-1であり、nが自然数であり、k+1が前記感光画素アレイの総行数以下である。
一部の実施形態において、前記イメージセンサーは、アナログデジタルコンバーターを含み、各前記感光画素は、それぞれ一つのアナログデジタルコンバーターに接続され、前記アナログデジタルコンバーターは、前記感光画素のアナログ信号出力をデジタル信号出力に変換することとしてもよい。
前記デジタル信号出力は前記レジスタに記憶される。
前記画像処理モジュールは、同一の前記ビニング画素の前記感光画素の前記デジタル信号の出力を加算して前記ビニング画素の画素値を得る。
一部の実施形態において、前記イメージセンサーは、前記フィルタに設けられたマイクロミラーアレイを含み、各前記マイクロレンズが一つの前記感光画素に対応することとしてもよい。
本発明は、前記結像装置を含む電子装置をさらに提供する。
本発明の実施形態における電子装置で本発明の実施形態における結像方法及び結像装置の有益な効果を実現することができる。
一部の実施形態において、前記電子装置は、携帯電話を含むこととしてもよい。
一部の実施形態において、前記結像装置は、前記携帯電話のフロントカメラを含むこととしてもよい。
一部の実施形態において、前記電子装置は、前記結像装置に接続された中央処理装置と、外部メモリーと、を含み、前記中央処理装置は、前記外部メモリーが前記ビニング画像を記憶することを制御することとしてもよい。
一部の実施形態において、前記電子装置は、前記結像装置に接続される中央処理装置と、表示装置と、をさらに含み、前記中央処理装置は、前記表示装置が前記ビニング画像を表示することを制御することとしてもよい。
本発明の付加的な特徴及び利点は、一部が下記の説明の中にあり、一部が下記の説明により明らかになり、又は本発明の実践により理解される。
本発明の上記及び/又は付加的な特徴及び利点は、以下の図面に組み合わせて本実施形態に対する説明の中で、明らかになり、理解されやすい。
本発明の実施形態における結像方法のフローチャートである。 本発明の実施形態における結像方法の読み取りフローチャートである。 本発明の実施形態における結像方法の読み取りフローチャートである。 本発明の実施形態における結像装置の構造概略図である。 本発明の実施形態における結像装置のフィルタユニットアレイ概略図である。 ベイヤーアレイ概略図である。 本発明の実施形態における結像装置のイメージセンサーの立体構造概略図である。 本発明の実施形態における結像装置の機能モジュール概略図である。 本発明の実施形態における結像装置の機能モジュール概略図である。 本発明の実施形態における結像装置の機能モジュール概略図である。 本発明の実施形態における結像装置の感光画素及び関連回路概略図である。 本発明の実施形態における結像装置の合成画素及び関連回路概略図である。 本発明の実施形態における結像装置のイメージセンサーの立体構造概略図である。 本発明の実施形態における結像装置のイメージセンサーの構造概略図である。 本発明の実施形態における電子装置の機能モジュール概略図である。 本発明の実施形態における電子装置の機能モジュール概略図である。
以下に、本発明の実施形態を詳しく説明する。前記実施形態の例が図面に示されるが、同一または類似する符号は、常に相同又は類似の部品、又は相同又は類似の機能を有する部品を表す。以下に、図面を参照しながら説明される実施形態は例示的なものであり、本発明を解釈するために用いられ、本発明を限定するものと理解してはならない。
以下に、図面に組み合わせて本発明の実施形態における結像方法、イメージセンサー及び電子装置をさらに説明する。
図1を参照すると、本発明の実施形態における結像方法はS101ステップとS102ステップとを含む。
S101ステップ:
感光画素アレイと、感光画素アレイに設けられたフィルタと、を含み、フィルタは、フィルタユニットアレイを含み、各フィルタユニットが複数の感光画素をカバーするとともにビニング画素を構成するイメージセンサーを提供する。
S102ステップ:
感光画素アレイの出力を読み出し、同一のビニング画素の感光画素の出力を加算してビニング画素の画素値を取得してビニング画像を生成する。
本発明の実施形態における結像方法は、仮に、元の各感光画素の出力をSとし、ノイズをNとし、ビニング画素がn×m個の感光画素を含む場合、ビニング画素の画素値がn×m×Sとなり、ビニング画素のノイズが
Figure 0006377855
となり、n=2、m=2の場合、ビニング画素のノイズがおよそN/2であるため、ビニング画像の輝度が低輝度の環境において高められるとともに、信号ノイズ比も高められる。
図2を参照すると、ある一部の実施形態において、イメージセンサーの各フィルタユニットが2×2個の感光画素をカバーし、S102ステップは、S201ステップとS202ステップとをさらに含む。
S201ステップ:
k行目及び(k+1)行目の感光画素の出力を取得してレジスタに記憶する。
ここで、k=2n-1であり、nが正の整数であり、k+1が感光画素アレイの総行数の以下である。
S202ステップ:
レジスタからk行目及び(k+1)行目の感光画素の出力を抽出し、同一のビニング画素の感光画素の出力を加算してビニング画素の画素値を得る。
このようにすると、レジスタを十分に利用することにより、感光セルの出力の読み出し、バッファ及びビニングを行う過程を実現することができる。
図3を参照すると、ある一部の実施形態において、S102ステップは、S301ステップとS302ステップとをさらに含む。
S301ステップ:
感光画素により発生されたアナログ信号出力をデジタル信号出力に変換する。
S302ステップ:
同一のビニング画素の感光画素のデジタル信号出力を加算してビニング画素の画素値を得る。
このようにすると、第1に、一般的にデジダル信号プロセッサである画像処理モジュールは、イメージセンサーの出力を直接に処理することができる。第2に、回路を介してイメージセンサーのアナログ信号フォーマットの出力を直接に処理するものと比べて、後端のデジタル信号プロセッサである画像処理モジュールを介してイメージセンサーの出力を処理することで、前端のイメージセンサーにおける各感光画素が取得した情報は比較的良好に保留された。このようにすることで、各感光画素が取得した情報を単独に利用して高い解像度の画像を生成することもできるし、一部の感光画素をビニングするという方式で低い解像度であるが、ノイズの低く、信号ノイズ比の高く、シャープネスの高い画像を生成することもできる。例えば、16M画素のイメージセンサーにとって、本発明の実施形態における結像方法で4M画素(2×2の画像をビニングする)画像を生成することもできるし、16M画素(即ちビニングしない)の元画像を生成することもできる。
本発明の実施形態における結像方法は、本発明の実施形態における結像装置100により実現される。
図4及び図5を参照すると、本発明の実施形態における結像装置100は、感光画素アレイ11と、感光画素アレイ11に設けられたフィルタ13と、を含み、フィルタ13は、フィルタユニットアレイ131を含み、各フィルタユニット1315が複数の感光画素111をカバーするとともにビニング画素を構成するイメージセンサー10と、イメージセンサー10に接続され、感光画素アレイ11の出力を読み出し、同一のビニング画素の感光画素111の出力を加算してビニング画素の画素値を取得してビニング画像を生成する画像処理モジュール30と、を含む。
本発明の実施形態における結像装置100は、複数の感光画素111の出力をビニングしてビニング画素の画素値とすることで、伝統的な結像装置に比べて、本発明の実施形態における結像装置100が低輝度で得た画像は、ノイズが比較的低く、信号ノイズ比が比較的に高く、シャープネスが比較的に高い。
本発明の実施形態におけるイメージセンサー10はCMOSセンサーであってもよい。CMOSセンサーは、エネルギー消耗が低く、撮影システムのサイズが小さく、コストが比較的に低い。
図5を参照すると、ある一部の実施形態において、フィルタユニットアレイ131はベイヤーアレイ(Bayer pattern)を含む。ベイヤーアレイは一種のありふれたフィルタユニットアレイ構造であり、ベイヤーアレイにおいて、フィルタユニット1315は緑色(G)と、赤色(R)と、青色(B)とを含む。二つの緑色のフィルタユニットと、一つの赤色のフィルタユニットと、一つの青色のフィルタユニットとは、ひとつのフィルタ構造1313を構成する。
ベイヤー構造を用いることにより、伝統的なベイヤー構造に対するアルゴリズムで画像信号を処理することができ、ハードウェア構造において、大きく調整する必要がない。
図6を参照すると、伝統的なフィルタユニットアレイ131構造において、各フィルタ構造1313は、四つのフィルタユニット1315を含む。各フィルタユニット1315は一つの感光画素及び画像画素に対応する。図5を参照すると、本実施形態において、フィルタユニットアレイ131はベイヤー構造を採用してもよく、異なるのは、各フィルタユニット1315が複数の感光画素111に対応する。
図5及び図7を参照すると、一部の実施形態において、ビニング画素を形成するために、各フィルタユニット1315が2×2個の感光画素111に対応する。
光照射の微小な差異のため、各フィルタユニット1315に対応する四つの感光画素111に対応する出力も異なる可能性があるので、ビニング画素の出力はその2×2個の感光画素111の出力をまとめた。
本実施形態におけるビニング画素構造を採用することにより、低輝度において結像のノイズを下げ、信号ノイズ比及びシャープネスを著しく高めることができる。
ビニング画素構造における複数の感光画素111の間の配列方式として、2×2の構造以外に、3×3、4×4、ひいては任意のn×mなどの構造(n、mが自然数である)を採用することができる。感光画素アレイ11に配列することができる感光画素111の数が限られているため、各ビニング画素に含まれる感光画素111が多ければ、画像の解像度の大きさが制約されることが理解されよう。例えば、感光画素アレイ11の画素値が16Mであれば、2×2のビニング画素構造を用いて解像度が4Mであるビニング画像が得られるが、4×4の構造を用いると、解像度が1Mであるビニング画像しか得られない。従って、2×2のビニング画素構造が一つの比較的好適な配列方式であり、解像度をできるだけ少なく犠牲する前提で画像の輝度及びシャープネスを高める。
図8を参照すると、一部の実施形態において、結像装置100は、感光画素アレイ11を行ごとに順次露光するように制御する制御モジュール40をさらに含む。制御モジュール40に行選択論理ユニット41及び列選択論理ユニット43が接続され、感光画素111の出力を行ごとに順次処理する。行ごとに順次露光し出力する方式は、回路により容易に実現される。
具体的に、図8及び図11を参照すると、結像装置100は、行選択論理ユニット41及び列選択論理ユニット43に接続される制御モジュール40を含む。行選択論理ユニット41及び列選択論理ユニット43は、各感光画素に対応するスイッチ管1115に接続され、制御モジュール40は特定位置の感光画素のスイッチ管1115を選択・連通させるために行選択論理ユニット41及び列選択論理ユニット43を制御する。例えば、第1感光画素を出力させるために、一行目の感光画素のスイッチ管1115が閉じるように制御し、その他の行の感光画素のスイッチ管1115を切るように制御する。
図9を参照すると、本実施形態において、結像装置100は、レジスタ50をさらに含む。制御モジュール40は、現在露光されたk行目及び(k+1)行目の感光画素111の出力を順次に取得してレジスタ50に記憶する。
ここで、k=2n-1であり、nが自然数であり、k+1が感光画素アレイ11の総行数以下である。
具体的に、制御モジュール40は、まず一行目及び二行目の感光画素の出力を取得してレジスタ50に記憶する。画像処理モジュール30は、位置座標が1−1、1−2、2−1、2−2である四つの感光画素の出力を加算してビニング画素の画素値を得る。位置座標中、左の数字が行を表し、右の数字が列を表す。
ビニング画素の画素値は、座標が1−1、1−2、2−1、2−2である四つの感光画素に対応するビニング画素の出力であると理解することができる。
画像処理モジュール30は、座標が1−3、1−4、2−3、2−4である四つの感光画素の出力を加算してビニング画素の画素値を得る。
このように、一行目及び二行目の最後のひと組の四つの感光画素111の処理が完成されるまで類推する。
以上の処理方式に従って、画像処理モジュールは、全部の感光画素の出力の処理がすべて完成されるまで三行目及び四行目、五行目及び六行目などの感光画素の出力を処理する。
この時、画像処理モジュールは、すべてのビニング画素の画素値に基づいてビニング画像を生成する。
図10及び図11を参照すると、一部の実施例において、結像装置100は、アナログデジタルコンバーター17をさらに含む。各感光画素111が一つのアナログデジタルコンバーター17に接続され、アナログデジタルコンバーター17が感光画素111のアナログ信号出力をデジタル信号出力に変換する。
本実施形態における感光画素はフォトダイオード1113を含む。フォトダイオード1113が光を電荷に転化させ、生成された電荷と光強度とが比例関係となる。スイッチ管1115は行選択論理ユニット41及び列選択論理ユニット43の制御信号に基づいて回路の導通及び遮断を制御する。回路が導通される場合、ソースフォロアー1117(source follower)は、フォトダイオード1113の、光照射による電荷信号を電圧信号に転化させる。アナログデジタルコンバーター17(Analog−to−digital converter)は電圧信号をデジタル信号に変換し、画像処理モジュール30に転送し、処理させる。画像処理モジュール30はイメージシグナルプロセッサ(image signal processor)を含む。
具体的に、図11及び図12を参照すると、位置が1−1、1−2、2−1、2−2である四つの感光画素をビニング画素とし、各感光画素に対応するフォトダイオード1113がスイッチ管1115に接続され、スイッチ管1115は行選択論理ユニット41及び列選択論理ユニット43の制御信号に基づいて回路の導通及び遮断を制御する。回路が導通される場合、ソースフォロアー1117は、フォトダイオード1113の、光照射による電荷信号を電圧信号に転化させる。アナログデジタルコンバーター17は電圧信号をデジタル信号に変換し、レジスタ50に転送する。
一部の実施形態において、一行目の感光画素と、対応付けられる二行目の感光画素との出力は並列であるため、一行目と二行目との感光画素の出力が同時に取得されない。行選択論理ユニット41及び列選択論理ユニット43の制御信号により一行目の感光画素のスイッチ管1115を閉じるとともにその他の行の感光画素のスイッチ管1115を切ることで一行目の感光画素の出力をレジスタ50に記憶し、次に二行目の感光画素のスイッチ管1115を閉じるとともにその他の行の感光画素のスイッチ管1115を切ることで二行目の感光画素の出力をレジスタに記憶するよう制御する。このように、レジスタ50は二行の感光画素の出力を得た後に画像処理モジュール30により計算・処理される。
この出力処理方式により、感光画素の出力が画像処理モジュール30に入力されてビニングされる。例えば、イメージシグナルプロセッサにおいて、ソフトウェアを介して、感光画素の出力をビニングしてビニング画素の画素値を得るので、各感光画素の出力情報が損なわれやすくなく、最終的に生成された画像に悪点が現れる確率は比較的に低い。なお、この出力処理方式のノイズが比較的に小さく、信号ノイズ比が比較的に高い。
図13を参照すると、一部の実施形態において、イメージセンサー10は、フィルタ13に設けられたマイクロミラーアレイ19を含み、各マイクロレンズ191が一つの感光画素111に対応する。
図13及び図14を参照すると、各マイクロレンズ191が一つの感光画素111に対応し、大きさ、位置の対応を含む。マイクロレンズ191は、光を感光画素111の感光部分111に集め、感光画素111の受光強度を高め、結像の画質を改善することができる。一部の実施形態において、ビニング画素を形成するために、各フィルタユニット1315が2×2個の感光画素111及び2×2個のマイクロレンズ191に対応する。
技術の発達に伴い、解像度のより高い画像を得るために、フィルタにある感光画素111がますます多くなり、配列がますます密集になり、単一の感光画素111もますます小さくなっているため、その受光は影響され、また、感光画素111の感光部分1111の面積が限られており、マイクロレンズ191は光を感光部分1111に集め、感光画素111の受光強度を高め、画像の画質を改善することができる。
以上、本発明の実施形態における結像装置の各フィルタユニットが複数の感光画素をカバーし、画像処理モジュールは、複数の感光画素の出力を加算してビニング画素の出力を得る。このように、伝統的な結像装置の構造に比べて、本構造の結像装置が低輝度で得た画像のノイズが比較的に低く、信号ノイズ比が比較的に高く、シャープネスが比較的に高い。
本発明は、結像装置を応用する電子装置をさらに提供する。ある一部の実施形態において、電子装置は結像装置を含むため、電子装置は撮影機能を有し、低輝度において信号ノイズ比の高く、シャープネスの高いビニング画像を生成する。
電子装置は携帯電話であってもよい。
ある一部の実施形態において、結像装置は携帯電話のフロントカメラであってもよい。フロントカメラがセルフ撮影に使用されることは多いが、セルフ撮影について、一般的に画像のシャープネスに対する要求があるが、画像の解像度に対する要求が高くないため、本発明の実施例における電子装置を用いることでこの要求を満たすことができる。
図15を参照すると、一部の実施形態において、電子装置200は、結像装置100に接続される中央処理装置81と外部メモリー83とを含み、中央処理装置81は、外部メモリー83がビニング画像を記憶することを制御する。
このように、生成されたビニング画像が記憶されることで、以後の検索、使用又は移動は便利になる。外部メモリー83は、SM(Smart Media(登録商標))カード及びCF(Compact Flash)カードなどを含む。
図16を参照すると、一部の実施形態において、電子装置200は、結像装置100に接続される中央処理装置81と表示装置85とをさらに含み、中央処理装置81は、表示装置85がビニング画像を表示することを制御する。このように、電子装置200が撮影した画像は、ユーザの検索のために表示装置に表示される。表示装置はLEDディスプレイなどを含む。
以上、本発明の実施形態における電子装置を用いることで、撮影機能を有するとともに、低輝度において信号ノイズ比の高く、シャープネスの高いビニング画像を生成することができる。特に、この電子装置が携帯電話のフロントカメラである場合、低輝度においてセルフ撮影された画像の輝度及びシャープネスを高めることができる。
本発明の実施形態における結像方法及び電子装置の中で展開されていない部分について、上記実施形態における結像装置に対応する部分を参考にすることができ、ここでは、詳しく展開しない。
本発明の説明において、「一つの実施例」、「一部の実施例」、「例示的な実施形態」、「例」、「具体的な例」、又は「一部の例」などの用語を参考した説明とは、前記実施形態又は例に合わせて説明された具体的な特徴、構成、材料又は特徴が、本発明の少なくとも一つの実施形態又は例に含まれる。本明細書において、上記用語に対する例示的な説明は、必ずしも同じ実施形態或いは例を示すことではない。また、説明された具体的な特徴、構成、材料又は特徴は、いずれか一つ又は複数の実施形態又は例において適切に結合することができる。
フローチャートの中の、又はここでその他の方式で説明されたあらゆる過程又は方法説明は、特定の論理機能又は過程のステップを実現することに使われる一つ又は更なる多くの実行可能なコマンドのコードのモジュール、セグメント又は一部を含み、又は本発明の好ましい実施形態の範囲はほかの実現を含み、示された又は議論された順序に従わずに、関連機能に基づいてほとんど同時の形態又は反対の順序に従うことを含み、機能を実行できることを表すことと理解されてもよい。これは本発明の実施例の当業者に理解されるべきである。
フローチャートで示された、又はここでその他の形態で説明された論理及び/又はステップは、例えば、論理機能の実現を実現するための実行可能な定配列表であってよく、あらゆるコンピューター読み取り可能な媒体において具体的に実現可能であり、コマンド実行システム、装置又は設備(例えば、コンピューターをベースにしたシステム、プロセッサを含むシステム、又はコマンド実行システム、装置又は設備からコマンドを取るとともにコマンドを実行することができるその他のシステム)により使用され、又はこれらのコマンド実行システム、装置又は設備に合わせて使用される。本明細書について、「コンピューター読み取り可能な媒体」は、プログラムを包括、記憶、通信、伝播又は伝送することができる、コマンド実行システム、装置又は設備に使用され、又はこれらのコマンド実行システム、装置又は設備に合わせて使用されるあらゆる装置であってもよい。コンピューター読み取り可能な媒体は、さらに具体的な例(包括的でないリスト)で示すと、一つ又は複数の配線を有する電気的接続部(電子装置)、携帯式コンピューターディスクカートリッジ(磁気装置)、ランダム・アクセス・メモリー(RAM)、読み出し専用メモリー(ROM)、消去可能編集可能な読み出し専用メモリー(EPROM又はフラッシュメモリー)、光ファイバー装置、携帯式ディスク読み出し専用メモリー(CDROM)等を含む。なお、コンピューター読み取り可能な媒体は、さらに、その上に前記プログラムがプリントされる紙、又はその他の適切な媒体であってもよい。例えば、紙又はその他の媒体を光学的にスキャンし、編集、解釈、又は必要な時にその他の適切な方式で処理することにより、電子方式で前記プログラムを取得し、それをコンピューターメモリーに記憶するからである。
理解すべきなのは、本発明の各部分がハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって実現されることができる。上記の実施形態において、複数のステップ又は方法が、メモリーに記憶され、適切なコマンド実行システムにより実行されるソフトウェア又はファームウェアで実現することができる。例えば、ハードウェアで実現する場合、もう一つの実施形態でと同様、本分野の下記周知技術のいずれか又はこれらの組み合わせで実現することができる。データ信号の論理機能を実現する論理ゲート回路に使われる離散的論理回路を有し、論理ゲート回路を組み合わせた適切な専用集成回路、プログラマブル・ゲート・アレイ(PGA)、フィールド・プログラマブル・ゲート・アレイ(FPGA)などを有する。
通常の当業者が上記の実施例方法にある全部又は一部のステップを実現するには、プログラムによる関連ハードウェアからの指示を介して完成できると理解することができる。前記プログラムはコンピューター読み出し可能な記憶媒体に保存できる。当該プログラムが実行される場合、方法の実施例にあるステップの一つ又はその組み合わせが含まれる。
なお、本発明の各実施例にある各機能セルは、一つの処理モジュールに集成されてもよいし、各セルが物理的に単独に存在してもよいし、二つ又は二つ以上のセルが一つのモジュールに集成されてもよい。上記集成されたモジュールがハードウェアの形で実現されてもよいし、ソフトウェア機能を持つモジュールで実現されてもよい。前記集成されたモジュールがソフトウェア機能のモジュールで実現され、また独立の製品として販売又は使用される場合、一つのコンピューターの読み出し可能な記憶媒体に保存されてもよい。
上記言及された読み出し可能な記憶媒体は読み出し専用メモリー、磁気ディスク又はCDなどであってもよい。
以上、本発明の実施例を示して説明したが、上記実施例は例示的なものであり、本発明を限定するものであると理解してはならず、通常の当業者は、本発明の範囲内で、上記実施例に対して変化、補正、置き換え及び変形を行うことができると理解される。

Claims (15)

  1. 感光画素アレイと、前記感光画素アレイに設けられたフィルタとを含むイメージセンサーを提供し、
    前記フィルタは、フィルタユニットアレイを含み、
    前記フィルタの各前記フィルタユニットが、二つの緑色のフィルタユニットと、一つの赤色のフィルタユニットと、一つの青色のフィルタユニットと、を含み、
    各前記フィルタユニットが、2×2個の前記感光画素をカバーするとともにビニング画素を構成するステップと、
    前記感光画素アレイの出力を読み出し、前記フィルタユニットである2×2個の前記感光画素が同一の前記ビニング画素の前記感光画素の出力を加算して前記ビニング画素の画素値を取得することでビニング画像を生成するステップと、を含むことを特徴とする結像方法。
  2. 前記結像方法は、結像装置に応用され、
    前記結像装置は、レジスタを含み、
    前記読み出しステップは、
    k行目及び(k+1)行目の前記感光画素の出力を取得して前記レジスタに記憶するステップと、
    前記レジスタから前記k行目及び(k+1)行目の前記感光画素の出力を抽出し、前記同一の前記ビニング画素の前記感光画素の出力を加算して前記ビニング画素の画素値を取得するステップと、をさらに含むことを特徴とする請求項1に記載の結像方法。
    ここで、k=2n-1であり、nが自然数であり、k+1が前記感光画素アレイの総行数以下である。
  3. 前記読み出しステップは、前記感光画素により発生されたアナログ信号出力をデジタル信号出力に変換するステップをさらに含むことを特徴とする請求項1に記載の結像方法。
  4. イメージセンサーと前記イメージセンサーに接続される画像処理モジュールとを含み、
    前記イメージセンサーは、感光画素アレイと前記感光画素アレイに設けられたフィルタとを含み、
    前記フィルタは、フィルタユニットアレイを含み、
    各前記フィルタユニットが、2×2個の前記感光画素をカバーするとともにビニング画素を構成し、
    各前記フィルタユニットが、二つの緑色のフィルタユニットと、一つの赤色のフィルタユニットと、一つの青色のフィルタユニットと、を含み、
    前記画像処理モジュールは、前記感光画素アレイの出力を読み出し、前記フィルタユニットである2×2個の前記感光画素が同一の前記ビニング画素の前記感光画素の出力を加算して前記ビニング画素の画素値を取得してビニング画像を生成することを特徴とする結像装置。
  5. 前記イメージセンサーは、CMOSイメージセンサーを含むことを特徴とする請求項4に記載の結像装置。
  6. 前記フィルタユニットアレイは、ベイヤーアレイを含むことを特徴とする請求項4に記載の結像装置。
  7. 前記結像装置は、前記感光画素アレイを行ごとに順次露光するように制御する制御モジュールを含むことを特徴とする請求項4に記載の結像装置。
  8. 前記結像装置は、レジスタをさらに含み、
    前記制御モジュールは、現在露光されたk行目及び(k+1)行目の前記感光画素の出力を順次に取得して前記レジスタに記憶することを特徴とする請求項7に記載の結像装置。
    ここで、k=2n-1であり、nが自然数であり、k+1が前記感光画素アレイの総行数以下である。
  9. 前記イメージセンサーは、アナログデジタルコンバーターを含み、
    各前記感光画素は、それぞれ一つのアナログデジタルコンバーターに接続され、
    前記アナログデジタルコンバーターは、前記感光画素のアナログ信号出力をデジタル信号出力に変換し、
    前記デジタル信号出力は、前記レジスタに記憶され、
    前記画像処理モジュールは、前記同一の前記ビニング画素の前記感光画素の前記デジタル信号の出力を加算して前記ビニング画素の画素値を取得することを特徴とする請求項8に記載の結像装置。
  10. 前記イメージセンサーは、前記フィルタに設けられたマイクロミラーアレイを含み、
    各前記マイクロミラーが、一つの前記感光画素に対応することを特徴とする請求項4に記載の結像装置。
  11. 請求項4〜10のいずれかに記載の結像装置を含むことを特徴とする電子装置。
  12. 前記電子装置は、携帯電話を含むことを特徴とする請求項11に記載の電子装置。
  13. 前記結像装置は、前記携帯電話のフロントカメラを含むことを特徴とする請求項12に記載の電子装置。
  14. 前記電子装置は、前記結像装置に接続された中央処理装置と外部メモリーとを含み、
    前記中央処理装置は、前記外部メモリーが前記ビニング画像を記憶することを制御することを特徴とする請求項11に記載の電子装置。
  15. 前記電子装置は、前記結像装置に接続される中央処理装置と表示装置とをさらに含み、
    前記中央処理装置は、前記表示装置が前記ビニング画像を表示することを制御することを特徴とする請求項11に記載の電子装置。
JP2017528779A 2015-12-18 2016-07-27 結像方法、結像装置及び電子装置 Active JP6377855B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510964215.XA CN105578072A (zh) 2015-12-18 2015-12-18 成像方法、成像装置及电子装置
CN201510964215.X 2015-12-18
PCT/CN2016/091944 WO2017101451A1 (zh) 2015-12-18 2016-07-27 成像方法、成像装置及电子装置

Publications (2)

Publication Number Publication Date
JP2018502492A JP2018502492A (ja) 2018-01-25
JP6377855B2 true JP6377855B2 (ja) 2018-08-22

Family

ID=55887678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017528779A Active JP6377855B2 (ja) 2015-12-18 2016-07-27 結像方法、結像装置及び電子装置

Country Status (11)

Country Link
US (1) US10257447B2 (ja)
EP (1) EP3229467A4 (ja)
JP (1) JP6377855B2 (ja)
KR (1) KR20170118197A (ja)
CN (1) CN105578072A (ja)
AU (1) AU2016370324B2 (ja)
MY (1) MY180913A (ja)
SG (1) SG11201706110SA (ja)
TW (1) TW201724015A (ja)
WO (1) WO2017101451A1 (ja)
ZA (1) ZA201706395B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578072A (zh) 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN106504218B (zh) * 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106713790B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
US10848631B2 (en) * 2018-09-26 2020-11-24 Ricoh Company, Ltd. Reading device and image forming apparatus
KR20200097841A (ko) 2019-02-08 2020-08-20 삼성전자주식회사 이미지 센서 장치
KR102661820B1 (ko) 2019-02-11 2024-05-02 삼성전자주식회사 이미지 센서 및 그것의 구동 방법
KR20200098802A (ko) 2019-02-12 2020-08-21 삼성전자주식회사 디지털 픽셀을 포함하는 이미지 센서
US10764507B1 (en) * 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
CN110418044B (zh) * 2019-07-31 2021-04-23 Oppo广东移动通信有限公司 光学系统和电子设备
KR102625261B1 (ko) 2019-10-21 2024-01-12 삼성전자주식회사 이미지 장치

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999119B1 (en) 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
US20060125947A1 (en) * 2004-12-09 2006-06-15 Packer Jimmy L Imaging with clustered photosite arrays
US7924483B2 (en) 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
JP2008109369A (ja) * 2006-10-25 2008-05-08 Olympus Imaging Corp 撮像装置及び画像処理方法
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP5068158B2 (ja) 2007-12-28 2012-11-07 イーストマン コダック カンパニー 撮像装置
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
TWI504256B (zh) * 2008-04-07 2015-10-11 Sony Corp 固態成像裝置,其訊號處理方法,及電子設備
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8134115B2 (en) * 2009-06-23 2012-03-13 Nokia Corporation Color filters for sub-diffraction limit-sized light sensors
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
JP5044673B2 (ja) 2010-03-25 2012-10-10 株式会社東芝 固体撮像装置および画像記録装置
JP5644177B2 (ja) * 2010-05-07 2014-12-24 ソニー株式会社 固体撮像装置、および、その製造方法、電子機器
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
DE102011100350A1 (de) 2011-05-03 2012-11-08 Conti Temic Microelectronic Gmbh Bildsensor mit einstellbarer Auflösung
JP2015012303A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 固体撮像装置および電子機器
US20150062422A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Lens alignment in camera modules using phase detection pixels
KR102136852B1 (ko) * 2013-12-30 2020-07-22 삼성전자 주식회사 Tfa 기반의 시모스 이미지 센서 및 그 동작방법
US9438866B2 (en) * 2014-04-23 2016-09-06 Omnivision Technologies, Inc. Image sensor with scaled filter array and in-pixel binning
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
TWI552594B (zh) * 2014-10-27 2016-10-01 聯詠科技股份有限公司 用於影像感測裝置的色彩濾波陣列及其製造方法
CN104486602B (zh) 2014-12-29 2018-04-06 上海集成电路研发中心有限公司 一种实现像素物理合并的结构和方法
CN105592303B (zh) * 2015-12-18 2018-09-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105516697B (zh) 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN105430359B (zh) 2015-12-18 2018-07-10 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105578081B (zh) 2015-12-18 2018-03-06 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105611125B (zh) 2015-12-18 2018-04-10 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105554485B (zh) 2015-12-18 2019-04-12 Oppo广东移动通信有限公司 成像方法、成像装置及电子装置
CN105430363B (zh) 2015-12-18 2018-07-17 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578080B (zh) 2015-12-18 2019-02-05 Oppo广东移动通信有限公司 成像方法、成像装置及电子装置
CN105611257B (zh) 2015-12-18 2018-09-11 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105611185B (zh) 2015-12-18 2017-10-31 广东欧珀移动通信有限公司 图像生成方法、装置及终端设备
CN105578072A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578077A (zh) 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578076A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105430360B (zh) 2015-12-18 2018-01-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105430362B (zh) 2015-12-18 2017-09-19 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578006B (zh) 2015-12-18 2018-02-13 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105430361B (zh) 2015-12-18 2018-03-20 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置

Also Published As

Publication number Publication date
SG11201706110SA (en) 2017-08-30
WO2017101451A1 (zh) 2017-06-22
CN105578072A (zh) 2016-05-11
AU2016370324B2 (en) 2018-09-06
ZA201706395B (en) 2019-01-30
JP2018502492A (ja) 2018-01-25
US20170332022A1 (en) 2017-11-16
TW201724015A (zh) 2017-07-01
KR20170118197A (ko) 2017-10-24
US10257447B2 (en) 2019-04-09
MY180913A (en) 2020-12-11
EP3229467A4 (en) 2018-04-18
EP3229467A1 (en) 2017-10-11
AU2016370324A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
JP6377855B2 (ja) 結像方法、結像装置及び電子装置
TWI662842B (zh) 圖像傳感器及輸出方法、相位對焦方法、成像裝置和行動裝置
US9979883B2 (en) Imaging method for image sensor, imaging apparatus, and electronic device
TWI615027B (zh) 高動態範圍圖像的生成方法、拍照裝置和終端裝置、成像方法
KR102083292B1 (ko) 이미지 센서, 이미징 장치, 이동 단말기 및 이미징 방법
TWI615029B (zh) 圖像感測器及終端與成像方法
WO2018099009A1 (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
WO2018098978A1 (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
WO2017101560A1 (zh) 图像传感器及具有其的终端、成像方法
CN107370917B (zh) 控制方法、电子装置和计算机可读存储介质
WO2018098981A1 (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
JP6461429B2 (ja) 画像センサ、制御方法及び電子機器
CN105578080A (zh) 成像方法、图像传感器、成像装置及电子装置
TWI615034B (zh) 圖像感測器及成像終端與成像方法
TWI615030B (zh) 圖像感測器、具有其的終端裝置、成像方法、行動終端裝置和電腦可讀儲存媒體
CN105578077A (zh) 成像方法、成像装置及电子装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170608

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170608

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180725

R150 Certificate of patent or registration of utility model

Ref document number: 6377855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250