JP6606659B2 - 固体撮像装置、固体撮像装置の駆動方法、および電子機器 - Google Patents

固体撮像装置、固体撮像装置の駆動方法、および電子機器 Download PDF

Info

Publication number
JP6606659B2
JP6606659B2 JP2017512244A JP2017512244A JP6606659B2 JP 6606659 B2 JP6606659 B2 JP 6606659B2 JP 2017512244 A JP2017512244 A JP 2017512244A JP 2017512244 A JP2017512244 A JP 2017512244A JP 6606659 B2 JP6606659 B2 JP 6606659B2
Authority
JP
Japan
Prior art keywords
pixel
solid
imaging device
state imaging
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017512244A
Other languages
English (en)
Other versions
JPWO2016167076A1 (ja
Inventor
功 高柳
俊介 田中
慎一郎 松尾
俊介 大倉
周祐 岩田
毅 藤野
充 汐崎
武志 熊木
貴也 久保田
正芳 白畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ritsumeikan Trust
Original Assignee
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ritsumeikan Trust filed Critical Ritsumeikan Trust
Publication of JPWO2016167076A1 publication Critical patent/JPWO2016167076A1/ja
Application granted granted Critical
Publication of JP6606659B2 publication Critical patent/JP6606659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Description

本発明は、固体撮像装置、固体撮像装置の駆動方法、および電子機器に関するものである。
光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置(イメージセンサ)として、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが実用に供されている。
CMOSイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ(PC)、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
CMOSイメージセンサは、画素毎にフォトダイオード(光電変換素子)および浮遊拡散層(FD:Floating Diffusion、フローティングディフュージョン)を有するFDアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列(カラム)方向へと読み出すような列並列出力型が主流である。
CMOSイメージセンサの各画素は、基本的に、たとえば1個のフォトダイオードに対して、転送ゲートとしての転送トランジスタ、リセットゲートとしてのリセットトランジスタ、ソースフォロワゲート(増幅ゲート)としてのソースフォロワトランジスタ、および選択ゲートとしての選択トランジスタの4素子を能動素子として含んで構成される。
また、各画素には、フォトダイオードの蓄積期間にフォトダイオードから溢れるオーバーフロー電荷を排出するためのオーバーフローゲート(オーバーフロートランジスタ)が設けられてもよい。
転送トランジスタは、フォトダイオードの電荷蓄積期間には非導通状態に保持され、フォトダイオードの蓄積電荷をフローディングディフュージョンFDに転送する転送期間に、ゲートに駆動信号が印加されて導通状態に保持され、フォトダイオードで光電変換された電荷をフローティングディフュージョンFDに転送する。
リセットトランジスタは、そのゲートにリセット信号が与えられることで、フローティングディフュージョンFDの電位を電源ラインの電位にリセットする。
フローティングディフュージョンFDには、ソースフォロワトランジスタのゲートが接続されている。ソースフォロワトランジスタは、選択トランジスタを介して垂直信号線に接続され、画素部外の負荷回路の定電流源とソースフォロアを構成している。
そして、制御信号(アドレス信号またはセレクト信号)が選択トランジスタのゲートに与えられ、選択トランジスタがオンする。
選択トランジスタがオンすると、ソースフォロワトランジスタはフローティングディフュージョンFDの電位を増幅してその電位に応じた電圧を垂直信号線に出力する。垂直信号線を通じて、各画素から出力された電圧は、画素信号読み出し回路としての列並列処理部に出力される。
列並列処理において画像データはたとえばアナログ信号からデジタル信号に変換されて、後段の信号処理部に転送され、ここで所定の画像信号処理を受けて所望の画像が得られる。
ところで、上述した固体撮像装置(イメージセンサ)においては、基本的に、各種電子機器の保有者や使用が許可された使用者が、撮像した画像データを簡単に再生してその画像を見ることができる。
しかし、現状の固体撮像装置は、撮像した画像データが個人の秘密にかかわるデータである場合であっても、簡単に再生することができることから、画像の無断使用や改ざん、ねつ造等が容易に行われてしまうという不利益がある。
固有鍵を使用した暗号化により一様の秘密性を確保することが可能であるが、現状では固有鍵の耐タンパ性(解析の困難さ)を確保することは困難である。
本発明は、固有鍵の耐タンパ性を確保することが可能で、ひいては画像の改ざん、ねつ造を防止することが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
本発明の第1の観点の固体撮像装置は、フォトダイオードを含む複数の画素が行列状に配列された画素部と、前記画素部から画素信号の読み出しを行う読み出し部と、前記画素のばらつき情報および前記読み出し部のばらつき情報の少なくともいずれかを用いて固有鍵を生成する鍵生成部とを有する。
本発明の第2の観点は、フォトダイオードを含む複数の画素が行列状に配列された画素部と、前記画素部から画素信号の読み出しを行う読み出し部と、を含む固体撮像装置の駆動方法であって、前記画素のばらつき情報および前記読み出し部のばらつき情報の少なくともいずれかの情報を取得する情報取得ステップと、前記情報取得ステップで取得したばらつき情報を用いて固有鍵を生成する鍵生成ステップとを有する。
本発明の第3の観点の電子機器は、固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、フォトダイオードを含む複数の画素が行列状に配列された画素部と、前記画素部から画素信号の読み出しを行う読み出し部と、前記画素のばらつき情報および前記読み出し部のばらつき情報の少なくともいずれかを用いて固有鍵を生成する鍵生成部と、を含む。
本発明によれば、固有鍵の耐タンパ性を確保することができ、ひいては画像の改ざん、ねつ造を防止することができる。
図1は、本発明の実施形態に係る固体撮像装置の構成例を示すブロック図である。 図2は、本実施形態に係る画素の一例を示す回路図である。 図3は、本発明の実施形態に係る固体撮像装置の画素部の列出力の読み出し系の構成例を説明するための図である。 図4は、本実施形態に係る暗号化処理系の全体的な概要を示すブロック図である。 図5は、図4の暗号化処理系の処理を模式的に示す図である。 図6は、画素のばらつき情報としてリーク電流を採用した理由について説明するための図である。 図7は、1画素当たりの情報量についての一例を示す図である。 図8は、9つの要素の場合の出力と情報量について説明するための図である。 図9は、16の要素の場合の偏った出力と情報量について説明するための図である。 図10は、画素のリーク電流としてフォトダイオードのリーク電流を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。 図11は、画素のばらつき情報として、画素部の有効画素以外の無効画素領域の情報を採用することを説明するための図である。 図12は、画素のリーク電流としてフローティングディフュージョンのリーク電流を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。 図13は、画素のばらつき情報としてソースフォロワトランジスタのしきい値のばらつき情報を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。 図14は、画素のばらつき情報を取得する画素領域を任意に指定可能であることを説明するための図である。 図15は、画素部から画素信号の読み出しを行う行読み出しの順をランダムに変更可能であることを説明するための図である。 図16は、読み出し回路のばらつき情報として、ADCのばらつき情報を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。 図17は、読み出し回路のばらつき情報として、アンプのばらつき情報を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。 図18は、読み出し回路のばらつき情報として、S/H回路ばらつき情報を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。 図19は、環境変動による分散の変動を考慮して、判定しきい値付近のデータを除外して鍵を生成する方法を説明するための図である。 図20は、カラムメモリを有する固体撮像装置を模式的に示すブロック図である。 図21は、パワーオン時のSRAMの出力情報について説明するための図である。 図22は、本実施形態に係る鍵生成部に適用可能なファジー抽出器の構成例を示す図である。 図23は、本発明の実施形態に係る固体撮像装置の暗号化処理系の変形例を説明するための図である。 図24は、本発明の実施形態に係る固体撮像装置の暗号化処理系の他の変形例を説明するための図である。 図25は、本発明の実施形態に係る固体撮像装置が適用される電子機器の構成の一例を示す図である。
10・・・固体撮像装置、20・・・画素部、30・・・垂直走査回路、40・・・読み出し回路、50・・・水平走査回路、60・・・タイミング制御回路、70・・・信号処理回路、80・・・暗号化処理系、81・・・情報取得部、82・・・鍵生成部、83・・・画像データ生成部、84・・・識別データ生成部、85・・・一体化部、86・・・メモリ、90・・・読み出し部、100・・・電子機器、110・・・CMOSイメージセンサ(IMGSNS)、120・・・光学系、130・・・信号処理回路(PRC)。
以下、本発明の実施形態を図面に関連付けて説明する。
図1は、本発明の実施形態に係る固体撮像装置の構成例を示すブロック図である。
本実施形態において、固体撮像装置10は、たとえばCMOSイメージセンサにより構成される。
この固体撮像装置10は、図1に示すように、撮像部としての画素部20、垂直走査回路(行走査回路)30、読み出し回路(カラム読み出し回路)40、水平走査回路(列走査回路)50、タイミング制御回路60、および信号処理回路70を主構成要素として有している。
これらの構成要素のうち、たとえば垂直走査回路30、読み出し回路40、およびタイミング制御回路60により画素信号の読み出し部90が構成される。
本実施形態において、固体撮像装置10は、通常動作モードMDUと鍵作成モードMDKで動作可能に構成されている。
画素部20は、フォトダイオード(光電変換素子)と画素内アンプとを含む複数の画素がn行×m列の2次元の行列状(マトリクス状)に配列されている。
図2は、本実施形態に係る画素の一例を示す回路図である。
この画素PXLは、たとえば光電変換素子であるフォトダイオード(PD)を有する。
そして、このフォトダイオードPDに対して、転送トランジスタTRG−Tr、リセットトランジスタRST−Tr、ソースフォロワトランジスタSF−Tr、および選択トランジスタSEL−Trをそれぞれ一つずつ有する。
フォトダイオードPDは、入射光量に応じた量の信号電荷(ここでは電子)を発生し、蓄積する。
以下、信号電荷は電子であり、各トランジスタがn型トランジスタである場合について説明するが、信号電荷がホールであったり、各トランジスタがp型トランジスタであっても構わない。
また、本実施形態は、複数のフォトダイオード間で、各トランジスタを共有している場合や、選択トランジスタを有していない3トランジスタ(3Tr)画素を採用している場合にも有効である。
転送トランジスタTRG−Trは、フォトダイオードPDとフローティングディフュージョンFD(Floating Diffusion;浮遊拡散層)の間に接続され、制御線TRGを通じて制御される。
転送トランジスタTRG−Trは、制御線TRGがハイレベル(H)の期間に選択されて導通状態となり、フォトダイオードPDで光電変換された電子をフローティングディフュージョンFDに転送する。
リセットトランジスタRST−Trは、電源線VRstとフローティングディフュージョンFDの間に接続され、制御線RSTを通じて制御される。
なお、リセットトランジスタRST−Trは、電源線VDDとフローティングディフュージョンFDの間に接続され、制御線RSTを通じて制御されるように構成してもよい。
リセットトランジスタRST−Trは、制御線RSTがHレベルの期間に選択されて導通状態となり、フローティングディフュージョンFDを電源線VRst(またはVDD)の電位にリセットする。
ソースフォロワトランジスタSF−Trと選択トランジスタSEL−Trは、電源線VDDと垂直信号線LSGNの間に直列に接続されている。
ソースフォロワトランジスタSF−TrのゲートにはフローティングディフュージョンFDが接続され、選択トランジスタSEL−Trは制御線SELを通じて制御される。
選択トランジスタSEL−Trは、制御線SELがHの期間に選択されて導通状態となる。これにより、ソースフォロワトランジスタSF−TrはフローティングディフュージョンFDの電位に応じた列出力アナログ信号VSLを垂直信号線LSGNに出力する。
これらの動作は、たとえば転送トランジスタTRG−Tr、リセットトランジスタRST−Tr、および選択トランジスタSEL−Trの各ゲートが行単位で接続されていることから、1行分の各画素について同時並列的に行われる。
画素部20には、画素PXLがn行×m列配置されているので、各制御線SEL、RST、TRGはそれぞれn本、垂直信号線LSGNはm本ある。
図1においては、各制御線SEL、RST、TRGを1本の行走査制御線として表している。
垂直走査回路30は、タイミング制御回路60の制御に応じてシャッター行および読み出し行において行走査制御線を通して画素の駆動を行う。
また、垂直走査回路30は、アドレス信号に従い、信号の読み出しを行うリード行と、フォトダイオードPDに蓄積された電荷をリセットするシャッター行の行アドレスの行選択信号を出力する。
読み出し回路40は、画素部20の各列出力に対応して配置された複数の列信号処理回路(図示せず)を含み、複数の列信号処理回路で列並列処理が可能に構成されてもよい。
読み出し回路40は、相関二重サンプリング(CDS:Correlated Double Sampling)回路やADC(アナログデジタルコンバータ;AD変換器)、アンプ(AMP,増幅器)、サンプルホールド(S/H)回路等を含んで構成可能である。
このように、読み出し回路40は、たとえば図3(A)に示すように、画素部20の各列出力アナログ信号VSLをデジタル信号に変換するADC41を含んで構成されてもよい。
あるいは、読み出し回路40は、たとえば図3(B)に示すように、画素部20の各列出力アナログ信号VSLを増幅するアンプ(AMP)42が配置されてもよい。
また、読み出し回路40は、たとえば図3(C)に示すように、画素部20の各列出力アナログ信号VSLをサンプル、ホールドするサンプルホールド(S/H)回路43が配置されてもよい。
また、読み出し回路40は、画素部20の各列から出力される画素信号に対して所定の処理が施された信号を記憶するカラムメモリとしてのSRAMが配置されてもよい。
水平走査回路50は、読み出し回路40のADC等の複数の列信号処理回路で処理された信号を走査して水平方向に転送し、信号処理回路70に出力する。
タイミング制御回路60は、画素部20、垂直走査回路30、読み出し回路40、水平走査回路50等の信号処理に必要なタイミング信号を生成する。
信号処理回路70は、読み出し回路40により読み出され所定の処理が施された読み出し信号に対する所定の信号処理により2次元画像データを生成する。
ただし、本実施形態における信号処理回路70においては、画像の無断使用や改ざん、ねつ造等が行われてしまうことを防止するために、固体撮像装置10の固有のばらつき情報(画素、読み出し回路のばらつき情報)から固有鍵を生成し、固有鍵と固体撮像装置10から得られる取得データを組み合わせて識別データを生成し、この識別データを画像データに一体化して出力し、固有鍵に関する情報を認識していない場合には識別データを正しく作成できないように構成されている。
これにより、本実施形態の固体撮像装置10は、固有鍵の耐タンパ性(解析の困難さ)を確保することが可能で、ひいては画像の改ざん、ねつ造を防止することが可能となっている。
以下、本実施形態の固体撮像装置10の特徴的な構成、機能について、固有鍵の生成、並びに固有鍵を含む識別データと画像データの一体化を行う、いわゆる暗号化処理を中心に説明する。
図4は、本実施形態に係る暗号化処理系の全体的な概要を示すブロック図である。
図5は、図4の暗号化処理系の処理を模式的に示す図である。
図4の暗号化処理系80は、情報取得部81、鍵生成部82、画像データ生成部83、識別データ生成部84、一体化部85、およびメモリ86を主構成要素として有している。
なお、図4の例では情報取得部81と鍵生成部82が別の機能ブロックとして構成されているが、情報取得部81と鍵生成部82を一つの機能ブロックとして構成することも可能である。
情報取得部81は、画素PXLのばらつき情報PFLCおよび読み出し回路40の構成回路のばらつき情報CFLCの少なくともいずれかを取得し、取得したばらつき情報を鍵生成部82に供給する。
ここで、画素PXLのばらつき情報PFLCおよび読み出し回路40の構成回路のばらつき情報CFLCについての概略を説明し、後で具体例を挙げて詳述する。
(画素PXLのばらつき情報PFLCについて)
まず、画素PXLのばらつき情報PFLCについて説明する。
本実施形態においては、画素PXLのばらつき情報PFLCとして、基本的に、リーク電流と位置情報を用いる。
ここで、リーク電流を採用した理由について述べる。
図6は、画素のばらつき情報としてリーク電流を採用した理由について説明するための図である。図6(A)は画素リーク電流の強度分布を示し、図6(B)は白キズの場所分布の一例を示している。
固体撮像装置10のセンサ画素には、図6に示すように、100%抑制することのできないリーク電流が存在する。これの特に極端なもの(暗視野露光でも一瞬で白とびする)を白キズ、または白点という。以下では白キズという。
固体撮像装置10は、出荷前に極力この白キズを減らす努力がはらわれるが、また抑えきれない白キズは後段の画像処理で回りの画素デ−タから白キズ画素を補完し画像出力している。
この白キズは画素アレイのどこに出現するかは作製してみなければわからず、しかも再現性がある。そのため個体固有の情報と見なせる。
そこで、本実施形態では、画素PXLのばらつき情報PFLCとして、リーク電流と位置情報を用い固有鍵KYを生成する。たとえば図6に示すように、白キズの発生場所(発生位置)と個数を固有情報として固有鍵KYを生成することが可能である。
本実施形態においては、この情報を固有鍵として、セキュリティ分野で用いられるPUF(Physically Unclonable Function;物理複製困難関数)技術を応用して暗号化処理を行う。
図7は、1画素当たりの情報量についての一例を示す図である。
1画素あたりの情報量Hは次式で与えられる。
H = -P0・log2(P0) -P1・log2(P1)
ここで、P0 : 白キズの出る確率、P1 : 白キズが出ない確率1 - P0
たとえば、100万画素(1E6)の場合、白キズ100ppmは100個に相当し、情報量として次のようになる。
1.47E-3×1E6 = 1.47E3 bit= 1,470bit
ちなみに、鍵生成に必要な要件(セキュリティ側から)は1画素あたりの白キズ発生確率は次のように与えられる。
100〜3,000ppm = 0.01%〜0.3%
次に、出力と情報量について図8および図9に関連付けて考察する。
図8は、9つの要素の場合の出力と情報量について説明するための図である。
図9は、16の要素の場合の偏った出力と情報量について説明するための図である。
9つ(3×3)の要素の場合、図8(A)に示すように、各要素に1/2の確率で1または0が出る場合、この出力はそのまま鍵として用いることができ、9bit分の鍵情報として有効である。
もしノイズにより、エラー訂正に5bit必要であるとすると、図8(B)に示すように、有効な鍵情報は4bit分となり、鍵としては4bit分の情報として出力する。
次に、16(4×4)の要素で、偏った出力の場合について説明する。
16(4×4)の要素の場合、図9に示すように、各要素に1の出る確率が1/16で、1要素のどこかに必ず1が出るサンプル群の場合、これは全部で16通りしかなく、4bitの情報しかない。
100万画素中に100ppm存在する白キズの情報もこれと同じ考え方で、各画素が1/0均等な出現確率なら100万bitであるが、1,400bit程度の情報量となる。
これだけの情報量であれば、鍵としては有効活用可能である。
画素のばらつき情報PFLCを取得する情報取得部81は、図6(A)に示すように、画素のリーク情報を、しきい値VTHに関連付けて取得する。
図6の例の場合、リーク電流Ileakがしきい値VTH1より大きいときに、白キズであると判別できる。
また、情報取得部81は、しきい値が複数設定されてもよく(図6の例ではVH1、VTH2)、複数のしきい値VTH1、VTH2との関連で情報を区別することも可能である。
なお、しきい値VTHを温度等の環境に応じて変化させることも可能である。
また、情報取得部81は、画素のばらつき情報PFLCとして、一定以上のリーク電流を示す画素の位置情報を採用することができる。
また、情報取得部81は、画素のばらつき情報PFLCとして、リーク電流順の上位の画素の集合を採用することができる。
また、情報取得部81は、画素のばらつき情報PFLCとして、集合の列方向および行方向アドレスを採用することができる。
(フォトダイオードのリーク電流)
情報取得部81は、画素のリーク電流IleakとしてフォトダイオードPDのリーク電流を採用することができる。
図10は、画素のリーク電流IleakとしてフォトダイオードPDのリーク電流を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。
図10(A)が通常動作モードMDU時の動作波形を、図10(B)が鍵作成モードMDKの動作波形を、図10(C)がばらつき情報を二値化した鍵パターンイメージを示し、図10(D)が出力信号と画素数としきい値VTHとの関係を示している。
なお、前述したように、本実施形態において、固体撮像装置10は、通常動作モードMDUと鍵作成モードMDKで動作可能に構成されている。
通常動作モードMDUにおいては、図10(A)に示すように、シャッターを閉じた状態で画素PXLをリセットし、シャッター開放中に露光する。
また、シャッターを閉じた状態で信号を読み出す。
鍵作成モードMDKにおいては、図10(B)に示すように、シャッターを閉じた状態で画素をリセットし、一定時間後に画素信号を読み出す。
この場合、露光されないため、フォトダイオードPDに生じるリーク電流のみが固有の鍵パターンとして出力される。
この固有の鍵パターンは、図10(D)に示すように、重金属汚染等により極大値をもつため、再現性が高い。
また、情報取得部81は、画素のばらつき情報PFLCとして、画素部20の有効画素以外の無効画素領域のフォトダイオードの情報を採用することができる。
図11は、画素のばらつき情報PFLCとして、画素部20の有効画素以外の無効画素領域の情報を採用することを説明するための図である。
通常、画素部20は、図11(A)に示すように、有効画素領域21と有効画素領域21の周辺の無効画素領域(OB;Optical Black領域等)22を含んで構成されている。
また、無効画素領域(OB;Optical Black領域)22は、図11(B)に示すように、遮光膜23により遮光されている。
本実施形態においては、OB画素領域22の画素等、有効画素以外の画素領域の白キズや暗電流の情報を採用して鍵とすることで、鍵の検出を困難にすることが可能である(鍵検出には専用の読み出しタイミングを必要とする)。
また、フォトダイオード(PD)としては、埋め込みフォトダイオード(Buried Photo Diode;BPD)が広く用いられている。
フォトダイオード(PD)を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷(暗電流)が発生し、正しい信号が読み出せなくなってしまう。埋め込みフォトダイオード(BPD)では、フォトダイオード(PD)の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減する。
埋め込みフォトダイオードBPDは、有効画素領域21においては、表面側から第1導電型のp+層201、第2導電型のn+層202が形成されている。
本実施形態においては、OB領域22において、図11(B)に示すように、フォトダイオードPD表面のp+層のpシールドを除去し、暗電流・白キズ(=鍵、Key)が発生しやすくすることも可能である。
また、本実施形態では、フォトダイオードPDのリーク電流が変動し、この変動を考慮して鍵作成の情報に付加することも可能である。
鍵とする白キズ等のディフェクト(defect、欠陥)の個数について考察すると、たとえば白キズの場合、後発白キズ(後から増える白キズ)や消滅する白キズがある。
後発キズ対策としては、一定数の白キズをチップ内の座標指定で鍵として指定する。
消滅白キズ対策としては、白キズは必要な最低の白キズ個数よりあらかじめ多くのキズを鍵として設定する。
後発傷対策としては、特定の出力レンジに収まる傷を鍵として使用する。
(フローティングディフュージョンFDのリーク電流)
情報取得部81は、画素のリーク電流IleakとしてフローティングディフュージョンFDのリーク電流を採用することができる。
図12は、画素のリーク電流IleakとしてフローティングディフュージョンFDのリーク電流を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。
図12(A)が画素PXLの読み出し系の回路図を、図12(B)が通常動作モードMDU時の動作波形を、図12(C)が鍵作成モードMDKの動作波形を、図12(D)がばらつき情報を二値化した鍵パターンイメージを示し、図12(E)が出力信号と画素数としきい値VTHとの関係を示している。
図12(A)の画素PXLの読み出し系においては、垂直信号線LSGNと電源との間にダイオード接続されたNMOSトランジスタNT1およびダミーの選択トランジスタNT2が接続されている。
通常動作モードMDUにおいては、図12(B)に示すように、シャッタースキャン時には、制御線RSTとTRGをHレベル(オン)にして、フローティングディフュージョンFDおよびフォトダイオードPDをリセットする。
読み出しスキャン時には、最初に制御線RSTによりフローティングディフュージョンFDをリセットし、次に制御線TRGによりフォトダイオードPDに蓄積された電子を読み出す。
鍵作成モードMDKにおいては、図12(C)に示すように、シャッタースキャン時には、制御線RSTとTRGをHレベル(オン)にして、フローティングディフュージョンFDおよびフォトダイオードPDをリセットする。
読み出しスキャン時には、最初に信号SEL_DMYによりトランジスタNT2をオンさせてダミー画素から垂直信号線LSGNに固定電圧を出力する。
次に、選択行を読み出すことで、フローティングディフュージョンFDに蓄積されたリーク電流を読み出すことができる。
フローティングディフュージョンFDは蓄積容量に対してリーク電流が大きいため、数10〜1000msと短時間で大きな信号電圧を得ることができる。
この場合、シャッターは不要である。
(ソースフォロワトランジスタSFのしきい値)
情報取得部81は、画素のばらつき情報としてソースフォロワトランジスタSFのしきい値Vthのばらつき情報を採用することができる。
図13は、画素のばらつき情報としてソースフォロワトランジスタSFのしきい値Vthのばらつき情報を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。
図13(A)が画素PXLの読み出し系の回路図を、図13(B)が通常動作モードMDU時の動作波形を、図13(C)が鍵作成モードMDKの動作波形を、図13(D)がばらつき情報を二値化した鍵パターンイメージを示し、図13(E)が出力信号と画素数としきい値VTHとの関係を示している。
図13(A)の画素PXLの読み出し系においては、垂直信号線LSGNに後段回路としてCDS回路44がスイッチSW0の一端子を介して接続されている。スイッチSW0の他端子は基準電圧Vrefの供給ラインに接続されている。
通常動作モードMDUにおいては、図13(B)に示すように、リセット電圧Vrstと信号電圧Vsigとの差分信号DSrsを画素の出力信号として用いることで、各画素PXLが備えるソースフォロワトランジスタSFのしきい値のばらつきを除去している。
鍵作成モードMDKにおいては、図13(C)に示すように、時刻t1に後段回路であるCDS回路44は基準電圧レベル(Vref)、時刻t2に後段回路であるCDS回路44は画素のリセット電圧レベルを取り込む。
これらの信号の差分を読み出すことで、各画素PXLのリセット電圧Vrstのばらつきを取り出すことができる。
本例では、このばらつき分布を鍵として用いる。
上記ばらつきは100mV程度なので、アンプ等で増幅しても良い。
また、本実施形態では、たとえば、情報取得部81は、画素のばらつき情報PFLCを取得する画素領域を任意に指定可能である。また、情報取得部81は、指定する領域を、ダイナミックに変化させることも可能である。
図14は、画素のばらつき情報PFLCを取得する画素領域を任意に指定可能であることを説明するための図である。
本実施形態では、図14に示すように、白キズ等のサンプリング領域SMAを任意に指定可能である。
全ての画素PXLから、たとえば白キズで鍵を生成する場合、鍵の攻撃者(Atacker)から判りやすくなるため、図14に示すように、外部から判らないように、白キズ・暗電流・縦筋等のサンプリングする領域SMAを指定する。
また、サンプリングする領域SMAをダイナミックに変化させることにより(図14の例ではサンプリング領域SMAからSMA2にダイナミックに切り替え)さらに鍵が分かりにくくすることが可能となる。
また、本実施形態では、たとえば、読み出し部90を構成する垂直走査回路30、読み出し回路40、およびタイミング制御回路60は、画素部20から画素信号の読み出しを行う行読み出しの順をランダムに変更可能である。
図15は、画素部から画素信号の読み出しを行う行読み出しの順をランダムに変更可能であることを説明するための図である。
図15に示すように、サンプリングする順番を通常の読み出し順ORD1とは異なる鍵生成用の特殊な読み出し順ORD2に変えることにより、鍵を分かりにくくすることが可能となる。
(読み出し回路40の構成回路のばらつき情報CFLCについて)
以上、画素PXLのばらつき情報PFLCについて説明した。
次に、読み出し回路40の構成回路のばらつき情報CFLCについて説明する。
(ADCのばらつき情報)
情報取得部81は、読み出し回路40の構成回路のばらつき情報CFLCとして、ADCのばらつき情報を採用することができる。
図16は、読み出し回路40のばらつき情報CFLCとして、ADCのばらつき情報を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。
図16(A)が画素PXLの読み出し系の回路図を、図16(B)が通常動作モードMDU時の動作波形を、図16(C)が鍵作成モードMDKの動作波形を、図16(D)がばらつき情報を平均化し二値化した鍵パターンイメージを示し、図16(E)が出力信号と列数(画素数)としきい値VTHとの関係を示している。
図16(A)の画素PXLの読み出し系においては、垂直信号線LSGNにADC41を構成する比較器(コンパレータ)411およびインバータ412が縦続接続されている。
また、比較器411の入出力間にスイッチSW1が接続され、比較器411の非反転入力端子(+)と反転入力端子(−)間にスイッチSW2が接続され、インバータ412の入出力間にスイッチSW3が接続されている。
通常動作モードMDUにおいては、図16(B)に示すように、電圧信号PIXOUTをランプ波Vrampを用いてパルス幅変換し、後段のカウンタでデジタル化する。
比較器411のオフセット電圧をオートゼロ動作ADAZ(スイッチSW1オン)によって除去し、列バラツキを低減する。
比較器411のリセットレベルと信号レベルをデジタル変換し、差分を取り出すことで、比較器411での遅延をキャンセルする。
鍵作成モードMDKにおいては、図16(C)に示すように、画素PXLはリセットレベルのみを出力し、AD変換することで、画素の固定ばらつきや輝度情報は除去する。
AZ動作をリセット動作(SW2オン、SW1オフ)に変更し、比較器411のオフセット電圧を出力し、比較器411のリセットレベルをAD変換しないことで、比較器411遅延を出力する。
本例のように、列方向に平均化することで、ノイズを低減し、鍵の再現性を高めることが可能となる。
(アンプのばらつき情報)
情報取得部81は、読み出し回路40の構成回路のばらつき情報CFLCとして、アンプ(AMP、増幅器)のばらつき情報を採用することができる。
図17は、読み出し回路40のばらつき情報CFLCとして、アンプのばらつき情報を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。
図17(A)が画素PXLの読み出し系の回路図を、図17(B)が通常動作モードMDU時の動作波形を、図17(C)が鍵作成モードMDKの動作波形を、図17(D)がばらつき情報を平均化し二値化した鍵パターンイメージを示し、図17(E)が出力信号と画素数(列数)としきい値VTHとの関係を示している。
図17(A)の画素PXLの読み出し系においては、垂直信号線LSGNにアンプ42の列アンプ421およびS/H回路43が縦続接続されている。
また、列アンプ421の入出力間にスイッチSW11が接続され、列アンプ421の非反転入力端子(+)と反転入力端子(−)間にスイッチSW12が接続されている。
S/H回路43は、S/H容量C21,C22、スイッチS1,T1,S2,T2,T1X、およびアンプ431を含んで構成されている。
通常動作モードMDUにおいては、図17(B)に示すように、列アンプ421のオフセット電圧をオートゼロ動作(SW11オン)によって除去し、列ばらつきを低減する。
列アンプ421のリセットレベルと信号レベルをデジタル変換し、差分を取り出すことで、インジェクションノイズ等をキャンセルする。
鍵作成モードMDKにおいては、図17(C)に示すように、画素PXLはリセットレベルのみを出力し、列アンプ421でCDSすることで、画素の固定ばらつきや輝度情報は除去する。
AZ動作をリセット動作(SW12オン、SW11オフ)に変更し、列アンプ421のオフセット電圧を出力し、スイッチT1をオフし、スイッチT1Xをオンして用いることで、列アンプ421のオフセットを出力する。
本例のように、列方向に平均化することで、ノイズを低減し、鍵の再現性を高めることが可能となる。
(サンプルホールド(S/H)回路のばらつき情報)
情報取得部81は、読み出し回路40の構成回路のばらつき情報CFLCとして、S/H回路のばらつき情報を採用することができる。
図18は、読み出し回路40のばらつき情報CFLCとして、S/H回路ばらつき情報を採用した場合の通常動作モードと鍵作成モードにおける要部の動作波形等を示す図である。
図18(A)が画素PXLの読み出し系の回路図を、図18(B)が通常動作モードMDU時の動作波形を、図18(C)が鍵作成モードMDKの動作波形を、図18(D)がばらつき情報を平均化し二値化した鍵パターンイメージを示し、図18(E)が出力信号と列数(画素数)としきい値VTHとの関係を示している。
理解を容易にするために、図18において図17と同一構成部分は同一符号をもって表す。
図18(A)の画素PXLの読み出し系においては、垂直信号線LSGNにアンプ42の列アンプ421およびS/H回路43が縦続接続されている。
また、列アンプ421の入出力間にスイッチSW11が接続されている。
S/H回路43は、S/H容量C21,C22、スイッチS1,T1,S2,T2、SW21,SW22、およびアンプ431を含んで構成されている。
通常動作モードMDUにおいては、図18(B)に示すように、寄生容量を介した前画素データの残像を防ぐために、信号SHRSTによるキャパシタをリセットする。
その後、画素または前段アンプから入力されるリセット電圧と信号電圧をそれぞれスイッチS1とS2で取り込み、スイッチT1とT2で後段に出力し、差分を検出する。
鍵作成モードMDKにおいては、図18(C)に示すように、S/H容量であるキャパシタC21, C22をスイッチT1,T2、およびスイッチSW21,SW22(SHRSTによりオン)によりリセットする。
AMPAZは、ハイレベルにセットすることにより、アンプ421の出力を基準電圧Vrefに固定することで、スイッチS1およびS2からのオフリーク電流がキャパシタC21およびC22に蓄積される。
読み出し時には、スイッチT1およびスイッチSW21(SHRSTによりオン)によりキャパシタC21をリセットする。一方、キャパシタC22はリセットせずに蓄積されたオフリーク電圧をスイッチT2により出力する。
これらの差分から、スイッチS2のオフリークを出力する。
なお、上述した図12、図13、図16、図17、および図18の例では、極大値をもつ鍵データ分布パターンにおける極大値部分にしきい値VTHを設定して判定処理(0/1判定)を行っている。
この判定方法においては所望の判定精度を確保することが可能であるが、図19に示すような方法を採用することにより、さらに判定精度を向上させることが可能となる。
図19は、環境変動による分散の変動を考慮して、判定しきい値VTH付近のデータを除外して鍵を生成する方法を説明するための図である。
図19(A)はCSD処理を行った場合(CDSありの場合)のデータ分布の一例を示し、図19(B)はCSD処理を行わない場合(CDSなしの場合)のデータ分布の一例を示し、図19(C)は判定しきい値VTH付近のデータを除外する一例を示している。
鍵データ分布パターンの極大値部分は、温度等の環境変動の影響を受けて、0/1の判定処理においてビット反転が起こるおそれがある。
そこで、本例では、図19(C)に示すように、環境変動に対するビット反転を防止するために、環境変動による分散の変動を考慮して、判定しきい値VTH付近のデータを除外して鍵を生成する。
換言すれば、情報取得部81は、判定しきい値VTH付近の環境変動により判定結果が変動する傾向にある領域FLAのデータを除外して、鍵を生成するためのばらつき情報を取得する。
(カラムメモリのSRAMの出力(ばらつき)情報)
情報取得部81は、読み出し回路40の構成回路のばらつき情報CFLCとして、カラムメモリのSRAMの出力(ばらつき)情報を採用することができる。
図20は、カラムメモリを有する固体撮像装置を模式的に示すブロック図である。
図21は、パワーオン時のSRAMの出力情報について説明するための図である。
通常、固体撮像装置10AであるCMOSイメージセンサは、読み出し回路40としてSRAMにより構成されるカラムメモリ45を有する
カラムメモリ45のSRAMには、たとえばADCによるデータが保持され、データパス46に送信される。
SRAMは、図21に示すように、PMOSトランジスタPT11とNMOSトランジスタNT11からなるインバータINV11、およびPMOSトランジスタPT12とNMOSトランジスタNT12からなるインバータINV12の入出力同士を交差結合して構成される。
そして、図21に示すSRAMは、PMOSトランジスタPT11のしきい値VTP11がPMOSトランジスタPT12のしきい値VTP12より低く設定されている。
この構成において、パワーオン時には、PMOSトランジスタPT11の方が、PMOSトランジスタPT12より早くオンする。
このように、パワーオン時のSRAMの初期値は、トランジスタ間のしきい値のバランスによって決定される。
このSRAMの初期値が、鍵を生成するための、読み出し回路40の構成回路のばらつき情報CFLCとして採用可能である。
(鍵生成部82の構成)
鍵生成部82(図4)は、情報取得部81により取得され供給される画素のばらつき情報および読み出し回路40のばらつき情報の少なくともいずれかを用いて固有鍵を生成する。鍵生成部82は、生成した固有鍵KYを識別データ生成部84に供給する。
鍵生成部82は、たとえば画素部20の有効画素の読み出し時以外の期間(たとえばブランキング期間)に固有鍵KYの生成を行う。
鍵生成部82は、鍵の再現性を強くするためにファジー抽出器(Fuzzy Extractor)により鍵の生成を行う。
ファジー抽出器は、ある程度安定した入力に対して同じ出力を出すことを目的とする演算器である。
図22は、本実施形態に係る鍵生成部に適用可能なファジー抽出器の構成例を示す図である。
図22のファジー抽出器820は、図22(A)に示す初期鍵生成部821および図22(B)に示す鍵再生成部822を有する。
初期鍵生成部821は、図22(A)に示すように、リングオシレータ(RNG)8211、暗号化部(ENC)8212、排他的論理和回路(XOR)8213、およびハッシュ(Hash)部8214を含んで構成されている。
初期鍵生成部821においては、情報取得部81により取得されたたとえば白キズ出力に関連する画素のばらつき情報が入力データWとしてXOR8213およびハッシュ部8214に入力される。
ハッシュ部8214において、入力データWに基づいて初期鍵KYIが生成される。この初期鍵KYIは識別データ生成部84に供給される。この初期鍵KYIは、たとえば出荷時の鍵データとしてメモリ86に書き込まれる。たとえば初期鍵データをチップ出荷時に、たとえばソフトウェアによって切断することができる電子フューズ(efuse)などのメモリに書き込み、鍵データの再現性を保証するように構成することも可能である。
また、初期鍵生成部821においては、リングオシレータ8211による発振出力信号Rが暗号化部8212により暗号化され、その暗号化データCがXOR8213に供給される。
XOR8213においては、入力データWと暗号化データCとの排他的論理和がとられ、これにより、ヘルパーデータSHD(WxorC)が生成される。
このヘルパーデータSHD(WxorC)は、鍵データとは違って秘匿の必要はなく、メモリ86に格納される。メモリ86に格納されたヘルパーデータSHDは、鍵再生成部822における鍵再生成のベースデータとして用いられる。
鍵再生成部822は、図22(B)に示すように、排他的論理和回路(XOR)8221、復号部(DEC)8222、暗号化部(ENC)8223、排他的論理和回路(XOR)8224、およびハッシュ(Hash)部8225を含んで構成されている。
なお、復号部(DEC)8222および暗号化部(ENC)8223は誤り訂正部として機能する。
鍵再生成部822においては、情報取得部81により取得されたたとえば白キズ出力に関連する画素のばらつき情報を含む入力データW’、並びに、メモリ86に格納されたヘルパーデータSHD(WxorC)がXOR8221に入力される。ヘルパーデータSHD(WxorC)はXOR8224にも入力される。
XOR8221においては、入力データW’とヘルパーデータWxorCとの排他的論理和がとられ、データC’として復号部8222に供給される。
復号部8222においては、データC’に対する復号処理が行われて、復号データ/Rが生成され、復号データ/Rは暗号化部8223に供給される。
暗号化部8212により復号データ/Rが暗号化され、その暗号化データ/C{=(WxorC)xorW’}がXOR8224に供給される。
XOR8224においては、暗号化データ/CとヘルパーデータWxorCの排他的論理和がとられ、その結果がデータ/W{=(WxorC)xor/C}としてハッシュ部8225に入力される。
そして、ハッシュ部8225において、入力データ/W{=(WxorC)xor/C}に基づいて再生成鍵KYが生成される。この再生成鍵KYは識別データ生成部84に供給される。
もし、入力データW’のノイズが少なく、データC’が訂正可能である場合には、/C=Cとなり、/W=Wとなり鍵が再生成される。
なお、上記の鍵生成部82は、画素または読み出し回路40のばらつき情報に基づいて固有鍵を生成する例について説明したが、異なるばらつき情報により生成した固有鍵同士の演算を行って最終的な固有鍵を得るように構成することも可能である。
たとえば、次のように構成することも可能である。
すなわち、鍵生成部82は、たとえば、読み出し回路40のADC41、アンプ(AMP)42、またはS/H回路43のばらつき情報を用いて第1固有鍵を生成する第1機能と、読み出し回路40のカラムメモリ45のSRAMの出力を用いて第2固有鍵を生成する第2機能と、を含み、第1機能により生成された第1固有鍵と、第2機能により生成された第2固有鍵とを演算することにより最終的な固有鍵を生成するように構成することも可能である。
この構成は、画素のばらつき情報に関しても同様に適用可能である。
画像データ生成部83は、通常読み出しモードで読み出し回路40を通して読み出され所定の処理が施された読み出し信号に対する所定の信号処理により、たとえば図5に示すような2次元画像データIMGを生成する。
画像データ生成部83は、生成した画像データIMGを一体化部85に供給する。
画像データ生成部83は、固体撮像装置10から取得した取得データAQDを識別データ生成部84に供給する。
ここで、取得データAQDは、少なくとも画素、日付、温度、GPS(Global Positioning System)に関するデータのうちの少なくともいずれかのデータである。
識別データ生成部84は、鍵生成部82で生成された固有鍵KYと、本固体撮像装置10で取得した取得データAQDを組み合わせて識別データDSCDを生成する。
識別データ生成部84は、生成した識別データDSCDを一体化部85に供給する。
一体化部85は、図5に示すように、識別データ生成部84で生成された識別データDSCDと画像データ生成部83による読み出しデータに基づく画像データIMGを一体化して、センサチップの最終出力として出力する。
一体化部85は、たとえば図5に示すように、一体化データが、ヘッダHD、識別データDSCD、画像データIMGの順となるように一体化する。
上述したように、暗号化処理系80においては、固体撮像装置10の固有のばらつき情報(画素、読み出し回路のばらつき情報)から固有鍵KYを生成し、固有鍵KYと固体撮像装置10から得られる取得データAQDを組み合わせて識別データDSCDを生成し、この識別データDSCDを画像データIMGに一体化して出力することから、固有鍵に関する情報を認識していない場合には、正しい識別データを作成できず、画像が改変等された場合に、改変された等がわかり、ねつ造することが困難となっている。
なお、一体化部85は、一体化する鍵情報を用いて階層的に画像部分にマスクをする機能を含むように構成してもよい。
また、一体化部85は、一体化する鍵情報を用いて画像に電子透かしを入れる機能を含むように構成してもよい。
上記構成を有する固体撮像装置10において、暗号化処理系80の鍵作成モード時の動作は概略次のように行われる。ここでは、一例として、図10に関連付けて説明した、画素のリーク電流IleakとしてフォトダイオードPDのリーク電流を採用した場合の動作を説明する。
鍵作成モードMDKにおいては、図10(B)に示すように、シャッターを閉じた状態で画素をリセットし、一定時間後に画素信号を読み出す。
この場合、露光されないため、フォトダイオードPDに生じるリーク電流のみが固有の鍵パターンとして出力される。
この固有の情報がばらつき情報PFLCとして情報取得部81で取得され、鍵生成部82に供給される。
鍵生成部82においては、情報取得部81により取得され供給される画素のばらつき情報を用いて固有鍵KYが生成される。鍵生成部82では、生成した固有鍵KYが識別データ生成部84に供給される。
鍵生成部82においては、たとえば画素部20の有効画素の読み出し時以外の期間に固有鍵KYの生成が行われる。
識別データ生成部84においては、鍵生成部82で生成された固有鍵KYと、固体撮像装置10で取得した取得データAQDを組み合わせて識別データDSCDが生成される。
識別データ生成部84においては、生成した識別データDSCDが一体化部85に供給される。
一体化部85では、識別データ生成部84で生成された識別データDSCDと画像データ生成部83による読み出しデータに基づく画像データIMGが一体化されて、センサチップの最終出力として出力される。
以上説明したように、本実施形態においては、信号処理回路70は、読み出し回路40により読み出され所定の処理が施された読み出し信号に対する所定の信号処理により2次元画像データを生成する。
ただし、本実施形態においては、暗号化処理系80が、画像の無断使用や改ざん、ねつ造等が行われてしまうことを防止するために、固体撮像装置10の固有のばらつき情報(画素、読み出し回路のばらつき情報)から固有鍵KYを生成し、固有鍵KYと固体撮像装置10から得られる取得データAQDを組み合わせて識別データDSCDを生成し、この識別データDSCDを画像データIMGに一体化して出力し、固有鍵KYに関する情報を認識していない場合には識別データを正しく作成できないように構成されている。
これにより、本実施形態の固体撮像装置10は、固有鍵の耐タンパ性(解析の困難さ)を確保することが可能で、ひいては画像の改ざん、ねつ造を防止することが可能となっている。
なお、本実施形態において、固体撮像装置10の各構成要素が同一パッケージ内に搭載されている構成を採用可能である。
固体撮像装置(CIS)10とISP(Image Signal Processor)を同一パッケージに封止したSiP (Silicon in Package)にて、鍵および識別データを生成する信号処理をパッケージ内部にて完結し、パッケージ外部に固有鍵データを出力することなく、識別データを生成可能な構成を採用可能である。
また、イメージセンサと信号処理回路とを備えたSoC (System on Chip)において、鍵および識別データを生成する信号処理をチップ内部にて完結し、チップ外部に固有鍵データを出力することなく、識別データを生成可能な構成を採用可能である。
また、本実施形態の固体撮像装置10は、前述したように、通常の読出し駆動タイミングとは別に、リーク電流などを長時間蓄積するための駆動タイミングを備えるように構成可能である。また、アナログアンプ、デジタルアンプ、または、ADCのフルスケール電圧を縮小し、リーク電圧の蓄積電圧を強調して出力しても良い。また、複数行あるいは複数フレームのデータを平均化、または加算することで、ランダムノイズ成分を低減しても良い。
以下に、本発明の変形例について説明する。
(変形例1)
図23は、本発明の実施形態に係る固体撮像装置の暗号化処理系の変形例を説明するための図である。
上記した暗号化処理系80に対して、図23に示すように、公開鍵PBKYを用いることにより、たとえば写真等の画像データの閲覧は可能であるが、編集することは不可として、鍵による証拠能力を付与することが可能となる。
本実施形態の固体撮像装置(CMOSイメージセンサ)10Bの暗号化処理系において生成された固有鍵KYから秘密鍵PRKYおよび公開鍵PBKYを作成する。
秘密鍵PRKYは、誰にも知られないように、アクセスが制限されたメモリ等に保管される。
公開鍵PBKYは、公開鍵サーバなどに登録して誰でもダウンロードできるように保管される。
秘密鍵PBKYと公開鍵PBKYは、次のような関係にある。
秘密鍵PBKYと公開鍵PBKYは、互いに関係はあるが、公開鍵PBKYをいくら調べても秘密鍵PRKYがどうなっているかわからない。
そして、秘密鍵PRKYで暗号化した文書等はペアの公開鍵PBKYでないと元に戻せない。
逆に、公開鍵PBKYで暗号化することもできるが、秘密鍵PRKYでないと元にもどせない。
図23の構成に関連付けると、秘密鍵PRKYで保護された写真等を含む画像関連データは、閲覧可能であるが編集は不可能である。たとえばこの場合、撮影カメラが証明でき証拠能力があるといえる。
また、公開鍵PBKYで開錠して閲覧できて編集可能データとなるが、元に戻せない。この場合、証拠能力はないといえる。
(変形例2)
図24は、本発明の実施形態に係る固体撮像装置の暗号化処理系の他の変形例を説明するための図である。
この変形例では、図24に示すように、動画に透かしのような識別画像DSIMを挟み込む方法が提示されている。
この例では、動画の通常の画像MVPCに一定間隔ごとに識別画像DSIMが挿入される。通常の画像MVPCに対してはCDS処理が行われ、透かし役目の識別画像DSIMに対してはCDS処理は行われない。
この例においては、図16、図17、図18のいずれかの通常動作モードMDUで動作させ、リセットレベルは減算しない。
識別は前後の画像との差分より個体固有のばらつきであることを証明する。
この変形例によれば、鍵生成のような処理負荷が発生しない。
以上説明した固体撮像装置10は、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。
図25は、本発明の実施形態に係る固体撮像装置が適用されるカメラシステムを搭載した電子機器の構成の一例を示す図である。
本電子機器100は、図25に示すように、本実施形態に係る固体撮像装置10が適用可能なCMOSイメージセンサ(IMGSNS)110を有する。
さらに、電子機器100は、このCMOSイメージセンサ110の画素領域に入射光を導く(被写体像を結像する)光学系(レンズ等)120を有する。
電子機器100は、CMOSイメージセンサ110の出力信号を処理する信号処理回路(PRC)130を有する。
信号処理回路130は、CMOSイメージセンサ110の出力信号に対して所定の信号処理を施す。
信号処理回路130で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
上述したように、CMOSイメージセンサ110として、前述した固体撮像装置10を搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。

Claims (37)

  1. フォトダイオードを含む複数の画素が行列状に配列された画素部と、
    前記画素部から画素信号の読み出しを行う読み出し部と、
    前記画素のばらつき情報および前記読み出し部のばらつき情報の少なくともいずれかを用いて固有鍵を生成する鍵生成部と
    を有し、
    前記鍵生成部は、
    前記画素のばらつき情報を用いて前記固有鍵を生成し、
    前記画素のばらつき情報としてリーク電流と位置情報を用いる
    固体撮像装置。
  2. 前記鍵生成部は、
    一定以上のリーク電流を示す画素の位置情報を用いて前記固有鍵を生成する
    請求項1記載の固体撮像装置。
  3. 前記鍵生成部は、
    リーク電流順の上位の画素の集合を情報として前記固有鍵を生成する
    請求項2記載の固体撮像装置。
  4. 前記鍵生成部は、
    前記集合の列方向および行方向アドレスを用いて前記固有鍵を生成する
    請求項3記載の固体撮像装置。
  5. 前記鍵生成部は、
    前記画素のリーク電流として前記フォトダイオードのリーク電流を用いる
    請求項1から4のいずれか一に記載の固体撮像装置。
  6. 前記鍵生成部は、
    前記画素部の有効画素以外の無効画素領域の情報を用いて前記固有鍵を生成する
    請求項5記載の固体撮像装置。
  7. 前記無効画素領域において、フォトダイオード表面の第1導電型シールドが除去されている
    請求項6記載の固体撮像装置。
  8. 前記フォトダイオードのリーク電流が変動する
    請求項5から7のいずれか一に記載の固体撮像装置。
  9. 前記画素は、
    前記フォトダイオードに蓄積された電荷が転送されるフローティングディフュージョンを含み、
    前記鍵生成部は、
    前記画素のリーク電流として前記フローティングディフュージョンのリーク電流を用いる
    請求項1から4のいずれか一に記載の固体撮像装置。
  10. 前記画素は、
    前記フォトダイオードに蓄積された電荷が転送されるフローティングディフュージョンの電位に応じた画素信号を出力するソースフォロワトランジスタを含み、
    前記鍵生成部は、
    前記画素のばらつき情報として前記ソースフォロワトランジスタのしきい値のばらつきを用いる
    請求項1から4のいずれか一に記載の固体撮像装置。
  11. フォトダイオードを含む複数の画素が行列状に配列された画素部と、
    前記画素部から画素信号の読み出しを行う読み出し部と、
    前記画素のばらつき情報および前記読み出し部のばらつき情報の少なくともいずれかを用いて固有鍵を生成する鍵生成部と、
    前記画素のばらつき情報を取得する情報取得部と、を有し、
    前記情報取得部は、
    前記画素のばらつき情報を、しきい値に関連付けて取得する
    固体撮像装置。
  12. 前記情報取得部は、
    判定しきい値付近の環境変動により判定結果が変動する傾向にある領域のデータを除外して、鍵を生成するためのばらつき情報を取得する
    請求項11記載の固体撮像装置。
  13. 前記情報取得部は、
    前記しきい値が複数設定され、複数のしきい値との関連で情報を区別する
    請求項11または12記載の固体撮像装置。
  14. 前記しきい値を環境に応じて変化させる
    請求項11から13のいずれか一に記載の固体撮像装置。
  15. 前記情報取得部は、
    前記画素のばらつき情報を取得する画素領域を任意に指定可能である
    請求項11から14のいずれか一に記載の固体撮像装置。
  16. 前記情報取得部は、
    指定する前記画素領域を、ダイナミックに変化させることが可能である
    請求項15記載の固体撮像装置。
  17. 前記読み出し部は、
    前記画素部から画素信号の読み出しを行う行読み出しの順をランダムに変更可能である
    請求項11から16のいずれか一に記載の固体撮像装置。
  18. 前記読み出し部は、
    前記画素部の各列から出力される画素信号をアナログ信号からデジタル信号に変換するアナログデジタル変換器(ADC)を有し、
    前記鍵生成部は、
    しきい値に関連付けた画素のばらつき情報および前記読み出し部の前記ADCのばらつき情報のうちの少なくとも一方を用いて前記固有鍵を生成する
    請求項11から17のいずれか一に記載の固体撮像装置。
  19. 前記読み出し部は、
    前記画素部の各列から出力される画素信号を増幅するアンプ(増幅器)を有し、
    前記鍵生成部は、
    しきい値に関連付けた画素のばらつき情報および前記読み出し部の前記アンプのばらつき情報のうちの少なくとも一方を用いて前記固有鍵を生成する
    請求項11から17のいずれか一に記載の固体撮像装置。
  20. 前記読み出し部は、
    前記画素部の各列から出力される画素信号をサンプル、ホールドするサンプルホールド(S/H)回路を有し、
    前記鍵生成部は、
    しきい値に関連付けた画素のばらつき情報および前記読み出し部の前記S/H回路のばらつき情報のうちの少なくとも一方を用いて前記固有鍵を生成する
    請求項11から17のいずれか一に記載の固体撮像装置。
  21. 前記読み出し部は、
    前記画素部の各列から出力される画素信号に対して所定の処理が施された信号を記憶するカラムメモリとしてのSRAMを有し、
    前記鍵生成部は、
    しきい値に関連付けた画素のばらつき情報および前記読み出し部の前記カラムメモリのSRAMの出力のうちの少なくとも一方を用いて前記固有鍵を生成する
    請求項11から17のいずれか一に記載の固体撮像装置。
  22. 前記鍵生成部は、
    前記読み出し部のアナログデジタル変換器(ADC)、アンプ、またはサンプルホールド(S/H)回路のばらつき情報を用いて前記固有鍵を生成する第1機能と、
    前記読み出し部のカラムメモリのSRAMの出力を用いて前記固有鍵を生成する第2機能と、を含み、
    前記第1機能により生成された前記固有鍵と、前記第2機能により生成された前記固有鍵とを演算することにより、固有鍵を生成する
    請求項11から21のいずれか一に記載の固体撮像装置。
  23. 前記鍵生成部は、
    ファジー抽出器(Fuzzy Extractor)により鍵の生成を行う
    請求項1から22のいずれか一に記載の固体撮像装置。
  24. 前記鍵生成部は、
    初期に鍵を生成して得られたヘルパーデータと前記画素のばらつき情報および前記読み出し部のばらつき情報の少なくともいずれかを用いて固有鍵を生成する
    請求項23記載の固体撮像装置。
  25. 前記鍵生成部で生成された前記固有鍵と、当該固体撮像装置で取得した取得データとを組み合わせて識別データを生成する識別データ生成部を含む
    請求項1から24のいずれか一に記載の固体撮像装置。
  26. 前記取得データは、少なくとも画素、日付、温度、GPSに関するデータのうちの少なくともいずれかのデータである
    請求項25記載の固体撮像装置。
  27. 前記識別データ生成部で生成された前記識別データと前記読み出し部による読み出しデータに基づく画像データを一体化して出力する一体化部を含む
    請求項25または26記載の固体撮像装置。
  28. 前記識別データ生成部は、
    前記固有鍵に関する情報を認識していない場合は、正しい識別データの作成が不可である
    請求項27記載の固体撮像装置。
  29. 前記鍵生成部により生成された前記固有鍵に応じた秘密鍵および公開鍵が作成され、
    前記秘密鍵で暗号化された画像データは、
    閲覧可能であるが編集は不可能であり、
    前記公開鍵で開錠して閲覧できて編集可能データとなるが、元に戻せない
    請求項28記載の固体撮像装置。
  30. 前記一体化部は、
    一体化する鍵情報を用いて階層的に画像部分にマスクをする機能を含む
    請求項27から29のいずれか一に記載固体撮像装置。
  31. 前記一体化部は、
    一体化する鍵情報を用いて画像に電子透かしを入れる機能を含む
    請求項27から29のいずれか一に記記載の固体撮像装置。
  32. 前記固体撮像装置の各構成要素が同一パッケージ内に搭載されている
    請求項1から31のいずれか一に記載の固体撮像装置。
  33. チップ出荷時の鍵データがメモリに書き込まれている
    請求項1から32のいずれか一に記載の固体撮像装置。
  34. 前記鍵生成部は、
    前記画素部の有効画素の読み出し時以外の期間に前記固有鍵の生成を行う
    請求項1から33のいずれか一に記載の固体撮像装置。
  35. フォトダイオードを含む複数の画素が行列状に配列された画素部と、
    前記画素部から画素信号の読み出しを行う読み出し部と、
    を含む固体撮像装置の駆動方法であって、
    前記画素のばらつき情報および前記読み出し部のばらつき情報の少なくともいずれかの情報を取得する情報取得ステップと、
    前記情報取得ステップで取得したばらつき情報を用いて固有鍵を生成する鍵生成ステップと、を有し、
    前記情報取得ステップにおいては、しきい値に関連付けた画素のばらつき情報を取得する
    固体撮像装置の駆動方法。
  36. 前記鍵生成ステップでは、
    前記画素部の有効画素の読み出し時以外の期間に前記固有鍵の生成を行う
    請求項35記載の固体撮像装置の駆動方法。
  37. 固体撮像装置と、
    前記固体撮像装置に被写体像を結像する光学系と、を有し、
    前記固体撮像装置は、
    フォトダイオードを含む複数の画素が行列状に配列された画素部と、
    前記画素部から画素信号の読み出しを行う読み出し部と、
    前記画素のばらつき情報および前記読み出し部のばらつき情報の少なくともいずれかを用いて固有鍵を生成する鍵生成部と、
    前記画素のばらつき情報を取得する情報取得部と、を含み、
    前記情報取得部は、
    前記画素のばらつき情報を、しきい値に関連付けて取得する
    電子機器。
JP2017512244A 2015-04-16 2016-03-18 固体撮像装置、固体撮像装置の駆動方法、および電子機器 Active JP6606659B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015084309 2015-04-16
JP2015084309 2015-04-16
PCT/JP2016/058677 WO2016167076A1 (ja) 2015-04-16 2016-03-18 固体撮像装置、固体撮像装置の駆動方法、および電子機器

Publications (2)

Publication Number Publication Date
JPWO2016167076A1 JPWO2016167076A1 (ja) 2018-03-01
JP6606659B2 true JP6606659B2 (ja) 2019-11-20

Family

ID=57126568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017512244A Active JP6606659B2 (ja) 2015-04-16 2016-03-18 固体撮像装置、固体撮像装置の駆動方法、および電子機器

Country Status (4)

Country Link
US (1) US10382708B2 (ja)
JP (1) JP6606659B2 (ja)
CN (1) CN107852471B (ja)
WO (1) WO2016167076A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556657B2 (en) 2018-01-19 2023-01-17 Sony Semiconductor Solutions Corporation Solid-state imaging device and information processing method of solid-state imaging device

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6853934B2 (ja) * 2017-01-19 2021-04-07 ブリルニクスジャパン株式会社 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP7042025B2 (ja) * 2017-01-23 2022-03-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び記録媒体
JP6917716B2 (ja) * 2017-01-23 2021-08-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び固体撮像装置の情報処理方法
JP6798374B2 (ja) * 2017-03-15 2020-12-09 コニカミノルタ株式会社 放射線画像撮影装置
US11134240B2 (en) * 2017-06-21 2021-09-28 Sony Semiconductor Solutions Corporation Device and method for determining a fingerprint for a device using a voltage offset distribution pattern
JP2019121884A (ja) 2017-12-28 2019-07-22 三菱重工業株式会社 集積回路、制御装置、情報配信方法及び情報配信システム
JP2019126013A (ja) * 2018-01-19 2019-07-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JP7114833B2 (ja) * 2018-01-22 2022-08-09 ブリルニクスジャパン株式会社 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP7031326B2 (ja) * 2018-01-22 2022-03-08 ブリルニクスジャパン株式会社 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US20210365553A1 (en) * 2018-02-07 2021-11-25 Sony Semiconductor Solutions Corporation Control device and control method
JP7201156B2 (ja) * 2018-03-30 2023-01-10 ブリルニクスジャパン株式会社 固体撮像装置
JP6906469B2 (ja) * 2018-04-02 2021-07-21 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020068369A (ja) * 2018-10-18 2020-04-30 キヤノン株式会社 半導体装置、半導体メモリ、光電変換装置、移動体、光電変換装置の製造方法、および半導体メモリの製造方法
US11094733B2 (en) * 2018-10-18 2021-08-17 Canon Kabushiki Kaisha Semiconductor device, semiconductor memory, photoelectric conversion device, moving unit, manufacturing method of photoelectric conversion device, and manufacturing method of semiconductor memory
TWI747052B (zh) * 2018-10-24 2021-11-21 大陸商廣州印芯半導體技術有限公司 具有加密功能的光學感測器及影像資料加密方法
EP3920165A4 (en) * 2019-01-30 2022-02-23 Sony Group Corporation SENSOR DEVICE AND ENCRYPTION METHOD
CN113348644A (zh) * 2019-01-30 2021-09-03 索尼集团公司 传感器装置和加密方法
JP7317297B2 (ja) * 2019-03-05 2023-07-31 ブリルニクスジャパン株式会社 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP2020161980A (ja) 2019-03-26 2020-10-01 株式会社ジャパンディスプレイ 情報処理装置及び情報処理装置の駆動方法
WO2021081932A1 (en) * 2019-10-31 2021-05-06 Huawei Technologies Co., Ltd. Driver circuit and method for controlling lens actuators
US11604869B2 (en) 2019-11-26 2023-03-14 Samsung Electronics Co., Ltd. Method and electronic device for providing authentication using an image sensor
KR20220160359A (ko) * 2021-05-27 2022-12-06 에스케이하이닉스 주식회사 이미지 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69822950T2 (de) * 1997-09-03 2009-09-24 Hitachi, Ltd. Verfahren und System zum Einbetten von Information in Daten
JP4287642B2 (ja) 2002-12-09 2009-07-01 富士フイルム株式会社 レンズアセンブリ
JP4556103B2 (ja) * 2004-02-24 2010-10-06 ソニー株式会社 暗号化装置及び暗号化方法
US20060268137A1 (en) 2005-05-31 2006-11-30 Charles Grant Myers System and method for reducing read-out noise in a pixel array
JP5337411B2 (ja) * 2008-06-13 2013-11-06 京セラドキュメントソリューションズ株式会社 情報秘匿化方法および情報秘匿化装置
JP4687775B2 (ja) * 2008-11-20 2011-05-25 ソニー株式会社 暗号処理装置
BRPI1006764A8 (pt) * 2009-04-10 2017-07-11 Koninklijke Philips Electronics Nv Método em um sistema que compreende um dispositivo e um serviço remoto, e, sistema para autenticar um dispositivo e um usuário
JP6030925B2 (ja) 2012-11-12 2016-11-24 ルネサスエレクトロニクス株式会社 半導体装置及び情報処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556657B2 (en) 2018-01-19 2023-01-17 Sony Semiconductor Solutions Corporation Solid-state imaging device and information processing method of solid-state imaging device

Also Published As

Publication number Publication date
CN107852471B (zh) 2020-09-18
JPWO2016167076A1 (ja) 2018-03-01
WO2016167076A1 (ja) 2016-10-20
US20180115723A1 (en) 2018-04-26
CN107852471A (zh) 2018-03-27
US10382708B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
JP6606659B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US10484638B2 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus for preventing tampering of an image
US11336857B2 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
US10412329B2 (en) Imaging apparatus with logarithmic characteristics and method for driving the same
US11637982B2 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
JP7031326B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
WO2020022120A1 (ja) ストリーキング補正回路、撮像装置、及び、電子機器
JP7201156B2 (ja) 固体撮像装置
JP4236271B2 (ja) 光電変換装置
WO2022054627A1 (ja) 固体撮像装置および信号処理方法、並びに電子機器
JPWO2020100704A1 (ja) カメラシステムおよびカメラシステムの駆動方法
JP2015181221A (ja) 撮像装置、欠陥画素検出方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190920

R150 Certificate of patent or registration of utility model

Ref document number: 6606659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250