JPWO2020045443A1 - 画像生成装置及び画像生成方法 - Google Patents

画像生成装置及び画像生成方法 Download PDF

Info

Publication number
JPWO2020045443A1
JPWO2020045443A1 JP2020539507A JP2020539507A JPWO2020045443A1 JP WO2020045443 A1 JPWO2020045443 A1 JP WO2020045443A1 JP 2020539507 A JP2020539507 A JP 2020539507A JP 2020539507 A JP2020539507 A JP 2020539507A JP WO2020045443 A1 JPWO2020045443 A1 JP WO2020045443A1
Authority
JP
Japan
Prior art keywords
organic thin
thin film
image
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020539507A
Other languages
English (en)
Other versions
JP7336748B2 (ja
Inventor
登 一生
一生 登
佐藤 智
智 佐藤
吾妻 健夫
健夫 吾妻
信彦 若井
信彦 若井
原田 充
充 原田
町田 真一
真一 町田
眞澄 井土
眞澄 井土
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020045443A1 publication Critical patent/JPWO2020045443A1/ja
Priority to JP2023111487A priority Critical patent/JP7474953B2/ja
Application granted granted Critical
Publication of JP7336748B2 publication Critical patent/JP7336748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/749Circuitry for compensating brightness variation in the scene by influencing the pick-up tube voltages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30Devices controlled by radiation
    • H10K39/32Organic image sensors
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy
    • Y02E10/549Organic PV cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Light Receiving Elements (AREA)

Abstract

画像生成装置(1)は、電圧値の異なる複数の電圧を生成する電圧生成部(40)と、複数の電圧が印加される有機薄膜(32)を有し、複数の電圧の印加のそれぞれに対応して撮像を行う撮像部(10)と、撮像部(10)の撮像によって得られる輝度データであって、複数の電圧の印加に対応する複数の輝度データを取得する輝度データ取得部(51)と、複数の輝度データに基づいてカラー画像を生成するカラー画像生成部(52)とを備える。

Description

本開示は、有機薄膜(OPF:Orgnic Photoconductive Film)を有する撮像素子を備える画像生成装置、及び、画像生成方法に関する。
従来、複数の画素を有する撮像素子を備える画像生成装置が知られている。この種の画像生成装置の一例として、非特許文献1には、カラーフィルタと撮像素子とを備える画像生成装置が記載されている。この画像装置では、撮像素子の1画素が4つの副画素によって構成されている。そしてこの画像装置では、入射した光をカラーフィルタでR(赤)、G(緑)、B(青)、及びIR(赤外線)の成分に分解し、分解した各成分の光を各副画素にて光電変換した後、画像処理することでカラー画像を生成している。
Shinichi Machida, Sanshiro Shishido, Takeyoshi Tokuhara, Masaaki Yanagida, Takayoshi Yamada, Masumi Izuchi, Yoshiaki Sato, Yasuo Miyake, Manabu Nakata, Masashi Murakami, Mitsuru Harada, and Yasunori Inoue, "A 2.1−Mpixel Organic Film−Stacked RGB−IR Image Sensor With Electrically Controllable IR Sensitivity", IEEE JOURNAL OF SOLID−STATE CIRCUIT, vol.53, NO.1, pp.229−235, JANUARY 2018.
しかしながら、非特許文献1の画像生成装置では、カラーフィルタが用いられているため、1画素をR、G、B及びIRからなる4つの副画素によって構成する必要がある。そのため、1画素の面積が大きくなり、カラー画像の解像度が低下するという問題がある。
本開示の非限定的ではない例示的な一態様は、カラー画像の解像度を向上することができる画像生成装置である。また、本開示の非限定的ではない例示的な一態様は、カラー画像の解像度を向上することができる画像生成方法である。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び/又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その1以上を得るために全てが必要ではない。
本開示の一態様に係る画像生成装置は、電圧値の異なる複数の電圧を生成する電圧生成部と、前記複数の電圧が印加される有機薄膜を有し、前記複数の電圧の印加のそれぞれに対応して撮像を行う撮像部と、前記撮像部の撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得する輝度データ取得部と、前記複数の輝度データに基づいてカラー画像を生成するカラー画像生成部とを備える。
また、本開示の一態様に係る画像生成方法は、有機薄膜に電圧値の異なる複数の電圧を印加して撮像を行うことと、前記撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得することと、前記複数の輝度データに基づいてカラー画像を生成することとを含む。
上述の包括的又は具体的な態様は、システム、方法及びコンピュータプログラム、コンピュータ読み取り可能な記録媒体を用いて実装されてもよいし、装置、システム、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体の組み合わせを用いて実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD−ROM(Compact Disc−Read Only Memory)などの不揮発性の記録媒体を含む。
本開示によれば、カラー画像の解像度を向上することができる。
図1は、画像生成装置の撮像部及び電圧生成部を示す模式図である。 図2は、有機薄膜を有する撮像素子の波長−感度特性の一例を示す模式図である。 図3は、実施の形態1における画像生成装置を示す概略図である。 図4は、実施の形態1における画像生成装置の構成を示すブロック図である。 図5は、実施の形態1における画像生成装置の撮像部及び電圧生成部を示す模式図である。 図6は、実施の形態1における画像生成装置にて得られるデータの一例を示す図である。 図7は、実施の形態1の画像生成方法を示すフローチャートである。 図8は、実施の形態1の画像生成方法にて使用される係数の求め方の一例を示す図である。 図9は、実施の形態1の画像生成装置にて生成した画像の一例を示す図である。 図10は、実施の形態1の変形例1の画像生成装置における撮像素子の波長−感度特性を示す模式図である。 図11は、実施の形態1の変形例2の画像生成装置における撮像部の露光中に、有機薄膜に印加されている電圧を示す図である。 図12は、実施の形態2における画像生成装置の撮像部及び電圧生成部を示す模式図である。 図13は、実施の形態3における画像生成装置の撮像部及び電圧生成部を示す模式図である。
(本開示の基礎となる知見)
従来の画像生成装置では、カラーフィルタが用いられているため、1画素をR、G、B及びIRからなる4つの副画素によって構成する必要がある。そのため、1画素の面積が大きくなり、カラー画像の解像度が低下するという問題がある。この問題を解決するため、被写体を撮像する際にカラーフィルタを用いずにカラー画像を生成する装置について提案する。カラーフィルタを用いずに撮像することができれば、従来技術で示した副画素の面積を1画素の面積として扱い、1画素の面積を小さくすることができるので、カラー画像の解像度を向上させることが可能となる。
図1は、画像生成装置の撮像部10及び電圧生成部40を示す模式図である。
撮像部10は、複数の画素を有する撮像素子30を備えている。撮像素子30は、シリコン基板39上に設けられたFD(フローティングディフュージョン)38と、FD38に電気的に接続された金属配線及び画素電極と、画素電極上に設けられた有機薄膜OPFと、有機薄膜OPF上に設けられた透明電極31とを有している。
有機薄膜OPFは、透明電極31を介して入射した光を光電変換する導光膜である。有機薄膜OPFは、可視光を検出する層と近赤外光を検出する層との積層構造によって構成されている。有機薄膜OPFによって光電変換された電荷は、FD38に蓄積される。
撮像部10には、透明電極31を介して有機薄膜OPFに電圧を印加するための電圧生成部40が接続されている。
図2は、有機薄膜OPFを有する撮像素子30の波長−感度特性の一例を示す模式図である。
同図に示すように撮像素子30は、有機薄膜OPFに電圧Hを印加したときの感度特性と、電圧L(L<H)を印加したときの感度特性とで異なる傾向を示す。具体的には、印加電圧をH又はLに切り替えた場合の青色、緑色、赤色の波長における感度の違いが、同じ倍率となって表れるのでなく異なる倍率となって表れる。
このように有機薄膜OPFを有する撮像素子30は、有機薄膜OPFに印加する電圧を変えることで異なる感度特性を示す。そこで本開示では、有機薄膜に印加する電圧を変えることで複数の異なる感度特性(フィルタ特性)を作り出し、この複数の感度特性によって得られたデータに基づいて、カラー画像を生成する装置を提案する。以下、本開示における画像生成装置等について説明する。
本開示の一態様に係る画像生成装置は、電圧値の異なる複数の電圧を生成する電圧生成部と、前記複数の電圧が印加される有機薄膜を有し、前記複数の電圧の印加のそれぞれに対応して撮像を行う撮像部と、前記撮像部の撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得する輝度データ取得部と、前記複数の輝度データに基づいてカラー画像を生成するカラー画像生成部とを備える。
このように、有機薄膜に複数の電圧を印加することで複数の感度特性を作ることができる。そのため、この複数の感度特性によって得られた複数の輝度データに基づいて、カラー画像を生成することができる。これにより、カラーフィルタを用いることなく、1画素の面積を小さくしてカラー画像を生成できるので、カラー画像の解像度を向上することができる。
また、前記カラー画像生成部は、前記複数の輝度データに、予め決められた係数を掛けあわせることで前記カラー画像を生成してもよい。
これによれば、複数の輝度データに基づいて、簡易にカラー画像を生成することができる。本開示の画像生成装置によれば、上記により簡易に生成されたカラー画像の解像度を向上することができる。
また、前記係数は、前記撮像部を用いて複数の色を有するカラーチャートを撮像することで、前記複数の色に対応する色データ、前記係数、及び、前記複数の輝度データを含む行列式を取得し、前記行列式を疑似逆行列を使って解くことで導出されてもよい。
これによれば、複数の輝度データに基づいて、再現性の高いカラー画像を生成することができる。本開示の画像生成装置によれば、上記により生成された再現性の高いカラー画像の解像度を向上することができる。
また、前記係数は、前記撮像部を用いて複数の色を有するカラーチャートを撮像し、当該撮像によって得られた前記複数の輝度データを入力とし、前記複数の色に対応する色データを正解データとして学習することで導出されてもよい。
これによれば、複数の輝度データに基づいて、再現性の高いカラー画像を生成することができる。本開示の画像生成装置によれば、上記により生成された再現性の高いカラー画像の解像度を向上することができる。
また、前記電圧生成部は、前記撮像部を用いて撮像する際のシーンに応じて前記電圧を変えてもよい。
このように、撮像する際のシーンに応じて電圧を変えることで、多様な目的の撮像を行うことができる。本開示の画像生成装置によれば、多様な目的に応じて撮像され、生成されたカラー画像の解像度を向上することができる。
また、前記電圧生成部は、前記撮像部の露光中に前記電圧を変調してもよい。
このように、露光中に電圧を変調することで、目的に応じた感度特性を作りだし、その特性を使ってカラー画像を生成することができる。本開示の画像生成装置によれば、多様な目的に応じて撮像され、生成されたカラー画像の解像度を向上することができる。
また、前記撮像部は、積層された複数の前記有機薄膜を有し、複数の前記有機薄膜に印加される前記複数の電圧の数は、複数の前記有機薄膜の数以上であってもよい。
これによれば、より多くの感度特性を作り出すことができる。これにより、より正確な感度特性を使って再現性の高いカラー画像を生成することができる。
また、前記撮像部は、複数の前記有機薄膜として、可視光を検出する第1の有機薄膜と、近赤外光を検出する第2の有機薄膜とを有し、前記第1の有機薄膜は、前記第2の有機薄膜よりも被写体側に設けられていてもよい。
これによれば、第2の有機薄膜にて可視光を検出してその可視光を取り除いた後に、第1の有機薄膜にて近赤外光を検出することができるので、近赤外光の検出性能を向上することができる。
また、前記撮像部は、複数の前記有機薄膜として、可視光を検出する第1の有機薄膜と、近赤外光を検出する第2の有機薄膜とを有し、前記第2の有機薄膜は、前記第1の有機薄膜よりも被写体側に設けられていてもよい。
これによれば、第1の有機薄膜にて近赤外光を検出してその近赤外光を取り除いた後に、第2の有機薄膜にて可視光を検出することができるので、可視光の色再現性を向上することができる。
本開示の一態様に係る画像生成方法は、有機薄膜に電圧値の異なる複数の電圧を印加して撮像を行うことと、前記撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得することと、前記複数の輝度データに基づいてカラー画像を生成することとを含む。
このように、有機薄膜に複数の電圧を印加することで複数の感度特性を作ることができる。そのため、この複数の感度特性によって得られた複数の輝度データに基づいて、カラー画像を生成することができる。これにより、カラーフィルタを用いることなく、1画素の面積を小さくしてカラー画像を生成できるので、カラー画像の解像度を向上することができる。
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の1つ又は複数の組み合わせが含まれる。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本発明の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
(実施の形態1)
[1−1.画像生成装置の構成及び動作]
実施の形態1の画像生成装置の構成について、図3〜図6を参照しながら説明する。
図3は、実施の形態1における画像生成装置1を示す概略図である。図4は、画像生成装置1の構成を示すブロック図である。
図3及び図4に示すように、画像生成装置1は、被写体Ob1を撮像する撮像部10と、撮像部10に印加する電圧を生成する電圧生成部40と、撮像部10によって得られた撮像結果を処理するデータ処理部50とを備える。
データ処理部50は、撮像部10によって得られた撮像結果から輝度データを取得する輝度データ取得部51と、この輝度データに基づいてカラー画像を生成するカラー画像生成部52とを備える。
なお、図3及び図4では、電圧生成部40が、データ処理部50及び撮像部10と別体となっているが、電圧生成部40は、データ処理部50が収容されている筐体内又は撮像部10が収容されている筐体内に設けられていてもよい。
また、本実施の形態は、撮像部10及び電圧生成部40を含む信号生成装置と、データ処理部50に相当するデータ処理装置とを備える画像生成システムであってもよい。この場合、信号生成装置及びデータ処理装置のそれぞれは、通信部を有し、信号生成装置は、有線又は無線通信により、後述するデジタル信号をデータ処理装置に送信する。
図5は、画像生成装置1の撮像部10及び電圧生成部40を示す模式図である。
撮像部10は、複数のマイクロレンズ20と、行列状に配置された複数の画素を有する撮像素子30とを備えている。本実施の形態では、マイクロレンズ20と撮像素子30との間に、カラーフィルタが設けられていない。
複数のマイクロレンズ20のそれぞれは、複数の画素のそれぞれに対応して行列状に配置されている。各マイクロレンズ20は、入射した光を撮像素子30の各画素に向けて集光する。
撮像素子30はマイクロレンズ20で集光された光を受光して、電気信号を出力する素子である。撮像素子30は、シリコン基板39と、シリコン基板39上に設けられたFD38と、FD38に電気的に接続された金属配線37及び画素電極36と、画素電極36上に設けられた有機薄膜32と、有機薄膜32上に設けられた透明電極31とを有している。
透明電極31は、光を透過する電極であり、ITO(Indium Tin Oxide)又はZnOなどの透明材料によって形成されている。透明電極31は、マイクロレンズ20と有機薄膜32との間に配置され、配線等を介して電圧生成部40に接続されている。
有機薄膜32は、マイクロレンズ20及び透明電極31を介して入射した光を光電変換する導光膜である。前述したように有機薄膜32を有する撮像素子30は、有機薄膜32に印加された電圧の値によって光の感度が変化する特性を有している。図5に示されている有機薄膜32の層数は1層であるが、それに限られず、有機薄膜32は、R成分を検出するための層、G成分を検出するための層及びB成分を検出するための層などの複数層で形成されていてもよい。有機薄膜32は、画素電極36及び金属配線37を介してFD38に接続されている。
FD38は、有機薄膜32にて光電変換された電荷を蓄積する電荷蓄積ノードである。撮像素子30は、複数のFD38を有しており、各FD38は、各画素に1対1で対応するように配置されている。FD38は、撮像部10の撮像中すなわち露光中に上記電荷を蓄積する。
電圧生成部40は、電圧値の異なる複数の電圧を生成する電圧生成装置である。電圧生成部40は、例えば、複数のトランジスタを有し、複数のトランジスタのオンオフを切り替えることで複数の電圧を生成する。電圧生成部40は、プラス側が透明電極31に接続され、マイナス側が接地されている。電圧生成部40は、透明電極31を介して有機薄膜32に複数の電圧を印加する。
図6は、画像生成装置1にて得られるデータの一例を示す図である。
本実施の形態では、同じ被写体Ob1を撮像する際に、電圧生成部40を用いて有機薄膜32に印加する電圧を変化させる。例えば、画像生成装置1では、有機薄膜32に対して3つの電圧V1、V2、V3が順に印加され、3つの異なる感度特性が作り出される。撮像部10は、3つの電圧V1〜V3のそれぞれの印加タイミングに対応して撮像を行う。
3つの特性を有する有機薄膜32によって得られた電荷のそれぞれは、その都度、FD38に蓄積される。撮像部10は、FD38に蓄積された電荷によって発生する電位を検出し、この電位をデジタル信号に変換してデータ処理部50に出力する。また、電圧生成部40は、データ処理部50に、印可された電圧の情報(印可電圧の大きさ、印可タイミング)を送信してもよい。
輝度データ取得部51は、撮像部10から出力されたデジタル信号によって輝度データを取得する。具体的には図6に示すように、輝度データ取得部51は、撮像部10が複数の電圧V1〜V3を印加して被写体Ob1を撮像した際の、複数の電圧V1〜V3の印加に対応する複数の輝度データD1、D2、D3を取得する。
カラー画像生成部52は、複数の輝度データD1〜D3に基づいてカラー画像Dcを生成する。具体的には、カラー画像生成部52は、複数の輝度データD1〜D3に対して、予め決められた係数A1(式(2)参照)を掛けあわせ、データ処理を行うことでカラー画像Dcを生成する。なお、カラー画像生成部52は、印可された電圧の情報を用いて、カラー画像Dcを生成してもよいし、予め決められた印可される電圧の情報を用いて、カラー画像Dcを生成してもよい。つまり、電圧値に応じた係数を用いて、カラー画像Dcが生成されてもよい。カラー画像生成部52は、生成したカラー画像Dcを、映像出力端子(図示省略)等に出力し、デジタル信号として又はアナログ信号として画像生成装置1の外部に出力する。
[1−2.画像生成方法]
次に、実施の形態の画像生成方法について、図7を参照しながら説明する。ここでは、有機薄膜32に3つの電圧V1〜V3を印加する例を中心に説明する。
図7は、実施の形態1における画像生成方法を示すフローチャートである。
まず、有機薄膜32に複数の電圧V1〜V3を印加して被写体Ob1を撮像する(M10)。また、画像生成装置1は、撮像部10の撮像によって得られる輝度データであって、複数の電圧V1〜V3の印加に対応する複数の輝度データD1〜D3を取得する(M20)。これらの内容M10及びM20を具体的に示すと以下のようになる。
まず、撮像部10は、有機薄膜32に電圧V1が印加された状態で、被写体Ob1を撮像する(M11)。そして撮像部10は、撮像によってFD38に発生した電位をデジタル信号に変換して出力する。輝度データ取得部51は、撮像部10から出力されたデジタル信号によって輝度データD1を取得する(M21)。データ取得後、FD38に蓄積された電荷は放出される。
次に、撮像部10は、有機薄膜32に電圧V2(例えばV2>V1)が印加された状態で、被写体Ob1を撮像する(M12)。そして撮像部10は、撮像によってFD38に発生した電位をデジタル信号に変換して出力する。輝度データ取得部51は、撮像部10から出力されたデジタル信号によって輝度データD2を取得する(M22)。データ取得後、FD38に蓄積された電荷は放出される。
次に、撮像部10は、有機薄膜32に電圧V3(例えばV3>V2)が印加された状態で、被写体Ob1を撮像する(M13)。そして撮像部10は、撮像によってFD38に発生した電位をデジタル信号に変換して出力する。輝度データ取得部51は、撮像部10から出力されたデジタル信号によって輝度データD3を取得する(M23)。データ取得後、FD38に蓄積された電荷は放出される。
画像生成装置1は、これらの内容(M10及びM20)を実行することで、3つの輝度データD1〜D3を取得する。
次に、カラー画像生成部52は、3つの輝度データD1〜D3に基づいて、カラー画像を生成する(M30)。具体的には、カラー画像生成部52は、3つの輝度データD1〜D3に予め決められた係数A1を掛けあわせることでカラー画像Dc生成する。
ここで、輝度データD1〜D3からカラー画像Dcを生成する方法について、詳しく説明する。図6に示す輝度データD1〜D3及びカラー画像Dcは、撮像した全画素のデータを示しているが、ここでは理解を容易にするため、まず、全画素のうちの1画素に着目して説明する。
1画素に着目した場合、例えば、撮像によって取得した3つの輝度データは、輝度データ(i、i、i)で表される。生成されるカラー画像(r、g、b)は、R、G、Bの各成分からなり、以下の(式1)で表される。係数A1は、(式2)の変換行列で表される。
Figure 2020045443
Figure 2020045443
係数A1のCr1、Cg1、Cb1は、有機薄膜32に電圧V1を印加したときに表れる特性値であり、Cr2、Cg2、Cb2は、有機薄膜32に電圧V2を印加したときに表れる特性値であり、Cr3、Cg3、Cb3は、有機薄膜32に電圧V3を印加したときに表れる特性値である。
上記をもとにして、全画素数がp(pは2以上の整数)であり、有機薄膜32に印加される異なる電圧の数がN(Nは2以上の整数)である場合について説明する。この場合、撮像によって取得した複数の輝度データD1〜DNは、輝度データ(i1,1〜ip,N)で表される。生成されるカラー画像(r、g、b〜r、g、b)は、R、G、Bの各成分からなり、以下の(式3)で表される。係数Aは、(式4)の変換行列で表される。
Figure 2020045443
Figure 2020045443
係数AのCr1、Cg1、Cb1は、有機薄膜32に電圧V1を印加したときに表れる特性値であり、CrN、CgN、CbNは、有機薄膜32にN回目の電圧VNを印加したときに表れる特性値である。
このように、有機薄膜32に複数Nの電圧V1〜VNを印加して撮像した場合には、撮像によって取得した輝度データD1〜DNに、上記係数Aを掛けあわせることでカラー画像Dc生成することができる。
[1−3.画像生成方法にて使用される係数の導出方法]
ここで、上記の画像生成方法にて使用される係数Aの導出方法について説明する。
図8は、画像生成方法にて使用される係数Aの求め方の一例を示す図である。図8には、複数の色を有するカラーチャートOb2と標準光源とが示されている。本実施の形態で用いられるカラーチャートOb2は、マクベスチャートであり、24の色を有している。なお、カラーチャートOb2は、マクベスチャートに限られず、各色に対応する各色データが既知となっているサンプル体であってもよい。
まず、撮像部10を用いてカラーチャートOb2を撮像する。具体的には、異なるNの電圧V1〜VNを有機薄膜32に印加し、それぞれの印加タイミングでカラーチャートOb2を撮像する。これによって(式5)に示すような、3×24の行列で構成される色データ、3×Nの行列で構成される係数A、及び、N×24の行列で構成される輝度データを含む行列式を取得する。なお(式5)では、1色を1画素とみなして行列式を形成している。
Figure 2020045443
Figure 2020045443
(式4)に示す係数Aは、(式5)の行列式を、疑似逆行列を使って解くことで導出される。なお、この行列式では、全方程式を満足する解がないため、全方程式の二乗誤差を最小とする解が採用される。
なお、係数Aは、上記に限られず、ディープラーニングによって導出されてもよい。例えば、係数Aは、撮像部10を用いて複数の色を有するカラーチャートOb2を撮像し、当該撮像によって得られた複数の輝度データを入力とし、複数の色に対応するデータを正解データとして学習することで導出されてもよい。この場合、被写体はカラーチャートである必要はなく、各色に対応する各色データが既知となっているサンプル体であってもよい。これは、例えば、通常のカラーカメラで撮影した複数の画像を利用し、カラーカメラのR、G、Bの各成分の輝度値を(色5)の左辺に与えればよい。このような被写体を利用することで、実際の撮像シーンに近いデータを学習することができるため、より色再現性の高いカラー画像を生成することができる。
[1−4.画像の生成結果等]
次に、画像生成装置1による画像の生成結果について説明する。
図9は、画像生成装置1にて生成した画像の一例を示す図である。図9の(a)は、被写体Ob1の正解画像であり、(b)は、画像生成装置1にて生成した画像である。
図9の(b)には、有機薄膜32に電圧値が異なる2つの電圧を印加し、被写体Ob1を2回撮像して得られた画像が示されている。なお、変換行列である係数Aは、被写体Ob1の正解画像が(R+G)成分及びB成分で構成される2色画像であると仮定して求めた。また、有機薄膜32は、可視光を検出する層と近赤外光を検出する層との2層構造で形成されているものを用いた。
同図に示されるように、画像生成装置1にて生成した画像は、被写体Ob1の色を問題なく再現できている。
[1−5.実施の形態1の変形例1]
次に、実施の形態1の変形例1における画像生成装置1について説明する。変形例1では、撮像する際のシーンに応じて有機薄膜32に印加する電圧の値を変える例について説明する。
図10は、画像生成装置1の撮像素子30の波長−感度特性を示す模式図である。
図10の(a)は、明るい環境にて撮像する場合の感度特性であり、有機薄膜32に電圧V1、V2、V3が印加され、可視光領域に相当する広い波長領域を使って撮像が行われる例が示されている。図10の(b)は、(a)よりも暗い環境にて撮像する場合の感度特性であり、有機薄膜32に電圧V4、V5、V6が印加され、近赤外線の領域に近い波長領域を使って撮像が行われる例が示されている。これらの異なる電圧V1〜V6は、電圧生成装置40によって有機薄膜32に印加される。
電圧V1〜V3及び電圧V4〜V6の切り替えは、明るいときと暗いときとで使い分けるように画像生成装置1にて予め設定されていてもよい。また、はじめに電圧V1〜V3を使って撮像したが、生成されたカラー画像Dcが暗い画像となってしまった場合に、電圧V4〜V6を使って撮像するようにしてもよい。つまり、電圧生成部40は、複数の電圧値セットの情報を有し、電圧値のセットを切り替える。電圧値のセットの例は、第1の電圧値セット(V1〜V3)と、第1の電圧値セットよりも撮像環境の明るさが暗いときに利用される第2の電圧値セット(V4〜V6)である。
画像生成装置1がセンサをさらに備え、センサ値および電圧値セットが対応付けられた情報と、センサで取得されるセンサ値とに基づいて、電圧値セットが選択されてもよい。又は、画像生成装置1の外部にセンサで取得されたセンサ値を取得して、電圧値セットが選択されてもよい。また、画像生成装置1へのユーザの入力に応じて、電圧値セットが切り替えられてもよい。
また、有機薄膜32に印加する電圧の値を変えて撮像するのは、環境の明暗だけに限られない。例えば、人間の肌を撮像する場合は、肌色に近い波長領域を使って撮像を行えるように有機薄膜32に印加する電圧を設定してもよい。
変形例1の画像生成装置1のように、撮像する際のシーンに応じて有機薄膜32に印加する電圧を変えることで、多様な目的の撮像を行うことができる。
[1−6.実施の形態1の変形例2]
次に、実施の形態1の変形例2における画像生成装置1について説明する。変形例2では、撮像部10の露光中(露光時間内)に有機薄膜32に印加される電圧を変調する例について説明する。
図11は、画像生成装置1の撮像部10の露光中に、有機薄膜32に印加されている電圧を示す図である。図11には、撮像部10が露光中に、すなわちFD38が電荷を蓄積している途中に、印加する電圧を変化させる例が示されている。
同図には、3回露光して撮像する際の1回目の撮像中に、まず、有機薄膜32に電圧V1を印加し、次に電圧V2を印加して撮像している。その後、有機薄膜32に電圧V2を印加して2回目の撮像を行い、電圧V3を印加して3回目の撮像を行っている。
このように、1回の露光中に電圧を変調することで、例えば、電圧V1の印加による感度と電圧V2の印加による感度の両方の感度を有する特性を作り出すことができる。変形例2の画像生成装置1によれば、目的に応じた感度特性を作りだし、その特性を使って輝度データD1〜D3を取得し、カラー画像Dcを生成することができる。
(実施の形態2)
実施の形態2の画像生成装置1の構成について説明する。
図12は、実施の形態2における画像生成装置1の撮像部10A及び電圧生成部40を示す模式図である。
撮像部10Aは、複数のマイクロレンズ20と、行列状に配置された複数の画素を有する撮像素子30とを備えている。
撮像素子30は、シリコン基板39と、シリコン基板39上に設けられたFD38と、FD38に電気的に接続された金属配線37及び画素電極36と、画素電極36上に設けられた有機薄膜32と、有機薄膜32上に設けられた透明電極31とを有している。
本実施の形態の有機薄膜32は、近赤外光を検出する第1の有機薄膜32aと、可視光を検出する第2の有機薄膜32bとの積層構造によって構成されている。
また本実施の形態では、第2の有機薄膜32bが、第1の有機薄膜32a上に形成されている。すなわち、可視光(RGB)を検出する第2の有機薄膜32bが、近赤外光(NIR)を検出する第1の有機薄膜32aよりも被写体Ob1側に設けられている。この構造によれば、第2の有機薄膜32bにて可視光を検出してその可視光を取り除いた後に、第1の有機薄膜32aにて近赤外光を検出することができるので、近赤外光の検出性能を向上することができる。
また、実施の形態2では、複数の有機薄膜32a、32bに印加される複数の電圧の数は、複数の有機薄膜32a、32bの数以上となっている。例えば、実施の形態2では、2つの有機薄膜32a及び32bのそれぞれに、3つの電圧V1〜V3が印加されるため、有機薄膜32が1層で形成されている場合に比べて、より多くの感度特性を作り出すことができる。これにより、より正確な感度特性を使って再現性の高いカラー画像Dcを生成することができる。
(実施の形態3)
実施の形態3の画像生成装置1の構成について説明する。
図13は、実施の形態3における画像生成装置1の撮像部10B及び電圧生成部40を示す模式図である。
撮像部10Bは、複数のマイクロレンズ20と、行列状に配置された複数の画素を有する撮像素子30とを備えている。
撮像素子30は、シリコン基板39と、シリコン基板39上に設けられたFD38と、FD38に電気的に接続された金属配線37及び画素電極36と、画素電極36上に設けられた有機薄膜32と、有機薄膜32上に設けられた透明電極31とを有している。
本実施の形態の有機薄膜32は、近赤外光(NIR)を検出する第1の有機薄膜32aと、可視光(RGB)を検出する第2の有機薄膜32bとの積層構造によって構成されている。また、第2の有機薄膜32bは、3層構造であり、画素電極36上にR層32b1、G層32b2、B層32b3の順で積層されている。例えば、R層32b1は、光のR成分を検出する層であり、G層32b2は、光のG成分を検出する層であり、B層32b3は、光のB成分を検出する層である。
また本実施の形態では、第1の有機薄膜32aが、第2の有機薄膜32b上に形成されている。すなわち、近赤外光を検出する第1の有機薄膜32aが、可視光を検出する第2の有機薄膜32bよりも被写体Ob1側に設けられている。この構造によれば、第1の有機薄膜32aにて近赤外光を検出してその近赤外光を取り除いた後に、第2の有機薄膜32bにて可視光を検出することができるので、可視光の色再現性を向上することができる。
(他の実施の形態)
以上のように、本開示に係る技術の例示として実施の形態を説明した。しかしながら、本開示に係る技術は、これらの実施の形態に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。即ち、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施した形態、互いに異なる実施の形態における構成要素を組み合わせて構築される形態等は、本開示に係る技術の一実施態様に含まれる。
また、上記の実施の形態で示した画像生成装置の各構成要素(特に、データ処理部50を含む各回路等)は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア(プログラム)を実行することによって実現されてもよい。各構成要素は、マイクロプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記憶媒体(或いは記録媒体)に記録されたプログラムを読み出して実行することによって、実現されてもよい。
また、画像生成装置に含まれる複数の回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。また、例えば、上記実施の形態における特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、上記実施の形態における各種処理の実行順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
本開示に係る画像生成装置は、カラーフィルタを備えていない撮像装置を用いてカラー画像を生成する装置として適用可能である。
1 画像生成装置
10、10A、10B 撮像部
20 マイクロレンズ
30 撮像素子
31 透明電極
32、OPF 有機薄膜
32a 第1の有機薄膜
32b 第2の有機薄膜
32b1 R層
32b2 G層
32b3 B層
36 画素電極
37 金属配線
38 FD(フローティングディフュージョン)
39 シリコン基板
40 電圧生成部
50 データ処理部
51 輝度データ取得部
52 カラー画像生成部
A、A1 係数(変換行列)
D1、D2、D3 輝度データ
Dc カラー画像
Ob1 被写体
Ob2 カラーチャート

Claims (10)

  1. 電圧値の異なる複数の電圧を生成する電圧生成部と、
    前記複数の電圧が印加される有機薄膜を有し、前記複数の電圧の印加のそれぞれに対応して撮像を行う撮像部と、
    前記撮像部の撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得する輝度データ取得部と、
    前記複数の輝度データに基づいてカラー画像を生成するカラー画像生成部と
    を備える画像生成装置。
  2. 前記カラー画像生成部は、前記複数の輝度データに、予め決められた係数を掛けあわせることで前記カラー画像を生成する
    請求項1に記載の画像生成装置。
  3. 前記係数は、前記撮像部を用いて複数の色を有するカラーチャートを撮像することで、前記複数の色に対応する色データ、前記係数、及び、前記複数の輝度データを含む行列式を取得し、前記行列式を疑似逆行列を使って解くことで導出される
    請求項2に記載の画像生成装置。
  4. 前記係数は、前記撮像部を用いて複数の色を有するカラーチャートを撮像し、当該撮像によって得られた前記複数の輝度データを入力とし、前記複数の色に対応する色データを正解データとして学習することで導出される
    請求項2に記載の画像生成装置
  5. 前記電圧生成部は、前記撮像部を用いて撮像する際のシーンに応じて前記電圧を変える
    請求項1〜4のいずれか1項に記載の画像生成装置。
  6. 前記電圧生成部は、前記撮像部の露光中に前記電圧を変調する
    請求項5に記載の画像生成装置。
  7. 前記撮像部は、積層された複数の前記有機薄膜を有し、
    複数の前記有機薄膜に印加される前記複数の電圧の数は、複数の前記有機薄膜の数以上である
    請求項1〜6のいずれか1項に記載の画像生成装置。
  8. 前記撮像部は、複数の前記有機薄膜として、可視光を検出する第1の有機薄膜と、近赤外光を検出する第2の有機薄膜とを有し、
    前記第1の有機薄膜は、前記第2の有機薄膜よりも被写体側に設けられている
    請求項7に記載の画像生成装置。
  9. 前記撮像部は、複数の前記有機薄膜として、可視光を検出する第1の有機薄膜と、近赤外光を検出する第2の有機薄膜とを有し、
    前記第2の有機薄膜は、前記第1の有機薄膜よりも被写体側に設けられている
    請求項7に記載の画像生成装置。
  10. 有機薄膜に電圧値の異なる複数の電圧を印加して撮像を行うことと、
    前記撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得することと、
    前記複数の輝度データに基づいてカラー画像を生成することと
    を含む画像生成方法。
JP2020539507A 2018-08-30 2019-08-27 画像生成装置及び画像生成方法 Active JP7336748B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023111487A JP7474953B2 (ja) 2018-08-30 2023-07-06 画像生成装置及び画像生成方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862724796P 2018-08-30 2018-08-30
US62/724,796 2018-08-30
PCT/JP2019/033538 WO2020045443A1 (ja) 2018-08-30 2019-08-27 画像生成装置及び画像生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023111487A Division JP7474953B2 (ja) 2018-08-30 2023-07-06 画像生成装置及び画像生成方法

Publications (2)

Publication Number Publication Date
JPWO2020045443A1 true JPWO2020045443A1 (ja) 2021-09-02
JP7336748B2 JP7336748B2 (ja) 2023-09-01

Family

ID=69644335

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020539507A Active JP7336748B2 (ja) 2018-08-30 2019-08-27 画像生成装置及び画像生成方法
JP2023111487A Active JP7474953B2 (ja) 2018-08-30 2023-07-06 画像生成装置及び画像生成方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023111487A Active JP7474953B2 (ja) 2018-08-30 2023-07-06 画像生成装置及び画像生成方法

Country Status (5)

Country Link
US (1) US11277571B2 (ja)
EP (1) EP3846463A4 (ja)
JP (2) JP7336748B2 (ja)
CN (1) CN112369015B (ja)
WO (1) WO2020045443A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227092A (ja) * 2007-03-12 2008-09-25 Fujifilm Corp 光電変換素子、撮像素子、撮像装置
JP2009005061A (ja) * 2007-06-21 2009-01-08 Konica Minolta Holdings Inc 固体撮像素子およびそれを用いる撮像装置
JP2018107794A (ja) * 2016-12-27 2018-07-05 パナソニックIpマネジメント株式会社 画像生成装置及び撮像装置
JP2018125839A (ja) * 2017-02-03 2018-08-09 パナソニックIpマネジメント株式会社 撮像装置の制御方法及び撮像装置
JP2018125495A (ja) * 2017-02-03 2018-08-09 パナソニックIpマネジメント株式会社 光電変換素子および撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058274A (ja) * 2010-09-03 2012-03-22 Hitachi Displays Ltd 表示装置
US10141354B2 (en) * 2014-10-23 2018-11-27 Panasonic Intellectual Property Management Co., Ltd. Imaging device and image acquisition device
KR102649294B1 (ko) * 2018-02-06 2024-03-19 삼성전자주식회사 컬러 필터가 없는 유기 이미지 센서
US11107860B2 (en) 2018-02-06 2021-08-31 Samsung Electronics Co., Ltd. Organic image sensors without color filters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227092A (ja) * 2007-03-12 2008-09-25 Fujifilm Corp 光電変換素子、撮像素子、撮像装置
JP2009005061A (ja) * 2007-06-21 2009-01-08 Konica Minolta Holdings Inc 固体撮像素子およびそれを用いる撮像装置
JP2018107794A (ja) * 2016-12-27 2018-07-05 パナソニックIpマネジメント株式会社 画像生成装置及び撮像装置
JP2018125839A (ja) * 2017-02-03 2018-08-09 パナソニックIpマネジメント株式会社 撮像装置の制御方法及び撮像装置
JP2018125495A (ja) * 2017-02-03 2018-08-09 パナソニックIpマネジメント株式会社 光電変換素子および撮像装置

Also Published As

Publication number Publication date
JP7474953B2 (ja) 2024-04-26
CN112369015B (zh) 2023-03-24
JP7336748B2 (ja) 2023-09-01
CN112369015A (zh) 2021-02-12
EP3846463A1 (en) 2021-07-07
US11277571B2 (en) 2022-03-15
JP2023118931A (ja) 2023-08-25
US20210120165A1 (en) 2021-04-22
EP3846463A4 (en) 2021-09-22
WO2020045443A1 (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
CN108401090B (zh) 摄像装置及照相机系统
KR102356706B1 (ko) 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
JP2019169984A (ja) 撮像装置および画像取得装置
CN108462841A (zh) 像素阵列及图像传感器
US20160035780A1 (en) Solid-state image sensing element and imaging system
CN103515403A (zh) 固态成像元件、固态成像元件的校正方法、快门装置和电子设备
CN106254727A (zh) 摄像装置以及信号处理电路
CN103458162B (zh) 用于分区图像传感器的透镜阵列
KR20120106921A (ko) 화상 처리 장치, 화상 처리 방법, 촬상 장치 및 컴퓨터 프로그램
DE102013107049A1 (de) Pixelarray, Bildsensor mit demselben und Verfahren zum Kompensieren von lokalem Dunkelstrom
US20110108704A1 (en) Image sensors and methods of operating the same
US10244182B2 (en) Methods and apparatus for reducing spatial flicker artifacts
CN102037722A (zh) 固态成像器件、成像装置和像素驱动方法
JP2012044519A (ja) デジタルカメラ
US8169508B2 (en) Image input apparatus for forming a composite image based on a photoelectric conversion signal and a saturation signal
JP2010034512A (ja) 固体撮像素子及び撮像装置
Machida et al. A 2.1-Mpixel organic film-stacked RGB-IR image sensor with electrically controllable IR sensitivity
JP2017126846A (ja) 撮像素子、撮像素子の駆動方法、並びに、電子機器
US20190346599A1 (en) Image sensor and electronic camera
JP7474953B2 (ja) 画像生成装置及び画像生成方法
US10652486B2 (en) Image sensor with electron and hole collection electrodes
KR20100075029A (ko) 방사선 검출 장치 및 그 구동 방법
WO2020054373A1 (ja) 撮像装置および撮像方法
JP2008147749A (ja) カラーカメラ装置
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230808

R151 Written notification of patent or utility model registration

Ref document number: 7336748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151