JP6464013B2 - 撮影装置および方法 - Google Patents

撮影装置および方法 Download PDF

Info

Publication number
JP6464013B2
JP6464013B2 JP2015074779A JP2015074779A JP6464013B2 JP 6464013 B2 JP6464013 B2 JP 6464013B2 JP 2015074779 A JP2015074779 A JP 2015074779A JP 2015074779 A JP2015074779 A JP 2015074779A JP 6464013 B2 JP6464013 B2 JP 6464013B2
Authority
JP
Japan
Prior art keywords
unit
imaging
image signal
subject
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015074779A
Other languages
English (en)
Other versions
JP2016195346A (ja
Inventor
康武 田中
康武 田中
大田 恭義
恭義 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015074779A priority Critical patent/JP6464013B2/ja
Priority to US15/073,786 priority patent/US9712814B2/en
Priority to EP16161387.2A priority patent/EP3076658B1/en
Publication of JP2016195346A publication Critical patent/JP2016195346A/ja
Application granted granted Critical
Publication of JP6464013B2 publication Critical patent/JP6464013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Description

本発明は、被写体から発せられた光を撮像素子によって撮影する撮影装置および方法に関するものである。
従来、筐体内に被写体を配置し、筐体内に備えられた光源を用いて被写体に光を照射して、被写体を撮影する撮影システムが色々な分野で利用されている。
このような撮影システムでは、主に被写体の種類に応じて撮影手法が使い分けられており、たとえば被写体からの化学発光、蛍光、反射光または被写体を透過した透過光を撮像素子により撮影して画像を生成する撮影システムが提案されている。
特開2004−180317号公報 特開2002−27326号公報
ここで、上記のような撮影システムにおいて、たとえば撮影中にユーザが誤って筐体の扉を開いてしまった場合、外光が筐体内に入ってしまうため、撮影中の画像に外光がかぶり、画像が無効化してしまう。また、撮影中に画像を撮影する撮像素子および光源などに異常が発生した場合も、適切な撮影を行うことができず、画像が無効化してしまう。
なお、特許文献1および特許文献2には、撮像素子を用いた撮影装置が開示されており、撮像素子から非破壊的な読み出しを行って画像信号を取得することが開示されているが、その画像信号を上述したような装置の異常が発生した場合に用いることについては、何も提案されていない。
本発明は、上記の問題に鑑み、撮影中にユーザが誤って筐体の扉を開いてしまった場合や撮影中に撮像素子および光源などに異常が発生した場合も、その直前までに撮影された画像をユーザが確認することができる撮影装置および方法を提供することを目的とする。
本発明の撮影装置は、画像信号を非破壊的に読み出し可能な撮像素子を有し、撮像素子を用いて被写体の撮影を行う撮影部と、被写体の撮影中に撮像素子から画像信号の非破壊的な読み出しを行う読出制御部と、読出制御部によって非破壊的に読み出された画像信号を保存する保存部と、被写体の撮影中に異常状態が発生したことを検出する異常検出部と、異常検出部によって異常状態が検出された場合に、保存部に保存された画像信号を読み出して出力する出力部とを備えたことを特徴とする。
また、上記本発明の撮影装置において、読出制御部は、画像信号の非破壊的な読み出しを連続的に複数回行うことができる。
また、上記本発明の撮影装置において、読出制御部は、予め設定された一定時間の間隔で画像信号の非破壊的な読み出しを行うことができる。
また、上記本発明の撮影装置は、被写体が内部に設置される筐体であって、開閉扉を有する筐体と、開閉扉の開状態を検出する開状態検出部とを備え、異常検出部は、開状態検出部によって開閉扉の開状態が検出された場合に、異常状態が発生したことを検出することができる。
また、上記本発明の撮影装置は、撮像素子の異常を検出する撮像素子異常検出部を備え、異常検出部は、撮像素子異常検出部によって撮像素子の異常が検出された場合に、異常状態が発生したことを検出することができる。
また、上記本発明の撮影装置において、撮像素子異常検出部は、撮像素子の温度を検出し、その検出した温度が予め設定された範囲外である場合に、撮像素子の異常を検出することができる。
また、上記本発明の撮影装置は、被写体に対して光を照射する光源部と、光源部の異常を検出する光源異常検出部とを備え、異常検出部は、光源異常検出部によって光源の異常が検出された場合に、異常状態が発生したことを検出することができる。
また、上記本発明の撮影装置において、光源異常検出部は、光源部の断線または短絡を検出した場合に、光源部の異常を検出することができる。
また、上記本発明の撮影装置において、異常検出部は、異常状態を段階的に検出することができ、第1段階の異常状態が検出された場合に、異常状態を報知する報知部と、第1段階よりも異常度の高い第2段階の異常状態が検出された場合に、撮影を中止する制御部とを備えることができる。
また、上記本発明の撮影装置は、不揮発性のメモリを有する常時保存部と、常時保存部に保存部から読み出された非破壊的に読み出された画像信号を保存するか否かの選択を受け付ける選択受付部とをさらに備えることができ、選択受付部によって非破壊的に読み出された画像信号を保存することが選択された場合に、常時保存部に非破壊的に読み出された画像信号を保存し、記非破壊的に読み出された画像信号を保存しないことが選択された場合には、常時保存部に非破壊的に読み出された画像信号を保存しないようにできる。
また、撮像素子として、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサを用いることができる。
本発明の撮影方法は、画像信号を非破壊的に読み出し可能な撮像素子を用いて被写体の撮影を行う撮影方法において、被写体の撮影中に撮像素子から非破壊的な画像信号の読み出しを行い、その非破壊的に読み出された画像信号を保存し、被写体の撮影中に異常状態が発生したことを検出した場合に、保存した画像信号を読み出して出力することを特徴とする。
本発明の撮影装置および方法によれば、画像信号を非破壊的に読み出し可能な撮像素子を用いて被写体の撮影を行う際、被写体の撮影中に撮像素子から非破壊的な画像信号の読み出しを行い、その非破壊的に読み出された画像信号を保存する。そして、被写体の撮影中に異常状態が発生したことを検出した場合に、保存した画像信号を読み出して出力するようにしたので、上述したように撮影中にユーザが誤って筐体の扉を開いてしまった場合や撮影中に画像を撮影する撮像素子および光源などに異常が発生した場合も、その直前までに撮影された画像をユーザが確認することができる。
本発明の撮影装置の一実施形態を用いた撮影システムの概略斜視図 本発明の撮影装置の一実施形態の内部構成を示す概略断面図 本発明の撮影装置の第1の実施形態を用いた撮影システムの概略ブロック図である 本発明の撮影装置の第1の実施形態を用いた撮影システムの作用を説明するためのフローチャート 本発明の撮影装置の第2の実施形態を用いた撮影システム概略ブロック図である 本発明の撮影装置の第2の実施形態を用いた撮影システムの作用を説明するためのフローチャート 本発明の撮影装置の第3の実施形態を用いた撮影システム概略ブロック図である 本発明の撮影装置の第3の実施形態を用いた撮影システムの作用を説明するためのフローチャート
以下、本発明の撮影装置および方法の第1の実施形態を用いた撮影システム1について、図面を参照しながら詳細に説明する。本実施形態の撮影システム1は、撮影中に異常状態が発生した場合の処理に特徴を有するものであるが、まずは、撮影システム1の全体構成について説明する。
図1は、本実施形態の撮影システム1を示す概略斜視図であり、図2は、本実施形態の撮影装置の内部構成を示す概略断面図であり、図3は、本実施形態の撮影システム1を示す概略ブロック図である。
本実施形態の撮影システム1は、図1および図2に示されるように、撮影装置本体10および撮影制御装置100を備えている。
撮影装置本体10は、開閉扉14を有する筐体12、被写体Sが設置されるステージ16、撮影部20、レンズ部22、落射光源部24、透過光源部26および被写体観察用モニタ50を備えている。
筐体12は、略直方体に形成された中空部18を有するものであって、内部に被写体Sが配置されるステージ16が設けられている。また、筐体12には、図1に示す開閉扉14が開閉可能に取り付けられており、ユーザは、開閉扉14を開けステージ16上に被写体Sを配置した後、開閉扉14を閉めることで、筐体12内に被写体Sを収容することができる。筐体12は中空部18内に外光が入らない暗箱を構成している。ステージ16は、透過光源部26からの光を透過する材料から形成されている。
また、開閉扉14の中空部18側の面には、開閉扉14が閉じられた際に、筐体本体側に形成された孔13bに嵌合する嵌合部13aが設けられている。孔13bには、嵌合部13aが嵌合しているか否かを検出する開閉状態検出部13(図3参照)が設けられている。開閉状態検出部13は、上述したように孔13bに嵌合部13aが嵌合しているか否かを検出することによって、開閉扉14が開閉を検出するものである。開閉状態検出部13としては、マイクロスイッチまたは光学的なセンサなどを用いることができる。なお、本実施形態の開閉状態検出部13が、本発明の開状態検出部に相当するものである。
撮影部20は、筐体12の上面に固定されており、たとえばCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等の撮像素子21を含み、被写体Sを反射した光、被写体Sから発せられた光または被写体Sを透過した光を検出して画像信号を生成する。撮影部20において生成された画像信号は、たとえば増幅処理が施された後、撮影制御装置100に出力される。
撮影部20にはレンズ部22が取り付けられている。レンズ部22は、たとえば複数のレンズを含み、被写体Sにフォーカスを合わせるために、レンズは矢印Z方向に移動可能に設けられている。また、レンズ部22は、たとえば絞りおよび励起光カットフィルタなどの光学素子も含み、検出する光の光量や波長を調整する。
落射光源部24および透過光源部26はそれぞれ、たとえば蛍光撮影用の励起光源および白色光源を有し、撮影制御装置100の制御により必要に応じて光源を切り替えられるように構成されている。たとえば蛍光標識された被写体Sから発せられた蛍光を検出する撮影を行う場合には、落射光源部24または透過光源部26から励起光が被写体Sへ照射され、被写体Sからの反射光を検出する撮影を行う場合には、落射光源部24から白色光が被写体Sへ照射され、被写体Sを透過した透過光を検出する撮影を行う場合には、透過光源部26から白色光が被写体Sへ照射される。
被写体観察用モニタ50は、筐体12の上部に設けられた小型カメラ(図示省略)で撮影したステージ16上の様子を表示するものである。これにより、ステージ16上に配置された被写体Sの位置やステージ16の高さを確認し、被写体Sが撮影に適した配置になるように被写体Sの位置やステージ16の高さを調整することが可能である。
撮影制御装置100は、たとえばコンピュータからなるものであり、制御装置本体102、入力部104および表示部106を備えている。撮影制御装置100は、撮影装置本体10の撮影部20、落射光源部24および透過光源部26の動作を制御するものであり、撮影装置本体10は、撮影制御装置100によって制御されて被写体Sを撮影するものである。なお、本実施形態においては、撮影装置本体10内の撮影部20および開閉状態検出部13と、撮影制御装置100における読出制御部111、表示制御部112および異常検出部113とから本発明の撮影装置が構成されている。また、本実施形態においては、表示制御部112が本発明の出力部および報知部に相当するものである。
制御装置本体102は、図3に示すように、画像処理部108、制御部110、異常検出部113、一時保存部114および常時保存部115を備えている。なお、本実施形態における一時保存部114が、本発明の保存部に相当するものである。
制御部110は、たとえばCPU(Central Processing Unit)およびROM(Read Only Memory)などを備えている。制御部110は、撮影装置本体10内の各部および撮影制御装置100の動作を統括的に制御するものである。
また、制御部110は、読出制御部111および表示制御部112を備えている。読出制御部111は、撮影部20における撮像素子21からの画像信号の読み出しを制御するものである。
本実施形態の読出制御部111は、予め設定された露光時間が経過した時点で観察用画像の画像信号を撮像素子21から読み出すものであり、さらに上記露光時間の間(観察用画像の撮影中)に一定の時間間隔で画像信号の非破壊的な読み出しを行うものである。非破壊的な読み出し(以下、非破壊読み出しという。)とは、撮像素子21から画像信号を読み出す際に、撮像素子21を構成する各光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出す方法である。つまり、画像信号の読み出しの際にリセット処理を行わないため、電荷の蓄積途中において、何度でも画像信号の読み出しを行うことができる。
常時保存部115は、観察用画像の画像信号を保存するものである。常時保存部115としては、たとえばフラッシュメモリなどの不揮発性メモリを用いることができる。また、常時保存部115は、ユーザからの要求に応じて非破壊読み出しによって取得された画像信号も保存することができるものである。
一時保存部114は、非破壊読み出しによって取得された画像信号を保存するものである。一時保存部114としては、たとえばSDRAM(Synchronous Dynamic Random Access Memory)などの揮発性メモリを用いることができる。なお、本実施形態における一時保存部114が、本発明の保存部に相当するものである。
画像処理部108は、常時保存部115および一時保存部114から読み出された画像信号が入力され、その画像信号に必要な信号処理を施すものである。信号処理としては、たとえば暗電流補正処理やシャープネス処理などがある。暗電流補正処理は、予め記憶された暗画像信号を撮影によって取得された画像信号から減算する処理である。
表示制御部112は、画像処理部108において信号処理の施された画像信号に基づいて、観察用画像を表示部106に表示させるものである。また、表示制御部112は、異常検出部113によって撮影中に異常状態が発生したことが検出された場合に、一時保存部114に保存された非破壊読み出しの画像信号を読み出し、画像処理部108において信号処理の施された画像信号に基づいて、確認用画像を表示部106に表示させるものである。
また、表示制御部112は、異常検出部113によって撮影中に異常状態が発生したことが検出された場合には、その旨をユーザに知らせるメッセージなどの警告を表示部106に表示させるものである。また、メッセージに限らず、マークなどの指標を表示させるようにしてもよい。また、本実施形態においては、メッセージなどを表示させることによってユーザに対して警告を行うようにしたが、これに限らず、ランプを点灯させたり、音を鳴らしたりしてユーザに報知するようにしてもよい。
異常検出部113は、被写体Sの撮影中に異常状態が発生したことを検出するものである。具体的には、本実施形態の異常検出部113は、観察用画像の撮影中に、開閉状態検出部13によって開閉扉14が開かれたことが検出された場合、その検出信号を受け付けて撮影中に異常状態が発生したことを検出するものである。異常検出部113によって撮影中に異常状態が発生したことが検出された場合には、上述したように表示制御部112によって、最も直近に一時保存部114に保存された非破壊読み出しの画像信号が読み出され、画像処理部108において信号処理が施された後、その信号処理済の画像信号に基づいて確認用画像が表示部106に表示される。
表示部106は、例えばCRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイなどの表示デバイスを備えており、上述したように観察用画像および確認用画像を表示したり、警告メッセージを表示したりするものである。また、表示部106は、撮影装置本体10の各部に各種の設定を行ったり指示を与えたりするための設定画面も表示するものである。
入力部104は、マウスやキーボードなどを備えたものである。入力部104は、撮影装置本体10内の各部の種々の設定入力を受け付けるものである。また、入力部104は、一時保存部114から読み出された非破壊読み出しの画像信号を常時保存部115に保存するか否かの選択を受け付けるものである。本実施形態の入力部104は、本発明の選択受付部に相当するものである。
本実施形態の撮影システム1は、上記の構成を有することで、被写体Sの種類や撮影の目的に応じて4つの撮影手法による撮影が可能である。4つの撮影手法としては、被写体Sから発せられる化学発光光を検出する撮影手法(以下、第1の撮影手法という)、被写体Sから発せられる蛍光を検出する撮影手法(以下、第2の撮影手法という)、被写体Sを反射した反射光を検出する撮影手法(以下、第3の撮影手法という)、および被写体Sを透過した透過光を検出する撮影手法(以下、第4の撮影手法という)がある。
第1の撮影手法では、化学反応によって励起した被写体分子が基底状態に戻る際、エネルギーを光として放出する現象(化学発光或いはケミルミネッセンス)が利用される。これにより、たとえば遺伝子解析、疾患および老化に関する生体組織の検査および研究、並びに有機化合物および高分子化合物の劣化評価などを行うことが可能である。たとえば化学発光基質と接触すると化学発光を起こす標識物質で被写体中の撮影対象物質を標識し、その後、化学発光基質をその標識物質と接触させることで、化学発光光を生じさせることができる。なお、第1の撮影手法では、落射光源部24及び透過光源部26からの光照射は行わない。
第2の撮影手法では、落射光源部24または透過光源部26から励起光が照射され、被写体中の撮影対象物質を標識している蛍光物質からの蛍光が検出される。第2の撮影手法の被写体Sとしては、たとえば蛍光標識されかつ電気泳動によって分離されたDNA(deoxyribonucleic acid)断片を含むゲル支持体が挙げられる。本撮影システム1を用いれば、そのゲル支持体中のDNA断片の分布を画像化して評価することが可能となる。
第3の撮影手法では、落射光源部24から照明光としてたとえば白色光が照射され、その照明光の被写体Sでの反射光が検出される。これにより、写真などの反射原稿を光電的に読み取ってデジタル画像を得ることができる。また、第4の撮影手法では、透過光源部26から照明光としてたとえば白色光が照射され、その照明光の被写体Sを透過した透過光が検出される。これにより、フィルムなどの透過原稿を光電的に読み取ってデジタル画像を得ることができる。
次に、本実施形態の撮影システム1の作用について、図4に示すフローチャートを参照しながら説明する。
まず、撮影装置本体10のステージ16上に被写体Sが設置された後、ユーザによって入力部104を用いて撮影開始指示が入力され、撮影部20による撮影が開始される。具体的には、撮影部20の撮像素子21の露光が開始される(S10)。
撮影が開始された後、一定の時間間隔(たとえば1秒間隔)で撮像素子21から非破壊読み出しにより画像信号が読み出され(S12)、その画像信号は一時保存部114に順次記憶される。(S14)。
そして、被写体Sの撮影中に、ユーザによって誤って開閉扉14が開かれた場合(S16,YES)、そのことが開閉状態検出部13によって検出され、その検出信号が異常検出部113によって受け付けられ、異常検出部113は、撮影中に異常状態が発生したことを検出する(S18)。
異常検出部113によって撮影中に異常状態が発生したことが検出された場合、表示制御部112によって表示部106に警告メッセージが表示され(S20)、制御部110によって撮影が中止される(S22)。
次いで、表示制御部112によって、最も直近に一時保存部114に保存された非破壊読み出しの画像信号が読み出される(S24)。
一時保存部114から読み出された非破壊読み出しの画像信号は画像処理部108に入力され、画像処理部108において信号処理が施された後、表示制御部112によって、信号処理済の画像信号に基づいて確認用画像が表示部106に表示される(S26)。
そして、表示部106において、非破壊読み出しの画像信号を常時保存部115に保存するか否かの選択画面が表示され、ユーザによって入力部104を用いて常時保存部115に保存することが選択された場合には(S28,YES)、非破壊読み出しの画像信号は常時保存部115に保存される(S30)。ユーザによって常時保存部115に保存しないことが選択された場合には(S28,NO)、非破壊読み出しの画像信号を常時保存部115に保存することなく、処理を終了する。このように非破壊読み出しの画像信号を常時保存部115に保存するか否かをユーザが選択することによって、必要な画像信号のみを常時保存部115に保存することができる。
一方、撮影中に扉が開かれることなく、予め設定された撮影露光時間が経過した場合には(S32,YES)、読出制御部111によって撮像素子21から破壊読み出しにより画像信号が読み出され、常時保存部115に保存される(S34)。なお、破壊読み出しは、撮像素子21の光電変換素子から画像信号を読み出す際に、光電変換素子に蓄積された電荷を空にするリセット処理を行う読み出し方法である。
そして、表示制御部112によって常時保存部115に保存された破壊読み出しの画像信号が読み出され、画像処理部108においてその画像信号に信号処理が施された後、表示制御部112によって、信号処理済の画像信号に基づいて観察用画像が表示部106に表示される(S36)。
上記第1の実施形態の撮影システム1によれば、被写体Sの撮影中に撮像素子21から非破壊的な画像信号の読み出しを行い、その非破壊的に読み出された画像信号を保存する。そして、被写体Sの撮影中に異常状態が発生したことを検出した場合に、保存した画像信号を読み出して出力するようにしたので、撮影中にユーザが誤って筐体12の扉を開いてしまった場合でも、その直前までに撮影された画像をユーザが確認することができる。
次に、本発明の撮影装置および方法の第2の実施形態を用いた撮影システム2について説明する。第1の実施形態の撮影システム1においては、撮影中に開閉扉14が誤って開かれた場合に、異常検出部113が、撮影中に異常状態が発生したことを検出するようにしたが、第2の実施形態の撮影システム2は、撮像素子21の異常が検出された場合に、撮影中に異常状態が発生したことを検出するものである。具体的には、第2の実施形態の撮影システム2は、撮像素子21の温度異常を検出する。撮像素子21の温度が変化すると、暗電流レベルが変化し、上述した暗電流補正処理を行う際に用いる暗画像信号とは異なる大きさになり、適切な暗電流補正処理を行うことができないからである。なお、第2の実施形態の撮影システム2は、その他の構成については、第1の実施形態の撮影システム1と同様である。
図5は、第2の実施形態の撮影システム2の概略構成を示すブロック図である。図5に示すように、第2の実施形態の撮影システム2の撮影装置本体10には、撮像素子21の異常を検出する撮像素子異常検出部27が設けられている。本実施形態の撮像素子異常検出部27は、具体的には、撮像素子21の温度を検出する温度センサを備え、温度センサによって検出した温度が予め設定された範囲外である場合に、撮像素子21の異常を検出するものである。なお、撮像素子異常検出部27は、撮像素子21の温度を直接検出するものでもよいし、たとえば撮像素子21の近傍の外気の温度を検出することによって間接的に撮像素子21の温度を検出するものでもよい。
次に、本実施形態の撮影システム2の作用について、図6に示すフローチャートを参照しながら説明する。
まず、撮影装置本体10のステージ16上に被写体Sが設置された後、ユーザによって入力部104を用いて撮影開始指示が入力され、撮影部20による撮影が開始される。(S40)。
撮影が開始された後、一定の時間間隔で撮像素子21から非破壊読み出しにより画像信号が読み出され(S42)、その画像信号は一時保存部114に順次記憶される。(S44)。
そして、被写体Sの撮影中に、撮像素子21の温度が第1の閾値範囲外となった場合
(S46,YES)、そのことが撮像素子異常検出部27によって検出され、その検出信号が異常検出部113によって受け付けられ、異常検出部113は、撮影中に異常状態が発生したことを検出する(S48)。なお、第1の閾値範囲は、たとえば−25℃±0.5℃に設定される。
そして、上述したように撮像素子21の温度が第1の閾値範囲外となった場合には、まず、表示制御部112によって表示部106に警告メッセージが表示される(S50)。
そして、引き続き撮影が継続され、さらに撮像素子21の温度の変化が継続して第2の閾値範囲外となった場合には(S52,YES)、表示制御部112によって表示部106にさらに警告メッセージが表示され(S54)、制御部110によって撮影が中止される(S56)。なお、第2の閾値範囲は、たとえば−25℃±1℃に設定される。
次いで、表示制御部112によって、最も直近に一時保存部114に保存された非破壊読み出しの画像信号が読み出される(S58)。
一時保存部114から読み出された非破壊読み出しの画像信号は画像処理部108に入力され、画像処理部108において信号処理が施された後、表示制御部112によって、信号処理済の画像信号に基づいて確認用画像が表示部106に表示される(S60)。
そして、表示部106において、非破壊読み出しの画像信号を常時保存部115に保存するか否かの選択画面が表示され、ユーザによって常時保存部115に保存することが選択された場合には(S62,YES)、非破壊読み出しの画像信号は常時保存部115に保存される(S64)。ユーザによって常時保存部115に保存しないことが選択された場合には(62,NO)、非破壊読み出しの画像信号を常時保存部115に保存することなく、処理を終了する。
一方、撮影中に撮像素子21の温度が第1の閾値範囲外にならなかった場合(S46,NO)および撮影中に撮像素子21の温度が第1の閾値範囲外となったが、第2の閾値範囲外にならなかった場合(S52,NO)には、予め設定された撮影露光時間が経過した時点において(S44,YES)、読出制御部111によって撮像素子21から破壊読み出しにより画像信号が読み出され、常時保存部115に保存される(S68)。
そして、表示制御部112によって常時保存部115に保存された破壊読み出しの画像信号が読み出され、画像処理部108においてその画像信号に信号処理が施された後、表示制御部112によって、信号処理済の画像信号に基づいて観察用画像が表示部106に表示される(S70)。
上記第2の実施形態の撮影システム2によれば、撮影中に撮像素子21に異常が発生した場合も、その直前までに撮影された画像に対して適切な暗電流補正処理を施すことができ、その画像をユーザが確認することができる。
次に、本発明の撮影装置および方法の第3の実施形態を用いた撮影システム3について説明する。第2の実施形態の撮影システム2においては、撮像素子21の異常が検出された場合に、異常検出部113が、撮影中に異常状態が発生したことを検出するようにしたが、第3の実施形態の撮影システム3は、光源の異常が検出された場合に、撮影中に異常状態が発生したことを検出するものである。第3の実施形態の撮影システム3は、その他の構成については、第1の実施形態の撮影システム1と同様である。
図7は、第3の実施形態の撮影システム3の概略構成を示すブロック図である。図7に示すように、第3の実施形態の撮影システム3の撮影装置本体10には、落射光源部24および透過光源部26の異常を検出する光源異常検出部28が設けられている。本実施形態の光源異常検出部28は、具体的には、落射光源部24および透過光源部26における断線および短絡を検出するものである。落射光源部24および透過光源部26における断線および短絡は、たとえばこれらの光源を駆動制御するICの断線および短絡検出機能を用いるようにしてもよいし、落射光源部24および透過光源部26に印加される電圧などをモニタするようにしてもよい。
次に、本実施形態の撮影システム3の作用について、図8に示すフローチャートを参照しながら説明する。
まず、撮影装置本体10のステージ16上に被写体Sが設置された後、ユーザによって入力部104を用いて撮影開始指示が入力され、撮影部20による撮影が開始される(S80)。
撮影が開始された後、一定の時間間隔で撮像素子21から非破壊読み出しにより画像信号が読み出され(S82)、その画像信号は一時保存部114に順次記憶される。(S84)。
そして、被写体Sの撮影中に、落射光源部24または透過光源部26の断線または短絡が発生した場合(S86,YES)、そのことが光源異常検出部28によって検出され、その検出信号が異常検出部113によって受け付けられ、異常検出部113は、撮影中に異常状態が発生したことを検出する(S88)。
異常検出部113によって撮影中に異常状態が発生したことが検出された場合、表示制御部112によって表示部106に警告メッセージが表示され(S90)、制御部110によって撮影が中止される(S92)。
次いで、表示制御部112によって、最も直近に一時保存部114に保存された非破壊読み出しの画像信号が読み出される(S94)。
一時保存部114から読み出された非破壊読み出しの画像信号は画像処理部108に入力され、画像処理部108において信号処理が施された後、表示制御部112によって、信号処理済の画像信号に基づいて確認用画像が表示部106に表示される(S96)。
そして、表示部106において、非破壊読み出しの画像信号を常時保存部115に保存するか否かの選択画面が表示され、ユーザによって常時保存部115に保存することが選択された場合には(S98,YES)、非破壊読み出しの画像信号は常時保存部115に保存される(S100)。ユーザによって常時保存部115に保存しないことが選択された場合には(S98,NO)、非破壊読み出しの画像信号を常時保存部115に保存することなく、処理を終了する。
一方、落射光源部24または透過光源部26の断線または短絡が発生することなく、予め設定された撮影露光時間が経過した場合には(S102,YES)、読出制御部111によって撮像素子21から破壊読み出しにより画像信号が読み出され、常時保存部115に保存される(S104)。なお、破壊読み出しは、撮像素子21の光電変換素子から画像信号を読み出す際に、光電変換素子に蓄積された電荷を空にするリセット処理を行う読み出し方法である。
そして、表示制御部112によって常時保存部115に保存された破壊読み出しの画像信号が読み出され、画像処理部108においてその画像信号に信号処理が施された後、表示制御部112によって、信号処理済の画像信号に基づいて観察用画像が表示部106に表示される(S106)。
上記第3の実施形態の撮影システム3によれば、撮影中に光源に異常が発生した場合も、その直前までに撮影された画像をユーザが確認することができる。
また、上記第1の実施形態の撮影システム1は撮影中に開閉扉14が開かれたことを検出し、第2の実施形態の撮影システム2は撮像素子21に異常が発生したことを検出し、第3の実施形態の撮影システム3は光源に異常が発生したことを検出するものであるが、これらの異常を全て検出するようにしてもよい。そして、その場合、異常検出部113が、異常状態を段階的に検出し、その異常度に応じた動作をするようにしてもよい。
具体的には、撮影中に異常状態が検出され、その異常が撮像素子21の温度の異常である場合には、上記第2の実施形態のように、撮像素子21の温度が第1の閾値範囲(たとえば−25℃±0.5℃)外であるが、第2の閾値範囲(たとえば−25℃±1℃)内である場合には、異常度がそれほど高くないので、撮影を中止することなく表示制御部112による警告メッセージの表示を行う。一方、撮像素子21の温度が第2の閾値範囲(たとえば−25℃±1℃)外である場合には、異常度が高いので、表示制御部112が、警告メッセージを表示し、かつ制御部110が撮影を中止する。
また、撮影中に異常状態が検出され、その異常が落射光源部24または透過光源部26の断線または短絡である場合および開閉扉14の開状態の検出である場合には、第1および第3の実施形態と同様に、表示制御部112が、警告メッセージを表示し、かつ制御部110が撮影を中止する。このように段階的に異常状態を検出することによって、無駄に撮影が中止されるのを防止することができる。
1〜3 撮影システム
10 撮影装置本体
12 筐体
13 開閉状態検出部
13a 嵌合部
13b 孔
14 開閉扉
16 ステージ
18 中空部
20 撮影部
21 撮像素子
22 レンズ部
24 落射光源部
26 透過光源部
27 撮像素子異常検出部
28 光源異常検出部
50 被写体観察用モニタ
100 撮影制御装置
102 制御装置本体
104 入力部
106 表示部
108 画像処理部
110 制御部
111 読出制御部
112 表示制御部
113 異常検出部
114 一時保存部
115 常時保存部

Claims (12)

  1. 被写体を内部に収容し、かつ、外光を遮光する筐体を備えた撮影装置であって、
    画像信号を非破壊的に読み出し可能な撮像素子を有し、該撮像素子を用いて、前記筐体内の被写体の撮影を行う撮影部であり、前記筐体に設けられた撮影部と、
    前記被写体の撮影中に前記撮像素子から画像信号の非破壊的な読み出しを行う読出制御部と、
    該読出制御部によって非破壊的に読み出された画像信号を保存する保存部と、
    前記被写体の撮影中に、前記撮影装置に関する異常状態が発生したことを検出する異常検出部と、
    該異常検出部によって前記異常状態が検出された場合に、前記保存部に保存された、前記非破壊的に読み出された画像信号を前記保存部から読み出して出力する出力部とを備えていることを特徴とする撮影装置。
  2. 前記読出制御部が、前記画像信号の非破壊的な読み出しを連続的に複数回行う請求項1記載の撮影装置。
  3. 前記読出制御部が、予め設定された一定時間の間隔で前記画像信号の非破壊的な読み出しを行う請求項2記載の撮影装置。
  4. 前記筐体は、開閉扉を有しており、
    さらに、前記開閉扉の開状態を検出する開状態検出部を備え、
    前記異常検出部は、該開状態検出部によって前記開閉扉の開状態が検出された場合に、前記異常状態が発生したことを検出することを特徴とする請求項1から3いずれか1項記載の撮影装置。
  5. 前記撮像素子の異常を検出する撮像素子異常検出部を備え、
    前記異常検出部が、該撮像素子異常検出部によって前記撮像素子の異常が検出された場合に、前記異常状態が発生したことを検出する請求項1から4いずれか1項記載の撮影装置。
  6. 前記撮像素子異常検出部が、前記撮像素子の温度を検出し、該検出した温度が予め設定された範囲外である場合に、前記撮像素子の異常を検出する請求項5記載の撮影装置。
  7. 前記異常検出部が、前記撮像素子の温度に関する異常状態を段階的に検出し、
    第1段階の異常状態が検出された場合に、該異常状態を報知する報知部と、
    前記第1段階よりも異常度の高い第2段階の異常状態が検出された場合に、前記撮影を中止する制御部とを備えた請求項6記載の撮影装置。
  8. 前記被写体に対して光を照射する光源部と、
    前記光源部の異常を検出する光源異常検出部とを備え、
    前記異常検出部は、さらに、該光源異常検出部によって前記光源部の異常が検出された場合に、前記異常状態が発生したことを検出する請求項1から7いずれか1項記載の撮影装置。
  9. 前記光源異常検出部が、前記光源部の断線または短絡を検出した場合に、前記光源部の異常を検出する請求項8記載の撮影装置。
  10. 不揮発性のメモリを有する常時保存部と、
    該常時保存部に前記保存部から読み出された前記非破壊的に読み出された画像信号を保存するか否かの選択を受け付ける選択受付部とをさらに備え、
    該選択受付部によって前記非破壊的に読み出された画像信号を保存することが選択された場合に、前記常時保存部に前記非破壊的に読み出された画像信号を保存し、前記非破壊的に読み出された画像信号を保存しないことが選択された場合には、前記常時保存部に前記非破壊的に読み出された画像信号を保存しない請求項1から9いずれか1項記載の撮影装置。
  11. 前記撮像素子が、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサである請求項1から10いずれか1項記載の撮影装置。
  12. 被写体を内部に収容し、かつ、外光を遮光する筐体と、画像信号を非破壊的に読み出し可能な撮像素子を有し、前記筐体内に設けられた撮影部とを備えた撮影装置を用いて、前記筐体内の被写体の撮影を行う撮影方法において、
    前記被写体の撮影中に前記撮像素子から非破壊的な画像信号の読み出しを行い、
    該非破壊的に読み出された画像信号を保存し、
    前記被写体の撮影中に、に関する異常状態が発生したことを検出した場合に、前記保存した、前記非破壊的に読み出された画像信号を読み出して出力することを特徴とする撮影方法。
JP2015074779A 2015-04-01 2015-04-01 撮影装置および方法 Active JP6464013B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015074779A JP6464013B2 (ja) 2015-04-01 2015-04-01 撮影装置および方法
US15/073,786 US9712814B2 (en) 2015-04-01 2016-03-18 Imaging device and imaging method
EP16161387.2A EP3076658B1 (en) 2015-04-01 2016-03-21 Imaging device and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015074779A JP6464013B2 (ja) 2015-04-01 2015-04-01 撮影装置および方法

Publications (2)

Publication Number Publication Date
JP2016195346A JP2016195346A (ja) 2016-11-17
JP6464013B2 true JP6464013B2 (ja) 2019-02-06

Family

ID=55661213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015074779A Active JP6464013B2 (ja) 2015-04-01 2015-04-01 撮影装置および方法

Country Status (3)

Country Link
US (1) US9712814B2 (ja)
EP (1) EP3076658B1 (ja)
JP (1) JP6464013B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015107928A1 (ja) * 2014-01-17 2015-07-23 ソニー株式会社 撮影システム、警告発生装置および方法、撮像装置および方法、並びにプログラム
WO2018074621A1 (ko) * 2016-10-19 2018-04-26 (주)코글릭스 검사 방법 및 장치
WO2019159321A1 (ja) * 2018-02-16 2019-08-22 三菱電機株式会社 異常検出装置及び異常検出方法
US11102492B2 (en) 2018-02-20 2021-08-24 Arlo Technologies, Inc. Multi-sensor motion detection
US11076161B2 (en) 2018-02-20 2021-07-27 Arlo Technologies, Inc. Notification priority sequencing for video security
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
US10805613B2 (en) * 2018-02-20 2020-10-13 Netgear, Inc. Systems and methods for optimization and testing of wireless devices
US11272189B2 (en) 2018-02-20 2022-03-08 Netgear, Inc. Adaptive encoding in security camera applications
US11064208B2 (en) 2018-02-20 2021-07-13 Arlo Technologies, Inc. Transcoding in security camera applications
US10742998B2 (en) 2018-02-20 2020-08-11 Netgear, Inc. Transmission rate control of data communications in a wireless camera system
US11756390B2 (en) 2018-02-20 2023-09-12 Arlo Technologies, Inc. Notification priority sequencing for video security
CN114373410B (zh) * 2021-12-20 2024-05-03 厦门天马微电子有限公司 一种异常侦测方法、异常侦测装置和显示装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089222A (ja) * 1994-06-17 1996-01-12 Canon Inc 視線検出機能付き撮像装置
JP2002027326A (ja) 2000-07-05 2002-01-25 Minolta Co Ltd デジタルカメラ
JP2003334164A (ja) * 2002-05-21 2003-11-25 Olympus Optical Co Ltd 内視鏡装置
US7148919B2 (en) 2002-11-27 2006-12-12 Hewlett-Packard Development Company, L.P. Capturing a still image and video image during a single exposure period
JP3972891B2 (ja) * 2003-11-06 2007-09-05 株式会社デンソー 車両監視システム
JP2006033705A (ja) * 2004-07-21 2006-02-02 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
WO2006120815A1 (ja) * 2005-05-11 2006-11-16 Matsushita Electric Industrial Co., Ltd. 固体撮像装置、カメラ、自動車および監視装置
CN100525403C (zh) * 2005-05-11 2009-08-05 松下电器产业株式会社 固体摄像装置、摄像机、汽车以及监视装置
CN100574376C (zh) * 2006-03-27 2009-12-23 精工爱普生株式会社 摄像装置、摄像系统以及摄像方法
JP4984915B2 (ja) * 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
JP5036402B2 (ja) * 2007-05-25 2012-09-26 オリンパス株式会社 内視鏡装置
JP2009171006A (ja) * 2008-01-11 2009-07-30 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP5380026B2 (ja) * 2008-09-24 2014-01-08 シスメックス株式会社 標本撮像装置
WO2013065515A1 (ja) * 2011-11-01 2013-05-10 富士フイルム株式会社 放射線撮影装置、放射線撮影システム及び放射線撮影方法
JP2013115726A (ja) * 2011-11-30 2013-06-10 Sanyo Electric Co Ltd 電子機器
GB201213827D0 (en) * 2012-08-03 2012-09-19 Artemis Diagnostics Ltd Method and apparatus for imaging
CA2893601C (en) * 2012-12-04 2023-01-24 Ingo Stork Genannt Wersborg Heat treatment monitoring system
JP6223747B2 (ja) * 2013-08-28 2017-11-01 東芝ライフスタイル株式会社 食品貯蔵庫用カメラ装置及びこれを備えた食品貯蔵庫
JP6321990B2 (ja) * 2014-02-21 2018-05-09 オリンパス株式会社 撮像装置および撮像方法

Also Published As

Publication number Publication date
US20160295206A1 (en) 2016-10-06
EP3076658B1 (en) 2017-11-29
JP2016195346A (ja) 2016-11-17
US9712814B2 (en) 2017-07-18
EP3076658A1 (en) 2016-10-05

Similar Documents

Publication Publication Date Title
JP6464013B2 (ja) 撮影装置および方法
EP3062147B1 (en) Photographing device and method
TWI314988B (en) Apparatus and method for detecting defects in wafer using line sensor camera
US10055819B2 (en) Radiation imaging apparatus, radiation imaging method, and radiation imaging system
JP4956221B2 (ja) 発光検出装置及び蛍光検出装置
JP2004347454A (ja) シェーディング補正方法
JP2011160945A (ja) 放射線画像撮影装置および方法並びにプログラム
US9531950B2 (en) Imaging system and imaging method that perform a correction of eliminating an influence of ambient light for measurement data
JP7044875B2 (ja) スライドラック判定システム
TW201216393A (en) Detecting method and device of poly-silicon film
JP5179946B2 (ja) 放射線画像処理方法および装置
JP2017111092A (ja) 光学素子および光学装置、光学素子および光学装置の検査装置、並びに光学素子および光学装置の検査方法
JP2010237029A (ja) 赤外線光学系の評価装置及びその評価方法
JP6380986B2 (ja) 撮影装置および方法
WO2019225325A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
US10194092B2 (en) Photographing apparatus and method capable of setting appropriate exposure time periods in consideration of temporal change in light
JP6014094B2 (ja) 撮影装置および方法
JP2007003332A (ja) 板状体側面の欠陥検出方法及び欠陥検出装置
JP2007114087A (ja) 表面検査方法
JP2015175641A (ja) 撮影システム及び撮影方法
Chapman et al. Enhanced correction methods for high density hot pixel defects in digital imagers
JP6550719B2 (ja) 撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡システム
JP2009172250A (ja) 放射線画像撮影システム
JPH036444A (ja) 蛍光検査装置
WO2019069823A1 (ja) 撮像装置、撮像装置の作動方法及び撮像制御プログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190107

R150 Certificate of patent or registration of utility model

Ref document number: 6464013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250