JP7138163B2 - 撮影システム、撮影方法及びプログラム - Google Patents

撮影システム、撮影方法及びプログラム Download PDF

Info

Publication number
JP7138163B2
JP7138163B2 JP2020514377A JP2020514377A JP7138163B2 JP 7138163 B2 JP7138163 B2 JP 7138163B2 JP 2020514377 A JP2020514377 A JP 2020514377A JP 2020514377 A JP2020514377 A JP 2020514377A JP 7138163 B2 JP7138163 B2 JP 7138163B2
Authority
JP
Japan
Prior art keywords
exposure time
ratio
region
photographing
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020514377A
Other languages
English (en)
Other versions
JPWO2019203193A1 (ja
Inventor
康武 田中
晃 山口
ビャーネルド イェリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Cytiva Sweden AB
Original Assignee
Fujifilm Corp
Amersham Bioscience AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp, Amersham Bioscience AB filed Critical Fujifilm Corp
Publication of JPWO2019203193A1 publication Critical patent/JPWO2019203193A1/ja
Application granted granted Critical
Publication of JP7138163B2 publication Critical patent/JP7138163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6447Fluorescence; Phosphorescence by visual observation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/76Chemiluminescence; Bioluminescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays
    • H04N5/321Transforming X-rays with video transmission of fluoroscopic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Plasma & Fusion (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、撮影システム、撮影方法及びプログラムに関する。
例えば生化学分野において、化学反応の結果として発光しているサンプルを被写体として撮影し、蛍光発光物質で標識され且つ励起光が照射されることによって発光しているサンプルを被写体として撮影し、又はCBB(クマーシーブリリアントブルー)色素等によって染色され且つ透過光が照射されることによって発色するサンプルを被写体として撮影する撮影装置が知られている。
特許文献1に記載された撮影装置は、被写体のプレ撮影画像の画素値のヒストグラムを求め、ヒストグラムに現れるピークのうち最大のピークを背景部分に設定し、最小のピークを検出対象に設定する。画素値と、冷却温度と、露出時間と、SN比との対応関係を表すテーブルデータを参照し、プレ撮影画像で設定した検出対象の画素値と背景部分の画素値との比であるSN比に基づき、基準SN比以上となる露光時間を決定する。そして、決定した露光時間で本撮影を行う。
特許文献2に記載された撮影装置は、非破壊読出し可能な素子を用い、被写体の発光が素子のリードノイズ程度に褪色するまで、短時間露光を繰り返す。
日本国特開2011-199659号公報 米国特許出願公開2015/01722526号明細書
特許文献1に記載された撮影装置では、プレ撮影画像の画素値のヒストグラムに現れる最小のピークが自動的に検出対象に設定される。プレ撮影の撮影条件によっては、プレ撮影画像のヒストグラムに現れないピークが被写体に含まれる場合があり、この場合に、ヒストグラムに現れないピークを、本撮影において所望のS/Nで撮影することはできない。また、特許文献1に記載された撮影装置では、露光時間が基準SN比以上となる露光時間に決定されるが、発光が褪色する被写体では、SN比が基準SN比に達しない場合がある。
特許文献2に記載された撮影装置では、被写体の発光が素子のリードノイズ程度に褪色するまで露光が繰り返されるため、発光の褪色が比較的遅い被写体、特に蛍光発光する被写体では露光が長時間に及び、時間を浪費する虞がある。
本発明は、発光又は発色の分布が不明な被写体を、高S/Nに且つ適切な露光時間で撮影することを目的とする。
本発明の一態様の撮影システムは、被写体を撮影する撮影手段と、一回以上のプレ撮影と、上記プレ撮影に続く一回以上の本撮影とを上記撮影手段に行わせる制御手段と、を備え、上記制御手段は、上記プレ撮影と上記本撮影とのそれぞれにおいて、撮影された一つ以上の画像に基づき、被写体画像を生成する画像生成部と、上記被写体画像を表示し、且つ上記被写体画像の関心領域及び非関心領域のうち少なくとも関心領域を設定するためのユーザ入力を受け付けるインタフェース部と、上記ユーザ入力に基づき上記関心領域を設定し、また上記非関心領域を設定する領域設定部と、設定された上記関心領域と上記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するSN比算出部と、撮影された一つ以上の画像について算出された上記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出する総露光時間算出部と、を有し、算出された上記総露光時間に基づき、上記本撮影を上記撮影手段に行わせる。
本発明の一態様の撮影システムは、被写体を撮影する撮影手段と、一回以上のプレ撮影と、上記プレ撮影に続く一回以上の本撮影とを上記撮影手段に行わせる制御手段と、を備え、上記制御手段は、上記プレ撮影と上記本撮影とのそれぞれにおいて、撮影された一つ以上の画像に基づき、被写体画像を生成する画像生成部と、上記被写体画像を表示するインタフェース部と、上記被写体画像の関心領域及び非関心領域を設定する領域設定部と、設定された上記関心領域と上記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するSN比算出部と、撮影された一つ以上の画像について算出された上記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出する総露光時間算出部と、を有し、上記総露光時間に基づき、上記本撮影を上記撮影手段に行わせる。
本発明の一態様の撮影方法は、被写体を撮影する撮影手段を用い、一回以上のプレ撮影を行うステップと、上記プレ撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、生成された上記被写体画像を表示し、ユーザ入力に基づいて上記被写体画像の関心領域を設定し、また非関心領域を設定するステップと、設定された上記関心領域と上記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するステップと、撮影された一つ以上の画像について算出された上記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出するステップと、上記撮影手段を用い、算出された上記総露光時間に基づいて一回以上の本撮影を行うステップと、上記本撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、を備える。
本発明の一態様の撮影方法は、被写体を撮影する撮影手段を用い、一回以上のプレ撮影を行うステップと、上記プレ撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、上記被写体画像の関心領域及び非関心領域を設定するステップと、設定された上記関心領域と上記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するステップと、撮影された一つ以上の画像について算出された上記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出するステップと、上記撮影手段を用い、上記総露光時間に基づいて一回以上の本撮影を行うステップと、上記本撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、を備える。
本発明の一態様のプログラムは、上記撮影方法の各ステップをコンピュータに実行させる。
本発明によれば、発光又は発色の分布が不明な被写体を、高S/Nに且つ適切な露光時間で撮影することができる。
本発明の実施形態を説明するための、撮影システムの一例の斜視図である。 図1の撮影システムの撮影手段の断面図である。 図2の撮影手段の撮影部の機能ブロック図である。 図1の撮影システムの制御手段の機能ブロック図である。 図4の制御手段が実行する撮影プロセスのフロー図である。 プレ撮影によって得られる被写体画像の一例の模式図である。 化学発光の経時特性の一例のグラフである。 蛍光発光の経時特性の一例のグラフである。 SN比の一例の模式図である。 SN比の他の例の模式図である。 複数回の本撮影が行われる場合の本撮影の撮影プロセスの一例のフロー図である。 k回目の本撮影が行われた段階の被写体画像Iの模式図である。 k+1回目の本撮影が行われた段階の被写体画像Ik+1の模式図である。 k+2回目の本撮影が行われた段階の被写体画像Ik+2の模式図である。 複数回の本撮影が行われる場合の本撮影の撮影プロセスの他の例のフロー図である。 露光時間を一定として本撮影の総露光時間を複数に区分した場合の、撮影画像毎の画素値を示すグラフである。 露光時間を後の本撮影ほど長くして本撮影の総露光時間を複数に区分した場合の、撮影画像毎の画素値を示すグラフである。
図1は、本発明の実施形態を説明するための、撮影システムの一例を示す。
撮影システム1は、被写体に応じ、励起光を照射して被写体を撮影し、又は励起光を照射せずに被写体を撮影し、被写体の撮影画像を取得する撮影システムである。被写体は、化学反応の結果として発光しているサンプル(以下、化学発光サンプルと言う)であってもよく、蛍光発光物質で標識され且つ励起光が照射されることによって発光するサンプル(以下、蛍光発光サンプルと言う)であってもよい。また、被写体は、CBB(クマーシーブリリアントブルー)色素等によって染色され且つ透過光が照射されることによって発色するサンプル(以下、透過カラリメトリックサンプルという)であってもよい。撮影システム1は、撮影手段である撮影装置100と、撮影装置100に撮影を行わせる制御手段である制御装置200とを備える。
図2は、撮影装置100の構成を示す。
撮影装置100は、筐体120と、撮影部130と、落射光源140と、透過光源150とを備える。
筐体120は被写体PSを収容する。筐体120は、略直方体状の箱体であって、開閉可能な蓋121(図1参照)を有する。蓋121はユーザによって開閉され、被写体PSは、蓋121によって閉じられる開口を通して筐体120の内部に収容される。蓋121が閉じられている状態では外光が遮断され、筐体120の内部は暗室となる。筐体120の内部には被写体配置部122が設けられており、被写体PSは被写体配置部122に配置される。
撮影部130は被写体PSを撮影する。撮影部130は、筐体120の上面120aに設置されており、被写体配置部122に配置されている被写体PSの上方に配置され、且つ被写体PSに正対して配置されている。撮影部130は、上下方向(Z方向)に移動可能なレンズ部131を有する。レンズ部131の上下動により、撮影の際のフォーカスが被写体PSに合せられる。
落射光源140は、被写体配置部122に配置されている被写体PSに向けて、被写体PSの斜め上方から励起光を射出する。透過光源150は、被写体配置部122に配置されている被写体PSに向けて、被写体PSの下方から透過光を照射する。被写体PSが蛍光発光サンプルである場合に、落射光源140から励起光が照射される。また、被写体PSが透過カラリメトリックサンプルである場合に、透過光源150から透過光が照射される。
図3は、撮影部130の構成を示す。
撮影部130は、レンズ部131と、撮像素子132と、信号処理部133と、記憶部134と、通信部135と、レンズ部131、撮像素子132、信号処理部133、記憶部134及び通信部135の動作を統括する撮影制御部136とを備える。
通信部135は、有線又は無線のネットワークを介して制御装置200と接続される。制御装置200から撮影部130に送信される指示は、通信部135を介して撮影制御部136に入力される。撮影制御部136は、入力された指示に基づき、レンズ部131等の各部を動作させることによって撮影を行う。
レンズ部131は、図示は省略するが、例えば複数の光学レンズからなるレンズ群、絞り調整機構、自動焦点調節機構等を含んで構成される。レンズ群は、図2に示されるZ方向に移動可能に設けられており、自動焦点調節機構は、被写体PSと撮影部130との距離に応じてレンズ群を移動させることにより、撮影の際のフォーカスが被写体PSに合せる。絞り調節機構は、絞りの開口径を変化させることにより、レンズ部131を通過する光量を調整する。被写体PSから発せられる光は、レンズ部131を通して撮像素子132の撮像面に結像される。なお、レンズ部131はズーム機構を含んでもよい。
撮像素子132は、撮像面に結像された被写体像を信号電荷に光電変換する。撮像素子132は、例えば電荷結合素子(Charge Coupled Device:CCD)、金属酸化膜型半導体(Metal Oxide Semiconductor:MOS)等のイメージセンサである。撮像素子132は、図示しない電荷電圧変換アンプを介して信号電荷をアナログ電圧信号に変換して出力する。
信号処理部133は、撮像素子132から出力されるアナログ電圧信号に対して種々の信号処理を施す。信号処理は、例えば相関二重サンプリング処理である。相関二重サンプリング処理は、撮像素子132の画素毎の出力信号に含まれるフィードスルー成分レベルと画像信号成分レベルとの差をとることによって画素毎の出力信号に含まれるノイズ等を軽減するものである。そして、信号処理部133は、相関二重サンプリング処理等の信号処理を施したアナログ信号をデジタル信号に変換して出力する。
記憶部134は、信号処理部133から出力されるデジタル信号を撮影画像データとして記憶する。記憶部134に記憶された撮影画像データは、通信部135から制御装置200に送信される。
本例では、撮影部130は、撮像素子132を冷却する冷却素子137をさらに備える。冷却素子137は、温度制御可能な素子であり、例えばペルチェ素子等である。冷却素子137の温度は、撮影制御部136によって制御される。撮像素子132の出力信号に含まれるノイズ成分の一つとして暗電流ノイズがあり、暗電流ノイズは、撮像素子132に光が入射していない状態であっても電荷が画素に蓄積されることによって生じる。また、撮像素子132の出力信号に含まれるノイズ成分の一つとして読み出しノイズがあり、読み出しノイズは、信号電荷をアナログ電圧信号に変換する電荷電圧変換アンプの熱雑音等に起因して生じる。暗電流ノイズ及び読み出しノイズは、いずれも温度依存性を有する。本例では、撮像素子132が冷却素子137によって適宜冷却されることによって暗電流ノイズ及び読み出しノイズの低減が図られている。
図4は、制御装置200の構成を示す。
制御装置200は、操作部201と、表示部202と、記憶部203と、通信部204と、操作部201、表示部202、記憶部203及び通信部204、並びに撮影装置100の動作を統括する制御部205とを備える。
操作部201は、例えば撮影条件を設定するためのユーザ入力を受け付ける。表示部202は、例えば撮影条件を設定するためのユーザ入力に用いられるインタフェース画像を表示する。また、表示部202は、撮影装置100によって撮影された画像(以下、撮影画像という)に基づいて生成される被写体画像を表示する。操作部201は、例えばキーボード、マウス等によって構成され、表示部202は、例えば液晶ディスプレ(liquid crystal display:LCD)等によって構成される。操作部201と、表示部202とによってインタフェース部206が構成される。
記憶部203は、制御部205によって実行される制御プログラム及び制御データを記憶しており、また、撮影画像の画像データ及び被写体画像の画像データを記憶する。記憶部203は、例えばフラッシュメモリ、ハードディスク、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶媒体によって構成される。
通信部204は、有線又は無線のネットワークを介して、撮影装置100の撮影部130と、落射光源140と、透過光源150と接続される。設定された撮影条件に応じた指示は、通信部204から撮影部130と、落射光源140と、透過光源150とに送信される。また、撮影部130から送信される撮影画像データは、通信部204によって受信される。
制御部205は、記憶部203に記憶されている制御プログラムに従って動作することにより、操作部201、表示部202、記憶部203及び通信部204、並びに撮影装置100の動作を統括する。また、制御部205は、制御プログラムに従って動作することにより、撮影画像に基づいて被写体画像を生成する画像生成部210としても機能し、また、領域設定部211、SN比算出部212、総露光時間算出部213及び飽和露光時間算出部214としても機能する。画像生成部210、領域設定部211、SN比算出部212、総露光時間算出部213及び飽和露光時間算出部214の各処理部の機能については後述する。
画像生成部210、領域設定部211、SN比算出部212、総露光時間算出部213及び飽和露光時間算出部214として各種の処理を行う制御部205のハードウェア的な構造は、汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
画像生成部210、領域設定部211、SN比算出部212、総露光時間算出部213及び飽和露光時間算出部214の各処理部は、上記各種のプロセッサのうちの一つのプロセッサによって構成されてもよいし、同種又は異種の二つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)によって構成されてもよい。また、複数の処理部が一つのプロセッサによって構成されてもよい。
図5は、制御装置200が実行する撮影プロセスの概略を示す。
制御装置200は、一回以上のプレ撮影と、プレ撮影に続く一回以上の本撮影とを撮影装置100に行わせる。ここで、本撮影とは、解析及び分析用の被写体画像を得るために行う撮影であり、プレ撮影は、露出時間等の本撮影の撮影条件を設定するための情報を得るために行う撮影である。
制御装置200は、プレ撮影の撮影条件を設定し(ステップS1)、設定した撮影条件に基づいて撮影装置100にプレ撮影を行わせ(ステップS2)、プレ撮影によって撮影された撮影画像に基づいて被写体画像を生成し、生成した被写体画像を表示部202に表示させる(ステップS3)。
次に、制御装置200は、生成した被写体画像の関心領域と非関心領域とを設定し(ステップS4)、設定した関心領域と非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比(Signal-Noise ratio)を算出し(ステップS5)、撮影された一つ以上の画像について算出されたSN比に基づき、予め設定される基準SN比が得られる本撮影の総露光時間を算出する(ステップS6)。
そして、制御装置200は、算出した総露光時間に基づいて撮影装置100に本撮影を行わせ(ステップS7)、プレ撮影によって撮影された撮影画像に基づいて被写体画像を生成する(ステップS8)。
上述した撮影プロセスの各ステップと、各ステップにおける制御部205の各処理部(画像生成部210、領域設定部211、SN比算出部212、総露光時間算出部213及び飽和露光時間算出部214)が果たす機能について、以下に説明する。
<プレ撮影の撮影条件の設定(ステップS1)>
プレ撮影の撮影条件はユーザ入力に基づいて設定される。好ましくはユーザ入力に基づいて被写体種別が設定され、設定された被写体種別に応じて詳細な撮影条件が制御部205によって自動的に設定される。例えば、被写体種別として、化学発光サンプルと、蛍光発光サンプルと、透過カラリメトリックサンプルとがあるものとし、ユーザ入力に基づいて被写体種別が化学発光サンプル、蛍光発光サンプル又は透過カラリメトリックサンプルに設定される。記憶部203には、被写体種別毎の詳細な撮影条件が予め記憶されており、制御部205は、設定された被写体種別に対応する撮影条件を記憶部203から読み出し、読み出した撮影条件をプレ撮影の撮影条件に設定する。
被写体種別毎の撮影条件は、励起光の照射の要否、透過光の照射の要否、露光時間等である。露光時間は、標準的な強度の発光又は発色を呈する被写体に適合する露光時間が用いられる。なお、プレ撮影に要する時間を短縮する観点から、撮像素子132をビニングさせてもよい。ビニングとは、撮像素子132における複数の画素の信号電荷を加算して撮影画像における一つの画素の画素値を生成するものであり、ビニングによって撮像素子132の感度を高めて露光時間を短縮することができる。また、発光又は発色の強度が不明な被写体に対し、露光時間を異ならせて複数回のプレ撮影を行ってもよい。
<プレ撮影(ステップS2)及び被写体画像の生成と表示(ステップS3)>
図6は、プレ撮影によって生成される被写体画像の一例を示す。
図6に示す例は、ウエスタンブロッティング法によって得られる化学発光サンプル又は蛍光発光サンプルの発光パターンを画像化したものである。ウエスタンブロッティング法は、サンプルを電気泳動によって分子量毎に分離し、検出対象に特異的に結合する標識抗体を資料に反応させ、標識に用いられる蛍光又は化学発光を検出することによって検出対象を検出する手法である。図6において、レーンL1~レーンL4の発光パターンは、レーン毎に異なるサンプルの発光パターンを示している。各レーンの発光パターンと、発光の強度とに基づいて、各レーンのサンプルに含まれる検出対象の検出と、定量とが可能である。
画像生成部210は、プレ撮影によって撮影された撮影画像に基づいて被写体画像を生成する。プレ撮影が一回だけ行われる場合には、一回のプレ撮影によって撮影された撮影画像が被写体画像とされる。プレ撮影が、撮影毎に露光時間を異ならせて複数回行われる場合には、例えば複数回のプレ撮影によって撮影された複数の撮影画像のうち最もダイナミックレンジが広い撮影画像を被写体画像とすることができ、ダイナミックレンジは撮影画像の画素値のヒストグラムから得られる。また、複数の撮影画像を加算し、又は加算平均または加重平均したものを被写体画像とすることもできる。生成されたプレ撮影の被写体画像は、表示部202に表示される。
<関心領域及び非関心領域の設定(ステップS4)>
プレ撮影の被写体画像の関心領域ROIと非関心領域NROIとは、領域設定部211によって設定され、関心領域ROIは、例えばユーザ入力に基づいて設定される。プレ撮影で得られた被写体画像が表示部202に表示され、被写体画像における任意の領域を関心領域ROIに指定するユーザ入力が操作部201に入力される。また、関心領域ROIは、領域設定部211によって自動的に設定されてもよい。例えば被写体画像の画素値のヒストグラムに現れるピークのうち画素値が最も小さいピークを除いた他のピークの画素値に対応する領域が抽出され、関心領域ROIは抽出された領域に自動的に設定され得る。上記他のピークが複数ある場合には、例えば上記他のピークのなかで画素値が最も小さいピークが選択され得る。
非関心領域NROIは、関心領域ROIと同様にユーザ入力に基づいて設定されてもよいし、領域設定部211によって自動的に設定されてもよい。例えば被写体画像の画素値のヒストグラムに現れるピークのうち画素値が最も小さいピークの画素値に対応する領域が抽出され、非関心領域NROIは抽出された領域に自動的に設定され得る。
図6に示す被写体画像において、レーンL1、レーンL3及びレーンL4の各レーンには、検出対象の存在を示すバンドBが所定位置に現れているが、レーンL2にはバンドが現れていない。この場合、レーンL2のサンプルに含まれる検出対象が微量であり、レーンL2のサンプルの発光がプレ撮影の露光時間に対して微弱である可能性が考えられる。プレ撮影の露光時間に対してサンプルの発光が微弱であると、バンドが存在しているにもかかわらず、バンドがノイズに埋もれてしまい、バンドが画像に現れない場合がある。
本撮影においてレーンL2の上記所定位置を高SN比に撮影するために、図6に示す被写体画像において、関心領域ROIはレーンL2の上記所定位置に設定されている。また、非関心領域NROIは、レーンL1とレーンL2との間の領域であってバンドが存在し得ない領域に設定されている。
<SN比算出(ステップS5)>
関心領域ROIのSN比は露光時間に応じて変化し、露光時間に応じて変化するSN比はSN比算出部212によって算出される。ここで、SN比算出部212は、被写体の発光又は発色の経時特性を考慮してSN比を算出する。露光時間に応じて変化するSN比をSN(t)とし、被写体の発光又は発色の経時特性を考慮した画素値の信号成分をS(t)とし、画素値のノイズ成分をN(t)として、SN(t)は次式によって表される。なお、被写体の発光又は発色の経時特性とは、時間の経過と発光又は発色の強度との関係を表す特性である。
SN(t)=S(t)/N(t)・・・(1)
図7は、化学発光の発光強度の経時特性を示し、図8は、蛍光発光の発光強度の経時特性を示す。
化学発光の発光強度は、図7に示すように、次式に従って指数関数的に減衰する場合が多い。これは、化学反応の進行に伴い、励起状態にある反応物の濃度が減少するのに従って化学発光の発光強度が減少するためである。
y=yα・exp(-k・t)・・・(2)
ただし、yαは化学発光物質の濃度に依存する正の係数であり、kは化学発光物質の発光の褪色特性に依存する正の係数である。
蛍光発光の発光強度は、図8に示すように、励起光が供給される限り、理想的には次式に従って一定に保たれる。これは、蛍光発光物質の破壊を伴わずに蛍光発光が発生するためである。
y=yβ・・・(3)
ただし、yβは蛍光発光物質の濃度に依存する正の係数である。
なお、蛍光発光物質の種類によっては、蛍光発光の発光強度が減衰する場合もあるが、時間経過に対する蛍光発光の発光強度の減衰率は化学発光の発光強度の減衰率に比べて小さい。したがって、減衰する蛍光発光の発光強度は、次式の一次関数によって近似することができる。
y=-a・t+yγ・・・(4)
ただし、yγは蛍光発光物質の濃度に依存する正の係数であり、aは蛍光発光物質の発光の褪色特性に依存する正の係数である。
図示は省略するが、CBB色素等によって染色されたサンプルの発色強度は、蛍光発光の発光強度と同様に、一定であるか、又は一次関数によって近似できる。
式(3)の係数kは化学発光物質毎に予め求められ、式(4)の係数aもまた蛍光発光物質毎及び染色物質毎に予め求められ、記憶部203に記憶されている。ステップS1において設定される被写体種別が使用試薬(化学発光物質、蛍光発光物質及び染色物質)によって分類されているものとして、SN比算出部212は、設定された被写体種別に基づき、式(2)~式(4)のうち被写体種別に対応する減衰関数を決定し、減衰関数が式(2)の場合には係数kを決定し、また減衰関数が式(4)の場合には係数aを決定する。
そして、SN比算出部212は、プレ撮影の被写体画像における関心領域ROI及び/又は非関心領域NROIの画素値に基づき、減衰関数が式(2)の場合の係数yα、減衰関数が式(3)の場合の係数yβ又は減衰関数が式(4)の場合の係数yγを求めることによって減衰関数yを導出する。プレ撮影の被写体画像における画素値の信号成分は、例えば関心領域ROIの画素値の平均値と非関心領域NROIの画素値の平均値との差、又は関心領域ROIの画素値の中央値と非関心領域NROIの画素値の中央値との差、又は関心領域ROIの画素値の平均値又は中央値とすることができる。導出した減衰関数yの時間積分が画素値の信号成分S(t)に対応する。
一方、画素値のノイズ成分N(t)は、例えば次式で表わされる。
N(t)={Nf+Nd+Nr+Ns1/2・・・(5)
ここで、Ndは撮像素子132の暗電流ノイズであり、Nrは撮像素子132の読み出しノイズである。また、Nfは、撮像素子132の画素間の感度のバラツキに起因する固定パターンノイズである。これらのノイズNd、Nr、Nfは予め求められ、記憶部203に記憶されている。また、Nsは、撮像素子132に入射する光子の統計的な変化により発生するショットノイズであり、光子の入射によって撮像素子132に発生する信号電荷量をS[e]として、ポアソン統計に従い次式で表される。
Ns=√S・・・(6)
Nsについては、プレ撮影の被写体画像における関心領域ROI及び/又は非関心領域NROIの画素値に基づいて求められ、例えば非関心領域NROIの画素値の標準偏差、又は関心領域ROIの画素値の標準偏差とすることができる。
<本撮影の総露光時間算出(ステップS6)>
本撮影の総露光時間は総露光時間算出部213によって算出される。総露光時間算出部213は、SN比算出部212によって算出されたSN(t)に基づき、予め設定される基準SN比が得られる総露光時間を算出する。また、発光が褪色すると、S(t)は減衰し、一方でN(t)は増加し、SN(t)はピークを迎える。このようにSN(t)がピークを有し、SN(t)のピーク値である最大SN比が基準SN比未満である場合には、総露光時間算出部213は、最大SN比が得られる総露光時間を算出する。
基準SN比は、例えば解析及び分析用の被写体画像に要求される標準的なSN比とすることができ、記憶部203に記憶されている。また、基準SN比は、関心領域ROI及び非関心領域NROIの設定に用いられた被写体画像におけるSN比とSN比の改善係数との積によって設定することもできる。例えば、関心領域ROI及び非関心領域NROIの設定に用いられた被写体画像におけるSN比が2であり、改善係数が4である場合に、基準SN比は8(2×4)となる。基準SN比を与える基準SN比改善係数は、記憶部203に記憶されている。
図9及び図10は、露光時間に応じて変化する関心領域ROIのSN比の一例を示す。
図9は、SN比算出部212によって算出されたSN(t)を、横軸を時間とし、縦軸をSN比としてグラフに表したものである。総露光時間は、SN(t)の特性線に従い、基準SN比SNを与える時間Tとして求められる。
図10は、SN(t)がピークを有し、SN(t)のピーク値である最大SN比SNが基準SN比SN未満である場合を示している。この場合に、総露光時間は、SN(t)の特性線に従い、最大SN比SNを与える時間Tとして求められる。
一方、最大SN比SNが基準SN比SN以上である場合に、総露光時間は、基準SN比SNを与える時間Tとして求められてもよく、また、最大SN比を与える時間Tとして求められてもよく、好ましくは、ユーザ入力に基づき、最大SN比SN及び基準SN比SNのいずれを用いるかを設定可能に構成される。
また、好ましくは、総露光時間算出部213によって算出された総露光時間は、表示部202に表示される。これにより、ユーザは、本撮影に要する総露光時間を知ることができ、撮影システム1の利便性が高まる。
また、好ましくは、基準SN比がユーザ入力に基づいて設定可能であり、基準SN比がユーザ入力に基づいて再設定された場合に、総露光時間算出部213は、再設定された基準SN比が得られる総露光時間を再算出する。これにより、ユーザが、SN比と総露光時間とのバランスをとりながら所望の基準SN比を設定することができ、撮影システム1の利便性が高まる。ユーザ入力に基づく基準SN比の再設定において、基準SN比が直接指定されてもよく、又は基準SN比改善係数を介して間接的に指定されてもよい。
また、好ましくは、SN比算出部212によって算出されたSN(t)は、表示部202に表示される。SN(t)の表示態様は特に限定されないが、例えば図9に示したグラフとして表示され得る。SN(t)が表示されることにより、ユーザが、SN比と総露光時間との関係を容易に把握できる。これにより、ユーザが、SN比と総露光時間とのバランスをとりながら所望の基準SN比を容易に設定することができ、撮影システム1の利便性が一層高まる。
<本撮影(ステップS7)及び被写体画像の生成(ステップS8)>
制御部205は、総露光時間算出部213によって算出された総露光時間に基づき、本撮影を撮影装置100に行わせる。ここでは、本撮影が一回だけ行われるものとして、撮像素子132は総露光時間だけ連続して露光される。そして、一回の本撮影によって撮影された撮影画像が被写体画像とされる。
以上により得られる本撮影の被写体画像では、被写体画像の関心領域ROIがユーザ入力に基づいて設定されており、この関心領域ROIのSN比が本撮影の被写体画像において基準SN比となるように本撮影の総露光時間が設定されるので、例えばプレ撮影の撮影画像には現れない微弱なバンドも、本撮影の被写体画像に基準SN比で捉えることが可能であり、発光又は発色の分布が不明な被写体を、高S/Nに且つ適切な露光時間で撮影することができる。
なお、基準SN比がユーザ入力に基づいて再設定される場合に、本撮影の総露光時間は基準SN比を介して間接的に調整される。一方、本撮影の総露光時間がユーザ入力に基づいて設定可能とされ、総露光時間が直接的に調整されてもよい。総露光時間がユーザ入力に基づいて設定可能とされる場合に、好ましくは、制御部205は、総露光時間算出部213によって算出された総露光時間とユーザ入力に基づいて設定された総露光時間とのうち、いずれか短いほうの総露光時間に基づいて本撮影を撮影装置100に行わせる。これにより、算出された総露光時間が相対的に短い場合に、基準SN比を最短の時間で得ることができ、設定された総露光時間が相対的に短い場合には、ユーザが許容する総露光時間内で最良のSN比を得ることができ、撮影システム1の利便性が一層高まる。
また、本撮影の総露光時間の上限が予め設定されていてもよく、総露光時間算出部213によって算出された総露光時間、又はユーザ入力に基づいて設定された総露光時間が、予め設定されている上限総露光時間を超える場合に、好ましくは、本撮影における露光時間が上限総露光時間に達した時点で、撮影が中断される。上限総露光時間は被写体種別によって異なっていてもよく、例えば、蛍光発光の発光強度が化学発光の発光強度に比べて持続することを考慮して、蛍光発光する被写体に対応する上限総露光時間は、化学発光する被写体に対応する上限総露光時間よりも短く設定され得る。
また、撮影システム1の利便性を高める観点から、撮影を中断するためのユーザ入力を操作部201が受け付けた場合に、制御部205は撮影を中断させてもよい。
ここまで、本撮影が一回だけ行われるものとして説明したが、複数回の本撮影が行われてもよい。
図11は、複数回の本撮影が行われる場合の本撮影の撮影プロセスのフローを示す。
n回の本撮影が行われるものとして、制御部205は、総露光時間をn個に区分する(ステップS11)。区分数nは、例えばユーザ入力に基づいて設定され、総露光時間は、例えば一定の露光時間に区分される。そして、制御部205はn回の本撮影を撮影装置100に行わせ(ステップS12)、撮像素子132は、総露光時間の区分に従って、間欠的に複数回露光される。
ここで、画像生成部210は、n回の本撮影によって撮影されるn個の撮影画像Pを加算することによって本撮影の被写体画像Iを生成し、且つ本撮影が行われる度に被写体画像Iを更新する(ステップS13)。k回目の本撮影が行われた段階の被写体画像Iは、次式に示されるとおり、撮影画像P~撮影画像Pが加算された画像である。
=P+P+ ~ +P=Ik-1+P・・・(7)
n個の撮影画像Pが加算されることによって生成された被写体画像Iの関心領域ROIの画素値は、Pの単純和になる。一方、被写体画像Iにおいて、式(5)で表されるノイズは二乗和平均になるので、被写体画像Iの関心領域ROIのSN比が高まる。
また、本撮影が行われる度に、その際に撮影された撮影画像Pが被写体画像Ii-1に加算されることにより、関心領域ROIのSN比が次第に高まる。これにより、ユーザは、n回の本撮影の終了を待たずに関心領域ROIの設定の適否を確認でき、撮影システム1の利便性が一層高まる。
なお、本撮影の総露光時間の上限が予め設定されている場合に、好ましくは、撮影毎に加算される露光時間の総和が予め設定されている上限総露光時間に達した時点で、撮影が中断される。また、一回の露光時間の上限が予め設定されていてもよく、複数回の本撮影それぞれの露光時間が、予め設定される上限露光時間を超える場合には、撮影が中断されてもよい。上限露光時間は、上限総露光時間と同様に、被写体種別によって異なっていてもよく、例えば、蛍光発光する被写体に対応する上限露光時間は、化学発光する被写体に対応する上限露光時間よりも短く設定され得る。
図12Aから図12Cは、図6に示す例と同一サンプルの本撮影の被写体画像であり、図12Aはk回目の本撮影が行われた段階の被写体画像I、図12Bはk+1回目の本撮影が行われた段階の被写体画像Ik+1、図12Cはk+2回目の本撮影が行われた段階の被写体画像Ik+2をそれぞれ示す。
関心領域ROIのSN比が次第に高まることに伴い、図12Aに示す被写体画像Iには現れていなかったレーンL2のバンドが、本撮影が行われる度に次第に画像に顕出し、図12Cに示す被写体画像Ik+2では視認可能な程に画像に現れている。これにより、ユーザは、n回の本撮影の終了を待たずに関心領域ROIの設定の適否を確認することができる。
ここで、図12Cに示す例では、設定されている関心領域ROIがレーンL2のバンドBに対して僅かにずれている。このような場合に、撮影が中断されてもよいが、関心領域ROIが、被写体画像Ik+2に現れたレーンL2のバンドBに一致するように再設定されることが望ましい。
再び図11を参照して、制御部205は、被写体画像が更新される度に、更新された被写体画像を表示部202に表示させ(ステップS14)、表示部202に表示された被写体画像Iにおける任意の領域を関心領域ROIに指定するユーザ入力が操作部201に入力された場合に(ステップS15―Yes)、領域設定部211は、上記ステップS4(図5参照)に戻り、関心領域ROIと非関心領域NROIとを再設定する。
そして、SN比算出部212は、再設定された関心領域ROIと非関心領域NROIとに基づいてSN(t)を再算出し(ステップS5)、総露光時間算出部213は、再算出されたSN(t)に基づいて、基準SN比が得られる総露光時間を再算出する(ステップS6)。そして、制御部205は、再算出された総露光時間に基づき、本撮影を撮影装置100に行わせる(ステップS7)。
このように、本撮影の途中であっても関心領域ROIの再設定が許容されることにより、プレ撮影からやり直される場合に比べて、撮影プロセスの効率化が図られる。
ここで、被写体の発光強度又は発色強度の減衰に起因し、更新された被写体画像における関心領域ROIのSN比が低下する場合があり、好ましくは、SN比の変化に基づき、制御部205によってSN比の変化率が所定の値を下回ったか否かが判定され、SN比の変化率が所定の値を下回った場合に撮影が中断される。そして、SN比の変化率が所定の値を下回ることに伴って撮影が中断される場合に、好ましくは、撮影中断前に生成された被写体画像のうちSN比が最大の被写体画像が表示部202に表示され、保存される。SN比の変化率は、例えば、k回目の本撮影が行われた段階の被写体画像Iにおける関心領域ROIのSN比をSNとし、nを1以上の整数として、SNk-n、SNk-(n+1)、・・・、SNを線形近似することによって得られる直線の傾きによって表すことができ、SN比の変化率が、複数の被写体画像のSN比を線形近似することによって得られた直線の傾きによって表される場合に、SN比の変化率に対して適用される所定の値は、例えば0である。そして、SNk-n、SNk-(n+1)、・・・、SNのうち最大のSN比を与える被写体画像が表示部202に表示され、保存される。
なお、本撮影が行われている間も、好ましくは、総露光時間算出部213によって算出された総露光時間が表示部202に表示される。また、好ましくは、基準SN比がユーザ入力に基づいて設定可能であり、基準SN比がユーザ入力に基づいて再設定された場合に、総露光時間算出部213は、再設定された基準SN比が得られる総露光時間を再算出する。また、好ましくは、SN比算出部212によって算出されたSN(t)は、表示部202に表示される。
図13は、複数回の本撮影が行われる場合の本撮影の撮影プロセスの他のフローを示す。
図13に示す例では、画像生成部210が、n回の本撮影によって撮影されるn個の撮影画像Pを加算平均することによって本撮影の被写体画像Iを生成し、且つ本撮影が行われる度に被写体画像Iを更新する。k回目の本撮影が行われた段階の被写体画像Iは、次式に示されるとおり、撮影画像P~撮影画像Pが加算平均された画像である(ステップS23)。
=(P+P+ ~ +P)/k・・・(8)
n個の撮影画像Pが加算平均されることにより、ノイズもまたn個の撮影画像P間において平均化される。ノイズは撮影画像の各画素にランダムに付加され、平均化に伴ってさらに圧縮されるので、本撮影の被写体画像IのSN比の向上に有利である。
n個の撮影画像Pが加算平均されることによって本撮影の被写体画像Iが生成される場合に、好ましくは、最短の飽和露光時間TSが飽和露光時間算出部214によって算出され、制御部205は、総露光時間を複数に区分する際に、区分された露光時間がいずれも飽和露光時間TS未満となるように、区分数nを設定し、総露光時間をn個に区分する。なお、最短の飽和露光時間TSは、画素値が飽和領域に達した画素が本撮影によって撮影される撮影画像に発生する最短の時間であり、プレ撮影及び本撮影によって撮影された一つ以上の撮影画像に基づいて算出され得る。そして、飽和領域は、画素値がとり得る上限を含む上限付近の領域であり、換言すれば、撮像素子132の画素に入射する光子と画素に発生する信号電荷との比例関係が崩れる領域である。
例えば図12A~図12cに示した例において、レーンL1、レーンL3及びレーンL4のバンドBに対応する画素の画素値は、撮影画像が加算される度に大きくなっており、図12Cに示した被写体画像IにおいてはレーンL1及びレーンL3のバンドBに対応する画素の画素値は飽和領域に達している。この場合、レーンL1及びレーンL3のサンプルについて、検出対象の検出は可能であるが定量は不能となる。これに対し、n回の本撮影それぞれの露光時間が飽和露光時間TS未満であることにより、飽和領域に達した画素がn個の撮影画像Pに発生せず、n個の撮影画像Pが加算平均されることによって生成される被写体画像Iにも発生しない。すなわち、レーンL1及びレーンL3のバンドBに対応する画素の画素値が飽和領域に達することはなく、レーンL2を含むレーンL1~レーンL4の全てのサンプルについて、検出対象の検出及び定量が可能となる。
また、好ましくは、n回の本撮影それぞれの露光時間は、後の本撮影ほど長く設定される。
図14及び図15は、発光強度が経時的に減衰する場合の、発光の経時特性と、発光の経時特性を考慮した関心領域ROIの画素値S(t)とを示す。そして、図14は、露光時間を一定として本撮影の総露光時間を複数に区分した場合の、撮影画像毎の画素値を示し、図15は、露光時間を後の本撮影ほど長くして本撮影の総露光時間を複数に区分した場合の、撮影画像毎の画素値を示す。
図14に示すとおり、露光時間を一定として本撮影の総露光時間を区分した場合に、撮影画像毎の画素値ΔSは、後の本撮影で撮影される撮影画像ほど小さくなっている。この場合に、後の本撮影で撮影される撮影画像ではノイズが支配的となり、ノイズが支配的な撮影画像が加算平均される撮影画像に含まれることに起因して、SN比の低下が懸念される。
一方、図15に示すとおり、露光時間を後の本撮影ほど長くして本撮影の総露光時間を複数に区分することにより、撮影画像毎の画素値ΔSを、例えば一定とし、ノイズの影響を撮影画像間で均一化することができ、SN比の向上に有利である。このとき、i回目の撮影の露光時間をtとし、各撮影における重みを1/tとして加重平均することによって本撮影の被写体画像Iを生成しても良い。すなわち、k回目の本撮影が行われた段階の被写体画像Iは、次式に示されるとおり、撮影画像P~撮影画像Pが加重平均された画像である。
=(P/t+P/t+ ~ +P/t)/(1/t+1/t+ ~ +1/t)・・・(9)
以上、説明したとおり、本明細書に開示された撮影システムは、被写体を撮影する撮影手段と、一回以上のプレ撮影と、上記プレ撮影に続く一回以上の本撮影とを上記撮影手段に行わせる制御手段と、を備え、上記制御手段は、上記プレ撮影と上記本撮影とのそれぞれにおいて、撮影された一つ以上の画像に基づき、被写体画像を生成する画像生成部と、上記被写体画像を表示し、且つ上記被写体画像の関心領域及び非関心領域のうち少なくとも関心領域を設定するためのユーザ入力を受け付けるインタフェース部と、上記ユーザ入力に基づいて関心領域を設定し、また非関心領域を設定する領域設定部と、設定された上記関心領域と上記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するSN比算出部と、撮影された一つ以上の画像について算出された上記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出する総露光時間算出部と、を有し、上記総露光時間に基づき、上記本撮影を上記撮影手段に行わせる。
また、本明細書に開示された撮影システムは、被写体を撮影する撮影手段と、一回以上のプレ撮影と、上記プレ撮影に続く一回以上の本撮影とを上記撮影手段に行わせる制御手段と、を備え、上記制御手段は、上記プレ撮影と上記本撮影とのそれぞれにおいて、撮影された一つ以上の画像に基づき、被写体画像を生成する画像生成部と、上記被写体画像を表示するインタフェース部と、上記被写体画像の関心領域及び非関心領域を設定する領域設定部と、設定された上記関心領域と上記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するSN比算出部と、撮影された一つ以上の画像について算出された上記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出する総露光時間算出部と、を有し、上記総露光時間に基づき、上記本撮影を上記撮影手段に行わせる。
また、本明細書に開示された撮影システムは、上記画素値の信号成分が、設定された上記関心領域の画像値の平均値又は中央値と、設定された上記非関心領域の画素値の平均値又は中央値の差である。
また、本明細書に開示された撮影システムは、上記画素値のノイズ成分が、設定された前記非関心領域の画素値の標準偏差である。
また、本明細書に開示された撮影システムは、上記基準SN比は、上記領域設定部が上記関心領域及び上記非関心領域の設定に用いた上記被写体画像におけるSN比と、予め設定される基準SN比改善係数との積によって設定される。
また、本明細書に開示された撮影システムは、上記インタフェース部は、上記基準SN比又は上記基準SN比改善係数を設定するためのユーザ入力を受け付ける。
また、本明細書に開示された撮影システムは、上記インタフェース部は、上記最大SN比及び上記基準SN比のいずれを用いて上記総露光時間を算出するかを選択するためのユーザ入力を受け付ける。
また、本明細書に開示された撮影システムは、上記制御手段は、上記総露光時間を複数に区分し、区分に従って露光する複数回の上記本撮影を上記撮影手段に行わせ、上記画像生成部は、複数回の上記本撮影によって撮影される複数の画像を加算平均または加重平均することによって上記被写体画像を生成し、且つ上記本撮影が行われる度に上記被写体画像を更新し、上記インタフェース部は、更新された上記被写体画像を表示する。
また、本明細書に開示された撮影システムは、上記制御手段は、上記SN比の変化に基づき、更新された上記被写体画像における上記SN比の変化率が所定の値を下回ったか否かを判定し、上記SN比の変化率が所定の値を下回った場合に撮影を中断させる。
また、本明細書に開示された撮影システムは、撮影が中断された場合に、上記インタフェース部は、撮影中断前に生成された上記被写体画像のうち上記SN比が最大の上記被写体画像を表示し、保存する。
また、本明細書に開示された撮影システムは、上記インタフェース部が、更新された上記被写体画像の関心領域を設定するためのユーザ入力を受け付けた場合に、上記領域設定部は、上記ユーザ入力に基づいて上記関心領域を再設定し、また上記非関心領域を再設定し、上記SN比算出部は、再設定された上記関心領域と上記非関心領域とに基づいて上記SN比を再算出し、上記総露光時間算出部は、再算出された上記SN比に基づいて上記総露光時間を再算出する。
また、本明細書に開示された撮影システムは、上記制御手段は、撮影された一つ以上の画像に基づき、画素値が飽和領域に達した画素が上記本撮影によって撮影される画像に発生する最短の飽和露光時間を算出する飽和露光時間算出部を有し、複数回の上記本撮影それぞれの露光時間は、算出された上記飽和露光時間未満である。
また、本明細書に開示された撮影システムは、上記制御手段は、上記総露光時間を複数に区分し、区分に従って露光する複数回の上記本撮影を上記撮影手段に行わせ、上記画像生成部は、複数回の上記本撮影によって撮影される複数の画像を加算することによって上記被写体画像を生成し、且つ上記本撮影が行われる度に上記被写体画像を更新し、上記インタフェース部は、更新された上記被写体画像を表示する。
また、本明細書に開示された撮影システムは、上記インタフェース部が、更新された上記被写体画像の関心領域を設定するためのユーザ入力を受け付けた場合に、上記領域設定部は、上記ユーザ入力に基づいて上記関心領域を再設定し、また上記非関心領域を再設定し、上記SN比算出部は、再設定された上記関心領域と上記非関心領域とに基づいて上記SN比を再算出し、上記総露光時間算出部は、再算出された上記SN比に基づいて上記総露光時間を再算出する。
また、本明細書に開示された撮影システムは、複数回の上記本撮影それぞれの露光時間は、後の本撮影ほど長い。
また、本明細書に開示された撮影システムは、上記被写体画像が更新される度に、上記SN比算出部は上記SN比を算出し、上記総露光時間算出部は上記総露光時間を算出する。
また、本明細書に開示された撮影システムは、上記インタフェース部は、算出された上記SN比と、算出された上記総露光時間とを表示する。
また、本明細書に開示された撮影システムは、上記インタフェース部が、上記基準SN比を再設定するためのユーザ入力を受け付けた場合に、上記総露光時間算出部は、再設定された上記基準SN比が得られる総露光時間を再算出する。
また、本明細書に開示された撮影システムは、上記インタフェース部が、上記総露光時間を設定するためのユーザ入力を受け付けた場合に、上記制御手段は、算出された上記総露光時間と設定された上記総露光時間とのうちいずれか短いほうの総露光時間に基づき、上記本撮影を上記撮影手段に行わせる。
また、本明細書に開示された撮影システムは、上記インタフェース部が、撮影を中断するためのユーザ入力を受け付けた場合に、上記制御手段は、撮影を中断させる。
また、本明細書に開示された撮影システムは、上記本撮影それぞれの露光時間の総和が、予め設定される上限総露光時間を超える場合に、上記制御手段は、撮影を中断させる。
また、本明細書に開示された撮影システムは、上記上限総露光時間は、被写体種別によって異なり、蛍光発光する被写体に対応する上記上限総露光時間は、化学反応の結果として発光する被写体に対応する上記上限総露光時間よりも短い。
また、本明細書に開示された撮影システムは、上記本撮影それぞれの露光時間が、予め設定される上限露光時間を超える場合に、上記制御手段は、撮影を中断させる。
また、本明細書に開示された撮影システムは、上記上限露光時間は、被写体種別によって異なり、蛍光発光する被写体に対応する上記上限露光時間は、化学反応の結果として発光する被写体に対応する上記上限露光時間よりも短い。
また、本明細書に開示された撮影システムは、上記インタフェース部は、被写体種別を設定するためのユーザ入力を受け付け、上記制御手段は、被写体種別毎の撮影条件を記憶した記憶部を有し、設定された被写体種別に対応する上記撮影条件に基づき、上記プレ撮影を上記撮影手段に行わせる。
また、本明細書に開示された撮影システムは、発光する被写体を撮影する。
また、本明細書に開示された撮影システムは、発光強度が経時的に減衰する被写体を撮影する。
また、本明細書に開示された撮影方法は、被写体を撮影する撮影手段を用い、一回以上のプレ撮影を行うステップと、上記プレ撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、生成された上記被写体画像を表示し、ユーザ入力に基づいて上記被写体画像の関心領域を設定し、また非関心領域を設定するステップと、設定された上記関心領域と上記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するステップと、撮影された一つ以上の画像について算出された上記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出するステップと、上記撮影手段を用い、上記総露光時間に基づいて一回以上の本撮影を行うステップと、上記本撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、を備える。
また、本明細書に開示された撮影方法は、発光する被写体を撮影する。
また、本明細書に開示された撮影方法は、被写体を撮影する撮影手段を用い、一回以上のプレ撮影を行うステップと、上記プレ撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、上記被写体画像の関心領域及び非関心領域を設定するステップと、設定された上記関心領域と上記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するステップと、撮影された一つ以上の画像について算出された上記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出するステップと、上記撮影手段を用い、上記総露光時間に基づいて一回以上の本撮影を行うステップと、上記本撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、を備える。
また、本明細書に開示された撮影方法は、発光強度が経時的に減衰する被写体を撮影する。
また、本明細書に開示されたプログラムは、上記撮影方法の各ステップをコンピュータに実行させる。
なお、上記プログラムは、コンピュータが読取可能な一時的でない(Non-transitory)記録媒体に記録して提供可能である。このような「コンピュータが読取可能な記録媒体」は、たとえば、CD-ROM(Compact Disc-Rom)等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。
本発明は、発光又は発色する被写体の分析に用いることができる。
以上本発明の実施形態を詳述したがこれはあくまで一例示であり、本発明はその趣旨を逸脱しない範囲において種々変更を加えた態様で実施可能である。本出願は、2018年4月17日出願の日本特許出願(特願2018-79361)に基づくものであり、その内容はここに参照として取り込まれる。
1 撮影システム
100 撮影装置
120 筐体
120a 筐体の上面
121 蓋
122 被写体配置部
130 撮影部
131 レンズ部
132 撮像素子
133 信号処理部
134 記憶部
135 通信部
136 撮影制御部
137 冷却素子
140 落射光源
150 透過光源
200 制御装置
201 操作部
202 表示部
203 記憶部
204 通信部
205 制御部
206 インタフェース部
210 画像生成部
211 領域設定部
212 SN比算出出部
213 総露光時間算出部
214 飽和露光時間算出部
B バンド
I 被写体画像
L1~L4 レーン
NROI 非関心領域
P 撮影画像
PS 被写体
ROI 関心領域

Claims (31)

  1. 被写体を撮影する撮影手段と、
    一回以上のプレ撮影と、前記プレ撮影に続く一回以上の本撮影とを前記撮影手段に行わせる制御手段と、
    を備え、
    前記制御手段は、
    前記プレ撮影と前記本撮影とのそれぞれにおいて、撮影された一つ以上の画像に基づき、被写体画像を生成する画像生成部と、
    前記被写体画像を表示し、且つ前記被写体画像の関心領域及び非関心領域のうち少なくとも関心領域を設定するためのユーザ入力を受け付けるインタフェース部と、
    前記ユーザ入力に基づいて関心領域を設定し、また非関心領域を設定する領域設定部と、
    設定された前記関心領域と前記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するSN比算出部と、
    撮影された一つ以上の画像について算出された前記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出する総露光時間算出部と、
    を有し、
    前記制御手段は、前記総露光時間に基づき、前記本撮影を前記撮影手段に行わせるとともに、前記総露光時間を複数に区分し、区分に従って露光する複数回の前記本撮影を前記撮影手段に行わせ、
    前記画像生成部は、複数回の前記本撮影によって撮影される複数の画像を加算平均または加重平均することによって前記被写体画像を生成し、且つ前記本撮影が行われる度に前記被写体画像を更新し、
    前記インタフェース部は、更新された前記被写体画像を表示する、
    撮影システム。
  2. 被写体を撮影する撮影手段と、
    一回以上のプレ撮影と、前記プレ撮影に続く一回以上の本撮影とを前記撮影手段に行わせる制御手段と、
    を備え、
    前記制御手段は、
    前記プレ撮影と前記本撮影とのそれぞれにおいて、撮影された一つ以上の画像に基づき、被写体画像を生成する画像生成部と、
    前記被写体画像を表示するインタフェース部と、
    前記被写体画像の関心領域及び非関心領域を設定する領域設定部と、
    設定された前記関心領域と前記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するSN比算出部と、
    撮影された一つ以上の画像について算出された前記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出する総露光時間算出部と、
    を有し、
    前記制御手段は、前記総露光時間に基づき、前記本撮影を前記撮影手段に行わせるとともに、前記総露光時間を複数に区分し、区分に従って露光する複数回の前記本撮影を前記撮影手段に行わせ、
    前記画像生成部は、複数回の前記本撮影によって撮影される複数の画像を加算平均または加重平均することによって前記被写体画像を生成し、且つ前記本撮影が行われる度に前記被写体画像を更新し、
    前記インタフェース部は、更新された前記被写体画像を表示する、
    撮影システム。
  3. 請求項1又は2記載の撮影システムであって、
    前記画素値の信号成分は、設定された前記関心領域の画像値の平均値又は中央値と、設定された前記非関心領域の画素値の平均値又は中央値の差である、
    撮影システム。
  4. 請求項1から3のいずれか一項記載の撮影システムであって、
    前記画素値のノイズ成分は、設定された前記非関心領域の画素値の標準偏差を含む、
    撮影システム。
  5. 請求項1から4のいずれか一項記載の撮影システムであって、
    前記基準SN比は、前記領域設定部が前記関心領域及び前記非関心領域の設定に用いた前記被写体画像におけるSN比と、予め設定される基準SN比改善係数との積によって設定される、
    撮影システム。
  6. 請求項5記載の撮影システムであって、
    前記インタフェース部は、前記基準SN比又は前記基準SN比改善係数を設定するためのユーザ入力を受け付ける、
    撮影システム。
  7. 請求項1から6のいずれか一項記載の撮影システムであって、
    前記インタフェース部は、前記最大SN比及び前記基準SN比のいずれを用いて前記総露光時間を算出するかを選択するためのユーザ入力を受け付ける、
    撮影システム。
  8. 請求項1記載の撮影システムであって、
    前記制御手段は、前記SN比の変化に基づき、更新された前記被写体画像における前記SN比の変化率が所定の値を下回ったか否かを判定し、前記SN比の変化率が所定の値を下回った場合に撮影を中断させる、
    撮影システム。
  9. 請求項8記載の撮影システムであって、
    前記制御手段は、前記被写体画像を保存する記憶部を有し、
    撮影が中断された場合に、前記インタフェース部は、撮影中断前に生成された前記被写体画像のうち前記SN比が最大の前記被写体画像を表示し、前記記憶部に保存する、
    撮影システム。
  10. 請求項1記載の撮影システムであって、
    前記インタフェース部が、更新された前記被写体画像の関心領域を設定するためのユーザ入力を受け付けた場合に、
    前記領域設定部は、前記ユーザ入力に基づいて前記関心領域を再設定し、また前記非関心領域を再設定し、
    前記SN比算出部は、再設定された前記関心領域と前記非関心領域とに基づいて前記SN比を再算出し、
    前記総露光時間算出部は、再算出された前記SN比に基づいて前記総露光時間を再算出する、
    撮影システム。
  11. 請求項10記載の撮影システムであって、
    前記制御手段は、撮影された一つ以上の画像に基づき、画素値が飽和領域に達した画素が前記本撮影によって撮影される画像に発生する最短の飽和露光時間を算出する飽和露光時間算出部を有し、
    複数回の前記本撮影それぞれの露光時間は、算出された前記飽和露光時間未満である、
    撮影システム。
  12. 請求項1から7のいずれか一項記載の撮影システムであって、
    前記制御手段は、前記総露光時間を複数に区分し、区分に従って露光する複数回の前記本撮影を前記撮影手段に行わせ、
    前記画像生成部は、複数回の前記本撮影によって撮影される複数の画像を加算することによって前記被写体画像を生成し、且つ前記本撮影が行われる度に前記被写体画像を更新し、
    前記インタフェース部は、更新された前記被写体画像を表示する、
    撮影システム。
  13. 請求項1を引用する請求項12記載の撮影システムであって、
    前記インタフェース部が、更新された前記被写体画像の関心領域を設定するためのユーザ入力を受け付けた場合に、
    前記領域設定部は、前記ユーザ入力に基づいて前記関心領域を再設定し、また前記非関心領域を再設定し、
    前記SN比算出部は、再設定された前記関心領域と前記非関心領域とに基づいて前記SN比を再算出し、
    前記総露光時間算出部は、再算出された前記SN比に基づいて前記総露光時間を再算出する、
    撮影システム。
  14. 請求項1から12のいずれか一項記載の撮影システムであって、
    複数回の前記本撮影それぞれの露光時間は、後の本撮影ほど長い、
    撮影システム。
  15. 請求項1から14のいずれか一項記載の撮影システムであって、
    前記被写体画像が更新される度に、前記SN比算出部は前記SN比を算出し、前記総露光時間算出部は前記総露光時間を算出する、
    撮影システム。
  16. 請求項1から15のいずれか一項記載の撮影システムであって、
    前記インタフェース部は、算出された前記SN比と、算出された前記総露光時間とを表示する、
    撮影システム。
  17. 請求項1を引用する請求項16記載の撮影システムであって、
    前記インタフェース部は、前記基準SN比を再設定するためのユーザ入力を受け付け可能であり、
    前記インタフェース部が、前記基準SN比を再設定するためのユーザ入力を受け付けた場合に、
    前記総露光時間算出部は、再設定された前記基準SN比が得られる総露光時間を再算出する、
    撮影システム。
  18. 請求項16又は17記載の撮影システムであって、
    前記インタフェース部は、前記総露光時間を設定するためのユーザ入力を受け付け可能であり、
    前記インタフェース部が、前記総露光時間を設定するためのユーザ入力を受け付けた場合に、
    前記制御手段は、算出された前記総露光時間と設定された前記総露光時間とのうちいずれか短いほうの総露光時間に基づき、前記本撮影を前記撮影手段に行わせる、
    撮影システム。
  19. 請求項16から18のいずれか一項記載の撮影システムであって、
    前記インタフェース部は、撮影を中断するためのユーザ入力を受け付け可能であり、
    前記インタフェース部が、撮影を中断するためのユーザ入力を受け付けた場合に、
    前記制御手段は、撮影を中断させる、
    撮影システム。
  20. 請求項1から19のいずれか一項記載の撮影システムであって、
    前記本撮影それぞれの露光時間の総和が、予め設定される上限総露光時間を超える場合に、
    前記制御手段は、撮影を中断させる、
    撮影システム。
  21. 請求項20記載の撮影システムであって、
    前記上限総露光時間は、被写体種別によって異なり、蛍光発光する被写体に対応する前記上限総露光時間は、化学反応の結果として発光する被写体に対応する前記上限総露光時間よりも短い、
    撮影システム。
  22. 請求項20又は21記載の撮影システムであって、
    前記本撮影それぞれの露光時間が、予め設定される上限露光時間を超える場合に、
    前記制御手段は、撮影を中断させる、
    撮影システム。
  23. 請求項22記載の撮影システムであって、
    前記上限露光時間は、被写体種別によって異なり、蛍光発光する被写体に対応する前記上限露光時間は、化学反応の結果として発光する被写体に対応する前記上限露光時間よりも短い、
    撮影システム。
  24. 請求項1から23のいずれか一項記載の撮影システムであって、
    前記インタフェース部は、被写体種別を設定するためのユーザ入力を受け付け可能であり、
    前記インタフェース部は、被写体種別を設定するためのユーザ入力を受け付けた場合に、
    前記制御手段は、
    被写体種別毎の撮影条件を記憶した記憶部を有し、
    設定された被写体種別に対応する前記撮影条件に基づき、前記プレ撮影を前記撮影手段に行わせる、
    撮影システム。
  25. 請求項1記載の撮影システムであって、
    発光する被写体を撮影する撮影システム。
  26. 請求項2記載の撮影システムであって、
    発光強度が経時的に減衰する被写体を撮影する撮影システム。
  27. 被写体を撮影する撮影手段を用い、一回以上のプレ撮影を行うステップと、
    前記プレ撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、
    生成された前記被写体画像を表示し、ユーザ入力に基づいて前記被写体画像の関心領域を設定し、また非関心領域を設定するステップと、
    設定された前記関心領域と前記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するステップと、
    撮影された一つ以上の画像について算出された前記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出するステップと、
    前記撮影手段を用い、前記総露光時間に基づいて一回以上の本撮影を行うステップと、
    前記本撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、
    前記総露光時間を複数に区分し、区分に従って露光する複数回の前記本撮影を前記撮影手段に行わせるステップと、
    複数回の前記本撮影によって撮影される複数の画像を加算平均または加重平均することによって前記被写体画像を生成し、且つ前記本撮影が行われる度に前記被写体画像を更新するステップと、
    更新された前記被写体画像を表示するステップと、
    を備える撮影方法。
  28. 請求項27記載の撮影方法であって、
    発光する被写体を撮影する撮影方法。
  29. 被写体を撮影する撮影手段を用い、一回以上のプレ撮影を行うステップと、
    前記プレ撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、
    前記被写体画像を表示し、前記被写体画像の関心領域及び非関心領域を設定するステップと、
    設定された前記関心領域と前記非関心領域とに基づいて、画素値の信号成分とノイズ成分との比であるSN比を算出するステップと、
    撮影された一つ以上の画像について算出された前記SN比に基づき、最大SN比又は予め設定される基準SN比が得られる総露光時間を算出するステップと、
    前記撮影手段を用い、前記総露光時間に基づいて一回以上の本撮影を行うステップと、
    前記本撮影によって撮影された一つ以上の画像に基づき、被写体画像を生成するステップと、
    前記総露光時間を複数に区分し、区分に従って露光する複数回の前記本撮影を前記撮影手段に行わせるステップと、
    複数回の前記本撮影によって撮影される複数の画像を加算平均または加重平均することによって前記被写体画像を生成し、且つ前記本撮影が行われる度に前記被写体画像を更新するステップと、
    更新された前記被写体画像を表示するステップと、
    を備える撮影方法
  30. 請求項29記載の撮影方法であって、
    発光強度が経時的に減衰する被写体を撮影する撮影方法。
  31. 請求項27から30のいずれか一項記載の撮影方法の各ステップをコンピュータに実行させるプログラム。
JP2020514377A 2018-04-17 2019-04-15 撮影システム、撮影方法及びプログラム Active JP7138163B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018079361 2018-04-17
JP2018079361 2018-04-17
PCT/JP2019/016176 WO2019203193A1 (ja) 2018-04-17 2019-04-15 撮影システム、撮影方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019203193A1 JPWO2019203193A1 (ja) 2021-05-13
JP7138163B2 true JP7138163B2 (ja) 2022-09-15

Family

ID=68239990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020514377A Active JP7138163B2 (ja) 2018-04-17 2019-04-15 撮影システム、撮影方法及びプログラム

Country Status (6)

Country Link
US (1) US11327020B2 (ja)
EP (1) EP3783881A4 (ja)
JP (1) JP7138163B2 (ja)
KR (1) KR20200142055A (ja)
CN (1) CN112544069B (ja)
WO (1) WO2019203193A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111007060A (zh) * 2019-12-24 2020-04-14 姜金仲 一种低温无精炼工艺茶籽油鉴定方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205635A (ja) 2007-02-16 2008-09-04 Olympus Imaging Corp 撮像装置
JP2009017606A (ja) 2008-10-20 2009-01-22 Canon Inc 撮影装置
JP2010216982A (ja) 2009-03-17 2010-09-30 Fujifilm Corp 検出方法および検出システム
JP2011199659A (ja) 2010-03-19 2011-10-06 Fujifilm Corp 撮影装置及び撮影プログラム
JP2015136087A (ja) 2014-01-20 2015-07-27 オリンパス株式会社 撮像装置および撮像方法
US20160057329A1 (en) 2014-08-21 2016-02-25 Fujifilm Corporation Photographing apparatus and method
WO2016127107A2 (en) 2015-02-06 2016-08-11 Life Technologies Corporation Systems and methods for biological analysis
JP2016161653A (ja) 2015-02-27 2016-09-05 富士フイルム株式会社 撮影装置および方法
JP2016171415A (ja) 2015-03-12 2016-09-23 富士フイルム株式会社 撮影装置および方法
JP2017130856A (ja) 2016-01-21 2017-07-27 リコーイメージング株式会社 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000157518A (ja) * 1998-11-25 2000-06-13 Konica Corp 放射線画像処理装置
EP1101438B1 (en) 1999-11-18 2006-10-18 Fuji Photo Film Co., Ltd. Method and apparatus for acquiring fluorescence images
JP3983948B2 (ja) * 1999-11-18 2007-09-26 富士フイルム株式会社 蛍光画像取得方法および装置
US7023591B2 (en) * 2000-07-24 2006-04-04 Nikon Corporation Image scanning apparatus, storage medium for storing controlling procedure of image scanning apparatus, and control program for image scanning apparatus
JP2004024497A (ja) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd 蛍光診断画像生成装置
JP5220657B2 (ja) * 2009-02-26 2013-06-26 オリンパス株式会社 撮像装置及び画像処理プログラム
CN101766476B (zh) * 2009-07-08 2011-05-11 中国科学院自动化研究所 自发荧光分子影像系统
JP6057890B2 (ja) 2011-02-21 2017-01-11 オリンパス株式会社 蛍光観察装置
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
FR3009394B1 (fr) * 2013-07-31 2016-12-23 Dxo Labs Dispositif pour la prise de vue en basse lumiere apte a se connecter a un dispositif de type telephone mobile
CN103705258B (zh) * 2013-11-19 2015-06-24 江苏康众数字医疗设备有限公司 一种成像设备的自动曝光控制方法及装置
US9736388B2 (en) * 2013-12-13 2017-08-15 Bio-Rad Laboratories, Inc. Non-destructive read operations with dynamically growing images
WO2015171418A2 (en) 2014-05-06 2015-11-12 St. Jude Medical, Cardiology Division, Inc. Electrode support structure assembly
CN106303279B (zh) * 2016-08-31 2019-08-09 北京数字精准医疗科技有限公司 多光谱内窥镜自动曝光成像方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205635A (ja) 2007-02-16 2008-09-04 Olympus Imaging Corp 撮像装置
JP2009017606A (ja) 2008-10-20 2009-01-22 Canon Inc 撮影装置
JP2010216982A (ja) 2009-03-17 2010-09-30 Fujifilm Corp 検出方法および検出システム
JP2011199659A (ja) 2010-03-19 2011-10-06 Fujifilm Corp 撮影装置及び撮影プログラム
JP2015136087A (ja) 2014-01-20 2015-07-27 オリンパス株式会社 撮像装置および撮像方法
US20160057329A1 (en) 2014-08-21 2016-02-25 Fujifilm Corporation Photographing apparatus and method
WO2016127107A2 (en) 2015-02-06 2016-08-11 Life Technologies Corporation Systems and methods for biological analysis
JP2016161653A (ja) 2015-02-27 2016-09-05 富士フイルム株式会社 撮影装置および方法
JP2016171415A (ja) 2015-03-12 2016-09-23 富士フイルム株式会社 撮影装置および方法
JP2017130856A (ja) 2016-01-21 2017-07-27 リコーイメージング株式会社 撮像装置

Also Published As

Publication number Publication date
EP3783881A1 (en) 2021-02-24
US11327020B2 (en) 2022-05-10
US20210033537A1 (en) 2021-02-04
CN112544069A (zh) 2021-03-23
CN112544069B (zh) 2022-11-01
KR20200142055A (ko) 2020-12-21
JPWO2019203193A1 (ja) 2021-05-13
WO2019203193A1 (ja) 2019-10-24
EP3783881A4 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
JP3678397B2 (ja) 撮影システム
US9094614B2 (en) Imaging device, imaging method and imaging program stored computer readable medium
JP2010509613A (ja) カメラ及びカメラにおける方法
TW202021339A (zh) 用於相機之紅外光預閃光
JP7138163B2 (ja) 撮影システム、撮影方法及びプログラム
WO2018121313A1 (en) Systems and methods for exposure control
JP2008082922A (ja) 撮影装置及び細胞観察装置
KR102637092B1 (ko) 입사각을 기반으로 한 간섭 필터 보정을 위한 시스템, 방법 및 장치
US20150264242A1 (en) Imaging system and imaging method
JP6380986B2 (ja) 撮影装置および方法
US10194092B2 (en) Photographing apparatus and method capable of setting appropriate exposure time periods in consideration of temporal change in light
JP6883855B2 (ja) 撮像装置及び撮像装置の制御方法
US9743011B2 (en) Photographing apparatus and method
Ye et al. CMOS image sensor: characterizing its PRNU (photo-response non-uniformity)
JP2011199659A (ja) 撮影装置及び撮影プログラム
JP6772529B2 (ja) 画像処理方法、画像処理装置、プログラム
JP6681967B2 (ja) 画像表示方法、画像表示プログラム、および画像表示装置
JP6184919B2 (ja) 撮影装置および方法
JP2008199538A (ja) 撮像装置
JP5963547B2 (ja) 撮像装置及びその制御方法
JP2012220361A (ja) 光量測定装置および光量測定方法
JP2016045289A (ja) 撮影装置および方法
JP6578470B2 (ja) 画像表示方法、画像表示プログラム、画像表示装置、および画像表示物
JP2006243186A (ja) カメラ
JP2011211408A (ja) 撮影装置及び撮影プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220905

R150 Certificate of patent or registration of utility model

Ref document number: 7138163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150