JPWO2017029980A1 - 蛍光可視化装置、蛍光可視化方法ならびにコンピュータプログラム - Google Patents
蛍光可視化装置、蛍光可視化方法ならびにコンピュータプログラム Download PDFInfo
- Publication number
- JPWO2017029980A1 JPWO2017029980A1 JP2017535321A JP2017535321A JPWO2017029980A1 JP WO2017029980 A1 JPWO2017029980 A1 JP WO2017029980A1 JP 2017535321 A JP2017535321 A JP 2017535321A JP 2017535321 A JP2017535321 A JP 2017535321A JP WO2017029980 A1 JPWO2017029980 A1 JP WO2017029980A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- visualization
- change
- imaging
- fluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 215
- 238000004590 computer program Methods 0.000 title claims abstract description 35
- 238000007794 visualization technique Methods 0.000 title claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 194
- 238000003384 imaging method Methods 0.000 claims abstract description 150
- 238000005286 illumination Methods 0.000 claims abstract description 123
- 238000004364 calculation method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 28
- 230000003252 repetitive effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 abstract description 3
- 239000010794 food waste Substances 0.000 description 60
- 230000006837 decompression Effects 0.000 description 15
- 230000001678 irradiating effect Effects 0.000 description 10
- 235000013305 food Nutrition 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005284 excitation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 241000233866 Fungi Species 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004606 Fillers/Extenders Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- BAWFJGJZGIEFAR-NNYOXOHSSA-N NAD zwitterion Chemical compound NC(=O)C1=CC=C[N+]([C@H]2[C@@H]([C@H](O)[C@@H](COP([O-])(=O)OP(O)(=O)OC[C@@H]3[C@H]([C@@H](O)[C@@H](O3)N3C4=NC=NC(N)=C4N=C3)O)O2)O)=C1 BAWFJGJZGIEFAR-NNYOXOHSSA-N 0.000 description 2
- 238000005352 clarification Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229950006238 nadide Drugs 0.000 description 2
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 229930024421 Adenine Natural products 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 229960000643 adenine Drugs 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 150000002894 organic compounds Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
Landscapes
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
Description
撮像された画像を取得する画像取得手段、
画像取得手段により取得された画像であって時系列で連続して撮像された3つの画像の内、照明光を照射した際に撮像した第一画像および第三画像に対してコントラスト伸長処理を施すコントラスト伸長手段、
コントラスト伸長手段により第一画像および第三画像からそれぞれ生成された第一伸長処理画像および第三伸長処理画像の間の撮像領域内における二次元直交座標系上若しくは三次元直交座標系上の可視化対象の変化量を計算する変化量計算手段、
時系列で連続して撮像された3つの画像の内、照明光の非照射時に撮像した第二画像を、上述の変化量に基づいて第三画像の位置および大きさの内の少なくとも1つに至るように変化させて変化画像を生成する変化画像生成手段、
第三画像と変化画像との差分画像を取得する差分画像取得手段、
差分画像に対して明度伸長処理を行って明度伸長処理画像を生成する明度伸長手段、および
時系列をずらして、第三画像以降の画像を取得する画像取得手段、コントラスト伸長手段、変化量計算手段、変化画像生成手段、差分画像取得手段および明度伸長手段を実行させるように指示を出す繰返実行指示手段、
として機能させ、撮像手段と相対的に動く可視化対象を蛍光可視化させる。
12 表示部(画像表示領域)
20 照明部(照明手段の一例)
21 撮像部(撮像手段の一例)
22 可視化対象
31 画像記憶部(記憶手段の一例)
32 情報記憶部(記憶手段の一例)
41 照明動作制御部(照明動作制御手段の一例)
42 撮像動作制御部(撮像動作制御手段の一例)
43 画像取得部(画像取得手段の一例)
44 コントラスト伸長部(コントラスト伸長手段の一例)
45 変化量計算部(変化量計算手段の一例)
46 変化画像生成部(変化画像生成手段の一例)
47 差分画像取得部(差分画像取得手段の一例)
48 明度伸長部(明度伸長手段の一例)
49 繰返実行指示部(繰返実行指示手段の一例)
50 可視化対象有無判別部(可視化対象有無判別手段の一例)
51 計算指示部(計算指示手段の一例)
52 分割領域明示部(分割領域明示手段の一例)
53 入出力部制御部
60,60a 第一画像(画像)
61 食物残渣(可視化対象の一例)
62 食物残渣(可視化対象の一例)
65 第一伸長処理画像
70,70a 第二画像(画像)
80,80a 第三画像(画像)
81 食物残渣(可視化対象の一例)
82 食物残渣(可視化対象の一例)
83 二次元直交座標
85 第三伸長処理画像
86 撮像領域
87 差分画像
88 明度伸長処理画像
90a 第四画像(画像)
100a 第五画像(画像)
101 食物残渣(可視化対象の一例)
110 食物残渣(可視化対象の一例)
図1は、本発明の実施形態に係る蛍光可視化装置の正面図を示す。
次に、蛍光可視化方法の好適な実施の形態について説明する。
第一画像の撮像から所定時間後であって、照明光の非照射時に撮像部21により可視化対象22を撮像した第二画像を取得する第二画像取得ステップと、
第二画像の撮像から所定時間後であって、照明部20により可視化対象22に再び照明光を照射した際に撮像部21により可視化対象22を撮像した第三画像を取得する第三画像取得ステップと、第一画像および第三画像に対してコントラスト伸長処理を施すコントラスト伸長ステップと、コントラスト伸長ステップにより第一画像および第三画像からそれぞれ生成された第一伸長処理画像および第三伸長処理画像の間の撮像領域内における二次元直交座標系上若しくは三次元直交座標系上の可視化対象22の変化量を計算する変化量計算ステップと、第二画像を、上述の変化量に基づき第三画像の位置および大きさの内の少なくとも1つに至るように変化させて変化画像を生成する変化画像生成ステップと、第三画像と変化画像との差分画像を取得する差分画像取得ステップと、差分画像に対して明度伸長処理を行って明度伸長処理画像を生成する明度伸長ステップと、時系列をずらして、第三画像以降の画像を取得する第二画像取得ステップと同様のステップ、コントラスト伸長ステップ、変化量計算ステップ、変化画像生成ステップ、差分画像取得ステップおよび明度伸長ステップを実行させるように指示を出す繰返実行指示ステップと、
を含み、撮像部21と相対的に動く可視化対象22を蛍光可視化させる方法である。
次に、当該蛍光可視化方法の一例を図3および図4に基づき詳述する。この例は、変化量計算ステップを、二次元直交座標系上の可視化対象22の移動量を計算するステップとし、変化画像生成ステップを、第二画像中の画素を上述の移動量の2分の1だけ移動して変化画像を生成するステップとし、可視化対象有無判別ステップを含む。なお、図3および図4に基づく説明は、可視化対象22が移動し、撮像部21が停止している状況での画像処理の説明であるが、可視化対象22が停止し、撮像部21が移動している状況、あるいは可視化対象22および撮像部21がともに移動していて、その移動速度の差によって相対的に可視化対象22が移動しているように見える状況であっても良い。
第一画像取得ステップは、照射光を可視化対象22に照射して撮像した第一画像60を取得するステップである。第一画像60には、可視化対象22の一例として、蛍光を発する食物残渣61,62が撮像されている。なお、ここでは、簡略化のため、食物残渣61,62が2つ存在する例で説明するが、可視化対象22の数は1つのみ、あるいは3以上の任意の数でも良い。以後の例でも同様である。第一画像取得ステップは、画像取得部43により実行される。
第二画像取得ステップは、照射光を可視化対象22に照射していないときに撮像した第二画像70を取得するステップである。照明光の非照射時に撮像しているため、第二画像70には、食物残渣61,62からの蛍光はない。第二画像取得ステップは、画像取得部43により実行される。
第三画像取得ステップは、照射光を可視化対象22に照射して撮像した第三画像80を取得するステップである。第三画像80には、可視化対象22の一例として、蛍光を発する食物残渣81,82が撮像されている。食物残渣81,82は、食物残渣61,62とそれぞれ同一物であるが、その位置が変わっていることから符号を変えている。第三画像80は、第一画像60の撮像から所定時間(t/2、例えば、t/2=50msec)を2回経て撮像された画像である。このため、第三画像80中の食物残渣81,82は、第一画像60中の食物残渣61,62の位置から移動している。第三画像取得ステップは、画像取得部43により実行される。
コントラスト伸長ステップは、第一画像60と第三画像80に対してコントラストを明確につける処理を行うステップである。これによって、両画像60,80は、それらの中の食物残渣61,62,81,82が各背景に対してコントラストを伸長させた状態の画像となる。コントラスト伸長ステップは、コントラスト伸長部44により実行される。
可視化対象有無判別ステップは、コンストラスト伸長ステップの処理がなされた後の第一伸長処理画像65中および第三伸長処理画像85中に上述の変化量の計算対象となる可視化対象22(食物残渣61,62,81,82)が存在するか否かを判別する。この判別の結果、存在しない場合には、以後の画像処理を行うことができないので、S11にステップをすすめる。ただし、一部の食物残渣(例えば、食物残渣62)が存在しなくとも、変化量計算ステップ以降のステップを実施できるので、その場合には、S11に進めても良い。一方、食物残渣61,62,81,82が存在する場合には、次のステップ(S6)に移行する。可視化対象有無判別ステップの判別処理は、可視化対象有無判別部50によって実行され、可視化対象有無判別ステップの判別の結果、次のステップに進めるよう指示を出すのは、計算指示部51により実行される。
変化量計算ステップは、2つの伸長処理画像(第一伸長処理画像65および第三伸長処理画像85)間の撮像領域86内における二次元直交座標系上の移動量(a,b)を抽出するステップである。移動量aは、食物残渣61,62から食物残渣81,82に向かうベクトルV2(図4を参照)の×軸方向の移動量である。移動量bは、同ベクトルV2のY軸方向の移動量である。ベクトルV2は、第三伸長処理画像85のある点から第一伸長処理画像65におけるその点に対応する点に至るベクトルV1と同じ大きさで逆方向のベクトルである。第三伸長処理画像85の座標軸83は、第一伸長処理画像65の座標軸63からベクトルV2の方向にその大きさだけ移動している。変化量計算ステップは、変化量計算部45により実行される。
変化画像生成ステップは、第二画像70の画素全体を、撮像領域内の二次元直交座標系上において、(a/2,b/2)だけ平行移動するステップである。これは、時系列的に第一画像60と第三画像80の中間の位置にある第二画像70を上述の移動量(a,b)の1/2ずつ移動すれば、第三画像80のバックグラウンドとして使用できるという思想に基づく。具体的には、前述のベクトルV2を1/2の長さとするベクトルV3の方向に、第二画像70をV3の長さ分だけ移動して変化画像を生成する。この結果、座標軸73は座標軸83に重なる位置に来る(図4を参照)。変化画像生成ステップは、変化画像生成部46により実行される。
差分画像取得ステップは、第三画像80と変化画像生成ステップによって移動した後の画像との差分画像87を取得するステップである。これは、蛍光可視化は、蛍光部分とそのバックグラウンド画像との差分を利用して行う必要があるからである。静止している食物残渣61,62を撮像する場合であれば、照明部20の非消灯時と消灯時に撮像される画像は同じバックグラウンドを有することから、蛍光可視化の際に、非消灯時の画像をそのまま利用して差分画像を形成すれば良い。しかし、食物残渣61,62が移動している場合には、非消灯時に撮像された第二画像70を、第三画像80との差分をとる画像としてそのまま利用できない。第三画像80のバックグラウンドと第二画像70は同一画像ではないからである。そこで、この実施形態では、第二画像70を移動して第三画像80のバックグラウンドとみなせるような処理を行ってから、差分画像87を形成している。差分画像取得ステップは、差分画像取得部47により実行される。
明度伸長ステップは、差分画像87に対して明度を伸長する処理を行うステップである。これは、蛍光可視化を実行あらしめるための処理である。明度伸長ステップは、明度伸長部48により実行される。
明度伸長画像表示ステップは、明度伸長画像88を表示部12に表示させるステップである。明度伸長画像表示ステップは、入出力部制御部53により実行される。
終了判別ステップは、画像処理を継続するか否かを判別するステップである。全ての画像に対して処理を終了した場合には、一連の画像処理は終了する。一方、未だ画像処理すべき画像が存在する場合には、S12に移行する。
繰返実行指示ステップは、終了判別の結果、未だ画像処理を継続すべきと判断された際に、S2に戻って、照明部20の非消灯時の画像(第四画像)、照明部20の消灯時の画像(第五画像)の各取得ステップへと移行させるステップである。終了判別ステップおよび繰返実行指示ステップは、繰返実行指示部49によって実行される。
次に、可視化対象22である食物残渣61,62が二次元座標系内を回転移動する場合における蛍光可視化方法の一例を図5および図6に基づき詳述する。この例では、蛍光可視化方法は、第三画像80aの撮像から所定時間後であって、照明光の非照射時に撮像部21により可視化対象22を撮像した第四画像90aを取得する第四画像取得ステップと、第四画像90aの撮像から所定時間後であって、可視化対象22に再び照明光を照射した際に撮像部21により可視化対象22を撮像した第五画像100aを取得する第五画像取得ステップと、をさらに含む。また、変化量計算ステップは、第一画像60a、第三画像80aおよび第五画像100aの二次元直交座標系上における可視化対象22の点を含む円軌道を求め、その円軌道の中心にある特定点(原点Oともいう)を中心とした可視化対象22の回転角度(θ)を計算するステップである。また、変化画像生成ステップは、時系列で連続して撮像された3つの画像(第一画像60a、第二画像70aおよび第三画像80a)の内、照明光の非照射時に撮像した第二画像70a中の画素を先に求めた回転角度(θ)の2分の1だけ回転して変化画像を生成するステップである。なお、図5および図6に基づく説明は、可視化対象22が回転し、撮像部21が停止している状況での画像処理の説明であるが、可視化対象22が停止し、撮像部21が回転している状況、あるいは可視化対象22および撮像部21がともに回転していて、その回転速度の差によって相対的に可視化対象22が回転しているように見える状況であっても良い。
第一画像取得ステップは、照射光を可視化対象22に照射して撮像した第一画像60aを取得するステップである。第一画像60aには、説明の簡易化を目的として、可視化対象22の一例として、蛍光を発する食物残渣61のみが撮像されているものとする。第一画像取得ステップは、画像取得部43により実行される。
第二画像取得ステップは、照射光を可視化対象22に照射していないときに撮像した第二画像70aを取得するステップである。照明光の非照射時に撮像しているため、第二画像70aには、食物残渣61からの蛍光はない。第二画像取得ステップは、画像取得部43により実行される。
第三画像取得ステップは、照射光を可視化対象22に照射して撮像した第三画像80aを取得するステップである。第三画像80aには、可視化対象22の一例として、蛍光を発する食物残渣81のみが撮像されている。食物残渣81は、食物残渣61と同一物であるが、その位置が変わっていることから符号を変えている。第三画像80aは、第一画像60aの撮像から所定時間(t/2、例えば、t/2=50msec)を2回経て撮像された画像である。このため、第三画像80a中の食物残渣81は、第一画像60a中の食物残渣61の位置から移動している。第三画像取得ステップは、画像取得部43により実行される。
第四画像取得ステップは、照射光を可視化対象22に照射していないときに撮像した第四画像90aを取得するステップである。照明光の非照射時に撮像しているため、第四画像90aには、食物残渣61からの蛍光はない。第四画像取得ステップは、画像取得部43により実行される。
第五画像取得ステップは、照射光を可視化対象22に照射して撮像した第五画像100aを取得するステップである。第五画像100aには、可視化対象22の一例として、蛍光を発する食物残渣101のみが撮像されている。食物残渣101は、食物残渣61,81と同一物であるが、その位置が変わっていることから符号を変えている。第五画像100aは、第三画像80aの撮像から所定時間(t/2、例えば、t/2=50msec)を2回経て撮像された画像である。このため、第五画像100a中の食物残渣101は、第三画像80a中の食物残渣81の位置から移動している。第五画像取得ステップは、画像取得部43により実行される。このステップは、第四画像取得ステップと同様、食物残渣61から食物残渣81までの円弧状の軌道を特定するために行っている。食物残渣61,81,101の3つの位置が決まれば、それらを軌道上に有する円(半径r、図6を参照)が特定できるからである。円が特定できれば、食物残渣61から食物残渣81に至る回転角度θ(食物残渣81から食物残渣101に至る回転角度も同じ)が一義的に求められる。回転角度θが決まれば、第二画像70aをその1/2だけ回転させると、第三画像80aとの差分をとるための変化画像が得られる。このような技術的思想から、画像取得部43は、第一画像60a、第二画像70a、第三画像80aのみならず、第四画像90aと第五画像100aとを取得している。
コントラスト伸長ステップは、第一画像60aと第三画像80aに対してコントラストを明確につける処理を行うステップである。これによって、両画像60a,80aは、それらの中の食物残渣61,81が各背景に対してコントラストを伸長させた状態の画像となる。コントラスト伸長ステップは、コントラスト伸長部44により実行される。
可視化対象有無判別ステップは、コンストラスト伸長ステップの処理がなされた後の第一伸長処理画像中および第三伸長処理画像中に上述の変化量の計算対象となる可視化対象22(食物残渣61,81)が存在するか否かを判別する。この判別の結果、存在しない場合には、以後の画像処理を行うことができないので、S33にステップをすすめる。一方、食物残渣61,81が存在する場合には、次のステップ(S28)に移行する。可視化対象有無判別ステップの判別処理は、可視化対象有無判別部50によって実行され、可視化対象有無判別ステップの判別の結果、次のステップに進めるよう指示を出すのは、計算指示部51により実行される。
変化量計算ステップは、2つの伸長処理画像(第一伸長処理画像および第三伸長処理画像)間の撮像領域内における二次元直交座標系上の回転角度(θ)を計算するステップである。具体的には、食物残渣61,81,101の3点を含む円を求め、食物残渣61から食物残渣81に至るまでの回転角度(θ)を求める。変化量計算ステップは、変化量計算部45により実行される。
変化画像生成ステップは、第二画像70aの画素全体を、撮像領域内の二次元直交座標系上において、(θ/2)だけ回転させるステップである。これは、時系列的に第一画像60aと第三画像80aの中間の位置にある第二画像70aを上述の回転角度(θ)の1/2の角度で回転させると、第三画像80aのバックグラウンドとして使用できるという思想に基づく。変化画像生成ステップは、変化画像生成部46により実行される。
差分画像取得ステップは、第三画像80aと変化画像生成ステップによって得られた変化画像との差分画像を取得するステップである。差分画像取得ステップは、差分画像取得部47により実行される。
時系列で連続して撮影された3つの画像の内、照明光の非照明時に撮像した第二画像中の画素を、照明光の照明時に撮像した第一画像および第三画像から得られる三次元座標系上の移動量、拡大若しくは縮小、または変形を補正して変化画像を生成し、その変形画像を利用して差分画像を取得しても良い。
次に、本発明の変形例を説明する。
この実施形態に係るコンピュータプログラムは、可視化対象22に照明光を照射して、その可視化対象22からの蛍光を検出して可視化する蛍光可視化装置1にインストールされ実行可能なコンピュータプログラムである。そのコンピュータプログラムは、上記照明部20と、上記照明動作制御部41と、上記撮像部21と、撮像動作制御部42と、画像記憶部31と、情報記憶部32とを備える蛍光可視化装置1を、上記画像取得部43、上記コントラスト伸長部44、上記変化量計算部45、上記変化画像生成部46、差分画像取得部47、明度伸長部48、および繰返実行指示部49として機能させ、撮像部21と相対的に動く可視化対象22を蛍光可視化させるコンピュータプログラムである。
例えば、この実施形態における情報記録媒体32は、コンピュータ内のプロセッサの処理を通じて、
照明手段により可視化対象に照明光を照射した際に撮像手段により可視化対象を撮像した第一画像を取得する第一画像取得ステップと、第一画像の撮像から所定時間後であって、照明光の非照射時に撮像手段により可視化対象を撮像した第二画像を取得する第二画像取得ステップと、
第二画像の撮像から所定時間後であって、照明手段により可視化対象に再び照明光を照射した際に撮像手段により可視化対象を撮像した第三画像を取得する第三画像取得ステップと、
第一画像および第三画像に対してコントラスト伸長処理を施すコントラスト伸長ステップと、
コントラスト伸長ステップにより第一画像および第三画像からそれぞれ生成された第一伸長処理画像および第三伸長処理画像の間の撮像領域内における二次元直交座標系上若しくは三次元直交座標系上の可視化対象の変化量を計算する変化量計算ステップと、
第二画像を、その変化量に基づいて第三画像の位置および大きさの内の少なくとも1つに至るように変化させて変化画像を生成する変化画像生成ステップと、
第三画像と変化画像との差分画像を取得する差分画像取得ステップと、
差分画像に対して明度伸長処理を行って明度伸長処理画像を生成する明度伸長ステップと、
時系列をずらして、第三画像以降の画像を取得する第二画像取得ステップと同様のステップ、コントラスト伸長ステップ、変化量計算ステップ、変化画像生成ステップ、差分画像取得ステップおよび明度伸長ステップを実行させるように指示を出す繰返実行指示ステップと、
を実行して、撮像手段と相対的に動く可視化対象を蛍光可視化させることのできるコンピュータプログラムを格納する非一過性の記録媒体である。
第三画像の撮像から所定時間後であって、照明光の非照射時に撮像手段により可視化対象を撮像した第四画像を取得する第四画像取得ステップと、
第四画像の撮像から所定時間後であって、照明手段により可視化対象に再び照明光を照射した際に撮像手段により可視化対象を撮像した第五画像を取得する第五画像取得ステップと、
をさらに実行し、
変化量計算ステップを、第一画像、第三画像および第五画像の二次元直交座標系上における可視化対象の座標を含む円軌道上を移動する可視化対象の回転角度を計算するステップとし、
変化画像生成ステップを、第二画像中の画素を上述の回転角度の2分の1だけ回転して変化画像を生成するステップとしたコンピュータプログラムを格納する非一過性の記録媒体であっても良い。
明度伸長処理画像を表示する画像表示領域において、その画像表示領域内を複数に分割した分割領域の内、所定の閾値を超える蛍光画素数が存在する分割領域を明示する分割領域明示ステップを実行するコンピュータプログラムを格納する非一過性の記録媒体であっても良い。
Claims (12)
- 可視化対象に照明光を照射して、その可視化対象からの蛍光を検出して可視化する蛍光可視化装置であって、
前記可視化対象に照明光を照射する照明手段と、
所定時間間隔で前記照明手段の点灯と消灯とを繰り返す動作を制御する照明動作制御手段と、
前記蛍光を検出可能であって、前記照明手段からの前記照明光の照射時および非照射時に前記可視化対象を撮像して複数の画像を取得する撮像手段と、
前記撮像手段の撮像動作を制御して所定時間間隔で撮像可能とする撮像動作制御手段と、
撮像された前記画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像であって時系列で連続して撮像された3つの前記画像の内、前記照明光を照射した際に撮像した第一画像および第三画像に対してコントラスト伸長処理を施すコントラスト伸長手段と、
前記コントラスト伸長手段により前記第一画像および前記第三画像からそれぞれ生成された第一伸長処理画像および第三伸長処理画像の間の撮像領域内における二次元直交座標系上若しくは三次元直交座標系上の前記可視化対象の変化量を計算する変化量計算手段と、
前記時系列で連続して撮像された3つの前記画像の内、前記照明光の非照射時に撮像した第二画像を、前記変化量に基づき前記第三画像の位置および大きさの内の少なくとも1つに至るように変化させて変化画像を生成する変化画像生成手段と、
前記第三画像と前記変化画像との差分画像を取得する差分画像取得手段と、
前記差分画像に対して明度伸長処理を行って明度伸長処理画像を生成する明度伸長手段と、
時系列をずらして、前記第三画像以降の前記画像を取得する前記画像取得手段、前記コントラスト伸長手段、前記変化量計算手段、前記変化画像生成手段、前記差分画像取得手段および前記明度伸長手段を実行させるように指示を出す繰返実行指示手段と、
前記画像、前記第一伸長処理画像、前記第三伸長処理画像、前記変化画像および前記差分画像を記憶する記憶手段と、
を備え
前記撮像手段と相対的に動く前記可視化対象を蛍光可視化させる蛍光可視化装置。 - 前記変化量計算手段は、前記二次元直交座標系上の前記可視化対象の移動量を計算する手段であって、
前記変化画像生成手段は、前記時系列で連続して撮像された3つの前記画像の内、前記第二画像中の画素を前記移動量の2分の1だけ移動して前記変化画像を生成する、請求項1に記載の蛍光可視化装置。 - 前記変化量計算手段は、前記二次元直交座標系上における特定点を中心とした前記可視化対象の回転角度を計算する手段であって、
前記変化画像生成手段は、前記時系列で連続して撮像された3つの前記画像の内、前記第二画像中の画素を前記回転角度の2分の1だけ回転して前記変化画像を生成する、請求項1に記載の蛍光可視化装置。 - 前記明度伸長処理画像を表示する画像表示領域において、その画像表示領域内を複数に分割した分割領域の内、所定の閾値を超える蛍光画素数が存在する前記分割領域を明示する分割領域明示手段を、さらに備える請求項1から請求項3のいずれか1項に記載の蛍光可視化装置。
- 可視化対象に照明光を照射して、その可視化対象からの蛍光を検出して可視化する蛍光可視化方法であって、
照明手段により前記可視化対象に照明光を照射した際に撮像手段により前記可視化対象を撮像した第一画像を取得する第一画像取得ステップと、
前記第一画像の撮像から所定時間後であって、前記照明光の非照射時に前記撮像手段により前記可視化対象を撮像した第二画像を取得する第二画像取得ステップと、
前記第二画像の撮像から前記所定時間後であって、前記照明手段により前記可視化対象に再び前記照明光を照射した際に前記撮像手段により前記可視化対象を撮像した第三画像を取得する第三画像取得ステップと、
前記第一画像および前記第三画像に対してコントラスト伸長処理を施すコントラスト伸長ステップと、
前記コントラスト伸長ステップにより前記第一画像および前記第三画像からそれぞれ生成された第一伸長処理画像および第三伸長処理画像の間の撮像領域内における二次元直交座標系上若しくは三次元直交座標系上の前記可視化対象の変化量を計算する変化量計算ステップと、
前記第二画像を、前記変化量に基づき前記第三画像の位置および大きさの内の少なくとも1つに至るように変化させて変化画像を生成する変化画像生成ステップと、
前記第三画像と前記変化画像との差分画像を取得する差分画像取得ステップと、
前記差分画像に対して明度伸長処理を行って明度伸長処理画像を生成する明度伸長ステップと、
時系列をずらして、前記第三画像以降の前記画像を取得する前記第二画像取得ステップと同様のステップ、前記コントラスト伸長ステップ、前記変化量計算ステップ、前記変化画像生成ステップ、前記差分画像取得ステップおよび前記明度伸長ステップを実行させるように指示を出す繰返実行指示ステップと、
を含み、
前記撮像手段と相対的に動く前記可視化対象を蛍光可視化させる蛍光可視化方法。 - 前記変化量計算ステップは、前記二次元直交座標系上の前記可視化対象の移動量を計算するステップであって、
前記変化画像生成ステップは、前記第二画像中の画素を前記移動量の2分の1だけ移動して前記変化画像を生成する、請求項5に記載の蛍光可視化方法。 - 前記第三画像の撮像から所定時間後であって、前記照明光の非照射時に前記撮像手段により前記可視化対象を撮像した第四画像を取得する第四画像取得ステップと、
前記第四画像の撮像から前記所定時間後であって、前記照明手段により前記可視化対象に再び前記照明光を照射した際に前記撮像手段により前記可視化対象を撮像した第五画像を取得する第五画像取得ステップと、
をさらに含み、
前記変化量計算ステップは、前記第一画像、前記第三画像および前記第五画像の前記二次元直交座標系上における前記可視化対象の座標を含む円軌道を求め、その円軌道上を移動する前記可視化対象の回転角度を計算するステップであり、
前記変化画像生成ステップは、前記第二画像中の画素を前記回転角度の2分の1だけ回転して前記変化画像を生成する、請求項5に記載の蛍光可視化方法。 - 前記明度伸長処理画像を表示する画像表示領域において、その画像表示領域内を複数に分割した分割領域の内、所定の閾値を超える蛍光画素数が存在する前記分割領域を明示する分割領域明示ステップを、さらに含む請求項5から請求項7のいずれか1項に記載の蛍光可視化方法。
- 可視化対象に照明光を照射して、その可視化対象からの蛍光を検出して可視化する蛍光可視化装置にインストールされ実行可能なコンピュータプログラムであって、
そのコンピュータプログラムは、
前記可視化対象に照明光を照射する照明手段と、
所定時間間隔で前記照明手段の点灯と消灯とを繰り返す動作を制御する照明動作制御手段と、
前記蛍光を検出可能であって、前記照明手段からの前記照明光の照射時および非照射時に前記可視化対象を撮像して複数の画像を取得する撮像手段と、
前記撮像手段の撮像動作を制御して所定時間間隔で撮像可能とする撮像動作制御手段と、
記憶手段と、
を備える前記蛍光可視化装置を、
撮像された前記画像を取得する画像取得手段、
前記画像取得手段により取得された前記画像であって時系列で連続して撮像された3つの前記画像の内、前記照明光を照射した際に撮像した第一画像および第三画像に対してコントラスト伸長処理を施すコントラスト伸長手段、
前記コントラスト伸長手段により前記第一画像および前記第三画像からそれぞれ生成された第一伸長処理画像および第三伸長処理画像の間の撮像領域内における二次元直交座標系上若しくは三次元直交座標系上の前記可視化対象の変化量を計算する変化量計算手段、
前記時系列で連続して撮像された3つの前記画像の内、前記照明光の非照射時に撮像した第二画像を、前記変化量に基づき前記第三画像の位置および大きさの内の少なくともいずれか1つに至るように変化させて変化画像を生成する変化画像生成手段、
前記第三画像と前記変化画像との差分画像を取得する差分画像取得手段、
前記差分画像に対して明度伸長処理を行って明度伸長処理画像を生成する明度伸長手段、および
時系列をずらして、前記第三画像以降の前記画像を取得する前記画像取得手段、前記コントラスト伸長手段、前記変化量計算手段、前記変化画像生成手段、前記差分画像取得手段および前記明度伸長手段を実行させるように指示を出す繰返実行指示手段、
として機能させ、前記撮像手段と相対的に動く前記可視化対象を蛍光可視化させるコンピュータプログラム。 - 前記変化量計算手段は、前記二次元直交座標系上の前記可視化対象の移動量を計算する手段であって、
前記変化画像生成手段は、前記時系列で連続して撮像された3つの前記画像の内、前記第二画像中の画素を前記移動量の2分の1だけ移動して前記変化画像を生成する、請求項9に記載のコンピュータプログラム。 - 前記変化量計算手段は、前記二次元直交座標系上における特定点を中心とした前記可視化対象の回転角度を計算する手段であって、
前記変化画像生成手段は、前記時系列で連続して撮像された3つの前記画像の内、前記第二画像中の画素を前記回転角度の2分の1だけ回転して前記変化画像を生成する、請求項9に記載のコンピュータプログラム。 - 前記蛍光可視化装置を、
前記明度伸長処理画像を表示する画像表示領域において、その画像表示領域内を複数に分割した分割領域の内、所定の閾値を超える蛍光画素数が存在する前記分割領域を明示する分割領域明示手段としてさらに機能させる請求項9から請求項11のいずれか1項に記載のコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015160806 | 2015-08-18 | ||
JP2015160806 | 2015-08-18 | ||
PCT/JP2016/072618 WO2017029980A1 (ja) | 2015-08-18 | 2016-08-02 | 蛍光可視化装置、蛍光可視化方法ならびにコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017029980A1 true JPWO2017029980A1 (ja) | 2018-05-31 |
JP6556848B2 JP6556848B2 (ja) | 2019-08-07 |
Family
ID=58052160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017535321A Active JP6556848B2 (ja) | 2015-08-18 | 2016-08-02 | 蛍光可視化装置、蛍光可視化方法ならびにコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6556848B2 (ja) |
WO (1) | WO2017029980A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7098111B2 (ja) * | 2018-06-12 | 2022-07-11 | 国立大学法人東海国立大学機構 | 表面検査装置および表面検査方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5821146A (ja) * | 1981-07-30 | 1983-02-07 | Kirin Brewery Co Ltd | 欠陥検査方法および装置 |
US20030138875A1 (en) * | 2002-01-22 | 2003-07-24 | Powers Linda S. | Method and apparatus for detecting the presence of microbes and determining their physiological status |
JP2007010647A (ja) * | 2005-06-02 | 2007-01-18 | Miyazaki Tlo:Kk | 異物検出方法 |
JP2009115613A (ja) * | 2007-11-06 | 2009-05-28 | Hitachi High-Tech Control Systems Corp | 異物検査装置 |
JP2011033612A (ja) * | 2009-07-10 | 2011-02-17 | Nireco Corp | 農産物検査装置 |
JP2012047502A (ja) * | 2010-08-24 | 2012-03-08 | Ebara Jitsugyo Co Ltd | 分光画像取得装置及び方法 |
JP2014009969A (ja) * | 2012-06-27 | 2014-01-20 | Sumitomo Metal Mining Co Ltd | 画像処理装置、画像処理方法、及び露光パターン検査装置 |
JP2015102438A (ja) * | 2013-11-26 | 2015-06-04 | 株式会社 ゼンショーホールディングス | 食物検査装置及び食物検査システム |
-
2016
- 2016-08-02 WO PCT/JP2016/072618 patent/WO2017029980A1/ja active Application Filing
- 2016-08-02 JP JP2017535321A patent/JP6556848B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5821146A (ja) * | 1981-07-30 | 1983-02-07 | Kirin Brewery Co Ltd | 欠陥検査方法および装置 |
US4454542A (en) * | 1981-07-30 | 1984-06-12 | Kirin Beer Kabushiki Kaisha | Defect detecting method and apparatus |
US20030138875A1 (en) * | 2002-01-22 | 2003-07-24 | Powers Linda S. | Method and apparatus for detecting the presence of microbes and determining their physiological status |
JP2003210193A (ja) * | 2002-01-22 | 2003-07-29 | Microbiosystems Lp | 微生物の存在の検出及びその生理学的状態の決定のための方法及び装置 |
JP2007010647A (ja) * | 2005-06-02 | 2007-01-18 | Miyazaki Tlo:Kk | 異物検出方法 |
JP2009115613A (ja) * | 2007-11-06 | 2009-05-28 | Hitachi High-Tech Control Systems Corp | 異物検査装置 |
JP2011033612A (ja) * | 2009-07-10 | 2011-02-17 | Nireco Corp | 農産物検査装置 |
JP2012047502A (ja) * | 2010-08-24 | 2012-03-08 | Ebara Jitsugyo Co Ltd | 分光画像取得装置及び方法 |
JP2014009969A (ja) * | 2012-06-27 | 2014-01-20 | Sumitomo Metal Mining Co Ltd | 画像処理装置、画像処理方法、及び露光パターン検査装置 |
JP2015102438A (ja) * | 2013-11-26 | 2015-06-04 | 株式会社 ゼンショーホールディングス | 食物検査装置及び食物検査システム |
Also Published As
Publication number | Publication date |
---|---|
JP6556848B2 (ja) | 2019-08-07 |
WO2017029980A1 (ja) | 2017-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4676021B2 (ja) | 診断支援装置、診断支援プログラムおよび診断支援方法 | |
US20120099172A1 (en) | Microscope system | |
JP2018066740A5 (ja) | ||
US20190387962A1 (en) | Endoscope insertion shape observation apparatus and display method for endoscope insertion shape observation apparatus | |
JP2011027997A (ja) | 内視鏡装置、計測方法、およびプログラム | |
JP2007244518A (ja) | 画像解析装置及び画像解析方法 | |
JP2011212203A5 (ja) | ||
US11426052B2 (en) | Endoscopic system | |
JP5025146B2 (ja) | 超音波診断装置及びそのプログラム | |
JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
WO2020039968A1 (ja) | 医療画像処理システム | |
KR20150049585A (ko) | 용종 검출 장치 및 그 동작방법 | |
JP2020039876A (ja) | 超音波検査方法、超音波検査システム及び関連装置 | |
JP6956853B2 (ja) | 診断支援装置、診断支援プログラム、及び、診断支援方法 | |
JP2018112479A (ja) | 外観検査システム | |
US20220265228A1 (en) | Radiation imaging system, radiation imaging method, image processing apparatus, and storage medium | |
JP2018114203A (ja) | X線透視撮影装置 | |
JP6556848B2 (ja) | 蛍光可視化装置、蛍光可視化方法ならびにコンピュータプログラム | |
JP2005218584A5 (ja) | ||
US20200311917A1 (en) | Medical image processing device, medical observation system, image processing method, and computer readable recording medium | |
JP2020086293A (ja) | 拡大観察装置 | |
JP2020106772A (ja) | 表示装置、表示方法、およびプログラム | |
JP2019015541A (ja) | レンズ測定装置 | |
US11050931B2 (en) | Control device and control method | |
WO2022107492A1 (ja) | プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180620 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6556848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |