JP7436270B2 - 生体検体解析装置 - Google Patents
生体検体解析装置 Download PDFInfo
- Publication number
- JP7436270B2 JP7436270B2 JP2020070213A JP2020070213A JP7436270B2 JP 7436270 B2 JP7436270 B2 JP 7436270B2 JP 2020070213 A JP2020070213 A JP 2020070213A JP 2020070213 A JP2020070213 A JP 2020070213A JP 7436270 B2 JP7436270 B2 JP 7436270B2
- Authority
- JP
- Japan
- Prior art keywords
- biological sample
- sample tube
- label
- processor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 110
- 239000012472 biological sample Substances 0.000 claims description 198
- 238000001514 detection method Methods 0.000 claims description 137
- 238000000034 method Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 52
- 230000007246 mechanism Effects 0.000 claims description 41
- 238000010586 diagram Methods 0.000 claims description 39
- 239000000523 sample Substances 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 63
- 238000000605 extraction Methods 0.000 description 38
- 230000015572 biosynthetic process Effects 0.000 description 33
- 238000003786 synthesis reaction Methods 0.000 description 33
- 210000002966 serum Anatomy 0.000 description 24
- 238000009826 distribution Methods 0.000 description 16
- 238000005520 cutting process Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 239000007788 liquid Substances 0.000 description 9
- 210000004369 blood Anatomy 0.000 description 8
- 239000008280 blood Substances 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000012742 biochemical analysis Methods 0.000 description 5
- 206010018910 Haemolysis Diseases 0.000 description 4
- 206010023126 Jaundice Diseases 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 210000001268 chyle Anatomy 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000008588 hemolysis Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N21/03—Cuvette constructions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Geometry (AREA)
Description
<生体検体解析装置の装置構成>
図1は、本開示の実施形態1に係る生体検体解析装置100の概略構成例を示す図である。生体検体解析装置100は、固定カメラ101、背景版102、光源103aおよび103b、光源用ドライバ104аおよび104b、生体試料管ホルダ105、コントローラ106、メモリ107、記憶装置108、入出力インターフェース109、データバス110、把持機構111、移動機構112、上下制御ドライバ113、生体試料管回転機構114、回転制御ドライバ115、を備えている。
図2は、メモリ107あるいは記憶装置108に格納されたプログラムがコントローラ(プロセッサ)106内で展開され実現される概略機能を示す図である。図2に示されるように、コントローラ106は、ソフトウェア的に実現される機能として、画像処理部201と領域設定部202と生体試料管情報取得部203を備える。
図3は、画像処理部201の内部構成例を示す図である。図3に示されるように、画像処理部201は、領域切り出し部301、展開図合成部302、検出対象領域抽出部303、解析部304、を含んでいる。各処理部の動作の詳細については後述するが、簡単に説明すると、それぞれ以下のような処理を実行する。
図4は、本実施形態による生体検体解析装置100が実行する生体検体分析処理の概要を説明するためのフローチャートである。以下の説明において、各ステップの動作主体を、対応する各処理部としているが、各処理部はメモリ107あるいは記憶装置108に格納されたプログラムによって実現されているので、当該プログラムの実行主体であるコントローラ106を各ステップの動作主体として説明を読み替えてもよい。
画像処理部201は、固定カメラ101によって撮像された生体試料管116の複数の2次元カラー画像を取得する。
生体試料管116の撮像方法について説明する。2次元のカラー画像から検出対象領域117の色と量を解析するためには、ラベルが貼付された生体試料管116のうち、検出対象領域117が露出している領域の2次元カラー画像が必要である。後述する展開図合成部302による展開図生成処理を実施するためには、生体試料管116を回転させながら取得する複数枚の2次元カラー画像が必要である。そこで、コントローラ106の指令に基づいて生体試料管回転機構114および回転制御ドライバ115が生体試料管116の回転を制御することにより、生体試料管116を回転させながら複数枚の2次元カラー画像を撮像する。例えば、生体試料管回転機構114は、生体試料管116を回転させ、回転制御ドライバ115によって回転の速度または加速度、回転角度、回転数、および回転開始のタイミングを制御する。以上によって、生体試料管116の全周囲の情報をもつ複数枚の画像を取得することができる。
把持機構111によって把持される生体試料管116の向きが揃うようにユーザ(オペレータ)が生体試料管116を生体検体解析装置100へ投入する場合には、生体試料管116の全周囲を撮像する必要はなく、生体試料管116を回転させながら検出対象領域117の領域が撮像された2次元カラー画像を複数枚取得できればよい。
一方で、把持機構111によって把持される生体試料管116の向きをユーザ(オペレータ)が揃えることなく生体試料管116を生体検体解析装置に投入する場合には、生体試料管116の全周囲の情報が取得できるように生体試料管116を回転させながら複数枚の2次元カラー画像を取得することにより、確実に検出対象領域117の撮像画像を取得できる。例えば、10度回転させるごとに固定カメラ101で画像を取得することを繰り返して36枚(36フレーム)の画像を取得すれば、生体試料管116の全周囲の情報を取得できる。
回転角度および回転の速度または加速度は一定で無くてもよく、例えば、1フレームと2フレームとの間は低速度から加速させ、31フレームと32フレームとの間は減速させるなどして計32枚のフレームで生体試料管116の全周を撮像してもよい。また、回転制御信号に基づきカメラのシャッタースピードや撮像タイミングを変えてもよい。
画像処理部201は、領域切り出し部301と展開図合成部302における各画像処理を実行し、S401で取得した2次元カラー画像をもとに1枚の展開図を作成する。本ステップの詳細については後述の図5で説明する。
画像処理部201は、検出対象領域抽出部303と解析部304の処理を実行し、S402で取得した展開図から検出対象領域117を抽出し(詳細については後述する)、検出対象領域117で取得する検出対象の色と量などの情報を取得(演算で求める)する。例えば、メモリ107あるいは記憶装置108に生体検体の種別に対応する色情報を事前に格納しておき、取得した色情報とメモリ107等にあらかじめ格納している色情報を解析部304が照合することにより、検出対象領域117の色情報から生体試料の種別を判別することができる。例えば、検出対象領域117が血清の場合、血清状態(正常、溶血、黄疸、乳び)によって血清色に特徴がある。そこで、色特徴量と分類に使用する色空間の範囲と閾値をメモリ107に格納し、解析部304で取得した色情報を照合することにより、検体の血清状態を判別することができる。また、検出対象領域117の高さ方向(2次元カラー画像の鉛直方向)の画素数の情報と、生体試料管116の直径の情報から、検出対象の溶液量を算出することができる。生体試料管116の直径は、例えば、ユーザが入出力インターフェース109であるタッチパネルを用いて使用する生体試料管116の型番または生体試料管116の直径などの情報を直接入力するなどによって取得する。
このような検体種別の判別を、例えば生化学分析前に実施することにより、異常血清(溶血、黄疸、乳び)などのように生化学分析の精度に影響がある検体については事前にフラグを立てることが可能になる。また、解析部304において検出対象領域117の溶液量を算出することにより、分析に十分な溶液量が確保できるかを事前に確認することができる。これにより、溶液量が不足する場合には例えば再採血するなどの対応が可能となり、生化学分析の効率を向上する効果がある。
例えば、血清色の黄色や赤色のように、検出対象領域117の色と類似した色付きラベル118が貼付された生体試料管116については、色付きラベル118の色を検出対象として誤抽出し検体種別の誤判別する可能性がある。また、色付きラベル118の領域を検出対象領域117として誤抽出することにより、溶液量を誤算出する可能性がある。そこで、検出対象領域抽出部303において後述の処理によりラベル色と検出対象の色を識別し、色付きラベル118を除去して検出対象領域117のみを抽出することにより、色付きラベル118による誤判別と溶液量の誤算出を回避し、検体種別の判別精度と溶液量の測定精度を向上することができる。
本ステップにおいて、色付きラベル118と検出対象領域117は、例えば以下のような手順で区別できる。生体試料管情報取得部203が実行する後述のラベルキャリブレーション処理によって、使用するラベル色の情報(色相、彩度、明度値の分布および/または閾値)をあらかじめ取得し、メモリ107あるいは記憶装置108に使用するラベル色の情報を格納しておく。S402で取得する展開図からあらかじめ格納しているラベル色の情報をもとに色付きラベル118の領域のみを抽出するマスクを生成することにより、展開図から色付きラベル118の領域のみを除去する。
図5は、図4のS402(展開図合成処理)の詳細内容を説明するためのフローチャートである。以下の説明において、各ステップの動作主体を、対応する各処理部としているが、各処理部はメモリ107あるいは記憶装置108に格納されたプログラムによって実行されているため、当該プログラムの実行主体であるコントローラ(プロセッサ)106を各ステップの動作主体として説明を読み替えてもよい。
領域設定部202は、ユーザによる所定領域(2次元カラー画像の切り出し領域)の設定入力またはメモリ107あるいは記憶装置108に格納してある設定ファイルに応答して、S401で取得した複数の2次元カラー画像のそれぞれに対して所定領域を設定する。ユーザによる設定入力または設定ファイルの記述内容は、例えば、所定領域の幅、高さ、撮像画像内の基準座標値である。本ステップの詳細については図6A~図7を用いて後述する。
領域切り出し部301は、S401で取得する複数の2次元カラー画像それぞれから、S501で設定された所定領域(切り出し領域)を切り出す。
展開図合成部302は、S502で出力する複数の2次元カラー画像の切り出し画像を連結することにより、1枚の展開図を合成する。展開図は、ガウシアンフィルタなどの平滑化フィルタを適用することによって連結部を滑らかにすることができる。
図9は、S403(検体情報解析処理)の詳細内容を説明するためのフローチャートである。以下の説明において、各ステップの動作主体を対応する各処理部としているが、各処理部はメモリ107あるいは記憶装置108に格納されたプログラムによって実現されているため、当該プログラムの実行主体であるコントローラ(プロセッサ)106を各ステップの動作主体として説明を読み替えてもよい。
検出対象領域抽出部303は、S402で出力する展開図から、検体情報の解析に不要なラベル領域を特定する処理を実行する。本ステップの具体的処理については後述する。
検出対象領域抽出部303は、S402における展開図合成処理で出力される展開図から、S901で特定したラベル領域を、検体情報の解析に不要な領域として除去する。検出対象領域抽出部303はさらに、S903以降の処理で解析する水平方向の領域を特定するマスクを生成する。もしくは、展開図から解析に必要な水平方向の領域のみを切り出した画像を生成する処理を実行する。水平方向の領域は、例えばS901で特定したラベル領域の両端の座標を基準に設定する。
検出対象領域抽出部303は、S902で出力する水平方向の領域を特定するマスクまたは、水平方向の領域のみを切り出した画像に対してエッジ検出処理などを実行する。例えば、検体の各領域のエッジを識別することにより、検出対象領域117と分離剤などの領域とを分離し、検出対象領域117を抽出する。
解析部304は、S903の処理で特定する検出対象領域117の色情報と領域(座標および画素数)の情報から、検体状態の判別と液量の算出処理を実施する。例えば、検出対象が血清の場合は、血清状態(正常、溶血、黄疸、乳び)に応じて血清色が変わる特徴があるので、色特徴量と分類に使用する色空間の範囲と閾値をメモリ107に格納し、検出対象領域117で取得した色情報を照合することで、検体の血清状態を判別することができる。また、検出対象領域117の領域(座標および画素数)の情報と生体試料管情報取得部203で取得する生体試料管116の径情報から、検出対象の溶液量を算出する。
S904の検体情報解析処理において、生体試料管116の一枚の撮像画像ではなく展開図から検出対象領域117を抽出することの利点としては、以下が挙げられる:(a)S402における所定領域の設定方法によって、検出対象領域117の色のばらつきを低減し状態の判別精度を向上できる。(b)色付きラベル118が貼付された生体試料管116において、色付きラベル118の除去精度を向上し色付きラベル118による検出対象領域117の誤抽出を回避できる。また、所定領域の設定方法によっては、生体試料管116の撮像画像のうち反射成分など不要な領域を展開図から除去したうえで検出対象領域117の抽出処理を実行できるので、ノイズによる検出対象領域117の誤抽出や検出対象の色の誤解析と誤判別を回避することができる。
図10は、ラベルキャリブレーションの詳細内容を説明するためのフローチャートである。以下の説明において、各ステップの動作主体を、対応する各処理部としているが、各処理部はメモリ107あるいは記憶装置108に格納されたプログラムによって実現されているため、当該プログラムの実行主体であるコントローラ(プロセッサ)106を各ステップの動作主体として説明を読み替えてもよい。
生体試料管情報取得部203は、固定カメラ101によって撮像されたキャリブレータの複数の2次元カラー画像を取得する。画像の取得方法はS401と同様である。
生体試料管情報取得部203は、図4の展開図合成処理と同じ処理を実行し、S1001で取得したキャリブレータの2次元カラー画像をもとに一枚の展開図を作成する。
生体試料管情報取得部203は、S1002で出力する展開図の色分布をもとに色付きラベル118の領域を特定する。
色付きラベル118領域の特定方法としては、色付きラベル118が貼付されていない空の生体試料管116の撮像画像から作成する展開図(リファレンス画像)と、キャリブレータの展開図の色分布とを比較し、両者の色差を色付きラベル118の色として抽出し、展開図から該当する色の領域を色付きラベル領域として特定する方法がある。
入出力インターフェース109などによってユーザがタッチパネルなどで色付きラベル118の色情報を入力し、該当する色をキャリブレータの展開図から抽出する方法もある。例えば、タッチパネルなどの画面に複数色のカラーパレットを表示し、ユーザが色付きラベル118の色を選択する。生体試料管情報取得部203は、事前にメモリ107あるいは記憶装置108などに格納しておくカラーパレットと対応する色閾値の情報を取得し、ユーザが選択したカラーパレットをもとに色付きラベル118の色閾値を設定する。取得した色閾値に該当する色を展開図から抽出し色付きラベル領域として特定する。あるいは、タッチパネルなどの画面にキャリブレータの展開図を表示し、ユーザが直接または画面上のカーソルなどを用いて色付きラベル118の領域を選択し特定してもよい。
生体試料管情報取得部203は、ステップ902で特定した色付きラベル118の領域の色分布を取得し、取得した色情報をもとに色付きラベル118のラベル色を定義する色閾値を設定しメモリ107あるいは記憶装置108などに格納する。
本ステップにおける閾値の設定方法としては、以下のような手順が挙げられる。例えば生体試料管情報取得部203は、ステップ902で特定した色付きラベル118の領域の色分布における色相、彩度、明度などのヒストグラムを取得し、それぞれの最頻値や平均値などを中心として例えば±5%の範囲を閾値として設定することができる。
本実施形態1による生体検体解析装置100は、生体試料管回転機構によって生体試料管を回転させながら生体試料管の2次元カラー画像を取得し、複数の2次元カラー画像から一枚の展開図を合成する処理と、検体情報解析処理を実行する。展開図を合成する処理においては、所定領域設定処理と、2次元カラー画像切り出し処理と、2次元カラー画像切り出し処理と、切り出し画像連結処理を実行し、検体情報解析処理では、ラベル領域特定処理と、水平方向検出位置特定処理と、鉛直方向検出位置特定処理を実行する。このように、複数の2次元カラー画像から合成する展開図をもとにラベル領域を除去し検出対象領域(例えば血清領域)を抽出することにより、色付きラベルと検出対象領域とを高精度に分離して検出対象領域に含まれる液体を解析することが可能となる。
図11は、本開示の実施形態2における展開図合成処理を示すフロー図である。本実施形態2においては、あらかじめ定めた所定領域をもとに撮像画像を切り出すのではなく、撮像画像ごとに撮像画像内の生体試料管116の傾きや画像中心からのずれを検出し、検出したずれを生体試料管116の回転軸とする(S1101)。検出した回転軸を基準として、所定領域を画像ごとに設定する(S1102~S1104)。展開図合成処理以外の構成は実施形態1と同様である。
領域設定部202は、固定カメラ101によって撮像された生体試料管116の2次元カラー画像を取得する。画像の取得方法はS401と同様である。
領域設定部202は、ステップ1301で取得する2次元カラー画像から、解析領域を抽出する。生体試料管116の左右対称性を前提として解析するので、生体試料管116の撮像画像のうち、ラベルが貼付されていない領域を解析領域として抽出する。例えば、遠心分離後の血液検体であれば、生体試料管116の底付近の血餅が撮像された領域を選択する。解析領域サイズは例えば、水平方向幅を生体試料管116の径程度、鉛直方向の幅を50ピクセルなどと設定する。解析領域の設定値は、同じ検体の撮像であれば撮像画像ごとに変える必要はなく固定値でよいが、異なる長さの生体試料管116を測定する場合は、生体試料管116の長さに応じて解析領域を設定する必要がある。その際には、メモリ107あるいは記憶装置108などに複数の設定値を格納しておき、生体試料管情報取得部203で取得する生体試料管116の長さ情報などから設定値を変更できるようにする。
領域設定部202は、2次元カラー画像に設定する解析領域の左右反転画像を取得または生成する。
領域設定部202は、解析領域の画像と反転画像との間のRGB色空間の距離を解析領域の画素ごとに取得する。
領域設定部202は、解析領域の鉛直方向座標ごとに、S1304で取得したRGB色空間の距離を比較し、鉛直方向座標ごとの最小値とその最小値が得られる座標を取得する。
領域設定部202は、S1305で検出した最小値の座標を鉛直方向に連結することにより、解析領域の中心座標として抽出し、抽出した座標をもとに一次回帰直線を設定する。
本実施形態2に係る生体検体解析装置100は、展開図合成処理において、生体試料管回転機構の回転速度情報や、生体試料管の傾きや横ずれの情報をもとに設定した所定領域を切り出して合成する。これにより、検体情報の解析に使用する展開図の合成精度の向上の向上が期待できる。
図14は、本開示の実施形態3における展開図合成処理を示すフロー図である。本実施形態3は、展開図合成処理において、切り出した2次元カラー画像に対して曲率補正処理を実行後に画像を連結し展開図を出力する。曲率補正処理を実行することにより、例えば、図8のように所定領域の基準座標を生体試料管116の中心からずらした場合などにおいて、合成後の展開図の歪みを低減する効果がある。また、図8の例のように生体試料管116の中心領域に反射領域などのノイズがある場合にも、所定領域をずらして歪みのない展開図を取得可能になるので、検出対象領域117の解析精度を向上する効果がある。展開図合成処理以外の構成は実施形態1と同様である。
図16は、本開示の実施形態4におけるS403の詳細処理を示すフロー図である。実施形態1のS403においては、検出対象領域117の色と領域のサイズの情報から検出対象の状態判別と液量測定をすることを説明した。本実施形態4においては、検出したラベルや色付きラベル118の情報から被験者や検体などの検査情報を取得する。その他の構成は実施形態1と同様である。
本開示は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
101 固定カメラ
102 背景版
103aおよび103b 光源
104aおよび104b 光源用ドライバ
105 生体試料管ホルダ
106 コントローラ
107 メモリ
108 記憶装置
109 入出力インターフェース
110 データバス
111 把持機構
112 移動機構
113 上下制御ドライバ
114 生体試料管回転機構
115 回転制御ドライバ
116 生体試料管
117 検出対象領域
118 色付きラベル
201 画像処理部
202 領域設定部
203 生体試料管情報取得部
301 領域切り出し部
302 展開図合成部
303 検出対象領域抽出部
304 解析部
Claims (13)
- ラベルが貼付された生体試料管に収容された生体検体を分析する生体検体解析装置であって、
前記生体試料管を把持して回転させる回転機構、
前記生体試料管を撮像することにより2次元カラー画像を取得するカメラ、
前記2次元カラー画像を処理するプロセッサ、
を備え、
前記プロセッサは、前記2次元カラー画像のなかの部分領域を切り出し、
前記プロセッサは、前記切り出した部分領域の画像を、前記生体試料管の周方向に沿って連結することにより、前記生体試料管の展開図を合成し、
前記プロセッサは、前記2次元カラー画像のうち検出対象とする検出対象領域を、前記展開図から抽出し、
前記プロセッサは、前記2次元カラー画像のうち、前記生体試料管の周方向に沿った明度値の変動が所定範囲内に収まっている部位を、前記部分領域として切り出すことにより、前記展開図における明度値の分散を許容範囲内に収める
ことを特徴とする生体検体解析装置。 - ラベルが貼付された生体試料管に収容された生体検体を分析する生体検体解析装置であって、
前記生体試料管を把持して回転させる回転機構、
前記生体試料管を撮像することにより2次元カラー画像を取得するカメラ、
前記2次元カラー画像を処理するプロセッサ、
を備え、
前記プロセッサは、前記2次元カラー画像のなかの部分領域を切り出し、
前記プロセッサは、前記切り出した部分領域の画像を、前記生体試料管の周方向に沿って連結することにより、前記生体試料管の展開図を合成し、
前記プロセッサは、前記2次元カラー画像のうち検出対象とする検出対象領域を、前記展開図から抽出し、
前記生体検体解析装置はさらに、前記生体試料管に対して光を照射する光源を備え、
前記プロセッサは、前記光源が照射した光が前記生体試料管の表面において反射することにより生じた反射光ノイズのノイズ量が許容閾値以下である部位を、前記部分領域として切り出す
ことを特徴とする生体検体解析装置。 - ラベルが貼付された生体試料管に収容された生体検体を分析する生体検体解析装置であって、
前記生体試料管を把持して回転させる回転機構、
前記生体試料管を撮像することにより2次元カラー画像を取得するカメラ、
前記2次元カラー画像を処理するプロセッサ、
を備え、
前記プロセッサは、前記2次元カラー画像のなかの部分領域を切り出し、
前記プロセッサは、前記切り出した部分領域の画像を、前記生体試料管の周方向に沿って連結することにより、前記生体試料管の展開図を合成し、
前記プロセッサは、前記2次元カラー画像のうち検出対象とする検出対象領域を、前記展開図から抽出し、
前記プロセッサは、前記回転機構が前記生体試料管を回転させるときの回転軸の位置を、前記2次元カラー画像において検出し、
前記プロセッサは、前記検出した回転軸に対して直交する方向を、前記生体試料管の周方向として用いることにより、前記部分領域として切り出す領域を特定し、
前記プロセッサは、前記2次元カラー画像を左右反転させた反転画像を生成し、
前記プロセッサは、前記2次元カラー画像と前記反転画像との間の色空間における距離を算出し、
前記プロセッサは、前記距離が最小である座標を鉛直方向に沿って連結することにより、前記回転軸を特定する
ことを特徴とする生体検体解析装置。 - 前記プロセッサは、前記ラベルの画像の特徴を表す情報に基づき、前記2次元カラー画像のなかに含まれる前記ラベルの画像を識別し、
前記プロセッサは、前記2次元カラー画像のうち前記識別した前記ラベルの画像を除いた部分から、前記検出対象領域を抽出する
ことを特徴とする請求項1から3のいずれか1項記載の生体検体解析装置。 - 前記プロセッサは、前記ラベルの画像の特徴を表す情報として、前記ラベルを貼付した前記生体試料管の前記2次元カラー画像と前記ラベルを貼付していない前記生体試料管の前記2次元カラー画像とを比較することにより得られる情報を用いる
ことを特徴とする請求項4記載の生体検体解析装置。 - 前記生体検体解析装置はさらに、前記ラベルの色、前記ラベルの位置、前記ラベルの形状、または前記ラベルのサイズのうち少なくともいずれかを指定する指示入力を受け取るインターフェースを備え、
前記プロセッサは、前記インターフェースが受け取った前記指示入力にしたがって、前記ラベルの画像の特徴を表す情報を決定する
ことを特徴とする請求項4記載の生体検体解析装置。 - 前記生体検体解析装置はさらに、前記ラベルの色、前記ラベルの位置、前記ラベルの形状、または前記ラベルのサイズのうち少なくともいずれかを記述したデータを格納する記憶装置を備え、
前記プロセッサは、前記ラベルの画像の特徴を表す情報として、前記記憶装置が格納している前記データが記述している情報を用いる
ことを特徴とする請求項4記載の生体検体解析装置。 - 前記プロセッサは、前記回転機構の回転速度、前記2次元カラー画像の撮像タイミング、および前記2次元カラー画像の撮像枚数を制御する
ことを特徴とする請求項1から3のいずれか1項記載の生体検体解析装置。 - 前記プロセッサは、前記検出対象領域の色を前記展開図から取得し、
前記プロセッサは、前記取得した前記検出対象領域の色と、前記生体検体の色を記述したデータとを比較することにより、前記検出対象領域に含まれる前記生体検体の種別を特定し、その特定した種別を出力する
ことを特徴とする請求項1から3のいずれか1項記載の生体検体解析装置。 - 前記プロセッサは、前記検出対象領域の座標、前記検出対象領域の画素数、および前記生体試料管のサイズを記述した情報を用いて、前記検出対象領域に含まれる前記生体検体の量を算出する
ことを特徴とする請求項1から3のいずれか1項記載の生体検体解析装置。 - 前記プロセッサは、前記生体試料管の曲率を用いて前記2次元カラー画像の歪みを補正し、
前記プロセッサは、前記歪みを補正した前記2次元カラー画像を用いて、前記展開図を合成する
ことを特徴とする請求項1から3のいずれか1項記載の生体検体解析装置。 - 前記生体検体解析装置はさらに、前記部分領域の位置とサイズを指定する指示入力を受け取るインターフェースを備え、
前記プロセッサは、前記インターフェースが受け取った前記指示入力にしたがって、前記部分領域の位置とサイズを決定する
ことを特徴とする請求項1から3のいずれか1項記載の生体検体解析装置。 - 前記プロセッサは、前記2次元カラー画像のなかに含まれる前記ラベルの画像を識別し、
前記プロセッサは、前記生体検体の属性を記述した情報を、前記識別したラベルの画像から抽出することにより、前記生体検体の属性を特定し、その特定した属性にしたがって前記生体検体を解析する
ことを特徴とする請求項1から3のいずれか1項記載の生体検体解析装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020070213A JP7436270B2 (ja) | 2020-04-09 | 2020-04-09 | 生体検体解析装置 |
PCT/JP2021/004491 WO2021205737A1 (ja) | 2020-04-09 | 2021-02-08 | 生体検体解析装置 |
US17/913,565 US20230097384A1 (en) | 2020-04-09 | 2021-02-08 | Biological sample analysis device |
CN202180019979.5A CN115280158A (zh) | 2020-04-09 | 2021-02-08 | 生物体检体解析装置 |
EP21784514.8A EP4134677A4 (en) | 2020-04-09 | 2021-02-08 | BIOLOGICAL SAMPLE ANALYSIS DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020070213A JP7436270B2 (ja) | 2020-04-09 | 2020-04-09 | 生体検体解析装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021167733A JP2021167733A (ja) | 2021-10-21 |
JP2021167733A5 JP2021167733A5 (ja) | 2023-01-05 |
JP7436270B2 true JP7436270B2 (ja) | 2024-02-21 |
Family
ID=78023638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020070213A Active JP7436270B2 (ja) | 2020-04-09 | 2020-04-09 | 生体検体解析装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230097384A1 (ja) |
EP (1) | EP4134677A4 (ja) |
JP (1) | JP7436270B2 (ja) |
CN (1) | CN115280158A (ja) |
WO (1) | WO2021205737A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113933294B (zh) * | 2021-11-08 | 2023-07-18 | 中国联合网络通信集团有限公司 | 浓度检测方法及装置 |
JP2024002211A (ja) * | 2022-06-23 | 2024-01-11 | 株式会社日立ハイテク | 試料状態判定装置、試料状態判定方法及び試料検査装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110102542A1 (en) | 2009-11-03 | 2011-05-05 | Jadak, Llc | System and Method For Panoramic Image Stitching |
US20170345141A1 (en) | 2016-05-27 | 2017-11-30 | Biomerieux, Inc. | Method and apparatus for detection of foam in specimen containers |
WO2018202804A1 (en) | 2017-05-05 | 2018-11-08 | Ares Trading S.A. | Method and apparatus for determining information about a drug-containing vessel |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3733087B2 (ja) * | 2002-07-04 | 2006-01-11 | アロカ株式会社 | 検体分析装置 |
US7982201B2 (en) * | 2009-09-08 | 2011-07-19 | Jadak, Llc | System and method for detection of liquid level in a vessel |
JP5330313B2 (ja) * | 2010-05-24 | 2013-10-30 | 株式会社日立ハイテクノロジーズ | 生体試料の分析装置 |
JP5474903B2 (ja) * | 2011-09-28 | 2014-04-16 | あおい精機株式会社 | 検査前処理装置、検査前処理方法、及び検体処理装置 |
JP6143584B2 (ja) * | 2013-07-04 | 2017-06-07 | 株式会社日立ハイテクノロジーズ | 検出装置および生体試料分析装置 |
JP6453564B2 (ja) * | 2014-06-25 | 2019-01-16 | 株式会社日立ハイテクノロジーズ | 検出装置 |
-
2020
- 2020-04-09 JP JP2020070213A patent/JP7436270B2/ja active Active
-
2021
- 2021-02-08 CN CN202180019979.5A patent/CN115280158A/zh active Pending
- 2021-02-08 US US17/913,565 patent/US20230097384A1/en active Pending
- 2021-02-08 EP EP21784514.8A patent/EP4134677A4/en active Pending
- 2021-02-08 WO PCT/JP2021/004491 patent/WO2021205737A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110102542A1 (en) | 2009-11-03 | 2011-05-05 | Jadak, Llc | System and Method For Panoramic Image Stitching |
US20170345141A1 (en) | 2016-05-27 | 2017-11-30 | Biomerieux, Inc. | Method and apparatus for detection of foam in specimen containers |
WO2018202804A1 (en) | 2017-05-05 | 2018-11-08 | Ares Trading S.A. | Method and apparatus for determining information about a drug-containing vessel |
Also Published As
Publication number | Publication date |
---|---|
WO2021205737A1 (ja) | 2021-10-14 |
JP2021167733A (ja) | 2021-10-21 |
CN115280158A (zh) | 2022-11-01 |
EP4134677A4 (en) | 2024-03-20 |
EP4134677A1 (en) | 2023-02-15 |
US20230097384A1 (en) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8797396B2 (en) | Digital microscope slide scanning system and methods | |
JP7436270B2 (ja) | 生体検体解析装置 | |
KR102344832B1 (ko) | 수술기구 검출 시스템 및 컴퓨터 프로그램 | |
CN111985292A (zh) | 用于图像处理结果的显微镜方法、显微镜和具有验证算法的计算机程序 | |
JP5414707B2 (ja) | 分析装置 | |
EP0883857A2 (en) | Machine vision calibration targets and methods of determining their location and orientation in an image | |
JP2005293141A (ja) | マーカ検出方法及び装置並びに位置姿勢推定方法 | |
JP2013526717A5 (ja) | ||
JP2000508095A (ja) | 境界マッピングのシステムおよび方法 | |
JP4633712B2 (ja) | 画像形成装置 | |
JPH0424539A (ja) | 粒子凝集パターン判定装置 | |
JP2010133744A (ja) | 欠陥検出方法およびその方法を用いた視覚検査装置 | |
JP4271054B2 (ja) | 細胞画像解析装置 | |
JP7071301B2 (ja) | 生体試料検出装置 | |
JP2002140713A (ja) | 画像処理方法およびその装置 | |
JP6422824B2 (ja) | 検体前処理方法及び検体前処理装置 | |
JP2005332202A (ja) | パターンマッチング用の図形選択支援装置、図形選択支援方法およびプログラム | |
CN113406042A (zh) | 用于确定体外诊断系统中样品容器的特性的方法、分析装置和体外诊断系统 | |
WO2023248789A1 (ja) | 試料状態判定装置、試料状態判定方法及び試料検査装置 | |
US11763445B2 (en) | Inspection of a target object using a comparison with a master image and a strictness of a quality evaluation threshold value | |
JP2006280456A (ja) | 角膜内皮細胞画像処理装置 | |
JP7273631B2 (ja) | 検体性状識別装置、検体性状識別方法及び検体搬送システム | |
WO2022107435A1 (ja) | 画像解析方法、画像解析システム及びプログラム | |
JP2009103492A (ja) | 血液分析装置およびプログラム | |
JP2023501939A (ja) | 管アセンブリタイプを識別する装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7436270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |