JP2024018715A - 情報処理装置、測定システム、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】有形成分を含む試料を撮像した画像における有形成分の視認性を向上させる。【解決手段】情報処理装置１０は、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、試料の第１画像と、第１画像に時系列で連続する部分が第１画像の一部と重複する第２画像とを生成するカメラ７４と接続され、カメラ７４により生成された第１画像及び第２画像を取得する取得部１１Ｂと、第１画像と第２画像とを合成して得られた合成画像を出力する画像出力部１１Ｆと、を備える。【選択図】図４

Description

本開示は、情報処理装置、測定システム、画像処理方法、及び画像処理プログラムに関する。

例えば、特許文献１には、フロー方式による画像撮影により得られた有形成分画像を所定の分類毎に分類可能な情報処理装置が記載されている。この情報処理装置は、複数種類の有形成分を含み、かつ、フローセルを流れる検体流体を撮影して得られる複数の画像から、有形成分として認識した有形成分画像を切り出し、切り出した有形成分画像を所定の分類毎に検出成分として分類する分類部と、分類部により検出成分として分類された有形成分画像を、異なる分類に再分類する場合に、検出成分の分類に含まれる有形成分画像の第１画像リストを表示部に表示させた状態で、移動先の分類の選択を受け付け、更に、第１画像リスト及び移動先の分類に含まれる有形成分画像の第２画像リストを表示部に同時に表示させた状態で、第１画像リストから選択された有形成分画像を、第２画像リストに移動させる制御を行う制御部と、を備える。

また、特許文献２には、フローセルを流れる測定試料中の粒子を検出する細胞検出装置が記載されている。この細胞検出装置は、粒子を含む測定試料を流すためのフローセルと、フローセルに供給された測定試料中の粒子を検出するための粒子検出部と、粒子検出部による検出結果に基づいて、検出条件を満たす粒子とその他の粒子とを選別するための粒子選別部と、粒子選別部により選別された検出条件を満たす粒子を含む撮像用試料をフローセルに供給するための試料供給部と、フローセルに供給された選別後の撮像用試料中の粒子を撮像するための粒子撮像部と、を備える。この試料供給部は、粒子選別部により選別された検出条件を満たす粒子を含む撮像用試料を貯留および濃縮するための中間貯留部と、中間貯留部で濃縮された撮像用試料を粒子検出部の検出位置に対してフローセルの上流側に帰還させてフローセルに再び流入させるための帰還流路と、を備える。

また、特許文献３には、測定試料をフローセル中に流しながら撮像する撮像装置が記載されている。この撮像装置は、プローブビームを生成するプローブビーム生成部と、プローブビームをディスパーシブフーリエ変換し、プローブビームのスペクトルを時間領域にマッピングするディスパーシブフーリエ変換部と、ディスパーシブフーリエ変換されたプローブビームを空間的にマッピングして藻類又は細胞に照射する空間マッピング部と、藻類又は細胞を透過した透過光を検出するビーム検出部と、透過光の強度に基づいて藻類又は細胞の画像を生成する画像生成部と、を備える。

特開２０２０－８５５３５号公報 特許第６７１３７３０号公報 特許第６３２１２７９号公報

ところで、上記特許文献１～３に記載の従来技術は、尿に含まれる有形成分を自動分析する技術に関し、尿中有形成分分析のスクリーニングに有効である。しかしながら、スクリーニングの結果、何らかの項目で陽性等の問題が発見された場合、検査技師等による顕微鏡を用いた再検査（以下、「顕微鏡検査」という。）を行う必要がある。この顕微鏡検査では、例えば、顕微鏡検査用のスライド（標本）を作成する等の比較的工数がかかる作業が必要とされる。このため、スライド（標本）に代えて、有形成分を含む試料を撮像した画像を観察対象とする場合があるが、コマ切れの画像を１枚ずつ確認するため、画像中の有形成分の視認性が良くなかった。

本開示は、上記の点に鑑みてなされたものであり、有形成分を含む試料を撮像した画像における有形成分の視認性を向上させることができる情報処理装置、測定システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本開示の一態様に係る情報処理装置は、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と接続された情報処理装置であって、前記撮像部により生成された前記第１画像及び前記第２画像を取得する取得部と、前記第１画像と前記第２画像とを合成して得られた合成画像を出力する画像出力部と、を備える。

本開示によれば、有形成分を含む試料を撮像した画像における有形成分の視認性を向上させることができる、という効果が得られる。

実施形態に係る測定システムの構成の一部を示す斜視図である。 実施形態に係る測定システムの構成の一例を示す模式図である。 実施形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。 実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 実施形態に係る測定結果画面の一例を示す正面図である。 実施形態に係る有形成分画像リスト画面の一例を示す正面図である。 実施形態に係る複数の画像を合成した合成画像の一例を示す模式図である。 実施形態に係る画像処理プログラムによる処理の流れの一例を示すフローチャートである。

以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本開示と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。

図１は、本実施形態に係る測定システム７０の構成の一部を示す斜視図である。

図１に示すように、本実施形態に係る測定システム７０は、フローセル４０と、筐体７２と、カメラ７４と、光源７６と、を備えている。なお、図１に示す矢印ＵＰは、測定システム７０の上下方向の上側を示している。

本実施形態に係るフローセル４０は、例えば、シース流体と共に、検体流体の一例である尿検体を導入することで、尿検体中の有形成分をカメラ７４により撮像し、撮像された画像の有形成分の形状等から各種の分析を行う尿中有形成分検査（尿沈渣検査）に適用するものである。なお、本実施形態に係る「試料」とは、シース流体及び検体流体を含むものとするが、シース流体を使用せず、検体流体のみを使用してもよい。このカメラ７４は、撮像部の一例である。尿検体中には、複数種類の有形成分が含まれている。この有形成分の種類としては、一例として、赤血球、白血球、上皮細胞、円柱、細菌等が挙げられる。なお、本実施形態においては、検体流体の一例として、尿検体を用いて、尿中有形成分検査を行う場合について説明するが、血液、細胞、体液等を対象とした有形成分検査に使用することも可能である。

測定システム７０は、フローセル４０が配置される筐体７２を備えている。筐体７２には、フローセル４０が挿入される凹部７２Ａが形成されており、筐体７２の凹部７２Ａを含む位置は、透明な部材（一例としてガラス等）で形成されている。筐体７２の内部には、フローセル４０と対向する位置にカメラ７４が設けられている。筐体７２の上側には、カメラ７４とフローセル４０を挟んで対向する位置に光源７６が設けられている。カメラ７４は、フローセル４０を流れる試料を撮像可能な位置に配置されている。

測定システム７０は、フローセル４０内の検体流路（図示省略）の検体取入口４２に検体流体を供給する第１供給装置７８を備えている。第１供給装置７８は、検体取入口４２に一端部が接続される供給管８０と、供給管８０の途中に設けられたポンプ８２と、供給管８０の他端部に接続されると共に検体流体が貯留される検体貯留部８４と、を備えている。

測定システム７０は、フローセル４０内のシース流路（図示省略）のシース取入口４４にシース流体を供給する第２供給装置８６を備えている。第２供給装置８６は、シース取入口４４に一端部が接続される供給管８８と、供給管８８の途中に設けられたポンプ９０と、供給管８８の他端部に接続されると共にシース流体が貯留されるタンク９２と、を備えている。なお、これらの第１供給装置７８及び第２供給装置８６は、試料供給部の一例である。

また、フローセル４０には、検体取入口４２とシース取入口４４との間に排出口４６が設けられている。排出口４６には、排出管（図示省略）の一端部が接続されており、この排出管の他端部が廃棄タンク（図示省略）に接続されている。フローセル４０は、検体取入口４２から導入された検体と、シース取入口４４から導入されたシース液とを合流させる合流部（図示省略）を備え、合流した流体（試料）が流路内を流れる。合流した流体中の有形成分をカメラ７４で撮像する。

図２は、本実施形態に係る測定システム７０の構成の一例を示す模式図である。

図２に示すように、本実施形態に係る測定システム７０は、情報処理装置１０を備えている。なお、図２に示す矢印ＵＰは、図１と同様に、測定システム７０の上下方向の上側を示している。

情報処理装置１０は、カメラ７４、光源７６と電気的に接続された光源作動部７７、ポンプ８２、及びポンプ９０の動作をそれぞれ制御する制御装置としての機能を有している。情報処理装置１０は、パルス信号を光源作動部７７に与えることで光源７６を所定の間隔で発光させる。また、情報処理装置１０は、ポンプ８２を駆動させて、検体流体の流量を制御すると共に、ポンプ９０を駆動させて、シース流体の流量を制御する。図示は省略しているが、複数のカメラ７４と、各々のカメラ７４に光を導く光学系を備えていてもよい。各光学系は各カメラ７４がフローセル４０中において異なる位置（深さ）に焦点が合うように調整されている。言い換えると、複数のカメラ７４によって、水平面では同じ位置で、異なる深さ位置に焦点があった複数の画像を同時に撮像している。同時に撮像した撮像画像は、対応付けて、後述の図３に示す記憶部１５に記憶される。ここでいう深さ方向とは、検体流体の流れる方向に対して垂直な方向であり、図２でいう上下方向を意味する。各焦点とフローセル４０のカメラ７４に近い側の壁面までの距離が異なる。

図３は、本実施形態に係る情報処理装置１０の電気的な構成の一例を示すブロック図である。

図３に示すように、本実施形態に係る情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、入出力インタフェース（Ｉ／Ｏ）１４と、記憶部１５と、表示部１６と、操作部１７と、通信部１８と、接続部１９と、を備えている。なお、ＣＰＵ１１は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであってもよい。

本実施形態に係る情報処理装置１０には、例えば、パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用的なコンピュータ装置が適用される。なお、情報処理装置１０には、スマートフォン、タブレット端末等の携帯可能なコンピュータ装置を適用してもよい。また、情報処理装置１０は、複数のユニットに分かれていてもよい。例えば、カメラ７４、光源７６、ポンプ８２、ポンプ９０などの測定系を制御するユニットと、カメラ７４で撮像した画像の処理及び解析を行うユニットとを含んで構成されていてもよい。また、情報処理装置１０は、測定システム７０に外部接続されてもよい。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４によって制御装置が構成される。制御装置は、例えば、カメラ７４、光源７６、ポンプ８２、ポンプ９０などの測定系を制御する機能と、カメラ７４で撮影した画像の処理及び解析を行う機能とを有する。これらのＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４の各部はバスを介して各々接続されている。

Ｉ／Ｏ１４には、記憶部１５と、表示部１６と、操作部１７と、通信部１８と、接続部１９と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１４を介して、ＣＰＵ１１と相互に通信可能とされる。

制御装置は、情報処理装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、情報処理装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御装置の各ブロックの一部又は全部には、例えば、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路又はＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御装置の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

記憶部１５としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等が用いられる。記憶部１５には、本実施形態に係る測定系制御、画像処理を行うための画像処理プログラム１５Ａが記憶される。なお、この画像処理プログラム１５Ａは、ＲＯＭ１２に記憶されていてもよい。なお、記憶部１５は、メモリが外付けされたり、後から増設されたりしてもよい。

画像処理プログラム１５Ａは、例えば、情報処理装置１０に予めインストールされていてもよい。画像処理プログラム１５Ａは、不揮発性の非一時的記憶媒体に記憶して、又はネットワーク回線を介して配布して、情報処理装置１０に適宜インストールしたり、アップグレードしたりすることで実現してもよい。なお、不揮発性の非一時的記憶媒体の例としては、ＣＤ-ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有していてもよい。操作部１７には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部１６及び操作部１７は、情報処理装置１０のユーザから各種の指示を受け付ける。表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。

通信部１８は、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク回線に接続されており、外部装置との間でネットワーク回線を介して通信が可能とされる。

接続部１９は、例えば、カメラ７４、光源７６、ポンプ８２、ポンプ９０などが接続される。これらのカメラ７４、光源７６、ポンプ８２、ポンプ９０などの測定系は、上記の制御装置によって制御される。接続部１９は、カメラ７４が出力する画像を入力する入力ポートとしても機能する。

ところで、上述したように、コマ切れの画像を１枚ずつ確認する場合、画像中の有形成分の視認性が良くないために、有形成分の見落としが発生する場合があった。

これに対して、本実施形態に係るカメラ７４は、フローセル４０を流れる試料を時系列で連続的に撮像し、試料の第１画像と、第１画像に時系列で連続する部分が第１画像の一部と重複する第２画像とを生成し、情報処理装置１０は、カメラ７４と接続され、カメラ７４により生成された第１画像及び第２画像を取得し、第１画像と第２画像とを合成して得られた合成画像を出力する。合成画像とは、フローセル４０の流れ方向に拡張されたパノラマ状の画像である。なお、第１画像及び第２画像は、時系列的に連続しており、互いの一部が重複する画像である。第１画像及び第２画像を合成した合成画像を出力することにより、コマ切れの画像を１枚ずつ確認する場合と比較して、画像中の有形成分の視認性を向上させることができる。特に、コマ切れの画像では、画像同士の継ぎ目が連続していないため、コマ（写真の区画、フレームともいう）とコマの間に位置した有形成分を撮像することができず、有形成分の見落としが発生する場合がある。これに対して、この合成画像によれば、切れ目なく撮像でき、画像の流れ方向における視認性が向上するため、有形成分の見落としの発生が抑制される。なお、対象とする複数枚の画像は、第１画像及び第２画像に限定されるものではなく、３枚以上の画像であっても同様である。

具体的に、本実施形態に係る情報処理装置１０のＣＰＵ１１は、記憶部１５に記憶されている画像処理プログラム１５ＡをＲＡＭ１３に書き込んで実行することにより、図４に示す各部として機能する。

図４は、本実施形態に係る情報処理装置１０の機能的な構成の一例を示すブロック図である。

図４に示すように、本実施形態に係る情報処理装置１０のＣＰＵ１１は、制御部１１Ａ、取得部１１Ｂ、分類部１１Ｃ、表示制御部１１Ｄ、画像処理部１１Ｅ、及び画像出力部１１Ｆとして機能する。

制御部１１Ａは、カメラ７４、ポンプ８２、及びポンプ９０の動作を制御する。ポンプ８２及びポンプ９０の各々は、フローセル４０に試料を供給すると共に、フローセル４０に供給された試料をカメラ７４に向けて流すためのポンプであり、ポンプ８２及びポンプ９０の各々によって試料供給速度が制御される。制御部１１Ａは、第１画像の一部と重複しない第２画像を生成する第１撮像モードと、第１画像の一部と重複する第２画像を生成する第２撮像モードとを切り替える。第１画像の一部と重複する第２画像とは、第１画像で撮影対象となる試料の一部と第２画像で撮影対象となる試料の一部とが重複していることを意味する。モードの切り替えは、例えば、検査技師等のユーザによる所定の操作（例えば、ボタン操作等）に従って行われる。第１撮像モードは第１画像と第２画像との間で重複がない通常の撮像モードであり、第２撮像モードは第１画像と第２画像との間で重複がある合成画像作成用の撮像モードである。以下、第１撮像モードを「通常モード」、第２撮像モードを「合成モード」ともいう。

まず、第１撮像モードの場合について具体的に説明する。

記憶部１５には、画像分類処理に用いる学習済みモデル１５Ｂが記憶されている。学習済みモデル１５Ｂは、分類部１１Ｃによる画像分類処理に用いるモデルである。

取得部１１Ｂは、カメラ７４によりフローセル４０を流れる試料を撮像して得られる複数の画像（一例として、３００枚、１０００枚）から、検体流体に含まれる複数種類の有形成分を有形成分画像として切り出し、切り出した複数の有形成分画像を取得する。

分類部１１Ｃは、取得部１１Ｂにより取得された複数の有形成分画像を所定の分類（例えば、有形成分の種類、大きさ、形状、核の有無等）毎に検出成分として分類する。分類部１１Ｃにより所定の分類毎に分類された有形成分画像群は、検体毎に分けて一時的に記憶部１５に記憶される。有形成分画像を分類する方法としては、一例として、機械学習を用いた方法や、パターンマッチングを用いた方法等、各種の公知の技術が適用される。本実施形態に係る有形成分画像群は、例えば、学習済みモデル１５Ｂを用いて分類される。学習済みモデル１５Ｂは、過去に得られた有形成分画像の各々に所定の分類毎の検出成分を対応付けて得られた学習用データを機械学習することにより生成されたモデルである。つまり、学習用データは教師有りのデータとされる。学習済みモデル１５Ｂは、有形成分画像を入力とし、所定の分類毎の検出成分を出力する。機械学習を行う学習モデルには、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）等が用いられる。機械学習の手法には、例えば、ディープラーニング等が用いられる。有形成分画像群は、個々の有形成分画像として説明する場合には、有形成分画像とも称する。

また、分類部１１Ｃは、有形成分画像を分類する際に、使用している画像分類方法（一例として、機械学習、パターンマッチング等）に基づいて適合度を算出する。ここでいう適合度とは、分類結果の画像についての分類確度を示し、所定の分類毎の画像について、正解画像又は予め定めた特徴点と一致する割合が高いほど高い値が付与される。正解画像又は特徴点と完全に一致する場合、適合度は１００％となる。すなわち、適合度が比較的低い有形成分画像は、適切な分類がなされていない可能性が高いと考えられる。なお、適合度は適合率として表してもよい。

表示制御部１１Ｄは、分類部１１Ｃにより検出成分として分類された有形成分画像を、有形成分個別画像として表示部１６に表示させる制御を行う。これにより、検査技師等のユーザが有形成分個別画像を目視でチェックすることができる。

ここで、図５及び図６を参照して、本実施形態に係る画像分類処理における具体的な画面例について説明する。

図５は、本実施形態に係る測定結果画面５０の一例を示す正面図である。測定結果画面５０は、表示制御部１１Ｄにより表示部１６に表示される。

図５に示すように、本実施形態に係る測定結果画面５０は、項目毎の測定結果の一覧を表示している。測定結果としては、有形成分名と、その成分の含有量又は含有個数や、含有量の指標となる定性表示等が示される。また、測定結果画面５０には、有形成分名５０Ａ及び有形成分ボタン５０Ｂが設けられている。

図５に示す項目のうち、主要な項目として、例えば、ＲＢＣは赤血球、ＷＢＣは白血球、ＮＳＥは非扁平上皮細胞、ＳＱＥＣは扁平上皮細胞、ＮＨＣはその他円柱、ＢＡＣＴは細菌を各々示している。また、ＣＲＹＳは結晶、ＹＳＴは酵母、ＨＹＳＴは硝子円柱、ＭＵＣＳは粘液糸、ＳＰＲＭは精子、ＷＢＣＣは白血球塊を各々示している。また、ＵＮＣＬは未分類を示している。

ここで、表示制御部１１Ｄは、測定結果画面５０において、分類項目の中から選択した分類の画像リスト（例えば、後述の図６参照）を表示させて有形成分画像の確認を行った分類に対して、確認済みを示すマークを付与する制御を行う。図５に示す測定結果画面５０では、分類項目のうち、画像リストの確認を行った項目に対して、確認済みを示すマーク５０Ｃが付与されている。なお、再分類（分類変更）が行われた場合には、その結果が反映された測定結果が表示される。

図５に示す測定結果画面５０において、有形成分名５０Ａ又は有形成分ボタン５０Ｂがクリック操作等により選択されると、選択された分類項目の有形成分個別画像が、一例として、図６に示す有形成分画像リスト画面５１として表示部１６に表示される。

図６は、本実施形態に係る有形成分画像リスト画面５１の一例を示す正面図である。

図６に示すように、本実施形態に係る有形成分画像リスト画面５１は、画像を確認したい有形成分として選択された有形成分画像リスト５１Ａを表示している。この有形成分画像リスト画面５１は、表示部１６に表示される。

図６に示す有形成分画像リスト画面５１は、検出成分の第１項目ボタン群５２と、移動先の第２項目ボタン群５３と、を含んでいる。検出成分の第１項目ボタン群５２は、検出成分の種類毎に設けられている。同様に、移動先の第２項目ボタン群５３は、移動先の分類項目毎に設けられている。一例として、上述したように、「ＲＢＣ」は赤血球を示し、「ＷＢＣ」は白血球を示し、「ＳＱＥＣ」は扁平上皮細胞を示し、「ＵＮＣＬ」は未分類を示している。なお、図６に示す例では、検出成分の第１項目ボタン群５２の「ＳＱＥＣ」が選択された状態であるため、有形成分画像リスト画面５１には、扁平上皮細胞の画像のリストが表示されている。

また、図６に示す有形成分画像リスト画面５１は、複数の操作ボタンＢ１～Ｂ６を操作可能に表示している。操作ボタンＢ１は、有形成分画像を拡大表示すると共に、画像の拡大に合わせてスケール（長さ）を表示するためのボタンである。図６に示す例では、スケールが１０μｍ／画素として表示されている。また、操作ボタンＢ２は、焦点位置の異なる有形成分画像を切り替えて表示させるためのボタンである。図６に示す例では、フローセル４０中の深さ方向における焦点位置を上層、中層、及び下層の３つの層に対応して切り替え可能とされている。また、操作ボタンＢ３は、検出成分の有形成分画像を移動先に移動させるためのボタンである。また、操作ボタンＢ４は、画像分類の編集作業を１つ前に戻すためのボタンである。また、操作ボタンＢ５は、「見本」となる有形成分画像を表示させるためのボタンである。また、操作ボタンＢ６は、有形成分画像の拡大率を設定したり、有形成分画像の輝度やコントラスト比等を設定したりするウィンドウを表示させるためのボタンである。

図６に示す複数の操作ボタンＢ１～Ｂ６を操作することにより、有形成分画像の表示態様を変更することができるため、有形成分の判別が行いやすくなる。なお、各操作ボタンは、タッチパネルである表示部１６に表示されていてもよいし、操作部１７として設けられていてもよい。

図６に示す有形成分画像リスト画面５１において、移動先の第２項目ボタン群５３のうちのいずれかの項目ボタンがクリック操作等により選択されると、再分類作業画面（図示省略）が表示される。

次に、第２撮像モードの場合について具体的に説明する。

検査技師等のユーザが図６に示す有形成分画像リスト画面５１を参照し、有形成分画像に対して何らかの異常が認められた場合、ユーザは所定の操作を実行し、第２撮像モードに切り替える。

第２撮像モードでは、第１撮像モードと同様の検体でもよいが、検体を遠心して濃縮された有形成分を含む濃縮検体を流すことが望ましい。

制御部１１Ａは、第１画像で撮像される試料と第２画像で撮像される試料の一部が重複するようにカメラ７４による撮像間隔、及び、ポンプ８２、９０による試料供給速度の少なくとも一方を制御する。具体的に、第２撮像モードの試料供給速度を、第１撮像モードの試料供給速度よりも遅くする。あるいは、第２撮像モードの撮像間隔を、第１撮像モードの撮像間隔よりも短くしてもよい。あるいは、第２撮像モードの試料供給速度を、第１撮像モードの試料供給速度よりも遅くし、かつ、第２撮像モードの撮像間隔を、第１撮像モードの撮像間隔よりも短くしてもよい。

第２撮像モードは、第１撮像モードと比較して、ゆっくりと検体を押し出しながら撮像エリアを第１画像と重複した第２画像を撮像するモードであり、第１撮像モードと同様にシース流体を使用する。この場合、例えば、検体流体及びシース流体の試料供給速度（送液速度＝流速）を第１撮像モードの場合と比較して遅くする。なお、シース流体を使用せず、検体流体のみを使用してもよく、この場合、検体流体の試料供給速度（送液速度＝流速）を第１撮像モードの場合と比較して遅くすればよい。

例えば、画像間で重複して撮像するための試料供給速度（Ｖ）は、前の撮像時点（ｔ１）から次の撮像時点（ｔ２）までの間に試料が移動する距離が撮像視野の距離（Ｌ）未満となる移動速度（Ｖ ＜ Ｌ／（ｔ２－ｔ１））が上限となるが、撮像される試料の全てが重複するためには、前の撮像から後の撮像までの間に試料が移動する距離が撮像視野の半分の距離未満となる移動速度であることが好ましい。これによって、流れる検体中の有形成分は、２つ以上の撮像画像に含まれていることになる。換言すれば、ある撮像時点で撮像して得られる画像に写った有形成分と同じ有形成分が、次の撮像時点で撮像して得られる画像に写ることになる。この例では試料供給速度の制御例について説明したが、撮像間隔を制御してもよい。撮像間隔の場合、検体が撮像視野の半分の距離に到達するよりも早くカメラ７４により撮像する、つまり、シャッタ速度を速くすればよい。なお、速度を優先しつつ、前後の画像の合成を行う場合には、重複する領域を画像の１０％以上２０％以下として制御してもよい。

カメラ７４は、制御部１１Ａによる制御に従って、フローセル４０を流れる試料を時系列で連続的に撮像し、試料の第１画像と、第１画像に時系列で連続する部分が第１画像の一部と重複する第２画像とを生成する。

取得部１１Ｂは、カメラ７４により生成された第１画像及び第２画像を取得する。

画像処理部１１Ｅは、取得部１１Ｂにより取得された第１画像と第２画像とを合成して１つの合成画像を作成する。具体的に、画像処理部１１Ｅは、第２撮像モードにおける撮像間隔及び試料供給速度に基づいて、第１画像及び第２画像の合成位置を特定する。つまり、撮像間隔及び試料供給速度を参考にすることで、前後の画像がどの程度ずれているかを特定し、合成位置を特定することができる。これにより、より適切な画像合成を行うことができる。

画像出力部１１Ｆは、画像処理部１１Ｅにより第１画像と第２画像とを合成して得られた合成画像を出力する。出力先は、例えば、表示部１６又は記憶部１５とされる。

図７は、本実施形態に係る複数の画像Ｐ１～Ｐ４を合成した合成画像Ｐｓの一例を示す模式図である。

図７に示す複数の画像Ｐ１～Ｐ４は、各々有形成分を含み、互いに重複する部分を含む静止画である。つまり、画像Ｐ１の左端部と画像Ｐ２の右端部とが重複し、画像Ｐ２の右端部と画像Ｐ３の左端部とが重複し、画像Ｐ３の右端部と画像Ｐ４の左端部とが重複する。

これらの画像Ｐ１～Ｐ４が繋ぎ合わされた１つの大きな合成画像Ｐｓを作成するが、画像合成処理の手法には、例えば、公知の手法が採用される。例えば、「Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｅ Ｅｄｉｔｏｒ（https://nj-clucker.com/microsoft-image-composite-editor/）」というソフトウェアが採用される。作成された合成画像Ｐｓによって、１視野として観察できるようにすることで、顕微鏡観察のようにスライドしながら、情報処理装置１０の表示部１６で確認することができる。

ここで、第２撮像モードを間欠的に繰り返し行うモードである間欠フローモードを更に設定してもよい。間欠フローモードでは、試料を低速で供給しながら撮像する期間と、試料の供給を停止する期間とが設けられる。停止期間中に深度方向（上下方向）にカメラ７４をスキャンし、高速撮影を行い、深度方向の撮像も行うことで、顕微鏡検査のように奥行きの情報を得る。これにより最適な焦点位置に基づく画像を得ることができる。

次に、図８を参照して、本実施形態に係る情報処理装置１０の作用を説明する。

図８は、本実施形態に係る画像処理プログラム１５Ａによる処理の流れの一例を示すフローチャートである。

画像処理プログラム１５Ａによる測定系制御、画像処理は、情報処理装置１０のＣＰＵ１１が、ＲＯＭ１２又は記憶部１５に記憶されている画像処理プログラム１５ＡをＲＡＭ１３に書き込むことで実行される。

図８のステップＳ１０１では、ＣＰＵ１１が、画像間で試料の一部が重複しないように撮像する第１撮像モード（通常モード）を設定し、ポンプ８２、９０を制御して、フローセル４０に第１速度（＝第１試料供給速度）で試料を流すように制御する。

ステップＳ１０２では、ＣＰＵ１１が、ステップＳ１０１で設定した第１撮像モードに従って、フローセル４０を第１速度で流れる試料を撮像して得られた複数の画像から、試料に含まれる複数種類の有形成分を有形成分画像として切り出し、切り出した複数の有形成分画像を取得する。そして、取得された複数の有形成分画像は、所定の分類（例えば、有形成分の種類、大きさ、形状、核の有無等）毎に検出成分として分類され、分類された有形成分画像は、一例として、上述の図６に示す有形成分画像リスト画面５１に表示される。この有形成分画像リスト画面５１に表示された有形成分画像に対して、検査技師等のユーザによって異常の有無が確認される。

ステップＳ１０３では、ＣＰＵ１１が、画像間で試料の一部が重複する第２撮像モードに切り替えるか否かを判定する。第２撮像モードに切り替えると判定した場合（肯定判定の場合）、ステップＳ１０４に移行し、第２撮像モードに切り替えないと判定した場合（否定判定の場合）、本画像処理プログラム１５Ａによる一連の処理を終了する。具体的には、検査技師等のユーザが図６に示す有形成分画像リスト画面５１を参照し、有形成分画像に対して何らかの異常が認められた場合、ユーザは所定の操作を実行し、第２撮像モードに切り替える。

ステップＳ１０４では、ＣＰＵ１１が、画像間で試料の一部が重複するように撮像する第２撮像モード（合成モード）を設定し、ポンプ８２、９０を制御して、フローセル４０に第２速度（＝第２試料供給速度）で試料を流すように制御する。第２撮像モードでは、第１撮像モードと同様の検体でもよいが、検体を遠心して濃縮された有形成分を含む濃縮検体を流すことが望ましい。ここでは、一例として、第２撮像モードの第２試料供給速度が、第１撮像モードの第１試料供給速度よりも遅くなるように制御される。なお、第２撮像モードの撮像間隔を、第１撮像モードの撮像間隔よりも短くしてもよい。あるいは、第２撮像モードの第２試料供給速度を、第１撮像モードの第１試料供給速度よりも遅くし、かつ、第２撮像モードの撮像間隔を、第１撮像モードの撮像間隔よりも短くしてもよい。

ステップＳ１０５では、ＣＰＵ１１が、カメラ７４を制御して、フローセル４０を流れる試料を時系列で連続的に撮像し、試料の一部が重複する複数の画像を取得する。一例として、上述の図７に示す複数の画像Ｐ１～Ｐ４を取得する。ここで、前後の画像での重複の割合は、確実な合成のためには、例えば、５０％以上とすることが望ましく、迅速な撮像のためには、例えば、８０％以上とすることが望ましい。

ステップＳ１０６では、ＣＰＵ１１が、ステップＳ１０５で取得した複数の画像から合成画像を作成する。一例として、上述の図７に示す合成画像Ｐｓを作成する。

ステップＳ１０７では、ＣＰＵ１１が、ステップＳ１０６で作成した合成画像を、例えば、表示部１６又は記憶部１５に出力し、本画像処理プログラム１５Ａによる一連の処理を終了する。

このように本実施形態によれば、有形成分を含む試料を撮像した画像における有形成分の視認性を向上させることができる。このため、画像中の有形成分の見落としの発生を抑制することができる。

また、本実施形態によれば、試料の一部が重複する複数の画像が自動的に撮像され、顕微鏡検査用の画像のように、撮像された複数の画像からパノラマ状の１枚の合成画像が作成される。このため、顕微鏡検査を行う際に手間がかかるスライド作成を省略することができる。

また、パノラマ状の合成画像によれば、横方向への一軸スライドだけで簡単に観察することができる。

また、合成画像の作成に用いる試料を濃縮しないのであれば、濃縮にかかる手間をなくすこともできる。

また、合成画像を画像情報として自動的に保存することができるため、複数の検査技師等のユーザ間で共有することで主観によらない判断を行うことも可能となる。

なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

以上、実施形態に係る情報処理装置を例示して説明した。実施形態は、情報処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態としてもよい。

その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。有形成分画像の表示は、上記の実施形態には限定されず、例えば左右に横並びで表示してもよい。各ボタンの表示位置も適宜変更可能である。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

以上の実施形態に関し、更に以下を開示する。

第１態様に係る情報処理装置は、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と接続された情報処理装置であって、前記撮像部により生成された前記第１画像及び前記第２画像を取得する取得部と、前記第１画像と前記第２画像とを合成して得られた合成画像を出力する画像出力部と、を備える。

第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記第１画像で撮像される前記試料と前記第２画像で撮像される前記試料の一部が重複するように前記撮像部による撮像間隔を制御する制御部を更に備える。

第３態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記フローセルに前記試料を供給すると共に、前記フローセルに供給された前記試料を前記撮像部に向けて流す試料供給部と更に接続され、前記第１画像で撮像される前記試料と前記第２画像で撮像される前記試料の一部が重複するように前記撮像部による撮像間隔及び前記試料供給部による試料供給速度の少なくとも一方を制御する制御部を更に備える。

第４態様に係る情報処理装置は、第３態様に係る情報処理装置において、前記制御部が、前記第１画像の一部と重複しない前記第２画像を生成する第１撮像モードと、前記第１画像の一部と重複する前記第２画像を生成する第２撮像モードとを切り替える。

第５態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記第２撮像モードの試料供給速度が、前記第１撮像モードの試料供給速度よりも遅い。

第６態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記第２撮像モードの撮像間隔が、前記第１撮像モードの撮像間隔よりも短い。

第７態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記第２撮像モードの試料供給速度が、前記第１撮像モードの試料供給速度よりも遅く、かつ、前記第２撮像モードの撮像間隔が、前記第１撮像モードの撮像間隔よりも短い。

第８態様に係る情報処理装置は、第４態様～第７態様の何れか１態様に係る情報処理装置において、前記第１画像と前記第２画像とを合成して１つの前記合成画像を作成する画像処理部を更に備え、前記画像処理部が、前記第２撮像モードの撮像間隔及び試料供給速度に基づいて、前記第１画像及び前記第２画像の合成位置を特定する。

第９態様に係る情報処理装置は、第１態様～第８態様の何れか１態様に係る情報処理装置において、前記合成画像が、前記フローセルの流れ方向に拡張されたパノラマ状の画像である。

第１０態様に係る測定システムは、有形成分を含む試料が流れるフローセルと、前記フローセルを流れる前記試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と、前記撮像部と接続された、第１態様～第９態様の何れか１態様に係る情報処理装置と、を備える。

第１１態様に係る画像処理方法は、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と接続された情報処理装置による画像処理方法であって、前記撮像部により生成された前記第１画像及び前記第２画像を取得し、前記第１画像と前記第２画像とを合成して得られた合成画像を出力する。

第１２態様に係る画像処理プログラムは、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と接続された情報処理装置の画像処理プログラムであって、前記撮像部により生成された前記第１画像及び前記第２画像を取得し、前記第１画像と前記第２画像とを合成して得られた合成画像を出力することを、コンピュータに実行させる。

１０ 情報処理装置
１１ ＣＰＵ
１１Ａ 制御部
１１Ｂ 取得部
１１Ｃ 分類部
１１Ｄ 表示制御部
１１Ｅ 画像処理部
１１Ｆ 画像出力部
１２ ＲＯＭ
１３ ＲＡＭ
１４ Ｉ／Ｏ
１５ 記憶部
１５Ａ 画像処理プログラム
１５Ｂ 学習済みモデル
１６ 表示部
１７ 操作部
１８ 通信部
１９ 接続部
４０ フローセル
４２ 検体取入口
４４ シース取入口
４６ 排出口
５０ 測定結果画面
５０Ａ 有形成分名
５０Ｂ 有形成分ボタン
５０Ｃ マーク
５１ 有形成分画像リスト画面
５２ 第１項目ボタン群
５３ 第２項目ボタン群
７０ 測定システム
７２ 筐体
７４ カメラ
７６ 光源
７８ 第１供給装置
８２、９０ ポンプ
８６ 第２供給装置

Claims (12)

1. 有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と接続された情報処理装置であって、
   前記撮像部により生成された前記第１画像及び前記第２画像を取得する取得部と、
   前記第１画像と前記第２画像とを合成して得られた合成画像を出力する画像出力部と、
   を備えた情報処理装置。
2. 前記第１画像で撮像される前記試料と前記第２画像で撮像される前記試料の一部が重複するように前記撮像部による撮像間隔を制御する制御部を更に備えた
   請求項１に記載の情報処理装置。
3. 前記フローセルに前記試料を供給すると共に、前記フローセルに供給された前記試料を前記撮像部に向けて流す試料供給部と更に接続され、
   前記第１画像で撮像される前記試料と前記第２画像で撮像される前記試料の一部が重複するように前記撮像部による撮像間隔及び前記試料供給部による試料供給速度の少なくとも一方を制御する制御部を更に備えた
   請求項１に記載の情報処理装置。
4. 前記制御部は、前記第１画像の一部と重複しない前記第２画像を生成する第１撮像モードと、前記第１画像の一部と重複する前記第２画像を生成する第２撮像モードとを切り替える
   請求項３に記載の情報処理装置。
5. 前記第２撮像モードの試料供給速度は、前記第１撮像モードの試料供給速度よりも遅い
   請求項４に記載の情報処理装置。
6. 前記第２撮像モードの撮像間隔は、前記第１撮像モードの撮像間隔よりも短い
   請求項４に記載の情報処理装置。
7. 前記第２撮像モードの試料供給速度は、前記第１撮像モードの試料供給速度よりも遅く、かつ、前記第２撮像モードの撮像間隔は、前記第１撮像モードの撮像間隔よりも短い
   請求項４に記載の情報処理装置。
8. 前記第１画像と前記第２画像とを合成して１つの前記合成画像を作成する画像処理部を更に備え、
   前記画像処理部は、前記第２撮像モードの撮像間隔及び試料供給速度に基づいて、前記第１画像及び前記第２画像の合成位置を特定する
   請求項４に記載の情報処理装置。
9. 前記合成画像は、前記フローセルの流れ方向に拡張されたパノラマ状の画像である
   請求項１に記載の情報処理装置。
10. 有形成分を含む試料が流れるフローセルと、
    前記フローセルを流れる前記試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と、
    前記撮像部と接続された、請求項１～請求項９の何れか１項に記載の情報処理装置と、
    を備えた測定システム。
11. 有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と接続された情報処理装置による画像処理方法であって、
    前記撮像部により生成された前記第１画像及び前記第２画像を取得し、
    前記第１画像と前記第２画像とを合成して得られた合成画像を出力する、
    画像処理方法。
12. 有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第１画像と、前記第１画像に時系列で連続する部分が前記第１画像の一部と重複する第２画像とを生成する撮像部と接続された情報処理装置の画像処理プログラムであって、
    前記撮像部により生成された前記第１画像及び前記第２画像を取得し、
    前記第１画像と前記第２画像とを合成して得られた合成画像を出力することを、
    コンピュータに実行させるための画像処理プログラム。