JP7060852B2 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP7060852B2
JP7060852B2 JP2018208464A JP2018208464A JP7060852B2 JP 7060852 B2 JP7060852 B2 JP 7060852B2 JP 2018208464 A JP2018208464 A JP 2018208464A JP 2018208464 A JP2018208464 A JP 2018208464A JP 7060852 B2 JP7060852 B2 JP 7060852B2
Authority
JP
Japan
Prior art keywords
data
image
text
information processing
information database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018208464A
Other languages
English (en)
Other versions
JP2020064581A (ja
Inventor
克規 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkout Co Ltd
Original Assignee
Thinkout Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thinkout Co Ltd filed Critical Thinkout Co Ltd
Priority to JP2018208464A priority Critical patent/JP7060852B2/ja
Priority to PCT/JP2019/042082 priority patent/WO2020080556A1/ja
Publication of JP2020064581A publication Critical patent/JP2020064581A/ja
Application granted granted Critical
Publication of JP7060852B2 publication Critical patent/JP7060852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理システムに関する。
近年、様々な業務がシステム化され、人手による作業の省力化が進んでいる。しかし、システム同士の仕様が異なる場合には、システム同士で連携することが難しい。その結果、ユーザは、ある業務を行う際に、仕様の異なる様々なシステムを個別に操作することが必要となる場合がある。例えば、ユーザが、2つのシステムから抽出したデータ(以下、「データA,B」と称する。)を元に、別のシステムのデータ(以下、「データC」と称する。)を抽出しようとした場合、システム間の仕様の違いに起因して、データA,Bを元にデータCを自動で抽出することができず、ユーザが、手作業でデータCを探すことになる場合がある。この場合には、人手によるデータ探索が必要であり、システム化が、人手による作業の省力化に寄与しているとは言い難い。
そこで、システム同士での連携が行えるよう、仕様の互いに異なる既存のシステムを仕様の互いに等しいシステムに置き換えることが考えられる。また、例えば、特許文献1に記載したように、各システムのデータ間の連携関係を定義する書式対応テーブルを設けることも考えられる。
国際公開WO1015/016011
しかし、システムの置き換えには、例えば、意味が重複するデータや、形式が異なるデータ、サイズが異なるデータのフォーマットや関連付けを再設計し、データコンバートを行い、新しいシステムへデータ入力を行う必要がある。また、システムを置き換えたり、書式対応テーブルを設けたりする場合には、運用途中でそれぞれのデータベースにおけるデータフォーマットやデータの関連付けの変更をすることができない。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことの可能な情報処理システムを提供することが望ましい。
本発明の一実施形態に係る情報処理システムは、仕様の互いに異なる第1システムおよび第2システムの連携を可能にするシステムである。第1システムは、複数の画像データを記憶する第1データベースを備えている。第2システムは、複数のテキストデータを記憶する第2データベースを備えている。上記情報処理システムは、第1読み出し部と、推定部と、第2読み出し部とを備えている。第1読み出し部は、所定の条件に合致するテキストデータである特定テキストデータを第2データベースから読み出す。推定部は、第1データベースから読み出した画像データと、複数の識別子のうちの1つである第1識別子とを関連付けた第1データと、第2データベースから読み出したテキストデータと、複数の識別子のうちの1つである第2識別子とを関連付けた第2データとに基づいて、複数の識別子の中から、特定テキストデータに対応する識別子である第3識別子を推定する。第2読み出し部は、推定により得られた第3識別子に対して適した画像データである特定画像データを第1データベースから読み出す。
本発明の一実施形態に係る情報処理システムによれば、2つのデータベースの連携に、共通の識別子を用いるようにしたので、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
本発明の一実施の形態に係る情報処理システムの機能ブロックの一例を表す図である。 図1の情報処理システムのハードウェア構成の一例を表す図である。 図1のテキスト情報データベースおよび統合情報データベースに記憶されるテキストデータの一例を表す図である。 図1の画像分類学習プログラムの構成例を表す図である。 図1の画像情報データベースおよび統合情報データベースに記憶される画像データの一例を表す図である。 図1の統合情報データベースに記憶される画像分類名リストの一例を表す図である。 図5の学習用画像データの一例を表す図である。 図1の画像分類学習プログラムに入力される学習データの一例を表す図である。 図1の画像分類学習プログラムに入力される学習データの一例を表す図である。 図1のテキスト分類学習プログラムに入力される学習データの一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。 図1の情報処理システムにおけるデータ取得手順の一例を表す図である。 図1の情報処理システムにおける機械学習手順の一例を表す図である。 図1の情報処理システムにおける機械学習手順の一例を表す図である。 図1の情報処理システムにおける機械学習手順の一例を表す図である。 図1の情報処理システムにおけるテスト手順の一例を表す図である。 図1の情報処理システムにおけるテスト手順の一例を表す図である。 図1の情報処理システムにおけるキー画像取得手順の一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本発明の一具体例であって、本発明は以下の態様に限定されるものではない。また、本発明は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。なお、説明は、以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[構成]
本発明の一実施の形態に係る情報処理システム100について説明する。図1は、情報処理システム100の機能ブロックの一例を表したものである。
情報処理システム100は、仕様の互いに異なるシステム同士の連携を可能にする装置である。ここで、「仕様」とは、例えば、データのフォーマットや関連付けなどを指している。また、「システム同士の連携」とは、例えば、一方のシステムのデータと、他方のシステムのデータとを関連付けることを指している。システムの仕様が互いに異なる場合、相手のシステムのデータを利用することが難しい。情報処理システム100は、仕様の互いに異なる複数のシステムの間に情報処理システム100を介在させることにより、仕様の互いに異なるシステムにおいて、相手のシステムのデータを利用することを可能にしている。
情報処理システム100は、例えば、仕様の互いに異なる2つのシステム(画像情報データベース200、テキスト情報データベース300)と通信可能となっており、仕様の互いに異なる2つのシステム(画像情報データベース200、テキスト情報データベース300)同士の連携を可能にする装置である。「2つのシステム(画像情報データベース200、テキスト情報データベース300)同士の連携」とは、例えば、一方のシステム(テキスト情報データベース300)のデータと、他方のシステム(画像情報データベース200)のデータとを関連付けることを指している。
情報処理システム100は、例えば、GUI(Graphical User Interface)110、画像データIF(Interface)120、画像分類学習プログラム130、GUI(Graphical User Interface)140、テキストデータIF(Interface)150、テキスト分類学習プログラム160、統合情報データベース170および情報処理部180を備えている。
図2は、情報処理システム100のハードウェア構成の一例を表したものである。情報処理システム100は、ネットワーク4000を介して2つのシステム(情報処理システム2000,3000)に接続されている。
(ネットワーク4000)
ネットワーク4000は、例えば、インターネットで標準的に利用されている通信プロトコル(TCP/IP)を用いて通信を行うネットワークである。ネットワーク4000は、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワーク4000は、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワーク4000と、情報処理システム100、情報処理システム2000または情報処理システム3000との接続は、例えば、イーサネット等の有線LAN(Local Area Network)であってもよいし、Wi-Fi等の無線LANや、携帯電話回線などであってもよい。
(情報処理システム2000)
情報処理システム2000は、例えば、CPU(Central Processing Unit)2100、メモリ2200およびネットワークIF(Interface)2300を含んで構成されている。CPU2100は、例えば、メモリ2200に記憶されたウェブサーバプログラムや、オペレーティングシステムなどを実行する。ネットワークIF2300は、ネットワーク4000を介して情報処理システム100と通信するための通信インターフェースである。メモリ2200は、CPU2100によって実行されるプログラム(例えば、ウェブサーバプログラムや、オペレーティングシステム)などを格納する。メモリ2200は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等によって構成される。メモリ2200は、画像情報データベース200を含んで構成されている。
(情報処理システム3000)
情報処理システム3000は、例えば、CPU3100、メモリ3200およびネットワークIF3300を含んで構成されている。CPU3100は、例えば、メモリ3200に記憶されたウェブサーバプログラムや、オペレーティングシステムなどを実行する。ネットワークIF3300は、ネットワーク4000を介して情報処理システム100と通信するための通信インターフェースである。メモリ3200は、CPU3100によって実行されるプログラム(例えば、ウェブサーバプログラムや、オペレーティングシステム)などを格納する。メモリ3200は、RAM、ROM、補助記憶装置(ハードディスク等)等によって構成される。メモリ3200は、テキスト情報データベース300を含んで構成されている。
(情報処理システム100)
情報処理システム100は、例えば、CPU1100、メモリ1200、ネットワークIF1300、入力装置1400および出力装置1500を含んで構成されている。CPU1100は、例えば、メモリ1200に記憶されたウェブブラウザプログラムや、オペレーティングシステムなどを実行する。ネットワークIF1300は、ネットワーク4000を介して情報処理システム2000,3000と通信するための通信インターフェースである。メモリ1200は、CPU1100によって実行されるプログラム(例えば、ウェブブラウザプログラムや、オペレーティングシステム)などを格納する。メモリ1200は、RAM、ROM、補助記憶装置(ハードディスク等)等によって構成される。入力装置1400は、キーボードやタッチパネルなどで構成されている。出力装置1500は、ディスプレイなどで構成されている。
メモリ1200は、統合情報データベース170、画像分類学習プログラム130およびテキスト分類学習プログラム160を含んで構成されている。GUI110、画像データIF120、GUI140、テキストデータIF150は、CPU1100、ネットワークIF1300および入力装置1400および出力装置1500によって構成されている。
次に、各機能ブロックの詳細について説明する。
(テキスト情報データベース300)
テキスト情報データベース300は、複数のテキストデータ10を記憶している。テキストデータ10は、例えば、図3に示したように、複数のカラムデータ11によって構成された手術データである。カラムデータ11は、タグ12と、タグ12に対応する具体的な内容13とによって構成されている。タグ12としては、例えば、患者氏名、患者ID(Identification)、担当医、病名、手術開始日、手術開始時刻、術眼、または、術式が挙げられる。タグ12が患者氏名の内容13としては、手術を受ける患者の氏名(例えば、山田太郎)が挙げられる。タグ12が患者IDの内容13としては、手術を受ける患者に付与された識別子(例えば、012345などの識別番号)が挙げられる。タグ12が担当医の内容13としては、手術を執刀する医師の氏名(例えば、A医師)が挙げられる。タグ12が病名の内容13としては、手術の要因となった病気の名前(例えば、白内障)が挙げられる。タグ12が手術開始日の内容13としては、手術が行われる日(例えば、2018年9月10日)が挙げられる。タグ12が手術開始時刻の内容13としては、手術が行われる時刻(例えば、午前10時30分)が挙げられる。タグ12が術眼の内容13としては、一対の眼のうち手術が行われる方の眼の位置(例えば、右(R))が挙げられる。タグ12が術式の内容13としては、手術の名称(例えば、PEA+IOL)が挙げられる。
テキストデータ10において、指定された1または複数のカラムデータ11がカラムデータセット11sを構成する。つまり、テキストデータ10は、カラムデータセット11sを含んでおり、テキスト情報データベース300は、複数のカラムデータセット11s(第2データ)を記憶しているといえる。カラムデータセット11sは、あらかじめ指定されていてもよいし、ユーザによって指定されてもよい。カラムデータセット11sは、1または複数のカラムデータ11によって構成されている。以下では、カラムデータセット11sに含まれるカラムデータ11を便宜的に指定カラムデータ11-1と称する。指定カラムデータ11-1は、画像データ20を分類するのに役立つカラムデータ11である。カラムデータセット11sは、例えば、タグ12が患者IDのカラムデータ11と、タグ12が術眼のカラムデータ11と、タグ12が術式のカラムデータ11とによって構成されている。なお、画像分類学習プログラム130が、例えば、図4に示したように、担当医ごとに設定された複数の画像分類学習プログラム131,132によって構成されている場合には、カラムデータセット11sは、タグ12が担当医のカラムデータ11を含んでいてもよい。以下では、タグ12が担当医のカラムデータ11をカスタマイズカラムデータ11cと称する。
(画像情報データベース200)
画像情報データベース200は、複数の画像データ20(第1データ)を記憶している。画像情報データベース200に記憶される複数の画像データ20には、例えば、図5に示したように、複数の学習用画像データ21、複数のテスト用画像データ22および複数の画像データ23が含まれる。学習用画像データ21は、後述の機械学習の際に用いられるサンプルデータである。テスト用画像データ22は、後述の機械学習の成績を確認するためのテストの際に用いられるサンプルデータである。画像データ23は、手術を受ける患者が検査の際の撮影により得られたデータである。
(統合情報データベース170)
統合情報データベース170は、2つのシステム(画像情報データベース200、テキスト情報データベース300)同士を連携させるために用いられるデータベースである。統合情報データベース170には、例えば、画像情報データベース200から読み出された複数の画像データ20と、テキスト情報データベース300から読み出された複数のテキストデータ10もしくはカラムデータセット11sとが記憶される。統合情報データベース170には、さらに、画像データ20とともに、画像データ20を所定のアルゴリズムによって処理することにより得られる特徴量データ24が記憶されている。特徴量データ24は、例えば、画像データ20に含まれる臓器(例えば、眼や心臓、肺、肝臓など)の特徴を表したデータであり、画像分類学習モデル130における機械学習や後述のキー画像取得の際に用いられるデータである。
統合情報データベース170には、さらに、画像分類名リスト30が記憶される。画像分類名リスト30には、例えば、図6に示したように、複数の画像分類名31が含まれる。画像分類名31は、複数の画像データ20を所定の観点(例えば、撮影に用いた検査機器や、術眼など)で分類したときに各画像データ20を分類ごとに区別するための識別子である。画像分類名31は、例えば、各画像データ20の種類を分類する名前またはそれに対応する文字列もしくは数列を含んで構成されている。統合情報データベース170には、さらに、画像分類学習プログラム130およびテキスト分類学習プログラム160における機械学習によって得られた学習結果が記憶される。
図7は、学習用画像データ21の一例を表したものである。図7には、画像分類名31として「スリット(明右)」、「スリット(暗左)」、「スリット(青左)」、「オプトス(左)」、「スペキュラ(右)」が付与され得る複数の学習用画像データ21が例示されている。ここで、スリットとは、スリットランプマイクロスコープで患者の眼を撮影することにより得られた画像データを指している。オプトスとは、オプトス社製の眼底検査機器で撮影することにより得られた画像データを指している。スペキュラとは、角膜内皮細胞検査機器で撮影することにより得られた画像データを指している。「明」とは、明るい状態で撮影することにより得られた画像データを指している。「暗」とは、暗い状態で撮影することにより得られた画像データを指している。「青」とは、青い光を眼に照射した状態で撮影することにより得られた画像データを指している。「右」とは、右眼を撮影することにより得られた画像データを指している。「左」とは、左眼を撮影することにより得られた画像データを指している。
(画像データIF120)
画像データIF120は、情報処理システム100と画像情報データベース200との間で通信するためのインターフェースである。画像データIF120は、例えば、GUI110による制御に従って、画像情報データベース200から複数の画像データ20などを読み出し、GUI110や統合情報データベース170に出力する。
(テキストデータIF150)
テキストデータIF150は、情報処理システム100とテキスト情報データベース300との間で通信するためのインターフェースである。テキストデータIF150は、例えば、GUI140による制御に従って、テキスト情報データベース300から複数のテキストデータ10(またはカラムデータセット11s)などを読み出し、GUI140や統合情報データベース170に出力する。
(テキスト分類学習プログラム160)
テキスト分類学習プログラム160は、情報処理部180にロードされることにより、入力データを学習データとして機械学習し、それにより得られた学習結果を統合情報データベース170に記憶させる。テキスト分類学習プログラム160に入力される入力データは、例えば、図8Cに示したように、一組のカラムデータセット11sおよび画像分類名31である。
テキスト分類学習プログラム160がロードされた情報処理部180は、機械学習プロセスでは、テキスト分類モデルの作成を行う。具体的には、テキスト分類学習プログラム160がロードされた情報処理部180は、機械学習プロセスでは、テキスト情報データベース300から読み出されたテキストデータ10(またはカラムデータセット11s)と、複数の画像分類名31(識別子)のうちの1つである画像分類名31(第2識別子)とを学習データとして機械学習を行う。その結果、情報処理部180は、テキストデータ10(またはカラムデータセット11s)と、画像分類名31との対応関係についての情報を学習結果として生成する。テキスト分類学習プログラム160がロードされた情報処理部180は、後述のキー画像取得プロセスでは、テキストデータ10(またはカラムデータセット11s)が入力されると、例えば、上記学習結果に基づいて、入力されたテキストデータ10(10x)(またはカラムデータセット11s)に対して最も適切な画像分類名31(31x)を統合情報データベース170から抽出する。テキスト分類学習プログラム160がロードされた情報処理部180は、例えば、テキストデータ10x(またはカラムデータセット11s)と種々のテキストデータ10y(またはカラムデータセット11s)とを対比し、その結果、種々のテキストデータ10y(またはカラムデータセット11s)の中で最もテキストデータ10x(またはカラムデータセット11s)に近いテキストデータ10y(またはカラムデータセット11s)に対応する画像分類名31xを統合情報データベース170から抽出する。
(画像分類学習プログラム130)
画像分類学習プログラム130は、情報処理部180にロードされることにより、入力データを学習データとして機械学習し、それにより得られた学習結果を統合情報データベース170に記憶させる。画像分類学習プログラム130に入力される入力データは、例えば、図8Aに示したように、一組の学習用画像データ21および画像分類名31である。画像分類学習プログラム130に入力される入力データは、例えば、図8Bに示したように、一組の特徴量データ24および画像分類名31であってもよい。画像分類学習プログラム130がロードされた情報処理部180は、ファイル名やメタタグなどのテキストが画像データ20に付随している場合であっても、そのテキストを利用しないで機械学習を行う。
画像分類学習プログラム130がロードされた情報処理部180は、機械学習プロセスでは、画像分類モデルの作成を行う。具体的には、画像分類学習プログラム130がロードされた情報処理部180は、機械学習プロセスでは、画像情報データベース200から読み出された画像データ20と、複数の画像分類名31(識別子)のうちの1つである画像分類名31(第1識別子)とを学習データとして機械学習を行う。その結果、情報処理部180は、画像データ20と、画像分類名31との対応関係についての情報を学習結果として生成する。画像分類学習プログラム130がロードされた情報処理部180は、後述のキー画像取得プロセスでは、画像分類名31xが入力されると、例えば、上記学習結果に基づいて、入力された画像分類名31xに対応する多くの画像データ20の中から、最も適切な画像データ20(キー画像20x)を統合情報データベース170から抽出する。
(GUI110)
GUI110は、ユーザによる情報処理システム100へのデータ入力、または、ユーザへの情報処理システム100からのデータ提示を行うための画面を提供する。GUI110は、例えば、図9に示したように、画像分類モデルの作成を行うための画面111を提供する。画面111には、例えば、機械学習や、機械学習の成績を確認するためのテストを実行するのに必要な画像分類名リスト30が表示される。画面111には、さらに、例えば、機械学習の済んだ学習用画像データ21や、テストの済んだテスト用画像データ22が表示される。画面111には、さらに、例えば、画像分類名31の追加や削除を行うためのボタン113や、学習用画像データ21の追加や削除を行うためのボタン114、機械学習を実行するためのボタン115、テスト用画像データ22の追加や削除を行うためのボタン116、テストを実行するためのボタン117などが表示される。
GUI110は、さらに、例えば、図10に示したように、画像分類モデル40の設定を行うための画面112を提供する。画像分類モデル40とは、画像分類名リスト30に含まれる複数の画像分類名31の階層構造についてのモデルを指している。画面112には、例えば、登録された全ての画像分類名31が階層なしで羅列されたモデルが一覧窓118に表示される。画面112には、さらに、例えば、画像分類モデル40の階層構造を設定するためのボタン119が表示される。なお、図10には、画像分類モデル40を、3つの画像分類モデル40A,40B,40Cで構成し、画像分類モデル40Aの下層に、2つの画像分類モデル40B,40Cを設定した様子が例示されている。このとき、例えば、最上層の画像分類モデル40Aを6つの画像分類名31A-1~31A-6で構成し、画像分類名31A-2に、下層の画像分類モデル40Bを接続し、画像分類モデル130Bを2つの画像分類名31B-1,31B-2で構成し、画像分類名31A-5に、下層の画像分類モデル40Cを接続し、画像分類モデル40Cを3つの画像分類名31C-1~31C-3で構成することができる。画像分類モデル40をこのような階層構造とした場合、一覧窓118には、画像分類モデル40Aにおいて、画像分類名31A-2を画像分類名31B-1,31B-2に置き換えるとともに、画像分類名31A-5を画像分類名31C-1,31C-2,31C-3に置き換えたものが表示される。
(GUI140)
GUI140は、ユーザによる情報処理システム100へのデータ入力、または、ユーザへの情報処理システム100からのデータ提示を行うための画面を提供する。GUI140は、例えば、図11に示したように、タグセット12sの作成を行うための画面141を提供する。画面141には、例えば、指定された全てのタグ12(指定タグ12-1,12-2,12-3)が一覧で表示されている。画面141には、さらに、例えば、タグセット12sにタグ12の追加を行うためのボタン143や、複数の画像分類モデル40の中から、タグセット12sに対応付ける画像分類モデル40を選択するためのボタン144が表示されている。なお、図11には、タグセット12sに対応付ける画像分類モデル40として選択された画像分類モデル40(全ての画像分類名31が階層なしで羅列されたモデル)が画面141に表示されている様子が例示されている。
GUI140は、例えば、図12に示したように、テキスト分類モデルの作成を行うための画面142を提供する。画面142には、例えば、機械学習を実行するのに必要な複数のテキストデータ10(10A)の一覧や、機械学習の成績を確認するためのテストを実行するのに必要な複数のテキストデータ(10B)の一覧が表示される。画面142には、さらに、例えば、設定されたタグセット12sや、設定された画像分類名31からなる画像分類名リスト30が表示される。画面142には、さらに、例えば、機械学習を実行するためのボタン145や、テストを実行するためのボタン146などが表示される。
[動作]
次に、本実施の形態に係る情報処理システム100の動作について説明する。
(画像データ取得)
図13、図14は、情報処理システム100におけるデータ取得手順の一例を表したものである。ユーザは、画像情報データベース200のデータ(画像データ20)を取得する。具体的には、ユーザは、GUI110に対して、画像情報データベース200のデータ(画像データ20)を取得するための画面の表示を指示する。これにより、画像取得が開始される。すると、GUI110は、画像情報データベース200のデータ(画像データ20)を取得するための画面を表示する。次に、ユーザは、GUI110に対して、画像データ20を取得するための条件を指定する。すると、情報処理部180は、GUI110で指定された条件に応じた画像取得依頼を画像データIF120に出力する。このとき、画像取得依頼には、例えば、取得した画像の送信先(具体的には統合情報データベース170)が含まれている。画像データIF120は、入力された画像取得依頼を画像情報データベース200に出力する。画像情報データベース200は、画像取得依頼が入力されると、入力された画像取得依頼に含まれる条件に合致する画像データ20を読み出し、画像データIF120に送信する。画像データIF120は、画像情報データベース200から画像データ20を受信すると、受信した画像データ20を、画像取得依頼に含まれる画像の送信先(具体的には統合情報データベース170)に送信する。統合情報データベース170は、画像データIF120から画像データ20を受信すると、受信した画像データ20を保存する。このようにして、画像データ20の取得が終了する。
(テキストデータ10取得)
ユーザは、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)を取得する。具体的には、ユーザは、GUI140に対して、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)を取得するための画面の表示を指示する。これにより、テキスト取得が開始される。すると、GUI140は、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)を取得するための画面を表示する。次に、ユーザは、GUI140に対して、テキストデータ10(またはカラムデータセット11s)を取得するための条件を指定する。すると、情報処理部180は、GUI140で指定された条件に応じたテキスト取得依頼をテキストデータIF150に出力する。このとき、テキスト取得依頼には、例えば、取得したテキストデータ10(またはカラムデータセット11s)の送信先(具体的には統合情報データベース170)が含まれている。テキストデータIF150は、入力されたテキスト取得依頼をテキスト情報データベース300に出力する。テキスト情報データベース300は、テキスト取得依頼が入力されると、入力されたテキスト取得依頼に含まれる条件に合致するテキストデータ10(またはカラムデータセット11s)を読み出し、テキストデータIF150に送信する。テキストデータIF150は、テキスト情報データベース300からテキストデータ10(またはカラムデータセット11s)を受信すると、受信したテキストデータ10(またはカラムデータセット11s)を、テキスト取得依頼に含まれる、テキストデータ10(またはカラムデータセット11s)の送信先(具体的には統合情報データベース170)に送信する。統合情報データベース170は、テキストデータIF150からテキストデータ10(またはカラムデータセット11s)を受信すると、受信したテキストデータ10(またはカラムデータセット11s)を保存する。このようにして、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)の取得が終了する。
(機械学習)
図15は、画像データ20についての機械学習の手順の一例を表したものである。まず、ユーザは、GUI110に対して、画像分類モデル40の設定を行うための画面112の表示を指示する。すると、GUI110は、画像分類モデル40の設定を行うための画面112を表示する。次に、ユーザは、必要に応じて、画像分類モデル40の階層構造を設定する。ユーザは、例えば、最上層の画像分類モデル40Aを6つの画像分類名31A-1~31A-6で構成し、画像分類名31A-2に、下層の画像分類モデル40Bを接続し、画像分類モデル40Bを2つの画像分類名31B-1,31B-2で構成し、画像分類名31A-5に、下層の画像分類モデル40Cを接続し、画像分類モデル40Cを3つの画像分類名31C-1~31C-3で構成する。情報処理部180は、GUI110を介して入力された、画像分類モデル40の階層構造についての設定情報を統合情報データベース170に送信する。統合情報データベース170は、受け取った設定情報を記憶する。
次に、ユーザは、GUI110に対して、画像分類モデル作成UIの画面111の表示を指示する。すると、GUI110は、画像分類モデル作成UIの画面111を表示する。次に、ユーザは、例えば、画面111上のボタン114を押すことにより、GUI110に対して、複数の画像データ20の読み出しを指示する。情報処理部180は、GUI110を介して、複数の画像データ20の読み出し指示(画像取得依頼)を受け取ると、画像データ20についての機械学習を開始する。情報処理部180は、画像取得依頼を統合情報データベース170に出力する。このとき、画像取得依頼には、例えば、取得した画像の送信先(具体的にはGUI110)が含まれている。統合情報データベース170は、画像取得依頼が入力されると、複数の画像データ20を読み出し、GUI110に送る。GUI110は、複数の画像データ20を受け取ると、受け取った複数の画像データ20を画面111に表示する。ユーザは、画面111に表示された複数の画像データ20の中から機械学習に適したものを選択する。続いて、ユーザは、画面111上のボタン113を押し、選択された画像データ20に適した画像分類名31を入力することにより、選択された画像データ20に適した画像分類名31を画像分類名リスト30に追加する。選択された画像データ20に適した画像分類名31が既に画面111に表示されている場合には、ユーザは、選択された画像データ20に適した画像分類名31を選択する。このとき、情報処理部180は、選択された画像データ20と、入力もしくは選択された画像データ20に適した画像分類名31とが対になるように画面111のデータを生成し、GUI110に転送する。に表示する。GUI110は、情報処理部180からの画面111のデータに基づいて画面111を表示する。
次に、ユーザは、画面111上のボタン115を押す。すると、GUI110は、まず、画像分類名リスト30を、ボタン115に紐付けられた送信先(具体的には統合情報データベース170)に送る。統合情報データベース170は、受け取った画像分類名リスト30を保存する。GUI110は、さらに、画像データ20(学習用画像データ21)と、画像データ20(学習用画像データ21)に適した画像分類名31とを学習データとして、ボタン115に紐付けられた送信先(具体的には統合情報データベース170および情報処理部180)に送る。統合情報データベース170は、受け取った一組の画像データ20(学習用画像データ21)および画像分類名31を学習データとして保存する。このとき、情報処理部180は、画像データ20を特徴量データ24に変換し、変換により得られた特徴量データ24と、変換前の画像データ20に適した画像分類名31とを学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。このようにして、画像データ20についての機械学習が終了する。
次に、ユーザは、GUI140に対して、タグセット作成UIの画面141の表示を指示する。すると、GUI140は、タグセット作成UIの画面141を表示する。次に、ユーザは、例えば、画面141上のボタン143を押すことにより、GUI140に対して、タグセット12sの作成を指示する。これにより、タグセット12sの作成が開始される。情報処理部180は、GUI140を介してテキストデータ10の取得依頼を受け取ると、受け取ったテキストデータ10の取得依頼を統合情報データベース170に出力する。ここで、テキストデータ10の取得依頼には、例えば、取得したテキストデータ10の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、テキストデータ10の取得依頼が入力されると、テキストデータ10を読み出し、テキストデータ10の取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、テキストデータ10を受け取ると、受け取ったテキストデータ10を画面141に表示する。ユーザは、表示されたテキストデータ10の中から1または複数のタグ12を選択する。すると、情報処理部180は、ユーザによって選択された1または複数のタグ12を指定タグ(例えば、12-1,12-2,12-3)とするタグセット12sを生成し、統合情報データベース170に送る。統合情報データベース170は、受け取ったタグセット12sを保存する。このようにして、タグセット12sの設定が終了する。
ユーザは、さらに、例えば、画面141上のボタン144を押すことにより、GUI140に対して、画像分類モデル40の選択を指示する。これにより、画像分類モデル40の選択が開始される。情報処理部180は、GUI140を介して、画像分類モデル40の選択指示を受け取ると、統合情報データベース170から画像分類モデル40の階層構造についての設定情報を読み出し、GUI140に送る。GUI140は、情報処理部180から、画像分類モデル40の階層構造についての設定情報を受け取ると、受け取った画像分類モデル40の階層構造についての設定情報を画面141に表示する。ユーザは、表示された画像分類モデル40の階層構造についての設定情報の中から1つの構造を選択する。GUI140は、ユーザによって画像分類モデル40の構造が選択されると、選択された構造の画像分類モデル40を表示する。情報処理部180は、ユーザによって選択された画像分類モデル40についての情報を統合情報データベース170に送る。統合情報データベース170は、受け取った、画像分類モデル40についての選択情報を保存する。このようにして、画像分類モデル40の選択が終了する。
図16は、テキストデータ10(またはカラムデータセット11s)についての機械学習の手順の一例を表したものである。画像データ20についての機械学習が終了した後、ユーザは、GUI140に対して、テキスト分類モデル作成UIの画面142の表示を指示する。これにより、テキストデータ10(またはカラムデータセット11s)についての機械学習が開始される。情報処理部180は、GUI140を介して、テキスト分類モデル作成UIの画面142の表示指示を受け取ると、テキスト分類モデル作成UIの画面142のデータを生成し、GUI140に送る。GUI140は、情報処理部180から受け取った画面142のデータに基づいて、画面142を表示する。情報処理部180は、さらに、統合情報データベース170に対して、学習用の複数のテキストデータ10A(またはカラムデータセット11s)の取得依頼を行う。この取得依頼には、例えば、読み出した複数のテキストデータ10(またはカラムデータセット11s)の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、学習用の複数のテキストデータ10A(またはカラムデータセット11s)の取得依頼を受け取ると、複数のテキストデータ10(またはカラムデータセット11s)を読み出し、上記取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、複数のテキストデータ10(またはカラムデータセット11s)を受け取ると、受け取った複数のテキストデータ10(またはカラムデータセット11s)を、学習用の複数のテキストデータ10A(またはカラムデータセット11s)として画面142に表示する。このとき、情報処理部180は、さらに、統合情報データベース170に対して、画像分類名リスト30の取得依頼を行う。この取得依頼には、例えば、読み出した複数のテキストデータ10(またはカラムデータセット11s)の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、画像分類名リスト30の取得依頼を受け取ると、画像分類名リスト30を読み出し、上記取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、画像分類名リスト30を受け取ると、受け取った画像分類名リスト30を画面142に表示する。次に、ユーザは、例えば、画面142に表示された複数の学習用のテキストデータ10A(またはカラムデータセット11s)の中から1つのテキストデータ10A(例えば、テキストデータ10A-1)(またはカラムデータセット11s)を選択し、画面142上のボタン145を押す。すると、GUI140は、選択されたテキストデータ10A(例えば、テキストデータ10A-1)、もしくは選択されたテキストデータ10A(例えば、テキストデータ10A-1)に含まれるカラムデータセット11sと、画像分類名リストとを学習データとして、ボタン145に紐付けられた送信先(具体的には統合情報データベース170)に送る。統合情報データベース170は、受け取ったデータを学習データとして保存する。このとき、GUI140は、選択されたテキストデータ10A(例えば、テキストデータ10A-1)、もしくは選択されたテキストデータ10A(例えば、テキストデータ10A-1)に含まれるカラムデータセット11sと、画像分類名リストとを学習データとして、ボタン145に紐付けられた送信先(具体的には情報処理部180)に送る。なお、GUI140は、選択されたカラムデータセット11sと、画像分類名リストとを学習データとして、統合情報データベース170に送ってもよい。さらに、GUI140は、選択されたカラムデータセット11sと、画像分類名リストとを学習データとして、情報処理部180に送ってもよい。情報処理部180は、受け取ったデータを学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。このようにして、学習が終了する。
(テスト)
図17は、画像データ20についての機械学習の成績を確認するためのテストの手順の一例を表したものである。まず、ユーザは、GUI110に対して、画像分類モデル作成UIの画面111の表示を指示する。情報処理部180は、GUI110を介して、画像分類モデル作成UIの画面111の表示指示を受け取ると、画像分類モデル作成UIの画面111のデータを生成し、GUI110に送る。GUI110は、情報処理部180から受け取った画面111のデータに基づいて、画面111を表示する。情報処理部180は、さらに、画像分類名リスト30の取得依頼を統合情報データベース170に出力する。ここで、画像分類名リスト30の取得依頼には、例えば、読み出した画像分類名リスト30の送信先(具体的にはGUI110)が含まれている。統合情報データベース170は、画像分類名リスト30の取得依頼が入力されると、画像分類名リスト30を読み出し、画像分類名リスト30の取得依頼に含まれる送信先(具体的にはGUI110)に送る。GUI110は、画像分類名リスト30を受け取ると、受け取った画像分類名リスト30を画面111に表示する。
次に、ユーザは、例えば、画面111上のボタン116を押すことにより、GUI110に対して、複数の画像データ20の取得を指示する。これにより、画像データ20を用いたテストが開始される。情報処理部180は、GUI110を介して、複数の画像データ20の取得依頼(画像取得依頼)を受け取ると、受け取った画像取得依頼を統合情報データベース170に出力する。ここで、画像取得依頼には、例えば、取得した複数の画像データ20の送信先(具体的にはGUI110)が含まれている。統合情報データベース170は、画像取得依頼が入力されると、複数の画像データ20を読み出し、画像取得依頼に含まれる送信先(具体的にはGUI110)に送る。GUI110は、複数の画像データ20を受け取ると、受け取った複数の画像データ20を画面111に表示する。ユーザは、画面111に表示された複数の画像データ20の中からテスト用画像データ22に適したものを選択する。すると、GUI110は、選択された複数の画像データ20をテスト用画像データ22として画面111に表示する。
次に、ユーザは、画面111上のボタン117を押す。すると、GUI110は、選択された画像データ20(テスト用画像データ22)を情報処理部180に送る。情報処理部180は、受け取った画像データ20(テスト用画像データ22)から、画像データ20(テスト用画像データ22)の画像分類名31を推定する。このとき、情報処理部180は、例えば、受け取った画像データ20(テスト用画像データ22)を特徴量データ24に変換し、それにより得られた特徴量データ24に基づいて、画像データ20(テスト用画像データ22)の画像分類名31を推定する。
GUI110は、推定により得られた画像分類名31をGUI110に送信する。GUI110は、受け取った画像分類名31を、選択された画像データ20(テスト用画像データ22)の画像分類名31として画面111に表示する。なお、GUI110は、受け取った画像分類名31と同じ画像分類名31が表示されている箇所に隣接する箇所に、選択された画像データ20(テスト用画像データ22)を表示してもよい。
ユーザは、情報処理部180(画像分類学習プログラム130)によって提示された画像分類名31が、選択された画像データ20(テスト用画像データ22)の画像分類名31として適していないと判断した場合には、ユーザは、情報処理部180(画像分類学習プログラム130)によって提示された画像分類名31を適切な画像分類名31に訂正する。なお、GUI110が、受け取った画像分類名31と同じ画像分類名31が表示されている箇所に隣接する箇所に、選択された画像データ20(テスト用画像データ22)を表示した場合には、ユーザは、選択された画像データ20(テスト用画像データ22)を、適切な画像分類名31が表示されている箇所に隣接する箇所に移動してもよい。
画像分類名31が適切な画像分類名31に訂正されるか、または、選択された画像データ20(テスト用画像データ22)が、適切な画像分類名31が表示されている箇所に隣接する箇所に移動された場合、GUI110は、選択された画像データ20(テスト用画像データ22)と、適切な画像分類名31とを学習データとして、統合情報データベース170に送る。統合情報データベース170は、受け取った一対の画像データ20(テスト用画像データ22)および画像分類名31を学習データとして保存する。このとき、GUI110は、選択された画像データ20(テスト用画像データ22)を特徴量データ24に変換し、変換により得られた特徴量データ24と、変換前の画像データ20(テスト用画像データ22)に適した画像分類名31とを学習データとして、情報処理部180に送る。情報処理部180は、受け取った一対の特徴量データ24および画像分類名31を第1学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。
図18は、テキストデータ10(またはカラムデータセット11s)についての機械学習の成績を確認するためのテストの手順の一例を表したものである。まず、ユーザは、GU1140に対して、テキスト分類モデル作成UIの画面142の表示を指示する。情報処理部180は、GUI140を介して、テキスト分類モデル作成UIの画面142の表示指示を受け取ると、テキスト分類モデル作成UIの画面142のデータを生成し、GUI140に送る。GUI140は、情報処理部180から受け取った画面142のデータに基づいて、画面142を表示する。情報処理部180は、さらに、テキストデータ10(またはカラムデータセット11s)の取得依頼を統合情報データベース170に出力する。ここで、この取得依頼には、例えば、読み出したテキストデータ10(またはカラムデータセット11s)の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、テキストデータ10(またはカラムデータセット11s)の取得依頼が入力されると、複数のテキストデータ10(またはカラムデータセット11s)を読み出し、上記取得依頼に含まれる、テキストデータ10(またはカラムデータセット11s)の送信先(GUI140)に送る。情報処理部180は、さらに、受け取った複数のテキストデータ10(またはカラムデータセット11s)をテスト用の複数のテキストデータ10B(またはカラムデータセット11s)として画面142に一覧表示する。情報処理部180は、さらに、画像分類名リスト30の取得依頼を統合情報データベース170に出力する。画像分類名リスト30の取得依頼には、例えば、画像分類名リスト30の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、画像分類名リスト30の取得依頼が入力されると、画像分類名リスト30を読み出し、画像分類名リスト30の取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、画像分類名リスト30を受け取ると、受け取った画像分類名リスト30を画面142に一覧表示する。
次に、ユーザは、画面142に表示された複数のテキストデータ10B(またはカラムデータセット11s)の中から1つのテキストデータ10B(またはカラムデータセット11s)を選択し、ボタン146を押す。すると、GUI140は、選択したテキストデータ10Bにおけるカラムデータセット11s、または、選択したカラムデータセット11sを情報処理部180に送信する。情報処理部180は、受け取ったカラムデータセット11sに対して最も適切な画像分類名31を推定し、それにより得られた画像分類名31をGUI140に送信する。GUI140は、受け取った画像分類名31を画面142に表示する。なお、画像分類名リスト30が画面に表示されている場合に、画像分類名リスト30の中に、受け取った画像分類名31と同じ画像分類名31が含まれているときには、GUI140は、画像分類名リスト30の中の、受け取った画像分類名31と同じ画像分類名31をハイライト表示するなどしてもよい。
ユーザは、情報処理部180(テキスト分類学習プログラム160)によって提示された画像分類名31が、選択されたテキストデータ10B(またはカラムデータセット11s)の画像分類名31として適していないと判断した場合には、ユーザは、テキスト分類学習プログラム160によって提示された画像分類名31を適切な画像分類名31に訂正する。
画像分類名31が適切な画像分類名31に訂正された場合、GUI140は、選択されたテキストデータ10B(またはカラムデータセット11s)と、適切な画像分類名31とを学習データとして、統合情報データベース170に送る。統合情報データベース170は、受け取った一対のテキストデータ10B(またはカラムデータセット11s)および画像分類名31を学習データとして保存する。このとき、GUI140は、選択されたテキストデータ10Bのカラムデータセット11sと、適切な画像分類名31とを学習データとして、テキスト分類学習プログラム160がロードされた情報処理部180に送る。テキスト分類学習プログラム160がロードされた情報処理部180は、受け取った一対のカラムデータセット11sおよび画像分類名31を学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。
(キー画像取得)
図19は、キー画像抽出手順の一例を表したものである。GUI140は、キー画像抽出プロセスにおいて、テキスト情報データベース300から読み出されたテキストデータ10(またはカラムデータセット11s)に対して、画像分類学習プログラム130およびテキスト分類学習プログラム160による学習結果を適用することにより、テキストデータ10(またはカラムデータセット11s)に関連する画像データ20を取得する。
具体的には、まず、ユーザは、GUI140に対して、手術リストの画面147の表示を指示する。情報処理部180は、GUI140を介して、手術リストの画面147の表示指示を受け取ると、手術リストの画面147のデータを生成し、GUI140に送る。GUI140は、情報処理部180から受け取った画面147のデータに基づいて、画面147を表示する。情報処理部180は、さらに、所定の条件に合致するテキストデータ10(またはカラムデータセット11s)の取得依頼を統合情報データベース170に出力する。ここで、「所定の条件に合致するテキストデータ10」とは、例えば、本日手術予定の患者のテキストデータ10(またはカラムデータセット11s)を指している。テキストデータ10(またはカラムデータセット11s)の取得依頼には、例えば、読み出したテキストデータ10(またはカラムデータセット11s)の送信先(具体的にはGUI140、情報処理部180)が含まれている。
統合情報データベース170は、所定の条件に合致するテキストデータ10の取得依頼が入力されると、所定の条件に合致する複数のテキストデータ10(またはカラムデータセット11s)を読み出し、テキストデータ10(またはカラムデータセット11s)の取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、複数のテキストデータ10(またはカラムデータセット11s)を受け取ると、受け取った複数のテキストデータ10(またはカラムデータセット11s)に含まれる内容を、手術リストの表示形式に対応させて画面147に一覧表示する(図20参照)。このとき、GUI140は、例えば、受け取った複数のテキストデータ10(またはカラムデータセット11s)に含まれる内容を、手術開始時刻の早い順に並べて画面147に一覧表示する。
統合情報データベース170は、さらに、所定の条件に合致する複数のテキストデータ10(またはカラムデータセット11s)を情報処理部180に送信する。情報処理部180は、受け取った各テキストデータ10(またはカラムデータセット11s)に対して最も適切な画像分類名31をテキストデータ10(またはカラムデータセット11s)ごとに推定し、それにより得られた複数の画像分類名31に対して最も適切な画像データ20(キー画像20x)を推定する。情報処理部180は、推定結果に基づいて、統合情報データベース170から、該当する複数の画像データ20(キー画像20x)を読み出す。情報処理部180は、読み出した複数の画像データ20(キー画像20x)をGUI140に送信する。GUI140は、受け取った複数の画像データ20(キー画像20x)を画面147に表示する。GUI140は、このとき、受け取った複数の画像データ20(キー画像20x)を、対応するテキストデータ10(またはカラムデータセット11s)ごとに1つずつ割り当てて画面147に表示する。GUI140は、このようにして、テキストデータ10(またはカラムデータセット11s)に含まれる全部もしくは一部のデータと、テキストデータ10(またはカラムデータセット11s)に関連する画像データ20とを関連付けた手術リストを生成し、画面147に表示する。
ユーザは、情報処理部180(画像分類学習プログラム130)によって提示された画像データ20(キー画像20x)が、対応するテキストデータ10(またはカラムデータセット11s)との関係で適していないと判断した場合には、ユーザは、画像分類学習プログラム130によって提示された画像データ20(キー画像20x)を適切な画像データ20に訂正する。例えば、ユーザは、手術リスト内の右脇にある「誤」のボタンを押す。これにより、GUI140は、画像リスト取得依頼を情報処理部180に送る。情報処理部180は、GUI140から画像リスト取得依頼が入力されると、画像リスト取得依頼を統合情報データベース170に送る。ここで、画像リスト取得依頼には、例えば、読み出した画像データ20の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、画像リスト取得依頼を受け取ると、「誤」のボタンが押された患者に関する複数の画像データ20を読み出し、GUI140に送信する。GUI140は、受け取った複数の画像データ20を画面147に表示する。ユーザは、画面147に表示された複数の画像データ20の中から適切な画像データ20を選択する。GUI140は、元の画像データ20を、選択された画像データ20に差し替えて画面147に表示する。
GUI140は、さらに、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして、統合情報データベース170に送る。統合情報データベース170は、受け取った一対の画像データ20(テスト用画像データ22)および画像分類名31を学習データとして保存する。このとき、GUI140は、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして、情報処理部180に送る。情報処理部180は、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。このように、GUI140は、ユーザから、手術リストに含まれる画像データ20を別の画像データ20に差し替える処理を受け付けた場合には、画像分類学習プログラム130がロードされた情報処理部180は、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして機械学習を行う。
[効果]
次に、本実施の形態に係る情報処理システム100の効果について説明する。
近年、様々な業務がシステム化され、人手による作業の省力化が進んでいる。しかし、システム同士の仕様が異なる場合には、システム同士で連携することが難しい。その結果、ユーザは、ある業務を行う際に、仕様の異なる様々なシステムを個別に操作することが必要となる場合がある。例えば、ユーザが、2つのシステムから抽出したデータ(以下、「データA,B」と称する。)を元に、別のシステムのデータ(以下、「データC」と称する。)を抽出しようとした場合、システム間の仕様の違いに起因して、データA,Bを元にデータCを自動で抽出することができず、ユーザが、手作業でデータCを探すことになる場合がある。この場合には、人手によるデータ探索が必要であり、システム化が、人手による作業の省力化に寄与しているとは言い難い。
そこで、システム同士での連携が行えるよう、仕様の互いに異なる既存のシステムを仕様の互いに等しいシステムに置き換えることが考えられる。また、例えば、上記特許文献1に記載したように、各システムのデータ間の連携関係を定義する書式対応テーブルを設けることも考えられる。
しかし、システムの置き換えには、例えば、意味が重複するデータや、形式が異なるデータ、サイズが異なるデータのフォーマットや関連付けを再設計し、データコンバートを行い、新しいシステムへデータ入力を行う必要がある。また、システムを置き換えたり、書式対応テーブルを設けたりする場合には、運用途中でそれぞれのデータベースにおけるデータフォーマットやデータの関連付けの変更をすることができない。
一方、本実施の形態では、画像情報データベース200の画像データ20と、各画像データ20の種類を区別する複数の画像分類名31のうちの1つである画像分類名31とを学習データとして、画像分類学習プログラム130がロードされた情報処理部180において機械学習が行われる。さらに、テキスト情報データベース300のテキストデータ10に含まれるカラムデータセット11s、もしくは、テキスト情報データベース300のカラムデータセット11sと、複数の画像分類名31のうちの1つである画像分類名31とを学習データとして、テキスト分類学習プログラム160がロードされた情報処理部180において機械学習が行われる。
このように、本実施の形態では、2つのデータベース(画像情報データベース200、テキスト情報データベース300)の連携に、共通の識別子(画像分類名31)を学習データとする2つの機械学習が行われる。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。しかも、運用途中で、2つのデータベース(画像情報データベース200、テキスト情報データベース300)の連携に支障を与えることなく、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けの変更をすることもできる。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
また、本実施の形態では、テキスト情報データベース300のテキストデータ10に含まれるカラムデータセット11s、または、テキスト情報データベース300のカラムデータセット11sに対して、2つの機械学習による学習結果を適用することにより、カラムデータセット11sに関連する画像データ20(キー画像データ)が取得される。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。しかも、運用途中で、2つのデータベース(画像情報データベース200、テキスト情報データベース300)の連携に支障を与えることなく、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けの変更をすることもできる。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
また、本実施の形態では、テキスト情報データベース300のテキストデータ10に含まれるカラムデータセット11s、または、テキスト情報データベース300のカラムデータセット11sが統合情報データベース170に記憶される。これにより、テキストデータ10またはカラムデータセット11sを取得する際に、外部のデータベース(画像情報データベース200、テキスト情報データベース300)に頻繁にアクセスする必要がなくなるので、システム間の連携をスピーディーに行うことができる。
また、本実施の形態では、画像データ20と、テキストデータ10もしくはカラムデータセット11sとの関連付けが、画像分類名31という識別子を用いて行われる。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
また、本実施の形態では、識別子として用いられる画像分類名31が、画像データ20の種類を分類する名前またはそれに対応する文字列もしくは数列を含んで構成されている。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
また、本実施の形態では、テキスト(例えば、ファイル名やメタタグなど)が画像データ20に付随している場合であっても、そのテキストを利用しないで機械学習が行われる。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
また、本実施の形態では、テキストデータ10もしくはカラムデータセット11sに含まれる全部もしくは一部のデータと、テキストデータ10もしくはカラムデータセット11sに関連する画像データ20とを関連付けた手術リストが生成される。これにより、例えば、医療関係者は、手術の際に、患者の取り違えや、手術部位の勘違いをすることを低減することができる。
また、本実施の形態では、ユーザが、手術リストに含まれる画像データ20を別の画像データ20に差し替えた場合には、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして機械学習が行われる。これにより、学習の精度を高めることができる。
<2.変形例>
次に、上記実施の形態に係る情報処理システム100の変形例について説明する。
上記実施の形態において、外部のデータベースの数は、3つ以上となっていてもよい。また、上記実施の形態では、テキストデータ10は、手術情報で構成されていたが、手術情報以外の情報で構成されていてもよい。
上記実施の形態およびその変形例において、情報処理システム100は、画像情報データベース200のデータ(画像データ20)をあらかじめ、統合情報データベース170に格納せず、必要なときに必要なだけ、画像情報データベース200から画像データ20を読み出すようにしてもよい。同様に、情報処理システム100は、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)をあらかじめ、統合情報データベース170に格納せず、必要なときに必要なだけ、テキスト情報データベース300から、テキストデータ10(またはカラムデータセット11s)を読み出すようにしてもよい。このようにした場合には、統合情報データベース170の容量を最小限に抑えることができる。
10,10A,10B…テキストデータ、11…カラムデータ、11-1,11-2,11-3…指定カラムデータ、11c…カスタマイズカラムデータ、11s…カラムデータセット、12…タグ、12-1,12-2,12-3…指定タグ、12s…タグセット、13…内容、20,23…画像データ、21…学習用画像データ、22…テスト用画像データ、30…画像分類名リスト、31…画像分類名、40,40A,40B,40C…画像分類モデル、100…情報処理システム、111,112,141,147…画面、113,114,115,116,117,119,143,144,145,146…ボタン、118…一覧窓、110,140…GUI、120…画像データIF、130,131,132…画像分類学習プログラム、150…テキストデータIF、160…テキスト分類学習プログラム、171,172…学習データ、180…情報処理部、200…画像情報データベース、300…テキスト情報データベース、1100,2100,3100…CPU、1200,2200,3200…メモリ、1300,2300,3300…ネットワークIF、1400…入力装置、1500…出力装置、2000,3000…情報処理システム、4000…ネットワーク。

Claims (5)

  1. 仕様の互いに異なる第1システムおよび第2システムの連携を可能にする情報処理システムであって、
    前記第1システムは、複数の画像データを記憶する第1データベースを備え、
    前記第2システムは、複数のテキストデータを記憶する第2データベースを備え、
    当該情報処理システムは、
    所定の条件に合致する前記テキストデータである特定テキストデータを前記第2データベースから読み出す第1読み出し部と、
    前記第1データベースから読み出した前記画像データと、複数の識別子のうちの1つである第1識別子とを関連付けた第1データと、前記第2データベースから読み出した前記テキストデータと、前記複数の識別子のうちの1つである第2識別子とを関連付けた第2データとに基づいて、前記複数の識別子の中から、前記特定テキストデータに対応する識別子である第3識別子を推定する推定部と、
    推定により得られた前記第3識別子に対して適した画像データである特定画像データを前記第1データベースから読み出す第2読み出し部と
    を備えた
    情報処理システム。
  2. 前記画像データは、患者が検査の際の撮影により得られたデータであり、
    前記テキストデータは、手術データであり、
    前記識別子は、前記画像データの種類を分類する名前またはそれに対応する文字列もしくは数列である
    請求項1に記載の情報処理システム。
  3. 前記第1データおよび前記第2データを生成する生成部と、
    前記生成部で生成した前記第1データおよび前記第2データを記憶する第3データベースと
    を更に備えた
    請求項1または請求項2に記載の情報処理システム。
  4. 前記特定テキストデータおよび前記特定画像データを表示する表示部を更に備えた
    請求項1ないし請求項3のいずれか一項に記載の情報処理システム。
  5. 前記特定画像データを、前記第1データベースから新たに読み出した前記画像データである差し替え画像データに差し替える差し替え部を更に備え、
    前記表示部は、前記特定テキストデータおよび前記差し替え画像データを表示する
    請求項4に記載の情報処理システム。
JP2018208464A 2018-10-18 2018-10-18 情報処理システム Active JP7060852B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018208464A JP7060852B2 (ja) 2018-10-18 2018-10-18 情報処理システム
PCT/JP2019/042082 WO2020080556A1 (ja) 2018-10-18 2019-10-18 情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018208464A JP7060852B2 (ja) 2018-10-18 2018-10-18 情報処理システム

Publications (2)

Publication Number Publication Date
JP2020064581A JP2020064581A (ja) 2020-04-23
JP7060852B2 true JP7060852B2 (ja) 2022-04-27

Family

ID=70282937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018208464A Active JP7060852B2 (ja) 2018-10-18 2018-10-18 情報処理システム

Country Status (2)

Country Link
JP (1) JP7060852B2 (ja)
WO (1) WO2020080556A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202407555A (zh) * 2022-08-02 2024-02-16 日商索尼半導體解決方案公司 資訊處理裝置、資訊處理方法、及記錄媒體

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193399A (ja) 2006-01-17 2007-08-02 Konica Minolta Medical & Graphic Inc 情報提示システム、及びプログラム
JP2018005640A (ja) 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1708099A1 (en) * 2005-03-29 2006-10-04 BRITISH TELECOMMUNICATIONS public limited company Schema matching
US20150161331A1 (en) * 2013-12-04 2015-06-11 Mark Oleynik Computational medical treatment plan method and system with mass medical analysis
JP6397385B2 (ja) * 2015-08-21 2018-09-26 日本電信電話株式会社 学習装置、探索装置、方法、及びプログラム
JP6738163B2 (ja) * 2016-03-01 2020-08-12 キヤノン株式会社 診断支援装置、診断支援装置が実行する方法及びプログラム
KR20230118194A (ko) * 2016-06-28 2023-08-10 하트플로우, 인크. 지리적 지역들에 걸친 분석용 건강 데이터를 수정 및 편집하기 위한 시스템 및 방법
US10692015B2 (en) * 2016-07-15 2020-06-23 Io-Tahoe Llc Primary key-foreign key relationship determination through machine learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193399A (ja) 2006-01-17 2007-08-02 Konica Minolta Medical & Graphic Inc 情報提示システム、及びプログラム
JP2018005640A (ja) 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム

Also Published As

Publication number Publication date
JP2020064581A (ja) 2020-04-23
WO2020080556A1 (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
JP6796413B2 (ja) 医療支援方法及び医療支援システム
CN107405079A (zh) 用于解剖区域的视频图像的内容管理的方法和系统
JP2015203920A (ja) 類似症例検索システム、類似症例検索方法及びプログラム
JP2016101297A (ja) 眼科情報処理システムおよび眼科情報処理方法
US20070179814A1 (en) System For Processing Data Representing A Deficiency In A Record
JP2009112802A (ja) 画像診断支援システム及び画像診断支援プログラム
JP7060852B2 (ja) 情報処理システム
CN109545332A (zh) 一种医学影像工作站系统
WO2003046800A1 (en) System process and logic element for providing and managing record keeping applications
JP2018055278A (ja) 医用情報処理装置、医用情報処理システム、医用情報処理方法およびプログラム
US20030229614A1 (en) Hand-held data entry system and method for medical procedures
JP2006075416A (ja) 医用画像システム
JP5228848B2 (ja) 画像表示装置
JP5027436B2 (ja) 放射線機器操作補助システムとその処理方法
JP2019141642A (ja) 眼科情報処理システム
CN109804345B (zh) 通过自动分类进行打印
US20020059315A1 (en) Medical data processing method and medical data processing system
CN110291590A (zh) 用于收集大医学图像数据的系统和方法
JP6771328B2 (ja) 紹介状作成支援システム、紹介状作成支援装置及び紹介状作成支援方法
JP2002342485A (ja) 読影支援方法、読影支援システム、読影支援連携装置、この方法の実行プログラム、及びこの方法の実行プログラムを記録した記録媒体
JP2001344346A (ja) 音声入力付き電子カルテ処理装置
CN107580038A (zh) 一种专家推荐方法及系统
WO2018026003A1 (ja) 医療器材用メモ情報管理装置、医療器材用メモ情報管理システム
JP5181008B2 (ja) 自動処理リスト作成装置、方法並びにプログラム
US9280253B2 (en) Application coordinating system, application coordinating method, and application coordinating program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220331

R150 Certificate of patent or registration of utility model

Ref document number: 7060852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150