JP7387340B2 - 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム - Google Patents
生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム Download PDFInfo
- Publication number
- JP7387340B2 JP7387340B2 JP2019158863A JP2019158863A JP7387340B2 JP 7387340 B2 JP7387340 B2 JP 7387340B2 JP 2019158863 A JP2019158863 A JP 2019158863A JP 2019158863 A JP2019158863 A JP 2019158863A JP 7387340 B2 JP7387340 B2 JP 7387340B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- biological
- voxel
- biological sample
- living body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000004590 computer program Methods 0.000 title claims description 12
- 239000012472 biological sample Substances 0.000 claims description 55
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 239000000523 sample Substances 0.000 claims description 7
- 241001465754 Metazoa Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 210000003491 skin Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 9
- 239000000470 constituent Substances 0.000 description 7
- 210000003484 anatomy Anatomy 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 4
- 210000003780 hair follicle Anatomy 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 210000002615 epidermis Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001732 sebaceous gland Anatomy 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000002374 sebum Anatomy 0.000 description 1
- 210000000434 stratum corneum Anatomy 0.000 description 1
- 210000000106 sweat gland Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Description
本発明は、例えば、生体データに表された生体の３次元構造を識別するための生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラムに関する。
コンピュータ断層撮影（computed tomography, CT）または核磁気共鳴画像法（magnetic resonance imaging, MRI）といった、生体または生体サンプルの３次元構造を表す生体データを取得する技術が知られている（例えば、非特許文献１～３を参照）。観察者は、例えば、表示装置に表示された、このような生体データを観察することで、その生体データに表された被写体の構造を理解することができる。
Brenner, D. J., & Hall, E. J., Computed tomography-an increasing source of radiation exposure, New England Journal of Medicine, 357(22), 2277-2284, 2007年
Agatston, A. S., Janowitz, W. R., Hildner, F. J., Zusmer, N. R., Viamonte, M., & Detrano, R., Quantification of coronary artery calcium using ultrafast computed tomography, Journal of the American College of Cardiology, 15(4), 827-832, 1990年
Ogawa, S., Lee, T. M., Kay, A. R., & Tank, D. W., Brain magnetic resonance imaging with contrast dependent on blood oxygenation, Proceedings of the National Academy of Sciences, 87(24), 9868-9872, 1990年
しかしながら、観察者が表示装置に表示された生体データを見ながら、その生体データに表された被写体の構造の細部を識別することは、観察者にとって煩雑な作業である。また、場合によっては、観察者が、生体データに表された被写体の部分的な構造を誤認識し、あるいは、見落とすこともある。そこで、そのような生体データに表された被写体の３次元構造を自動的に識別することができる技術が求められている。
一つの側面では、本発明は、生体データに表された被写体である生体または生体サンプルの３次元構造を自動的に識別することが可能な生体構造識別装置を提供することを目的とする。
一つの実施形態によれば、生体構造識別装置が提供される。この生体構造識別装置は、生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に生体データを入力することで、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別する識別部を有する。
この生体構造識別装置において、識別器は、生体データが入力される入力層と、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果を出力する出力層と、入力層と出力層との間に接続される複数の隠れ層とを有するコンボリューショナルニューラルネットワークであり、入力層及び複数の隠れ層のうちの少なくとも一つの層は、その層に入力される３次元座標系で表される３次元データに含まれる複数の第２のボクセルのそれぞれについて、その第２のボクセルを含む３次元領域内の第２のボクセルのそれぞれの値を入力とする畳み込み演算を実行する畳み込み層であることが好ましい。
また、この生体構造識別装置は、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果に基づいて、複数の第１のボクセルのなかから、生体または生体サンプルの第１の構成要素を表す第３のボクセルと、第１の構成要素と所定の関連を有する生体または生体サンプルの第２の構成要素を表す第４のボクセルとを選択する選択部と、第３のボクセル及び第４のボクセルを表示装置に表示させる表示制御部とをさらに有することが好ましい。
この場合において、所定の関連は、生成物を受け渡す関係を表し、第１の構成要素及び第２の構成要素の一方は、生成物を生成する第１の細胞であり、第１の構成要素及び第２の構成要素の他方は、生成物を受け取る第２の細胞であることが好ましい。
さらにこの生体構造識別装置において、生体データに表される生体または生体サンプルは、人または動物の皮膚組織であることが好ましい。
他の実施形態によれば、生体構造識別方法が提供される。この生体構造識別方法は、生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に生体データを入力することで、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別する、ことを含む。
さらに他の実施形態によれば、生体構造識別用コンピュータプログラムが提供される。この生体構造識別用コンピュータプログラムは、生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に生体データを入力することで、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別する、ことをコンピュータに実行させるための命令を含む。
一つの側面によれば、生体構造識別装置は、生体データに表された被写体である生体または生体サンプルの３次元構造を自動的に識別することができる。
以下、図を参照しつつ、生体構造識別装置、及び、その生体構造識別装置で利用される生体構造識別方法及び生体構造識別用コンピュータプログラムについて説明する。この生体構造識別装置は、いわゆるセマンティックセグメンテーションを、被写体となる生体または生体サンプルの３次元構造を３次元の直交座標系で表す生体データ（以下、単に生体データと呼ぶ）に対して実行するように予め学習された識別器に、生体データを入力することで、その生体データのボクセルごとに、そのボクセルに表された生体または生体サンプルの構成要素を識別する。
なお、生体構造識別処理の対象となる生体データは、どのような手法によって得られるものでもよいが、例えば、CTまたはMRIによって得られる、人または動物の体の一部（例えば、内臓または皮膚組織等）が３次元的に表されたものとすることができる。
本実施形態では、生体データは、CTにより得られた、人の皮膚組織のサンプルを表すものとする。
図１は、一つの実施形態による、生体構造識別装置のハードウェア構成図である。図１に示されるように、生体構造識別装置１は、通信インターフェース２と、入力装置３と、表示装置４と、メモリ５と、記憶媒体アクセス装置６と、プロセッサ７とを有する。
通信インターフェース２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース２は、通信ネットワークを介して接続される他の機器（図示せず）から、様々な情報あるいはデータを受信してプロセッサ７へわたす。通信インターフェース２が受信するデータには、生体構造識別処理の対象となる生体データが含まれていてもよい。また通信インターフェース２は、プロセッサ７から受け取った、生体構造識別処理の実行結果として得られた、生体データに含まれるボクセルごとの生体または生体サンプルの構成要素の識別結果を表す、３次元のデータを、通信ネットワークを介して他の機器へ出力してもよい。
入力装置３は、例えば、キーボードと、マウスといったポインティングデバイスとを有する。そして入力装置３は、ユーザによる操作、例えば、生体構造識別処理の対象となる生体データを選択する操作、生体構造識別処理の実行開始を指示する操作、あるいは、生体データに含まれるボクセルごとの生体または生体サンプルの構成要素の識別結果を表すデータを表示装置４に表示させる操作に応じた操作信号を生成し、その操作信号をプロセッサ７へ出力する。
表示装置４は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを有する。そして表示装置４は、プロセッサ７から受け取った表示用のデータ、例えば、生体構造識別処理を実行可能な生体データの候補を表すデータ、あるいは、生体データに含まれるボクセルごとの生体または生体サンプルの構成要素の識別結果を表す、３次元のデータを表示する。
なお、入力装置３と表示装置４とは、タッチパネルディスプレイのように一体化された装置であってもよい。
メモリ５は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリである。そしてメモリ５は、例えば、プロセッサ７で実行される生体構造識別処理用のコンピュータプログラム、その生体構造識別処理で用いられる各種のデータ、例えば、識別器を規定するパラメータ群、及び、その生体構造識別処理の実行中に生成される各種のデータを記憶する。さらに、メモリ５は、生体構造識別処理の対象となる生体データ、及び、生体データに含まれるボクセルごとの生体または生体サンプルの構成要素の識別結果を表す、３次元のデータ（以下、識別結果データと呼ぶことがある）を記憶してもよい。
記憶媒体アクセス装置６は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体８にアクセスする装置である。なお、記憶媒体アクセス装置６は、記憶媒体８とともに、記憶部の他の一例を構成する。記憶媒体アクセス装置６は、例えば、記憶媒体８に記憶された、プロセッサ７上で実行される生体構造識別処理用のコンピュータプログラム、あるいは、生体データを読み込み、プロセッサ７に渡す。あるいは、記憶媒体アクセス装置６は、識別結果データをプロセッサ７から受け取って、その識別結果データを記憶媒体８に書き込んでもよい。
プロセッサ７は、処理部の一例であり、例えば、１個または複数個のＣＰＵ及びその周辺回路を有する。さらに、プロセッサ７は、数値演算用の演算回路及び論理演算用の演算回路を有していてもよい。そしてプロセッサ７は、生体構造識別装置１全体を制御する。また、プロセッサ７は、対象となる生体データに対して生体構造識別処理を実行する。
図２は、プロセッサ７の機能ブロック図である。図２に示されるように、プロセッサ７は、識別部１１と、表示制御部１２とを有する。プロセッサ７が有するこれらの各部は、例えば、プロセッサ７上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ７が有するこれらの各部は、プロセッサ７に設けられる、専用の演算回路であってもよい。
識別部１１は、生体データに含まれる複数のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に、生体構造識別処理の対象となる生体データを入力することで、その生体データに含まれる複数のボクセルのそれぞれに表された、被写体である生体または生体サンプルの構成要素を識別する。本実施形態では、生体データには、被写体として、皮膚組織のサンプルが表されているので、識別される、生体または生体サンプルの構成要素には、例えば、表皮、毛包、皮脂腺、立毛筋、汗腺、血管、皮層、脂質等が含まれる。
識別部１１は、識別器として、例えば、生体データが入力される入力層と、複数のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果を出力する出力層と、入力層と出力層との間に接続される複数の隠れ層とを有するコンボリューショナルニューラルネットワーク（Convolutional Neural Network, CNN）を用いることができる。そして入力層及び複数の隠れ層のうちの少なくとも一つの層は、３次元畳み込み層とすることができる。３次元畳み込み層は、その層に入力される３次元データに含まれる複数のボクセルのそれぞれを着目ボクセルとし、着目ボクセルを含む３次元領域（すなわち、３次元直交座標系の各軸方向について複数のボクセルを含む立体領域）内のボクセルのそれぞれの値を入力とする畳み込み演算（以下、説明の便宜上、３次元畳み込み演算と呼ぶ）を実行する畳み込み層である。さらに、その識別器において、入力層及び複数の隠れ層のうちの複数の層あるいは全ての層が３次元畳み込み層であることが好ましい。これにより、識別器は、生体データに表された被写体である生体に含まれる、様々なサイズの構成要素に応じた特徴を抽出できるので、各ボクセルに表された生体または生体サンプルの構成要素を正確に識別できる。なお、入力層に入力される３次元データは、被写体である生体または生体サンプルが表された生体データそのものであり、各隠れ層に入力される３次元データは、その隠れ層よりも入力側の層により算出された特徴マップである。
具体的には、識別部１１は、識別器として、セマンティックセグメンテーション用のCNN、例えば、Fully Convolutional Network(FCN)、SegNet、DeepLabあるいはRefineNetの各畳み込み層のうちの一つ、複数または全てを３次元畳み込み層としたCNNを用いることができる。さらに、識別器は、各畳み込み層よりも出力側に、補間処理を行う１以上の逆畳み込み層を有してもよい。この逆畳み込み層も、補間処理を３次元で実行すればよい。
識別部１１は、生体データを上記のような識別器に入力することで、生体データに含まれるボクセルごとに、そのボクセルに表された生体または生体サンプルの構成要素を表す識別結果データを得る。識別結果データは、例えば、生体データと同じサイズを持ち、かつ、各ボクセルが、そのボクセルに表される生体または生体サンプルの構成要素に相当する値（例えば、構成要素「角層」は１、構成要素「上皮」は２、構成要素「コラーゲンファイバー」は３等）を持つ３次元データとして表される。
図３（ａ）は、識別対象となる生体データの模式図であり、図３（ｂ）は、図３（ａ）に示される生体データを識別器に入力することで得られた識別結果データの模式図である。図３（ａ）に示される生体データ３００には、被写体である皮膚組織の３次元のサンプルの一つの断面が表されており、このサンプルには、皮膚組織を構成する複数の構成要素が含まれている。そして図３（ｂ）に示される識別結果データ３１０では、皮膚組織を構成する構成要素ごとに識別されていることが分かる。例えば、領域３１１に含まれる各ボクセルには、表皮が表されていることが示されており、領域３１２に含まれる各ボクセルには、毛包が表されていることが示されている。
識別部１１は、識別結果データをメモリ５に記憶する。あるいは、識別部１１は、その識別結果データを、記憶媒体アクセス装置６に渡して、記憶媒体８へ書き込ませてもよい。あるいはまた、識別部１１は、その識別結果データを、通信インターフェース２を介して他の機器へ出力してもよい。
表示制御部１２は、メモリ５から、あるいは、記憶媒体８から記憶媒体アクセス装置６を介して、識別結果データを読み込み、読み込んだ識別結果データを表示装置４に表示させる。その際、表示制御部１２は、生体または生体サンプルの構成要素ごとに異なる色または異なる輝度を割り当てることで、識別結果データを３次元の表示用モデルで表した表示用データを作成し、その表示用データを表示装置４に表示させてもよい。これにより、ユーザは、表示された識別結果データを参照して、生体データに表された被写体のどこにどのような構成要素が含まれているのかを容易に把握することができる。
なお、表示制御部１２は、入力装置３から入力されたユーザの操作に従って、生体データに表された被写体に対する視点方向を設定してもよい。そして表示制御部１２は、設定された視点方向から見たときの識別結果データを表示装置４に表示させてもよい。あるいは、表示制御部１２は、入力装置３から入力されたユーザの操作に従って、生体データに表された被写体における断面を設定してもよい。そして表示制御部１２は、設定された生体データの断面に相当する、識別結果データにおける、その断面上に位置する各ボクセルの識別結果を、表示装置４に表示させてもよい。なお、これらの処理は、３次元モデリングの手法を用いて実現できる。このように、表示制御部１２は、任意の視点から見える各ボクセルの識別結果、または、任意の断面上の各ボクセルの識別結果を表示装置４に表示させることで、ユーザが生体データに表された被写体の生体の構造を把握することをより容易化できる。
図４は、生体構造識別処理の動作フローチャートである。プロセッサ７は、識別対象となる生体データごとに、下記の動作フローチャートに従って生体構造識別処理を実行すればよい。
プロセッサ７の識別部１１は、メモリ５から、または、記憶媒体アクセス装置６を介して記憶媒体８から、処理対象となる生体データを読み込む（ステップＳ１０１）。あるいは、識別部１１は、他の機器から通信インターフェース２を介して処理対象となる生体データを取得してもよい。識別部１１は、読み込んだ生体データを識別器に入力することで、生体データの各ボクセルについて、そのボクセルに表された生体または生体サンプルの構成要素の識別結果を表す識別結果データを生成する（ステップＳ１０２）。そして識別部１１は、得られた識別結果データをメモリ５、または、記憶媒体アクセス装置６を介して記憶媒体８に書き込む（ステップＳ１０３）。なお、上記のように、識別部１１は、得られた識別結果データを、通信インターフェース２を介して他の機器へ出力してもよい。
プロセッサ７の表示制御部１２は、入力装置３を介したユーザの操作に従って、識別結果データを表示装置４に表示させる（ステップＳ１０４）。そしてプロセッサ７は、生体構造識別処理を終了する。なお、ステップＳ１０４の処理は省略されてもよい。
以上に説明してきたように、この生体構造識別装置は、セマンティックセグメンテーションを、３次元の生体データに対して実行するように予め学習された識別器に、被写体となる生体または生体サンプルが表された生体データを入力することで、その生体データのボクセルごとに、そのボクセルに表された生体または生体サンプルの構成要素を識別する。そのため、この生体構造識別装置は、生体データに表された被写体である生体または生体サンプルの３次元構造を自動的に識別することができる。
変形例によれば、生体構造識別装置は、識別結果データで表される何れかの構成要素とともに、その構成要素に対して所定の関連を有する他の構成要素を選択して表示装置４に表示させてもよい。
図５は、この変形例による、生体構造識別装置が有するプロセッサの機能ブロック図である。図５に示されるように、プロセッサ２０は、識別部１１と、選択部２１と、表示制御部１２とを有する。プロセッサ２０が有するこれらの各部は、例えば、プロセッサ２０上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ２０が有するこれらの各部は、プロセッサ２０に設けられる、専用の演算回路であってもよい。
この変形例によるプロセッサ２０は、図２に示される、上記の実施形態によるプロセッサ７と比較して、選択部２１を有する点、及び、表示制御部１２の処理の一部について相違する。そこで以下では、選択部２１、表示制御部１２及びその関連部分について説明する。生体構造識別装置の他の構成要素については、上記の実施形態における対応する構成要素の説明を参照されたい。
選択部２１は、識別結果データから、入力装置３を介してユーザの操作により指定された構成要素（第１の構成要素）が表されたボクセルとともに、その指定された構成要素と所定の関連を持つ構成要素（第２の構成要素）が表されたボクセルを選択する。所定の関連は、例えば、第１の構成要素と第２の構成要素とが接触していること、あるいは、第１の構成要素と第２の構成要素との間に何らかの相互作用が存在することとすることができる。本実施形態において生体データに表される皮膚組織においては、例えば、皮脂線から分泌された皮脂は毛包を介して皮膚表面に現れる。また、立毛筋は毛包の向きを皮膚表面に対して垂直にする。したがって、選択部２１は、このような、皮膚組織を構成する何れかの細胞により生成された生成物の受け渡しを行う二つの細胞、あるいは、物理的に相互に作用する二つの細胞を、それぞれ、第１の構成要素及び第２の構成要素とすることができる。
例えば、第１の構成要素と接している第２の構成要素が表されたボクセルを選択するために、選択部２１は、第１の構成要素が表されたボクセルのそれぞれについて、そのボクセルに隣接するボクセルのなかから、入力装置３を介して指定された第２の構成要素が表されたボクセルを抽出する。そして選択部２１は、抽出したボクセルに対してラベリング処理を実行することで、抽出されたボクセルと連結している第２の構成要素が表されたボクセルの集合を、第１の構成要素と接している第２の構成要素を表すボクセルとして選択できる。
また、例えば、メモリ５に、相互作用がある構成要素の組み合わせを表す参照テーブルが予め記憶されていてもよい。選択部２１は、その参照テーブルを参照することで、入力装置３を介して指定された第１の構成要第１の構成要素に対して、入力装置３を介して指定された種類の相互作用を持つ第２の構成要素を特定することができる。そして選択部２１は、識別結果データから、第１の構成要素が表されたボクセルと第２の構成要素が表されたボクセルとをそれぞれ選択すればよい。
選択部２１は、例えば、識別結果データに含まれる各ボクセルのうち、選択したボクセルのそれぞれに、選択したことを表すフラグを付せばよい。そして選択部２１は、識別結果データとともに、そのフラグを表示制御部１２へ渡すことで、表示制御部１２に対して第１の構成要素が表されたボクセルと、第１の構成要素と所定の関連を持つ第２の構成要素が表されたボクセルとを、表示制御部１２へ通知することができる。
表示制御部１２は、識別結果データのうち、第１の構成要素が表されたボクセルと、第１の構成要素と所定の関連を持つ第２の構成要素が表されたボクセルとを、表示装置４に表示させる。その際、上記の実施形態と同様に、表示制御部１２は、第１の構成要素が表されたボクセルの色または輝度と第２の構成要素が表されたボクセルの色または輝度とを互いに異ならせてもよい。また表示制御部１２は、第１の構成要素が表されたボクセルと、第１の構成要素と所定の関連を持つ第２の構成要素が表されたボクセル以外のボクセルについては透明化してもよい。
この変形例によれば、生体構造識別装置は、ユーザが、第１の構成要素と、第１の構成要素と所定の関連を持つ第２の構成要素との立体的な分布を把握すること容易化できる。
他の変形例によれば、生体構造識別装置は、識別器を学習可能であってもよい。
図６は、この変形例による、生体構造識別装置が有するプロセッサの機能ブロック図である。図６に示されるように、プロセッサ３０は、学習部３１と、識別部１１と、表示制御部１２とを有する。プロセッサ３０が有するこれらの各部は、例えば、プロセッサ３０上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ３０が有するこれらの各部は、プロセッサ３０に設けられる、専用の演算回路であってもよい。
この変形例によるプロセッサ３０は、図２に示される、上記の実施形態によるプロセッサ７と比較して、学習部３１を有する点で相違する。そこで以下では、学習部３１及びその関連部分について説明する。生体構造識別装置の他の構成要素については、上記の実施形態における対応する構成要素の説明を参照されたい。
学習部３１は、識別器を学習する。そのために、例えば、識別器の学習に利用される複数の教師データが、メモリ５あるいは記憶媒体８に予め記憶される。複数の教師データのそれぞれは、例えば、生体データと、その生体データに含まれる各ボクセルに表された生体または生体サンプルの構成要素を表すデータである。学習部３１は、メモリ５から、あるいは、記憶媒体アクセス装置６を介して記憶媒体８から複数の教師データを読み込む。そして学習部３１は、その複数の教師データを用いて、誤差逆伝搬法といった、識別器の種類に応じた教師有り学習手法に従って識別器を学習すればよい。
学習部３１は、学習した識別器を規定するパラメータ群（例えば、各畳み込み層の畳み込み演算を規定するパラメータなど）を、メモリ５あるいは記憶媒体アクセス装置６を介して記憶媒体８に記憶すればよい。そして識別部１１は、学習部３１により学習された識別器に、生体データを入力することで、識別結果データをもとめればよい。
この変形例によれば、生体構造識別装置は、識別器を学習できるので、識別器による生体構造の識別精度を向上できる。
また、この変形例においても、プロセッサ３０は、図５に示される変形例における選択部２１の処理を実行してもよい。
また、この変形例においても、プロセッサ３０は、図５に示される変形例における選択部２１の処理を実行してもよい。
上記の実施形態または各変形例において、識別部１１が利用する識別器は、CNN以外のセマンティックセグメンテーション用の機械学習手法により構成されるものであってもよい。例えば、識別器は、ランダムフォレストにより構成されるものであってもよい。この場合でも、識別部１１は、処理対象となる生体データに含まれるボクセルのそれぞれについて、そのボクセルを含む３次元領域内の各ボクセルの値を入力とする複数の種類の演算を実行することで複数の３次元的な特徴量を算出する。そして識別部１１は、各ボクセルについて算出された複数の３次元的な特徴量を識別器に入力することで、ボクセルごとに、そのボクセルに表された生体または生体サンプルの構成要素を識別すればよい。
さらに、生体構造の識別結果データが他の機器により表示されるか、あるいは、識別結果データの表示が必要でない場合には、プロセッサにおいて、表示制御部１２は省略されてもよい。また、生体構造識別装置とは別個のコンピュータのプロセッサが、上記の実施形態による表示制御部１２の処理、及び、選択部２１の処理を実行してもよい。同様に、生体構造識別装置とは別個のコンピュータのプロセッサが、学習部３１の処理を実行してもよい。
さらに、上記の実施形態または変形例による生体構造識別装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。
１ 生体構造識別装置
２ 通信インターフェース
３ 入力装置
４ 表示装置
５ メモリ
６ 記憶媒体アクセス装置
７、２０、３０ プロセッサ
８ 記憶媒体
１１ 識別部
１２ 表示制御部
２１ 選択部
３１ 学習部
２ 通信インターフェース
３ 入力装置
４ 表示装置
５ メモリ
６ 記憶媒体アクセス装置
７、２０、３０ プロセッサ
８ 記憶媒体
１１ 識別部
１２ 表示制御部
２１ 選択部
３１ 学習部
Claims (5)
- 生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に前記生体データを入力することで、前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別する識別部と、
前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果に基づいて、前記複数の第１のボクセルのなかから、生体または生体サンプルの第１の構成要素を表す第２のボクセルと、前記第１の構成要素と所定の関連を有する生体または生体サンプルの第２の構成要素を表す第３のボクセルとを選択する選択部と、
前記第２のボクセル及び前記第３のボクセルを表示装置に表示させる表示制御部と、
を有し、
前記所定の関連は、生成物を受け渡す関係を表し、前記第１の構成要素及び前記第２の構成要素の一方は、前記生成物を生成する第１の細胞であり、前記第１の構成要素及び前記第２の構成要素の他方は、前記生成物を受け取る第２の細胞である
生体構造識別装置。 - 前記識別器は、前記生体データが入力される入力層と、前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果を出力する出力層と、前記入力層と前記出力層との間に接続される複数の隠れ層とを有するコンボリューショナルニューラルネットワークであり、前記入力層及び前記複数の隠れ層のうちの少なくとも一つの層は、当該層に入力される前記３次元座標系で表される３次元データに含まれる複数の第４のボクセルのそれぞれについて、当該第４のボクセルを含む３次元領域内の前記第４のボクセルのそれぞれの値を入力とする畳み込み演算を実行する畳み込み層である、請求項１に記載の生体構造識別装置。
- 前記生体データに表される生体または生体サンプルは、人または動物の皮膚組織である、請求項１または２に記載の生体構造識別装置。
- 生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に前記生体データを入力することで、前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別し、
前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果に基づいて、前記複数の第１のボクセルのなかから、生体または生体サンプルの第１の構成要素を表す第２のボクセルと、前記第１の構成要素と所定の関連を有する生体または生体サンプルの第２の構成要素を表す第３のボクセルとを選択し、
前記第２のボクセル及び前記第３のボクセルを表示装置に表示させる、
ことを含み、
前記所定の関連は、生成物を受け渡す関係を表し、前記第１の構成要素及び前記第２の構成要素の一方は、前記生成物を生成する第１の細胞であり、前記第１の構成要素及び前記第２の構成要素の他方は、前記生成物を受け取る第２の細胞である
生体構造識別方法。 - 生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に前記生体データを入力することで、前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別し、
前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果に基づいて、前記複数の第１のボクセルのなかから、生体または生体サンプルの第１の構成要素を表す第２のボクセルと、前記第１の構成要素と所定の関連を有する生体または生体サンプルの第２の構成要素を表す第３のボクセルとを選択し、
前記第２のボクセル及び前記第３のボクセルを表示装置に表示させる、
ことをコンピュータに実行させ、
前記所定の関連は、生成物を受け渡す関係を表し、前記第１の構成要素及び前記第２の構成要素の一方は、前記生成物を生成する第１の細胞であり、前記第１の構成要素及び前記第２の構成要素の他方は、前記生成物を受け取る第２の細胞である
生体構造識別用コンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019158863A JP7387340B2 (ja) | 2019-08-30 | 2019-08-30 | 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019158863A JP7387340B2 (ja) | 2019-08-30 | 2019-08-30 | 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021039439A JP2021039439A (ja) | 2021-03-11 |
| JP7387340B2 true JP7387340B2 (ja) | 2023-11-28 |
Family
ID=74848823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019158863A Active JP7387340B2 (ja) | 2019-08-30 | 2019-08-30 | 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7387340B2 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005507096A (ja) | 2001-01-05 | 2005-03-10 | ライオン バイオサイエンス アクチェンゲゼルシャフト | 生物学的要素を編成して描写する方法 |
| JP2009005840A (ja) | 2007-06-27 | 2009-01-15 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
| JP2018175227A (ja) | 2017-04-10 | 2018-11-15 | 富士フイルム株式会社 | 医用画像表示装置、方法およびプログラム |
| WO2018221625A1 (ja) | 2017-05-30 | 2018-12-06 | 国立大学法人東北大学 | 皮膚組織の病理画像を用いた診断支援のためのシステム及び方法 |
| US20190244357A1 (en) | 2018-02-07 | 2019-08-08 | International Business Machines Corporation | System for Segmentation of Anatomical Structures in Cardiac CTA Using Fully Convolutional Neural Networks |
-
2019
- 2019-08-30 JP JP2019158863A patent/JP7387340B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005507096A (ja) | 2001-01-05 | 2005-03-10 | ライオン バイオサイエンス アクチェンゲゼルシャフト | 生物学的要素を編成して描写する方法 |
| JP2009005840A (ja) | 2007-06-27 | 2009-01-15 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
| JP2018175227A (ja) | 2017-04-10 | 2018-11-15 | 富士フイルム株式会社 | 医用画像表示装置、方法およびプログラム |
| WO2018221625A1 (ja) | 2017-05-30 | 2018-12-06 | 国立大学法人東北大学 | 皮膚組織の病理画像を用いた診断支援のためのシステム及び方法 |
| US20190244357A1 (en) | 2018-02-07 | 2019-08-08 | International Business Machines Corporation | System for Segmentation of Anatomical Structures in Cardiac CTA Using Fully Convolutional Neural Networks |
Non-Patent Citations (2)
| Title |
|---|
| Alican Bozkurt, Trevor Gale, Kivanc Kose, Christi Alessi-Fox, Dana H. Brooks, Milind Rajadhyaksha，Delineation of Skin Strata in Reflectance Confocal Microscopy Images With Recurrent Convolutional Networks，2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)，米国，IEEE，2017年07月21日，pp. 777-785，https://ieeexplore.ieee.org/document/8014842/ |
| 申 忱, Fausto Milletari, Holger R. Roth, 小田 紘久, 小田 昌宏, 林 雄一郎, 三澤 一成, 森 健策，CTからの腹部多臓器抽出におけるgroup normalizationの影響に関する考察，電子情報通信学会技術研究報告，日本，電子情報通信学会，2019年01月15日，Vol. 118, No. 412, MI2018-94 (2019-01)，pp. 143-148 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021039439A (ja) | 2021-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Venkatesan et al. | Virtual and augmented reality for biomedical applications | |
| EP3923238B1 (en) | Medical image segmentation method and device, computer device and readable storage medium | |
| Andriole et al. | Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day | |
| Margulies et al. | Visualizing the human connectome | |
| US10025479B2 (en) | Advanced medical image processing wizard | |
| Bass et al. | Icam: Interpretable classification via disentangled representations and feature attribution mapping | |
| US10249092B2 (en) | System and method for rendering complex data in a virtual reality or augmented reality environment | |
| US10188361B2 (en) | System for synthetic display of multi-modality data | |
| US10390726B2 (en) | System and method for next-generation MRI spine evaluation | |
| CN113646655A (zh) | 差分脑网络分析 | |
| Botha et al. | From individual to population: Challenges in medical visualization | |
| Yuan et al. | Extended reality for biomedicine | |
| Shaalan et al. | Visualization in medical system interfaces: UX guidelines | |
| JP7387340B2 (ja) | 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム | |
| Muhler et al. | The medical exploration toolkit: An efficient support for visual computing in surgical planning and training | |
| Tercero et al. | Catheter insertion reference trajectory construction method using photoelastic stress analysis for quantification of respect for tissue during endovascular surgery simulation | |
| Walton et al. | Visualizing cardiovascular magnetic resonance (CMR) imagery: challenges and opportunities | |
| Karperien et al. | ImageJ in Computational Fractal-Based Neuroscience: Pattern Extraction and Translational Research | |
| KR102665091B1 (ko) | 의료 정보 처리 장치 및 방법 | |
| Grandi et al. | Spatially aware mobile interface for 3d visualization and interactive surgery planning | |
| US20230245376A1 (en) | System and method for four-dimensional angiography | |
| Casini | The Material Site of Abstraction: Grid-Based Data Visualization in Brain Scans | |
| US11334976B1 (en) | Medical imaging with functional architecture tracking | |
| Burkhardt et al. | N-Tools-Browser: web-based visualization of electrocorticography data for epilepsy surgery | |
| Moerth | Scaling Up Medical Visualization: Multi-Modal, Multi-Patient, and Multi-Audience Approaches for Medical Data Exploration, Analysis and Communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7387340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |