JP7218118B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7218118B2
JP7218118B2 JP2018143719A JP2018143719A JP7218118B2 JP 7218118 B2 JP7218118 B2 JP 7218118B2 JP 2018143719 A JP2018143719 A JP 2018143719A JP 2018143719 A JP2018143719 A JP 2018143719A JP 7218118 B2 JP7218118 B2 JP 7218118B2
Authority
JP
Japan
Prior art keywords
change
image
density value
amount
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018143719A
Other languages
English (en)
Other versions
JP2020021228A (ja
Inventor
深 山嵜
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018143719A priority Critical patent/JP7218118B2/ja
Priority to PCT/JP2019/028475 priority patent/WO2020026852A1/ja
Publication of JP2020021228A publication Critical patent/JP2020021228A/ja
Priority to US17/157,699 priority patent/US11961161B2/en
Priority to JP2023009355A priority patent/JP7463575B2/ja
Application granted granted Critical
Publication of JP7218118B2 publication Critical patent/JP7218118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Description

本明細書の開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、画像認識分野において機械学習が用いられている。機械学習に基づく識別器で画像認識を行うためには、教示データと呼ばれる学習画像と正解データの組による学習が必要である。一般に、画像に描出される対象物体は、撮像時のさまざまな条件により濃度値が変動する。そのため、実際の画像において対象物体が有しうる濃度値を包括するように、大量の教示データを準備する必要がある。そこで、特許文献1では、画像数の少ないクラスに属する教示データに対して、アフィン変換(拡大、縮小、回転)と属性変換(明るさ、コントラスト、エッジ強度)をすることで、新たな教示データを生成する方法が開示されている。
特開2006-48370号公報
しかしながら、特許文献1に記載の方法では、教示データの濃度値を一律に変更するため、場合によっては望ましくなかった。
本明細書の開示は、適切に濃度値を変更した新たな教示データを用いて識別器を学習させることを目的の一つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の一つとして位置付けることができる。
本明細書に開示の情報処理装置は、画像を取得する取得部と、前記画像に含まれる一部の領域を対象領域として抽出する抽出部と、前記対象領域に含まれる画素の濃度値の変化量の絶対値が前記対象領域以外の領域に含まれる画素の濃度値の変化量の絶対値に比べて大きくなるように前記対象領域に含まれる画素の濃度値の変化量を決定する決定部と、前記決定部が決定した変化量に基づいて前記対象領域に含まれる画素の濃度値を変更した学習画像を生成する生成部と、前記学習画像を用いて識別器の学習を行う学習部と、を備えることを特徴とする。
本明細書の開示によれば、適切に濃度値を変更した新たな教示データを用いて識別器を学習させることができる。
第一の実施形態に係る情報処理装置の構成の一例を示す図 第一の実施形態に係る情報処理装置のハードウェア構成の一例を示す図 第一の実施形態に係る情報処理装置の処理手順の一例を示すフローチャート 第一の実施形態に係る画像の一例を説明する図 第一の実施形態に係る学習画像の生成方法の一例を示す図 第二の実施形態に係る情報処理装置の構成の一例を示す図 第二の実施形態に係る情報処理装置の処理手順の一例を示すフローチャート 第二の実施形態に係る情報処理装置で濃度値の変化量を決定するための対応表の一例を示す図 第三の実施形態に係る情報処理装置の構成の一例を示す図 第三の実施形態に係る情報処理装置の処理手順の一例を示すフローチャート 第四の実施形態に係る情報処理装置の構成の一例を示す図 第四の実施形態に係る情報処理装置の処理手順の一例を示すフローチャート
本実施形態にかかる情報処理装置では、X線コンピュータ断層撮像(X線CT)装置で撮像された人体の3次元断層画像(3次元画像の一種)を処理する例を説明する。しかしながら、本明細書の開示の適用範囲は上述のX線CT装置で撮影された3次元断層画像に限定されるものではない。例えば、核磁気共鳴画像撮像装置(MRI)装置、ポジトロン断層撮像(PET)装置、3次元超音波撮像装置で撮像された3次元断層画像でもよい。その他にも、撮像時の条件を変更することによって、濃度値が変化する領域と、変化しない領域が存在する画像であればいかなる画像であっても良い。また、本明細書の開示は、3次元画像以外に、2次元画像(例えば、単純X線画像)にも適用可能である。具体的には、単純X線画像の他、電子線CT画像や自然画像にも適用可能である。例えば、交通状況を撮影したような自然画像であれば、画像中の車の濃度値を変化させ、道路や標識の濃度値は変化させないというように適用することが考えられる。
以下では、機械学習に基づく識別器で画像認識を行う一例として、画像から物体の領域を抽出する識別器について説明する。より具体的には、X線CT装置で撮像された3次元断層画像に対して、肺野の領域抽出を行うCNN(Convolutional Neural Network)を例に挙げて、本実施形態について説明する。ここで領域抽出とは、画像内を関心領域と関心領域以外の領域に分割する処理のことを指す。領域抽出は、画像処理の分野において、領域分割、画像分割、セグメンテーションとも呼ばれる。
本実施形態では、肺野の領域抽出を行うCNNの一例として、U-Net[O.Ronneberger et al., “U-Net:Convolutional Networks for Biomedical Image Segmentation,” Medical Image Computing and Computer-Assisted Intervention (MICCAI),vol.9351:234-241,2015.]を用いる。U-Netの学習には、学習画像である2次元断層画像(3次元断層画像を構成する複数の断層画像のうちの1枚)と2次元断層画像に対応する正解データが教示データとなる。本実施形態における正解データは、例えば肺野領域を表すマスク画像である。マスク画像とは、関心領域に属する画素か否かを2値で表した画像である。
なお、以下では物体の領域を抽出する識別器について説明するが、本明細書の開示の適用範囲はこれに限るものではない。例えば、物体の位置を検出する識別器であっても良いし、物体が何であるかを分類する識別器であっても良いし、物体がどのような状態であるかを解析する識別器であっても良い。その他にも、画像認識を行う識別器であれば何でもよい。
<第一の実施形態>
第一の実施形態に係る情報処理装置は、教示データに含まれる夫々の学習画像を、撮影されている物体の特性や撮像条件等により濃度値が変わりうる領域と、撮影されている物体の特性や撮像条件等により濃度値が凡そ変わらない領域という2つの領域に分割する。そして、画像の濃度値が変わりうる領域に属する画素の濃度値を、所定の方法(後述)で変更(増減)する。一方、濃度値が凡そ変わらない領域に属する画素の濃度値は変更しない。このような方法で、教示データに元々含まれていたそれぞれの学習画像(以下では元画像と記述する)から、新たな学習画像を生成する。新しく生成された学習画像はそれぞれ、元の学習画像(元画像)に対応付けられた正解データとの間で一つの組として対応付けられる。この新しく生成された学習画像と正解データの組は、教示データに加えられる。最後に、新たに構築された教示データを使って、識別器の学習を行う。
以下の例では、学習画像中の人体領域(ただし肺野領域を除く)を、画像の濃度値が変わりうる領域と見なす。そして、空気領域を濃度値が凡そ変わらない領域と見なす。人体領域(ただし肺野領域を除く)を画像の濃度値が変わりうる領域と見なすのは、この領域が被検体の個人差や撮像時の条件により、異なる濃度値で描出されるためである。ここで、撮像時の条件とは、例えば管電圧などのX線CT装置に関する条件や、造影剤投与の有無などのことを指す。一方、空気領域は、撮像時の条件が変わっても凡そ同じ濃度値(空気:-1000HU)となる。そのため、このような領域の決定は、本実施形態において好適な事例である。
なお以下では、元画像のうち画像の濃度値が変わりうる領域と見なされた領域のことを、濃度値を変更する対象領域と呼ぶ。そして、元画像のうち濃度値が凡そ変わらない領域と見なされた領域のことを、対象領域以外の領域と呼ぶ。また、本明細書に開示の技術で学習された識別器が抽出する領域のことを、識別器による領域抽出の対象となる領域、あるいは、関心領域と呼ぶ。本実施形態では、肺野領域が領域抽出の対象となる領域である。
以下、図1を参照して、本実施形態に係る情報処理システムの機能構成について説明する。同図に示すように、本実施形態に係る情報処理装置100は、取得部101、抽出部102、決定部103、生成部104、学習部105で構成される。また、本実施形態における情報処理システムは、情報処理装置100の外部に記憶装置70を具備する。
記憶装置70はコンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ(HDD)やソリッドステイトドライブ(SSD)に代表される大容量情報記憶装置である。記憶装置70は、少なくとも1つ以上の元画像(3次元断層画像)を保持している。また、記憶装置70には、各々の元画像に対応する正解データが保持されている。記憶装置70が保持する元画像と正解データは、取得部101を介して情報処理装置100に入力される。本実施形態における正解データは、正解の肺野領域画像であり、肺野に属する画素か否かを2値で表したマスク画像である。このマスク画像は、関心領域の画素値が1、関心領域以外の領域の画素値が0で表されている。また、マスク画像は元画像と同じ画像サイズである。なお、マスク画像における画素値は、関心領域を表す画素と関心領域以外の領域を表す画素を区別可能であれば、どのような画素値を与えても構わない。例えば、画素値として1または2のいずれか一方を与えても良い。また、3つ以上の値の中から2つの値を割り当てても良い。また、マスク画像は上述のように元画像と同じ画像サイズであってもよいし、異なる画像サイズであっても良い。
以下、情報処理装置100を構成する各部について説明する。
取得部101は、記憶装置70から教示データ(元画像と元画像に対応付いている正解データの組)を取得する。そして、取得した元画像を、抽出部102、決定部103、生成部104、学習部105に送信する。また、取得した正解データを学習部105に送信する。
抽出部102は、取得部101から取得した画像から、濃度値を変更する対象領域を抽出する。そして、抽出した対象領域の情報を生成部104に送信する。ここで、対象領域の情報とは、例えば、濃度値を変更する対象領域を表すマスク画像である。
決定部103は、取得部101から取得した画像と、抽出部102から取得した対象領域の情報とに基づいて、濃度値の変化量を決定する。そして、決定した濃度値の変化量を生成部104に送信する。
生成部104は、取得部101から取得した画像と、抽出部102から取得した対象領域の情報と、決定部103から取得した濃度値の変化量とに基づき、新たな学習画像を生成する。そして、生成した学習画像を学習部105に送信する。
学習部105は、取得部101から取得した画像および正解データと、生成部104から取得した学習画像とに基づき、識別器の学習を行う。
なお、図1に示した情報処理装置100の各部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。
図2は、情報処理装置100のハードウェア構成の一例を示す図である。CPU(Central Processing Unit)2001は、主として各構成要素の動作を制御する。主メモリ2002は、CPU2001が実行する制御プログラムを格納したり、CPU2001によるプログラム実行時の作業領域を提供したりする。磁気ディスク2003は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。表示メモリ2004は、表示用データを一時記憶する。モニタ2005は、例えばCRTモニタや液晶モニタ等であり、表示メモリ2004からのデータに基づいて画像やテキスト等の表示を行う。マウス2006及びキーボード2007は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス2008により互いに通信可能に接続されている。
CPU2001が主メモリ2002、磁気ディスク2003等に格納されているプログラムを実行することにより、図1に示した情報処理装置100の各部の機能(ソフトウェア)及び後述するフローチャートにおける処理が実現される。
また、CPU2001はプロセッサの一例に相当する。情報処理装置100は、CPU2001に加えて、GPU(Graphics Processing Unit)やFPGA(Field-Programmable Gate Array)の少なくともいずれかを有していてもよい。また、CPU2001に代えて、GPUやFPGAの少なくともいずれかを有していてもよい。主メモリ2002、磁気ディスク2003はメモリの一例に相当する。
次に、本実施形態における情報処理装置100の処理手順について、図3を用いて説明する。
<ステップS310>
ステップS310において、取得部101は、記憶装置70から教示データ(元画像とそれに対応する正解データの組)を取得する。すなわち、取得部101は、画像を取得する取得部の一例に相当する。U-Netの学習には複数枚の画像が必要である。本実施形態では、記憶装置70が例えば1000枚の元画像を保持しているものとし、取得部101は1000枚の元画像とそれらに対応する正解データを取得する。
ここで図4を参照して、ステップS310で取得する元画像と正解データについて説明する。図4(a)は胸部を表した2次元断層画像410とそれに対応する正解データ450を示している。2次元断層画像410は、3次元断層画像(元画像)を構成する2次元断層画像の1枚である。また、2次元断層画像410に対応する正解データ450は肺野領域を表した2次元のマスク画像である。
<ステップS320>
ステップS320において、抽出部102は、ステップS310で取得した教示データにおける夫々の元画像に対して、濃度値を変更する対象領域を抽出する。本実施形態においては、濃度値を変更する対象領域として空気以外の領域を抽出する。すなわち、画像に含まれる一部の領域を対象領域として抽出する。X線CT装置で撮像された3次元断層画像は、空気の濃度値が凡そ一定の値(-1000HU付近)になる。そのため、本実施形態ではしきい値処理法で空気以外の領域を抽出する。具体的には、抽出部102が-550HU以上を空気以外の領域として抽出し、濃度値を変更する対象領域を表すマスク画像を作成する。また、上記の方法で抽出した領域に対して、オープニング処理やクロージング処理を施したり、最大連結領域以外を削除する処理を施したりして、小さな孤立領域を削除しても良い。なお、上記のしきい値は一例であり、空気以外の領域を抽出できる値であればよい。
ステップS320では上述の方法によって、図4(b)に例示するような、濃度値を変更する対象領域を表すマスク画像420を作成する。マスク画像420は、2次元断層画像410と同じ画像サイズであり、濃度値を変更する対象領域421が画素値1、対象領域以外の領域422が画素値0として保持されている。
上記では、濃度値を変更する対象領域を抽出する方法として、しきい値処理法を用いたが、これに限るものではない。例えば、公知のセグメンテーション手法であるLevel-set法やGraph-cut法、Snake法などであっても良い。その他、濃度値を変更する対象領域421と対象領域以外の領域422を分割する方法であればいかなる方法であっても良い。また、情報処理装置100の外部から対象領域421を区別する情報(マスク画像など)を取得しても良い。
<ステップS330>
ステップS330において、決定部103は、ステップS310で取得した夫々の元画像と、当該元画像に対してステップS320で抽出した対象領域421のマスク画像とに基づいて、対象領域421における元画像の濃度値を決定する。すなわち、決定部103は、画像に含まれる画素の濃度値の変化量を決定する決定部の一例に相当する。
より詳細に決定部103が行う濃度値の変化量の決定方法について説明する。X線CT装置で撮像された3次元断層画像は、被検体の個人差や撮像時の条件により、空気と水を除く物体の濃度値が-50~+50HUの範囲を変動することが起こり得る。そのため、本実施形態では、濃度値の変化量として-50~+50HUの間から乱数で決定した値を用いる。なお、濃度値の変化量は上記に限定されない。
また、濃度値の変化量は、決定部103が上限値と下限値をさらに決定し、上限値と下限値を超えない値の範囲から乱数で決定されるような構成でもよい。例えば、上限値を+30HU、下限値を-10HUとし、その間の値である+10HUが濃度値の変化量として乱数で決定される。なお、上記の数字は一例であり、これに限定されない。さらに、上限値もしくは下限値のいずれか一方のみを決定するような構成でもよい。また、上限値と下限値は自動で決定されてもよいしユーザが任意の値に決定してもよい。
また、対象領域421の濃度値を変更する場合に、一律に同じ変化量を用いずに対象領域421内の画素によって異なる濃度値の変化量を決定してもよい。すなわち、対象領域421に含まれる画素夫々の濃度値に基づいて、前記対象領域に含まれる画素夫々の濃度値の変化量を決定してもよい。この場合、例えば、トーンカーブを用いて濃度値が低い画素は濃度値の変化量を大きくし、濃度値が高い画素は濃度値の変化量を小さくする方法が考えられる。具体的には、後述の(1)式において濃度値が、x original>x originalだった場合、x originalに対しては濃度値の変化量c=+10、x originalに対しては濃度値の変化量c=+20が決定されるようにトーンカーブを調整する。
なお、2つの変化量が0より小さい場合には、濃度値が低い画素は濃度値の変化量の絶対値を小さくし、濃度値が高い画素は濃度値の変化量の絶対値を大きくしてもよい。上記によれば、実際の画像では起こり得ない濃度値を有する画像が生成されることを確率を低減できる。
さらに、対象領域421内の画素の濃度値を変更する場合に、対象領域421に含まれる2つ以上の画素を含む部分領域を決定し、該部分領域内の画素の濃度値に基づいて部分領域ごとの濃度値の変化量を決定してもよい。
また、上記においては、対象領域421の濃度値の変化量のみを決定したが、濃度値の変化量の決定方法はこれに限定されるものではない。例えば、濃度値を変更する対象領域以外の領域422についても、微小な濃度値の変化量を決定する。この場合、対象領域421の濃度値の変化量に対して十分に小さい値(例えば、対象領域421の濃度値の変化量の10分の1の値)を当該領域の画素の濃度値に対して加算するようにしてもよい。
つまり、決定部103は、対象領域421に含まれる画素の濃度値の変化量及び対象領域以外の領域422に含まれる画素の濃度値の変化量の両方を決定する構成でもよい。具体的には、対象領域421に含まれる画素の濃度値の変化量の絶対値が対象領域以外の領域422に含まれる画素の濃度値の変化量の絶対値に比べて大きくなるように2つの値を決定し学習画像430を生成する。
すなわち、後述の(1)式のx new=x originalをx new=x original+c’(c≫c’)とする構成でもよい。
なお、この構成で対象領域以外の領域422の濃度値を変更せずに学習画像を作成する場合、c’=0とすることにより(1)式と同等になる。つまり、対象領域以外の領域422の濃度値を変更せずに学習画像430を作成する場合、c’を用いない構成でもよいし、c’を加算し、c’=0とする構成でもよい。
すなわち、決定部103は、対象領域421に含まれる画素の濃度値の変化量と、対象領域以外の領域422に含まれる画素の濃度値の変化量のうち、少なくとも対象領域421に含まれる画素の濃度値の変化量cを決定すればよい。
<ステップS340>
ステップS340において、生成部104は、ステップS310で取得した夫々の元画像と、当該元画像に対してステップS320で抽出した濃度値を変更する対象領域のマスク画像420と、当該元画像に対してステップS330で決定した濃度値の変化量とに基づき、新たな学習画像430を生成する。すなわち、生成部104は、決定された濃度値の変化量に基づいて濃度値を変更する対象領域421の濃度値を変更した学習画像430を生成する。より具体的には、例えば、決定部103により決定された濃度値の変化量に基づいて濃度値を変更する対象領域421に含まれる画素の濃度値を一律に変更し、かつ対象領域以外の領域422に含まれる画素の濃度値を変更せずに学習画像430を生成する。
数式を用いて学習画像430の生成方法の説明を行う。決定部103が濃度値の変化量cを決定し、元画像をxoriginalとしたとき、新たな学習画像xnewを、以下の数式に基づいて生成部104が生成する。
Figure 0007218118000001
なお、iは画素番号を示す。また、Tは、濃度値を変更する対象領域を表すマスク画像420において、濃度値を変更する対象領域に属する画素に付与された画素番号の集合である。生成部104は、この計算を、取得部101から取得したすべての元画像に対して行う。このとき、濃度値の変化量cは、すべての元画像で共通の値を用いる。
上述の生成方法により、図4(c)に示すような、2次元断層画像410における対象領域421のみの濃度値が変更された学習画像430が生成される。
なお、複数の濃度値の変化量cを用いて、1つの元画像から複数の学習画像430を生成しても良い。例えば、濃度値の変化量cの値として-20、-10、+10、+20のように4つ値を用いることで、1つの2次元断層画像410から図5に示すような4つの学習画像430a~430dを生成しても良い。ここで、学習画像430a~430dはそれぞれ、(1)式をc=-20,c=-10,c=10,c=20として計算することで得られる。
また、上記のように複数の濃度値の変化量cを決定する場合、決定する濃度値の数は元画像の枚数に基づいて決定してもよい。例えば、必要となる教示データが10000データに対して元画像が2000枚しかない場合には変化量cを5つ決定し、元画像が5000枚ある場合には変化量cを2つ決定する。上記のように、必要となるデータ数と元画像の枚数に基づいて変化量cの数を決定することにより所望の数のデータ数を得ることができる。なお、上記の数は一例でありこれに限定されない。さらに、上記では必要となる教示データに対して元画像が少ないほど変化量cの数を多くしたが、変化量cの数の決定方法もこれに限定されない。
また、濃度値の変化量cは、元画像ごとに異なる値を適用しても良いし、元画像が3次元画像である場合には、3次元画像を構成する2次元画像ごとに異なる値を適用しても良い。例えば、1つ目の元画像は濃度値の変化量を+10HU、2つ目の元画像は濃度値の変化量を-20HU、以降の元画像に対しても同様に異なる濃度値の変化量を適用して学習画像430を生成する方法が考えられる。
また、学習画像430は、元画像の画素値に変化量cを加算して生成する方法以外の種々の演算により実現される。例えば、対象領域421に属する画素に対して、変化率aを元画像の画素値に乗算し学習画像430を生成する構成であっても良い。この場合、決定部103は、ステップS330において変化率aを決定する。
なお、対象領域の濃度値を変更しない学習画像430の生成は、(1)式をc=0で計算することに相当する。
<ステップS350>
ステップS350において、学習部105は、ステップS340で生成した学習画像430と、ステップS310で取得した元画像と正解データとに基づいてU-Netを学習させる。そして、学習の結果(識別器のパラメータ)を記憶装置70に出力する。
ここで、ステップS340で新たに生成した学習画像430は、元画像の濃度値を局所的に変えた画像である。したがって、元画像と新たに生成した学習画像430は、肺野領域の位置は変わらないため、元画像と同じ正解データを利用できる。図4を用いて説明すると、本実施形態で生成される学習画像430に対応する正解データは、2次元断層画像410に対応する正解データ450となる。すなわち、学習部105は、ステップS310で取得した教示データに学習画像430と正解データの組を追加した(データを水増しした)新たな教示データを生成する。そして、生成した新たな教示データを用いて、識別器の学習を行う。
学習方法は、例えば、CNNの学習において一般的な手法である誤差逆伝播法(Backpropagation)を用いる。これにより、U-Netが対象物体を識別するための複雑な特徴を学習し、未知の画像に対しても高度な領域抽出が可能になる。なお、学習方法は上記に限定されない。
また、本ステップで識別器の学習に用いる教示データには、ステップS340で生成した学習画像が含まれていれば何でもよい。例えば、学習に用いる教示データには、ステップS310で取得した元画像が含まれていなくても良い。
さらに、学習部105は、本ステップで識別器の学習に用いる教示データを、記憶装置70に保存する構成であってもよい。また、教示データを入力して識別器の学習を行う他の情報処理装置への入力データとして、生成した教示データを保存する処理だけを行い、実際の学習は本装置では行わない構成であってもよい。この場合、夫々の元画像に対する正解データを入力する処理や、学習画像430と正解データとの対応付けを行う処理は、必ずしも行う必要はない。
以上の手順に従い、第一の実施形態に係る情報処理装置100は処理を行う。
ここで、図4(c)を参照して、第一の実施形態にかかる情報処理装置で生成される学習画像430と、特許文献1で開示されている技術で生成される学習画像440の差異を説明する。第一の実施形態にかかる情報処理装置で生成される学習画像430は、2次元断層画像410における対象領域421のみの濃度値が変更された画像である。それに対して、特許文献1に記載の技術で生成される学習画像440は、2次元断層画像410の濃度値を一律に変更した画像である。上述の通り、X線CT装置では、撮像時の条件が変わっても空気領域の濃度値は変化しない。そのため、特許文献1に記載の技術では、主に空気領域において実際には起こり得ない濃度値となるが、第一の実施形態にかかる情報処理装置が実施する生成方法では、空気領域の濃度値を正しく再現することができる。
第一の実施形態に係る情報処理装置100では、元画像において濃度値を変更する対象領域421を濃度値を変更しない対象領域以外の領域422と区別し、対象領域421についてのみ元画像から濃度値を変更して新たな学習画像を生成する。このようにすることで、画像中の物体の特性を考慮して新たな学習画像を生成できるため、識別器の画像認識の精度が向上する。
<変形例1-1>
本実施形態では、識別器による領域抽出の対象となる領域(上述の説明では肺野領域)と、濃度値を変更する対象領域(上述の説明では肺野領域を除く人体領域)、濃度値を変更しない領域(上述の説明では空気領域)の3つの領域が、互いに重ならない例を説明した。
しかしながら、これらの領域が互いに重なっていても、本実施形態の効果は得られる。例えば、領域抽出の対象となる領域を肝臓領域、濃度値を変更する対象領域も肝臓領域、濃度値を変更しない領域を肝臓以外の領域、として抽出してもよい。この時、領域抽出の対象となる領域(肝臓領域)と濃度値を変更する対象領域(肝臓領域)は、互いに領域が重なっている。なお、肝臓は一例であって、心臓や腎臓といった撮像時の条件が変わることで濃度値が変動しやすい物体を対象としてもよい。
このような領域抽出の元で、第一の実施形態にかかる情報処理装置100は、以下の処理を行う。ステップS310、S350は上述の通りであるため、説明を省略する。ステップS320において、抽出部102は取得部101から正解データを取得する。そして、正解データに示されている領域(本例では肝臓領域)を、濃度値を変更する対象領域とする。すなわち、正解データに基づいて対象領域のマスク画像を生成する。ステップS330において、生成部104はステップS310で取得した元画像と、ステップS320で生成した対象領域のマスク画像とに基づき、新たな学習画像430を生成する。学習画像の生成方法、および濃度値の変化量cの決定方法は、ステップS330と同様である。
本実施形態において情報処理装置100は、濃度値を変更する対象領域の濃度値を変更した学習画像を生成する。これはすなわち、領域抽出の対象となる領域の濃度値を変更したことと同じである。これにより、被検体の個人差や撮像時の条件により領域抽出の対象となる領域が異なる濃度値で描出される場合において、識別器の画像認識の精度が向上する。
<第二の実施形態>
第一の実施形態にかかる情報処理装置では、対象領域の濃度値を予め定めた所定の値で増減して画像を生成する方法について説明した。しかしながら、予め定めた所定の値で対象領域の濃度値を変更すると、実際の画像では起こり得ない濃度値を有する学習画像が生成されてしまう可能性がある。
そこで、第二の実施形態にかかる情報処理装置では、濃度値を変更する対象領域の濃度値に基づいて濃度値の変化量を決定し、濃度値の変化量に基づいて新たな学習画像を生成する。以下、第一の実施形態との違いについて説明する。
以下、図6を参照して、本実施形態に係る情報処理システムの機能構成について説明する。
第二の実施形態に係る情報処理装置600は、取得部601、抽出部602、決定部603、生成部604、学習部605で構成される。また、本実施形態における情報処理システムは情報処理装置600の外部に記憶装置70を具備する。
本実施形態における情報処理システムは、第一の実施形態に記載の情報処理システムと基本的には同一であるため、重複部分の説明を省略する。
以下では、情報処理装置600を構成する各部について説明する。
取得部601は、記憶装置70から教示データ(元画像と元画像に対応付いている正解データの組)を取得する。そして、取得した元画像を、抽出部602、決定部603、生成部604、学習部605に送信する。また、取得した正解データを学習部605に送信する。
抽出部602は、取得部601から取得した画像から、濃度値を変更する対象領域を抽出する。そして、抽出した対象領域の情報を、決定部603と生成部604に送信する。
決定部603は、取得部601から取得した画像と、抽出部602から取得した対象領域の情報とに基づいて、濃度値の変化量を決定する。そして、決定した濃度値の変化量を生成部604に送信する。
生成部604は、取得部601から取得した画像と、抽出部602から取得した対象領域の情報と、決定部603から取得した濃度値の変化量とに基づき、新たな学習画像を生成する。そして、生成した学習画像を学習部605に送信する。
学習部605が行う処理は、第一の実施形態における学習部105と同様である。
次に、本実施形態における情報処理装置600の処理手順について、図7を用いて説明する。
<ステップS710~S720>
ステップS710~ステップS720の処理は、第一の実施形態におけるステップS310~S320と基本的には同一の処理であるため、説明を省略する。
<ステップS730>
ステップS730において、決定部603は、ステップS710で取得した夫々の元画像と、当該元画像に対してステップS720で抽出した対象領域421のマスク画像とに基づいて、対象領域における元画像の濃度値を分析する。そして、その結果に基づいて、夫々の元画像から学習画像を生成する処理に用いる濃度値の変化量を決定する。具体的な決定方法の一例としては、対象領域における元画像の平均濃度値を算出し、その値に基づいて濃度値の変化量を決定する。例えば、事前に用意した図8に示すような平均濃度値と濃度値の変化量の対応表を参照して、濃度値の変化量cを決定する。例えば、対象領域の平均濃度値mが+17であった場合、濃度値の変化量cとして、-40、-30、-20、-10、+10、+20といった6つの値を決定する。図8に示すような対応表は、医師やエンジニアなどが決定した適当な値で作成したものでも良いし、統計的な情報から作成したものであっても良い。
<ステップS740>
ステップS740において、生成部604は、ステップS710で取得した夫々の元画像と、当該元画像に対してステップS720で抽出した対象領域のマスク画像と、当該元画像に対してステップS730で決定した濃度値の変化量とに基づき、新たな学習画像を生成する。具体的には、第一の実施形態におけるステップS340の処理と同様に、対象領域の各画素の濃度値を数1に従って変更する。
<ステップS750>
ステップS750の処理は、第一の実施形態におけるステップS350と基本的には同一の処理であるため、説明を省略する。
以上の手順に従い、第二の実施形態に係る情報処理装置600は処理を行う。
第二の実施形態に係る情報処理装置600では、対象領域の平均濃度値に基づいて決定した濃度値の変化量を用いて、対象領域の濃度値を変更して新たな学習画像を生成する。このようにすることで、画像中の物体の特性を考慮して新たな学習画像を生成できるため、識別器の画像認識の精度が向上する。
<変形例2-1>
上記の実施例では、対象領域における元画像の濃度値に基づいて濃度値の変化量を決定する方法の一例として、対象領域の濃度値の平均値を用いる方法を説明した。しかし、対象領域における元画像の濃度値に基づいて濃度値の変化量を決定する方法はこれに限らない。例えば、対象領域の濃度値の他の統計値(例えば、メディアン値、分散値、最大値、最小値など)を用いてもよい。例えばメディアン値を用いることで、ノイズへのロバスト性を向上できる。いずれの場合においても、図8と同様に、事前に用意した統計値と変化量との対応表に基づいて、変化量を決定できる。また、対応表を用いる方法以外にも、統計値を入力して変化量を出力する任意の関数によって同様の機能を実現できる。また、統計値は、対象領域全体の濃度値の統計値ではなく、対象領域の一部の領域の濃度値の統計値であってもよい。例えば、元画像である3次元画像を構成する2次元断層画像(スライス画像)群から何枚かのスライス画像を所定の間隔やランダムに選択して、選択したスライス画像における対象領域の濃度値の統計値を用いるようにしてもよい。これによると、ステップS730の処理時間を削減することができる。
<第三の実施形態>
第三の実施形態では、画像の付帯情報をもとに濃度値の変化量を決定し、濃度値の変化量に基づいて新たな学習画像を生成する方法について説明する。本実施形態では、濃度値の変化量を決定するために、医用画像の付帯情報の一般的な規格であるDICOM(Digital Imaging and Communications in Medicine)のヘッダ情報内の管電圧に関する情報を用いる。
X線CT装置において、管電圧を変更するとX線の透過力が変化し、各物体を表す濃度値が変化する。例えば、管電圧を高くした場合には、透過力が高いX線が増えるため、X線の減弱差が描出されにくく、3次元断層画像のコントラストが低くなる傾向にある。逆に、管電圧を低くした場合には、X線の透過力が低いため、X線の減弱差が描出されやすく、3次元断層画像の濃度値が低くなる。しかし、管電圧を変更して撮像した場合においても空気と水の濃度値は変わらない。したがって、本実施形態を適用するのに好適な事例であるといえる。
第三の実施形態に係る情報処理装置900は、取得部901、抽出部902、決定部903、生成部904、学習部905で構成される。また、本実施形態における情報処理システムは情報処理装置900の外部に記憶装置70を具備する。
本実施形態における情報処理システムは、第二の実施形態に記載の情報処理システムと基本的には同一であるため、重複部分の説明を省略する。
以下では、情報処理装置900を構成する各部について説明する。
取得部901は、記憶装置70から教示データ(元画像と元画像に対応付いている正解データの組)を取得する。そして、取得した元画像を、抽出部902、生成部904、学習部905に送信する。また、画像の付帯情報を決定部903に、画像に対応付いている正解データを学習部905に送信する。
抽出部902が行う処理は、第一の実施形態における抽出部102と同様である。
決定部903は、取得部901から取得した画像の付帯情報に基づいて、濃度値の変化量を決定する。そして、決定した濃度値の変化量を生成部904に送信する。
生成部904が行う処理は、第二の実施形態における生成部604と同様である。
学習部905が行う処理は、第一の実施形態における学習部105と同様である。
次に、第三の実施形態にかかる情報処理装置900の処理手順について説明する。処理の全体像は、図7に示す第二の実施形態のフローチャートと同様である。
<ステップS1010>
ステップS1010において、取得部901は、第一の実施形態におけるステップS310の処理に加え、教示データに含まれる夫々の元画像の付帯情報を取得し、これを決定部903に送信する。
<ステップS1020>
ステップS1020の処理は、第一の実施形態におけるステップS320と基本的には同一の処理であるため、説明を省略する。
<ステップS1030>
ステップS1030において、決定部903は、ステップS1010で取得した夫々の元画像の付帯情報に基づいて、夫々の元画像から学習画像を生成する処理に用いる濃度値の変化量を決定する。本実施形態では、濃度値の変化量を決定する際に、DICOMヘッダ内の管電圧の情報を利用する場合を例に説明する。具体的には、第二の実施形態におけるステップS730と同様に、事前に用意した管電圧と濃度値の変化量の対応表を参照して、管電圧に対応する濃度値の変化量を決定する。
なお、変化量の決定に用いる付帯情報は、管電圧に限られるものではない。例えば、撮像時の造影剤投与の有無の情報を用いても良い。X線CT装置において、造影剤を患者に投与して3次元断層画像を撮像すると、臓器などの濃度値が高くなる。そこで、「造影剤投与有り」の画像は、生成する学習画像の濃度値が元画像の濃度値よりも低くなるような値を濃度値の変化量を決定する。また、「造影剤投与無し」の画像は、元画像の濃度値よりも生成する学習画像の濃度値が高くなるような値を濃度値の変化量を決定する。上記によれば、実際の画像では起こり得ない濃度値を有する画像が生成される確率を低減できる。また、DICOMヘッダの情報ではなく、医師が作成した読影レポートの記載内容を利用して濃度値の変化量を決定しても良い。この場合は、例えば入手が困難な珍しい診断名の画像には、濃度値の変化量の数を多く決定してより多くの学習画像を生成するなどの利用の仕方が考えられる。その他、画像に関する付随的な情報であれば、どのような情報であってもよい。
<ステップS1040>
ステップS1040の処理は、第二の実施形態におけるステップS740と基本的には同一の処理であるため、説明を省略する。
<ステップS1050>
ステップS1050の処理は、第一の実施形態におけるステップS350と基本的には同一の処理であるため、説明を省略する。
以上の手順に従い、第三の実施形態に係る情報処理装置900は処理を行う。
第三の実施形態に係る情報処理装置900では、画像の付帯情報に基づいて決定した濃度値の変化量を用いて、対象領域の濃度値を変更して新たな学習画像を生成する。このようにすることで、画像中の物体の特性を考慮して新たな学習画像を生成できるため、識別器の画像認識の精度が向上する。
<第四の実施形態>
第一実施形態から第三の実施形態では、元画像の一部を対象領域として抽出し濃度値を変更することで、新たな学習画像を生成する方法を説明した。しかしながら、撮像時の条件によっては、画像全体の濃度値が変化するだけでなく、物体間のコントラストが変化したり、物体間の濃度値の高低が逆転したりすることがある。例えば、X線CT装置で撮像された3次元断層画像においては、患者に造影剤を投与したときの時相の変化がこの事象に該当する。また、第三の実施形態で取り上げた管電圧に関しても、物体間のコントラストが多少変動する。
そこで、第四の実施形態では、濃度値を変更する複数の対象領域を抽出し、各々の対象領域に対して異なる濃度値の変化量を決定して新たな学習画像を生成する方法について説明する。以下では、具体的な例として、骨、空気・骨以外の2領域を対象領域とし、各々の対象領域に対して濃度値の変化量を決定する場合について説明する。
図11に示す第四の実施形態に係る情報処理装置1100は、取得部1101、抽出部1102、決定部1103、生成部1104、学習部1105で構成される。また、本実施形態における情報処理システムは情報処理装置1100の外部に記憶装置70を具備する。
本実施形態における情報処理システムは、第二の実施形態に記載の情報処理システムと基本的には同一であるため、重複部分の説明を省略する。
以下では、情報処理装置1100を構成する各部について説明する。
取得部1101が行う処理は、第二の実施形態における取得部1101と同様である。
抽出部1102は、取得部1101から取得した画像から、濃度値を変更する複数の対象領域を抽出する。具体的には、対象領域を2つ以上抽出する。そして、抽出した複数の対象領域の情報を、決定部1103と生成部1104に送信する。
決定部1103は、取得部1101から取得した画像と、抽出部1102から取得した複数の対象領域の情報とに基づいて、各々の対象領域に対応する濃度値の変化量を決定する。そして、決定した各々の対象領域に対応する濃度値の変化量を生成部1104に送信する。
生成部1104は、取得部1101から取得した画像と、抽出部1102から取得した複数の対象領域の情報と、決定部1103から取得した複数の対象領域の各々に対応する濃度値の変化量とに基づき、新たな学習画像を生成する。そして、生成した学習画像を学習部1105に送信する。
学習部1105が行う処理は、第一の実施形態における学習部105と同様である。
次に、第四の実施形態にかかる情報処理装置1100の処理手順について説明する。処理の全体像は、図7に示す第二の実施形態のフローチャートと同様である。
<ステップS1210>
ステップS1210の処理は、第一の実施形態におけるステップS310と基本的には同一の処理であるため、説明を省略する。
<ステップS1220>
ステップS1220において、抽出部1102は、ステップS1210で取得した画像から、濃度値を変更する対象領域として、骨と空気・骨以外の2領域を抽出して2つのマスク画像を作成する。具体的には、しきい値処理法により、+600HU以上を骨領域、-550以上~+600HU未満を空気・骨以外の領域として抽出する。このとき、第一の実施形態におけるステップS320と同様に、抽出した領域に対して小さな孤立領域を削除する処理を加えても良い。
なお、対象領域は上述した骨領域と空気・骨以外の領域に限るものではない。例えば、情報処理装置1100の外部から物体ごとの領域情報を取得して、より詳細な分類となるような複数の対象領域を抽出しても良い。具体例として、X線CT装置で撮像された3次元断層画像において、臓器や骨ごとに対象領域を表すマスク画像を作成し、臓器や骨ごとに濃度値の変化量を決定することが考えられる。このようにすることで、造影剤投与による時相の変化などを再現可能である。
<ステップS1230>
ステップS1230において、決定部1103は、ステップS1210で取得した元画像と、ステップS1220で抽出した複数の対象領域のマスク画像とに基づいて、各々の対象領域に対応する濃度値の変化量を決定する。具体的には、第二の実施形態におけるステップS730と同様に、対象領域(骨、空気・骨以外)と濃度値の変化量の対応表を参照して、各々の領域に対応する濃度値の変化量を決定する。
<ステップS1240>
ステップS1240において、生成部1104は、ステップS1210で取得した元画像と、ステップS1220で抽出した複数の対象領域のマスク画像と、ステップS1230で決定した各々の対象領域に対応する濃度値の変化量とに基づき、新たな学習画像を生成する。具体的には、すべての対象領域の各画素の濃度値を数1に従って変更する。このとき、濃度値の変化量cとして、ステップS1230で決定した各々の対象領域に対応する値を用いる。
<ステップS1250>
ステップS1250の処理は、第一の実施形態におけるステップS350と基本的には同一の処理であるため、説明を省略する。
以上の手順に従い、第四の実施形態に係る情報処理装置1100は処理を行う。
第四の実施形態に係る情報処理装置1100では、濃度値を変更する複数の対象領域を抽出し、各々に対応する濃度値の変化量を用いて対象領域の濃度値を変更することで新たな学習画像を生成する。このようにすることで、画像中の物体の特性を考慮して新たな学習画像を生成できるため、識別器の画像認識の精度が向上する。
(その他の実施形態)
本明細書の開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本明細書に開示の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
また、本明細書の開示は上記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。
100 情報処理装置
101 取得部
102 抽出部
103 決定部
104 生成部
105 学習部

Claims (15)

  1. 画像を取得する取得部と、
    前記画像に含まれる一部の領域を対象領域として抽出する抽出部と、
    前記対象領域に含まれる画素の濃度値の変化量の絶対値が前記対象領域以外の領域に含まれる画素の濃度値の変化量の絶対値に比べて大きくなるように前記対象領域に含まれる画素の濃度値の変化量を決定する決定部と、
    前記決定部が決定した変化量に基づいて前記対象領域に含まれる画素の濃度値を変更した学習画像を生成する生成部と、
    前記学習画像を用いて識別器の学習を行う学習部と、を備え、
    前記決定部は、前記対象領域に含まれる画素夫々の濃度値に基づいて、前記対象領域に含まれる画素夫々の濃度値の変化量を決定することを特徴とする情報処理装置。
  2. 前記決定部は、前記対象領域に含まれる画素の濃度値の変化量と、前記対象領域以外の領域に含まれる画素の濃度値の変化量のうち、少なくとも前記対象領域に含まれる画素の濃度値の変化量を決定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記生成部は、前記決定部により決定された濃度値の変化量に基づいて前記対象領域に含まれる画素の濃度値を変更し、かつ前記対象領域以外の領域に含まれる画素の濃度値を変更せずに学習画像を生成することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記決定部は、前記対象領域に含まれる画素の濃度値の変化量及び前記対象領域以外の領域に含まれる画素の濃度値の変化量を決定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記決定部は、前記対象領域に含まれる2つ以上の画素の濃度値に基づいて、前記対象領域に含まれる画素の濃度値の変化量を決定することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記決定部は、前記対象領域に含まれる統計値に基づいて、前記対象領域に含まれる画素の濃度値の変化量を決定することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 前記統計値は、前記対象領域に含まれる画素の平均濃度値であることを特徴とする請求項6に記載の情報処理装置。
  8. 前記決定部は、前記画像の付帯情報に基づき、前記対象領域に含まれる画素の濃度値の変化量を決定することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記決定部は、前記対象領域に含まれる画素の濃度値の変化量の上限値と下限値の少なくとも一方をさらに決定し、前記上限値もしくは前記下限値を超えない値の中から前記対象領域に含まれる画素の濃度値の変化量を決定することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 前記抽出部は、前記対象領域を2つ以上抽出することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
  11. 前記画像は医用画像であることを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
  12. 前記抽出部は前記医用画像に含まれる空気でない領域を対象領域として抽出することを特徴とする請求項11に記載の情報処理装置。
  13. 画像を取得する取得部と、
    前記画像に含まれる一部の領域を対象領域として抽出する抽出部と、
    前記対象領域に含まれる画素夫々の濃度値に基づいて、前記対象領域に含まれる画素の濃度値の変化量を決定する決定部と、
    前記決定部により決定された濃度値の変化量に基づいて前記対象領域に含まれる画素の濃度値を一律に変更し、かつ前記対象領域以外の領域に含まれる画素の濃度値を変更せずに学習画像を生成する生成部と、
    前記学習画像を用いて識別器の学習を行う学習部と、
    を備えることを特徴とする情報処理装置。
  14. 情報処理装置によって実行される情報処理方法であって、
    画像を取得する取得工程と、
    前記画像に含まれる一部の領域を対象領域として抽出する抽出工程と、
    前記対象領域に含まれる画素の濃度値の変化量の絶対値が前記対象領域以外の領域に含まれる画素の濃度値の変化量の絶対値に比べて大きくなるように前記対象領域に含まれる画素の濃度値の変化量を決定する決定工程と、
    前記決定工程によって決定された変化量に基づいて前記対象領域に含まれる画素の濃度値を変更した学習画像を生成する生成工程と、
    前記学習画像を用いて識別器の学習を行う学習工程と、を備え、
    前記決定工程は、前記対象領域に含まれる画素夫々の濃度値に基づいて、前記対象領域に含まれる画素夫々の濃度値の変化量を決定することを特徴とする情報処理方法。
  15. 請求項1乃至1のいずれか1項に記載の情報処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。
JP2018143719A 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム Active JP7218118B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018143719A JP7218118B2 (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム
PCT/JP2019/028475 WO2020026852A1 (ja) 2018-07-31 2019-07-19 情報処理装置、情報処理方法およびプログラム
US17/157,699 US11961161B2 (en) 2018-07-31 2021-01-25 Information processing apparatus, information processing method, and storage medium
JP2023009355A JP7463575B2 (ja) 2018-07-31 2023-01-25 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018143719A JP7218118B2 (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023009355A Division JP7463575B2 (ja) 2018-07-31 2023-01-25 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020021228A JP2020021228A (ja) 2020-02-06
JP7218118B2 true JP7218118B2 (ja) 2023-02-06

Family

ID=69231125

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018143719A Active JP7218118B2 (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム
JP2023009355A Active JP7463575B2 (ja) 2018-07-31 2023-01-25 情報処理装置、情報処理方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023009355A Active JP7463575B2 (ja) 2018-07-31 2023-01-25 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11961161B2 (ja)
JP (2) JP7218118B2 (ja)
WO (1) WO2020026852A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7307166B2 (ja) 2019-06-28 2023-07-11 富士フイルム株式会社 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
CN111476729B (zh) * 2020-03-31 2023-06-09 北京三快在线科技有限公司 一种目标识别的方法及装置
JP7483528B2 (ja) 2020-06-29 2024-05-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
WO2022153474A1 (ja) * 2021-01-15 2022-07-21 日本電信電話株式会社 画像処理装置、画像処理方法、およびプログラム
JP2023065028A (ja) * 2021-10-27 2023-05-12 堺化学工業株式会社 教師データ生成方法、画像解析モデル生成方法、画像解析方法、教師データ生成プログラム、画像解析プログラムおよび教師データ生成装置
JP2023179333A (ja) * 2022-06-07 2023-12-19 ブラザー工業株式会社 コンピュータプログラム、処理方法、および、処理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301779A (ja) 2005-04-18 2006-11-02 Konica Minolta Photo Imaging Inc 画像処理システム、画像処理方法及び画像処理プログラム
WO2007029467A1 (ja) 2005-09-05 2007-03-15 Konica Minolta Medical & Graphic, Inc. 画像処理方法及び画像処理装置
JP2013122723A (ja) 2011-12-12 2013-06-20 Seiko Epson Corp 検出装置、及び、検出方法
JP2017037424A (ja) 2015-08-07 2017-02-16 日本放送協会 学習装置、認識装置、学習プログラム、及び認識プログラム
JP2018038789A (ja) 2016-09-02 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2018089065A (ja) 2016-12-01 2018-06-14 株式会社島津製作所 X線透視装置
JP2018517209A (ja) 2015-05-28 2018-06-28 トキタエ エルエルシー 画像分析システムおよび関連する方法
WO2018159775A1 (ja) 2017-03-03 2018-09-07 国立大学法人筑波大学 対象追跡装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048370A (ja) 2004-08-04 2006-02-16 Kagawa Univ パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置
US8041090B2 (en) * 2005-09-10 2011-10-18 Ge Healthcare Uk Limited Method of, and apparatus and computer software for, performing image processing
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
US20190272651A1 (en) * 2008-05-07 2019-09-05 Lawrence A. Lynn Patient Monitoring System For Detecting Adverse Clinical Conditions
EP2961312A4 (en) * 2013-02-28 2017-01-04 Lawrence A. Lynn Patient storm tracker and visualization processor
JP6409433B2 (ja) * 2014-09-17 2018-10-24 大日本印刷株式会社 画像生成装置、画像検出システム及び画像生成方法
CN106485695B (zh) * 2016-09-21 2019-09-13 西北大学 基于统计形状模型的医学图像Graph Cut分割方法
CN108288064B (zh) 2017-01-09 2022-06-07 北京京东尚科信息技术有限公司 用于生成图片的方法和装置
US10657444B2 (en) * 2017-03-09 2020-05-19 Thomas Danaher Harvey Devices and methods using machine learning to reduce resource usage in surveillance
JP2019175093A (ja) 2018-03-28 2019-10-10 パナソニックIpマネジメント株式会社 推定装置、推定方法、推定プログラム、学習装置、学習方法、及び学習プログラム
JP7220727B2 (ja) * 2019-01-31 2023-02-10 富士フイルム株式会社 学習済みモデル、学習方法、及びプログラム、並びに医用情報取得装置、方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301779A (ja) 2005-04-18 2006-11-02 Konica Minolta Photo Imaging Inc 画像処理システム、画像処理方法及び画像処理プログラム
WO2007029467A1 (ja) 2005-09-05 2007-03-15 Konica Minolta Medical & Graphic, Inc. 画像処理方法及び画像処理装置
JP2013122723A (ja) 2011-12-12 2013-06-20 Seiko Epson Corp 検出装置、及び、検出方法
JP2018517209A (ja) 2015-05-28 2018-06-28 トキタエ エルエルシー 画像分析システムおよび関連する方法
JP2017037424A (ja) 2015-08-07 2017-02-16 日本放送協会 学習装置、認識装置、学習プログラム、及び認識プログラム
JP2018038789A (ja) 2016-09-02 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2018089065A (ja) 2016-12-01 2018-06-14 株式会社島津製作所 X線透視装置
WO2018159775A1 (ja) 2017-03-03 2018-09-07 国立大学法人筑波大学 対象追跡装置

Also Published As

Publication number Publication date
JP2023033639A (ja) 2023-03-10
US20210150711A1 (en) 2021-05-20
JP7463575B2 (ja) 2024-04-08
US11961161B2 (en) 2024-04-16
JP2020021228A (ja) 2020-02-06
WO2020026852A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7218118B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11861829B2 (en) Deep learning based medical image detection method and related device
US11961226B2 (en) Medical image recognition method, model training method, and computer device
US11132792B2 (en) Cross domain medical image segmentation
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
Li et al. Superpixel-guided iterative learning from noisy labels for medical image segmentation
Maity et al. Automatic lung parenchyma segmentation using a deep convolutional neural network from chest X-rays
CN110023995A (zh) 用于心脏运动校正的心脏分割方法
CN116797612B (zh) 基于弱监督深度活动轮廓模型的超声图像分割方法及装置
JP2021077331A (ja) データ処理装置及びデータ処理方法
Ratul et al. CCX-rayNet: a class conditioned convolutional neural network for biplanar X-rays to CT volume
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
Xu et al. Improved cascade R-CNN for medical images of pulmonary nodules detection combining dilated HRNet
CN111180046B (zh) 确定用于处理图像的处理序列
Ding et al. Research on Spinal Canal GenerationMethod based on Vertebral Foramina Inpainting of Spinal CT Images by using BEGAN.
Luo et al. Research on several key problems of medical image segmentation and virtual surgery
Miao et al. Spinal neoplasm image inpainting with deep convolutional neutral networks
Pérez-García et al. RadEdit: stress-testing biomedical vision models via diffusion image editing
JP7483528B2 (ja) 画像処理装置、画像処理方法、プログラム
DREVICKÝ et al. Deep Learning Model Uncertainty in Medical Image Analysis
EP4386680A1 (en) Cbct simulation for training ai-based ct-to-cbct registration and cbct segmentation
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
Pandey et al. A Framework for Mathematical Methods in Medical Image Processing
Liu et al. Su-unet: A novel self-updating network for hepatic vessel segmentation in ct images
Ciano et al. A Multi-Stage GAN for Multi-Organ Chest X-ray Image Generation and Segmentation. Mathematics 2021, 9, 2896

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R151 Written notification of patent or utility model registration

Ref document number: 7218118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151