JP7463575B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7463575B2
JP7463575B2 JP2023009355A JP2023009355A JP7463575B2 JP 7463575 B2 JP7463575 B2 JP 7463575B2 JP 2023009355 A JP2023009355 A JP 2023009355A JP 2023009355 A JP2023009355 A JP 2023009355A JP 7463575 B2 JP7463575 B2 JP 7463575B2
Authority
JP
Japan
Prior art keywords
region
change
amount
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023009355A
Other languages
English (en)
Other versions
JP2023033639A (ja
Inventor
深 山嵜
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2023009355A priority Critical patent/JP7463575B2/ja
Publication of JP2023033639A publication Critical patent/JP2023033639A/ja
Application granted granted Critical
Publication of JP7463575B2 publication Critical patent/JP7463575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本明細書の開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、画像認識分野において機械学習が用いられている。機械学習に基づく識別器で画像認識を行うためには、教示データと呼ばれる学習画像と正解データの組による学習が必要である。一般に、画像に描出される対象物体は、撮像時のさまざまな条件により濃度値が変動する。そのため、実際の画像において対象物体が有しうる濃度値を包括するように、大量の教示データを準備する必要がある。そこで、特許文献１では、画像数の少ないクラスに属する教示データに対して、アフィン変換（拡大、縮小、回転）と属性変換（明るさ、コントラスト、エッジ強度）をすることで、新たな教示データを生成する方法が開示されている。
特開２００６－４８３７０号公報
しかしながら、特許文献１に記載の方法では、教示データの濃度値を一律に変更するため、場合によっては望ましくなかった。
本明細書の開示は、適切に濃度値を変更した新たな教示データを用いて識別器を学習させることを目的の一つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の一つとして位置付けることができる。
本明細書に開示の情報処理装置は、画像を取得する取得部と、前記画像に含まれる一部の領域を対象領域として抽出する抽出部と、前記対象領域に含まれる画素の濃度値の変化量の絶対値が前記対象領域以外の領域に含まれる画素の濃度値の変化量の絶対値に比べて大きくなるように前記対象領域に含まれる画素の濃度値の変化量を決定する決定部と、前記決定部が決定した変化量に基づいて前記対象領域に含まれる画素の濃度値を変更した学習画像を生成する生成部と、前記学習画像を用いて識別器の学習を行う学習部と、を備えることを特徴とする。
本明細書の開示によれば、適切に濃度値を変更した新たな教示データを用いて識別器を学習させることができる。
第一の実施形態に係る情報処理装置の構成の一例を示す図 第一の実施形態に係る情報処理装置のハードウェア構成の一例を示す図 第一の実施形態に係る情報処理装置の処理手順の一例を示すフローチャート 第一の実施形態に係る画像の一例を説明する図 第一の実施形態に係る学習画像の生成方法の一例を示す図 第二の実施形態に係る情報処理装置の構成の一例を示す図 第二の実施形態に係る情報処理装置の処理手順の一例を示すフローチャート 第二の実施形態に係る情報処理装置で濃度値の変化量を決定するための対応表の一例を示す図 第三の実施形態に係る情報処理装置の構成の一例を示す図 第三の実施形態に係る情報処理装置の処理手順の一例を示すフローチャート 第四の実施形態に係る情報処理装置の構成の一例を示す図 第四の実施形態に係る情報処理装置の処理手順の一例を示すフローチャート
本実施形態にかかる情報処理装置では、Ｘ線コンピュータ断層撮像（Ｘ線ＣＴ）装置で撮像された人体の３次元断層画像（３次元画像の一種）を処理する例を説明する。しかしながら、本明細書の開示の適用範囲は上述のＸ線ＣＴ装置で撮影された３次元断層画像に限定されるものではない。例えば、核磁気共鳴画像撮像装置（ＭＲＩ）装置、ポジトロン断層撮像（ＰＥＴ）装置、３次元超音波撮像装置で撮像された３次元断層画像でもよい。その他にも、撮像時の条件を変更することによって、濃度値が変化する領域と、変化しない領域が存在する画像であればいかなる画像であっても良い。また、本明細書の開示は、３次元画像以外に、２次元画像（例えば、単純Ｘ線画像）にも適用可能である。具体的には、単純Ｘ線画像の他、電子線ＣＴ画像や自然画像にも適用可能である。例えば、交通状況を撮影したような自然画像であれば、画像中の車の濃度値を変化させ、道路や標識の濃度値は変化させないというように適用することが考えられる。
以下では、機械学習に基づく識別器で画像認識を行う一例として、画像から物体の領域を抽出する識別器について説明する。より具体的には、Ｘ線ＣＴ装置で撮像された３次元断層画像に対して、肺野の領域抽出を行うＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を例に挙げて、本実施形態について説明する。ここで領域抽出とは、画像内を関心領域と関心領域以外の領域に分割する処理のことを指す。領域抽出は、画像処理の分野において、領域分割、画像分割、セグメンテーションとも呼ばれる。
本実施形態では、肺野の領域抽出を行うＣＮＮの一例として、Ｕ－Ｎｅｔ［Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ ｅｔ ａｌ．， “Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ，” Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ （ＭＩＣＣＡＩ），ｖｏｌ．９３５１：２３４－２４１，２０１５．］を用いる。Ｕ－Ｎｅｔの学習には、学習画像である２次元断層画像（３次元断層画像を構成する複数の断層画像のうちの１枚）と２次元断層画像に対応する正解データが教示データとなる。本実施形態における正解データは、例えば肺野領域を表すマスク画像である。マスク画像とは、関心領域に属する画素か否かを２値で表した画像である。
なお、以下では物体の領域を抽出する識別器について説明するが、本明細書の開示の適用範囲はこれに限るものではない。例えば、物体の位置を検出する識別器であっても良いし、物体が何であるかを分類する識別器であっても良いし、物体がどのような状態であるかを解析する識別器であっても良い。その他にも、画像認識を行う識別器であれば何でもよい。
＜第一の実施形態＞
第一の実施形態に係る情報処理装置は、教示データに含まれる夫々の学習画像を、撮影されている物体の特性や撮像条件等により濃度値が変わりうる領域と、撮影されている物体の特性や撮像条件等により濃度値が凡そ変わらない領域という２つの領域に分割する。そして、画像の濃度値が変わりうる領域に属する画素の濃度値を、所定の方法（後述）で変更（増減）する。一方、濃度値が凡そ変わらない領域に属する画素の濃度値は変更しない。このような方法で、教示データに元々含まれていたそれぞれの学習画像（以下では元画像と記述する）から、新たな学習画像を生成する。新しく生成された学習画像はそれぞれ、元の学習画像（元画像）に対応付けられた正解データとの間で一つの組として対応付けられる。この新しく生成された学習画像と正解データの組は、教示データに加えられる。最後に、新たに構築された教示データを使って、識別器の学習を行う。
以下の例では、学習画像中の人体領域（ただし肺野領域を除く）を、画像の濃度値が変わりうる領域と見なす。そして、空気領域を濃度値が凡そ変わらない領域と見なす。人体領域（ただし肺野領域を除く）を画像の濃度値が変わりうる領域と見なすのは、この領域が被検体の個人差や撮像時の条件により、異なる濃度値で描出されるためである。ここで、撮像時の条件とは、例えば管電圧などのＸ線ＣＴ装置に関する条件や、造影剤投与の有無などのことを指す。一方、空気領域は、撮像時の条件が変わっても凡そ同じ濃度値（空気：－１０００ＨＵ）となる。そのため、このような領域の決定は、本実施形態において好適な事例である。
なお以下では、元画像のうち画像の濃度値が変わりうる領域と見なされた領域のことを、濃度値を変更する対象領域と呼ぶ。そして、元画像のうち濃度値が凡そ変わらない領域と見なされた領域のことを、対象領域以外の領域と呼ぶ。また、本明細書に開示の技術で学習された識別器が抽出する領域のことを、識別器による領域抽出の対象となる領域、あるいは、関心領域と呼ぶ。本実施形態では、肺野領域が領域抽出の対象となる領域である。
以下、図１を参照して、本実施形態に係る情報処理システムの機能構成について説明する。同図に示すように、本実施形態に係る情報処理装置１００は、取得部１０１、抽出部１０２、決定部１０３、生成部１０４、学習部１０５で構成される。また、本実施形態における情報処理システムは、情報処理装置１００の外部に記憶装置７０を具備する。
記憶装置７０はコンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ（ＨＤＤ）やソリッドステイトドライブ（ＳＳＤ）に代表される大容量情報記憶装置である。記憶装置７０は、少なくとも１つ以上の元画像（３次元断層画像）を保持している。また、記憶装置７０には、各々の元画像に対応する正解データが保持されている。記憶装置７０が保持する元画像と正解データは、取得部１０１を介して情報処理装置１００に入力される。本実施形態における正解データは、正解の肺野領域画像であり、肺野に属する画素か否かを２値で表したマスク画像である。このマスク画像は、関心領域の画素値が１、関心領域以外の領域の画素値が０で表されている。また、マスク画像は元画像と同じ画像サイズである。なお、マスク画像における画素値は、関心領域を表す画素と関心領域以外の領域を表す画素を区別可能であれば、どのような画素値を与えても構わない。例えば、画素値として１または２のいずれか一方を与えても良い。また、３つ以上の値の中から２つの値を割り当てても良い。また、マスク画像は上述のように元画像と同じ画像サイズであってもよいし、異なる画像サイズであっても良い。
以下、情報処理装置１００を構成する各部について説明する。
取得部１０１は、記憶装置７０から教示データ（元画像と元画像に対応付いている正解データの組）を取得する。そして、取得した元画像を、抽出部１０２、決定部１０３、生成部１０４、学習部１０５に送信する。また、取得した正解データを学習部１０５に送信する。
抽出部１０２は、取得部１０１から取得した画像から、濃度値を変更する対象領域を抽出する。そして、抽出した対象領域の情報を生成部１０４に送信する。ここで、対象領域の情報とは、例えば、濃度値を変更する対象領域を表すマスク画像である。
決定部１０３は、取得部１０１から取得した画像と、抽出部１０２から取得した対象領域の情報とに基づいて、濃度値の変化量を決定する。そして、決定した濃度値の変化量を生成部１０４に送信する。
生成部１０４は、取得部１０１から取得した画像と、抽出部１０２から取得した対象領域の情報と、決定部１０３から取得した濃度値の変化量とに基づき、新たな学習画像を生成する。そして、生成した学習画像を学習部１０５に送信する。
学習部１０５は、取得部１０１から取得した画像および正解データと、生成部１０４から取得した学習画像とに基づき、識別器の学習を行う。
なお、図１に示した情報処理装置１００の各部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。
図２は、情報処理装置１００のハードウェア構成の一例を示す図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２００１は、主として各構成要素の動作を制御する。主メモリ２００２は、ＣＰＵ２００１が実行する制御プログラムを格納したり、ＣＰＵ２００１によるプログラム実行時の作業領域を提供したりする。磁気ディスク２００３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。表示メモリ２００４は、表示用データを一時記憶する。モニタ２００５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ２００４からのデータに基づいて画像やテキスト等の表示を行う。マウス２００６及びキーボード２００７は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス２００８により互いに通信可能に接続されている。
ＣＰＵ２００１が主メモリ２００２、磁気ディスク２００３等に格納されているプログラムを実行することにより、図１に示した情報処理装置１００の各部の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。
また、ＣＰＵ２００１はプロセッサの一例に相当する。情報処理装置１００は、ＣＰＵ２００１に加えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくともいずれかを有していてもよい。また、ＣＰＵ２００１に代えて、ＧＰＵやＦＰＧＡの少なくともいずれかを有していてもよい。主メモリ２００２、磁気ディスク２００３はメモリの一例に相当する。
次に、本実施形態における情報処理装置１００の処理手順について、図３を用いて説明する。
＜ステップＳ３１０＞
ステップＳ３１０において、取得部１０１は、記憶装置７０から教示データ（元画像とそれに対応する正解データの組）を取得する。すなわち、取得部１０１は、画像を取得する取得部の一例に相当する。Ｕ－Ｎｅｔの学習には複数枚の画像が必要である。本実施形態では、記憶装置７０が例えば１０００枚の元画像を保持しているものとし、取得部１０１は１０００枚の元画像とそれらに対応する正解データを取得する。
ここで図４を参照して、ステップＳ３１０で取得する元画像と正解データについて説明する。図４（ａ）は胸部を表した２次元断層画像４１０とそれに対応する正解データ４５０を示している。２次元断層画像４１０は、３次元断層画像（元画像）を構成する２次元断層画像の１枚である。また、２次元断層画像４１０に対応する正解データ４５０は肺野領域を表した２次元のマスク画像である。
＜ステップＳ３２０＞
ステップＳ３２０において、抽出部１０２は、ステップＳ３１０で取得した教示データにおける夫々の元画像に対して、濃度値を変更する対象領域を抽出する。本実施形態においては、濃度値を変更する対象領域として空気以外の領域を抽出する。すなわち、画像に含まれる一部の領域を対象領域として抽出する。Ｘ線ＣＴ装置で撮像された３次元断層画像は、空気の濃度値が凡そ一定の値（－１０００ＨＵ付近）になる。そのため、本実施形態ではしきい値処理法で空気以外の領域を抽出する。具体的には、抽出部１０２が－５５０ＨＵ以上を空気以外の領域として抽出し、濃度値を変更する対象領域を表すマスク画像を作成する。また、上記の方法で抽出した領域に対して、オープニング処理やクロージング処理を施したり、最大連結領域以外を削除する処理を施したりして、小さな孤立領域を削除しても良い。なお、上記のしきい値は一例であり、空気以外の領域を抽出できる値であればよい。
ステップＳ３２０では上述の方法によって、図４（ｂ）に例示するような、濃度値を変更する対象領域を表すマスク画像４２０を作成する。マスク画像４２０は、２次元断層画像４１０と同じ画像サイズであり、濃度値を変更する対象領域４２１が画素値１、対象領域以外の領域４２２が画素値０として保持されている。
上記では、濃度値を変更する対象領域を抽出する方法として、しきい値処理法を用いたが、これに限るものではない。例えば、公知のセグメンテーション手法であるＬｅｖｅｌ－ｓｅｔ法やＧｒａｐｈ－ｃｕｔ法、Ｓｎａｋｅ法などであっても良い。その他、濃度値を変更する対象領域４２１と対象領域以外の領域４２２を分割する方法であればいかなる方法であっても良い。また、情報処理装置１００の外部から対象領域４２１を区別する情報（マスク画像など）を取得しても良い。
＜ステップＳ３３０＞
ステップＳ３３０において、決定部１０３は、ステップＳ３１０で取得した夫々の元画像と、当該元画像に対してステップＳ３２０で抽出した対象領域４２１のマスク画像とに基づいて、対象領域４２１における元画像の濃度値を決定する。すなわち、決定部１０３は、画像に含まれる画素の濃度値の変化量を決定する決定部の一例に相当する。
より詳細に決定部１０３が行う濃度値の変化量の決定方法について説明する。Ｘ線ＣＴ装置で撮像された３次元断層画像は、被検体の個人差や撮像時の条件により、空気と水を除く物体の濃度値が－５０～＋５０ＨＵの範囲を変動することが起こり得る。そのため、本実施形態では、濃度値の変化量として－５０～＋５０ＨＵの間から乱数で決定した値を用いる。なお、濃度値の変化量は上記に限定されない。
また、濃度値の変化量は、決定部１０３が上限値と下限値をさらに決定し、上限値と下限値を超えない値の範囲から乱数で決定されるような構成でもよい。例えば、上限値を＋３０ＨＵ、下限値を－１０ＨＵとし、その間の値である＋１０ＨＵが濃度値の変化量として乱数で決定される。なお、上記の数字は一例であり、これに限定されない。さらに、上限値もしくは下限値のいずれか一方のみを決定するような構成でもよい。また、上限値と下限値は自動で決定されてもよいしユーザが任意の値に決定してもよい。
また、対象領域４２１の濃度値を変更する場合に、一律に同じ変化量を用いずに対象領域４２１内の画素によって異なる濃度値の変化量を決定してもよい。すなわち、対象領域４２１に含まれる画素夫々の濃度値に基づいて、前記対象領域に含まれる画素夫々の濃度値の変化量を決定してもよい。この場合、例えば、トーンカーブを用いて濃度値が低い画素は濃度値の変化量を大きくし、濃度値が高い画素は濃度値の変化量を小さくする方法が考えられる。具体的には、後述の（１）式において濃度値が、ｘｎ ｏｒｉｇｉｎａｌ＞ｘｌ ｏｒｉｇｉｎａｌだった場合、ｘｎ ｏｒｉｇｉｎａｌに対しては濃度値の変化量ｃ＝＋１０、ｘｌ ｏｒｉｇｉｎａｌに対しては濃度値の変化量ｃ＝＋２０が決定されるようにトーンカーブを調整する。
なお、２つの変化量が０より小さい場合には、濃度値が低い画素は濃度値の変化量の絶対値を小さくし、濃度値が高い画素は濃度値の変化量の絶対値を大きくしてもよい。上記によれば、実際の画像では起こり得ない濃度値を有する画像が生成されることを確率を低減できる。
さらに、対象領域４２１内の画素の濃度値を変更する場合に、対象領域４２１に含まれる２つ以上の画素を含む部分領域を決定し、該部分領域内の画素の濃度値に基づいて部分領域ごとの濃度値の変化量を決定してもよい。
また、上記においては、対象領域４２１の濃度値の変化量のみを決定したが、濃度値の変化量の決定方法はこれに限定されるものではない。例えば、濃度値を変更する対象領域以外の領域４２２についても、微小な濃度値の変化量を決定する。この場合、対象領域４２１の濃度値の変化量に対して十分に小さい値（例えば、対象領域４２１の濃度値の変化量の１０分の１の値）を当該領域の画素の濃度値に対して加算するようにしてもよい。
つまり、決定部１０３は、対象領域４２１に含まれる画素の濃度値の変化量及び対象領域以外の領域４２２に含まれる画素の濃度値の変化量の両方を決定する構成でもよい。具体的には、対象領域４２１に含まれる画素の濃度値の変化量の絶対値が対象領域以外の領域４２２に含まれる画素の濃度値の変化量の絶対値に比べて大きくなるように２つの値を決定し学習画像４３０を生成する。
すなわち、後述の（１）式のｘｉ ｎｅｗ＝ｘｉ ｏｒｉｇｉｎａｌをｘｉ ｎｅｗ＝ｘｉ ｏｒｉｇｉｎａｌ＋ｃ’（ｃ≫ｃ’）とする構成でもよい。
なお、この構成で対象領域以外の領域４２２の濃度値を変更せずに学習画像を作成する場合、ｃ’＝０とすることにより（１）式と同等になる。つまり、対象領域以外の領域４２２の濃度値を変更せずに学習画像４３０を作成する場合、ｃ’を用いない構成でもよいし、ｃ’を加算し、ｃ’＝０とする構成でもよい。
すなわち、決定部１０３は、対象領域４２１に含まれる画素の濃度値の変化量と、対象領域以外の領域４２２に含まれる画素の濃度値の変化量のうち、少なくとも対象領域４２１に含まれる画素の濃度値の変化量ｃを決定すればよい。
＜ステップＳ３４０＞
ステップＳ３４０において、生成部１０４は、ステップＳ３１０で取得した夫々の元画像と、当該元画像に対してステップＳ３２０で抽出した濃度値を変更する対象領域のマスク画像４２０と、当該元画像に対してステップＳ３３０で決定した濃度値の変化量とに基づき、新たな学習画像４３０を生成する。すなわち、生成部１０４は、決定された濃度値の変化量に基づいて濃度値を変更する対象領域４２１の濃度値を変更した学習画像４３０を生成する。より具体的には、例えば、決定部１０３により決定された濃度値の変化量に基づいて濃度値を変更する対象領域４２１に含まれる画素の濃度値を一律に変更し、かつ対象領域以外の領域４２２に含まれる画素の濃度値を変更せずに学習画像４３０を生成する。
数式を用いて学習画像４３０の生成方法の説明を行う。決定部１０３が濃度値の変化量ｃを決定し、元画像をｘｏｒｉｇｉｎａｌとしたとき、新たな学習画像ｘｎｅｗを、以下の数式に基づいて生成部１０４が生成する。
Figure 0007463575000001
なお、ｉは画素番号を示す。また、Ｔは、濃度値を変更する対象領域を表すマスク画像４２０において、濃度値を変更する対象領域に属する画素に付与された画素番号の集合である。生成部１０４は、この計算を、取得部１０１から取得したすべての元画像に対して行う。このとき、濃度値の変化量ｃは、すべての元画像で共通の値を用いる。
上述の生成方法により、図４（ｃ）に示すような、２次元断層画像４１０における対象領域４２１のみの濃度値が変更された学習画像４３０が生成される。
なお、複数の濃度値の変化量ｃを用いて、１つの元画像から複数の学習画像４３０を生成しても良い。例えば、濃度値の変化量ｃの値として－２０、－１０、＋１０、＋２０のように４つ値を用いることで、１つの２次元断層画像４１０から図５に示すような４つの学習画像４３０ａ～４３０ｄを生成しても良い。ここで、学習画像４３０ａ～４３０ｄはそれぞれ、（１）式をｃ＝－２０，ｃ＝－１０，ｃ＝１０，ｃ＝２０として計算することで得られる。
また、上記のように複数の濃度値の変化量ｃを決定する場合、決定する濃度値の数は元画像の枚数に基づいて決定してもよい。例えば、必要となる教示データが１００００データに対して元画像が２０００枚しかない場合には変化量ｃを５つ決定し、元画像が５０００枚ある場合には変化量ｃを２つ決定する。上記のように、必要となるデータ数と元画像の枚数に基づいて変化量ｃの数を決定することにより所望の数のデータ数を得ることができる。なお、上記の数は一例でありこれに限定されない。さらに、上記では必要となる教示データに対して元画像が少ないほど変化量ｃの数を多くしたが、変化量ｃの数の決定方法もこれに限定されない。
また、濃度値の変化量ｃは、元画像ごとに異なる値を適用しても良いし、元画像が３次元画像である場合には、３次元画像を構成する２次元画像ごとに異なる値を適用しても良い。例えば、１つ目の元画像は濃度値の変化量を＋１０ＨＵ、２つ目の元画像は濃度値の変化量を－２０ＨＵ、以降の元画像に対しても同様に異なる濃度値の変化量を適用して学習画像４３０を生成する方法が考えられる。
また、学習画像４３０は、元画像の画素値に変化量ｃを加算して生成する方法以外の種々の演算により実現される。例えば、対象領域４２１に属する画素に対して、変化率ａを元画像の画素値に乗算し学習画像４３０を生成する構成であっても良い。この場合、決定部１０３は、ステップＳ３３０において変化率ａを決定する。
なお、対象領域の濃度値を変更しない学習画像４３０の生成は、（１）式をｃ＝０で計算することに相当する。
＜ステップＳ３５０＞
ステップＳ３５０において、学習部１０５は、ステップＳ３４０で生成した学習画像４３０と、ステップＳ３１０で取得した元画像と正解データとに基づいてＵ－Ｎｅｔを学習させる。そして、学習の結果（識別器のパラメータ）を記憶装置７０に出力する。
ここで、ステップＳ３４０で新たに生成した学習画像４３０は、元画像の濃度値を局所的に変えた画像である。したがって、元画像と新たに生成した学習画像４３０は、肺野領域の位置は変わらないため、元画像と同じ正解データを利用できる。図４を用いて説明すると、本実施形態で生成される学習画像４３０に対応する正解データは、２次元断層画像４１０に対応する正解データ４５０となる。すなわち、学習部１０５は、ステップＳ３１０で取得した教示データに学習画像４３０と正解データの組を追加した（データを水増しした）新たな教示データを生成する。そして、生成した新たな教示データを用いて、識別器の学習を行う。
学習方法は、例えば、ＣＮＮの学習において一般的な手法である誤差逆伝播法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を用いる。これにより、Ｕ－Ｎｅｔが対象物体を識別するための複雑な特徴を学習し、未知の画像に対しても高度な領域抽出が可能になる。なお、学習方法は上記に限定されない。
また、本ステップで識別器の学習に用いる教示データには、ステップＳ３４０で生成した学習画像が含まれていれば何でもよい。例えば、学習に用いる教示データには、ステップＳ３１０で取得した元画像が含まれていなくても良い。
さらに、学習部１０５は、本ステップで識別器の学習に用いる教示データを、記憶装置７０に保存する構成であってもよい。また、教示データを入力して識別器の学習を行う他の情報処理装置への入力データとして、生成した教示データを保存する処理だけを行い、実際の学習は本装置では行わない構成であってもよい。この場合、夫々の元画像に対する正解データを入力する処理や、学習画像４３０と正解データとの対応付けを行う処理は、必ずしも行う必要はない。
以上の手順に従い、第一の実施形態に係る情報処理装置１００は処理を行う。
ここで、図４（ｃ）を参照して、第一の実施形態にかかる情報処理装置で生成される学習画像４３０と、特許文献１で開示されている技術で生成される学習画像４４０の差異を説明する。第一の実施形態にかかる情報処理装置で生成される学習画像４３０は、２次元断層画像４１０における対象領域４２１のみの濃度値が変更された画像である。それに対して、特許文献１に記載の技術で生成される学習画像４４０は、２次元断層画像４１０の濃度値を一律に変更した画像である。上述の通り、Ｘ線ＣＴ装置では、撮像時の条件が変わっても空気領域の濃度値は変化しない。そのため、特許文献１に記載の技術では、主に空気領域において実際には起こり得ない濃度値となるが、第一の実施形態にかかる情報処理装置が実施する生成方法では、空気領域の濃度値を正しく再現することができる。
第一の実施形態に係る情報処理装置１００では、元画像において濃度値を変更する対象領域４２１を濃度値を変更しない対象領域以外の領域４２２と区別し、対象領域４２１についてのみ元画像から濃度値を変更して新たな学習画像を生成する。このようにすることで、画像中の物体の特性を考慮して新たな学習画像を生成できるため、識別器の画像認識の精度が向上する。
＜変形例１－１＞
本実施形態では、識別器による領域抽出の対象となる領域（上述の説明では肺野領域）と、濃度値を変更する対象領域（上述の説明では肺野領域を除く人体領域）、濃度値を変更しない領域（上述の説明では空気領域）の３つの領域が、互いに重ならない例を説明した。
しかしながら、これらの領域が互いに重なっていても、本実施形態の効果は得られる。例えば、領域抽出の対象となる領域を肝臓領域、濃度値を変更する対象領域も肝臓領域、濃度値を変更しない領域を肝臓以外の領域、として抽出してもよい。この時、領域抽出の対象となる領域（肝臓領域）と濃度値を変更する対象領域（肝臓領域）は、互いに領域が重なっている。なお、肝臓は一例であって、心臓や腎臓といった撮像時の条件が変わることで濃度値が変動しやすい物体を対象としてもよい。
このような領域抽出の元で、第一の実施形態にかかる情報処理装置１００は、以下の処理を行う。ステップＳ３１０、Ｓ３５０は上述の通りであるため、説明を省略する。ステップＳ３２０において、抽出部１０２は取得部１０１から正解データを取得する。そして、正解データに示されている領域（本例では肝臓領域）を、濃度値を変更する対象領域とする。すなわち、正解データに基づいて対象領域のマスク画像を生成する。ステップＳ３３０において、生成部１０４はステップＳ３１０で取得した元画像と、ステップＳ３２０で生成した対象領域のマスク画像とに基づき、新たな学習画像４３０を生成する。学習画像の生成方法、および濃度値の変化量ｃの決定方法は、ステップＳ３３０と同様である。
本実施形態において情報処理装置１００は、濃度値を変更する対象領域の濃度値を変更した学習画像を生成する。これはすなわち、領域抽出の対象となる領域の濃度値を変更したことと同じである。これにより、被検体の個人差や撮像時の条件により領域抽出の対象となる領域が異なる濃度値で描出される場合において、識別器の画像認識の精度が向上する。
＜第二の実施形態＞
第一の実施形態にかかる情報処理装置では、対象領域の濃度値を予め定めた所定の値で増減して画像を生成する方法について説明した。しかしながら、予め定めた所定の値で対象領域の濃度値を変更すると、実際の画像では起こり得ない濃度値を有する学習画像が生成されてしまう可能性がある。
そこで、第二の実施形態にかかる情報処理装置では、濃度値を変更する対象領域の濃度値に基づいて濃度値の変化量を決定し、濃度値の変化量に基づいて新たな学習画像を生成する。以下、第一の実施形態との違いについて説明する。
以下、図６を参照して、本実施形態に係る情報処理システムの機能構成について説明する。
第二の実施形態に係る情報処理装置６００は、取得部６０１、抽出部６０２、決定部６０３、生成部６０４、学習部６０５で構成される。また、本実施形態における情報処理システムは情報処理装置６００の外部に記憶装置７０を具備する。
本実施形態における情報処理システムは、第一の実施形態に記載の情報処理システムと基本的には同一であるため、重複部分の説明を省略する。
以下では、情報処理装置６００を構成する各部について説明する。
取得部６０１は、記憶装置７０から教示データ（元画像と元画像に対応付いている正解データの組）を取得する。そして、取得した元画像を、抽出部６０２、決定部６０３、生成部６０４、学習部６０５に送信する。また、取得した正解データを学習部６０５に送信する。
抽出部６０２は、取得部６０１から取得した画像から、濃度値を変更する対象領域を抽出する。そして、抽出した対象領域の情報を、決定部６０３と生成部６０４に送信する。
決定部６０３は、取得部６０１から取得した画像と、抽出部６０２から取得した対象領域の情報とに基づいて、濃度値の変化量を決定する。そして、決定した濃度値の変化量を生成部６０４に送信する。
生成部６０４は、取得部６０１から取得した画像と、抽出部６０２から取得した対象領域の情報と、決定部６０３から取得した濃度値の変化量とに基づき、新たな学習画像を生成する。そして、生成した学習画像を学習部６０５に送信する。
学習部６０５が行う処理は、第一の実施形態における学習部１０５と同様である。
次に、本実施形態における情報処理装置６００の処理手順について、図７を用いて説明する。
＜ステップＳ７１０～Ｓ７２０＞
ステップＳ７１０～ステップＳ７２０の処理は、第一の実施形態におけるステップＳ３１０～Ｓ３２０と基本的には同一の処理であるため、説明を省略する。
＜ステップＳ７３０＞
ステップＳ７３０において、決定部６０３は、ステップＳ７１０で取得した夫々の元画像と、当該元画像に対してステップＳ７２０で抽出した対象領域４２１のマスク画像とに基づいて、対象領域における元画像の濃度値を分析する。そして、その結果に基づいて、夫々の元画像から学習画像を生成する処理に用いる濃度値の変化量を決定する。具体的な決定方法の一例としては、対象領域における元画像の平均濃度値を算出し、その値に基づいて濃度値の変化量を決定する。例えば、事前に用意した図８に示すような平均濃度値と濃度値の変化量の対応表を参照して、濃度値の変化量ｃを決定する。例えば、対象領域の平均濃度値ｍが＋１７であった場合、濃度値の変化量ｃとして、－４０、－３０、－２０、－１０、＋１０、＋２０といった６つの値を決定する。図８に示すような対応表は、医師やエンジニアなどが決定した適当な値で作成したものでも良いし、統計的な情報から作成したものであっても良い。
＜ステップＳ７４０＞
ステップＳ７４０において、生成部６０４は、ステップＳ７１０で取得した夫々の元画像と、当該元画像に対してステップＳ７２０で抽出した対象領域のマスク画像と、当該元画像に対してステップＳ７３０で決定した濃度値の変化量とに基づき、新たな学習画像を生成する。具体的には、第一の実施形態におけるステップＳ３４０の処理と同様に、対象領域の各画素の濃度値を数１に従って変更する。
＜ステップＳ７５０＞
ステップＳ７５０の処理は、第一の実施形態におけるステップＳ３５０と基本的には同一の処理であるため、説明を省略する。
以上の手順に従い、第二の実施形態に係る情報処理装置６００は処理を行う。
第二の実施形態に係る情報処理装置６００では、対象領域の平均濃度値に基づいて決定した濃度値の変化量を用いて、対象領域の濃度値を変更して新たな学習画像を生成する。このようにすることで、画像中の物体の特性を考慮して新たな学習画像を生成できるため、識別器の画像認識の精度が向上する。
＜変形例２－１＞
上記の実施例では、対象領域における元画像の濃度値に基づいて濃度値の変化量を決定する方法の一例として、対象領域の濃度値の平均値を用いる方法を説明した。しかし、対象領域における元画像の濃度値に基づいて濃度値の変化量を決定する方法はこれに限らない。例えば、対象領域の濃度値の他の統計値（例えば、メディアン値、分散値、最大値、最小値など）を用いてもよい。例えばメディアン値を用いることで、ノイズへのロバスト性を向上できる。いずれの場合においても、図８と同様に、事前に用意した統計値と変化量との対応表に基づいて、変化量を決定できる。また、対応表を用いる方法以外にも、統計値を入力して変化量を出力する任意の関数によって同様の機能を実現できる。また、統計値は、対象領域全体の濃度値の統計値ではなく、対象領域の一部の領域の濃度値の統計値であってもよい。例えば、元画像である３次元画像を構成する２次元断層画像（スライス画像）群から何枚かのスライス画像を所定の間隔やランダムに選択して、選択したスライス画像における対象領域の濃度値の統計値を用いるようにしてもよい。これによると、ステップＳ７３０の処理時間を削減することができる。
＜第三の実施形態＞
第三の実施形態では、画像の付帯情報をもとに濃度値の変化量を決定し、濃度値の変化量に基づいて新たな学習画像を生成する方法について説明する。本実施形態では、濃度値の変化量を決定するために、医用画像の付帯情報の一般的な規格であるＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）のヘッダ情報内の管電圧に関する情報を用いる。
Ｘ線ＣＴ装置において、管電圧を変更するとＸ線の透過力が変化し、各物体を表す濃度値が変化する。例えば、管電圧を高くした場合には、透過力が高いＸ線が増えるため、Ｘ線の減弱差が描出されにくく、３次元断層画像のコントラストが低くなる傾向にある。逆に、管電圧を低くした場合には、Ｘ線の透過力が低いため、Ｘ線の減弱差が描出されやすく、３次元断層画像の濃度値が低くなる。しかし、管電圧を変更して撮像した場合においても空気と水の濃度値は変わらない。したがって、本実施形態を適用するのに好適な事例であるといえる。
第三の実施形態に係る情報処理装置９００は、取得部９０１、抽出部９０２、決定部９０３、生成部９０４、学習部９０５で構成される。また、本実施形態における情報処理システムは情報処理装置９００の外部に記憶装置７０を具備する。
本実施形態における情報処理システムは、第二の実施形態に記載の情報処理システムと基本的には同一であるため、重複部分の説明を省略する。
以下では、情報処理装置９００を構成する各部について説明する。
取得部９０１は、記憶装置７０から教示データ（元画像と元画像に対応付いている正解データの組）を取得する。そして、取得した元画像を、抽出部９０２、生成部９０４、学習部９０５に送信する。また、画像の付帯情報を決定部９０３に、画像に対応付いている正解データを学習部９０５に送信する。
抽出部９０２が行う処理は、第一の実施形態における抽出部１０２と同様である。
決定部９０３は、取得部９０１から取得した画像の付帯情報に基づいて、濃度値の変化量を決定する。そして、決定した濃度値の変化量を生成部９０４に送信する。
生成部９０４が行う処理は、第二の実施形態における生成部６０４と同様である。
学習部９０５が行う処理は、第一の実施形態における学習部１０５と同様である。
次に、第三の実施形態にかかる情報処理装置９００の処理手順について説明する。処理の全体像は、図７に示す第二の実施形態のフローチャートと同様である。
＜ステップＳ１０１０＞
ステップＳ１０１０において、取得部９０１は、第一の実施形態におけるステップＳ３１０の処理に加え、教示データに含まれる夫々の元画像の付帯情報を取得し、これを決定部９０３に送信する。
＜ステップＳ１０２０＞
ステップＳ１０２０の処理は、第一の実施形態におけるステップＳ３２０と基本的には同一の処理であるため、説明を省略する。
＜ステップＳ１０３０＞
ステップＳ１０３０において、決定部９０３は、ステップＳ１０１０で取得した夫々の元画像の付帯情報に基づいて、夫々の元画像から学習画像を生成する処理に用いる濃度値の変化量を決定する。本実施形態では、濃度値の変化量を決定する際に、ＤＩＣＯＭヘッダ内の管電圧の情報を利用する場合を例に説明する。具体的には、第二の実施形態におけるステップＳ７３０と同様に、事前に用意した管電圧と濃度値の変化量の対応表を参照して、管電圧に対応する濃度値の変化量を決定する。
なお、変化量の決定に用いる付帯情報は、管電圧に限られるものではない。例えば、撮像時の造影剤投与の有無の情報を用いても良い。Ｘ線ＣＴ装置において、造影剤を患者に投与して３次元断層画像を撮像すると、臓器などの濃度値が高くなる。そこで、「造影剤投与有り」の画像は、生成する学習画像の濃度値が元画像の濃度値よりも低くなるような値を濃度値の変化量を決定する。また、「造影剤投与無し」の画像は、元画像の濃度値よりも生成する学習画像の濃度値が高くなるような値を濃度値の変化量を決定する。上記によれば、実際の画像では起こり得ない濃度値を有する画像が生成される確率を低減できる。また、ＤＩＣＯＭヘッダの情報ではなく、医師が作成した読影レポートの記載内容を利用して濃度値の変化量を決定しても良い。この場合は、例えば入手が困難な珍しい診断名の画像には、濃度値の変化量の数を多く決定してより多くの学習画像を生成するなどの利用の仕方が考えられる。その他、画像に関する付随的な情報であれば、どのような情報であってもよい。
＜ステップＳ１０４０＞
ステップＳ１０４０の処理は、第二の実施形態におけるステップＳ７４０と基本的には同一の処理であるため、説明を省略する。
＜ステップＳ１０５０＞
ステップＳ１０５０の処理は、第一の実施形態におけるステップＳ３５０と基本的には同一の処理であるため、説明を省略する。
以上の手順に従い、第三の実施形態に係る情報処理装置９００は処理を行う。
第三の実施形態に係る情報処理装置９００では、画像の付帯情報に基づいて決定した濃度値の変化量を用いて、対象領域の濃度値を変更して新たな学習画像を生成する。このようにすることで、画像中の物体の特性を考慮して新たな学習画像を生成できるため、識別器の画像認識の精度が向上する。
＜第四の実施形態＞
第一実施形態から第三の実施形態では、元画像の一部を対象領域として抽出し濃度値を変更することで、新たな学習画像を生成する方法を説明した。しかしながら、撮像時の条件によっては、画像全体の濃度値が変化するだけでなく、物体間のコントラストが変化したり、物体間の濃度値の高低が逆転したりすることがある。例えば、Ｘ線ＣＴ装置で撮像された３次元断層画像においては、患者に造影剤を投与したときの時相の変化がこの事象に該当する。また、第三の実施形態で取り上げた管電圧に関しても、物体間のコントラストが多少変動する。
そこで、第四の実施形態では、濃度値を変更する複数の対象領域を抽出し、各々の対象領域に対して異なる濃度値の変化量を決定して新たな学習画像を生成する方法について説明する。以下では、具体的な例として、骨、空気・骨以外の２領域を対象領域とし、各々の対象領域に対して濃度値の変化量を決定する場合について説明する。
図１１に示す第四の実施形態に係る情報処理装置１１００は、取得部１１０１、抽出部１１０２、決定部１１０３、生成部１１０４、学習部１１０５で構成される。また、本実施形態における情報処理システムは情報処理装置１１００の外部に記憶装置７０を具備する。
本実施形態における情報処理システムは、第二の実施形態に記載の情報処理システムと基本的には同一であるため、重複部分の説明を省略する。
以下では、情報処理装置１１００を構成する各部について説明する。
取得部１１０１が行う処理は、第二の実施形態における取得部１１０１と同様である。
抽出部１１０２は、取得部１１０１から取得した画像から、濃度値を変更する複数の対象領域を抽出する。具体的には、対象領域を２つ以上抽出する。そして、抽出した複数の対象領域の情報を、決定部１１０３と生成部１１０４に送信する。
決定部１１０３は、取得部１１０１から取得した画像と、抽出部１１０２から取得した複数の対象領域の情報とに基づいて、各々の対象領域に対応する濃度値の変化量を決定する。そして、決定した各々の対象領域に対応する濃度値の変化量を生成部１１０４に送信する。
生成部１１０４は、取得部１１０１から取得した画像と、抽出部１１０２から取得した複数の対象領域の情報と、決定部１１０３から取得した複数の対象領域の各々に対応する濃度値の変化量とに基づき、新たな学習画像を生成する。そして、生成した学習画像を学習部１１０５に送信する。
学習部１１０５が行う処理は、第一の実施形態における学習部１０５と同様である。
次に、第四の実施形態にかかる情報処理装置１１００の処理手順について説明する。処理の全体像は、図７に示す第二の実施形態のフローチャートと同様である。
＜ステップＳ１２１０＞
ステップＳ１２１０の処理は、第一の実施形態におけるステップＳ３１０と基本的には同一の処理であるため、説明を省略する。
＜ステップＳ１２２０＞
ステップＳ１２２０において、抽出部１１０２は、ステップＳ１２１０で取得した画像から、濃度値を変更する対象領域として、骨と空気・骨以外の２領域を抽出して２つのマスク画像を作成する。具体的には、しきい値処理法により、＋６００ＨＵ以上を骨領域、－５５０以上～＋６００ＨＵ未満を空気・骨以外の領域として抽出する。このとき、第一の実施形態におけるステップＳ３２０と同様に、抽出した領域に対して小さな孤立領域を削除する処理を加えても良い。
なお、対象領域は上述した骨領域と空気・骨以外の領域に限るものではない。例えば、情報処理装置１１００の外部から物体ごとの領域情報を取得して、より詳細な分類となるような複数の対象領域を抽出しても良い。具体例として、Ｘ線ＣＴ装置で撮像された３次元断層画像において、臓器や骨ごとに対象領域を表すマスク画像を作成し、臓器や骨ごとに濃度値の変化量を決定することが考えられる。このようにすることで、造影剤投与による時相の変化などを再現可能である。
＜ステップＳ１２３０＞
ステップＳ１２３０において、決定部１１０３は、ステップＳ１２１０で取得した元画像と、ステップＳ１２２０で抽出した複数の対象領域のマスク画像とに基づいて、各々の対象領域に対応する濃度値の変化量を決定する。具体的には、第二の実施形態におけるステップＳ７３０と同様に、対象領域（骨、空気・骨以外）と濃度値の変化量の対応表を参照して、各々の領域に対応する濃度値の変化量を決定する。
＜ステップＳ１２４０＞
ステップＳ１２４０において、生成部１１０４は、ステップＳ１２１０で取得した元画像と、ステップＳ１２２０で抽出した複数の対象領域のマスク画像と、ステップＳ１２３０で決定した各々の対象領域に対応する濃度値の変化量とに基づき、新たな学習画像を生成する。具体的には、すべての対象領域の各画素の濃度値を数１に従って変更する。このとき、濃度値の変化量ｃとして、ステップＳ１２３０で決定した各々の対象領域に対応する値を用いる。
＜ステップＳ１２５０＞
ステップＳ１２５０の処理は、第一の実施形態におけるステップＳ３５０と基本的には同一の処理であるため、説明を省略する。
以上の手順に従い、第四の実施形態に係る情報処理装置１１００は処理を行う。
第四の実施形態に係る情報処理装置１１００では、濃度値を変更する複数の対象領域を抽出し、各々に対応する濃度値の変化量を用いて対象領域の濃度値を変更することで新たな学習画像を生成する。このようにすることで、画像中の物体の特性を考慮して新たな学習画像を生成できるため、識別器の画像認識の精度が向上する。
（その他の実施形態）
本明細書の開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本明細書に開示の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
また、本明細書の開示は上記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。
１００ 情報処理装置
１０１ 取得部
１０２ 抽出部
１０３ 決定部
１０４ 生成部
１０５ 学習部

Claims (15)

  1. 画像を取得する取得部と、
    前記画像に含まれる、撮像条件によって濃度値が変動しやすい、第１の領域および該第１の領域とは異なる第２の領域を、濃度値を変更する対象領域として取得する対象領域の取得部と、
    前記第１の領域に含まれる画素の濃度値の変化量である第１の変化量の絶対値および前記第２の領域に含まれる画素の濃度値の変化量である第２の変化量の絶対値が、他の領域に含まれる画素の濃度値の変化量の絶対値に比べて大きくなるように、前記第１の変化量と該第１の変化量と異なる前記第２の変化量を決定する決定部と、
    前記決定部が決定した前記第１の変化量および前記第２の変化量に基づいて前記第１の領域に含まれる画素の濃度値および前記第２の領域に含まれる画素の濃度値を変更した学習画像を生成する生成部と、
    前記学習画像を用いて識別器の学習を行う学習部と、
    を備えることを特徴とする情報処理装置。
  2. 前記生成部は、前記決定部により決定された濃度値の変化量に基づいて前記対象領域に含まれる画素の濃度値を変更し、且つ、前記対象領域以外の領域に含まれる画素の濃度値を変更せずに学習画像を生成することを特徴とする請求項１に記載の情報処理装置。
  3. 前記対象領域は、臓器領域を含む領域であることを特徴とする請求項１に記載の情報処理装置。
  4. 前記対象領域以外の領域が、空気領域を含む領域であることを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 前記対象領域が、肝臓領域、心臓領域、腎臓領域のうち、少なくとも一つを含む領域であることを特徴とする請求項３に記載の情報処理装置。
  6. 前記撮像条件は、前記画像を撮像するための装置の条件および造影投与の有無の少なくとも一方を含む条件であることを特徴とする請求項１に記載の情報処理装置。
  7. 前記対象領域以外の領域は、前記撮像条件によって濃度値が変動しづらい領域であることを特徴とする請求項１に記載の情報処理装置。
  8. 前記生成部は、前記対象領域に含まれる画素夫々の濃度値に基づいて、前記対象領域の濃度値を変更した学習画像を生成することを特徴とする請求項１に記載の情報処理装置。
  9. 前記生成部は、前記対象領域に含まれる２つ以上の画素の濃度値に基づいて、前記対象領域の濃度値を変更した学習画像を生成することを特徴とする請求項１に記載の情報処理装置。
  10. 画像を取得する取得部と、
    臓器領域に対応する、第１の領域に含まれる画素の濃度値の変化量である第１の変化量の絶対値および第２の領域に含まれる画素の濃度値の変化量である第２の変化量の絶対値が、空気領域に対応する濃度値の変化量の絶対値に比べて大きくなるように、前記第１の変化量および該第１の変化量と異なる前記第２の変化量を決定する決定部と、
    前記決定部が決定した前記第１の変化量および前記第２の変化量に基づいて前記画像の画素の濃度値を変更した学習画像を生成する生成部と、
    前記学習画像を用いて識別器の学習を行う学習部と、
    を備えることを特徴とする情報処理装置。
  11. 前記対象領域は、骨領域を含まない領域であることを特徴とする請求項１または９に記載の情報処理装置。
  12. 前記学習部は、前記生成部によって濃度値が変更される前の画像と、前記生成部によって生成された前記学習画像と、を用いて前記識別器の学習を行うことを特徴とする請求項１または１０に記載の情報処理装置。
  13. プロセッサにより実行される情報処理方法であって、
    画像を取得する取得工程と、
    前記画像に含まれる、撮像条件によって濃度値が変動しやすい、第１の領域および該第１の領域とは異なる第２の領域を、濃度値を変更する対象領域として取得する対象領域の取得工程と、
    前記第１の領域に含まれる画素の濃度値の変化量である第１の変化量の絶対値および前記第２の領域に含まれる画素の濃度値の変化量である第２の変化量の絶対値が、前記対象領域以外の領域に含まれる画素の濃度値の変化量の絶対値に比べて大きくなるように、前記第１の変化量と該第１の変化量とは異なる前記第２の変化量とを決定する決定ステップと、
    決定された前記第１の変化量および前記第２の変化量に基づいて前記第１の領域に含まれる画素の濃度値および前第２の領域に含まれる画素の濃度値を変更した学習画像を生成する生成工程と、
    前記学習画像を用いて識別器の学習を行う学習工程と、
    を備えることを特徴とする情報処理方法。
  14. プロセッサにより実行される情報処理方法であって、
    画像を取得する取得工程と、
    臓器領域に対応する、第１の領域に含まれる画素の濃度値の変化量である第１の変化量の絶対値および第２の領域に含まれる画素の濃度値の変化量である第２の変化量の絶対値が、空気領域に対応する濃度値の変化量の絶対値に比べて大きくなるように、前記第１の変化量および該第１の変化量と異なる前記第２の変化量を決定する決定工程と、
    決定された前記第１の変化量および前記第２の変化量に基づいて前記画像の画素の濃度値を変更した学習画像を生成する生成工程と、
    前記学習画像を用いて識別器の学習を行う学習工程と、
    を備えることを特徴とする情報処理方法。
  15. 請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。
JP2023009355A 2018-07-31 2023-01-25 情報処理装置、情報処理方法およびプログラム Active JP7463575B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023009355A JP7463575B2 (ja) 2018-07-31 2023-01-25 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018143719A JP7218118B2 (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム
JP2023009355A JP7463575B2 (ja) 2018-07-31 2023-01-25 情報処理装置、情報処理方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018143719A Division JP7218118B2 (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2023033639A JP2023033639A (ja) 2023-03-10
JP7463575B2 true JP7463575B2 (ja) 2024-04-08

Family

ID=69231125

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018143719A Active JP7218118B2 (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム
JP2023009355A Active JP7463575B2 (ja) 2018-07-31 2023-01-25 情報処理装置、情報処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018143719A Active JP7218118B2 (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11961161B2 (ja)
JP (2) JP7218118B2 (ja)
WO (1) WO2020026852A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7307166B2 (ja) * 2019-06-28 2023-07-11 富士フイルム株式会社 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
CN111476729B (zh) * 2020-03-31 2023-06-09 北京三快在线科技有限公司 一种目标识别的方法及装置
JP7483528B2 (ja) * 2020-06-29 2024-05-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP7638681B2 (ja) * 2020-11-26 2025-03-04 キヤノン株式会社 情報処理システム、医用撮像装置、情報端末、情報処理方法及びプログラム
WO2022153474A1 (ja) * 2021-01-15 2022-07-21 日本電信電話株式会社 画像処理装置、画像処理方法、およびプログラム
JP7598018B2 (ja) 2021-03-31 2024-12-11 富士通株式会社 画像識別プログラム、画像識別方法、画像識別装置および情報処理システム
JP2023065028A (ja) * 2021-10-27 2023-05-12 堺化学工業株式会社 教師データ生成方法、画像解析モデル生成方法、画像解析方法、教師データ生成プログラム、画像解析プログラムおよび教師データ生成装置
JP2023179333A (ja) * 2022-06-07 2023-12-19 ブラザー工業株式会社 コンピュータプログラム、処理方法、および、処理装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007029467A1 (ja) 2005-09-05 2007-03-15 Konica Minolta Medical & Graphic, Inc. 画像処理方法及び画像処理装置
JP2008287378A (ja) 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
JP2013122723A (ja) 2011-12-12 2013-06-20 Seiko Epson Corp 検出装置、及び、検出方法
JP2016062225A (ja) 2014-09-17 2016-04-25 大日本印刷株式会社 画像生成装置、画像検出システム及び画像生成方法
JP2017037424A (ja) 2015-08-07 2017-02-16 日本放送協会 学習装置、認識装置、学習プログラム、及び認識プログラム
CN106485695A (zh) 2016-09-21 2017-03-08 西北大学 基于统计形状模型的医学图像Graph Cut分割方法
JP2018089065A (ja) 2016-12-01 2018-06-14 株式会社島津製作所 Ｘ線透視装置
CN108288064A (zh) 2017-01-09 2018-07-17 北京京东尚科信息技术有限公司 用于生成图片的方法和装置
WO2018159775A1 (ja) 2017-03-03 2018-09-07 国立大学法人筑波大学 対象追跡装置
JP2019175093A (ja) 2018-03-28 2019-10-10 パナソニックＩｐマネジメント株式会社 推定装置、推定方法、推定プログラム、学習装置、学習方法、及び学習プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048370A (ja) 2004-08-04 2006-02-16 Kagawa Univ パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置
JP2006301779A (ja) 2005-04-18 2006-11-02 Konica Minolta Photo Imaging Inc 画像処理システム、画像処理方法及び画像処理プログラム
US8041090B2 (en) * 2005-09-10 2011-10-18 Ge Healthcare Uk Limited Method of, and apparatus and computer software for, performing image processing
US20190272651A1 (en) * 2008-05-07 2019-09-05 Lawrence A. Lynn Patient Monitoring System For Detecting Adverse Clinical Conditions
EP2961313A4 (en) * 2013-02-28 2016-11-09 Lawrence A Lynn ANALYSIS AND PICTURE SYSTEM USING TROUBLESHOOTING QUANTITIES
US9836839B2 (en) 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
JP6361776B2 (ja) 2016-09-02 2018-07-25 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
US10657444B2 (en) * 2017-03-09 2020-05-19 Thomas Danaher Harvey Devices and methods using machine learning to reduce resource usage in surveillance
JP7220727B2 (ja) * 2019-01-31 2023-02-10 富士フイルム株式会社 学習済みモデル、学習方法、及びプログラム、並びに医用情報取得装置、方法、及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007029467A1 (ja) 2005-09-05 2007-03-15 Konica Minolta Medical & Graphic, Inc. 画像処理方法及び画像処理装置
JP2008287378A (ja) 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
JP2013122723A (ja) 2011-12-12 2013-06-20 Seiko Epson Corp 検出装置、及び、検出方法
JP2016062225A (ja) 2014-09-17 2016-04-25 大日本印刷株式会社 画像生成装置、画像検出システム及び画像生成方法
JP2017037424A (ja) 2015-08-07 2017-02-16 日本放送協会 学習装置、認識装置、学習プログラム、及び認識プログラム
CN106485695A (zh) 2016-09-21 2017-03-08 西北大学 基于统计形状模型的医学图像Graph Cut分割方法
JP2018089065A (ja) 2016-12-01 2018-06-14 株式会社島津製作所 Ｘ線透視装置
CN108288064A (zh) 2017-01-09 2018-07-17 北京京东尚科信息技术有限公司 用于生成图片的方法和装置
WO2018159775A1 (ja) 2017-03-03 2018-09-07 国立大学法人筑波大学 対象追跡装置
JP2019175093A (ja) 2018-03-28 2019-10-10 パナソニックＩｐマネジメント株式会社 推定装置、推定方法、推定プログラム、学習装置、学習方法、及び学習プログラム

Also Published As

Publication number Publication date
JP2020021228A (ja) 2020-02-06
US11961161B2 (en) 2024-04-16
JP2023033639A (ja) 2023-03-10
JP7218118B2 (ja) 2023-02-06
WO2020026852A1 (ja) 2020-02-06
US20210150711A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
JP7463575B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11861829B2 (en) Deep learning based medical image detection method and related device
US11132792B2 (en) Cross domain medical image segmentation
US12347101B2 (en) Method and apparatus for producing contrained medical image data
US12518381B2 (en) Method for aiding visualization of lesions in medical imagery and apparatus using the same
EP3511942A2 (en) Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
Maity et al. Automatic lung parenchyma segmentation using a deep convolutional neural network from chest X-rays
Shabani et al. Self-supervised region-aware segmentation of COVID-19 CT images using 3D GAN and contrastive learning
CN116797612B (zh) 基于弱监督深度活动轮廓模型的超声图像分割方法及装置
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
Miao et al. Spinal neoplasm image inpainting with deep convolutional neutral networks
US20240202943A1 (en) Cbct simulation for ct-to-cbct registration and cbct segmentation
Rais et al. Enhancing medical image analysis through geometric and photometric transformations
Pandey et al. A framework for mathematical methods in medical image processing
Luo et al. Research on several key problems of medical image segmentation and virtual surgery
Ding et al. Research on Spinal Canal GenerationMethod based on Vertebral Foramina Inpainting of Spinal CT Images by using BEGAN.
EP4384945A1 (en) System and method for medical image translation
KR20230037195A (ko) 기계 학습 모델 기반의 이미지 분석을 통한 의료 영상 분류 방법
Al-Shahad et al. An Improved Pix2pix Generative Adversarial Network Model to Enhance Thyroid Nodule Segmentation
Li et al. Intensity field decomposition for tissue-guided neural tomography
Chen et al. Multi-Scale Boundary Perception Cascaded Segmentation Network for Pancreatic Lesione
EP4502941A1 (en) Lung region segmentation method and apparatus
JP7483528B2 (ja) 画像処理装置、画像処理方法、プログラム
Liu et al. Su-unet: A novel self-updating network for hepatic vessel segmentation in ct images
Wang et al. 3D Matting: A Soft Segmentation Method Applied in Computed Tomography

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231212

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240327

R150 Certificate of patent or registration of utility model

Ref document number: 7463575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150