JP7489059B2 - 画像生成装置、表示装置、画像生成方法、提示方法およびプログラム - Google Patents

画像生成装置、表示装置、画像生成方法、提示方法およびプログラム Download PDF

Info

Publication number
JP7489059B2
JP7489059B2 JP2020075691A JP2020075691A JP7489059B2 JP 7489059 B2 JP7489059 B2 JP 7489059B2 JP 2020075691 A JP2020075691 A JP 2020075691A JP 2020075691 A JP2020075691 A JP 2020075691A JP 7489059 B2 JP7489059 B2 JP 7489059B2
Authority
JP
Japan
Prior art keywords
image
microrna
data
type
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020075691A
Other languages
English (en)
Other versions
JP2021174119A (ja
Inventor
智晴 長尾
真一 白川
栞 有井
純範 河野
蔵嵩 大塚
大輔 栗城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kewpie Corp
Yokohama National University NUC
Original Assignee
QP Corp
Yokohama National University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QP Corp, Yokohama National University NUC filed Critical QP Corp
Priority to JP2020075691A priority Critical patent/JP7489059B2/ja
Priority to JP2021071453A priority patent/JP7498144B2/ja
Priority to PCT/JP2021/016184 priority patent/WO2021215475A1/ja
Priority to CN202180029554.2A priority patent/CN115428089A/zh
Priority to US17/996,372 priority patent/US20230230660A1/en
Publication of JP2021174119A publication Critical patent/JP2021174119A/ja
Application granted granted Critical
Publication of JP7489059B2 publication Critical patent/JP7489059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B25/00—ICT specially adapted for hybridisation; ICT specially adapted for gene or protein expression
    • G16B25/10—Gene or protein expression profiling; Expression-ratio estimation or normalisation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/04—Recognition of patterns in DNA microarrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Biotechnology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Quality & Reliability (AREA)
  • Bioethics (AREA)
  • Medicinal Chemistry (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)

Description

本発明は、画像生成装置、表示装置、画像生成方法、提示方法およびプログラムに関する。
マイクロＲＮＡの発現量に基づいて、罹患の有無を判定する技術が提案されている。
例えば、特許文献１に記載の疾患の罹患判定装置は、マイクロＲＮＡを含むバイオマーカそれぞれの発現量を含むサンプルデータを取得する。また、罹患判定装置は、複数の疾患のそれぞれについて罹患の有無を判定するための学習済モデルを備える。そして、罹患判定装置は、サンプルデータと学習済みモデルとを用いて複数の疾患について罹患しているか否かを判定する。
国際公開第２０１８／０７９８４０号
マイクロＲＮＡなどのバイオマーカに基づいて罹患の有無など健康状態を判定するだけでなく、判定の根拠を示すことが好ましい。
本発明の第１の態様によれば、画像生成装置は、マイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する画像化部と、前記画像表現データをクラス分類するクラス分類部と、前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する寄与度提示画像生成部と、を備える。
前記寄与度提示画像生成部が生成した前記寄与度提示画像と、前記画像表現データが分類されたクラスにおける典型の寄与度提示画像とされる画像とを表示する表示部を備えるようにしてもよい。
前記クラス分類部は、前記画像表現データを、健常クラス、病気毎のクラス、および、前記病気のうち少なくとも１つについて設けられた、その病気の未病のクラスの何れかに分類するようにしてもよい。
本発明の第２の態様によれば、表示装置は、マイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する画像化部と、前記画像表現データをクラス分類するクラス分類部と、前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する寄与度画像生成部と、前記寄与度提示画像を表示する表示部と、を備える。
本発明の第４の態様によれば、画像生成方法は、マイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する工程と、前記画像表現データをクラス分類する工程と、前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する工程と、を含む。
本発明の第５の態様によれば、提示方法は、被採取者から得られたマイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する工程と、前記マイクロＲＮＡの種類毎の発現量を示すデータをクラス分類する工程と、前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する工程と、前記寄与度提示画像を表示して前記被採取者に提示する工程と、を含む。
本発明の第６の態様によれば、プログラムは、コンピュータに、マイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する工程と、前記画像表現データをクラス分類する工程と、前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する工程と、を実行させるためのプログラムである。
上記した画像生成装置、表示装置、画像生成方法、提示方法およびプログラムによれば、マイクロＲＮＡなどのバイオマーカに基づく判定の根拠を示すことができる。
実施形態に係る画像生成装置の機能構成例を示す概略ブロック図である。 実施形態に係る画像化部による発現量データの２次元画像化の処理の例を示す図である。 実施形態に係る視覚化部の各部の構成例を示す図である。 実施形態に係る表示部によるヒートマップの表示の第１例を示す図である。 実施形態に係る表示部によるヒートマップの表示の第２例を示す図である。 実施形態に係る画像生成装置が行う処理の手順の例を示すフローチャートである。 実施形態に係る視覚化部が行う処理の手順の例を示すフローチャートである。 実施形態に係る表示装置の構成の第一例を示す図である。 実施形態に係る表示装置の構成の第二例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る画像生成装置の機能構成例を示す概略ブロック図である。図１に示す構成で、画像生成装置１００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０とを備える。制御部１８０は、発現量データ取得部１８１と、画像化部１８２と、視覚化部１９０と、機械学習制御部１９５とを備える。視覚化部１９０は、特徴量抽出部１９１と、重み計算部１９２と、寄与度提示画像生成部１９３と、クラス分類部１９４とを備える。
画像生成装置１００は、マイクロＲＮＡ（miRNA）の発現量データに基づくクラス分類の根拠を視覚化する。具体的には、画像生成装置１００は、マイクロＲＮＡの種類毎の発現量データから特徴量を抽出し、抽出された特徴量に基づいて、マイクロＲＮＡの被採取者の健康状態を、例えば健常クラス、膀胱がんのクラス、前立腺がんのクラスなど、予め設定されたクラスの何れかに分類する。そして、画像生成装置１００は、クラス分類におけるマイクロＲＮＡの種類毎の発現量の寄与度を示すヒートマップを生成する。このヒートマップは、マイクロＲＮＡの種類毎の発現量のうちどの発現量に基づいてクラス分類されたかを示す点で、クラス分類の根拠を示すヒートマップである。
マイクロＲＮＡの被採取者を、単に被採取者とも称する。
ただし、画像生成装置１００が扱う対象は、マイクロＲＮＡに限定されない。例えば、各種ＲＮＡまたはＤＮＡ、あるいはタンパク質など、要素の配列によって特徴付けられ、かつ、配列毎の量（例えば濃度）を測定可能ないろいろな対象を扱うことができる。ＲＮＡまたはＤＮＡの場合、塩基が要素に該当する。タンパク質の場合、アミノ酸が要素に該当する。
画像生成装置１００は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）等のコンピュータを用いて構成される。
ここでいうマイクロＲＮＡの発現量データは、マイクロＲＮＡの種類毎に発現量を示すデータである。例えば、ヒトのマイクロＲＮＡの種類は約２５００種類以上あるといわれており、２５００種類のマイクロＲＮＡについて発現量を解析した場合、マイクロＲＮＡの発現量データは、２５００次元ベクトルのデータで表される。マイクロＲＮＡの発現量データの取得には、公知のシーケンシング（Sequencing）手法を用いることができる。
マイクロＲＮＡの発現量データを、単に発現量データとも称する。
通信部１１０は、他の装置と通信を行う。例えば、通信部１１０は、マイクロＲＮＡ発現量解析装置と通信を行って、マイクロＲＮＡの発現量データを受信する。
表示部１２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネル等の表示画面を備え、各種画像を表示する。例えば、表示部１２０は、画像生成装置１００によるクラス分類結果、および、クラス分類の根拠を示すヒートマップを表示する。
操作入力部１３０は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。例えば、操作入力部１３０は、解析開始を指示するユーザ操作を受け付ける。
記憶部１７０は、各種データを記憶する。記憶部１７０は、画像生成装置１００が備える記憶デバイスを用いて構成される。
制御部１８０は、画像生成装置１００の各部を制御して各種処理を行う。制御部１８０の機能は、例えば、画像生成装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が記憶部１７０からプログラムを読み出して実行することで実行される。
発現量データ取得部１８１は、マイクロＲＮＡの発現量データを取得する。具体的には、発現量データ取得部１８１は、通信部１１０によるマイクロＲＮＡ発現量解析装置からの受信データから、マイクロＲＮＡの発現量データを抽出する。あるいは、発現量データ取得部１８１が、記憶部１７０から発現量データを読み出すなど、既にある発現量データを取得するようにしてもよい。
画像化部１８２は、マイクロＲＮＡの発現量データを２次元画像化する。
図２は、画像化部１８２による発現量データの２次元画像化の処理の例を示す図である。画像化部１８２は、発現量データに示されるマイクロＲＮＡの種類の各々を、図２に例示されるような２次元行列の要素に割り当て（マッピングし）、割当に従って行列の要素に発現量を入力する。
ここでの行列の大きさは、任意の大きさとすることができる。行列の要素数がおおよそ発現量データの次元数と同じになるようにしてもよい。例えば、発現量データの次元数が２５００次元である場合、５０行×５０列、あるいは、４８行×４８列程度の行列を用いるようにしてもよい。
画像化部１８２は、マイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に基づいて、マイクロＲＮＡの種類の、行列の要素への割当を決定する。
例えば５’末端の７塩基に設定した場合、画像化部１８２は、具体的には、マイクロＲＮＡの５’末端の７塩基の配列と、アデニン（Adenine）７個の並びとのレーベンシュタイン距離（Levenshtein Distance）を算出する。同様に、画像化部１８２は、マイクロＲＮＡの５’末端の７塩基の配列と、グアニン（Guanine）７個の並び、シトシン（Cytosine）７個の並び、ウラシル（Uracil）７個の並びのそれぞれとのレーベンシュタイン距離を算出する。
例えば、塩基の名称の頭文字を用いて「ＧＡＡＵＣＡＵ」と表される塩基配列と、「ＡＡＡＡＡＡＡ」（アデニン７個の並び）との距離について考える。この場合、塩基配列の左から１番目の「Ｇ」、４番目の「Ｕ」、５番目の「Ｃ」、および、７番目の「Ｕ」をそれぞれ「Ａ」に置換することで、「ＧＡＡＵＣＡＵ」を「ＡＡＡＡＡＡＡ」に変換でき、レーベンシュタイン距離は４と算出される。
また、行数と列数とが同じ２次元行列を用いて（すなわち、正方行列を用いて）、図２に示されるように、４隅の要素に「ＡＡＡＡＡＡＡ」、「ＧＧＧＧＧＧＧ」、「ＣＣＣＣＣＣＣ」、「ＵＵＵＵＵＵＵ」を割り当てる。
画像化部１８２は、２次元行列における４隅のそれぞれからの距離の比が、算出したレーベンシュタイン距離の比に対応付けられるように、マイクロＲＮＡの種類を、行列の要素に割り当てる。画像化部１８２は、この割当によって発現量データを画像表現データに変換する。
ここでいう画像表現データは、画像を表現可能なデータであり、２次元以上の行列を示すデータとして構成される。画像表現データは画像データであってもよいが、これに限定されない。例えば、画像表現データは、特定の画像データ形式に規定されるヘッダおよびフッタを備えていなくてもよいなど、特定のデータ形式の規定に従っていなくてもよい。
画像表現データにおける行列の次元数は、表現対象の画像の次元数と同じにすることができる。例えば、表現対象の画像が２次元の画像である場合、画像表現データが２次元の行列の形式に構成されていてもよい。あるいは、表現対象の画像が３次元の画像である場合、画像表現データが３次元の行列の形式に構成されていてもよい。
画像表現データにおける行列の要素は、表現対象の画像の画素値に紐付けられる。例えば、表現対象の画像が、縦ｎ画素×横ｎ画素の画像である場合、画像表現データが、ｎ行ｎ列の２次元行列の形式のデータとなっていてもよい。画像化部１８２は、画像表現データにおける行列の要素の値として、その要素に割り当てられた種類のマイクロＲＮＡの発現量を書き込む。
以下では、画像表現データとして画像データを用いる場合を例に説明し、画像表現データにおける行列の要素を、画像データの画素と表記する。
画像化部１８２が、４隅のうち３隅のみからの距離の比に基づいて、マイクロＲＮＡの種類の画素への割当を決定するようにしてもよい。例えば、図２の例で、画像化部１８２が、「ＡＡＡＡＡＡＡ」、「ＧＧＧＧＧＧＧ」、「ＣＣＣＣＣＣＣ」が割り当てられた３隅のそれぞれからの距離の比が、レーベンシュタイン距離の比に対応付けられるように、マイクロＲＮＡの種類を画素に割り当てるようにしてもよい。
３点からの距離の比を用いることで、三角測量の要領で、２次元画像における位置を決定することができる。
あるいは、画像化部１８２は、４隅それぞれからの距離を全て用いて、マイクロＲＮＡの種類の画素への割当を決定するようにしてもよい。例えば、図２の例で、画像化部１８２が、「ＡＡＡＡＡＡＡ」が割り当てられた隅と「ＵＵＵＵＵＵＵ」が割り当てられた隅とを通る第一座標と、「ＧＧＧＧＧＧＧ」が割り当てられた隅と「ＣＣＣＣＣＣＣ」が割当られた隅とを通る第二座標とによる直交座標系を用いるようにしてもよい。そして、画像化部１８２が、変換対象の塩基配列を「ＡＡＡＡＡＡＡ」に変換する場合のレーベンシュタイン距離と、「ＵＵＵＵＵＵＵ」に変換する場合のレーベンシュタイン距離との比に基づいて、第一座標の座標値を算出するようにしてもよい。同様に、画像化部１８２が、変換対象の塩基配列を「ＧＧＧＧＧＧＧ」に変換する場合のレーベンシュタイン距離と、「ＣＣＣＣＣＣＣ」に変換する場合のレーベンシュタイン距離との比に基づいて、第二座標の座標値を算出するようにしてもよい。第一座標、第二座標それぞれの座標値を決定することで、２次元画像における位置を決定することができる。
ここで、マイクロＲＮＡの特性を見るにあたって２０個の前後のマイクロＲＮＡの塩基のうち５’末端の９塩基の配列が重要である。画像化部１８２がマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列のレーベンシュタイン距離に基づいてマイクロＲＮＡの種類を画素に割り当てることで、得られる２次元画像において特性が似ているマイクロＲＮＡの種類が近くの画素に位置することが期待される。
ただし、画像化部１８２がマイクロＲＮＡの種類を画素に割り当てる際に参照する塩基配列は、５’末端の７塩基を選択することが好ましいが、５’末端から９塩基のうち５乃至９塩基の配列であれば、これに限定されない。例えば、画像化部１８２が、バイオマーカとして用いられるマイクロＲＮＡの種類に応じて、５’末端の２個目から７個目までの６塩基を選択してマイクロＲＮＡの種類と画素とのマッピングを決定するようにしてもよい。
また、画像化部１８２が用いる、マイクロＲＮＡの種類の画素への割当方法は、上記の方法に限定されない。例えば、画像化部１８２が、上述したレーベンシュタイン距離に代えてジャロ・ウインクラー距離（Jaro-Winkler Distance）に基づく割当方法を用いて、マイクロＲＮＡの種類毎の発現量に基づいて画素値を算出するようにしてもよい。
なお、１つの画素に複数のマイクロＲＮＡの種類が割り当てられてもよい。この場合、画像化部１８２は、同じ画素に割り当てられた複数の種類についてマイクロＲＮＡの発現量を足し合わせて画素に割り当てる。
また、マイクロＲＮＡの種類が割り当てられない画素があってもよい。例えば、この画素の値を０にしてもよい。
なお、発現量がマイナスの値をとってもよい。ある種類のマイクロＲＮＡが抑制的に作用する場合、その種類の発現量がマイナスの値で示されていてもよい。これに対し、生成対象の２次元画像の画素値が０または正の値と定められている場合など、発現量データにおける発現量が画素値の範囲を逸脱する可能性がある場合は、画像化部１８２は、発現量を画素値の範囲内の値に変換する規格化を行う。
画像化部１８２が生成する２次元画像（２次元画像化された発現量データ）を、発現量データ画像とも称する。
視覚化部１９０は、発現量データ画像から特徴量を抽出し、抽出された特徴量を用いてクラス分類を行う。このクラス分類により、視覚化部１９０は、上述したような被採取者の健康状態をクラス分類する。
また、視覚化部１９０は、クラス分類の根拠を示すヒートマップを生成する。
特徴量抽出部１９１は、発現量データ画像から特徴量を抽出する。
重み計算部１９２は、クラス毎に、そのクラスへの分類に関して発現量データ画像の各画素の寄与度を示す重みを算出する。
寄与度提示画像生成部１９３は、クラス分類の根拠を示すヒートマップを生成する。寄与度提示画像生成部１９３は、重み計算部１９２が算出する重みで発現量データ画像の各画素の画素値を重み付けすることで、ヒートマップを生成する。このヒートマップは、クラス分類の根拠として、クラス分類における発現量データ画像の部分（各画素）の寄与度を示す。入力画像のクラス分類における入力画像の部分の寄与度を示す画像を、寄与度提示画像とも称する。
以下では、寄与度提示画像生成部１９３が、寄与度提示画像としてヒートマップを生成する場合を例に説明する。ただし、寄与度提示画像生成部１９３が生成する寄与度提示画像は、入力画像のクラス分類における入力画像の部分の寄与度を示す画像であればよく、ヒートマップに限定されない。
クラス分類部１９４は、特徴量抽出部１９１が抽出した特徴量に基づいて発現量データ画像をクラス分類する。このクラス分類は、発現量データが示すマイクロＲＮＡの種類に基づいて被採取者の健康状態をクラス分類することに該当する。
機械学習制御部１９５は、視覚化部１９０の学習を制御する。例えば、特徴量抽出部１９１および重み計算部１９２がニューラルネットワークなどの計算モデルを用いて構成されていてもよい。そして、機械学習制御部１９５への教師有り学習データの入力を受けて、機械学習制御部１９５が、特徴量抽出部１９１および重み計算部１９２に学習を行わせて計算モデルのパラメータ値を決定するようにしてもよい。
視覚化部１９０が行う処理、および、視覚化部１９０の学習は、例えばＧＣＭ（Generative Contribution Mappings）またはＧｒａｄ－ＣＡＭなど、画像分類における画像の各部の寄与度を視覚化する公知の技術を用いて実行可能である。
図３は、視覚化部１９０の各部の構成例を示す図である。図３は、ＧＣＭを用いて視覚化部１９０の機能を実行する場合の例を示している。
図３の構成で、視覚化部１９０は、エンコーダ２１１と、第１クラスデコーダ２１２－１から第Ｎクラスデコーダ２１２－Ｎと、第１乗算器２１３－１から第Ｎ乗算器２１３－Ｎと、第１平均演算部２１４－１から第Ｎ平均演算部２１４－Ｎと、Argmax演算部２１５とを備える。ここでのＮは、クラス分類におけるクラスの個数を示す正の整数である。
第１クラスデコーダ２１２－１から第Ｎクラスデコーダ２１２－Ｎを総称してデコーダ２１２と表記する。第１乗算器２１３－１から第Ｎ乗算器２１３－Ｎを総称して乗算器２１３と表記する。第１平均演算部２１４－１から第Ｎ平均演算部２１４－Ｎを総称して平均演算部２１４と表記する。
エンコーダ２１１は、画像の入力を受けて、入力された画像の特徴量を抽出する。画像生成装置１００の例では、エンコーダ２１１は、発現量データ画像の入力を受けて特徴量を抽出する。
エンコーダ２１１は、特徴量抽出部１９１の例に該当する。
デコーダ２１２はクラス毎に設けられ、エンコーダ２１１が算出した特徴量を入力画像と同じ画素数を持つマップに再構成する。このマップは入力画像の各部（各画素）が注目クラスに関してどの程度そのクラスらしいかを示す重みのマップである。デコーダ２１２が算出するマップをＣＷＭ（Class Weight Map）とも称する。
第１クラスデコーダ２１２－１から第Ｎクラスデコーダ２１２－Ｎの組み合わせは、重み計算部１９２の例に該当する。
乗算器２１３は、クラス毎に設けられ、デコーダ２１２がクラス毎に算出したＣＭＷを、入力画像に画素毎に乗算する。これにより、入力画像の各画素をクラス分類への寄与度に応じて重み付けしたヒートマップを得られる。乗算器２１３が算出するヒートマップをＣＣＭ（Class Contribution Map）とも称する。
第１乗算器２１３－１から第Ｎ乗算器２１３－Ｎの組み合わせは、寄与度提示画像生成部１９３の例に該当する。
平均演算部２１４は、クラス毎に設けられ、クラス毎に、乗算器２１３が算出したＣＣＭの画素値の平均を算出する。平均演算部２１４が算出する平均値は、クラス分類における評価値（クラススコア）として用いられる。
Argmax演算部２１５は、平均演算部２１４がクラス毎に算出するクラススコアを比較し、クラススコアが最も大きいクラスを判定する。これによりArgmax演算部２１５は、入力画像をクラスに分類する。
第１平均演算部２１４－１から第Ｎ平均演算部２１４－ＮおよびArgmax演算部２１５の組み合わせは、クラス分類部１９４例に該当する。
図４は、表示部１２０によるヒートマップの表示の第１例を示す図である。図４は、健常クラスへの分類についてのヒートマップの例を示している。表示部１２０は、寄与度提示画像生成部１９３が生成したヒートマップを、例えば視覚化部１９０の制御に従って表示する。
上述したように、寄与度提示画像生成部１９３は、発現量データ画像の画素毎に、クラス分類への寄与度に応じた重み付けをしてヒートマップ（ＣＣＭ）を算出する。
画像化部１８２が、マイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に基づいて、特性が似ているマイクロＲＮＡの種類が近くの画素に位置するように発現量データ画像を生成することで、デコーダ２１２が算出するＣＷＭにおいても、隣合う画素の重みの大きさがおおよそ同様になる。これにより、発現量データ画像に対して重み付けを行って得られる画像では、隣合う画素で画素値の変化が比較的緩やかになり、ヒートマップの様式の画像を得られる。
なお、発現量データ画像で発現量が割り当てられない画素がある等により、ヒートマップに画素の抜けが生じている場合、画像化部１８２が、ヒートマップに対して画素を補間する、あるいは、画像をぼかす等の処理を行って、ヒートマップを見易くするようにしてもよい。この場合、画像化部１８２が膨張フィルタおよび収縮フィルタを用いる、あるいは、平均化フィルタを用いるなど、画像ノイズ除去に用いられるいろいろな技術を適用することができる。
図５は、表示部１２０によるヒートマップの表示の第２例を示す図である。図５は、あるがん（がんＡと称する）のクラスへの分類についてのヒートマップの例を示している。
図５のヒートマップは、図４のヒートマップと画素値の分布の形状および密度が異なっており、図５のヒートマップのほうが、図４のヒートマップよりも画素値の平均が大きい。表示部１２０が、図４のヒートマップと図５のヒートマップとを表示することで、被採取者などヒートマップを見る者は、これらのヒートマップを比較して、クラス分類が行われた根拠（そのクラス分類になった根拠）を知ることができる。
表示部１２０がヒートマップを表示する態様は、その目的または用途に応じていろいろな態様とすることができる。
クラス分類の根拠をヒートマップで示す場合、表示部１２０が、全てのクラスのヒートマップを表示するなど複数クラスのヒートマップを表示して、クラス毎のヒートマップを比較できるようにしてもよい。
表示部１２０が、被採取者のヒートマップ（被採取者について得られたヒートマップ）と、個々のクラスにおけるヒートマップの典型例として用意されたヒートマップとを表示するようにしてもよい。これにより、被採取者などヒートマップを見る者は、被採取者のヒートマップと典型例との一致度（類似度）を判定することができる。
表示部１２０が、クラス分類部１９４が発現量データ画像をクラス分類する全てのクラスについてヒートマップを表示するようにしてもよい。あるいは、表示部１２０が、複数のクラスのうち代表的なクラスとして予め定められたクラスのヒートマップのみを表示するなど、一部のクラスについてのみヒートマップを表示するようにしてもよい。
被採取者のヒートマップと典型例との一致度が高いほど、クラス分類の精度が高いと考えられる。また、被採取者の健康状態が病気のクラスに分類された場合、被採取者のヒートマップと典型例との一致度が高いほど、病気が進行している、あるいは病状が重いと推定してもよい。
色を用いてヒートマップを表示する場合、クラス分類への寄与度が高い部分を赤い色で示し、寄与度が低い部分を青い色で表示するようにしてもよい。これにより、病気が進行している程、あるいは病状が重い程、ヒートマップが赤く表示されると期待され、ヒートマップを見る者に注意喚起することができる。
一方、被採取者の健康状態が健常クラスに分類される場合、ヒートマップの一部が赤く表示されると病気であるかのような誤解を与える可能性がある。そこで、被採取者の健康状態が健常クラスに分類される場合、表示部１２０が、赤い色を含まない画像を表示するようにしてもよい。
例えば、記憶部１７０が、全面が青の均一な画像のデータを記憶しておくようにしてもよい。そして、クラス分類部１９４が被採取者の健康状態が健常クラスに分類した場合、視覚化部１９０が、記憶部１７０からデータを読み出して、表示部１２０に全面が青の均一な画像を表示させるようにしてもよい。
あるいは、寄与度提示画像生成部１９３が、健常クラスにおけるヒートマップについては、青の濃淡でヒートマップを生成するなど、赤い色を用いずにヒートマップを生成するようにしてもよい。
また、表示部１２０が、未病状態についても表示を行うようにしてもよい。ここで未病状態とは、特定の疾病に関して、罹患はしていないが、何らかの自覚症状があるか、検査をすれば異常値を示す状態のことを指し、疾病の罹患リスクが高い状態をいう。例えば、脂肪肝は、脂肪肝という疾病に関しては罹患状態だが、肝臓がんという疾病に関しては未病状態に該当する。
例えば、クラス分類部１９４が、被採取者の健康状態を健常クラスおよび幾つかの病気のクラスのうち何れかのクラスに分類する場合、選ばれなかったクラスのうち、評価値（クラススコア）が所定の閾値以上の病気のクラスについて、未病と判定するようにしてもよい。
この場合、表示部１２０が、被採取者のヒートマップと未病と判定されたクラスの典型的なヒートマップ（ヒートマップの典型例）とを表示するようにしてもよい。これにより上記のように、被採取者などヒートマップを見る者は、被採取者のヒートマップと典型例との一致度（類似度）を判定することができる。
また、健常クラスおよび病気のクラスに加えて、未病のクラスが設定されていてもよい。例えば、病気毎のクラスのうち少なくとも１つのクラスに応じて、その病気の未病のクラスが設けられていてもよい。そして、クラス分類部１９４が被採取の健康状態を未病のクラスに分類した場合、表示部１２０が、被採取者のヒートマップと未病のクラスの典型的なヒートマップとを表示するようにしてもよい。被採取者などヒートマップを見る者は、ヒートマップを参照して、未病の判定の確からしさを判断することができる。
さらに、表示部１２０が、未病と判定された病気についての、病気のクラスの典型的なヒートマップ、または、健常クラスの典型的なヒートマップのいずれか、または両方を表示するようにしてもよい。被採取者などヒートマップを見る者は、被採取者のヒートマップが、病気のクラスのヒートマップ、および、健常クラスのヒートマップのうち何れにより近いかを判定することで、未病の状態でも比較的病気の状態に近いか比較的健常な状態に近いかを推定することができる。
また、記憶部１７０が、同じ被採取者についてヒートマップの履歴（複数の時点でのヒートマップ）を記憶しておき、表示部１２０が、視覚化部１９０の制御に従って、ヒートマップの経時変化を把握可能に表示するようにしてもよい。
例えば、表示部１２０が、複数の時点でのヒートマップを並べて表示するようにしてもよい。あるいは、表示部１２０が、ヒートマップを動画像のように表示する、あるいは、ヒートマップをコマ送りで表示する（一定時間ごとに画像を切り替えて順に表示する）など、ヒートマップを経時的に表示するようにしてもよい。
被採取者などヒートマップを見る者は、例えば、ヒートマップの赤い部分（クラス分類への寄与度が高い部分）が増大しているが減少しているかを把握して、病気が進行しているか回復に向かっているかを推定することができる。
さらに、表示部１２０が、被採取者のヒートマップと典型的なヒートマップとを並べて表示する、あるいは透過的に重ねて表示するなど、被採取者のヒートマップの経時変化と典型的なヒートマップとを比較可能に表示するようにしてもよい。
被採取者などヒートマップを見る者は、被採取者のヒートマップと典型的なヒートマップとが次第に類似しているか、異なるようになっているかを把握して、病気が進行しているか回復に向かっているかを推定することができる。
未病の状態についても、表示部１２０が、ヒートマップの履歴を表示するようにしてもよい。
被採取者などヒートマップを見る者は、ヒートマップの経時変化を参照して、病気に至るリスクを把握し、必要に応じて対策を講じることができる。
次に、画像生成装置１００の動作について説明する。
図６は、画像生成装置１００が行う処理の手順の例を示すフローチャートである。
図６の処理で、発現量データ取得部１８１は、発現量データを取得する（ステップＳ１１）。
次に、画像化部１８２は、マイクロＲＮＡの発現量データを２次元画像化する（ステップＳ１２）。
次に視覚化部１９０は、被採取者の健康状態を何れかのクラスに分類し、また、分類の根拠を示すヒートマップを生成する（ステップＳ１３）。
そして、表示部１２０が、視覚化部１９０の制御に従って、クラスの分類結果、および、ヒートマップを表示する（ステップＳ１４）。
ステップＳ１４の後、画像生成装置１００は、図６の処理を終了する。
図７は、視覚化部１９０が行う処理の手順の例を示すフローチャートである。視覚化部１９０は、図６のステップＳ１３で、図７の処理を行う。
図７の処理で、特徴量抽出部１９１は、発現量データ画像から特徴量を抽出する（ステップＳ２１）。
次に、重み計算部１９２は、クラス毎に、そのクラスへの分類に関して発現量データ画像の各画素の寄与度を示す重みを算出する（ステップＳ２２）。
そして、寄与度提示画像生成部１９３は、重み計算部１９２が算出した重みで発現量データ画像の各画素の画素値を重み付けすることで、クラス毎にヒートマップを生成する（ステップＳ２３）。
また、クラス分類部１９４は、特徴量抽出部１９１が抽出した特徴量に基づいて、クラス毎の評価値（クラススコア）を算出する（ステップＳ２４）。
そして、クラス分類部１９４は、算出したクラススコアに基づいて、被採取者の健康状態を分類するクラスを決定する（ステップＳ２５）。
ステップＳ２５の後、視覚化部１９０は、図７の処理を終了する。
以上のように、画像化部１８２は、マイクロＲＮＡの種類毎の発現量を示すデータを画像表現データに変換する。画像表現データは、２次元以上の行列を示すデータである。クラス分類部１９４は、画像表現データをクラス分類する。寄与度提示画像生成部１９３は、クラス分類における画像表現データの部分の寄与度を示す寄与度提示画像を生成する。
画像生成装置１００は、寄与度提示画像によって、マイクロＲＮＡに基づく判定（クラス分類）の根拠を示すことができる。被採取者など寄与度提示画像を見る者は、クラス分類の確からしさを判断することができる。例えば、被採取者の健康状態がある病気のクラスに分類されている場合、クラス分類の確からしさを判断することで、病気の進行の程度、あるいは、病気の重さを推定することができる。
クラス分類の確からしさの判断は、入力画像（例えば、発現量データ画像）の全体におけるクラス分類に寄与する部分の大きさ（面積割合）、および、その部分の寄与度の大きさ（寄与の程度）に基づいて行うことができる。例えば、寄与度提示画像が、クラス分類に寄与する部分ほど赤いヒートマップで示される場合、ヒートマップがどの程度赤いかを判断することで、クラス分類の確からしさを判断することができる。
あるいは、クラス分類の確からしさの判断は、寄与度提示画像が、その病気のクラスの寄与度提示画像の典型例にどの程度類似しているかを判断することで行うことができる。
また、画像化部１８２は、マイクロＲＮＡの種類をその種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に基づいて画像表現データにおける行列の要素に割り当てる割当方法を用いて、画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出するようにしてもよい。
マイクロＲＮＡの性質について、特に５’末端の５乃至９塩基の配列（例えば、７塩基の配列）の影響が大きい。画像化部１８２が上記の割当方法を用いることで、発現量データ画像において特性が似ているマイクロＲＮＡの種類を、行列における近くの要素に割り当てることが可能になる。さらには、寄与度提示画像生成部１９３が生成する画像がヒートマップの態様の画像となり、画像が示すクラス分類の根拠（あるいはクラス分類における入力画像の部分の寄与度）を視覚的に把握し易い。
また、画像化部１８２は、上記の割当方法として、マイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、マイクロＲＮＡの種類を画素に割り当てる割当方法を用いるようにしてもよい。
これにより、発現量データ画像において特性が似ているマイクロＲＮＡの種類が近くの画素に位置することが期待される。
また、表示部１２０は、寄与度提示画像生成部１９３が生成した寄与度提示画像と、画像表現データが分類されたクラスにおける典型の寄与度提示画像とされる画像とを表示するようにしてもよい。
被採取者など寄与度提示画像を見る者は、寄与度提示画像生成部１９３が生成した寄与度提示画像と、画像表現データが分類されたクラスにおける典型の寄与度提示画像とされる画像とがどの程度類似しているかを判断することで、例えば、病気の進行の程度、あるいは、病気の重さを推定することができる。
また、クラス分類部１９４は、画像表現データ（例えば、発現量データ画像）を、健常クラス、病気毎のクラス、および、病気毎のクラスのうち少なくとも１つのクラスに応じて設けられた、その病気の未病のクラスの何れかに分類するようにしてもよい。
これにより、画像生成装置１００は、健常および病気と未病とを区別して提示することができる。
図１の画像生成装置１００が、寄与度提示画像を生成して表示するのに対し、寄与度提示画像を提供する装置と、寄与度提示画像を表示する装置とが別々の装置として構成されていてもよい。
図８は、実施形態に係る表示装置の構成の第一例を示す図である。図８に示す構成で、表示システム３１０は、画像提供装置３１１と、表示装置３１２とを備える。表示装置３１２は、画像取得部３１３と、表示部３１４とを備える。
かかる構成で、画像提供装置３１１は、寄与度提示画像を表示装置３１２に送信する。上述したように、寄与度提示画像は、マイクロＲＮＡの種類毎の発現量を示すデータが変換された画像表現データのクラス分類における、その画像表現データの部分の寄与度を示す画像である。画像提供装置３１１が、画像生成装置１００と同様の方法で寄与度提示画像を生成するようにしてもよい。あるいは、画像提供装置３１１が、既に生成されている寄与度提示画像を記憶しておき、記憶している寄与度提示画像を表示装置３１２へ送信するようにしてもよい。
表示装置３１２では、画像取得部３１３が画像提供装置３１１から寄与度提示画像を取得する。具体的には、画像取得部３１３は、画像提供装置３１１からのデータを受信し、受信データから寄与度提示画像を抽出する。
表示部３１４は、画像取得部３１３が取得した寄与度提示画像を表示する。
画像提供装置３１１と表示装置３１２とが別々の国に設けられていてもよい。
図１の画像生成装置１００が備える画像化部１８２は、必須ではない。
図９は、実施形態に係る表示装置の構成の第二例を示す図である。図９に示す構成で、表示装置３２０は、クラス分類部３２１と、根拠提示画像生成部３２２と、表示部３２３とを備える。
かかる構成で、クラス分類部３２１は、発現量データをクラス分類する。上述したように、発現量データは、マイクロＲＮＡの種類毎の発現量を示すデータである。
根拠提示画像生成部３２２は、根拠提示画像を生成する。根拠提示画像は、クラス分類部３２１によるクラス分類の根拠を２次元画像で提示するための画像である。例えば、根拠提示画像生成部３２２が、発現量データから抽出される特徴量とクラス分類部３２１によるクラス分類の基準との差異を２次元画像化した画像を根拠提示画像として生成するようにしてもよい。
表示部３２３は、根拠提示画像生成部３２２が生成した根拠提示画像を表示する。
図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。図１０に示す構成で、コンピュータ７００は、ＣＰＵ（Central Processing Unit）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記の画像生成装置１００、表示装置３１２、および、表示装置３２０のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。補助記憶装置７３０は、たとえば、CDC(Compact Disc)や、DVD(digital versatile disc)等の不揮発性(non-transitory)記録媒体である。
画像生成装置１００がコンピュータ７００に実装される場合、制御部１８０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って記憶部１７０対応する記憶領域を主記憶装置７２０に確保する。
通信部１１０が行う他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。表示部１２０の機能は、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。操作入力部１３０の機能は、インタフェース７４０が入力デバイスを備えてユーザ操作を受け付け、受け付けたユーザ操作を示す信号をＣＰＵ７１０に出力することで実行される。
表示装置３１２がコンピュータ７００に実装される場合、画像取得部３１３の機能は、例えばインタフェース７４０による通信機能を、ＣＰＵ７１０がプログラムに従って制御することで実行される。表示部３１４の機能は、インタフェースが備える表示画面をＣＰＵ７１０がプログラムに従ってすることで実行される。
表示装置３２０がコンピュータ７００に実装される場合、クラス分類部３２１および根拠提示画像生成部３２２の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。表示部３２３の機能は、インタフェースが備える表示画面をＣＰＵ７１０がプログラムに従ってすることで実行される。
なお、制御部１８０、表示装置３１２、および、表示装置３２０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
１００ 画像生成装置
１１０ 通信部
１２０、３１４、３２３ 表示部
１３０ 操作入力部
１７０ 記憶部
１８０ 制御部
１８１ 発現量データ取得部
１８２ 画像化部
１９０ 視覚化部
１９１ 特徴量抽出部
１９２ 重み計算部
１９３ 寄与度提示画像生成部
１９４、３２１ クラス分類部
１９５ 機械学習制御部
２１１ エンコーダ
２１２ デコーダ
２１３ 乗算器
２１４ 平均演算部
２１５ Argmax演算部
３１０ 表示システム
３１１ 画像提供装置
３１２、３２０ 表示装置
３１３ 画像取得部
３２２ 根拠提示画像生成部

Claims (7)

  1. マイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する画像化部と、
    前記画像表現データをクラス分類するクラス分類部と、
    前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する寄与度提示画像生成部と、
    を備える画像生成装置。
  2. 前記寄与度提示画像生成部が生成した前記寄与度提示画像と、前記画像表現データが分類されたクラスにおける典型の寄与度提示画像とされる画像とを表示する表示部
    を備える請求項１に記載の画像生成装置。
  3. 前記クラス分類部は、前記画像表現データを、健常クラス、病気毎のクラス、および、前記病気のうち少なくとも１つについて設けられた、その病気の未病のクラスの何れかに分類する、
    請求項１または請求項２に記載の画像生成装置。
  4. マイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する画像化部と、
    前記画像表現データをクラス分類するクラス分類部と、
    前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する寄与度画像生成部と、
    前記寄与度提示画像を表示する表示部と、
    を備える表示装置。
  5. マイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する工程と、
    前記画像表現データをクラス分類する工程と、
    前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する工程と、
    を含む画像生成方法。
  6. 被採取者から得られたマイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する工程と、
    前記マイクロＲＮＡの種類毎の発現量を示すデータをクラス分類する工程と、
    前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する工程と、
    前記寄与度提示画像を表示して前記被採取者に提示する工程と、
    を含む提示方法。
  7. コンピュータに、
    マイクロＲＮＡの種類を、その種類のマイクロＲＮＡの５’末端の９塩基から選択される５乃至９塩基の配列に関するレーベンシュタイン距離に基づいて、２次元以上の行列を示すデータである画像表現データにおける行列の要素に割り当てる割当方法を用いて、前記画像表現データにおける行列の要素の値を、その要素に割り当てられる種類のマイクロＲＮＡの発現量に基づいて算出して、前記マイクロＲＮＡの種類毎の発現量を示すデータを前記画像表現データに変換する工程と、
    前記画像表現データをクラス分類する工程と、
    前記クラス分類における前記画像表現データの部分の寄与度を示す寄与度提示画像を生成する工程と、
    を実行させるためのプログラム。
JP2020075691A 2020-04-21 2020-04-21 画像生成装置、表示装置、画像生成方法、提示方法およびプログラム Active JP7489059B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020075691A JP7489059B2 (ja) 2020-04-21 2020-04-21 画像生成装置、表示装置、画像生成方法、提示方法およびプログラム
JP2021071453A JP7498144B2 (ja) 2020-04-21 2021-04-20 データ変換装置、データ変換方法およびプログラム
PCT/JP2021/016184 WO2021215475A1 (ja) 2020-04-21 2021-04-21 画像生成装置、表示装置、データ変換装置、画像生成方法、提示方法、データ変換方法およびプログラム
CN202180029554.2A CN115428089A (zh) 2020-04-21 2021-04-21 图像生成装置、显示装置、数据转换装置、图像生成方法、呈现方法、数据转换方法和程序
US17/996,372 US20230230660A1 (en) 2020-04-21 2021-04-21 Image generation device, display device, data conversion device, image generation method, presentation method, data conversion method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020075691A JP7489059B2 (ja) 2020-04-21 2020-04-21 画像生成装置、表示装置、画像生成方法、提示方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021071453A Division JP7498144B2 (ja) 2020-04-21 2021-04-20 データ変換装置、データ変換方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021174119A JP2021174119A (ja) 2021-11-01
JP7489059B2 true JP7489059B2 (ja) 2024-05-23

Family

ID=78269176

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020075691A Active JP7489059B2 (ja) 2020-04-21 2020-04-21 画像生成装置、表示装置、画像生成方法、提示方法およびプログラム
JP2021071453A Active JP7498144B2 (ja) 2020-04-21 2021-04-20 データ変換装置、データ変換方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021071453A Active JP7498144B2 (ja) 2020-04-21 2021-04-20 データ変換装置、データ変換方法およびプログラム

Country Status (4)

Country Link
US (1) US20230230660A1 (ja)
JP (2) JP7489059B2 (ja)
CN (1) CN115428089A (ja)
WO (1) WO2021215475A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009028036A (ja) 2007-06-28 2009-02-12 Mitsubishi Chemical Medience Corp 組織傷害あるいは細胞増殖性疾患の検出方法
JP2012507026A (ja) 2008-10-30 2012-03-22 セントレ・ドゥ・レシェルシェ・パブリック・ドゥ・ラ・サン バイオマーカー
US20140113978A1 (en) 2011-05-01 2014-04-24 University Of Rochester Multifocal hepatocellular carcinoma microrna expression patterns and uses thereof
JP2015525413A (ja) 2012-06-21 2015-09-03 フィリップ モリス プロダクツ エス アー 統合バイアス補正およびクラス予測を用いてバイオマーカシグネチャを生成するためのシステムおよび方法
JP2019204484A (ja) 2017-07-24 2019-11-28 アクシオンリサーチ株式会社 対象システムの内部状態を推定する支援システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008063521A2 (en) * 2006-11-13 2008-05-29 The General Hospital Corporation Gene-based clinical scoring system
US20110280466A1 (en) * 2010-05-17 2011-11-17 Kiho Cho Systems and methods for genetic imaging
WO2013020058A1 (en) * 2011-08-04 2013-02-07 Georgetown University Systems medicine platform for personalized oncology
US20140302068A1 (en) * 2011-09-09 2014-10-09 The Regents Of The University Of Colorado MicroRNA Biomarkers for Diagnosing Parkinson's Disease
US9536193B1 (en) * 2015-12-09 2017-01-03 International Business Machines Corporation Mining biological networks to explain and rank hypotheses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009028036A (ja) 2007-06-28 2009-02-12 Mitsubishi Chemical Medience Corp 組織傷害あるいは細胞増殖性疾患の検出方法
JP2012507026A (ja) 2008-10-30 2012-03-22 セントレ・ドゥ・レシェルシェ・パブリック・ドゥ・ラ・サン バイオマーカー
US20140113978A1 (en) 2011-05-01 2014-04-24 University Of Rochester Multifocal hepatocellular carcinoma microrna expression patterns and uses thereof
JP2015525413A (ja) 2012-06-21 2015-09-03 フィリップ モリス プロダクツ エス アー 統合バイアス補正およびクラス予測を用いてバイオマーカシグネチャを生成するためのシステムおよび方法
JP2019204484A (ja) 2017-07-24 2019-11-28 アクシオンリサーチ株式会社 対象システムの内部状態を推定する支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
西村 邦裕，遺伝子発現量情報の可視化に必要とされる空間の大きさに関する研究，日本バーチャルリアリティ学会 １０周年記念ＤＶＤ－ＲＯＭ ［ＤＶＤ－ＲＯＭ］ 日本バーチャルリアリティ学会 第８回大会，日本，2003年09月30日

Also Published As

Publication number Publication date
WO2021215475A1 (ja) 2021-10-28
CN115428089A (zh) 2022-12-02
JP2021174551A (ja) 2021-11-01
JP2021174119A (ja) 2021-11-01
JP7498144B2 (ja) 2024-06-11
US20230230660A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
US11954598B2 (en) Matching network for medical image analysis
JP6577607B2 (ja) 自動特徴解析、比較、及び異常検出
JP6196922B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
TWI543744B (zh) 適應性視覺效能測試系統
CN111656393A (zh) 组织学图像分析
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2011008906A1 (en) Computer-aided detection (cad) of intracranial aneurysms
WO2018070285A1 (ja) 画像処理装置、及び画像処理方法
KR101102004B1 (ko) 3차원 입체 영상에 대한 피로도를 정량화하는 방법 및시스템
CN114847871B (zh) 用于分析被检者的眼底变化趋势的方法、系统和相关产品
CN115954101A (zh) 一种基于ai舌诊图像处理的健康度管理系统及管理方法
JP2006507579A (ja) 核多形性の組織学的評価
JP2019164450A (ja) 画像処理方法、コンピュータプログラムおよび記録媒体
JP7498144B2 (ja) データ変換装置、データ変換方法およびプログラム
JP2020505092A5 (ja)
Belghith et al. A unified framework for glaucoma progression detection using Heidelberg Retina Tomograph images
JP2016058018A (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
Rodriguez-Rojas et al. Predictive features of breast cancer on Mexican screening mammography patients
JP2022050004A (ja) 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法
JP2018138136A (ja) 被験者判断装置、方法、及びプログラム
JP5897745B2 (ja) 加齢分析方法及び加齢分析装置
JP2021174120A (ja) ベクトル場情報生成装置、状態判定支援システム、状態判定支援装置、状態予測システム、状態予測装置、ベクトル場情報生成方法およびプログラム
Ball Bayesian Deep Learning Approaches for Uncertainty-Aware Retinal OCT Image Segmentation for Multiple Sclerosis
KR100895268B1 (ko) 뇌졸중 환자의 편측무시측정장치 및 그 방법
JP6253474B2 (ja) 情報処理装置、コンピュータプログラムおよび記録媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240501

R150 Certificate of patent or registration of utility model

Ref document number: 7489059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150