WO2021124869A1 - 診断支援装置、診断支援方法、及び診断支援プログラム - Google Patents

診断支援装置、診断支援方法、及び診断支援プログラム Download PDF

Info

Publication number
WO2021124869A1
WO2021124869A1 PCT/JP2020/044683 JP2020044683W WO2021124869A1 WO 2021124869 A1 WO2021124869 A1 WO 2021124869A1 JP 2020044683 W JP2020044683 W JP 2020044683W WO 2021124869 A1 WO2021124869 A1 WO 2021124869A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lesion
medical
similarity
lesion candidate
Prior art date
Application number
PCT/JP2020/044683
Other languages
English (en)
French (fr)
Inventor
拓矢 湯澤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021565436A priority Critical patent/JP7355849B2/ja
Priority to DE112020006167.1T priority patent/DE112020006167T5/de
Publication of WO2021124869A1 publication Critical patent/WO2021124869A1/ja
Priority to US17/749,108 priority patent/US20220277837A1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Definitions

  • This disclosure relates to a diagnostic support device, a diagnostic support method, and a diagnostic support program.
  • a similar case search system acquires and presents cases similar to the search input cases including medical documents from the search target cases including medical documents by searching (see Patent Document 1).
  • This similar case search system acquires, by searching, a case having a feature amount whose degree of similarity is higher than a predetermined value with respect to the feature amount of the search input case from the search target cases.
  • This disclosure has been made in view of the above circumstances, and provides a diagnostic support device, a diagnostic support method, and a diagnostic support program capable of detecting various lesion candidate regions in a general manner.
  • the diagnostic support device of the present disclosure is a diagnostic support device including at least one processor, in which the processor accepts an input search word and is a medical image including a lesion area.
  • a medical image associated with a key finding corresponding to a search word is searched from a plurality of medical images associated with a key finding that is a key for identifying a diagnosis name of a lesion area, and the searched medical image group is used as an image.
  • the processor accepts a plurality of search words and searches a plurality of medical images for a medical image associated with key findings corresponding to all or any of the plurality of search words. You may.
  • the processor may detect a lesion candidate region in the examination image based on the degree of similarity between the examination image and the representative image of the classified image.
  • the diagnostic support device of the present disclosure is a pre-learned model in which a medical image is input and a lesion candidate area in the input medical image is output as an output, and key findings corresponding to search words are associated with the model. If a trained model is present, the processor may detect potential lesion regions in the test image based on the test image and the trained model.
  • the processor when the processor detects a region having a similarity of the first threshold value or more in the inspection image as a lesion candidate region in the inspection image and the number of detected lesion candidate regions is the second threshold value or more.
  • the first threshold value may be changed to a value larger than the immediately preceding value to detect the lesion candidate region in the examination image again.
  • the diagnostic support method of the present disclosure is a medical image including an input search word and includes a plurality of medical images associated with key findings that are keys for identifying a diagnosis name of the lesion area. Searches for medical images associated with key findings corresponding to the search word, classifies the searched medical image group according to the similarity of the images, and based on the similarity between the inspection image and the classification result, in the inspection image. The process of detecting the lesion candidate region is executed by the processor provided in the diagnostic support device.
  • the diagnostic support program of the present disclosure is a medical image including a lesion area that accepts an input search word and is associated with a plurality of medical images associated with key findings that are keys for identifying the diagnosis name of the lesion area. Searches for medical images associated with key findings corresponding to the search word, classifies the searched medical image group according to the similarity of the images, and based on the similarity between the inspection image and the classification result, in the inspection image. This is for causing a processor included in the diagnostic support device to execute a process of detecting a lesion candidate region.
  • various lesion candidate regions can be detected for general purposes.
  • the diagnostic support system 10 includes a diagnostic support device 12, a photographing device 14, and an image storage device 16.
  • the diagnosis support device 12, the photographing device 14, and the image storage device 16 are each connected to the network N, and can communicate with each other via the network N.
  • the imaging device 14 is an apparatus that generates a medical image representing the site by photographing the site to be diagnosed of the subject.
  • Examples of the photographing device 14 include a photographing device that captures a radiographic image, a photographing device that captures a three-dimensional image including a plurality of tomographic images, and the like.
  • Examples of the photographing apparatus for capturing a three-dimensional image include a CT (Computed Tomography) apparatus, an MRI (Magnetic Resonance Imaging) apparatus, a PET (Positron Emission Tomography) apparatus, and the like.
  • the image storage device 16 is a computer that stores and manages medical images, and includes a storage device for storing medical images and the like.
  • a plurality of medical images (hereinafter, referred to as "lesion images") including a lesion area are stored in the image storage device 16 according to the present embodiment.
  • the lesion image according to the present embodiment is an image obtained by cutting out a part of the medical image including the lesion region from the medical image generated by the imaging device 14.
  • the lesion image according to the present embodiment is associated with a key finding that is a key for identifying the diagnosis name of the lesion area.
  • Key findings mean findings that are characteristic of identifying the diagnostic name of the lesion area.
  • the plurality of lesion images stored in the image storage device 16 include the location of organs such as the left lung or the right lung, the image type such as CT image or MRI image, and the degree of progression of the lesion such as stage 1 or stage 2. Etc., various lesion images are included. The generation of the lesion image and the association of the key findings with the lesion image are performed in advance by the user of the diagnosis support system 10.
  • the image storage device 16 transmits / receives a medical image generated by the imaging device 14 between the diagnosis support device 12 and the imaging device 14 via the network N.
  • the storage format of medical images and communication between each device via network N are based on a predetermined protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • DICOM Digital Imaging and Communication in Medicine
  • the lesion image and key findings may be stored in the storage unit 22 of the diagnostic support device 12, which will be described later.
  • diagnosis support device 12 examples include a personal computer, a server computer, and the like.
  • the diagnosis support device 12 may be a cloud server.
  • the diagnostic support device 12 includes a CPU (Central Processing Unit) 20, a memory 21 as a temporary storage area, and a non-volatile storage unit 22. Further, the diagnostic support device 12 includes a display 23 such as a liquid crystal display, an input unit 24 such as a keyboard and a mouse, and a network I / F (InterFace) 25 connected to the network N.
  • the CPU 20, the memory 21, the storage unit 22, the display 23, the input unit 24, and the network I / F 25 are connected to the bus 26.
  • the storage unit 22 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the lesion candidate region detection program 30 is stored in the storage unit 22 as a storage medium.
  • the CPU 20 reads the lesion candidate area detection program 30 from the storage unit 22, expands it into the memory 21, and executes the expanded lesion candidate region detection program 30.
  • the diagnosis support device 12 includes a reception unit 40, a search unit 42, a classification unit 44, a detection unit 46, and an output unit 48.
  • the CPU 20 executes the lesion candidate region detection program 30, it functions as a reception unit 40, a search unit 42, a classification unit 44, a detection unit 46, and an output unit 48.
  • the user inputs a search word for searching a lesion candidate region to be detected in the inspection image obtained by photographing the subject to be diagnosed by the imaging device 14 via the input unit 24.
  • the reception unit 40 receives a search word input by the user via the input unit 24. For example, if the test image is an image of the subject's lungs and the user wants to know if the test image contains metastatic lung cancer, the user enters the search term "metastatic lung cancer". ..
  • the search word is not limited to one word, and may be a plurality of words such as "lung cancer metastatic".
  • the search unit 42 searches a plurality of lesion images stored in the image storage device 16 for lesion images associated with key findings corresponding to the search words received by the reception unit 40. ..
  • the search unit 42 searches for a lesion image associated with the key findings corresponding to the search word.
  • the search unit 42 searches for a lesion image associated with key findings corresponding to all or any of the plurality of search words. For example, the user can specify whether the search unit 42 searches for the lesion image associated with the key findings corresponding to all or any of the plurality of search words by a search option.
  • the classification unit 44 classifies the lesion image group searched by the search unit 42 according to the similarity of the images by a known method such as pattern matching. As shown in FIG. 5, the classification unit 44 classifies lesion images having the same organ location, image type, lesion progression, and the like into the same group. In the example of FIG. 5, the broken line rectangle represents the group.
  • the detection unit 46 detects a lesion candidate region in the examination image based on the degree of similarity between the examination image and the classification result by the classification unit 44. Specifically, as shown in FIG. 5, first, the detection unit 46 generates a representative image of the lesion image group for each group classified by the classification unit 44.
  • the representative image for example, an average image in which each pixel value is the average value of the pixel values of each pixel of all the lesion images in the lesion image group can be mentioned.
  • the representative image is not limited to the average image as long as it is an image representing the lesion image group of the group.
  • each pixel value of the representative image may be the median value of each pixel of all the images of the lesion image group.
  • the detection unit 46 derives the similarity with each representative image for each partial region having the same size as the representative image in the inspection image. For the derivation of this similarity, a known method such as pattern matching can be used. Then, the detection unit 46 detects a partial region in which the derived similarity is equal to or higher than a predetermined threshold value as a lesion candidate region.
  • the threshold value in this case is determined, for example, according to the required detection accuracy of the lesion candidate region. For example, when it is desired to detect more lesion candidate regions even if the accuracy is low, the threshold value is set to a smaller value than when it is desired to detect the lesion candidate regions with high accuracy.
  • the detection unit 46 detects the derived partial region having the similarity equal to or higher than the first threshold value as the lesion candidate region, and when the number of detected lesion candidate regions is equal to or higher than the second threshold value, the first threshold value is set from the immediately preceding value. May be changed to a larger value and the lesion candidate region in the examination image may be detected again. That is, when the number of detected lesion candidate regions is too large, the detection unit 46 considers that a lesion candidate region having low accuracy is also detected, changes the first threshold value to a large value, and detects the lesion candidate region again. To do. As a result, the lesion candidate region can be detected with appropriate accuracy.
  • the output unit 48 superimposes the lesion candidate region detected by the detection unit 46 on the inspection image and outputs it to the display 23.
  • the lesion candidate region corresponding to the search word in the inspection image is displayed on the display 23.
  • the output unit 48 may output the lesion candidate region detected by the detection unit 46 to the storage unit 22.
  • the lesion candidate region in the examination image is stored in the storage unit 22.
  • the operation of the diagnostic support device 12 according to the present embodiment will be described with reference to FIG. 7.
  • the CPU 20 executes the lesion candidate region detection program 30
  • the lesion candidate region detection process shown in FIG. 7 is executed.
  • the lesion candidate region detection process is executed, for example, when a search word and an execution instruction for the lesion candidate region detection process are input by the user via the input unit 24.
  • step S10 of FIG. 7 the reception unit 40 receives the search word input by the user via the input unit 24.
  • step S12 as described above, the search unit 42 searches for the lesion image associated with the key findings corresponding to the search word received in step S10 from the plurality of lesion images stored in the image storage device 16. To do.
  • step S14 the classification unit 44 classifies the lesion image group searched in step S12 according to the similarity of the images by a known method such as pattern matching.
  • step S16 the detection unit 46 detects the lesion candidate region in the examination image based on the similarity between the examination image and the classification result obtained by the processing in step S14.
  • step S18 the output unit 48 superimposes the lesion candidate region detected in step S16 on the inspection image and outputs it to the display 23.
  • the input search word is received, and the search word is supported from a plurality of lesion images associated with the key findings that are the key for identifying the diagnosis name of the lesion area.
  • Search for lesion images associated with key findings Then, the searched lesion image group is classified according to the similarity of the images, and the lesion candidate region in the inspection image is detected based on the similarity between the inspection image and the classification result. Therefore, a lesion candidate region can be detected even for a lesion for which a large number of learning data cannot be collected.
  • various lesion candidate regions can be generically detected according to a free search word input by the user.
  • the storage unit 22 of the diagnosis support device 12 when a large number of medical images including a specific lesion can be collected, they are generated in the storage unit 22 of the diagnosis support device 12 by machine learning such as deep learning based on the collected medical images.
  • the trained model may be stored in advance.
  • the trained model in this case is generated by learning in advance using the medical image as an input and the lesion candidate region in the input medical image as an output.
  • a deep neural network model in which a medical image is input and a lesion candidate region in the input medical image is output can be mentioned.
  • Such a trained model is generated by machine learning using a backpropagation method or the like by preparing a large number of combinations of a medical image and a lesion candidate region in the medical image as training data.
  • the trained model is associated with key findings that are key to identify the diagnostic name of the lesion region detected by the trained model.
  • the detection unit 46 is based on the inspection image and the trained model when the storage unit 22 has a trained model associated with the key findings corresponding to the search word received by the reception unit 40.
  • the lesion candidate area in the inspection image is detected.
  • the detection unit 46 detects the lesion candidate region in the inspection image by inputting the inspection image into the trained model and acquiring the lesion candidate region in the inspection image output from the trained model. As a result, the lesion candidate region can be detected with high accuracy.
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). It may be composed of a combination). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • the lesion candidate area detection program 30 is provided in a form recorded on a recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), and a USB (Universal Serial Bus) memory. May be done. Further, the lesion candidate region detection program 30 may be downloaded from an external device via a network.
  • a recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), and a USB (Universal Serial Bus) memory. May be done.
  • the lesion candidate region detection program 30 may be downloaded from an external device via a network.
  • Diagnosis support system 12
  • Diagnosis support device 14
  • Imaging device 16
  • Image storage device 20
  • CPU 21 Memory 22
  • Storage unit 23 Display 24
  • Input unit 25
  • Bus 30 Lesion candidate area detection program 40
  • Reception unit 42
  • Search unit 44
  • Classification unit 46
  • Detection unit 48
  • Output unit N N network

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

種々の病変候補領域を汎用的に検出することができる診断支援装置、診断支援方法、及び診断支援プログラムを得る。診断支援装置は、入力された検索ワードを受け付け、病変領域を含む医用画像であって、病変領域の診断名を特定するキーとなるキー所見が対応付けられた複数の医用画像から、検索ワードに対応するキー所見が対応付けられた医用画像を検索し、検索した医用画像群を画像の類似度に従って分類し、検査画像と分類結果との類似度に基づいて、検査画像における病変候補領域を検出する。

Description

診断支援装置、診断支援方法、及び診断支援プログラム
 本開示は、診断支援装置、診断支援方法、及び診断支援プログラムに関する。
 医用文書を含む検索対象症例の中から、医用文書を含む検索入力症例と類似する症例を検索により取得して提示する類似症例検索システムが開示されている(特許文献1参照)。この類似症例検索システムは、検索対象症例の中から、検索入力症例の特徴量に対して類似度が所定値よりも高い特徴量を有する症例を検索により取得する。
特開2015-203920号公報
 ところで、近年、ディープラーニング等の機械学習によって得られた学習済みモデルを用いて、医用画像から病変候補領域を検出する手法が提案されている。しかしながら、この手法では、機械学習が行われていない病変候補領域を検出することが困難である。また、機械学習のために、大量の症例画像が必要となり、種々の病変候補領域を汎用的に検出することは難しい。
 特許文献1に記載の技術では、医用文書を含む検索入力症例の特徴量に対して類似度が所定値よりも高い症例が検索される。従って、この技術でも、種々の病変候補領域を汎用的に検出することができない場合があった。
 本開示は、以上の事情を鑑みてなされたものであり、種々の病変候補領域を汎用的に検出することができる診断支援装置、診断支援方法、及び診断支援プログラムを提供する。
 本開示の診断支援装置は、少なくとも一つのプロセッサを備える診断支援装置であって、プロセッサが、入力された検索ワードを受け付け、病変領域を含む医用画像であって、
病変領域の診断名を特定するキーとなるキー所見が対応付けられた複数の医用画像から、検索ワードに対応するキー所見が対応付けられた医用画像を検索し、検索した医用画像群を画像の類似度に従って分類し、検査画像と分類結果との類似度に基づいて、検査画像における病変候補領域を検出する診断支援装置である。
 なお、本開示の診断支援装置は、プロセッサが、複数の検索ワードを受け付け、複数の医用画像から、複数の検索ワードの全て又は何れかに対応するキー所見が対応付けられた医用画像を検索してもよい。
 また、本開示の診断支援装置は、プロセッサが、検査画像と、分類した画像の代表画像との類似度に基づいて検査画像における病変候補領域を検出してもよい。
 また、本開示の診断支援装置は、医用画像を入力とし、入力の医用画像における病変候補領域を出力として予め学習された学習済みモデルであって、検索ワードに対応するキー所見が対応付けられた学習済みモデルが存在する場合、プロセッサが、検査画像と学習済みモデルとに基づいて、検査画像における病変候補領域を検出してもよい。
 また、本開示の診断支援装置は、プロセッサが、検査画像における類似度が第1閾値以上の領域を検査画像における病変候補領域として検出し、検出した病変候補領域の数が第2閾値以上の場合、第1閾値を直前の値よりも大きい値に変更して再度検査画像における病変候補領域を検出してもよい。
 また、本開示の診断支援方法は、入力された検索ワードを受け付け、病変領域を含む医用画像であって、病変領域の診断名を特定するキーとなるキー所見が対応付けられた複数の医用画像から、検索ワードに対応するキー所見が対応付けられた医用画像を検索し、検索した医用画像群を画像の類似度に従って分類し、検査画像と分類結果との類似度に基づいて、検査画像における病変候補領域を検出する処理を診断支援装置が備えるプロセッサが実行するものである。
 また、本開示の診断支援プログラムは、入力された検索ワードを受け付け、病変領域を含む医用画像であって、病変領域の診断名を特定するキーとなるキー所見が対応付けられた複数の医用画像から、検索ワードに対応するキー所見が対応付けられた医用画像を検索し、検索した医用画像群を画像の類似度に従って分類し、検査画像と分類結果との類似度に基づいて、検査画像における病変候補領域を検出する処理を診断支援装置が備えるプロセッサに実行させるためのものである。
 本開示によれば、種々の病変候補領域を汎用的に検出することができる。
診断支援システムの構成の一例を示すブロック図である。 病変画像を説明するための図である。 診断支援装置のハードウェア構成の一例を示すブロック図である。 診断支援装置の機能的な構成の一例を示すブロック図である。 病変候補領域の検出処理を説明するための図である。 検査画像から検出された病変候補領域の一例を示す図である。 病変候補領域検出処理の一例を示すフローチャートである。 学習済みモデルの一例を示す図である。
 以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
 まず、図1を参照して、本実施形態に係る診断支援システム10の構成を説明する。図1に示すように、診断支援システム10は、診断支援装置12、撮影装置14、及び画像保管装置16を含む。診断支援装置12、撮影装置14、及び画像保管装置16は、それぞれネットワークNに接続され、ネットワークNを介して互いに通信が可能とされる。
 撮影装置14は、被検体の診断対象となる部位を撮影することにより、その部位を表す医用画像を生成する装置である。撮影装置14の例としては、放射線画像を撮影する撮影装置、及び複数の断層画像を含んで構成される3次元画像を撮影する撮影装置等が挙げられる。3次元画像を撮影する撮影装置の例としては、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、及びPET(Positron Emission Tomography)装置等が挙げられる。
 画像保管装置16は、医用画像を保存して管理するコンピュータであり、医用画像が記憶される記憶装置等を備える。本実施形態に係る画像保管装置16には、病変領域を含む複数の医用画像(以下、「病変画像」という)が保存されている。図2に示すように、本実施形態に係る病変画像は、撮影装置14により生成された医用画像から、病変領域を含む医用画像の一部の領域が切り出された画像である。
 また、図1に示すように、本実施形態に係る病変画像には、病変領域の診断名を特定するキーとなるキー所見が対応付けられている。キー所見とは、病変領域の診断名を特定する上で特徴的な所見を意味する。また、画像保管装置16に保存される複数の病変画像には、左肺又は右肺等の臓器の場所、CT画像又はMRI画像等の画像種別、及びステージ1又はステージ2等の病変の進行度等にかかわらず、種々の病変画像が含まれる。病変画像の生成及び病変画像へのキー所見の対応付けは、診断支援システム10のユーザによって予め行われる。
 画像保管装置16は、ネットワークNを介して、診断支援装置12及び撮影装置14との間で、撮影装置14により生成された医用画像を送受信する。なお、医用画像の格納形式及びネットワークN経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等の予め定められたプロトコルに基づいている。なお、病変画像及びキー所見は、後述する診断支援装置12の記憶部22に記憶されていてもよい。
 次に、図3を参照して、本実施形態に係る診断支援装置12のハードウェア構成を説明する。診断支援装置12の例としては、パーソナルコンピュータ又はサーバコンピュータ等が挙げられる。診断支援装置12は、クラウドサーバであってもよい。
 図3に示すように、診断支援装置12は、CPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、及び不揮発性の記憶部22を含む。また、診断支援装置12は、液晶ディスプレイ等のディスプレイ23、キーボードとマウス等の入力部24、及びネットワークNに接続されるネットワークI/F(InterFace)25を含む。CPU20、メモリ21、記憶部22、ディスプレイ23、入力部24、及びネットワークI/F25は、バス26に接続される。
 記憶部22は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部22には、病変候補領域検出プログラム30が記憶される。CPU20は、記憶部22から病変候補領域検出プログラム30を読み出してからメモリ21に展開し、展開した病変候補領域検出プログラム30を実行する。
 次に、図4を参照して、本実施形態に係る診断支援装置12の機能的な構成について説明する。図4に示すように、診断支援装置12は、受付部40、検索部42、分類部44、検出部46、及び出力部48を含む。CPU20が病変候補領域検出プログラム30を実行することで、受付部40、検索部42、分類部44、検出部46、及び出力部48として機能する。
 ユーザは、診断対象の被検体を撮影装置14によって撮影して得られた検査画像における検出したい病変候補領域を検索するための検索ワードを、入力部24を介して入力する。受付部40は、ユーザにより入力部24を介して入力された検索ワードを受け付ける。例えば、検査画像が被検体の肺を撮影した画像である場合で、ユーザが、検査画像に転移性肺がんが含まれるかどうかを把握したい場合、ユーザは「転移性肺がん」という検索ワードを入力する。なお、検索ワードは、1つの単語に限定されず、例えば、「肺がん 転移性」のように、複数の単語でもよい。
 図5に示すように、検索部42は、画像保管装置16に保管された複数の病変画像から、受付部40により受け付けられた検索ワードに対応するキー所見が対応付けられた病変画像を検索する。なお、検索部42は、受付部40により1つの検索ワードが受け付けられた場合、その検索ワードに対応するキー所見が対応付けられた病変画像を検索する。また、検索部42は、受付部40により複数の検索ワードが受け付けられた場合、その複数の検索ワードの全て又は何れかに対応するキー所見が対応付けられた病変画像を検索する。検索部42が複数の検索ワードの全て又は何れかのどちらに対応するキー所見が対応付けられた病変画像を検索するかは、例えば、ユーザが検索オプションによって指定することができる。
 分類部44は、検索部42により検索された病変画像群を、パターンマッチング等の公知の手法によって、画像の類似度に従って分類する。図5に示すように、分類部44によって、臓器の場所、画像種別、及び病変の進行度等が同じ病変画像が同じグループに分類される。図5の例では、破線の矩形がグループを表している。
 検出部46は、検査画像と分類部44による分類結果との類似度に基づいて、検査画像における病変候補領域を検出する。具体的には、図5に示すように、まず、検出部46は、分類部44により分類されたグループ毎に、病変画像群の代表画像を生成する。この代表画像としては、例えば、各画素値を病変画像群の全ての病変画像の各画素の画素値の平均値とした平均画像が挙げられる。なお、代表画像は、グループの病変画像群を代表する画像であれば平均画像に限定されない。例えば、代表画像の各画素値を病変画像群の全ての画像の各画素の画素値の中央値としてもよい。
 次に、図5に示すように、検出部46は、検査画像における代表画像と同じサイズの各部分領域について、各代表画像との類似度を導出する。この類似度の導出には、例えば、パターンマッチング等の公知の手法を用いることができる。そして、検出部46は、導出した類似度が予め定められた閾値以上の部分領域を病変候補領域として検出する。この場合の閾値は、例えば、要求される病変候補領域の検出精度に応じて定められる。例えば、精度が低くてもより多くの病変候補領域を検出したい場合は、病変候補領域を高精度で検出したい場合よりも閾値が小さい値に設定される。
 なお、検出部46は、導出した類似度が第1閾値以上の部分領域を病変候補領域として検出し、検出した病変候補領域の数が第2閾値以上の場合、第1閾値を直前の値よりも大きい値に変更して再度検査画像における病変候補領域を検出してもよい。すなわち、検出部46は、検出した病変候補領域の数が多すぎる場合は、精度が低い病変候補領域も検出されていると見なして第1閾値を大きい値に変更して再度病変候補領域を検出する。これにより、適切な精度で病変候補領域を検出することができる。
 出力部48は、検出部46により検出された病変候補領域を検査画像に重畳させてディスプレイ23に出力する。これにより、一例として図6に示すように、検査画像における、検索ワードに対応する病変候補領域がディスプレイ23に表示される。なお、出力部48は、検出部46により検出された病変候補領域を記憶部22に出力してもよい。これにより、検査画像における病変候補領域が記憶部22に記憶される。
 次に、図7を参照して、本実施形態に係る診断支援装置12の作用を説明する。CPU20が病変候補領域検出プログラム30を実行することによって、図7に示す病変候補領域検出処理が実行される。病変候補領域検出処理は、例えば、ユーザによって入力部24を介して検索ワードと病変候補領域検出処理の実行指示とが入力された場合に実行される。
 図7のステップS10で、受付部40は、ユーザにより入力部24を介して入力された検索ワードを受け付ける。ステップS12で、検索部42は、前述したように、画像保管装置16に保管された複数の病変画像から、ステップS10で受け付けられた検索ワードに対応するキー所見が対応付けられた病変画像を検索する。
 ステップS14で、分類部44は、前述したように、ステップS12で検索された病変画像群を、パターンマッチング等の公知の手法によって、画像の類似度に従って分類する。ステップS16で、検出部46は、前述したように、検査画像とステップS14の処理による分類結果との類似度に基づいて、検査画像における病変候補領域を検出する。ステップS18で、出力部48は、前述したように、ステップS16で検出された病変候補領域を検査画像に重畳させてディスプレイ23に出力する。ステップS18の処理が終了すると病変候補領域検出処理が終了する。
 以上説明したように、本実施形態によれば、入力された検索ワードを受け付け、病変領域の診断名を特定するキーとなるキー所見が対応付けられた複数の病変画像から、検索ワードに対応するキー所見が対応付けられた病変画像を検索する。そして、検索した病変画像群を画像の類似度に従って分類し、検査画像と分類結果との類似度に基づいて、検査画像における病変候補領域を検出する。従って、多数の学習用データを収集できない病変についても、病変候補領域を検出することができる。また、ユーザにより入力されたフリーの検索ワードに応じて、種々の病変候補領域を汎用的に検出することができる。
 なお、上記実施形態において、例えば、特定の病変を含む多数の医用画像を収集できている場合、診断支援装置12の記憶部22に、収集した医用画像に基づいてディープラーニング等の機械学習によって生成された学習済みモデルを予め記憶しておいてもよい。この場合の学習済みモデルは、医用画像を入力とし、入力の医用画像における病変候補領域を出力として予め学習されることによって生成される。また、この場合の学習済みモデルとしては、一例として図8に示すように、医用画像を入力とし、入力の医用画像における病変候補領域を出力としたディープニューラルネットワークモデルが挙げられる。このような学習済みモデルは、医用画像と医用画像における病変候補領域との組み合わせを学習用データとして多数用意し、誤差逆伝播法等を用いた機械学習によって生成される。また、この学習済みモデルには、その学習済みモデルにより検出される病変領域の診断名を特定するキーとなるキー所見が対応付けられている。
 この形態例では、検出部46は、受付部40により受け付けられた検索ワードに対応するキー所見が対応付けられた学習済みモデルが記憶部22に存在する場合、検査画像と学習済みモデルとに基づいて、検査画像における病変候補領域を検出する。具体的には、検出部46は、検査画像を学習済みモデルに入力し、学習済みモデルから出力された検査画像における病変候補領域を取得することによって、検査画像における病変候補領域を検出する。これにより、病変候補領域を精度良く検出することができる。
 また、上記実施形態において、例えば、受付部40、検索部42、分類部44、検出部46、及び出力部48といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
 また、上記実施形態では、病変候補領域検出プログラム30が記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。病変候補領域検出プログラム30は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、病変候補領域検出プログラム30は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
10 診断支援システム
12 診断支援装置
14 撮影装置
16 画像保管装置
20 CPU
21 メモリ
22 記憶部
23 ディスプレイ
24 入力部
25 ネットワークI/F
26 バス
30 病変候補領域検出プログラム
40 受付部
42 検索部
44 分類部
46 検出部
48 出力部
N ネットワーク

Claims (7)

  1.  少なくとも一つのプロセッサを備える診断支援装置であって、
     前記プロセッサは、
     入力された検索ワードを受け付け、
     病変領域を含む医用画像であって、前記病変領域の診断名を特定するキーとなるキー所見が対応付けられた複数の医用画像から、前記検索ワードに対応するキー所見が対応付けられた医用画像を検索し、
     検索した医用画像群を画像の類似度に従って分類し、
     検査画像と分類した医用画像群との類似度に基づいて、前記検査画像における病変候補領域を検出する
     診断支援装置。
  2.  前記プロセッサは、
     複数の前記検索ワードを受け付け、
     前記複数の医用画像から、前記複数の前記検索ワードの全て又は何れかに対応する前記キー所見が対応付けられた医用画像を検索する
     請求項1に記載の診断支援装置。
  3.  前記プロセッサは、前記検査画像と、分類した医用画像群の代表画像との類似度に基づいて前記検査画像における病変候補領域を検出する
     請求項1又は請求項2に記載の診断支援装置。
  4.  医用画像を入力とし、入力の医用画像における病変候補領域を出力として予め学習された学習済みモデルであって、前記検索ワードに対応する前記キー所見が対応付けられた学習済みモデルが存在する場合、
     前記プロセッサは、前記検査画像と前記学習済みモデルとに基づいて、前記検査画像における病変候補領域を検出する
     請求項1から請求項3の何れか1項に記載の診断支援装置。
  5.  前記プロセッサは、前記検査画像における前記類似度が第1閾値以上の領域を前記検査画像における病変候補領域として検出し、検出した病変候補領域の数が第2閾値以上の場合、前記第1閾値を直前の値よりも大きい値に変更して再度前記検査画像における病変候補領域を検出する
     請求項1から請求項4の何れか1項に記載の診断支援装置。
  6.  入力された検索ワードを受け付け、
     病変領域を含む医用画像であって、前記病変領域の診断名を特定するキーとなるキー所見が対応付けられた複数の医用画像から、前記検索ワードに対応するキー所見が対応付けられた医用画像を検索し、
     検索した医用画像群を画像の類似度に従って分類し、
     検査画像と分類した医用画像群との類似度に基づいて、前記検査画像における病変候補領域を検出する診断支援方法。
  7.  入力された検索ワードを受け付け、
     病変領域を含む医用画像であって、前記病変領域の診断名を特定するキーとなるキー所見が対応付けられた複数の医用画像から、前記検索ワードに対応するキー所見が対応付けられた医用画像を検索し、
     検索した医用画像群を画像の類似度に従って分類し、
     検査画像と分類した医用画像群との類似度に基づいて、前記検査画像における病変候補領域を検出する処理をコンピュータに実行させるための診断支援プログラム。
PCT/JP2020/044683 2019-12-17 2020-12-01 診断支援装置、診断支援方法、及び診断支援プログラム WO2021124869A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021565436A JP7355849B2 (ja) 2019-12-17 2020-12-01 診断支援装置、診断支援方法、及び診断支援プログラム
DE112020006167.1T DE112020006167T5 (de) 2019-12-17 2020-12-01 Diagnoseunterstützungsvorrichtung, Diagnoseunterstützungsverfahren und Diagnoseunterstützungsprogramm
US17/749,108 US20220277837A1 (en) 2019-12-17 2022-05-19 Diagnosis support device, diagnosis support method, and diagnosis support program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-227017 2019-12-17
JP2019227017 2019-12-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/749,108 Continuation US20220277837A1 (en) 2019-12-17 2022-05-19 Diagnosis support device, diagnosis support method, and diagnosis support program

Publications (1)

Publication Number Publication Date
WO2021124869A1 true WO2021124869A1 (ja) 2021-06-24

Family

ID=76478728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044683 WO2021124869A1 (ja) 2019-12-17 2020-12-01 診断支援装置、診断支援方法、及び診断支援プログラム

Country Status (4)

Country Link
US (1) US20220277837A1 (ja)
JP (1) JP7355849B2 (ja)
DE (1) DE112020006167T5 (ja)
WO (1) WO2021124869A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310836A1 (en) * 2008-06-12 2009-12-17 Siemens Medical Solutions Usa, Inc. Automatic Learning of Image Features to Predict Disease
JP2011008374A (ja) * 2009-06-24 2011-01-13 Fuji Xerox Co Ltd 情報処理装置及びプログラム
CN102426583A (zh) * 2011-10-10 2012-04-25 北京工业大学 基于图像内容分析的中医舌象检索方法
US20120283574A1 (en) * 2011-05-06 2012-11-08 Park Sun Young Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
WO2013088806A1 (ja) * 2011-12-13 2013-06-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 医用画像を検索する方法、装置及びコンピュータプログラム
JP2013152701A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法
JP2014127011A (ja) * 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015203920A (ja) 2014-04-11 2015-11-16 キヤノン株式会社 類似症例検索システム、類似症例検索方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310836A1 (en) * 2008-06-12 2009-12-17 Siemens Medical Solutions Usa, Inc. Automatic Learning of Image Features to Predict Disease
JP2011008374A (ja) * 2009-06-24 2011-01-13 Fuji Xerox Co Ltd 情報処理装置及びプログラム
US20120283574A1 (en) * 2011-05-06 2012-11-08 Park Sun Young Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
CN102426583A (zh) * 2011-10-10 2012-04-25 北京工业大学 基于图像内容分析的中医舌象检索方法
WO2013088806A1 (ja) * 2011-12-13 2013-06-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 医用画像を検索する方法、装置及びコンピュータプログラム
JP2013152701A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法
JP2014127011A (ja) * 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2021124869A1 (ja) 2021-06-24
DE112020006167T5 (de) 2022-11-17
US20220277837A1 (en) 2022-09-01
JP7355849B2 (ja) 2023-10-03

Similar Documents

Publication Publication Date Title
Binczyk et al. Radiomics and artificial intelligence in lung cancer screening
US20190279408A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
US11574717B2 (en) Medical document creation support apparatus, medical document creation support method, and medical document creation support program
TW202001923A (zh) 脊椎影像註冊方法
JP7371116B2 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
JP2024009108A (ja) 文書作成支援装置、文書作成支援方法及びプログラム
Solanki et al. Brain MRI image classification using image mining algorithms
JP7086818B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11978274B2 (en) Document creation support apparatus, document creation support method, and document creation support program
US20230005601A1 (en) Document creation support apparatus, method, and program
US20230005580A1 (en) Document creation support apparatus, method, and program
WO2021124869A1 (ja) 診断支援装置、診断支援方法、及び診断支援プログラム
US20220415459A1 (en) Information processing apparatus, information processing method, and information processing program
US20220277448A1 (en) Information processing system, information processing method, and information processing program
Okuyar et al. Ischemia and Hemorrhage detection in CT images with Hyper parameter optimization of classification models and Improved UNet Segmentation Model
WO2020044736A1 (ja) 類似度決定装置、方法およびプログラム
US20230070906A1 (en) Information processing apparatus, method, and program
US20240095916A1 (en) Information processing apparatus, information processing method, and information processing program
US20240095915A1 (en) Information processing apparatus, information processing method, and information processing program
JP2021015525A (ja) 診断支援装置、診断支援方法、及び診断支援プログラム
WO2022054530A1 (ja) 超音波撮影装置、方法およびプログラム
US20230245316A1 (en) Information processing apparatus, information processing method, and information processing program
WO2022230641A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
US20240029251A1 (en) Medical image analysis apparatus, medical image analysis method, and medical image analysis program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20902240

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565436

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20902240

Country of ref document: EP

Kind code of ref document: A1