JP6834184B2 - 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム - Google Patents
情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム Download PDFInfo
- Publication number
- JP6834184B2 JP6834184B2 JP2016119687A JP2016119687A JP6834184B2 JP 6834184 B2 JP6834184 B2 JP 6834184B2 JP 2016119687 A JP2016119687 A JP 2016119687A JP 2016119687 A JP2016119687 A JP 2016119687A JP 6834184 B2 JP6834184 B2 JP 6834184B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- living body
- information
- situation
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 114
- 238000000034 method Methods 0.000 title claims description 33
- 238000012545 processing Methods 0.000 claims description 63
- 238000003384 imaging method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 23
- 210000004204 blood vessel Anatomy 0.000 claims description 22
- 239000008280 blood Substances 0.000 claims description 15
- 210000004369 blood Anatomy 0.000 claims description 15
- 210000000056 organ Anatomy 0.000 claims description 14
- 239000000779 smoke Substances 0.000 claims description 14
- 239000003595 mist Substances 0.000 claims description 12
- 230000017531 blood circulation Effects 0.000 claims description 10
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 8
- 229910052760 oxygen Inorganic materials 0.000 claims description 8
- 239000001301 oxygen Substances 0.000 claims description 8
- 230000003872 anastomosis Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 18
- 238000003672 processing method Methods 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000000126 substance Substances 0.000 description 10
- 230000008033 biological extinction Effects 0.000 description 9
- 230000000740 bleeding effect Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012014 optical coherence tomography Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 238000000862 absorption spectrum Methods 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 102000004506 Blood Proteins Human genes 0.000 description 1
- 108010017384 Blood Proteins Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
- A61B2090/3735—Optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Signal Processing (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
1.実施形態
1.1.医療用観察システムの全体構成について
1.2.医療用観察機器の構成について
1.3.情報処理装置の構成について
1.4.情報処理方法について
1.5.ハードウェア構成について
<医療用観察システムの全体構成について>
まず、図1を参照しながら、本開示の実施形態に係る医療用観察システム1の全体構成について、簡単に説明する。図1は、本実施形態に係る医療用観察システム1の全体構成を模式的に示した説明図である。
続いて、図1〜図2Cを参照しながら、本実施形態に係る医療用観察機器10の詳細な構成について、簡単に説明する。図2A〜図2Cは、本実施形態に係る医療用観察機器が有する撮像ユニットの一例を模式的に示した説明図である。
次に、図3〜図9を参照しながら、本実施形態に係る情報処理装置20について、詳細に説明する。
図3は、本実施形態に係る情報処理装置の構成の一例を模式的に示したブロック図である。図4は、本実施形態に係る情報処理装置が有する画像推奨処理部の構成の一例を模式的に示したブロック図である。図5は、本実施形態に係る情報処理装置が有する状況特定データベースについて説明するための説明図であり、図6は、生体組織中の主な物質の吸収スペクトルの一例を示した説明図である。図7は、本実施形態に係る情報処理装置が有する推奨画像データベースについて説明するための説明図である。図8及び図9は、本実施形態に係る情報処理装置における表示画面の一例を模式的に示した説明図である。
本実施形態に係る情報処理装置20は、先だって言及したように、医療用観察機器10により生成された撮像画像について解析を行い、作業に際してより適切な画像を推奨画像として決定した上で、かかる推奨画像を医療用観察機器10の使用者に推奨する装置である。かかる情報処理装置20は、図3に模式的に示したように、情報取得部201と、画像推奨処理部203と、出力処理部205と、表示制御部207と、記憶部209と、を主に有している。
続いて、図4〜図7を参照しながら、本実施形態に係る情報処理装置20が備える画像推奨処理部203の構成について、詳細に説明する。
本実施形態に係る画像推奨処理部203は、先だって言及したように、情報取得部201が取得した画像データや各種の情報を利用して、生体の内部が観察されている時点での状況に応じた推奨画像を決定するとともに、かかる推奨画像を医療用観察機器10の使用者に対して推奨する画像推奨処理を実施する。かかる画像推奨処理部203は、図4に模式的に示したように、状況特定部211と、推奨部213と、推奨画像生成部215と、を有している。
本実施形態に係る記憶部209等に格納されている状況特定データベースには、図5に模式的に示したように、上記のような各種の情報と状況とが予め関連付けられた状況関連付けデータが格納されている。このような状況関連付けデータのデータ形式については、特に限定されるものではないが、例えば、上記のような各種の情報と状況とがルックアップテーブル等のデータ形式で記録されているものを挙げることができる。取得した上記のような各種の情報を用いて、状況関連付けデータを参照することで、状況特定部211は、取得した各種の情報に対応する状況を特定することが可能となる。
本実施形態に係る記憶部209等に格納されている推奨画像データベースには、図7に模式的に示したように、生体の内部が観察される際の状況と、それぞれの状況の際に提示可能な推奨画像の種別と、が、互いに対応づけられて記録されている。推奨部213は、状況特定部211から出力された状況情報に、ある状況(状況A)が生じている旨が記載されていた場合には、推奨画像データベースにおける状況Aに関する項目を参照して、推奨画像として、例えば近赤外画像を推奨する旨を決定することができる。
次に、図8及び図9を参照しながら、推奨部213によって決定された推奨画像の提示方法について、簡単に説明する。
図8は、医療用観察機器10の表示ユニット109や情報処理装置20の表示装置(図示せず。)など、医療用観察機器10の使用者又は情報処理装置20の操作者が閲覧している表示画面の一例を模式的に示したものである。
以下では、推奨画像の具体例について、いくつか例を挙げながら簡単に説明する。
例えば、医療用観察機器10下での手術時に、出血が発生した場合、医療用観察機器10の使用者は、出血点をいち早く発見して、止血処理を行うことが重要となる。しかしながら、多量の出血がある場合、周辺が血まみれになって出血点を探すことが困難となる場合がある。
例えば、電気メス等のエナジーデバイスを使用すると、体腔内がサージカルスモークやミストでおおわれ、視認性が悪くなる場合がある。
例えば、血管を安全に切除する際には、医師は血管にクリップ等の血流遮断医療器具をかけて血液を完全に遮断してから、所定の術具で血管を切除する。このとき、クリップ等の血流遮断医療器具のかかりが不十分で、血流が完全に遮断されていない場合がある。血流が完全に遮断されていない状況下で血管を切除すると、意図しない出血が発生してしまう。同様に、血管や組織同士をステープラー等の血管吻合医療器具を用いて適切に吻合して、血流が再開されたかを確認する必要がある。
例えば、医療用観察機器10下での手術時に、医療用観察機器10の使用者は、血管の走行や血管の深度に関する情報を知りたい場合が生じうるが、一般的な可視光帯域での撮像画像では、このような情報を十分に得ることができない場合がある。
次に、図10を参照しながら、本実施形態に係る情報処理方法の流れについて、簡単に説明する。図10は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
次に、図11を参照しながら、本開示の実施形態に係る情報処理装置20のハードウェア構成について、詳細に説明する。図11は、本開示の実施形態に係る情報処理装置20のハードウェア構成を説明するためのブロック図である。
(1)
生体の内部を観察する医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも1つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨部を備える、情報処理装置。
(2)
前記複数の生体画像は、可視光帯域での前記生体の撮像画像を少なくとも含み、
前記生体画像が表示される表示画面の表示制御を行う表示制御部を更に備え、
前記表示制御部は、前記可視光帯域での生体の撮像画像を前記表示画面に表示させておき、使用者が前記推奨画像の表示を選択した場合に、前記表示画面の表示内容を前記推奨画像に切り替える、(1)に記載の情報処理装置。
(3)
前記推奨部は、生体の内部が観察される際の状況と、それぞれの前記状況の際に提示可能な前記推奨画像の種別と、が予め互いに関連付けられた推奨画像データベースを参照し、前記状況に応じた推奨画像を決定する、(1)又は(2)に記載の情報処理装置。
(4)
前記複数の生体画像のうち少なくとも一部の画像、又は、前記複数の生体画像の少なくとも何れかを解析することで生成される二次情報を可視化した画像、の少なくとも何れかを用いて前記推奨画像を生成する、推奨画像生成部を更に備える、(1)〜(3)の何れか1つに記載の情報処理装置。
(5)
前記複数の生体画像は、可視光帯域での前記生体の撮像画像と、近赤外帯域での前記生体の撮像画像と、を少なくとも含み、
前記推奨画像生成部は、
前記近赤外帯域での生体の撮像画像のうち近赤外帯域の光を検出した領域の色調を所定の色調へと変更し、かつ、当該近赤外帯域の光を検出しなかった領域の輝度値をゼロへと変更した上で、変更後の前記近赤外帯域での生体の撮像画像を、前記可視光帯域での生体の撮像画像へと重畳させた重畳画像を、前記推奨画像として生成する、(4)に記載の情報処理装置。
(6)
前記複数の生体画像は、可視光帯域での前記生体の撮像画像を少なくとも含み、
前記推奨部は、前記可視光帯域での生体の撮像画像が表示されている表示画面に前記推奨画像に関する情報を表示させて、使用者に前記推奨画像を表示させるか否かを選択させる、(1)〜(5)の何れか1つに記載の情報処理装置。
(7)
前記推奨画像に関する情報は、前記推奨画像の種別を示すテキスト情報、又は、前記推奨画像のサムネイル画像の少なくとも何れかである、(6)に記載の情報処理装置。
(8)
前記推奨部は、可視光帯域での前記生体の撮像画像が表示されている表示画面とは別の表示画面に対し、前記推奨画像を表示させる、(1)〜(7)の何れか1つに記載の情報処理装置。
(9)
前記生体の内部が観察されている際の状況を特定する状況特定部を更に備え、
前記状況特定部は、前記医療用観察機器の設定に関する設定情報、前記医療用観察機器の特性に関する特性情報、前記医療用観察機器及び当該医療用観察機器と連携した周辺機器の稼働状態に関する稼働情報、前記生体画像、又は、前記生体画像に基づき生成される二次情報の少なくとも何れかに基づき、前記生体の内部が観察されている際の状況を特定する、(1)〜(8)の何れか1つに記載の情報処理装置。
(10)
前記状況特定部は、前記医療用観察機器の設定に関する設定情報、前記医療用観察機器の特性に関する特性情報、前記医療用観察機器及び当該医療用観察機器と連携した周辺機器の稼働状態に関する稼働情報、前記生体画像、又は、前記生体画像に基づき生成される二次情報の少なくとも何れかと、前記生体画像が生成される際の状況と、が予め互いに関連付けられた状況特定データベースを参照し、前記生体の内部が観察されている際の状況を特定する、(9)に記載の情報処理装置。
(11)
前記状況特定データベースには、更に、前記生体の内部に存在する器官及び生体物質の分光反射率又は吸光係数に関する情報が記録されており、
前記状況特定部は、前記生体画像に基づき生成される二次情報として分光反射率に関する情報を生成するか、又は、前記生体画像を参照して特定の波長帯域での吸光係数を特定し、前記生体の内部に存在する器官及び生体物質の分光反射率又は吸光係数に関する情報と比較することで、前記生体の内部が観察されている際の状況を特定する、(10)に記載の情報処理装置。
(12)
前記状況特定データベースには、更に、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報が記録されており、
前記状況特定部は、前記生体画像に基づき生成される二次情報として、前記画像情報を利用して前記生体画像に対して画像認識処理を実施した認識結果に関する情報を生成し、
当該認識結果に関する情報を利用して前記生体の内部が観察されている際の状況を特定する、(10)又は(11)に記載の情報処理装置。
(13)
前記生体画像として、可視光帯域での前記生体の撮像画像と、近赤外帯域での前記生体の撮像画像と、が少なくとも含まれており、
前記推奨部は、前記状況情報として血液が検出された旨の情報を取得した場合に、前記近赤外帯域での生体の撮像画像を前記推奨画像として決定する、(1)〜(12)の何れか1つに記載の情報処理装置。
(14)
前記生体画像として、可視光帯域での前記生体の撮像画像と、近赤外帯域での前記生体の撮像画像と、が少なくとも含まれており、
前記推奨部は、前記状況情報として、スモークもしくはミストが検出された旨の情報、又は、医療用エナジーデバイスの使用に関する情報の少なくとも何れかを取得した場合に、前記近赤外帯域での生体の撮像画像を前記推奨画像として決定する、(1)〜(13)の何れか1つに記載の情報処理装置。
(15)
前記推奨部は、前記状況情報として、スモークもしくはミストが検出されなくなった旨の情報、又は、医療用エナジーデバイスの使用が終了した旨の情報の少なくとも何れかを取得した場合に、表示画面に表示される画像を、前記推奨画像から、前記可視光帯域での生体の撮像画像へと切り替えさせる、(14)に記載の情報処理装置。
(16)
前記推奨部は、前記状況情報として、血流遮断医療器具又は血管吻合医療器具が検出された旨の情報を取得した場合に、前記生体画像に基づく二次情報として生成された酸素飽和度の分布を可視化した画像、又は、血液の分布に対応する近赤外帯域での前記生体の撮像画像を、前記推奨画像として決定する、(1)〜(15)の何れか1つに記載の情報処理装置。
(17)
前記推奨部は、前記状況情報として、血管の存在が検出された旨の情報を取得した場合に、血管の視認に適した波長帯域での前記生体の撮像画像を前記推奨画像として決定する、(1)〜(16)の何れか1つに記載の情報処理装置。
(18)
前記医療用観察機器は、複数の波長帯域での光の強度を波長帯域ごとに区別して一度に検出する画素を少なくとも含むマルチスペクトルセンサを有しており、当該マルチスペクトルセンサの出力結果から、複数の波長帯域での前記生体画像が生成される、(1)〜(17)の何れか1つに記載の情報処理装置。
(19)
前記医療用観察機器は、特定の波長帯域に対応した撮像素子を複数有しており、それぞれの前記撮像素子の出力結果から、複数の波長帯域での前記生体画像が生成される、(1)〜(17)の何れか1つに記載の情報処理装置。
(20)
前記医療用観察機器は、当該医療用観察機器が有する撮像素子に結像する光の波長帯域を切り替えながら撮像を行うことで、複数の波長帯域での前記生体画像を生成する、(1)〜(17)の何れか1つに記載の情報処理装置。
(21)
前記医療用観察機器は、医療用内視鏡又は医療用顕微鏡である、(1)〜(20)の何れか1つに記載の情報処理装置。
(22)
生体の内部を観察する医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも1つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定することを含む、情報処理方法。
(23)
生体の内部を観察し、複数の波長帯域で前記生体を撮像することで生成される複数の生体画像を生成する医療用観察機器と相互に通信可能なコンピュータに、
前記複数の生体画像と、前記生体の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも1つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨機能
を実現させるためのプログラム。
(24)
生体の内部を観察し、複数の波長帯域で前記生体を撮像することで複数の生体画像を生成する医療用観察機器と、
前記医療用観察機器により生成された前記複数の生体画像と、前記生体画像の内部を観察する際の状況に関する状況情報と、に基づいて、前記複数の生体画像の少なくとも1つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定する推奨部を有する情報処理装置と、
を備える、医療用観察システム。
10 医療用観察機器
20 情報処理装置
101 制御ユニット
103 観察ユニット
105 光源ユニット
107 撮像ユニット
109 表示ユニット
201 情報取得部
203 画像推奨処理部
205 出力処理部
207 表示制御部
209 記憶部
211 状況特定部
213 推奨部
215 推奨画像生成部
Claims (8)
- 生体を撮像することで前記生体を観察する医療用観察機器を用いて前記生体が観察されている際の状況である観察状況を特定する状況特定部と、
前記観察状況に基づいて、前記医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像の少なくとも1つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記観察状況に応じた推奨画像として決定する推奨部と、
を備え、
前記状況特定部は、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報を利用して前記生体画像に対して画像認識処理を実施し、前記画像認識処理の認識結果に関する情報を利用して前記観察状況を特定する、
情報処理装置。 - 前記生体画像として、可視光帯域での前記生体の撮像画像と、近赤外帯域での前記生体の撮像画像とが含まれており、
前記推奨部は、前記観察状況に関する状況情報として、スモークもしくはミストが検出された旨の情報、又は、医療用エナジーデバイスの使用に関する情報の少なくとも何れかを取得した場合に、前記近赤外帯域での生体の撮像画像を前記推奨画像として決定する、
請求項1に記載の情報処理装置。 - 前記推奨部は、前記状況情報として、スモークもしくはミストが検出されなくなった旨の情報、又は、医療用エナジーデバイスの使用が終了した旨の情報の少なくとも何れかを取得した場合に、表示画面に表示される画像を、前記推奨画像から、前記可視光帯域での生体の撮像画像へと切り替えさせる、
請求項2に記載の情報処理装置。 - 前記推奨部は、前記観察状況に関する状況情報として、血流遮断医療器具又は血管吻合医療器具が検出された旨の情報を取得した場合に、前記生体画像に基づく二次情報として生成された酸素飽和度の分布を可視化した画像、又は、血液の分布に対応する近赤外帯域での前記生体の撮像画像を、前記推奨画像として決定する、
請求項1に記載の情報処理装置。 - 前記推奨部は、前記観察状況に関する状況情報として、血管の存在が検出された旨の情報を取得した場合に、血管の視認に適した波長帯域での前記生体の撮像画像を前記推奨画像として決定する、
請求項1に記載の情報処理装置。 - プロセッサが、
生体を撮像することで前記生体を観察する医療用観察機器を用いて前記生体が観察されている際の状況である観察状況を特定することと、
前記観察状況に基づいて、前記医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像の少なくとも1つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記状況に応じた推奨画像として決定することと、
を含み、
前記観察状況の特定において、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報を利用して前記生体画像に対して画像認識処理を実施し、前記画像認識処理の認識結果に関する情報を利用して前記観察状況を特定する、
情報処理装置の作動方法。 - コンピュータに、
生体を撮像することで前記生体を観察する医療用観察機器を用いて前記生体が観察されている際の状況である観察状況を特定させ、
前記観察状況に基づいて、前記医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像の少なくとも1つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記観察状況に応じた推奨画像として決定させ、
前記観察状況の特定において、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報を利用して前記生体画像に対して画像認識処理を実施させ、前記画像認識処理の認識結果に関する情報を利用して前記観察状況を特定させるためのプログラム。 - 生体を撮像することで前記生体を観察する医療用観察機器と、
前記医療用観察機器を用いて前記生体が観察されている際の状況である観察状況を特定し、前記観察状況に基づいて、前記医療用観察機器が複数の波長帯域で前記生体を撮像することで生成された複数の生体画像の少なくとも1つ、又は、当該複数の生体画像から生成される画像の少なくとも何れかを、前記観察状況に応じた推奨画像をとして決定する情報処理装置と、
を備え、
前記情報処理装置は、前記生体の内部に存在する器官、及び、医療行為に用いられる医療器具に関する画像情報を利用して前記生体画像に対して画像認識処理を実施し、前記画像認識処理の認識結果に関する情報を利用して前記観察状況を特定する、
医療用観察システム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016119687A JP6834184B2 (ja) | 2016-06-16 | 2016-06-16 | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム |
PCT/JP2017/015613 WO2017217107A1 (en) | 2016-06-16 | 2017-04-18 | Information processing apparatus, information processing method, program, and medical observation system |
CN201780035765.0A CN109310279B (zh) | 2016-06-16 | 2017-04-18 | 信息处理设备、信息处理方法、程序和医疗观察系统 |
US16/308,040 US10650924B2 (en) | 2016-06-16 | 2017-04-18 | Information processing apparatus, information processing method, program, and medical observation system |
EP17723532.2A EP3471591B1 (en) | 2016-06-16 | 2017-04-18 | Information processing apparatus, information processing method, program, and medical observation system |
US16/849,998 US11107571B2 (en) | 2016-06-16 | 2020-04-16 | Information processing apparatus, information processing method, program, and medical observation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016119687A JP6834184B2 (ja) | 2016-06-16 | 2016-06-16 | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021016824A Division JP7147890B2 (ja) | 2021-02-04 | 2021-02-04 | 情報処理システム、情報処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017221486A JP2017221486A (ja) | 2017-12-21 |
JP2017221486A5 JP2017221486A5 (ja) | 2019-07-18 |
JP6834184B2 true JP6834184B2 (ja) | 2021-02-24 |
Family
ID=58707981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016119687A Active JP6834184B2 (ja) | 2016-06-16 | 2016-06-16 | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10650924B2 (ja) |
EP (1) | EP3471591B1 (ja) |
JP (1) | JP6834184B2 (ja) |
CN (1) | CN109310279B (ja) |
WO (1) | WO2017217107A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6834184B2 (ja) * | 2016-06-16 | 2021-02-24 | ソニー株式会社 | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム |
DE102017209860B4 (de) * | 2017-06-12 | 2019-07-11 | Henkel Ag & Co. Kgaa | Verfahren und Vorrichtung zum Ermitteln eines Körperbereichzustands |
WO2019181432A1 (ja) * | 2018-03-20 | 2019-09-26 | ソニー株式会社 | 手術支援システム、情報処理装置、及びプログラム |
US11529039B2 (en) | 2018-05-08 | 2022-12-20 | Xenocor, Inc. | Non-conductive borescopes and related imaging techniques |
JP7382930B2 (ja) * | 2018-06-28 | 2023-11-17 | 富士フイルム株式会社 | 医療画像処理装置 |
WO2020003991A1 (ja) * | 2018-06-28 | 2020-01-02 | 富士フイルム株式会社 | 医療画像学習装置、方法及びプログラム |
US10925598B2 (en) | 2018-07-16 | 2021-02-23 | Ethicon Llc | Robotically-assisted surgical suturing systems |
JP2020167512A (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法 |
JP7352411B2 (ja) | 2019-08-22 | 2023-09-28 | キヤノン株式会社 | 撮像装置 |
US11759283B2 (en) | 2019-12-30 | 2023-09-19 | Cilag Gmbh International | Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto |
US11832996B2 (en) | 2019-12-30 | 2023-12-05 | Cilag Gmbh International | Analyzing surgical trends by a surgical system |
US11648060B2 (en) | 2019-12-30 | 2023-05-16 | Cilag Gmbh International | Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ |
US12002571B2 (en) | 2019-12-30 | 2024-06-04 | Cilag Gmbh International | Dynamic surgical visualization systems |
US11744667B2 (en) | 2019-12-30 | 2023-09-05 | Cilag Gmbh International | Adaptive visualization by a surgical system |
US11284963B2 (en) | 2019-12-30 | 2022-03-29 | Cilag Gmbh International | Method of using imaging devices in surgery |
US11776144B2 (en) | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
US11219501B2 (en) | 2019-12-30 | 2022-01-11 | Cilag Gmbh International | Visualization systems using structured light |
US12053223B2 (en) | 2019-12-30 | 2024-08-06 | Cilag Gmbh International | Adaptive surgical system control according to surgical smoke particulate characteristics |
US11896442B2 (en) | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
JP7543012B2 (ja) * | 2020-07-13 | 2024-09-02 | キヤノン株式会社 | 装置、及びシステム |
JP6877705B1 (ja) | 2020-10-05 | 2021-05-26 | ニレック株式会社 | 内視鏡及び当該内視鏡に設けられた撮像部 |
WO2023038004A1 (ja) * | 2021-09-08 | 2023-03-16 | 富士フイルム株式会社 | 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体 |
WO2023038005A1 (ja) * | 2021-09-08 | 2023-03-16 | 富士フイルム株式会社 | 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体 |
WO2023166742A1 (ja) * | 2022-03-04 | 2023-09-07 | オリンパス株式会社 | 画像処理装置、処置システムおよび画像処理方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8301229B2 (en) * | 2005-05-12 | 2012-10-30 | Olympus Medical Systems Corp. | Biological observation display apparatus for presenting color or spectral images |
JP2006314557A (ja) * | 2005-05-12 | 2006-11-24 | Olympus Medical Systems Corp | 生体観測装置 |
JP5250342B2 (ja) * | 2008-08-26 | 2013-07-31 | 富士フイルム株式会社 | 画像処理装置およびプログラム |
JP2010279526A (ja) * | 2009-06-04 | 2010-12-16 | Fujifilm Corp | 内視鏡画像処理装置および方法ならびにプログラム |
EP2394565B1 (en) * | 2009-08-07 | 2013-05-01 | Olympus Medical Systems Corp. | Medical system |
JP5562683B2 (ja) * | 2010-03-03 | 2014-07-30 | オリンパス株式会社 | 蛍光観察装置 |
CN102834043B (zh) * | 2010-09-14 | 2015-07-01 | 奥林巴斯医疗株式会社 | 内窥镜系统和视野不良判定方法 |
JP5247785B2 (ja) | 2010-10-12 | 2013-07-24 | 富士フイルム株式会社 | 内視鏡装置 |
CN103458759B (zh) * | 2011-03-31 | 2015-10-14 | 奥林巴斯株式会社 | 荧光观察装置 |
US10052157B2 (en) * | 2011-08-21 | 2018-08-21 | M.S.T. Medical Surgery Technologies Ltd | Device and method for assisting laparoscopic surgery—rule based approach |
JP6042817B2 (ja) * | 2011-10-06 | 2016-12-14 | オリンパス株式会社 | 蛍光観察装置 |
JP5916341B2 (ja) * | 2011-10-21 | 2016-05-11 | 国立大学法人広島大学 | 気管挿管装置 |
EP2790564A4 (en) * | 2011-12-15 | 2016-06-08 | Given Imaging Ltd | DEVICE, SYSTEM AND METHOD FOR IN VIVO DETECTION OF BLEEDINGS IN THE STOMACH DARM TRACT |
TWI496615B (zh) | 2013-07-03 | 2015-08-21 | Univ Nat Taiwan Science Tech | 一種製備銀顆粒的方法及核殼結構銀顆粒 |
US20150105769A1 (en) * | 2013-10-15 | 2015-04-16 | Olympus Medical Systems Corp. | Method for endoscopic treatment |
WO2015103614A2 (en) * | 2014-01-06 | 2015-07-09 | The Florida International University Board Of Trustees | Near infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features |
JP6192602B2 (ja) * | 2014-06-25 | 2017-09-06 | オリンパス株式会社 | 画像記録装置 |
WO2016072237A1 (ja) * | 2014-11-06 | 2016-05-12 | オリンパス株式会社 | 内視鏡システム |
EP3344974A4 (en) * | 2015-09-05 | 2019-04-17 | Nova Southeastern University | EARLY IDENTIFICATION OF TISSUE DAMAGE ARISING FROM MECHANICAL FORMING, SHARING, FRICTION AND / OR CONTINUING PRINTING EFFECT |
JP6834184B2 (ja) * | 2016-06-16 | 2021-02-24 | ソニー株式会社 | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム |
-
2016
- 2016-06-16 JP JP2016119687A patent/JP6834184B2/ja active Active
-
2017
- 2017-04-18 EP EP17723532.2A patent/EP3471591B1/en active Active
- 2017-04-18 CN CN201780035765.0A patent/CN109310279B/zh active Active
- 2017-04-18 WO PCT/JP2017/015613 patent/WO2017217107A1/en unknown
- 2017-04-18 US US16/308,040 patent/US10650924B2/en active Active
-
2020
- 2020-04-16 US US16/849,998 patent/US11107571B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2017217107A1 (en) | 2017-12-21 |
EP3471591A1 (en) | 2019-04-24 |
US20200243185A1 (en) | 2020-07-30 |
US11107571B2 (en) | 2021-08-31 |
EP3471591B1 (en) | 2024-05-29 |
JP2017221486A (ja) | 2017-12-21 |
US20190180865A1 (en) | 2019-06-13 |
US10650924B2 (en) | 2020-05-12 |
CN109310279A (zh) | 2019-02-05 |
CN109310279B (zh) | 2022-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6834184B2 (ja) | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム | |
JP7346285B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム | |
WO2018034075A1 (ja) | 撮像システム | |
JP6140056B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 | |
JP5562683B2 (ja) | 蛍光観察装置 | |
JPWO2018159363A1 (ja) | 内視鏡システム及びその作動方法 | |
JP5486432B2 (ja) | 画像処理装置、その作動方法およびプログラム | |
JP7383105B2 (ja) | 医療画像処理装置及び内視鏡システム | |
JP2012511361A (ja) | 解剖学的構造の赤外線ビジョンのための装置およびそのシグナル処理方法 | |
JP2010172673A (ja) | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 | |
JP7059297B2 (ja) | 医療画像処理装置 | |
JP2024023832A (ja) | 画像処理装置及び内視鏡システム並びに画像処理プログラム | |
JPWO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
JP2022180177A (ja) | 内視鏡システム、医療画像処理装置及びその作動方法 | |
JP7457019B2 (ja) | 医療撮像システム及び方法 | |
JP7146318B1 (ja) | コンピュータプログラム、学習モデルの生成方法、及び手術支援装置 | |
JP7147890B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP6389299B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 | |
CN115381379A (zh) | 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法 | |
JP7256275B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム | |
WO2021205624A1 (ja) | 画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システム | |
WO2020009127A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
JP5932188B1 (ja) | 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム | |
WO2022113811A1 (ja) | 手術システム、手術用制御装置、制御方法、及び、プログラム | |
CN116194027A (zh) | 内窥镜系统及其工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6834184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |