JP6753081B2 - 内視鏡手術システム、画像処理方法及び医療用観察システム - Google Patents
内視鏡手術システム、画像処理方法及び医療用観察システム Download PDFInfo
- Publication number
- JP6753081B2 JP6753081B2 JP2016045440A JP2016045440A JP6753081B2 JP 6753081 B2 JP6753081 B2 JP 6753081B2 JP 2016045440 A JP2016045440 A JP 2016045440A JP 2016045440 A JP2016045440 A JP 2016045440A JP 6753081 B2 JP6753081 B2 JP 6753081B2
- Authority
- JP
- Japan
- Prior art keywords
- lens barrel
- image
- mist
- endoscope
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/32—Surgical cutting instruments
- A61B17/320068—Surgical cutting instruments using mechanical vibrations, e.g. ultrasonic
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
- A61B18/1442—Probes having pivoting end effectors, e.g. forceps
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
- A61B1/127—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements with means for preventing fogging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
- A61B2018/00345—Vascular system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Plasma & Fusion (AREA)
- Otolaryngology (AREA)
- Astronomy & Astrophysics (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Dentistry (AREA)
- Mechanical Engineering (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
1.第1の実施形態
1−1.内視鏡手術システムの構成
1−2.画像処理システムの構成
1−3.画像処理方法
2.第2の実施形態
3.第3の実施形態
4.変形例
4−1.撮像画像に基づくミスト検出の他の方法
4−2.退避条件及び復帰条件の他の例
4−2−1.処置具と処置部との距離
4−2−2.エナジーデバイスの状態
4−2−3.エナジーデバイスの先端の動きの検出
4−2−4.ユーザによる指示
4−2−5.内視鏡の鏡筒の先端と処置具との距離
4−3.支持アーム装置の他の構成例
4−4.退避動作及び復帰動作の半自動化
5.補足
(1−1.内視鏡手術システムの構成)
図1を参照して、本開示の第1の実施形態に係る画像処理システムが適用され得る内視鏡手術システムの構成について説明する。図1は、第1の実施形態に係る内視鏡手術システム3000の一構成例を示す図である。図1では、術者(医師)3501が、内視鏡手術システム3000を用いて、患者ベッド3503上の患者3505に手術を行っている様子が図示されている。図示するように、内視鏡手術システム3000は、内視鏡3100と、その他の術具3200と、内視鏡3100を支持する支持アーム装置3300と、内視鏡下手術のための各種の装置が搭載されたカート3400と、から構成される。
支持アーム装置3300は、ベース部3301から延伸するアーム部3303を備える。図示する例では、アーム部3303は、関節部3305a、3305b、3305c、及びリンク3307a、3307bから構成されており、アーム制御装置3407からの制御により駆動される。アーム部3303によって内視鏡3100が支持され、その位置及び姿勢が制御される。これにより、内視鏡3100の安定的な位置の固定が実現され得る。
内視鏡3100は、先端から所定の長さの領域が患者3505の体腔内に挿入される鏡筒3101と、鏡筒3101の基端に接続されるカメラヘッド3103と、から構成される。第1の実施形態では、内視鏡3100は、硬性の鏡筒3101を有するいわゆる硬性鏡として構成される。
CCU3401は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡3100、表示装置3403及びアーム制御装置3407の動作を統括的に制御する。CCU3401は、本開示における画像処理装置に対応するものである。具体的には、CCU3401は、カメラヘッド3103から受け取った画像信号に対して、例えば現像処理(デモザイク処理)や拡大処理(電子ズーム処理)等の、当該画像信号に基づく画像を表示装置3403に表示させるための各種の画像処理を施す。つまり、CCU3401は、内視鏡3100によって撮影された撮像画像を表示装置3403に表示させるための画像データを生成する。CCU3401は、各種の画像処理が施された画像信号(すなわち、生成した画像データ)を表示装置3403に送信する。
図2を参照して、以上説明した内視鏡手術システム3000に適用される、第1の実施形態に係る画像処理システム1の構成について説明する。図2は、第1の実施形態に係る画像処理システム1の構成の一例を示すブロック図である。画像処理システム1は、手術中に内視鏡3100が移動した場合における、表示装置3403に表示される表示画像を制御するものである。なお、図2では、上述した内視鏡手術システム3000のうち、画像処理システム1に関連する構成のみを抜き出して図示している。以下の画像処理システム1についての説明では、図1に示す内視鏡手術システム3000の構成も参照しながら、その構成について説明を行う。
図5を参照して、第1の実施形態に係る画像処理システム1において実行される画像処理方法の処理手順について説明する。図5は、第1の実施形態に係る画像処理方法の処理手順の一例を示すフロー図である。
図6を参照して、本開示の第2の実施形態について説明する。図6は、第2の実施形態に係る画像処理システムの構成の一例を示すブロック図である。なお、第2の実施形態に係る画像処理システムが適用され得る内視鏡手術システムは、図1に示す内視鏡手術システム3000と同様であるため、ここではその説明を省略する。
図7を参照して、本開示の第3の実施形態に係る画像処理方法の処理手順について説明する。図7は、第3の実施形態に係る画像処理システムにおいて実行される画像処理方法の処理手順の一例を示すフロー図である。なお、第3の実施形態に係る画像処理システムが適用され得る内視鏡手術システムは、図1に示す内視鏡手術システム3000と同様であるため、ここではその説明を省略する。また、第3の実施形態に係る画像処理システムは、図2に示す第1の実施形態に係る画像処理システム1において、CCU3401の移動制御部121の機能が変更されたものに対応するため、ここではその説明を省略する。以下では、図7を参照して画像処理方法の処理手順について説明しつつ、この第3の実施形態に係る移動制御部の機能についても併せて説明する。
以上説明した第1〜第3の実施形態のいくつかの変形例について説明する。
以上説明した構成例では、CCU3401、3401aの移動制御部121、121aが、撮像画像に係る画像データからミストの発生を検出する際に、撮像画像の全体を対象として、ミストの発生を検出していた。しかし、第1及び第2の実施形態はかかる例に限定されない。移動制御部121、121aは、撮像画像内の一部にミスト検出対象領域を設定し、当該ミスト検出対象領域についてのみ、ミストの発生の検出処理を行ってもよい。
以上の説明では、第1及び第2の実施形態において、鏡筒3101の退避条件及び復帰条件を、それぞれ、ミストの発生の検出及びミストの消失の検出としていた。しかし、第1及び第2の実施形態はかかる例に限定されない。第1及び第2の実施形態では、CCU3401、3401aの移動制御部121、121aは、他の退避条件及び復帰条件にそれぞれ従って、退避動作及び復帰動作を行う旨の指示を発行してもよい。
第1及び第2の実施形態では、処置具と処置部との距離を退避条件及び復帰条件としてもよい。図9は、処置具と処置部との距離を退避条件及び復帰条件とする変形例について説明するための図である。図9では、内視鏡下手術中における患者の体腔内の様子を概略的に示している。
第1及び第2の実施形態では、エナジーデバイス3203の状態を退避条件及び復帰条件としてもよい。図11は、エナジーデバイス3203の状態を退避条件及び復帰条件とする変形例に係る画像処理システムの構成を示すブロック図である。なお、本変形例に係る画像処理システム1aは、図2に示す第1の実施形態に係る画像処理システム1に対して、図1に示す処置具制御装置3411がその構成として追加されるとともに、退避条件及び復帰条件が異なることにより移動制御部121の機能が一部変更されたものに対応する。画像処理システム1aのそれ以外の構成は、画像処理システム1と同様であるため、ここでは、画像処理システム1と重複する事項についてはその説明を省略する。
第1及び第2の実施形態では、エナジーデバイス3203の先端の動きを退避条件及び復帰条件としてもよい。本変形例では、移動制御部は、撮像画像からエナジーデバイスの先端を検出するとともに、その動き、すなわち把持機構(図12に示す先端221に設けられる把持機構)の開閉動作を検出する。なお、このエナジーデバイスの先端の検出、及び当該動きの検出には、各種の公知の画像認識技術が用いられてよい。
第1及び第2の実施形態では、ユーザ(例えば、術者3501又はスコピスト)の指示を退避条件及び復帰条件としてもよい。図13は、ユーザの指示を退避条件及び復帰条件とする変形例に係る画像処理システムの構成を示すブロック図である。なお、本変形例に係る画像処理システム1bは、図2に示す第1の実施形態に係る画像処理システム1に対して、図1に示す入力装置3409がその構成として追加されるとともに、退避条件及び復帰条件が異なることにより移動制御部121の機能が一部変更されたものに対応する。画像処理システム1bのそれ以外の構成は、画像処理システム1と同様であるため、ここでは、画像処理システム1と重複する事項についてはその説明を省略する。
第1及び第2の実施形態では、内視鏡3100、3100aの鏡筒3101の先端と処置具との距離を退避条件及び復帰条件としてもよい。なお、本変形例は、以上説明した実施形態及び変形例とは異なり、ミスト及び/又は体液等によって鏡筒が汚れることを防止することを目的としたものではない。本変形例では、内視鏡3100、3100aの鏡筒3101の先端と処置具との距離を退避条件及び復帰条件とすることにより、当該鏡筒3101が意図せず処置具と接触してしまうことを防止することが可能になる。
以上の構成例では、図1を参照して説明したように、例えば6自由度を有する支持アーム装置3300のアーム部3303によって内視鏡3100を支持し、当該アーム部3303の姿勢を制御することにより、内視鏡3100の鏡筒3101の退避動作及び復帰動作を行っていた。しかし、第1〜第3の実施形態はかかる例に限定されない。他の構成を有する支持アーム装置によって退避動作及び復帰動作における鏡筒3101の移動が行われてもよい。なお、本変形例では、支持アーム装置の構成が異なり、そのために退避動作時及び復帰動作時における当該支持アーム装置の駆動制御方法が異なること以外は、上述した第1〜第3の実施形態と同様である。従って、以下の本変形例についての説明では、第1〜第3の実施形態との相違点についてのみ主に説明する。
以上の構成例では、退避動作及び復帰動作は、退避条件及び復帰条件をそれぞれ満たした場合に、アーム制御装置3407によっていわば自動的に行われていた。しかし、第1〜第3の実施形態はかかる例に限定されず、図1に示すように内視鏡3100を支持アーム装置3300によって保持した状態で、スコピストが当該内視鏡3100を操作している場合に、スコピストに退避動作及び復帰動作を促すように、アーム制御装置3407が支持アーム装置3300を駆動させてもよい。なお、本明細書では、このような、退避動作時及び復帰動作時に、スコピストに退避動作及び復帰動作を促すように支持アーム装置3300の駆動が制御される様態のことを、これまで説明したいわば自動的な退避動作及び復帰動作と区別するために、半自動の退避動作及び復帰動作と呼称する。本変形例では、半自動の退避動作及び復帰動作が行われること以外は、上述した第1〜第3の実施形態と同様である。従って、以下の本変形例についての説明では、第1〜第3の実施形態との相違点についてのみ主に説明する。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
内視鏡によって撮影された患者の体腔内の撮像画像から出力用の画像データを生成する画像処理部、を備え、
前記画像処理部は、撮影中に前記内視鏡の鏡筒が対物レンズの光軸方向に移動した際に、前記撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記画像データを生成する、
画像処理装置。
(2)
前記画像処理部は、移動中及び移動後に得られる撮像画像の中心から所定の距離の範囲を切り出し、拡大することにより、移動中及び移動後における前記画像データを生成する、
前記(1)に記載の画像処理装置。
(3)
前記(1)に記載の画像処理装置と、
アーム部によって前記内視鏡を支持する支持アーム装置の駆動を制御し、前記内視鏡の鏡筒を移動させるアーム制御装置と、
を備え、
前記画像処理装置は、所定の退避条件を満たした場合に、前記鏡筒が対物レンズの光軸方向であって観察対象部位から遠ざかる方向である退避方向に移動する退避動作を実行させる旨の指示を前記アーム制御装置に対して発行し、所定の復帰条件を満たした場合に、前記鏡筒が対物レンズの光軸方向であって観察対象部位に近付く方向である復帰方向に移動する復帰動作を実行させる旨の指示を前記アーム制御装置に対して発行する移動制御部、を更に有する、
内視鏡手術システム。
(4)
前記退避条件は、前記撮像画像に基づいてミストの発生が検出されたことであり、前記復帰条件は、前記撮像画像に基づいてミストの消失が検出されたことである、
前記(3)に記載の内視鏡手術システム。
(5)
前記ミストの発生が検出される際に、前記撮像画像の中からエナジーデバイスの先端が
検出され、検出された前記エナジーデバイスの先端を含む所定の領域内において、前記ミストの発生が検出される、
前記(4)に記載の内視鏡手術システム。
(6)
前記退避条件は、前記撮像画像に占めるミストの存在領域が所定の第1の割合以上であることであり、前記復帰条件は、前記撮像画像に占めるミストの存在領域が所定の第2の割合以下であることである、
前記(3)に記載の内視鏡手術システム。
(7)
前記退避条件は、処置具と処置部との距離が所定の第1のしきい値以下であることであり、前記復帰条件は、処置具と処置部との距離が所定の第2のしきい値以上であることである、
前記(3)に記載の内視鏡手術システム。
(8)
前記退避条件は、エナジーデバイスに通電がされたことであり、前記復帰条件は、エナジーデバイスの出力が停止され、かつ前記撮像画像に基づいてミストの消失が検出されたことである、
前記(3)に記載の内視鏡手術システム。
(9)
前記退避条件は、術者によるエナジーデバイスで処置を行う旨の操作が行われたことであり、前記復帰条件は、術者によるエナジーデバイスでの処置が終了した旨の操作が行われたことである、
前記(3)に記載の内視鏡手術システム。
(10)
前記退避条件は、前記撮像画像に基づいて処置具の先端の把持機構が生体組織の一部を把持したことが検出されたことであり、前記復帰条件は、前記撮像画像に基づいて処置具の先端の把持機構が生体組織の一部を解放したことが検出され、かつ前記撮像画像に基づいてミストの消失が検出されたことである、
前記(3)に記載の内視鏡手術システム。
(11)
前記退避条件及び復帰条件は、ユーザによる指示入力があったことである、
前記(3)に記載の内視鏡手術システム。
(12)
前記退避条件は、内視鏡の先端と処置具との距離が所定の第1のしきい値以下であることであり、前記復帰条件は、内視鏡の先端と処置具との距離が所定の第2のしきい値以上であることである、
前記(3)に記載の内視鏡手術システム。
(13)
前記復帰動作時における前記鏡筒の移動量は、前記退避動作時における前記鏡筒の移動量と同じ値である、
前記(3)〜(5)及び(7)〜(11)のいずれか1項に記載の内視鏡手術システム。
(14)
前記退避動作時における前記鏡筒の移動量は、ミストが前記撮像画像に影響を及ぼさない前記鏡筒の先端と観察対象部位との距離から、ミストの発生を検出する直前における前記鏡筒の先端と前記観察対象部位との距離を差し引いた値である、
前記(3)〜(5)及び(7)〜(11)のいずれか1項に記載の内視鏡手術システム。
(15)
前記アーム制御装置によって前記アーム部を構成する複数の関節部における回転が互いに協調して制御されることにより、前記退避動作及び前記復帰動作が実行される、
前記(3)〜(14)のいずれか1項に記載の内視鏡手術システム。
(16)
前記内視鏡は、前記アーム部の先端に設けられる円筒形状のホールド部に前記鏡筒が挿通されることによって支持され、
前記ホールド部は、前記鏡筒を延伸方向に移動可能に支持するスライダー機構と、前記スライダー機構を動作させ前記鏡筒を延伸方向に移動させるアクチュエータと、を有し、
前記アーム制御装置からの制御により前記アクチュエータが前記スライダー機構を動作させることにより、前記退避動作及び前記復帰動作が実行される、
前記(3)〜(14)のいずれか1項に記載の内視鏡手術システム。
(17)
前記アーム制御装置は、操作者による外力をアシストするように前記アーム部を駆動させるパワーアシスト制御を行う、
前記(3)〜(16)のいずれか1項に記載の内視鏡手術システム。
(18)
前記アーム制御装置は、前記退避動作時には、前記アーム部又は前記内視鏡に直接触れて操作を行っているスコピストに対して、前記退避方向への前記鏡筒の移動操作を促すようなアシスト力を発生させるように前記支持アーム装置を駆動させ、前記復帰動作時には、前記スコピストに対して、前記復帰方向への前記鏡筒の移動操作を促すようなアシスト力を発生させるように前記支持アーム装置を駆動させる、
前記(3)〜(17)のいずれか1項に記載の内視鏡手術システム。
(19)
前記画像処理部は、前記退避動作時及び前記復帰動作時に、前記表示画像に、前記鏡筒の先端と観察対象部位との距離を重畳表示させる、
前記(3)〜(18)のいずれか1項に記載の内視鏡手術システム。
(20)
内視鏡によって患者の体腔内を撮影中に前記内視鏡の鏡筒が対物レンズの光軸方向に移動した際に、プロセッサが、前記内視鏡による撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記撮像画像から出力用の画像データを生成する、
画像処理方法。
111 撮像素子
112 フォーカス調整機構
113 距離検出部
121、121a、121b、121c 移動制御部
122 画像処理部
123 フォーカス制御部
131 アクチュエータ駆動制御部
141 アクチュエータ
3000 内視鏡手術システム
3100 内視鏡
3101 鏡筒
3200 術具
3203 エナジーデバイス
3300 支持アーム装置3300
3401 CCU
3403 表示装置
3407 アーム制御装置
3408 安全制御装置
3409 入力装置
Claims (21)
- 内視鏡と、
前記内視鏡によって撮影された患者の体腔内の撮像画像から出力用の画像データを生成する画像処理部と、
アーム部によって前記内視鏡を支持する支持アーム装置と、
前記支持アーム装置の駆動を制御し、前記内視鏡を光軸方向に移動させるアーム制御装置と、を備え、
前記画像処理部は、撮影中に前記内視鏡の光軸方向の移動により、前記内視鏡の撮像範囲が移動した際に、前記撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記画像データを生成する、
内視鏡手術システム。 - 前記画像処理部は、移動中及び移動後に得られる撮像画像の中心から所定の距離の範囲を切り出し、拡大することにより、移動中及び移動後における前記画像データを生成する、
請求項1に記載の内視鏡手術システム。 - 所定の退避条件を満たした場合に、前記内視鏡の鏡筒が対物レンズの光軸方向であって観察対象部位から遠ざかる方向である退避方向に移動する退避動作を実行させる旨の指示を前記アーム制御装置に対して発行し、所定の復帰条件を満たした場合に、前記鏡筒が対物レンズの光軸方向であって観察対象部位に近付く方向である復帰方向に移動する復帰動作を実行させる旨の指示を前記アーム制御装置に対して発行する移動制御部、を更に有する、
請求項1に記載の内視鏡手術システム。 - 前記退避条件は、前記撮像画像に基づいてミストの発生が検出されたことであり、前記復帰条件は、前記撮像画像に基づいてミストの消失が検出されたことである、
請求項3に記載の内視鏡手術システム。 - 前記ミストの発生が検出される際に、前記撮像画像の中からエナジーデバイスの先端が検出され、検出された前記エナジーデバイスの先端を含む所定の領域内において、前記ミストの発生が検出される、
請求項4に記載の内視鏡手術システム。 - 前記退避条件は、前記撮像画像に占めるミストの存在領域が所定の第1の割合以上であることであり、前記復帰条件は、前記撮像画像に占めるミストの存在領域が所定の第2の割合以下であることである、
請求項3に記載の内視鏡手術システム。 - 前記退避条件は、処置具と処置部との距離が所定の第1のしきい値以下であることであり、前記復帰条件は、処置具と処置部との距離が所定の第2のしきい値以上であることである、
請求項3に記載の内視鏡手術システム。 - 前記退避条件は、エナジーデバイスに通電がされたことであり、前記復帰条件は、エナジーデバイスの出力が停止され、かつ前記撮像画像に基づいてミストの消失が検出されたことである、
請求項3に記載の内視鏡手術システム。 - 前記退避条件は、術者によるエナジーデバイスで処置を行う旨の操作が行われたことであり、前記復帰条件は、術者によるエナジーデバイスでの処置が終了した旨の操作が行われたことである、
請求項3に記載の内視鏡手術システム。 - 前記退避条件は、前記撮像画像に基づいて処置具の先端の把持機構が生体組織の一部を把持したことが検出されたことであり、前記復帰条件は、前記撮像画像に基づいて処置具の先端の把持機構が生体組織の一部を解放したことが検出され、かつ前記撮像画像に基づいてミストの消失が検出されたことである、
請求項3に記載の内視鏡手術システム。 - 前記退避条件及び復帰条件は、ユーザによる指示入力があったことである、
請求項3に記載の内視鏡手術システム。 - 前記退避条件は、内視鏡の先端と処置具との距離が所定の第1のしきい値以下であることであり、前記復帰条件は、内視鏡の先端と処置具との距離が所定の第2のしきい値以上であることである、
請求項3に記載の内視鏡手術システム。 - 復帰動作時における前記鏡筒の移動量は、退避動作時における前記鏡筒の移動量と同じ値である、
請求項3〜5及び請求項7〜11のいずれか1項に記載の内視鏡手術システム。 - 退避動作時における前記鏡筒の移動量は、ミストが前記撮像画像に影響を及ぼさない前記鏡筒の先端と観察対象部位との距離から、ミストの発生を検出する直前における前記鏡筒の先端と前記観察対象部位との距離を差し引いた値である、
請求項3〜5及び請求項7〜11のいずれか1項に記載の内視鏡手術システム。 - 前記アーム制御装置によって前記アーム部を構成する複数の関節部における回転が互いに協調して制御されることにより、前記退避動作及び前記復帰動作が実行される、
請求項3〜14のいずれか1項に記載の内視鏡手術システム。 - 前記内視鏡は、前記アーム部の先端に設けられる円筒形状のホールド部に前記鏡筒が挿通されることによって支持され、
前記ホールド部は、前記鏡筒を延伸方向に移動可能に支持するスライダー機構と、前記スライダー機構を動作させ前記鏡筒を延伸方向に移動させるアクチュエータと、を有し、
前記アーム制御装置からの制御により前記アクチュエータが前記スライダー機構を動作させることにより、前記退避動作及び前記復帰動作が実行される、
請求項3〜14のいずれか1項に記載の内視鏡手術システム。 - 前記アーム制御装置は、操作者による外力をアシストするように前記アーム部を駆動させるパワーアシスト制御を行う、
請求項3〜16のいずれか1項に記載の内視鏡手術システム。 - 前記アーム制御装置は、退避動作時には、前記アーム部又は前記内視鏡に直接触れて操作を行っているスコピストに対して、前記退避方向への前記鏡筒の移動操作を促すようなアシスト力を発生させるように前記支持アーム装置を駆動させ、復帰動作時には、前記スコピストに対して、前記復帰方向への前記鏡筒の移動操作を促すようなアシスト力を発生させるように前記支持アーム装置を駆動させる、
請求項3〜17のいずれか1項に記載の内視鏡手術システム。 - 前記画像処理部は、退避動作時及び復帰動作時に、前記表示画像に、前記鏡筒の先端と観察対象部位との距離を重畳表示させる、
請求項3〜18のいずれか1項に記載の内視鏡手術システム。 - 内視鏡によって患者の体腔内を撮影中に前記内視鏡の光軸方向の移動により、前記内視鏡の撮像範囲が移動した際に、プロセッサが、前記内視鏡による撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記撮像画像から出力用の画像データを生成する、
画像処理方法。 - 医療用観察部を備えたアーム装置と、
前記アーム装置の駆動を制御し、前記医療用観察部を光軸方向に移動させるアーム制御装置と、
前記医療用観察部によって撮影された患者の体腔内の撮像画像から出力用の画像データを生成する画像処理部と、
を備え、
前記画像処理部は、撮影中に前記医療用観察部が光軸方向に移動することで撮像範囲が移動した際に、前記撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記画像データを生成する、
医療用観察システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016045440A JP6753081B2 (ja) | 2016-03-09 | 2016-03-09 | 内視鏡手術システム、画像処理方法及び医療用観察システム |
US16/080,120 US11266294B2 (en) | 2016-03-09 | 2017-02-21 | Image processing device, endoscopic surgery system, and image processing method |
EP17710063.3A EP3426128B1 (en) | 2016-03-09 | 2017-02-21 | Image processing device, endoscopic surgery system, and image processing method |
CN201780014765.2A CN108778085B (zh) | 2016-03-09 | 2017-02-21 | 图像处理设备、内窥镜手术系统以及图像处理方法 |
PCT/JP2017/006341 WO2017154557A1 (en) | 2016-03-09 | 2017-02-21 | Image processing device, endoscopic surgery system, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016045440A JP6753081B2 (ja) | 2016-03-09 | 2016-03-09 | 内視鏡手術システム、画像処理方法及び医療用観察システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020139375A Division JP7044140B2 (ja) | 2020-08-20 | 2020-08-20 | 手術支援システム、画像処理方法及び情報処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017158776A JP2017158776A (ja) | 2017-09-14 |
JP2017158776A5 JP2017158776A5 (ja) | 2019-04-04 |
JP6753081B2 true JP6753081B2 (ja) | 2020-09-09 |
Family
ID=58266179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016045440A Active JP6753081B2 (ja) | 2016-03-09 | 2016-03-09 | 内視鏡手術システム、画像処理方法及び医療用観察システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11266294B2 (ja) |
EP (1) | EP3426128B1 (ja) |
JP (1) | JP6753081B2 (ja) |
CN (1) | CN108778085B (ja) |
WO (1) | WO2017154557A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6860378B2 (ja) * | 2017-02-24 | 2021-04-14 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡装置 |
CN111278344B (zh) * | 2017-11-01 | 2023-09-05 | 索尼公司 | 手术臂系统和手术臂控制系统 |
CN109324065A (zh) * | 2018-11-14 | 2019-02-12 | 北京工业大学 | 一种内窥镜检测的控制系统 |
EP3669748A1 (en) * | 2018-12-19 | 2020-06-24 | Koninklijke Philips N.V. | A mirror assembly |
JP2021040988A (ja) * | 2019-09-12 | 2021-03-18 | ソニー株式会社 | 医療用支持アーム、及び医療用システム |
JPWO2021095697A1 (ja) * | 2019-11-14 | 2021-05-20 | ||
CN114650763A (zh) * | 2019-11-14 | 2022-06-21 | 索尼集团公司 | 信息处理装置、生成方法和生成程序 |
US20210153959A1 (en) * | 2019-11-26 | 2021-05-27 | Intuitive Surgical Operations, Inc. | Physical medical element affixation systems, methods, and materials |
WO2022191215A1 (ja) * | 2021-03-10 | 2022-09-15 | オリンパス株式会社 | 処置システムおよび処置システムの作動方法 |
CN114099006B (zh) * | 2021-11-24 | 2023-05-26 | 重庆金山医疗机器人有限公司 | 一种器械与内窥镜距离提示方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01136625A (ja) | 1987-11-25 | 1989-05-29 | Olympus Optical Co Ltd | 内視鏡装置 |
US5032913A (en) * | 1989-02-28 | 1991-07-16 | Olympus Optical Co., Ltd. | Electronic endoscope system equipped with color smear reducing means |
JPH0549599A (ja) | 1991-08-23 | 1993-03-02 | Olympus Optical Co Ltd | 電子内視鏡装置 |
JPH05292491A (ja) | 1992-04-14 | 1993-11-05 | Hitachi Ltd | Tv電話装置およびその画角制御方法 |
JP3236070B2 (ja) | 1992-06-04 | 2001-12-04 | オリンパス光学工業株式会社 | スコープ保持装置およびスコープ装置 |
JPH08164148A (ja) | 1994-12-13 | 1996-06-25 | Olympus Optical Co Ltd | 内視鏡下手術装置 |
AU2003257677A1 (en) * | 2002-08-23 | 2004-03-11 | Eamex Corporation | Electrode forming method |
US20060164647A1 (en) * | 2005-01-13 | 2006-07-27 | Nagase & Co., Ltd. | Apparatus for marking a defect |
JP4970844B2 (ja) | 2006-05-12 | 2012-07-11 | オリンパスメディカルシステムズ株式会社 | 医療装置、および、ねじり力解放方法 |
WO2008125870A2 (en) * | 2007-04-11 | 2008-10-23 | Forth-Photonics Limited | A supporting structure and a workstation incorporating the supporting structure for improving, objectifying and documenting in vivo examinations of the uterus |
US8155479B2 (en) | 2008-03-28 | 2012-04-10 | Intuitive Surgical Operations Inc. | Automated panning and digital zooming for robotic surgical systems |
US20110184272A1 (en) * | 2008-06-13 | 2011-07-28 | Kun Zeng | Portable Diagnostic Device for Precancerous Lesion of Cervical Cancer |
GB201011913D0 (en) * | 2010-07-15 | 2010-09-01 | Lux Innovate Ltd | Detecting device |
JP2012055498A (ja) * | 2010-09-09 | 2012-03-22 | Olympus Corp | 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法 |
JP5953187B2 (ja) * | 2011-10-11 | 2016-07-20 | オリンパス株式会社 | 合焦制御装置、内視鏡システム及び合焦制御方法 |
US9492065B2 (en) | 2012-06-27 | 2016-11-15 | Camplex, Inc. | Surgical retractor with video cameras |
TWI517828B (zh) | 2012-06-27 | 2016-01-21 | 國立交通大學 | 影像追蹤系統及其影像追蹤方法 |
JP6453543B2 (ja) * | 2014-01-22 | 2019-01-16 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
CN103815972A (zh) * | 2014-02-26 | 2014-05-28 | 上海齐正微电子有限公司 | 腹胸腔镜的手术区域自动跟踪系统及方法 |
JP6323184B2 (ja) | 2014-06-04 | 2018-05-16 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
JP6323183B2 (ja) | 2014-06-04 | 2018-05-16 | ソニー株式会社 | 画像処理装置および画像処理方法 |
-
2016
- 2016-03-09 JP JP2016045440A patent/JP6753081B2/ja active Active
-
2017
- 2017-02-21 US US16/080,120 patent/US11266294B2/en active Active
- 2017-02-21 WO PCT/JP2017/006341 patent/WO2017154557A1/en active Application Filing
- 2017-02-21 EP EP17710063.3A patent/EP3426128B1/en active Active
- 2017-02-21 CN CN201780014765.2A patent/CN108778085B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP3426128B1 (en) | 2024-02-14 |
WO2017154557A1 (en) | 2017-09-14 |
US11266294B2 (en) | 2022-03-08 |
CN108778085A (zh) | 2018-11-09 |
EP3426128A1 (en) | 2019-01-16 |
JP2017158776A (ja) | 2017-09-14 |
CN108778085B (zh) | 2021-03-16 |
US20190059696A1 (en) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6753081B2 (ja) | 内視鏡手術システム、画像処理方法及び医療用観察システム | |
JP7414770B2 (ja) | 医療用アーム装置、医療用アーム装置の作動方法、及び情報処理装置 | |
WO2019116592A1 (ja) | 内視鏡の表示画像の調整装置及び手術システム | |
US20220096185A1 (en) | Medical devices, systems, and methods using eye gaze tracking | |
WO2017169098A1 (ja) | 制御装置及び制御方法 | |
KR101320379B1 (ko) | 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작 | |
KR20140112207A (ko) | 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 | |
JP2006218129A (ja) | 手術支援システム | |
WO2019202827A1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
JP2018157917A (ja) | 制御装置、制御方法、制御システム、およびプログラム | |
WO2019155931A1 (ja) | 手術システム、画像処理装置及び画像処理方法 | |
US20220047339A1 (en) | Endoluminal robotic (elr) systems and methods | |
CN114760903A (zh) | 用于在外科手术期间控制图像捕获设备的方法、装置、以及系统 | |
JP2004041778A (ja) | 体腔内観察システム | |
JPWO2018173681A1 (ja) | 医療用システムの制御装置、医療用システムの制御方法及び医療用システム | |
JP2006198031A (ja) | 手術支援システム | |
JP7044140B2 (ja) | 手術支援システム、画像処理方法及び情報処理装置 | |
US20210393331A1 (en) | System and method for controlling a robotic surgical system based on identified structures | |
JP2021003530A (ja) | 医療用観察システム、制御装置及び制御方法 | |
US20230034112A1 (en) | Systems and methods for automatically generating an anatomical boundary | |
JP2014158577A (ja) | 内視鏡システム | |
WO2022201933A1 (ja) | 生体内観察システム、観察システム、生体内観察方法及び生体内観察装置 | |
WO2019035206A1 (ja) | 医療システムおよび画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6753081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |