JP7299046B2 - Medical observation control device and medical observation system - Google Patents

Medical observation control device and medical observation system Download PDF

Info

Publication number
JP7299046B2
JP7299046B2 JP2019056834A JP2019056834A JP7299046B2 JP 7299046 B2 JP7299046 B2 JP 7299046B2 JP 2019056834 A JP2019056834 A JP 2019056834A JP 2019056834 A JP2019056834 A JP 2019056834A JP 7299046 B2 JP7299046 B2 JP 7299046B2
Authority
JP
Japan
Prior art keywords
unit
image
imaging
medical image
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019056834A
Other languages
Japanese (ja)
Other versions
JP2020156597A (en
Inventor
祥行 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2019056834A priority Critical patent/JP7299046B2/en
Priority to US16/795,568 priority patent/US11648080B2/en
Publication of JP2020156597A publication Critical patent/JP2020156597A/en
Application granted granted Critical
Publication of JP7299046B2 publication Critical patent/JP7299046B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/743—Keyboards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/744—Mouse
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508—Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Description

本発明は、被観察体の微小部位を観察する医療用観察制御装置及び医療用観察システムに関する。 The present invention relates to a medical observation control device and a medical observation system for observing minute parts of an object to be observed.

従来、被観察体である患者の脳や心臓等における微小部位の手術を行う際に該微小部位を観察するための医療用観察システムとして、複数のアーム部を有し、並進３自由度及び回転３自由度の計６自由度の動きを実現する支持部と、支持部の先端に設けられ、該微小部位を拡大する拡大光学系や撮像素子を有する顕微鏡部とを備えた光学式の顕微鏡システムが知られている（例えば、特許文献１を参照）。この顕微鏡システムを用いて手術を行う際、医師等の術者（ユーザ）は、顕微鏡部を移動させて所望の位置に配置して、術部を観察しながら手術を行う。特許文献１では、アーム部の位置や角度を記憶して、顕微鏡部の位置を復元が可能である。 2. Description of the Related Art Conventionally, as a medical observation system for observing minute parts of a patient's brain, heart, etc., which is an object to be observed, when performing surgery on the minute parts, it has a plurality of arms, and has three degrees of freedom in translation and rotation. An optical microscope system comprising a supporting part that realizes a movement with a total of 6 degrees of freedom (3 degrees of freedom), and a microscope part that is provided at the tip of the supporting part and has an enlarging optical system that magnifies the minute part and an imaging device. is known (see, for example, Patent Document 1). When performing an operation using this microscope system, an operator (user) such as a doctor moves the microscope unit to place it at a desired position, and performs the operation while observing the operation site. In Patent Document 1, it is possible to store the position and angle of the arm section and restore the position of the microscope section.

近年、白色による通常観察とは別に、特殊光による特殊光観察を行なう観察方法が考案されている。具体的に、特殊光観察として、ＮＢＩ（Narrow Band Imaging）と呼ばれる技術、ＩＲＩ（Infra-Red Imaging）と呼ばれる技術、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる技術、ＰＤＤ（Photodynamic Diagnosis）と呼ばれる技術、などが挙げられる。
例えば、ＩＲＩでは、血中内で波長８０５ｎｍ付近の近赤外光に吸収ピークを持つインドシアニングリーン（Indocyanine green：ＩＣＧ）という薬剤を造影剤として静脈注射し、波長が７５０～８１０ｎｍ程度の励起光を照射して、８４０ｎｍ程度の蛍光を検出してＩＣＧの吸収による粘膜下層の血管部分の陰影を観察し、血管、リンパ管の走行状態を診断する。 In recent years, observation methods have been devised in which special light observation is performed using special light, in addition to normal observation using white light. Specifically, as special light observation, a technique called NBI (Narrow Band Imaging), a technique called IRI (Infra-Red Imaging), a technique called AFI (Auto Fluorescence Imaging), a technique called PDD (Photodynamic Diagnosis), etc. is mentioned.
For example, in IRI, a drug called indocyanine green (ICG), which has an absorption peak in near-infrared light with a wavelength of 805 nm in the blood, is intravenously injected as a contrast agent, and excitation light with a wavelength of about 750 to 810 nm is injected. is irradiated, fluorescence of about 840 nm is detected, and shadows of blood vessels in the submucosal layer due to absorption of ICG are observed to diagnose the running state of blood vessels and lymphatic vessels.

特開２０１８－２９９８０号公報JP-A-2018-29980

ところで、特殊光観察による手術では、手術前後の画像を相対的に比較することがある。例えば、ＩＲＩでは、手術前後の画像から、手術前後の血液の流れや流量を確認する。この際、手術前後の画像において、画像に関わる様々なパラメータ（画角や明るさに関するパラメータなど）を同一にする必要があった。顕微鏡部の位置の復元によって、手術前後で同じ像が得られたとしても、術部の照明の変化によって画像の明るさが変わると、正確な比較ができない場合があった。 By the way, in surgery using special light observation, images before and after surgery are sometimes relatively compared. For example, in IRI, blood flow and volume before and after surgery are checked from images before and after surgery. In this case, various parameters related to images (parameters related to angle of view, brightness, etc.) need to be the same for images before and after surgery. Even if the same images were obtained before and after the operation by restoring the position of the microscope, there were cases in which accurate comparison could not be made if the brightness of the images changed due to changes in the illumination of the operation site.

本開示は、上記に鑑みてなされたものであって、異なる時刻に取得した画像の相対的な明るさを正確に比較することができる医療用観察制御装置及び医療用観察システムを提供することを目的とする。 The present disclosure has been made in view of the above, and aims to provide a medical observation control device and a medical observation system that can accurately compare the relative brightness of images acquired at different times. aim.

上述した課題を解決し、目的を達成するために、本開示にかかる医療用観察制御装置は、第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、第２の医療用画像を撮像する第２の撮像条件として、前記第１の撮像条件に関するパラメータを復元する復元設定部と、前記第２の撮像条件で観察対象を撮像するよう、撮像部と前記撮像部を支持する支持部とを制御する制御部と、前記第１の医療用画像と前記第２の医療用画像とを比較し、比較結果に応じて前記第１及び／又は前記第２の医療用画像の明るさを補正する補正部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve an object, a medical observation control device according to the present disclosure stores parameters related to first imaging conditions including the position of an imaging unit when imaging a first medical image. a storage unit, a restoration setting unit for restoring parameters relating to the first imaging condition as a second imaging condition for imaging a second medical image, and an observation target to be imaged under the second imaging condition, a control unit that controls an imaging unit and a supporting unit that supports the imaging unit; compares the first medical image and the second medical image; and according to the comparison result, the first and/or and a correction unit that corrects the brightness of the second medical image.

また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部は、第１の時刻に撮像された前記第１の医療用画像において設定される第１の比較領域の比較値と、前記第１の時刻の後の第２の時刻において撮像された前記第２の医療用画像であって、前記復元設定部が復元したパラメータに基づいて撮像条件が復元され、前記撮像部によって撮像された前記第２の医療用画像における、前記第１の比較領域に対応する位置に設定される第２の比較領域の各輝度値とを比較することを特徴とする。 Further, in the medical observation control apparatus according to the present disclosure, in the above disclosure, the correcting unit includes a comparison value of a first comparison region set in the first medical image captured at a first time and , the second medical image captured at a second time after the first time, wherein the imaging conditions are restored based on the parameters restored by the restoration setting unit, and the image is captured by the imaging unit and each brightness value of a second comparison area set at a position corresponding to the first comparison area in the obtained second medical image.

また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部は、前記第１の医療用画像の前記第１の比較領域の輝度値と、前記第２の医療用画像の前記第２の比較領域の輝度値との差分を算出し、前記第１の医療用画像及び前記第２の医療用画像の少なくとも一方の画像の明るさを、前記差分に基づいて補正することを特徴とする。 Further, in the medical observation control apparatus according to the present disclosure, in the above disclosure, the correcting unit includes the luminance value of the first comparison region of the first medical image and the luminance value of the second medical image. A difference from the luminance value of the second comparison area is calculated, and the brightness of at least one of the first medical image and the second medical image is corrected based on the difference. and

また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部は、前記第１の医療用画像の前記第１の比較領域の輝度値と、前記第２の医療用画像の前記第２の比較領域の輝度値との差分を算出し、前記差分に基づいて、前記第２の時刻における撮像条件を補正することを特徴とする。 Further, in the medical observation control apparatus according to the present disclosure, in the above disclosure, the correcting unit includes the luminance value of the first comparison area of the first medical image and the luminance value of the second medical image. A difference from the luminance value of the second comparison area is calculated, and the imaging condition at the second time is corrected based on the difference.

また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部は、前記撮像部の撮像領域を照明する照明光を出射する光源装置が出射する照明光による照度、前記撮像部におけるゲイン処理、シャッター速度、レンズの絞り値のうちの少なくとも一つを補正することを特徴とする。 Further, in the medical observation control apparatus according to the present disclosure, in the above disclosure, the correction unit includes an illuminance of illumination light emitted from a light source device that emits illumination light for illuminating an imaging region of the imaging unit, At least one of gain processing, shutter speed, and lens aperture value is corrected.

また、本開示にかかる医療用観察制御装置は、上記開示において、前記第１の医療用画像の画角と、前記第２の医療用画像の画角とを比較して、画角のずれを判定する画角判定部、をさらに有することを特徴とする。 Further, in the above disclosure, the medical observation control apparatus according to the present disclosure compares the angle of view of the first medical image and the angle of view of the second medical image, and corrects the deviation of the angle of view. and a field angle determination unit for determination.

また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部による補正後の前記第１の医療用画像及び前記第２の医療用画像との間の明るさの変化量を算出する変化量算出部、をさらに備えることを特徴とする。 Further, in the medical observation control apparatus according to the present disclosure, in the above disclosure, the amount of change in brightness between the first medical image and the second medical image corrected by the correction unit is calculated. and a change amount calculation unit for calculating the amount of change.

また、本開示にかかる医療用観察システムは、観察対象を撮像する医療用観察装置、及び、前記医療用観察装置を電気的に制御する制御装置を備えた医療用観察システムにおいて、前記医療用観察装置は、観察対象を拡大して撮像可能とする撮像部と、複数のアーム部、及び当該複数のアーム部を接続する複数の関節部を有し、先端で前記撮像部を支持する支持部と、を備え、前記制御装置は、第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、第２の医療用画像を撮像する第２の撮像条件として、前記第１の撮像条件に関するパラメータを復元する復元設定部と、前記第２の撮像条件で観察対象を撮像するよう、前記撮像部と前記支持部とを制御する制御部と、前記第１の医療用画像と前記第２の医療用画像とを比較し、比較結果に応じて前記第１及び／又は前記第２の医療用画像の明るさを補正する補正部と、を備えることを特徴とする。 Further, a medical observation system according to the present disclosure is a medical observation system that includes a medical observation device that captures an image of an observation target, and a control device that electrically controls the medical observation device, wherein: The apparatus includes an imaging unit capable of magnifying and imaging an observation target, a support unit having a plurality of arms, and a plurality of joints connecting the plurality of arms, and supporting the imaging unit at its distal end. , wherein the control device includes a storage unit for storing parameters related to first imaging conditions including the position of the imaging unit when imaging the first medical image; and a second medical image for imaging the second medical image. a restoration setting unit that restores parameters relating to the first imaging condition as imaging conditions; a control unit that controls the imaging unit and the support unit so as to image an observation target under the second imaging condition; a correction unit that compares the first medical image and the second medical image and corrects the brightness of the first and/or the second medical image according to the comparison result. characterized by

また、本開示にかかる医療用観察システムは、上記開示において、前記撮像部の撮像領域を照明する照明光を出射する光源装置、をさらに備え、前記補正部は、前記光源装置が出射する照明光による照度、前記撮像部におけるゲイン処理、シャッター速度、及びレンズの絞り値のうちの少なくとも一つを補正することを特徴とする。 In the above disclosure, the medical observation system according to the present disclosure further includes a light source device that emits illumination light for illuminating the imaging region of the imaging unit, and the correction unit includes illumination light emitted by the light source device. at least one of illuminance, gain processing in the imaging unit, shutter speed, and lens aperture value.

本開示によれば、異なる時刻に取得した画像の相対的な明るさを正確に比較することができるという効果を奏する。 Advantageous Effects of Invention According to the present disclosure, it is possible to accurately compare the relative brightness of images acquired at different times.

図１は、実施の形態１に係る医療用観察システムの外観構成を示す斜視図である。FIG. 1 is a perspective view showing an external configuration of a medical observation system according to Embodiment 1. FIG. 図２は、実施の形態１に係る医療用観察システムの制御装置の構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of the control device of the medical observation system according to Embodiment 1. As shown in FIG. 図３は、実施の形態１に係る医療用観察システムを用いて行われる手術の状況を模式的に示す図である。FIG. 3 is a diagram schematically showing a situation of surgery performed using the medical observation system according to Embodiment 1. FIG. 図４は、実施の形態１に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing performed by the control device of the medical observation system according to Embodiment 1. FIG. 図５は、手術前の画像（第１画像）の一例を模式的に示す図である。FIG. 5 is a diagram schematically showing an example of an image (first image) before surgery. 図６は、手術後の画像（第２画像）の一例を模式的に示す図である。FIG. 6 is a diagram schematically showing an example of an image (second image) after surgery. 図７は、計測結果の表示画像の一例を模式的に示す図である。FIG. 7 is a diagram schematically showing an example of a display image of measurement results. 図８は、実施の形態２に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。8 is a flow chart showing the flow of processing performed by the control device of the medical observation system according to Embodiment 2. FIG. 図９は、実施の形態３に係る医療用観察システムの制御装置の構成を示すブロック図である。FIG. 9 is a block diagram showing the configuration of the control device of the medical observation system according to Embodiment 3. As shown in FIG. 図１０は、実施の形態３に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。10 is a flow chart showing the flow of processing performed by the control device of the medical observation system according to Embodiment 3. FIG.

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。なお、図面はあくまで模式的なものであり、図面の相互間においても互いの寸法の関係や比率が異なる部分が含まれる場合がある。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as "embodiments") will be described with reference to the accompanying drawings. It should be noted that the drawings are only schematic, and there are cases where portions having different dimensional relationships and ratios are included between the drawings.

（実施の形態１）
図１は、実施の形態１に係る医療用観察システムの構成を示す図である。同図に示す医療用観察システム１は、被観察体の微細構造を拡大して撮像する顕微鏡としての機能を有する医療用観察装置（以下、観察装置という）２と、医療用観察システム１の動作を統括して制御する制御装置３と、観察装置２が撮像した画像を表示する表示装置４とを備える。制御装置３は、医療用観察制御装置に相当する。 (Embodiment 1)
FIG. 1 is a diagram showing the configuration of a medical observation system according to Embodiment 1. FIG. The medical observation system 1 shown in FIG. and a display device 4 for displaying an image captured by the observation device 2 . The control device 3 corresponds to a medical observation control device.

観察装置２は、床面上を移動可能なベース部５と、ベース部５に支持される支持部６と、支持部６の先端に設けられて被観察体の微小部位を拡大して撮像する柱状の顕微鏡部７と、を備える。また、観察装置２には、光ファイバ等によって構成されたライトガイド８１を介して観察装置２に照明光を供給する光源装置８が接続される。光源装置８は、制御装置３の制御のもと、観察モードに応じて白色光や、特殊観察に応じた波長帯域の光（特殊光）を出射する。 The observation device 2 includes a base portion 5 movable on the floor surface, a support portion 6 supported by the base portion 5, and an end portion of the support portion 6 provided at the tip of the support portion 6 to magnify and image a minute portion of an object to be observed. and a columnar microscope section 7 . A light source device 8 that supplies illumination light to the observation device 2 is connected to the observation device 2 through a light guide 81 configured by an optical fiber or the like. Under the control of the control device 3, the light source device 8 emits white light according to the observation mode or light in a wavelength band (special light) corresponding to special observation.

観察装置２において、例えば、制御装置３と顕微鏡部７との間の信号伝送を行うための信号線（同軸ケーブル）を含む伝送ケーブルや、光源装置８から顕微鏡部７までの照明光の導光を行うためのライトガイドケーブル等を含むケーブル群が、ベース部５から顕微鏡部７にわたって配設されている。 In the observation device 2, for example, a transmission cable including a signal line (coaxial cable) for signal transmission between the control device 3 and the microscope section 7, or a light guide of the illumination light from the light source device 8 to the microscope section 7 A cable group including a light guide cable and the like for performing the observation is arranged from the base portion 5 to the microscope portion 7 .

支持部６は、第１関節部１１、第１アーム部２１、第２関節部１２、第２アーム部２２、第３関節部１３、第３アーム部２３、第４関節部１４、第４アーム部２４、第５関節部１５、第５アーム部２５、および第６関節部１６を有する。 The support portion 6 includes a first joint portion 11, a first arm portion 21, a second joint portion 12, a second arm portion 22, a third joint portion 13, a third arm portion 23, a fourth joint portion 14, and a fourth arm. It has a portion 24 , a fifth joint portion 15 , a fifth arm portion 25 and a sixth joint portion 16 .

第１関節部１１は、先端側で顕微鏡部７を回動可能に保持するとともに、基端側で第１アーム部２１の先端部に固定された状態で第１アーム部２１に保持される。第１関節部１１は円筒状をなし、高さ方向の中心軸である第１軸Ｏ1のまわりに回動可能に顕微鏡部７を保持する。第１アーム部２１は、第１関節部１１の側面から第１軸Ｏ1と直交する方向に延びる形状をなす。 The first joint portion 11 rotatably holds the microscope portion 7 on the distal end side, and is held by the first arm portion 21 in a state of being fixed to the distal end portion of the first arm portion 21 on the proximal end side. The first joint portion 11 has a cylindrical shape and holds the microscope portion 7 so as to be rotatable around the first axis O1 , which is the center axis in the height direction. The first arm portion 21 has a shape extending from the side surface of the first joint portion 11 in a direction orthogonal to the first axis O1 .

第２関節部１２は、先端側で第１アーム部２１を回動可能に保持するとともに、基端側で第２アーム部２２の先端部に固定された状態で第２アーム部２２に保持される。第２関節部１２は円筒状をなしており、高さ方向の中心軸であって第１軸Ｏ1と直交する軸である第２軸Ｏ2のまわりに回動可能に第１アーム部２１を保持する。第２アーム部２２は略Ｌ字状をなし、Ｌ字の縦線部分の端部で第２関節部１２に連結する。 The second joint portion 12 rotatably holds the first arm portion 21 on the distal end side, and is held by the second arm portion 22 in a state of being fixed to the distal end portion of the second arm portion 22 on the proximal end side. be. The second joint part 12 has a cylindrical shape, and the first arm part 21 is rotatable about a second axis O2 , which is the center axis in the height direction and perpendicular to the first axis O1. hold. The second arm portion 22 has a substantially L shape and is connected to the second joint portion 12 at the end of the vertical line portion of the L shape.

第３関節部１３は、先端側で第２アーム部２２のＬ字の横線部分を回動可能に保持するとともに、基端側で第３アーム部２３の先端部に固定された状態で第３アーム部２３に保持される。第３関節部１３は、円筒状をなしており、高さ方向の中心軸であって第２軸Ｏ2と直交する軸であり、かつ第２アーム部２２が延びる方向と平行な軸である第３軸Ｏ3のまわりに回動可能に第２アーム部２２を保持する。第３アーム部２３は先端側が円筒状をなしており、基端側に先端側の円筒の高さ方向と直交する方向に貫通する孔部が形成されている。第３関節部１３は、この孔部を介して第４関節部１４に回動可能に保持される。 The third joint portion 13 rotatably holds the L-shaped horizontal line portion of the second arm portion 22 on the distal end side, and the third joint portion 13 is fixed to the distal end portion of the third arm portion 23 on the proximal end side. It is held by the arm portion 23 . The third joint portion 13 has a cylindrical shape, and is a center axis in the height direction, an axis orthogonal to the second axis O2 , and an axis parallel to the direction in which the second arm portion 22 extends. It holds the second arm portion 22 so as to be rotatable around the third axis O3 . The third arm portion 23 has a cylindrical shape on the distal end side, and a hole portion penetrating in a direction orthogonal to the height direction of the distal end side cylinder is formed on the proximal end side. The third joint portion 13 is rotatably held by the fourth joint portion 14 through the hole.

第４関節部１４は、先端側で第３アーム部２３を回動可能に保持するとともに、基端側で第４アーム部２４に固定された状態で第４アーム部２４に保持される。第４関節部１４は円筒状をなしており、高さ方向の中心軸であって第３軸Ｏ3と直交する軸である第４軸Ｏ4のまわりに回動可能に第３アーム部２３を保持する。 The fourth joint portion 14 rotatably holds the third arm portion 23 on the distal end side, and is held by the fourth arm portion 24 in a state of being fixed to the fourth arm portion 24 on the proximal end side. The fourth joint portion 14 has a cylindrical shape, and the third arm portion 23 is rotatable around the fourth axis O4 , which is the center axis in the height direction and perpendicular to the third axis O3. hold.

第５関節部１５は、先端側で第４アーム部２４を回動可能に保持するとともに、基端側で第５アーム部２５に固定して取り付けられる。第５関節部１５は円筒状をなしており、高さ方向の中心軸であって第４軸Ｏ4と平行な軸である第５軸Ｏ5のまわりに第４アーム部２４を回動可能に保持する。第５アーム部２５は、Ｌ字状をなす部分と、Ｌ字の横線部分から下方へ延びる棒状の部分とからなる。第５関節部１５は、基端側で第５アーム部２５のＬ字の縦線部分の端部に取り付けられる。 The fifth joint portion 15 rotatably holds the fourth arm portion 24 on the distal end side, and is fixedly attached to the fifth arm portion 25 on the proximal end side. The fifth joint portion 15 has a cylindrical shape, and can rotate the fourth arm portion 24 around the fifth axis O5 , which is the central axis in the height direction and parallel to the fourth axis O4 . to hold. The fifth arm portion 25 is composed of an L-shaped portion and a bar-shaped portion extending downward from the horizontal line portion of the L-shape. The fifth joint portion 15 is attached to the end portion of the L-shaped vertical line portion of the fifth arm portion 25 on the base end side.

第６関節部１６は、先端側で第５アーム部２５を回動可能に保持するとともに、基端側でベース部５の上面に固定して取り付けられる。第６関節部１６は円筒状をなしており、高さ方向の中心軸であって第５軸Ｏ5と直交する軸である第６軸Ｏ6のまわりに第５アーム部２５を回動可能に保持する。第６関節部１６の先端側には、第５アーム部２５の棒状の部分の基端部が取り付けられる。 The sixth joint portion 16 rotatably holds the fifth arm portion 25 on the distal end side, and is fixed and attached to the upper surface of the base portion 5 on the proximal end side. The sixth joint portion 16 has a cylindrical shape, and can rotate the fifth arm portion 25 around the sixth axis O6, which is the central axis in the height direction and perpendicular to the fifth axis O5 . to hold. A proximal end portion of the rod-shaped portion of the fifth arm portion 25 is attached to the distal end side of the sixth joint portion 16 .

以上説明した構成を有する支持部６は、顕微鏡部７における並進３自由度および回転３自由度の計６自由度の動きを実現する。 The support section 6 having the configuration described above realizes movement of the microscope section 7 with a total of 6 degrees of freedom, ie, 3 degrees of freedom in translation and 3 degrees of freedom in rotation.

第１関節部１１～第６関節部１６は、顕微鏡部７および第１アーム部２１～第５アーム部２５の回動をそれぞれ禁止する電磁ブレーキを有する。各電磁ブレーキは、顕微鏡部７に設けられるアーム操作スイッチ７３（後述）が押下された状態で解除され、顕微鏡部７および第１アーム部２１～第５アーム部２５の回動を許容する。なお、電磁ブレーキの代わりにエアブレーキを適用してもよい。また、第１関節部１１は、電磁ブレーキを有しない構成としてもよい。 The first joint portion 11 to the sixth joint portion 16 have electromagnetic brakes that inhibit the rotation of the microscope portion 7 and the first arm portion 21 to the fifth arm portion 25, respectively. Each electromagnetic brake is released when an arm operation switch 73 (described later) provided in the microscope section 7 is pressed down, allowing the microscope section 7 and the first to fifth arm sections 21 to 25 to rotate. An air brake may be applied instead of the electromagnetic brake. Further, the first joint portion 11 may be configured without an electromagnetic brake.

各関節部には、上述した電磁ブレーキのほか、エンコーダ及びアクチュエータを搭載してもよい。エンコーダは、例えば、第１関節部１１に設けられている場合、第１軸Ｏ1における回転角度を検出する。アクチュエータは、例えばサーボモータ等の電動モータによって構成され、制御装置３からの制御により駆動され、関節部における回転を所定の角度だけ生じさせる。関節部における回転角度は、例えば顕微鏡部７の移動の前後において観察点が変化しないように顕微鏡部７を移動させるために必要な値として、各回転軸（第１軸Ｏ1～第６軸Ｏ6）における回転角度に基づいて制御装置３によって設定される。このように、アクチュエータ等の能動的な駆動機構が設けられる関節部は、当該アクチュエータの駆動が制御されることにより能動的に回転する回転軸を構成する。 Each joint may be equipped with an encoder and an actuator in addition to the electromagnetic brake described above. For example, when the encoder is provided in the first joint portion 11, it detects the rotation angle about the first axis O1 . The actuator is composed of, for example, an electric motor such as a servomotor, is driven by the control from the control device 3, and causes the joint portion to rotate by a predetermined angle. The rotation angles of the joints are values necessary for moving the microscope unit 7 so that the observation point does not change before and after the movement of the microscope unit 7 , for example. 6 ) is set by the controller 3 based on the rotation angle. Thus, the joint section provided with an active driving mechanism such as an actuator constitutes a rotating shaft that actively rotates by controlling the driving of the actuator.

顕微鏡部７は、円筒状をなす筐体に、被観察体の像を拡大して撮像する撮像部や、第１関節部１１～第６関節部１６における電磁ブレーキを解除して各関節部の回動を許容する操作入力を受け付けるアーム操作スイッチ、撮像部における拡大倍率および被観察体までの焦点距離を変更可能な変更スイッチが設けられる。
撮像部は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて構成される二つの撮像素子を有する。これら撮像素子は、三次元画像生成用の、互いに視差を有する撮像信号をそれぞれ生成する。撮像信号は、デジタル信号として出力される。なお、撮像素子を一つ設けて、二次元画像生成用の撮像信号を生成する構成としてもよい。
また、撮像部には、撮像素子へ光を導光する光学系や、像の拡大率（ズーム倍率）を変更するための一つ又は複数のレンズからなる光学系、露光時間を制御するシャッター等が設けられる。
また、顕微鏡部７には、押しボタン式のスイッチであるアーム操作スイッチが設けられる。ユーザがアーム操作スイッチを押下している間、第１関節部１１～第６関節部１６の電磁ブレーキが解除される。 The microscope unit 7 includes an imaging unit that enlarges and captures an image of an object to be observed, and an electromagnetic brake that releases the electromagnetic brakes of the first to sixth joints 11 to 16 in a cylindrical housing. An arm operation switch that accepts an operation input that permits rotation, and a change switch that can change the magnification of the imaging unit and the focal length to the object to be observed are provided.
The imaging unit has two imaging elements configured using a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). These imaging devices generate imaging signals having parallax with each other for generating a three-dimensional image. The imaging signal is output as a digital signal. Note that a configuration may be adopted in which one imaging element is provided to generate an imaging signal for generating a two-dimensional image.
In addition, the imaging unit includes an optical system that guides light to the imaging device, an optical system that consists of one or more lenses for changing the magnification ratio (zoom magnification) of the image, a shutter that controls the exposure time, etc. is provided.
Further, the microscope section 7 is provided with an arm operation switch, which is a push button type switch. While the user is pressing the arm operation switch, the electromagnetic brakes of the first to sixth joints 11 to 16 are released.

制御装置３は、観察装置２が出力した撮像信号を受信し、この撮像信号に所定の信号処理を施すことによって表示用の３次元画像データを生成する。なお、制御装置３をベース部５の内部に設置して観察装置２と一体化してもよい。 The control device 3 receives the imaging signal output from the observation device 2 and generates three-dimensional image data for display by performing predetermined signal processing on the imaging signal. Note that the control device 3 may be installed inside the base portion 5 and integrated with the observation device 2 .

図２は、実施の形態１に係る医療用観察システムの制御装置の構成を示すブロック図である。制御装置３は、復元設定部３１と、画像処理部３２と、補正部３３と、変化量算出部３４と、入力部３５と、記憶部３６と、制御部３７とを備える。なお、制御装置３には、制御装置３及び顕微鏡部７を駆動するための電源電圧を生成し、制御装置３の各部にそれぞれ供給するとともに、伝送ケーブルを介して顕微鏡部７に供給する電源部（図示略）などが設けられていてもよい。 FIG. 2 is a block diagram showing the configuration of the control device of the medical observation system according to Embodiment 1. As shown in FIG. The control device 3 includes a restoration setting section 31 , an image processing section 32 , a correction section 33 , a change amount calculation section 34 , an input section 35 , a storage section 36 and a control section 37 . In addition, in the control device 3, a power supply voltage for driving the control device 3 and the microscope section 7 is generated, supplied to each section of the control device 3, and supplied to the microscope section 7 via a transmission cable. (not shown) and the like may be provided.

復元設定部３１は、条件保持が指示された時点における復元パラメータを記憶部３６に記憶させ、復元指示された際に、記憶部３６に記憶されている復元パラメータを読み出して、顕微鏡部７の位置や、撮像条件を復元する。復元パラメータとしては、光源の照度や、シャッター速度、ゲイン値、焦点距離、ズーム倍率、レンズの絞り値、各アーム部の姿勢（関節部の回転角度）などの顕微鏡部７の位置、及び撮像条件を復元するためのパラメータが挙げられる。 The restoration setting unit 31 causes the storage unit 36 to store the restoration parameters at the time when the condition holding is instructed. or restore the imaging conditions. The restoration parameters include the illuminance of the light source, the shutter speed, the gain value, the focal length, the zoom magnification, the aperture value of the lens, the position of the microscope unit 7 such as the posture of each arm (the rotation angle of the joint), and the imaging conditions. parameters for restoring the

画像処理部３２は、顕微鏡部７が出力した撮像信号に対してノイズ除去や、必要に応じてＡ／Ｄ変換等の信号処理を行う。画像処理部３２は、信号処理後の撮像信号をもとに、表示装置４が表示する表示用の画像信号を生成する。画像処理部３２は、撮像信号に対して、所定の信号処理を実行して被写体画像を含む表示用の画像信号を生成する。ここで、画像処理部３２は、検波処理や、補間処理、色補正処理、色強調処理、及び輪郭強調処理等の各種画像処理等の公知の画像処理を行う。画像処理部３２は、生成した画像信号を表示装置４に出力する。 The image processing unit 32 performs noise removal on the imaging signal output from the microscope unit 7 and performs signal processing such as A/D conversion as necessary. The image processing unit 32 generates a display image signal to be displayed by the display device 4 based on the image signal after the signal processing. The image processing unit 32 performs predetermined signal processing on the imaging signal to generate an image signal for display including a subject image. Here, the image processing unit 32 performs known image processing such as detection processing, interpolation processing, color correction processing, color enhancement processing, edge enhancement processing, and other various image processing. The image processing section 32 outputs the generated image signal to the display device 4 .

また、画像処理部３２が、入力されたフレームの撮像信号を基に、各フレームの所定のＡＦ用評価値を出力するＡＦ処理部、及び、ＡＦ処理部からの各フレームのＡＦ用評価値から、最も合焦位置として適したフレームまたはフォーカスレンズ位置等を選択するようなＡＦ演算処理を行うＡＦ演算部を有していてもよい。 Further, the image processing unit 32 outputs a predetermined AF evaluation value of each frame based on the input imaging signal of the frame, and from the AF evaluation value of each frame from the AF processing unit , an AF calculation unit that performs AF calculation processing to select a frame or focus lens position that is most suitable as a focus position.

補正部３３は、撮像時刻が異なる画像の輝度値、例えば、手術前の画像における比較領域の輝度値と、手術後の画像における比較領域の輝度値とを比較する。補正部３３は、二つの画像における比較領域の輝度値の差分を算出する。例えば、補正部３３は、各比較領域の代表値を算出し、代表値の差分を算出する。
比較領域は、入力部３５を介して設定されるか、画角に対して予め設定される。二つの画像において、比較画像の画角に対する位置は同じである。
代表値は、比較領域における画素値の加算値、平均値、最頻値、最大値、最小値のいずれかである。 The correction unit 33 compares the luminance values of images captured at different times, for example, the luminance values of the comparison region in the preoperative image and the luminance values of the comparison region in the postoperative image. The correction unit 33 calculates the difference in luminance values of the comparison regions in the two images. For example, the correction unit 33 calculates the representative value of each comparison area and calculates the difference between the representative values.
The comparison area is set via the input unit 35 or set in advance with respect to the angle of view. The two images have the same position relative to the angle of view of the comparison image.
The representative value is any one of the added value, average value, mode value, maximum value, and minimum value of the pixel values in the comparison area.

また、補正部３３は、算出した差分に基づいて、第１画像の輝度値又は第２画像の輝度値を補正する。補正部３３は、例えば、差分をもとに、第２画像の輝度値を補正する。なお、例えばＩＲＩにおいて、流量計測のみを行う場合は、流量計測位置のみを補正するようにしてもよい。 Further, the correction unit 33 corrects the luminance value of the first image or the luminance value of the second image based on the calculated difference. The correction unit 33 corrects the luminance value of the second image based on the difference, for example. For example, in IRI, when only flow rate measurement is performed, only the flow rate measurement position may be corrected.

変化量算出部３４は、補正部３３による補正後の、第１画像及び第２画像から、明るさの変化量を算出する。例えばＩＲＩにおいて、血液の流量計測を行う場合は、明るさ（輝度値）の差分を血液の流量の変化量として算出する。 The change amount calculator 34 calculates the amount of change in brightness from the first image and the second image corrected by the corrector 33 . For example, in IRI, when measuring the flow rate of blood, the difference in brightness (brightness value) is calculated as the amount of change in the flow rate of blood.

入力部３５は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける。 The input unit 35 is implemented using a user interface such as a keyboard, mouse, touch panel, etc., and receives input of various information.

記憶部３６は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現され、通信情報データ（例えば、通信用フォーマット情報など）や、上述した復元パラメータなどが記録されている。なお、記憶部３６は、制御部３７が実行する各種プログラム等が記録されていてもよい。 The storage unit 36 is implemented using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory), and records communication information data (for example, communication format information, etc.), the restoration parameters described above, and the like. Note that the storage unit 36 may record various programs and the like executed by the control unit 37 .

制御部３７は、制御装置３及び顕微鏡部７を含む各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部３７は、記憶部３６に記録されている通信情報データ（例えば、通信用フォーマット情報など）を参照して制御信号を生成し、該生成した制御信号を顕微鏡部７へ送信する。また、制御部３７は、伝送ケーブルを介して、顕微鏡部７に対して制御信号を出力する。 The control unit 37 performs drive control of each component including the control device 3 and the microscope unit 7, input/output control of information to each component, and the like. The control unit 37 refers to communication information data (for example, communication format information) recorded in the storage unit 36 to generate a control signal, and transmits the generated control signal to the microscope unit 7 . Also, the control unit 37 outputs a control signal to the microscope unit 7 via the transmission cable.

なお、制御部３７は、顕微鏡部７及び制御装置３の同期信号、及びクロックを生成する。顕微鏡部７への同期信号（例えば、撮像タイミングを指示する同期信号等）やクロック（例えばシリアル通信用のクロック）は、図示しないラインで顕微鏡部７に送られ、この同期信号やクロックを基に、顕微鏡部７が駆動する。 Note that the control unit 37 generates synchronization signals and clocks for the microscope unit 7 and the control device 3 . A synchronizing signal (for example, a synchronizing signal for instructing imaging timing) and a clock (for example, a clock for serial communication) to the microscope unit 7 are sent to the microscope unit 7 via a line (not shown). , the microscope unit 7 is driven.

上述した復元設定部３１、画像処理部３２、補正部３３及び制御部３７は、プログラムが記録された内部メモリ（図示略）を有するＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるＦＰＧＡ(Field Programmable Gate Array：図示略)を用いて構成するようにしてもよい。なお、ＦＰＧＡにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるＦＰＧＡをコンフィグレーションしてもよい。 The restoration setting unit 31, the image processing unit 32, the correction unit 33, and the control unit 37 described above are a general-purpose processor such as a CPU (Central Processing Unit) having an internal memory (not shown) in which a program is recorded, or an ASIC (Application Specific Integrated). Circuit) and other dedicated processors such as various arithmetic circuits that execute specific functions. Alternatively, it may be constructed using an FPGA (Field Programmable Gate Array: not shown), which is a type of programmable integrated circuit. In the case of an FPGA, a memory for storing configuration data may be provided, and the FPGA, which is a programmable integrated circuit, may be configured by the configuration data read from the memory.

表示装置４は、制御装置３が生成した３次元画像データを制御装置３から受信し、該３次元画像データに対応する３次元画像を表示する。このような表示装置４は、液晶または有機ＥＬ（Electro Luminescence）からなる表示パネルを備える。
なお、表示装置４のほか、スピーカーやプリンタ等を用いて情報を出力する出力装置を備えてもよい。 The display device 4 receives the three-dimensional image data generated by the control device 3 from the control device 3 and displays a three-dimensional image corresponding to the three-dimensional image data. Such a display device 4 includes a display panel made of liquid crystal or organic EL (Electro Luminescence).
In addition to the display device 4, an output device that outputs information using a speaker, a printer, or the like may be provided.

次に、以上の構成を有する医療用観察システム１を用いて行われる手術の概要を説明する。図３は、医療用観察システム１を用いた手術の状況を模式的に示す図である。具体的には、図３は、ユーザである術者２０１が被観察体である患者２０２の頭部を手術している状況を模式的に示す図である。術者２０１は、３次元画像用の眼鏡３０１を装着して表示装置４が表示する３次元画像を目視しながら、顕微鏡部７のアーム操作スイッチを押下した状態で顕微鏡部７を把持して所望の位置まで移動させ、顕微鏡部７の撮像視野を決定した後、アーム操作スイッチから指を離す。これにより、第１関節部１１～第６関節部１６では電磁ブレーキが動作し、顕微鏡部７の撮像視野が固定される。その後、術者２０１は、拡大倍率および被観察体までの焦点距離の調整等を行う。表示装置４が３次元画像を表示するため、術者２０１は３次元画像を通して術部を立体的に把握することができる。 Next, an outline of surgery performed using the medical observation system 1 having the above configuration will be described. FIG. 3 is a diagram schematically showing the state of surgery using the medical observation system 1. As shown in FIG. Specifically, FIG. 3 is a diagram schematically showing a situation in which an operator 201 who is a user is performing surgery on the head of a patient 202 who is an object to be observed. The operator 201 wears glasses 301 for three-dimensional images and visually observes the three-dimensional image displayed by the display device 4. While holding down the arm operation switch of the microscope unit 7, the operator 201 grasps the microscope unit 7 to obtain a desired image. , and after determining the field of view of the microscope unit 7, release the finger from the arm operation switch. As a result, the electromagnetic brakes are operated in the first joint portion 11 to the sixth joint portion 16, and the field of view of the microscope portion 7 is fixed. After that, the operator 201 adjusts the magnifying power, the focal length to the object to be observed, and the like. Since the display device 4 displays a three-dimensional image, the operator 201 can stereoscopically grasp the surgical site through the three-dimensional image.

続いて、制御装置３が行う画像取得処理について、図４～図６を参照して説明する。図４は、実施の形態１に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。図４に示すフローチャートは、ＩＲＩによって、手術前後の画像から血液の流量変化を測定する例を示す。 Next, image acquisition processing performed by the control device 3 will be described with reference to FIGS. 4 to 6. FIG. 4 is a flow chart showing the flow of processing performed by the control device of the medical observation system according to Embodiment 1. FIG. The flowchart shown in FIG. 4 shows an example of measuring changes in blood flow rate from images before and after surgery using IRI.

まず、制御部３７は、顕微鏡部７に画像を撮像させて、手術前の第１画像（第１の医療用画像）を取得する（ステップＳ１０１）。この際、画像処理部３２が、撮像信号をもとに第１画像を生成する。顕微鏡部７によって撮像されると、制御部３７は、復元設定部３１に、第１画像を撮像した際の撮像条件（第１の撮像条件）に関する復元パラメータを保存させる。 First, the control unit 37 causes the microscope unit 7 to capture an image to obtain a first image (first medical image) before surgery (step S101). At this time, the image processing unit 32 generates the first image based on the imaging signal. When the image is captured by the microscope unit 7, the control unit 37 causes the restoration setting unit 31 to store the restoration parameters related to the imaging conditions (first imaging conditions) when the first image was captured.

ステップＳ１０１に続くステップＳ１０２において、復元設定部３１は、撮像時点（制御部３７からの保存指示時点）における復元パラメータを記憶部３６に記憶させ、復元パラメータを保存する。 In step S102 following step S101, the restoration setting unit 31 causes the storage unit 36 to store the restoration parameters at the time of imaging (the time of the save instruction from the control unit 37), and saves the restoration parameters.

復元設定部３１は、生成された第１画像において、手術後の画像（後述する第２画像）と輝度値を比較するための比較領域を設定する（ステップＳ１０３）。比較領域は、ユーザが入力部３５を介して入力して設定してもよいし、予め設定された条件、例えば、画角に対する所定の位置や、設定する領域においてすべての画素の輝度値が閾値以下である領域などの条件によって設定してもよい。 In the generated first image, the restoration setting unit 31 sets a comparison region for comparing the postoperative image (second image described later) and the luminance value (step S103). The comparison area may be set by the user inputting it via the input unit 35, or may be set based on preset conditions, such as a predetermined position with respect to the angle of view, or the luminance values of all pixels in the area to be set as a threshold value. It may be set according to conditions such as the following areas.

図５は、手術前の画像（第１画像）の一例を模式的に示す図である。なお、以下では、二次元の画像を例に説明するが、実際には術者は三次元の画像を観察する。
図５に示すように、第１画像の右下には、比較領域Ｒ1が設定される。比較領域Ｒ1は、例えば、第１画像において、術後でも明るさや形状が変化しない、術部以外の領域が設定される。 FIG. 5 is a diagram schematically showing an example of an image (first image) before surgery. Although a two-dimensional image will be described below as an example, the operator actually observes a three-dimensional image.
As shown in FIG. 5, a comparison area R1 is set in the lower right of the first image. For the comparison region R1 , for example, in the first image, a region other than the surgical site is set in which the brightness and shape do not change even after the surgery.

その後、術者によって手術が実施される。この間、制御部３７は、顕微鏡部７の位置、及び各アーム部の姿勢を復元する姿勢復元指示の入力の有無を確認する（ステップＳ１０４）。制御部３７は、姿勢復元指示の入力がなければ（ステップＳ１０４：Ｎｏ）、入力の有無の確認を繰り返す。これに対し、手術後に術者が、入力部３５を介して姿勢復元指示を入力すると、制御部３７が、姿勢復元指示の入力があると判断し（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行する。 After that, the operation is performed by the operator. During this time, the control unit 37 confirms whether or not there is an input of a posture restoration instruction for restoring the position of the microscope unit 7 and the posture of each arm (step S104). If there is no posture restoration instruction input (step S104: No), the control unit 37 repeats confirmation of the presence or absence of input. On the other hand, when the operator inputs a posture restoration instruction via the input unit 35 after surgery, the control unit 37 determines that the posture restoration instruction has been input (step S104: Yes), and proceeds to step S105. .

ステップＳ１０５において、復元設定部３１は、記憶部３６に記憶されている復元パラメータを読み出して、顕微鏡部７の位置や、撮像条件を復元する。制御部３７は、復元設定部３１が読み出した復元パラメータに基づいて第２の撮像条件を設定し、第１関節部１１～第６関節部１６を各軸のまわりに回転させ、顕微鏡部７の位置を復元するとともに、顕微鏡部７が撮像する条件を復元パラメータに基づいて設定する。 In step S105, the restoration setting unit 31 reads the restoration parameters stored in the storage unit 36, and restores the position of the microscope unit 7 and the imaging conditions. The control unit 37 sets the second imaging condition based on the restoration parameters read by the restoration setting unit 31, rotates the first joint unit 11 to the sixth joint unit 16 around each axis, and adjusts the microscope unit 7. Along with restoring the position, conditions for imaging by the microscope unit 7 are set based on the restoration parameters.

その後、制御部３７は、復元された状態において顕微鏡部７に画像を撮像させて、手術後の第２画像（第２の医療用画像）を取得する（ステップＳ１０６）。この際、画像処理部３２が、撮像信号をもとに第２画像を生成する。 After that, the control unit 37 causes the microscope unit 7 to capture an image in the restored state, and obtains a second postoperative image (second medical image) (step S106). At this time, the image processing unit 32 generates a second image based on the imaging signal.

図６は、手術後の画像（第２画像）の一例を模式的に示す図である。図６に示すように、術後の第２画像には、ＩＣＧによって血液が描出される（領域Ｂ1参照）。また、第２画像には、第１画像に対応する位置に、比較領域Ｒ2が設定される。 FIG. 6 is a diagram schematically showing an example of an image (second image) after surgery. As shown in FIG. 6, blood is depicted by ICG in the second postoperative image (see region B1 ). A comparison region R2 is set in the second image at a position corresponding to the first image.

ステップＳ１０６に続くステップＳ１０７において、補正部３３が、第１画像における比較領域Ｒ1の輝度値と、第２画像における比較領域Ｒ2の輝度値との差分を算出する。 In step S107 following step S106, the correction unit 33 calculates the difference between the luminance value of the comparison region R1 in the first image and the luminance value of the comparison region R2 in the second image.

その後、補正部３３が、差分に基づいて第１画像又は第２画像の明るさを補正する（ステップＳ１０８）。実施の形態１では、補正部３３が、差分をもとに第２画像の明るさを補正する。補正部３３は、例えば、差分値に基づいてゲイン値を調整して、第２画像の明るさを補正する。なお、補正部３３は、第１画像の明るさを補正してもよいし、第１画像及び第２画像の明るさをそれぞれ補正してもよい。 After that, the correction unit 33 corrects the brightness of the first image or the second image based on the difference (step S108). In Embodiment 1, the correction unit 33 corrects the brightness of the second image based on the difference. For example, the correction unit 33 adjusts the gain value based on the difference value to correct the brightness of the second image. Note that the correction unit 33 may correct the brightness of the first image, or may correct the brightness of each of the first image and the second image.

ステップＳ１０８に続くステップＳ１０９において、変化量算出部３４は、第１画像と、補正部３３による補正後の第２画像とから、対応する画素ごとに、明るさ（輝度値）の差分を血液の流量の変化量として算出する。なお、変化量算出部３４は、予め設定された画素数及び画素位置で組をなす画素群ごとに変化量を算出してもよい。この場合、画素群を構成する各画素の輝度値の代表値同士の差分を算出する。代表値は、平均値、最頻値、最大値、最小値などである。 In step S109 following step S108, the change amount calculation unit 34 calculates the difference in brightness (luminance value) of blood for each corresponding pixel from the first image and the second image corrected by the correction unit 33. Calculated as the amount of change in flow rate. Note that the change amount calculation unit 34 may calculate the change amount for each pixel group forming a set with a preset number of pixels and pixel positions. In this case, the difference between the representative values of the luminance values of the pixels forming the pixel group is calculated. Representative values are mean, mode, maximum, minimum, and the like.

その後、制御部３７は、ステップＳ１０９において算出された、血液の流量の変化量に関する情報を出力する（ステップＳ１１０）。この際、画像処理部３１が、変化量に応じて色を付与し、第１画像又は第２画像にその色を対応する位置に重畳した重畳画像や、変化量を数値で表現した表示画像等を、変化量に関する情報として作成する。 After that, the control unit 37 outputs information about the amount of change in the blood flow rate calculated in step S109 (step S110). At this time, the image processing unit 31 assigns a color according to the amount of change, a superimposed image in which the color is superimposed on the first image or the second image at a corresponding position, a display image expressing the amount of change numerically, or the like. is created as information about the amount of change.

図７は、計測結果の表示画像の一例を模式的に示す図である。図７では、第１画像（図５参照）と第２画像（図６参照）との輝度値の差分に応じて色を重畳した画像を示している。図７では、重畳した領域（領域Ｂ11）の色をハッチングで表現している。図７に示すように、輝度値の差分に基づいて色を重畳することによって、手術前と手術後との血液の流れの変化を確認することができる。なお、重畳した領域（領域Ｂ11）では、変化量に応じて色や濃淡が異なる。 FIG. 7 is a diagram schematically showing an example of a display image of measurement results. FIG. 7 shows an image in which colors are superimposed according to the difference in luminance value between the first image (see FIG. 5) and the second image (see FIG. 6). In FIG. 7, the color of the superimposed area (area B 11 ) is represented by hatching. As shown in FIG. 7, by superimposing colors based on differences in luminance values, changes in blood flow before and after surgery can be confirmed. Note that in the superimposed area (area B 11 ), the color and shade differ according to the amount of change.

以上説明した実施の形態１は、撮像時刻が異なり、後の画像が顕微鏡部７の位置が、先の画像を撮像した位置に復元して撮像された画像を比較して、変化量を測定する構成において、一方の画像に第１の比較領域を設定し、この第１の比較領域の明るさ（輝度値）と、他方の画像における、第１の比較領域に対応する位置の第２の比較領域の明るさ（輝度値）とを比較して、画像の明るさを調整するようにしたので、二つの画像の明るさを揃えた画像として明るさを比較できる。実施の形態１によれば、異なる時刻に取得した画像の相対的な明るさを正確に比較することができる。 In the first embodiment described above, the imaging time is different, and the position of the microscope unit 7 in the later image is restored to the position in which the previous image was captured, and the images captured are compared to measure the amount of change. In the configuration, a first comparison area is set in one image, and a second comparison is made between the brightness (luminance value) of this first comparison area and the position corresponding to the first comparison area in the other image. Since the brightness (luminance value) of the area is compared and the brightness of the image is adjusted, the brightness of the two images can be compared as an image having the same brightness. According to Embodiment 1, the relative brightness of images acquired at different times can be accurately compared.

（実施の形態２）
次に、実施の形態２について、図８を参照して説明する。図８は、実施の形態２に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。実施の形態２に係る医療用観察システムは、上述した実施の形態１の医療用観察システム１と同じ構成であるため、説明を省略する。以下、実施の形態１とは異なる処理について説明する。図８に示すフローチャートは、実施の形態１と同様に、ＩＲＩによって、手術前後の画像から血液の流量変化を測定する例を示す。 (Embodiment 2)
Next, Embodiment 2 will be described with reference to FIG. 8 is a flow chart showing the flow of processing performed by the control device of the medical observation system according to Embodiment 2. FIG. Since the medical observation system according to Embodiment 2 has the same configuration as the medical observation system 1 according to Embodiment 1 described above, the description thereof is omitted. Processing different from that of the first embodiment will be described below. The flowchart shown in FIG. 8 shows an example of measuring blood flow rate changes from images before and after surgery by IRI, as in the first embodiment.

まず、制御部３７は、顕微鏡部７に画像を撮像させて、手術前の第１画像を取得する（ステップＳ２０１）。その後、復元設定部３１は、撮像時点（制御部３７からの保存指示時点）における復元パラメータを記憶部３６に記憶させ、復元パラメータを保存する（ステップＳ２０２）。復元設定部３１は、生成された第１画像において、手術後の画像（第２画像）と輝度値を比較するための比較領域を設定する（ステップＳ２０３）。 First, the control unit 37 causes the microscope unit 7 to capture an image to obtain a first image before surgery (step S201). After that, the restoration setting unit 31 causes the storage unit 36 to store the restoration parameters at the time of imaging (at the time of the storage instruction from the control unit 37), and saves the restoration parameters (step S202). The restoration setting unit 31 sets a comparison region for comparing the postoperative image (second image) and the luminance value in the generated first image (step S203).

その後、術者によって手術が実施される。この間、制御部３７は、顕微鏡部７の位置、及び各アーム部の姿勢を復元する姿勢復元指示の入力の有無を確認する（ステップＳ２０４）。制御部３７は、姿勢復元指示の入力がなければ（ステップＳ２０４：Ｎｏ）、入力の有無の確認を繰り返す。これに対し、手術後に術者が、入力部３５を介して姿勢復元指示を入力すると、制御部３７が、姿勢復元指示の入力があると判断し（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０５に移行する。 After that, the operation is performed by the operator. During this time, the control unit 37 checks the position of the microscope unit 7 and whether or not there is an input of a posture restoration instruction for restoring the posture of each arm (step S204). If there is no posture restoration instruction input (step S204: No), the control unit 37 repeats confirmation of the presence or absence of input. On the other hand, when the operator inputs a posture restoration instruction via the input unit 35 after surgery, the control unit 37 determines that the posture restoration instruction has been input (step S204: Yes), and proceeds to step S205. .

ステップＳ２０５において、復元設定部３１は、記憶部３６に記憶されている復元パラメータを読み出して、顕微鏡部７の位置や、撮像条件を復元する。その後、制御部３７は、復元された状態において顕微鏡部７に画像を撮像させて、手術後の第２画像を取得する（ステップＳ２０６）。 In step S205, the restoration setting unit 31 reads the restoration parameters stored in the storage unit 36, and restores the position of the microscope unit 7 and the imaging conditions. After that, the control unit 37 causes the microscope unit 7 to capture an image in the restored state, and obtains a second postoperative image (step S206).

ステップＳ２０６に続くステップＳ２０７において、補正部３３が、第１画像における比較領域の輝度値と、第２画像における比較領域の輝度値との差分を算出する。 In step S207 following step S206, the correction unit 33 calculates the difference between the luminance value of the comparison area in the first image and the luminance value of the comparison area in the second image.

その後、補正部３３が、差分に基づいて照明光の光量を補正する（ステップＳ２０８）。実施の形態２では、補正部３３が、第１画像の明るさと同等になるように、差分をもとに光源の照度を補正する。補正部３３は、例えば、差分値に基づいて照度（明るさ）の指示値を調整して、光源の照度を補正する。 After that, the correction unit 33 corrects the amount of illumination light based on the difference (step S208). In Embodiment 2, the correcting unit 33 corrects the illuminance of the light source based on the difference so that the brightness becomes equivalent to the brightness of the first image. The correction unit 33 corrects the illuminance of the light source by, for example, adjusting the indicated value of the illuminance (brightness) based on the difference value.

制御部３７は、光源の照度が補正された照明光によって顕微鏡部７に画像を撮像させて、手術後の第３画像を取得する（ステップＳ２０９）。 The control unit 37 causes the microscope unit 7 to capture an image using illumination light whose illuminance has been corrected, and obtains a third postoperative image (step S209).

ステップＳ２０９に続くステップＳ２１０において、変化量算出部３４は、第１画像と、補正部３３による補正後の第２画像とから、画素位置ごとに、明るさ（輝度値）の差分を血液の流量の変化量として算出する。 In step S210 following step S209, the change amount calculation unit 34 calculates the difference in brightness (luminance value) for each pixel position from the first image and the second image corrected by the correction unit 33 as the blood flow rate. Calculated as the amount of change in

その後、制御部３７は、ステップＳ２１０において算出された、血液の流量の変化量に関する情報を出力する（ステップＳ２１１）。この際、変化量に関する情報は、画像処理部３１によって、変化量に応じて色を付与し、第１画像又は第２画像にその色を対応する位置に重畳した重畳画像（図７参照）や、変化量を数値で表現した表示画像等を作成される。 After that, the control unit 37 outputs information about the amount of change in the blood flow rate calculated in step S210 (step S211). At this time, the information about the amount of change is a superimposed image (see FIG. 7) obtained by adding a color according to the amount of change by the image processing unit 31 and superimposing the color on the first image or the second image at the corresponding position. , a display image or the like expressing the amount of change numerically is created.

以上説明した実施の形態２は、撮像時刻が異なり、後の画像が顕微鏡部７の位置が、先の画像を撮像した位置に復元して撮像された画像を比較して、変化量を測定する構成において、一方の画像に第１の比較領域を設定し、この第１の比較領域の明るさ（輝度値）と、他方の画像における、第１の比較領域に対応する位置の第２の比較領域の明るさ（輝度値）とを比較して、比較結果に基づいて光源の照度を補正することによって画像の明るさを揃えるようにしたので、得られる画像そのものの明るさを揃えて画像を比較できる。実施の形態２によれば、異なる時刻に取得した画像の相対的な明るさを正確に比較することができる。 In the second embodiment described above, the imaging time is different, and the position of the microscope unit 7 in the later image is restored to the position in which the previous image was captured, and the images captured are compared to measure the amount of change. In the configuration, a first comparison area is set in one image, and a second comparison is made between the brightness (luminance value) of this first comparison area and the position corresponding to the first comparison area in the other image. By comparing the brightness (luminance value) of the area and correcting the illuminance of the light source based on the comparison result, the brightness of the image is uniformed. can be compared. According to Embodiment 2, it is possible to accurately compare the relative brightness of images acquired at different times.

なお、実施の形態２において、ステップＳ２０９で第３画像を取得後に、この第３画像の輝度値と、第１画像の輝度値とを比較して、ステップＳ２０７以降の照明光の調整処理を繰り返してもよい。 In the second embodiment, after acquiring the third image in step S209, the luminance value of the third image is compared with the luminance value of the first image, and the illumination light adjustment process in and after step S207 is repeated. may

また、実施の形態２では、補正部３３が、差分に基づいて光源の照度を補正する例について説明したが、撮像素子におけるゲイン処理や、シャッター速度、レンズの絞り値等の画角に変化を及ぼさないパラメータを補正するようにしてもよいし、光源の照度を含む上述したパラメータのうちの二つ以上のパラメータを補正してもよい。 Further, in Embodiment 2, an example in which the correction unit 33 corrects the illuminance of the light source based on the difference has been described. It is possible to correct the parameter that does not affect, or to correct two or more of the above parameters including the illuminance of the light source.

（実施の形態３）
次に、実施の形態３について、図９、１０を参照して説明する。実施の形態３は、実施の形態１の制御装置３に代えて制御装置３Ａを備える以外は、上述した実施の形態と同じであるため、制御装置３Ａ以外の構成等の説明を省略する。 (Embodiment 3)
Next, Embodiment 3 will be described with reference to FIGS. The third embodiment is the same as the above-described embodiments except that the control device 3A is replaced with the control device 3 of the first embodiment.

制御装置３Ａは、復元設定部３１と、画像処理部３２と、補正部３３と、変化量算出部３４と、入力部３５と、記憶部３６と、制御部３７と、画角判定部３８とを備える。制御装置３Ａの構成は、画角判定部３８を追加した以外は制御装置３と同じ構成である。以下、実施の形態１とは異なる構成である画角判定部３８について説明する。 The control device 3A includes a restoration setting unit 31, an image processing unit 32, a correction unit 33, a change amount calculation unit 34, an input unit 35, a storage unit 36, a control unit 37, and an angle of view determination unit 38. Prepare. The configuration of the control device 3A is the same as that of the control device 3 except that the view angle determination unit 38 is added. The view angle determination unit 38 having a configuration different from that of the first embodiment will be described below.

画角判定部３８は、撮像時刻の異なる画像であって、一方の画像の画角に対して、撮像位置等が復元された他方の画像の画角の位置を検出し、画角のずれ量と閾値とを比較する。記憶部３６には、画角のずれについて、許容されるずれ量が予め閾値として記憶されている。 The angle-of-view determination unit 38 detects the position of the angle of view of the other image whose image capturing position and the like have been restored from the angle of view of one of the images captured at different times, and determines the amount of deviation of the angle of view. and a threshold. The storage unit 36 pre-stores a permissible deviation amount as a threshold for the deviation of the angle of view.

図１０は、実施の形態３に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。図１０に示すフローチャートは、実施の形態１と同様に、ＩＲＩによって、手術前後の画像から血液の流量変化を測定する例を示す。 10 is a flow chart showing the flow of processing performed by the control device of the medical observation system according to Embodiment 3. FIG. The flowchart shown in FIG. 10 shows an example of measuring blood flow rate changes from images before and after surgery by IRI, as in the first embodiment.

まず、制御部３７は、顕微鏡部７に画像を撮像させて、手術前の第１画像を取得する（ステップＳ３０１）。その後、復元設定部３１は、撮像時点（制御部３７からの保存指示時点）における復元パラメータを記憶部３６に記憶させ、復元パラメータを保存する（ステップＳ３０２）。復元設定部３１は、生成された第１画像において、手術後の画像（第２画像）と輝度値を比較するための比較領域を設定する（ステップＳ３０３）。 First, the control unit 37 causes the microscope unit 7 to capture an image to obtain a first image before surgery (step S301). After that, the restoration setting unit 31 causes the storage unit 36 to store the restoration parameters at the time of imaging (the time of the storage instruction from the control unit 37), and saves the restoration parameters (step S302). The restoration setting unit 31 sets a comparison region for comparing the postoperative image (second image) and the luminance value in the generated first image (step S303).

その後、術者によって手術が実施される。この間、制御部３７は、顕微鏡部７の位置、及び各アーム部の姿勢を復元する姿勢復元指示の入力の有無を確認する（ステップＳ３０４）。制御部３７は、姿勢復元指示の入力がなければ（ステップＳ３０４：Ｎｏ）、入力の有無の確認を繰り返す。これに対し、手術後に術者が、入力部３５を介して姿勢復元指示を入力すると、制御部３７が、姿勢復元指示の入力があると判断し（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０５に移行する。 After that, the operation is performed by the operator. During this time, the control unit 37 confirms the position of the microscope unit 7 and whether or not there is an input of a posture restoration instruction for restoring the posture of each arm (step S304). If there is no posture restoration instruction input (step S304: No), the control unit 37 repeats confirmation of the presence or absence of input. On the other hand, when the operator inputs a posture restoration instruction via the input unit 35 after surgery, the control unit 37 determines that the posture restoration instruction has been input (step S304: Yes), and proceeds to step S305. .

ステップＳ３０５において、復元設定部３１は、記憶部３６に記憶されている復元パラメータを読み出して、顕微鏡部７の位置や、撮像条件を復元する。その後、制御部３７は、復元された状態において顕微鏡部７に画像を撮像させて、手術後の第２画像を取得する（ステップＳ３０６）。 In step S305, the restoration setting unit 31 reads the restoration parameters stored in the storage unit 36, and restores the position of the microscope unit 7 and the imaging conditions. After that, the control unit 37 causes the microscope unit 7 to capture an image in the restored state, and obtains a second postoperative image (step S306).

ステップＳ３０６に続くステップＳ３０７において、画角判定部３８が、第１画像の画角と、第２画像の画角とのずれを検出し、画角調整が必要か否かを判断する。画角判定部３８は、パターンマッチング等の公知の手法を用いて第１画像の画角と、第２画像の画角とを合わせ、画角のずれ量を算出する。画角判定部３８は、画角がずれた方向のずれ量を算出する。画角判定部３８は、算出したずれ量と、閾値とを比較して、ずれ量が閾値よりも大きければ（ステップＳ３０７：Ｙｅｓ）、画角調整が必要であると判断し、ステップＳ３０８に移行する。 In step S307 following step S306, the view angle determination unit 38 detects a deviation between the view angle of the first image and the view angle of the second image, and determines whether or not the view angle needs to be adjusted. The angle-of-view determination unit 38 matches the angle of view of the first image and the angle of view of the second image using a known method such as pattern matching, and calculates the deviation amount of the angle of view. The angle-of-view determination unit 38 calculates the amount of deviation in the direction in which the angle of view is shifted. The angle-of-view determination unit 38 compares the calculated amount of deviation with a threshold value, and if the amount of deviation is larger than the threshold value (step S307: Yes), determines that angle-of-view adjustment is necessary, and proceeds to step S308. do.

制御部３７は、画角判定部３８が算出したずれ量に応じて、アーム部及び顕微鏡部７を移動させて、顕微鏡部７が撮像する画角の位置を調整する（ステップＳ３０８）。この際、必要に応じて顕微鏡部７内部の光学系を移動させる。その後、制御部３７は、復元された状態において顕微鏡部７に画像を撮像させて、手術後の第３画像を取得する（ステップＳ３０９）。 The control unit 37 moves the arm unit and the microscope unit 7 according to the amount of deviation calculated by the angle-of-view determination unit 38, and adjusts the position of the angle of view captured by the microscope unit 7 (step S308). At this time, the optical system inside the microscope section 7 is moved as necessary. After that, the control unit 37 causes the microscope unit 7 to capture an image in the restored state, and acquires a third postoperative image (step S309).

ステップＳ３０９に続くステップＳ３１０において、補正部３３が、第１画像における比較領域の輝度値と、第３画像における、第１画像の比較領域に対応する位置の比較領域の輝度値との差分を算出する。 In step S310 following step S309, the correction unit 33 calculates the difference between the luminance value of the comparison area in the first image and the luminance value of the comparison area in the third image at the position corresponding to the comparison area in the first image. do.

その後、補正部３３が、差分に基づいて第１画像又は第３画像の明るさを補正する（ステップＳ３１１）。実施の形態３では、実施の形態１と同様に、補正部３３が、差分をもとに第３画像の明るさを補正する。 After that, the correction unit 33 corrects the brightness of the first image or the third image based on the difference (step S311). In Embodiment 3, similarly to Embodiment 1, the correction unit 33 corrects the brightness of the third image based on the difference.

ステップＳ３１１に続くステップＳ３１２において、変化量算出部３４は、第１画像と、補正部３３による補正後の第３画像とから、画素位置ごとに、明るさ（輝度値）の差分を血液の流量の変化量として算出する。 In step S312 following step S311, the change amount calculation unit 34 calculates the difference in brightness (luminance value) for each pixel position from the first image and the third image corrected by the correction unit 33 as the blood flow rate. Calculated as the amount of change in

一方、ステップＳ３０７において、補正部３３は、算出したずれ量と、閾値とを比較して、ずれ量が閾値以下であれば（ステップＳ３０７：Ｎｏ）、画角調整が不要であると判断し、ステップＳ３１３に移行する。 On the other hand, in step S307, the correction unit 33 compares the calculated deviation amount with a threshold value, and if the deviation amount is equal to or less than the threshold value (step S307: No), it determines that the angle of view adjustment is unnecessary, The process proceeds to step S313.

ステップＳ３１３において、補正部３３が、第１画像における比較領域の輝度値と、第２画像における比較領域の輝度値との差分を算出する。補正部３３が、差分に基づいて第１画像又は第２画像の明るさを補正する（ステップＳ３１４）。その後、変化量算出部３４は、第１画像と、補正部３３による補正後の第２画像とから、画素位置ごとに、明るさ（輝度値）の差分を血液の流量の変化量として算出する（ステップＳ３１５）。 In step S313, the correction unit 33 calculates the difference between the luminance value of the comparison area in the first image and the luminance value of the comparison area in the second image. The correction unit 33 corrects the brightness of the first image or the second image based on the difference (step S314). After that, the change amount calculation unit 34 calculates the difference in brightness (luminance value) as the amount of change in blood flow rate for each pixel position from the first image and the second image corrected by the correction unit 33. (Step S315).

制御部３７は、ステップＳ３１２又はＳ３１５において算出された、血液の流量の変化量に関する情報を出力する（ステップＳ３１６）。この際、変化量に関する情報は、画像処理部３１によって、変化量に応じて色を付与し、第１画像又は第２画像にその色を対応する位置に重畳した重畳画像（図７参照）や、変化量を数値で表現した表示画像等を作成される。 The control unit 37 outputs information about the amount of change in the blood flow rate calculated in step S312 or S315 (step S316). At this time, the information about the amount of change is a superimposed image (see FIG. 7) obtained by adding a color according to the amount of change by the image processing unit 31 and superimposing the color on the first image or the second image at the corresponding position. , a display image or the like expressing the amount of change numerically is created.

以上説明した実施の形態３は、撮像時刻が異なり、後の画像が顕微鏡部７の位置が、先の画像を撮像した位置に復元して撮像された画像を比較して、変化量を測定する構成において、一方の画像に第１の比較領域を設定し、この第１の比較領域の明るさ（輝度値）と、他方の画像における、第１の比較領域に対応する位置の第２の比較領域の明るさ（輝度値）とを比較して、画像の明るさを調整するようにしたので、二つの画像の明るさを揃えた画像として明るさを比較できる。実施の形態３によれば、異なる時刻に取得した画像の相対的な明るさを正確に比較することができる。 In the third embodiment described above, the imaging time is different, and the position of the microscope unit 7 in the later image is restored to the position in which the previous image was captured, and the images captured are compared to measure the amount of change. In the configuration, a first comparison area is set in one image, and a second comparison is made between the brightness (luminance value) of this first comparison area and the position corresponding to the first comparison area in the other image. Since the brightness (luminance value) of the area is compared and the brightness of the image is adjusted, the brightness of the two images can be compared as an image having the same brightness. According to Embodiment 3, it is possible to accurately compare the relative brightness of images acquired at different times.

また、実施の形態３は、復元によって撮像された画像（第２画像）の画角が、復元前の画像（第１画像）の画角に対してずれていると判断した場合に、画角を調整して再度画像を撮像するようにしたので、第１画像に対する計測箇所の漏れを抑制して計測結果を出力することができる。 Further, in the third embodiment, when it is determined that the angle of view of the image captured by restoration (second image) is deviated from the angle of view of the image before restoration (first image), the angle of view is adjusted and the image is picked up again, it is possible to output the measurement result while suppressing omission of the measurement points in the first image.

ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した実施の形態によってのみ限定されるべきものではない。例えば、支持部６は、２つのアーム部および該２つのアーム部の一方を他方に対して回動可能に連結する関節部からなる組を少なくとも１組有していればよい。 Although the embodiments for carrying out the present invention have been described so far, the present invention should not be limited only to the above-described embodiments. For example, the support section 6 may have at least one set of two arm sections and a joint section that rotatably connects one of the two arm sections to the other.

なお、実施の形態１～３の各処理において、白色光によって合焦処理を実施した後、特殊光による第１画像や、第２画像、第３画像を取得するようにしてもよい。白色光で合焦処理することによって、ＩＲＩ等の特殊光の波長帯域の光と比して、観察対象に対して明確に合焦した画像を得ることができる。 Note that in each of the processes of Embodiments 1 to 3, the first image, the second image, and the third image may be acquired using special light after performing the focusing process using white light. By performing focusing processing with white light, it is possible to obtain an image that is clearly focused on the observation target compared to light in the wavelength band of special light such as IRI.

また、医療用観察装置を、設置場所の天井から吊り下げて配置する構成としてもよい。 Further, the medical observation device may be configured to be suspended from the ceiling of the installation location.

また、上述した実施の形態１～３では、支持部６が顕微鏡部７を支持する例を説明したが、支持部６は、顕微鏡部７に限らず、撮像可能な構成を有する部材を支持してもよい。例えば、支持部６が、先端において、硬性内視鏡を保持するようにしてもよいし、軟性内視鏡の先端を保持するようにしてもよい。支持部６が内視鏡を保持する場合、ベース部５及び支持部６は、内視鏡ホルダーとして機能する。 Further, in the above-described first to third embodiments, examples in which the support section 6 supports the microscope section 7 have been described. may For example, the support section 6 may hold a rigid endoscope at its distal end, or may hold the distal end of a flexible endoscope. When the support section 6 holds an endoscope, the base section 5 and the support section 6 function as an endoscope holder.

このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、さまざまな実施の形態等を含み得るものである。 Thus, the present invention can include various embodiments and the like without departing from the technical idea described in the claims.

以上のように、本開示にかかる医療用観察システムは、異なる時刻に取得した画像の相対的な明るさを正確に比較するのに有用である。 As described above, the medical observation system according to the present disclosure is useful for accurately comparing the relative brightness of images acquired at different times.

１ 医療用観察システム
２ 医療用観察装置
３ 制御装置
４ 表示装置
５ ベース部
６ 支持部
７ 顕微鏡部
８ 光源装置
１１ 第１関節部
１２ 第２関節部
１３ 第３関節部
１４ 第４関節部
１５ 第５関節部
１６ 第６関節部
２１ 第１アーム部
２２ 第２アーム部
２３ 第３アーム部
２４ 第４アーム部
２５ 第５アーム部
３１ 復元設定部
３２ 画像処理部
３３ 補正部
３４ 変化量算出部
３５ 入力部
３６ 記憶部
３７ 制御部
３８ 画角判定部 1 medical observation system 2 medical observation device 3 control device 4 display device 5 base portion 6 support portion 7 microscope portion 8 light source device 11 first joint portion 12 second joint portion 13 third joint portion 14 fourth joint portion 15 th 5 joint section 16 sixth joint section 21 first arm section 22 second arm section 23 third arm section 24 fourth arm section 25 fifth arm section 31 restoration setting section 32 image processing section 33 correction section 34 change amount calculation section 35 Input unit 36 Storage unit 37 Control unit 38 View angle determination unit

Claims (8)

第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、
第２の医療用画像を撮像する第２の撮像条件として、前記第１の撮像条件に関するパラメータを復元する復元設定部と、
前記第２の撮像条件で観察対象を撮像するよう、撮像部と前記撮像部を支持する支持部とを制御する制御部と、
前記第１の医療用画像と前記第２の医療用画像とを比較し、比較結果に応じて前記第１及び／又は前記第２の医療用画像の明るさを補正する補正部と、
を備え、
前記補正部は、第１の時刻に撮像された前記第１の医療用画像において設定される第１の比較領域の比較値と、前記第１の時刻の後の第２の時刻において撮像された前記第２の医療用画像であって、前記復元設定部が復元したパラメータに基づいて撮像条件が復元され、前記撮像部によって撮像された前記第２の医療用画像における、前記第１の比較領域に対応する位置に設定される第２の比較領域の各輝度値とを比較する、
医療用観察制御装置。 a storage unit that stores parameters related to a first imaging condition including the position of the imaging unit during imaging of the first medical image;
a restoration setting unit that restores parameters relating to the first imaging condition as a second imaging condition for imaging a second medical image;
a control unit that controls an imaging unit and a support unit that supports the imaging unit so as to image an observation target under the second imaging condition;
a correction unit that compares the first medical image and the second medical image and corrects the brightness of the first and/or the second medical image according to the comparison result;
with
The correction unit is configured to set a comparison value of a first comparison region set in the first medical image captured at a first time and a comparison value captured at a second time after the first time. The first comparison region in the second medical image captured by the imaging unit, the imaging condition being restored based on the parameters restored by the restoration setting unit. Compare with each luminance value of the second comparison area set at the position corresponding to
Medical observation control device. 前記補正部は、
前記第１の医療用画像の前記第１の比較領域の輝度値と、前記第２の医療用画像の前記第２の比較領域の輝度値との差分を算出し、
前記第１の医療用画像及び前記第２の医療用画像の少なくとも一方の画像の明るさを、前記差分に基づいて補正する、
請求項１に記載の医療用観察制御装置。 The correction unit is
calculating a difference between the luminance value of the first comparison region of the first medical image and the luminance value of the second comparison region of the second medical image;
correcting the brightness of at least one of the first medical image and the second medical image based on the difference;
The medical observation control device according to claim 1 . 前記補正部は、
前記第１の医療用画像の前記第１の比較領域の輝度値と、前記第２の医療用画像の前記第２の比較領域の輝度値との差分を算出し、
前記差分に基づいて、前記第２の時刻における撮像条件を補正する、
請求項１に記載の医療用観察制御装置。 The correction unit is
calculating a difference between the luminance value of the first comparison region of the first medical image and the luminance value of the second comparison region of the second medical image;
correcting the imaging condition at the second time based on the difference;
The medical observation control device according to claim 1 . 前記補正部は、前記撮像部の撮像領域を照明する照明光を出射する光源装置が出射する照明光による照度、前記撮像部におけるゲイン処理、シャッター速度、レンズの絞り値のうちの少なくとも一つを補正する、
請求項３に記載の医療用観察制御装置。 The correction unit adjusts at least one of illuminance of illumination light emitted from a light source device that emits illumination light for illuminating an imaging area of the imaging unit, gain processing in the imaging unit, shutter speed, and aperture value of a lens. to correct,
The medical observation control device according to claim 3 . 前記第１の医療用画像の画角と、前記第２の医療用画像の画角とを比較して、画角のずれを判定する画角判定部、
をさらに有する、
請求項１に記載の医療用観察制御装置。 an angle of view determination unit that compares the angle of view of the first medical image and the angle of view of the second medical image to determine a deviation of the angle of view;
further having
The medical observation control device according to claim 1 . 前記補正部による補正後の前記第１の医療用画像及び前記第２の医療用画像との間の明るさの変化量を算出する変化量算出部、
をさらに備える請求項１に記載の医療用観察制御装置。 a change amount calculation unit that calculates a change amount in brightness between the first medical image and the second medical image corrected by the correction unit;
The medical observation control device of claim 1, further comprising: 観察対象を撮像する医療用観察装置、及び、前記医療用観察装置を電気的に制御する制御装置を備えた医療用観察システムにおいて、
前記医療用観察装置は、
観察対象を拡大して撮像可能とする撮像部と、
複数のアーム部、及び当該複数のアーム部を接続する複数の関節部を有し、先端で前記撮像部を支持する支持部と、
を備え、
前記制御装置は、
第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、
第２の医療用画像を撮像する第２の撮像条件として、前記第１の撮像条件に関するパラメータを復元する復元設定部と、
前記第２の撮像条件で観察対象を撮像するよう、前記撮像部と前記支持部とを制御する制御部と、
前記第１の医療用画像と前記第２の医療用画像とを比較し、比較結果に応じて前記第１及び／又は前記第２の医療用画像の明るさを補正する補正部と、
を備え、
前記補正部は、第１の時刻に撮像された前記第１の医療用画像において設定される第１の比較領域の比較値と、前記第１の時刻の後の第２の時刻において撮像された前記第２の医療用画像であって、前記復元設定部が復元したパラメータに基づいて撮像条件が復元され、前記撮像部によって撮像された前記第２の医療用画像における、前記第１の比較領域に対応する位置に設定される第２の比較領域の各輝度値とを比較する、
医療用観察システム。 A medical observation system comprising a medical observation device that captures an image of an observation target and a control device that electrically controls the medical observation device,
The medical observation device includes:
an imaging unit capable of magnifying and imaging an observation target;
a support section having a plurality of arm sections and a plurality of joint sections connecting the plurality of arm sections and supporting the imaging section at a tip;
with
The control device is
a storage unit that stores parameters related to a first imaging condition including the position of the imaging unit during imaging of the first medical image;
a restoration setting unit that restores parameters relating to the first imaging condition as a second imaging condition for imaging a second medical image;
a control unit that controls the imaging unit and the support unit so as to image the observation target under the second imaging condition;
a correction unit that compares the first medical image and the second medical image and corrects the brightness of the first and/or the second medical image according to the comparison result;
with
The correction unit is configured to set a comparison value of a first comparison region set in the first medical image captured at a first time and a comparison value captured at a second time after the first time. The first comparison region in the second medical image captured by the imaging unit, the imaging condition being restored based on the parameters restored by the restoration setting unit. Compare with each luminance value of the second comparison area set at the position corresponding to
Medical observation system. 前記撮像部の撮像領域を照明する照明光を出射する光源装置、
をさらに備え、
前記補正部は、前記光源装置が出射する照明光による照度、前記撮像部におけるゲイン処理、シャッター速度、及びレンズの絞り値のうちの少なくとも一つを補正する、
請求項７に記載の医療用観察システム。 a light source device that emits illumination light for illuminating an imaging area of the imaging unit;
further comprising
The correcting unit corrects at least one of illuminance of the illumination light emitted from the light source device, gain processing in the imaging unit, shutter speed, and aperture value of the lens.
The medical observation system according to claim 7 .
JP2019056834A 2019-03-25 2019-03-25 Medical observation control device and medical observation system Active JP7299046B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019056834A JP7299046B2 (en) 2019-03-25 2019-03-25 Medical observation control device and medical observation system
US16/795,568 US11648080B2 (en) 2019-03-25 2020-02-19 Medical observation control device and medical observation system that correct brightness differences between images acquired at different timings

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019056834A JP7299046B2 (en) 2019-03-25 2019-03-25 Medical observation control device and medical observation system

Publications (2)

Publication Number Publication Date
JP2020156597A JP2020156597A (en) 2020-10-01
JP7299046B2 true JP7299046B2 (en) 2023-06-27

Family

ID=72606326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019056834A Active JP7299046B2 (en) 2019-03-25 2019-03-25 Medical observation control device and medical observation system

Country Status (2)

Country Link
US (1) US11648080B2 (en)
JP (1) JP7299046B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041942A (en) 1998-07-31 2000-02-15 Olympus Optical Co Ltd Endoscope apparatus
WO2002067039A1 (en) 2001-02-19 2002-08-29 Olympus Optical Co., Ltd. Image comparing device, image comparing method and progrom having computer run image comparison
JP2004000505A (en) 2002-03-28 2004-01-08 Fuji Photo Film Co Ltd Endoscope apparatus
JP2009018116A (en) 2007-07-13 2009-01-29 Olympus Medical Systems Corp Endoscope, endoscope apparatus and curving control method of endoscope
JP2015025965A (en) 2013-07-26 2015-02-05 オリンパス株式会社 Endoscope image processing device and endoscope device
WO2017122431A1 (en) 2016-01-15 2017-07-20 オリンパス株式会社 Image analysis device, image analysis system, and method for actuating image analysis device
WO2017169135A1 (en) 2016-03-30 2017-10-05 ソニー株式会社 Control device, control method, and operating microscope device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765146A (en) * 1993-08-24 1995-03-10 Toshiba Corp Ultrasonic diagnostic system
US6898331B2 (en) * 2002-08-28 2005-05-24 Bae Systems Aircraft Controls, Inc. Image fusion system and method
US20110028850A1 (en) * 2009-07-28 2011-02-03 Thomas Schuhrke Process for quantitative display of blood flow
JP6448356B2 (en) * 2014-12-22 2019-01-09 キヤノン株式会社 Image processing apparatus, image processing method, image processing system, and program
CN107566747B (en) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 Image brightness enhancement method and device
KR102610542B1 (en) * 2019-03-07 2023-12-07 삼성전자주식회사 Electronic device and method for adjusting color of image data using infrared sensor
US10827162B1 (en) * 2019-04-15 2020-11-03 Synaptive Medical (Barbados) Inc. Augmented optical imaging system for use in medical procedures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041942A (en) 1998-07-31 2000-02-15 Olympus Optical Co Ltd Endoscope apparatus
WO2002067039A1 (en) 2001-02-19 2002-08-29 Olympus Optical Co., Ltd. Image comparing device, image comparing method and progrom having computer run image comparison
JP2004000505A (en) 2002-03-28 2004-01-08 Fuji Photo Film Co Ltd Endoscope apparatus
JP2009018116A (en) 2007-07-13 2009-01-29 Olympus Medical Systems Corp Endoscope, endoscope apparatus and curving control method of endoscope
JP2015025965A (en) 2013-07-26 2015-02-05 オリンパス株式会社 Endoscope image processing device and endoscope device
WO2017122431A1 (en) 2016-01-15 2017-07-20 オリンパス株式会社 Image analysis device, image analysis system, and method for actuating image analysis device
WO2017169135A1 (en) 2016-03-30 2017-10-05 ソニー株式会社 Control device, control method, and operating microscope device

Also Published As

Publication number Publication date
JP2020156597A (en) 2020-10-01
US11648080B2 (en) 2023-05-16
US20200306002A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
JP7392654B2 (en) Medical observation system, medical observation device, and medical observation method
JP6758287B2 (en) Control device and medical imaging system
JP6654006B2 (en) Medical observation device
JP7363767B2 (en) Image processing device, image processing method, and program
US20210398304A1 (en) Medical observation system configured to generate three-dimensional information and to calculate an estimated region and a corresponding method
EP3603562B1 (en) Medical observation apparatus and observation field correction method
JP2022136184A (en) Control device, endoscope system, and control device operation method
JP2012213555A (en) Fundus photographing apparatus
JP4902719B2 (en) Tomographic imaging apparatus, tomographic imaging method, program, and storage medium
JP7299046B2 (en) Medical observation control device and medical observation system
JP7092111B2 (en) Imaging device, video signal processing device and video signal processing method
JP7135869B2 (en) Light emission control device, light emission control method, program, light emitting device, and imaging device
JP7063321B2 (en) Imaging device, video signal processing device and video signal processing method
JP6288936B2 (en) Cancer diagnostic equipment
JP7160042B2 (en) Image processing device, image processing method and image processing program
JP2013074929A (en) Oral cavity interior observation device and oral cavity interior observation system
JP2017037238A (en) Medical observation device, control unit, and method and program for operating control unit
WO2018043205A1 (en) Medical image processing device, medical image processing method, and program
WO2020246181A1 (en) Image processing device, image processing method, and program
JP6507528B2 (en) Ophthalmic device
US11336838B2 (en) Image processing apparatus and medical observation system
WO2022172733A1 (en) Observation device for medical treatment, observation device, observation method and adapter
JP2022020501A (en) Medical arm control system, medical arm control method and program
CN115052551A (en) Medical image processing apparatus and medical observation system
WO2020121654A1 (en) Imaging device, imaging control device and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230615

R151 Written notification of patent or utility model registration

Ref document number: 7299046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151