JP6918924B2 - Medical display control device, medical observation device, display control method, and medical observation system - Google Patents

Medical display control device, medical observation device, display control method, and medical observation system Download PDF

Info

Publication number
JP6918924B2
JP6918924B2 JP2019508543A JP2019508543A JP6918924B2 JP 6918924 B2 JP6918924 B2 JP 6918924B2 JP 2019508543 A JP2019508543 A JP 2019508543A JP 2019508543 A JP2019508543 A JP 2019508543A JP 6918924 B2 JP6918924 B2 JP 6918924B2
Authority
JP
Japan
Prior art keywords
image
medical
imaging
display control
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019508543A
Other languages
Japanese (ja)
Other versions
JPWO2018179564A1 (en
Inventor
智子 寺門
智子 寺門
塩田　敬司
敬司 塩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of JPWO2018179564A1 publication Critical patent/JPWO2018179564A1/en
Application granted granted Critical
Publication of JP6918924B2 publication Critical patent/JP6918924B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508—Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)

Description

本開示は、医療用表示制御装置、医療用観察装置、表示制御方法、および医療用観察システムに関する。 The present disclosure relates to a medical display control device, a medical observation device, a display control method, and a medical observation system.

近年、医療現場においては、手術をサポートするために、患部などの観察対象を拡大観察することが可能な医療用観察装置が用いられる場合がある。医療用観察装置としては、例えば、光学式の顕微鏡を備える医療用観察装置と、電子撮像式の顕微鏡として機能する撮像デバイスを備える医療用観察装置とが挙げられる。以下では、上記光学式の顕微鏡を備える医療用観察装置を「光学式の医療用観察装置」と示す。また、以下では、上記撮像デバイスを備える医療用観察装置を、「電子撮像式の医療用観察装置」または単に「医療用観察装置」と示す場合がある。 In recent years, in the medical field, in order to support surgery, a medical observation device capable of magnifying and observing an observation target such as an affected area may be used. Examples of the medical observation device include a medical observation device including an optical microscope and a medical observation device including an imaging device functioning as an electronic imaging type microscope. Hereinafter, the medical observation device provided with the optical microscope will be referred to as an “optical medical observation device”. Further, in the following, the medical observation device including the above-mentioned imaging device may be referred to as an "electronic imaging type medical observation device" or simply a "medical observation device".

このような中、波長帯域が異なる２種類の画像を撮像することが可能な、光学式の医療用観察装置に係る技術が開発されている。可視波長帯域の可視光画像と近赤外波長帯域の蛍光画像とを撮像することが可能な手術用顕微鏡に係る技術としては、例えば下記の特許文献１に記載の技術が挙げられる。 Under these circumstances, a technique related to an optical medical observation device capable of capturing two types of images having different wavelength bands has been developed. Examples of the technique related to the surgical microscope capable of capturing a visible light image in the visible wavelength band and a fluorescent image in the near infrared wavelength band include the technique described in Patent Document 1 below.

特開２０１０−２１３９９５号公報JP-A-2010-213995

例えば特許文献１に記載の手術用顕微鏡（光学式の医療用観察装置に該当する。）は、可視波長帯域の光の観察像を撮像するＣＣＤ（Charge Coupled Device）と、可視波長帯域の光の観察像を撮像するＣＣＤとを、撮像素子として備えることによって、可視波長帯域の可視光画像と近赤外波長帯域の蛍光画像とを撮像する。よって、特許文献１に記載の技術を用いる場合、手術用顕微鏡を用いる使用者は、波長帯域が異なる２種類の画像を観察することができる。 For example, the surgical microscope described in Patent Document 1 (corresponding to an optical medical observation device) includes a CCD (Charge Coupled Device) that captures an observation image of light in the visible wavelength band and light in the visible wavelength band. By providing a CCD that captures an observation image as an imaging element, a visible light image in the visible wavelength band and a fluorescent image in the near infrared wavelength band are imaged. Therefore, when the technique described in Patent Document 1 is used, a user using a surgical microscope can observe two types of images having different wavelength bands.

しかしながら、例えば特許文献１に記載の技術を用いる手術用顕微鏡では、可視波長帯域の光の観察像を撮像するＣＣＤと、可視波長帯域の光の観察像を撮像するＣＣＤという、２つのＣＣＤを備える必要がある。ここで、特許文献１に記載の技術を用いる手術用顕微鏡のように２つのＣＣＤを備える構成をとる場合には、装置のコストが増加する恐れがあり、また、装置の小型化が困難となる。 However, for example, a surgical microscope using the technique described in Patent Document 1 includes two CCDs, a CCD that captures an observation image of light in the visible wavelength band and a CCD that captures an observation image of light in the visible wavelength band. There is a need. Here, in the case of adopting a configuration including two CCDs as in the surgical microscope using the technique described in Patent Document 1, the cost of the apparatus may increase, and it becomes difficult to miniaturize the apparatus. ..

本開示では、撮像デバイスにおいて異なる撮像モードで撮像された医療用撮像画像を、同時に表示画面に表示させることが可能な、新規かつ改良された医療用表示制御装置、医療用観察装置、表示制御方法、および医療用観察システムを提案する。 In the present disclosure, a new and improved medical display control device, medical observation device, and display control method capable of simultaneously displaying medically captured images captured in different imaging modes in an imaging device on a display screen. , And propose a medical observation system.

本開示によれば、撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、上記撮像デバイスにおいて、上記第１の撮像モードとは異なる第２の撮像モードで、上記第１の医療用撮像画像よりも前に撮像された第２の医療用撮像画像とを、同時に表示させる表示制御部を備える、医療用表示制御装置が、提供される。 According to the present disclosure, a first medical imaging image captured in a first imaging mode in which an imaging device is imaged with special light, and a second imaging device in the imaging device, which is different from the first imaging mode. Provided is a medical display control device including a display control unit that simultaneously displays a second medical image captured before the first medical image in the image capturing mode.

また、本開示によれば、複数のリンクが関節部によって互いに連結されて構成されるアームと、上記アームにより支持される撮像デバイスと、上記撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、上記撮像デバイスにおいて、上記第１の撮像モードとは異なる第２の撮像モードで、上記第１の医療用撮像画像よりも前に撮像された第２の医療用撮像画像とを、同時に表示させる表示制御部と、を備える、医療用観察装置が、提供される。 Further, according to the present disclosure, an arm formed by connecting a plurality of links to each other by joints, an imaging device supported by the arm, and a first imaging mode in which imaging is performed with special light in the imaging device. The first medical image captured in the above image and the second image captured in the image device in a second image mode different from the first image mode, which is imaged before the first medical image. Provided is a medical observation device including a display control unit for displaying the medically captured images of 2 at the same time.

本開示によれば、撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、上記撮像デバイスにおいて、上記第１の撮像モードとは異なる第２の撮像モードで、上記第１の医療用撮像画像よりも前に撮像された第２の医療用撮像画像とを、同時に表示させるステップを有する、医療用表示制御装置により実行される表示制御方法が、提供される。 According to the present disclosure, a first medical imaging image captured in a first imaging mode in which an imaging device is imaged with special light, and a second imaging device in the imaging device, which is different from the first imaging mode. A display control method executed by a medical display control device, which comprises a step of simultaneously displaying a second medical image captured before the first medical image in the image mode. Provided.

また、本開示によれば、複数のリンクが関節部によって互いに連結されて構成されるアームと、上記アームにより支持される撮像デバイスとを備える、医療用観察装置と、表示装置と、上記撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、上記撮像デバイスにおいて、上記第１の撮像モードとは異なる第２の撮像モードで、上記第１の医療用撮像画像よりも前に撮像された第２の医療用撮像画像とを、上記表示装置の表示画面に、同時に表示させる表示制御部を備える、医療用表示制御装置と、を有する、医療用観察システムが、提供される。 Further, according to the present disclosure, a medical observation device, a display device, and the image pickup device including an arm formed by connecting a plurality of links to each other by a joint portion and an image pickup device supported by the arm. In the first medical imaging image captured in the first imaging mode in which imaging is performed with special light, and in the second imaging mode different from the first imaging mode in the imaging device, the first image is used. A medical display control device including a display control unit that simultaneously displays a second medical image captured before the medical image captured on the display screen of the display device for medical use. An observation system is provided.

本開示によれば、撮像デバイスにおいて異なる撮像モードで撮像された医療用撮像画像を、同時に表示画面に表示させることができる。 According to the present disclosure, medically captured images captured in different imaging modes in an imaging device can be simultaneously displayed on a display screen.

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。 It should be noted that the above effects are not necessarily limited, and either in combination with or in place of the above effects, any of the effects shown herein, or any other effect that can be ascertained from this specification. May be played.

本実施形態に係る医療用観察システムの構成の一例を示す説明図である。It is explanatory drawing which shows an example of the structure of the medical observation system which concerns on this embodiment. 本実施形態に係る医療用観察システムが使用されるユースケースの一例を示す説明図である。It is explanatory drawing which shows an example of the use case in which the medical observation system which concerns on this embodiment is used. 本実施形態に係る医療用観察装置が備える撮像デバイスの構成の一例を説明するための説明図である。It is explanatory drawing for demonstrating an example of the structure of the imaging device included in the medical observation apparatus which concerns on this embodiment. 本実施形態に係る医療用観察装置が備える撮像デバイスを構成する撮像モード選択スイッチの一例を示す説明図である。It is explanatory drawing which shows an example of the image pickup mode selection switch which comprises the image pickup device included in the medical observation apparatus which concerns on this embodiment. 本実施形態に係る表示制御方法が適用される本実施形態に係る医療用観察システムの構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the medical observation system which concerns on this Embodiment to which the display control method which concerns on this Embodiment is applied. 本実施形態に係る表示制御方法に係る処理により実現される、本実施形態に係る医療用観察システムの動作の一例を説明するための説明図である。It is explanatory drawing for demonstrating an example of the operation of the medical observation system which concerns on this Embodiment realized by the process which concerns on the display control method which concerns on this Embodiment. 図６に示す医療用観察システムの動作により、表示装置の表示画面に表示される医療用撮像画像の一例を示す図である。It is a figure which shows an example of the medical imaging image displayed on the display screen of the display device by the operation of the medical observation system shown in FIG. 図６に示す医療用観察システムの動作により、表示装置の表示画面に表示される医療用撮像画像の一例を示す図である。It is a figure which shows an example of the medical imaging image displayed on the display screen of the display device by the operation of the medical observation system shown in FIG. 図６に示す医療用観察システムの動作により、表示装置の表示画面に表示される医療用撮像画像の一例を示す図である。It is a figure which shows an example of the medical imaging image displayed on the display screen of the display device by the operation of the medical observation system shown in FIG. 図６に示す医療用観察システムの動作により、表示装置の表示画面に表示される医療用撮像画像の一例を示す図である。It is a figure which shows an example of the medical imaging image displayed on the display screen of the display device by the operation of the medical observation system shown in FIG.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る医療用観察システム
２．本実施形態に係る表示制御方法
３．本実施形態に係るプログラムIn addition, the following description will be given in the order shown below.
1. 1. Medical observation system according to this embodiment 2. Display control method according to this embodiment 3. Program related to this embodiment

（本実施形態に係る医療用観察システム）
まず、本実施形態に係る医療用観察システムの一例について説明する。(Medical observation system according to this embodiment)
First, an example of the medical observation system according to the present embodiment will be described.

なお、以下では、本実施形態に係る医療用観察装置が電子撮像式の医療用観察装置である場合を主に例に挙げるが、本実施形態に係る医療用観察装置は、電子撮像式の医療用観察装置に限られない。例えば、本実施形態に係る医療用観察装置は、内視鏡装置などの、“特殊光（後述する）で撮像を行う撮像モードを含む複数の撮像モードを有し、撮像モードを切り替えて撮像を行うことが可能な、任意の医療用観察装置”であってもよい。 In the following, the case where the medical observation device according to the present embodiment is an electronic imaging type medical observation device will be mainly taken as an example, but the medical observation device according to the present embodiment is an electronic imaging type medical observation device. It is not limited to the observation device. For example, the medical observation device according to the present embodiment has a plurality of imaging modes including an imaging mode in which imaging is performed with special light (described later), such as an endoscope device, and the imaging mode is switched for imaging. It may be any medical observation device that can be performed.

［１］医療用観察システムの構成
図１は、本実施形態に係る医療用観察システム１０００の構成の一例を示す説明図である。医療用観察システム１０００は、例えば、医療用観察装置１００と、制御装置２００と、表示装置３００と、記憶装置４００とを有する。[1] Configuration of Medical Observation System FIG. 1 is an explanatory diagram showing an example of the configuration of the medical observation system 1000 according to the present embodiment. The medical observation system 1000 includes, for example, a medical observation device 100, a control device 200, a display device 300, and a storage device 400.

なお、本実施形態に係る医療用観察システムは、図１に示す例に限られない。 The medical observation system according to this embodiment is not limited to the example shown in FIG.

例えば、本実施形態に係る医療用観察システムでは、医療用観察装置１００が制御装置２００の機能を有していてもよい。医療用観察装置１００が制御装置２００の機能を有する場合、本実施形態に係る医療用観察システムは、例えば、制御装置２００を有していなくてよい。 For example, in the medical observation system according to the present embodiment, the medical observation device 100 may have the function of the control device 200. When the medical observation device 100 has the function of the control device 200, the medical observation system according to the present embodiment does not have to have the control device 200, for example.

また、本実施形態に係る医療用観察システムでは、例えば、医療用観察装置１００または制御装置２００が、記憶装置４００の機能を有していてもよい。医療用観察装置１００または制御装置２００が、記憶装置４００の機能を有する場合、本実施形態に係る医療用観察システムは、例えば、記憶装置４００を有していなくてよい。 Further, in the medical observation system according to the present embodiment, for example, the medical observation device 100 or the control device 200 may have the function of the storage device 400. When the medical observation device 100 or the control device 200 has the function of the storage device 400, the medical observation system according to the present embodiment does not have to have the storage device 400, for example.

また、本実施形態に係る医療用観察システムは、例えば、医療用観察装置１００、制御装置２００、および表示装置３００のうちの１または２以上を、複数有する構成であってもよい。 Further, the medical observation system according to the present embodiment may have, for example, one or two or more of the medical observation device 100, the control device 200, and the display device 300.

本実施形態に係る医療用観察システムが医療用観察装置１００と制御装置２００とを複数有する構成である場合、医療用観察装置１００と制御装置２００とが一対一に対応付けられていてもよいし、複数の医療用観察装置１００が１つの制御装置２００に対応付けられていてもよい。複数の医療用観察装置１００が１つの制御装置２００に対応付けられている場合、制御装置２００では、例えば切り替え操作などが行われることによって、どの医療用観察装置１００を制御するのかが、切り替えられる。 When the medical observation system according to the present embodiment has a plurality of medical observation devices 100 and control devices 200, the medical observation device 100 and the control device 200 may be associated with each other on a one-to-one basis. , A plurality of medical observation devices 100 may be associated with one control device 200. When a plurality of medical observation devices 100 are associated with one control device 200, the control device 200 can switch which medical observation device 100 is to be controlled, for example, by performing a switching operation or the like. ..

また、本実施形態に係る医療用観察システムが医療用観察装置１００と表示装置３００とを複数有する構成である場合、医療用観察装置１００と表示装置３００とが一対一に対応付けられていてもよいし、複数の医療用観察装置１００が１つの表示装置３００に対応付けられていてもよい。複数の医療用観察装置１００が１つの表示装置３００に対応付けられている場合、表示装置３００では、例えば切り替え操作などが行われることによって、どの医療用観察装置１００において撮像された撮像画像を表示画面に表示させるのかが、切り替えられる。 Further, when the medical observation system according to the present embodiment has a configuration having a plurality of the medical observation device 100 and the display device 300, even if the medical observation device 100 and the display device 300 are associated with each other on a one-to-one basis. Alternatively, a plurality of medical observation devices 100 may be associated with one display device 300. When a plurality of medical observation devices 100 are associated with one display device 300, the display device 300 displays an image captured by which medical observation device 100, for example, by performing a switching operation or the like. You can switch whether to display it on the screen.

また、上述したように、本実施形態に係る医療用観察システムでは、図１に示す医療用観察装置１００の代わりに、“特殊光（後述する）で撮像を行う撮像モードを含む複数の撮像モードを有し、撮像モードを切り替えて撮像を行うことが可能な、任意の医療用観察装置”を有していてもよい。 Further, as described above, in the medical observation system according to the present embodiment, instead of the medical observation device 100 shown in FIG. 1, a plurality of imaging modes including an imaging mode in which imaging is performed with special light (described later) An arbitrary medical observation device capable of switching the imaging mode to perform imaging may be provided.

図２は、本実施形態に係る医療用観察システム１０００が使用されるユースケースの一例を示す説明図である。 FIG. 2 is an explanatory diagram showing an example of a use case in which the medical observation system 1000 according to the present embodiment is used.

医療用観察装置１００が備える撮像デバイス（後述する）によって、観察対象の患者ＰＡ（医療行為を受ける対象の患者）が撮像される。以下では、上記医療行為を受ける対象の患者が撮像された撮像画像などの、本実施形態に係る医療用観察装置が撮像した撮像画像を、「医療用撮像画像」と示す。 The patient PA (patient to be medically acted) to be observed is imaged by the imaging device (described later) included in the medical observation device 100. Hereinafter, the image captured by the medical observation device according to the present embodiment, such as the image captured by the patient to be medically treated, is referred to as a “medical image”.

医療用観察装置１００において撮像された医療用撮像画像は、表示装置３００の表示画面に表示される。そして、医療用観察装置１００を用いて医療行為を行う術者ＯＰ（医療用観察装置１００のユーザの一例）は、表示装置３００の表示画面に表示されている医療用撮像画像を見ながら、患者ＰＡに対して医療行為を行う。 The medically captured image captured by the medical observation device 100 is displayed on the display screen of the display device 300. Then, the surgeon OP (an example of a user of the medical observation device 100) who performs medical treatment using the medical observation device 100 is a patient while looking at the medical image captured on the display screen of the display device 300. Perform medical treatment for PA.

また、術者ＯＰは、フットスイッチＦＳなどの医療用観察装置１００の外部の操作デバイス、または、医療用観察装置１００が備える操作デバイス（後述する）を操作することによって、医療用観察装置１００が備えるアーム（後述する）や撮像デバイス（後述する）などを動作させ、医療用観察装置１００を所望の状態にさせる。 Further, the operator OP operates the medical observation device 100 by operating an external operation device of the medical observation device 100 such as a foot switch FS or an operation device (described later) included in the medical observation device 100. The provided arm (described later), an imaging device (described later), and the like are operated to bring the medical observation device 100 into a desired state.

以下、医療用観察システム１０００を構成する各装置について、説明する。 Hereinafter, each device constituting the medical observation system 1000 will be described.

［１−１］表示装置３００
表示装置３００は、医療用観察システム１０００における表示手段であり、医療用観察装置１００からみて外部の表示デバイスに該当する。表示装置３００は、例えば、医療用観察装置１００において撮像された医療用撮像画像（動画像、または、複数の静止画像。以下、同様とする。）や、ＵＩ（User Interface）に係る画像などの、様々な画像を表示画面に表示する。また、表示装置３００は、３Ｄ表示が可能な構成であってもよい。表示装置３００における表示は、例えば、制御装置２００によって制御される。[1-1] Display device 300
The display device 300 is a display means in the medical observation system 1000, and corresponds to an external display device when viewed from the medical observation device 100. The display device 300 is, for example, a medical image taken by the medical observation device 100 (moving image or a plurality of still images; the same applies hereinafter), an image related to a UI (User Interface), and the like. , Display various images on the display screen. Further, the display device 300 may have a configuration capable of 3D display. The display on the display device 300 is controlled by, for example, the control device 200.

医療用観察システム１０００において表示装置３００は、例えば、手術室の壁面や天井、床面などの、手術室内において術者などの手術に関わる者により視認されうる任意の場所に設置される。表示装置３００としては、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどが挙げられる。 In the medical observation system 1000, the display device 300 is installed at an arbitrary place in the operating room, such as the wall surface, ceiling, or floor of the operating room, which can be visually recognized by a person involved in the operation such as an operator. Examples of the display device 300 include a liquid crystal display, an organic EL (Electro-Luminescence) display, a CRT (Cathode Ray Tube) display, and the like.

なお、表示装置３００は、上記に示す例に限られない。 The display device 300 is not limited to the example shown above.

例えば、表示装置３００は、ヘッドマウントディスプレイやアイウェア型の装置などのような、術者などが身体に装着して用いる任意のウェアラブル装置であってもよい。 For example, the display device 300 may be any wearable device such as a head-mounted display or an eyewear-type device that is worn and used by an operator or the like.

表示装置３００は、例えば、表示装置３００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。 The display device 300 is driven by, for example, electric power supplied from an internal power source such as a battery included in the display device 300, or electric power supplied from a connected external power source.

［１−２］記憶装置４００
記憶装置４００は、医療用観察システム１０００における記憶手段であり、医療用観察装置１００からみて外部の記録媒体に該当する。記憶装置４００は、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどの、データを記憶可能な任意の記録媒体を備える。[1-2] Storage device 400
The storage device 400 is a storage means in the medical observation system 1000, and corresponds to an external recording medium when viewed from the medical observation device 100. The storage device 400 includes an arbitrary recording medium capable of storing data, such as a magnetic recording medium such as a hard disk or a non-volatile memory such as a flash memory.

記憶装置４００には、例えば、後述する第１の医療用撮像画像や第２の医療用撮像画像などの画像を示すデータや、患者に関するデータなどの、様々なデータが記憶される。 The storage device 400 stores various data such as data showing images such as a first medical image captured image and a second medical image captured image, which will be described later, and data related to a patient.

記憶装置４００は、任意の通信方式の有線通信または任意の通信方式の無線通信によって、制御装置２００などの外部装置と接続され、記憶装置４００に記憶されているデータは、外部装置により適宜読み出される。なお、図１では、記憶装置４００が制御装置２００と接続されている例を示しているが、記憶装置４００は、医療用観察装置１００や表示装置３００と接続されていてもよい。 The storage device 400 is connected to an external device such as the control device 200 by wired communication of an arbitrary communication method or wireless communication of an arbitrary communication method, and the data stored in the storage device 400 is appropriately read out by the external device. .. Although FIG. 1 shows an example in which the storage device 400 is connected to the control device 200, the storage device 400 may be connected to the medical observation device 100 or the display device 300.

記憶装置４００は、例えば、記憶装置４００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。 The storage device 400 is driven by, for example, electric power supplied from an internal power source such as a battery included in the storage device 400, electric power supplied from an external power source connected to the storage device 400, or the like.

［１−３］制御装置２００
制御装置２００は、医療用観察装置１００における動作と表示装置３００における動作とをそれぞれ制御する。また、制御装置２００は、例えば、記憶装置４００へのデータの書き込みと、記憶装置４００からのデータの読み出しを制御する。つまり、制御装置２００は、医療用観察システム１０００を構成する各種機器の動作を制御する役目を果たす。[1-3] Control device 200
The control device 200 controls the operation of the medical observation device 100 and the operation of the display device 300, respectively. Further, the control device 200 controls, for example, writing data to the storage device 400 and reading data from the storage device 400. That is, the control device 200 serves to control the operation of various devices constituting the medical observation system 1000.

また、制御装置２００は、例えば後述する本実施形態に係る表示制御方法に係る処理を行う役目を果たす。後述する本実施形態に係る表示制御方法に係る処理を行う役目を果たす制御装置２００は、医療用観察システム１０００において、医療用表示制御装置として機能することとなる。 In addition, the control device 200 serves, for example, to perform processing related to the display control method according to the present embodiment, which will be described later. The control device 200, which serves to perform processing related to the display control method according to the present embodiment described later, functions as a medical display control device in the medical observation system 1000.

制御装置２００が後述する本実施形態に係る表示制御方法に係る処理を行うことによって、表示制御方法に係る処理の結果に応じた画像が、表示装置３００の表示画面に表示される。本実施形態に係る表示制御方法に係る処理によって表示装置３００の表示画面に表示される画像の例については、後述する。 When the control device 200 performs the process related to the display control method according to the present embodiment described later, an image corresponding to the result of the process related to the display control method is displayed on the display screen of the display device 300. An example of an image displayed on the display screen of the display device 300 by the process related to the display control method according to the present embodiment will be described later.

制御装置２００は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサ（図示せず）と、ＲＯＭ（Read Only Memory。図示せず）と、ＲＡＭ（Random Access Memory。図示せず）と、記録媒体（図示せず）と、通信デバイス（図示せず）とを、備える。制御装置２００は、例えば、制御装置２００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。 The control device 200 includes, for example, one or more processors (not shown) composed of arithmetic circuits such as an MPU (Micro Processing Unit), a ROM (Read Only Memory, not shown), and a RAM (Random). An Access Memory (not shown), a recording medium (not shown), and a communication device (not shown) are provided. The control device 200 is driven by, for example, electric power supplied from an internal power source such as a battery included in the control device 200, or electric power supplied from a connected external power source.

プロセッサ（図示せず）は、医療用観察装置１００などの制御対象の制御に係る処理を行う。また、プロセッサ（図示せず）は、例えば表示制御部（後述する）として機能し、後述する本実施形態に係る表示制御方法に係る処理を主導的に行う。なお、本実施形態に係る表示制御方法に係る処理は、プロセッサ（図示せず）と別体の処理回路により行われてもよい。 The processor (not shown) performs processing related to the control of the controlled object such as the medical observation device 100. Further, the processor (not shown) functions as, for example, a display control unit (described later), and takes the initiative in performing processing related to the display control method according to the present embodiment, which will be described later. The processing related to the display control method according to the present embodiment may be performed by a processing circuit separate from the processor (not shown).

ＲＯＭ（図示せず）は、プロセッサ（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、プロセッサ（図示せず）により実行されるプログラムなどを一時的に記憶する。 The ROM (not shown) stores control data such as programs and arithmetic parameters used by the processor (not shown). The RAM (not shown) temporarily stores a program or the like executed by a processor (not shown).

記録媒体（図示せず）は、制御装置２００が備える記憶手段であり、例えば、制御に係るデータや各種アプリケーションなどの、様々なデータを記憶する。 The recording medium (not shown) is a storage means included in the control device 200, and stores various data such as data related to control and various applications.

また、記録媒体（図示せず）には、医療用観察装置１００が備える撮像デバイス（後述する）により撮像された医療用撮像画像を示す画像データ（後述する第１の医療用撮像画像を示す画像データと、後述する第２の医療用撮像画像を示す画像データとの一方または双方）が記憶されてもよい。記録媒体（図示せず）に上記画像データが記憶される場合、制御装置２００は、例えば、記憶装置４００として機能することとなる。 Further, on the recording medium (not shown), image data showing a medical image captured by an imaging device (described later) included in the medical observation device 100 (an image showing a first medical image described later). One or both of the data and the image data indicating the second medically captured image described later) may be stored. When the image data is stored in a recording medium (not shown), the control device 200 functions as, for example, a storage device 400.

ここで、記録媒体（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体（図示せず）は、制御装置２００から着脱可能であってもよい。 Here, examples of the recording medium (not shown) include a magnetic recording medium such as a hard disk, a non-volatile memory such as a flash memory, and the like. Further, the recording medium (not shown) may be detachable from the control device 200.

通信デバイス（図示せず）は、制御装置２００が備える通信手段であり、医療用観察装置１００や表示装置３００、記憶装置４００などの外部装置と、無線または有線で通信を行う役目を果たす。ここで、通信デバイス（図示せず）としては、例えば、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）や、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。 The communication device (not shown) is a communication means included in the control device 200, and serves to communicate wirelessly or by wire with an external device such as a medical observation device 100, a display device 300, or a storage device 400. Here, examples of the communication device (not shown) include an IEEE 802.11 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication), a communication antenna, and an RF (Radio Frequency). Examples include a circuit (wireless communication), a LAN (Local Area Network) terminal, and a transmission / reception circuit (wired communication).

制御装置２００としては、例えば、“メディカルコントローラ”や、“サーバなどのコンピュータ”など、本実施形態に係る医療用観察システムを構成する各種機器の動作を制御することが可能な任意の機器が、挙げられる。また、制御装置２００が記憶装置４００として機能する場合、制御装置２００は、例えば“レコーダ”など、データを記憶することが可能な任意の機器であってもよい。また、制御装置２００は、例えば、上記のような機器に組み込むことが可能な、ＩＣ（Integrated Circuit）であってもよい。 The control device 200 includes, for example, an arbitrary device capable of controlling the operation of various devices constituting the medical observation system according to the present embodiment, such as a “medical controller” and a “computer such as a server”. Can be mentioned. Further, when the control device 200 functions as the storage device 400, the control device 200 may be any device capable of storing data, such as a “recorder”. Further, the control device 200 may be, for example, an IC (Integrated Circuit) that can be incorporated into the above-mentioned equipment.

制御装置２００における制御の一例を挙げると、制御装置２００は、例えば、医療用観察装置１００に対する操作に基づいて、医療用観察装置１００を、当該操作に対応する動作モード（後述する）で動作させる。また、制御装置２００は、例えば、医療用観察装置１００に対する操作に基づいて、医療用観察装置１００が備える撮像デバイス（後述する）における撮像を制御する。本実施形態に係る撮像の制御としては、例えば、ズーム倍率の制御と焦点距離の制御との一方または双方が、挙げられる。 To give an example of control in the control device 200, the control device 200 operates the medical observation device 100 in an operation mode (described later) corresponding to the operation based on, for example, an operation on the medical observation device 100. .. Further, the control device 200 controls the imaging in the imaging device (described later) included in the medical observation device 100, for example, based on the operation on the medical observation device 100. Examples of the imaging control according to the present embodiment include one or both of zoom magnification control and focal length control.

また、医療用観察装置１００から送信される、医療用観察装置１００が備える撮像デバイス（後述する）における撮像により生成された画像信号が受信された場合、制御装置２００では、例えばプロセッサ（図示せず）において当該画像信号に対する画像処理が行われる。本実施形態に係る画像処理としては、例えば、ガンマ補正、ホワイトバランスの調整、電子ズーム機能に係る画像の拡大または縮小、または、画素間補正などの各種処理のうちの、１または２以上の処理が、挙げられる。なお、本実施形態に係る医療用観察システムでは、本実施形態に係る画像処理は、医療用観察装置１００において行われてもよい。 Further, when an image signal generated by imaging by an imaging device (described later) included in the medical observation device 100, which is transmitted from the medical observation device 100, is received, the control device 200 uses, for example, a processor (not shown). ), Image processing is performed on the image signal. The image processing according to the present embodiment includes one or more of various processes such as gamma correction, white balance adjustment, image enlargement / reduction related to the electronic zoom function, and pixel-to-pixel correction. However, it can be mentioned. In the medical observation system according to the present embodiment, the image processing according to the present embodiment may be performed by the medical observation device 100.

制御装置２００は、例えば、表示命令を含む表示制御信号と、上記のような画像処理が行われた画像信号とを、表示装置３００に送信する。表示制御信号と画像信号とが表示装置３００に送信されることによって、表示装置３００の表示画面には、観察対象が撮像された医療用撮像画像（例えば、術部が撮像された医療用撮像画像）が、光学ズーム機能と電子ズーム機能との一方または双方によって所望の倍率に拡大または縮小されて表示される。 The control device 200 transmits, for example, a display control signal including a display command and an image signal subjected to the image processing as described above to the display device 300. By transmitting the display control signal and the image signal to the display device 300, the display screen of the display device 300 displays a medical image captured by the observation target (for example, a medical image captured by the surgical site). ) Is enlarged or reduced to a desired magnification by one or both of the optical zoom function and the electronic zoom function.

なお、制御装置２００が表示装置３００の表示画面に表示させる医療用撮像画像は、上記に示す例に限られない。制御装置２００が表示装置３００の表示画面に表示させる医療用撮像画像の例については、後述する。 The medical image captured by the control device 200 on the display screen of the display device 300 is not limited to the above example. An example of a medically captured image displayed on the display screen of the display device 300 by the control device 200 will be described later.

［１−４］医療用観察装置１００
医療用観察装置１００は、電子撮像式の医療用観察装置である。例えば手術時に医療用観察装置１００が用いられる場合、術者（医療用観察装置１００のユーザの一例）は、医療用観察装置１００により撮像されて、表示装置３００の表示画面に表示された医療用撮像画像を参照しながら術部を観察し、当該術部に対して、術式に応じた手技などの各種処置を行う。[1-4] Medical observation device 100
The medical observation device 100 is an electronic imaging type medical observation device. For example, when the medical observation device 100 is used at the time of surgery, the operator (an example of a user of the medical observation device 100) is imaged by the medical observation device 100 and displayed on the display screen of the display device 300 for medical use. The surgical site is observed with reference to the captured image, and various procedures such as a procedure according to the surgical procedure are performed on the surgical site.

医療用観察装置１００は、例えば、ベース１０２と、アーム１０４と、撮像デバイス１０６とを備える。 The medical observation device 100 includes, for example, a base 102, an arm 104, and an imaging device 106.

また、図１では示していないが、医療用観察装置１００は、例えば制御装置２００が備える通信デバイス（図示せず）に対応する通信方式で通信を行う通信デバイス（図示せず）を、備えていてもよい。なお、例えば、撮像デバイス１０６と制御装置２００とが有線で接続されている場合には、医療用観察装置１００は、別途通信デバイス（図示せず）を備えない構成をとることが可能である。医療用観察装置１００は、例えば、医療用観察装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。 Further, although not shown in FIG. 1, the medical observation device 100 includes, for example, a communication device (not shown) that communicates by a communication method corresponding to the communication device (not shown) included in the control device 200. You may. For example, when the imaging device 106 and the control device 200 are connected by wire, the medical observation device 100 can be configured not to have a separate communication device (not shown). The medical observation device 100 is driven by, for example, electric power supplied from an internal power source such as a battery included in the medical observation device 100, or electric power supplied from a connected external power source.

［１−４−１］ベース１０２
ベース１０２は、医療用観察装置１００の基台であり、アーム１０４の一端が接続されて、アーム１０４と撮像デバイス１０６とを支持する。[1-4-1] Base 102
The base 102 is a base of the medical observation device 100, and one end of the arm 104 is connected to support the arm 104 and the imaging device 106.

また、ベース１０２には例えばキャスタが設けられ、医療用観察装置１００は、キャスタを介して床面と接地する。キャスタが設けられることにより、医療用観察装置１００は、キャスタによって床面上を容易に移動することが可能である。 Further, the base 102 is provided with casters, for example, and the medical observation device 100 is grounded to the floor surface via the casters. By providing the casters, the medical observation device 100 can be easily moved on the floor surface by the casters.

［１−４−２］アーム１０４
アーム１０４は、複数のリンクが関節部によって互いに連結されて構成される。[1-4-2] Arm 104
The arm 104 is configured by connecting a plurality of links to each other by joints.

また、アーム１０４は、撮像デバイス１０６を支持する。アーム１０４により支持された撮像デバイス１０６は３次元的に移動可能であり、移動後の撮像デバイス１０６は、アーム１０４によって、位置および姿勢が保持される。 The arm 104 also supports the imaging device 106. The image pickup device 106 supported by the arm 104 is three-dimensionally movable, and the position and orientation of the image pickup device 106 after movement are held by the arm 104.

より具体的には、アーム１０４は、例えば、複数の関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆと、関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆによって互いに回動可能に連結される複数のリンク１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆとから構成される。関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれの回転可能範囲は、アーム１０４の所望の動きが実現されるように、設計段階や製造段階などにおいて任意に設定される。 More specifically, the arm 104 is rotatably connected to each other by, for example, a plurality of joints 110a, 110b, 110c, 110d, 110e, 110f and joints 110a, 110b, 110c, 110d, 110e, 110f. It is composed of a plurality of links 112a, 112b, 112c, 112d, 112e, 112f. The rotatable range of each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f is arbitrarily set at the design stage, the manufacturing stage, and the like so that the desired movement of the arm 104 is realized.

つまり、図１に示す医療用観察装置１００では、アーム１０４を構成する６つの関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆに対応する６つの回転軸（第１軸Ｏ１、第２軸Ｏ２、第３軸Ｏ３、第４軸Ｏ４、第５軸Ｏ５、および第６軸Ｏ６）によって、撮像デバイス１０６の移動に関して６自由度が実現されている。より具体的には、図１に示す医療用観察装置１００では、並進３自由度、および回転３自由度の６自由度の動きが実現される。 That is, in the medical observation device 100 shown in FIG. 1, six rotation axes (first axis O1, second axis O2) corresponding to the six joint portions 110a, 110b, 110c, 110d, 110e, 110f constituting the arm 104 , 3rd Axis O3, 4th Axis O4, 5th Axis O5, and 6th Axis O6) provide 6 degrees of freedom with respect to the movement of the imaging device 106. More specifically, in the medical observation device 100 shown in FIG. 1, movements of 6 degrees of freedom of translation 3 degrees of freedom and rotation 3 degrees of freedom are realized.

関節部１１０ａは、略円柱形状を有し、関節部１１０ａの先端部分（図１における下端部分）で、撮像デバイス１０６（図１における撮像デバイス１０６の上端部分）を、撮像デバイス１０６の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能なように支持する。ここで、医療用観察装置１００は、第１軸Ｏ１が撮像デバイス１０６における光軸と一致するように構成される。つまり、図１に示す第１軸Ｏ１まわりに撮像デバイス１０６を回動させることによって、撮像デバイス１０６により撮像された医療用撮像画像は、視野が回転するように変更される画像となる。 The joint portion 110a has a substantially cylindrical shape, and the tip portion (lower end portion in FIG. 1) of the joint portion 110a has the image pickup device 106 (the upper end portion of the image pickup device 106 in FIG. 1) as the central axis of the image pickup device 106. It is supported so as to be rotatable around a parallel rotation axis (first axis O1). Here, the medical observation device 100 is configured so that the first axis O1 coincides with the optical axis in the imaging device 106. That is, by rotating the imaging device 106 around the first axis O1 shown in FIG. 1, the medical imaging image captured by the imaging device 106 becomes an image whose field of view is changed so as to rotate.

リンク１１２ａは、略棒状の部材であり、関節部１１０ａを固定的に支持する。リンク１１２ａは、例えば、第１軸Ｏ１と直交する方向に延伸され、関節部１１０ｂに接続される。 The link 112a is a substantially rod-shaped member and fixedly supports the joint portion 110a. The link 112a is, for example, extended in a direction orthogonal to the first axis O1 and connected to the joint portion 110b.

関節部１１０ｂは、略円柱形状を有し、リンク１１２ａを、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能なように支持する。また、関節部１１０ｂには、リンク１１２ｂが固定的に接続される。 The joint portion 110b has a substantially cylindrical shape and supports the link 112a so as to be rotatable around a rotation axis (second axis O2) orthogonal to the first axis O1. Further, the link 112b is fixedly connected to the joint portion 110b.

リンク１１２ｂは、略棒状の部材であり、第２軸Ｏ２と直交する方向に延伸される。また、リンク１１２ｂには、関節部１１０ｂと関節部１１０ｃとがそれぞれ接続される。 The link 112b is a substantially rod-shaped member, and is extended in a direction orthogonal to the second axis O2. Further, the joint portion 110b and the joint portion 110c are connected to the link 112b, respectively.

関節部１１０ｃは、略円柱形状を有し、リンク１１２ｂを、第１軸Ｏ１および第２軸Ｏ２それぞれと互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能なように支持する。また、関節部１１０ｃには、リンク１１２ｃの一端が固定的に接続される。 The joint portion 110c has a substantially cylindrical shape, and supports the link 112b so as to be rotatable around a rotation axis (third axis O3) orthogonal to each of the first axis O1 and the second axis O2. Further, one end of the link 112c is fixedly connected to the joint portion 110c.

ここで、第２軸Ｏ２および第３軸Ｏ３まわりにアーム１０４の先端側（撮像デバイス１０６が設けられる側）が回動することによって、水平面内での撮像デバイス１０６の位置が変更されるように、撮像デバイス１０６を移動させることができる。つまり、医療用観察装置１００では、第２軸Ｏ２および第３軸Ｏ３まわりの回転が制御されることにより、医療用撮像画像の視野を平面内で移動させることが可能になる。 Here, the position of the image pickup device 106 in the horizontal plane is changed by rotating the tip end side (the side on which the image pickup device 106 is provided) of the arm 104 around the second axis O2 and the third axis O3. , The imaging device 106 can be moved. That is, in the medical observation device 100, the field of view of the medically captured image can be moved in a plane by controlling the rotation around the second axis O2 and the third axis O3.

リンク１１２ｃは、一端が略円柱形状を有し、他端が略棒状を有する部材である。リンク１１２ｃの一端側には、関節部１１０ｃの中心軸と略円柱形状の中心軸とが同一となるように、固定的に接続される。また、リンク１１２ｃの他端側には、関節部１１０ｄが接続される。 The link 112c is a member having a substantially cylindrical shape at one end and a substantially rod shape at the other end. A central axis of the joint portion 110c and a substantially cylindrical central axis are fixedly connected to one end side of the link 112c so as to be the same. Further, a joint portion 110d is connected to the other end side of the link 112c.

関節部１１０ｄは、略円柱形状を有し、リンク１１２ｃを、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能なように支持する。関節部１１０ｄには、リンク１１２ｄが固定的に接続される。 The joint portion 110d has a substantially cylindrical shape and supports the link 112c so as to be rotatable around a rotation axis (fourth axis O4) orthogonal to the third axis O3. A link 112d is fixedly connected to the joint portion 110d.

リンク１１２ｄは、略棒状の部材であり、第４軸Ｏ４と直交するように延伸される。リンク１１２ｄの一端は、関節部１１０ｄの略円柱形状の側面に当接するように、関節部１１０ｄに固定的に接続される。また、リンク１１２ｄの他端（関節部１１０ｄが接続される側とは反対側の端）には、関節部１１０ｅが接続される。 The link 112d is a substantially rod-shaped member, and is extended so as to be orthogonal to the fourth axis O4. One end of the link 112d is fixedly connected to the joint portion 110d so as to abut on the substantially cylindrical side surface of the joint portion 110d. Further, the joint portion 110e is connected to the other end of the link 112d (the end opposite to the side to which the joint portion 110d is connected).

関節部１１０ｅは、略円柱形状を有し、リンク１１２ｄの一端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能なように支持する。また、関節部１１０ｅには、リンク１１２ｅの一端が固定的に接続される。 The joint portion 110e has a substantially cylindrical shape, and supports one end of the link 112d so as to be rotatable around a rotation axis (fifth axis O5) parallel to the fourth axis O4. Further, one end of the link 112e is fixedly connected to the joint portion 110e.

ここで、第４軸Ｏ４および第５軸Ｏ５は、撮像デバイス１０６を垂直方向に移動させうる回転軸である。第４軸Ｏ４および第５軸Ｏ５まわりにアーム１０４の先端側（撮像デバイス１０６が設けられる側）が回動することによって、撮像デバイス１０６の垂直方向の位置が変わる。よって、第４軸Ｏ４および第５軸Ｏ５まわりにアーム１０４の先端側（撮像デバイス１０６が設けられる側）が回動することによって、撮像デバイス１０６と、患者の術部などの観察対象との距離を変えることが、可能となる。 Here, the fourth axis O4 and the fifth axis O5 are rotation axes capable of moving the image pickup device 106 in the vertical direction. The vertical position of the image pickup device 106 changes as the tip end side (the side on which the image pickup device 106 is provided) of the arm 104 rotates around the fourth axis O4 and the fifth axis O5. Therefore, the tip side of the arm 104 (the side on which the image pickup device 106 is provided) rotates around the fourth axis O4 and the fifth axis O5, so that the distance between the image pickup device 106 and the observation target such as the surgical site of the patient Can be changed.

リンク１１２ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材とが、組み合わされて構成される部材である。リンク１１２ｅの第１の部材の鉛直方向に延伸する部位には、関節部１１０ｅが固定的に接続される。また、リンク１１２ｅの第２の部材には、関節部１１０ｆが接続される。 The link 112e extends vertically downward from a first member having a substantially L-shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and a portion of the first member that extends in the horizontal direction. The rod-shaped second member is a member formed by being combined. A joint portion 110e is fixedly connected to a portion of the first member of the link 112e that extends in the vertical direction. Further, a joint portion 110f is connected to the second member of the link 112e.

関節部１１０ｆは、略円柱形状を有し、リンク１１２ｅを、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能なように支持する。また、関節部１１０ｆには、リンク１１２ｆが固定的に接続される。 The joint portion 110f has a substantially cylindrical shape and supports the link 112e so as to be rotatable around a rotation axis (sixth axis O6) parallel to the vertical direction. Further, the link 112f is fixedly connected to the joint portion 110f.

リンク１１２ｆは、略棒状の部材であり、鉛直方向に延伸される。リンク１１２ｆの一端は、関節部１１０ｆが接続される。また、リンク１１２ｆの他端（関節部１１０ｆが接続される側とは反対側の端）は、ベース１０２に固定的に接続される。 The link 112f is a substantially rod-shaped member and is extended in the vertical direction. A joint portion 110f is connected to one end of the link 112f. Further, the other end of the link 112f (the end opposite to the side to which the joint portion 110f is connected) is fixedly connected to the base 102.

アーム１０４が上記に示す構成を有することによって、医療用観察装置１００では、撮像デバイス１０６の移動に関して６自由度が実現される。 By having the configuration shown above, the medical observation device 100 realizes 6 degrees of freedom with respect to the movement of the imaging device 106.

なお、アーム１０４の構成は、上記に示す例に限られない。 The configuration of the arm 104 is not limited to the example shown above.

例えば、アーム１０４の関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれには、関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれにおける回転を規制するブレーキが設けられていてもよい。本実施形態に係るブレーキとしては、例えば、機械的に駆動するブレーキや、電気的に駆動する電磁ブレーキなど、任意の方式のブレーキが挙げられる。 For example, the joints 110a, 110b, 110c, 110d, 110e, and 110f of the arm 104 may be provided with brakes that regulate the rotation of the joints 110a, 110b, 110c, 110d, 110e, and 110f, respectively. Examples of the brake according to the present embodiment include an arbitrary type of brake such as a mechanically driven brake and an electrically driven electromagnetic brake.

上記ブレーキの駆動は、例えば制御装置２００によって制御される。上記ブレーキの駆動が制御されることにより、医療用観察装置１００では、アーム１０４の動作モードが設定される。アーム１０４の動作モードとしては、例えば、固定モードとフリーモードとが挙げられる。 The drive of the brake is controlled by, for example, the control device 200. By controlling the drive of the brake, the operation mode of the arm 104 is set in the medical observation device 100. Examples of the operation mode of the arm 104 include a fixed mode and a free mode.

ここで、本実施形態に係る固定モードとは、例えば、アーム１０４に設けられる各回転軸における回転がブレーキにより規制されることにより、撮像デバイス１０６の位置および姿勢が固定される動作モードである。 Here, the fixed mode according to the present embodiment is, for example, an operation mode in which the position and posture of the image pickup device 106 are fixed by restricting the rotation of each rotation axis provided on the arm 104 by the brake.

また、本実施形態に係るフリーモードとは、上記ブレーキが解除されることにより、アーム１０４に設けられる各回転軸が自由に回転可能となる動作モードである。例えば、フリーモードでは、術者による直接的な操作によって撮像デバイス１０６の位置および姿勢を調整することが可能となる。ここで、本実施形態に係る直接的な操作とは、例えば、術者が手で撮像デバイス１０６を把持し、当該撮像デバイス１０６を直接移動させる操作のことを意味する。 Further, the free mode according to the present embodiment is an operation mode in which each rotation shaft provided on the arm 104 can freely rotate when the brake is released. For example, in the free mode, the position and posture of the imaging device 106 can be adjusted by a direct operation by the operator. Here, the direct operation according to the present embodiment means, for example, an operation in which the operator grasps the image pickup device 106 by hand and directly moves the image pickup device 106.

［１−４−３］撮像デバイス１０６
撮像デバイス１０６は、アーム１０４により支持され、例えば患者の術部などの観察対象を撮像する。撮像デバイス１０６における撮像は、例えば制御装置２００によって制御される。[1-4-3] Imaging device 106
The imaging device 106 is supported by the arm 104 and images an observation target such as a patient's surgical site. The imaging in the imaging device 106 is controlled by, for example, the control device 200.

撮像デバイス１０６は、例えば電子撮像式の顕微鏡に対応する構成を有する。 The imaging device 106 has a configuration corresponding to, for example, an electronic imaging type microscope.

図３は、本実施形態に係る医療用観察装置１００が備える撮像デバイス１０６の構成の一例を説明するための説明図である。 FIG. 3 is an explanatory diagram for explaining an example of the configuration of the imaging device 106 included in the medical observation device 100 according to the present embodiment.

撮像デバイス１０６は、例えば、撮像部材１２０と、略円筒形状を有する筒状部材１２２とを有し、撮像部材１２０は、筒状部材１２２内に設けられる。 The image pickup device 106 has, for example, an image pickup member 120 and a tubular member 122 having a substantially cylindrical shape, and the image pickup member 120 is provided in the tubular member 122.

筒状部材１２２の下端（図３における下側の端）の開口面には、例えば、撮像部材１２０を保護するためのカバーガラス（図示せず）が設けられる。 For example, a cover glass (not shown) for protecting the image pickup member 120 is provided on the opening surface of the lower end (lower end in FIG. 3) of the tubular member 122.

また、例えば筒状部材１２２の内部には光源（図示せず）が設けられ、撮像時には、当該光源からカバーガラス越しに被写体に対して照明光が照射される。照明光が照射された被写体からの反射光（観察光）が、カバーガラス（図示せず）を介して撮像部材１２０に入射することにより、撮像部材１２０によって被写体を示す画像信号（医療用撮像画像を示す画像信号）が得られる。 Further, for example, a light source (not shown) is provided inside the tubular member 122, and at the time of imaging, the subject is irradiated with illumination light from the light source through the cover glass. When the reflected light (observation light) from the subject irradiated with the illumination light is incident on the image pickup member 120 via the cover glass (not shown), the image signal (medical image pickup image) indicating the subject by the image pickup member 120 (Image signal indicating) is obtained.

また、筒状部材１２２の内部には、特定の波長帯域の光を透過させ、他の波長帯域の光を透過させないフィルタと、当該フィルタを光路上に選択的に配置する移動機構とが、設けられる。上記移動機構は、例えば撮像モード選択スイッチ（後述する）に連動して動作し、撮像モード選択スイッチの状態に対応するように、上記フィルタを光路上に選択的に配置する。上記移動機構は、例えば、撮像モード選択スイッチ（後述する）に対する操作に応じて伝達される切替信号に基づいて、上記フィルタを移動させることによって、上記フィルタを光路上に選択的に配置する。 Further, inside the tubular member 122, a filter that transmits light in a specific wavelength band and does not transmit light in another wavelength band and a moving mechanism that selectively arranges the filter on the optical path are provided. Be done. The moving mechanism operates in conjunction with, for example, an imaging mode selection switch (described later), and selectively arranges the filter on the optical path so as to correspond to the state of the imaging mode selection switch. The moving mechanism selectively arranges the filter on the optical path by moving the filter based on, for example, a switching signal transmitted in response to an operation on an imaging mode selection switch (described later).

本実施形態に係るフィルタが透過させる特定の波長帯域としては、例えば、近赤外線の波長帯域（例えば、約０．７［マイクロメートル］〜２．５［マイクロメートル］の波長帯域）や、５−ＡＬＡ（5-Aminolevulinic Acid）を用いた蛍光観察による蛍光波長帯域（例えば、約０．６［マイクロメートル］〜０．６５［マイクロメートル］の波長帯域）、ＩＣＧ（Indocyanine Green）の蛍光波長帯域（例えば、約０．８２［マイクロメートル］〜０．８５［マイクロメートル］の波長帯域）などが、挙げられる。 Specific wavelength bands transmitted by the filter according to the present embodiment include, for example, a near-infrared wavelength band (for example, a wavelength band of about 0.7 [micrometer] to 2.5 [micrometer]) and 5-. Fluorescence wavelength band by fluorescence observation using ALA (5-Aminolevulinic Acid) (for example, wavelength band of about 0.6 [micrometer] to 0.65 [micrometer]), fluorescence wavelength band of ICG (Indocyanine Green) (for example For example, a wavelength band of about 0.82 [micrometer] to 0.85 [micrometer]) and the like.

医療用観察装置１００では、医療用観察装置１００が使用される用途に応じたフィルタが、撮像デバイス１０６に設けられる。 In the medical observation device 100, the imaging device 106 is provided with a filter according to the application in which the medical observation device 100 is used.

なお、医療用観察装置１００では、透過させる波長帯域が異なる複数のフィルタが、撮像デバイス１０６に設けられていてもよい。複数のフィルタが撮像デバイス１０６に設けられている場合、上記移動機構は、複数のフィルタのうちの、撮像モード選択スイッチの状態に対応するフィルタを、光路上に選択的に配置する。 In the medical observation device 100, a plurality of filters having different wavelength bands to be transmitted may be provided in the imaging device 106. When a plurality of filters are provided in the image pickup device 106, the moving mechanism selectively arranges a filter corresponding to the state of the image pickup mode selection switch among the plurality of filters on the optical path.

上記フィルタが光路上に配置されることによって、撮像デバイス１０６では、上記フィルタに対応する特定の波長帯域の光で撮像を行うことが可能となる。 By arranging the filter on the optical path, the imaging device 106 can perform imaging with light in a specific wavelength band corresponding to the filter.

なお、上記では、フィルタが光路上に配置されることにより、特定の波長帯域の光で撮像が行われる例を示したが、特定の波長帯域の光で撮像を行うための医療用観察装置１００の構成が、上記に示す例に限られないことは、言うまでもない。 In the above, an example in which imaging is performed with light in a specific wavelength band by arranging the filter on the optical path is shown, but the medical observation device 100 for performing imaging with light in a specific wavelength band Needless to say, the configuration of is not limited to the example shown above.

以下では、特定の波長帯域の光を「特殊光」と示す。また、以下では、フィルタなどにより波長帯が制限されない光を、特殊光と区別して「自然光」と示す。 In the following, light in a specific wavelength band is referred to as "special light". Further, in the following, light whose wavelength band is not limited by a filter or the like is referred to as "natural light" to distinguish it from special light.

撮像部材１２０としては、各種の公知の電子撮像式の顕微鏡部に用いられている構成を適用することが可能である。 As the image pickup member 120, it is possible to apply the configurations used in various known electron imaging type microscope units.

一例を挙げると、撮像部材１２０は、例えば、光学系１２０ａと、光学系１２０ａを通過した光により観察対象の像を撮像する撮像素子を含むイメージセンサ１２０ｂとを含んで構成される。光学系１２０ａは、例えば、対物レンズ、ズームレンズおよびフォーカスレンズなどの１または２以上のレンズとミラーなどの光学素子で構成される。イメージセンサ１２０ｂとしては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤなどの撮像素子を複数用いたイメージセンサが、挙げられる。 As an example, the image pickup member 120 includes, for example, an optical system 120a and an image sensor 120b including an image pickup element that captures an image of an observation target by light passing through the optical system 120a. The optical system 120a is composed of, for example, one or more lenses such as an objective lens, a zoom lens and a focus lens, and an optical element such as a mirror. Examples of the image sensor 120b include an image sensor using a plurality of image pickup elements such as CMOS (Complementary Metal Oxide Semiconductor) and CCD.

撮像部材１２０は、１対の撮像素子を有する構成、すなわち、いわゆるステレオカメラとして機能する構成であってもよい。撮像部材１２０には、少なくともズーム機能（光学ズーム機能と電子ズーム機能との一方または双方）を含む、ＡＦ（Auto Focus）機能などの、一般的に電子撮像式の顕微鏡部に備えられる１または２以上の機能が搭載される。 The image pickup member 120 may have a structure having a pair of image pickup elements, that is, a structure that functions as a so-called stereo camera. The image pickup member 120 includes 1 or 2 generally provided in an electronic imaging type microscope unit such as an AF (Auto Focus) function including at least a zoom function (one or both of an optical zoom function and an electronic zoom function). The above functions are installed.

また、撮像部材１２０は、例えば４Ｋ、８Ｋなどの、いわゆる高解像度での撮像が可能な構成であってもよい。撮像部材１２０が高解像度での撮像が可能に構成されることにより、所定の解像度（例えば、Ｆｕｌｌ ＨＤ画質など）を確保しつつ、例えば５０インチ以上などの大画面の表示画面を有する表示装置３００に画像を表示させることが可能となるので、当該表示画面を見る術者の視認性が向上する。また、撮像部材１２０が高解像度での撮像が可能に構成されることにより、医療用撮像画像が電子ズーム機能によって拡大されて表示装置３００の表示画面に表示されたとしても、所定の解像度を確保することが可能となる。さらに、電子ズーム機能を用いて所定の解像度が確保される場合には、撮像デバイス１０６における光学ズーム機能の性能を抑えることが可能となるので、撮像デバイス１０６の光学系をより簡易にすることができ、撮像デバイス１０６をより小型に構成することができる。 Further, the imaging member 120 may have a configuration capable of imaging at a so-called high resolution such as 4K or 8K. A display device 300 having a large-screen display screen such as 50 inches or more while ensuring a predetermined resolution (for example, Full HD image quality) by configuring the image pickup member 120 to enable high-resolution imaging. Since it is possible to display an image on the screen, the visibility of the operator who sees the display screen is improved. Further, since the imaging member 120 is configured to be capable of imaging at a high resolution, even if the medical image captured image is enlarged by the electronic zoom function and displayed on the display screen of the display device 300, a predetermined resolution is secured. It becomes possible to do. Further, when a predetermined resolution is secured by using the electronic zoom function, the performance of the optical zoom function in the image pickup device 106 can be suppressed, so that the optical system of the image pickup device 106 can be further simplified. Therefore, the image pickup device 106 can be configured to be smaller.

また、上述したように、撮像部材１２０には、例えば、上記フィルタと、上記フィルタを光路上に選択的に配置する移動機構とが設けられていてもよい。 Further, as described above, the imaging member 120 may be provided with, for example, the filter and a moving mechanism for selectively arranging the filter on the optical path.

撮像デバイス１０６には、例えば、撮像デバイス１０６の動作を制御するための各種の操作デバイスが設けられる。例えば図３では、ズームスイッチ１２４と、フォーカススイッチ１２６と、動作モード選択スイッチ１２８と、撮像モード選択スイッチ１３０と、表示切り替えスイッチ１３２とが、撮像デバイス１０６に設けられている。なお、ズームスイッチ１２４、フォーカススイッチ１２６、動作モード選択スイッチ１２８、撮像モード選択スイッチ１３０、および表示切り替えスイッチ１３２が設けられる位置と形状とが、図３に示す例に限られないことは、言うまでもない。 The image pickup device 106 is provided with, for example, various operation devices for controlling the operation of the image pickup device 106. For example, in FIG. 3, a zoom switch 124, a focus switch 126, an operation mode selection switch 128, an image pickup mode selection switch 130, and a display changeover switch 132 are provided in the image pickup device 106. Needless to say, the positions and shapes of the zoom switch 124, the focus switch 126, the operation mode selection switch 128, the image pickup mode selection switch 130, and the display changeover switch 132 are not limited to the example shown in FIG. ..

ズームスイッチ１２４とフォーカススイッチ１２６とは、撮像デバイス１０６における撮像条件を調整するための操作デバイスの一例である。 The zoom switch 124 and the focus switch 126 are examples of operating devices for adjusting the imaging conditions in the imaging device 106.

ズームスイッチ１２４は、例えば、ズーム倍率（拡大倍率）を大きくするズームインスイッチ１２４ａと、ズーム倍率を小さくするズームアウトスイッチ１２４ｂとで構成される。ズームスイッチ１２４に対する操作が行われることによりズーム倍率が調整されて、ズームが調整される。 The zoom switch 124 is composed of, for example, a zoom-in switch 124a for increasing the zoom magnification (magnification magnification) and a zoom-out switch 124b for decreasing the zoom magnification. By operating the zoom switch 124, the zoom magnification is adjusted and the zoom is adjusted.

フォーカススイッチ１２６は、例えば、観察対象（被写体）までの焦点距離を遠くする遠景フォーカススイッチ１２６ａと、観察対象までの焦点距離を近くする近景フォーカススイッチ１２６ｂとで構成される。フォーカススイッチ１２６に対する操作が行われることにより焦点距離が調整されて、フォーカスが調整される。 The focus switch 126 is composed of, for example, a distant view focus switch 126a that increases the focal length to the observation target (subject) and a near view focus switch 126b that reduces the focal length to the observation target. By operating the focus switch 126, the focal length is adjusted and the focus is adjusted.

動作モード選択スイッチ１２８は、撮像デバイス１０６における、アーム１０４の動作モードを選択するための操作デバイスの一例である。動作モード選択スイッチ１２８に対する操作が行われることにより、アーム１０４の動作モードが変更される。アーム１０４の動作モードとしては、例えば上述したように、固定モードとフリーモードとが挙げられる。 The operation mode selection switch 128 is an example of an operation device for selecting the operation mode of the arm 104 in the image pickup device 106. The operation mode of the arm 104 is changed by operating the operation mode selection switch 128. Examples of the operation mode of the arm 104 include a fixed mode and a free mode as described above.

動作モード選択スイッチ１２８に対する操作の一例としては、動作モード選択スイッチ１２８を押下する操作が、挙げられる。例えば、術者が動作モード選択スイッチ１２８を押下している間、アーム１０４の動作モードがフリーモードとなり、術者が動作モード選択スイッチ１２８を押下していないときには、アーム１０４の動作モードが固定モードとなる。 As an example of the operation for the operation mode selection switch 128, an operation of pressing the operation mode selection switch 128 can be mentioned. For example, while the operator presses the operation mode selection switch 128, the operation mode of the arm 104 becomes the free mode, and when the operator does not press the operation mode selection switch 128, the operation mode of the arm 104 is the fixed mode. It becomes.

撮像モード選択スイッチ１３０は、撮像デバイス１０６における、撮像デバイス１０６の撮像モードを選択するための操作デバイスの一例である。 The image pickup mode selection switch 130 is an example of an operation device for selecting the image pickup mode of the image pickup device 106 in the image pickup device 106.

本実施形態に係る撮像デバイス１０６の撮像モードとしては、例えば、特殊光で撮像を行う撮像モード（以下、「第１の撮像モード」と示す。）と、第１の撮像モードと異なる、１または２以上の撮像モード（以下、「第２の撮像モード」と示す。）とが、挙げられる。本実施形態に係る第２の撮像モードとしては、例えば、自然光で撮像を行う撮像モードと、ＮＢＩ（Narrow Band Imaging）などの画像強調観察技術を利用して撮像を行う撮像モードとが挙げられる。 The imaging mode of the imaging device 106 according to the present embodiment is, for example, an imaging mode in which imaging is performed with special light (hereinafter referred to as “first imaging mode”), which is different from the first imaging mode, or one or more. Two or more imaging modes (hereinafter, referred to as "second imaging mode") can be mentioned. Examples of the second imaging mode according to the present embodiment include an imaging mode in which imaging is performed with natural light and an imaging mode in which imaging is performed using an image enhancement observation technique such as NBI (Narrow Band Imaging).

以下では、第１の撮像モードで撮像された医療用撮像画像を、「第１の医療用撮像画像」と示す場合がある。 In the following, the medical image captured in the first imaging mode may be referred to as a “first medical image”.

また、以下では、第２の撮像モードで撮像された医療用撮像画像のうち、第１の医療用撮像画像よりも前に第２の撮像モードで撮像された医療用撮像画像を、「第２の医療用撮像画像」と示す場合がある。 Further, in the following, among the medically captured images captured in the second imaging mode, the medically captured images captured in the second imaging mode before the first medically captured image are referred to as "second". It may be referred to as "medical image taken by the patient".

ここで、第１の医療用撮像画像よりも前に第２の撮像モードで撮像された医療用撮像画像とは、基準となる第１の医療用撮像画像が撮像された時点よりも前に、撮像された医療用撮像画像を意味する。基準となる第１の医療用撮像画像としては、例えば、表示装置３００の表示画面に表示されている第１の医療用撮像画像（または、制御装置２００が当該表示画面に表示させる第１の医療用撮像画像）が、挙げられる。 Here, the medical image captured in the second imaging mode before the first medical image is taken before the time when the reference first medical image is imaged. It means an image taken for medical use. As the reference first medical image, for example, the first medical image displayed on the display screen of the display device 300 (or the first medical image displayed on the display screen by the control device 200). Image captured for use).

本実施形態に係る第２の医療用撮像画像は、例えば後述する本実施形態に係る表示制御方法に係る処理が行われることによって、第２の撮像モードで撮像された医療用撮像画像の中から、特定される。 The second medical image captured according to the present embodiment is, for example, from the medical image captured in the second imaging mode by performing the process related to the display control method according to the present embodiment described later. , Identified.

図４は、本実施形態に係る医療用観察装置１００が備える撮像デバイス１０６を構成する撮像モード選択スイッチ１３０の一例を示す説明図である。図４では、撮像モード選択スイッチ１３０がロータリスイッチである例を示している。なお、撮像モード選択スイッチ１３０がロータリスイッチに限られないことは、言うまでもない。 FIG. 4 is an explanatory diagram showing an example of an imaging mode selection switch 130 constituting an imaging device 106 included in the medical observation device 100 according to the present embodiment. FIG. 4 shows an example in which the image pickup mode selection switch 130 is a rotary switch. Needless to say, the image pickup mode selection switch 130 is not limited to the rotary switch.

撮像モード選択スイッチ１３０が図４に示す“ＩＲ”を選択した状態である場合、撮像デバイス１０６は、近赤外線の波長帯域の光で撮像を行う撮像モード（第１の撮像モードの一例）で動作する。撮像モード選択スイッチ１３０が図４に示す“ＩＲ”を選択した状態である場合、撮像デバイス１０６では、“近赤外線の波長帯域の光を透過させ、他の波長帯域の光を透過させないフィルタ”が、光路上に配置される。 When the imaging mode selection switch 130 is in the state of selecting “IR” shown in FIG. 4, the imaging device 106 operates in an imaging mode (an example of the first imaging mode) in which imaging is performed with light in the near infrared wavelength band. do. When the image pickup mode selection switch 130 is in the state where "IR" shown in FIG. 4 is selected, the image pickup device 106 has a "filter that transmits light in the near infrared wavelength band and does not transmit light in other wavelength bands". , Placed on the optical path.

撮像モード選択スイッチ１３０が図４に示す“ＷＬＩ”を選択した状態である場合、撮像デバイス１０６は、自然光で撮像を行う撮像モード（第２の撮像モードの一例）で動作する。撮像モード選択スイッチ１３０が図４に示す“ＷＬＩ”を選択した状態である場合、撮像デバイス１０６では、上記“近赤外線の波長帯域の光を透過させ、他の波長帯域の光を透過させないフィルタ”が、光路上に配置されない。 When the imaging mode selection switch 130 is in the state of selecting "WLI" shown in FIG. 4, the imaging device 106 operates in an imaging mode (an example of a second imaging mode) in which imaging is performed with natural light. When the image pickup mode selection switch 130 is in the state where "WLI" shown in FIG. 4 is selected, the image pickup device 106 transmits the above-mentioned "filter that transmits light in the near infrared wavelength band and does not transmit light in other wavelength bands". However, it is not placed on the optical path.

医療用観察装置１００を用いる術者（医療用観察装置１００のユーザの一例）は、撮像モード選択スイッチ１３０を操作して、図４に示す“ＩＲ”または図４に示す“ＷＬＩ”を選択することによって、撮像モードを変更することが可能である。 An operator using the medical observation device 100 (an example of a user of the medical observation device 100) operates the imaging mode selection switch 130 to select “IR” shown in FIG. 4 or “WLI” shown in FIG. This makes it possible to change the imaging mode.

以下では、第１の撮像モードが、近赤外線の波長帯域の光で撮像を行う撮像モードであり、第２の撮像モードが、自然光で撮像を行う撮像モードである場合を例に挙げる。また、以下では、医療用観察装置１００が、近赤外線の波長帯域の光などの特殊光で撮像を行う撮像モードで撮像を行う状態を「特殊光観察」と示し、医療用観察装置１００が、自然光で撮像を行う撮像モードで撮像を行う状態を「自然光観察」と示す場合がある。 In the following, an example will be described in which the first imaging mode is an imaging mode in which imaging is performed with light in a wavelength band of near infrared rays, and the second imaging mode is an imaging mode in which imaging is performed with natural light. Further, in the following, a state in which the medical observation device 100 performs imaging in an imaging mode in which imaging is performed with special light such as light in the near infrared wavelength band is referred to as "special light observation", and the medical observation device 100 refers to the medical observation device 100. Imaging with natural light The state of imaging in the imaging mode may be referred to as "natural light observation".

なお、上述したように、本実施形態に係る第１の撮像モードは、近赤外線の波長帯域の光で撮像を行う撮像モードに限られず、５−ＡＬＡを用いた蛍光観察の蛍光波長帯域などであってもよい。また、医療用観察装置１００では、複数の第１の撮像モードを切り替えることが可能であってもよい。 As described above, the first imaging mode according to the present embodiment is not limited to the imaging mode in which imaging is performed with light in the near-infrared wavelength band, but is in the fluorescence wavelength band for fluorescence observation using 5-ALA. There may be. Further, in the medical observation device 100, it may be possible to switch between a plurality of first imaging modes.

また、上述したように、本実施形態に係る第２の撮像モードは、自然光で撮像を行う撮像モードに限られず、ＮＢＩなどの特定の技術を利用して撮像を行う撮像モードであってもよい。さらに、上述したように、本実施形態に係る第２の撮像モードは、１つに限られず、２つ以上あってもよい。 Further, as described above, the second imaging mode according to the present embodiment is not limited to the imaging mode in which imaging is performed with natural light, and may be an imaging mode in which imaging is performed using a specific technique such as NBI. .. Further, as described above, the second imaging mode according to the present embodiment is not limited to one, and may be two or more.

再度図３を参照して、撮像デバイス１０６の構成の一例を説明する。表示切り替えスイッチ１３２は、撮像デバイス１０６における、表示画面の表示を切り替えるための操作デバイスの一例である。図３では、表示切り替えスイッチ１３２がボタンスイッチである例を示している。なお、表示切り替えスイッチ１３２がボタンスイッチに限られないことは、言うまでもない。 An example of the configuration of the imaging device 106 will be described with reference to FIG. 3 again. The display changeover switch 132 is an example of an operation device for switching the display of the display screen in the image pickup device 106. FIG. 3 shows an example in which the display changeover switch 132 is a button switch. Needless to say, the display changeover switch 132 is not limited to the button switch.

例えば、表示切り替えスイッチ１３２がオン状態にある場合、複数の画像が表示装置３００の表示画面に同時に表示される。表示装置３００の表示画面に同時に表示される複数の画像には、例えば、第１の医療用撮像画像と第２の医療用撮像画像とが含まれうる。以下では、表示切り替えスイッチ１３２がオン状態にある場合、２つの画像が表示装置３００の表示画面に同時に表示される場合を例に挙げる。 For example, when the display changeover switch 132 is in the ON state, a plurality of images are simultaneously displayed on the display screen of the display device 300. The plurality of images simultaneously displayed on the display screen of the display device 300 may include, for example, a first medical image and a second medical image. In the following, when the display changeover switch 132 is in the ON state, the case where two images are simultaneously displayed on the display screen of the display device 300 will be described as an example.

また、表示切り替えスイッチ１３２がオフ状態にある場合、１つの画像が表示装置３００の表示画面に表示される。表示装置３００の表示画面に表示される１つの画像としては、例えば、撮像モード選択スイッチ１３０の状態に対応する医療用撮像画像、すなわち、第１の撮像モードで撮像された医療用撮像画像（第１の医療用撮像画像）または第２の撮像モードで撮像された医療用撮像画像が挙げられる。 Further, when the display changeover switch 132 is in the off state, one image is displayed on the display screen of the display device 300. As one image displayed on the display screen of the display device 300, for example, a medical image taken corresponding to the state of the image pickup mode selection switch 130, that is, a medical image taken in the first image mode (the first image). 1) medically captured image) or a medically captured image captured in the second imaging mode.

以下では、表示切り替えスイッチ１３２を、「同時表示ボタン」と示す場合がある。 In the following, the display changeover switch 132 may be referred to as a “simultaneous display button”.

なお、図３では、撮像デバイス１０６に表示切り替えスイッチ１３２が１つ設けられている例を示しているが、撮像デバイス１０６には、設定される表示の切り替えパターンに対応する、任意の数の表示切り替えスイッチ１３２が、設けられていてもよい。 Although FIG. 3 shows an example in which the image pickup device 106 is provided with one display changeover switch 132, the image pickup device 106 has an arbitrary number of displays corresponding to the set display changeover patterns. The changeover switch 132 may be provided.

撮像デバイス１０６における撮像により生成された画像信号は、例えば制御装置２００へ送信され、上述したように、制御装置２００では、画像信号に対する各種画像処理が行われる。 The image signal generated by the image pickup in the image pickup device 106 is transmitted to, for example, the control device 200, and as described above, the control device 200 performs various image processing on the image signal.

医療用観察装置１００は、例えば図１、図３、図４を参照して示した構成を有する。 The medical observation device 100 has, for example, the configuration shown with reference to FIGS. 1, 3, and 4.

なお、本実施形態に係る医療用観察装置の構成は、図１、図３、図４を参照して示した構成に限られない。 The configuration of the medical observation device according to the present embodiment is not limited to the configuration shown with reference to FIGS. 1, 3, and 4.

例えば、図１では、アーム１０４が、撮像デバイス１０６の駆動に関して６自由度が実現されるように構成されている例を示しているが、アーム１０４の構成は、撮像デバイス１０６の駆動に関する自由度が６自由度となる構成に限られない。例えば、アーム１０４は、用途に応じて撮像デバイス１０６を適宜移動しうるように構成されればよく、関節部およびリンクの数や配置、関節部の駆動軸の方向などは、アーム１０４が所望の自由度を有するように適宜設定することが可能である。 For example, FIG. 1 shows an example in which the arm 104 is configured to realize 6 degrees of freedom in driving the imaging device 106, but the configuration of the arm 104 is configured to have 6 degrees of freedom in driving the imaging device 106. Is not limited to a configuration with 6 degrees of freedom. For example, the arm 104 may be configured so that the imaging device 106 can be appropriately moved according to the application, and the arm 104 is desired in terms of the number and arrangement of joints and links, the direction of the drive shaft of the joints, and the like. It can be appropriately set so as to have a degree of freedom.

また、図３では、撮像デバイス１０６の動作を制御するための各種の操作デバイスが、撮像デバイス１０６に設けられる例を示しているが、図３に示す操作デバイスのうちの一部または全部は、撮像デバイス１０６に設けられなくてもよい。一例を挙げると、撮像デバイス１０６の動作を制御するための各種の操作デバイスは、本実施形態に係る医療用観察装置を構成する撮像デバイス１０６以外の他の部位に設けられていてもよい。また、他の例を挙げると、撮像デバイス１０６の動作を制御するための各種の操作デバイスは、リモートコントローラや、フットスイッチなどの、外部の操作デバイスであってもよい。 Further, FIG. 3 shows an example in which various operation devices for controlling the operation of the image pickup device 106 are provided in the image pickup device 106, but some or all of the operation devices shown in FIG. 3 are shown. It does not have to be provided in the image pickup device 106. As an example, various operation devices for controlling the operation of the image pickup device 106 may be provided at a portion other than the image pickup device 106 constituting the medical observation device according to the present embodiment. Further, to give another example, various operation devices for controlling the operation of the image pickup device 106 may be an external operation device such as a remote controller or a foot switch.

また、上述したように、本実施形態に係る医療用観察装置は、制御装置２００の機能を有していてもよい。制御装置２００の機能を有する場合、本実施形態に係る医療用観察装置は、ＭＰＵなどのプロセッサを備え、当該プロセッサにおいて制御装置２００の機能を実現するための各種処理が行われる。 Further, as described above, the medical observation device according to the present embodiment may have the function of the control device 200. When it has the function of the control device 200, the medical observation device according to the present embodiment includes a processor such as an MPU, and various processes for realizing the function of the control device 200 are performed in the processor.

また、上述したように、本実施形態に係る医療用観察装置は、記憶装置４００の機能を有していてもよい。記憶装置４００の機能を有する場合、本実施形態に係る医療用観察装置は、不揮発性メモリなどのデータを記憶可能な任意の記録媒体を備える。 Further, as described above, the medical observation device according to the present embodiment may have the function of the storage device 400. When having the function of the storage device 400, the medical observation device according to the present embodiment includes an arbitrary recording medium capable of storing data such as a non-volatile memory.

（本実施形態に係る表示制御方法）
次に、本実施形態に係る医療用観察システムに適用される本実施形態に係る表示制御方法について、説明する。(Display control method according to this embodiment)
Next, the display control method according to the present embodiment applied to the medical observation system according to the present embodiment will be described.

以下では、本実施形態に係る表示制御方法が図１に示す医療用観察システム１０００に適用され、本実施形態に係る表示制御方法に係る処理が制御装置２００により実行される場合を例に挙げる。つまり、以下では、図１に示す医療用観察システム１０００において、制御装置２００が医療用表示制御装置として機能する場合を例に挙げる。 In the following, a case where the display control method according to the present embodiment is applied to the medical observation system 1000 shown in FIG. 1 and the process related to the display control method according to the present embodiment is executed by the control device 200 will be described as an example. That is, in the following, in the medical observation system 1000 shown in FIG. 1, a case where the control device 200 functions as a medical display control device will be given as an example.

なお、例えば、本実施形態に係る医療用観察装置が制御装置２００の機能を有する場合、本実施形態に係る表示制御方法に係る処理は、本実施形態に係る医療用観察装置により実行される。つまり、本実施形態に係る医療用観察システムでは、本実施形態に係る医療用観察装置が医療用表示制御装置として機能してもよい。 For example, when the medical observation device according to the present embodiment has the function of the control device 200, the process according to the display control method according to the present embodiment is executed by the medical observation device according to the present embodiment. That is, in the medical observation system according to the present embodiment, the medical observation device according to the present embodiment may function as a medical display control device.

［Ｉ］医療用観察システム１０００の動作の一例
本実施形態に係る表示制御方法に係る処理について説明する前に、医療用観察システム１０００の動作の一例を示す。[I] Example of Operation of Medical Observation System 1000 Before explaining the process related to the display control method according to the present embodiment, an example of operation of the medical observation system 1000 will be shown.

図５は、本実施形態に係る表示制御方法が適用される本実施形態に係る医療用観察システム１０００の構成の一例を示すブロック図である。図５では、図１を参照して説明した医療用観察システム１０００を構成する各装置の構成のうち、本実施形態に係る表示制御方法に係る一部の構成を示している。 FIG. 5 is a block diagram showing an example of the configuration of the medical observation system 1000 according to the present embodiment to which the display control method according to the present embodiment is applied. FIG. 5 shows a part of the configurations of the devices constituting the medical observation system 1000 described with reference to FIG. 1 according to the display control method according to the present embodiment.

医療用観察装置１００が備える撮像デバイス１０６における撮像により生成された画像信号は、制御装置２００へ送信される。 The image signal generated by the image pickup in the image pickup device 106 included in the medical observation device 100 is transmitted to the control device 200.

制御装置２００では、表示制御部２０２が受信された画像信号を処理する。また、表示制御部２０２は、表示装置３００の表示画面に画像を表示させ、記憶装置４００に画像データを記憶させる。制御装置２００では、例えば上述したように、プロセッサ（図示せず）が表示制御部２０２として機能する。 In the control device 200, the display control unit 202 processes the received image signal. Further, the display control unit 202 displays an image on the display screen of the display device 300, and stores the image data in the storage device 400. In the control device 200, for example, as described above, a processor (not shown) functions as a display control unit 202.

表示制御部２０２は、例えば、表示制御信号と、適宜所定の画像処理が行われた画像信号とを、表示装置３００に送信する。一例を挙げると、表示制御部２０２は、後述する本実施形態に係る表示制御方法に係る処理の結果に基づいて、“複数の画像を同時に表示画面に表示させる表示命令を含む表示制御信号、および複数の画像に対応する画像信号”、または、“１つの画像を表示画面に表示させる表示命令を含む表示制御信号、および１つの画像に対応する画像信号”を、表示装置３００に送信する。 The display control unit 202 transmits, for example, a display control signal and an image signal that has been appropriately subjected to predetermined image processing to the display device 300. As an example, the display control unit 202 "is a display control signal including a display command for displaying a plurality of images on the display screen at the same time, and a display control signal based on the result of the process related to the display control method according to the present embodiment described later. An image signal corresponding to a plurality of images or a display control signal including a display command for displaying one image on a display screen and an image signal corresponding to one image are transmitted to the display device 300.

表示制御信号と画像信号とを受信した表示装置３００は、例えば、表示制御信号に従って、画像信号が示す画像を表示画面に表示する。 The display device 300 that has received the display control signal and the image signal displays, for example, the image indicated by the image signal on the display screen according to the display control signal.

また、表示制御部２０２は、記録命令を含む記録制御信号と、適宜所定の画像処理が行われた画像を示す画像データとを、記憶装置４００に送信する。記録制御信号と画像データとを受信した記憶装置４００は、記録制御信号に従って、画像データを記憶する。 Further, the display control unit 202 transmits a recording control signal including a recording command and image data indicating an image to which predetermined image processing has been appropriately performed to the storage device 400. The storage device 400 that has received the recording control signal and the image data stores the image data according to the recording control signal.

ここで、表示制御部２０２は、例えば、医療用観察装置１００が備える撮像デバイス１０６における撮像モードによって、記憶装置４００に記憶させる画像の形式を変える。 Here, the display control unit 202 changes the format of the image stored in the storage device 400, for example, depending on the image pickup mode in the image pickup device 106 included in the medical observation device 100.

一例を挙げると、医療用観察装置１００が備える撮像デバイス１０６が、自然光で撮像を行う撮像モード（第２の撮像モードの一例）で動作している場合、表示制御部２０２は、受信された画像信号が示す画像を、所定の時間間隔ごとに、静止画像として記憶装置４００に記憶させる。上記所定の時間間隔としては、例えば、１［秒］などの固定の時間間隔であってもよいし、医療従事者などの医療用観察システム１０００を利用する者の操作などに基づいて変更可能な、可変の時間間隔であってもよい。 As an example, when the imaging device 106 included in the medical observation device 100 is operating in an imaging mode (an example of a second imaging mode) in which imaging is performed with natural light, the display control unit 202 receives an image. The image indicated by the signal is stored in the storage device 400 as a still image at predetermined time intervals. The predetermined time interval may be, for example, a fixed time interval such as 1 [second], or can be changed based on an operation of a person using the medical observation system 1000 such as a medical worker. , May be a variable time interval.

第２の撮像モードに対応する静止画像を所定の時間間隔ごとに記憶装置４００に記憶させる場合、表示制御部２０２は、記憶装置４００に記憶させた静止画像を示す画像データの数と設定されている所定の閾値とを比較し、比較結果に応じて、記憶装置４００において記憶されている期間がより長い静止画像（すなわち、古い静止画像）から順に、上書き更新をさせてもよい。表示制御部２０２は、例えば、静止画像を示す画像データの数が所定の閾値を超えた場合（または、静止画像を示す画像データの数が所定の閾値以上となった場合）に、上書き更新をさせる。上記所定の閾値は、固定値であってもよいし、医療用観察システム１０００を利用する者の操作などに基づいて変更可能な可変値であってもよい。 When the still image corresponding to the second imaging mode is stored in the storage device 400 at predetermined time intervals, the display control unit 202 is set to the number of image data indicating the still image stored in the storage device 400. It may be compared with a predetermined threshold value, and overwriting and updating may be performed in order from a still image (that is, an old still image) having a longer storage period in the storage device 400 according to the comparison result. The display control unit 202 performs overwrite update when, for example, the number of image data indicating a still image exceeds a predetermined threshold value (or when the number of image data indicating a still image exceeds a predetermined threshold value). Let me. The predetermined threshold value may be a fixed value or a variable value that can be changed based on an operation of a person who uses the medical observation system 1000 or the like.

例えば上記のように、記憶装置４００において記憶されている静止画像が上書き更新されることによって、記憶装置４００に記憶される、第２の撮像モードで撮像された医療用撮像画像の総データサイズを、制限することが可能となる。 For example, as described above, the total data size of the medical image captured in the second imaging mode stored in the storage device 400 is calculated by overwriting and updating the still image stored in the storage device 400. , It becomes possible to limit.

また、他の例を挙げると、医療用観察装置１００が備える撮像デバイス１０６が、近赤外線の波長帯域の光で撮像を行う撮像モード（第１の撮像モードの一例）で動作している場合、表示制御部２０２は、受信された画像信号が示す画像を、動画像として、記憶装置４００に記憶させる。表示制御部２０２は、例えば、“撮像モードが、他の撮像モードから近赤外線の波長帯域の光で撮像を行う撮像モードへと切り替わった後、近赤外線の波長帯域の光で撮像を行う撮像モードが他の撮像モードに変わるまで”を、１つの動画像として記憶装置４００に記憶させる。上記のような、第１の撮像モードに対応する動画像は、例えば、オートプレイバック用の動画像として用いられる。 Further, to give another example, when the imaging device 106 included in the medical observation device 100 is operating in an imaging mode (an example of the first imaging mode) in which imaging is performed with light in a wavelength band of near infrared rays. The display control unit 202 stores the image indicated by the received image signal in the storage device 400 as a moving image. The display control unit 202 is, for example, "an imaging mode in which the imaging mode is switched from another imaging mode to an imaging mode in which imaging is performed with light in the near-infrared wavelength band, and then imaging is performed with light in the near-infrared wavelength band. Is stored in the storage device 400 as one moving image. The moving image corresponding to the first imaging mode as described above is used as, for example, a moving image for autoplayback.

なお、表示制御部２０２が、医療用観察装置１００が備える撮像デバイス１０６における撮像モードによらずに、同一の形式の画像を記憶装置４００に記憶させることが可能であることは、言うまでもない。 Needless to say, the display control unit 202 can store an image of the same format in the storage device 400 regardless of the image pickup mode in the image pickup device 106 included in the medical observation device 100.

医療用観察システム１０００では、例えば上記に示すように各装置が動作することによって、医療用観察装置１００において撮像された医療用撮像画像が表示装置３００の表示画面に表示され、また、当該医療用撮像画像を示す画像データが記憶装置４００に記憶される。 In the medical observation system 1000, for example, by operating each device as shown above, the medical image captured by the medical observation device 100 is displayed on the display screen of the display device 300, and the medical observation system 1000 is used. Image data indicating the captured image is stored in the storage device 400.

［ＩＩ］本実施形態に係る表示制御方法に係る処理の一例
次に、本実施形態に係る表示制御方法に係る処理について説明する。以下では、本実施形態に係る表示制御方法に係る処理を制御装置２００が行うものとして説明する。なお、上述したように、制御装置２００において本実施形態に係る表示制御方法に係る処理は、例えば、表示制御部２０２の役目を果たすプロセッサ（図示せず）などにより行われる。[II] An example of processing related to the display control method according to the present embodiment Next, the processing related to the display control method according to the present embodiment will be described. Hereinafter, the processing related to the display control method according to the present embodiment will be described as being performed by the control device 200. As described above, in the control device 200, the processing related to the display control method according to the present embodiment is performed by, for example, a processor (not shown) that serves as the display control unit 202.

制御装置２００は、医療用撮像画像の表示を制御する。 The control device 200 controls the display of the medically captured image.

例えば、制御装置２００は、第１の医療用撮像画像と第２の医療用撮像画像とを同時に表示させる。第１の医療用撮像画像と同時に表示画面に表示させる第２の医療用撮像画像としては、例えば、静止画像が挙げられる。なお、第１の医療用撮像画像と同時に表示させる第２の医療用撮像画像は、動画像であってもよい。 For example, the control device 200 simultaneously displays the first medical image and the second medical image. Examples of the second medically captured image to be displayed on the display screen at the same time as the first medically captured image include a still image. The second medical image captured at the same time as the first medical image may be a moving image.

ここで、第１の医療用撮像画像と第２の医療用撮像画像とは、医療用観察装置１００が備える撮像デバイス１０６などの１つの撮像デバイスにおいて、異なる撮像モードで撮像された医療用撮像画像である。したがって、制御装置２００が本実施形態に係る表示制御方法に係る処理を行うことによって、医療用観察システム１０００では、撮像デバイスにおいて異なる撮像モードで撮像された医療用撮像画像を、同時に表示画面に表示させることが、実現される。 Here, the first medical image and the second medical image are medical image images captured in different imaging modes by one imaging device such as the imaging device 106 included in the medical observation device 100. Is. Therefore, when the control device 200 performs the process related to the display control method according to the present embodiment, the medical observation system 1000 simultaneously displays the medical image captured in different imaging modes on the display screen. Is realized.

また、第２の医療用撮像画像は、第１の医療用撮像画像よりも前に撮像された画像であるので、上記撮像デバイスは、同時に複数の撮像モードで撮像された撮像画像を得るための構成を有する必要はない。よって、本実施形態に係る表示制御方法が用いられる場合、撮像デバイスは、特許文献１に記載の技術を用いる手術用顕微鏡のように２つのＣＣＤを備える構成をとる必要はないので、撮像デバイスのコストの増加を抑えることができ、また、撮像デバイスの小型化がより容易となる。 Further, since the second medical image is an image captured before the first medical image, the imaging device can be used to obtain an image captured in a plurality of imaging modes at the same time. It does not have to have a configuration. Therefore, when the display control method according to the present embodiment is used, the imaging device does not need to have a configuration including two CCDs unlike the surgical microscope using the technique described in Patent Document 1, and thus the imaging device. The increase in cost can be suppressed, and the miniaturization of the imaging device becomes easier.

なお、例えば後述する医療用観察システムの動作の一例において示すように、制御装置２００は、例えば、第１の医療用撮像画像と第２の医療用撮像画像とのうちの一方を、表示させることも可能である。 As shown in, for example, an example of the operation of the medical observation system described later, the control device 200 displays, for example, one of the first medical image and the second medical image. Is also possible.

より具体的には、制御装置２００は、例えば下記の（１）に示す第１の例に係る制御〜下記の（４）に示す第４の例に係る制御のうちの一部または全部の制御を行うことによって、医療用撮像画像の表示を制御する。下記の（１）〜（４）に示す制御は、例えば上述したように、制御装置２００が、表示装置３００などの画像の表示対象の装置に対して、表示制御信号と画像信号とを送信することによって、実現される。 More specifically, the control device 200 controls, for example, a part or all of the control according to the first example shown in (1) below to the control according to the fourth example shown in (4) below. By performing the above, the display of the medically captured image is controlled. In the controls shown in (1) to (4) below, for example, as described above, the control device 200 transmits a display control signal and an image signal to a device such as a display device 300 to display an image. By doing so, it will be realized.

（１）表示制御方法に係る制御の第１の例：医療用撮像画像の表示のさせ方に係る制御
表示制御方法に係る制御の第１の例として、医療用撮像画像の表示のさせ方に係る制御について、説明する。(1) First example of control related to a display control method: Control related to how to display a medically captured image As a first example of control related to a display control method, how to display a medically captured image Such control will be described.

制御装置２００は、例えば、第１の医療用撮像画像と第２の医療用撮像画像とを、表示画面における異なる表示領域に表示させる。 The control device 200 displays, for example, the first medical image and the second medical image in different display areas on the display screen.

例えば、制御装置２００は、第１の医療用撮像画像が表示される表示領域が、第２の医療用撮像画像が表示される表示領域よりも大きくなるように、表示させる。制御装置２００は、例えば、第１の医療用撮像画像を表示画面の全体に表示させ、第２の医療用撮像画像を表示画面の一部に表示させる。制御装置２００は、ＰＩＰ（Picture In Picture）によって、“第１の医療用撮像画像を表示画面の全体に表示させ、第２の医療用撮像画像を表示画面の一部に表示させること”を、実現する。 For example, the control device 200 displays the display area on which the first medically captured image is displayed so as to be larger than the display area on which the second medically captured image is displayed. The control device 200 displays, for example, the first medically captured image on the entire display screen and displays the second medically captured image on a part of the display screen. The control device 200 uses PIP (Picture In Picture) to "display the first medical image captured on the entire display screen and display the second medical image on a part of the display screen". Realize.

また、制御装置２００は、例えば、表示画面を複数の領域に分け、各領域に第１の医療用撮像画像と第２の医療用撮像画像とをそれぞれ表示させてもよい。第１の医療用撮像画像が表示される表示領域の大きさと第２の医療用撮像画像が表示される表示領域の大きさとは、同一であってもよいし、異なっていてもよい。 Further, for example, the control device 200 may divide the display screen into a plurality of areas and display the first medical image and the second medical image in each area. The size of the display area on which the first medically captured image is displayed and the size of the display area on which the second medically captured image is displayed may be the same or different.

なお、本実施形態に係る医療用撮像画像の表示のさせ方は、上記に示す例に限られない。 The method of displaying the medically captured image according to the present embodiment is not limited to the example shown above.

例えば、制御装置２００は、第１の医療用撮像画像と第２の医療用撮像画像とを、表示画面における同一の表示領域に重畳して表示させてもよい。第１の医療用撮像画像と第２の医療用撮像画像とを重畳して表示させる場合、制御装置２００は、例えば、第１の医療用撮像画像および第２の医療用撮像画像それぞれから同一のオブジェクトを検出し、検出されたオブジェクトの位置が重なるように、第１の医療用撮像画像と第２の医療用撮像画像とをアルファブレンドする。 For example, the control device 200 may superimpose and display the first medical image and the second medical image on the same display area on the display screen. When the first medical image and the second medical image are superimposed and displayed, the control device 200 is, for example, the same from each of the first medical image and the second medical image. The object is detected, and the first medical image and the second medical image are alpha-blended so that the positions of the detected objects overlap.

また、本実施形態に係る医療用観察システムが複数の表示装置を有する場合、制御装置２００は、例えば、第１の医療用撮像画像および第２の医療用撮像画像それぞれを、異なる表示装置の表示画面に同時に表示させてもよい。制御装置２００は、例えば、第１の医療用撮像画像を表示させる表示装置、および第２の医療用撮像画像を表示させる表示装置それぞれに対して、各表示装置に対応する表示制御信号および画像信号を、同期して送信することによって、第１の医療用撮像画像および第２の医療用撮像画像それぞれを、異なる表示装置の表示画面に同時に表示させる。 When the medical observation system according to the present embodiment has a plurality of display devices, the control device 200 displays, for example, the first medical image and the second medical image by displaying different display devices. It may be displayed on the screen at the same time. The control device 200 is, for example, a display control signal and an image signal corresponding to each display device for each of the display device for displaying the first medically captured image and the display device for displaying the second medically captured image. Are transmitted synchronously so that the first medical image and the second medical image are simultaneously displayed on the display screens of different display devices.

また、本実施形態に係る医療用撮像画像の表示のさせ方は、切り替えが可能であってもよい。制御装置２００は、例えば、制御装置２００が備える操作デバイス、または、制御装置２００の外部の操作デバイスに対する操作に基づいて、医療用撮像画像の表示のさせ方を切り替える。 Further, the method of displaying the medically captured image according to the present embodiment may be switchable. The control device 200 switches how to display the medically captured image based on, for example, an operation on the operation device included in the control device 200 or an external operation device of the control device 200.

（２）表示制御方法に係る制御の第２の例：第２の医療用撮像画像の特定に係る制御
表示制御方法に係る制御の第２の例として、第２の医療用撮像画像の特定に係る制御について、説明する。(2) Second example of control related to the display control method: Control related to the specification of the second medical image captured image As a second example of the control related to the display control method, the specification of the second medical image image is used. Such control will be described.

上述したように、本実施形態に係る第２の医療用撮像画像は、“第２の撮像モードで、第１の医療用撮像画像よりも前に撮像された医療用撮像画像”である。制御装置２００は、例えば、記憶装置４００に記憶されている画像データから、表示画面に表示されている第１の医療用撮像画像（基準となる第１の医療用撮像画像の一例）、または、表示画面に表示させる第１の医療用撮像画像（基準となる第１の医療用撮像画像の他の例）を基準として、第２の医療用撮像画像の候補となる、第２の撮像モードで撮像された医療用撮像画像を抽出する。制御装置２００は、例えば、基準となる第１の医療用撮像画像を示す画像データのメタデータを参照することなどによって、基準となる第１の医療用撮像画像が撮像された時点を特定する。そして、制御装置２００は、抽出された第２の医療用撮像画像の候補となる医療用撮像画像の中から、第２の医療用撮像画像を特定する。 As described above, the second medical image captured according to the present embodiment is "a medical image captured before the first medical image in the second imaging mode". The control device 200 is, for example, from the image data stored in the storage device 400, a first medical image captured image displayed on the display screen (an example of a reference first medical image image), or In the second imaging mode, which is a candidate for the second medical imaging image based on the first medical imaging image to be displayed on the display screen (another example of the reference first medical imaging image). The captured medical image is extracted. The control device 200 identifies the time when the reference first medical image is captured, for example, by referring to the metadata of the image data indicating the reference first medical image. Then, the control device 200 identifies the second medically captured image from the extracted medically captured images that are candidates for the second medically captured image.

候補となる医療用撮像画像が１つである場合、制御装置２００は、当該候補となる医療用撮像画像を、第２の医療用撮像画像として特定する。 When there is only one candidate medical image, the control device 200 identifies the candidate medical image as a second medical image.

また、例えば、候補となる医療用撮像画像が複数存在する場合、制御装置２００は、例えば下記の（ａ）〜（ｃ）に示すように、候補となる複数の医療用撮像画像の中から、第１の医療用撮像画像と同時に表示させる医療用撮像画像を特定する。そして、制御装置２００は、特定された医療用撮像画像を、第２の医療用撮像画像として、第１の医療用撮像画像と同時に表示画面に表示させる。 Further, for example, when there are a plurality of candidate medical image capture images, the control device 200 may select the candidate medical image capture images from among the plurality of candidate medical image capture images, for example, as shown in (a) to (c) below. The medical image to be displayed at the same time as the first medical image is specified. Then, the control device 200 displays the specified medical image captured as the second medical image on the display screen at the same time as the first medical image.

（ａ）第２の医療用撮像画像の第１の特定方法
制御装置２００は、例えば、基準となる第１の医療用撮像画像が撮像された時点から所定の期間内に、第２の撮像モードで撮像された医療用撮像画像を、第２の医療用撮像画像として特定する。(A) First Specific Method of Second Medical Imaging Image The control device 200 has, for example, a second imaging mode within a predetermined period from the time when the reference first medical imaging image is captured. The medically captured image captured in 1 is specified as a second medically captured image.

上記所定の期間は、予め設定されている固定の期間（例えば、２０［秒］、１［分］など）であってもよいし、医療従事者などの医療用観察システム１０００を利用する者の操作などに基づいて変更可能な、可変の期間であってもよい。上記所定の期間が固定の期間である場合、上記所定の期間は、例えば、医療用観察装置１００における撮像モードの切り替え性能（当該性能は、例えば、医療用観察装置１００において撮像モードの切り替えが完了する時間で、判断される。）を考慮して、設計時または製造時に設定される。また、上記所定の期間が可変の期間である場合、上記所定の期間は、例えば、術者や看護師などの、制御装置２００（医療用観察システム１０００において医療用表示制御装置として機能する装置の一例）を用いるユーザが、制御装置２００が備える操作デバイス、または、リモートコントローラなどの制御装置２００の外部の操作デバイスを操作することによって、設定される。 The predetermined period may be a preset fixed period (for example, 20 [seconds], 1 [minutes], etc.), or may be a medical worker or the like who uses the medical observation system 1000. It may be a variable period that can be changed based on an operation or the like. When the predetermined period is a fixed period, the predetermined period is, for example, the switching performance of the imaging mode in the medical observation device 100 (for example, the performance is such that the switching of the imaging mode is completed in the medical observation device 100). It is set at the time of design or manufacturing in consideration of the time to be determined. When the predetermined period is a variable period, the predetermined period is, for example, a control device 200 (a device that functions as a medical display control device in the medical observation system 1000) such as an operator or a nurse. The user using the example) is set by operating an operation device included in the control device 200 or an operation device external to the control device 200 such as a remote controller.

上記所定の期間内に第２の撮像モードで撮像された医療用撮像画像が、複数存在する場合、制御装置２００は、例えば、複数の医療用撮像画像の中から、ランダムに選択された医療用撮像画像を、第２の医療用撮像画像として特定する。また、上記所定の期間内に第２の撮像モードで撮像された医療用撮像画像が、複数存在する場合、制御装置２００は、例えば、後述する第２の例に係る特定方法など、他の特定方法を組み合わせることによって、第２の医療用撮像画像を特定する。 When there are a plurality of medically captured images captured in the second imaging mode within the predetermined period, the control device 200 is, for example, randomly selected from a plurality of medically captured images for medical use. The captured image is specified as a second medical captured image. Further, when there are a plurality of medically captured images captured in the second imaging mode within the predetermined period, the control device 200 may use the control device 200 for other identification such as, for example, a specific method according to a second example described later. By combining the methods, a second medical image is identified.

（ｂ）第２の医療用撮像画像の第２の特定方法
制御装置２００は、例えば、第２の撮像モードで基準となる第１の医療用撮像画像よりも前に撮像された医療用撮像画像のうち、画像の評価が最も高い画像を、第２の医療用撮像画像として特定する。(B) Second Specific Method of Second Medical Capture Image The control device 200 is, for example, a medical image captured before the first medical image captured as a reference in the second imaging mode. Among them, the image having the highest evaluation of the image is specified as the second medically captured image.

制御装置２００は、例えば、ノイズ量のモデルを用いたベイズ推定など、画像からノイズを推定することが可能な任意の手法を用いて、候補となる医療用撮像画像それぞれのノイズ量を推定する。そして、制御装置２００は、ノイズ量が最も少ない候補となる医療用撮像画像を、第２の医療用撮像画像として特定する。 The control device 200 estimates the noise amount of each of the candidate medical image capture images by using an arbitrary method capable of estimating the noise from the image, such as Bayesian estimation using a noise amount model. Then, the control device 200 identifies the candidate medical image captured with the least amount of noise as the second medical image.

なお、本実施形態に係る画像を評価する方法は、上記に示す例に限られない。例えば、制御装置２００は、画像を定量的に評価することが可能な任意の処理を行い、評価の値が最も高い医療用撮像画像を、第２の医療用撮像画像として特定することが可能である。 The method for evaluating the image according to the present embodiment is not limited to the example shown above. For example, the control device 200 can perform arbitrary processing capable of quantitatively evaluating the image, and can identify the medical image captured with the highest evaluation value as the second medical image. be.

また、上記（ａ）で示したように、制御装置２００は、第２の特定方法と上記（ａ）に示す第１の特定方法とを組み合わせて、第２の医療用撮像画像を特定することも、可能である。 Further, as shown in the above (a), the control device 200 specifies the second medical image captured image by combining the second specifying method and the first specifying method shown in the above (a). Is also possible.

（ｃ）第２の医療用撮像画像の第３の特定方法
制御装置２００は、第２の撮像モードで第１の医療用撮像画像よりも前に撮像された医療用撮像画像のうち、画像を選択する選択操作に基づいて選択された画像を、第２の医療用撮像画像として特定する。(C) Third Specific Method of Second Medical Captured Image The control device 200 captures an image among the medically captured images captured before the first medically captured image in the second imaging mode. The image selected based on the selection operation to be selected is specified as the second medically captured image.

制御装置２００は、例えば、制御装置２００が備える操作デバイス、または、制御装置２００の外部の操作デバイスから取得される、選択操作に対応する信号に基づいて、選択操作に基づいて選択された画像を特定する。そして、制御装置２００は、特定された画像を、第２の医療用撮像画像とする。 The control device 200 obtains, for example, an image selected based on the selection operation based on a signal corresponding to the selection operation acquired from an operation device included in the control device 200 or an operation device external to the control device 200. Identify. Then, the control device 200 uses the specified image as a second medically captured image.

第３の特定方法が用いられる場合、制御装置２００は、例えば、表示装置３００などの表示画面に、候補となる医療用撮像画像が一覧表示されるＵＩを自動的に表示させる。また、第３の特定方法が用いられる場合、制御装置２００は、例えば、制御装置２００が備える操作デバイスなどから取得される所定の操作に対応する信号に基づいて、候補となる医療用撮像画像が一覧表示されるＵＩを表示させてもよい。 When the third specific method is used, the control device 200 automatically displays a UI on which a list of candidate medical image capture images is displayed on a display screen of, for example, a display device 300. When the third specific method is used, the control device 200 can obtain a candidate medical image captured image based on a signal corresponding to a predetermined operation acquired from, for example, an operation device included in the control device 200. The UI displayed in the list may be displayed.

候補となる医療用撮像画像が複数存在する場合、制御装置２００は、例えば上記（ａ）〜（ｃ）に示すように、第２の医療用撮像画像を特定する。なお、第２の医療用撮像画像の特定方法が、上記（ａ）〜（ｃ）に示す例に限られないことは、言うまでもない。 When there are a plurality of candidate medical image capture images, the control device 200 identifies the second medical image image as shown in (a) to (c) above, for example. Needless to say, the second method for specifying the medically captured image is not limited to the examples shown in (a) to (c) above.

（３）表示制御方法に係る制御の第３の例：第１の医療用撮像画像と第２の医療用撮像画像とを同時に表示させる表示の開始、終了に係る制御
表示制御方法に係る制御の第３の例として、第１の医療用撮像画像と第２の医療用撮像画像とを同時に表示させる表示の開始、終了に係る制御について、説明する。以下では、第１の医療用撮像画像と第２の医療用撮像画像とを同時に表示させる表示を「同時表示」と示す場合がある。(3) Third example of control related to the display control method: Control related to the start and end of display for displaying the first medical image and the second medical image at the same time Control related to the display control method As a third example, control relating to the start and end of display for displaying the first medical image and the second medical image at the same time will be described. In the following, a display for displaying the first medical image and the second medical image at the same time may be referred to as “simultaneous display”.

制御装置２００は、同時表示の開始、終了に係る制御として、例えば、下記の（３−１）に示す制御、または、下記の（３−２）に示す制御を行う。 The control device 200 performs, for example, the control shown in (3-1) below or the control shown in (3-2) below as the control related to the start and end of the simultaneous display.

（３−１）同時表示の開始、終了に係る制御の第１の例
制御装置２００は、医療用観察装置１００が備える撮像デバイス１０６など、制御対象の撮像デバイスが第１の撮像モードであると判定された場合に、第１の医療用撮像画像と第２の医療用撮像画像とを同時に表示させる。(3-1) First Example of Control Related to Start and End of Simultaneous Display In the control device 200, the image pickup device to be controlled, such as the image pickup device 106 included in the medical observation device 100, is in the first image pickup mode. When the determination is made, the first medical image and the second medical image are displayed at the same time.

制御装置２００は、第２の撮像モードを第１の撮像モードに切り替える第１のモード切り替え操作が検出された場合に、撮像デバイスが第１の撮像モードであると判定する。 The control device 200 determines that the imaging device is the first imaging mode when the first mode switching operation for switching the second imaging mode to the first imaging mode is detected.

制御対象の撮像デバイスが医療用観察装置１００が備える撮像デバイス１０６である場合を例に挙げると、制御装置２００は、例えば、第１の撮像モードに対応する切替信号（撮像モード選択スイッチ１３０に対する操作に応じた切替信号の一例）が医療用観察装置１００から取得された場合に、第１のモード切り替え操作が検出されたと判定する。 Taking the case where the image pickup device to be controlled is the image pickup device 106 included in the medical observation device 100 as an example, the control device 200 may, for example, operate a switching signal (operation with respect to the image pickup mode selection switch 130) corresponding to the first image pickup mode. When an example of the switching signal corresponding to the above) is acquired from the medical observation device 100, it is determined that the first mode switching operation has been detected.

なお、制御装置２００における第１のモード切り替え操作の検出方法は、上記に示す例に限られない。例えば、医療用観察装置１００が備える撮像デバイス１０６における撮像モードが、リモートコントローラなどの外部の操作デバイスにより切り替えられる場合、制御装置２００は、当該外部の操作デバイスから取得される信号に基づいて、第１のモード切り替え操作を検出することが可能である。 The method for detecting the first mode switching operation in the control device 200 is not limited to the example shown above. For example, when the imaging mode in the imaging device 106 included in the medical observation device 100 is switched by an external operating device such as a remote controller, the control device 200 is the first based on the signal acquired from the external operating device. It is possible to detect the mode switching operation of 1.

また、制御装置２００は、制御対象の撮像デバイスが第１の撮像モードであると判定された後に、当該撮像デバイスが第２の撮像モードであると判定された場合には、当該撮像デバイスにおいて第２の撮像モードで撮像された医療用撮像画像を、表示させる。ここで、上記第２の撮像モードで撮像された医療用撮像画像とは、第２の医療用撮像画像とは異なり、第１の医療用撮像画像が撮像された時点に依存しない医療用撮像画像である。 Further, when the control device 200 determines that the image pickup device to be controlled is in the first image pickup mode and then determines that the image pickup device is in the second image pickup mode, the control device 200 determines that the image pickup device is in the second image pickup mode. The medically captured image captured in the imaging mode of 2 is displayed. Here, the medical image captured in the second imaging mode is different from the second medical image, and is a medical image image that does not depend on the time when the first medical image is imaged. Is.

制御装置２００は、第１の撮像モードを第２の撮像モードに切り替える第２のモード切り替え操作が検出された場合に、撮像デバイスが第２の撮像モードであると判定する。 The control device 200 determines that the imaging device is the second imaging mode when the second mode switching operation for switching the first imaging mode to the second imaging mode is detected.

制御対象の撮像デバイスが医療用観察装置１００が備える撮像デバイス１０６である場合を例に挙げると、制御装置２００は、例えば、第２の撮像モードに対応する切替信号（撮像モード選択スイッチ１３０に対する操作に応じた切替信号の他の例）が医療用観察装置１００から取得された場合に、第２のモード切り替え操作が検出されたと判定する。 Taking the case where the image pickup device to be controlled is the image pickup device 106 included in the medical observation device 100 as an example, the control device 200 may, for example, operate a switching signal (operation with respect to the image pickup mode selection switch 130) corresponding to the second image pickup mode. When another example of the switching signal according to the above is acquired from the medical observation device 100, it is determined that the second mode switching operation has been detected.

なお、制御装置２００における第２のモード切り替え操作の検出方法は、上記に示す例に限られない。例えば、医療用観察装置１００が備える撮像デバイス１０６における撮像モードが外部の操作デバイスにより切り替えられる場合、制御装置２００は、当該外部の操作デバイスから取得される信号に基づいて、第２のモード切り替え操作を検出することが可能である。 The method for detecting the second mode switching operation in the control device 200 is not limited to the example shown above. For example, when the imaging mode in the imaging device 106 included in the medical observation device 100 is switched by an external operating device, the control device 200 performs a second mode switching operation based on a signal acquired from the external operating device. Can be detected.

（３−２）同時表示の開始、終了に係る制御の第２の例
制御装置２００は、第１の医療用撮像画像が表示されているときに、表示を切り替える表示切り替え操作が検出された場合に、第１の医療用撮像画像と第２の医療用撮像画像とを同時に表示させる。(3-2) Second Example of Control Related to Start and End of Simultaneous Display When the control device 200 detects a display switching operation for switching the display while the first medical image is being displayed. The first medical image and the second medical image are displayed at the same time.

制御対象の撮像デバイスが医療用観察装置１００が備える撮像デバイス１０６である場合を例に挙げると、制御装置２００は、例えば、表示切り替えスイッチ１３２の状態が変化したことを示す信号が、医療用観察装置１００から取得された場合に、表示切り替え操作が検出されたと判定する。 Taking the case where the image pickup device to be controlled is the image pickup device 106 included in the medical observation device 100 as an example, in the control device 200, for example, a signal indicating that the state of the display changeover switch 132 has changed is a medical observation. When it is acquired from the device 100, it is determined that the display switching operation has been detected.

なお、制御装置２００における表示切り替え操作の検出方法は、上記に示す例に限られない。例えば、表示の切り替えが、リモートコントローラなどの外部の操作デバイスに対する操作により行われる場合、制御装置２００は、当該外部の操作デバイスから取得される信号に基づいて、表示切り替え操作を検出することが可能である。 The method of detecting the display switching operation in the control device 200 is not limited to the example shown above. For example, when the display is switched by operating an external operating device such as a remote controller, the control device 200 can detect the display switching operation based on the signal acquired from the external operating device. Is.

また、制御装置２００は、表示切り替え操作に基づいて第１の医療用撮像画像と第２の医療用撮像画像とが同時に表示された後に、表示切り替え操作がさらに検出された場合、第１の医療用撮像画像のみを表示させる。 Further, when the display switching operation is further detected after the first medical image and the second medical image are simultaneously displayed based on the display switching operation, the control device 200 performs the first medical treatment. Display only the captured image for use.

（４）表示制御方法に係る制御の第４の例：第２の医療用撮像画像の変更に係る制御
表示制御方法に係る制御の第４の例として、第２の医療用撮像画像の変更に係る制御について、説明する。(4) Fourth example of control related to the display control method: Control related to the change of the second medical image captured image As a fourth example of the control related to the display control method, the change of the second medical image image is used. Such control will be described.

制御装置２００は、第１の医療用撮像画像と第２の医療用撮像画像とが同時に表示されているときに、画像を選択する選択操作が検出された場合には、表示画面に表示されている第２の医療用撮像画像を、当該選択操作に対応する第２の医療用撮像画像に変更する。 The control device 200 is displayed on the display screen when a selection operation for selecting an image is detected when the first medical image and the second medical image are displayed at the same time. The second medical image captured is changed to the second medical image corresponding to the selection operation.

制御装置２００は、例えば、制御装置２００が備える操作デバイス、または、制御装置２００の外部の操作デバイスから取得される、選択操作に対応する信号に基づいて、選択操作に基づいて選択された画像を特定する。上記のように特定された画像が、選択操作に対応する第２の医療用撮像画像に該当する。そして、制御装置２００は、表示画面に表示されている第２の医療用撮像画像を、特定された画像で置き換える。 The control device 200 obtains, for example, an image selected based on the selection operation based on a signal corresponding to the selection operation acquired from an operation device included in the control device 200 or an operation device external to the control device 200. Identify. The image specified as described above corresponds to the second medical image captured image corresponding to the selection operation. Then, the control device 200 replaces the second medically captured image displayed on the display screen with the specified image.

第４の例に係る制御が行われる場合、制御装置２００は、制御装置２００が備える操作デバイスなどから取得される所定の操作に対応する信号に基づいて、表示されている第２の医療用撮像画像の置き換え候補となる第２の医療用撮像画像が一覧表示されるＵＩを、表示させてもよい。 When the control according to the fourth example is performed, the control device 200 displays a second medical imaging based on a signal corresponding to a predetermined operation acquired from an operation device included in the control device 200 or the like. A UI displaying a list of second medically captured images that are candidates for image replacement may be displayed.

第４の例に係る制御が行われる場合、術者などの医療従事者は、第１の医療用撮像画像と同時に表示される第２の医療用撮像画像を、所望する第２の医療用撮像画像に置き換えることができるので、当該医療従事者の利便性の向上を図ることが可能となる。 When the control according to the fourth example is performed, a medical worker such as an operator can obtain a desired second medical imaging image, which is displayed at the same time as the first medical imaging image. Since it can be replaced with an image, it is possible to improve the convenience of the medical staff.

（５）表示制御方法に係る制御の他の例
なお、本実施形態に係る表示制御方法に係る制御の例は、上記（１）に示す第１の例〜上記（４）に示す第４の例に限られない。(5) Other Examples of Control Related to Display Control Method Examples of control related to the display control method according to the present embodiment are the first example shown in (1) above to the fourth example shown in (4) above. Not limited to examples.

例えば、制御装置２００は、“第２の撮像モードで撮像された医療用撮像画像”と、“第１の撮像モードで、当該第２の撮像モードで撮像された医療用撮像画像よりも前に撮像された医療用撮像画像”とを、同時に表示させることも可能である。 For example, the control device 200 is before the "medical image captured in the second imaging mode" and the "medical image captured in the second imaging mode in the first imaging mode". It is also possible to simultaneously display the captured medical image.

また、制御装置２００は、医療用撮像画像と共に、１または２以上の他の画像を表示させてもよい。上記他の画像としては、例えば、医療行為を受ける患者のバイタルを示す画像などの医療行為を受ける患者に関する画像や、手術の流れを示す画像（例えば、術式に応じた手術手順書の内容を示す画像）、ＵＩ画像などが、挙げられる。 Further, the control device 200 may display one or two or more other images together with the medically captured image. Examples of the other images include an image of a patient undergoing medical treatment such as an image showing the vitality of the patient undergoing medical treatment, and an image showing the flow of surgery (for example, the contents of a surgical procedure manual according to the surgical procedure). The image shown), UI image, and the like can be mentioned.

［ＩＩＩ］本実施形態に係る表示制御方法に係る処理により実現される動作の一例
次に、本実施形態に係る表示制御方法に係る処理により実現される、本実施形態に係る医療用観察システムの動作の一例を示す。[III] An example of an operation realized by the process related to the display control method according to the present embodiment Next, the medical observation system according to the present embodiment realized by the process related to the display control method according to the present embodiment. An example of operation is shown.

図６は、本実施形態に係る表示制御方法に係る処理により実現される、本実施形態に係る医療用観察システム１０００の動作の一例を説明するための説明図である。図６のＡは、医療用観察装置１００が備える各種の操作デバイスに対する操作に応じた、医療用観察装置１００の状態遷移の一例を示している。また、図６のＢは、制御装置２００および記憶装置４００の動作の一例を示している。 FIG. 6 is an explanatory diagram for explaining an example of the operation of the medical observation system 1000 according to the present embodiment, which is realized by the process according to the display control method according to the present embodiment. FIG. 6A shows an example of the state transition of the medical observation device 100 according to the operation of various operation devices included in the medical observation device 100. Further, B in FIG. 6 shows an example of the operation of the control device 200 and the storage device 400.

また、図７〜図１０は、図６に示す医療用観察システム１０００の動作により、表示装置３００の表示画面に表示される医療用撮像画像の一例を示す図である。 7 to 10 are diagrams showing an example of a medical image captured on the display screen of the display device 300 by the operation of the medical observation system 1000 shown in FIG.

図７は、医療用観察装置１００が自然光観察であるときに得られる医療用撮像画像が、表示画面に表示されている例を示している。 FIG. 7 shows an example in which a medical image obtained when the medical observation device 100 is observing in natural light is displayed on a display screen.

図８は、医療用観察装置１００が特殊光観察であるときに得られる第１の医療用撮像画像が、表示画面に表示されている例を示している。図８では、第１の医療用撮像画像として、近赤外線の波長帯域の光で撮像が行われた撮像画像の一例を示している。 FIG. 8 shows an example in which the first medically captured image obtained when the medical observation device 100 is observing with special light is displayed on the display screen. FIG. 8 shows an example of a captured image captured by light in a wavelength band of near infrared rays as the first medically captured image.

図９は、“第１の医療用撮像画像と第２の医療用撮像画像とが、表示画面に同時に表示されている例を示している。図９では、第１の医療用撮像画像として、図８と同様に近赤外線の波長帯域の光で撮像が行われた撮像画像の一例を示している。また、図９では、第２の医療用撮像画像として、図７と同様に、医療用観察装置１００が自然光観察であるときに得られる医療用撮像画像の一例を示している。 FIG. 9 shows an example in which the “first medical image captured image and the second medical image captured image are simultaneously displayed on the display screen. In FIG. 9, the first medical image captured image is used as the first medical image. An example of an captured image captured by light in the near-infrared wavelength band is shown as in FIG. 8. Further, in FIG. 9, as a second medical captured image, as in FIG. 7, for medical use. An example of a medical image taken when the observation device 100 is observing natural light is shown.

図１０は、“第２の撮像モードで撮像された医療用撮像画像”と“第１の撮像モードで、当該第２の撮像モードで撮像された医療用撮像画像よりも前に撮像された医療用撮像画像”が、表示画面に同時に表示されている例を示している。図１０では、第２の医療用撮像画像として、図７と同様に、医療用観察装置１００が自然光観察であるときに得られる医療用撮像画像の一例を示している。また、図１０では、第１の医療用撮像画像として、図８と同様に近赤外線の波長帯域の光で撮像が行われた撮像画像の一例を示している。 FIG. 10 shows a “medical image captured in the second imaging mode” and a “medical image captured in the first imaging mode prior to the medical image captured in the second imaging mode”. An example is shown in which the “captured image for use” is displayed on the display screen at the same time. FIG. 10 shows, as the second medical image, an example of the medical image obtained when the medical observation device 100 is observing natural light, as in FIG. 7. Further, FIG. 10 shows an example of a captured image taken with light in a wavelength band of near infrared rays as the first medically captured image as in FIG.

以下、図６〜図１０を適宜参照して、本実施形態に係る表示制御方法に係る処理により実現される、医療用観察システム１０００の動作の一例を説明する。 Hereinafter, an example of the operation of the medical observation system 1000 realized by the processing related to the display control method according to the present embodiment will be described with reference to FIGS. 6 to 10 as appropriate.

（ｉ）図６の（ａ）
医療用観察装置１００が自然光観察であるときに記憶装置４００の電源がオン状態となると、記憶装置４００には、１秒ごと（所定の時間間隔ごとの一例）に自然光観察の静止画像（第２の医療用撮像画像の一例）が記録される。また、表示装置３００の表示画面には、例えば図７に示す自然光観察であるときに得られる医療用撮像画像が、表示される。(I) (a) of FIG.
When the power of the storage device 400 is turned on while the medical observation device 100 is observing natural light, the storage device 400 receives a still image (second example) of natural light observation every second (an example at a predetermined time interval). An example of a medically captured image) is recorded. Further, on the display screen of the display device 300, for example, a medically captured image obtained during natural light observation shown in FIG. 7 is displayed.

（ｉｉ）図６の（ｂ）
例えば、術者が、医療用観察装置１００の撮像モード選択スイッチ１３０を、図４に示す“ＩＲ”を選択した状態となるように操作すると、記憶装置４００には、特殊光観察の動画像（第１の医療用撮像画像の一例）が記録される。また、表示装置３００の表示画面には、例えば図８に示す第１の医療用撮像画像が、表示される。(Ii) FIG. 6 (b)
For example, when the operator operates the imaging mode selection switch 130 of the medical observation device 100 so that “IR” shown in FIG. 4 is selected, the storage device 400 receives a moving image of special light observation (a moving image of special light observation. An example of the first medically captured image) is recorded. Further, on the display screen of the display device 300, for example, the first medically captured image shown in FIG. 8 is displayed.

（ｉｉｉ）図６の（ｃ）
医療用観察装置１００が特殊光観察であるときに、例えば、術者が、医療用観察装置１００の表示切り替えスイッチ１３２をオン状態とする操作を行うと、表示装置３００の表示画面には、例えば図９に示すように、第１の医療用撮像画像と第２の医療用撮像画像とが、表示画面に同時に表示される。(Iii) FIG. 6 (c)
When the medical observation device 100 is for special light observation, for example, when the operator performs an operation of turning on the display changeover switch 132 of the medical observation device 100, the display screen of the display device 300 is displayed, for example. As shown in FIG. 9, the first medical image and the second medical image are displayed on the display screen at the same time.

表示される第１の医療用撮像画像は、第１の撮像モードで現在撮像された結果である第１の医療用撮像画像である。また、第１の医療用撮像画像と同時に表示される第２の医療用撮像画像は、当該第１の医療用撮像画像より前に第２の撮像モードで撮像された医療用撮像画像である。第１の医療用撮像画像と同時に表示される第２の医療用撮像画像としては、例えば、図６の（ａ）において記憶装置４００に記録された静止画像が、挙げられる。第１の医療用撮像画像と同時に表示される第２の医療用撮像画像は、リモートコントローラなどの任意の操作デバイスに対する操作が行われることによって、変更可能であってもよい。 The displayed first medically captured image is the first medically captured image that is the result currently captured in the first imaging mode. The second medical image captured at the same time as the first medical image is a medical image captured in the second imaging mode prior to the first medical image. Examples of the second medical image captured image displayed at the same time as the first medical image image include the still image recorded in the storage device 400 in FIG. 6A. The second medical image captured image displayed at the same time as the first medical image image may be changeable by performing an operation on an arbitrary operation device such as a remote controller.

（ｉｖ）図６の（ｄ）
例えば、術者が、医療用観察装置１００の表示切り替えスイッチ１３２をオフ状態とする操作をさらに行うと、表示装置３００の表示画面には、医療用観察装置１００の現在の撮像モードに対応する医療用撮像画像である第１の医療用撮像画像が、表示される。(Iv) FIG. 6 (d)
For example, when the operator further turns off the display changeover switch 132 of the medical observation device 100, the display screen of the display device 300 displays the medical treatment corresponding to the current imaging mode of the medical observation device 100. The first medically captured image, which is the captured image for medical use, is displayed.

（ｖ）図６の（ｅ）
例えば、術者が、医療用観察装置１００の撮像モード選択スイッチ１３０を、図４に示す“ＷＬＩ”を選択した状態となるように操作すると、医療用観察装置１００は、特殊光観察から自然光観察へと切り替わる。そして、医療用観察装置１００において撮像モードが切り替わると、記憶装置４００では、特殊光観察の動画像（第１の医療用撮像画像の一例）の記録が停止され、１秒ごと（所定の時間間隔ごとの一例）に自然光観察の静止画像（第２の医療用撮像画像の一例）が、記録される。(V) FIG. 6 (e)
For example, when the operator operates the imaging mode selection switch 130 of the medical observation device 100 so that “WLI” shown in FIG. 4 is selected, the medical observation device 100 observes natural light from special light observation. Switch to. Then, when the imaging mode is switched in the medical observation device 100, the storage device 400 stops recording a moving image of special light observation (an example of the first medical imaging image) every second (a predetermined time interval). A still image of natural light observation (an example of a second medical image) is recorded in each example).

（ｖｉ）図６の（ｆ）
医療用観察装置１００が自然光観察であるときに、例えば、術者が、医療用観察装置１００の表示切り替えスイッチ１３２をオン状態とする操作を行うと、表示装置３００の表示画面には、例えば図１０に示すように、“第２の撮像モードで撮像された医療用撮像画像”と“第１の撮像モードで、当該第２の撮像モードで撮像された医療用撮像画像よりも前に撮像された医療用撮像画像”が、表示画面に同時に表示される。(Vi) FIG. 6 (f)
When the medical observation device 100 is observing natural light, for example, when the operator performs an operation of turning on the display changeover switch 132 of the medical observation device 100, the display screen of the display device 300 is displayed, for example, the figure. As shown in 10, “medical image captured in the second imaging mode” and “in the first imaging mode, the image is captured before the medical image captured in the second imaging mode”. The medical image taken for medical use is displayed on the display screen at the same time.

表示される“第２の撮像モードで撮像された医療用撮像画像”は、第２の撮像モードで現在撮像された結果である医療用撮像画像である。また、“第１の撮像モードで、上記第２の撮像モードで撮像された医療用撮像画像よりも前に撮像された医療用撮像画像”としては、例えば、図６の（ｂ）において記憶装置４００に記録された動画像が、挙げられる。例えば図６の（ｂ）において記憶装置４００に記録された動画像のような、動画像が表示画面に表示される場合、当該動画像は、リピート再生される。“第１の撮像モードで、上記第２の撮像モードで撮像された医療用撮像画像よりも前に撮像された医療用撮像画像”は、リモートコントローラなどの任意の操作デバイスに対する操作が行われることによって、変更可能であってもよい。 The displayed "medical image captured in the second imaging mode" is a medical image captured as a result of the current image captured in the second imaging mode. Further, as "a medical image taken before the medical image taken in the second image mode in the first image mode", for example, the storage device in FIG. 6B. The moving image recorded in 400 can be mentioned. For example, when a moving image such as the moving image recorded in the storage device 400 in FIG. 6B is displayed on the display screen, the moving image is repeatedly reproduced. The "medical image taken before the medical image taken in the second image mode in the first image mode" is operated on an arbitrary operation device such as a remote controller. May be changeable.

（ｖｉｉ）図６の（ｇ）
例えば、術者が、医療用観察装置１００の表示切り替えスイッチ１３２をオフ状態とする操作をさらに行うと、表示装置３００の表示画面には、医療用観察装置１００の現在の撮像モードに対応する医療用撮像画像である、自然光観察であるときに得られる医療用撮像画像が、表示される。(Vii) (g) in FIG.
For example, when the operator further turns off the display changeover switch 132 of the medical observation device 100, the display screen of the display device 300 displays the medical treatment corresponding to the current imaging mode of the medical observation device 100. The medically captured image obtained during natural light observation, which is a captured image for medical use, is displayed.

（ｖｉｉｉ）図６の（ｈ）
記憶装置４００の電源がオフ状態となると、自然光観察の静止画像（第２の医療用撮像画像の一例）の記録が停止される。(Viii) FIG. 6 (h)
When the power of the storage device 400 is turned off, the recording of a still image of natural light observation (an example of a second medically captured image) is stopped.

本実施形態に係る表示制御方法に係る処理が制御装置２００において行われることによって、例えば図６を参照して説明したような医療用観察システム１０００の動作が、実現される。 By performing the processing related to the display control method according to the present embodiment in the control device 200, the operation of the medical observation system 1000 as described with reference to FIG. 6, for example, is realized.

なお、本実施形態に係る表示制御方法に係る処理により実現される医療用観察システム１０００の動作の例は、図６を参照して示した例に限られない。例えば、図６を参照して示した例では、２つの医療用撮像画像が同時に表示画面に表示される例を示したが、３つ以上の医療用撮像画像が同時に表示画面に表示されてもよい。また、上述したように、表示画面には、医療用撮像画像と共に、１または２以上の他の画像が表示されてもよい。 The operation example of the medical observation system 1000 realized by the process related to the display control method according to the present embodiment is not limited to the example shown with reference to FIG. For example, in the example shown with reference to FIG. 6, two medically captured images are displayed on the display screen at the same time, but even if three or more medically captured images are displayed on the display screen at the same time. good. Further, as described above, one or two or more other images may be displayed on the display screen together with the medically captured image.

［ＩＶ］本実施形態に係る表示制御方法が用いられることにより奏される効果の一例
本実施形態に係る表示制御方法が用いられることによって、本実施形態に係る医療用観察システムでは、例えば下記に示す効果が奏される。なお、本実施形態に係る表示制御方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・直前の撮像モード時に得られた医療用撮像画像（静止画像または動画像）が、現在の撮像モードで得られた医療用撮像画像と同時に表示されるので、撮像デバイスは、特許文献１に記載の技術を用いる手術用顕微鏡のように２つのＣＣＤを備える構成をとる必要はない。よって、撮像デバイスのコストの増加を抑えることができ、また、撮像デバイスの小型化がより容易となる。
・撮像デバイスにおいて時系列の撮像が行われる場合には、フレームレートが落ちる可能性があるが、本実施形態に係る医療用観察システムでは、撮像モードごとに医療用撮像画像が記録されるので、フレームレートは落ちない。
・特殊光観察の医療用撮像画像（第１の医療用撮像画像）と、自然光観察の医療用撮像画像（第２の医療用撮像画像の一例）とが、表示画面に同時に表示されることによって、特殊光観察の医療用撮像画像だけが表示される場合に特定しにくい部位を、より観察し易くすることができる。
・例えば図９に示すように、特殊光観察の医療用撮像画像（第１の医療用撮像画像）と、自然光観察の医療用撮像画像（第２の医療用撮像画像の一例）とが、表示画面における異なる表示領域に表示されることによって、術者などの医療従事者は、細かい血管をより容易に判別することができる。[IV] An example of the effect produced by using the display control method according to the present embodiment In the medical observation system according to the present embodiment, for example, the following is performed by using the display control method according to the present embodiment. The effect shown is achieved. Needless to say, the effect produced by using the display control method according to the present embodiment is not limited to the examples shown below.
-Since the medical imaging image (still image or moving image) obtained in the immediately preceding imaging mode is displayed at the same time as the medical imaging image obtained in the current imaging mode, the imaging device is described in Patent Document 1. It is not necessary to have a configuration including two CCDs as in a surgical microscope using the above technique. Therefore, it is possible to suppress an increase in the cost of the image pickup device, and it becomes easier to miniaturize the image pickup device.
-When the imaging device performs time-series imaging, the frame rate may drop. However, in the medical observation system according to the present embodiment, the medical imaging image is recorded for each imaging mode. The frame rate does not drop.
-By simultaneously displaying a medical image for special light observation (first medical image) and a medical image for natural light observation (an example of a second medical image) on the display screen. , It is possible to make it easier to observe a part that is difficult to identify when only a medical image taken by special light observation is displayed.
-For example, as shown in FIG. 9, a medical image for special light observation (first medical image) and a medical image for natural light observation (an example of a second medical image) are displayed. By being displayed in different display areas on the screen, a medical worker such as an operator can more easily identify small blood vessels.

（本実施形態に係るプログラム）
コンピュータシステムを、本実施形態に係る医療用表示制御装置として機能させるためのプログラム（例えば、本実施形態に係る表示制御方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、１つの撮像デバイスにおいて異なる撮像モードで撮像された医療用撮像画像を、同時に表示画面に表示させることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る表示制御方法に係る一連の処理が行われる。(Program according to this embodiment)
A program for causing the computer system to function as the medical display control device according to the present embodiment (for example, a program capable of executing the process related to the display control method according to the present embodiment) is a processor or the like in the computer system. By executing the above, medically captured images captured in different imaging modes by one imaging device can be simultaneously displayed on the display screen. Here, examples of the computer system according to the present embodiment include a single computer or a plurality of computers. The computer system according to the present embodiment performs a series of processes related to the display control method according to the present embodiment.

また、コンピュータシステムを、本実施形態に係る医療用表示制御装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る表示制御方法に係る処理によって実現される表示によって奏される効果を、奏することができる。 Further, a program for causing the computer system to function as the medical display control device according to the present embodiment is executed by a processor or the like in the computer system, thereby performing the above-described processing related to the display control method according to the present embodiment. The effect produced by the realized display can be produced.

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到しうることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present disclosure have been described in detail with reference to the accompanying drawings, the technical scope of the present disclosure is not limited to such examples. It is clear that anyone with ordinary knowledge in the technical field of the present disclosure may come up with various modifications or modifications within the scope of the technical ideas set forth in the claims. Is, of course, understood to belong to the technical scope of the present disclosure.

例えば、上記では、コンピュータシステムを、本実施形態に係る医療用表示制御装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も、併せて提供することができる。 For example, in the above, it has been shown that a program (computer program) for causing the computer system to function as the medical display control device according to the present embodiment is provided, but the present embodiment further stores the above program. The provided recording medium can also be provided at the same time.

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。 The configuration described above is an example of the present embodiment and naturally belongs to the technical scope of the present disclosure.

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 In addition, the effects described herein are merely explanatory or exemplary and are not limited. That is, the techniques according to the present disclosure may exhibit other effects apparent to those skilled in the art from the description herein, in addition to or in place of the above effects.

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、前記撮像デバイスにおいて、前記第１の撮像モードとは異なる第２の撮像モードで、前記第１の医療用撮像画像よりも前に撮像された第２の医療用撮像画像とを、同時に表示させる表示制御部を備える、医療用表示制御装置。
（２）
前記表示制御部は、前記第１の医療用撮像画像と前記第２の医療用撮像画像とを、表示画面における異なる表示領域に表示させる、（１）に記載の医療用表示制御装置。
（３）
前記表示制御部は、前記第１の医療用撮像画像が表示される表示領域が、前記第２の医療用撮像画像が表示される表示領域よりも大きくなるように、表示させる、（２）に記載の医療用表示制御装置。
（４）
前記表示制御部は、前記第１の医療用撮像画像を前記表示画面の全体に表示させ、前記第２の医療用撮像画像を前記表示画面の一部に表示させる、（３）に記載の医療用表示制御装置。
（５）
前記表示制御部は、前記第１の医療用撮像画像と前記第２の医療用撮像画像とを、表示画面における同一の表示領域に重畳して表示させる、（１）に記載の医療用表示制御装置。
（６）
前記表示制御部は、前記第１の医療用撮像画像および前記第２の医療用撮像画像それぞれを、異なる表示装置の表示画面に表示させる、（１）に記載の医療用表示制御装置。
（７）
前記表示制御部は、前記撮像デバイスが前記第１の撮像モードであると判定された場合に、前記第１の医療用撮像画像と前記第２の医療用撮像画像とを同時に表示させる、（１）〜（６）のいずれか１つに記載の医療用表示制御装置。
（８）
前記表示制御部は、前記第２の撮像モードを前記第１の撮像モードに切り替える第１のモード切り替え操作が検出された場合に、前記撮像デバイスが前記第１の撮像モードであると判定する、（７）に記載の医療用表示制御装置。
（９）
前記表示制御部は、前記撮像デバイスが前記第１の撮像モードであると判定された後に、前記撮像デバイスが前記第２の撮像モードであると判定された場合には、前記撮像デバイスにおいて前記第２の撮像モードで撮像された医療用撮像画像を表示させる、（７）または（８）に記載の医療用表示制御装置。
（１０）
前記表示制御部は、前記第１の撮像モードを前記第２の撮像モードに切り替える第２のモード切り替え操作が検出された場合に、前記撮像デバイスが前記第２の撮像モードであると判定する、（９）に記載の医療用表示制御装置。
（１１）
前記表示制御部は、前記第１の医療用撮像画像が表示されているときに、表示を切り替える表示切り替え操作が検出された場合に、前記第１の医療用撮像画像と前記第２の医療用撮像画像とを同時に表示させる、（１）〜（６）のいずれか１つに記載の医療用表示制御装置。
（１２）
前記表示制御部は、前記表示切り替え操作に基づき前記第１の医療用撮像画像と前記第２の医療用撮像画像とが同時に表示された後に、前記表示切り替え操作がさらに検出された場合、前記第１の医療用撮像画像のみを表示させる、（１１）に記載の医療用表示制御装置。
（１３）
前記表示制御部は、前記第１の医療用撮像画像と前記第２の医療用撮像画像とが同時に表示されているときに、画像を選択する選択操作が検出された場合には、表示画面に表示されている前記第２の医療用撮像画像を、前記選択操作に対応する前記第２の医療用撮像画像に変更する、（１）〜（１２）のいずれか１つに記載の医療用表示制御装置。
（１４）
前記第２の医療用撮像画像は、前記第１の医療用撮像画像が撮像された時点から所定の期間内に、前記第２の撮像モードで撮像された医療用撮像画像である、（１）〜（１３）のいずれか１つに記載の医療用表示制御装置。
（１５）
前記所定の期間は、予め設定される固定の期間、または、前記医療用表示制御装置を用いるユーザの操作に基づいて設定される期間である、（１４）に記載の医療用表示制御装置。
（１６）
前記第２の医療用撮像画像は、前記第２の撮像モードで前記第１の医療用撮像画像よりも前に撮像された医療用撮像画像のうち、画像の評価が最も高い画像である、（１）〜（１５）のいずれか１つに記載の医療用表示制御装置。
（１７）
前記第２の医療用撮像画像は、前記第２の撮像モードで前記第１の医療用撮像画像よりも前に撮像された医療用撮像画像のうち、画像を選択する選択操作に基づいて選択された画像である、（１）〜（１３）のいずれか１つに記載の医療用表示制御装置。
（１８）
複数のリンクが関節部によって互いに連結されて構成されるアームと、
前記アームにより支持される撮像デバイスと、
前記撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、前記撮像デバイスにおいて、前記第１の撮像モードとは異なる第２の撮像モードで、前記第１の医療用撮像画像よりも前に撮像された第２の医療用撮像画像とを、同時に表示させる表示制御部と、
を備える、医療用観察装置。
（１９）
撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、前記撮像デバイスにおいて、前記第１の撮像モードとは異なる第２の撮像モードで、前記第１の医療用撮像画像よりも前に撮像された第２の医療用撮像画像とを、同時に表示させるステップを有する、医療用表示制御装置により実行される表示制御方法。（２０）
複数のリンクが関節部によって互いに連結されて構成されるアームと、前記アームにより支持される撮像デバイスとを備える、医療用観察装置と、
表示装置と、
前記撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、前記撮像デバイスにおいて、前記第１の撮像モードとは異なる第２の撮像モードで、前記第１の医療用撮像画像よりも前に撮像された第２の医療用撮像画像とを、前記表示装置の表示画面に、同時に表示させる表示制御部を備える、医療用表示制御装置と、
を有する、医療用観察システム。The following configurations also belong to the technical scope of the present disclosure.
(1)
The first medical image captured in the first imaging mode in which the imaging device is imaged with special light, and the second imaging mode different from the first imaging mode in the imaging device. A medical display control device including a display control unit that simultaneously displays a second medically captured image captured before the first medically captured image.
(2)
The medical display control device according to (1), wherein the display control unit displays the first medical image and the second medical image in different display areas on the display screen.
(3)
In (2), the display control unit displays the display area in which the first medical image is displayed so as to be larger than the display area in which the second medical image is displayed. The medical display control device described.
(4)
The medical treatment according to (3), wherein the display control unit displays the first medical image captured on the entire display screen and displays the second medical image on a part of the display screen. Display control device.
(5)
The medical display control according to (1), wherein the display control unit superimposes and displays the first medical image and the second medical image on the same display area on the display screen. Device.
(6)
The medical display control device according to (1), wherein the display control unit displays the first medical image and the second medical image on display screens of different display devices.
(7)
When the display control unit determines that the imaging device is in the first imaging mode, the display control unit simultaneously displays the first medical imaging image and the second medical imaging image (1). ) To (6). The medical display control device according to any one of (6).
(8)
When the first mode switching operation for switching the second imaging mode to the first imaging mode is detected, the display control unit determines that the imaging device is the first imaging mode. The medical display control device according to (7).
(9)
When the display control unit determines that the imaging device is in the second imaging mode after the imaging device is determined to be in the first imaging mode, the display control unit determines that the imaging device is in the second imaging mode. The medical display control device according to (7) or (8), which displays a medical image captured in the imaging mode 2.
(10)
The display control unit determines that the imaging device is the second imaging mode when a second mode switching operation for switching the first imaging mode to the second imaging mode is detected. The medical display control device according to (9).
(11)
When the display switching operation for switching the display is detected while the first medical image is displayed, the display control unit performs the first medical image and the second medical image. The medical display control device according to any one of (1) to (6), which simultaneously displays an captured image.
(12)
When the display switching operation is further detected after the first medical image and the second medical image are displayed at the same time based on the display switching operation, the display control unit performs the first display switching operation. The medical display control device according to (11), which displays only the medically captured image of 1.
(13)
When the display control unit detects a selection operation for selecting an image while the first medical image and the second medical image are displayed at the same time, the display control unit displays the image on the display screen. The medical display according to any one of (1) to (12), wherein the displayed second medical image is changed to the second medical image corresponding to the selection operation. Control device.
(14)
The second medical image is a medical image captured in the second imaging mode within a predetermined period from the time when the first medical image is imaged (1). The medical display control device according to any one of (13).
(15)
The medical display control device according to (14), wherein the predetermined period is a fixed period set in advance or a period set based on an operation of a user who uses the medical display control device.
(16)
The second medical imaging image is an image having the highest evaluation among the medical imaging images captured before the first medical imaging image in the second imaging mode. 1) The medical display control device according to any one of (15).
(17)
The second medically captured image is selected based on a selection operation for selecting an image from among the medically captured images captured before the first medically captured image in the second imaging mode. The medical display control device according to any one of (1) to (13), which is an image.
(18)
An arm consisting of multiple links connected to each other by joints,
An imaging device supported by the arm and
The first medical image captured in the first imaging mode in which the imaging device is imaged with special light, and the second imaging mode different from the first imaging mode in the imaging device. A display control unit that simultaneously displays a second medically captured image captured before the first medically captured image, and a display control unit.
A medical observation device.
(19)
The first medical image captured in the first imaging mode in which the imaging device is imaged with special light, and the second imaging mode different from the first imaging mode in the imaging device. A display control method executed by a medical display control device, which comprises a step of simultaneously displaying a second medical image captured before the medical image captured the first image. (20)
A medical observation device including an arm formed by connecting a plurality of links to each other by joints and an imaging device supported by the arm.
Display device and
The first medical image captured in the first imaging mode in which the imaging device is imaged with special light, and the second imaging mode different from the first imaging mode in the imaging device. A medical display control device including a display control unit that simultaneously displays a second medical image captured before the first medical image on the display screen of the display device.
A medical observation system.

１００ 医療用観察装置
１０２ ベース
１０４ アーム
１０６ 撮像デバイス
１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆ 関節部
１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆ リンク
１２０ 撮像部材
１２２ 筒状部材
１２４ ズームスイッチ
１２６ フォーカススイッチ
１２８ 動作モード選択スイッチ
１３０ 撮像モード選択スイッチ
１３２ 表示切り替えスイッチ
２００ 制御装置
３００ 表示装置
４００ 記憶装置
１０００ 医療用観察システム
ＯＰ 術者
ＰＡ 患者
ＦＳ フットスイッチ100 Medical observation device 102 Base 104 Arm 106 Imaging device 110a, 110b, 110c, 110d, 110e, 110f Joint 112a, 112b, 112c, 112d, 112e, 112f Link 120 Imaging member 122 Cylindrical member 124 Zoom switch 126 Focus switch 128 Operation mode selection switch 130 Imaging mode selection switch 132 Display changeover switch 200 Control device 300 Display device 400 Storage device 1000 Medical observation system OP Operator PA Patient FS Foot switch

Claims (22)

撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、前記撮像デバイスにおいて前記第１の撮像モードとは異なる第２の撮像モードで撮像された第２の医療用撮像画像とを、同時に表示させる表示制御部を備え、
前記表示制御部は、撮像モードが前記第１の撮像モードである場合、前記第１の医療用撮像画像と、該第１の医療用撮像画像よりも前に撮像された前記第２の医療用撮像画像とを表示させ、撮像モードが前記第２の撮像モードである場合、前記第２の医療用撮像画像を表示させるとともに、該第２の医療用撮像画像よりも前に撮像された前記第１の医療用撮像画像をリピート再生させる、
医療用表示制御装置。 A first medical image captured by the first imaging mode for imaging at the special light in the image pickup device is an image shot with a different second imaging mode from the previous SL first imaging mode in the imaging device It is equipped with a display control unit that simultaneously displays a second medically captured image .
When the imaging mode is the first imaging mode, the display control unit has the first medical imaging image and the second medical imaging image captured before the first medical imaging image. When the captured image is displayed and the imaging mode is the second imaging mode, the second medical imaging image is displayed and the second image captured before the second medical imaging image is displayed. Repeat playback of the medically captured image of 1.
Medical display control device. 前記表示制御部は、前記第１の医療用撮像画像と前記第２の医療用撮像画像とを、表示画面における異なる表示領域に表示させる、請求項１に記載の医療用表示制御装置。 The medical display control device according to claim 1, wherein the display control unit displays the first medical image and the second medical image in different display areas on the display screen. 前記表示制御部は、前記第１の医療用撮像画像が表示される表示領域が、前記第２の医療用撮像画像が表示される表示領域よりも大きくなるように、表示させる、請求項２に記載の医療用表示制御装置。 According to claim 2, the display control unit displays a display area in which the first medical image is displayed so as to be larger than a display area in which the second medical image is displayed. The medical display control device described. 前記表示制御部は、前記第１の医療用撮像画像を前記表示画面の全体に表示させ、前記第２の医療用撮像画像を前記表示画面の一部に表示させる、請求項３に記載の医療用表示制御装置。 The medical treatment according to claim 3, wherein the display control unit displays the first medical image captured on the entire display screen and displays the second medical image on a part of the display screen. Display control device. 前記表示制御部は、前記第１の医療用撮像画像と前記第２の医療用撮像画像とを、表示画面における同一の表示領域に重畳して表示させる、請求項１に記載の医療用表示制御装置。 The medical display control according to claim 1, wherein the display control unit superimposes and displays the first medical image and the second medical image on the same display area on the display screen. Device. 前記表示制御部は、前記第１の医療用撮像画像および前記第２の医療用撮像画像それぞれを、異なる表示装置の表示画面に表示させる、請求項１に記載の医療用表示制御装置。 The medical display control device according to claim 1, wherein the display control unit displays the first medical image and the second medical image on display screens of different display devices. 前記表示制御部は、前記撮像デバイスが前記第１の撮像モードであると判定された場合に、前記第１の医療用撮像画像と前記第２の医療用撮像画像とを同時に表示させる、請求項１に記載の医療用表示制御装置。 The display control unit claims that when the imaging device is determined to be in the first imaging mode, the first medical imaging image and the second medical imaging image are simultaneously displayed. The medical display control device according to 1. 前記表示制御部は、前記第２の撮像モードを前記第１の撮像モードに切り替える第１のモード切り替え操作が検出された場合に、前記撮像デバイスが前記第１の撮像モードであると判定する、請求項７に記載の医療用表示制御装置。 When the first mode switching operation for switching the second imaging mode to the first imaging mode is detected, the display control unit determines that the imaging device is the first imaging mode. The medical display control device according to claim 7. 前記表示制御部は、前記撮像デバイスが前記第１の撮像モードであると判定された後に、前記撮像デバイスが前記第２の撮像モードであると判定された場合には、前記撮像デバイスにおいて前記第２の撮像モードで撮像された医療用撮像画像を表示させる、請求項７に記載の医療用表示制御装置。 When the display control unit determines that the imaging device is in the second imaging mode after the imaging device is determined to be in the first imaging mode, the display control unit determines that the imaging device is in the second imaging mode. The medical display control device according to claim 7, wherein a medical image captured in the imaging mode 2 is displayed. 前記表示制御部は、前記第１の撮像モードを前記第２の撮像モードに切り替える第２のモード切り替え操作が検出された場合に、前記撮像デバイスが前記第２の撮像モードであると判定する、請求項９に記載の医療用表示制御装置。 The display control unit determines that the imaging device is the second imaging mode when a second mode switching operation for switching the first imaging mode to the second imaging mode is detected. The medical display control device according to claim 9. 前記表示制御部は、前記第１の医療用撮像画像が表示されているときに、表示を切り替える表示切り替え操作が検出された場合に、前記第１の医療用撮像画像と前記第２の医療用撮像画像とを同時に表示させる、請求項１に記載の医療用表示制御装置。 When the display switching operation for switching the display is detected while the first medical image is displayed, the display control unit performs the first medical image and the second medical image. The medical display control device according to claim 1, which simultaneously displays an captured image. 前記表示制御部は、前記表示切り替え操作に基づき前記第１の医療用撮像画像と前記第２の医療用撮像画像とが同時に表示された後に、前記表示切り替え操作がさらに検出された場合、前記第１の医療用撮像画像のみを表示させる、請求項１１に記載の医療用表示制御装置。 When the display switching operation is further detected after the first medical image and the second medical image are displayed at the same time based on the display switching operation, the display control unit performs the first display switching operation. The medical display control device according to claim 11, which displays only the medically captured image of 1. 前記表示制御部は、前記第１の医療用撮像画像と前記第２の医療用撮像画像とが同時に表示されているときに、画像を選択する選択操作が検出された場合には、表示画面に表示されている前記第２の医療用撮像画像を、前記選択操作に対応する前記第２の医療用撮像画像に変更する、請求項１に記載の医療用表示制御装置。 When the display control unit detects a selection operation for selecting an image while the first medical image and the second medical image are displayed at the same time, the display control unit displays the image on the display screen. The medical display control device according to claim 1, wherein the displayed second medical image is changed to the second medical image corresponding to the selection operation. 前記第２の医療用撮像画像は、前記第１の医療用撮像画像が撮像された時点から所定の期間内に、前記第２の撮像モードで撮像された医療用撮像画像である、請求項１に記載の医療用表示制御装置。 The second medical imaging image is a medical imaging image captured in the second imaging mode within a predetermined period from the time when the first medical imaging image is captured. The medical display control device described in. 前記所定の期間は、予め設定される固定の期間、または、前記医療用表示制御装置を用いるユーザの操作に基づいて設定される期間である、請求項１４に記載の医療用表示制御装置。 The medical display control device according to claim 14, wherein the predetermined period is a fixed period set in advance or a period set based on an operation of a user who uses the medical display control device. 前記第２の医療用撮像画像は、前記第２の撮像モードで前記第１の医療用撮像画像よりも前に撮像された医療用撮像画像のうち、画像の評価が最も高い画像である、請求項１に記載の医療用表示制御装置。 The second medical image is the image with the highest evaluation among the medical image images captured before the first medical image in the second imaging mode. Item 1. The medical display control device according to item 1. 前記第２の医療用撮像画像は、前記第２の撮像モードで前記第１の医療用撮像画像よりも前に撮像された医療用撮像画像のうち、画像を選択する選択操作に基づいて選択された画像である、請求項１に記載の医療用表示制御装置。 The second medically captured image is selected based on a selection operation for selecting an image from among the medically captured images captured before the first medically captured image in the second imaging mode. The medical display control device according to claim 1, which is an image. 前記第１の撮像モードである場合に表示される前記第２の医療用撮像画像は静止画像であり、前記第２の撮像モードである場合にリピート再生される前記第１の医療用撮像画像は動画像である、請求項１に記載の医療用表示制御装置。The second medically captured image displayed in the first imaging mode is a still image, and the first medically captured image that is repeatedly reproduced in the second imaging mode is a still image. The medical display control device according to claim 1, which is a moving image. 撮像デバイスと、
前記撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、前記撮像デバイスにおいて前記第１の撮像モードとは異なる第２の撮像モードで撮像された第２の医療用撮像画像とを、同時に表示させる表示制御部と、
を備え、
前記表示制御部は、撮像モードが前記第１の撮像モードである場合、前記第１の医療用撮像画像と、該第１の医療用撮像画像よりも前に撮像された前記第２の医療用撮像画像とを表示させ、撮像モードが前記第２の撮像モードである場合、前記第２の医療用撮像画像を表示させるとともに、該第２の医療用撮像画像よりも前に撮像された前記第１の医療用撮像画像をリピート再生させる、
医療用観察装置。 And an imaging device,
First and medical imaging image, images shot with different second imaging mode from the previous SL first imaging mode in the imaging device imaged by the first imaging mode for imaging at the special light in the imaging device A display control unit that simultaneously displays the second medical image captured.
Equipped with a,
When the imaging mode is the first imaging mode, the display control unit has the first medical imaging image and the second medical imaging image captured before the first medical imaging image. When the captured image is displayed and the imaging mode is the second imaging mode, the second medical imaging image is displayed and the second image captured before the second medical imaging image is displayed. Repeat playback of the medically captured image of 1.
Medical observation device. 撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、前記撮像デバイスにおいて前記第１の撮像モードとは異なる第２の撮像モードで撮像された第２の医療用撮像画像とを、同時に表示させるステップを有し、
前記第１および第２の医療用撮像画像を表示させるステップでは、撮像モードが前記第１の撮像モードである場合、前記第１の医療用撮像画像と、該第１の医療用撮像画像よりも前に撮像された前記第２の医療用撮像画像とを表示させ、撮像モードが前記第２の撮像モードである場合、前記第２の医療用撮像画像を表示させるとともに、該第２の医療用撮像画像よりも前に撮像された前記第１の医療用撮像画像をリピート再生させる、
医療用表示制御装置により実行される表示制御方法。 A first medical image captured by the first imaging mode for imaging at the special light in the image pickup device is an image shot with a different second imaging mode from the previous SL first imaging mode in the imaging device second and medical imaging image, have a step of displaying simultaneously,
In the step of displaying the first and second medically captured images, when the imaging mode is the first imaging mode, the first medically captured image and the first medically captured image are more than those of the first medically captured image. The previously captured second medical image is displayed, and when the imaging mode is the second image mode, the second medical image is displayed and the second medical image is displayed. The first medical image captured before the captured image is repeatedly reproduced.
A display control method performed by a medical display control device. 撮像デバイスを備える医療用観察装置と、
表示装置と、
前記撮像デバイスにおいて特殊光で撮像を行う第１の撮像モードで撮像された第１の医療用撮像画像と、前記撮像デバイスにおいて前記第１の撮像モードとは異なる第２の撮像モードで撮像された第２の医療用撮像画像とを、前記表示装置の表示画面に、同時に表示させる制御装置と、
を有し、
前記制御装置は、撮像モードが前記第１の撮像モードである場合、前記第１の医療用撮像画像と、該第１の医療用撮像画像よりも前に撮像された前記第２の医療用撮像画像とを表示させ、撮像モードが前記第２の撮像モードである場合、前記第２の医療用撮像画像を表示させるとともに、該第２の医療用撮像画像よりも前に撮像された前記第１の医療用撮像画像をリピート再生させる、
医療用観察システム。 A medical observation apparatus provided with an imaging device,
Display device and
First and medical imaging image, images shot with different second imaging mode from the previous SL first imaging mode in the imaging device imaged by the first imaging mode for imaging at the special light in the imaging device A control device that simultaneously displays the second medical image captured on the display screen of the display device, and
Have a,
When the imaging mode is the first imaging mode, the control device has the first medical imaging image and the second medical imaging image captured before the first medical imaging image. When the image is displayed and the imaging mode is the second imaging mode, the second medical imaging image is displayed and the first image captured before the second medical imaging image is displayed. Repeat playback of medically captured images of
Medical observation system. 前記第１の医療用撮像画像を動画像として記録し、前記第２の医療用撮像画像を静止画像として記録する記憶装置をさらに有し、Further having a storage device for recording the first medically captured image as a moving image and recording the second medically captured image as a still image.
前記制御装置は、撮像モードが前記第１の撮像モードである場合、前記記憶装置に記録された前記第２の医療用撮像画像の静止画像を表示させ、撮像モードが前記第２の撮像モードである場合、前記記憶装置に記録された前記第１の医療用撮像画像の動画像を表示させる、When the imaging mode is the first imaging mode, the control device displays a still image of the second medical imaging image recorded in the storage device, and the imaging mode is the second imaging mode. In some cases, the moving image of the first medically captured image recorded in the storage device is displayed.
請求項２１に記載の医療用観察システム。The medical observation system according to claim 21.
JP2019508543A 2017-03-27 2017-11-07 Medical display control device, medical observation device, display control method, and medical observation system Active JP6918924B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017060376 2017-03-27
JP2017060376 2017-03-27
PCT/JP2017/040116 WO2018179564A1 (en) 2017-03-27 2017-11-07 Medical display-control device, medical observation device, display-control method, and medical observation system

Publications (2)

Publication Number Publication Date
JPWO2018179564A1 JPWO2018179564A1 (en) 2020-05-14
JP6918924B2 true JP6918924B2 (en) 2021-08-11

Family

ID=63674772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508543A Active JP6918924B2 (en) 2017-03-27 2017-11-07 Medical display control device, medical observation device, display control method, and medical observation system

Country Status (4)

Country Link
US (2) US11478204B2 (en)
EP (1) EP3590438B1 (en)
JP (1) JP6918924B2 (en)
WO (1) WO2018179564A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201813348D0 (en) * 2018-08-15 2018-09-26 So Sure Ltd Assessing condition of real-world objects
JP2020167512A (en) * 2019-03-29 2020-10-08 ソニー株式会社 Medical image transmission system, medical image processing device and medical image transmission method
JPWO2021186803A1 (en) * 2020-03-19 2021-09-23
JP7486338B2 (en) * 2020-04-20 2024-05-17 キヤノンメディカルシステムズ株式会社 Medical image display device, medical image output device, medical image medium, and medical image display program
DE102022126824A1 (en) 2022-10-13 2024-04-18 Karl Storz Se & Co. Kg Method for superimposing overlay recording information with a live image and a corresponding device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
JP4611674B2 (en) * 2004-06-29 2011-01-12 Ｈｏｙａ株式会社 Electronic endoscope system
JP2006180926A (en) * 2004-12-24 2006-07-13 Mitaka Koki Co Ltd Medical display device
US20090192390A1 (en) 2008-01-24 2009-07-30 Lifeguard Surgical Systems Common bile duct surgical imaging system
JP5432553B2 (en) 2009-03-18 2014-03-05 オリンパスメディカルシステムズ株式会社 Surgical microscope
JP2011027895A (en) * 2009-07-23 2011-02-10 Mitaka Koki Co Ltd Microscope system
US20160310007A1 (en) * 2013-12-18 2016-10-27 Shimadzu Corporation Infrared light imaging apparatus
US10602917B2 (en) 2013-12-31 2020-03-31 Karl Storz Imaging, Inc. Switching between white light imaging and excitation light imaging leaving last video frame displayed
JP6485275B2 (en) * 2015-08-03 2019-03-20 株式会社島津製作所 Imaging device
EP3196593B1 (en) * 2016-01-21 2018-01-17 Safran Vectronix AG Stabilized observation with lrf function
US20200082789A1 (en) * 2018-09-12 2020-03-12 Chongqing Hkc Optoelectronics Technology Co., Ltd. Display device and method for automatically regulating screen brightness of the same

Also Published As

Publication number Publication date
US11478204B2 (en) 2022-10-25
JPWO2018179564A1 (en) 2020-05-14
EP3590438B1 (en) 2023-02-15
US20200100744A1 (en) 2020-04-02
EP3590438A1 (en) 2020-01-08
EP3590438A4 (en) 2020-03-11
US20220401049A1 (en) 2022-12-22
WO2018179564A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6918924B2 (en) Medical display control device, medical observation device, display control method, and medical observation system
JP7163282B2 (en) Medical observation device, processing method, and medical observation system
US11638000B2 (en) Medical observation apparatus
JP6976720B2 (en) Medical observation device and zoom control method
JP2023095970A (en) medical observation system
JPWO2018212013A1 (en) Information processing apparatus, information processing method, and information processing program
JP2004081264A (en) Remotely-controlled medical system, and control modality for remotely controlling device
WO2018139156A1 (en) Medical observation device and control method
JP7094746B2 (en) Medical observation device
JP7444163B2 (en) Imaging device, imaging method, and program
JP7109936B2 (en) Medical control device and control method
JP6957605B2 (en) Medical observation system and control method
JP2023109802A (en) Medical control apparatus and medical observation system
JP2019154883A (en) Medical image processing apparatus, medical observation apparatus, and image processing method
JP7073145B2 (en) How to operate the medical dimming control device and the medical dimming control device
JP7023643B2 (en) Medical observation device and medical observation system
WO2019111482A1 (en) Medical control apparatus and control method
JP2019154734A (en) Medical image processing apparatus, medical observation apparatus, and image processing method
JPWO2019181239A1 (en) Medical retention device
JPWO2019111473A1 (en) Medical control device and medical observation system
JP2019154886A (en) Medical display control apparatus and display control method
JP6858593B2 (en) Medical observation device and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210721

R150 Certificate of patent or registration of utility model

Ref document number: 6918924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150