WO2023144986A1 - 内視鏡システム、制御方法および記録媒体 - Google Patents

内視鏡システム、制御方法および記録媒体 Download PDF

Info

Publication number
WO2023144986A1
WO2023144986A1 PCT/JP2022/003245 JP2022003245W WO2023144986A1 WO 2023144986 A1 WO2023144986 A1 WO 2023144986A1 JP 2022003245 W JP2022003245 W JP 2022003245W WO 2023144986 A1 WO2023144986 A1 WO 2023144986A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
endoscope
region
captured image
display range
Prior art date
Application number
PCT/JP2022/003245
Other languages
English (en)
French (fr)
Inventor
雅史 原口
直也 畠山
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2022/003245 priority Critical patent/WO2023144986A1/ja
Publication of WO2023144986A1 publication Critical patent/WO2023144986A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope system, control method and recording medium.
  • Patent Literature 1 discloses a system that uses a high-resolution image, digital zoom and digital pan, and digitally automatically tracks the image without physically moving the endoscope. Specifically, a partial region, such as a region of interest, is selected from a high-resolution wide-field full image, a digital zoom image is generated from the selected region, and the digital zoom image is displayed on a display device. By moving the selected area within the full image, the digital zoom image follows the object digitally.
  • Image tracking by digital processing has the advantage of faster response to movement of the object than image tracking by physical movement of the endoscope.
  • the farther away from the center of the image the lower the image quality.
  • the peripheral edge of the image is greatly distorted. Therefore, if the image is digitally tracked by digital panning, the quality of the digitally zoomed image displayed on the display may be degraded.
  • the present invention has been made in view of the circumstances described above, and an endoscope system and control method capable of rapidly providing an image of good quality in a follow-up process for following an image to a predetermined region of interest. and to provide a recording medium.
  • One aspect of the present invention is an endoscope that acquires a captured image, a drive mechanism that moves a field of view of the endoscope by moving at least a distal end portion of the endoscope, and an observation displayed on a display device.
  • the digital tracking process is a process of causing a predetermined first target region at or near the center of the display range to follow the region of interest by changing the position of the display range within the captured image.
  • the tracking process is an endoscope system in which a predetermined second target area at or near the center of the captured image follows the region of interest by moving the field of view of the endoscope.
  • Another aspect of the present invention is a control method for controlling movement of an observation image displayed on a display device and a field of view of an endoscope, wherein the observation image is a portion of a captured image captured by the endoscope. an image to be generated, detecting a predetermined region of interest in the captured image; selecting the portion of the captured image as a display range; generating the observed image from the display range; and digital tracking. tracking the observed image to the region of interest by performing processing and physical tracking processing in concert, wherein the digital tracking processing changes the position within the captured image of the display range by , a predetermined first target region at or near the center of the display range to follow the region of interest, wherein the physical tracking processing moves the field of view of the endoscope to move the center of the captured image.
  • the control method is a process of causing a predetermined second target region near the center to follow the region of interest.
  • Another aspect of the present invention is a computer-readable non-temporary recording medium storing a control program for causing a computer to execute the above control method.
  • FIG. 1 is an overall configuration diagram of an example of an endoscope system according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing the overall configuration of the endoscope system of FIG. 1
  • FIG. FIG. 5 is a diagram for explaining movement of the field of view due to bending of the bending portion of the endoscope
  • FIG. 10 is a diagram for explaining processing for causing an observation image to follow an ROI, and is a diagram showing an example of a captured image and a display range
  • FIG. FIG. 10 is a diagram for explaining processing for causing an observation image to follow an ROI, and is a diagram showing an example of a captured image and a display range
  • FIG. FIG. 10 is a diagram for explaining processing for causing an observation image to follow an ROI, and is a diagram showing an example of a captured image and a display range
  • FIG. 10 is a diagram for explaining processing for causing an observation image to follow an ROI, and is a diagram showing an example of a captured image and a display range;
  • FIG. 10 is a diagram for explaining processing for causing an observation image to follow an ROI, and is a diagram showing an example of a captured image and a display range;
  • FIG. 10 is a diagram for explaining processing for causing an observation image to follow an ROI, and is a diagram showing an example of a captured image and a display range;
  • FIG. 4 is a flowchart of a control method according to an embodiment of the invention;
  • 5B is a flow chart of the digital tracking processing routine of FIG. 5A;
  • 6 is a flowchart of a physical follow-up processing routine in FIG. 5;
  • FIG. 7 is a diagram showing an example of temporal changes in the amount of movement of the display range and the amount of movement of the visual field
  • FIG. 10 is a diagram showing another example of temporal changes in the amount of movement of the display range and the amount of movement of the field of view
  • FIG. 10 is a diagram showing another example of temporal changes in the amount of movement of the display range and the amount of movement of the field of view
  • It is a figure explaining the movable range of the display range within a captured image.
  • FIG. 10 is a diagram showing an example of temporal changes in the amount of movement of the display range and the amount of movement of the visual field when the physical follow-up process starts before the digital follow-up process;
  • FIG. 10 is a diagram showing an example of temporal changes in the amount of movement of the display range and the amount of movement of the visual field when the physical follow-up process starts before the digital follow-up process
  • FIG. 10 is a diagram showing an example of temporal changes in the amount of movement of the display range and the amount of movement of the visual field when the digital follow-up process starts before the physical follow-up process;
  • FIG. 10 is a diagram showing an example of temporal changes in the amount of movement of the display range and the amount of movement of the field of view when a dead zone is set in the center of the captured image;
  • FIG. 10 is a diagram showing an example of temporal changes in the amount of movement of the display range and the amount of movement of the field of view when the field of view is moved until the ROI passes through the second target area in the captured image in the physical follow-up process;
  • 9B is a diagram showing an example of a captured image and a display range in the tracking process of FIG. 9A;
  • FIG. 9B is a diagram showing an example of a captured image and a display range in the tracking process of FIG. 9B;
  • an endoscope system 1 includes an endoscope 2 to be inserted into the body, a drive mechanism 3 for moving at least the distal end of the endoscope 2, It comprises a display device 4 and a control device 5 for controlling the driving mechanism 3 and an image displayed on the display device 4 .
  • FIG. 1 shows, as an example, an endoscope system 1 for laparoscopic surgery in which an affected part is treated with a treatment tool 7 inserted into the abdominal cavity of a patient X while observing the treatment tool 7 with an endoscope 2. It is
  • the endoscope 2 includes a rigid elongated insertion section 2a, an electrically driven bending section 2b provided in the insertion section 2a, and an imaging device provided at the distal end of the insertion section 2a. and a portion 2c.
  • the driving mechanism 3 is the curved portion 2b.
  • the bending portion 2b is bendable in a direction intersecting the longitudinal axis of the insertion portion 2a, and the distal end portion of the insertion portion 2a and the field of view F of the endoscope 2 are moved by the bending of the bending portion 2b.
  • the dashed-dotted line represents the optical axis of the endoscope 2 .
  • the endoscope 2 is inserted into the body via, for example, a trocar that penetrates the body wall, and is supported by the trocar.
  • the endoscope system 1 may further include a moving device 6 for holding and moving the endoscope 2.
  • the moving device 6 includes, for example, an electric holder composed of a multi-joint robot arm, and is controlled by the control device 5 .
  • the driving mechanism 3 may be the moving device 6 instead of the bending portion 2b, and the endoscope 2 may not have the bending portion 2b.
  • both the bending portion 2b and the moving device 6 may be used as the drive mechanism 3 to move the field of view F of the endoscope 2.
  • the imaging unit 2c has an imaging device such as a CCD image sensor or a CMOS image sensor, and captures a captured image A (see FIGS. 4A to 4E) including a predetermined region of interest (ROI).
  • the captured image A is transmitted from the endoscope 2 to the control device 5 , the observed image B is generated from the captured image A in the control device 5 , and the observed image B is displayed on the display device 4 .
  • the observation image B is a part of the captured image A that is a digitally zoomed image. Therefore, the captured image A is preferably a wide-field and high-resolution image, and it is preferable to use the wide-angle endoscope 2 and the high-resolution imaging unit 2c.
  • the display device 4 is an arbitrary display such as a liquid crystal display or an organic EL display.
  • the control device 5 controls the operation of the bending portion 2b as the driving mechanism 3 and/or the moving device 6 and the observation image B displayed on the display device 4.
  • FIG. 2 the control device 5 includes at least one processor 5a, a memory 5b, a storage section 5c, and an input/output interface 5d.
  • the control device 5 is connected to other peripheral devices 2, 3, 4, and 6 via an input/output interface 5d, and transmits/receives images, signals, and the like via the input/output interface 5d.
  • the memory 5b is, for example, a semiconductor memory including a ROM (read-only memory) or RAM (Random Access Memory) area.
  • the storage unit 5c is a computer-readable non-temporary recording medium, for example, a non-volatile recording medium including a semiconductor memory such as a hard disk or flash memory.
  • the storage unit 5c stores various programs including the control program 5e and data necessary for processing of the processor 5a. Part of the later-described processing executed by the processor 5a is a dedicated It may be implemented by a logic circuit, hardware, or the like.
  • the processor 5a selects a portion of the captured image A as a display range C, expands the display range C by digital processing to generate an observation image B, and converts the observation image B to Displayed on the display device 4 .
  • the display range C is, for example, a rectangular range having a predetermined size.
  • the ROI is a region that the operator pays attention to during surgery, such as the treatment tool 7, tissue, or organ.
  • the ROI moves in the body when the operator moves the treatment instrument 7 or when the tissue or organ is deformed as the surgery progresses.
  • the processor 5a displays By controlling the position of the range C within the captured image A and the drive mechanism 3, a control method is executed to automatically align the observation image B displayed on the display device 4 with the position of the ROI.
  • the control method executed by the processor 5a will be described with reference to FIGS. 5A to 5C.
  • the processor 5a executes this control method by executing processing in accordance with the control program 5e loaded from the storage unit 5c into the memory 5b.
  • the control method according to the present embodiment includes step S1 of receiving a captured image A, step S2 of detecting a predetermined ROI in the captured image A, and causing observation image B to follow the ROI. and step S3.
  • FIG. 4A to 4E are captured images A acquired by the endoscope 2 during execution of the control method.
  • FIG. 4A is the captured image A at the start of the control method
  • FIG. 4E is the captured image A at the end of the control method
  • the display range C is normally positioned in the center of the captured image A where the first target area P1 coincides with the second target area P2.
  • the first target area P1 is the center of the display range C or a predetermined area near the center
  • the second target area P2 is the center of the captured image A or a predetermined area near the center.
  • Each of the target regions P1, P2 may be a single point or a two-dimensional region having an area.
  • step S2 the processor 5a detects the ROI in the captured image A using known means such as image recognition by artificial intelligence or detection of markers previously provided in the ROI.
  • Step S3 includes step S4 for performing digital follow-up processing and step S5 for performing physical follow-up processing.
  • the digital follow-up process is a process of changing the position of the display range C within the captured image A so that the predetermined first target region P1 within the display range C follows the ROI digitally.
  • the driving mechanism 3 is operated to move the field of view F of the endoscope 2 at a constant speed, thereby physically (mechanically) moving the predetermined second target region P2 in the captured image A to the ROI.
  • the processor 5a simultaneously starts the digital follow-up process and the physical follow-up process, and cooperatively executes the digital follow-up process and the physical follow-up process at the same time.
  • step S4 includes a step S41 of determining the movement amount d1 of the display range C, a step S42 of selecting the display range C from the captured image A based on the movement amount d1, and a step S42 of selecting the display range C from the display range C.
  • a step S43 of generating an observed image B and a step S44 of transmitting the observed image B to the display device 4 are included.
  • step S41 the processor 5a determines the movement amount d1 of the display range C based on the positional relationship between the first target area P1 within the display range C and the ROI.
  • the amount of movement d1 is the amount of movement of the display range C required to move the first target area P1 to the ROI.
  • step S42 the processor 5a moves the position of the display range C in the direction in which the movement amount d1 approaches zero, that is, in the direction in which the first target region P1 approaches the ROI. , to change from the current position.
  • the amount of movement of the display range C at this time is set, for example, so that the movement speed of the subject within the observation image B on the display device 4 is a suitable speed for the user.
  • the display range C of the two-dot chain line indicates the display range C before the position is changed.
  • step S43 the processor 5a selects the display range C of the changed position from the captured image A, and expands the size of the selected display range C to generate the observed image B.
  • step S ⁇ b>44 the processor 5 a transmits the generated observation image B to the display device 4 to display the observation image B on the display device 4 .
  • step S5 includes a step S51 of determining a movement amount d2 of the field of view F and a step S52 of moving the field of view F.
  • step S51 the processor 5a determines the movement amount d2 of the field of view F based on the positional relationship between the second target region P2 in the captured image A and the ROI.
  • the amount of movement d2 is the amount of movement of the field of view F required to move the second target area P2 to the ROI.
  • step S52 the processor 5a shifts the field of view F from the current position in the direction in which the movement amount d2 approaches zero, that is, in the direction in which the second target region P2 approaches the ROI. move.
  • the field of view F is moved, for example, at the maximum speed that the drive mechanism 3 can achieve.
  • the ROI indicated by a two-dot chain line indicates the ROI before the field of view F is moved.
  • the ROI in the observation image B on the display device 4 has a total displacement which is the sum of the displacement of the display range C and the displacement of the field of view F. move toward the center of the observed image B by the amount.
  • the processor 5a repeatedly executes steps S1 to S5 so that the displacements d1 and d2 each gradually approach zero.
  • the processor 5a repeats steps S1 to S5 until the second target region P2 of the captured image A reaches the ROI (YES in step S6).
  • the distance D from the second target region P2 to the ROI at the start of tracking see FIG.
  • step S3 is repeated until time t8.
  • digital tracking represents the amount of movement of the display range C by the digital tracking process
  • physical tracking represents the amount of movement of the visual field F by the physical tracking process
  • Total represents the sum of the amount of movement of the display range C and the amount of movement of the field of view F.
  • Each movement amount is a total movement amount from the position at the start of tracking, and represents a two-dimensional movement amount along the image plane in the coordinate system of the captured image A.
  • FIG. In these figures, times t1, t2, t3, . . . (sec) progress from left to right.
  • target area P1 reaches the ROI, and the ROI is placed at or near the center of the observed image B on the display device 4 .
  • the first target region P1 reaches the ROI at time t3.
  • the processor 5a stops the digital follow-up process when the first target region P1 reaches the ROI and the movement amount d1 becomes zero. Only the physical follow-up process is executed until the ROI is reached and the movement amount d2 becomes zero. That is, after the first target area P1 reaches the ROI, the processor 5a moves the field of view F in the direction in which the second target area P2 approaches the ROI, and at the same time moves the first target by a movement amount equal to the movement amount of the field of view F. The position of the display range C within the captured image A is changed in the direction in which the region P1 approaches the second target region P2. Thereby, the processor 5a moves the display range C to the center of the captured image A while maintaining the first target region P1 of the display range C in the ROI.
  • the movement of the ROI such as the treatment instrument 7 may be faster than the physical (mechanical) movement of the distal end of the endoscope 2. Therefore, when the captured image A or the observed image B is made to physically follow the ROI only by moving the field of view F, there is a problem that the following response is low. On the other hand, when the observation image B is digitally followed by the ROI by changing the position of the display range C within the captured image A, high follow-up responsiveness can be easily realized.
  • the ROI is captured as an image only by moving the visual field F. It is difficult to capture in the center of A.
  • the image quality is good at the center of the image and worse at the periphery of the image.
  • the peripheral edge of the captured image A is distorted.
  • the display range C moves to the center of the captured image A due to the movement of the field of view F. It moves quickly, and the image quality of the observed image B is quickly improved. Therefore, even if the image quality of the observation image B temporarily deteriorates due to the digital follow-up processing, there is an advantage that the observation image B of good image quality with no or little distortion can be quickly provided to the user.
  • the field of view F is moved only by the movement of the distal end portion of the endoscope 2 placed inside the body. Therefore, since the moving device 6 such as the robot arm that holds the endoscope 2 does not move, interference between the moving device 6 and the operator can be prevented.
  • the field of view F can also be moved by rocking the entire endoscope 2 around a predetermined pivot point or by moving the entire endoscope 2 with the moving device 6 . In this case, there is a possibility that the moving endoscope 2 or the moving device 6 will interfere with surrounding operators.
  • the moving device 6 as the driving mechanism 3 when it is desired to maintain the observation direction of the subject such as living tissue. That is, when the field of view F is moved by bending the bending portion 2b, the observation direction of the subject changes.
  • the endoscope 2 is moved by a moving device 6 such as an electric holder, the endoscope 2 is translated while maintaining the orientation of the tip of the electric holder, thereby maintaining the observation direction.
  • the field of view F can be moved.
  • the movable range of the display range C in the digital follow-up process may be the entire range of the captured image A.
  • the movement of the display range C in the digital follow-up process may be A may be limited within a predetermined range.
  • the image quality of captured image A can be degraded at the periphery. Therefore, for example, as shown in FIG. 6B, an upper limit is set to the total amount of movement of the display range C (the distance from the second target region P2 to the first target region P1), and the display range C may be movable within the captured image A.
  • the upper limit of the total amount of movement of the display range C is "6".
  • the central area excluding the hatched peripheral portion is a predetermined range, and the display range C can be moved only within the central area of the captured image A. Therefore, it is possible to prevent the image quality of the observation image B displayed on the display device 4 from deteriorating, and to provide the observation image B with better image quality to the user.
  • the moving speed of the visual field F in the physical tracking process (that is, the amount of movement from time ti to time ti+1) is assumed to be constant. good too.
  • the processor 5a moves the field of view F at maximum speed until the first target region P1 of the display range C reaches the ROI. Let Then, after the first target region P1 reaches the ROI, the processor 5a may reduce the moving speed of the field of view F to a speed slower than the maximum speed.
  • the moving speed of the field of view F is "2" until time t2, and is "1" after time t3.
  • the user may be concerned about sudden changes in image quality of the observed image B on the display device 4 .
  • the image quality of the observed image B can be changed slowly so that the user does not notice the change in image quality.
  • FIG. 8A shows an example of the amount of movement when the processor 5a starts the physical follow-up process S5 and then starts the digital follow-up process S4. While the digital tracking process can increase the tracking speed, it can cause sudden changes in image quality such as distortion.
  • FIG. 8B shows an example of the amount of movement when the processor 5a starts the digital follow-up process S4 and then starts the physical follow-up process S5. With this configuration, it is possible to reduce the burden on the hardware such as the drive mechanism 3 .
  • the processor 5a moves the field of view F in the physical tracking process S5 until the ROI reaches the second target area P2 of the captured image A.
  • the field of view F may be moved until another position near region P2 is reached. That is, the position in the captured image A that the ROI should finally reach can be changed as appropriate according to the surgical scene, the user's request, or the like.
  • a dead zone E including the second target region P2 is set in the center of the captured image A, and when the ROI arranged outside the dead zone E enters the dead zone E , the processor 5a may end the physical follow-up processing S5. In this case, the processor 5a moves the field of view F until the ROI reaches a position in front of the second target region P2. Alternatively, as shown in Figures 9B and 10B, the processor 5a may move the field of view F until the ROI passes the second target region P2. For example, the processor 5a may end the physical following process S5 when the ROI has passed the second target region P2 by a predetermined distance.
  • FIGS. 9A and 10A a wider space is formed on the upper left side of the ROI after the tracking process. Therefore, in the next follow-up process, the display range C can be followed to the upper left side with a margin.
  • FIGS. 9B and 10B a wider space is formed on the lower right side of the ROI after the tracking process. Therefore, in the next follow-up process, the display range C can be followed to the lower right side with a margin.
  • the examples of FIGS. 9A to 10B are suitable, for example, when the next moving direction of the ROI can be predicted in advance. That is, the position to be finally reached by the ROI may be determined such that a wide space is formed on the side to which the ROI moves next.
  • the first target area P1 is set to be the center or a point near the center of the display range C so that the user can easily observe the ROI in the observation image B.
  • the position of P1 may be any position other than the center of the display range C or near the center.
  • the position of the first target region P1 may be changed as appropriate according to a request from a user such as an operator.
  • the second target region P2 is the center of the captured image A or a point near the center in order to achieve good image quality of the observed image B even when the wide-angle endoscope 2 is used.
  • the position of the second target area P2 may be any position other than the center of the captured image A or the vicinity of the center. For example, when the image quality of the entire captured image A is good, or when deterioration of the image quality of the observed image B is not a problem for the user, the position of the second target region P2 can be changed as appropriate. good.
  • Endoscope system 2 Endoscope 2b Bending unit, drive mechanism 3 Drive mechanism 4 Display device 5 Control device 5a Processor 6 Movement device, drive mechanism A Captured image B Observation image C Display range E Dead zone F Field of view P1 First target area P2 second target region ROI region of interest

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡システムは、撮像画像を取得する内視鏡と、内視鏡の少なくとも先端部を移動させることによって内視鏡の視野を移動させる駆動機構と、表示装置に表示される観察画および駆動機構を制御するプロセッサとを備える。プロセッサは、撮像画像内の所定の関心領域を検出し（Ｓ２）、撮像画像の一部分を表示範囲として選択して表示範囲から観察画像を生成し、デジタル追従処理（Ｓ４）および物理追従処理（Ｓ５）を協調して実行することによって所定の関心領域に観察画像を追従させる（Ｓ３）。デジタル追従処理（Ｓ４）は、表示範囲の撮像画像内の位置を変更することによって、表示範囲内の第１目標領域を関心領域に追従させる処理であり、物理追従処理（Ｓ５）は、内視鏡の視野を移動させることによって撮像画像内の第２目標領域を所定の関心領域に追従させる処理である。

Description

内視鏡システム、制御方法および記録媒体
　本発明は、内視鏡システム、制御方法および記録媒体に関するものである。
　従来、内視鏡外科手術において、表示装置に表示される内視鏡カメラの画像をツール等の対象物に自動的に追従させる技術が知られている（例えば、特許文献１参照。）。特許文献１には、高解像度の画像とデジタルズームおよびデジタルパンとを使用し、内視鏡を物理的に移動させることなく画像をデジタル的に自動追従させるシステムが開示されている。具体的には、高解像度かつ広視野のフル画像から関心領域のような一部の領域が選択され、選択された領域からデジタルズーム画像が生成され、デジタルズーム画像が表示装置に表示される。選択する領域をフル画像内において移動させることによって、デジタルズーム画像がデジタル的に対象物に追従する。
米国特許第１００３８８８８号明細書
　デジタル処理による画像の追従は、内視鏡の物理的な移動による画像の追従と比較して、対象物の移動に対する応答が速いという利点がある。
　一方、一般に、画像の中心から離れる程、画質は低下する。特に、広視野の画像を得るために広角のカメラを使用する場合、画像の周縁部の歪みが大きくなる。したがって、デジタルパンによって画像をデジタル的に追従させる場合、表示装置に表示されるデジタルズーム画像の質が低下し得る。
　本発明は、上述した事情に鑑みてなされたものであって、画像を所定の関心領域に追従させる追従処理において、良好な画質の画像を迅速に提供することができる内視鏡システム、制御方法および記録媒体を提供することを目的とする。
　本発明の一態様は、撮像画像を取得する内視鏡と、該内視鏡の少なくとも先端部を移動させることによって前記内視鏡の視野を移動させる駆動機構と、表示装置に表示される観察画像および前記駆動機構を制御し、前記観察画像は前記撮像画像の一部分から生成される画像である、プロセッサと、を備え、該プロセッサは、前記撮像画像内の所定の関心領域を検出し、前記撮像画像の前記一部分を表示範囲として選択し、該表示範囲から前記観察画像を生成し、デジタル追従処理および物理追従処理を協調して実行することによって、前記関心領域に前記観察画像を追従させ、前記デジタル追従処理は、前記表示範囲の前記撮像画像内の位置を変更することによって、前記表示範囲の中心または中心付近の所定の第１目標領域を前記関心領域に追従させる処理であり、前記物理追従処理は、前記内視鏡の視野を移動させることによって、前記撮像画像の中心または中心付近の所定の第２目標領域を前記関心領域に追従させる処理である、内視鏡システムである。
　本発明の他の態様は、表示装置に表示される観察画像および内視鏡の視野の移動を制御する制御方法であって、前記観察画像は前記内視鏡によって撮像された撮像画像の一部分から生成される画像であり、前記撮像画像内の所定の関心領域を検出すること、前記撮像画像の前記一部分を表示範囲として選択し、該表示範囲から前記観察画像を生成すること、および、デジタル追従処理および物理追従処理を協調して実行することによって、前記関心領域に前記観察画像を追従させること、を含み、前記デジタル追従処理が、前記表示範囲の前記撮像画像内の位置を変更することによって、前記表示範囲の中心または中心付近の所定の第１目標領域を前記関心領域に追従させる処理であり、前記物理追従処理が、前記内視鏡の視野を移動させることによって、前記撮像画像の中心または中心付近の所定の第２目標領域を前記関心領域に追従させる処理である、制御方法である。
　本発明の他の態様は、上記の制御方法をコンピュータに実行させるための制御プログラムを記憶した、コンピュータ読み取り可能な非一時的な記録媒体である。
　本発明によれば、画像を所定の関心領域に追従させる追従処理において、良好な画質の画像を迅速に提供することができるという効果を奏する。
本発明の一実施形態に係る内視鏡システムの一例の全体構成図である。 図１の内視鏡システムの全体構成を示すブロック図である。 内視鏡の湾曲部の湾曲による視野の移動を説明する図である。 観察画像をＲＯＩに追従させる処理を説明する図であり、撮像画像および表示範囲の一例を示す図である。 観察画像をＲＯＩに追従させる処理を説明する図であり、撮像画像および表示範囲の一例を示す図である。 観察画像をＲＯＩに追従させる処理を説明する図であり、撮像画像および表示範囲の一例を示す図である。 観察画像をＲＯＩに追従させる処理を説明する図であり、撮像画像および表示範囲の一例を示す図である。 観察画像をＲＯＩに追従させる処理を説明する図であり、撮像画像および表示範囲の一例を示す図である。 本発明の一実施形態に係る制御方法のフローチャートである。 図５Ａのデジタル追従処理ルーチンのフローチャートである。 図５の物理追従処理ルーチンのフローチャートである。 表示範囲の移動量および視野の移動量の時間変化の一例を示す図である。 表示範囲の移動量および視野の移動量の時間変化の他の例を示す図である。 表示範囲の移動量および視野の移動量の時間変化の他の例を示す図である。 撮像画像内での表示範囲の移動可能な範囲を説明する図である。 デジタル追従処理よりも先に物理追従処理が開始する場合の、表示範囲の移動量および視野の移動量の時間変化の一例を示す図である。 物理追従処理よりも先にデジタル追従処理が開始する場合の、表示範囲の移動量および視野の移動量の時間変化の一例を示す図である。 撮像画像の中心部に不感帯が設定されている場合の、表示範囲の移動量および視野の移動量の時間変化の一例を示す図である。 物理追従処理においてＲＯＩが撮像画像内の第２目標領域を通り過ぎるまで視野を移動させる場合の、表示範囲の移動量および視野の移動量の時間変化の一例を示す図である。 図９Ａの追従処理における撮像画像および表示範囲の一例を示す図である。 図９Ｂの追従処理における撮像画像および表示範囲の一例を示す図である。
　以下に、本発明の一実施形態に係る内視鏡システム、制御方法および記録媒体について図面を参照して説明する。
　図１および図２に示されるように、本実施形態に係る内視鏡システム１は、体内に挿入される内視鏡２と、内視鏡２の少なくとも先端部を移動させる駆動機構３と、表示装置４と、駆動機構３および表示装置４に表示される画像を制御する制御装置５とを備える。
　図１には、一例として、患者Ｘの腹腔内に挿入された処置具７を内視鏡２によって観察しながら処置具７によって患部を処置する腹腔鏡下手術用の内視鏡システム１が示されている。
　図３に示されるように、内視鏡２は、硬性の長尺の挿入部２ａと、挿入部２ａに設けられた電動駆動の湾曲部２ｂと、挿入部２ａの先端部に設けられた撮像部２ｃとを有する。駆動機構３は、湾曲部２ｂである。湾曲部２ｂは、挿入部２ａの長手軸に交差する方向に湾曲可能であり、湾曲部２ｂの湾曲によって挿入部２ａの先端部および内視鏡２の視野Ｆが移動する。図３において、一点鎖線は内視鏡２の光軸を表している。内視鏡２は、例えば、体壁を貫通するトロッカを経由して体内に挿入され、トロッカによって支持される。
　内視鏡システム１は、内視鏡２を保持し移動させるための移動装置６をさらに備えていてもよい。移動装置６は、例えば、多関節のロボットアームからなる電動ホルダを備え、制御装置５によって制御される。この場合、駆動機構３が、湾曲部２ｂに代えて、移動装置６であってもよく、内視鏡２は湾曲部２ｂを有していなくてもよい。あるいは、駆動機構３として湾曲部２ｂおよび移動装置６の両方を用いて内視鏡２の視野Ｆを移動させてもよい。
　撮像部２ｃは、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ等の撮像素子を有し、所定の関心領域（ＲＯＩ）を含む撮像画像Ａ（図４Ａから図４Ｅ参照。）を撮像する。撮像画像Ａは内視鏡２から制御装置５に送信され、制御装置５において撮像画像Ａから観察画像Ｂが生成され、観察画像Ｂが表示装置４に表示される。後述するように、観察画像Ｂは、撮像画像Ａの一部分のデジタルズーム画像である。したがって、撮像画像Ａは広視野かつ高解像度の画像であることが好ましく、広角の内視鏡２および高解像度の撮像部２ｃが使用されることが好ましい。表示装置４は、液晶ディスプレイまたは有機ＥＬディスプレイ等の任意のディスプレイである。
　制御装置５は、駆動機構３である湾曲部２ｂおよび／または移動装置６の動作と表示装置４に表示される観察画像Ｂとを制御する。具体的には、図２に示されるように、制御装置５は、少なくとも１つのプロセッサ５ａと、メモリ５ｂと、記憶部５ｃと、入出力インタフェース５ｄとを備える。
　制御装置５は、入出力インタフェース５ｄを経由して周囲の他の装置２，３，４，６と接続され、画像および信号等を入出力インタフェース５ｄを経由して送受信する。
　メモリ５ｂは、例えば、ＲＯＭ（read-only　memory）、または、ＲＡＭ（Random　Access　Memory）領域を含む半導体メモリである。
　記憶部５ｃは、コンピュータにより読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクまたはフラッシュメモリ等の半導体メモリを含む不揮発性の記録媒体である。記憶部５ｃは、制御プログラム５ｅを含む各種のプログラムと、プロセッサ５ａの処理に必要なデータとを記憶している。プロセッサ５ａが実行する後述の処理の一部は、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＳｏＣ（System-On-A-Chip）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）またはＰＬＤ（Programmable　Logic　Device）等の専用の論理回路やハードウェア等によって実現されてもよい。
　図４Ａから図４Ｅに示されるように、プロセッサ５ａは、撮像画像Ａ内の一部分を表示範囲Ｃとして選択し、表示範囲Ｃをデジタル処理によって拡大して観察画像Ｂを生成し、観察画像Ｂを表示装置４に表示させる。表示範囲Ｃは、例えば、所定のサイズを有する矩形の範囲である。
　ここで、ＲＯＩは、手術中に術者が注視する領域であり、例えば、処置具７、組織または臓器である。例えば、術者が処置具７を動かすことによって、あるいは、手術の進行に伴って組織または臓器が変形することによって、ＲＯＩは体内で移動する。撮像画像Ａ内においてＲＯＩが所定の目標領域Ｐ２（後述）から離れたとき、例えば、撮像画像Ａ内での目標領域Ｐ２からＲＯＩまでの距離が所定の閾値を超えたとき、プロセッサ５ａは、表示範囲Ｃの撮像画像Ａ内での位置と駆動機構３とを制御することによって、表示装置４に表示される観察画像ＢをＲＯＩの位置に自動的に合わせる制御方法を実行する。
　次に、プロセッサ５ａが実行する制御方法について、図５Ａから図５Ｃを参照して説明する。プロセッサ５ａは、記憶部５ｃからメモリ５ｂに読み込まれた制御プログラム５ｅに従って処理を実行することによって、この制御方法を実行する。
　図５Ａに示されるように、本実施形態に係る制御方法は、撮像画像Ａを受信するステップＳ１と、撮像画像Ａ内の所定のＲＯＩを検出するステップＳ２と、観察画像ＢをＲＯＩに追従させるステップＳ３と、を含む。
　図４Ａから図４Ｅは、制御方法の実行中に内視鏡２によって取得される撮像画像Ａである。具体的には、図４Ａは、制御方法の開始時の撮像画像Ａであり、図４Ｅは、制御方法の終了時の撮像画像Ａであり、図４Ａから図４Ｅに向かって時間が進行する。図４Ａに示されるように、制御方法の開始時、通常、表示範囲Ｃは、第１目標領域Ｐ１が第２目標領域Ｐ２に一致する撮像画像Ａの中心部に配置されている。第１目標領域Ｐ１は、表示範囲Ｃの中心または中心付近の所定の領域であり、第２目標領域Ｐ２は、撮像画像Ａの中心または中心付近の所定の領域である。目標領域Ｐ１，Ｐ２の各々は、１つの点であってもよく、面積を有する２次元領域であってもよい。
　ステップＳ２において、プロセッサ５ａは、例えば人工知能による画像認識またはＲＯＩに予め設けられたマーカの検出等の公知の手段を使用して、撮像画像Ａ内のＲＯＩを検出する。
　ステップＳ３は、デジタル追従処理を行うステップＳ４と、物理追従処理を行うステップＳ５とを含む。
　デジタル追従処理は、表示範囲Ｃの撮像画像Ａ内の位置を変更することによって、表示範囲Ｃ内の所定の第１目標領域Ｐ１をＲＯＩにデジタル的に追従させる処理である。
　物理追従処理は、駆動機構３を動作させて内視鏡２の視野Ｆを一定速度で移動させることによって、撮像画像Ａ内の所定の第２目標領域Ｐ２を物理的に（機械的に）ＲＯＩに追従させる処理である。
　プロセッサ５ａは、デジタル追従処理および物理追従処理を同時に開始し、デジタル追従処理および物理追従処理を協調して同時に実行する。
　図５Ｂに示されるように、ステップＳ４は、表示範囲Ｃの移動量ｄ１を決定するステップＳ４１と、移動量ｄ１に基づいて撮像画像Ａから表示範囲Ｃを選択するステップＳ４２と、表示範囲Ｃから観察画像Ｂを生成するステップＳ４３と、観察画像Ｂを表示装置４に送信するステップＳ４４と、を含む。
　図４Ａおよび図４Ｂに示されるように、ステップＳ４１において、プロセッサ５ａは、表示範囲Ｃ内の第１目標領域Ｐ１とＲＯＩとの位置関係に基づき、表示範囲Ｃの移動量ｄ１を決定する。移動量ｄ１は、第１目標領域Ｐ１をＲＯＩまで移動させるために必要な表示範囲Ｃの移動量である。
　次に、図４Ｂおよび図４Ｃに示されるように、ステップＳ４２において、プロセッサ５ａは、表示範囲Ｃの位置を、移動量ｄ１がゼロに近付く方向に、すなわち第１目標領域Ｐ１がＲＯＩに近付く方向に、現在の位置から変更する。このときの表示範囲Ｃの移動量は、例えば、表示装置４上の観察画像Ｂ内の被写体の移動速度がユーザにとって適切な速度となるように、設定される。図４Ｂにおいて、二点鎖線の表示範囲Ｃは、位置が変更される前の表示範囲Ｃを示している。
　次に、ステップＳ４３において、プロセッサ５ａは、変更された位置の表示範囲Ｃを撮像画像Ａから選択し、選択された表示範囲Ｃのサイズを拡大することによって観察画像Ｂを生成する。
　次に、ステップＳ４４において、プロセッサ５ａは、生成された観察画像Ｂを表示装置４に送信し、観察画像Ｂを表示装置４に表示させる。
　ステップＳ４のデジタル追従処理の結果、表示範囲Ｃは、撮像画像Ａの中心からずれた位置へ移動する。物理追従処理は、表示範囲Ｃを、撮像画像Ａの中心に戻すための処理である。
　図５Ｃに示されるように、ステップＳ５は、視野Ｆの移動量ｄ２を決定するステップＳ５１と、視野Ｆを移動させるステップＳ５２と、を含む。
　図４Ａおよび図４Ｂに示されるように、ステップＳ５１において、プロセッサ５ａは、撮像画像Ａ内の第２目標領域Ｐ２とＲＯＩとの位置関係に基づき、視野Ｆの移動量ｄ２を決定する。移動量ｄ２は、第２目標領域Ｐ２をＲＯＩまで移動させるために必要な視野Ｆの移動量である。
　次に、図４Ｂに示されるように、ステップＳ５２において、プロセッサ５ａは、視野Ｆを、移動量ｄ２がゼロに近付く方向に、すなわち第２目標領域Ｐ２がＲＯＩに近付く方向に、現在の位置から移動させる。このときに、視野Ｆは、例えば、駆動機構３が達成し得る最高速度で移動させられる。図４Ｂにおいて、二点鎖線のＲＯＩは、視野Ｆの移動前のＲＯＩを示している。
　デジタル追従処理Ｓ４および物理追従処理Ｓ５が同時に１回実行された結果、表示装置４上の観察画像Ｂ内のＲＯＩは、表示範囲Ｃの移動量と視野Ｆの移動量との和である合計移動量だけ、観察画像Ｂの中心に向かって移動する。
　図４Ａから図４Ｅおよび図６Ａに示されるように、プロセッサ５ａがステップＳ１からＳ５を繰り返し実行することによって、移動量ｄ１，ｄ２はそれぞれ次第にゼロに近付く。
　プロセッサ５ａは、撮像画像Ａの第２目標領域Ｐ２がＲＯＩに到達するまで（ステップＳ６のＹＥＳ）、ステップＳ１からＳ５を繰り返す。図６Ａの例において、追従開始時の第２目標領域Ｐ２からＲＯＩまでの距離Ｄ（図４Ａ参照。）は「１５」であり、デジタル追従処理の単位時間当たりの移動量（時刻ｔｉから時刻ｔｉ＋１までの移動量）は「３」であり、物理追従処理の単位時間当たりの移動量（時刻ｔｉから時刻ｔｉ＋１までの移動量）は「２」であり、ステップＳ３が時刻ｔ８まで繰り返される。
　なお、図６Ａから図６Ｃおよび図８Ａから図９Ｂにおいて、「デジタル追従」は、デジタル追従処理による表示範囲Ｃの移動量を表し、「物理追従」は、物理追従処理による視野Ｆの移動量を表し、「合計」は、表示範囲Ｃの移動量と視野Ｆの移動量との和を表している。また、各移動量は、追従開始時の位置からの総移動量であり、撮像画像Ａの座標系での画像平面に沿う２次元の移動量を表している。また、これらの図において、左から右に向かって時間ｔ１，ｔ２，ｔ３，…（ｓｅｃ）が進行している。
　ここで、デジタル追従処理および物理追従処理が並列処理によって同時に実行されるので、図４Ｃに示されるように、撮像画像Ａの第２目標領域Ｐ２がＲＯＩに到達する前に、表示範囲Ｃの第１目標領域Ｐ１がＲＯＩに到達し、表示装置４上の観察画像Ｂの中心または中心付近にＲＯＩが配置される。図６Ａの例において、第１目標領域Ｐ１は時刻ｔ３にＲＯＩに到達する。
　プロセッサ５ａは、第１目標領域Ｐ１がＲＯＩに到達し移動量ｄ１がゼロになった時点でデジタル追従処理を停止し、その後、図４Ｄおよび図４Ｅに示されるように、第２目標領域Ｐ２がＲＯＩに到達し移動量ｄ２がゼロになるまで物理追従処理のみを実行する。
　すなわち、第１目標領域Ｐ１がＲＯＩに到達した後、プロセッサ５ａは、第２目標領域Ｐ２がＲＯＩに近付く方向に視野Ｆを移動させると同時に、視野Ｆの移動量と等しい移動量だけ第１目標領域Ｐ１が第２目標領域Ｐ２に近付く方向に表示範囲Ｃの撮像画像Ａ内の位置を変更する。これにより、プロセッサ５ａは、表示範囲Ｃの第１目標領域Ｐ１をＲＯＩに維持しながら、表示範囲Ｃを撮像画像Ａの中央まで移動させる。
　処置具７のようなＲＯＩの動きは、内視鏡２の先端部の物理的（機械的）な動きと比較して速いことがある。したがって、視野Ｆの移動のみで撮像画像Ａまたは観察画像ＢをＲＯＩに物理的に追従させる場合、追従の応答性が低いという不都合がある。一方、表示範囲Ｃの撮像画像Ａ内の位置を変更するによって観察画像ＢをＲＯＩにデジタル的に追従させる場合、追従の高い応答性を容易に実現することができる。
　本実施形態によれば、物理追従処理とデジタル追従処理とを組み合わせることによって、追従の高い応答性を実現することができるという利点がある。
　特に、湾曲部２ｂまたは移動装置６のような駆動機構３の動作による視野Ｆの移動速度はＲＯＩの移動速度に対して遅いので、追従の初期段階において、視野Ｆの移動のみでＲＯＩを撮像画像Ａの中心に捉えることは難しい。追従開始と同時にデジタル追従処理Ｓ４を開始することによって、追従の初期段階においても、高い応答性を実現することができるという利点がある。
　また、一般に、画質は、画像の中心部において良好であり、画像の周縁部において悪くなる。特に、広角の内視鏡２の場合、撮像画像Ａの周縁部に歪みが生じる。本実施形態によれば、撮像画像Ａの中心部から離れた位置で表示範囲Ｃの第２目標領域Ｐ２がＲＯＩに到達した後、視野Ｆの移動によって表示範囲Ｃが撮像画像Ａの中心部に速やかに移動し、観察画像Ｂの画質が速やかに改善される。したがって、デジタル追従処理によって観察画像Ｂの画質が一時的に低下したとしても、歪みが無いまたは少ない良好な画質の観察画像Ｂをユーザに速やかに提供することができるという利点がある。
　また、視野Ｆを移動させるための駆動機構３として湾曲部２ｂのみを用いる場合には、体内に配置される内視鏡２の先端部の動きのみで視野Ｆが移動する。したがって、内視鏡２を保持するロボットアームのような移動装置６が動かないので、移動装置６と術者との干渉を防止することができる。
　内視鏡２の全体を所定のピボット点回りに揺動させたり、内視鏡２の全体を移動装置６によって移動させたりすることによっても、視野Ｆを移動させることができる。この場合には、移動する内視鏡２または移動装置６が、周辺の術者等と干渉する可能性がある。
　一方、生体組織等の被写体の観察方向を維持したい場合には、駆動機構３として移動装置６を用いることが好ましい。すなわち、湾曲部２ｂの湾曲によって視野Ｆを移動させる場合、被写体の観察方向が変化する。これに対し、電動ホルダのような移動装置６によって内視鏡２を動かす場合には、電動ホルダの先端の姿勢を維持しながら内視鏡２を並進移動させることによって、観察方向を維持しながら視野Ｆを移動させることができる。
　上記実施形態において、デジタル追従処理における表示範囲Ｃの移動可能な範囲は、撮像画像Ａの全範囲であってもよいが、これに代えて、デジタル追従処理における表示範囲Ｃの移動が、撮像画像Ａの所定の範囲内に制限されていてもよい。
　前述したように、撮像画像Ａの画質は周縁部において低下し得る。したがって、例えば、図６Ｂに示されるように、表示範囲Ｃの総移動量（第２目標領域Ｐ２から第１目標領域Ｐ１までの距離）に上限が設定され、上限を超えない範囲で表示範囲Ｃが撮像画像Ａ内を移動可能であってもよい。図６Ｂの例において、表示範囲Ｃの総移動量の上限は「６」である。
　この構成によれば、図７に示されるように、ハッチングが掛けられた周縁部を除いた中央領域が所定の範囲となり、撮像画像Ａの中央領域内でのみ表示範囲Ｃが移動可能である。したがって、表示装置４に表示される観察画像Ｂの画質が低下することを防止し、より良好な画質の観察画像Ｂをユーザに提供することができる。
　上記実施形態において、物理追従処理における視野Ｆの移動速度（すなわち、時刻ｔｉから時刻ｔｉ＋１までの移動量）が一定であることとしたが、これに代えて、視野Ｆの移動速度が変化してもよい。
　例えば、図６Ｃに示されるように、ＲＯＩの移動に対する追従の応答性を高めるために、プロセッサ５ａは、表示範囲Ｃの第１目標領域Ｐ１がＲＯＩに到達するまで、視野Ｆを最高速度で移動させる。そして、第１目標領域Ｐ１がＲＯＩに到達した後、プロセッサ５ａは、視野Ｆの移動速度を、最高速度よりも遅い速度に低下させてもよい。図６Ｃの例において、視野Ｆの移動速度は、時刻ｔ２までは「２」であり、時刻ｔ３以降は「１」である。
　視野Ｆの移動速度が速い場合、ユーザにとって、表示装置４上の観察画像Ｂの急激な画質の変化が気になることがある。第１目標領域Ｐ１がＲＯＩに到達した後、視野Ｆの移動速度を低下させることによって、ユーザにとって画質の変化が気にならないように、観察画像Ｂの画質をゆっくり変化させることができる。
　上記実施形態において、プロセッサ５ａが、デジタル追従処理Ｓ４および物理追従処理Ｓ５を同時に開始することとしたが、これに代えて、図８Ａおよび図８Ｂに示されるように、デジタル追従処理Ｓ４および物理追従処理Ｓ５を異なるタイミングで開始してもよい。
　図８Ａは、プロセッサ５ａが、物理追従処理Ｓ５を開始し、その後にデジタル追従処理Ｓ４を開始する場合の移動量の例を示している。デジタル追従処理は、追従速度を速くすることができる一方、歪み等の画質の急激な変化を生じ得る。物理追従処理Ｓ５が開始され第２目標領域Ｐ２がＲＯＩにある程度近付いてからデジタル追従処理Ｓ４を開始することによって、画質の急激な変化を防止することができる。
　図８Ｂは、プロセッサ５ａが、デジタル追従処理Ｓ４を開始し、その後に物理追従処理Ｓ５を開始する場合の移動量の例を示している。この構成によれば、駆動機構３等のハードウェアの負担を軽減することができる。
　上記実施形態において、プロセッサ５ａは、ＲＯＩが撮像画像Ａの第２目標領域Ｐ２に到達するまで、物理追従処理Ｓ５において視野Ｆを移動させることとしたが、これに代えて、ＲＯＩが第２目標領域Ｐ２付近の他の位置に到達するまで視野Ｆを移動させてもよい。すなわち、ＲＯＩが最終的に到達すべき撮像画像Ａ内の位置は、手術シーンまたはユーザの要求等に応じて適宜変更可能である。
　例えば、図９Ａおよび図１０Ａに示されるように、撮像画像Ａの中央に第２目標領域Ｐ２を含む不感帯Ｅが設定され、不感帯Ｅの外側に配置されていたＲＯＩが不感帯Ｅに入ったときに、プロセッサ５ａは物理追従処理Ｓ５を終了してもよい。この場合、プロセッサ５ａは、ＲＯＩが第２目標領域Ｐ２の手前の位置に到達するまで視野Ｆを移動させる。
　あるいは、図９Ｂおよび図１０Ｂに示されるように、プロセッサ５ａは、ＲＯＩが第２目標領域Ｐ２を通り過ぎるまで視野Ｆを移動させてもよい。例えば、プロセッサ５ａは、ＲＯＩが第２目標領域Ｐ２を所定の距離だけ通り過ぎたときに物理追従処理Ｓ５を終了してもよい。
　図９Ａおよび図１０Ａの例の場合、追従処理後、ＲＯＩの左上側により広い空間が形成される。したがって、次の追従処理において、表示範囲Ｃを左上側へ余裕をもって追従させることができる。一方、図９Ｂおよび図１０Ｂの例の場合、追従処理後、ＲＯＩの右下側により広い空間が形成される。したがって、次の追従処理において、表示範囲Ｃを右下側へ余裕をもって追従させることができる。
　図９Ａから図１０Ｂの例は、例えば、ＲＯＩの次の移動方向を予め予測できる場合に好適である。すなわち、ＲＯＩが次に移動する側に広い空間が形成されるように、ＲＯＩが最終的に到達すべき位置が決定されてもよい。
　上記実施形態において、観察画像Ｂ内のＲＯＩをユーザが観察し易いようにするために、第１目標領域Ｐ１が表示範囲Ｃの中心または中心付近の点であることとしたが、第１目標領域Ｐ１の位置は、表示範囲Ｃの中心または中心付近以外の任意の位置であってもよい。例えば、第１目標領域Ｐ１の位置は、術者等のユーザの要求に応じて、適宜変更可能であってもよい。
　また、上記実施形態において、広角の内視鏡２を使用した場合も観察画像Ｂの良好な画質を実現するために、第２目標領域Ｐ２は、撮像画像Ａの中心または中心付近の点であることとしたが、第２目標領域Ｐ２の位置は、撮像画像Ａの中心または中心付近以外の任意の位置であってもよい。例えば、撮像画像Ａの全体にわたって画質が良好である場合、または、観察画像Ｂの画質の低下がユーザにとって問題にならない場合には、第２目標領域Ｐ２の位置は、適宜変更可能であってもよい。
１　内視鏡システム
２　内視鏡
２ｂ　湾曲部、駆動機構
３　駆動機構
４　表示装置
５　制御装置
５ａ　プロセッサ
６　移動装置、駆動機構
Ａ　撮像画像
Ｂ　観察画像
Ｃ　表示範囲
Ｅ　不感帯
Ｆ　視野
Ｐ１　第１目標領域
Ｐ２　第２目標領域
ＲＯＩ　関心領域

Claims (14)

  1. 　撮像画像を取得する内視鏡と、
    　該内視鏡の少なくとも先端部を移動させることによって前記内視鏡の視野を移動させる駆動機構と、
    　表示装置に表示される観察画像および前記駆動機構を制御し、前記観察画像は前記撮像画像の一部分から生成される画像である、プロセッサと、を備え、
    　該プロセッサは、
    　前記撮像画像内の所定の関心領域を検出し、
    　前記撮像画像の前記一部分を表示範囲として選択し、該表示範囲から前記観察画像を生成し、
    　デジタル追従処理および物理追従処理を協調して実行することによって、前記関心領域に前記観察画像を追従させ、
    　前記デジタル追従処理は、前記表示範囲の前記撮像画像内の位置を変更することによって、前記表示範囲の中心または中心付近の所定の第１目標領域を前記関心領域に追従させる処理であり、
    　前記物理追従処理は、前記内視鏡の視野を移動させることによって、前記撮像画像の中心または中心付近の所定の第２目標領域を前記関心領域に追従させる処理である、内視鏡システム。
  2. 　前記プロセッサが、前記デジタル追従処理および前記物理追従処理を並列処理によって実行する請求項１に記載の内視鏡システム。
  3. 　前記プロセッサが、前記デジタル追従処理を開始し、その後に前記物理追従処理を開始する、請求項２に記載の内視鏡システム。
  4. 　前記プロセッサは、前記第１目標領域が前記関心領域に到達した時点で前記デジタル追従処理を停止し、その後は前記物理追従処理のみを実行する、請求項３に記載の内視鏡システム。
  5. 　前記プロセッサが、前記物理追従処理を開始し、その後に前記デジタル追従処理を開始する、請求項２に記載の内視鏡システム。
  6. 　前記プロセッサは、前記第１目標領域が前記関心領域に到達した時点で前記デジタル追従処理を停止し、その後は前記物理追従処理のみを実行する、請求項５に記載の内視鏡システム。
  7. 　前記デジタル追従処理において、前記表示範囲の移動が、前記撮像画像の所定の範囲内に制限されている、請求項１に記載の内視鏡システム。
  8. 　前記第１目標領域が前記関心領域に到達した後、前記プロセッサが、前記物理追従処理における前記視野の移動速度を低下させる、請求項１に記載の内視鏡システム。
  9. 　前記撮像画像の中心部に前記第２目標領域を含む不感帯が設定され、
    　前記プロセッサは、前記関心領域が前記不感帯に入ったときに前記物理追従処理を終了する、請求項１に記載の内視鏡システム。
  10. 　前記プロセッサは、前記物理追従処理において、前記関心領域が前記第２目標領域を通り過ぎるまで前記視野を移動させる、請求項１に記載の内視鏡システム。
  11. 　前記駆動機構が、前記内視鏡の先端部に設けられた湾曲部を備える、請求項１に記載の内視鏡システム。
  12. 　前記駆動機構が、前記内視鏡を保持し移動させる移動装置を備える、請求項１に記載の内視鏡システム。
  13. 　表示装置に表示される観察画像および内視鏡の視野の移動を制御する制御方法であって、前記観察画像は前記内視鏡によって撮像された撮像画像の一部分から生成される画像であり、
    　前記撮像画像内の所定の関心領域を検出すること、
    　前記撮像画像の前記一部分を表示範囲として選択し、該表示範囲から前記観察画像を生成すること、および、
    　デジタル追従処理および物理追従処理を協調して実行することによって、前記関心領域に前記観察画像を追従させること、を含み、
    　前記デジタル追従処理が、前記表示範囲の前記撮像画像内の位置を変更することによって、前記表示範囲の中心または中心付近の所定の第１目標領域を前記関心領域に追従させる処理であり、
    　前記物理追従処理が、前記内視鏡の視野を移動させることによって、前記撮像画像の中心または中心付近の所定の第２目標領域を前記関心領域に追従させる処理である、制御方法。
  14. 　請求項１３に記載の制御方法をコンピュータに実行させるための制御プログラムを記憶した、コンピュータ読み取り可能な非一時的な記録媒体。
PCT/JP2022/003245 2022-01-28 2022-01-28 内視鏡システム、制御方法および記録媒体 WO2023144986A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/003245 WO2023144986A1 (ja) 2022-01-28 2022-01-28 内視鏡システム、制御方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/003245 WO2023144986A1 (ja) 2022-01-28 2022-01-28 内視鏡システム、制御方法および記録媒体

Publications (1)

Publication Number Publication Date
WO2023144986A1 true WO2023144986A1 (ja) 2023-08-03

Family

ID=87471291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003245 WO2023144986A1 (ja) 2022-01-28 2022-01-28 内視鏡システム、制御方法および記録媒体

Country Status (1)

Country Link
WO (1) WO2023144986A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
JP2007159738A (ja) * 2005-12-12 2007-06-28 Olympus Medical Systems Corp 内視鏡装置
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
JP2016504067A (ja) * 2013-01-28 2016-02-12 オリンパス株式会社 医療用マニピュレータおよび医療用マニピュレータの制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
JP2007159738A (ja) * 2005-12-12 2007-06-28 Olympus Medical Systems Corp 内視鏡装置
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
JP2016504067A (ja) * 2013-01-28 2016-02-12 オリンパス株式会社 医療用マニピュレータおよび医療用マニピュレータの制御方法

Similar Documents

Publication Publication Date Title
JP6218634B2 (ja) 内視鏡システム及び内視鏡の作動方法
US11406460B2 (en) Surgery assisting apparatus, method of controlling the same, storage medium, and surgery assisting system
US9630323B2 (en) Operation support system and control method of operation support system
JP6257371B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP7160033B2 (ja) 入力制御装置、入力制御方法、および手術システム
US11419481B2 (en) Medical system and operation method of medical system for controlling a driver to move an area defined by a plurality of positions of a treatment tool to a predetermined region in next image captured
JP6072283B2 (ja) 医療用マニピュレータおよび医療用マニピュレータの作動方法
US20220331027A1 (en) Image guided robotic system for tumor aspiration
US20230172675A1 (en) Controller, endoscope system, and control method
JP2018143560A (ja) 内視鏡を操縦するシステム及び方法
US12023204B2 (en) Distance-measuring method and endoscopic system
WO2023144986A1 (ja) 内視鏡システム、制御方法および記録媒体
US20210030476A1 (en) Medical system and medical system operating method
CN113907693B (zh) 操作映射比例调整方法、装置、电子设备以及存储介质
KR20180100831A (ko) 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치
JP5203026B2 (ja) 医用画像生成システム
WO2021261236A1 (ja) 医療用観察システム、画像処理方法、およびプログラム
WO2023195326A1 (ja) 内視鏡システム、手技支援方法および手技支援プログラム
JP6857748B2 (ja) 医療システムおよび医療システムの作動方法
WO2023017651A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
US20230320793A1 (en) Surgery system and control method for surgery system
JP4036529B2 (ja) 内視鏡手術システム
JP2021142175A (ja) 術野監視システム
CN115942912A (zh) 用于计算机辅助医疗系统的用户输入系统和方法
JP2022014355A (ja) 医療用観察システム、制御装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22923850

Country of ref document: EP

Kind code of ref document: A1