WO2019087269A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2019087269A1
WO2019087269A1 PCT/JP2017/039222 JP2017039222W WO2019087269A1 WO 2019087269 A1 WO2019087269 A1 WO 2019087269A1 JP 2017039222 W JP2017039222 W JP 2017039222W WO 2019087269 A1 WO2019087269 A1 WO 2019087269A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
panoramic image
peripheral object
unit
tip
Prior art date
Application number
PCT/JP2017/039222
Other languages
English (en)
French (fr)
Inventor
智子 後町
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/039222 priority Critical patent/WO2019087269A1/ja
Publication of WO2019087269A1 publication Critical patent/WO2019087269A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope system.
  • Patent No. 5835797 gazette
  • Patent Document 1 displays an object in the affected area and the periphery thereof by displaying a panoramic image with a wide field of view generated, the object displayed in the panoramic image has a touch.
  • the determination as to whether the organ needs to be avoided or the treatment tool is left to the experience of the operator, and there is a disadvantage that the contact avoidance measure may be delayed in the operation by the less experienced operator.
  • the present invention has been made in view of the above-mentioned circumstances, and makes it easy to avoid contact between an endoscope and a peripheral organ or treatment tool which needs contact avoidance even if the operator is not experienced.
  • the objective is to provide an endoscope system that can
  • One aspect of the present invention includes an endoscope, a panoramic image generation unit that generates a panoramic image by superimposing a plurality of images acquired when the distal end of the endoscope is disposed at a plurality of positions, and the panorama A display unit for displaying the panoramic image generated by the image generation unit; an avoidance object recognition unit for processing a panoramic image generated by the panoramic image generation unit to recognize a peripheral object whose contact should be avoided; It is an endoscope system provided with the alerting
  • the panoramic image generation unit when a plurality of images are acquired by the endoscope in a state where the distal end of the endoscope is moved and arranged at a plurality of positions, the plurality of images are superimposed by the panoramic image generation unit and a panorama is generated.
  • An image is generated and displayed on the display unit.
  • the panoramic image is processed by the avoidance object recognition unit to recognize whether or not the object present in the image is a peripheral object for which contact should be avoided, and in the case where it is a peripheral object for which contact is to be avoided It is alert
  • the avoidance object recognition unit may recognize the peripheral object by machine learning. By doing this, the newly recognized object is touched by learning and accumulating whether or not the object recognized in the image is a peripheral object whose contact should be avoided in many images. It can be easily recognized whether it is a peripheral object to be avoided.
  • the notification unit identifiably displays the peripheral object recognized by the avoidance target recognition unit, thereby existence of the peripheral object. May be notified. By doing this, the operator can easily confirm which object recognized in the image is a peripheral object for which contact should be avoided.
  • a storage unit that stores the image acquired by the endoscope in association with position information of the tip of the endoscope when the image is acquired;
  • a proximity information calculation unit that calculates the distance and direction between the peripheral object recognized by the avoidance object recognition unit and the tip of the current endoscope based on the position information stored in the
  • the notification unit may display at least one of the distance and the direction calculated by the proximity information calculation unit on the display unit.
  • the endoscope includes a drive source for moving the tip, and the endoscope is determined based on the position on the panoramic image of the peripheral object recognized by the avoidance object recognition unit.
  • tip of the said, and the said surrounding object may be provided.
  • the treatment tool in which the relative positional relationship with the endoscope is associated, and the control unit is a position on the panoramic image of the peripheral object recognized by the avoidance object recognition unit. And controlling the treatment tool so as to avoid contact between the treatment tool and the surrounding object.
  • the control unit controls the treatment tool associated with the relative positional relationship with the tip to avoid contact with the peripheral object whose contact should be avoided. This makes it possible to more reliably prevent the treatment tool from contacting the peripheral object whose contact should be avoided.
  • another aspect of the present invention is an endoscope, a processor that superimposes a plurality of images acquired when the distal end of the endoscope is disposed at a plurality of positions, and generates a panoramic image; And a display for displaying the panoramic image generated by the processing unit, the processor processing the panoramic image to recognize a peripheral object whose contact should be avoided, and announcing the presence of the recognized peripheral object It is a mirror system.
  • the processor when a plurality of images are acquired by the endoscope in a state where the distal end of the endoscope is moved and arranged at a plurality of positions, the processor superposes the plurality of images and generates a panoramic image And displayed on the display.
  • the processor processes the panoramic image to recognize whether the object present in the image is a peripheral object for which the contact should be avoided and, if it is a peripheral object for which the contact is to be avoided, announces its presence.
  • the processor may recognize the peripheral object by machine learning. By doing this, the newly recognized object is touched by learning and accumulating whether or not the object recognized in the image is a peripheral object whose contact should be avoided in many images. It can be easily recognized whether it is a peripheral object to be avoided.
  • the processor may notify the presence of the peripheral object by identifiably displaying the peripheral object recognized in the panoramic image displayed on the display. By doing this, the operator can easily confirm which object recognized in the image is a peripheral object for which contact should be avoided.
  • the processor includes a storage that stores the image acquired by the endoscope in association with position information of the tip of the endoscope when the image is acquired, and the processor And calculating a distance and a direction between the recognized peripheral object and the tip of the current endoscope based on the position information stored in the storage, and calculating at least one of the calculated distance and the direction.
  • One may be displayed on the display.
  • the endoscope includes a drive source for moving the tip, and the processor is configured to determine the position of the endoscope based on the position of the recognized peripheral object on the panoramic image.
  • the drive source may be controlled to avoid contact between the tip and the surrounding object.
  • the drive source for moving the tip is controlled to avoid contact.
  • the tip of the endoscope can be more reliably avoided from contacting the peripheral object whose contact should be avoided.
  • the treatment tool in which the relative positional relationship between the endoscope and the tip is associated, and the processor is configured to, based on the position of the recognized peripheral object on the panoramic image, The treatment tool may be controlled to avoid contact between the treatment tool and the surrounding object.
  • the treatment tool when the treatment tool is operated in the direction close to the peripheral object whose contact should be avoided, the position of the recognized peripheral object on the panoramic image of the endoscope is determined.
  • the treatment tool associated with the relative positional relationship with the tip is controlled so as to avoid contact with the peripheral object whose contact should be avoided. This makes it possible to more reliably prevent the treatment tool from contacting the peripheral object whose contact should be avoided.
  • the present invention it is possible to easily avoid the contact between the endoscope and a peripheral object such as a peripheral organ or a treatment tool which needs a contact avoidance even if the operator is not experienced.
  • FIG. 5A It is a whole block diagram which shows the endoscope system which concerns on one Embodiment of this invention. It is a front view which shows an example of the endoscope with which the endoscope system of FIG. 1 is equipped. It is a block diagram which shows the controller of the endoscope system of FIG. It is a flowchart which shows the procedure of the endoscopic observation using the endoscope system of FIG. It is a figure which shows an example of the panoramic image comprised by the image initially acquired by the endoscope system of FIG. It is a figure which shows an example of the panoramic image comprised by the bonding of the image of several sheets following the panoramic image of FIG. 5A.
  • FIG. 5B It is a figure which shows an example of the panoramic image comprised by the bonding of the image of several sheets following the panoramic image of FIG. 5B. It is a figure which shows the panoramic image displayed by the target object of the contact avoidance detected by recognizing the panoramic image of FIG. 5C being enclosed by the frame which comprises identification display. It is a block diagram showing a controller of an endoscope system concerning a 2nd embodiment of the present invention. It is a block diagram showing a controller of an endoscope system concerning a 3rd embodiment of the present invention. It is a flowchart which shows the procedure of the endoscopic observation using the endoscope system of FIG. It is a whole block diagram which shows the endoscope system which concerns on the 4th Embodiment of this invention.
  • the endoscope system 1 is an endoscope based on the endoscope 2, the operation input unit 3 through which the operator performs an operation input, and the input in the operation input unit 3.
  • a controller 4 that controls the mirror 2 and that processes an image acquired by the endoscope 2 and a display (display unit, notification unit) 5 that displays an image processed by the controller 4 are provided.
  • the endoscope 2 includes a bending portion 7 at the tip of a long insertion portion 6 to be inserted into the body, and an imaging portion 8 at the tip of the bending portion 7.
  • the endoscope 2 includes a drive unit (drive source) 9 connected to the proximal end of the insertion unit 6, and the drive unit 9 is controlled by the controller 4 based on an input in the operation input unit 3.
  • the position in the direction along the longitudinal axis of the insertion portion of the endoscope 2 itself, the angle of the insertion portion 6, the bending direction and the bending angle of the bending portion 7 can be changed according to the input. Thereby, the image of the field of view according to the position and posture of the tip of the endoscope 2 can be sequentially acquired by the imaging unit 8.
  • the endoscope 2 is provided with a sensor (not shown) so as to detect the position and posture of the tip of the endoscope 2.
  • a sensor not shown
  • An image acquired by the endoscope 2 and information on the position and posture of the tip of the endoscope 2 detected by the sensor when the image is acquired are input to the controller 4.
  • the controller 4 includes a processor 10 and a storage (storage unit) 11 as shown in FIG.
  • the processor 10 includes a control unit 12 that controls the endoscope 2 and an image processing unit 13 that processes an image.
  • the storage 11 is configured to sequentially store the image acquired by the endoscope 2 and information on the position and orientation of the tip of the endoscope 2 detected by the sensor when acquiring an image signal of the image. .
  • the image processing unit 13 generates an image generation unit 14 that generates an image that can be displayed from the image signal acquired by the endoscope 2 and a plurality of images stored in the storage 11 are acquired as image signals of the respective images.
  • the panoramic image generation unit 15 generates a panoramic image by arranging and pasting them based on the information on the position and posture of the tip of the endoscope 2 at the time of processing, and the generated panoramic image is processed to exist in the image
  • an avoidance object recognition unit 16 that determines whether or not the recognized peripheral object is a peripheral object for which contact should be avoided.
  • Information of the peripheral object determined to be avoided by the avoidance object recognition unit 16 is input to the panoramic image generation unit 15, and the panoramic image generation unit 15 displays the peripheral object in a distinguishable manner, for example, A panoramic image is generated in which the color of a peripheral object is changed or a frame surrounding the peripheral object is displayed in a superimposed manner.
  • the avoidance object recognition unit 16 newly receives, for example, a large number of panoramic images and performs in advance machine learning in which learning is performed on each panoramic image as to whether or not it is a peripheral object for which contact should be avoided. Whether or not a peripheral object present in the input panoramic image is a peripheral object whose contact should be avoided is recognized easily and accurately.
  • the operation of the endoscope system 1 according to the present embodiment configured as described above will be described below.
  • the endoscope system 1 according to the present embodiment as shown in FIG. 4, when the insertion portion 6 of the endoscope 2 is inserted into the body and the endoscope is operated, imaging of the endoscope 2 is performed. While the image signal of the visual field range of the endoscope 2 is acquired by the part 8 (step S1), the information of the position and posture of the tip of the endoscope 2 is acquired by the sensor (step S2).
  • the acquired image signal is sent to the image generation unit 14 to generate an image. Further, the information on the position and orientation of the tip of the endoscope 2 acquired by the sensor is sent to the control unit 12 to calculate the coordinate position of the image (step S3).
  • the coordinate position of the image calculated by the control unit 12 is associated with the image generated by the image generation unit 14 and sent to the panoramic image generation unit 15 and the storage 11.
  • the panoramic image generated in the past is read out from the storage 11, and the newly sent image is pasted at the corresponding coordinate position of the read panoramic image. Thereby, a new panoramic image is generated (step S4), and is sent to the storage 11 and the avoidance target recognition unit 16.
  • a method may be adopted in which images are pasted together using the coordinate position of the image calculated by the control unit 12, or a common feature portion between the images is matched.
  • a method of pasting together may be adopted.
  • the panoramic image is sequentially moved at a predetermined time interval while moving the field of view by operating the bending portion 7 of the endoscope 2 from the position where the image of the affected area A is acquired. By combining the acquired ones, they are generated so as to gradually spread according to the moved range of the field of view.
  • the dashed rectangles indicate the current field of view.
  • the storage 11 stores the image sent from the image generation unit 14 and the coordinate position associated with the image, and stores the panoramic image sent from the panoramic image generation unit (step S5).
  • the sent panorama image is processed to recognize an object in the panorama image (step S 6), and the recognized object should avoid contact with the endoscope 2.
  • a determination based on machine learning is performed as to whether or not the object is a peripheral object (target object, other treatment tools excluding peripheral tissue in the figure, peripheral organs in the figure, etc.) (step S7).
  • Step S8 When it is determined that there is a target object, information on the range including the target object is sent to the panoramic image generation unit 15, and an identification display (for example, a frame or a color) indicating the target object in a discriminable manner is generated. (Step S8). Then, a new panoramic image is generated by superimposing the identification display generated in the panoramic image generation unit 15 on the panoramic image (step S9), and sent to the display 5 to be displayed (step S10). If it is determined in step S7 that there is no target object, it is sent to the display 5 and displayed as it is.
  • an identification display for example, a frame or a color
  • a part of the treatment tool 21 for excluding tissue is shown on the left and right of the upper part of the panoramic image, and the surrounding organ B is shown on the right of the lower part.
  • the treatment tool 21 and the organ B which are objects in the panoramic image are recognized as the target object, and the target object is shown by the thick dashed rectangle in FIG.
  • An identification indication is generated which indicates the identification of the image and is superimposed on the panoramic image.
  • step S11 it is determined whether or not the process is to be ended, and if it is not to be ended, the process from step S1 is repeated. If it is determined that there is no target object, the stored panoramic image is sent to the display 5 and displayed.
  • the endoscope system 1 when the distal end of the endoscope 2 is moved to move the field of view, the images sequentially acquired by the endoscope 2 are superimposed. And a panoramic image is generated. Then, by processing the generated panoramic image, it is determined whether or not the object present in the panoramic image is a peripheral object for which the contact with the endoscope 2 should be avoided, and the contact should be avoided. When it is determined that the object is a peripheral object, a display indicating a range including the peripheral object is combined with the panoramic image and displayed on the display 5.
  • the operator can easily recognize that such a peripheral object is present in the vicinity of the operation site by the display indicating the peripheral object to be avoided for the touch displayed on the panoramic image.
  • the display indicating the peripheral object to be avoided for the touch displayed on the panoramic image.
  • visual notification is given by surrounding a peripheral object that needs contact avoidance by a rectangle on the panoramic image, but instead, notification using voice or characters is used. It is also good.
  • the processor 10 determines that the target object is present by the avoidance target recognition unit 16
  • the target object and the current endoscope are displayed.
  • the endoscope system 1 is different from the endoscope system 1 according to the first embodiment in that a relative relationship calculating unit (proximity information calculating unit) 17 that calculates a relative distance and a direction between the two based on the position of the tip is provided. ing.
  • the relative relationship calculation unit 17 uses the position information of the target object on the panoramic image recognized by the avoidance object recognition unit 16 and the information on the position and orientation of the tip of the current endoscope 2 input from the control unit 12. Based on the calculated relative distance and direction between the endoscope 2 and the target object, it is sent to the panoramic image generation unit 15. In addition to superimposing the identification display indicating the target object on the generated panoramic image, the panoramic image generation unit 15 detects the relative distance and direction between the endoscope 2 and the target object sent from the relative relationship calculation unit 17. The superimposed panoramic image is generated.
  • the operator displays the peripheral object to be avoided, which is displayed on the panoramic image, so that such peripheral object is the operation site. It can be easily recognized that it exists in the vicinity of the object, and if the endoscope 2 is operated in which direction, how the endoscope 2 contacts the peripheral object whose contact should be avoided. There is an advantage that the person can easily confirm.
  • a display method of relative distance and direction to the panoramic image it may be displayed by letters or numerals and arrows, or may be displayed by arrows and their sizes. In addition to displaying both the relative distance and the direction, either one may be displayed.
  • the operation of the endoscope 2 is permitted.
  • the endoscope system 1 is different from the endoscope system 1 according to the first embodiment in that the operation range calculation unit 18 that calculates the allowable operation range is provided.
  • the movement range calculation unit 18 uses the position information of the target object on the panoramic image recognized by the avoidance object recognition unit 16 and the information on the position and orientation of the tip of the current endoscope 2 input from the control unit 12. Based on this, an allowable operating range in which the endoscope 2 can operate without interfering with the target object is calculated and sent to the control unit 12.
  • the control unit 12 performs operation restriction so as to operate the endoscope 2 within the allowable operation range sent from the operation range calculation unit 18.
  • the operator performs an operation input in the operation input unit 3 (step S20), and according to the operation input. It is determined whether the movement range of the endoscope 2 is within the allowable movement range (step S21). If the movement range is within the allowable movement range, the endoscope 2 is operated (step S22). If it is outside the allowable operating range, the process from step S20 is repeated.
  • step S7 If it is recognized in step S7 that there is an avoidance target object, the allowable range of operation is calculated and updated by the operation range calculation unit 18 (step S23).
  • the operator can recognize the presence of the target object by confirming the identification display for identifying the peripheral object for which the contact should be avoided in the panoramic image displayed on the display 5, and also erroneously Even when the mirror 2 is operated to move in a direction close to the target object, the control unit 12 restricts the operation to more surely avoid interference between the endoscope 2 and the target object.
  • the control unit 12 has the advantage of being able to
  • an endoscope system 20 according to a fourth embodiment of the present invention will be described below with reference to the drawings.
  • parts having the same configuration as the endoscope system according to the third embodiment described above will be assigned the same reference numerals and descriptions thereof will be omitted.
  • the endoscope system 20 is, as shown in FIG. 10, a third embodiment in that the treatment system 21 is operated by the operation input unit 3 and controlled by the controller 4. It is different from the endoscope system concerned.
  • the controller 4 grasps the relative positional relationship between the distal end position of the endoscope 2 and the distal end position of the treatment instrument 21.
  • the movement range calculation unit 18 compares the treatment tool 21 with the target object. The positional relationship is calculated, and the allowable operation range of the treatment tool 21 is calculated.
  • the allowable movement range of the treatment tool 21 calculated by the movement range calculation unit 18 is sent to the control unit 12, and the control unit 12 performs operation restriction so as to operate the treatment tool 21 within the allowable movement range.
  • the treatment unit 21 is operated by the control unit 12.
  • the operation of the above is limited, and the interference between the treatment instrument 21 and the target object can be avoided more reliably.
  • endoscope system 2 endoscope 9 drive unit (drive source) 10 processor 11 storage (storage unit) 12 control unit 5 display (display unit, notification unit) 15 panoramic image generation unit 16 avoidance target recognition unit 17 relative relationship calculation unit (proximity information calculation unit) 21 treatment tool

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

経験の少ない術者であっても内視鏡と接触回避の必要な周辺の臓器や処置具との接触を回避し易くすることを目的として、本発明に係る内視鏡システム（１）は、内視鏡（２）と、内視鏡（２）の先端を複数の位置に配置したときに取得された複数の画像を重ね合わせてパノラマ画像を生成するパノラマ画像生成部と、パノラマ画像生成部により生成されたパノラマ画像を表示する表示部（５）と、パノラマ画像生成部により生成されたパノラマ画像を処理して接触を回避すべき周辺物体を認識する回避対象認識部と、回避対象認識部により認識された周辺物体の存在を報知する報知部（５）とを備える。

Description

内視鏡システム
　本発明は、内視鏡システムに関するものである。
　内視鏡の視野を超える広い視野の高解像の画像を提供するために、視野を移動して複数の画像を取得し、取得された複数の画像を、各画像に共通する特徴点を一致させるように重ねることによってパノラマ画像を生成する内視鏡システムが知られている（例えば、特許文献１参照。）。
特許第５８３５７９７号公報
　特許文献１の内視鏡システムは、生成された視野の広いパノラマ画像を表示することによって、患部やその周辺の物体を表示するものではあるが、パノラマ画像内に表示された物体が、接触を回避する必要のある臓器や処置具であるか否かの判定は術者の経験に委ねられ、経験の少ない術者による手術において接触回避措置が遅れる可能性があるという不都合がある。
　本発明は、上述した事情に鑑みてなされたものであって、経験の少ない術者であっても内視鏡と接触回避の必要な周辺の臓器や処置具との接触を回避し易くすることができる内視鏡システムを提供することを目的としている。
　本発明の一態様は、内視鏡と、該内視鏡の先端を複数の位置に配置したときに取得された複数の画像を重ね合わせてパノラマ画像を生成するパノラマ画像生成部と、該パノラマ画像生成部により生成された前記パノラマ画像を表示する表示部と、前記パノラマ画像生成部により生成された前記パノラマ画像を処理して接触を回避すべき周辺物体を認識する回避対象認識部と、該回避対象認識部により認識された前記周辺物体の存在を報知する報知部とを備える内視鏡システムである。
　本態様によれば、内視鏡の先端を移動させて複数の位置に配置した状態で内視鏡により複数の画像が取得されると、パノラマ画像生成部により複数の画像が重ね合わせられてパノラマ画像が生成され、表示部に表示される。パノラマ画像が回避対象認識部により処理されて、画像内に存在する物体が接触を回避すべき周辺物体であるか否かが認識され、接触を回避すべき周辺物体である場合にはその存在が報知部により報知される。これにより、経験の少ない術者であっても内視鏡と接触回避の必要な周辺の臓器や処置具等の周辺物体との接触を回避し易くすることができる。
　上記態様においては、前記回避対象認識部が、機械学習によって前記周辺物体を認識してもよい。
　このようにすることで、多数の画像おいて、画像内に認識された物体が接触を回避すべき周辺物体であるか否かを学習して蓄積することにより、新たに認識された物体が接触を回避すべき周辺物体であるか否かを容易に認識することができる。
　また、上記態様においては、前記報知部が、前記表示部に表示される前記パノラマ画像において、前記回避対象認識部により認識された前記周辺物体を識別可能に表示することにより、前記周辺物体の存在を報知してもよい。
　このようにすることで、画像内において認識されたどの物体が接触を回避すべき周辺物体であるかを術者が容易に確認することができる。
　また、上記態様においては、前記内視鏡により取得された前記画像と、該画像を取得した際の前記内視鏡の前記先端の位置情報とを対応づけて記憶する記憶部と、該記憶部に記憶された前記位置情報に基づいて、前記回避対象認識部により認識された前記周辺物体と現在の前記内視鏡の前記先端との距離および方向を算出する近接情報算出部とを備え、前記報知部が、前記近接情報算出部により算出された前記距離および前記方向の少なくとも一つを前記表示部に表示してもよい。
　このようにすることで、内視鏡をどちらの方向にどれだけ移動させたら接触を回避すべき周辺物体に内視鏡が接触するのかを術者が容易に確認することができる。
　また、上記態様においては、前記内視鏡が、前記先端を移動させる駆動源を備え、前記回避対象認識部により認識された前記周辺物体の前記パノラマ画像上における位置に基づいて、前記内視鏡の前記先端と前記周辺物体との接触を回避するように前記駆動源を制御する制御部を備えていてもよい。
　このようにすることで、術者が接触を回避すべき周辺物体に近接する方向に内視鏡の先端を移動させても、先端を移動させる駆動源が接触を回避するように制御部により制御されるので、内視鏡の先端が接触を回避すべき周辺物体に接触することをより確実に回避することができる。
　また、上記態様においては、前記内視鏡との相対位置関係が対応づけられた処置具を備え、前記制御部が、前記回避対象認識部により認識された前記周辺物体の前記パノラマ画像上における位置に基づいて、前記処置具と前記周辺物体との接触を回避するように前記処置具を制御してもよい。
　このようにすることで、術者が接触を回避すべき周辺物体に近接する方向に処置具を動作させたときに、認識された周辺物体のパノラマ画像上における位置に基づいて、内視鏡の先端との相対位置関係が対応づけられた処置具が接触を回避すべき周辺物体との接触を回避するように制御部により制御される。これにより、処置具が接触を回避すべき周辺物体に接触することをより確実に回避することができる。
　また、本発明の他の態様は、内視鏡と、該内視鏡の先端を複数の位置に配置したときに取得された複数の画像を重ね合わせてパノラマ画像を生成するプロセッサと、該プロセッサにより生成された前記パノラマ画像を表示するディスプレイとを備え、前記プロセッサが、前記パノラマ画像を処理して接触を回避すべき周辺物体を認識し、認識された前記周辺物体の存在を報知する内視鏡システムである。
　本態様によれば、内視鏡の先端を移動させて複数の位置に配置した状態で内視鏡により複数の画像が取得されると、プロセッサにより複数の画像が重ね合わせられてパノラマ画像が生成され、ディスプレイに表示される。プロセッサはパノラマ画像を処理して、画像内に存在する物体が接触を回避すべき周辺物体であるか否かを認識し、接触を回避すべき周辺物体である場合にはその存在を報知する。これにより、経験の少ない術者であっても内視鏡と接触回避の必要な周辺の臓器や処置具等の周辺物体との接触を回避し易くすることができる。
　上記態様においては、前記プロセッサが、機械学習によって前記周辺物体を認識してもよい。
　このようにすることで、多数の画像おいて、画像内に認識された物体が接触を回避すべき周辺物体であるか否かを学習して蓄積することにより、新たに認識された物体が接触を回避すべき周辺物体であるか否かを容易に認識することができる。
　また、上記態様においては、前記プロセッサが、前記ディスプレイに表示される前記パノラマ画像において、認識された前記周辺物体を識別可能に表示することにより、前記周辺物体の存在を報知してもよい。
　このようにすることで、画像内において認識されたどの物体が接触を回避すべき周辺物体であるかを術者が容易に確認することができる。
　また、上記態様においては、前記内視鏡により取得された前記画像と、該画像を取得した際の前記内視鏡の前記先端の位置情報とを対応づけて記憶するストレージを備え、前記プロセッサが、前記ストレージに記憶された前記位置情報に基づいて、認識された前記周辺物体と現在の前記内視鏡の前記先端との距離および方向を算出し、算出された前記距離および前記方向の少なくとも一つを前記ディスプレイに表示してもよい。
　このようにすることで、内視鏡をどちらの方向にどれだけ移動させたら接触を回避すべき周辺物体に内視鏡が接触するのかを術者が容易に確認することができる。
　また、上記態様においては、前記内視鏡が、前記先端を移動させる駆動源を備え、前記プロセッサが、認識された前記周辺物体の前記パノラマ画像上における位置に基づいて、前記内視鏡の前記先端と前記周辺物体との接触を回避するように前記駆動源を制御してもよい。
　このようにすることで、術者が接触を回避すべき周辺物体に近接する方向に内視鏡の先端を移動させても、先端を移動させる駆動源が接触を回避するように制御されるので、内視鏡の先端が接触を回避すべき周辺物体に接触することをより確実に回避することができる。
　また、上記態様においては、前記内視鏡の前記先端との相対位置関係が対応づけられた処置具を備え、前記プロセッサが、認識された前記周辺物体の前記パノラマ画像上における位置に基づいて、前記処置具と前記周辺物体との接触を回避するように前記処置具を制御してもよい。
　このようにすることで、術者が接触を回避すべき周辺物体に近接する方向に処置具を動作させたときに、認識された周辺物体のパノラマ画像上における位置に基づいて、内視鏡の先端との相対位置関係が対応づけられた処置具が接触を回避すべき周辺物体との接触を回避するように制御される。これにより、処置具が接触を回避すべき周辺物体に接触することをより確実に回避することができる。
　本発明によれば、経験の少ない術者であっても内視鏡と接触回避の必要な周辺の臓器や処置具等の周辺物体との接触を回避し易くすることができるという効果を奏する。
本発明の一実施形態に係る内視鏡システムを示す全体構成図である。 図１の内視鏡システムに備えられる内視鏡の一例を示す正面図である。 図１の内視鏡システムのコントローラを示すブロック図である。 図１の内視鏡システムを用いた内視鏡観察の手順を示すフローチャートである。 図１の内視鏡システムにより最初に取得された画像により構成されたパノラマ画像の一例を示す図である。 図５Ａのパノラマ画像に続く複数枚の画像の貼り合わせにより構成されたパノラマ画像の一例を示す図である。 図５Ｂのパノラマ画像に続く複数枚の画像の貼り合わせにより構成されたパノラマ画像の一例を示す図である。 図５Ｃのパノラマ画像が認識されることにより検出された接触回避の対象物体が識別表示を構成する枠によって囲まれて表示されたパノラマ画像を示す図である。 本発明の第２の実施形態に係る内視鏡システムのコントローラを示すブロック図である。 本発明の第３の実施形態に係る内視鏡システムのコントローラを示すブロック図である。 図８の内視鏡システムを用いた内視鏡観察の手順を示すフローチャートである。 本発明の第４の実施形態に係る内視鏡システムを示す全体構成図である。
　本発明の第１の実施形態に係る内視鏡システム１について、図面を参照して以下に説明する。
　本実施形態に係る内視鏡システム１は、図１に示されるように、内視鏡２と、術者が操作入力を行う操作入力部３と、操作入力部３における入力に基づいて内視鏡２を制御するとともに、内視鏡２により取得された画像を処理するコントローラ４と、コントローラ４により処理された画像を表示するディスプレイ（表示部、報知部）５とを備えている。
　内視鏡２は、図２に示されるように、体内に挿入される長尺の挿入部６の先端に湾曲部７を備え、該湾曲部７の先端に撮像部８を備えている。また、内視鏡２は、挿入部６の基端に接続された駆動部（駆動源）９を備え、操作入力部３における入力に基づいて駆動部９がコントローラ４によって制御されることにより、内視鏡２自体の挿入部の長手軸に沿う方向の位置および挿入部６の角度、湾曲部７の湾曲方向および湾曲角度が入力に応じて変化させられるようになっている。これにより、内視鏡２の先端の位置および姿勢に応じた視野の画像を撮像部８により逐次取得することができるようになっている。
　内視鏡２には図示しないセンサが備えられ、内視鏡２の先端の位置および姿勢を検出するようになっている。内視鏡２により取得された画像およびその画像を取得したときにセンサにより検出された内視鏡２の先端の位置および姿勢の情報はコントローラ４に入力されるようになっている。
　コントローラ４は、図３に示されるように、プロセッサ１０とストレージ（記憶部）１１とを備えている。
　プロセッサ１０は、内視鏡２を制御する制御部１２と、画像を処理する画像処理部１３とを備えている。ストレージ１１は、内視鏡２により取得された画像とその画像の画像信号を取得したときにセンサにより検出された内視鏡２の先端の位置および姿勢の情報を逐次格納するようになっている。
　画像処理部１３は、内視鏡２により取得された画像信号から表示可能な画像を生成する画像生成部１４と、ストレージ１１に格納されている複数の画像を、各画像の画像信号が取得されたときの内視鏡２の先端の位置および姿勢の情報に基づいて配置して貼り合わせることによりパノラマ画像を生成するパノラマ画像生成部１５と、生成されたパノラマ画像を処理して画像内に存在する周辺物体を認識し、認識された周辺物体が接触を回避すべき周辺物体であるか否かを判定する回避対象認識部１６とを備えている。
　回避対象認識部１６において接触を回避すべきであると判定された周辺物体の情報はパノラマ画像生成部１５に入力され、パノラマ画像生成部１５において、当該周辺物体を識別可能に表示、例えば、当該周辺物体の色を変えたり、当該周辺物体を囲む枠を重畳表示したりしたパノラマ画像が生成されるようになっている。
　回避対象認識部１６は、例えば、多数のパノラマ画像を入力し、各パノラマ画像において接触を回避すべき周辺物体であるか否かを学習して行く機械学習を予め行っておくことにより、新たに入力されたパノラマ画像内に存在する周辺物体が接触を回避すべき周辺物体であるか否かを簡易かつ精度よく認識するようになっている。
　このように構成された本実施形態に係る内視鏡システム１の作用について以下に説明する。
　本実施形態に係る内視鏡システム１によれば、図４に示されるように、内視鏡２の挿入部６を体内に挿入して内視鏡を作動させると、内視鏡２の撮像部８により内視鏡２の視野範囲の画像信号が取得される（ステップＳ１）とともに、センサにより内視鏡２の先端の位置および姿勢の情報が取得される（ステップＳ２）。
　取得された画像信号は、画像生成部１４に送られることにより画像が生成される。また、センサにより取得された内視鏡２の先端の位置および姿勢の情報は制御部１２に送られることにより、画像の座標位置が算出される（ステップＳ３）。
　制御部１２により算出された画像の座標位置は画像生成部１４により生成された画像と対応づけられてパノラマ画像生成部１５およびストレージ１１に送られる。
　パノラマ画像生成部１５においては、過去に生成されたパノラマ画像がストレージ１１から読み出されるとともに、新たに送られてきた画像が読み出されたパノラマ画像の対応する座標位置に貼り付けられる。これにより、新たなパノラマ画像が生成され（ステップＳ４）、ストレージ１１および回避対象認識部１６に送られる。
　パノラマ画像生成部１５におけるパノラマ画像の生成方法は、制御部１２により算出された画像の座標位置を用いて画像を貼り合わせる方法を採用してもよいし、画像間に共通する特徴部分を一致させるように貼り合わせる方法を採用してもよい。
　パノラマ画像は、図５Ａから図５Ｃに示されるように、患部Ａの画像を取得した位置から内視鏡２の湾曲部７を動作させる等により視野を移動させる間に、所定の時間間隔で逐次取得されたものが貼り合わせられることにより、視野の移動した範囲に従って徐々に広がるように生成されていく。図中、破線の矩形は現在の視野を示している。
　ストレージ１１においては、画像生成部１４から送られてきた画像および画像に対応づけられた座標位置が記憶されるとともに、パノラマ画像生成部から送られてきたパノラマ画像が記憶される（ステップＳ５）。
　回避対象認識部１６においては、送られてきたパノラマ画像が処理されることにより、パノラマ画像内の物体が認識され（ステップＳ６）、認識された物体が内視鏡２との接触を回避すべき周辺物体（対象物体、図中、周辺組織を圧排している他の処置具あるいは周辺臓器等）であるか否かについて、機械学習による判定が行われる（ステップＳ７）。
　対象物体があると判定された場合には、その対象物体を含む範囲の情報がパノラマ画像生成部１５に送られて、対象物体を識別可能に示す識別表示（例えば、枠あるいは色等）が生成される（ステップＳ８）。そして、パノラマ画像生成部１５において生成された識別表示がパノラマ画像上に重畳されることにより新たなパノラマ画像が生成され（ステップＳ９）、ディスプレイ５に送られて表示される（ステップＳ１０）。また、ステップＳ７において対象物体がないと判定された場合には、そのままディスプレイ５に送られて表示される。
　例えば、図６に示される例では、パノラマ画像の上部の左右には組織を圧排するための処置具２１の一部がそれぞれ写っており、下部の右側には周辺の臓器Ｂが写っている。回避対象認識部１６によりパノラマ画像が処理されると、パノラマ画像内の物体である処置具２１および臓器Ｂが対象物体であると認識され、図６に太破線の矩形で示されるように対象物体を識別可能に示す識別表示が生成されて、パノラマ画像上に重畳される。
　その後、処理を終了するか否かが判定され（ステップＳ１１）、終了しない場合にはステップＳ１からの工程が繰り返される。また、対象物体がないと判定された場合には、記憶されているパノラマ画像がディスプレイ５に送られて表示される。
　このように、本実施形態に係る内視鏡システム１によれば、内視鏡２の先端を移動させて視野を移動させていくと、内視鏡２により逐次取得された画像が重ね合わせられてパノラマ画像が生成される。そして、生成されたパノラマ画像が画像処理されることにより、パノラマ画像内に存在する物体が内視鏡２との接触を回避すべき周辺物体であるか否かが判定され、接触を回避すべき周辺物体であると判定された場合にはその周辺物体を含む範囲を示す表示がパノラマ画像に合成されてディスプレイ５に表示される。
　その結果、操作者は、パノラマ画像上に表示された接触を回避すべき周辺物体を示す表示により、そのような周辺物体が術場の近傍に存在することを容易に認識することができる。特に、接触を回避すべき周辺物体であるか否かを機械学習により認識するので、経験の少ない術者であっても内視鏡２と接触回避の必要な周辺の臓器Ｂや処置具２１等の周辺物体との接触を回避し易くすることができるという利点がある。
　なお、本実施形態においては、接触回避の必要な周辺物体をパノラマ画像上において矩形により取り囲むことにより、視覚的に報知することとしたが、これに代えて、音声または文字により報知することにしてもよい。
　次に、本発明の第２の実施形態に係る内視鏡システムについて、図面を参照して以下に説明する。
　本実施形態の説明において、上述した第１の実施形態に係る内視鏡システム１と構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る内視鏡システムは、図７に示されるように、プロセッサ１０が、回避対象認識部１６により対象物体が存在すると判定された場合に、当該対象物体と現在の内視鏡の先端の位置とに基づいて、両者の相対距離および方向を算出する相対関係算出部（近接情報算出部）１７を備えている点で、第１の実施形態に係る内視鏡システム１と相違している。
　相対関係算出部１７は、回避対象認識部１６において認識されたパノラマ画像上の対象物体の位置情報と、制御部１２から入力された現在の内視鏡２の先端の位置および姿勢の情報とに基づいて、内視鏡２と対象物体との相対距離および方向を算出してパノラマ画像生成部１５に送るようになっている。
　パノラマ画像生成部１５は、生成したパノラマ画像に、対象物体を示す識別表示を重畳することに加え、相対関係算出部１７から送られてきた内視鏡２と対象物体との相対距離および方向を重畳したパノラマ画像を生成するようになっている。
　このように構成された本実施形態に係る内視鏡システムによれば、操作者は、パノラマ画像上に表示された接触を回避すべき周辺物体を示す表示により、そのような周辺物体が術場の近傍に存在することを容易に認識することができるとともに、内視鏡２をどちらの方向にどれだけ動作させれば、接触を回避すべき周辺物体に内視鏡２が接触するのかを術者が容易に確認することができるという利点がある。
　パノラマ画像への相対距離および方向の表示方法としては、文字あるいは数字および矢印によって表示してもよいし、矢印とその大きさによって表示することにしてもよい。また、相対距離および方向の両方を表示する場合の他、いずれか一方を表示することにしてもよい。
　次に、本発明の第３の実施形態に係る内視鏡システムについて、図面を参照して以下に説明する。
　本実施形態の説明において、上述した第１の実施形態に係る内視鏡システム１と構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る内視鏡システムは、図８に示されるように、プロセッサ１０が、回避対象認識部１６により対象物体が存在すると判定された場合に、内視鏡２の動作が許容される許容動作範囲を算出する動作範囲算出部１８を備えている点で、第１の実施形態に係る内視鏡システム１と相違している。
　動作範囲算出部１８は、回避対象認識部１６において認識されたパノラマ画像上の対象物体の位置情報と、制御部１２から入力された現在の内視鏡２の先端の位置および姿勢の情報とに基づいて、内視鏡２が対象物体と干渉せずに動作することができる許容動作範囲を算出して制御部１２に送るようになっている。
　制御部１２は、動作範囲算出部１８から送られてきた許容動作範囲内で内視鏡２を動作させるように動作制限を行うようになっている。
　このように構成された本実施形態に係る内視鏡システムによれば、図９に示されるように、操作者が操作入力部３において操作入力を行う（ステップＳ２０）と、その操作入力に応じた内視鏡２の動作範囲が許容動作範囲内か否かが判定され（ステップＳ２１）、許容動作範囲内である場合には内視鏡２が動作させられる（ステップＳ２２）。許容動作範囲外である場合には、ステップＳ２０からの工程が繰り返される。
　また、ステップＳ７において回避対象物体があると認識された場合には、動作範囲算出部１８により許容動作範囲が算出されて更新される（ステップＳ２３）。
　操作者は、ディスプレイ５に表示されたパノラマ画像において接触を回避すべき周辺物体を識別するための識別表示を確認することにより、対象物体の存在を認識することができるとともに、誤って、内視鏡２を対象物体に近接する方向に動作させるよう操作した場合であっても、制御部１２により動作が制限されることによって、内視鏡２と対象物体との干渉をより確実に回避することができるという利点がある。
　次に、本発明の第４の実施形態に係る内視鏡システム２０について、図面を参照して以下に説明する。
　本実施形態の説明において、上述した第３の実施形態に係る内視鏡システムと構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る内視鏡システム２０は、図１０に示されるように、操作入力部３によって操作され、コントローラ４によって制御される処置具２１を備えている点で、第３の実施形態に係る内視鏡システムと相違している。
　コントローラ４は、内視鏡２の先端位置と処置具２１の先端位置との相対的な位置関係を把握している。
　そして、動作範囲算出部１８は、算出した内視鏡２と許容動作範囲と、現在の内視鏡２と処置具２１との相対位置関係とに基づいて、処置具２１と対象物体との相対位置関係を算出し、処置具２１の許容動作範囲を算出するようになっている。動作範囲算出部１８において算出された処置具２１の許容動作範囲は制御部１２に送られ、制御部１２において、許容動作範囲内で処置具２１を動作させるように動作制限が行われる。
　このように、本実施形態に係る内視鏡システム２０によれば、操作者が処置具２１を対象物体に近接する方向に動作させるよう操作した場合であっても、制御部１２により処置具２１の動作が制限され、処置具２１と対象物体との干渉をより確実に回避することができるという利点がある。
　１，２０　内視鏡システム
　２　内視鏡
　９　駆動部（駆動源）
　１０　プロセッサ
　１１　ストレージ（記憶部）
　１２　制御部
　５　ディスプレイ（表示部、報知部）
　１５　パノラマ画像生成部
　１６　回避対象認識部
　１７　相対関係算出部（近接情報算出部）
　２１　処置具

Claims (12)

  1. 　内視鏡と、
    　該内視鏡の先端を複数の位置に配置したときに取得された複数の画像を重ね合わせてパノラマ画像を生成するパノラマ画像生成部と、
    　該パノラマ画像生成部により生成された前記パノラマ画像を表示する表示部と、
    　前記パノラマ画像生成部により生成された前記パノラマ画像を処理して接触を回避すべき周辺物体を認識する回避対象認識部と、
    　該回避対象認識部により認識された前記周辺物体の存在を報知する報知部とを備える内視鏡システム。
  2. 　前記回避対象認識部が、機械学習によって前記周辺物体を認識する請求項１に記載の内視鏡システム。
  3. 　前記報知部が、前記表示部に表示される前記パノラマ画像において、前記回避対象認識部により認識された前記周辺物体を識別可能に表示することにより、前記周辺物体の存在を報知する請求項１または請求項２に記載の内視鏡システム。
  4. 　前記内視鏡により取得された前記画像と、該画像を取得した際の前記内視鏡の前記先端の位置情報とを対応づけて記憶する記憶部と、
    　該記憶部に記憶された前記位置情報に基づいて、前記回避対象認識部により認識された前記周辺物体と現在の前記内視鏡の前記先端との距離および方向を算出する近接情報算出部とを備え、
    　前記報知部が、前記近接情報算出部により算出された前記距離および前記方向の少なくとも一つを前記表示部に表示する請求項１から請求項３のいずれかに記載の内視鏡システム。
  5. 　前記内視鏡が、前記先端を移動させる駆動源を備え、
    　前記回避対象認識部により認識された前記周辺物体の前記パノラマ画像上における位置に基づいて、前記内視鏡の前記先端と前記周辺物体との接触を回避するように前記駆動源を制御する制御部を備える請求項１から請求項３のいずれかに記載の内視鏡システム。
  6. 　前記内視鏡との相対位置関係が対応づけられた処置具を備え、
    　前記制御部が、前記回避対象認識部により認識された前記周辺物体の前記パノラマ画像上における位置に基づいて、前記処置具と前記周辺物体との接触を回避するように前記処置具を制御する請求項５に記載の内視鏡システム。
  7. 　内視鏡と、
    　該内視鏡の先端を複数の位置に配置したときに取得された複数の画像を重ね合わせてパノラマ画像を生成するプロセッサと、
    　該プロセッサにより生成された前記パノラマ画像を表示するディスプレイとを備え、
    　前記プロセッサが、前記パノラマ画像を処理して接触を回避すべき周辺物体を認識し、認識された前記周辺物体の存在を報知する内視鏡システム。
  8. 　前記プロセッサが、機械学習によって前記周辺物体を認識する請求項７に記載の内視鏡システム。
  9. 　前記プロセッサが、前記ディスプレイに表示される前記パノラマ画像において、認識された前記周辺物体を識別可能に表示することにより、前記周辺物体の存在を報知する請求項７または請求項８に記載の内視鏡システム。
  10. 　前記内視鏡により取得された前記画像と、該画像を取得した際の前記内視鏡の前記先端の位置情報とを対応づけて記憶するストレージを備え、
    　前記プロセッサが、前記ストレージに記憶された前記位置情報に基づいて、認識された前記周辺物体と現在の前記内視鏡の前記先端との距離および方向を算出し、算出された前記距離および前記方向の少なくとも一つを前記ディスプレイに表示する請求項７から請求項９のいずれかに記載の内視鏡システム。
  11. 　前記内視鏡が、前記先端を移動させる駆動源を備え、
    　前記プロセッサが、認識された前記周辺物体の前記パノラマ画像上における位置に基づいて、前記内視鏡の前記先端と前記周辺物体との接触を回避するように前記駆動源を制御する請求項７から請求項９のいずれかに記載の内視鏡システム。
  12. 　前記内視鏡の前記先端との相対位置関係が対応づけられた処置具を備え、
    　前記プロセッサが、認識された前記周辺物体の前記パノラマ画像上における位置に基づいて、前記処置具と前記周辺物体との接触を回避するように前記処置具を制御する請求項１１に記載の内視鏡システム。
PCT/JP2017/039222 2017-10-31 2017-10-31 内視鏡システム WO2019087269A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/039222 WO2019087269A1 (ja) 2017-10-31 2017-10-31 内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/039222 WO2019087269A1 (ja) 2017-10-31 2017-10-31 内視鏡システム

Publications (1)

Publication Number Publication Date
WO2019087269A1 true WO2019087269A1 (ja) 2019-05-09

Family

ID=66331511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039222 WO2019087269A1 (ja) 2017-10-31 2017-10-31 内視鏡システム

Country Status (1)

Country Link
WO (1) WO2019087269A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021064867A1 (ja) * 2019-10-01 2021-04-08 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
CN113433684A (zh) * 2020-03-23 2021-09-24 丽宝大数据股份有限公司 显微成像拼接装置及其方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04297221A (ja) * 1991-03-26 1992-10-21 Olympus Optical Co Ltd 内視鏡装置
JP2006187386A (ja) * 2005-01-04 2006-07-20 Olympus Corp 内視鏡装置、動体検出方法、及びそのプログラム
JP2013180185A (ja) * 2012-03-05 2013-09-12 Olympus Medical Systems Corp 医療用観察システム
JP2014226341A (ja) * 2013-05-23 2014-12-08 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2015139646A (ja) * 2014-01-30 2015-08-03 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
JP2015159891A (ja) * 2014-02-26 2015-09-07 オリンパス株式会社 医療用システムの制御方法
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067779A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04297221A (ja) * 1991-03-26 1992-10-21 Olympus Optical Co Ltd 内視鏡装置
JP2006187386A (ja) * 2005-01-04 2006-07-20 Olympus Corp 内視鏡装置、動体検出方法、及びそのプログラム
JP2013180185A (ja) * 2012-03-05 2013-09-12 Olympus Medical Systems Corp 医療用観察システム
JP2014226341A (ja) * 2013-05-23 2014-12-08 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2015139646A (ja) * 2014-01-30 2015-08-03 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
JP2015159891A (ja) * 2014-02-26 2015-09-07 オリンパス株式会社 医療用システムの制御方法
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067779A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021064867A1 (ja) * 2019-10-01 2021-04-08 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
JPWO2021064867A1 (ja) * 2019-10-01 2021-04-08
JP7464060B2 (ja) 2019-10-01 2024-04-09 日本電気株式会社 画像処理装置、制御方法及びプログラム
CN113433684A (zh) * 2020-03-23 2021-09-24 丽宝大数据股份有限公司 显微成像拼接装置及其方法
JP2021149081A (ja) * 2020-03-23 2021-09-27 麗寶大數據股▲フン▼有限公司 顕微鏡イメージングステッチ装置及びその方法

Similar Documents

Publication Publication Date Title
US10660716B2 (en) Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US11872006B2 (en) Systems and methods for onscreen identification of instruments in a teleoperational medical system
US11534241B2 (en) Medical manipulator system and image display method therefor
US11135020B2 (en) Image processing device and method, surgical system, and surgical member
JP6180692B1 (ja) 医療用マニピュレータシステム
KR102363661B1 (ko) 원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법
JP4152402B2 (ja) 手術支援装置
US20170202624A1 (en) Device and method for assisting laparoscopic surgery utilizing a touch screen
CN113194862A (zh) 使用增强反射镜显示器设置外科机器人
US20200352411A1 (en) Recommended operation presentation system, recommended operation presentation control device, and recommended operation presentation control method
WO2013141155A1 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
US11510552B2 (en) Medical system and operation method therefor
WO2019087269A1 (ja) 内視鏡システム
US20160354164A1 (en) Surgical system and medical-device-interference avoidance method
JP2010082189A (ja) 手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法
CN113613576A (zh) 用于促进外科手术器械插入到外科手术空间中的系统和方法
US20190090960A1 (en) Tubular body structure imaging and locating system
KR102131693B1 (ko) 수술로봇의 동작영역을 디스플레이하는 방법
US20150265179A1 (en) Assisting Navigation of a Medical Insert Inside a Patient
JP6619456B2 (ja) 医療用マニピュレータシステムおよび医療用マニピュレータシステムの作動方法
JP4417877B2 (ja) 光送受信装置制御システム
US20200281449A1 (en) Medical system and operation method of medical system
JP2006051550A (ja) 移動体への位置教示装置および位置教示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17930747

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17930747

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP