WO2021090358A1 - 内視鏡装置、表示用画像出力方法、及びプログラム - Google Patents

内視鏡装置、表示用画像出力方法、及びプログラム Download PDF

Info

Publication number
WO2021090358A1
WO2021090358A1 PCT/JP2019/043245 JP2019043245W WO2021090358A1 WO 2021090358 A1 WO2021090358 A1 WO 2021090358A1 JP 2019043245 W JP2019043245 W JP 2019043245W WO 2021090358 A1 WO2021090358 A1 WO 2021090358A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
endoscope
display
channel
angle
Prior art date
Application number
PCT/JP2019/043245
Other languages
English (en)
French (fr)
Inventor
龍之介 松重
英之 和田
亜紀 松元
拓也 小倉
理 大野
考弘 湯本
幸子 橋本
朋美 大内
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201980101975.4A priority Critical patent/CN114667093A/zh
Priority to JP2021554434A priority patent/JP7210765B2/ja
Priority to PCT/JP2019/043245 priority patent/WO2021090358A1/ja
Publication of WO2021090358A1 publication Critical patent/WO2021090358A1/ja
Priority to US17/736,455 priority patent/US20220264031A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention relates to an endoscope device, a display image output method, and a program.
  • an endoscope device capable of generating an endoscopic image based on an imaging signal generated by an endoscope and displaying it on a monitor.
  • an endoscope an endoscope having a channel for guiding the treatment tool to a target site (treatment tool channel) is known.
  • treatment tool channel a target site
  • the operator should treat the target site with the treatment tool while checking the treatment tool and the target site displayed on the endoscope image displayed on the monitor. Can be done.
  • the direction in which the treatment tool enters the endoscopic image is determined by the positional relationship between the objective lens and the treatment tool channel outlet on the distal end surface of the endoscope.
  • the objective lens is a part of an optical system for forming a subject image on an image sensor provided at the tip of the endoscope.
  • the present invention operates on the direction in which the treatment tool or the like enters the endoscopic image even when the endoscopic image displayed on the monitor is rotated according to the operator's instruction. It is an object of the present invention to provide an endoscope device, a display image output method, and a program that can be easily grasped by a person.
  • One aspect of the present invention is an endoscopic device, which is an endoscopic image generation unit that generates an endoscopic image based on an image pickup signal generated by an image pickup unit provided at the tip of an insertion portion.
  • a channel information acquisition unit that acquires channel information regarding a channel formed in the insertion unit
  • an angle information acquisition unit that acquires angle information regarding a display angle of the endoscope image, the angle information, and the endoscope image.
  • a display image output unit that outputs a display image including a display endoscope image generated based on the above, a channel guide image generated based on the angle information and the channel information, and a display image output unit. Be prepared.
  • Another aspect of the present invention is a display image output method, in which an endoscopic image is generated based on an imaging signal generated by an imaging unit provided at the tip of the insertion unit, and the insertion unit is described.
  • the channel information about the channel formed in the above is acquired, the angle information about the display angle of the endoscope image is acquired, and the display endoscope image generated based on the angle information and the endoscope image is obtained.
  • a display image including the channel guide image generated based on the angle information and the channel information is output.
  • Yet another aspect of the present invention is a program that generates an endoscopic image based on an imaging signal generated by an imaging unit provided at the tip of the insertion portion and is formed on the insertion portion.
  • the display endoscope image generated based on the angle information and the endoscope image by acquiring the channel information about the channel, the angle information about the display angle of the endoscope image, and the angle.
  • the computer is made to execute a process of outputting a display image including the information and the channel guide image generated based on the channel information.
  • the operator can determine the direction in which the treatment tool or the like enters the endoscopic image. It can be easily grasped.
  • FIG. 4 It is a figure which illustrates the structure of the endoscope system including the endoscope apparatus which concerns on one Embodiment. It is a figure which illustrates the functional structure which is related to the display of the display image in an endoscope system. It is a figure which illustrates the channel guide image included in the channel information. It is a flowchart which illustrates the display image output processing executed in the endoscope apparatus which concerns on one Embodiment. It is a figure which illustrates the display image before and after the endoscopic image rotation instruction, which was output by the display image output process illustrated in FIG. 4 and displayed by the display device. It is a figure which illustrates the hardware configuration of a computer.
  • FIG. 1 is a diagram illustrating a configuration of an endoscope system including an endoscope device according to an embodiment.
  • the endoscope system 1 illustrated in FIG. 1 includes an endoscope 10, an endoscope device 20, and a display device 30, and the endoscope 10 and the display device 30 are connected to the endoscope device 20.
  • the endoscope 10 and the endoscope device 20, and the endoscope device 20 and the display device 30 transfer signals (data, information) by wire, but by radio. You may.
  • the endoscope 10 is a flexible endoscope and has an operation unit 101 operated by an operator and an insertion unit 102 inserted into the patient's body.
  • the operation unit 101 is endoscopically viewed by an operator such as an angle knob for controlling the curvature of the insertion unit 102 up, down, left and right, an air supply water supply button for controlling air supply water supply, a suction button for controlling suction, and the like. It has an operating member for controlling the mirror 10.
  • the operation unit 101 also includes a channel inlet (for example, a forceps opening) into which the treatment tool is inserted, an operation member for giving an instruction to the endoscope device 20, and the like.
  • a plurality of channels are formed in the insertion portion 102.
  • the plurality of channels are a treatment tool channel, an air supply / water supply channel, a suction channel, and the like.
  • the insertion unit 102 includes an image pickup unit (described later, an image pickup unit 103) including an image pickup element, an optical system for forming a subject image on the image pickup element, and the like at the tip end portion 102a.
  • the insertion portion 102 has a plurality of channel outlets, an objective lens, and the like on its front end surface 102b.
  • the objective lens is a part of an optical system that forms a subject image on an image sensor.
  • the endoscope device 20 generates an endoscope image based on an imaging signal generated by the imaging unit of the endoscope 10. Further, the endoscope device 20 generates an endoscope image for display in which the endoscope image is rotated according to an instruction to rotate the endoscope image by an operator or the like, and determines the outlet position (exit direction) of the channel. It also generates a channel guidance image to be guided, generates a display image including a display endoscope image and a channel guidance image, and outputs a display image.
  • the endoscope image rotation instruction by the operator or the like is an instruction to rotate and display the endoscope image to be displayed on the display device 30 at a desired angle, and is an instruction to operate the operation unit 101 of the endoscope 10 or the inside. This can be performed by operating the operation unit (operation unit 202 described later) of the endoscope device 20.
  • the angle at this time may be freely specified by the surgeon or the like, or may be specified by the surgeon or the like selecting from a plurality of different
  • the display device 30 is a liquid crystal display device or the like, and displays a display image or the like output from the endoscope device 20.
  • FIG. 2 is a diagram illustrating a functional configuration related to the display of a display image in the endoscope system 1.
  • the endoscope 10 includes an operation unit 101, an imaging unit 103, and a storage unit 104.
  • the operation unit 101 is as described above. For example, when an operation for giving an instruction to the endoscope device 20 is performed, a signal (operation signal) corresponding to the operation is sent to the endoscope device 20. Output.
  • the image pickup unit 103 includes an image pickup element and a signal processing unit.
  • the image pickup device is, for example, a CCD (Charge Coupled Device), and converts a subject image formed by an optical system including an objective lens into an electric signal.
  • the signal processing unit generates an image pickup signal by performing predetermined signal processing such as gain adjustment processing and AD (Analog-to-Digital) conversion processing on the electric signal converted by the image pickup device.
  • the signal processing unit may be realized by, for example, a circuit.
  • the image pickup unit 103 may be configured as an image pickup circuit including an image pickup device and a signal processing circuit.
  • the storage unit 104 is a non-volatile memory in which information about the endoscope 10 is stored.
  • the information about the endoscope 10 includes the type information of the endoscope 10 and the channel information about the channel formed in the insertion portion 102.
  • the channel information is information about the angle of the channel exit position (exit direction) when the display angle (rotation angle) of the endoscopic image is a predetermined angle, or the display angle of the endoscopic image is a predetermined angle. Includes channel guidance images at certain times.
  • the predetermined angle is 0 ° or each of a plurality of different angles. Specific examples of channel information will be described later.
  • the endoscope device 20 includes a storage unit 201, an operation unit 202, and a control unit 203.
  • the storage unit 201 is a non-volatile memory in which various types of information are stored, and is read out by the control unit 203 as needed.
  • the various types of information include channel information regarding the channel formed in the insertion portion 102 of the endoscope 10 or channel information for each type of endoscope.
  • the operation unit 202 is an operation panel, a touch panel, or the like, and receives an input operation of the user, and outputs a signal (operation signal) corresponding to the input operation to the control unit 203.
  • the control unit 203 controls the overall operation of the endoscope device 20.
  • the control unit 203 includes an imaging signal acquisition unit 204, a channel information acquisition unit 205, an operation signal processing unit 206, an angle information acquisition unit 207, an endoscopic image generation unit 208, a channel guidance image generation unit 209, and a display image generation unit 210. , And a display image output unit 211.
  • the image pickup signal acquisition unit 204 acquires the image pickup signal generated by the image pickup unit 103 of the endoscope 10.
  • the channel information acquisition unit 205 acquires channel information regarding the channel formed in the insertion unit 102 of the endoscope 10.
  • the channel information acquisition unit 205 may acquire the channel information from the storage unit 104 of the endoscope 10 or from the storage unit 201.
  • the type information of the endoscope 10 may be acquired from the storage unit 104 of the endoscope 10, and the channel information corresponding to the type information may be acquired from the storage unit 201.
  • the channel information acquisition unit 205 may acquire channel information from a server (not shown) connected to the endoscope device 20 via a network.
  • the type information of the endoscope 10 may be acquired from the storage unit 104 of the endoscope 10, and the channel information corresponding to the type information may be acquired by inquiring the server.
  • the channel information is retained in the endoscope device 20, it becomes difficult to support a new endoscope, and the endoscope has a function in order to realize the endoscope at low cost. It is possible to solve problems such as not wanting to stuff.
  • the operation signal processing unit 206 receives an operation signal output from the operation unit 101 or the operation unit 202 of the endoscope 10 and performs processing according to the operation signal. For example, when the input operation signal is an operation signal related to an endoscope image rotation instruction, the angle information acquisition unit 207 obtains angle information regarding the rotation angle (display angle) of the endoscope image indicated by the instruction. Output to.
  • the angle information acquisition unit 207 acquires the angle information output from the operation signal processing unit 206.
  • the endoscopic image generation unit 208 generates an endoscopic image based on the image pickup signal acquired by the image pickup signal acquisition unit 204. Further, the endoscope image generation unit 208 generates a display endoscope image based on the generated endoscope image and the angle information acquired by the angle information acquisition unit 207.
  • the display endoscope image is an image obtained by rotating the endoscope image at the display angle indicated by the angle information. When the angle information is not acquired by the angle information acquisition unit 207, the generated endoscope image is used as the display endoscope image.
  • the channel guidance image generation unit 209 generates a channel guidance image based on the channel information acquired by the channel information acquisition unit 205 and the angle information acquired by the angle information acquisition unit 207.
  • the channel guide image is an image that guides the exit position (exit direction) of the channel when the display angle of the endoscope image is the display angle indicated by the angle information.
  • the channel guide image is generated assuming that the angle information indicating the display angle 0 ° is acquired by the angle information acquisition unit 207.
  • the display image generation unit 210 displays a display image including the display endoscope image generated by the endoscope image generation unit 208 and the channel guidance image generated by the channel guidance image generation unit 209. Generate.
  • the display image output unit 211 outputs the display image generated by the display image generation unit 210 to the display device 30.
  • the display device 30 includes a display unit 301 that displays a display image or the like output from the display image output unit 211 of the endoscope device 20.
  • the number of channels formed in the insertion portion 102 of the endoscope 10 is two.
  • the display endoscope image which is an endoscope image displayed on the display device 30 at a display angle of 0 °, is included in the display endoscope image.
  • the treatment tools and the like from the two channel outlets enter from the direction of 90 ° (right direction) and the direction of 225 ° (lower left direction).
  • the directions of 0 °, 90 °, 180 °, and 270 ° are the upward, right, downward, and left directions.
  • the channel information may include, for example, information on the angles (90 °, 225 °) of the two channel exit positions when the display angle of the endoscopic image is 0 °.
  • the channel information includes, for example, information on the angles (90 °, 225 °) of the two channel exit positions when the display angle of the endoscopic image is 0 °, and the display angle of the endoscopic image is 180 °. May include information about the angles (270 °, 45 °) of the two channel exit positions when.
  • the channel information may include information regarding the angle of the exit position of the channel when the display angle of the endoscopic image is one or a plurality of predetermined angles.
  • the channel information may include, for example, a channel guidance image when the display angle of the endoscopic image is 0 °.
  • the channel information may include, for example, a channel guide image when the display angle of the endoscope image is 0 ° and a channel guide image when the display angle of the endoscope image is 180 °.
  • the channel information may include a channel guide image when the display angle of the endoscopic image is one or a plurality of predetermined angles.
  • FIG. 3 is a diagram illustrating a channel guide image included in the channel information.
  • the channel guide image 401 is a channel guide image when the display angle of the endoscope image is 0 °
  • the channel guide image 402 is a channel guide image when the display angle of the endoscope image is 180 °. It is a channel guide image.
  • the guides 401a and 401b in the channel guide image 401 are guides for guiding the exit position of the channel when the display angle of the endoscopic image is 0 °
  • the guides 402a and 402b in the channel guide image 402 are inside. This is a guide that guides the exit position of the channel when the display angle of the endoscopic image is 180 °.
  • FIG. 4 is a flowchart illustrating a display image output process executed by the endoscope device 20. This display image output process is also a process realized by the functional configuration of the endoscope device 20 illustrated in FIG.
  • the channel information acquisition unit 205 first transfers the channel information about the channel formed in the insertion unit 102 of the endoscope 10 to the endoscope 10. Obtained from the storage unit 104 or the storage unit 201 (S11).
  • control unit 203 determines whether or not there is an endoscopic image rotation instruction by the operator or the like (S12). This determination is made based on, for example, whether or not the operation signal related to the endoscopic image rotation instruction is input to the operation signal processing unit 206.
  • the operation signal processing unit 206 obtains the angle information regarding the rotation angle (display angle) of the endoscope image indicated by the endoscope image rotation instruction of the input operation signal in the angle information acquisition unit 207.
  • the angle information is acquired by the angle information acquisition unit 207 (S13).
  • the image pickup signal acquisition unit 204 acquires the image pickup signal generated by the image pickup unit 103 of the endoscope 10 (S14).
  • the endoscopic image generation unit 208 generates an endoscopic image based on the imaging signal acquired in S14 (S15), and the endoscopic image and the angle information (display) finally acquired in S13.
  • a display endoscope image is generated based on the angle information finally acquired in S13 after the start of the image output process (S16). However, if the processing of S13 has never been performed after the start of the display image output processing, the endoscope image generated in S15 is used as the display endoscope image.
  • the channel guidance image generation unit 209 generates a channel guidance image based on the channel information acquired in S11 and the angle information finally acquired in S13 (S17). However, if the processing of S13 has never been performed after the start of the display image output processing, it is assumed that the angle information finally acquired in S13 is the angle information indicating the display angle of 0 °, and the channel guide image is displayed. To generate.
  • the display image generation unit 210 generates a display image including the display endoscope image generated in S16 and the channel guidance image generated in S17 (S18).
  • the display image output unit 211 outputs the display image generated in S18 to the display device 30 (S19).
  • the display unit 301 displays the display image. Accordingly, a display image including a display endoscope image and a channel guidance image is displayed.
  • control unit 203 determines whether or not to end the process (S20). This determination is made based on, for example, whether or not the operation signal related to the power-off instruction of the endoscope device 20 is input to the operation signal processing unit 206.
  • FIG. 5 is a diagram illustrating a display image before and after the endoscopic image rotation instruction, which is output by the display image output process illustrated in FIG. 4 and displayed by the display device 30.
  • the display image 501a illustrated on the upper side is a display image before the endoscope image rotation instruction, and is a display endoscope image (endoscope image with a display angle of 0 °) 502a and a channel guidance image. Includes 503a.
  • the guides 504a, 505a, and 506a in the channel guide image 503a are guides for guiding the exit position of the channel at a time point before the instruction to rotate the endoscope image (when the display angle of the endoscope image is 0 °).
  • the display image 501b illustrated on the lower side is a display image after the endoscope image rotation instruction, and includes a display endoscope image (endoscope image with a display angle of 180 °) 502b and a channel guidance image 503b. ..
  • the guides 504b, 505b, and 506b in the channel guide image 503b are guides that guide the exit position of the channel at a time point after the instruction to rotate the endoscope image (when the display angle of the endoscope image is 180 °).
  • the display endoscope image 502 is rotated by 180 ° in response to the instruction to rotate the endoscope image, and the guides 504, 505, and 506 in the channel guide image 503 are displayed. The position is changed.
  • the three numerical values in the channel guide image 503 indicate the diameters of the three channel outlets. Information about the diameter of this channel outlet is included, for example, in the channel information described above.
  • the surgeon can grasp the channel exit position not only before the endoscopic image rotation instruction but also after the endoscopic image rotation instruction by confirming the channel guidance image 503.
  • the direction in which the treatment tool A enters the display endoscope image 502a is upward before the instruction to rotate the endoscope image. It can be easily grasped from the direction. Further, after the instruction to rotate the endoscope image, it can be easily grasped that the direction in which the treatment tool A enters the display endoscope image 502a is from the lower direction.
  • the display image generated by the endoscope device 20 and displayed on the display device 30 is not limited to the form illustrated in FIG.
  • the display image may further include an endoscope information window for displaying information (name, model number, etc.) about the endoscope 10, and a channel guidance image may be displayed in the endoscope information window.
  • an icon indicating that the endoscopic image is rotated may be further displayed in the endoscope information window, and the icon may be displayed. It may also be rotated and displayed according to the rotation angle of the endoscopic image.
  • Such an endoscope information window may be displayed at a position that does not overlap with the display endoscope image.
  • the display image may further include a channel information window for displaying channel information, and the channel guidance image may be displayed in the channel information window.
  • a channel information window for displaying channel information
  • the channel guidance image may be displayed in the channel information window.
  • an icon indicating that the endoscopic image is rotated and displayed may be further displayed in the channel information window, and the icon itself may also be displayed. It may be rotated and displayed according to the rotation angle of the endoscopic image.
  • a channel information window may be superimposed on the display endoscope image as long as it does not interfere with the observation.
  • the display image may include both such an endoscope information window and a channel information window.
  • the display of the channel information window may be selected from, for example, always displayed / displayed for 2 seconds / not displayed, depending on the setting instruction of the operator or the like.
  • the shape of the display endoscope image is not limited to an octagon, and may be, for example, a circle. In this case, the shape of the channel guide image may also be circular.
  • the treatment tool or the like enters the endoscopic image.
  • the surgeon or the like can easily grasp the coming direction.
  • control unit 203 of the endoscope device 20 may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • FIG. 6 is a diagram illustrating a hardware configuration of a computer.
  • the computer 700 includes a processor 701 such as a CPU (Central Processing Unit), a memory 702, an auxiliary storage device 703, an input device 704, a display device 705, an input / output interface 706, a communication control device 707, and a medium.
  • a drive device 708 is provided. These elements 701 to 708 in the computer 700 are connected to each other by a bus 709, and data can be exchanged between the elements.
  • the processor 701 controls the overall operation of the computer 700 by executing a program.
  • the processor 701 executes a program for realizing the function of the control unit 203 illustrated in FIG. According to this, for example, the display image output process illustrated in FIG. 4 is executed.
  • the memory 702 includes a ROM (Read Only Memory) and a RAM (Random Access Memory) (not shown). A program or the like executed by the processor 701 is recorded in advance in the ROM of the memory 702.
  • the ROM of the memory 702 can be used for recording a program for realizing the function of the control unit 203 illustrated in FIG.
  • the RAM of the memory 702 is used as a work area or the like of the processor 701.
  • the auxiliary storage device 703 is, for example, a magnetic disk such as an HDD (Hard Disk Drive) and a non-volatile memory such as a flash memory.
  • the auxiliary storage device 703 can store a program or the like executed by the processor 701.
  • the auxiliary storage device 703 can also be used for recording a program for realizing the function of the control unit 203 illustrated in FIG.
  • the input device 704 is, for example, a keyboard, a mouse, a touch panel, or the like. When the operator of the computer 700 performs a predetermined operation on the input device 704, the input device 704 transmits the input information associated with the operation content to the processor 701. The input device 704 can be used as the operation unit 202.
  • the display device 705 is, for example, a liquid crystal display device.
  • the display device 705 can also be used as the display device 30.
  • the input / output interface 706 connects the computer 700 to electronic components and external devices.
  • the input / output interface 706 can be used for connection with the endoscope 10 and the display device 30.
  • the communication control device 707 connects the computer 700 to a network and controls various communications between the computer 700 and an external device (server or the like) via the network.
  • the communication control device 707 connects the endoscope device 20 to a network and can be used to control various communications between the endoscope device 20 and the server via the network.
  • the medium drive device 708 reads out the programs and data recorded in the portable recording medium 710, and writes the data stored in the auxiliary storage device 703 to the portable recording medium 710.
  • the portable recording medium 710 can also be used for recording a program for realizing the function of the control unit 203 illustrated in FIG. Examples of the portable recording medium 710 include a Secure Digital (SD) standard memory card (flash memory).
  • SD Secure Digital
  • flash memory flash memory
  • Optical discs that can be used as the portable recording medium 710 include, for example, Compact Disc (CD), Digital Versatile Disc (DVD), Blu-ray Disc (Blu-ray is a registered trademark), and the like.
  • the endoscope system 1 is not limited to the embodiment illustrated in FIG. 1, and the endoscope 10, the endoscope device 20, and the display device 30 are similar to a so-called portable flexible endoscope. It may be configured as one. Further, in the endoscope system 1, the endoscope 10 and the endoscope device 20 may be integrally configured, or the endoscope device 20 and the display device 30 may be integrally configured. Further, in the endoscope system 1, the endoscope device 20 is realized by a computer (server or the like) connected to the network, and the endoscope 10 and the endoscope device 20 and the endoscope device 20 and the display device are realized. 30 may be connected via a network.
  • the present invention is not limited to the above embodiments as they are, and at the embodiment, the components can be modified and embodied within a range that does not deviate from the gist thereof.
  • various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components of all the components shown in the embodiment may be deleted.
  • Endoscope system 10 Endoscope 20 Endoscope device 30
  • Display device 101 Operation unit 102 Insertion unit 102a Tip 102b Tip surface 103
  • Imaging unit 104 Storage unit 201
  • Storage unit 202 Operation unit 203
  • Control unit 204 Imaging signal acquisition unit 205
  • Channel information acquisition unit 206 Operation signal processing unit 207
  • Angle information acquisition unit 208 Endoscopic image generation unit 209
  • Display image generation unit 211 Display image output unit 301
  • Auxiliary storage device 704 Input device 705
  • Display device 706 Input / output interface 707

Abstract

内視鏡装置は、挿入部の先端部に備えられた撮像部に依り生成された撮像信号に基づいて内視鏡画像を生成する内視鏡画像生成部と、挿入部に形成されたチャネルに関するチャネル情報を取得するチャネル情報取得部と、内視鏡画像の表示角度に関する角度情報を取得する角度情報取得部と、角度情報と内視鏡画像とに基づいて生成された表示用内視鏡画像と、角度情報とチャネル情報とに基づいて生成されたチャネル案内画像と、を含む表示用画像を出力する表示用画像出力部とを備える。

Description

内視鏡装置、表示用画像出力方法、及びプログラム
　本発明は、内視鏡装置、表示用画像出力方法、及びプログラムに関する。
　従来、内視鏡に依り生成された撮像信号に基づいて内視鏡画像を生成してモニタに表示させることができる内視鏡装置が知られている。また、内視鏡として、処置具を対象部位まで案内するチャネル（処置具用チャネル）を備えた内視鏡が知られている。こういった内視鏡が使用された場合、術者は、モニタに表示された内視鏡画像に映し出される処置具と対象部位とを確認しながら、処置具を用いて対象部位を処置することができる。処置具が内視鏡画像内に進入してくる方向は、内視鏡先端面における対物レンズと処置具用チャネル出口との位置関係によって決定される。なお、対物レンズは、内視鏡先端部に備えられた撮像素子に被写体像を結像させる光学系の一部である。
　しかしながら、モニタに表示させる内視鏡画像を術者の指示に依り回転させることができる機能を備えた内視鏡装置の場合には、処置具が内視鏡画像内に進入してくる方向が内視鏡画像の回転に伴って異なってしまう。そのため、複数のチャネルを備えた内視鏡等が使用された場合、処置具が内視鏡画像内に進入してくる方向を術者が即時に把握することは容易ではない。
　一方、画像における処置具の進入方向に関する違和感を術者に生じさせない内視鏡システムが知られている（特許文献１参照）。この内視鏡システムでは、ユーザがディスプレイに表示される表示画像に処置具が進入してくる方向（処置具出現方向）を指定すると、その処置具出現方向から処置具が出現する如く処理画像を拡大及び／又は縮小して、回転拡大画像を作成すること等が行われる。
特開２０１３－１９２８０３号公報
　本発明は、上記実情に鑑み、モニタに表示させる内視鏡画像を術者の指示に応じて回転させる場合であっても、内視鏡画像内に処置具等が進入してくる方向を術者が容易に把握することができる内視鏡装置、表示用画像出力方法、及びプログラムを提供することを目的とする。
　本発明の一態様は、内視鏡装置であって、挿入部の先端部に備えられた撮像部に依り生成された撮像信号に基づいて内視鏡画像を生成する内視鏡画像生成部と、前記挿入部に形成されたチャネルに関するチャネル情報を取得するチャネル情報取得部と、前記内視鏡画像の表示角度に関する角度情報を取得する角度情報取得部と、前記角度情報と前記内視鏡画像とに基づいて生成された表示用内視鏡画像と、前記角度情報と前記チャネル情報とに基づいて生成されたチャネル案内画像と、を含む表示用画像を出力する表示用画像出力部と、を備える。
　本発明の他の一態様は、表示用画像出力方法であって、挿入部の先端部に備えられた撮像部に依り生成された撮像信号に基づいて内視鏡画像を生成し、前記挿入部に形成されたチャネルに関するチャネル情報を取得し、前記内視鏡画像の表示角度に関する角度情報を取得し、前記角度情報と前記内視鏡画像とに基づいて生成された表示用内視鏡画像と、前記角度情報と前記チャネル情報とに基づいて生成されたチャネル案内画像と、を含む表示用画像を出力する。
　本発明の更に他の一態様は、プログラムであって、挿入部の先端部に備えられた撮像部に依り生成された撮像信号に基づいて内視鏡画像を生成し、前記挿入部に形成されたチャネルに関するチャネル情報を取得し、前記内視鏡画像の表示角度に関する角度情報を取得し、前記角度情報と前記内視鏡画像とに基づいて生成された表示用内視鏡画像と、前記角度情報と前記チャネル情報とに基づいて生成されたチャネル案内画像と、を含む表示用画像を出力する、という処理をコンピュータに実行させる。
　本発明に依れば、モニタに表示させる内視鏡画像を術者の指示に応じて回転させる場合であっても、内視鏡画像内に処置具等が進入してくる方向を術者が容易に把握することができる。
一実施の形態に係る内視鏡装置を含む内視鏡システムの構成を例示する図である。 内視鏡システムにおける表示用画像の表示に関係する機能構成を例示する図である。 チャネル情報に含まれるチャネル案内画像を例示する図である。 一実施の形態に係る内視鏡装置において実行される表示用画像出力処理を例示するフローチャートである。 図４に例示した表示用画像出力処理に依り出力されて表示装置に依り表示された、内視鏡画像回転指示前後の表示用画像を例示する図である。 コンピュータのハードウェア構成を例示する図である。
　以下、図面を参照しながら、本発明の実施の形態について説明する。
　図１は、一実施の形態に係る内視鏡装置を含む内視鏡システムの構成を例示する図である。
　図１に例示した内視鏡システム１は、内視鏡１０、内視鏡装置２０、及び表示装置３０を備え、内視鏡１０と表示装置３０が内視鏡装置２０に接続されている。本実施形態では、内視鏡１０と内視鏡装置２０並びに内視鏡装置２０と表示装置３０が、信号（データ、情報）の受け渡しを有線に依り行うものとするが、無線に依り行われてもよい。
　内視鏡１０は、軟性内視鏡であって、術者に依って操作される操作部１０１及び患者の体内に挿入される挿入部１０２を有する。
　操作部１０１は、挿入部１０２の湾曲を上下左右に制御するためのアングルノブ、送気送水を制御するための送気送水ボタン、及び吸引を制御するための吸引ボタン等といった術者が内視鏡１０を制御するための操作部材を有する。また、操作部１０１は、処置具が挿入されるチャネル入口（例えば鉗子口）や、内視鏡装置２０に対して指示を行うための操作部材等も備える。
　挿入部１０２は、その内部に複数のチャネル（管路）が形成されている。複数のチャネルは、処置具用チャネル、送気送水用チャネル、及び吸引用チャネル等である。また、挿入部１０２は、その先端部１０２ａに、撮像素子を含む撮像部（後述の撮像部１０３）や撮像素子に被写体像を結像させる光学系等を備える。また、挿入部１０２は、その先端面１０２ｂに、複数のチャネル出口や対物レンズ等を有する。なお、対物レンズは、撮像素子に被写体像を結像させる光学系の一部である。
　内視鏡装置２０は、内視鏡１０の撮像部に依り生成された撮像信号に基づいて内視鏡画像を生成する。また、内視鏡装置２０は、術者等に依る内視鏡画像回転指示に応じて内視鏡画像を回転させた表示用内視鏡画像の生成や、チャネルの出口位置（出口方向）を案内するチャネル案内画像の生成や、表示用内視鏡画像とチャネル案内画像とを含む表示用画像の生成や、表示用画像の出力等も行う。なお、術者等に依る内視鏡画像回転指示は、表示装置３０に表示させる内視鏡画像を所望の角度で回転表示させる指示であり、内視鏡１０の操作部１０１の操作や、内視鏡装置２０の操作部（後述の操作部２０２）の操作に依り行うことができる。このときの角度は、術者等が自由に指定することができるとしてもよいし、異なる複数の角度の中から術者等が選択することで指定することができるとしてもよい。
　表示装置３０は、液晶表示装置等であって、内視鏡装置２０から出力された表示用画像等の表示を行う。
　図２は、内視鏡システム１における表示用画像の表示に関係する機能構成を例示する図である。
　図２に例示した内視鏡システム１において、内視鏡１０は、操作部１０１、撮像部１０３、及び記憶部１０４を備える。
　操作部１０１は、上述のとおりであり、例えば、内視鏡装置２０に対する指示を行うための操作が行われた場合には、その操作に応じた信号（操作信号）を内視鏡装置２０に出力する。
　撮像部１０３は、撮像素子及び信号処理部を備える。撮像素子は、例えばＣＣＤ（Charge Coupled Device）であり、対物レンズを含む光学系に依り結像された被写体像を電気信号に変換する。信号処理部は、撮像素子に依り変換された電気信号に対してゲイン調整処理やＡＤ（Analog-to-Digital）変換処理等といった所定の信号処理を行って撮像信号を生成する。なお、信号処理部は、例えば、回路に依り実現されてもよい。この場合は、撮像部１０３が撮像素子と信号処理回路を備えた撮像回路として構成されてもよい。
　記憶部１０４は、内視鏡１０に関する情報が記憶された不揮発性メモリである。内視鏡１０に関する情報は、内視鏡１０の種別情報や、挿入部１０２に形成されたチャネルに関するチャネル情報を含む。チャネル情報は、内視鏡画像の表示角度（回転角度）が所定の角度である時のチャネルの出口位置（出口方向）の角度に関する情報、又は、内視鏡画像の表示角度が所定の角度である時のチャネル案内画像を含む。ここで、所定の角度は０°又は異なる複数の角度の各々である。チャネル情報の具体例については後述する。
　内視鏡装置２０は、記憶部２０１、操作部２０２、及び制御部２０３を備える。
　記憶部２０１は、各種の情報が記憶された不揮発性メモリであり、必要に応じて制御部２０３に依り読み出される。各種の情報は、内視鏡１０の挿入部１０２に形成されたチャネルに関するチャネル情報、又は、内視鏡の種別毎のチャネル情報を含む。
　操作部２０２は、操作パネルやタッチパネル等であって、ユーザの入力操作を受け付け、その入力操作に応じた信号（操作信号）を制御部２０３に出力する。
　制御部２０３は、内視鏡装置２０の全体動作を制御する。制御部２０３は、撮像信号取得部２０４、チャネル情報取得部２０５、操作信号処理部２０６、角度情報取得部２０７、内視鏡画像生成部２０８、チャネル案内画像生成部２０９、表示用画像生成部２１０、及び表示用画像出力部２１１を備える。
　撮像信号取得部２０４は、内視鏡１０の撮像部１０３に依り生成された撮像信号を取得する。
　チャネル情報取得部２０５は、内視鏡１０の挿入部１０２に形成されたチャネルに関するチャネル情報を取得する。例えば、チャネル情報取得部２０５は、そのチャネル情報を、内視鏡１０の記憶部１０４から取得してもよいし、記憶部２０１から取得してもよい。例えば、記憶部２０１から取得する場合は、内視鏡１０の種別情報を内視鏡１０の記憶部１０４から取得し、その種別情報に対応するチャネル情報を記憶部２０１から取得してもよい。また、例えば、チャネル情報取得部２０５は、内視鏡装置２０とネットワークを経由して接続されたサーバ（不図示）からチャネル情報を取得してもよい。この場合は、例えば、内視鏡１０の種別情報を内視鏡１０の記憶部１０４から取得し、その種別情報に対応するチャネル情報をサーバに問い合わせることに依って取得してもよい。これに依り、例えば、チャネル情報を内視鏡装置２０に保持させると新しい内視鏡に対応することが困難になるといった課題や、内視鏡を安価に実現するために内視鏡に機能を詰め込みたくないといった課題を解決することができる。
　操作信号処理部２０６は、内視鏡１０の操作部１０１や操作部２０２から出力された操作信号が入力され、その操作信号に応じた処理を行う。例えば、入力された操作信号が、内視鏡画像回転指示に係る操作信号であった場合には、その指示が示す内視鏡画像の回転角度（表示角度）に関する角度情報を角度情報取得部２０７に出力する。
　角度情報取得部２０７は、操作信号処理部２０６から出力された角度情報を取得する。
　内視鏡画像生成部２０８は、撮像信号取得部２０４に依り取得された撮像信号に基づいて内視鏡画像を生成する。また、内視鏡画像生成部２０８は、生成した内視鏡画像と角度情報取得部２０７に依り取得された角度情報とに基づいて、表示用内視鏡画像を生成する。表示用内視鏡画像は、角度情報が示す表示角度で内視鏡画像を回転させた画像である。なお、角度情報取得部２０７に依り角度情報が取得されていない場合には、生成した内視鏡画像を表示用内視鏡画像とする。
　チャネル案内画像生成部２０９は、チャネル情報取得部２０５に依り取得されたチャネル情報と角度情報取得部２０７に依り取得された角度情報とに基づいて、チャネル案内画像を生成する。チャネル案内画像は、内視鏡画像の表示角度が、角度情報が示す表示角度である時のチャネルの出口位置（出口方向）を案内する画像である。なお、角度情報取得部２０７に依り角度情報が取得されていない場合には、表示角度０°を示す角度情報が角度情報取得部２０７に依り取得されたものとして、チャネル案内画像を生成する。
　表示用画像生成部２１０は、内視鏡画像生成部２０８に依り生成された表示用内視鏡画像と、チャネル案内画像生成部２０９に依り生成されたチャネル案内画像と、を含む表示用画像を生成する。
　表示用画像出力部２１１は、表示用画像生成部２１０に依り生成された表示用画像を表示装置３０に出力する。
　表示装置３０は、内視鏡装置２０の表示用画像出力部２１１から出力された表示用画像等の表示を行う表示部３０１を備える。
　ここで、上述のチャネル情報の具体例を示す。
　但し、この具体例では、内視鏡１０の挿入部１０２に形成されたチャネルの数が２つであるとする。また、挿入部１０２の先端面１０２ｂにおける２つのチャネル出口と対物レンズとの位置関係に依り、表示装置３０に表示角度０°で表示された内視鏡画像である表示用内視鏡画像内に、２つのチャネル出口からの処置具等が進入してくる方向は、９０°の方向（右方向）及び２２５°の方向（左下の方向）からであるとする。なお、この具体例では、０°、９０°、１８０°、２７０°の方向を、上、右、下、左の方向としている。
　この場合、チャネル情報は、例えば、内視鏡画像の表示角度が０°である時の２つのチャネル出口位置の角度（９０°、２２５°）に関する情報を含んでもよい。或いは、チャネル情報は、例えば、内視鏡画像の表示角度が０°である時の２つのチャネル出口位置の角度（９０°、２２５°）に関する情報と、内視鏡画像の表示角度が１８０°である時の２つのチャネル出口位置の角度（２７０°、４５°）に関する情報とを含んでもよい。このとおり、チャネル情報は、内視鏡画像の表示角度が１つ又は複数の所定の角度である時のチャネルの出口位置の角度に関する情報を含んでもよい。
　又は、チャネル情報は、例えば、内視鏡画像の表示角度が０°である時のチャネル案内画像を含んでもよい。或いは、チャネル情報は、例えば、内視鏡画像の表示角度が０°である時のチャネル案内画像と、内視鏡画像の表示角度が１８０°である時のチャネル案内画像とを含んでもよい。このとおり、チャネル情報は、内視鏡画像の表示角度が１つ又は複数の所定の角度である時のチャネル案内画像を含んでもよい。
　図３は、チャネル情報に含まれるチャネル案内画像を例示する図である。
　図３において、チャネル案内画像４０１は、内視鏡画像の表示角度が０°である時のチャネル案内画像であり、チャネル案内画像４０２は、内視鏡画像の表示角度が１８０°である時のチャネル案内画像である。チャネル案内画像４０１内のガイド４０１ａ、４０１ｂは、内視鏡画像の表示角度が０°である時のチャネルの出口位置を案内するガイドであり、チャネル案内画像４０２内のガイド４０２ａ、４０２ｂは、内視鏡画像の表示角度が１８０°である時のチャネルの出口位置を案内するガイドである。
　図４は、内視鏡装置２０において実行される表示用画像出力処理を例示するフローチャートである。この表示用画像出力処理は、図２に例示した内視鏡装置２０の機能構成に依り実現される処理でもある。
　図４に例示した表示用画像出力処理では、処理が開始すると、まず、チャネル情報取得部２０５が、内視鏡１０の挿入部１０２に形成されているチャネルに関するチャネル情報を、内視鏡１０の記憶部１０４又は記憶部２０１から取得する（Ｓ１１）。
　次に、制御部２０３は、術者等に依る内視鏡画像回転指示が有るか否かを判定する（Ｓ１２）。この判定は、例えば、内視鏡画像回転指示に係る操作信号が操作信号処理部２０６に入力されたか否かに基づいて行われる。
　Ｓ１２の判定結果がＹＥＳの場合、操作信号処理部２０６は、入力された操作信号の内視鏡画像回転指示が示す内視鏡画像の回転角度（表示角度）に関する角度情報を角度情報取得部２０７に出力し、その角度情報を角度情報取得部２０７が取得する（Ｓ１３）。
　Ｓ１３の後、又は、Ｓ１２の判定結果がＮＯの場合、撮像信号取得部２０４は、内視鏡１０の撮像部１０３に依り生成された撮像信号を取得する（Ｓ１４）。
　次に、内視鏡画像生成部２０８は、Ｓ１４で取得された撮像信号に基づいて内視鏡画像を生成し（Ｓ１５）、その内視鏡画像とＳ１３で最後に取得された角度情報（表示用画像出力処理の開始後にＳ１３で最後に取得された角度情報）とに基づいて表示用内視鏡画像を生成する（Ｓ１６）。但し、表示用画像出力処理の開始後にＳ１３の処理が一度も行われていない場合には、Ｓ１５で生成した内視鏡画像を表示用内視鏡画像とする。
　次に、チャネル案内画像生成部２０９は、Ｓ１１で取得されたチャネル情報とＳ１３で最後に取得された角度情報とに基づいてチャネル案内画像を生成する（Ｓ１７）。但し、表示用画像出力処理の開始後にＳ１３の処理が一度も行われていない場合には、Ｓ１３で最後に取得された角度情報が表示角度０°を示す角度情報であったとして、チャネル案内画像を生成する。
　次に、表示用画像生成部２１０は、Ｓ１６で生成された表示用内視鏡画像と、Ｓ１７で生成されたチャネル案内画像と、を含む表示用画像を生成する（Ｓ１８）。
　次に、表示用画像出力部２１１は、Ｓ１８で生成された表示用画像を表示装置３０に出力する（Ｓ１９）。表示装置３０は、Ｓ１９で内視鏡装置２０から出力された表示用画像が入力されると、その表示用画像を表示部３０１が表示する。これに依り、表示用内視鏡画像とチャネル案内画像とを含む表示用画像が表示される。
　次に、制御部２０３は、処理を終了するか否かを判定する（Ｓ２０）。この判定は、例えば、内視鏡装置２０の電源オフ指示に係る操作信号が操作信号処理部２０６に入力されたか否かに基づいて行われる。
　Ｓ２０の判定結果がＮＯの場合は処理がＳ１２に戻り、Ｓ２０の判定結果がＹＥＳの場合は表示用画像出力処理が終了する。
　図５は、図４に例示した表示用画像出力処理に依り出力されて表示装置３０に依り表示された、内視鏡画像回転指示前後の表示用画像を例示する図である。
　この例では、内視鏡１０の挿入部１０２に形成されたチャネルが３つであるとする。また、内視鏡画像回転指示として、内視鏡画像を１８０°回転（回転表示）させる指示が行われたとする。
　図５において、上側に例示した表示用画像５０１ａは、内視鏡画像回転指示前の表示用画像であり、表示用内視鏡画像（表示角度０°の内視鏡画像）５０２ａとチャネル案内画像５０３ａを含む。チャネル案内画像５０３ａ内のガイド５０４ａ、５０５ａ、５０６ａは、内視鏡画像回転指示前の時点（内視鏡画像の表示角度が０°である時）におけるチャネルの出口位置を案内するガイドである。
　下側に例示した表示用画像５０１ｂは、内視鏡画像回転指示後の表示用画像であり、表示用内視鏡画像（表示角度１８０°の内視鏡画像）５０２ｂとチャネル案内画像５０３ｂを含む。チャネル案内画像５０３ｂ内のガイド５０４ｂ、５０５ｂ、５０６ｂは、内視鏡画像回転指示後の時点（内視鏡画像の表示角度が１８０°である時）におけるチャネルの出口位置を案内するガイドである。
　図５に例示したとおり、内視鏡画像回転指示が行われたことに応じて、表示用内視鏡画像５０２が１８０°回転表示されると共にチャネル案内画像５０３内のガイド５０４、５０５、５０６の位置が変更される。なお、チャネル案内画像５０３内の３つの数値は、３つのチャネル出口の径を示している。このチャネル出口の径に関する情報は、例えば、上述のチャネル情報に含まれている。
　これに依り、術者は、チャネル案内画像５０３を確認することで、内視鏡画像回転指示前は勿論のこと内視鏡画像回転指示後においても、チャネル出口位置を把握することができる。例えば、径が「３．６」のチャネルが処置具Ａ用チャネルである場合、内視鏡画像回転指示前では、表示用内視鏡画像５０２ａ内に処置具Ａが進入してくる方向が上方向からであることを容易に把握することができる。また、内視鏡画像回転指示後では、表示用内視鏡画像５０２ａ内に処置具Ａが進入してくる方向が下方向からであることを容易に把握することができる。
　なお、内視鏡装置２０に依り生成され表示装置３０に表示される表示用画像は、図５に例示した形態に限らない。
　例えば、表示用画像は、内視鏡１０に関する情報（名称や型番等）を表示する内視鏡情報ウィンドウを更に含み、その内視鏡情報ウィンドウ内にチャネル案内画像が表示されてもよい。この場合は、内視鏡画像が回転表示されている場合に限り、内視鏡画像が回転表示されていることを示すアイコンが内視鏡情報ウィンドウ内に更に表示されてもよいし、そのアイコン自体も内視鏡画像の回転角度に合わせて回転表示されてもよい。こういった内視鏡情報ウィンドウは、表示用内視鏡画像と重ならない位置に表示されてもよい。
　また、例えば、表示用画像は、チャネル情報を表示するチャネル情報ウィンドウを更に含み、そのチャネル情報ウィンドウ内にチャネル案内画像が表示されてもよい。この場合も、内視鏡画像が回転表示されている場合に限り、内視鏡画像が回転表示されていることを示すアイコンがチャネル情報ウィンドウ内に更に表示されてもよいし、そのアイコン自体も内視鏡画像の回転角度に合わせて回転表示されてもよい。こういったチャネル情報ウィンドウは、観察の妨げにならない位置であれば、表示用内視鏡画像上に重畳表されてもよい。
　また、例えば、表示用画像は、こういった内視鏡情報ウィンドウとチャネル情報ウィンドウの両方を含んでもよい。この場合は、術者等の設定指示に依り、チャネル情報ウィンドウの表示を、例えば、常時表示／２秒表示／表示しない、の何れかから選択できる構成としてもよい。
　なお、上述の表示用画像において、表示用内視鏡画像の形状は、８角形に限らず、例えば円形でもよい。この場合は、チャネル案内画像の形状も円形としてもよい。
　以上のとり、本実施形態に依れば、表示装置３０に表示させる内視鏡画像を術者等の指示に応じて回転させる場合であっても、内視鏡画像内に処置具等が進入してくる方向を術者等が容易に把握することができる。
　なお、本実施形態において、内視鏡装置２０の制御部２０３は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路に依り実現されてもよい。
　また、内視鏡装置２０の記憶部２０１、操作部２０２、及び制御部２０３等は、図６に例示するハードウェア構成を有するコンピュータに依り実現されてもよい。
　図６は、コンピュータのハードウェア構成を例示する図である。
　図６に例示したとおり、コンピュータ７００は、ＣＰＵ（Central Processing Unit）等のプロセッサ７０１、メモリ７０２、補助記憶装置７０３、入力装置７０４、表示装置７０５、入出力インタフェース７０６、通信制御装置７０７、及び媒体駆動装置７０８を備える。コンピュータ７００におけるこれらの要素７０１～７０８は、バス７０９に依り相互に接続されており、要素間でのデータの受け渡しができる。
　プロセッサ７０１は、プログラムを実行することに依りコンピュータ７００の全体の動作を制御する。例えば、プロセッサ７０１は、図２に例示した制御部２０３の機能を実現するためのプログラムを実行する。これに依り、例えば、図４に例示した表示用画像出力処理が実行される。
　メモリ７０２は、図示しないＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。メモリ７０２のＲＯＭには、プロセッサ７０１が実行するプログラム等が予め記録されている。メモリ７０２のＲＯＭは、図２に例示した制御部２０３の機能を実現するためのプログラムの記録に利用できる。メモリ７０２のＲＡＭは、プロセッサ７０１のワークエリア等として使用される。
　補助記憶装置７０３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気ディスク、及びフラッシュメモリ等の不揮発性メモリである。補助記憶装置７０３には、プロセッサ７０１に依り実行されるプログラム等を記憶させることができる。補助記憶装置７０３も、図２に例示した制御部２０３の機能を実現するためのプログラムの記録に利用できる。
　入力装置７０４は、例えば、キーボード、マウス、及びタッチパネル等である。コンピュータ７００のオペレータが入力装置７０４に対し所定の操作を行うと、入力装置７０４は、その操作内容に対応付けられている入力情報をプロセッサ７０１に送信する。入力装置７０４は、操作部２０２として利用できる。
　表示装置７０５は、例えば、液晶表示装置である。表示装置７０５は、表示装置３０としても利用できる。
　入出力インタフェース７０６は、コンピュータ７００と、電子部品や外部機器とを接続する。入出力インタフェース７０６は、内視鏡１０や表示装置３０との接続に利用できる。
　通信制御装置７０７は、コンピュータ７００をネットワークに接続し、ネットワークを経由してコンピュータ７００と外部装置（サーバ等）との各種通信を制御する。通信制御装置７０７は、内視鏡装置２０をネットワークに接続し、ネットワークを経由した内視鏡装置２０とサーバとの各種通信の制御に利用できる。
　媒体駆動装置７０８は、可搬型記録媒体７１０に記録されているプログラムやデータの読み出しを行ったり、補助記憶装置７０３に記憶されたデータ等の可搬型記録媒体７１０への書き込みを行ったりする。可搬型記録媒体７１０も、図２に例示した制御部２０３の機能を実現するためのプログラムの記録に利用できる。可搬型記録媒体７１０としては、例えば、Secure  Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）がある。また、コンピュータ７００が媒体駆動装置７０８として利用できる光ディスクドライブを搭載している場合、当該光ディスクドライブで認識できる各種の光ディスクを可搬型記録媒体７１０として利用できる。可搬型記録媒体７１０として利用できる光ディスクには、例えば、Compact  Disc（ＣＤ）、Digital  Versatile  Disc（ＤＶＤ）、Blu-ray  Disc（Blu-rayは登録商標）等がある。
　また、本実施形態において、内視鏡システム１は、図１に例示した形態に限らず、所謂携帯型軟性内視鏡の如く、内視鏡１０、内視鏡装置２０、及び表示装置３０が一体として構成されてもよい。また、内視鏡システム１において、内視鏡１０と内視鏡装置２０が一体として構成されてもよいし、内視鏡装置２０と表示装置３０が一体として構成されてもよい。また、内視鏡システム１において、内視鏡装置２０を、ネットワークに接続されたコンピュータ（サーバ等）に依り実現し、内視鏡１０と内視鏡装置２０並びに内視鏡装置２０と表示装置３０がネットワークを経由して接続される構成としてもよい。
　以上、実施形態について説明したが、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。
１　　　　　　内視鏡システム
１０　　　　　内視鏡
２０　　　　　内視鏡装置
３０　　　　　表示装置
１０１　　　　操作部
１０２　　　　挿入部
１０２ａ　　　先端部
１０２ｂ　　　先端面
１０３　　　　撮像部
１０４　　　　記憶部
２０１　　　　記憶部
２０２　　　　操作部
２０３　　　　制御部
２０４　　　　撮像信号取得部
２０５　　　　チャネル情報取得部
２０６　　　　操作信号処理部
２０７　　　　角度情報取得部
２０８　　　　内視鏡画像生成部
２０９　　　　チャネル案内画像生成部
２１０　　　　表示用画像生成部
２１１　　　　表示用画像出力部
３０１　　　　表示部
４０１、４０２　チャネル案内画像
４０１ａ、４０１ｂ、４０２ａ、４０２ｂ　ガイド
５０１ａ、５０１ｂ　表示用画像
５０２、５０２ａ、５０２ｂ　表示用内視鏡画像
５０３、５０３ａ、５０３ｂ　チャネル案内画像
５０４、５０４ａ、５０４ｂ、５０５、５０５ａ、５０５ｂ　ガイド
５０６、５０６ａ、５０６ｂ　ガイド
７００　　　　コンピュータ
７０１　　　　プロセッサ
７０２　　　　メモリ
７０３　　　　補助記憶装置
７０４　　　　入力装置
７０５　　　　表示装置
７０６　　　　入出力インタフェース
７０７　　　　通信制御装置
７０８　　　　媒体駆動装置
７０９　　　　バス
７１０　　　　可搬型記録媒体
 

Claims (10)

  1. 　挿入部の先端部に備えられた撮像部に依り生成された撮像信号に基づいて内視鏡画像を生成する内視鏡画像生成部と、
    　前記挿入部に形成されたチャネルに関するチャネル情報を取得するチャネル情報取得部と、
    　前記内視鏡画像の表示角度に関する角度情報を取得する角度情報取得部と、
    　前記角度情報と前記内視鏡画像とに基づいて生成された表示用内視鏡画像と、前記角度情報と前記チャネル情報とに基づいて生成されたチャネル案内画像と、を含む表示用画像を出力する表示用画像出力部と、
    　を備えることを特徴とする内視鏡装置。
  2. 　前記表示用内視鏡画像は、前記角度情報が示す表示角度で前記内視鏡画像を回転させた画像であり、
    　前記チャネル案内画像は、前記内視鏡画像の表示角度が、前記角度情報が示す表示角度である時の前記チャネルの出口位置を案内する画像である、
    　ことを特徴とする請求項１記載の内視鏡装置。
  3. 　前記チャネル情報取得部は、前記挿入部を有する内視鏡から前記チャネル情報を取得する、
    　ことを特徴とする請求項１又は２記載の内視鏡装置。
  4. 　前記チャネル情報を記憶する記憶部、
    　を更に備え、
    　前記チャネル情報取得部は、前記記憶部から前記チャネル情報を取得する、
    　ことを特徴とする請求項１又は２記載の内視鏡装置。
  5. 　前記記憶部は、内視鏡の種別毎にチャネル情報を記憶し、
    　前記チャネル情報取得部は、前記挿入部を有する内視鏡の種別に対応するチャネル情報を前記記憶部から取得する、
    　ことを特徴とする請求項４記載の内視鏡装置。
  6. 　前記チャネル情報は、前記内視鏡画像の表示角度が所定の角度である時の前記チャネルの出口位置の角度に関する情報を含む、
    　ことを特徴とする請求項１乃至５の何れか１項に記載の内視鏡装置。
  7. 　前記チャネル情報は、前記内視鏡画像の表示角度が所定の角度である時の前記チャネル案内画像を含む、
    　ことを特徴とする請求項１乃至５の何れか１項に記載の内視鏡装置。
  8. 　前記所定の角度は、０°又は異なる複数の角度の各々である、
    　ことを特徴とする請求項６又７記載の内視鏡装置。
  9. 　挿入部の先端部に備えられた撮像部に依り生成された撮像信号に基づいて内視鏡画像を生成し、
    　前記挿入部に形成されたチャネルに関するチャネル情報を取得し、
    　前記内視鏡画像の表示角度に関する角度情報を取得し、
    　前記角度情報と前記内視鏡画像とに基づいて生成された表示用内視鏡画像と、前記角度情報と前記チャネル情報とに基づいて生成されたチャネル案内画像と、を含む表示用画像を出力する、
    　ことを特徴とする表示用画像出力方法。
  10. 　挿入部の先端部に備えられた撮像部に依り生成された撮像信号に基づいて内視鏡画像を生成し、
    　前記挿入部に形成されたチャネルに関するチャネル情報を取得し、
    　前記内視鏡画像の表示角度に関する角度情報を取得し、
    　前記角度情報と前記内視鏡画像とに基づいて生成された表示用内視鏡画像と、前記角度情報と前記チャネル情報とに基づいて生成されたチャネル案内画像と、を含む表示用画像を出力する、
    　という処理をコンピュータに実行させることを特徴とするプログラム。
     
PCT/JP2019/043245 2019-11-05 2019-11-05 内視鏡装置、表示用画像出力方法、及びプログラム WO2021090358A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980101975.4A CN114667093A (zh) 2019-11-05 2019-11-05 内窥镜装置、显示用图像输出方法以及程序
JP2021554434A JP7210765B2 (ja) 2019-11-05 2019-11-05 内視鏡装置、表示用画像出力方法、プログラム、及び内視鏡システム
PCT/JP2019/043245 WO2021090358A1 (ja) 2019-11-05 2019-11-05 内視鏡装置、表示用画像出力方法、及びプログラム
US17/736,455 US20220264031A1 (en) 2019-11-05 2022-05-04 Endoscopic device, display image output method, computer-readable medium, and endoscopic system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/043245 WO2021090358A1 (ja) 2019-11-05 2019-11-05 内視鏡装置、表示用画像出力方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/736,455 Continuation US20220264031A1 (en) 2019-11-05 2022-05-04 Endoscopic device, display image output method, computer-readable medium, and endoscopic system

Publications (1)

Publication Number Publication Date
WO2021090358A1 true WO2021090358A1 (ja) 2021-05-14

Family

ID=75849664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043245 WO2021090358A1 (ja) 2019-11-05 2019-11-05 内視鏡装置、表示用画像出力方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220264031A1 (ja)
JP (1) JP7210765B2 (ja)
CN (1) CN114667093A (ja)
WO (1) WO2021090358A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033081A1 (ja) * 2021-08-31 2023-03-09 株式会社OPExPARK 医療映像編集システム、医療映像編集サーバ、医療映像編集プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116772A (ja) * 2001-10-18 2003-04-22 Olympus Optical Co Ltd 内視鏡装置及び内視鏡用フード部材
WO2006103846A1 (ja) * 2005-03-29 2006-10-05 Olympus Medical Systems Corp. 電子内視鏡用信号処理装置及び電子内視鏡装置
JP2014042660A (ja) * 2012-08-27 2014-03-13 Olympus Medical Systems Corp 医用システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3820244B2 (ja) * 2003-10-29 2006-09-13 オリンパス株式会社 挿入支援システム
JP4537756B2 (ja) * 2004-04-30 2010-09-08 オリンパス株式会社 超音波診断装置
EP3178369A4 (en) * 2014-08-08 2018-08-01 Olympus Corporation Capsule medical device guidance system
JP2018139846A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6749473B2 (ja) * 2017-03-30 2020-09-02 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116772A (ja) * 2001-10-18 2003-04-22 Olympus Optical Co Ltd 内視鏡装置及び内視鏡用フード部材
WO2006103846A1 (ja) * 2005-03-29 2006-10-05 Olympus Medical Systems Corp. 電子内視鏡用信号処理装置及び電子内視鏡装置
JP2014042660A (ja) * 2012-08-27 2014-03-13 Olympus Medical Systems Corp 医用システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033081A1 (ja) * 2021-08-31 2023-03-09 株式会社OPExPARK 医療映像編集システム、医療映像編集サーバ、医療映像編集プログラム

Also Published As

Publication number Publication date
US20220264031A1 (en) 2022-08-18
JP7210765B2 (ja) 2023-01-23
JPWO2021090358A1 (ja) 2021-05-14
CN114667093A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
JP4813349B2 (ja) 内視鏡システム
EP1815810B1 (en) Endoscopy system
JP6073992B2 (ja) カテーテルベースの軸外光コヒーレンストモグラフィイメージングシステム
JP5295555B2 (ja) 内視鏡システム
US20040127769A1 (en) Interface for a variable direction-of-view endoscope
JP7160033B2 (ja) 入力制御装置、入力制御方法、および手術システム
JP2007319622A (ja) 内視鏡装置
EP2979610B1 (en) Endoscope system
JP6654006B2 (ja) 医療用観察装置
US20150230775A1 (en) Imaging apparatus for diagnosis, information processing apparatus, and control method therefor
WO2021090358A1 (ja) 内視鏡装置、表示用画像出力方法、及びプログラム
US20110125021A1 (en) Acoustic imaging apparatus with hands-free control
US20140066710A1 (en) Devices and methods for intraoperative control of endoscopic imaging
WO2017010156A1 (ja) 医療用観察装置及び医療用観察方法
JP5319040B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP2009125309A (ja) 内視鏡操作装置及び内視鏡並びに内視鏡システム
WO2020039593A1 (ja) 画像記録再生装置及び内視鏡システム
CN111770716A (zh) 医疗系统和医疗系统的控制方法
WO2021024754A1 (ja) 内視鏡システム、制御装置、および制御方法
JP3610265B2 (ja) 内視鏡装置
JP2007082630A (ja) 統合手術室制御システム
JPWO2021090358A5 (ja) 内視鏡装置、表示用画像出力方法、プログラム、及び内視鏡システム
JP4647972B2 (ja) 内視鏡形状検出装置
US20230149100A1 (en) Control apparatus, medical central control system, and surgery-related information display method
JP7451707B2 (ja) 制御装置、データログの表示方法及び医療用集中制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952088

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554434

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19952088

Country of ref document: EP

Kind code of ref document: A1