WO2020178962A1 - 内視鏡システムおよび画像処理装置 - Google Patents

内視鏡システムおよび画像処理装置 Download PDF

Info

Publication number
WO2020178962A1
WO2020178962A1 PCT/JP2019/008466 JP2019008466W WO2020178962A1 WO 2020178962 A1 WO2020178962 A1 WO 2020178962A1 JP 2019008466 W JP2019008466 W JP 2019008466W WO 2020178962 A1 WO2020178962 A1 WO 2020178962A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
image
unit
endoscope
display device
Prior art date
Application number
PCT/JP2019/008466
Other languages
English (en)
French (fr)
Inventor
智樹 岩崎
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2019/008466 priority Critical patent/WO2020178962A1/ja
Priority to CN201980087161.XA priority patent/CN113271838A/zh
Priority to JP2021503298A priority patent/JP7230174B2/ja
Publication of WO2020178962A1 publication Critical patent/WO2020178962A1/ja
Priority to US17/350,657 priority patent/US20210307587A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an endoscope system including an endoscope and an image processing device.
  • an endoscope system is used for observing the inside of a subject.
  • an endoscope inserts a flexible insertion portion having an elongated shape into a subject such as a patient, illuminates the illumination light supplied by a light source device from the tip of the insertion portion, and reflects the illumination light.
  • An in-vivo image is captured by receiving light at the imaging unit at the tip of the insertion unit.
  • the in-vivo image captured by the imaging unit of the endoscope is displayed on the display of the endoscope system after being subjected to predetermined image processing in the processing device of the endoscope system.
  • a user such as a doctor observes the organ of the subject based on the in-vivo image displayed on the display.
  • the processing time from the acquisition of the internal image to the generation of the image data for display differs depending on the type of image and the type of image processing. If the processing time is long, the time lag from the image picked up by the endoscope to the display on the display device also becomes long. If the time lag becomes long, there may be a gap between the actual position of the endoscope inside the subject and the position of the endoscope recognized by the operator by looking at the display device, and treatment at an appropriate position may not be possible. ..
  • Patent Document 1 Regarding the display time lag, there is known a technique for processing signals in consideration of the processing delay of the device (for example, refer to Patent Document 1).
  • Patent Document 1 by synchronizing the image processing device and the processor, the images displayed by the display devices connected to each are synchronized.
  • Patent Document 1 only the display images of the display devices connected to different processing devices are aligned, and it is possible to suppress the deviation between the actual position of the endoscope and the position recognized by the operator. Can not. Further, in Patent Document 1, the processing time in the endoscope and the display device is not considered. In the processing in the endoscope system, the time required for signal processing in the endoscope and the display device also differs depending on the type of image and the type of device as in the processing device.
  • the present invention has been made in view of the above, and is capable of suppressing the deviation between the actual position of the endoscope and the position of the endoscope recognized by the operator who sees the display image. It is an object of the present invention to provide a system and an image processing apparatus.
  • an endoscope system includes an endoscope that images a subject and outputs an imaging signal, and the imaging that is input from the endoscope.
  • An image processing device that performs image processing on a signal, and a display device that displays an image of the subject based on the imaging signal that has been subjected to image processing by the image processing device, and the endoscope,
  • a first processing time which is provided in either the image processing device or the display device and is required for generating and outputting the image pickup signal in the endoscope, and the image pickup signal is input in the image processing device.
  • the endoscope photoelectrically converts the received light, and an imaging element that generates the imaging signal by reading the photoelectrically converted electrical signal
  • a first processing unit that performs signal processing on the image pickup signal generated by the image pickup device, and the image processing apparatus is configured to provide a plurality of types of image pickup signals input from the endoscope.
  • a second processing unit that performs processing, the display device includes a third processing unit that performs processing related to image display based on the imaging signal input from the image processing apparatus,
  • the total processing time detection unit includes a first processing time required for processing by the image sensor and the first processing unit, a second processing time required for processing by the second processing unit, and the third processing time. The processing unit sums up the third processing time required for processing.
  • the endoscope system when the total calculated by the total processing time detection unit is equal to or more than a predetermined threshold value in the above invention, the current position of the endoscope and the display thereof. It is further characterized by further comprising a notifying unit for notifying that there is a deviation from the position of the endoscope recognized from the image of the subject displayed on the apparatus.
  • the image processing apparatus when the total processing time calculated by the total processing time detection unit is equal to or more than a predetermined threshold value, the image processing apparatus performs the second processing.
  • the unit is further provided with a control unit for performing intermittent processing by thinning out a part of the processing performed by the second processing unit.
  • the image processing device includes a reference image data output unit configured to output preset reference image data to the display device, and the reference image data output unit.
  • a phase comparison unit that obtains the third processing time required for processing by the third processing unit by comparing the phases of the first and second processing units, and the total processing time detection unit includes the first and second processing units. And the third processing time acquired by the phase comparison unit is calculated.
  • the total processing time detecting unit includes the first processing time stored in the endoscope and the first processing time stored in the image processing apparatus. It is characterized in that the sum of the processing time of 2 and the third processing time stored in the display device is calculated.
  • the image processing apparatus is connected to an endoscope that images a subject and outputs an image pickup signal, and a display device that displays an image of the subject, and inputs from the endoscope.
  • An image processing apparatus that performs image processing on the image pickup signal, wherein a first processing time required to generate and output the image pickup signal in the endoscope, and the image pickup signal in the image processing apparatus Second processing time required for processing from input to output to the display device, and processing from input of the image pickup signal in the display device to display of the image based on the image pickup signal It is characterized by comprising a total processing time detection unit for calculating a total sum with the third processing time.
  • the present invention it is possible to suppress the deviation between the actual position of the endoscope and the position of the endoscope recognized by the operator who views the display image.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the endoscope system according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration of an image processing unit included in the endoscope system according to the first embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an image displayed by image processing performed by the endoscope system according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart showing a delay detection process performed by the endoscope system according to the first embodiment of the present invention.
  • FIG. 6 is a flowchart showing a delay detection process performed by the endoscope system according to the second embodiment of the present invention.
  • FIG. 7 is a flowchart showing a delay detection process performed by the endoscope system according to the third embodiment of the present invention.
  • FIG. 8 is a block diagram showing a schematic configuration of the endoscope system according to the fourth embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a delay time acquisition process performed by the endoscope system according to the fourth embodiment of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the endoscope system according to the first embodiment.
  • the endoscope system 1 shown in FIGS. 1 and 2 generates an endoscope 2 that captures an image of a subject by inserting a tip portion into the subject, and an illumination light emitted from the tip of the endoscope 2.
  • a processing device 3 that has an illumination unit 3a, performs predetermined signal processing on an image pickup signal picked up by the endoscope 2, and controls the overall operation of the endoscope system 1 in general, and signal processing of the processing device 3.
  • a display device 4 for displaying the in-vivo image generated by.
  • the endoscope 2 includes a flexible elongated insertion portion 21, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives various operation signals, and an operation portion 22 through the insertion portion.
  • a universal cord 23 that extends in a direction different from the extending direction of 21 and incorporates various cables that connect to the processing device 3 (including the lighting unit 3a) is provided.
  • the insertion portion 21 is a bendable portion composed of a tip portion 24 having a built-in image pickup element 244 in which pixels that generate a signal by receiving light and performing photoelectric conversion are arranged in a two-dimensional manner, and a plurality of bending pieces.
  • the bending portion 25 and a flexible elongated flexible tube portion 26 connected to the base end side of the bending portion 25 are included.
  • the insertion unit 21 is inserted into the body cavity of the subject and images a subject such as a biological tissue at a position where outside light does not reach by the image sensor 244.
  • the tip portion 24 includes a light guide 241 configured by using a glass fiber or the like and forming a light guide path for light emitted by the illumination portion 3a, an illumination lens 242 provided at the tip of the light guide 241, and optics for condensing light.
  • Correlated Double Sampling (CDS) method with an imaging element 244 provided at the imaging position of the system 243 and the optical system 243 and receiving the condensed light of the optical system 243 and converting it into an electric signal by photoelectric conversion.
  • the CDS unit 245 that reduces the noise component contained in the analog imaging signal using the above, the A / D conversion unit 246 that converts the analog imaging signal output via the CDS unit 245 into a digital signal, and the memory 247. Have.
  • the optical system 243 is configured by using one or more lenses, and has an optical zoom function for changing the angle of view and a focus function for changing the focus.
  • the image sensor 244 photoelectrically converts the light from the optical system 243 to generate an electric signal (image signal).
  • a plurality of pixels each having a photodiode that accumulates charges according to the amount of light, a capacitor that converts charges transferred from the photodiode into a voltage level, and the like are arranged in a matrix
  • the light receiving unit 244a in which each pixel photoelectrically converts the light from the optical system 243 to generate an electric signal, and the electric signal generated by the pixel arbitrarily set as the reading target among the plurality of pixels of the light receiving unit 244a are sequentially read out.
  • a reading section 244b for outputting as an image pickup signal.
  • the image pickup device 244 outputs an image pickup signal including image data forming information of a display image.
  • the image sensor 244 is realized by using, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the memory 247 stores an execution program and a control program for the image sensor 244 to perform various operations, identification information of the endoscope 2, and a delay time required for signal processing in the endoscope 2.
  • the identification information includes unique information (ID) of the endoscope 2, a model year, spec information, a transmission method, and the like. Further, the memory 247 may temporarily store the image data and the like generated by the image sensor 244.
  • the delay time corresponds to the delay time of data transmission due to signal processing, and is set here by the number of frames. Specifically, the delay time is a value obtained by converting the time from the start of reading by the reading unit 244b to the completion of the conversion processing of the A/D conversion unit 246 into the number of frames.
  • the memory 247 is composed of a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, and the like.
  • the operation unit 22 includes a bending knob 221 that bends the curved part 25 in the vertical and horizontal directions, and a treatment tool insertion part 222 that inserts a treatment tool such as a biopsy forceps, an electric knife, and an inspection probe into the body cavity of the subject.
  • a treatment tool such as a biopsy forceps, an electric knife, and an inspection probe into the body cavity of the subject.
  • switches 223 which are operation input/output units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, screen display control and the like.
  • the treatment instrument inserted from the treatment instrument insertion portion 222 is exposed from the opening (not shown) via the treatment instrument channel (not shown) of the distal end portion 24.
  • the universal cord 23 has at least a built-in light guide 241 and a collective cable 248 that bundles a plurality of signal lines.
  • the collecting cable 248 includes information including a signal line for transmitting an image pickup signal, a signal line for transmitting a drive signal for driving the image pickup element 244, and unique information about the endoscope 2 (image pickup element 244). Includes signal lines for transmitting and receiving. In the present embodiment, description is made assuming that an electric signal is transmitted using a signal line, but an optical signal may be transmitted, or the endoscope 2 and the processing device 3 may be wirelessly communicated. Signals may be transmitted between them.
  • the processing device 3 includes an illumination unit 3a and a processor unit 3b.
  • the processor unit 3b includes an image processing unit 31, a first communication unit 32, a total delay time detection unit 33, a synchronization signal generation unit 34, a second communication unit 35, an input / output unit 36, and a control unit 37. , A storage unit 38.
  • the processor unit 3b corresponds to an image processing device.
  • the lighting unit 3a includes a light source unit 310 and a lighting control unit 320.
  • the light source unit 310 is configured by using a light source that emits illumination light, a plurality of lenses, a filter that passes light of a predetermined wavelength band, and the like, and emits illumination light of light of a predetermined wavelength band.
  • the light source unit 310 includes a light source 310a, a light source driver 310b, a rotation filter 310c, a drive unit 310d, and a drive driver 310e.
  • the light source unit 310 is configured by using a white LED and one or more lenses, and emits white light to the rotary filter 310c under the control of the light source driver 310b.
  • the white light generated by the light source 310a is emitted from the tip of the tip portion 24 toward the subject via the rotation filter 310c and the light guide 241.
  • the light source driver 310b emits white light to the light source 310a by supplying a current to the light source 310a under the control of the illumination control unit 320.
  • the rotary filter 310c is arranged on the optical path of the white light emitted from the light source 310a, and rotates to transmit only the light in the predetermined wavelength band of the white light emitted from the light source 310a.
  • the rotary filter 310c includes a red filter 311 that transmits light having wavelength bands of red light (R), green light (G), and blue light (B), a green filter 312, and a blue filter 313. ..
  • the rotation filter 310c sequentially transmits light in the red, green, and blue wavelength bands (for example, red: 600 nm to 700 nm, green: 500 nm to 600 nm, blue: 400 nm to 500 nm).
  • any one of the red light (R illumination), the green light (G illumination), and the blue light (B illumination) is sequentially emitted to the endoscope 2. It is possible (field sequential method).
  • the drive unit 310d is configured by using a stepping motor, a DC motor, or the like, and rotates the rotation filter 310c.
  • the drive driver 310e supplies a predetermined current to the drive unit 310d under the control of the lighting control unit 320.
  • the lighting control unit 320 controls the amount of current supplied to the light source 310a based on the control signal from the control unit 37. Under the control of the control unit 37, the illumination control unit 320 drives the drive unit 31d via the light source driver 310b to rotate the rotary filter 310c.
  • the light source 310a may be composed of red LEDs, green LEDs, and blue LEDs, and the light source driver 310b may supply a current to each LED to sequentially emit red light, green light, or blue light. ..
  • a white LED, a red LED, a green LED, and a blue LED emit light simultaneously, or a discharge lamp such as a laser or a xenon lamp irradiates a subject with white light to acquire an image. Good.
  • the image processing unit 31 receives from the endoscope 2 an image pickup signal of illumination light of each color imaged by the image pickup element 244.
  • the image processing unit 31 performs predetermined image processing on the image pickup signal received from the endoscope 2 to generate an image pickup signal for display and outputs it to the display device 4.
  • the image processing unit 31 performs specific functions such as a general-purpose processor such as a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array) which is a programmable logic device whose processing contents can be rewritten. It is configured by one or a combination of dedicated processors such as various arithmetic circuits to be executed.
  • FIG. 3 is a diagram illustrating a configuration of an image processing unit included in the endoscope system according to the first embodiment of the present invention.
  • the image processing unit 31 includes a D / A conversion unit 501, a dimming detection unit 502, an AGC (Automatic Gain Control) unit 503, a noise removal unit 504, a white balance (WB) processing unit 505, and a freeze processing unit.
  • 506 gamma processing unit 507, color matrix processing unit 508, enlargement / reduction processing unit 509, emphasis processing unit 510, A / D conversion unit 511, first frame memory 521, and second frame memory 522. , A third frame memory 523.
  • the D / A conversion unit 501 converts the digital imaging signal input from the endoscope 2 into an analog signal.
  • the image processing unit 51 performs various processes on the data related to the image display (image data) among the data included in the image pickup signal.
  • the dimming detection unit 502 detects the brightness level corresponding to each image based on the RGB image information included in the image data input from the D/A conversion unit 501.
  • the dimming detection unit 502 sets light emission conditions such as the amount of light generated by the illumination unit 3a and the light emission timing based on the detected brightness level.
  • the AGC unit 503 performs processing on the image data to maintain a constant output level by adjusting the amplification factor (gain) of the signal value.
  • the AGC section 503 performs gain adjustment according to the light emission conditions set by the dimming detection section 502.
  • the noise removal unit 504 performs noise reduction processing on the image data input from the AGC unit 503.
  • the noise removal unit 504 refers to, for example, the first frame memory 521 to acquire the image data of the previous frame, and removes noise using the acquired image data and the image data to be subjected to the noise removal processing.
  • a known method can be used for the noise reduction processing.
  • the WB processing unit 505 performs a white balance correction process on the image data after the noise removal process.
  • a known method can be used for the white balance correction process.
  • the freeze processing unit 506 When the freeze processing unit 506 receives the input of the freeze instruction signal by pressing the switch 223, the freeze processing unit 506 refers to the second frame memory 522 and selects image data to be freeze-displayed on the display device 4. The freeze processing unit 506 outputs the selected image data to the gamma processing unit 507. The freeze processing unit 506 selects, for example, image data with a small blur from the image data stored in the second frame memory 522. On the other hand, when the freeze processing unit 506 has not received the input of the freeze instruction signal, the freeze processing unit 506 outputs the predetermined image data in the second frame memory 522, for example, the image data with the latest acquisition (imaging) time, to the gamma processing unit 507.
  • the freeze processing unit 506 may acquire the image data from the WB processing unit 505 when acquiring the latest image data. After selecting the image data to be frozen, the freeze processing unit 506 performs only the process of outputting the image data input from the WB processing unit 505 to the second frame memory 522 within the still image display period by the freeze processing. .. After the freeze processing is released, the freeze processing unit 506 selects the latest image data from the second frame memory 522 including the image data newly input from the WB processing unit 505. For this reason, the image displayed on the display device 4 after the freeze process is an image in which the latest image data in the still image display period due to the freeze process has been omitted and which has a time series gap from that before the freeze process. become. By omitting a predetermined number of frames of image data, in the images displayed before and after the freeze process, the change in the subject image may be larger than that in the case where moving images of adjacent images in time series are displayed.
  • the gamma processing unit 507 performs gamma correction processing on the image data input from the freeze processing unit 506.
  • the gamma processing unit 507 performs gradation correction on the image data by using a preset gamma value to brighten the brightness of a dark portion having low brightness.
  • a known method can be used for the gamma correction process.
  • the color matrix processing unit 508 performs color correction on the image data input from the gamma processing unit 507 in order to improve the color reproducibility.
  • the color matrix processing unit 508 manages, for image data, different colors of different devices in a unified manner.
  • the color matrix processing unit 508 manages, for example, the colors between the endoscope 2, the processing device 3, and the display device 4 in a unified manner.
  • the color matrix processing unit 508 is configured using CMS (Color Management System). A known method can be used for the color matrix processing.
  • the enlargement/reduction processing unit 509 performs a process of changing the size of the image data according to a preset enlargement ratio or reduction ratio, or an enlargement ratio or reduction ratio input via the input/output unit 36.
  • the processing of the enlargement/reduction processing unit 509 can be made impossible to be enlarged or reduced depending on the setting. Whether or not the zoom processing is possible may be switched depending on the information received by the input/output unit 36, for example.
  • the emphasis processing unit 510 performs contour emphasis processing on the image data that has undergone the enlargement/reduction processing.
  • contour emphasis processing By the enhancement processing of the enhancement processing unit 510, image data in which the contour is more clearly expressed is generated.
  • a known method can be used for the contour enhancement process.
  • the A/D conversion unit 511 converts the analog image data output via the enhancement processing unit 510 into a digital signal.
  • the A/D conversion unit 511 outputs the image data after digital conversion to the display device 4 as an image pickup signal for image display.
  • the first frame memory 521, the second frame memory 522, and the third frame memory 523 store the image data generated by each connected unit for the set frame.
  • each frame memory stores several frames of image data.
  • each frame memory overwrites the oldest image data currently stored with the new image data, so that several frames are acquired in order from the newest acquisition time. Minute image data is sequentially updated and stored.
  • the first frame memory 521, the second frame memory 522, and the third frame memory 523 are configured by using RAM (Random Access Memory), for example, VRAM (Video RAM).
  • the first communication unit 32 acquires the processing time stored in the memory 247 of the endoscope 2 when the endoscope 2 is connected.
  • the first communication unit 32 is configured by using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC.
  • the total delay time detection unit 33 detects a delay time required for signal processing from generation of an imaging signal for one frame to display of image data on the display device 4 in the endoscope 2, the processing device 3, and the display device 4. .. Specifically, the total delay time detection unit 33 calculates the total delay time of the endoscope 2, the delay time of the processing device 3, and the delay time of the display device 4.
  • the value calculated by the total delay time detection unit 33 in the first embodiment is a value obtained by converting the total delay time into the number of frames.
  • the total delay time detection unit 33 is configured by using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC.
  • the synchronization signal generation unit 34 generates a clock signal (synchronization signal) that serves as a reference for the operation of the processing device 3, and uses the generated synchronization signal as the illumination unit 3 a, the image processing unit 31, the control unit 37, and the endoscope 2. Output to.
  • the sync signal generated by the sync signal generator 34 includes a horizontal sync signal and a vertical sync signal. Therefore, the illumination unit 3a, the image processing unit 31, the control unit 37, and the endoscope 2 operate in synchronization with each other by the generated synchronization signal.
  • the second communication unit 35 acquires the processing time required for signal processing in the display device 4 stored in the memory 44 of the display device 4 when the display device 4 is connected.
  • the second communication unit 35 is configured by using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC.
  • the input/output unit 36 is realized by using a keyboard, a mouse, a switch, and a touch panel, and receives input of various signals such as operation instruction signals for instructing the operation of the endoscope system 1.
  • the input/output unit 36 is realized by using at least one of a speaker and a light source, and outputs sound or light.
  • the input / output unit 36 may include a switch provided in the operation unit 22 and a portable terminal such as an external tablet computer.
  • the control unit 37 performs drive control of each component including the image sensor 244 and the illumination unit 3a, and input / output control of information to each component.
  • the control unit 37 refers to the control information data (for example, read timing) for image capturing control stored in the storage unit 38, and captures an image as a drive signal via a predetermined signal line included in the collective cable 248. Transmit to element 244.
  • the control unit 37 is configured by using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC.
  • the storage unit 38 stores various programs for operating the endoscope system 1, data including various parameters necessary for the operation of the endoscope system 1, and a delay time required for signal processing in the processing device 3. To do.
  • the storage unit 38 also stores the identification information of the processing device 3.
  • the identification information includes the unique information (ID) of the processing device 3, the model year, the specification information, and the like.
  • the processing time corresponds to a delay time of data transmission caused by signal processing in the processing device 3, and is a time period from the input of image data from the endoscope 2 to the output of the image data to the display device 4. It is a value converted into a number.
  • the storage unit 38 also includes a signal processing information storage unit 381 that stores signal processing conditions for controlling signal processing in the entire system including the endoscope 2 and the display device 4.
  • the signal processing information storage unit 381 stores, for example, one or a plurality of threshold values set for the total delay time detected by the total delay time detection unit 33.
  • the storage unit 38 also stores various programs including an image acquisition processing program for executing the image acquisition processing method of the processing device 3.
  • Various programs can be recorded on a computer-readable recording medium such as a hard disk, flash memory, CD-ROM, DVD-ROM, or flexible disk and widely distributed.
  • the various programs described above can also be obtained by downloading them via a communication network.
  • the communication network mentioned here is realized by, for example, an existing public line network, LAN (Local Area Network), WAN (Wide Area Network), or the like, and may be wired or wireless.
  • the storage unit 38 having the above configuration is realized by using a ROM (Read Only Memory) in which various programs and the like are pre-installed, and a RAM, a hard disk, and the like that store calculation parameters and data of each process.
  • ROM Read Only Memory
  • the display device 4 displays a display image corresponding to the image data received from the processing device 3 (image processing unit 31) via the video cable.
  • the display device 4 includes a display processing unit 41, a display unit 42, and a memory 44.
  • the display processing unit 41 performs predetermined processing, for example, simultaneous processing, format conversion, or the like on the image data received from the processing device 3 and outputs the image data to the display unit 42.
  • predetermined processing for example, simultaneous processing, format conversion, or the like on the image data received from the processing device 3 and outputs the image data to the display unit 42.
  • R image data based on the image data generated by the image pickup element 244 when the light source unit 310 is irradiated with the R illumination light
  • G based on the image data generated by the image pickup element 244 when the light source unit 310 is irradiated with the G illumination light.
  • This is a process in which the image data and the B image data based on the image data generated by the image pickup element 244 when the light source unit 310 is irradiated with the B illumination light are simultaneously synchronized.
  • the display unit 42 is configured by using a monitor such as a liquid crystal or an organic EL (Electro Luminescence).
  • a monitor such as a liquid crystal or an organic EL (Electro Luminescence).
  • the notification unit 43 is realized by using at least one of a speaker and a light source, and outputs sound or light.
  • the notification unit 43 emits sound and light according to the degree of display delay.
  • the processing time for storing the execution program and control program for the display device 4 to execute various operations and the processing time required for signal processing in the display device 4 is the delay time of data transmission due to the signal processing. This is a value obtained by converting the time from the input of the image data from the processing device 3 to the display on the display unit 42 into the number of frames.
  • the memory 44 is composed of a RAM, a ROM, a flash memory, and the like.
  • FIG. 4 is a diagram illustrating an image displayed by the image processing performed by the endoscope system according to the first embodiment of the present invention, and is a timing chart showing an imaging timing and a display timing.
  • the horizontal axis indicates the passage of time.
  • FIG. 4A shows an image captured by the image sensor 244 of the endoscope 2.
  • FIG. 4B shows an image displayed on the display device 4 without delay.
  • FIG. 4C shows an image displayed on the display device 4 when the display time is delayed by one frame.
  • FIG. 4D shows an image displayed on the display device 4 when the display time is delayed by two frames.
  • the endoscope 2 sequentially captures image data of one frame (see (a) of FIG. 4). Specifically, the images are sequentially captured in the order of the images F 11 , F 12 , F 13 ,..., F 16 , F 17 ,. The subject S is reflected in the images F 12 , F 13 ,..., F 16 .
  • the image data picked up by the endoscope 2 is displayed on the display device 4 through the above-described processing, if there is no delay in each processing, the image data of each frame is sequentially displayed (see FIG. 4). (See (b)). Specifically, the images F 21 , F 22 , F 23 ,..., F 26 , F 27 corresponding to the images F 11 , F 12 , F 13 ,..., F 16 , F 17 are sequentially displayed. It Each image (images F 21 , F 22 , F 23 ,..., F 26 , F 27 ,...) Is displayed on the display device 4 at the same timing as the image captured by the endoscope 2.
  • the image data of each frame is sequentially displayed with a delay by the delay.
  • the image F 11, F 12, F 13 , ⁇ , the image F 31 corresponding to F 16, F 32, F 33 , ⁇ , F 36 is an inner
  • the image is displayed on the display device 4 with a delay of one frame with respect to the timing imaged by the endoscope 2 (see (b) of FIG. 4).
  • the images F 41 , F 42 , F 43 , F 44 , and F 45 corresponding to the images F 11 , F 12 , F 13 , F 14 , and F 15 are the endoscopes.
  • the image is displayed on the display device 4 with a delay of 2 frames with respect to the timing of capturing the image in 2 (see (c) of FIG. 4).
  • the display is delayed in frame units, for example, when the display is delayed by two frames, the distal end portion 24 of the endoscope 2 is at the position where the image F 13 is captured, while the display unit 42 of the display device 4 is An image F 41 corresponding to the image F 11 is displayed.
  • there is a deviation between the actual position of the endoscope 2 and the position of the endoscope 2 which is recognized by the operator and which is identified from the image displayed on the display unit 42. appear.
  • the larger the number of delay frames the larger the shift.
  • the notification unit 43 when the above-mentioned display delay occurs, the notification unit 43 is caused to execute the notification process according to the degree of the delay.
  • FIG. 5 is a flowchart showing a delay detection process performed by the endoscope system according to the first embodiment of the present invention.
  • the processing device 3 acquires the processing information (delay time) of each device from the memories 247 and 44 (step S101).
  • step S102 following step S101 the total delay time detection unit 33 acquires the processing time (delay time) in the processing device 3 with reference to the storage unit 38, and calculates the total delay time of each device.
  • step S103 the control unit 37 compares the total delay time of each device with the threshold value to determine whether or not a delay to be notified can occur.
  • the threshold value here is set in advance and stored in the storage unit 38, and is a value determined by the number of frames. As the threshold value, for example, the number of frames of 3 or more is set. The threshold value may be set (changed) according to the information received by the input/output unit 36 and the information about the threshold value set by the user such as an operator.
  • the control unit 37 determines that the total sum of the delay times of the respective devices is equal to or greater than the threshold value, that is, the total sum causes a delay to be notified (step S103: Yes)
  • the control unit 37 proceeds to step S104.
  • the delay detection process ends.
  • step S104 the control unit 37 causes the notification unit 43 of the display device 4 to notify that the displayed image will be delayed.
  • the notification unit 43 outputs a sound or a light to inform the operator that the actual position of the endoscope 2 is deviated from the position of the endoscope 2 recognized by the operator. Inform.
  • the intensity of the notification may be changed stepwise. For example, a plurality of threshold values for notification may be set, and the loudness of sound and the intensity of light may be changed as the total delay time (number of frames) increases.
  • the input / output unit 36 may execute the notification process.
  • the delay time generated by the image generation processing in each of the endoscope 2, the processing device 3, and the display device 4 is detected, and the notification unit 43 notifies according to the detection result.
  • the operator can determine that the position of the distal end portion 24 of the endoscope 2 that he/she recognizes from the display image deviates from the actual position by the notification processing of the notification unit 43. According to the first embodiment, it is possible to suppress the deviation between the actual position of the endoscope 2 and the position of the endoscope 2 recognized by the operator who observes the display image.
  • the notification unit 43 performs the notification process according to the degree of delay has been described, but the actual position of the endoscope 2 and the endoscope recognized by the operator are displayed on the display unit 42. It may be configured to display information indicating that the position of the mirror 2 is displaced.
  • FIG. 6 is a flowchart showing a delay detection process performed by the endoscope system according to the second embodiment of the present invention. Since the endoscope system according to the second embodiment has the same configuration as the endoscope system described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the processing device 3 acquires the processing information (delay time) of each device from the memories 247 and 44 when the endoscope 2 and the display device 4 are connected (step S201).
  • step S202 following step S201 the total delay time detection unit 33 acquires the processing time (delay time) in the processing device 3 with reference to the storage unit 38, and calculates the total delay time of each device.
  • step S203 the control unit 37 compares the total delay time of each device with the threshold value to determine whether or not a delay to be notified can occur.
  • the threshold value here is the same as that of the first embodiment.
  • the control unit 37 determines that the total sum of the delay times of the devices is equal to or greater than the threshold value, that is, the total sum may cause a delay to be notified (step S203: Yes)
  • the control unit 37 proceeds to step S204.
  • step S203: No the control unit 37 proceeds to step S205.
  • step S204 the control unit 37 causes the image processing unit 31 to perform the intermittent process.
  • the intermittent processing a part of the processing is thinned according to the total delay time (the number of frames).
  • Examples of the thinning target processing include freeze processing and emphasis processing. The longer the total delay time (the larger the number of frames), the larger the number of processes to be thinned out.
  • the thinning-out priority order of each process is preset and stored in the storage unit 38.
  • the control unit 37 refers to the total delay time and this priority order to determine the thinning process.
  • the delay time may be reduced by restricting the monitor output format, or when Display Port, HDMI, DVI is used, a change to SDI or the like may be urged. By changing to SDI, the delay time can be reduced compared to Display Port, HDMI, and DVI.
  • step S205 the control unit 37 causes the image processing unit 31 to perform normal processing.
  • each unit (see FIG. 3) of the image processing unit 31 described above executes the process.
  • the delay time generated by the image generation processing in each of the endoscope 2, the processing device 3, and the display device 4 is detected, and the content of the image processing is changed according to the detection result.
  • the delay is eliminated by thinning out a part of the image processing, and as a result, the actual position of the endoscope 2 and the endoscope recognized by the operator who observes the display image are recognized. The deviation from the position of 2 can be suppressed.
  • FIG. 7 is a flowchart showing a delay detection process performed by the endoscope system according to the third embodiment of the present invention. Since the endoscope system according to the third embodiment has the same configuration as the endoscope system described above, the description thereof will be omitted. Hereinafter, processing different from that of the first and second embodiments will be described. In the third embodiment, the notification process or the image process change process is executed based on the delay time.
  • the processing device 3 acquires the processing information (delay time) of each device from the memories 247 and 44 (step S301).
  • step S302 following step S301 the total delay time detection unit 33 acquires the processing time (delay time) in the processing device 3 with reference to the storage unit 38, and calculates the total delay time of each device.
  • step S303 the control unit 37 compares the sum of the delay times of the respective devices with the first threshold value, and determines whether or not there may be a delay for which notification or process change should occur.
  • the first threshold value here is a numerical value determined by the number of frames, as in the first embodiment and the like.
  • the process proceeds to step S304. To do.
  • the control unit 37 determines that the total sum of the delay times of the devices is less than the first threshold value, that is, the total sum does not cause a delay to be notified (step S303: No)
  • the delay detection process ends. To do.
  • step S304 the control unit 37 compares the total delay time of each device with the second threshold value to determine whether or not a delay to be notified can occur.
  • the second threshold value here is a numerical value determined by the number of frames and is a numerical value larger than the first threshold value.
  • the control unit 37 determines that the total sum of the delay times of the devices is the second threshold value or more, that is, the total sum may cause a delay to be notified (step S304: Yes)
  • the process proceeds to step S305. To do.
  • step S304 determines that the total sum of the delay times of the respective devices is less than the second threshold value, that is, the total sum does not cause a delay to be notified (step S304: No).
  • the control unit 37 proceeds to step S306. ..
  • step S305 the control unit 37 causes the notification unit 43 of the display device 4 to notify that a displayed image will be delayed, as in step S104 of the first embodiment.
  • the control unit 37 causes the image processing unit 31 to perform a normal process that causes each unit of the above-described image processing unit 31 (see FIG. 3) to execute the process.
  • step S306 the control unit 37 causes the image processing unit 31 to perform intermittent processing in the same manner as in step S204 of the second embodiment.
  • the notification unit 43 notifies according to the detection result.
  • the notification of the delay or the elimination of the delay suppresses the deviation between the actual position of the endoscope 2 and the position of the endoscope 2 recognized by the operator who observes the display image. can do.
  • FIG. 8 is a block diagram showing a schematic configuration of the endoscope system according to the fourth embodiment of the present invention.
  • the endoscope 2 that images the subject by inserting the tip into the subject and the illumination unit 3a that generates the illumination light emitted from the tip of the endoscope 2 Is generated by the signal processing of the processing device 3A and the processing device 3A, which collectively control the operation of the entire endoscope system 1 while performing predetermined signal processing on the image pickup signal captured by the endoscope 2. It is provided with a display device 4A for displaying an internal image.
  • the endoscope system 1A according to the second embodiment has the same configuration except that the processing device 3 of the endoscope system 1 described above is changed to the processing device 3A and the display device 4 is changed to the display device 4A.
  • the processing device 3 of the endoscope system 1 described above is changed to the processing device 3A and the display device 4 is changed to the display device 4A.
  • the display device 4A displays a display image corresponding to the image data received from the processing device 3 (image processing unit 31) via the video cable.
  • the display device 4 includes a display processing unit 41, a display unit 42, and a notification unit 43.
  • the display device 4A according to the third embodiment does not have the memory 44 described above. Therefore, the processing device 3 cannot acquire the delay time from the display device 4A. Although the memory 44 may be provided, the delay time is not stored in the second embodiment.
  • the processing device 3A includes an illumination unit 3a, an image processing unit 31, a first communication unit 32, a total delay time detection unit 33, a synchronization signal generation unit 34, a second communication unit 35, and an input / output unit 36. , A control unit 37, a storage unit 38, and a delay time acquisition unit 39.
  • the processing device 3A has a configuration including a delay time acquisition unit 39 in place of the second communication unit 35 in addition to the processing device 3 described above. Hereinafter, the delay time acquisition unit 39 will be described.
  • the delay time acquisition unit 39 includes a test pattern output unit 391 and a phase comparison unit 92.
  • the delay time acquisition unit 39 is configured by using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC.
  • the test pattern output unit 391 outputs image data of a preset predetermined pattern to the display device 4A.
  • the phase comparison unit 392 compares the phase of the pattern image output by the test pattern output unit 391 with the pattern of the display image processed by the display device 4A.
  • the phase here refers to the appearance pattern of the brightness of the images that are sequentially output.
  • the phase comparison unit 392 obtains the phase difference between the image of the pattern output by the test pattern output unit 391 and the pattern of the display image processed by the display device 4A as a delay time.
  • FIG. 9 is a diagram illustrating a delay time acquisition process performed by the endoscope system according to the fourth embodiment of the present invention, and is a timing chart showing pattern output timing and display timing.
  • the horizontal axis indicates the passage of time.
  • FIG. 9A shows an image corresponding to the pattern output from the test pattern output unit 391.
  • FIG. 9B shows a pattern image processed by the display device 4A and input to the phase comparison unit.
  • the display processing unit 41 when the test pattern is input from the processing device 3A, the display processing unit 41 performs a display process.
  • the phase comparison unit 392 receives the image data processed by the display processing unit 41. This image data is recognized as an image of the same frame as the frame displayed by the display unit 42.
  • the test pattern output unit 391 When the test pattern output unit 391 receives an execution instruction of the delay time acquisition process of the display device 4A from the control unit 37, the test pattern output unit 391 sequentially outputs the test pattern to the display device 4A (see (a) of FIG. 9). Specifically, the test patterns are sequentially output in the order of pattern images F 51 , F 52 , F 53 , ..., F 59 , F 60 , ..., F 65 . In the pattern images F 51 , F 52 , F 53 , ..., F 59 , F 60 , ..., F 65 , test patterns having different brightness are output at preset intervals. In FIG. 9A, the pattern images F 55 , F 60 , and F 65 correspond to test patterns having different lightness.
  • the test patterns processed by the display device 4A are sequentially input from the display processing unit 41 to the phase comparison unit 392 (see (b) of FIG. 9). Specifically, the test patterns are sequentially output in the order of pattern images F 71 , F 72 , F 73 , ..., F 79 , F 80 , ..., F 83 . In the pattern images F 71 , F 72 , F 73 , ..., F 79 , F 80 , ..., F 83 , test patterns with different brightness also appear. In FIG. 9B, the pattern images F 75 and F 80 correspond to test patterns having different lightness.
  • the processing of the display device 4A causes a delay of two frames.
  • the phase comparison unit 392 calculates the delay time by comparing the phases from the brightness of the test pattern output by the test pattern output unit 391 to the display device 4A and the test pattern returned from the display device 4A.
  • the delay detection process according to the fourth embodiment is carried out according to the process of the first or second embodiment described above.
  • the total delay time detection unit 33 acquires the delay time calculated by the phase comparison unit 392 (step 101, S201).
  • the test pattern is output and the delay time is acquired by comparing the phases even if the delay time of the display device 4A is unknown. According to the third embodiment, even for a device whose delay time is unknown, it is possible to acquire the delay time of the device and perform processing according to the delay time.
  • the illuminating unit 3a has been described as being configured separately from the endoscope 2, but, for example, a semiconductor light source is provided at the tip of the endoscope 2,
  • the light source device may be provided in the endoscope 2.
  • the function of the processing devices 3 and 3A may be added to the endoscope 2.
  • the lighting unit 3a has been described as being integrated with the processing devices 3 and 3A, but the lighting unit 3a and the processing device 3 are separate bodies, for example, the processing device.
  • the light source unit 310 and the illumination control unit 320 may be provided outside the components 3 and 3A.
  • a part of the functions of the processor unit 3b may be executed by the endoscope 2 or the display device 4.
  • the total delay time detection unit 33 may be provided in the endoscope 2 or the display device 4 to detect the delay time in a device other than the processing devices 3 and 3A.
  • the endoscope system according to the present invention is the endoscope system 1 using the flexible endoscope 2 whose observation target is a biological tissue or the like in the subject. As described above, it is used as a rigid endoscope, an industrial endoscope for observing the properties of materials, a capsule endoscope, a fiberscope, and an eyepiece of an optical endoscope such as an optical tube. It can be applied even to an endoscope system using a camera head connected.
  • the endoscope system and the image processing device according to the present invention are useful for suppressing the deviation between the actual position of the endoscope and the position of the endoscope recognized by the operator who sees the display image. ..

Abstract

本発明に係る内視鏡システムは、被検体を撮像して撮像信号を出力する内視鏡と、内視鏡から入力される撮像信号に対して画像処理を施す画像処理装置と、画像処理装置によって画像処理が施された撮像信号に基づいて前記被検体の画像を表示する表示装置と、を備え、内視鏡、画像処理装置および表示装置のいずれかに設けられ、内視鏡において撮像信号を生成して出力するまでに要する第１の処理時間と、画像処理装置において撮像信号が入力されてから表示装置に出力するまでの処理に要する第２の処理時間と、表示装置において撮像信号が入力されてから撮像信号に基づき画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部を有する。

Description

内視鏡システムおよび画像処理装置
　本発明は、内視鏡を備える内視鏡システムおよび画像処理装置に関する。
　従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から光源装置によって供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって体内画像を撮像する。内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理が施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器を観察する。
　ところで、処理装置では、画像の種類や画像処理の種別によって体内画像を取得してから、表示用の画像データが生成されるまでの処理時間が異なる。処理時間が長いと、内視鏡で撮像されてから表示装置に表示されるまでのタイムラグも長くなる。タイムラグが長くなると、被検体内における内視鏡の実際の位置と、表示装置を見て術者が認識する内視鏡の位置とにずれが生じ、適切な位置への処置ができない場合がある。
　表示のタイムラグに関しては、装置の処理遅延を考慮して信号処理する技術が知られている（例えば、特許文献１を参照）。特許文献１では、画像処理装置とプロセッサとを同期することによって、それぞれに接続される表示装置が表示する画像を同期している。
特開２０１１－０３６４８８号公報
　しかしながら、特許文献１では、異なる処理装置に接続される表示装置の表示画像を揃えているだけであり、内視鏡の実際の位置と、術者が認識した位置とのずれを抑制することはできない。また、特許文献１では、内視鏡や表示装置における処理時間については考慮されていなかった。内視鏡システムにおける処理では、内視鏡や表示装置においても処理装置と同様に信号処理に要する時間が画像の種類や装置の種別によって異なる。
　本発明は、上記に鑑みてなされたものであって、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制することができる内視鏡システムおよび画像処理装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、被検体を撮像して撮像信号を出力する内視鏡と、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置と、前記画像処理装置によって画像処理が施された前記撮像信号に基づいて前記被検体の画像を表示する表示装置と、を備え、前記内視鏡、前記画像処理装置および前記表示装置のいずれかに設けられ、前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、を有することを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記内視鏡は、受光した光を光電変換し、該光電変換した電気信号を読み出すことによって前記撮像信号を生成する撮像素子と、前記撮像素子が生成した前記撮像信号に対して信号処理を施す第１の処理部と、を有し、前記画像処理装置は、前記内視鏡から入力される前記撮像信号に対して複数種類の処理を施す第２の処理部、を有し、前記表示装置は、前記画像処理装置から入力される前記撮像信号に基づいて、画像表示にかかる処理を施す第３の処理部、を有し、前記総処理時間検出部は、前記撮像素子および前記第１の処理部が処理に要する第１の処理時間と、前記第２の処理部が処理に要する第２の処理時間と、前記第３の処理部が処理に要する第３の処理時間とを総和することを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記内視鏡の現在位置と、前記表示装置において表示される被検体の画像から認識される前記内視鏡の位置とにずれが生じていることを報知する報知部、をさらに備えることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記画像処理装置は、前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記第２の処理部に、当該第２の処理部が実施する処理の一部を間引いた間欠処理を実施させる制御部、をさらに備えることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記画像処理装置は、予め設定されている基準画像データを前記表示装置に出力する基準画像データ出力部と、前記表示装置の前記第３の処理部によって処理された前記基準画像データを取得して、前記基準画像データ出力部が前記表示装置に出力した第１の基準画像データと、前記表示装置から取得した第２の基準画像データとの位相を比較することによって、前記第３の処理部が処理に要する前記第３の処理時間を取得する位相比較部と、を備え、前記総処理時間検出部は、前記第１および第２の処理時間と、前記位相比較部が取得した、前記第３の処理時間との総和を算出することを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記総処理時間検出部は、前記内視鏡に格納された前記第１の処理時間と、前記画像処理装置に格納された前記第２の処理時間と、前記表示装置に格納された前記第３の処理時間との総和を算出することを特徴とする。
　また、本発明に係る画像処理装置は、被検体を撮像して撮像信号を出力する内視鏡と、前記被検体の画像を表示する表示装置とに接続し、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置であって、前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、を備えることを特徴とする。
　本発明によれば、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制することができるという効果を奏する。
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の実施の形態１にかかる内視鏡システムが備える画像処理部の構成を説明する図である。 図４は、本発明の実施の形態１にかかる内視鏡システムが行う画像処理によって表示される画像について説明する図である。 図５は、本発明の実施の形態１にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。 図６は、本発明の実施の形態２にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。 図７は、本発明の実施の形態３にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。 図８は、本発明の実施の形態４にかかる内視鏡システムの概略構成を示すブロック図である。 図９は、本発明の実施の形態４にかかる内視鏡システムが行う遅延時間取得処理について説明する図である。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる内視鏡システムの一例として、患者等の被検体を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態によって、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
　図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。
　図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する照明部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３と、処理装置３の信号処理によって生成された体内画像を表示する表示装置４と、を備える。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（照明部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
　挿入部２１は、光を受光して光電変換することによって信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。
　先端部２４は、グラスファイバ等を用いて構成されて照明部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換する撮像素子２４４と、相関二重サンプリング（Correlated　Double　Sampling：ＣＤＳ）法を用いてアナログの撮像信号に含まれるノイズ成分を低減するＣＤＳ部２４５と、ＣＤＳ部２４５を経て出力されたアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換部２４６と、メモリ２４７とを有する。
　光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
　撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（画像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂとを有する。撮像素子２４４からは、表示画像の情報を構成する画像データを含む撮像信号が出力される。撮像素子２４４は、例えばＣＣＤ（Charge　Coupled　Device）イメージセンサや、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを用いて実現される。
　メモリ２４７は、撮像素子２４４が各種動作を実行するための実行プログラム及び制御プログラムや、内視鏡２の識別情報、内視鏡２における信号処理に要する遅延時間を記憶する。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報、および伝送方式等が含まれる。また、メモリ２４７は、撮像素子２４４が生成した画像データ等を一時的に記憶してもよい。遅延時間は、信号処理に起因するデータ伝送の遅延時間に相当し、ここではフレーム数で設定される。具体的に、遅延時間は、読み出し部２４４ｂによって読出しを開始してから、Ａ／Ｄ変換部２４６の変換処理が完了するまでの時間をフレーム数に換算した値である。メモリ２４７は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ等によって構成される。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入出力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイド２４１と、複数の信号線をまとめた集合ケーブル２４８と、を少なくとも内蔵している。集合ケーブル２４８は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信によって内視鏡２と処理装置３との間で信号を伝送するものであってもよい。
　次に、処理装置３の構成について説明する。処理装置３は、照明部３ａと、プロセッサ部３ｂとを備える。プロセッサ部３ｂは、画像処理部３１と、第１通信部３２と、総遅延時間検出部３３と、同期信号生成部３４と、第２通信部３５と、入出力部３６と、制御部３７と、記憶部３８と、を備える。プロセッサ部３ｂは、画像処理装置に相当する。
　まず、照明部３ａの構成について説明する。照明部３ａは、光源部３１０と、照明制御部３２０と、を備える。
　光源部３１０は、照明光を出射する光源や、複数のレンズ、所定の波長帯域の光を通過させるフィルタ等を用いて構成され、所定の波長帯域の光の照明光を出射する。光源部３１０は、光源３１０ａと、光源ドライバ３１０ｂと、回転フィルタ３１０ｃと、駆動部３１０ｄと、駆動ドライバ３１０ｅと、を有する。
　光源部３１０は、白色ＬＥＤおよび一または複数のレンズ等を用いて構成され、光源ドライバ３１０ｂの制御のもと、白色光を回転フィルタ３１０ｃへ出射する。光源３１０ａが発生させた白色光は、回転フィルタ３１０ｃおよびライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。
　光源ドライバ３１０ｂは、照明制御部３２０の制御のもと、光源３１０ａに対して電流を供給することによって、光源３１０ａに白色光を出射させる。
　回転フィルタ３１０ｃは、光源３１０ａが出射する白色光の光路上に配置され、回転することによって、光源３１０ａが出射した白色光のうち所定の波長帯域の光のみを透過させる。具体的には、回転フィルタ３１０ｃは、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）それぞれの波長帯域を有する光を透過させる赤色フィルタ３１１、緑色フィルタ３１２および青色フィルタ３１３を有する。回転フィルタ３１０ｃは、回転することによって、赤、緑および青の波長帯域（例えば、赤：６００ｎｍ～７００ｎｍ、緑：５００ｎｍ～６００ｎｍ、青：４００ｎｍ～５００ｎｍ）の光を順次透過させる。これによって、光源３１０ａが出射する白色光（Ｗ照明）を用いて、赤色光（Ｒ照明）、緑色光（Ｇ照明）および青色光（Ｂ照明）いずれかの光を内視鏡２に順次出射することができる（面順次方式）。
　駆動部３１０ｄは、ステッピングモータやＤＣモータ等を用いて構成され、回転フィルタ３１０ｃを回転動作させる。
　駆動ドライバ３１０ｅは、照明制御部３２０の制御のもと、駆動部３１０ｄに所定の電流を供給する。
　照明制御部３２０は、制御部３７からの制御信号に基づいて、光源３１０ａに供給する電流量を制御する。また、照明制御部３２０は、制御部３７の制御のもと、光源ドライバ３１０ｂを経て駆動部３１ｄを駆動することによって、回転フィルタ３１０ｃを回転させる。
　なお、光源３１０ａを赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤで構成し、光源ドライバ３１０ｂが各ＬＥＤに対して電流を供給することによって赤色光、緑色光または青色光を順次出射させるものであってもよい。また、白色ＬＥＤや、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤから同時に光を出射させるものや、レーザ、キセノンランプなどの放電灯等によって白色光を被検体に照射して画像を取得するものであってもよい。
　画像処理部３１は、内視鏡２から、撮像素子２４４が撮像した各色の照明光の撮像信号を受信する。画像処理部３１は、内視鏡２から受信した撮像信号に対して所定の画像処理を施して表示用の撮像信号を生成して表示装置４へ出力する。画像処理部３１は、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサや、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、処理内容を書き換え可能なプログラマブルロジックデバイスであるＦＰＧＡ（Field　Programmable　Gate　Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを、一つ、または複数を組み合わせて構成される。
　図３は、本発明の実施の形態１にかかる内視鏡システムが備える画像処理部の構成を説明する図である。画像処理部３１は、Ｄ／Ａ変換部５０１と、調光検波部５０２と、ＡＧＣ（Automatic　Gain　Control）部５０３と、ノイズ除去部５０４と、ホワイトバランス（ＷＢ）処理部５０５と、フリーズ処理部５０６と、ガンマ処理部５０７と、カラーマトリクス処理部５０８と、拡大縮小処理部５０９と、強調処理部５１０と、Ａ／Ｄ変換部５１１と、第１フレームメモリ５２１と、第２フレームメモリ５２２と、第３フレームメモリ５２３とを有する。
　Ｄ／Ａ変換部５０１は、内視鏡２から入力されたデジタルの撮像信号をアナログ信号に変換する。以下、画像処理部５１では、撮像信号に含まれるデータのうち、画像表示に関するデータ（画像データ）に対して各種の処理を実施する。
　調光検波部５０２は、Ｄ／Ａ変換部５０１から入力される画像データに含まれるＲＧＢ画像情報に基づいて、各画像に対応する明るさレベルを検出する。調光検波部５０２は、検出した明るさレベルに基づいて、照明部３ａが発生する光量や発光タイミング等の発光条件を設定する。
　ＡＧＣ部５０３は、画像データに対して、信号値の増幅率（ゲイン）を調整して一定の出力レベルを維持する処理を施す。ＡＧＣ部５０３は、調光検波部５０２が設定した発光条件に応じたゲイン調整を実施する。
　ノイズ除去部５０４は、ＡＧＣ部５０３から入力された画像データに対してノイズ低減処理を施す。ノイズ除去部５０４は、例えば第１フレームメモリ５２１を参照して前のフレームの画像データを取得し、取得した画像データと、ノイズ除去処理対象の画像データとを用いてノイズを除去する。ノイズ低減処理は、公知の手法を用いることができる。
　ＷＢ処理部５０５は、ノイズ除去処理後の画像データに対してホワイトバランスを補正する処理を施す。ホワイトバランスの補正処理は、公知の手法を用いることができる。
　フリーズ処理部５０６は、スイッチ２２３の押下によってフリーズ指示信号の入力を受け付けた場合に、第２フレームメモリ５２２を参照して、表示装置４にフリーズ表示させる画像データを選択する。フリーズ処理部５０６は、選択した画像データをガンマ処理部５０７に出力する。フリーズ処理部５０６は、例えば、第２フレームメモリ５２２に記憶されている画像データからぶれの小さい画像データを選択する。
　一方、フリーズ処理部５０６は、フリーズ指示信号の入力を受け付けていない場合、第２フレームメモリ５２２における所定の画像データ、例えば取得（撮像）時刻が最新の画像データをガンマ処理部５０７に出力する。ここで、フリーズ処理部５０６は、最新の画像データを取得する際には、ＷＢ処理部５０５から画像データを取得してもよい。
　なお、フリーズ処理部５０６は、フリーズ対象の画像データを選択後、フリーズ処理による静止画表示期間内では、ＷＢ処理部５０５から入力される画像データを第２フレームメモリ５２２に出力する処理のみを行う。フリーズ処理部５０６は、フリーズ処理が解除された後、ＷＢ処理部５０５から新たに入力される画像データを含めて、第２フレームメモリ５２２から最新の画像データの選択を行う。このため、フリーズ処理後において表示装置４に表示される画像は、フリーズ処理による静止画表示期間における最新の画像データが抜けた、フリーズ処理前とは時系列で間があいた画像が表示されることになる。所定のフレーム数の画像データが抜けることによって、フリーズ処理前後に表示される画像において、時系列で隣り合う画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。
　ガンマ処理部５０７は、フリーズ処理部５０６から入力された画像データに対してガンマ補正処理を施す。ガンマ処理部５０７は、画像データに対して、予め設定されているγ値を用いて、輝度の小さい暗い部分の明るさを明るくする階調補正を行う。ガンマ補正処理は、公知の手法を用いることができる。
　カラーマトリクス処理部５０８は、ガンマ処理部５０７から入力された画像データに対し、色再現性を向上するための色補正を行う。カラーマトリクス処理部５０８は、画像データに対して、機器間で異なる色を統一的に管理する。カラーマトリクス処理部５０８は、例えば、内視鏡２、処理装置３および表示装置４の間の色を統一的に管理する。カラーマトリクス処理部５０８は、ＣＭＳ（Color　Management　System）を用いて構成される。カラーマトリクス処理は、公知の手法を用いることができる。
　拡大縮小処理部５０９は、予め設定された拡大率もしくは縮小率、または入出力部３６を経て入力された拡大率もしくは縮小率に応じて、画像データのサイズを変更する処理を施す。なお、拡大縮小処理部５０９の処理は、設定によって拡大または縮小できなくすることもできる。ズーム処理の可否は、例えば入出力部３６が受け付けた情報によって切り替えてもよい。
　強調処理部５１０は、拡大縮小処理後の画像データに対し、輪郭強調処理を施す。強調処理部５１０の強調処理によって、輪郭が一層明確に表現された画像データが生成される。輪郭強調処理は、公知の手法を用いることができる。
　Ａ／Ｄ変換部５１１は、強調処理部５１０を経て出力されたアナログの画像データをデジタル信号に変換する。Ａ／Ｄ変換部５１１は、デジタル変換後の画像データを、画像表示用の撮像信号として表示装置４に出力する。
　第１フレームメモリ５２１、第２フレームメモリ５２２、第３フレームメモリ５２３は、接続する各部によって生成された画像データを設定されたフレーム分記憶する。本実施の形態１では、各フレームメモリは、数フレーム分の画像データを記憶する。各フレームメモリは、新たな画像データが入力されると、現在記憶している画像データのうち、最も古い画像データを、新たな画像データで上書きすることで、取得時間の新しい方から順に数フレーム分の画像データを順次更新しながら記憶する。第１フレームメモリ５２１、第２フレームメモリ５２２および第３フレームメモリ５２３は、ＲＡＭ（Random　Access　Memory）、例えばＶＲＡＭ（Video　RAM）を用いて構成される。
　第１通信部３２は、内視鏡２が接続された際に、内視鏡２のメモリ２４７に記憶されている処理時間を取得する。第１通信部３２は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
　総遅延時間検出部３３は、内視鏡２、処理装置３および表示装置４において１フレーム分の撮像信号の生成から画像データを表示装置４に表示するまでの信号処理に要する遅延時間を検出する。具体的に、総遅延時間検出部３３は、内視鏡２の遅延時間、処理装置３の遅延時間、および表示装置４の遅延時間の総和を算出する。本実施の形態１において総遅延時間検出部３３が算出する値は、総遅延時間をフレーム数に換算した値である。総遅延時間検出部３３は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
　同期信号生成部３４は、処理装置３の動作の基準となるクロック信号（同期信号）を生成するとともに、生成した同期信号を照明部３ａや、画像処理部３１、制御部３７、内視鏡２へ出力する。ここで、同期信号生成部３４が生成する同期信号は、水平同期信号と垂直同期信号とを含む。
　このため、照明部３ａ、画像処理部３１、制御部３７、内視鏡２は、生成された同期信号によって、互いに同期をとって動作する。
　第２通信部３５は、表示装置４が接続された際に、表示装置４のメモリ４４に記憶されている、表示装置４における信号処理に要する処理時間を取得する。第２通信部３５は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
　入出力部３６は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。また、入出力部３６は、スピーカー、光源のうちの少なくとも一つを用いて実現され、音または光を出力する。なお、入出力部３６は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
　制御部３７は、撮像素子２４４および照明部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３７は、記憶部３８に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４８に含まれる所定の信号線を経由して駆動信号として撮像素子２４４へ送信する。制御部３７は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
　記憶部３８は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータ、ならびに、処理装置３における信号処理に要する遅延時間を記憶する。また、記憶部３８は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。処理時間は、処理装置３における信号処理に起因するデータ伝送の遅延時間に相当し、内視鏡２から画像データが入力されてから、画像データが表示装置４に出力されるまでの時間をフレーム数に換算した値である。また、記憶部３８は、内視鏡２や表示装置４を含むシステム全体における信号処理を制御するための信号処理条件を記憶する信号処理情報記憶部３８１を有する。信号処理情報記憶部３８１には、例えば、総遅延時間検出部３３が検出した総遅延時間に対して設定される一つまたは複数の閾値が記憶される。
　また、記憶部３８は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを経由してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などによって実現されるものであり、有線、無線を問わない。
　以上の構成を有する記憶部３８は、各種プログラム等が予めインストールされたＲＯＭ（Read　Only　Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭやハードディスク等を用いて実現される。
　表示装置４は、映像ケーブルを経由して処理装置３（画像処理部３１）から受信した画像データに対応する表示画像を表示する。表示装置４は、表示処理部４１と、表示部４２と、メモリ４４とを備える。
　表示処理部４１は、処理装置３から受信した画像データに対して所定の処理、例えば同時化処理や形式変換等を施して表示部４２へ出力する。同時化処理は、光源部３１０がＲ照明光の照射時に撮像素子２４４が生成した画像データに基づくＲ画像データ、光源部３１０がＧ照明光の照射時に撮像素子２４４が生成した画像データに基づくＧ画像データ、および光源部３１０がＢ照明光の照射時に撮像素子２４４が生成した画像データに基づくＢ画像データの各々を同時化する処理である。
　表示部４２は、液晶または有機ＥＬ（Electro　Luminescence）等のモニタを用いて構成される。
　報知部４３は、スピーカー、光源のうちの少なくとも一つを用いて実現され、音または光を出力する。報知部４３は、表示遅延の度合いに応じて音、光を発する。
　メモリ４４は、表示装置４が各種動作を実行するための実行プログラム及び制御プログラムや、表示装置４における信号処理に要する処理時間を記憶する処理時間は、信号処理に起因するデータ伝送の遅延時間に相当し、処理装置３から画像データが入力されてから、表示部４２に表示するまでの時間をフレーム数に換算した値である。メモリ４４は、ＲＡＭ、ＲＯＭ、フラッシュメモリ等によって構成される。
　ここで、内視鏡システム１において、信号処理に遅延が生じた場合の、内視鏡２によって撮像されたときの像と、表示装置４に表示される画像とについて、図４を参照して説明する。図４は、本発明の実施の形態１にかかる内視鏡システムが行う画像処理によって表示される画像について説明する図であって、撮像タイミングおよび表示タイミングを示すタイミングチャートである。図４において、横軸は時間経過を示す。図４の（ａ）は、内視鏡２の撮像素子２４４によって撮像された際の像を示す。図４の（ｂ）は、遅延なく表示装置４に表示される画像を示す。図４の（ｃ）は、１フレーム分の表示時間だけ遅延した場合に表示装置４に表示される画像を示す。図４の（ｄ）は、２フレーム分の表示時間だけ遅延した場合に表示装置４に表示される画像を示す。
　内視鏡２では、１フレーム分の画像データが、順次撮像される（図４の（ａ）参照）。具体的には、像Ｆ11、Ｆ12、Ｆ13、・・・、Ｆ16、Ｆ17、・・・の順で像が順次撮像される。像Ｆ12、Ｆ13、・・・、Ｆ16には、被写体Ｓが写っている。
　内視鏡２で撮像された画像データが、上述した処理を経て表示装置４に表示される際、各処理において遅延が生じなければ、各フレームの画像データが、順次表示される（図４の（ｂ）参照）。具体的には、像Ｆ11、Ｆ12、Ｆ13、・・・、Ｆ16、Ｆ17に対応する画像Ｆ21、Ｆ22、Ｆ23、・・・、Ｆ26、Ｆ27が順次表示される。各画像（画像Ｆ21、Ｆ22、Ｆ23、・・・、Ｆ26、Ｆ27、・・・）は、内視鏡２において撮像されたタイミングと同じタイミングで表示装置４に表示される。
　これに対し、内視鏡２で撮像されてから上述した処理を経て表示装置４に表示されるまでの間に遅延が生じると、各フレームの画像データが、遅延した分遅れて順次表示される（図４の（ｂ）、（ｃ）参照）。例えば、１フレーム分の遅延が生じた場合、像Ｆ11、Ｆ12、Ｆ13、・・・、Ｆ16に対応する画像Ｆ31、Ｆ32、Ｆ33、・・・、Ｆ36は、内視鏡２において撮像されたタイミングに対して１フレーム分遅れて表示装置４に表示される（図４の（ｂ）参照）。また、２フレーム分の遅延が生じた場合、像Ｆ11、Ｆ12、Ｆ13、Ｆ14、Ｆ15に対応する画像Ｆ41、Ｆ42、Ｆ43、Ｆ44、Ｆ45は、内視鏡２において撮像されたタイミングに対して２フレーム分遅れて表示装置４に表示される（図４の（ｃ）参照）。
　フレーム単位で表示に遅延が生じる場合、例えば、２フレーム分遅延する場合、内視鏡２の先端部２４が、像Ｆ13が写る位置にある一方で、表示装置４の表示部４２には、像Ｆ11に応じた画像Ｆ41が表示される。この場合、内視鏡２の実際の位置と、術者が認識する内視鏡２の位置であって、表示部４２に表示される画像から識別される内視鏡２の位置とにずれが発生する。遅延フレーム数が大きくなれば、その分ずれも大きくなる。
　本実施の形態１では、上述した表示遅延が発生する際に、その遅延度合いに応じて報知部４３に報知処理を実行させる。
　続いて、内視鏡システム１が行う遅延検出処理について説明する。図５は、本発明の実施の形態１にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。
　処理装置３は、電源投入後、内視鏡２および表示装置４が接続されると、メモリ２４７、４４から各装置の処理情報（遅延時間）を取得する（ステップＳ１０１）。
　ステップＳ１０１に続くステップＳ１０２において、総遅延時間検出部３３は、記憶部３８を参照して処理装置３における処理時間（遅延時間）を取得し、各装置の遅延時間の総和を算出する。
　ステップＳ１０２に続くステップＳ１０３において、制御部３７は、各装置の遅延時間の総和と、閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの閾値は、予め設定され、記憶部３８が記憶するものであり、フレーム数によって決定される値である。閾値としては、例えば、３以上のフレーム数が設定される。なお、入出力部３６が受け付けた情報であって、術者等のユーザが設定した閾値に関する情報に応じて、閾値を設定（変更）してもよい。
　ここで、制御部３７は、各装置の遅延時間の総和が閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。一方、制御部３７は、各装置の遅延時間の総和が閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合（ステップＳ１０３：Ｎｏ）、遅延検出処理を終了する。
　ステップＳ１０４において、制御部３７は、表示装置４の報知部４３に、表示される画像に遅延が生じる旨を報知させる。報知部４３は、音または光を出力することによって、術者に対し、内視鏡２の実際の位置と、術者が認識した内視鏡２の位置とにずれが発生している旨を報知する。
　この際、報知の強度を段階的に変化させてもよい。例えば、報知用の複数の閾値を設定しておき、総遅延時間（フレーム数）が大きくなるほど、音の大きさや、光の強度を変化させてもよい。
　また、報知部４３のほか、入出力部３６が報知処理を実行してもよい。
　以上説明した実施の形態１では、内視鏡２、処理装置３および表示装置４の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて報知部４３が報知する。術者は、報知部４３の報知処理によって、表示画像から自身が認識する内視鏡２の先端部２４の位置が、実際の位置とずれていることを判断できる。本実施の形態１によれば、内視鏡２の実際の位置と、表示画像を観察する術者が認識する内視鏡２の位置とのずれを抑制することができる。
　なお、実施の形態１では、遅延度合いに応じて報知部４３が報知処理を実施する例を説明したが、表示部４２に、内視鏡２の実際の位置と、術者が認識した内視鏡２の位置とにずれが発生している旨の情報を表示する構成としてもよい。
（実施の形態２）
　次に、本発明の実施の形態２について、図６を参照して説明する。図６は、本発明の実施の形態２にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。なお、本実施の形態２にかかる内視鏡システムは、上述した内視鏡システムと構成が同じであるため、説明を省略する。以下、実施の形態１とは異なる処理について説明する。
　処理装置３は、電源投入後、内視鏡２および表示装置４が接続されると、メモリ２４７、４４から各装置の処理情報（遅延時間）を取得する（ステップＳ２０１）。
　ステップＳ２０１に続くステップＳ２０２において、総遅延時間検出部３３は、記憶部３８を参照して処理装置３における処理時間（遅延時間）を取得し、各装置の遅延時間の総和を算出する。
　ステップＳ２０２に続くステップＳ２０３において、制御部３７は、各装置の遅延時間の総和と、閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの閾値は、実施の形態１と同じである。
　ここで、制御部３７は、各装置の遅延時間の総和が閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４に移行する。一方、制御部３７は、各装置の遅延時間の総和が閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合（ステップＳ２０３：Ｎｏ）、ステップＳ２０５に移行する。
　ステップＳ２０４において、制御部３７は、画像処理部３１に対して、間欠処理を実施させる。間欠処理では、総遅延時間（フレーム数）に応じて、一部の処理を間引く。間引き対象の処理としては、例えば、フリーズ処理や強調処理等が挙げられる。総遅延時間が長い（フレーム数が大きい）ほど、間引く処理数も多くなる。この際、各処理の間引き優先順位が予め設定され、記憶部３８に記憶される。制御部３７は、総遅延時間と、この優先順位を参照して、間引く処理を決定する。
　なお、異なる焦点の画像を合成して全焦点画像を生成する処理や、三次元画像を生成する処理、４Ｋ解像度に対応させる処理、動画の色ずれ補正処理等を実施する場合には、これらの処理が間引き対象の処理となる。
　このほか、モニタ出力フォーマットに制約を加えて遅延時間を削減してもよいし、Display　Portや、ＨＤＭＩ、ＤＶＩを用いている場合は、ＳＤＩ等への変更を促してもよい。ＳＤＩに変更することによって、Display　Portや、ＨＤＭＩ、ＤＶＩと比して、遅延時間を削減できる。
　これに対し、ステップＳ２０５において、制御部３７は、画像処理部３１に対して、通常処理を実施させる。通常処理は、上述した画像処理部３１の各部（図３参照）に、それぞれ処理を実行させる。
　以上説明した実施の形態２では、内視鏡２、処理装置３および表示装置４の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて画像処理の内容を変更する。本実施の形態２によれば、画像処理の一部を間引くことによって、遅延が解消され、その結果、内視鏡２の実際の位置と、表示画像を観察する術者が認識する内視鏡２の位置とのずれを抑制することができる。
（実施の形態３）
　次に、本発明の実施の形態３について、図７を参照して説明する。図７は、本発明の実施の形態３にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。なお、本実施の形態３にかかる内視鏡システムは、上述した内視鏡システムと構成が同じであるため、説明を省略する。以下、実施の形態１、２とは異なる処理について説明する。実施の形態３では、遅延時間に基づいて、報知処理、または画像処理の変更処理を実行する。
　処理装置３は、電源投入後、内視鏡２および表示装置４が接続されると、メモリ２４７、４４から各装置の処理情報（遅延時間）を取得する（ステップＳ３０１）。
　ステップＳ３０１に続くステップＳ３０２において、総遅延時間検出部３３は、記憶部３８を参照して処理装置３における処理時間（遅延時間）を取得し、各装置の遅延時間の総和を算出する。
　ステップＳ３０２に続くステップＳ３０３において、制御部３７は、各装置の遅延時間の総和と、第１閾値とを比較して、報知または処理変更すべき遅延が生じ得るか否かを判断する。ここでの第１閾値は、実施の形態１等と同様に、フレーム数で決まる数値である。
　ここで、制御部３７は、各装置の遅延時間の総和が第１閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０４に移行する。一方、制御部３７は、各装置の遅延時間の総和が第１閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合（ステップＳ３０３：Ｎｏ）、遅延検出処理を終了する。
　ステップＳ３０４において、制御部３７は、各装置の遅延時間の総和と、第２閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの第２閾値は、フレーム数で決まる数値であって、第１閾値よりも大きい数値である。
　ここで、制御部３７は、各装置の遅延時間の総和が第２閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０５に移行する。一方、制御部３７は、各装置の遅延時間の総和が第２閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合（ステップＳ３０４：Ｎｏ）、ステップＳ３０６に移行する。
　ステップＳ３０５において、制御部３７は、実施の形態１のステップＳ１０４と同様にして、表示装置４の報知部４３に、表示される画像に遅延が生じる旨を報知させる。この際、制御部３７は、画像処理部３１に対して、上述した画像処理部３１の各部（図３参照）に、それぞれ処理を実行させる通常処理を実施させる。
　ステップＳ３０６において、制御部３７は、実施の形態２のステップＳ２０４と同様にして、画像処理部３１に対して、間欠処理を実施させる。
　以上説明した実施の形態３では、内視鏡２、処理装置３および表示装置４の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて、報知部４３が報知するか、画像処理の内容を変更するかを選択する。本実施の形態３によれば、遅延の報知、または遅延の解消によって、内視鏡２の実際の位置と、表示画像を観察する術者が認識する内視鏡２の位置とのずれを抑制することができる。
（実施の形態４）
　次に、本発明の実施の形態４について、図８、９を参照して説明する。図８は、本発明の実施の形態４にかかる内視鏡システムの概略構成を示すブロック図である。
　図８に示す内視鏡システム１Ａは、被検体内に先端部を挿入することによって被検体を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する照明部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３Ａと、処理装置３Ａの信号処理によって生成された体内画像を表示する表示装置４Ａと、を備える。本実施の形態２にかかる内視鏡システム１Ａは、上述した内視鏡システム１の処理装置３を処理装置３Ａ、表示装置４を表示装置４Ａに変えた以外は、同じ構成である。以下、実施の形態１とは構成が異なる構成について説明する。
　表示装置４Ａは、映像ケーブルを経由して処理装置３（画像処理部３１）から受信した画像データに対応する表示画像を表示する。表示装置４は、表示処理部４１と、表示部４２と、報知部４３とを備える。本実施の形態３にかかる表示装置４Ａは、上述したメモリ４４を有しない構成である。このため、処理装置３は、表示装置４Ａから遅延時間を取得することができない。メモリ４４を有する構成としてもよいが、本実施の形態２では、遅延時間を記憶していないものとする。
　処理装置３Ａは、照明部３ａと、画像処理部３１と、第１通信部３２と、総遅延時間検出部３３と、同期信号生成部３４と、第２通信部３５と、入出力部３６と、制御部３７と、記憶部３８と、遅延時間取得部３９とを備える。処理装置３Ａは、上述した処理装置３に対し、第２通信部３５に代えて遅延時間取得部３９を備えた構成である。以下、遅延時間取得部３９について説明する。
　遅延時間取得部３９は、テストパターン出力部３９１と、位相比較部９２とを備える。遅延時間取得部３９は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
　テストパターン出力部３９１は、予め設定された所定のパターンの画像データを表示装置４Ａに出力する。
　位相比較部３９２は、テストパターン出力部３９１が出力したパターンの画像と、表示装置４Ａにおいて処理された表示画像のパターンとの位相を比較する。ここでの位相は、順次出力される画像の明度の出現パターンをさす。位相比較部３９２は、テストパターン出力部３９１が出力したパターンの画像と、表示装置４Ａにおいて処理された表示画像のパターンとの位相の差を、遅延時間として求める。
　図９は、本発明の実施の形態４にかかる内視鏡システムが行う遅延時間取得処理について説明する図であって、パターン出力タイミングおよび表示タイミングを示すタイミングチャートである。図９において、横軸は時間経過を示す。図９の（ａ）は、テストパターン出力部３９１から出力されたパターンに対応する画像を示す。図９の（ｂ）は、表示装置４Ａにおいて処理され、位相比較部に入力されたパターン画像を示す。表示装置４Ａでは、処理装置３Ａからテストパターンが入力されると、表示処理部４１によって表示用の処理が施される。位相比較部３９２は、表示処理部４１によって処理が施された後の画像データが入力される。この画像データは、表示部４２によって表示されるフレームと同じフレームの画像として認識される。
　テストパターン出力部３９１は、制御部３７から表示装置４Ａの遅延時間取得処理の実行指示を受けると、テストパターンを順次表示装置４Ａに出力する（図９の（ａ）参照）。具体的には、パターン画像Ｆ51、Ｆ52、Ｆ53、・・・、Ｆ59、Ｆ60、・・・、Ｆ65の順でテストパターンが順次出力される。パターン画像Ｆ51、Ｆ52、Ｆ53、・・・、Ｆ59、Ｆ60、・・・、Ｆ65では、予め設定された間隔で、明度の異なるテストパターンが出力される。図９の（ａ）では、パターン画像Ｆ55、Ｆ60、Ｆ65が、明度の異なるテストパターンに該当する。
　表示装置４Ａにおいて処理されたテストパターンは、表示処理部４１から位相比較部３９２に順次入力される（図９の（ｂ）参照）。具体的には、パターン画像Ｆ71、Ｆ72、Ｆ73、・・・、Ｆ79、Ｆ80、・・・、Ｆ83の順でテストパターンが順次出力される。パターン画像Ｆ71、Ｆ72、Ｆ73、・・・、Ｆ79、Ｆ80、・・・、Ｆ83においても、明度の異なるテストパターンが出現する。図９の（ｂ）では、パターン画像Ｆ75、Ｆ80が、明度の異なるテストパターンに該当する。
　図９の（ａ）、（ｂ）からも分かる通り、表示装置４Ａの処理によって、２フレーム分の遅延が生じている。位相比較部３９２は、テストパターン出力部３９１が表示装置４Ａに出力したテストパターンと、表示装置４Ａから返ってくるテストパターンとの明度から位相を比較することによって、遅延時間を算出する。
　本実施の形態４にかかる遅延検出処理は、上述した実施の形態１または２の処理に準じて実施される。この際、総遅延時間検出部３３は、位相比較部３９２が算出した遅延時間を取得する（ステップ１０１、Ｓ２０１）。
　以上説明した実施の形態４では、表示装置４Ａの遅延時間が不明の場合であってもテストパターンを出力して、位相を比較することによって遅延時間を取得する。実施の形態３によれば、遅延時間が不明な装置であっても、その装置の遅延時間を取得して、遅延時間に応じた処理を実施することができる。
　なお、上述した実施の形態１～４では、照明部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３、３Ａの機能を付与してもよい。
　また、上述した実施の形態１～４では、照明部３ａが、処理装置３、３Ａとは一体であるものとして説明したが、照明部３ａおよび処理装置３が別体であって、例えば処理装置３、３Ａの外部に光源部３１０および照明制御部３２０が設けられているものであってもよい。
　また、上述した実施の形態１～４において、プロセッサ部３ｂの機能の一部を、内視鏡２または表示装置４で実行してもよい。例えば、総遅延時間検出部３３を、内視鏡２または表示装置４に設けて、処理装置３、３Ａ以外において遅延時間を検出する構成としてもよい。
　また、上述した実施の形態１～４では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
　以上、本発明に係る内視鏡システムおよび画像処理装置は、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制するのに有用である。
　１　内視鏡システム
　２　内視鏡
　３　処理装置
　３ａ　照明部
　３ｂ　プロセッサ部
　４　表示装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　３１　画像処理部
　３２　第１通信部
　３３　総遅延時間検出部
　３４　同期信号生成部
　３５　第２通信部
　３６　入出力部
　３７　制御部
　３８　記憶部
　３９　遅延時間取得部
　４１　表示処理部
　４２　表示部
　４３　報知部
　４４、２４７　メモリ
　２４１　ライトガイド
　２４２　照明レンズ
　２４３　光学系
　２４４　撮像素子
　２４５　ＣＤＳ部
　２４６、５１１　Ａ／Ｄ変換部
　５０１　Ｄ／Ａ変換部
　５０２　調光検波部
　５０３　ＡＧＣ部
　５０４　ノイズ除去部
　５０５　ＷＢ処理部
　５０６　フリーズ処理部
　５０７　ガンマ処理部
　５０８　カラーマトリクス処理部
　５０９　拡大縮小処理部
　５１０　強調処理部
　５２１　第１フレームメモリ
　５２２　第２フレームメモリ
　５２３　第３フレームメモリ

Claims (7)

  1. 　被検体を撮像して撮像信号を出力する内視鏡と、
    　前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置と、
    　前記画像処理装置によって画像処理が施された前記撮像信号に基づいて前記被検体の画像を表示する表示装置と、
    　を備え、
    　前記内視鏡、前記画像処理装置および前記表示装置のいずれかに設けられ、前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、
    　を有する内視鏡システム。
  2. 　前記内視鏡は、
    　受光した光を光電変換し、該光電変換した電気信号を読み出すことによって前記撮像信号を生成する撮像素子と、
    　前記撮像素子が生成した前記撮像信号に対して信号処理を施す第１の処理部と、
    　を有し、
    　前記画像処理装置は、
    　前記内視鏡から入力される前記撮像信号に対して複数種類の処理を施す第２の処理部、
    　を有し、
    　前記表示装置は、
    　前記画像処理装置から入力される前記撮像信号に基づいて、画像表示にかかる処理を施す第３の処理部、
    　を有し、
    　前記総処理時間検出部は、前記撮像素子および前記第１の処理部が処理に要する第１の処理時間と、前記第２の処理部が処理に要する第２の処理時間と、前記第３の処理部が処理に要する第３の処理時間とを総和する
    　請求項１に記載の内視鏡システム。
  3. 　前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記内視鏡の現在位置と、前記表示装置において表示される被検体の画像から認識される前記内視鏡の位置とにずれが生じていることを報知する報知部、
    　をさらに備える請求項１に記載の内視鏡システム。
  4. 　前記画像処理装置は、
    　前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記第２の処理部に、当該第２の処理部が実施する処理の一部を間引いた間欠処理を実施させる制御部、
    　をさらに備える請求項２に記載の内視鏡システム。
  5. 　前記画像処理装置は、
    　予め設定されている基準画像データを前記表示装置に出力する基準画像データ出力部と、
    　前記表示装置の前記第３の処理部によって処理された前記基準画像データを取得して、前記基準画像データ出力部が前記表示装置に出力した第１の基準画像データと、前記表示装置から取得した第２の基準画像データとの位相を比較することによって、前記第３の処理部が処理に要する前記第３の処理時間を取得する位相比較部と、
    　を備え、
    　前記総処理時間検出部は、前記第１および第２の処理時間と、前記位相比較部が取得した、前記第３の処理時間との総和を算出する
    　請求項２に記載の内視鏡システム。
  6. 　前記総処理時間検出部は、前記内視鏡に格納された前記第１の処理時間と、前記画像処理装置に格納された前記第２の処理時間と、前記表示装置に格納された前記第３の処理時間との総和を算出する
    　請求項１に記載の内視鏡システム。
  7. 　被検体を撮像して撮像信号を出力する内視鏡と、前記被検体の画像を表示する表示装置とに接続し、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置であって、
    　前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、
    　を備える画像処理装置。
PCT/JP2019/008466 2019-03-04 2019-03-04 内視鏡システムおよび画像処理装置 WO2020178962A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/008466 WO2020178962A1 (ja) 2019-03-04 2019-03-04 内視鏡システムおよび画像処理装置
CN201980087161.XA CN113271838A (zh) 2019-03-04 2019-03-04 内窥镜系统及图像处理装置
JP2021503298A JP7230174B2 (ja) 2019-03-04 2019-03-04 内視鏡システム、画像処理装置および画像処理装置の制御方法
US17/350,657 US20210307587A1 (en) 2019-03-04 2021-06-17 Endoscope system, image processing device, total processing time detection method, and processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008466 WO2020178962A1 (ja) 2019-03-04 2019-03-04 内視鏡システムおよび画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/350,657 Continuation US20210307587A1 (en) 2019-03-04 2021-06-17 Endoscope system, image processing device, total processing time detection method, and processing device

Publications (1)

Publication Number Publication Date
WO2020178962A1 true WO2020178962A1 (ja) 2020-09-10

Family

ID=72337719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008466 WO2020178962A1 (ja) 2019-03-04 2019-03-04 内視鏡システムおよび画像処理装置

Country Status (4)

Country Link
US (1) US20210307587A1 (ja)
JP (1) JP7230174B2 (ja)
CN (1) CN113271838A (ja)
WO (1) WO2020178962A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6979510B2 (ja) * 2018-02-22 2021-12-15 富士フイルム株式会社 内視鏡システム及びその作動方法
CN109222854A (zh) * 2018-11-19 2019-01-18 苏州新光维医疗科技有限公司 内窥镜摄像系统及其图像信号传输方法
CN114112456B (zh) * 2021-10-25 2024-04-02 新光维医疗科技(苏州)股份有限公司 内窥镜系统成像检测装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004121372A (ja) * 2002-09-30 2004-04-22 Pentax Corp 診断補助用装置
JP2015036055A (ja) * 2013-08-13 2015-02-23 Hoya株式会社 内視鏡システム
JP2017225648A (ja) * 2016-06-23 2017-12-28 Hoya株式会社 電子内視鏡システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5096090B2 (ja) * 2007-09-19 2012-12-12 オリンパスメディカルシステムズ株式会社 生体内画像受信装置および生体内画像取得システム
JP5317886B2 (ja) * 2009-08-13 2013-10-16 Ｈｏｙａ株式会社 電子内視鏡システムおよび電子内視鏡用プロセッサ
EP2508116B1 (en) * 2010-09-24 2013-11-13 Olympus Medical Systems Corp. Image-display device and capsule-type endoscope system
JP2014204851A (ja) * 2013-04-12 2014-10-30 オリンパス株式会社 内視鏡装置
JP5884873B1 (ja) * 2014-08-19 2016-03-15 カシオ計算機株式会社 画像抽出装置、画像抽出方法及びプログラム
US20190020877A1 (en) * 2016-01-21 2019-01-17 Sony Corporation Image processing apparatus and method
JP6602969B2 (ja) * 2016-05-23 2019-11-06 オリンパス株式会社 内視鏡画像処理装置
JP6620079B2 (ja) * 2016-09-08 2019-12-11 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム
JP6465452B2 (ja) * 2016-12-22 2019-02-06 オリンパス株式会社 内視鏡挿入形状観測装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004121372A (ja) * 2002-09-30 2004-04-22 Pentax Corp 診断補助用装置
JP2015036055A (ja) * 2013-08-13 2015-02-23 Hoya株式会社 内視鏡システム
JP2017225648A (ja) * 2016-06-23 2017-12-28 Hoya株式会社 電子内視鏡システム

Also Published As

Publication number Publication date
CN113271838A (zh) 2021-08-17
US20210307587A1 (en) 2021-10-07
JP7230174B2 (ja) 2023-02-28
JPWO2020178962A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
JP6378846B2 (ja) 画像処理装置
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
JP6049945B2 (ja) 撮像装置および処理装置
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
JPWO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
US10462440B2 (en) Image processing apparatus
JP6937902B2 (ja) 内視鏡システム
US10188266B2 (en) Endoscopic imaging device for reducing data amount of image signal
JP2017123997A (ja) 撮像システムおよび処理装置
JP7234320B2 (ja) 画像処理装置および画像処理装置の作動方法
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2020003601A1 (ja) 内視鏡用光源装置
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP2005040181A (ja) 自家蛍光観察装置
JP2017221276A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918073

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503298

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19918073

Country of ref document: EP

Kind code of ref document: A1