WO2017061495A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2017061495A1
WO2017061495A1 PCT/JP2016/079674 JP2016079674W WO2017061495A1 WO 2017061495 A1 WO2017061495 A1 WO 2017061495A1 JP 2016079674 W JP2016079674 W JP 2016079674W WO 2017061495 A1 WO2017061495 A1 WO 2017061495A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
unit
image
endoscope
amount
Prior art date
Application number
PCT/JP2016/079674
Other languages
English (en)
French (fr)
Inventor
伸介 谷
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680058819.0A priority Critical patent/CN108135455B/zh
Priority to JP2017526726A priority patent/JP6192882B1/ja
Publication of WO2017061495A1 publication Critical patent/WO2017061495A1/ja
Priority to US15/947,195 priority patent/US11006817B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00036Means for power saving, e.g. sleeping mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00108Constructional details of the endoscope body characterised by self-sufficient functionality for stand-alone use
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging

Definitions

  • the present invention relates to an endoscope system that wirelessly transmits an image captured by an endoscope body including a battery to a processor.
  • endoscopes have been widely used in the medical field and industrial field.
  • Endoscopes used in the medical field are battery-powered endoscopes (hereinafter referred to as endoscope bodies) equipped with rechargeable batteries due to advances in semiconductor technology and power saving using LEDs as illumination light sources.
  • endoscope bodies battery-powered endoscopes
  • LEDs as illumination light sources.
  • a conventional endoscope not equipped with a battery does not require a processor as an image processing device or a cable for connecting to a light source device. Therefore, it is possible to improve the operability when the operator performs an operation or the like (compared to a case where a conventional endoscope is used).
  • the image quality is also reduced along with the compression.
  • the surgeon operates the endoscope main body and performs an operation, it is high in a scene where the affected part is to be examined and observed. Since an image with high image quality is desired, it is desirable to reduce the compression rate or perform wireless transmission without compression.
  • the operator does not need a high-quality image and transmits it wirelessly with a high compression ratio. May be.
  • Japanese Patent Application Laid-Open No. 2009-18975 as a first conventional example describes a capsule endoscope that captures an image of a subject, and an endoscope image that is carried by the subject and obtained by the capsule endoscope.
  • a capsule endoscope system including a receiving device that receives and stores wirelessly, and an information management device that stores and manages an endoscopic image captured from the receiving device and displays the endoscopic image on a monitor.
  • the selecting means for selecting an endoscopic image stored in the information management device from a plurality of endoscopic images wirelessly received by the receiving device from the capsule endoscope is received by the receiving device from the capsule endoscope.
  • Japanese National Publication No. 2009-513283 discloses a capsule camera device, which includes a housing suitable for swallowing, a light source in the housing, and a portion irradiated by the light source.
  • a camera for capturing the first digital image and the second digital image, a motion detector for detecting motion based on a difference between the first digital image and the second digital image, and And a motion evaluator for designating a second digital image for further processing based on the measured quantity, and changing the capture rate captured by the motion detection.
  • both the first conventional example and the second conventional example disclose that image similarity or motion is evaluated and image data is wirelessly transmitted in consideration of the evaluation result.
  • No means are disclosed for classifying endoscopic procedure scenes based on them.
  • the surgeon since the surgeon does not operate the capsule camera in the first conventional example and the second conventional example, a plurality of endoscopic procedures do not exist.
  • An object of the present invention is to provide an endoscope system.
  • An endoscope system includes an imaging unit that is inserted into a subject and provided at a distal end portion, and a first wireless transmission unit that wirelessly transmits an image signal captured by the imaging unit.
  • a typical endoscopic procedure scene comprising a plurality of scenes of an image for observing the part by the endoscope main body based on an image signal obtained by imaging the part in the subject by the processor and the imaging unit.
  • a scene classification unit that classifies which endoscopic technique scene corresponds to a scene reliability determination unit that determines reliability of the scene classified by the scene classification unit, and the scene reliability determination unit
  • the scene classification unit uses the image signal of the frame that is a predetermined period before the frame of the image signal determined to be low in reliability.
  • An image signal target compression rate determining unit that determines a target compression rate of the image signal wirelessly transmitted by the first wireless transmission unit according to a scene classification result.
  • FIG. 1 is a diagram showing an overall configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a wireless endoscope and a processor as an endoscope main body in the endoscope system according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of an image processing unit on the processor side in the endoscope system according to the first embodiment.
  • FIG. 4 is an explanatory diagram when a region of the other image corresponding to a divided region in one image is detected by block matching for calculating a motion amount by the motion detection unit.
  • FIG. 5A is a diagram showing an SSD distribution with respect to a horizontal displacement and a vertical displacement calculated by block matching in FIG. 4.
  • FIG. 5A is a diagram showing an SSD distribution with respect to a horizontal displacement and a vertical displacement calculated by block matching in FIG. 4.
  • FIG. 5B is a diagram showing an example of an SSD distribution with respect to, for example, a horizontal displacement calculated by block matching when the blur of an image is small and when the blur is large, for example.
  • FIG. 6A is a diagram illustrating a typical image scene that is discriminated based on a motion amount.
  • FIG. 6B is a diagram showing a typical image scene that is discriminated based on the amount of motion.
  • FIG. 6C is a diagram illustrating a typical image scene that is discriminated based on a motion amount.
  • FIG. 6D is a diagram showing an exceptional image scene in which the endoscopic technique scene cannot be classified.
  • FIG. 7A is a diagram showing, in a tabular form, examples of endoscopic technique scenes classified according to image scenes and the amount of motion, and target compression ratios set for each endoscopic technique scene.
  • FIG. 7B is a diagram showing, in a tabular form, a relationship between a target compression rate set according to an endoscopic procedure scene, image characteristics, and an image scene.
  • FIG. 7C is a diagram showing, in a tabular form, the relationship between the endoscopic technique scene and the target compression rate set according to the amount of motion stored in the LUT.
  • FIG. 7D is a diagram showing, in a tabular form, a relationship between an endoscopic technique scene and a target compression rate set according to the distance, which is stored in the LUT.
  • FIG. 7E is a diagram showing, in a tabular form, a relationship between an endoscopic technique scene classified according to an image scene, a motion amount, and a distance, and a target compression rate set according to the endoscopic technique scene.
  • FIG. 7F is a diagram showing, in a tabular form, a relationship between an endoscopic procedure scene and a target compression rate set according to the amount of movement and distance.
  • FIG. 8A is a diagram showing a typical image scene determined based on distance.
  • FIG. 8B is a diagram showing a typical image scene determined based on the distance.
  • FIG. 8C is a diagram showing a typical image scene determined based on the distance.
  • FIG. 8D is a diagram showing an exceptional scene that cannot be determined based on the distance.
  • FIG. 8A is a diagram showing a typical image scene determined based on distance.
  • FIG. 8B is a diagram showing a typical image scene determined based on the distance.
  • FIG. 8C is a diagram showing a typical image
  • FIG. 9 is a flowchart illustrating processing contents of the wireless endoscope and the processor in the endoscope system according to the first embodiment.
  • FIG. 10 is a diagram showing the transition of the amount of image data in a control method in which a target compression rate is set below the amount of data that can be transmitted, and the value of the compression parameter is changed together with the frame number for wireless transmission.
  • FIG. 11 is a flowchart showing a part of processing for classifying an endoscopic technique scene based on detection of a motion amount and a distance, and further determining a target compression rate.
  • FIG. 12 is a block diagram illustrating a configuration of an image processing unit of a wireless endoscope in an endoscope system according to a modification of the first embodiment.
  • FIG. 13 is a flowchart showing the processing contents of the wireless endoscope and the processor in the endoscope system according to the modification of the first embodiment.
  • an endoscope system 1 includes a wireless endoscope main body (hereinafter abbreviated as “wireless endoscope”) 2A forming a battery-driven portable endoscope, a wireless endoscope 2A, A main part is configured by a processor 3 that is connected wirelessly and performs predetermined image processing, and a monitor 7 that is connected to the processor 3 and displays an endoscopic image or the like. Further, in the endoscope system 1 of the present embodiment, in addition to the wireless endoscope 2A including a single image sensor, wireless indicated by a two-dot chain line including two image sensors that enable stereoscopic viewing.
  • the endoscope 2B can also be used.
  • the endoscope system 1 of the present embodiment is provided on a cart 6 with various medical devices including the processor 3, such as an electric scalpel device, a pneumoperitoneum, and a video recorder. Etc. and a gas cylinder filled with carbon dioxide are mounted.
  • a light source unit (or light source unit) 26 configured by a light emitting diode (not shown) provided in the wireless endoscope 2I is disposed in the operation unit 9 and controlled by the endoscope side control unit 21. Then, illumination light for illuminating the body cavity is generated. This illumination light is guided to the distal end portion 8a provided at the distal end of the insertion portion 8 by the light guide 11 shown in the enlarged view in FIG. 1, and the subject is examined via the illumination lens 12 provided in the illumination window of the distal end portion 8a. Irradiated to a site such as an affected part (also called a subject). Further, as shown in the enlarged view, imaging portions 22A and 22B are provided at the distal end portion 8a.
  • the imaging unit 22A is disposed at the distal end 8a of the insertion unit 8, and captures an objective lens 13 that connects an optical image of a subject and a charge coupled device (abbreviated as CCD) or a CMOS sensor that is disposed at the imaging position. It is comprised with the element 14.
  • CCD charge coupled device
  • CMOS complementary metal-oxide-semiconductor
  • FIG. 1 The return light from the subject due to the illumination light from the light source unit 26 is imaged on the imaging surface of the imaging device 14, and the imaging device 14 captures a captured image (signal) based on the subject optical image by photoelectric conversion on the endoscope side.
  • the data is output to an image processing unit (also simply referred to as an image processing unit) 23.
  • the imaging unit 22A (the imaging element 14) outputs (or generates) a captured image (signal), and the image processing unit 23 is defined to generate an image (signal) obtained by performing image processing on the captured image (signal).
  • the imaging unit 22A (the imaging device 14) outputs (or generates) an image (signal), and the image processing unit 23 performs image processing on the image (signal), and performs image processing. It may be defined that an image (signal) is generated. The same applies to the imaging unit 22B.
  • FIG. 2 shows the configuration of the wireless endoscopes 2A and 2B and the processor 3 in the endoscope system 1 of the first embodiment
  • FIG. 3 shows the configuration of the image processing system in the processor 3.
  • the wireless endoscope 2A is a battery-driven portable endoscope that adopts a wireless configuration and is wirelessly connected to the processor 3, and is a wireless endoscope 2A.
  • An endoscope-side radio transmission unit (simply for transmitting a predetermined signal wirelessly between the processor 3 and the endoscope-side image processing unit 23 that performs predetermined image processing on the captured image or captured image signal from (Also referred to as a wireless transmission unit) 24, a battery 25 for supplying power to each part of the wireless endoscope 2A, a light source unit 26 for irradiating the body cavity, and an antenna for performing wireless transmission / reception between the processor 3 27 and the main There has been configured.
  • the control part 21 is comprised by the central processing unit (abbreviated as CPU) which performs control operation according to a program, for example.
  • the image processing unit 23 includes an image processing circuit including a CDS circuit that performs correlated double sampling (CDS) processing on the imaging signal output from the imaging unit 22A.
  • the wireless transmission unit 24 includes a wireless transmission circuit that generates a transmission signal to be transmitted wirelessly and a wireless reception circuit that receives the transmission signal received wirelessly and generates a demodulated signal.
  • the control unit 21, the image processing unit 23, and the like may be configured by a digital signal processor (DSP).
  • DSP digital signal processor
  • the control unit 31 and the image processing unit 33 on the processor 3 side, which will be described later, may also be configured by a CPU or a DSP.
  • Each wireless endoscope 2A includes a memory 28 for storing unique identification information (abbreviated as ID) including its type, and when transmitting a signal to the processor 3 wirelessly, the wireless endoscope 2A adds the ID and transmits the signal. For this reason, when the signal is received wirelessly, the processor 3 can identify the wireless endoscope 2A that is the transmission source.
  • the battery 25 can be attached to the operation unit 9.
  • the imaging unit 22A, the endoscope side image processing unit 23, the light source unit 26, and the endoscope as a power source Power can be supplied to the side wireless transmission unit 24.
  • the endoscope side control unit 21 controls each unit circuit in the wireless endoscope 2 ⁇ / b> A and controls the battery 25 that is a power supply unit to supply power to each unit. In addition, the endoscope side control unit 21 acquires a compression parameter as information related to a target compression rate transmitted from the processor 3 side via the endoscope side wireless transmission unit 24, and based on the compression parameter, The endoscope side image processing unit 23 is controlled.
  • the endoscope-side image processing unit 23 is controlled by the endoscope-side control unit 21 to perform predetermined image processing for compressing a captured image from the imaging unit 22A to a target compression rate according to the compression parameter. After that, the data is output to the endoscope-side wireless transmission unit 24.
  • the endoscope-side wireless transmission unit 24 is controlled by the endoscope-side control unit 21 and transmits / receives image data and predetermined communication data to / from the processor 3 wirelessly via the antenna 27.
  • the endoscope-side wireless transmission unit 24 can perform wireless communication using, for example, a 60 GHz band and wireless communication using a 5 GHz band.
  • the imaging unit 22A in the wireless endoscope 2A includes an imaging unit 22B including a left imaging unit 29a and a right imaging unit 29b arranged on the left and right, and the rest is the same as the wireless endoscope 2A. It is the composition. That is, as shown in the enlarged view in FIG.
  • the objective lenses 13l and 13r are arranged in the left-right direction, and the imaging elements 14l and 14r are arranged at the imaging positions of the objective lenses 13l and 13r, respectively.
  • a left imaging unit 29a composed of the element 141, an objective lens 13r, and a right imaging unit 29b composed of the imaging element 14r are formed.
  • the image processing unit 23 in the wireless endoscope 2B performs predetermined image processing on the left and right captured images generated by the left imaging unit 29a and the right imaging unit 29b.
  • the wireless transmission unit 24 in the wireless endoscope 2B wirelessly transmits the left and right captured images generated by the image processing unit 23.
  • the processor 3 performs image processing corresponding to the stereoscopic wireless endoscope 2B in order to transmit the ID including information on the type of stereoscopic vision to the processor 3.
  • the imaging part 22B or the tip 8a and the part are determined from information on the two-dimensional positions of the left and right imaging elements. It is possible to calculate the distance between the two.
  • the wireless communication between the wireless endoscope 2I and the processor 3 in this embodiment is, for example, wireless communication using the 60 GHz band for the image signal from the image processing unit 23, and 5 GHz for communication related to information such as the compression rate. Wireless communication using bands.
  • the endoscope-side wireless transmission unit 24 is controlled by the control unit 21 to wirelessly transmit the image signal obtained by the imaging to the processor 3 sequentially via the antenna 27 according to the compression rate. Are received via the antenna 27 at predetermined time intervals.
  • the processor 3 wirelessly communicates information with a processor-side control unit (also simply referred to as a control unit) 31 that controls each circuit unit in the processor 3 and the wireless endoscope 2I.
  • a wireless receiver 32 for transmitting the signal a processor-side image processing unit (also simply referred to as an image processing unit) 33 that performs a predetermined process on the imaging signal from the imaging unit 22I acquired via the wireless receiver 32, and
  • a video output unit 35 that converts the captured image output from the processor-side image processing unit 33 into a format that can be displayed on the monitor 7 and outputs it, and a user IF unit 36 that is an interface that accepts an operation by a user such as an operator.
  • the main part is composed of
  • the wireless receiver 32 is a wireless communication between the wireless endoscope 2I and a processor-side wireless transmission unit (also simply referred to as a wireless transmission unit) 34 for wirelessly transmitting a predetermined signal to and from the wireless endoscope 2I.
  • the antenna 37 for transmission / reception constitutes a main part.
  • the wireless receiver 32 is configured separately from the processor body, and is connected to the processor 3 body by a connector (not shown).
  • FIG. 1 shows a state in which a radio receiver 32 configured separately from the main body of the processor 3 is placed on the cart 6 on the processor 3.
  • the processor-side wireless transmission unit 34 in the wireless receiver 32 is controlled by the processor-side control unit 31 to transmit and receive image data and predetermined communication data wirelessly via the antenna 37 to and from the wireless endoscope 2I. Is supposed to do.
  • the processor-side wireless transmission unit 34 can perform, for example, wireless communication in the 60 GHz band and wireless communication in the 5 GHz band in the same manner as the endoscope-side wireless transmission unit 24.
  • the processor-side radio transmission unit 34 sequentially receives the image signal from the image processing unit 23 transmitted from the wireless endoscope 2I via the antenna 37 by wireless communication using the 60 GHz band, and the processor 3
  • the communication related to the information such as the determined compression parameter is transmitted to the wireless endoscope 2I via the antenna 37 at predetermined time intervals by wireless communication using the 5 GHz band.
  • the user IF unit 36 is an interface that accepts user operations, and includes, for example, a front panel and various buttons of a control system, and outputs operation signals based on user operations to the processor-side control unit 31.
  • the user IF unit 36 can accept various user operations such as designation of the observation mode of the wireless endoscope 2I and settings related to image display.
  • the processor-side control unit 31 can receive the user IF unit.
  • Various instructions can be given to the endoscope-side control unit 21 of the wireless endoscope 2I via the processor-side radio transmission unit 34 based on the operation signal from the 36.
  • the processor 3 may include the processor-side wireless transmission unit 34.
  • FIG. 3 shows a configuration of the image processing unit (processor-side image processing unit 33) of the processor 3 in the endoscope system 1 of the first embodiment.
  • the processor-side image processing unit 33 acquires an image signal (or an image acquisition circuit) that acquires an image signal transmitted wirelessly from the wireless endoscope 2 ⁇ / b> I via the processor-side wireless transmission unit 34.
  • 51 and the state of observing the site in the subject by the imaging unit 22A or 22B provided at the distal end 8a of the insertion unit 8 in the wireless endoscope 2I is reflected based on the image signal acquired by the image acquisition unit 51.
  • a physical quantity detection unit (or physical quantity detection circuit) 52 that detects a physical quantity, and a scene in which an operator is performing a procedure using the wireless endoscope 2I based on the feature quantity of the physical quantity detected by the physical quantity detection unit 52 in advance.
  • Classification unit 53 for classifying a representative endoscopic technique scene among a plurality of representative endoscopic technique scenes prepared or registered.
  • Classification unit (or endoscopic technique scene classification circuit) 53 endoscopic technique scene classification unit 53, and feature quantities of physical quantities acquired by the physical quantity detection unit 52 (specifically, A target compression rate determination unit (or target compression) that determines a target compression rate of an image used in the endoscope-side image processing unit 23 in the wireless endoscope 2I from the physical quantity size, physical quantity distribution at a plurality of positions, and the like.
  • Rate determination circuit 54 and a compression parameter determination unit (or compression parameter determination circuit) 57 for determining a compression parameter to be compressed to the determined target compression rate.
  • the image acquisition unit 51 when the wirelessly transmitted image signal is compressed, the image acquisition unit 51 performs image processing to expand and generates an uncompressed image signal. This image signal is output to the physical quantity detection unit 52 and the video output unit 35. Further, the image acquisition unit 51 grasps the state of wireless transmission and calculates a wirelessly transmittable data amount calculation unit 51a that calculates the wirelessly transmittable data amount, and wirelessly transmittable data amount that determines the wirelessly transmittable data amount And a determination unit 51b. Although an example in which a wirelessly transmittable data amount calculation unit 51 a and a wirelessly transmittable data amount determination unit 51 b are provided inside the image acquisition unit 51 is shown, it may be provided outside the image acquisition unit 51. good.
  • the wirelessly transmittable data amount calculated by the wirelessly transmittable data amount calculating unit 51a and the determination result by the wirelessly transmittable data amount determining unit 51b are sent to the target compression rate determining unit 54, and the target compression rate determining unit 54 Determines a target compression rate when an image signal is wirelessly transmitted with priority given to the amount of data that can be wirelessly transmitted. Then, as described later, the amount of wirelessly transmittable data is calculated and determined, and when the image signal when the target compression rate is low is wirelessly transmitted, the compression rate of the image signal is set to be within the amount of wirelessly transmittable data. The wireless transmission can be surely performed.
  • the physical quantity detection unit 52 in the present embodiment uses the physical quantities to calculate the motion amounts (or motion vectors) in a plurality of representative regions in an image for one frame, based on the image signal obtained by imaging the subject with the imaging unit 22A or 22B.
  • Distance detection for detecting, as the physical quantity, a plurality of distances between the imaging unit 22B and a plurality of positions in the subject imaged by the imaging unit 22B, for example.
  • Part (or distance detection circuit) 52b Part (or distance detection circuit) 52b.
  • the plurality of representative areas in which the amount of motion is detected are a plurality of representative positions in the smallest case.
  • the motion amount detection unit 52a as a physical amount detected by the physical amount detection unit 52 from the user IF unit 36, And one of the distance detectors 52b can be selected to classify the endoscopic technique scene from the image scene.
  • the motion amount detection unit 52a is selected as the physical quantity to be detected by the physical quantity detection unit 52, and the endoscope Classify procedure scenes.
  • the motion amount detection unit 52a is automatically selected based on the ID.
  • a type of wireless endoscope (2C) including a laser light source for distance measurement and a measurement unit that measures time until the laser light irradiated on the subject side returns imaging including one imaging element is performed.
  • the motion amount detection unit 52a as the physical amount detected by the physical amount detection unit 52 is used.
  • one of the distance detectors 52b can be selected to classify the endoscopic technique scene.
  • the wireless endoscopes 2A and 2B will be described as wireless endoscopes for simplification, but the present invention can also be applied to the case of the wireless endoscope 2C.
  • the endoscopic technique scene classification unit 53 classifies the endoscopic technique scene based on the feature quantity of the physical quantity detected by the physical quantity detection unit 52 as described above, and further classifies the endoscopic technique scene. It has a function of an endoscopic technique scene reliability determination unit (or a scene reliability determination circuit) 53a that determines the reliability of a mirror technique scene.
  • 3 shows a configuration in which the endoscopic technique scene classification unit 53 includes an endoscopic technique scene reliability determination unit 53a.
  • the endoscopic technique scene classification unit 53 includes an endoscope technique scene reliability determination unit 53a. You may make it the structure provided with the sex determination part 53a.
  • the image processing unit 33 stores a representative endoscope that stores feature quantities representing a plurality of representative endoscopic procedure scenes when the endoscopic procedure scene classification unit 53 classifies the endoscopic procedure scenes.
  • the endoscope 55 includes a memory 55 having a mirror procedure scene feature amount storage unit 55 a, and the endoscope procedure scene classification unit 53 refers to information in a typical endoscope procedure scene feature amount storage unit 55 a in the memory 55.
  • the procedure scenes are classified (see, for example, FIGS. 7A and 7B).
  • the endoscopic technique scene classification unit 53 stores information on endoscopic technique scenes classified in time (in order of time) in, for example, the classification scene storage unit 55b in the memory 55 (from the image of the current frame to the past). ) Store an appropriate number of frames.
  • the scene reliability determination unit 53a determines that the endoscope technique scene classified by the endoscope technique scene classification unit 53 has low reliability, the image of the frame determined to have low reliability ( The classification result of the endoscopic technique scene classified by the endoscopic technique scene classification unit 53 and stored in the classification scene storage unit 55b in the image (signal) of the frame before the predetermined period from the signal) is subjected to target compression.
  • the data is sent to the rate determination unit 54.
  • the target compression rate determination unit 54 determines whether the endoscopic procedure scene classification unit 53 classifies the endoscopic procedure scene when the endoscopic procedure scene reliability determination unit 53a does not determine that the reliability is low.
  • the target compression rate is determined based on the classification result of the endoscopic technique scene, the size of the physical quantity, and the like (see FIGS.
  • the target compression rate determination unit 54 transmits at least the data amount of the image signal to be wirelessly transmitted by wireless transmission.
  • the target compression rate is determined so as to be within the range of the possible data amount or less. In other words, the target compression rate determination unit 54 determines the target compression rate based on the amount of data that can be wirelessly transmitted, the classification result of the endoscopic procedure scene, the size of the physical quantity, and the like. Prioritize.
  • the target compression rate determination unit 54 determines the target compression rate by referring to information stored in a lookup table (abbreviated as LUT) 56 prepared in advance (see FIGS. 7C and 7D).
  • the physical quantity detection unit 52 includes a motion amount detection unit 52a that detects a motion amount, and a distance detection unit 52b that detects a distance. First, the detection of the motion amount and the discrimination of the image scene by the motion amount detection unit 52a will be described. That is, the endoscopic technique scene classification unit 54 classifies the endoscopic technique scene from the image scene. It should be noted that the endoscopic technique scene classification may be performed without going through image scene discrimination.
  • FIG. 4 shows an image (signal) Ip of the current frame and an image (signal) If one frame before that are captured by the imaging unit 22I and input to the motion amount detection unit 52a of the image processing unit 33 of the processor 3.
  • the motion amount detection unit 52a calculates the sum of squares (SSD: Sum of Squared Difference) of the difference between the corresponding pixel values between the blocks B5 and Bi as the block matching process, and the SSD. Is determined to be the same block matched with the block B5.
  • SSD Sum of Squared Difference
  • the motion amount detection unit 52a starts from the representative position (also simply referred to as position) such as the center position of the block B5 to the block B4.
  • position such as the center position of the block B5 to the block B4.
  • the amount of movement to the representative position is detected as the amount of movement in one frame period.
  • the motion amount detection unit 52a detects the motion amount in the blocks B1 to B9 in the image Ip. In FIG. 4, the case of nine blocks B1 to B9 has been described. However, the motion amount detection unit 52a actually detects the motion amount in a block having a larger number of divisions (in other words, a smaller size block or region). To do.
  • FIG. 4 the motion amount detection unit 52a starts from the representative position (also simply referred to as position) such as the center position of the block B5 to the block B4.
  • the amount of movement to the representative position is detected as the amount of movement in one frame period.
  • the motion amount detection unit 52a detects the motion amount in the blocks B1 to B9 in the image I
  • the SSD has a minimum value SSD_a at the horizontal position Ph and the vertical position Pv, and the SSD increases in a parabolic manner when it deviates from the positions Ph and Pv.
  • FIG. 5B shows a characteristic Cb having low reliability together with the characteristic Ca as a characteristic with respect to a position in the horizontal direction, for example.
  • the SSD value is a small minimum value SSD_a when the horizontal position is Ph, and the SSD value changes greatly with a small position change from the position Ph.
  • the SSD value is almost the same value SSD_b as in the case of the characteristic Ca when the horizontal position is Ph, and the SSD value is changed with respect to the position change from the position Ph. Small change.
  • SSD_a and SSD_b include an error of a value ⁇ caused by noise or the like
  • the value of the range Ra slightly deviated from the position Ph, whereas the reliability of the position Ph is high.
  • the value extends from the position Ph to a wide range Rb, and the reliability of the position Ph in this case is low. That is, by comparing the values of the ranges Ra and Rb with predetermined threshold values, it is determined whether the reliability of the position Ph is high or low, that is, whether the reliability of the motion amount value itself is high or low. be able to.
  • the endoscopic technique scene reliability determination unit 53a determines the motion amount. Is determined that the endoscopic technique scene classification result is not low.
  • the endoscopic procedure scene reliability determination unit 53a determines the motion amount value itself. Since the reliability is low, it is determined that the reliability of the endoscopic technique scene classified using the amount of movement is low.
  • FIG. 6D is a diagram showing an exceptional image scene in which the endoscopic technique scene cannot be classified.
  • the image scene of FIG. 6D other than FIGS. 6A to 6C corresponds to an endoscopic technique scene of a non-classifiable scene.
  • a plurality of representative image scenes are discriminated based on the distribution of the amount of motion (as a feature amount) at a plurality of representative positions in an image for one frame, and an endoscopic technique is used. Classified into scenes.
  • the image scene of FIG. 6A shows a parallel image scene in which the amount of motion at a plurality of representative positions in the image is substantially the same (in FIG. 6A, a parallel image scene to the right).
  • FIG. 6B shows a back-and-forth movement image scene in which the amount of motion on the center side in the image is small and the amount of motion increases radially (in steps) toward the periphery.
  • the image scene of FIG. 6C shows a partially moving image scene in which, for example, there is a movement in the left part of the image, but a small amount of movement or a little movement in the right part.
  • an image scene with partial movement can be called an image scene without partial movement.
  • FIG. 7A shows an example of an endoscopic technique scene classified from the image scene determined by the amount of motion, and shows the relationship between the set target compression ratios.
  • the partially moving image scene is classified as a treatment scene
  • the parallel moving image scene is an endoscope of the presence diagnosis scene, the qualitative and quantitative diagnosis scene according to the amount of motion.
  • Image scenes that are classified as procedure scenes and that move back and forth are classified into insertion scenes, existence diagnosis scenes, qualitative and quantitative diagnosis scenes according to the amount of motion.
  • the image scene of FIG. 6D is a non-classifiable scene that cannot be rationally classified because the amount of motion varies within the local region A (indicated by a dotted line).
  • the endoscopic technique scene classification unit 53 identifies (classifies) an endoscopic technique scene from the feature amount of the distribution (including the size) of the motion amount detected by the motion amount detection unit 52a. For example, as shown in FIG. 7A or 7B, the specified endoscopic technique scene and the target compression rate are set.
  • the image features and image scenes in this case are as shown in FIG. 7B.
  • the insertion scene in the scene item of the endoscopic procedure scene corresponds to a case where the amount of motion is large or the distance is large as a feature of the image, and the image scene that moves back and forth mainly corresponds.
  • the target compression rate is large (high).
  • the presence diagnosis scene corresponds to a case where the amount of motion is medium to large, or the distance is medium to large as a feature of the image, and an image scene of parallel movement or back and forth movement mainly corresponds.
  • the target compression rate is medium.
  • the qualitative and quantitative diagnosis scenes correspond to the case where the amount of motion is small (low) to medium or the distance is small to medium as image characteristics, and mainly corresponds to image scenes that are translated or moved back and forth. .
  • the target compression rate is small (low).
  • the treatment scene corresponds to a case where the motion amount is small to medium or the distance is small to medium as a feature of the image, and a partially moving image scene mainly corresponds to the treatment scene.
  • the target compression rate is small (low). In the partial movement scene, the movement and distance differ only in a partial area of the image. Further, instead of the target compression rate, a compression parameter determined by the target compression rate may be used.
  • non-classifiable scenes vary in motion amount values or distance values as image features (see FIG. 6D), or calculation accuracy Corresponds to a bad case (see FIG. 5B).
  • the target compression rate is determined by the previous frame.
  • the target compression rate may be determined to be large (100 KB), medium (150 KB), and small (180 KB) using, for example, the amount of data after compression. KB represents kilobytes.
  • the target compression rate may be determined to be large (1/20 times), medium (1/15 times), and small (1/12 times) using the compression rate, for example.
  • the value of the target compression rate may be changed according to the amount of movement and the distance.
  • the endoscopic procedure scene classification unit 53 (without determining that the endoscopic procedure scene reliability is low by the endoscopic procedure scene reliability determination unit 53a) is as described above.
  • information on the magnitude of the motion amount is sent to the target compression rate determination unit 54 (when the detected physical amount is the motion amount) together with the classification result.
  • the classification of the endoscopic procedure scene is confirmed.
  • the target compression rate determination unit 54 reads out the corresponding target compression rate from the LUT 56 based on the classification result of the endoscopic technique scene sent from the endoscopic technique scene classification unit 53 and the information on the amount of motion. , (When the detected physical quantity is a motion quantity), the target compression rate is determined.
  • FIG. 7C shows the contents of the table of the LUT 56 for determining a target compression ratio prepared in advance according to the endoscopic procedure scene and the amount of motion.
  • FIG. 7C shows the case of the motion amount
  • FIG. 7D shows the contents of the table of the LUT 56 for determining the target compression rate prepared in advance according to the distance instead of the motion amount.
  • endoscopic technique scenes can be classified into insertion scenes (moving scenes), existence diagnostic scenes (screening scenes), qualitative and quantitative diagnostic scenes ((scrutinized scenes), treatment scenes, and unclassifiable scenes.
  • the target compression rate is set as follows.
  • the target compression rate is set to be small as in the case where the distance is small.
  • the target compression rate is set to a small value.
  • the target compression rate is set to be small as in the case where the distance is medium or small.
  • the treatment scene the scene is the same as that in the qualitative and quantitative diagnosis scene, and the unclassifiable scene is calculated from the case of the previous frame.
  • the table for determining the target compression rate shown in FIGS. 7C and 7D shows one specific example, and for example, the target compression rate may be set more finely.
  • the target compression rate determination unit 54 refers to the LUT 56 having the table contents as shown in FIG. 7C, and the target compression rate of the image to be transmitted from the classification result (and the magnitude of the motion amount) of the endoscopic technique scene. To decide. Information on the target compression rate determined by the target compression rate determination unit 54 is input to the compression parameter determination unit 57, and the compression parameter determination unit 57 determines a compression parameter for compression to the target compression rate.
  • the compression parameter determination unit 57 sends the determined compression parameter to the wireless transmission unit 34, and the wireless transmission unit 34 wirelessly transmits the input compression parameter information to the wireless endoscope 2I. Then, the wireless endoscope 2I compresses the image data to be wirelessly transmitted using the transmitted compression parameter.
  • the association shown in FIG. 7E can be adopted.
  • the 7E shows the contents including the target compression ratio set according to the case of the classified endoscopic technique scene together with the contents of the endoscopic technique scene classified based on the image scene, the motion amount, and the distance.
  • the insertion scene, presence diagnosis scene, qualitative and quantitative diagnosis scene are classification candidates as the endoscopic technique scene, and in this case, the distance Are classified into insertion scenes, existence diagnosis scenes, qualitative and quantitative diagnosis scenes according to large, medium, and small.
  • the target compression rate is set to large, medium, or small according to the classified insertion scene, existence diagnosis scene, qualitative and quantitative diagnosis scene.
  • the presence diagnosis scene, qualitative and quantitative diagnosis scene as the endoscopic technique scene become classification candidates, in which case the distance is large, It is classified into a presence diagnosis scene, a qualitative and quantitative diagnosis scene, and a qualitative and quantitative diagnosis scene according to medium and small.
  • the target compression rate is set to medium or small according to the classified presence diagnosis scene, qualitative and quantitative diagnosis scene.
  • the image scene is translated, if the amount of motion is small, the presence diagnosis scene, the qualitative and quantitative diagnosis scene as the endoscopic technique scene are classification candidates, and in that case, the distance is large, It is classified into a presence diagnosis scene, a qualitative and quantitative diagnosis scene, and a qualitative and quantitative diagnosis scene according to medium and small.
  • the target compression rate is set to medium or small according to the classified presence diagnosis scene, qualitative and quantitative diagnosis scene.
  • the target compression rate is set to large or medium according to the classified insertion scene and existence diagnosis scene.
  • the insertion scene, presence diagnostic scene, qualitative and quantitative diagnostic scene are the classification candidates as the endoscopic technique scene, and in this case, the distance Are classified into insertion scenes, existence diagnosis scenes, qualitative and quantitative diagnosis scenes according to large, medium, and small.
  • the target compression rate is set to large, medium, or small according to the classified insertion scene, existence diagnostic scene, qualitative, and quantitative diagnostic scene.
  • the presence diagnosis scene, qualitative and quantitative diagnosis scene as the endoscopic technique scene become classification candidates, in which case the distance is large, It is classified into a presence diagnosis scene, a qualitative and quantitative diagnosis scene, and a qualitative and quantitative diagnosis scene according to medium and small.
  • the target compression rate is set to medium or small according to the classified presence diagnosis scene, qualitative and quantitative diagnosis scene.
  • the image scene is partially moved, it is classified as a treatment scene, and the target compression rate is set to a small value.
  • the other image scenes are classified into endoscopic technique scenes that cannot be classified, and the target compression rate is set (determined) by the endoscopic technique scene of the image of the previous frame.
  • a standard mode for performing low compression and a power saving mode for performing high compression are prepared.
  • the mode to be used may be set (selected).
  • the LUT 56 is not limited to determining the target compression rate from the classified endoscopic procedure scene and at least one of the movement amount and the distance, but from the image scene and at least one of the exposure amount and the distance, It may be such that the target compression rate is determined. Further, as the LUT 56, the table contents of FIG. 7F may be adopted instead of FIG. 7E.
  • the endoscope technique scene reliability determination unit 53a determines that the reliability (calculation accuracy) of the motion amount value calculated as described in FIG. 5B is low, or in the case of the exceptional scene of FIG. 6D, It is determined that the reliability of an unclassifiable scene as an endoscopic procedure scene corresponding to an exceptional scene is low.
  • the endoscopic procedure scene classification unit 53 is the same as the endoscopic procedure scene of the image in the frame immediately before this image frame. Is determined.
  • the endoscopic technique scene classification unit 53 determines that the endoscopic technique scene is the same as the endoscopic technique scene of the frame image that is a plurality of frames before the image frame.
  • the endoscopic procedure scene classification unit 53 performs an endoscopic procedure for an image in a frame that is a predetermined period before this image frame. Judged to be the same as the scene. It should be noted that, for an image that is determined to have a low reliability of the endoscopic procedure scene, the endoscopic procedure scene classification unit 53 is set to be the same as the endoscopic procedure scene of the image before the frame of the image. It is also possible for the user such as the surgeon to set information on the number of frames or the frame period when doing so from the user IF unit 36.
  • the latest endoscopic technique scene is estimated from a plurality of endoscopic technique scenes classified in the past according to changes in the endoscopic technique scene. For example, if a plurality of past frames are classified as existence diagnosis scenes, and the amount of motion in that case is gradually increasing, it is determined that the presence diagnosis scene is shifted to the insertion scene. As described above, in the case of an image determined that the reliability of the endoscopic procedure scene is low, it is determined that the endoscopic procedure scene is the same as the image of the previous frame, and the inside of the previous frame is determined. A target compression rate corresponding to the endoscopic technique scene is set (determined).
  • the left and right images (signals) captured by the left imaging unit 29a and the right imaging unit 29b, and input to the distance detection unit 52b via the image acquisition unit 51, are a plurality of representative images in one image by the distance detection unit 52b.
  • the distance at the position is calculated. Since each position in the image corresponds to each part in the imaged subject, a distance between a plurality of representative positions in the subject and the imaging unit 22B (or the tip of the tip 8a). It may be said that is calculated.
  • 8A to 8C are diagrams showing distances (information) in the case of a plurality of representative image scenes determined based on the distance, and FIG.
  • the image scene of FIG. 8A shows a parallel image scene in which the distances at a plurality of representative positions in the image are large, for example. 8A to 8D, the size of the circle represents the size of the distance.
  • the image scene in FIG. 8B shows an image scene that moves back and forth, where the distance on the center side of the image is large and the distance decreases radially toward the peripheral side.
  • the image scene of FIG. 8C shows a partially moved image scene in which the distance changes in the area of the left portion of the image, for example, but the distance does not change in the area of the right portion.
  • an image scene without movement whose distance is small in the entire image in the image scene of FIG. 8C may be included in the image scene of partial movement.
  • the image scene of FIG. 8D is an exceptional image scene because the value of the distance is more than the threshold value in the local area A (shown by a dotted line).
  • the endoscopic technique scene classification unit 53 discriminates the three image scenes shown in FIGS. 8A to 8C from the feature amounts of the distribution of the distance (information) detected by the distance detection unit 52b in the image shown in FIG. 7B. As shown in the figure, the classification of which endoscopic technique scene is applicable is performed based on the distance.
  • the endoscopic technique scene classification unit 53 has a distribution feature amount in the image of the distance (value) detected by the distance detection unit 52b within the local region A as in the image scene of FIG. 8D. Also, it is assumed that the exceptional image scenes with different distances in FIG.
  • the endoscopic technique scene classification unit 53 sends the information on the magnitude of the distance to the target compression rate determination unit 54 together with the information on the endoscopic technique scene classified as described above. In this case, the classification of the endoscopic procedure scene is confirmed.
  • the target compression rate determination unit 54 reads out the corresponding target compression rate from the LUT 56 from the classification result of the endoscopic technique scene sent from the endoscopic technique scene classification unit 53 and the information on the distance, and Determine the target compression ratio.
  • FIG. 7D shows the table contents of the LUT 56 used in the case of the distance prepared in advance.
  • the target compression ratio is set to be large when the distance is large, the target compression ratio is set to medium when the distance is medium, and the target compression ratio is set to small when the distance is small. Is done.
  • the target compression rate is set to medium, small, or small, respectively.
  • the target compression rate is set to be small when the distance is medium or small.
  • the target compression rate is set by the endoscopic technique scene classified with respect to the image of the previous frame in time.
  • the target compression rate determination unit 54 refers to the LUT 56 having the table contents as shown in FIG. 7D to determine the target compression rate of the determination target image.
  • Information on the target compression rate determined by the target compression rate determination unit 54 is input to the compression parameter determination unit 57, and the compression parameter determination unit 57 determines a compression parameter for compression to the target compression rate.
  • the compression parameter determination unit 57 sends the determined compression parameter to the wireless transmission unit 34, and the wireless transmission unit 34 wirelessly transmits the input compression parameter information to the wireless endoscope 2I. Then, the wireless endoscope 2I compresses the image data to be wirelessly transmitted using the transmitted compression parameter.
  • the endoscopic technique scene reliability determination unit 53a is similar to that described in FIG. 5B, and corresponds to an exceptional image scene when the distance is calculated with low accuracy or as shown in FIG. 8D ( In the case of a non-separable scene (as an endoscopic technique scene), it is determined that the reliability of the endoscopic technique scene is low. In the case of an image that is determined to be low in the reliability of the endoscopic technique scene, as in the case of the amount of motion described above, in the case of an image that is determined to be low in the reliability of the endoscopic technique scene, It is determined that the endoscopic technique scene is the same as the image of the previous frame, and a target compression rate corresponding to the endoscopic technique scene of the previous frame is set (determined).
  • the endoscope system 1 of the present embodiment is a first imaging unit 22A or 22B that is inserted into a subject and provided at the distal end portion 8a, and a first that wirelessly transmits an image signal captured by the imaging unit 22A or 22B.
  • a wireless endoscope 2A or 2B that forms an endoscope body having a wireless transmission unit 24 that forms a wireless transmission unit, and a second that is arranged outside the subject and receives an image signal transmitted wirelessly.
  • a part of the subject is imaged by the processor 3 having a wireless transmission unit 34 forming a wireless transmission unit, an image processing unit 33 for performing image processing of the wirelessly transmitted image signal, and the imaging unit 22A or 22B.
  • a scene of an image for observing the part by the endoscope main body is composed of a plurality of typical endoscopic procedure scenes (insertion scene, existence diagnosis scene, qualitative and quantitative diagnosis scene). , Treatment scene), an endoscopic technique scene classification unit 53 that forms a scene classification unit for classifying which endoscopic technique scene corresponds to, and reliability of the scene classified by the scene classification unit Endoscopic procedure scene reliability determination unit 53a that forms a scene reliability determination unit that performs determination, and the scene reliability determination unit determines that the reliability of the scene classified by the scene classification unit is low
  • a target compression rate determination unit 54 that forms an image signal target compression rate determination unit that determines a target compression rate of the image signal wirelessly transmitted by the unit.
  • FIG. 9 shows representative processing of the wireless endoscope 2I and the processor 3 in the present embodiment. Note that the leftmost flowchart portion in FIG. 9 shows processing on the wireless endoscope 2I side, and the right side shows processing on the processor 3 side. In the drawing of FIG. 9, the endoscopic technique scene is simply expressed as a scene.
  • step S1 the control unit 31 of the processor 3 wirelessly transmits an ID (transmission) request command from the wireless transmission unit 34 so that the wireless endoscope 2I transmits an ID.
  • step S2 the wireless endoscope 2I receives this command and wirelessly transmits the requested ID.
  • step S3 the processor 3 receives the ID, and enters a connection state in which wireless communication is performed with the wireless endoscope 2I. Whether the processor 3 receives the ID and the type of the imaging unit 22I of the wireless endoscope 2I that transmitted the ID is the 22A type having one imaging element or the 22B type having two imaging elements. Is recognized (identified).
  • the wireless endoscope 2I starts imaging the body cavity of the subject by the imaging unit 22I.
  • the image processing unit 23 of the wireless endoscope 2I generates image data (before compression) of the image captured by the imaging unit 22I.
  • the image processing unit 23 of the wireless endoscope 2I The image data is compressed with a preset compression parameter.
  • the wireless transmission unit 24 of the wireless endoscope 2I wirelessly transmits the compressed image data.
  • step S8 the wireless transmission unit 34 of the processor 3 receives the compressed image data, and the image processing unit 33 performs image processing to restore the image data before compression.
  • the wirelessly transmittable data amount calculation unit 51a in the image processing unit 33 calculates the wirelessly transmittable data amount when first receiving image data wirelessly transmitted from the wireless transmission unit 24 to the wireless transmission unit 34.
  • the wirelessly transmittable data amount determination unit 51b determines that the wirelessly transmitted image data is within the range of the wirelessly transmittable data amount.
  • a plurality of pieces of image data whose transmission data amount rate is changed may be transmitted so that the wirelessly transmittable data amount determination unit 51b can determine the amount of data that can be wirelessly transmitted. good. If the image data wirelessly transmitted by the wirelessly transmittable data amount determination unit 51b exceeds the range of the data amount that can be wirelessly transmitted, the image data compression parameter is increased, and the image data is further compressed and transmitted. As described above, the transmission request signal is transmitted to the wireless transmission unit 24 of the wireless endoscope 2I via the wireless transmission unit 34, and image data wirelessly transmitted from the wireless endoscope 2I to the processor 3 can be wirelessly transmitted. Set within the quantity range. FIG.
  • the image 10 shows image data when wirelessly transmitted from the wireless transmission unit 24 of the wireless endoscope 2I to the wireless transmission unit 34 of the processor 3 after calculating the data amount that can be wirelessly transmitted by the wirelessly transmittable data amount determination unit 51b.
  • the transition of the quantity is shown in the case of the change of the frame number. For example, if the captured image is 2000 kilobytes (abbreviated as 2000 KB) and the amount of data that can be wirelessly transmitted is 200 KB, the image data must be compressed to 1/10 times.
  • the image processing unit 23 of the wireless endoscope 2I performs image compression based on the compression parameter. It should be noted that the compression parameter becomes lower as the value increases, and as the value becomes higher (higher compression) or lower, the compression becomes lower.
  • the compression parameter is p
  • the data amount after image compression can be changed by changing the compression parameter p, but the final data amount is determined by the compression parameter p and the image. If the image is difficult to compress, the amount of data after compression is different even with the same compression parameter p (in other words, the compression rate is different even with the same compression parameter p). Therefore, while setting the target compression rate and monitoring the amount of data after compression together with the compression parameter p, the compression parameter p is updated appropriately so that the amount of data after image compression does not exceed the amount of data that can be wirelessly transmitted. I have to go.
  • the amount of data that can be wirelessly transmitted is 200 KB, for example, if the amount of data exceeds 200 KB, the image cannot be transmitted.
  • the target amount of data after compression is set to 180 KB, which is 10% smaller than 200 KB, for example.
  • a control method is adopted in which the initial value of the compression parameter p is set to 200, which is a large value, the data amount after image compression is initially made sufficiently small, and approaches the target compression rate. Yes.
  • the control method as shown in FIG. 10 the data amount in an image with a large frame number can be suppressed from the target compressed data amount within a small range, and the image can be stably wirelessly transmitted. Like that.
  • the first image of frame number 0 is compressed and transmitted with a large compression parameter p, and in the next frame number 1, according to the compressed data amount of the previous frame number 0, Update the target compression ratio.
  • the compression parameter p is started from the initial value 200 and the compression parameter p is calculated from the frame number 1 as follows.
  • Input image size 2000KB Target amount of compressed data 180KB Target compression rate 180KB / 2000KB Compression parameter p 200 of the previous frame (0)
  • the value of the compression parameter p of the next frame is calculated by the following functional equation.
  • the constraints in this case include quickly converging to the target compression rate and reducing changes in image quality during control.
  • step S9 subsequent to step S8 in FIG. 9, the control unit 31 of the processor 3 determines whether the physical quantity detected by the physical quantity detection unit 52 for determining the target compression rate is a motion amount.
  • the control unit 31 determines that the amount of motion is related to the determination process in step S9.
  • the operator selects one of the movement amount and the distance from the user IF unit 36.
  • step S9 it is not limited to the case where the operator performs an input for selecting one, but an input for selecting one may be performed in a stage before step S9.
  • an input for selecting one may be performed in a stage before step S9.
  • the motion amount detection unit 52a in the next step S10a the image (current image or current frame) input to the motion amount detection unit 52a.
  • the previous frame image are used to detect the amount of motion in the current image (the first one frame image has no previous frame image, so this processing is not performed. This process is started in the next frame image).
  • the endoscopic technique scene classification unit 53 determines that this image is one of the representative images shown in FIGS. 6A to 6D from the distribution of the motion amount detected by the motion amount detection unit 52a. It is determined whether the scene corresponds to the scene, and further, an endoscopic technique scene classification process as shown in FIG.
  • the endoscope technique scene reliability determination unit 53a determines whether or not the endoscope technique scene classified by the endoscope technique scene classification unit 53 has low reliability. As described above, the endoscopic technique scene reliability determination unit 53a determines that the reliability of the amount of motion used for classification of the endoscopic technique scene is low (in the case of the characteristic Cb in FIG. 5B), or FIGS. 6A to 6D. In the case of the exceptional image scene shown in Fig. 5, it is determined that the reliability of the (categorized) endoscopic technique scene is low, and in other cases, the reliability of the endoscopic technique scene is not low.
  • the endoscope for the current image classified by the endoscope technique scene classification unit 53 in the next step S13a is determined.
  • the classification of the procedure scene is determined.
  • the endoscopic technique scene classification unit 53 sends the determined classification result and the magnitude of the motion amount at that time to the target compression rate determination unit 54.
  • the target compression rate determination unit 54 calculates the amount of data that can be wirelessly transmitted, the endoscopic technique scene determined by the endoscopic technique scene classification unit 53, and the amount of motion information. Is used to read the corresponding target compression rate from, for example, the LUT 56 shown in FIG. 7C, and the target compression rate is determined.
  • the target compression rate determination unit 54 determines the target compression rate so that it is within the calculated amount of data that can be wirelessly transmitted.
  • the target compression rate of the image signal is set so as to be within the wirelessly transmittable data amount so that the image signal can be reliably wirelessly transmitted. I have to.
  • the determined target compression rate is input to the compression parameter determination unit 57.
  • the compression parameter determination unit 57 determines a compression parameter for compression to the target compression rate and sends the compression parameter to the wireless transmission unit 34.
  • the wireless transmission unit 34 wirelessly transmits the determined compression parameter to the wireless endoscope 2I.
  • step S16a the endoscopic procedure scene classification unit 53 determines whether an endoscopic procedure scene classified in the past exists. Determine whether or not. If there is an endoscopic technique scene classified in the past, in step S17a, the endoscopic technique scene classification unit 53, for example, uses the endoscopic technique scene classified in the past as the latest endoscopic technique scene. It is determined (classified) that it is the same. Alternatively, the latest endoscopic technique scene is estimated from a plurality of endoscopic technique scenes classified in the past according to changes in the endoscopic technique scene. In step S18a, the endoscopic technique scene classification unit 53 sets the information of the endoscopic technique scene to the target compression rate determination unit 54 (along with the magnitude of the motion amount when the reliability of the motion amount is not low). Send to.
  • the target compression rate determination unit 54 determines the amount of motion when the reliability of the amount of motion is not low together with the endoscopic procedure scene sent from the endoscopic procedure scene classification unit 53 or the endoscopic procedure scene.
  • the corresponding target compression rate is read out from the LUT 56 using the information on the size of and the target compression rate is determined. Thereafter, the process proceeds to step S15.
  • the target compression rate determination unit 54 is, for example, the most in the endoscopic procedure scene.
  • the target compression rate may be set to be determined when the target compression rate is large.
  • step S16a when there is no endoscope procedure scene classified in the past, the endoscope procedure scene classification unit 53 is prepared or set in advance as shown in step S20a.
  • Information on a predetermined endoscopic procedure scene for example, information that the endoscopic procedure scene does not change is sent to the target compression rate determination unit 54.
  • the target compression rate determination unit 54 reads the corresponding target compression rate from the LUT 56 using the information on the predetermined endoscopic procedure scene sent from the endoscopic procedure scene classification unit 53, and sets the target compression rate. To decide.
  • the target compression rate changes depending on the amount of motion in the endoscopic technique scene, and in the qualitative and quantitative diagnosis scene and treatment scene, the motion amount is medium or lower.
  • the target compression rate is set to a small value.
  • the distance detection unit 52b in step S10b determines that the left and right images based on the left and right imaging units 29a and 29b having parallax From this, distances at a plurality of positions in one image are detected.
  • Steps S11b to S20b described below are processing similar to Steps S11a to S20a (processing in which the amount of motion is replaced with distance).
  • the endoscopic technique scene classification unit 53 determines that the image is changed to any one of the representative image scenes shown in FIGS. 8A to 8D from the distribution of the distance detected by the distance detection unit 52b in the image. A determination is made as to whether it corresponds, and further, an endoscopic technique scene classification process as shown in FIG. 7B is performed from the size of the image scene and the distance.
  • the endoscope technique scene reliability determination unit 53a determines whether or not the endoscope technique scene classified by the endoscope technique scene classification unit 53 has low reliability.
  • the endoscopic technique scene reliability determination unit 53a determines whether the distance used for classification of the endoscopic technique scene is low, or in the case of the exceptional scene shown in FIG. In the case where the distance value is not less than the threshold value), it is determined that the reliability of the endoscopic technique scene is low, and in other cases, it is determined that the reliability of the endoscopic technique scene is not low. Therefore, if it is determined in the determination process in step S12b that the reliability of the endoscopic technique scene is not low, the endoscope for the current image classified by the endoscopic technique scene classification unit 53 in the next step S13b. Procedure scene classification is determined. Then, the endoscopic technique scene classification unit 53 sends the determined classification result and the distance at that time to the target compression rate determination unit 54.
  • the target compression rate determination unit 54 calculates the calculated amount of data that can be wirelessly transmitted, the endoscopic technique scene determined by the endoscopic technique scene classification unit 53, and the distance magnitude information.
  • the corresponding target compression rate is read out from the LUT 56 shown in FIG. 7D, and the target compression rate is determined.
  • the target compression rate determination unit 54 determines the target compression rate so that it is within the calculated amount of data that can be wirelessly transmitted.
  • the target compression rate of the image signal is set so that the amount of data can be wirelessly transmitted so that the image signal can be reliably transmitted wirelessly. ing.
  • the determined target compression rate is input to the compression parameter determination unit 57.
  • the compression parameter determination unit 57 determines a compression parameter for compression to the target compression rate and sends the compression parameter to the wireless transmission unit 34.
  • the wireless transmission unit 34 wirelessly transmits the determined compression parameter to the wireless endoscope 2I.
  • the endoscopic procedure scene classification unit 53 determines in step S16b whether an endoscopic procedure scene classified in the past exists. Determine whether or not. If there is an endoscopic technique scene classified in the past, in step S17b, the endoscopic technique scene classification unit 53, for example, sets the endoscopic technique scene classified in the past as the latest endoscopic technique scene. It is determined (classified) that they are the same.
  • the latest endoscopic technique scene is estimated from a plurality of endoscopic technique scenes classified in the past according to changes in the endoscopic technique scene.
  • the endoscopic technique scene classification unit 53 sends information on the endoscopic technique scene to the target compression rate determination unit 54 (along with the distance if the distance reliability is not low).
  • the target compression rate determination unit 54 determines the distance of the endoscope procedure scene sent from the endoscope procedure scene classification unit 53 or the distance when the reliability of the distance is not low together with the endoscope procedure scene.
  • the corresponding target compression rate is read from the LUT 56 using the size information, and the target compression rate is determined.
  • the compression parameter determination unit 57 determines a compression parameter for compression to the target compression rate, sends the compression parameter to the wireless transmission unit 34, and proceeds to the process of step S15.
  • the target compression rate determination unit 54 performs the most target compression in the endoscopic procedure scene. The target compression rate when the rate is large may be determined.
  • step S16b when there is no endoscope procedure scene classified in the past, the endoscope procedure scene classification unit 53 is prepared or set in advance as shown in step S20b.
  • Information on a predetermined endoscopic procedure scene for example, information that the endoscopic procedure scene does not change is sent to the target compression rate determination unit 54.
  • the target compression rate determination unit 54 reads the corresponding target compression rate from the LUT 56 using the information of the predetermined endoscopic procedure scene sent from the endoscopic procedure scene classification unit 53, and sets the target compression rate. To decide. In this case, when the target compression rate changes depending on the distance in the endoscopic procedure scene, for example, the largest target compression rate may be set.
  • step S15 the wireless transmission unit 34 of the processor 3 wirelessly transmits the compression parameter information corresponding to the determined target compression rate to the wireless endoscope 2I. Then, as shown in step S21, the wireless endoscope 2I receives the compression parameter information. As shown in the next step S22, the image data to be wirelessly transmitted from the wireless endoscope 2I to the processor 3 is compressed using the received compression parameter information. In the next step S23, the wireless transmission unit 24 of the wireless endoscope 2I wirelessly transmits the compressed image data to the processor 3. The subsequent operation is the same as that after step S8. Note that it is not necessary to substantially synchronize the process of wirelessly transmitting the compression parameter in step S15 and the process of receiving the compression parameter in step S21 (and S22).
  • the wireless transmission unit 24 of the wireless endoscope 2I may temporarily store the transmitted compression parameter in the memory. That is, in step S21, the transmitted compression parameter may be stored, and compression processing may be performed using the compression parameter transmitted at a timing different from the timing at which the compression parameter was transmitted.
  • the next frame image is input to the endoscopic technique scene classification unit 53. You may make it do. In this manner, the imaging operation and the operation such as the endoscopic technique scene classification may be asynchronous. Since the endoscopic technique scene changes gradually in a plurality of frames instead of one frame, the imaging operation and the operation such as the endoscopic technique scene classification may be made asynchronous as described above.
  • the wireless endoscope 2I performs imaging for one to several frames after the processing in step S7 and before acquiring the compression parameter information wirelessly transmitted from the processor 3 in step S21. For example, when the processor 3 determines the target compression ratio and can acquire the compression parameter information from the processor 3 to the wireless endoscope 2I within one frame period or less, it is based on the image data shifted in time for only one frame period. Using the compression parameter rate, the wireless endoscope 2I sequentially compresses the captured image data and wirelessly transmits it to the processor 3. On the other hand, when the information of the target compression rate can be acquired over a period exceeding one frame period, the processor 3 does not perform processing for determining (calculating) the target compression rate for each frame.
  • the endoscopic procedure scene can be classified within one frame period
  • when detecting the motion amount or distance in the endoscopic procedure scene of the current image a plurality of past endoscopic procedure scenes are detected.
  • the amount of movement or distance in the endoscopic technique scene of the current image may be estimated from the tendency of the change in the amount of movement or distance at. For example, when two frames before and one frame before are classified as the same endoscopic procedure scene, and the amount of motion of the images before two frames and one frame before changes, for example, large or medium
  • the endoscopic technique scenes of the current image may be estimated as the same endoscopic technique scenes, and the motion amount may be estimated to be small.
  • the endoscopic technique scene of the current image is also estimated as the same endoscopic technique scene. Further, it may be estimated that the amount of motion is large.
  • the image signal is wirelessly set to an appropriate target compression rate. Can be transmitted. Also, by grasping the transmission status of wireless transmission, calculating the amount of data that can be wirelessly transmitted, and when wirelessly transmitting the image signal when the target compression rate is low, the target of the image signal is within the wirelessly transmittable data amount.
  • the compression rate can be set and the image signal can be reliably transmitted wirelessly.
  • the physical quantity used for classification of the endoscopic technique scene and determination of the target compression rate can be automatically determined, and the operability for a user such as an operator can be improved.
  • the classification of the endoscopic technique scene and the determination of the target compression rate are performed using only one of the motion amount or the distance, but both (two) information are used. It may be used to classify an endoscopic technique scene and determine a target compression rate.
  • the processing in this case is shown in FIG.
  • the process of FIG. 11 is different only in a part of the process in FIG. Steps S1 to S8 are the same as those in FIG.
  • step S30 subsequent to step S8, the processor 3 determines whether or not two physical quantities are set to be detected.
  • the surgeon wishes to detect the amount of movement and distance and determine the classification of the endoscopic technique scene and the target compression rate, the selection is performed from the user IF unit 36.
  • step S10c the motion amount detection unit 52a and the distance detection unit 52b detect the motion amount and the distance, respectively.
  • the endoscopic technique scene classification unit 53 classifies the endoscopic technique scene from the amount of movement and the distance. The classification of the endoscopic technique scene may be performed based on the image characteristics and the image scene as shown in FIG. 7B, or the endoscopic technique scene may be classified based on the table data shown in FIG. 7E.
  • the endoscopic technique scene reliability determination unit 53a determines the reliability of the endoscopic technique scene to be classified. If it is determined that the reliability of the endoscopic technique scene is low, for example, the process proceeds to step S16a (or step S16b), and if it is determined that the reliability of the endoscopic technique scene is not low, Proceed to step S13c. In step S13c, the classification of the endoscopic technique scene by the endoscopic technique scene classification unit 53 is determined.
  • the target compression rate determination unit 54 calculates the data amount that can be wirelessly transmitted, the classification result of the endoscopic technique scene, the magnitude of the motion amount, and the magnitude of the distance. Is used to determine the target compression ratio.
  • the compression parameter determination unit 57 determines a compression parameter from the determined target compression rate, and proceeds to the next step S15. Note that the LUT for determining the target compression rate from the endoscopic procedure scene is not limited to the table data shown in FIG. 7E, and the table data shown in FIG. 7F may be used. Further, a part of table data such as FIG. 7E and FIG. 7F may be selected and used depending on the user's preference.
  • the target compression rate is set to large, large, or medium, respectively. If the amount of movement is medium and the distance is large, medium, or small, the target compression ratio is set to medium, and if the amount of movement is small and the distance is large, medium, or small, the target compression ratio is medium. , Small and small.
  • the target compression rate is set to medium, medium, and small, respectively, the amount of motion is medium, and the distance is In the case of large, medium and small, the target compression ratio is set to small, and in the case where the amount of motion is small, the target compression ratio is set to small even when the distance is large, medium and small.
  • the amount of motion is medium or small. In these amounts of motion, the target compression rate is set to be small regardless of whether the distance is medium or small. In the case of a treatment scene, the target compression rate is set to be small as in the case of a qualitative and quantitative diagnosis scene.
  • the endoscopic procedure scene can be classified with higher accuracy and the classification can be performed.
  • the target compression rate suitable for the endoscopic procedure scene can be determined.
  • the endoscopic technique scene may be classified from the feature quantity of one physical quantity, and the endoscopic technique scene may be classified from the feature quantity of the other physical quantity.
  • the classified endoscopic procedure scenes and target compression ratios are different, the physical quantity with priority is determined in advance, and the endoscopic technique scene and target compression based on the physical quantity with priority are determined. You may make it give priority to a rate.
  • FIG. 12 shows the configuration of the image processing unit 23B in the case where the classification and target compression rate of the endoscopic technique scene and the target compression rate are determined (calculated) on the wireless endoscope 2I side in the modification of the first embodiment.
  • the image processing unit 23 in the wireless endoscope 2I shown in FIG. 2 is replaced with the image processing unit 23B shown in FIG.
  • the image processing unit 23B shown in FIG. 12 has almost the same configuration as the image processing unit 33 shown in FIG.
  • the target compression rate and compression parameters are determined on the wireless endoscope 2I side, so that the image processing unit 33 of the processor 3 in the present modification only includes the image acquisition unit 51 in FIG. It becomes the composition to provide.
  • the image processing unit 23B generates an image signal from the captured image (signal) of the imaging unit 22I, and the insertion unit 8 of the wireless endoscope 2I based on the image signal generated by the image generation unit 151.
  • a physical quantity detector 152 that detects a physical quantity that reflects the state of observing a site in the body cavity by the imaging unit 22I provided at the distal end portion 8a, and the operator performs wireless endoscopy based on the physical quantity feature detected by the physical quantity detector 152.
  • the scene of the image on which the procedure is performed using the mirror 2I corresponds to any of the representative endoscopic procedure scenes (or observation scenes) prepared or registered in advance.
  • An endoscopic technique scene classification unit 153 that classifies the scenes, an endoscopic technique scene classification unit 153 classified by the endoscopic technique scene classification unit 153, and a physical quantity detection unit 15 Target compression for determining a target compression rate when an image is wirelessly transmitted from the wireless endoscope 2I from the feature quantity (specifically, the physical quantity size, physical quantity distribution at a plurality of positions, etc.)
  • the rate determination unit 154, a compression parameter determination unit 157 that determines a compression parameter from the determined target compression rate, and an image compression unit 154a that compresses an image signal using the compression parameter constitute main parts.
  • the image generation unit 151 grasps the state of wireless transmission and calculates a wirelessly transmittable data amount 151a that calculates the amount of wirelessly transmittable data, and a wirelessly transmittable data amount that determines the wirelessly transmittable data amount And a determination unit 151b.
  • the wirelessly transmittable data amount calculated by the wirelessly transmittable data amount calculating unit 151a and the determination result by the wirelessly transmittable data amount determining unit 151b are sent to the target compression rate determining unit 154, and the target compression rate determining unit 154 Determines the target compression rate when the image signal is wirelessly transmitted with priority given to the amount of wirelessly transmittable data and the determination result.
  • the compression parameter determination unit 157 determines a compression parameter for compressing to the target compression rate from the determined target compression rate. Then, as described later, the amount of wirelessly transmittable data is calculated and determined, and when the image signal is wirelessly transmitted when the target compression rate is low, the target compression rate of the image signal is set to be within the wirelessly transmittable data amount. Thus, wireless transmission can be ensured.
  • the physical quantity detection unit 152 in the present modification example detects a motion quantity in a plurality of representative regions in an image for one frame as the physical quantity based on an image signal obtained by imaging the inside of the subject by the imaging unit 22I. 152a and, for example, a distance detection unit 152b that detects a plurality of distances between a plurality of positions in the subject imaged by the imaging unit 22B and the imaging unit 22B as the physical quantity.
  • the wireless endoscope 2B including the imaging unit 22B capable of stereoscopic viewing moves.
  • One of the amount detection unit 152a and the distance detection unit 152b can be selected to classify the scene.
  • the motion amount detection unit 152a is selected as the physical quantity to be detected by the physical quantity detection unit 152, and the endoscope Classify procedure scenes.
  • the wireless endoscopes 2A and 2B will be described as wireless endoscopes for simplification, but the present invention can also be applied to the case of the wireless endoscope 2C.
  • the endoscopic technique scene classification unit 153 classifies the endoscopic technique scene based on the feature quantity of the physical quantity detected by the physical quantity detection unit 152 as described above, and further classifies the endoscopic technique scene. It has a function of an endoscopic technique scene reliability determination unit 153a that determines the reliability of a scene.
  • the image processing unit 23B also stores a representative endoscope that stores feature amounts representing a plurality of representative endoscopic procedure scenes when the endoscopic procedure scene classification unit 153 classifies the endoscopic procedure scenes.
  • a memory 155 having a procedure scene feature quantity storage unit 155a is provided, and the endoscopic procedure scene classification unit 153 refers to information in a typical endoscopic procedure scene feature quantity storage unit 155a in the memory 155 and performs an endoscopic procedure. Perform scene classification.
  • the endoscopic technique scene classification unit 153 stores the information of the endoscopic technique scenes classified over time (in order of time) in, for example, the classification scene storage unit 155b in the memory 155 (from the current frame image in the past). Store the appropriate number of frames.
  • the endoscopic technique scene reliability determination unit 153a determines that the endoscope technique scene classified by the endoscopic technique scene classification unit 153 is low in reliability when the reliability is low. Classification of endoscopic technique scenes classified by the endoscopic technique scene classification unit 153 and stored in the classification scene storage unit 155b in the image (signal) of the frame before a predetermined period of time than the image (signal) of the frame The result is sent to the target compression rate determination unit 154.
  • the endoscopic technique classified by the endoscopic technique scene classification unit 153 is determined in the endoscopic technique scene when the target compression rate determination unit 154 is not determined to be low by the endoscopic technique scene reliability determination unit 153a.
  • the target compression rate is determined based on the scene classification result and the physical quantity. As described above, since the amount of wirelessly transmittable data and the determination result are input to the target compression rate determination unit 154, the target compression rate determination unit 154 transmits at least the data amount of the image signal to be wirelessly transmitted by wireless The target compression rate is determined so as to be within the range of the possible data amount or less.
  • the target compression rate determination unit 154 determines the target compression rate with reference to the information stored in the LUT 156 prepared in advance.
  • the image compression unit 154 a compresses the image signal with a compression parameter corresponding to the target compression rate determined by the target compression rate determination unit 154 and sends the compressed image signal to the wireless transmission unit 24.
  • the wireless transmission unit 24 wirelessly transmits the image signal sent from the image compression unit 154 a to the processor 3.
  • Other configurations are the same as those in the first embodiment.
  • the operation of this modification is as shown in FIG.
  • the operation of FIG. 13 is similar to the operation of FIG.
  • the image processing unit 23B calculates the amount of data that can be wirelessly transmitted. For example, by wirelessly transmitting a plurality of image data in which the rate of the transmission data amount is changed to the processor 3 and receiving the reception result by the processor 3, the wirelessly transmittable data amount calculation unit 151a calculates the amount of data that can be wirelessly transmitted. To do. The wirelessly transmittable data amount determination unit 151b determines that the image data transmitted wirelessly is within the range of the data amount that can be wirelessly transmitted.
  • the wireless endoscope 2I (or processor 3) performs a process of setting a physical quantity to be detected for use in endoscopic technique scene classification and the like.
  • the control unit 21 automatically sets the detected physical quantity to be the amount of movement.
  • a physical quantity detected by an operation switch (not shown) provided in the operation unit 9 of the wireless endoscope 2I may be set.
  • a physical quantity to be detected is set in advance by the user from the user IF unit 36 of the processor 3 and transmitted to the wireless endoscope 2I wirelessly.
  • the wireless endoscope 2I sets a physical quantity to be detected according to the transmitted information.
  • the wireless endoscope 2 ⁇ / b> I determines whether or not a motion amount is set as a physical amount to be detected.
  • the wireless endoscope 2I performs the processes of steps S10a to S20a or steps S10b to S20b according to the determination process of step S9.
  • the processor 3 performs the processing of steps S10a to S20a or steps S10b to S20b.
  • the processing is performed on the wireless endoscope 2I side.
  • the target compression rate is determined by the processing of steps S10a to S20a or steps S10b to S20b.
  • the compression parameter determination unit 157 determines the compression parameter.
  • the image compression unit 154a compresses the image using the determined compression parameter.
  • the wireless transmission unit 24 wirelessly transmits the compressed image data to the processor 3.
  • the wireless endoscope 2I returns to the process of step S9.
  • the processor 3 performs a process of expanding the received image data, and the image signal subjected to the expansion process is output to the monitor 7.
  • the monitor 7 displays an endoscopic image.
  • step S8 before step S30 in FIG. 11 becomes step S31 in FIG.
  • step S15 after the process of step S14 shown in FIG. 11 becomes step S32 of FIG.
  • the image signal is set to an appropriate target compression rate even when the reliability when classifying an endoscopic technique scene for an image is low, as in the first embodiment.
  • the amount of data that can be wirelessly transmitted calculating the amount of data that can be wirelessly transmitted, and when wirelessly transmitting the image signal when the target compression rate is low, the target of the image signal is within the wirelessly transmittable data amount.
  • the compression rate can be set and the image signal can be reliably transmitted wirelessly.
  • the process for determining the target compression ratio for each frame period can be performed.
  • the process for determining the target compression ratio may be determined in a cycle of a plurality of frame periods.
  • the physical quantity detection unit 52 may include only the motion amount detection unit 52a or the distance detection unit 52b.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

プロセッサ側の画像処理部33は、画像における動き量又は距離を検出し、内視鏡手技シーン分類部53は、特徴量から画像のシーンが内視鏡手技シーンのいずれに該当するかの分類を行い、更に分類された内視鏡手技シーンの信頼性が低いか否かの判定を行い、信頼性が低い場合には、過去に分類された内視鏡手技シーンから目標圧縮率に決定して、対応する圧縮パラメータをワイヤレス内視鏡に送信し、ワイヤレス内視鏡は、圧縮パラメータで圧縮した画像の無線伝送を行う。

Description

内視鏡システム
 本発明は、バッテリを備えた内視鏡本体により撮像した画像をプロセッサに無線伝送する内視鏡システムに関する。
 近年、内視鏡は、医療分野及び工業用分野において広く用いられるようになっている。医療分野において使用される内視鏡は、半導体技術の進歩や照明用光源としてLEDを用いた省電力化により、充電式のバッテリを搭載したバッテリ駆動型の内視鏡(以下内視鏡本体)が実用化される状況に至っている。 
 このようにバッテリを搭載した内視鏡本体を利用した内視鏡システムにおいては、バッテリを搭載しない従来の内視鏡において画像処理装置としてのプロセッサや光源装置に接続するためのケーブルを必要としないため、(従来の内視鏡を用いた場合に比較して)術者が手術等を行う場合の操作性を向上することができる。 
 この場合、術者が内視鏡本体を把持して手術等を行う場合における良好な操作性を確保するためには、内視鏡本体に搭載したバッテリの重量を軽量化するために、バッテリの電池容量が制限される。 
 長時間に亘る手術を完遂できるようにするためには、更にバッテリ駆動する際の内視鏡本体内に搭載した電子回路における消費電力をより低減化することが必要になる。 
 内視鏡本体内に搭載した電子回路における消費電力をより低減化する有力な方法の1つとして、内視鏡本体からプロセッサ装置に無線伝送するデータ量を低減することが挙げられる。 
 特に、画像データは、データ量が膨大となるために、画像データを圧縮して伝送すると、消費電力の低減化の効果が大きくなる。
 しかしながら、画像データを圧縮すると、圧縮に伴って画質も低下するため、例えば術者が内視鏡本体を操作して手術を行う場合、患部を精査して観察しようとするようなシーンにおいては高画質の画像が望まれるために、圧縮率を小さくするか又は圧縮しないで無線伝送することが望まれる。また、患部を観察するために、術者が内視鏡本体を挿入しているようなシーンの場合においては、術者は高画質の画像を必要とせず、圧縮率を大きくして無線伝送しても良い。このように術者が内視鏡手技を行おうとするシーン(以降、内視鏡手技シーン)の状態に応じて、画像データの圧縮率を変えて無線伝送することが望まれる。 
 例えば第1の従来例としての日本国特開2009-18975号公報は、被検体内を撮影するカプセル内視鏡と、被検体に携帯され、カプセル内視鏡で得られた内視鏡画像を無線受信して記憶する受信装置と、受信装置から取り込んだ内視鏡画像を記憶、管理すると共に、モニタで内視鏡画像を表示する情報管理装置とを備えたカプセル内視鏡システムを開示し、カプセル内視鏡から受信装置が無線受信した複数の内視鏡画像の中から、情報管理装置で記憶する内視鏡画像を選択する選択手段は、カプセル内視鏡から受信装置が無線受信した複数の内視鏡画像の中から、2つの内視鏡画像の類似度を算出し、算出した類似度に基づき、受信装置から情報管理装置に無線送信する内視鏡画像を選択することにより、カプセル内視鏡により撮影された内視鏡画像の読影を迅速に行うことができるようにしている。 
 第2の従来例としての日本国特表2009-513283号公報は、カプセルカメラ装置を開示し、このカプセルカメラ装置は、飲み込み適したハウジングと、ハウジング内の光源と、前記光源によって照射される部位の第1のデジタル画像及び第2のデジタル画像をキャプチャするためのカメラと、前記第1のデジタル画像及び前記第2のデジタル画像との差に基づき動きを検出する動き検出器と、前記動きの測定量に基づき、更に処理するための第2のデジタル画像を指定する動き評価器とを有し、前記動き検出によりキャプチャするキャプチャレートを変更することを記載している。
 しかしながら、上記第1の従来例及び第2の従来例とも、画像の類似度又は動きを評価して、評価結果を考慮して画像データを無線伝送することを開示しているが、評価結果に基づいて内視鏡手技のシーンを分類するための手段は開示していない。そもそも、第1の従来例及び第2の従来例は、術者がカプセルカメラを操作することがないため、内視鏡手技は複数、存在しない。また、上記に加えて、動きなどの評価の信頼性を判定する手段や、信頼性が低いと判定された場合に無線伝送する際の圧縮率を再設定することを開示していない。 
 術者が内視鏡本体を操作して、内視鏡本体に搭載された撮像部により撮像される画像を観察しながら、診断や手術等を行おうとする際には、術者の操作により設定された各画像のシーンが、術者による複数からなる代表的な内視鏡手技シーンにおけるいずれの内視鏡手技シーンに該当するかの(シーン)分類を行うことが望まれると共に、分類した場合の信頼性を判定し、信頼性が低い場合には、画像を無線伝送する際の圧縮率を適切な値に再設定することが(術者による手術等を行う手技を円滑に支援できるようにするために)望まれる。 
 本発明は上述した点に鑑みてなされたもので、画像に対する内視鏡手技シーンを分類する際の信頼性が低い場合においても適切な目標圧縮率に設定して画像信号を無線伝送できるようにした内視鏡システムを提供することを目的とする。
 本発明の一態様の内視鏡システムは、被検体内に挿入され、先端部に設けられた撮像部と、該撮像部により撮像した画像信号を無線伝送する第1の無線伝送部とを有する内視鏡本体と、前記被検体の外部に配置され、無線伝送された画像信号を受信する第2の無線伝送部と、無線伝送された前記画像信号の画像処理を行う画像処理部とを有するプロセッサと、前記撮像部により前記被検体内の部位を撮像した画像信号に基づいて、前記内視鏡本体による前記部位を観察する画像のシーンが、複数からなる代表的な内視鏡手技シーンにおけるいずれの内視鏡手技シーンに該当するかの分類をするシーン分類部と、前記シーン分類部により分類された前記シーンの信頼性の判定を行うシーン信頼性判定部と、前記シーン信頼性判定部が、前記シーン分類部により分類された前記シーンの信頼性が低いと判定した場合には、前記信頼性が低いと判定された画像信号のフレームよりも所定期間前のフレームの画像信号において前記シーン分類部によるシーンの分類結果に応じて、前記第1の無線伝送部が無線伝送する前記画像信号の目標圧縮率を決定する画像信号目標圧縮率決定部と、を有する。
図1は本発明の第1の実施形態の内視鏡システムの全体構成を示す図。 図2は第1の実施形態の内視鏡システムにおける内視鏡本体としてのワイヤレス内視鏡およびプロセッサの構成を示すブロック図。 図3は第1の実施形態の内視鏡システムにおけるプロセッサ側の画像処理部の構成を示すブロック図。 図4は動き検出部により動き量を算出するためのブロックマッチングにより、一方の画像における分割された領域に対応する他方の画像の領域を検出する場合の説明図。 図5Aは図4のブロックマッチングにより算出された水平方向の変位と垂直方向の変位に対するSSDの分布を示す図。 図5Bは、例えば画像のぼけが小さい場合と、ぼけが大きい場合において、ブロックマッチングにより算出された例えば水平方向の変位に対するSSDの分布の例を示す図。 図6Aは動き量に基づいて判別される代表的な画像シーンを示す図。 図6Bは動き量に基づいて判別される代表的な画像シーンを示す図。 図6Cは動き量に基づいて判別される代表的な画像シーンを示す図。 図6Dは内視鏡手技シーンの分類ができない例外の画像シーンを示す図 図7Aは画像シーンと動き量の大きさにより分類される内視鏡手技シーンと、各内視鏡手技シーンに対して設定される目標圧縮率の例を表形式で示す図。 図7Bは、内視鏡手技シーンに応じて設定される目標圧縮率と、画像の特徴及び画像シーンの関係を表形式で示す図。 図7CはLUTに格納され、内視鏡手技シーンと動き量に応じて設定される目標圧縮率との関係を表形式で示す図。 図7DはLUTに格納され、内視鏡手技シーンと距離に応じて設定される目標圧縮率との関係を表形式で示す図。 図7Eは画像シーン、動き量、距離に応じて分類される内視鏡手技シーンと、内視鏡手技シ-ンに応じて設定される目標圧縮率との関係を表形式で示す図。 図7Fは内視鏡手技シーンと動き量及び距離に応じて設定される目標圧縮率の関係を表形式で示す図。 図8Aは距離に基づいて判別される代表的な画像シーンを示す図。 図8Bは距離に基づいて判別される代表的な画像シーンを示す図。 図8Cは距離に基づいて判別される代表的な画像シーンを示す図。 図8Dは距離に基づいて判別不可となる例外シーンを示す図。 図9は第1の実施形態の内視鏡システムにおけるワイヤレス内視鏡とプロセッサとの処理内容を示すフローチャート。 図10は伝送可能なデータ量以下に目標圧縮率を設定して、フレーム番号と共に圧縮パラメータの値を変えて無線伝送する制御方法においての画像データ量の推移の様子を示す図。 図11は、動き量と距離との検出により内視鏡手技シーンを分類し、、更に目標圧縮率を決定する処理の一部を示すフローチャート。 図12は第1の実施形態の変形例の内視鏡システムにおけるワイヤレス内視鏡の画像処理部の構成を示すブロック図。 図13は第1の実施形態の変形例の内視鏡システムにおけるワイヤレス内視鏡とプロセッサとの処理内容を示すフローチャート。
 以下、図面を参照して本発明の実施形態を説明する。 
(第1の実施形態)
 図1に示すように、内視鏡システム1は、バッテリ駆動型の携帯型内視鏡を形成するワイヤレス内視鏡本体(以下、ワイヤレス内視鏡と略記)2Aと、ワイヤレス内視鏡2Aと無線により接続され所定の画像処理を行うプロセッサ3と、プロセッサ3に接続され内視鏡画像等を表示する表示装置としてのモニタ7等とによって主要部が構成される。また、本実施形態の内視鏡システム1においては、単一の撮像素子を備えたワイヤレス内視鏡2Aの他に、立体視が可能となる2つの撮像素子を備えた2点鎖線で示すワイヤレス内視鏡2Bを用いることもできる。 
 なお、本実施形態の内視鏡システム1は、手術室において使用される場合には、カート6上に、前記プロセッサ3をはじめとする各種医療機器、たとえば電気メス装置、気腹装置、ビデオレコーダ等の装置類および二酸化炭素を充填したガスボンベ等が載置される。
 ワイヤレス内視鏡2I(I=A,又はB)は体腔内に挿入される細長の挿入部8と、挿入部8の基端側に設けられた操作部9とを有する。
 図2に示すようにワイヤレス内視鏡2I内に設けた図示しない発光ダイオードにより構成される光源部(又は光源ユニット)26は、操作部9に配設され、内視鏡側制御部21に制御されて体腔内を照明する照明光を発生する。この照明光は図1における拡大図内に示すライトガイド11によって挿入部8の先端に設けられた先端部8aに導かれ、先端部8aの照明窓に設けられた照明レンズ12を介して被検体内の患部等の部位(被写体とも言う)に照射される。また、先端部8aには、拡大図に示すように撮像部22A、22Bが設けられている。 
 撮像部22Aは、挿入部8の先端部8aに配設され、被写体の光学像を結ぶ対物レンズ13と、その結像位置に配置される電荷結合素子(CCDと略記)またはCMOSセンサ等の撮像素子14とにより構成される。そして撮像素子14の撮像面には、光源部26からの照明光による被写体からの戻り光が結像され、撮像素子14は光電変換によって被写体光学像に基づく撮像画像(信号)を内視鏡側画像処理部(単に画像処理部とも言う)23に出力する。なお、撮像部22A(の撮像素子14)は、撮像画像(信号)を出力(又は生成)し、画像処理部23は撮像画像(信号)に対して画像処理した画像(信号)を生成すると定義しても良いし、撮像部22A(の撮像素子14)が、画像(信号)を出力(又は生成)し、画像処理部23はその画像(信号)に対して画像処理を行い、画像処理した画像(信号)を生成すると定義しても良い。撮像部22Bに関しても同様である。
 図2は、第1の実施形態の内視鏡システム1におけるワイヤレス内視鏡2A、2Bおよびプロセッサ3の構成を示し、図3は、プロセッサ3における画像処理系の構成を示す。
 図2に示すように、本実施形態におけるワイヤレス内視鏡2Aは、プロセッサ3と無線にて接続される、ワイヤレス構成を採るバッテリ駆動型の携帯型内視鏡であって、ワイヤレス内視鏡2A内の各回路部を制御する内視鏡側制御部(単に制御部とも言う)21と、被検体内の部位の撮像画像を取得する単一の撮像素子からなる撮像部22Aと、撮像部22Aからの撮像画像又は撮像画像信号に所定の画像処理を施す内視鏡側画像処理部23と、プロセッサ3との間で所定の信号を無線により伝送するための内視鏡側無線伝送部(単に無線伝送部とも言う)24と、ワイヤレス内視鏡2Aの各部に電源を供給するバッテリ25と、体腔内を照射するための光源部26と、プロセッサ3との間で無線送受信を行うためのアンテナ27とで、主要部が構成されている。 
 なお、制御部21は、例えばプログラムに従って制御動作を行う中央演算装置(CPUと略記)により構成される。また、画像処理部23は、撮像部22Aから出力される撮像信号に対して、相関二重サンプリング(CDS)処理を行うCDS回路等を備えた画像処理回路により構成される。また、無線伝送部24は、無線で送信する送信信号を生成する無線送信回路と、無線で受信した送信信号を受信し、復調した信号を生成する無線受信回路とから構成される。なお、制御部21、画像処理部23等をデジタルシグナルプロセッサ(DSP)により構成しても良い。また、後述するプロセッサ3側の制御部31、画像処理部33等もCPUや、DSPにより構成しても良い。
 また、各ワイヤレス内視鏡2Aは、その種別を含む固有の識別情報(IDと略記)を格納するメモリ28を備え、プロセッサ3に信号を無線で送信する場合、IDを付加して送信する。このため、プロセッサ3は、信号を無線で受信した場合、送信元となるワイヤレス内視鏡2Aを識別することができる。 
 バッテリ25は、操作部9に装着することができるようになっている。また、バッテリ25は、ワイヤレス内視鏡2Aに装着された後、電源部として内視鏡側制御部21の他、撮像部22A、内視鏡側画像処理部23、光源部26および内視鏡側無線伝送部24に対して電力を供給することができるようになっている。 
 内視鏡側制御部21は、ワイヤレス内視鏡2Aにおける各部回路を制御するとともに、電源部であるバッテリ25を制御して各部に電力を供給させる。 
 また、内視鏡側制御部21は、プロセッサ3側から内視鏡側無線伝送部24を介して伝送される目標圧縮率に係る情報としての圧縮パラメータを取得し、当該圧縮パラメータに基づいて内視鏡側画像処理部23を制御する。
 内視鏡側画像処理部23は、内視鏡側制御部21に制御されて、前記圧縮パラメータに応じて撮像部22Aからの撮像画像に対して目標圧縮率に圧縮する所定の画像処理を施した後、内視鏡側無線伝送部24に出力する。
 内視鏡側無線伝送部24は、内視鏡側制御部21に制御され、プロセッサ3との間でアンテナ27を介して無線により画像データおよび所定の通信データの送受信を行う。この内視鏡側無線伝送部24は、本実施形態においては、たとえば60GHz帯による無線通信と5GHz帯による無線通信が可能である。 
 ワイヤレス内視鏡2Bは、ワイヤレス内視鏡2Aにおける撮像部22Aが、左右に配置された左撮像部29aと右撮像部29bとからなる撮像部22Bを備え、その他はワイヤレス内視鏡2Aと同様の構成である。 
 つまり、図1における拡大図に示すように左右方向に対物レンズ13l,13rが配置され、対物レンズ13l,13rの各結像位置に撮像素子14l,14rがそれぞれ配置されて、対物レンズ13l、撮像素子14lからなる左撮像部29aと、対物レンズ13r、撮像素子14rからなる右撮像部29bとが形成されている。
 ワイヤレス内視鏡2Bにおける画像処理部23は、左撮像部29aと右撮像部29bにより生成される左右の撮像画像に対する所定の画像処理を施す。また、ワイヤレス内視鏡2Bにおける無線伝送部24は、画像処理部23により生成された左右の撮像画像を無線で伝送する。また、ワイヤレス内視鏡2Bの場合には、立体視の種別の情報を含むIDをプロセッサ3に送信するため、プロセッサ3は、立体視のワイヤレス内視鏡2Bに対応した画像処理を行う。 
 後述するように立体視のワイヤレス内視鏡2Bにおいては、被検体内の患部等の部位を撮像した場合、左右の撮像素子の2次元位置の情報から撮像部22B又は先端部8aと前記部位との間の距離を算出することが可能となる。 
 本実施形態におけるワイヤレス内視鏡2Iとプロセッサ3との無線通信は、たとえば画像処理部23からの画像信号については60GHz帯を利用した無線通信を行い、圧縮率等の情報に係る通信については5GHz帯を利用した無線通信を行う。なお、画像信号、圧縮率等の情報を何れも5GHzで行う方式、もしくは60GHzで行う方式、もしくはその他の圧縮方式の組み合わせでも良い。また、後述するように画像信号と圧縮パラメータなどの情報とを60GHzと、5GHzとに分けて行うようにしても良い。
 これにより内視鏡側無線伝送部24は、制御部21に制御されて、撮像によって得た画像信号を前記圧縮率に応じて逐次アンテナ27を介してプロセッサ3に無線送信すると共に、プロセッサ3からの圧縮パラメータの情報を所定の時間間隔でアンテナ27を介して受信する。
 一方、本実施形態においてプロセッサ3は、図2に示すように、プロセッサ3内の各回路部を制御するプロセッサ側制御部(単に制御部とも言う)31と、ワイヤレス内視鏡2Iと無線により情報の伝達を行うための無線受信機32と、無線受信機32を介して取得した撮像部22Iからの撮像信号に所定の処理を施すプロセッサ側画像処理部(単に画像処理部とも言う)33と、プロセッサ側画像処理部33からの出力された撮像画像をモニタ7に表示可能なフォーマットに変換して出力するビデオ出力部35と、術者等のユーザによる操作を受け付けるインタフェースであるユーザIF部36と、で主要部が構成されている。 
 前記無線受信機32は、ワイヤレス内視鏡2Iとの間で所定の信号を無線により伝送するためのプロセッサ側無線伝送部(単に無線伝送部とも言う)34と、ワイヤレス内視鏡2Iとの無線送受信のためのアンテナ37とで、主要部が構成されている。
 なお、本実施形態においては、前記無線受信機32はプロセッサ本体とは別体に構成され、図示しないコネクタによってプロセッサ3本体に接続されるようになっている。図1では、カート6上に、プロセッサ3の本体とは別体に構成された無線受信機32が当該プロセッサ3上に載置される様子を示している。 
 また、無線受信機32における前記プロセッサ側無線伝送部34は、プロセッサ側制御部31に制御され、ワイヤレス内視鏡2Iとの間でアンテナ37を介して無線により画像データおよび所定の通信データの送受信を行うようになっている。また、このプロセッサ側無線伝送部34は、前記内視鏡側無線伝送部24と同様に本実施形態においては、たとえば60GHz帯による無線通信と5GHz帯による無線通信が可能である。 
 すなわち、プロセッサ側無線伝送部34は、ワイヤレス内視鏡2Iから送信される画像処理部23からの画像信号については60GHz帯を利用した無線通信により逐次アンテナ37を介して受信し、プロセッサ3内において判定した圧縮パラメータ等の情報に係る通信については、5GHz帯を利用した無線通信により所定の時間間隔でアンテナ37を介してワイヤレス内視鏡2Iに対して送信する。
 ユーザIF部36は、ユーザ操作を受け付けるインタフェースであり、たとえば、フロントパネルおよび制御系の各種ボタン等によって構成され、ユーザ操作に基づく操作信号をプロセッサ側制御部31に対して出力する。 
 このユーザIF部36によって、ワイヤレス内視鏡2Iの観察モードの指定、および、画像表示に関する設定等の各種ユーザ操作を受け付けることができるようになっており、プロセッサ側制御部31は当該ユーザIF部36からの操作信号に基づいて、プロセッサ側無線伝送部34を介して、ワイヤレス内視鏡2Iの内視鏡側制御部21に対して各種指示を与えることが可能である。なお、プロセッサ3がプロセッサ側無線伝送部34を内蔵する構成にしても良い。 
 次に、プロセッサ3におけるプロセッサ側画像処理部33について詳述する。 
 図3は、第1の実施形態の内視鏡システム1におけるプロセッサ3の画像処理部(プロセッサ側画像処理部33)の構成を示す。
 図3に示すように、プロセッサ側画像処理部33は、プロセッサ側無線伝送部34を介してワイヤレス内視鏡2Iから無線にて伝送された画像信号を取得する画像取得部(又は画像取得回路)51と、この画像取得部51において取得した画像信号に基づいてワイヤレス内視鏡2Iにおける挿入部8の先端部8aに設けた撮像部22A又は22Bによる被検体内の部位を観察した状態を反映する物理量を検出する物理量検出部(又は物理量検出回路)52と、物理量検出部52において検出した物理量の特徴量に基づいて術者がワイヤレス内視鏡2Iを用いて手技を行っているシーンが、予め用意又は登録された複数からなる代表的な内視鏡手技シーンのいずれの代表的な内視鏡手技シーンに該当するかのシーンの分類をする内視鏡手技シーン分類部(又は内視鏡手技シーン分類回路)53と、内視鏡手技シーン分類部53において分類した内視鏡手技シーンと、物理量検出部52において取得した物理量の特徴量(具体的には、物理量の大きさ、複数の位置での物理量の分布など)からワイヤレス内視鏡2Iにおける内視鏡側画像処理部23において用いる画像の目標圧縮率を決定する目標圧縮率決定部(又は目標圧縮率決定回路)54と、決定された目標圧縮率に圧縮する圧縮パラメータを決定する圧縮パラメータ決定部(又は圧縮パラメータ決定回路)57とで主要部が構成されている。
 なお、画像取得部51は、無線伝送された画像信号が圧縮されている場合には、伸張する画像処理を行い、圧縮されていない画像信号を生成する。この画像信号は、物理量検出部52と、ビデオ出力部35とに出力される。また、画像取得部51は、無線伝送の状況を把握して、無線伝送可能なデータ量を算出する無線伝送可能データ量算出部51aと、無線伝送可能なデータ量を判定する無線伝送可能データ量判定部51bとを有する。なお、画像取得部51の内部に無線伝送可能データ量算出部51aと、無線伝送可能データ量判定部51bとを設けた例を示しているが、画像取得部51の外部に設けるようにしても良い。 
 また、無線伝送可能データ量算出部51aにより算出された無線伝送可能データ量と、無線伝送可能データ量判定部51bによる判定結果は、目標圧縮率決定部54に送られ、目標圧縮率決定部54は、無線伝送可能データ量を優先して画像信号を無線伝送する場合の目標圧縮率を決定する。 
 そして、後述するように無線伝送可能データ量を算出及び判定し、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の圧縮率を設定し、確実に無線伝送することができるようにしている。
 本実施形態における物理量検出部52は、撮像部22A又は22Bにより被検体内を撮像した画像信号に基づいて、1フレーム分の画像中における複数の代表領域における動き量(又は動きベクトル)を前記物理量として検出する動き量検出部(又は動き量検出回路)52aと、例えば撮像部22Bが撮像する被検体内の複数の位置と撮像部22Bとの間の複数の距離を前記物理量として検出する距離検出部(又は距離検出回路)52bとを有する。なお、動き量が検出される複数の代表領域は、最も小さい場合には複数の代表位置となる。また、距離が検出される複数の各位置として、位置の集合体としての複数の各代表領域としても良い。 
 本実施形態においては、立体視が可能な撮像部22Bを備えたワイヤレス内視鏡2Bを用いた場合においては、例えばユーザIF部36から物理量検出部52における検出する物理量として動き量検出部52a、及び距離検出部52bの一方を選択して画像シーンから内視鏡手技シーンの分類を行うことができる。これに対して、1つの撮像素子からなる撮像部22Aを備えたワイヤレス内視鏡2Aを用いた場合においては、物理量検出部52における検出する物理量として動き量検出部52aを選択して内視鏡手技シーンの分類を行う。後述する動作の具体例では、ワイヤレス内視鏡2Aを用いた場合においては、IDにより動き量検出部52aを自動的に選択する。
 なお、距離計測用のレーザ光源と、被検体側に照射したレーザ光が戻るまでの時間計測する計測部とを備えた種別のワイヤレス内視鏡(2Cする)では、1つの撮像素子からなる撮像部22Aを備えたワイヤレス内視鏡においても、立体視が可能な撮像部22Bを備えたワイヤレス内視鏡2Bを用いた場合と同様に、物理量検出部52における検出する物理量として動き量検出部52a、及び距離検出部52bの一方を選択して内視鏡手技シーンの分類を行うことができる。以下の説明では、簡単化のためワイヤレス内視鏡として、ワイヤレス内視鏡2Aと2Bの場合において説明するが、ワイヤレス内視鏡2Cの場合に適用することもできる。 
 本実施形態における内視鏡手技シーン分類部53は、上記のように物理量検出部52により検出された物理量の特徴量に基づいて内視鏡手技シーンの分類を行う他に、さらに分類した内視鏡手技シーンの信頼性の判定を行う内視鏡手技シーン信頼性判定部(又はシーン信頼性判定回路)53aの機能を有する。 
 図3においては、内視鏡手技シーン分類部53が内視鏡手技シーン信頼性判定部53aを備える構成を示しているが、内視鏡手技シーン分類部53の外部に内視鏡手技シーン信頼性判定部53aを備える構成にしても良い。
 また、画像処理部33は、内視鏡手技シーン分類部53が内視鏡手技シーンの分類を行う際の代表的な複数の内視鏡手技シーンを表す特徴量を格納した代表的な内視鏡手技シーン特徴量格納部55aを有するメモリ55を備え、内視鏡手技シーン分類部53は、メモリ55における代表的な内視鏡手技シーン特徴量格納部55aの情報を参照して内視鏡手技シーンの分類を行う(例えば、図7A,図7B参照)。 
 また、内視鏡手技シーン分類部53は、経時的(時間順)に分類した内視鏡手技シーンの情報を、例えばメモリ55における分類シーン格納部55bに(現在のフレームの画像から過去に遡る)適宜のフレーム数だけ格納する。 
 そして、シーン信頼性判定部53aは、内視鏡手技シーン分類部53が分類した内視鏡手技シーンの信頼性が低いと判定した場合には、信頼性が低いと判定されたフレームの画像(信号)よりも、所定期間前のフレームの画像(信号)において、内視鏡手技シーン分類部53により分類され、分類シーン格納部55bに格納されている内視鏡手技シーンの分類結果を目標圧縮率決定部54に送る。 
 目標圧縮率決定部54は、内視鏡手技シーン信頼性判定部53aにより信頼性が低いと判定されていない場合の内視鏡手技シーンにおいては、内視鏡手技シーン分類部53が分類した内視鏡手技シーンの分類結果と、物理量の大きさ等により目標圧縮率を決定する(図7A,図7B,図7C等参照)。前述したように、目標圧縮率決定部54には、無線伝送可能データ量と、判定結果が入力されるため、目標圧縮率決定部54は、無線伝送する画像信号のデータ量を、少なくとも無線伝送可能データ量以下の範囲内になるように目標圧縮率を決定する。換言すると、目標圧縮率決定部54は、無線伝送可能データ量と、内視鏡手技シーンの分類結果と、物理量の大きさ等により目標圧縮率を決定し、その場合、無線伝送可能データ量を優先する。
 目標圧縮率決定部54は、予め用意されたルックアップテーブル(LUTと略記)56に格納された情報を参照して、目標圧縮率を決定する(図7C、図7D参照)。 
 物理量検出部52は、動き量を検出する動き量検出部52aと、距離を検出する距離検出部52bと有し、内視鏡手技シーンの分類は、画像シーンと、検出される動き量又は距離に基づいて行うため、まず動き量検出部52aによる動き量の検出、画像シーンの判別を説明する。つまり、内視鏡手技シーン分類部54は、画像シーンから内視鏡手技シーンを分類する。なお、画像シーンの判別を経ることなく、内視鏡手技シーンの分類を行うようにしても良い。
 図4は、撮像部22Iにより撮像され、プロセッサ3の画像処理部33の動き量検出部52aに入力された現在のフレームの画像(信号)Ipと、1フレーム前の画像(信号)Ifとを示す。 
 動き量検出部52aは、両画像Ip,Ifを複数に区分けしたブロック(又は区分け領域)Bi(図4ではi=1~9)に分割し、図4に示すように画像Ipにおける1つのブロックB5の画像が、画像IfにおけるいずれのブロックBiの画像に最も良く一致するかのブロックマッチングの処理を行う。 
 図4の場合、動き量検出部52aは、ブロックマッチングの処理として、ブロックB5,Bi間の対応する画素値の差の2乗和(SSD:Sum of Squared Difference)などを算出して、そのSSDが最小となるブロックBiをブロックB5にマッチングした同じブロックであると判定する。
 例えば図4において、画像IpにおけるブロックB5が画像IpにおけるブロックB4に最も良くマッチングした場合には、動き量検出部52aは、ブロックB5の中心位置等の代表位置(単に位置とも言う)からブロックB4の代表位置までの移動量が1フレーム期間における動き量として検出する。 
 動き量検出部52aは、画像IpにおけるブロックB1からB9までのブロックにおいて、動き量を検出する。図4においては、9個のブロックB1~B9の場合を説明したが、動き量検出部52aは、実際にはより大きな分割数のブロック(換言すると小さなサイズのブロック又は領域)において動き量を検出する。 
 また、図5Aは、図4のブロックのサイズを小さく設定した場合において画像Ip,Ifにおいて算出したSSDの特性Caと、水平方向と垂直方向の位置の1例を示す。例えば、画像Ip側の位置に対して、画像If側における(前記画像Ip側の位置に)対応する位置付近においてその位置を変化させた場合のSSDの特性を示す(このため、その特性は、動き量を決定する特性に対応する)。 
 図5Aに示す例では、水平方向の位置Phと垂直方向の位置PvとにおいてSSDが最小値SSD_aとなり、位置Ph,Pvからずれるとパラボラ状にSSDが大きくなる特性となっている。
 このような特性Caの場合には、ブロックマッチングによる動き量の検出結果は、少なくとも信頼性が低くないと見なされる(評価される)。 
 これに対して、例えば図5Bでは、この特性Caと共に、信頼性が低い特性Cbを、例えば水平方向の位置に対する特性として示す。 
 上記のように特性Caの場合には、水平方向の位置がPhにおいてSSDの値が小さな最小値SSD_aとなり、この位置Phからの小さな位置変化に対してSSDの値が大きく変化する。 
 これに対して特性Cbの場合には、水平方向の位置がPhにおいてSSDの値が特性Caの場合とほぼ同じ値の最小値SSD_bとなり、この位置Phからの位置変化に対してSSDの値の変化が小さい。 
 例えば、SSD_a,SSD_bがノイズ等に起因する値Δ程度の誤差を含むとすると、特性Caの場合には位置Phから僅かにずれた範囲Raの値となり、位置Phの信頼性は高いのに対して、特性Cbの場合には位置Phから広い範囲Rbに及ぶ値となり、この場合の位置Phの信頼性は低い。即ち、範囲Ra,Rbの値を所定の閾値と比較することで、位置Phの信頼性が高いか低いかの判定、つまり、動き量の値自体の信頼性が高いか低いかの判定を行うことができる。
 このため、特性Caの場合の動き量の特徴量を用いて画像シーンの判別と、内視鏡手技シーンの分類を行った場合には、内視鏡手技シーン信頼性判定部53aは、動き量に関しては内視鏡手技シーンの分類結果は低くないと判定する。これに対して、特性Cbの場合の動き量の特徴量を用いて内視鏡手技シーンの分類を行った場合には、内視鏡手技シーン信頼性判定部53aは、動き量の値自体の信頼性が低いため、その動き量を用いて分類した内視鏡手技シーンの信頼性が低いと判定する。 
 図6A~図6Cは、動き量に基づいて判別された複数の代表的な画像シーンを示す図であり、図6Dは内視鏡手技シーンの分類ができない例外の画像シーンを示す図である。以下に説明するように、図6A~図6C以外となる図6Dの画像シーンは、分類不可シーンの内視鏡手技シーンに該当する。 
 以下に説明するように1フレーム分の画像における複数の代表位置での動き量の(特徴量としての)大きさの分布により、複数の代表的な画像シーンに判別されると共に、内視鏡手技シーンに分類される。図6Aの画像シーンは、画像における代表的な複数の位置での動き量がほぼ等しい平行移動の画像シーン(図6Aでは右側への平行移動の画像シーン)を示す。 
 図6Bの画像シーンは、画像における中央側での動き量が小さく、周辺側ほど動き量が放射状に(段階的に)大きくなってなる前後移動の画像シーンを示す。 
 また、図6Cの画像シーンは、画像における例えば左側部分では動きがあるが、右側部分では動き量が小さい又は殆ど動きが無い一部移動の画像シーンを示す。例えば左側部分では心臓に近い臓器が動き、その右側の殆ど動いていない部分を詳細に観察している例が想定されたり、患部付近の一部を処置具で処置しながら手術を行っている例が想定される。このため、一部移動の画像シーンを一部移動無しの画像シーンと言うこともできる。このような一部移動の画像シーン又は一部移動無しの画像シーンにおいては、高画質の画像が望まれる治療シーンの内視鏡手技シーンに分類される。図7Aは、動き量により判別された画像シーンから分類される内視鏡手技シーンの1例を示すと共に、設定される目標圧縮率の関係を示している。図7Aに示すように一部移動の画像シーンは、治療シーンに分類され、平行移動の画像シーンは動き量の大きさに応じて、存在診断シーン、質的、量的診断シーンの内視鏡手技シーンに分類され、前後移動の画像シーンは、動き量の大きさに応じて挿入シーン、存在診断シーン、質的、量的診断シーンに分類される。
 これに対して、図6Dの画像シーンは、(点線で示す)局所的な領域A内において動き量がバラバラになるために合理性のある分類ができない分類不可シーンとなる。検出された画像における動き量の大きさの分布(配置)が、上述した3つに分類できないで、上記分類不可シーンに該当する場合も起こりえる。 
 内視鏡手技シーン分類部53は、動き量検出部52aにより検出された動き量の画像内での(大きさを含む)分布の特徴量から、内視鏡手技シーンを特定(分類)し、例えば図7A又は図7Bに示すように特定した内視鏡手技シーンと目標圧縮率を設定する。また、この場合の画像の特徴と画像シーンは、図7Bに示すようになる。 
 図7Bに示すように内視鏡手技シーンのシーン項目における挿入シーンは、画像の特徴として動き量が大きい、又は距離が大きい場合に該当し、前後移動の画像シーンが主に対応する。そして、目標圧縮率は大(高)となる。存在診断シーンは、画像の特徴として動き量が中~大、又は距離が中~大の場合に該当し、平行移動又は前後移動の画像シーンが主に対応する。そして、目標圧縮率は中となる。 
 また、質的、量的診断シーンは、画像の特徴として動き量が小(低)~中、又は距離が小~中の場合に該当し、平行移動又は前後移動の画像シーンが主に対応する。そして、目標圧縮率は小(低)となる。また、治療シーンは、画像の特徴として動き量が小~中、又は距離が小~中の場合に該当し、一部移動の画像シーンが主に対応する。そして、目標圧縮率は小(低)となる。一部移動シーンは、画像の一部の領域のみ動きや距離が異なる。また、目標圧縮率の代わりに、目標圧縮率により定まる圧縮パラメータを用いるようにしても良い。 
 上記のように正常に分類される内視鏡手技シーンのシーン項目の他に、分類不可シーンは、画像の特徴として動き量の値が又は距離の値がばらつく(図6D参照)、若しくは算出精度は悪い場合に該当する(図5B参照)。そして、目標圧縮率は前のフレームにより決定される。 
  図7Bの主旨に沿って目標圧縮率を決定する場合、目標圧縮率を例えば圧縮後のデータ量を用いて大(100KB)、中(150KB)、小(180KB)と定めるようにしても良い。なお、KBはキロバイトを表す。また、目標圧縮率を例えば圧縮率を用いて、大(1/20倍)、中(1/15倍)、小(1/12倍)と定めるようにしても良い。また、同じ内視鏡手技シーンでも、動き量や距離に応じて、目標圧縮率の値を変化させても良い。
 内視鏡手技シーン分類部53は、(内視鏡手技シーン信頼性判定部53aにより内視鏡手技シーンの信頼性が低いと判定されないで)上記のように分類対象の内視鏡手技シーンの1つに分類した場合、分類結果と共に、(検出される物理量が動き量の場合には)動き量の大きさの情報を目標圧縮率決定部54に送る。この場合、内視鏡手技シーンの分類は確定する。 
 目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた内視鏡手技シーンの分類結果と、動き量の大きさの情報とから、対応する目標圧縮率を、LUT56から読み出し、(検出される物理量が動き量の場合には)目標圧縮率を決定する。 
 図7Cは、内視鏡手技シーン及び動き量に応じて予め用意された目標圧縮率を決定するためのLUT56のテーブルの内容を示す。図7Cにおいては、動き量の場合において示しているが、図7Dは、動き量の代わりに距離に応じて予め用意された目標圧縮率を決定するためのLUT56のテーブルの内容を示す。上記のように内視鏡手技シーンは、挿入シーン(移動シーン)、存在診断シーン(スクリーニングシーン)、質的、量的診断シーン((精査シーン)、治療シーン、および分類不可シーンに分類できる。図7C、図7Dでは、以下のように目標圧縮率が設定される。
 例えば、挿入シーンにおいては、動き量が大の場合は、距離が大の場合と同様に目標圧縮率が大に、動き鑞が中の場合は、距離が中の場合と同様に、目標圧縮率が中に、動き鑞が小の場合は、距離が小の場合と同様に目標圧縮率小に設定される。存在診断シーンの場合においては、動き量が大、中の場合は、距離が大、中の場合と同様に、目標圧縮率が中に、動き量が小の場合は、距離が小の場合と同様に、目標圧縮率が小に設定される。また、質的、量的診断シーンにおいては、動き量が中、小の場合は、距離が中、小の場合と同様に、目標圧縮率が小に設定される。、また、治療シーンにおいては、質的、量的診断シーンの場合と同様となる、また、分類不可シーンは、前フレームの場合から算出される。
 なお、図7C、図7Dに示す目標圧縮率を決定するテーブルは、1つの具体例を示すものであり、例えばより細かく目標圧縮率を設定しても良い。 
 このように目標圧縮率決定部54は、図7Cに示すようなテーブル内容のLUT56を参照して、内視鏡手技シーンの分類結果(及び動き量の大きさ)から送信する画像の目標圧縮率を決定する。また、目標圧縮率決定部54により決定された目標圧縮率の情報は、圧縮パラメータ決定部57に入力され、圧縮パラメータ決定部57は目標圧縮率に圧縮するための圧縮パラメータ決定する。圧縮パラメータ決定部57は、決定した圧縮パラメータを無線伝送部34に送り、無線伝送部34は、入力された圧縮パラメータの情報をワイヤレス内視鏡2Iに無線で送信する。そして、ワイヤレス内視鏡2Iは、送信された圧縮パラメータを用いて、無線伝送する画像データを圧縮する。 
 なお、LUT56として動き量を検出した場合の図7C,距離を検出した場合の図7Dのようなテーブル内容の内視鏡手技シ-ンと目標圧縮率との関連付け(組み合わせ)の場合の他に、動き量と距離との両方の検出を行うような場合においては、図7Eに示すような関連付けのものを採用することができる。図7Eは、画像シーン、動き量及び距離から内視鏡手技シーンが分類される内容と共に、分類された内視鏡手技シーンの場合に応じて設定される目標圧縮率を含む内容となっている。 
 例えば、画像シーンが平行移動の場合において、動き量が大となる場合には、内視鏡手技シーンとして挿入シーン、存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて挿入シーン、存在診断シーン、質的、量的診断シーンに分類される。また、分類された挿入シーン、存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が大、中、小に設定される。 
 また、画像シーンが平行移動の場合において、動き量が中となる場合には、内視鏡手技シーンとして存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて存在診断シーン、質的、量的診断シーン、質的、量的診断シーンに分類される。また、分類された存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が、中、小に設定される。 
 また、画像シーンが平行移動の場合において、動き量が小となる場合には、内視鏡手技シーンとして存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて存在診断シーン、質的、量的診断シーン、質的、量的診断シーンに分類される。また、分類された存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が、中、小に設定される。
 画像シーンが前後移動の場合において、動き量が大となる場合には、内視鏡手技シーンとして挿入シーン、存在診断シーンが分類候補となり、その場合、距離が大、中、小に応じて挿入シーン、存在診断シーン、存在診断シーンに分類される。また、分類された挿入シーン、存在診断シーンに応じて、目標圧縮率が大、中に設定される。 
 また、画像シーンが前後移動の場合において、動き量が中となる場合には、内視鏡手技シーンとして挿入シーン、存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて挿入シーン、存在診断シーン、質的、量的診断シーンに分類される。また、分類された挿入シーン、存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が、大、中、小に設定される。 
 また、画像シーンが前後移動の場合において、動き量が小となる場合には、内視鏡手技シーンとして存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて存在診断シーン、質的、量的診断シーン、質的、量的診断シーンに分類される。また、分類された存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が中、小に設定される。 
 また、画像シーンが一部移動の場合には治療シーンに分類され、目標圧縮率が小に設定される。その他の画像シーンは、分類不可の内視鏡手技シ-ンに分類され、目標圧縮率は、前フレームの画像の内視鏡手技シーンにより設定(決定)される。 
 また、内視鏡手技シ-ンと目標圧縮率との関連付け(組み合わせ)のモードとして、例えば低圧縮を行う標準モードと、高圧縮を行う省電力モードのように複数のモードを用意し、ユーザが使用するモードを設定(選択)できるようにしても良い。また、LUT56は、分類された内視鏡手技シーンと、動き量及び距離の少なくとも一方とから、目標圧縮率を決定するものに限らず、画像シーンと、き量及び距離の少なくとも一方とから、目標圧縮率を決定するようなものでも良い。また、LUT56として図7Eの代わりに、図7Fのテーブル内容のものを採用しても良い。
 一方、内視鏡手技シーン信頼性判定部53aは、図5Bにおいて説明したように算出された動き量の値の信頼性(算出精度)が低い場合、又は図6Dの例外シーンの場合には、例外シーンに該当する内視鏡手技シーンとしての分類不可シーンの信頼性が低いと判定する。 
 内視鏡手技シーンの信頼性が低いと判定された画像に対しては、内視鏡手技シーン分類部53は、この画像のフレームの1つ前のフレームの画像の内視鏡手技シーンと同じと判定する。または、内視鏡手技シーン分類部53は、この画像のフレームの複数フレーム前のフレームの画像の内視鏡手技シーンと同じと判定する。 
 このように内視鏡手技シーンの信頼性が低いと判定された画像に対しては、内視鏡手技シーン分類部53は、この画像のフレームから所定期間前のフレームの画像の内視鏡手技シーンと同じと判定する。なお、内視鏡手技シーンの信頼性が低いと判定された画像に対して、内視鏡手技シーン分類部53がその画像のフレームから何フレーム前の画像の内視鏡手技シーンと同じと設定する場合のフレーム数、又はフレーム期間の情報を術者等のユーザが、ユーザIF部36から設定できるようにしても良い。また、後述する動作例のように、過去に分類された内視鏡手技シーンが複数ある場合、例えば、過去に分類された内視鏡手技シーンにおける最新の内視鏡手技シーンと同じであると判定(分類)する。または、複数の過去に分類された内視鏡手技シーンから、内視鏡手技シーンの変化に応じて最新の内視鏡手技シーンを推定する。例えば、複数の過去のフレームが存在診断シーンと分類され、その場合の動き量が少しずつ大きくなっている場合には、存在診断シーンから挿入シーンに移行していると判断する。 
 このように、内視鏡手技シーンの信頼性が低いと判定された画像の場合には、当該画像よりも前のフレームの画像と同じ内視鏡手技シーンと判定され、当該前のフレームの内視鏡手技シーンに対応する目標圧縮率が設定(決定)される。
 更に距離検出部52bを用いた場合の内視鏡手技シーンの分類及び目標圧縮率の決定を説明する。左撮像部29a、右撮像部29bにより撮像され、画像取得部51を経て距離検出部52bに入力された左右の画像(信号)は、距離検出部52bにより一方の画像内における複数の代表的な位置においての距離が算出される。なお、画像内の各位置は、撮像された被検体内の各部位にそれぞれ対応するため、被検体内における代表的な複数の位置と、撮像部22B(又は先端部8aの先端)間の距離が算出されると言っても良い。 
 図8A~図8Cは、距離に基づいて判別された複数の代表的な画像シーンの場合における距離(情報)を示す図であり、図8Dは例外の画像シーンを示す図である。図8Aの画像シーンは、画像における代表的な複数の位置での距離が、例えば大となる平行移動の画像シーンを示す。なお、図8A~図8Dにおいて、円の大きさが距離の大きさを表す。 
 図8Bの画像シーンは、画像における中央側での距離が大きく、周辺側ほど距離が放射状に小さくなってなる前後移動の画像シーンを示す。 
 また、図8Cの画像シーンは、画像における例えば左側部分の領域では距離が変化しているが、右側部分の領域では距離が変化していない一部移動の画像シーンを示す。なお、この他に画像シーンとして、図8Cの画像シーンにおいて、画像の全体において距離が小さい移動無しの画像シーンを、一部移動の画像シーンに含めるようにしても良い。
 これに対して、図8Dの画像シーンは、(点線で示す)局所的な領域A内において距離の値が閾値以上にバラバラになる(ばらつく)ために例外の画像シーンとなる。 
 内視鏡手技シーン分類部53は、距離検出部52bにより検出された距離(情報)の画像内での分布の特徴量から、図8A~図8Cの3つの画像シーンに判別し、図7Bに示したように距離の大きさからいずれの内視鏡手技シ-ンに該当するか否かの分類を行う。 
 また、内視鏡手技シーン分類部53は、距離検出部52bにより検出された距離(の値)の画像内での分布の特徴量が、図8Dの画像シーンのように局所的な領域A内において距離がバラバラになる例外の画像シーンも、分類不可シーンとしてその信頼性が低いとする。 
 内視鏡手技シーン分類部53は、上記のように分類した内視鏡手技シーンの情報と共に、距離の大きさの情報を目標圧縮率決定部54に送る。この場合、内視鏡手技シーンの分類は確定する。
 目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた内視鏡手技シーンの分類結果と、距離の大きさの情報とから対応する目標圧縮率を、LUT56から読み出し、画像の目標圧縮率を決定する。 
 上述したように 図7Dは、予め用意された距離の場合において使用されるLUT56のテーブル内容を示す。 
 上述したように挿入シーンにおいては距離が大の場合には目標圧縮率が大に、距離が中の場合には目標圧縮率が中に、距離が小の場合には目標圧縮率が小に設定される。存在診断シーンにおいては、距離が大、中、小の場合には、それぞれ目標圧縮率が中、小、小に設定される。また、質的、量的診断シーンと、治療シーンにおいては、距離が中又は、小の場合において目標圧縮率が小に設定される。なお、分類不可シーンの場合は、動き量の場合において説明したように時間的に前となるフレームの画像に対して分類された内視鏡手技シーンによる目標圧縮率に設定される。
 このように目標圧縮率決定部54は、図7Dのようなテーブル内容のLUT56を参照して、決定対象の画像の目標圧縮率を決定する。また、目標圧縮率決定部54により、決定された目標圧縮率の情報は、圧縮パラメータ決定部57に入力され、圧縮パラメータ決定部57は目標圧縮率に圧縮するための圧縮パラメータ決定する。圧縮パラメータ決定部57は、決定した圧縮パラメータを無線伝送部34に送り、無線伝送部34は、入力された圧縮パラメータの情報をワイヤレス内視鏡2Iに無線で送信する。そして、ワイヤレス内視鏡2Iは、送信された圧縮パラメータを用いて、無線伝送する画像データを圧縮する。
 一方、内視鏡手技シーン信頼性判定部53aは、図5Bにおいて説明したのと類似して、距離を算出する場合の精度が低い場合、又は図8Dのように例外の画像シーンに対応する(内視鏡手技シーンとしての)分離不可シーンの場合にはその内視鏡手技シーンの信頼性が低いと判定する。 
 内視鏡手技シーンの信頼性が低いと判定された画像に対しては、上述した動き量の場合と同様に、内視鏡手技シーンの信頼性が低いと判定された画像の場合には、当該画像よりも前のフレームの画像と同じ内視鏡手技シーンと判定され、当該前のフレームの内視鏡手技シーンに対応する目標圧縮率が設定(決定)される。 
 本実施形態の内視鏡システム1は、被検体内に挿入され、先端部8aに設けられた撮像部22A又は22Bと、該撮像部22A又は22Bにより撮像した画像信号を無線伝送する第1の無線伝送部を形成する無線伝送部24とを有する内視鏡本体を形成するワイヤレス内視鏡2A又は2Bと、前記被検体の外部に配置され、無線伝送された画像信号を受信する第2の無線伝送部を形成する無線伝送部34と、無線伝送された前記画像信号の画像処理を行う画像処理部33とを有するプロセッサ3と、前記撮像部22A又は22Bにより前記被検体内の部位を撮像した画像信号に基づいて、前記内視鏡本体による前記部位を観察する画像のシーンが、複数からなる代表的な内視鏡手技シーン(挿入シーン、存在診断シーン、質的、量的診断シーン、治療シーン)におけるいずれの内視鏡手技シーンに該当するかの分類をするシーン分類部を形成する内視鏡手技シーン分類部53と、前記シーン分類部により分類された前記シーンの信頼性の判定を行うシーン信頼性判定部を形成する内視鏡手技シーン信頼性判定部53aと、前記シーン信頼性判定部が、前記シーン分類部より分類された前記シーンの信頼性が低いと判定した場合には、前記信頼性が低いと判定された画像信号のフレームよりも所定期間前のフレームの画像信号において前記シーン分類部による内視鏡手技シーンの分類結果に応じて、前記第1の無線伝送部が無線伝送する前記画像信号の目標圧縮率を決定する画像信号目標圧縮率決定部を形成する目標圧縮率決定部54と、を有することを特徴とする。
 次に図9を参照して本実施形態の動作を説明する。図9は、本実施形態におけるワイヤレス内視鏡2Iとプロセッサ3との代表的な処理を示す。なお、図9における最も左側のフローチャート部分は、ワイヤレス内視鏡2I側の処理を示し、その右側は、プロセッサ3側の処理を示す。なお、図9の図面上では、内視鏡手技シーンを単にシーンと表記している。
 ワイヤレス内視鏡2Iとプロセッサ3との両者の電源が投入されると、両者は動作状態となる。 
 最初のステップS1においてプロセッサ3の制御部31は、無線伝送部34からワイヤレス内視鏡2IがIDを送信するようにID(送信)要求のコマンドを無線送信する。ワイヤレス内視鏡2Iは、ステップS2においてこのコマンドを受信し、要求されたIDを無線送信する。そして、ステップS3に示すようにプロセッサ3はIDを受信し、ワイヤレス内視鏡2Iと無線通信する接続状態となる。なお、プロセッサ3はIDを受信することにより、IDを送信したワイヤレス内視鏡2Iの撮像部22Iの種別が1つの撮像素子を有する22Aタイプであるか2つの撮像素子を有する22Bタイプであるかを認識(識別)する。
 次のステップS4においてワイヤレス内視鏡2Iは、撮像部22Iにより被検体の体腔内の撮像を開始する。そして、ステップS5においてワイヤレス内視鏡2Iの画像処理部23は、撮像部22Iにより撮像した画像の(圧縮前の)画像データを生成し、ステップS6においてワイヤレス内視鏡2Iの画像処理部23は、予め設定された圧縮パラメータで前記画像データを圧縮する。画像データを無線で伝送(通信)する場合、無線伝送可能なデータ量に制限があるため、送信する場合のデータ量が無線伝送可能なデータ量より大きくならない様に、画像圧縮により、送信する場合のデータ量を調整する必要がある。 
 ステップS7においてワイヤレス内視鏡2Iの無線伝送部24は、圧縮された画像データを無線送信する。ステップS8においてプロセッサ3の無線伝送部34は、圧縮された画像データを受信し、画像処理部33は、圧縮前の画像データに戻す画像処理を行う。また、画像処理部33内の無線伝送可能データ量算出部51aは、無線伝送部24から無線伝送部34に最初に無線送信された画像データを受信した際に、無線伝送可能データ量を算出し、無線伝送可能データ量判定部51bは無線送信された画像データが無線伝送可能なデータ量の範囲内であることを判定する。
 例えば、最初に画像データを送信する場合、送信データ量のレートを変化させた複数の画像データを送信して無線伝送可能データ量判定部51bが無線伝送可能なデータ量を判定できるようにしても良い。仮に無線伝送可能データ量判定部51bが無線送信された画像データが無線伝送可能なデータ量の範囲を超える場合には、画像データの圧縮パラメータを大きくして、画像データをより大きく圧縮して送信するように送信要求の信号を、無線伝送部34を経てワイヤレス内視鏡2Iの無線伝送部24に送信し、ワイヤレス内視鏡2Iからプロセッサ3に無線送信される画像データが無線伝送可能なデータ量の範囲内に設定する。 
 図10は、無線伝送可能データ量判定部51bにより無線伝送可能なデータ量を算出後におけるワイヤレス内視鏡2Iの無線伝送部24からプロセッサ3の無線伝送部34に無線伝送される場合の画像データ量の推移をフレーム番号の変化の場合で示す。 
 例えば、撮像された画像が2000キロバイト(2000KBと略記)の画像データに対して、無線伝送可能なデータ量が200KBであれば、1/10倍に圧縮しなければならない。この場合、ワイヤレス内視鏡2Iの画像処理部23は、圧縮パラメータに基づいて画像圧縮を行う。なお、圧縮パラメータは、大きな値にするほど、高圧縮(大きい圧縮)小さい値にするほど低圧縮になる。
 圧縮パラメータをpとした場合、圧縮パラメータpを変えることで画像圧縮後のデータ量を変えることができるが、最終的なデータ量は圧縮パラメータpと画像とにより決まる。圧縮し難い画像であれば、同じ圧縮パラメータpでも、圧縮後のデータ量が異なる(換言すると、同じ圧縮パラメータpでも圧縮率が異なる)。 
 そのため、目標圧縮率を定めて、圧縮パラメータpと共に圧縮後のデータ量を監視しながら、画像圧縮後のデータ量が無線伝送可能なデータ量を超えないように、適宜に圧縮パラメータpを更新していかなければならない。 
 無線伝送可能なデータ量が、例えば200KBの場合、200KBを超えるデータ量になると、その画像を伝送できないため、目標とする圧縮後のデータ量は200KBより例えば1割小さい値としての180KBにする。 
 図10に示す例では、圧縮パラメータpの初期値を大きな値としての200にして、最初は画像圧縮後のデータ量を十分に小さくしておいて、目標圧縮率に近づける制御方法を採用している。図10に示すような制御方法を採用することにより、フレーム番号が大きい画像においてのデータ量を目標とする圧縮後のデータ量からのずれを小さい範囲に抑え、安定して画像の無線伝送を行えるようにする。
 図10に示すようにフレーム番号0の最初の画像を大きな値の圧縮パラメータpにより圧縮して伝送し、次のフレーム番号1においては、前のフレーム番号0の圧縮されたデータ量に応じて、目標圧縮率を更新する。 
 具体的には、フレーム番号1の圧縮パラメータpの値を算出する方法を述べる。 
 以下のように最初は、初期値200の圧縮パラメータpからスタートし、フレーム番号1から圧縮パラメータpを算出する。 
 入力画像サイズ         2000KB
 目標とする圧縮後のデータ量    180KB
 目標圧縮率      180KB/2000KB
 前フレーム(0)の圧縮パラメータp 200
 前フレーム(0)のデータ量     40KB
 次フレームの圧縮パラメーpの値は、以下の関数式で算出する。 
 次フレームの圧縮パラメーpの値=前フレームの圧縮パラメーpの値+定数×(前フレームのデータ量-目標とする圧縮後のデータ量)/目標とする圧縮後のデータ量
 =200+65×(40KB-180KB)/180KB
 =150
 次フレームの圧縮パラメーpの値を算出する関数式は制御方法の制約により様々な式が考えられる。この場合の制約としては、早く目標圧縮率に収束させる、制御中の画質の変化を少なくする等がある。
 図9におけるステップS8の次のステップS9においてプロセッサ3の制御部31は、目標圧縮率を決定するための物理量検出部52が検出する物理量として動き量か否かの判定を行う。ステップS3においてワイヤレス内視鏡2Iの撮像部22Iの種別が22Aタイプであると認識した場合には、ステップS9の判定処理に関して制御部31は、動き量であると判定する。 
 これに対してワイヤレス内視鏡2Iの撮像部の種別が22Bタイプであると認識した場合には、術者がユーザIF部36から動き量と距離との一方を選択する。なお、ステップS9の際に、術者が一方を選択する入力を行う場合に限定されるものでなく、ステップS9よりも前の段階において一方を選択する入力を行うようにしても良い。また、後述するように両方を用いて圧縮率を決定する処理を行う選択をすることもできる。
 ステップS9の判定処理において動き量を検出することが選択又は判定された場合には次のステップS10aにおいて動き量検出部52aは、この動き量検出部52aに入力された画像(現在画像又は現在フレームの画像とも言う)と1フレーム前の画像とを用いて現在画像における動き量を検出する(最初の1フレーム分の画像においては、前のフレームの画像が無いため、この処理を行わないで、次のフレームの画像においてこの処理を開始する)。 
 次のステップS11aにおいて内視鏡手技シーン分類部53は、動き量検出部52aにより検出された動き量の画像内での分布からこの画像が図6A~図6Dに示したいずれの代表的な画像シーンに該当するかの判別を行い、さらに画像シーンと動き量の大きさから図7Aに示すような内視鏡手技シーンの分類の処理を行う。 
 次のステップS12aにおいて内視鏡手技シーン信頼性判定部53aは、内視鏡手技シーン分類部53により分類された内視鏡手技シーンの信頼性が低いか否かの判定を行う。上述したように、内視鏡手技シーン信頼性判定部53aは、内視鏡手技シーンの分類に用いる動き量の信頼性が低い場合(図5Bの特性Cbの場合)、又は図6A~図6Dに示した例外の画像シーンの場合に(分類された)内視鏡手技シーンの信頼性が低いと判定し、その他の場合には内視鏡手技シーンの信頼性が低くないと判定する。
 従って、ステップS12aの判定処理において内視鏡手技シーンの信頼性が低くないと判定された場合には、次のステップS13aにおいて内視鏡手技シーン分類部53により分類された現在画像に対する内視鏡手技シーンの分類が決定する。そして、内視鏡手技シーン分類部53は決定した分類結果と、その際の動き量の大きさを目標圧縮率決定部54に送る。 
 次のステップS14aにおいて目標圧縮率決定部54は、算出された無線伝送可能なデータ量と、内視鏡手技シーン分類部53が決定した内視鏡手技シーンと、動き量の大きさの情報とを用いて対応する目標圧縮率を、例えば図7Cの内容のLUT56から読み出し、目標圧縮率を決定する。目標圧縮率決定部54は、算出された無線伝送可能なデータ量以内となるように目標圧縮率を決定する。そして、図9Bにおいて説明した制御方法により画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、画像信号を確実に無線伝送することができるようにしている。決定された目標圧縮率は、圧縮パラメータ決定部57に入力され、圧縮パラメータ決定部57は目標圧縮率に圧縮する場合の圧縮パラメータを決定し、その圧縮パラメータを無線伝送部34に送る。 
 次のステップS15において無線伝送部34は、決定された圧縮パラメータをワイヤレス内視鏡2Iに無線送信する。 
 一方、ステップS12aにおいて内視鏡手技シーンの信頼性が低いと判定された場合には、ステップS16aにおいて内視鏡手技シーン分類部53は、過去に分類された内視鏡手技シーンが存在するか否かの判定を行う。過去に分類された内視鏡手技シーンが存在する場合には、ステップS17aにおいて内視鏡手技シーン分類部53は、例えば、過去に分類された内視鏡手技シーンを最新の内視鏡手技シーンと同じであると判定(分類)する。または、複数の過去に分類された内視鏡手技シーンから、内視鏡手技シーンの変化に応じて最新の内視鏡手技シーンを推定する。そして、ステップS18aにおいて内視鏡手技シーン分類部53は、その内視鏡手技シーンの情報を、(動き量の信頼性が低くない場合には動き量の大きさと共に)目標圧縮率決定部54に送る。
 次のステップS19aにおいて目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた内視鏡手技シーン、又は内視鏡手技シーンと共に動き量の信頼性が低くない場合の動き量の大きさの情報とを用いて対応する目標圧縮率をLUT56から読み出し、目標圧縮率を決定する。その後、ステップS15の処理に移る。なお、動き量の信頼性が低い場合(換言すると内視鏡手技シーンのみの情報から目標圧縮率を決定する場合)には、目標圧縮率決定部54は、例えばその内視鏡手技シーンにおける最も目標圧縮率が大きい場合の目標圧縮率に決定するように設定しても良い。 
 これに対して、ステップS16aの判定処理において、過去に分類された内視鏡手技シーンが存在しない場合には、ステップS20aに示すように内視鏡手技シーン分類部53は、予め用意又は設定された所定の内視鏡手技シーンの情報、例えば、内視鏡手技シーンは変化しないという情報を目標圧縮率決定部54に送る。そして、ステップS19aにおいて目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた所定の内視鏡手技シーンの情報を用いて対応する目標圧縮率をLUT56から読み出し、目標圧縮率を決定する。図7Cの場合、挿入シーン、と存在診断シーンにおいては内視鏡手技シーンにおける動き量の大きさにより目標圧縮率が変化し、質的、量的診断シーン、治療シーンにおいては動き量が中以下となり、目標圧縮率が小に設定される。 
 一方、ステップS9の判定処理において、動き量でなく、距離の検出が選択又は判定された場合には、ステップS10bにおいて距離検出部52bは、視差のある左右の撮像部29a,29bに基づく左右画像から、一方の画像における複数の位置での距離を検出する。
 以下に説明するステップS11b~S20bは、ステップS11a~S20aと類似した処理となる(動き量を距離に置換した処理となる)。 
 次のステップS11bにおいて内視鏡手技シーン分類部53は、距離検出部52bにより検出された距離の画像内での分布からその画像が図8A~図8Dに示したいずれの代表的な画像シーンに該当するかの判別を行い、さらに画像シーンと距離の大きさから図7Bに示すような内視鏡手技シーンの分類の処理を行う。 
 次のステップS12bにおいて内視鏡手技シーン信頼性判定部53aは、内視鏡手技シーン分類部53により分類された内視鏡手技シーンの信頼性が低いか否かの判定を行う。上述したように、内視鏡手技シーン信頼性判定部53aは、内視鏡手技シーンの分類に用いる距離の信頼性が低い場合、又は図8Dに示した例外シーンの場合(局所的な領域A内において距離の値が閾値以上にばらつく場合)に内視鏡手技シーンの信頼性が低いと判定し、その他の場合には内視鏡手技シーンの信頼性が低くないと判定する。 
 従って、ステップS12bの判定処理において内視鏡手技シーンの信頼性が低くないと判定された場合には、次のステップS13bにおいて内視鏡手技シーン分類部53により分類された現在画像に対する内視鏡手技シーン分類が決定する。そして、内視鏡手技シーン分類部53は決定した分類結果と、その際の距離の大きさを目標圧縮率決定部54に送る。
 次のステップS14bにおいて目標圧縮率決定部54は、算出された無線伝送可能なデータ量と、内視鏡手技シーン分類部53が決定した内視鏡手技シーンと、距離の大きさの情報とを用いて対応する目標圧縮率を図7Dに示すLUT56から読み出し、目標圧縮率を決定する。目標圧縮率決定部54は、算出された無線伝送可能なデータ量以内となるように目標圧縮率を決定する。そして、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、画像信号を確実に無線伝送することができるようにしている。決定された目標圧縮率は、圧縮パラメータ決定部57に入力され、圧縮パラメータ決定部57は目標圧縮率に圧縮する場合の圧縮パラメータを決定し、その圧縮パラメータを無線伝送部34に送る。 
 次のステップS15において無線伝送部34は、決定された圧縮パラメータをワイヤレス内視鏡2Iに無線送信する。 
 一方、ステップS12bにおいて内視鏡手技シーンの信頼性が低いと判定された場合には、ステップS16bにおいて内視鏡手技シーン分類部53は、過去に分類された内視鏡手技シーンが存在するか否かの判定を行う。過去に分類された内視鏡手技シーンが存在する場合には、ステップS17bにおいて内視鏡手技シーン分類部53は、例えば過去に分類された内視鏡手技シーンを最新の内視鏡手技シーンと同じであると判定(分類)する。または、複数の過去に分類された内視鏡手技シーンから、内視鏡手技シーンの変化に応じて最新の内視鏡手技シーンを推定する。そして、ステップS18bにおいて内視鏡手技シーン分類部53は、その内視鏡手技シーンの情報を、(距離の信頼性が低くない場合には距離の大きさと共に)目標圧縮率決定部54に送る。 
 次のステップS19bにおいて目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた内視鏡手技シーン、又は内視鏡手技シーンと共に距離の信頼性が低くない場合のその距離の大きさの情報とを用いて対応する目標圧縮率をLUT56から読み出し、目標圧縮率を決定する。その後、圧縮パラメータ決定部57は目標圧縮率に圧縮する場合の圧縮パラメータを決定し、その圧縮パラメータを無線伝送部34に送り、ステップS15の処理に移る。なお、距離の信頼性が低い場合(換言すると内視鏡手技シーンのみの情報から目標圧縮率を決定する場合)には、目標圧縮率決定部54は、その内視鏡手技シーンにおける最も目標圧縮率が大きい場合の目標圧縮率に決定するようにしても良い。
 これに対して、ステップS16bの判定処理において、過去に分類された内視鏡手技シーンが存在しない場合には、ステップS20bに示すように内視鏡手技シーン分類部53は、予め用意又は設定された所定の内視鏡手技シーンの情報、例えば、内視鏡手技シーンは変化しないという情報を目標圧縮率決定部54に送る。そして、ステップS19bにおいて目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた所定の内視鏡手技シーンの情報を用いて対応する目標圧縮率をLUT56から読み出し、目標圧縮率を決定する。この場合、その内視鏡手技シーンにおける距離の大きさにより目標圧縮率が変化する場合には、例えば最も大きい目標圧縮率に設定しても良い。 
 上述したようにステップS15においてプロセッサ3の無線伝送部34は、決定された目標圧縮率に対応する圧縮パラメータの情報をワイヤレス内視鏡2Iに無線送信する。 
 そして、ステップS21に示すようにワイヤレス内視鏡2Iは、圧縮パラメータの情報を受信する。次のステップS22に示すように受信した圧縮パラメータの情報を用いて、ワイヤレス内視鏡2Iからプロセッサ3に無線伝送する画像データを圧縮する。次のステップS23においてワイヤレス内視鏡2Iの無線伝送部24は、プロセッサ3に圧縮した画像データを無線送信する。この後の動作は、ステップS8以降と同様の動作となる。なお、ステップS15による圧縮パラメータを無線送信する処理と、ステップS21(及びS22)における圧縮パラメータを受信する処理を実質的に同期させる必要はない。例えば、プロセッサ3から圧縮パラメータを無線送信した場合、ワイヤレス内視鏡2Iの無線伝送部24は、送信された圧縮パラメータを一旦メモリに保存するようにしても良い。つまり、ステップS21では送信された圧縮パラメータを保存し、圧縮パラメータが送信されたタイミングと異なるタイミングで送信された圧縮パラメータを用いて圧縮する処理を行うようにしても良い。 
 また、内視鏡手技シーンの分類にも時間がかかる場合があるため、内視鏡手技シーンの分類が終了したことを確認した後に、次のフレーム画像を内視鏡手技シーン分類部53に入力するようにしても良い。このように撮像の動作と、内視鏡手技シーン分類等の動作を非同期にしても良い。内視鏡手技シーンは、1フレームではなく、複数フレームにおいて次第に変化していくため、上記のように撮像の動作と、内視鏡手技シーン分類等の動作を非同期にしても良い。
 なお、ワイヤレス内視鏡2Iは、ステップS7の処理後、ステップS21においてプロセッサ3から無線で送信される圧縮パラメータの情報を取得するまでの間に1~数フレーム分の撮像を行う。 
 例えば1フレーム期間以下において、プロセッサ3が目標圧縮率を決定し、プロセッサ3からワイヤレス内視鏡2Iに圧縮パラメータの情報を取得できる場合には、1フレーム期間のみ時間的にずれた画像データに基づく圧縮パラメータ率を用いて、ワイヤレス内視鏡2Iは、順次、撮像した画像データを圧縮し、プロセッサ3に無線伝送する。 
 これに対して、1フレーム期間を超える期間かかって目標圧縮率の情報を取得できる場合には、プロセッサ3は各フレーム毎に目標圧縮率を決定(算出)する処理を行わないで、複数フレームの画像毎に目標圧縮率を決定する処理を行うようにしても良い。 
 なお、1フレーム期間以内において、内視鏡手技シーンの分類ができるような場合において、現在の画像の内視鏡手技シーンにおける動き量又は距離を検出する場合、過去の複数の内視鏡手技シーンにおける動き量又は距離の大きさの変化の傾向から現在の画像の内視鏡手技シーンにおける動き量又は距離を推定するようにしても良い。例えば、2フレーム期間前及び1フレーム期間前の画像がいずれも同じ内視鏡手技シーンと分類され、かつ2フレーム期間前及び1フレーム期間前の画像の例えば動き量が大、中と変化した場合には現在の画像の内視鏡手技シーンも、それらと同じ内視鏡手技シーンと推定し、更に動き量が小と推定するようにしても良い。この場合、2フレーム期間前及び1フレーム期間前の画像の例えば動き量が小、中と変化した場合には現在の画像の内視鏡手技シーンも、それらと同じ内視鏡手技シーンと推定し、更に動き量が大と推定するようにしても良い。
 このように動作する本実施形態の内視鏡システム1によれば、画像に対する内視鏡手技シーンを分類する際の信頼性が低い場合においても適切な目標圧縮率に設定して画像信号を無線伝送できる。また、無線伝送の送信状況を把握して、無線伝送可能データ量を算出し、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、画像信号を確実に無線伝送することができる。 
 体腔内を一定のフレーム周期(例えば1/30S又は1/60S)で撮像している場合、1~数フレーム期間においては、画像の内視鏡手技シーンが直前の内視鏡手技シーンから急に大きく変化した内視鏡手技シーンに変化することは少なく、殆どの場合、序々に内視鏡手技シーンが変化しく傾向を示す。このため、信頼性を有する状態で内視鏡手技シーンの分類が出来なくなった場合の内視鏡手技シーンとして、その直前付近において内視鏡手技シーンの分類ができた内視鏡手技シーンと同じと判定(又は同定)することは妥当性を有し、その場合の内視鏡手技シーンの目標圧縮率に対応した圧縮パラメータで圧縮することは適切な処理と評価できる。 
 また、本実施形態によれば、実際に使用するワイヤレス内視鏡2Bの場合には、内視鏡手技シーンの分類及び目標圧縮率の決定に使用する物理量を複数から選択することができる。一方、ワイヤレス内視鏡2Aの場合には、内視鏡手技シーンの分類及び目標圧縮率の決定に使用する物理量を自動的に決定でき、術者等のユーザに対する操作性を向上できる。 
 なお、上記の実施形態の説明においては、内視鏡手技シーンの分類及び目標圧縮率の決定を動き量又は距離における一方のみを用いて行うようにしているが、両方(2つ)の情報を用いて内視鏡手技シーンの分類及び目標圧縮率の決定を行うようにしても良い。 
 この場合の処理を図11に示す。図11の処理は、図9において一部の処理が異なるのみであるので、異なる部分のみを説明する。ステップS1~S8までは図9と同じ処理であり、ステップS8の次のステップS30においてプロセッサ3(の制御部31)は、2つの物理量の検出を行う設定か否かの判定を行う。術者は、動き量及び距離を検出して内視鏡手技シーンの分類及び目標圧縮率の決定を行うことを希望する場合には、その選択をユーザIF部36から行う。
 なお、ステップS30の判定処理において、動き量及び距離の一方を選択した場合には、図9のステップS9の処理に移る。この場合には、図9と同様の処理となる。 
 ステップS30の判定処理において、動き量及び距離の両方を選択した場合には、図11に示すようにステップS10c~S13cと、ステップS14を行う。具体的にはステップS10cにおいて動き量検出部52aと距離検出部52bはそれぞれ動き量と距離を検出する。次のステップS11cにおいて内視鏡手技シーン分類部53は、動き量と距離とから内視鏡手技シーンの分類を行う。内視鏡手技シーンの分類は、図7Bに示すように画像の特徴と画像シーンから行っても良いし、図7Eに示すテーブルデータから内視鏡手技シーンの分類を行うようにしても良い。
 内視鏡手技シーンの分類の処理を行う際に、ステップS12cに示すように内視鏡手技シーン信頼性判定部53aは分類される内視鏡手技シーンの信頼性を判定する。内視鏡手技シーンの信頼性が低いと判定した場合には、例えばステップS16a(又はステップS16b)の処理に移り、内視鏡手技シーンの信頼性が低くないと判定した場合には、次のステップS13cに進む。ステップS13cにおいて内視鏡手技シーン分類部53による内視鏡手技シーンの分類が決定する。
 そして、ステップS13cの結果からステップS14において目標圧縮率決定部54は、算出された無線伝送可能なデータ量と、内視鏡手技シーンの分類結果と動き量の大きさ及び距離の大きさの情報を用いて目標圧縮率を決定する。圧縮パラメータ決定部57は、決定された目標圧縮率から圧縮パラメータを決定し、次のステップS15の処理に移る。なお、内視鏡手技シーンから目標圧縮率を決定する場合のLUTとして、図7Eに示すテーブルデータのものに限らず、図7Fに示すテーブルデータを利用しても良い。また、ユーザの好み等により、図7Eや図7Fなど、一部が異なるテーブルデータを選択して使用できるようにしても良い。
 具体的には、内視鏡手技シーンとして挿入シーンの場合には、動き量が大で、距離が大、中、小の場合には、目標圧縮率はそれぞれ大、大、中に設定され、動き量が中で、距離が大、中、小の場合には、目標圧縮率は中に設定され、動き量が小で、距離が大、中、小の場合には、目標圧縮率は中、小、小に設定される。 
 また、存在診断シーンの場合には、動き量が大で、距離が大、中、小の場合には、目標圧縮率はそれぞれ中、中、小に設定され、動き量が中で、距離が大、中、小の場合には、目標圧縮率は小に設定され、動き量が小の場合には、距離が大、中、小の場合においても、目標圧縮率は小に設定される。 
 また、質的、量的診断シーンの場合には、動き量が中又は小となり、これらの動き量においては距離が中、小のいずれの場合にも、目標圧縮率は小に設定される。また、治療シーンの場合は、質的、量的診断シーンの場合と同様に目標圧縮率は小に設定される。 
 このように動き量及び距離との両方の情報を用いて内視鏡手技シーンの分類及び目標圧縮率の決定を行うと、より精度良く内視鏡手技シーンの分類を行うことができると共に、分類した内視鏡手技シーンに適した目標圧縮率を決定することができる。なお、一方の物理量の特徴量から内視鏡手技シーンを分類すると共に、他方物理量の特徴量からも内視鏡手技シーンを分類するようにしても良い。この場合、分類された内視鏡手技シーンや目標圧縮率が異なるような場合には、優先する方の物理量を予め決定しておき、優先する方の物理量に基づく内視鏡手技シーンや目標圧縮率を優先するようにしても良い。
 上述した実施形態においては、内視鏡手技シーンの分類及び目標圧縮率の決定(算出)をプロセッサ3側で行う場合を説明したが、ワイヤレス内視鏡2I側で行うようにしても良い。図12は、第1の実施形態の変形例における内視鏡手技シーンの分類及び目標圧縮率を決定(算出)を、ワイヤレス内視鏡2I側で行う場合における画像処理部23Bの構成を示す。 
 本変形例は、図2に示したワイヤレス内視鏡2Iにおける画像処理部23を、図12に示した画像処理部23Bに置換した内容となっている。 
 図12に示す画像処理部23Bは、図3に示した画像処理部33と殆ど同じ構成である。なお、本変形例においては、ワイヤレス内視鏡2I側で目標圧縮率及び圧縮パラメータを決定するため、本変形例の場合のプロセッサ3の画像処理部33は、図3における画像取得部51のみを備える構成となる。 
 画像処理部23Bは、撮像部22Iの撮像画像(信号)から画像信号を生成する画像生成部151と、画像生成部151により生成された画像信号に基づいてワイヤレス内視鏡2Iにおける挿入部8の先端部8aに設けた撮像部22Iによる体腔内の部位を観察した状態を反映する物理量を検出する物理量検出部152と、物理量検出部152において検出した物理量の特徴に基づいて術者がワイヤレス内視鏡2Iを用いて手技を行っている画像のシーンが、予め用意又は登録された複数からなる代表的な内視鏡手技シーン(又は観察シーン)のいずれの代表的な内視鏡手技シーンに該当するかのシーンの分類をする内視鏡手技シーン分類部153と、内視鏡手技シーン分類部153において分類した内視鏡手技シーンと、物理量検出部152において取得した物理量の特徴量(具体的には、物理量の大きさ、複数の位置での物理量の分布など)からワイヤレス内視鏡2Iから画像を無線送信する場合の目標圧縮率を決定する目標圧縮率決定部154と、決定された目標圧縮率から、圧縮パラメータを決定する圧縮パラメータ決定部157と、圧縮パラメータで画像信号の圧縮を行う画像圧縮部154aとで主要部が構成されている。 
 また、画像生成部151は、無線伝送の状況を把握して、無線伝送可能なデータ量を算出する無線伝送可能データ量算出部151aと、無線伝送可能なデータ量を判定する無線伝送可能データ量判定部151bとを有する。 
 また、無線伝送可能データ量算出部151aにより算出された無線伝送可能データ量と、無線伝送可能データ量判定部151bによる判定結果は、目標圧縮率決定部154に送られ、目標圧縮率決定部154は、無線伝送可能データ量と判定結果を優先して画像信号を無線伝送する場合の目標圧縮率を決定する。また、圧縮パラメータ決定部157は、決定された目標圧縮率から、この目標圧縮率に圧縮するための圧縮パラメータを決定する。そして、後述するように無線伝送可能データ量を算出及び判定し、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、確実に無線伝送することができるようにしている。 
 本変形例における物理量検出部152は、撮像部22Iにより被検体内を撮像した画像信号に基づいて、1フレーム分の画像中における複数の代表領域における動き量を前記物理量として検出する動き量検出部152aと、例えば撮像部22Bが撮像する被検体内の複数の位置と撮像部22Bとの間の複数の距離を前記物理量として検出する距離検出部152bとを有する。
 第1の実施形態において説明したように、立体視が可能な撮像部22Bを備えたワイヤレス内視鏡2Bを用いた場合においては、例えばユーザIF部36から物理量検出部52における検出する物理量として動き量検出部152a、及び距離検出部152bの一方を選択してシーンの分類を行うことができる。また、図11において説明したように、2つ(両方)を選択して内視鏡手技シーンの分類と目標圧縮率の決定を行う選択もできる。 
 これに対して、1つの撮像素子からなる撮像部22Aを備えたワイヤレス内視鏡2Bを用いた場合においては、物理量検出部152における検出する物理量として動き量検出部152aを選択して内視鏡手技シーンの分類を行う。 
 また、上述したワイヤレス内視鏡(2C)では、1つの撮像素子からなる撮像部22Aを備えたワイヤレス内視鏡においても、動き量検出部152a、及び距離検出部152bの一方又は両方を選択して内視鏡手技シーンの分類を行うことができる。以下の説明では、簡単化のためワイヤレス内視鏡として、ワイヤレス内視鏡2Aと2Bの場合において説明するが、ワイヤレス内視鏡2Cの場合に適用することもできる。
 また、内視鏡手技シーン分類部153は、上記のように物理量検出部152により検出された物理量の特徴量に基づいて内視鏡手技シーンの分類を行う他に、さらに分類した内視鏡手技シーンの信頼性の判定を行う内視鏡手技シーン信頼性判定部153aの機能を有する。 
 また、画像処理部23Bは、内視鏡手技シーン分類部153が内視鏡手技シーンの分類を行う際の代表的な複数の内視鏡手技シーンを表す特徴量を格納した代表的内視鏡手技シーン特徴量格納部155aを有するメモリ155を備え、内視鏡手技シーン分類部153は、メモリ155における代表的な内視鏡手技シーン特徴量格納部155aの情報を参照して内視鏡手技シーンの分類を行う。 
 また、内視鏡手技シーン分類部153は、経時的(時間順)に分類した内視鏡手技シーンの情報を、例えばメモリ155における分類シーン格納部155bに(現在のフレームの画像から過去における)適宜のフレーム数だけ格納する。 
 そして、内視鏡手技シーン信頼性判定部153aは、内視鏡手技シーン分類部153が分類した内視鏡手技シーンの信頼性が低いと判定した場合には、信頼性が低いと判定されたフレームの画像(信号)よりも、所定期間前のフレームの画像(信号)において、内視鏡手技シーン分類部153により分類され、分類シーン格納部155bに格納されている内視鏡手技シーンの分類結果を目標圧縮率決定部154に送る。
 目標圧縮率決定部154は、内視鏡手技シーン信頼性判定部153aにより低いと判定されていない場合の内視鏡手技シーンにおいては、内視鏡手技シーン分類部153が分類した内視鏡手技シーンの分類結果と、物理量の大きさ等により目標圧縮率を決定する。前述したように、目標圧縮率決定部154には、無線伝送可能データ量と、判定結果が入力されるため、目標圧縮率決定部154は、無線伝送する画像信号のデータ量を、少なくとも無線伝送可能データ量以下の範囲内になるように目標圧縮率を決定する。 
 目標圧縮率決定部154は、予め用意されたLUT156に格納された情報を参照して、目標圧縮率を決定する。そして、画像圧縮部154aは、目標圧縮率決定部154により決定された目標圧縮率に対応する圧縮パラメータで画像信号を圧縮し、無線伝送部24に送る。無線伝送部24は、画像圧縮部154aから送られた画像信号を無線でプロセッサ3に送信する。 
 その他の構成は、第1の実施形態と同様の構成である。 
 本変形例の動作は図13のようになる。図13の動作は図9の動作に類似ために簡単に説明する。 
 変形例の内視鏡システムの動作が開始すると、図9の場合と同様にステップS1~S3の処理を行い、さらにワイヤレス内視鏡2Iは、ステップS4,S5の処理を行う。また、次のステップS30′において画像処理部23Bは、無線伝送可能なデータ量を算出する。例えば送信データ量のレートを変化させた複数の画像データをプロセッサ3に無線送信し、プロセッサ3により受信結果を受け取ることにより、無線伝送可能データ量算出部151aは、無線伝送可能なデータ量を算出する。また、無線伝送可能データ量判定部151bは、無線送信される画像データが無線伝送可能なデータ量の範囲内であることを判定する。
 ステップS5の処理の後、ステップS31においてワイヤレス内視鏡2I(又はプロセッサ3)は、内視鏡手技シーン分類等に用いるために、検出する物理量を設定する処理を行う。ワイヤレス内視鏡2Iが2Aタイプの場合には、検出する物理量は動き量となるように制御部21は自動的に設定する。ワイヤレス内視鏡2Iが2Bタイプの場合には、ワイヤレス内視鏡2Iの操作部9に設けた図示しない操作スイッチ等により検出する物理量を設定しても良い。又は、プロセッサ3のユーザIF部36からユーザが前もって、検出する物理量を設定し、ワイヤレス内視鏡2Iに無線で送信し、ワイヤレス内視鏡2Iは、送信された情報に従って、検出する物理量を設定するようにしても良い。 
 次のステップS9においてワイヤレス内視鏡2Iは、検出する物理量として動き量が設定されたか否かの判定を行う。 
 ステップS9の判定処理に応じてステップS10a~S20a、又はステップS10b~S20bの処理をワイヤレス内視鏡2Iが行う。図9の場合には、ステップS10a~S20a、又はステップS10b~S20bの処理をプロセッサ3が行っていたが、本変形例ではワイヤレス内視鏡2I側が行う。
 ステップS10a~S20a、又はステップS10b~S20bの処理により目標圧縮率が決定し、ステップS32において圧縮パラメータ決定部157は圧縮パラメータを決定する。また、画像圧縮部154aは、決定した圧縮パラメータを用いて画像を圧縮する。そして、ステップS33において無線伝送部24は、圧縮された画像データを無線でプロセッサ3に送信する。ステップS33の処理の後、ワイヤレス内視鏡2IはステップS9の処理に戻る。 
 ステップS34においてプロセッサ3は受信した画像データを伸張する処理を行い、伸張処理された画像信号はモニタ7に出力される。そして、ステップS35においてモニタ7は内視鏡画像を表示する。なお、動き量と距離との両方を検出して、画像信号を無線送信する場合の処理は、図11に示す処理と同じ処理となる。但し、図11においてのステップS30の前のステップS8は、図13におけるステップS31となる。また、図11に示すステップS14の処理後のステップS15は、図13のステップS32となる。 
 このように動作する本変形例によれば、第1の実施形態と同様に画像に対する内視鏡手技シーンを分類する際の信頼性が低い場合においても適切な目標圧縮率に設定して画像信号を無線伝送できる。また、無線伝送の送信状況を把握して、無線伝送可能データ量を算出し、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、画像信号を確実に無線伝送することができる。
 なお、本変形例において、1フレームの画像における目標圧縮率を決定する処理を1フレーム期間内に行える場合には、1フレーム期間毎に目標圧縮率を決定する処理を行うことができる。 
 これに対して、1フレームの画像における目標圧縮率を決定する処理に複数フレーム期間かかる場合には、複数フレーム期間の周期で目標圧縮率を決定すれば良い。この場合、目標圧縮率を決定する最中に撮像した画像に対しては、その直前に算出した(最新の)目標圧縮率を用いて画像を圧縮し、プロセッサ3側に無線伝送するようにすれば良い。 また、第1の実施形態等において、物理量検出部52として動き量検出部52a又は距離検出部52bのみを備える構成にしても良い。 
 上述した実施形態又は変形例を部分的に組み合わせて構成される実施形態等も本発明に属する。

 本出願は、2015年10月8日に日本国に出願された特願2015-200281号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (10)

  1.  被検体内に挿入され、先端部に設けられた撮像部と、該撮像部により撮像した画像信号を無線伝送する第1の無線伝送部とを有する内視鏡本体と、
     前記被検体の外部に配置され、無線伝送された画像信号を受信する第2の無線伝送部と、無線伝送された前記画像信号の画像処理を行う画像処理部とを有するプロセッサと、
     前記撮像部により前記被検体内の部位を撮像した画像信号に基づいて、前記内視鏡本体による前記部位を観察する画像のシーンが、複数からなる代表的な内視鏡手技シーンにおけるいずれの内視鏡手技シーンに該当するかの分類をするシーン分類部と、
     前記シーン分類部により分類された前記シーンの信頼性の判定を行うシーン信頼性判定部と、
     前記シーン信頼性判定部が、前記シーン分類部により分類された前記シーンの信頼性が低いと判定した場合には、前記信頼性が低いと判定された画像信号のフレームよりも所定期間前のフレームの画像信号において前記シーン分類部によるシーンの分類結果に応じて、前記第1の無線伝送部が無線伝送する前記画像信号の目標圧縮率を決定する画像信号目標圧縮率決定部と、
     を有することを特徴とする内視鏡システム。
  2.  前記内視鏡本体が前記被検体内に挿入された状態において、前記被検体に対する前記撮像部が撮像する状態を反映する物理量を検出する物理量検出部をさらに備え、
     前記シーン分類部は、前記物理量検出部において検出した物理量の特徴量に基づいて前記内視鏡本体の前記シーンの分類を行うことを特徴とする請求項1に記載の内視鏡システム。
  3.  前記物理量検出部は、前記撮像部により前記被検体内を撮像した前記画像信号に基づいて、1フレーム分の画像中における複数の代表領域における動き量を前記物理量として検出する動き検出部により形成され、
     前記シーン分類部は、前記動き検出部において検出された前記複数の代表領域におけるそれぞれの動き量の特徴量に基づいて、前記動き検出部により検出された前記内視鏡本体の前記シーンが、前記いずれの内視鏡手技シ-ンに該当するかの分類を行うことを特徴とする請求項2に記載の内視鏡システム。
  4.  前記物理量検出部は、前記撮像部が撮像する前記被検体内の複数の位置と前記撮像部との間の複数の距離を前記物理量として検出する距離検出部により形成され、
     前記シーン分類部は、前記距離検出部により検出された前記複数の位置に対する前記複数の距離の特徴量に基づいて、前記距離検出部により検出された前記内視鏡本体の前記シーンが、前記いずれの内視鏡手技シ-ンに該当するかの分類を行うことを特徴とする請求項2に記載の内視鏡システム。
  5.  前記物理量検出部は、前記撮像部により前記被検体内を撮像した前記画像信号に基づいて、1フレーム分の画像中における複数の代表領域におけるそれぞれの動き量を前記物理量として検出する動き検出部、及び前記撮像部が撮像する前記被検体内の複数の位置と前記撮像部との間の複数の距離を前記物理量として検出する距離検出部により形成され、
     前記シーン分類部は、前記動き検出部及び前記距離検出部の少なくとも一方の検出結果に基づいて、前記内視鏡本体の前記シーンが、前記いずれの内視鏡手技シ-ンに該当するかの分類を行うことを特徴とする請求項2に記載の内視鏡システム。
  6.  前記シーン信頼性判定部は、前記複数の代表領域におけるそれぞれの動き量が局所領域中において閾値以上にばらつく場合、又は検出されるそれぞれの動き量が検出される前記複数の代表位置の誤差量が閾値以上に大きいと評価される場合を、前記シーンの信頼性が低いと判定することを特徴とする請求項3に記載の内視鏡システム。
  7.  前記シーン信頼性判定部は、前記距離検出部により検出された前記複数の位置に対する前記複数の距離が局所領域中において閾値以上にばらつく場合、又は前記複数の距離が検出される前記複数の位置の誤差量が閾値以上に大きいと評価される場合を、前記シーンの信頼性が低いと判定することを特徴とする請求項4に記載の内視鏡システム。
  8.  前記シーン分類部は、前記物理量検出部により検出された前記物理量の特徴量に基づいて、前記物理量が検出されたシーンを、前記複数からなる代表的な内視鏡手技シーンとして、挿入シーン、存在診断シーン、質的、量的診断シーン、治療シーンにおけるいずれの内視鏡手技シーンに該当するかの分類を行うことを特徴とする請求項2に記載の内視鏡システム。
  9.  前記プロセッサは、前記シーン分類部、前記シーン信頼性判定部及び前記画像信号目標圧縮率決定部を内蔵することを特徴とする請求項1に記載の内視鏡システム。
  10.  前記内視鏡本体は、前記シーン分類部、前記シーン信頼性判定部及び前記画像信号目標圧縮率決定部を内蔵することを特徴とする請求項1に記載の内視鏡システム。
PCT/JP2016/079674 2015-10-08 2016-10-05 内視鏡システム WO2017061495A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680058819.0A CN108135455B (zh) 2015-10-08 2016-10-05 内窥镜系统
JP2017526726A JP6192882B1 (ja) 2015-10-08 2016-10-05 内視鏡システム
US15/947,195 US11006817B2 (en) 2015-10-08 2018-04-06 Endoscope system for endoscope image processing and image transmission

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015200281 2015-10-08
JP2015-200281 2015-10-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/947,195 Continuation US11006817B2 (en) 2015-10-08 2018-04-06 Endoscope system for endoscope image processing and image transmission

Publications (1)

Publication Number Publication Date
WO2017061495A1 true WO2017061495A1 (ja) 2017-04-13

Family

ID=58487804

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/079674 WO2017061495A1 (ja) 2015-10-08 2016-10-05 内視鏡システム

Country Status (4)

Country Link
US (1) US11006817B2 (ja)
JP (1) JP6192882B1 (ja)
CN (1) CN108135455B (ja)
WO (1) WO2017061495A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6426867B1 (ja) * 2018-03-30 2018-11-21 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
JP2019098048A (ja) * 2017-12-07 2019-06-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用内視鏡装置、および医療用観察システム
WO2019193867A1 (ja) * 2018-04-03 2019-10-10 オリンパス株式会社 内視鏡装置
JP2019185726A (ja) * 2018-10-25 2019-10-24 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム
WO2020121373A1 (ja) * 2018-12-10 2020-06-18 オリンパス株式会社 画像記録装置
WO2020152788A1 (ja) * 2019-01-22 2020-07-30 オリンパス株式会社 内視鏡システムおよびパラメータ制御装置
JP2021029669A (ja) * 2019-08-26 2021-03-01 Hoya株式会社 内視鏡システム、データ処理装置、内視鏡、通信接続方法及びコンピュータプログラム
US20210105467A1 (en) * 2018-05-01 2021-04-08 Olympus Corporation Endoscope apparatus, endoscope, and image generation method
WO2021241695A1 (ja) * 2020-05-27 2021-12-02 富士フイルム株式会社 内視鏡画像処理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
CN113676734A (zh) * 2021-08-05 2021-11-19 维沃移动通信(杭州)有限公司 图像压缩方法和图像压缩装置
CN116523907B (zh) * 2023-06-28 2023-10-31 浙江华诺康科技有限公司 内窥镜成像质量检测方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121127A (ja) * 2004-10-19 2006-05-11 System Lsi Kk 画像変換装置およびそれを用いた電子カルテの情報処理方法
JP2007312810A (ja) * 2006-05-23 2007-12-06 Olympus Corp 画像処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5331551A (en) * 1989-10-02 1994-07-19 Olympus Optical Co., Ltd. Endoscope image recording system for compressing and recording endoscope image data
US20050187433A1 (en) * 2001-07-26 2005-08-25 Given Imaging Ltd. In-vivo imaging device providing constant bit rate transmission
JP4928081B2 (ja) * 2005-02-03 2012-05-09 オリンパス株式会社 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム
US20080232702A1 (en) * 2005-06-27 2008-09-25 Seiichiro Kimoto Image display apparatus
US20090027486A1 (en) * 2005-08-22 2009-01-29 Katsumi Hirakawa Image display apparatus
US7983458B2 (en) 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
JP2007195586A (ja) * 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
CN101541228B (zh) * 2006-11-16 2012-10-03 斯特赖克公司 无线内窥摄像机
JP4825747B2 (ja) 2007-07-13 2011-11-30 日本碍子株式会社 非極性面iii族窒化物単結晶の製造方法
EP2109317B1 (en) * 2008-04-10 2020-12-30 Sony Corporation Improving video robustness using spatial and temporal diversity
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
JP5155037B2 (ja) * 2008-06-30 2013-02-27 オリンパス株式会社 受像機及び画像送信機からなる無線通信システム及び、その無線通信方法
JP5075757B2 (ja) * 2008-08-05 2012-11-21 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US8665326B2 (en) * 2009-01-30 2014-03-04 Olympus Corporation Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method
US8698920B2 (en) * 2009-02-24 2014-04-15 Olympus Imaging Corp. Image display apparatus and image display method
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
JP2014042727A (ja) * 2012-08-28 2014-03-13 Fujifilm Corp 医療画像記録装置及びその記録方法並びに医療画像記録プログラム
JP6744713B2 (ja) * 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121127A (ja) * 2004-10-19 2006-05-11 System Lsi Kk 画像変換装置およびそれを用いた電子カルテの情報処理方法
JP2007312810A (ja) * 2006-05-23 2007-12-06 Olympus Corp 画像処理装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019098048A (ja) * 2017-12-07 2019-06-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用内視鏡装置、および医療用観察システム
JP7051408B2 (ja) 2017-12-07 2022-04-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用内視鏡装置、および医療用観察システム
US11839353B2 (en) 2017-12-07 2023-12-12 Sony Olympus Medical Solutions Inc. Medical endoscope device and medical observation system
US11974716B2 (en) 2017-12-14 2024-05-07 Olympus Corporation Operation supporting device and method of operating operation supporting device
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
JP2019179452A (ja) * 2018-03-30 2019-10-17 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム
JP6426867B1 (ja) * 2018-03-30 2018-11-21 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム
WO2019193867A1 (ja) * 2018-04-03 2019-10-10 オリンパス株式会社 内視鏡装置
JPWO2019193867A1 (ja) * 2018-04-03 2021-04-01 オリンパス株式会社 内視鏡装置、圧縮方法およびプログラム
US11786107B2 (en) 2018-04-03 2023-10-17 Olympus Corporation Endoscope apparatus, compression method, and non-transitory computer-readable recording medium
US20210105467A1 (en) * 2018-05-01 2021-04-08 Olympus Corporation Endoscope apparatus, endoscope, and image generation method
US11595621B2 (en) * 2018-05-01 2023-02-28 Olympus Corporation Endoscope apparatus, endoscope, and image generation method
JP2019185726A (ja) * 2018-10-25 2019-10-24 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム
WO2020121373A1 (ja) * 2018-12-10 2020-06-18 オリンパス株式会社 画像記録装置
JP7123166B2 (ja) 2018-12-10 2022-08-22 オリンパス株式会社 画像記録装置、画像記録装置の作動方法及び内視鏡システム
JPWO2020121373A1 (ja) * 2018-12-10 2021-09-30 オリンパス株式会社 画像記録装置、画像記録方法及び内視鏡システム
US12003891B2 (en) 2018-12-10 2024-06-04 Olympus Corporation Image recording apparatus, image recording method, and endoscope system
JP7123180B2 (ja) 2019-01-22 2022-08-22 オリンパス株式会社 ビデオプロセッサ、内視鏡システムの作動方法および内視鏡
JPWO2020152788A1 (ja) * 2019-01-22 2021-11-25 オリンパス株式会社 ビデオプロセッサ、画像処理方法および内視鏡
WO2020152788A1 (ja) * 2019-01-22 2020-07-30 オリンパス株式会社 内視鏡システムおよびパラメータ制御装置
JP2021029669A (ja) * 2019-08-26 2021-03-01 Hoya株式会社 内視鏡システム、データ処理装置、内視鏡、通信接続方法及びコンピュータプログラム
JP7474571B2 (ja) 2019-08-26 2024-04-25 Hoya株式会社 内視鏡システム、データ処理装置、通信接続方法及びコンピュータプログラム
WO2021241695A1 (ja) * 2020-05-27 2021-12-02 富士フイルム株式会社 内視鏡画像処理装置
JP7463507B2 (ja) 2020-05-27 2024-04-08 富士フイルム株式会社 内視鏡画像処理装置

Also Published As

Publication number Publication date
CN108135455A (zh) 2018-06-08
US11006817B2 (en) 2021-05-18
US20180220873A1 (en) 2018-08-09
JPWO2017061495A1 (ja) 2017-10-12
JP6192882B1 (ja) 2017-09-06
CN108135455B (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
JP6192882B1 (ja) 内視鏡システム
US11245843B2 (en) Imaging apparatus and imaging method for improvement of reproduction image quality
JP6177083B2 (ja) データ受信装置、カプセル内視鏡システム、データ受信方法、及びプログラム
US20090240108A1 (en) Capsule endoscopy system and method of controlling operation of capsule endoscope
JP4875691B2 (ja) 撮像装置、画像表示装置、および画像表示システム
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
US11245849B2 (en) Information processing apparatus and information processing method
JP2008237639A (ja) カプセル内視鏡システム、およびカプセル内視鏡の動作制御方法
WO2017126425A1 (ja) 医療用サーバシステム
US9392230B2 (en) Endoscopic apparatus and measuring method
WO2016052175A1 (ja) 内視鏡システム
JP6253600B2 (ja) 内視鏡システム
US11336825B2 (en) Endoscope apparatus, endoscope and video processor, and restoration method
US11595621B2 (en) Endoscope apparatus, endoscope, and image generation method
JP5732565B1 (ja) 撮像装置、撮像システム、撮像方法、およびプログラム
US10462440B2 (en) Image processing apparatus
US20220166962A1 (en) Video signal processing apparatus, video signal processing method, and image pickup apparatus
JP2011040860A (ja) 画像処理装置及び画像処理プログラム
JP6974593B2 (ja) 内視鏡装置、画像圧縮装置の作動方法およびプログラム
JPWO2020090002A1 (ja) 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法
JPWO2020152784A1 (ja) ビデオプロセッサ、内視鏡システムおよび画像処理方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017526726

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16853649

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16853649

Country of ref document: EP

Kind code of ref document: A1